研究における信頼性と妥当性：その違いとは？

研究者は、研究で使用する測定方法や手法を信頼できるものであると確信できる必要があります。研究がアンケート、実験室用の測定機器、評価、あるいはコーディング手順のいずれを用いる場合でも、研究者は、結果が一貫しており、使用する方法が本来測定することを意図したものを実際に測定していることに確信を持つ必要があります。

研究における測定の質を評価する際には、**信頼性（reliability）と妥当性（validity）**という2つの概念が特に重要です。

信頼性と妥当性は密接に関連していますが、測定や研究手法の異なる特性を表しています。信頼性は測定結果の一貫性に関するものであるのに対し、妥当性は、その測定が測定しようとしている概念を正確に捉えているかを示すものです。

研究における信頼性と妥当性の違いを理解することで、研究者は適切な測定方法を選択し、研究手法を評価するとともに、研究結果をより慎重に解釈できるようになります。

信頼性とは？ 

信頼性とは、測定や研究手法における一貫性、安定性、または信頼できる程度を指します。信頼性の高い測定方法では、同じ現象を同様の条件下で測定した場合に、類似した結果が得られます。

例えば、研究者が参加者の体重を測定するために体重計を使用するとします。同じ人物を同じ条件下で複数回測定した際に、体重計が毎回ほぼ同じ値を示すのであれば、その体重計は高い信頼性を示しているといえます。一方、測定するたびに数値が大きく変動する場合、その体重計の信頼性は低い可能性があります。

したがって、信頼性は主に一貫性に関係するものです。

研究において、信頼性はさまざまな種類の測定や手順に適用されます。研究者は、アンケート、心理尺度、実験室用の測定機器、観察データのコーディングシステム、その他の研究ツールなどについて、その信頼性を検討する必要があります。

測定方法は、必ずしも妥当性を備えていなくても、高い信頼性を持つ場合があります。例えば、ある体重計が、実際の体重より常に5 kg重い値を示すとします。この体重計は一貫した結果を出すため、信頼性は高いといえます。しかし、実際の体重を測定する方法としては妥当ではありません。

この違いは、研究手法を評価する際に重要です。一貫した結果が、必ずしも正確な結果であるとは限りません。

妥当性とは？ 

妥当性とは、測定や研究手法が、本来測定することを意図したものをどの程度正確に測定または表現しているかを指します。

例えば、研究者がアンケートを用いてうつ病を測定したいとします。そのアンケートが非常に一貫した結果を示したとしても、一貫性だけでは、実際にうつ病を測定していることを証明することはできません。研究者は、その測定方法が研究対象となる構成概念に適していることを示す証拠を必要とします。

したがって、妥当性は正確性と適切性に関係するものです。

妥当性を評価する方法は、研究の種類や測定の目的によって異なります。研究者は、ある測定方法が特定の概念を十分に表しているか、他の測定方法と期待される関係を示しているか、または研究デザインが導き出された結論を支持しているかなどを検討します。

妥当性は、研究のより広範な側面を指す場合もあります。研究者は、研究結果を研究対象となったサンプル以外にも合理的に適用できるか、または観察された効果が研究対象としている変数によるものだと判断できるかどうかについても検討する必要があります。

研究における信頼性と妥当性の違い 

信頼性と妥当性の違いを最も簡単に理解するには、一貫性と正確性の違いとして考えるとよいでしょう。

• 信頼性（Reliability）： 測定によって一貫した結果が得られるか？
• 妥当性（Validity）： 測定が、意図したものを正確に測定しているか？

研究者が、学業に対する動機づけを測定するためのアンケートを開発しているとします。参加者が同様の状況下でアンケートに回答した際に、非常によく似たスコアが得られるのであれば、そのアンケートは高い信頼性を備えている可能性があります。

しかし、そのアンケートが実際には学業に対する動機づけではなく、学生の大学に対する全般的な満足度を測定しているのであれば、意図した目的に対する妥当性は高くない可能性があります。

信頼性と妥当性は関連する概念ですが、同じ意味のものとして扱うべきではありません。

信頼性の種類

研究における測定の一貫性を評価するために、いくつかの種類の信頼性が用いられます。適切な種類は、測定の性質や研究デザインによって異なります。

1. 再テスト信頼性（Test-retest reliability）

再テスト信頼性は、時間の経過に伴う測定の安定性を評価するものです。

研究者は、同じ測定手段を同じ参加者に対して2回以上の異なる時点で実施し、それぞれの結果がどの程度一致しているかを調べます。

例えば、研究者がオンライン学習に対する態度を測定するためにアンケートを使用し、同じ参加者に対して2週間の間隔を空けて実施するとします。参加者のスコアが比較的一貫していれば、これは再テスト信頼性を示す証拠となります。

再テスト信頼性は、測定間の期間において、対象となる特性がある程度安定していると予想される場合に特に重要です。

2. 評定者間信頼性（Inter-rater reliability）／観察者間信頼性（Inter-observer reliability）

評定者間信頼性または観察者間信頼性は、異なる研究者や観察者による評価や判断の一貫性に関するものです。

例えば、教室での行動を研究する際に、複数の観察者に録画された授業をコーディングしてもらい、特定の行動が発生したかどうかを分類してもらうことがあります。観察者が同じ行動を一貫して同じように分類していれば、そのコーディングシステムは高い評定者間信頼性を示しているといえます。

評定者間信頼性は、主観的な判断、観察、質的コーディング、カテゴリーコーディングなどを含む研究において特に重要です。

3. 内的一貫性（Internal consistency）

内的一貫性は、複数の項目から構成される測定尺度において、それぞれの項目がどの程度一貫した結果を生み出すかに関するものです。

例えば、不安を測定するために設計されたアンケートには、同じ基礎的な構成概念の異なる側面を評価することを目的とした複数の質問が含まれている場合があります。これらの項目が適切に相互に関連していれば、その測定尺度は高い内的一貫性を示しているといえます。

ただし、**高い内的一貫性があっても、アンケートの妥当性が自動的に証明されるわけではありません。**項目同士の相関が高くても、それらが意図した構成概念を測定できていない場合があります。

4. 平行形式信頼性（Parallel-forms reliability）

平行形式信頼性は、測定手段の2つの同等のバージョンから得られる結果の一貫性を評価するものです。

例えば、研究者が、異なる問題を含みながらも、同じ技能と同程度の知識を測定することを目的とした2種類の学業知識テストを作成するとします。参加者が両方のテストで類似した結果を得た場合、これは平行形式信頼性を示す証拠となります。

この方法は、同じ問題を繰り返し使用すると参加者の回答に影響を与える可能性がある場合など、研究者がテストの代替バージョンを用意する必要がある場合に役立ちます。

妥当性の種類

妥当性は幅広い概念であり、研究者はさまざまな方法でこれを評価します。具体的な用語やアプローチは、分野や研究デザインによって異なりますが、一般的にいくつかの種類の妥当性が議論されています。

1. 内容妥当性（Content validity）

内容妥当性とは、測定方法が、測定しようとしている構成概念に関連する側面を十分に網羅しているかを示すものです。

例えば、研究者が大学生のデジタル・リテラシーを評価するためのアンケートを作成するとします。アンケートが学生のワープロソフトを使用する能力についてのみ質問している場合、その構成概念に情報の評価、オンラインコミュニケーション、データ管理、その他の関連スキルも含まれるのであれば、デジタル・リテラシーを十分に表しているとはいえません。

研究者は、内容妥当性を評価する際に、専門家による判断、文献レビュー、確立された理論的枠組みなどを活用することがあります。

内容妥当性は、新しい測定手段を開発する際に特に重要です。研究者は、測定項目が対象となる領域を十分に表していることを示す必要があるためです。

2. 構成概念妥当性（Construct validity）

構成概念妥当性は、測定方法が、測定することを意図した理論上の構成概念を実際に表しているかを検討するものです。

構成概念とは、動機づけ、不安、自己効力感、ソーシャルサポートなど、必ずしも直接観察したり測定したりできない抽象的な概念を指します。

研究者は、測定方法が他の変数とどのような関係にあるかを検討することで、構成概念妥当性を評価します。例えば、学業における自己効力感を測定する尺度は、学業への関与を測定する特定の指標とは正の相関を示し、学業からの離脱や関与の低下を測定する指標とは負の相関を示すことが予想されます。

構成概念妥当性は、**収束妥当性（convergent validity）と弁別妥当性（discriminant validity）**の観点から説明されることがよくあります。

3. 基準関連妥当性（Criterion-related validity）

基準関連妥当性は、ある測定方法と、それに関連すると考えられる外部の基準または結果との関係を検討するものです。

例えば、新しいスクリーニング用の測定手段を、確立された診断評価や、別の信頼性のある測定方法の結果と比較することで評価することがあります。

基準関連妥当性は、**併存妥当性（concurrent validity）と予測妥当性（predictive validity）**に分けられることがあります。

併存妥当性は、新しい測定方法が、ほぼ同じ時期に評価された確立済みの測定方法と一致するかどうかを検討します。一方、予測妥当性は、ある測定方法によって、将来生じる関連性のある結果を予測できるかどうかを検討します。

4. 表面的妥当性（Face validity）

表面的妥当性とは、測定方法が、その表面上、意図したものを測定しているように見えるかを指します。

例えば、仕事の満足度を測定することを目的としたアンケートで、参加者の仕事のさまざまな側面に対する満足度について明確に質問していれば、そのアンケートには表面的妥当性があるといえます。

表面的妥当性は、測定方法が参加者にとって理解しやすく、適切なものであるかを検討する際には役立ちます。しかし、妥当性を裏付ける証拠としては比較的限定的です。測定方法が適切に見えていても、実際には意図した構成概念を測定していない可能性があります。

研究における内的妥当性と外的妥当性

内的妥当性（internal validity）と外的妥当性（external validity）という用語は、研究デザイン、特に実験研究や量的研究について議論する際によく使用されます。

内的妥当性とは、研究結果を因果関係の観点から解釈できる程度を指します。観察された結果が、交絡変数、バイアス、その他の代替的な説明ではなく、調査対象となっている変数や介入によるものだと合理的に判断できる場合、その研究はより高い内的妥当性を備えているといえます。

一方、外的妥当性は、研究結果を他の母集団、環境、または状況にどの程度合理的に一般化できるかを検討するものです。

ある1つの教育機関に在籍する大学生の小規模なサンプルを対象に実施した研究は、その母集団について有用な証拠を提供する可能性があります。しかし、その研究結果が高齢者、他の教育機関、あるいは異なる文化的背景にも同じように当てはまると判断するには、研究者は追加の証拠を検討する必要があります。

内的妥当性と外的妥当性は、特定の測定手段の信頼性だけではなく、研究結果の信頼性や適用可能性に関する、より広範な問題を扱うものです。

研究における信頼性と妥当性の違いとは？

信頼性と妥当性の違いは、以下のようにまとめることができます。

測定方法は、その妥当性を信頼できるものとして評価するために、まず十分な信頼性を示す必要があります。測定結果が大きくばらつく場合、その測定方法が対象となる構成概念を正確に表しているかどうかを判断することが難しくなります。

しかし、高い信頼性だけで妥当性が証明されるわけではありません。測定方法が常に同じ結果を示していても、測定している対象そのものが間違っている可能性があります。

研究者はどのように信頼性と妥当性を向上させることができるか？

研究者は、測定方法や研究デザインの信頼性と妥当性を高めるために、いくつかの方法を取ることができます。

確立された適切な測定方法を使用する

可能な場合、研究者は、対象となる母集団や構成概念について、すでに開発・評価されている測定手段を検討するべきです。新しい測定方法が必要な場合は、その開発と評価について明確な根拠を示す必要があります。

構成概念を明確に定義する

研究者は、ウェルビーイング、動機づけ、不安、生活の質などの概念が何を意味するのかを明確に定義する必要があります。正確な概念的定義は、適切な測定方法の選択または開発の指針となります。

標準化された手順に従う

一貫したデータ収集手順は、望ましくないばらつきを抑え、信頼性を高めます。研究者は、参加者に明確な指示を与え、必要に応じて、観察者や研究スタッフに標準化された手順についてのトレーニングを行うべきです。

新しい測定手段をパイロットテストする

パイロットテストを行うことで、本調査のためのデータ収集を開始する前に、分かりにくい質問、問題のある回答選択肢、理解しにくい指示、その他の問題を特定することができます。

複数の証拠源を使用する

信頼性と妥当性は、必ずしも1つの統計的検定だけで確立されるものではありません。研究者は通常、使用する測定手段、構成概念、対象となる母集団、研究デザインに適した複数の形式の証拠を検討します。

測定特性を透明性のある形で報告する

研究者は、信頼性と妥当性をどのように評価したのかを明確に説明し、関連する統計値や証拠の根拠を報告する必要があります。これにより、読者は測定方法の質を評価し、研究結果を適切に解釈できるようになります。

研究において信頼性と妥当性が重要なのはなぜか？

信頼性と妥当性は、研究の質や研究結果の解釈において基本となる重要な要素です。測定結果に一貫性がない場合、研究者は、意味のある差異と測定誤差を区別することが難しくなる可能性があります。また、測定が意図した構成概念を正確に表していない場合、研究者はデータによって裏付けられていない結論を導き出してしまう可能性があります。

したがって、信頼性と妥当性を考慮することは、研究者が研究デザイン、測定手段、データ収集、研究結果の解釈について、より適切な判断を行うために役立ちます。

信頼性と妥当性は、研究の読者にとっても重要です。信頼性と妥当性について明確に報告することで、読者は、研究で用いられた測定方法や研究結果について、どの程度信頼を置くべきかを評価できます。

また、研究者は、信頼性と妥当性が、ある測定方法に「ある」か「ない」かという単純な性質ではないことを理解しておく必要があります。信頼性と妥当性を示す証拠は、測定方法がどのように使用されるか、どのような母集団を対象とするか、そしてどのような目的で使用されるかによって異なります。ある状況では適切で十分な根拠が示されているアンケートであっても、異なる母集団を対象としたり、異なる目的で使用したりする場合には、追加の評価が必要になることがあります。

最後に

信頼性と妥当性は密接に関連していますが、研究の質について異なる問いに答えるものです。信頼性は、測定が一貫しているかどうかに焦点を当てるのに対し、妥当性は、測定が意図したものを正確に測定しているかどうかに焦点を当てます。

信頼性の高い測定方法が、必ずしも妥当な測定方法であるとは限りません。また、信頼性を示す証拠だけでは、研究に使用する測定手段が適切であることを十分に証明することはできません。研究者は、複数の形式の証拠を検討し、研究上の問い、構成概念、対象となる母集団、研究デザインに適したアプローチを選択する必要があります。

信頼性と妥当性を慎重に評価することで、研究者は測定の質を高め、読者が研究結果により大きな信頼を寄せられるようになります。最終的には、両方の概念を厳密に考慮することで、研究から導き出される結論が、単に一貫した測定結果に基づくだけでなく、研究で検討している問いに対して意味があり、適切な測定結果に基づくことが保証されます。