疑わしい研究慣行や研究上の不正行為とは、透明性、倫理性、公正性に欠け、科学的誠実さや出版プロセスを脅かす行為です。しかし、疑わしい研究行為の特定や定義が困難であること、そして時には簡単に罪を逃れることができることから、厳密には違法ではなく「疑わしい」ものとなっています。倫理的な研究者であるためには、疑わしい研究行為はすべての研究において禁止されるべきです。
科学における疑わしい研究行為の蔓延と研究の不正行為は、再現性の危機のような危険な結果を生み出しています。同時に、それらは、研究の事前登録やプレプリントといった多くの解決策も生み出してきました。
しかし、疑わしい研究行為とは一体何でしょうか?自分がそれをしていることに気付かないかもしれません。特にプレッシャーの中にいるときはなおさらです。この記事では、疑わしい研究行為とは何か、なぜそれが間違っているのか、どうすればそれらを回避することができるのか(そしてキャリアを傷つけることを防ぐ方法)について説明します。
疑わしい研究行為とは何か?
疑わしい研究行為と研究の不正行為は、研究プロセス中に行われる意思決定であり、自分の研究の厳密性や正確性に疑問を投げかけるものです。
もっと簡単に言うと、疑わしい研究行為とは透明性のない行為のことです。透明性(および再現性)は、自分自身のため、自分の研究分野のため、そしてより大きな科学のために、常に自分の研究において目指すべき点です。
疑わしい研究行為には、自分の知名度を上げるために自分の研究を選択的に引用するような比較的軽度な違反から、重要な結果を得るまで複数の分析を行ったり、結果を知った後に仮説を立てるなど、より重大でキャリアに影響を及ぼす違反まで含まれます。疑わしい研究行為に従事することで、偽陽性が増加し、最終的にはいわゆる「再現性の危機」や科学的プロセスへの信頼の欠如につながります。
「疑わしい研究行為(Questionable Research Practices)」という用語は、2012年のJohn, Loewenstein, and Prelecによる記事で広く知られるようになりました。これらの著者は、データ改竄である詐欺と疑わしい研究行為を区別していました。詐欺は稀ですが、疑わしい研究行為はほとんどの研究分野でかなり一般的です。実際、過去3年間において少なくとも2人に1人の研究者が少なくとも1つの疑わしい研究行為に従事していると推定されています。
なぜ疑わしい研究行為に従事するのか?
研究者が疑わしい研究行為に取り組むのは、学術ジャーナルの激しい競争に対応し、重要な結果を発表するため(または発表しているように見せるため)です。このような出版へのプレッシャーは、失敗した研究は役に立たない、統計的に有意な結果しか発表できないという一般的な考え方に由来しています。その上、ほとんどのジャーナルではリジェクト率が高いため、研究者は「発表しなければ滅びる(publish or perish)」というプレッシャーにさらされています。否定的な結果は有用ではなく、出版するに値しないと見なされているのです。
このような外的な圧力が重くのしかかり、研究者は「有意な」結果を発表するために、知らず知らずのうちに疑わしい研究行為を選択的に行うことがあります。このような不正の一貫性のない選択的な行いは、学術的追求と一般的なプロセスにも危険をもたらします。
次のようなシナリオを想像してみてください: 分析を実行しても有意な結果が得られない場合があります。データセットを調べると、一つの異常値が見つかります。この異常値を取り除くと、有意な結果が得られるようになります。その異常値を取り除いて有意な結果を得て、高い評価のジャーナルに論文を発表します。
しかし、もし最初から有意な結果が得られていたら、同じことをしたでしょうか?
おそらく答えはノーでしょう。研究者が疑わしい研究行為に従事するのは、主に有意な結果を発表するためです。そうすることで、研究の発見性が高まり、引用スコアが向上します。そして、これによってより多くの資金が提供され、結果として終身雇用の地位や昇進の形で職の安定性が得られる可能性があります。
しかし、このプロセスでは、研究者として守りたいもの、つまり科学的プロセスの厳密さと正確さそのものを危険にさらすことになります。さらに悪いことに、研究者の中には、そうとは知らずに疑わしい研究行為に従事している可能性があります。
最も一般的な疑わしい研究行為とその回避策
最も一般的な疑わしい研究行為とは、研究プロセスを正確に記録しないこと、適切な参考文献の引用が行われないこと、選択的な結果報告、P値ハッキング(統計的手法を悪用して有意な結果を得ること)、HARK-ing(結果が判明したあとに仮説を立てること)、結果を見てから追加のデータ収集を行うこと、対立する証拠について議論しないこと、そしてデータを共有しないことです。これらの疑わしい研究行為は研究プロセス中に発生する可能性のある順序に従ってリストアップしており、これらに関与しないようにするための解決策を提示します。
研究プロセスを正確に記録しない
研究者は、研究プロセスにおけるすべてのステップと決定事項を注意深く記録しておかなければなりません。そうしないことは、研究において最も重要な慣行の1つである適切な文書化に違反するため、疑わしい研究行為となります。
科学や研究におけるすべてのことは、可能な限り詳細に、段階を追って文書化されなければなりません。これには、研究プロジェクトの構想から、サンプリング計画、使用した材料、データ操作と管理、分析、結果、次のステップまでのすべてのステップが含まれます。
結局のところ、科学的な記録には、なぜそれを行ったのか、どのように行ったのか、誰が行ったのか、誰のために行ったのかが含まれなければなりません。この記録は、他の人がなぜあなたが何かをしたのかを理解し、あなたがどのようにそれをしたのかを再現できるように、十分に詳細に書かれなければなりません。
手順のすべてのステップを記載しないと、実際に危険な結果を招くことがあります。例えば、薬を投与する正確な量やタイミングをメモしていなかった場合、健康に悪影響を及ぼす可能性があります。さらに、すべての手順を記録しておかないと、他の人があなたの研究プロセスを再現することが難しくなります。
これを避ける一つの方法は、プロジェクトを開始する前に、研究プロセスの詳細なプロトコルを書くことです。プロトコルは、研究室のメンバーや関心のある他の研究者が完璧に実行できるよう、十分詳細に書かれるべきであり、BMJ OpenやOSF Registriesのようなオープンアクセスのプラットフォームに登録されるのが理想的です。他の誰かがあなたの研究を繰り返すことができるようになる必要があります。
また、研究室のマネージャーや研究アドバイザーは、研究グループ内の記録管理プロセスについて明確な基準を設定する必要があります。これには、特定のチームメンバーに記録管理を委任すること、よく管理された記録の例を示すこと、同僚が記録管理のベストプラクティスについて最新情報を得られるようにトレーニングを提供すること、そしてこれらの基準を確実に守ることが含まれます。
概念や技術などの不適切な参照(または全く参照されていない)
不適切な参照は、アイデアや概念が誤った情報源や著者に帰属してしまうことで生じる疑わしい研究行為の一つです。これは、例えば著者が情報をある論文から取り出し、その論文を参照する代わりに、元の概念の情報源を参照しない場合に起こります。このようなことは、背景となる参照作業が正しく行われなかったり、徹底されていなかったりすると簡単に起こります。
参照の目的は正しい出典にクレジットを与えることです。間違った出典にクレジットを与えるため、不適切な参照は危険であり、意図的であろうとなかろうと剽窃となります。これにより、投稿停止などの深刻な結果を招くことがあります。正しい参照は、自分のアイデアと他の著者のアイデアを区別するためにも重要です。
不適切な参照を避けるには、常に元のアイデアやコンセプトを引用する必要があります。これは、元の論文や引用を見つけ、それを引用した他の論文ではなく、その論文を引用することで可能です。
不適切な引用を避けるもう一つの方法は、ZoteroやMendeleyのような引用管理ツールを常に使うことです。そうすることで、参考文献を整理し、本文中で正しく引用することができます。
不適切な引用に関連して、研究作業を行った責任者や独創的なアイデアを思いついた責任者にクレジットを与えないことも疑わしい研究行為です。これは、研究や執筆過程に貢献した著者のクレジットを与えないことに関連し、論文にCReDiT(Contributor Roles Taxonomy)のオーサーシップ・ステートメントを使用することで回避できます。
選択的な結果報告
選択的報告とは、研究者が自分たちの予測に有意または一致する結果、変数、条件、あるいは研究のみを報告する状況を指します。この不正行為は「チェリー・ピッキング」としても知られています。選択的報告とは、うまくいった研究を優先的に取り上げ、うまくいかなかった研究を開示しないことや、研究においてすべての実験条件、変数、データ(すなわち外れ値)を報告しないことも指します。
例えば、2つの実験グループと1つの対照グループを含む研究を行ったとします。しかし、研究中に、実験グループの一つの参加者が指示通りにタスクを完了しないことがあり、データの品質に影響を与えます。そのため、最終論文にはこれらのデータを含めず、メソッドには1つの実験グループのみを記載することにします。読者はその結果、実験が意図した通りに「成功した」と思わされることになります。
このようなやり方は、実験結果をすべて提示しないため、非常に誤解を招きやすく、実際にはそうでなかったにもかかわらず、実験が「成功した」ように見えてしまう可能性があります。優れた研究では、すべての条件、実験、結果を報告し、正当化し、説明する必要があります。うまくいかなかった理由も、否定的な結果と同様に適切に報告する必要があります。否定的な結果を報告することは、他の研究者の指針となり、同じような期待できない道を歩むことを防ぐことができるため、重要です。
この選択的な結果報告はまた危険でもあります。なぜなら、予測に一致する結果や研究のみを含める場合、含まれていない分析や研究に関する情報を見落としてしまうからです。この欠落した情報は新たな考え方やアプローチを引き起こす可能性がありますが、適切に提示され説明されなければ私たちにはわかりません。
これを避ける一つの方法は、予測されるすべての変数や相互作用に対応できる慎重な研究計画を立てることである。そして、研究デザインと変数の数に対して十分な統計的検出力を持つ研究を実施する必要があります。なぜなら、検出力が低い研究は失敗する可能性が高いからです。
検出力分析は、研究を開始する前に事前に計算する必要があります。SuperpowerやR言語のpwrパッケージなど、便利な統計パッケージがたくさんあり、さまざまな統計検定に必要な最小検出力のしきい値を提供してくれます。このような側面が事前に考慮されていれば、たとえ研究がうまくいかなかったとしても、最初にそれを行ったことの正当性を事前に証明することができます。
あるデータや変数を研究から除外する必要がある場合、この選択的な結果報告を避けるもう一つの方法は、明確に定義された除外基準を作成することです。なぜデータまたは変数を除外するのか、その理由を事前に、理想的には登録前またはプロトコルのプレゼンテーションで、適切に概説し説明する必要があります。そうすることで、無作為にデータを除外することを避けることができ、結果に悪影響を及ぼす可能性があるため、研究プロセスにおいてより透明性を高めることができます。
P値ハッキング
P値ハッキング(p-hacking)とは、実際には何の影響もないのに、統計的に有意な結果を発見するために多くの異なる分析が行われる状況を指します。言い換えれば、P値ハッキングとは、有意な結果が得られるまでデータセットの統計分析を行うことでです。
p値ハッキングとは、解析を再実行して有意性を得るために、事前に正当な理由なく特定の参加者を除外したり、p<0.05になった時点でデータ収集を中止したり、多くのアウトカムを研究に含めながら、論文では有意なものだけを報告する(選択的な結果報告に似ている)ようなことをすることです。
この疑わしい研究行為は、偽陽性、つまり効果がないのに効果があると考えるというインフレーションを引き起こします。これはメタ分析の結果を歪め、特定の分野や問題全般について誤った認識を与える可能性があります。P値ハッキングはまた、研究者がデータが実際に何を示しているかではなく、何を示すべきかをすでに決めてしまっているため、バイアスが増し、客観性が低下してしまうという問題もあります。
P値ハッキングの解決策の一つに、研究を始める前に詳細な分析計画を立てることが求められる、研究の事前登録があります。これにより、事前に統計的検定の基準を決めることができ、それに従って分析を行うことができます。また、登録された報告書は、結果がどうであれ、基本的に公表することが保証されるため、P値ハッキングを回避するのに最適な方法です。
P値ハッキングを避けるもう一つの方法は、ボンフェローニ補正(Bonferroni correction)を行うことです。この方法は、データセットに対して行われた複数の統計検定を考慮してp値を調整します。言い換えれば、ボンフェローニ補正は偽陽性を得る確率を減らします。しかしこの方法は、多数の仮説について検定しているときには非常に保守的になり、偽陰性の結果をより多く得ることにつながる可能性があります。
OSFやGithubのようなオープンアクセスリポジトリで生データを共有するか、Research Squareのようなプレプリントプラットフォームに載せることで、他の研究者があなたの分析を実行し、あなたの発見を検証できるようになり、P値ハッキングを避けるのに役立ちます。
HARK-ing(結果が判明したあとに仮説を立てること)
HARK-ingとは、研究者が事後的に立てた仮説を、あたかも先験的であったかのように発表するプロセスでです。言い換えれば、結果が出た後に立てた仮説を、あたかも最初から予測されていたかのように発表することです。この不正行為は、研究者が結果が最初の予測と一致しないことに気づき、既存のデータと一致するように変更した場合に発生することがあります。
HARK-ingには、先験的な仮説がうまくいかなかった場合、それを除外することも含まれます。この行為には、事後の文献で発見された仮説を、あたかも最初から予測されていたかのように提示するような行為も含まれます。
HARK-ingの主な危険性は、仮説が常に証明され、決して反証されないことです。HARK-ingはまた、多くの分野で見られる再現性の危機に拍車をかけています。なぜなら、仮説が常に特定のサンプルに合わせたものであれば、一般化や再現ができないからです。
HARK-ingはまた、多くの研究バイアスにつながる可能性があります。これは確証的研究と探索的研究の境界線を曖昧にします。また、反対の証拠やうまくいかなかったことに関する貴重な情報も制限されます。また、指導教官や教授に奨励された場合、この行為は学生に間違った科学のモデルを伝えることにもつながります。
この疑わしい研究行為を避ける最善の方法は、研究プロセス全体の透明性を高めることです。
まず、データ収集や分析の前に、全ての仮説を明確に定義し、研究の事前登録または登録レポート(Registered reports)を用いてリストアップすることが理想的です。
次に、仮説を検証するための適切なデザインと検出力を確保するようにしましょう。次に、たとえ当初の仮説に反していたとしても、すべての結果を報告するようにしましょう。
最後に、もしあなたの結果が新しいアイデアや仮説を生み出したのであれば、考察のセクションでそのことを明らかにするようにしましょう。
結果を見てから追加のデータを収集する
結果を見てからさらにデータを集めることは、研究者がすでに結果を分析した後で、さらにデータを集めようと決めることです。通常、このようなことをするのは、結果が有意でなかったり、期待した方向に進んでいなかったりするからです。
注意しなければならないのは、データ収集中にデータをチェックすることは通常は差し支えないということです。この疑わしい研究行為が問題になるのは、研究者が常にデータをチェックし、有意性が確認されるとすぐに収集を中止する場合だけです。これはサンプリングエラーを利用し、実験を中止したときに効果量を膨らませるので危険です。
HARK-ingのように、結果を見てからさらにデータを収集することも、決定が事後的に行われる疑わしい研究行為の1つです。これは、データ収集をいつ終了すべきかという停止基準を事前に設定することで回避できます。
これは、80%または90%の検出力を仮定して、目的の効果を検出するのに必要な最小標本サイズを決定するために検出力分析を実行することによって行うことができます。これは、Superpowerのようなパッケージを使って行うことができます。
重要なことは、使用したサンプリング戦略を論文でオープンに議論することです。そうすることで、将来の研究者が小さなサンプルサイズによるバイアスを考慮するのに役立ちます。
対立する証拠について議論しない
研究者が自分たちの結果や仮説に反する証拠について議論しない場合、その研究は不完全なものとなり、妥当性も低くなります。
そうなると、研究者は自分の論文に合う論文だけを紹介し、反対の意見や所見を考慮しなくなります。これでは、そのトピックについて過度に肯定的なイメージを描いてしまいかねません。これでは、読者は有意義な結論を導き出すために必要な情報の全容を知ることができません。
この疑わしい研究行為は、薬の副作用や薬が効かなかった理由を開示することが重要である医療やヘルスケア業界では特に危険です。反対の医学的証拠を開示しないことは非倫理的であり、公衆衛生上の有害な結果を招きかねません。
例えば、メルク社は1999年にバイオックス(Vioxx)という新しい鎮痛剤を発売し、胃腸障害が少ないと主張しました。しかし、同社はこの薬が引き起こす心臓疾患や脳卒中の増加という深刻な副作用を大幅に軽視しました。この相反する証拠の隠蔽は、多くの人々、そして最終的にはメルク社自身にとって重大な結果をもたらし、同社は5800万ドル以上の和解金を支払うことになりました。
この疑わしい研究行為は、論文の序論で、研究課題に関連するすべての異なる視点や理論を最初に提示することで回避することができます。そうすることで、読者は研究の全容を理解することができます。論文執筆中は、自分の予測や予想に完全に反するものであっても、すべての結果に注意深く注意を払い、説明しなければなりません。そして、考察のセクションでは、あなたの結果が、先に提示されたすべての異なる視点とどのように関連しているかを明確に説明する必要があります。
データを共有しない
データを共有しないとは、研究者がよくやってしまうことで、生データ、分析、分析スクリプトをオープンアクセスのリポジトリで共有しないことです。生データが利用できない場合、研究を再現することができないため、このやり方には疑問が残ります。さらに、他の研究者は、あなたがどのようにして結果を得たのか疑問に思うことになります。
ここ数十年、多くの教授や指導教官からこのようなやり方は奨励されてきませんでしたが、流れは変わりつつあります。OSFのような多くのオープンアクセスリポジトリや、UK Reproducibility Networkのような世界的なイニシアチブは、再現性と透明性を促進するために、データや解析コードのオープン共有を奨励しています。
この不正行為を避けるためには、プロジェクトが終了したら、生データ、解析コード、スクリプトをオープンアクセスリポジトリにアップロードしましょう。そうすれば、ジャーナルに論文を投稿する際に、論文の中でデータの場所を参照することができます。
もっと詳しく学びませんか?
こちらの研究倫理や出版倫理、メディカルライティングに関するウェビナーもぜひご覧ください。