shuraba.com - 再現性

2004/09/22/Wed.再現性

T です。こんばんは。

研究日記

追試その1 終了。ここで問題になるのが、「追試は何度やれば良いのか」ということである。大抵の論文には試験回数が書いてあるから、似たような実験をやっている論文を探して、その相場を調べる。

今やっているのは生化学的な実験だが、形態異常など、個体差のある観察では「n = 200」（nは観察した個体数）なんていう記述もよく見かける。数字を見ただけでウンザリするが、俺も去年の今頃は、線虫の生殖巣ばかり観察していたなあ。100個体くらいでやめたけど。

実験系と追試

追試の回数は多ければ多いほど良い、というものでもない。それは実験系に大きく依存する。やればやるほど偏差が大きくなるような追試には意味がなく、そのような場合、追試をするくらいなら系を見直した方が良い。反対に、系が安定・確立されているのなら、追試の回数は少なくても信頼できる。追試には再現性が重要というわけだ。

「新しい実験系を用いた」という論文では、次のようなテーブルを見かけることもある。

最初の条件A では、系が安定していないため（または、実験者自身も結果に自信がないため）、追試の数が多くなる。条件B でやる頃には系も安定し、結果A と整合性のある結果B も出てくるので、追試も適度に切り上げる。条件C で実験する頃には、やすやすと結果Cが出てくる。「5回くらいやればエエやろ」ということで、追試の数も減る。

ま、例に上げた架空のテーブルにおける数字は極端なものだが、こういった傾向が明らかな実験結果を記載した論文は実際にあり、読んでいて微笑ましくなる（そこまで追試しなければならないのか、とこちらが平伏したくなるような論文もある）。

もちろん、統計のトリックというものは確実に存在し、数字は信用できるようで信用できない、という一面もある。追試や数字に対する考え方は、人それぞれ異なるので、色々と話を聞いてみるのも面白い。

追試って、何だろうな。