那麼多怪研究,到底可信嗎?

A+A-

香港人崇拜醫生律師,認為是專業和理性的代表,如疑似西環契仔契女便多為律師。一般人則多迷信科學家,只要擺出科學研究銜頭,即使結論有多奇怪,例如「不要在星期二減肥」、「唔執枱夜瞓兼粗口橫飛 呢類人最醒」也深信不疑。日前科學期刊 Royal Society Open Science 就有研究指出,科學研究在多年來沒有趨向更精確,成因是「壞科學的天擇」(natural selection of bad science),即以論文數量衡量學術成就的制度,令壞科學(bad science)研究充斥學界。

圖片來源:iStock

研究由美國美熹德加利福尼亞大學的 Paul Smaldino ,與德國萊比錫馬克斯‧普朗克進化人類學研究所的 Richard McElreath 共同發表。他們表示,要在學術界生存,科學家便被「鼓勵」頻密發表新奇的研究,但這些研究結果卻更容易出錯;而產量愈高的研究所,能吸引愈多資金,亦培養出具同樣壞習慣的科學家,日後也有機會把壞習慣帶進自己的研究所,形成惡性循環。

「壞科學」其一是論文裡相關實驗樣本很少,難得出令人信服的結論,即低統計功效(Statistical Power,數學上量度實驗真實成立的機率),特別是有關人類行為、健康及心理學的研究。而於社會和行為科學的研究,在過去 50 年間, 研究的平均統計功效近乎沒有改善,平均只有 24% 的統計功效,相比於 1962 年 Jacob Cohen 有關統計功效的調查結果,只提升了 2%。

另一問題是隨機出現的結果被誤當成事實,即「假錯肯定」(false positive)的結果得以發表。雖然科學精神講求重覆驗證研究,但現實制度並不鼓勵重覆驗證既有實驗,導致即使粗疏發表研究結果也不要緊,因於個別科學家而言,雖偶被推翻研究結果,密密發表研究便足以彌補。

irgcover
科學創造和更新知識,Daryl Bem 的「預感能力」實驗通過權威評審,但結果不符常理,也被批評不能再現實驗。

Smaldino 以美國康奈爾大學心理學家 Daryl Bem 的「預感能力」實驗為例。 Smaldino 認為,其結果的研究標準兒戲:「如果這標準容許荒謬的假設成立,想像有何其他研究能通過。」

即使其他人能重覆實驗來驗證以前的實驗,但估計只佔少於 1% ,而部分學術期刊也不接受刊登重覆實驗。即使重做實驗失敗,也會就誰是誰非而爭論良久。此外,即使有實驗被推翻,但被其他學者不為意地繼續引用,粗疏的研究始終不絕於學界,而發表者則早享其成。

「只要錯誤制度的誘因存在,利用制度漏洞的回報便存在。」Smaldino 說。要改進科學,就要改變誘因,誘因不是以量取勝,而是重質。關注研究的 Center of Open Science ,其總監 Brian Nosek 就表示,目前在晉升制度方面,因委員會難以審查候選人的全部研究項目,結果便以長度取勝。更好的做法是讓候選人提交三份最佳的論文,使委員會能詳細審視。

最關鍵的並不是道德感召學者自我改正,也不僅僅是提升覆驗研究的數量,而是學術機構重質不重量的問題,實在知易行難。因此,便會出現人們主張不信「英國研究」,或者出現「凌亂代表有創意」、「說粗口的人更聰明」之類研究結論,當我們互相認同或廣傳的同時,其實也在鼓勵壞科學的滋生。