Secara kebetulan, dalam arus berita dan informasi, saya menemukan sebuah artikel di Nature Scientific Reports. Ini menyajikan data dari survei terhadap 1.500 ilmuwan tentang reproduktifitas hasil penelitian. Jika sebelumnya masalah ini diangkat untuk penelitian biologi dan medis, di mana di satu sisi dapat dijelaskan (korelasi palsu, kompleksitas umum dari sistem yang diteliti, terkadang bahkan perangkat lunak ilmiah dituduh), di sisi lain, ia memiliki karakter fenomenologis (misalnya, tikus cenderung berperilaku berbeda dengan ilmuwan berbeda jenis kelamin (1 dan 2)).
Namun, tidak semuanya mulus dengan lebih banyak ilmu alam, seperti fisika dan teknik, kimia, ekologi. Tampaknya disiplin ilmu ini didasarkan pada eksperimen yang "benar-benar" dapat direproduksi yang dilakukan di bawah kondisi yang paling terkontrol, sayangnya, luar biasa - dalam segala hal - hasil survei: hingga 70% peneliti telah menemukan eksperimen yang tidak dapat direproduksi dan hasil yang diperoleh tidak hanya oleh kelompok ilmuwan lain, TAPI juga oleh penulis / rekan penulis dari karya ilmiah yang diterbitkan!
Apakah setiap sandpiper memuji rawa-rawa nya?
Meskipun 52% responden menunjuk pada krisis reproduktifitas dalam sains, kurang dari 31% menganggap data yang dipublikasikan tidak benar secara fundamental dan mayoritas menyatakan bahwa mereka masih mempercayai karya yang dipublikasikan.
Pertanyaan: Apakah ada krisis reproduktifitas hasil?
Tentu saja, seseorang tidak boleh lepas bahu dan menyalahkan semua sains hanya berdasarkan survei ini: setengah dari responden masih ilmuwan yang terkait, dalam satu atau lain cara, dengan disiplin ilmu biologi. Seperti yang penulis catat, dalam fisika dan kimia, tingkat reproduktifitas dan kepercayaan pada hasil yang diperoleh jauh lebih tinggi (lihat grafik di bawah), tetapi masih belum 100%. Tetapi dalam pengobatan, banyak hal sangat buruk dibandingkan dengan yang lainnya.
Video promosi:
Sebuah anekdot muncul di benak:
Marcus Munafo, seorang psikolog biologi di University of Bristol, Inggris, memiliki minat lama dalam reproduktifitas data ilmiah. Mengingat hari-hari di masa mahasiswanya, dia berkata:
Pertanyaan: Berapa banyak karya terbitan di industri Anda yang dapat direproduksi?
Kedalaman masalah lintang dan bujur
Bayangkan Anda seorang ilmuwan. Anda menemukan artikel yang menarik, tetapi hasil / eksperimen tidak dapat direproduksi di laboratorium. Adalah logis untuk menulis tentang ini kepada penulis artikel asli, meminta saran dan mengajukan pertanyaan klarifikasi. Menurut survei, kurang dari 20% pernah melakukan ini setiap saat dalam karier ilmiah mereka!
Para penulis studi mencatat bahwa, mungkin, kontak dan percakapan semacam itu terlalu sulit bagi para ilmuwan itu sendiri, karena mereka mengungkapkan ketidakmampuan dan ketidakkonsistenan mereka dalam masalah tertentu atau mengungkapkan terlalu banyak detail proyek saat ini.
Selain itu, sebagian besar ilmuwan berusaha untuk menerbitkan sanggahan atas hasil yang tidak dapat direproduksi, sementara menghadapi tentangan dari editor dan pengulas yang menuntut agar perbandingan diremehkan dengan studi asli. Apakah mengherankan bahwa peluang melaporkan hasil ilmiah yang tidak dapat direproduksi adalah sekitar 50%.
Pertanyaan pertama: Sudahkah Anda mencoba mereproduksi hasil percobaan?
Pertanyaan kedua: Sudahkah Anda mencoba memposting upaya Anda untuk mereproduksi hasilnya?
Mungkin, kalau begitu, di dalam laboratorium, setidaknya untuk melakukan uji reproduktifitas? Hal yang paling menyedihkan adalah bahwa sepertiga dari responden tidak pernah berpikir tentang membuat metode untuk memeriksa data untuk reproduktifitas. Hanya 40% mengindikasikan bahwa mereka secara teratur menggunakan teknik tersebut.
T: Apakah Anda pernah mengembangkan teknik / proses teknis khusus untuk meningkatkan reproduktifitas hasil?
Contoh lain, seorang ahli biokimia dari Inggris, yang tidak mau mengungkapkan namanya, mengatakan bahwa upaya untuk mengulang, mereproduksi pekerjaan untuk proyek laboratoriumnya hanya menggandakan waktu dan biaya material, tanpa memberi atau menambahkan sesuatu yang baru pada pekerjaan tersebut. Pemeriksaan tambahan dilakukan hanya untuk proyek inovatif dan hasil yang tidak biasa.
Dan tentu saja, pertanyaan abadi Rusia yang mulai menyiksa rekan asing: siapa yang harus disalahkan dan apa yang harus dilakukan?
Siapa yang bersalah?
Penulis karya mengidentifikasi tiga masalah utama reproduktifitas hasil:
- Tekanan dari atasan agar pekerjaan diterbitkan tepat waktu
- Pelaporan selektif (tampaknya, itu berarti penindasan beberapa data, yang "merusak" keseluruhan gambar)
- Analisis data tidak memadai (termasuk statistik)
Pertanyaan: Faktor apa yang menyebabkan hasil ilmiah yang tidak dapat direproduksi?
Jawaban (dari atas ke bawah): –Pelaporan sampel –Tekanan yang ditimbulkan –Analisis / statistik yang buruk –– Pengulangan eksperimen yang tidak memadai di laboratorium –Pengawasan yang tidak memadai –Kurangnya metode atau kode –Desain eksperimental yang buruk –Kurangnya data mentah dari laboratorium primer –Penipuan –Verifikasi yang tidak memadai oleh para ahli / pengulas –Masalah dengan upaya untuk mereproduksi –Keahlian teknis diperlukan untuk mereproduksi –Variabilitas reagen standar - "Neddachka dan Pichalka"
Apa yang harus dilakukan?
Dari 1.500 yang disurvei, lebih dari 1.000 spesialis mendukung peningkatan statistik dalam mengumpulkan dan memproses data, meningkatkan kualitas pengawasan dari atasan, dan perencanaan eksperimen yang lebih ketat.
T: Faktor apa yang akan membantu meningkatkan reproduktifitas?
Jawaban (dari atas ke bawah): - Pemahaman statistik yang lebih baik - Pengawasan yang lebih ketat - Desain eksperimental yang lebih baik - Pelatihan - Tinjauan laboratorium internal - Peningkatan keterampilan praktis - Mendorong pemeriksaan silang data formal - Tinjauan antar laboratorium - Mengalokasikan lebih banyak waktu untuk manajemen proyek - Meningkatkan standar jurnal ilmiah - Mengalokasikan lebih banyak waktu untuk bekerja dengan catatan laboratorium
Kesimpulan dan beberapa pengalaman pribadi
Pertama-tama, bahkan bagi saya, sebagai seorang ilmuwan, hasilnya mengejutkan, meskipun saya sudah terbiasa sampai pada tingkat tertentu bahwa hasilnya tidak dapat direproduksi. Hal ini terutama terlihat dalam karya-karya yang dilakukan oleh orang Cina dan India tanpa "audit" pihak ketiga dalam bentuk profesor Amerika / Eropa. Adalah baik bahwa masalah dikenali dan dipikirkan solusinya. Saya dengan bijaksana akan tetap bungkam tentang ilmu pengetahuan Rusia sehubungan dengan skandal baru-baru ini, meskipun banyak yang secara jujur melakukan tugasnya.
Kedua, artikel mengabaikan (atau lebih tepatnya tidak mempertimbangkan) peran metrik ilmiah dan jurnal ilmiah peer-review dalam munculnya dan perkembangan masalah irreproducibility hasil penelitian. Dalam mengejar kecepatan dan frekuensi publikasi (baca, peningkatan indeks kutipan), kualitasnya turun tajam dan tidak ada waktu untuk verifikasi tambahan terhadap hasilnya.
Seperti yang mereka katakan, semua karakter adalah fiksi, tetapi berdasarkan kejadian nyata. Entah bagaimana seorang mahasiswa memiliki kesempatan untuk mereview sebuah artikel, karena tidak setiap profesor memiliki waktu dan tenaga untuk membaca artikel dengan cermat, sehingga dikumpulkan opini dari 2-3-4 mahasiswa dan dokter, dari mana review tersebut dibentuk. Sebuah tinjauan telah ditulis, itu menunjukkan hasil yang tidak dapat direproduksi sesuai dengan metode yang dijelaskan dalam artikel. Ini dengan jelas ditunjukkan kepada profesor. Tetapi agar tidak merusak hubungan dengan "kolega" - lagipula, mereka berhasil dalam segala hal - ulasan itu "diperbaiki". Dan ada 2 atau 3 artikel seperti itu yang diterbitkan.
Ternyata itu lingkaran setan. Ilmuwan mengirimkan artikel tersebut ke editor jurnal, di mana ia menunjukkan pengulas yang "diinginkan" dan, yang paling penting, "yang tidak diinginkan", yaitu, pada kenyataannya, hanya menyisakan mereka yang cenderung positif terhadap kelompok penulis. Mereka meninjau karya tersebut, tetapi mereka tidak bisa "mengomel" dan mencoba memilih yang lebih kecil dari dua kejahatan - berikut adalah daftar pertanyaan yang perlu dijawab, dan kemudian kami akan menerbitkan artikelnya.
Contoh lain, yang dibicarakan oleh editor Nature sebulan yang lalu, adalah panel surya Grazel. Karena minat yang sangat besar dalam topik ini dalam komunitas ilmiah (bagaimanapun juga, mereka masih menginginkan artikel di Nature!), Editor harus membuat kuesioner khusus di mana mereka perlu menunjukkan banyak parameter, menyediakan kalibrasi peralatan, sertifikat, dll. Untuk mengonfirmasi bahwa metode untuk mengukur efisiensi panel sesuai dengan beberapa prinsip dan standar umum.
Dan, ketiga, ketika sekali lagi Anda mendengar tentang vaksin ajaib yang menaklukkan segalanya dan semua orang, cerita baru tentang Pekerjaan dengan rok, baterai baru atau bahaya / manfaat GMO atau radiasi ponsel pintar, terutama jika dipromosikan oleh penulis kuning dari jurnalisme, maka pahami dan jangan langsung mengambil kesimpulan. Tunggu konfirmasi hasil oleh kelompok ilmuwan lain, akumulasi larik dan sampel data.
