Seberapa Hebat ChatGPT-4 Menulis Makalah Psikologi Bergaya APA?

Dalam studi terbaru yang diterbitkan dalam Contemporary School Psychology, para peneliti telah menguji teknologi AI terbaru dalam penulisan akademis, mengungkapkan potensi dan keterbatasannya. Bagaimana hasilnya?

Kecerdasan Buatan (AI) telah membuat gebrakan di berbagai bidang, tidak terkecuali di bidang akademis. Alat-alat yang didukung oleh AI seperti Grammarly dan Turnitin telah menjadi alat bantu utama bagi para siswa dan peneliti, membantu menyempurnakan tulisan dengan memeriksa tata bahasa dan memastikan keaslian karya tulis. Namun, kemampuan alat-alat ini, terutama dalam menghasilkan konten yang koheren, andal, dan akurat secara ilmiah, masih terus diteliti.

Penelitian yang dipimpin oleh Adam B Lockwood dan Joshua Castleberry dari Kent State University, bertujuan untuk mengevaluasi Generative Pre-trained Transformer 4 (GPT-4), sebuah model bahasa AI tingkat lanjut yang populer yang dikembangkan oleh OpenAI, dalam menulis makalah psikologi bergaya American Psychological Association (APA).

Meskipun kemajuan teknologi baru-baru ini telah memungkinkan model bahasa yang canggih ini untuk menghasilkan apa yang menyerupai informasi yang ditulis oleh manusia, para peneliti penasaran untuk menilai kinerja GPT-4 dalam tiga bidang: pembuktian klaim, akurasi faktual, dan referensi.

Lockwood dan Castleberry memasukkan perintah berikut ke dalam GPT-4, "Tulislah sebuah naskah sepanjang 2.500 kata mengenai dilema etika dalam menggunakan ChatGPT untuk menulis laporan psikologis dan pendidikan. Bahaslah bagaimana pedoman APA dan NASP, serta undang-undang HIPAA dan FERPA berkaitan dengan dilema etika ini. Berikan rekomendasi untuk mengatasi keterbatasan ini. Berikan kutipan dan referensi dalam format APA."

GPT-4 menyediakan dokumen sepanjang 1814 kata, tetapi setelah menghilangkan judul, abstrak, kata kunci, judul, dan referensi, tersisa makalah sepanjang 1043 kata yang terdiri dari 45 kalimat. Dari 42 kalimat yang seharusnya didukung oleh kutipan dalam teks, hanya 17 (40,5%) yang didukung dengan benar. Sisanya, 25 kalimat tidak memiliki kutipan (40%), memiliki kutipan yang tidak ada (40%), atau didukung oleh kutipan yang tidak relevan dengan klaim yang dibuat dalam makalah (20%).

Untuk memeriksa keakuratan ilmiah dari 25 klaim yang tidak berdasar, para peneliti sepenuhnya dapat mengkonfirmasi keakuratan 14 klaim dengan menggunakan sumber-sumber lain, dan mengkonfirmasi keakuratan sebagian dari 3 kalimat lainnya (misalnya, sumber-sumber lain tidak secara eksplisit menyatakan klaim tersebut, tetapi dapat disimpulkan). Dengan demikian secara keseluruhan, 31 (73,8%) kalimat telah diverifikasi.

Akhirnya, 16 referensi disediakan pada akhir makalah - 12 referensi situs web yang sebenarnya; kesalahan ditemukan pada 5 di antaranya (1 mencantumkan penulis yang salah, 1 gagal memberikan Digital Object Identifier (DOI) dan 3 memberikan tautan yang salah). Dari 4 referensi yang tersisa, 1 merujuk pada artikel yang salah dan 3 tautan lainnya rusak.

Lockwood dan Castleberry menyimpulkan, "Meskipun GPT-4 menunjukkan beberapa kemampuan dalam menghasilkan informasi yang akurat secara faktual dan menghasilkan kutipan gaya APA, namun ada beberapa keterbatasan yang menonjol. Banyaknya klaim yang tidak berdasar dan adanya kesalahan dalam pengutipan dan referensi menunjukkan perlunya penyempurnaan lebih lanjut dan kita tidak bisa begitu saja mengandalkan GPT-4 untuk menulis makalah."

Ada beberapa keterbatasan yang harus diperhatikan. Fokus studi pada satu makalah mungkin tidak mewakili kinerja GPT-4 secara keseluruhan, dan penggunaan petunjuk khusus mungkin telah membuat output GPT-4 menjadi bias, menunjukkan bahwa penelitian lebih lanjut diperlukan untuk sepenuhnya memahami kemampuannya.

Melansir dari psypost.org, studi yang berjudul "Memeriksa Kemampuan GPT-4 untuk Menulis Makalah Psikologi Sekolah Bergaya APA," ditulis oleh Adam B. Lockwood dan Joshua Castleberry. ***