Apple mempertanyakan kemampuan model penalaran AI dalam makalah penelitian baru

Apple Inc merilis makalah penelitian selama akhir pekan yang mengklaim bahwa model AI untuk penalaran memiliki kemampuan terbatas dan gagal menghasilkan hasil akurat di luar kompleksitas tertentu.

Dalam sebuah makalah berjudul "Ilusi Berpikir: Memahami Kekuatan dan Keterbatasan Model Penalaran melalui Lensa Kompleksitas Masalah," peneliti Apple (NASDAQ:AAPL) mengatakan bahwa model penalaran yang lebih besar (LRM) memiliki kesenjangan yang signifikan dalam kualitas penalaran dan gagal mengembangkan kemampuan pemecahan masalah umum.

Para peneliti menguji model LRM termasuk OpenAI O1/o3, DeepSeek-R1, Claude 3.7 Sonnet Thinking, dan Gemini Thinking , mengevaluasinya dengan masalah peningkatan kompleksitas dan penyimpangan dari tolok ukur pengujian AI standar.

Dengan menggunakan "lingkungan teka-teki terkendali" untuk menguji model, peneliti Apple menemukan bahwa kinerja LRM menurun seiring meningkatnya kompleksitas, dan akhirnya turun ke tingkat akurasi nol pada kompleksitas tinggi.

"Kami menunjukkan bahwa LRM canggih (misalnya, o3-mini, DeepSeek-R1, Claude-3.7-Sonnet-Thinking) masih gagal mengembangkan kemampuan pemecahan masalah yang dapat digeneralisasikan, dengan akurasi yang akhirnya turun hingga nol di seluruh lingkungan di luar tingkat kompleksitas tertentu," tulis peneliti Apple dalam makalah tersebut.

Para peneliti mengatakan bahwa pengujian mengungkap bahwa LRM mengalami "inefisiensi mendasar" dan memiliki keterbatasan yang jelas dalam kemampuannya untuk berkembang. Para peneliti juga mempertanyakan metode evaluasi terkini untuk LRM berdasarkan tolok ukur matematika yang telah ditetapkan, dan mengatakan bahwa mereka merancang pendekatan eksperimental yang lebih terkontrol dengan menggunakan lingkungan teka-teki algoritmik.

Para peneliti Apple mempertanyakan klaim bahwa LRM merupakan langkah penting menuju AI umum - bentuk teoritis AI yang dapat mensimulasikan kemampuan kognitif luas dan keterampilan memecahkan masalah yang ditunjukkan oleh manusia.

AI umum telah lama dipandang sebagai tujuan akhir oleh para pengembang besar, meskipun sifatnya masih sangat teoritis. Model AI saat ini, terutama model bahasa yang besar, menggunakan pengenalan pola untuk memprediksi kata berikutnya dalam urutan untuk menghasilkan teks baru, yang masih membuatnya rentan terhadap tingkat kesalahan yang tinggi dan membatasi kemampuan penalarannya.

Makalah Apple muncul beberapa hari sebelum Konferensi Pengembang Seluruh Dunia pada 9 Juni, di tengah ekspektasi yang rendah karena upaya AI perusahaan tersebut tertinggal jauh di belakang pesaingnya.

Meskipun bekerja sama dengan OpenAI untuk mengaktifkan fitur AI di perangkat andalannya, Apple masih kesulitan memberikan kemampuan yang dijanjikan dari produk AI-nya, Apple Intelligence.