Setelah 1 tahun menguji kemampuan ChatGPT secara super intensif, saya menemukan banyak kejutan positif dari teknologi ini, tapi juga sekaligus kaget menemukan banyak kasus dimana ChatGPT gratis tidak bisa berhitung!
Saya tes ChatGPT dengan 5 jenis soal matematika yang berbeda-beda. Ada yang dikerjakan dengan baik, ada yang gagal dan ada yang fatal! Saya share cepat di post ini.
Untuk yang baru pertama kali ke blog ID62: Blog ini tempat untuk para “NON-CODERS”, yaitu mereka yang tidak mengerti coding tapi ingin bisa memanfaatkan AI, bikin website, automate pekerjaan….alias mereka yang ingin lebih produktif dan punya lebih banyak waktu!
Kamu ingin memanfaatkan teknologi tapi tidak paham coding? ID62 is the place for you. Lebih detil tentang ID62 disini.
ChatGPT Gratis Tidak Bisa Berhitung?
Kesimpulan utama: ChatGPT luar biasa pintar, tapi bukan sebuah kalkulator. Walau pun ada juga soal-soal matematika yang bisa dijawab dengan benar, tapi melihat bagaimana ChatGPT bisa “salah paham total” dalam beberapa kasus (dibagikan di bawah), pengguna ChatGPT beresiko kerja dua kali dan malah menjadi tidak produktif.
Sorry ChatGPT, kamu luar biasa dengan teks, tapi tidak bisa diandalkan dengan angka!
Secara singkat, di bawah ini 5 jenis soal matematika yang saya ujikan ke ChatGPT:
ChatGPT Menghitung Jumlah Kata Dalam Artikel
Saya minta ChatGPT 3.5 membuat tulisan singkat sejarah hidup Elon Musk, dengan instruksi persis 500 kata. ChatGPT dengan luwesnya membuat beberapa paragraf, tapi ketika ditanya berapa jumlah kalimat dalam artikel yang baru ditulis, ChatGPT langsung kesulitan menjawab.
Dari instruksi awal untuk menulis 500 kata, ChatGPT mengatakan bahwa mesin telah membuat kesalahan dan menuliskan 508 kata. Ini pun ternyata salah!
Setelah dicek ke aplikasi khusus penghitung kata wordcounter.net, ternyata artikel tersebut hanya mempunyai 451 kata.
ChatGPT Menghitung Jumlah Hari Kalender
Setelah melihat ChatGPT gratis tidak bisa berhitung dalam soal jumlah kata di artikel, saya ganti soalnya ke seputar kalender.
Tes pertama: saya berikan tugas menghitung jarak ulang tahun.
Soal: Kalau hari ini 4 Januari dan Tono ulang tahun tanggal 28 Februari, berapa hari lagi ulang tahun Tono?
Jawabannya adalah Tono akan berulang tahun 55 hari lagi (27 hari di Januari + 28 hari di Februari).
Herannya, ChatGPT seperti mendadak jadi buta kalender dan tidak bisa membedakan antara Januari dengan Februari. ChatGPT dengan keliru menjawab ulang tahun Tono akan tiba 24 hari lagi – kekeliruan berpikir ulang tahun Tono 28 Januari (28 minus 4), padahal seharusnya masih di bulan selanjutnya 28 Februari.
Tes kedua: Menghitung jarak ke tahun baru 2025
Soal: Hari ini 30 Desember 2023. Berapa hari lagi menuju tahun baru 2025? (perhatikan, 2025, bukan 2024)
Jawabannya adalah 367 hari (366 hari di 2024 dan 1 hari di 2023).
Sekali lagi ChatGPT gratis tidak bisa berhitung dengan benar dan dengan keliru menjawab bahwa hanya ada jarak 2 hari saja dari 30 Desember 2023 ke tahun baru 2025. ChatGPT seakan tidak bisa membedakan antara 1 Januari 2024 dengan 1 Januari 2025!
ChatGPT Mengerjakan Soal Matematika Level SD
Selanjutnya saya kasih soal matematika level sekolah SD ke ChatGPT gratis 3.5:
Jawaban yang benar untuk soal ini adalah: tersisa 298 buku, terdiri dari 165 buku cerita dan 133 buku pelajaran.
Di soal ini, ChatGPT menjabarkan logika cara mengerjakan soal dan menghasilkan jawaban yang akurat.
Perhatikan ChatGPT memberikan logika proses pengerjaan soal yang baik, yaitu menghitung terlebih dahulu jumlah tersisa masing-masing buku.
ChatGPT melakukan pekerjaan yang baik di sini. Bagaimana kalau dikasih soal matematika level SMA yang jauh lebih sulit?
ChatGPT Mengerjakan Soal Matematika Level SMA
Setelah berhasil dengan soal matematika level SD, saya coba tantang ChatGPT gratis berhitung soal level SMA:
Soal level SMA jelas lebih menantang (saya sendiri harus coba hitung manual beberapa kali untuk memastikan). Tapi ChatGPT secara mengejutkan bukan hanya bisa memberikan jawaban yang akurat, tapi bisa menjabarkan proses pengerjaan dengan sangat detil.
ChatGPT menjelaskan bahwa mesin mencoba mengerjakan dengan metode substitusi variabel untuk mencoba mendapatkan nilai dari salah satu variabel terlebih dahulu (Variabel X). Setelah mendapatkan nilai variabel X, ChatGPT kemudian menghitung balik ke persamaan awal untuk mendapatkan nilai variabel Y.
Setelah mendapatkan keduanya, ChatGPT lalu menghitung nilai dari persamaan yang ditanyakan dalam soal ini dengan benar. Not bad at all!
ChatGPT Menghitung Biaya Sewa Kost
Namun sayangnya, setelah berhasil dengan cemerlang di soal matematika level SD dan level SMA, ChatGPT gagal total di ujian terakhir yang saya berikan, yaitu menghitung biaya sewa kost.
menurut saya ini adalah kegagalan paling besar karena terlihat sekali KESALAHAN FATAL CHATGPT untuk memahami konteks pertanyaannya. Ini soal yang saya berikan ke ChatGPT:
Jawaban yang benar adalah Rp 1,5 juta, karena kita harus tetap bayar 3 bulan penuh walaupun di bulan terakhir hanya menghuni selama 25 hari.
Ini jawaban dari ChatGPT:
ChatGPT gratis tidak bisa berhitung dengan benar dan memberikan jawaban Rp 1.416.667, karena berasumsi biaya bulan terakhir perlu dihitung secara pro-rata (25 hari dibagi 30 hari). Ini adalah sebuah kesalahan karena sudah diberitahu di soal awal bahwa kita tetap harus bayar biaya sewa penuh 1 bulan (Rp 500.000) walaupun hanya menghuni beberapa hari saja.
Kesalahan paling fatal kemudian terjadi, setelah saya mencoba mengkoreksi ChatGPT akan kesalahan hitungnya. Jawaban ChatGPT selanjutnya malah semakin menyimpang dan sangat memperlihatkan titik lemah yang fatal dalam operasinya. Kita lihat di bawah ini:
Alih-alih memperbaiki kesalahannya, ChatGPT malah sepenuhnya kehilangan konteks soal awal yang diberikan dan malah menjawab kita cukup membayar Rp 500.000 untuk menyewa kost 2 bulan dan 25 hari!
Bahkan ChatGPT menuliskan, “….Anda bayar tetap Rp 500.000, tidak peduli berapa lama Anda tinggal.”
Kalau kamu pemilik rumah kost, jangan coba-coba menghitung tagihan pakai ChatGPT ya!
Bad News, Good News. Apakah ChatGPT Alat yang Tepat Untuk Saya?
I’m sorry for the bad news: kalau kamu berencana menggunakan ChatGPT untuk tugas-tugas serius mengolah angka, hal ini tidak disarankan.🙏
Dari pengujian saya yang cukup panjang, jelas sekali bahwa chatgpt gratis tidak bisa berhitung dengan konsisten dan akurat. Kalau untuk tugas berhitung sederhana dan mudah dicek ulang, mungkin masih bisa dilakukan, tapi jangan percayakan tugas mengolah angka untuk presentasi besarmu di depan boss ke ChatGPT. Hindari juga menggunakan ChatGPT untuk hitung gaji karyawan atau hitung pajak, bisa panjang masalahnya nanti.
Semua pekerjaan mengolah angka yang serius dan berdampak besar, kita tetap percayakan dulu ke si kalkulator dan excel spreadsheet untuk sementara ini.
Apakah ini berarti ChatGPT tidak bisa dipakai oleh orang-orang yang mengelola data?
Apakah ChatGPT alat bantu yang tepat untuk saya? Good news, dari kelahiran ChatGPT di akhir 2022, saya sudah menguji coba ChatGPT untuk macam-macam tugas yang berbeda-beda. Saya tuliskan tugas apa saja yang berhasil diuji dan siapa orang-orang yang akan mendapatkan booster terbesar dari ChatGPT. Temukan jawaban buat kamu di sini.
