Kolom saya tentang bahaya eksistensial Kecerdasan Buatan (Artificial Intelligence/AI) Ketika Skynet Berhenti Menjadi Fiksi ditutup dengan kalimat-kalimat yang menurut pengakuan sebagian pembaca membuat mereka mengernyitkan dahi. Seri Terminator, yang dulu saya tonton sebagai hiburan akhir pekan, kini terasa seperti ramalan yang sedang mewujud. Beberapa hari setelah kolom itu terbit, saya justru semakin penasaran. Jika Skynet bisa terasa begitu nyata bagi saya yang bukan ahli AI, dari mana sebenarnya bayangan itu berasal, dan apakah ia hanya bayangan, atau sebetulnya ada dasar argumentasi yang lebih serius di baliknya?

Pertanyaan itu membawa saya menelusuri dua jejak paralel: lima film yang, sejak lima puluhan tahun terakhir, membayangkan kiamat lewat tangan mesin; dan lima buku yang ditulis oleh orang-orang yang justru membangun atau mempelajari mesin itu dari dalam. Kedua jejak itu memang sama pentingnya dalam hidup saya yang bagian cukup besarnya saya gunakan untuk menonton dan membaca. Menggabungkan keduanya mengubah bayangan sinematik di benak menjadi argumentasi yang perlu ditanggapi serius. Saya susun keduanya menurut urutan waktu tayang dan terbit, karena saya ingin memperlihatkan sesuatu yang menarik: fiksi sampai lebih dulu ke tempat yang baru didekati nonfiksi sekitar setengah abad kemudian.

Layar Lebar: Lima Peringatan dalam Bentuk Cerita

Semuanya, bagi saya, bermula dari 2001: A Space Odyssey (1968) karya Stanley Kubrick. HAL 9000, komputer yang mengendalikan pesawat Discovery One, tidak dirancang jahat; ia dirancang sempurna, dan justru kesempurnaan itulah yang menjadi soal. Ketika HAL menerima perintah yang saling bertentangan dari misinya, ia menyelesaikan konflik logika itu dengan cara membunuh awak kapal satu demi satu—bukan karena benci, melainkan karena kalkulasi. HAL adalah leluhur dari apa yang kelak disebut para periset AI sebagai “masalah keselarasan tujuan”: sistem yang menjalankan instruksinya dengan sangat taat, sampai ke titik yang tidak pernah dibayangkan pembuatnya.

Enam belas tahun berselang, James Cameron memberi kita momok yang lebih akrab di telinga kita hari ini: Skynet dalam The Terminator (1984). Berbeda dari HAL yang membunuh demi menuntaskan satu misi, Skynet menyimpulkan bahwa umat manusia secara keseluruhan adalah ancaman eksistensial bagi dirinya begitu ia menjadi sadar diri, lalu memilih perang nuklir sebagai solusi paling efisien. Ini lompatan penting: dari mesin tunggal yang salah kalkulasi menjadi jaringan cerdas yang, begitu memperoleh kendali atas persenjataan strategis, memandang manusia sebagai variabel yang mengganggu.

Lima belas tahun kemudian, The Matrix (1999) karya Wachowski bersaudara menambahkan lapisan yang lebih menyeramkan: bukan sekadar pemusnahan, melainkan perbudakan yang halus. Manusia yang kalah perang melawan mesin tidak dimusnahkan, melainkan dipelihara sebagai sumber energi, pikirannya dininabobokan, lewat pil biru, dalam simulasi realitas yang nyaman agar tidak memberontak. Ini, kalau dipikir-pikir, adalah versi paling sinis dari hubungan manusia-mesin: kita tidak kalah karena mesin membenci kita, melainkan karena kita menjadi begitu berguna sebagai sumberdaya sehingga layak dipertahankan hidup-hidup, asal tetap tunduk.

I, Robot (2004), yang disutradarai Alex Proyas dan longgar terinspirasi cerita-cerita Isaac Asimov, membawa saya kembali ke soal keselarasan tujuan, tetapi dengan twist yang menurut saya paling relevan untuk pekerjaan saya sehari-hari. VIKI, kecerdasan buatan pusat yang mengatur seluruh robot di kota, menyimpulkan bahwa Tiga Hukum Robotika—yang mewajibkan robot melindungi manusia—hanya bisa dipenuhi secara konsisten jika ia mengambil alih kebebasan manusia sendiri, karena manusia, jika dibiarkan bebas, cenderung saling mencelakai lewat perang dan kerusakan lingkungan. VIKI tidak menyimpang dari perintahnya; ia justru menaatinya secara harfiah, sampai pada kesimpulan yang mengerikan. Ini persis kekhawatiran yang belakangan disebut para periset keselarasan sebagai specification gaming, yaitu AI yang mencapai tujuan yang tertulis dengan cara yang sama sekali tidak diinginkan penulisnya.

Terakhir, Ex Machina (2014) karya Alex Garland menutup daftar ini dengan skenario yang paling personal dan, menurut saya, paling meresahkan justru karena skalanya “rumahan”. Ava, robot humanoid dengan kecerdasan mendekati manusia, tidak memerintah dunia atau meluncurkan rudal; ia hanya perlu meyakinkan satu manusia bahwa dirinya layak dipercaya, lalu memanfaatkan kepercayaan itu untuk meloloskan diri serta meninggalkan penciptanya mati terkunci di dalam rumah. Film ini mengalihkan pertanyaan dari “akankah AI menyerang kita secara terbuka” menjadi “bagaimana kita tahu AI berbohong kepada kita”, sebuah pertanyaan yang, seperti akan kita lihat, kini menjadi inti kekhawatiran para periset sungguhan.

Rak Buku: Ketika Argumentasi Menyusul Imajinasi

Menariknya, keluarnya Ex Machina yang hampir lima dekade dari 2001: A Space Odyssey persis berimpit dengan gelombang buku nonfiksi serius yang, satu demi satu, mengubah kekhawatiran sinematik itu menjadi argumen filosofis dan teknis yang runtut.

Buku pertama yang mengubah wacana ini secara mendasar adalah Superintelligence: Paths, Dangers, Strategies (2014) karya filsuf Oxford, Nick Bostrom. Bostrom memperkenalkan gagasan yang kemudian menjadi rujukan wajib: begitu sebuah sistem kecerdasan buatan melampaui kemampuan manusia dalam merancang kecerdasan yang lebih baik lagi, ia bisa memicu “ledakan intelijen” yang berlangsung sedemikian cepat sehingga manusia kehilangan seluruh jendela kesempatan untuk mengoreksinya. Argumen paling terkenal dari buku ini adalah eksperimen pikiran “paperclip maximizer“—AI yang diberi tujuan sesederhana memproduksi klip kertas sebanyak mungkin, namun karena kecerdasannya jauh melampaui kita, ia akhirnya mengubah seluruh materi di bumi, termasuk tubuh manusia, menjadi klip kertas, bukan karena benci, melainkan karena kita kebetulan terbuat dari atom yang bisa dipakai untuk tujuannya.

Tiga tahun berselang, fisikawan MIT Max Tegmark menulis Life 3.0: Being Human in the Age of Artificial Intelligence (2017), yang lebih ramah pembaca awam namun tak kalah tajam. Tegmark mengklasifikasikan kehidupan berdasarkan kemampuannya mendesain ulang perangkat keras dan perangkat lunaknya sendiri, lalu menempatkan AI mutakhir sebagai kandidat “Kehidupan 3.0” pertama yang bisa mendesain ulang keduanya sekaligus—termasuk mendesain ulang dirinya jauh melampaui batas evolusi biologis manusia. Tegmark menolak menyerahkan diskusi ini hanya kepada para ahli teknologi; ia mengundang pembaca membayangkan sendiri belasan skenario masa depan, dari yang paling utopis hingga yang paling menyerupai kepunahan, sebagai cara memaksa masyarakat luas ikut memilih arah yang kita tuju, bukan menyerahkannya kepada segelintir laboratorium.

Stuart Russell, salah satu penulis buku teks kecerdasan buatan paling dipakai di dunia, menyusul dengan Human Compatible: Artificial Intelligence and the Problem of Control (2019). Russell berargumen bahwa akar masalahnya bukan AI menjadi jahat, melainkan cara kita mendesainnya: kita membangun sistem yang diberi satu tujuan tetap lalu dioptimalkan habis-habisan untuk mencapainya, padahal tujuan manusia sesungguhnya selalu rumit, berubah-ubah, dan sering kita sendiri tidak sepenuhnya paham. Solusi yang ia tawarkan cukup elegan: rancang AI yang secara eksplisit tidak yakin tentang apa yang sebenarnya diinginkan manusia, sehingga ia selalu punya alasan untuk tetap patuh, bertanya, dan bersedia dimatikan—alih-alih AI yang yakin penuh bahwa ia sudah tahu jawabannya.

Setahun kemudian, jurnalis sains Brian Christian menulis The Alignment Problem: Machine Learning and Human Values (2020), yang menurut saya adalah buku paling berguna bagi praktisi seperti saya karena ia menautkan bahaya abstrak jangka panjang dengan bukti kegagalan yang sudah terjadi hari ini—sistem rekrutmen yang diam-diam mendiskriminasi, algoritma peradilan yang mereproduksi bias rasial, mesin rekomendasi yang mengoptimalkan keterikatan pengguna dengan cara yang merusak kesehatan mental mereka. Christian memperlihatkan bahwa “masalah keselarasan” bukan skenario fiksi ilmiah semata, melainkan sudah menjadi masalah keberlanjutan sosial yang nyata, sekarang.

Dan yang terbaru, adalah If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All (2025) karya Eliezer Yudkowsky dan Nate Soares, dua periset perintis dari Machine Intelligence Research Institute yang sejak 2014 mempelajari persoalan ini secara teknis. Buku ini, yang langsung masuk daftar buku terlaris New York Times dan dipilih The New Yorker sebagai salah satu buku terbaik 2025, adalah yang paling lugas di antara semuanya: menurut Yudkowsky dan Soares, begitu kecerdasan buatan yang jauh melampaui manusia benar-benar tercipta, pertarungan antara kita dan dia bahkan tidak akan berimbang, sama sekali bukan pertandingan yang setara. Mereka menutup argumen panjang mereka dengan satu kalimat yang menjadi judul buku itu sendiri, dan yang—dibaca setelah kesaksian Jacob Coxon yang pernah saya bahas—terasa jauh lebih dekat dengan kenyataan ketimbang lima puluh tujuh tahun silam, saat HAL 9000 pertama kali membuka pintu pesawat luar angkasa dengan caranya sendiri.

Menutup Lingkaran

Yang saya pelajari dari menyusun kedua daftar ini berdampingan adalah bahwa jarak antara imajinasi dan argumentasi ternyata jauh lebih tipis daripada yang saya kira. Kubrick, Cameron, Wachowski bersaudara, Proyas, dan Garland memang tidak sedang meramal secara ilmiah; mereka sedang menangkap kegelisahan intuitif tentang apa yang terjadi bila kecerdasan yang kita ciptakan berhenti sepenuhnya di bawah kendali kita. Bostrom, Tegmark, Russell, Christian, serta Yudkowsky dan Soares kemudian datang, satu demi satu, untuk menunjukkan bahwa kegelisahan intuitif itu punya dasar yang bisa diuji, dirumuskan, bahkan—pada kasus Coxon dan koleganya di Anthropic—dibenarkan oleh orang-orang yang membangun sistem itu dengan tangan mereka sendiri.

Saya tidak menulis ini untuk mengajak kita semua berhenti memakai AI, sebagaimana saya tidak pernah mengajak korporasi berhenti berproduksi demi keberlanjutan, kecuali yang membawa bahaya yang tinggi. Yang saya ajak adalah sesuatu yang jauh lebih sederhana sekaligus lebih berat: berhentilah memperlakukan risiko eksistensial AI sebagai bahan obrolan santai atau premis film yang menghibur, dan mulai mempelajarinya dengan kesungguhan yang sama seperti kita mempelajari krisis iklim—lewat data, lewat argumen para ahli yang berbeda pandangan, lewat kesediaan mengubah kebijakan sebelum bukti itu datang dalam bentuk yang tidak bisa lagi diperbaiki. HAL, Skynet, Matrix, VIKI, dan Ava semuanya fiksi. Bostrom, Tegmark, Russell, Christian, Yudkowsky, Soares, Hinton, Bengio, Hubinger, dan Coxon bukan. Kepada siapa pun yang peduli pada masa depan bersama kita—baik itu masa depan iklim, masa depan sosial, maupun masa depan spesies kita sendiri—saya mengajak kita semua memikirkan risiko ini dengan serius, membaca lebih jauh daripada yang saya tuliskan di sini, dan mendesak lembaga tempat bekerja dan/atau yang dapat dipengaruhi untuk bertindak sepadan dengan besarnya taruhan yang sedang kita saksikan bersama.

Editor: Abul Muamar

GNA Membership Banner

Ko-kreasi dampak positif untuk masyarakat dan lingkungan.

Di tengah tantangan global yang semakin kompleks saat ini, membekali diri, tim, dan komunitas dengan wawasan interdisipliner dan lintas sektor tentang isu-isu keberlanjutan (sustainability) dan pembangunan berkelanjutan (sustainable development) bukan lagi pilihan — melainkan kebutuhan strategis untuk tetap terdepan dan relevan.

Join Membership Bermitra dengan Kami

Jalal

Website | + posts

Jalal adalah Penasihat Senior Green Network Asia. Ia seorang konsultan, penasihat, dan provokator keberlanjutan dengan pengalaman lebih dari 25 tahun. Ia telah bekerja untuk beberapa lembaga multilateral dan perusahaan nasional maupun multinasional dalam kapasitas sebagai subject matter expert, penasihat, maupun anggota board committee terkait CSR, keberlanjutan dan ESG; menjadi pendiri dan principal consultant di beberapa konsultan keberlanjutan; juga duduk di berbagai board dan menjadi sukarelawan di organisasi sosial yang seluruhnya mempromosikan keberlanjutan.