Penggunaan Kecerdasan Buatan (AI) dalam sistem pengawasan, seperti pengenalan wajah dan pemodelan prediktif, menjanjikan peningkatan efisiensi keamanan. Namun, janji ini datang dengan risiko serius terhadap keadilan sosial. Dasar masalahnya terletak pada Bias Algoritma, yaitu ketidakadilan sistematis yang terkandung dalam kode dan data pelatihan AI. Bias ini mencerminkan dan memperkuat prasangka yang sudah ada di masyarakat.
Masalah utama muncul dari data yang digunakan untuk melatih model AI. Jika data historis kejahatan menunjukkan bahwa komunitas tertentu secara tidak proporsional lebih sering menjadi target Pengawasan Polisi, AI akan belajar mengasosiasikan ciri-ciri komunitas tersebut dengan risiko kejahatan yang lebih tinggi. Akibatnya, sistem akan secara otomatis memprioritaskan pemantauan kelompok tersebut, menciptakan lingkaran umpan balik yang merugikan.
Efek dari Bias Algoritma sangat nyata pada teknologi pengenalan wajah. Penelitian telah berulang kali menunjukkan bahwa sistem ini memiliki tingkat kesalahan yang jauh lebih tinggi ketika mengidentifikasi individu berkulit gelap atau wanita, dibandingkan pria berkulit terang. Tingkat akurasi yang timpang ini berarti orang-orang dari kelompok minoritas menghadapi risiko lebih besar untuk salah diidentifikasi, distigmatisasi, dan diperiksa secara tidak adil.
Ketika AI digunakan untuk memprediksi lokasi kejahatan di masa depan, Bias Algoritma dapat mengarahkan sumber daya polisi ke lingkungan yang sudah rentan. Daripada melacak kejahatan, algoritma malah melacak kegiatan polisi di masa lalu. Hal ini menyebabkan peningkatan penangkapan di area tersebut, yang kemudian memperkuat prediksi algoritma selanjutnya. Ini menciptakan “profiling rasial” yang didorong oleh mesin, bukan sekadar intuisi manusia.
Lebih jauh lagi, keputusan AI bersifat buram (opaque); sering kali sulit bagi penyidik, apalagi warga negara, untuk memahami mengapa suatu individu atau area ditandai sebagai berisiko. Kurangnya transparansi ini menghilangkan kemampuan warga untuk menantang keputusan yang berpotensi diskriminatif di pengadilan. AI menjadi otoritas yang tidak dapat dipertanyakan, menyembunyikan prasangka di balik klaim objektivitas data.
Untuk mengatasi risiko ini, kita harus fokus pada audit dan akuntabilitas. Pengembang dan lembaga penegak hukum harus transparan mengenai data pelatihan yang digunakan dan memublikasikan hasil pengujian keadilan algoritma. Sistem AI harus menjalani pengujian ketat untuk memastikan keadilan lintas demografi sebelum diizinkan untuk digunakan di lapangan. Etika harus menjadi bagian integral dari desain teknologi.
Pengurangan Bias Algoritma memerlukan upaya bersama untuk mendiversifikasi tim pengembang dan membersihkan data pelatihan dari prasangka historis. Namun, bahkan algoritma yang “adil” pun harus digunakan dengan hati-hati. Kehadiran AI dalam pengawasan harus selalu dipimpin oleh perintah pengadilan yang jelas dan diawasi oleh otoritas sipil independen untuk mencegah penyalahgunaan kekuasaan.