Mengapa AI Layanan Kesehatan Membutuhkan Desain Human-in-the-Loop

Godaan Otomatisasi

Setiap gelombang teknologi membawa serta versi dari janji yang sama: otomatiskan proses ini sepenuhnya, hilangkan hambatan manusia, dan capai efisiensi dalam skala besar. Pada perangkat lunak perusahaan, logistik, dan layanan keuangan, janji ini sering kali terwujud. Langkah manusia dalam sebuah proses kerap menjadi tempat kesalahan terjadi, tempat keterlambatan menumpuk, dan tempat biaya terkonsentrasi.

AI layanan kesehatan menghadapi logika efisiensi yang sama. Jika sebuah sistem AI dapat menghasilkan laporan klinis, menyarankan diagnosis, menetapkan kode ICD, atau menyusun pesan tindak lanjut pasien — mengapa tidak membiarkannya melakukannya secara sepenuhnya otonom, tanpa mengharuskan seorang dokter meninjau dan menyetujui setiap keluaran?

Jawabannya bukanlah bahwa AI tidak bisa akurat. Large language model (LLM) modern dan sistem AI klinis terspesialisasi dapat mencapai akurasi yang mengesankan pada tugas-tugas klinis dalam kondisi terkendali. Jawabannya menyangkut akuntabilitas, kepekaan terhadap konteks, dan sifat kesalahan dalam layanan kesehatan.

Taruhan dari Kesalahan Klinis

Di sebagian besar industri, kesalahan AI menghasilkan biaya finansial atau kehilangan efisiensi yang dapat dikoreksi. Dalam layanan kesehatan, kesalahan dapat menyebabkan cedera pada pasien. Temuan kritis yang terlewat dalam laporan medis, kode ICD yang keliru sehingga mengarah pada terapi yang salah, instruksi pasien yang dihasilkan AI yang bertentangan dengan penilaian klinis dokter — semua ini bukan sekadar inefisiensi. Semua ini adalah insiden keselamatan.

Ini tidak berarti AI tidak boleh digunakan dalam lingkungan klinis. Ini berarti bahwa desain sistem AI klinis harus menanggapi keselamatan secara serius dengan cara yang secara kualitatif berbeda dari sistem AI di domain lain. Desain human-in-the-loop (manusia dalam alur keputusan) adalah mekanisme utama untuk mencapai hal ini.

Apa Arti Human-in-the-Loop Sebenarnya

Istilah "human-in-the-loop" terkadang digunakan secara longgar untuk menyebut apa pun yang belum sepenuhnya otomatis. Untuk AI layanan kesehatan, definisi yang lebih tepat lebih bermanfaat:

Desain human-in-the-loop menempatkan seorang peninjau manusia yang berkualifikasi pada setiap titik keputusan di mana keluaran AI memiliki konsekuensi klinis — dengan informasi, otoritas, dan waktu yang memadai untuk mengevaluasi dan memodifikasi keluaran tersebut secara bermakna sebelum keluaran itu memengaruhi perawatan pasien.

Kata kunci di sini adalah "mengevaluasi secara bermakna." Seorang dokter yang mengeklik "setujui" pada laporan yang dihasilkan AI yang belum sempat ia baca bukanlah desain human-in-the-loop — itu adalah bentuk tanpa substansi. Desain human-in-the-loop yang sejati menuntut:

• Keluaran AI disajikan dalam format yang dapat dinilai peninjau secara cepat dan akurat
• Tingkat keyakinan dan penalaran AI bersifat transparan jika relevan
• Peninjau memiliki otoritas yang sungguh-sungguh untuk memodifikasi, menolak, atau meneruskan keluaran
• Waktu yang memadai dalam alur kerja agar peninjauan yang bermakna dapat dilakukan

Mendesain untuk Peninjauan yang Efektif

Jika pengawasan manusia harus bersifat substantif dan bukan sekadar formalitas, desain antarmuka peninjauan menjadi sangat penting. Beberapa prinsip memandu desain UI peninjauan yang efektif pada AI klinis:

Sorot Apa yang Berubah atau Apa yang Tidak Pasti

Alih-alih meminta dokter meninjau seluruh dokumen yang dihasilkan AI dari awal, tampilkan elemen-elemen yang paling memerlukan perhatian: temuan tidak lazim, interpretasi dengan keyakinan rendah, nilai-nilai di luar rentang rujukan, dan keluaran apa pun yang berbeda dari yang biasanya diharapkan dokter. Ini memusatkan upaya peninjauan pada item berisiko tinggi.

Buat Penyuntingan Tanpa Hambatan

Jika menyunting keluaran AI jauh lebih sulit daripada menerimanya, dokter akan membentuk kebiasaan menyetujui tanpa meninjau. Antarmuka peninjauan harus membuat modifikasi semudah penerimaan — idealnya lebih mudah untuk koreksi yang umum daripada untuk persetujuan massal.

Pertahankan Pembedaan Draf/Disetujui

Sistem klinis harus dengan jelas membedakan antara draf yang dihasilkan AI dan dokumen yang telah disetujui dokter. Pembedaan ini memiliki signifikansi baik klinis maupun regulatori: hanya dokumen yang telah disetujui yang boleh diarsipkan dan dikirimkan.

Jejak Audit

Setiap keluaran AI dan setiap tindakan dokter harus dicatat dengan tanda waktu. Ini bukan sekadar praktik yang baik — di banyak yurisdiksi, ini merupakan persyaratan regulatori. Jejak audit juga memungkinkan pemantauan mutu: jika seorang dokter secara konsisten memodifikasi jenis keluaran AI tertentu, itu menjadi sinyal bahwa model AI perlu ditingkatkan pada area tersebut.

Dimensi Regulatori dan Tanggung Jawab Hukum

Dalam kerangka regulatori Asia Tenggara — Kemenkes di Indonesia, HSA di Singapura, dan lembaga setara — tanggung jawab hukum atas keputusan klinis berada pada klinisi berlisensi, bukan pada vendor perangkat lunak. Ini berarti bahwa bahkan ketika AI menghasilkan sebuah laporan, dokter yang menyetujuinya secara hukum dan profesional bertanggung jawab atas isinya.

Ini bukan kelemahan dari desain human-in-the-loop — ini adalah penyelarasan akuntabilitas dengan kapabilitas yang tepat. Dokter memiliki lisensi, pelatihan klinis, dan pengetahuan langsung tentang pasien yang belum dimiliki sistem AI mana pun saat ini. Akuntabilitas semestinya berada pada mereka.

Ini juga berarti bahwa fasilitas layanan kesehatan yang mengadopsi perangkat AI memiliki kewajiban untuk memastikan dokter mereka benar-benar diberdayakan untuk menjalankan pengawasan — dengan pelatihan yang memadai mengenai kapabilitas dan keterbatasan sistem AI, serta dengan desain alur kerja yang membuat peninjauan yang bermakna menjadi realistis dalam batasan waktu.

Pandangan Jangka Panjang: Membangun Kepercayaan Melalui Transparansi

Desain human-in-the-loop bukan sekadar mekanisme keselamatan — ini adalah strategi membangun kepercayaan. Adopsi AI oleh komunitas klinis bergantung pada dokter yang menumbuhkan keyakinan bahwa perangkat AI dapat diandalkan, dapat diprediksi, dan jujur mengenai keterbatasannya. Sistem yang mengungkapkan penalarannya, menandai ketidakpastiannya, dan secara aktif mengundang koreksi dokter membangun keyakinan itu jauh lebih efektif daripada sistem buram yang menuntut penerimaan.

Seiring sistem AI mengumpulkan keluaran yang telah disetujui dan koreksi dokter dari waktu ke waktu, lingkaran umpan balik itu sendiri menjadi mekanisme peningkatan mutu — dengan kinerja model yang membaik sebagai respons terhadap umpan balik klinis dunia nyata. Siklus yang baik ini sepenuhnya bergantung pada langkah peninjauan manusia yang sungguh-sungguh dan bukan sekadar formalitas. AI menulis, dokter memutuskan.