Penilaian Kesiapan AI Kesehatan: Cara Menyaring AI Klinis

Penilaian kesiapan AI kesehatan sebaiknya dilakukan bertahap: saring dokumentasi klinis buatan AI pada sekelompok kasus, lalu minta klinisi lokal mengulasnya sebelum proof of concept (POC) terbatas. Ketika institusi mempertimbangkan AI agentik untuk pilot alur kerja klinis yang terbatas, pertanyaan dasarnya adalah cara menyaring AI kesehatan pada dimensi yang relevan tanpa menyamakan hasil benchmark dengan kesiapan klinis atau produksi.

V1 melaporkan penyaringan struktural dan operasional sisi mesin terhadap dua belas model fondasi pada satu korpus MCU Indonesia synthetic-regenerated; adjudikasi pakar lokal, kesesuaian klinis, dan kesiapan produksi berada di luar V1.

Demo tidak dapat menetapkan kelayakan AI kesehatan, bahkan untuk ulasan klinis atau POC yang terbatas. Satu contoh laporan tidak menunjukkan kelengkapan, konsistensi pengulangan, keterlacakan terhadap temuan terdokumentasi, atau beban ulasan pada satu kelompok kasus. Sifat-sifat tersebut memerlukan bukti terstruktur, kemudian penilaian pakar lokal.

Kami mengembangkan penyaringan bertahap untuk dokumentasi klinis buatan AI dalam benchmark medical check-up (MCU) Indonesia. Tahap mesin memeriksa sifat struktural dan operasional. Keluaran yang lolos tetap memerlukan ulasan klinis lokal sebelum POC terbatas dapat dipertimbangkan. Benchmark ini tidak menyatakan sebuah sistem siap digunakan di bawah supervisi dokter atau siap produksi. Laporan lengkap V1 ada di sini.

Bagaimana metode ini bekerja

Metode ini menjawab dua pertanyaan secara berurutan. Pertama, apakah keluaran memenuhi penyaringan struktural dan operasional sehingga dapat diteruskan ke ulasan klinis? Kedua, apakah pakar lokal menilainya sesuai secara klinis dan operasional untuk POC terbatas di institusi tersebut? Tiap tahap mempersempit hal yang perlu diperiksa, tetapi tidak menggantikan validasi produksi atau tata kelola klinis.

Sebelum pengujian dimulai, alur kerja, prompt, format laporan, dan daftar model dikunci agar hasilnya dapat dibandingkan. Gerbang mesin kemudian memeriksa sifat struktural dan operasional: keluaran valid dan lengkap, semua bagian wajib tersedia, kolom status kelaikan kerja sesuai skema, tidak ada kesalahan kritis yang telah didefinisikan, serta hasil stabil ketika kasus yang sama dijalankan ulang. Lolos di tahap ini hanya berarti keluaran dapat diteruskan ke ulasan klinis; tahap ini tidak membuktikan keputusan klinisnya benar atau sistemnya siap produksi.

Lulus pemeriksaan teknis baru separuh dari proses evaluasi. Rubrik sisi mesin memeriksa sifat struktural dan operasional yang telah ditetapkan serta sinyal yang berkaitan dengan lima dimensi klinis dan alur kerja; rubrik ini tidak menetapkan ketepatan klinis. Pakar lokal harus menafsirkan bukti dan menentukan apakah keluaran benar secara klinis serta sesuai untuk konteks mereka. Rubrik berbobot yang dipublikasikan memiliki 24 kriteria yang dinilai satu per satu dan tiga syarat keselamatan yang otomatis menggagalkan keluaran, dengan total 100 poin:

Ambang kelulusan ditetapkan secara eksplisit: pelanggaran syarat keselamatan otomatis menggagalkan laporan. Di luar itu, nilai 80 ke atas tanpa isu kritis = kandidat POC; nilai 70–79 = perlu dipantau; di bawah 70 = perlu diperbaiki.

Rubrik ini menggunakan HealthBench sebagai referensi metodologis untuk kriteria khusus kasus yang ditulis klinisi, bukan sebagai bukti bahwa rubrik Micromeet telah tervalidasi. Ambang klinisnya mengambil masukan dari susunan referensi berlapis yang tetap memerlukan ulasan pakar lokal:

• Parameter klinis yang diakui, yaitu definisi diabetes WHO, panduan hipertensi WHO, dan titik tindakan BMI menurut Konsultasi Pakar WHO untuk populasi Asia, beserta rentang acuan laboratorium setempat.
• Konteks kesehatan kerja Indonesia, UU No. 1 Tahun 1970, PER-02/MEN/1980, dan Permenaker No. 5 Tahun 2018 memberi masukan bagi sebagian konteks keselamatan dan kesehatan kerja (K3 / Hiperkes). Setiap kriteria rubrik tetap memerlukan pemetaan eksplisit ke sumber yang berlaku, SOP institusi, dan tujuan penggunaan.
• SOP dan penilaian pakar lokal, aturan pelaporan, rujukan, dan otorisasi yang berlaku di setiap institusi, dengan kasus yang meragukan dinilai oleh pengulas klinis dan kesehatan kerja setempat.

Metode ini mengambil masukan dari panduan WHO, NIST AI Risk Management Framework, praktik evaluasi perangkat medis (IMDRF/GMLP), dan standar pelaporan AI klinis (DECIDE-AI, CONSORT-AI, TRIPOD+AI). Referensi tersebut tidak memvalidasi benchmark ini dengan sendirinya. Penilaian silang tanpa penilaian diri, yaitu model penilai tidak pernah sama dengan model pembuat keluaran, menemukan kasus yang diperdebatkan untuk adjudikasi pakar lokal di luar V1.

Mengapa menguji banyak model AI sekaligus

Dalam benchmark ini, alur kerja, prompt, skema, dan rubrik dipertahankan tetap, sedangkan model fondasi menjadi variabel; V1 membandingkan dua belas model dari vendor berbeda. Tujuannya lebih dari sekadar memberi nilai pada tiap model.

Alur kerja yang hanya bisa berjalan dengan satu model sangat rapuh. Layanan suatu model AI bisa dihentikan, harganya bisa berubah, aksesnya bisa dibatasi di wilayah tertentu, atau kualitasnya bisa menurun setelah pembaruan, semuanya di luar kendali institusi Anda. Jika alur kerja klinis bergantung pada satu model, risiko operasional itu nyata.

Tujuannya bukan mencari satu pemenang, melainkan melihat apakah beberapa model lolos penyaringan struktural dan operasional yang sama dalam kondisi uji tetap. Hasilnya adalah daftar kandidat untuk ulasan klinis lokal dan POC terbatas, bukan kumpulan model yang sudah memenuhi syarat produksi. Pengujian lintas vendor dapat mengurangi ketergantungan awal pada satu penyedia, tetapi kesesuaian produksi, pergantian model, integrasi, keamanan, dan kendali perubahan tetap memerlukan validasi terpisah.

Apa manfaatnya bagi institusi Anda

Metode ini mengubah cara institusi memilih dan mengadopsi AI, dari sekadar terkesan oleh demo menjadi keputusan berdasarkan bukti:

• Anda memilih kandidat untuk diperiksa lebih lanjut berdasarkan pengulangan pada kohort kasus synthetic-regenerated, bukan berdasarkan satu demo yang terlihat memukau.
• Hasil benchmark dapat membantu menyusun syarat masuk dan penerimaan untuk POC terbatas. Penerimaan klinis dan produksi memerlukan bukti lokal tambahan.
• Metode ini menampilkan kasus berisiko tinggi atau yang hasilnya diperdebatkan untuk ulasan pakar lokal; institusi menetapkan cakupan ulasan yang diwajibkan dan mengukur upaya serta waktu pengulas dalam alurnya sendiri.
• Anda membandingkan berbagai model dan vendor menggunakan satu rubrik yang bisa diperiksa, dalam bahasa Indonesia, terminologi klinis lokal, dan aturan institusi Anda sendiri.
• Anda dapat mengurangi ketergantungan awal pada satu model dengan membawa lebih dari satu kandidat hasil penyaringan ke ulasan lokal, tanpa menganggap semuanya dapat saling menggantikan dalam produksi.

Bagaimana institusi bisa menggunakannya

Rubrik penilaian adalah inti dari metode ini, dan rubrik itu milik institusi Anda. Apa yang dianggap “benar” bergantung pada paket MCU Anda, aturan kelaikan kerja, dan SOP yang berlaku. Ada dua cara memulai:

• Tim klinis, mutu, dan K3 Anda menyusun rubrik sendiri; vendor AI mengulas dan menandai bagian yang tidak jelas atau tidak adil; lalu sistem AI diuji berdasarkan rubrik tersebut.
• Anda mulai dari rubrik referensi kami dan menyesuaikannya dengan paket MCU dan SOP institusi Anda.

Dengan cara mana pun, pakar lokal harus mengadjudikasi kasus yang diperdebatkan sebelum hasilnya dapat mendukung kesimpulan klinis, dan vendor tidak boleh menilai hasil kerjanya sendiri.

Bagaimana Micromeet bisa membantu

Kami bisa membantu dari titik mana pun institusi Anda berada saat ini:

• Membagikan metode dan rubrik referensi dari benchmark ini.
• Membantu menyesuaikan rubrik dengan paket MCU, alur kerja, dan SOP institusi Anda.
• Menjalankan evaluasi bertahap untuk model atau sistem AI yang sedang Anda pertimbangkan.
• Mendukung ulasan klinis yang dipimpin institusi, dengan klinisi yang bertanggung jawab dan pengulas lokal mengadjudikasi kasus yang diperdebatkan berdasarkan rubrik yang disetujui institusi.

Penerapan pertama kami: MCU Indonesia

Kami menerapkan metode ini pertama kali pada satu alur pelaporan MCU Indonesia. Dua belas model AI dari berbagai vendor diuji dengan konfigurasi alur kerja yang sama; hanya modelnya yang berbeda, sementara elemen lain dikunci.

Beberapa model lolos di kedua kelompok kasus. Artinya ada lebih dari satu kandidat untuk tahap berikutnya: ulasan klinis lokal dan, jika disetujui institusi, POC terbatas. Hasil ini tidak menetapkan vendor siap produksi atau membuktikan bahwa model dapat diganti tanpa validasi lebih lanjut.

Lolos gerbang mesin merupakan penyaringan struktural dan operasional dalam kondisi V1 yang dikunci. Ketepatan klinis adalah penilaian terpisah melalui rubrik dan pakar lokal. Kesiapan produksi juga memerlukan validasi khusus institusi atas alur kerja, keamanan, integrasi, performa, pemantauan, dan tata kelola. V1 hanyalah sinyal skala pilot dari satu korpus synthetic-regenerated dengan satu versi prompt. Untuk menjaga batas dan keterlacakan, V1 memublikasikan protokol dan rubrik, menganonimkan nama model pada kelompok hasil lebih rendah, melarang penilaian diri dalam penilaian silang, serta memisahkan hasil sisi mesin dari adjudikasi pakar lokal yang berada di luar V1.

Sistem yang diuji, MCU CoPilot, membuat draf laporan terstruktur dari masukan yang telah didokumentasikan untuk kemudian diperiksa dokter. Hasil pemeriksaan spesialis, EKG, rontgen dada, audiometri, dan spirometri dibawa sebagaimana dilaporkan oleh klinisi yang bertanggung jawab. MCU CoPilot menyiapkan draf dari masukan yang telah didokumentasikan dan aturan yang dikonfigurasi. Sistem ini tidak secara otonom menafsirkan citra atau sinyal diagnostik mentah, serta tidak membuat atau menyetujui keputusan klinis atau kelaikan kerja akhir. Inilah Micromeet, infrastruktur AI layanan kesehatan untuk perawatan berkelanjutan: penilaian klinis tetap menjadi kewenangan dokter; AI tidak mendiagnosis dan tidak menandatangani.

Lebih dari sekadar MCU

V1 menerapkan pola bertahap ini pada MCU. Pola tersebut dapat menjadi acuan untuk tugas dokumentasi AI kesehatan lain, tetapi rubrik, ambang, data, dan ulasan pakar harus disesuaikan serta divalidasi secara lokal untuk tiap institusi, alur kerja, dan pasar. V1 menunjukkan prosedurnya pada satu korpus MCU Indonesia synthetic-regenerated dengan satu prompt tetap; hasilnya tidak membuktikan transferabilitas, kesiapan penggunaan di bawah supervisi dokter, atau kesiapan produksi. Adjudikasi pakar lokal atas kasus yang diperdebatkan berada di luar hasil V1.

Jika institusi Anda sedang mempertimbangkan penggunaan AI untuk alur kerja klinis, kami dengan senang hati membagikan metode dan rubrik referensinya, serta membantu menyesuaikan dan menjalankannya. Mulai dari laporan lengkap V1 →

Jika institusi Anda menyusun laporan MCU, lihat bagaimana MCU CoPilot menyusun bukti MCU secara terstruktur serta menyiapkan sintesis klinis dan draf laporan untuk diulas dokter. Penilaian klinis tetap menjadi kewenangan dokter; AI tidak mendiagnosis dan tidak menandatangani.

FAQ

Apa itu Indonesia MCU Healthcare AI Agent Readiness Benchmark? Ini adalah benchmark terbuka yang menjalankan penyaringan struktural dan operasional bertahap Micromeet sebelum ulasan klinis lokal dan kemungkinan POC terbatas. V1 mengunci satu alur pelaporan MCU Indonesia, dengan prompt, skema, dan rubrik yang sama, lalu menjalankannya pada dua belas model fondasi dari vendor yang berbeda. Benchmark ini tidak menyatakan kesiapan klinis atau produksi. Laporan lengkap V1 tersedia di halaman benchmark Micromeet.

Apa bedanya dengan leaderboard model AI biasa? Leaderboard menilai kemampuan umum model. Benchmark ini menyaring satu konfigurasi alur kerja tetap dan mengarahkan penilaian klinis kepada pakar lokal; hasilnya tidak menyatakan sistem siap digunakan di bawah supervisi dokter atau siap produksi.

Apa artinya “lulus”? Artinya keluaran lolos penyaringan struktural dan operasional dalam kondisi uji yang dikunci. Keluaran dapat diteruskan ke ulasan klinis lokal dan kemungkinan POC terbatas. Hasil ini tidak menetapkan ketepatan klinis atau kesiapan produksi.

Siapa yang punya kendali atas rubrik penilaian? Institusi. Micromeet menyediakan rubrik referensi dan metodenya; pakar lokal menentukan apa yang benar untuk skenario institusi. V1 hanya melaporkan hasil sisi mesin; adjudikasi pakar lokal atas kasus yang diperdebatkan berada di luar V1.

Bagaimana V1 menjaga keterlacakan dan independensi evaluasi? V1 memublikasikan protokol dan rubrik, menyatakan bahwa korpusnya synthetic-regenerated, menganonimkan nama model pada kelompok hasil lebih rendah, dan melarang penilaian diri dalam penilaian silang. Adjudikasi pakar lokal atas kasus yang diperdebatkan merupakan tahap terpisah di luar V1.

Bagaimana Micromeet membantu institusi mengevaluasi AI kesehatan? Micromeet membagikan metode dan rubrik referensi dari benchmark ini, membantu menyesuaikan rubrik dengan skenario dan SOP institusi, menjalankan evaluasi bertahap pada model atau agen yang dipertimbangkan, serta mendukung ulasan klinis dengan adjudikasi oleh pakar lokal atas kasus yang diperdebatkan. Prinsip ulasan klinis yang sama juga berlaku pada agen yang diuji: MCU CoPilot menyusun draf laporan medical check-up terstruktur untuk diperiksa dokter. Penilaian klinis tetap menjadi kewenangan dokter; AI tidak mendiagnosis dan tidak menandatangani.

Tentang Micromeet AI: Micromeet menyediakan infrastruktur AI layanan kesehatan untuk perawatan berkelanjutan dalam alur kerja yang disetujui institusi. MCU CoPilot menyiapkan draf laporan medical check-up terstruktur untuk diulas dokter yang berwenang. Institusi menentukan langkah mana yang berjalan otomatis dan mana yang memerlukan konfirmasi seseorang; penilaian klinis tetap menjadi kewenangan dokter, dan AI tidak mendiagnosis maupun menandatangani.

V1 melaporkan evaluasi sisi mesin otomatis pada kasus MCU Indonesia synthetic-regenerated. Adjudikasi pakar lokal atas kasus yang diperdebatkan berada di luar V1. Metode lengkap, standar kelulusan, rubrik penilaian, dan referensi ada di laporan benchmark V1.