W świecie, gdzie sztuczna inteligencja (AI) odgrywa coraz większą rolę w opiece zdrowotnej, pojawia się pilna potrzeba zapewnienia niezawodności i wiarygodności modeli AI stosowanych w medycynie. MLCommons, konsorcjum inżynieryjne skupiające się na tworzeniu narzędzi do mierzenia wskaźników w branży AI, ogłosiło uruchomienie nowej platformy testowej o nazwie MedPerf, mającej na celu zapewnienie obiektywnej i naukowej oceny modeli AI w medycynie.

Potrzeba obiektywnej oceny modeli AI w medycynie

Szybkie wdrażanie AI w opiece zdrowotnej, szczególnie w kontekście pandemii, stawia nowe wyzwania. Chociaż firmy technologiczne, takie jak Google, rozwijają modele AI specjalnie dla zastosowań medycznych, jak Med-PaLM 2, to rosnąca liczba modeli AI dostępnych na rynku utrudnia ocenę ich skuteczności i wiarygodności. Modele te często są trenowane na danych zebranych w ograniczonych, wąskich kontekstach klinicznych, co może prowadzić do uprzedzeń w stosunku do niektórych grup pacjentów, np. mniejszości, i skutkować negatywnymi konsekwencjami w rzeczywistym świecie.

Medperf – nowa platforma testowa dla modeli AI w medycynie

MedPerf ma na celu rozwiązanie tego problemu poprzez zapewnienie wiarygodnego i zaufanego sposobu oceny modeli AI w medycynie. Platforma ta pozwala na ocenę modeli AI na zróżnicowanych danych medycznych z rzeczywistego świata, jednocześnie chroniąc prywatność pacjentów. Według MLCommons, MedPerf ma na celu:

– Poprawę skuteczności modeli AI.
– Zmniejszenie uprzedzeń w modelach AI.
– Zbudowanie zaufania publicznego do modeli AI w medycynie.
– Wsparcie zgodności z przepisami.

Kluczowe cechy medperf

MedPerf to wynik dwuletniej współpracy z udziałem przedstawicieli branży i środowiska akademickiego, w tym ponad 20 firm i ponad 20 instytucji naukowych. Platforma ta wyróżnia się następującymi cechami:

– Ocenianie modeli AI na zróżnicowanych danych medycznych: MedPerf umożliwia ocenę modeli AI na danych zebranych w różnych instytucjach medycznych, co pozwala na zidentyfikowanie potencjalnych uprzedzeń.
– Ochrona prywatności pacjentów: Platforma wykorzystuje federowaną ocenę, która pozwala na zdalne wdrażanie i ocenę modeli AI bez konieczności udostępniania danych pacjentów.
– Wsparcie dla popularnych bibliotek uczenia maszynowego: MedPerf obsługuje popularne biblioteki uczenia maszynowego, w tym modele prywatne i modele dostępne tylko przez interfejs API, np. z Epic i Microsoft Azure OpenAI Services.

Pierwsze wyniki medperf

W ramach testów przeprowadzonych w tym roku, MedPerf zorganizował wyzwanie Federated Tumor Segmentation (FeTS) finansowane przez NIH, w którym porównano 41 różnych modeli do oceny leczenia pooperacyjnego glejaka wielopostaciowego (agresywnego nowotworu mózgu). Wyniki pokazały, że wszystkie modele wykazywały mniejszą wydajność w instytucjach z odmienną demografią pacjentów niż te, na których były trenowane, co wskazuje na obecność uprzedzeń w modelach.

Perspektywy rozwoju medperf

MLCommons widzi MedPerf jako podstawowy krok w kierunku przyspieszenia rozwoju AI w medycynie poprzez otwarte, neutralne i naukowe podejście. Zachęca badaczy AI do wykorzystania platformy do walidacji swoich modeli w różnych instytucjach opieki zdrowotnej, a także właścicieli danych pacjentów do rejestrowania swoich danych, aby zwiększyć solidność testów MedPerf.

Wyzwania związane z wdrażaniem AI w medycynie

Chociaż MedPerf jest obiecującym narzędziem, warto zauważyć, że samo testowanie modeli AI nie gwarantuje ich skutecznego i bezpiecznego wdrożenia w praktyce. Wiele wyzwań, takich jak integracja AI z codzienną pracą lekarzy i pielęgniarek, złożone systemy opieki zdrowotnej i techniczne, czy też reakcja pacjentów na ocenę wspomaganą AI, wymaga dalszych badań i rozwiązań.

Podsumowanie

MedPerf to ważne narzędzie do oceny modeli AI w medycynie, które może pomóc w zapewnieniu ich skuteczności, zmniejszeniu uprzedzeń i budowaniu zaufania publicznego. Jednak wdrożenie AI w opiece zdrowotnej wymaga kompleksowego podejścia, obejmującego nie tylko testowanie modeli, ale także ich integrację z istniejącymi systemami i uwzględnienie wszystkich aspektów, które wpływają na ich skuteczność i bezpieczeństwo.