Local blog for Italian speaking developers
Sviluppo di modelli di deep learning per radiografie del torace con etichette di immagini sottoposte al processo di aggiudicazione
27 dicembre 2019
Pubblicato da Dave Steiner, MD, Research Scientist and Shravya Shetty, Technical Lead, Google Health
Con milioni di esami diagnostici eseguiti ogni anno, le radiografie del torace sono uno strumento di imaging clinico importante e accessibile per la diagnosi di molte malattie. Tuttavia, la loro utilità può essere limitata da difficoltà di interpretazione, che richiedono una valutazione rapida e approfondita di un'immagine bidimensionale che raffigura organi tridimensionali e processi patologici complessi. Infatti, esiste il rischio che
tumori polmonari allo stadio iniziale
o
pneumotorace
(collasso dei polmoni) possano non essere rilevati mediante una radiografia del torace, con conseguenti conseguenze molto gravi per i pazienti.
I progressi nel machine learning (ML) rappresentano un'opportunità entusiasmante per creare nuovi strumenti e aiutare gli esperti a interpretare le immagini mediche. I recenti sforzi hanno mostrato risultati promettenti nel miglioramento della
rilevazione del carcinoma polmonare
in radiologia, della
classificazione del cancro alla prostata
in patologia e delle
diagnosi differenziali
in dermatologia. Per le immagini radiografiche del torace, in particolare, sono a disposizione dei ricercatori di tutte le discipline set di immagini pubblici di grandi dimensioni e de-identificati che hanno supportato diverse
iniziative
preziose
di sviluppo di modelli di deep learning per l'interpretazione delle radiografie. Tuttavia, ottenere etichette cliniche accurate per i set di immagini molto grandi, necessari per il deep learning, può essere difficile. La maggior parte degli sforzi si è concentrata sull'applicazione dell'elaborazione del linguaggio naturale (NLP) basata su regole ai referti radiologici o si è basata sulla revisione delle immagini da parte di singoli refertanti; entrambi gli approcci possono introdurre incoerenze o errori che possono essere particolarmente problematici durante la valutazione del modello. Un'altra sfida riguarda l'assemblaggio di set di dati che rappresentino uno spettro di casi adeguatamente diversificato (ovvero, che garantiscano l'inclusione sia di casi "difficili" sia di casi "facili" e rappresentino l'intero spettro di presentazione della malattia). Infine, alcuni esiti delle radiografie del torace non sono specifici e la loro interpretazione dipende dalle informazioni cliniche sul paziente. Pertanto, la creazione di etichette clinicamente significative e con definizioni coerenti può essere una componente stimolante dello sviluppo di modelli di machine learning che utilizzano come input solo l'immagine. Senza set di dati standardizzati e clinicamente significativi, nonché rigorosi metodi standard di riferimento, l'applicazione corretta dell'ML all'interpretazione delle radiografie del torace sarà ostacolata.
Per contribuire alla risoluzione di questi problemi, abbiamo recentemente pubblicato l'articolo “
Chest Radiograph Interpretation with Deep Learning Models: Assessment with Radiologist-adjudicated Reference Standards and Population-adjusted Evaluation
” nella rivista
Radiology
. In questo studio abbiamo sviluppato modelli di deep learning per classificare quattro esiti clinicamente importanti riscontrati con le radiografie del torace: pneumotorace, noduli e masse, fratture e zone di opacità. Questi esiti target sono stati scelti dopo aver consultato radiologi e colleghi clinici, con lo scopo di focalizzare l'attenzione su condizioni critiche per la cura del paziente e per le quali le sole radiografie del torace sono uno studio di imaging di prima linea importante e accessibile. La scelta di questi esiti ha anche permesso la valutazione del modello usando solo immagini de-identificate senza dati clinici aggiuntivi.
I modelli sono stati valutati utilizzando migliaia di immagini ottenute da ciascun set di dati per il quale abbiamo raccolto etichette di alta qualità utilizzando un processo di aggiudicazione basato su panel tra radiologi certificati. Quattro radiologi separati hanno inoltre esaminato in modo indipendente le immagini mostrate per confrontare l'accuratezza del radiologo con quella dei modelli di deep learning (usando le etichette delle immagini basate su panel come standard di riferimento). Per tutti e quattro gli esiti e in entrambi i set di dati, i modelli di deep learning hanno dimostrato prestazioni equiparabili a quelle di un radiologo. Come supporto per le ricerche future, le etichette derivanti dal processo di aggiudicazione per i dati disponibili al pubblico sono riportate
qui
.
Panoramica dei dati
In questo lavoro sono state impiegate oltre 600.000 immagini provenienti da due set di dati de-identificati. Il primo set di dati è stato sviluppato in collaborazione con i coautori presso gli
Apollo Hospitals
e consiste in una serie diversificata di radiografie del torace ottenute nel corso di diversi anni da più punti della rete degli Apollo Hospitals. Il secondo set di dati è il set di dati
ChestX-ray14
, disponibile al pubblico e rilasciato dal
National Institutes of Health
(NIH). Questo secondo set di dati ha rappresentato una risorsa importante per molte attività di machine learning, ma
presenta delle limitazioni
derivanti da problemi di accuratezza e interpretazione clinica delle etichette attualmente disponibili.
Radiografia del torace che raffigura uno pneumotorace del lobo superiore sinistro identificato dal modello e dal panel di aggiudicazione, ma non individuato dai singoli radiologi refertanti.
A sinistra:
L'immagine originale.
A destra:
La stessa immagine con le regioni più importanti per la previsione del modello evidenziate in arancione.
Addestramento delle etichette dei set mediante deep learning ed esame visivo delle immagini
Per i set di dati molto grandi costituiti da centinaia di migliaia di immagini, come quelli necessari per addestrare modelli di deep learning altamente precisi, assegnare manualmente le etichette alle immagini non è una soluzione pratica. Pertanto, abbiamo sviluppato un modello separato di deep learning basato su testo per estrarre le etichette delle immagini utilizzando referti radiologici de-identificati associati a ciascuna radiografia. Questo modello di NLP è stato quindi applicato per applicare etichette a oltre 560.000 immagini dal set di dati degli Apollo Hospitals utilizzati per l'addestramento dei modelli di visione artificiale.
Per ridurre il rumore causato da eventuali errori introdotti dall'estrazione delle etichette basata su testo e anche per fornire etichette pertinenti per un numero sostanziale di immagini ChestX-ray14, i radiologi hanno esaminato visivamente circa 37.000 immagini nei due set di dati. Queste erano separati dalle etichette basate sulla NLP e hanno contribuito a garantire etichette di alta qualità in un set ampio e diversificato di immagini di addestramento.
Creazione e condivisione di etichette standard di riferimento migliorate
Per generare etichette standard di riferimento di alta qualità per la valutazione dei modelli, abbiamo utilizzato un processo di aggiudicazione basato su panel, in base al quale tre radiologi hanno esaminato tutte le immagini del set finali e di test e risolto eventuali disaccordi attraverso la discussione. Ciò ha spesso permesso di identificare e documentare in modo appropriato esiti difficili inizialmente rilevati da un solo radiologo. Per ridurre il rischio di parzialità derivante dalla personalità o dall'anzianità di ogni singolo radiologo, le discussioni si sono svolte in forma anonima tramite un sistema di discussione e aggiudicazione online.
Poiché la mancanza di etichette aggiudicate disponibili è stato un ostacolo iniziale significativo per il nostro lavoro,
condividiamo con la comunità di ricerca
tutte le etichette sottoposte al processo di aggiudicazione per il set di dati ChestX-ray14 disponibile al pubblico, comprendente 2.412 immagini del set di addestramento/convalida e 1.962 immagini del set di test (4.374 immagini in totale). Speriamo che queste etichette facilitino i futuri sforzi nel machine learning e consentano confronti migliori tra modelli di machine learning simili per l'interpretazione delle radiografie del torace.
Uno sguardo al futuro
Questo lavoro presenta diversi contributi: (1) rilascio di etichette sottoposte al processo di aggiudicazione per immagini da un set di dati disponibile al pubblico; (2) un metodo per scalare in modo accurato l'etichettatura dei dati di addestramento utilizzando un modello di deep learning basato su testo; (3) valutazione mediante un set diversificato di immagini con etichette standard di riferimento aggiudicate da esperti; e infine (4) prestazioni paragonabili a quelle dei radiologi dei modelli di deep learning per risultati clinicamente importanti sulle radiografie del torace.
Tuttavia, per quanto riguarda le prestazioni del modello, raggiungere un'accuratezza media paragonabile a quella degli esperti è solo una parte della storia. Anche se l'accuratezza complessiva per i modelli di deep learning è risultata costantemente simile a quella dei radiologi per ogni esito, le prestazioni nei due set di dati variavano. Ad esempio, la sensibilità nel rilevare uno pneumotorace tra i radiologi era approssimativamente del 79% per le immagini ChestX-ray14, ma era solo del 52% per gli stessi radiologi nell'altro set di dati, suggerendo in quest'ultimo set la presenza di una raccolta di casi di difficoltà maggiore. Ciò evidenzia l'importanza di convalidare gli strumenti di deep learning su più set di dati diversi e, infine, nelle varie popolazioni di pazienti e impostazioni cliniche in cui si intende utilizzare qualsiasi modello.
Le differenze di prestazioni tra i set di dati sottolineano anche la necessità di set di immagini di valutazione standardizzati, con standard di riferimento accurati, al fine di consentire il confronto tra gli studi. Ad esempio, se due diversi modelli per lo stesso esito venissero valutati utilizzando set di dati diversi, il confronto delle prestazioni avrebbe un valore minimo senza conoscere ulteriori dettagli come la combinazione di casi, le modalità di errore del modello o le prestazioni del radiologo sugli stessi casi.
Infine, il modello ha spesso identificato esiti che sono stati costantemente non identificati dai radiologi e viceversa. Pertanto, le strategie che combinano le "abilità" uniche dei sistemi di deep learning e degli esperti umani sono probabilmente quelle con le maggiori possibilità di sfruttare al massimo il potenziale delle applicazioni di AI nell'interpretazione delle immagini mediche.
Ringraziamenti
Tra i principali partecipanti a questo progetto di Google ci sono Sid Mittal, Gavin Duggan, Anna Majkowska, Scott McKinney, Andrew Sellergren, David Steiner, Krish Eswaran, Po-Hsuan Cameron Chen, Yun Liu, Shravya Shetty e Daniel Tse. Contributi e input significativi sono stati forniti anche dai collaboratori radiologi Joshua Reicher, Alexander Ding e Sreenivasa Raju Kalidindi. Inoltre, gli autori desiderano ringraziare molti membri del team di radiologia di Google Health tra cui Jonny Wong, Diego Ardila, Zvika Ben-Haim, Rory Sayres, Shahar Jamshy, Shabir Adeel, Mikhail Fomitchev, Akinori Mitani, Quang Duong, William Chen e Sahar Kazemzadeh. Un sincero apprezzamento va anche ai molti radiologi che hanno permesso di realizzare questo lavoro grazie alla loro interpretazione delle immagini nel corso di tutto il progetto.
Etichette
Android
Firebase
machine learning
Google Cloud Platform
GDL
Eventi
Google Developers Live
Google Play
TensorFlow
App
Chrome
Cloud
api
GDLItalia
GDE
GDG
Google Assistant
iOS
Kotlin
Actions on Google
Deep Learning
AppEngine
AMP
BigQuery
Cloud Functions
Flutter
Android Studio
Google Developers Expert
Università
Google AppEngine
JavaScript
AI
Android Wear
GAE
Google Play Store
HTML5
Maps
security
Android App Development
AngularJS
IoT
Kubernetes
Annunci
Cloud Firestore
Cloud Machine Learning
Google I/O
Polymer
Android Things
Community
DevTools
Google App Engine
intelligenza artificiale
Entrepreneurship
Firebase Analytics
GSoC
Games
Google Cast
ML
open source
Crashlytics
Dart
Diversity
Drive
Google Data Studio
Google Play Games
TensorFlow Lite
Android Developers
Android O
Cloud Spanner
Cloud TPU
Compute Engine
DevFest
Google Compute Engine
Google Developers
Material Design
Mobile
PWA
Python
Startup
AIY Project
ARCore
Android Jetpack
AndroidDev
Androidq
Apps Script
Artificial Intelligence
Augmented Reality
Firebase Cloud Messaging
Google Cloud
Google Maps
Gsuite
IO19
ML kit
Research
VR
coding
unity
#io19
AR
Android Dev Summit
Android Developer
Android Q
Cardboard
Cloud AI
Coral
Developers
Dialogflow
Firebase Realtime Database
Gmail
Google AI
Google Cloud Messaging
Google ContainerEngine
Google Play Console
Kotlin Coroutines
NLP
Programming
Responsive Design
TensorFlowjs
Testing
WTM
Women
beacons
cloud storage
developer
node JS
student programs
women techmakers
API Cloud Vision
Add-ons
Android P
AndroidDevStory
Animation
AutoML
Brillo
Classroom
DSC
Database
Developer Student Clubs
Edge TPU
Fabric
Featured
Flutter Web
G Suite
GWT
GoLang
Google
Google Brain
Google Cloud Next
Google Container Engine
Google Developer Groups
Google I/O Extended
Graph
Hosting
Instant Apps
Keras
Livedata
Mobile Sites
Prediction
Privacy
Project Tango
SDK
Stackdriver
Tales
UI
Udacity
Virtual Reality
Web
Web Development
YouTube
analytics
android security
api.ai
courses
google io
indies
natural language processing
reti neurali
sign-in
young developers
2d Animation
3d
AIY
ARkit
Adversarial Learning
Alpha
Android App
Android App Developmen
Android App bundle
Android Architecture
Android Architecture Components
Android Auto
Android Automotive OS
Android Dev Summit Android Developer
Android Developer Challenge
Android Developers GooglePlayAwards
Android Development
Android Go
Android Instant App
Android Pie
Android Q Scoped Storage
Android Q audio
Android Styles
Android audio playback capture
Android codelabs
AndroidTV
AndroidX
Angular
Aogdevs
Api Design
App Development
App Distribution
Apps
Architecture
Architecture Components
Arduino
Best Practices
Betatesting
Bugs
C++
Certification
Cloud Anchors
Cloud Next
Cloud Run
Cloud Service Platform
Cloud Shell
Cloud Study Jam
Coached Conversational Preference Elicitation
Commerce
Community Connector
Computer Science
Consistency
Containers
Converge
Conversation Design
Crash Reporting
DLS Design
Dagger
Data Science
Databases
Dependency Injection
Design
Developer Communities
Developer Community
Developer Culture
Developer Story
Developing Media Apps
Development
Eager
Edge TPU Dev Board
Education
Emulatore Android
Error Message
Eslint
Europe
Firebase Extensions
Firebase Summit 2019
Firebasehosting
Flutter 1.5
Flutter at IO
FlutterDark
GCE
GDD
Game Development
Gboard
Gesture Navigation
Glass
Go
Google AI Quantum
Google App Script
Google Cloud Functions
Google Cloud billing
Google Coral
Google Developer Days
Google Home Hub
Google IOS Android
Google Identity Platform
Google Launchpad
Google Lens
Google Now
Google Photos
Google Play Devs
Google Play Indie Games Festival
Google Play Instant
Google Plus
Google codelabs
Google+
GoogleDevWeekly
GoogleLaunchpad
GooglePlay
Graphics
Healthcare
I/O
IO
IO19 Flutter
In-app Billing
Indie Games
Indie Games Festival
Indie games showcase
Indie showcase
Ingress
Instant Games
Issues
Java
Jetpack
Knative
Kotlin Beginners
Kotlin Everywhere
Kotlin codelabs
Lighthouse
Live Caption
Live Streaming
Localization
Location
M-Theory
Mondaygram
Monetization
NYT
NativeScript
Navigation
Neural Graph Learning
Neural Structured
Nodejs
OS
OS Updates
Olivex
One Time Codes
Online Education
PHA
Performance Monitoring
Policy
Posenet
Project Mainline
Project Treble
Quantum Computing Theory
Reactive Programming
Regression
Remote Config
Resonance Audio
Room
Scoped Storage
Semantics
Semi Supervised Learning
Serverless
Sms Retriever Api
Sms Verification
Speech Recognition
Swift
Tensorflow Core
Tensorflow Hub
Test Lab
Text
Tokenizer
Tpu
Transformers
UX
UX Design
UX Research
Universal Sentence Encoder
Unsupervised Data Augmentation
Unsupervised Learning
User Experience
Viewmodel
Voice
WWW
Wear OS
WebAssembly
Widget
Women in Tech
WomenTechmakers
android kotlin
app stability
assistant
audio recording
augmented faces
authsub
best practices and updates
billing
botnet
business
c++ games
cancer
chatbot
chrome privacy
codelab
codelabs
competition
daydream
designer
dominio .dev
error handling
event
firebase games
firebase gdc
firebase hosting
firebase unity
game center authentication
game testing
games authentication
gdc
google summer of code
googledevelopers
grow
hashcode
indie
indie developers
internship
kids
machine intelligence
machine learning accelerator
maker
multi-platform
nearby
oauth
openid
performance
persistent AR
privacy sandbox
prizes
prototype
purchase flows
queries
realtime
responsible AI
security rules
showcase
solutions challenge
startup africa roadtrip
startup times
students
summer of code
unity crashlytics
verify apps
win
Archivio Blog
2020
feb
gen
2019
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
2018
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
2017
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
2016
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
2015
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
2014
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
2013
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
Feed
Follow @GoogleDevsItaly
