Local blog for Italian speaking developers
Fairness Indicators: infrastruttura scalabile per sistemi ML equi
27 gennaio 2020
Pubblicato da Catherina Xu e Tulsee Doshi, Product Managers, Google Research
Mentre l'industria e il mondo accademico continuano a esplorare i vantaggi dell'utilizzo del machine learning (ML) per realizzare prodotti migliori e affrontare problemi importanti, gli algoritmi e i set di dati su cui vengono addestrati possono anche riflettere o rafforzare bias ingiusti. Ad esempio, contrassegnare costantemente commenti testuali non tossici di alcuni gruppi come "spam" o "ad alta tossicità" in un sistema di moderazione porta all'esclusione di tali gruppi dalla conversazione.
Nel 2018, abbiamo condiviso il modo in cui Google utilizza l'AI per creare prodotti più utili,
evidenziando i principi dell'AI
che guideranno il nostro lavoro in futuro. Il secondo principio, "Evitare di creare o rafforzare bias ingiusti", delinea il nostro impegno a ridurre i bias ingiusti e minimizzare il loro impatto sulle persone.
Nell'ambito di questo impegno, al
TensorFlow World
abbiamo recentemente rilasciato una versione beta di
Fairness Indicators
, una suite di strumenti che consente il calcolo e la visualizzazione regolari delle metriche di equità per la classificazione binaria e multi-classe, aiutando i team a fare un primo passo verso l'identificazione di impatti non equi. I Fairness Indicators possono essere utilizzati per generare metriche per i report sulla trasparenza, come quelli utilizzati per le
schede modello
, per aiutare gli sviluppatori a prendere decisioni migliori su come distribuire i modelli in modo responsabile. Poiché le preoccupazioni e le valutazioni sull'equità differiscono caso per caso, in questa versione abbiamo incluso anche un
case study interattivo
con il
set di dati
Unintended Bias in Toxicity di Jigsaw
per illustrare come i Fairness Indicators possano essere utilizzati per rilevare e correggere i bias in un modello di machine learning (ML) in produzione, a seconda del contesto in cui è distribuito. I Fairness Indicators sono
ora disponibili in versione beta
, per consentirti di provarli nei tuoi casi d'uso.
Che cos'è l'equità ML?
Il bias può manifestarsi in qualsiasi parte di una tipica pipeline di machine learning, da un set di dati non rappresentativo a
rappresentazioni
di modelli addestrati fino al modo in cui i risultati vengono presentati all'utente. Gli errori che derivano da questo bias possono avere un impatto sproporzionato su alcuni utenti più che su altri.
Per rilevare questo impatto diseguale, la valutazione su singole sezioni o gruppi di utenti è fondamentale, in quanto le metriche complessive possono oscurare le scarse prestazioni di determinati gruppi. Questi gruppi possono includere, a titolo esemplificativo, quelli definiti da caratteristiche sensibili come razza, etnia, genere, nazionalità, reddito, orientamento sessuale, abilità e credo religioso. Tuttavia, è anche importante tenere presente che l'equità non può essere raggiunta solo attraverso metriche e misurazioni; prestazioni elevate, anche tra le varie sezioni, non dimostrano necessariamente che un sistema sia equo. Piuttosto, la valutazione deve essere vista come uno dei primi modi, soprattutto per i modelli di classificazione, per identificare eventuali lacune nelle prestazioni.
La suite di strumenti Fairness Indicators
La suite di strumenti Fairness Indicators consente il calcolo e la visualizzazione delle metriche di equità comunemente identificate per i modelli di classificazione, come il tasso di falsi positivi e il tasso di falsi negativi, semplificando il confronto delle prestazioni tra le varie sezioni o con una sezione di riferimento. Lo strumento calcola gli
intervalli di confidenza
, che possono far emergere disparità statisticamente significative,
ed esegue una valutazione su più soglie. Nella UI è possibile attivare/disattivare la sezione di riferimento e studiare le prestazioni di varie altre metriche. L'utente può anche aggiungere le proprie metriche per la visualizzazione, specifiche del proprio caso d'uso.
Inoltre, i Fairness Indicators sono integrati con il
What-If Tool
(WIT): facendo clic su una barra nel grafico dei Fairness Indicators, questi punti di dati specifici verranno caricati nel widget WIT per ulteriori ispezioni, confronti e analisi controfattuali. Ciò è particolarmente utile per set di dati di grandi dimensioni, in cui i Fairness Indicators possono essere utilizzati per identificare sezioni problematiche prima che il WIT venga utilizzato per un'analisi più approfondita.
Utilizzo dei Fairness Indicators per visualizzare le metriche per la valutazione dell'equità.
Facendo clic su una sezione nei Fairness Indicators, verranno caricati tutti i punti dati in quella sezione all'interno del widget What-If Tool. In questo caso, vengono mostrati tutti i punti dati con l'etichetta "femmina".
Il lancio della beta di Fairness Indicators include quanto segue:
Pacchetto pip
:
include
Tensorflow Model Analysis
(TFMA), Fairness Indicators,
Tensorflow Data Validation
(TFDV), What-If Tool e Colab di esempio:
Fairness Indicators Example Colab
: un'introduzione all'utilizzo dei Fairness Indicators
Fairness Indicators for TensorBoard
: un esempio di utilizzo del plug-in
TensorBoard
Fairness Indicators with TFHub Embeddings
: un Colab che indaga gli effetti di diversi embedding sulle metriche di equità a valle
Fairness Indicators with Cloud Vision API's Face Detection Model
: un Colab che mostra come i Fairness Indicators possono essere utilizzati per generare risultati di valutazione per le
schede del modello
Repository GitHub
:
Codice sorgente
Linee guida per l'uso
:
l'equità è altamente contestuale ed è importante riflettere attentamente su ciascun caso d'uso e sulle potenziali implicazioni per gli utenti. Questo documento fornisce linee guida per la selezione di gruppi e metriche ed evidenzia le best practice per la valutazione.
Case study
:
case study interattivo sull'uso dei Fairness Indicators, che mostra come il team Conversation AI di Jigsaw rileva il bias in un modello di classificazione utilizzando il
set di dati Toxic Comment Classification
.
Come utilizzare oggi i Fairness Indicators nei modelli
I Fairness Indicators si basano su TensorFlow Model Analysis, un componente di
TensorFlow Extended
(TFX) che può essere utilizzato per studiare e visualizzare le prestazioni del modello. Sulla base del flusso di lavoro ML specifico, i Fairness Indicators possono essere incorporati in un sistema in uno dei seguenti modi:
Se si utilizzano modelli e strumenti TensorFlow, come TFX:
Accedere ai Fairness Indicators come parte del componente
Evaluator
in TFX
Accedere ai Fairness Indicators in
TensorBoard
durante la valutazione di altre metriche in tempo reale
Se non si utilizzano gli strumenti TensorFlow esistenti:
Scaricare il pacchetto pip Fairness Indicators e utilizzare Tensorflow Model Analysis come
strumento autonomo
Per i modelli non TensorFlow:
Utilizzare
Model Agnostic TFMA
per calcolare i Fairness Indicators in base all'output di qualsiasi modello
Case study Fairness Indicators
Abbiamo creato un
case study
e un
video introduttivo
che illustra come i Fairness Indicators possano essere utilizzati con una combinazione di strumenti per rilevare e mitigare i bias in un modello addestrato sul
set di dati Unintended Bias in Toxicity
di Jigsaw. Il set di dati è stato sviluppato da Conversation AI, un team di Jigsaw che lavora per addestrare modelli ML per proteggere le voci nelle conversazioni. I modelli sono addestrati per prevedere se i commenti testuali siano probabilmente abusivi in una varietà di dimensioni tra cui tossicità, insulto ed esplicitazione sessuale.
Il caso d'uso principale per modelli come questi è la moderazione dei contenuti. Se un modello penalizza determinati tipi di messaggi in modo sistematico (ad esempio, contrassegna spesso i commenti come tossici quando non lo sono, portando a un alto tasso di falsi positivi), tali voci verranno messe a tacere. Nel case study, abbiamo studiato il tasso di falsi positivi su sottogruppi suddivisi per parole chiave di identità di genere presenti nel set di dati, utilizzando una combinazione di strumenti (Fairness Indicators, TFDV e WIT) per rilevare, diagnosticare e adottare misure per correggere il problema sottostante.
E ora?
I Fairness Indicators sono solo il primo passo. Abbiamo in programma di espanderci
verticalmente
abilitando più metriche supportate, come metriche che consentono di valutare classificatori senza soglie e
orizzontalmente
creando librerie di riparazione che utilizzano metodi, come
apprendimento attivo
e
min-diff
. Poiché riteniamo che sia importante imparare attraverso esempi concreti, speriamo di fondare il nostro lavoro su altri casi di studio che verranno rilasciati nei prossimi mesi, man mano che saranno disponibili più funzionalità.
Per iniziare, consulta il
repository GitHub di Fairness Indicators
. Per ulteriori informazioni su come pensare alla valutazione dell'equità nel contesto del tuo caso d'uso, consulta
questo link
.
Ci piacerebbe collaborare con te per capire dove i Fairness Indicators sono più utili e dove sarebbero preziose funzionalità aggiuntive. Contattaci all'indirizzo
tfx@tensorflow.org
per inviarci un feedback sulla tua esperienza!
Ringraziamenti
Il team principale alla base di questo lavoro comprende Christina Greer, Manasi Joshi, Huanming Fang, Shivam Jindal, Karan Shukla, Osman Aka, Sanders Kleinfeld, Alicia Chang, Alex Hanna e Dan Nanas. Vorremmo anche ringraziare James Wexler, Mahima Pushkarna, Meg Mitchell e Ben Hutchinson per il loro contributo al progetto.
Etichette
Android
Firebase
machine learning
Google Cloud Platform
GDL
Eventi
Google Developers Live
Google Play
TensorFlow
App
Chrome
Cloud
api
GDLItalia
GDE
GDG
Google Assistant
iOS
Kotlin
Actions on Google
Deep Learning
AppEngine
AMP
BigQuery
Cloud Functions
Flutter
Android Studio
Google Developers Expert
Università
Google AppEngine
JavaScript
AI
Android Wear
GAE
Google Play Store
HTML5
Maps
security
Android App Development
AngularJS
IoT
Kubernetes
Annunci
Cloud Firestore
Cloud Machine Learning
Google I/O
Polymer
Android Things
Community
DevTools
Google App Engine
intelligenza artificiale
Entrepreneurship
Firebase Analytics
GSoC
Games
Google Cast
ML
open source
Crashlytics
Dart
Diversity
Drive
Google Data Studio
Google Play Games
TensorFlow Lite
Android Developers
Android O
Cloud Spanner
Cloud TPU
Compute Engine
DevFest
Google Compute Engine
Google Developers
Material Design
Mobile
PWA
Python
Startup
AIY Project
ARCore
Android Jetpack
AndroidDev
Androidq
Apps Script
Artificial Intelligence
Augmented Reality
Firebase Cloud Messaging
Google Cloud
Google Maps
Gsuite
IO19
ML kit
Research
VR
coding
unity
#io19
AR
Android Dev Summit
Android Developer
Android Q
Cardboard
Cloud AI
Coral
Developers
Dialogflow
Firebase Realtime Database
Gmail
Google AI
Google Cloud Messaging
Google ContainerEngine
Google Play Console
Kotlin Coroutines
NLP
Programming
Responsive Design
TensorFlowjs
Testing
WTM
Women
beacons
cloud storage
developer
node JS
student programs
women techmakers
API Cloud Vision
Add-ons
Android P
AndroidDevStory
Animation
AutoML
Brillo
Classroom
DSC
Database
Developer Student Clubs
Edge TPU
Fabric
Featured
Flutter Web
G Suite
GWT
GoLang
Google
Google Brain
Google Cloud Next
Google Container Engine
Google Developer Groups
Google I/O Extended
Graph
Hosting
Instant Apps
Keras
Livedata
Mobile Sites
Prediction
Privacy
Project Tango
SDK
Stackdriver
Tales
UI
Udacity
Virtual Reality
Web
Web Development
YouTube
analytics
android security
api.ai
courses
google io
indies
natural language processing
reti neurali
sign-in
young developers
2d Animation
3d
AIY
ARkit
Adversarial Learning
Alpha
Android App
Android App Developmen
Android App bundle
Android Architecture
Android Architecture Components
Android Auto
Android Automotive OS
Android Dev Summit Android Developer
Android Developer Challenge
Android Developers GooglePlayAwards
Android Development
Android Go
Android Instant App
Android Pie
Android Q Scoped Storage
Android Q audio
Android Styles
Android audio playback capture
Android codelabs
AndroidTV
AndroidX
Angular
Aogdevs
Api Design
App Development
App Distribution
Apps
Architecture
Architecture Components
Arduino
Best Practices
Betatesting
Bugs
C++
Certification
Cloud Anchors
Cloud Next
Cloud Run
Cloud Service Platform
Cloud Shell
Cloud Study Jam
Coached Conversational Preference Elicitation
Commerce
Community Connector
Computer Science
Consistency
Containers
Converge
Conversation Design
Crash Reporting
DLS Design
Dagger
Data Science
Databases
Dependency Injection
Design
Developer Communities
Developer Community
Developer Culture
Developer Story
Developing Media Apps
Development
Eager
Edge TPU Dev Board
Education
Emulatore Android
Error Message
Eslint
Europe
Firebase Extensions
Firebase Summit 2019
Firebasehosting
Flutter 1.5
Flutter at IO
FlutterDark
GCE
GDD
Game Development
Gboard
Gesture Navigation
Glass
Go
Google AI Quantum
Google App Script
Google Cloud Functions
Google Cloud billing
Google Coral
Google Developer Days
Google Home Hub
Google IOS Android
Google Identity Platform
Google Launchpad
Google Lens
Google Now
Google Photos
Google Play Devs
Google Play Indie Games Festival
Google Play Instant
Google Plus
Google codelabs
Google+
GoogleDevWeekly
GoogleLaunchpad
GooglePlay
Graphics
Healthcare
I/O
IO
IO19 Flutter
In-app Billing
Indie Games
Indie Games Festival
Indie games showcase
Indie showcase
Ingress
Instant Games
Issues
Java
Jetpack
Knative
Kotlin Beginners
Kotlin Everywhere
Kotlin codelabs
Lighthouse
Live Caption
Live Streaming
Localization
Location
M-Theory
Mondaygram
Monetization
NYT
NativeScript
Navigation
Neural Graph Learning
Neural Structured
Nodejs
OS
OS Updates
Olivex
One Time Codes
Online Education
PHA
Performance Monitoring
Policy
Posenet
Project Mainline
Project Treble
Quantum Computing Theory
Reactive Programming
Regression
Remote Config
Resonance Audio
Room
Scoped Storage
Semantics
Semi Supervised Learning
Serverless
Sms Retriever Api
Sms Verification
Speech Recognition
Swift
Tensorflow Core
Tensorflow Hub
Test Lab
Text
Tokenizer
Tpu
Transformers
UX
UX Design
UX Research
Universal Sentence Encoder
Unsupervised Data Augmentation
Unsupervised Learning
User Experience
Viewmodel
Voice
WWW
Wear OS
WebAssembly
Widget
Women in Tech
WomenTechmakers
android kotlin
app stability
assistant
audio recording
augmented faces
authsub
best practices and updates
billing
botnet
business
c++ games
cancer
chatbot
chrome privacy
codelab
codelabs
competition
daydream
designer
dominio .dev
error handling
event
firebase games
firebase gdc
firebase hosting
firebase unity
game center authentication
game testing
games authentication
gdc
google summer of code
googledevelopers
grow
hashcode
indie
indie developers
internship
kids
machine intelligence
machine learning accelerator
maker
multi-platform
nearby
oauth
openid
performance
persistent AR
privacy sandbox
prizes
prototype
purchase flows
queries
realtime
responsible AI
security rules
showcase
solutions challenge
startup africa roadtrip
startup times
students
summer of code
unity crashlytics
verify apps
win
Archivio Blog
2020
feb
gen
2019
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
2018
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
2017
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
2016
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
2015
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
2014
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
2013
dic
nov
ott
set
ago
lug
giu
mag
apr
mar
feb
gen
Feed
Follow @GoogleDevsItaly