Google Developers Italia: Fairness Indicators: infrastruttura scalabile per sistemi ML equi

Local blog for Italian speaking developers

Fairness Indicators: infrastruttura scalabile per sistemi ML equi

27 gennaio 2020

Pubblicato da Catherina Xu e Tulsee Doshi, Product Managers, Google Researchevidenziando i principi dell'AITensorFlow WorldFairness Indicatorsschede modellocase study interattivoset di datiUnintended Bias in Toxicity di Jigsawora disponibili in versione beta Che cos'è l'equità ML?rappresentazioni

La suite di strumenti Fairness Indicatorsintervalli di confidenza What-If Tool

Utilizzo dei Fairness Indicators per visualizzare le metriche per la valutazione dell'equità.

Facendo clic su una sezione nei Fairness Indicators, verranno caricati tutti i punti dati in quella sezione all'interno del widget What-If Tool. In questo caso, vengono mostrati tutti i punti dati con l'etichetta "femmina".

Pacchetto pip: include Tensorflow Model Analysis (TFMA), Fairness Indicators, Tensorflow Data Validation (TFDV), What-If Tool e Colab di esempio:

Fairness Indicators Example Colab: un'introduzione all'utilizzo dei Fairness Indicators
Fairness Indicators for TensorBoard: un esempio di utilizzo del plug-in TensorBoard
Fairness Indicators with TFHub Embeddings: un Colab che indaga gli effetti di diversi embedding sulle metriche di equità a valle
Fairness Indicators with Cloud Vision API's Face Detection Model: un Colab che mostra come i Fairness Indicators possono essere utilizzati per generare risultati di valutazione per le schede del modello

Repository GitHub: Codice sorgente

Linee guida per l'uso: l'equità è altamente contestuale ed è importante riflettere attentamente su ciascun caso d'uso e sulle potenziali implicazioni per gli utenti. Questo documento fornisce linee guida per la selezione di gruppi e metriche ed evidenzia le best practice per la valutazione.

Case study: case study interattivo sull'uso dei Fairness Indicators, che mostra come il team Conversation AI di Jigsaw rileva il bias in un modello di classificazione utilizzando il set di dati Toxic Comment Classification.

Come utilizzare oggi i Fairness Indicators nei modelliTensorFlow Extended

Accedere ai Fairness Indicators come parte del componente Evaluator in TFX

Accedere ai Fairness Indicators in TensorBoard durante la valutazione di altre metriche in tempo reale

Scaricare il pacchetto pip Fairness Indicators e utilizzare Tensorflow Model Analysis come strumento autonomo

Utilizzare Model Agnostic TFMA per calcolare i Fairness Indicators in base all'output di qualsiasi modello

Case study Fairness Indicators case studyvideo introduttivoset di dati Unintended Bias in Toxicity E ora?verticalmenteorizzontalmenteapprendimento attivomin-diffrepository GitHub di Fairness Indicatorsquesto linktfx@tensorflow.org RingraziamentiIl team principale alla base di questo lavoro comprende Christina Greer, Manasi Joshi, Huanming Fang, Shivam Jindal, Karan Shukla, Osman Aka, Sanders Kleinfeld, Alicia Chang, Alex Hanna e Dan Nanas. Vorremmo anche ringraziare James Wexler, Mahima Pushkarna, Meg Mitchell e Ben Hutchinson per il loro contributo al progetto.