Google Developers Italia: Come muovere i primi passi con il machine learning su Arduino

Local blog for Italian speaking developers

Come muovere i primi passi con il machine learning su Arduino

13 novembre 2019

Un guest post di Sandeep Mistry e Dominic Pajak del team ArduinoArduinoArduino Nano 33 BLE SenseTensorFlow Lite MicroArduino Library Manager

Esempio 1: Esecuzione dell'esempio di inferenza micro_speech pre-addestrato.

ora online

Esempio 2: Addestrare il proprio modello di classificazione gestuale.

Nota: i seguenti progetti sono basati su TensorFlow Lite per microcontrollori, attualmente in fase sperimentale nel repository TensorFlow. Questo è ancora un campo nuovo ed emergente! Microcontrollori e TinyML miliardituttischeda

La scheda Arduino Nano 33 BLE Sense è più piccola di un bastoncino di gomma

Funzionalità: un dispositivo intelligente deve rispondere rapidamente e localmente (indipendentemente da Internet).

Costo: puoi raggiungere il tuo obiettivo con un hardware semplice e a basso costo.

Privacy: non vuoi condividere tutti i dati del sensore esternamente.

Efficienza: fattore di forma più piccolo del dispositivo, risparmio di energia o maggiore durata della batteria.

Il machine learning può rendere i microcontrollori accessibili agli sviluppatori che non hanno un background nello sviluppo integrato

quantizzazione dei pesi Cosa ti serve per iniziare

Una scheda Arduino Nano 33 BLE Sense

Un cavo Micro USB per collegare la scheda Arduino al computer desktop

Per programmare la scheda, puoi usare l'Arduino Web Editor o installare l'Arduino IDE. Ti forniremo maggiori dettagli su come configurarli nella sezione seguente

Voce: microfono digitale

Movimento: IMU a 9 assi (accelerometro, giroscopio, magnetometro)

Ambientale: temperatura, umidità e pressione

Luce: luminosità, colore e prossimità degli oggetti

Suggerimento: sensori su una chiavetta USB Esempi di TensorFlow Lite per microcontrollori

micro_speech: riconoscimento vocale tramite il microfono integrato

magic_wand: riconoscimento gestuale utilizzando l'IMU integrata

person_detection: rilevamento delle persone tramite una videocamera ArduCam esterna

Repository TensorFlow Come eseguire gli esempi usando il web editor Arduino CreateDopo aver collegato Arduino Nano 33 BLE Sense al computer desktop con un cavo USB, sarà possibile compilare ed eseguire i seguenti esempi di TensorFlow sulla scheda utilizzando il web editor Arduino Create :

Compilazione di un esempio dalla libreria Arduino_TensorFlowLite

Concentriamoci sull'esempio di riconoscimento vocale: micro_speech

Esecuzione dell'esempio micro_speech

Come eseguire gli esempi utilizzando l'IDE di ArduinoConfigurazione dell'IDE di Arduino.File > ExamplesArduino_TensorFlowLite

arduino-cli Addestramento di un modello Micro TensorFlow Lite per Arduino

Classificazione dei gesti su Arduino BLE 33 Nano Sense, output come Emoji

Play Street Fighter di Charlie Gerard con movimenti del corpo usando Arduino e Tensorflow.js. Abbiamo adattato il tutorial seguente, quindi non è necessario alcun hardware aggiuntivo: il campionamento inizia rilevando il movimento della scheda. La versione originale del tutorial aggiunge una breadboard e un pulsante hardware da premere per attivare il campionamento. Se vuoi utilizzare un hardware di piccole dimensioni, puoi seguire invece quella versione. Configurazione dell'IDE di Arduino Scarica e installa la scheda e le librerie specifiche nell'IDE di Arduino.

Scarica e installa la scheda e le librerie specifiche nell'IDE di Arduino.

Scarica e installa l'IDE di Arduino da https://arduino.cc/downloads

Apri l'applicazione Arduino che hai appena installato

Nel menu IDE di Arduino seleziona Tools > Board > Boards Manager…

Cerca "Nano BLE" e premi Install sulla scheda

L'installazione richiederà alcuni minuti

Al termine, chiudi la finestra Boards Manager

Ora vai al Library Manager Tools > Manage Libraries…

Cerca e installa la libreria Arduino_TensorFlowLite

Quindi cerca e installa la libreria Arduino_LSM9DS1:

Infine, collega il cavo micro USB alla scheda e al computer

Seleziona la scheda Tools > Board > Arduino Nano 33 BLE

Seleziona la porta Tools > Port > COM5 (Arduino Nano 33 BLE)

Il nome della porta effettiva potrebbe essere diverso sul computer

introduttiverisoluzione dei problemi Streaming dei dati dei sensori dalla scheda Arduinosketch) .ino IMU_Capture.ino

Monitorare l'accelerometro e il giroscopio della scheda

Attivare una finestra di esempio per il rilevamento di un'accelerazione lineare significativa della scheda

Campionare per un secondo a 119 Hz, restituendo dati in formato CSV su USB

Tornare indietro e monitorare il gesto successivo

I sensori che scegliamo di leggere dalla scheda, la frequenza di campionamento, la soglia di trigger e se trasmettiamo l'output di dati come CSV, JSON, binario o altri formati sono tutti elementi personalizzabili nello sketch in esecuzione su Arduino. Esiste anche la possibilità di eseguire la preelaborazione e il filtraggio del segnale sul dispositivo prima che i dati vengano inviati al log. Analizzeremo questo aspetto in un altro blog. Per ora, puoi semplicemente caricare lo sketch e passare al campionamento.

Scarica IMU_Capture.ino e aprilo nell'IDE di Arduino

Compilalo e caricalo sulla scheda con Sketch > Upload

Visualizzazione del log dei dati dei sensori in tempo reale dalla scheda Arduino

Nell'IDE di Arduino, apri il Serial Plotter Tools > Serial Plotter

Se viene visualizzato un errore che indica la non disponibilità della scheda, seleziona nuovamente la porta:

Tools > Port > nome porta (Arduino Nano 33 BLE)

Prendi la scheda e fai pratica con i gesti del pugno e della flessione

Il campionamento durerà un secondo, quindi partirà l'attesa per il gesto successivo

Dovresti vedere un grafico in tempo reale dell'acquisizione dei dati dei sensori (vedi GIF sotto)

Arduino IDE Serial Plotter mostrerà un grafico in tempo reale dell'output dei dati CSV dalla tua scheda

Al termine, assicurati di chiudere la finestra del Serial Plotter: questa operazione è importante poiché, se non lo fai, il passaggio successivo non funzionerà. Acquisizione dei dati di addestramento gestualeArduino IDE > Tools > Serial Monitor

Ripristina la scheda premendo il piccolo pulsante bianco in alto

Tieni la scheda in una mano (se la prendi successivamente, si attiverà il campionamento)

Nell'IDE di Arduino, apri il Serial Monitor Tools > Serial Monitor

Se viene visualizzato un errore che indica la non disponibilità della scheda, seleziona nuovamente la porta:

Tools > Port > nome porta (Arduino Nano 33 BLE)

Fai il gesto di tirare un pugno con la scheda in mano (fai attenzione mentre lo fai!)

Mima un pugno verso l'esterno abbastanza rapidamente da attivare l'acquisizione

Ritorna lentamente in una posizione neutra per non attivare nuovamente l'acquisizione

Ripeti il passaggio di acquisizione del gesto 10 o più volte per raccogliere più dati

Copia e incolla i dati dalla Serial Console nel nuovo file di testo chiamato punch.csv

Cancella l'output della finestra della console e ripeti tutti i passaggi precedenti, questa volta con un gesto di flessione in un file chiamato flex.csv

Fai la flessione verso l'interno abbastanza rapidamente da attivare la cattura e torna ogni volta alla posizione neutra lentamente

Suggerimento per Linux: $ cat /dev/cu.usbmodem[nnnnn] > sensorlog.csv Addestramento in TensorFlowGoogle Colab

Colab di addestramento per riconoscimento gestuale Arduino

Configurazione dell'ambiente Python

Caricamento dei dati punch.csv e flex.csv

Analisi e preparazione dei dati

Creazione e addestramento del modello

Converti il modello addestrato in TensorFlow Lite

Codifica il modello in un file di intestazione Arduino

arduino_tinyml_workshop.ipynb Classificazione dei dati IMU

Apri IMU_Classifier.ino nell'IDE di Arduino.

Crea una nuova tab nell'IDE. Quando chiesto, chiamala model.h

Sketch > UploadTools > Serial Monitor Congratulazioni, hai appena addestrato la tua prima applicazione ML per Arduino!

Emoji_Button.inoEmoji_Button.inoIMU_Classifier.ino Conclusionicondividilo TinyML: Machine Learning with TensorFlow on Arduino and Ultra-Low Power Microcontrollers