Il metodo corretto per la stima delle dimensioni dei frutti | Spectre Computer Vision

Come si sviluppa un sistema di rilevamento delle dimensioni di una mela? Abbiamo valutato diversi approcci e siamo giunti alla seguente conclusione: servono un ottimo rilevatore di oggetti (una telecamera), visione artificiale e apprendimento automatico.

Cosa sono la visione artificiale e l'apprendimento automatico?

Guarda la tua mano. I tuoi occhi probabilmente vedono 5 dita. Ora, la visione artificiale significa che, semplicemente usando la fotocamera del tuo telefono (o di qualsiasi altra fotocamera), un sistema informatico sarà in grado di fornirti esattamente le stesse informazioni, senza che tu debba contare. Affinché la visione artificiale sia in grado di decifrare che ci sono delle dita nella foto, il sistema deve essere addestrato e istruito sull'aspetto delle dita. Questo è, in generale, chiamato apprendimento automatico.

Immagine del cervello intelligente/apprendimento automatico di Toptal

Questi sono i passaggi necessari per creare un rilevatore delle dimensioni di una mela con visione artificiale e apprendimento automatico:

Crea un'immagine di mela
Inserisci l'immagine della mela nel sistema
Il sistema converte l'immagine grezza in scala di grigi
Mappa dei bordi precisa
Rileva i contorni delle mele
Adattare cerchi o ellissi ai contorni della mela
Ripetere fino a quando non viene creata una quantità sostanziale di dati da verificare

Ma andiamo con ordine. Qual è il modo migliore per creare l'immagine ed elaborarla con la visione artificiale?

Visione artificiale pura

Abbiamo iniziato con la visione computerizzata pura/tradizionale, il che significa che abbiamo utilizzato solo una telecamera come sensore per il sistema e NESSUN apprendimento automatico. Fin dall'inizio abbiamo testato diverse immagini di input (diverse varietà, diverse angolazioni, diverse qualità delle immagini, ecc.).

Adattamento del cerchio di visione pura: primo output

I risultati hanno dimostrato che sono state rilevate singole mele, ma il sistema ha lottato quando le condizioni non erano idealiAd esempio, non appena venivano raffigurate foglie o rami (specialmente in diverse condizioni di luce) il rilevamento delle dimensioni è diventato impreciso.

Visione pura del cerchio: seconda uscita, con foglie che coprono alcune mele

Visione stereo

Successivamente abbiamo provato la visione stereoscopica come ulteriore opzione per trovare una soluzione al progetto. La visione stereoscopica significa che questa volta abbiamo utilizzato doppie telecamere per generare una ricostruzione approssimativa della superficie 3D (una cosiddetta nuvola di punti) sullo strato superiore dei contenitori di mele. La nuvola di punti/superficie 3D può quindi essere analizzata geometricamente dal sistema per determinare la larghezza delle mele che appaiono come macchie sulla superficie. L'aspetto negativo: i nostri coltivatori avrebbero bisogno di una seconda fotocamera. Tuttavia, questo potrebbe non essere un problema in futuro, poiché tutti i nuovi telefoni vengono ora lanciati con doppia fotocamera.

Dopo aver scoperto che la visione stereo era la scelta migliore, abbiamo semplicemente dovuto iniziare insegnare alla macchina tutti i diversi modi in cui una mela in un cestino potrebbe apparire, da tutte le angolazioni possibili, diverse condizioni di luce e qualità del set di dati dell'immagine. Ciò significa che avevamo bisogno di raccogliere una quantità molto grande di immagini (set di dati) per insegnare al sistema come localizzare e misurare le singole mele all'interno di un'immagine di input di un contenitore di mele.

Scopri come abbiamo risolto questo problema nel nostro prossimo post!