Właściwa metoda szacowania wielkości owoców | Spectre Computer Vision

Jak opracować system wykrywania wielkości jabłka? Zbadaliśmy wiele różnych podejść i doszliśmy do wniosku: potrzebujemy świetnego detektora obiektów (kamery), wizji komputerowej i uczenia maszynowego.

Czym jest komputerowe widzenie i uczenie maszynowe?

Spójrz na swoją dłoń. Twoje oczy najprawdopodobniej widzą 5 palców. Teraz widzenie komputerowe oznacza, że tylko za pomocą aparatu w telefonie (lub dowolnego aparatu) system komputerowy będzie w stanie podać Ci dokładnie te same informacje, bez konieczności liczenia. Aby widzenie komputerowe było w stanie rozszyfrować, że na zdjęciu są palce, system musi zostać wyszkolony i nauczony, jak wyglądają palce. To jest, ogólnie rzecz biorąc, nazywane uczenie maszynowe.

Obraz uczenia maszynowego/inteligentnego mózgu z Toptal

To są niezbędne kroki do stworzenia detektora wielkości jabłka z wykorzystaniem komputerowego widzenia i uczenia maszynowego:

Utwórz obraz jabłka
Wprowadź obraz jabłka do systemu
System konwertuje obraz surowy do skali szarości
Wygładź mapę krawędzi
Wykrywa kontury jabłka
Dopasuj okręgi lub elipsy do konturów jabłka
Powtarzaj, aż utworzy się znaczna ilość danych do weryfikacji

Ale najpierw najważniejsze. Jaki jest najlepszy sposób na stworzenie obrazu i przetworzenie go za pomocą wizji komputerowej?

Czysta wizja komputerowa

Zaczęliśmy od czystej/tradycyjnej wizji komputerowej, co oznacza, że użyliśmy tylko jednej kamery jako czujnika dla systemu i NIE UCZYLIŚMY SIĘ MASZYNOWO. Od początku testowaliśmy różne obrazy wejściowe (różne odmiany, różne kąty, różna jakość obrazu itp.).

Dopasowanie czystego okręgu widzenia: pierwsze wyjście

Wyniki udowodniły, że wykryto pojedyncze jabłkaale system zmagał się, gdy warunki nie były idealneNa przykład, gdy tylko pokazano liście lub gałęzie (szczególnie w różnych warunkach oświetleniowych), wykrywanie rozmiaru stało się niedokładne.

Dopasowanie czystego okręgu widzenia: drugie wyjście, z liśćmi pokrywającymi niektóre jabłka

Wizja stereoskopowa

Następnie wypróbowaliśmy widzenie stereoskopowe jako inną opcję znalezienia rozwiązania dla projektu. Wizja stereoskopowa oznacza, że tym razem użyliśmy dwie kamery do generowania przybliżonej rekonstrukcji powierzchni 3D (tzw. chmura punktów) na górnej warstwie pojemników na jabłka. Chmura punktów/powierzchnia 3D może być następnie analizowana geometrycznie przez system, aby znaleźć szerokość jabłek pojawiających się jako plamy na powierzchni. Wadą tego jest to, że nasi plantatorzy będą potrzebować drugiego aparatu. Może to jednak nie być problemem w przyszłości, ponieważ wszystkie nowe telefony są teraz wypuszczane z podwójnym aparatem.

Po odkryciu, że widzenie stereoskopowe jest najlepszym wyborem, musieliśmy po prostu zacząć ucząc maszynę różnych sposobów, w jaki mogłoby wyglądać jabłko w pojemniku, ze wszystkich możliwych kątów, różnych warunków oświetlenia i jakości zbioru danych obrazu. Oznacza to, że musieliśmy zebrać bardzo dużą ilość obrazów (zestawów danych) aby nauczyć system, jak lokalizować i mierzyć poszczególne jabłka na obrazie pojemnika na jabłka.

Dowiedz się, jak rozwiązaliśmy ten problem w kolejnym poście!