Od pikseli do milimetrów – rozmiar jabłka w rzeczywistych współrzędnych

Udowodniliśmy, że możemy znaleźć jabłka na obrazach pojemników na jabłka i dopasować do nich pola/maski, aby uzyskać pomiary pikseli wykrytego owocu. Następnym krokiem było opracować odpowiednią metodę przekształcania obrazu na użyteczne wartości mm/cale w rzeczywistych współrzędnych.

Jednakże uchwycony kosz na jabłka mógł pojawić się w ramce w losowej pozycji z różnym kątem i nachyleniem kamery. Odkryliśmy, że ludzie nie zawsze mogli odtworzyć zdjęcie z idealnym kątem i nachyleniem za pomocą telefonu komórkowego. Rozwiązanie: zastosowaliśmy transformacja perspektywy w celu rozciągnięcia górnej części pojemnika do znanej pozycji ramki, imitując widok z góry widziany w poniżej obrazka (2)

Aby to osiągnąć zastosowano następujący proces:

Uzyskaj obraz wejściowy, jak pokazano poniżej w (1)
Określ współrzędne czterech narożników pojemnika
Zastosuj zniekształcenie perspektywy do żądanego wymiaru ramki

(1) Surowy obraz wejściowy pojemnika na jabłka przed transformacją perspektywy z niedoskonałą pozycją kamery

Aby opracować dowód koncepcji, cztery rogi kosza zostały ręcznie określone. Po rozwinięciu w aplikację, plantatorzy zrobią zdjęcie, a następnie przeciągną cztery znaczniki w cztery rogi pojemnika. Ten proces zostanie w przyszłości zautomatyzowany.

(2) Obraz pojemnika na jabłka przekształcony w perspektywie, aby uzyskać widok z góry

Znając wymiary fizyczne pojemnika na jabłka, można teraz ustawić wymiary końcowej klatki. Na przykład – jeśli sad ma wymiary górnej części pojemnika 1200 mm X 1155 mm, przekształcony perspektywicznie wynik może zostać zwrócony jako 1200 pikseli X 1155 pikseli, aby uzyskać stosunek mm do pikseli 1:1. Można to skalować proporcjonalnie, aby zmniejszyć rozmiar obrazu wejściowego, zachowując jednocześnie spójność relacji między szerokością a długością.

Już prawie skończyliśmy! Czekajcie na kolejny krok: oszacowanie rzeczywistego rozmiaru jabłka.