De píxeles a milímetros: el tamaño de una manzana en coordenadas reales

Demostramos que podíamos encontrar manzanas en imágenes de contenedores de manzanas y ajustarles cajas/máscaras para generar mediciones de píxeles de la fruta detectada. El siguiente paso fue... Diseñar un método adecuado para transformar la imagen en valores útiles en mm/pulgadas en coordenadas del mundo real.

Sin embargo, el contenedor de manzanas capturado podía aparecer dentro del encuadre en una posición aleatoria con distintos ángulos y ángulos de la cámara. Descubrimos que no siempre era posible replicar una foto con el ángulo y el ángulo perfectos usando un teléfono móvil. La solución: aplicamos un Transformación de perspectiva para estirar la parte superior del contenedor a una posición de marco conocida, imitando una vista de arriba hacia abajo visto en imagen de abajo (2)

Para lograrlo se aplicó el siguiente proceso:

Adquiera la imagen de entrada como se ve a continuación en (1)
Determinar las coordenadas de las cuatro esquinas del contenedor
Aplicar deformación de perspectiva a la dimensión del marco deseada

(1) Imagen de entrada sin procesar del contenedor de manzanas antes de la transformación de perspectiva con una posición de cámara imperfecta

Para desarrollar una prueba de concepto, se determinaron manualmente las cuatro esquinas del contenedor. Una vez desarrollada la aplicación, Los productores tomarán una imagen antes de arrastrar cuatro marcadores a las cuatro esquinas del contenedor.Este proceso se automatizará en el futuro.

(2) Imagen del contenedor de manzanas transformada en perspectiva para ofrecer una vista de arriba hacia abajo

Conocidas las dimensiones físicas del contenedor de manzanas, se pueden definir las dimensiones finales del marco. Por ejemplo, si un huerto tiene unas dimensiones de 1200 mm x 1155 mm en la parte superior del contenedor, la perspectiva resultante se puede obtener como 1200 píxeles x 1155 píxeles para obtener una relación de mm a píxel de 1:1. Esto se puede escalar proporcionalmente para reducir el tamaño de la imagen de entrada, manteniendo la relación entre el ancho y el largo.

¡Ya casi llegamos! Estén atentos al siguiente paso: la estimación del tamaño real de la manzana.