El método correcto para estimar el tamaño de la fruta | Spectre Computer Vision

¿Cómo se desarrolla un sistema de detección del tamaño de una manzana? Investigamos diversos enfoques y concluimos: necesitamos un gran detector de objetos (una cámara), visión artificial y aprendizaje automático.

¿Qué es la visión artificial y el aprendizaje automático?

Observa tu mano. Tus ojos probablemente ven cinco dedos. La visión artificial significa que, con solo usar la cámara de tu teléfono (o cualquier otra cámara), un sistema informático podrá darte exactamente la misma información, sin que tengas que contar. Para que la visión artificial pueda descifrar que hay dedos en la foto, el sistema necesita ser entrenado y se le debe enseñar cómo se ven los dedos. Esto se llama, en términos generales, aprendizaje automático.

Aprendizaje automático/imagen cerebral inteligente de Toptal

Estos son los pasos necesarios Para crear un detector del tamaño de una manzana con visión artificial y aprendizaje automático:

Crea una imagen de manzana
Ingrese la imagen de la manzana en el sistema
El sistema convierte la imagen sin procesar a escala de grises.
Perfecciona el mapa de bordes
Detecta los contornos de la manzana
Ajuste círculos o elipses sobre los contornos de la manzana.
Repita hasta que se haya creado una cantidad sustancial de datos para verificar

Pero primero lo primero. ¿Cuál es la mejor manera de crear la imagen y procesarla con visión artificial?

Visión por computadora pura

Comenzamos con visión artificial pura/tradicional, lo que significa que solo usamos una cámara como sensor para el sistema y NO aprendizaje automático. Desde el principio, probamos diferentes imágenes de entrada (diferentes variedades, diferentes ángulos, diferentes calidades de imagen, etc.).

Ajuste del círculo de visión pura: primer resultado

Los resultados demostraron que Se detectaron manzanas individuales, pero el sistema Tuvo dificultades cuando las condiciones no eran idealesPor ejemplo, tan pronto como se representaban hojas o ramas (especialmente en diferentes configuraciones de luz), La detección del tamaño se volvió inexacta.

Ajuste del círculo de visión pura: segunda salida, con hojas cubriendo algunas manzanas

Visión estéreo

A continuación, probamos la visión estereoscópica como otra opción para encontrar una solución para el proyecto. La visión estereoscópica significa que esta vez usamos Cámaras duales para generar una reconstrucción de superficie 3D aproximada (una nube de puntos) en la capa superior de los contenedores de manzanas. El sistema puede analizar geométricamente la nube de puntos o superficie 3D para determinar el ancho de las manzanas que aparecen como manchas en la superficie. La desventaja es que nuestros productores necesitarían una segunda cámara. Sin embargo, esto podría no ser un problema en el futuro, ya que todos los teléfonos nuevos se lanzan con cámaras duales.

Después de descubrir que la visión estereoscópica era la mejor opción, simplemente tuvimos que empezar Enseñándole a la máquina todas las diferentes maneras en que podría verse una manzana en un contenedor.Desde todos los ángulos posibles, con diferentes condiciones de luz y calidades del conjunto de datos de la imagen. Esto significa que necesitábamos... recopilar una gran cantidad de imágenes (conjuntos de datos) para enseñar al sistema cómo localizar y medir manzanas individuales dentro de una imagen de contenedor de manzanas de entrada.

¡Descubre cómo lo solucionamos en nuestra próxima publicación!