Sensor de visión de IA#
Introducción#
El sensor de visión con IA puede detectar y rastrear objetos, colores y AprilTags. Esto permite al robot analizar su entorno, seguir objetos y reaccionar según los datos visuales detectados.
Los ejemplos de Visión IA están diseñados para usarse con un Basebot equipado con un Sensor de Visión IA. En estos ejemplos, el sensor está configurado con el nombre AIVision1, que aparece en los bloques.
A continuación se muestra una lista de bloques disponibles:
Acciones – Capturar datos del sensor de visión de IA para una firma seleccionada.
obtener datos de objeto – Captura datos para un tipo de objeto específico, como colores, objetos entrenados previamente o AprilTags.
Configuración – Elige con qué objeto interactuar.
Establecer elemento de objeto de AI Vision – Selecciona un objeto específico de la lista de objetos detectados.
Valores – Acceder y utilizar los datos capturados.
¿Existe el objeto AI Vision? – Devuelve si se detectó un objeto.
Recuento de objetos de AI Vision – Devuelve la cantidad de objetos detectados.
Propiedad del objeto AI Vision – Devuelve detalles como:
¿Cuál es el objeto de AI Vision? – Comprueba si un objeto detectado coincide con una clasificación específica.
¿El objeto de AI Vision es el ID de AprilTag? – Comprueba si un AprilTag detectado coincide con un ID específico.
Comportamiento#
obtener datos del objeto#
El bloque obtener datos de objeto filtra los datos del marco del sensor de visión de IA. Este puede detectar firmas que incluyen objetos preentrenados, AprilTags o colores y códigos de color configurados.
Los colores y códigos de color deben configurarse primero en AI Vision Utility antes de poder usarse con este bloque.
El conjunto de datos almacena objetos ordenados de mayor a menor por ancho, comenzando en el índice 0. Se puede acceder a las propiedades de cada objeto mediante el bloque AI Vision object property. Si no se detectan objetos coincidentes, se devuelve un conjunto de datos vacío.
obtener [AIVision 1 v] datos de [SELECT_A_SIG v]
Parámetro |
Descripción |
---|---|
firma |
Filtra el conjunto de datos para incluir solo los datos de la firma dada. Las firmas disponibles son:
|
Nota: Para que aparezcan las opciones de AprilTag o Clasificación de IA, su detección debe estar habilitada en la Utilidad de Visión de IA.
Ejemplo
cuando empezó :: hat events
[Drive forward if an AprilTag is detected.]
para siempre
obtener [AprilTags v] datos de [AIVision 1 v]
si <¿Existe [AIVIsion1 v] objeto?> entonces
unidad [adelante v] para [10] [mm v] ▶
Firmas de color#
Una Firma de Color es un color único que el Sensor de Visión con IA puede reconocer. Estas firmas permiten al sensor detectar y rastrear objetos según su color. Una vez configurada una Firma de Color, el sensor puede identificar objetos con ese color específico en su campo de visión.
Las firmas de color se utilizan en el bloque Obtener datos del objeto para procesar y detectar objetos de color en tiempo real. Se pueden configurar hasta 7 firmas de color simultáneamente.
La Utilidad de Visión con IA muestra un sensor de visión conectado que detecta dos objetos de color. El lado izquierdo muestra la transmisión de una cámara en vivo con un recuadro azul a la izquierda y uno rojo a la derecha, cada uno delimitado por cuadros blancos. Las etiquetas negras muestran sus respectivos nombres, coordenadas y dimensiones. El lado derecho contiene la configuración de la firma de color, con controles deslizantes para el tono y la saturación de los recuadros rojo y azul. Los botones para agregar colores, congelar el video, copiar y guardar la imagen se encuentran en la parte inferior, junto con un botón/_static/img/AiVision/color_signatures.pngcierre en la esquina inferior derecha.
Ejemplo
cuando empezó :: hat events
[Display if any objects matching the RED_BOX signature is detected.]
para siempre
Coloque el cursor en la fila [1] columna [1] en la pantalla
Limpiar la fila [1] de la pantalla
[Change the signature to any configured Color Signature.]
obtener [RED_BOX v] datos de [AIVision 1 v]
si <¿Existe [AIVision 1 v] objeto?> entonces
imprimir [Color detected!] en la pantalla ▶
Códigos de color#
Un código de color es un patrón estructurado compuesto por de 2 a 4 firmas de color, dispuestas en un orden específico. Estos códigos permiten al sensor de visión con IA reconocer patrones de colores predefinidos.
Los códigos de color son especialmente útiles para identificar objetos complejos, alinearlos con elementos del juego o crear marcadores únicos para la navegación autónoma. Se pueden configurar hasta 8 códigos de color a la vez.
La interfaz de la Utilidad de Visión IA muestra un sensor de visión conectado que detecta dos objetos adyacentes: un cuadro azul a la izquierda y un cuadro rojo a la derecha, agrupados en un único cuadro delimitador blanco denominado AzulRojo. La información de detección incluye el ángulo (A:11°), las coordenadas (X:143, Y:103), el ancho (W:233) y la altura (H:108). En el panel derecho, se listan tres firmas de color: Cuadro Rojo, Cuadro Azul y AzulRojo, con rangos/_static/img/AiVision/color_code.pngtono y saturación ajustables. La firma AzulRojo combina el Cuadro Azul y el Cuadro Rojo. Debajo de la señal de video se encuentran los botones Congelar Video, Copiar Imagen, Guardar Imagen y Cerrar.
Ejemplo
cuando empezó :: hat events
[Display if any objects matching the RED_BLUE code is detected.]
para siempre
Coloque el cursor en la fila [1] columna [1] en la pantalla
Limpiar la fila [1] de la pantalla
[Change the signature to any configured Color Code.]
obtener [RED_BLUE v] datos de [AIVision 1 v]
si <¿Existe [AIVIsion1 v] objeto?> entonces
imprimir [Code detected!] en la pantalla ▶
Ajustes#
Establecer elemento de objeto de AI Vision#
El bloque establecer elemento de objeto de AI Vision establece qué elemento del conjunto de datos utilizar.
Establecer el elemento de objeto [AIVision 1 v] en (1)
Parámetros |
Descripción |
---|---|
artículo |
El número del elemento en el conjunto de datos que se utilizará. |
Ejemplo
cuando empezó :: hat events
[Display the largest detected AprilTag ID.]
para siempre
obtener [AprilTags v] datos de [AIVision 1 v]
Limpiar la fila [1] de la pantalla
Coloque el cursor en la fila [1] columna [1] en la pantalla
si <¿Existe [AIVision 1 v] objeto?> entonces
Establecer el elemento de objeto [AIVision 1 v] en ([AIVision1 v]object count)
imprimir ([AIVision 1 v] objeto [ID de etiqueta v]) en la pantalla ▶
Valores#
¿Existe el objeto AI Vision?#
El bloque El objeto AI Vision existe devuelve un valor booleano que indica si se detecta algún objeto en el conjunto de datos.
Verdadero: el conjunto de datos incluye un objeto detectado.
Falso: el conjunto de datos no incluye ningún objeto detectado.
<¿Existe [AIVision 1 v] objeto?>
Parámetros |
Descripción |
---|---|
Este bloque no tiene parámetros. |
Ejemplo
cuando empezó :: hat events
[Drive forward if an object is detected.]
para siempre
obtener [AI Classifications v] datos de [AIVision 1 v]
si <¿Existe [AIVision 1 v] objeto?> entonces
unidad [adelante v] para [10] [mm v] ▶
Recuento de objetos de AI Vision#
El bloque Recuento de objetos de AI Vision devuelve la cantidad de objetos detectados en el conjunto de datos como un entero.
([AIVision 1 v] recuento de objetos)
Parámetros |
Descripción |
---|---|
Este bloque no tiene parámetros. |
Ejemplo
cuando empezó :: hat events
[Display the total amount of cubes, rings, and balls.]
para siempre
Limpiar la fila [1] de la pantalla
Coloque el cursor en la fila [1] columna [1] en la pantalla
obtener [AI Classifications v] datos de [AIVision 1 v]
si <¿Existe [AIVision 1 v] objeto?> entonces
imprimir ([AIVision 1 v] recuento de objetos) en la pantalla ▶
fin
esperar [0.5] segundos
Propiedad del objeto AI Vision#
Hay nueve propiedades que se incluyen con cada objeto (que se muestran a continuación) almacenado después de que se utiliza el bloque Obtener datos del objeto.
([AIVision 1 v] objeto [amplitud v])
Algunos valores de propiedad se basan en la posición del objeto detectado en la vista del sensor de visión de IA al momento de usar el bloque Obtener datos del objeto. El sensor de visión de IA tiene una resolución de 320 x 240 píxeles.
Parámetro |
Descripción |
---|---|
propiedad |
¿Qué propiedad del objeto detectado utilizar? |
ancho#
width devuelve el ancho del objeto detectado en píxeles como un entero de 1 a 320.
([AIVision 1 v] objeto [amplitud v])
Ejemplo
cuando empezó :: hat events
[Drive towards an object until its width is larger than 100 pixels.]
para siempre
obtener [AI Classifications v] datos de [AIVision 1 v]
si <¿Existe [AIVision 1 v] objeto?> entonces
si <([AIVision 1 v] objeto [amplitud v]) [math_less_than v] [100]> entonces
unidad [adelante v]
fin
demás
deja de conducir
altura#
altura devuelve la altura del objeto detectado en píxeles como un entero de 1 a 240.
([AIVision 1 v] objeto [altura v])
Ejemplo
cuando empezó :: hat events
[Drive towards an object until its height is larger than 100 pixels.]
para siempre
obtener [AI Classifications v] datos de [AIVision 1 v]
si <¿Existe [AIVision 1 v] objeto?> entonces
si <([AIVision 1 v] objeto [altura v]) [math_less_than v] [100]> entonces
unidad [adelante v]
fin
demás
deja de conducir
centroX#
centerX devuelve la coordenada x del centro del objeto detectado en píxeles como un entero de 0 a 320.
([AIVision 1 v] objeto [centroX v])
Ejemplo
cuando empezó :: hat events
[Turn slowly until an object is centered in front of the robot.]
establecer la velocidad de giro a [30] [% v]
turno [derecha v]
para siempre
obtener [AI Classifications v] datos de [AIVision 1 v]
si <¿Existe [AIVision 1 v] objeto?> entonces
si <[140] [math_less_than v] ([AIVision 1 v] objeto [centroX v]) [math_less_than v] [180]> entonces
deja de conducir
centroY#
centerY devuelve la coordenada y del centro del objeto detectado en píxeles como un entero de 0 a 240.
([AIVision 1 v] objeto [centroY v])
Ejemplo
cuando empezó :: hat events
[Drive towards an object until its center y-coordinate is more than 140 pixels.]
para siempre
obtener [AI Classifications v] datos de [AIVision 1 v]
si <¿Existe [AIVision 1 v] objeto?> entonces
si <([AIVision 1 v] objeto [centroY v]) [math_less_than v] [140]> entonces
unidad [adelante v]
fin
demás
deja de conducir
ángulo#
ángulo devuelve la orientación del código de color o AprilTag detectado como un entero en grados de 0 a 359.
([AIVision 1 v] objeto [ángulo v])
Ejemplo
cuando empezó :: hat events
[Slide left or right depending on how the Color Code is rotated.]
para siempre
obtener [RED_BLUE v] datos de [AIVision 1 v]
si <¿Existe [AIVision 1 v] objeto?> entonces
si <[50] [math_less_than v] ([AIVision 1 v] objeto [ángulo v]) [math_less_than v] [100]> entonces
unidad [derecha v]
de lo contrario si <[270] [math_less_than v] ([AIVision 1 v] objeto [ángulo v]) [math_less_than v] [330]> entonces
unidad [izquierda v]
demás
deja de conducir
fin
demás
deja de conducir
origenX#
originX devuelve la coordenada x de la esquina superior izquierda del cuadro delimitador del objeto detectado en píxeles como un número entero de 0 a 320.
([AIVision 1 v] objeto [origenX v])
Ejemplo
cuando empezó :: hat events
[Display if an object is to the left or the right.]
para siempre
Limpiar la fila [1] de la pantalla
Coloque el cursor en la fila [1] columna [1] en la pantalla
obtener [AI Classifications v] datos de [AIVision 1 v]
si <¿Existe [AIVision 1 v] objeto?> entonces
si <([AIVision 1 v] objeto [origenX v]) [math_less_than v] [160]> entonces
imprimir [To the left!] en la pantalla ▶
demás
imprimir [To the right!] en la pantalla ▶
fin
esperar [0.5] segundos
origenY#
originY devuelve la coordenada y de la esquina superior izquierda del cuadro delimitador del objeto detectado en píxeles como un número entero de 0 a 240.
([AIVision 1 v] objeto [origenY v])
Ejemplo
cuando empezó :: hat events
[Display if an object is close or far from the robot.]
para siempre
Limpiar la fila [1] de la pantalla
Coloque el cursor en la fila [1] columna [1] en la pantalla
obtener [AI Classifications v] datos de [AIVision 1 v]
si <¿Existe [AIVision 1 v] objeto?> entonces
si <([AIVision 1 v] objeto [origenY v]) [math_less_than v] [80]> entonces
imprimir [Far!] en la pantalla ▶
demás
imprimir [Close!] en la pantalla ▶
fin
esperar [0.5] segundos
ID de etiqueta#
tagID devuelve el número de identificación del AprilTag detectado como un entero.
([AIVision 1 v] objeto [ID de etiqueta v])
Ejemplo
cuando empezó :: hat events
[Drive forward when AprilTag ID 0 is detected.]
para siempre
obtener [AprilTags v] datos de [AIVision 1 v]
si <¿Existe [AIVision 1 v] objeto?> entonces
si <([AIVision 1 v] objeto [ID de etiqueta v]) [math_equal v] [0]> entonces
unidad [adelante v]
demás
deja de conducir
fin
esperar [0.5] segundos
¿Qué es el objeto de AI Vision?#
El bloque ¿El objeto AI Vision es? devuelve un valor booleano que indica si un objeto detectado coincide con una clasificación específica.
Verdadero: el elemento del conjunto de datos es el objeto específico.
Falso: el elemento del conjunto de datos no es el objeto específico.
<[AIVision1 v] object is [BlueBall v]?>
Parámetro |
Descripción |
---|---|
objeto |
¿Con qué objeto comparar el artículo?
|
Ejemplo
cuando empezó :: hat events
[Display if a Blue Cube is detected.]
para siempre
obtener [AI Classifications v] datos de [AIVision 1 v]
Limpiar la fila [1] de la pantalla
Coloque el cursor en la fila [1] columna [1] en la pantalla
si <¿Existe [AIVision 1 v] objeto?> entonces
si <[AIVision1 v] object is [BlueCube v]?> entonces
imprimir [Cube detected!] en la pantalla ▶
esperar [0.5] segundos
¿El objeto AI Vision es AprilTag ID?#
El bloque ¿El objeto AI Vision es AprilTag ID? devuelve un valor booleano que indica si un AprilTag detectado coincide con un ID específico.
Verdadero: el ID de AprilTag es el número.
Falso: el ID de AprilTag no es el número.
<[AIVision 1 v] objeto es AprilTag [1]?>
Parámetros |
Descripción |
---|---|
Número de etiqueta de abril |
El número que se comparará con el número de identificación de AprilTag detectado. |
Ejemplo:
cuando empezó :: hat events
[Report if AprilTag ID 3 is detected.]
para siempre
pantalla clara
Coloque el cursor en la fila [1] columna [1] en la pantalla
obtener [AprilTags v] datos de [AIVision 1 v]
si <¿Existe [AIVision 1 v] objeto?> entonces
si <[AIVision 1 v] objeto es AprilTag [3]?> entonces
imprimir [That is 3!] en la pantalla ▶
demás
imprimir [That isn't 3!] en la pantalla ▶
fin
fin
esperar [0.1] segundos