AI-vision#

Introduktion#

AI-visionssensorn kan upptäcka och spåra objekt, färger och AprilTag-ID:n. Detta gör att roboten kan analysera sin omgivning, följa objekt och reagera baserat på detekterad visuell data.

Den här sidan använder ai_vision_1, RED_BOXoch BOX_CODE som exempelnamn för AI-visionssensor, färgsignatur respektive färgkod. Ersätt dem med dina egna konfigurerade namn efter behov.

Nedan följer en lista över alla metoder:

Getters – Hämta data från AI-visionssensorn.

  • take_snapshot – Samlar in data för en specifik signatur.

  • installed – Om AI-visionssensorn är ansluten till EXP Brain.

Egenskaper – Objektdata returnerad från take_snapshot.

  • .exists – Om objektet finns i den aktuella detekteringen.

  • .width – Width of the detected object.

  • .height – Height of the detected object.

  • .centerX – X position of the object’s center.

  • .centerY – Y position of the object’s center.

  • .angle – Färgkodens orientering.

  • .originX – X position of the object’s top-left corner.

  • .originY – Y position of the object’s top-left corner.

  • .id – Classification or tag ID of the object.

  • .score – Konfidenspoäng för AI-klassificeringar.

Konstruktörer – Initiera och konfigurera AI-visionssensorn och dess signaturer manuellt.

Getters#

take_snapshot#

take_snapshot filtrerar data från AI-visionssensorns bildruta till en enda signatur – en sparad beskrivning av något som sensorn kan känna igen, till exempel ett förtränat objekt, ett AprilTag-ID eller en konfigurerad färgsignatur eller färgkod – och returnerar en tupel.

Färgsignaturer och Färgkoder måste först konfigureras i Vision Utility innan de kan användas med den här metoden.

Tupeln lagrar objekt sorterade från störst till minst efter bredd, med början vid index 0. Varje objekts egenskaper kan nås med hjälp av dess index. En tom tupel returneras om inga matchande objekt upptäcks.

Usage:
ai_vision_1.take_snapshot(SIGNATURE)

Parametrar

Beskrivning

SIGNATURE

Filtrerar datamängden så att den endast inkluderar data från den givna signaturen. Tillgängliga signaturer är:

  • Färgsignaturer eller färgkoder - Namnet på AI-visionssensorn, två understreck och sedan färgsignaturens eller färgkodens namn. Till exempel: ai_vision_1__RED_BOX.
  • AiVision.ALL_AIOBJS - Kuber, ringar och bollar.
  • AiVision.ALL_TAGS - Alla AprilTag-ID:n.

count

Valfritt. Anger det maximala antalet objekt som kan returneras från 1 till 24. Standardvärdet är 8.

 
# Drive forward if an object is detected
while True:
    objects = ai_vision_1.take_snapshot(AiVision.ALL_AIOBJS)
    if objects[0].exists:
        drivetrain.drive_for(FORWARD, 50, MM)
    wait(50, MSEC)

Obs! Den returnerade tupeln kan sorteras efter valfri egenskap, inte bara bredd, med hjälp av Pythons sorted funktion. Till exempel, sortering efter AprilTag ID:

# Print each detected AprilTag ID in ascending order by ID
while True:
    apriltags = sorted(ai_vision_1.take_snapshot(AiVision.ALL_TAGS), key=id)
    for tag in apriltags:
        print(tag.id)
    wait(1, SECONDS)

Eller sortera efter höjd istället:

# Print each detected AprilTag ID in ascending order by height
while True:
    apriltags_by_height = sorted(ai_vision_1.take_snapshot(AiVision.ALL_TAGS), key=lambda tag: tag.height)
    for tag in apriltags_by_height:
        print(tag.height)
    wait(1, SECONDS)

AI-klassificeringar#

AI-visionssensorn kan upptäcka olika objekt under vissa AI-klassificeringar. Beroende på vilken AI-klassificeringsmodell som valts när AI-visionssensorn konfigurerades i fönstret Enheter kommer olika objekt att upptäckas. De för närvarande tillgängliga modellerna är:

Klassrumselement

ID-nummer

AI-klassificering

0

BLUE_BALL

1

GREEN_BALL

2

RED_BALL

3

BLUE_RING

4

GREEN_RING

5

RED_RING

6

BLUE_CUBE

7

GREEN_CUBE

8

RED_CUBE

VEX V5 Robotics Competition High Insatser

ID-nummer

AI-klassificering

0

MOBILE_GOAL

1

RED_RING

2

BLUE_RING

Återanmälan till VEX V5 Robotics-tävling

ID-nummer

AI-klassificering

0

BLUE_BLOCK

1

RED_BLOCK

VEX V5 Robotics Tävlingsöverstyrning

ID-nummer

AI-klassificering

0

RED_BLUE_PIN

1

BLUE_YELLOW_PIN

2

RED_YELLOW_PIN

3

YELLOW_PIN

4

CUP

Färgsignaturer#

En färgsignatur är en unik färg som AI-visionssensorn kan känna igen. Dessa signaturer gör det möjligt för AI-visionssensorn att upptäcka och spåra objekt baserat på deras färg. När en färgsignatur har konfigurerats kan sensorn identifiera objekt med den specifika färgen i sitt synfält. Färgsignaturer används med take_snapshot för att bearbeta och upptäcka färgade objekt i realtid.

För att kunna använda en konfigurerad färgsignatur i ett projekt måste dess namn vara sensorns namn, två understreck och sedan färgsignaturens namn. Till exempel: ai_vision_1__RED_BOX.

# Display if any objects match the RED_BOX signature
while True:
    brain.screen.set_cursor(1, 1)
    brain.screen.clear_row(1)
    # Change to any configured Color Signature
    red_box = ai_vision_1.take_snapshot(ai_vision_1__RED_BOX)
    if red_box[0].exists:
        brain.screen.print("Color detected!")
        wait(100, MSEC)

Färgkoder#

En färgkod är ett strukturerat mönster som består av färgsignaturer arrangerade i en specifik ordning. Dessa koder gör det möjligt för AI-visionssensorn att känna igen fördefinierade färgmönster. Färgkoder är användbara för att identifiera komplexa objekt eller skapa unika markörer för autonom navigering.

För att kunna använda en konfigurerad färgkod i ett projekt måste dess namn vara sensorns namn, två understreck och sedan färgkodens namn. Till exempel: ai_vision_1__BOX_CODE.

# Display if any objects match the BOX_CODE code
while True:
    brain.screen.set_cursor(1, 1)
    brain.screen.clear_row(1)
    # Change to any configured Color Code
    box_code = ai_vision_1.take_snapshot(ai_vision_1__BOX_CODE)
    if box_code[0].exists:
        brain.screen.print("Code detected!")
        wait(100, MSEC)

installed#

installed returnerar ett booleskt värde som anger om AI-visionssensorn för närvarande är ansluten till EXP-hjärnan.

  • True – AI-synsensorn är ansluten till EXP-hjärnan.

  • False – AI-synsensorn är inte ansluten till EXP-hjärnan.

Usage:
ai_vision_1.installed()

Parametrar

Beskrivning

Den här metoden har inga parametrar.

 
# Display a message if the AI Vision Sensor is connected
if ai_vision_1.installed():
    brain.screen.print("Installed!")

Fastigheter#

Det finns tio egenskaper som ingår i varje objekt som lagras i en tupel efter att take_snapshot har använts.

Alla egenskapsvärden utom .id och .score beskriver det detekterade objektets position och storlek i AI-visionssensorns vy vid det ögonblick då take_snapshot användes. Dessa värden mäts i pixlar, baserat på sensorns upplösning på 320 x 240 pixlar.

.exists#

.exists returnerar ett booleskt värde som anger om indexet finns i tupeln eller inte.

  • True – Indexet finns.

  • False – Indexet finns inte.

# Check if at least two objects are detected
while True:
    brain.screen.clear_screen()
    brain.screen.set_cursor(1, 1)
    objects = ai_vision_1.take_snapshot(AiVision.ALL_AIOBJS)

    if objects[0].exists:
        if objects[1].exists:
            brain.screen.print("At least 2")

        else:
            brain.screen.print("Less than 2")
    wait(50, MSEC)

.width#

.width returnerar bredden på det detekterade objektet i pixlar, vilket är ett heltal mellan 1 och 320.

# Approach an object until it's at least 100 pixels wide
while True:
    objects = ai_vision_1.take_snapshot(AiVision.ALL_AIOBJS)

    if objects[0].exists:
        if objects[0].width < 100:
            drivetrain.drive(FORWARD)
    else:
        drivetrain.stop()
    wait(50, MSEC)

.height#

.height returnerar höjden på det detekterade objektet i pixlar, vilket är ett heltal mellan 1 och 240.

# Approach an object until it's at least 90 pixels tall
while True:
    objects = ai_vision_1.take_snapshot(AiVision.ALL_AIOBJS)

    if objects[0].exists:
        if objects[0].height < 90:
            drivetrain.drive(FORWARD)
    else:
        drivetrain.stop()
    wait(50, MSEC)

.centerX#

.centerX returnerar x-koordinaten för det detekterade objektets centrum i pixlar, vilket är ett heltal mellan 0 och 320.

# Turn until an object is directly in front of the sensor
drivetrain.set_turn_velocity(10, PERCENT)
drivetrain.turn(RIGHT)

while True:
    objects = ai_vision_1.take_snapshot(AiVision.ALL_AIOBJS)

    if objects[0].exists:
        if 140 < objects[0].centerX < 180:
            drivetrain.stop()
    wait(10,MSEC)

.centerY#

.centerY returnerar y-koordinaten för det detekterade objektets centrum i pixlar, vilket är ett heltal mellan 0 och 240.

# Approach an object until the object's center is
# high enough in the field of view
while True:
    objects = ai_vision_1.take_snapshot(AiVision.ALL_AIOBJS)

    if objects[0].exists:
        if objects[0].centerY < 150:
            drivetrain.drive(FORWARD)
    else:
        drivetrain.stop()
    wait(50, MSEC)

.angle#

.angle returnerar orienteringen för den detekterade färgkoden eller AprilTag-ID:t i grader, vilket är ett heltal mellan 0 och 359.

# Turn left or right depending on how a
# configured Color Code is rotated
while True:
    box_code = ai_vision_1.take_snapshot(ai_vision_1__BOX_CODE)

    if box_code[0].exists:
        if 50 < box_code[0].angle < 100:
            drivetrain.turn(RIGHT)

        elif 270 < box_code[0].angle < 330:
            drivetrain.turn(LEFT)

        else:
            drivetrain.stop()
    else:
        drivetrain.stop()
    wait(50, MSEC)

.originX#

.originX returnerar x-koordinaten för det övre vänstra hörnet av det detekterade objektets avgränsningsram i pixlar, vilket är ett heltal mellan 0 och 320.

# Display if an object is to the left or the right
while True:
    brain.screen.clear_screen()
    brain.screen.set_cursor(1,1)

    objects = ai_vision_1.take_snapshot(AiVision.ALL_AIOBJS)

    if objects[0].exists:
        if objects[0].originX < 120:
            brain.screen.print("To the left!")
        else:
            brain.screen.print("To the right!")
    else:
        brain.screen.print("No objects")
    wait(100, MSEC)

.originY#

.originY returnerar y-koordinaten för det övre vänstra hörnet av det detekterade objektets avgränsningsram i pixlar, vilket är ett heltal mellan 0 och 240.

# Display if an object is close or far
while True:
    brain.screen.clear_screen()
    brain.screen.set_cursor(1,1)

    objects = ai_vision_1.take_snapshot(AiVision.ALL_AIOBJS)

    if objects[0].exists:
        if objects[0].originY < 110:
            brain.screen.print("Close")
        else:
            brain.screen.print("Far")

.id#

.id returnerar ID:t för den detekterade AI-klassificeringen eller AprilTag-ID:t som ett heltal.

För ett AprilTag-ID representerar egenskapen .id det detekterade AprilTag-ID-numret i intervallet 0 till 36. För en AI-klassificering motsvarar egenskapen .id det fördefinierade ID:t i avsnittet AI-klassificeringar.

# Move forward when AprilTag ID 1 is detected
while True:
    apriltags = ai_vision_1.take_snapshot(AiVision.ALL_TAGS)

    if apriltags[0].exists:
        if apriltags[0].id == 1:
            robot.drive(FORWARD)
    else:
        drivetrain.stop()

    wait(50, MSEC)

.score#

.score returnerar konfidenspoängen för den detekterade AI-klassificeringen som ett heltal mellan 1 och 100.

En lägre poäng innebär att sensorn är mindre säker på det detekterade objektet, medan en högre poäng innebär att sensorn är mer säker.

Konstruktörer#

Konstruktorer används för att manuellt skapa AiVision, Colordescoch Codedesc objekt, vilka är nödvändiga för att konfigurera AI Vision-sensorn utanför VEXcode.

AiVision#

AiVision skapar en AI-visionssensor.

Användande

Vision(smartport, sigs)

Parametrar

Beskrivning

smartport

Den smarta porten som AI-visionssensorn är ansluten till, skriven som Ports.PORTx där x är portens nummer.

sigs

Valfritt. Namnet på en eller flera signaturer, separerade med kommatecken (,):

  • Färgsignatur
  • Färgkod
  • AiVision.ALL_TAGS – Alla AprilTag-ID:
  • AiVision.ALL_AIOBJS – Alla AI-klassificeringar

 
# Create the Color Signatures
RED_BOX = Colordesc(1, 255, 0, 0, 20, 0.9)
BLUE_BOX = Colordesc(0, 26, 255, 0, 20, 0.9)

# Create the Color Code
RED_BLUE = Codedesc(RED_BOX, BLUE_BOX)

"""
Create an AI Vision Sensor with the following signatures:
- RED_BLUE
- AiVision.ALL_TAGS - for AprilTag IDs
"""
ai_vision_1 = AiVision(Ports.PORT1, RED_BLUE, AiVision.ALL_TAGS)

Colordesc#

Colordesc skapar en färgsignatur. Upp till sju olika färgsignaturer kan lagras på en AI-visionssensor samtidigt.

Usage:
Colordesc(index, red, green, blue, hangle, hdsat)

Parameter

Beskrivning

index

Colordesc -objektets index, från 1 - 7.
Obs: Om du skapar två Colordesc -objekt med samma indexnummer kommer det andra skapade objektet att åsidosätta det första.

red

Färgens röda värde från 0 till 255.

green

Färgens gröna värde från 0 till 255.

blue

Färgens blåvärde från 0 till 255.

hangle

Den tillåtna nyansvariationen som ett intervall av grader på färgcirkeln (1–40). Högre värden tillåter en större rotationsavvikelse från basnyansen.

hdsat

Den tillåtna mättnadsavvikelsen, från 0,10 till 1,00. Detta värde representerar den del av hela mättnadsområdet som färgen kan variera inom (t.ex. 0,10 = ±10 % mättnad)

En cirkulär färgcirkel som visar ett komplett spektrum av nyanser märkta med gradvärden runt omkretsen, ökande i 30-graders steg från 0° högst upp till 360°.

"""
Create a Color Signature with the following values:
- index: 1
- red: 255
- green: 0
- blue: 0
- hangle: 20
- hdsat: 0.9
"""
# Create a red Color Signature
RED_BOX = Colordesc(1, 255, 0, 0, 20, 0.9)

Codedesc#

Codedesc skapar en färgkod. Den kräver minst två redan definierade färgsignaturer för att kunna användas. Upp till åtta olika färgkoder kan lagras på en visionssensor samtidigt.

Usage:
Codedesc(sig1, sig2, sig3, sig4, sig5)

Parameter

Beskrivning

sig1

En tidigare skapad Färgsignatur.

sig2

En tidigare skapad Färgsignatur.

sig3

Valfritt. En tidigare skapad Färgsignatur.

sig4

Valfritt. En tidigare skapad Färgsignatur.

sig5

Valfritt. En tidigare skapad Färgsignatur.

 
# Create the Color Signatures
RED_BOX = Colordesc(1, 255, 0, 0, 20, 0.9)
BLUE_BOX = Colordesc(0, 26, 255, 0, 20, 0.9)

# Create a Color Code with the Color Signatures
BOX_CODE = Codedesc(RED_BOX, BLUE_BOX)

Tagdesc#

Tagdesc skapar ett AprilTag-ID. Du kan använda det för att definiera identifierbara AprilTag-ID:n, vilket gör din kod tydligare och lättare att läsa.

Usage:
Tagdesc(id)

Parameter

Beskrivning

id

AprilTag-ID:t som ska användas.

 
# Set AprilTag ID 7 to be the "goal"
goal = Tagdesc(7)
On this page