Yapay Zeka Vizyonu

giriiş

VEX AIM Kodlama Robotunun Yapay Zeka Görsel Sensörü, nesneleri, renkleri ve AprilTag kimliklerini algılar ve izler. Bu sayede robot, çevresini analiz edebilir, nesneleri takip edebilir ve algılanan görsel verilere göre tepki verebilir.

Yapay Zeka Görüntü Sensörünün çözünürlüğü 320×240 pikseldir. Başlangıç ​​noktası (0, 0) sol üst köşede yer almaktadır ve sensörün merkezi aşağıdaki şemada gösterildiği gibi (160, 120) konumundadır:

Aşağıda tüm blokların listesi bulunmaktadır:

İşlemler — Yapay Zeka Görüntü akışını kontrol edin ve nesne verilerini yakalayın.

• Ekrandaki Yapay Zeka Görüntüleyici — Robotun ekranındaki canlı Yapay Zeka Görüntü akışını etkinleştirir veya devre dışı bırakır.

• Nesne verilerini al — Belirli bir imza için veri yakalar; örneğin yapılandırılmış bir renk, önceden eğitilmiş bir nesne veya bir AprilTag Kimliği.

Ayarlar — Algılanan hangi nesnelere erişileceğini ayarlayın.

• Yapay Zeka Görüşü nesne öğesini ayarla — Algılanan nesne listesinden belirli bir nesneyi seçer.

Değerler — Nesnenin varlığını, sınıflandırmasını ve özelliklerini döndürür.

• nesneye sahip — Robotun algılanan bir nesneyi tutup tutmadığını kontrol eder.

• Yapay Zeka Görüşü nesnesi mevcut — Bir nesnenin algılanıp algılanmadığını bildirir.

• Yapay Zeka Görüşü nesnesi — Algılanan bir nesnenin belirli bir sınıflandırmaya uyup uymadığını kontrol eder.

• AI Vision nesnesi AprilTag Kimliğidir — Algılanan AprilTag Kimliğinin belirli bir kimlikle eşleşip eşleşmediğini kontrol eder.

• Yapay Zeka Görsel Nesne Sayısı — Tespit edilen nesne sayısını bildirir.

• AI Vision nesne özelliği — Şunlar gibi ayrıntıları rapor eder:

  • genişlik ve yükseklik — Nesnenin boyutu.

  • centerX & centerY — Sensörün görüş alanındaki merkez konum koordinatları.

  • originX & originY — Sensörün görüş alanındaki sol üst köşe konum koordinatları.

  • döndürme — Nesnenin yönü.

  • yön — Robotun ön tarafına göre yatay açı.

  • tagID — Bir AprilTag ID’sinin tanımlama numarası.

Eylemler

Ekranda yapay zeka görüntüleyici

Ekrandaki Yapay Zeka Görüntüleyici yığın bloğu, robotun ekranında canlı Yapay Zeka Görüntü akışını etkinleştirir veya devre dışı bırakır. Etkinleştirildiğinde, ekran gerçek zamanlı sensör verilerini görüntüler ve diğer görüntülerin veya metinlerin görünmesini engeller. Diğer içeriği görüntülemek için, bu bloğu kullanarak akışı gizleyin.

Yapay Zeka Görseli kontrol paneli yığın bloğunu göster veya gizle.

ekranda AI Vision [göster v] görüntüleyiciyi

Parametreler	Tanım
durum	Robotun ekranında veri akışının görüntülenmesini kontrol eder: show veri akışını görüntülerken, hide veri akışını ekrandan kaldırır.

Örnek

Bir dizi blok, “Başlatıldığında” bloğuyla başlar, ardından “Yapay Zeka Görüntü Sensörünün görüntüsünü beş saniye boyunca izleyin” yazan bir yorum bloğu gelir. “Yapay Zeka Görüntü Gösterge Paneli Göster” bloğu görüntüyü gösterir, ardından bir bekleme bloğu yürütmeyi beş saniye durdurur. Bekleme süresinin ardından, “Yapay Zeka Görüntü Gösterge Paneli Gizle” bloğu görüntüyü görünümden kaldırır.

başladığında
[View the AI Vision Sensor's feed for five seconds.]
ekranda AI Vision [göster v] görüntüleyiciyi
[5] saniye bekle
ekranda AI Vision [gizle v] görüntüleyiciyi

nesne verilerini al

Nesne verilerini al yığın bloğu, yapay zeka görme sensörü çerçevesindeki verileri tek bir imzaya filtreler; bu imza, sensörün tanıyabileceği bir şeyin kaydedilmiş bir açıklamasıdır; örneğin önceden eğitilmiş bir nesne, bir AprilTag kimliği veya yapılandırılmış bir renk veya renk kodu.

Bu bloğu kullanabilmek için önce AI Vision Utility’de renkler ve renk kodları yapılandırılmalıdır.

Veri seti, 0 indeksinden başlayarak genişliklerine göre en büyükten en küçüğe doğru sıralanmış nesneleri depolar. Her nesnenin özelliklerine AI Vision nesne özelliği bloğu kullanılarak erişilebilir. Eşleşen nesne bulunmazsa boş bir veri seti raporlanır.

Nesne verilerini alma yığın bloğu.

AI Vision'dan [spor topu v] verilerini al

Parametre	Tanım
imza	Veri kümesini yalnızca belirtilen imzaya ait verileri içerecek şekilde filtreler. Mevcut imzalar şunlardır: spor topu turuncu varil mavi varil AIM robotu AprilTag ID 0 AprilTag ID 1 AprilTag ID 2 AprilTag ID 3 AprilTag ID 4 tüm kargo - Spor topları ve tüm variller İSİM - Bir renk veya renk kodu; burada İSİM, AI Vision Utility’de yapılandırılmış isimdir

Örnek

Bir blok yığını, “başlatıldığında” bloğuyla başlar, ardından “Spor topu algılanırsa ileri hareket et” yazan bir yorum bloğu gelir. Bir nesne verisi al bloğu, bir spor topunun görüntüsünü yakalar. Ardından bir “eğer” bloğu, bir yapay zeka görüş nesnesinin var olup olmadığını kontrol eder. Eğer varsa, bir “ileri hareket et” bloğu robotu 10 milimetre ileri hareket ettirir.

başladığında
[Move forward if a sports ball is detected.]
sonsuza kadar
AI Vision'dan [spor topu v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
[ileri v] yönünde [10] [mm v] hareket et ▶

Renk İmzaları

Renk İmzası, Yapay Zeka Görüntüleme Sensörünün tanıyabileceği benzersiz bir renktir. Bu imzalar, sensörün nesneleri renklerine göre algılamasına ve izlemesine olanak tanır. Yapay Zeka Görüntüleme Yardımcı Programında bir Renk İmzası yapılandırıldıktan sonra, sensör görüş alanındaki o belirli renkteki nesneleri tanımlayabilir.

Renk İmzaları, renkli nesneleri gerçek zamanlı olarak işlemek ve tespit etmek için nesne verilerini al bloğunda kullanılır.

Örnek

başladığında
[Display if any objects matching the Red_Box signature is detected.]
sonsuza kadar
imleci ekranda satır [1] sütun [1] konumuna taşı
ekranda [1] satırını temizle
[Change the signature to any configured Color Signature.]
AI Vision'dan [Red_Box v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
ekranda [Color signature detected!] yazdır ▶

Renk Kodları

Renk kodu, belirli bir düzende düzenlenmiş 2 ila 4 renk imzasından oluşan yapılandırılmış bir desendir. Yapay Zeka Görüntüleme Yardımcı Programında bir renk kodu yapılandırıldıktan sonra, sensör önceden tanımlanmış renk desenlerini tanıyabilir.

Renk kodları, özellikle karmaşık nesneleri tanımlamak, oyun öğeleriyle hizalamak veya otonom navigasyon için benzersiz işaretler oluşturmak için kullanışlıdır.

Örnek

başladığında
[Display if any objects matching the BlueRed code is detected.]
sonsuza kadar
imleci ekranda satır [1] sütun [1] konumuna taşı
ekranda [1] satırını temizle
[Change the signature to any configured Color Code.]
AI Vision'dan [BlueRed v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
ekranda [Color code detected!] yazdır ▶

Ayarlar

Yapay zeka görme nesnesi öğesini ayarla

Yapay Zeka Görsel Algılama nesne öğesini ayarla yığın bloğu, veri kümesindeki hangi öğenin kullanılacağını belirler.

Yapay Zeka Görüşü nesne öğesi yığın bloğunu ayarlayın.

AI Vision nesne öğesini (1) olarak ayarla

Parametreler	Tanım
öğe	Veri setinde kullanılacak öğenin numarası.

Örnek

Bir kod bloğu, “başlangıçta” bloğuyla başlar, ardından “Algılanan en büyük AprilTag ID’sini görüntüle” yazan bir yorum bloğu gelir. Sonsuz bir döngü içinde, bir “nesne verisi al” bloğu AprilTag ID’lerinin bir görüntüsünü yakalar. Bir “eğer” bloğu, bir AI Vision nesnesinin var olup olmadığını kontrol eder. Eğer doğruysa, bir “AI Vision nesne öğesi ayarla” bloğu nesne sayısını bir değişkene atar ve bir “yazdır” bloğu algılanan nesnenin etiket ID’sini ekranda görüntüler.

başladığında
[Display the width of the smallest detected object.]
sonsuza kadar
AI Vision'dan [tüm kargo v] verilerini al
ekranda [1] satırını temizle
imleci ekranda satır [1] sütun [1] konumuna taşı
eğer <AI Vision nesnesi var mı?> ise
AI Vision nesne öğesini (AI Vision nesne sayısı) olarak ayarla
ekranda (AI Vision nesnesi [genişlik v]) yazdır ▶

Değerler

nesneye sahip

nesneye sahip Boolean bloğu, robotun Kicker’ına karşı şu anda algılanmış bir nesneye sahip olup olmadığını bildirir.

• Doğru — Robot nesneye sahip.

• Yanlış — Robot nesneye sahip değil.

<[spor topu v] var mı? :: custom-ai-vision>

Parametre	Tanım
nesne	Robotun vurucusuna karşı tespit edilecek nesne: spor topu herhangi bir varil turuncu varil mavi varil

Örnek

Bir dizi blok, “başlangıçta” bloğuyla başlar, ardından “Robotun topu olduğunda tekmele” yazan bir yorum bloğu gelir. Sonsuz bir döngünün içinde, bir “eğer” bloğu robotun spor topuna sahip olup olmadığını kontrol eder. Eğer doğruysa, orta güçte bir tekme nesnesi bloğu çalıştırılır.

başladığında
[Kick when the robot has a sports ball.]
sonsuza kadar
eğer <[spor topu v] var mı? :: custom-ai-vision> ise
nesneyi [orta v] şekilde tekme at

Yapay zeka görme nesnesi mevcut

AI Vision nesnesinin mevcut olup olmadığını gösteren Boolean bloğu, veri kümesinde bir nesnenin tespit edilip edilmediğini bildirir.

• Doğru — Veri kümesi tespit edilmiş bir nesne içeriyor.

• Yanlış — Hiçbir nesne tespit edilmedi.

AI Vision nesnesi Boolean bloğundan oluşmaktadır.

<AI Vision nesnesi var mı?>

Parametreler	Tanım
	Bu bloğun parametresi yok.

Örnek

Bir blok yığını, “başlatıldığında” bloğuyla başlar, ardından “Top algılanırsa ileri hareket et” yazan bir yorum bloğu gelir. Bir “nesne verisi al” bloğu, bir spor topunun görüntüsünü yakalar. Ardından bir “eğer” bloğu, bir yapay zeka görüş nesnesinin var olup olmadığını kontrol eder. Eğer varsa, bir “ileri hareket et” bloğu robotu 10 milimetre ileri hareket ettirir.

başladığında
[Move forward if a sports ball is detected.]
sonsuza kadar
AI Vision'dan [spor topu v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
[ileri v] yönünde [10] [mm v] hareket et ▶

Yapay Zeka Görüntüleme nesnesi

Yapay Zeka Görsel Algılama nesnesi, tespit edilen bir nesnenin belirli bir sınıflandırmaya uyup uymadığını bildiren bir Boolean bloğudur.

• Doğru — Veri kümesindeki öğe, belirli bir nesnedir.

• Yanlış — Veri kümesindeki öğe, belirtilen nesne değil.

Yapay Zeka Görsel Algılama Yapay Zeka Sınıflandırması, nesne Boolean bloğudur.

<AI Vision nesnesi [spor topu v] mi?>

Parametre	Tanım
nesne	Bu nesneyi hangi nesneyle karşılaştırmalıyız: spor topu turuncu varil mavi varil AIM robotu

Örnek

Bir dizi blok, “Başlangıçta” bloğuyla başlar, ardından “Spor topu algılanırsa görüntüle” yazan bir yorum bloğu gelir. Sonsuz bir döngü içinde, bir “nesne verisi al” bloğu yapay zeka sınıflandırmalarını kullanarak bir görüntü yakalar. Ekran temizlenir ve imleç 1. satır, 1. sütuna ayarlanır. Bir “eğer” bloğu, bir yapay zeka görme nesnesinin var olup olmadığını kontrol eder ve eğer varsa, başka bir “eğer” bloğu sınıflandırmanın bir spor topu olup olmadığını doğrular. Eğer öyleyse, bir yazdırma bloğu ekranda “Top algılandı!” yazısını görüntüler, ardından bir bekleme bloğu işlemi tekrarlamadan önce 0,5 saniye bekler.

başladığında
[Display if a sports ball is detected.]
sonsuza kadar
AI Vision'dan [tüm kargo v] verilerini al
ekranda [1] satırını temizle
imleci ekranda satır [1] sütun [1] konumuna taşı
eğer <AI Vision nesnesi var mı?> ise
eğer <AI Vision nesnesi [spor topu v] mi?> ise
ekranda [Sports ball detected!] yazdır ▶
[0.5] saniye bekle

AI Vision nesnesi AprilTag ID’dir.

AI Vision nesnesi AprilTag ID Boolean bloğu, algılanan AprilTag ID’sinin belirli bir ID ile eşleşip eşleşmediğini bildirir.

• Doğru — AprilTag ID’si numaradır.

• Yanlış — AprilTag ID’si numara değildir.

AI Vision, AprilTag ID’sinin Boolean blok olduğunu tespit etti.

<AI Vision object is AprilTag ID [1] ?>

Parametreler	Tanım
Nisan Etiket Kimliği	Tespit edilen AprilTag kimlik numarasıyla karşılaştırılacak sayı.

Yapay Zeka Görüntüsü nesne sayımı

Yapay Zeka Görsel Algılama nesne sayısı raporlama bloğu, veri kümesindeki algılanan nesne sayısını tam sayı olarak rapor eder.

AI Vision nesne sayısı

Parametreler	Tanım
	Bu bloğun parametresi yok.

Örnek

başladığında
[Display the amount of sports balls and barrels.]
sonsuza kadar
ekranda [1] satırını temizle
imleci ekranda satır [1] sütun [1] konumuna taşı
AI Vision'dan [tüm kargo v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
ekranda (AI Vision nesne sayısı) yazdır ▶
son
[0.5] saniye bekle

AI Vision nesne özelliği

Nesne verilerini al bloğu kullanıldıktan sonra depolanan her nesneyle birlikte dokuz özellik de dahil edilir (aşağıda gösterilmiştir).

AI Vision nesne özelliği raporlayıcı bloğu.

AI Vision nesnesi [genişlik v]

tagID dışındaki tüm özellik değerleri, nesne verilerini al bloğu kullanıldığı anda algılanan nesnenin konumunu, boyutunu, yönünü veya açısını tanımlar. Bu değerler, sensörün 320 x 240 piksel çözünürlüğüne bağlı olarak piksel veya derece cinsinden ölçülür.

Parametre	Tanım
mülk	Algılanan nesnenin hangi özelliğini kullanacağız: genişlik yükseklik merkezX merkezY başlangıçX başlangıçY dönme yön etiketID

Genişlik

Genişlik özelliği, algılanan nesnenin genişliğini piksel cinsinden, 1 ile 320 arasında tam sayı olarak bildirir.

Not: Piksel değerleri sensörün koordinat sistemine göre belirlenir. Referans için Giriş bölümündeki diyagrama bakınız.

AI Vision nesnesinin özellik yığını bloğu, parametresi genişlik olarak ayarlanmış halde.

AI Vision nesnesi [genişlik v]

Örnek

başladığında
[Move towards a blue barrel until its width is larger than 100 pixels.]
sonsuza kadar
AI Vision'dan [mavi varil v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
eğer <(AI Vision nesnesi [genişlik v]) [math_less_than v] [100]> ise
[ileri v] yönünde hareket et
son
değilse
tüm hareketi durdur

yükseklik

Height özelliği, algılanan nesnenin yüksekliğini piksel cinsinden, 1 ile 240 arasında tam sayı olarak bildirir.

Not: Piksel değerleri sensörün koordinat sistemine göre belirlenir. Referans için Giriş bölümündeki diyagrama bakınız.

Yükseklik parametresi ayarlanmış AI Vision nesnesi özellik yığını bloğu.

AI Vision nesnesi [yükseklik v]

Örnek

başladığında
[Move towards a blue barrel until its height is larger than 100 pixels.]
sonsuza kadar
AI Vision'dan [mavi varil v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
eğer <(AI Vision nesnesi [yükseklik v]) [math_less_than v] [100]> ise
[ileri v] yönünde hareket et
son
değilse
tüm hareketi durdur

merkezX

centerX özelliği, algılanan nesnenin merkezinin x koordinatını piksel cinsinden, 0 ile 320 arasında tam sayı olarak bildirir.

Not: Piksel değerleri sensörün koordinat sistemine göre belirlenir. Referans için Giriş bölümündeki diyagrama bakınız.

AI Vision nesnesinin özellik yığını bloğu, parametresi centerX olarak ayarlanmış halde.

AI Vision nesnesi [merkezX v]

Örnek

başladığında
[Turn slowly until a blue barrel is centered in front of the robot.]
dönüş hızını [30]% olarak ayarla
[sağ v] yönüne dön
sonsuza kadar
AI Vision'dan [mavi varil v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
eğer <[140] [math_less_than v] (AI Vision nesnesi [merkezX v]) [math_less_than v] [180]> ise
tüm hareketi durdur

merkezY

centerY özelliği, tespit edilen nesnenin merkezinin y koordinatını piksel cinsinden, 0 ile 240 arasında tam sayı olarak bildirir.

Not: Piksel değerleri sensörün koordinat sistemine göre belirlenir. Referans için Giriş bölümündeki diyagrama bakınız.

AI Vision nesnesinin özellik yığını bloğu, parametresi centerY olarak ayarlanmış halde.

AI Vision nesnesi [merkezY v]

Örnek

başladığında
[Move towards a blue barrel until its center y-coordinate is more than 140 pixels.]
sonsuza kadar
AI Vision'dan [mavi varil v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
eğer <(AI Vision nesnesi [merkezY v]) [math_less_than v] [140]> ise
[ileri v] yönünde hareket et
son
değilse
tüm hareketi durdur

originX

originX özelliği, algılanan nesnenin sınırlayıcı kutusunun sol üst köşesinin x koordinatını piksel cinsinden, 0 ile 320 arasında tam sayı olarak bildirir.

Not: Piksel değerleri sensörün koordinat sistemine göre belirlenir. Referans için Giriş bölümündeki diyagrama bakınız.

AI Vision nesnesinin özellik yığını bloğu, parametresi originX olarak ayarlanmış halde.

AI Vision nesnesi [başlangıçX v]

Örnek

başladığında
[Display if an orange barrel is to the left or the right.]
sonsuza kadar
ekranda [1] satırını temizle
imleci ekranda satır [1] sütun [1] konumuna taşı
AI Vision'dan [turuncu varil v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
eğer <(AI Vision nesnesi [başlangıçX v]) [math_less_than v] [160]> ise
ekranda [To the left!] yazdır ▶
değilse
ekranda [To the right!] yazdır ▶
son
[0.5] saniye bekle

originY

originY özelliği, tespit edilen nesnenin sınırlayıcı kutusunun sol üst köşesinin y koordinatını piksel cinsinden, 0 ile 240 arasında tam sayı olarak bildirir.

Not: Piksel değerleri sensörün koordinat sistemine göre belirlenir. Referans için Giriş bölümündeki diyagrama bakınız.

AI Vision nesnesinin özellik yığını bloğu, parametresi originY olarak ayarlanmış halde.

AI Vision nesnesi [başlangıçY v]

Örnek

başladığında
[Display if an orange barrel is close or far from the robot.]
sonsuza kadar
ekranda [1] satırını temizle
imleci ekranda satır [1] sütun [1] konumuna taşı
AI Vision'dan [turuncu varil v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
eğer <(AI Vision nesnesi [başlangıçY v]) [math_less_than v] [80]> ise
ekranda [Far!] yazdır ▶
değilse
ekranda [Close!] yazdır ▶
son
[0.5] saniye bekle

rotasyon

Döndürme özelliği, algılanan AprilTag Kimliğinin veya Renk Kodunun yönünü 0 ile 359 derece arasında tam sayı olarak bildirir.

Parametresi döndürme olarak ayarlanmış AI Vision nesne özellik yığını bloğu.

AI Vision nesnesi [döndürme v]

Örnek

başladığında
[Slide left or right depending on how the Color Code is rotated.]
sonsuza kadar
AI Vision'dan [Red_Blue v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
eğer <[50] [math_less_than v] (AI Vision nesnesi [döndürme v]) [math_less_than v] [100]> ise
[sağ v] yönünde hareket et
değilse eğer <[270] [math_less_than v] (AI Vision nesnesi [döndürme v]) [math_less_than v] [330]> ise
[sol v] yönünde hareket et
değilse
tüm hareketi durdur
son
değilse
tüm hareketi durdur

yatak

Yön özelliği, bir nesnenin yapay zeka görüş sensörünün görüş alanının merkezinden ne kadar sola veya sağa kaydığını derece cinsinden gösterir. 0 değeri merkezde olduğunu, pozitif değerler nesnenin sağda olduğunu, negatif değerler ise nesnenin solda olduğunu gösterir.

başladığında
[Keep the blue barrel directly in front of the robot.]
dönüş hızını [40]% olarak ayarla
sonsuza kadar
AI Vision'dan [mavi varil v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
eğer <(AI Vision nesnesi [yön açısı v]) [math_greater_than v] [5]> ise
[sağ v] yönüne dön
değilse eğer <(AI Vision nesnesi [yön açısı v]) [math_less_than v] [-5]> ise
[sol v] yönüne dön
değilse
tüm hareketi durdur

etiketID

tagID özelliği, tespit edilen AprilTag ID’sinin tanımlama numarasını tam sayı olarak bildirir.

AI Vision nesnesinin özellik yığını bloğu, parametresi tagID olarak ayarlanmış halde.

AI Vision nesnesi [etiketID v]

Örnek

başladığında
[Move forward when AprilTag ID 0 is detected.]
sonsuza kadar
AI Vision'dan [AprilTag ID 0 v] verilerini al
eğer <AI Vision nesnesi var mı?> ise
[ileri v] yönünde hareket et
son
tüm hareketi durdur