Sony chystá na trh dva modely inteligentních obrazových snímačů Inteligent Vision Sensor. Jde o první snímače na světě, které disponují funkcí zpracování pomocí umělé inteligence (AI). Integrování funkce zpracování pomocí umělé inteligence přímo do obrazového snímače umožňuje vysokorychlostní zpracování obrazu a extrakci pouze nezbytných dat. Z obrazového snímače se tak pošlou pouze data užitečná pro danou aplikaci a zrychlí se tak přenos dat a vypořádají se problémy souvisejícími s ochranou soukromí, případně se sníží spotřeba energie a náklady na komunikaci.
Jde o snímače IMX500 a IMX501 se senzorem o velikosti 1/2,3“ a rozlišením 12,3 efektivních megapixelů. Tyto produkty rozšiřují možnosti vývoje kamer vybavených umělou inteligencí, které jsou vhodné pro celou řadu nejrůznějších použití v maloobchodě či v oblasti průmyslového vybavení. Díky nim se nemusí data zpracovávat až v cloudu, jak je to dnes běžné.
Nové snímače jsou vrstvené a skládají se z obrazového snímače a logického čipu. Signál získaný od obrazového snímače je zpracován pomocí umělé inteligence přímo v čipu - eliminuje se tím potřeba vysoce výkonného procesoru nebo externí paměti. Výstupem ze snímače tak mohou být metadata (sémantická informace náležející k obrazovým datům) místo obrazových informací samotných. Vzniká tak menší objem dat a eliminují se problémy s citlivými údaji. Kromě toho umožňuje umělá inteligence vytvářet různé funkce pro různá využití.
Klíčové specifikace
|
Název modelu |
IMX500 (samotný čip bare chip product) |
IMX501 (celý produkt) package product |
|
|
Počet efektivních pixelů |
4056 (š) × 3040 (v), přibližně 12,3 megapixelů |
||
|
Velikost obrazu |
Diagonálně 7,857 mm (typ 1/2.3) |
||
|
Velikost jednotky buňky Unit cell size |
1,55 μm (š) × 1,55 μm (v) |
||
|
Snímková frekvence |
Plný počet pixelů |
60 sn. / s |
|
|
Video |
4K (4056 × 2288) 60 sn. / s |
||
|
1080 p 240 sn. / s |
|||
|
Plný /video+ zpracování AI |
30 sn. / s |
||
|
Výkon metadat |
30 sn. / s |
||
|
Citlivost (standardní hodnota F 5,6) |
Přibližně 250 LSB |
||
|
Sensor saturation signal level (minimální hodnota) |
Přibližně 9610e- |
||
|
Napájení |
Analogové |
2,7 V |
|
|
Digitální |
0,84 V |
||
|
Rozhraní |
1,8 V |
||
|
Hlavní funkce |
Funkce zpracování AI, ISP, snímání v HDR |
||
|
Výstup |
MIPI D-PHY 1.2 (4 lane) / SPI |
||
|
Barevný filtr Color filter array |
Bayerův filtr |
||
|
Formát výstupu |
Image (Bayer RAW), ISP výstup (YUV/RGB), ROI, metadata |
||
|
Balení |
- |
Keramické LGA 125 mm (š) × 15,0 mm (v) |
|
Hlavní funkce a vlastnosti
První senzor vybavený funkcí zpracování pomocí AI
Jde o CMOS snímač se zpětným osvětlením a rozlišením přibližně 12,3 megapixelů. Logický čip je kromě běžného obvodu vybaven procesorem DSP (Digital Signal Processor) společnosti Sony, který je určen pro zpracování signálu pomocí umělé inteligence. Tato konfigurace eliminuje potřebu výkonných procesorů nebo externí paměti.
Výstup metadat
Signály získané obrazovým snímačem jsou zpracovávány prostřednictvím ISP (Image Signal Processor) a umělé inteligence a výstupem extrahovaných informací jsou metadata, čímž se snižuje množství zpracovávaných dat. Je tím zajištěno, že obrazové informace nejsou předávány dál. Omezují se tím bezpečnostní rizika a řeší to otázky spojené s ochranou soukromí. Kromě obrazu zaznamenaného konvenčním obrazovým senzorem si uživatelé mohou vybrat formát výstupních dat podle svých potřeb a využití - včetně výstupním formátu obrazu ISP (YUV / RGB) a ROI (Region of Interest – oblast zájmu) specifických oblastí získaných obrazů.
Vysokorychlostní zpracování s využitím AI
Když je video zaznamenáno pomocí konvenčního obrazového senzoru, je nutné odeslat data pro každý jednotlivý výstupní video snímek pro AI zpracování, což má za následek zvýšený přenos dat a snížení výkonu v reálném čase. Nové senzory vyráběné společností Sony provádějí ISP zpracování a vysokorychlostní AI zpracování na logickém čipu. Tím proběhne celý proces na každém snímku videa. Tento systém umožňuje vysoce přesné sledování předmětů v reálném čase během nahrávání videa.
Volitelný model AI
Uživatelé si mohou vybrat, jakou funkci mají snímače plnit a jaký AI model na nich poběží. Při instalaci u vchodu do prostor mohou být například využity pro počítání návštěvníků, kteří vstupují dovnitř; při umístění na poličku obchodu zase mohou sloužit k monitorování stavu zásob zboží a při umístění na strop je lze využít pro sledování množství zákazníků pomocí tepelných map (heat mapping. Zjistí se tak místa, kde se shromažďuje větší počet osob. AI model v dané kameře je navíc možné přepsat například z modelu pro tepelné mapy na model pro identifikaci chování zákazníků a podobně.
