Kamera pro čas letu- Time-of-flight camera

Čas letu světelného pulsu odrážejícího se od cíle.

Time-of-flight kamera ( ToF kamera ) je rozsah zobrazovací kamerový systém využívající časově-of-flight techniky vyřešit vzdálenosti mezi kamerou a objektem pro každý bod obrazu, měřením doba obrátky umělého světla signál poskytovaný laserem nebo LED . Laserové kamery pro čas letu jsou součástí širší třídy LIDAR bez skeneru , ve které je s každým laserovým pulsem zachycena celá scéna, na rozdíl od bod-bod s laserovým paprskem, jako je tomu u skenovacích systémů LIDAR. Kamerové produkty pro civilní aplikace se začaly objevovat kolem roku 2000, protože polovodičové procesy umožňovaly výrobu součástek pro taková zařízení dostatečně rychle. Systémy pokrývají dosah od několika centimetrů až po několik kilometrů.

Typy zařízení

Bylo vyvinuto několik různých technologií pro kamery s dobou letu.

RF-modulované světelné zdroje s fázovými detektory

Photonic Mixer Devices (PMD), Swiss Ranger a CanestaVision fungují tak, že modulují odchozí paprsek pomocí RF nosiče a poté měří fázový posun tohoto nosiče na straně přijímače. Tento přístup má modulární chybovou výzvu: měřené rozsahy jsou modulovány na vlnové délce nosiče RF. Swiss Ranger je kompaktní zařízení krátkého dosahu s dosahem 5 nebo 10 metrů a rozlišením 176 x 144 pixelů. Pomocí algoritmů rozbalování fází lze zvýšit maximální rozsah jedinečnosti. PMD může poskytovat dosah až 60 m. Osvětlení je spíše pulzní LED než laser. Vývojář CanestaVision Canesta koupila společnost Microsoft v roce 2010. Kinect2 pro Xbox One byl založen na technologii ToF od Canesta.

Dálkově ovládané zobrazovače

Tato zařízení mají v obrazovém senzoru vestavěnou závěrku, která se otevírá a zavírá stejnou rychlostí, jako jsou vysílány světelné impulsy. Většina 3D senzorů doby letu je založena na tomto principu, který vynalezla Medina. Protože část každého vracejícího se impulzu je blokována závěrkou podle času jejího příchodu, množství přijatého světla se vztahuje ke vzdálenosti, kterou pulz urazil. Vzdálenost lze vypočítat pomocí rovnice, z = R ( S 2 - S 1 ) / 2 ( S 1 + S 2 ) + R / 2 pro ideální kameru. R je rozsah kamery určený zaokrouhlením světelného impulsu, S 1 množství přijatého světelného impulsu a S 2 množství světelného impulsu, který je zablokován.

ZCam podle 3dv Systems je systém rozsah řízených. Společnost Microsoft zakoupila 3DV v roce 2009. Snímač Kinect druhé generace společnosti Microsoft byl vyvinut na základě znalostí získaných od společností Canesta a 3DV Systems.

Podobné principy jsou použity v řadě kamer ToF vyvinutých Fraunhoferovým institutem mikroelektronických obvodů a systémů a TriDiCam. Tyto kamery využívají fotodetektory s rychlou elektronickou závěrkou.

Hloubkové rozlišení kamer ToF lze vylepšit pomocí CCD kamer s ultrarychlým blokováním. Tyto kamery poskytují časy hradlování až 200ps a umožňují nastavení ToF s rozlišením hloubky pod milimetry.

Dálkově ovládané zobrazovače lze také použít ve 2D zobrazování k potlačení čehokoli mimo stanovený rozsah vzdáleností, například vidět skrz mlhu. Pulzní laser zajišťuje osvětlení a optická brána umožňuje světlo dosáhnout na snímač pouze v požadovaném časovém období.

Přímé zobrazovače času letu

Tato zařízení měří přímý letový čas potřebný k tomu, aby jeden laserový puls opustil kameru a odrazil se zpět do soustavy ohniskových rovin. Také známé jako „spouštěcí režim“, 3D snímky zachycené pomocí tohoto metodologického obrazu doplňují prostorová a časová data a zaznamenávají plné 3D scény s jediným laserovým pulsem. To umožňuje rychlé získání a rychlé zpracování informací o scéně v reálném čase. U časově citlivých autonomních operací byl tento přístup prokázán u autonomních vesmírných testů a operací, jaké se používají u vzorku asteroidů OSIRIS-REx Bennu a návratové mise a přistání autonomní helikoptéry.

Advanced Scientific Concepts, Inc. poskytuje aplikace specifické (např. Letecké, automobilové, vesmírné) systémy přímého vidění TOF známé jako 3D Flash LIDAR kamery. Jejich přístup využívá InGaAs Avalanche Photo Diode (APD) nebo PIN fotodetektorová pole schopná zobrazovat laserový puls na vlnových délkách 980 nm až 1600 nm.

Komponenty

Kamera pro čas letu se skládá z následujících komponent:

  • Osvětlovací jednotka: Osvětluje scénu. U RF-modulovaných světelných zdrojů s fázovými detektory musí být světlo modulováno vysokými rychlostmi až do 100 MHz, jsou možné pouze LED diody nebo laserové diody . U snímačů Direct TOF se používá jeden puls na snímek (např. 30 Hz). Osvětlení obvykle používá infračervené světlo, aby osvětlení bylo nenápadné.
  • Optika: Objektiv shromažďuje odražené světlo a zobrazuje prostředí na obrazový snímač (pole s ohniskovou rovinou). Optický pásmový filtr propouští světlo pouze se stejnou vlnovou délkou jako osvětlovací jednotka. To pomáhá potlačit nerelevantní světlo a snížit hluk.
  • Obrazový snímač : Toto je srdcem kamery TOF. Každý pixel měří čas, který světlo potřebovalo k cestě z osvětlovací jednotky (laserové nebo LED) k objektu a zpět do pole ohniskové roviny. K načasování se používá několik různých přístupů; viz Typy zařízení výše.
  • Elektronika ovladače: Osvětlovací jednotka i obrazový snímač musí být ovládány vysokorychlostními signály a synchronizovány. Tyto signály musí být velmi přesné, aby bylo dosaženo vysokého rozlišení. Pokud se například signály mezi osvětlovací jednotkou a senzorem posunou pouze o 10 pikosekund , vzdálenost se změní o 1,5 mm. Pro srovnání: současné CPU dosahují frekvencí až 3  GHz , což odpovídá taktovacím cyklům přibližně 300 ps - odpovídající 'rozlišení' je pouze 45 mm.
  • Výpočet/Rozhraní: Vzdálenost se vypočítává přímo ve fotoaparátu. K získání dobrého výkonu se také používají některá kalibrační data. Kamera pak poskytuje obraz na dálku přes nějaké rozhraní, například USB nebo Ethernet .

Zásada

Viz také: doba letu
Princip činnosti kamery pro čas letu:

V pulzní metodě (1) vzdálenost d = ct/2 q2/q1 + q2, kde c je rychlost světla, t je délka pulsu, q1 je akumulovaný náboj v pixelu při vyzařování světla a q2 je akumulovaný náboj, když není.

Při metodě spojitých vln (2) d =ct/2 π arctan q3 - q4/q1 - q2 .
Schémata ilustrující princip kamery pro čas letu s analogovým časováním

Nejjednodušší verze kamery pro čas letu využívá světelné impulsy nebo jeden světelný puls. Osvětlení je zapnuto na velmi krátkou dobu, výsledný světelný puls osvětluje scénu a je odrážen objekty v zorném poli. Objektiv kamery shromažďuje odražené světlo a zobrazuje jej na senzor nebo pole ohniskové roviny. V závislosti na vzdálenosti přichází příchozí světlo zpoždění. Jelikož má světlo rychlost přibližně c = 300 000 000 metrů za sekundu, je toto zpoždění velmi krátké: předmět vzdálený 2,5 m světlo zpomalí:

U amplitudově modulovaných polí určuje šířka pulsu osvětlení maximální dosah, který kamera zvládne. Při šířce impulsu např. 50 ns je rozsah omezen na

Tyto krátké časy ukazují, že osvětlovací jednotka je kritickou součástí systému. Pouze se speciálními LED nebo lasery je možné generovat tak krátké impulsy.

Jediný pixel se skládá z prvku citlivého na fotografii (např. Fotodiody ). Přemění přicházející světlo na proud. U analogových časovačů jsou k fotodiodě připojeny rychlé spínače, které směrují proud do jednoho ze dvou (nebo několika) paměťových prvků (např. Kondenzátoru ), které fungují jako součtové prvky. U digitálních měřičů časování je k každému pixelu fotodetektoru připojen čítač času, který může běžet na několika gigahertzech, a když je snímáno světlo, přestane počítat.

V diagramu analogového časovače pole s amplitudovou modulací používá pixel dva přepínače (G1 a G2) a dva paměťové prvky (S1 a S2). Přepínače jsou ovládány pulsem se stejnou délkou jako světelný impuls, kde je řídicí signál spínače G2 zpožděn přesně o šířku impulsu. V závislosti na zpoždění je vzorkována pouze část světelného impulzu přes G1 v S1, druhá část je uložena v S2. V závislosti na vzdálenosti se poměr mezi S1 a S2 mění, jak je znázorněno na výkrese. Protože do 50 ns dopadá na senzor pouze malé množství světla, je vyslán a shromážděn nejen jeden, ale několik tisíc pulzů (opakovací frekvence tR), čímž se zvyšuje poměr signálu k šumu .

Po expozici se načte pixel a v následujících fázích se měří signály S1 a S2. Jak je definována délka světelného impulsu, vzdálenost lze vypočítat podle vzorce:

V tomto případě mají signály následující hodnoty: S1 = 0,66 a S2 = 0,33. Vzdálenost je tedy:

V přítomnosti světla na pozadí přijímají paměťové prvky další část signálu. To by narušilo měření vzdálenosti. Aby se eliminovala část signálu na pozadí, lze celé měření provést podruhé s vypnutým osvětlením. Pokud jsou objekty dále než je vzdálenost, je výsledek také špatný. Zde druhé měření s řídicími signály zpožděnými o další šířku impulsu pomáhá takové objekty potlačit. Jiné systémy pracují místo se zdrojem pulsu se sinusově modulovaným světelným zdrojem.

U přímých snímačů TOF, jako je 3D Flash LIDAR, je laserem emitován jeden krátký puls od 5 do 10 ns. Událost T-nula (čas, kdy puls opouští kameru) je stanovena přímým zachycením pulsu a směrováním tohoto časování do pole ohniskové roviny. T-nula se používá k porovnání doby návratu zpětného odraženého impulzu na různých pixelech pole ohniskové roviny. Porovnáním T-nula a zachyceného vráceného pulsu a porovnáním časového rozdílu každý pixel přesně vydává přímé měření doby letu. Okružní cesta jednoho pulsu na 100 metrů je 660 ns. S pulsem 10 ns se scéna osvětlí a rozsah a intenzita se zachytí za méně než 1 mikrosekundu.

Výhody

Jednoduchost

Na rozdíl od stereo vidění nebo triangulačních systémů je celý systém velmi kompaktní: osvětlení je umístěno těsně vedle objektivu, zatímco ostatní systémy potřebují určitou minimální základní čáru. Na rozdíl od laserových skenovacích systémů nejsou potřeba žádné mechanické pohyblivé části.

Efektivní algoritmus vzdálenosti

Jedná se o přímý proces extrahování informací o vzdálenosti z výstupních signálů snímače TOF. Výsledkem je, že tento úkol využívá pouze malé množství výpočetního výkonu, opět na rozdíl od stereofonního vidění, kde jsou implementovány komplexní korelační algoritmy. Poté, co jsou data o vzdálenosti extrahována, je například detekce objektů také snadný proces, protože algoritmy nejsou narušeny vzory na objektu.

Rychlost

Kamery s dobou letu jsou schopné měřit vzdálenosti v rámci celé scény jediným výstřelem. Protože kamery dosahují až 160 snímků za sekundu, jsou ideálně vhodné pro použití v aplikacích v reálném čase.

Nevýhody

Světlo na pozadí

Při použití CMOS nebo jiných integrujících detektorů nebo senzorů, které používají viditelné nebo blízké infračervené světlo (400 nm - 700 nm), ačkoli je většina pozadí světla pocházejícího z umělého osvětlení nebo slunce potlačena, musí pixel stále poskytovat vysokou dynamický rozsah . Světlo na pozadí také generuje elektrony, které je třeba uložit. Například osvětlovací jednotky v mnoha dnešních kamerách TOF mohou poskytovat úroveň osvětlení přibližně 1 watt. Sun má osvětlení sílu asi 1050 wattů na metr čtvereční a 50 wattů po optické pásmové propusti . Pokud má tedy osvětlená scéna velikost 1 metr čtvereční, je světlo ze slunce 50krát silnější než modulovaný signál. U neintegrujících snímačů TOF, které v průběhu času neintegrují světlo a používají k zachycení krátkého laserového pulsu detektory blízké infračervené oblasti (InGaAs), není přímé sledování slunce problémem, protože obraz není integrován v průběhu času. zachycené v krátkém akvizičním cyklu obvykle méně než 1 mikrosekundu. Takové snímače TOF se používají v kosmických aplikacích a v úvahu pro automobilové aplikace.

Rušení

V některých typech zařízení TOF (ale ne ve všech), pokud je spuštěno několik kamer pro čas letu současně, mohou kamery TOF navzájem rušit měření. Existuje několik možností, jak se s tímto problémem vypořádat:

  • Časový multiplex: Řídicí systém spustí měření jednotlivých kamer postupně, takže je aktivní vždy pouze jedna osvětlovací jednotka.
  • Různé modulační frekvence: Pokud kamery modulují své světlo různými modulačními frekvencemi, jejich světlo je v ostatních systémech shromažďováno pouze jako osvětlení pozadí, ale neruší měření vzdálenosti.

U kamer typu Direct TOF, které pro osvětlení používají jeden laserový puls, protože jeden laserový puls je krátký (např. 10 nanosekund), je zpáteční TOF do a z objektů v zorném poli odpovídajícím způsobem krátký (např. 100 metrů = 660 ns zpáteční TOF). U snímače snímajícího při 30 Hz je pravděpodobnost interferující interakce doba, kdy je brána pro pořízení kamery otevřená, vydělená časem mezi laserovými impulsy nebo přibližně 1 z 50 000 (0,66 μs děleno 33 ms).

Více odrazů

Na rozdíl od laserových skenovacích systémů, kde je osvětlen jediný bod, kamery pro čas letu osvětlují celou scénu. U zařízení s fázovým rozdílem (pole s modulovanou amplitudou) může světlo kvůli více odrazům dosáhnout objektů po několika drahách. Naměřená vzdálenost proto může být větší než skutečná vzdálenost. Přímé zobrazovače TOF jsou zranitelné, pokud se světlo odráží od zrcadlového povrchu. K dispozici jsou publikované články, které nastiňují silné a slabé stránky různých zařízení a přístupů TOF.

Aplikace

Rozsahový obraz lidské tváře zachycený kamerou s časem letu (zobrazení umělce)

Automobilové aplikace

Kamery Time-of-Flight se používají v asistenčních a bezpečnostních funkcích pro pokročilé automobilové aplikace, jako je aktivní bezpečnost chodců, detekce předražení a vnitřní aplikace, jako je detekce mimo polohu (OOP).

Rozhraní člověk-stroj a hraní her

Vzhledem k tomu, že kamery pro čas letu poskytují v reálném čase snímky na dálku, je snadné sledovat pohyb lidí. To umožňuje nové interakce se spotřebitelskými zařízeními, jako jsou televize. Dalším tématem je použití tohoto typu kamer k interakci s hrami na herních konzolách. Snímač Kinect druhé generace, který byl původně součástí konzole Xbox One, používal pro snímání dosahu kameru určenou pro čas letu, která umožňuje přirozené uživatelské rozhraní a herní aplikace využívající techniky počítačového vidění a rozpoznávání gest . Creative a Intel také poskytují podobný typ interaktivních kamer s časovým letem pro gesta, Senz3D založený na kameře DepthSense 325 od Softkinetic . Technologie Infineon a PMD umožňují malé integrované 3D hloubkové kamery pro ovládání gest spotřebitelských zařízení v blízkém dosahu, jako jsou počítače a notebooky typu vše v jednom (fotoaparáty Picco flexx a Picco monstar).

Kamery pro chytré telefony

Tyto Samsung Galaxy S20 Ultra funkce tři zády ke směru jízdy objektivy kamer a fotoaparátů ToF.

Od roku 2019 obsahuje několik smartphonů kamery pro čas letu. Používají se hlavně ke zlepšení kvality fotografií poskytováním informací o popředí a pozadí softwaru fotoaparátu.

První mobilní telefon využívající tuto technologii je LG G3 , vydaný na začátku roku 2014.

Měření a strojové vidění

Rozsahový obrázek s měřením výšky

Další aplikace jsou úkoly měření, např. Pro výšku plnění v silech. V průmyslovém strojovém vidění pomáhá kamera s časem letu klasifikovat a lokalizovat předměty pro použití roboty, například předměty procházející kolem na dopravníku. Dveřní ovladače snadno rozlišují mezi zvířaty a lidmi, kteří se dostanou ke dveřím.

Robotika

Dalším využitím těchto kamer je oblast robotiky: Mobilní roboti mohou velmi rychle vytvořit mapu svého okolí, což jim umožní vyhnout se překážkám nebo následovat vedoucí osobu. Jelikož je výpočet vzdálenosti jednoduchý, používá se jen malý výpočetní výkon.

Topografie Země

Kamery ToF byly použity k získání digitálních výškových modelů topografie zemského povrchu pro studium geomorfologie .

Značky

Aktivní značky (od roku 2011)

  • ESPROS - 3D zobrazovací čipy TOF, kamera a modul TOF pro automobilové, robotické, průmyslové a IoT aplikace
  • 3D Flash kamery LIDAR a systémy vidění od Advanced Scientific Concepts, Inc. pro letecké, automobilové a vesmírné aplikace
  • DepthSense - kamery a moduly TOF, včetně RGB snímače a mikrofonů SoftKinetic
  • IRMA MATRIX - TOF kamera, používaná pro automatické počítání cestujících na mobilních a stacionárních aplikacích iris -GmbH
  • Kinect -platforma uživatelského rozhraní od společnosti Microsoft pro videohry a počítače využívající kamery pro čas letu ve druhé generaci senzorových zařízení.
  • pmd - návrhy a software referenčních kamer (pmd [vision], včetně modulů TOF [CamBoard]) a zobrazovače TOF (PhotonICs) od společnosti PMD Technologies
  • real.IZ 2+3D - Kamera TOF s vysokým rozlišením SXGA (1280 × 1024) vyvinutá spouštěcí společností odes imaging, integrující konvenční snímání obrazu s TOF v rozsahu stejného snímače. Na základě technologie vyvinuté ve společnosti Siemens .
  • Senz3D - kamera TOF od Creative a Intel založená na kameře DepthSense 325 společnosti Softkinetic, používaná pro hraní her.
  • SICK - 3D průmyslové TOF kamery (Visionary -T) pro průmyslové aplikace a software
  • 3D MLI senzor - TOF imager, moduly, kamery a software od IEE (International Electronics & Engineering), založené na modulované intenzitě světla (MLI)
  • TOFCam Stanley - TOF kamera od Stanley Electric
  • TriDiCam - moduly a software TOF, snímač TOF původně vyvinutý Fraunhoferovým institutem mikroelektronických obvodů a systémů, nyní vyvinutý společností Spin Out TriDiCam
  • Hakvision - TOF stereo kamera
  • Cube eye - Kamera a moduly ToF, rozlišení VGA, web: www.cube-eye.co.kr

Zaniklé značky

  • CanestaVision - moduly TOF a software Canesta (společnost získala společnost Microsoft v roce 2010)
  • D -IMager - kamera TOF od společnosti Panasonic Electric Works
  • OptriCam - kamery a moduly TOF společnosti Optrima (rebranded DepthSense před sloučením SoftKinetic v roce 2011)
  • ZCam - kamerové produkty TOF od 3DV Systems, integrující plnobarevné video s hloubkovými informacemi (aktiva prodaná společnosti Microsoft v roce 2009)
  • SwissRanger - průmyslová řada kamer pouze pro TOF původně od Center Suisse d'Electronique et Microtechnique, SA ( CSEM ), nyní vyvinutá společností Mesa Imaging (Mesa Imaging získala společnost Heptagon v roce 2014)
  • Fotonic - kamery TOF a software poháněný čipem Panasonic CMOS (společnost Fotonic získala společnost Autoliv v roce 2018)
  • S.Cube - ToF kamera a moduly od Cube eye

  • D-IMager od společnosti Panasonic

  • pmd [vize] CamCube od PMD Technologies

  • SwissRanger 4000 od MESA Imaging

  • FOTONIC-B70 od společnosti Fotonic

  • 3D senzor MLI od IEE SA

  • Prototyp kamery ARTTS

  • pmd [vize] CamBoard od PMD Technologies

  • Kinect pro Xbox One od společnosti Microsoft

Viz také

Reference

Další čtení