MAPV

Aplikace počítačového vidění

Základní fyzikální principy využitelné v počítačovém vidění

Fyzikální vlastnosti se projeví:

• při promítání scény na detektor  - osvětlování (nasvětlení scény, zdroje a parametry světla) , vlastnosti světla (scéna, objekty – šíření světla, odrazy, lomy, ztráty), promítání optikou  (optika, objektiv – zobrazení, paprsková optika, vady optiky)

• při zpracování signálu – detektor (převod světlo - elektřina, náboj), digitalizace, šum

• ve scéně jako měřené nebo zprostředkované veličiny –  poloha, rychlost, hustota, čas …

• ostatní vlastnosti vhodné pro vyřešení úlohy – převod veličin

Optika

• je fyzikální obor který se zabývá světlem a jeho šířením

• zabývá se i vzájemným působením světelných paprsků a objektů

Dělení je možné například:

Fyzikální pohled udává jas bodu v obrazové rovině jako funkci osvětlení a vlastností povrchu.

• radiometrie – fyzikální pohled

• fotometrie – fyzikální pohled s přihlédnutím k vlastnostem lidského zraku (normál lidského oka uvyklého na světlo a na tmu)

• vlnová optika – fyzikální pohled (interference, polarizace, rozptyl)

• geometrická (paprsková) optika – šíření světla (přímočarost, lom, odraz), v praxi udává, ve kterém místě obrazové roviny bude situovám bod ze snímané scény

světlo

• elektromagnetické záření vlnové délky 400-740nm (někdy i UV, NIR, MW, LW (FIR >10um))

• c = 3.10⁸ m/s ve vakuu, v hustším prostředí je pomalejší

• hlavní (využívané) vlastnosti (intenzita, vlnová délka, polarizace)

• „přenáší“ energii

• příčné postupné vlny ve fázi

světlo hodnotíme v těchto bodech
- zdroj - parametry vysílaného světla (výkon, vlnová délka, ..., směr ...), zobrazovací zařízení - (výkon směrovost, kvalita barev, jasu ....) - svítivost
- cesta - šíření prostředím - světelný tok
- dopad - reakce s objekty a další šíření (směr, ztráty, odraz, lom ...) - osvětlení

jas/intenzita

• energie záření vyvolává vjem

• síla vjemu je závislá na detektoru, vlnové délce a energii

• hodnocení jasu může být subjektivní, jasový vjem záleží na kontextu (iluze1, iluze2, iluze3, iluze4)

Radiometrie

• popisuje skutečné výkonové poměry

• zdroj popisujeme svítivostí (zářivost) do daného prostoru [W/sr]

• světelný (zářivý) tok ɸ udává energii v daném místě [W]

• Osvětlení E udává výkon záření, který dopadá na plochu [W/m²]

k měření energie záření se používá radiometr

Fotometrie

• přihlíží k citlivosti lidského oka

• svítivost I [cd, kandela] spojena se zdrojem do daného prostoru

• optický tok ɸ [lm = cd . sr, lumen] je světlo procházející daným prostorem

• osvětlení E [lx = lm/m², lux] udává velikost toku dopadajícího (či odraženého) na plochu – měří se luxmetry (fotočlánek)

• difuzní záření plochy má jednotku nit [cd/m²] – hodnocení monitorů

expozimetr – slouží ke stanovení parametrů pro pořízení kvalitních snímků na základě použitého materiálu a nastavených parametrů

barva (frekvence)

• barva dána působícím zdrojem světla a vlastnostmi objektu (odraz nebo pohlcení)

• často používané viditelné (400-700nm), a blízké IR (>700nm), vzdálené IR (8um)

• nejkratší vlnové délky (fialová) mmají energii 3.1eV/foton, nejdelší 1.6eV/foton

(transmitance atmosféry, převzato z Baláž, Řehoř Dosahy OE přístrojů v reálných podmínkách)

• vjem barvy je subjektivní (závisí na detektoru), definice barva <-> frekvence se s dobou upravuje

• několik RGB modelů a příslušná (neupravená) barva

• záporné hodnoty barvy není možné realizovat (ořezání)

• achromatické – obsahující všechny vlnové délky

• monochromatický – jednobarevný

HW a barva

• optika (objektivy, lom, ...) je většinou závislá na frekvenci procházejícího světla. „Přesně“ se chová pro jednu frekvenci a následně je snaha o minimální chybu

• pro IR, UV ... je nutné pořídit speciálně navrženou optiku

• spektrometry – využívají rozkladu světla hranolem nebo difrakční mřížkou. (spektroradiometry) zjištění spektrálních vlastností světla,  množství energie v závislosti na frekvenci

• monochromátory – podobný princip jako u spektrometru, rozložené světlo se neměří ale používá jako generátor „barvy“ – výsledný jas je nízký

• pro generování „barev“ se dále používá bílé světlo průchodem přes filtry, LED diody nebo lasery různých vlnových délek – jejich výkon je dostatečný, spektrum stabilní a definované složením

• kolorimetry – změří parametry scény a navrhnou filtry a způsob snímání pro správnou reprodukci scény na daný materiál. Změří i „barvu“ – buď v RGB, nebo jiném modelu (XYZ, Lab …)

• kalibry – slouží ke správnému nastavení soustavy – sladění barev nebo ke kalibraci přístrojů. Používá se základních barev (aditivní, substraktivní), a většinou ještě další barvy, které bývají po nastavení základních barev nevěrohodné („barva kůže“, „listová zeleň“, „barva oblohy“ ...)
  
  
  

• 

Barevná teplota

• etalon/reference pro srovnávání – vyzařování absolutně černého tělesa (abstrakce, přesně respektující fyzikální zákony - Planck),
  
  h, k - konstanty planckova a boltzmannova, I intenzita záření, T teplota abs.č.t, λ vlnová délka

  
  
  Wienův posunovací zákon

• některé zdroje vystihuje dobře, u jiných jsou nutné korekce

• využívá se pro definování nastavování zobrazovacích zařízení (monitory, tiskárny), přizpůsobení citlivosti detektoru povaze zdroje – např. 6500K pro nastavení bílého bodu, žárovka dává žluté světlo, zářivka bílé, denní světlo je modré ...

• Stefan-Boltzmannův zákon
  
  ε emisivita tělesa (ve srovnání s absolutně č.t.)

• pomocí kalibrů na principu černého tělesa se testují a kalibrují IR zařízení

vyjádření barevné teploty v různých modelech – barvy v nízkých teplotách jsou „teplé“ při vysokých teplotách „studené“

Obr. Diagram chromatičnosti bez „ořezání“ (HDTV a CIE - jiné postavení bodů R,G,B,W a zobrazované plochy - trojúhelník) -

srovnání s http://cs.wikipedia.org/wiki/CIE

polarizace

• obecně je světlo elmag záření (složky E a B) kolmé na sebe, ale v libovolných rovinách

• světlo s jedním směrem vln – polarizované

• lze vybrat jen některý ze směrů pomocí polarizačních filtrů (spojené s pracovní frekvencí)

• polarizace lineární a kruhová

• při použití filtrů - ztráta energie

• úhlovou změnou dvou polarizačních filtrů oproti sobě lze korigovat intenzitu světla – funkce kvadrátu cosinu úhlu

• dva filtry za sebou otočené o 90 stupňů – nepropouští nic

• polarizace vzniká např. při odrazu (zvláště na hranách)

• polarizační filtry se používají k odstranění nechtěných odrazů (vodní hladina, okna …), ke změně intenzity světla, k „vyčištění“ fotek od rozptýleného světla (po odrazech je polarizované),

• použití v expozimetru

• polarizace se využívá při 3D zobrazování (Projektor – filtr – plátno(galvanické) – filtr – oko; TV s „polarizovanými“ body). Používá se většinou polarizace kruhová.

  

Obr. Princip 3D – nahoře lineární polarizace, dole polarizace kruhová

filtry

• jsou optické součástky, které se přidávají do optické cesty aby upravily obraz

• spektrální filtry – odrazem nebo propustností mění spektrum – propusti, nebo zádrže

• odstranění IR složky u barevných kamer

• „výběr“ barevné složky – například při nasvícení scény (jednobarevným) laserem – zvýšení kontrastu

• odstranění části spektra – např. opar, „nádech“ od žárovky, zářivky …  a tím zvýšit kvalitu

• výběr části spektra, která (ne)nese danou informaci – na obr je pohled ve viditelné a IR části – popis „zmizel“

• polarizační filtry

• filtry rozptylující světlo – v objektivu, ve zdroji

• filtry pro světelné efekty – ve fotografii

• holografické filtry - „rozloží“ bodový paprsek do obrazu

• u zobrazovacích zařízení (projektory, TV) filtry pohlcují energii (zahřívají se)

interference

• zvláště citlivé metody měřící s krokem jedné periody použitého záření nebo vzoru (moiré)

• 

• měří většinou relativně (v objektu by něměly být „skoky“)

• posun o λ/2, který odpovídá vzdálenosti min-max jasu. Precizní měření ve vzdálenosti, menší hloubka měřených objektů

• slouží k měření vzdálenosti, - michelson

• měření 3D tvaru – Newtonova skla – jedna plocha je kalibrační, druhá měřená – v mezeře mezi nimi vzniká interferenční obrazec. Lze použít i ke zjištění vlnové délky světla podle rozteče proužků. Měření parametrů kloubních náhrad s vysokou přesností

• přístroje se nazývají interferometry

difrakce

• ohyb na (ostrých) hranách/ překážkách velikostí srovnatelných s délkou vlny

• je to vlastně „rozptyl“ světla z přímé linie, kdy se světlo dostane i tam, kam by podle paprskové teorie nemělo (hrana se stává zdrojem a od ní se světlo šíří „všemi“ směry

• v důsledku difrakce v čočce se ostrý bod zobrazuje jako sync. Tato vlastnost definuje rozližení dvou bodů blízko sebe. Body musí být tak daleko od sebe, aby po difrakci střed druhého maxima ležel alespoň v minimu prvního. Leží li blíže, potom body splynou a nelze je odlišit. Tento jev omezuje frekvenční vlastnosti objektivů

• difrakce na mřížce – je-li velké množství malých bodů (či nerovností), potom dochází k ohybu a to v závislosti na frekvenci (viz bílé světlo na CD). Toho lze využít pro rozklad světla na barevné složky. Pokud je na výstupu detektor, hovoříme o spektrometru – měříme barevné složky dopadajícího záření. U monochromátoru svítíme bílým světlem a na výstupu štěrbinou vybíráme světlo dané vlnové délky – nevýhodou je malý výkon

možnost nasvícení scény (ne)

Lambertův vyzařovací zákon

směrové světlo – nasvěcuje plochy, vrhá stíny, nesymetrické osvětlení (odrazy) na přivrácených a odvrácených hranách, „prasátka“ na hranách, málo citlivé na změnu polohy (kromě hran)

boční (tečné) světlo – zvýrazňuje povrchové nerovnosti, obtížné „ideální tečné“ nastavení, citlivé na změnu vzájemné polohy světlo – objekt, stíny

difuzní světlo – odstraňuje nerovnosti povrhu (rovnoměrné nasvícení necitlivé na směr povrchu), málo citlivé na změnu předlohy, velká plocha zdroje světla,

přímé světlo (od kamery) – málo stínů, zpětné odrazy, rovnoměrné osvětlení, stejná optická dráha pro nasvícení i detekci, spojení s optikou (kamerou) ztěžuje manipulaci

difuzní z daného směru (od kamery) – kombinace minulých, odstraňuje odrazy do kamery, zmenšuje stíny, nižší intenzita světla,

strukturované světlo (vzor-pattern) – pomoc při detekci periodických objektů, nebo objektů bez ostrých jasových přechodů, při jednoduchém vzoru malá přesnost (nebo pomalé díky opakování posunu vzoru), při složitém vzoru se ztrácí „originální“ pohled, špatné na neodrazných plochách (černá …), kvalitní detekce, nutnost kalibrace

polarizované světlo – může zvýraznit nebo potlačit určité odrazy (např. na hranách). Pohlcuje světlo (50%)

zadní světlo – světlo za objektem, ostré kontury, je-li světlo difuzní – pozvolný průběh na hraně, snadná detekce objektu – vhodné pro hrany, nevhodné pro povrchy (siluety), vhodné též pro transparentní materiály

vnitřní odrazy – světlo svítí do (opticky vodivého) objektu a produkuje odrazy na nerovnostech, vysoký kontrast (především na vadách – zlomy …), slabý kontrast samotného objektu

Další přístroje (ne)

• kolimátory dávají svazek rovnoběžných paprsků – imitují zdroj v nekonečnu – používají se například při kalibraci kamer, testech optiky

• autokolimátor – nástroj pro precizní nastavení nebo proměření optiky nebo zobrazovacího systému. S jeho pomocí můžeme zjistit malé chyby zobrazovací soustavy – promítá (z nekonečna = rovnoběžně), mřížka je promítaná na zrcadlo (přes optickou soustavu) a zpět do kolimátoru, kde je možnost srovnání původního a navráceného obrazu – rozdíl určuje změny způsobené optickou trasou

• světelné dómy – sféra s rozmístěnými světly umožňuje zjistit vliv směrového světla na povrch tělesa

• densitometry – měří kolik známého světla se odrazí nebo projde od objektu

Osvětlení

Požadavky – reprodukovatelnost (ve všech parametrech), neměnnost v prostoru a čase, co nejvýhodnější vlastnosti z hlediska řešeného problému, možnost použití kde je potřeba (transport), možnost použití nasvícení vzorem

• Laser – silné monochromatické záření přesné frekvence, dobře fokusované – použití ke značení scény, dá se optikou převést na linku, mřížku ...

• LED – záření dané frekvence, širší pásmo a úhel vyzařování než laser. „Umí“ i pulsní režim s větším výkonem. Přímé nebo difuzní světlo. Použití ke značení nebo osvětlení. (70lm/W)

• xenonové zdroje – mají velice kvalitní vlastnosti ve viditelné části spektra – konstantní hodnota spektrálního vyzařování. 30-120 lm/W podle přivedeného výkonu (1kW-20kW)

• halogen – hladká křivka výkonu, ale na nižších frekvencích klesá (30lm/W)

fluorescence

• přeměna jedné energie (UV) na jinou (viditelné záření)

• luminofory – například v zářivkách (lepší světelný výkon na Watt než klasické žárovky)

• „světélkování“ na ostrých hranách při UV záření (defektoskopie, chemické látky, kriminalistika)

Geometrická optika

• v případě, že objekty jsou větší než vlnová délka

• zjednodušené řešení dostatečné pro většinu aplikací

• světlo jako vektor – přímočaré šíření světla, zaměnitelnost (reverzace/zpětný chod) paprsků, lom, odraz

Odraz a lom

• jevy, na rozhraní dvou opticky různých materiálů

• Při dopadu dojde k odrazu i lomu (za určitých podmínek), část světelné energie se mění v teplo (absorpce)

• dochází k polarizaci světla (částečné či úplné) pro odraz i lom

• na tenkých vrstvách může způsobit interferenční jevy

Odraz

• úhel dopadu se rovná úhlu odrazu (od normály), ve stejné rovině

• při odrazu od hustšího prostředí se mění fáze vlny

zrcadla

• plochá – prodloužení cesty paprsku, zobrazení skrytých míst

• kulová, parabolická – zvětšují, zmenšují jako čočky, zobrazují do osy (jsou symetrické) nebo mimo osu – detektor není ve směru vstupních paprsků. Například dozorová zrcadla, katodioptrická zrcadla

• proměnná

Má-li být odraz kvalitní, je pokovená přední a ne zadní strana zrcadla – tato vrstva je citlivá na otěr – protiotěrová vrstva

Pokud má sloužit odražené světlo k měření, měla by před odrazem být použita kruhová polarizace – (aby nedošlo k polarizaci polarizovaného světla - v nejhorším případě k vymizení)

typy odrazů

• zrcadlový – paprsek pokračuje s dominantním směrem - úhel dopadu je úhel odrazu

• difuzní – odraz všemi směry, použití k vytvoření difuzního (rovnoměrného) světla

• zpětný – paprsek se vrací do směru ze kterého přišel – speciální materiály (dopravní značky) nebo koutový odražeč (slouží například k měření vzdálenosti, v měřených scénách může způsobit nepříjemné reflexy)

• kombinace (s různým zastoupením předchozích) – například difuzní směrový (nekvalitní lesklá plocha, dopravní značky)

Difuzní odraz je „ideální“, pokud respektuje lambertův zákon odrazu - Id=kd. Id . cos ν . Intenzita odraženého světla v daném směru závisí na intenzitě dopadajícího světla. kd je koeficient množství odraženého světla (0-1), a v je úhel odrazu světelného paprsku. Pokud se na takovou plochu díváme pod úhlem, potom nezávisle na úhlu vypadá stejně jasná (pod úhlem se plocha sklopí o cos a je na ní tedy stejně energie). Lambertovské vyzařování se požaduje o zobrazovačů (monitory).

Lom

• podle snellova zákona, podle indexu lomu – vlastnost materiálu závislá na frekvenci (rozklad „na duhu“)

• do hustšího prostředí – ke kolmici

• slouží například k rozkladu světla hranolem, k polarizaci ...

• některé materiály mění parametry lomu na základě vnějších podmínek – pak můžeme řídit posun paprsků, které procházejí – upřesňování pozice paprsku (například při tisku laserem), posun paprsků pro prostorová měření v malých vzdálenostech („vyrobí“ paralaxu)

Zobrazování a zobrazovací soustavy

• základní prvky - čočky a zrcadla, clony,

• objektivy – soustavy složené ze základních prvků – mikroskopy, dalekohledy, teleobjektivy ...

Čočky

• základ zobrazovacích soustav

• spojky, rozptylky

• „klasické“, kulové (rovnoběžné záření <-> bod), válcové (řádkové kamery, spektrometry, rozšíření vzorů (laser)), fresnelovy

fresnelovy čočky

– ohyby paprsků na plošných površích čočky jsou nahrazeny difrakcí na sérií drobných soustředných „proužků/drážek“. Každý z proužků způsobuje individuálně ohyb (difrakci) světla. Výhodou jsou malé ztráty plynoucí z malé tloušťky čočky. Mají ovšem horší kvalitu zobrazení, vyšší zkreslení (zvláště pro nižší hustotu). „Širokoúhlé“ čočky na zadních sklech automobilů, v obchodech ...

zobrazovací rovnice, zvětšení

• základní rovnice čočky – objekt je zobrazen čočkou na obraz

• obraz mění vzdálenost a velikost v závislosti na poloze objektu

• pro kontrukci objektů zobrazovaných čočkami – paprsky rovnoběžné <-> paprsky ohniskem, paprsky procházející středem čočky směr nemění, ostatní paprsky nemají přesný předpis ale procházejí též

zobrazovací rovnice

s – vzdálenost objektu od hlavní roviny optického systému

s’ – vzdálenost vytvořeného obrazu objektu

f – ohnisková vzdálenost optického systému

x – vzdálenost objektu od ohniska na objektové straně

x’ – vzdálenost obrazu od ohniska na obrazové straně

Zvětšení

mezi objektem a jeho obrazem lze vyjádřit

y – velikost objektu

y’ – velikost obrazu

Zobrazovací rovnici lze zjednodušeně psát

c se nazývá zobrazovací konstanta

Závislost  vzdálenosti obrazové roviny na vzdálenosti objektu a Zvětšení zobrazovaného objektu

hloubka ostrosti

• udává, o kolik je možné pohnout objektem (resp. Senzorem), aby nedošlo k jeho rozostření

• bod se zobrazí na bod pouze v jednom místě od čočky, mimo to je průmětem kužel. Pokud je plocha kužele menší než jednotka detektoru, je obraz ostrý

pro průmětný kroužek průměru k je

, .

D je průměr výstupní pupily (je dán průmětem nejužšího místa do výstupu,  (světelnost objektivu, clonové číslo) udává vliv clony na hloubku ostrosti. Hloubka ostrosti je větší pro větší vzdálenost od kamery (x), větší pro menší ohniskové vzdálenosti (f), větší pro menší průměr clony (d), větší pro větší krok detektoru, pixel (k).

Objektivy

• promítání 3D světa na 2D detektor

• dírková kamera – viz zobrazovací systém

• perspektivní a centrální (telecentry)

clona

• omezuje průchod světla

• má vliv na - hloubka ostrosti, jasové poměry detektoru

• „ořezáním“ okrajových částí světla v čočkách zmenšuje vady ale může vést k omezení světla u kraje (vinětace)

• určuje aperturu

• nejčastěji se umisťuje do středu soustavy, nebo do ohnisek (telecentry) – vybírá paprsky, které se účastní zobrazování

průchod světla

pupila, aprertura – vstupní a výstupní označuje prostor  před/za čočkou takový, že nejužší místo objektivu promítneme vně (obraz otvorové clonky)

numerická apertura – udává množství kužele světla přijatého nebo emitovaného přes objektiv/čočku

clonová čísla – f/d, f/#. Udává světelnost objektivu. Je vyznačována pro dvojnásobky světla (kruh s dvojnásobnou plochou=√2 krát). cca od 1.4, pro telecentry F6 až F25

clonové číslo

hloubka ostrosti

„ostření“

fix focus – posunem, výběrem zobrazovací roviny, paprsky z nekonečna se protínají v ohnisku, paprsky z bližší vzdálenosti se posunují dále od ohniska (čím dál rychleji)

změna polohy čoček – změna optické soustavy

rozostření – psf – možnost korekce, ve frekvenční oblasti, „variace“ na gaussovu křivku

telecentr – dlouhé ohniskové vzdálenosti

zoom – změna zvětšení pomocí změny optických vlastností – pozice čočky. někdy nutno současně se zoomem doostřovat

telecentrické zobrazení

• clonkou umístěnou v ohnisku se vyberou pouze paprsky, které jsou na druhé straně rovnoběžné -> velká hloubka ostrosti, v obraze není perspektiva ...

• malá světelnost - značný úbytek světla pro kvalitní zobrazení (malý otvor clonky)

• telecentricita v oblasti předmětu nebo obrazu

• parametr zobrazení je pouze konstanta zvětšení

• objekty musí být menší než průměr čočky

vady optiky

• zkreslení geometrické

• vinětace

• koma, atigmatizmus

• barevné závislosti vady

další parametry objektivu - uchycení

C/CS mount - udává vzdálenost zadní plochy objektivu od čipu (průmětné roviny)

F-mount – bajonet (Nikon)

výpočet objektivu

návrh scény

vlastnost, vstup, výstup, hw kalibrace

FOV – (pro obě osy) dána velikostí objektu

velikost čipu – citlivost (mm/pixel)

objektiv pro daný formát čipu (např. 1/2“) nebo větší

pracovní vzdálenost – vzdálenost objekt kamera

volíme f nejbližší nižší

hloubka ostrosti (má vliv na světelnost objektivu)

rozlišení (kontrast) – kvalita objektivu, jak velký prvek objektu bude viditelný, jak bude obraz rozmazán

zda se jedná o finitní nebo infinitní zobrazení

„přiblížení“ pomocí mezikroužků

typ objektivu – např. vykorigování chromatických vad, koma …

kontrast, citlivost

hodnocení kvality zobrazovacích soustav

schopnost oddělit tmavé a světlé oblasti na obraze [%]

Modulation Transfer Function (v závislosti na cykly/mm, jinak též kontrast nebo modulace) udává jak kvalitně čočka přenese detaily objektu do zobrazovací roviny. Je to schopnost přenášet kontrast na určitém rozlišení z objektu na detektor. Zahrnuje tedy do jednoho grafu kontrast a rozlišení.

Objektem jsou pro testy plně promodulované černo-bílé pruhy (kontrast 100%). Difrakcí je způsoben rozptyl světla a tím „rozplyznutí“ průběhu. Čočka pro vyšší frekvenci hůře přenáší kontrast předlohy = kontrast se snižuje.

MTF vyjadřuje kontrast snímku vztažený na kontrast objektu (předlohy). Je tedy od 0 (šedá na šedé) do 1 (bílá na černé). 

MTF by se mělo provádět pro každou část obrazu (pixel) a pro každou vlnovou délku. Udává se pro osu a monochromatické světlo dané vlnové délky.

kalibrační vzory – proužky

aliasing – pixel sám o sobě je sumačním filtrem – odstranění vyšších frekvencí. Pro odstranění aliasingu „stačí“ horší optika (rozmaže vyšší frekvence) nebo antialiasing filtry

Poslední změna 2015-11-25