MAPV

Úlohy detekce objektů a měření v rovině

Měření v rovině - vlastnosti

• měřené objekty se nalézají v jedné, nebo několika definovaných/pevných rovinách (ve 3D)

• snímání scény – ztráta rozměru (hloubky) při projekci

Měření v rovině - součásti

• Detekce objektů - nalezení objektů zájmu

• Přesnost zjištění - požadavky, ovlivňující faktory, výsledná přesnost

• Měření - HW sestavy využívané pro měření v rovině

Typy úloh

zvážit nutnost kalibrace

• přítomnost, orientace, barva, počet, lokalizace cíle

• tvar, kompletnost

• poloha

• vzdálenost, měření rozměrů – ze dvou hodnot (velikost chyby)

• písmo, text, barcode

• „integrální“ měření (snímek je průmětem většího počtu datových rovin: rentgen, lokátory, ultrazvuk, nečistoty v kapalině, pohyb částic v kapalině)

• rychlost (poloha, vzdálenost + čas)

• interferenční metody - jedna kamera + vzor

Obrázek dna a hrdla lahve – detekce tvaru, kontrola polohy, hledání útvarů

Měření v rovině

podle počtu kamer (pomocí dalších kamer můžeme zpřesňovat výsledky)

podle počtu měřených rovin (lze měřit různé roviny v jednom snímku),

podle směru pohledu na rovinu (směr normálový a ostatní (obecný pohled))

pro převod do měřící roviny se využívá transformace nebo mapování a tomu příslušné způsoby kalibrace

absolutní a relativní měření z hlediska souřadnic - absolutní je vztaženo ke konkrétnímu prostorovému souřadnému systému (známe přesnou polohu v „reále“), relativní určuje souřadnice přesně ale v libovolně určeném souřadném systému (nejčastěji systém spojený s kamerou)

měření jednou kamerou se používá

• aplikace kdy není nutné brát ohled na prostorové vlastnosti (počítání kusů, zjišťování barvy, ...)

• když se objekty pohybují v definované rovině/rovinách. Lze rozšířit až na pohyb v definovaných prostorových útvarech – zjištění polohy ze známé vzdálenosti

• prostorový pohyb tělesa dané velikosti v definovaném natočení – zjištění vzdálenosti ze známé polohy

• prostorový pohyb známého tělesa obecně – zjištění vzdálenosti (a tedy i polohy při známé definici úlohy) z měřítka nebo poměrů rozměrů objektu (horší výsledky)

• s pomocnou informací ((nasvícený) vzor)

Měření více kamerami

• zpřesnění informací

• zkvalitnění detekce

• možnost měřit parametry, které nejdou měřit jednou kamerou

Detekce objektů - vlastnosti

jedná se o nalezení objektů v obraze

Detekce (nalezení - jedna perioda), Rozpoznání (určení zda je to zájmový objekt - čtyři periody), Identifikace (přesné zjištění vlastností objektu - osm period)

Detekce objektů - metody

využívá se metod předzpracování a segmentace (MPOV)

Hledání jednotlivých elementů - bod (roh, zájmové body), hrana - nebo objektu jako celek (těžiště, natočení, textura ...)

Prahování - odlišení od pozadí, v nejjednodušším rozdílové snímky

korelace - pro objekty nerotované - prakticky srovnání se vzorem (korelační jádro)

srovnání se vzorem - pomocí popisu objektu, vzor s rotací ...

momenty - centrované a normalizované (rotační) momenty umožňují srovnání na základě dat/vlastností statisticky získaných ze snímku

Popis hranic - freemanovy kódy

normy vzdálenosti vzoru a objektu - způsob určení „míry podobnosti“

Metoda Nejmenších Čtverců - metoda, která se často používá pro srovnání, nebo pro zjištění parametrů,

distanční transformace, hausdorffova vzdálenost)

Popis jednoduchých objektů

Segmentovaný objekt je popsán příznakovým vektorem X, který představuje bod v příznakovém prostoru.
Metody s učením

Výběr vhodných příznaků:

Extrakce = přepočet příznaků (odlišný význam nových příznaků)

Selekce = výběr příznaků (totožný význam nových příznaků)

Extrahované/vybrané příznaky tvoří dimenze příznakového prostoru.

Popis objektů pomocí jejich vlastností - příznaků

Velikost = počet pixelů náležejících objektu.

Obvod = počet hraničních pixelů objektu.

Nekompaktnost = Obvod2 / Velikost (míra podobnosti objektu k ideálnímu kruhu).

Konvexnost = Velikost / Plocha konvexního obalu.

Hlavní osa = délka hlavní osy elipsy E.

Vedlejší osa = délka vedlejší osy elipsy E.

Orientace = úhel hlavní osy se souřadnou osou x.

Výstřednost = excentricita elipsy E.

Pozn.: elipsa E je taková eliptická křivka, která má stejný centrální moment druhého řádu jako objekt

Podlouhlost = poměr stran opsaného obdélníku.

Eulerovo číslo = též genus, je počet souvislých oblastí snížený o počet děr.

Vektor tvaru = paprskové projekce z referenčního bodu objektu směrem k jeho hranici (délky paprsků pak vytváří vektor tvaru).

Pravoúhlost = max(Velikost / Plocha opsaného obdélníku).

Způsoby získávání a interpretace dat

Absolutní (přímé) měření = rozměr objektu je měřen přímo v metrických jednotkách na snadno lokalizovatelných a identifikovatelných částech objektu (rohy, díry, křivky atd.).

Relativní (nepřímé) měření = srovnávání měřených dat s referenčním modelem.

Absolutní (přímé) měření

= rozměr objektu je měřen přímo v metrických jednotkách na snadno lokalizovatelných a identifikovatelných částech objektu (rohy, díry, křivky atd.).

Měřené veličiny magnetického prstence:

Maximální vnější průměr.

Minimální vnější průměr.

Maximální vnitřní průměr.

Minimální vnitřní průměr.

Oválnost vnější kontury = maximální diference mezi dvěma průměry otočenými o 90°.

Oválnost vnitřní kontury.

Nesoustřednost = vzdálenost středu vnější a vnitřní kontury.

Nekruhovost:

Relativní (nepřímé) měření

= srovnávání měřených dat s referenčním modelem.

Měřená data = obsahují šum, chyby měření, jsou nekompletní.

Referenční model = sestaven buďto na základě známého analytického popisu nebo přesného měření v ideálních podmínkách.

Pro srovnání tvaru je třeba zvolit vhodný referenční (superpoziční) bod objektu a modelu, ve kterém se obě množiny překryjí (težiště, významé body…).

Základní problém = jak u degradovaného objektu stanovit správný referenční bod?

Zatímco u kompletního vzorového modelu lze referenční bod stanovit snadno, není u měřených dat zřejmé, která jejich část je správná a která chybná.

Těžiště modelu Těžiště objektu Správné překrytí Skutečné překrytí

(správná poloha) (posunutá poloha) (ideální stav) (těžišť modelu a objektu)

Pro lokalizaci chyb je třeba znát správnou polohu referenčního bodu ->

<- Pro lokalizaci správné polohy referenčního bodu je třeba znát charakteristiku poškození.

(tj. problém „kuře nebo vejce“)

Úloha: nalézt takovou superpoziční polohu, která nejvíce odpovídá očekávání pozorovatele: „Korektní části objektu jsou blízko referenčního modelu, poškozené části mohou ležet daleko.“

Pro příklad úlohy srovnávání se vzorem předpokládejme vlastnosti:

Množina měřených dat = reprezentuje nedokonalý tvar měřeného objektu, může být nekompletní, řídká ve smyslu matice dat a obsahující šum.

Množina referenčních dat = reprezentuje ideální tvar, je kompletní, dostatečné hustá a data jsou vyjádřena analyticky nebo změřena s vysokou přesností.

Přesnost zjištění

vlivy na přesnost

kvalita scény (osvětlení, rušivé vlivy okolí (odlesky, stíny, rušivé osvětlení), pohybující se objekty)

kvalita měřícího řetězce, šum

způsob HW/SW úprav, výsledné zobrazení - diskretizace (velikost vynechaných pxl), kvantizace (počet úrovní), velikost ve snímku, počet bodů pro měření

Fluktuace obrazu - povětrnostní podmínky, chvění měřené soustavy (dá se využít ke složení „přesnějšího“ obrazu, adaptivní zpracování)

Kvalita optiky - „rozmazání“ obrazu optikou (horší pro velký průměr) a difrakční vlastnosti (bod se mění na „sinc“-horší pro malý průměr) => nutno hledat kompromisní průměr => vždy dojde k „rozptylu“ bodu

každá „barevná“ složka zpracovávaného snímku může mít jiné parametry zkreslení

hranové detektory – hodnocení kvality

správná detekce hrany:

citlivost na šum (hrana je „rozházená“ a nebo chybí)

příliš mnoho odezev (v okolí hrany by měla být pouze jedna silnější odezva, další by se měla opakovat až v určité )

špatná lokalizace (hrana je systematicky posunutá)

nutno nastavit detektor tak aby nebyl náchylný k chybám („rozmazat“ a derivovat – zvýraznit hrany ale ne šum)

Podmínky pro zlepšení přesnosti

• filtry potlačující šum (nežádoucí vliv potlačením i příslušné části spektra obrazu)

• odstranění šumu (pomocí úprav scény, měřícího řetězce, sčítání snímků(odstranění šumu, zvýšení bitové hloubky -HDR))

• subpixelová měření (využití „okolí“ ke zpřesnění)

• využití většího množství dat (statistické zpracování více snímků stejného pohledu) a více pohledů (směrů snímání)

• lepšího určení přesnosti se dosáhne pro větší počet úrovní obrazu, větší objekty, kontrastnější objekty

přesné hledání objektů

subpixel (zjištění polohy s přesností lepší než jeden pixel) – zpřesnění  polohy hrany za pomoci více hodnot okolí. Např.:

inflexní bod – zpřesnění na základě průběhu hrany reprezentované širším okolím (tečně na hranu vedeme úsečku a výsledná poloha hrany je v inflexním bodě příslušných jasových hodnot)

počet pixelů – zpřesnění z většího množství hodnot (podél útvaru. Složení z řady lokálních vyhodnocení. Například pro střed kružnice využijeme všechny body jejího obvodu, roh obdélníka určíme jako průsečík proložených přímek hranami ...)

Měřený vzorek - měří se polohy dvou kruhových otvorů v dolní části)

Graf detekce polohy kružnic při posunu vzoru po 0,05mm – vzor se posouvá a jsou prováděny detekce

Graf vlevo dole pro otvor v kovu (50x25pxl),

Graf vpravo dole pro otvor v umělé hmotě (reflexy,27x13 pxl)

V grafech je vlevo nahoře měřený průběh změny polohy po proložení přímkou, vlevo dole jsou odchylky od proložené přímky – výška od střední čáry k hornímu grafu a dolnímu kraji je ±půlpixel (0,014mm), v pravo nahoře je vidět odchylka od linearity

využití difuzního světla a okolí objektu ke zpřesnění polohy (vede k tomu, že hrana není ostrá – využití inflexe) 

Pomocí této metody lze zpřesnit měření bodu, přímky, osy ...
Při měření rozměrů musíme dávat pozor na způsob předzpracování (například stejnosměrný posun hrany směrem do tmavších oblastí (například středu objektu) způsobený nevhodným filtrem).

Při měření vzdálenosti je výsledná chyba součtem (absolutních) chyb

Při měření rychlosti je nutné uvažovat i o přesnosti časového údaje pro jednotlivá měření.

Při zjišťování orientace je výhodné použít celý obvod tělesa pro co nejpřesnější řešení.

Kalibrace

K výraznému zpřesnění může též vést kalibrace zařízení. Zvolí se model chyby, které způsobuje porušení/zkreslení obrazu a pomocí kalibrů se snažíme získat koeficienty modelu, které následně využijeme ke korekci/opravě porušeného obrazu.

typy kalibrace

pro zkreslení kamery – především u kratších f, nelineární

pro nerovnoběžnost rovin - například rektifikace (převod do jiné roviny (vhodné pro „ploché“ scény, jinak pouze malé úhly)) nebo transformace z roviny na rovinu

kombinace – různé typy chyb můžeme řešit společně, nebo zvlášť(jak z hlediska koeficientů v modelu, tak při výpočtu)

jedna kalibrace může částečně pokrýt i druhý typ, záleží na počtu a typu koeficientů modelu

dvojpoměr

hodnota, která se při projekci nemění (používá se pro zjištění nelinearit nebo ke zjištění kvality převodů snímků) (pappova věta)

a,b,c,d = (a-c)/(a-d):(b-c)/(b-d) = (a-c)/(b-c):(a-d)/(b-d)

testování kvality/linearity zobrazení

transformace souřadnic

přímá x zpětná (měřící x transformace úpravy snímku)

Rektifikace - změna polohy bodů mezi souřadnicovými systémy (na základě známých vlastností, nebo kalibrace)

• Provádí se například u snímků pro stereofotogrammetrii („lidské 3D“) - snímky je nutné korigovat jako by měly rovnoběžné osy a ležely v jedné rovině

• lidské oko je schopno vnímat do chyby 3-5 stupňů, příjemný vjem je cca do jednoho stupně

• využití při 3D snímání (TV, film ...), při úpravě snímků leteckého snímkování, místa činu ...

• úprava 2D snímků dává smysl pouze pokud je hloubka scény zanedbatelná – jinak dochází k chybě (body při rotaci mění vzdálenost – porušení paralaxy - zkosení)

lze použít

odstranění (změna) perspektivy, napojení geometrické a jasové (pro spojení nutné společné (lícovací) body)

panoramatické snímky - mapování na kouli, válec, krychli (snímané z jednoho bodu)

mapování na rovinu – zvětšování snímků (snímaných pod úhlem) spojováním, například letecké mapy

ortofotografie – letecké fotografie upravené na „kolmý“ pohled,

chyby vysokých objektů, které nejsou kolmo k povrchu, v 2D se projeví perspektiva

Měření v rovině

nutná apriorní znalost - objekty patří k definované rovině (rovinám) -> možnost zjednodušit výpočty – zrychlení řešení

možnost řešit jednou kamerou i 3D (vztažené na rovinu)

- rovina je rovnoběžná s čipem

- rovina není rovnoběžná s čipem (problém – hloubka ostrosti)

- korekce nerovnoběžnosti natočením čipu

Rovina rovnoběžná s čipem

kolmý pohled – narovnání pohledů jiných, …

citlivost měření na jednotlivé parametry

     zobrazovací rovnice

citlivost na změnu parametrů

chyba určení průmětu při změně parametrů

Citlivost na pohyb v určitém směru se dá využít ke zvýšení efektu změny, nebo k potlačení chyb změnou polohy v daném směru.

rovina  měření nerovnoběžná s čipem

-        Mapování  (rovina měření <–> rovina čipu)

-        mapování do jiné výšky (roviny)

-        korekce umístěním čipu, objektivem, SW

typy transformací

zobrazení eulerovské,

homogenní transformace – lineární z hlediska projektivních tr., princip v 1D a 2D, základní vlastnosti ve 2D

rovnoběžná projekce – telecentr (pouze měřítko (mx, my))

homogenní souřadnice

lineární z hlediska projektivních transformací

možnost „spojovat“ lineární operace v jednu (matici pro výpočty)

zavádí se další rozměr (1D+1 pro přímku, 2D+1 pro rovinu, 3D+1 pro prostor)

vhodné pro transformace z roviny  (čipu) na rovinu (měření)

další vlastnosti – 

body p ležící na přímce l, nebo přímka l složená z bodů p

bod a přímka jsou duální (dva body dávají přímku, dvě přímky dávají bod (průsečík) – společné výpočty)

aplikace

poloha s tolerančními poli – nejedná se o přesnou polohu ale o intervaly výskytu – složitá otázka řešení při větším množství tolerancemi vázanými body

rychlost měřená za pomoci jedné kamery,
znalostí jsou souřadnice roviny, ve které se pohybuje RZ, namapované na detektor (do snímku)

Standardní odchylka pro známou rovinu pohybu bodu

Standardní odchylka pro známou rovinu a toleranci  ±5cm (objekt je na rovině, nebo může být v jejích okolí – chyba polohy)

Standardní odchylka určení rychlosti při stereofotogrammetii (horší než jedna kamera s přesnou rovinou – zde je „průsečík“ dán plochou)

potisk odchylky od vzoru – rovinné srovnání plochy

nekonečný pás – jeden rozměr posuv, druhý měřítko – korekce jas

kola, klobouky

3D – jeden rozměr dán mechanickým pohybem,

rovina měření dána rovinou světelnou – kalibrace světelné roviny

kalibrace

• objekty kalibrační podobné měřeným

• stanovení počátku i rotace pomocným vzorem

predikce polohy,

kalman – predikce polohy i možnost interpolačního vyhlazení na základě získané statistiky z měření

omezení výpočetní náročnosti,

zpřesnění hledání a kolizí pohybujících se objektů

jiné zdroje

ultrazvuk

magnetická rezonance

letecký radar

rovina z řádkové kamery

interference – vysoká citlivost na malé změny v okolí pracovního bodu

Poslední změna 2011-03-04