Mapování tónů - Tone mapping

Tónový obraz s vysokým dynamickým rozsahem (HDR) římskokatolické církve St. Kentigerns v Blackpoolu, Lancashire, Anglie, Velká Británie

Mapování tónů je technika používaná při zpracování obrazu a počítačové grafice k mapování jedné sady barev na jinou, aby se přiblížil vzhled obrázků s vysokým dynamickým rozsahem v médiu, které má omezenější dynamický rozsah . Výtisky , CRT nebo LCD monitory a projektory mají omezený dynamický rozsah, který není dostatečný k reprodukci celého rozsahu intenzit světla přítomných v přírodních scénách. Mapování tónů řeší problém výrazného snížení kontrastu od zářivosti scény po zobrazitelný rozsah při zachování detailů obrazu a barevného vzhledu důležitého pro zhodnocení původního obsahu scény.

Pozadí

Zavedení filmové fotografie způsobilo problémy, protože zachytit obrovský dynamický rozsah osvětlení ze skutečného světa na chemicky omezeném negativu bylo velmi obtížné. Časní vývojáři filmu se pokusili tento problém napravit navržením zásob filmu a systémů pro vývoj tisku, které poskytovaly požadovanou tónovou křivku ve tvaru S s mírně vylepšeným kontrastem (asi 15%) ve středním rozsahu a postupně komprimovaly světlé a stíny. Příchod zónového systému , který zakládá expozici na požadovaných stínových tónech spolu s měnící se délkou času stráveného v chemické vývojce (tedy ovládání zvýrazňovacích tónů) rozšířil tonální rozsah černobílých (a později barevných) negativních filmů z jeho původní rozsah asi sedm zastávek až asi deset. Fotografové také použili uhýbání a vypalování, aby překonali omezení tiskového procesu.

Příchod digitální fotografie dal naději na lepší řešení tohoto problému. Jedním z prvních algoritmů, které Land a McCann použili v roce 1971, byl Retinex, inspirovaný teoriemi vnímání lehkosti. Tato metoda je inspirována biologickými mechanismy adaptace oka, když jsou světelné podmínky problémem. Algoritmy mapování gamutu byly také rozsáhle studovány v kontextu barevného tisku. K predikci barevného vzhledu byly použity výpočetní modely jako CIECAM02 nebo iCAM. Navzdory tomu, pokud algoritmy nedokázaly dostatečně mapovat tóny a barvy, byl stále zapotřebí zkušený umělec, jako je tomu v případě post-zpracování kinematografických filmů.

Počítačové grafické techniky schopné vykreslovat vysoce kontrastní scény přesunuly zaměření z barev na jas jako hlavní omezující faktor zobrazovacích zařízení. Bylo vyvinuto několik operátorů mapování tónu pro mapování obrázků s vysokým dynamickým rozsahem (HDR) na standardní displeje. Nedávno se tato práce rozdělila od využití jasu k prodloužení kontrastu obrazu a směrem k dalším metodám, jako je reprodukce obrazu asistovaná uživatelem. V současné době se reprodukce obrazu posunula směrem k řešením založeným na displeji, protože displeje nyní disponují pokročilými algoritmy zpracování obrazu, které pomáhají přizpůsobit vykreslování obrazu podmínkám zobrazení, šetří energii, vylepšují barevný gamut a dynamický rozsah.

Účel a metody

Cíle mapování tónu lze různě stanovit v závislosti na konkrétní aplikaci. V některých případech je hlavním cílem vytváření pouze esteticky příjemných obrázků, zatímco jiné aplikace mohou zdůrazňovat reprodukci co největšího počtu detailů obrazu nebo maximalizaci kontrastu obrazu. Cílem v aplikacích realistického vykreslování může být získání percepční shody mezi skutečnou scénou a zobrazeným obrazem, přestože zobrazovací zařízení není schopno reprodukovat celý rozsah hodnot jasu.

V posledních letech byly vyvinuty různé operátory mapování tónů. Všechny lze rozdělit na dva hlavní typy:

globální (nebo prostorově jednotné ) operátory: jsou to nelineární funkce založené na jasu a dalších globálních proměnných obrazu. Jakmile je optimální funkce odhadnuta podle konkrétního obrázku, každý pixel v obrázku je mapován stejným způsobem, nezávisle na hodnotě okolních pixelů v obrázku. Tyto techniky jsou jednoduché a rychlé (protože je lze implementovat pomocí vyhledávacích tabulek ), ale mohou způsobit ztrátu kontrastu. Příklady běžných metod globálního mapování tónu jsou redukce kontrastu a inverze barev .
místní (nebo prostorově se měnící ) operátoři: parametry nelineární funkce se mění v každém pixelu podle funkcí extrahovaných z okolních parametrů. Jinými slovy, účinek algoritmu se mění v každém pixelu podle místních vlastností obrázku. Tyto algoritmy jsou složitější než globální; mohou ukazovat artefakty (např. halo efekt a vyzvánění); a výstup může vypadat nerealisticky, ale mohou (pokud jsou použity správně) poskytovat nejlepší výkon, protože lidské vidění je citlivé zejména na místní kontrast.

Jednoduchým příkladem globálního filtru mapování tónů je (Reinhard), kde V _in je jas původního pixelu a V _out je jas filtrovaného pixelu. Tato funkce namapuje jas V _v doméně na zobrazitelný výstupní rozsah I když tento filtr poskytuje slušný kontrast pro části obrazu s nízkou svítivostí (zvláště když $V$ $v$ $<1$ ), části obrazu s vyšším jasem získají stále nižší kontrast, protože jas filtrovaného obrazu jde na 1. Variace tohoto filtru se běžně používají při vykreslování. ${\ displaystyle V _ {\ text {out}} = {\ frac {V _ {\ text {in}}} {V _ {\ text {in}}+1}}}$ ${\ displaystyle [0, \ infty)}$ ${\ Displaystyle [0,1).}$

Možná užitečnější metodou globálního mapování tónů je gama komprese , která má filtr, kde $A$ $> 0$ a $0 <$ $γ$ $<1$ . Tato funkce namapuje jas V _v oblasti na výstupní rozsah γ reguluje kontrast obrazu; nižší hodnota pro nižší kontrast. Zatímco nižší konstanta γ poskytuje nižší kontrast a možná i matnější obraz, zvyšuje expozici podexponovaných částí obrazu a zároveň, pokud $A$ $<1$ , může snížit expozici přeexponovaných částí obrazu natolik, že zabránit jejich přeexponování. ${\ displaystyle V _ {\ text {out}} = A \, V _ {\ text {in}}^{\ gamma},}$ ${\ Displaystyle [0, A^{-1/\ gamma}]}}$ ${\ Displaystyle [0,1].}$

Ještě sofistikovanější skupina algoritmů mapování tónů je založena na metodách kontrastní nebo gradientové domény , které jsou „lokální“. Tito operátoři se soustředí spíše na zachování kontrastu mezi sousedními regiony než na absolutní hodnotu, což je přístup motivovaný skutečností, že lidské vnímání je nejcitlivější na kontrast v obrazech než na absolutní intenzitu. Tyto metody mapování tónu obvykle vytvářejí velmi ostré obrazy, které velmi dobře zachovávají malé kontrastní detaily; často se to však děje za cenu zploštění celkového kontrastu obrazu a jako vedlejší účinek může kolem tmavých předmětů vznikat záře podobná svatozáře . Příklady takových metod mapování tónů zahrnují: kompresi vysokého dynamického rozsahu v gradientové doméně a percepční rámec pro zpracování kontrastu obrazů s vysokým dynamickým rozsahem (mapování tónů je jednou z aplikací tohoto rámce).

Další přístup k mapování tónu HDR snímků je inspirován zakotvenou teorií vnímání lehkosti . Tato teorie vysvětluje mnoho charakteristik lidského zrakového systému, jako je stálost lehkosti a její selhání (jako v případě stínové iluze kostky ), které jsou důležité pro vnímání obrazů. Klíčovým konceptem této metody mapování tónu (Lightness Perception in Tone Reproduction) je rozklad HDR obrazu na oblasti (rámce) konzistentního osvětlení a lokální výpočet hodnot světlosti. Čistá světlost obrazu se vypočítá sloučením rámců úměrně jejich síle. Zvláště důležité je ukotvení - vztah jasu ke známé svítivosti, konkrétně odhad, která hodnota jasu je ve scéně vnímána jako bílá. Tento přístup k mapování tónů neovlivňuje místní kontrast a zachovává přirozené barvy obrazu HDR díky lineárnímu zpracování jasu.

Jedna jednoduchá forma mapování tónu pořizuje standardní obraz (nikoli HDR - dynamický rozsah je již komprimovaný) a aplikuje neostré maskování s velkým poloměrem, které zvyšuje místní kontrast místo ostření. Podrobnosti viz neostré maskování: vylepšení místního kontrastu .

Jedním z běžně používaných algoritmů mapování tónů je iCAM06, který je založen jak na modelu vzhledu barev, tak na hierarchickém mapování. Po oboustranném filtrování je obraz rozdělen na základní vrstvu a vrstvu detailů. Adaptace bílého bodu a chrominance jsou aplikovány na základní vrstvu, zatímco vylepšení detailů je aplikováno na vrstvu detailů. Nakonec jsou obě vrstvy sloučeny a převedeny do barevného prostoru IPT. Obecně je tato metoda dobrá, ale má určité nedostatky, konkrétně v tom, jak výpočetně náročná je metoda filtrování. Navrhované řešení zahrnuje optimalizaci výkonu filtru. Základní vrstva obrazu je také převedena do prostoru RGB pro kompresi tónů. Tato metoda také umožňuje větší úpravu výstupu a vylepšení sytosti, takže je méně výpočetně náročná a lépe snižuje celkový halo efekt.

Digitální fotografie

Tónově mapovaný HDR obraz Dundasova náměstí ; Mapování tónů bylo provedeno jako technika postprocesingu pomocí fotografického softwaru Photomatix.

Digitální fotografii dlouho předcházely formy mapování tónu. Manipulace s filmem a vývojový proces k vykreslení vysoce kontrastních scén, zejména těch, které jsou natočeny za jasného slunečního světla, na tiskový papír s relativně nízkým dynamickým rozsahem, je ve skutečnosti formou mapování tónu, i když se tomu obvykle neříká. Místní úprava tonality při zpracování filmu se provádí především uhýbáním a vypalováním a je zvláště obhajována a spojována s Anselem Adamsem , jak je popsáno v jeho knize The Print; viz také jeho Zónový systém .

Normální proces kompenzace expozice , rozjasnění stínů a změna kontrastu aplikovaný globálně na digitální snímky v rámci profesionálního nebo seriózního amatérského pracovního postupu je také formou mapování tónu.

Mapování tónu HDR, obvykle využívající místních operátorů, se však stalo mezi digitálními fotografy stále oblíbenější jako technika postprocesingu, kdy je spojeno několik expozic při různých rychlostech závěrky za vzniku obrazu HDR a na výsledek je poté aplikován operátor mapování tónu . Nyní je na internetu mnoho příkladů digitálně mapovaných místně mapovaných tónů, nepřesně známých jako „HDR fotografie“, a ty mají různou kvalitu. Tato popularita je částečně dána výrazným vzhledem lokálně mapovaných obrazů, které mnoho lidí považuje za atraktivní, a částečně touhou zachytit vysoce kontrastní scény, které je obtížné nebo nemožné vyfotografovat v rámci jedné expozice, a nemusí být atraktivní ani když je lze zajmout. Přestože digitální senzory ve skutečnosti zachycují vyšší dynamický rozsah než film, v extrémních světelných podmínkách zcela ztrácejí detaily, čímž je ořezávají na čistě bílou, což ve srovnání s negativním filmem vytváří neatraktivní výsledek, který má tendenci zachovávat barvy a některé detaily ve světlech.

V některých případech se používá místní mapování tónů, přestože dynamický rozsah zdrojového obrazu lze zachytit na cílovém médiu, a to buď k vytvoření výrazného vzhledu místně mapovaného obrázku s mapou, nebo k vytvoření obrazu blíže umělecké vizi fotografa scénu odstraněním ostrých kontrastů, které často vypadají neatraktivně. V některých případech jsou obrazy s mapováním tónů vytvářeny z jediné expozice, která je poté zpracovávána konvenčními nástroji pro zpracování, aby se vytvořily vstupy do procesu generování obrazu HDR. Tím se zabrání artefaktům, které se mohou objevit při kombinaci různých expozic v důsledku pohybujících se objektů ve scéně nebo chvění fotoaparátu. Když je však mapování tónu aplikováno na jednu expozici tímto způsobem, mezilehlý snímek má pouze normální dynamický rozsah a množství stínů nebo zvýrazněných detailů, které lze vykreslit, je pouze to, co bylo zachyceno při původní expozici.

Zobrazovací zařízení

Jedním z původních cílů mapování tónu bylo umět reprodukovat danou scénu nebo obraz na zobrazovací zařízení tak, aby pocit jasu obrazu pro lidského diváka těsně odpovídal pocitu jasu v reálném světě. Dokonalá shoda pro tento problém však není nikdy možná, a proto je výstupní obraz na displeji často postaven na kompromisu mezi různými funkcemi obrazu. Volba mezi funkcemi je často založena na potřebné aplikaci a vzhledem k příslušným metrikám pro aplikaci je jedním z možných řešení považovat problém za problém s optimalizací.

Pro tuto metodu se nejprve vygenerují modely pro lidský vizuální systém (HVS) a displej společně s jednoduchým operátorem mapování tónů. Kontrastní zkreslení jsou vážena podle jejich jednotlivých viditelností aproximovaných HVS. U těchto modelů lze objektivní funkci, která definuje křivku tónu, vytvořit a vyřešit pomocí rychlého kvadratického řešiče.

S přidáním filtrů lze tuto metodu rozšířit i na videa. Filtry zajišťují, že rychlá změna tónové křivky mezi snímky není v konečném výstupním obrazu výrazná.

Příklad zobrazovacího procesu

Mapovaný tón Příklad obrázku s vysokým dynamickým rozsahem zobrazující vitráže v jižním výklenku Old Saint Paul's , Wellington , Nový Zéland .

Šest jednotlivých expozic použitých k vytvoření předchozího obrázku. Na obrázcích s nízkou expozicí je místnost tmavá a nejasná, ale detaily oken jsou viditelné. Na obrázcích s vysokou expozicí jsou okna jasná a nejasná, ale odhalují se detaily místnosti.

Obrázky vpravo ukazují interiér kostela, scénu, která má zářivost mnohem větší, než jakou lze zobrazit na monitoru nebo zaznamenat běžnou kamerou. Šest jednotlivých expozic z fotoaparátu ukazuje zářivost scény v určitém rozsahu transformovaném do rozsahu jasů, které lze zobrazit na monitoru. Rozsah záření zaznamenaných na každé fotografii je omezený, takže nelze zobrazit všechny detaily najednou: například detaily interiéru tmavého kostela nelze zobrazit současně s jasným vitrážovým oknem. Na šest obrazů je aplikován algoritmus, který znovu vytvoří mapu zářivosti vysokého dynamického rozsahu původní scény ( obrázek s vysokým dynamickým rozsahem ). Alternativně jsou některé špičkové spotřebitelské a specializované vědecké digitální fotoaparáty schopné zaznamenávat obraz s vysokým dynamickým rozsahem přímo, například pomocí snímků RAW .

V ideálním případě může kamera měřit jas přímo a ukládat to do obrazu HDR; většina dnešních snímků s vysokým dynamickým rozsahem produkovaných kamerami však není kalibrována nebo dokonce úměrná jasu, a to z praktických důvodů, jako jsou náklady a čas potřebný k měření přesných hodnot jasu - umělcům často stačí použít více expozic k získání „ HDR obraz “, který hrubě aproximuje skutečný jasový signál.

Obraz s vysokým dynamickým rozsahem je předán operátorovi mapování tónů, v tomto případě místnímu operátorovi, který transformuje obraz na obraz s nízkým dynamickým rozsahem vhodný pro prohlížení na monitoru. Ve srovnání s interiérem kostela je okno z barevného skla zobrazeno s mnohem nižším jasem, než by poskytlo lineární mapování mezi zářivostí scény a intenzitou pixelů. Tato nepřesnost je však vnímavě méně důležitá než detail obrazu, který lze nyní zobrazit současně v okně i v interiéru kostela.

Technika místního mapování tónů zpracování obrazu HDR často produkuje řadu charakteristických efektů v obrazech, jako jsou jasné halo kolem tmavých objektů, tmavé halo kolem jasných objektů a někdy vzhled „jako v karikatuře“ kvůli extrémně živým barvám a nedostatku velkých barevné variace měřítka. Tyto výsledky jsou způsobeny aplikací geometrického zkreslení prostoru zachyceného obrazu spolu se zkreslením barevného prostoru, zatímco pouze zkreslení barevného prostoru jsou efektem mapování tónu a všechna ostatní zkreslení jsou spíše vlastní filtrační technikou než jakékoli mapování tónu nebo barevného prostoru. Výsledky místního mapování tónu jsou často považovány za převrácení povahy dokumentárního fotografického obrazu a daleko od fotografického realismu.

Ne všechny obrázky mapované tónem jsou vizuálně výrazné. Snížení dynamického rozsahu pomocí mapování tónů je často užitečné v scénách s jasným sluncem, kde je rozdíl v intenzitě mezi přímým osvětlením a stínem velký. V těchto případech je globální kontrast scény snížen, ale místní kontrast je zachován, zatímco obraz jako celek nadále vypadá přirozeně. Použití mapování tónů v tomto kontextu nemusí být z konečného obrázku patrné:

Oblasti přímého osvětlení a stínu na Grand Canyonu
Vzhled podobný kreslenému

Mapování tónů může v konečném obrazu také vytvářet výrazné vizuální efekty, jako například viditelné halo kolem věže na obrázku Cornell Law School níže. Lze jej použít k vytváření těchto efektů, i když dynamický rozsah původního obrazu není nijak zvlášť vysoký. Svatozář v obrazech vzniká proto, že operátor místního mapování tónů rozjasní oblasti kolem tmavých objektů, aby zachoval místní kontrast v původním obrazu, který oklamá lidský vizuální systém, aby vnímal tmavé objekty jako tmavé, i když jejich skutečná svítivost je stejné jako v oblastech obrazu vnímaných jako světlé. Obvykle je tento efekt jemný, ale pokud jsou kontrasty v původním obrázku extrémní nebo fotograf záměrně nastaví gradient jasu jako velmi strmý, svatozáře se stanou viditelnými.

Galerie

Příklad mapování tónů HDR
5 mapování expozičního tónu Isola Tiberina v Římě .
3 expoziční (-2,0,+2) tónově mapovaný obraz scény ve stanici Nippori .
HDR pohled z Tower Bridge v Londýně mapovaný tónem z 5 expozic.
HDR pohled z katedrály svatého Pavla v Londýně tón mapované z 9 expozic.
Tónový mapovaný kompozitní obraz věže Cornell Law School v Ithace v New Yorku .

Viz také

Reference

^ Livingstone, M. 2002. „Vize a umění: Biologie vidění“. Harry N Abrams
^ Hunt, R. 2004. "Reprodukce barev ve fotografii, tisku a televizi: 6. vydání." John Wiley & Sons.
^ Adams, A. 1981. „The Print, The Ansel Adams Photography Series 3“ New York Graphic Society
^ Land, EH, a McCann, JJ 1971. „Lehkost a teorie retinexu“. Journal of the Optical Society of America 61, 1, 1–11.
^ Kate Devlin, Alan Chalmers, Alexander Wilkie, Werner Purgathofer. „Zpráva STAR o reprodukci tónů a fyzikálně založeném spektrálním vykreslování“ vEurographics2002.DOI:10.1145/1073204.1073242
^ Raanan Fattal, Dani Lischinski, Michael Werman. „Komprese vysokého dynamického rozsahu s přechodovou doménou“
^ Rafal Mantiuk, Karol Myszkowski, Hans-Peter Seidel. „Percepční rámec pro zpracování kontrastu obrázků s vysokým dynamickým rozsahem“
^ Alan Gilchrist. „Ukotvující teorie vnímání lehkosti“.
^ Grzegorz Krawczyk, Karol Myszkowski, Hans-Peter Seidel. „Vnímání lehkosti v reprodukci tónů pro obrázky s vysokým dynamickým rozsahem“
^ Fairchild, MD, Johnson, GM: 'Rámec iCAM pro vzhled obrazu, rozdíly a kvalitu'. J Elektron. Imaging, 2004
^ Xiao, J., Li, W., Liu, G., Shaw, S., & Zhang, Y. (nd). Hierarchické mapování tónů na základě modelu vzhledu barev obrazu. [12]
^ Mantiuk, R., Daly, S., & Kerofsky, L. (nd). Zobrazit adaptivní mapování tónů. http://resources.mpi-inf.mpg.de/hdr/datmo/mantiuk08datm.pdf
^ https://web.archive.org/web/20150206044300/http://docs.opencv.org/trunk/doc/tutorials/photo/hdr_imaging/hdr_imaging.html
^ Durand aJulie Dorsey, „Rychlé dvoustranné filtrování pro zobrazení snímků s vysokým dynamickým rozsahem“. Transakce ACM na grafice, 2002, 21, 3, 257 - 266.https://people.csail.mit.edu/fredo/PUBLI/Siggraph2002/DurandBilateral.pdf

^ G. Qiu et al, „Tone Mapping for HDR Image using Optimization-A New Closed Form Solution“ , Proč. ICPR 2006, 18. mezinárodní konference o rozpoznávání vzorů, sv. 1, s. 996-999
^ Reinhard, Erik (2002). „Reprodukce fotografických tónů pro digitální obrázky“ (PDF) . Transakce ACM na grafice . 21 (3): 267–276. doi : 10,1145/566654,566575 .
^ Taylor, Matt. „Mapování tónů“ . Získaný 8. srpna 2021 .

externí odkazy

CVLTonemap: GPU zrychlené mapování tónů
HDR temná komora
pfstmo: implementace operátorů mapování tónu
exrtools: kolekce nástrojů pro manipulaci s obrázky OpenEXR (obsahuje některé operátory mapování tónů)
pfstools je open-source sada programů příkazového řádku pro čtení, zápis a manipulaci s obrázky a videorámečky s vysokým dynamickým rozsahem (HDR)
Luminance HDR/QtPfsGui je bezplatný (open-source) software pro pracovní postup HDR pro Linux, Windows a Mac OS X založený na balíčku pfstools
LDR tonemapping je bezplatný (open-source) tonemapper pro obrázky s nízkým dynamickým rozsahem (aka „pseudo-HDR“)
Atlas je bezplatný (open-source) port operátorů mapování tónů pfstmo do Adobe After Effects
Flickr HDR pool , sbírka surrealistických mapování tónů
Papír UC Berkeley se surovými daty pro Purkinjeho efekt
Stuck in Customs , rozsáhlý tutoriál k vytváření obrázků HDR

Algoritmy mapování tónů

[1] G. Qiu et al, „Tone Mapping for HDR Image using Optimization-A New Closed Form Solution“ , Proč. ICPR 2006, 18. mezinárodní konference o rozpoznávání vzorů, sv. 1, s. 996-999

[2] Reinhard, Erik (2002). „Reprodukce fotografických tónů pro digitální obrázky“ (PDF) . Transakce ACM na grafice . 21 (3): 267–276. doi : 10,1145/566654,566575 .

[3] Taylor, Matt. „Mapování tónů“ . Získaný 8. srpna 2021 .

Languages

In other projects