우리가 보고 있는 디지털 영상들은 얼마나 현실 세상의 밝기를 표현하고 있을까요?
현실 세계의 장면(Scene)은 카메라 센서로 획득하여 이미지/영상으로 저장 된 후, 디스플레이로 볼 수 있습니다. 본 글에서는 현실에서 보는 것과 비슷한 밝기를 표현하는 기술인 HDR(High Dynamic Range)에 대해 디스플레이 영역에서의 HDR과 이미지 영역에서의 HDR을 구분해서 다뤄보고자 합니다.
HDR관련 논문을 이해하기 위해 HDR에 관해 공부하면서 작성하였습니다.
Dynamic Range
Dynamic Range란 가장 밝고 가장 어두운 밝기 간의 ratio(비율)이며, 의역하면 명암비로 볼 수 있습니다.
밝기는 1cd/m2 또는 1nit로 표현하며, 이는 1m2당 촛불 한개의 밝기(candela=cd)를 의미합니다. 100nits는 1m2당 촛불 100개의 밝기로 보면 됩니다. 가장 어두운 경우 0이며, 밝을 수록 값이 커집니다.
명암비는 영어로 Contrast Ratio 단어가 따로 있습니다. 디스플레이 분야에서 주로 사용되는 용어이며, Dynamic Range는 Contrast Ratio와 동일 의미입니다(참조). 가장 어둡고 가장 밝은 구간을 얼마나 세밀하게 표현하는 가를 나타냅니다.
가장 왼쪽 밝기가 0.1nit이고, 가장 오른쪽 밝기가 10nit이면, Dynamic Range는 100입니다.
HDR : High Dynmaic Range
단어 자체로는 현실의 명암비(Dynamic Range)를 디지털로 가능한 가장 가깝게 표현한 고명암비(High Dynamic Range)를 의미합니다. 다른 의미로 현실의 밝기를 높은 명암비로 구현하는 기술을 의미하기도 합니다.
디스플레이 분야에서의 HDR
사람은 10-6 ~ 108nits를 인지 할 수 있는 반면, 일반 디스플레이는 0.1~100nits를 표시할 수 있습니다. 이 수치는 방송 표준들이 제정되던 시기에 밝기에 대한 표준값이며, SDR(Standard Dynamic Range)라고 부릅니다. ( 그림 출처 : link )
SDR은 0.1~100nit를 표현 할 수 있기에, 명암비(Dynamic Range)는 1000입니다. 반면 HDR은 이를 더 큰 명암비인 100,000 이상을 냅니다. SDR, HDR, HDR10, HDR10+, Dolby Vision 이라는 용어가 많이 언급되는데요. 찾아보면서 혼동되는 개념을 정리해봤습니다.
SDR은 표준 명암비를 의미합니다.
HDR은 고명암비를 의미하며,
HDR은 밝은 부분은 더 밝게 어두운 부분은 더 어둡게 보여주는 기술을 의미하기도 합니다. (그림 출처 : link)
HDR10은 색상, 밝기, 명암 정보가 담긴 메타데이터를 가진 영상 규격(또는 기술)을 의미합니다. 한개 영상에 고정된 메타데이터를 가집니다. 최소 0.05~1,000nits(명암비 200,000 이상) 또는 0.0005~540nits(명암비 1,080,000 이상)을 표현하면 HDR10 인증을 받을 수 있습니다. RGB 각 채널의 색심도(colour depth)가 10bit이상이 되어야 합니다.
HDR10+는 한개 영상에 프레임마다 다른 메타데이터를 적용한 규격(또는 기술)을 의미합니다.
Dolby Vision(돌비 비전)은 HDR10+과 비슷한 개념으로써, 돌비사에서 제공되는 이미지 기술이며 유료 라이센스입니다. 채널당 색심도가 12bit이상입니다. (그림 출처 : link )
출처 : link1 , link2 , link3 , link4, link5
위 내용에 대해 좀 더 자세하게 살펴보겠습니다.
찾아보면서 혼동되는 개념중에 bit수, 밝기, 색영역이 있었습니다. 아래는 디스플레이 고화질을 나타내는 5가지 요소 (그림 출처 : link) 인데요. 해상도(=픽셀의 수), 프레임 속도(=초당 이미지수)는 직관적으로 이해가 될 것이구요.
비트수는 각 픽셀의 각 채널당 표시 할 수 있는 색상 수(=색심도=colour depth=bit depth)
색영역은 표시 할 수 있는 Saturation(채도), Hue(색상)의 범위 (개념 출처 : link , 그림 출처 : 왼쪽 )
밝기는 Brightness로 명암비(Dynamic Range)를 나타냅니다 (그림 출처 : 오른쪽).
RGB는 빛의 삼원색인 3가지 색상의 가산 혼합으로 색을 표현함으로써 밝기가 표현 됩니다. Bit-depth와 Dynamic Range가 1:1맵핑은 되지 않지만, Dynamic Range의 최대범위는 bit-depth가 표현 할 수 있는 범위 이하가 됩니다. (출처 : link )
HDR10의 HDR는 밝기를 표현하는 dynamic range가 100,000이상이고, 색심도가 10bit를 의미했습니다. 색심도가 10bit일 때 색의 표현 범위는 1024x1024x1024=1,073,741,824가 됩니다.
이미지 분야에서의 HDR
구글에서 HDR 검색결과는 대부분 디스플레이 분야를 설명하는 글입니다. TV를 구매하기 위한 정보이기 때문에 많이 찾아볼 것이라 생각됩니다. 여기서는 추가로 카메라로 현실의 밝기를 어떻게 담는지에 대해 다뤄보고자 합니다.
이미지 분야 내에서도 HDR의 의미가 다양합니다.
LDR(Low Dynamic Range) Image는 RGB 각 채널당 8bit인 이미지입니다.
HDR(High Dynamic Range) Image는 RGB 각 채널당 32bit인 이미지입니다.
여기서는 낮은 밝기를 표현하는 용어가 Standard가 아닌 Low입니다.
그리고 디스플레이 영역에서는 bit-depth가 10bit여도 HDR이라고 불리었는데, 이미지 영역에서는 32bit여야 HDR입니다.
32bit로 저장을 하게되면, 숫자를 정수형이 아닌 실수형으로 표현 할 수 있기에 무한대의 값을 저장 할 수 있습니다.
2016년 출시되는 고성능 스마트폰(갤럭시 S7, LG V20 등)부터 HDR 촬영모드라는게 있습니다 (출처 : link). 이건 카메라로 다양한 노출(exposure)을 사용해서 여러개 이미지를 촬영 후, tonemapping 기술을 사용하여 8bit로 압축한 이미지를 의미합니다. tonemapped HDR이라고도 부릅니다. (출처 : link)
tonemapping 기술은 카메라로 적은 노출로 찍었을 때 밝은 영역의 디테일과 많은 노출로 찍었을 때 어두운 영역의 디테일을 합성하여 만들게 됩니다. 일반적인 카메라는 채널당 8/10/12/14/16bit를 촬영합니다. 높은 bit일 수록 더 부드럽게 색상을 표현합니다. 아이폰 X (2017)만해도 12bit 이미지를 촬영 할 수 있습니다. tonemapping기술은 다양하게 있겠지만, 제가 본 논문에서는 정수형을 실수형으로 바꾼 후에 처리를 했었습니다.
아이폰X는 HDR 디스플레이도 지원한다고 합니다. HDR을 지원한다고 할 때, HDR촬영 모드인지, HDR디스플레이 인지 구분해서 보시길 바랍니다.
Closing..
HDR이라는 단어가 생각보다 다양한 의미를 갖고 있었습니다. HDR 단어에 대해 혼동스러웠고, 저와 같은 혼동을 느끼지 않도록 가능한 많은 자료를 찾아서 정리 했습니다. 저 또한 여러 글을 조합해서 쓴 글이기에 제가 쓴 글 또한 의심해 보셔도 됩니다.
'Terminology' 카테고리의 다른 글
[개념 정리] Likelihood 와 Probability (11) | 2023.03.20 |
---|---|
[기술 용어 정리] fidelity 와 quality (1) | 2023.03.11 |
[개념 정리] Chamfer Distance (0) | 2023.03.08 |
[평가 지표] LPIPS : The Unreasonable Effectiveness of Deep Features as a Perceptual Metric (0) | 2022.10.09 |
[평가 지표] PSNR / SSIM / LPIPS (0) | 2022.10.08 |
댓글