KR101787788B1 - 높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간 - Google Patents
높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간 Download PDFInfo
- Publication number
- KR101787788B1 KR101787788B1 KR1020127024376A KR20127024376A KR101787788B1 KR 101787788 B1 KR101787788 B1 KR 101787788B1 KR 1020127024376 A KR1020127024376 A KR 1020127024376A KR 20127024376 A KR20127024376 A KR 20127024376A KR 101787788 B1 KR101787788 B1 KR 101787788B1
- Authority
- KR
- South Korea
- Prior art keywords
- luminance
- segments
- tone mapping
- transient
- segment
- Prior art date
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 37
- 230000001052 transient effect Effects 0.000 claims abstract description 41
- 230000003068 static effect Effects 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 18
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
Abstract
낮은 동적 범위의 디스플레이에서의 디스플레이를 위하여 높은 동적 범위(HDR) 비디오를 톤 맵핑하는 방법은 HDR 비디오에 액세스하는 단계; 개별 프레임에 대한 휘도 정보를 생성하는 단계; 상기 휘도 정보에 응답하여 상이한 연속적인 프레임 그룹을 세그먼트로 분리하는 단계; 상기 세그먼트를 정적 휘도 세그먼트 및 과도 휘도 세그먼트로 분류하는 단계; 상기 정적 휘도 세그먼트에 대한 톤 맵핑 파라미터를 생성하는 단계; 인접하는 정적 휘도 세그먼트의 톤 맵핑 파라미터 세트에 응답하여 상기 과도 휘도 세그먼트 중의 적어도 하나에 대한 톤 맵핑 파라미터를 생성하는 단계; 및 상기 각각의 톤 맵핑 파라미터 세트에 따라 상기 휘도 세그먼트 및 과도 휘도 세그먼트를 톤 맵핑하는 단계를 포함한다.
Description
<관련 출원의 상호 참조>
본 출원은 35 U.S.C §119(e)의 규정 하에 2010년 2월 19일에 출원한 미국 가특허 출원 제61/338532호의 출원일의 이득을 청구한다.
<발명의 분야>
본 발명은 낮은 동적 범위(LDR; low dynamic range) 디스플레이 상에서의 높은 동적 범위(HDR) 콘텐츠의 톤 재생에 관한 것으로, 특히 가변 조명 조건을 갖는 비디오에 대한 톤 재생에 관한 것이다.
현재, 대부분의 디스플레이 장치는 실세계 장면보다 낮은 제한된 동적 범위를 갖는다. 낮은 동적 범위(LDR) 디스플레이 장치 상에 표현된 HDR 장면은 통상 사진 내의 과도 노출에 대응하는 포화(saturated) 또는 노출 부족(underexposure)에 대응하는 극심한 어둠으로 나타난다. 어떤 경우도 수많은 세부사항이 손실될 수 있기 때문에 바람직하지 않다.
HDR 비디오 포맷의 시각적 콘텐츠의 양은 크게 증가하고 있다. 그러므로, HDR 비디오에 대한 톤 맵핑은 학계 및 산업계에서 많은 관심을 끌어 왔다. 그러나, 정지 영상의 톤 맵핑과 비교하여, HDR 비디오 톤 맵핑에는 비교적 매우 작은 노력을 기울여 왔다.
비교적 정적인 조명 조건을 갖는 비디오 장면에서는, 공지된 파라미터 추정 방법이 잘 수행되어 왔다. 이 경우, 일반적으로 고정 파라미터 세트가 정적인 조명 조건을 갖는 동일한 비디오 세그먼트 내의 모든 프레임에 적용된다.
그러나, 비디오 장면 내의 가변 조명 조건에 대해서는, 고정된 파라미터 세트를 프레임에 적용하면 톤 맵핑 파라미터가 프레임마다 변경될 수 있기 때문에 불량한 톤 맵핑 결과가 생성되었다. 따라서, 가변 조명을 갖는 장면에서 톤 맵핑을 적절하고 효율적으로 수행할 수 있는 톤 맵핑 프로세스가 필요하다.
낮은 동적 범위 디스플레이에서의 디스플레이를 위하여 높은 동적 범위(HDR) 비디오를 톤 맵핑하는 방법은 HDR 비디오에 액세스하는 단계; 개별 프레임에 대한 휘도 정보를 생성하는 단계; 상기 휘도 정보에 응답하여 상이한 연속적인 프레임 그룹을 세그먼트로 분리하는 단계; 상기 세그먼트를 정적 휘도 세그먼트 및 과도 휘도 세그먼트로 분류하는 단계; 상기 정적 휘도 세그먼트에 대한 톤 맵핑 파라미터 세트를 생성하는 단계; 인접하는 정적 휘도 세그먼트의 톤 맵핑 파라미터 세트에 응답하여 상기 과도 휘도 세그먼트 중의 적어도 하나에 대한 톤 맵핑 파라미터 세트를 생성하는 단계; 및 각각의 톤 맵핑 파라미터 세트에 따라 상기 정적 휘도 세그먼트 및 과도 휘도 세그먼트를 톤 맵핑하는 단계를 포함한다. 상기 방법은 적어도 하나의 파라미터 타입을 보간하여 2개의 인접 과도 휘도 세그먼트의 톤 맵핑 파라미터 세트로부터 과도 휘도 세그먼트 중의 적어도 하나에 대한 톤 맵핑 파라미터 세트를 생성하는 단계를 더 포함할 수 있고, 적어도 하나의 파라미터 타입은 앵커 포인트, 콘트라스트 부스트 레벨 및/또는 노출 값일 수 있다. 분리 단계는 상기 프레임의 프레임 레벨 평균 휘도에 프레임-투-프레임(frame-to-frame) 저역 통과 필터를 적용하여 휘도 정보를 생성하는 단계를 포함하거나 또는, 대안으로, 분리 단계는 상기 필터링된 프레임 레벨 평균 휘도의 휘도 그래디언트를 생성하여 휘도 정보를 생성하는 단계를 더 포함할 수 있다. 프레임-투-프레임 저역 통과 필터링 단계 중의 임의의 것으로부터 얻어진 피크 및 관련 대역폭 데이터는 그룹을 분리하는 데 사용될 수 있다. 또한, 지연이 일부의 과도 휘도 세그먼트에 적용될 수 있고, 적어도 하나의 과도 휘도 세그먼트의 처음에 있는 적어도 하나의 프레임이 상기 과도 휘도 세그먼트에 대한 파라미터 세트와 톤 맵핑되지 않고 상기 적어도 하나의 과도 휘도 세그먼트 내의 다음의 프레임이 상기 과도 휘도 세그먼트에 대한 파라미터 세트와 톤 맵핑된다.
이제 본 발명은 첨부된 도면을 참조하여 예로서 설명한다.
도 1은 본 발명에 따른 톤 맵핑을 위한 파라미터 세트를 결정하는 플로우차트.
도 2는 본 발명에 따른 비디오 시퀀스 분할을 위한 플로우차트.
도 3은 비디오 시퀀스에서 프레임 간에 평균 휘도가 어떻게 변할 수 있는지의 예를 나타내는 그래프.
도 4는 저역 통과 필터링 후에 비디오 시퀀스에서 프레임 간에 평균 휘도가 어떻게 변할 수 있는지의 예를 나타내는 그래프.
도 5는 도 4의 저역 통과 필터링된 비디오 시퀀스의 그래디언트(gradient)를 나타내는 도면.
도 6은 도 5의 그래디언트의 저역 통과 필터링의 결과를 나타내는 그래프.
도 1은 본 발명에 따른 톤 맵핑을 위한 파라미터 세트를 결정하는 플로우차트.
도 2는 본 발명에 따른 비디오 시퀀스 분할을 위한 플로우차트.
도 3은 비디오 시퀀스에서 프레임 간에 평균 휘도가 어떻게 변할 수 있는지의 예를 나타내는 그래프.
도 4는 저역 통과 필터링 후에 비디오 시퀀스에서 프레임 간에 평균 휘도가 어떻게 변할 수 있는지의 예를 나타내는 그래프.
도 5는 도 4의 저역 통과 필터링된 비디오 시퀀스의 그래디언트(gradient)를 나타내는 도면.
도 6은 도 5의 그래디언트의 저역 통과 필터링의 결과를 나타내는 그래프.
본 개시물은 일반적으로 가변 조명 조건을 갖는 일부의 장면을 갖는 비디오와 관련된다. 일반적인 접근법은 먼저 비디오 내의 장면의 시작 및 종료 시간을 검출하는 것에서 시작할 수 있다. 그 후, 접근법은 정적 조명을 갖는 이전 및 다음 장면의 파라미터 값을 보간함으로써 가변 조명 조건을 갖는 장면의 모든 각각의 프레임에 대한 파라미터를 산출하는 것을 포함한다.
개시된 발명의 일반적인 시스템 다이어그램이 도 1에 도시되어 있다. 파라미터 보간 방식은, 먼저 둘 이상의 장면을 갖는 HDR 비디오(101)를 구함으로써 수행될 수 있다. 다음 단계는 비디오를 장면 또는 세그먼트로 분석 및 분리하는 것(102)을 포함할 수 있다. 분석은 세그먼트를 정적 또는 과도 세그먼트로 분류하는 것을 포함한다. 그 후, 정적 세그먼트에 대한 파라미터 세트를 추정한다(103). 그 후 과도 세그먼트에 대한 파라미터 세트가 보간(104)되고 평가(105)된다. 평가는 적절한 사용자 인터페이스를 이용하여 수행된다. 정적 및 과도 세그먼트에 대한 파라미터 세트의 적용이 만족스러우면, 파라미터 세트에 따라 톤 맵핑이 수행된다(106). 파라미터 세트의 적용이 만족스럽지 않으면, 정적 세그먼트에 대한 새로운 파라미터를 추정하고 찾을 수 있도록 단계(103, 104 및 105)가 재실행된다.
도 2는 본 발명에 따라 단계(102)에서의 비디오 시퀀스 분리에 대한 플로우차트이다. 비디오(101)가 얻어지고 정적 및 과도 세그먼트로 분석 및 분리된다(102). 프로세스 흐름은 다음과 같다. 각 프레임의 평균 휘도가 산출되고(202), 프레임-투-프레임 저역 통과 필터링이 평균 휘도 데이터에 적용되고(203), 저역 통과 필터 휘도 데이터의 그래디언트가 산출되고(204), 프레임-투-프레임 저역 통과 필터링이 그래디언트 데이터에 적용되고(205), 필터링된 그래디언트 데이터로부터 피크가 검출되고 관련 대역폭이 산출되고(206), 과도 및 정적 세그먼트의 위치가 피크 및 대역폭 데이터로부터 산출된다(207).
도 2의 프로세스 흐름에 대하여, 입력 HDR 비디오의 프레임 레벨 평균 휘도가 분석된다. 각 프레임의 평균 휘도가 시간에 따라 변할 수 있다는 것을 명심하는 것이 중요하다. 이것은 비디오 시퀀스 내의 상이한 프레임 내의 평균 휘도가 어떻게 변할 수 있는지를 나타내는 도 3에 도시된다. 또한, 비디오는 평균 휘도 변화에 따라 몇 개의 세그먼트로 분리될 수 있다. 유사한 평균 휘도를 갖는 연속적인 프레임은 여기서 정적 세그먼트라 한다. 2개의 정적 세그먼트 사이의 프레임은 시간에 따라 점차 변하는 평균 휘도를 가질 수 있고 이는 과도 세그먼트라 할 수 있다. 예를 들어, 도 3에서, 유사한 평균 휘도를 갖는 프레임 0 내지 60 주변 및 피크에서의 프레임 90 주변의 프레임들은 정적 세그먼트이고 그들 사이의 프레임은 과도 세그먼트를 포함할 수 있다.
각각의 과도 세그먼트의 시작 및 종료 시점을 검출하기 위하여, 평균 휘도 시퀀스의 분석에 기초한 방식이 제안된다. 그 방식은 다음과 같다.
a) 도 3에서 평균 휘도 시퀀스에 저역 통과 필터를 적용하여(203) 도 4에 도시된 바와 같이 휘도를 평활화하고;
b) 도 5에 도시된 바와 같이 평활화된 휘도 시퀀스의 그래디언트를 산출하고(204) 및 선택적으로 도 5의 그래디언트에 저역 통과 필터를 적용하여(205) 도 6에 도시된 바와 같이 평활화된 그래디언트를 얻고;
c) 도 5의 그래디언트 곡선 또는 도 6의 저역 통과 필터 그래디언트 곡선에서 피크 및 각 피크의 대역폭을 검출하고(206);
d) 과도 및 정적 위치를 산출한다(207).
피크 프레임 번호로부터 대역폭의 절반을 감산함으로써 각각의 과도 영역의 시작 시점이 산출되거나 추정될 수 있다. 과도 영역의 종료 시점은 피크 프레임 번호에 대역폭의 절반을 더함으로써 산출될 수 있다.
정적 및 과도 세그먼트의 위치가 발견된 후에, 정적 세그먼트의 키 프레임에 대한 파라미터 세트가 추정되어 전체 세그먼트에 적용된다. 파라미터 세트는 그로부터 영상이 몇 개의 영역으로 분할될 수 있는 앵커 포인트, 각 영역에 대한 노출 값, 콘트라스트 부스트(contrast boost) 파라미터 및 HDR 톤 맵핑에 대한 임의의 다른 필요한 파라미터를 포함할 수 있다. 파라미터 세트에 관하여, 노출 값, 앵커 포인트 및 콘트라스트 부스트는 다수의 기술 중의 임의의 것에 의해 얻어질 수 있지만, 콘트라스트 부스트 및 앵커 포인트는 이하에서 더 상세히 설명한다.
적어도 하나의 구현예에서, 각각의 Ai가 영역을 정의하고 또한 단일 노출 영상을 생성하는 데 사용될 수 있도록 일련의 앵커 포인트 를 정의할 수 있다. 앵커 포인트는 다음과 같이 선택될 수 있다.
여기서, 상기 식에서 E는 상수이고 8의 값을 취할 수 있다. 상기 식의 영역의 개수 N은 이하와 같이 계산될 수 있고, 이는 전체 휘도 범위를 커버할 수 있다.
L은 HDR 데이터로부터 계산될 수 있는 휘도 영상이다. HDR 데이터가 XYZ 색 공간에 있으면, Y 컴포넌트는 휘도 영상으로서 사용될 수 있다. HDR 데이터가 Rec. 709와 같은 원색(primary color)을 이용하면, RGB 색 공간으로부터의 변환은 다음과 같이 행해질 수 있다.
입력 화상의 포맷에 따라 RGB(또는 다른 색 공간) 및 휘도 영상 간의 다른 변환이 사용될 수 있다.
각 영역의 앵커 포인트를 알면, 각각의 영역에 대한 각각의 픽셀의 가중치를 계산할 수 있다. 일반적으로, 해당 앵커 포인트 Ai에 의해 정의된 각각의 영역에 대하여, 단일 노출 영상에 가장 가까운 값을 갖는 픽셀이 0.5이고, 그 픽셀이 다른 픽셀보다 그 영역에 대하여 더 큰 가중치를 갖는다.
따라서, (앵커 포인트 An에 의해 정의된) 영역 n에 대한 위치(i, j)에서의 픽셀의 가중치는 다음과 같이 계산될 수 있다.
C는 정규화 인자이고 다음과 같이 정의된다.
상기 계산된 가중치는 범위 [0, 1] 내의 값을 취하고, 따라서, N개의 영역으로의 휘도 영상의 퍼지 세그멘테이션을 정의한다. 이것은 각각의 영역이 영상 내의 모든 픽셀을 포함할 수 있지만, 그들 중 일부만이 큰 가중치를 가질 수 있다는 것을 의미한다.
선형 스케일링으로, 하나의 앵커 포인트를 특정할 수 있다. 픽셀의 휘도가 앵커 포인트를 초과하면 그 픽셀은 포화되고 1에 맵핑될 것이고, 그렇지 않으면, 0과 1 사이의 값에 맵핑될 것이다. 그러므로, 단일 노출을 선형 스케일링하는 것은 다음과 같이 정의될 수 있다.
여기서, A는 앵커 포인트이고, S(x)는 다음과 같이 정의될 수 있다.
파라미터 ρ는 범위 [2.2, 2.4] 내의 값을 취하고 톤 맵핑된 영상이 표현될 출력 장치의 감마를 나타낸다. 결과적인 영상 I는 양자화되고 종래의 LDR 디스플레이 상에 디스플레이될 수 있다. S(x)의 다른 정의가 가능하다는 것에 유의한다. 예를 들어, 파워 함수 대신에 S 형상 곡선이 사용될 수 있다. 일반적으로, 임의의 글로벌 맵핑 곡선이 S에 사용될 수 있다.
다른 구현예에서, 가중치가 이진화되어 0 또는 1 및 하드 세그멘테이션(hard segmentation)을 초래한다.
가중치 Wn뿐만 아니라 앵커 포인트 An는 세그멘테이션이 수행되면 고정된다는 것에 유의하는 것이 중요하다.
콘트라스트 부스트는 피라미드 내의 인접 레벨 간의 차를 형성함으로써 얻어지는 라플라시안 피라미드로 알려진 대역 통과 피라미드를 이용하여 얻을 수 있고, 인접하는 해상도 레벨에서의 표현들 사이에서 보간이 수행되어 픽셀 대 픽셀 차(pixel to pixel differences)의 계산을 가능하게 한다. Ik는 영상 I의 라플라시안 피라미드의 한 레벨이고, 여기서, k={1, ..., K}이다. k는 레벨이고, K는 피라미드 내의 레벨의 수이다. I는 디지털 영상의 색 성분을 나타낼 수 있다. I(i,j)는 좌표(i,j)에서의 픽셀의 값을 나타낸다. 영상은 피라미드 Ik·Bk에 의해 재구성되고, B는 파워 함수로서 특징지어진 콘트라스트 부스트이다.
여기서, 형상 제어기 α는 범위 [0,1] 내에 있고 일반적으로 0.2와 0.4 사이이고, 부스트 세기 β는 통상 범위 [0,2] 내의 양의 수이다. β<1은 콘트라스트를 증가시키는 반면, β>1은 콘트라스트를 감소시킨다는 것에 유의한다. 이들 2개의 파라미터로, 이미지에 적용하기 위하여 얼마나 많이 향상되어야 하는지를 제어할 수 있다. 콘트라스트 부스트 피라미트 Bk(k={1, ..., K})는 상이한 공식을 이용하여 계산될 수 있다.
파라미터 세트가 정적 세그먼트에 대하여 결정된 후에, 본 발명의 구현은 2개의 인접한 정적 세그먼트의 파라미터를 보간에 이용한다. 따라서, 도 1에 도시된 다음 단계는 과도 세그먼트에 대한 파라미터 세트를 보간하는 것(104)이다. 2개의 보간 방식이 사용된다. 하나는 광 적응(light adaptation)이 없는 보간이다. 다른 하나는 광 적응이 있는 보간이다.
광 적응이 없는 접근법에 대한 과도 세그먼트에 대하여, 이전의 단계로부터 얻은 정적 세그먼트의 파라미터에 기초하여 파라미터 세트를 보간할 수 있다. 보간은 다음과 같이 로그 도메인(logarithm domain)에서 선형 보간으로서 수행될 수 있다.
여기서, A, B 및 G는 로그 도메인 내의 앵커 포인트, 콘트라스트 부스트 레벨 및 노출 값을 각각 나타내고, m 및 n은 과도 세그먼트의 시작 및 종료 프레임 인덱스를 나타내고, j는 과도 세그먼트에 위치하는 현재의 프레임 번호이다. 광 적응이 고려되지 않으면, A, B 및 G 값은 과도 세그먼트에 대한 파라미터로서 사용된다.
그러나, 인간의 시각 시스템은 별빛 아래로부터 태양 광선까지 광범위한 광도에 걸쳐 효과적으로 작동한다. 어둠으로부터 광 변화로의 더 빠른 회복 또는 수초가 걸릴 수 있는 작은 광 감소는 광 적응으로 알려져 있다.
광 적응이 있는 구현예에서, 상기 파라미터 보간이 수행되어 어떻게 인간의 시각 시스템이 광 조건 변화에 적응하는지를 시뮬레이션한다. 이것은 특히 환경이 더 밝아질 때 유용하다.
본질적으로 아이디어는 파라미터 보간에서 지연 인자를 도입하는 것이다. 과도 기간 내의 처음 몇몇의 프레임에서는, 이전의 장면으로부터의 파라미터가 여전히 사용된다. 그 후, 로그 도메인 내의 선형 보간이 사용될 것이다.
여기서, A, B 및 G는 로그 도메인 내의 앵커 포인트, 콘트라스트 부스트 레벨 및 이득 값을 각각 나타내고, m 및 n은 과도 세그먼트의 시작 및 종료 프레임 인덱스를 나타내고, j는 과도 세그먼트에 위치하는 현재의 프레임 번호이다. l은 갑작스런 조명 변화에 인간의 시각 시스템이 어떻게 적응하게 되는지를 시뮬레이션하는 조명 변화의 시작의 시간 지연을 나타낸다. 통상, l의 값은 3 내지 6 프레임으로 간주된다.
비디오를 톤 맵핑하기 위해 비디오에 직접 적용될 수 있는 과도 세그먼트에 대한 파라미터 세트가 얻어지면(106), 파라미터 세트가 평가될 수 있다(105). 상술한 바와 같이, 평가는 적절한 사용자 인터페이스를 이용하여 수행될 수 있고, 정적 및 과도 세그먼트에 대한 파라미터 세트의 적용이 만족스러우면, 톤 맵핑이 파라미터 세트에 따라 수행되고(106), 파라미터 세트의 적용이 만족스럽지 못하면, 정적 세그먼트에 대한 새로운 파라미터를 추정하여 찾기 위해 단계(103, 104 및 105)로 되돌아간다. 단계(103, 104, 105)로 되돌아가는 것은 그래디언트 데이터에 대해 추가적인 저역 통과 필터 동작을 적용하는 것 및/또는 콘트라스트 부스트 파라미터를 변경하는 것을 포함할 수 있다.
본 발명의 소정의 실시예를 상술하였지만, 이들 설명은 예시와 설명을 목적으로 기재된 것이다. 본 발명의 사상 또는 범위를 벗어나지 않고 상술한 시스템 및 방법의 변형, 변경, 수정 및 일탈이 채택될 수 있다.
Claims (15)
- 디스플레이 장치에 의해, 복수의 개별 프레임들을 갖는 비디오를 톤 맵핑하는 방법으로서,
상기 프레임들의 각각의 프레임 평균 휘도에 프레임-투-프레임 저역 통과 필터를 적용하는 단계;
필터링된 각각의 프레임 평균 휘도의 휘도 그래디언트들을 생성하여 상기 개별 프레임들에 대한 휘도 정보를 생성하는 단계;
상기 개별 프레임들에 대한 상기 휘도 정보에 응답하여 상기 프레임들을 갖는 상기 비디오를 세그먼트들로 분리하는 단계;
상기 세그먼트들을 정적 휘도 세그먼트들 및 과도 휘도 세그먼트들로 분류하는 단계;
상기 정적 휘도 세그먼트들에 대한 톤 맵핑 파라미터 세트를 생성하는 단계;
인접하는 정적 휘도 세그먼트의 상기 톤 맵핑 파라미터 세트에 응답하여 상기 과도 휘도 세그먼트들 중의 적어도 하나의 과도 휘도 세그먼트에 대한 톤 맵핑 파라미터 세트를 생성하는 단계;
각각의 톤 맵핑 파라미터 세트들에 따라 상기 정적 휘도 세그먼트들 및 과도 휘도 세그먼트들을 톤 맵핑하는 단계;
휘도 그래디언트들에서의 피크들을 검출하고 상기 피크들의 관련 대역폭들을 결정하는 단계; 및
상기 피크들 및 상기 관련 대역폭들을 상기 분리 단계를 위한 휘도 정보로서 이용하는 단계
를 포함하는 톤 맵핑 방법. - 제1항에 있어서, 상기 과도 휘도 세그먼트들 중의 적어도 하나의 과도 휘도 세그먼트에 대한 톤 맵핑 파라미터 세트를 생성하는 단계는 2개의 인접 과도 휘도 세그먼트들의 톤 맵핑 파라미터 세트들로부터 상기 톤 맵핑 파라미터 세트에서의 적어도 하나의 파라미터 타입을 보간함으로써 상기 톤 맵핑 파라미터 세트를 생성하는 단계를 포함하는 톤 맵핑 방법.
- 제2항에 있어서, 상기 적어도 하나의 파라미터 타입은 앵커 포인트, 콘트라스트 부스트 레벨 또는 노출 값 중 적어도 하나인 톤 맵핑 방법.
- 삭제
- 삭제
- 삭제
- 제1항에 있어서, 상기 과도 휘도 세그먼트들의 시작 시점은 해당 대역폭의 절반 및 피크 프레임 번호의 차로부터 결정되고 상기 과도 휘도 세그먼트들의 종료 시점은 상기 대역폭의 절반 및 피크 프레임 번호의 합으로부터 결정되는 톤 맵핑 방법.
- 삭제
- 삭제
- 삭제
- 삭제
- 제2항에 있어서, 앵커 포인트, 콘트라스트 부스트 레벨 또는 노출 값으로 구성되는 그룹으로부터 상기 적어도 하나의 파라미터 타입을 선택하는 단계를 포함하는 톤 맵핑 방법.
- 삭제
- 제1항에 있어서, 적어도 하나의 과도 휘도 세그먼트의 처음에 있는 적어도 하나의 프레임이 상기 과도 휘도 세그먼트들에 대한 파라미터 세트들과 톤 맵핑되지 않고 상기 적어도 하나의 과도 휘도 세그먼트 내의 다음의 프레임들이 상기 과도 휘도 세그먼트들에 대한 파라미터 세트들과 톤 맵핑되도록 상기 적어도 하나의 과도 휘도 세그먼트에 지연을 적용하는 단계를 포함하는 톤 맵핑 방법.
- 제14항에 있어서, 상기 지연은 3 내지 6 프레임인 톤 맵핑 방법.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US33853210P | 2010-02-19 | 2010-02-19 | |
US61/338,532 | 2010-02-19 | ||
PCT/US2011/000257 WO2011102887A1 (en) | 2010-02-19 | 2011-02-11 | Parameters interpolation for high dynamic range video tone mapping |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130008558A KR20130008558A (ko) | 2013-01-22 |
KR101787788B1 true KR101787788B1 (ko) | 2017-10-18 |
Family
ID=43827641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127024376A KR101787788B1 (ko) | 2010-02-19 | 2011-02-11 | 높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8737738B2 (ko) |
EP (1) | EP2537138B1 (ko) |
JP (1) | JP5726914B2 (ko) |
KR (1) | KR101787788B1 (ko) |
CN (1) | CN102763134B (ko) |
TW (1) | TWI470581B (ko) |
WO (1) | WO2011102887A1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10735688B2 (en) | 2017-07-13 | 2020-08-04 | Samsung Electronics Co., Ltd. | Electronics apparatus, display apparatus and control method thereof |
US11823362B2 (en) | 2019-11-15 | 2023-11-21 | Samsung Electronics Co., Ltd. | Image providing apparatus and image providing method thereof, and display apparatus and display method thereof |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9955084B1 (en) | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
JP2015005878A (ja) | 2013-06-20 | 2015-01-08 | ソニー株式会社 | 再生装置、再生方法、および記録媒体 |
EP2989793B1 (en) | 2013-11-13 | 2017-04-05 | Dolby Laboratories Licensing Corporation | Workflow for content creation and guided display management of enhanced dynamic range video |
WO2015197436A1 (en) * | 2014-06-25 | 2015-12-30 | Thomson Licensing | Method and device for processing images |
US10277771B1 (en) | 2014-08-21 | 2019-04-30 | Oliver Markus Haynold | Floating-point camera |
US10225485B1 (en) | 2014-10-12 | 2019-03-05 | Oliver Markus Haynold | Method and apparatus for accelerated tonemapping |
US9979895B2 (en) * | 2015-09-04 | 2018-05-22 | Disney Enterprises, Inc. | High dynamic range tone mapping |
GB2543778B (en) * | 2015-10-27 | 2018-08-08 | Imagination Tech Ltd | Systems and methods for processing images of objects |
GB2543779B (en) * | 2015-10-27 | 2018-07-25 | Imagination Tech Ltd | Systems and methods for processing images of objects |
GB2543777B (en) * | 2015-10-27 | 2018-07-25 | Imagination Tech Ltd | Systems and methods for processing images of objects |
EP3507981B1 (en) * | 2016-08-30 | 2023-11-29 | Dolby Laboratories Licensing Corporation | Real-time reshaping of single-layer backwards-compatible codec |
US10264193B2 (en) * | 2016-12-06 | 2019-04-16 | Polycom, Inc. | System and method for providing images and video having high dynamic range |
US10755392B2 (en) * | 2017-07-13 | 2020-08-25 | Mediatek Inc. | High-dynamic-range video tone mapping |
JP7108880B2 (ja) * | 2017-10-06 | 2022-07-29 | パナソニックIpマネジメント株式会社 | 映像表示装置及び映像表示方法 |
US11962819B2 (en) | 2018-07-17 | 2024-04-16 | Dolby Laboratories Licensing Corporation | Foviation and HDR |
JP7443325B2 (ja) * | 2018-07-17 | 2024-03-05 | ドルビー ラボラトリーズ ライセンシング コーポレイション | フォービエイションおよびhdr |
CN108986053B (zh) * | 2018-08-21 | 2021-03-16 | 北京小米移动软件有限公司 | 屏幕显示方法及装置 |
WO2020219401A1 (en) * | 2019-04-25 | 2020-10-29 | Dolby Laboratories Licensing Corporation | Content-aware pq range analyzer and tone mapping in live feeds |
EP3742432A1 (en) * | 2019-05-24 | 2020-11-25 | InterDigital CE Patent Holdings | Device and method for transition between luminance levels |
US11473971B2 (en) | 2019-09-27 | 2022-10-18 | Apple Inc. | Ambient headroom adaptation |
KR20210083840A (ko) | 2019-12-27 | 2021-07-07 | 삼성전자주식회사 | 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법 |
CN111294575B (zh) * | 2020-01-19 | 2022-06-28 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
WO2021223205A1 (en) * | 2020-05-08 | 2021-11-11 | Huawei Technologies Co., Ltd. | Encoder, decoder, system, and method for determining tone mapping curve parameters |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002271756A (ja) | 2001-03-08 | 2002-09-20 | Sony Corp | データ処理装置、およびデータ処理方法、並びにプログラム |
JP2005318198A (ja) | 2004-04-28 | 2005-11-10 | Mitsubishi Electric Corp | 階調改善回路及び表示システム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6592523B2 (en) * | 2001-11-21 | 2003-07-15 | Ge Medical Systems Global Technology Company, Llc | Computationally efficient noise reduction filter for enhancement of ultrasound images |
US7034843B2 (en) * | 2002-07-10 | 2006-04-25 | Genesis Microchip Inc. | Method and system for adaptive color and contrast for display devices |
US7492375B2 (en) | 2003-11-14 | 2009-02-17 | Microsoft Corporation | High dynamic range image viewing on low dynamic range displays |
US20050117799A1 (en) | 2003-12-01 | 2005-06-02 | Chiou-Shann Fuh | Method and apparatus for transforming a high dynamic range image into a low dynamic range image |
US7324706B2 (en) * | 2004-09-09 | 2008-01-29 | Silicon Optix Inc. | System and method for representing a general two dimensional spatial transformation |
SG139602A1 (en) * | 2006-08-08 | 2008-02-29 | St Microelectronics Asia | Automatic contrast enhancement |
KR100843090B1 (ko) | 2006-10-25 | 2008-07-02 | 삼성전자주식회사 | 영상의 깜박임을 개선하는 디스플레이 장치 및 방법 |
US20090317017A1 (en) | 2008-06-20 | 2009-12-24 | The Hong Kong University Of Science And Technology | Image characteristic oriented tone mapping for high dynamic range images |
US8270759B2 (en) * | 2008-06-16 | 2012-09-18 | International Business Machines Corporation | Transformation of a video image from a high dynamic range image to a low dynamic range image |
US11380270B2 (en) * | 2009-02-11 | 2022-07-05 | Interdigital Madison Patent Holdings | Signal generation for LED/LCD-based high dynamic range displays |
WO2011002505A1 (en) * | 2009-06-29 | 2011-01-06 | Thomson Licensing | Zone-based tone mapping |
US8639056B2 (en) * | 2009-06-29 | 2014-01-28 | Thomson Licensing | Contrast enhancement |
US9336578B2 (en) * | 2009-09-14 | 2016-05-10 | Thomson Licensing | Interactive tone mapping for high dynamic range video |
CN102834309B (zh) * | 2010-02-26 | 2016-12-21 | 金泰克斯公司 | 自动车辆设备监控、报警和控制系统 |
EP2564373B1 (en) * | 2010-04-26 | 2014-12-17 | Robert Bosch GmbH | Detection and/or enhancement of contrast differences in digital image data |
-
2011
- 2011-02-11 WO PCT/US2011/000257 patent/WO2011102887A1/en active Application Filing
- 2011-02-11 KR KR1020127024376A patent/KR101787788B1/ko active IP Right Grant
- 2011-02-11 JP JP2012553899A patent/JP5726914B2/ja active Active
- 2011-02-11 US US13/579,401 patent/US8737738B2/en active Active
- 2011-02-11 EP EP11706373.5A patent/EP2537138B1/en active Active
- 2011-02-11 CN CN201180010160.9A patent/CN102763134B/zh active Active
- 2011-02-18 TW TW100105529A patent/TWI470581B/zh active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002271756A (ja) | 2001-03-08 | 2002-09-20 | Sony Corp | データ処理装置、およびデータ処理方法、並びにプログラム |
US20030154377A1 (en) * | 2001-03-08 | 2003-08-14 | Jun Hirai | Data processing apparatus , data processing method, and program |
JP2005318198A (ja) | 2004-04-28 | 2005-11-10 | Mitsubishi Electric Corp | 階調改善回路及び表示システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10735688B2 (en) | 2017-07-13 | 2020-08-04 | Samsung Electronics Co., Ltd. | Electronics apparatus, display apparatus and control method thereof |
US11823362B2 (en) | 2019-11-15 | 2023-11-21 | Samsung Electronics Co., Ltd. | Image providing apparatus and image providing method thereof, and display apparatus and display method thereof |
Also Published As
Publication number | Publication date |
---|---|
TW201214332A (en) | 2012-04-01 |
CN102763134A (zh) | 2012-10-31 |
US20130163868A1 (en) | 2013-06-27 |
WO2011102887A1 (en) | 2011-08-25 |
EP2537138A1 (en) | 2012-12-26 |
JP2013520687A (ja) | 2013-06-06 |
JP5726914B2 (ja) | 2015-06-03 |
KR20130008558A (ko) | 2013-01-22 |
EP2537138B1 (en) | 2014-04-02 |
US8737738B2 (en) | 2014-05-27 |
TWI470581B (zh) | 2015-01-21 |
CN102763134B (zh) | 2015-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101787788B1 (ko) | 높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간 | |
KR101831551B1 (ko) | 높은 동적 범위의 이미지 생성 및 렌더링 | |
Lin et al. | Multi-scale retinex improvement for nighttime image enhancement | |
CN105745914B (zh) | 用于逆色调映射的方法和系统 | |
US8149336B2 (en) | Method for digital noise reduction in low light video | |
KR102567860B1 (ko) | 개선된 역 톤 매핑 방법 및 대응하는 디바이스 | |
CN107292830B (zh) | 低照度图像增强及评价方法 | |
KR20160102524A (ko) | 이미지의 역 톤 매핑을 위한 방법 | |
CN111064904A (zh) | 一种暗光图像增强方法 | |
KR100694153B1 (ko) | 매핑 함수에 기반한 이미지 처리 방법 및 장치 | |
CN104574328A (zh) | 一种基于直方图分割的彩色图像增强方法 | |
CN111372006B (zh) | 一种面向移动端的高动态范围成像方法及系统 | |
JP5183440B2 (ja) | 階調補正装置および撮像装置 | |
EP2372638B1 (en) | A black and white stretch method for dynamic range extension | |
CN104299213A (zh) | 一种基于低动态图像的细节特征合成高动态图像的方法 | |
KR100765760B1 (ko) | 이미지의 전역 정보를 이용하여 어두운 부분의 세부들을개선하는 방법 및 장치 | |
KR101349968B1 (ko) | 자동 영상보정을 위한 영상 처리 장치 및 방법 | |
JP5202190B2 (ja) | 画像処理方法及び画像処理装置 | |
JP5119740B2 (ja) | 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体 | |
WO2023110878A1 (en) | Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models | |
JP4992379B2 (ja) | 画像の階調変換装置、プログラム、電子カメラ、およびその方法 | |
KR102136716B1 (ko) | 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 | |
CN112488972A (zh) | 一种绿幕图像与虚拟图像实时合成的方法和装置 | |
CN112118446A (zh) | 图像压缩方法及装置 | |
CN112241670A (zh) | 图像处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |