KR101787788B1 - 높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간 - Google Patents

높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간 Download PDF

Info

Publication number
KR101787788B1
KR101787788B1 KR1020127024376A KR20127024376A KR101787788B1 KR 101787788 B1 KR101787788 B1 KR 101787788B1 KR 1020127024376 A KR1020127024376 A KR 1020127024376A KR 20127024376 A KR20127024376 A KR 20127024376A KR 101787788 B1 KR101787788 B1 KR 101787788B1
Authority
KR
South Korea
Prior art keywords
luminance
segments
tone mapping
transient
segment
Prior art date
Application number
KR1020127024376A
Other languages
English (en)
Other versions
KR20130008558A (ko
Inventor
지 왕
지에푸 자이
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130008558A publication Critical patent/KR20130008558A/ko
Application granted granted Critical
Publication of KR101787788B1 publication Critical patent/KR101787788B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

낮은 동적 범위의 디스플레이에서의 디스플레이를 위하여 높은 동적 범위(HDR) 비디오를 톤 맵핑하는 방법은 HDR 비디오에 액세스하는 단계; 개별 프레임에 대한 휘도 정보를 생성하는 단계; 상기 휘도 정보에 응답하여 상이한 연속적인 프레임 그룹을 세그먼트로 분리하는 단계; 상기 세그먼트를 정적 휘도 세그먼트 및 과도 휘도 세그먼트로 분류하는 단계; 상기 정적 휘도 세그먼트에 대한 톤 맵핑 파라미터를 생성하는 단계; 인접하는 정적 휘도 세그먼트의 톤 맵핑 파라미터 세트에 응답하여 상기 과도 휘도 세그먼트 중의 적어도 하나에 대한 톤 맵핑 파라미터를 생성하는 단계; 및 상기 각각의 톤 맵핑 파라미터 세트에 따라 상기 휘도 세그먼트 및 과도 휘도 세그먼트를 톤 맵핑하는 단계를 포함한다.

Description

높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간{PARAMETERS INTERPOLATION FOR HIGH DYNAMIC RANGE VIDEO TONE MAPPING}
<관련 출원의 상호 참조>
본 출원은 35 U.S.C §119(e)의 규정 하에 2010년 2월 19일에 출원한 미국 가특허 출원 제61/338532호의 출원일의 이득을 청구한다.
<발명의 분야>
본 발명은 낮은 동적 범위(LDR; low dynamic range) 디스플레이 상에서의 높은 동적 범위(HDR) 콘텐츠의 톤 재생에 관한 것으로, 특히 가변 조명 조건을 갖는 비디오에 대한 톤 재생에 관한 것이다.
현재, 대부분의 디스플레이 장치는 실세계 장면보다 낮은 제한된 동적 범위를 갖는다. 낮은 동적 범위(LDR) 디스플레이 장치 상에 표현된 HDR 장면은 통상 사진 내의 과도 노출에 대응하는 포화(saturated) 또는 노출 부족(underexposure)에 대응하는 극심한 어둠으로 나타난다. 어떤 경우도 수많은 세부사항이 손실될 수 있기 때문에 바람직하지 않다.
HDR 비디오 포맷의 시각적 콘텐츠의 양은 크게 증가하고 있다. 그러므로, HDR 비디오에 대한 톤 맵핑은 학계 및 산업계에서 많은 관심을 끌어 왔다. 그러나, 정지 영상의 톤 맵핑과 비교하여, HDR 비디오 톤 맵핑에는 비교적 매우 작은 노력을 기울여 왔다.
비교적 정적인 조명 조건을 갖는 비디오 장면에서는, 공지된 파라미터 추정 방법이 잘 수행되어 왔다. 이 경우, 일반적으로 고정 파라미터 세트가 정적인 조명 조건을 갖는 동일한 비디오 세그먼트 내의 모든 프레임에 적용된다.
그러나, 비디오 장면 내의 가변 조명 조건에 대해서는, 고정된 파라미터 세트를 프레임에 적용하면 톤 맵핑 파라미터가 프레임마다 변경될 수 있기 때문에 불량한 톤 맵핑 결과가 생성되었다. 따라서, 가변 조명을 갖는 장면에서 톤 맵핑을 적절하고 효율적으로 수행할 수 있는 톤 맵핑 프로세스가 필요하다.
낮은 동적 범위 디스플레이에서의 디스플레이를 위하여 높은 동적 범위(HDR) 비디오를 톤 맵핑하는 방법은 HDR 비디오에 액세스하는 단계; 개별 프레임에 대한 휘도 정보를 생성하는 단계; 상기 휘도 정보에 응답하여 상이한 연속적인 프레임 그룹을 세그먼트로 분리하는 단계; 상기 세그먼트를 정적 휘도 세그먼트 및 과도 휘도 세그먼트로 분류하는 단계; 상기 정적 휘도 세그먼트에 대한 톤 맵핑 파라미터 세트를 생성하는 단계; 인접하는 정적 휘도 세그먼트의 톤 맵핑 파라미터 세트에 응답하여 상기 과도 휘도 세그먼트 중의 적어도 하나에 대한 톤 맵핑 파라미터 세트를 생성하는 단계; 및 각각의 톤 맵핑 파라미터 세트에 따라 상기 정적 휘도 세그먼트 및 과도 휘도 세그먼트를 톤 맵핑하는 단계를 포함한다. 상기 방법은 적어도 하나의 파라미터 타입을 보간하여 2개의 인접 과도 휘도 세그먼트의 톤 맵핑 파라미터 세트로부터 과도 휘도 세그먼트 중의 적어도 하나에 대한 톤 맵핑 파라미터 세트를 생성하는 단계를 더 포함할 수 있고, 적어도 하나의 파라미터 타입은 앵커 포인트, 콘트라스트 부스트 레벨 및/또는 노출 값일 수 있다. 분리 단계는 상기 프레임의 프레임 레벨 평균 휘도에 프레임-투-프레임(frame-to-frame) 저역 통과 필터를 적용하여 휘도 정보를 생성하는 단계를 포함하거나 또는, 대안으로, 분리 단계는 상기 필터링된 프레임 레벨 평균 휘도의 휘도 그래디언트를 생성하여 휘도 정보를 생성하는 단계를 더 포함할 수 있다. 프레임-투-프레임 저역 통과 필터링 단계 중의 임의의 것으로부터 얻어진 피크 및 관련 대역폭 데이터는 그룹을 분리하는 데 사용될 수 있다. 또한, 지연이 일부의 과도 휘도 세그먼트에 적용될 수 있고, 적어도 하나의 과도 휘도 세그먼트의 처음에 있는 적어도 하나의 프레임이 상기 과도 휘도 세그먼트에 대한 파라미터 세트와 톤 맵핑되지 않고 상기 적어도 하나의 과도 휘도 세그먼트 내의 다음의 프레임이 상기 과도 휘도 세그먼트에 대한 파라미터 세트와 톤 맵핑된다.
이제 본 발명은 첨부된 도면을 참조하여 예로서 설명한다.
도 1은 본 발명에 따른 톤 맵핑을 위한 파라미터 세트를 결정하는 플로우차트.
도 2는 본 발명에 따른 비디오 시퀀스 분할을 위한 플로우차트.
도 3은 비디오 시퀀스에서 프레임 간에 평균 휘도가 어떻게 변할 수 있는지의 예를 나타내는 그래프.
도 4는 저역 통과 필터링 후에 비디오 시퀀스에서 프레임 간에 평균 휘도가 어떻게 변할 수 있는지의 예를 나타내는 그래프.
도 5는 도 4의 저역 통과 필터링된 비디오 시퀀스의 그래디언트(gradient)를 나타내는 도면.
도 6은 도 5의 그래디언트의 저역 통과 필터링의 결과를 나타내는 그래프.
본 개시물은 일반적으로 가변 조명 조건을 갖는 일부의 장면을 갖는 비디오와 관련된다. 일반적인 접근법은 먼저 비디오 내의 장면의 시작 및 종료 시간을 검출하는 것에서 시작할 수 있다. 그 후, 접근법은 정적 조명을 갖는 이전 및 다음 장면의 파라미터 값을 보간함으로써 가변 조명 조건을 갖는 장면의 모든 각각의 프레임에 대한 파라미터를 산출하는 것을 포함한다.
개시된 발명의 일반적인 시스템 다이어그램이 도 1에 도시되어 있다. 파라미터 보간 방식은, 먼저 둘 이상의 장면을 갖는 HDR 비디오(101)를 구함으로써 수행될 수 있다. 다음 단계는 비디오를 장면 또는 세그먼트로 분석 및 분리하는 것(102)을 포함할 수 있다. 분석은 세그먼트를 정적 또는 과도 세그먼트로 분류하는 것을 포함한다. 그 후, 정적 세그먼트에 대한 파라미터 세트를 추정한다(103). 그 후 과도 세그먼트에 대한 파라미터 세트가 보간(104)되고 평가(105)된다. 평가는 적절한 사용자 인터페이스를 이용하여 수행된다. 정적 및 과도 세그먼트에 대한 파라미터 세트의 적용이 만족스러우면, 파라미터 세트에 따라 톤 맵핑이 수행된다(106). 파라미터 세트의 적용이 만족스럽지 않으면, 정적 세그먼트에 대한 새로운 파라미터를 추정하고 찾을 수 있도록 단계(103, 104 및 105)가 재실행된다.
도 2는 본 발명에 따라 단계(102)에서의 비디오 시퀀스 분리에 대한 플로우차트이다. 비디오(101)가 얻어지고 정적 및 과도 세그먼트로 분석 및 분리된다(102). 프로세스 흐름은 다음과 같다. 각 프레임의 평균 휘도가 산출되고(202), 프레임-투-프레임 저역 통과 필터링이 평균 휘도 데이터에 적용되고(203), 저역 통과 필터 휘도 데이터의 그래디언트가 산출되고(204), 프레임-투-프레임 저역 통과 필터링이 그래디언트 데이터에 적용되고(205), 필터링된 그래디언트 데이터로부터 피크가 검출되고 관련 대역폭이 산출되고(206), 과도 및 정적 세그먼트의 위치가 피크 및 대역폭 데이터로부터 산출된다(207).
도 2의 프로세스 흐름에 대하여, 입력 HDR 비디오의 프레임 레벨 평균 휘도가 분석된다. 각 프레임의 평균 휘도가 시간에 따라 변할 수 있다는 것을 명심하는 것이 중요하다. 이것은 비디오 시퀀스 내의 상이한 프레임 내의 평균 휘도가 어떻게 변할 수 있는지를 나타내는 도 3에 도시된다. 또한, 비디오는 평균 휘도 변화에 따라 몇 개의 세그먼트로 분리될 수 있다. 유사한 평균 휘도를 갖는 연속적인 프레임은 여기서 정적 세그먼트라 한다. 2개의 정적 세그먼트 사이의 프레임은 시간에 따라 점차 변하는 평균 휘도를 가질 수 있고 이는 과도 세그먼트라 할 수 있다. 예를 들어, 도 3에서, 유사한 평균 휘도를 갖는 프레임 0 내지 60 주변 및 피크에서의 프레임 90 주변의 프레임들은 정적 세그먼트이고 그들 사이의 프레임은 과도 세그먼트를 포함할 수 있다.
각각의 과도 세그먼트의 시작 및 종료 시점을 검출하기 위하여, 평균 휘도 시퀀스의 분석에 기초한 방식이 제안된다. 그 방식은 다음과 같다.
a) 도 3에서 평균 휘도 시퀀스에 저역 통과 필터를 적용하여(203) 도 4에 도시된 바와 같이 휘도를 평활화하고;
b) 도 5에 도시된 바와 같이 평활화된 휘도 시퀀스의 그래디언트를 산출하고(204) 및 선택적으로 도 5의 그래디언트에 저역 통과 필터를 적용하여(205) 도 6에 도시된 바와 같이 평활화된 그래디언트를 얻고;
c) 도 5의 그래디언트 곡선 또는 도 6의 저역 통과 필터 그래디언트 곡선에서 피크 및 각 피크의 대역폭을 검출하고(206);
d) 과도 및 정적 위치를 산출한다(207).
피크 프레임 번호로부터 대역폭의 절반을 감산함으로써 각각의 과도 영역의 시작 시점이 산출되거나 추정될 수 있다. 과도 영역의 종료 시점은 피크 프레임 번호에 대역폭의 절반을 더함으로써 산출될 수 있다.
정적 및 과도 세그먼트의 위치가 발견된 후에, 정적 세그먼트의 키 프레임에 대한 파라미터 세트가 추정되어 전체 세그먼트에 적용된다. 파라미터 세트는 그로부터 영상이 몇 개의 영역으로 분할될 수 있는 앵커 포인트, 각 영역에 대한 노출 값, 콘트라스트 부스트(contrast boost) 파라미터 및 HDR 톤 맵핑에 대한 임의의 다른 필요한 파라미터를 포함할 수 있다. 파라미터 세트에 관하여, 노출 값, 앵커 포인트 및 콘트라스트 부스트는 다수의 기술 중의 임의의 것에 의해 얻어질 수 있지만, 콘트라스트 부스트 및 앵커 포인트는 이하에서 더 상세히 설명한다.
적어도 하나의 구현예에서, 각각의 Ai가 영역을 정의하고 또한 단일 노출 영상을 생성하는 데 사용될 수 있도록 일련의 앵커 포인트
Figure 112012075543179-pct00001
를 정의할 수 있다. 앵커 포인트는 다음과 같이 선택될 수 있다.
Figure 112012075543179-pct00002
여기서, 상기 식에서 E는 상수이고 8의 값을 취할 수 있다. 상기 식의 영역의 개수 N은 이하와 같이 계산될 수 있고, 이는 전체 휘도 범위를 커버할 수 있다.
Figure 112012075543179-pct00003
L은 HDR 데이터로부터 계산될 수 있는 휘도 영상이다. HDR 데이터가 XYZ 색 공간에 있으면, Y 컴포넌트는 휘도 영상으로서 사용될 수 있다. HDR 데이터가 Rec. 709와 같은 원색(primary color)을 이용하면, RGB 색 공간으로부터의 변환은 다음과 같이 행해질 수 있다.
Figure 112012075543179-pct00004
입력 화상의 포맷에 따라 RGB(또는 다른 색 공간) 및 휘도 영상 간의 다른 변환이 사용될 수 있다.
각 영역의 앵커 포인트를 알면, 각각의 영역에 대한 각각의 픽셀의 가중치를 계산할 수 있다. 일반적으로, 해당 앵커 포인트 Ai에 의해 정의된 각각의 영역에 대하여, 단일 노출 영상에 가장 가까운 값을 갖는 픽셀이 0.5이고, 그 픽셀이 다른 픽셀보다 그 영역에 대하여 더 큰 가중치를 갖는다.
따라서, (앵커 포인트 An에 의해 정의된) 영역 n에 대한 위치(i, j)에서의 픽셀의 가중치는 다음과 같이 계산될 수 있다.
Figure 112012075543179-pct00005
C는 정규화 인자이고 다음과 같이 정의된다.
Figure 112012075543179-pct00006
상기 계산된 가중치는 범위 [0, 1] 내의 값을 취하고, 따라서, N개의 영역으로의 휘도 영상의 퍼지 세그멘테이션을 정의한다. 이것은 각각의 영역이 영상 내의 모든 픽셀을 포함할 수 있지만, 그들 중 일부만이 큰 가중치를 가질 수 있다는 것을 의미한다.
선형 스케일링으로, 하나의 앵커 포인트를 특정할 수 있다. 픽셀의 휘도가 앵커 포인트를 초과하면 그 픽셀은 포화되고 1에 맵핑될 것이고, 그렇지 않으면, 0과 1 사이의 값에 맵핑될 것이다. 그러므로, 단일 노출을 선형 스케일링하는 것은 다음과 같이 정의될 수 있다.
Figure 112012075543179-pct00007
여기서, A는 앵커 포인트이고, S(x)는 다음과 같이 정의될 수 있다.
Figure 112012075543179-pct00008
파라미터 ρ는 범위 [2.2, 2.4] 내의 값을 취하고 톤 맵핑된 영상이 표현될 출력 장치의 감마를 나타낸다. 결과적인 영상 I는 양자화되고 종래의 LDR 디스플레이 상에 디스플레이될 수 있다. S(x)의 다른 정의가 가능하다는 것에 유의한다. 예를 들어, 파워 함수 대신에 S 형상 곡선이 사용될 수 있다. 일반적으로, 임의의 글로벌 맵핑 곡선이 S에 사용될 수 있다.
다른 구현예에서, 가중치가 이진화되어 0 또는 1 및 하드 세그멘테이션(hard segmentation)을 초래한다.
Figure 112012075543179-pct00009
가중치 Wn뿐만 아니라 앵커 포인트 An는 세그멘테이션이 수행되면 고정된다는 것에 유의하는 것이 중요하다.
콘트라스트 부스트는 피라미드 내의 인접 레벨 간의 차를 형성함으로써 얻어지는 라플라시안 피라미드로 알려진 대역 통과 피라미드를 이용하여 얻을 수 있고, 인접하는 해상도 레벨에서의 표현들 사이에서 보간이 수행되어 픽셀 대 픽셀 차(pixel to pixel differences)의 계산을 가능하게 한다. Ik는 영상 I의 라플라시안 피라미드의 한 레벨이고, 여기서, k={1, ..., K}이다. k는 레벨이고, K는 피라미드 내의 레벨의 수이다. I는 디지털 영상의 색 성분을 나타낼 수 있다. I(i,j)는 좌표(i,j)에서의 픽셀의 값을 나타낸다. 영상은 피라미드 Ik·Bk에 의해 재구성되고, B는 파워 함수로서 특징지어진 콘트라스트 부스트이다.
Figure 112012075543179-pct00010
여기서, 형상 제어기 α는 범위 [0,1] 내에 있고 일반적으로 0.2와 0.4 사이이고, 부스트 세기 β는 통상 범위 [0,2] 내의 양의 수이다. β<1은 콘트라스트를 증가시키는 반면, β>1은 콘트라스트를 감소시킨다는 것에 유의한다. 이들 2개의 파라미터로, 이미지에 적용하기 위하여 얼마나 많이 향상되어야 하는지를 제어할 수 있다. 콘트라스트 부스트 피라미트 Bk(k={1, ..., K})는 상이한 공식을 이용하여 계산될 수 있다.
파라미터 세트가 정적 세그먼트에 대하여 결정된 후에, 본 발명의 구현은 2개의 인접한 정적 세그먼트의 파라미터를 보간에 이용한다. 따라서, 도 1에 도시된 다음 단계는 과도 세그먼트에 대한 파라미터 세트를 보간하는 것(104)이다. 2개의 보간 방식이 사용된다. 하나는 광 적응(light adaptation)이 없는 보간이다. 다른 하나는 광 적응이 있는 보간이다.
광 적응이 없는 접근법에 대한 과도 세그먼트에 대하여, 이전의 단계로부터 얻은 정적 세그먼트의 파라미터에 기초하여 파라미터 세트를 보간할 수 있다. 보간은 다음과 같이 로그 도메인(logarithm domain)에서 선형 보간으로서 수행될 수 있다.
Figure 112012075543179-pct00011
여기서, A, B 및 G는 로그 도메인 내의 앵커 포인트, 콘트라스트 부스트 레벨 및 노출 값을 각각 나타내고, m 및 n은 과도 세그먼트의 시작 및 종료 프레임 인덱스를 나타내고, j는 과도 세그먼트에 위치하는 현재의 프레임 번호이다. 광 적응이 고려되지 않으면, A, B 및 G 값은 과도 세그먼트에 대한 파라미터로서 사용된다.
그러나, 인간의 시각 시스템은 별빛 아래로부터 태양 광선까지 광범위한 광도에 걸쳐 효과적으로 작동한다. 어둠으로부터 광 변화로의 더 빠른 회복 또는 수초가 걸릴 수 있는 작은 광 감소는 광 적응으로 알려져 있다.
광 적응이 있는 구현예에서, 상기 파라미터 보간이 수행되어 어떻게 인간의 시각 시스템이 광 조건 변화에 적응하는지를 시뮬레이션한다. 이것은 특히 환경이 더 밝아질 때 유용하다.
본질적으로 아이디어는 파라미터 보간에서 지연 인자를 도입하는 것이다. 과도 기간 내의 처음 몇몇의 프레임에서는, 이전의 장면으로부터의 파라미터가 여전히 사용된다. 그 후, 로그 도메인 내의 선형 보간이 사용될 것이다.
Figure 112012075543179-pct00012
여기서, A, B 및 G는 로그 도메인 내의 앵커 포인트, 콘트라스트 부스트 레벨 및 이득 값을 각각 나타내고, m 및 n은 과도 세그먼트의 시작 및 종료 프레임 인덱스를 나타내고, j는 과도 세그먼트에 위치하는 현재의 프레임 번호이다. l은 갑작스런 조명 변화에 인간의 시각 시스템이 어떻게 적응하게 되는지를 시뮬레이션하는 조명 변화의 시작의 시간 지연을 나타낸다. 통상, l의 값은 3 내지 6 프레임으로 간주된다.
비디오를 톤 맵핑하기 위해 비디오에 직접 적용될 수 있는 과도 세그먼트에 대한 파라미터 세트가 얻어지면(106), 파라미터 세트가 평가될 수 있다(105). 상술한 바와 같이, 평가는 적절한 사용자 인터페이스를 이용하여 수행될 수 있고, 정적 및 과도 세그먼트에 대한 파라미터 세트의 적용이 만족스러우면, 톤 맵핑이 파라미터 세트에 따라 수행되고(106), 파라미터 세트의 적용이 만족스럽지 못하면, 정적 세그먼트에 대한 새로운 파라미터를 추정하여 찾기 위해 단계(103, 104 및 105)로 되돌아간다. 단계(103, 104, 105)로 되돌아가는 것은 그래디언트 데이터에 대해 추가적인 저역 통과 필터 동작을 적용하는 것 및/또는 콘트라스트 부스트 파라미터를 변경하는 것을 포함할 수 있다.
본 발명의 소정의 실시예를 상술하였지만, 이들 설명은 예시와 설명을 목적으로 기재된 것이다. 본 발명의 사상 또는 범위를 벗어나지 않고 상술한 시스템 및 방법의 변형, 변경, 수정 및 일탈이 채택될 수 있다.

Claims (15)

  1. 디스플레이 장치에 의해, 복수의 개별 프레임들을 갖는 비디오를 톤 맵핑하는 방법으로서,
    상기 프레임들의 각각의 프레임 평균 휘도에 프레임-투-프레임 저역 통과 필터를 적용하는 단계;
    필터링된 각각의 프레임 평균 휘도의 휘도 그래디언트들을 생성하여 상기 개별 프레임들에 대한 휘도 정보를 생성하는 단계;
    상기 개별 프레임들에 대한 상기 휘도 정보에 응답하여 상기 프레임들을 갖는 상기 비디오를 세그먼트들로 분리하는 단계;
    상기 세그먼트들을 정적 휘도 세그먼트들 및 과도 휘도 세그먼트들로 분류하는 단계;
    상기 정적 휘도 세그먼트들에 대한 톤 맵핑 파라미터 세트를 생성하는 단계;
    인접하는 정적 휘도 세그먼트의 상기 톤 맵핑 파라미터 세트에 응답하여 상기 과도 휘도 세그먼트들 중의 적어도 하나의 과도 휘도 세그먼트에 대한 톤 맵핑 파라미터 세트를 생성하는 단계;
    각각의 톤 맵핑 파라미터 세트들에 따라 상기 정적 휘도 세그먼트들 및 과도 휘도 세그먼트들을 톤 맵핑하는 단계;
    휘도 그래디언트들에서의 피크들을 검출하고 상기 피크들의 관련 대역폭들을 결정하는 단계; 및
    상기 피크들 및 상기 관련 대역폭들을 상기 분리 단계를 위한 휘도 정보로서 이용하는 단계
    를 포함하는 톤 맵핑 방법.
  2. 제1항에 있어서, 상기 과도 휘도 세그먼트들 중의 적어도 하나의 과도 휘도 세그먼트에 대한 톤 맵핑 파라미터 세트를 생성하는 단계는 2개의 인접 과도 휘도 세그먼트들의 톤 맵핑 파라미터 세트들로부터 상기 톤 맵핑 파라미터 세트에서의 적어도 하나의 파라미터 타입을 보간함으로써 상기 톤 맵핑 파라미터 세트를 생성하는 단계를 포함하는 톤 맵핑 방법.
  3. 제2항에 있어서, 상기 적어도 하나의 파라미터 타입은 앵커 포인트, 콘트라스트 부스트 레벨 또는 노출 값 중 적어도 하나인 톤 맵핑 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 과도 휘도 세그먼트들의 시작 시점은 해당 대역폭의 절반 및 피크 프레임 번호의 차로부터 결정되고 상기 과도 휘도 세그먼트들의 종료 시점은 상기 대역폭의 절반 및 피크 프레임 번호의 합으로부터 결정되는 톤 맵핑 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제2항에 있어서, 앵커 포인트, 콘트라스트 부스트 레벨 또는 노출 값으로 구성되는 그룹으로부터 상기 적어도 하나의 파라미터 타입을 선택하는 단계를 포함하는 톤 맵핑 방법.
  13. 삭제
  14. 제1항에 있어서, 적어도 하나의 과도 휘도 세그먼트의 처음에 있는 적어도 하나의 프레임이 상기 과도 휘도 세그먼트들에 대한 파라미터 세트들과 톤 맵핑되지 않고 상기 적어도 하나의 과도 휘도 세그먼트 내의 다음의 프레임들이 상기 과도 휘도 세그먼트들에 대한 파라미터 세트들과 톤 맵핑되도록 상기 적어도 하나의 과도 휘도 세그먼트에 지연을 적용하는 단계를 포함하는 톤 맵핑 방법.
  15. 제14항에 있어서, 상기 지연은 3 내지 6 프레임인 톤 맵핑 방법.
KR1020127024376A 2010-02-19 2011-02-11 높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간 KR101787788B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US33853210P 2010-02-19 2010-02-19
US61/338,532 2010-02-19
PCT/US2011/000257 WO2011102887A1 (en) 2010-02-19 2011-02-11 Parameters interpolation for high dynamic range video tone mapping

Publications (2)

Publication Number Publication Date
KR20130008558A KR20130008558A (ko) 2013-01-22
KR101787788B1 true KR101787788B1 (ko) 2017-10-18

Family

ID=43827641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127024376A KR101787788B1 (ko) 2010-02-19 2011-02-11 높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간

Country Status (7)

Country Link
US (1) US8737738B2 (ko)
EP (1) EP2537138B1 (ko)
JP (1) JP5726914B2 (ko)
KR (1) KR101787788B1 (ko)
CN (1) CN102763134B (ko)
TW (1) TWI470581B (ko)
WO (1) WO2011102887A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735688B2 (en) 2017-07-13 2020-08-04 Samsung Electronics Co., Ltd. Electronics apparatus, display apparatus and control method thereof
US11823362B2 (en) 2019-11-15 2023-11-21 Samsung Electronics Co., Ltd. Image providing apparatus and image providing method thereof, and display apparatus and display method thereof

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
JP2015005878A (ja) 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
EP2989793B1 (en) 2013-11-13 2017-04-05 Dolby Laboratories Licensing Corporation Workflow for content creation and guided display management of enhanced dynamic range video
WO2015197436A1 (en) * 2014-06-25 2015-12-30 Thomson Licensing Method and device for processing images
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
US9979895B2 (en) * 2015-09-04 2018-05-22 Disney Enterprises, Inc. High dynamic range tone mapping
GB2543778B (en) * 2015-10-27 2018-08-08 Imagination Tech Ltd Systems and methods for processing images of objects
GB2543779B (en) * 2015-10-27 2018-07-25 Imagination Tech Ltd Systems and methods for processing images of objects
GB2543777B (en) * 2015-10-27 2018-07-25 Imagination Tech Ltd Systems and methods for processing images of objects
EP3507981B1 (en) * 2016-08-30 2023-11-29 Dolby Laboratories Licensing Corporation Real-time reshaping of single-layer backwards-compatible codec
US10264193B2 (en) * 2016-12-06 2019-04-16 Polycom, Inc. System and method for providing images and video having high dynamic range
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
JP7108880B2 (ja) * 2017-10-06 2022-07-29 パナソニックIpマネジメント株式会社 映像表示装置及び映像表示方法
US11962819B2 (en) 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
JP7443325B2 (ja) * 2018-07-17 2024-03-05 ドルビー ラボラトリーズ ライセンシング コーポレイション フォービエイションおよびhdr
CN108986053B (zh) * 2018-08-21 2021-03-16 北京小米移动软件有限公司 屏幕显示方法及装置
WO2020219401A1 (en) * 2019-04-25 2020-10-29 Dolby Laboratories Licensing Corporation Content-aware pq range analyzer and tone mapping in live feeds
EP3742432A1 (en) * 2019-05-24 2020-11-25 InterDigital CE Patent Holdings Device and method for transition between luminance levels
US11473971B2 (en) 2019-09-27 2022-10-18 Apple Inc. Ambient headroom adaptation
KR20210083840A (ko) 2019-12-27 2021-07-07 삼성전자주식회사 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법
CN111294575B (zh) * 2020-01-19 2022-06-28 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
WO2021223205A1 (en) * 2020-05-08 2021-11-11 Huawei Technologies Co., Ltd. Encoder, decoder, system, and method for determining tone mapping curve parameters

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271756A (ja) 2001-03-08 2002-09-20 Sony Corp データ処理装置、およびデータ処理方法、並びにプログラム
JP2005318198A (ja) 2004-04-28 2005-11-10 Mitsubishi Electric Corp 階調改善回路及び表示システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6592523B2 (en) * 2001-11-21 2003-07-15 Ge Medical Systems Global Technology Company, Llc Computationally efficient noise reduction filter for enhancement of ultrasound images
US7034843B2 (en) * 2002-07-10 2006-04-25 Genesis Microchip Inc. Method and system for adaptive color and contrast for display devices
US7492375B2 (en) 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
US20050117799A1 (en) 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
US7324706B2 (en) * 2004-09-09 2008-01-29 Silicon Optix Inc. System and method for representing a general two dimensional spatial transformation
SG139602A1 (en) * 2006-08-08 2008-02-29 St Microelectronics Asia Automatic contrast enhancement
KR100843090B1 (ko) 2006-10-25 2008-07-02 삼성전자주식회사 영상의 깜박임을 개선하는 디스플레이 장치 및 방법
US20090317017A1 (en) 2008-06-20 2009-12-24 The Hong Kong University Of Science And Technology Image characteristic oriented tone mapping for high dynamic range images
US8270759B2 (en) * 2008-06-16 2012-09-18 International Business Machines Corporation Transformation of a video image from a high dynamic range image to a low dynamic range image
US11380270B2 (en) * 2009-02-11 2022-07-05 Interdigital Madison Patent Holdings Signal generation for LED/LCD-based high dynamic range displays
WO2011002505A1 (en) * 2009-06-29 2011-01-06 Thomson Licensing Zone-based tone mapping
US8639056B2 (en) * 2009-06-29 2014-01-28 Thomson Licensing Contrast enhancement
US9336578B2 (en) * 2009-09-14 2016-05-10 Thomson Licensing Interactive tone mapping for high dynamic range video
CN102834309B (zh) * 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制系统
EP2564373B1 (en) * 2010-04-26 2014-12-17 Robert Bosch GmbH Detection and/or enhancement of contrast differences in digital image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002271756A (ja) 2001-03-08 2002-09-20 Sony Corp データ処理装置、およびデータ処理方法、並びにプログラム
US20030154377A1 (en) * 2001-03-08 2003-08-14 Jun Hirai Data processing apparatus , data processing method, and program
JP2005318198A (ja) 2004-04-28 2005-11-10 Mitsubishi Electric Corp 階調改善回路及び表示システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10735688B2 (en) 2017-07-13 2020-08-04 Samsung Electronics Co., Ltd. Electronics apparatus, display apparatus and control method thereof
US11823362B2 (en) 2019-11-15 2023-11-21 Samsung Electronics Co., Ltd. Image providing apparatus and image providing method thereof, and display apparatus and display method thereof

Also Published As

Publication number Publication date
TW201214332A (en) 2012-04-01
CN102763134A (zh) 2012-10-31
US20130163868A1 (en) 2013-06-27
WO2011102887A1 (en) 2011-08-25
EP2537138A1 (en) 2012-12-26
JP2013520687A (ja) 2013-06-06
JP5726914B2 (ja) 2015-06-03
KR20130008558A (ko) 2013-01-22
EP2537138B1 (en) 2014-04-02
US8737738B2 (en) 2014-05-27
TWI470581B (zh) 2015-01-21
CN102763134B (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
KR101787788B1 (ko) 높은 동적 범위 비디오 톤 맵핑을 위한 파라미터 보간
KR101831551B1 (ko) 높은 동적 범위의 이미지 생성 및 렌더링
Lin et al. Multi-scale retinex improvement for nighttime image enhancement
CN105745914B (zh) 用于逆色调映射的方法和系统
US8149336B2 (en) Method for digital noise reduction in low light video
KR102567860B1 (ko) 개선된 역 톤 매핑 방법 및 대응하는 디바이스
CN107292830B (zh) 低照度图像增强及评价方法
KR20160102524A (ko) 이미지의 역 톤 매핑을 위한 방법
CN111064904A (zh) 一种暗光图像增强方法
KR100694153B1 (ko) 매핑 함수에 기반한 이미지 처리 방법 및 장치
CN104574328A (zh) 一种基于直方图分割的彩色图像增强方法
CN111372006B (zh) 一种面向移动端的高动态范围成像方法及系统
JP5183440B2 (ja) 階調補正装置および撮像装置
EP2372638B1 (en) A black and white stretch method for dynamic range extension
CN104299213A (zh) 一种基于低动态图像的细节特征合成高动态图像的方法
KR100765760B1 (ko) 이미지의 전역 정보를 이용하여 어두운 부분의 세부들을개선하는 방법 및 장치
KR101349968B1 (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
JP5202190B2 (ja) 画像処理方法及び画像処理装置
JP5119740B2 (ja) 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体
WO2023110878A1 (en) Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models
JP4992379B2 (ja) 画像の階調変換装置、プログラム、電子カメラ、およびその方法
KR102136716B1 (ko) 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
CN112488972A (zh) 一种绿幕图像与虚拟图像实时合成的方法和装置
CN112118446A (zh) 图像压缩方法及装置
CN112241670A (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant