KR102488954B1 - 영상 처리 장치 및 그의 영상 처리 방법 - Google Patents

영상 처리 장치 및 그의 영상 처리 방법 Download PDF

Info

Publication number
KR102488954B1
KR102488954B1 KR1020160059803A KR20160059803A KR102488954B1 KR 102488954 B1 KR102488954 B1 KR 102488954B1 KR 1020160059803 A KR1020160059803 A KR 1020160059803A KR 20160059803 A KR20160059803 A KR 20160059803A KR 102488954 B1 KR102488954 B1 KR 102488954B1
Authority
KR
South Korea
Prior art keywords
luminance
hdr image
image
luminance value
hdr
Prior art date
Application number
KR1020160059803A
Other languages
English (en)
Other versions
KR20170129004A (ko
Inventor
남상철
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020160059803A priority Critical patent/KR102488954B1/ko
Priority to PCT/KR2016/009933 priority patent/WO2017200149A1/en
Priority to CN201680085610.3A priority patent/CN109155844B/zh
Priority to EP16902516.0A priority patent/EP3459242A4/en
Priority to US15/294,323 priority patent/US10275865B2/en
Publication of KR20170129004A publication Critical patent/KR20170129004A/ko
Application granted granted Critical
Publication of KR102488954B1 publication Critical patent/KR102488954B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/70—Circuits for processing colour signals for colour killing
    • H04N9/71—Circuits for processing colour signals for colour killing combined with colour gain control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

본 발명의 실시 예에 따른 영상 처리 장치는 디스플레이 패널 및 광역 동적 범위(High Dynamic Range, HDR) 영상의 피크 휘도(Peak Luminance) 값을 획득하고, 획득된 피크 휘도 값에 기초하여, 상기 디스플레이 패널이 출력 가능한 휘도 범위 에 맞게 상기 HDR 영상의 휘도를 조절하는 제어부를 포함할 수 있다.

Description

영상 처리 장치 및 그의 영상 처리 방법{IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD THEREOF}
본 발명은 영상 처리 장치에 관한 것으로, 보다 상세하게는 HDR 영상에 대해 적응적 톤 매핑(adaptive tone mapping)을 수행하는 영상 처리 장치에 관한 발명이다.
사람의 눈으로 느낄 수 있는 밝기의 동적 범위(dynamic range)는 수십 만에서 수십 억까지 매우 넓은 범위를 형성한다. 구체적인 밝기의 단위로, 사람의 눈은 0.00001 내지 1000000 (nits) 이상의 명암을 구분 가능하다. 반면, 수백의 동적 범위만으로도 대부분의 영상 정보를 나타내는데 충분하기 때문에 일반적인 영상을 재생하는 디스플레이 장치는 256의 동적 범위를 가진다. 하지만, 방대한 연산을 통하여 실제 자연 영상과 유사한 영상을 생성하거나, 보다 상세한 정보를 표현해야 하는 의료 영상 같은 경우에는 256보다 넓은 동적 범위로 영상을 표현해야 한다.
즉, 기존에는 디스플레이에 입력된 영상은 표준 동적 범위(Standard Dynamic Range, SDR)의 영상으로, 밝기의 범위가 사람의 눈으로 보는 범위보다 좁아 실감 화질을 구현하는데 한계가 있었다. 이를 위해, 광역 동적 범위(High Dynamic Range, HDR) 기술이 등장했다. HDR 기술은 밝은 곳은 더 밝게, 어두운 곳은 더 어둡게 만들어, 사람이 실제 눈으로 보는 것에 가깝도록 밝기의 범위를 확장시키는 기술이다.
HDR 기술을 적용한 영상(이하, HDR 영상)을 일반적인 디스플레이 장치나 인쇄 장치 등에서 재생하기 위해서는 각 장치에서 지원하는 제한된 동적 범위를 가진 영상으로 변환해야 한다. 이를 위해, 톤 매핑(tone mapping)이란 작업이 필요한데, 톤 매핑은 HDR 영상을 디스플레이 장치나 인쇄 장치 등에서 재생할 수 있는 제한된 동적 범위를 가진 영상, 즉 저역 동적 범위(Low Dynamic Range, LDR) 영상으로 변환해 주는 프로세스를 의미한다.
그러나, 기존의 톤 매핑 결과에 따르면, HDR 영상이 밝은 영역과 어두운 영역을 포함하는 경우, 디스플레이 장치가 지원하는 휘도의 제한으로 인해, 어두운 영역이 선명하게 보이지 않아, 사용자가 어두운 영역을 구분하기 힘든 문제가 있었다. 이에 따라, HDR 영상의 제공자가 의도한 밝기로 HDR 영상이 출력되지 않은 어려움이 있었다.
본 발명은 HDR 영상의 톤 매핑 시, 이용되는 톤 커브를 적응적으로 변경하여, 밝고, 선명한 HDR 영상을 제공하기 위한 것에 그 목적이 있다.
본 발명은 HDR 영상의 피크 휘도 값에 기초하여, 디스플레이 패널의 출력 가능한 범위에 맞게 HDR 영상의 휘도를 조절하는 것에 그 목적이 있다.
본 발명의 실시 예에 따른 영상 처리 장치는 디스플레이 패널 및 광역 동적 범위(High Dynamic Range, HDR) 영상의 피크 휘도(Peak Luminance) 값을 획득하고, 획득된 피크 휘도 값에 기초하여, 상기 디스플레이 패널이 출력 가능한 휘도 범위 에 맞게 상기 HDR 영상의 휘도를 조절하는 제어부를 포함할 수 있다.
상기 제어부는 상기 피크 휘도 값 이하의 휘도 값을 갖는 영상 신호 영역의 휘도를 상기 디스플레이 패널이 출력 가능한 휘도 범위 내로 조절할 수 있다.
상기 제어부는 상기 피크 휘도 값 이하의 휘도 값을 갖는 영상 신호 영역의 휘도를 상기 디스플레이 패널이 출력 가능한 최소 휘도 값부터 최대 휘도 값까지 점차 증가시키도록 조절할 수 있다.
상기 제어부는 상기 피크 휘도 값 이상의 휘도 값을 갖는 영상 신호 영역의 휘도를 조절하지 않을 수 있다.
상기 제어부는 상기 HDR 영상을 구성하는 복수의 장면들의 피크 휘도 값들을 획득하고, 상기 획득된 피크 휘도 값들의 평균 피크 휘도 값을 획득하고, 상기 획득된 평균 피크 휘도 값에 기초하여, 상기 디스플레이 패널이 출력 가능한 휘도 범위 내에서 상기 HDR 영상의 휘도를 조절하고, 상기 복수의 장면들 각각은 소정 개수의 이미지 프레임들로 구성될 수 있다.
상기 제어부는 상기 HDR 영상을 구성하는 복수의 이미지 프레임들의 피크 휘도 값들을 획득하고, 상기 획득된 피크 휘도 값들의 평균 피크 휘도 값을 획득하고, 상기 획득된 평균 피크 휘도 값에 기초하여, 상기 디스플레이 패널이 출력 가능한 휘도 범위 내에서 상기 HDR 영상의 휘도를 조절할 수 있다.
상기 제어부는 상기 피크 휘도 값이 기 설정된 범위 내인 경우, 상기 디스플레이 패널이 출력 가능한 최대 휘도 값에 기초하여, 상기 디스플레이 패널이 출력 가능한 휘도 범위 내에서 상기 HDR 영상의 휘도를 조절하고, 상기 피크 휘도 값이 기 설정된 범위 내에 있지 않은 경우, 상기 HDR 영상의 피크 휘도 값에 기초하여, 디스플레이 패널이 출력 가능한 휘도 범위 내에서 상기 HDR 영상의 휘도를 조절할 수 있다.
상기 제어부는 상기 HDR 영상에 대한 정보를 포함하는 메타 데이터를 수신하고, 수신된 메타 데이터로부터 상기 HDR 영상의 피크 휘도 값을 획득할 수 있다.
상기 제어부는 입력된 HDR 영상 신호의 휘도를 상기 디스플레이 패널이 출력 가능한 휘도 범위로 조절하는 관계를 정의한 정적 톤 커브(static tone curve)를 상기 획득된 피크 휘도 값을 기준으로 하는 적응적 톤 커브로 변경하여, 상기 HDR 영상의 휘도를 조절할 수 있다.
상기 제어부는 상기 HDR 영상의 컬러를 상기 디스플레이 패널이 갖는 색 재현 범위에 맞게 변환하는 컬러 매핑을 수행할 수 있다.
본 발명의 실시 예에 따른 영상 처리 장치의 영상 처리 방법은 광역 동적 범위(High Dynamic Range, HDR) 영상을 수신하는 단계와 상기 HDR 영상의 피크 휘도(Peak Luminance) 값을 획득하는 단계 및 획득된 피크 휘도 값에 기초하여, 상기 디스플레이 패널이 출력 가능한 휘도 범위에 맞게 상기 HDR 영상의 휘도를 조절하는 단계를 포함할 수 있다.
본 발명의 다양한 실시 예에 따르면, HDR 영상의 톤 매핑 시, 이용되는 톤 커브를 적응적으로 변경하여, 밝고, 선명한 HDR 영상이 제공될 수 있는 효과가 있다.
또한, 급격한 피크 휘도 값의 변경에 따른 플리커 발생이 방지 될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 SDR 영상 및 HDR 영상을 제공하는 컨텐트 제공 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 영상 처리 장치의 영상 처리 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시 예에 따라 HDR 영상 신호를 지각적 양자화 광학 전기 변환 함수(PQ-OETF)를 이용하여, 양자화 레벨로 변환하는 과정을 보여주는 그래프이고, 도 5는 본 발명의 일 실시 예에 따라 HDR 영상 신호를 지각적 양자화 전기 광학 변환 함수(PQ-EOTF)를 이용하여, 양자화 레벨로 변환하는 과정을 보여주는 그래프이다.
도 6은 본 발명의 일 실시 예에 따라 HDR 영상에 대해 컬러 매핑을 수행하는 과정을 설명하는 도면이다.
도 7은 본 발명의 일 실시 예에 따라 HDR 영상의 피크 휘도 값에 기초하여 적응적 톤 매핑을 수행하는 과정을 설명하는 도면이다.
도 8 및 도 9는 본 발명의 일 실시 예에 따라 HDR 영상의 피크 휘도 값에 따라 톤 커브를 적응적으로 변경시키는 구체적인 예를 설명하는 도면이다.
도 10 내지 도 11는 본 발명의 또 다른 실시 예에 따라 HDR 장면들의 피크 휘도 값들의 평균 값에 기초하여, 적응적 톤 매핑을 수행하는 예를 설명하는 도면이다.
도 12 내지 도 13은 본 발명의 또 다른 실시 예에 따라 이미지 프레임들의 피크 휘도 값들의 평균 값에 기초하여, 적응적 톤 매핑을 수행하는 예를 설명하는 도면이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 실시예에 따른 영상 처리 장치는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 디스플레이 장치일 수 있다. 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 영상 처리 장치는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 영상 처리 장치는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
본 발명에서 밝기와 휘도는 동일한 개념을 나타낼 수 있다.
도 1은 본 발명의 일 실시 예에 따른 SDR 영상 및 HDR 영상을 제공하는 컨텐트 제공 시스템을 설명하기 위한 도면이다.
컨텐트 제공 시스템(1)은 컨텐트 제공자(10), 처리 장치(30) 및 디스플레이 장치(50)를 포함할 수 있다.
컨텐트 제공자(10)는 표준 동적 범위(Standard Dynamic Range, SDR)의 영상(이하, SDR 영상) 또는 HDR 영상을 제공할 수 있다. SDR 영상은 저역 동적 범위(Low Dynamic Range, LDR) 영상과 같은 개념일 수 있다.
컨텐트 제공자(10)의 HDR 마스터(11)는 영상의 raw data 또는 아날로그 필름을 스캐너로 스캐닝한 후, 디지털로 변환된 디지털 데이터를 이용하여, SDR 영상 또는 HDR 영상을 생성할 수 있다. 컨텐트 제공자(10)의 인코더(13)는 SDR 영상 또는 HDR 영상을 인코딩할 수 있다.
인코딩된 SDR 영상은 방송망, IP 망을 통해 영상 처리 장치(30)로 전달되거나, DVD, BD(Bluray Disc)와 같은 저장매체 형태로 제작될 수 있다.
인코딩된 HDR 영상은 방송망, BD(Bluray Disc), IP 망을 통해 영상 처리 장치(30)로 전달되거나, BD(Bluray Disc)와 같은 저장매체 형태로 제작될 수 있다.
처리 장치(30)의 디코더(31)는 인코딩된 SDR 영상을 디코딩하고, 디코딩된 SDR 영상을 일반 영상 처리 시스템을 통해 디스플레이 장치(50)의 SDR 패널(53)에 전달할 수 있다.
처리 장치(30)의 디코더(31)는 인코딩된 HDR 영상을 디코딩할 수 있다. 처리 장치(30)의 영상 처리 장치(31)는 일반 영상 처리 시스템을 거치기 전, HDR 영상에 대해 톤 매핑을 수행할 수 있다. 톤 매핑에 대해서는 후술한다. 톤 매핑을 거친 HDR 영상은 일반 영상 처리 시스템을 통해 디스플레이 장치(50)의 HDR 패널(53)에 전달될 수 있다.
이하에서는 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 상세히 설명한다.
도 2는 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 영상 처리 장치(200)는 디코더(210), 제어부(230) 및 컬러 왜곡 보정부(250)를 포함할 수 있다.
디코더(210)는 컨텐트 제공자(10)로부터 HDR 영상 및 메타 데이터를 수신할 수 있다. 디코더(210)는 외부로부터 수신된 HDR 영상 및 메타데이터를 디코딩할 수 있다. 메타 데이터는 HDR 영상에 대한 정보를 포함할 수 있다. 메타 데이터는 HDR 영상의 휘도 정보, 장면(Scene) 별 최대 밝기 정보, HDR 영상임을 식별하는 식별 정보 중 하나 이상을 포함할 수 있다.
제어부(230)는 메타데이터 파서(metadata parser, 231), 밝기 분포 변환부(233), 컬러 매핑부(235), 톤 매핑부(tone mapping, 237)를 포함할 수 있다.
메타데이터 파서(metadata parser, 231)는 디코딩된 메타 데이터를 파싱할 수 있다.
메타데이터 파서(231)는 파싱된 메타 데이터를 톤 매핑부(237)에 전달할 수 있다.
밝기 분포 변환부(233)는 지각적 양자화 광학 전기 변환 함수(Perceptual Quantizer Opto-Electro Transfer Function, PQ-OETF)를 이용하여, HDR 영상의 휘도 값을 디지털 코드 값으로 변환할 수 있다. 밝기 분포 변환부(233)는 지각적 양자화 전기 광학 변환 함수(Perceptual Quantizer Electro-Optical Transfer Function, PQ-EOTF)를 이용하여, 디지털 코드 값을 휘도 값으로 변환할 수 있다. 밝기 분포 변환부(233)는 HDR 영상의 휘도 범위를 디지털 코드 범위로 변환한 후, 변환된 디지털 코드 범위를 휘도 범위로 재 변환할 수 있다. PQ-OETF(역 PQ-EOTF)는 PQ-EOTF를 역으로 적용한 함수일 수 있다.
PQ-EOTF는 HDR 영상에 대해 선형화 및 스케일링을 수행하는 과정을 포함할 수 있다. PQ-EOTF 및 역 PQ-EOTF는 SMPTE(Society of Motion Picture & Television Engineers) 표준에 정의된 내용을 따를 수 있다.
컬러 매핑부(235)는 밝기 분포 변환부(233)로부터 전달된 HDR 영상의 컬러를 디스플레이 패널(270)의 컬러 표현 범위에 기초하여 재 맵핑 할 수 있다.
톤 매핑부(tone mapping, 237)는 컬러 매핑부(235)로부터 전달된 HDR 영상에 대해 톤 매핑을 수행할 수 있다. 톤 매핑은 HDR 영상을 디스플레이 패널(270)에서 표시할 수 있는 제한된 동적 범위를 가진 영상, 즉, LDR(Low Dynamic Range) 영상으로 변환하는 프로세스일 수 있다. LDR 영상은 위에서 설명한 SDR 영상과 동일한 개념일 수 있다.
일 실시 예에서 톤 매핑부(237)는 HDR 영상의 제작 시, 설정된 디스플레이 의 피크 휘도 값에 기초하여, 톤 매핑을 수행할 수 있다. 즉, HDR 영상의 제작자는 HDR 영상을 마스터링 할 시, 디스플레이가 표현 가능한 휘도 범위 중 최대 휘도 값에 맞추어, HDR 영상을 마스터링 할 수 있다. 톤 매핑부(237)는 메타 데이터 파서(231)로터 디스플레이가 표현 가능한 휘도 범위 중 최대 휘도 값을 획득하고, 획득된 최대 휘도 값에 기초하여, 톤 매핑을 수행할 수 있다. 이 경우, 톤 매핑부(237)는 후술할 정적 톤 커브를 이용하여 톤 매핑을 수행할 수 있다.
또 다른 실시 예에서 톤 매핑부(237)는 HDR 영상의 히스토그램 정보에 기초하여, 톤 매핑을 수행할 수 있다. HDR 영상의 히스토그램 정보는 HDR 영상의 픽셀들 각각의 휘도 값에 기초하여 생성될 수 있다. 메타 데이터 파서(231)는 HDR 영상의 픽셀들 각각의 휘도 값에 기초하여 히스토그램 정보를 생성할 수 있고, 생성된 히스토그램 정보를 톤 매핑부(237)에 전달할 수 있다. 톤 매핑부(237)는 메타 데이터 파서(231)로부터 전달된 히스토그램 정보에 기초하여, 톤 커브를 생성할 수 있다. 톤 커브는 HDR 영상의 휘도 범위를 디스플레이 패널(270)이 출력 가능한 휘도 범위로 매핑하는 커브일 수 있다.
또 다른 실시 예에서 톤 매핑부(237)는 HDR 영상의 피크 휘도(peak luminance)에 기초하여, 디스플레이 패널(270)이 출력 가능한 휘도 범위에 맞게 HDR 영상의 휘도를 조절할 수 있다. 톤 매핑부(237)의 기능에 대한 구체적인 설명은 후술한다.
컬러 왜곡 보정부(250)는 톤 매핑부(237)로부터 톤 매핑이 수행된 HDR 영상의 컬러 왜곡을 보상할 수 있다. 컬러 왜곡 보정부(250)는 컬러 왜곡이 보상된 HDR 영상을 디스플레이 패널(270)로 출력할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 영상 처리 장치(200)는 디스플레이 패널(270)을 더 포함할 수 있다. 디스플레이 패널(270)은 컬러 왜곡 보정부(250)로부터 출력된 영상을 표시할 수 있다. 디스플레이 패널(270)는 영상 처리 장치(200)에 포함될 수도 있고, 별도의 구성으로 존재할 수도 있다.
다음으로, 도 3을 참조하여, 본 발명의 일 실시 예에 따른 영상 처리 장치의 영상 처리 방법을 설명한다.
도 3은 본 발명의 일 실시 예에 따른 영상 처리 장치의 영상 처리 방법을 설명하기 위한 흐름도이다.
이하에서는, 본 발명의 일 실시 예에 따른 영상 처리 장치(200)의 영상 처리 방법을 도 1 및 도 2의 내용에 결부시켜 설명한다.
영상 처리 장치(200)의 제어부(230)는 외부로부터 HDR 영상 및 HDR 영상에 대한 정보를 포함하는 메타데이터를 수신한다(S301). 제어부(230)는 컨텐트 제공자(10)로부터 HDR 영상 및 메타 데이터를 수신할 수 있다. 제어부(230)는 컨텐트 제공자(10)로부터 방송 케이블 또는 인터넷 프로토콜(Internet Protocol, IP)을 통해 HDR 영상 및 메타 데이터를 수신할 수 있다. 이를 위해, 제어부(230)는 별도의 방송 통신 모듈 또는 인터넷 통신 모듈을 포함할 수 있다.
메타 데이터는 HDR 영상에 대한 정보를 포함할 수 있다. 메타 데이터는 HDR 영상의 휘도 정보, 장면(scene) 별 최대 밝기 정보, HDR 영상의 밝기 범위 정보 및 HDR 영상을 식별하는 식별 정보 중 하나 이상을 포함할 수 있다.
메타 데이터는 제어부(230)에 포함된 메타 데이터 파서(231)에 의해 파싱될 수 있다. 파싱된 메타 데이터는 톤 매핑부(237)에 전달되어, HDR 영상에 대해 톤 매핑을 수행하는데 이용될 수 있다.
제어부(230)에 포함된 밝기 분포 변환부(233)는 HDR 영상의 밝기 분포를 변환한다(S303). 일 실시 예에서 제어부(230)는 HDR 영상의 밝기 정보를 양자화시킬 수 있다. 제어부(230)는 도 2에서 설명한 PQ-OETF 및 PQ-EOTF를 이용하여, HDR 영상의 밝기 정보를 양자화 레벨로 변환할 수 있다. 이에 대해서는 도 4 및 도 5를 참조하여 설명한다.
도 4는 본 발명의 일 실시 예에 따라 HDR 영상 신호를 지각적 양자화 광학 전기 변환 함수(PQ-OETF)를 이용하여, 양자화 레벨로 변환하는 과정을 보여주는 그래프이고, 도 5는 본 발명의 일 실시 예에 따라 HDR 영상 신호를 지각적 양자화 전기 광학 변환 함수(PQ-EOTF)를 이용하여, 양자화 레벨로 변환하는 과정을 보여주는 그래프이다.
도 4의 가로축은 HDR 영상의 휘도 값을 나타내는 축이고, 세로축은 디지털 코드 값을 나타내는 축이다.
도 5의 가로축은 디지털 코드 값을 나타내는 축이고, 세로축은 HDR 영상의 휘도 값을 나타내는 축이다.
감마(Gamma) 보정은 디스플레이 패널에 입력되는 영상 신호와 광량 간의 상관 관계를 보정하는 방식이다. 감마 보정은 비선형 전달 함수를 이용하여, 영상의 휘도를 비선형적으로 변환하는 보정일 수 있다. 감마 보정은 사람의 시각이 밝기에 대해 비선형적으로 반응하기 때문에, 비선형적으로 영상 데이터를 인코딩하여, 최적의 화질을 제공하기 위함이다.
도 4를 참조하면, 감마 보정의 한 방식으로 PQ-OETF 방식을 통해 HDR 영상 의 휘도 값을 디지털 코드 값으로 양자화한 제1 비선형 곡선(410)이 도시되어 있다. 밝기 분포 변환부(233)는 제1 비선형 곡선(410)을 리니어한 선(430)으로 변환하기 위해 추가적으로, PQ-EOTF를 이용할 수 있다. 즉, 도 5에서와 같이, 밝기 분포 변환부(233)는 제1 비선형 곡선(410)을 리니어한 선(430)으로 변환하기 위해 PQ-EOTF를 이용하여, 디지털 코드 값을 휘도 값으로 변환할 수 있다. 디지털 코드 값을 휘도 값으로 변환하기 위해 제2 비선형 곡선(510)이 사용될 수 있다.
다시 도 3을 설명한다.
제어부(230)에 포함된 컬러 매핑부(235)는 밝기 분포가 변환된 HDR 영상에 대해 컬러 매핑을 수행한다(S305). 컬러 매핑부(235)는 HDR 영상의 컬러를 디스플레이 패널(270)의 컬러 표현 범위에 맞게 재 매핑할 수 있다. 컬러 매핑부(235)는 게멋 매핑(Gamut mapping) 기법을 이용하여, HDR 영상의 컬러를 변환할 수 있다. 디스플레이 패널(270)이 갖는 색 재현 가능 영역을 게멋 컬러라 명명된다. 컬러 매핑부(235)는 즉, HDR 영상에서 게멋 컬러를 벗어나는 영역을 게멋 컬러 내로 매핑시킬 수 있다. 이에 대해서는 도 6을 참조하여 설명한다.
도 6은 본 발명의 일 실시 예에 따라 HDR 영상에 대해 컬러 매핑을 수행하는 과정을 설명하는 도면이다.
도 6을 참조하면, 게멋 컬러(A1)가 도시되어 있고, 게멋 컬러(A1)를 벗어난 HDR 영상의 컬러 영역(B1)이 도시되어 있다. 컬러 매핑부(235)는 게멋 컬러(A1)를 벗어난 컬러 영역(B1)을 게멋 매핑 기법을 통해 게멋 컬러(A1) 내로 매핑시킬 수 있다.
다시 도 3을 설명한다.
제어부(230)에 포함된 톤 매핑부(237)는 메타 데이터에 기초하여 컬러 매핑이 수행된 HDR 영상의 피크 휘도 값을 획득한다(S307). 톤 매핑부(237)는 메타 데이터 파서(231)로부터 HDR 영상의 피크 휘도 값을 전달받을 수 있다.
일 실시 예에서 HDR 영상의 피크 휘도 값은 HDR 영상을 구성하는 하나의 이미지 프레임에 포함된 복수의 휘도 값들 중 크기가 가장 큰 값일 수 있다. 복수의 휘도 값들 각각은 이미지 프레임의 복수의 픽셀들 각각의 휘도 값일 수 있다.
또 다른 실시 예에서 HDR 영상의 피크 휘도 값은 HDR 영상을 구성하는 일정 개수의 이미지 프레임들에 포함된 복수의 휘도 값들 중 크기가 가장 큰 값일 수 있다. 예를 들어, HDR 영상이 3개의 이미지 프레임들로 구성된 경우, 피크 휘도 값은 제1 이미지 프레임의 최대 휘도 값, 제2 이미지 프레임의 최대 휘도 값 및 제3 이미지 프레임의 최대 휘도 값 중 가장 큰 값일 수 있다.
톤 매핑부(237)는 획득된 피크 휘도 값에 기초하여 HDR 영상의 휘도를 조절한다(S309). 톤 매핑(tone mapping)은 HDR 영상을 디스플레이 패널(270)에서 표시할 수 있는 제한된 동적 범위를 가진 영상, 즉, LDR(Low Dynamic Range) 영상으로 변환하는 프로세스일 수 있다. 톤 매핑은 영상의 동적 범위인 어두운 영역과 밝은 영역 간의 비율을 감소시켜, 비선형적으로 영상의 밝기를 조절하는 기법일 수 있다.
톤 매핑은 HDR 영상을 디스플레이 패널(270)이 출력 가능한 휘도 범위로 변환하는 과정일 수 있다. 이는 디스플레이 패널(270) 자체가 표현할 수 있는 휘도의 범위가 제한되어 있기 때문이다. 이에 따라, 톤 매핑부(237)는 HDR 영상의 휘도 범위를 디스플레이 패널(270)이 출력 가능한 휘도 범위로 변환할 수 있다. 톤 매핑은 HDR 영상의 흑색 영역에서는 충분한 레인지를 보존하고, 백색 영역으로 갈수록 동적 레인지를 제한한다. 이에 따라, 영상의 밝은 영역은 더 밝게, 어두운 영역은 더 어둡게 되어, 선명한 영상이 제공될 수 있다.
일 실시 예에서 톤 매핑부(237)은 HDR 영상의 피크 휘도 값에 기초하여, 적응적 톤 매핑(adaptive tone mapping)을 수행할 수 있다. 구체적으로, 톤 매핑부(237)는 HDR 영상의 피크 휘도 값에 기초하여, 디스플레이 패널(270)이 출력 가능한 휘도 범위에 맞게 HDR 영상의 휘도를 조절할 수 있다.
이에 대해서는 이하의 도면을 참조하여 상세히 설명한다.
도 7은 본 발명의 일 실시 예에 따라 HDR 영상의 피크 휘도 값에 기초하여 적응적 톤 매핑을 수행하는 과정을 설명하는 도면이다.
도 7은 10-bit HDR 영상을 기준으로, 적응적 톤 매핑을 수행되는 과정을 보여주는 그래프이다. 본 실시 예에서는 10-bit HDR 영상을 기준으로 설명하나, 이는 예시에 불과하다.
도 7의 가로 축은 입력된 HDR 영상 신호를 디지털 값으로 나타낸 것이고, 세로 축은 디스플레이 패널(270)의 휘도를 디지털 값으로 나타내는 것이다. 구체적으로, 가로 축은 입력된 HDR 영상 데이터 범위를 디지털 값의 범위로 나타낸 것이고, 세로 축은 디스플레이 패널(270)이 표현 가능한 휘도 범위를 디지털 값의 범위로 나타낸 것일 수 있다.
세로 축의 1023은 디스플레이 패널(270)이 표현 가능한 최대 휘도에 대응되는 디지털 값일 수 있고, 세로 축의 0은 디스플레이 패널(270)이 표현 가능한 최소 휘도에 대응하는 디지털 값일 수 있다. 디스플레이 패널(270)이 표현 가능한 최대 휘도 값은 4000nits임을 가정한다.
도 7을 정적 톤 매핑(static tone mapping)을 위한 정적 톤 커브(710)가 도시되어 있다. 정적 톤 매핑은 디스플레이 패널(270)이 표현 가능한 최대 휘도 값에 기초하여 HDR 영상의 휘도 범위를 조절하는 방식일 수 있다. 정적 톤 커브(710)는 디스플레이 패널(270)이 표현 가능한 최대 휘도 값에 기초하여 생성된 커브일 수 있다. 즉, 디스플레이 패널(270)이 표현 가능한 최대 휘도 값이 달라지면, 정적 톤 커브(710)의 형태 또한, 달라질 수 있다.
또 다른 실시 예에서, 정적 톤 매핑은 HDR 영상의 히스토그램 정보에 기초하여 휘도 범위를 조절하는 방식일 수 있다. HDR 영상의 히스토그램은 HDR 영상의 밝기 대비 해당 밝기를 가진 픽셀 수가 몇 개가 있는지를 나타내는 빈도 수를 표현한 그래프이다. 본 발명의 실시 예에서 정적 톤 커브(710)는 한 가지만을 예로 들어 설명하나, 이에 한정될 필요는 없고, HDR 영상의 히스토그램에 따라 정적 톤 커브(710)의 형태는 달라질 수 있다.
톤 매핑부(237)는 입력된 HDR 영상의 히스토그램 정보에 기초하여, 정적 톤 커브(710)를 생성할 수 있다. 정적 톤 커브(710)를 이용하는 경우, 디스플레이 패널(270)이 표현하는 휘도 범위가 제한되어, HDR 영상의 어두운 영역을 구분하기 어려워질 수 있다. 이에 따라, 사용자는 영상의 어두운 영역을 구분하기 힘들다.
톤 매핑부(237)는 메타 데이터 파서(231)로부터 획득된 HDR 영상의 피크 휘도 값에 기초하여, 정적 톤 커브(710)를 복수의 적응적 톤 커브들(730, 750, 770) 중 어느 하나로 변경할 수 있다. 톤 매핑부(237)는 HDR 영상의 피크 휘도 값을 적응적 톤 커브에 대응시킨 룩업 테이블을 포함할 수 있다. 구체적으로, 룩업 테이블은 HDR 영상의 피크 휘도 값과 적응적 톤 커브 간의 대응 관계를 포함할 수 있다.
도 8 및 도 9는 본 발명의 일 실시 예에 따라 HDR 영상의 피크 휘도 값에 따라 톤 커브를 적응적으로 변경시키는 구체적인 예를 설명하는 도면이다.
도 9의 가로 축 및 세로 축에 대한 설명은 도 7의 설명을 따른다.
도 8을 참조하면, HDR 영상의 장면(scene) 단위에 따른 휘도 분포를 보여주는 그래프이다. 장면(scene)은 정지된 HDR 영상의 이미지 프레임들로 구성될 수 있다. 장면은 3개의 이미지 프레임으로 구성될 수 있으나, 이는 예시에 불과한 수치이고, 1개의 이미지 프레임으로 구성될 수도 있다. 도 8은 각 장면에서 픽셀들 각각에 대응하는 휘도 값의 분포를 보여준다.
도 8의 그래프는 하나의 이미지 프레임에 대한 휘도 분포를 보여주는 그래프일 수도 있다.
제1 장면(scene 1)의 피크 휘도 값은 600nit이고, 제2 장면(scene 2)의 피크 휘도 값은 4000nit이고, 제3 장면(scene 3)의 피크 휘도 값은 400nit이다. 톤 매핑부(237)는 메타 데이터 파서(231)로부터 각 장면의 피크 휘도 값을 획득할 수 있다.
톤 매핑부(237)는 도 9에 도시된 바와 같이, 각 장면의 피크 휘도 값에 기초하여, 정적 톤 커브(910)를 복수의 적응적 톤 커브들(930, 950, 970) 중 어느 하나로 변경할 수 있다. 즉, 톤 매핑부(237)는 각 장면의 피크 휘도 값에 기초하여, 디스플레이 패널(270)이 출력 가능한 휘도 범위 내로 HDR영상의 휘도를 조절할 수 있다.
톤 매핑부(237)는 제1 장면의 피크 휘도 값(600nits)에 대응하는 제1 적응적 톤 커브(930)를 이용하여 입력된 HDR 영상의 휘도 범위를 조절할 수 있다. 제1 장면의 피크 휘도 값은 600nits이므로, 600 초과 4000nits 이하의 휘도 범위에 대응하는 영상 신호 영역(예를 들어, 501 내지 1023에 대응하는 데이터 영역)은 아무런 휘도 정보를 담고 있지 않게 된다. 이 경우, 기존의 정적 톤 커브(910)를 사용하여, 제1 장면의 휘도 범위가 조절된다면, 휘도 정보를 담지 않은 영상 신호 영역에 대해서까지 톤 매핑이 수행될 수 있다.
톤 매핑부(237)는 정적 톤 커브(910)를 제1 장면의 피크 휘도 값에 대응하는 제1 적응적 톤 커브(930)로 변경할 수 있다. 톤 매핑부(237)는 피크 휘도 값(600nit) 이하의 휘도 값을 갖는 제1 영상 신호 영역(0 내지 500)의 휘도를 디스플레이 패널(270)이 출력 가능한 최대 휘도 범위로 조절할 수 있다. 구체적으로, 톤 매핑부(237)는 제1 영상 신호 영역의 휘도가 디스플레이 패널(270)이 출력 가능한 최소 휘도 값에서 최대 휘도 값으로 점차 증가하도록 HDR 영상의 휘도를 조절할 수 있다. 즉, 제1 영상 신호 영역의 휘도는 제1 적응적 톤 커브(930)를 따르도록 조절될 수 있다.
제1 장면의 제2 영상 신호 영역(501 내지 1023)에는 HDR 영상 데이터 정보가 없는 것이므로, 톤 매핑부(237)는 제2 영상 신호 영역(501 내지 1023)에 대해서는 휘도가 조절되지 않을 수 있다.
톤 매핑부(237)는 제2 장면의 피크 휘도 값(4000nits)에 대응하는 제2 적응적 톤 커브(950)를 이용하여 입력된 HDR 영상의 휘도 범위를 조절할 수 있다. 제2 장면의 피크 휘도 값은 4000nits이고, 디스플레이 패널(270)이 출력 가능한 최대 휘도 값이 4000nits 이다.
톤 매핑부(237)는 정적 톤 커브(910)를 제2 장면의 피크 휘도 값에 대응하는 제2 적응적 톤 커브(950)로 변경할 수 있다. 톤 매핑부(237)는 전체 영상 신호의 휘도 범위를 디스플레이 패널(270)이 출력 가능한 최대 휘도 범위로 조절할 수 있다. 구체적으로, 톤 매핑부(237)는 영상 신호 영역의 휘도가 디스플레이 패널(270)이 출력 가능한 최소 휘도 값에서 최대 휘도 값으로 점차 증가하도록 HDR 영상의 휘도를 조절할 수 있다. 즉, 정적 톤 커브(910)에 비해 제2 적응적 톤 커브(950)의 전체 영상 신호에 대한 휘도 값이 증가될 수 있다.
즉, 영상 신호 영역의 휘도는 제2 적응적 톤 커브(950)를 따르도록 조절될 수 있다.
톤 매핑부(237)는 제3 장면의 피크 휘도 값(400nits)에 대응하는 제3 적응적 톤 커브(970)를 이용하여 입력된 HDR 영상의 휘도 범위를 조절할 수 있다. 제1 장면의 피크 휘도 값은 400nits이므로, 400 초과 4000nits 이하의 휘도 범위에 대응하는 영상 신호 영역(예를 들어, 250 내지 1023에 대응하는 데이터 영역)은 아무런 휘도 정보를 담고 있지 않게 된다. 이 경우, 기존의 정적 톤 커브(910)를 사용하여, 제3 장면의 휘도 범위가 조절된다면, 휘도 정보를 담지 않은 영상 신호 영역에 대해서까지 톤 매핑이 수행될 수 있다.
톤 매핑부(237)는 정적 톤 커브(910)를 제3 장면의 피크 휘도 값에 대응하는 제3 적응적 톤 커브(970)로 변경할 수 있다. 톤 매핑부(237)는 피크 휘도 값(400nit) 이하의 휘도 값을 갖는 제3 영상 신호 영역(0 내지 250)의 휘도를 디스플레이 패널(270)이 출력 가능한 최대 휘도 범위로 조절할 수 있다. 구체적으로, 톤 매핑부(237)는 제3 영상 신호 영역의 휘도가 디스플레이 패널(270)이 출력 가능한 최소 휘도 값에서 최대 휘도 값으로 점차 증가하도록 HDR 영상의 휘도를 조절할 수 있다. 즉, 제3 영상 신호 영역의 휘도는 제3 적응적 톤 커브(930)를 따르도록 조절될 수 있다.
제3 장면의 제4 영상 신호 영역(251 내지 1023)에는 HDR 영상 데이터 정보가 없는 것이므로, 톤 매핑부(237)는 제4 영상 신호 영역(251 내지 1023)에 대해서는 휘도가 조절되지 않을 수 있다.
HDR 영상의 피크 휘도 값이 급격하게 변경됨에 따라 적응적 톤 매핑이 수행되는 경우, 플리커(flicker)가 발생될 수 있다. 예들 들어, 풀 블랙 영상에서 풀 화이트 영상으로 변경되거나, 풀 화이트 영상에서 풀 블랙 영상으로 변경된 경우, 피크 휘도 값이 급격하게 변경될 수 있다.
이에 따라 발생되는 플리커를 제거하기 위해, 제어부(230)는 피크 휘도 필터링(peak luminance filtering) 또는 스무딩 필터링(smoothing filtering)을 수행할 수 있다.
또 다른 실시 예에서, 제어부(230)는 과도한 톤 매핑의 수행에 따른 영상 처리 장치(200)의 부하를 방지하기 위해 획득된 피크 휘도 값이 기 설정된 범위 내에 있는 경우, HDR 영상에 대해 정적 톤 매핑을 수행하고, 피크 휘도 값이 기 설정된 범위를 초과하는 경우, 적응적 톤 매핑을 수행할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 복수의 HDR 장면들의 피크 휘도 값들의 평균 값에 기초하여, 적응적 톤 매핑이 수행될 수도 있다.
도 10 내지 도 11는 본 발명의 또 다른 실시 예에 따라 HDR 장면들의 피크 휘도 값들의 평균 값에 기초하여, 적응적 톤 매핑을 수행하는 예를 설명하는 도면이다.
이하에서는 도 3의 흐름도에 기초하여, 중복된 내용의 설명은 생략하고, 설명한다. 또한, 이하의 실시 예는 도 3의 단계 S301 내지 단계 S305과 수행된 후의 과정일 수 있다. 즉, 단계 S307 및 S309를 구체화하는 실시 예이다.
특히, 단계 S1010 및 단계 S1030은 도 3의 단계 S307을 구체화한 과정이고, 단계 S1050은 단계 S309를 구체화한 과정일 수 있다.
도 3의 단계 S305 이후, 영상 처리 장치(200)의 톤 매핑부(237)는 메타 데이터에 기초하여, 복수의 HDR 장면들의 피크 휘도 값들을 획득한다(S1010). 각 HDR 장면은 복수의 이미지 프레임들로 구성될 수 있다. 각 HDR 장면은 3개의 이미지 프레임으로 구성될 수 있으나, 이는 예시에 불과한 수치이다.
도 11을 참조하면, 3개의 장면들(scene 1,2,3) 각각이 3개의 이미지 프레임들로 구성되어 있음을 보여준다. 즉, 제1 장면(scene 1)은 제1 내지 제3 이미지 프레임들로 구성되고, 제2 장면(scene 2)은 제4 내지 제6 이미지 프레임들로 구성되고, 제3 장면(scene 3)은 제7 내지 제9 이미지 프레임들로 구성될 수 있다. 톤 매핑부(237)는 제1 이미지 프레임(frame 1) 내지 제3 이미지 프레임(frame 3)들 각각의 피크 휘도 값을 메타 데이터 파서(231)로부터 획득한 후, 3개의 피크 휘도 값들 중 가장 큰 값(h1)을 획득할 수 있다. 톤 매핑부(237)는 제4 이미지 프레임(frame 4) 내지 제6 이미지 프레임(frame 6)들 각각의 피크 휘도 값을 메타 데이터 파서(231)로부터 획득한 후, 3개의 피크 휘도 값들 중 가장 큰 값(h2)을 획득할 수 있다. 제7 이미지 프레임(frame 7) 내지 제9 이미지 프레임(frame 9)들 각각의 피크 휘도 값을 메타 데이터 파서(231)로부터 획득한 후, 3개의 피크 휘도 값들 중 가장 큰 값(h3)을 획득할 수 있다.
톤 매핑부(237)는 획득된 피크 휘도 값들의 평균 피크 휘도 값을 획득한다(S1030). 톤 매핑부(237)는 도 11에 도시된 바와 같이, 각 장면의 최대 피크 휘도 값들의 평균(h4=(h1+h2+h3)/3)을 획득할 수 있다.
톤 매핑부(237)는 획득된 평균 피크 휘도 값에 기초하여, HDR 영상의 휘도를 조절한다(S1050). 톤 매핑부(237)는 획득된 평균 휘도 값에 기초하여, 도 7 내지 도 9에서 설명한 바와 같이, 적응적 톤 매핑을 수행할 수 있다.
도 10 및 도 11의 실시 예에 따라 적응적 톤 매핑을 수행하는 경우, 각 이미지프레임마다 톤 커브를 변경하는 경우에 비해, 영상 처리 장치(200)에 걸리는 부하가 줄어들 수 있고, 플리커의 발생이 방지될 수 있다.
본 발명의 또 다른 실시 예에 따르면, HDR 영상을 구성하는 복수의 이미지 프레임들 각각 피크 휘도 값의 평균 값에 기초하여, 적응적 톤 매핑이 수행될 수도 있다. 이미지 프레임은 HDR 영상의 최소 단위를 나타내는 프레임일 수 있다.
도 12 내지 도 13은 본 발명의 또 다른 실시 예에 따라 이미지 프레임들의 피크 휘도 값들의 평균 값에 기초하여, 적응적 톤 매핑을 수행하는 예를 설명하는 도면이다.
이하에서는 도 3의 흐름도에 기초하여, 중복된 내용의 설명은 생략하고, 설명한다. 또한, 이하의 실시 예는 도 3의 단계 S301 내지 단계 S305과 수행된 후의 과정일 수 있다. 즉, 단계 S307 및 S309를 구체화하는 실시 예이다.
특히, 단계 S1210 및 단계 S1230은 도 3의 단계 S307을 구체화한 과정이고, 단계 S1250은 단계 S309를 구체화한 과정일 수 있다.
도 3의 단계 S305 이후, 영상 처리 장치(200)의 톤 매핑부(237)는 메타 데이터에 기초하여, 복수의 이미지 프레임들의 피크 휘도 값들을 획득한다(S1210). HDR 영상은 복수의 이미지 프레임들로 구성될 수 있다. 도 13을 참조하면, 톤 매핑부(237)는 일정 개수의 이미지 프레임들의 피크 휘도 값들을 획득할 수 있다. 일정 개수는 3개 일 수 있으나, 이는 예시에 불과한 수치이다.
톤 매핑부(237)는 제1 이미지 프레임(frame 1) 내지 제3 이미지 프레임(frame 3)들 각각의 피크 휘도 값(x1, x2, x3)들을 메타 데이터 파서(231)로부터 획득할 수 있다.
톤 매핑부(237)는 획득된 피크 휘도 값들의 평균 피크 휘도 값을 획득한다(S1230). 톤 매핑부(237)는 도 13에 도시된 바와 같이, 이미지 프레임들의 최대 피크 휘도 값들의 평균(x4=(x1+x2+x3)/3)을 획득할 수 있다.
톤 매핑부(237)는 획득된 평균 피크 휘도 값에 기초하여, HDR 영상의 휘도를 조절한다(S1050). 톤 매핑부(237)는 획득된 평균 휘도 값에 기초하여, 도 7 내지 도 9에서 설명한 바와 같이, 적응적 톤 매핑을 수행할 수 있다.
도 12 및 도 13의 실시 예에 따라 적응적 톤 매핑을 수행하는 경우, 각 이미지프레임마다 톤 커브를 변경하는 경우에 비해, 영상 처리 장치(200)에 걸리는 부하가 줄어들 수 있고, 플리커의 발생이 방지될 수 있다.
본 발명의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 영상 처리 장치에 있어서,
    디스플레이 패널;
    컨텐트 제공자로부터 광역 동적 범위(High Dynamic Range, HDR) 영상을 수신하는 디코더;
    상기 HDR 영상의 휘도 정보를 파싱하는 메타 데이터 파서; 및
    상기 파싱된 상기 HDR 영상의 휘도 정보로부터 상기 HDR 영상의 피크 휘도(Peak Luminance) 값을 획득하고,
    상기 피크 휘도 값이 기 설정된 휘도 범위 내에 있는 경우, 정적 톤 커브(static tone curve)를 이용하여, 상기 디스플레이 패널이 출력 가능한 휘도 범위 내로 상기 HDR 영상의 휘도를 조절하고,
    상기 피크 휘도 값이, 상기 기 설정된 휘도 범위를 벗어나고, 상기 디스플레이 패널이 출력 가능한 휘도 범위 내에 있는 경우, 적응적 톤 커브(adaptive tone curve)를 이용하여, 상기 디스플레이 패널이 출력 가능한 휘도 범위 내로, 상기 HDR 영상의 휘도를 조절하는 톤 매핑부를 포함하고,
    상기 정적 톤 커브는 상기 디스플레이 패널이 출력 가능한 최대 휘도 값에 기초하여 상기 HDR 영상의 휘도를 조절하는데 사용되는 커브이고,
    상기 적응적 톤 커브는 상기 HDR 영상의 피크 휘도 값에 기초하여, 변경되는, 상기 HDR 영상의 휘도를 조절하는데 사용되는 커브이고,
    상기 기 설정된 휘도 범위의 최대 휘도 값은 상기 디스플레이 패널이 출력 가능한 휘도 범위 내에 있는
    영상 처리 장치.
  2. 제1항에 있어서,
    상기 톤 매핑부는
    상기 디코더가 제1 HDR 영상을 수신한 경우, 상기 제1 HDR 영상으로부터 제1 피크 휘도 값을 획득하고,
    상기 디코더가 제2 HDR 영상을 수신한 경우, 상기 제2 HDR 영상으로부터 제2 피크 휘도 값을 획득하는
    영상 처리 장치.
  3. 제2항에 있어서,
    상기 톤 매핑부는
    상기 제1 피크 휘도 값 및 상기 제2 피크 휘도 값 각각이, 상기 기 설정된 휘도 범위를 벗어나고, 상기 디스플레이 패널이 출력 가능한 휘도 범위 내에 있는 경우, 상기 제1 피크 휘도 값에 기초하여 생성된 제1 적응적 톤 커브를 이용하여, 상기 제1 HDR 영상의 휘도를 조절하고, 상기 제2 피크 휘도 값에 기초하여 생성된 제2 적응적 톤 커브를 이용하여, 상기 제2 HDR 영상의 휘도를 조절하는
    영상 처리 장치.
  4. 제3항에 있어서,
    상기 제1 피크 휘도 값과 상기 제2 피크 휘도 값이 다른 경우, 상기 제1 적응적 톤 커브는 상기 제2 적응적 톤 커브와 서로 다른
    영상 처리 장치.
  5. 제1항에 있어서,
    상기 HDR 영상의 컬러를 상기 디스플레이 패널이 갖는 색 재현 범위에 맞게 변환하는 컬러 매핑을 수행하는 컬러 매핑부를 더 포함하는
    영상 처리 장치.
  6. 영상 처리 장치의 영상 처리 방법에 있어서,
    컨텐트 제공자로부터 광역 동적 범위(High Dynamic Range, HDR) 영상을 수신하는 단계;
    상기 HDR 영상의 휘도 정보를 파싱하는 단계;
    상기 파싱된 상기 HDR 영상의 휘도 정보로부터 상기 HDR 영상의 피크 휘도(Peak Luminance) 값을 획득하는 단계; 및
    상기 피크 휘도 값에 기초하여, 상기 HDR 영상의 휘도를 조절하는 단계를 포함하고,
    상기 HDR 영상의 휘도를 조절하는 단계는
    상기 피크 휘도 값이 기 설정된 휘도 범위 내에 있는 경우, 정적 톤 커브(static tone curve)를 이용하여, 디스플레이 패널이 출력 가능한 휘도 범위 내로 상기 HDR 영상의 휘도를 조절하는 단계 및
    상기 피크 휘도 값이, 상기 기 설정된 휘도 범위를 벗어나고, 상기 디스플레이 패널이 출력 가능한 휘도 범위 내에 있는 경우, 적응적 톤 커브(adaptive tone curve)를 이용하여, 상기 디스플레이 패널이 출력 가능한 휘도 범위 내로, 상기 HDR 영상의 휘도를 조절하는 단계를 포함하고,
    상기 정적 톤 커브는 상기 디스플레이 패널이 출력 가능한 최대 휘도 값에 기초하여 상기 HDR 영상의 휘도를 조절하는데 사용되는 커브이고,
    상기 적응적 톤 커브는 상기 HDR 영상의 피크 휘도 값에 기초하여, 변경되는, 상기 HDR 영상의 휘도를 조절하는데 사용되는 커브이고,
    상기 기 설정된 휘도 범위의 최대 휘도 값은 상기 디스플레이 패널이 출력 가능한 휘도 범위 내에 있는
    영상 처리 방법.
  7. 제6항에 있어서,
    상기 HDR 영상의 피크 휘도 값을 획득하는 단계는
    제1 HDR 영상을 수신한 경우, 상기 제1 HDR 영상으로부터 제1 피크 휘도 값을 획득하는 단계 및
    디코더가 제2 HDR 영상을 수신한 경우, 상기 제2 HDR 영상으로부터 제2 피크 휘도 값을 획득하는 단계를 포함하는
    영상 처리 방법.
  8. 제7항에 있어서,
    상기 HDR 영상의 휘도를 조절하는 단계는
    상기 제1 피크 휘도 값 및 상기 제2 피크 휘도 값 각각이, 상기 기 설정된 휘도 범위를 벗어나고, 상기 디스플레이 패널이 출력 가능한 휘도 범위 내에 있는 경우,
    상기 제1 피크 휘도 값에 기초하여 생성된 제1 적응적 톤 커브를 이용하여, 상기 제1 HDR 영상의 휘도를 조절하는 단계, 및
    상기 제1 피크 휘도 값 및 상기 제2 피크 휘도 값 각각이, 상기 기 설정된 휘도 범위를 벗어나고, 상기 디스플레이 패널이 출력 가능한 휘도 범위 내에 있는 경우, 상기 제2 피크 휘도 값에 기초하여 생성된 제2 적응적 톤 커브를 이용하여, 상기 제2 HDR 영상의 휘도를 조절하는 단계를 포함하는
    영상 처리 방법.
  9. 제8항에 있어서,
    상기 제1 피크 휘도 값과 상기 제2 피크 휘도 값이 다른 경우, 상기 제1 적응적 톤 커브는 상기 제2 적응적 톤 커브와 서로 다른
    영상 처리 방법.
  10. 제6항에 있어서,
    상기 HDR 영상의 컬러를 상기 디스플레이 패널이 갖는 색 재현 범위에 맞게 변환하는 컬러 매핑을 수행하는 단계를 더 포함하는
    영상 처리 방법.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020160059803A 2016-05-16 2016-05-16 영상 처리 장치 및 그의 영상 처리 방법 KR102488954B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020160059803A KR102488954B1 (ko) 2016-05-16 2016-05-16 영상 처리 장치 및 그의 영상 처리 방법
PCT/KR2016/009933 WO2017200149A1 (en) 2016-05-16 2016-09-05 Image processing device and image processing method using the same
CN201680085610.3A CN109155844B (zh) 2016-05-16 2016-09-05 图像处理设备和使用该图像处理设备的图像处理方法
EP16902516.0A EP3459242A4 (en) 2016-05-16 2016-09-05 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD USING SAID IMAGE PROCESSING DEVICE
US15/294,323 US10275865B2 (en) 2016-05-16 2016-10-14 Image processing device and image processing method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160059803A KR102488954B1 (ko) 2016-05-16 2016-05-16 영상 처리 장치 및 그의 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20170129004A KR20170129004A (ko) 2017-11-24
KR102488954B1 true KR102488954B1 (ko) 2023-01-16

Family

ID=60295211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160059803A KR102488954B1 (ko) 2016-05-16 2016-05-16 영상 처리 장치 및 그의 영상 처리 방법

Country Status (5)

Country Link
US (1) US10275865B2 (ko)
EP (1) EP3459242A4 (ko)
KR (1) KR102488954B1 (ko)
CN (1) CN109155844B (ko)
WO (1) WO2017200149A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885614B2 (en) * 2015-08-19 2021-01-05 Samsung Electronics Co., Ltd. Electronic device performing image conversion, and method thereof
WO2017203942A1 (ja) * 2016-05-25 2017-11-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6729055B2 (ja) * 2016-06-23 2020-07-22 セイコーエプソン株式会社 映像処理装置、表示装置および映像処理方法
EP3312798A1 (en) * 2016-10-20 2018-04-25 Thomson Licensing Method and device for inverse tone mapping
CN110770787B (zh) * 2017-06-16 2023-04-07 杜比实验室特许公司 高效端到端单层逆向显示管理编码
JP7117626B2 (ja) 2017-06-21 2022-08-15 パナソニックＩｐマネジメント株式会社 映像表示装置及び映像表示方法
US11100888B2 (en) * 2017-06-28 2021-08-24 The University Of British Columbia Methods and apparatuses for tone mapping and inverse tone mapping
EP3654657B1 (en) 2017-07-14 2021-11-24 Panasonic Intellectual Property Management Co., Ltd. Video display device and video display method
JP7108880B2 (ja) * 2017-10-06 2022-07-29 パナソニックＩｐマネジメント株式会社 映像表示装置及び映像表示方法
KR102448497B1 (ko) * 2017-11-17 2022-09-28 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 영상 제공 장치
CN108053381B (zh) * 2017-12-22 2022-04-22 深圳创维－Rgb电子有限公司 动态色调映射方法、移动终端及计算机可读存储介质
JP7046661B2 (ja) * 2018-03-15 2022-04-04 キヤノン株式会社 表示装置およびその制御方法、プログラム
US11354790B2 (en) * 2018-04-06 2022-06-07 Sony Corporation Image processing apparatus, image processing method, and recording medium
CN108986039B (zh) * 2018-06-06 2019-07-09 贝壳找房(北京)科技有限公司 一种基于灰度图的色调映射方法及系统
US11323682B2 (en) * 2018-07-02 2022-05-03 Sony Interactive Entertainment Inc. Electronic device, content processing device, content processing system, image data output method, and image processing method
KR102572432B1 (ko) * 2018-07-03 2023-08-30 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
KR102533723B1 (ko) 2018-09-14 2023-05-18 삼성전자주식회사 전자 장치 및 그 제어 방법
US10957024B2 (en) * 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
KR20200095651A (ko) 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
JP7332325B2 (ja) * 2019-04-15 2023-08-23 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP7373299B2 (ja) * 2019-04-26 2023-11-02 キヤノン株式会社 画像処理装置およびその制御方法
KR102666909B1 (ko) * 2019-06-19 2024-05-20 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP2021006937A (ja) * 2019-06-27 2021-01-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN110445986B (zh) * 2019-07-30 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111064967A (zh) * 2019-11-20 2020-04-24 北京迈格威科技有限公司 图像的压缩方法、装置、系统和存储介质
JP7431596B2 (ja) 2020-01-31 2024-02-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7431595B2 (ja) 2020-01-31 2024-02-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
WO2021222310A1 (en) 2020-04-28 2021-11-04 Dolby Laboratories Licensing Corporation Image-dependent contrast and brightness control for hdr displays
CN116132648A (zh) * 2020-04-30 2023-05-16 华为技术有限公司 动态范围映射的方法和装置
US11769234B2 (en) 2020-10-07 2023-09-26 Qualcomm Incorporated Methods and apparatus for histogram based tone mapping
KR20230055264A (ko) * 2021-10-18 2023-04-25 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
CN114501023B (zh) * 2022-03-31 2022-07-26 深圳思谋信息科技有限公司 视频处理方法、装置、计算机设备、存储介质
CN115393197B (zh) * 2022-10-27 2023-05-05 摩尔线程智能科技(北京)有限责任公司 图像合成方法、装置以及图形处理设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101142811A (zh) * 2005-03-15 2008-03-12 欧姆龙株式会社 图像处理装置和图像处理方法、程序以及记录介质
KR20110052320A (ko) * 2009-11-12 2011-05-18 엘지전자 주식회사 영상 신호 처리 방법 및 영상 신호 처리 장치
EP2745290A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
JP5593352B2 (ja) * 2012-07-10 2014-09-24 ヤフー株式会社 情報提供装置、情報提供方法および情報提供プログラム
WO2015007505A1 (en) * 2013-07-18 2015-01-22 Koninklijke Philips N.V. Methods and apparatuses for creating code mapping functions for encoding an hdr image, and methods and apparatuses for use of such encoded images
EP3072288B1 (en) * 2013-11-22 2019-06-12 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping
EP2922288A1 (en) 2014-03-18 2015-09-23 Thomson Licensing Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable medium
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
CN110992914B (zh) * 2014-10-06 2022-07-01 三星电子株式会社 显示设备及控制该显示设备的方法
KR102317035B1 (ko) * 2014-12-19 2021-10-25 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
EP3459242A4 (en) 2020-01-15
US20170330312A1 (en) 2017-11-16
US10275865B2 (en) 2019-04-30
CN109155844A (zh) 2019-01-04
CN109155844B (zh) 2021-05-04
WO2017200149A1 (en) 2017-11-23
KR20170129004A (ko) 2017-11-24
EP3459242A1 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
KR102488954B1 (ko) 영상 처리 장치 및 그의 영상 처리 방법
JP7126184B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP7101288B2 (ja) Ｈｄｒ信号の変換用の方法及び装置
US10192294B2 (en) Image processing apparatus and image processing method for display mapping
CN110489073B (zh) 变换方法及变换装置
CN109151253B (zh) 显示装置、显示方法以及再现显示系统
KR102631484B1 (ko) 이미지들 및 비디오의 전기-광학 및 광-전기 변환을 위한 방법들, 시스템들 및 장치
KR102358368B1 (ko) 하이 다이나믹 레인지 픽처를 인코딩하기 위한 방법 및 디바이스, 대응하는 디코딩 방법 및 디코딩 디바이스
JP6891882B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN106416261B (zh) 传输设备、传输方法、接收设备以及接收方法
TWI727968B (zh) 用於視訊編碼及解碼中量化之方法及設備
KR20180043807A (ko) 비디오 디코더에서의 높은 동적 범위 적응 동작들
KR20160125382A (ko) 이미지/비디오 신호에 관련된 비트 스트림을 생성하기 위한 방법, 특정 정보 데이터를 포함하는 비트 스트림, 그와 같은 특정 정보 데이터를 획득하기 위한 방법
Lu et al. Implication of high dynamic range and wide color gamut content distribution
CN115442636A (zh) 直播视频流转换方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant