KR102519288B1 - 콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법 - Google Patents

콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법 Download PDF

Info

Publication number
KR102519288B1
KR102519288B1 KR1020150149539A KR20150149539A KR102519288B1 KR 102519288 B1 KR102519288 B1 KR 102519288B1 KR 1020150149539 A KR1020150149539 A KR 1020150149539A KR 20150149539 A KR20150149539 A KR 20150149539A KR 102519288 B1 KR102519288 B1 KR 102519288B1
Authority
KR
South Korea
Prior art keywords
content
luminance
masks
highlight
region
Prior art date
Application number
KR1020150149539A
Other languages
English (en)
Other versions
KR20170048890A (ko
Inventor
에릭 입
김동연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150149539A priority Critical patent/KR102519288B1/ko
Priority to PCT/KR2016/012196 priority patent/WO2017074076A1/ko
Priority to US15/770,673 priority patent/US10657631B2/en
Publication of KR20170048890A publication Critical patent/KR20170048890A/ko
Application granted granted Critical
Publication of KR102519288B1 publication Critical patent/KR102519288B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 개시는 콘텐츠 에코시스템에서 콘텐츠의 명암비를 제어하는 장치 및 방법에 관한 것이다. 본 개시의 일 실시예에서 제안하는 방법은; 본 개시의 일 실시예에서 제안하는 방법은; 콘텐츠 에코시스템에서 콘텐츠의 명암비를 제어하는 방법에 있어서, 상기 콘텐츠를 구성하는 프레임의 휘도 정보를 기반으로 하나 이상의 하이라이트 영역들을 식별하는 과정; 상기 프레임에서 상기 하나 이상의 하이라이트 영역들을 검출하기 위한 임계값들을 결정하는 과정; 상기 임계값들을 기반으로 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성하는 과정; 및 상기 하나 이상의 마스크들과 상기 콘텐츠에 대한 하나 이상의 부스팅 팩터들을 기반으로 명암비가 제어된 프레임을 생성하는 과정을 포함한다.

Description

콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법{METHOD AND APPARATUS FOR CONTROLLING CONTENT CONTRAST IN CONTENT ECOSYSTEM}
본 개시는 콘텐츠 에코시스템에서 콘텐츠의 명암비를 제어하는 장치 및 방법에 관한 것이다.
대형 홈 텔레비전이 소비자들에게 계속해서 인기를 얻음에 따라, 경쟁사로부터 자신들의 제품을 차별화하기 위해 텔레비전에서 디스플레이의 품질이 중요한 요소가 되고 있다. 울트라 고 화질(ultra high definition : UHD) 텔레비전 시대의 도래와 함께, 3차원(3 dimensions : 3D) 기술, 고속 프레임 레이트의 기술 및 고 다이나믹 범위(high dynamic range : HDR) 기술과 같은 다른 새로운 기술들 역시 패키지화된 UHD 프랜차이즈(franchise)에 포함되고 있다. 콘텐츠 에코시스템에서 이러한 다양한 새로운 기술들이 있음에도 불구하고, 새로운 UHD를 지원하는 텔레비전에서 사용자로부터 UHD와 고 화질(high definition : HD)간의 차이가 명확하게 구별되는 기술이 개발되고 있지 않다.
HDR 기술은 촬영 및 카메라 기술에 널리 사용되어 왔으나, HDR 기술에 대한 표준화의 미비함으로 인해 비디오 기술에서는 널리 사용되지 못하였다.
일 예로, HDR을 지원하는 디스플레이들(displays)과 HDR 기반의 콘텐츠(content)의 분배를 통해 HDR 에코시스템(ecosystem)이 확장 중에 있음에도 불구하고, 대부분의 콘텐츠는 레가시(legacy) 컨텐츠의 양으로 인해 여전히 스탠다드 다이나믹 범위(standar dynamic range : SDR) 기술로 생성된다. 특히, 방송국들은 자신들의 에코시스템들에서 HDR 기술을 구현하여 HDR 기반의 콘텐츠(일 예로, 라이브(live) 또는 녹화된(prerecorded) 콘텐츠)를 브로드캐스팅하는 것이 늦어지고 있다. 근본적으로, HDR 기술의 주요한 문제는 HDR 기반의 콘텐츠의 생성이 아니라, 콘텐츠와 다양한 타겟(target) 장치의 사양들 사이에 서로 다른 피크(peak) 휘도들(luminances)을 어떻게 매치하는가에 있었다.
일반적으로, HDR를 지원하는 들은 SDR 기반의 콘텐츠와 비교하면 피크 휘도에 있어서 큰 차이를 가질 수 있으므로, 단순한 톤 매핑 알고리즘(simple tone mapping algorithms)에 대한 구현이 요구된다. 이러한 톤 매핑 알고리즘들은 각각의 제조자에 따라 좌우되는 독점적 기술의 알고리즘들일 것이나, 대부분은 레가시 콘텐츠의 동적 범위를 타겟 장치의 사양(capability)에 맞게 증가시키는 단순 선형 톤 매핑(simple linear tone mapping)에 기반한다.
도 1은 종래 콘텐츠 에코시스템에서 콘텐츠를 디스플레이하는 방법의 일 예를 보이고 있다.
도 1을 참조하면, SDR 기반의 콘텐츠 소스(101)는 SDR 기반의 콘텐츠 소스(101)의 피크 휘도를 기반으로 재생 장치(100)의 사양에 따라 선형 매핑된다. 그리고 재생 장치(100)는 선형 매핑된 컨텐츠를 디스플레이한다.
되어 디스플레이한다.
한편, HDR 기반의 콘텐츠를 디스플레이를 위한 기존의 콘텐츠 기술들은 다양하다. HDR 기술에 관한 현재의 노력은 HDR 기반의 콘텐츠 및 HDR을 지원하는 디스플레이 장치들의 표준화에 대한 것이었으나, 아직까지 역호환성(backwards compatibility)에 대한 고찰은 상대적으로 적었으며, HDR을 지원하는 장치들 상에서 장치의 최대 사양으로 SDR 기반의 콘텐츠를 디스플레이하는 표준화된 방법은 개발되지 않았다.
종래 HDR을 지원하는 장치들에서 HDR 기반의 콘텐츠를 제공하는 방법 중 하나는, 고유한 추가 메타데이터를 통해 SDR 기반의 콘텐츠를 HDR 기반의 콘텐츠로 변환하는 역(inverse) 톤 매핑 프로세스가 있다. 역 톤 매핑 프로세스의 문제점은 계산 집중적이고, 콘텐츠에 고유한 메타데이터가 존재하지 않을 경우 구현이 어렵다는 것이다. 종래 SDR 기반의 콘텐츠를 HDR 기반의 콘텐츠로 역매핑하는 경우, 고유한 메타데이터의 결여는 일관되지 않은 결과들을 출력할 수 있고, 이것은 타겟 장치 구현에 고유한 것으로 콘텐츠의 휘도 뿐 아니라 컬러들까지 변경될 수 있으므로 콘텐츠 생성자의 의도가 변경되게 된다.
도 2는 종래 콘텐츠 에코시스템에서 콘텐츠를 디스플레이하는 방법의 다른 예를 보이고 있다.
도 2를 참조하면, SDR 기반의 콘텐츠(101)는 HDR 기반의 콘텐츠(103)로 변환된다. 그리고 상기 SDR 기반의 콘텐츠(101)와 상기 HDR 기반의 콘텐츠(103) 간의 역 톤 매핑을 통해 메타 데이터가 획득된다. 이로부터, SDR 기반의 콘텐츠(101)에 상기 획득된 역 톤 메타 데이터가 매핑되어, 매핑된 데이터는 재생 장치(100)로 출력된다. 따라서 상기 재생 장치(100)는 SDR 기반의 콘텐츠(101)에서 역 톤 메타 데이터가 매핑된 콘텐츠를 디스플레이한다. 즉, 상기 재생 장치(100)는 콘텐츠 피크 휘도(content peak luminance)가 장치 사양에 따라 역 톤 매핑된 SDR 기반의 콘텐츠를 디스플레이할 수 있다.
도 1 및 도 2와 같은 방법 이외, 종래에는 픽셀 단위 컬러 개선(enhancement), 또는 타이틀에 고유한 콘텐츠 자체를 변경하는 대신 디스플레이 세팅에 대한 일반적 변경과 같은 다른 방법들이 존재할 수 있다. 그러나 종래 방법들은 계산 집중적이거나, 콘텐츠 소스와 다른 콘텐츠(즉, 변경된 콘텐츠)를 디스플레이 시킬 수 있다.
따라서, 재생 장치의 사양에 따라서 콘텐츠를 효율적으로 디스플레이할 수 있는 방안이 요구된다.
본 개시의 일 실시예는 콘텐츠 에코시스템에서 콘텐츠의 명암비를 제어하는 장치 및 방법을 제공한다.
또한 본 개시의 일 실시예는 콘텐츠 에코시스템에서 HDR을 지원하는 장치에서 SDR 기반의 콘텐츠를 효과적으로 디스플레이할 수 있도록 콘텐츠의 명암비를 제어하는 장치 및 방법을 제공한다.
본 개시의 일 실시예에서 제안하는 방법은; 콘텐츠 에코시스템에서 콘텐츠의 명암비를 제어하는 방법에 있어서, 상기 콘텐츠를 구성하는 프레임의 휘도 정보를 기반으로 하나 이상의 하이라이트 영역들을 식별하는 과정; 상기 프레임에서 상기 하나 이상의 하이라이트 영역들을 검출하기 위한 임계값들을 결정하는 과정; 상기 임계값들을 기반으로 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성하는 과정; 및 상기 하나 이상의 마스크들과 상기 콘텐츠에 대한 하나 이상의 부스팅 팩터들을 기반으로 명암비가 제어된 프레임을 생성하는 과정을 포함한다.
본 개시의 일 실시예에서 제안하는 장치는; 콘텐츠의 명암비를 제어하는 콘텐츠 에코시스템에 있어서, 데이터를 송수신하는 송수신부; 및 상기 콘텐츠를 구성하는 프레임의 휘도 정보를 기반으로 하나 이상의 하이라이트 영역들을 식별하고, 상기 프레임에서 상기 하나 이상의 하이라이트 영역들을 검출하기 위한 임계값들을 결정하고, 상기 임계값들을 기반으로 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성하여, 상기 하나 이상의 마스크들과 상기 콘텐츠에 대한 하나 이상의 부스팅 팩터들을 기반으로 명암비가 제어된 프레임을 생성하는 프로세서를 포함한다.
본 개시의 다른 측면들과, 이득들 및 핵심적인 특징들은 부가 도면들과 함께 처리되고, 본 개시의 바람직한 실시예들을 개시하는, 하기의 구체적인 설명으로부터 해당 기술 분야의 당업자에게 자명할 것이다.
하기의 본 개시의 구체적인 설명 부분을 처리하기 전에, 이 특허 문서를 통해 사용되는 특정 단어들 및 구문들에 대한 정의들을 설정하는 것이 효과적일 수 있다: 상기 용어들 “포함하다(include)” 및 “포함하다(comprise)”와 그 파생어들은 한정없는 포함을 의미하며; 상기 용어 “혹은(or)”은 포괄적이고, “및/또는”을 의미하고; 상기 구문들 “~와 연관되는(associated with)” 및 “~와 연관되는(associated therewith)”과 그 파생어들은 포함하고(include), ~내에 포함되고(be included within), ~와 서로 연결되고(interconnect with), 포함하고(contain), ~내에 포함되고(be contained within), ~에 연결하거나 혹은 ~와 연결하고(connect to or with), ~에 연결하거나 혹은 ~와 연결하고(couple to or with), ~와 통신 가능하고(be communicable with), ~와 협조하고(cooperate with), 인터리빙하고(interleave), 병치하고(juxtapose), ~로 가장 근접하고(be proximate to), ~로 ~할 가능성이 크거나 혹은 ~와 ~할 가능성이 크고(be bound to or with), 가지고(have), 소유하고(have a property of) 등과 같은 내용을 의미하고; 상기 용어 “제어기”는 적어도 하나의 동작을 제어하는 임의의 장치, 시스템, 혹은 그 부분을 의미하고, 상기와 같은 장치는 하드웨어, 펌웨어 혹은 소프트웨어, 혹은 상기 하드웨어, 펌웨어 혹은 소프트웨어 중 적어도 2개의 몇몇 조합에서 구현될 수 있다. 어떤 특정 제어기와 연관되는 기능성이라도 집중화되거나 혹은 분산될 수 있으며, 국부적이거나 원격적일 수도 있다는 것에 주의해야만 할 것이다. 특정 단어들 및 구문들에 대한 정의들은 이 특허 문서에 걸쳐 제공되고, 해당 기술 분야의 당업자는 많은 경우, 대부분의 경우가 아니라고 해도, 상기와 같은 정의들이 종래 뿐만 아니라 상기와 같이 정의된 단어들 및 구문들의 미래의 사용들에도 적용된다는 것을 이해해야만 할 것이다.
도 1은 종래 콘텐츠 에코시스템에서 콘텐츠를 디스플레이하는 방법의 일 예를 나타낸 도면,
도 2는 종래 콘텐츠 에코시스템에서 콘텐츠를 디스플레이하는 방법의 다른 예를 나타낸 도면,
도 3은 본 개시의 실시 예가 적용된 팝 아웃 효과의 결과에 대한 일 예를 나타낸 도면,
도 4는 본 개시의 실시 예에 따른 콘텐츠의 명암비 제어 장치의 주요 구성요소들을 나타낸 도면,
도 5는 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에서 출력하는 콘텐츠의 일예를 나타낸 도면,
도 6은 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 포함된 결정 모듈(410)의 내부 구성을 나타낸 도면,
도 7 및 도 8은 본 개시의 실시 예에 따른 결정 모듈(410)에서 하드 임계값과 소프트 임계값을 결정하는 방법의 일 예를 나타낸 도면,
도 9는 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 포함된 검출 모듈(430)의 내부 구성을 나타낸 도면,
도 10은 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 포함된 후처리 모듈(450)의 내부 구성을 나타낸 도면,
도 11은 본 개시의 실시 예에 따른 콘텐츠 명암비를 제어하는 방법을 나타낸 도면,
도 12는 본 개시의 실시 예에 따른 팝 아웃 엔진(400)의 동작에 따라 콘텐츠의 명암비가 향상된 결과를 나타낸 도면.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.
첨부되는 도면들을 참조하는 하기의 상세한 설명은 청구항들 및 청구항들의 균등들로 정의되는 본 개시의 다양한 실시예들을 포괄적으로 이해하는데 있어 도움을 줄 것이다. 하기의 상세한 설명은 그 이해를 위해 다양한 특정 구체 사항들을 포함하지만, 이는 단순히 예로서만 간주될 것이다. 따라서, 해당 기술 분야의 당업자는 여기에서 설명되는 다양한 실시예들의 다양한 변경들 및 수정들이 본 개시의 범위 및 사상으로부터 벗어남이 없이 이루어질 수 있다는 것을 인식할 것이다. 또한, 공지의 기능들 및 구성들에 대한 설명은 명료성 및 간결성을 위해 생략될 수 있다.
하기의 상세한 설명 및 청구항들에서 사용되는 용어들 및 단어들은 문헌적 의미로 한정되는 것이 아니라, 단순히 발명자에 의한 본 개시의 명료하고 일관적인 이해를 가능하게 하도록 하기 위해 사용될 뿐이다. 따라서, 해당 기술 분야의 당업자들에게는 본 개시의 다양한 실시예들에 대한 하기의 상세한 설명은 단지 예시 목적만을 위해 제공되는 것이며, 첨부되는 청구항들 및 상기 청구항들의 균등들에 의해 정의되는 본 개시를 한정하기 위해 제공되는 것은 아니라는 것이 명백해야만 할 것이다.
또한, 본 명세서에서 명백하게 다른 내용을 지시하지 않는 “한”과, “상기”와 같은 단수 표현들은 복수 표현들을 포함한다는 것이 이해될 수 있을 것이다. 따라서, 일 예로, “컴포넌트 표면(component surface)”은 하나 혹은 그 이상의 컴포넌트 표현들을 포함한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 이해되어야만 한다.
본 개시의 실시 예에 따른 주요한 요지는 콘텐츠에서 명암비(contrast)를 제어하는 것으로, 콘텐츠에서 특정 영역(일 예로, 백색(또는 흑색) 영역)을 식별 및 제어하여 콘텐츠의 의도 및 컬러를 유지하는 것이다. 여기서, 상기 콘텐츠는 프레임(frame)들 또는 장면(scene)들을 구성하는 것으로, 본 개시의 실시 예에서 콘텐츠의 명암비를 제어하는 동작은 프레임 단위 또는 장면 단위로 수행될 수 있다.
이로부터 사용자는 개선된 "2.5D" 콘텐츠를 경험하고 재생 장치의 전체 휘도 범위에 대한 사양을 활용할 수 있다. 또한 한 장면 내에서 백색(또는 흑색) 영역에 대한 식별은 다양한 알고리즘들과 개념들에 기초하여 선택될 수 있으며, 백색(또는 흑색) 영역의 개선 정도 또한 콘텐츠 및 타겟 재생 장치에 결정될 수 있다. 이에 대한 상세한 설명은 하기에서 하기로 한다. 여기서, 본 개시의 실시 예가 적용되는 콘텐츠는 모든 다이나믹 범위를 갖는 콘텐츠에 적용될 수 있으며, 아래에서는 설명의 편의를 위하여 상기 콘텐츠가 일 예로 SDR 기반의 콘텐츠임을 가정하여 설명하기로 한다.
이러한 본 개시의 실시 예에 따라, HDR을 지원하는 장치에서 백색 재생을 통하여 밝기 팝 아웃(Brightness pop-out) 효과를 생성하면, 도 3과 같이 입력된 SDR 기반의 콘텐츠를 개선시킬 수 있다. 도 3은 본 개시의 실시 예가 적용된 팝 아웃 효과의 결과에 대한 일 예를 보이고 있는 것이다.
본 개시의 실시 예에 따른 콘텐츠의 명암비 제어 방법을 밝기 250 nits를 갖는 프레임에 적용하면, 고유한(즉, 밝기 X nits에 대한) 선형 톤 매핑 곡선들 상에서 본 개시의 실시 예에 따른 백색 팝 아웃 효과(310)의 결과들을 보일 수 있다.
도 4는 본 개시의 실시 예에 따른 콘텐츠의 명암비 제어 장치의 주요 구성요소들을 보이고 있다.
본 개시의 실시 예에 따른 콘텐츠의 명암비 제어 장치(400)는 SDR 기반의 콘텐츠(101)를 수신하고, 수신된 SDR 기반의 콘텐츠(101)에 대한 후처리를 수행한 후, 재생 장치(100)의 디스플레이부로 전달하는 장치이다. 이러한 콘텐츠의 명암비 제어 장치(400)는 재생 장치(100)에 포함되거나, 재생 장치(100)와 별도의 장치로 구성될 수 있다. 일 에로, 상기 콘텐츠의 명암비 제어 장치(400)는 콘텐츠 배포자들이 최종 재생 장치들로의 콘텐츠를 전송하기 이전에 콘텐츠를 개선하도록 상기 콘텐츠의 명암비 제어 장치(400)를 구현할 수 있고, 아니면 상기 콘텐츠의 명암비 제어 장치(400)가 재생 장치(일 예로, 셋업 박스 내부 또는 재생 장치 자체) 내에서 구현될 수 있다. 이하에서는 설명의 편의를 위하여, 상기 콘텐츠의 명암비 제어 장치(400)를 팝 아웃 엔진(pop-out engine)이라 정의하여 기재하기로 한다.
도 4를 참조하면, 팝 아웃 엔진(400)은 결정 모듈(decision module)(410), 검출 모듈(detection module)(430) 및 후처리 모듈(post-processing module)(450)을 포함한다.
상기 결정 모듈(410)은 백색(또는 흑색) 영역의 명암비 향상을 위한 적어도 하나의 마스크를 생성하기 위하여, 콘텐츠에서 하나 이상의 하이라이트 영역들을 검출하기 위한 파라미터들을 결정한다. 여기서, 하나의 파라미터는 하나 이상의 하이라이트 영역에 적용될 수 있으며, 하드 임계값(hard threshold), 소프트 임계값(soft threshold) 및 부스팅 팩터(boosting factor)를 포함한다. 상기 하드 임계값, 소프트 임계값, 부스팅 팩터 및 하나의 파라미터를 결정하는 동작에 대해서는 하기에서 상세히 설명하기로 한다.
삭제
상기 검출 모듈(430)은 상기 결정된 파라미터들에 포함된 하드 임계값들 및 소프트 임계값들을 기반으로, 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성한다. 그리고 후처리 모듈(450)은 백색 재생 팝 아웃 및 명암비 개선을 위하여, 상기 생성된 하나 이상의 마스크들 각각에 해당 부스팅 팩터를 적용하고 상기 부스팅 팩터가 적용된 하나 이상의 마스크들을 하나의 마스크로 결합한다. 여기서, 상기 부스팅 팩터는 수학적인 용어로 "인수"에 해당한다. 일 예로, 상기 후처리 모듈(450)은 상기 생성된 하나 이상의 마스크들 각각에 부스팅 팩터로 1보다 큰 수를 곱하거나, 1보다 작은 수를 곱할 수 있다.
한편, 도 4에서는 팝 아웃 엔진(400)이 복수 개의 모듈들 포함하는 것으로 도시하였으나, 실시 예에 따라서 복수 개의 모듈들은 서로 통합되어 적어도 하나의 프로세서로 구현될 수 있다. 그리고 상기 팝 아웃 엔진(400)에 포함되는 모듈들 각각에 대한 상세한 설명은 하기 도 6 내지 도 10을 참조하여 상세히 설명 하기로 한다.
삭제
이러한 팝 아웃 엔진(400)의 동작으로부터 팝 아웃 엔진(400)에 입력되는 콘텐츠(101)는 도 5와 같이 향상된 SDR 기반의 콘텐츠를 출력할 수 있다.
도 5는 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에서 출력하는 향상된 콘텐츠의 일 예를 보이고 있다.
도 5를 참조하면, 팝 아웃 엔진(400)은 원본 SDR 기반의 장면(a)이 입력되면, 입력된 SDR 기반의 장면(a)에서 백색 영역들을 강조하는 2개의 서로 다른 마스크들(일 예로, 백색 마스크 및 흑색 마스크)로 이루어진 융합된 마스크(b)를 생성한다. 그리고 팝 아웃 엔진(400)은 생성된 마스크(b)에 부스팅 팩터들을 적용하여 향상된 장면(c)를 출력할 수 있다.
여기서, 상기 2개의 서로 다른 마스크들을 결합하여 생성된 마스크에 부스팅 팩터들을 적용하는 실시 예에 대하여 설명하였으나, 다른 실시 예로 상기 2개의 서로 다른 마스크들 각각에 해당 부스팅 팩터를 적용한 후 부스팅 팩터가 적용된 마스크들을 결합할 수도 있다.
도 6은 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 포함된 결정 모듈(410)의 내부 구성을 보이고 있다.
도 6을 참조하면, 상기 팝 아웃 엔진(400)에 포함된 결정 모듈(410)은 적어도 하나의 마스크를 생성하기 위한 하드 임계값, 소프트 임계값 및 부스팅 팩터 각각에 대한 파라미터들을 결정한다. 여기서, 상기 파라미터들은 사용 가능한 다양한 알고리즘들에 따라 달라질 수 있다. 특히, 상기 결정 모듈(410)은 프레임(101)에 관한 휘도 히스토그램을 분석하고, 상기 파라미터들을 선택하기 위한 알고리즘을 결정 및 사용한다. 여기서, 상기 결정 모듈(410)이 프레임에 관한 휘도 히스토그램을 분석함에 대하여 기재하였으나, 상기 결정 모듈(410)은 장면에 관한 휘도 히스토그램을 분석할 수 있다. 따라서, 이하에서는 설명의 편의상 프레임 단위로 명암비를 제어하는 방법에 대하여 설명하지만, 본 개시의 실시 예는 장면 단위로 명암비를 제어하는 방법에서도 적용 가능함은 물론이다.
상세하게, 상기 결정 모듈(410)은 히스토그램 분석기(histogram analyser, 411), 하이라이트 영역 추정기(highlights region estimator, 413), 임계값 파라미터 산출기(threshold parameter calculator, 415) 및 부스팅 결정기(boosting decision module, 417)을 포함한다. 상기 히스토그램 분석기(411)는 입력된 콘텐츠(101)를 분석한다. 여기서, 상기 입력된 콘텐츠는 프레임들 및 장면들을 포함한다. 상기 히스토그램 분석기(411)는 상기 콘텐츠(101)에 포함된 프레임을 분석하여 휘도 히스토그램 정보를 생성한다. 그리고 상기 히스토그램 분석기(411)는 상기 프레임에 대하여 생성된 휘도 히스토그램 정보를 하이라이트 영역 추정기(413) 및 임계값 파라미터 산출기(415)로 전달한다.
삭제
상기 하이라이트 영역 추정기(413)는 상기 히스토그램 분석기(411)로부터 휘도 히스토그램 정보를 전달받으면, 휘도 히스토그램 정보를 기반으로 콘텐츠(101) 내에 존재할 수 있는 하나 이상의 하이라이트 영역들을 추정한다. 그리고 상기 하이라이트 영역 추정기(413)는 상기 추정된 하이라이트 영역들을 식별할 수 있는 대응 알고리즘을 선택한다. 여기서, 하이라이트 영역 추정기(413)에 의해 서로 다른 알고리즘들이 선택되어도 프레임 내에서 하나 이상의 하이라이트 영역은 식별될 수 있다.그리고 상기 하이라이트 영역들은 프레임 내에서 백색 개선 또는 백색 개선의 방지를 위한 관심 영역에 포함된 특정 영역이다. 일 예로, 상기 하이라이트 영역들은, 휘도 히스토그램 정보를 통해 식별된 백색 영역들, 흑색 영역들, 높은 휘도 영역들(high luminance regions), 낮은 휘도 영역들(low luminance regions), 포화된 하이라이트들(saturated highlights), 스킨 톤 영역들(skin tone regions), 스카이 톤 영역들(sky tone regions) 및 수동 입력 또는 가능한 메타데이터를 통한 특정 면적 영역들(specified area regions) 중 적어도 하나를 포함한다.
상기 하이라이트 영역 추정기(102)는 콘텐츠(101) 내에 존재할 수 있는 다양한 타입의 하이라이트 영역들을 추정하고, 그 하이라이트 영역들을 식별할 수 있는 대응 알고리즘을 선택한다. 여기서, 하이라이트 영역 추정기(102)에 의해 서로 다른 알고리즘들이 선택되어도 프레임/장면 내에서 하나 이상의 하이라이트 영역을 식별 가능하다. 그리고 상기 하이라이트 영역들은 프레임/장면 내에서 백색 개선 또는 백색 개선의 방지를 위한 관심 부분에 포함된 특정 영역으로, 일 예로 백색 영역들 또는 흑색 영역들일 수 있다. 일 예로, 상기 하이라이트 영역들은, 히스토그램을 통해 식별된 높은 휘도 영역들(high luminance regions), 낮은 휘도 영역들(low luminance regions), 포화된 하이라이트들(saturated highlights), 스킨 톤들(skin tones), 스카이 영역들(sky regions) 및 수동 입력 또는 가능한 메타데이터를 통한 특정 면적 영역들(specified area regions) 중 적어도 하나를 포함한다.
그리고 상기 하이라이트 영역 추정기(413)는 다양한 알고리즘을 이용하여 해당 영역의 특성(nature)에 따라 하이라이트 영역들을 추정한다. 여기서, 상기 다양한 알고리즘은 다양한 가능 도메인들에서 픽셀 휘도 특성들(일 예로, 3원색값(RGB), 색공간값(YCrCb), 밝기값(Luma))에 따른 전체 프레임으로부터의 픽셀을 선택하는 알고리즘, 스킨 검출 알고리즘들(skin detection algorithms) 및 스카이 검출 알고리즘들(sky detection algorithms) 중 적어도 하나일 수 있다.
상기 스킨 검출 알고리즘은 프레임에 포함된 사람의 피부색을 검출하여 변경하는 것이다. 일반적으로 스킨 톤들의 변경은 콘텐츠 향상 시 원하지 않는 부분이다. 본 개시의 실시 예는 스킨 톤들에 대하여 콘텐츠(101)의 포화도나 컬러를 직접적으로 변경시키지 않고, 밝거나 어두운 영역들로 (자연스럽게 또는 조명으로 인해) 캡쳐된 스킨 톤들의 개선을 위하여 하이라이트 영역들로 식별될 가능성이 있을 수 있다. 그리고 본 개시의 실시 예에서 스킨 톤의 변경을 원하지 않는 경우에는, 스킨 검출 알고리즘을 통해 스킨과 같은 하이라이트 영역들을 식별하여 프레임에서 사람 피부색을 변경하지 않을 수도 있다.
그리고 상기 스카이 검출 알고리즘은 프레임 내에서, 하늘 영역들이 특별한 하이라이트 영역들로 간주할 수 있다. 이에 본 개시의 실시 예에서 스카이 톤의 변경을 원하지 않는 경우에는, 스카이 검출 알고리즘을 통해 하늘과 같은 하이라이트 영역들을 식별하고 해당 프레임에서 하늘색을 변경하지 않을 수도 있다.
도 6에서 임계값 파라미터 산출기(415)는 상기 히스토그램 분석기(411)에서 생성된 휘도 히스토그램 및 하이라이트 영역 추정기(413)에 의해 선택된 알고리즘을 기반으로 하드 임계값 및 소프트 임계값을 결정한다. 이때, 상기 하이라이트 영역 추정기(413)에 의해 선택된 알고리즘이 복수 개인 경우, 상기 임계값 파라미터 산출기(415)는 각 알고리즘에 해당하는 하드 임계값 및 소프트 임계값을 결정한다. 한편, 상기 임계값들은 메뉴얼 또는 메타데이터를 통해 직접적으로 입력될 수 있다.
상기 결정 모듈(410)은 상기 하드 임계값 및 소프트 임계값에 관한 파라미터들은 다음과 같이 결정된다.
먼저, 상기 하드 임계값은 콘텐츠(101) 내에서 특정 하이라이트 영역의 경계를 식별하기 위한 값이다. 상기 하드 임계값은 휘도 히스토그램 정보에서 콘텐츠(101)의 평균 픽셀 휘도 값(average pixel luminance) 및 휘도 하이라이트 분포도(luminance highlights distribution) 중 적어도 하나를 기반으로 결정된다. 상기 평균 픽셀 휘도 값은 다음 <수학식 1>에 의해 결정될 수 있다.
<수학식 1>
Figure 112016108167453-pat00014

여기서, A는 평균 픽셀 휘도 값이고, N은 하나의 프레임(화면) 내 전체 픽셀 개수(total pixel count)이고, L은 휘도 값 (일 예로, 도 7의 히스토그램에서 가로축에 해당하는 값)이며, P은 픽셀의 개수(pixel count)이다.
일 예로, 전체 100개의 픽셀로 이루어진 한 프레임에 대해서 L=100nits의 픽셀 20개, L=400nits의 픽셀 50개, L=1000nits의 픽셀 30개로 이루어져 있을 경우, 평균 휘도 값 A=(1/100)*(100*20+400*50+1000*30)=520nits 에 해당한다.
여기서, 상기 평균 픽셀 휘도 값은 상기 하드 임계값 및 최대 휘도 값(max luminance) 보다 작은 값을 가진다. 즉, 상기 평균 픽셀 휘도 값, 하드 임계값 및 최대 휘도 값 간의 관계는 다음 <수학식 2>와 같다.
<수학식 2>
평균 픽셀 휘도 값 < 하드 임계값 < 최대 휘도 값
일 예로, 도 7 및 도 8은 휘도 히스토그램 정보에서 하드 임계값(H)와 소프트 임계값(A)을 나타낸 것이다. 도 7 및 도 8에서와 같이 각 프레임의 하드 임계값(H)은 하드 부스팅 영역(hard boosting region, H* region)에 따라 결정되며, H* region은 한 프레임을 구성하는 전체 픽셀의 개수(N) 중 일정한 퍼센트를 나타내는 숫자로 결정할 수 있다. 예를 들어, 전체 픽셀의 개수가 100인 프레임에서 H*를 20%로 할 경우 이는 하드 부스팅 영역에 해당하는 픽셀의 개수가 100*20%=20개가 되는 것이다.
즉, 상기 H* region은 다음 <수학식 3>에 의해 결정될 수 있다.
<수학식 3>
H* region = 한 프레임을 구성하는 전체 픽셀의 개수의 %
다음으로, 소프트 임계값은 상기 하드 임계값의 함수(function)일 수 있다. 이러한 소프트 임계값(A)은 프레임/장면의 광 분포도(light distribution)에 따라 상기 결정된 하드 임계값과 일정 범위 내의 값으로 결정된다.
여기서, 상기 프레임/장면의 광 분포도는 모든 휘도값에 대한 전체 히스토그램 정보(도 7과 같은)가 없는 경우, L=0, A, S, H, max 일때의 P(분포 픽셀 개수, 수학식1 참고) 값을 기반으로 대략적인 광 분포도 (즉, 히스토그램 정보)를 예측할 수 있다.상기 부스팅 결정기(417)는 하이라이트 영역 추정기(413)에서 각각의 하이라이트 영역을 식별하는데 사용된 알고리즘 및 입력된 콘텐츠(101)의 정보(즉, 프레임/장면/전체에 대한 정보)를 기반으로, 각각의 하이라이트 영역에 대해 해당하는 부스팅 팩터를 결정한다. 한편, 상기 부스팅 팩터는 메뉴얼 또는 메타데이터를 통해 직접적으로 입력될 수 있다.
도 9는 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 포함된 검출 모듈(430)의 내부 구성을 보이고 있다.
도 9를 참조하면, 검출 모듈(430)은 상기 결정 모듈(410)에서 결정된 파라미터들 각각에 대한 마스크를 생성하여, 프레임에서 하나 이상의 하이라이트 영역들을 식별한다. 여기서, 상기 하나 이상의 마스크들 각각은 프레임 내에서 특정 픽셀들(즉, 백색(또는 흑색) 픽셀들)을 식별하는 1 또는 0인 코드 값들을 포함한다. 그리고 서로 다른 마스크들(여기서, 콘텐츠(101) 내 서로 다른 영역들)에 서로 다른 부스팅 팩터들을 적용하기 위해 여러 마스크들이 사용될 수 있다. 상기 마스크들을 생성하는데 사용되는 알고리즘은 결정 모듈(410)에서 적절한 파라미터들을 선택하기 위해 사용된 알고리즘에 의해 결정되고, 결정된 알고리즘은 보완될 수 있다.
상세하게, 상기 검출 모듈(430)은, 파라미터 분석기(parameter parser, 431), 콘텐츠 프레임 추출기(content frame extractor, 433) 및 마스크 생성기(mask generator, 435)를 포함한다. 상기 파라미터 분석기(431)는 상기 결정 모듈(410)로부터 전달받은 파라미터들을 분석하여, 픽셀 휘도 임계값들, (여러 컬러 공간들에서의) 픽셀 컬러 휘도 임계값들 및 프레임 내 픽셀 위치 중 적어도 하나를 확인한다.
삭제
그리고 콘텐츠 프레임 추출기(433)는 상기 파라미터 분석기(431)에 의해 분석된 파라미터들에 대응하는 콘텐츠로부터 매칭하는 프레임을 추출한다.
또한 상기 마스크 생성기(435)는 상기 결정 모듈(410)에 포함된 하이라이트 영역 추정기(413)에 의해 선택된 알고리즘과 동일한 알고리즘을 이용하여, 상기 추출된 프레임에 상기 하드 임계값 및 소프트 임계값에 대한 파라미터들을 적용한다. 여기서, 상기 하드 임계값 및 소프트 임계값에 대한 파라미터들 각각은 특정 하이라이트 영역에 대한 마스크를 생성하기 위해 사용된다. 즉, 상기 마스크 생성기(435)는 하이라이트 영역 추정기(413)에서 분석된 하이라이트 영역들의 개수에 따라, 하나 이상의 마스크들을 생성할 수 있다.
도 10은 본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 포함된 후처리 모듈(450)의 내부 구성을 보이고 있다.
도 10을 참조하면, 후처리 모듈(450)은 상기 결정 모듈(410)에서 결정된 부스팅 팩터들 각각에 대한 파라미터를 검출 모듈(430)에서 생성한 해당 마스크에 적용한다. 여기서, 부스팅 팩터들은 다양한 부스팅 팩터들이 사용되어, 재생 장치의 사용과 프레임에 좌우되는 다양한 마스크들을 개선할 수 있다.
상세하게, 상기 후처리 모듈(450)은 부스팅 결정 분석기(451), 마스크 부스팅기(453), 마스크 분석기(455) 및 마스크 통합기(451)를 포함한다.
삭제
부스팅 결정 분석기(451)는 부스팅 결정기(417)로부터 전달받은 부스팅 팩터들에 대한 파라미터들을 분석한다. 그리고 상기 부스팅 결정 분석기(451)는 상기 분석된 파라미터들을 타겟 장치 또는 사용자 측의 어떠한 호환 가능한 장치로부터 이용 가능한 (피크 휘도 메타데이터, 또는 장치 사양 정보를 중계할 수 있는 어떤 다른 데이터 형태의) 추가적 정보와 비교한다. 상기 타겟 장치 또는 다른 장치로부터의 추가 정보에 따라, 부스팅 결정 분석기(451)는 타겟 장치나 다른 장치의 사양들에 대한 개선을 조정하기 위해 부스팅 팩터들에 대한 파라미터들을 조정할 수 있다.
상기 마스크 생성기(435)로부터 생성된 마스크들 각각을 분석하고, 상기 분석된 마스크들 각각을 부스팅 결정 분석기(451)로부터의 해당 부스팅 팩터에 대한 파라미터와 매칭하여 마스크 부스팅기(453)로 전달한다.
상기 마스크 부스팅 모듈(453)은 상기 마스크 분석기(455)로부터 전달받은 부스팅 팩터에 대한 파라미터를 마스크 분석기(451)로부터 전달받은 해당 마스크에 적용한다. 여기서, 부스팅 팩터에 대한 파라미터들에 따라, 각각의 마스크에 적용되는 부스팅 레벨은 달라진다(일 예로, 스킨 하이라이트 영역들에는 부스팅 없음).
그리고 상기 마스크 통합기(451)는 마스크 부스팅기(453)로부터 전달받은 모든 부스팅된 마스크들을 조합하고, 조합된 마스크들을 최종 향상된 콘텐츠(800)에 포함되는 프레임으로 출력한다.
상기에서는 도 4 내지 도 10을 참조하여, 팝 아웃 엔진(400)의 구성에 대하여 상세히 설명하였으며, 이하에서는 도 11을 참조하여 팝 아웃 엔진(400)에서 콘텐츠의 명암비를 제어하는 방법에 대하여 설명하기로 한다.
도 11은 본 개시의 실시 예에 따른 콘텐츠의 명암비를 제어하는 방법을 보이고 있다.
도 11을 참조하면, 팝 아웃 엔진(400)은 입력된 콘텐츠에 포함된 프레임의 휘도 히스토그램 정보를 생성한다(1101). 그리고 상기 팝 아웃 엔진(400)은 상기 휘도 히스토그램 정보로부터 하나 이상의 하이라이트 영역들을 식별한다(1103). 이때, 상기 팝 아웃 엔진(400)은 미리 정해진 하나 이상의 알고리즘을 이용하여 콘텐츠에 대한 휘도 히스토그램 정보로부터 하나 이상의 하이라이트 영역들을 식별할 수 있다.
상기 팝 아웃 엔진(400)은 상기 하나 이상의 하이라이트 영역들 각각에 대한 파라미터를 결정한다(1105). 여기서, 상기 파라미터는 하드 임계값, 소프트 임계값 및 부스팅 팩터를 포함한다.
그리고 상기 팝 아웃 엔진(400)은 프레임에서 상기 하나 이상의 하이라이트 영역들 각각에 대한 하드 임계값 및 소프트 임계값을 이용하여, 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성한다(1107).
이후 상기 팝 아웃 엔진(400)은 상기 생성된 하나 이상의 마스크들 각각에 해당 부스팅 팩터를 적용한다(1109). 그리고 상기 팝 아웃 엔진(400)은 상기 부스팅 팩터가 적용된 마스크들 각각을 하나의 마스크로 결합하여 최종 향상된 프레임을 출력한다(1111). 한편, 팝 아웃 엔진(400)은 단계 1109 및 단계 1111와 다른 방법으로, 상기 생성된 하나 이상의 마스크들을 하나의 마스크로 결합한 후, 결합된 마스크에 상기 하나 이상의 하이라이트 영역들에 대한 하나 이상의 부스팅 팩터들을 적용하여 최종 향상된 프레임을 출력할 수도 있다.
도 12는 본 개시의 실시 예에 따른 팝 아웃 엔진(400)의 동작에 따라 콘텐츠의 명암비가 향상된 결과를 보이고 있다.
도 12를 참조하면, (a)는 팝 아웃 엔진(400)에 입력되는 프레임이고, (b)는 팝 아웃 엔진(400)에서 출력되는 프레임의 일 예를 도시한 것이다.
본 개시의 실시 예에 따른 팝 아웃 엔진(400)에 프레임(a)이 입력되는 경우, 팝 아웃 엔진(400)은 참조번호 1201 및 1203으로 나타낸 바와 같이 입력된 프레임(a)에 비하여 밝기가 향상된 프레임(b)을 출력함을 할 수 있다. 즉, 도 12의 프레임(b)에서 달 부분은 원래 밝은 영역이었지만 더 밝아지는 효과가 나타나고, 달 주변 부분의 아주 어둡지 않은 밝은 부분도 부스팅 되어 밝아지는 효과가 나타남을 확인할 수 있다. 따라서 본 개시의 실시 예에 따라 콘텐츠의 명암비를 제어하면 시각적으로는 팝 아웃 (2D와 3D 사이의 입체적인 느낌) 효과를 나타낼 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 콘텐츠 에코시스템에서 콘텐츠의 명암비를 제어하는 방법에 있어서,
    하나 이상의 프레임들을 포함하는 스탠다드 다이나믹 범위(standard dynamic range: SDR) 컨텐츠를 수신하는 과정;
    상기 SDR 콘텐츠를 포함하는 상기 하나 이상의 프레임들 각각의 휘도 정보를 기반으로 하나 이상의 하이라이트 영역들을 식별하는 과정;
    상기 하나 이상의 프레임들 각각의 상기 하나 이상의 하이라이트 영역들을 기반으로 임계값들을 결정하는 과정;
    상기 임계값들을 기반으로 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성하는 과정;
    상기 하나 이상의 마스크들과 상기 하나 이상의 프레임들 각각에 대한 하나 이상의 부스팅 팩터들을 기반으로 명암비가 제어된 프레임을 생성하는 과정; 및
    상기 하나 이상의 프레임들 각각에 대하여 생성된 명암비가 제어된 프레임을 기반으로 고 다이나믹 범위 콘텐츠를 생성하는 과정을 포함하고,
    상기 임계값들은 상기 하나 이상의 하이라이트 영역들 각각에 대한 소프트 임계값 및 하이라이트 영역의 경계를 식별하기 위한 하드 임계값을 포함하고,
    상기 하드 임계값은 상기 휘도 정보에서 상기 콘텐츠의 평균 픽셀 휘도 (average pixel luminance) 및 휘도 하이라이트 분포도(luminance highlights distribution)를 기반으로 결정되고,
    상기 하드 임계값은 상기 평균 픽셀 휘도보다 크고, 최대 휘도보다는 작고, 및
    상기 하드 임계값은 한 프레임의 전체 픽셀 수에 대한 특정 백분율을 나타내는 숫자로 결정되는 제어 방법.
  2. 제 1 항에 있어서, 상기 휘도 정보는 휘도 히스토그램을 기반으로 결정됨을 특징으로 하는 제어 방법.
  3. 제 2 항에 있어서, 상기 하나 이상의 하이라이트 영역들은 미리 정해진 알고리즘에 의해 식별되며,
    상기 휘도 히스토그램에서 백색 영역, 흑색 영역, 높은 휘도 영역(high luminance region), 낮은 휘도 영역(low luminance region), 포화된 하이라이트(saturated highlight), 스킨 톤 영역(skin tone region), 스카이 톤 영역(sky tone region) 및 특정 면적 영역(specified area region) 중 하나 이상의 영역들에 해당됨을 특징으로 하는 제어 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 소프트 임계값은 상기 하나 이상의 프레임들 각각의 광 분포도(light distribution)에 따라 상기 하드 임계값과 일정 범위 내의 값으로 결정됨을 특징으로 하는 제어 방법.
  6. 제 1 항에 있어서, 상기 하나 이상의 부스팅 팩터들 각각은 상기 하나 이상의 마스크들 각각에 대하여 서로 다른 값을 가짐을 특징으로 하는 제어 방법.
  7. 제 1 항에 있어서, 상기 명암비가 제어된 프레임을 생성하는 과정은,
    상기 하나 이상의 마스크들 각각에 상기 하나 이상의 부스팅 팩터들 중 해당 부스팅 팩터를 적용하는 과정, 및
    상기 부스팅 팩터가 적용된 하나 이상의 마스크들을 하나의 마스크로 결합하는 과정을 포함하는 제어 방법.
  8. 제 1 항에 있어서, 상기 명암비가 제어된 프레임을 생성하는 과정은,
    상기 하나 이상의 마스크들을 하나의 마스크로 결합하는 과정, 및 상기 결합된 하나의 마스크에 상기 하나 이상의 부스팅 팩터들을 적용하는 과정을 포함하는 제어 방법.
  9. 콘텐츠의 명암비를 제어하는 콘텐츠 에코시스템에 있어서,
    데이터를 송수신하는 송수신부; 및
    하나 이상의 프레임들을 포함하는 스탠다드 다이나믹 범위(standard dynamic range: SDR) 컨텐츠를 수신하고, 상기 SDR 콘텐츠를 포함하는 상기 하나 이상의 프레임들 각각의 휘도 정보를 기반으로 하나 이상의 하이라이트 영역들을 식별하고, 상기 하나 이상의 프레임들 각각의 상기 하나 이상의 하이라이트 영역들을 기반으로 임계값들을 결정하고, 상기 임계값들을 기반으로 상기 하나 이상의 하이라이트 영역들에 대응하는 하나 이상의 마스크들을 생성하고, 상기 하나 이상의 마스크들과 상기 하나 이상의 프레임들 각각에 대한 하나 이상의 부스팅 팩터들을 기반으로 명암비가 제어된 프레임을 생성하고, 상기 하나 이상의 프레임들 각각에 대하여 생성된 명암비가 제어된 프레임을 기반으로 고 다이나믹 범위 콘텐츠를 생성하는 프로세서를 포함하고,
    상기 임계값들은 상기 하나 이상의 하이라이트 영역들 각각에 대한 소프트 임계값 및 하이라이트 영역의 경계를 식별하기 위한 하드 임계값을 포함하고,
    상기 하드 임계값은 상기 휘도 정보에서 상기 콘텐츠의 평균 픽셀 휘도 (average pixel luminance) 및 휘도 하이라이트 분포도(luminance highlights distribution)를 기반으로 결정되고,
    상기 하드 임계값은 상기 평균 픽셀 휘도보다 크고, 최대 휘도보다는 작고, 및
    상기 하드 임계값은 한 프레임의 전체 픽셀 수에 대한 특정 백분율을 나타내는 숫자로 결정되는 콘텐츠 에코시스템.
  10. 제 9 항에 있어서, 상기 휘도 정보는 휘도 히스토그램을 기반으로 결정되고,
    상기 하나 이상의 하이라이트 영역들은 미리 정해진 알고리즘에 의해 식별되며,
    상기 휘도 히스토그램에서 백색 영역, 흑색 영역, 높은 휘도 영역(high luminance region), 낮은 휘도 영역(low luminance region), 포화된 하이라이트(saturated highlight), 스킨 톤 영역(skin tone region), 스카이 톤 영역(sky tone region) 및 특정 면적 영역(specified area region) 중 하나 이상의 영역들에 해당됨을 특징으로 하는 콘텐츠 에코시스템.
  11. 삭제
  12. 제 9 항에 있어서,
    상기 소프트 임계값은 상기 하나 이상의 프레임들 각각의 광 분포도(light distribution)에 따라 상기 하드 임계값과 일정 범위 내의 값으로 결정됨을 특징으로 하는 콘텐츠 에코시스템.
  13. 제 9 항에 있어서, 상기 하나 이상의 부스팅 팩터들 각각은 상기 하나 이상의 마스크들 각각에 대하여 서로 다른 값을 가짐을 특징으로 하는 콘텐츠 에코시스템.
  14. 제 9 항에 있어서, 상기 프로세서는,
    상기 하나 이상의 마스크들 각각에 상기 하나 이상의 부스팅 팩터들 중 해당 부스팅 팩터를 적용하고, 및 상기 부스팅 팩터가 적용된 하나 이상의 마스크들을 하나의 마스크로 결합함을 특징으로 하는 콘텐츠 에코시스템.
  15. 제 9 항에 있어서, 상기 프로세서는,
    상기 하나 이상의 마스크들을 하나의 마스크로 결합하고, 및 상기 결합된 하나의 마스크에 상기 하나 이상의 부스팅 팩터들을 적용함을 특징으로 하는 콘텐츠 에코시스템.
KR1020150149539A 2015-10-27 2015-10-27 콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법 KR102519288B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150149539A KR102519288B1 (ko) 2015-10-27 2015-10-27 콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법
PCT/KR2016/012196 WO2017074076A1 (ko) 2015-10-27 2016-10-27 전자 장치에서 콘텐츠의 명암비 제어 장치 및 방법
US15/770,673 US10657631B2 (en) 2015-10-27 2016-10-27 Apparatus and method for controlling contrast ratio of content in electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150149539A KR102519288B1 (ko) 2015-10-27 2015-10-27 콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170048890A KR20170048890A (ko) 2017-05-10
KR102519288B1 true KR102519288B1 (ko) 2023-04-07

Family

ID=58631747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150149539A KR102519288B1 (ko) 2015-10-27 2015-10-27 콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법

Country Status (3)

Country Link
US (1) US10657631B2 (ko)
KR (1) KR102519288B1 (ko)
WO (1) WO2017074076A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102489265B1 (ko) * 2018-04-10 2023-01-17 엘지전자 주식회사 비디오 신호를 처리하는 멀티미디어 디바이스 및 그 제어 방법
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013484A1 (en) * 2003-07-15 2005-01-20 Konica Minolta Business Technologies, Inc. Image processing apparatus, image processing method, program and image forming apparatus
US20060008171A1 (en) * 2004-07-06 2006-01-12 Microsoft Corporation Digital photography with flash/no flash extension
US20140168249A1 (en) * 2007-07-30 2014-06-19 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100491562B1 (ko) 2003-06-04 2005-05-27 삼성전자주식회사 하이라이트에서의 화질개선장치 및 방법
US7983502B2 (en) 2007-08-06 2011-07-19 Microsoft Corporation Viewing wide angle images using dynamic tone mapping
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8885978B2 (en) 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
JP2013219705A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US10607324B2 (en) * 2015-04-28 2020-03-31 Dolby Laboratories Licensing Corporation Image highlight detection and rendering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013484A1 (en) * 2003-07-15 2005-01-20 Konica Minolta Business Technologies, Inc. Image processing apparatus, image processing method, program and image forming apparatus
US20060008171A1 (en) * 2004-07-06 2006-01-12 Microsoft Corporation Digital photography with flash/no flash extension
US20140168249A1 (en) * 2007-07-30 2014-06-19 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images

Also Published As

Publication number Publication date
US10657631B2 (en) 2020-05-19
WO2017074076A1 (ko) 2017-05-04
KR20170048890A (ko) 2017-05-10
US20190206032A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
JP7422833B2 (ja) 様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム
KR101985880B1 (ko) 디스플레이 장치 및 이의 제어 방법
JP2019512953A (ja) ダイナミックレンジマッピングのための飽和処理仕様
KR20100053237A (ko) 깊이감 인지 향상을 위한 영상 처리 장치 및 방법
US20200219298A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
KR102519288B1 (ko) 콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법
US10122936B2 (en) Dynamic noise reduction for high dynamic range in digital imaging
US20170244972A1 (en) Methods and apparatus for mapping input image
KR101634652B1 (ko) 영상의 대비 강화 방법 및 장치
KR20240042533A (ko) Hdr 이미지 중 이차 그래픽 요소의 혼합
Lee et al. An Adaptive Tone Reproduction for High Dynamic Range Image

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant