KR20170048890A

KR20170048890A - 콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법

Info

Publication number: KR20170048890A
Application number: KR1020150149539A
Authority: KR
Inventors: 에릭 입; 김동연
Original assignee: 삼성전자주식회사
Priority date: 2015-10-27
Filing date: 2015-10-27
Publication date: 2017-05-10
Also published as: US10657631B2; WO2017074076A1; KR102519288B1; US20190206032A1

Abstract

본 개시는 콘텐츠 에코시스템에서 콘텐츠의 명암비를 제어하는 장치 및 방법에 관한 것이다. 본 개시의 일 실시예에서 제안하는 방법은; 콘텐츠 에코시스템에서 콘텐츠의 명암비를 제어하는 방법에 있어서, 콘텐츠에서 하이라이트 영역을 검출하는 과정과, 상키 콘텐츠에서 상기 검출된 하이라이트 영역을 강조하는 적어도 하나의 마스크를 생성하는 과정과, 상기 적어도 하나의 마스크 각각에 부스팅 요소들을 적용하는 과정과, 상기 부스팅 요소가 적용된 마스크들을 결합하여 출력하는 과정을 포함한다.

Description

콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법{METHOD AND APPARATUS FOR CONTROLLING CONTENT CONTRAST IN CONTENT ECOSYSTEM}

본 개시는 콘텐츠 에코시스템에서 콘텐츠의 명암비를 제어하는 장치 및 방법에 관한 것이다.

대형 홈 텔레비전이 소비자들에게 계속해서 인기를 얻음에 따라, 경쟁사로부터 자신들의 제품을 차별화하기 위해 텔레비전에서 디스플레이의 품질이 중요한 요소가 되고 있다. 울트라 고 화질(ultra high definition : UHD) 텔레비전 시대의 도래와 함께, 3차원(3 dimensions : 3D) 기술, 고속 프레임 레이트의 기술 및 고 다이나믹 범위(high dynamic range : HDR) 기술과 같은 다른 새로운 기술들 역시 패키지화된 UHD 프랜차이즈(franchise)에 포함되고 있다. 콘텐츠 에코시스템에서 이러한 다양한 새로운 기술들이 있음에도 불구하고, 새로운 UHD를 지원하는 텔레비전에서 사용자로부터 UHD와 고 화질(high definition : HD)간의 차이가 명확하게 구별되는 기술이 개발되고 있지 않다.

HDR 기술은 촬영 및 카메라 기술에 널리 사용되어 왔으나, HDR 기술에 대한 표준화의 미비함으로 인해 비디오 기술에서는 널리 사용되지 못하였다.

일 예로, HDR을 지원하는 디스플레이들(displays)과 HDR 기반의 콘텐츠(content)의 분배를 통해 HDR 에코시스템(ecosystem)이 확장 중에 있음에도 불구하고, 대부분의 콘텐츠는 레가시(legacy) 컨텐츠의 양으로 인해 여전히 스탠다드 다이나믹 범위(standar dynamic range : SDR) 기술로 생성된다. 특히, 방송국들은 자신들의 에코시스템들에서 HDR 기술을 구현하여 HDR 기반의 콘텐츠(일 예로, 라이브(live) 또는 녹화된(prerecorded) 콘텐츠)를 브로드캐스팅하는 것이 늦어지고 있다. 근본적으로, HDR 기술의 주요한 문제는 HDR 기반의 콘텐츠의 생성이 아니라, 콘텐츠와 다양한 타겟(target) 장치의 사양들 사이에 서로 다른 피크(peak) 휘도들(luminances)을 어떻게 매치하는가에 있었다.

일반적으로, HDR를 지원하는 들은 SDR 기반의 콘텐츠와 비교하면 피크 휘도에 있어서 큰 차이를 가질 수 있으므로, 단순한 톤 매핑 알고리즘(simple tone mapping algorithms)에 대한 구현이 요구된다. 이러한 톤 매핑 알고리즘들은 각각의 제조자에 따라 좌우되는 독점적 기술의 알고리즘들일 것이나, 대부분은 레가시 콘텐츠의 동적 범위를 타겟 장치의 사양(capability)에 맞게 증가시키는 단순 선형 톤 매핑(simple linear tone mapping)에 기반한다.

도 1은 종래 콘텐츠 에코시스템에서 콘텐츠를 디스플레이하는 방법의 일 예를 보이고 있다.

도 1을 참조하면, SDR 기반의 콘텐츠 소스(101)는 SDR 기반의 콘텐츠 소스(101)의 피크 휘도를 기반으로 재생 장치(100)의 사양에 따라 선형 매핑된다. 그리고 재생 장치(100)는 선형 매핑된 컨텐츠를 디스플레이한다.

되어 디스플레이한다.

한편, HDR 기반의 콘텐츠를 디스플레이를 위한 기존의 콘텐츠 기술들은 다양하다. HDR 기술에 관한 현재의 노력은 HDR 기반의 콘텐츠 및 HDR을 지원하는 디스플레이 장치들의 표준화에 대한 것이었으나, 아직까지 역호환성(backwards compatibility)에 대한 고찰은 상대적으로 적었으며, HDR을 지원하는 장치들 상에서 장치의 최대 사양으로 SDR 기반의 콘텐츠를 디스플레이하는 표준화된 방법은 개발되지 않았다.

종래 HDR을 지원하는 장치들에서 HDR 기반의 콘텐츠를 제공하는 방법 중 하나는, 고유한 추가 메타데이터를 통해 SDR 기반의 콘텐츠를 HDR 기반의 콘텐츠로 변환하는 역(inverse) 톤 매핑 프로세스가 있다. 역 톤 매핑 프로세스의 문제점은 계산 집중적이고, 콘텐츠에 고유한 메타데이터가 존재하지 않을 경우 구현이 어렵다는 것이다. 종래 SDR 기반의 콘텐츠를 HDR 기반의 콘텐츠로 역매핑하는 경우, 고유한 메타데이터의 결여는 일관되지 않은 결과들을 출력할 수 있고, 이것은 타겟 장치 구현에 고유한 것으로 콘텐츠의 휘도 뿐 아니라 컬러들까지 변경될 수 있으므로 콘텐츠 생성자의 의도가 변경되게 된다.

도 2는 종래 콘텐츠 에코시스템에서 콘텐츠를 디스플레이하는 방법의 다른 예를 보이고 있다.

도 2를 참조하면, SDR 기반의 콘텐츠(101)는 HDR 기반의 콘텐츠(103)로 변환된다. 그리고 상기 SDR 기반의 콘텐츠(101)와 상기 HDR 기반의 콘텐츠(103) 간의 역 톤 매핑을 통해 메타 데이터가 획득된다. 이로부터, SDR 기반의 콘텐츠(101)에 상기 획득된 역 톤 메타 데이터가 매핑되어, 매핑된 데이터는 재생 장치(100)로 출력된다. 따라서 상기 재생 장치(100)는 SDR 기반의 콘텐츠(101)에서 역 톤 메타 데이터가 매핑된 콘텐츠를 디스플레이한다. 즉, 상기 재생 장치(100)는 콘텐츠 피크 휘도(content peak luminance)가 장치 사양에 따라 역 톤 매핑된 SDR 기반의 콘텐츠를 디스플레이할 수 있다.

도 1 및 도 2와 같은 방법 이외, 종래에는 픽셀 단위 컬러 개선(enhancement), 또는 타이틀에 고유한 콘텐츠 자체를 변경하는 대신 디스플레이 세팅에 대한 일반적 변경과 같은 다른 방법들이 존재할 수 있다. 그러나 종래 방법들은 계산 집중적이거나, 콘텐츠 소스와 다른 콘텐츠(즉, 변경된 콘텐츠)를 디스플레이 시킬 수 있다.

따라서, 재생 장치의 사양에 따라서 콘텐츠를 효율적으로 디스플레이할 수 있는 방안이 요구된다.

본 개시의 일 실시예는 콘텐츠 에코시스템에서 콘텐츠의 명암비를 제어하는 장치 및 방법을 제공한다.

또한 본 개시의 일 실시예는 콘텐츠 에코시스템에서 HDR을 지원하는 장치에서 SDR 기반의 콘텐츠를 효과적으로 디스플레이할 수 있도록 콘텐츠의 명암비를 제어하는 장치 및 방법을 제공한다.

본 개시의 일 실시예에서 제안하는 방법은; 콘텐츠 에코시스템에서 콘텐츠의 명암비를 제어하는 방법에 있어서, 콘텐츠에서 하이라이트 영역을 검출하는 과정과, 상키 콘텐츠에서 상기 검출된 하이라이트 영역을 강조하는 적어도 하나의 마스크를 생성하는 과정과, 상기 적어도 하나의 마스크 각각에 부스팅 요소들을 적용하는 과정과, 상기 부스팅 요소가 적용된 마스크들을 결합하여 출력하는 과정을 포함한다.

본 개시의 다른 측면들과, 이득들 및 핵심적인 특징들은 부가 도면들과 함께 처리되고, 본 개시의 바람직한 실시예들을 개시하는, 하기의 구체적인 설명으로부터 해당 기술 분야의 당업자에게 자명할 것이다.

하기의 본 개시의 구체적인 설명 부분을 처리하기 전에, 이 특허 문서를 통해 사용되는 특정 단어들 및 구문들에 대한 정의들을 설정하는 것이 효과적일 수 있다: 상기 용어들 “포함하다(include)” 및 “포함하다(comprise)”와 그 파생어들은 한정없는 포함을 의미하며; 상기 용어 “혹은(or)”은 포괄적이고, “및/또는”을 의미하고; 상기 구문들 “~와 연관되는(associated with)” 및 “~와 연관되는(associated therewith)”과 그 파생어들은 포함하고(include), ~내에 포함되고(be included within), ~와 서로 연결되고(interconnect with), 포함하고(contain), ~내에 포함되고(be contained within), ~에 연결하거나 혹은 ~와 연결하고(connect to or with), ~에 연결하거나 혹은 ~와 연결하고(couple to or with), ~와 통신 가능하고(be communicable with), ~와 협조하고(cooperate with), 인터리빙하고(interleave), 병치하고(juxtapose), ~로 가장 근접하고(be proximate to), ~로 ~할 가능성이 크거나 혹은 ~와 ~할 가능성이 크고(be bound to or with), 가지고(have), 소유하고(have a property of) 등과 같은 내용을 의미하고; 상기 용어 “제어기”는 적어도 하나의 동작을 제어하는 임의의 장치, 시스템, 혹은 그 부분을 의미하고, 상기와 같은 장치는 하드웨어, 펌웨어 혹은 소프트웨어, 혹은 상기 하드웨어, 펌웨어 혹은 소프트웨어 중 적어도 2개의 몇몇 조합에서 구현될 수 있다. 어떤 특정 제어기와 연관되는 기능성이라도 집중화되거나 혹은 분산될 수 있으며, 국부적이거나 원격적일 수도 있다는 것에 주의해야만 할 것이다. 특정 단어들 및 구문들에 대한 정의들은 이 특허 문서에 걸쳐 제공되고, 해당 기술 분야의 당업자는 많은 경우, 대부분의 경우가 아니라고 해도, 상기와 같은 정의들이 종래 뿐만 아니라 상기와 같이 정의된 단어들 및 구문들의 미래의 사용들에도 적용된다는 것을 이해해야만 할 것이다.

도 1은 종래 콘텐츠 에코시스템에서 콘텐츠를 디스플레이하는 방법의 일 예를 나타낸 도면,
도 2는 종래 콘텐츠 에코시스템에서 콘텐츠를 디스플레이하는 방법의 다른 예를 나타낸 도면,
도 3은 본 개시의 실시 예가 적용된 팝 아웃 효과의 결과에 대한 일 예를 나타낸 도면,
도 4는 본 개시의 실시 예에 따른 콘텐츠의 명암비 제어 장치의 주요 구성요소들을 나타낸 도면,
도 5 및 도 6은 본 개시의 실시 예에 따른 결정 모듈(410)에서 하드 임계값과 소프트 임계값을 결정하는 방법을 나타낸 도면,
도 7은 본 개시의 실시 예에 따른 pop-out engine(400)에서 출력하는 콘텐츠의 일예를 나타낸 도면,
도 8은 본 개시의 실시 예에 따른 pop-out engine(400)에 포함된 결정 모듈(410)의 내부 구성을 나타낸 도면,
도 9는 본 개시의 실시 예에 따른 pop-out engine(400)에 포함된 검출 모듈(430)의 내부 구성을 나타낸 도면,
도 10은 본 개시의 실시 예에 따른 pop-out engine(400)에 포함된 후처리 모듈(450)의 내부 구성을 나타낸 도면,
도 11은 본 개시의 실시 예에 따른 콘텐츠 명암비를 제어하는 방법을 나타낸 도면,
도 12 및 도 13은 본 개시의 실시 예에 따라 콘텐츠의 명암비가 제어된 결과를 나타낸 도면.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.

첨부되는 도면들을 참조하는 하기의 상세한 설명은 청구항들 및 청구항들의 균등들로 정의되는 본 개시의 다양한 실시예들을 포괄적으로 이해하는데 있어 도움을 줄 것이다. 하기의 상세한 설명은 그 이해를 위해 다양한 특정 구체 사항들을 포함하지만, 이는 단순히 예로서만 간주될 것이다. 따라서, 해당 기술 분야의 당업자는 여기에서 설명되는 다양한 실시예들의 다양한 변경들 및 수정들이 본 개시의 범위 및 사상으로부터 벗어남이 없이 이루어질 수 있다는 것을 인식할 것이다. 또한, 공지의 기능들 및 구성들에 대한 설명은 명료성 및 간결성을 위해 생략될 수 있다.

하기의 상세한 설명 및 청구항들에서 사용되는 용어들 및 단어들은 문헌적 의미로 한정되는 것이 아니라, 단순히 발명자에 의한 본 개시의 명료하고 일관적인 이해를 가능하게 하도록 하기 위해 사용될 뿐이다. 따라서, 해당 기술 분야의 당업자들에게는 본 개시의 다양한 실시예들에 대한 하기의 상세한 설명은 단지 예시 목적만을 위해 제공되는 것이며, 첨부되는 청구항들 및 상기 청구항들의 균등들에 의해 정의되는 본 개시를 한정하기 위해 제공되는 것은 아니라는 것이 명백해야만 할 것이다.

또한, 본 명세서에서 명백하게 다른 내용을 지시하지 않는 “한”과, “상기”와 같은 단수 표현들은 복수 표현들을 포함한다는 것이 이해될 수 있을 것이다. 따라서, 일 예로, “컴포넌트 표면(component surface)”은 하나 혹은 그 이상의 컴포넌트 표현들을 포함한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 개시를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 이해되어야만 한다.

본 개시의 실시 예에 따른 주요한 요지는 콘텐츠에서 명암비(contrast)를 제어하는 것으로, 콘텐츠에서 백색(또는 검정) 부분들을 식별 및 제어하여 콘텐츠의 의도 및 컬러를 유지하는 것이다. 이로부터 사용자는 개선된 "2.5D" 콘텐츠를 경험하고 재생 장치의 전체 휘도 범위에 대한 사양을 활용할 수 있다. 또한 한 장면 내에서 백색(또는 검정) 부분들에 대한 식별은 다양한 알고리즘들과 개념들에 기초하여 선택될 수 있으며, 백색(또는 검정) 부분들의 개선 정도 또한 콘텐츠 및 타겟 재생 장치에 결정될 수 있다. 이에 대한 상세한 설명은 하기에서 하기로 한다. 여기서, 본 개시의 실시 예가 적용되는 콘텐츠는 모든 다이나믹 범위를 갖는 콘텐츠에 적용될 수 있으며, 아래에서는 설명의 편의를 위하여 상기 콘텐츠가 일 예로 SDR 기반의 콘텐츠임을 가정하여 설명하기로 한다.

이러한 본 개시의 실시 예에 따라, HDR을 지원하는 장치에서 백색 재생을 통하여 밝기 팝 아웃(Brightness pop-out) 효과를 생성하면, 도 3과 같이 입력된 SDR 기반의 콘텐츠를 개선시킬 수 있다. 도 3은 본 개시의 실시 예가 적용된 팝 아웃 효과의 결과에 대한 일 예를 보이고 있는 것으로, 프레임/장면에 대한 고유한 선형 통 매핑 곡선들 상에서 본 개시의 실시 예에 따른 백색 팝 아웃 효과의 결과들을 보이고 있는 것이다.

도 4는 본 개시의 실시 예에 따른 콘텐츠의 명암비 제어 장치의 주요 구성요소들을 보이고 있다.

본 개시의 실시 예에 따른 콘텐츠의 명암비 제어 장치(400)는 SDR 기반의 콘텐츠(101)를 수신하고, 수신된 SDR 기반의 콘텐츠(101)에 대한 후처리를 수행한 후, 재생 장치(100)의 디스플레이부로 전달하는 장치이다. 이러한 따른 콘텐츠의 명암비 제어 장치(400)는 재생 장치(100)에 포함되거나, 재생 장치(100)와 별도의 장치로 구성될 수 있다. 일 에로, 상기 콘텐츠의 명암비 제어 장치(400)는 콘텐츠 배포자들이 최종 재생 장치들로의 콘텐츠를 전송하기 이전에 콘텐츠를 개선하도록 상기 콘텐츠의 명암비 제어 장치(400)을 구현할 수 있고, 아니면 상기 콘텐츠의 명암비 제어 장치(400)이 재생 장치의 수신기/셋업 박스 내부 또는 재생 장치 자체 내에서 구현될 수 있다. 이하에서는 설명의 편의를 위하여, 상기 콘텐츠의 명암비 제어 장치(400)를 팝 아웃 엔진(pop-out engine)이라 정의하여 기재하기로 한다.

도 4를 참조하면, pop-out engine(400)은 결정 모듈(decision module)(410), 검출 모듈(detection module)(430) 및 후처리 모듈(post-processing module)(450)을 포함한다. 상기 결정 모듈(410)은 하드 임계값(hard threshold)을 결정하고, 소프트 임계값(soft threshold)을 결정하며, 부스팅(boosting)을 결정한다. 여기서, 상기 결정 모듈(410)에 의해 결정되는 하드 임계값과 소프트 임계값은 도 5 및 도 6과 같이 결정된다. 일 예로, 도 5 및 도 6에서 상기 결정 모듈(410)은 아래 <표 1>과 같이 하드 임계값을 결정하고, <표 2>와 같이 소프트 임계값을 결정할 수 있다.

1. A hard threshold is used to identify highlights within a frame to create a hard mask for white enhancement
2. The hard threshold could be determined according to:
-Average pixel luminance of the frame/scene
-Luminance highlights distribution of the frame

Average = sum of each luminance value * pixel count/total pixel count
Average < Hard threshold < max luminance
H should be determined according to H^* region which is the hard boosting region
H^* = % of total number of pixels (TBD from experimental results)

1. Soft threshold could be a function of the hard threshold
2. One method to determine the soft threshold could be according to :
- The light distribution within the frame
- How to estimate light distribution?:
(L-H), (H-A), (A-0) : Can these parameters help us identify the light distribution within a frame?

상기 검출 모듈(430)은 마스크 생성을 수행하고, 상기 후처리 모듈(450)은 백색 재생 팝 아웃 및 명암비 개선을 수행한다. 여기서, 상기 pop-out engine(400)에 포함되는 모듈들 서로 통합되어 적어도 하나의 모듈로 구현될 수 있다. 그리고 상기 pop-out engine(400)에 포함되는 각 모듈에 대한 상세한 설명은 아래에서 도 8 내지 도 11를 참조하여 상세히 하기로 한다.

이러한 동작으로부터 상기 pop-out engine(400)은 도 7과 같이 향상된 SDR(enhanced SDR) 기반의 콘텐츠를 출력할 수 있다.

도 7은 본 개시의 실시 예에 따른 pop-out engine(400)에서 출력하는 콘텐츠의 일예를 보이고 있다.

도 7을 참조하면, pop-out engine(400)은 원본 SDR 기반의 콘텐츠(a)가 입력되면, 입력된 SDR 기반의 콘텐츠(a)에서 백색들을 강조하는 2개의 서로 다른 마스크들로 이루어진 융합된 마스크를 생성(b)한다. 그리고 pop-out engine(400)은 생성된 마스크(b)에 부스팅 요소들을 적용하면 처리된 이미지(c)를 출력할 수 있다.

도 8은 본 개시의 실시 예에 따른 pop-out engine(400)에 포함된 결정 모듈(410)의 내부 구성을 보이고 있다.

도 6을 참조하면, 상기 pop-out engine(400)에 포함된 결정 모듈(410)은 pop-out engine(400)에서 사용되는 임계값 및 부스팅(boosting)을 결정하는 파라미터들을 결정한다. 여기서, 상기 파라미터들은 사용 가능한 다양한 알고리즘들에 따라 달라질 수 있다. 특히, 상기 결정 모듈(410)은 프레임/장면에 관한 히스토그램을 분석하고, 검출 모듈(430) 및 후처리 모듈(450)에서 사용되는 파라미터(일 예로, 프레임/장면에 관한 히스토그램들에 기반하는 하드 및 소프트 임계값들과 다양한 부스팅 요소들에 대한 파라미터)을 선택하기 위한 알고리즘을 결정 및 사용한다.

상세하게, 상기 결정 모듈(410)은 히스토그램 분석기(histogram analyser, 411), 하이라이트 영역 추정기(highlights region estimator, 413) 및 임계값 파라미터 산출기(threshold parameter calculator, 415)를 포함한다. 그리고 상기 결정 모듈(410), 하이라이트 영역 추정기(410) 및 임계값 파라미터 산출기(415) 각각은 아래 <표 3>표 1과 같이 동작한다.

Histogram analyzer (411)
Analyzes the frame/scene input from the content such that the luminance histogram information is available to both the highlights region estimator (102) and the threshold parameter calculator (103).

Highlights region estimator (413)
Estimates the different types of highlights which may exist in the content, and selects the corresponding algorithm which can identify the highlights (it is possible to identify more than one highlights region within a frame/scene, even using different algorithms). Highlights are regions (whites or blacks) within a frame/scene which are of interest (e.g. for white enhancement, or for preventing white enhancement), including but not limited to:
- High luminance regions (e.g. identified through histogram)
- Low luminance regions
- Saturated highlights
- Skin tones
- Sky regions
- Specified area regions (through manual input or possible metadata)
The highlights region estimator (102) contains various possible different algorithms to identify highlights regions depending on the nature of the region. Possible algorithms may include:
- Pixel selection from whole frame/scene depending on pixel luminance properties in various possible domains (e.g. RGB, YCrCb, Luma)
- Skin detection algorithms
- Sky detection algorithms
Skin detection: in many cases an enhancement of a frame/scene also changes the color of any human skin featured within that frame/scene. The changing of skin tones is something that is commonly unwanted in content enhancement. Although this invention does not change the saturation or color of content, skin tones captured as bright or dark regions (either naturally or due to lighting) could possibly be identified as a highlights region for enhancement. In order to avoid unwanted changing of skin tones, identifying highlights regions as skin through skin detection can prevent the changing of human skin within a frame/scene
Sky detection: sky areas within a frame/scene can be considered special highlights regions since, depending on the content, these regions can be greatly enhanced for theatrical effect, or not enhanced at all in order to avoid over enhancement.

Threshold parameter calculator (415)
For each of the algorithms selected by the highlights region estimator (102), decide corresponding threshold parameters based on the content properties (whole content or frame/scene specific, histogram information etc) and the algorithm used by the highlights region estimator (102) to identify the region.
Alternatively, allow direct input of threshold parameters through manual input or metadata.

Boosting decision module (417)
This module determines corresponding boosting factor parameters for each highlights region according to the algorithm used to identify each region as selected by the highlights region estimator (102), as well as the content information (frame/scene/whole).
Boosting factor parameters
Alternatively, allow direct input of boosting factor parameters through manual input or metadata.

상기 <표 3>에 기재한 바와 같이, 상기 히스토그램 분석기(101)는 입력된 콘텐츠(101)를 분석한다. 여기서, 상기 입력된 콘텐츠는 프레임들 및 장면들을 포함한다. 이에 상기 히스토그램 분석기(101)는 휘도 히스토그램 정보가 하이라이트 영역 추정기(102) 및 임계값 파라미터 산출기(103)에서 사용 가능하도록, 콘텐츠(101)에 포함된 프레임/장면을 분석한다.

상기 하이라이트 영역 추정기(102)는 콘텐츠(101) 내에 존재할 수 있는 다양한 타입의 하이라이트 영역들을 추정하고, 그 하이라이트 영역들을 식별할 수 있는 대응 알고리즘을 선택한다. 여기서, 하이라이트 영역 추정기(102)에 의해 서로 다른 알고리즘들이 선택되어도 프레임/장면 내에서 하나 이상의 하이라이트 영역을 식별 가능하다. 그리고 상기 하이라이트 영역들은 프레임/장면 내에서 백색 개선 또는 백색 개선의 방지를 위한 관심 부분에 포함된 특정 영역으로, 일 예로 백색 영역들 또는 흑색 영역들일 수 있다. 일 예로, 상기 하이라이트 영역들은, 히스토그램을 통해 식별된 높은 휘도 영역들(high luminance regions), 낮은 휘도 영역들(low luminance regions), 포화된 하이라이트들(saturated highlights), 스킨 톤들(skin tones), 스카이 영역들(sky regions) 및 수동 입력 또는 가능한 메타데이터를 통한 특정 면적 영역들(specified area regions) 중 적어도 하나를 포함한다.

도 6에서 하이라이트 영역 추정기(413)는 다양한 알고리즘을 이용하여, 해당 영역의 특성(nature)에 따라 하이라이트 영역들을 추정한다. 여기서, 상기 다양한 알고리즘은 다양한 가능 도메인들에서 픽셀 휘도 특성들(일 예로, RGB, YCrCb, Luma)에 따른 전체 프레임/장면으로부터의 픽셀을 선택하는 알고리즘, 스킨 검출 알고리즘들(skin detection algorithms) 및 스카이 검출 알고리즘들(sky detection algorithms) 중 적어도 하나일 수 있다. 상기 스킨 검출 알고리즘은 프레임/장면에 포함된 사람의 피부색을 변경하는 것이다. 상기 피부 톤들의 변경은 일반적으로 콘텐츠 향상 시 원하지 않는 부분이다. 본 개시의 실시 예는 콘텐츠의 포화도나 컬러를 직접적으로 변경시키지 안고, 밝거나 어두운 영역들로 (자연스럽게 또는 조명으로 인해) 캡쳐된 스킨 톤들의 개선을 위하여 하이라이트 영역들로 식별될 가능성이 있을 수 있다. 그리고 본 개시의 실시 예에서 스킨 톤의 변경을 원하지 않는 경우에는, 스킨 검출을 통해 스킨과 같은 하이라이트 영역들을 식별하는 것이 프레임/장면에서 사람 피부색을 변경하는 것을 예방할 수도 있다. 상기 스카이 검출 알고리즘은 프레임/장면 내에서, 하늘 영역들이 특별한 하이라이트 영역들로 간주할 수 있다. 이는 콘텐츠에 따라 하늘 영역들이 극적 효과를 위해 크게 향상되거나, 지나친 향상을 피하기 위해 전혀 향상되지 않을 수 있기 때문이다.

상기 임계값 파라미터 산출기(415)는 하이라이트 영역 추정기(102)에 의해 선택된 알고리즘들 각각에 대해, 콘텐츠 특성들(전체 콘텐츠 또는 프레임/장면 고유 히스토그램 정보 등) 및 영역을 식별하기 위한 하이라이트 영역 추정기(102)에 의해 사용된 알고리즘에 기반하여 해당 임계값 파라미터들을 결정한다. 한편, 상기 임계값 파라미터들은 수동적으로 입력되거나 메타데이터를 통해 직접적으로 입력될 수 있다.

상기 부스팅 결정 모듈(417)은 하이라이트 영역 추정기(102)에 의해 선택된 것과 같은 각각의 영역을 식별하는데 사용된 알고리즘뿐 아니라 콘텐츠 정보(프레임/정면/전체)에 따라, 각각의 하이라이트 영역에 대해 해당하는 부스팅 요소 파라미터들을 결정한다. 한편, 상기 부스팅 요소 파라미터들은 수동적으로 입력되거나 메타데이터를 통해 직접적으로 입력될 수 있다.

도 9는 본 개시의 실시 예에 따른 pop-out engine(400)에 포함된 검출 모듈(430)의 내부 구성을 보이고 있다.

도 7을 참조하면, 검출 모듈(430)은 적어도 하나의 마스크들을 생성하여, 프레임/장면의 백색(또는 검정) 부분들을 식별한다. 여기서, 상기 마스크들은 프레임/장면 내에서 나머지 다른 픽셀들로부터 백색(또는 검정) 픽셀들을 식별하는 1 또는 0인 코드 값들을 포함한다. 그리고 서로 다른 마스크들(여기서, 프레임/장면 내 서로 다른 영역들)에 서로 다른 부스팅 요소들을 적용하기 위해 여러 마스크들이 사용될 수 있다. 상기 마스크들을 생성하는데 사용되는 알고리즘은 결정 모듈(410)에 의해 적절한 파라미터들을 선택하기 위해 사용되는 알고리즘에 의해 결정되고, 결정된 알고리즘은 보완될 수 있다.

상세하게, 상기 검출 모듈(430)은, 파라미터 분석기(parameter parser, 431), 콘텐츠 프레임 추출기(content frame extractor, 433) 및 마스크 생성기(mask generator, 435)를 포함한다. 그리고 상기 검출 모듈(430)에 포함된 각 유닛들은 아래 <표 4>와 같이 동작한다.

Parameter (threshold) parser (431)
A parser which can analyze and identify the parameter inputs outputted from the Decision Module (410), including (but not limited to):
- Pixel luminance thresholds
- Pixel color luminance thresholds (in multiple color spaces)
- Pixel location within a frame/scene

Content frame extractor (433)
A parser which extracts the matching frame/scene from the content which corresponds to the decision parameters outputted by the Decision Module (410).

Mask generator (435)
A core component which applies the threshold parameters using their corresponding algorithms as selected by the highlights region estimator highlights region estimator (413).
Each set of threshold parameters is used in the corresponding algorithm to create a specific mask which contains only the highlights region it is targeted to specify.
One or more masks can be generated, depending on the number of highlights regions as identified by the highlights region estimator (413).

상기 <표 4>에서와 같이, 파라미터 분석기(431)는 상기 결정 모듈(410)로부터 출력된 파라미터 입력을 분석 및 식별하여, 픽셀 휘도 임계값들, (여러 컬러 공간들에서의) 픽셀 컬러 휘도 임계값들 및 프레임/장면 내 픽셀 위치를 확인한다. 그리고 콘텐츠 프레임 추출기(433)는 결정 모듈(410)에 의해 출력된 결정 파라미터들에 대응하는 콘텐츠로부터 매칭하는 프레임/장면을 추출한다. 또한 상기 마스크 생성기(435)는 상기 결정 모듈(410)에 포함된 하이라이트 영역 추정기(413)에 의해 선택된 알고리즘과 동일한 알고리즘을 이용하여 임계값 파라미터들을 적용한다. 그리고 상기 임계값 파라미터들의 각각의 집합은 특정하고자 하는 대상인 하이라이트 영역만을 포함하는 특정 마스크를 생성하기 위한 해당 알고리즘에서 사용된다. 또한 하이라이트 영역 추정기(413)가 식별한 것과 같은 하이라이트 영역들의 개수에 따라, 하나 이상의 마스크들이 생성될 수 있다.

도 10은 본 개시의 실시 예에 따른 pop-out engine(400)에 포함된 후처리 모듈(450)의 내부 구성을 보이고 있다.

도 10을 참조하면, 후처리 모듈(450)은 상기 결정 모듈(410)이 식별한 부스팅 파라미터들을 검출 모듈(430)이 식별한 해당 마스크들에 적용한다. 여기서, 다양한 부스팅 파라미터 요소들이 사용되어, 재생 장치의 사용과 프레임/장면에 좌우되는 다양한 마스크들을 개선할 수 있다. 상세하게, 상기 후처리 모듈(450)은 부스팅 결정 분석기(451), 마스크 부스팅기(453), 마스크 분석기(455) 및 마스크 통합기(451)를 포함한다. 그리고 상기 후처리 모듈(450)에 포함된 각 유닛은 아래 <표 5>과 같이 동작한다.

Boosting decision analyzer (301)
A parser which can analyze and identify the boosting factor parameters from the boosting decision module (104).
The parameter input from the boosting decision module (104) is analyzed and compared to any additional information available from the Target Device or any compatible device on the consumer side, either in the form of peak luminance metadata, or any other data which can relay device capability information.
According to the extra information from the Target Device/other device, the boosting decision analyzer (301) may adjust the boosting factor parameters in order to adjust the enhancement to the capabilities of the Target Device or other device.

Mask analyzer (302)
A parser which can analyze and identify each individual mask from the mask generator (203), matching the input into the mask boosting module (303) with the corresponding boosting factor parameters from the boosting decision analyzer (301).

Mask boosting module (303)
Applies the boosting factor parameters to the corresponding masks from the mask analyzer (302).
Depending on the boosting factor parameters, the level of boosting applied to each mask differs (e.g. no boosting for skin highlights regions).

Mask integration module (304)
This module takes all boosted masks from the mask boosting module (303) to combine and integrate the masks into the final enhanced content.

상기 <표 5>에 기재한 바와 같이, 부스팅 결정 분석기(451)는 부스팅 결정 기(417)로부터 출력된 부스팅 요소 파라미터들을 분석 및 식별한다. 그리고 상기 부스팅 결정 분석기(451)는 상기 부스팅 결정기(417)로부터 입력된 파라미터를 분석하고, 분석된 파라미터를 타겟 장치나 사용자 측의 어떠한 호환 가능한 장치로부터 이용 가능한 (피크 휘도 메타데이터, 또는 장치 사양 정보를 중계할 수 있는 어떤 다른 데이터 형태의) 추가적 정보와 비교한다. 타겟 장치/다른 장치로부터의 추가 정보에 따라, 부스팅 결정 분석기(451)는 타겟 장치나 다른 장치의 사양들에 대한 개선을 조정하기 위해 부스팅 요소 파라미터들을 조정할 수 있다. 상기 마스크 분석기(455)는 마스크 생성기(435)로부터 생성된 개별 마스크를 분석 및 식별하고, 마스크 부스팅기(453)로의 입력을 부스팅 결정 분석기(451)로부터의 해당 부스팅 요소 파라미터들과 매칭한다.

상기 마스크 부스팅 모듈(453)은 부스팅 요소 파라미터들을 마스크 분석기(4511)로부터 입력된 해당 마스크들에 적용한다. 여기서, 부스팅 요소 파라미터들에 따라, 각각의 마스크에 적용되는 부스팅 레벨은 달라진다(일 예로, 스킨 하이라이트 영역들에는 부스팅 없음). 그리고 상기 마스크 통합 모듈(451)은 마스크 부스팅기(453)로부터의 모든 부스팅된 마스크들을 조합하여 조합된 마스크들을 최종 향샹된 콘텐츠로 출력한다.

도 11은 본 개시의 실시 예에 따른 콘텐츠 명암비를 제어하는 방법을 보이고 있다.

도 11을 참조하면, pop-out engine(400)은 입력된 콘텐츠의 휘도 히스토그램(Luminance Histogram)을 확인한다(1101). 그리고 상기 pop-out engine(400)은 상기 확인된 휘도 히스토그램에 하이라이트 영역이 존재하는지 판단한다(1103). 만약 상기 확인된 휘도 히스토그램에 하이라이트 영역이 존재하는 경우, 상기 pop-out engine(400)은 상기 하이라이트 영역에 대한 고유 파라미터들을 결정한다(1105). 그리고 상기 확인된 휘도 히스토그램에 하이라이트 영역이 존재하지 않은 경우, 및 상기 고유 파라미터들을 결정한 이후, 상기 pop-out engine(400)은 일반적인 파라미터들을 결정한다(1107).

이후, 상기 pop-out engine(400)은 복수 개의 마스크들을 생성하고(1109), 상기 복수 개의 마스크들 각각에 부스팅 요소들을 적용한다(1111). 그리고 상기 pop-out engine(400)은 상기 부스팅 요소가 적용된 마스크들 각각을 서로 결합하여 최종 향상된 콘텐츠를 출력한다(1113).

도 12 및 도 13은 본 개시의 실시 예에 따라 콘텐츠의 명암비가 제어된 결과를 보이고 있다.

도 12 및 도 13을 참조하면, (a)는 pop-out engine(400)에 입력된 콘텐츠이고, (b)는 pop-out engine(400)에서 출력되는 최종 향상된 콘텐츠이다.

한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims

콘텐츠 에코시스템에서 콘텐츠의 명암비를 제어하는 방법에 있어서,
콘텐츠에서 하이라이트 영역을 검출하는 과정과,
상키 콘텐츠에서 상기 검출된 하이라이트 영역을 강조하는 적어도 하나의 마스크를 생성하는 과정과,
상기 적어도 하나의 마스크 각각에 부스팅 요소들을 적용하는 과정과,
상기 부스팅 요소가 적용된 마스크들을 결합하여 출력하는 과정을 포함하는 콘텐츠의 명암비 제어 방법.
제 1 항에 있어서, 상기 하이라이트 영역은,
상기 콘텐츠에 대한 휘도(luminance) 히스토그램에서 높은 휘도를 갖는 영역, 낮은 휘도를 갖는 영역, 포화된 하이라이트들을 갖는 영역, 스킨 톤으로 구성된 영역 및 스카이 영역 중 적어도 하나의 영역에 해당됨을 특징으로 하는 콘텐츠 명암비 제어 방법.