KR20230068894A

KR20230068894A - 디스플레이 장치 및 그 동작방법

Info

Publication number: KR20230068894A
Application number: KR1020210155161A
Authority: KR
Inventors: 짜오춘; 김종환; 서귀원; 정영훈
Original assignee: 삼성전자주식회사
Priority date: 2021-11-11
Filing date: 2021-11-11
Publication date: 2023-05-18
Also published as: EP4362453A1; WO2023085865A1; CN118020285A; US20230186440A1

Abstract

디스플레이 장치 및 디스플레이 장치의 동작 방법이 개시된다. 개시된 디스플레이 장치는, 디스플레이; 하나 이상의 인스트럭션들을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 입력 영상을 수신하고, 수신된 입력 영상으로부터 휘도 정보를 획득하고, 상기 휘도 정보에 기반하여 시각 반응을 고려한 인지 휘도 정보를 획득하고, 상기 입력 영상의 화질 처리 후에 발생될 수 있는 부작용의 정도를 나타내는 장면 강도 정보를 예측하고, 상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 상기 입력 영상의 화질 처리를 수행한다.

Description

디스플레이 장치 및 그 동작방법{Display apparatus and operating method for the same}

다양한 실시예들은 디스플레이 장치 및 그 동작방법에 관한 것이다. 더욱 상세하게는 영상에 대한 명암비 향상 처리를 수행하는, 디스플레이 장치 및 그 동작방법에 관한 것이다.

디스플레이 장치는 영상의 명암비 향상을 위하여, 명암비 향상 처리를 수행한다.

종래에 영상의 명암비 향상을 위해 글로벌 명암비 향상 방법과 로컬 명암비 향상 방법이 이용되었다. 글로벌 명암비 향상 방법은, 영상의 각 픽셀에 전체 영상의 특징에 대응하는 글로벌 매핑 펑션을 적용한다. 이러한 글로벌 매핑 펑션은 서로 다른 로컬 명암비 특징을 가진 다양한 영역들에 적절하지 않을 수 있다. 따라서, 영상을 복수의 영역들로 분할하고 각 영역 내의 정보를 분석하여 로컬 명암비 커브를 적용하는 로컬 명암비 향상 방법이 이용될 수 있다.

영상 선명도 명암비 향상은 영상의 디테일 텍스쳐와 에지를 선명하게 한다. 선명도 명암비 향상 방법에 의해 디테일한 텍스쳐가 용이하게 관찰될 수 있다.

오브젝트 기반 명암비 향상 방법은 영상의 전경 오브젝트와 후경 픽셀들을 식별하고 그 특성에 따라서 서로 다른 명암비 향상 방법을 수행한다.

글로벌 명암비 향상 방법은 주로 휘도 다이내믹 범위를 확장하는 것이기 때문에 고 휘도 영역은 더 밝아지고 저 휘도 영역은 더 어두워질 수 있다. 그러나 중간 휘도 영역에서 어던 부분들은 인지적으로 평탄하게 될 수 있다.

이미지 선명도 명암비 향상은 주로 국소적으로 디테일한 명암비 시각성을 증가시키기 위한 것으로 이는 오로지 디테일한 영역에만 적용된다.

오브젝트 기반 명암비 향상 방법은 전경과 후경을 별도로 향상시키기 위해 전경과 후경의 평균의 값으로 히스토그램 평활화 (histogram equalization)를 개별적으로 적용한다. 따라서 전경과 후경의 평균이 서로 다르다면 균열(fracture)을 발생시킬 수 있다.

다양한 실시예들은, 영상의 입체감 강화를 위해 깊이 명암비를 향상시킬 수 있는 디스플레이 장치 및 그 동작 방법을 제공하는 것을 목적으로 한다.

일 실시예에 따른 디스플레이 장치는, 디스플레이, 하나 이상의 인스트럭션들을 저장하는 메모리; 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 입력 영상을 수신하고, 수신된 입력 영상으로부터 휘도 정보를 획득하고, 상기 휘도 정보에 기반하여 시각 반응을 고려한 인지 휘도 정보를 획득하고, 상기 입력 영상의 화질 처리 후에 발생될 수 있는 부작용의 정도를 나타내는 장면 강도 정보를 예측하고, 상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 상기 입력 영상의 화질 처리를 수행한다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 포커싱 레벨 맵을 획득하고, 상기 획득된 포커싱 레벨 맵을 이용하여 상기 입력 영상의 화질 처리를 수행할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 수신된 입력 영상으로부터 상기 디스플레이의 특성 정보에 기반한 상기 휘도 정보를 획득할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 휘도 정보로부터 HVS 모델을 이용하여 상기 인지 휘도 정보를 획득할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 입력 영상으로부터 특징을 추출하고, 훈련 영상으로부터 상기 훈련 영상의 화질 처리 후에 나타날 수 있는 부작용의 강도를 나타내는 상기 장면 강도 정보를 출력하도록 학습된 신경망을 이용하여 상기 입력 영상으로부터 상기 입력 영상의 상기 장면 강도 정보를 획득할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 인지 휘도 정보에 상기 장면 강도 정보를 이용하여 가중치를 부여함으로써 상기 포커싱 레벨 맵을 획득할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 인지 휘도 정보를 미리 정해진 필터를 이용하여 필터 처리함으로써 제1포커싱 레벨 맵을 획득하고, 상기 장면 강도 정보를 이용하여 상기 제1포커싱 레벨 맵에 가중치를 부여함으로써 제2포커싱 레벨 맵을 획득하고, 상기 제2포커싱 레벨 맵을 정규화함으로써 상기 포커싱 레벨 맵을 획득할 수 있다.

상기 미리 정해진 필터는, 라플라시안 필터, 그래디언트 필터, 베리언스 필터, 웨이브렛 필터 중 적어도 하나를 포함할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 포커싱 레벨 맵을 이용하여 상기 입력 영상의 휘도 명암비 강화, 색상 명암비 강화, 디테일 강화 중 적어도 하나를 수행함으로써 상기 화질 처리를 수행할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨의 도미넌트 휘도를 서로 다른 게인을 이용하여 조정함으로써 획득된 글로벌 톤 매핑 커브를 상기 입력 영상에 적용함으로써 글로벌 명암비 강화 영상을 획득하고, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 각 영역에 대응하는 서로 다른 N개의 톤 매핑 커브를 상기 입력 영상에 적용함으로써 로컬 명암비 강화 영상을 획득하고, 상기 글로벌 명암비 강화 영상과 상기 로컬 명암비 강화 영상을 믹싱함으로써 출력 영상을 획득할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 도미넌트 색조 값에 색상 강화 게인을 적용하여 색조 기반 강화 영상을 획득하고, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 도미넌트 새츄레이션 값에 새츄레이션 강화 게인을 적용하여 새츄레이션 기반 강화 영상을 획득하고, 상기 색조 기반 강화 영상과 상기 새츄레이션 기반 강화 영상을 믹싱하여 출력 영상을 획득할 수 있다.

일 실시예에 따라 상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써, 상기 포커싱 레벨 맵의 포커싱 레벨 영역의 각각에 디테일 강화 게인을 적용함으로써 출력 영상을 획득할 수 있다.

일 실시예에 따라 디스플레이 장치의 동작 방법은, 입력 영상을 수신하는 동작, 수신된 입력 영상으로부터 휘도 정보를 획득하는 동작, 상기 휘도 정보에 기반하여 시각 반응을 고려한 인지 휘도 정보를 획득하는 동작, 상기 입력 영상의 화질 처리 후에 발생될 수 있는 부작용의 정도를 나타내는 장면 강도 정보를 예측하는 동작, 상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 상기 입력 영상의 화질 처리를 수행하는 동작을 포함한다.

일 실시예에 따라 디스플레이 장치의 동작 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록 매체에 있어서, 상기 디스플레이 장치의 동작 방법은, 입력 영상을 수신하는 동작, 수신된 입력 영상으로부터 휘도 정보를 획득하는 동작, 상기 휘도 정보에 기반하여 시각 반응을 고려한 인지 휘도 정보를 획득하는 동작, 상기 입력 영상의 화질 처리 후에 발생될 수 있는 부작용의 정도를 나타내는 장면 강도 정보를 예측하는 동작, 상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 상기 입력 영상의 화질 처리를 수행하는 동작을 포함한다.

일 실시예에 따른 영상 처리 장치는 영상에서 사람 시각에 의해 중요하게 생각되는 정보인 인지 휘도 정보와 화질 처리후 부작용이 발생되는 정도를 나타내는 장면 강도 정보를 참조하여 영상의 화질을 처리함으로써 보다 화질 처리의 효과를 증대시킬 수 있다.

도 1은 일 실시예에 따른 디스플레이 장치를 나타내는 도면이다.
도 2는 일 실시예에 따라 영상 처리 장치 100에서 수행되는 영상 처리 방법의 동작을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 영상 처리 장치의 일 예를 나타낸다.
도 4는 일 실시예에 따라 포커싱 레벨 맵 생성 모듈의 일 예를 나타낸다.
도 5는 일 예에 따라 입력 영상의 RGB 값을 디스플레이 휘도 값으로 매핑하는 예를 설명하기 위한 참고도이다.
도 6은 일 예에 따라 입력 휘도에 대응하는 원추 세포(cone cell) 응답의 예를 나타낸다.
도 7은 일 실시예에 따라 장면 강도 정보 예측 모듈 120의 일 예를 나타낸다.
도 8은 일 실시예에 따라 사용자에 의해 지정되는 장면 강도 (gain)의 일 예를 나타낸다.
도 9는 일 실시예에 따라 룰 기반 알고리즘에 따라서 포커싱 레벨 맵을 생성하는 예를 나타낸다.
도 10은 일 예에 따라 포커싱 응답을 10개의 포커싱 레벨 맵으로 구성하는 예를 나타낸다.
도 11은 일 실시예에 따라 신경망에 따라서 포커싱 레벨 맵을 생성하는 예를 나타낸다.
도 12는 일 실시예에 따라 사용자에 의해 지정되는 인지 포커싱 레벨 맵의 일 예를 나타낸다.
도 13은 일 실시예에 따라 입력 영상의 각 픽셀에 대응하는 포커싱 응답과 포커싱 레벨의 관계를 설명하기 위한 참고도이다.
도 14는 일 실시예에 따라 휘도 명암비 향상 모듈의 일 예를 나타낸다.
도 15는 일 실시예에 따라 초기 글로벌 커브 TMC_init를 글로벌 커브 TMC_G를 생성하는 그래프를 나타낸다.
도 16은 일 실시예에 따라 입력 영상의 각 포커싱 레벨 영역 각각에 서로 다른 톤 매핑 커브를 적용하는 예를 설명하기 위한 참고도이다.
도 17은 일 실시예에 따라 색상 명암비 향상 모듈의 일 예를 나타낸다.
도 18은 일 실시예에 따라 색상 강화 게인과 새츄레이션 강화 게인의 예들을 나타낸다.
도 19는 일 실시예에 따라 디테일 강화 모듈의 일 예를 나타낸다.
도 20은 일 실시예에 따른 디스플레이 장치의 일 예의 블록도이다.
도 21은 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서의 실시예에서 "사용자"라는 용어는 시스템, 기능 또는 동작을 제어하는 사람을 의미하며, 개발자, 관리자 또는 설치 기사를 포함할 수 있다.

또한, 본 명세서의 실시예에서, '영상(image)' 또는 '픽쳐'는 정지영상, 복수의 연속된 정지영상(또는 프레임)으로 구성된 동영상, 또는 비디오를 나타낼 수 있다.

도 1은 일 실시예에 따른 디스플레이 장치를 나타내는 도면이다.

도 1을 참조하면, 일 실시예에 따른 디스플레이 장치 2000는 영상을 수신하여, 수신한 영상의 명암비를 향상시키는 처리를 수행하고, 영상 처리된 영상을 표시하는 전자 장치일 수 있다. 예를 들어, 디스플레이 장치 100는, TV, 휴대폰, 태블릿 PC, 디지털 카메라, 캠코더, 노트북 컴퓨터(laptop computer), 데스크탑, 전자책 단말기, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 스마트폰, 착용형 장치(wearable device) 등과 같은 다양한 형태로 구현될 수 있다.

또한, 디스플레이 장치 2000는 디스플레이를 포함하여, 명암비 향상 처리가 수행된 영상을 디스플레이에 표시할 수 있다. 또한, 디스플레이 장치 2000는 고정된 위치에 배치되는 고정형 전자 장치 또는 휴대 가능한 형태를 갖는 이동형 전자 장치일 수 있으며, 디지털 방송 수신이 가능한 디지털 방송 수신기일 수 있다. 특히, 실시예들은 TV와 같이 디스플레이가 대형인 영상 처리 장치에서 용이하게 구현될 수 있으나, 이에 한정되는 것은 아니다.

일 실시예에 따른 디스플레이 장치 2000는 외부 장치 또는 외부 서버로부터 수신되거나 입력된 영상 10을 입체감 강화 명암비 향상 영상 처리 장치 100를 이용하여 영상의 명암비를 향상시키는 처리를 수행하고, 명암비가 향상된 영상 20을 디스플레이에 표시할 수 있다.

일 실시예에 따른 영상 처리 장치 100는, 입력 영상을 수신하고, 수신된 입력 영상으로부터 휘도 정보를 획득하고, 상기 휘도 정보에 기반하여 시각 반응을 고려한 인지 휘도 정보를 획득하고, 상기 입력 영상의 화질 처리 후에 발생될 수 있는 부작용의 정도를 나타내는 장면 강도 정보를 예측하고, 상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 상기 입력 영상의 화질 처리를 수행할 수 있다.

일 실시예에 따른 영상 처리 장치 100는, 상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 포커싱 레벨 맵을 획득하고, 상기 포커싱 레벨 맵을 이용하여 상기 입력 영상의 화질 처리를 수행할 수 있다.

일 실시예에 따라 영상 처리 장치 100는, 상기 수신된 입력 영상으로부터 상기 디스플레이의 특성 정보에 기반한 상기 휘도 정보를 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는, 상기 휘도 정보로부터 HVS 모델을 이용하여 상기 인지 휘도 정보를 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는, 상기 입력 영상으로부터 특징을 추출하고, 훈련 영상으로부터 상기 훈련 영상의 화질 처리 후에 나타날 수 있는 부작용의 강도를 나타내는 상기 장면 강도 정보를 출력하도록 학습된 신경망을 이용하여 상기 입력 영상으로부터 상기 입력 영상의 상기 장면 강도 정보를 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는, 상기 인지 휘도 정보에 상기 장면 강도 정보를 이용하여 가중치를 부여함으로써 상기 포커싱 레벨 맵을 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는, 상기 인지 휘도 정보를 미리 정해진 필터를 이용하여 필터 처리함으로써 제1포커싱 레벨 맵을 획득하고, 상기 장면 강도 정보를 이용하여 상기 제1포커싱 레벨 맵에 가중치를 부여함으로써 제2포커싱 레벨 맵을 획득하고, 상기 제2포커싱 레벨 맵을 정규화함으로써 상기 포커싱 레벨 맵을 획득할 수 있다. 상기 미리 정해진 필터는, 라플라시안 필터, 그래디언트 필터, 베리언스 필터, 웨이브렛 필터 중 적어도 하나를 포함할 수 있다.

일 실시예에 따라 영상 처리 장치 100는, 상기 포커싱 레벨 맵을 이용하여 상기 입력 영상의 휘도 명암비 강화, 색상 명암비 강화, 디테일 강화 중 적어도 하나를 수행함으로써 상기 화질 처리를 수행할 수 있다.

일 실시예에 따라 영상 처리 장치 100는, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨의 도미넌트 휘도를 서로 다른 게인을 이용하여 조정함으로써 획득된 글로벌 톤 매핑 커브를 상기 입력 영상에 적용함으로써 글로벌 명암비 강화 영상을 획득하고, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 각 영역에 대응하는 서로 다른 N개의 톤 매핑 커브를 상기 입력 영상에 적용함으로써 로컬 명암비 강화 영상을 획득하고, 상기 글로벌 명암비 강화 영상과 상기 로컬 명암비 강화 영상을 믹싱함으로써 출력 영상을 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 도미넌트 색조 값에 색상 강화 게인을 적용하여 색조 기반 강화 영상을 획득하고, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 도미넌트 새츄레이션 값에 새츄레이션 강화 게인을 적용하여 새츄레이션 기반 강화 영상을 획득하고, 상기 색조 기반 강화 영상과 상기 새츄레이션 기반 강화 영상을 믹싱하여 출력 영상을 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는, 상기 포커싱 레벨 맵의 포커싱 레벨 영역의 각각에 디테일 강화 게인을 적용함으로써 출력 영상을 획득할 수 있다.

이하, 도면들을 참조하여 자세히 설명하기로 한다.

도 2는 일 실시예에 따라 영상 처리 장치 100에서 수행되는 영상 처리 방법의 동작을 나타내는 흐름도이다. 영상 처리 장치 100는 도 1에서와 같이 디스플레이 장치 1700에 포함되거나 또는 다른 전자 장치에서 영상 처리를 위해 포함될 수 있다.

도 2를 참조하면, 동작 210에서, 영상 처리 장치 100는 입력 영상을 수신할 수 있다. 영상 처리 장치 100는 입력 영상을 내부 메모리에서 획득하거나 또는 외부 장치로부터 수신할 수 있다. 영상 처리 장치 100는 입력 영상을 프레임 단위로 영상 처리할 수 있다.

동작 220에서, 영상 처리 장치 100는 수신된 입력 영상으로부터 휘도 정보를 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는 수신된 영상을 디스플레이의 특성 정보에 기반하여 휘도 정보를 획득할 수 있다. 디스플레이 기반 휘도 정보는 히스토그램, LUT, equation 등으로 나타내질 수 있다.

동작 230에서, 영상 처리 장치 100는 휘도 정보에 기반하여 시각 반응을 고려한 인지 휘도 정보를 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는 디스플레이 특성에 기반한 휘도 정보로부터 HVS 모델을 이용하여 인지 휘도 정보를 획득할 수 있다.

동작 240에서, 영상 처리 장치 100는 입력 영상의 화질 처리 후에 발생될 수 있는 부작용의 정도를 나타내는 장면 강도 정보를 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는 입력 영상으로부터 특징을 추출하고, 훈련 영상으로부터 상기 훈련 영상의 화질 처리 후에 나타날 수 있는 부작용의 강도를 나타내는 장면 강도 정보를 출력하도록 학습된 신경망을 이용하여 입력 영상으로부터 입력 영상의 장면 강도 정보를 획득할 수 있다.

동작 250에서, 영상 처리 장치 100는 장면 강도 정보 및 인지 휘도 정보에 기반하여 포커싱 레벨 맵을 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는 인지 휘도 정보에 장면 강도 정보를 이용하여 가중치를 부여함으로써 포커싱 레벨 맵을 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는 인지 휘도 정보를 미리 정해진 필터를 이용하여 필터 처리함으로써 제1포커싱 레벨 맵을 획득하고, 장면 강도 정보를 이용하여 제1포커싱 레벨 맵에 가중치를 부여함으로써 제2포커싱 레벨 맵을 획득하고, 제2포커싱 레벨 맵을 정규화함으로써 포커싱 레벨 맵을 획득할 수 있다. 여기서, 미리 정해진 필터는, 라플라시안 필터, 그래디언트 필터, 베리언스 필터, 웨이브렛 필터 중 적어도 하나를 포함할 수 있다.

동작 260에서, 영상 처리 장치 100는 포커싱 레벨 맵을 이용하여 입력 영상의 화질 처리를 수행할 수 있다.

일 실시예에 따라 영상 처리 장치 100는 상기 포커싱 레벨 맵을 이용하여 상기 입력 영상의 휘도 명암비 강화, 색상 명암비 강화, 디테일 강화 중 적어도 하나를 수행함으로써 화질 처리를 수행할 수 있다.

일 실시예에 따라 영상 처리 장치 100는 상기 포커싱 레벨 맵의 N개의 포커싱 레벨의 도미넌트 휘도를 서로 다른 게인을 이용하여 조정함으로써 획득된 글로벌 톤 매핑 커브를 상기 입력 영상에 적용함으로써 글로벌 명암비 강화 영상을 획득하고, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 각 영역에 대응하는 서로 다른 N개의 톤 매핑 커브를 상기 입력 영상에 적용함으로써 로컬 명암비 강화 영상을 획득하고, 상기 글로벌 명암비 강화 영상과 상기 로컬 명암비 강화 영상을 믹싱함으로써 출력 영상을 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는 상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 도미넌트 색조 값에 색상 강화 게인을 적용하여 색조 기반 강화 영상을 획득하고, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 도미넌트 새츄레이션 값에 새츄레이션 강화 게인을 적용하여 새츄레이션 기반 강화 영상을 획득하고, 상기 색조 기반 강화 영상과 상기 새츄레이션 기반 강화 영상을 믹싱하여 출력 영상을 획득할 수 있다.

일 실시예에 따라 영상 처리 장치 100는 상기 포커싱 레벨 맵의 포커싱 레벨 영역의 각각에 디테일 강화 게인을 적용함으로써 출력 영상을 획득할 수 있다.

도 3은 일 실시예에 따른 영상 처리 장치의 일 예를 나타낸다.

도 3을 참조하면, 영상 처리 장치 100는 포커싱 레벨 맵 생성 모듈 110, 장면 강도 예측 모듈 120, 입체감 강화 모듈 130을 포함할 수 있다.

포커싱 레벨 맵 생성 모듈 110은 입력 영상을 수신하고, 입력 영상에 포함된 각 픽셀의 포커싱 응답을 측정하도록 동작되는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 픽셀 기반의 포커싱 응답 맵은 포커싱 응답 값들을 정규화 함으로써 N 개의 레벨의 포커싱 레벨 맵을 포함할 수 있다. 레벨의 개수는 다양하게 결정될 수 있으며, 이후에 설명되는 예들에서 N은 10으로 설정되었다. 각 픽셀에 대응하는 포커싱 응답 값은 인간의 시각 반응에 의해 좀더 민감하게 반응되는 정도를 나타낼 수 있다.

포커싱 레벨 맵 생성 모듈 110은 영상의 각 픽셀에 대한 인지 휘도 정보와 장면 강도 예측 모듈 120로부터 수신된 장면 강도 정보에 기반하여 각 픽셀 기반 포커싱 레벨 맵을 획득할 수 있도록 동작되는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다.

장면 강도 예측 모듈 120는 장면 강도 정보로서, 장면 적응적인 향상 게인을 추정할 수 있도록 동작되는 적절한 로직, 회로, 인터페이스, 및/또는 코드를 포함할 수 있다. 영상의 장면의 종류에 따라서 화질 처리 이후 나타날 수 있는 부작용이 다를 수 있다. 예를 들어, 블러 영역이 많은 장면의 경우에는 화질 개선 처리에 따라 화질 개선 처리에 의해 나타내는 부작용이 거의 없을 수 있지만, 패턴으로 이루어진 장면의 경우에는 화질 개선 처리에 따라 부작용이 많아서 화질 개선 처리를 하지 않는 것이 바람직할 수 있다. 따라서 이와 같이 장면의 카테고리에 따라서 어떠한 장면의 경우에는 화질 처리가 필요할 수 있지만, 어떠한 장면의 경우에는 화질 처리가 필요하지 않을 수 있다. 따라서, 개시된 실시예에서는 이러한 화질 처리가 요구되는지에 대한 정도를 나타내는 장면 강도 정보를 예측하고, 이러한 장면 강도 정보를 화질 처리에 이용함으로써 보다 장면에 적응적인 화질 처리를 수행할 수 있다.

입체감 강화 모듈 130은 포커싱 레벨 맵 생성 모듈 110로부터 수신된 포커싱 레벨 맵을 이용하여 영상의 명암비 향상 처리를 하는 것으로, 예를 들어, 휘도 명암비, 색상 명암비, 디테일 명암비 향상 처리를 할 수 있다.

도 4는 일 실시예에 따라 포커싱 레벨 맵 생성 모듈의 일 예를 나타낸다.

본 개시서에서 포커싱 레벨 맵은 사람이 중요한 영역으로 생각할 수 있는 부분을 나타낸다. 포커싱 레벨 맵은 인지 포커싱 레벨 맵 (perceptive focusing level map)으로 언급될 수도 있다.

도 4를 참조하면, 포커싱 레벨 맵 생성 모듈 110은 입력 영상의 RGB 값을 디스플레이 휘도 값으로 매핑하는 디스플레이 휘도 매핑 모듈 111, 디스플레이 휘도를 HVS 모델을 이용하여 인지 휘도 값으로 매핑하는 HVS 인지 휘도 매핑 모듈 112, 인지 휘도 값을 포커싱 레벨 맵으로 측정하는 포커싱 레벨 맵 측정 모듈 113을 포함할 수 있다.

디스플레이 휘도 매핑 모듈 111은 입력 영상의 RGB 값을 디스플레이 휘도 모델에 기반하여 디스플레이 휘도 값으로 매핑함으로써 입력 영상의 각 픽셀에 대응하는 디스플레이 휘도 값을 출력할 수 있다.

휘도 (nit) 레벨은 디스플레이 마다 다를 수 있다. 따라서 입력 영상의 RGB 코드 값을 디스플레이 휘도 값으로 매핑한 결과는 디스플레이 특성에 따라서 달라질 수 있다. 디스플레이 휘도 모델은 미리 정해진 LUT, equation, 또는 커브로 나타내 질 수 있다.

도 5는 일 예에 따라 입력 영상의 RGB 값을 디스플레이 휘도 값으로 매핑하는 예를 설명하기 위한 참고 도 이다.

도 5를 참조하면, 입력 영상의 R 채널 코드 값은

에 의해

로 매핑되고, 입력 영상의 G 채널 코드 값은

에 의해

로 매핑되고, 입력 영상의 B 채널 코드 값은

의해

로 매핑된다.

은 아래와 같은 등식 (1) 에 의해 얻어질 수 있다.

등식 (1)

여기서,

는 패널의 피크 화이트 값이다.

,

는 표준 매트릭스를 따르는 고정된 값으로서, 예를 들어, 패널이 sRGB 컬러 공간인 경우에, sRGB->XYZ 표준화된 3x3 matrix는

,

= 0.2126,0.7152,0.0722이다.

,

는 측정된 데이터로부터 계산될 수도 있다. 예를 들어, 이것은 전체 피크 상에서 R/G/B 채널 피크의 비율이 될 수 있다.

,

는 R/G/B 채널의 피크 측정된 휘도 값을 나타낸다.

,

는 파워 펑션의 exponent gain이다. 예를 들어, 그것은 서로 다른 패널에 따라 1.0, 2.2, or 2.4 이 될 수 있다.

도 4로 돌아가서, 디스플레이 휘도 매핑 모듈 111은 입력 영상에 대응하는 디스플레이 휘도 값을 HVS (Human Visual System) 인지 휘도 매핑 모듈 112로 출력할 수 있다.

HVS 인지 휘도 매핑 모듈 112은 디스플레이 휘도 값을 HVS 모델을 이용하여 인지 휘도 값으로 매핑하여 출력할 수 있다.

HVS 모델은 어떤 조건 하에서 휘도에 대한 실제 인간의 시각 반응을 나타낸다. HVS 모델에 의해, 휘도 값 Y(nit)는 인지적 휘도 값에 매핑된다. HVS 모델은 미리 정해진 LUT, equation, 또는 커브로 나타내 질 수 있다.

도 6은 일 예에 따라 입력 휘도에 대응하는 원추 세포(cone cell) 응답의 예를 나타낸다.

HVS 모델에서 원추 세포의 응답 펑션은 Naka-Rushton 등식으로 표현될 수 있다.

여기서,

는 원추 세포 응답,

은 로그 도메인에서의 입력 휘도, σ 는 세미 새츄레이션 (semisaturation) 계수, 지수 n은 슬로프의 가파른 정도를 나타낸다.

도 6을 참조하면, 디스플레이 휘도 매핑 모듈 111로부터 수신된 입력 영상에 대응하는 디스플레이 휘도 값 (가로축)은 상대적 원추세포 응답 값 (세로축) 으로 매핑된다. 상대적 원추세포 응답 값은 0에서 1까지의 범위를 가지는 것으로 표시되어 있다.

도 4로 돌아가서, HVS 인지 휘도 매핑 모듈 112은 디스플레이 휘도 값을 HVS 모델을 이용하여 매핑한 인지 휘도 값을 포커싱 레벨 맵 측정 모듈 113으로 출력할 수 있다.

포커싱 레벨 맵 측정 모듈 113은 HVS 인지 휘도 매핑 모듈 112로부터 수신된 인지 휘도 값 및 장면 강도 예측 모듈 120로부터 수신된 장면 강도 정보에 기반하여 포커싱 레벨 맵을 획득할 수 있다.

먼저, 장면 강도 모듈에서 장면 강도 정보를 출력하는 방법을 도 7 및 도 8을 참조하여 설명한다.

도 7은 일 실시예에 따라 장면 강도 정보 예측 모듈 120의 일 예를 나타낸다.

영상의 어떤 장면(scene)들은 블랙 디테일 사라짐 (black detail disappear) 현상이나 패턴 왜곡 등과 같은 부작용으로 인해 명암비 향상 처리에 적절하지 않을 수 있다. 이러한 부작용을 방지하기 위해 장면 강도 정보 예측 모듈 120을 통해 장면의 카테고리나 게인 등과 같은 장면 강도 정보를 획득할 수 있다. 이러한 장면 강도 정보는 룰 기반 알고리즘 (constraints limitation) 이나 신경망 등에 의해 예측될 수 있다. 도 7에 도시된 예는 신경망에 의해 장면 강도 정보를 예측하는 예를 나타낸다.

도 7을 참조하면, 장면 강도 정보 예측 모듈 120는 특징 추출 모듈 121, 장면 강도 학습 모델 122, 장면 강도 학습 신경망 123을 포함할 수 있다.

특징 추출 모듈 121는 입력 영상으로부터 특징을 추출할 수 있다. 입력 영상의 특징은, 글로벌 특징 (global feature), 로컬 특징 (local feature), 커스텀 특징 (custom feature) 등을 포함할 수 있다. 글로벌 특징 (global feature)은, 영상의 픽셀들의 평균 휘도 값을 나타내는 글로벌 APL (Average Picture Level), 새츄레이션 (saturation), 스탠다드 디비전 (standard division) 등을 포함할 수 있다. 로컬 특징 (local feature)은, 블록 기반 인지 히스토그램 (block based perceptual histogram), 그래디언트 (gradient), 배리언스 (variance), 색상 등을 포함할 수 있다. 커스텀 특징 (custom feature)은, 블록 디테일 정보 (block detail information)나 그 외 다른 부작용 (side effect) 관련된 정보를 포함할 수 있다.

장면 강도 학습 모델 122은 사용자에 의해 지정된 강도 (gain)를 이용하여 훈련 영상을 학습함으로써 입력 영상으로부터 강도 정보를 출력하도록 학습하는 신경망 모델을 나타낼 수 있다. 이와 같은 신경망 모델로는 Linear Regression, MLP (Multi-Layer Perceptron), CNN 등의 신경망을 이용할 수 있다.

도 8은 일 실시예에 따라 사용자에 의해 지정되는 장면 강도 (gain)의 일 예를 나타낸다.

장면에 대응되는 장면 강도는 복수개의 카테고리로 구분될 수 있다.

도 8을 참조하면 장면 강도는 예를 들어 5개의 장면 강도로 구분될 수 있다. 블러 영역 양이 크고 화질 향상 처리 후에 부작용이 없는 high APL 과 같은 장면에는 장면 강도가 1.0으로 설정되고, 화질 향상 처리 후에 부작용이 거의 없는 미들 APL 과 같은 장면에는 장면 강도가 0.6-0.8 로 설정되고, 블랙 디테일이 존재하고 포커싱 영역에서 민감한 색상을 가진 장면과 같이 화질 향상 처리 후에 부작용이 존재하는 장면에는 장면 강도가 0.2-0.4로 설정되고, 패턴 영상과 같이 화질 향상 처리가 적절하지 않은 장면에는 장면 강도가 0.0으로 설정될 수 있다.

도 8에서 장면 강도 정보를 5개의 카테고리로 구분한 것은 일 예에 불과하다. 학습 모델에 따라 장면의 강도를 구분하는 카테고리는 다양하게 결정될 수 있을 것이다.

장면 강도 학습 모델 122는 복수의 훈련 영상 및 각 훈련 영상에 대해서 장면 강도가 설정된 태그를 입력받고, 이러한 훈련 영상을 학습함으로써, 입력 영상으로부터 장면 강도를 예측할 수 있도록 학습될 수 있다.

장면 강도 학습 모델 122는 장면 강도 학습 신경망 123에 설정되는 파라미터 정보를 획득하기 위한 것으로, 장면 강도 학습 모델 122는 디스플레이 장치 1700 내부에 존재할 수도 있고 디스플레이 장치 1700 외부에 존재할 수도 있다. 장면 강도 학습 모델 122는 훈련 데이터 셋에 기초하여, 장면 강도 학습 모델 122를 훈련시킴으로써, 장면 강도 학습 신경망 123에 포함되는 파라미터들(가중치들, 계수들)을 결정할 수 있다.

장면 강도 학습 모델 122는 복수의 레이어들을 포함하는 딥 뉴럴 네트워크(DNN: Deep Neural Network)일 수 있으며, 신경망이 입력 데이터에 대응하는 결과 데이터를 정확하게 출력하기 위해서는 목적에 따라 신경망을 훈련(training)시켜야 한다. 이때, '훈련(training)'은 신경망으로 다양한 데이터들을 입력시키고, 입력된 데이터들을 분석하는 방법, 입력된 데이터들을 분류하는 방법, 및/또는 입력된 데이터들에서 결과 데이터 생성에 필요한 특징을 추출하는 방법 등을 뉴럴 네트워크가 스스로 발견 또는 터득할 수 있도록 신경망을 훈련시키는 것을 의미할 수 있다. 구체적으로 훈련 과정을 통하여, 신경망은 훈련 데이터를 학습(learning)하여, 신경망 내부의 파라미터들(가중치들, 계수들)을 최적화하여 설정할 수 있다. 최적화된 파라미터들로 설정된 신경망은, 입력된 데이터를 스스로 학습(learning)함으로써, 목적하는 결과를 출력할 수 있다.

일 실시예에 따른 장면 강도 학습 모델 122는 복수의 훈련 영상 또는 영역의 특징 정보 및 해당 훈련 영상에 대응하여 사용자에 의해 정의된 장면 강도 정보를 태그로서 입력 받고, 학습함으로써, 어떤 입력 영상에 대응하는 장면 강도 정보를 출력하도록 학습된 신경망 모델일 수 있다. 여기서 장면 강도 정보는 도 8에 도시된 예와 같은 형태가 될 수 있다.

예를 들어, 장면 강도 학습 모델 122는 제1훈련 영상에 대응하는 제1 훈련 특징 정보 및 제1훈련 영상에 대응하는 장면 강도 정보를 입력받고, 출력되는 데이터(출력 데이터)와 장면 강도 정보의 차이가 최소화하는 방향으로 장면 강도 학습 모델 122에 포함되는 파라미터들을 업데이트함으로써, 파라미터 정보를 결정할 수 있다.

장면 강도 학습 모델 122의 학습에 의해 얻어진 파라미터들(가중치들, 계수들)은 장면 강도 학습 신경망 123에 전달되고, 장면 강도 학습 신경망 123는 입력 영상을 수신하면 입력 영상에 대응하는 장면 강도 정보를 출력할 수 있다.

다시 도 4로 돌아가서, 이와 같이 얻어진 장면 강도 학습 신경망 123에 의해 얻어진 장면 강도 정보 및 HVS 인지 휘도 매칭 모듈 112에 의해 얻어진 인지 휘도 값에 기반하여 포커싱 레벨 맵 측정 모듈 113에 의해 포커싱 레벨 맵이 출력될 수 있다.

포커싱 레벨 맵 측정 모듈 113은 룰 기반 알고리즘 또는 학습된 신경망을 이용하여 포커싱 레벨 맵을 출력할 수 있다.

도 9는 일 실시예에 따라 룰 기반 알고리즘에 따라서 포커싱 레벨 맵을 생성하는 예를 나타낸다.

도 9를 참조하면, 일 예에 따른 포커싱 레벨 맵 측정 모듈 113a은 초기 포커싱 레벨 맵 생성 모듈 910, 개량 모듈 920, 평탄화 개량 모듈 930, 정규화 모듈 940를 포함할 수 있다.

초기 포커싱 레벨 맵 생성 모듈 910은 영상의 인지 휘도 값을 수신하여 필터를 이용하여 초기 포커싱 레벨 맵 Map 1을 생성할 수 있다. 이러한 초기 포커싱 레벨 맵을 생성하는데 이용되는 필터는 라플라시안, 그래디언트, 배리언스, 웨이브렛 등을 이용할 수 있다. 초기 포커싱 레벨 맵 생성 모듈 910은 이와 같은 필터를 이용함으로써, 소정의 윈도우 사이즈 내에 있는 중심 픽셀 (center pixel) 과 이웃 픽셀들 (neighbor pixels)의 정보를 이용하여 어떤 픽셀의 포커싱 응답을 결정할 수 있다.

개량 모듈 920는 초기 포커싱 맵 생성 모듈 910로부터 출력되는 초기 포커싱 레벨 맵 및 장면 강도 정보를 수신하고, 초기 포커싱 레벨 맵을 장면 강도 정보를 이용하여 가중치를 부여할 수 있다. 예를 들어, 개량 모듈 920는 초기 포커싱 레벨 맵인 Map 1에 장면 강도 정보 P를 곱하여 Map 2를 획득할 수 있다.

평탄화 개량 모듈 930는 개량 모듈 920로부터 출력된 Map 2를 수신하고, 예를 들어 메디안 (median) 필터 등을 이용하여 Map2를 평탄화 개량함으로써 Map 3를 획득할 수 있다.

정규화 모듈 940는 평탄화 개량 모듈 930로부터 출력된 Map 3를 수신하고, 정규화 함으로써 최종적인 인지 포커싱 레벨 맵을 생성할 수 있다. 구체적으로, 정규화 모듈 940는 Map3의 각 픽셀에 대응하는 포커싱 응답 값 (0-255)를 정해진 N개의 포커싱 레벨 중 하나로 매핑할 수 있다. 이와 같은 정규화 처리에 의해 인 포커싱 픽셀 (in-focus pixel)은 포커싱 레벨 값이 높게 되고, 블러 픽셀 (blur pixel)은 포커싱 레벨 값이 낮게 될 수 있다.

도 10은 일 예에 따라 포커싱 응답을 10개의 포커싱 레벨 맵으로 구성하는 예를 나타낸다.

정규화 모듈 940는 영상의 각 픽셀에 대응하는 포커싱 응답 값을 예를 들어 10개의 레벨로 세그먼트할 수 있다. 도 10을 참조하면, 각 포커싱 응답과 포커싱 레벨 간의 관계를 나타내는 테이블이 도시되어 있다.

영상의 각 픽셀에 대응하는 포커싱 응답 값이 0-255 이고, 포커싱 레벨을 10개로 한다면, 포커싱 응답 값이 0-25는 제1포커싱 레벨에 해당하고, 포커싱 응답 값이 25-50는 제2포커싱 레벨에 해당하고. 포커싱 응답 값이 230-255는 제10포커싱 레벨에 해당할 수 있다. 다만, 도 10에 도시된 포커싱 응답과 포커싱 레벨 간의 관계는 일 예에 불과하고, 포커싱 레벨의 개수는 다양하게 결정될 수 있으며, 각 포커싱 응답의 구간별 포커싱 레벨의 관계도 다양하게 결정될 수 있을 것이다.

도 11은 일 실시예에 따라 신경망에 따라서 포커싱 레벨 맵을 생성하는 예를 나타낸다.

도 11을 참조하면, 일 예에 따른 포커싱 레벨 맵 측정 모듈 113b은 포커싱 레벨 맵 훈련 모델 1110 및 포커싱 측정 신경망 1120을 포함할 수 있다.

포커싱 레벨 맵 훈련 모델 1110는 사용자에 의해 지정된 포커싱 레벨 맵를 이용하여 훈련 영상을 학습함으로써 입력 영상으로부터 인지 포커싱 레벨 맵을 출력하도록 학습된 신경망 모델을 나타낼 수 있다. 이와 같은 학습 모델에 따라서 포커싱 측정 신경망 1120에 사용되는 가중치 값들을 획득할 수 있고 획득된 가중치 값들을 포커싱 측정 신경망 1120에 출력할 수 있다. 이와 같은 신경망 모델로는 MLP(Multi-layer perceptron), CNN 등의 신경망을 이용할 수 있다.

도 12는 일 실시예에 따라 사용자에 의해 지정되는 인지 포커싱 레벨 맵의 일 예를 나타낸다.

포커싱 레벨 맵 훈련 모델 1110은 복수의 훈련 영상의 인지 휘도 값 및 각 훈련 영상에 대응해서 지정된 포커싱 레벨 맵을 입력받고, 이러한 훈련 영상을 학습함으로써, 입력 영상의 인지 휘도 값으로부터 인지 포커싱 레벨 맵을 예측할 수 있도록 학습될 수 있다.

포커싱 레벨 맵 훈련 모델 1110은 포커싱 측정 신경망 1120에 설정되는 파라미터 정보를 획득하기 위한 것으로, 포커싱 레벨 맵 훈련 모델 1110은 디스플레이 장치 1700 내부에 존재할 수도 있고 디스플레이 장치 1700 외부에 존재할 수도 있다. 포커싱 레벨 맵 훈련 모델 1110은 훈련 데이터 셋에 기초하여, 포커싱 레벨 맵 훈련 모델 1110은을훈련 시킴으로써, 포커싱 측정 신경망 1120에 포함되는 파라미터들(가중치들, 계수들)을 결정할 수 있다.

포커싱 레벨 맵 훈련 모델 1110은 복수의 레이어들을 포함하는 딥 뉴럴 네트워크(DNN: Deep Neural Network)일 수 있으며, 뉴럴 네트워크가 입력 데이터에 대응하는 결과 데이터를 정확하게 출력하기 위해서는 목적에 따라 뉴럴 네트워크를 훈련(training)시켜야 한다. 이때, '훈련(training)'은 뉴럴 네트워크로 다양한 데이터들을 입력시키고, 입력된 데이터들을 분석하는 방법, 입력된 데이터들을 분류하는 방법, 및/또는 입력된 데이터들에서 결과 데이터 생성에 필요한 특징을 추출하는 방법 등을 뉴럴 네트워크가 스스로 발견 또는 터득할 수 있도록 뉴럴 네트워크를 훈련시키는 것을 의미할 수 있다. 구체적으로 훈련 과정을 통하여, 뉴럴 네트워크는 훈련 데이터를 학습(learning)하여, 뉴럴 네트워크 내부의 파라미터들(가중치들, 계수들)을 최적화하여 설정할 수 있다. 최적화된 파라미터들로 설정된 뉴럴 네트워크는, 입력된 데이터를 스스로 학습(learning)함으로써, 목적하는 결과를 출력할 수 있다.

일 실시예에 따른 포커싱 레벨 맵 훈련 모델 1110은 복수의 훈련 영상 또는 영역의 특징 정보 및 해당 훈련 영상에 대응하는 장면 강도 정보 및 해당 훈련 영상에 대응하여 사용자에 의해 정의된 포커싱 레벨 맵을 태그로서 입력 받고, 학습함으로써, 어떤 입력 영상에 대응하는 포커싱 레벨 맵을 출력하도록 학습된 신경망 모델일 수 있다. 여기서 포커싱 레벨 맵은 12에 도시된 예와 같은 형태가 될 수 있다.

예를 들어, 포커싱 레벨 맵 훈련 모델 1110은 제1훈련 영상에 대응하는 제1 훈련 특징 정보 및 제1훈련 영상에 대응하는 포커싱 레벨 맵을 입력받고, 출력되는 데이터(출력 데이터)와 포커싱 레벨 맵의 차이가 최소화하는 방향으로 포커싱 레벨 맵 훈련 모델 1110에 포함되는 파라미터들을 업데이트함으로써, 파라미터 정보를 결정할 수 있다.

포커싱 레벨 맵 훈련 모델 1110의 학습에 의해 얻어진 파라미터들(가중치들, 계수들)은 포커싱 측정 신경망 1120에 전달되고, 포커싱 측정 신경망 1120는 입력 영상 및 장면 강도 정보를 수신하면 입력 영상에 대응하는 포커싱 레벨 맵을 출력할 수 있다.

도 13은 일 실시예에 따라 입력 영상의 각 픽셀에 대응하는 포커싱 응답과 포커싱 레벨의 관계를 설명하기 위한 참고도이다.

도 13을 참조하면, 입력 영상 1300의 부분 1310에 포함된 각 픽셀에 대응하는 포커싱 응답 값 1320이 10, 10, 230, 230, 10, 10, 230, 230, 10, 10, 10, 10, 10, 10, 10, 10로 되어 있을 때, 이를 도 10에 도시된 바와 같이 10개의 포커싱 레벨로 구분한다면, 각 픽셀에 대응하는 포커싱 레벨 1330은 L1, L1, L10, L10, L1, L1, L10, L10, L1, L1, L1, L1, L1,L1, L1, L1 으로 출력될 수 있다.

다시 도 3으로 돌아가서, 이와 같이 포커싱 레벨 맵이 획득되면, 입체감 강화 모듈 130은 포커싱 레벨 맵 생성 모듈 110로부터 출력된 포커싱 레벨 맵을 수신하고 입력 영상의 입체감 강화 처리를 수행할 수 있다. 영상의 입체감 강화는 휘도 명암비 향상, 색상 명암비 향상, 디테일 향상 등을 포함할 수 있다.

이하에서는 도 14 내지 도 17을 참조하여 입체감 강화 모듈 130에서 수행되는 입체감 강화 동작을 설명한다.

도 14는 일 실시예에 따라 휘도 명암비 향상 모듈의 일 예를 나타낸다.

도 14를 참조하면, 휘도 명암비 향상 모듈 1400는 인터레벨 글로벌 명암비 강화 모듈 1410, 인트라 레벨 로컬 명암비 강화 모듈 1420, 믹싱 모듈 1430을 포함할 수 있다.

:는 N개의 포커싱 레벨의 로컬 영역을 나타낸다.

인터레벨 글로벌 명암비 강화 모듈 1410은 초기 글로벌 커브 TMC_init를 N개의 포커싱 레벨에 따라서 서로 다르게 향상시키기 위해, N 개의 포커싱 레벨에 대응하는 도미넌트 휘도 값

에 서로 다른 게인

을 부여한다.

는 N 개의 포커싱 레벨에서 각 레벨의 도미넌트 휘도 값을 나타낸다. 예를 들어 제1포커싱 레벨 도미넌트 휘도 값 Y1은 제1포커싱 레벨을 가지는 픽셀들의 휘도 값의 평균을 나타낼 수 있다.

초기 글로벌 커브 TMC_init는 미리 정해진 커브로서, 예를 들어, 히스토그램 equalization 또는 optimization 에 의해 생성될 수 있다. 인터레벨 글로벌 명암비 강화 모듈 1410는 N개의 포커싱 레벨의 도미넌트 휘도인

을 서로 다른 게인

으로 조정함으로써 글로벌 커브 TMC_G를 생성할 수 있다.

설정은 사용자의 요구사항에 따라서

또는

와 같이 되게 할 수 있다.

도 15는 일 실시예에 따라 초기 글로벌 커브 TMC_init를 글로벌 커브 TMC_G를 생성하는 그래프를 나타낸다.

도 15를 참조하면, 초기 글로벌 커브 TMC_init에 N개의 포커싱 레벨의 도미넌트 휘도인

을 서로 다른 게인

으로 조정함으로써 글로벌 커브 TMC_G를 생성할 수 있다.

인터레벨 글로벌 명암비 강화 모듈 1410은 이와 같이 생성된 글로벌 커브 TMC_G를 입력 영상의 모든 픽셀에 전역적으로 적용함으로써 글로벌 명암비 강화 영상 ImgG을 출력 영상으로 출력할 수 있다.

인트라 레벨 로컬 명암비 강화 모듈 1420는 로컬 선명도를 향상시키거나 로컬 영역 특성을 가진 톤 커브를 적용함으로써 로컬 명암비를 향상시킬 수 있다.

인트라 레벨 로컬 명암비 강화 모듈 1420는 각 포커싱 레벨 영역

에 대해서, 필터 마스크 (예를 들어 언샤프 마스크) 또는 각 특성을 가진 톤 매핑 커브

,

를 적용할 수 있다. 톤 맵핑(Tone Mapping)은 영상의 입력 신호(RGB Or YCbCr…) 정보를 사용자(개발자)가 원하는 레벨로 변형해주는 신호처리 방식으로, 예를 들면　톤 맵핑 (Tone mapping)을 하면 영상의 어두운 부분이나 밝은 부분을 조금 더 디테일(detail)을 살리거나　블랙(black)을　강조 혹은 밝은 부분을 더 밝게 하는 등 조정할 수 있다.

도 16은 일 실시예에 따라 입력 영상의 각 포커싱 레벨 영역 각각에 서로 다른 톤 매핑 커브를 적용하는 예를 설명하기 위한 참고도이다.

도 16을 참조하면, 일 예에 따라 입력 영상 1600는 포커싱 레벨 L1 영역, 포커싱 레벨 L10 영역, 포커싱 레벨 L5 영역, 포커싱 레벨 L7 영역, 포커싱 레벨 L3영역으로 구성될 수 있다. 인트라 레벨 로컬 명암비 강화 모듈 1420는 입력 영상의 포커싱 레벨 L1영역에는 대응하는 톤 매핑 커브

을 적용하고, 입력 영상의 포커싱 레벨 L3영역에는 대응하는 톤 매핑 커브

을 적용하고, 입력 영상의 포커싱 레벨 L10영역에는 대응하는 톤 매핑 커브

을 적용하고, 입력 영상의 포커싱 레벨 L5영역에는 대응하는 톤 매핑 커브

을 적용하고, 입력 영상의 포커싱 레벨 L7영역에는 대응하는 톤 매핑 커브

을 적용함으로써 로컬 명암비 강화 영상 ImgL을 출력 영상으로 출력할 수 있다.

믹싱 모듈 1430은 인터레벨 글로벌 명암비 강화 모듈 1410로부터 출력된 결과 영상과 인트라 레벨 로컬 명암비 강화 모듈 1420로부터 출력된 결과 영상을 블렌딩함으로써 믹싱할 수 있다.

여기서

는 사용자 정의된 비율을 나타내고,

는

를 적용하여 얻어진 결과 영상을 나타내고,

는 각 포커싱 레벨 영역에

,

을 적용하여 얻어진 결과 영상을 나타낸다.

도 17은 일 실시예에 따라 색상 명암비 향상 모듈의 일 예를 나타낸다.

도 17을 참조하면, 색상 명암비 강화 모듈 1700는 색조 기반 강화 모듈 1710, 새츄레이션 기반 강화 모듈 1720, 및 믹싱 모듈 1730을 포함할 수 있다.

색조 기반 강화 모듈 1710는 N개의 포커싱 레벨에 대응하는 도미넌트 색조 값

에 색상 강화 게인

을 적용할 수 있다.

는 사용자에 의해 정의될 수 있다.

는 N개의 포커싱 레벨에 대응하는 도미넌트 색조 값을 나타낸다. 예를 들어 제1포커싱 레벨에 대응하는 도미넌트 색조 값은 제1포커싱 레벨을 가지는 픽셀들의 색조 값의 평균을 나타낼 수 있다. 다만 평균은 일 예이고, 이외에 대표값으로서, 최대값이나, 최소값, 중간값 등 다양한 지표가 이용될 수 있을 것이다.

새츄레이션 기반 강화 모듈 1720는 N개의 포커싱 레벨에 대응하는 도미넌트 새츄레이션 값

에 새츄레이션 강화 게인

을 적용할 수 있다.

는 사용자에 의해 정의될 수 있다.

는 N개의 포커싱 레벨에 대응하는 도미넌트 새츄레이션 값을 나타낸다. 예를 들어 제1포커싱 레벨에 대응하는 도미넌트 새츄레이션 값은 제1포커싱 레벨을 가지는 픽셀들의 새츄레이션 값의 평균을 나타낼 수 있다. 다만 평균은 일 예이고, 이외에 대표값으로서, 최대값이나, 최소값, 중간값 등 다양한 지표가 이용될 수 있을 것이다.

도 18은 일 실시예에 따라 색상 강화 게인과 새츄레이션 강화 게인의 예들을 나타낸다.

믹싱 모듈 1730은 색조 기반 강화 모듈 1710로부터 출력된 결과 영상과 새츄레이션 기반 강화 모듈 1720로부터 출력된 결과 영상을 블렌딩함으로써 믹싱할 수 있다.

여기서,

는 사용자에 의해 정의되는 비율을 나타낸다.

이하에서는 도 19를 참조하여 디테일 강화 동작을 설명한다.

도 19는 일 실시예에 따라 디테일 강화 모듈의 일 예를 나타낸다.

도 19를 참조하면, 디테일 강화 모듈 1800은 포커싱 레벨 영역

의 각각에 디테일 강화 게인

을 적용할 수 있다. 구체적으로 인-포커싱 영역

에는 더 높은 게인이 적용되어 디테일을 명확하게 향상시키고, 블러 영역과 같이 포커싱이 낮은 영역에는 흐릿함을 유지하기 위해 더 낮은 게인이 적용될 수 있다.

도 20은 일 실시예에 따른 디스플레이 장치의 일 예의 블록도이다.

도 20을 참조하면, 일 실시예에 따른 디스플레이 장치 2000는 메모리 2010, 프로세서 2020, 디스플레이 2030을 포함할 수 있다.

메모리 2010는 디스플레이 장치 2000를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 또한, 메모리 2010에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리 2010에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서 2020에 의해 실행될 수 있다.

일 실시예에 따라 메모리 2020는 도 3 내지 도 19를 참조하여 설명한 영상 처리 방법의 실행을 위한 인스트럭션들을 포함할 수 있다. 예를 들어, 도 3에 도시된 포커싱 레벨 맵 생성 모듈의 동작 110을 실행하기 위한 인스트럭션들, 장면 강도 예측 모듈 120의 동작을 실행하기 위한 인스트럭션들, 입체감 강화 모듈 130의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.

프로세서 2020는 디스플레이 장치 2000의 전반적인 동작 및 디스플레이 장치 2000의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다.

프로세서 2020는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서 2020는 복수의 프로세서를 포함할 수 있다. 예를 들어, 프로세서 2020는 메인 프로세서(main processor, 도시되지 아니함) 및 슬립 모드(sleep mode)에서 동작하는 서브 프로세서(sub processor, 도시되지 아니함)로 구현될 수 있다.

또한, 프로세서 2020는 CPU(Cetral Processing Unit), GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 또는, 실시예에 따라, CPU, GPU 및 VPU 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다.

일 실시예에 따른 프로세서 2020는 도 3 내지 도 19의 명암비 향상 처리를 수행하는 장치(또는 모듈)에 포함되는 구성들 중 적어도 하나를 포함할 수 있다.

일 실시예에 따른 프로세서 2020는 메모리 2010에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 입력 영상을 수신하고, 수신된 입력 영상으로부터 휘도 정보를 획득하고, 상기 휘도 정보에 기반하여 시각 반응을 고려한 인지 휘도 정보를 획득하고, 상기 입력 영상의 화질 처리 후에 발생될 수 있는 부작용의 정도를 나타내는 장면 강도 정보를 예측하고, 상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 포커싱 레벨 맵을 획득하고, 상기 포커싱 레벨 맵을 이용하여 상기 입력 영상의 화질 처리를 수행할 수 있다.

일 실시예에 따른 프로세서 2020는 메모리 2010에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 상기 수신된 입력 영상으로부터 상기 디스플레이의 특성 정보에 기반한 상기 휘도 정보를 획득할 수 있다.

일 실시예에 따른 프로세서 2020는 메모리 2010에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 상기 휘도 정보로부터 HVS 모델을 이용하여 상기 인지 휘도 정보를 획득할 수 있다.

일 실시예에 따른 프로세서 2020는 메모리 2010에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 상기 입력 영상으로부터 특징을 추출하고, 훈련 영상으로부터 상기 훈련 영상의 화질 처리 후에 나타날 수 있는 부작용의 강도를 나타내는 상기 장면 강도 정보를 출력하도록 학습된 신경망을 이용하여 상기 입력 영상으로부터 상기 입력 영상의 상기 장면 강도 정보를 획득할 수 있다.

일 실시예에 따른 프로세서 2020는 메모리 2010에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 상기 인지 휘도 정보에 상기 장면 강도 정보를 이용하여 가중치를 부여함으로써 상기 포커싱 레벨 맵을 획득할 수 있다.

일 실시예에 따른 프로세서 2020는 메모리 2010에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 상기 인지 휘도 정보를 미리 정해진 필터를 이용하여 필터 처리함으로써 제1포커싱 레벨 맵을 획득하고, 상기 장면 강도 정보를 이용하여 상기 제1포커싱 레벨 맵에 가중치를 부여함으로써 제2포커싱 레벨 맵을 획득하고, 상기 제2포커싱 레벨 맵을 정규화함으로써 상기 포커싱 레벨 맵을 획득할 수 있다. 상기 미리 정해진 필터는, 라플라시안 필터, 그래디언트 필터, 베리언스 필터, 웨이브렛 필터 중 적어도 하나를 포함할 수 있다.

일 실시예에 따른 프로세서 2020는 메모리 2010에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 상기 포커싱 레벨 맵을 이용하여 상기 입력 영상의 휘도 명암비 강화, 색상 명암비 강화, 디테일 강화 중 적어도 하나를 수행함으로써 상기 화질 처리를 수행할 수 있다.

일 실시예에 따른 프로세서 2020는 메모리 2010에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨의 도미넌트 휘도를 서로 다른 게인을 이용하여 조정함으로써 획득된 글로벌 톤 매핑 커브를 상기 입력 영상에 적용함으로써 글로벌 명암비 강화 영상을 획득하고, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 각 영역에 대응하는 서로 다른 N개의 톤 매핑 커브를 상기 입력 영상에 적용함으로써 로컬 명암비 강화 영상을 획득하고, 상기 글로벌 명암비 강화 영상과 상기 로컬 명암비 강화 영상을 믹싱함으로써 출력 영상을 획득할 수 있다.

일 실시예에 따른 프로세서 2020는 메모리 2010에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 도미넌트 색조 값에 색상 강화 게인을 적용하여 색조 기반 강화 영상을 획득하고, 상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 도미넌트 새츄레이션 값에 새츄레이션 강화 게인을 적용하여 새츄레이션 기반 강화 영상을 획득하고, 상기 색조 기반 강화 영상과 상기 새츄레이션 기반 강화 영상을 믹싱하여 출력 영상을 획득할 수 있다.

일 실시예에 따른 프로세서 2020는 메모리 2010에 저장된 하나 이상의 인스트럭션들을 실행함으로써, 상기 포커싱 레벨 맵의 포커싱 레벨 영역의 각각에 디테일 강화 게인을 적용함으로써 출력 영상을 획득할 수 있다.

일 실시예에 따른 디스플레이 2030는, 프로세서 2020에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이 2030는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이 2030는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.

일 실시예에 따른 디스플레이 2030는 명암비가 향상된 제2 영상을 표시할 수 있다.

도 21은 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.

도 21을 참조하면, 일 실시예에 따른 디스플레이 장치 2000는 메모리 2010, 프로세서 2020, 디스플레이 2030, 비디오 처리부 2035, 오디오 출력부 2040, 오디오 처리부 2045, 통신부 2050, 감지부 2060, 사용자 입력부 2070, 입/출력부 2080, 튜너부 2090을 포함할 수 있다.

일 실시예에 따른 튜너부 2090는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 방송 수신 장치(100)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 오디오(audio), 비디오(video) 및 부가 정보(예를 들어, EPG(Electronic Program Guide))를 포함한다.

튜너부 2090는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 소스로부터 방송 신호를 수신할 수 있다. 튜너부 2090는 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다.

통신부 2050는 외부 장치 또는 서버와 데이터 또는 신호를 송수신할 수 있다. 예를 들어, 통신 인터페이스는 와이- 파이(Wi-Fi) 모듈, 블루투스 모듈, 적외선 통신 모듈 및 무선 통신 모듈, LAN 모듈, 이더넷(Ethernet) 모듈, 유선 통신 모듈 등을 포함할 수 있다. 이때, 각 통신 모듈은 적어도 하나의 하드웨어 칩 형태로 구현될 수 있다.

와이 파이 모듈, 블루투스 모듈은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행한다. 와이 파이 모듈이나 블루투스 모듈을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하고, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 모듈은 지그비(zigbee), 3G(3^rdGeneration), 3GPP(3^rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4^th Generation), 5G(5^th Generation) 등과 같은 다양한 무선 통신 규격에 따라 통신을 수행하는 적어도 하나의 통신 칩을 포함할 수 있다.

입/출력부 2080는, 디스플레이 장치 2000의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신한다. 입출력 부 2080는 HDMI (High-Definition Multimedia Interface), MHL(Mobile High-Definition Link), USB(Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array) 포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface), 컴포넌트 잭(component jack), PC 포트(PC port) 중 어느 하나를 포함할 수 있다.

감지부 2060는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이크 2061, 카메라부 2062 및 광 수신부 2063를 포함할 수 있다.

마이크 2061는 사용자의 발화(utterance)된 음성을 수신한다. 마이크 2061는 수신된 음성을 전기 신호로 변환하여 프로세서 2020로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치 2000의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.

카메라부 2062는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서 2020는 수신된 모션의 인식 결과를 이용하여 디스플레이 장치 2000에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다.

광 수신부 2063는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 디스플레이부 2030의 베젤의 광창(도시되지 아니함) 등을 통해 수신한다. 광 수신부 2063는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서 2020의 제어에 의해 제어 신호가 추출될 수 있다.

프로세서 2020는 디스플레이 장치 2000의 전반적인 동작 및 디스플레이 장치 2000의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서 2020는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 메모리 2010에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.

프로세서 2020는 디스플레이 장치 2000의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치 2000에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM), 디스플레이 장치(1400)의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 프로세서(Processor)를 포함할 수 있다.

비디오 처리부 2035는, 디스플레이 장치 2000가 수신한 비디오 데이터에 대한 처리를 수행한다. 비디오 처리부 2035에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.

오디오 처리부 2045는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부 2045에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다. 한편, 오디오 처리부 2045는 복수의 컨텐츠에 대응되는 오디오를 처리하기 위해 복수의 오디오 처리 모듈을 구비할 수 있다.

오디오 출력부 2040는 프로세서 2020의 제어에 의해 튜너부 2090를 통해 수신된 방송 신호에 포함된 오디오를 출력한다. 오디오 출력부 2040는 통신부 2050 또는 입/출력부 2080를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부 2040는 프로세서 2020의 제어에 의해 메모리 2010에 저장된 오디오를 출력할 수 있다. 오디오 출력부 2040는 스피커 2041, 헤드폰 출력 단자 2042또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자 2043중 적어도 하나를 포함할 수 있다.

메모리 2010는 프로세서 2020의 제어에 의해 디스플레이 장치 2000를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리 2010는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 메모리 2010의 도시되지 아니한 모듈들 및 데이터 베이스는 디스플레이 장치 2000에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 프로세서 2020는 메모리 2010에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.

특히 일 실시예에 따라 메모리 2010는 도 3에 도시된 바와 같은 포커싱 레벨 맵 생성 모듈 110, 장면 강도 예측 모듈 120, 입체감 강화 모듈 130 및 그 세부 구성 모듈을 포함할 수 있다.

한편, 도 20 및 도 21에 도시된 디스플레이 장치 2000의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 디스플레이 장치 2000의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.

일 실시예에 따른 디스플레이 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

또한, 개시된 실시예들에 따른 디스플레이 장치의 동작방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.

컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.

컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.

이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.

예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims

디스플레이 장치에 있어서,
디스플레이;
하나 이상의 인스트럭션들을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
입력 영상을 수신하고,
수신된 입력 영상으로부터 휘도 정보를 획득하고,
상기 휘도 정보에 기반하여 시각 반응을 고려한 인지 휘도 정보를 획득하고,
상기 입력 영상의 화질 처리 후에 발생될 수 있는 부작용의 정도를 나타내는 장면 강도 정보를 예측하고,
상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 상기 입력 영상의 화질 처리를 수행하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 포커싱 레벨 맵을 획득하고,
상기 획득된 포커싱 레벨 맵을 이용하여 상기 입력 영상의 화질 처리를 수행하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
상기 수신된 입력 영상으로부터 상기 디스플레이의 특성 정보에 기반한 상기 휘도 정보를 획득하는, 디스플레이 장치.
제3항에 있어서,
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
상기 휘도 정보로부터 HVS 모델을 이용하여 상기 인지 휘도 정보를 획득하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
상기 입력 영상으로부터 특징을 추출하고,
훈련 영상으로부터 상기 훈련 영상의 화질 처리 후에 나타날 수 있는 부작용의 강도를 나타내는 상기 장면 강도 정보를 출력하도록 학습된 신경망을 이용하여 상기 입력 영상으로부터 상기 입력 영상의 상기 장면 강도 정보를 획득하는, 디스플레이 장치.
제2항에 있어서,
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
상기 인지 휘도 정보에 상기 장면 강도 정보를 이용하여 가중치를 부여함으로써 상기 포커싱 레벨 맵을 획득하는, 디스플레이 장치.
제6항에 있어서,
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
상기 인지 휘도 정보를 미리 정해진 필터를 이용하여 필터 처리함으로써 제1포커싱 레벨 맵을 획득하고,
상기 장면 강도 정보를 이용하여 상기 제1포커싱 레벨 맵에 가중치를 부여함으로써 제2포커싱 레벨 맵을 획득하고,
상기 제2포커싱 레벨 맵을 정규화함으로써 상기 포커싱 레벨 맵을 획득하는, 디스플레이 장치.
제7항에 있어서,
상기 미리 정해진 필터는, 라플라시안 필터, 그래디언트 필터, 베리언스 필터, 웨이브렛 필터 중 적어도 하나를 포함하는, 디스플레이 장치.
제1항에 있어서,
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
상기 포커싱 레벨 맵을 이용하여 상기 입력 영상의 휘도 명암비 강화, 색상 명암비 강화, 디테일 강화 중 적어도 하나를 수행함으로써 상기 화질 처리를 수행하는, 디스플레이 장치.
제9항에 있어서,
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
상기 포커싱 레벨 맵의 N개의 포커싱 레벨의 도미넌트 휘도를 서로 다른 게인을 이용하여 조정함으로써 획득된 글로벌 톤 매핑 커브를 상기 입력 영상에 적용함으로써 글로벌 명암비 강화 영상을 획득하고,
상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 각 영역에 대응하는 서로 다른 N개의 톤 매핑 커브를 상기 입력 영상에 적용함으로써 로컬 명암비 강화 영상을 획득하고,
상기 글로벌 명암비 강화 영상과 상기 로컬 명암비 강화 영상을 믹싱함으로써 출력 영상을 획득하는, 디스플레이 장치.
제9항에 있어서,
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 도미넌트 색조 값에 색상 강화 게인을 적용하여 색조 기반 강화 영상을 획득하고,
상기 포커싱 레벨 맵의 N개의 포커싱 레벨에 대응하는 도미넌트 새츄레이션 값에 새츄레이션 강화 게인을 적용하여 새츄레이션 기반 강화 영상을 획득하고,
상기 색조 기반 강화 영상과 상기 새츄레이션 기반 강화 영상을 믹싱하여 출력 영상을 획득하는, 디스플레이 장치.
제9항에 있어서,
상기 프로세서는 상기 하나 이상의 인스트럭션들을 실행함으로써,
상기 포커싱 레벨 맵의 포커싱 레벨 영역의 각각에 디테일 강화 게인을 적용함으로써 출력 영상을 획득하는, 디스플레이 장치.
디스플레이 장치의 동작 방법에 있어서,
입력 영상을 수신하는 동작,
수신된 입력 영상으로부터 휘도 정보를 획득하는 동작,
상기 휘도 정보에 기반하여 시각 반응을 고려한 인지 휘도 정보를 획득하는 동작,
상기 입력 영상의 화질 처리 후에 발생될 수 있는 부작용의 정도를 나타내는 장면 강도 정보를 예측하는 동작,
상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 상기 입력 영상의 화질 처리를 수행하는 동작을 포함하는, 디스플레이 장치의 동작 방법.
제13항에 있어서,
상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 포커싱 레벨 맵을 획득하는 동작, 및
상기 포커싱 레벨 맵을 이용하여 상기 입력 영상의 화질 처리를 수행하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
제13항에 있어서,
상기 휘도 정보로부터 HVS 모델을 이용하여 상기 인지 휘도 정보를 획득하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
제13항에 있어서,
상기 입력 영상으로부터 특징을 추출하는 동작, 및
훈련 영상으로부터 상기 훈련 영상의 화질 처리 후에 나타날 수 있는 부작용의 강도를 나타내는 상기 장면 강도 정보를 출력하도록 학습된 신경망을 이용하여 상기 입력 영상으로부터 상기 입력 영상의 상기 장면 강도 정보를 획득하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
제14항에 있어서,
상기 인지 휘도 정보에 상기 장면 강도 정보를 이용하여 가중치를 부여함으로써 상기 포커싱 레벨 맵을 획득하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
제17항에 있어서,
상기 인지 휘도 정보를 미리 정해진 필터를 이용하여 필터 처리함으로써 제1포커싱 레벨 맵을 획득하는 동작,
상기 장면 강도 정보를 이용하여 상기 제1포커싱 레벨 맵에 가중치를 부여함으로써 제2포커싱 레벨 맵을 획득하는 동작, 및
상기 제2포커싱 레벨 맵을 정규화함으로써 상기 포커싱 레벨 맵을 획득하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
제14항에 있어서,
상기 포커싱 레벨 맵을 이용하여 상기 입력 영상의 휘도 명암비 강화, 색상 명암비 강화, 디테일 강화 중 적어도 하나를 수행함으로써 상기 화질 처리를 수행하는 동작을 더 포함하는, 디스플레이 장치의 동작 방법.
디스플레이 장치의 동작 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록 매체에 있어서, 상기 디스플레이 장치의 동작 방법은,
입력 영상을 수신하는 동작,
수신된 입력 영상으로부터 휘도 정보를 획득하는 동작,
상기 휘도 정보에 기반하여 시각 반응을 고려한 인지 휘도 정보를 획득하는 동작,
상기 입력 영상의 화질 처리 후에 발생될 수 있는 부작용의 정도를 나타내는 장면 강도 정보를 예측하는 동작,
상기 장면 강도 정보 및 상기 인지 휘도 정보에 기반하여 상기 입력 영상의 화질 처리를 수행하는 동작을 포함하는, 컴퓨터 판독가능 기록 매체.