WO2020054927A1

WO2020054927A1 - 전자 장치 및 그 제어 방법

Info

Publication number: WO2020054927A1
Application number: PCT/KR2019/001589
Authority: WO
Inventors: 정영훈; 응우옌호앙남; 이철; 김요섭; 문영수; 보반투; 임재문
Original assignee: 삼성전자주식회사; 부경대학교 산학협력단
Priority date: 2018-09-14
Filing date: 2019-02-08
Publication date: 2020-03-19
Also published as: EP3813057A1; EP3813057A4; CN112740319B; KR102533723B1; US11410283B2; KR20200031470A; CN112740319A; US20220051378A1

Abstract

전자 장치가 개시된다. 전자 장치는, 제1 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제1 HVS(Human visual system) 인지 정보 및 제2 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제2 HVS 인지 정보가 저장된 스토리지 및 제1 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 제1 히스토그램을 획득하고, 제2 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 제2 히스토그램을 획득하고, 제1 HVS 인지 정보에 기초하여 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제3 히스토그램을 획득하고, 제2 HVS 인지 정보에 기초하여 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제4 히스토그램을 획득하고, 제1 및 제3 히스토그램 정보에 기초하여 획득된 제1 값 및, 제2 및 제4 히스토그램에 기초하여 획득된 제2 값 간 차이에 기초하여 제2 최대 출력 휘도에 대응되는 입력 영상에 대한 휘도 값을 획득하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법

본 발명은 전자 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 입력 영상의 계조, 휘도를 조정하여 출력하는 전자 장치 및 그 제어 방법에 관한 것이다.

전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 가장 많이 사용되고 있는 모바일 장치, TV와 같은 디스플레이 장치는 최근 수년 간 급속도로 발전하고 있다.

최근 1,000nit 이상의 고휘도, 고광량 출력이 가능한 전자 장치가 개발 및 보급되고 있으며, 이러한 전자 장치는 영상의 왜곡을 최소화하고 폭 넓은 다이내믹 레인지로 출력할 수 있다.

다만, 고휘도 출력이 제한되는 종래의 전자 장치는 영상의 특성, 인간 시각(HVS, Human visual system)의 인지 반응에 대한 고려 없이 영상을 저휘도로 조정하여 출력하였다. 이에 따라, 출력 영상의 다이내믹 레인지의 폭이 좁아지며, 영상에 대한 인간 시각에 따른 왜곡 등이 발생하였다.

고휘도 출력이 제한되는 전자 장치에서도 영상의 특성 및 인간 시각의 인지 반응 등을 고려하여 입력 영상의 계조 또는 휘도를 조정하는 모델에 대한 요구가 있었다.

본 개시는 상술한 필요성에 따른 것으로, 본 개시의 목적은 인간 시각의 인지 반응, 영상의 특성 등을 고려하여 영상의 계조, 휘도를 조정하는 전자 장치 및 그 제어 방법을 제공함에 있다.

본 개시의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 전자 장치는, 제1 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제1 HVS(Human visual system) 인지 정보 및 제2 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제2 HVS 인지 정보가 저장된 스토리지 및 상기 제1 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 제1 히스토그램을 획득하고, 상기 제2 최대 출력 휘도에 기초하여 상기 입력 영상의 인접 픽셀 간 계조 차이에 대한 제2 히스토그램을 획득하고, 상기 제1 HVS 인지 정보에 기초하여 상기 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제3 히스토그램을 획득하고, 상기 제2 HVS 인지 정보에 기초하여 상기 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제4 히스토그램을 획득하고, 상기 제1 및 제3 히스토그램 정보에 기초하여 획득된 제1 값 및, 상기 제2 및 제4 히스토그램에 기초하여 획득된 제2 값 간 차이에 기초하여 상기 제2 최대 출력 휘도에 대응되는 상기 입력 영상에 대한 휘도 값을 획득하는 프로세서를 포함한다.

여기서, 상기 프로세서는, 상기 입력 영상에 상기 제2 최대 출력 휘도에 따른 가이드 톤 맵핑 커브를 적용하여 가이드 영상을 획득하고, 상기 가이드 영상의 인접 픽셀 간 계조 차이에 대한 제5 히스토그램을 획득하고, 상기 제1 값 및 제2 값 간 차이 및, 상기 제2 및 제5 히스토그램 간 차이에 기초하여 상기 제2 최대 출력 휘도에 대응되는 상기 입력 영상에 대한 휘도 값을 획득할 수 있다.

여기서, 상기 프로세서는, 상기 입력 영상의 각 픽셀의 계조 값에 반 비례하는 가중치를 상기 제2 및 제5 히스토그램 간 차이에 적용하여 상기 입력 영상에 대한 휘도 값을 획득할 수 있다.

또한, 상기 프로세서는, 상기 제2 최대 출력 휘도에 기초하여 상기 입력 영상의 인접 픽셀 간 계조 차이에 대한 복수의 제2 히스토그램을 획득하고, 상기 제2 HVS 인지 정보에 기초하여 상기 복수의 제2 히스토그램에 대응되는 복수의 제4 히스토그램을 획득하고, 상기 복수의 제2 히스토그램 각각에 포함된 복수의 원소 및 대응되는 제4 히스토그램에 포함된 복수의 원소 간 곱에 기초하여 복수의 제2 값을 획득하고, 상기 복수의 제2 값 각각 및 상기 제1 값 간 차이 값에 기초하여 상기 복수의 제2 히스토그램 중 하나를 선택하고, 상기 선택된 제2 히스토그램에 대응되는 제4 히스토그램에 기초하여 상기 입력 영상에 대한 휘도 값을 획득할 수 있다.

여기서, 상기 프로세서는, 상기 입력 영상에 복수의 톤 맵핑 커브를 적용하여 복수의 영상을 획득하고, 상기 복수의 영상에 포함된 인접 픽셀 간 계조 차이에 기초하여 상기 복수의 제2 히스토그램을 획득하며, 상기 복수의 톤 맵핑 커브 중 상기 선택된 제2 히스토그램에 대응되는 톤 맵핑 커브를 식별하고, 상기 식별된 톤 맵핑 커브를 상기 입력 영상에 적용하여 상기 입력 영상에 대한 휘도 값을 획득할 수 있다.

또한, 상기 스토리지는, 영상의 계조 값 및 대응되는 휘도 값에 대한 맵핑 정보를 저장하며, 상기 프로세서는, 상기 맵핑 정보에 기초하여 상기 입력 영상에 포함된 복수의 픽셀 별 계조 값에 대응되는 휘도 값을 획득하고, 획득된 휘도 값에 기초하여 상기 제3 및 제4 히스토그램을 획득할 수 있다.

또한, 상기 프로세서는, 상기 입력 영상에 상이한 크기로 스케일링하여 복수의 스케일링 영상을 획득하고, 상기 제1 최대 출력 휘도에 기초하여 상기 복수의 스케일링 영상의 인접 픽셀 간 계조 차이에 대한 복수의 히스토그램을 획득하고, 상기 복수의 히스토그램에 상이한 가중치를 적용한 후, 상기 가중치가 적용된 상기 복수의 히스토그램을 합산하여 상기 제1 히스토그램을 획득할 수 있다.

또한, 상기 프로세서는, 상기 제2 히스토그램에 가중치 행렬을 적용하여 제6 히스토그램을 획득하고, 상기 제1 값 및 제2 값 간 차이, 상기 제2 및 제5 히스토그램 간 차이, 및 상기 제6 히스토그램에 기초하여 상기 제2 최대 출력 휘도에 대응되는 상기 입력 영상에 대한 휘도 값을 획득하며, 상기 가중치 행렬은, 대각선 방향의 원소들에 1을 적용하는 대각 행렬일 수 있다.

여기서, 상기 프로세서는, 하기 수학식에 기초하여 상기 입력 영상에 대한 휘도 값을 획득할 수 있다.

여기서, H_1k는 제1 히스토그램, H₅₀₀은 제2 히스토그램,

는 제3 히스토그램,

은 제4 히스토그램, H_g는 제5 히스토그램, H₅₀₀D는 제6 히스토그램,

는 제1 값,

는 제2 값, D는 가중치 행렬, α는 제1 가중치, β는 제2 가중치를 의미함.

한편, 본 개시의 일 실시 예에 따르면 제1 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제1 HVS(Human visual system) 인지 정보 및 제2 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제2 HVS 인지 정보가 저장된 전자 장치의 제어 방법은, 상기 제1 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 제1 히스토그램을 획득하는 단계, 상기 제2 최대 출력 휘도에 기초하여 상기 입력 영상의 인접 픽셀 간 계조 차이에 대한 제2 히스토그램을 획득하는 단계, 상기 제1 HVS 인지 정보에 기초하여 상기 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제3 히스토그램을 획득하는 단계, 상기 제2 HVS 인지 정보에 기초하여 상기 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제4 히스토그램을 획득하는 단계 및 상기 제1 및 제3 히스토그램 정보에 기초하여 획득된 제1 값 및, 상기 제2 및 제4 히스토그램에 기초하여 획득된 제2 값 간 차이에 기초하여 상기 제2 최대 출력 휘도에 대응되는 상기 입력 영상에 대한 휘도 값을 획득하는 단계를 포함한다.

여기서, 제어 방법은 상기 입력 영상에 상기 제2 최대 출력 휘도에 따른 가이드 톤 맵핑 커브를 적용하여 가이드 영상을 획득하는 단계, 상기 가이드 영상의 인접 픽셀 간 계조 차이에 대한 제5 히스토그램을 획득하는 단계를 포함하고, 상기 입력 영상에 대한 휘도 값을 획득하는 단계는, 상기 제1 값 및 제2 값 간 차이 및, 상기 제2 및 제5 히스토그램 간 차이에 기초하여 상기 제2 최대 출력 휘도에 대응되는 상기 입력 영상에 대한 휘도 값을 획득할 수 있다.

여기서, 상기 입력 영상에 대한 휘도 값을 획득하는 단계는, 상기 입력 영상의 각 픽셀의 계조 값에 반 비례하는 가중치를 상기 제2 및 제5 히스토그램 간 차이에 적용하여 상기 입력 영상에 대한 휘도 값을 획득할 수 있다.

또한, 상기 제2 히스토그램을 획득하는 단계는, 상기 제2 최대 출력 휘도에 기초하여 상기 입력 영상의 인접 픽셀 간 계조 차이에 대한 복수의 제2 히스토그램을 획득하는 단계를 포함하고, 상기 입력 영상에 대한 휘도 값을 획득하는 단계는, 상기 복수의 제2 히스토그램 각각에 포함된 복수의 원소 및 대응되는 제4 히스토그램에 포함된 복수의 원소 간 곱에 기초하여 복수의 제2 값을 획득하는 단계, 상기 복수의 제2 값 각각 및 상기 제1 값 간 차이 값에 기초하여 상기 복수의 제2 히스토그램 중 하나를 선택하는 단계 및 상기 선택된 제2 히스토그램에 대응되는 제4 히스토그램에 기초하여 상기 입력 영상에 대한 휘도 값을 획득하는 단계를 포함할 수 있다.

여기서, 상기 제2 히스토그램을 획득하는 단계는, 상기 입력 영상에 복수의 톤 맵핑 커브를 적용하여 복수의 영상을 획득하는 단계 및 상기 복수의 영상에 포함된 인접 픽셀 간 계조 차이에 기초하여 상기 복수의 제2 히스토그램을 획득하는 단계를 포함하고, 상기 입력 영상에 대한 휘도 값을 획득하는 단계는, 상기 복수의 톤 맵핑 커브 중 상기 선택된 제2 히스토그램에 대응되는 톤 맵핑 커브를 식별하는 단계 및 상기 식별된 톤 맵핑 커브를 상기 입력 영상에 적용하여 상기 입력 영상에 대한 휘도 값을 획득하는 단계를 포함할 수 있다.

또한, 상기 제3 히스토그램을 획득하는 단계는, 상기 전자 장치에 저장된 영상의 계조 값 및 대응되는 휘도 값에 대한 맵핑 정보에 기초하여 상기 입력 영상에 포함된 복수의 픽셀 별 계조 값에 대응되는 휘도 값을 획득하는 단계 및 상기 제1 HVS 인지 정보 및 상기 획득된 휘도 값에 기초하여 상기 제3 히스토그램을 획득하는 단계를 포함하고, 상기 제4 히스토그램을 획득하는 단계는, 상기 맵핑 정보에 기초하여 상기 입력 영상에 포함된 복수의 픽셀 별 계조 값에 대응되는 휘도 값을 획득하는 단계 및 상기 제2 HVS 인지 정보 및 상기 획득된 휘도 값에 기초하여 상기 제4 히스토그램을 획득하는 단계를 포함할 수 있다.

또한, 상기 제1 히스토그램을 획득하는 단계는, 상기 입력 영상에 상이한 크기로 스케일링하여 복수의 스케일링 영상을 획득하는 단계, 상기 제1 최대 출력 휘도에 기초하여 상기 복수의 스케일링 영상의 인접 픽셀 간 계조 차이에 대한 복수의 히스토그램을 획득하는 단계 및 상기 복수의 히스토그램에 상이한 가중치를 적용한 후, 상기 가중치가 적용된 상기 복수의 히스토그램을 합산하여 상기 제1 히스토그램을 획득하는 단계를 포함할 수 있다.

또한, 제어 방법은, 상기 제2 히스토그램에 가중치 행렬을 적용하여 제6 히스토그램을 획득하는 단계를 포함하고, 상기 입력 영상에 대한 휘도 값을 획득하는 단계는, 상기 제1 값 및 제2 값 간 차이, 상기 제2 및 제5 히스토그램 간 차이, 및 상기 제6 히스토그램에 기초하여 상기 제2 최대 출력 휘도에 대응되는 상기 입력 영상에 대한 휘도 값을 획득하고, 상기 가중치 행렬은, 대각선 방향의 원소들에 1을 적용하는 대각 행렬일 수 있다.

여기서, 상기 입력 영상에 대한 휘도 값을 획득하는 단계는, 하기 수학식에 기초하여 상기 입력 영상에 대한 휘도 값을 획득할 수 있다.

여기서, H_1k는 제1 히스토그램, H₅₀₀은 제2 히스토그램,

는 제3 히스토그램,

는 제1 값,

한편, 본 개시의 일 실시 예에 따르면, 전자 장치의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은, 제1 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 제1 히스토그램을 획득하는 단계, 제2 최대 출력 휘도에 기초하여 상기 입력 영상의 인접 픽셀 간 계조 차이에 대한 제2 히스토그램을 획득하는 단계, 상기 제1 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제1 HVS(Human visual system) 인지 정보에 기초하여 상기 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제3 히스토그램을 획득하는 단계, 상기 제2 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제2 HVS 인지 정보에 기초하여 상기 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제4 히스토그램을 획득하는 단계 및 상기 제1 및 제3 히스토그램 정보에 기초하여 획득된 제1 값 및, 상기 제2 및 제4 히스토그램에 기초하여 획득된 제2 값 간 차이에 기초하여 상기 제2 최대 출력 휘도에 대응되는 상기 입력 영상에 대한 휘도 값을 획득하는 단계를 포함한다.

본 개시는 다양한 실시 예들에 따르면, 인간 시각의 인지 반응, 영상의 특성 등을 고려하여 영상의 계조, 휘도를 조정함으로써 입력 영상 대비 출력 영상에 대한 시각적 감각의 차이, 왜곡 정도 등을 최소화시키는 전자 장치 및 그 제어 방법을 제공함에 있다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.

도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.

도 3은 도 2에 도시된 전자 장치의 세부 구성을 나타내는 블럭도이다.

도 4는 본 개시의 일 실시 예에 따른 제1 히스토그램을 설명하기 위한 도면이다.

도 5는 본 개시의 일 실시 예에 따른 계조 값 및 휘도 값에 대한 맵핑 정보를 설명하기 위한 그래프이다.

도 6 및 도 7은 본 개시의 일 실시 예에 따른 HVS(Human visual system) 인지 정보를 설명하기 위한 도면이다.

도 8 및 도 9는 본 개시의 일 실시 예에 따른 인접 픽셀 간 휘도 차이를 설명하기 위한 도면이다.

도 10은 본 개시의 일 실시 예에 따른 가이드 톤 맵핑 커브를 설명하기 위한 도면이다.

도 11은 본 개시의 일 실시 예에 따른 가중치를 설명하기 위한 도면이다.

도 12는 본 개시의 일 실시 예에 따른 가중치 행렬을 설명하기 위한 도면이다.

도 13은 본 개시의 일 실시 예에 따른 입력 영상에 대한 휘도 값을 설명하기 위한 도면이다.

도 14는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.

-

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1에 도시된 바와 같이 전자 장치(100)는 디스플레이 장치(예를 들어, TV)로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며 영상 처리를 수행하는 다양한 종류의 전자 장치로 구현 가능하다. 예를 들어, 전자 장치(100)는 블루레이 플레이어(Blu Ray Player), DVD(Digital Versatile Disc) 플레이어, 스트리밍 컨텐츠 출력 장치, 셋탑 박스 등과 같이 디스플레이가 구비된 외부 장치로 컨텐츠를 제공하는 다양한 유형의 소스 장치로 구현될 수 있다. 전자 장치(100)는 본 개시의 다양한 실시 예에 따른 영상 처리를 수행하여 자체적으로 영상을 출력할 수도 있고, 디스플레이가 구비된 외부 장치로 영상을 제공할 수도 있다.

전자 장치(100)는 TV, 스마트폰, 태블릿 PC, PMP, PDA, 노트북 PC, 스마트 워치, HMD(Head mounted Display), NED(Near Eye Display) 등과 같이 디스플레이 기능을 갖춘 장치로 구현될 수도 있다. 전자 장치(100)는 디스플레이 기능을 제공하기 위해 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), Micro LED, QD(quantum dot) 등과 같은 다양한 형태의 디스플레이를 구비하도록 구현될 수 있다. 이하에서는 설명의 편의를 위해 전자 장치(100)가 디스플레이 장치로 구현되는 경우를 상정하여 설명하도록 한다.

전자 장치(100)는 전자 장치(100)에 구비된 디스플레이의 출력 가능 휘도 내에서 영상을 출력할 수 있다. 예를 들어, 전자 장치(100)는 200 내지 700nit의 휘도로 영상을 출력할 수 있다. 다만, 이에 한정되는 것은 아니며 전자 장치(100)에 구비된 디스플레이에 따라 전자 장치(100)는 최대 500nit 또는 최대 1,000nit의 휘도로 영상을 출력할 수 있다. 예를 들어, 전자 장치(100)에 구비된 디스플레이의 최대 출력 가능 휘도가 1,000nit이면, 전자 장치(100)는 입력 영상의 픽셀 값에 대응되는 0 내지 1,000nit의 휘도 값을 식별하고, 식별된 휘도 값으로 입력 영상을 출력할 수 있다. 다른 예로, 전자 장치(100)에 구비된 디스플레이의 최대 출력 가능 휘도가 500nit이면, 전자 장치(100)는 입력 영상의 픽셀 값에 대응되는 0 내지 500nit의 휘도 값을 식별하고, 식별된 휘도 값으로 입력 영상을 출력할 수 있다.

전자 장치(100)에 구비된 디스플레이의 최대 출력 가능 휘도가 1,000nit이면 출력 영상의 휘도는 0 내지 1,000nit이고, 전자 장치(100)에 구비된 디스플레이의 최대 출력 가능 휘도가 500nit이면 출력 영상의 휘도는 0 내지 500nit이다.

도 1의 (a)를 참조하면, 전자 장치(100’)의 최대 출력 가능 휘도가 1,000nit이면, 제1 출력 영상(10)의 휘도는 0 내지 1,000nit일 수 있다. 도 1의 (b)를 참조하면, 전자 장치(100)의 최대 출력 가능 휘도가 500nit이면, 제2 출력 영상(20)의 휘도는 0 내지 500nit일 수 있다. 입력 영상이 동일함에도, 전자 장치(100)의 최대 출력 가능 휘도에 따라 제1 및 제2 출력 영상(10, 20)의 휘도는 서로 다른 범위일 수 있다. 제2 출력 영상(20)은 제1 출력 영상(10) 대비 상대적으로 어둡게 제공될 수 있다. 또한, 제2 출력 영상(20)은 제1 출력 영상(10) 대비 다이내믹 레인지(Dynamic Range)의 폭이 좁아질 수 있다.

종래에는, 인간의 시각(HVS, Human visual system)에 따른 인지 정보, 영상의 특성 등을 고려하지 않고 전자 장치의 최대 출력 가능 휘도만을 고려하여 입력 영상을 출력하였다. 일 예로, 전자 장치는 입력 영상에 기 저장된 고정된(static) 톤 맵핑 커브를 적용하여 출력 영상의 휘도를 전자 장치의 최대 출력 가능 휘도 내로 조정하였다.

본 개시의 다양한 실시 예에 따른 전자 장치(100)는 전자 장치(100)의 최대 출력 가능 휘도 외에 HVS에 따른 인지 정보, 영상의 특성 등을 고려하여 입력 영상에 영상 처리를 수행할 수 있다. 또한, 고정적이지 않은 다이내믹한 톤 맵핑 커프를 입력 영상에 조정하여 출력 영상의 휘도를 조정할 수 있다.

본 개시의 다양한 실시 예에 따르면 최대 출력 가능 휘도가 1,000nit인 전자 장치(100’)에서 입력 영상을 출력하는 경우의 제1 출력 영상(10)과 최대 출력 가능 휘도가 500nit인 전자 장치(100)에서 입력 영상을 출력하는 경우의 제2 출력 영상(20) 간 인간 시각(HVS, Human visual system)에 따른 이질감, 차이, 열화 정도, 왜곡 정도 등을 최소화할 수 있다. 인간 시각(HVS), 인간 시각 인지 정보 등에 대한 자세한 설명은 후술하도록 한다.

한편, 전자 장치(100)의 최대 출력 가능 휘도로 언급된 1,000nit, 500nit 등의 휘도 값은 일 예시에 불과하며, 반드시 이에 한정되는 것은 아니다. 예를 들어, 모니터는 최대 400nit의 휘도 출력이 가능하고, 스마트폰은 최대 700nit의 휘도 출력이 가능하고, 디지털 사이니지는 최대 2000nit의 휘도 출력이 가능할 수도 있다. 전자 장치(100)가 출력 가능한 최대 휘도는 어느 하나에 제한되지 않으며 다양할 수 있음은 물론이다. 예를 들어, 전자 장치(100)는 1,000nit이상, 0.05nit이하의 휘도로 영상 출력이 가능할 수도 있음은 물론이다. 이하에서는, 설명의 편의를 위해 전자 장치(100)가 출력 가능한 최대 휘도가 500nit인 경우를 상정하여 설명하도록 한다.

도 2에 따르면, 전자 장치(100)는 스토리지(110) 및 프로세서(120)를 포함한다.

스토리지(110)는 전자 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다.

스토리지(110)는 프로세서(120)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 이 경우, 스토리지(110)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 플래시 메모리(flash memory), 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등과 같은 형태로 구현되고, 음향 출력 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, micro SD 카드, USB 메모리 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.

특히, 본 개시의 일 실시 예에 따른 스토리지(110)에는 최소가지차이(JND, Just-noticeable difference, 이하, JND) 개념에 기초한 휘도 값에 따른 인간 시각(HVS, Human visual system, 이하, HVS) 인지 정보가 저장되어 있을 수 있다. 여기서, JND는 두 자극의 차이를 변별할 수 있는 최소한의 차이를 의미하는 개념일 수 있다. 일 예로, 휘도 값에 따른 HVS 인지 정보는 제1 및 제2 휘도 간 차이가 인간 시신경에 역치 이상의 자극을 일으키는지 여부, 제1 및 제2 휘도 간 차이에 대응되는 인간 시신경의 자극 변화량 등을 수치화한 정보일 수 있다.

일 실시 예에 따른 스토리지(110)에는 특정 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 HVS 인지 정보가 저장되어 있을 수 있다. 여기서, 인접 픽셀 간 휘도 차이에 따른 HVS 인지 정보는, 픽셀의 휘도 및 해당 픽셀에 인접한 픽셀의 휘도 간 차이에 대응되는 인간 시신경의 인지 자극량(또는, 응답량, 반응량)을 수치화한 정보일 수 있다. 예를 들어, 픽셀의 휘도가 100nit이고, 해당 픽셀에 인접한 픽셀의 휘도가 500nit이면, 100nit와 500nit 간 차이에 대응되는 인간 시신경의 자극 변화량이 수치화되어 HVS 인지 정보에 포함되어 있을 수 있다.

스토리지(110)에는 제1 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제1 HVS 인지 정보 및 제2 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제2 HVS 인지 정보가 저장되어 있을 수 있다. 일 예로, 제1 최대 출력 휘도는 1,000nit이고, 제2 최대 출력 휘도는 500nit 일 수 있다.

스토리지(110)에는 1,000nit를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 HVS 인지 정보 및 500nit를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 HVS 인지 정보가 저장되어 있을 수 있다. 여기서, 1,000nit 및 500nit는 일 예로서 반드시 이에 한정되는 것은 아니다. 예를 들어, 스토리지(110)에는 2000nit를 기준으로 하는 HVS 인지 정보 및 1,000nit를 기준으로 하는 HVS 인지 정보가 저장되어 있을 수도 있음은 물론이다.

일 실시 예에 따라 휘도 값에 따른 HVS 인지 정보는 스토리지(110)에 기 저장되어 있을 수 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 HVS 인지 정보를 서버(미도시)로부터 수신하여 스토리지(110)에 저장할 수도 있음은 물론이다. 또한, 스토리지(110)에 기 저장된 HVS 인지 정보가 갱신, 업데이트될 수도 있음은 물론이다.

본 개시의 일 실시 예에 따른 스토리지(110)에는 영상의 계조 값 및 대응되는 휘도 값에 대한 맵핑 정보가 저장되어 있을 수 있다. 예를 들어, 8 bit의 입력 영상은 0 내지 255의 계조 값을 가질 수 있다. 전자 장치(100)는 입력 영상을 출력함에 있어서, 맵핑 정보에 기초하여 입력 영상의 계조 값에 대응되는 휘도 값을 식별하고, 식별된 휘도 값으로 입력 영상을 출력할 수 있다. 일 예로, 전자 장치(100)는 맵핑 정보에 기초하여 입력 영상의 복수의 픽셀 중 255 계조 값의 픽셀을 500nit의 휘도로 출력할 수 있다.

다른 예로, 10 bit의 입력 영상은 0 내지 1023의 계조 값을 가질 수 있다. 전자 장치(100)는 10 bit의 입력 영상을 출력함에 있어서, 맵핑 정보에 기초하여 입력 영상의 계조 값에 대응되는 휘도 값을 식별하고, 식별된 휘도 값으로 입력 영상을 출력할 수 있다. 일 예로, 전자 장치(100)는 맵핑 정보에 기초하여 입력 영상의 복수의 픽셀 중 1023 계조 값의 픽셀을 500nit의 휘도로 출력할 수 있다. 맵핑 정보에 대한 구체적인 설명은 도 5에서 하도록 한다.

한편, 입력 영상에 포함된 복수의 픽셀 각각의 계조 값은 픽셀 값, 밝기 값, 밝기 코드 등으로 표현할 수도 있으나, 이하에서는 설명의 편의를 위해 계조 값으로 통칭한다.

프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.

특히, 본 개시의 일 실시 예에 따른 프로세서(120)는 제1 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 제1 히스토그램을 획득할 수 있다. 이하에서는 설명의 편의상 제1 최대 출력 휘도를 1,000nit로 상정하도록 한다.

일 실시 예에 따라 입력 영상은 1,000nit에 기초한 영상일 수 있다. 예를 들어, 입력 영상의 계조 값들은 0 내지 1,000nit의 휘도 값과 맵핑될 수 있다. 전자 장치(100)의 최대 출력 가능 휘도가 1,000nit이면, 입력 영상은 0 내지 1,000nit의 휘도로 출력될 수 있다. 출력 영상은 최대 0 내지 1,000nit 폭의 다이내믹 레인지를 가질 수 있다.

일 실시 예에 따라, 프로세서(120)는 입력 영상의 픽셀 및 해당 픽셀에 인접한 픽셀 간 계조 차이에 대한 제1 히스토그램을 획득할 수 있다. 여기서, 제1 히스토그램은 2D 히스토그램일 수 있다. 2D 히스토그램의 X 축은 픽셀의 계조 값이고, Y 축은 해당 픽셀에 인접한 픽셀의 계조 값일 수 있다.

일 예로, 입력 영상의 해상도가 3840 x 2160이면, 프로세서(120)는 입력 영상의 (x, y)에 위치한 픽셀 및 해당 픽셀에 인접한 (x+1, y)에 위치한 픽셀 간 계조 차이를 획득할 수 있다. 프로세서(120)는 입력 영상 내 8,294,400 개의 픽셀 각각의 인접 픽셀 간 계조 차이에 기초하여 제1 히스토그램을 획득할 수 있다.

다른 예로, 프로세서(120)는 입력 영상의 (x, y)에 위치한 픽셀 및 해당 픽셀에 인접한 (x, y+1)에 위치한 픽셀 간 계조 차이를 획득할 수 있고, 계조 차이에 기초하여 제1 히스토그램을 획득할 수도 있다.

본 개시의 일 실시 예에 따른 프로세서(120)는 제2 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 제2 히스토그램을 획득할 수 있다. 일 실시 예에 따라 전자 장치(100)의 최대 출력 가능 휘도가 제2 최대 출력 휘도일 수 있다. 예를 들어, 전자 장치(100)의 최대 출력 가능 휘도 및 제2 최대 출력 휘도는 500nit일 수 있다. 프로세서(120)는 입력 영상을 전자 장치(100)의 최대 출력 가능 휘도인 500nit 내에서 출력하기 위한 영상을 획득할 수 있다. 이하에서는 설명의 편의를 위해 입력 영상을 전자 장치(100)의 최대 출력 가능 휘도인 500nit 내에서 출력하기 위해 획득된 영상, 제2 최대 출력 휘도에 대응되는 입력 영상을 500nit에 기초한 영상으로 통칭한다.

일 예로, 프로세서(120)는 500nit에 기초한 영상의 (x, y)에 위치한 픽셀 및 해당 픽셀에 인접한 (x+1, y)에 위치한 픽셀 간 계조 차이를 획득할 수 있다. 예를 들어, 입력 영상의 해상도가 3840 x 2160이면, 500nit에 기초한 영상 내 8,294,400 개의 픽셀 각각의 인접 픽셀 간 계조 차이에 기초하여 제2 히스토그램을 획득할 수 있다.

다른 예로, 프로세서(120)는 500nit에 기초한 영상의 (x, y)에 위치한 픽셀 및 해당 픽셀에 인접한 (x, y+1)에 위치한 픽셀 간 계조 차이를 획득할 수 있고, 계조 차이에 기초하여 제2 히스토그램을 획득할 수도 있다.

본 개시의 일 실시 예에 따른 프로세서(120)는 제1 HVS 인지 정보에 기초하여 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제3 히스토그램을 획득할 수 있다.

일 실시 예에 따른 프로세서(120)는 스토리지(110)에 저장된 1,000nit를 기준으로 하는 제1 HVS 인지 정보에 기초하여 입력 영상의 (x, y)에 위치한 픽셀 및 해당 픽셀에 인접한 (x+1, y)에 위치한 픽셀 간 휘도 차이를 획득할 수 있다. 이어서, 프로세서(120)는 입력 영상 내 복수의 픽셀 각각의 인접 픽셀 간 휘도 차이에 기초하여 제3 히스토그램을 획득할 수 있다.

다른 예로, 프로세서(120)는 입력 영상의 (x, y)에 위치한 픽셀 및 해당 픽셀에 인접한 (x, y+1)에 위치한 픽셀 간 휘도 차이에 기초하여 제3 히스토그램을 획득할 수도 있다.

본 개시의 일 실시 예에 따른 프로세서(120)는 제2 HVS 인지 정보에 기초하여 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제4 히스토그램을 획득할 수 있다.

일 실시 예에 따른 프로세서(120)는 스토리지(110)에 저장된 500nit를 기준으로 하는 제2 HVS 인지 정보에 기초하여 500nit에 기초한 영상의 (x, y)에 위치한 픽셀 및 해당 픽셀에 인접한 (x+1, y)에 위치한 픽셀 간 휘도 차이를 획득할 수 있다. 이어서, 프로세서(120)는 500nit에 기초한 영상 내 복수의 픽셀 각각의 인접 픽셀 간 휘도 차이에 기초하여 제4 히스토그램을 획득할 수 있다.

다른 예로, 프로세서(120)는 500nit에 기초한 영상의 (x, y)에 위치한 픽셀 및 해당 픽셀에 인접한 (x, y+1)에 위치한 픽셀 간 휘도 차이에 기초하여 제4 히스토그램을 획득할 수 있다.

본 개시의 일 실시 예에 따른 프로세서(120)는 제1 및 제3 히스토그램 정보에 기초하여 제1 값을 획득하고, 제2 및 제4 히스토그램에 기초하여 제2 값을 획득할 수 있다. 이어서, 제1 값 및 제2 값 간 차이에 기초하여 제2 최대 출력 휘도에 대응되는 입력 영상에 대한 휘도 값을 획득할 수 있다. 예를 들어, 프로세서(120)는 하기 수학식 1에 기초하여 제2 최대 출력 휘도에 대응되는 입력 영상에 대한 휘도 값을 획득할 수 있다.

여기서, H_1k는 제1 히스토그램, H₅₀₀은 제2 히스토그램,

는 제3 히스토그램,

은 제4 히스토그램,

는 제1 값,

는 제2 값, ⊙는 원소 간 곱 연산을 의미한다.

본 개시의 일 실시 예에 따른 프로세서(120)는 제2 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 복수의 제2 히스토그램을 획득할 수 있다.

일 예로, 프로세서(120)는 입력 영상에 복수의 톤 맵핑 커브(TMC, Tone Mapping Curve)를 적용하여 복수의 영상을 획득하고, 복수의 영상에 포함된 인접 픽셀 간 계조 차이에 기초하여 복수의 제2 히스토그램을 획득할 수 있다. 여기서, 복수의 영상 각각은 500nit에 기초한 영상일 수 있다.

한편, 본 개시의 일 실시 예에 따른 프로세서(120)는 입력 영상에 복수의 톤 맵핑 커브를 적용함에 따른 복수의 영상을 획득할 수 있다. 여기서, 톤 맵핑 커브는 입력 영상에 포함된 픽셀 별 계조 값을 다른 계조로 조정하는 커브일 수 있다. 다른 예로, 입력 영상에 포함된 픽셀 별 휘도 값를 다른 휘도로 조정하는 커브일 수도 있다. 다만, 이에 한정되는 것은 아니며 입력 영상 내 픽셀의 계조를 다른 계조로 조정할 수 있는 다양한 유형의 수학식, 그래프가 계조 조정 커브로 이용될 수 있다.

본 개시의 일 실시 예에 따른 프로세서(120)는 제2 HVS 인지 정보에 기초하여 복수의 제2 히스토그램에 대응되는 복수의 제4 히스토그램을 획득할 수 있다. 일 예로, 프로세서(120)는 500nit에 기초한 영상에 대응되는 제2 및 제4 히스토그램을 획득할 수 있다. 이어서, 프로세서(120)는 제2 히스토그램 및 제4 히스토그램 각각에 포함된 복수의 원소 간 곱에 기초하여 제2 값을 획득할 수 있다.

프로세서(120)는 복수의 제2 히스토그램 각각에 포함된 복수의 원소 및 대응되는 제4 히스토그램에 포함된 복수의 원소 간 곱에 기초하여 복수의 제2 값을 획득할 수 있다. 이어서, 복수의 제2 값 각각 및 상기 제1 값 간 차이 값에 기초하여 복수의 제2 히스토그램 중 하나를 선택할 수 있다.

여기서, H_1k는 제1 히스토그램, H₅₀₀은 제2 히스토그램,

는 제3 히스토그램,

은 제4 히스토그램,

는 제1 값,

는 제2 값, ⊙는 원소 간 곱 연산을 의미한다.

예를 들어, 프로세서(120)는 복수의 제2 값 각각 및 상기 제1 값 간 차이 값이 최소인 제2 및 제4 히스토그램을 식별할 수 있다. 다른 예로, 복수의 제2 히스토그램 중 복수의 제2 값 각각 및 상기 제1 값 간 차이 값을 최소화시키는 제2 히스토그램을 선택할 수 있다.

이어서, 프로세서(120)는 선택된 제2 히스토그램에 대응되는 제4 히스토그램에 기초하여 입력 영상에 대한 휘도 값을 획득할 수 있다. 예를 들어, 프로세서(120)는 입력 영상에 적용된 복수의 톤 맵핑 커브 중 선택된 제2 히스토그램에 대응되는 톤 맵핑 커브를 식별하고, 식별된 톤 맵핑 커브를 입력 영상에 적용하여 입력 영상에 대한 휘도 값을 획득할 수 있다. 일 예로, 프로세서(120)는 식별된 톤 맵핑 커브를 입력 영상에 적용하여 500nit에 기초한 영상을 획득하고, 획득된 영상을 출력할 수 있다.

일 실시 예에 따라 프로세서(120)는 500nit에 기초한 복수의 영상 중 1,000nit에 기초한 입력 영상 대비 HVS에 따른 이질감, 차이, 열화 정도, 왜곡 정도가 최소인 영상을 출력할 수 있다. 예를 들어, 프로세서(120)는 수학식 2에 기초하여 복수의 영상 중 제1 값 및 제2 값 간 차이를 최소화시키는 영상을 식별할 수 있고, 식별된 영상을 출력할 수 있다.

다른 예로, 수학식 2에 기초하여 복수의 톤 맵핑 커브 중 제1 값 및 제2 값 간 차이를 최소화시키는 톤 맵핑 커브를 식별할 수 있고, 입력 영상에 식별된 톤 맵핑 커브를 적용하여 입력 영상에 대한 휘도를 조정하여 출력할 수 있다.

도 3에 따르면, 전자 장치(100)는 스토리지(110), 프로세서(120), 디스플레이(130), 컨텐츠 수신부(140), 통신부(150), 리모콘 수신부(160) 및 입력부(170)를 포함한다. 도 3에 도시된 구성 중 도 2에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.

프로세서(120)는 스토리지(110)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 전반적인 동작을 제어한다.

프로세서(120)는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스, 버스를 포함한다. 이때, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.

ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 스토리지(110)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 스토리지(110) 에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.

그래픽 처리부는 연산부 및 렌더링부를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 통신부(150)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다.

메인 CPU는 스토리지(110)에 액세스하여, 스토리지(110)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU는 스토리지(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.

디스플레이(130)는 전자 장치(100)을 통해 제공 가능한 다양한 컨텐츠 화면을 제공할 수 있다. 여기서, 컨텐츠 화면은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠, 다양한 컨텐츠를 포함하는 어플리케이션 실행 화면, GUI(Graphic User Interface) 화면 등을 포함할 수 있다.

한편, 디스플레이(130)는 상술한 바와 같이 액정 디스플레이(liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 또한, 디스플레이(130)는 투명한 재질로 구현되어 정보를 디스플레이하는 투명 디스플레이로 구현되는 것도 가능하다.

한편, 디스플레이(130)는 터치패드와 상호 레이어 구조를 이루는 터치 스크린 형태로 구현될 수 있으며, 이 경우, 디스플레이(130)은 출력 장치 이외에 사용자 인터페이스로 사용될 수 있게 된다.

한편, 본 개시의 일 실시 예에 따른 디스플레이(130)는 프로세서(120)의 제어, 디스플레이(130)의 성능 등에 따라 출력 가능한 최대 휘도가 있을 수 있다. 예를 들어, 디스플레이(130)는 최대 500nit의 휘도 출력이 가능할 수 있다. 다른 예로, 디스플레이(130)는 최대 1,000nit의 휘도 출력이 가능할 수 있다. 본 개시에서는 설명의 편의를 위해 제1 최대 출력 휘도를 1,000nit로 상정하고, 제2 최대 출력 휘도를 500nit로 상정하였으며, 전자 장치(100)가 출력 가능한 최대 휘도가 500nit인 경우를 상정하였다. 다만, 이는 일 실시 예에 불과할 뿐 반드시 이에 한정되는 것은 아니다. 예를 들어, 전자 장치(100)가 출력 가능한 최대 휘도가 1,000nit 임에도 전자 장치(100)는 프로세서(120)의 제어에 따라 입력 영상을 0 내지 500nit의 휘도로 조정하여 출력할 수도 있음은 물론이다. 디스플레이(130)의 성능 등에 따라 전자 장치(100)의 출력 가능한 최대 휘도에 관계 없이 프로세서(120)는 본 개시의 다양한 실시 예에 따라 영상의 픽셀 별 계조, 휘도 등을 조정하여 출력할 수 있다.

영상 수신부(140)는 방송 영상을 수신하는 튜너로 구현될 수 있으나, 이에 한정되는 것은 아니며 와이파이 모듈, USB 모듈, HDMI 모듈 등 다양한 외부 영상을 수신할 수 있는 다양한 형태의 통신 모듈로 구현될 수 있다. 또한, 영상은 스토리지(110)에 저장되어 있을 수 있으며, 이 경우 전자 장치(100)는 스토리지(110)에 저장된 영상의 픽셀 별 계조, 출력 휘도를 본 개시의 다양한 실시 예에 따라 조정하여 출력할 수 있음은 물론이다.

통신부(150)는 영상을 송/수신할 수 있다. 예를 들어 통신부(150)는 AP 기반의 Wi-Fi(와이파이, Wireless LAN 네트워크), 블루투스(Bluetooth), 지그비(Zigbee), 유/무선 LAN(Local Area Network), WAN, 이더넷, IEEE 1394, HDMI, USB, MHL, AES/EBU, 옵티컬(Optical), 코액셜(Coaxial) 등과 같은 통신 방식을 통해 외부 장치(예를 들어, 소스 장치), 외부 저장 매체(예를 들어, USB), 외부 서버(예를 들어 웹 하드) 등으로부터 스트리밍 또는 다운로드 방식으로 음향 신호를 입력받을 수 있다.

또한, 통신부(150)는 제1 및 제2 HVS 인지 정보, 및 영상의 계조 값 및 대응되는 휘도 값에 대한 맵핑 정보를 외부 서버(미도시)로부터 수신할 수도 있다. 일 예로, 디스플레이 장치(100)는 외부 서버로부터 정보를 수신하여 스토리지(110)에 저장할 수 있으며, 기 저장된 정보를 외부 서버로부터 수신된 정보에 기초하여 업데이트할 수도 있음은 물론이다. 또한, 전자 장치(100)는 복수의 제2 히스토그램 중 어느 하나를 선택하기 위해 이용되는 가중치, 가중치 행렬 등을 서버로부터 획득할 수도 있다. 다른 예로, 전자 장치(100)는 복수의 톤 맵핑 커브 중 어느 하나를 선택하기 위해 이용되는 가중치, 가중치 행렬 등을 서버로부터 획득할 수도 있다.

리모콘 신호 수신부(160)는 리모콘으로부터 전송되는 리모콘 신호를 수신하기 위한 구성이다. 리모콘 신호 수신부(170)는 IR(Infra Red) 신호를 입력받기 위한 수광부를 포함하는 형태로 구현될 수도 있고, 리모콘과 블루투스나 와이파이와 같은 무선 통신 프로토콜에 따라 통신을 수행하여 리모콘 신호를 수신하는 형태로 구현될 수도 있다.

입력부(170)는 디스플레이 장치(100)의 본체에 구비된 각종 버튼으로 구현될 수 있다. 사용자는 입력부(180)를 통해서 턴 온/턴 오프 명령, 채널 변환 명령, 음량 조절 명령, 메뉴 확인 명령 등과 같은 다양한 사용자 명령을 입력할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 입력 영상에 상이한 크기로 스케일링하여 복수의 스케일링 영상(10-1, … 10-N)을 획득할 수 있다. 일 예로, 전자 장치는 입력 영상을 순차적으로 다운 스케일링하여 제1 내지 제N 스케일링 영상(10-1, … 10-N)을 획득할 수 있다.

이어서, 전자 장치(100)는 제1 최대 출력 휘도에 기초하여 복수의 스케일링 영상(10-1, … 10-N)의 인접 픽셀 간 계조 차이에 대한 복수의 히스토그램을 획득할 수 있다. 예를 들어, 전자 장치(100)는 제1 내지 제N 스케일링 영상(10-1, … 10-N) 각각에 대응되는 2D 히스토그램을 획득할 수 있다.

예를 들어, 전자 장치(100)는 제1 스케일 팩터(scale factor, K₁)에 기초하여 입력 영상을 스케일링하고, 제1 스케일링 영상(10-1)을 획득할 수 있다. 이어서, 전자 장치(100)는 제1 스케일링 영상(10-1)의 2D 히스토그램(

)을 획득할 수 있다.

또한, 전자 장치(100)는 제2 스케일 팩터(K₂)에 기초하여 입력 영상을 스케일링하고, 제2 스케일링 영상(10-2)을 획득할 수 있다. 이어서, 전자 장치(100)는 제2 스케일링 영상(10-2)의 2D 히스토그램(

)을 획득할 수 있다.

전자 장치(100)는 제N 스케일 팩터(K_N)에 기초하여 입력 영상을 스케일링하고, 제N 스케일링 영상(10-N)을 획득할 수 있다. 이어서, 전자 장치(100)는 제N 스케일링 영상(10-N)의 2D 히스토그램(

)을 획득할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 복수의 히스토그램(

,

, ...,

)에 상이한 가중치(ω₁, ω₂, ... , ω_N)를 적용한 후, 가중치가 적용된 복수의 히스토그램(

,

, ...,

)을 합산하여 제1 히스토그램(

)을 획득할 수 있다.

일 실시 예에 따른 전자 장치(100)는 하기의 수학식 3에 기초하여 제1 히스토그램(

)를 획득할 수 있다.

여기서, ω_i는 제i 스케일링 영상에 대한 가중치,

는 입력 영상에 제i 스케일 팩터(K_i)를 적용한 제i 스케일링 영상(10-i)에 대한 2D 히스토그램을 의미한다.

여기서, 2D 히스토그램은 영상 내에서 서로 인접한 두 픽셀 간의 계조 차이의 빈도를 나타낸다. 일 예로, 영상 X = {x(i,j)│1 ≤ i ≤ H,1 ≤ j ≤ W}에 대한 2D 히스토그램은 H_x = {h_x(m,n)|1 ≤ m ≤ K, 1 ≤ n ≤ K}로 나타낼 수 있다. 2D 히스토그램 상 (m, n)번째 원소 h_x(m, n)는 영상 내 픽셀의 계조 값이 m 이고, 해당 픽셀에 인접한 픽셀의 계조 값이 n 인 빈도를 의미한다.

전자 장치(100)는 제1 히스토그램 및 제3 히스토그램 정보에 기초하여 제1 값을 획득할 수 있다. 예를 들어, 전자 장치(100)는 수학식 1 또는 2에 기초하여 제1 값(

)을 획득할 수 있다. 여기서, H_1k는 제1 히스토그램 정보,

는 제3 히스토그램 정보를 의미할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 영상의 계조 값 및 대응되는 휘도 값에 대한 맵핑 정보를 포함할 수 있다. 전자 장치(100)는 영상을 출력함에 있어서, 맵핑 정보에 기초하여 영상의 픽셀 별 계조 값에 대응되는 휘도 값을 식별할 수 있다. 이어서, 전자 장치(100)는 식별된 휘도 값에 따라 영상을 출력할 수 있다. 전자 장치(100)는 맵핑 정보에 기초하여 계조 값을 휘도 값으로 변환할 수 있다.

도 5를 참조하면, 영상의 계조 값 및 대응되는 휘도 값에 대한 맵핑 정보는 전광변환함수(EOTF, Electro-Optical Transfer Function, 이하, EOTF)일 수 있다. 예를 들어, 전자 장치(100)는 ST.2084 표준에 따른 EOTF를 포함할 수 있다. 다만, 이에 한정되는 것은 아니며 전자 장치(100)는 계조 값 및 해당 계조 값에 대응되는 휘도 값을 나타내는 다양한 유형의 LUT(lookup table), 함수, 그래프 등을 포함할 수 있다. 예를 들어, 전자 장치(100)는 BT.1886 표준에 따른 EOTF를 포함할 수도 있음은 물론이다. 또한, 업데이트 등을 통해 새로운 표준에 따른 EOTF를 수신 및 저장할 수도 있다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 맵핑 정보에 기초하여 입력 영상에 포함된 복수의 픽셀 별 계조 값에 대응되는 휘도 값을 획득할 수 있다. 일 예로, 전자 장치(100)는 0 내지 1000nit의 휘도 값을 획득할 수 있다.

또한, 일 실시 예에 따른 전자 장치(100)는 맵핑 정보에 기초하여 입력 영상으로부터 획득된 500nit에 기초한 영상의 픽셀 별 계조 값 및 대응되는 휘도 값을 식별할 수 있다. 일 예로, 전자 장치(100)는 0 내지 500nit의 휘도 값을 획득할 수 있다.

한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 입력 영상에 복수의 톤 맵핑 커브를 적용함에 따른 복수의 영상을 획득할 수 있다. 여기서, 복수의 영상 각각은 500nit에 기초한 영상일 수 있다. 이어서, 전자 장치(100)는 맵핑 정보에 기초하여 복수의 영상 각각의 휘도 값을 획득할 수 있다. 일 예로, 전자 장치(100)는 복수의 영상 중 제1 영상의 픽셀 별 계조 값 및 대응되는 휘도 값을 식별할 수 있다. 또한, 전자 장치(100)는 복수의 영상 중 제2 영상의 픽셀 별 계조 값 및 대응되는 휘도 값을 식별할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 입력 영상의 평균 화상 레벨(Average Picture Level, 이하, APL)에 기초하여 최대 출력 휘도를 식별할 수 있다. 여기서, APL은 입력 영상의 평균 계조 값일 수 있다. APL이 높을수록 상대적으로 밝은 영상, 낮을수록 상대적으로 어두운 영상일 수 있다. 일 예로, 전자 장치(100)가 최대 소비 전력(또는, 평균 소비 전력) 이내에서 입력 영상을 출력하기 위해, 입력 영상의 밝기에 따라 최대 출력 휘도가 제한될 수 있다. 전자 장치(100)는 입력 영상의 APL에 따라 최대 출력 휘도를 제한할 수 있다. 일 예로, 전자 장치(100)는 입력 영상 내 1023 레벨의 계조 값을 입력 영상의 APL에 따라 100nit 내지 500nit의 휘도로 출력할 수 있다.

전자 장치(100)가 영상을 최대 소비 전력(또는, 평균 소비 전력) 이내에서 출력하기 위해, APL이 높은 영상의 계조 값 별 휘도를 APL이 상대적으로 낮은 영상의 계조 값 별 휘도에 비해 낮게 제한할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치(100) 는 최소가지차이(JND, Just-noticeable difference, 이하, JND) 개념에 기초한 휘도 값에 따른 인간 시각(HVS, Human visual system, 이하, HVS) 인지 정보가 저장되어 있을 수 있다.

도 6에 도시된 그래프의 X 축은 휘도 값이고, Y 축은 인간 시각의 인지 반응(또는, 인지 자극)을 수치화한 것이다. 그래프는 0nit 내지 200nit의 저휘도에서 인간 시각의 인지 반응이 급격하게 변화하고, 200nit 내지 1,000nit의 고휘도에서 인간 시식의 인지 반응이 완만하게 변화하는 것을 나타내고 있다. 상대적으로 저휘도에서 인간 시신경이 민감하게 반응함을 나타내고 있다.

도 7의 (a)를 참조하면, 전자 장치(100)는 맵핑 정보(예를 들어, 도 5에 도시된 그래프)에 기초하여 입력 영상(10)의 (x, y)에 위치한 픽셀의 휘도 값(L(x, y))을 획득할 수 있다. 이어서, 전자 장치(100)는 해당 픽셀에 인접한 (x+1, y)에 위치한 픽셀의 휘도 값(L(x+1, y))을 획득할 수 있다. 이어서, 전자 장치(100)는 HVS 인지 정보(예를 들어, 도 6에 도시된 그래프)에 기초하여 인접 픽셀 간 휘도 차이에 따른 HVS 인지 반응량(

)을 획득할 수 있다.

도 7의 (b)를 참조하면, 전자 장치(100)는 맵핑 정보에 기초하여 500nit에 기초한 영상의 (x, y)에 위치한 픽셀의 휘도 값(L’(x, y))을 획득할 수 있다. 이어서, 전자 장치(100)는 해당 픽셀에 인접한 (x+1, y)에 위치한 픽셀의 휘도 값(L’(x+1, y))을 획득할 수 있다. 이어서, 전자 장치(100)는 HVS 인지 정보(예를 들어, 도 6에 도시된 그래프)에 기초하여 인접 픽셀 간 휘도 차이에 따른 HVS 인지 반응량(

)을 획득할 수 있다.

한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 입력 영상(10)에 복수의 톤 맵핑 커브를 적용함에 따른 복수의 영상을 획득할 수 있다. 여기서, 복수의 영상 각각은 500nit에 기초한 영상일 수 있다. 이어서, 전자 장치(100)는 맵핑 정보에 기초하여 복수의 영상 각각의 휘도 값을 획득할 수 있다. 또한, 전자 장치(100)는 복수의 영상 각각의 HVS 인지 반응량(

)을 획득할 수 있다.

일 실시 예에 따른 제1 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제1 HVS(Human visual system) 인지 정보는 2D 히스토그램 형태일 수 있다.

도 8을 참조하면, X 축은 픽셀의 계조 값이고, Y 축은 해당 픽셀에 인접한 픽셀의 계조 값이다. 2D 히스토그램 상 (m, n)번째 원소

(m, n)는 영상 내 픽셀의 계조 값이 m 이고, 해당 픽셀에 인접한 픽셀의 계조 값이 n 이면, 인접 픽셀 간 휘도 차이에 따른 HVS 인지 반응량을 의미한다. 예를 들어, 맵핑 정보에 기초하여 입력 영상(10)의 계조 값 200에 대응되는 휘도 값은 1.77이고, 입력 영상(10)의 계조 값 800에 대응되는 휘도 값은 798인 경우를 상정할 수 있다. 전자 장치(100)는 HVS 인지 정보(예를 들어, 도 6에 도시된 그래프)에 기초하여 휘도 값 1.77과 휘도 값 798 간 차이에 따른 HVS 인지 반응량 965(

(200,800) = 965)를 획득할 수 있다.

도 8에 도시된 제1 HVS 인지 정보는 제1 최대 출력 휘도(예를 들어, 1,000nit) 를 기준으로 픽셀의 계조 값이 0 내지 1023이고, 해당 픽셀에 인접한 픽셀의 계조 값이 0 내지 1023일 때를 상정하여 인접 픽셀 간 휘도 차이에 따른 HVS 인지 반응량을 모델링한 2D 히스토그램이다.

일 예로, 픽셀의 계조 값과 해당 픽셀에 인접한 픽셀의 계조 값이 동일하면, 휘도 차이가 0이고, HVS 인지 반응량은 0(예를 들어,

(300,300) = 0)일 수 있다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 제1 HVS 인지 정보에 기초하여 입력 영상(10)의 인접 픽셀 간 휘도 차이에 대한 제3 히스토그램을 획득할 수 있다.

도 9에 도시된 제2 HVS 인지 정보는 제2 최대 출력 휘도(예를 들어, 500nit)를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 HVS 인지 반응량을 모델링한 2D 히스토그램이다.

도 9를 참조하면, 맵핑 정보에 기초하여 500nit에 기초한 영상(20)의 계조 값 200에 대응되는 휘도 값은 1.48이고, 500nit에 기초한 영상(20)의 계조 값 800에 대응되는 휘도 값은 481인 경우를 상정할 수 있다. 전자 장치(100)는 HVS 인지 정보(예를 들어, 도 6에 도시된 그래프)에 기초하여 휘도 값 1.48과 휘도 값 481 간 차이에 따른 HVS 인지 반응량 862(

(200,800) = 862)를 획득할 수 있다.

도 9에 도시된 제2 HVS 인지 정보는 제2 최대 출력 휘도(예를 들어, 500nit) 를 기준으로 픽셀의 계조 값이 0 내지 1023이고, 해당 픽셀에 인접한 픽셀의 계조 값이 0 내지 1023일 때를 상정하여 인접 픽셀 간 휘도 차이에 따른 HVS 인지 반응량을 모델링한 2D 히스토그램이다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 제2 HVS 인지 정보에 기초하여 500nit에 기초한 영상(20)의 인접 픽셀 간 휘도 차이에 대한 제4 히스토그램을 획득할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 입력 영상에 가이드 톤 맵핑 커브를 적용하여 가이드 영상을 획득하고, 가이드 영상의 인접 픽셀 간 계조 차이에 대한 제5 히스토그램을 획득할 수 있다.

일 예로, 가이드 톤 맵핑 커브는 입력 영상을 0 내지 500nit의 휘도로 출력하는 복수의 톤 맵핑 커브 중 어느 하나일 수 있다. 도 10을 참조하면, 본 개시의 일 실시 예에 따른 가이드 톤 맵핑 커브는 입력 영상의 픽셀 별 계조 값에 대응되는 휘도 값 중 0 내지 500nit의 휘도는 그대로 출력하고, 500nit 내지 1,000nit의 휘도는 500nit로 조정하여 출력하는 커브일 수 있다. 다만, 이에 한정되는 것은 아니다. 예를 들어, 가이드 톤 맵핑 커브는 0 내지 1,000nit의 입력 영상의 계조 값에 대응되는 휘도 값을 0 내지 500nit 휘도 값으로 선형적으로 맵핑시키는 커브일 수도 있다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 입력 영상에 가이드 톤 맵핑 커브를 적용하여 획득된 가이드 영상의 인접 픽셀 간 계조 차이에 대한 제5 히스토그램을 획득할 수 있다.

일 예로, 전자 장치(100)는 입력 영상의 계조를 조정하여 획득된 가이드 영상의 (x, y)에 위치한 픽셀 및 해당 픽셀에 인접한 (x+1, y)에 위치한 픽셀 간 계조 차이를 획득할 수 있고, 계조 차이에 기초하여 제5 히스토그램을 획득할 수도 있다. 가이드 톤 맵핑 커브에 따라 계조가 조정된 입력 영상은 0 내지 500nit의 휘도로 출력될 수 있다.

일 실시 예에 따른 전자 장치(100)는 하기의 수학식 4에 기초하여 제2 및 제5 히스토그램 간 차이에 기초하여 제2 최대 출력 휘도에 대응되는 입력 영상에 대한 휘도 값을 획득할 수 있다.

여기서, H₅₀₀는 제2 히스토그램, H_g는 제5 히스토그램, W는 가중치를 의미한다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 복수의 톤 맵핑 커브 중 제2 및 제5 히스토그램 간 차이를 최소화하는 톤 맵핑 커브를 식별할 수 있고, 식별된 톤 맵핑 커브를 입력 영상에 적용하여 제2 최대 출력 휘도에 대응되는 입력 영상에 대한 휘도 값을 획득할 수 있다. 예를 들어, 전자 장치(100)는 복수의 톤 맵핑 커브 중 어느 하나인 가이드 톤 맵핑 커브에 기초하여 제2 및 제5 히스토그램 간 차이를 획득하고, 복수의 톤 맵핑 커브 중 가이드 톤 맵핑 커브와는 상이한 톤 맵핑 커브에 기초하여 제2 및 제5 히스토그램 간 차이를 획득할 수 있다. 전자 장치(100)는 이 중에서 상대적으로 작은 차이에 대응되는 톤 맵핑 커브를 식별할 수 있다. 한편, 수학식 4는 입력 영상의 휘도 유지와 관련된 식일 수 있다.

한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 제2 및 제5 히스토그램 간 차이에 가중치를 적용할 수 있다. 여기서, 가중치는 입력 영상의 각 픽셀의 계조 값에 반비례할 수 있다.

HVS 인지 정보에 따르면, 인간의 시각적 감각은 상대적으로 고휘도 보다 저휘도에서 민감하게 반응한다. 예를 들어, 고휘도인 500 내지 1000nit에서 휘도 변화에 따른 HVS 인지 반응량보다 저휘도인 0 내지 150nit에서 휘도 변화에 따른 HVS 인지 반응량이 크다. 본 개시의 일 실시 예에 따른 전자 장치(100)는 입력 영상의 저계조, 저휘도를 최대한 유지하기 위해 입력 영상의 각 픽셀의 계조 값에 반비례하는 가중치를 획득할 수 있다. 일 예로, 전자 장치(100)는 수학식 5에 기초하여 가중치를 획득할 수 있다.

여기서, i는 픽셀의 계조 값, j는 해당 픽셀에 인접한 픽셀의 계조 값을 의미한다.

수학식 5에 기초하여 도 11에 도시된 바와 같은 가중치 히스토그램을 획득할 수 있다. 가중치의 X 축은 픽셀의 계조 값이고, Y 축은 해당 픽셀에 인접한 픽셀의 계조 값이다.

인간의 시각적 감각은 상대적으로 고휘도 보다 저휘도에서 민감하게 반응하므로, 픽셀의 계조 값 및 해당 픽셀에 인접하게 위치한 픽셀의 계조 값이 모두 상대적으로 저계조이면, 전자 장치(100)는 높은 가중치(예를 들어, 1023에 근접한 가중치)를 적용할 수 있다. 다른 예로, 픽셀의 계조 값 및 해당 픽셀에 인접하게 위치한 픽셀의 계조 값이 모두 상대적으로 고계조이면, 전자 장치(100)는 작은 가중치(예를 들어, 0에 근접한 가중치)를 적용할 수 있다.

한편, 본 개시의 다양한 실시 예는 HDR10 규격에 따라 입력 영상이 0 내지 1000nit의 휘도 값을 가지는 것으로 상정하였고, 입력 영상이 10bit로서 0 내지 1023의 계조 값을 가지는 것으로 상정하였다. 다만, 이는 일 실시 예로서 이에 한정되는 것은 아니다. 예를 들어, 입력 영상은 0 내지 500nit의 휘도 값을 가질 수 있고, 8bit로서 0 내지 255의 계조 값을 가질 수도 있다. 이 경우, 전자 장치(100)는 가중치 W를 255 - max(i, j)에 기초하여 획득할 수도 있음은 물론이다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 하기의 수학식 6에 기초하여 제2 최대 출력 휘도에 대응되는 입력 영상에 대한 휘도 값을 획득할 수 있다.

여기서, α (0≤ α ≤1)는 중요도를 나타내는 제1 가중치를 의미할 수 있다. 예를 들어, HVS 인지 반응이 입력 영상의 휘도 유지보다 상대적으로 강조되어야 한다면, α는 1에 근접할 수 있다. 다른 예로, 입력 영상의 휘도 유지가 HVS 인지 반응보다 상대적으로 강조되어야 한다면, α는 0에 근접할 수 있다.

본 개시의 일 실시 일 실시 예에 따른 전자 장치(100)는 제2 히스토그램에 가중치 행렬을 적용하여 제6 히스토그램을 획득할 수 있다.

일 실시 예에 따라 입력 영상의 특성에 따라 톤 맵핑 커브가 급격하게 변하는 것을 방지하기 위해 전자 장치는 하기의 수학식 7에 기초하여 제6 히스토그램을 획득할 수 있다.

여기서, H₅₀₀은 제2 히스토그램, D는 가중치 행렬을 의미한다.

도 12를 참조하면, 가중치 행렬은 대각선 방향의 원소들에 1을 적용하는 대각 행렬일 수 있다. 일 예로, 가중치 행렬은 대각선 방향의 원소에 1을 적용하고, 해당 원소에 인접하게 위치한 원소에 -1을 적용하고, 나머지 원소에 0을 적용하는 2중 대각 행렬일 수 있다.

전자 장치(100)는 제2 히스토그램에 가중치 행렬을 적용하여 톤 맵핑 커브가 급격히 변경되는 것을 방지할 수 있다. 한편, 도 12에 도시된 가중치 행렬은 일 예시로 반드시 이에 한정되는 것은 아니다. 예를 들어, 가중치 행렬은 3중 대각 행렬일 수도 있다. 제조사의 목적, 영상의 특성 등에 따라 다양한 형태의 행렬을 가중치 행렬로 설정할 수 있음은 물론이다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 하기의 수학식 8에 기초하여 제2 최대 출력 휘도에 대응되는 입력 영상에 대한 휘도 값을 획득할 수 있다.

여기서, H_1k는 제1 히스토그램, H₅₀₀은 제2 히스토그램,

는 제3 히스토그램,

는 제1 값,

는 제2 값, D는 가중치 행렬, α는 제1 가중치, β는 제2 가중치를 의미한다.

일 실시 예에 따라 전자 장치(100)는 수학식 8에 기초하여 복수의 제2 히스토그램 중에서 제1 값 및 제2 값 간 차이, 제2 및 제5 히스토그램 간 차이, 및 제6 히스토그램의 합을 최소화시키는 제2 히스토그램을 선택할 수 있다. 이어서, 제2 히스토그램에 대응되는 제4 히스토그램을 식별할 수 있다. 전자 장치(100)는 복수의 톤 맵핑 커브 중 선택된 제2 히스토그램에 대응되는 톤 맵핑 커브를 식별하고, 식별된 톤 맵핑 커브를 입력 영상에 적용하여 입력 영상의 휘도를 조정할 수 있다. 여기서, 휘도가 조정된 입력 영상은 0 내지 500nit의 휘도로 출력될 수 있다. 휘도가 조정된 입력 영상은 500nit에 기초한 영상을 의미할 수 있다.

도 13의 (a)는 입력 영상을 최대 출력 가능 휘도가 1000nit인 전자 장치를 통해 출력하는 경우를 상정한 것이고, (b)는 입력 영상을 최대 출력 가능 휘도가 500nit인 전자 장치를 통해 출력하는 경우를 상정한 것이다. 종래에는 선형적 톤 맵핑 커브 또는 고정된 톤 맵핑 커브만을 적용하여 최대 출력 휘도를 1000nit에서 500nit로 조정하였다. 따라서, 인간 시각(HVS, Human visual system)에 따른 이질감, 차이, 열화 정도, 왜곡 정도 높았다. 본 개시의 일 실시 예에 따른 전자 장치(100)는 다이내믹 레인지 폭 등을 최대한 유지하고, 인지 시각에 따른 열화 정도를 최소화하면서도 입력 영상을 0 내지 500nit의 휘도로 출력할 수 있다.

한편, 본 개시의 일 실시 예에 따르면 제1 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제1 HVS(Human visual system) 인지 정보 및 제2 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제2 HVS 인지 정보가 저장된 전자 장치의 제어 방법은, 먼저, 제1 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 제1 히스토그램을 획득한다(S1410).

이어서, 제2 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 제2 히스토그램을 획득한다(S1420).

이어서, 제1 HVS 인지 정보에 기초하여 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제3 히스토그램을 획득한다(S1430).

이어서, 제2 HVS 인지 정보에 기초하여 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제4 히스토그램을 획득한다(S1440).

이어서, 제1 및 제3 히스토그램 정보에 기초하여 획득된 제1 값 및, 제2 및 제4 히스토그램에 기초하여 획득된 제2 값 간 차이에 기초하여 제2 최대 출력 휘도에 대응되는 입력 영상에 대한 휘도 값을 획득한다(S1450).

여기서, 본 개시의 일 실시 예에 따른 제어 방법은 입력 영상에 제2 최대 출력 휘도에 따른 가이드 톤 맵핑 커브를 적용하여 가이드 영상을 획득하는 단계, 및 가이드 영상의 인접 픽셀 간 계조 차이에 대한 제5 히스토그램을 획득하는 단계를 포함하고, 입력 영상에 대한 휘도 값을 획득하는 S1450 단계는, 제1 값 및 제2 값 간 차이 및, 제2 및 제5 히스토그램 간 차이에 기초하여 제2 최대 출력 휘도에 대응되는 입력 영상에 대한 휘도 값을 획득할 수 있다.

여기서, 입력 영상에 대한 휘도 값을 획득하는 S1450 단계는, 입력 영상의 각 픽셀의 계조 값에 반 비례하는 가중치를 제2 및 제5 히스토그램 간 차이에 적용하여 입력 영상에 대한 휘도 값을 획득할 수 있다.

또한, 제2 히스토그램을 획득하는 S1420 단계는, 제2 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 복수의 제2 히스토그램을 획득하는 단계를 포함하고, 입력 영상에 대한 휘도 값을 획득하는 S1450 단계는, 복수의 제2 히스토그램 각각에 포함된 복수의 원소 및 대응되는 제4 히스토그램에 포함된 복수의 원소 간 곱에 기초하여 복수의 제2 값을 획득하는 단계, 복수의 제2 값 각각 및 제1 값 간 차이 값에 기초하여 복수의 제2 히스토그램 중 하나를 선택하는 단계 및 선택된 제2 히스토그램에 대응되는 제4 히스토그램에 기초하여 입력 영상에 대한 휘도 값을 획득하는 단계를 포함할 수 있다.

여기서, 제2 히스토그램을 획득하는 S1420 단계는, 입력 영상에 복수의 톤 맵핑 커브를 적용하여 복수의 영상을 획득하는 단계 및 복수의 영상에 포함된 인접 픽셀 간 계조 차이에 기초하여 복수의 제2 히스토그램을 획득하는 단계를 포함하고, 입력 영상에 대한 휘도 값을 획득하는 S1450 단계는, 복수의 톤 맵핑 커브 중 선택된 제2 히스토그램에 대응되는 톤 맵핑 커브를 식별하는 단계 및 식별된 톤 맵핑 커브를 입력 영상에 적용하여 입력 영상에 대한 휘도 값을 획득하는 단계를 포함할 수 있다.

또한, 제3 히스토그램을 획득하는 S1430 단계는, 전자 장치에 저장된 영상의 계조 값 및 대응되는 휘도 값에 대한 맵핑 정보에 기초하여 입력 영상에 포함된 복수의 픽셀 별 계조 값에 대응되는 휘도 값을 획득하는 단계 및 제1 HVS 인지 정보 및 획득된 휘도 값에 기초하여 제3 히스토그램을 획득하는 단계를 포함하고, 제4 히스토그램을 획득하는 S1440 단계는, 맵핑 정보에 기초하여 입력 영상에 포함된 복수의 픽셀 별 계조 값에 대응되는 휘도 값을 획득하는 단계 및 제2 HVS 인지 정보 및 획득된 휘도 값에 기초하여 제4 히스토그램을 획득하는 단계를 포함할 수 있다.

또한, 제1 히스토그램을 획득하는 S1410 단계는, 입력 영상에 상이한 크기로 스케일링하여 복수의 스케일링 영상을 획득하는 단계, 제1 최대 출력 휘도에 기초하여 복수의 스케일링 영상의 인접 픽셀 간 계조 차이에 대한 복수의 히스토그램을 획득하는 단계 및 복수의 히스토그램에 상이한 가중치를 적용한 후, 가중치가 적용된 복수의 히스토그램을 합산하여 제1 히스토그램을 획득하는 단계를 포함할 수 있다.

또한, 본 개시의 일 실시 예에 따른 제어 방법은, 제2 히스토그램에 가중치 행렬을 적용하여 제6 히스토그램을 획득하는 단계를 포함하고, 입력 영상에 대한 휘도 값을 획득하는 S1450 단계는, 제1 값 및 제2 값 간 차이, 제2 및 제5 히스토그램 간 차이, 및 제6 히스토그램에 기초하여 제2 최대 출력 휘도에 대응되는 입력 영상에 대한 휘도 값을 획득하고, 가중치 행렬은, 대각선 방향의 원소들에 1을 적용하는 대각 행렬일 수 있다.

여기서, 입력 영상에 대한 휘도 값을 획득하는 S1450 단계는, 하기 수학식에 기초하여 입력 영상에 대한 휘도 값을 획득할 수 있다.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.

여기서, H_1k는 제1 히스토그램, H₅₀₀은 제2 히스토그램,

는 제3 히스토그램,

는 제1 값,

또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.

또한, 상술한 본 개시의 다양한 실시 예들은 전자 에 구비된 임베디드 서버, 또는 전자 장치의 외부 서버를 통해 수행되는 것도 가능하다.

한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.

비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims

제1 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제1 HVS(Human visual system) 인지 정보 및 제2 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제2 HVS 인지 정보가 저장된 스토리지; 및

상기 제1 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 제1 히스토그램을 획득하고,

상기 제2 최대 출력 휘도에 기초하여 상기 입력 영상의 인접 픽셀 간 계조 차이에 대한 제2 히스토그램을 획득하고,

상기 제1 HVS 인지 정보에 기초하여 상기 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제3 히스토그램을 획득하고,

상기 제2 HVS 인지 정보에 기초하여 상기 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제4 히스토그램을 획득하고,

상기 제1 및 제3 히스토그램 정보에 기초하여 획득된 제1 값 및, 상기 제2 및 제4 히스토그램에 기초하여 획득된 제2 값 간 차이에 기초하여 상기 제2 최대 출력 휘도에 대응되는 상기 입력 영상에 대한 휘도 값을 획득하는 프로세서;를 포함하는 전자 장치.
제1항에 있어서,

상기 프로세서는,

상기 입력 영상에 상기 제2 최대 출력 휘도에 따른 가이드 톤 맵핑 커브를 적용하여 가이드 영상을 획득하고,

상기 가이드 영상의 인접 픽셀 간 계조 차이에 대한 제5 히스토그램을 획득하고,

상기 제1 값 및 제2 값 간 차이 및, 상기 제2 및 제5 히스토그램 간 차이에 기초하여 상기 제2 최대 출력 휘도에 대응되는 상기 입력 영상에 대한 휘도 값을 획득하는, 전자 장치.
제2항에 있어서,

상기 프로세서는,

상기 입력 영상의 각 픽셀의 계조 값에 반 비례하는 가중치를 상기 제2 및 제5 히스토그램 간 차이에 적용하여 상기 입력 영상에 대한 휘도 값을 획득하는, 전자 장치.
제1항에 있어서,

상기 프로세서는,

상기 제2 최대 출력 휘도에 기초하여 상기 입력 영상의 인접 픽셀 간 계조 차이에 대한 복수의 제2 히스토그램을 획득하고,

상기 제2 HVS 인지 정보에 기초하여 상기 복수의 제2 히스토그램에 대응되는 복수의 제4 히스토그램을 획득하고,

상기 복수의 제2 히스토그램 각각에 포함된 복수의 원소 및 대응되는 제4 히스토그램에 포함된 복수의 원소 간 곱에 기초하여 복수의 제2 값을 획득하고,

상기 복수의 제2 값 각각 및 상기 제1 값 간 차이 값에 기초하여 상기 복수의 제2 히스토그램 중 하나를 선택하고, 상기 선택된 제2 히스토그램에 대응되는 제4 히스토그램에 기초하여 상기 입력 영상에 대한 휘도 값을 획득하는, 전자 장치.
제4항에 있어서,

상기 프로세서는,

상기 입력 영상에 복수의 톤 맵핑 커브를 적용하여 복수의 영상을 획득하고, 상기 복수의 영상에 포함된 인접 픽셀 간 계조 차이에 기초하여 상기 복수의 제2 히스토그램을 획득하며,

상기 복수의 톤 맵핑 커브 중 상기 선택된 제2 히스토그램에 대응되는 톤 맵핑 커브를 식별하고, 상기 식별된 톤 맵핑 커브를 상기 입력 영상에 적용하여 상기 입력 영상에 대한 휘도 값을 획득하는, 전자 장치.
제1항에 있어서,

상기 스토리지는,

영상의 계조 값 및 대응되는 휘도 값에 대한 맵핑 정보를 저장하며,

상기 프로세서는,

상기 맵핑 정보에 기초하여 상기 입력 영상에 포함된 복수의 픽셀 별 계조 값에 대응되는 휘도 값을 획득하고, 획득된 휘도 값에 기초하여 상기 제3 및 제4 히스토그램을 획득하는, 전자 장치.
제1항에 있어서,

상기 프로세서는,

상기 입력 영상에 상이한 크기로 스케일링하여 복수의 스케일링 영상을 획득하고,

상기 제1 최대 출력 휘도에 기초하여 상기 복수의 스케일링 영상의 인접 픽셀 간 계조 차이에 대한 복수의 히스토그램을 획득하고,

상기 복수의 히스토그램에 상이한 가중치를 적용한 후, 상기 가중치가 적용된 상기 복수의 히스토그램을 합산하여 상기 제1 히스토그램을 획득하는, 전자 장치.
제2항에 있어서,

상기 프로세서는,

상기 제2 히스토그램에 가중치 행렬을 적용하여 제6 히스토그램을 획득하고, 상기 제1 값 및 제2 값 간 차이, 상기 제2 및 제5 히스토그램 간 차이, 및 상기 제6 히스토그램에 기초하여 상기 제2 최대 출력 휘도에 대응되는 상기 입력 영상에 대한 휘도 값을 획득하며,

상기 가중치 행렬은,

대각선 방향의 원소들에 1을 적용하는 대각 행렬인, 전자 장치.
제8항에 있어서,

상기 프로세서는,

하기 수학식에 기초하여 상기 입력 영상에 대한 휘도 값을 획득하는, 디스플레이 장치.

여기서, H_1k는 제1 히스토그램, H₅₀₀은 제2 히스토그램,
는 제3 히스토그램,
은 제4 히스토그램, H_g는 제5 히스토그램, H₅₀₀D는 제6 히스토그램,
는 제1 값,
는 제2 값, D는 가중치 행렬, α는 제1 가중치, β는 제2 가중치를 의미함.
제1 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제1 HVS(Human visual system) 인지 정보 및 제2 최대 출력 휘도를 기준으로 하는 인접 픽셀 간 휘도 차이에 따른 제2 HVS 인지 정보가 저장된 전자 장치의 제어 방법에 있어서,

상기 제1 최대 출력 휘도에 기초하여 입력 영상의 인접 픽셀 간 계조 차이에 대한 제1 히스토그램을 획득하는 단계;

상기 제2 최대 출력 휘도에 기초하여 상기 입력 영상의 인접 픽셀 간 계조 차이에 대한 제2 히스토그램을 획득하는 단계;

상기 제1 HVS 인지 정보에 기초하여 상기 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제3 히스토그램을 획득하는 단계;

상기 제2 HVS 인지 정보에 기초하여 상기 입력 영상의 인접 픽셀 간 휘도 차이에 대한 제4 히스토그램을 획득하는 단계; 및

상기 제1 및 제3 히스토그램 정보에 기초하여 획득된 제1 값 및, 상기 제2 및 제4 히스토그램에 기초하여 획득된 제2 값 간 차이에 기초하여 상기 제2 최대 출력 휘도에 대응되는 상기 입력 영상에 대한 휘도 값을 획득하는 단계;를 포함하는 제어 방법.
제10항에 있어서,

상기 입력 영상에 상기 제2 최대 출력 휘도에 따른 가이드 톤 맵핑 커브를 적용하여 가이드 영상을 획득하는 단계; 및

상기 가이드 영상의 인접 픽셀 간 계조 차이에 대한 제5 히스토그램을 획득하는 단계;를 포함하고,

상기 입력 영상에 대한 휘도 값을 획득하는 단계는,

상기 제1 값 및 제2 값 간 차이 및, 상기 제2 및 제5 히스토그램 간 차이에 기초하여 상기 제2 최대 출력 휘도에 대응되는 상기 입력 영상에 대한 휘도 값을 획득하는, 제어 방법.
제11항에 있어서,

상기 입력 영상에 대한 휘도 값을 획득하는 단계는,

상기 입력 영상의 각 픽셀의 계조 값에 반 비례하는 가중치를 상기 제2 및 제5 히스토그램 간 차이에 적용하여 상기 입력 영상에 대한 휘도 값을 획득하는, 제어 방법.
제10항에 있어서,

상기 제2 히스토그램을 획득하는 단계는,

상기 제2 최대 출력 휘도에 기초하여 상기 입력 영상의 인접 픽셀 간 계조 차이에 대한 복수의 제2 히스토그램을 획득하는 단계;를 포함하고,

상기 입력 영상에 대한 휘도 값을 획득하는 단계는,

상기 복수의 제2 히스토그램 각각에 포함된 복수의 원소 및 대응되는 제4 히스토그램에 포함된 복수의 원소 간 곱에 기초하여 복수의 제2 값을 획득하는 단계;

상기 복수의 제2 값 각각 및 상기 제1 값 간 차이 값에 기초하여 상기 복수의 제2 히스토그램 중 하나를 선택하는 단계; 및

상기 선택된 제2 히스토그램에 대응되는 제4 히스토그램에 기초하여 상기 입력 영상에 대한 휘도 값을 획득하는 단계;를 포함하는, 제어 방법.
제13항에 있어서,

상기 제2 히스토그램을 획득하는 단계는,

상기 입력 영상에 복수의 톤 맵핑 커브를 적용하여 복수의 영상을 획득하는 단계; 및

상기 복수의 영상에 포함된 인접 픽셀 간 계조 차이에 기초하여 상기 복수의 제2 히스토그램을 획득하는 단계;를 포함하고,

상기 입력 영상에 대한 휘도 값을 획득하는 단계는,

상기 복수의 톤 맵핑 커브 중 상기 선택된 제2 히스토그램에 대응되는 톤 맵핑 커브를 식별하는 단계; 및

상기 식별된 톤 맵핑 커브를 상기 입력 영상에 적용하여 상기 입력 영상에 대한 휘도 값을 획득하는 단계;를 포함하는, 제어 방법.
제10항에 있어서,

상기 제3 히스토그램을 획득하는 단계는,

상기 전자 장치에 저장된 영상의 계조 값 및 대응되는 휘도 값에 대한 맵핑 정보에 기초하여 상기 입력 영상에 포함된 복수의 픽셀 별 계조 값에 대응되는 휘도 값을 획득하는 단계; 및

상기 제1 HVS 인지 정보 및 상기 획득된 휘도 값에 기초하여 상기 제3 히스토그램을 획득하는 단계;를 포함하고,

상기 제4 히스토그램을 획득하는 단계는,

상기 맵핑 정보에 기초하여 상기 입력 영상에 포함된 복수의 픽셀 별 계조 값에 대응되는 휘도 값을 획득하는 단계; 및

상기 제2 HVS 인지 정보 및 상기 획득된 휘도 값에 기초하여 상기 제4 히스토그램을 획득하는 단계;를 포함하는, 제어 방법.