KR101954851B1

KR101954851B1 - 메타데이터 기반 영상 처리 방법 및 장치

Info

Publication number: KR101954851B1
Application number: KR1020177022853A
Authority: KR
Inventors: 민병석; 임태규; 한승훈; 위호천
Original assignee: 삼성전자주식회사
Priority date: 2015-02-16
Filing date: 2016-01-28
Publication date: 2019-03-06
Also published as: WO2016133293A1; US20180025477A1; KR20170107487A; US10319085B2

Abstract

유사 컬러 맵핑 영역의 위치 정보 및 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 생성하는 방법 및 장치와 로컬 메타데이터에 기초하여 유사 컬러 맵핑 영역 내 픽셀의 컬러 성분을 보정하는 방법 및 장치가 개시된다.

Description

메타데이터 기반 영상 처리 방법 및 장치

영상의 다이나믹 레인지를 보정하기 위한 메타데이터를 생성하는 방법 및 장치가 개시된다. 또한, 메타데이터에 기초하여 영상의 다이나믹 레인지를 보정하는 방법 및 장치가 개시된다.

디스플레이 장치들은 디스플레이 장치들 성능에 따라서, 색을 표현할 수 있는 능력, 예를 들면, 색상을 재현할 수 있는 범위인 색역(color gamut)이 서로 상이할 수 있다.

따라서, 입력 영상의 기준이 되는 색역과 입력 영상을 디스플레이하는 장치의 색역이 상이한 경우, 서로의 색역이 매칭될 수 있도록 입력 영상의 색역을 적절하게 보정하여 입력 영상에 대한 디스플레이 장치의 색 재현력이 향상될 수 있다.

예를 들면, 입력 영상의 색역이 디스플레이 장치의 색역보다 좁은 경우, 디스플레이 장치에서 표시되는 영상의 색 재현력을 향상시키기 위하여 입력 영상의 색역을 확장할 필요가 있다.

제1 영상에 포함된 픽셀들의 공간적 인접성 및 컬러 유사도에 기초하여, 상기 제1 영상을 복수 개의 영역들로 분할하는 단계; 상기 복수 개의 영역들 중 제1 영역 내 픽셀의 컬러 정보와 상기 제1 영역 내 픽셀에 대응되는 제2 영상 내 픽셀의 컬러 정보를 비교하여, 상기 제1 영역의 컬러 맵핑 함수를 획득하는 단계; 상기 복수 개의 영역들 중 상기 제2 영역 내 픽셀의 컬러 정보와 상기 제2 영역 내 픽셀에 대응되는 제2 영상 내 픽셀의 컬러 정보를 비교하여, 상기 제2 영역의 컬러 맵핑 함수를 획득하는 단계; 상기 제1 영역의 컬러 맵핑 함수와 상기 제2 영역의 컬러 맵핑 함수를 비교하여, 상기 제1 영역 및 상기 제2 영역을 유사 컬러 맵핑 영역으로 설정하는 단계; 상기 제1 영역의 컬러 맵핑 함수와 상기 제2 영역의 컬러 맵핑 함수에 기초하여, 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 획득하는 단계; 및 상기 제1 영상 내 상기 유사 컬러 맵핑 영역의 위치 정보 및 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 생성하는 단계를 포함하는 메타데이터 생성 방법이 개시된다.

메타데이터에 기초한 색역 보정, 톤 맵핑, 채도 보정 및 영역 단위 컬러 맵핑을 통해 입력 영상을 효과적으로 보정할 수 있다.

도 1은 메타데이터 생성 장치의 블락도이다.
도 2는 메타데이터 생성 방법의 흐름도이다.
도 3은 색역 보정 방법의 흐름도이다.
도 4는 협색역 및 광색역의 일례를 도시한다.
도 5는 톤 맵핑 방법의 흐름도이다.
도 6은 톤 맵핑 함수를 보정하는 동작의 일 예시를 도시한다.
도 7은 채도 보정 방법의 흐름도이다.
도 8은 영역 단위 컬러 맵핑의 흐름도이다.
도 9는 유사 컬러 맵핑 영역의 컬러 맵핑 함수 및 위치 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 10은 바운딩 박스의 일 실시예이다.
도 11은 영상 인코딩 장치의 블록도이다.
도 12는 영상 처리 장치의 블록도이다.
도 13은 영상 맵핑 방법의 흐름도이다.
도 14는 영역 단위 컬러 맵핑의 흐름도이다.
도 15는 유사 컬러 맵핑 영역을 복원하는 동작을 설명하기 위한 도면이다.
도 16은 영상 디코딩 장치의 블록도이다.

발명의 실시를 위한 최선의 형태

상기 제1 영상은 시간 축으로 학습된 배경 모델에 기초하여 전경 영역 및 배경 영역으로 분할되고, 상기 복수 개의 영역들은 상기 전경 영역 및 상기 배경 영역으로부터 분할될 수 있다.

상기 제1 영역 및 상기 제2 영역은 공간적으로 인접할 수 있다.

상기 메타데이터 생성 방법은 상기 복수 개의 영역들 중 상기 제2 영역에 인접하는 제3 영역 내 픽셀의 컬러 정보와 상기 제3 영역 내 픽셀에 대응되는 제2 영상 내 픽셀의 컬러 정보를 비교하여, 상기 제3 영역의 컬러 맵핑 함수를 획득하는 단계; 및 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수와 상기 제3 영역의 컬러 맵핑 함수를 비교하여, 상기 제1 영역 내지 상기 제3 영역을 상기 유사 컬러 맵핑 영역으로 설정하거나 상기 제3 영역을 새로운 유사 컬러 맵핑 영역으로 설정하는 단계를 더 포함할 수 있다.

상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 적어도 하나의 바운딩 박스의 좌측 상단 x, y 좌표 및 우측 하단 x, y 좌표를 포함할 수 있다.

상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 바운딩 박스의 적어도 하나의 x, y 좌표 및 상기 바운딩 박스의 크기 정보를 포함할 수 있다.

상기 메타데이터 생성 방법은 상기 제2 영상의 색역(gamut) 정보를 포함하는 스태틱 메타데이터를 생성하는 단계; 및 제2 영상의 색역 정보에 기초하여 상기 제1 영상의 색역을 보정하는 단계를 더 포함하고, 상기 복수 개의 영역들은 상기 색역이 보정된 제1 영상으로부터 분할될 수 있다.

상기 메타데이터 생성 방법은 상기 색역이 보정된 제1 영상에 포함된 픽셀의 휘도값과 상기 제2 영상에 포함된 픽셀의 휘도값에 기초하여, 상기 색역이 보정된 제1 영상 및 상기 제2 영상 사이의 톤 맵핑 함수를 획득하는 단계; 상기 톤 맵핑 함수에 기초하여 상기 색역이 보정된 제1 영상에 대해 톤 맵핑을 수행하는 단계; 및 상기 톤 맵핑 함수를 포함하는 글로벌 메타데이터를 생성하는 단계를 더 포함하고, 상기 복수 개의 영역들은 상기 톤 맵핑된 제1 영상으로부터 분할될 수 있다.

상기 메타데이터 생성 방법은 상기 톤 맵핑된 제1 영상에 포함된 픽셀의 채도값과 상기 제2 영상에 포함된 픽셀의 채도값에 기초하여, 상기 톤 맵핑된 제1 영상 및 상기 제2 영상 사이의 채도 보정 함수를 획득하는 단계; 및 상기 채도 보정 함수에 기초하여 상기 톤 맵핑된 제1 영상에 대해 채도 보정을 수행하는 단계를 더 포함하고, 상기 글로벌 메타데이터는 상기 채도 보정 함수를 더 포함하고, 상기 복수 개의 영역들은 상기 채도 보정된 제1 영상으로부터 분할될 수 있다.

제1 영상 내 유사 컬러 맵핑 영역의 위치 정보 및 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 수신하는 단계; 상기 유사 컬러 맵핑 영역의 위치 정보에 기초하여, 상기 제1 영상 내 상기 유사 컬러 맵핑 영역을 복원하는 단계; 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수에 기초하여, 상기 복원된 유사 컬러 맵핑 영역 내 픽셀의 컬러 성분을 보정하는 단계를 포함하는 영상 처리 방법이 개시된다.

상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 바운딩 박스의 좌측 상단 x, y 좌표 및 우측 하단 x, y 좌표를 포함할 수 있다.

상기 영상 처리 방법은 상기 제2 영상의 색역(gamut) 정보를 포함하는 스태틱 메타데이터를 수신하는 단계; 및 상기 제2 영상의 색역 정보에 기초하여 상기 제1 영상의 색역을 보정하는 단계를 더 포함하고, 상기 유사 컬러 맵핑 영역은 상기 색역이 보정된 제1 영상으로부터 복원될 수 있다.

상기 영상 처리 방법은 상기 색역이 보정된 제1 영상 및 상기 제2 영상 사이의 톤 맵핑 함수를 포함하는 글로벌 메타데이터를 수신하는 단계; 및 상기 톤 맵핑 함수에 기초하여 상기 색역이 보정된 제1 영상에 대해 톤 맵핑을 수행하는 단계를 더 포함하고, 상기 유사 컬러 맵핑 영역은 상기 톤 맵핑된 제1 영상으로부터 복원될 수 있다.

상기 영상 처리 방법은 상기 글로벌 메타데이터에 포함된 상기 톤 맵핑된 제1 영상 및 상기 제2 영상 사이의 채도 보정 함수에 기초하여 상기 톤 맵핑된 제1 영상에 대해 채도 보정을 수행하는 단계를 더 포함하고; 상기 유사 컬러 맵핑 영역은 상기 채도 보정된 제1 영상으로부터 복원될 수 있다.

제1 영상에 포함된 픽셀들의 공간적 인접성 및 컬러 유사도에 기초하여, 상기 제1 영상을 복수 개의 영역들로 분할하는 영역 분할부; 상기 복수 개의 영역들 중 제1 영역 내 픽셀의 컬러 정보와 상기 제1 영역 내 픽셀에 대응되는 제2 영상 내 픽셀의 컬러 정보를 비교하여 상기 제1 영역의 컬러 맵핑 함수를 획득하고, 상기 복수 개의 영역들 중 상기 제2 영역 내 픽셀의 컬러 정보와 상기 제2 영역 내 픽셀에 대응되는 제2 영상 내 픽셀의 컬러 정보를 비교하여 상기 제2 영역의 컬러 맵핑 함수를 획득하는 영역 컬러 맵핑부; 상기 제1 영역의 컬러 맵핑 함수와 상기 제2 영역의 컬러 맵핑 함수를 비교하여 상기 제1 영역 및 상기 제2 영역을 유사 컬러 맵핑 영역으로 설정하고, 상기 제1 영역의 컬러 맵핑 함수와 상기 제2 영역의 컬러 맵핑 함수에 기초하여 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 획득하는 유사 영역 설정부; 및 상기 제1 영상 내 상기 유사 컬러 맵핑 영역의 위치 정보 및 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 생성하는 메타데이터 생성부를 포함하는 메타데이터 생성 장치가 개시된다.

상기 영역 분할부는 상기 제1 영상을 시간 축으로 학습된 배경 모델에 기초하여 전경 영역 및 배경 영역으로 분할하고, 상기 전경 영역 및 상기 배경 영역을 상기 복수 개의 영역들로 분할할 수 있다.

상기 영역 컬러 맵핑부는 상기 복수 개의 영역들 중 상기 제2 영역에 인접하는 제3 영역 내 픽셀의 컬러 정보와 상기 제3 영역 내 픽셀에 대응되는 제2 영상 내 픽셀의 컬러 정보를 비교하여, 상기 제3 영역의 컬러 맵핑 함수를 획득하고, 상기 유사 영역 설정부는 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수와 상기 제3 영역의 컬러 맵핑 함수를 비교하여, 상기 제1 영역 내지 상기 제3 영역을 상기 유사 컬러 맵핑 영역으로 설정하거나 상기 제3 영역을 새로운 유사 컬러 맵핑 영역으로 설정할 수 있다.

상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 바운드 박스의 좌측 상단 x, y 좌표 및 우측 하단 x, y 좌표를 포함할 수 있다.

상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 바운드 박스의 적어도 하나의 x, y 좌표 및 상기 바운드 박스의 크기 정보를 포함할 수 있다.

상기 제2 영상의 색역 정보에 기초하여 상기 제1 영상의 색역을 보정하는 색역 보정부를 더 포함하고, 상기 메타데이터 생성부는 상기 제2 영상의 색역(gamut) 정보를 포함하는 스태틱 메타데이터를 생성하고, 상기 복수 개의 영역들은 상기 색역이 보정된 제1 영상으로부터 분할될 수 있다.

상기 색역이 보정된 제1 영상에 포함된 픽셀의 휘도값과 상기 제2 영상에 포함된 픽셀의 휘도값에 기초하여 상기 색역이 보정된 제1 영상 및 상기 제2 영상 사이의 톤 맵핑 함수를 획득하고, 상기 톤 맵핑 함수에 기초하여 상기 색역이 보정된 제1 영상에 대해 톤 맵핑을 수행하는 톤 맵핑부를 더 포함하고, 상기 메타데이터 생성부는 상기 톤 맵핑 함수를 포함하는 글로벌 메타데이터를 생성하고, 상기 복수 개의 영역들은 상기 톤 맵핑된 제1 영상으로부터 분할될 수 있다.

상기 톤 맵핑된 제1 영상에 포함된 픽셀의 채도값과 상기 제2 영상에 포함된 픽셀의 채도값에 기초하여 상기 톤 맵핑된 제1 영상 및 상기 제2 영상 사이의 채도 보정 함수를 획득하고, 상기 채도 보정 함수에 기초하여 상기 톤 맵핑된 제1 영상에 대해 채도 보정을 수행하는 채도 보정부를 더 포함하고, 상기 글로벌 메타데이터는 상기 채도 보정 함수를 더 포함하고, 상기 복수 개의 영역들은 상기 채도 보정된 제1 영상으로부터 분할될 수 있다.

제1 영상 내 유사 컬러 맵핑 영역의 위치 정보 및 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 수신하는 수신부; 상기 유사 컬러 맵핑 영역의 위치 정보에 기초하여 상기 제1 영상 내 유사 컬러 맵핑 영역을 복원하는 유사 영역 복원부; 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수에 기초하여, 상기 복원된 유사 컬러 맵핑 영역 내 픽셀의 컬러 성분을 보정하는 영역 컬러 맵핑부를 포함하는 영상 처리 장치가 개시된다.

상기 수신부에 의해 수신된 제2 영상의 색역(gamut) 정보를 포함하는 스태틱 메타데이터에 기초하여 상기 제1 영상의 색역을 보정하는 색역 보정부를 더 포함하고, 상기 유사 컬러 맵핑 영역은 상기 색역이 보정된 제1 영상으로부터 복원될 수 있다.

상기 수신부에 의해 수신된 상기 색역이 보정된 제1 영상 및 상기 제2 영상 사이의 톤 맵핑 함수를 포함하는 글로벌 메타데이터에 기초하여 상기 색역이 보정된 제1 영상에 대해 톤 맵핑을 수행하는 톤 맵핑부를 더 포함하고, 상기 유사 컬러 맵핑 영역은 상기 톤 맵핑된 제1 영상으로부터 복원될 수 있다.

상기 글로벌 메타데이터에 포함된 상기 톤 맵핑된 제1 영상 및 상기 제2 영상 사이의 채도 보정 함수에 기초하여 상기 톤 맵핑된 제1 영상에 대해 채도 보정을 수행하는 채도 보정부를 더 포함하고, 상기 유사 컬러 맵핑 영역은 상기 채도 보정된 제1 영상으로부터 복원될 수 있다.

상술한 방법들 중 어느 한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 개시된다.

발명의 실시를 위한 형태

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하지 않는다. 또한, 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

이하, '영상(image)'은 비디오의 정지영상이거나 동영상, 즉 비디오 그 자체를 나타낼 수 있다. '영상'은 정지영상(예를 들어, 사진)이나 동영상뿐만 아니라, 디스플레이 장치에서 디스플레이될 수 있는 일부 또는 전체 화면을 포함할 수 있다. 또한, '영상'은 원래 정지영상이나 동영상뿐만 아니라 사용자 인터페이스나 웹 페이지와 같은 디스플레이될 수 있는 화면 자체도 포함할 수 있다.

영상의 화이트 포인트란 영상에서 표시되는 흰색의 컬러 좌표를 의미할 수 있다. 화이트 포인트가 변경되면, 영상의 밝기가 달라질 수 있다.

감마 값(gamma value)은 영상의 명암을 표현하는 계조(gray scale) 표현의 범위를 나타내며, 감마 값의 조정은 영상의 콘트라스트를 변화시킬 수 있다.

색역(gamut)은 전체 빛의 영역에서 영상에 표시될 수 있는 컬러 공간 영역을 의미한다. 예를 들면 영상이 RGB(red, green, blue) 또는 CMYK(cyan, magenta, yellow, black) 중 어느 색상 체계에 따라 표시되었는지에 따라서 색역 정보가 달라질 수 있다. 색역 정보에 따라서, 영상은 광색역(wide gamut) 영상 및 협색역(narrow gamut) 영상으로 구분될 수 있다. 예를 들면, 광색역 영상은 넓은 색역을 가지는 영상으로, 디지털 시네마에 사용되는 DCP(Digital Cinema Package), DCI(Digital Cinema Initiatives), Adobe RGB의 색상 체계를 가지는 영상, 고광량 및 광색역으로 마스터링된 HDR(high dynamic range) 영상을 포함할 수 있다. 협색역 영상은 좁은 색역을 가지는 영상으로, 709 컬러 레벨, sRGB의 색상 체계를 가지는 영상을 포함할 수 있다.

일 실시 예에 의한 영상의 색상 체계는 YUV(YCbCr), Lab, HSV(Hue saturation value) 등을 포함할 수 있으며, 이에 한하지 않고 다양한 방식의 색상 체계를 포함할 수 있다.

일반적으로, "다이나믹 레인지(dynamic range)"란 물리적인 측정량의 최대값과 최소값 사이의 비율을 의미할 수 있다. 예를 들어, 영상의 다이나믹 레인지(dynamic range)란 영상 내에서 가장 밝은 부분과 가장 어두운 부분 사이의 밝기 비율을 의미할 수 있다. 또 다른 예로, 디스플레이 장치의 다이나믹 레인지란 스크린으로부터 방출될 수 있는 빛의 최소 밝기와 최대 밝기 사이의 비율을 의미할 수 있다. 자연(real world)의 경우, 0nit에 근접하는 완전한 어두움부터, 태양 빛에 근접하는 매우 밝은 밝기까지의 다이나믹 레인지를 갖는다.

영상 내의 최소 밝기 대비 최대 밝기의 비율이 클 수 록, 영상은 로우(low) 다이나믹 레인지 영상, 스탠다드 다이나믹 레인지 영상, 하이(high) 다이나믹 레인지 영상으로 구분될 수 있다. 예를 들어, 한 픽셀의 R,G,B 성분 별로 16bit 이하의 비트 뎁스를 갖는 영상은 로우 다이나믹 레인지 영상을 표현할 수 있다. 또한, 한 픽셀의 R,G,B 성분 별로 32비트 이상의 비트 뎁스를 갖는 영상은 로우 다이나믹 레인지 영상부터 하이 다이나믹 레인지 영상까지 표현할 수 있다.

다이나믹 레인지가 낮은 디스플레이 장치에서 하이 다이나믹 레인지 영상을 보정 없이 디스플레이 하면, 하이 다이나믹 레인지 영상의 본래 의도가 왜곡되어 디스플레이 될 수 있다.

톤맵핑(tone-mapping)이란, 영상의 다이나믹 레인지를 변환하는 작업을 의미할 수 있다. 구체적으로, 톤맵핑은 영상의 다이나믹 레인지를 좁히는 작업을 의미할 수 있다. 예를 들어, 톤맵핑은 하이 다이나믹 레인지 영상을 로우 다이나믹 레인지 영상으로 변환하는 작업을 의미할 수 잇다. 또한, 톤맵핑은 영상의 다이나믹 레인지를 넓히는 작업을 의미할 수 있다. 예를 들어, 톤맵핑은 로우 다이나믹 레인지 영상을 하이 다이나믹 레인지 영상으로 변환하는 작업을 의미할 수 있다.

영상의 다이나믹 레인지가 영상이 디스플레이되는 디스플레이 장치의 다이나믹 레인지에 포함되지 않는 경우, 디스플레이 장치는 톤맵핑된 영상을 이용하여 원본 영상의 의도를 유지할 수 있다.

이하에서는, 첨부된 도면을 참고하여 영상 제작자의 의도에 따라 입력 영상의 색역을 보정하고, 입력 영상에 대해 효율적인 톤 맵핑을 수행할 수 있는 장치 및 방법, 그리고 입력 영상을 복수 개의 영역들로 분할하여, 영역 별로 추가적인 컬러 맵핑을 수행할 수 있는 장치 및 방법에 대해 상술한다.

도 1은 메타데이터 생성 장치의 블락도이다.

이하에서는, 설명의 편의를 위하여 보정의 대상이 되는 메타데이터 생성 장치(100)의 입력 영상을 "제1 영상"이라 한다. 또한, 제1 영상의 보정 기준이 되는 메타데이터 생성 장치(100)의 입력 영상을 "제2 영상"이라 한다. 예를 들어, 제1 영상이 LDR(Low Dynamic Range) 또는 SDR(Standard Dynamic Range)에 해당하고, 타겟으로 설정된 소비자 디스플레이 장치가 HDR(High Dyanmic Range)에 해당하는 영상을 디스플레이 할 수 있는 경우, 메타데이터 생성 장치(100)는 제1 영상의 다이나믹 레인지를 넓힐 수 있다. 반면에, 제1 영상이 HDR에 해당하고, 타겟으로 설정된 소비자 디스플레이 장치가 LDR 또는 SDR에 해당하는 협색역 영상을 디스플레이 할 수 있는 경우, 메타데이터 생성 장치(100)는 제1 영상의 다이나믹 레인지를 좁힐 수 있다.

메타데이터 생성 장치(100)는 스태틱 맵핑부(110), 글로벌 맵핑부(120) 및 로컬 맵핑부(130)를 포함할 수 있다.

스태틱 맵핑부(110)는 제2 영상의 색역 정보에 기초하여, 제1 영상의 색역을 보정할 수 있다. 예를 들어, 스태틱 맵핑부(110)는 광색역 제2 영상에 따라 협색역 제1 영상의 색역을 보정하거나, 협색역 제2 영상에 따라 광색역 제1 영상의 색역을 보정할 수 있다. 화이트 포인트 및 프라이머리 컬러 좌표와 같은 색역이 변환되면, 동일한 컬러 좌표에서의 영상의 색상이 달라질 수 있다. 따라서, 메타데이터 생성 장치(100)는 제1 영상의 다이나믹 레인지를 변환하기 전에, 제1 영상의 색역을 제2 영상의 색역을 기준으로 보정하여 색역이 서로 다름에 따라 발생할 수 있는 오류를 방지할 수 있다.

구체적으로, 스태틱 맵핑부(110)는 비교 영역 보정부(111) 및 색역 보정부(112)를 포함할 수 있다. 비교 영역 보정부(111) 및 색역 보정부(112)의 동작에 대해서는 이하 도 3 내지 도 4를 참조하여 상세히 설명한다.

제1 영상과 제2 영상의 색역이 상이한 경우, 스태틱 맵핑부(110)는 메타데이터 생성부(140)에게 제1 영상의 색역 정보 및 제2 영상의 색역 정보를 전송할 수 있다. 메타데이터 생성부(140)는 스태틱 맵핑부(110)로부터 수신한 제1 영상의 색역 정보 및 제2 영상의 색역 정보를 포함하는 스태틱 메타데이터를 생성할 수 있다. 또한, 메타데이터 생성부(140)는 제1 영상의 색역 정보 및 제2 영상의 색역 정보 중 어느 하나만을 포함하는 스태틱 메타데이터를 생성할 수 있다. 이 경우, 타겟으로 설정된 소비자 디스플레이 장치는 스태틱 메타데이터에 포함되지 않은 제1 영상의 색역 정보 및 제2 영상의 색역 정보를 직접 획득할 수 있다. 예를 들어, 소비자 디스플레이 장치는 입력 받은 제1 영상을 분석하여 제1 영상의 색역 정보를 획득하거나, 소비자 디스플레이 장치 자신의 색역 정보를 제2 영상의 생역 정보로써 획득할 수 있다.

스태틱 메타데이터는 제1 영상의 색역 정보, 즉 제1 영상이 제작된 마스터링 디스플레이 장치의 색역 정보와, 제2 영상의 색역 정보, 즉, 타겟으로 설정된 소비자 디스플레이 장치의 색역 정보를 포함할 수 있다. 스태틱 메타데이터는 제1 영상의 특성(예를 들어, 제1 영상의 최대 휘도값 및 최소 휘도값)과 독립적으로 마스터링 디스플레이 장치 및 소비자 디스플레이 장치의 특성에 의해 결정될 수 있다. 따라서, 제1 영상 및 제2 영상의 컨텐츠가 달라진다고 하여도, 스태틱 메타데이터는 동일할 수 있다.

글로벌 맵핑부(120)는 제2 영상의 휘도 성분 및 채도 성분에 기초하여, 제1 영상에 대해 톤 맵핑을 수행하고, 채도 보정을 수행할 수 있다. 예를 들어, 글로벌 맵핑부(120)는 HDR 제2 영상에 따라 LDR 또는 SDR 제1 영상의 다이나믹 레인지를 넓히거나, LDR 또는 SDR 제2 영상에 따라 HDR 제1 영상의 다이나믹 레인지를 좁힐 수 있다. 글로벌 맵핑부(120)는 스태틱 맵핑부(110)에 의해 제2 영상의 색역과 색역이 일치된 제1 영상을 이용함으로써, 더욱 효율적인 톤 맵핑 및 채도 보정을 수행할 수 있다.

구체적으로, 글로벌 맵핑부(120)는 톤 맵핑부(121) 및 채도 보정부(122)를 포함할 수 있다. 톤 맵핑부(121) 및 채도 보정부(122)의 동작에 대해서는 이하 도 5 내지 도 7을 참조하여 상세히 설명한다.

글로벌 맵핑부(120)는 제1 영상과 제2 영상 사이의 신 단위(scene-wise) 톤 맵핑 함수 및 신 단위 채도 보정 함수를 메타데이터 생성부(140)에게 전송할 수 있다. 메타데이터 생성부(140)는 신 단위 톤 맵핑 함수 및 신 단위 채도 보정 함수를 포함하는 글로벌 메타데이터를 생성할 수 있다. 글로벌 메타데이터는 신 단위로 설정될 수 있으며, 하나의 신 내에 포함된 모든 프레임에 대해 적용될 수 있다. 하나의 신에 포함된 프레임들은 글로벌 메타데이터에 포함된 동일한 톤 맵핑 함수 및 채도 보정 함수를 참조할 수 있으며, 서로 다른 신에 포함된 프레임들은 메타데이터에 포함된 서로 다른 톤 맵핑 함수 및 채도 보정 함수를 참조할 수 있다.

로컬 맵핑부(130)는 제1 영상으로부터 분할된 복수 개의 영역들을 제2 영상으로부터 분할된 복수 개의 영역들과 비교하여, 각 영역에 대해 추가적인 컬러 맵핑이 수행되었는지를 판단할 수 있다. 영상 제작자가 글로벌 맵핑 이외에 영상의 일부 영역에 대하여 세부적인 컬러 보정을 수행한 경우, 로컬 맵핑부(130)는 제1 영상의 해당 영역과 제2 영상의 해당 영역 사이의 컬러 맵핑 함수를 획득할 수 있다.

구체적으로, 로컬 맵핑부(130)는 영역 분할부(131), 영역 컬러 맵핑부(132) 및 유사 영역 설정부(133)를 포함할 수 있다. 영역 분할부(131), 영역 컬러 맵핑부(132) 및 유사 영역 설정부(133)의 동작에 대해서는 이하, 도 8 내지 도 10을 참조하여 상세히 설명한다.

로컬 맵핑부(130)는 제1 영상으로부터 분할된 복수 개의 영역들 중 추가적인 컬러 보정이 수행된 영역에 대한 컬러 맵핑 함수를 메타데이터 생성부(140)에게 전송할 수 있다. 메타데이터 생성부(140)는 제1 영상으로부터 분할된 해당 영역 내 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 생성할 수 있다. 로컬 메타데이터는 하나의 신 내 영역 단위(region-wise)로 설정될 수 있으며, 하나의 신에 포함된 모든 프레임들의 해당 영역에 대해 적용될 수 있다. 하나의 신에 포함된 프레임들의 동일한 영역들은 로컬 메타데이터 내의 동일한 컬러 맵핑 함수를 참조할 수 있으며, 하나의 신에 포함된 프레임들의 서로 다른 영역들은 로컬 메타데이터 내의 서로 다른 컬러 맵핑 함수를 참조할 수 있다.

도 1에 도시된 메타데이터 생성 장치(100)의 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도 1에 도시된 구성요소보다 많은 구성 요소에 의해 메타데이터 생성 장치(100)가 구현될 수 있고, 도 1에 도시된 구성요소보다 적은 구성 요소에 의해 메타데이터 생성 장치(100)가 구현될 수 있다. 예를 들어, 메타데이터 생성 장치(100)는 스태틱 맵핑부(110), 글로벌 맵핑부(120), 로컬 맵핑부(130) 및 메타데이터 생성부(140)의 동작을 모두 수행할 수 있는 적어도 하나의 프로세서를 포함할 수 있다. 또한, 메타데이터 생성 장치(100)는 스태틱 맵핑부(110), 글로벌 맵핑부(120), 로컬 맵핑부(130) 및 메타데이터 생성부(140) 각각에 대응되는 복수 개의 프로세서들을 포함할 수 있다.

도 2는 메타데이터 생성 방법의 흐름도이다.

210 단계에서, 스태틱 맵핑부(110)는 제1 영상의 색역을 보정할 수 있다. 제1 영상과 제2 영상의 색역 정보가 상이한 경우, 220 단계에서 메타데이터 생성부(140)는 제2 영상의 색역 정보를 포함하는 스태틱 메타데이터를 생성할 수 있다. 제1 영상과 제2 영상의 색역 정보가 서로 일치하는 경우, 제1 영상의 색역은 바이패스 될 수 있고, 210 단계 및 220 단계의 동작은 생략될 수 있다.

230 단계에서, 글로벌 맵핑부(120)는 210 단계에서 색역이 보정된 제1 영상에 대해 톤 맵핑을 수행할 수 있다. 제1 영상에 대해 톤 맵핑이 수행된 경우, 240 단계에서 메타데이터 생성부(140)는 제1 영상 및 제2 영상 사이의 톤 맵핑 함수를 포함하는 글로벌 메타데이터를 생성할 수 있다. 제1 영상과 제2 영상의 다이나믹 레인지가 일치하여 톤 맵핑이 수행되지 않는 경우, 제1 영상의 휘도 성분은 바이패스 될 수 있고, 230 단계 및 240 단계의 동작은 생략될 수 있다.

250 단계에서, 글로벌 맵핑부(120)는 230 단계에서 톤 맵핑된 제1 영상에 대해 채도 보정을 수행할 수 있다. 제1 영상에 대해 채도 보정이 수행된 경우, 240 단계에서 메타데이터 생성부(140)는 제1 영상 및 제2 영상 사이의 채도 보정 함수를 포함하는 글로벌 메타데이터를 생성할 수 있다. 제1 영상과 제2 영상의 채도 성분이 일치하여 채도 보정이 수행되지 않는 경우, 제1 영상의 채도 성분은 바이패스 될 수 있고, 250 단계 및 240 단계의 동작은 생략될 수 있다.

260 단계에서, 로컬 맵핑부(130)는 230 단계에서 톤 맵핑된 제1 영상 또는 250 단계에서 추가적으로 채도 보정이 수행된 제1 영상을 복수 개의 영역들로 분할하고, 각각의 영역에 대해 컬러 맵핑을 수행할 수 있다. 제1 영상으로부터 분할된 영역에 대해 컬러 맵핑이 수행된 경우, 메타데이터 생성부(140)는 270 단계에서 해당 영역에 대한 영역 단위 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 생성할 수 있다. 제1 영상으로부터 분할된 영역에 대해 추가적인 컬러 맵핑이 수행되지 않은 경우, 260 단계 및 270 단계는 생략될 수 있다.

도 3은 색역 보정 방법의 흐름도이다.

310 단계에서, 비교 영역 보정부(111)는 제1 영상과 제2 영상의 해상도가 상이한 경우, 제1 영상과 제2 영상의 해상도를 매칭시킬 수 있다. 또한, 비교 영역 보정부(111)는 제1 영상과 제2 영상 사이에서 비교되는 영역이 상이한 경우, 제1 영상의 비교 영역과 제2 영상의 비교 영역이 동일한 컨텐츠를 포함하도록 두 영역을 매칭시킬 수 있다. 예를 들어, 비교 영역 보정부(111)는 제1 영상과 제2 영상이 같은 위치에서 동일한 컨텐츠를 포함할 수 있도록 제1 영상 및 제2 영상 중 어느 하나를 크로핑(cropping)하거나, 제1 영상 및 제2 영상을 모두 크로핑할 수 있다. 구체적으로, 비교 영역 보정부(105)는 제1 영상으로부터 분할된 소정 영역의 특징점 및 제2 영상으로부터 분할된 소정 영역의 특징점을 추출하고, 두 특징점들이 두 영상 내에서 동일한 위치에 존재하도록 제1 영상 및 제2 영상 중 적어도 하나를 자르거나 이동할 수 있다. 그리고, 비교 영역 보정부(111)는 크로핑된 영상의 가로 세로 값을 이용하여, 두 컨텐츠가 동일한 해상도가 되도록 영상 리스케일링(image rescaling)을 수행할 수 있다.

320 단계에서 색역 보정부(112)는 제1 영상의 색역 정보를 획득할 수 있다. 제1 영상의 색역 정보란, 제1 영상의 화이트 포인트, 프라이머리 컬러 좌표, 감마 정보 중 적어도 하나를 포함할 수 있다. 색역 보정부(112)는 메타데이터 생성 장치(100)가 입력 받은 제1 영상을 분석하여 제1 영상의 색역 정보를 획득하거나, 외부로부터 제1 영상의 색역 정보를 수신할 수 있다.

330 단계에서 색역 보정부(112)는 제2 영상의 색역 정보를 획득할 수 있다. 제2 영상의 색역 정보란, 제2 영상의 화이트 포인트, 프라이머리 컬러 좌표, 감마 정보 중 적어도 하나를 포함할 수 있다. 색역 보정부(112)는 메타데이터 생성 장치(100)가 입력 받은 제2 영상을 분석하여 제2 영상의 색역 정보를 획득하거나, 외부로부터 제2 영상의 색역 정보를 수신할 수 있다.

340 단계에서 색역 보정부(112)는 제2 영상의 색역 정보에 기초하여, 제1 영상의 색역을 보정할 수 있다. 제1 영상의 색역 내 컬러 좌표(a,b)에 해당하는 색상과 제2 영상의 색역 내 동일한 컬러 좌표(a,b)에 해당하는 색상은 상이할 수 있다. 따라서, 제2 영상의 색역을 표현할 수 있는 디스플레이 장치가 색역 보정 전 제1 영상을 디스플레이하면, 제2 영상의 색역을 기준으로 제1 영상이 디스플레이되어 색상이 왜곡될 수 있다.

색역 보정부(112)는 제1 영상의 화이트 포인트 컬러 좌표를 제2 영상의 화이트 포인트 컬러 좌표로 변환할 수 있다. 변환된 화이트 포인트에 따라서 제1 영상의 색상은 전체적으로 바뀔 수 있다. 화이트 포인트에 따라 이후 수행될 제1 영상의 색역 보정, 톤 맵핑, 채도 보정 및 영역 단위 컬러 맵핑의 결과가 달라질 수 있으므로, 메타데이터 생성 장치(100)는 제1 영상의 화이트 포인트를 가장 먼저 보정할 수 있다. 제1 영상의 화이트 포인트와 제2 영상의 화이트 포인트가 동일한 경우, 색역 보정부(112)는 제1 영상의 화이트 포인트를 바이패스(bypass)할 수 있다.

또한, 색역 보정부(112)는 제1 영상의 감마 정보 및 프라이머리 컬러 좌표에 기초하여, 제1 영상의 색역을 제2 영상의 색역으로 보정할 수 있다. 감마 값(예를 들어, 2.4 gamma, 2.6 gamma, 기타 E.O.T.F(Electro Optical Transfer Function)에 따라, 입력 영상에 대한 출력 영상의 선형 정도가 결정되며 감마 값이 클수록 영상이 어두워질 수 있다. 색역 보정부(112)는 제1 영상에 적용된 감마 정보에 기초하여, 제1 영상을 역 감마 보정하여 제1 영상의 컬러 공간을 선형화된 RGB 컬러 공간으로 변환할 수 있다. 색역 보정부(112)는 역 감마 보정된 제1 영상의 선형화된 RGB 컬러 공간에서 제1 영상의 색역을 제2 영상의 색역으로 맵핑할 수 있다. 예를 들어, 제1 영상이 709 협색역이고, 제2 영상이 DCI 광색역인 경우, 색역 보정부(112)는 제1 영상의 색역을 DCI 광색역 내에서 표현 가능한 709 협색역으로 맵핑할 수 있다. 광색역 디스플레이 장치는 광색역 내에서 표현 가능한 협색역으로 보정된 제1 영상을 색상의 왜곡 없이 디스플레이 할 수 있다. 구체적으로, 색역 보정부(112)는 제1 영상의 프라이머리 컬러 좌표를 제2 영상의 프라이머리 컬러 좌표로 맵핑할 수 있다. 예를 들어, 색역 보정부(112)는 제1 영상의 R(Red), G(Green), B(Blue) 각각의 컬러 좌표를 제2 영상의 R, G, B 컬러 좌표에 기초하여 보정할 수 있다.

색역 보정부(112)는 색역 보정된 제1 영상에 다시 감마 보정하여, 제1 영상이 가지고 있던 감마 값을 복원할 수 있다. 제1 영상에 적용될 수 있는 감마 값은 제1 영상이 역감마 보정되기 전 적용되었던 감마 값일 수 있다. 화이트 포인트, 프라이머리 컬러 좌표, 및 감마 정보는 제1 영상 및 제2 영상의 영상 타입, 예를 들면, Adobe RGB, DCI의 광색역 영상인지 709, sRGB의 협색역 영상인지에 따라 미리 결정되어 있는 값일 수 있다.

제1 영상의 색역이 보정된 경우, 메타데이터 생성부(140)는 220 단계에서 제1 영상의 화이트 포인트, 프라이머리 컬러 좌표 및 감마 정보와 제2 영상의 화이트 포인트, 프라이머리 컬러 좌표 및 감마 정보 중 적어도 하나를 포함하는 스태틱 메타데이터를 생성할 수 있다.

도 4는 협색역 및 광색역의 일례를 도시한다.

도 4를 참조하면, 상대적으로 광색역 영상에 속하는 DCI 영상의 색역 및 상대적으로 협색역 영상에 속하는 sRGB 영상의 색역이 도시되어 있다. DCI 영상의 색역이 sRGB 영상의 색역보다 넓고, 특히 G 색상에서의 색역 차이가 크다.

상술한 바와 같이 각 색역에 따라 원색을 나타내는 색좌표가 서로 다르기 때문에, 픽셀의 색상 정보가 동일하더라도 색역에 따라 디스플레이되는 색상이 서로 다를 수 있다. 따라서, 메타데이터 생성 장치(100)는 색상의 왜곡을 방지하기 위하여 제1 영상의 색역을 제2 영상의 색역으로 맵핑할 수 있다.

일 실시 예에 따라, 협색역 영상의 화이트 포인트가 광색역 영상의 화이트 포인트로 변환되는 경우, 협색역 영상의 색역과 광색역 영상의 색역에서의 O점은 서로 동일할 수 있다. 도 4에 도시된 O점은 협색역에서의 O점과 광색역에서의 O점이 동일한 것으로 도시되었으나 이에 한하지 않고 협색역 및 광색역에서의 O 점은 서로 다른 위치에 존재할 수 있다.

도 5는 톤 맵핑 방법의 흐름도이다.

510 단계에서, 톤 맵핑부(121)는 색역이 보정된 제1 영상과 제2 영상 사이의 톤 맵핑 함수를 획득할 수 있다.

톤 맵핑 함수는 신 단위로 획득될 수 있다. 구체적으로, 톤 맵핑부(121)는 제1 영상 및 제2 영상을 신 단위로 분할하고, 신 단위로 분할된 제1 영상의 휘도값 및 제2 영상의 휘도값을 비교하여, 각 신에 대한 제1 영상과 제2 영상 사이의 톤 맵핑 함수를 획득할 수 있다.

톤 맵핑부(121)는 제1 영상 및 제2 영상 내 픽셀의 RGB 값을 변환하여, 밝기 정보를 나타내는 Y(luminance) 값을 획득할 수 있다.

예를 들어, Y 값은 수학식 1과 같이 R, G, B 값에 가중치를 적용하여 획득될 수 있다. 가중치 값들인 w1, w2, w3는 휘도값을 구하는 방법에 따라 다양하게 설정될 수 있다. 예를 들면, 아날로그 RGB을 아날로그 YPbPr로 변환하는 경우, w1 = 0.299, w2 = 0.587, w3= 0.114, Y = 0.299R + 0.587G + 0.114B 로 설정될 수 있다. 또 다른 예로, 샘플당 8 비트 뎁스를 갖는 디지털 RGB을 디지털 YCbCr로 변환하는 경우, w1 = 65.481, w2 = 128.553, w3 = 24.966, Y = 16 + (65.481R + 128.553G + 24.966B)로 설정될 수 있다.

또 다른 예로, Y 값은 수학식 2와 같이 R, G, B 중 최대 값으로 결정될 수도 있다. 또 다른 예로, Y 값은 R, G, B 들의 최소값, 중간값 또는 평균값으로 결정될 수 있다.

톤 맵핑부(121)는 제1 영상 내 픽셀 및 그에 대응하는 제2 영상 내 픽셀의 휘도값들 사이의 차분 값을 이용하여, 제1 영상의 휘도값에 대한 제2 영상의 휘도값을 나타내는 톤 매핑 보정 함수를 구할 수 있다. 동일한 위치에 존재하는 제1 영상 및 제2 영상의 픽셀들의 휘도값들이 서로 대응될 수 있다.

520 단계에서, 톤 맵핑부(121)는 510 단계에서 획득된 톤 맵핑 함수를 보정할 수 있다. 510 단계에서 획득된 톤 맵핑 함수에서, 제1 영상의 동일한 휘도값에 대하여 제2 영상의 다수의 휘도값이 매칭되거나, 제2 영상의 동일한 휘도값에 대하여 제1 영상의 다수의 휘도값이 매칭될 수 있다. 타겟으로 설정된 소비자 디스플레이 장치에서 메타데이터를 이용하여 제1 영상에 대해 톤 맵핑을 수행할 때, 톤 맵핑 함수가 일대일 함수가 아닌 경우 소비자 디스플레이 장치가 제1 영상에 대해 톤 맵핑을 명확히 수행하기가 어렵다. 따라서, 톤 맵핑부(121)는 520 단계에서, 510 단계에서 획득된 톤 맵핑 함수가 일대일 대응 관계를 갖도록 톤 맵핑 함수를 보정할 수 있다. 예를 들어, 톤 맵핑부(121)는 510 단계에서 획득된 톤 맵핑 함수에 대하여 linear regression을 수행하여, 하나의 입력값이 복수 개의 출력값들의 평균값 또는 중간값에 매칭되도록 톤 맵핑 함수를 보정할 수 있다.

530 단계에서, 메타데이터 생성부(140)는 510 단계에서 획득된 톤 맵핑 함수 또는 520 단계에서 보정된 톤 맵핑 함수에 기초하여, 제1 영상에 대해 톤 맵핑을 수행할 수 있다. 예를 들어, LDR 또는 SDR의 제1 영상은 HDR의 제2 영상에 따라 다이나믹 레인지가 확장될 수 있다. 또는, HDR의 제1 영상은 LDR 또는 SDR의 제2 영상에 따라 다이나믹 레인지가 축소될 수 있다.

제1 영상과 제2 영상의 다이나믹 레인지가 상이하여 530 단계에서 제1 영상에 대해 톤 맵핑이 수행된 경우, 240 단계에서 메타데이터 생성부(140)는, 510 단계에서 획득된 톤 맵핑 함수 또는 520 단계에서 보정된 톤 맵핑 함수를 포함하는 글로벌 메타데이터를 생성할 수 있다. 메타데이터 생성부(140)는 보정된 톤 매핑 보정 함수의 입력값 및 출력값을 포함하는 글로벌 메타데이터를 생성할 수 있다. 예를 들면, 메타데이터 생성부(140)는 톤 매핑 보정 함수의 입력 휘도값들에 대한 출력 휘도값들이 룩업 테이블(LUT;look up table)로 표현된 글로벌 메타데이터를 생성할 수 있다. 또는, 메타데이터 생성부(140)는 톤 매핑 보정 함수의 입력 휘도값 대비 출력 휘도값의 게인(gain)을 룩업 테이블(LUT;look up table)로 표현된 글로벌 메타데이터를 생성할 수 있다. 예를 들어, 룩업 테이블은 64개의 입력 휘도값들 각각에 대한 출력 휘도값들을 지시하거나, 64개의 입력 휘도값들 각각에 대한 입력 대비 출력 게인을 지시할 수 있다.

도 6은 톤 맵핑 함수를 보정하는 동작의 일 예시를 도시한다.

610 그래프는 510 단계에서 획득된 보정 전 톤 맵핑 함수에 해당할 수 있다. 610 그래프의 x 축은 제1 영상의 휘도 값, y축은 제2 영상의 휘도값을 나타낼 수 있다. 610 그래프를 참조하면, 보정 전 톤 맵핑 함수에서 하나의 제1 영상의 휘도값은 제2 영상의 복수 개의 휘도값들에 대응될 수 있다. 따라서, 610 그래프에 따른 보정 전 톤 맵핑 함수를 그대로 이용하는 경우, 제1 영상에 대한 톤 맵핑이 적절히 수행되기 어렵다.

따라서, 톤 맵핑부(121)는 620에 도시된 그래프와 같이 제1 영상의 휘도값과 제2 영상의 휘도값이 일대일 대응 관계를 갖도록, 톤 매핑 함수를 보정할 수 있다. 예를 들어, 톤 맵핑부(121)는 하나의 제1 영상의 휘도값과 대응되는 제2 영상의 복수 개의 휘도값들 중 대표값을 결정하고, 결정된 하나의 대표 값만 상술된 제1 영상의 휘도 값과 대응되도록 톤 매핑 함수를 보정할 수 있다. 예를 들면, 톤 맵핑부(121)는 64개의 입력 휘도값들 각각에 대응되는 제2 영상의 대표 휘도값들을 결정하여 톤 맵핑 함수를 보정할 수 있다.

도 7은 채도 보정 방법의 흐름도이다.

710 단계에서, 채도 보정부(122)는 적어도 하나의 색상(hue)에 대해, 제2 영상과 톤 맵핑된 제1 영상 사이의 채도 보정 함수를 획득할 수 있다. 채도 보정 함수는 신 단위로 획득될 수 있다. 구체적으로, 채도 보정부(122)는 제 1 영상 및 제2 영상을 신 단위로 분할하고, 신 단위로 분할된 제1 영상의 채도값 및 제2 영상의 채도값을 비교하여, 각 신에 대한 제1 영상과 제2 영상 사이의 채도 보정 함수를 획득할 수 있다.

채도 보정부(122)는 제1 영상 내 픽셀 및 그에 대응하는 제2 영상 내 픽셀의 채도값들 사이의 차분 값을 이용하여, 제1 영상의 채도값에 대한 제2 영상의 채도값을 나타내는 채도 보정 함수를 구할 수 있다. 동일한 위치에 존재하는 제1 영상 및 제2 영상의 픽셀들의 채도값들이 서로 대응될 수 있다.

채도 보정부(122)는 제1 영상의 채도 값과 대응되는 제2 영상의 채도 값을 나타내는 채도 매핑 함수를 색상(hue)별로 생성할 수 있다. 도 4를 참조하면, DCI 색역 및 sRGB 색역의 6개의 색상들이 도시된다. 예를 들면, 채도 보정부(122)는 6개의 색상, R(red), G(green), B(blue), C(cyan), M(magenta), Y(yellow) 각각에 대해 채도 맵핑 함수를 생성할 수 있다. G 색상에 대하여, 도 6에 도시된 O부터 G1까지의 채도 값 및 O부터 G2까지의 채도 값에 대해 채도 맵핑 함수가 생성될 수 있다. 채도 맵핑 함수는 sRGB 협색역 영상의 O부터 G2까지의 채도 값에 따른 광색역 DCI 영상의 O부터 G1까지의 채도 값을 나타낼 수 있다. O은 채도 값이 가장 낮은 점을 나타내고, G1, G2는 각 색역에서 채도 값이 가장 높은 원색이 위치한 점을 나타낸다. Y, C, B, M, R 색상도 마찬가지로, 채도 맵핑 함수는 협색역 sRGB 영상의 O부터 Y2, C2, B2, M2, R2까지의 채도 값과 대응되는 광색역 영상의 O부터 Y1, C1, B1, M1, R1까지의 채도 값을 나타낼 수 있다.

510 단계에서 획득된 보정 전 톤 맵핑 함수와 마찬가지로, 색상별 채도 맵핑 함수도 하나의 채도값과 대응되는 복수 개의 채도값이 존재할 수 있다. 채도 보정부(122)는 제1 영상의 하나의 입력 채도 값에 대응되는 제2 영상의 복수 개의 광색역 영상의 채도 값들에 기초하여 대표 값을 결정할 수 있다. 선택된 제2 영상의 대표 채도값들에 기초하여, 채도 보정부(122)는 채도 보정 함수가 일대일 대응관계를 갖도록 채도 보정 함수를 보정할 수 있다.

다시 도 7을 참조하면, 720 단계에서, 채도 보정부(122)는 710 단계에서 획득된 색상 별 채도 보정 함수에 기초하여, 제1 영상에 대해 채도 보정을 수행할 수 있다. 색역 보정 및 톤 맵핑이 수행되고, 채도 보정까지 수행된 제1 영상은 제2 영상에 더욱 가깝게 표현될 수 있다.

720 단계에서 채도 보정이 수행되면, 270 단계에서 메타데이터 생성부(140)는, 710 단계에서 획득된 채도 보정 함수를 포함하는 글로벌 메타데이터를 생성할 수 있다. 메타데이터 생성부(140)는 마스터링 의도에 따라 다른 방법으로 메타데이터를 생성할 수 있다. 제1 영상 및 제2 영상이 클리핑 방식에 따라 마스터링된 경우, 제1 영상의 채도값 중 제1 영상의 색역 내에 속하는 값은 제2 영상의 채도값과 동일한 값을 가질 수 있다. 따라서, 메타데이터 생성부(140)는 해당 픽셀의 채도 보정 게인 값이 1이 되도록 메타데이터를 생성할 수 있다. 반면, 제1 영상의 채도값 중 제1 영상의 색역 내에 속하지 않으나 제2 영상의 색역 내에 속하는 제1 영상의 채도값에 대하여는, 메타데이터 생성부(140)는 제2 영상의 해당 픽셀의 채도값에서 제1 영상의 해당 픽셀의 채도값을 나눈 값인 게인 값을 포함하는 메타 데이터를 생성할 수 있다. 또한, 디바이스(100)는 제1 영상 및 제2 영상이 컴프레션 방식에 따라 마스터링된 경우, 제2 영상의 채도값에서 제1 영상의 채도값을 나눈 값인 게인 값을 포함하는 메타 데이터를 생성할 수 있다.

도 8은 영역 단위 컬러 맵핑의 흐름도이다.

810 단계에서, 영역 분할부(131)는 제2 영상의 색역 정보를 포함하는 스태틱 메타 데이터에 기초하여 색역 보정이 수행되고, 제2 영상과 색역 보정이 수행된 제1 영상 사이의 톤 맵핑 함수 및 채도 보정 함수가 포함된 글로벌 메타데이터에 기초하여 톤 맵핑 및 채도 보정이 수행된 제1 영상을 복수 개의 영역들로 분할할 수 있다. 즉, 810 단계의 복수 개의 영역들은 색역 보정, 톤 맵핑 및 채도 보정이 수행된 제1 영상으로부터 분할될 수 있다. 그러나, 제1 영상 및 제2 영상의 색역이 일치하는 경우 색역 보정이 수행되지 않으므로, 810 단계의 복수 개의 영역들은 톤 맵핑 및 채도 보정이 수행된 제1 영상으로부터 분할될 수 있다. 또는, 제1 영상에 대해 톤 맵핑 및 채도 보정이 수행되지 않은 경우, 810 단계의 복수 개의 영역들은 색역 보정만이 수행된 제1 영상으로부터 분할될 수 있다. 또는, 제1 영상에 대해 채도 보정이 수행되지 않은 경우, 810 단계의 복수 개의 영역들은 색역 보정 및 톤 맵핑이 수행된 제1 영상으로부터 분할될 수 있다.

먼저, 영역 분할부(131)는 시간 축으로 학습된 배경 모델에 기초하여, 제1 영상을 전경 영역 및 배경 영역으로 분할할 수 있다. 예를 들어, 하나의 신 내에서 시간이 지남에 따라 색상 정보의 변동이 상대적으로 적은 픽셀은 배경 영역으로 분류되고, 하나의 신 내에서 시간이 지남에 따라 색상 정보의 변동이 상대적으로 큰 픽셀은 전경 영역으로 분류될 수 있다. 시간에 따라 변동이 많은 픽셀 및 영역은 움직임이 많은 대상체(object)로 전경 영역에 해당할 확률이 높다.

다음으로, 영역 분할부(131)는 전경 영역 및 배경 영역을 복수 개의 세부적인 영역들로 분할할 수 있다. 구체적으로, 영역 분할부(131)는 픽셀들의 공간적 인접성에 기초하여 전경 영역을 복수 개의 세부 영역들로 분할하고, 배경 영역을 복수 개의 세부 영역들로 분할할 수 있다. 예를 들어, 하나의 세부 영역의 너비 및 높이는 임계 픽셀 거리 내로 제한될 수 있다. 또는, 하나의 세부 영역의 넓이는 임계값 내로 제한될 수 있다. 또한, 영역 분할부(131)는 픽셀들의 컬러 유사도에 기초하여, 전경 영역을 복수 개의 세부 영역들로 분할하고, 배경 영역을 복수 개의 세부 영역들로 분할할 수 있다. 예를 들어, 하나의 세부 영역에 포함되는 픽셀들의 RGB 값은 임계 범위 내로 제한될 수 있다. 또는, 하나의 세부 영역에 포함되는 픽셀들은 임계 색역 내에서 표현될 수 있다. 영역 분할부(131)는 픽셀들의 공간적 인접성 및 컬러 유사도에 기초하여, 제1 영상의 콘텐츠를 분류할 수 있다.

영역 컬러 맵핑부(132)는 810 단계에서 획득된 제1 영상의 복수 개의 영역들에 대한 컬러 맵핑 함수를 획득할 수 있다. 구체적으로, 영역 컬러 맵핑부(132)는 제1 영상으로부터 분할된 복수 개의 영역들과 제2 영상으로부터 분할된 복수 개의 영역들을 서로 비교하여, 제1 영상의 복수 개의 영역들 각각에 대한 컬러 맵핑 함수를 획득할 수 있다.

820 단계에서, 영역 컬러 맵핑부(132)는 제1 영상으로부터 분할된 복수 개의 영역들 중 제1 영역 내 픽셀의 컬러 정보와, 제1 영역에 대응되는 제2 영상으로부터 분할된 영역 내 픽셀의 컬러 정보를 비교하여 제1 영역의 컬러 맵핑 함수를 획득할 수 있다. 여기서, 제1 영상의 제1 영역과 제1 영역에 대응되는 제2 영상의 영역은 동일한 위치에 존재하고, 동일한 컨텐츠를 포함할 수 있다. 510 단계에서 획득된 보정 전 톤 맵핑 함수와 마찬가지로, 제1 영역의 컬러 맵핑 함수도 하나의 입력 컬러 정보에 대응되는 복수 개의 컬러 정보가 존재할 수 있다. 영역 컬러 맵핑부(132)는 제1 영상 내 제1 영역의 하나의 입력 컬러 정보에 대응되는 제2 영상 내 영역의 복수 개의 컬러 정보에 기초하여 대표 값을 결정할 수 있다. 따라서, 영역 컬러 맵핑부(132)는 컬러 맵핑 함수가 일대일 대응관계를 갖도록 컬러 맵핑 함수를 보정할 수 있다.

830 단계에서, 영역 컬러 맵핑부(132)는 제1 영상으로부터 분할된 제2 영역 내 픽셀의 컬러 정보와, 제2 영역에 대응되는 제2 영상으로부터 분할된 영역 내 픽셀의 컬러 정보를 비교하여, 제2 영역의 컬러 맵핑 함수를 획득할 수 있다. 820 단계에서 전술한 바와 같이, 영역 컬러 맵핑부(132)는 제2 영역의 컬러 맵핑 함수가 일대일 대응 관계를 갖도록 제2 영역의 컬러 맵핑 함수를 보정할 수 있다.

여기서, 제1 영역 또는 제2 영역 내 픽셀의 컬러 정보란, 픽셀의 HSV의 컬러 성분인 색상(Hue) 채도(Saturation) 및 명도(Value)와 색온도 값을 포함할 수 있다. 그러나, 픽셀의 컬러 정보는 이에 한정되지 않으며, RGB, YCbCr 와 같은 다양한 컬러 성분을 포함할 수 있다. 영역 컬러 맵핑부(132)는 제1 영상의 제1 영역의 색상, 채도, 명도 및 색온도 값과 제1 영역에 대응되는 제2 영상의 영역의 색상, 채도, 명도 및 색온도 값 사이의 차분값 또는 맵핌 함수를 획득할 수 있다.

제1 영역의 컬러 정보와 제1 영역에 대응되는 제2 영상의 영역의 컬러 정보 사이에 차이가 없는 경우, 제1 영역에 대해서는 스태틱 메타데이터를 이용한 색역 보정, 글로벌 메타데이터를 이용한 톤 맵핑 및 채도 보정 이외에 로컬 메타데이터를 이용한 추가적인 영역 단위 컬러 맵핑이 수행되지 않는다. 반면에, 제1 영역의 컬러 정보와 제1 영역에 대응되는 제2 영상의 영역의 컬러 정보 사이에 차이가 있는 경우, 제1 영역에 대해서는 스태틱 메타데이터를 이용한 색역 보정, 글로벌 메타데이터를 이용한 톤 맵핑 및 채도 보정 이외에 로컬 메타데이터를 이용한 추가적인 영역 단위 컬러 맵핑이 수행될 수 있다. 영삭 제작자가 제1 영상으로부터 분할된 소정의 영역에 대해 추가적인 마스터링을 수행하는 경우, 영역 단위 컬러 맵핑이 존재할 수 있다.

840 단계에서, 유사 영역 설정부(133)는 820 단계에서 획득된 제1 영역의 컬러 맵핑 함수와 830 단계에서 획득된 제2 영역의 컬러 맵핑 함수를 비교하여, 제1 영역 및 제2 영역을 유사 컬러 맵핑 영역으로 설정할 수 있다.

810 단계에서 제1 영상으로부터 분할된 제1 영역과 제2 영역은 서로 다른 컨텐츠를 포함할 수 있지만, 제1 영역에 적용된 영역 단위 컬러 맵핑 함수와 제2 영역에 적용된 영역 단위 컬러 맵핑 함수는 서로 동일하거나 유사할 수 있다. 예를 들어, 제1 영역이 사람의 눈이고, 제2 영역이 사람의 코인 경우, 영상 제작자는 사람의 눈 및 코에 대해 동일한 컬러 보정을 수행할 수 있다. 이 경우, 제1 영역인 눈에 적용된 컬러 맵핑 함수와 제2 영역이 코에 적용된 컬러 맵핑 함수는 서로 동일할 수 있고, 유사 영역 설정부(133)는 제1 영역인 눈과 제2 영역인 코를 유사 컬러 맵핑 영역으로 설정할 수 있다. 반면, 제1 영역인 눈에 적용된 컬러 맵핑 함수와 제2 영역인 코에 적용된 컬러 맵핑 함수가 서로 상이한 경우, 제1 영역과 제2 영역은 서로 다른 유사 영역으로 설정될 수 있다.

유사 영역 설정부(133)는 제1 영역의 영역 단위 컬러 맵핑 함수에서 대표값을 추출하고, 제2 영역의 영역 단위 컬러 맵핑 함수의 대표값을 추출하여 서로 비교하고, 제1 영역과 제2 영역을 유사 컬러 맵핑 영역으로 설정할지 여부를 결정할 수 있다. 예를 들어, 유사 영역 설정부(133)는 색상, 채도, 명도 및 색온도의 중간값들을 제1 영역의 컬러 맵핌 함수의 입력으로 설정할 때 출력되는 값을 색상, 채도, 명도 및 색온도의 중간값들을 제2 영역의 컬러 맵핌 함수의 입력으로 설정할 때 출력되는 값과 서로 비교할 수 있다.

850 단계에서, 유사 영역 설정부(133)는 820 단계에서 획득된 제1 영역의 컬러 맵핑 함수 및 830 단계에서 획득된 제2 영역의 컬러 맵핑 함수에 기초하여 840 단계에서 설정된 유사 영역의 컬러 맵핑 함수를 획득할 수 있다. 예를 들어, 유사 영역 설정부(133)는 제1 영역의 컬러 맵핑 함수 또는 제2 영역의 컬러 맵핑 함수를 유사 컬러 맵핑 영역의 컬러 맵핑 함수로 설정할 수 있다. 또는 유사 영역 설정부(133)는 수학식 3과 같이, 제1 영역의 컬러 맵핑 함수 및 제2 영역의 컬러 맵핑 함수의 평균 값을 유사 컬러 맵핑 영역의 컬러 맵핑 함수로 설정할 수 있다.

수학식 3에서 입력값 x는 픽셀의 컬러 정보에 해당할 수 있다. 또한, SR(x)는 유사 컬러 맵핑 영역의 컬러 맵핑 함수, R1(x)는 제1 영역의 컬러 맵핑 함수, R2(x)는 제2 영역의 컬러 맵핑 함수에 해당할 수 있다.

유사 영역 설정부(133)는 유사 컬러 맵핑 영역의 컬러 맵핑 함수와 위치 정보를 메타데이터 생성부(140)에게 전송할 수 있다. 유사 컬러 맵핑 영역의 위치 정보를 설정하는 방법에 대해서는 이하 도 9 내지 도 10을 참조하여 상세히 설명한다.

메타데이터 생성부(140)는 제1 영상으로부터 분할된 복수 개의 영역들 중, 추가적인 컬러 맵핑이 수행된 영역에 대한 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 생성할 수 있다.

도 9는 유사 컬러 맵핑 영역의 컬러 맵핑 함수 및 위치 정보를 획득하는 동작을 설명하기 위한 도면이다.

도 9에 도시된 제1 영상(910)은 제2 영상(970)의 색역 정보를 포함하는 스태틱 메타데이터에 기초하여 색역 보정이 수행되고, 색역이 보정된 제1 영상(910)과 제2 영상(970) 사이의 톤 맵핑 함수 및 채도 보정 함수를 포함하는 글로벌 메타데이터에 기초하여 톤 맵핑 및 채도 보정이 수행된 결과일 수 있다. 예를 들어, 색역 보정, 톤 맵핑 및 채도 보정된 협색역 LDR 제1 영상(910)은 타겟 디스플레이인 소비자 디스플레이 상에서 광색역 HDR 제2 영상(970)에 가깝게 디스플레이 될 수 있다.

영역 분할부(131)는 제1 영상(910)을 전경 영역(920) 및 배경 영역으로 분할할 수 있다. 영역 분할부(131)는 시간 축으로 학습된 배경 모델에 기초하여, 제1 영상(910)의 콘텐츠로부터 전경 영역(920)인 인물을 추출할 수 있다. 또한, 영역 분할부(131)는 제1 영상(910)의 전경 영역(920) 및 배경 영역을 복수 개의 세부 영역들(931, 932, 933)로 분할할 수 있다. 예를 들어, 영역 분할부(131)는 제1 영상(910)의 전경 영역(920)인 인물 내 픽셀들의 공간적 인접성 및 컬러 유사도에 기초하여, 인물을 머리카락, 얼굴, 목, 몸통 등으로 분할할 수 있다.

또한, 영역 분할부(131)는 제1 영상(910)에 적용된 동일한 방법으로, 제2 영상(970)을 전경 영역(980) 및 배경 영역으로 분할하고, 전경 영역(980) 및 배경 영역을 복수 개의 세부 영역들(991, 992, 993)로 분할할 수 있다. 그러나, 영역 분할부(131)는 제2 영상(970)을 다시 분할할 필요 없이, 제1 영상(910)으로부터 분할된 복수 개의 영역들(931, 932, 933)의 위치 정보에 기초하여 제1 영상(910) 내 복수 개의 영역들(931, 932, 933)에 대응되는 제2 영상(970) 내 복수 개의 영역들(991, 992, 993)을 획득할 수 있다.

영역 컬러 맵핑부(132)는 제1 영상으로부터 분할된 복수 개의 영역들(931, 932, 933)과 제2 영상으로부터 분할된 복수 개의 영역들(991, 992, 993)을 비교하여, 영역 단위 컬러 맵핑 함수를 획득할 수 있다. 예를 들어, 영역 컬러 맵핑부(132)는 제1 영상의 제1 영역(931)인 눈의 색상, 채도, 명도 및 색온도와, 제1 영역(931)에 대응되는 제2 영상(970)의 영역(991)인 눈의 색상, 채도, 명도 및 색온도를 비교하고, 영상 제작자가 색역 보정, 신 단위 톤 맵핑 및 채도 보정 이외에 제1 영상(910)의 머리카락에 대해 추가적인 컬러 맵핑을 수행하였는지를 판단할 수 있다. 또는, 영역 컬러 맵핑부(132)는 제1 영상의 제2 영역(932)인 머리카락의 색상, 채도, 명도 및 색온도와 제2 영역(932)에 대응되는 제2 영상(970)의 영역(992)인 머리카락의 색상, 채도, 명도 및 색온도를 비교하고, 영상 제작자가 제1 영상(910)의 머리카락에 대해 추가적인 컬러 맵핑을 수행하였는지를 판단할 수 있다.

유사 영역 설정부(133)는 제1 영상(910)으로부터 분할된 복수 개의 영역들(931, 932, 933) 중 제1 영역(931)의 컬러 맵핑 함수 및 제2 영역(932)의 컬러 맵핑 함수에 기초하여, 제1 영역(931) 및 제2 영역(932)을 포함하는 유사 컬러 맵핑 영역(941)을 설정할 수 있다. 유사 영역 설정부(133)는 동일한 혹은 유사한 컬러 맵핑이 수행된 제1 영상 내 복수 개의 영역들을 하나의 유사 컬러 맵핑 영역으로 설정할 수 있다.

예를 들어, 유사 영역 설정부(133)는 제1 영상(910)으로부터 분할된 복수 개의 영역들(931, 932, 933)과 제2 영상(970)으로부터 분할된 복수 개의 영역들(991, 992, 993) 사이의 컬러 맵핑 함수에 기초하여, 제1 영상(910)으로부터 분할된 복수 개의 영역들(931, 932, 933)을 인물에 해당하는 제1 유사 컬러 맵핑 영역(941), 벽에 해당하는 제2 유사 컬러 맵핑 영역(942), 문에 해당하는 제3 컬러 맵핑 영역(943), 창문에 해당하는 제4 컬러 맵핑 영역(944)로 분류할 수 있다. 따라서, 인물에 해당하는 제1 유사 컬러 맵핑 영역(941) 내 머리카락, 눈, 코 등에 해당하는 복수 개의 영역들(931, 932)에 대해서 동일한 혹은 유사한 컬러 맵핑이 적용될 수 있다.

유사 영역 설정부(133)는 하나의 유사 컬러 맵핑 영역(941, 942, 943, 또는 944)에 포함된 복수 개의 영역들에 기초하여, 유사 컬러 맵핑 영역(941, 942, 943, 또는 944)의 컬러 맵핑 함수를 획득할 수 있다. 예를 들어, 유사 영역 설정부(133)는 제1 유사 컬러 맵핑 영역(941)에 포함된 제1 영역(931)의 컬러 맵핑 함수 및 제2 영역(932)의 컬러 맵핑 함수에 기초하여, 제1 유사 컬러 맵핑 영역(941)의 컬러 맵핑 함수를 설정할 수 있다.

또한, 유사 영역 설정부(133)는 제1 영상으로부터 분할된 복수 개의 영역들(931, 932, 933) 중 서로 인접하는 영역들을 유사 컬러 맵핑 영역으로 설정할 수 있다. 예를 들어, 유사 영역 설정부(133)는 제1 영역(931) 및 제1 영역(931)에 공간적으로 인접한 제2 영역(932)을 제1 유사 컬러 맵핑 영역(941)으로 설정할 수 있다. 또한, 유사 영역 설정부(133)는 제2 영역(932)에 인접하는 제3 영역(933)의 컬러 맵핑 함수를 제1 유사 컬러 맵핑 영역(941)의 컬러 맵핑 함수와 비교하여, 제1 영역(931), 제2 영역(932) 및 제3 영역(933)을 제1 유사 컬러 맵핑 영역으로 설정하거나, 제3 영역(933)부터 새로운 유사 컬러 맵핑 영역을 설정할 수 있다. 예를 들어, 도 9를 참조하면, 벽에 해당하는 제3 영역(933)의 컬러 맵핑 함수는 제1 유사 컬러 맵핑 영역(941)의 컬러 맵핑 함수와 유사하지 않으므로, 제3 영역(933)은 제1 유사 컬러 맵핑 영역(941)에 포함되지 않고, 제2 유사 컬러 맵핑 영역(942)으로 설정될 수 있다.

유사 영역 설정부(133)는 제1 영상(910)으로부터 분할된 복수 개의 유사 컬러 맵핑 영역들(941, 942, 943, 944)의 위치 정보 및 컬러 맵핑 함수를 메타데이터 생성부(140) 전송할 수 있다.

메타데이터 생성부(140)는 제1 영상(910) 내 유사 컬러 맵핑 영역들(941, 942, 943, 944)의 위치 정보를 포함하는 로컬 메타데이터를 생성할 수 있다. 메타데이터 생성부(140)는 데이터의 양을 최소화하기 위하여, 유사 컬러 맵핑 영역들(941, 942, 943, 944)의 위치 정보를 바운딩 박스 형태로 생성할 수 있다.

구체적으로, 유사 컬러 맵핑 영역(941, 942, 943 또는 944)의 크기 및 형태에 기초하여, 메타데이터 생성부(140)는 유사 컬러 맵핑 영역(941, 942, 943 또는 944)의 위치를 적어도 하나의 바운딩 박스의 위치 좌표로 생성할 수 있다. 예를 들어, 제1 영상(910)으로부터 분류된 제1 유사 컬러 맵핑 영역(941)인 인물의 위치 정보는, 제1 유사 컬러 맵핑 영역(941)을 포함하는 네개의 바운딩 박스(951)에 대한 위치 좌표로 생성될 수 있다. 또한, 제1 영상(910)으로부터 분류된 제3 유사 컬러 맵핑 영역(943)인 문의 위치 정보는, 제3 유사 컬러 맵핑 영역(943)을 포함하는 하나의 바운딩 박스(953)에 대한 위치 좌표로 생성될 수 있다. 또한, 제1 영상(910)으로부터 분류된 제4 유사 컬러 맵핑 영역(944)인 창문은, 제4 유사 컬러 맵핑 영역(944)을 포함하는 두개의 바운딩 박스(954)에 대한 위치 좌표로 생성될 수 있다. 그러나, 제1 영상(910)으로부터 분류된 제2 유사 컬러 맵핑 영역(942)인 벽은 추가적인 컬러 맵핑이 수행되지 않아 바운딩 박스가 생성되지 않을 수 있다. 바운딩 박스들(951, 953, 954)에 대한 구체적인 설명은 이하 도 10을 참조하여 상세히 설명한다.

또한, 메타데이터 생성부(140)는 바운딩 박스들(951, 953, 954)의 위치 좌표 이외에, 바운딩 박스들(951, 953, 954)의 인덱스 정보를 생성할 수 있다. 바운딩 박스들(951, 953, 954)의 인덱스 정보는 바운딩 박스들(951, 953, 954)이 제1 영상(910)으로부터 분류된 복수 개의 유사 컬러 맵핑 영역들(941, 942, 943, 944) 중 어떤 유사 컬러 맵핑 영역에 해당하는지를 나타낼 수 있다. 예를 들어, 제1 유사 컬러 맵핑 영역(941)에 대응하는 네개의 바운딩 박스(951)들의 인덱스 정보는 1에 해당하고, 제3 유사 컬러 맵핑 영역(943)에 대응하는 하나의 바운딩 박스(953)의 인덱스 정보는 3에 해당하고, 제4 유사 컬러 맵핑 영역(944)에 대응하는 두개의 바운딩 박스(954)의 인덱스 정보는 4에 해당할 수 있다.

메타데이터 생성부(140)는 제1 영상(910) 내 유사 컬러 맵핑 영역들(941, 942, 943, 944)의 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 생성할 수 있다. 바운딩 박스들(951, 953, 954)의 인덱스 정보와 같이, 메타데이터 생성부(140)는 영역 단위 컬러 맵핑 함수에 대한 인덱스 정보를 생성할 수 있다. 영역 단위 컬러 맵핑 함수의 인덱스 정보는 영역 단위 컬러 맵핑 함수가 제1 영상(910)으로부터 분류된 복수 개의 유사 컬러 맵핑 영역들(941, 942, 943, 944) 중 어떤 유사 컬러 맵핑 영역에 해당하는지를 나타낼 수 있다. 예를 들어, 제1 유사 컬러 맵핑 영역(941)에 대응하는 영역 단위 컬러 맵핑 함수의 인덱스 정보는 1에 해당하고, 제3 유사 컬러 맵핑 영역(943)에 대응하는 영역 단위 컬러 맵핑 함수의 인덱스 정보는 3에 해당하고, 제4 유사 컬러 맵핑 영역(944)에 대응하는 영역 단위 컬러 맵핑 함수의 인덱스 정보는 4에 해당할 수 있다. 그러나, 제1 영상(910)으로부터 분류된 제2 유사 컬러 맵핑 영역(942)인 벽은 추가적인 컬러 맵핑이 수행되지 않아 컬러 맵핑 함수 및 인덱스가 생성되지 않을 수 있다.

도 10은 바운딩 박스의 일 실시예이다.

예를 들어, 메타데이터 생성부(140)에 의해 생성된 로컬 메타데이터는 제1 유사 컬러 맵핑 영역(941)에 대한 바운딩 박스(1010)의 좌측 상단 x, y 좌표(1020) 및 우측 하단 x, y 좌표(1030)를 포함할 수 있다. 바운딩 박스(1010)는 바운딩 박스(1010)의 좌측 상단 x, y 좌표(1020) 및 우측 하단 x, y 좌표(1030)를 연결하는 직사각형으로 복원될 수 있다.

또 다른 예로, 로컬 메타데이터는 제1 유사 컬러 맵핑 영역(941)에 대한 바운딩 박스(1010)의 적어도 하나의 x, y 좌표 및 바운딩 박스(1010)의 크기 정보(width, height)를 포함할 수 있다. 예를 들어, 바운딩 박스(1010)는 바운딩 박스(1010)의 꼭지점에 위치한 하나의 x, y 좌표(예를 들어, 좌측 상단 x, y 좌표(1020) 또는 우측 하단 x, y 좌표(1030)), 바운딩 박스(1010)의 너비 및 바운딩 박스(1010)의 높이에 기초하여 복원될 수 있다. 또 다른 예로, 바운딩 박스(1010)는 바운딩 박스(1010)의 중앙에 위치한 x, y 좌표(1040), 바운딩 박스(1010)의 너비의 절반값 및 바운딩 박스(1010)의 높이의 절반값에 기초하여 복원될 수 있다.

메타데이터 생성부(140)는 바운딩 박스(1010)에 대한 위치 정보 및 크기 정보를 이용하여, 제1 유사 컬러 맵핑 영역(941)의 위치 정보를 지시하는 데이터의 양을 최소화 할 수 있다.

도 11은 영상 인코딩 장치의 블록도이다.

영상 인코딩 장치(1100)는 입력부(1110), 제어부(1120), 디스플레이부(1130), 통신부(1150) 및 메모리(1140)를 포함할 수 있다. 도 11에 도시된 영상 인코딩 장치(1100)의 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도 11에 도시된 구성요소보다 많은 구성 요소에 의해 영상 인코딩 장치(1100)가 구현될 수 있고, 도 11에 도시된 구성요소보다 적은 구성 요소에 의해 영상 인코딩 장치(1100)가 구현될 수 있다.

입력부(1110)는 영상을 입력 받을 수 있다. 예를 들어, 입력부(1110)는 도 1 내지 도 10을 통해 전술한 제1 영상 및 제2 영상을 입력 받을 수 있다. 예를 들어, 입력부(1110)는 제1 영상 및 제2 영상을 포함하는 CD, DVD, USB 등과 같은 기록 매체를 입력 받을 수 있다.

제어부(1120)는 적어도 하나의 프로세서를 포함할 수 있으며, 영상 인코딩 장치(1100)의 전반적인 동작을 제어할 수 있다. 제어부(1120)는 도 1 내지 도 10을 통해 전술한 메타데이터 생성 장치(100)를 포함할 수 있다. 예를 들어, 제어부(1120)는 제2 영상에 기초하여, 제1 영상에 대한 색역 보정, 톤 맵핑, 채도 보정 및 영역 단위 컬러 맵핑을 수행할 수 있다.

디스플레이부(1130)는 영상 인코딩 장치(1100)의 입력 영상을 디스플레이 할 수 있다. 예를 들어, 디스플레이부(1130)는 제1 영상의 원본 영상, 색역 보정, 톤 맵핑, 채도 보정 및 영역 단위 컬러 맵핑이 수행된 제1 영상 및 제2 영상을 디스플레이 할 수 있다.

메모리(1140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

통신부(1150)는, 영상 인코딩 장치(1100)와 외부 디바이스 또는 영상 인코딩 장치(1100)와 서버 간에 데이터 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1150)는, 입력부(1110)로부터 입력 받은 제1 영상과 함께 도 1 내지 도 10을 통해 전술한 스태틱 메타데이터, 글로벌 메타데이터 및 로컬 메타데이터를 서버로 전송할 수 있다. 통신부(1150)는 외부 서버로부터 제1 영상 및 제2 영상을 수신할 수 있다.

도 12는 영상 처리 장치의 블록도이다.

영상 처리 장치(1200)는 스태틱 맵핑부(1210), 글로벌 맵핑부(1220) 및 로컬 맵핑부(1230)를 포함할 수 있다. 또한, 영상 처리 장치(1200)는 스태틱 메타데이터, 글로벌 메타데이터, 로컬 메타데이터 중 적어도 하나를 포함하는 메타데이터를 수신하고, 수신된 메타데이터에 기초하여 제1 영상을 보정할 수 있다.

스태틱 맵핑부(1210)는 색역 보정부(1211)를 포함할 수 있다. 색역 보정부(1211)는 스태틱 메타데이터에 포함된 제2 영상의 색역 정보에 기초하여, 제1 영상의 색역을 보정할 수 있다. 예를 들어, 색역 보정부(1211)는 스태틱 메타데이터에 포함된 제2 영상의 광색역 정보에 따라 협색역 제1 영상의 색역을 보정하거나, 스태틱 메타데이터에 포함된 제2 영상의 협색역에 따라 광색역 제1 영상의 색역을 보정할 수 있다. 화이트 포인트 및 프라이머리 컬러 좌표와 같은 색역이 변환되면, 동일한 컬러 좌표에서의 영상의 색상이 달라질 수 있다. 따라서, 영상 처리 장치(1200)는 제1 영상의 다이나믹 레인지를 변환하기 전에, 제1 영상의 색역을 제2 영상의 색역을 기준으로 보정하여 색역이 서로 다름에 따라 발생할 수 있는 오류를 방지할 수 있다.

제1 영상의 색역 정보와 제2 영상의 생역 정보가 상이한 경우, 색역 보정부(1211)는 제1 영상의 색역을 보정할 수 있다. 반면, 제1 영상의 색역 정보와 제2 영상의 색역 정보가 동일한 경우, 색역 보정부(1211)는 제1 영상의 색역 보정을 생략할 수 있다.

색역 보정부(1211)는 스태틱 메타데이터에 포함된 제1 영상의 색역 정보를 획득할 수 있다. 그러나, 스태틱 메타데이터가 제1 영상의 색역 정보를 포함하지 않는 경우, 색역 보정부(1211)는 제1 영상을 분석하여 제1 영상의 색역 정보를 직접 획득할 수 있다. 또한, 스태틱 메타데이터가 제2 영상의 색역 정보를 포함하지 않는 경우, 색역 보정부(1211)는 영상 처리 장치(1200)에 미리 저장된 제2 영상의 색역 정보를 이용하여, 제1 영상의 색역을 보정할 수 있다.

글로벌 맵핑부(1220)는 톤 맵핑부(1221) 및 채도 보정부(1222)를 포함할 수 있다. 톤 맵핑부(1221)는 글로벌 메타데이터에 포함된 톤 맵핑 함수에 기초하여 제1 영상에 대해 톤 매핑을 수행하고, 채도 보정부(1222)는 글로벌 메타데이터에 포함된 채도 보정 함수에 기초하여 제1 영상에 대해 채도 보정을 수행할 수 있다. 예를 들어, 톤 맵핑부(1221)는 글로벌 메타데이터에 포함된 톤 맵핑 함수에 기초하여, LDR 또는 SDR 제1 영상의 다이나믹 레인지를 넓히거나, HDR 제1 영상의 다이나믹 레인지를 좁힐 수 있다. 글로벌 맵핑부(1220)는 스태틱 맵핑부(1210)에 의해 제2 영상의 색역과 색역이 일치된 제1 영상을 이용함으로써, 더욱 효율적인 톤 맵핑 및 채도 보정을 수행할 수 있다.

글로벌 맵핑부(1220)는 글로벌 메타데이터에 포함된 신 단위(scene-wise) 톤 맵핑 함수 및 신 단위 채도 보정 함수에 기초하여, 제1 영상에 대해 톤 맵핑 및 채도 보정을 수행할 수 있다. 글로벌 메타데이터는 신 단위로 설정될 수 있으며, 하나의 신 내에 포함된 모든 프레임에 대해 적용될 수 있다. 하나의 신에 포함된 프레임들은 글로벌 메타데이터에 포함된 동일한 톤 맵핑 함수 및 채도 보정 함수를 참조할 수 있으며, 서로 다른 신에 포함된 프레임들은 메타데이터에 포함된 서로 다른 톤 맵핑 함수 및 채도 보정 함수를 참조할 수 있다.

로컬 맵핑부(1230)는 제1 영상으로부터 분할된 복수 개의 영역들에 대해 추가적인 컬러 맵핑이 수행되었는지를 판단할 수 있다. 영상 제작자가 글로벌 맵핑 이외에 영상의 일부 영역에 대하여 세부적인 컬러 보정을 수행한 경우, 로컬 맵핑부(1230)는 로컬 메타데이터로부터 제1 영상의 해당 영역의 컬러 맵핑 함수를 획득할 수 있다.

구체적으로, 로컬 맵핑부(1230)는 유사 영역 복원부(1231) 및 영역 컬러 맵핑부(1232)를 포함할 수 있다. 유사 영역 복원부(1231) 및 영역 컬러 맵핑부(1232)의 동작에 대해서는 이하, 도 13 내지 도 14를 참조하여 상세히 설명한다.

로컬 메타데이터는 하나의 신 내 영역 단위(region-wise)로 설정될 수 있으며, 하나의 신에 포함된 모든 프레임들의 해당 영역에 대해 적용될 수 있다. 하나의 신에 포함된 프레임들의 동일한 영역들은 로컬 메타데이터 내의 동일한 컬러 맵핑 함수를 참조할 수 있으며, 하나의 신에 포함된 프레임들의 서로 다른 영역들은 로컬 메타데이터 내의 서로 다른 컬러 맵핑 함수를 참조할 수 있다.

도 12에 도시된 영상 처리 장치(1200)의 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도 12에 도시된 구성요소보다 많은 구성 요소에 의해 영상 처리 장치(1200)가 구현될 수 있고, 도 12에 도시된 구성요소보다 적은 구성 요소에 의해 영상 처리 장치(1200)가 구현될 수 있다. 예를 들어, 영상 처리 장치(1200)는 스태틱 맵핑부(1210), 글로벌 맵핑부(1220) 및 로컬 맵핑부(1230)의 동작을 모두 수행할 수 있는 적어도 하나의 프로세서를 포함할 수 있다. 또한, 영상 처리 장치(1200)는 스태틱 맵핑부(1210), 글로벌 맵핑부(1220) 및 로컬 맵핑부(1230) 각각에 대응되는 복수 개의 프로세서들을 포함할 수 있다.

도 13은 영상 맵핑 방법의 흐름도이다.

1310 단계에서, 색역 보정부(1211)는 스태틱 메타데이터에 포함된 제2 영상의 색역 정보에 기초하여, 제1 영상의 색역을 보정할 수 있다. 제1 영상과 제2 영상의 색역 정보가 서로 일치하는 경우, 제1 영상의 색역은 바이패스 될 수 있고, 1310 단계의 동작은 생략될 수 있다.

1320 단계에서, 톤 맵핑부(1221)는 글로벌 메타데이터에 포함된 톤 맵핑 함수에 기초하여, 1310 단계에서 색역이 보정된 제1 영상에 대해 톤 맵핑을 수행할 수 있다. 제1 영상과 제2 영상의 다이나믹 레인지가 일치하는 경우, 제1 영상의 휘도 성분은 바이패스 될 수 있고, 1320 단계의 동작은 생략될 수 있다.

1330 단계에서, 채도 보정부(1222)는 글로벌 메타데이터에 포함된 채도 보정 함수에 기초하여, 1320 단계에서 톤 맵핑된 제1 영상에 대해 채도 보정을 수행할 수 있다. 제1 영상과 제2 영상의 채도 성분이 일치하는 경우, 제1 영상의 채도 성분은 바이패스 될 수 있고, 1340 단계의 동작은 생략될 수 있다.

1340 단계에서, 로컬 맵핑부(1230)는 1320 단계에서 톤 맵핑된 제1 영상 또는 1330 단계에서 추가적으로 채도 보정이 수행된 제1 영상을 로컬 메타데이터에 기초하여 복수 개의 영역들로 분할하고, 각각의 영역에 대해 컬러 맵핑을 수행할 수 있다. 제1 영상으로부터 분할된 영역에 대해 추가적인 컬러 맵핑이 수행되지 않은 경우, 1340 단계는 생략될 수 있다.

도 14는 영역 단위 컬러 맵핑의 흐름도이다.

1410 단계에서, 유사 영역 복원부(1231) 는 로컬 메타데이터에 포함된 유사 컬러 맵핑 영역의 위치 정보를 획득할 수 있다. 도 9 내지 도 10을 통해 전술한 바와 같이, 유사 컬러 맵핑 영역의 위치 정보는 유사 컬러 맵핑 영역에 대한 바운딩 박스의 위치 정보에 해당할 수 있다. 예를 들어, 로컬 메타데이터는 유사 컬러 맵핑 영역에 대한 바운딩 박스의 좌측 상단 x, y 좌표 및 우측 하단 x, y 좌표를 포함할 수 있다. 또 다른 예로, 로컬 메타데이터는 유사 컬러 맵핑 영역에 대한 바운딩 박스의 적어도 하나의 x, y 좌표 및 바운딩 박스의 크기 정보를 포함할 수 있다. 또 다른 예로, 로컬 메타데이터는 바운딩 박스의 중앙에 위치한 x, y 좌표, 바운딩 박스의 너비의 절반값 및 바운딩 박스의 높이의 절반값을 포함할 수 있다.

1420 단계에서, 유사 영역 복원부(1231) 는 1410 단계에서 획득된 유사 컬러 맵핑 영역의 위치 정보에 기초하여, 제1 영상으로부터 유사 컬러 맵핑 영역을 복원할 수 있다. 유사 영역 복원부(1231) 는 제2 영상의 색역 정보를 포함하는 스태틱 메타 데이터에 기초하여 색역 보정이 수행되고, 제2 영상과 색역 보정이 수행된 제1 영상 사이의 톤 맵핑 함수 및 채도 보정 함수가 포함된 글로벌 메타데이터에 기초하여 톤 맵핑 및 채도 보정이 수행된 제1 영상으로부터 유사 컬러 맵핑 영역을 복원할 수 있다.

유사 컬러 맵핑 영역의 위치 정보가 유사 컬러 맵핑 영역에 대한 바운딩 박스의 위치 정보에 해당하는 경우, 유사 영역 복원부(1231) 는 먼저 바운딩 박스를 복원한 뒤, 유사 컬러 맵핑 영역을 복원할 수 있다.

예를 들어, 바운딩 박스는 로컬 메타데이터에 포함된 바운딩 박스의 좌측 상단 x, y 좌표 및 우측 하단 x, y 좌표를 연결하는 직사각형으로 복원될 수 있다. 또 다른 예로, 바운딩 박스는 로컬 메타데이터에 포함된 바운딩 박스의 꼭지점에 위치한 하나의 x, y 좌표(예를 들어, 좌측 상단 x, y 좌표 또는 우측 하단 x, y 좌표), 바운딩 박스의 너비 및 바운딩 박스의 높이에 기초하여 복원될 수 있다. 또 다른 예로, 바운딩 박스는 로컬 메타데이터에 포함된 바운딩 박스의 중앙에 위치한 x, y 좌표, 바운딩 박스의 너비의 절반값 및 바운딩 박스의 높이의 절반값에 기초하여 복원될 수 있다.

유사 영역 복원부(1231) 는 복원된 바운딩 박스 내 픽셀들의 공간적 인접성 및 컬러 유사도에 기초하여, 제1 영상으로부터 유사 컬러 맵핑 영역을 복원할 수 있다. 즉, 복원된 바운딩 박스 내의 불필요한 영역들을 제거하여 유사 컬러 맵핑 영역을 복원할 수 있다.

1430 단계에서, 유사 영역 복원부(1231) 는 로컬 메타데이터에 포함된 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 획득할 수 있다. 유사 컬러 맵핑 영역에 대해 추가적인 컬러 맵핑이 수행되지 않은 경우, 1430 단계는 생략될 수 있다.

1440 단계에서, 영역 컬러 맵핑부(1232)는 1430 단계에서 획득된 유사 컬러 맵핑 영역의 컬러 맵핑 함수에 기초하여 1420 단계에서 복원된 유사 컬러 맵핑 영역에 대해 컬러 맵핑을 수행할 수 있다.

도 15는 유사 컬러 맵핑 영역을 복원하는 동작을 설명하기 위한 도면이다.

유사 영역 복원부(1231) 는 로컬 메타데이터로부터 바운딩 박스들(1521, 1523, 1524)의 위치 정보 및 인덱스 정보를 획득할 수 있다. 바운딩 박스들(1521, 1523, 1524)의 인덱스 정보는 바운딩 박스들(1521, 1523, 1524)이 제1 영상(1510)으로부터 분류된 복수 개의 유사 컬러 맵핑 영역들(1541, 1542, 1543, 1544) 중 어떤 유사 컬러 맵핑 영역에 해당하는지를 나타낼 수 있다. 예를 들어, 제1 유사 컬러 맵핑 영역(1541)에 대응하는 네개의 바운딩 박스(1521)들의 인덱스 정보는 1에 해당하고, 제3 유사 컬러 맵핑 영역(1543)에 대응하는 하나의 바운딩 박스(1523)의 인덱스 정보는 3에 해당하고, 제4 유사 컬러 맵핑 영역(1544)에 대응하는 두개의 바운딩 박스(1524)의 인덱스 정보는 4에 해당할 수 있다. 그러나, 제1 영상(1510)으로부터 분류된 제2 유사 컬러 맵핑 영역(1542)인 벽은 추가적인 컬러 맵핑이 수행되지 않아 바운딩 박스가 생성되지 않을 수 있다.

유사 영역 복원부(1231) 는 바운딩 박스들(1521, 1523, 1524) 중 동일한 인덱스에 해당하는 바운딩 박스들을 결합하여, 제1 영상(1510)의 유사 컬러 맵핑 영역들을 복원할 수 있다. 구체적으로, 유사 영역 복원부(1231) 는 바운딩 박스 내 픽셀들의 공간적 인접성 및 컬러 유사도에 기초하여, 바운딩 박스 내에서 불필요한 영역들을 제거할 수 있다. 또한, 유사 영역 복원부(1231) 는 불필요한 영역들이 제거된 바운딩 박스들 중 인덱스 정보가 동일한 바운딩 박스들을 결합하여 제1 영상(1510)의 유사 컬러 맵핑 영역들(1541, 1542, 1543, 1544)을 복원할 수 있다.

영상 처리 장치(1200)가 로컬 메타데이터에 기초하여 제1 영상(1510)으로부터 복원한 유사 컬러 맵핑 영역들(1541, 1542, 1543, 1544)은, 도 9를 통해 전술한 메타데이터 생성 장치(100)가 제1 영상(910)으로부터 분할한 유사 컬러 맵핑 영역들(941, 942, 943, 944)에 각각 대응될 수 있다. 영상 처리 장치(1200)는 메타데이터 생성 장치(100)로부터 수신한 작은 용량의 로컬 메타데이터를 이용하여, 제1 영상(1510)으로부터 유사 컬러 맵핑 영역들(1541, 1542, 1543, 1544)을 신속하고 효율적으로 복원할 수 있다.

영역 컬러 맵핑부(1232)는 로컬 메타데이터로부터 획득된 영역 단위 컬러 맵핑 함수 및 영역 단위 컬러 맵핑 함수의 인덱스 정보에 기초하여, 제1 영상(1510)으로부터 분할된 유사 컬러 맵핑 영역들(1541, 1542, 1543, 1544)에 대해 영역 단위 컬러 맵핑을 수행할 수 있다. 바운딩 박스들(1521, 1523, 1524)의 인덱스 정보와 같이, 영역 단위 컬러 맵핑 함수의 인덱스 정보는 영역 단위 컬러 맵핑 함수가 제1 영상(1510)으로부터 복원된 복수 개의 유사 컬러 맵핑 영역들(1541, 1542, 1543, 1544) 중 어떤 유사 컬러 맵핑 영역에 해당하는지를 나타낼 수 있다.

따라서, 영역 컬러 맵핑부(1232)는 바운딩 박스들(1521, 1523, 1524)의 인덱스 정보 및 영역 단위 컬러 맵핑 함수의 인덱스 정보를 서로 매칭시켜서, 유사 컬러 맵핑 영역들(1541, 1542, 1543, 1544)에 대한 영역 단위 컬러 맵핑을 수행할 수 있다.

도 16은 영상 디코딩 장치의 블록도이다.

영상 디코딩 장치(1600)는 통신부(1610), 제어부(1620), 디스플레이부(1630) 및 메모리(1640)를 포함할 수 있다. 도 16에 도시된 영상 디코딩 장치(1600)의 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도 16에 도시된 구성요소보다 많은 구성 요소에 의해 영상 디코딩 장치(1600)가 구현될 수 있고, 도 16에 도시된 구성요소보다 적은 구성 요소에 의해 영상 디코딩 장치(1600)가 구현될 수 있다.

통신부(1610)는, 영상 디코딩 장치(1600)와 외부 디바이스 또는 영상 디코딩 장치(1600)와 서버 간에 데이터 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1610)는, 제1 영상과 함께 도 1 내지 도 10을 통해 전술한 스태틱 메타데이터, 글로벌 메타데이터 및 로컬 메타데이터를 수신할 수 있다.

제어부(1620)는 적어도 하나의 프로세서를 포함할 수 있으며, 영상 디코딩 장치(1600)의 전반적인 동작을 제어할 수 있다. 제어부(1620)는 도 11 내지 도 15를 통해 전술한 영상 처리 장치(1200)를 포함할 수 있다. 예를 들어, 제어부(1620)는 메타데이터에 기초하여, 제1 영상에 대한 색역 보정, 톤 맵핑, 채도 보정 및 영역 단위 컬러 맵핑을 수행할 수 있다.

디스플레이부(1630)는 영상 디코딩 장치(1600)의 입력 영상 또는 출력 영상을 디스플레이 할 수 있다. 예를 들어, 디스플레이부(1630)는 제1 영상의 원본 영상 및 색역 보정, 톤 맵핑, 채도 보정 및 영역 단위 컬러 맵핑이 수행된 제1 영상을 디스플레이 할 수 있다.

메모리(1640)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

본원에 개시된 메타데이터 생성 장치 및 방법, 메타데이터 기반 영상 처리 장치 및 방법에 따르면, 색역 보정, 톤 맵핑, 채도 보정 및 영역 단위 컬러 맵핑을 통해 입력 영상을 마스터링 의도에 따라 효과적으로 보정할 수 있다.

한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

제1 영상에 포함된 픽셀들의 정보와 제2 영상에 포함된 픽셀들의 정보에 기초하여, 상기 제1 영상 및 상기 제2 영상 사이의 톤 맵핑 함수 및 채도 보정 함수 중 적어도 하나를 획득하는 단계;
상기 톤 맵핑 함수 및 상기 채도 보정 함수 중 적어도 하나에 기초하여 상기 제1 영상을 보정하는 단계;
상기 톤 맵핑 함수 및 상기 채도 보정 함수 중 적어도 하나를 포함하는 글로벌 메타데이터를 생성하는 단계;
상기 보정된 제1 영상에 포함된 픽셀들의 공간적 인접성 및 컬러 유사도에 기초하여, 상기 보정된 제1 영상을 복수 개의 영역들로 분할하는 단계;
상기 복수 개의 영역들 중 제1 영역 내 픽셀의 컬러 정보와 상기 제1 영역 내 픽셀에 대응되는 상기 제2 영상 내 픽셀의 컬러 정보를 비교하여, 상기 제1 영역의 컬러 맵핑 함수를 획득하는 단계;
상기 복수 개의 영역들 중 제2 영역 내 픽셀의 컬러 정보와 상기 제2 영역 내 픽셀에 대응되는 상기 제2 영상 내 픽셀의 컬러 정보를 비교하여, 상기 제2 영역의 컬러 맵핑 함수를 획득하는 단계;
상기 제1 영역의 컬러 맵핑 함수와 상기 제2 영역의 컬러 맵핑 함수를 비교하여, 상기 제1 영역 및 상기 제2 영역을 유사 컬러 맵핑 영역으로 설정하는 단계;
상기 제1 영역의 컬러 맵핑 함수와 상기 제2 영역의 컬러 맵핑 함수에 기초하여, 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 획득하는 단계; 및
상기 보정된 제1 영상 내 상기 유사 컬러 맵핑 영역의 위치 정보 및 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 생성하는 단계를 포함하는 메타데이터 생성 방법.
제1 항에 있어서,
상기 보정된 제1 영상은 시간 축으로 학습된 배경 모델에 기초하여 전경 영역 및 배경 영역으로 분할되고,
상기 복수 개의 영역들은 상기 전경 영역 및 상기 배경 영역으로부터 분할되는 것을 특징으로 하는 메타데이터 생성 방법.
제1 항에 있어서,
상기 제1 영역 및 상기 제2 영역은 공간적으로 인접하는 것을 특징으로 하는 메타데이터 생성 방법.
제3 항에 있어서,
상기 복수 개의 영역들 중 상기 제2 영역에 인접하는 제3 영역 내 픽셀의 컬러 정보와 상기 제3 영역 내 픽셀에 대응되는 상기 제2 영상 내 픽셀의 컬러 정보를 비교하여, 상기 제3 영역의 컬러 맵핑 함수를 획득하는 단계; 및
상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수와 상기 제3 영역의 컬러 맵핑 함수를 비교하여, 상기 제1 영역 내지 상기 제3 영역을 상기 유사 컬러 맵핑 영역으로 설정하거나 상기 제3 영역을 새로운 유사 컬러 맵핑 영역으로 설정하는 단계를 더 포함하는 메타데이터 생성 방법.
제1 항에 있어서,
상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 적어도 하나의 바운딩 박스의 좌측 상단 x, y 좌표 및 우측 하단 x, y 좌표를 포함하는 것을 특징으로 하는 메타데이터 생성 방법.
제1 항에 있어서,
상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 바운딩 박스의 적어도 하나의 x, y 좌표 및 상기 바운딩 박스의 크기 정보를 포함하는 것을 특징으로 하는 메타데이터 생성 방법.
제1 항에 있어서,
상기 제2 영상의 색역(gamut) 정보 를 포함하는 스태틱 메타데이터를 생성하는 단계; 및
상기 제2 영상의 색역 정보에 기초하여 상기 제1 영상의 색역을 보정하는 단계를 더 포함하고,
상기 톤 맵핑 함수 및 채도 보정 함수 중 적어도 하나를 획득하는 단계는,
상기 색역이 보정된 제1 영상에 포함된 픽셀들의 정보와 상기 제2 영상에 포함된 픽셀들의 정보에 기초하여, 상기 제1 영상 및 상기 제2 영상 사이의 톤 맵핑 함수 및 채도 보정 함수 중 적어도 하나를 획득하는 단계를 포함하는 것을 특징으로 하는 메타데이터 생성 방법.
제1 항에 있어서,
상기 제2 영상의 색역 정보 를 포함하는 스태틱 메타데이터를 생성하는 단계; 및
상기 제2 영상의 색역 정보에 기초하여 상기 제1 영상의 색역을 보정하는 단계를 더 포함하고,
상기 톤 맵핑 함수 및 채도 보정 함수 중 적어도 하나를 획득하는 단계는,
상기 색역이 보정된 제1 영상에 포함된 픽셀의 휘도값과 상기 제2 영상에 포함된 픽셀의 휘도값에 기초하여, 상기 색역이 보정된 제1 영상 및 상기 제2 영상 사이의 톤 맵핑 함수를 획득하는 단계를 포함하고,
상기 제1 영상을 보정하는 단계는,
상기 톤 맵핑 함수에 기초하여 상기 색역이 보정된 제1 영상에 대해 톤 맵핑을 수행하는 단계를 포함하고,
상기 글로벌 메타데이터는 상기 톤 맵핑 함수를 포함하고,
상기 복수 개의 영역들은 상기 톤 맵핑된 제1 영상으로부터 분할되는 것을 특징으로 하는 메타데이터 생성 방법.
제8 항에 있어서,
상기 톤 맵핑 함수 및 채도 보정 함수 중 적어도 하나를 획득하는 단계는,
상기 톤 맵핑된 제1 영상에 포함된 픽셀의 채도값과 상기 제2 영상에 포함된 픽셀의 채도값에 기초하여, 상기 톤 맵핑된 제1 영상 및 상기 제2 영상 사이의 채도 보정 함수를 획득하는 단계를 더 포함하고,
상기 제1 영상을 보정하는 단계는,
상기 채도 보정 함수에 기초하여 상기 톤 맵핑된 제1 영상에 대해 채도 보정을 수행하는 단계를 더 포함하고,
상기 글로벌 메타데이터는 상기 채도 보정 함수를 더 포함하고,
상기 복수 개의 영역들은 상기 채도 보정된 제1 영상으로부터 분할되는 것을 특징으로 하는 메타데이터 생성 방법.
제1 영상 및 제2 영상 사이의 톤 맵핑 함수 및 채도 보정 함수 중 적어도 하나를 포함하는 글로벌 메타데이터를 수신하는 단계;
상기 톤 맵핑 함수 및 상기 채도 보정 함수 중 적어도 하나에 기초하여 상기 제1 영상을 보정하는 단계;
상기 보정된 제1 영상 내 유사 컬러 맵핑 영역의 위치 정보 및 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 수신하는 단계;
상기 유사 컬러 맵핑 영역의 위치 정보에 기초하여, 상기 보정된 제1 영상 내 상기 유사 컬러 맵핑 영역을 복원하는 단계; 및
상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수에 기초하여, 상기 복원된 유사 컬러 맵핑 영역 내 픽셀의 컬러 성분을 보정하는 단계를 포함하고,
상기 유사 컬러 맵핑 영역은, 상기 보정된 제1 영상이 분할된 복수 개의 영역들 내 픽셀들의 컬러 정보 및 상기 복수 개의 영역들에 대응되는 상기 제2 영상 내 픽셀들의 컬러 정보에 기초하여 설정된 것을 특징으로 하는 영상 처리 방법.
제10 항에 있어서,
상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 바운딩 박스의 좌측 상단 x, y 좌표 및 우측 하단 x, y 좌표를 포함하는 것을 특징으로 하는 영상 처리 방법.
제10 항에 있어서,
상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 바운딩 박스의 적어도 하나의 x, y 좌표 및 상기 바운딩 박스의 크기 정보를 포함하는 것을 특징으로 하는 영상 처리 방법.
제10 항에 있어서,
상기 제2 영상의 색역(gamut) 정보를 포함하는 스태틱 메타데이터를 수신하는 단계; 및
상기 제2 영상의 색역 정보에 기초하여 상기 제1 영상의 색역을 보정하는 단계를 더 포함하고,
상기 제1 영상을 보정하는 단계는,
상기 톤 맵핑 함수 및 상기 채도 보정 함수 중 적어도 하나에 기초하여, 상기 색역이 보정된 제1 영상을 보정하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제10 항에 있어서,
상기 제2 영상의 색역 정보를 포함하는 스태틱 메타데이터를 수신하는 단계; 및
상기 제2 영상의 색역 정보에 기초하여 상기 제1 영상의 색역을 보정하는 단계를 더 포함하고,
상기 글로벌 메타데이터를 수신하는 단계
상기 색역이 보정된 제1 영상 및 상기 제2 영상 사이의 톤 맵핑 함수를 포함하는 글로벌 메타데이터를 수신하는 단계를 포함하고,
상기 제1 영상을 보정하는 단계는,
상기 톤 맵핑 함수에 기초하여 상기 색역이 보정된 제1 영상에 대해 톤 맵핑을 수행하는 단계를 포함하고,
상기 유사 컬러 맵핑 영역은 상기 톤 맵핑된 제1 영상으로부터 복원되는 것을 특징으로 하는 영상 처리 방법.
제14 항에 있어서,
상기 제1 영상을 보정하는 단계는,
상기 글로벌 메타데이터에 포함된 상기 톤 맵핑된 제1 영상 및 상기 제2 영상 사이의 채도 보정 함수에 기초하여 상기 톤 맵핑된 제1 영상에 대해 채도 보정을 수행하는 단계를 더 포함하고;
상기 유사 컬러 맵핑 영역은 상기 채도 보정된 제1 영상으로부터 복원되는 것을 특징으로 하는 영상 처리 방법.
제1 영상 및 제2 영상을 입력 받는 입력부; 및
제어부를 포함하고,
상기 제어부는,
상기 제1 영상에 포함된 픽셀들의 정보와 상기 제2 영상에 포함된 픽셀들의 정보에 기초하여, 상기 제1 영상 및 상기 제2 영상 사이의 톤 맵핑 함수 및 채도 보정 함수 중 적어도 하나를 획득하고,
상기 톤 맵핑 함수 및 상기 채도 보정 함수 중 적어도 하나에 기초하여 상기 제1 영상을 보정하고,
상기 톤 맵핑 함수 및 상기 채도 보정 함수 중 적어도 하나를 포함하는 글로벌 메타데이터를 생성하고,
상기 보정된 제1 영상에 포함된 픽셀들의 공간적 인접성 및 컬러 유사도에 기초하여, 상기 보정된 제1 영상을 복수 개의 영역들로 분할하고,
상기 복수 개의 영역들 중 제1 영역 내 픽셀의 컬러 정보와 상기 제1 영역 내 픽셀에 대응되는 상기 제2 영상 내 픽셀의 컬러 정보를 비교하여 상기 제1 영역의 컬러 맵핑 함수를 획득하고,
상기 복수 개의 영역들 중 제2 영역 내 픽셀의 컬러 정보와 상기 제2 영역 내 픽셀에 대응되는 제2 영상 내 픽셀의 컬러 정보를 비교하여 상기 제2 영역의 컬러 맵핑 함수를 획득하고,
상기 제1 영역의 컬러 맵핑 함수와 상기 제2 영역의 컬러 맵핑 함수를 비교하여 상기 제1 영역 및 상기 제2 영역을 유사 컬러 맵핑 영역으로 설정하고, 상기 제1 영역의 컬러 맵핑 함수와 상기 제2 영역의 컬러 맵핑 함수에 기초하여 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 획득하고,
상기 보정된 제1 영상 내 상기 유사 컬러 맵핑 영역의 위치 정보 및 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 생성하는 것을 특징으로 하는 영상 인코딩 장치.
제16 항에 있어서,
상기 제어부는 상기 보정된 제1 영상을 시간 축으로 학습된 배경 모델에 기초하여 전경 영역 및 배경 영역으로 분할하고, 상기 전경 영역 및 상기 배경 영역을 상기 복수 개의 영역들로 분할하는 것을 특징으로 하는 영상 인코딩 장치.
제16 항에 있어서,
상기 제1 영역 및 상기 제2 영역은 공간적으로 인접하는 것을 특징으로 하는 영상 인코딩 장치.
제18 항에 있어서,
상기 제어부는 상기 복수 개의 영역들 중 상기 제2 영역에 인접하는 제3 영역 내 픽셀의 컬러 정보와 상기 제3 영역 내 픽셀에 대응되는 제2 영상 내 픽셀의 컬러 정보를 비교하여, 상기 제3 영역의 컬러 맵핑 함수를 획득하고,
상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수와 상기 제3 영역의 컬러 맵핑 함수를 비교하여, 상기 제1 영역 내지 상기 제3 영역을 상기 유사 컬러 맵핑 영역으로 설정하거나 상기 제3 영역을 새로운 유사 컬러 맵핑 영역으로 설정하는 것을 특징으로 하는 영상 인코딩 장치.
제16 항에 있어서,
상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 바운드 박스의 좌측 상단 x, y 좌표 및 우측 하단 x, y 좌표를 포함하는 것을 특징으로 하는 영상 인코딩 장치.
제16 항에 있어서,
상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 바운드 박스의 적어도 하나의 x, y 좌표 및 상기 바운드 박스의 크기 정보를 포함하는 것을 특징으로 하는 영상 인코딩 장치.
제16 항에 있어서,
상기 제어부는,
상기 제2 영상의 색역 정보에 기초하여 상기 제1 영상의 색역을 보정하고,
상기 제2 영상의 색역(gamut) 정보를 포함하는 스태틱 메타데이터를 생성하고,
상기 복수 개의 영역들은 상기 색역이 보정된 제1 영상으로부터 분할되는 것을 특징으로 하는 영상 인코딩 장치.
제22 항에 있어서,
상기 제어부는, 상기 제1 영상을 보정함에 있어서,
상기 색역이 보정된 제1 영상에 포함된 픽셀의 휘도값과 상기 제2 영상에 포함된 픽셀의 휘도값에 기초하여 상기 색역이 보정된 제1 영상 및 상기 제2 영상 사이의 톤 맵핑 함수를 획득하고, 상기 톤 맵핑 함수에 기초하여 상기 색역이 보정된 제1 영상에 대해 톤 맵핑을 수행하고,
상기 글로벌 메타데이터는 상기 톤 맵핑 함수를 포함하고,
상기 복수 개의 영역들은 상기 톤 맵핑된 제1 영상으로부터 분할되는 것을 특징으로 하는 영상 인코딩 장치.
제23 항에 있어서,
상기 제어부는, 상기 제1 영상을 보정함에 있어서,
상기 톤 맵핑된 제1 영상에 포함된 픽셀의 채도값과 상기 제2 영상에 포함된 픽셀의 채도값에 기초하여 상기 톤 맵핑된 제1 영상 및 상기 제2 영상 사이의 채도 보정 함수를 획득하고, 상기 채도 보정 함수에 기초하여 상기 톤 맵핑된 제1 영상에 대해 채도 보정을 수행하고,
상기 글로벌 메타데이터는 상기 채도 보정 함수를 더 포함하고,
상기 복수 개의 영역들은 상기 채도 보정된 제1 영상으로부터 분할되는 것을 특징으로 하는 영상 인코딩 장치.
제1 영상 및 메타 데이터를 수신하는 통신부; 및
제어부를 포함하고,
상기 제어부는,
상기 제1 영상 및 제2 영상 사이의 톤 맵핑 함수 및 채도 보정 함수 중 적어도 하나를 포함하는 글로벌 메타데이터를 수신하고, 상기 톤 맵핑 함수 및 상기 채도 보정 함수 중 적어도 하나에 기초하여 상기 제1 영상을 보정하고,
상기 보정된 제1 영상 내 유사 컬러 맵핑 영역의 위치 정보 및 상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수를 포함하는 로컬 메타데이터를 수신하고,
상기 유사 컬러 맵핑 영역의 위치 정보에 기초하여 상기 보정된 제1 영상 내 상기 유사 컬러 맵핑 영역을 복원하고,
상기 유사 컬러 맵핑 영역의 컬러 맵핑 함수에 기초하여, 상기 복원된 유사 컬러 맵핑 영역 내 픽셀의 컬러 성분을 보정하고,
상기 유사 컬러 맵핑 영역은, 상기 보정된 제1 영상이 분할된 복수 개의 영역들 내 픽셀들의 컬러 정보 및 상기 복수 개의 영역들에 대응되는 상기 제2 영상 내 픽셀들의 컬러 정보에 기초하여 설정된 것을 특징으로 하는 영상 디코딩 장치.
제25 항에 있어서,
상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 바운딩 박스의 좌측 상단 x, y 좌표 및 우측 하단 x, y 좌표를 포함하는 것을 특징으로 하는 영상 디코딩 장치.
제25 항에 있어서,
상기 유사 컬러 맵핑 영역의 위치 정보는 상기 유사 컬러 맵핑 영역에 대한 바운딩 박스의 적어도 하나의 x, y 좌표 및 상기 바운딩 박스의 크기 정보를 포함하는 것을 특징으로 하는 영상 디코딩 장치.
제25 항에 있어서,
상기 제어부는, 상기 제1 영상을 보정함에 있어서,
상기 제2 영상의 색역(gamut) 정보를 포함하는 스태틱 메타데이터에 기초하여 상기 제1 영상의 색역을 보정하고,
상기 톤 맵핑 함수 및 상기 채도 보정 함수 중 적어도 하나에 기초하여 상기 색역이 보정된 제1 영상을 보정하는 것을 특징으로 하는 영상 디코딩 장치.
제28 항에 있어서,
상기 제어부는, 상기 제1 영상을 보정함에 있어서,
상기 색역이 보정된 제1 영상 및 상기 제2 영상 사이의 톤 맵핑 함수를 포함하는 상기 글로벌 메타데이터에 기초하여 상기 색역이 보정된 제1 영상에 대해 톤 맵핑을 수행하고,
상기 유사 컬러 맵핑 영역은 상기 톤 맵핑된 제1 영상으로부터 복원되는 것을 특징으로 하는 영상 디코딩 장치.
제29 항에 있어서,
상기 제어부는, 상기 제1 영상을 보정함에 있어서,
상기 글로벌 메타데이터에 포함된 상기 톤 맵핑된 제1 영상 및 상기 제2 영상 사이의 채도 보정 함수에 기초하여 상기 톤 맵핑된 제1 영상에 대해 채도 보정을 수행하고,
상기 유사 컬러 맵핑 영역은 상기 채도 보정된 제1 영상으로부터 복원되는 것을 특징으로 하는 영상 디코딩 장치.
제 1 항 내지 제 15 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.