KR20160040959A - 영상 처리 장치 및 이의 영상 처리 방법 - Google Patents

영상 처리 장치 및 이의 영상 처리 방법 Download PDF

Info

Publication number
KR20160040959A
KR20160040959A KR1020140134561A KR20140134561A KR20160040959A KR 20160040959 A KR20160040959 A KR 20160040959A KR 1020140134561 A KR1020140134561 A KR 1020140134561A KR 20140134561 A KR20140134561 A KR 20140134561A KR 20160040959 A KR20160040959 A KR 20160040959A
Authority
KR
South Korea
Prior art keywords
image
information
image processing
image content
content
Prior art date
Application number
KR1020140134561A
Other languages
English (en)
Other versions
KR102190233B1 (ko
Inventor
김창원
한승훈
한영석
김동현
정진우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140134561A priority Critical patent/KR102190233B1/ko
Priority to PCT/KR2015/009397 priority patent/WO2016056753A1/en
Priority to AU2015328926A priority patent/AU2015328926A1/en
Priority to EP15185133.4A priority patent/EP3007424B1/en
Priority to CN201510599696.9A priority patent/CN105187691B/zh
Priority to US14/876,253 priority patent/US9912924B2/en
Publication of KR20160040959A publication Critical patent/KR20160040959A/ko
Application granted granted Critical
Publication of KR102190233B1 publication Critical patent/KR102190233B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/24—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6547—Transmission by server directed to the client comprising parameters, e.g. for client setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7908—Suppression of interfering signals at the reproducing side, e.g. noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Abstract

영상 처리 장치 및 이의 영상 처리 방법이 제공된다. 본 영상 처리 장치의 영상 처리 방법은 영상 컨텐츠 및 상기 영상 컨텐츠에 대해 영상 처리를 수행할지 여부를 나타내는 플래그 정보와 영상 처리 정보를 포함하는 영상 컨텐츠의 메타데이터를 입력받고, 플래그 정보로부터 프레임별로 영상 처리를 수행할지 여부를 판단하고, 영상 처리를 수행하는 것으로 판단된 영상 프레임에 대해 영상 처리 정보를 바탕으로 영상 처리를 수행하며, 영상 처리가 수행된 영상 프레임을 출력한다.

Description

영상 처리 장치 및 이의 영상 처리 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE THEREOF}
본 발명은 영상 처리 장치 및 이의 영상 처리 방법에 관한 것으로, 더욱 상세하게는 영상 컨텐츠에 포함된 메타데이터를 이용하여 영상을 처리하는 영상 처리 장치 및 이의 영상 처리 방법에 관한 것이다.
영상 컨텐츠의 화질을 개선하기 위한 다양한 영상 처리 방법이 제공되고 있다. 예를 들어, 영상 컨텐츠의 선명도, 밝기, 색상 등과 같은 다양한 화질 요소를 개선하기 위한 영상 처리 방법이 제공된다.
한편, 근래에는 고화질의 영상 컨텐츠가 제공되고 있다. 이러한 고화질의 영상 컨텐츠에 대한 영상 처리를 수행하기 위해서는 영상 처리 정보가 필요하다. 그러나, 기존의 영상 컨텐츠에는 단순히 영상 컨텐츠의 해상도, 사이즈 크기에 대한 정보만을 메타데이터에 포함하고 있을 뿐, 영상 처리를 위한 정보가 메타데이터에 포함되어 있지 않다.
특히, 고화질의 영상 컨텐츠(예를 들어, 4K 영상 컨텐츠)의 경우, 화질을 열화시키는 문제점으로는 블러(Blur), 노이즈(Noise) 등이 있다. 여기서, 영화 컨텐츠에 나타나는 블러의 경우, 카메라 모션에 의한 블러, 필름 스캐너 지터(Film Scanner Jitter)로 인한 블러가 발생할 수 있다. 이때, 카메라 모션에 의한 블러는 감독이 의도한 효과일 수도 있기 때문에 영상 처리 장치에서 자동으로 감독의 의도를 판단하여 처리하기가 매우 어려우며, 필름 스캐너 지터는 스캔 기계상의 문제로 영상 처리 장치에서 블러를 제거하는 영상 처리가 필요하다. 즉, 같은 블러라도 제작자의 의도에 따라 블러의 제거 여부가 상이해 질 수 있다.
또한, 노이즈의 경우, 필름 그레인 노이즈(Film Grain Noise), 가우시안 노이즈(Gaussian Noise), I/B/P 프레임간 노이즈가 과도로 발생하는 브리싱 노이즈(Breathing Noise) 등이 있다. 이때, 필름 그레인 노이즈 역시 제작자의 의도로 삽입되는 상황이 있어서 영상 처리 장치에서 무조건 제거할 수 없다. 이와는 반대로 의도적이 아닌 제작과정에서 불필요하게 나타난 다우시안 노이즈는 영상 처리 장치에서 제거하는 것이 필요하다. 브리싱 노이즈는 I Frame에서 가장 부각되는 노이즈가 B/P Frame에서 점차 블러되고 다시 I Frame에서 부각되는 주기적인 반복을 통해 플리커 형태로 발생하며, 특히 압축이 많이 되어있는 영상에서 발생한다. 이러한 브리싱 노이즈는 깨끗한 화면을 구현하기 위해 제거해야 하나, 노이즈의 존재 여부를 판단하기가 어렵고 또한 화질 개선 알고리즘에서는 I/B/P 프레임 정보를 알기도 힘들어서 처리가 어려운 문제가 있다.
즉, 상술한 바와 같이, 영상 처리와 관련된 정보들이 포함되어 있지 않은 기존 메타데이터를 이용하는 시스템으로는 제작자의 의도에 맞는 최적 화질 처리가 불가능한 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 영상 처리 수행 여부를 나타내는 플래그 정보 및 영상 처리 정보를 포함하는 메타데이터를 이용하여 영상 컨텐츠의 제작자의 의도에 맞게 최적의 영상 처리가 가능하도록 하는 영상 처리 장치 및 이의 영상 처리 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 처리 방법은, 영상 컨텐츠 및 상기 영상 컨텐츠에 대해 영상 처리를 수행할지 여부를 나타내는 플래그 정보와 영상 처리 정보를 포함하는 상기 영상 컨텐츠의 메타데이터를 입력받는 단계; 상기 플래그 정보로부터 프레임별로 영상 처리를 수행할지 여부를 판단하고, 영상 처리를 수행하는 것으로 판단된 영상 프레임에 대해 상기 영상 처리 정보를 바탕으로 영상 처리를 수행하는 단계; 및 상기 영상 처리가 수행된 영상 프레임을 출력하는 단계;를 포함한다.
그리고, 상기 영상 처리 정보는, 상기 영상 컨텐츠의 선명도 개선을 위한 정보, 상기 영상 컨텐츠의 노이즈 처리를 위한 정보, 상기 영상 컨텐츠의 밝기 개선을 위한 정보 및 상기 영상 컨텐츠의 색상 개선을 위한 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 메타데이터는, 상기 영상 컨텐츠의 선명도 개선을 위한 상기 영상 컨텐츠의 주파수 특성에 대한 정보를 포함하며, 상기 수행하는 단계는, 상기 메타데이터에 포함된 영상 컨텐츠의 주파수 특성에 따라 영상 처리 필터의 주파수 성분 및 강도를 조절하여 상기 영상 프레임에 대한 영상 처리를 수행할 수 있다.
그리고, 상기 메타데이터는, 상기 영상 컨텐츠의 선명도 개선을 위한 상기 영상 컨텐츠의 블러(blur) 함수에 대한 정보를 포함하며, 상기 수행하는 단계는, 상기 메타데이터에 포함된 블러 함수를 이용하여 상기 영상 프레임에 대한 영상 처리를 수행할 수 있다.
또한, 상기 메타데이터는, 상기 영상 컨텐츠의 노이즈 처리를 위한 노이즈 파라미터를 포함하고, 상기 수행하는 단계는, 상기 메타데이터에 포함된 노이즈 파라미터를 이용하여 상기 영상 프레임의 노이즈 처리를 수행할 수 있다.
그리고, 상기 메타데이터는, 상기 영상 컨텐츠의 밝기 개선을 위한 영상의 밝기 범위 정보, 장면별 최대 밝기 정보, 타겟 밝기 정보 및 톤 매핑 LUT 커브 정보 중 적어도 하나를 포함하며, 상기 수행하는 단계는, 상기 메타데이터에 포함된 장면별 최대 밝기 정보, 타겟 밝기 정보 및 톤 매핑 LUT 커브 정보 중 적어도 하나를 이용하여 상기 영상 컨텐츠의 다이내믹 레인지를 조절하여 상기 영상 프레임에 대한 영상 처리를 수행할 수 있다.
또한, 상기 메타데이터는, 상기 영상 컨텐츠의 밝기 개선을 위한 최대 밝기 정보 및 블랙 레벨 정보를 포함하며, 상기 수행하는 단계는, 상기 메타데이터에 포함된 최대 밝기 정보 및 블랙 레벨 정보를 이용하여 상기 영상 컨텐츠의 밝기에 대한 영상 처리를 수행할 수 있다.
그리고, 상기 메타데이터는, 상기 영상 컨텐츠의 특정 영역에 대한 밝기 개선을 위한 포커스 맵을 포함하며, 상기 수행하는 단계는, 상기 메타데이터에 포함된 포커스 맵을 이용하여 특정 영역을 추출하고, 특정 영역의 명암비 게인값을 조절하여 상기 영상 컨텐츠에 대한 영상 처리를 수행할 수 있다.
상기 메타데이터는, 상기 영상 컨텐츠의 색상 개선을 위한 색역 정보, 장면별 색 볼륨 정보, 장면별 중요 색 볼륨 정보, 장면별 얼굴 색 정보, 컬러 매핑 정보 및 보호 색역 지정 정보 중 적어도 하나를 포함하며, 상기 수행하는 단계는, 상기 메타데이터에 포함된 색역 정보, 장면별 색 볼륨 정보, 장면별 중요 색 볼륨 정보, 장면별 얼굴 색 정보, 컬러 매핑 정보 및 보호 색역 지정 정보 중 적어도 하나를 이용하여 상기 영상 컨텐츠의 색상에 대한 영상 처리를 수행할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 처리 장치는, 영상 컨텐츠 및 상기 영상 컨텐츠에 대해 영상 처리를 수행할지 여부를 나타내는 플래그 정보와 영상 처리 정보를 포함하는 상기 영상 컨텐츠의 메타데이터를 입력받는 입력부; 상기 플래그 정보로부터 프레임별로 영상 처리를 수행할지 여부를 판단하고, 영상 처리를 수행하는 것으로 판단된 영상 프레임에 대해 상기 영상 처리 정보를 바탕으로 영상 처리를 수행하는 영상 처리부; 및 상기 영상 처리가 수행된 영상 프레임을 출력하는 출력부;를 포함한다.
그리고, 상기 영상 처리 정보는, 상기 영상 컨텐츠의 선명도 개선을 위한 정보, 상기 영상 컨텐츠의 노이즈 처리를 위한 정보, 상기 영상 컨텐츠의 밝기 개선을 위한 정보 및 상기 영상 컨텐츠의 색상 개선을 위한 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 메타데이터는, 상기 영상 컨텐츠의 선명도 개선을 위한 상기 영상 컨텐츠의 주파수 특성에 대한 정보를 포함하며, 상기 영상 처리부는, 상기 메타데이터에 포함된 영상 컨텐츠의 주파수 특성에 따라 영상 처리 필터의 주파수 성분 및 강도를 조절하여 상기 영상 프레임에 대한 영상 처리를 수행할 수 있다.
그리고, 상기 메타데이터는, 상기 영상 컨텐츠의 선명도 개선을 위한 상기 영상 컨텐츠의 블러(blur) 함수에 대한 정보를 포함하며, 상기 영상 처리부는, 상기 메타데이터에 포함된 블러 함수를 이용하여 상기 영상 프레임에 대한 영상 처리를 수행할 수 있다.
또한, 상기 메타데이터는, 상기 영상 컨텐츠의 노이즈 처리를 위한 노이즈 파라미터를 포함하고, 상기 영상 처리부는, 상기 메타데이터에 포함된 노이즈 파라미터를 이용하여 상기 영상 프레임의 노이즈 처리를 수행할 수 있다.
그리고, 상기 메타데이터는, 상기 영상 컨텐츠의 밝기 개선을 위한 영상의 밝기 범위 정보, 장면별 최대 밝기 정보, 타겟 밝기 정보 및 톤 매핑 LUT 커브 정보 중 적어도 하나를 포함하며, 상기 영상 처리부는, 상기 메타데이터에 포함된 장면별 최대 밝기 정보, 타겟 밝기 정보 및 톤 매핑 LUT 커브 정보 중 적어도 하나를 이용하여 상기 영상 컨텐츠의 다이내믹 레인지를 조절하여 상기 영상 프레임에 대한 영상 처리를 수행할 수 있다.
또한, 상기 메타데이터는, 상기 영상 컨텐츠의 밝기 개선을 위한 최대 밝기 정보 및 블랙 레벨 정보를 포함하며, 상기 영상 처리부는, 상기 메타데이터에 포함된 최대 밝기 정보 및 블랙 레벨 정보를 이용하여 상기 영상 컨텐츠의 밝기에 대한 영상 처리를 수행할 수 있다.
그리고, 상기 메타데이터는, 상기 영상 컨텐츠의 특정 영역에 대한 밝기 개선을 위한 포커스 맵을 포함하며, 상기 영상 처리부는, 상기 메타데이터에 포함된 포커스 맵을 이용하여 특정 영역을 추출하고, 특정 영역의 명암비 게인값을 조절하여 상기 영상 컨텐츠에 대한 영상 처리를 수행할 수 있다.
또한, 상기 메타데이터는, 상기 영상 컨텐츠의 색상 개선을 위한 색역 정보, 장면별 색 볼륨 정보, 장면별 중요 색 볼륨 정보, 장면별 얼굴 색 정보, 컬러 매핑 정보 및 보호 색역 지정 정보 중 적어도 하나를 포함하며, 상기 영상 처리부는, 상기 메타데이터에 포함된 색역 정보, 장면별 색 볼륨 정보, 장면별 중요 색 볼륨 정보, 장면별 얼굴 색 정보, 컬러 매핑 정보 및 보호 색역 지정 정보 중 적어도 하나를 이용하여 상기 영상 컨텐츠의 색상에 대한 영상 처리를 수행할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 영상 컨텐츠의 제작자의 촬영 의도가 반영된 메타데이터를 영상 처리에 이용함으로써, 영상 처리 장치는 영상 컨텐츠의 제작자의 제작 의도에 부합하도록 영상 처리를 수행하여 사용자에게 제공할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 영상 제공 시스템을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 영상 처리 장치의 블럭도를 도시한 도면,
도 3a 내지 도 8d는 본 발명의 다양한 실시예에 따른, 메타데이터를 이용하여 영상 처리를 수행하는 다양한 실시예를 설명하기 위한 도면들, 그리고,
도 9는 본 발명의 일 실시예에 따른, 영상 처리 장치의 영상 처리 방법을 설명하기 위한 흐름도이다.
본 실시예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
실시예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
이하에서는 도면을 참조하여 본 발명의 다양한 실시예들에 대해 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 영상 제공 시스템을 도시한 도면이다. 영상 제공 시스템은 컨텐츠 제작자(50)와 영상 처리 장치(100)가 포함된다.
이때, 컨텐츠 제작자(50)는 영상 컨텐츠와 함께 영상 컨텐츠에 대한 다양한 정보가 포함된 메타데이터를 영상 처리 장치(100)로 제공한다. 이때, 컨텐츠 제작자(50)는 DVD, BD 등과 같은 저장 매체를 통해 영상 컨텐츠와 메타데이터를 영상 처리 장치(100)로 제공할 수 있으나, 이는 일 실시예에 불과할 뿐, 인터넷, 유선 네트워크 등과 같은 다양한 방식으로 영상 컨텐츠와 메타데이터를 영상 처리 장치(100)로 제공할 수 있다.
한편, 컨텐츠 제작자(50)에 의해 만들어진 메타데이터에는 프레임별로 영상 처리를 수행할지 여부를 나타내는 플래그 정보와 영상 처리 정보를 포함할 수 있다. 구체적으로, 영상 처리 정보에는 영상 컨텐츠의 선명도 개선을 위한 정보, 영상 컨텐츠의 노이즈 처리를 위한 정보, 영상 컨텐츠의 밝기 개선을 위한 정보 및 영상 컨텐츠의 색상 개선을 위한 정보가 포함될 수 있다. 또한, 메타데이터에는 제작자 의도에 부합하도록 영상 컨텐츠의 영상 처리 여부를 결정할 수 있는 플래그 정보를 포함할 수 있다.
영상 처리 장치(100)는 메타데이터를 이용하여 영상 컨텐츠에 대한 영상 처리를 수행한다. 특히, 영상 처리 장치(100)는 메타데이터에 포함된 플래그 정보를 이용하여 프레임별로 메타데이터에 포함된 영상 처리 정보를 바탕으로 프레임별로 영상 처리를 수행할지 여부를 판단하고, 메타데이터에 포함된 영상 처리 정보를 바탕으로 영상 처리를 수행할 것이라 판단된 영상 프레임에 대해 영상 처리를 수행할 수 있다.
그리고, 영상 처리 장치(100)는 영상 처리된 영상 프레임을 출력한다. 이때, 영상 처리 장치(100)는 디스플레이를 통해 영상 처리된 영상 프레임을 디스플레이할 수 있으며, 유무선 전송 방식을 통해 외부로 영상 처리된 영상 프레임을 전송할 수 있다.
상술한 바와 같이, 메타데이터에 플래그 정보 및 영상 처리 정보를 포함하여 제공함으로써, 사용자는 영상 컨텐츠의 제작자의 의도가 반영되어 영상 처리된 영상 컨텐츠를 시청할 수 있게 된다.
도 2는 본 발명의 일 실시예에 따른, 영상 처리 장치(100)의 구성을 나타내는 블럭도이다. 도 2에 도시된 바와 같이, 영상 처리 장치(100)는 입력부(110), 영상 처리부(120) 및 출력부(130)를 포함한다. 이때, 영상 처리 장치(100)는 스마트 TV일 수 있으나, 이는 일 실시예에 불과할 뿐, STB, DVD 플레이어, BD 플레이어, 태블릿 PC, 스마트 폰, 노트북 PC 등과 같은 다양한 장치로 구현될 수 있다.
입력부(110)는 영상 컨텐츠 및 영상 컨텐츠에 대한 정보를 포함하는 메타데이터를 입력받는다. 이때, 입력부(110)는 저장매체(예를 들어, BD, DVD 등)로부터 영상 컨텐츠 및 메타데이터를 입력받을 수 있으나, 이는 일 실시예에 불과할 뿐, 외부로부터 유,무선의 형식으로 영상 컨텐츠 및 메타데이터를 입력받을 수 있다.
한편, 입력부(110)를 통해 입력된 메타데이터는 프레임별로 영상 처리를 수행할 지 여부를 나타내는 플래그 정보 및 영상 컨텐츠를 영상 처리하기 위한 파라미터를 포함하는 영상 처리 정보를 포함한다. 이때, 영상 처리 정보에는 영상 컨텐츠의 선명도 개선을 위한 정보, 영상 컨텐츠의 노이즈 처리를 위한 정보, 영상 컨텐츠의 밝기 개선을 위한 정보 및 영상 컨텐츠의 색상 개선을 위한 정보 중 적어도 하나를 포함할 수 있다.
영상 처리부(120)는 입력된 플래그 정보 및 영상 처리 정보를 바탕으로 영상 컨텐츠를 처리한다. 구체적으로, 영상 처리부(120)는 플래그 정보로부터 프레임별로 영상 처리를 수행할지 여부를 판단하고, 영상 처리 정보를 바탕으로 영상 처리를 수행하는 것으로 판단된 영상 프레임에 대한 영상 처리를 수행할 수 있다.
구체적으로, 영상 처리부(120)는 영상 컨텐츠의 선명도 개선을 상기 영상 컨텐츠의 주파수 특성에 대한 정보를 획득하고, 획득된 영상 컨텐츠의 주파수 특성에 따라 영상 처리 필터(예를 들어, 밴드 패스 필터)의 주파수 성분 및 강도를 조절하여 영상 프레임에 대한 영상 처리를 수행할 수 있다. 구체적으로, 영상 컨텐츠의 선명도를 개선하기 위하여 원본 영상 컨텐츠의 밴드 패스 필터를 적용할 수 있다. 즉, 영상 컨텐츠를 밴드 패스 필터에 적용함으로써, 영상 컨텐츠의 특정 주파수 대역에 대한 강도를 조절하여 영상의 선명도를 조절할 수 있다. 이때, 영상 처리 필터를 밴드 패스 필터일 수 있으나, 이는 일 실시예에 불과할 뿐 다른 필터 역시 적용 가능할 수 있다.
이하에서는 도 3a 및 도 3b를 참조하여 본 발명의 일 실시예에 따른, 영상 컨텐츠의 선명도 개선을 위한 방법에 대해 설명하기로 한다.
우선, 입력부(110)는 영상 컨텐츠의 메타데이터를 입력받는다(S310). 이때, 입력된 메타데이터는 아래의 표 1과 같이, 영상 컨텐츠의 선명도 개선을 위한 영상 처리 수행 여부를 나타내는 플래그 정보(Flag_Detail_Enhance) 및 영상 컨텐츠의 선명도 개선을 위한 영상 컨텐츠의 주파수 특성에 대한 정보(DCT_X_0,...,DCT_X_N,DCT_Y_0,.....,DCT_Y_N)를 포함할 수 있다.
메타데이터 항목 기능 값 예제
Flag_Detail_Enhance 선명도 개선을 위한 영상 처리 여부 0: 선명도 개선을 위한 영상처리를 수행하지 않음.
1: 선명도 개선을 위한 영상처리를 수행함.
DCT_X_0 X 방향 DCT 성분의 0번째 값 R_X_0
... ... ...
DCT_X_N X 방향 DCT 성분의 N번째 값 R_X_N
DCT_Y_0 Y 방향 DCT 성분의 0번째 값 R_Y_0
... ... ...
DCT_Y_N Y 방향 DCT 성분의 N번째 값 R_Y_N
이때, 영상 컨텐츠의 주파수 특정 중 DCT_X_0 ~ DCT_X_N는 X 방향의 DCT 계수이며, DCT_Y_0 ~ DCT_Y_N는 Y 방향의 DCT 계수이다. 이때, DCT 계수의 값이 0에 가까울수록 저주파를 의미하며, 숫자가 클수록 고주파를 의미한다.
영상 처리부(120)는 입력된 메타데이터로부터 영상 컨텐츠의 선명도 향상을 위한 주파수 특성에 대한 정보를 획득한다(S320). 즉, 영상 처리부(120)는 입력된 영상의 X 방향에 대한 DCT 계수 및 Y 방향에 대한 DCT 계수를 획득한다.
그리고, 영상 처리부(120)는 플래그 정보를 이용하여 선명도 개선 여부를 판단한다(S330). 구체적으로, 영상 처리부(120)는 플래그 정보를 이용하여 플래그 값이 0인 경우, 영상 컨텐츠의 선명도 개선을 위한 영상 처리를 수행하지 않고, 플래그 값이 1인 경우, 영상 컨텐츠의 선명도 개선을 위한 영상 처리를 수행할 수 있다.
영상 컨텐츠의 선명도 개선이 필요한 경우, 영상 처리부(120)는 추출된 주파수 특성에 대한 정보를 이용하여 밴드 패스 필터의 주파수를 조절한다(S340). 구체적으로, 영상 처리부(120)는 고주파 신호가 있는 영상 컨텐츠의 경우 고주파 밴드 패스 필터를 적용하고, 저주파 신호가 있는 영상 컨텐츠의 경우 저주파 밴드 패스 필터를 적용할 수 있다. 만약, 영상 컨텐츠의 주파수를 고려하지 않고, 일괄적인 밴드-패스 필터를 적용한다면, 영상 컨텐츠가 가지는 고유한 신호들을 적절하게 표현하지 못한다. 예를 들어, 고주파 신호가 있는 영상에 저주파 밴드 패스 필터를 적용한다면, 디테일 신호들이 두꺼워지고 뭉쳐져 저품질 영상을 출력하게 된다. 따라서, 영상 처리부(120)는 추출된 주파수 특정에 대한 정보를 이용하여 영상 컨텐츠의 선명도 개선을 위한 밴드 패스 필터의 주파수 대역을 조절할 수 있다.
그리고, 영상 처리부(120)는 주파수가 조절된 밴드 패스 필터를 이용하여 영상 처리를 수행한다(S350). 그리고, 출력부(130)는 영상 처리된 영상 컨텐츠를 출력한다(S360).
그러나, 플래그 정보를 통해 영상 컨텐츠의 선명도 개선이 불필요하다고 판단된 경우, 영상 처리부(120)는 원 영상 컨텐츠를 그대로 출력한다(S370). 또는, 영상 처리부(120)는 영상 처리 장치(100)에 기본적으로 설정된 밴드 패스 필터를 이용하여 영상 컨텐츠의 선명도 개선을 위한 영상 처리를 수행할 수 있다.
즉, 영상 처리 장치(100)는 도 3b에 도시된 바와 같이, 영상 컨텐츠(385) 및 영상 컨텐츠에 대한 주파수 정보(380)를 입력받으며, 입력된 영상 컨텐츠의 주파수 정보(380)를 바탕으로 밴드 패스 필터(390)의 주파수 성분 및 강도를 조절하여 선명도가 개선된 영상 컨텐츠(395)를 출력할 수 있다.
본 발명의 또 다른 실시예에 따르면, 영상 처리부(120)는 메타데이터로부터 영상 컨텐츠의 선명도 개선을 위한 영상 컨텐츠의 블러(blur) 함수에 대한 정보를 획득하고, 블러 함수의 역함수를 이용하여 영상 프레임에 대한 영상 처리를 수행할 수 있다. 구체적으로, 대부분의 영상 컨텐츠는 영상을 획득하는 과정에서 외부적인 요소(렌즈 블러 또는 모션 블러 등)에 의해 영상 컨텐츠의 선명도 저하 문제가 발생한다. 이러한 선명도 저하를 야기하는 요소인 블러 현상을 제거하기 위해서는, 영상 처리 장치가 블러 함수를 추정하고, 추정된 블러 함수의 역함수를 영상 컨텐츠에 적용함으로써 선명도가 개선된 영상 컨텐츠를 획득할 수 있게 된다. 구체적으로, Y를 현재 입력 영상 컨텐츠라 하고, X를 블러되기 전의 선명한 영상 컨텐츠라고 하고, 블러 함수를 H라고 한다면, 아래의 수학식 1과 같이 표현할 수 있다.
Figure pat00001
여기서, 블러 현상을 초래하는 블러 함수의 정보가 없을 경우, X를 구하기 어려우나, 메타데이터를 통해 블러 현상을 초래하는 블러 함수의 역함수를 알 수 있다면, 아래의 수학식 2와 같이, 블러되기 전의 선명한 영상 컨텐츠를 획득할 수 있다.
Figure pat00002
따라서, 메타데이터에 블러 함수의 역함수가 포함될 경우, 영상 처리 장치(100)는 영상 컨텐츠의 블러 현상을 제거하여 영상 컨텐츠의 선명도를 향상시킬 수 있다.
이하에서는 도 4a 및 도 4b를 참조하여 본 발명의 다른 실시예에 따른, 영상 컨텐츠의 선명도 개선을 위한 방법에 대해 설명하기로 한다.
우선, 입력부(110)는 영상 컨텐츠의 메타데이터를 입력받는다(S410). 이때, 입력된 메타데이터는 아래의 표 2와 같이, 현재 프레임에서 블러를 제거할지 여부를 나타내는 플래그 정보(Flag_Blur_Remove) 및 현재 프레임의 블러에 대한 정보(Blur_Model, Param_Motion_Blur, Param_Gaussian_Blur)를 포함할 수 있다.
메타데이터 항목 기능 값 예제
Flag_Blur_Remove 현재 프레임에서 블러를 제거할지 여부 0:블러를 제거 안함.
1:블러를 제거함.
Blur_Model 현 프레임의 블러 모델의 종류 0:없음
1: 모션 블러
2: 가우시안 블러
Param_Motion_Blur 모션 블러의 크기 및 방향 x,y 방향의 벡터
Param_Gaussian_Blur 가우시안 블러의 파라미터 STD
그리고, 영상 처리부(120)는 메타데이터로부터 영상 컨텐츠의 선명도 향상을 위한 블러 함수에 대한 정보를 획득한다(S420). 예를 들어, 영상 처리부(120)는 현재 프레임의 블러 모델의 종류 및 블러 모델의 파라미터를 획득할 수 있다.
그리고, 영상 처리부(120)는 플래그 정보를 이용하여 블러 제거 여부를 확인한다(S430). 구체적으로, 영상 처리부(120)는 플래그 값이 0인 경우, 영상 컨텐츠의 선명도 개선을 위한 블러 제거를 수행하지 않고, 플래그 값이 1인 경우, 영상 컨텐츠의 선명도 개선을 위한 블러 제거를 수행할 수 있다.
블러 제거가 필요한 것으로 판단된 경우, 영상 처리부(120)는 블러 함수의 역함수를 이용하여 영상 처리를 수행한다(S440). 구체적으로, 영상 처리부(120)는 블러 모델의 파라미터를 이용하여 블러 함수를 생성하고, 생성된 블러 함수의 역함수를 산출할 수 있다. 그리고, 영상 처리부(120)는 산출된 블러 함수의 역함수를 이용하여 블러 제거를 위한 영상 처리를 수행할 수 있다. 그리고, 출력부(130)는 영상 처리된 영상 컨텐츠를 출력한다(S450).
그러나, 블러 제거가 필요하지 않은 것으로 판단된 경우, 영상 처리부(120)는 블러가 존재하는 원 영상 컨텐츠를 그대로 출력한다(S460). 구체적으로, 영상 처리부(120)는 제작자의 의도에 의해 블러가 생성된 것으로 판단하고, 생성된 블러를 제거하지 않은 채 원 영상을 그대로 출력할 수 있다.
즉, 영상 처리 장치(100)는 도 4b에 도시된 바와 같이, 블러 현상이 발생하는 영상 프레임(470)에 블러 함수의 역함수를 적용하여 블러 현상이 제거된 영상 프레임(475)을 출력할 수 있다.
본 발명의 또 다른 실시예에 의하면, 영상 처리부(120)는 메타데이터로부터 영상 컨텐츠의 노이즈 처리를 위한 노이즈 파라미터를 획득하고, 획득된 노이즈 파라미터를 이용하여 영상 프레임의 노이즈 처리를 수행할 수 있다. 구체적으로, 필름 그레인 노이즈는 일반 노이즈와 달리 제작자의 의도에 의해 삽입되기도 한다. 따라서, 일반적인 영상 처리 장치(100)가 필름 그레인 노이즈를 제거할 경우, 영상 컨텐츠의 제작자의 의도와 반대로 노이즈를 제거하게 된다. 따라서, 영상 처리부(120)는 플래그 정보로부터 노이즈 제거 여부를 판단하고, 노이즈 파라미터를 통해 영상 프레임의 노이즈를 적절히 제거할 수 있게 된다.
이하에서는 도 5를 참조하여 본 발명의 일 실시예에 따른, 영상 컨텐츠의 노이즈 처리 방법에 대해 설명하기로 한다.
우선, 입력부(110)는 영상 컨텐츠의 메타데이터를 입력받는다(S510). 이때, 입력된 메타데이터는 아래의 표 3과 같이, 현재 프레임의 노이즈 처리 여부를 나타내는 플래그 정보(Flag_Grain_Noise) 및 노이즈 파라미터(Param_Grain_Noise)를 포함할 수 있다.
메타데이터 항목 기능 값 예제
Flag_Grain_Noise 현재 프레임의 필름 그레인 노이즈 처리 여부 0: 필름 그레인 노이즈 처리 안함.
1: 필름 그레인 노이즈 처리함.
Param_Grain_Noise 필름 그레인 노이즈 파라미터에 대한 정보 그레인 노이즈의 NR 설정값, DE 설정값 등
그리고, 영상 처리부(120)는 메타데이터로부터 영상 컨텐츠의 노이즈 처리를 위한 노이즈 파라미터를 획득한다(S520). 이때, 영상 컨텐츠의 노이즈 처리를 위한 노이즈 파라미터는 노이즈의 NR(Noise Reduction) 설정값, DE(Detail Enhancement) 설정값 등이 포함될 수 있다.
그리고, 영상 처리부(120)는 플래그 정보를 이용하여 노이즈 처리 여부를 확인한다(S530). 구체적으로, 플래그 값이 0인 경우, 영상 처리부(120)는 영상 프레임의 필름 그레인 노이즈 처리를 수행하지 않고, 플래그 값이 1인 경우, 영상 프레임의 필름 그레인 노이즈 처리를 수행할 수 있다.
현재 영상 프레임에 대해 필름 그레인 노이즈 처리가 필요한 경우, 영상 처리부(120)는 메타데이터에 포함된 NR 설정값 및 DE 설정값으로 노이즈를 처리한다(S540). 구체적으로, 영상 처리부(140)는 메타데이터에 포함된 NR 설정값을 통해 현재 프레임에 포함된 필름 그레인 노이즈를 제거하지 않도록 하고, 메타데이터에 포함된 DE 설정값을 통해 노이즈가 지나치게 부각되는 현상을 방지할 수 있다. 그리고, 출력부(130)는 노이즈가 처리된 영상 컨텐츠를 출력한다(S550).
그러나, 현재 영상 프레임에 대해 기본적인 노이즈 처리가 필요한 경우, 영상 처리부(120)는 기본 설정된 기본 NR 설정값 및 기본 DE 설정값을 통해 노이즈 처리를 수행한다(S560). 그리고, 출력부(130)는 기본 노이즈 처리가 수행된 영상 컨텐츠를 출력한다(S550).
상술한 바와 같이, 제작자 의도에 부합하도록 노이즈를 처리함으로써, 사용자는 영상 컨텐츠에 필요한 노이즈의 제거를 방지할 수 있게 되어, 제작자 의도에 부합된 영상 컨텐츠를 시청할 수 있게 된다.
본 발명의 또 다른 실시예에 따르면, 영상 처리부(120)는 메타데이터로부터 영상 컨텐츠의 밝기 개선을 위한 최대 밝기 정보 및 블랙 레벨 정보 중 적어도 하나를 획득하고, 획득된 최대 밝기 정보 및 블랙 레벨 정보 중 적어도 하나를 이용하여 영상 컨텐츠의 밝기에 대한 영상 처리를 수행할 수 있다. 구체적으로, 입력된 영상 컨텐츠 내에 밝은 영역 및 어두운 영역이 동시에 존재할 경우, 어두운 부분이 잘 보이도록 영상의 밝기를 조절하면, 밝은 부분이 과도하게 밝아지는 현상이 발생할 수 있다. 또한 반대로 밝은 영역의 시인성을 위해 밝은 영역을 어둡게 할 경우, 어두운 부분이 지나치게 어두어지는 현상이 발생할 수 있다. 따라서, 영상 컨텐츠의 최대 밝기 정보 및 블랙 레벨 정보 중 적어도 하나에 따라 영상 컨텐츠의 최대 밝기 및 최소 밝기를 설정할 경우, 영상이 지나치게 어두워지거나 지나치게 밝아지는 문제점을 해결할 수 있다.
또한, 영상 처리부(120)는 도 6b에 도시된 바와 같이, 메타데이터로부터 영상 컨텐츠의 특정 영역에 대한 밝기 개선을 위한 포커스 맵을 획득하고, 획득된 포커스 맵을 이용하여 특정 영역을 추출하고, 특정 영역의 명암비 게인값을 조절하여 영상 컨텐츠에 대한 영상 처리를 수행할 수 있다. 구체적으로, 영상 컨텐츠 내에 특정 영역(예를 들어, 등장 인물 등)에 대한 명암비를 향상시키기 위해, 영상 처리부(120)는 특정 영역을 추출하고, 추출된 영역에 대해 명암비를 향상시켜 영상 컨텐츠에 대한 영상 처리를 수행할 수 있다.
이하에서는 도 6a 및 도 6b를 참조하여 본 발명의 일 실시예에 따른, 영상 컨텐츠의 밝기 개선을 위한 방법에 대해 설명하기로 한다.
우선, 입력부(110)는 영상 컨텐츠의 메타데이터를 입력받는다(S610). 이때, 입력된 메타데이터는 아래의 표 4와 같이, 현재 프레임에서 밝기 및 계조 표현의 제한을 활성화할 필요가 있는지 나타내는 플래그 정보(Flag_Contrast_Limit) 및 밝기 및 계조 표현의 제한을 위한 파라미터(Param_Contrast_Peak)와 포커스 하이라이트 기능이 필요한지 여부를 나타내는 플래그 정보(Flag_Focus_Object) 및 포커스 하이라이트를 위한 파라미터(Map_Object_Contrast, Param_Object_Contrast)를 포함할 수 있다.
메타데이터 항목 기능 값 예제
Flag_Contrast_Limit 밝기 및 계조 표현을 활성화할 필요가 있는지 여부 0: 필요하지 않음.
1: 필요함.
Param_Contrast_Peak 밝기 및 계조 표현의 제한을 위한 파라미터 Max_Peak_Level
Max_Black_Level
Flag_Focus_Object 포커스 하이라이트 기능이 필요한지 여부 0: 필요하지 않음.
1: 필요함.
Map_Object_Contrast 포커스 맵 바이너리 맵
Param_Object_Contrast 하이라이트된 오브젝트의 명암비 포커스 맵 내의 오브젝트 영역에 대한 CE 게인값
그리고, 영상 처리부(120)는 입력된 메타데이터로부터 영상 컨텐츠의 밝기 개선을 위한 파라미터를 추출한다(S620). 이때, 영상 컨텐츠의 밝기 개선을 위한 파라미터로 표 4에 도시된 바와 같이, 밝기 및 계조 표현의 제한을 위한 파라미터(Max_Peak_Level, Max_Black_Level) 및 특정 영역의 명암비 개선을 위한 포커스 하이라이트 기능에 대한 파라미터(포커스 맵, CE 게인값 등) 등이 포함될 수 있다.
그리고, 영상 처리부(120)는 플래그 정보로부터 밝기 및 계조 표현 제한 필요 여부를 확인한다(S630). 구체적으로, 밝기 및 계조 표현 제한의 활성화할 필요가 있는지 여부를 나타내는 플래그 정보가 0인 경우, 영상 처리부(120)는 밝기 및 계조 표현의 제한을 수행하지 않고, 밝기 및 계조 표현 제한의 활성화할 필요가 있는지 여부를 나타내는 플래그 정보가 1인 경우, 영상 처리부(120)는 밝기 및 계조 표현을 제한하여 영상 처리를 수행할 수 있다.
밝기 및 계조 표현 제한의 활성화가 필요한 경우, 영상 처리부(120)는 최대 밝기 정보 및 블랙 레벨 정보 중 적어도 하나를 이용하여 영상 처리를 수행한다(S640). 구체적으로, 영상 처리부(120)는 최대 밝기 정보 및 블랙 레벨 정보 중 적어도 하나를 이용하여 영상 컨텐츠의 최대 밝기 및 최소 밝기를 설정하고, 설정된 최대 밝기 및 최소 밝기 범위 내에서 영상 처리를 수행할 수 있다. 그리고, 출력부(130)는 영상 처리된 영상 컨텐츠를 출력한다(S650).
그러나, 밝기 및 계조 표현의 제한이 불필요한 경우, 영상 처리부(120)는 포커스 하이라이트 기능이 필요한지 여부를 확인한다(S660). 이때, 포커스 하이라이트 기능이라 함은 영상 컨텐츠 내의 특정 영역에 대한 명암비를 향상시키는 기능이다. 구체적으로, 포커스 하이라이트 기능이 필요한지 여부를 나타내는 플래그 정보가 0인 경우, 영상 처리부(120)는 포커스 하이라이트 기능을 수행하지 않고, 포커스 하이라이트 기능이 필요한지 여부를 나타내는 플래그 정보가 1인 경우, 영상 처리부(120)는 포커스 하이라이트 기능을 수행할 수 있다.
포커스 하이라이트 기능이 필요한 것으로 판단된 경우, 영상 처리부(120)는 포커스 맵을 이용하여 특정 영역에 대한 명암비가 개선되도록 영상 처리를 수행한다(S670). 구체적으로, 영상 처리부(120)는 도 6b에 도시된 바와 같이, 특정 오브젝트에 대한 포커스 맵을 이용하여 특정 오브젝트를 제외한 나머지 부분을 마스킹하고, 특정 부분에 대해 메타데이터에 포함된 CE 게인값을 적용하여 영상 처리를 수행할 수 있다. 그리고, 출력부(130)는 영상 처리된 영상 컨텐츠를 출력한다(S650).
포커스 하이라이트 기능이 불필요한 것으로 판단된 경우, 영상 처리부(120)는 기본 설정값으로 영상 컨텐츠에 대한 영상 처리를 수행하고(S680), 출력부(130)는 영상 처리된 영상 컨텐츠를 출력한다(S650).
본 발명의 또 다른 실시예에 따르면, 영상 처리부(120)는 메타데이터로부터 영상 컨텐츠의 밝기 개선을 위한 영상의 밝기 범위 정보, 장면별 최대 밝기 정보, 타겟 밝기 정보 및 톤 매핑 LUT 커브 정보 중 적어도 하나를 획득하며, 획득된 면별 최대 밝기 정보, 타겟 밝기 정보 및 톤 매핑 LUT 커브 정보 중 적어도 하나를 이용하여 영상 컨텐츠의 다이내믹 레인지를 조절하여 영상 프레임에 대한 영상 처리를 수행할 수 있다.
특히, 하이 다이내믹 레인(High Dynamic Range:HDR)로 제작된 영상 컨텐츠의 경우, 일반적인 디스플레이 패널에서 표현되기 위해서는 톤 매핑(Tone Mapping) 과정이 필요하다. 따라서, 영상 처리부(120)는 일반 디스플레이 패널이 가지는 최대 밝기를 넘는 부분에 대해서 saturation을 방지하고 제작자의 의도가 반영된 톤 매핑을 위한 다이내믹 레인지 조절 파라미터(예를 들어, 영상의 밝기 범위 정보, 장면별 최대 밝기 정보 등)를 획득하고, 획득된 파라미터를 이용하여 톤 매핑을 수행할 수 있다.
또한, 로우 다이내믹 레인지(Low Dynamic Range:LDR)로 제작된 영상 컨텐츠의 경우, 일반 디스플레이 장치에서 표현하기 위해 톤 매핑을 과정을 수행하게 되고, 톤 매핑 과정을 통해 생성된 LDR 영상 컨텐츠를 HDR 영상 컨텐츠로 변환 가능하다. 따라서, 영상 처리부(120)는 톤 매핑을 위한 다이내믹 레인지 조절 파라미터(예를 들어, 밝기 범위 정보, 장면별 최대 밝기 정보, 타겟 밝기 정보 및 톤 매핑 LUT 커브 정보 등)를 획득하고, 획득된 파라미터를 이용하여 톤 매핑을 수행할 수 있다.
이하에서는 도 7a 내지 도 7d를 통해 본 발명의 다른 실시예에 따른, 영상 컨텐츠의 밝기 개선을 위한 영상 처리 방법에 대해 설명하기로 한다. 우선, 도 7a 및 도 7b는 HDR 영상 컨텐츠가 입력된 경우, 영상 컨텐츠의 밝기 개선을 위한 영상 처리 방법을 설명하기 위한 흐름도이다.
입력부(110)는 HDR 컨텐츠를 입력받는다(S710). 이때, 입력부(110)는 HDR 컨텐츠의 톤 매핑을 위한 다이내믹 레인지 조절 파라미터(예를 들어, 영상의 밝기 범위 정보, 장면별 최대 밝기 정보 등)를 포함하는 메타데이터 역시 입력받을 수 있다.
그리고, 영상 처리부(120)는 다이내믹 레인지 조절 파라미터를 이용하여 영상을 처리한다(S720). 구체적으로, 영상 처리부(120)는 다이내믹 레인지 조절 파라미터를 이용하여 도 7b에 도시된 바와 같이, 현재 타겟 디스플레이 장치의 밝기 범위를 벗어나는 다이내믹 레인지를 타겟 디스플레이 장치의 밝기 범위 내로 축소시키고, 축소된 다이내믹 레인지 범위 내에서 입력된 영상 컨텐츠의 밝기를 조절할 수 있다.
그리고, 출력부(130)는 영상 처리된 영상 컨텐츠를 출력한다(S730).
또한, 도 7c 및 도 7d는 LDR 영상 컨텐츠가 입력된 경우, 영상 컨텐츠의 밝기 개선을 위한 영상 처리 방법을 설명하기 위한 흐름도이다.
입력부(110)는 LDR 컨텐츠를 입력받는다(S740). 이때, 입력부(110)는 LDR 컨텐츠의 톤 매핑을 위한 다이내믹 레인지 조절 파라미터(예를 들어, 밝기 범위 정보, 장면별 최대 밝기 정보, 타겟 밝기 정보 및 톤 매핑 LUT 커브 정보 등)를 포함하는 메타데이터 역시 입력받을 수 있다.
그리고, 영상 처리부(120)는 다이내믹 레인지 조절 파라미터를 이용하여 영상을 처리한다(S750). 구체적으로, 영상 처리부(120)는 다이내믹 레인지 조절 파라미터를 이용하여 도 7d에 도시된 바와 같이, 현재 타겟 디스플레이 장치의 밝기 범위 내에 존재하는 다이내믹 레인지의 범위를 현재 타겟 디스플레이 장치가 표현할 수 있는 최대 밝기 범위 내로 확장시키고, 확장된 다이내믹 레인지 범위 내에서 입력된 영상 컨텐츠의 밝기를 조절할 수 있다.
그리고, 출력부(130)는 영상 처리된 영상 컨텐츠를 출력한다(S760).
상술한 바와 같은 본 발명의 일 실시예에 따라, 사용자는 현재 디스플레이 장치 내의 최대 출력 범위 내에서 향상된 명암비를 가지는 영상 컨텐츠를 시청할 수 있게 된다.
본 발명의 또 다른 실시예에 따르면, 영상 처리부(120)는 메타데이터로부터 영상 컨텐츠의 색상 개선을 위한 색역 정보, 장면별 색 볼륨 정보, 장면별 중요 색 볼륨 정보, 장면별 얼굴 색 정보, 컬러 매핑 정보 및 보호 색역 지정 정보 중 적어도 하나를 획득하며, 획득된 색역 정보, 장면별 색 볼륨 정보, 장면별 중요 색 볼륨 정보, 장면별 얼굴 색 정보, 컬러 매핑 정보 및 보호 색역 지정 정보 중 적어도 하나를 이용하여 영상 컨텐츠의 색상에 대한 영상 처리를 수행할 수 있다.
구체적으로, 영상 처리부(120)는 우선적으로 원 영상 컨텐츠의 색역 정보를 확인한다. 그리고, 영상 처리부(120)는 원 영상 컨텐츠의 색역과 현재 디스플레이 장치가 표현할 수 있는 색역에 대한 비교가 수행된다. 색역이 동일한 경우, 색역 매핑이 불필요하므로, 영상 처리부(120)는 시청자가 선택한 화면 모드에 따라 색상을 처리할 수 있다. 색역이 서로 상이할 경우, 영상 처리부(120)는 색역 매핑 작업을 수행하고, 시청자가 선택한 화면 모드에 따라 색상을 처리할 수 있다.
이하에서는 도 8a 내지 도 8d를 참조하여, 영상 컨텐츠의 색상 개선을 위한 영상 처리 방법에 대해 설명하기로 한다.
우선, 입력부(110)는 메타데이터를 입력받는다(S810). 이때, 메타데이터에는 표 5에 도시된 바와 같이, 원 영상 컨텐츠의 색역 정보, 장면 단위 색 볼륨 정보, 장면 단위 중요 색 볼륨 정보, 장면 단위 얼굴 색 정보, 색 매핑 방법에 대한 정보, 보호 색역 지정 정보 등이 포함될 수 있다. 이때, 도 6c는 장면 단위 색 볼륨 및 장면 단위 중요 색 볼륨을 설명하기 위한 도면이다. 일반적인 영상 컨텐츠는 RGB 값으로 표현되나, 인간의 색상 인지 특성과 유사한 HSV 컬러 도메인을 이용하여 영상 컨텐츠의 색 볼륨 구성은 3차원으로 표현될 수 있다. 해당 색상이 장면에 존재할 경우 1로 지정하고, 존재하지 않을 경우 0으로 지정하여 장면마다 컬러 구성 정보를 표현할 수 있다. 이때, HSV 컬러 도메인이 아닌 Lab 컬러 도메인, XYZ 컬러 도메인 등이 활용될 수 있다. 이때, 장면 단위 색 볼륨 정보 및 중요 색 볼륨 정보는 시감 컬러를 개선하는데 이용할 수 있다. 일반적인 시감 컬러 개선은 컬러의 휴(Hue) 성분을 유지하며, Saturation을 증대시키는 방향으로 활용되기 때문에 HSV 컬러 도메인을 이용하여 Saturation 성분의 증가값을 최적값으로 적용할 수 있다. 또한, 도 6d는 장면 단위 얼굴색 정보를 설명하기 위한 도면이다. 얼굴 영역으로 자동으로 검출되나, 사용자에 의해 지정될 수 있으며, 전술한 장면 단위 색 볼륨 정보 및 중요 색 볼륨 정보와 같이 시감 컬러를 개선하는데 이용될 수 있다.
메타데이터 항목 기능 값 예제
원 영상 컨텐츠의 Color Space 원 영상 컨텐츠의 색역에 대한 정보 0: 709
1: DCI-P3
장면 단위 색 볼륨 정보 색 분포를 이용한 시감 색상 개선 HSV 색 볼륨(12x8x8 volxels)
장면 단위 중요 색 볼륨 정보 제작자가 중요 색을 지정하여 시감컬러 개선시 왜곡을 방지함. HSV색 볼륨(12x8x8 volxels)
장면 단위 얼굴 색 정보 시감 컬러 개선에 의한 피부색 왜곡 방지 얼굴 색 범위
색상 패핑 방법 디스플레이의 색역이 원 영상 컨텐츠의 색역보다 작을 때 매핑 방법 0: Clipping
1: Shrink
보호 색역 지정 디스플레이 패널의 색역 내부에 보호 색역을 지정 0:Preserving
1:Compression
그리고, 영상 처리부(120)는 메타데이터로부터 영상 컨텐츠의 색상 개선을 위한 파라미터를 획득한다(S820). 구체적으로, 영상 처리부(120)는 표 5에 도시된 바와 같이, 원 영상 컨텐츠의 색역 정보, 장면 단위 색 볼륨 정보, 장면 단위 중요 색 볼륨 정보, 장면 단위 얼굴 색 정보, 색 매핑 방법에 대한 정보, 보호 색역 지정 정보 등을 획득할 수 있다.
그래고, 영상 처리부(120)는 원 영상 컨텐츠의 색역 정보를 확인하여 디스플레이 패널의 색역으로 매핑이 필요한지 여부를 판단한다(S830). 이때, 영상 처리부(120)는 원 영상 컨텐츠의 색역과 디스플레이 패널의 색역이 동일한 경우 매핑이 불필요한 것으로 판단하고, 원 영상 컨텐츠의 색역과 디스플레이 패널의 색역이 상이한 경우, 매핑이 필요한 것으로 판단할 수 있다.
색역의 매핑이 불필요한 것으로 판단된 경우, 영상 처리부(120)는 사용자가 선택된 화면 모드가 무엇인지 판단한다(S840). 사용자가 선택된 화면 모드가 영화 모드인 경우, 영상 처리부(120)는 정밀 색상 표현 처리를 수행하고(S850), 사용자가 선명한 모드를 선택한 경우, 영상 처리부(120)는 장면 단위 색 볼륨 정보를 이용하여 시각 색상 개선을 위한 영상 처리를 수행한다(S860).
색역의 매핑이 필요한 것으로 판단된 경우, 영상 처리부(120)는 디스플레이 패널의 색역으로 원 영상 컨텐츠의 색역을 매핑한다(S870). 구체적으로, 도 6b는 본 발명의 일 실시예에 따른, 색역 매핑 및 보호 색역을 나타내는 색역 개념도이다. 원본 컨텐츠의 색역이 DCI-P3이고, 디스플레이 색역이 sRGB인 경우, 영상 처리부(120)는 원본 컨텐츠의 색상을 선형적/비선형적으로 compressing하거나 디스플레이 내부 색역을 유지하고, 외부 색역만을 clipping할 수 있다. 또한, 두 방법을 혼합하여 디스플레이 색역 내부에 보호 색역에는 원본 색을 유지하고, 보호 색역 외부에는 compression 방법을 선택할 수 있다. 또한, 컨텐츠 제작자는 동일한 영상에 대해 영화 상영을 위한 고색 컨텐츠와 TV 등 상영을 위한 일반 컨텐츠를 모두 보유하고 있을 수 있기 때문에, 이 두 컨텐츠의 컬러의 상관 관계를 연산하여 매핑함수를 제작할 수 있다. 이러한 매핑 방법은 제작자에 의해 메타데이터에 포함될 수 있다.
그리고, 영상 처리부(120)는 사용자가 선택된 화면 모드가 무엇인지 판단한다(S880). 사용자가 선택된 화면 모드가 영화 모드인 경우, 영상 처리부(120)는 정밀 색상 표현 처리를 수행하고(S890), 사용자가 선명한 모드를 선택한 경우, 영상 처리부(120)는 장면 단위 색 볼륨 정보를 이용하여 시각 색상 개선을 위한 영상 처리를 수행한다(S895).
상술한 바와 같이, 영상 컨텐츠의 색상 개선을 위한 메타데이터를 이용하여 영상 컨텐츠를 처리함으로써, 사용자는 제작자의 의도에 부합된 영상 컨텐츠를 시청할 수 있게 된다.
다시 도 2에 대해 설명하면, 출력부(130)는 영상 처리부(120)에 의해 처리된 영상 컨텐츠를 출력한다. 이때, 출력부(130)는 디스플레이 형태로 구현되어 처리된 영상 컨텐츠를 출력할 수 있으며, 출력 단자로 구현되어 처리된 영상 컨텐츠를 외부 장치(예를 들어, 디스플레이 장치)로 전송할 수 있다.
이하에서는 도 9를 참조하여 본 발명의 일 실시예에 따른, 영상 처리 장치(100)의 영상 처리 방법에 대해 설명하기로 한다.
영상 처리 장치(100)는 영상 컨텐츠와 메타데이터를 입력받는다(S910). 이때, 메타데이터에는 영상 처리를 수행할지 여부를 나타내는 플래그 정보와 영상 처리 정보를 포함할 수 있다.
그리고, 영상 처리 장치(100)는 플래그 정보로부터 프레임별로 영상 처리를 수행할지 여부를 판단하고, 영상 처리 정보를 바탕으로 영상 처리를 수행하는 것이라고 판단된 영상 프레임에 대해 영상 처리를 수행한다(S920).
그리고, 영상 처리 장치(100)는 영상 처리된 영상 프레임을 출력한다(S930).
상술한 바와 같이, 영상 컨텐츠의 제작자의 촬영 의도가 반영된 메타데이터를 영상 처리에 이용함으로써, 영상 처리 장치(100)는 영상 컨텐츠의 제작자의 제작 의도에 부합하도록 영상 처리를 수행하여 사용자에게 영상 컨텐츠를 제공할 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 영상 처리 장치의 영상 처리 방법은 프로그램으로 구현되어 디스플레이 장치 또는 입력 장치에 제공될 수 있다. 특히, 디스플레이 장치의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 입력부 120: 영상 처리부
130: 출력부

Claims (18)

  1. 영상 컨텐츠 및 상기 영상 컨텐츠에 대해 영상 처리를 수행할지 여부를 나타내는 플래그 정보와 영상 처리 정보를 포함하는 상기 영상 컨텐츠의 메타데이터를 입력받는 단계; 및
    상기 플래그 정보로부터 프레임별로 영상 처리를 수행할지 여부를 판단하고,영상 처리를 수행하는 것으로 판단된 영상 프레임에 대해 상기 영상 처리 정보를 바탕으로 영상 처리를 수행하는 단계;
    상기 영상 처리가 수행된 영상 프레임을 출력하는 단계;를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 영상 처리 정보는,
    상기 영상 컨텐츠의 선명도 개선을 위한 정보, 상기 영상 컨텐츠의 노이즈 처리를 위한 정보, 상기 영상 컨텐츠의 밝기 개선을 위한 정보 및 상기 영상 컨텐츠의 색상 개선을 위한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 처리 방법.
  3. 제2항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 선명도 개선을 위한 상기 영상 컨텐츠의 주파수 특성에 대한 정보를 포함하며,
    상기 수행하는 단계는,
    상기 메타데이터에 포함된 영상 컨텐츠의 주파수 특성에 따라 영상 처리 필터의 주파수 성분 및 강도를 조절하여 상기 영상 프레임에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 방법.
  4. 제2항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 선명도 개선을 위한 상기 영상 컨텐츠의 블러(blur) 함수에 대한 정보를 포함하며,
    상기 수행하는 단계는,
    상기 메타데이터에 포함된 블러 함수를 이용하여 상기 영상 프레임에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 방법.
  5. 제2항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 노이즈 처리를 위한 노이즈 파라미터를 포함하고,
    상기 수행하는 단계는,
    상기 메타데이터에 포함된 노이즈 파라미터를 이용하여 상기 영상 프레임의 노이즈 처리를 수행하는 것을 특징으로 하는 영상 처리 방법.
  6. 제2항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 밝기 개선을 위한 영상의 밝기 범위 정보, 장면별 최대 밝기 정보, 타겟 밝기 정보 및 톤 매핑 LUT 커브 정보 중 적어도 하나를 포함하며,
    상기 수행하는 단계는,
    상기 메타데이터에 포함된 장면별 최대 밝기 정보, 타겟 밝기 정보 및 톤 매핑 LUT 커브 정보 중 적어도 하나를 이용하여 상기 영상 컨텐츠의 다이내믹 레인지를 조절하여 상기 영상 프레임에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 방법.
  7. 제2항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 밝기 개선을 위한 최대 밝기 정보 및 블랙 레벨 정보를 포함하며,
    상기 수행하는 단계는,
    상기 메타데이터에 포함된 최대 밝기 정보 및 블랙 레벨 정보 중 적어도 하나를 이용하여 상기 영상 컨텐츠의 밝기에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 방법.
  8. 제2항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 특정 영역에 대한 밝기 개선을 위한 포커스 맵을 포함하며,
    상기 수행하는 단계는,
    상기 메타데이터에 포함된 포커스 맵을 이용하여 특정 영역을 추출하고, 특정 영역의 명암비 게인값을 조절하여 상기 영상 컨텐츠에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 방법.
  9. 제2항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 색상 개선을 위한 색역 정보, 장면별 색 볼륨 정보, 장면별 중요 색 볼륨 정보, 장면별 얼굴 색 정보, 컬러 매핑 정보 및 보호 색역 지정 정보 중 적어도 하나를 포함하며,
    상기 수행하는 단계는,
    상기 메타데이터에 포함된 색역 정보, 장면별 색 볼륨 정보, 장면별 중요 색 볼륨 정보, 장면별 얼굴 색 정보, 컬러 매핑 정보 및 보호 색역 지정 정보 중 적어도 하나를 이용하여 상기 영상 컨텐츠의 색상에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 방법.
  10. 영상 처리 장치에 있어서,
    영상 컨텐츠 및 상기 영상 컨텐츠에 대해 영상 처리를 수행할지 여부를 나타내는 플래그 정보와 영상 처리 정보를 포함하는 상기 영상 컨텐츠의 메타데이터를 입력받는 입력부; 및
    상기 플래그 정보로부터 프레임별로 영상 처리를 수행할지 여부를 판단하고, 영상 처리를 수행하는 것으로 판단된 영상 프레임에 대해 상기 영상 처리 정보를 바탕으로 영상 처리를 수행하는 영상 처리부;
    상기 영상 처리가 수행된 영상 프레임을 출력하는 출력부;를 포함하는 영상 처리 장치.
  11. 제10항에 있어서,
    상기 영상 처리 정보는,
    상기 영상 컨텐츠의 선명도 개선을 위한 정보, 상기 영상 컨텐츠의 노이즈 처리를 위한 정보, 상기 영상 컨텐츠의 밝기 개선을 위한 정보 및 상기 영상 컨텐츠의 색상 개선을 위한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 처리 장치.
  12. 제11항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 선명도 개선을 위한 상기 영상 컨텐츠의 주파수 특성에 대한 정보를 포함하며,
    상기 영상 처리부는,
    상기 메타데이터에 포함된 영상 컨텐츠의 주파수 특성에 따라 영상 처리 필터의 주파수 성분 및 강도를 조절하여 상기 영상 프레임에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 장치.
  13. 제11항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 선명도 개선을 위한 상기 영상 컨텐츠의 블러(blur) 함수에 대한 정보를 포함하며,
    상기 영상 처리부는,
    상기 메타데이터에 포함된 블러 함수를 이용하여 상기 영상 프레임에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 장치.
  14. 제11항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 노이즈 처리를 위한 노이즈 파라미터를 포함하고,
    상기 영상 처리부는,
    상기 메타데이터에 포함된 노이즈 파라미터를 이용하여 상기 영상 프레임의 노이즈 처리를 수행하는 것을 특징으로 하는 영상 처리 장치.
  15. 제11항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 밝기 개선을 위한 영상의 밝기 범위 정보, 장면별 최대 밝기 정보, 타겟 밝기 정보 및 톤 매핑 LUT 커브 정보 중 적어도 하나를 포함하며,
    상기 영상 처리부는,
    상기 메타데이터에 포함된 장면별 최대 밝기 정보, 타겟 밝기 정보 및 톤 매핑 LUT 커브 정보 중 적어도 하나를 이용하여 상기 영상 컨텐츠의 다이내믹 레인지를 조절하여 상기 영상 프레임에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 장치.
  16. 제11항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 밝기 개선을 위한 최대 밝기 정보 및 블랙 레벨 정보를 포함하며,
    상기 영상 처리부는,
    상기 메타데이터에 포함된 최대 밝기 정보 및 블랙 레벨 정보 중 적어도 하나를 이용하여 상기 영상 컨텐츠의 밝기에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 장치.
  17. 제11항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 특정 영역에 대한 밝기 개선을 위한 포커스 맵을 포함하며,
    상기 영상 처리부는,
    상기 메타데이터에 포함된 포커스 맵을 이용하여 특정 영역을 추출하고, 특정 영역의 명암비 게인값을 조절하여 상기 영상 컨텐츠에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 장치.
  18. 제11항에 있어서,
    상기 메타데이터는,
    상기 영상 컨텐츠의 색상 개선을 위한 색역 정보, 장면별 색 볼륨 정보, 장면별 중요 색 볼륨 정보, 장면별 얼굴 색 정보, 컬러 매핑 정보 및 보호 색역 지정 정보 중 적어도 하나를 포함하며,
    상기 영상 처리부는,
    상기 메타데이터에 포함된 색역 정보, 장면별 색 볼륨 정보, 장면별 중요 색 볼륨 정보, 장면별 얼굴 색 정보, 컬러 매핑 정보 및 보호 색역 지정 정보 중 적어도 하나를 이용하여 상기 영상 컨텐츠의 색상에 대한 영상 처리를 수행하는 것을 특징으로 하는 영상 처리 장치.
KR1020140134561A 2014-10-06 2014-10-06 영상 처리 장치 및 이의 영상 처리 방법 KR102190233B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020140134561A KR102190233B1 (ko) 2014-10-06 2014-10-06 영상 처리 장치 및 이의 영상 처리 방법
PCT/KR2015/009397 WO2016056753A1 (en) 2014-10-06 2015-09-07 Image forming apparatus, image forming method, image processing apparatus and image processing method thereof
AU2015328926A AU2015328926A1 (en) 2014-10-06 2015-09-07 Image forming apparatus, image forming method, image processing apparatus and image processing method thereof
EP15185133.4A EP3007424B1 (en) 2014-10-06 2015-09-14 Image processing apparatus and image processing method thereof
CN201510599696.9A CN105187691B (zh) 2014-10-06 2015-09-18 图像处理方法及图像处理装置
US14/876,253 US9912924B2 (en) 2014-10-06 2015-10-06 Image forming apparatus, image forming method, image processing apparatus and image processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140134561A KR102190233B1 (ko) 2014-10-06 2014-10-06 영상 처리 장치 및 이의 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20160040959A true KR20160040959A (ko) 2016-04-15
KR102190233B1 KR102190233B1 (ko) 2020-12-11

Family

ID=54151101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140134561A KR102190233B1 (ko) 2014-10-06 2014-10-06 영상 처리 장치 및 이의 영상 처리 방법

Country Status (6)

Country Link
US (1) US9912924B2 (ko)
EP (1) EP3007424B1 (ko)
KR (1) KR102190233B1 (ko)
CN (1) CN105187691B (ko)
AU (1) AU2015328926A1 (ko)
WO (1) WO2016056753A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262823A1 (ko) * 2019-06-28 2020-12-30 삼성전자 주식회사 영상을 처리하는 전자 장치 및 그 영상 처리 방법
KR20220036547A (ko) * 2020-09-16 2022-03-23 엘지전자 주식회사 디스플레이 장치 및 그 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102360613B1 (ko) * 2014-11-07 2022-02-09 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
EP3203437A1 (en) * 2016-02-05 2017-08-09 Thomson Licensing Method and apparatus for locally sharpening a video image using a spatial indication of blurring
CN105744378A (zh) * 2016-02-15 2016-07-06 深圳Tcl数字技术有限公司 视频播放方法和装置
WO2017141745A1 (ja) * 2016-02-19 2017-08-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10334254B2 (en) * 2016-09-23 2019-06-25 Apple Inc. Feed-forward and feed-back metadata exchange in image processing pipelines to improve image quality
US10930223B2 (en) * 2016-12-22 2021-02-23 Dolby Laboratories Licensing Corporation Ambient light-adaptive display management
US10720091B2 (en) * 2017-02-16 2020-07-21 Microsoft Technology Licensing, Llc Content mastering with an energy-preserving bloom operator during playback of high dynamic range video
EP3644617A4 (en) 2017-06-21 2020-06-03 Panasonic Intellectual Property Management Co., Ltd. IMAGE DISPLAY SYSTEM AND IMAGE DISPLAY METHOD
US10873684B2 (en) 2017-07-14 2020-12-22 Panasonic Intellectual Property Management Co., Ltd. Video display apparatus and video display method
US10409141B2 (en) * 2017-09-20 2019-09-10 Qualcomm Incorporated System and method for improved camera flash
CN109891901B (zh) 2017-10-06 2022-04-08 松下知识产权经营株式会社 影像显示装置及影像显示方法
JP7057159B2 (ja) * 2018-03-02 2022-04-19 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7344654B2 (ja) * 2019-03-07 2023-09-14 キヤノン株式会社 撮像装置及び再生装置及びそれらの制御方法及びプログラム
KR20200144775A (ko) * 2019-06-19 2020-12-30 삼성전자주식회사 디스플레이장치 및 그 제어방법
US11743550B2 (en) 2019-06-28 2023-08-29 Dolby Laboratories Licensing Corporation Video content type metadata for high dynamic range
CN110896496B (zh) * 2019-09-30 2020-12-01 深圳市瞬点科技有限公司 计算机播放画面即时管理系统
KR102641738B1 (ko) * 2019-09-30 2024-02-29 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
JPWO2021235138A1 (ko) * 2020-05-22 2021-11-25

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060056712A1 (en) * 2004-09-10 2006-03-16 Yoshiyuki Endo Data processing apparatus and control method thereof
KR20090107907A (ko) * 2008-04-10 2009-10-14 삼성전자주식회사 메타 데이터에 기초한 디지털 이미지 개선 방법 및 화상형성장치
US20130076763A1 (en) * 2010-06-08 2013-03-28 Dolby Laboratories Licensing Corporation Tone and Gamut Mapping Methods and Apparatus
US20130155330A1 (en) * 2011-12-19 2013-06-20 Dolby Laboratories Licensing Corporation Color Grading Apparatus and Methods
US20130222535A1 (en) * 2010-04-06 2013-08-29 Koninklijke Philips Electronics N.V. Reducing visibility of 3d noise

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771323B1 (en) * 1999-11-15 2004-08-03 Thx Ltd. Audio visual display adjustment using captured content characteristics
US20020116471A1 (en) * 2001-02-20 2002-08-22 Koninklijke Philips Electronics N.V. Broadcast and processing of meta-information associated with content material
EP2202648A1 (en) 2002-04-12 2010-06-30 Mitsubishi Denki Kabushiki Kaisha Hint information describing method for manipulating metadata
CN101686306A (zh) 2003-09-11 2010-03-31 松下电器产业株式会社 可视处理装置、基于它的装置以及可视处理方法
US7269300B2 (en) * 2003-10-24 2007-09-11 Eastman Kodak Company Sharpening a digital image in accordance with magnification values
US7683950B2 (en) * 2005-04-26 2010-03-23 Eastman Kodak Company Method and apparatus for correcting a channel dependent color aberration in a digital image
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US7893975B2 (en) * 2006-10-13 2011-02-22 Apple Inc. System and method for processing images using predetermined tone reproduction curves
US20090135264A1 (en) * 2007-11-28 2009-05-28 Motorola, Inc. Motion blur detection using metadata fields
KR20100036601A (ko) 2008-09-30 2010-04-08 엘지전자 주식회사 영상 잡음 제거 장치 및 방법
JP5679675B2 (ja) * 2010-02-23 2015-03-04 キヤノン株式会社 コンテンツ提供装置、コンテンツ提供装置の処理方法、プログラム
EP2617184B1 (en) 2010-09-13 2019-01-16 Dolby Laboratories Licensing Corporation Data transmission using out-of-gamut color coordinates
CN105915755B (zh) * 2010-10-18 2018-09-07 杜比实验室特许公司 对图像数据进行编码的方法及对图像数据进行解码的方法
GB2489930A (en) 2011-04-08 2012-10-17 Sony Corp Analysis of Three-dimensional Video to Produce a Time-Varying Graphical Representation of Displacements
KR102656330B1 (ko) * 2011-05-27 2024-04-12 돌비 레버러토리즈 라이쎈싱 코오포레이션 변하는 레벨들의 메타데이터을 포함하는 컬러 관리를 제어하기 위한 스케일러블 시스템들
JP6136086B2 (ja) 2011-12-28 2017-05-31 ソニー株式会社 撮像装置および画像処理装置
KR101906422B1 (ko) 2012-05-10 2018-10-10 엘지디스플레이 주식회사 화질처리방법과 이를 이용한 표시장치
EP2672712A1 (en) 2012-06-07 2013-12-11 Thomson Licensing Scene-dependent color gamut mapping
US20140205025A1 (en) * 2013-01-22 2014-07-24 Microsoft Corporation Adaptive filter application to video data
US10055866B2 (en) * 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US9836469B2 (en) * 2014-06-06 2017-12-05 Dropbox, Inc. Techniques for processing digital assets for editing in a digital asset editing computer program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060056712A1 (en) * 2004-09-10 2006-03-16 Yoshiyuki Endo Data processing apparatus and control method thereof
KR20090107907A (ko) * 2008-04-10 2009-10-14 삼성전자주식회사 메타 데이터에 기초한 디지털 이미지 개선 방법 및 화상형성장치
US20130222535A1 (en) * 2010-04-06 2013-08-29 Koninklijke Philips Electronics N.V. Reducing visibility of 3d noise
US20130076763A1 (en) * 2010-06-08 2013-03-28 Dolby Laboratories Licensing Corporation Tone and Gamut Mapping Methods and Apparatus
US20130155330A1 (en) * 2011-12-19 2013-06-20 Dolby Laboratories Licensing Corporation Color Grading Apparatus and Methods

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262823A1 (ko) * 2019-06-28 2020-12-30 삼성전자 주식회사 영상을 처리하는 전자 장치 및 그 영상 처리 방법
US11825235B2 (en) 2019-06-28 2023-11-21 Samsung Electronics Co., Ltd. Electronic device for processing image and image processing method thereof
KR20220036547A (ko) * 2020-09-16 2022-03-23 엘지전자 주식회사 디스플레이 장치 및 그 방법
US11297295B1 (en) 2020-09-16 2022-04-05 Lg Electronics Inc. Display device and method

Also Published As

Publication number Publication date
KR102190233B1 (ko) 2020-12-11
CN105187691B (zh) 2018-11-27
EP3007424B1 (en) 2020-05-06
AU2015328926A1 (en) 2017-03-30
WO2016056753A1 (en) 2016-04-14
US9912924B2 (en) 2018-03-06
US20160100147A1 (en) 2016-04-07
CN105187691A (zh) 2015-12-23
EP3007424A1 (en) 2016-04-13

Similar Documents

Publication Publication Date Title
KR102190233B1 (ko) 영상 처리 장치 및 이의 영상 처리 방법
US10275865B2 (en) Image processing device and image processing method using the same
EP2750101B1 (en) Endoscopic video system with dynamic contrast and detail enhancement
CN107154059B (zh) 一种高动态范围视频处理方法
JP6697755B2 (ja) 映像表示装置及び映像表示方法
JP6024110B2 (ja) 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム
US8639050B2 (en) Dynamic adjustment of noise filter strengths for use with dynamic range enhancement of images
JP5492087B2 (ja) コンテンツベースの画像調整
KR101009999B1 (ko) 윤곽보정방법, 화상처리장치 및 표시장치
CN109345490B (zh) 一种移动播放端实时视频画质增强方法及系统
JP2009071873A (ja) 画像処理装置及び画像処理方法
US10554900B2 (en) Display apparatus and method of processing image thereof
KR101985880B1 (ko) 디스플레이 장치 및 이의 제어 방법
KR101668829B1 (ko) 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치
US10861420B2 (en) Image output apparatus, image output method, for simultaneous output of multiple images
US9589330B2 (en) Image processing apparatus and image processing method with data modification based on changes in data ranges
JP6739257B2 (ja) 画像処理装置とその制御方法及びプログラム
KR101634652B1 (ko) 영상의 대비 강화 방법 및 장치
Cvetkovic et al. Non-linear locally-adaptive video contrast enhancement algorithm without artifacts
KR100640749B1 (ko) 영상표시장치의 화질개선 방법
Ploumis et al. A Flickering Reduction Scheme for Tone Mapped HDR Video
Kim et al. Normalized tone-mapping operators for color quality improvement in 3DTV
WO2023122039A1 (en) Film grain parameters adaptation based on viewing environment
JP2010200112A (ja) 映像の鮮鋭化処理装置、映像の鮮鋭化処理機能を持つ映像装置、および映像の鮮鋭化処理方法
Cvetkovic et al. Multi-band locally-adaptive contrast enhancement algorithm with built-in noise and artifact suppression mechanisms

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant