KR102608822B1 - 컬러 컴포넌트의 동적 범위를 이용한 영상 처리 방법 및 그 장치 - Google Patents

컬러 컴포넌트의 동적 범위를 이용한 영상 처리 방법 및 그 장치 Download PDF

Info

Publication number
KR102608822B1
KR102608822B1 KR1020187008711A KR20187008711A KR102608822B1 KR 102608822 B1 KR102608822 B1 KR 102608822B1 KR 1020187008711 A KR1020187008711 A KR 1020187008711A KR 20187008711 A KR20187008711 A KR 20187008711A KR 102608822 B1 KR102608822 B1 KR 102608822B1
Authority
KR
South Korea
Prior art keywords
color component
value
dynamic range
scaling factor
range
Prior art date
Application number
KR1020187008711A
Other languages
English (en)
Other versions
KR20180061196A (ko
Inventor
디소우자아미스
에이쉬와라야에이쉬와라야
파차우리쿠이브후산
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180061196A publication Critical patent/KR20180061196A/ko
Application granted granted Critical
Publication of KR102608822B1 publication Critical patent/KR102608822B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 개시는 일 실시예에 따른 영상 처리 방법을 제안한다.
영상 처리 방법은 입력 영상으로부터 컬러 컴포넌트 값을 획득하는 단계, 획득된 컬러 컴포넌트(color component) 값의 동적 범위(dynamic range)를 결정하는 단계, 결정된 컬러 컴포넌트 값의 동적 범위 및 컬러 컴포넌트 값의 허용 범위에 기초하여, 컬러 컴포넌트 값의 동적 범위를 변환하기 위한 스케일링 인자를 결정하는 단계, 및 결정된 스케일링 인자에 기초하여, 컬러 컴포넌트 값을 스케일링하는 단계를 포함한다.

Description

컬러 컴포넌트의 동적 범위를 이용한 영상 처리 방법 및 그 장치
본 개시는 영상 처리에 관한 것으로서, 구체적으로는, 영상 내에 컬러 컴포넌트의 동적 범위에 기초한 영상 처리 방법 및 장치에 관한 것이다.
일반적으로, 비디오 코덱(video codec)은 고정 소수점 데이터(fixed-point data)를 처리한다. 입력 영상의 픽셀 값은, 양자화(quantization)를 통하여, 부동 소수점(floating point)으로부터 고정 소수점으로 변환되고, 양자화 과정에서, 정밀도 손실(precision loss)로 인하여 상당한 손실이 발생한다.
종래 기술에 따르면, 수신된 HDR 영상은 부동 소수점 정확도(accuracy)를 갖는 4:4:4 RGB 색공간(red green blue color space) 내에 선형 광 포맷(linear light format)으로 캡쳐된 16 비트 데이터로 구성된다.
영상을 구성하는 데이터는 반 정밀도(half-precision) 부동 소수점 4:4:4 RGB 선형 광 포맷에서 단일 정밀도(single-precision) 부동 소수점 4:4:4 포맷으로 변환된 후, 체감 품질(perceptual quality: PQ) 전달 함수를 이용하여 부동 소수점 포맷의 R'G'B' 값에 매핑(mapping) 된다.
매핑된 R'G'B' 값은 부동 소수점 포맷의 Y'CbCr 색공간으로 변환된다. 또한, 부동 소수점 포맷의 Y'CbCr 색공간은 10 비트 고정 소수점 포맷 (
Figure 112018030502812-pct00001
)으로 변환된다. 또한, 10 비트 고정 소수점 포맷 (
Figure 112018030502812-pct00002
) 은 4:4:4에서 4:2:0 포맷으로 다운 샘플링(down-sampling) 된다. 다운 샘플링 된 데이터는 부호화기에 의하여 부호화 되고, 부호화된 데이터로 구성된 비트 스트림은 부호화기로부터 복호화기에 전송된다.
복호화기는 부호화된 비트 스트림을 수신하고 부호화된 비트 스트림을 4:2:0 포멧에서 4:4:4 포멧으로 업 샘플링(up-sampling) 한다. 업 샘플링된 10 비트 고정 소수점 형식의 데이터(
Figure 112018030502812-pct00003
)는 부동 소수점 포맷의 Y'CbCr 색공간의 데이터로 역양자화(de-quantized) 된다. 또한, 역양자화된 데이터는 부동 소수점 포맷의 Y'CbCr 색공간의 값으로부터 R'G'B' 값으로 변환된다. R'G'B' 값은 단일 정밀도 부동 소수점 포맷으로부터 반 정밀도 부동 소수점 4:4:4 RGB 선형 광 포맷으로 변환되고 역 PQ 전달 함수를 이용하여 부동 소수점 정확도(accuracy)를 갖는 4:4:4 RGB 색공간의 값으로 재 매핑될 수 있다. 부동 소수점 정확도를 갖는 4:4:4 RGB 색공간의 데이터는 출력 영상을 구성한다.
본 개시는, 다양한 실시 예에 따른, 양자화 과정에서 정밀도 손실(precision loss)을 감소시켜 영상 품질을 향상시키기 위한 영상 처리 방법 및 장치를 제안한다.
본 개시의 실시예에 따른 영상 처리 방법은 입력 영상으로부터 컬러 컴포넌트(color component) 값을 획득하는 단계, 획득된 컬러 컴포넌트 값의 동적 범위(dynamic range)를 결정하는 단계, 결정된 컬러 컴포넌트 값의 동적 범위 및 컬러 컴포넌트 값의 허용 범위에 기초하여, 컬러 컴포넌트 값의 동적 범위를 변환하기 위한 스케일링 인자를 결정하는 단계, 및 결정된 스케일링 인자에 기초하여, 컬러 컴포넌트 값을 스케일링하는 단계를 포함한다.
본 개시의 실시예에 따른 영상 처리 장치는 입력 영상으로부터 획득된 컬러 컴포넌트 값을 저장하기 위한 스토리지(storage), 및 획득된 컬러 컴포넌트 값의 동적 범위를 결정하고, 결정된 컬러 컴포넌트 값의 동적 범위 및 컬러 컴포넌트 값의 허용 범위에 기초하여, 컬러 컴포넌트 값의 동적 범위를 변환하기 위한 스케일링 인자를 결정하고, 결정된 스케일링 인자에 기초하여, 컬러 컴포넌트 값을 스케일링하는 하나 이상의 프로세서를 포함한다.
본 개시는, 다양한 실시 예에 따른, 영상 품질을 향상시키기 위하여 영상 내에 픽셀에 대하여 스케일링 및 오프셋을 적용하는 방법 및 장지를 제공할 수 있다.
도 1은, 일 실시예에 따른, 컬러 컴포넌트(color component)의 동적 범위(dynamic range)를 변환하는 영상 처리 장치의 블록도를 도시하는 도면이다.
도 2는, 일 실시예에 따른, 영상 처리 장치가 컬러 컴포넌트의 동적 범위를 변환하는 방법의 흐름도를 도시하는 도면이다.
도 3은, 일 실시예에 따른, 컬러 컴포넌트의 동적 범위를 복원하는 영상 처리 장치의 블록도를 도시하는 도면이다.
도 4는, 일 실시예에 따른, 영상 처리 시스템의 블록도를 도시하는 도면이다.
도 5는, 일 실시예에 따른, 컬러 컴포넌트의 범위를 변환 및 복원하는 영상 처리 방법의 흐름도를 도시하는 도면이다.
도 6은, 일 실시예에 따른, 영상의 컬러 관리 장치의 블록도를 도시하는 도면이다.
도 7은, 일 실시예에 따른, 스케일링 인자에 기초하여 컬러 컴포넌트 각각의 범위 중 색역의 평균값 주위(gamut mean)의 범위가 확장되는 일 예를 도시하는 도면이다.
도 8a 내지 8d는, 일 실시예에 따른, 고정 스케일링 인자(fixed scaling factor) 및 동적 스케일링 인자(dynamic scaling factor)에 기초하여, 색역의 평균 주위에 컬러 컴포넌트 각각의 범위가 확장되는 일 예를 도시하는 도면이다.
도 9는, 일 실시예에 따른, 영상의 컬러 관리 방법의 흐름도를 도시하는 도면이다.
도 10은, 일 실시에에 따른, 스케일링 인자에 기초하여, 영상의 컬러 컴포넌트 각각의 범위 중 색역의 평균값 주위의 범위를 확장하여 영상을 변경하는 방법의 흐름도를 도시하는 도면이다.
도 11은, 다른 일 실시예에 따른, 스케일링 인자에 기초하여, 영상의 컬러 컴포넌트 각각의 범위 중 색역의 평균값 주위의 범위를 확장하여 영상을 변경하는 방법의 흐름도를 도시하는 도면이다.
도 12는, 일 실시예에 따른, 영상의 컬러 관리 방법 및 시스템을 구현하기 위한 컴퓨팅 환경(computing environment)의 블록도를 도시하는 도면이다.
발명의 실시를 위한 최선의 형태
본 개시의 일 실시예에 따른 영상 처리 방법은, 입력 영상으로부터 컬러 컴포넌트(color component) 값을 획득하는 단계, 획득된 컬러 컴포넌트 값의 동적 범위(dynamic range)를 결정하는 단계, 결정된 컬러 컴포넌트 값의 동적 범위 및 컬러 컴포넌트 값의 허용 범위에 기초하여, 컬러 컴포넌트 값의 동적 범위를 변환하기 위한 스케일링 인자를 결정하는 단계, 및 결정된 스케일링 인자에 기초하여, 컬러 컴포넌트 값을 스케일링하는 단계를 포함할 수 있다.
또한, 일 실시예에 따른 영상처리 방법은, 스케일링된 컬러 컴포넌트 값의 변환된 동적 범위에 기초하여 양자화를 수행하여 사이 스케일링된 컬러 컴포넌트 값의 포맷을 변경하는 단계, 및 양자화된 입력 영상을 부호화 하는 단계를 더 포함할 수 있다.
또한, 일 실시예에 따른 영상 처리 방법은, 부호화된 입력 영상 및 스케일링 인자를 포함하는 비트 스트림을 생성하는 단계를 더 포함할 수 있다.
또한, 일 실시예에 따른, 스케일링 인자를 결정하는 단계는, 동적 범위에 대응하는 컬러 컴포넌트의 상한 값에 대한 허용 범위의 상한 값의 비율 크기 및 동적 범위에 대응하는 컬러 컴포넌트의 하한 값에 대한 허용 범위의 하한 값의 비율 크기 중 더 작은 값을 스케일링 인자로 결정하는 단계를 포함할 수 있다.
또한, 일 실시예에 따른, 스케일링 인자를 결정하는 단계는, 동적 범위에 대응하는 컬러 컴포넌트의 상한 값과 동적 범위에 대응하는 컬러 컴포넌트의 하한 값의 차이 값에 대한 허용 범위의 상한 값과 허용 범위의 하한 값의 차이 값의 비율을 스케일링 인자로 결정하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따른 영상 처리 장치는, 입력 영상으로부터 획득된 컬러 컴포넌트 값을 저장하기 위한 스토리지(storage), 및 획득된 컬러 컴포넌트 값의 동적 범위를 결정하고, 결정된 컬러 컴포넌트 값의 동적 범위 및 컬러 컴포넌트 값의 허용 범위에 기초하여, 컬러 컴포넌트 값의 동적 범위를 변환하기 위한 스케일링 인자를 결정하고, 결정된 스케일링 인자에 기초하여, 컬러 컴포넌트 값을 스케일링하는 하나 이상의 프로세서를 포함할 수 있다.
또한, 일 실시예에 따른 프로세서는, 동적 범위에 대응하는 컬러 컴포넌트의 상한 값에 대한 허용 범위의 상한 값의 비율 크기 및 동적 범위에 대응하는 컬러 컴포넌트의 하한 값에 대한 허용 범위의 하한 값의 비율 크기 중 더 작은 값을 스케일링 인자로 결정할 수 있다.
또한, 일 실시예에 따른 프로세서는, 프로세서는, 동적 범위에 대응하는 컬러 컴포넌트의 상한 값과 동적 범위에 대응하는 컬러 컴포넌트의 하한 값의 차이 값에 대한 허용 범위의 상한 값과 허용 범위의 하한 값의 차이 값의 비율을 스케일링 인자로 결정할 수 있다.
본 개시의 일 실시예에 따른 영상처리 방법은, 수신된 비트 스트림으로부터 부호화된 영상 및 스케일링 인자를 획득하는 단계, 부호화된 영상을 복호화 하여 양자화된 영상을 획득하는 단계, 양자화된 영상을 역양자화 하여, 스케일링 인자에 기초하여 스케일링된 컬러 컴포넌트 값을 획득하는 단계, 및 스케일링된 컬러 컴포넌트 값을 스케일링 인자에 기초하여 역 스케일링하는 단계를 포함할 수 있다.
또한, 일 실시예에 따른 영상처리 방법은 비트 스트림으로부터 스케일링되기 전 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 획득하는 단계를 더 포함할 수 있고, 역 스케일링하는 단계는, 스케일링 인자, 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 컬러 컴포넌트의 하한 값에 기초하여 스케일링된 컬러 컴포넌트 값을 역 스케일링하는 단계를 포함할 수 있다.
또한, 일 실시예에 따른, 스케일링 인자는 입력 영상으로부터 획득된 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값에 대한 컬러 컴포넌트 값의 허용 범위의 상한 값의 비율 크기 및 동적 범위에 대응하는 컬러 컴포넌트의 하한 값에 대한 허용 범위의 하한 값의 비율 크기 중 더 작은 값일 수 있다.
또한, 일 실시예에 따른 스케일링 인자는, 입력 영상으로부터 획득된 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값과 동적 범위에 대응하는 컬러 컴포넌트의 하한 값의 차이 값에 대한 컬러 컴포넌트 값의 허용 범위의 상한 값과 허용 범위의 하한 값의 차이 값의 비율일 수 있다.
본원 개시의 일 실시예에 따른 영상 처리 장치는 비트 스트림으로부터 부호화된 영상 및 스케일링 인자를 획득하는 획득부 및 부호화된 영상을 복호화 하여 양자화된 영상을 획득 하고, 양자화된 영상을 역양자화 하여, 스케일링 인자에 기초하여 스케일링된 컬러 컴포넌트 값을 획득하고, 스케일링된 컬러 컴포넌트 값을 스케일링 인자에 기초하여 역 스케일링하는 하나 이상의 프로세서를 포함할 수 있다.
또한, 일 실시예에 따른 프로세서는, 비트 스트림으로부터 스케일링되기 전 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 획득하고, 스케일링 인자, 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값에 기초하여 스케일링된 컬러 컴포넌트 값을 역 스케일링할 수 있다.
본 개시의 실시예에 따른 영상 처리방법 방법을 구현하기 위한 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.
발명의 실시를 위한 형태
본원 명세서에서 설명 된 다양한 특징들은, 도면과 설명을 통해, 명확히 이해될 것이다. 본 개시에서 상술 된 프로세스, 기기, 제조, 및 이들의 변형은 설명을 위한 것이다. 상술한 구조적, 기능적 세부사항은 청구항의 기초 및 통상의 지식을 가진 자가 다양하고 적절한 세부 구조에 상술한 특성들을 채용할 수 있도록 교시하기 위한 대표적인 기초 예시로서 해석되어야 하며, 권리범위를 제한하는 방향으로 해석되어서는 안 된다. 또한, 본 개시에서 사용되는 용어들과 문구들은 권리범위를 제한 하기 위한 것이 아니고, 상술된 특징을 이해 가능하도록 설명하기 위해 제공된 것이다.
도 1은, 일 실시예에 따른, 컬러 컴포넌트의 동적 범위(dynamic range)을 변환하는 영상 처리 장치(100)의 블록도를 도시하는 도면이다.
도 1을 참조하며, 일 실시 예에 따른, 영상 처리 장치(100)는 입력 영상을 저장하기 위한 스토리지(storage)(110), 및 프로세서(processor)(120)를 포함할 수 있다. 일 실시 예에 따른 스토리지(110), 및 프로세서(120)는 버스(bus) 등을 통하여 전기적으로 연결될 수 있다. 도 1에 도시된 영상 처리 장치(100)에는 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
일 실시 예에 따른, 프로세서(120)는 스토리지(110)에 입력 영상을 저장할 수 있다. 예를 들어, 입력 영상은 High dynamic range(HDR) 영상일 수 있으나 이에 제한되지 아니한다. 프로세서(120)는 스토리지(110)에 입력 영상을 구성하는 픽셀들에 대한 RGB 신호 데이터를 저장할 수 있다. 또한, 예를 들어 프로세서(120)는 스토리지(110)에 입력 영상을 구성하는 픽셀들에 대한 Y'CbCr 신호 데이터를 저장할 수 있다.
일 실시 예에 따른, 프로세서(120)는 CPU, GPU 등, 적어도 하나 이상의 프로세서를 포함할 수 있으나 이제 제한되지 아니한다.
일 실시 예에 따른, 프로세서(120)는 수신된 입력 영상을 구성하는 픽셀들에 대한 RGB 신호를 획득할 수 있다. 예를 들어 프로세서(120)는 스토리지(110)에 저장된 입력 영상을 구성하는 픽셀들에 대한 RGB 신호를 획득할 수 있다. 또한, 프로세서(120)는, 수신된 입력 영상을 구성하는 픽셀들에 대한 RGB 신호를 Y'CbCr 신호로 색공간(color space)을 변환하는 작업을 수행할 수 있다. 또한, 프로세서(120)는 입력 영상을 구성하는 픽셀들에 대한 Y'CbCr 신호로부터 컬러 컴포넌트 값을 획득할 수 있다.
프로세서(120)는 입력 영상으로부터 획득된 컬러 컴포넌트 값의 동적 범위를 결정할 수 있다.
일 실시 예에 따른, 프로세서(120)는, 컬러 컴포넌트 값의 동적 범위를 결정하기 위하여, 획득된 컬러 컴포넌트 값에 기초하여, 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 동적 범위에 대응하는 컬러 컴포넌트의 하한 값을 결정할 수 있다. 예를 들어, 프로세서(120)는, 획득된 컬러 컴포넌트 값들 중 최댓값을 동적 범위에 대응하는 컬러 컴포넌트의 상한 값으로 결정할 수 있다. 또한, 프로세서(120)는, 획득된 컬러 컴포넌트 값들 중 최솟값을 동적 범위에 대응하는 컬러 컴포넌트의 하한 값으로 결정할 수 있다.
일 실시예에 따른 프로세서(120)는 결정된 컬러 컴포넌트 값의 상한 값 및 하한 값에 기초하여, 컬러 컴포넌트 값의 동적 범위를 결정할 수 있다. 프로세서(120)는 결정된 컬러 컴포넌트 값의 하한 값에 대한 상한 값의 비율을 컬러 컴포넌트 값의 동적 범위로 결정할 수 있다. 예를 들어, 프로세서(120)는 획득된 컬러 컴포넌트 값들 중 최솟값에 대한 최댓값의 비율을 컬러 컴포넌트 값의 동적 범위로 결정할 수 있다.
일 실시예에 따른, 프로세서(120)는 하나의 픽쳐(picture), 하나 이상의 픽쳐, 신(scene), 또는 전체 영상 단위마다 컬러 컴포넌트 값의 동적 범위를 결정할 수 있으나 이에 제한되지 아니한다. 예를 들어, 프로세서(120)는 픽쳐마다 컬러 컴포넌트 값의 동적 범위를 결정하기 위하여, 각각의 픽쳐에서 획득된 컬러 컴포넌트 값들 중 최솟값 및 최댓값에 기초하여, 동적 범위를 결정할 수 있다. 마찬가지로, 프로세서(120)는 동적 범위가 결정되는 단위마다 스케일링 인자를 결정하고, 결정된 스케일링 인자에 기초하여 해당 단위에 속한 컬러 컴포넌트 값을 스케일링할 수 있다.
일 실시 예에 따른, Y'CbCr 포맷에서, 컬러 컴포넌트는 색차 성분을 나타낼 수 있으나 이에 제한되지 아니한다. 예를 들어, Y'CbCr 포맷에서, 프로세서(120)는, Y'CbCr 신호를 구성하는 레드 차이 색차 성분(red-difference chroma component) 및 블루 차이 색차 성분(blue-difference chroma component) 각각에 대하여, 동적 범위를 결정할 수 있다. 마찬가지로, 프로세서(120)는 레드 차이 색차 성분 및 블루 차이 색차 성분 각각에 대하여 스케일링 인자를 결정하고, 결정된 스케일링 인자에 기초하여 레드 차이 색차 성분 값 및 블루 차이 색차 성분 값 각각을 스케일링 할 수 있다.
프로세서(120)는 결정된 컬러 컴포넌트 값의 동적 범위 및 컬러 컴포넌트 값의 허용 범위에 기초하여 컬러 컴포넌트 값의 동적 범위를 변환하기 위한 스케일링 인자를 결정할 수 있다.
본원에서, 컬러 컴포넌트 값의 허용 범위는 컬러 컴포넌트 값이 가질 수 있는 값의 범위를 의미할 수 있다. 예를 들어, Y'CbCr 포멧에서, 컬러 컴포넌트의 값은 -0.5로부터 0.5 사이의 값을 가질 수 있다. Y'CbCr 포멧에서, 컬러 컴포넌트의 허용 범위의 상한 값은 0.5를 나타낼 수 있고, 컬러 컴포넌트의 허용 범위의 하한 값은 -0.5를 나타낼 수 있다.
프로세서(120)는, 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값, 및 컬러 컴포넌트의 허용범위의 상한 값 및 하한 값에 기초하여 스케일링 인자를 결정할 수 있다.
일 실시 예에 따른, 프로세서(120)는 동적 범위에 대응하는 컬러 컴포넌트의 상한 값에 대한 허용 범위의 상한 값의 비율 크기 및 동적 범위에 대응하는 컬러 컴포넌트의 하한 값에 대한 허용 범위의 하한 값의 비율 크기 중 작은 값을 스케일링 인자로 결정할 수 있다. 예를 들어, Y'CbCr 포멧에서 동적 범위에 대응하는 컬러 컴포넌트의 상한 값이 0.4, 하한 값이 0.2인 경우, 프로세서(120)는 동적 범위에 대응하는 컬러 컴포넌트의 상한 값인 0.4에 대한 허용 범위의 상한 값인 0.5의 비율 크기인 1.25 및 동적 범위에 대응하는 컬러 컴포넌트의 하한 값인 0.2에 대한 허용 범위의 하한 값인 -0.5의 비율 크기인 2.5 중 작은 값인 1.25를 스케일링 인자로 결정할 수 있다.
또한, 일 실시예에 따른, 프로세서(120)는 동적 범위에 대응하는 컬러 컴포넌트의 상한 값과 하한 값의 차이에 대한 허용 범위의 상한 값과 하한 값의 차이의 비율을 스케일링 인자로 결정할 수 있다. 예를 들어, Y'CbCr 포멧에서 동적 범위의 상한 값이 0.4, 하한 값이 0.2인 경우, 스케일링 인자는 동적 범위의 상한 값과 하한 값의 차이인 0.2에 대한 허용 범위의 상한 값과 하한 값의 차이인 1의 비율인 5를 스케일링 인자로 결정할 수 있다.
프로세서(120)는 결정된 스케일링 인자에 기초하여, 컬러 컴포넌트 값을 스케일링할 수 있다.
프로세서(120)는 입력 영상을 구성하는 픽셀에 대한 컬러 컴포넌트 값에 대하여, 결정된 스케일링 인자에 기초하여, 스케일링을 수행 할 수 있다. 프로세서(120)는, 스케일링을 통하여, 입력 영상을 구성하는 픽셀에 대한 컬러 컴포넌트 값의 동적 범위를 변환할 수 있다.
프로세서(120)는 변환된 동적 범위에 기초하여, 양자화를 수행할 수 있다. 예를 들어, 입력 영상이 HDR 영상인 경우, 프로세서(120)는 양자화를 통하여 부동 소수점(floating-point) 포맷의 데이터를 고정 소수점(fixed-point) 포맷의 데이터로 변환할 수 있다. 스케일링에 의하여 컬러 컴포넌트 값의 동적 범위가 증가함에 따라, 프로세서(120)는 양자화 스텝(quantization step)의 개수를 증가시킬 수 있다.
프로세서(120)는 양자화된 입력 영상을 부호화 할 수 있다. 예를 들어 프로세서(120)는, 고정 소수점 포맷의 데이터로 구성된 양자화된 입력 영상을 부호화 할 수 있다.
프로세서(120)는 부호화된 입력 영상 및 스케일링 인자를 포함하는 비트 스트림을 생성할 수 있다. 일 실시예에 따른, 프로세서(120)는 부호화된 입력 영상, 스케일링 인자, 및 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 포함하는 비트 스트림을 생성할 수 있다. 예를 들어, 프로세서(120)는 스케일링 인자 및/또는 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 포함하는 메타 데이터(meta data)를 생성할 수 있다.
도 2는, 일 실시예에 따른, 영상 처리 장치(100)가 컬러 컴포넌트의 동적 범위를 변환하는 방법의 흐름도를 도시하는 도면이다.
단계 210에서, 영상 처리 장치(100)는 입력 영상으로부터 컬러 컴포넌트 값을 획득할 수 있다.
영상 처리 장치(100)는, 입력 영상을 구성하는 픽셀들에 대한 RGB 신호를 획득할 수 있다. 또한, 영상 처리 장치(100)는, 입력 영상을 구성하는 픽셀들에 대한 RGB 신호를 Y'CbCr 신호로 색공간을 변환하는 작업을 수행할 수 있다. 또한, 영상 처리 장치(100)는 입력 영상을 구성하는 픽셀들에 대한 Y'CbCr 신호로부터 컬러 컴포넌트 값을 획득할 수 있다.
단계 220에서, 영상 처리 장치(100)는 입력 영상으로부터 획득된 컬러 컴포넌트 값의 동적 범위를 결정할 수 있다.
일 실시 예에 따른, 영상 처리 장치(100)는, 컬러 컴포넌트 값의 동적 범위를 결정하기 위하여, 획득된 컬러 컴포넌트 값에 기초하여, 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 동적 범위에 대응하는 컬러 컴포넌트의 하한 값을 결정할 수 있다. 예를 들어, 영상 처리 장치(100)는, 획득된 컬러 컴포넌트 값들 중 최댓값을 동적 범위에 대응하는 컬러 컴포넌트의 상한 값으로 결정할 수 있다. 또한, 영상 처리 장치(100)는, 획득된 컬러 컴포넌트 값들 중 최솟값을 동적 범위에 대응하는 컬러 컴포넌트의 하한 값으로 결정할 수 있다.
일 실시예에 따른 영상 처리 장치(100)는 결정된 컬러 컴포넌트 값의 상한 값 및 하한 값에 기초하여, 컬러 컴포넌트 값의 동적 범위를 결정할 수 있다. 영상 처리 장치(100)는 결정된 컬러 컴포넌트 값의 하한 값에 대한 상한 값의 비율을 컬러 컴포넌트 값의 동적 범위로 결정할 수 있다. 예를 들어, 영상 처리 장치(100)는 획득된 컬러 컴포넌트 값들 중 최솟값에 대한 최댓값의 비율을 컬러 컴포넌트 값의 동적 범위로 결정할 수 있다.
일 실시예에 따른, 영상 처리 장치(100)는 하나의 픽쳐, 하나 이상의 픽쳐, 신(scene), 또는 전체 영상 단위마다 컬러 컴포넌트 값의 동적 범위를 결정할 수 있으나 이에 제한되지 아니한다. 예를 들어, 영상 처리 장치(100)는 픽쳐마다 컬러 컴포넌트 값의 동적 범위를 결정하기 위하여, 각각의 픽쳐에서 획득된 컬러 컴포넌트 값들 중 최솟값 및 최댓값에 기초하여, 동적 범위를 결정할 수 있다. 마찬가지로, 영상 처리 장치(100)는 동적 범위가 결정되는 단위마다 대응되는 스케일링 인자를 결정하고, 결정된 스케일링 인자에 기초하여 해당 단위에 속한 컬러 컴포넌트 값을 스케일링할 수 있다.
예를 들어, Y'CbCr 포맷에서, 영상 처리 장치(100)는 Y'CbCr 신호를 구성하는 레드 차이 색차 성분 및 블루 차이 색차 성분 각각에 대하여, 동적 범위를 결정할 수 있다. 마찬가지로, 영상 처리 장치(100)는 레드 차이 색차 성분 및 블루 차이 색차 성분 각각에 대하여 스케일링 인자를 결정하고, 결정된 스케일링 인자에 기초하여 레드 차이 색차 성분 값 및 블루 차이 색차 성분 값 각각을 스케일링할 수 있다.
단계 230에서, 영상 처리 장치(100)는 결정된 컬러 컴포넌트 값의 동적 범위 및 컬러 컴포넌트 값의 허용 범위에 기초하여 컬러 컴포넌트 값의 동적 범위를 변환하기 위한 스케일링 인자를 결정할 수 있다.
영상 처리 장치(100)는, 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값, 및 컬러 컴포넌트의 허용범위의 상한 값 및 하한 값에 기초하여 스케일링 인자를 결정할 수 있다.
단계 240에서, 영상 처리 장치(100)는 결정된 스케일링 인자에 기초하여, 컬러 컴포넌트 값을 스케일링할 수 있다.
영상 처리 장치(100)는 결정된 스케일링 인자에 기초하여 입력 영상을 구성하는 픽셀에 대한 컬러 컴포넌트 값에 대하여 스케일링을 수행 할 수 있다. 영상 처리 장치(100)는, 스케일링을 통하여, 입력 영상을 구성하는 픽셀에 대한 컬러 컴포넌트 값의 동적 범위를 변환할 수 있다.
도 3은, 일 실시예에 따른, 컬러 컴포넌트의 동적 범위를 복원하는 영상 처리 장치(300)의 블록도를 도시하는 도면이다.
도 3을 참조하며, 일 실시 예에 따른, 영상 처리 장치(300)는 비트 스트림을 획득하는 획득부(310), 및 프로세서(320)를 포함할 수 있다. 일 실시 예에 따른 획득부(310), 및 프로세서(320)는 버스 등을 통하여 전기적으로 연결될 수 있다. 도 3에 도시된 영상 처리 장치(300)에는 본 실시 예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시 예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있을 것이다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
획득부(310)은 비트 스트림으로부터 부호화된 영상 및 스케일링 인자를 획득 할 수 있다.
일 실시예에 따른, 획득부(310)는 비트 스트림으로부터 부호화된 입력 영상 및 스케일링 인자를 획득할 수 있다. 다른 일 실시예에 따른, 획득부(310)는 비트 스트림으로부터 부호화된 입력 영상, 스케일링 인자, 및 입력 영상을 구성하는 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 획득할 수 있다. 다른 일 실시예에 따른, 획득부(310)는 스케일링 인자 및/또는 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 포함하는 메타 데이터를 획득할 있다.
일 실시 예에 따른, 프로세서(120)는 CPU, GPU 등, 적어도 하나 이상의 프로세서를 포함할 수 있으나 이제 제한되지 아니한다.
프로세서(320)는 부호화된 영상을 복호화 하여 컬러 컴포넌트 값을 획득할 수 있다.
프로세서는(320)는 부호화된 영상을 복호화 하여 스케일링 인자에 기초하여 스케일링된 컬러 컴포넌트 값을 획득할 수 있다. 일 실시예에 따른, 프로세서(320)는 부호화된 영상을 복호화 하여 고정 소수점 포맷의 컬러 컴포넌트 값을 획득할 수 있다.
프로세서(320)는 획득된 컬러 컴포넌트 값에 대하여 역 양자화를 수행할 수 있다. 일 실시예에 따른, 프로세서(320)는, 역 양자화를 통하여, 고정 소수점 포맷으로부터 부동 소수점 포맷으로 변환된 컬러 컴포넌트 값을 획득할 수 있다.
일 시예에 따른, 획득된 부동 소수점 포맷의 컬러 컴포넌트 값은 도 2에서 설명한 방법에 의하여 스케일링된 컬러 컴포넌트 값일 수 있으나 이에 제한되지 아니한다. 또한, 프로세서(320)는 입력 영상을 구성하는 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 획득 할 수 있다. 일 실시예에 따른, 프로세서(320)는 수신된 비트 스트림으로부터 스케일링되기 전 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 획득할 수 있다. 다른 일 예로서, 프로세서(320)는 복호화된 컬러 컴포넌트 값에 기초하여 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 획득할 수 있다.
프로세서(320)는, 획득된 스케일링 인자에 기초하여, 컬러 컴포넌트 값을 역 스케일링할 수 있다. 일 실시예에 따른, 프로세서(320)는 획득된 스케일링 인자 및 스케일링되기 전 컬러 컴포넌트 값의 동적 범의에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값에 기초하여, 컬러 컴포넌트 값을 역 스케일링할 수 있다. 프로세서(320)는 역 스케일링을 통하여 스케일링되기 전 컬러 컴포넌트 값의 동적 범위를 복원할 수 있다.
프로세서(320)는, 컬러 컴포넌트 값을 역 스케일링하여, 동적 범위가 복원된 영상을 획득할 수 있다.
일 실시예에 따른, 프로세서(320)는, 획득된 Y'CbCr 색공간에서 컬러 컴포넌트의 값을 RGB 색공간(red green blue color space)에서의 컬러 컴포넌트 값으로 변환할 수 있다. 프로세서(320)는, RGB 색공간에서 컬러 컴포넌트 값에 기초하여 영상을 획득할 수 있다.
역 스케일링 및 동적 범위의 복원을 수행함에 있어서, 프로세서(320)는 하나의 픽쳐, 하나 이상의 픽쳐, 신, 또는 전체 영상 단위마다 컬러 컴포넌트 값에 대하여 역 스케일링을 수행하고, 해당 단위에 속한 컬러 컴포넌트 값의 동적 범위를 복원할 수 있으나 이에 제한되지 아니한다. 마찬가지로, 프로세서(320)는 동적 범위가 복원되는 단위마다 대응되는 스케일링 인자에 기초하여 해당 단위에 속한 컬러 컴포넌트 값에 대하여 역 스케일링을 수행할 수 있다.
또한, 프로세서(320)는 Y'CbCr 신호를 구성하는 레드 차이 색차 성분 및 블루 차이 색차 성분 각각에 대하여, 동적 범위를 복원할 수 있다. 마찬가지로, 프로세서(320)는 레드 차이 색차 성분 및 블루 차이 색차 성분 각각에 대한 스케일링 인자에 기초하여, 레드 차이 색차 성분 값 및 블루 차이 색차 성분 값 각각에 대하여 역 스케일링을 수행할 수 있다.
도 4는, 일 실시예에 따른, 영상 처리 시스템(400)의 블록도를 도시하는 도면이다.
도 4를 참조하면, 시스템(400)은 입력된 영상의 컬러 컴포넌트의 동적 범위를 변환하고, 영상을 부호화 하는 영상 처리 장치(100) 및 부호화된 영상을 복호화 하고 변환된 컬러 컴포넌트의 동적 범위를 복원하여 출력 영상을 획득하는 영상 처리 장치(300)를 포함할 수 있다.
이하 시스템(400)의 구성을 차례대로 살펴보도록 한다.
일 실시 예에 따른, 스토리지(110)는 입력 영상을 저장할 수 있다.
일 실시 예에 따른, 프로세서(120)는 입력 영상을 구성하는 픽셀들에 대한 RGB 신호를 획득할 수 있다. 예를 들어 프로세서(120)는 스토리지(110)에 저장된 입력 영상을 구성하는 픽셀들에 대한 RGB 신호를 획득할 수 있다. 또한, 프로세서(120)는, 수신된 입력 영상을 구성하는 픽셀들에 대한 RGB 신호를 Y'CbCr 신호로 색공간을 변환하는 작업을 수행할 수 있다. 또한, 프로세서(120)는 입력 영상을 구성하는 픽셀들에 대한 Y'CbCr 신호로부터 컬러 컴포넌트 값을 획득할 수 있다.
프로세서(120)는 입력 영상으로부터 획득된 컬러 컴포넌트 값의 동적 범위를 결정할 수 있다.
일 실시 예에 따른, 프로세서(120)는, 컬러 컴포넌트 값의 동적 범위를 결정하기 위하여, 획득된 컬러 컴포넌트 값에 기초하여, 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 동적 범위에 대응하는 컬러 컴포넌트의 하한 값을 결정할 수 있다.
일 실시예에 따른 프로세서(120)는 결정된 컬러 컴포넌트 값의 상한 값 및 하한 값에 기초하여, 컬러 컴포넌트 값의 동적 범위를 결정할 수 있다. 프로세서(120)는 결정된 컬러 컴포넌트 값의 하한 값에 대한 상한 값의 비율을 컬러 컴포넌트 값의 동적 범위로 결정할 수 있다.
프로세서(120)는 결정된 컬러 컴포넌트 값의 동적 범위 및 컬러 컴포넌트 값의 허용 범위에 기초하여 컬러 컴포넌트 값의 동적 범위를 변환하기 위한 스케일링 인자를 결정할 수 있다.
프로세서(120)는 결정된 스케일링 인자에 기초하여, 컬러 컴포넌트 값을 스케일링할 수 있다. 프로세서(120)는 결정된 스케일링 인자에 기초하여 입력 영상을 구성하는 픽셀에 대한 컬러 컴포넌트 값에 대하여 스케일링을 수행 할 수 있다. 프로세서(120)는, 스케일링을 통하여, 입력 영상을 구성하는 픽셀에 대한 컬러 컴포넌트 값의 동적 범위를 변환할 수 있다.
프로세서(120)는 변환된 동적 범위에 기초하여, 양자화를 수행할 수 있다. 프로세서(120)는 양자화된 입력 영상을 부호화 할 수 있다. 프로세서(120)는 부호화된 입력 영상 및 스케일링 인자를 포함하는 비트 스트림을 생성할 수 있다. 일 실시예에 따른, 프로세서(120)는 부호화된 입력 영상, 스케일링 인자, 및 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 포함하는 비트 스트림을 생성할 수 있다.
이하, 영상 처리 장치(100)가 생성한 비트 스트림으로부터 출력 영상을 획득하는 영상 처리 장치(300)에 대하여 설명하도록 한다.
영상 처리 장치(300)는 비트 스트림을 획득하는 획득부(310), 및 프로세서(320)를 포함할 수 있다.
획득부(310)은 부호화된 영상 및 스케일링 인자를 포함하는 비트 스트림을 획득 할 수 있다.
일 실시예에 따른, 획득부(310)는 비트 스트림으로부터 부호화된 입력 영상 및 스케일링 인자를 획득할 수 있다. 다른 일 실시예에 따른, 획득부(310)는 비트 스트림으로부터 부호화된 입력 영상, 스케일링 인자, 및 입력 영상을 구성하는 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 획득할 수 있다. 다른 일 실시예에 따른, 획득부(310)는 스케일링 인자 및/또는 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 포함하는 메타 데이터를 획득할 있다.
프로세서(320)는 부호화된 영상을 복호화 하여 컬러 컴포넌트 값을 획득할 수 있다. 또한, 프로세서(320)는 획득된 컬러 컴포넌트 값에 대하여 역 양자화를 수행할 수 있다. 프로세서(320)는 획득된 컬러 컴포넌트 값을 역 양자화 하여 스케일링된 컬러 컴포넌트 값을 획득할 수 있다.
프로세서(320)는 입력 영상을 구성하는 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 획득 할 수 있다. 일 실시예에 따른, 프로세서(320)는 수신된 비트 스트림으로부터 스케일링되기 전 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 획득할 수 있다. 다른 일 예로서, 프로세서(320)는 복호화된 컬러 컴포넌트 값에 기초하여 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 획득할 수 있다.
프로세서(320)는, 획득된 스케일링 인자에 기초하여, 스케일링된 컬러 컴포넌트 값을 역 스케일링할 수 있다. 프로세서(320)는 역 스케일링을 통하여 스케일링되기 전 컬러 컴포넌트 값의 동적 범위를 복원할 수 있다. 프로세서(320)는 동적 범위가 복원된 컬러 컴포넌트로 구성된 출력 영상을 획득할 수 있다.
도 5는, 일 실시예에 따른, 컬러 컴포넌트의 범위를 변환 및 복원하는 방법의 흐름도를 도시하는 도면이다.
종래의 기술과 달리, 본원에서 제시된 방법은 도 5에 대한 상세한 설명에서 상술되는 바와 같이 HDR, WCG 영상, 및 비디오 압축 품질을 향상시키기 위하여 HDR 영상을 변경할 수 있다.
단계(502)에서, 일 실시예에 따른, 영상 처리 장치(100)는 부동 소수점 정확도를 갖는 4:4:4 RGB 색공간에서, 선형 광 포맷(linear light format)으로 캡쳐된 16 비트 데이터로 구성된 영상, 예를 들어, HDR 영상/WCG 영상을 획득할 수 있다. 또한, 영상 처리 장치(100)는 획득된 영상에 대하여, 반 정밀도(half-precision) 부동 소수점 4:4:4 RGB 선형 광 포맷에서 단일 정밀도(single-precision) 부동 소수점 포맷으로 변환을 수행하고, 체감 품질(perceptual quality: PQ) 전달 함수를 이용하여 부동 소수점의 R'G'B' 값에 매핑(mapping)을 수행 할 수 있다.
단계(504)에서, 영상 처리 장치(100)는 매핑된 R'G'B' 값에 대하여, 부동 소수점 Y'CbCr 포맷으로 변환을 수행 수 있다.
단계(506)에서, 영상 처리 장치(100)는 영상을 구성하는 컬러 컴포넌트의 범위를 감지할 수 있다. 또한, 영상 처리 장치(100)는 스케일링 인자에 기초하여 영상 내에 컬러 컴포넌트 각각의 범위 중 색역의 평균값 주위의 범위를 확장하여 영상을 변경할 수 있다.
단계(508)에서, 영상 처리 장치(100)는 양자화 프로세스를 수행할 수 있다. 예를 들어, 영상 처리 장치(100)는 영상 포맷을 부동 소수점의 Y'CbCr 포맷에서 10비트 고정 소수점 포맷(
Figure 112018030502812-pct00004
)으로 변환할 수 있다.
일 실시예에 따른, 영상 처리 장치(100)는, 수학식 1을 이용하여, 양자화 프로세스를 수행할 수 있다. 영상 처리 장치(100)는 결과 값인 Cb' 및 Cr'이 0과 1사이의 값을 갖도록 스케일링 인자를 결정할 수 있다.
Figure 112018030502812-pct00005
단계(510)에서, 영상 처리 장치(100)는 10비트 고정 소수점 포맷(
Figure 112018030502812-pct00006
)의 데이터에 대하여 4:4:4 포맷에서 4:2:0포맷으로 다운 샘플링(down sampling)을 수행 할 수 있다.
단계(512)에서, 영상 처리 장치(100)는 다운 샘플링 된 데이터를 부호화 할 수 있다. 예를 들어, 영상 처리 장치(100)는 HEVC 메인 10 프로파일(Main 10 Profile) 부호화기(이하, HEVC 부호화기)를 이용하여 다운 샘플링 된 데이터를 부호화 할 수 있다. 부호화기는 영상 처리 장치(100) 내에서 하나 이상의 프로세서를 이용하여 구현될 수 있다. 영상 처리 장치(100)는 부호화기, 예를 들어, HEVC 부호화기를 이용하여, 스케일링 인자 및 색역 컴포넌트 중 적어도 하나 또는 모두, 및 부호화된 영상을 포함하는 비트 스트림을 생성할 수 있다. 영상 처리 장치(100)는 생성된 비트 스트림을 복호화기, 예를 들어, HEVC 메인 10 프로파일 복호화기에 시그널링 할 수 있다.
일 실시예에 따른, 색역 컴포넌트는 컬러 컴포넌트 각각의 범위가 확장되기 전 컬러 컴포넌트 각각의 최대 값 및 최소 값, 및 컬러 컴포넌트 각각의 서브 범위의 시작 점 및 종료 점을 포함할 수 있다. 일 실시예에 따른, 영상 처리 장치(100)는 영상의 컬러 컴포넌트를 복원하기 위하여 색역 컴포넌트를 복호화기에 시그널링 할 수 있다. 영상 처리 장치(100)는 비트 스트림 내에 비트 스트림의 일부 또는 메타 데이터로서 색역 컴포넌트를 부호화할 수 있다.
일 실시예에 따른, 스케일링 인자는 고정 스케일링 인자(fixed scaling factor)일 수 있다. 고정 오프셋(fixed offset) 및 고정 스케일링 인자는 영상의 콘텐트 및 영상 내에 컬러 컴포넌트의 범위 중 적어도 하나에 기초하여 결정될 수 있다.
일 실시예에 따른, 스케일링 인자가 고정 스케일링 인자인 경우, 고정 오프셋은, 수학식 2에 따라서, 영상 내에 컬러 컴포넌트의 범위에 기초하여 결정될 수 있다.
Figure 112018030502812-pct00007
일 실시예에 따른, 스케일링 인자가 고정 스케일링 인자인 경우, 고정 오프셋은, 수학식 3에 따라서, 영상의 콘텐트에 기초하여 결정될 수 있다.
Figure 112018030502812-pct00008
일 실시예에 따른, 스케일링 인자가 동적 스케일링 인자(dynamic scaling factor)일 수 있다. 동적 스케일링 인자 및 동적 오프셋(dynamic offset)은 영상의 콘텐트 및 영상의 동적 범위 중 적어도 하나에 기초하여 결정될 수 있다.
일 실시예에 따른, 스케일링 인자가 동적 스케일링 인자이고 컬러 컴포넌트 각각의 범위가 영상 내에 컬러 컴포넌트 각각의 허용 범위(permissible range)로 확장되도록 컬러 컴포넌트 값에 대한 스케일링이 수행되는 경우, 동적 오프셋은, 수학식 4에 따라서, 영상의 콘텐트에 기초하여 결정될 수 있다.
Figure 112018030502812-pct00009
일 실시예에 따른, 스케일링 인자는 동적 스케일링 인자이고 영상 내에 컬러 컴포넌트 각각의 범위가 컬러 컴포넌트 각각의 허용 범위 전체로 확장되도록 컬러 컴포넌트 값이 스케일링 되는 경우, 동적 스케일링 인자 및 동적 오프셋은, 수학식 5에 따라서, 영상의 컬러 컴포넌트의 동적 범위에 기초하여 결정될 수 있다.
Figure 112018030502812-pct00010
일 실시예에 따른, 스케일링 인자가 동적 스케일링 인자인 경우, 동적 스케일링 인자는, 수학식 6에 따라서, 영상의 컬러 컴포넌트의 동적 범위에 기초하여 결정될 수 있다.
Figure 112018030502812-pct00011
단계(514)에서, 영상 처리 장치(300)는 복호화기, 예를 들어, HEVC 복호화기를 이용하여, 비트 스트림을 획득할 수 있다. 예를 들어, 영상 처리 장치(300)는 HEVC 복호화기를 이용하여 스케일링 인자 및 색역 컴포넌트 중 적어도 하나 및 부호화된 영상을 포함하는 비트 스트림을 획득할 수 있다. 영상 처리 장치(300)는 부호화된 비트 스트림에 기초하여 부호화된 영상을 복호화 할 수 있다.
단계(516)에서, 영상 처리 장치(300)는 복호화된 영상에 대하여, 4:2:0 포맷에서 4:4:4 포맷으로 업 샘플링(up-sampling)을 수행할 수 있다.
단계(518)에서, 영상 처리 장치(300)는 업 샘플링된 영상에 대하여 10 비트 고정 소수점 포맷(
Figure 112018030502812-pct00012
)에서 부동 소수점 Y'CbCr 포맷으로 영 양자화(de-quantization)를 수행할 수 있다
단계(520)에서, 영상 처리 장치(300)는 역양자화된 데이터로 구성된 복호화된 영상 내에 컬러 컴포넌트 각각의 범위를 복원할 수 있다. 일 실시예에 따른, 영상 처리 장치(300)는 스케일링 인자 및 색역 컴포넌트 중 적어도 하나에 기초하여, 확장된 복호화 영상 내에 컬러 컴포넌트 각각의 범위로부터 색역의 평균값 주위의 범위를 복원할 수 있다.
단계(522)에서, 영상 처리 장치(300)는 복호화된 영상에 대하여 부동 소수점 Y'CbCr 포맷에서 R'G'B' 포맷으로 변환을 수행할 수 있다.
단계(524)에서, 영상 처리 장치(300)는 복호화된 영상에 대하여 단일 정밀도 부동 소수점 포맷에서 반 정밀도 부동 소수점 4:4:4 RGB 선형 광 포맷으로 변환을 수행하고, PQ 역 전달 함수를 이용하여 부동 소수점 정확도를 갖는 4:4:4 RGB 색공간으로 재매핑할 수 있다. 영상 처리 장치(300)는 4:4:4 RGB 공간에서 부동 소수점 정확도를 갖는 데이터로 구성된 출력 영상을 획득할 수 있다.
본원 개시의 일 실시예에 따른, 도 5의 HDR 비디오 코딩 파이프 라인으로부터 출력된 영상의 품질은 종래 기술에 따른 복원된 HDR 영상의 품질에 비하여 향상된다.
도 6은, 일 실시예에 따른, 영상의 컬러 관리 장치(602)의 블록도를 도시하는 도면이다. 일 실시예에 따른, 장치(602)는, 예를 들어, 모바일 폰(mobile phone), 스마트 폰(smart phone), PDAs(Personal Digital Assistants), 태블릿(tablet), 패블릿(phablet), 스마트 애플리케이션(smart application), 텔레비전(television), 소비자 전자 디바이스(consumer electronic device), 모니터(monitor), 듀얼 디스플레이 디바이스(dual display device), 또는 다른 전자 디바이스 등을 포함할 수 있으나 이에 제한되지 아니한다.
장치(602)는 색역 유닛(gamut unit)(604), 부호화 유닛(encoder unit)(606), 복호화 유닛(decoder unit)(608), 프로세서 유닛(processor unit)(610), 메모리 유닛(memory unit)(612), 및 통신 유닛(communication unit)(614)을 포함할 수 있다.
색역 유닛(604)은 영상 내에 컬러 컴포넌트의 범위를 감지할 수 있다. 또한, 색역 유닛(604)은 스케일링 인자에 기초하여 영상 내에 컬러 컴포넌트 각각의 범위 중 색역의 평균값 주위의 범위를 확장하여 영상을 변경할 수 있다.
일 실시예에 따른, 색역 유닛(604)는 스케일링 인자에 기초하여 영상 내에 컬러 컴포넌트 각각의 범위 중 색역의 평균값 주위의 범위를 확장하여 영상을 변경할 수 있다. 색역 유닛(604)은 컬러 컴포넌트의 범위에 대한 색역 컴포넌트를 결정하고, 색역 컴포넌트 및 스케일링 인자에 기초하여 컬러 컴포넌트의 범위 중 색역의 평균값 주위의 범위를 확장할 수 있다. 스케일링 인자에 기초하여 영상 내에 컬러 컴포넌트 각각의 범위 중 색역의 평균값 주위의 범위를 확장하는 방법은 하기 도 8a 내지 8d를 참조하여 설명한다.
일 실시예에 따른, 색역 유닛(604)은 스케일링 인자에 기초하여 영상 내에 컬러 컴포넌트 각각의 범위 중 색역의 평균값 주위의 범위를 확장하여 영상을 변경할 수 있다. 색역 유닛(604)은 컬러 컴포넌트 각각의 복수의 서브 범위를 산출할 수 있다. 색역 유닛(604)은 서브 범위 각각에 대한 스케일링 인자를 유지할 수 있다. 색역 유닛(604)은 컬러 컴포넌트 각각의 서브 범위에 대한 색역 컴포넌트를 결정할 수 있다. 색역 유닛(604)는 색역 컴포넌트에 기초하여 컬러 컴포넌트 각각에 대한 복수의 서브 범위 중 색역의 평균 주위의 서브 범위를 확장할 수 있다.
부호화 유닛(606)은 변경된 영상을 부호화할 수 있다. 또한, 부호화 유닛(606)은 스케일링 인자 및 색역 컴포넌트 중 적어도 하나 및 부호화된 영상을 포함하는 비트 스트림을 복호화 유닛(608)에 시그널링 할 수 있다.
복호화 유닛(608)은 스케일링 인자 및 색역 컴포넌트 중 적어도 하나 및 부호화된 영상을 포함하는 비트 스트림을 수신할 수 있다. 또한, 복호화 유닛(608)은 부호화된 영상을 복호화 할 수 있다. 부호화된 영상을 복호화 한 후, 복호화 유닛(608)은 복호화된 영상을 색역 유닛(602)에 시그널링 할 수 있다.
일 실시예에 따른, 색역 유닛(602)은 스케일링 인자 및 색역 컴포넌트 중 적어도 하나에 기초하여 확장된 복호화 영상 내에 컬러 컴포넌트 각각의 범위로부터 색역의 평균값 주위의 범위를 복원할 수 있다.
일 실시예에 따른, 색역 유닛(602)은 스케일링 인자에 기초하여 컬러 컴포넌트에 대한 색역 컴포넌트를 획득할 수 있다. 예를 들어, 색역 유닛(602)은 복호화 유닛(608)에 의하여 복호화된 영상의 픽셀 값 및 스케일링 인자로부터 컬러 컴포넌트에 대한 색역 컴포넌트를 획득할 수 있다.
프로세서(610)는, 메모리(612), 예를 들어, 휘발성(volatile) 및/또는 비휘발성(non-volatile) 메모리와 통신을 구축하여 연결된 하드웨어(hardware), 장치(apparatus), CPU(central processing unit), GPU(graphics processing unit) 등을 포함할 수 있으나 이에 제한되지 아니한다. 메모리(612)는 프로세서(610)를 통하여 접근할 수 있는 저장 장소(storage location)을 포함할 수 있다. 또한, 메모리(612)는 비휘발성 기억 소자를 포함할 수 있다. 예를 들어, 비휘발성 기억 소자는 자기적 하드 디스크(magnectic hard disc), 광 디스크(optical disc), 플로피 디스크(floppy disc), 플래시 메모리(flash memory), EPROM(electrically programmable memory), 또는 EEPROM(electrically erasable and programmable memory)을 포함할 수 있으나 이에 제한되지 아니한다. 또한, 메모리(612)는 비일시적 저장 매체(non-transitory storage medium)일 수 있다. 용어 “비일시적”은 저장 매체가 반송파(carrier wave) 또는 전파된 신호 내에 구현되지 않는다는 것을 의미할 수 있다. 그런, 용어 “비일시적”는 메모리(612)가 고정된(non-movable) 것으로 해석되어서는 아니 된다. 일 실시예에 따른, 메모리(612)는 보다 더 많은 양의 정보를 저장할 수 있다. 예를 들어, 비일시적 저장 매체는, 예를 들어, RAM(Random Access Memory) 또는 캐시(cache)와 같이, 시간에 따라 변할 수 있는 데이터를 저장 할 수 있다. 통신 유닛(614)은 내부 유닛 간 통신 및 외부와 통신을 위하여 네트워크를 통해 구성될 수 있다.
도 6은 장치(602)의 개요를 도시한다. 그러나 이는 권리범위를 제한하는 방향으로 해석되어서는 아니 된다. 또한, 시스템/장치(602)는 상호간 통신을 하는 다른 하드웨어 또는 소프트웨어 및 다른 유닛 들을 포함할 수 있다. 예를 들어, 장치(602)는 컨트롤러 또는 프로세서 내에서 수행되는 프로세스, 객체, 실행 가능한 프로세스, 실행 스레드(thread of execution), 프로그램 또는 컴퓨터를 더 포함할 수 있으나 이에 제한되지 아니한다. 예를 들어, 디바이스에서 실행되는 애플리케이션 및 디바이스 자체 모두 구성요소가 될 수 있다.
도 6에서, 용어 “유닛”은 유닛은 소프트웨어 모듈이 아닌 하드웨어로 구현되는 모듈을 나타낸다. “유닛”은 하나 이상의 프로세서를 포함하는 하드웨어로 구현될 수 있다.
도 7은, 일 실시예에 따른, 스케일링 인자에 기초하여 컬러 컴포넌트 각각의 범위 중 색역의 평균 주위의 범위가 확장되는 일 예를 도시하는 도면이다. 도 7에 도시된 바와 같이, 영상의 컬러 컴포넌트에 대한 전체 허용 범위는 -0.5부터 0.5까지의 범위일 수 있다. 반면에, 입력 영상의 색차 성분 값의 범위는 x부터 y까지의 범위일 수 있다. 입력 영상의 색차 성분 값의 범위를 기준으로, 픽셀 값이 16비트 부동 소수점 포맷으로부터 10비트 고정 소수점 포맷으로 양자화되는 동안 상당한 정밀도 손실이 발생하고, 이로 인하여, 복호화된 영상 내에 부정확한 색상 및 강도의 재현이 발생한다.
복호화된 영상 내에 부정확한 색상 및 강도의 재현을 해결하기 위하여, 본 개시에 따른 다양한 실시예는 스케일링 인자에 기초하여 영상 내에 컬러 컴포넌트 각각의 범위 중 색역의 평균값 주위의 범위를 확장하여 영상을 변경함으로써 HDR 영상의 품질을 향상시킨다. 도 7에 도시된 바와 같이, 일 실시예에 따른, 컬러 컴포넌트 각각의 범위는 x부터 y까지의 범위로부터 X부터 Y까지의 범위로 확장될 수 있다.
도 8a 내지 도8d는, 일 실시예에 따른, 고정 스케일링 인자 및 동적 스케일링 인자에 기초하여, 컬러 컴포넌트 각각의 범위 중 색역의 평균 주위의 범위가 확장되는 일 예를 도시하는 도면이다. 도 8a를 참조하면, 일 실시예에 따른, 영상의 컬러 컴포넌트의 전체 허용 범위는 -0.5부터 0.5까지의 범위일 수 있다. 반면에, 입력 영상의 색차 성분 값의 범위는 x부터 y까지의 범위일 수 있다.
도 8b를 참조하면, 일 실시예에 따른, 고정 오프셋 및 고정 스케일링 인자는 영상의 콘텐트 및 영상 내에 컬러 컴포넌트의 범위 중 적어도 하나에 기초하여 결정될 수 있다. 일 실시예에 따른, 고정 오프셋은 수학식 2 내지 3에 따라 결정될 수 있다.
도 8c를 참조하면, 일 실시예에 따른, 스케일링 인자는 동적 스케일링 인자일 수 있고, 영상 내에 컬러 컴포넌트 각각의 범위는 컬러 컴포넌트 각각의 전체 허용 범위로 확장되도록 스케일링 될 수 있다. 도 8d를 참조하면, 스케일링 인자는 동적 스케일링 인자일 수 있고, 영상 내에 컬러 컴포넌트 각각의 범위는 컬러 컴포넌트 각각의 전체 허용 범위의 상한 및 하한 중 적어도 하나로 확장되도록 스케일링 될 수 있다. 일 실시예에 따른, 동적 오프셋은 수학식 4 내지 6에 따라 여 영상의 콘텐트에 기초하여 결정될 수 있다.
도 9는, 일 실시예에 따른, 영상의 컬러 관리 방법의 흐름도를 도시하는 도면이다.
단계(902)에서, 색역 유닛(604)은 영상의 컬러 컴포넌트의 범위를 감지할 수 있다.
단계(904)에서, 색역 유닛(604)은 스케일링 인자에 기초하여 영상 내에 컬러 컴포넌트 각각의 범위 중 색역의 평균값 주위의 범위를 확장하여 영상을 변경할 수 있다.
단계(906)에서, 부호화 유닛(606)은 컬러 컴포넌트 값의 범위가 변경된 영상을 부호할 수 있다.
단계(908)에서, 부호화 유닛(606)은 스케일링 인자 및 색역 컴포넌트 중 적어도 하나 및 부호화된 영상을 포함하는 비트 스트림을 복호화 유닛(608)에 시그널링 할 수 있다.
단계(910)에서, 복호화 유닛(608)은 스케일링 인자 및 색역 컴포넌트 중 적어도 하나 및 부호화된 영상으로 구성된 비트 스트림을 수신할 수 있다. 단계(912)에서, 복호화 유닛(608)은 부호화된 영상을 복호화 할 수 있다.
단계(914)에서, 색역 유닛(604)은 스케일링 인자에 기초하여 컬러 컴포넌트의 색역 컴포넌트를 결정할 수 있다.
단계(916)에서, 색역 유닛(604)은 색역 컴포넌트에 기초하여, 확장된 복호화된 영상 내에 컬러 컴포넌트 각각의 범위로부터 색역의 평균값 주위의 범위를 복원할 수 있다.
흐름도 내에 여러 동작(action/act), 단계 등은 도시된 순서, 도시된 순서와 다른 순서, 또는 동시적으로 수행될 수 있다. 또한, 일 실시예에 따른 몇몇 동작(action/act), 단계 등은 본원의 권리범위에서 벗어나지 않는 범위에서, 생략, 추가, 변형 등이 있을 수 있다.
도 10은, 일 실시예에 따른, 스케일링 인자에 기초하여, 영상의 컬러 컴포넌트 각각의 범위 중 색역의 평균값 주위의 범위를 확장하여 영상을 변경하는 방법의 흐름도를 도시하는 도면이다.
단계(1010)에서, 색역 유닛(604)은 컬러 컴포넌트의 범위에 대한 색역 컴포넌트를 결정할 수 있다.
단계(1020)에서, 색역 유닛(604)은 스케일링 인자에 기초하여, 컬러 컴포넌트 각각에 대하여 스케일링을 수행할 수 있다.
단계(1030)에서, 색역 유닛(604)은 색역 컴포넌트에 기초하여 스케일링된 컬러 컴포넌트의 범위 중 색역의 평균값 또는 중간값 주위의 범위를 확장할 수 있다.
흐름도 내에 여러 동작(action/act), 단계 등은 도시된 순서, 도시된 순서와 다른 순서, 또는 동시적으로 수행될 수 있다. 또한, 일 실시예에 따른 몇몇 동작(action/act), 단계 등은 본원의 권리범위에서 벗어나지 않는 범위에서, 생략, 추가, 변형 등이 있을 수 있다.
도 11는, 다른 일 실시예에 따른, 스케일링 인자에 기초하여, 영상의 컬러 컴포넌트 각각의 범위 중 색역의 평균값 주위의 범위를 확장하여 영상을 변경하는 방법의 흐름도를 도시하는 도면이다.
단계(1110)에서, 색역 유닛(604)은 컬러 컴포넌트 각각의 복수의 서브 범위를 산출할 수 있다.
단계(1120)에서, 색역 유닛(604)은 서브 범위 각각에 대한 스케일링 인자를 유지할 수 있다.
단계(1130)에서, 색역 유닛(604)은 스케일링 인자에 기초하여 컬러 컴포넌트의 서브 범위 각각을 스케일링할 수 있다.
단계(1140)에서, 색역 유닛(604)은 스케일링된 컬러 컴포넌트의 서브 범위에 대한 색역 컴포넌트를 결정할 수 있다.
단계(1150)에서, 색역 유닛(604)은 색역 컴포넌트에 기초하여 스케일링된 컬러 컴포넌트 각각의 서브 범위 중 색역의 평균값 주위의 서브 범위를 확장할 수 있다.
흐름도 내에 여러 동작(action/act), 단계 등은 도시된 순서, 도시된 순서와 다른 순서, 또는 동시적으로 수행될 수 있다. 또한, 일 실시예에 따른 몇몇 동작(action/act), 단계 등은 본원의 권리범위에서 벗어나지 않는 범위에서, 생략, 추가, 변형 등이 있을 수 있다.
도 12는 일 실시예에 따른 영상의 컬러 관리 방법 및 시스템을 구현하기 위한 컴퓨팅 환경(computing environment)를 도시하는 도면이다. 도 12에 도시된 바와 같이 컴퓨팅 환경(1202)은 컨트롤 유닛(control unit)(1204) 및 ALU(arithmetic Logic Unit)(1208)이 구비된 적어도 하나 이상의 프로세싱 유닛(processing unit(1216), 메모리(1212), 스토리지 유닛(1214), 복수의 네트워크 디바이스(1206) 및 입/출력(Input/Output: I/O) 디바이스(1210)를 포함할 수 있다. 프로세싱 유닛(1216)은 스킴(scheme)의 명령을 프로세싱 할 수 있다. 프로세싱 유닛(1216)은 프로세싱을 수행하기 위하여 컨트롤 유닛(1204)으로부터 명령을 수신할 수 있다. 또한, 프로세싱 유닛(1216)은 명령의 실행과 관련된 논리 산술 연산은 ALU(1208)를 이용하여 계산할 수 있다.
전체의 컴퓨팅 환경(1202)은 동질(homogeneous) 또는 이질(heterogeneous)의 코어(core), 다른 종류의 복수의 CPU, 특수 미디어(special media) 및 다른 액셀러레이터(accelerator) 등을 포함할 수 있으나 이에 제한되지 아니한다. 프로세싱 유닛(1216)은 스킴의 명령을 프로세싱할 수 있다. 또한, 복수의 프로세싱 유닛(1216)은 단일 또는 복수의 칩(chip) 상에 놓일 수 있다.
스킴은 메모리 유닛(1212) 또는 스토리지(1214) 또는 이들 모두에 저장될 수 있는 구현에 필요한 명령 및 코덱을 포함할 수 있다. 실행 시, 명령은 대응되는 메모리(1212) 또는 스토리지(1214)로부터 호출되어 프로세싱 유닛(1216)에 의하여 실행될 수 있다.
또한, 스토리지(1214)는 비휘발성 기억 소자를 포함할 수 있다. 예를 들어, 비휘발성 기억 소자는 자기적 하드 디스크, 광 디스크, 플로피 디스크, 플래시 메모리, EPROM또는 EEPROM를 포함할 수 있으나 이에 제한되지 아니한다. 또한, 스토리지(1214)는 비일시적 저장 매체일 수 있다. 용어 “비일시적”은 저장 매체가 반송파 또는 전파된 신호 내에 구현되지 않는다는 것을 의미할 수 있다. 그런, 용어 “비일시적”는 스토리지(1214)가 고정된 것으로 해석되어서는 아니 된다. 일 실시예에 따른, 스토리지(1214)는 보다 더 많은 양의 정보를 저장할 수 있다. 예를 들어, 비일시적 저장 매체는, 예를 들어, RAM(Random Access Memory) 또는 캐시(cache)와 같이, 시간에 따라 변할 수 있는 데이터를 저장 할 수 있다.
하드웨어 구현과 관련하여 다양한 네트워크 디바이스(1206) 또는 외부 I/O 디바이스(1210)는 네트워크 유닛 및 I/O 디바이스 유닛을 통하여 컴퓨팅 환경(1202)과 연결되어 구현을 지원할 수 있다.
본원 개시된 다양한 실시예는 적어도 하나의 하드웨어 디바이스에서 실행되고 구성요소를 제어하기 위하여 네트워크 관리 기능을 수행하는 적어도 하나의 소프트웨어 프로그램을 통하여 구현될 수 있다. 도 1 내지 6 및 도 9 내지 도12에 도시된 구성요소들은 적어도 하나의 하드웨어 디바이스 또는 하드웨어 디바이스 및 소프트웨어 유닛의 조합일 수 있는 블록을 포함할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

Claims (15)

  1. 입력 영상으로부터 컬러 컴포넌트(color component) 값을 획득하는 단계;
    상기 획득된 컬러 컴포넌트 값에 기초하여, 상기 컬러 컴포넌트 값의 동적 범위(dynamic range)를 결정하는 단계;
    상기 결정된 컬러 컴포넌트 값의 동적 범위 및 컬러 컴포넌트 값의 허용 범위에 기초하여, 상기 컬러 컴포넌트 값의 동적 범위를 변환하기 위한 스케일링 인자를 결정하되, 상기 컬러 컴포넌트 값의 허용 범위는 상기 컬러 컴포넌트 값이 가질 수 있는 하한 값으로부터 상기 컬러 컴포넌트 값이 가질 수 있는 상한 값까지의 범위인, 단계; 및
    상기 결정된 스케일링 인자에 기초하여, 상기 컬러 컴포넌트 값의 동적 범위를 변환하도록 상기 컬러 컴포넌트 값을 스케일링하는 단계;를 포함하는 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 방법은,
    상기 스케일링된 컬러 컴포넌트 값의 변환된 동적 범위에 기초하여 양자화를 수행하여 사이 스케일링된 컬러 컴포넌트 값의 포맷을 변경하는 단계; 및
    상기 양자화된 입력 영상을 부호화 하는 단계;를 더 포함하는 영상 처리 방법.
  3. 제 2 항에 있어서,
    상기 방법은,
    상기 부호화된 입력 영상 및 상기 스케일링 인자를 포함하는 비트 스트림을 생성하는 단계;를 더 포함하는 영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 스케일링 인자를 결정하는 단계는,
    상기 동적 범위에 대응하는 컬러 컴포넌트의 상한 값에 대한 상기 허용 범위의 상한 값의 비율 크기 및 상기 동적 범위에 대응하는 컬러 컴포넌트의 하한 값에 대한 상기 허용 범위의 하한 값의 비율 크기 중 더 작은 값을 상기 스케일링 인자로 결정하는 단계;를 포함하는 영상 처리 방법.
  5. 제 1 항에 있어서,
    상기 스케일링 인자를 결정하는 단계는,
    상기 동적 범위에 대응하는 컬러 컴포넌트의 상한 값과 상기 동적 범위에 대응하는 컬러 컴포넌트의 하한 값의 차이 값에 대한 상기 허용 범위의 상한 값과 상기 허용 범위의 하한 값의 차이 값의 비율을 상기 스케일링 인자로 결정하는 단계를 포함하는 영상 처리 방법.
  6. 입력 영상으로부터 획득된 컬러 컴포넌트 값을 저장하기 위한 스토리지(storage); 및
    상기 획득된 컬러 컴포넌트 값에 기초하여, 상기 컬러 컴포넌트 값의 동적 범위를 결정하고,
    상기 결정된 컬러 컴포넌트 값의 동적 범위 및 컬러 컴포넌트 값의 허용 범위에 기초하여, 상기 컬러 컴포넌트 값의 동적 범위를 변환하기 위한 스케일링 인자를 결정하되, 상기 컬러 컴포넌트 값의 허용 범위는 상기 컬러 컴포넌트 값이 가질 수 있는 하한 값으로부터 상기 컬러 컴포넌트 값이 가질 수 있는 상한 값까지의 범위이고,
    상기 결정된 스케일링 인자에 기초하여, 상기 컬러 컴포넌트 값의 동적 범위를 변환하도록 상기 컬러 컴포넌트 값을 스케일링하는 하나 이상의 프로세서;를 포함하는 영상 처리 장치.
  7. 제 6 항에 있어서,
    상기 프로세서는,
    상기 동적 범위에 대응하는 컬러 컴포넌트의 상한 값에 대한 상기 허용 범위의 상한 값의 비율 크기 및 상기 동적 범위에 대응하는 컬러 컴포넌트의 하한 값에 대한 상기 허용 범위의 하한 값의 비율 크기 중 더 작은 값을 상기 스케일링 인자로 결정하는 것을 특징으로 하는 영상 처리 장치.
  8. 제 6 항에 있어서,
    상기 프로세서는,
    상기 동적 범위에 대응하는 컬러 컴포넌트의 상한 값과 상기 동적 범위에 대응하는 컬러 컴포넌트의 하한 값의 차이 값에 대한 상기 허용 범위의 상한 값과 상기 허용 범위의 하한 값의 차이 값의 비율을 상기 스케일링 인자로 결정하는 것을 특징으로 하는 영상 처리 장치.
  9. 수신된 비트 스트림으로부터 부호화된 영상 및 스케일링 인자를 획득하는 단계;
    상기 부호화된 영상을 복호화 하여 양자화된 영상을 획득하는 단계;
    상기 양자화된 영상을 역양자화 하여, 상기 스케일링 인자에 기초하여, 컬러 컴포넌트 값의 동적 범위가 변환되도록 스케일링된 컬러 컴포넌트 값을 획득하는 단계; 및
    상기 스케일링된 컬러 컴포넌트 값을 상기 스케일링 인자에 기초하여 역 스케일링하는 단계;를 포함하고,
    상기 컬러 컴포넌트 값의 동적 범위를 변환하기위한 상기 스케일링 인자는, 상기 컬러 컴포넌트 값에 기초하여 결정된 상기 컬러 컴포넌트 값의 동적 범위 및 상기 컬러 컴포넌트 값의 허용 범위에 기초하여 결정되고,
    상기 컬러 컴포넌트 값의 허용 범위는, 상기 컬러 컴포넌트 값이 가질 수 있는 하한 값으로부터 상기 컬러 컴포넌트 값이 가질 수 있는 상항 값까지의 범위인, 영상 처리 방법.
  10. 제 9 항에 있어서,
    상기 방법은,
    상기 비트 스트림으로부터 스케일링되기 전 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 획득하는 단계;를 더 포함하고,
    상기 역 스케일링하는 단계는,
    상기 스케일링 인자, 상기 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 컬러 컴포넌트의 하한 값에 기초하여 상기 스케일링된 컬러 컴포넌트 값을 역 스케일링하는 단계;를 포함하는 영상 처리 방법.
  11. 제 9 항에 있어서,
    상기 스케일링 인자는
    입력 영상으로부터 획득된 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값에 대한 상기 컬러 컴포넌트 값의 허용 범위의 상한 값의 비율 크기 및 상기 동적 범위에 대응하는 컬러 컴포넌트의 하한 값에 대한 상기 허용 범위의 하한 값의 비율 크기 중 더 작은 값인 것을 특징으로 하는 영상 처리 방법.
  12. 제 9 항에 있어서,
    상기 스케일링 인자는,
    입력 영상으로부터 획득된 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값과 상기 동적 범위에 대응하는 컬러 컴포넌트의 하한 값의 차이 값에 대한 상기 컬러 컴포넌트 값의 허용 범위의 상한 값과 상기 허용 범위의 하한 값의 차이 값의 비율인 것을 특징으로 하는 영상 처리 방법.
  13. 비트 스트림으로부터 부호화된 영상 및 스케일링 인자를 획득하는 획득부; 및
    상기 부호화된 영상을 복호화 하여 양자화된 영상을 획득 하고,
    상기 양자화된 영상을 역양자화 하여, 상기 스케일링 인자에 기초하여, 컬러 컴포넌트 값의 동적 범위가 변환되도록 스케일링된 컬러 컴포넌트 값을 획득하고,
    상기 스케일링된 컬러 컴포넌트 값을 상기 스케일링 인자에 기초하여 역 스케일링하는 하나 이상의 프로세서;를 포함하되,
    상기 컬러 컴포넌트 값의 동적 범위를 변환하기위한 상기 스케일링 인자는, 상기 컬러 컴포넌트 값에 기초하여 결정된 상기 컬러 컴포넌트 값의 동적 범위 및 상기 컬러 컴포넌트 값의 허용 범위에 기초하여 결정되고,
    상기 컬러 컴포넌트 값의 허용 범위는, 상기 컬러 컴포넌트 값이 가질 수 있는 하한 값으로부터 상기 컬러 컴포넌트 값이 가질 수 있는 상항 값까지의 범위인, 영상 처리 장치.
  14. 제 13 항에 있어서,
    상기 프로세서는,
    상기 비트 스트림으로부터 스케일링되기 전 컬러 컴포넌트 값의 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값을 획득하고,
    상기 스케일링 인자, 상기 동적 범위에 대응하는 컬러 컴포넌트의 상한 값 및 하한 값에 기초하여 상기 스케일링된 컬러 컴포넌트 값을 역 스케일링하는 영상 처리 장치.
  15. 제 1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020187008711A 2015-10-26 2016-10-26 컬러 컴포넌트의 동적 범위를 이용한 영상 처리 방법 및 그 장치 KR102608822B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
IN5746/CHE/2015(???) 2015-10-26
IN5746CH2015 2015-10-26
IN201641000215 2016-01-04
IN201641000215 2016-01-04
IN5746/CHE/2015(????) 2016-10-21
PCT/KR2016/012076 WO2017074016A1 (ko) 2015-10-26 2016-10-26 컬러 컴포넌트의 동적 범위를 이용한 영상 처리 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20180061196A KR20180061196A (ko) 2018-06-07
KR102608822B1 true KR102608822B1 (ko) 2023-12-04

Family

ID=59076237

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187008711A KR102608822B1 (ko) 2015-10-26 2016-10-26 컬러 컴포넌트의 동적 범위를 이용한 영상 처리 방법 및 그 장치

Country Status (3)

Country Link
US (1) US10623779B2 (ko)
KR (1) KR102608822B1 (ko)
WO (1) WO2017074016A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10462334B2 (en) * 2016-11-04 2019-10-29 Disney Enterprises, Inc. Pipeline for high dynamic range video coding based on luminance independent chromaticity preprocessing
JP7081501B2 (ja) * 2017-01-06 2022-06-07 ソニーグループ株式会社 制御装置、制御システム、および制御方法
WO2020100200A1 (ja) * 2018-11-12 2020-05-22 Eizo株式会社 画像処理システム、画像処理装置、およびコンピュータープログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015143671A1 (en) * 2014-03-27 2015-10-01 Microsoft Technology Licensing, Llc Adjusting quantization/scaling and inverse quantization/scaling when switching color spaces

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7536059B2 (en) 2004-11-10 2009-05-19 Samsung Electronics Co., Ltd. Luminance preserving color quantization in RGB color space
KR101213704B1 (ko) 2007-12-05 2012-12-18 삼성전자주식회사 가변 컬러 포맷 기반 동영상 부호화 방법 및 장치, 그복호화 방법 및 장치
EP2406943B1 (en) * 2009-03-10 2016-06-15 Dolby Laboratories Licensing Corporation Extended dynamic range and extended dimensionality image signal conversion
CN104885457B (zh) 2013-01-02 2017-03-29 杜比实验室特许公司 用于视频信号的向后兼容编码和解码的方法和装置
WO2016055875A1 (en) * 2014-10-07 2016-04-14 Agostinelli Massimiliano Improved video and image encoding process

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015143671A1 (en) * 2014-03-27 2015-10-01 Microsoft Technology Licensing, Llc Adjusting quantization/scaling and inverse quantization/scaling when switching color spaces

Also Published As

Publication number Publication date
WO2017074016A1 (ko) 2017-05-04
KR20180061196A (ko) 2018-06-07
US10623779B2 (en) 2020-04-14
US20180278965A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
WO2017107114A1 (zh) 一种图像信号转换处理方法、装置及终端设备
KR102608822B1 (ko) 컬러 컴포넌트의 동적 범위를 이용한 영상 처리 방법 및 그 장치
CN111492656B (zh) 用于图像的两阶段解码的方法、设备和介质
US8582876B2 (en) Hybrid codec for compound image compression
EP3008902A1 (en) Encoding and decoding methods for adapting the average luminance of high dynamic range pictures and corresponding encoder and decoder
WO2015091360A1 (en) Method for coding a sequence of pictures and method for decoding a bitstream and corresponding devices
KR20160064419A (ko) 움직임 보상 정보를 수정하는 데이터 처리 시스템과 데이터 처리 방법
WO2018022201A1 (en) Compressing image segmentation data using video coding
KR20170040892A (ko) 인코더의 작동방법과 상기 인코더를 포함하는 시스템 온 칩의 작동 방법
US11968406B2 (en) Enhanced image compression with clustering and lookup procedures
WO2017129147A1 (zh) 图像的编码、解码方法及装置、以及图像的编解码系统
KR20150095479A (ko) 영상 부호화, 복호화 방법 및 장치
US10728470B2 (en) Image processing device, image processing method, and non-transitory computer readable medium storing image processing program
US7415158B1 (en) Method for determining whether to use a lossy or lossless codec to compress a digital image using a table of non-allowed pixel values
EP2958327A1 (en) Method and device for encoding a sequence of pictures
US9930354B2 (en) Skip scanlines on JPEG image decodes
CN108370442B (zh) 一种高动态范围图像的处理方法、装置及计算机可读存储介质
US10284879B2 (en) Image processing apparatus and method based on integerprecision image data
EP2958103A1 (en) Method and device for encoding a sequence of pictures
US20220417537A1 (en) Unprocessed image coding and decoding
EP2887667A1 (en) Coding of high dynamic range images
CN114339226A (zh) 一种提高画面的流畅度的方法、装置及介质
CN114830661A (zh) 分层分级编码中分量的灵活编码
KR20170085014A (ko) 영상 신호 변환 방법
KR20060064269A (ko) 이동통신 단말기용 동영상 압축 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant