KR20160052459A - 복호 장치 및 복호 방법, 부호화 장치, 및 부호화 방법 - Google Patents

복호 장치 및 복호 방법, 부호화 장치, 및 부호화 방법 Download PDF

Info

Publication number
KR20160052459A
KR20160052459A KR1020157007337A KR20157007337A KR20160052459A KR 20160052459 A KR20160052459 A KR 20160052459A KR 1020157007337 A KR1020157007337 A KR 1020157007337A KR 20157007337 A KR20157007337 A KR 20157007337A KR 20160052459 A KR20160052459 A KR 20160052459A
Authority
KR
South Korea
Prior art keywords
image
unit
decoding
data
luminance
Prior art date
Application number
KR1020157007337A
Other languages
English (en)
Inventor
시노부 핫토리
히로아키 에토
다쿠미 츠루
겐이치 가나이
도시야 하마다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160052459A publication Critical patent/KR20160052459A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Abstract

본 개시내용은, 복호측이 부호화 대상 화상의 색 영역을 정확하게 인식하게 할 수 있는, 복호 장치, 복호 방법, 부호화 장치 및 부호화 방법에 관한 것이다. 수신부는, 화상의 부호화된 데이터, 및 화상의 색 영역을 나타내는 색 영역 정보를 포함하는 부호화된 스트림을, 부호화된 스트림을 송신하는 부호화 장치로부터 수신한다. 추출부는 부호화된 스트림으로부터 부호화된 데이터 및 색 영역 정보를 추출한다. 복호부는, 부호화된 데이터를 복호하여, 화상을 생성한다. 본 개시내용은, 예를 들어, HEVC(High Efficiency Video Coding) 방식의 복호 장치에 적용될 수 있다.

Description

복호 장치 및 복호 방법, 부호화 장치, 및 부호화 방법{DECODING DEVICE AND DECODING METHOD, ENCODING DEVICE, AND ENCODING METHOD}
본 개시내용은 복호 장치, 복호 방법, 부호화 장치 및 부호화 방법에 관한 것으로, 보다 구체적으로는, 복호측이 부호화 대상 화상의 색 영역을 정확하게 인식하게 할 수 있는, 복호 장치, 복호 방법, 부호화 장치 및 부호화 방법에 관한 것이다.
근년에, DCT(Discrete Cosine Transform) 등의 직교 변환에 의해 압축이 수행되는 MPEG(Moving Picture Experts Group phase) 등의 방식 및 화상 정보의 특정 리던던시를 사용하는 움직임 보상을 따르는 장치들이, 방송국 등의 정보 전달 및 일반 가정에서의 정보 수신 양자 모두에 대해 확산되고 있다.
특히, MPEG 2 (ISO/IEC 13818-2) 방식은 범용 화상 코딩 방식으로서 정의되고, 이제는 비월 주사된 화상, 순차 주사된 화상, 표준 해상도 화상 및 고화질 화상을 변환하는 표준으로서 전문가용 및 소비자용의 광범위한 적용들에 대해 널리 사용되고 있다. MPEG 2 방식을 사용하여, 예를 들어, 720 x 480 화소를 갖는 표준 해상도의 비월 주사된 화상의 경우에는 4 내지 8 Mbps의 비트 레이트를 할당하고, 1920 x 1088 화소를 갖는 고 해상도의 비월 주사된 화상의 경우에는 18 내지 22Mbps의 비트 레이트를 할당함으로써 고 압축율 및 우수한 화상 품질이 구현될 수 있다.
MPEG 2는 주로 방송에 적합한 고품질 부호화를 지향하지만, MPEG 1보다 비트 레이트가 낮은 코딩 방식, 즉, 고 압축율 코딩 방식을 지원하지 않는다. 이동 단말들이 확산되면서, 이러한 코딩 방식에 대한 요구가 가까운 미래에 증가할 것으로 고려되어 왔으며, 이에 따라 MPEG 4 코딩 방식이 표준화되고 있다. ISO/IEC 14496-2는 1998년 12월에 MPEG 4 화상 코딩 방식에 대한 국제 표준으로서 승인되었다.
또한, 근년에는, 처음에 비디오 회의용 화상 코딩을 위해 설계된 H.26L (ITU-T Q6/16 VCEG)와 같은 표준의 표준화가 행해지고 있다. H.26L은 MPEG 2 또는 MPEG 4 등의 코딩 방식에서보다 부호화 및 복호에 대해 더 많은 계산량을 요구하는 것으로 알려져 있지만, H.26L은 높은 코딩 효율을 구현할 수 있는 것으로도 알려져 있다.
또한, 근년에는, MPEG 4 활약들 중 하나로서, H.26L에 기초하는 H.26L에 의해 지원되지 않는 기능을 통합하고 높은 코딩 효율을 구현하는 표준화가 "Joint Model of Enhanced-Compression Video Coding"으로서 행해지고 있다. 이러한 표준화는 2003년 3월에 H.264 또는 MPEG-4 Part 10 (AVC(Advanced Video Coding))라는 명칭으로 승인되었다.
또한, 이들의 확장으로서, RGB 또는 YUV422 또는 YUV444 또는 8 x 8 DCT 등의 전문가용으로 필요한 부호화 툴 및 MPEG-2에 명시되는 양자화 행렬을 포함하는 FRExt(Fidelity Range Extension)가 2005년 2월에 표준화되었다. 결과적으로, AVC 방식은, 영화에 포함되는 필름 노이즈를 잘 표현할 수도 있는 코딩 방식이 되어 왔고, BD(Blu-ray (등록 상표) Disc) 등의 광범위한 적용들에 사용되고 있다.
그러나, 근년에는, 고화질 화상보다 4배 높은 약 4000 x 2000 화소의 화상을 압축할 수 있거나 또는 인터넷 등의 제한된 송신 용량 환경에서 고화질 화상을 전달할 수 있는 고 압축율 코딩에 대한 요구가 증가하고 있다. 이러한 목적으로, 코딩 효율에서의 개선은 ITU-T 하의 VCEG(Video Coding Expert Group)에 의해 계속 검토중에 있다.
현재, AVC에서보다 코딩 효율을 더 높이 향상시키기 위해, ITU-T와 ISO/IEC의 공동 표준화 기관인 JCTVC(Joint Collaboration Team-Video Coding)에 의해 HEVC(High Efficiency Video Coding)라 불리우는 코딩 방식의 표준화가 행해지고 있다. 비 특허 문헌 1은 2013년 8월자로 초안이 발행되었다.
한편, AVC 방식 및 HEVC 방식에서, 부호화 대상 화상의 색 영역은 VUI(Video Usability Information)의 colour_primaries에 의해 정의된다.
[비 특허 문헌]
비 특허 문헌 1 : Benjamin Bross, Gary J. Sullivan, Ye-Kui Wang, "Editors' proposed corrections to HEVC version 1," JCTVC-M0432_v3, 2013.4.18-4.26
그러나, 부호화 대상 화상의 색 영역은 다른 표준에서 정의되는 색 영역들 중 임의의 하나를 식별하는 색인에 의해 정의된다. 따라서, 부호화 대상 화상의 색 영역으로서 고정된 색 영역 이외의 색 영역을 정의하는 것이 어렵고, 복호측에서 부호화 대상 화상의 색 영역을 정확히 인식하는 것이 어렵다.
본 개시내용은 전술한 내용을 고려하여 이루어진 것으로, 복호측에서 부호화 대상 화상의 색 영역을 정확히 인식하게 할 수 있는 것이 바람직하다.
본 개시내용의 제1 양상에 따른 복호 장치는: 화상의 부호화된 데이터, 및 화상의 색 영역을 나타내는 색 영역 정보를 포함하는 부호화된 스트림을, 부호화된 스트림을 송신하는 부호화 장치로부터 수신하는 수신부; 수신부에 의해 수신된 부호화된 스트림으로부터 부호화된 데이터 및 색 영역 정보를 추출하는 추출부; 및 추출부에 의해 추출된 부호화된 데이터를 복호하여 화상을 생성하는 복호부를 포함한다.
본 개시내용의 제1 양상에 따른 복호 방법은 본 개시내용의 제1 양상에 따른 복호 장치에 대응한다.
본 개시내용의 제1 양상에서, 화상의 부호화된 데이터, 및 화상의 색 영역을 나타내는 색 영역 정보를 포함하는 부호화된 스트림은 부호화된 스트림을 송신하는 부호화 장치로부터 수신되고, 부호화된 데이터 및 색 영역 정보는 부호화된 스트림으로부터 추출되고, 부호하된 데이터는 복호되어 화상을 생성한다.
본 개시내용의 제2 양상에 따른 부호화 장치는: 화상을 부호화하여 부호화된 데이터를 생성하는 부호화부; 화상의 색 영역을 나타내는 색 영역 정보를 설정하는 설정부; 및 부호화부에 의해 생성되는 부호화된 데이터 및 설정부에 의해 생성되는 색 영역 정보를 포함하는 부호화된 스트림을 송신하는 송신부를 포함한다.
본 개시내용의 제2 양상에 따른 부호화 방법은 본 개시내용의 제2 양상에 따른 부호화 장치에 대응한다.
본 개시내용의 제2 양상에서, 화상은 부호화되어 부호화된 데이터를 생성하고, 화상의 색 영역을 나타내는 색 영역 정보가 설정되며, 부호화된 데이터 및 색 영역 정보를 포함하는 부호화된 스트림이 송신된다.
본 개시내용의 제3 양상에 따른 복호 장치는: 화상의 부호화된 데이터, 특정 색 영역을 식별하는 식별 정보, 및 특정 색 영역에 대한 화상의 색 영역의 커버율을 포함하는 부호화된 스트림을, 부호화된 스트림을 송신하는 부호화 장치로부터 수신하는 수신부; 수신부에 의해 수신된 부호화된 스트림으로부터 부호화된 데이터, 식별 정보 및 커버율을 추출하는 추출부; 및 추출부에 의해 추출된 부호화된 데이터를 복호하여 화상을 생성하는 복호부를 포함한다.
본 개시내용의 제3 양상에 따른 복호 방법은 본 개시내용의 제3 양상에 따른 복호 장치에 대응한다.
본 개시내용의 제3 양상에서, 화상의 부호화된 데이터, 특정 색 영역을 식별하는 식별 정보, 및 특정 색 영역에 대한 화상의 색 영역의 커버율을 포함하는 부호화된 스트림은, 부호화된 스트림을 송신하는 부호화 장치로부터 수신되고, 부호화된 데이터, 식별 정보 및 커버율은 부호화된 스트림으로부터 추출되며, 부호화된 데이터는 복호되어 화상을 생성한다.
본 개시내용의 제4 양상에 따른 부호화 장치는: 화상을 부호화하여 부호화된 데이터를 생성하는 부호화부; 특정 색 영역, 및 특정 색 영역에 대한 화상의 색 영역의 커버율을 식별하는 식별 정보를 설정하는 설정부; 및 부호화부에서 생성된 부호화 데이터와 설정부에서 생성된 식별 정보 및 커버율을 포함하는 부호화된 스트림을 송신하는 송신부를 포함한다.
본 개시내용의 제4 양상에 따른 부호화 방법은 본 개시내용의 제4 양상에 따른 부호화 장치에 대응한다.
본 개시내용의 제4 양상에서, 화상이 부호화되어 부호화된 데이터를 생성하고, 특정 색 영역, 및 특정 색 영역에 대한 화상의 색 영역의 커버율을 식별하는 식별 정보가 설정되고, 부호화된 데이터, 식별 정보 및 커버율을 포함하는 부호화된 스트림이 송신된다.
제1 및 제3 양상에 따른 복호 장치와 제2 및 제4 양상에 따른 부호화 장치는 컴퓨터로 하여금 프로그램을 실행하게 함으로써 구현될 수 있다.
컴퓨터에 의해 실행되어 제1 및 제3 양상에 따른 복호 장치와 제2 및 제4 양상에 따른 부호화 장치를 구현하는 프로그램은, 프로그램이 송신 매체를 통해 송신되거나 또는 기록 매체에 기록되도록 제공될 수 있다.
제1 또는 제3 양상에 따른 복호 장치 및 제2 또는 제4 양상에 따른 부호화 장치는, 독립적인 장치일 수 있거나, 또는 단일 장치를 구성하는 내부 블럭일 수 있다.
본 개시내용의 제1 및 제3 양샹에 따르면, 화상의 부호화된 데이터를 복호할 수 있다. 또한, 본 개시내용의 제1 및 제3 양상에 따르면, 부호화 대상 화상의 색 영역을 정확하게 인식할 수 있다.
또한, 본 개시내용의 제2 및 제4 양상에 따르면, 화상을 부호화할 수 있다. 또한, 본 개시내용의 제2 및 제4 양상에 따르면, 복호측이 부호화 대상 화상의 색 영역을 정확하게 인식하게 할 수 있다.
위에 설명된 효과들이 반드시 제한되는 것은 아니며, 본 개시내용에 설명되는 임의의 효과를 포함할 수 있다.
도 1은 본 개시내용의 제1 실시에에 따른 부호화 장치의 예시적인 구성을 도시하는 블럭도이다.
도 2는 colour_primaries_info SEI의 예시적인 구문을 도시하는 도면이다.
도 3은 colour_primaries_info SEI의 정보의 내용을 설명하는 도면이다.
도 4는 colour_primaries_info SEI의 정보의 내용을 설명하는 도면이다.
도 5는 colour_primaries_info_sei_element의 예시적인 구문을 도시하는 도면이다.
도 6은 colour_primaries_info_sei_element의 정보의 내용을 설명하는 도면이다.
도 7은 colour_primaries_info_sei_element의 정보의 내용을 설명하는 도면이다.
도 8은 ref_display_luminance_info SEI의 예시적인 구문을 도시하는 도면이다.
도 9는 ref_display_luminance_info SEI의 정보의 내용을 설명하는 도면이다.
도 10은 부호화 장치의 스트림 생성 처리를 설명하는 흐름도이다.
도 11은 본 개시내용의 제1 실시예에 따른 복호 장치의 예시적인 구성을 도시하는 블럭도이다.
도 12는 도 11의 복호 장치의 화상 생성 처리를 설명하는 흐름도이다.
도 13은 본 개시내용의 제2 실시예에 따른 부호화 장치의 예시적인 구성을 도시하는 블럭도이다.
도 14는 colour_primaries_info SEI의 예시적인 구문을 도시하는 도면이다.
도 15는 colour_primaries_info SEI의 정보를 설명하는 도면이다.
도 16은 colour_primaries_info SEI의 정보를 설명하는 도면이다.
도 17은 colour_primaries_info SEI의 정보를 설명하는 도면이다.
도 18은 colour_primaries_info SEI의 정보를 설명하는 도면이다.
도 19는 colour_primaries_info SEI의 정보를 설명하는 도면이다.
도 20은 부호화 장치의 스트림 생성 처리를 설명하는 흐름도이다.
도 21은 본 발명의 제2 실시예에 따른 복호 장치의 예시적인 구성을 도시하는 블럭도이다.
도 22는 도 21의 복호 장치의 화상 생성 처리를 설명하는 흐름도이다.
도 23은 색 영역 정보 및 휘도 정보가 배치되는 시스템 레이어로서의 MP4 박스를 설명하는 도면이다.
도 24는 컴퓨터의 예시적인 하드웨어 구성을 도시하는 블럭도이다.
도 25는 예시적인 다중-뷰 화상 코딩 방식을 도시하는 도면이다.
도 26은 본 개시내용이 적용되는 다중-뷰 화상 부호화 장치의 예시적인 구성을 도시하는 도면이다.
도 27은 본 개시내용이 적용되는 다중-뷰 화상 복호 장치의 예시적인 구성을 도시하는 도면이다.
도 28은 예시적인 축척형(scalable) 화상 코딩 방식을 도시하는 도면이다.
도 29는 예시적인 공간 축척형 코딩을 설명하는 도면이다.
도 30은 예시적인 시간 축척형 코딩을 설명하는 도면이다.
도 31은 신호-대-잡음 비의 예시적인 축척형 코딩을 설명하는 도면이다.
도 32는 본 개시내용이 적용되는 축척형 화상 부호화 장치의 예시적인 구성을 도시하는 도면이다.
도 33은 본 개시내용이 적용되는 축척형 화상 복호 장치의 예시적인 구성을 도시하는 도면이다.
도 34는 본 개시내용이 적용되는 텔레비전 장치의 예시적인 개략 구성을 도시하는 도면이다.
도 35는 본 개시내용이 적용되는 이동 전화의 예시적인 개략 구성을 도시하는 도면이다.
도 36은 본 개시내용이 적용되는 기록/재생 장치의 예시적인 개략 구성을 도시하는 도면이다.
도 37은 본 개시내용이 적용되는 촬상 장치의 예시적인 개략 구성을 도시하는 도면이다.
도 38은 축척형 코딩 적용예를 도시하는 블럭도이다.
도 39는 다른 축척형 코딩 적용예를 도시하는 블럭도이다.
도 40은 다른 축척형 코딩 적용예를 도시하는 블럭도이다.
도 41은 본 개시내용이 적용되는 비디오 세트의 예시적인 개략 구성을 도시한다.
도 42는 본 개시내용이 적용되는 비디오 프로세서의 예시적인 개략 구성을 도시한다.
도 43은 본 개시내용이 적용되는 비디오 프로세서의 다른 예시적인 개략 구성을 도시한다.
<제1 실시예>
(제1 실시예에 따른 부호화 장치의 예시적인 구성)
도 1은 본 개시내용의 제1 실시예에 따른 부호화 장치의 예시적인 구성을 도시하는 블럭도이다.
도 1의 부호화 장치(10)는, 설정부(11), 부호화부(12) 및 송신부(13)를 포함하고, HEVC 방식에 기초하는 방식에 따라 화상을 부호화한다.
구체적으로, 부호화 장치(10)의 설정부(11)는, SPS(Sequence Parameter Set), PPS(Picture Parameter Set), VUI 및 SEI(Supplemental Enhancement Information) 등의 파라미터 세트들을 설정한다.
SEI의 예들은 colour_primaries_info SEI, ref_display_luminance_info SEI 등을 포함한다. colour_primaries_info SEI는 색 영역(의 경계)을 나타내는 색 영역 정보를 포함하는 SEI이다. ref_display_luminance_info SEI는, 부호화 대상 화상의 저작시 부호화 대상 화상을 표시하는 마스터 디스플레이(표시부)의 백색, 회색 및 흑색의 휘도 레벨들을 나타내는 휘도 정보(마스터 디스플레이의 색 영역 정보)를 포함하는 SEI이다. 설정부(11)는 부호화부(12)에 설정 파라미터 세트들을 제공한다.
부호화 대상 화상은 프레임 단위로 부호화부(12)에 입력된다. 부호화부(12)는 입력 부호화 대상 화상을 HEVC 방식에 따라 부호화한다. 부호화부(12)는, 부호화의 결과로서 취득되는 부호화된 데이터 및 설정부(11)로부터 제공되는 파라미터 세트들에 기초하여 부호화된 스트림을 생성하여, 부호화된 스트림을 송신부(13)에 제공한다.
송신부(13)는 부호화부(12)로부터 제공되는 부호화된 스트림을 이하 설명될 복호 장치에 송신한다.
(colour_primaries_info SEI의 예시적인 구문)
도 2는 colour_primaries_info SEI의 예시적인 구문을 도시하는 도면이다.
도 2의 2번째 줄에 도시된 바와 같이, colour_primaries_info SEI에는 colour_primaries_info_id가 기재된다. 도 3에 도시된 바와 같이, colour_primaries_info_id는 색 영역 정보의 목적을 식별하는 ID이다.
도 2의 3번째 줄에 도시된 바와 같이, colour_primaries_info SEI에는 colour_primaries_type이 기재된다. 도 3에 도시된 바와 같이, colour_primaries_type은 색 공간 타입을 나타낸다. 예를 들어, 도 3의 표에 도시된 바와 같이, 색 공간 타입이 RGB 색 좌표계일 때 colour_primaries_type은 1이고, 색 공간 타입이 XYZ 색 좌표계일 때 colour_primaries_type은 2이다.
도 2의 4번째 줄에 도시된 바와 같이, colour_primaries_info SEI에는 colour_primaries_info_present_flag가 기재된다. 도 3에 도시된 바와 같이, colour_primaries_info_present_flag는, 색 영역 정보에서의 색 공간에 원색의 위치를 나타내는 원색 정보가 colour_primaries_info SEI에 기재되는지 여부를 나타내는 플래그이다. 원색 정보가 기재될 때 colour_primaries_info_present_flag는 1이고, 원색 정보가 기재되지 않을 때 colour_primaries_info_present_flag는 0이다.
도 2의 5번째 줄에 도시된 바와 같이, colour_primaries_info SEI에는 white_point_info_present_flag가 기재된다. 도 3에 도시된 바와 같이, white_point_info_present_flag는, 색 영역 정보에서의 색 공간에 백색의 위치(백색 지점)를 나타내는 백색 정보가 colour_primaries_info SEI에 기재되는지 여부를 나타내는 플래그이다. 백색 정보가 기재될 때 white_point_info_present_flag는 1이고, 백색 정보가 기재되지 않을 때 white_point_info_present_flag는 0이다.
도 2의 6번째 및 7번째 줄에 도시된 바와 같이, VUI에 포함되는 colour_description_present_flag가 1일 때, colour_primaries_info SEI에는 limited_colour_gamut_boundaries_flag가 기재된다. 또한, colour_description_present_flag는 다른 표준에서 VUI에 정의되는 색 영역을 식별하는 색인이 기재되는지 여부를 나타내는 플래그이다. VUI에 색인이 기재될 때 colour_description_present_flag는 1이고, VUI에 색인이 기재되지 않을 때 colour_description_present_flag는 0이다.
또한, limited_colour_gamut_boundaries_flag는 도 4에 도시된 바와 같이 부호화 대상 화상의 색 영역이 VUI에 기재되는 색인에 의해 식별되는 색 영역으로 제한되는지 여부를 나타내는 플래그이다. 색 영역이 제한될 때 limited_colour_gamut_boundaries_flag는 0이고, 색 영역이 제한되지 않을 때 limited_colour_gamut_boundaries_flag는 1이다.
도 2의 8번째 및 9번째 줄에 도시된 바와 같이, limited_colour_gamut_boundaries_flag가 1일 때, colour_primaries_info SEI에는 limited_colour_gamut_range_in_percent가 기재된다. 도 4에 도시된 바와 같이, limited_colour_gamut_range_in_percent는 VUI에 기재된 인덱스에 의해 식별되는 색 영역에 대한 부호화 대상 화상의 색 영역의 커버율을 나타낸다. 달리 말하면, limited_colour_gamut_range_in_percent는 VUI에 기재된 인덱스에 의해 식별되는 색 영역에 대한 부호화 대상 화상의 색 영역의 비율이다.
도 2의 10번째 및 11번째 줄에 도시된 바와 같이, colour_primaries_info_present_flag가 1일 때, colour_primaries_info SEI에는 colour_primaries_order_type이 기재된다. 도 4에 도시된 바와 같이, colour_primaries_order_type은 원색 정보의 기재 순서의 타입이다.
예를 들어, 도 4의 표에 도시된 바와 같이, 색 공간 타입이 RGB 색 좌표계일이고, 원색 정보가 적색, 녹색, 및 청색, 적색, 녹색, 및 청색의 순서로 기재되고, 다른 색들의 파장들이 감소하는 순서(예를 들어, 황색 및 시안색의 순서)로 기재될 때, colour_primaries_order_type은 1이다. 또한, 색 공간 타입이 RGB 색 좌표계이고 원색 정보가 파장들이 감소하는 순서(예를 들어, 적색, 황색, 녹색, 시안색 및 청색의 순서)로 기재될 때, colour_primaries_order_type은 2이다. 색 공간 타입이 XYZ 색 좌표계이고, 원색 정보가 X, Y 및 Z의 순서로 기재될 때, colour_primaries_order_type은 3이다.
또한, 도 2의 12번째 줄에 도시된 바와 같이, colour_primaries_info_present_flag가 1일 때, colour_primaries_info SEI에는 num_colour_primaries_minus3이 기재된다. 도 4에 도시된 바와 같이, num_colour_primaries_minus3은 colour_primaries_info SEI에 기재된 원색 정보의 종류들의 수에서 3을 뺄셈하여 취득되는 값이다.
도 2의 13번째 및 16번째 줄에 도시된 바와 같이, colour_primaries_info_present_flag가 1일 때, colour_primaries_info SEI에는 num_colour_primaries_minus3에 3을 덧셈하여 취득되는 수에 의해 원색 정보가 기재된다. 원색 정보는, 색 공간에서 X 방향으로 원색들의 위치들을 나타내는 colour_primaries_info_sei_element(ColourPrimaryXSign[i], ColourPrimaryXExp[i], ColourPrimaryXMantissa[i] 및 ColourPrimaryXManlen[i]) 및 Y 방향으로 위치들을 나타내는 colour_primaries_info_sei_element(ColourPrimaryYSign[i], ColourPrimaryYExp[i], ColourPrimaryYMantissa[i] 및 ColourPrimaryYManlen[i])를 포함한다.
도 2의 17번째 내지 19번째 줄에 도시된 바와 같이, white_point_info_present_flag가 1일 때, colour_primaries_info SEI에는 백색 정보가 기재된다. 백색 정보는, 색 공간에서 X 방향으로 백색의 위치를 나타내는 colour_primaries_info_sei_element(WhitePointXSign, WhitePointXExp, WhitePointXMantissa, WhitePointXManlen) 및 Y 방향으로 위치를 나타내는 colour_primaries_info_sei_element(WhitePointYSign, WhitePointYExp, WhitePointYMantissa, WhitePointYManlen)를 포함한다.
(colour_primaries_info_sei_element의 예시적인 구문)
도 5는 원색 정보 및 백색 정보를 구성하는 colour_primaries_info_sei_element의 예시적인 구문을 도시하는 도면이다.
도 5에 도시된 바와 같이, colour_primaries_info_sei_element는 colour_primaries_info_sign, colour_primaries_info_exponent, colour_primaries_info_mantissa_len_minus1 및 colour_primaries_info_mantissa를 포함한다.
도 5에서, ColourPrimaryXSign[i], ColourPrimaryYSign[i], WhitePointXSign 및 WhitePointYSign은 총괄하여 "OutSign"이라 한다. 유사하게, ColourPrimaryXExp[i], ColourPrimaryYExp[i], WhitePointXExp 및 WhitePointYExp는 총괄하여 "OutExp"라 하고, ColourPrimaryXMantissa[i], ColourPrimaryYMantissa[i], WhitePointXMantissa 및 WhitePointYMantissa는 총괄하여 "OutMantissa"라 한다. 또한, ColourPrimaryXManlen[i], ColourPrimaryYManlen[i], WhitePointXManlen 및 WhitePointYManlen은 총괄하여 "OutManLen"이라 한다.
도 6에 도시된 바와 같이, colour_primaries_info_sign은 색 공간에서 대응 색의 위치의 좌표의 부동 소수점의 부호를 나타낸다. 부호가 양성일 때 colour_primaries_info_sign은 0이고, 부호가 음성일 때 colour_primaries_info_sign은 1이다.
도 6에 도시된 바와 같이, colour_primaries_info_exponent는 색 공간에서 대응 색의 위치의 좌표의 부동 소수점의 지수를 나타낸다.
도 6에 도시된 바와 같이, colour_primaries_info_mantissa_len_minus1은 colour_primaries_info_mantissa의 비트들의 수에서 1을 뺄셈하여 취득되는 값이다. 도 6에 도시된 바와 같이, colour_primaries_info_mantissa는 색 공간에서 대응 색의 위치의 좌표의 부동 소수점의 가수(mantissa)이다.
상술된 바와 같이, colour_primaries_info_sei_element는 색 공간에서 대응 색의 위치의 좌표 X를 나타낼 수 있다. 달리 말하면, 도 7에 도시된 바와 같이, 좌표 X는, colour_primaries_info_sign, colour_primaries_info_exponent, colour_primaries_info_mantissa_len_minus1 및 colour_primaries_info_mantissa를 사용하는 이하의 수학식 1에 의해 취득될 수 있다.
<수학식 1>
If o < e < 127, x = (-1)s *2e-31*(1 + n ÷ 2V)
If e = 0, x = (-1)s *2-(30+V)*n
수학식 1에서, s는 colour_primaries_info_sign을 나타내고, e는 colour_primaries_info_exponent를 나타낸다. 또한, n은 colour_primaries_info_mantissa을 나타내고, v는 colour_primaries_info_mantissa_len_minus1을 나타낸다.
예를 들어, colour_primaries_info_sei_element가 색 공간에서 x 방향으로 원색들의 좌표들 ColourPrimariesX을 나타내는 colour_primaries_info_sei_element(ColourPrimaryXSign[i], ColourPrimaryXExp[i], ColourPrimaryXMantissa[i] 및 ColourPrimaryXManlen[i])일 때, colour_primaries_info_sei_element(ColourPrimaryXSign[i], ColourPrimaryXExp[i], ColourPrimaryXMantissa[i] 및 ColourPrimaryXManlen[i])의 colour_primaries_info_sign인 ColourPrimariesXSign은 도 7의 표예 도시된 바와 같이 수학식 1의 s로 대체된다.
또한, colour_primaries_info_sei_element(ColourPrimaryXSign[i], ColourPrimaryXExp[i], ColourPrimaryXMantissa[i] 및 ColourPrimaryXManlen[i])의 colour_primaries_info_exponent인 ColourPrimariesXExp는 수학식 1의 e로 대체된다. 또한, colour_primaries_info_sei_element(ColourPrimaryXSign[i], ColourPrimaryXExp[i], ColourPrimaryXMantissa[i] 및 ColourPrimaryXManlen[i])의 colour_primaries_info_mantissa인 ColourPrimaryXMantissa는 수학식 1의 n으로 대체되고, colour_primaries_info_mantissa_len_minus1인 ColourPrimaryXManlen은 v로 대체된다. 따라서, 색 공간에서 x 방향으로 원색들의 위치들의 좌표들 ColourPrimariesX는 좌표들 x로서 계산된다.
유사하게, colour_primaries_info_sei_element가 colour_primaries_info_sei_element(ColourPrimaryYSign[i], ColourPrimaryYExp[i], ColourPrimaryYMantissa[i] 및 ColourPrimaryYManlen[i])일 때, 색 공간에서 y 방향으로 원색들의 위치들의 좌표들 ColourPrimariesY는 좌표들 x로서 계산된다.
colour_primaries_info_sei_element가 colour_primaries_info_sei_element(WhitePointXSign, WhitePointXExp, WhitePointXMantissa 및 WhitePointXManlen)일 때, 색 공간에서 x 방향으로 백색의 위치의 좌표들 WhitePointX는 좌표들 x로서 계산된다.
colour_primaries_info_sei_element가 colour_primaries_info_sei_element(WhitePointYSign, WhitePointYExp, WhitePointYMantissa 및 WhitePointYManlen)일 때, 색 공간에서 y 방향으로 백색의 위치의 좌표들 WhitePointY는 좌표들 x로서 계산된다.
(ref_display_luminance_info SEI의 예시적인 구문)
도 8은 ref_display_luminance_info SEI의 예시적인 구문을 도시하는 도면이다.
도 8의 2번째 줄에 도시된 바와 같이, ref_display_luminance_info SEI에는 ref_display_luminance_info_id가 기재된다. 도 9에 도시된 바와 같이, ref_display_luminance_info_id는 마스터 디스플레이(기준 디스플레이)의 백색, 회색 및 흑색의 휘도 정보의 목적을 식별하는 ID이다.
도 8의 3번째 줄에 도시된 바와 같이, ref_display_luminance_info SEI에는 ref_display_luminance_white_present_flag가 기재된다. 도 9에 도시된 바와 같이, ref_display_luminance_white_present_flag는 마스터 디스플레이의 백색의 휘도 정보가 ref_display_luminance_info SEI에 기재되는지 여부를 나타내는 플래그이다. 마스터 디스플레이의 백색의 휘도 정보가 ref_display_luminance_info SEI에 기재될 때, ref_display_luminance_white_present_flag는 1이고, 마스터 디스플레이의 백색의 휘도 정보가 ref_display_luminance_info SEI에 기재되지 않을 때, ref_display_luminance_white_present_flag는 0이다.
도 8의 4번째 및 5번째 줄에 도시된 바와 같이, 흑색 및 회색에 대해서도, 유사하게, ref_display_luminance_info SEI에는 ref_display_luminance_black_present_flag 및 ref_display_luminance_gray_present_flag가 기재된다.
또한, 도 8의 6번째 및 7번째 줄에 도시된 바와 같이, ref_display_luminance_white_present_flag가 1일 때, ref_display_luminance_info SEI에는 ref_display_luminance_white가 기재된다. 도 9에 도시된 바와 같이, ref_display_luminance_white는 백색의 휘도 정보이다.
도 8의 8번째 및 9번째 줄에 도시된 바와 같이, 흑색에 대해서, 유사하게, ref_display_luminance_black_present_flag가 1일 때, ref_display_luminance_info SEI에는 흑색의 휘도 정보로서 역할을 하는 ref_display_luminance_black이 기재된다.
또한, 도 8의 10번째 및 11번째 줄에 도시된 바와 같이, 회색에 대해서도, 유사하게, ref_display_luminance_gray_present_flag가 1일 때, ref_display_luminance_info SEI에는 회색의 휘도 정보로서 역할을 하는 ref_display_luminance_gray가 기재된다.
(부호화 장치의 처리의 설명)
도 10은 부호화 장치(10)의 스트림 생성 처리를 설명하는 흐름도이다.
도 10의 단계 S11에서는, 부호화 장치(10)의 설정부(11)가 SPS를 설정한다. 단계 S12에서는, 설정부(11)가 다른 표준에 정의되는 색 영역을 식별하는 색인(식별 정보)를 포함하는 VUI를 설정한다.
단계 S13에서는, 설정부(11)가 PPS를 설정한다. 단계 S14에서는, 설정부(11)가 부호화 대상 화상의 색 영역이 VUI에 포함된 색인에 의해 식별되는 색 영역보다 좁은지 여부를 판정한다.
단계 S14에서 부호화 대상 화상의 색 영역이 VUI에 포함된 색인에 의해 식별되는 색 영역보다 좁다고 판정될 때, 처리는 단계 S15로 진행한다. 단계 S15에서는, 설정부(11)가 부호화 대상 화상의 색 영역 정보를 포함하는 colour_primaries_info SEI를 설정하고, 처리는 단계 S16으로 진행한다.
한편, 단계 S14에서 부호화 대상 화상의 색 영역이 VUI에 포함되는 색인에 의해 식별되는 색 영역보다 좁지 않다고 판정될 때, 부호화 대상 화상의 색 영역 정보를 포함하는 colour_primaries_info SEI는 설정되지 않는다. 예를 들어, limited_colour_gamut_range_in_percent를 포함하는 colour_primaries_info SEI가 설정된다. 그리고, 처리는 단계 S16으로 진행한다.
단계 S16에서는, 설정부(11)가 마스터 디스플레이의 백색, 회색 및 흑색의 휘도 정보를 포함하는 ref_display_luminance_info SEI를 설정한다. 설정부(11)는 세트 SPS, PPS, VUI, colour_primaries_info SEI 및 ref_display_luminance_info SEI 등의 파라미터 세트들을 부호화부(12)에 제공한다.
단계 S17에서는, 부호화부(12)가 외부로부터 입력되는 프레임 단위들의 부호화 대상 화상을 HEVC 방식에 따라 부호화한다. 단계 S18에서는, 부호화부(12)가, 부호화의 결과로서 취득되는 부호화된 데이터 및 설정부(11)로부터 제공되는 파라미터 세트들에 기초하여 부호화된 스트림을 생성하고, 부호화된 스트림을 송신부(13)에 제공한다.
단계 S19에서는, 송신부(13)가 부호화부(12)로부터 제공되는 부호화된 스트림을 이후 설명될 복호 장치에 송신하고, 그리고 처리가 종료된다.
상술된 바와 같이, 부호화 장치(10)는 색 영역 정보를 포함하는 colour_primaries_info SEI를 설정 및 송신하고, 이에 따라 부호화 대상 화상이 다른 표준에 정의되는 색 영역과는 상이한 색 영역을 가질 때에도, 복호측이 부호화 대상 화상의 색 영역을 정확하게 인식할 수 있게 하는 것이 가능하다.
또한, 부호화 장치(10)는 백색, 흑색 및 회색의 휘도 정보를 포함하는 ref_display_luminance_info SEI를 설정 및 송신하고, 이에 따라 복호측이 마스터 디스플레이의 휘도 정보를 인식할 수 있게 하는 것이 가능하다.
위 설명은, 부호화 대상 화상의 색 영역이 VUI에 포함되는 색인에 의해 식별되는 색 영역보다 좁을 때, 색 영역 정보를 포함하는 colour_primaries_info SEI가 설정되는 예와 관련하여 이루어졌지만, 부호화 대상 화상의 색 영역이 VUI에 포함되는 색인에 의해 식별되는 색 영역보다 넓을 때, 색 영역 정보를 포함하는 colour_primaries_info SEI가 설정될 수 있다.
(제1 실시예에 따른 복호 장치의 예시적인 구성)
도 11은 본 개시내용의 제1 실시예에 따라 도 1의 부호화 장치(10)로부터 송신되는 부호화된 스트림을 복호하는 복호 장치의 예시적인 구성을 도시하는 블럭도이다.
도 11의 복호 장치(50)는 수신부(51), 추출부(52), 복호부(53), 조절부(54), 표시 제어부(55) 및 표시부(56)를 포함한다.
복호 장치(50)의 수신부(51)는, 도 1의 부호화 장치(10)로부터 송신되는 부호화된 스트림을 수신하여, 부호화된 스트림을 추출부(52)에 제공한다.
추출부(52)는 수신부(51)로부터 제공되는 부호화된 스트림에서 파라미터 세트들 및 부호화된 데이터를 추출한다. 추출부(52)는 파라미터 세트들 및 부호화된 데이터를 복호부(53)에 제공한다. 또한, 추출부(52)는 파라미터 세트들 중에서 VUI, colour_primaries_info SEI, ref_display_luminance_info SEI를 조절부(54)에 제공한다.
복호부(53)는 HEVC 방식에 따라 추출부(52)로부터 제공되는 부호화된 데이터를 복호한다. 이 때, 복호부(53)는, 또한, 추출부(52)로부터 제공되는 파라미터 세트들을 필요에 따라 참조한다. 복호부(53)는 복호의 결과로서 취득되는 화상을 조절부(54)에 제공한다.
조절부(54)는, 추출부(52)로부터 제공되는 colour_primaries_info SEI로부터 색 영역 정보를 획득하거나, 또는 VUI에 포함되는 색인에 기초하여 색 영역을 인식한다. 조절부(54)는, 획득된 색 영역 정보에 의해 나타나는 색 영역 또는 인식된 색 영역에 기초하여 복호부(53)로부터 제공되는 화상의 색 영역을 조절하고, 표시부(56)의 색 영역을 조절한다.
또한, 조절부(54)는 추출부(52)로부터 제공되는 ref_display_luminance_info SEI로부터 백색, 흑색 및 회색의 휘도 정보를 획득한다. 조절부(54)는, 획득된 휘도 정보 및 표시부(56)의 휘도 정보에 기초하여 색 영역이 조절된 화상의 휘도 동적 범위를 조절한다. 조절부(54)는 휘도 동적 범위가 조절된 화상을 표시 제어부(55)에 제공한다.
여기서, 휘도 동적 범위의 조절은 색 영역의 조절 이후에 수행되는 것으로 가정되지만, 휘도 동적 범위의 조절이 색 영역의 조절 이전에 수행될 수 있다.
표시 제어부(55)는 조절부(54)로부터 제공되는 화상을 표시부(56) 상에 표시되게 한다.
(복호 장치의 처리의 설명)
도 12는 도 11의 복호 장치(50)의 화상 생성 처리를 설명하는 흐름도이다.
도 12의 단계 S51에서는, 복호 장치(50)의 수신부(51)가, 도 1의 부호화 장치(10)로부터 송신되는 부호화된 스트림을 수신하여, 부호화된 스트림을 추출부(52)에 제공한다.
단계 S52에서는, 추출부(52)가 수신부(51)로부터 제공되는 부호화된 스트림에서 파라미터 세트들 및 부호화된 데이터를 추출한다. 추출부(52)는 파라미터 세트들 및 부호화된 데이터를 복호부(53)에 제공한다. 또한, 추출부(52)는 파라미터 세트들 중에서 VUI, colour_primaries_info SEI, ref_display_luminance_info SEI를 조절부(54)에 제공한다.
단계 S53에서는, 복호부(53)가 HEVC 방식에 따라 추출부(52)로부터 제공되는 부호화된 데이터를 복호한다. 이 때, 복호부(53)는 추출부(52)로부터 제공되는 파라미터 세트들을 필요에 따라 참조한다. 복호부(53)는 복호의 결과로서 취득되는 화상을 조절부(54)에 제공한다.
단계 S54에서, 조절부(54)는 colour_primaries_info SEI가 추출부(52)로부터 제공되었는지 여부를 판정한다. 단계 S54에서 colour_primaries_info SEI가 제공되었다고 판정될 때, 처리는 단계 S55로 진행한다.
단계 S55에서는, 조절부(54)가, colour_primaries_info SEI로부터 색 영역 정보를 획득하고, 획득된 색 영역 정보에 의해 나타나는 색 영역을 인식한다. 또한, colour_primaries_info SEI에 색 영역 정보가 포함되지 않을 때, 예를 들어, 색 영역은 limited_colour_gamut_range_in_percent에 기초하여 인식된다. 그리고, 처리는 단계 S57로 진행한다.
한편, 단계 S54에서 colour_primaries_info SEI가 제공되지 않은 것으로 판정될 때, 단계 S56에서는, 조절부(54)가 추출부(52)로부터 제공되는 VUI에 포함되는 색인에 기초하여 다른 표준에 정의되는 색 영역을 인식한다. 그리고, 처리는 단계 S57로 진행한다.
단계 S57에서는, 조절부(54)가, 표시부(56)의 색 영역 또는 단계 S55나 단계 S56에서 인식되는 색 영역에 기초하여, 복호부(53)로부터 제공되는 화상의 색 영역을 조절한다.
단계 S58에서는, 조절부(54)가 추출부(52)로부터 제공되는 ref_display_luminance_info SEI로부터 백색, 흑색 및 회색의 휘도 정보를 획득한다.
단계 S59에서는, 조절부(54)가, 색 영역이 조절된 화상의 휘도 동적 범위를, 표시부(56)의 휘도 정보 및 획득된 휘도 정보에 기초하여 조절한다. 조절부(54)는 휘도 동적 범위가 조절된 화상을 표시 제어부(55)에 제공한다.
단계 S60에서는, 표시 제어부(55)가 조절부(54)로부터 제공되는 화상을 표시부(56) 상에 표시되게 하고, 그리고 처리가 종료된다.
상술된 바와 같이, 복호 장치(50)는, 색 영역 정보를 포함하는 colour_primaries_info SEI를 수신하고, 이에 따라 부호화 대상 화상의 색 영역을 정확하게 인식할 수 있다. 결과적으로, 복호되는 화상의 색 영역을 최적화할 수 있다. 달리 말하면, 부호화 대상 화상의 색 영역이 다른 표준에 정의되는 색 영역과는 상이한 색 영역을 가질 때, 복호되는 화상의 색 영역이 헛되이 감소되거나 또는 확대되는 것을 방지하는 것이 가능하다.
또한, 복호 장치(50)는, 백색, 흑색 및 회색의 휘도 정보를 포함하는 ref_display_luminance_info SEI를 수신하고, 이에 따라 마스터 디스플레이의 휘도 정보를 정확하게 인식할 수 있다. 결과적으로, 복호되는 화상의 휘도 동적 범위를 최적화할 수 있다.
또한, 부호화 대상 화상의 색 영역이 VUI에 포함되는 색인에 의해 식별되는 색 영역보다 클 때, 색 영역 정보가 colour_primaries_info SEI에 기재되지 않을 수 있다. 이 경우, 복호 장치(50)는, 부호화 대상 화상의 색 영역을 인식하고, limited_colour_gamut_range_in_percent, 및 VUI에 포함되는 색인에 의해 식별되는 색 영역에 기초하여 색 영역을 조절한다.
상술된 바와 같이, 색 영역 정보가 기재되지 않을 때, 복호 장치(50)는, 부호화 대상의 색 영역이 VUI의 색인에 의해 정의될 때와 비교해서, limited_colour_gamut_range_in_percent에 기초하여 부호화 대상 화상의 색 영역을 정확하게 인식할 수 있다.
<제2 실시예>
(제2 실시예에 따른 부호화 장치의 예시적인 구성)
도 13은 본 개시내용의 제2 실시예에 따른 부호화 장치의 예시적인 구성을 도시하는 블럭도이다.
도 13에 도시되는 구성요소들 중에서, 도 1에 도시된 구성요소들과 동일한 구성요소들은 동일한 참조 번호들로 나타내어 진다. 반복되는 설명은 적절하게 생략될 것이다.
도 13의 부호화 장치(70)의 구성은, 설정부(11) 대신에 설정부(72)가 제공되고, 화상 조절부(71)가 새로이 제공된다는 점에서 도 1의 구성과는 다르다.
화상은 외부로부터 부호화 장치(70)의 화상 조절부(71)에 입력된다. 화상 조절부(71)는, 예를 들어, 외부로부터 입력되는 화상을 편집하는 한편 사용자의 저작 업무에 따라 마스터 디스플레이(도시되지 않음)에 화상이 표시되게 하는 작업을 수행한다. 화상 조절부(71)는, 편집된 화상의 색 영역 정보와 마스터 디스플레이(도시되지 않음)의 백색 및 흑색의 휘도 정보를 설정부(72)에 제공한다. 또한, 화상 조절부(71)는 편집된 화상을 부호화부(12)에 부호화 대상 화상으로서 입력한다.
설정부(72)는 SPS, PPS 및 VUI를 설정한다. 또한, 설정부(72)는 화상 조절부(71)로부터 제공되는 색 영역 정보 및 휘도 정보를 포함하는 colour_primaries_info SEI를 설정한다. 설정부(72)는 세트 SPS, PPS, VUI 및 colour_primaries_info SEI 등의 파라미터 세트들을 부호화부(12)에 제공한다.
(colour_primaries_info SEI의 예시적인 구문)
도 14는 colour_primaries_info SEI의 예시적인 구문을 도시하고, 도 15 내지 19는 colour_primaries_info SEI의 정보를 설명하는 도면이다.
도 14에 도시된 바와 같이, colour_primaries_info SEI에는 colour_primaries_info_id가 기재된다. 도 15에 도시된 바와 같이, colour_primaries_info_id는 색 영역 정보의 목적을 식별하는 ID이다.
또한, 도 14에 도시된 바와 같이, colour_primaries_info SEI에는 colour_primaries_cancel_flag가 기재된다. 도 15에 도시된 바와 같이, colour_primaries_cancel_flag는 이전 colour_primaries_info SEI의 지속성이 취소되는지 여부를 나타내는 플래그이다. 이전 colour_primaries_info SEI의 지속성이 취소될 때, colour_primaries_cancel_flag는 1이고, 이전 colour_primaries_info SEI의 지속성이 취소되지 않을 때, 이는 0이다.
도 14에 도시된 바와 같이, colour_primaries_cancel_flag가 0일 때, colour_primaries_info SEI에는 colour_primaries_persistence_flag가 기재된다. 도 15에 도시된 바와 같이, colour_primaries_persistence_flag는 colour_primaries_info SEI에 포함되는 색 영역 정보 및 휘도 정보가 복수의 연속적인 화면들에 적용되는지 여부를 나타내는 플래그이다. 색 영역 정보 및 휘도 정보가 복수의 연속적인 화면들에 적용될 때, colour_primaries_persistence_flag는 1이고, 색 영역 정보 및 휘도 정보가 1개 화면에만 적용될 때, 이는 0이다.
또한, 도 14에 도시된 바와 같이, colour_primaries_info SEI에는 white_level_display_luminance_present_flag가 기재된다. 도 16에 도시된 바와 같이, white_level_display_luminance_present_flag는 colour_primaries_info SEI에 white_level_display_luminance가 기재되는지 여부를 나타내는 플래그이다. 도 19에 도시된 바와 같이, white_level_display_luminance는 마스터 디스플레이의 백색의 휘도 정보이다. colour_primaries_info SEI에 마스터 디스플레이의 백색의 휘도 정보가 기재될 때, white_level_display_luminance_present_flag는 1이고, 마스터 디스플레이의 백색의 휘도 정보가 colour_primaries_info SEI에 기재되지 않을 때, white_level_display_luminance_present_flag는 0이다.
도 14 및 16에 도시된 바와 같이, 흑색에 대하여, 유사하게, colour_primaries_info SEI에는 black_level_display_luminance_present_flag가 기재된다.
또한, 도 14에 도시된 바와 같이, colour_primaries_info SEI에는 colour_gamut_coverage_present_flag가 기재된다. 도 16에 도시된 바와 같이, colour_gamut_coverage_present_flag는 colour_primaries_info SEI에 colour_gamut_coverage가 기재되는지 여부를 나타내는 플래그이다. 도 19에 도시된 바와 같이, colour_gamut_coverage는 VUI에 기재된 색인에 의해 식별되는 색 영역에 대한 부호화 대상 화상의 색 영역의 커버율을 나타내는 정보이다. colour_primaries_info SEI에 colour_gamut_coverage가 기재될 때, colour_gamut_coverage_present_flag는 1이고, colour_primaries_info SEI에 colour_gamut_coverage가 기재되지 않을 때, colour_gamut_coverage_present_flag는 0이다.
도 14 및 17에 도시된 바와 같이, colour_primaries_info SEI에는 색 영역 정보에서 CIE 색 좌표계에서 x 방향으로 적색의 색도를 나타내는 colour_primary_Red_x 및 y 방향으로 적색의 색도를 나타내는 colour_primary_Red_y도 기재된다. 도 14 및 18에 도시된 바와 같이, 녹색, 청색 및 백색에 대하여, 유사하게, colour_primaries_info SEI에는 colour_primary_Green_x, colour_primary_Green_y, colour_primary_Blue_x, colour_primary_Blue_y, white_point_x 및 white_point_y가 색 영역 정보로서 기재된다.
색 영역 정보는 16 비트 고정 소수점을 사용하여 기재된다. 달리 말하면, 색 영역 정보는, 화상 조절부(71) 또는 그와 같은 것으로부터, 예를 들어, 송신가능한 정보의 사이즈가 제한되는 HDMI(High-Definition Multimedia Interface)의 EDID(Extended Display Identification Data)(등록 상표)를 통해 송신되는 것으로 고려된다. 또한, 출원인은 IEC(International Electrotechnical Commission) 61966-12-2와 같이 고정 소수점을 사용하여 기재되는 색 영역과 관련되는 메타데이터를 현재 제안하였다. 따라서, 색 영역 정보의 사이즈를 변경하지 않기 위해서 또는 제안된 메타데이터가 색 영역 정보로서 사용되게 하기 위해서, 색 영역 정보는 고정 소수점을 사용하여 기재된다.
또한, 제1 실시예에 따른 색 영역 정보 또한 16 비트 고정 소수점을 사용하여 기재될 수 있다.
도 14에 도시된 바와 같이, white_level_display_luminance_present_flag가 1일 때, colour_primaries_info SEI에는 white_level_display_luminance가 기재된다. black_level_display_luminance_present_flag가 1일 때, blak_level_display_luminance가 기재된다. 도 19에 도시된 바와 같이, blak_level_display_luminance는 마스터 디스플레이의 휘도 정보이다.
상술된 바와 같이, colour_primaries_info SEI에는 white_level_display_luminance 및 blak_level_display_luminance가 기재된다. 달리 말하면, 출원인은 IEC 61966-12-2와 같이 백색 및 흑색의 휘도 정보를 포함하는 휘도와 관련되는 메타데이터를 현재 제안하였다. 따라서, 제안된 메타 데이터가 white_level_display_luminance 및 blak_level_display_luminance로서 사용되게 하기 위해서, colour_primaries_info SEI에는 white_level_display_luminance 및 blak_level_display_luminance가 기재된다.
또한, 도 14에 도시된 바와 같이, colour_gamut_coverage_present_flag가 1일 때, colour_primaries_info SEI에는 colour_gamut_coverage가 기재된다.
(부호화 장치의 처리의 설명)
도 20은 부호화 장치(70)의 스트림 생성 처리를 설명하는 흐름도이다.
도 20의 단계 S80에서는, 화상 조절부(71)가, 외부로부터 입력되는 화상을 편집하는 한편 사용자의 저작 업무에 따라 마스터 디스플레이(도시되지 않음)에 화상이 표시되게 하는 작업을 수행한다. 화상 조절부(71)는, 편집된 화상의 색 영역 정보와 마스터 디스플레이(도시되지 않음)의 백색 및 흑색의 휘도 정보를 설정부(72)에 제공한다. 또한, 화상 조절부(71)는 편집된 화상을 부호화부(12)에 부호화 대상 화상으로서 입력한다.
단계들 S81 내지 S83의 처리는 도 10의 단계들 S11 내지 S13과 동일하고, 이에 따라 그 설명은 생략된다.
단계 S84에서는, 설정부(72)가, 화상 조절부(71)로부터 제공되는 부호화 대상 화상의 색 영역 정보 및 마스터 디스플레이의 휘도 정보를 포함하는 colour_primaries_info SEI를 설정한다.
단계들 S85 내지 S87의 처리는 도 20의 단계들 S17 내지 S19와 동일하고, 이에 따라 그 설명은 생략된다.
상술된 바와 같이, 부호화 장치(70)는 색 영역 정보를 포함하는 colour_primaries_info SEI를 설정하고 송신하며, 이에 따라 부호화 대상 화상이 다른 표준에 정의되는 색 영역과는 상이한 색 영역을 갖더라도, 복호측이 부호화 대상 화상의 색 영역을 정확하게 인식할 수 있게 하는 것이 가능하다.
또한, 부호화 장치(70)는, colour_primaries_info SEI에 white_level_display_luminance 및 black_level_display_luminance를 설정하고 colour_primaries_info SEI를 송신하여, 이에 따라 복호측이 마스터 디스플레이의 휘도 정보를 인식할 수 있게 하는 것이 가능하다.
(제2 실시예에 따른 복호 장치의 예시적인 구성)
도 21은 본 개시내용의 제2 실시예에 따라 도 13의 부호화 장치(70)로부터 송신되는 부호화된 스트림을 복호하는 복호 장치의 예시적인 구성을 도시하는 블럭도이다.
도 21에 도시된 구성요소들 중, 도 11에 도시된 구성요소들과 동일한 구성요소들은 동일한 참조 번호들로 나타내어 진다. 반복되는 설명은 적절히 생략될 것이다.
도 21의 복호 장치(90)의 구성은, 추출부(52), 조절부(54) 및 표시 제어부(55) 대신에 추출부(91), 조절부(92) 및 표시 제어부(93)가 제공된다는 점에서 도 11의 구성과 다르다.
도 21의 복호 장치(90)의 추출부(91)는 수신부(51)로부터 제공되는 부호화된 스트림으로부터 파라미터 세트들 및 부호화된 데이터를 추출한다. 추출부(91)는 파라미터 세트들 및 부호화된 데이터를 복호부(53)에 제공한다. 또한, 추출부(91)는, 파라미터 세트들 중에서 VUI 및 colour_primaries_info SEI를 조절부(92)에 제공하고, colour_primaries_info SEI를 표시 제어부(93)에 제공한다.
조절부(92)는 추출부(91)로부터 제공되는 colour_primaries_info SEI로부터 색 영역 정보 및 colour_gamut_coverage를 획득한다. 또한, 조절부(92)는 추출부(91)로부터 제공되는 VUI에 포함되는 색인에 기초하여 색 영역을 인식한다. 조절부(92)는, 획득된 색 영역 정보에 의해 표시되는 색 영역 및 인식되는 색 영역 중 어느 하나, colour_gamut_coverage에 기초하는 색 영역 및 표시부(56)의 색 영역에 기초하여, 복호부(53)로부터 제공되는 화상의 색 영역을 조절한다. 조절부(92)는 색 영역이 조절된 화상을 표시 제어부(93)에 제공한다.
표시 제어부(93)는 추출부(91)로부터 제공되는 colour_primaries_info SEI로부터 흑색 및 백색의 휘도 정보를 획득한다. 표시 제어부(93)는, 획득된 휘도 정보 및 표시부(56)의 휘도 정보에 기초하여, 조절부(92)로부터 제공되는 조절된 색 영역의 화상의 휘도 동적 범위를 조절한다. 표시 제어부(93)는 표시부(56) 상에 표시되도록 휘도 동적 범위가 조절된 화상을 제공한다.
(복호 장치의 처리의 설명)
도 22는 도 21의 복호 장치(90)의 화상 생성 처리를 설명하는 흐름도이다.
도 22의 단계 S101에서는, 복호 장치(90)의 수신부(51)가, 도 13의 부호화 장치(70)로부터 송신되는 부호화된 스트림을 수신하고, 부호화된 스트림을 추출부(91)에 제공한다.
단계 S102에서는, 추출부(91)가 수신부(51)로부터 제공되는 부호화된 스트림으로부터 파라미터 세트들 및 부호화된 데이터를 추출한다. 추출부(91)는 파라미터 세트들 및 부호화된 데이터를 복호부(53)에 제공한다. 또한, 추출부(91)는, 파라미터 세트들 중에서 VUI 및 colour_primaries_info SEI를 조절부(92)에 제공하고, colour_primaries_info SEI를 표시 제어부(93)에 제공한다.
단계 S103에서는, 복호부(53)가 HEVC 방식에 따라 추출부(91)로부터 제공되는 부호화된 데이터를 복호한다. 이 때, 복호부(53)는 추출부(91)로부터 제공되는 파라미터 세트들을 필요에 따라 참조한다. 복호부(53)는 복호의 결과로서 획득된 화상을 조절부(92)에 제공한다.
단계 S104에서는, 조절부(92)가 추출부(91)로부터 제공되는 VUI에 포함되는 색인에 기초하여 다른 표준에 정의된 색 영역을 인식한다.
단계 S105에서, 조절부(92)는 colour_primaries_info SEI가 추출부(91)로부터 제공되었는지 여부를 판정한다. 단계 S105에서 colour_primaries_info SEI가 제공된 것으로 판정될 때, 처리는 단계 S106으로 진행한다.
단계 S106에서는, 조절부(92)가, colour_primaries_info SEI로부터 색 영역 정보를 획득하고, 획득된 색 영역 정보에 의해 나타나는 색 영역을 인식한다. 또한, colour_primaries_info SEI에 색 영역 정보가 포함되지 않을 때, 예를 들어, 색 영역은 colour_gamut_coverage 및 단계 S104에서 인식된 색 영역에 기초하여 인식된다. 그리고, 처리는 단계 S107로 진행한다.
한편, 단계 S105에서 colour_primaries_info SEI가 제공되지 않은 것으로 판정될 때, 처리는 단계 S107로 진행한다.
단계 S107에서는, 조절부(92)가 표시부(56)의 색 영역 또는 단계 S104 또는 단계 S106에서 인식된 색 영역에 기초하여 복호부(53)로부터 제공되는 화상의 색 영역을 조절한다.
단계 S108에서는, 표시 제어부(93)가 추출부(91)로부터 제공되는 colour_primaries_info SEI로부터 백색 및 흑색의 휘도 정보를 획득한다. 단계 S109에서는, 표시 제어부(93)가 표시부(56)의 휘도 정보 및 획득된 휘도 정보에 기초하여 조절부(92)로부터 제공되는 조절된 색 영역의 화상의 휘도 동적 범위를 조절한다.
단계 S110에서는, 표시 제어부(93)가 표시부(56)에 표시되도록 휘도 동적 범위가 조절된 화상을 제공하고, 처리는 종료한다.
상술된 바와 같이, 복호 장치(90)는, 색 영역 정보를 포함하는 colour_primaries_info SEI를 수신하고, 이에 따라 부호화 대상 화상의 색 영역을 정확하게 인식할 수 있다. 결과적으로, 복호된 화상의 색 영역을 최적화하는 것이 가능하다. 달리 말하면, 부호화 대상 화상의 색 영역이 다른 표준에 정의되는 색 영역과는 다른 색 영역을 가질 때, 복호된 화상의 색 영역이 헛되이 감소되거나 또는 확대되는 것을 방지하는 것이 가능하다.
예를 들어, 표시부(56)의 색 영역이 부호화 대상 화상의 색 영역보다 클 때, 복호 장치(90)는 복호된 화상의 색 영역을 조절하지 않고 복호된 화상을 표시할 수 있다. 결과적으로, 저작 오퍼레이터가 바라는 화상이 표시부(56)에 표시되게 하는 것이 가능하다.
또한, 복호 장치(90)는 정확하게 인식되는 색 영역에 기초하여 복호된 화상의 색 영역을 조절함으로써 고품질 복호된 화상을 표시할 수 있다.
또한, colour_primaries_info SEI에 white_level_display_luminance 및 blak_level_display_luminance도 포함되기 때문에, 복호 장치(90)는 마스터 디스플레이의 휘도 정보를 정확하게 인식할 수 있다. 결과적으로 복호된 화상의 휘도 동적 범위를 최적화하는 것이 가능하다.
위 설명은 색 영역 정보 및 휘도 정보가 SEI에 배치되는 예와 관련하여 이루어졌지만, 색 영역 정보 및 휘도 정보는 시스템 레이어에 배치될 수 있다.
<색 영역 정보 및 휘도 정보가 MP4 박스에 배치되는 예>
(색 영역 정보 및 휘도 정보가 배치되는 MP4 박스의 설명)
도 23은 색 영역 정보 및 휘도 정보가 배치되는 시스템 레이어로서의 MP4 박스를 설명하는 도면이다.
도 23에 도시된 바와 같이, 색 영역 정보 및 휘도 정보가 MP4 박스에 배치될 때, 색 영역 정보 및 휘도 정보로서 ColourPrimariesInfo를 저장하는 Colour Primaries Information Box (tinf) 박스가 새롭게 정의된다. tinf 박스는 트랙 박스 또는 트랙 조각 박스(traf 박스)(에 저장되는 stbl 박스)에 저장된다.
ColourPrimariesInfo는 바이트 정렬을 위한 padding_value이 삽입된다는 점을 제외하고 도 2의 colour_primaries_info SEI 및 도 8의 ref_display_luminance_info SEI 또는 도 14의 colour_primaries_info SEI와 유사한 구성을 갖는다.
본 개시내용은 AVC 방식에도 적용될 수 있다.
<제3 실시예>
(본 개시내용에 따른 컴퓨터의 설명)
상술된 일련의 처리들은 하드웨어 또는 소프트웨어에 의해 실행될 수 있다. 이러한 일련의 처리들이 소프트웨어에 의해 실행될 때, 이러한 소프트웨어를 구성하는 프로그램이 컴퓨터에 설치된다. 여기서, 이러한 컴퓨터의 예들은, 전용 하드웨어에 포함되는 컴퓨터 및 그 안에 설치된 여러 프로그램들을 포함하고 여러 종류의 기능들을 실행할 수 있는 범용 퍼스널 컴퓨터를 포함한다.
도 24는 상술된 일련의 처리들을 프로그램에 의해 실행하는 컴퓨터의 예시적인 하드웨어 구성을 도시하는 블럭도이다.
컴퓨터에서, CPU(Central Processing Unit)(201), ROM(Read Only Memory)(202) 및 RAM(Random Access Memory)(203)는 버스(204)를 통해 상호 접속된다.
I/O(Input/Output) 인터페이스(205) 또한 버스(204)에 접속된다. 입력부(206), 출력부(207), 저장부(208), 통신부(209) 및 드라이브(210)가 I/O 인터페이스(205)에 접속된다.
입력부(206)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(207)는 디스플레이, 스피커 등을 포함한다. 저장부(208)는 하드 디스크, 불휘발성 메모리 등을 포함한다. 통신부(209)는 네트워크 인터페이스 등을 포함한다. 드라이브(210)는 자기 디스크, 광 디스크, 자기 광 디스크 또는 반도체 메모리 등의 탈착형 매체(211)를 구동한다.
위 구성을 갖는 컴퓨터에서, CPU(201)는, 예를 들어, 저장부(208)에 저장된 프로그램을 I/O 인터페이스(205) 및 버스(204)를 통해 RAM(203)에 로딩하고, 그 프로그램을 실행함으로써, 상술된 일련의 처리들을 실행한다.
예를 들어, 컴퓨터(CPU(201))에 의해 실행되는 프로그램은 패키지 매체 등으로서의 탈착형 매체(211)에 기록되어 제공될 수 있다. 또한, 프로그램은 LAN(Local Area Network), 인터넷 또는 디지털 위성 방송 등의 유선 또는 무선 송신 매체를 통해 제공될 수 있다.
컴퓨터에서, 탈착형 매체(211)가 드라이브(210)에 장착되고 나서, 프로그램이 I/O 인터페이스(205)를 통해 저장부(208)에 설치될 수 있다. 또한, 프로그램이 유선 또는 무선 송신 매체를 통해 통신부(209)에 의해 수신되고 나서 저장부(208)에 설치될 수 있다. 또한, 프로그램은 사전에 ROM(202) 또는 저장부(208)에 설치될 수 있다.
또한, 프로그램은, 해당 처리들이 본 개시내용에 설명되는 순서로 순서대로 수행되는 프로그램일 수 있거나 또는 해당 처리들이 병렬로 또는 소위 타이밍들 등의 필요한 타이밍들에 수행되는 프로그램일 수 있다.
<제4 실시예>
(다중-뷰 화상 코딩 및 다중-뷰 화상 복호에 대한 적용)
상술된 일련의 처리들은 다중-뷰 화상 코딩 및 다중-뷰 화상 복호에 적용될 수 있다. 도 25는 예시적인 다중-뷰 화상 코딩 방식을 도시한다.
도 25에 도시된 바와 같이, 다중-뷰 화상은 복수 뷰들의 화상들을 포함한다. 다중-뷰 화상의 복수 뷰들은, 다른 뷰들의 화상들을 사용하지 않고 자신의 뷰의 화상만을 사용하여 부호화 및 복호가 수행되는 기본 뷰 및 다른 뷰들의 화상들을 사용하여 부호화 및 복호가 수행되는 비-기본 뷰을 포함한다. 비-기본 뷰로서, 기본 뷰의 화상이 사용될 수 있고, 다른 비-기본 뷰의 화상이 사용될 수 있다.
도 25의 다중-뷰 화상이 부호화되고 복호될 때, 각 뷰의 화상이 부호화되고 복호되지만, 제1 실시예에 따른 기술이 각 뷰들의 부호화 및 복호에 적용될 수 있다. 따라서, 부호화 대상 화상의 색 영역이 복호측에서 정확하게 인식될 수 있다.
또한, 제1 실시예에 따른 기술에 사용되는 플래그들 또는 파라미터들이 각 뷰들의 부호화 및 복호에 공유될 수 있다. 보다 구체적으로, 예를 들어, colour_primaries_info SEI 또는 ref_display_luminance_info SEI의 구문 요소들이 각 뷰들의 부호화 및 복호에 공유될 수 있다. 물론, 임의의 다른 필요한 정보가 각 뷰들의 부호화 및 복호에 공유될 수 있다.
따라서, 중복 정보의 송신을 방지하고 송신될 정보량(비트 레이트)를 감소하는 것이 가능하다, 즉 코딩 효율이 저하되는 것을 방지하는 것이 가능하다.
(다중-뷰 화상 부호화 장치)
도 26은 상술된 다중-뷰 화상 코딩을 수행하는 다중-뷰 화상 부호화 장치를 도시하는 도면이다. 다중-뷰 화상 부호화 장치(600)는 도 26에 도시된 바와 같이 부호화부(601), 부호화부(602) 및 다중화부(603)을 포함한다.
부호화부(601)는, 기본 뷰 화상을 부호화하여, 기본 뷰 화상 부호화된 스트림을 생성한다. 부호화부(602)는, 비-기본 뷰 화상을 부호화하여, 비-기본 뷰 화상 부호화된 스트림을 생성한다. 다중화부(603)는 부호화부(601)에 의해 생성되는 기본 뷰 부호화된 스트림 및 부호화부(602)에 의해 생성되는 비-기본 뷰 부호화된 스트림의 다중화를 수행하여, 다중-뷰 화상 부호화된 스트림을 생성한다.
부호화 장치(10)(도 1)가 다중-뷰 화상 부호화 장치(600)의 부호화부(601) 및 부호화부(602)로서 적용될 수 있다. 달리 말하면, 각 뷰의 부호화가 수행될 때, 복호측이 부호화 대상 화상의 색 영역을 정확하게 인식할 수 있게 하는 것이 가능하다. 또한, 부호화부(601) 및 부호화부(602)는 동일한 플래그들 또는 파라미터들(예를 들어, 화상간 처리에 관련되는 구문 요소들)을 사용하여 부호화를 수행할 수 있고(즉, 이러한 플래그들 또는 파라미터들을 공유할 수 있음), 이에 따라 코딩 효율이 저하되는 것을 방지하는 것이 가능하다.
(다중-뷰 화상 복호 장치)
도 27은 상술된 다중-뷰 화상 복호를 수행하는 다중-뷰 화상 복호 장치를 도시하는 도면이다. 다중-뷰 화상 복호 장치(610)는 도 27에 도시된 바와 같이 역다중화부(611), 복호부(612) 및 복호부(613)를 포함한다.
역다중화부(611)는, 기본 뷰 화상 부호화된 스트림 및 비-기본 뷰 화상 부호화된 스트림을 다중화함으로써 취득되는 다중-뷰 화상 부호화된 스트림의 역다중화를 수행하여, 기본 뷰 화상 부호화된 스트림 및 비-기본 뷰 화상 부호화된 스트림을 추출한다. 복호부(612)는, 역다중화부(611)에 의해 추출되는 기본 뷰 화상 부호화된 스트림을 복호하여, 기본 뷰 화상을 취득한다. 복호부(613)는 역다중화부(611)에 의해 추출되는 비-기본 뷰 화상 부호화된 스트림을 복호하여, 비-기본 뷰 화상을 취득한다.
복호 장치(50)(도 11)가 다중-뷰 화상 복호 장치(610)의 복호부(612) 및 복호부(613)로서 적용될 수 있다. 달리 말하면, 각 뷰의 복호가 수행될 때, 부호화 대상 화상의 색 영역이 정확하게 인식될 수 있다. 또한, 복호부(612) 및 복호부(613)는 동일한 플래그들 또는 파라미터들(예를 들어, 화상간 처리에 관련되는 구문 요소들)을 사용하여 복호를 수행할 수 있고(즉, 이러한 플래그들 또는 파라미터들을 공유할 수 있음), 이에 따라 코딩 효율이 저하되는 것을 방지하는 것이 가능하다.
<제5 실시예>
(축척형 화상 코딩 및 축척형 화상 복호에의 적용)
상술된 일련의 처리는 축척형 화상 코딩 및 축척형 화상 복호(축척형 코딩 및 축척형 복호)에 적용될 수 있다. 도 28은 예시적인 축척형 화상 코딩 방식을 도시한다.
축척형 화상 코딩(축척형 코딩)은, 화상이 복수의 레이어들로 분할되어(계층화됨), 화상 데이터가 특정 파라미터에 대한 축척형 기능을 갖고, 각 레이어에 대해 부호화가 수행되는 방식이다. 축척형 화상 복호(축척형 복호)는 축척형 화상 코딩에 대응하는 복호이다.
도 28에 도시된 바와 같이, 화상의 계층화를 위해, 화상은 축척형 기능을 갖는 특정 파라미터에 기초하여 복수의 화상들(레이어들)로 분할된다. 달리 말하면, 계층화된 화상(축척형 화상)은 특정 파라미터의 값이 상호 다른 복수의 레이어들의 화상들을 포함한다. 축척형 화상의 복수의 레이어들은, 다른 레이어들의 화상들을 사용하지 않고 자신의 레이어의 화상만을 사용하여 부호화 및 복호가 수행되는 기본 레이어, 및 다른 레이어들의 화상들을 사용하여 부호화 및 복호가 수행되는 비-기본 레이어들("강화 레이어들(enhancement layers)"이라고도 함) 포함한다. 비-기본 레이어로서, 기본 레이어의 화상이 사용될 수 있고, 임의의 다른 비-기본 레이어의 화상이 사용될 수 있다.
일반적으로, 비-기본 레이어는, 자신의 화상과 다른 레이어의 화상 사이의 차분 화상의 데이터(차분 데이터)로 구성되어, 중복이 감소된다. 예를 들어, 하나의 화상이 2개 레이어들, 즉, 기본 레이어와 비-기본 레이어(강화 레이어라고도 함)로 계층화될 때, 본래 화상보다 낮은 품질의 화상은 베이스 레이어의 데이터만 사용될 때 취득되고, 본래 화상(즉, 고품질 화상)은 기본 레이어의 데이터 및 비-기본 레이어의 데이터 양자 모두가 조합될 때 취득된다.
화상이 상술된 바와 같이 계층화됨에 따라, 다양한 품질의 화상들이 상황에 따라 취득될 수 있다. 예를 들어, 이동 단말과 같이 처리 능력이 낮은 단말에 대해서는, 기본 레이어만의 화상 압축 정보가 송신되고, 공간 및 시간 해상도가 낮은 또는 저품질의 동화상이 재생되며, 텔레비전 또는 퍼스널 컴퓨터와 같이 처리 농력이 높은 단말에 대해서는, 기본 레이어 뿐만 아니라 강화 레이어의 화상 압축 정보가 송신되고, 공간 및 시간 해상도가 높은 또는 고품질의 동화상이 재생된다. 달리 말하면, 변환부호화 처리를 수행하지 않고, 단말 또는 네트워크의 능력에 따른 화상 압축 정보가 서버로부터 송신될 수 있다.
도 28에 도시된 축척형 화상이 부호화되고 복호될 때, 각 레이어들의 화상들은 부호화되고 복호되지만, 제1 실시예에 따른 기술이 이러한 각 레이어들의 부호화 및 복호에 적용될 수 있다. 따라서, 부호화 대상 화상의 색 영역이 복호측에서 정확하게 인식될 수 있다.
또한, 제1 실시예에 따른 기술에서 사용된 플래그들 또는 파라미터들이 각 레이어들의 부호화 및 복호에 공유될 수 있다. 보다 구체적으로, 예를 들어, colour_primaries_info SEI 또는 ref_display_luminance_info SEI의 구문 요소들이 각 레이어들의 부호화 및 복호에 공유될 수 있다. 물론, 임의의 다른 필요한 정보가 각 뷰들의 부호화 및 복호에 공유될 수 있다.
따라서, 중복 정보의 송신을 방지하는 것 및 송신될 정보량(비트 레이트)를 감소하는 것이 가능하다, 즉, 코딩 효율이 저하되는 것을 방지하는 것이 가능하다.
(축척형 파라미터)
축척형 화상 코딩 및 축척형 화상 복호(축척형 코딩 및 축척형 복호)에서, 임의의 파라미터가 축척형 기능을 갖는다. 예를 들어, 공간 해상도가 도 29에 도시된 바와 같이 이러한 파라미터(공간 축척성)로서 사용될 수 있다. 공간 축척성의 경우, 각 레이어들은 상이한 화상 해상도들을 갖는다. 달리 말하면, 이 경우, 각 화면은, 도 29에 도시된 바와 같이, 2개 레이어들로, 즉, 본래 화상의 해상도보다 공간적으로 낮은 해상도의 기본 레이어 및 본래 공간 해상도를 취득하도록 기본 레이어와 조합되는 강화 레이어로, 계층화된다. 물론, 레이어들의 수는 일 예이고, 각 화면은 임의 수의 레이어들로 계층화될 수 있다.
이러한 축척성을 갖는 다른 파라미터로서, 예를 들어, 도 30에 도시된 바와 같이 시간 해상도가 적용될 수 있다(시간 축척성). 시간 축척성의 경우, 각 레이어들은 프레임 레이트들이 다르다. 달리 말하면, 이 경우, 각 화면은, 도 30에 도시된 바와 같이, 2개 레이어들로, 즉, 본래 동화상의 프레임 레이트보다 낮은 프레임 레이트의 기본 레이어 및 본래 프레임 레이트를 취득하도록 기본 레이어와 조합되는 강화 레이어로, 계층화된다. 물론, 레이어들의 수는 일 예이고, 각 화면은 임의 수의 레이어들로 계층화될 수 있다.
이러한 축척성을 갖는 다른 파라미터로서, 예를 들어, SNR(Signal-to-Noise Ratio)가 적용될 수 있다(SNR 축척성). SNR 축척성의 경우, 각 레이어들은 SNR들이 다르다. 달리 말하면, 이 경우, 각 화면은, 도 31에 도시된 바와 같이, 2개 레이어들로, 즉, 본래 화상보다 낮은 SNR의 기본 레이어 및 본래 SNR을 취득하도록 기본 레이어와 조합되는 강화 레이어로, 계층화된다. 물론, 레이어들의 수는 일 예이고, 각 화면은 임의 수의 레이어들로 계층화될 수 있다.
상술된 예들 이외의 파라미터가 축척성을 갖는 파라미터로서 적용될 수 있다. 예를 들어, 비트 심도(bit depth)가 축척성을 갖는 파라미터로서 사용될 수 있다(비트-심도 축척성). 비트-심도 축척성의 경우, 각 레이어들은 비트 심도들이 다르다. 이 경우, 예를 들어, 기본 레이어(기본 레이어)는 8 비트 화상을 포함하고, 기본 레이어에 강화 레이어를 추가함으로써 10 비트 화상이 취득될 수 있다.
축척성을 갖는 다른 파라미터로서, 예를 들어, 채도 포맷이 사용될 수 있다(채도 축척성). 채도 축척성의 경우, 각 레이어들은 상이한 채도 포맷들을 갖는다. 이러한 경우에, 예를 들어, 기본 레이어(기본 레이어)는 4 : 2 : 0 포맷의 성분 화상을 포함하고, 기본 레이어에 강화 레이어를 추가함으로써 4 : 2: 2: 포맷의 성분 화상이 취득될 수 있다.
(축척형 화상 부호화 장치)
도 32는 상술된 축척형 화상 코딩을 수행하는 축척형 화상 부호화 장치를 도시하는 도면이다. 축척형 화상 부호화 장치(620)는 도 32에 도시된 바와 같이 부호화부(621), 부호화부(622) 및 다중화부(623)를 포함한다.
부호화부(621)는, 기본 레이어 화상을 부호화하여, 기본 레이어 화상 부호화된 스트림을 생성한다. 부호화부(622)는, 비-기본 레이어 화상을 부호화하여, 비-기본 레이어 화상 부호화된 스트림을 생성한다. 다중화부(623)는, 부호화부(621)에 의해 생성되는 기본 레이어 부호화된 스트림 및 부호화부(622)에 의해 생성되는 비-기본 레이어 부호화된 스트림 다중화를 수행하여, 축척형 화상 부호화된 스트림을 생성한다.
부호화 장치(10)(도 1)가 축척형 화상 부호화 장치(620)의 부호화부(621) 및 부호화부(622)로서 적용될 수 있다. 달리 말하면, 각 레이어의 부호화가 수행될 때, 복호측이 부호화 대상 화상의 색 영역을 정확하게 인식할 수 있게 하는 것이 가능하다. 또한, 부호화부(621) 및 부호화부(622)는, 예를 들어, 동일한 플래그들 또는 파라미터들(예를 들어, 화상간 처리에 관련되는 구문 요소들)을 사용하여 내부-예측 필터 처리의 제어를 수행할 수 있고(즉, 플래그들 또는 파라미터들을 공유할 수 있고), 이에 따라 코딩 효율이 저하되는 것을 방지하는 것이 가능하다.
(축척형 화상 복호 장치)
도 33은 상술된 축척형 화상 복호를 수행하는 축척형 화상 복호 장치를 도시하는 도면이다. 축척형 화상 복호 장치(630)는 도 33에 도시된 바와 같이 역다중화부(631), 복호부(632) 및 복호부(633)를 포함한다.
역다중화부(631)는, 기본 레이어 화상 부호화된 스트림 및 비-기본 레이어 화상 부호화된 스트림을 다중화하여 취득된 축척형 화상 부호화된 스트림의 역다중화를 수행하여, 기본 레이어 화상 부호화된 스트림 및 비-기본 레이어 화상 부호화된 스트림을 추출한다. 복호부(632)는, 역다중화부(631)에 의해 추출되는 기본 레이어 화상 부호화된 스트림을 복호하여, 기본 레이어 화상을 취득한다. 복호부(633)는, 역 다중화부(631)에 의해 추출되는 비-기본 레이어 화상 부호화된 스트림을 복호하여, 비-기본 레이어 화상을 취득한다.
복호 장치(50)(도 11)가 축척형 화상 복호 장치(630)의 복호부(632) 및 복호부(633)로서 적용될 수 있다. 달리 말하면, 각 레이어의 복호가 수행될 때, 부호화 대상 화상의 색 영역이 정확하게 인식될 수 있다. 또한, 복호부(612) 및 복호부(613)는 동일한 플래그들 또는 파라미터들(예를 들어, 화상간 처리에 관련되는 구문 요소들)을 사용하여 복호를 수행할 수 있고(즉, 플래그들 또는 파라미터들을 공유할 수 있고), 이에 따라 코딩 효율이 저하되는 것을 방지하는 것이 가능하다.
<제6 실시예>
(텔레비전 장치의 예시적인 구성)
도 34는 본 기술이 적용되는 텔레비전 장치의 개략 구성을 도시한다. 텔레비전 장치(900)는, 안테나(901), 튜너(902), 역다중화기(903), 디코더(904), 비디오 신호 처리부(905), 표시부(906), 오디오 신호 처리부(907), 스피커(908) 및 외부 I/F부(909)를 포함한다. 텔레비전 장치(900)는 제어부(910), 사용자 I/F부(911) 등을 더 포함한다.
튜너(902)는, 안테나(901)에 의해 수신되는 방송 신호로부터 원하는 채널을 맞추고, 복조를 수행하여, 취득되는 부호화된 비트스트림을 역다중화기(903)에 출력한다.
역다중화기(903)는, 부호화된 비트스트림으로부터 시청 대상의 프로그램의 비디오 또는 오디오 패킷들을 추출하여, 추출된 패킷들의 데이터를 디코더(904)에 출력한다. 역다중화기(903)는 EPG(Electronic Program Guide) 등의 데이터의 패킷들의 데이터를 제어부(910)에 제공한다. 또한, 스크램블링이 수행된 때에는, 역다중화기 또는 그와 같은 것에 의해 디스크램블링이 수행된다.
디코더(904)는, 패킷들을 복호하는 복호 처리를 수행하여, 복호 처리에 의해 생성되는 비디오 데이터 및 오디오 데이터를 비디오 신호 처리부(905) 및 오디오 신호 처리부(907)에 출력한다.
비디오 신호 처리부(905)는 비디오 데이터에 대하여 잡음 소거 처리 또는 사용자 설정에 따른 비디오 처리를 수행한다. 비디오 신호 처리부(905)는, 표시부(906)에 표시될 프로그램의 비디오 데이터, 네트워크를 통해 제공되는 적용에 기초하는 처리에 따른 화상 데이터 등을 생성한다. 비디오 신호 처리부(905)는, 예를 들어, 항목을 선택하는데 사용되는 메뉴 스크린 표시용 비디오 데이터를 생성하고, 이러한 비디오 데이터가 프로그램의 비디오 데이터에 겹치게 한다. 비디오 신호 처리부(905)는, 상술된 바와 같이 생성되는 비디오 데이터에 기초하여 구동 신호를 생성하여, 표시부(906)를 구동한다.
표시부(906)는, 비디오 신호 처리부(905)로부터 제공되는 구동 신호에 기초하여 표시 장치(예를 들어, 액정 표시 장치 등)를 구동하고, 프로그램 비디오 등을 표시되게 한다.
오디오 신호 처리부(907)는, 오디오 데이터에 잡음 소거 처리 등의 특정 처리를 수행하고, 처리된 오디오 데이터에 D/A(Digital to Analog) 변환 처리 및 증폭 처리를 수행하여, 그 결과인 데이터를 사운드를 출력하는 스피커(908)에 제공한다.
외부 I/F부(909)는, 외부 장치 또는 네트워크와의 접속을 위한 인터페이스이고, 비디오 데이터 또는 오디오 데이터 등의 데이터의 송신 및 수신을 수행한다.
사용자 I/F부(911)는 제어부(910)와 접속된다. 사용자 I/F부(911)는, 조작 스위치, 원격 제어 신호 수신부 등을 포함하고, 사용자의 조작에 따른 조작 신호를 제어부(910)에 제공한다.
제어부(910)는 CPU(Central Processing Unit), 메모리 등을 포함한다. 메모리는, CPU에 의해 실행되는 프로그램, CPU가 처리를 수행할 때 필요한 다양한 종류의 데이터, EPG 데이터, 네트워크를 통해 획득되는 데이터 등을 저장한다. 메모리에 저장된 프로그램은 텔레비전 장치(900)가 활성화되는 타이밍 등 특정 타이밍에 CPU에 의해 판독되어 실행된다. CPU는, 이러한 프로그램을 실행하고, 텔레비전 장치(900)가 사용자의 조작에 따라 조작되도록 각 부들을 제어한다.
텔레비전 장치(900)에는, 튜너(902), 역다중화기(903), 비디오 신호 처리부(905), 오디오 신호 처리부(907), 외부 I/F부(909) 등을 제어부(910)와 접속시키는 버스(912)가 제공된다.
위 구성을 갖는 텔레비전 장치에서, 디코더(904)에는 본 출원에 따른 복호 장치(복호 방법)의 기능이 제공된다. 따라서, 부호화 대상 화상의 색 영역을 정확하게 인식하는 것이 가능한다.
<제7 실시예>
(이동 전화의 예시적인 구성)
도 35는 본 기술이 적용되는 이동 전화의 개략 구성을 도시한다. 이동 전화(920)는, 통신부(922), 음성 코덱(923), 카메라부(926), 화상 처리부(927), 다중화/역다중화부(928), 기록/재생부(929), 표시부(930) 및 제어부(931)를 포함한다. 이러한 부들은 버스(933)를 통해 상호 접속된다.
또한, 안테나(921)가 통신부(922)에 접속되고, 스피커(924)와 마이크로폰(925)이 음성 코덱(923)에 접속된다. 또한, 조작부(932)가 제어부(931)에 접속된다.
이동 전화(920)는, 음성 신호의 송신 및 수신, 전자 메일 또는 화상 데이터의 송신 및 수신, 화상 캡쳐링, 또는 음성 호출 모드 및 데이터 통신 모드 등 다양한 모드들에서의 데이터 기록 등의 다양한 종류의 조작들을 수행한다.
음성 호출 모드에서, 마이크로폰(925)에 의해 생성되는 음성 신호는, 음성 코덱(923)을 통해 음성 데이터로 변환되고, 압축되어, 통신부(922)에 제공된다. 통신부(922)는, 예를 들어, 음성 데이터의 복조 처리 및 주파수 변환 처리를 수행하여, 송신 신호를 생성한다. 또한, 통신부(922)는 송신 신호를 안테나(921)에 제공하여, 송신 신호는 기지국(도시되지 않음)에 송신된다. 또한, 통신부(922)는, 안테나(921)를 통해 수신되는 수신 신호의 증폭 처리, 주파수 변환 처리 및 복조 처리를 수행하여, 취득된 음성 데이터를 음성 코덱(923)에 제공한다. 음성 코덱(923)은, 음성 데이터를 압축해제하고, 압축된 데이터를 아날로그 음성 신호로 변환하여, 아날로그 음성 신호를 스피커(924)에 출력한다.
데이터 통신 모드에서, 메일 송신이 수행될 때, 제어부(931)는, 조작부(932)를 조작하여 입력되는 텍스트 데이터를 수신하고, 입력 텍스트를 표시부(930)에 표시되게 한다. 또한, 제어부(931)는, 예를 들어, 조작부(932)를 통한 사용자 명령어 입력에 기초하여, 메일 데이터를 생성하여, 메일 데이터를 통신부(922)에 제공한다. 통신부(922)는, 예를 들어, 메일 데이터의 변조 처리 및 주파수 변환 처리를 수행하여, 취득된 송신 신호를 안테나(921)를 통해 송신한다. 또한, 통신부(922)는, 예를 들어, 안테나(921)를 통해 수신되는 수신 신호의 증폭 처리, 주파수 변환 처리 및 복조 처리를 수행하여, 메일 데이터를 복구한다. 메일 데이터는 표시부(930)에 제공되어 메일 내용이 표시된다.
이동 전화(920)는 수신된 메일 데이터를 기록/재생부(929)를 통해 저장 매체에 저장할 수 있다. 저장 매체는 임의의 재기입형 저장 매체이다. 저장 매체의 예들은 RAM 또는 내부 플래시 메모리 등의 반도체 메모리, 하드 디스크, 자기 디스크, 자기 광 디스크, 광 디스크 및 USB(Universal Serial Bus) 메모리 또는 메모리 카드 등의 탈착형 매체를 포함한다.
데이터 통신 모드에서, 화상 데이터가 송신될 때, 카메라부(926)를 통해 생성된 화상 데이터가 화상 처리부(927)에 제공된다. 화상 처리부(927)는, 화상 데이터를 부호화하는 부호화 처리를 수행하여, 부호화된 데이터를 생성한다.
다중화/역다중화부(928)는, 화상 처리부(927)를 통해 생성되는 부호화된 데이터 및 음성 코덱(923)으로부터 제공되는 음성 데이터를 특정 방식에 따라 다중화하여, 그 결과인 데이터를 통신부(922)에 제공한다. 통신부(922)는, 예를 들어, 다중화된 데이터의 변조 처리 및 주파수 변환 처리를 수행하여, 취득되는 송신 신호를 안테나(921)를 통해 송신한다. 또한, 통신부(922)는, 예를 들어, 안테나(921)를 통해 수신되는 수신 신호의 증폭 처리, 주파수 변환 처리 및 복조 처리를 수행하여, 다중화된 데이터를 복구한다. 다중화된 데이터는 다중화/역다중화부(928)에 제공된다. 다중화/역다중화부(928)는, 다중화된 데이터를 역다중화하여, 부호화된 데이터 및 음성 데이터를 화상 처리부(927) 및 음성 코덱(923)에 제공한다. 화상 처리부(927)는 부호화된 데이터를 복호하는 복호 처리를 수행하여, 화상 데이터를 생성한다. 화상 데이터는 표시부(930)에 제공되어 수신된 화상이 표시된다. 음성 코덱(923)은, 음성 데이터를 아날로그 음성 신호로 변환하고, 아날로그 음성 신호를 스피커(924)에 제공하여, 수신된 음성를 출력한다.
위 구성을 갖는 이동 전화에서, 화상 처리부(927)에는 본 출원에 따른 부호화 장치 및 복호 장치(부호화 방법 및 복호 방법)의 기능이 제공된다. 이에 따라, 복호측이 부호화 대상 화상의 색 영역을 정확하게 인식할 수 있게 하는 것이 가능하다. 또한, 부호화 대상 화상의 색 영역을 정확하게 인식하는 것이 가능하다.
<제8 실시예>
(기록/재생 장치의 예시적인 구성)
도 36은 본 기술이 적용되는 기록/재생 장치의 개략 구성을 도시한다. 기록/재생 장치(940)는, 예를 들어, 수신되는 방송 프로그램의 오디오 데이터 및 비디오 데이터를 기록 매체에 기록하여, 기록된 데이터를 사용자의 명령에 따른 타이밍에 사용자에게 제공한다. 또한, 기록/재생 장치(940)는, 예를 들어, 다른 장치로부터 오디오 데이터 또는 비디오 데이터를 획득하여, 획득된 데이터를 기록 매체에 기록되게 할 수 있다. 또한, 기록/재생 장치(940)는 기록 매체에 기록된 오디오 데이터 또는 비디오 데이터를 복호 및 출력하여 모니터 장치에서 화상 표시 또는 사운드 출력이 수행될 수 있다.
기록/재생 장치(940)는, 튜너(941), 외부 I/F부(942), 인코더(943), HDD(Hard Disk Drive)부(944), 디스크 드라이브(945), 셀렉터(946), 디코더(947), OSD(On-Screen Display)부(948), 제어부(949) 및 사용자 I/F부(950)를 포함한다.
튜너(941)는 안테나(도시되지 않음)를 통해 수신되는 방송 신호로부터 원하는 채널을 맞춘다. 튜너(941)는, 원하는 채널의 수신 신호를 복조하여, 취득되는 부호화된 비트스트림을 셀렉터(946)에 출력한다.
외부 I/F부(942)는 IEEE1394 인터페이스, 네트워크 인터페이스, USB 인터페이스, 플래시 메모리 인터페이스 등 중에서 적어도 하나로 구성된다. 외부 I/F부(942)는, 외부 장치, 네트워크, 메모리 카드 등과의 접속을 위한 인터페이스로, 기록될 비디오 데이터 내지 오디오 데이터 등의 데이터를 수신한다.
인코더(943)는, 외부 I/F부(942)로부터 제공되는 부호화되지 않은 비디오 데이터 또는 오디오 데이터를 특정 방식에 따라 부호화하여, 부호화된 비트스트림을 셀렉터(946)에 제공한다.
HDD부(944)는, 비디오 또는 오디오 등의 콘텐츠 데이터, 다양한 종류의 프로그램들 및 기타 데이터를 내부 하드 디스크에 기록하여, 재생시 등에 하드 디스크로부터 기록된 데이터를 판독한다.
디스크 드라이브(945)는, 신호를 장착된 광 디스크에 기록하고, 광 디스크로부터 신호를 재생한다. 광 디스크의 예들은 DVD 디스크(DVD-비디오, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW 등) 및 블루-레이(등록 상표) 디스크를 포함한다.
비디오 또는 사운드가 기록될 때, 셀렉터(946)는, 튜너(941)에 제공되는 부호화된 비트스트림 및 인코더(943)로부터 제공되는 부호화된 비트스트림 중 하나를 선택하여, 선택된 부호화된 비트 스트림을 HDD부(944) 또는 디스크 드라이브(945) 중 하나에 제공한다. 또한, 비디오 또는 사운드가 재생될 때, 셀렉터(946)는 HDD부(944) 또는 디스크 드라이브(945)로부터 출력되는 부호화된 비트스트림 출력을 디코더(947)에 제공한다.
디코더(947)는 부호화된 비트스트림을 복호하는 복호 처리를 수행한다. 디코더(947)는 복호 처리를 수행함으로써 생성되는 비디오 데이터를 OSD부(948)에 제공한다. 또한, 디코더(947)는 복호 처리를 수행함으로써 생성되는 오디오 데이터를 출력한다.
OSD부(948)는, 예를 들어, 항목을 선택하는데 사용되는 메뉴 스크린을 예를 들어 표시하는데 사용하는 비디오 데이터를 생성하여, 이러한 비디오 데이터를 디코더(947)로부터 출력되는 비디오 데이터에 겹치도록 출력한다.
사용자 I/F부(950)는 제어부(949)에 접속된다. 사용자 I/F부(950)는, 조작 스위치, 원격 제어 신호 수신부 등을 포함하여, 사용자의 조작에 따른 조작 신호를 제어부(949)에 제공한다.
제어부(949)는 CPU, 메모리 등으로 구성된다. 메모리는 CPU에 의해 실행되는 프로그램 및 CPU가 처리를 수행할 때 필요한 다양한 종류의 데이터를 저장한다. 메모리에 저장된 프로그램은 기록/재생 장치(940)가 활성화되는 타이밍 등의 특정 타이밍에 CPU에 의해 판독되고 실행된다. CPU가 프로그램을 실행하고 개별 부들을 제어하여, 기록/재생 장치(940)가 사용자의 조작에 따라 조작된다.
위 구성을 갖는 기록/재생 장치에서, 디코더(947)에는 본 출원에 따른 복호 장치(복호 방법)의 기능이 제공된다. 이에 따라, 부호화 대상 화상의 색 영역을 정확하게 인식하는 것이 가능하다.
<제9 실시예>
(촬상 장치의 예시적인 구성)
도 37은 본 기술이 적용되는 촬상 장치의 개략 구성을 도시한다. 촬상 장치(960)는, 피사체를 촬영하고, 피사체의 화상이 표시부에 표시되게 하거나 또는 화상 데이터를 기록 매체에 기록한다.
촬상 장치(960)는 광 블럭(961), 촬상부(962), 카메라 신호 처리부(963), 화상 데이터 처리부(964), 표시부(965), 외부 I/F부(966), 메모리부(967), 매체 드라이브(968), OSD부(969) 및 제어부(970)를 포함한다. 또한, 사용자 I/F부(971)가 제어부(970)에 접속된다. 또한, 화상 데이터 처리부(964), 외부 I/F부(966), 메모리부(967), 매체 드라이브(968), OSD부(969), 제어부(970) 등이 버스(972)를 통해 상호 접속된다.
광 블럭(961)은 초점 렌즈, 다이아프램 메커니즘 등으로 구성된다. 광 블럭(961)은 피사체의 광 화상을 촬상부(962)의 촬상면에 형성한다. 촬상부(962)는, CCD 화상 센서 또는 CMOS 화상 센서로 구성되어, 광전 변환에 의해 취득되는 광 화상에 따른 전기 신호를 생성하여, 카메라 신호 처리부(963)에 전기 신호를 제공한다.
카메라 신호 처리부(963)는 촬상부(962)로부터 제공되는 전기 신호에 무릎 보정, 감마 보정 및 색 보정 등의 여러 종류의 카메라 신호 처리를 수행한다. 카메라 신호 처리부(963)는 카메라 신호 처리 대상이 된 화상 데이터를 화상 데이터 처리부(964)에 제공한다.
화상 데이터 처리부(964)는 카메라 신호 처리부(963)로부터 제공되는 화상 데이터를 부호화하는 부호화 처리를 수행한다. 화상 데이터 처리부(964)는 부호화 처리를 수행함으로써 생성되는 부호화된 데이터를 외부 I/F부(966) 또는 매체 드라이브(968)에 제공한다. 또한, 화상 데이터 처리부(964)는 외부 I/F부(966) 또는 매체 드라이브(968)로부터 제공되는 부호화된 데이터를 복호하는 복호 처리를 수행한다. 화상 데이터 처리부(964)는 복호 처리를 수행함으로써 생성되는 화상 데이터를 표시부(965)에 제공한다. 또한, 화상 데이터 처리부(964)는, 카메라 신호 처리부(963)로부터 제공되는 화상 데이터를 표시부(965)에 제공하는 처리를 수행하거나, 또는 OSD부(969)로부터 획득되는 표시 데이터를 화상 데이터에 겹치도록 표시부(965)에 제공한다.
OSD부(969)는, 심볼, 텍스트 또는 다이어그램을 포함하는 메뉴 스크린이나, 또는 아이콘 등의 디스플레이 데이터를 생성하여, 생성된 메뉴 스크린 또는 디스플레이 데이터를 화상 데이터 처리부(964)에 출력한다.
외부 I/F부(966)는, 예를 들어, USB I/O 단말 등으로 구성되고, 화상이 인쇄될 때 프린터에 접속된다. 또한, 드라이브가 필요에 따라 외부 I/F부(966)에 접속되고, 자기 디스크 또는 광 디스크 등의 탈착형 매체가 적절히 장착되어, 탈착형 매체로부터 판독되는 컴퓨터 프로그램이 필요에 따라 설치된다. 또한, 외부 I/F부(966)는, LAN 또는 인터넷 등의 특정 네트워크에 접속되고, 네트워크 인터페이스를 포함한다. 제어부(970)는, 예를 들어, 사용자 I/F부(971)을 통해 주어지는 명령어에 따라, 매체 드라이브(968)로부터 부호화된 데이터를 판독하여, 판독된 부호화된 데이터를 외부 I/F부(966)를 거쳐 네트워크를 통해 접속된 다른 장치에 제공할 수 있다. 또한, 제어부(970)는, 외부 I/F부(966)를 거쳐 네트워크를 통해 다른 장치로부터 제공되는 부호화된 데이터 또는 화상 데이터를 획득하여, 획득된 부호화된 데이터 또는 화상 데이터를 화상 데이터 처리부(964)에 제공할 수 있다.
매체 드라이브(968)에 의해 구동되는 기록 매체로서, 예를 들어, 자기 디스크, 자기 광 디스크, 광 디스크 또는 반도체 메모리 등의 임의의 판독가능/기입가능 탈착형 매체가 사용된다. 또한, 기록 매체는 탈착형 매체의 타입과 무관한 테잎 장치, 디스크 또는 메모리 카드일 수 있다. 물론, 기록 매체는 비-접촉 IC(Integrated Circut) 카드 등일 수 있다.
또한, 매체 드라이브(968)는 기록 매체와 통합되어 내부 HDD 또는 SSD(Solid State Drive) 등의 비-휴대형 저장 매체를 구성할 수 있다.
제어부(970)는 CPU로 구성된다. 메모리부(967)는, 제어부(970)에 의해 실행되는 프로그램, 제어부(970)가 처리를 수행할 때 필요한 다양한 종류의 데이터 등을 저장한다. 메모리부(967)에 저장된 프로그램은 촬상 장치(960)가 활성화되는 타이밍 등의 특정 타이밍에 제어부(970)에 의해 판독되어 실행된다. 제어부(970)가, 프로그램을 실행하고, 각 부들을 제어하여, 촬상 장치(960)가 사용자의 조작에 따라 조작된다.
위 구성을 갖는 촬상 장치에서, 화상 데이터 처리부(964)에는 본 출원에 따른 복호 장치(복호 방법)의 기능이 제공된다. 이에 따라, 복호측이 부호화 대상 화상의 색 영역을 정확하게 인식할 수 있게 하는 것이 가능하다. 또한, 부호화 대상 화상의 색 영역을 정확하게 인식하는 것이 가능하다.
<축척형 코딩의 적용들>
(제1 시스템)
다음에, 축척형 코딩에 의해 생성되는 축척형 부호화된 데이터의 구체적인 적용예들이 설명될 것이다. 축척형 코딩은, 예를 들어, 도 38에 도시된 바와 같이, 송신될 데이터의 선택을 위해 사용된다.
도 38에 도시된 데이터 송신 시스템(1000)에서, 전달 서버(1002)는, 축척형 부호화된 데이터 저장부(1001)에 저장된 축척형 부호화된 데이터를 판독하여, 해당 축척형 부호화된 데이터를 네트워크(1003)를 통해 퍼스널 컴퓨터(1004), AV 장치(1005), 태블릿 장치(1006) 및 이동 전화(1007) 등의 단말 장치들에 전달한다.
이 때, 전달 서버(1002)는, 통신 장치들의 능력들 또는 통신 환경에 따라 적절한 고-품질 부호화된 데이터를 선택하여, 선택된 고-품질 부호화된 데이터를 송신한다. 전달 서버(1002)가 불필요하게 고-품질 데이터를 송신하더라도, 단말 장치들이 반드시 고-품질 화상을 취득하는 것은 아니며, 지연 또는 오버플로우가 발생할 수 있다. 또한, 통신 대역이 불필요하게 차지될 수 있고, 단말 장치의 부하가 불필요하게 증가될 수 있다. 반면, 전달 서버(1002)가 불필요하게 저-품질 데이터를 송신하더라도, 단말 장치들이 충분한 품질의 화상을 취득하지 않을 수 있다. 이에 따라, 전달 서버(1002)는, 축척형 부호화된 데이터 저장부(1001)에 저장된 축척형 부호화된 데이터를 단말 장치의 능력 또는 통신 환경에 적절한 품질의 부호화된 데이터로서 판독하여, 판독된 데이터를 송신한다.
예를 들어, 축척형 부호화된 데이터 저장부(1001)는 축척형 코딩에 의해 부호화되는 축척형 부호화된 데이터(BL+EL)(1011)를 저장하는 것으로 가정된다. 축척형 부호화된 데이터(BL+EL)(1011)는 기본 레이어 및 강화 레이어 양자 모두를 포함하는 부호화된 데이터이고, 기본 레이어의 화상 및 강화 레이어의 화상 양자 모두가 축척형 부호화된 데이터(BL+EL)(1011)를 복호함으로써 취득될 수 있다.
전달 서버(1002)는, 데이터가 송신되는 단말 장치의 능력 또는 통신 환경에 따라 적절한 레이어를 선택하여, 선택된 레이어의 데이터를 판독한다. 예를 들어, 처리 능력이 높은 퍼스널 컴퓨터(1004) 또는 태블릿 장치(1006)에 대해서, 전달 서버(1002)는, 축척형 부호화된 데이터 저장부(1001)로부터 고-품질 축척형 부호화된 데이터(BL+EL)(1011)를 판독하여, 이러한 축척형 부호화된 데이터(BL+EL)(1011)를 변경없이 송신한다. 반면, 예를 들어, 처리 능력이 낮은 AV 장치(1005) 또는 이동 전화(1007)에 대해서, 전달 서버(1002)는, 축척형 부호화된 데이터(BL+EL)(1011)로부터 기본 레이어의 데이터를 추출하여, 축척형 부호화된 데이터(BL+EL)(1011)와 동일한 내용이지만 축척형 부호화된 데이터(BL+EL)(1011)보다 품질이 낮은 축척형 부호화된 데이터(BL)(1012)를 송신한다.
상술된 바와 같이, 축척형 부호화된 데이터를 사용하여 데이터량이 용이하게 조절될 수 있고, 이에 따라 지연 또는 오버플로우의 발생을 방지하는 것이 가능하고, 단말 장치 또는 통신 매체의 부하가 불필요하게 증가되는 것을 방지하는 것이 가능하다. 또한, 축척형 부호화된 데이터(BL+EL)(1011)는 레이어들 사이의 중복이 감소되고, 이에 따라 개별 데이터가 각 레이어의 부호화된 데이터로서 사용될 때보다 적게 데이터량을 감소하는 것이 가능하다. 이에 따라, 축척형 부호화된 데이터 저장부(1001)의 메모리 영역을 보다 효율적으로 사용하는 것이 가능하다.
또한, 퍼스널 컴퓨터(1004) 내지 이동 전화(1007) 등의 다양한 장치들이 단말 장치로서 적용될 수 있고, 이에 따라 단말 장치들의 하드웨어 성능은 각 장치에 따라 다르다. 또한, 다양한 적용들이 단말 장치들에 의해 실행될 수 있으므로, 소프트웨어는 다양한 능력들을 갖는다. 또한, 인터넷 또는 LAN(Local Area Network) 등의 유선 네트워크 및 무선 네트워크 중 어느 하나 또는 양자 모두를 포함하는 모든 통신선 네트워크들이 통신 매체로서 역할을 하는 네트워크(1003)로서 적용될 수 있고, 이에 따라 다양한 송신 능력들이 제공된다. 또한, 다른 통신 등에 의한 변경이 이루어질 수 있다.
이러한 관점에서, 전달 서버(1002)는, 데이터 송신을 시작하기 이전에 데이터의 송신 목적지로서 역할을 하는 단말 장치와 통신을 수행하여, 단말 장치의 하드웨어 성능 또는 단말 장치에 의해 실행되는 애플리케이션(소프트웨어)의 성능 등의 단말 장치의 능력과 관련된 정보 및 네트워크(1003)의 가용 대역폭 등의 통신 환경과 관련된 정보를 취득하도록 구성될 수 있다. 그러면, 전달 서버(1002)는 취득된 정보에 기초하여 적절한 레이어를 선택할 수 있다.
또한, 레이어의 추출은 단말 장치에서 수행될 수 있다. 예를 들어, 퍼스널 컴퓨터(1004)가, 송신된 축척형 부호화된 데이터(BL+EL)(1011)를 복호하여, 기본 레이어의 화상 또는 강화 레이어의 화상을 표시할 수 있다. 또한, 예를 들어, 퍼스널 컴퓨터(1004)가, 송신된 축척형 부호화된 데이터(BL+EL)(1011)로부터 기본 레이어의 축척형 부호화된 데이터(BL)(1012)를 추출하고, 기본 레이어의 축척형 부호화된 데이터(BL)(1012)를 저장하고, 기본 레이어의 축척형 부호화된 데이터(BL)(1012)를 다른 장치에 전송하고, 기본 레이어의 축척형 부호화된 데이터(BL)(1012)를 복호하여, 기본 레이어의 화상을 표시할 수 있다.
물론, 축척형 부호화된 데이터 저장부(1001)의 수, 전달 서버(1002)의 수, 네트워크(1003)의 수 및 단말 장치의 수는 임의의 것이다. 위 설명은 전달 서버(1002)가 단말 장치에 데이터를 송신하는 예와 관련하여 이루어졌지만, 적용예가 이러한 예에 제한되는 것은 아니다. 데이터 송신 시스템(1000)은, 축척형 코딩에 의해 생성되는 부호화된 데이터가 단말 장치에 송신될 때, 단말 장치의 능력 또는 통신 환경에 따라 적절한 레이어가 선택되어, 부호화된 데이터가 송신되는 임의의 시스템에 적용될 수 있다.
(제2 시스템)
축척형 코딩은, 예를 들어, 도 39에 도시된 바와 같이, 복수의 통신 매체를 사용하는 송신에 대해 사용된다.
도 39에 도시된 데이터 송신 시스템(1100)에서, 방송국(1101)은 지상파 방송(1111)을 통해 기본 레이어의 축척형 부호화된 데이터(BL)(1121)를 송신한다. 또한, 방송국(1101)은 유선 네트워크 및 무선 네트워크 중 어느 하나 또는 양자 모두를 포함하는 통신 네트워크로 구성되는 임의의 네트워크(1112)를 통해 강화 레이어의 축척형 부호화된 데이터(EL)(1122)를 송신한다(예를 들어, 축척형 부호화된 데이터(EL)(1122)를 패킷화하여, 그 결과인 패킷들을 송신함).
단말 장치(1102)는, 방송국(1101)에 의해 방송되는 지상파 방송(1111)을 수신하는 수신 기능을 갖고, 지상파 방송(1111)을 통해 송신되는 기본 레이어의 축척형 부호화된 데이터(BL)(1121)를 수신한다. 단말 장치(1102)는, 또한 네트워크(1112)를 통해 통신을 수행하는 통신 기능을 갖고, 네트워크(1112)를 통해 송신되는 강화 레이어의 축척형 부호화된 데이터(EL)(1122)를 수신한다.
단말 장치(1102)는, 예를 들어, 사용자의 명령어 등에 따라, 지상파 방송(1111)을 통해 취득되는 기본 레이어의 축척형 부호화된 데이터(BL)(1121)를 복호하여, 기본 레이어의 화상을 취득하고, 취득된 화상을 저장하며, 취득된 화상을 다른 장치에 송신한다.
또한, 단말 장치(1102)는, 예를 들어, 사용자의 명령어 등에 따라, 지상파 방송(1111)을 통해 취득되는 기본 레이어의 축척형 부호화된 데이터(BL)(1121)를 네트워크(1112)를 통해 취득되는 강화 레이어의 축척형 부호화된 데이터(EL)(1122)와 조합하여, 축척형 부호화된 데이터(BL+EL)을 취득하고, 축척형 부호화된 데이터(BL+EL)을 복호하여 강화 레이어의 화상을 취득하고, 취득된 화상을 저장하며, 취득된 화상을 다른 장치에 송신한다.
상술된 바와 같이, 예를 들어, 서로 다른 통신 매체를 통해, 각 레이어들의 축척형 부호화된 데이터를 송신하는 것이 가능하다. 이에 따라, 부하를 분산하는 것이 가능하고, 지연 또는 오버플로우의 발생을 방지하는 것이 가능하다.
또한, 상황에 따라 각 레이어에 대한 송신에 사용되는 통신 매체를 선택하는 것이 가능하다. 예를 들어, 상대적으로 데이터량이 많은 기본 레이어의 축척형 부호화된 데이터(BL)(1121)가 대역폭이 큰 통신 매체를 통해 송신될 수 있고, 상대적으로 데이터량이 적은 강화 레이어의 축척형 부호화된 데이터(EL)(1122)가 대역폭이 적은 통신 매체를 통해 송신될 수 있다. 또한, 예를 들어, 강화 레이어의 축척형 부호화된 데이터(EL)(1122)를 송신하기 위한 통신 매체는 네트워크(1112)의 가용 대역폭에 따라서 네트워크(1112)와 지상파 방송(1111) 사이에 전환될 수 있다. 물론, 동일한 사항이 임의 레이어의 데이터에 적용된다.
상술된 바와 같이 제어가 수행됨에 따라, 데이터 송신에서 부하가 증가하는 것을 더욱 억제하는 것이 가능하다.
물론, 레이어들의 수는 임의이고, 송신에 사용되는 통신 매체의 수 또한 임의이다. 또한, 데이터 전달 목적지로서 역할을 하는 단말 장치(1102)의 수 또한 임의이다. 위 설명은 방송국(1101)으로부터의 방송의 예와 관련하여 설명되었지만, 적용예가 이러한 예에 제한되는 것은 아니다. 데이터 송신 시스템(1100)은, 축척형 코딩에 의해 생성되는 부호화된 데이터가 레이어의 단위로 2 이상 분할되고, 복수의 라인들을 통해 송신되는 임의의 시스템에 적용될 수 있다.
(제3 시스템)
축척형 코딩은, 예를 들어, 도 40에 도시된 바와 같이, 부호화된 데이터의 저장에 사용된다.
도 40에 도시된 촬상 시스템(1200)에서, 촬상 장치(1201)는, 피사체(1211)를 촬영하고, 취득된 화상 데이터에 축척형 코딩을 수행하여, 축척형 부호화된 데이터 저장 장치(1202)에 축척형 부호화된 데이터(BL+EL)(1221)을 제공한다.
축척형 부호화된 데이터 저장 장치(1202)는 촬상 장치(1201)로부터 제공되는 축척형 부호화된 데이터(BL+EL)(1221)를 상황에 따른 품질로 저장한다. 예를 들어, 정상 시간 동안, 축척형 부호화된 데이터 저장 장치(1202)는, 축척형 부호화된 데이터(BL+EL)(1221)로부터 기본 레이어의 데이터를 추출하여, 추출된 데이터를 저품질의 소량의 데이터를 갖는 기본 레이어의 축척형 부호화된 데이터(BL)(1222)로서 저장한다. 반면, 예를 들어, 관측 시간 동안, 축척형 부호화된 데이터 저장 장치(1202)는 고품질의 대량의 데이터를 갖는 축척형 부호화된 데이터(BL+EL)(1221)를 변경없이 저장한다.
따라서, 축척형 부호화된 데이터 저장 장치(1202)는 필요할 때만 화상을 고품질로 저장할 수 있고, 이에 따라 데이터량의 증가를 억제하는 것이 가능하고, 품질 열화에 의해 초래되는 화상의 값에서의 감소를 억제하면서 메모리 영역의 사용 효율을 향상시키는 것이 가능하다.
예를 들어, 촬상 장치(1201)는 감시 카메라이다. 감시 대상(예를 들어, 침입자)이 촬영된 화상에 나타나지 않을 때(정상 시간 동안), 촬영된 화상의 내용은 중요하지 않게 되기 쉽고, 이에 따라 데이터량의 감소가 우선화되어, 화상 데이터(축척형 부호화된 데이터)는 저품질로 저장된다. 반면, 감시 대상이 촬영된 화상에 피사체(1211)로서 나타나면(관측 시간 동안), 촬영된 화상의 내용은 중요하게 되기 쉽고, 이에 따라 화상 품질이 우선화되어, 화상 데이터(축척형 부호화된 데이터)가 고품질로 저장된다.
정상 시간인지 또는 관측 시간인지는, 예를 들어, 축척형 부호화된 데이터 저장 장치(1202)를 통해 화상을 분석함으로써 판정될 수 있다. 또한, 촬상 장치(1201)가 판정을 수행하여 판정 결과를 축척형 부호화된 데이터 저장 장치(1202)에 송신할 수 있다.
또한, 정상 시간인지 또는 관측 시간인지에 관한 판정 기준은 임의이며, 판정 기준으로서 역할을 하는 화상의 내용은 임의이다. 물론, 화상의 내용 이외의 조건이 판정 기준일 수 있다. 예를 들어, 기록된 사운드의 크기 또는 파형에 따라 전환이 수행될 수 있거나, 특정 시간 간격으로 전환이 수행될 수 있거나, 또는 사용자의 명령어 등의 외부 명령어에 따라 전환이 수행될 수 있다.
위 설명은 정상 시간과 관측 시간의 2개 상태들 사이에 전환이 수행되는 예와 관련하여 설명되었지만, 상태의 수는 임의이다. 예를 들어, 정상 시간, 저레벨 관측 시간, 관측 시간, 고레벨 관측 시간 등 3개 이상의 상태들 사이에 전환이 수행될 수 있다. 여기서, 전환될 상태의 상한 수는 축척형 부호화된 데이터의 레이어들의 수에 의존한다.
또한, 촬상 장치(1201)는 상태에 따라 축척형 코딩을 위한 레이어들의 수를 판정할 수 있다. 예를 들어, 정상 시간 동안, 촬상 장치(1201)는, 저품질의 소량의 데이터를 갖는 기본 레이어의 축척형 부호화된 데이터(BL)(1222)를 생성하여, 기본 레이어의 축척형 부호화된 데이터(BL)(1222)를 축척형 부호화된 데이터 저장 장치(1202)에 제공할 수 있다. 또한, 예를 들어, 관측 시간 동안, 촬상 장치(1201)는, 고품질의 대량의 데이터를 갖는 기본 레이어의 축척형 부호화된 데이터(BL+EL)(1221)를 생성하여, 기본 레이어의 축척형 부호화된 데이터(BL+EL)(1221)를 축척형 부호화된 데이터 저장 장치(1202)에 제공할 수 있다.
위 설명은 감시 카메라의 예와 관련하여 행해졌지만, 촬상 시스템(1200)의 목적은 임의이고, 감시 카메라에 제한되는 것은 아니다.
<제10 실시예>
(다른 실시예들)
위 실시예들은 본 기술에 따른 장치, 시스템 등의 예와 관련하여 설명되었지만, 본 기술이 위 예들에 제한되는 것은 아니며, 이러한 장치에 장착되는 임의의 부품으로서 또는, 예를 들어, 시스템 LSI(Large Scale Integration)로서 역할을 하는 프로세서 등, 복수의 프로세서를 사용하는 모듈 등, 복수의 모듈을 사용하는 부 등, 부에 다른 기능이 더욱 추가되는 세트(즉, 장치의 일부 부품들) 등 시스템을 구성하는 장치로서 구현될 수 있다.
(비디오 세트의 예시적인 구성)
본 기술이 세트로서 구현되는 일 예가 도 41을 참조하여 설명될 것이다. 도 41은 본 기술이 적용되는 비디오 세트의 예시적인 개략 구성을 도시한다.
근년에, 전자 장치들의 기능들이 다양하게 되었고, 개발 또는 제조에서 일부 부품들이 판매, 공급 등으로서 구현될 때, 관련 기능들을 갖는 복수의 부품들이 조합되어 복수의 기능들을 갖는 세트로서 구현되는 많은 경우들 뿐만 아니라 단일 기능을 갖는 부품으로서 구현이 수행되는 경우들이 있다.
도 41에 도시된 비디오 세트(1300)는, 화상 부호화 및/또는 화상 복호에 관련되는 기능을 갖는 장치가 그 기능에 관련되는 임의의 다른 기능을 갖는 장치와 조합되는 다기능화된 구성이다.
도 41에 도시된 바와 같이, 비디오 세트(1300)는, 비디오 모듈(1311), 외부 메모리(1312), 전력 관리 모듈(1313) 및 프론트 엔드 모듈(1314) 등의 모듈 그룹, 및 접속부(1321), 카메라(1322) 및 센서(1323) 등의 관련 기능들을 갖는 장치를 포함한다.
모듈은 여러 관련 부분 기능들이 통합되는 다기능을 갖는 부분이다. 구체적인 물리적 구성은 임의이지만, 예를 들어, 개별 기능들을 갖는 복수의 프로세서들, 저항 및 커패시터 등의 전자 회로 소자들, 및 기타 장치들이 배선 기판 상에 배치되고 통합되도록 구성된다. 또한, 다른 모듈 또는 프로세서를 모듈과 조합함으로써 새로운 모듈이 취득될 수 있다.
도 41의 예의 경우, 비디오 모듈(1311)은, 화상 처리에 관련되는 기능들을 갖는 부품들의 조합이며, 애플리케이션 프로세서, 비디오 프로세서, 광대역 모뎀(1333) 및 RF(Radio Frequency) 모듈(1334)를 포함한다.
프로세서는, 특정 기능을 갖는 구성이 SoC(System on a Chip)를 통해 반도체 칩에 통합되는 것이며, 또한, 예를 들어, 시스템 LSI(Large Scale Integration) 등을 말하기도 한다. 특정 기능을 갖는 구성은, 논리 회로(하드웨어 구성), CPU, ROM, RAM 및 CPU, ROM 및 RAM을 사용하여 실행되는 프로그램(소프트웨어 구성)일 수 있고, 하드웨어 구성과 소프트웨어 구성의 조합일 수 있다. 예를 들어, 프로세서는 논리 회로, CPU, ROM, RAM 등을 포함할 수 있고, 일부 기능들은 이러한 논리 회로(하드웨어 성분)을 통해 구현될 수 있으며, 다른 기능들은 CPU에 의해 실행되는 프로그램(소프트웨어 성분)을 통해 구현될 수 있다.
도 41의 애플리케이션 프로세서(1331)는 화상 처리에 관련되는 애플리케이션을 실행하는 프로세서이다. 애플리케이션 프로세서(1331)에 의해 실행되는 애플리케이션은 계산 처리를 수행할 수 있을 뿐만 아니라 특정 기능을 구현하기 위해 필요에 따라 비디오 프로세서(1332) 등 비디오 모듈(1311) 내부 및 외부 부품들을 제어할 수 있다.
비디오 프로세서(1332)는 화상 부호화 및/또는 화상 복호에 관련되는 기능을 갖는 프로세서이다.
광대역 모뎀(1333)은 인터넷 또는 공중 전화 라인 네트워크 등 광대역 라인을 통해 수행되는 유선 및/또는 무선 광대역 통신에 관련되는 처리를 수행하는 프로세서(또는 모듈)이다. 예를 들어, 광대역 모뎀(1333)은 송신될 데이터(디지털 신호)를, 예를 들어, 디지털 변조를 통해, 아날로그 신호로 변환하고, 수신된 아날로그 신호를 복조하여, 아날로그 신호를 데이터(디지털 신호)로 변환한다. 예를 들어, 광대역 모뎀(1333)은, 비디오 프로세서(1332)에 의해 처리되는 화상 데이터, 화상 데이터가 부호화되는 스트림, 애플리케이션 프로그램 또는 설정 데이터 등의 임의의 정보에 대해 디지털 변조 및 복조를 수행할 수 있다.
RF 모듈(1334)은, 안테나를 통해 송수신되는 RF(Radio Frequency) 신호에 대해 주파수 변환 처리, 변조/복조 처리, 증폭 처리, 필터링 처리 등을 수행하는 모듈이다. 예를 들어, RF 모듈(1334)는, 예를 들어, 광대역 모뎀(1333)에 의해 생성되는 기저대역 신호에 대해 주파수 변환을 수행하여, RF 신호를 생성한다. 또한, 예를 들어, RF 모듈(1334)는, 예를 들어, 프론트 엔드 모듈(1314)을 통해 수신되는 RF 신호에 대해 주파수 변환을 수행하여, 기저대역 신호를 생성한다.
또한, 점선(1341), 즉, 애플리케이션 프로세서(1331) 및 비디오 프로세서(1332)는 도 41에 도시된 바와 같이 단일 프로세서로 통합될 수 있다.
외부 메모리(1312)는, 비디오 모듈(1311) 외부에 설치되고, 비디오 모듈(1311)에 의해 사용되는 저장 장치를 갖는 모듈이다. 외부 메모리(1312)의 저장 장치는 임의의 물리적 구성에 의해 구현될 수 있지만, 통상적으로 프레임 단위의 화상 데이터 등의 대용량 데이터를 저장하는데 사용되며, 이에 따라 DRAM(Dynamic Random Access Memory) 등의 상대적으로 칩 용량이 큰 반도체 메모리를 사용하여 외부 메모리(1312)의 저장 장치를 구현하는 것이 바람직하다.
전력 관리 모듈(1313)은 비디오 모듈(1311)(비디오 모듈(1311) 내의 개별 부품들)로의 전력 공급을 관리하고 제어한다.
프론트 엔드 모듈(1314)은 RF 모듈(1334)에 프론트 엔드 기능(안테나 측에서 송수신단의 회로)을 제공하는 모듈이다. 도 41에 도시된 바와 같이, 프론트 엔드 모듈(1314)은, 예를 들어, 안테나부(1351), 필터(1352) 및 증폭부(1353)를 포함한다.
안테나부(1351)는 무선 신호를 송수신하는 안테나 및 주변 구성을 포함한다. 안테나부(1351)는, 증폭부(1353)로부터 제공되는 신호를 무선 신호로서 송신하고, 수신되는 무선 신호를 필터(1352)에 전기 신호(RF 신호)로서 제공한다. 필터(1352)는, 예를 들어, 안테나부(1351)를 통해 수신되는 RF 신호에 대해 필터링 처리를 수행하여, 처리된 RF 신호를 RF 모듈(1334)에 제공한다. 증폭부(1353)는, RF 모듈(1334)로부터 제공되는 RF 신호를 증폭하여, 증폭된 RF 신호를 안테나부(1351)에 제공한다.
접속부(1321)는 외부와의 접속에 관련되는 기능을 갖는 모듈이다. 접속부(1321)의 물리적 구성은 임의이다. 예를 들어, 접속부(1321)는, 광대역 모뎀(1333), 외부 I/O 단말 등에 의해 지원되는 통신 표준 이외의 통신 기능을 갖는 구성을 포함한다.
예를 들어, 접속부(1321)는, 블루투스(등록 상표), IEEE 802.11(예를 들어, Wi-Fi(Wireless Fidelity)(등록 상표)), NFC(Near Field Communication), IrDA(InfraRed Data Association) 등의 무선 통신 표준에 기초하는 통신 기능을 갖는 모듈, 이러한 표준을 만족하는 신호를 송수신하는 안테나 등을 포함할 수 있다. 또한, 예를 들어, 접속부(1321)는, USB(Universal Serial Bus) 또는 HDMI(High-Definition Multimedia Interface)(등록 상표) 등의 유선 통신 표준에 기초하는 통신 기능을 갖는 모듈 또는 이러한 표준을 만족하는 단말을 포함할 수 있다. 또한, 예를 들어, 접속부(1321)는 아날로그 I/O 단말 등의 임의의 다른 데이터(신호) 송신 기능 등을 포함할 수 있다.
또한, 접속부(1321)는 데이터(신호)의 송신 목적지의 장치를 포함할 수 있다. 예를 들어, 접속부(1321)는, 자기 디스크, 광 디스크, 자기 광 디스크 또는 반도체 메모리 등의 기록 매체로부터 데이터를 판독/기록 매체에 데이터를 기입하는 드라이브(하드 디스크, SSD(Solid State Drive), NAS(Network Attached Storage) 등 뿐만 아니라 탈착형 매체의 드라이브를 포함함)를 포함할 수 있다. 또한, 접속부(1321)는 화상 또는 사운드를 출력하는 출력 장치(모니터, 스피커 등)를 포함할 수 있다.
카메라(1322)는 피사체를 촬영하여 피사체의 화상 데이터를 취득하는 기능을 갖는 모듈이다. 예를 들어, 카메라(1322)의 촬영에 의해 취득되는 화상 데이터는 비디오 프로세서(1332)에 제공되어 비디오 프로세서(1332)에 의해 부호화된다.
센서(1323)는, 사운드 센서, 초음파 센서, 광 센서, 조명 센서, 적외선 센서, 화상 센서, 회전 센서, 각 센서, 각 속도 센서, 속도 센서, 가속도 센서, 경사도 센서, 자기 식별 센서, 충격 센서 또는 온도 센서 등의 임의의 센서 기능을 갖는 모듈이다. 예를 들어, 센서(1323)에 의해 검출되는 데이터는, 애플리케이션 프로세서(1331)에 제공되어, 애플리케이션 등에 의해 사용된다.
위에 모듈로서 설명된 구성은 프로세서로서 구현될 수 있고, 프로세서로서 설명된 구성은 모듈로서 구현될 수 있다.
위 구성을 갖는 비디오 세트(1300)에서, 본 기술은 이후 설명될 비디오 프로세서(1332)에 적용될 수 있다. 이에 따라, 비디오 세트(1300)는 본 기술이 적용되는 세트로서 구현될 수 있다.
(비디오 프로세서의 예시적인 구성)
도 42는 본 기술이 적용되는 비디오 프로세서(1332)(도 41)의 예시적인 개략 구성을 도시한다.
도 42의 예의 경우, 비디오 프로세서(1332)는, 비디오 신호 및 오디오 신호의 입력을 수신하여, 특정 방식에 따라 비디오 신호 및 오디오 신호를 부호화하는 기능, 및 부호화된 비디오 데이터 및 오디오 데이터를 복호하여, 비디오 신호 및 오디오 신호를 재생 및 출력하는 기능을 갖는다.
비디오 프로세서(1332)는, 도 42에 도시된 바와 같이, 비디오 입력 처리부(1401), 제1 화상 확대/축소부(1402), 제2 화상 확대/축소부(1403), 비디오 출력 처리부(1404), 프레임 메모리(1405) 및 메모리 제어부(1406)를 포함한다. 비디오 프로세서(1332)는 또한 부호화/복호 엔진(1407), 비디오 ES(Elementary Stream) 버퍼들(1408A 및 1408B) 및 오디오 ES 버퍼들(1409A 및 1409B)을 포함한다. 비디오 프로세서(1332)는 또한 오디오 인코더(1410), 오디오 디코더(1411), 다중화부(MUX(multiplexer))(1412), 역다중화부(DMUX(demultiplexer))(1413) 및 스트림 버퍼(1414)를 포함한다.
예를 들어, 비디오 입력 처리부(1401)는, 접속부(1321)(도 41) 등으로부터 입력되는 비디오 신호를 취득하여, 비디오 신호를 디지털 화상 데이터로 변환한다. 제1 화상 확대/축소부(1402)는, 예를 들어, 화상 데이터에 대해 포맷 변환 처리 및 화상 확대/축소 처리를 수행한다. 제2 화상 확대/축소부(1403)는, 비디오 출력 처리부(1404)를 통해 화상 데이터가 출력되는 목적지의 포맷에 따라 화상 데이터에 대해 화상 확대/축소 처리를 수행하거나, 또는 화상 데이터에 대해 제1 화상 확대/축소부(1402)의 것들과 동일한 포맷 변환 처리 및 화상 확대/축소 처리를 수행한다. 비디오 출력 처리부(1404)는, 화상 데이터에 대해 포맷 변환 및 아날로그 신호로의 변환을 수행하여, 재생된 비디오 신호를, 예를 들어, 접속부(1321)(도 41) 등에 출력한다.
프레임 메모리(1405)는, 비디오 입력 처리부(1401), 제1 화상 확대/축소부(1402), 제2 화상 확대/축소부(1403), 비디오 출력 처리부(1404) 및 부호화/복호 엔진(1407)에 의해 공유되는 화상 데이터 메모리이다. 프레임 메모리(1405)는, 예를 들어, DRAM 등의 반도체 메모리로서 구현된다.
메모리 제어부(1406)는, 부호화/복호 엔진(1407)으로부터 동기 신호를 수신하고, 액세스 관리 테이블(1406A)에 기입된 프레임 메모리(1405)에 대한 액세스 스케줄에 따라 프레임 메모리(1405)에 대한 기입/판독 액세스를 제어한다. 액세스 관리 테이블(1406A)은, 부호화/복호 엔진(1407), 제1 화상 확대/축소부(1402), 제2 화상 확대/축소부(1403) 등에 의해 실행되는 처리에 따라 메모리 제어부(1406)를 통해 업데이트된다.
부호화/복호 엔진(1407)은, 화상 데이터를 부호화하는 부호화 처리 및 화상 데이터를 부호화함으로써 취득되는 데이터인 비디오 스트림을 복호하는 복호 처리를 수행한다. 예를 들어, 부호화/복호 엔진(1407)은, 프레임 메모리(1405)로부터 판독되는 화상 데이터를 부호화하여, 부호화된 화상 데이터를 비디오 ES 버퍼(1408A)에 비디오 스트림으로서 순차적으로 기입한다. 또한, 예를 들어, 부호화/복호 엔진(1407)은, 비디오 ES 버퍼(1408B)로부터 비디오 스트림을 순차적으로 판독하고, 비디오 스트림을 순차적으로 복호하여, 복호된 화상 데이터를 프레임 메모리(1405)에 순차적으로 기입한다. 부호화/복호 엔진(1407)은 부호화 또는 복호 시에 프레임 메모리(1405)를 작업 영역으로서 사용한다. 또한, 부호화/복호 엔진(1407)은, 예를 들어, 각 매크로 블럭의 처리가 시작하는 타이밍에, 동기 신호를 메모리 제어부(1406)에 출력한다.
비디오 ES 버퍼(1408A)는, 부호화/복호 엔진(1407)에 의해 생성되는 비디오 스트림을 버퍼링하여, 비디오 스트림을 다중화부(MUX)(1412)에 제공한다. 비디오 ES 버퍼(1408B)는, 역다중화부(DMUX)(1413)로부터 제공되는 비디오 스트림을 버퍼링하여, 비디오 스트림을 부호화/복호 엔진(1407)에 제공한다.
오디오 ES 버퍼(1409A)는, 오디오 인코더(1410)에 의해 생성되는 오디오 스트림을 버퍼링하여, 오디오 스트림을 다중화부(MUX)(1412)에 제공한다. 오디오 ES 버퍼(1409B)는 역다중화부(DMUX)(1413)로부터 제공되는 오디오 스트림을 버퍼링하여, 오디오 스트림을 오디오 디코더(1411)에 제공한다.
예를 들어, 오디오 인코더(1410)는, 예를 들어, 접속부(1321)(도 41) 등으로부터 입력되는 오디오 신호를 디지털 신호로 변환하고, MPEG 오디오 방식 또는 AC3(AudioCode number 3) 방식 등의 특정 방식에 따라 디지털 신호를 부호화한다. 오디오 인코더(1410)는 오디오 신호를 부호화함으로써 취득되는 데이터인 오디오 스트림을 오디오 ES 버퍼(1409A)에 순차적으로 기입한다. 오디오 디코더(1411)는, 오디오 ES 버퍼(1409B)로부터 제공되는 오디오 스트림을 디코드하고, 예를 들어, 아날로그 신호로의 변환을 수행하여, 재생된 오디오 신호를, 예를 들어, 접속부(1321)(도 41) 등에 제공한다.
다중화부(MUX)(1412)는 비디오 스트림 및 오디오 스트림의 다중화를 수행한다. 다중화 방법(즉, 다중화에 의해 생성되는 비트스트림의 포맷)은 임의이다. 또한, 다중화시에, 다중화부(MUX)(1412)는 특정 헤더 정보 등을 비트스트림에 추가할 수 있다. 달리 말하면, 다중화부(MUX)(1412)는 다중화에 의해 스트림 포맷을 변환할 수 있다. 예를 들어, 다중화부(MUX)(1412)는, 비디오 스트림 및 오디오 스트림을 다중화하여, 전송 포맷의 비트스트림인 전송 스트림으로 변환되게 한다. 또한, 예를 들어, 다중화부(MUX)(1412)는, 비디오 스트림 및 오디오 스트림을 다중화하여, 기록 파일 포맷의 데이터(파일 데이터)로 변환되게 한다.
역다중화부(DMUX)(1413)는, 비디오 스트림 및 오디오 스트림을 다중화함으로써 취득된 비트스트림을, 다중화부(MUX)(1412)에 의해 수행되는 다중화에 대응하는 방법에 의해 역다중화한다. 달리 말하면, 역다중화부(DMUX)(1413)는 스트림 버퍼(1414)로부터 판독되는 비트스트림으로부터 비디오 스트림 및 오디오 스트림을 추출한다(비디오 스트림 및 오디오 스트림을 분리한다). 달리 말하면, 역다중화부(DMUX)(1413)는 역다중화를 통해 스트림의 포맷의 변환(다중화부(MUX)(1412)에 의해 수행되는 변환의 역변환)을 수행할 수 있다. 예를 들어, 역다중화부(DMUX)(1413)는, 예를 들어, 스트림 버퍼(1414)를 통해 접속부(1321) 또는 광대역 모뎀(1333)(양자 모두 도 41)로부터 제공되는 전송 스트림을 취득하여, 전송 스트림을 역다중화를 통해 비디오 스트림 및 오디오 스트림으로 변환할 수 있다. 또한, 예를 들어, 역다중화부(DMUX)(1413)는, 예를 들어, 스트림 버퍼(1414)를 통해 접속부(1321)에 의해 다양한 종류의 기록 매체(도 41)로부터 판독되는 파일 데이터를 취득하여, 파일 데이터를 역다중화에 의해 비디오 스트림 및 오디오 스트림으로 변환할 수 있다.
스트림 버퍼(1414)는 비트스트림을 버퍼링한다. 예를 들어, 스트림 버퍼(1414)는, 다중화부(MUX)(1412)로부터 제공되는 전송 스트림을 버퍼링하여, 전송 스트림을, 예를 들어, 특정 타이밍에 또는 외부 요청 등에 기초하여 접속부(1321) 또는 광대역 모뎀(1333)(양자 모두 도 41)에 제공한다.
또한, 예를 들어, 스트림 버퍼(1414)는, 다중화부(MUX)(1412)로부터 제공되는 파일 데이터를 버퍼링하여, 파일 데이터를, 예를 들어, 특정 타이밍에 또는 외부 요청 등에 기초하여 접속부(1321)(도 41) 등에 제공하여, 파일 데이터가 다양한 종류의 기록 매체에 기록되게 한다.
또한, 스트림 버퍼(1414)는, 예를 들어, 접속부(1321) 또는 광대역 모뎀(1333)(양자 모두 41)를 통해 취득되는 전송 스트림을 버퍼링하여, 특정 타이밍에 또는 외부 요청 등에 기초하여 전송 스트림을 역다중화부(DMUX)(1413)에 제공한다.
또한, 스트림 버퍼(1414)는, 다양한 종류의 기록 매체로부터 판독되는 파일 데이터를, 예를 들어, 접속부(1321)(도 41) 등에 버퍼링하여, 특정 타이밍에 또는 외부 요청 등에 기초하여 파일 데이터를 역다중화부(DMUX)(1413)에 제공한다.
다음에, 위 구성을 갖는 비디오 프로세서(1332)의 동작이 설명될 것이다. 예를 들어, 접속부(1321)(도 41) 등으로부터 비디오 프로세서(1332)에 입력되는 비디오 신호는, 비디오 입력 처리부(1401)에서 4 : 2 : 2 Y/Cb/Cr 방식 등의 특정 방식에 따라 디지털 화상 데이터로 변환되어, 프레임 메모리(1405)에 순차적으로 기입된다. 디지털 화상 데이터는, 제1 화상 확대/축소부(1402) 또는 제2 화상 확대/축소부(1403)에 판독되고, 4 : 2 : 0 Y/Cb/Cr 방식 등의 특정 방식으로 포맷 변환을 수행하는 포맷 변환 처리되고 확대/축소 처리되어, 프레임 메모리(1405)에 다시 기입된다. 화상 데이터는, 부호화/복호 엔진(1407)에 의해 부호화되어, 비디오 ES 버퍼(1408A)에 비디오 스트림으로서 기입된다.
또한, 접속부(1321)(도 41) 등으로부터 비디오 프로세서(1332)에 입력되는 오디오 신호는, 오디오 인코더(1410)에 의해 부호화되어, 오디오 ES 버퍼(1409A)에 오디오 스트림으로서 기입된다.
비디오 ES 버퍼(1408A)의 비디오 스트림 및 오디오 ES 버퍼(1409A)의 오디오 스트림은, 다중화부(MUX)(1412)에 판독되고 이에 의해 다중화되어, 전송 스트림, 파일 데이터 등으로 변환된다. 다중화부(MUX)(1412)에 의해 생성되는 전송 스트림은, 스트림 버퍼(1414)에 버퍼링되어, 예를 들어, 접속부(1321) 또는 광대역 모뎀(1333)(양자 모두 도 41)을 통해 외부 네트워크에 출력된다. 또한, 다중화부(MUX)(1412)에 의해 생성되는 파일 데이터는, 스트림 버퍼(1414)에 버퍼링되어, 예를 들어, 접속부(1321)(도 41) 등에 출력되며, 다양한 종류의 기록 매체에 기록된다.
또한, 예를 들어, 접속부(1321) 또는 광대역 모뎀(1333)(양자 모두 도 41)을 통해 외부 네트워크로부터 비디오 프로세서(1332)에 입력되는 전송 스트림은, 스트림 버퍼(1414)에 버퍼링되어, 역다중화부(DMUX)(1413)에 의해 역다중화된다. 또한, 예를 들어, 접속부(1321)(도 41) 등에서 다양한 종류의 기록 매체로부터 판독되어 비디오 프로세서(1332)에 입력되는 파일 데이터는, 스트림 버퍼(1414)에 버퍼링되어, 역다중화부(DMUX)(1413)에 의해 다중화된다. 달리 말하면, 비디오 프로세서(1332)에 입력되는 전송 스트림 또는 파일 데이터는 역다중화부(DMUX)(1413)를 통해 비디오 스트림 및 오디오 스트림으로 역다중화된다.
오디오 스트림은 오디오 ES 버퍼(1409B)를 통해 오디오 디코더(1411)에 제공되어 복호되어, 오디오 신호가 재생된다. 또한, 비디오 스트림은, 비디오 ES 버퍼(1408B)에 기입되어, 순차적으로 부호화/복호 엔진(1407)에 판독되어 이에 의해 디코드되어, 프레임 메모리(1405)에 기입된다. 복호된 화상 데이터는, 제2 화상 확대/축소부(1403)에 의해 수행되는 확대/축소 처리되어, 프레임 메모리(1405)에 기입된다. 그리고, 복호된 화상 데이터는, 비디오 출력 처리부(1404)에 판독되고, 4 : 2 :2 Y/Cb/Cr 방식 등의 특정 방식으로 포맷 변환을 수행하는 포맷 변환 처리되어, 아날로그 신호로 변환되어, 비디오 신호가 재생된다.
본 기술이 위 구성을 갖는 비디오 프로세서(1332)에 적용될 때, 본 기술의 위 실시예들이 부호화/복호 엔진(1407)에 적용되는 것이 바람직하다. 달리 말하면, 예를 들어, 부호화/복호 엔진(1407)이 바람직하게는 제1 실시예에 따른 부호화 장치 또는 복호 장치의 기능을 갖는다. 따라서, 비디오 프로세서(1332)는 도 1 내지 12를 참조하여 위에 설명된 효과들과 동일한 효과들을 얻을 수 있다.
또한, 부호화/복호 엔진(1407)에서, 본 기술(즉, 위 실시예에 따른 화상 부호화 장치들 또는 화상 복호 장치들의 기능들)은 논리 회로 등의 하드웨어 또는 내장된 프로그램 등의 소프트웨어 중 어느 하나 또는 양자 모두에 의해 구현될 수 있다.
(비디오 프로세서의 다른 예시적인 구성)
도 43은 본 기술이 적용되는 비디오 프로세서(1332)(도 41)의 다른 예시적인 개략 구성을 도시한다. 도 43의 예의 경우, 비디오 프로세서(1332)는 특정 방식에 따라 비디오 데이터를 부호화하고 복호하는 기능을 갖는다.
보다 구체적으로, 비디오 프로세서(1332)는, 도 43에 도시된 바와 같이, 제어부(1511), 표시 인터페이스(1512), 표시 엔진(1513), 화상 처리 엔진(1514) 및 내부 메모리(1515)를 포함한다. 비디오 프로세서(1332)는 또한 코덱 엔진(1516), 메모리 인터페이스(1517), 다중화/역다중화부(MUX DMUX)(1518), 네트워크 인터페이스(1519) 및 비디오 인터페이스(1520)를 포함한다.
제어부(1511)는 표시 인터페이스(1512), 표시 엔진(1513), 화상 처리 엔진(1514) 및 코덱 엔진(1516) 등 비디오 프로세서(1332)의 각 처리부의 동작을 제어한다.
제어부(1511)는, 도 43에 도시된 바와 같이, 예를 들어, 메인 CPU(1531), 서브 CPU(1532) 및 시스템 제어기(1533)를 포함한다. 메인 CPU(1531)는, 예를 들어, 비디오 프로세서(1332)의 각 처리부의 동작을 제어하는 프로그램을 실행한다. 메인 CPU(1531)는, 예를 들어, 프로그램에 따라 제어 신호를 생성하여, 제어 신호를 각 처리부에 제공한다(즉, 각 처리부의 동작을 제어한다). 서브 CPU(1532)는 메인 CPU(1531)의 보조 역할을 한다. 예를 들어, 서브 CPU(1532)는 메인 CPU(1531)에 의해 실행되는 프로그램의 차일드 프로세스(child process) 또는 서브루틴을 실행한다. 시스템 제어기(1533)는 메인 CPU(1531) 및 서브 CPU(1532)의 동작들을 제어한다, 예를 들어, 메인 CPU(1531) 및 서브 CPU(1532)에 의해 실행되는 프로그램을 지정한다.
표시 인터페이스(1512)는 화상 데이터를 제어부(1511)의 제어하에, 예를 들어, 접속부(1321)(도 41) 등에 출력한다. 예를 들어, 표시 인터페이스(1512)는, 디지털 데이터의 화상 데이터를 아날로그 신호로 변환하여, 아날로그 신호를, 예를 들어, 접속부(1321)(도 41)의 모니터 장치에 재생된 비디오 신호로서 출력하거나, 또는 디지털 데이터의 화상 데이터를, 예를 들어, 접속부(1321)(도 41)의 모니터 장치에 출력한다.
표시 엔진(1513)은 제어부(1511)의 제어하에 화상 데이터에 대해 포맷 변환 처리, 사이즈 변환 처리 및 색 영역 변환 처리 등의 다양한 종류의 변환 처리들을 수행하여, 예를 들어, 화상을 표시하는 모니터 장치의 하드웨어 사양을 따르게 한다.
화상 처리 엔진(1514)은 제어부(1511)의 제어하에 화상 데이터에 대해 화상 품질을 향상시키는 필터링 처리 등의 특정 화상 처리를 수행한다.
내부 메모리(1515)는, 비디오 프로세서(1332)에 설치되는 메모리로, 표시 엔진(1513), 화상 처리 엔진(1514) 및 코덱 엔진(1516)에 의해 공유된다. 내부 메모리(1515)는, 예를 들어, 표시 엔진(1513), 화상 처리 엔진(1514) 및 코덱 엔진(1516) 사이에 수행되는 데이터 전송에 사용된다. 예를 들어, 내부 메모리(1515)는, 표시 엔진(1513), 화상 처리 엔진(1514) 또는 코덱 엔진(1516)으로부터 제공되는 데이터를 저장하여, 필요에 따라(예를 들어, 요청에 따라) 표시 엔진(1513), 화상 처리 엔진(1514) 또는 코덱 엔진(1516)에 데이터를 제공한다. 내부 메모리(1515)는 임의의 저장 장치로 구현될 수 있지만, 내부 메모리(1515)가 대부분 블럭 단위들의 화상 데이터 또는 파라미터들 등의 소용량 데이터의 저장에 사용되기 때문에, SRAM(Static Random Access Memory) 등의 상대적으로 소용량이고(예를 들어, 외부 메모리(1312)에 비하여) 응답 속도가 빠른 반도체 메모리를 사용하여 내부 메모리(1515)를 구현하는 것이 바람직하다.
코덱 엔진(1516)은 화상 데이터의 부호화 및 복호에 관련되는 처리를 수행한다. 코덱 엔진(1516)에 의해 지원되는 부호화/복호 방식은 임의이고, 하나 이상의 방식들이 코덱 엔진(1516)에 의해 지원될 수 있다. 예를 들어, 코덱 엔진(1516)은, 복수의 부호화/복호 방식들을 지원하는 코덱 기능을 가질 수 있고, 이들 방식 중에서 선택되는 방식을 사용하여 화상 데이터의 부호화 또는 부호화된 데이터의 복호를 수행할 수 있다.
도 43에 도시된 예에서, 코덱 엔진(1516)은, 예를 들어, MPEG-2 비디오(1541), AVC/H.264(1542), HEVC/H.265(1543), HEVC/H.265(축척형)(1544), HEVC/H.265(멀티-뷰)(1545) 및 MPEG-DASH(1551)을 코덱에 관련되는 처리의 기능 블럭들로서 포함한다.
MPEG-2 비디오(1541)는 MPEG-2 방식에 따라 화상 데이터를 부호화하거나 또는 복호하는 기능 블럭이다. AVC/H.264(1542)는 AVC 방식에 따라 화상 데이터를 부호화하거나 또는 복호하는 기능 블럭이다. HEVC/H.265(1543)는 HEVC 방식에 따라 화상 데이터를 부호화하거나 또는 복호하는 기능 블럭이다. HEVC/H.265(축척형)(1544)는 HEVC 방식에 따라 화상 데이터에 대해 축척형 부호화 또는 축척형 복호를 수행하는 기능 블럭이다. HEVC/H.265(멀티-뷰)(1545)는 HEVC 방식에 따라 화상 데이터에 대해 멀티-뷰 부호화 또는 멀티-뷰 복호를 수행하는 기능 블럭이다.
MPEG-DASH(1551)는 MPEG-DASH(MPEG-Dynamic Adaptive Streaming over HTTP)에 따라 화상 데이터를 송신 및 수신하는 기능 블럭이다. MPEG-DASH는, HTTP(HyperText Transfer Protocol)을 사용하여 비디오를 스트리밍하는 기술로, 세그먼트의 단위로 이미 마련된 해상도 등이 다른 복수개의 부호화된 데이터 중에서 적절한 것을 선택하여 선택된 것을 송신하는 특징을 갖는다. MPEG-DASH(1551)는, 표준에 따르는 스트림의 생성, 스트림의 송신 제어 등을 수행하고, 화상 데이터의 부호화 및 복호를 위해 MPEG-2 비디오(1541) 또는 HEVC/H.265(멀티-뷰)(1545)를 사용한다.
메모리 인터페이스(1517)는 외부 메모리(1312)에 대한 인터페이스이다. 화상 처리 엔진(1514) 또는 코덱 엔진(1516)으로부터 제공되는 데이터는 메모리 인터페이스(1517)를 통해 외부 메모리(1312)에 제공된다. 또한, 외부 메모리(1312)로부터 판독되는 데이터는 메모리 인터페이스(1517)를 통해 비디오 프로세서(1332)(화상 처리 엔진(1514) 또는 코덱 엔진(1516))에 제공된다.
다중화/역다중화부(MUX DMUX)(1518)는 부호화된 데이터의 비트 스트림, 화상 데이터 및 비디오 신호 등의 화상에 관련되는 다양한 종류의 데이터의 다중화 및 역다중화를 수행한다. 다중화/역다중화 방법은 임의이다. 예를 들어, 다중화시에, 다중화/역다중화부(MUX DMUX)(1518)는, 복수의 데이터를 하나로 조합할 수 있을 뿐만 아니라 데이터에 특정 헤더 정보 등을 추가할 수 있다. 또한, 역다중화시에, 다중화/역다중화부(MUX DMUX)(1518)는, 하나의 데이터를 복수의 데이터로 분할할 수 있을 뿐만 아니라 각 분할된 데이터에 특정 헤더 정보 등을 추가할 수 있다. 달리 말하면, 다중화/역다중화부(MUX DMUX)(1518)는 다중화 및 역다중화를 통해 데이터 포맷을 변환할 수 있다. 예를 들어, 다중화/역다중화부(MUX DMUX)(1518)는 변환될 비트스트림을 전송 포맷의 비트스트림으로서 역할하는 전송 스트림 또는 기록 파일 포맷의 데이터(파일 데이터)로 다중화할 수 있다. 물론, 역다중화를 통해 역 변환도 수행될 수 있다.
네트워크 인터페이스(1519)는, 예를 들어, 광대역 모뎀(1333) 또는 접속부(1321)(양자 모두 도 41)에 대한 인터페이스이다. 비디오 인터페이스(1520)는, 예를 들어, 접속부(1321) 또는 카메라(1322)(양자 모두 도 41)에 대한 인터페이스이다.
다음에, 비디오 프로세서(1332)의 예시적인 동작이 설명될 것이다. 예를 들어, 전송 스트림이, 예를 들어, 접속부(1321) 또는 광대역 모뎀(1333)(양자 모두 도 41)을 통해 외부 네트워크로부터 수신될 때, 전송 스트림은, 네트워크 인터페이스(1519)를 통해 다중화/역다중화부(MUX DMUX)(1518)에 제공되어, 역다중화되고, 그리고 코덱 엔진(1516)에 의해 복호된다. 코덱 엔진(1516)의 복호에 의해 취득되는 화상 데이터는, 예를 들어, 화상 처리 엔진(1514)에 의해 특정 화상 처리가 수행되고, 표시 엔진(1513)에 의해 특정 변환 처리가 수행되어, 예를 들어, 표시 인터페이스(1512)를 통해 접속부(1321)(도 41) 등에 제공되어, 화상이 모니터에 표시된다. 또한, 예를 들어, 코덱 엔진(1516)의 복호에 의해 취득되는 화상 데이터는, 코덱 엔진(1516)에 의해 다시 부호화되고, 다중화/역다중화부(MUX DMUX)(1518)에 의해 다중화되어 파일 데이터로 변환되어, 비디오 인터페이스(1520)를 통해, 예를 들어, 접속부(1321)(도 41) 등에 출력되어, 다양한 종류의 기록 매체에 기록된다.
또한, 예를 들어, 접속부(1321)(도 41) 등을 통해 기록 매체(도시되지 않음)로부터 판독되는 화상 데이터를 부호화함으로써 취득되는 부호화된 데이터의 파일 데이터는, 비디오 인터페이스(1520)를 통해 다중화/역다중화부(MUX DMUX)(1518)에 제공되어, 역다중화되고, 코덱 엔진(1516)에 의해 복호된다. 코덱 엔진(1516)의 복호에 의해 취득되는 화상 데이터는, 화상 처리 엔진(1514)에 의해 특정 화상 처리가 수행되고, 표시 엔진(1513)에 의해 특정 변환이 수행되어, 표시 인터페이스(1512)를 통해, 예를 들어, 접속부(1321)(도 41) 등에 제공되어, 화상이 모니터에 표시된다. 또한, 예를 들어, 코덱 엔진(1516)의 복호에 의해 취득되는 화상 데이터는, 코덱 엔진(1516)에 의해 다시 부호화되고, 다중화/역다중화부(MUX DMUX)(1518)에 의해 다중화되어 전송 스트림으로 변환되어, 네트워크 인터페이스(1519)를 통해, 예를 들어, 접속부(1321) 또는 광대역 모뎀(1333)(양자 모두 도 41)에 제공되어, 다른 장치(도시되지 않음)에 송신된다.
또한, 비디오 프로세서(1332)의 처리부들 사이의 화상 데이터 또는 다른 데이터의 전송이, 예를 들어, 내부 메모리(1515) 또는 외부 메모리(1312)를 사용하여 수행된다. 또한, 전력 관리 모듈(1313)은, 예를 들어, 제어부(1511)로의 전력 공급을 제어한다.
본 기술이 위 구성을 갖는 비디오 프로세서(1332)에 적용될 때, 본 기술의 위 실시예들을 코덱 엔진(1516)에 적용하는 것이 바람직하다. 달리 말하면, 예를 들어, 코덱 엔진(1516)이 제1 실시예에 따른 부호화 장치 및 복호 장치를 구현하는 기능 블럭을 갖는 것이 바람직하다. 또한, 예를 들어, 코덱 엔진(1516)이 상술된 바와 같이 동작함에 따라, 비디오 프로세서(1332)는 도 1 내지 12를 참조하여 위에 설명된 효과들과 동일한 효과들을 가질 수 있다.
또한, 코덱 엔진(1516)에서, 본 기술(즉, 위 실시예에 따른 화상 부호화 장치들 또는 화상 복호 장치들의 기능들)은 논리 회로 등의 하드웨어 또는 내장된 프로그램 등의 소프트웨어 중 어느 하나 또는 양자 모두에 의해 구현될 수 있다.
비디오 프로세서(1332)의 2가지 예시적인 구성들이 위에 설명되었지만, 비디오 프로세서(1332)의 구성은 임의이고, 위 2가지 예시적인 구성 이외의 임의의 구성을 가질 수 있다. 또한, 비디오 프로세서(1332)는 단일 반도체 칩으로 구성될 수 있거나 또는 복수의 반도체 칩들로 구성될 수 있다. 예를 들어, 비디오 프로세서(1332)는 복수의 반도체들이 적층되는 3차원으로 적층된 LSI로 구성될 수 있다. 또한, 비디오 프로세서(1332)는 복수의 LSI들에 의해 구현될 수 있다.
(장치들에 대한 적용예들)
비디오 세트(1300)는 화상 데이터를 처리하는 다양한 종류의 장치들에 통합될 수 있다. 예를 들어, 비디오 세트(1300)는, 텔레비전 장치(900)(도 34), 이동 전화(920)(도 35), 기록/재생 장치(940)(도 36), 촬상 장치(960)(도 37) 등에 통합될 수 있다. 비디오 세트(1300)가 통합됨에 따라, 장치들은 도 1 내지 12를 참조하여 위에 설명된 효과들과 동일한 효과들을 가질 수 있다.
또한, 비디오 세트(1300)는, 퍼스널 컴퓨터(1004), AV 장치(1005), 태블릿 장치(1006) 등의 단말 장치, 또는 도 38의 데이터 송신 시스템(1000)의 이동 전화(1007), 도 39의 데이터 송신 시스템(1100)의 방송국(1101) 또는 단말 장치(1102), 또는 도 40의 촬상 시스템(1200)의 촬상 장치(1201) 또는 축척형 부호화된 데이터 저장 장치(1202)에 통합될 수도 있다. 비디오 세트(1300)가 통합됨에 따라, 장치들은 도 1 내지 12를 참조하여 위에 설명된 효과들과 동일한 효과들을 가질 수 있다.
또한, 비디오 세트(1300)의 각 부품은, 부품이 비디오 프로세서(1332)를 포함할 때, 본 기술이 적용되는 부품으로서 구현될 수 있다. 예를 들어, 비디오 프로세서(1332)만이 본 기술이 적용되는 비디오 프로세서로서 구현될 수 있다. 또한, 예를 들어, 위에 설명된 바와 같이 점선(1341)으로 표시되는 프로세서들, 비디오 모듈(1311) 등이, 예를 들어, 본 기술이 적용되는 프로세서 또는 모듈로서 구현될 수 있다. 또한, 예를 들어, 비디오 모듈(1311), 외부 메모리(1312), 전력 관리 모듈(1313) 및 프론트 엔드 모듈(1314)의 조합이 본 기술이 적용되는 비디오부(1361)로서 구현될 수 있다. 이러한 구성들은 도 1 내지 12를 참조하여 위에 설명된 효과들과 동일한 효과들을 가질 수 있다.
달리 말하면, 비디오 프로세서(1332)를 포함하는 구성은, 비디오 세트(1300)의 경우와 유사하게, 화상 데이터를 처리하는 다양한 종류의 장치들에 통합될 수 있다. 예를 들어, 비디오 프로세서(1332), 점선(1341)으로 표시되는 프로세서들, 비디오 모듈(1311) 또는 비디오부(1361)는, 텔레비전 장치(900)(도 34), 이동 전화(920)(도 35), 기록/재생 장치(940)(도 36), 촬상 장치(960)(도 37), 도 38의 데이터 송신 시스템(1000)의 퍼스널 컴퓨터(1004), AV 장치(1005), 태블릿 장치(1006) 또는 이동 전화(1007) 등의 단말 장치, 도 39의 데이터 송신 시스템(1100)의 방송국(1101) 또는 단말 장치(1102), 도 40의 촬상 시스템(1200)의 촬상 장치(1201) 또는 축척형 부호화된 데이터 저장 장치(1202) 등에 통합될 수 있다. 또한, 본 기술이 적용되는 구성에서와 같이, 이러한 장치들은, 비디오 세트(1300)와 유사하게, 도 1 내지 12를 참조하여 위에 설명된 효과들과 동일한 효과들을 가질 수 있다.
본 개시내용에서는, 색 영역 정보 및 휘도 정보 등의 다양한 종류의 정보가, 부호화된 데이터로 다중화되어, 부호화측으로부터 복호측으로 송신되는 예와 관련하여 설명이 행해졌다. 그러나, 이러한 정보를 송신하는 기술이 이러한 예에 제한되는 것은 아니다. 예를 들어, 이러한 정보는 부호화된 데이터로 다중화되지 않고 부호화된 데이터와 관련되는 개별 데이터로서 송신되거나 또는 기록될 수 있다. 여기서, "관련되는(associated)"이란 용어는, 비트스트림에 포함되는 화상(또는 슬라이스나 블럭 등 화상의 일부)이 복호시 해당 화상에 대응하는 정보와 링크될 수 있다는 점을 의미한다. 달리 말하면, 이러한 정보는 부호화된 데이터와는 다른 송신 경로를 통해 송신될 수 있다. 또한, 이러한 정보는 부호화된 데이터와는 다른 기록 매체(또는 동일 기록 매체의 다른 기록 영역)에 기록될 수 있다. 또한, 이러한 정보 및 부호화된 데이터는, 예를 들어, 복수의 프레임들 단위로, 프레임들 단위로 또는 프레임의 일부 등 임의 단위들로 상호 관련될 수 있다.
본 개시내용에서, 시스템은 복수의 부품들(장치들, 모듈들(부분들) 등)의 세트를 나타내며, 모든 부품들이 반드시 단일 하우징에 배치될 필요는 없다. 이에 따라, 개별 하우징들에 배치되고 네트워크를 통해 상호 접속되는 복수의 장치들 및 단일 하우징에 배치되는 복수의 모듈들을 포함하는 단일 장치 양자 모두가 시스템으로서 고려된다.
본 개시내용에 설명되는 효과들은 단지 예들이며, 다른 효과들이 얻어질 수 있다.
또한, 본 개시내용의 실시예가 위 실시예들에 제한되는 것은 아니고, 본 개시내용의 요지를 벗어나지 않는 범위 내에서 다양한 변경들이 이루어질 수 이싸.
예를 들어, 본 개시내용은, 하나의 기능이 네트워크를 통해 복수의 장치들에 의해 공유되고 공동으로 처리되는 클라우드 컴퓨팅 구성을 가질 수 있다.
흐름도를 참조하여 위에 설명된 단계들은, 단일 장치에 의해 수행될 수 있거나 또는 복수의 장치들에 의해 공유되어 수행될 수 있다.
또한, 복수의 처리들이 단일 단계에 포함될 때, 단일 단계에 포함되는 복수의 처리들은 단일 장치에 의해 수행될 수 있거나 또는 복수의 장치들에 의해 공유되어 수행될 수 있다.
본 개시내용은 또한 이하의 구성들을 가질 수 있다.
(1)
복호 장치로서,
화상의 부호화된 데이터, 및 화상의 색 영역을 나타내는 색 영역 정보를 포함하는 부호화된 스트림을, 부호화된 스트림을 송신하는 부호화 장치로부터 수신하는 수신부;
수신부에 의해 수신되는 부호화된 스트림으로부터 부호화된 데이터 및 색 영역 정보를 추출하는 추출부; 및
추출부에 의해 추출되는 부호화된 데이터를 복호하여, 화상을 생성하는 복호부를 포함하는 복호 장치.
(2)
(1)에 따른 복호 장치로서,
복호부에 의해 생성되는 화상의 색 영역을 추출부에 의해 추출되는 색 영역 정보에 기초하여 조절하는 조절부를 더 포함하는 복호 장치.
(3)
(2)에 따른 복호 장치로서,
부호화된 스트림은 화상의 저작시 화상을 표시하는 표시부의 휘도를 나타내는 휘도 정보를 포함하고,
추출부는 부호화된 스트림으로부터 휘도 정보를 추출하며,
조절부는 복호부에 의해 생성되는 화상의 휘도 동적 범위를 추출부에 의해 추출되는 휘도 정보에 기초하여 조절하는 복호 장치.
(4)
(3)에 따른 복호 장치로서,
휘도 정보는 표시부의 백색 및 흑색의 휘도를 나타내는 복호 장치.
(5)
복호 장치에 의해 수행되는 복호 방법으로서,
화상의 부호화된 데이터, 및 화상의 색 영역을 나타내는 색 영역 정보를 포함하는 부호화된 스트림을, 부호화된 스트림을 송신하는 부호화 장치로부터 수신하는 수신 단계;
수신 단계에서 수신되는 부호화된 스트림으로부터 부호화된 데이터 및 색 영역 정보를 추출하는 추출 단계; 및
추출 단계에서 추출되는 부호화된 데이터를 복호하여, 화상을 생성하는 복호 단계를 포함하는 복호 방법.
(6)
부호화 장치로서,
화상을 부호화하여, 부호화된 데이터를 생성하는 부호화부;
화상의 색 영역을 나타내는 색 영역 정보를 설정하는 설정부; 및
부호화부에 의해 생성되는 부호화된 데이터 및 설정부에 의해 생성되는 색 영역 정보를 포함하는 부호화된 스트림을 송신하는 송신부를 포함하는 부호화 장치.
(7)
(6)에 따른 부호화 장치로서,
설정부는 화상의 저작시 화상을 표시하는 표시부의 휘도를 나타내는 휘도 정보를 설정하고,
송신부는, 부호화된 데이터, 색 영역 정보 및 휘도 정보를 포함하는 부호화된 스트림을 송신하는 부호화 장치.
(8)
(7)에 따른 부호화 장치로서,
휘도 정보는 표시부의 백색 및 흑색의 휘도를 나타내는 부호화 장치.
(9)
부호화 장치에 의해 수행되는 부호화 방법으로서,
화상을 부호화하여, 부호화된 데이터를 생성하는 부호화 단계;
화상의 색 영역을 나타내는 색 영역 정보를 설정하는 설정 단계; 및
부호화 단계에서 생성되는 부호화된 데이터 및 설정 단계에서 생성되는 색 영역 정보를 포함하는 부호화된 스트림을 송신하는 송신 단계를 포함하는 부호화 방법.
(10)
복호 장치로서,
화상의 부호화된 데이터, 특정 색 영역을 식별하는 식별 정보 및 특정 색 영역에 대한 화상의 색 영역의 커버율을 포함하는 부호화된 스트림을, 부호화된 스트림을 송신하는 부호화 장치로부터 수신하는 수신부;
수신부에 의해 수신되는 부호화된 스트림으로부터, 부호화된 데이터, 식별 정보 및 커버율을 추출하는 추출부; 및
추출부에 의해 추출되는 부호화된 데이터를 복호하여, 화상을 생성하는 복호부를 포함하는 복호 장치.
(11)
(10)에 따른 복호 장치로서,
복호부에 의해 생성되는 화상의 색 영역을 추출부에 의해 추출되는 식별 정보 및 커버율에 기초하여 조절하는 조절부를 더 포함하는 복호 장치.
(12)
(11)에 따른 복호 장치로서,
부호화된 스트림은 화상의 저작시 화상을 표시하는 표시부의 휘도를 나타내는 휘도 정보를 포함하고,
추출부는 부호화된 스트림으로부터 휘도 정보를 추출하며,
조절부는 복호부에 의해 생성되는 화상의 휘도 동적 범위를 추출부에 의해 추출되는 휘도 정보에 기초하여 조절하는 복호 장치.
(13)
(12)에 따른 복호 장치로서,
휘도 정보는 표시부의 백색 및 흑색의 휘도를 나타내는 복호 장치.
(14)
복호 장치에 의해 수행되는 복호 방법으로서,
화상의 부호화된 데이터, 특정 색 영역을 식별하는 식별 정보 및 특정 색 영역에 대한 화상의 색 영역의 커버율을 포함하는 부호화된 스트림을, 부호화된 스트림을 송신하는 부호화 장치로부터 수신하는 수신 단계;
수신 단계에서 수신되는 부호화된 스트림으로부터 부호화된 데이터, 식별 정보 및 커버율을 추출하는 추출 단계; 및
추출 단계에서 추출되는 부호화된 데이터를 복호하여, 화상을 생성하는 복호 단계를 포함하는 복호 방법.
(15)
부호화 장치로서,
화상을 부호화하여, 부호화된 데이터를 생성하는 부호화부;
특정 색 영역을 식별하는 식별 정보 및 특정 색 영역에 대한 화상의 색 영역의 커버율을 설정하는 설정부; 및
부호화부에 의해 생성되는 부호화된 데이터 및 설정부에 의해 생성되는 식별 정보와 커버율을 포함하는 부호화된 스트림을 송신하는 송신부를 포함하는 부호화 장치.
(16)
(15)에 따른 부호화 장치로서,
설정부는 화상의 저적사 화상을 표시하는 표시부의 휘도를 나타내는 휘도 정보를 설정하고,
송신부는 부호화된 데이터, 색 영역 정보 및 휘도 정보를 포함하는 부호화된 스트림을 송신하는 부호화 장치.
(17)
(16)에 따른 부호화 장치로서,
휘도 정보는 표시부의 백색 및 흑색의 휘도를 나타내는 부호화 장치.
(18)
부호화 장치에 의해 수행되는 부호화 방법으로서,
화상을 부호화하여, 부호화된 데이터를 생성하는 부호화 단계;
특정 색 영역을 식별하는 식별 정보 및 특정 색 영역에 대한 화상의 색 영역의 커버율을 설정하는 설정 단계; 및
부호화 단계에서 생성되는 부호화된 데이터 및 설정 단계에서 생성되는 식별 정보와 커버율을 포함하는 부호화된 스트림을 송신하는 송신 단계를 포함하는 부호화 방법.
10 : 부호화 장치
11 : 설정부
12 : 부호화부
13 : 송신부
50 : 복호 장치
51 : 수신부
52 : 추출부
53 : 복호부
54 : 조절부
70 : 부호화 장치
72 : 설정부
90 : 복호 장치
91 : 추출부
92 : 조절부

Claims (15)

  1. 복호 장치로서,
    화상의 부호화된 데이터, 및 상기 화상의 저작시 상기 화상을 표시하는 표시부의 특정 색의 휘도를 나타내는 휘도 정보를 포함하는 부호화된 스트림을, 상기 부호화된 스트림을 송신하는 부호화 장치로부터 수신하는 수신부;
    상기 수신부에 의해 수신되는 상기 부호화된 스트림으로부터 상기 부호화된 데이터 및 상기 휘도 정보를 추출하는 추출부; 및
    상기 추출부에 의해 추출되는 상기 부호화된 데이터를 복호하여, 상기 화상을 생성하는 복호부
    를 포함하는 복호 장치.
  2. 제1항에 있어서,
    상기 복호부에 의해 생성되는 상기 화상의 동적 범위를 상기 추출부에 의해 추출되는 상기 휘도 정보에 기초하여 조절하는 조절부를 더 포함하는 복호 장치.
  3. 제2항에 있어서,
    상기 휘도 정보는 상기 표시부의 백색 및 흑색 중 적어도 하나의 색의 휘도를 나타내는 복호 장치.
  4. 제3항에 있어서,
    상기 휘도 정보는 상기 표시부의 백색 및 흑색의 휘도를 나타내는 복호 장치.
  5. 복호 장치에 의해 수행되는 복호 방법으로서,
    화상의 부호화된 데이터, 및 상기 화상의 저작시 상기 화상을 표시하는 표시부의 특정 색의 휘도를 나타내는 휘도 정보를 포함하는 부호화된 스트림을, 상기 부호화된 스트림을 송신하는 부호화 장치로부터 수신하는 수신 단계;
    상기 수신 단계에서 수신되는 상기 부호화된 스트림으로부터 상기 부호화된 데이터 및 상기 휘도 정보를 추출하는 추출 단계; 및
    상기 추출 단계에서 추출되는 상기 부호화된 데이터를 복호하여, 상기 화상을 생성하는 복호 단계
    를 포함하는 복호 방법.
  6. 제5항에 있어서,
    상기 복호 단계에서 생성되는 상기 화상의 동적 범위를 상기 추출 단계에서 추출되는 상기 휘도 정보에 기초하여 조절하는 조절 단계를 더 포함하는 복호 방법.
  7. 제6항에 있어서,
    상기 휘도 정보는 상기 표시부의 백색 및 흑색 중 적어도 하나의 색의 휘도를 나타내는 복호 방법.
  8. 제7항에 있어서,
    상기 휘도 정보는 상기 표시부의 백색 및 흑색의 휘도를 나타내는 복호 방법.
  9. 부호화 장치로서,
    화상을 부호화하여, 부호화된 데이터를 생성하는 부호화부;
    상기 화상의 저작시 상기 화상을 표시하는 표시부의 특정 색의 휘도를 나타내는 휘도 정보를 설정하는 설정부; 및
    상기 부호화부에 의해 생성되는 상기 부호화된 데이터 및 상기 설정부에 의해 생성되는 상기 휘도 정보를 포함하는 부호화된 스트림을 송신하는 송신부
    를 포함하는 부호화 장치.
  10. 제9항에 있어서,
    상기 휘도 정보는 상기 표시부의 백색 및 흑색 중 적어도 하나의 색의 휘도를 나타내는 부호화 장치.
  11. 제10항에 있어서,
    상기 휘도 정보는 상기 표시부의 백색 및 흑색의 휘도를 나타내는 부호화 장치.
  12. 화상의 부호화된 데이터, 및 상기 화상의 저작시 상기 화상을 표시하는 표시부의 특정 색의 휘도를 나타내는 휘도 정보를 포함하는 부호화된 스트림을 그 안에 기록하고 있으며, 복호 장치와 함께 화상 복호 시스템을 구성하는 기록 매체로서,
    상기 화상은, 상기 부호화된 스트림으로부터 상기 부호화된 데이터 및 상기 휘도 정보를 추출하여, 상기 추출된 부호화된 데이터를 상기 복호 장치에서 복호함으로써, 생성되는 기록 매체.
  13. 제12항에 있어서,
    상기 화상의 동적 범위는 상기 휘도 정보에 기초하여 상기 복호 장치에서 조절되는 기록 매체.
  14. 제13항에 있어서,
    상기 휘도 정보는 상기 표시부의 백색 및 흑색 중 적어도 하나의 색의 휘도를 나타내는 기록 매체.
  15. 제14항에 있어서,
    상기 휘도 정보는 상기 표시부의 백색 및 흑색의 휘도를 나타내는 기록 매체.
KR1020157007337A 2013-09-03 2014-08-25 복호 장치 및 복호 방법, 부호화 장치, 및 부호화 방법 KR20160052459A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013182578 2013-09-03
JPJP-P-2013-182578 2013-09-03
JPJP-P-2013-272944 2013-12-27
JP2013272944 2013-12-27
PCT/JP2014/072104 WO2015033809A1 (ja) 2013-09-03 2014-08-25 復号装置および復号方法、並びに符号化装置および符号化方法

Publications (1)

Publication Number Publication Date
KR20160052459A true KR20160052459A (ko) 2016-05-12

Family

ID=52628287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157007337A KR20160052459A (ko) 2013-09-03 2014-08-25 복호 장치 및 복호 방법, 부호화 장치, 및 부호화 방법

Country Status (10)

Country Link
EP (2) EP3783900A1 (ko)
JP (2) JP6651848B2 (ko)
KR (1) KR20160052459A (ko)
CN (2) CN110012297B (ko)
BR (1) BR112015006711B1 (ko)
IN (1) IN2015DN01681A (ko)
MX (1) MX343609B (ko)
MY (1) MY184223A (ko)
TW (2) TWI713355B (ko)
WO (1) WO2015033809A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6289900B2 (ja) * 2013-12-27 2018-03-07 株式会社東芝 放送信号送信装置
US20160309154A1 (en) * 2015-04-17 2016-10-20 Qualcomm Incorporated Dynamic range adjustment for high dynamic range and wide color gamut video coding
US10244249B2 (en) 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
CN116883522A (zh) * 2015-12-14 2023-10-13 松下电器（美国）知识产权公司 三维数据编码方法、解码方法、编码装置、解码装置
CN112702529B (zh) * 2020-12-29 2022-07-08 杭州海康机器人技术有限公司 云台相机配置方法、装置及可读存储介质和电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775417B2 (en) * 1997-10-02 2004-08-10 S3 Graphics Co., Ltd. Fixed-rate block-based image compression with inferred pixel values
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
EP1869875B1 (en) * 2005-04-04 2012-05-16 Koninklijke Philips Electronics N.V. Color conversion unit for reduced fringing
EP2911390B1 (en) * 2005-08-26 2019-01-16 Panasonic Intellectual Property Management Co., Ltd. Multiplexing method and recording medium
CN100596200C (zh) * 2007-04-27 2010-03-24 华为技术有限公司 图像压缩方法及图像编码器
JP5314029B2 (ja) * 2008-08-29 2013-10-16 パナソニック株式会社 色信号変換装置及び色信号変換方法
JP4697557B2 (ja) * 2009-01-07 2011-06-08 ソニー株式会社 符号化装置、符号化方法、記録媒体及び画像処理装置
KR101346008B1 (ko) * 2009-03-13 2013-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축
TWI513327B (zh) * 2011-04-15 2015-12-11 Dolby Lab Licensing Corp 高動態範圍影像的編碼、解碼及表示
TWI606718B (zh) * 2012-01-03 2017-11-21 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數

Also Published As

Publication number Publication date
TW201524200A (zh) 2015-06-16
JP6651848B2 (ja) 2020-02-19
IN2015DN01681A (ko) 2015-07-03
TW201921940A (zh) 2019-06-01
TWI646828B (zh) 2019-01-01
CN104662911B (zh) 2019-05-10
JP6881555B2 (ja) 2021-06-02
CN104662911A (zh) 2015-05-27
EP2966869A4 (en) 2017-01-11
WO2015033809A1 (ja) 2015-03-12
CN110012297B (zh) 2022-03-01
JPWO2015033809A1 (ja) 2017-03-02
BR112015006711B1 (pt) 2023-03-14
EP2966869B1 (en) 2020-11-18
JP2020036368A (ja) 2020-03-05
BR112015006711A2 (pt) 2017-07-04
MX343609B (es) 2016-11-14
EP2966869A1 (en) 2016-01-13
MY184223A (en) 2021-03-27
CN110012297A (zh) 2019-07-12
TWI713355B (zh) 2020-12-11
MX2015002589A (es) 2015-07-09
EP3783900A1 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
US10595034B2 (en) Decoding device and decoding method, and coding device and coding method
US10798398B2 (en) Decoding device and decoding method, encoding device, and encoding method
US10779009B2 (en) Image decoding device and method
JP6881555B2 (ja) 復号装置および復号方法
WO2015053116A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
US10666959B2 (en) Image coding apparatus and method, and image decoding apparatus and method
JP2017158206A (ja) 画像処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2021101002312; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20210908

Effective date: 20221117