KR20140036214A - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR20140036214A
KR20140036214A KR1020137032128A KR20137032128A KR20140036214A KR 20140036214 A KR20140036214 A KR 20140036214A KR 1020137032128 A KR1020137032128 A KR 1020137032128A KR 20137032128 A KR20137032128 A KR 20137032128A KR 20140036214 A KR20140036214 A KR 20140036214A
Authority
KR
South Korea
Prior art keywords
motion vector
unit
layer
prediction unit
information
Prior art date
Application number
KR1020137032128A
Other languages
English (en)
Other versions
KR102066291B1 (ko
Inventor
가즈시 사토
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140036214A publication Critical patent/KR20140036214A/ko
Application granted granted Critical
Publication of KR102066291B1 publication Critical patent/KR102066291B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Abstract

본 발명은, 스케일러블 부호화되는 화상의 레이어간의 움직임의 상관을 활용함으로써, 부호화 효율을 한층 높이는 것에 관한 것이다. 제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보로서, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 취득하는 정보 취득부와, 상기 정보 취득부에 의해 취득되는 상기 설정 정보를 사용하여, 상기 제2 예측 단위에 움직임 벡터를 설정하는 움직임 벡터 설정부를 구비하는 화상 처리 장치를 제공한다.

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}
본 발명은, 화상 처리 장치 및 화상 처리 방법에 관한 것이다.
종래, 디지털 화상을 효율적으로 전송하거나 또는 축적하는 것을 목적으로 하여, 화상에 특유한 용장성을 이용해서 화상의 정보량을 압축하는, H.26x(ITU-T Q6/16 VCEG) 표준 및 MPEG(Moving Picture Experts Group)-y 표준 등의 압축 기술이 보급되어 있다. MPEG4의 활동의 일환으로서의 Joint Model of Enhanced-Compression Video Coding에서는, H.26x 표준을 베이스로 하면서 새로운 기능도 도입함으로써, 보다 높은 압축률을 실현 가능한, H.264 및 MPEG-4 Part10(Advanced Video Coding; AVC)이라는 명칭의 국제적인 표준 규격이 책정되었다.
이러한 화상 부호화 방식에서 중요한 기술의 하나로 프레임간 예측이 있다. 프레임간 예측으로는, 부호화되는 화상의 내용이 참조 화상을 사용하여 예측되고, 예측 화상과 실제의 화상의 차분만이 부호화된다. 그것에 의해, 부호량의 압축이 실현된다. 그러나, 일련의 화상 내에서 물체가 크게 움직이고 있을 경우, 예측 화상과 실제의 화상의 차분이 커져서, 단순한 프레임간 예측으로는 높은 압축률을 얻을 수 없다. 따라서, 물체의 움직임을 움직임 벡터로서 인식하고, 움직임이 나타나 있는 영역의 화소값을 움직임 벡터에 따라서 보상함으로써, 프레임간 예측에서의 예측 오차의 저감을 도모할 수 있다. 이러한 방법을 움직임 보상이라고 한다.
H.264/AVC를 잇는 차세대의 화상 부호화 방식으로서 표준화가 진행되고 있는 HEVC(High Efficiency Video Coding)에서는, 화상 내의 각 부호화 단위(CU: Coding Unit)가 또 하나 이상의 예측 단위(PU: Prediction Unit)로 구분되어, 각 예측 단위에 움직임 벡터를 설정할 수 있다. HEVC의 예측 단위의 크기 및 형상은 H.264/AVC의 블록보다 다양해서, 물체의 움직임을 보다 정확하게 움직임 보상에 반영시킬 수 있다(하기 비특허문헌 1 참조). 하기 비특허문헌 2는, 움직임 벡터의 부호량을 삭감하기 위해서, 움직임의 공간적 상관 또는 시간적 상관을 이용하여 움직임 벡터를 예측하고, 예측 움직임 벡터와 실제의 움직임 벡터의 차분만을 부호화하는 기술을 제안하고 있다. 하기 비특허문헌 3은, 화상 내에서 인접하는 블록 중 움직임 정보가 공통되는 블록을 머지(병합)함으로써, 움직임 정보의 부호량을 삭감하는 것을 제안하고 있다.
상술한 화상 부호화 방식에서 중요한 또 하나의 기술은, 스케일러블 부호화(SVC(Scalable Video Coding)라고도 함)이다. 스케일러블 부호화란, 거친 화상 신호를 전송하는 레이어와 세밀한 화상 신호를 전송하는 레이어를 계층적으로 부호화하는 기술을 말한다. 스케일러블 부호화에서 계층화되는 전형적인 속성은, 주로 다음의 3종류이다.
- 공간 스케일러빌리티: 공간 해상도 또는 화상 크기가 계층화된다.
- 시간 스케일러빌리티: 프레임 레이트가 계층화된다.
- SNR(Signal to Noise Ratio) 스케일러빌리티: SN비가 계층화된다.
또한, 표준 규격으로 아직 채용되고 있지는 않지만, 비트 심도 스케일러빌리티 및 크로마 포맷 스케일러빌리티도 또한 논의되고 있다.
JCTVC-B205, "Test Model under Consideration", Joint Collaborative Team on Video Coding meeting: Geneva, CH, 21-28July, 2010 VCEG-AI 22, "Motion Vector Coding with Optimal PMV Selection", Jungyoup Yang, et al, July, 2008 JCTVC-A116, "Video Coding Technology Proposal by Fraunhofer HHI", M. Winken, et al, April, 2010
상술한 비특허문헌 2에 의해 제안되어 있는 방법 및 비특허문헌 3에 의해 제안되어 있는 방법은, 스케일러블 부호화를 전제로 하지 않고 있다. 스케일러블 부호화되는 화상의 각 레이어에 대하여 이러한 기존의 방법을 적용하면, 어느 정도의 부호량의 삭감을 예상할 수는 있다. 그러나, 스케일러블 부호화의 종류에 따라서는, 레이어간의 움직임의 상관이 현저하다. 따라서, 그러한 레이어간의 움직임의 상관을 활용하여 부호화 효율을 높이는 것이 유익하다.
따라서, 본 발명에 관한 기술은, 스케일러블 부호화되는 화상의 레이어간의 움직임의 상관을 활용하여, 부호화 효율을 높이는 것을 목적으로 한다.
본 발명에 의하면, 제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보이며, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 취득하는 정보 취득부와, 상기 정보 취득부에 의해 취득되는 상기 설정 정보를 사용하여, 상기 제2 예측 단위에 움직임 벡터를 설정하는 움직임 벡터 설정부를 구비하는 화상 처리 장치가 제공된다.
상기 화상 처리 장치는, 전형적으로는, 화상을 복호하는 화상 복호 장치로서 실현될 수 있다.
또한, 본 발명에 의하면, 제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보이며, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 취득하는 것과, 취득된 상기 설정 정보를 사용하여, 상기 제2 예측 단위에 움직임 벡터를 설정하는 것을 포함하는 화상 처리 방법이 제공된다.
또한, 본 발명에 의하면, 제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보이며, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 생성하는 정보 생성부와, 상기 정보 생성부에 의해 생성되는 상기 설정 정보를 부호화하는 부호화부를 구비하는 화상 처리 장치가 제공된다.
상기 화상 처리 장치는, 전형적으로는, 화상을 부호화하는 화상 부호화 장치로서 실현될 수 있다.
또한, 본 발명에 의하면, 제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보이며, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 생성하는 것과, 생성된 상기 설정 정보를 부호화하는 것을 포함하는 화상 처리 방법이 제공된다.
본 발명에 의하면, 스케일러블 부호화되는 화상의 레이어간의 움직임의 상관을 활용함으로써, 부호화 효율을 한층 높일 수 있다.
도 1은 일 실시 형태에 따른 화상 부호화 장치의 구성의 일례를 나타내는 블록도이다.
도 2는 공간 스케일러빌리티에 대하여 설명하기 위한 설명도이다.
도 3은 SNR 스케일러빌리티에 대하여 설명하기 위한 설명도이다.
도 4는 제1 실시예에 관한 움직임 탐색부의 상세한 구성의 일례를 나타내는 블록도이다.
도 5는 움직임 벡터의 예측을 위한 프리딕터(predictor) 후보의 예에 대하여 설명하기 위한 제1 설명도이다.
도 6은 움직임 벡터의 예측을 위한 프리딕터 후보의 예에 대하여 설명하기 위한 제2 설명도이다.
도 7은 제1 실시예에 관한 움직임 탐색부에 의한 움직임 탐색 처리의 흐름의 일례를 나타내는 흐름도이다.
도 8은 제2 실시예에 관한 움직임 탐색부의 상세한 구성의 일례를 나타내는 블록도이다.
도 9는 레이어간 프리딕터의 일례에 대하여 설명하기 위한 설명도이다.
도 10은 제2 실시예에 관한 움직임 탐색부에 의한 움직임 탐색 처리의 흐름의 일례를 나타내는 흐름도이다.
도 11은 제3 실시예에 관한 움직임 탐색부의 상세한 구성의 일례를 나타내는 블록도이다.
도 12a는 머지 정보의 제1 예를 나타내는 설명도이다.
도 12b는 머지 정보의 제2 예를 나타내는 설명도이다.
도 12c는 머지 정보의 제3 예를 나타내는 설명도이다.
도 13은 제3 실시예에 관한 움직임 탐색부에 의한 움직임 탐색 처리의 흐름의 일례를 나타내는 흐름도이다.
도 14는 제4 실시예에 관한 움직임 탐색부의 상세한 구성의 일례를 나타내는 블록도이다.
도 15a는 머지 정보의 제4 예를 나타내는 설명도이다.
도 15b는 머지 정보의 제5의 예를 나타내는 설명도이다.
도 15c는 머지 정보의 제6의 예를 나타내는 설명도이다.
도 16은 제4 실시예에 관한 움직임 탐색부에 의한 움직임 탐색 처리의 흐름의 일례를 나타내는 흐름도이다.
도 17은 일 실시 형태에 따른 화상 복호 장치의 구성의 일례를 나타내는 블록도이다.
도 18은 제1 실시예에 관한 움직임 보상부의 상세한 구성의 일례를 나타내는 블록도이다.
도 19는 제1 실시예에 관한 움직임 보상부에 의한 움직임 보상 처리의 흐름의 일례를 나타내는 흐름도이다.
도 20은 제2 실시예에 관한 움직임 보상부의 상세한 구성의 일례를 나타내는 블록도이다.
도 21은 제2 실시예에 관한 움직임 보상부에 의한 움직임 보상 처리의 흐름의 일례를 나타내는 흐름도이다.
도 22는 제3 실시예에 관한 움직임 보상부의 상세한 구성의 일례를 나타내는 블록도이다.
도 23은 제3 실시예에 관한 움직임 보상부에 의한 움직임 보상 처리의 흐름의 일례를 나타내는 흐름도이다.
도 24는 제4 실시예에 관한 움직임 보상부의 상세한 구성의 일례를 나타내는 블록도이다.
도 25는 제4 실시예에 관한 움직임 보상부에 의한 움직임 보상 처리의 흐름의 일례를 나타내는 흐름도이다.
도 26은 텔레비전 장치의 개략적인 구성의 일례를 나타내는 블록도이다.
도 27은 휴대 전화기의 개략적인 구성의 일례를 나타내는 블록도이다.
도 28은 기록 재생 장치의 개략적인 구성의 일례를 나타내는 블록도이다.
도 29는 촬상 장치의 개략적인 구성의 일례를 나타내는 블록도이다.
이하에 첨부 도면을 참조하면서, 본 발명의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 이하의 순서로 설명을 행한다.
1. 화상 부호화 장치의 구성예
2. 움직임 탐색부의 상세한 구성예
2-1. 제1 실시예
2-2. 제2 실시예
2-3. 제3 실시예
2-4. 제4 실시예
3. 화상 복호 장치의 구성예
4. 움직임 보상부의 상세한 구성예
4-1. 제1 실시예
4-2. 제2 실시예
4-3. 제3 실시예
4-4. 제4 실시예
5. 응용예
6. 정리
<1. 화상 부호화 장치의 구성예>
도 1은, 일 실시 형태에 따른 화상 부호화 장치(10)의 구성의 일례를 나타내는 블록도이다. 도 1을 참조하면, 화상 부호화 장치(10)는 A/D(Analogue to Digital) 변환부(11), 재배열 버퍼(12), 감산부(13), 직교 변환부(14), 양자화부(15), 가역 부호화부(16), 축적 버퍼(17), 레이트 제어부(18), 역양자화부(21), 역직교 변환부(22), 가산부(23), 디블록 필터(24), 프레임 메모리(25), 셀렉터(26 및 27) 인트라 예측부(30), 및 움직임 탐색부(40)를 구비한다.
A/D 변환부(11)는, 아날로그 형식으로 입력되는 화상 신호를 디지털 형식의 화상 데이터로 변환하고, 일련의 디지털 화상 데이터를 재배열 버퍼(12)로 출력한다.
재배열 버퍼(12)는, A/D 변환부(11)로부터 입력되는 일련의 화상 데이터에 포함되는 화상을 재배열한다. 재배열 버퍼(12)는, 부호화 처리에 관한 GOP(Group of Pictures) 구조에 따라서 화상을 재배열한 후, 재배열 후의 화상 데이터를 감산부(13), 인트라 예측부(30) 및 움직임 탐색부(40)로 출력한다.
감산부(13)에는, 재배열 버퍼(12)로부터 입력되는 화상 데이터 및 후에 설명하는 인트라 예측부(30) 또는 움직임 탐색부(40)로부터 입력되는 예측 화상 데이터가 공급된다. 감산부(13)는, 재배열 버퍼(12)로부터 입력되는 화상 데이터와 예측 화상 데이터의 차분인 예측 오차 데이터를 산출하고, 산출한 예측 오차 데이터를 직교 변환부(14)로 출력한다.
직교 변환부(14)는, 감산부(13)로부터 입력되는 예측 오차 데이터에 대하여 직교 변환을 행한다. 직교 변환부(14)에 의해 실행되는 직교 변환은, 예를 들어 이산 코사인 변환(Discrete Cosine Transform: DCT) 또는 카루넨 루베 변환 등이어도 된다. 직교 변환부(14)는, 직교 변환 처리에 의해 취득되는 변환 계수 데이터를 양자화부(15)로 출력한다.
양자화부(15)에는, 직교 변환부(14)로부터 입력되는 변환 계수 데이터 및 후에 설명하는 레이트 제어부(18)로부터의 레이트 제어 신호가 공급된다. 양자화부(15)는, 변환 계수 데이터를 양자화하고, 양자화 후의 변환 계수 데이터(이하, 양자화 데이터라고 함)를 가역 부호화부(16) 및 역양자화부(21)로 출력한다. 또한, 양자화부(15)는, 레이트 제어부(18)로부터의 레이트 제어 신호에 기초하여 양자화 파라미터(양자화 스케일)를 전환함으로써, 가역 부호화부(16)에 입력되는 양자화 데이터의 비트 레이트를 변화시킨다.
가역 부호화부(16)는, 양자화부(15)로부터 입력되는 양자화 데이터에 대하여 가역 부호화 처리를 행함으로써, 부호화 스트림을 생성한다. 가역 부호화부(16)에 의한 가역 부호화는, 예를 들어 가변 길이 부호화, 또는 산술 부호화 등이어도 된다. 또한, 가역 부호화부(16)는, 셀렉터(27)로부터 입력되는 인트라 예측에 관한 정보 또는 인터 예측에 관한 정보를, 부호화 스트림의 헤더 영역 내에 다중화한다. 그리고, 가역 부호화부(16)는, 생성한 부호화 스트림을 축적 버퍼(17)로 출력한다.
축적 버퍼(17)는, 가역 부호화부(16)로부터 입력되는 부호화 스트림을 일시적으로 축적한다. 그리고, 축적 버퍼(17)는, 축적한 부호화 스트림을, 전송로의 대역에 따른 레이트로, 도시하지 않은 전송부(예를 들어, 통신 인터페이스 또는 주변 기기와의 접속 인터페이스 등)로 출력한다.
레이트 제어부(18)는 축적 버퍼(17)의 빈 용량을 감시한다. 그리고, 레이트 제어부(18)는, 축적 버퍼(17)의 빈 용량에 따라서 레이트 제어 신호를 생성하고, 생성한 레이트 제어 신호를 양자화부(15)로 출력한다. 예를 들어, 레이트 제어부(18)는, 축적 버퍼(17)의 빈 용량이 적을 때에는, 양자화 데이터의 비트 레이트를 저하시키기 위한 레이트 제어 신호를 생성한다. 또한, 예를 들어 레이트 제어부(18)는, 축적 버퍼(17)의 빈 용량이 충분히 클 때에는, 양자화 데이터의 비트 레이트를 높이기 위한 레이트 제어 신호를 생성한다.
역양자화부(21)는, 양자화부(15)로부터 입력되는 양자화 데이터에 대하여 역양자화 처리를 행한다. 그리고, 역양자화부(21)는, 역양자화 처리에 의해 취득되는 변환 계수 데이터를, 역직교 변환부(22)로 출력한다.
역직교 변환부(22)는, 역양자화부(21)로부터 입력되는 변환 계수 데이터에 대하여 역직교 변환 처리를 행함으로써, 예측 오차 데이터를 복원한다. 그리고, 역직교 변환부(22)는 복원한 예측 오차 데이터를 가산부(23)로 출력한다.
가산부(23)는, 역직교 변환부(22)로부터 입력되는 복원된 예측 오차 데이터와 인트라 예측부(30) 또는 움직임 탐색부(40)로부터 입력되는 예측 화상 데이터를 가산함으로써, 복호 화상 데이터를 생성한다. 그리고, 가산부(23)는, 생성한 복호 화상 데이터를 디블록 필터(24) 및 프레임 메모리(25)로 출력한다.
디블록 필터(24)는, 화상의 부호화시에 발생하는 블록 왜곡을 감소시키기 위한 필터링 처리를 행한다. 디블록 필터(24)는, 가산부(23)로부터 입력되는 복호 화상 데이터를 필터링함으로써 블록 왜곡을 제거하고, 필터링 후의 복호 화상 데이터를 프레임 메모리(25)로 출력한다.
프레임 메모리(25)는, 가산부(23)로부터 입력되는 복호 화상 데이터 및 디블록 필터(24)로부터 입력되는 필터링 후의 복호 화상 데이터를 기억 매체를 사용하여 기억한다.
셀렉터(26)는, 인터 예측을 위해 사용되는 필터링 후의 복호 화상 데이터를 프레임 메모리(25)로부터 판독하고, 판독한 복호 화상 데이터를 참조 화상 데이터로서 움직임 탐색부(40)에 공급한다. 또한, 셀렉터(26)는, 인트라 예측을 위하여 사용되는 필터링 전의 복호 화상 데이터를 프레임 메모리(25)로부터 판독하고, 판독한 복호 화상 데이터를 참조 화상 데이터로서 인트라 예측부(30)에 공급한다.
셀렉터(27)는, 인터 예측 모드에서, 움직임 탐색부(40)로부터 출력되는 인터 예측의 결과로서의 예측 화상 데이터를 감산부(13)로 출력함과 함께, 인터 예측에 관한 정보를 가역 부호화부(16)로 출력한다. 또한, 셀렉터(27)는, 인트라 예측 모드에서, 인트라 예측부(30)로부터 출력되는 인트라 예측의 결과로서의 예측 화상 데이터를 감산부(13)로 출력함과 함께, 인트라 예측에 관한 정보를 가역 부호화부(16)로 출력한다. 셀렉터(27)는, 인터 예측 모드와 인트라 예측 모드를, 인트라 예측부(30) 및 움직임 탐색부(40)로부터 출력되는 비용 함수값의 크기에 따라서 전환한다.
인트라 예측부(30)는, 재배열 버퍼(12)로부터 입력되는 부호화 대상의 화상 데이터(원 화상 데이터) 및 프레임 메모리(25)로부터 공급되는 참조 화상 데이터로서의 복호 화상 데이터에 기초하여, 화상 내에 설정되는 블록마다 인트라 예측 처리를 행한다. 그리고, 인트라 예측부(30)는, 최적의 예측 모드를 나타내는 예측 모드 정보를 포함하는 인트라 예측에 관한 정보, 비용 함수값 및 예측 화상 데이터를 셀렉터(27)로 출력한다.
움직임 탐색부(40)는, 재배열 버퍼(12)로부터 입력되는 원 화상 데이터 및 셀렉터(26)를 개재하여 공급되는 복호 화상 데이터에 기초하여, 인터 예측(프레임간 예측)을 위한 움직임 탐색 처리를 행한다. 본 실시 형태에 따른 움직임 탐색부(40)에 의한 움직임 탐색 처리는, 상기 비특허문헌 2에 기재된 방법 또는 상기 비특허문헌 3에 기재된 방법을 확장함으로써 실현될 수 있다. 상기 비특허문헌 2에 기재된 방법의 확장에서는, 움직임 탐색부(40)는, 각 예측 단위에 대하여 최적의 프리딕터(predictor)를 나타내는 프리딕터 정보를 생성할 수 있다. 또한, 상기 비특허문헌 3에 기재된 방법의 확장에서는, 움직임 탐색부(40)는, 각 예측 단위에 대하여 최적의 머지 모드를 나타내는 머지 정보를 생성할 수 있다. 그리고, 움직임 탐색부(40)는, 프리딕터 정보 또는 머지 정보, 움직임 벡터 정보 및 참조 화상 정보를 포함하는 인터 예측에 관한 정보, 비용 함수값, 및 예측 화상 데이터를, 셀렉터(27)로 출력한다. 다음 절에서, 움직임 탐색부(40)의 상세한 구성에 대한 4개의 실시예를 설명한다.
화상 부호화 장치(10)는, 여기에서 설명한 일련의 부호화 처리를, 스케일러블 부호화되는 화상의 복수의 레이어의 각각에 대하여 반복한다. 최초로 부호화되는 레이어는, 베이스 레이어(base layer)라고 불리는, 가장 거친 화상을 표현하는 레이어이다. 베이스 레이어의 부호화 스트림은, 다른 레이어의 부호화 스트림을 복호하지 않고, 독립적으로 복호될 수 있다. 베이스 레이어 이외의 레이어는, 인핸스먼트 레이어(enhancement layer)라고 불리는, 보다 세밀한 화상을 표현하는 레이어이다. 인핸스먼트 레이어의 부호화 스트림은, 부호화 효율을 높이기 위해서 베이스 레이어의 부호화 스트림에 포함되는 정보를 사용하여 부호화된다. 따라서, 인핸스먼트 레이어의 화상을 재현하기 위해서는, 베이스 레이어 및 인핸스먼트 레이어의 양쪽의 부호화 스트림이 복호되게 된다. 스케일러블 부호화에 있어서 취급되는 레이어는, 3개 이상이어도 된다. 그 경우에는, 최하위의 레이어가 베이스 레이어, 나머지 복수의 레이어가 인핸스먼트 레이어이다. 보다 상위의 인핸스먼트 레이어의 부호화 스트림은, 보다 하위의 인핸스먼트 레이어 또는 베이스 레이어의 부호화 스트림에 포함되는 정보를 사용하여 부호화되고 및 복호될 수 있다. 본 명세서에서는, 의존 관계를 갖는 적어도 2개의 레이어 중, 의존되는 측의 레이어를 하위 레이어(lower layer), 의존하는 측의 레이어를 상위 레이어(upper layer)라고 한다.
화상 부호화 장치(10)에 의한 스케일러블 부호화 시에는, 인터 예측에 관한 정보를 효율적으로 부호화하기 위해서, 레이어간의 움직임의 상관이 이용된다. 즉, 인터 예측 블록에 있어서, 하위 레이어에 설정된 움직임 벡터에 관련하는 설정 정보에 기초하는 상위 레이어에 대한 움직임 벡터의 설정이 행해진다. 구체적으로는, 도 1에 도시한 움직임 탐색부(40)는, 하위 레이어에서의 인터 예측시에 얻어지는 정보를 일시적으로 기억하기 위한 버퍼를 갖고, 당해 버퍼에 기억되는 정보를 사용하여 상위 레이어에 움직임 벡터를 설정한다. 레이어간의 움직임의 상관은, 특히, 공간 스케일러빌리티 또는 SNR 스케일러빌리티에 기초하는 스케일러블 부호화에서 현저하게 나타날 수 있다.
도 2는, 공간 스케일러빌리티의 일례에 대하여 설명하기 위한 설명도이다. 도 2에서, 스케일러블 부호화되는 3개의 레이어(L1, L2 및 L3)가 도시되어 있다. 레이어(L1)는 베이스 레이어이며, 레이어(L2 및 L3)는 인핸스먼트 레이어이다. 레이어(L2)의 레이어(L1)에 대한 공간 해상도의 비는 2:1이다. 레이어(L3)의 레이어(L1)에 대한 공간 해상도의 비는 4:1이다. 이렇게 서로 해상도가 상이해도, 레이어(L1) 내의 예측 단위(B1)에 나타나는 움직임은, 레이어(L2) 내의 대응하는 예측 단위(B2) 및 레이어(L3) 내의 대응하는 예측 단위(B3)에서 동일하게 나타날 가능성이 높다. 이것이, 공간 스케일러빌리티에서의 레이어간의 움직임의 상관이다.
도 3은, SNR 스케일러빌리티의 일례에 대하여 설명하기 위한 설명도이다. 도 3에서, 스케일러블 부호화되는 3개의 레이어(L1, L2 및 L3)가 도시되어 있다. 레이어(L1)는 베이스 레이어이며, 레이어(L2 및 L3)는 인핸스먼트 레이어이다. 레이어(L1, L2 및 L3)의 공간 해상도는 서로 동등하다. 그러나, 일례로서, 레이어(L1)의 최소의 양자화 스케일은 25이며, 직교 변환 계수의 양자화에 의해 부호화 스트림의 비트 레이트는 2Mbps 정도로 억제된다. 한편, 예를 들어 레이어(L2)의 최소의 양자화 스케일은 12이며, 부호화 스트림의 비트 레이트는 5Mbps 정도가 된다. 또한, 예를 들어 레이어(L3)의 최소의 양자화 스케일은 0이며, 부호화 스트림의 비트 레이트는 10Mbps 정도가 된다. 이렇게 서로 비트 레이트가 상이해도, 레이어(L1) 내의 예측 단위(B1)에 나타나는 움직임은, 레이어(L2) 내의 대응하는 예측 단위(B2) 및 레이어(L3) 내의 대응하는 예측 단위(B3)에서 동등하게 나타날 가능성이 높다. 이것이, SNR 스케일러빌리티에서의 레이어간의 움직임의 상관이다.
본 실시 형태에 따른 화상 부호화 장치(10)는, 이와 같은 레이어간의 움직임의 상관을 적극적으로 활용하여, 인터 예측에 관한 정보를 효율적으로 부호화한다.
또한, 상위 레이어의 예측 단위에 대응하는 하위 레이어의 예측 단위란, 예를 들어 상위 레이어의 예측 단위의 소정의 위치(예를 들어, 좌측 상단)의 화소에 대응하는 화소를 갖는 하위 레이어의 예측 단위이면 된다. 이러한 정의에 의해, 하위 레이어의 복수의 예측 단위를 통합하는 상위 레이어의 예측 단위가 존재해도, 상위 레이어의 예측 단위에 대응하는 하위 레이어의 예측 단위를 일의적으로 결정할 수 있다. 그 대신에, 상위 레이어의 예측 단위에 대응하는 하위 레이어의 예측 단위란, 예를 들어 상위 레이어의 예측 단위와 겹치는(동일한 위치의 화소를 공유하는) 하위 레이어 내의 예측 단위 중 겹침이 가장 큰(공유되는 화소수가 가장 많은) 예측 단위이어도 된다. 이러한 정의에 의해, 움직임의 상관이 가장 나타나기 쉬운 예측 단위를 "대응하는 예측 단위"라고 결정할 수 있다.
<2. 움직임 탐색부의 상세한 구성예>
본 절에서는, 도 1에 도시한 움직임 탐색부(40)의 상세한 구성에 대한 4개의 실시예를 설명한다. 그 4개의 실시예 중, 제1 및 제2 실시예는, 상기 비특허문헌 2에 기재된 방법의 확장에 대한 실시예이다. 한편, 제3 및 제4 실시예는, 상기 비특허문헌 3에 기재된 방법의 확장에 대한 실시예이다.
[2-1. 제1 실시예]
도 4는, 제1 실시예에 관한 움직임 탐색부(40)의 상세한 구성의 일례를 나타내는 블록도이다. 도 4를 참조하면, 움직임 탐색부(40)는, 탐색 제어부(141), 움직임 벡터 산출부(142), 움직임 벡터 예측부(143), 움직임 벡터 버퍼(144), 모드 선택부(145), 정보 생성부(146) 및 프리딕터 정보 버퍼(147)를 갖는다.
(1) 베이스 레이어
베이스 레이어의 움직임 탐색 처리에 있어서, 탐색 제어부(141)는, 부호화 단위 내에 하나 이상의 예측 단위를 배치하고, 각 예측 단위에 대하여 움직임 벡터 산출부(142)에 움직임 벡터를 산출시킨다. 움직임 벡터 산출부(142)에 의해 산출된 움직임 벡터는, 움직임 벡터 예측부(143)로 출력됨과 함께, 움직임 벡터 버퍼(144)에 기억된다. 움직임 벡터 예측부(143)는, 복수의 프리딕터 후보의 각각에 따라서, 움직임 벡터 버퍼(144)에 기억되어 있는 다른 블록의 움직임 벡터(참조 움직임 벡터라고 함)를 사용하여 예측 움직임 벡터를 생성한다. 그리고, 움직임 벡터 예측부(143)는, 움직임 벡터 산출부(142)에 의해 산출된 움직임 벡터와 예측 움직임 벡터의 차분인 차분 움직임 벡터를 산출한다. 모드 선택부(145)는, 움직임 벡터 산출부(142)에 의해 산출된 움직임 벡터를 사용하여 예측 화상 데이터를 생성하고, 생성한 예측 화상 데이터와 원 화상 데이터의 비교에 기초하여 계산되는 비용 함수값을 평가한다. 그리고, 모드 선택부(145)는, 비용 함수값을 최소로 하는 최적의 예측 단위의 배치와 각 예측 단위에 대한 최적의 프리딕터를 선택한다. 정보 생성부(146)는, 각 예측 단위에 대하여 선택된 최적의 프리딕터를 나타내는 프리딕터 정보 및 대응하는 차분 움직임 벡터를 나타내는 차분 움직임 벡터 정보를 포함하는 인터 예측에 관한 정보를 생성한다. 예를 들어, 프리딕터 정보는, 참조 움직임 벡터를 특정하는 인덱스를 포함해도 된다. 또한, 프리딕터 정보는, 예측식을 특정하는 파라미터를 포함해도 된다. 그리고, 정보 생성부(146)는, 생성한 인터 예측에 관한 정보, 비용 함수값 및 예측 화상 데이터를 셀렉터(27)로 출력한다. 또한, 정보 생성부(146)에 의해 생성되는 프리딕터 정보는, 상위 레이어에서의 처리를 위해, 프리딕터 정보 버퍼(147)에 일시적으로 기억된다.
도 5 및 도 6은, 이러한 인터 예측에서 사용될 수 있는, 움직임 벡터의 예측을 위한 프리딕터 후보의 예에 대하여 설명하기 위한 설명도이다. 도 5를 참조하면, 예측 대상인 1개의 예측 단위(PTe) 및 예측 단위(PTe)의 예측 움직임 벡터(PMVe)가 도시되어 있다. 예측 단위(PTe)의 예측 움직임 벡터(PMVe)는, 예를 들어 예측 단위(PTe)에 인접하는 예측 단위의 움직임 벡터(MVa, MVb 및 MVc)를 참조 움직임 벡터로서 사용하여 예측될 수 있다. 참조 움직임 벡터(MVa)는, 예측 단위(PTe)의 좌측에 인접하는 예측 단위에 설정된 움직임 벡터이다. 참조 움직임 벡터(MVb)는, 예측 단위(PTe) 위에 인접하는 예측 단위에 설정된 움직임 벡터이다. 참조 움직임 벡터(MVc)는, 예측 단위(PTe)의 우측 상단에 인접하는 예측 단위에 설정된 움직임 벡터이다. 예측 움직임 벡터(PMVe)는, 이러한 참조 움직임 벡터(MVa, MVb 및 MVc)를 사용하여, 다음과 같은 예측식에 따라서 생성될 수 있다.
Figure pct00001
식 (1)은, 움직임의 공간적 상관에 기초하는 예측식이다. 식 (1)에서의 med는 메디안 오퍼레이션을 나타낸다. 즉, 식 (1)에 의하면, 예측 움직임 벡터(PMVe)는, 참조 움직임 벡터(MVa, MVb 및 MVc)의 수평 성분의 중앙값과 수직 성분의 중앙값을 성분으로 하는 벡터이다. 식 (1)에 따라서 생성되는 예측 움직임 벡터(PMVe)는, 프리딕터 후보의 일례이다. 이러한 움직임의 공간적 상관에 기초하는 예측식에 의해 산출되는 예측 움직임 벡터를, 공간적 프리딕터(spatial predictor)라고 한다.
또한, 식 (1)은, 예측식의 일례에 지나지 않는다. 예를 들어, 예측 대상의 예측 단위가 화상의 단부에 위치하기 위해서, 움직임 벡터(MVa, MVb 또는 MVc) 중 어느 하나가 존재하지 않는 경우에, 존재하지 않는 움직임 벡터는, 메디안 오퍼레이션의 인수로부터 생략되어도 된다. 또한, 다음의 식 (2) 내지 식 (4)와 같이, 보다 단순한 공간적 프리딕터도 또한 프리딕터 후보로서 사용되어도 된다.
Figure pct00002
한편, 움직임의 시간적 상관에 기초하는 예측식에 의해 산출되는 예측 움직임 벡터인 시간적 프리딕터(temporal predictor)도 또한, 프리딕터 후보로서 사용될 수 있다. 도 6을 참조하면, 예측 대상의 예측 단위(PTe)를 포함하는 화상(IM01) 및 참조 화상(IM02)이 도시되어 있다. 참조 화상(IM02) 내의 블록(Bcol)은, 예측 단위(PTe)의 코로케이티드(co-located) 블록이다. 움직임의 시간적 상관을 이용하는 예측식은, 예를 들어 이 코로케이티드 블록(Bcol) 또는 코로케이티드 블록(Bcol)에 인접하는 블록에 설정된 움직임 벡터를 참조 움직임 벡터로서 사용한다.
예를 들어, 코로케이티드 블록(Bcol)에 설정된 움직임 벡터를 MVcol이라 한다. 또한, 코로케이티드 블록(Bcol) 위, 좌측, 아래, 우측, 좌측 상단, 좌측 하방, 우측 하방 및 우측 상단의 블록에 설정된 움직임 벡터를, 각각 MVt0 내지 MVt7이라 한다. 그러면, 예측 움직임 벡터(PMVe)는, 예를 들어 다음의 예측식 (5) 또는 (6)을 사용하여, 참조 움직임 벡터(MVcol 및 MVt0 내지 MVt7)로부터 생성될 수 있다.
Figure pct00003
움직임 벡터 예측부(143)는, 이들 복수의 프리딕터 후보의 각각에 대하여 예측 움직임 벡터(PMVe)를 생성한 후, 다음의 식과 같이, 움직임 벡터 산출부(142)에 의해 산출된 움직임 벡터(MVe)와 예측 움직임 벡터(PMVe)의 차분을 나타내는 차분 움직임 벡터(MVDe)를 산출한다.
Figure pct00004
그리고, 모드 선택부(145)에 의해 각 예측 단위에 대한 최적의 프리딕터(예를 들어, 예측 정밀도가 가장 높은 프리딕터)가 선택되고, 정보 생성부(146)에 의해 당해 최적의 프리딕터를 나타내는 프리딕터 정보와 대응하는 차분 움직임 벡터를 나타내는 차분 움직임 벡터 정보가 생성된다. 움직임 벡터의 예측이 행해지지 않는 예측 단위에 대해서는, 차분 움직임 벡터 정보 대신에, 움직임 벡터 산출부(142)에 의해 산출된 움직임 벡터를 나타내는 움직임 벡터 정보가 생성되어도 된다. 이렇게 생성된 정보는, 인터 예측에 관한 정보로서 가역 부호화부(16)에 의해 부호화될 수 있다. 프리딕터 정보는, 상위 레이어에서의 처리를 위해서, 프리딕터 정보 버퍼(147)에 일시적으로 기억된다.
(2) 인핸스먼트 레이어
인핸스먼트 레이어의 움직임 탐색 처리에서는, 프리딕터 정보 버퍼(147)에 기억되어 있는 하위 레이어의 프리딕터 정보에 기초하는 움직임 벡터의 예측이 행해진다.
우선, 탐색 제어부(141)는, 부호화 단위 내에 배치되는 각 예측 단위에 대해서, 움직임 벡터 산출부(142)에 움직임 벡터를 산출시킨다. 그리고, 탐색 제어부(141)는, 각 예측 단위에 대해서, 움직임 벡터 예측부(143)에 예측 움직임 벡터를 생성시킨다. 인핸스먼트 레이어에서의 움직임 벡터 예측부(143)에 의한 예측 움직임 벡터의 생성은, 프리딕터 정보 버퍼(147)에 기억되어 있는 설정 정보인 프리딕터 정보를 사용하여 행해진다. 보다 구체적으로는, 예를 들어 어떤 상위 레이어 내의 예측 단위에 대응하는 하위 레이어 내의 예측 단위에 대하여 프리딕터 정보가 식 (1)에 나타낸 바와 같은 공간적 프리딕터를 나타내고 있을 경우, 움직임 벡터 예측부(143)는, 상위 레이어 내의 인접 예측 단위의 참조 움직임 벡터를 움직임 벡터 버퍼(144)로부터 취득한다. 그리고, 움직임 벡터 예측부(143)는, 취득한 참조 움직임 벡터를 식 (1)에 대입하여, 예측 움직임 벡터를 생성한다. 또한, 예를 들어 어떤 상위 레이어 내의 예측 단위에 대응하는 하위 레이어 내의 예측 단위에 대하여 프리딕터 정보가 식 (5)에 나타낸 바와 같은 시간적 프리딕터를 나타내고 있을 경우, 움직임 벡터 예측부(143)는, 참조 화상 내의 코로케이티드 블록 및 당해 코로케이티드 블록의 인접 블록의 참조 움직임 벡터를 움직임 벡터 버퍼(144)로부터 취득한다. 그리고, 움직임 벡터 예측부(143)는, 취득한 참조 움직임 벡터를 식 (5)에 대입하여 예측 움직임 벡터를 생성한다. 또한, 움직임 벡터 예측부(143)는, 움직임 벡터 산출부(142)에 의해 산출된 움직임 벡터와 예측 움직임 벡터의 차분을 나타내는 차분 움직임 벡터를 산출한다. 모드 선택부(145)는, 움직임 벡터 산출부(142)에 의해 산출된 움직임 벡터를 사용하여 예측 화상 데이터를 생성하고, 비용 함수값을 계산한다. 정보 생성부(146)는, 각 예측 단위에 대하여 산출된 차분 움직임 벡터를 나타내는 차분 움직임 벡터 정보를 생성한다. 그리고, 정보 생성부(146)는, 차분 움직임 벡터 정보를 포함하는 인터 예측에 관한 정보, 비용 함수값 및 예측 화상 데이터를 셀렉터(27)로 출력한다.
(3) 처리의 흐름
도 7은, 본 실시예에 관한 움직임 탐색부(40)에 의한 움직임 탐색 처리의 흐름의 일례를 나타내는 흐름도이다. 도 7을 참조하면, 우선, 움직임 탐색부(40)는, 베이스 레이어의 움직임 탐색 처리를 행한다(스텝 S110). 그 결과, 각 부호화 단위 내의 예측 단위의 배치가 결정되고, 각 예측 단위의 최적의 프리딕터가 선택된다. 프리딕터 정보 버퍼(147)는, 각 예측 단위의 최적의 프리딕터를 나타내는 프리딕터 정보를 설정 정보로서 버퍼링한다.
스텝 S111 내지 S117의 처리는, 인핸스먼트 레이어의 움직임 탐색 처리이다. 이러한 처리 중 스텝 S111 내지 S116의 처리는, 각 인핸스먼트 레이어의 각 예측 단위(이하, 주목 PU라고 함)에 대하여 반복된다. 또한, 이하의 설명에서, "상위 레이어"는 예측 대상의 레이어이며, "하위 레이어"는 예측 대상의 레이어의 하위의 레이어이다.
우선, 움직임 벡터 산출부(142)는, 상위 레이어의 1개의 주목 PU에 대해서, 원 화상의 화소값 및 프레임 메모리(25)로부터 입력되는 참조 화상의 화소값에 기초하여 움직임 벡터를 산출한다(스텝 S111). 그리고, 움직임 벡터 산출부(142)는, 산출한 움직임 벡터를, 움직임 벡터 예측부(143) 및 움직임 벡터 버퍼(144)로 출력한다.
이어서, 움직임 벡터 예측부(143)는, 프리딕터 정보 버퍼(147)에 기억되어 있는 하위 레이어 내의 대응하는 PU에 대한 프리딕터 정보와, 프리딕터 정보에 따라서 취득되는 참조 움직임 벡터를 사용하여, 주목 PU에 대한 예측 움직임 벡터를 생성한다(스텝 S112). 이어서, 움직임 벡터 예측부(143)는, 움직임 벡터에서 예측 움직임 벡터를 감산함으로써, 차분 움직임 벡터를 산출한다(스텝 S113). 그리고, 움직임 벡터 예측부(143)는, 주목 PU에 대한 움직임 벡터 및 차분 움직임 벡터를 모드 선택부(145)로 출력한다.
이어서, 모드 선택부(145)는, 주목 PU에 대한 예측 화상 데이터 및 비용 함수값을 생성한다(스텝 S114). 또한, 정보 생성부(146)는, 주목 PU에 대한 차분 움직임 벡터를 나타내는 차분 움직임 벡터 정보를 생성한다(스텝 S115).
그 후, 예측 대상의 레이어 내에 미처리 PU가 남아있을 경우에는, 처리는 스텝 S111로 복귀된다(스텝 S116). 한편, 미처리 PU가 남아있지 않을 경우에는, 나머지 레이어(보다 상위의 레이어)가 더 존재하는지가 판정된다(스텝 S117). 여기서, 나머지 레이어가 존재하는 경우에는, 지금까지의 예측 대상의 레이어를 하위 레이어, 다음의 레이어를 상위 레이어로 해서, 스텝 S111 이후의 처리가 반복된다. 하위 레이어에 대하여 선택된 프리딕터를 나타내는 프리딕터 정보는, 프리딕터 정보 버퍼(147)에 의해 계속해서 버퍼링된다. 나머지 레이어가 존재하지 않는 경우에는, 도 7의 움직임 탐색 처리는 종료한다. 여기서 생성된 예측 화상 데이터 및 (차분 움직임 벡터 정보를 포함할 수 있음) 인터 예측에 관한 정보는, 셀렉터(27)를 개재하여, 감산부(13) 및 가역 부호화부(16)에 각각 출력될 수 있다.
이와 같이, 제1 실시예에서는, 상위 레이어의 인터 예측에 관한 정보로서 프리딕터 정보가 부호화되지 않고, 하위 레이어의 프리딕터 정보가 재이용되기 때문에, 인터 예측에 관한 정보의 부호량을 삭감할 수 있다.
[2-2. 제2 실시예]
도 8은, 제2 실시예에 관한 움직임 탐색부(40)의 상세한 구성의 일례를 나타내는 블록도이다. 도 8을 참조하면, 움직임 탐색부(40)는, 탐색 제어부(241), 움직임 벡터 산출부(242), 움직임 벡터 예측부(243), 움직임 벡터 버퍼(244), 모드 선택부(245) 및 정보 생성부(246)를 갖는다.
(1) 베이스 레이어
본 실시예에 관한 베이스 레이어의 움직임 탐색 처리는, 상술한 제1 실시예에 관한 베이스 레이어의 움직임 탐색 처리와 마찬가지이면 된다. 단, 본 실시예에서는, 베이스 레이어의 프리딕터 정보는 버퍼링되지 않아도 되고, 베이스 레이어의 움직임 벡터 정보가 레이어를 걸쳐서 버퍼링된다. 베이스 레이어의 움직임 탐색 처리에 있어서, 탐색 제어부(241)는, 부호화 단위 내에 하나 이상의 예측 단위를 배치하고, 각 예측 단위에 대하여 움직임 벡터 산출부(242)에 움직임 벡터를 산출시킨다. 움직임 벡터 산출부(242)에 의해 산출된 움직임 벡터는, 움직임 벡터 예측부(243)로 출력됨과 함께, 움직임 벡터 버퍼(244)에 기억된다. 움직임 벡터 예측부(243)는, 복수의 프리딕터 후보의 각각에 따라서, 움직임 벡터 버퍼(244)에 기억되어 있는 참조 움직임 벡터를 사용하여 예측 움직임 벡터를 생성한다. 그리고, 움직임 벡터 예측부(243)는, 움직임 벡터 산출부(242)에 의해 산출된 움직임 벡터와 예측 움직임 벡터의 차분인 차분 움직임 벡터를 산출한다. 모드 선택부(245)는, 움직임 벡터 산출부(242)에 의해 산출된 움직임 벡터를 사용하여 예측 화상 데이터를 생성하고, 생성한 예측 화상 데이터와 원 화상 데이터의 비교에 기초하여 계산되는 비용 함수값을 평가한다. 그리고, 모드 선택부(245)는, 비용 함수값을 최소로 하는 최적의 예측 단위의 배치와 각 예측 단위에 관한 최적의 프리딕터를 선택한다. 정보 생성부(246)는, 각 예측 단위에 대하여 선택된 최적의 프리딕터를 나타내는 프리딕터 정보 및 대응하는 차분 움직임 벡터를 나타내는 차분 움직임 벡터 정보를 포함하는 인터 예측에 관한 정보를 생성한다. 그리고, 정보 생성부(246)는, 생성한 인터 예측에 관한 정보, 비용 함수값 및 예측 화상 데이터를 셀렉터(27)로 출력한다.
(2) 인핸스먼트 레이어
본 실시예에 관한 베이스 레이어의 움직임 탐색 처리에서 탐색되는 프리딕터 후보는, 상술한 공간적 프리딕터 및 시간적 프리딕터의 한쪽 또는 양쪽을 포함해도 된다. 또한, 본 실시예에 관한 인핸스먼트 레이어의 움직임 탐색 처리에서는, 추가적인 프리딕터 후보가 도입된다. 여기서 도입되는 프리딕터 후보는, 하위 레이어가 대응하는 예측 단위에 설정된 움직임 벡터를 참조 움직임 벡터로 하는 프리딕터 후보이다. 이러한 프리딕터를, 본 명세서에서는, 레이어간 프리딕터라고 한다.
도 9는, 레이어간 프리딕터의 일례에 대하여 설명하기 위한 설명도이다. 도 9를 참조하면, 상위 레이어인 레이어(L12) 내의 예측 단위(PTe) 및 예측 단위(PTe)의 예측 움직임 벡터(PMVe)가 도시되어 있다. 하위 레이어인 레이어(L11) 내의 예측 단위(PTbase)는, 예측 단위(PTe)에 대응하는 예측 단위이다. 참조 움직임 벡터(MVbase)는, 예측 단위(PTbase)에 설정된 움직임 벡터이다. 레이어간 프리딕터는, 예를 들어 다음 식 (8)에 의해 표현될 수 있다.
Figure pct00005
또한, 하위 레이어와 상위 레이어에서 공간 해상도가 상이한 경우에는, 하위 레이어와 상위 레이어 사이의 공간 해상도의 비율(N)에 따라서 다음 식과 같이 확대된 움직임 벡터가, 레이어간 프리딕터로서 사용되어도 된다. 그때, 레이어간 프리딕터의 수직 성분 및 수평 성분의 값은, 상위 레이어의 움직임 벡터의 정밀도(예를 들어, 1/4 화소 정밀도 등)에 적합하도록 라운딩할 수 있다.
Figure pct00006
제1 실시예와 달리, 본 실시예에서는, 인핸스먼트 레이어의 움직임 탐색 처리에서도, 복수의 프리딕터 후보로부터의 최적의 프리딕터의 선택이 행해진다.
우선, 탐색 제어부(241)는, 부호화 단위 내의 각 예측 단위에 대하여 움직임 벡터 산출부(242)에 움직임 벡터를 산출시킨다. 움직임 벡터 산출부(242)에 의해 산출된 움직임 벡터는, 움직임 벡터 예측부(243)로 출력됨과 함께, 움직임 벡터 버퍼(244)에 기억된다. 움직임 벡터 버퍼(244)에는, 하위 레이어의 각 예측 단위에 대하여 산출된 움직임 벡터(참조 움직임 벡터)도 또한 기억되어 있다. 움직임 벡터 예측부(243)는, 복수의 프리딕터 후보의 각각에 따라서, 움직임 벡터 버퍼(244)에 기억되어 있는 참조 움직임 벡터를 사용하여 예측 움직임 벡터를 생성한다. 여기에서의 복수의 프리딕터 후보는, 상술한 레이어간 프리딕터를 포함한다. 그리고, 움직임 벡터 예측부(243)는, 움직임 벡터 산출부(242)에 의해 산출된 움직임 벡터와 예측 움직임 벡터의 차분인 차분 움직임 벡터를 산출한다. 모드 선택부(245)는, 움직임 벡터 산출부(242)에 의해 산출된 움직임 벡터를 사용하여 예측 화상 데이터를 생성하고, 생성한 예측 화상 데이터와 원 화상 데이터의 비교에 기초하여 계산되는 비용 함수값을 평가한다. 그리고, 모드 선택부(245)는, 각 예측 단위에 대한 최적의 프리딕터를 선택한다. 정보 생성부(246)는, 각 예측 단위에 대하여 선택된 최적의 프리딕터를 나타내는 프리딕터 정보 및 대응하는 차분 움직임 벡터를 나타내는 차분 움직임 벡터 정보를 포함하는 인터 예측에 관한 정보를 생성한다. 상술한 레이어간 프리딕터가 최적의 프리딕터로서 선택된 경우에는, 프리딕터 정보는, 하위 레이어의 참조 움직임 벡터를 특정하는 인덱스를 포함할 수 있다. 그리고, 정보 생성부(246)는, 생성한 인터 예측에 관한 정보, 비용 함수값 및 예측 화상 데이터를 셀렉터(27)로 출력한다.
(3) 처리의 흐름
도 10은, 본 실시예에 관한 움직임 탐색부(40)에 의한 움직임 탐색 처리의 흐름의 일례를 나타내는 흐름도이다. 도 10을 참조하면, 우선, 움직임 탐색부(40)는 베이스 레이어의 움직임 탐색 처리를 행한다(스텝 S120). 그 결과, 각 부호화 단위 내의 예측 단위의 배치가 결정되고, 각 예측 단위의 최적의 프리딕터가 선택된다. 움직임 벡터 버퍼(244)는, 각 예측 단위에 대하여 산출된 움직임 벡터를 버퍼링한다.
스텝 S121 내지 S127의 처리는, 인핸스먼트 레이어의 움직임 탐색 처리이다. 이러한 처리 중 스텝 S121 내지 S126의 처리는, 각 인핸스먼트 레이어의 각 주목 PU에 대하여 반복된다. 또한, 이하의 설명에서, "상위 레이어"는 예측 대상의 레이어이며, "하위 레이어"는 예측 대상의 레이어의 하위의 레이어이다.
우선, 움직임 벡터 산출부(242)는, 상위 레이어의 1개의 주목 PU에 대해서, 원 화상의 화소값 및 프레임 메모리(25)로부터 입력되는 참조 화상의 화소값에 기초하여, 움직임 벡터를 산출한다(스텝 S121). 그리고, 움직임 벡터 산출부(242)는, 산출한 움직임 벡터를, 움직임 벡터 예측부(243) 및 움직임 벡터 버퍼(244)로 출력한다.
이어서, 움직임 벡터 예측부(243)는, 복수의 프리딕터 후보의 각각에 따라, 움직임 벡터 버퍼(244)에 기억되어 있는 참조 움직임 벡터를 사용하여, 주목 PU에 관한 예측 움직임 벡터를 각각 생성한다(스텝 S122). 여기에서의 복수의 프리딕터 후보는, 레이어간 프리딕터를 포함한다. 이어서, 움직임 벡터 예측부(243)는, 복수의 프리딕터 후보의 각각에 대해서, 차분 움직임 벡터를 각각 산출한다(스텝 S123). 그리고, 움직임 벡터 예측부(243)는, 각 프리딕터 후보에 관한 움직임 벡터 및 차분 움직임 벡터를 모드 선택부(245)로 출력한다.
이어서, 모드 선택부(245)는, 각 프리딕터 후보에 대하여 예측 화상 데이터를 생성하고, 비용 함수값을 평가함으로써 최적의 프리딕터를 선택한다(스텝 S124). 그리고, 정보 생성부(246)는, 선택된 최적의 프리딕터를 나타내는 프리딕터 정보 및 대응하는 차분 움직임 벡터를 나타내는 차분 움직임 벡터 정보를 생성한다(스텝 S125).
그 후, 예측 대상의 레이어 내에 미처리 PU가 남아있을 경우에는, 처리는 스텝 S121로 복귀된다(스텝 S126). 한편, 미처리 PU가 남아있지 않을 경우에는, 나머지 레이어(보다 상위의 레이어)가 더 존재하는지가 판정된다(스텝 S127). 여기서, 나머지 레이어가 존재하는 경우에는, 지금까지의 예측 대상의 레이어를 하위 레이어, 다음의 레이어를 상위 레이어로 해서, 스텝 S121 이후의 처리가 반복된다. 하위 레이어의 각 주목 PU에 대하여 산출된 움직임 벡터는, 움직임 벡터 버퍼(244)에 의해 버퍼링된다. 나머지 레이어가 존재하지 않는 경우에는, 도 10의 움직임 탐색 처리는 종료한다. 여기서 생성된 예측 화상 데이터 및 (프리딕터 정보와 차분 움직임 벡터 정보를 포함할 수 있음) 인터 예측에 관한 정보는, 셀렉터(27)를 개재하여, 감산부(13) 및 가역 부호화부(16)에 각각 출력될 수 있다.
이와 같이, 제2 실시예에서는, 상위 레이어의 인터 예측에 관한 정보로서, 하위 레이어에 설정된 움직임 벡터에 기초하는 레이어간 프리딕터를 사용해야 하는 것을 나타내는 프리딕터 정보가 부호화될 수 있다. 따라서, 움직임의 상관이 현저한 하위 레이어가 대응하는 예측 단위에 기초하는 움직임 벡터의 예측이 가능하게 된다. 따라서, 움직임 벡터의 예측의 정밀도가 높아지는 결과, 차분 움직임 벡터의 부호량을 삭감할 수 있다.
또한, 프리딕터 정보를 부호화하는 가역 부호화부(16)는, 상위 레이어의 프리딕터 정보의 부호화에 있어서, 복수의 프리딕터 후보 중에서 레이어간 프리딕터 에 최소의 부호 번호를 할당해도 된다. 통상, 레이어간의 움직임의 상관은, 움직임의 공간적인 상관 및 움직임의 시간적인 상관보다 강하다. 따라서, 레이어간 프리딕터에 최소의 부호 번호를 할당함으로써, 가변 길이 부호화 후의 부호화 스트림에 있어서 보다 짧은 부호어를 보다 많이 사용하는 것이 가능하게 되어, 부호량의 삭감이 더욱 도모된다.
[2-3. 제3 실시예]
도 11은, 제3 실시예에 관한 움직임 탐색부(40)의 상세한 구성의 일례를 나타내는 블록도이다. 도 11을 참조하면, 움직임 탐색부(40)는, 탐색 제어부(341), 움직임 벡터 산출부(342), 움직임 벡터 버퍼(344), 모드 선택부(345), 정보 생성부(346) 및 머지 정보 버퍼(347)를 갖는다.
(1) 베이스 레이어
베이스 레이어의 움직임 탐색 처리에 있어서, 탐색 제어부(341)는, 부호화 단위 내에 하나 이상의 예측 단위를 배치하고, 각 예측 단위에 대하여 움직임 벡터 산출부(342)에 움직임 벡터를 산출시킨다. 움직임 벡터 산출부(342)에 의해 산출된 움직임 벡터는, 모드 선택부(345)로 출력됨과 함께, 움직임 벡터 버퍼(344)에 기억된다. 모드 선택부(345)는, 어떤 예측 단위에 대하여 움직임 벡터 산출부(342)에 의해 산출된 움직임 벡터가 인접하는 하나 이상의 예측 단위에 설정된 참조 움직임 벡터와 공통일 경우에, 이들 예측 단위를 머지하는 것을 결정한다. 상기 비특허문헌 3에 의해 제안되어 있는 방법에서는, 어떤 예측 단위는, 위로 인접하는 예측 단위 또는 왼쪽으로 인접하는 예측 단위와 머지될 수 있다. 즉, 모드 선택부(345)는, 예를 들어 머지 모드로서, 위로 인접하는 예측 단위와의 머지, 왼쪽으로 인접하는 예측 단위와의 머지, 또는 머지 없음 중 어느 하나를 선택할 수 있다. 또한, 모드 선택부(345)는, 각 예측 단위에 대하여 예측 화상 데이터를 생성하고, 생성한 예측 화상 데이터와 원 화상 데이터의 비교에 기초하여 비용 함수값을 계산한다. 정보 생성부(346)는, 각 예측 단위에 대한 머지 모드를 나타내는 머지 정보와, 다른 예측 단위와 머지되지 않는 예측 단위에 대한 움직임 벡터 정보를 포함하는 인터 예측에 관한 정보를 생성한다. 그리고, 정보 생성부(346)는, 생성한 인터 예측에 관한 정보, 비용 함수값 및 예측 화상 데이터를 셀렉터(27)로 출력한다.
본 실시예에서 생성되는 머지 정보는, 예를 들어 "MergeFlag" 및 "MergeLeftFlag"라는 2개의 플래그를 포함할 수 있다. MergeFlag는, 주목 PU의 움직임 벡터가 적어도 1개의 인접 PU의 움직임 벡터와 공통인지 여부를 나타내는 플래그이다. 예를 들어, MergeFlag=1인 경우, 주목 PU의 움직임 벡터는 적어도 1개의 인접 PU의 움직임 벡터와 공통이다. MergeFlag=0인 경우, 주목 PU의 움직임 벡터는 어느 쪽의 인접 PU의 움직임 벡터와도 상이하다. MergeFlag=0인 경우, MergeLeftFlag는 부호화되지 않고, 그 대신에 주목 PU에 대하여 움직임 벡터(및 참조 화상 정보 등의 움직임 정보)가 부호화된다. MergeFlag=1이며, 2개의 인접 PU의 움직임 벡터가 공통인 경우에도, MergeLeftFlag는 부호화되지 않아도 된다.
MergeLeftFlag는, 주목 PU의 움직임 벡터가 좌측의 인접 PU의 움직임 벡터와 공통인지 여부를 나타내는 플래그이다. 예를 들어, MergeLeftFlag=1인 경우, 주목 PU의 움직임 벡터는 좌측의 인접 PU의 움직임 벡터와 공통이다. MergeLeftFlag=0인 경우, 주목 PU의 움직임 벡터는, 좌측의 인접 PU의 움직임 벡터와 상이하고, 위의 인접 PU의 움직임 벡터와 공통이다.
도 12a 내지 도 12c는, 본 실시예에서 생성될 수 있는 머지 정보의 예를 각각 나타내고 있다. 이들 3개의 도에서, 레이어(L21) 내의 주목 PU인 예측 단위(B20)가 도시되어 있다. 예측 단위(B21 및 B22)는, 각각 예측 단위(B20)의 좌측 및 위로 인접하고 있다. 움직임 벡터(MV20)는, 예측 단위(B20)에 대하여 움직임 벡터 산출부(342)에 의해 산출된 움직임 벡터이다. 움직임 벡터(MV21 및 MV22)는, 각각 예측 단위(B21 및 B22)에 설정된 참조 움직임 벡터이다.
도 12a의 예에서, 움직임 벡터(MV20)는, 참조 움직임 벡터(MV21 및 MV22)의 양쪽과 공통이다. 이 경우, 정보 생성부(346)는, 머지 정보로서, MergeFlag=1을 생성한다. MergeLeftFlag는, 머지 정보에는 포함되지 않는다. 이러한 머지 정보를 수취한 복호측은, MergeLeftFlag를 복호하지 않고, 예측 단위(B21 또는 B22)에 설정된 움직임 벡터와 공통인 움직임 벡터를 예측 단위(B20)에 설정할 수 있다.
도 12b의 예에서, 움직임 벡터(MV20)는, 참조 움직임 벡터(MV21)와 공통이며, 참조 움직임 벡터(MV22)와 상이하다. 이 경우, 정보 생성부(346)는, 머지 정보로서, MergeFlag=1 및 MergeLeftFlag=1을 생성한다. 이러한 머지 정보를 수취한 복호측은, 예측 단위(B21)에 설정된 움직임 벡터와 공통인 움직임 벡터를 예측 단위(B20)에 설정할 수 있다.
도 12c의 예에서, 움직임 벡터(MV20)는, 참조 움직임 벡터(MV22)와 공통이며, 참조 움직임 벡터(MV21)와 상이하다. 이 경우, 정보 생성부(346)는, 머지 정보로서, MergeFlag=1 및 MergeLeftFlag=0을 생성한다. 이러한 머지 정보를 수취한 복호측은, 예측 단위(B22)에 설정된 움직임 벡터와 공통인 움직임 벡터를 예측 단위(B20)에 설정할 수 있다.
(2) 인핸스먼트 레이어
인핸스먼트 레이어의 움직임 탐색 처리에서는, 머지 정보 버퍼(347)에 기억되어 있는 하위 레이어의 머지 정보를 사용하여, 각 예측 단위에 움직임 벡터가 설정된다.
우선, 탐색 제어부(341)는, 상위 레이어의 부호화 단위 내의 각 예측 단위에 대응하는 하위 레이어 내의 예측 단위에 관한 머지 정보를 머지 정보 버퍼(347)로부터 취득한다. 그리고, 탐색 제어부(341)는, 취득한 머지 정보가 머지 없음을 나타내고 있을 경우(예를 들어, MergeFlag=0)에는, 상위 레이어의 당해 예측 단위에 대하여 움직임 벡터 산출부(342)에 움직임 벡터를 산출시킨다. 움직임 벡터 산출부(342)에 의해 산출된 움직임 벡터는, 모드 선택부(345)로 출력됨과 함께, 움직임 벡터 버퍼(344)에 기억된다. 한편, 탐색 제어부(341)는, 취득한 머지 정보가 다른 예측 단위와의 머지를 나타내고 있을 경우에는, 상위 레이어의 당해 예측 단위에 대하여 움직임 벡터 산출부(342)에 움직임 벡터를 산출시키지 않는다. 그 대신에, 모드 선택부(345)는, 다른 예측 단위와 머지되는 예측 단위에 대해서, 움직임 벡터 버퍼(344)로부터 취득되는 (머지처의 예측 단위의) 움직임 벡터(예를 들어, MergeLeftFlag=1이면, 왼쪽으로 인접하는 예측 단위의 움직임 벡터)를 사용하여 예측 화상 데이터를 생성하고 및 비용 함수값을 계산한다. 한편, 모드 선택부(345)는, 다른 예측 단위와 머지되지 않는 예측 단위에 대해서는, 움직임 벡터 산출부(342)로부터 입력되는 움직임 벡터를 사용하여 예측 화상 데이터를 생성하고 및 비용 함수값을 계산한다. 정보 생성부(346)는, 다른 예측 단위와 머지되지 않는 예측 단위에 관한 움직임 벡터 정보를 포함하는 인터 예측에 관한 정보를 생성한다. 그리고, 정보 생성부(346)는, 생성한 인터 예측에 관한 정보, 비용 함수값 및 예측 화상 데이터를 셀렉터(27)로 출력한다.
(3) 처리의 흐름
도 13은, 본 실시예에 관한 움직임 탐색부(40)에 의한 움직임 탐색 처리의 흐름의 일례를 나타내는 흐름도이다. 도 13을 참조하면, 우선, 움직임 탐색부(40)는, 베이스 레이어의 움직임 탐색 처리를 행한다(스텝 S130). 그 결과, 각 부호화 단위 내의 예측 단위의 배치가 결정되고, 각 예측 단위의 머지 모드가 선택된다. 움직임 벡터 버퍼(344)는, 각 예측 단위에 대하여 산출된 움직임 벡터를 버퍼링한다. 머지 정보 버퍼(347)는, 각 예측 단위에 대하여 선택된 머지 모드를 나타내는 머지 정보를 설정 정보로서 버퍼링한다.
스텝 S131 내지 S136의 처리는, 인핸스먼트 레이어의 움직임 탐색 처리이다. 이들 처리 중 스텝 S131 내지 S135의 처리는, 각 인핸스먼트 레이어의 각 주목 PU에 대하여 반복된다. 또한, 이하의 설명에서, "상위 레이어"는, 예측 대상의 레이어이며, "하위 레이어"는 예측 대상의 레이어의 하위의 레이어이다.
우선, 탐색 제어부(341)는, 상위 레이어의 1개의 주목 PU에 대해서, 대응하는 하위 레이어의 PU가 다른 PU와 머지되어 있는지를, 머지 정보 버퍼(347)에 기억되어 있는 머지 정보를 참조함으로써 판정한다(스텝 S131). 여기서, 대응하는 하위 레이어의 PU가 다른 PU와 머지되어 있는 경우에는, 주목 PU도 또한 다른 PU와 머지되기 때문에, 그 후의 스텝 S132의 처리는 스킵된다.
스텝 S132에서, 움직임 벡터 산출부(342)는, 다른 PU와 머지되지 않는 주목 PU에 대해서, 원 화상의 화소값 및 프레임 메모리(25)로부터 입력되는 참조 화상의 화소값에 기초하여, 움직임 벡터를 산출한다(스텝 S132). 그리고, 움직임 벡터 산출부(342)는, 산출한 움직임 벡터를, 모드 선택부(345) 및 움직임 벡터 버퍼(344)로 출력한다.
이어서, 모드 선택부(345)는, 움직임 벡터 산출부(342)에 의해 산출되거나 또는 움직임 벡터 버퍼(344)로부터 취득되는 움직임 벡터를 사용하여 예측 화상 데이터를 생성하고, 비용 함수값을 계산한다(스텝 S133). 그리고, 정보 생성부(346)는, 다른 PU와 머지되지 않는 주목 PU에 대하여 움직임 벡터 정보를 생성한다(스텝 S134).
그 후, 예측 대상의 레이어 내에 미처리 PU가 남아있을 경우에는, 처리는 스텝 S131로 복귀된다(스텝 S135). 한편, 미처리 PU가 남아있지 않을 경우에는, 나머지 레이어(보다 상위의 레이어)가 더 존재하는지가 판정된다(스텝 S136), 여기서, 나머지 레이어가 존재하는 경우에는, 지금까지의 예측 대상의 레이어를 하위 레이어, 다음의 레이어를 상위 레이어로 해서, 스텝 S131 이후의 처리가 반복된다. 하위 레이어의 각 주목 PU에 대하여 산출된 움직임 벡터는, 움직임 벡터 버퍼(344)에 의해 버퍼링된다. 머지 정보는, 머지 정보 버퍼(347)에 의해 계속해서 버퍼링된다. 나머지 레이어가 존재하지 않는 경우에는, 도 13의 움직임 탐색 처리는 종료한다. 여기서 생성된 예측 화상 데이터 및 인터 예측에 관한 정보는, 셀렉터(27)를 개재하여, 감산부(13) 및 가역 부호화부(16)에 각각 출력될 수 있다.
이와 같이, 제3 실시예에서는, 상위 레이어의 인터 예측에 관한 정보로서 머지 정보가 부호화되지 않고, 하위 레이어의 머지 정보가 재이용되기 때문에, 인터 예측에 관한 정보의 부호량을 삭감할 수 있다.
[2-4. 제4 실시예]
도 14는, 제4 실시예에 관한 움직임 탐색부(40)의 상세한 구성의 일례를 나타내는 블록도이다. 도 14를 참조하면, 움직임 탐색부(40)는, 탐색 제어부(441), 움직임 벡터 산출부(442), 움직임 벡터 버퍼(444), 모드 선택부(445) 및 정보 생성부(446)를 갖는다.
(1) 베이스 레이어
본 실시예에 관한 베이스 레이어의 움직임 탐색 처리는, 상술한 제3 실시예에 관한 베이스 레이어의 움직임 탐색 처리와 마찬가지이어도 된다. 단, 본 실시예에서는, 베이스 레이어의 머지 정보는 버퍼링되지 않아도 된다. 베이스 레이어의 움직임 탐색 처리에 있어서, 탐색 제어부(441)는, 부호화 단위 내에 하나 이상의 예측 단위를 배치하고, 각 예측 단위에 대하여 움직임 벡터 산출부(442)에 움직임 벡터를 산출시킨다. 움직임 벡터 산출부(442)에 의해 산출된 움직임 벡터는, 모드 선택부(445)로 출력됨과 함께, 움직임 벡터 버퍼(444)에 기억된다. 모드 선택부(445)는, 어떤 예측 단위에 대하여 움직임 벡터 산출부(442)에 의해 산출된 움직임 벡터가 인접하는 하나 이상의 예측 단위에 설정된 참조 움직임 벡터와 공통일 경우에, 이들 예측 단위를 머지하는 것을 결정한다. 모드 선택부(445)는, 각 예측 단위에 대하여 예측 화상 데이터를 생성하고, 생성한 예측 화상 데이터와 원 화상 데이터의 비교에 기초하여 비용 함수값을 계산한다. 정보 생성부(346)는, 각 예측 단위에 관한 머지 모드를 나타내는 머지 정보와, 다른 예측 단위와 머지되지 않는 예측 단위에 관한 움직임 벡터 정보를 포함하는 인터 예측에 관한 정보를 생성한다. 그리고, 정보 생성부(346)는, 생성한 인터 예측에 관한 정보, 비용 함수값 및 예측 화상 데이터를 셀렉터(27)로 출력한다.
(2) 인핸스먼트 레이어
본 실시예에 관한 베이스 레이어의 움직임 탐색 처리에서 생성되는 머지 정보는, 제3 실시예와 마찬가지의 "MergeFlag" 및 "MergeLeftFlag"라는 2개의 플래그를 포함해도 된다. 이에 반해, 인핸스먼트 레이어의 움직임 탐색 처리에서 생성되는 머지 정보는, "MergeBaseFlag"라는 새로운 플래그를 추가적으로 포함할 수 있다. MergeBaseFlag는, 주목 PU의 움직임 벡터가 대응하는 하위 레이어의 PU의 움직임 벡터와 공통인지 여부를 나타내는 플래그이다. 예를 들어, MergeBaseFlag=1인 경우, 주목 PU의 움직임 벡터는 대응하는 하위 레이어의 PU의 움직임 벡터와 공통이다.
도 15a 내지 도 15c는, 본 실시예에서 생성될 수 있는 머지 정보의 예를 각각 나타내고 있다. 이들 3개의 도에서, 상위 레이어(L30) 내의 주목 PU인 예측 단위(B30)가 도시되어 있다. 예측 단위(B31 및 B32)는, 각각 예측 단위(B30)의 좌측 및 위로 인접하고 있다. 움직임 벡터(MV30)는, 예측 단위(B30)에 대하여 움직임 벡터 산출부(442)에 의해 산출된 움직임 벡터이다. 움직임 벡터(MV31 및 MV32)는, 각각 예측 단위(B31 및 B32)에 설정된 참조 움직임 벡터이다. 하위 레이어(L21) 내의 주목 PU에 대응하는 PU인 예측 단위(B20)도 또한 나타나 있다. 움직임 벡터(MV20)는, 예측 단위(B20)에 대하여 버퍼링되어 있는 참조 움직임 벡터이다.
도 15a의 예에서, 움직임 벡터(MV30)는, 참조 움직임 벡터(MV31, MV32 및 MV20)의 모두와 공통이다. 이 경우, 정보 생성부(446)는, 머지 정보로서 MergeFlag=1을 생성한다. MergeBaseFlag 및 MergeLeftFlag는, 머지 정보에는 포함되지 않는다. 이러한 머지 정보를 수취한 복호측은, MergeBaseFlag 및 MergeLeftFlag를 복호하지 않고, 예측 단위(B20, B31 또는 B32)에 설정된 움직임 벡터와 공통인 움직임 벡터를 예측 단위(B30)에 설정할 수 있다.
도 15b의 예에서, 움직임 벡터(MV30)는, 참조 움직임 벡터(MV20)와 공통이고, 참조 움직임 벡터(MV31 및 MV32)와 상이하다. 이 경우, 정보 생성부(446)는, 머지 정보로서 MergeFlag=1 및 MergeBaseFlag=1을 생성한다. 이러한 머지 정보를 수취한 복호측은, 하위 레이어(L21) 내의 예측 단위(B20)에 설정된 움직임 벡터와 공통인 움직임 벡터를 상위 레이어(L30) 내의 예측 단위(B30)에 설정할 수 있다.
도 15c의 예에서, 움직임 벡터(MV30)는, 참조 움직임 벡터(MV31)와 공통이고, 참조 움직임 벡터(MV20 및 MV32)와 상이하다. 이 경우, 정보 생성부(446)는, 머지 정보로서 MergeFlag=1, MergeBaseFlag=0 및 MergeLeftFlag=1을 생성한다. 이러한 머지 정보를 수취한 복호측은, 예측 단위(B31)에 설정된 움직임 벡터와 공통인 움직임 벡터를 예측 단위(B30)에 설정할 수 있다.
인핸스먼트 레이어의 움직임 탐색 처리에 있어서, 탐색 제어부(441)는, 부호화 단위 내의 각 예측 단위에 대하여 움직임 벡터 산출부(442)에 움직임 벡터를 산출시킨다. 움직임 벡터 산출부(442)에 의해 산출된 움직임 벡터는, 모드 선택부(445)로 출력됨과 함께, 움직임 벡터 버퍼(444)에 기억된다. 움직임 벡터 버퍼(444)에는, 하위 레이어의 각 예측 단위에 대하여 산출된 움직임 벡터(참조 움직임 벡터)도 또한 기억되어 있다. 모드 선택부(445)는, 어떤 예측 단위에 대하여 움직임 벡터 산출부(442)에 의해 산출된 움직임 벡터가 인접하는 예측 단위 또는 하위 레이어 내의 대응하는 예측 단위에 설정된 참조 움직임 벡터와 공통인 경우에, 이들 예측 단위를 머지하는 것을 결정한다. 즉, 모드 선택부(445)는, 예를 들어 머지 모드로서, 하위 레이어와의 머지, 위로 인접하는 예측 단위와의 머지 또는 왼쪽으로 인접하는 예측 단위와의 머지, 또는 머지 없음 중 어느 하나를 선택할 수 있다. 또한, 모드 선택부(445)는, 각 예측 단위에 대하여 예측 화상 데이터를 생성하고, 생성한 예측 화상 데이터와 원 화상 데이터의 비교에 기초하여 비용 함수값을 계산한다. 정보 생성부(346)는, 각 예측 단위에 관한 머지 모드를 나타내는 머지 정보와, 다른 예측 단위와 머지되지 않는 예측 단위에 관한 움직임 벡터 정보를 포함하는 인터 예측에 관한 정보를 생성한다. 그리고, 정보 생성부(346)는, 생성한 인터 예측에 관한 정보, 비용 함수값 및 예측 화상 데이터를 셀렉터(27)로 출력한다.
(3) 처리의 흐름
도 16은, 본 실시예에 관한 움직임 탐색부(40)에 의한 움직임 탐색 처리의 흐름의 일례를 나타내는 흐름도이다. 도 16을 참조하면, 우선, 움직임 탐색부(40)는, 베이스 레이어의 움직임 탐색 처리를 행한다(스텝 S140). 그 결과, 각 부호화 단위 내의 예측 단위의 배치가 결정되고, 각 예측 단위의 머지 모드가 선택된다. 움직임 벡터 버퍼(444)는, 각 예측 단위에 대하여 산출된 움직임 벡터를 버퍼링한다.
스텝 S141 내지 S146의 처리는, 인핸스먼트 레이어의 움직임 탐색 처리이다. 이들 처리 중 스텝 S141 내지 S145의 처리는, 각 인핸스먼트 레이어의 각 주목 PU에 대하여 반복된다. 또한, 이하의 설명에서, "상위 레이어"는 예측 대상의 레이어이며, "하위 레이어"는 예측 대상의 레이어의 하위의 레이어이다.
우선, 움직임 벡터 산출부(442)는, 상위 레이어의 1개의 주목 PU에 대해서, 원 화상의 화소값 및 프레임 메모리(25)로부터 입력되는 참조 화상의 화소값에 기초하여, 움직임 벡터를 산출한다(스텝 S141). 그리고, 움직임 벡터 산출부(442)는, 산출한 움직임 벡터를, 모드 선택부(445) 및 움직임 벡터 버퍼(444)로 출력한다.
이어서, 모드 선택부(445)는, 움직임 벡터 산출부(442)에 의해 산출된 움직임 벡터를 움직임 벡터 버퍼(444)에 기억되어 있는 참조 움직임 벡터와 비교함으로써, 머지 모드를 선택한다(스텝 S142). 예를 들어, 주목 PU에 대하여 산출된 움직임 벡터가 하위 레이어 내의 대응하는 PU에 대하여 버퍼링되어 있는 참조 움직임 벡터와 공통인 경우에는, 하위 레이어와의 머지가 선택될 수 있다.
이어서, 모드 선택부(445)는, 주목 PU에 관한 움직임 벡터를 사용하여 예측 화상 데이터를 생성하고, 비용 함수값을 계산한다(스텝 S144). 그리고, 정보 생성부(446)는, 주목 PU에 관한 머지 정보(및 다른 PU와 머지되지 않는 주목 PU에 대해서는 움직임 벡터 정보)를 포함하는 설정 정보를 생성한다(스텝 S144).
그 후, 예측 대상의 레이어 내에 미처리 PU가 남아있을 경우에는, 처리는 스텝 S141로 복귀된다(스텝 S145). 한편, 미처리 PU가 남아있지 않을 경우에는, 나머지 레이어(보다 상위의 레이어)가 더 존재하는지가 판정된다(스텝 S146). 여기서, 나머지 레이어가 존재하는 경우에는, 지금까지의 예측 대상의 레이어를 하위 레이어, 다음의 레이어를 상위 레이어로 해서, 스텝 S141 이후의 처리가 반복된다. 하위 레이어의 각 주목 PU에 대하여 산출된 움직임 벡터는, 움직임 벡터 버퍼(444)에 의해 버퍼링된다. 나머지 레이어가 존재하지 않는 경우에는, 도 16의 움직임 탐색 처리는 종료한다. 여기서 생성된 예측 화상 데이터 및 인터 예측에 관한 정보는, 셀렉터(27)를 개재하여, 감산부(13) 및 가역 부호화부(16)에 각각 출력될 수 있다.
이와 같이, 제4 실시예에서는, 상위 레이어의 인터 예측에 관한 정보로서, 주목 PU가 하위 레이어 내의 대응하는 PU와 머지되는 것(공통되는 움직임 벡터가 설정되는 것)을 나타내는 머지 정보가 부호화될 수 있다. 따라서, 움직임의 상관이 현저한 하위 레이어와의 사이의 예측 단위의 머지가 가능하게 되고, 머지되는 상위 레이어 내의 예측 단위에 대해서는 움직임 벡터가 부호화되지 않기 때문에, 부호량을 효과적으로 삭감할 수 있다.
<3. 화상 복호 장치의 구성예>
도 17은, 일 실시 형태에 따른 화상 복호 장치(60)의 구성의 일례를 나타내는 블록도이다. 도 17을 참조하면, 화상 복호 장치(60)는, 축적 버퍼(61), 가역 복호부(62), 역양자화부(63), 역직교 변환부(64), 가산부(65), 디블록 필터(66), 재배열 버퍼(67), D/A(Digital to Analogue) 변환부(68), 프레임 메모리(69), 셀렉터(70 및 71), 인트라 예측부(80), 및 움직임 보상부(90)를 구비한다.
축적 버퍼(61)는, 전송로를 개재하여 입력되는 부호화 스트림을 일시적으로 축적한다.
가역 복호부(62)는, 축적 버퍼(61)로부터 입력되는 부호화 스트림을, 부호화 시에 사용된 부호화 방식에 따라서 복호한다. 또한, 가역 복호부(62)는, 부호화 스트림의 헤더 영역에 다중화되어 있는 정보를 복호한다. 부호화 스트림의 헤더 영역에 다중화되어 있는 정보란, 예를 들어 상술한 인터 예측에 관한 정보 및 인트라 예측에 관한 정보를 포함할 수 있다. 가역 복호부(62)는, 인터 예측에 관한 정보를 움직임 보상부(90)로 출력한다. 또한, 가역 복호부(62)는, 인트라 예측에 관한 정보를 인트라 예측부(80)로 출력한다.
역양자화부(63)는, 가역 복호부(62)에 의한 복호 후의 양자화 데이터를 역양자화한다. 역직교 변환부(64)는, 부호화 시에 사용된 직교 변환 방식에 따라, 역양자화부(63)로부터 입력되는 변환 계수 데이터에 대하여 역직교 변환을 행함으로써, 예측 오차 데이터를 생성한다. 그리고, 역직교 변환부(64)는, 생성한 예측 오차 데이터를 가산부(65)로 출력한다.
가산부(65)는, 역직교 변환부(64)로부터 입력되는 예측 오차 데이터와, 셀렉터(71)로부터 입력되는 예측 화상 데이터를 가산함으로써, 복호 화상 데이터를 생성한다. 그리고, 가산부(65)는, 생성한 복호 화상 데이터를 디블록 필터(66) 및 프레임 메모리(69)로 출력한다.
디블록 필터(66)는, 가산부(65)로부터 입력되는 복호 화상 데이터를 필터링함으로써 블록 왜곡을 제거하고, 필터링 후의 복호 화상 데이터를 재배열 버퍼(67) 및 프레임 메모리(69)로 출력한다.
재배열 버퍼(67)는, 디블록 필터(66)로부터 입력되는 화상을 재배열함으로써, 시계열의 일련의 화상 데이터를 생성한다. 그리고, 재배열 버퍼(67)는, 생성한 화상 데이터를 D/A 변환부(68)로 출력한다.
D/A 변환부(68)는, 재배열 버퍼(67)로부터 입력되는 디지털 형식의 화상 데이터를 아날로그 형식의 화상 신호로 변환한다. 그리고, D/A 변환부(68)는, 예를 들어 화상 복호 장치(60)와 접속되는 디스플레이(도시하지 않음)에 아날로그 화상 신호를 출력함으로써, 화상을 표시시킨다.
프레임 메모리(69)는, 가산부(65)로부터 입력되는 필터링 전의 복호 화상 데이터 및 디블록 필터(66)로부터 입력되는 필터링 후의 복호 화상 데이터를 기억 매체를 사용하여 기억한다.
셀렉터(70)는, 가역 복호부(62)에 의해 취득되는 모드 정보에 따라, 화상 내의 블록마다, 프레임 메모리(69)로부터의 화상 데이터의 출력처를 인트라 예측부(80)와 움직임 보상부(90) 사이에서 전환한다. 예를 들어, 셀렉터(70)는, 인트라 예측 모드가 지정된 경우에는, 프레임 메모리(69)로부터 공급되는 필터링 전의 복호 화상 데이터를 참조 화상 데이터로서 인트라 예측부(80)로 출력한다. 또한, 셀렉터(70)는, 인터 예측 모드가 지정된 경우에는, 프레임 메모리(69)로부터 공급되는 필터링 후의 복호 화상 데이터를 참조 화상 데이터로서 움직임 보상부(90)로 출력한다.
셀렉터(71)는, 가역 복호부(62)에 의해 취득되는 모드 정보에 따라, 가산부(65)에 공급해야 할 예측 화상 데이터의 출력원을 인트라 예측부(80)와 움직임 보상부(90) 사이에서 전환한다. 예를 들어, 셀렉터(71)는, 인트라 예측 모드가 지정된 경우에는, 인트라 예측부(80)로부터 출력되는 예측 화상 데이터를 가산부(65)에 공급한다. 또한, 셀렉터(71)는, 인터 예측 모드가 지정된 경우에는, 움직임 보상부(90)로부터 출력되는 예측 화상 데이터를 가산부(65)에 공급한다.
인트라 예측부(80)는, 가역 복호부(62)로부터 입력되는 인트라 예측에 관한 정보와 프레임 메모리(69)로부터의 참조 화상 데이터에 기초하여 인트라 예측 처리를 행하고, 예측 화상 데이터를 생성한다. 그리고, 인트라 예측부(80)는, 생성한 예측 화상 데이터를 셀렉터(71)로 출력한다.
움직임 보상부(90)는, 가역 복호부(62)로부터 입력되는 인터 예측에 관한 정보와 프레임 메모리(69)로부터의 참조 화상 데이터에 기초하여 움직임 보상 처리를 행하고, 예측 화상 데이터를 생성한다. 본 실시 형태에 따른 움직임 보상부(90)에 의한 움직임 보상 처리는, 상기 비특허문헌 2에 기재된 방법 또는 상기 비특허문헌 3에 기재된 방법을 확장함으로써 실현될 수 있다. 그리고, 움직임 보상부(90)는, 움직임 보상 처리의 결과로서 생성되는 예측 화상 데이터를 셀렉터(71)로 출력한다. 다음의 절에서, 움직임 보상부(90)의 상세한 구성에 관한 4개의 실시예를 설명한다.
화상 복호 장치(60)는, 여기에서 설명한 일련의 복호 처리를, 스케일러블 부호화된 화상의 복수의 레이어의 각각에 대하여 반복한다. 최초로 복호되는 레이어는, 베이스 레이어이다. 베이스 레이어가 복호된 후, 하나 이상의 인핸스먼트 레이어가 복호된다. 인핸스먼트 레이어의 복호 시에는, 베이스 레이어 또는 다른 인핸스먼트 레이어인 하위 레이어를 복호함으로써 얻어진 정보가 사용된다.
화상 복호 장치(60)에 의한 스케일러블 복호 시에는, 어떤 상위 레이어 내의 예측 단위에, 하위 레이어 내의 대응하는 예측 단위에 설정된 움직임 벡터에 관련하는 설정 정보를 사용하여 움직임 벡터가 설정된다. 당해 설정 정보는, 예를 들어 상술한 프리딕터 정보, 머지 정보 또는 움직임 벡터 정보를 포함할 수 있다.
<4. 움직임 보상부의 상세한 구성예>
본 절에서는, 도 17에 나타낸 움직임 보상부(90)의 상세한 구성에 관한 4개의 실시예를 설명한다. 그 4개의 실시예는, 상술한 화상 부호화 장치(10)의 움직임 탐색부(40)의 4개의 실시예에 각각 대응한다. 제1 및 제2 실시예는, 상기 비특허문헌 2에 기재된 방법의 확장에 관한 실시예이다. 한편, 제3 및 제4 실시예는, 상기 비특허문헌 3에 기재된 방법의 확장에 관한 실시예이다.
[4-1. 제1 실시예]
도 18은, 제1 실시예에 관한 움직임 보상부(90)의 상세한 구성의 일례를 나타내는 블록도이다. 도 18을 참조하면, 움직임 보상부(90)는, 정보 취득부(191), 움직임 벡터 설정부(192), 프리딕터 정보 버퍼(193), 움직임 벡터 버퍼(194) 및 보상부(195)를 갖는다.
(1) 베이스 레이어
베이스 레이어의 움직임 보상 처리에 있어서, 정보 취득부(191)는, 가역 복호부(62)에 의해 부호화 스트림으로부터 복호되는 인터 예측에 관한 정보를 취득한다. 본 실시예에서, 인터 예측에 관한 정보는, 프리딕터 정보 및 차분 움직임 벡터 정보(움직임 벡터의 예측이 행해지지 않는 예측 단위에 대해서는 움직임 벡터 정보)를 포함할 수 있다. 여기서 취득되는 프리딕터 정보는, 예를 들어 상술한 다양한 프리딕터 후보 중 부호화 시에 각 예측 단위에 대하여 선택된 프리딕터를 나타낸다. 움직임 벡터 설정부(192)는, 각 예측 단위에 움직임 벡터를 설정한다. 그리고, 움직임 벡터 설정부(192)에 의해 각 예측 단위에 설정된 움직임 벡터는, 보상부(195)로 출력됨과 함께, 움직임 벡터 버퍼(194)에 기억된다. 또한, 각 예측 단위에 관한 프리딕터 정보는, 상위 레이어에서의 처리를 위해, 프리딕터 정보 버퍼(193)에 일시적으로 기억된다. 움직임 벡터 설정부(192)에 의한 움직임 벡터의 설정은, 각 예측 단위에 대하여 프리딕터 정보에 의해 나타나는 프리딕터와 차분 움직임 벡터 정보에 의해 나타나는 차분 움직임 벡터를 사용하여 행해질 수 있다. 예를 들어, 어떤 예측 단위에 대하여 프리딕터 정보가 식 (1)에 나타낸 바와 같은 공간적 프리딕터를 나타내고 있을 경우, 움직임 벡터 설정부(192)는, 당해 예측 단위에 인접하는 예측 단위의 참조 움직임 벡터를 움직임 벡터 버퍼(194)로부터 취득한다. 그리고, 움직임 벡터 설정부(192)는, 취득한 참조 움직임 벡터를 식 (1)에 대입하여 예측 움직임 벡터를 생성한다. 또한, 움직임 벡터 설정부(192)는, 생성한 예측 움직임 벡터에 차분 움직임 벡터를 가산함으로써, 움직임 벡터를 재구축한다. 이렇게 재구축된 움직임 벡터가, 각 예측 단위에 설정될 수 있다. 보상부(195)는, 움직임 벡터 설정부(192)에 의해 각 예측 단위에 설정된 움직임 벡터와 프레임 메모리(69)로부터 입력되는 참조 화상 데이터를 사용하여, 각 예측 단위의 예측 화상 데이터를 생성한다. 그리고, 보상부(195)는, 생성한 예측 화상 데이터를 셀렉터(71)를 통해 가산부(65)로 출력한다.
(2) 인핸스먼트 레이어
인핸스먼트 레이어의 움직임 보상 처리에서는, 프리딕터 정보 버퍼(193)에 기억되어 있는 하위 레이어의 프리딕터 정보에 기초하는 움직임 벡터의 예측이 행해진다.
우선, 정보 취득부(191)는, 가역 복호부(62)에 의해 부호화 스트림으로부터 복호되는 인터 예측에 관한 정보를 취득한다. 본 실시예에서, 인핸스먼트 레이어의 인터 예측에 관한 정보는, 차분 움직임 벡터 정보(움직임 벡터의 예측이 행해지지 않는 예측 단위에 대해서는 움직임 벡터 정보)를 포함할 수 있다. 또한, 정보 취득부(191)는, 상위 레이어 내의 각 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보로서, 하위 레이어 내의 대응하는 예측 단위의 움직임 벡터의 예측 시에 사용된 프리딕터를 나타내는 프리딕터 정보를, 프리딕터 정보 버퍼(193)로부터 취득한다. 여기서 취득되는 프리딕터 정보는, 예를 들어 상술한 공간적 프리딕터 또는 시간적 프리딕터 중 어느 하나를 나타낸다. 움직임 벡터 설정부(192)는, 정보 취득부(191)에 의해 취득된 차분 움직임 벡터 정보와 프리딕터 정보를 사용하여 움직임 벡터를 재구축하고, 각 예측 단위에 재구축된 움직임 벡터를 설정한다. 움직임 벡터 설정부(192)에 의해 각 예측 단위에 설정된 움직임 벡터는, 보상부(195)로 출력됨과 함께, 움직임 벡터 버퍼(194)에 기억된다. 보상부(195)는, 움직임 벡터 설정부(192)에 의해 각 예측 단위에 설정된 움직임 벡터와 프레임 메모리(69)로부터 입력되는 참조 화상 데이터를 사용하여, 각 예측 단위의 예측 화상 데이터를 생성한다. 그리고, 보상부(195)는, 생성한 예측 화상 데이터를 셀렉터(71)를 통해 가산부(65)로 출력한다.
(3) 처리의 흐름
도 19는, 본 실시예에 관한 움직임 보상부(90)에 의한 움직임 보상 처리의 흐름의 일례를 나타내는 흐름도이다. 도 19를 참조하면. 우선, 움직임 보상부(90)는, 베이스 레이어의 움직임 보상 처리를 행한다(스텝 S210). 그때, 프리딕터 정보 버퍼(193)는, 각 예측 단위에 대하여 부호화 시에 선택된 프리딕터를 나타내는 프리딕터 정보를 설정 정보로서 버퍼링한다.
스텝 S211 내지 S218의 처리는, 인핸스먼트 레이어의 움직임 보상 처리이다. 이들 처리 중 스텝 S211 내지 S217의 처리는, 각 인핸스먼트 레이어의 각 주목 PU에 대하여 반복된다. 또한, 이하의 설명에서, "상위 레이어"는, 예측 대상의 레이어이며, "하위 레이어"는 예측 대상의 레이어의 하위의 레이어이다.
우선, 정보 취득부(191)는, 상위 레이어의 1개의 PU를 주목 PU로 하고, 주목 PU에 대응하는 하위 레이어 내의 PU에 관한 프리딕터 정보를, 프리딕터 정보 버퍼(193)로부터 취득한다(스텝 S211). 또한, 정보 취득부(191)는, 주목 PU에 관한 차분 움직임 벡터 정보를 취득한다(스텝 S212). 움직임 벡터 설정부(192)는, 차분 움직임 벡터 정보를 복호한다(스텝 S213).
이어서, 움직임 벡터 설정부(192)는, 정보 취득부(191)에 의해 취득된 프리딕터 정보 및 참조 움직임 벡터를 사용하여, 주목 PU에 관한 예측 움직임 벡터를 생성한다(스텝 S214). 이어서, 움직임 벡터 설정부(192)는, 생성한 예측 움직임 벡터에 차분 움직임 벡터를 가산함으로써, 움직임 벡터를 재구축한다(스텝 S215). 이렇게 재구축된 움직임 벡터가, 주목 PU에 설정된다. 또한, 재구축된 움직임 벡터는, 상위 레이어에서의 처리를 위해, 움직임 벡터 버퍼(194)에 일시적으로 기억된다. 또한, 움직임 벡터의 예측이 행해지지 않는 예측 단위에 대해서는, 차분 움직임 벡터 정보 대신에 움직임 벡터 정보가 부호화 스트림으로부터 취득되어, 당해 움직임 벡터 정보로부터 움직임 벡터가 복호되어도 된다.
이어서, 보상부(195)는, 움직임 벡터 설정부(192)에 의해 주목 PU에 설정된 움직임 벡터와 프레임 메모리(69)로부터 입력되는 참조 화상 데이터를 사용하여, 주목 PU의 예측 화상 데이터를 생성한다(스텝 S216).
그 후, 예측 대상의 레이어 내에 미처리 PU가 남아있을 경우에는, 처리는 스텝 S211로 복귀된다(스텝 S217). 한편, 미처리 PU가 남아있지 않을 경우에는, 나머지 레이어(보다 상위의 레이어)가 더 존재하는지가 판정된다(스텝 S218). 여기서, 나머지 레이어가 존재하는 경우에는, 지금까지의 예측 대상의 레이어를 하위 레이어, 다음의 레이어를 상위 레이어로 해서, 스텝 S211 이후의 처리가 반복된다. 하위 레이어에 대하여 선택된 프리딕터를 나타내는 프리딕터 정보는, 프리딕터 정보 버퍼(193)에 의해 계속해서 버퍼링된다. 나머지 레이어가 존재하지 않는 경우에는, 도 19의 움직임 보상 처리는 종료한다. 여기서 생성된 예측 화상 데이터는, 셀렉터(71)를 통해 가산부(65)로 출력될 수 있다.
이와 같이, 제1 실시예에서는, 상위 레이어의 복호 시에 하위 레이어의 프리딕터 정보가 재이용되기 때문에, 상위 레이어를 위해 프리딕터 정보를 용장적으로 부호화하지 않아도 된다. 따라서, 인터 예측에 관한 정보의 부호량을 삭감할 수 있다.
[4-2. 제2 실시예]
도 20은, 제2 실시예에 관한 움직임 보상부(90)의 상세한 구성의 일례를 나타내는 블록도이다. 도 20을 참조하면, 움직임 보상부(90)는, 정보 취득부(291), 움직임 벡터 설정부(292), 움직임 벡터 버퍼(294) 및 보상부(295)를 갖는다.
(1) 베이스 레이어
본 실시예에 관한 베이스 레이어의 움직임 보상 처리는, 상술한 제1 실시예에 관한 베이스 레이어의 움직임 보상 처리와 마찬가지이면 된다. 단, 본 실시예에서는, 베이스 레이어의 프리딕터 정보는 버퍼링되지 않아도되고, 베이스 레이어의 움직임 벡터 정보가 레이어를 걸쳐서 버퍼링된다. 베이스 레이어의 움직임 보상 처리에서, 정보 취득부(291)는, 가역 복호부(62)에 의해 부호화 스트림으로부터 복호되는 인터 예측에 관한 정보를 취득한다. 본 실시예에서, 인터 예측에 관한 정보는, 프리딕터 정보 및 차분 움직임 벡터 정보(움직임 벡터의 예측이 행해지지 않는 예측 단위에 대해서는 움직임 벡터 정보)를 포함할 수 있다. 여기서 취득되는 프리딕터 정보는, 예를 들어 상술한 공간적 프리딕터 및 시간적 프리딕터를 포함할 수 있는 프리딕터 후보 중 부호화 시에 각 예측 단위에 대하여 선택된 프리딕터를 나타낸다. 움직임 벡터 설정부(292)는, 각 예측 단위에 움직임 벡터를 설정한다. 그리고, 움직임 벡터 설정부(292)에 의해 각 예측 단위에 설정된 움직임 벡터는, 보상부(295)로 출력됨과 함께, 움직임 벡터 버퍼(294)에 기억된다. 움직임 벡터 설정부(292)에 의한 움직임 벡터의 설정은, 각 예측 단위에 대하여 프리딕터 정보에 의해 나타나는 프리딕터와 차분 움직임 벡터 정보에 의해 나타나는 차분 움직임 벡터를 사용하여 행해질 수 있다. 보상부(295)는, 움직임 벡터 설정부(292)에 의해 각 예측 단위에 설정된 움직임 벡터와 프레임 메모리(69)로부터 입력되는 참조 화상 데이터를 사용하여, 각 예측 단위의 예측 화상 데이터를 생성한다. 그리고, 보상부(295)는, 생성한 예측 화상 데이터를 셀렉터(71)를 통해 가산부(65)로 출력한다.
(2) 인핸스먼트 레이어
인핸스먼트 레이어의 움직임 보상 처리에서는, 움직임 벡터 버퍼(294)에 기억되어 있는 하위 레이어의 참조 움직임 벡터에 기초하는 레이어간 프리딕터를 사용한 움직임 벡터의 예측이 행해질 수 있다.
우선, 정보 취득부(291)는, 가역 복호부(62)에 의해 부호화 스트림으로부터 복호되는 인터 예측에 관한 정보를 취득한다. 본 실시예에서, 인핸스먼트 레이어의 인터 예측에 관한 정보는, 차분 움직임 벡터 정보 외에, 레이어간 프리딕터를 포함하는 복수의 프리딕터 후보로부터 부호화 시에 선택된 프리딕터를 나타내는 프리딕터 정보를 설정 정보로서 포함할 수 있다. 또한, 레이어간 프리딕터가 선택된 것을 나타내는 프리딕터 정보에는, 복수의 프리딕터 후보 중에서 최소의 부호 번호가 할당될 수 있다. 움직임 벡터 설정부(292)는, 정보 취득부(291)에 의해 취득된 차분 움직임 벡터 정보와 프리딕터 정보를 사용하여 움직임 벡터를 재구축하고, 각 예측 단위에 재구축된 움직임 벡터를 설정한다. 또한, 움직임 벡터 설정부(292)는, 프리딕터 정보가 레이어간 프리딕터를 나타내고 있을 경우에는, 상술한 식 (9)와 같이, 레이어간의 공간 해상도의 비율에 따라서 확대된 참조 움직임 벡터를, 예측 움직임 벡터로 해도 된다. 그때, 움직임 벡터 설정부(292)는, 예측 움직임 벡터를 움직임 벡터 정밀도에 따라서 라운딩해도 된다. 움직임 벡터 설정부(292)에 의해 각 예측 단위에 설정된 움직임 벡터는, 보상부(295)로 출력됨과 함께, 움직임 벡터 버퍼(294)에 기억된다. 보상부(295)는, 움직임 벡터 설정부(292)에 의해 각 예측 단위에 설정된 움직임 벡터와 프레임 메모리(69)로부터 입력되는 참조 화상 데이터를 사용하여, 각 예측 단위의 예측 화상 데이터를 생성한다. 그리고, 보상부(295)는, 생성한 예측 화상 데이터를 셀렉터(71)를 개재하여 가산부(65)로 출력한다.
(3) 처리의 흐름
도 21은, 본 실시예에 관한 움직임 보상부(90)에 의한 움직임 보상 처리의 흐름의 일례를 나타내는 흐름도이다. 도 21을 참조하면. 우선, 움직임 보상부(90)는, 베이스 레이어의 움직임 보상 처리를 행한다(스텝 S220). 그때, 움직임 벡터 버퍼(294)는, 각 예측 단위에 설정된 움직임 벡터를 버퍼링한다.
스텝 S221 내지 S218의 처리는, 인핸스먼트 레이어의 움직임 보상 처리이다. 이들 처리 중 스텝 S221 내지 S228의 처리는, 각 인핸스먼트 레이어의 각 주목 PU에 대하여 반복된다. 또한, 이하의 설명에서, "상위 레이어"는 예측 대상의 레이어이며, "하위 레이어"는 예측 대상의 레이어의 하위의 레이어이다.
우선, 정보 취득부(291)는, 상위 레이어의 1개의 PU를 주목 PU로 하고, 주목 PU에 관한 차분 움직임 벡터 정보 및 프리딕터 정보를 부호화 스트림으로부터 취득한다(스텝 S221). 움직임 벡터 설정부(292)는, 차분 움직임 벡터 정보를 복호한다(스텝 S222). 또한, 움직임 벡터 설정부(292)는, 프리딕터 정보를 사용하여, 주목 PU의 예측 움직임 벡터의 생성 시에 사용해야 할 프리딕터를 특정한다(스텝 S223).
이어서, 움직임 벡터 설정부(292)는, 특정한 프리딕터에 따라, 움직임 벡터 버퍼(294)에 의해 버퍼링되어 있는 참조 움직임 벡터를 사용하여, 주목 PU에 관한 예측 움직임 벡터를 생성한다(스텝 S224). 예를 들어, 특정한 프리딕터가 레이어간 프리딕터일 경우에는, 주목 PU에 대응하는 하위 레이어 내의 PU에 대하여 설정된 움직임 벡터가, 상술한 식 (8) 또는 식 (9)의 참조 움직임 벡터(MVbase)로서 사용된다. 이어서, 움직임 벡터 설정부(292)는, 생성한 예측 움직임 벡터에 차분 움직임 벡터를 가산함으로써, 움직임 벡터를 재구축한다(스텝 S225). 이렇게 재구축된 움직임 벡터가, 주목 PU에 설정된다. 또한, 재구축된 움직임 벡터는, 상위 레이어에서의 처리를 위해, 움직임 벡터 버퍼(294)에 일시적으로 기억된다. 또한, 움직임 벡터의 예측이 행해지지 않는 예측 단위에 대해서는, 차분 움직임 벡터 정보 대신에 움직임 벡터 정보가 부호화 스트림으로부터 취득되어, 당해 움직임 벡터 정보로부터 움직임 벡터가 복호되어도 된다.
이어서, 보상부(295)는, 움직임 벡터 설정부(292)에 의해 주목 PU에 설정된 움직임 벡터와 프레임 메모리(69)로부터 입력되는 참조 화상 데이터를 사용하여, 주목 PU의 예측 화상 데이터를 생성한다(스텝 S226).
그 후, 예측 대상의 레이어 내에 미처리 PU가 남아있을 경우에는, 처리는 스텝 S221로 복귀된다(스텝 S227). 한편, 미처리 PU가 남아있지 않을 경우에는, 나머지 레이어(보다 상위의 레이어)가 더 존재하는지가 판정된다(스텝 S228). 여기서, 나머지 레이어가 존재하는 경우에는, 지금까지의 예측 대상의 레이어를 하위 레이어, 다음의 레이어를 상위 레이어로 해서, 스텝 S221 이후의 처리가 반복된다. 나머지 레이어가 존재하지 않는 경우에는, 도 21의 움직임 보상 처리는 종료한다. 여기서 생성된 예측 화상 데이터는, 셀렉터(71)를 개재하여 가산부(65)로 출력될 수 있다.
이와 같이, 제2 실시예에서는, 상위 레이어의 움직임 보상 시에 사용되는 움직임 벡터를, 하위 레이어에 설정된 움직임 벡터에 기초하는 레이어간 프리딕터에 따라서 예측할 수 있다. 따라서, 움직임 벡터의 예측 정밀도가 높아지는 결과, 차분 움직임 벡터의 부호량을 삭감할 수 있다.
[4-3. 제3 실시예]
도 22는, 제3 실시예에 관한 움직임 보상부(90)의 상세한 구성의 일례를 나타내는 블록도이다. 도 22를 참조하면, 움직임 보상부(90)는, 정보 취득부(391), 움직임 벡터 설정부(392), 머지 정보 버퍼(393), 움직임 벡터 버퍼(394) 및 보상부(395)를 갖는다.
(1) 베이스 레이어
베이스 레이어의 움직임 보상 처리에 있어서, 정보 취득부(391)는, 가역 복호부(62)에 의해 부호화 스트림으로부터 복호되는 인터 예측에 관한 정보를 취득한다. 본 실시예에서, 인터 예측에 관한 정보는, 머지 정보 및 움직임 벡터 정보를 포함할 수 있다. 여기서 취득되는 머지 정보는, 예를 들어 도 12a 내지 도 12c를 사용하여 설명한 MergeFlag 및 MergeLeftFlag를 포함하고, 복수의 머지 모드의 후보 중 부호화 시에 각 예측 단위에 대하여 선택된 머지 모드를 나타낼 수 있다. 움직임 벡터 설정부(392)는, 각 예측 단위에 움직임 벡터를 설정한다. 그리고, 움직임 벡터 설정부(392)에 의해 각 예측 단위에 설정된 움직임 벡터는, 보상부(395)로 출력됨과 함께, 움직임 벡터 버퍼(394)에 기억된다. 또한, 각 예측 단위에 관한 머지 정보는, 상위 레이어에서의 처리를 위해, 머지 정보 버퍼(393)에 기억된다. 움직임 벡터 설정부(392)는, 예를 들어 어떤 예측 단위가 당해 예측 단위에 인접하는 인접 예측 단위와 머지되는 것(이들 예측 단위에 공통되는 움직임 벡터가 설정되는 것)을 머지 정보가 나타내고 있는 경우에는, 인접 예측 단위에 설정된 움직임 벡터를 움직임 벡터 버퍼(394)로부터 취득하고, 취득한 움직임 벡터를 상기 예측 단위에 설정한다. 한편, 움직임 벡터 설정부(392)는, 어떤 예측 단위가 다른 예측 단위와 머지되지 않는 것을 머지 정보가 나타내고 있는 경우에는, 정보 취득부(391)에 의해 취득된 움직임 벡터 정보를 복호함으로써 재구축되는 움직임 벡터를 상기 예측 단위에 설정한다. 보상부(395)는, 움직임 벡터 설정부(392)에 의해 각 예측 단위에 설정된 움직임 벡터와 프레임 메모리(69)로부터 입력되는 참조 화상 데이터를 사용하여, 각 예측 단위의 예측 화상 데이터를 생성한다. 그리고, 보상부(395)는, 생성한 예측 화상 데이터를 셀렉터(71)를 개재하여 가산부(65)로 출력한다.
(2) 인핸스먼트 레이어
인핸스먼트 레이어의 움직임 보상 처리에서는, 머지 정보 버퍼(393)에 기억되어 있는 하위 레이어의 머지 정보에 따라 각 예측 단위에 움직임 벡터가 설정된다.
우선, 정보 취득부(391)는, 상위 레이어 내의 각 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보로서, 각 예측 단위에 대응하는 하위 레이어 내의 예측 단위에 관한 머지 정보를, 머지 정보 버퍼(393)로부터 취득한다. 또한, 정보 취득부(391)는, 다른 예측 단위와 머지되지 않는 예측 단위에 대해서, 인터 예측에 관한 정보에 포함되는 움직임 벡터 정보를 취득한다. 정보 취득부(391)에 의해 취득되는 머지 정보는, 예를 들어 도 12a 내지 도 12c를 사용하여 설명한 MergeFlag 및 MergeLeftFlag를 포함할 수 있다. 움직임 벡터 설정부(392)는, 정보 취득부(391)에 의해 취득된 머지 정보에 따라 각 예측 단위에 움직임 벡터를 설정한다. 움직임 벡터 설정부(392)에 의해 각 예측 단위에 설정된 움직임 벡터는, 보상부(395)로 출력됨과 함께, 움직임 벡터 버퍼(394)에 기억된다. 움직임 벡터 설정부(392)는, 다른 예측 단위와 머지되지 않는 예측 단위에 대해서는, 움직임 벡터 정보를 복호함으로써 재구축되는 움직임 벡터를 당해 예측 단위에 설정하면 된다. 보상부(395)는, 움직임 벡터 설정부(392)에 의해 각 예측 단위에 설정된 움직임 벡터와 프레임 메모리(69)로부터 입력되는 참조 화상 데이터를 사용하여, 각 예측 단위의 예측 화상 데이터를 생성한다. 그리고, 보상부(395)는, 생성한 예측 화상 데이터를 셀렉터(71)를 개재하여 가산부(65)로 출력한다.
(3) 처리의 흐름
도 23은, 본 실시예에 관한 움직임 보상부(90)에 의한 움직임 보상 처리의 흐름의 일례를 나타내는 흐름도이다. 도 23을 참조하면, 우선, 움직임 보상부(90)는 베이스 레이어의 움직임 보상 처리를 행한다(스텝 S230). 그때, 머지 정보 버퍼(393)는, 각 예측 단위에 대하여 부호화 시에 선택된 머지 모드를 나타내는 머지 정보를 설정 정보로서 버퍼링한다.
스텝 S231 내지 S238의 처리는, 인핸스먼트 레이어의 움직임 보상 처리이다. 이들 처리 중 스텝 S231 내지 S237의 처리는, 각 인핸스먼트 레이어의 각 주목 PU에 대하여 반복된다. 또한, 이하의 설명에서, "상위 레이어"는 예측 대상의 레이어이며, "하위 레이어"는 예측 대상의 레이어의 하위의 레이어이다.
우선, 정보 취득부(391)는, 상위 레이어의 1개의 PU를 주목 PU로 하고, 주목 PU에 대응하는 하위 레이어 내의 PU에 관한 머지 정보를, 머지 정보 버퍼(393)로부터 취득한다(스텝 S231). 이어서, 정보 취득부(391)는, 취득한 머지 정보로부터, 주목 PU를 다른 PU와 머지할 지의 여부를 판정한다(스텝 S232). 예를 들어, 하위 레이어 내의 대응하는 PU가 좌측의 인접 PU와 머지될 경우에는, 주목 PU도 또한 좌측의 인접 PU와 머지된다고 판정될 수 있다. 마찬가지로, 하위 레이어 내의 대응하는 PU가 위의 인접 PU와 머지될 경우에는, 주목 PU도 또한 위의 인접 PU와 머지된다고 판정될 수 있다. 이들의 경우, 처리는 스텝 S233으로 진행한다. 한편, 하위 레이어 내의 대응하는 PU가 인접 PU와 머지되지 않을 경우에는, 주목 PU도 또한 다른 PU와 머지되지 않는다고 판정될 수 있다. 이 경우, 처리는 스텝 S234로 진행한다.
스텝 S233에서는, 움직임 벡터 설정부(392)는, 머지 정보에 따라서 특정되는 움직임 벡터를 움직임 벡터 버퍼(394)로부터 취득하고, 취득한 움직임 벡터를 주목 PU에 설정한다(스텝 S233). 한편, 스텝 S234에서는, 정보 취득부(391)에 의해, 주목 PU에 관한 움직임 벡터 정보가 취득된다(스텝 S234). 그리고, 움직임 벡터 설정부(392)는, 취득된 움직임 벡터 정보로부터 움직임 벡터를 복호하고, 복호한 움직임 벡터를 주목 PU에 설정한다(스텝 S235).
이어서, 보상부(395)는, 움직임 벡터 설정부(392)에 의해 주목 PU에 설정된 움직임 벡터와 프레임 메모리(69)로부터 입력되는 참조 화상 데이터를 사용하여, 주목 PU의 예측 화상 데이터를 생성한다(스텝 S236).
그 후, 예측 대상의 레이어 내에 미처리 PU가 남아있을 경우에는, 처리는 스텝 S231로 복귀된다(스텝 S237). 한편, 미처리 PU가 남아있지 않을 경우에는, 나머지 레이어(보다 상위의 레이어)가 더 존재하는지가 판정된다(스텝 S238). 여기서, 나머지 레이어가 존재하는 경우에는, 지금까지의 예측 대상의 레이어를 하위 레이어, 다음의 레이어를 상위 레이어로 해서, 스텝 S231 이후의 처리가 반복된다. 하위 레이어에 대하여 선택된 머지 모드를 나타내는 머지 정보는, 머지 정보 버퍼(393)에 의해 계속해서 버퍼링된다. 나머지 레이어가 존재하지 않는 경우에는, 도 23의 움직임 보상 처리는 종료한다. 여기서 생성된 예측 화상 데이터는, 셀렉터(71)를 개재하여 가산부(65)로 출력될 수 있다.
이와 같이, 제3 실시예에서는, 상위 레이어의 복호 시에 하위 레이어의 머지 정보가 재이용되기 때문에, 상위 레이어를 위해 머지 정보를 용장적으로 부호화하지 않아도 된다. 따라서, 인터 예측에 관한 정보의 부호량을 삭감할 수 있다.
[4-4. 제4 실시예]
도 24는, 제4 실시예에 관한 움직임 보상부(90)의 상세한 구성의 일례를 나타내는 블록도이다. 도 24를 참조하면, 움직임 보상부(90)는, 정보 취득부(491), 움직임 벡터 설정부(492), 움직임 벡터 버퍼(494) 및 보상부(495)를 갖는다.
(1) 베이스 레이어
베이스 레이어의 움직임 보상 처리에 있어서, 정보 취득부(491)는, 가역 복호부(62)에 의해 부호화 스트림으로부터 복호되는 인터 예측에 관한 정보를 취득한다. 본 실시예에서, 인터 예측에 관한 정보는, 머지 정보 및 움직임 벡터 정보를 포함할 수 있다. 베이스 레이어에 대하여 취득되는 머지 정보는, 예를 들어 도 12a 내지 도 12c를 사용하여 설명한 MergeFlag 및 MergeLeftFlag를 포함하고, 복수의 머지 모드의 후보 중 부호화 시에 각 예측 단위에 대하여 선택된 머지 모드를 나타낼 수 있다. 움직임 벡터 설정부(492)는, 각 예측 단위에 움직임 벡터를 설정한다. 그리고, 움직임 벡터 설정부(492)에 의해 각 예측 단위에 설정된 움직임 벡터는, 보상부(495)로 출력됨과 함께, 움직임 벡터 버퍼(494)에 기억된다. 움직임 벡터 설정부(492)는, 예를 들어 있는 예측 단위가 당해 예측 단위에 인접하는 인접 예측 단위와 머지되는 것을 머지 정보가 나타내고 있을 경우에는, 인접 예측 단위에 설정된 움직임 벡터를 움직임 벡터 버퍼(494)로부터 취득하고, 취득한 움직임 벡터를 상기 예측 단위에 설정한다. 한편, 움직임 벡터 설정부(492)는, 어떤 예측 단위가 다른 예측 단위와 머지되지 않는 것을 머지 정보가 나타내고 있을 경우에는, 정보 취득부(491)에 의해 취득된 움직임 벡터 정보를 복호함으로써 재구축되는 움직임 벡터를 상기 예측 단위에 설정한다. 보상부(495)는, 움직임 벡터 설정부(492)에 의해 각 예측 단위에 설정된 움직임 벡터와 프레임 메모리(69)로부터 입력되는 참조 화상 데이터를 사용하여, 각 예측 단위의 예측 화상 데이터를 생성한다. 그리고, 보상부(495)는, 생성한 예측 화상 데이터를 셀렉터(71)를 개재하여 가산부(65)로 출력한다.
(2) 인핸스먼트 레이어
인핸스먼트 레이어의 움직임 보상 처리에서는, 하위 레이어 내의 대응하는 예측 단위와의 머지를 나타내는 MergeBaseFlag를 포함하는 머지 정보가 이용될 수 있다.
우선, 정보 취득부(491)는, 가역 복호부(62)에 의해 부호화 스트림으로부터 복호되는 인터 예측에 관한 정보를 취득한다. 인핸스먼트 레이어에 관한 인터 예측에 관한 정보는, 머지 정보 및 움직임 벡터 정보를 포함할 수 있다. 머지 정보는, 예를 들어 도 15a 내지 도 15c를 사용하여 설명한 MergeFlag, MergeBaseFlag 및 MergeLeftFlag를 포함하고, 복수의 머지 모드의 후보 중 부호화 시에 각 예측 단위에 대하여 선택된 머지 모드를 나타낼 수 있다. 움직임 벡터 설정부(492)는, 정보 취득부(491)에 의해 취득된 머지 정보에 따라 각 예측 단위에 움직임 벡터를 설정한다. 또한, 움직임 벡터 설정부(492)는, 레이어간에서 예측 단위가 머지될 경우에는, 상술한 식 (9)와 같이, 버퍼링되어 있는 움직임 벡터를 레이어간의 공간 해상도의 비율에 따라서 확대한 뒤에, 확대한 움직임 벡터를 설정해도 된다. 그때, 움직임 벡터 설정부(492)는, 확대된 움직임 벡터를 움직임 벡터 정밀도에 따라서 라운딩해도 된다. 움직임 벡터 설정부(492)에 의해 각 예측 단위에 설정된 움직임 벡터는, 보상부(495)로 출력됨과 함께, 움직임 벡터 버퍼(494)에 기억된다. 움직임 벡터 설정부(492)는, 다른 예측 단위와 머지되지 않는 예측 단위에 대해서는, 움직임 벡터 정보를 복호함으로써 재구축되는 움직임 벡터를 당해 예측 단위에 설정해도 된다. 보상부(495)는, 움직임 벡터 설정부(492)에 의해 각 예측 단위에 설정된 움직임 벡터와 프레임 메모리(69)로부터 입력되는 참조 화상 데이터를 사용하여, 각 예측 단위의 예측 화상 데이터를 생성한다. 그리고, 보상부(495)는, 생성한 예측 화상 데이터를 셀렉터(71)를 개재하여 가산부(65)로 출력한다.
(3) 처리의 흐름
도 25는, 본 실시예에 관한 움직임 보상부(90)에 의한 움직임 보상 처리의 흐름의 일례를 나타내는 흐름도이다. 도 25를 참조하면, 우선, 움직임 보상부(90)는, 베이스 레이어의 움직임 보상 처리를 행한다(스텝 S240). 그때, 움직임 벡터 버퍼(494)는, 각 예측 단위에 설정된 움직임 벡터를 버퍼링한다.
스텝 S241 내지 S248의 처리는, 인핸스먼트 레이어의 움직임 보상 처리이다. 이들 처리 중 스텝 S241 내지 S247의 처리는, 각 인핸스먼트 레이어의 각 주목 PU에 대하여 반복된다. 또한, 이하의 설명에서, "상위 레이어"는, 예측 대상의 레이어이며, "하위 레이어"는 예측 대상의 레이어의 하위의 레이어이다.
우선, 정보 취득부(491)는, 상위 레이어의 1개의 주목 PU에 관한 머지 정보를 취득한다(스텝 S241). 이어서, 정보 취득부(491)는, 취득한 머지 정보로부터, 주목 PU를 다른 PU와 머지할 지의 여부를 판정한다(스텝 S242). 예를 들어, 주목 PU는, 하위 레이어 내의 대응하는 PU 또는 상위 레이어 내의 인접 PU와 머지될 수 있다. 주목 PU가 다른 PU와 머지될 경우, 처리는 스텝 S243으로 진행한다. 한편, 주목 PU가 다른 PU와 머지되지 않을 경우, 처리는 스텝 S244로 진행한다.
스텝 S243에서는, 움직임 벡터 설정부(492)는, 머지 정보에 따라서 특정되는 움직임 벡터를 움직임 벡터 버퍼(494)로부터 취득하고, 취득한 움직임 벡터를 주목 PU에 설정한다(스텝 S243). 한편, 스텝 S244에서는, 정보 취득부(491)에 의해, 주목 PU에 관한 움직임 벡터 정보가 취득된다(스텝 S244). 그리고, 움직임 벡터 설정부(492)는, 취득된 움직임 벡터 정보로부터 움직임 벡터를 복호하고, 복호한 움직임 벡터를 주목 PU에 설정한다(스텝 S245).
이어서, 보상부(495)는, 움직임 벡터 설정부(492)에 의해 주목 PU에 설정된 움직임 벡터와 프레임 메모리(69)로부터 입력되는 참조 화상 데이터를 사용하여, 주목 PU의 예측 화상 데이터를 생성한다(스텝 S246).
그 후, 예측 대상의 레이어 내에 미처리 PU가 남아있을 경우에는, 처리는 스텝 S241로 복귀된다(스텝 S247). 한편, 미처리 PU가 남아있지 않을 경우에는, 나머지 레이어(보다 상위의 레이어)가 더 존재하는지가 판정된다(스텝 S248). 여기서, 나머지 레이어가 존재하는 경우에는, 지금까지의 예측 대상의 레이어를 하위 레이어, 다음의 레이어를 상위 레이어로 해서, 스텝 S241 이후의 처리가 반복된다. 하위 레이어의 각 예측 단위에 설정된 움직임 벡터는, 움직임 벡터 버퍼(494)에 의해 버퍼링된다. 나머지 레이어가 존재하지 않는 경우에는, 도 25의 움직임 보상 처리는 종료한다. 여기서 생성된 예측 화상 데이터는, 셀렉터(71)를 개재하여 가산부(65)로 출력될 수 있다.
이와 같이, 제4 실시예에서는, 레이어간에서의 예측 단위의 머지를 포함하는 복수의 머지 모드의 후보에서 선택된 머지 모드를 나타내는 머지 정보를 사용하여, 인핸스먼트 레이어의 각 예측 단위에 움직임 벡터가 설정된다. 따라서, 움직임의 상관이 현저한 하위 레이어 내의 대응하는 예측 단위와 머지되는 상위 레이어 내의 예측 단위에 대해서는 움직임 벡터가 부호화되지 않기 때문에, 부호량을 효과적으로 삭감할 수 있다.
<5. 응용예>
상술한 실시 형태에 따른 화상 부호화 장치(10) 및 화상 복호 장치(60)는, 위성 방송, 케이블 TV 등의 유선 방송, 인터넷상에서의 배신 및 셀룰러 통신에 의한 단말기에 대한 배신 등에서의 송신기 또는 수신기, 광 디스크, 자기 디스크 및 플래시 메모리 등의 매체에 화상을 기록하는 기록 장치, 또는 이들 기억 매체로부터 화상을 재생하는 재생 장치 등의 다양한 전자 기기에 응용될 수 있다. 이하, 4개의 응용예에 대하여 설명한다.
[5-1. 제1 응용예]
도 26은, 상술한 실시 형태를 적용한 텔레비전 장치의 개략적인 구성의 일례를 나타내고 있다. 텔레비전 장치(900)는, 안테나(901), 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 표시부(906), 음성 신호 처리부(907), 스피커(908), 외부 인터페이스(909), 제어부(910), 유저 인터페이스(911) 및 버스(912)를 구비한다.
튜너(902)는, 안테나(901)를 개재하여 수신되는 방송 신호로부터 원하는 채널의 신호를 추출하고, 추출한 신호를 복조한다. 그리고, 튜너(902)는, 복조에 의해 얻어진 부호화 비트 스트림을 디멀티플렉서(903)로 출력한다. 즉, 튜너(902)는, 화상이 부호화되어 있는 부호화 스트림을 수신하는, 텔레비전 장치(900)에서의 전송 수단으로서의 역할을 갖는다.
디멀티플렉서(903)는, 부호화 비트 스트림으로부터 시청 대상의 프로그램의 영상 스트림 및 음성 스트림을 분리하고, 분리한 각 스트림을 디코더(904)로 출력한다. 또한, 디멀티플렉서(903)는, 부호화 비트 스트림으로부터 EPG(Electronic Program Guide) 등의 보조적인 데이터를 추출하고, 추출한 데이터를 제어부(910)에 공급한다. 또한, 디멀티플렉서(903)는, 부호화 비트 스트림이 스크램블되어 있는 경우에는, 디스크램블을 행해도 된다.
디코더(904)는, 디멀티플렉서(903)로부터 입력되는 영상 스트림 및 음성 스트림을 복호한다. 그리고, 디코더(904)는, 복호 처리에 의해 생성되는 영상 데이터를 영상 신호 처리부(905)로 출력한다. 또한, 디코더(904)는, 복호 처리에 의해 생성되는 음성 데이터를 음성 신호 처리부(907)로 출력한다.
영상 신호 처리부(905)는, 디코더(904)로부터 입력되는 영상 데이터를 재생하고, 표시부(906)에 영상을 표시시킨다. 또한, 영상 신호 처리부(905)는, 네트워크를 통해 공급되는 어플리케이션 화면을 표시부(906)에 표시시켜도 된다. 또한, 영상 신호 처리부(905)는, 영상 데이터에 대해서, 설정에 따라, 예를 들어 노이즈 제거 등의 추가적인 처리를 행해도 된다. 또한, 영상 신호 처리부(905)는, 예를 들어 메뉴, 버튼 또는 커서 등의 GUI(Graphical User Interface)의 화상을 생성하고, 생성한 화상을 출력 화상에 중첩해도 된다.
표시부(906)는, 영상 신호 처리부(905)로부터 공급되는 구동 신호에 의해 구동되고, 표시 디바이스(예를 들어, 액정 디스플레이, 플라즈마 디스플레이 또는 OLED 등)의 영상면 상에 영상 또는 화상을 표시한다.
음성 신호 처리부(907)는, 디코더(904)로부터 입력되는 음성 데이터에 대하여 D/A 변환 및 증폭 등의 재생 처리를 행하고, 스피커(908)로부터 음성을 출력시킨다. 또한, 음성 신호 처리부(907)는, 음성 데이터에 대하여 노이즈 제거 등의 추가적인 처리를 행해도 된다.
외부 인터페이스(909)는, 텔레비전 장치(900)와 외부 기기 또는 네트워크를 접속하기 위한 인터페이스이다. 예를 들어, 외부 인터페이스(909)를 개재하여 수신되는 영상 스트림 또는 음성 스트림이, 디코더(904)에 의해 복호되어도 된다. 즉, 외부 인터페이스(909)도 또한, 화상이 부호화되어 있는 부호화 스트림을 수신하는, 텔레비전 장치(900)에서의 전송 수단으로서의 역할을 갖는다.
제어부(910)는, CPU(Central Processing Unit) 등의 프로세서, 및 RAM(Random Access Memory) 및 ROM(Read Only Memory) 등의 메모리를 갖는다. 메모리는, CPU에 의해 실행되는 프로그램, 프로그램 데이터, EPG 데이터, 및 네트워크를 통해 취득되는 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들어 텔레비전 장치(900)의 기동시에 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 예를 들어 유저 인터페이스(911)로부터 입력되는 조작 신호에 따라, 텔레비전 장치(900)의 동작을 제어한다.
유저 인터페이스(911)는, 제어부(910)와 접속된다. 유저 인터페이스(911)는, 예를 들어 유저가 텔레비전 장치(900)를 조작하기 위한 버튼 및 스위치, 및 원격 제어 신호의 수신부 등을 갖는다. 유저 인터페이스(911)는, 이들 구성 요소를 개재하여 유저에 의한 조작을 검출해서 조작 신호를 생성하고, 생성한 조작 신호를 제어부(910)로 출력한다.
버스(912)는, 튜너(902), 디멀티플렉서(903), 디코더(904), 영상 신호 처리부(905), 음성 신호 처리부(907), 외부 인터페이스(909) 및 제어부(910)를 서로 접속한다.
이렇게 구성된 텔레비전 장치(900)에 있어서, 디코더(904)는, 상술한 실시 형태에 따른 화상 복호 장치(60)의 기능을 갖는다. 따라서, 텔레비전 장치(900)에서의 화상의 스케일러블 복호 시에 레이어간의 움직임의 상관을 활용함으로써, 부호화 효율을 한층 높일 수 있다.
[5-2. 제2 응용예]
도 27은, 상술한 실시 형태를 적용한 휴대 전화기의 개략적인 구성의 일례를 나타내고 있다. 휴대 전화기(920)는, 안테나(921), 통신부(922), 음성 코덱(923), 스피커(924), 마이크로폰(925), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930), 제어부(931), 조작부(932) 및 버스(933)를 구비한다.
안테나(921)는 통신부(922)에 접속된다. 스피커(924) 및 마이크로폰(925)은 음성 코덱(923)에 접속된다. 조작부(932)는 제어부(931)에 접속된다. 버스(933)는, 통신부(922), 음성 코덱(923), 카메라부(926), 화상 처리부(927), 다중 분리부(928), 기록 재생부(929), 표시부(930) 및 제어부(931)를 서로 접속한다.
휴대 전화기(920)는, 음성 통화 모드, 데이터 통신 모드, 촬영 모드 및 텔레비전 전화 모드를 포함하는 다양한 동작 모드에서, 음성 신호의 송수신, 전자 메일 또는 화상 데이터의 송수신, 화상의 촬상 및 데이터의 기록 등의 동작을 행한다.
음성 통화 모드에서, 마이크로폰(925)에 의해 생성되는 아날로그 음성 신호는, 음성 코덱(923)에 공급된다. 음성 코덱(923)은, 아날로그 음성 신호를 음성 데이터로 변환하고, 변환된 음성 데이터를 A/D 변환해서 압축한다. 그리고, 음성 코덱(923)은, 압축 후의 음성 데이터를 통신부(922)로 출력한다. 통신부(922)는, 음성 데이터를 부호화 및 변조하고, 송신 신호를 생성한다. 그리고, 통신부(922)는, 생성한 송신 신호를 안테나(921)를 개재하여 기지국(도시하지 않음)에 송신한다. 또한, 통신부(922)는, 안테나(921)를 개재하여 수신되는 무선 신호를 증폭하고 및 주파수 변환하여, 수신 신호를 취득한다. 그리고, 통신부(922)는, 수신 신호를 복조 및 복호하여 음성 데이터를 생성하고, 생성한 음성 데이터를 음성 코덱(923)로 출력한다. 음성 코덱(923)은, 음성 데이터를 신장하고 미쳐 D/A 변환하여, 아날로그 음성 신호를 생성한다. 그리고, 음성 코덱(923)은, 생성한 음성 신호를 스피커(924)에 공급하여 음성을 출력시킨다.
또한, 데이터 통신 모드에서, 예를 들어 제어부(931)는, 조작부(932)를 개재하는 유저에 의한 조작에 따라, 전자 메일을 구성하는 문자 데이터를 생성한다. 또한, 제어부(931)는, 문자를 표시부(930)에 표시시킨다. 또한, 제어부(931)는, 조작부(932)를 개재하는 유저로부터의 송신 지시에 따라서 전자 메일 데이터를 생성하고, 생성한 전자 메일 데이터를 통신부(922)로 출력한다. 통신부(922)는, 전자 메일 데이터를 부호화 및 변조하여, 송신 신호를 생성한다. 그리고, 통신부(922)는, 생성한 송신 신호를 안테나(921)를 개재하여 기지국(도시하지 않음)에 송신한다. 또한, 통신부(922)는, 안테나(921)를 개재하여 수신되는 무선 신호를 증폭하고 및 주파수 변환하여, 수신 신호를 취득한다. 그리고, 통신부(922)는, 수신 신호를 복조 및 복호하여 전자 메일 데이터를 복원하고, 복원한 전자 메일 데이터를 제어부(931)로 출력한다. 제어부(931)는, 표시부(930)에 전자 메일의 내용을 표시시킴과 함께, 전자 메일 데이터를 기록 재생부(929)의 기억 매체에 기억시킨다.
기록 재생부(929)는, 판독 기입 가능한 임의의 기억 매체를 갖는다. 예를 들어, 기억 매체는, RAM 또는 플래시 메모리 등의 내장형의 기억 매체이어도 되고, 하드 디스크, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리, 또는 메모리 카드 등의 외부 장착형의 기억 매체이어도 된다.
또한, 촬영 모드에서, 예를 들어 카메라부(926)는, 피사체를 촬상하여 화상 데이터를 생성하고, 생성한 화상 데이터를 화상 처리부(927)로 출력한다. 화상 처리부(927)는, 카메라부(926)로부터 입력되는 화상 데이터를 부호화하고, 부호화 스트림을 기록 재생부(929)의 기억 매체에 기억시킨다.
또한, 텔레비전 전화 모드에서, 예를 들어 다중 분리부(928)는, 화상 처리부(927)에 의해 부호화된 영상 스트림과, 음성 코덱(923)으로부터 입력되는 음성 스트림을 다중화하고, 다중화한 스트림을 통신부(922)로 출력한다. 통신부(922)는, 스트림을 부호화 및 변조하여, 송신 신호를 생성한다. 그리고, 통신부(922)는, 생성한 송신 신호를 안테나(921)를 개재하여 기지국(도시하지 않음)에 송신한다. 또한, 통신부(922)는, 안테나(921)를 개재하여 수신되는 무선 신호를 증폭하고 및 주파수 변환하여, 수신 신호를 취득한다. 이들 송신 신호 및 수신 신호에는, 부호화 비트 스트림이 포함될 수 있다. 그리고, 통신부(922)는, 수신 신호를 복조 및 복호하여 스트림을 복원하고, 복원한 스트림을 다중 분리부(928)로 출력한다. 다중 분리부(928)는, 입력되는 스트림으로부터 영상 스트림 및 음성 스트림을 분리하고, 영상 스트림을 화상 처리부(927), 음성 스트림을 음성 코덱(923)로 출력한다. 화상 처리부(927)는, 영상 스트림을 복호하여, 영상 데이터를 생성한다. 영상 데이터는, 표시부(930)에 공급되어, 표시부(930)에 의해 일련의 화상이 표시된다. 음성 코덱(923)은, 음성 스트림을 신장하고 및 D/A 변환하여, 아날로그 음성 신호를 생성한다. 그리고, 음성 코덱(923)은, 생성한 음성 신호를 스피커(924)에 공급하여 음성을 출력시킨다.
이렇게 구성된 휴대 전화기(920)에 있어서, 화상 처리부(927)는, 상술한 실시 형태에 따른 화상 부호화 장치(10) 및 화상 복호 장치(60)의 기능을 갖는다. 따라서, 휴대 전화기(920)에서의 화상의 스케일러블 부호화 및 복호 시에 레이어간의 움직임의 상관을 활용함으로써, 부호화 효율을 한층 높일 수 있다.
[5-3. 제3 응용예]
도 28은, 상술한 실시 형태를 적용한 기록 재생 장치의 개략적인 구성의 일례를 나타내고 있다. 기록 재생 장치(940)는, 예를 들어 수신한 방송 프로그램의 음성 데이터 및 영상 데이터를 부호화하여 기록 매체에 기록한다. 또한, 기록 재생 장치(940)는, 예를 들어 다른 장치로부터 취득되는 음성 데이터 및 영상 데이터를 부호화하여 기록 매체에 기록해도 된다. 또한, 기록 재생 장치(940)는, 예를 들어 유저의 지시에 따라, 기록 매체에 기록되어 있는 데이터를 모니터 및 스피커상에서 재생한다. 이때, 기록 재생 장치(940)는, 음성 데이터 및 영상 데이터를 복호한다.
기록 재생 장치(940)는, 튜너(941), 외부 인터페이스(942), 인코더(943), HDD(Hard Disk Drive)(944), 디스크 드라이브(945), 셀렉터(946), 디코더(947), OSD(On-Screen Display)(948), 제어부(949) 및 유저 인터페이스(950)를 구비한다.
튜너(941)는, 안테나(도시하지 않음)를 개재하여 수신되는 방송 신호로부터 원하는 채널의 신호를 추출하고, 추출한 신호를 복조한다. 그리고, 튜너(941)는, 복조에 의해 얻어진 부호화 비트 스트림을 셀렉터(946)로 출력한다. 즉, 튜너(941)는, 기록 재생 장치(940)에서의 전송 수단으로서의 역할을 갖는다.
외부 인터페이스(942)는, 기록 재생 장치(940)와 외부 기기 또는 네트워크를 접속하기 위한 인터페이스이다. 외부 인터페이스(942)는, 예를 들어 IEEE1394 인터페이스, 네트워크 인터페이스, USB 인터페이스, 또는 플래시 메모리 인터페이스 등이어도 된다. 예를 들어, 외부 인터페이스(942)를 개재하여 수신되는 영상 데이터 및 음성 데이터는, 인코더(943)에 입력된다. 즉, 외부 인터페이스(942)는, 기록 재생 장치(940)에서의 전송 수단으로서의 역할을 갖는다.
인코더(943)는, 외부 인터페이스(942)로부터 입력되는 영상 데이터 및 음성 데이터가 부호화되어 있지 않은 경우에, 영상 데이터 및 음성 데이터를 부호화한다. 그리고, 인코더(943)는, 부호화 비트 스트림을 셀렉터(946)로 출력한다.
HDD(944)는, 영상 및 음성 등의 콘텐츠 데이터가 압축된 부호화 비트 스트림, 각종 프로그램 및 그 밖의 데이터를 내부의 하드 디스크에 기록한다. 또한, HDD(944)는, 영상 및 음성의 재생 시에, 이들 데이터를 하드 디스크로부터 판독한다.
디스크 드라이브(945)는, 장착되어 있는 기록 매체에 대한 데이터의 기록 및 판독을 행한다. 디스크 드라이브(945)에 장착되는 기록 매체는, 예를 들어 DVD 디스크(DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD+R, DVD+RW 등) 또는 Blu-ray(등록 상표) 디스크 등이어도 된다.
셀렉터(946)는, 영상 및 음성의 기록 시에는, 튜너(941) 또는 인코더(943)로부터 입력되는 부호화 비트 스트림을 선택하고, 선택한 부호화 비트 스트림을 HDD(944) 또는 디스크 드라이브(945)로 출력한다. 또한, 셀렉터(946)는, 영상 및 음성의 재생 시에는, HDD(944) 또는 디스크 드라이브(945)로부터 입력되는 부호화 비트 스트림을 디코더(947)로 출력한다.
디코더(947)는, 부호화 비트 스트림을 복호하여, 영상 데이터 및 음성 데이터를 생성한다. 그리고, 디코더(947)는, 생성한 영상 데이터를 OSD(948)로 출력한다. 또한, 디코더(904)는 생성한 음성 데이터를 외부의 스피커로 출력한다.
OSD(948)는, 디코더(947)로부터 입력되는 영상 데이터를 재생하여, 영상을 표시한다. 또한, OSD(948)는, 표시하는 영상에, 예를 들어 메뉴, 버튼 또는 커서 등의 GUI의 화상을 중첩해도 된다.
제어부(949)는, CPU 등의 프로세서, 및 RAM 및 ROM 등의 메모리를 갖는다. 메모리는, CPU에 의해 실행되는 프로그램 및 프로그램 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들어 기록 재생 장치(940)의 기동시에 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 예를 들어 유저 인터페이스(950)로부터 입력되는 조작 신호에 따라, 기록 재생 장치(940)의 동작을 제어한다.
유저 인터페이스(950)는 제어부(949)와 접속된다. 유저 인터페이스(950)는, 예를 들어 유저가 기록 재생 장치(940)를 조작하기 위한 버튼 및 스위치, 및 원격 제어 신호의 수신부 등을 갖는다. 유저 인터페이스(950)는, 이들 구성 요소를 개재하여 유저에 의한 조작을 검출하여 조작 신호를 생성하고, 생성한 조작 신호를 제어부(949)로 출력한다.
이렇게 구성된 기록 재생 장치(940)에 있어서, 인코더(943)는, 상술한 실시 형태에 따른 화상 부호화 장치(10)의 기능을 갖는다. 또한, 디코더(947)는, 상술한 실시 형태에 따른 화상 복호 장치(60)의 기능을 갖는다. 따라서, 기록 재생 장치(940)에서의 화상의 스케일러블 부호화 및 복호 시에 레이어간의 움직임의 상관을 활용함으로써, 부호화 효율을 한층 높일 수 있다.
[5-4. 제4 응용예]
도 29는, 상술한 실시 형태를 적용한 촬상 장치의 개략적인 구성의 일례를 나타내고 있다. 촬상 장치(960)는, 피사체를 촬상하여 화상을 생성하고, 화상 데이터를 부호화하여 기록 매체에 기록한다.
촬상 장치(960)는, 광학 블록(961), 촬상부(962), 신호 처리부(963), 화상 처리부(964), 표시부(965), 외부 인터페이스(966), 메모리(967), 미디어 드라이브(968), OSD(969), 제어부(970), 유저 인터페이스(971) 및 버스(972)를 구비한다.
광학 블록(961)은 촬상부(962)에 접속된다. 촬상부(962)는 신호 처리부(963)에 접속된다. 표시부(965)는 화상 처리부(964)에 접속된다. 유저 인터페이스(971)는 제어부(970)에 접속된다. 버스(972)는, 화상 처리부(964), 외부 인터페이스(966), 메모리(967), 미디어 드라이브(968), OSD(969) 및 제어부(970)를 서로 접속한다.
광학 블록(961)은, 포커스 렌즈 및 조리개 기구 등을 갖는다. 광학 블록(961)은, 피사체의 광학상을 촬상부(962)의 촬상면에 결상시킨다. 촬상부(962)는, CCD 또는 CMOS 등의 이미지 센서를 갖고, 촬상면에 결상한 광학상을 광전 변환에 의해 전기 신호로서의 화상 신호로 변환한다. 그리고, 촬상부(962)는, 화상 신호를 신호 처리부(963)로 출력한다.
신호 처리부(963)는, 촬상부(962)로부터 입력되는 화상 신호에 대하여 니 보정, 감마 보정, 색 보정 등의 다양한 카메라 신호 처리를 행한다. 신호 처리부(963)는, 카메라 신호 처리 후의 화상 데이터를 화상 처리부(964)로 출력한다.
화상 처리부(964)는, 신호 처리부(963)로부터 입력되는 화상 데이터를 부호화하여, 부호화 데이터를 생성한다. 그리고, 화상 처리부(964)는, 생성한 부호화 데이터를 외부 인터페이스(966) 또는 미디어 드라이브(968)로 출력한다. 또한, 화상 처리부(964)는, 외부 인터페이스(966) 또는 미디어 드라이브(968)로부터 입력되는 부호화 데이터를 복호하여, 화상 데이터를 생성한다. 그리고, 화상 처리부(964)는, 생성한 화상 데이터를 표시부(965)로 출력한다. 또한, 화상 처리부(964)는, 신호 처리부(963)로부터 입력되는 화상 데이터를 표시부(965)로 출력하여 화상을 표시시켜도 된다. 또한, 화상 처리부(964)는, OSD(969)로부터 취득되는 표시용 데이터를, 표시부(965)로 출력하는 화상에 중첩해도 된다.
OSD(969)는, 예를 들어 메뉴, 버튼 또는 커서 등의 GUI의 화상을 생성하고, 생성한 화상을 화상 처리부(964)로 출력한다.
외부 인터페이스(966)는, 예를 들어 USB 입출력 단자로서 구성된다. 외부 인터페이스(966)는, 예를 들어 화상의 인쇄 시에, 촬상 장치(960)와 프린터를 접속한다. 또한, 외부 인터페이스(966)에는, 필요에 따라 드라이브가 접속된다. 드라이브에는, 예를 들어 자기 디스크 또는 광 디스크 등의 리무버블 미디어가 장착되어, 리무버블 미디어로부터 판독되는 프로그램이, 촬상 장치(960)에 인스톨될 수 있다. 또한, 외부 인터페이스(966)는, LAN 또는 인터넷 등의 네트워크에 접속되는 네트워크 인터페이스로서 구성되어도 된다. 즉, 외부 인터페이스(966)는, 촬상 장치(960)에서의 전송 수단으로서의 역할을 갖는다.
미디어 드라이브(968)에 장착되는 기록 매체는, 예를 들어 자기 디스크, 광자기 디스크, 광 디스크, 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어이어도 된다. 또한, 미디어 드라이브(968)에 기록 매체가 고정적으로 장착되어, 예를 들어 내장형 하드디스크 드라이브 또는 SSD(Solid State Drive)와 같은 비가반성의 기억부가 구성되어도 된다.
제어부(970)는, CPU 등의 프로세서, 및 RAM 및 ROM 등의 메모리를 갖는다. 메모리는, CPU에 의해 실행되는 프로그램 및 프로그램 데이터 등을 기억한다. 메모리에 의해 기억되는 프로그램은, 예를 들어 촬상 장치(960)의 기동시에 CPU에 의해 판독되어 실행된다. CPU는, 프로그램을 실행함으로써, 예를 들어 유저 인터페이스(971)로부터 입력되는 조작 신호에 따라, 촬상 장치(960)의 동작을 제어한다.
유저 인터페이스(971)는 제어부(970)와 접속된다. 유저 인터페이스(971)는, 예를 들어 유저가 촬상 장치(960)를 조작하기 위한 버튼 및 스위치 등을 갖는다. 유저 인터페이스(971)는, 이들 구성 요소를 개재하여 유저에 의한 조작을 검출해서 조작 신호를 생성하고, 생성한 조작 신호를 제어부(970)로 출력한다.
이렇게 구성된 촬상 장치(960)에 있어서, 화상 처리부(964)는, 상술한 실시 형태에 따른 화상 부호화 장치(10) 및 화상 복호 장치(60)의 기능을 갖는다. 따라서, 촬상 장치(960)에서의 화상의 스케일러블 부호화 및 복호 시에 레이어간의 움직임의 상관을 활용함으로써, 부호화 효율을 한층 높일 수 있다.
<6. 정리>
여기까지, 도 1 내지 도 29를 사용하여, 일 실시 형태에 따른 화상 부호화 장치(10) 및 화상 복호 장치(60)의 4개의 실시예에 대하여 설명하였다. 이들 실시예에 의하면, 화상의 스케일러블 부호화 및 복호 시에, 하위 레이어 내의 제1 예측 단위에 대응하는 상위 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보이며, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 설정 정보를 사용하여, 상기 제2 예측 단위에 움직임 벡터가 설정된다. 따라서, 레이어간의 움직임의 상관을 활용하여 상위 레이어의 각 예측 단위에 움직임 벡터를 설정하는 것이 가능하게 된다. 따라서, 움직임 벡터 정보, 차분 움직임 벡터 정보, 프리딕터 정보 또는 머지 정보의 장황한 부호화가 방지되기 때문에, 부호화 효율을 높일 수 있다.
예를 들어, 제1 실시예에 의하면, 하위 레이어 내의 예측 단위의 움직임 벡터의 예측 시에 사용되는 프리딕터를 나타내는 프리딕터 정보가, 상위 레이어 내의 예측 단위의 움직임 벡터의 예측 시에 재이용된다. 따라서, 프리딕터 정보의 장황한 부호화를 피할 수 있다.
또한, 예를 들어 제2 실시예에 의하면, 상위 레이어 내의 예측 단위를 위한, 하위 레이어 내의 대응하는 예측 단위에 설정된 움직임 벡터에 기초하는 레이어간 프리딕터가, 새로운 프리딕터 후보로서 도입된다. 따라서, 상위 레이어 내의 예측 단위에 대하여 움직임 벡터의 예측의 정밀도를 향상시켜, 차분 움직임 벡터 정보의 부호화에 필요로 하는 부호량을 저감할 수 있다.
또한, 예를 들어 제3 실시예에 의하면, 하위 레이어 내의 예측 단위에 대하여 선택된 머지 모드를 나타내는 머지 정보가, 상위 레이어 내의 예측 단위에 대하여 재이용된다. 따라서, 머지 정보의 장황한 부호화를 피할 수 있다.
또한, 예를 들어 제4 실시예에 의하면, 하위 레이어 내의 대응하는 예측 단위와 상위 레이어 내의 예측 단위를 머지하는 새로운 머지 모드가 도입된다. 따라서, 상위 레이어 내의 예측 단위에 대하여 움직임 벡터 정보의 장황한 부호화를 피할 수 있다.
또한, 본 명세서에서는, 인트라 예측에 관한 정보 및 인터 예측에 관한 정보가, 부호화 스트림의 헤더에 다중화되어서, 부호화측으로부터 복호측에 전송되는 예에 대하여 주로 설명하였다. 그러나, 이들 정보를 전송하는 방법은 이와 같은 예에 한정되지 않는다. 예를 들어, 이들 정보는, 부호화 비트 스트림에 다중화되지 않고, 부호화 비트 스트림과 관련지어진 별개의 데이터로서 전송되거나 또는 기록되어도 된다. 여기서, "관련지어진"이라는 용어는, 비트 스트림에 포함되는 화상(슬라이스 또는 블록 등, 화상의 일부이어도 됨)과 당해 화상에 대응하는 정보를 복호시에 링크시킬 수 있도록 하는 것을 의미한다. 즉, 정보는, 화상(또는 비트 스트림)과는 다른 전송로 상에서 전송되어도 된다. 또한, 정보는, 화상(또는 비트 스트림)과는 다른 기록 매체(또는 동일한 기록 매체의 다른 기록 에리어)에 기록되어도 된다. 또한, 정보와 화상(또는 비트 스트림)은, 예를 들어 복수 프레임, 1 프레임, 또는 프레임 내의 일부분 등의 임의의 단위로 서로 관련지어져도 된다.
이상, 첨부 도면을 참조하면서 본 발명의 적합한 실시 형태에 대하여 상세하게 설명했지만, 본 발명의 기술적 범위는 이와 같은 예에 한정되지 않는다. 본 발명의 기술분야에서의 통상의 지식을 갖는 자이면, 특허 청구 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있음은 명확하며, 이것들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
또한, 이하와 같은 구성도 본 발명의 기술적 범위에 속한다.
(1) 제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보이며, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 취득하는 정보 취득부와,
상기 정보 취득부에 의해 취득되는 상기 설정 정보를 사용하여, 상기 제2 예측 단위에 움직임 벡터를 설정하는 움직임 벡터 설정부
를 구비하는 화상 처리 장치.
(2) 상기 설정 정보는, 상기 제1 예측 단위의 움직임 벡터의 예측 시에 사용되는 프리딕터를 나타내는 프리딕터 정보를 포함하고,
상기 움직임 벡터 설정부는, 상기 프리딕터 정보에 의해 나타나는 상기 프리딕터를 사용하여, 상기 제2 예측 단위에 설정되는 움직임 벡터를 예측하는,
상기 (1)에 기재된 화상 처리 장치.
(3) 상기 설정 정보는, 상기 제2 예측 단위의 움직임 벡터의 예측 시에 사용되는 프리딕터를 나타내는 프리딕터 정보를 포함하고,
상기 프리딕터는, 상기 제1 예측 단위에 설정된 움직임 벡터에 기초하는 프리딕터 후보를 포함하는 복수의 프리딕터 후보에서 선택되는,
상기 (1)에 기재된 화상 처리 장치.
(4) 상기 제1 예측 단위에 설정된 움직임 벡터에 기초하는 프리딕터 후보에는, 상기 복수의 프리딕터 후보 중에서 최소의 부호 번호가 할당되는, 상기 (3)에 기재된 화상 처리 장치.
(5) 상기 정보 취득부는, 상기 제2 예측 단위에 설정되는 움직임 벡터와 예측 움직임 벡터의 차분을 나타내는 차분 움직임 벡터 정보를 더 취득하고,
상기 움직임 벡터 설정부는, 상기 프리딕터를 사용하여 예측한 상기 예측 움직임 벡터에 상기 차분 움직임 벡터 정보에 의해 나타나는 차분을 가산함으로써 생성되는 움직임 벡터를, 상기 제2 예측 단위에 설정하는,
상기 (2) 내지 (4) 중 어느 하나에 기재된 화상 처리 장치.
(6) 상기 설정 정보는, 상기 제1 예측 단위와 상기 제1 예측 단위에 인접하는 예측 단위에 공통되는 움직임 벡터가 설정되는지를 나타내는 머지 정보를 포함하고,
상기 움직임 벡터 설정부는, 상기 머지 정보에 따라 상기 제2 예측 단위와 상기 제2 예측 단위에 인접하는 예측 단위에 공통인 움직임 벡터를 설정하는,
상기 (1)에 기재된 화상 처리 장치.
(7) 상기 설정 정보는, 상기 제1 예측 단위와 상기 제2 예측 단위에 공통되는 움직임 벡터가 설정되는지를 나타내는 머지 정보를 포함하고,
상기 움직임 벡터 설정부는, 상기 제1 예측 단위와 상기 제2 예측 단위에 공통되는 움직임 벡터가 설정되는 것을 상기 머지 정보가 나타내고 있을 경우에는, 상기 제1 예측 단위와 공통인 움직임 벡터를 상기 제2 예측 단위에 설정하는,
상기 (1)에 기재된 화상 처리 장치.
(8) 상기 움직임 벡터 설정부는, 상기 제1 레이어와 상기 제2 레이어 사이의 공간 해상도의 비율에 따라서 상기 제1 예측 단위에 설정된 움직임 벡터를 확대한 뒤에, 상기 제2 예측 단위에 대하여 움직임 벡터 설정 처리를 행하는, 상기 (3), (4) 및 (7) 중 어느 하나에 기재된 화상 처리 장치.
(9) 상기 움직임 벡터 설정부는, 상기 제1 예측 단위에 설정된 움직임 벡터의 확대 시에, 확대된 움직임 벡터를 움직임 벡터 정밀도에 따라서 라운딩하는, 상기 (8)에 기재된 화상 처리 장치.
(10) 상기 제1 레이어 및 상기 제2 레이어는, 공간 해상도가 서로 다른 레이어인, 상기 (1) 내지 (7) 중 어느 하나에 기재된 화상 처리 장치.
(11) 상기 제1 레이어 및 상기 제2 레이어는, 잡음 비율이 서로 다른 레이어인, 상기 (1) 내지 (7) 중 어느 하나에 기재된 화상 처리 장치.
(12) 상기 제1 예측 단위는, 상기 제2 예측 단위 내의 소정의 위치의 화소에 대응하는 화소를 갖는 상기 제1 레이어 내의 예측 단위인, 상기 (1) 내지 (11) 중 어느 하나에 기재된 화상 처리 장치.
(13) 상기 제1 예측 단위는, 상기 제2 예측 단위와 겹치는 상기 제1 레이어 내의 예측 단위 중 겹침이 가장 큰 예측 단위인, 상기 (1) 내지 (11) 중 어느 하나에 기재된 화상 처리 장치.
(14) 제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보이며, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 취득하는 것과,
취득된 상기 설정 정보를 사용하여, 상기 제2 예측 단위에 움직임 벡터를 설정하는 것
을 포함하는 화상 처리 방법.
(15) 제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보이며, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 생성하는 정보 생성부와,
상기 정보 생성부에 의해 생성되는 상기 설정 정보를 부호화하는 부호화부
를 구비하는 화상 처리 장치.
(16) 제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보이며, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 생성하는 것과,
생성된 상기 설정 정보를 부호화하는 것
을 포함하는 화상 처리 방법.
10 : 화상 부호화 장치(화상 처리 장치)
146, 246, 346, 446 : 정보 생성부
16 : 부호화부 60 : 화상 복호 장치(화상 처리 장치)
191, 291, 391, 491 : 정보 취득부
192, 246, 392, 492 : 움직임 벡터 설정부

Claims (14)

  1. 화상 처리 장치로서,
    제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블(scalable) 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보로서, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 취득하는 정보 취득부와,
    상기 정보 취득부에 의해 취득되는 상기 설정 정보를 사용하여, 상기 제2 예측 단위에 움직임 벡터를 설정하는 움직임 벡터 설정부
    를 구비하고,
    상기 설정 정보는, 상기 제1 예측 단위의 움직임 벡터의 예측 시에 사용되는 프리딕터(predictor)를 나타내는 프리딕터 정보를 포함하고,
    상기 움직임 벡터 설정부는, 상기 프리딕터 정보에 의해 나타나는 상기 프리딕터를 사용하여, 상기 제2 예측 단위에 설정되는 움직임 벡터를 예측하는, 화상 처리 장치.
  2. 화상 처리 장치로서,
    제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보로서, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 취득하는 정보 취득부와,
    상기 정보 취득부에 의해 취득되는 상기 설정 정보를 사용하여, 상기 제2 예측 단위에 움직임 벡터를 설정하는 움직임 벡터 설정부
    를 구비하고,
    상기 설정 정보는, 상기 제2 예측 단위의 움직임 벡터의 예측 시에 사용되는 프리딕터를 나타내는 프리딕터 정보를 포함하고,
    상기 프리딕터는, 상기 제1 예측 단위에 설정된 움직임 벡터에 기초하는 프리딕터 후보를 포함하는 복수의 프리딕터 후보에서 선택되는, 화상 처리 장치.
  3. 제2항에 있어서,
    상기 제1 예측 단위에 설정된 움직임 벡터에 기초하는 프리딕터 후보에는, 상기 복수의 프리딕터 후보 중에서 최소의 부호 번호가 할당되는, 화상 처리 장치.
  4. 제1항에 있어서,
    상기 정보 취득부는 또한, 상기 제2 예측 단위에 설정되는 움직임 벡터와 예측 움직임 벡터의 차분을 나타내는 차분 움직임 벡터 정보를 취득하고,
    상기 움직임 벡터 설정부는, 상기 프리딕터를 사용하여 예측한 상기 예측 움직임 벡터에 상기 차분 움직임 벡터 정보에 의해 나타나는 차분을 가산함으로써 생성되는 움직임 벡터를, 상기 제2 예측 단위에 설정하는, 화상 처리 장치.
  5. 화상 처리 장치로서,
    제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보로서, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 취득하는 정보 취득부와,
    상기 정보 취득부에 의해 취득되는 상기 설정 정보를 사용하여, 상기 제2 예측 단위에 움직임 벡터를 설정하는 움직임 벡터 설정부
    를 구비하고,
    상기 설정 정보는, 상기 제1 예측 단위와 상기 제1 예측 단위에 인접하는 예측 단위에 공통되는 움직임 벡터가 설정되는지를 나타내는 머지 정보를 포함하고,
    상기 움직임 벡터 설정부는, 상기 머지 정보에 따라 상기 제2 예측 단위와 상기 제2 예측 단위에 인접하는 예측 단위에 공통인 움직임 벡터를 설정하는, 화상 처리 장치.
  6. 제2항에 있어서,
    상기 움직임 벡터 설정부는, 상기 제1 레이어와 상기 제2 레이어 사이의 공간 해상도의 비율에 따라서 상기 제1 예측 단위에 설정된 움직임 벡터를 확대한 뒤에, 상기 제2 예측 단위에 대하여 움직임 벡터 설정 처리를 행하는, 화상 처리 장치.
  7. 제6항에 있어서,
    상기 움직임 벡터 설정부는, 상기 제1 예측 단위에 설정된 움직임 벡터의 확대 시에, 확대된 움직임 벡터를 움직임 벡터 정밀도에 따라서 라운딩하는, 화상 처리 장치.
  8. 제1항에 있어서,
    상기 제1 레이어 및 상기 제2 레이어는, 공간 해상도가 서로 다른 레이어인, 화상 처리 장치.
  9. 제1항에 있어서,
    상기 제1 레이어 및 상기 제2 레이어는, 잡음 비율이 서로 다른 레이어인, 화상 처리 장치.
  10. 제1항에 있어서,
    상기 제1 예측 단위는, 상기 제2 예측 단위 내의 소정의 위치의 화소에 대응하는 화소를 갖는 상기 제1 레이어 내의 예측 단위인, 화상 처리 장치.
  11. 제1항에 있어서,
    상기 제1 예측 단위는, 상기 제2 예측 단위와 겹치는 상기 제1 레이어 내의 예측 단위 중 겹침이 가장 큰 예측 단위인, 화상 처리 장치.
  12. 화상 처리 방법으로서,
    제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보로서, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 취득하는 것과,
    상기 설정 정보는, 상기 제1 예측 단위의 움직임 벡터의 예측 시에 사용되는 프리딕터를 나타내는 프리딕터 정보를 포함하는 것과,
    취득된 상기 설정 정보에 포함되는 상기 프리딕터 정보에 의해 나타나는 상기 프리딕터를 사용하여, 상기 제2 예측 단위에 설정되는 움직임 벡터를 예측함으로써, 상기 제2 예측 단위에 움직임 벡터를 설정하는 것을 포함하는, 화상 처리 방법.
  13. 화상 처리 장치로서,
    제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보로서, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 생성하는 정보 생성부와,
    상기 정보 생성부에 의해 생성되는 상기 설정 정보를 부호화하는 부호화부
    를 구비하고,
    상기 설정 정보는, 상기 제1 예측 단위의 움직임 벡터의 예측 시에 사용되는 프리딕터를 나타내는 프리딕터 정보를 포함하고,
    상기 제2 예측 단위에 설정되는 움직임 벡터는, 상기 프리딕터 정보에 의해 나타나는 상기 프리딕터를 사용하여 예측되는, 화상 처리 장치.
  14. 화상 처리 방법으로서,
    제1 레이어 및 상기 제1 레이어보다 상위의 제2 레이어를 포함하는 스케일러블 복호되는 화상의 상기 제1 레이어 내의 제1 예측 단위에 대응하는 상기 제2 레이어 내의 제2 예측 단위에 움직임 벡터를 설정하기 위한 설정 정보로서, 상기 제1 예측 단위에 설정된 움직임 벡터에 관련하는 상기 설정 정보를 생성하는 것과,
    상기 설정 정보는, 상기 제1 예측 단위의 움직임 벡터의 예측 시에 사용되는 프리딕터를 나타내는 프리딕터 정보를 포함하는 것과,
    생성된 상기 설정 정보를 부호화하는 것과,
    상기 제2 예측 단위에 설정되는 움직임 벡터는, 상기 프리딕터 정보에 의해 나타나는 상기 프리딕터를 사용하여 예측되는 것을 포함하는, 화상 처리 방법.
KR1020137032128A 2011-07-14 2012-05-24 화상 처리 장치 및 화상 처리 방법 KR102066291B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-155414 2011-07-14
JP2011155414A JP5830993B2 (ja) 2011-07-14 2011-07-14 画像処理装置及び画像処理方法
PCT/JP2012/063321 WO2013008538A1 (ja) 2011-07-14 2012-05-24 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
KR20140036214A true KR20140036214A (ko) 2014-03-25
KR102066291B1 KR102066291B1 (ko) 2020-01-14

Family

ID=47505836

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137032128A KR102066291B1 (ko) 2011-07-14 2012-05-24 화상 처리 장치 및 화상 처리 방법

Country Status (8)

Country Link
US (2) US9749625B2 (ko)
EP (1) EP2733943B1 (ko)
JP (1) JP5830993B2 (ko)
KR (1) KR102066291B1 (ko)
CN (2) CN107105287B (ko)
BR (1) BR112014000348A2 (ko)
RU (2) RU2620719C2 (ko)
WO (1) WO2013008538A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051344A (ko) * 2014-11-03 2016-05-11 세종대학교산학협력단 멀티 레이어 비디오의 움직임 정보 탐색 방법 및 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2822276T3 (pl) * 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
US9686559B2 (en) 2012-07-03 2017-06-20 Sharp Kabushiki Kaisha Image decoding device, and image encoding device
US9124899B2 (en) 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
JP6135251B2 (ja) * 2013-03-29 2017-05-31 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法及び画像復号プログラム
JP6135250B2 (ja) * 2013-03-29 2017-05-31 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム
GB2512829B (en) * 2013-04-05 2015-05-27 Canon Kk Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme
EP3410715A1 (en) 2013-04-05 2018-12-05 Vid Scale, Inc. Inter-layer reference picture enhancement for multiple layer video coding
JP6094409B2 (ja) * 2013-07-12 2017-03-15 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法及び画像復号プログラム
JP6094408B2 (ja) * 2013-07-12 2017-03-15 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム
US9654794B2 (en) * 2014-01-03 2017-05-16 Qualcomm Incorporated Methods for coding an inter-layer reference picture set (RPS) and coding end of bitstream (EOB) network access layer (NAL) units in multi-layer coding
US11250081B1 (en) * 2014-09-24 2022-02-15 Amazon Technologies, Inc. Predictive search
JP6184558B2 (ja) * 2016-06-08 2017-08-23 キヤノン株式会社 符号化装置、符号化方法及びプログラム、復号装置、復号方法及びプログラム
JP6387159B2 (ja) * 2017-07-25 2018-09-05 キヤノン株式会社 復号装置、復号方法及びプログラム
CN108668129A (zh) * 2018-03-14 2018-10-16 西安万像电子科技有限公司 一种编码方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1659797A2 (en) * 2004-10-21 2006-05-24 Samsung Electronics Co., Ltd. Method and apparatus for compressing motion vectors in video coder based on multi-layer
JP2008535424A (ja) * 2005-04-06 2008-08-28 トムソン ライセンシング エンハンスメント層ビデオ・データを符号化する方法および装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2127151A1 (en) * 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US6639945B2 (en) * 1997-03-14 2003-10-28 Microsoft Corporation Method and apparatus for implementing motion detection in video compression
CN101631247B (zh) * 2002-04-18 2011-07-27 株式会社东芝 运动图像编码/解码方法和装置
KR100738076B1 (ko) * 2004-09-16 2007-07-12 삼성전자주식회사 웨이블렛 변환장치 및 그 방법과 이를 채용한 스케일러블영상부호화 장치 및 그 방법과 스케일러블 영상복호화 장치및 그 방법
KR100664929B1 (ko) 2004-10-21 2007-01-04 삼성전자주식회사 다 계층 기반의 비디오 코더에서 모션 벡터를 효율적으로압축하는 방법 및 장치
US20060153300A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for motion vector prediction in scalable video coding
FR2884373B1 (fr) 2005-04-12 2009-07-10 Commissariat Energie Atomique Procede de communication sans contact base sur des modulations et demodulations asynchrones
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100878826B1 (ko) * 2005-07-08 2009-01-14 엘지전자 주식회사 영상 신호의 코딩정보를 압축/해제하기 위해 모델링하는방법
KR20070012201A (ko) * 2005-07-21 2007-01-25 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
WO2007100187A1 (en) * 2006-01-09 2007-09-07 Lg Electronics Inc. Inter-layer prediction method for video signal
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
US20080095238A1 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
RU2426267C2 (ru) * 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
US8446958B2 (en) * 2009-09-22 2013-05-21 Panasonic Corporation Image coding apparatus, image decoding apparatus, image coding method, and image decoding method
PL3429205T3 (pl) * 2010-05-04 2021-02-08 Lg Electronics Inc. Sposób i urządzenie do przetwarzania sygnału wideo
SI2924995T1 (sl) * 2010-07-09 2018-10-30 Samsung Electronics Co., Ltd. Postopek za dekodiranje videa z uporabo združevanja blokov
US8711940B2 (en) * 2010-11-29 2014-04-29 Mediatek Inc. Method and apparatus of motion vector prediction with extended motion vector predictor
WO2012167713A1 (en) 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1659797A2 (en) * 2004-10-21 2006-05-24 Samsung Electronics Co., Ltd. Method and apparatus for compressing motion vectors in video coder based on multi-layer
JP2008535424A (ja) * 2005-04-06 2008-08-28 トムソン ライセンシング エンハンスメント層ビデオ・データを符号化する方法および装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JCTVC-A116, "Video Coding Technology Proposal by Fraunhofer HHI", M. Winken, et al, April, 2010
JCTVC-B205, "Test Model under Consideration", Joint Collaborative Team on Video Coding meeting: Geneva, CH, 21-28July, 2010
VCEG-AI 22, "Motion Vector Coding with Optimal PMV Selection", Jungyoup Yang, et al, July, 2008

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051344A (ko) * 2014-11-03 2016-05-11 세종대학교산학협력단 멀티 레이어 비디오의 움직임 정보 탐색 방법 및 장치

Also Published As

Publication number Publication date
EP2733943A1 (en) 2014-05-21
CN107105287B (zh) 2020-07-07
EP2733943B1 (en) 2019-02-27
RU2620719C2 (ru) 2017-05-29
US20140037013A1 (en) 2014-02-06
RU2013157386A (ru) 2015-06-27
US10623761B2 (en) 2020-04-14
CN103650494B (zh) 2017-11-24
EP2733943A4 (en) 2015-06-03
CN107105287A (zh) 2017-08-29
US20170339424A1 (en) 2017-11-23
JP2013021629A (ja) 2013-01-31
BR112014000348A2 (pt) 2017-02-14
KR102066291B1 (ko) 2020-01-14
US9749625B2 (en) 2017-08-29
CN103650494A (zh) 2014-03-19
RU2668056C1 (ru) 2018-09-25
WO2013008538A1 (ja) 2013-01-17
JP5830993B2 (ja) 2015-12-09

Similar Documents

Publication Publication Date Title
KR102066291B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP6670812B2 (ja) 符号化装置および符号化方法
TWI620433B (zh) Image processing device and method
KR102296853B1 (ko) 화상 복호 장치 및 방법
WO2013164922A1 (ja) 画像処理装置及び画像処理方法
US20130259129A1 (en) Image processing device and method
JPWO2013150838A1 (ja) 画像処理装置及び画像処理方法
KR20110124199A (ko) 화상 처리 장치 및 방법
WO2013001939A1 (ja) 画像処理装置及び画像処理方法
WO2013088833A1 (ja) 画像処理装置及び画像処理方法
KR20150099743A (ko) 화상 처리 장치 및 방법
WO2014038330A1 (ja) 画像処理装置及び画像処理方法
US20160119639A1 (en) Image processing apparatus and image processing method
JP6265249B2 (ja) 画像処理装置及び画像処理方法
WO2014141899A1 (ja) 画像処理装置および方法
JP6048564B2 (ja) 画像処理装置及び画像処理方法
WO2014097703A1 (ja) 画像処理装置及び画像処理方法
WO2014050311A1 (ja) 画像処理装置及び画像処理方法
US20160037184A1 (en) Image processing device and method
WO2014203762A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant