KR20110126615A - 화상 처리 장치 및 방법 - Google Patents

화상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20110126615A
KR20110126615A KR1020117018748A KR20117018748A KR20110126615A KR 20110126615 A KR20110126615 A KR 20110126615A KR 1020117018748 A KR1020117018748 A KR 1020117018748A KR 20117018748 A KR20117018748 A KR 20117018748A KR 20110126615 A KR20110126615 A KR 20110126615A
Authority
KR
South Korea
Prior art keywords
image
circuit
prediction
motion compensation
pass filter
Prior art date
Application number
KR1020117018748A
Other languages
English (en)
Inventor
오지 나까가미
요이찌 야가사끼
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20110126615A publication Critical patent/KR20110126615A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은, 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있는 화상 처리 장치 및 방법에 관한 것이다. 필터링 예측 회로(64)의 추출 회로(71)는, 고해상도의 인핸스먼트 레이어의 예측 화상 생성용의 움직임 보상 화상을, 저해상도의 베이스 레이어의 참조 프레임으로부터 추출한다. 필터링 예측 회로(64)의 필터링 회로(72)는, 추출 회로(71)에 의해 추출된 복수의 베이스 레이어의 움직임 보상 화상에 대하여, 업 컨버트를 수반하는, 시간 방향의 해석을 사용하는 필터링을 행하여, 인핸스먼트 레이어의 예측 화상을 생성한다. 본 발명은, 예를 들어 부호화 장치 및 복호 장치에 적용할 수 있다.

Description

화상 처리 장치 및 방법{IMAGE PROCESSING DEVICE AND METHOD}
본 발명은, 화상 처리 장치 및 방법에 관한 것으로, 특히 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있도록 한 화상 처리 장치 및 방법에 관한 것이다.
종래, MPEG(Moving Picture Experts Group), H.26x 등의, 움직임 보상과, 이산 코사인 변환, 카루넨 루베 변환 또는 웨이브렛 변환 등의 직교 변환을 사용한 부호화 방식이, 동화상을 취급하는 경우의 부호화 방식으로서 일반적으로 이용되고 있다. 이들 동화상 부호화 방식에 있어서는, 부호화의 대상으로 되는 입력의 화상 신호가 갖는 특성 중, 공간 방향 및 시간 방향의 상관을 이용함으로써 부호량의 삭감이 도모되고 있다.
예를 들어, H.264에 있어서는, 시간 방향의 상관을 이용하여, 프레임간 예측(인터 예측)의 대상으로 되는 프레임인 인터 프레임을 생성할 때에, 한쪽 방향 예측 혹은 쌍방향 예측이 사용된다. 프레임간 예측은, 다른 시각의 프레임에 기초하여 예측 화상을 생성하는 것이다.
또한, H.264의 확장 규격인 SVC(Scalable Video Coding)에 있어서는, 공간적인 스케일러빌리티를 고려한 부호화 방식이 책정되어 있다. SVC(H.264/AVC Annex G)는, 2007년 11월에 ITU-T(International Telecommunication Union Telecommunication Standardization Sector)와 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission)에 의해 표준화된 최신의 영상 부호화 표준 규격이다.
도 1에, SVC에 있어서의 공간적 스케일러빌리티를 고려한 압축을 위한, 예측 화상 작성을 위한 참조 관계에 대하여 나타낸다. SVC에서는, 예를 들어 도 1에 도시된 베이스 레이어와 인핸스먼트 레이어와 같이 복수의 해상도로 부호화된다. 도 1의 예의 경우, 베이스 레이어로서, n×m[화소(pix)]의 해상도를 갖는 화상(n, m은 정수)이, 공간 스케일러빌리티를 사용하여 부호화된다. 그와 함께, 인핸스먼트 레이어로서 N×M[화소(pix)]의 해상도를 갖는 화상(N, M은 정수이고, N>n 또한 M>m)이, 공간 스케일러빌리티를 사용하여 부호화된다.
베이스 레이어의 경우, 커런트 프레임의 부호화는, H.264 규격의 경우와 마찬가지로, 인트라 예측 또는 인터 예측을 이용하여 행해진다. 도 1의 예의 경우, 베이스 레이어의 부호화 시에, 2매의 참조면(Ref0, Ref1)이 사용되어, 각 참조면으로부터의 움직임 보상 화상(MC0, MC1)이 추출되어 인터 예측이 행해진다.
인핸스먼트 레이어의 경우도, 커런트 프레임의 부호화는, 기본 레이어의 경우와 마찬가지로, 인트라 예측 또는 인터 예측을 이용하여 행할 수 있다.
인트라 예측의 경우, 커런트 프레임의 인핸스먼트 레이어 내에서, 공간적인 상관을 이용하여 예측이 행해진다. 인트라 예측은, 부호화 대상의 동화상에 있어서, 피사체의 움직임이 적거나 하여 시간 방향의 상관이 적을 때에는 유효하지만, 일반적인 동화상에 있어서는, 통상 공간 방향의 예측보다 시간 방향의 상관쪽이 높은 경우가 많아, 부호화 효율의 관점에서는 최적이라고는 할 수 없다.
인터 예측의 경우, 시간적으로 전 또는 후의 프레임의 인핸스먼트 레이어에 있어서의 복호 화상이 참조면에 사용된다. 인터 예측은, 시간 방향의 상관을 사용하기 때문에, 높은 부호화 효율의 실현을 가능하게 한다. 그러나, 사전에 참조면이 되는 고해상도의 인핸스먼트 레이어의 프레임 화상을 복호할 필요가 있는 것이 필요하다. 또한, 참조에 이용하기 위해서, 그 고해상도 화상을 메모리에 보존해 두는 것도 필요하다. 또한, 그 데이터량이 큰 고해상도 화상을 메모리로부터 판독하는 것이 필요하다. 따라서, 인터 예측은, 처리량이나 실장 비용의 관점에서는, 부하의 큰 방식이라고 할 수 있다.
단, 인핸스먼트 레이어의 경우, 커런트 프레임의 부호화에, 이들 두가지 방식 이외에, 베이스 레이어의 공간적인 업 샘플링(업 컨버트)에 의한 예측 방법(이하, 업 컨버트 예측이라고 칭한다)을 사용할 수 있다.
베이스 레이어의 화상은, 인핸스먼트 레이어의 화상의 해상도를 저하시킨 것이므로, 인핸스먼트 레이어의 화상의 저주파수 성분에 상당하는 신호가 포함되어 있다고 생각할 수 있다. 즉, 베이스 레이어의 화상에 고주파수 성분을 보충함으로써, 인핸스먼트 레이어의 화상을 얻을 수 있다. 업 컨버트 예측은, 이러한 레이어간의 상관을 이용하여 예측을 행하는 방법이다. 특히 인트라 또는 인터 예측이 해당하지 않는 경우에 있어서, 부호화 효율 개선에 도움이 되는 예측 방법이다. 또한, 이 예측 방법에서는, 커런트 프레임의 인핸스먼트 레이어의 화상의 복호에, 동일 시각의 베이스 레이어의 화상을 복호하기만 해도 되기 때문에, 처리량의 관점에서도 우수한(부하가 작은) 예측 방식이라고 할 수 있다.
그런데 고해상도화 처리에는, 시간 방향의 상관을, 움직임 보상과 화소값의 FIR 필터링에 의해, 공간 해상도로 변환하여 이용하는 방법이 있다(예를 들어, 비특허문헌 1 참조).
비특허문헌 1에 기재된 방법에서는, 입력 화상열에 대한 고해상도화 처리를 위해서, 시간 방향의 상관을 이용하고 있다. 구체적으로는, 현 화상과 과거의 화상의 사이에서, 움직임 예측·보상한 화상의 차분 정보를 계산하고, 대상의 현 화상에 피드백함으로써, 입력 화상에 포함되는 고주파 성분을 복원시키고 있다.
"Improving Resolution by Image Registration", MICHAL IRANI AND SHMUEL PELEG, Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989;accepted May 25, 1990
그러나, 저해상도의 화상을 업 컨버트하면, 선형 보간 필터의 영향으로 고주파수 성분이 적은 화상이 생성되므로, 업 컨버트 예측에서는, 고주파수 성분이 적은 예측 화상밖에 얻지 못할 우려가 있었다. 즉, 업 컨버트 예측에서는, 전송 완료된 베이스 레이어에 있어서의 화소 정보를 충분히 이용하여 예측을 행하고 있다고는 할 수 없었다. 따라서, 인핸스먼트 레이어에 있어서, 잔차 신호의 부호화에 많은 부호량이 필요하게 될 우려가 있었다.
이상과 같이, 종래의 부호화·복호 방법에 있어서는, 부호화 효율의 향상과 부하의 증대의 억제를 양립시키는 것은 곤란했다.
따라서, 비특허문헌 1에 기재되어 있는 바와 같은, 동화상의 시간 상관을 공간 해상도로 변환하는 화상 처리의 방법을 적용하여, 부호화 효율의 개선을 실현하는 방법을 생각할 수 있다. 그러나, 비특허문헌 1에 기재된 방법을, 단순하게 SVC에 적용할 수 없었다.
예를 들어, 인터 예측에 있어서는, 참조면으로부터 얻어지는 움직임 보상 화상과 생성되는 예측 화상의 해상도가 동일하여, 비특허문헌 1에 기재된 방법을 업 컨버트 예측에 적용할 수는 없었다. 또한, 업 컨버트 예측에 있어서는, 베이스 레이어의 커런트 프레임의 화상만으로 예측 화상이 생성되기 때문에, 3개의 화상을 사용하여 고해상도화를 행하는 비특허문헌 1에 기재된 방법을 업 컨버트 예측에 적용할 수는 없었다.
본 발명은, 이러한 상황을 감안하여 제안된 것이며, 공간 스케일러빌리티를 고려한 부호화를 행하는 데 있어서, 동화상 신호열에 포함되는 시간 상관을 더 효율적으로 이용함으로써, 예를 들어 부호화나 복호 등의 처리의 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있도록 하는 것이다.
본 발명의 일 측면은, 부호화된 화상을 복호하는 복호 수단과, 상기 복호 수단에 의해 복호된 화상과 예측 화상을 가산하여, 복호 완료된 화상을 생성하는 생성 수단과, 상기 생성 수단에 의해 생성된 복호 완료된 화상으로 이루어지는 프레임을 참조 프레임으로 하고, 부호화된 상기 화상의 움직임 벡터를 사용하여 움직임 보상을 행하고, 상기 예측 화상보다 저해상도의 움직임 보상 화상을, 상기 예측 화상에 대응하는 상기 참조 프레임으로부터 추출하는 추출 수단과, 상기 추출 수단에 의해 추출된 상기 움직임 보상 화상에 대하여, 상기 움직임 보상 화상에 포함되는 시간 방향의 상관을 이용하여 고주파 성분을 보충하는 필터링 처리를 행함으로써, 상기 움직임 보상 화상보다 고해상도의 상기 예측 화상을 생성하는 예측 화상 생성 수단을 구비하는 화상 처리 장치이다.
상기 부호화된 화상은, 서로 해상도가 상이한 복수의 레이어로 계층화되어 부호화되어 있으며, 상기 복호 수단은, 각 레이어에 있어서 상기 부호화된 화상을 복호하고, 상기 생성 수단은, 각 레이어에 있어서 상기 복호 완료된 화상을 생성하고, 상기 추출 수단은, 고해상도의 레이어의 복호 시에, 상기 레이어보다 저해상도의 레이어의 상기 프레임을 상기 참조 프레임으로 하고, 상기 저해상도의 레이어의 상기 참조 프레임으로부터 상기 움직임 보상 화상을 추출하고, 상기 예측 화상 생성 수단은, 상기 저해상도의 레이어의 상기 참조 프레임으로부터 추출된 상기 움직임 보상 화상에 대하여 상기 필터링 처리를 행함으로써, 상기 고해상도의 레이어의 상기 예측 화상을 생성할 수 있다.
상기 예측 화상 생성 수단은, 상기 추출 수단에 의해 추출된 복수의 상기 움직임 보상 화상의 차분 화상의 해상도를 변환하여, 고해상도화되는 해상도 변환 수단과, 상기 해상도 변환 수단에 의해 고해상도화된 상기 차분 화상에 저역 통과 필터를 작동하는 제1 필터 수단과, 상기 제1 필터 수단에 의해 저역 통과 필터가 작동됨으로써 얻어진 화상에 고역 통과 필터를 작동하는 제2 필터 수단과, 상기 제1 필터 수단에 의해 저역 통과 필터가 작동됨으로써 얻어진 화상과, 상기 제2 필터 수단에 의해 고역 통과 필터가 작동됨으로써 얻어진 화상을, 상기 추출 수단에 의해 추출된 복수의 상기 움직임 보상 화상 중 어느 1개에 가산하여, 상기 예측 화상을 생성하는 가산 수단을 구비할 수 있다.
상기 가산 수단은, 상기 예측 화상의 시각을 기준으로 하여 1시각 전의 프레임으로부터 추출된 상기 움직임 보상 화상에 대하여, 상기 제1 필터 수단에 의해 저역 통과 필터가 작동됨으로써 얻어진 화상과, 상기 제2 필터 수단에 의해 고역 통과 필터가 작동됨으로써 얻어진 화상을 가산할 수 있다.
복수의 상기 움직임 보상 화상을 사용하여 한쪽 방향 예측을 행하여, 상기 예측 화상을 생성하는 한쪽 방향 예측 수단과, 복수의 상기 움직임 보상 화상을 사용하여 쌍방향 예측을 행하여, 상기 예측 화상을 생성하는 쌍방향 예측 수단과, 부호화된 상기 화상의 헤더에 포함되는 식별 플래그에 의해, 상기 예측 화상을, 상기 한쪽 방향 예측 수단에 의한 한쪽 방향 예측에 의해 생성하는 것인지, 상기 쌍방향 예측 수단에 의한 쌍방향 예측에 의해 생성하는 것인지, 또는 상기 예측 화상 생성 수단에 의한 상기 필터링 처리에 의해 생성하는 것인지를 판정하는 판정 수단을 더 구비할 수 있다.
본 발명의 일 측면은 또한, 부호화된 화상을 복호하고, 복호된 화상과 예측 화상을 가산하여, 복호 완료된 화상을 생성하고, 생성된 복호 완료된 화상으로 이루어지는 프레임을 참조 프레임으로 하고, 부호화된 상기 화상의 움직임 벡터를 사용하여 움직임 보상을 행하고, 상기 예측 화상보다 저해상도의 움직임 보상 화상을, 상기 예측 화상에 대응하는 상기 참조 프레임으로부터 추출하고, 추출된 상기 움직임 보상 화상에 대하여, 상기 움직임 보상 화상에 포함되는 시간 방향의 상관을 이용하여 고주파 성분을 보충하는 필터링 처리를 행함으로써, 상기 움직임 보상 화상보다 고해상도의 상기 예측 화상을 생성하는 화상 처리 방법이다.
본 발명의 다른 측면은, 부호화 대상의 화상인 원화상을 부호화하고, 부호화된 화상을 생성하는 부호화 수단과, 상기 원화상과 예측 화상의 차를 나타내는 잔차 신호에 기초하여 국소적으로 복호하여 얻어진 화상과 상기 원화상에 기초하여 움직임 벡터를 검출하는 검출 수단과, 국소적으로 복호하여 얻어진 상기 화상으로 이루어지는 프레임을 참조 프레임으로 하고, 상기 검출 수단에 의해 검출된 움직임 벡터를 사용하여 움직임 보상을 행하고, 상기 예측 화상보다 저해상도의 움직임 보상 화상을, 상기 예측 화상에 대응하는 상기 참조 프레임으로부터 추출하는 추출 수단과, 상기 추출 수단에 의해 추출된 상기 움직임 보상 화상에 대하여, 상기 움직임 보상 화상에 포함되는 시간 방향의 상관을 이용하여 고주파 성분을 보충하는 필터링 처리를 행함으로써, 상기 움직임 보상 화상보다 고해상도의 상기 예측 화상을 생성하는 생성 수단을 구비하는 화상 처리 장치이다.
상기 부호화 수단은, 서로 해상도가 상이한 복수의 레이어에 있어서 부호화된 화상을 생성하고, 상기 추출 수단은, 고해상도의 레이어의 복호 시에, 상기 레이어보다 저해상도의 레이어의 상기 프레임을 상기 참조 프레임으로 하고, 상기 검출 수단에 의해 상기 저해상도의 레이어에 있어서 검출된 상기 움직임 벡터를 사용하여, 상기 저해상도의 레이어의 상기 참조 프레임으로부터 상기 움직임 보상 화상을 추출하고, 상기 생성 수단은, 상기 저해상도의 레이어의 상기 참조 프레임으로부터 추출된 상기 움직임 보상 화상에 대하여 상기 필터링 처리를 행함으로써, 상기 고해상도의 레이어의 상기 예측 화상을 생성할 수 있다.
상기 생성 수단은, 상기 추출 수단에 의해 추출된 복수의 상기 움직임 보상 화상의 차분 화상의 해상도를 변환하여, 고해상도화되는 해상도 변환 수단과, 상기 해상도 변환 수단에 의해 고해상도화된 상기 차분 화상에 저역 통과 필터를 작동하는 제1 필터 수단과, 상기 제1 필터 수단에 의해 저역 통과 필터가 작동됨으로써 얻어진 화상에 고역 통과 필터를 작동하는 제2 필터 수단과, 상기 제1 필터 수단에 의해 저역 통과 필터가 작동됨으로써 얻어진 화상과, 상기 제2 필터 수단에 의해 고역 통과 필터가 작동됨으로써 얻어진 화상을, 상기 추출 수단에 의해 추출된 복수의 상기 움직임 보상 화상 중 어느 1개에 가산하여, 상기 예측 화상을 생성하는 가산 수단을 구비할 수 있다.
상기 가산 수단은, 상기 예측 화상의 시각을 기준으로 하여 1시각 전의 프레임으로부터 추출된 상기 움직임 보상 화상에 대하여, 상기 제1 필터 수단에 의해 저역 통과 필터가 작동됨으로써 얻어진 화상과, 상기 제2 필터 수단에 의해 고역 통과 필터가 작동됨으로써 얻어진 화상을 가산할 수 있다.
상기 부호화 수단은, 복호 장치에 있어서 복호한 화상에 가산하는 예측 화상을, 한쪽 방향 예측에 의해 생성하는 것인지, 쌍방향 예측에 의해 생성하는 것인지, 또는 상기 필터링 처리에 의해 생성하는 것인지를 식별하는 식별 플래그를 헤더에 포함할 수 있다.
본 발명의 다른 측면은 또한, 부호화 대상의 화상인 원화상을 부호화하고, 부호화된 화상을 생성하고, 상기 원화상과 예측 화상의 차를 나타내는 잔차 신호에 기초하여 국소적으로 복호하여 얻어진 화상과 상기 원화상에 기초하여 움직임 벡터를 검출하고, 국소적으로 복호하여 얻어진 상기 화상으로 이루어지는 프레임을 참조 프레임으로 하고, 검출된 움직임 벡터를 사용하여 움직임 보상을 행하고, 상기 예측 화상보다 저해상도의 움직임 보상 화상을, 상기 예측 화상에 대응하는 상기 참조 프레임으로부터 추출하고, 추출된 상기 움직임 보상 화상에 대하여, 상기 움직임 보상 화상에 포함되는 시간 방향의 상관을 이용하여 고주파 성분을 보충하는 필터링 처리를 행함으로써, 상기 움직임 보상 화상보다 고해상도의 상기 예측 화상을 생성하는 화상 처리 방법이다.
본 발명의 일 측면에 있어서는, 부호화된 화상이 복호되고, 복호된 화상과 예측 화상이 가산되어, 복호 완료된 화상이 생성되고, 생성된 복호 완료된 화상으로 이루어지는 프레임을 참조 프레임으로 하고, 부호화된 화상의 움직임 벡터가 사용되어 움직임 보상이 행해져, 예측 화상보다 저해상도의 움직임 보상 화상이 예측 화상에 대응하는 참조 프레임으로부터 추출되고, 추출된 움직임 보상 화상에 대하여, 움직임 보상 화상에 포함되는 시간 방향의 상관을 이용하여 고주파 성분을 보충하는 필터링 처리를 행함으로써, 움직임 보상 화상보다 고해상도의 예측 화상이 생성된다.
본 발명의 다른 측면에 있어서는, 부호화 대상의 화상인 원화상이 부호화되고, 부호화된 화상이 생성되고, 원화상과 예측 화상의 차를 나타내는 잔차 신호에 기초하여 국소적으로 복호하여 얻어진 화상과 원화상에 기초하여 움직임 벡터가 검출되고, 국소적으로 복호하여 얻어진 화상으로 이루어지는 프레임을 참조 프레임으로 하고, 검출된 움직임 벡터를 사용하여 움직임 보상이 행해져, 예측 화상보다 저해상도의 움직임 보상 화상이 예측 화상에 대응하는 참조 프레임으로부터 추출되고, 추출된 움직임 보상 화상에 대하여, 움직임 보상 화상에 포함되는 시간 방향의 상관을 이용하여 고주파 성분을 보충하는 필터링 처리가 행해짐으로써, 움직임 보상 화상보다 고해상도의 예측 화상이 생성된다.
본 발명에 따르면, 정보를 처리할 수 있다. 특히, 부하를 불필요하게 증대시키지 않고, 정밀도가 높은 예측 화상을 생성하여, 부호화 효율을 향상시킬 수 있다.
도 1은 종래의 공간적인 스케일러빌리티를 고려한 부호화 방식의 복호의 모습을 설명하는 도면이다.
도 2는 본 발명을 적용한 예측 화상 생성의 개요를 설명하는 도면이다.
도 3은 본 발명을 적용한 복호 장치의 주된 구성예를 도시하는 블록도이다.
도 4는 도 3의 가역 복호 회로의 주된 구성예를 도시하는 블록도이다.
도 5는 도 3의 움직임 예측·보상 회로의 주된 구성예를 도시하는 블록도이다.
도 6은 도 5의 필터링 예측 회로의 주된 구성예를 도시하는 블록도이다.
도 7은 복호 처리의 흐름의 예를 설명하는 흐름도이다.
도 8은 가역 복호 처리의 흐름의 예를 설명하는 흐름도이다.
도 9는 복호 시의 필터링 예측 처리의 흐름의 예를 설명하는 흐름도이다.
도 10은 본 발명을 적용한 부호화 장치의 주된 구성예를 도시하는 블록도이다.
도 11은 도 10의 모드 결정 회로의 주된 구성예를 도시하는 블록도이다.
도 12는 움직임 예측·보상 회로의 주된 구성예를 도시하는 블록도이다.
도 13은 부호화 처리의 흐름의 예를 설명하는 흐름도이다.
도 14는 모드 결정 처리의 흐름의 예를 설명하는 흐름도이다.
도 15는 부호화 시의 필터링 예측 처리의 흐름의 예를 설명하는 흐름도이다.
도 16은 본 발명을 적용한 복호 처리의 개요의, 다른 예를 설명하는 도면이다.
도 17은 도 6의 필터링 회로의, 다른 구성예를 도시하는 블록도이다.
도 18은 본 발명을 적용한 복호 처리의 개요의, 또 다른 예를 설명하는 도면이다.
도 19는 복호 시의 필터링 예측 처리의 흐름의, 다른 예를 설명하는 흐름도이다.
도 20은 부호화 시의 필터링 예측 처리의 흐름의, 다른 예를 설명하는 흐름도이다.
도 21은 본 발명을 적용한 퍼스널 컴퓨터의 주된 구성예를 도시하는 블록도이다.
도 22는 본 발명을 적용한 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.
도 23은 본 발명을 적용한 휴대 전화기의 주된 구성예를 도시하는 블록도이다.
도 24는 본 발명을 적용한 하드 디스크 레코더의 주된 구성예를 도시하는 블록도이다.
도 25는 본 발명을 적용한 카메라의 주된 구성예를 도시하는 블록도이다.
도 26은 매크로 블록 사이즈의 예를 나타내는 도면이다.
이하, 발명을 실시하기 위한 형태(이하 실시 형태로 한다)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태(복호 처리)
2. 제2 실시 형태(부호화 처리)
3. 제3 실시 형태(움직임 보상 화상이 3개 이상인 복호 처리)
4. 제4 실시 형태(동일 레이어의 움직임 보상 화상을 사용하는 복호 처리·부호화 처리)
<1. 제1 실시 형태>
[예측의 개요]
도 2는, 본 발명을 적용한 예측 화상 생성 방법의 개요를 설명하는 도면이다. 도 2에 도시된 바와 같이, 이 경우, 베이스 레이어에 있어서의 복수의 참조면의 화상에 대하여 필터링을 행함으로써, 인핸스먼트 레이어에 있어서의 커런트 블록(현재 시각의 처리 대상 블록)의 예측 화상을 생성한다.
이렇게 시간 방향의 해석을 사용함으로써, 공간적인 업 샘플링 필터에 비해, 화상열 중의 신호 성분을 더 유효하게 이용하는 것이 가능하게 된다. 이 결과, 본 발명의 방법(이하, 필터링 예측이라고 칭한다)에 의해 생성된 예측 화상은, 베이스 레이어의 커런트 프레임(현재 시각의 처리 대상 프레임)의 화상을 이용하는 종래의 업 컨버트 예측에 의해 생성된 예측 화상보다 공간적으로 높은 주파수 성분을 가지면서 예측 잔차를 저감시킬 수 있다. 즉, 인핸스먼트 레이어에 있어서의 부호화 픽처의 부호량을 저감시킬 수 있어, 부호화 효율의 개선에 공헌하는 것이 가능하게 된다.
또한, 이 필터링 예측에서는, 시간적으로 상이한 프레임에서의 인핸스먼트 레이어의 복호 화상을 참조하지 않기 때문에, 부호화에 필요한 처리량, 일시 기억 용량, 메모리로부터의 판독 정보량 등을 저감시킬 수 있어, 실장에 드는 비용을 저감시킬 수 있다. 또한, 소비 전력도 저감시킬 수 있다.
[복호 장치의 구성]
도 3은, 본 발명의 일 실시 형태에 관한 복호 장치(1)의 구성예를 도시하는 블록도이다.
복호 장치(1)에 대해서는, 후술하는 부호화 장치에 의해 부호화된 화상 정보가 케이블, 네트워크 또는 리무버블 미디어를 통하여 입력된다. 압축 화상 정보는, 예를 들어 H.264/SVC 규격에 따라서 부호화된 화상 정보이다.
SVC에 있어서, 압축 화상 정보는, 복수의 해상도의 레이어에 의해 구성된다. 가장 저해상도의 레이어가 베이스 레이어이며, 베이스 레이어보다 고해상도의 레이어가 인핸스먼트 레이어이다. 또한, 이 레이어수는 임의이지만, 이하에서는, 압축 화상 정보가 2층에 의해 구성되는 것으로 한다. 즉, 복호 장치(1)에 입력되는 압축 화상 정보는, 베이스 레이어와 1층의 인핸스먼트 레이어로 이루어진다.
복호 장치(1)에는, 각 프레임의 압축 화상 정보가 순서대로 입력되지만, 각 프레임에서, 각 레이어의 비트 스트림이 저해상도측으로부터 고해상도측을 향하여 순서대로 입력된다. 즉 베이스 레이어의 비트 스트림이 먼저 복호 장치(1)에 입력된다.
베이스 레이어의 비트 스트림은, H.264/AVC 규격의 압축 화상 정보의 경우와 마찬가지로 복호되므로, 여기에서는 설명을 생략한다. 베이스 레이어의 비트 스트림이 복호된 후, 복호 장치(1)에는, 인핸스먼트 레이어의 비트 스트림이 입력된다. 이하에 있어서는, 기본적으로 인핸스먼트 레이어의 비트 스트림에 대한 처리에 대하여 설명한다.
축적 버퍼(11)는, 압축 화상 정보로서 입력된 비트 스트림을 순서대로 기억한다. 축적 버퍼(11)에 기억된 정보는, 적절히 프레임을 구성하는 매크로 블록 등의 소정의 단위의 화상마다 가역 복호 회로(12)에 의해 판독된다. H.264 규격에 있어서는, 16×16 화소의 매크로 블록 단위가 아니고, 그것을 더 분할한 8×8 화소, 4×4 화소 등의 블록 단위로 처리를 행하는 것도 가능하게 되어 있다.
가역 복호 회로(12)는, 축적 버퍼(11)로부터 판독한 화상에 대하여, 가변 길이 복호 처리, 산술 복호 처리 등의, 부호화 방식에 대응하는 복호 처리를 실시한다. 가역 복호 회로(12)는, 복호 처리를 실시함으로써 얻어진, 양자화된 변환 계수를 역양자화 회로(13)에 출력한다.
또한, 가역 복호 회로(12)는, 복호의 대상으로 되어 있는 화상의 헤더에 포함되는 식별 플래그에 기초하여, 예측 방법을 식별한다. 가역 복호 회로(12)는, 복호의 대상으로 되어 있는 화상이 인트라 부호화된 화상이라고 판단한 경우, 그 화상의 헤더에 저장된 인트라 예측 모드 정보를 인트라 예측 회로(22)에 출력한다. 인트라 예측 모드 정보에는, 처리의 단위가 되는 블록의 크기 등의 인트라 예측에 관한 정보가 포함된다.
가역 복호 회로(12)는, 복호의 대상으로 되어 있는 화상이 인터 부호화된 정보라고 판단한 경우, 그 화상의 헤더에 저장된 움직임 벡터와 식별 플래그를 움직임 예측·보상 회로(21)에 출력한다. 식별 플래그에 의해, 인터 예측에 의해 예측 화상을 생성할 때의 예측의 모드가 식별된다. 식별 플래그는, 예를 들어 매크로 블록 단위, 프레임 단위로 설정된다.
예측의 모드로서, 한쪽 방향 예측의 모드, 쌍방향 예측의 모드, 업 컨버트 예측의 모드 이외에, 베이스 레이어의 시간적으로 일 방향 또는 쌍방향에 있는 복수의 참조 프레임으로부터 추출한 움직임 보상 화상에 필터링을 실시하여 예측 화상을 생성하는 필터링 예측의 모드가 준비되어 있다.
이하, 일 방향에 있는 복수의 참조 프레임으로부터 추출한 움직임 보상 화상 중 어느 1개의 움직임 보상 화상의 화소값을 예측 화상의 화소값으로 하는 예측의 모드를 간단히 한쪽 방향 예측 모드라고 한다. 또한, 쌍방향에 있는 복수의 참조 프레임으로부터 각각 추출한 움직임 보상 화상의 화소값의 평균값을 예측 화상의 화소값으로 하는 예측의 모드를 간단히 쌍방향 예측 모드라고 한다. 또한, 베이스 레이어의 커런트 프레임으로부터 추출한 움직임 보상 화상을 업 컨버트하여 예측 화상의 화소값을 구하는 예측의 모드를 간단히 업 컨버트 예측 모드라고 한다.
베이스 레이어의 일 방향 또는 쌍방향에 있는 복수의 참조 프레임으로부터 추출한 각각의 움직임 보상 화상에 대하여 업 컨버트를 포함하는 필터링을 실시하여 예측 화상의 화소값을 구하는 도 2에 도시된 바와 같은 제4 예측의 모드를 필터링 예측 모드라고 한다.
역양자화 회로(13)는, 가역 복호 회로(12)로부터 공급된 양자화된 상태의 변환 계수에 대하여, 부호화측에 있어서의 양자화 방식에 대응하는 방식으로 역양자화를 행한다. 역양자화 회로(13)는, 역양자화를 행함으로써 얻어진 변환 계수를 역직교 변환 회로(14)에 출력한다.
역직교 변환 회로(14)는, 이산 코사인 변환, 카루넨 루베 변환 등의, 부호화측에 있어서의 직교 변환 방식에 대응하는 방식으로 예를 들어 4차의 역직교 변환을 역양자화 회로(13)로부터 공급된 변환 계수에 대하여 실시하고, 얻어진 화상을 가산 회로(15)에 출력한다.
가산 회로(15)는, 역직교 변환 회로(14)로부터 공급된 복호 화상과, 움직임 예측·보상 회로(21)로부터 또는 인트라 예측 회로(22)로부터 스위치(23)를 통하여 공급된 예측 화상을 합성하고, 합성 화상을 디블록 필터(16)에 출력한다.
디블록 필터(16)는, 가산 회로(15)로부터 공급된 화상에 포함되는 블록 왜곡을 제거하고, 블록 왜곡을 제거한 화상을 출력한다. 디블록 필터(16)로부터 출력된 화상은 재배열 버퍼(17)와 프레임 메모리(19)에 공급된다.
재배열 버퍼(17)는, 디블록 필터(16)로부터 공급된 화상을 일시적으로 기억한다. 재배열 버퍼(17)는, 기억하고 있는 예를 들어 매크로 블록 단위의 화상으로 각 프레임을 생성하고, 생성한 프레임을 표시순 등의 소정의 순서대로 재배열하여 D/A(Digital/Analog) 변환 회로(18)에 출력한다.
D/A 변환 회로(18)는, 재배열 버퍼(17)로부터 공급된 각 프레임에 대하여 D/A 변환을 실시하여, 각 프레임의 신호를 외부에 출력한다.
프레임 메모리(19)는, 디블록 필터(16)로부터 공급된 화상을 일시적으로 기억한다. 프레임 메모리(19)에 기억된 정보는, 스위치(20)를 통하여, 움직임 예측·보상 회로(21) 또는 인트라 예측 회로(22)에 공급된다. 또한, 프레임 메모리(19)에는, 인핸스먼트 레이어보다 먼저 복호된 베이스 레이어의 화상도 기억되어 있어, 후술하는 바와 같이 인핸스먼트 레이어의 복호에 이용된다.
스위치(20)는, 예측 화상을 인터 예측에 의해 생성하는 경우, 단자(a1)에 접속하고, 인트라 예측에 의해 생성하는 경우, 단자(b1)에 접속한다. 스위치(20)의 전환은 예를 들어 제어 회로(31)에 의해 제어된다.
움직임 예측·보상 회로(21)는, 가역 복호 회로(12)로부터 공급된 식별 플래그에 따라서 예측 모드를 결정하고, 프레임 메모리(19)에 기억되어 있는 복호 완료된 프레임 중에서 참조 프레임으로서 사용하는 프레임을 예측 모드에 따라서 선택한다. 움직임 예측·보상 회로(21)는, 참조 프레임을 구성하는 매크로 블록 중에서 대상으로 하는 예측 화상에 대응하는 매크로 블록을 가역 복호 회로(12)로부터 공급된 움직임 벡터에 기초하여 결정하고, 결정한 매크로 블록을 움직임 보상 화상으로서 추출한다. 움직임 예측·보상 회로(21)는, 움직임 보상 화상의 화소값으로부터 예측 화상의 화소값을 예측 모드에 따라서 구하고, 화소값을 구한 예측 화상을, 스위치(23)를 통하여 가산 회로(15)에 출력한다.
인트라 예측 회로(22)는, 가역 복호 회로(12)로부터 공급된 인트라 예측 모드 정보에 따라서 인트라 예측을 행하여, 예측 화상을 생성한다. 인트라 예측 회로(22)는, 생성한 예측 화상을, 스위치(23)를 통하여 가산 회로(15)에 출력한다.
스위치(23)는, 움직임 예측·보상 회로(21)에 의해 예측 화상이 생성된 경우, 단자(a2)에 접속하고, 인트라 예측 회로(22)에 의해 예측 화상이 생성된 경우, 단자(b2)에 접속한다. 스위치(23)의 전환도 예를 들어 제어 회로(31)에 의해 제어된다.
제어 회로(31)는, 스위치(20, 23)의 접속을 전환하거나 하여, 복호 장치(1)의 전체 동작을 제어한다. 처리 대상의 화상의 예측 방법의 식별이 제어 회로(31)에 의해 행해지도록 해도 좋다.
도 4는, 도 3의 가역 복호 회로(12)의 주된 구성예를 도시하는 블록도이다.
도 4에 도시된 바와 같이, 가역 복호 회로(12)는, 예측 판정 회로(41) 및 복호 처리 회로(42)를 갖는다. 예측 판정 회로(41)는, 축적 버퍼(11)로부터 공급되는 화상의 예측 방법을 판정한다. 예측 판정 회로(41)는, 예를 들어 복호의 대상으로 되어 있는 화상의 헤더에 포함되는 식별 플래그에 기초하여, 예측 방법을 식별한다. 또한, 예측 판정 회로(41)가, 비트 스트림을 해석함으로써, 이 예측 방법의 식별을 행하도록 해도 물론 좋다. 이 경우, 식별 플래그는 생략할 수 있으므로, 압축 화상 정보의 정보량을 저감시킬 수 있다.
예측 판정 회로(41)는, 복호의 대상으로 되어 있는 화상이 인트라 부호화된 화상이라고 판단한 경우, 화상의 헤더에 저장된 인트라 예측 모드 정보를 인트라 예측 회로(22)에 출력한다. 또한, 예측 판정 회로(41)는, 복호의 대상으로 되어 있는 화상이 인터 부호화된 정보라고 판단한 경우, 그 화상의 헤더에 저장된 움직임 벡터와 식별 플래그를 움직임 예측·보상 회로(21)에 출력한다.
예측 판정 회로(41)는, 또한 예측 방법을 판정한 화상의 비트 스트림을 복호 처리 회로(42)에 공급한다. 복호 처리 회로(42)는, 그 화상에 대하여, 가변 길이 복호 처리, 산술 복호 처리 등의, 부호화 방식에 대응하는 복호 처리를 실시한다. 예측 판정 회로(41)는, 복호 처리를 실시함으로써 얻어진, 양자화된 변환 계수를 역양자화 회로(13)에 출력한다.
도 5는, 도 3의 움직임 예측·보상 회로의 주된 구성예를 도시하는 블록도이다.
도 5에 도시된 바와 같이, 움직임 예측·보상 회로(21)는, 예측 선택 회로(51), 한쪽 방향 예측 회로(61), 쌍방향 예측 회로(62), 업 컨버트 예측 회로(63) 및 필터링 예측 회로(64)를 갖는다. 가역 복호 회로(12)(예측 판정 회로(41))로부터 공급된 움직임 벡터와 식별 플래그는 예측 선택 회로(51)에 입력된다.
예측 선택 회로(51)는, 예측 판정 회로(41)로부터 공급된 식별 플래그에 따라서 예측 모드를 선택한다. 예측 선택 회로(51)는, 한쪽 방향 예측에 의해 예측 화상의 생성을 행하는 것을 결정한 경우, 움직임 벡터를 한쪽 방향 예측 회로(61)에 출력한다. 또한, 예측 선택 회로(51)는, 쌍방향 예측에 의해 예측 화상의 생성을 행하는 것을 결정한 경우, 움직임 벡터를 쌍방향 예측 회로(62)에 출력한다. 또한, 예측 선택 회로(51)는, 업 컨버트 예측에 의해 예측 화상의 생성을 행하는 것을 결정한 경우, 그 지시를 업 컨버트 예측 회로(63)에 출력한다.
또한, 예측 선택 회로(51)는, 필터링 예측에 의해 예측 화상의 생성을 행하는 것을 결정한 경우, 움직임 벡터를 필터링 예측 회로(64)에 출력한다.
이와 같이, 필터링 예측을 식별할 수 있도록 하기 때문에, 종래의 규격으로 정해져 있는, 한쪽 방향 예측을 나타내는 값, 쌍방향 예측을 나타내는 값 및 업 컨버트 예측을 나타내는 값과는 상이한 값을, 식별 플래그의 값으로서 설정하는 것이 가능하게 되어 있다.
한쪽 방향 예측 회로(61)는, 인핸스먼트 레이어의 시간적으로 일 방향에 있는 복수의 프레임을 참조 프레임으로 하고, 예측 화상에 대응하는 참조 프레임의 매크로 블록을 움직임 벡터에 기초하여 결정한다. 또한, 한쪽 방향 예측 회로(61)는, 결정한 각각의 참조 프레임의 매크로 블록을 움직임 보상 화상으로서 프레임 메모리(19)로부터 판독하고, 어느 한쪽의 움직임 보상 화상의 화소값을 예측 화상의 화소값으로 함으로써 예측 화상을 생성한다. 한쪽 방향 예측 회로(61)는, 생성한 예측 화상을 가산 회로(15)에 출력한다. 한쪽 방향 예측 회로(61)에 의한 한쪽 방향 예측으로서는, 예를 들어 H.264/SVC 규격(또는 H.264 규격)으로 규정된 한쪽 방향 예측이 사용된다.
쌍방향 예측 회로(62)는, 인핸스먼트 레이어의 시간적으로 쌍방향에 있는 복수의 프레임을 참조 프레임으로 하고, 예측 화상에 대응하는 참조 프레임의 매크로 블록을 움직임 벡터에 기초하여 결정한다. 또한, 쌍방향 예측 회로(62)는, 결정한 각각의 참조 프레임의 매크로 블록을 움직임 보상 화상으로서 프레임 메모리(19)로부터 판독하고, 판독한 움직임 보상 화상의 화소값의 평균을 예측 화상의 화소값으로 함으로써 예측 화상을 생성한다. 쌍방향 예측 회로(62)는, 생성한 예측 화상을 가산 회로(15)에 출력한다. 쌍방향 예측 회로(62)에 의한 쌍방향 예측으로서는, 예를 들어 H.264/SVC 규격(또는 H.264 규격)으로 규정된 쌍방향 예측이 사용된다.
업 컨버트 예측 회로(63)는, 도 1에 도시된 바와 같이, 베이스 레이어의 커런트 프레임을 참조 프레임으로 한다. 업 컨버트 예측 회로(63)는, 그 베이스 레이어의 참조 프레임으로부터, 인핸스먼트 레이어의 커런트 프레임의 처리 대상 매크로 블록과 동일 위치의 매크로 블록을 추출한다. 즉, 업 컨버트 예측 회로(63)는, 베이스 레이어의 참조 프레임의, 처리 대상 매크로 블록에 대응하는 매크로 블록을, 프레임 메모리(19)로부터 판독한다. 이 추출된 매크로 블록은, 베이스 레이어의 매크로 블록이기 때문에, 처리 대상 매크로 블록에 대하여 저해상도이다. 업 컨버트 예측 회로(63)는, 이 추출된 베이스 레이어의 매크로 블록을 업 컨버트함으로써, 처리 대상 매크로 블록의 예측 화상을 생성한다.
업 컨버트 예측 회로(63)는, 생성한 예측 화상을 가산 회로(15)에 출력한다. 업 컨버트 예측 회로(63)에 의한 쌍방향 예측으로서는, 예를 들어 H.264/SVC 규격으로 규정된 업 컨버트 예측이 사용된다.
필터링 예측 회로(64)는, 도 2에 도시된 바와 같이, 베이스 레이어의, 시간적으로 일 방향 또는 쌍방향에 있는 복수의 프레임을 참조 프레임으로서 결정한다. 어느 프레임을 참조 프레임으로 할 것인지는, 미리 결정되어 있도록 해도 좋고, 식별 플래그와 함께 부호화측으로부터 전송되어 온 정보에 의해 지정되도록 해도 좋다. 예를 들어, 커런트 프레임보다 시간적으로 1시각 전과 그 1시각 전에 있는 2매의 프레임이 참조 프레임으로 되도록 해도 좋다. 또한, 예를 들어 커런트 프레임보다 시간적으로 1시각 전과 1시각 후에 있는 2매의 프레임이 참조 프레임으로 되도록 해도 좋다. 물론, 이밖의 프레임을 참조 프레임으로 해도 좋다.
필터링 예측 회로(64)는, 이상과 같이 결정한 베이스 레이어의 참조 프레임의, 예측 화상에 대응하는 매크로 블록을 예측 선택 회로(51)로부터 공급된 움직임 벡터에 기초하여 결정한다. 필터링 예측 회로(64)는, 결정한 각각의 참조 프레임의 매크로 블록을 움직임 보상 화상으로서 프레임 메모리(19)로부터 판독한다. 또한, 움직임 벡터가, 16×16 화소 등의 매크로 블록 단위로 행해지는 것이 아니고, 매크로 블록을 더 분할한 블록 단위로 행해지도록 해도 좋다.
이 움직임 보상 화상은, 베이스 레이어의 화상이므로, 인핸스먼트 레이어의 처리 대상 매크로 블록보다 저해상도이다. 필터링 예측 회로(64)는, 이 움직임 보상 화상을 입력으로 하여, 업 컨버트를 수반하는 필터링을 행하고, 필터링을 행함으로써 얻어진 예측 화상을 가산 회로(15)에 출력한다. 이 예측 화상은, 인핸스먼트 레이어의 매크로 블록의 해상도에 업 컨버트되어 있다.
필터링 예측 회로(64)는, 생성한 예측 화상을 가산 회로(15)에 출력한다.
도 6은, 도 5의 필터링 예측 회로(64)의 주된 구성예를 도시하는 블록도이다. 도 6의 구성을 갖는 필터링 예측 회로(64)에 있어서는, 시간 영역의 신호에 대하여 필터링이 실시된다.
도 6에 도시된 바와 같이, 필터링 예측 회로(64)는, 추출 회로(71) 및 필터링 회로(72)를 갖는다. 추출 회로(71)는, 예측 선택 회로(51)로부터 공급되는 정보에 기초하여, 베이스 레이어의 참조 프레임을 특정하고, 그 베이스 레이어의 참조 프레임으로부터 움직임 보상 화상(예를 들어 움직임 보상 화상(MC0) 및 움직임 보상 화상(MC1))을 추출한다.
본 발명을 위하여 사용하는 복수의 저해상도 화상의 식별을 위한 1개의 수단으로서, 새로운 신호를 부가하지 않고, 베이스 레이어의 스트림 중의 신호를 이용하는 것이 생각된다.
즉, 1번째의 입력으로서, 현재 시각에서의 저해상도 화상에 있어서, 공간적으로 동일 위치에 있어서의 복호 화상을 사용하여, 2번째의 입력으로서, 그 화상이 시간 예측에 사용한 시간적으로 과거 또는 미래에 있어서의 저해상도 화상의 2개를, 계속되는 필터링 처리를 위한 입력으로 하는 방법이다.
즉, 이 경우, 추출 회로(71)는, 베이스 레이어의 커런트 프레임의, 인핸스먼트 레이어의 처리 대상 매크로 블록과 동일 위치의 매크로 블록을 1개의 움직임 보상 화상으로 하고, 또한 그 베이스 레이어의 매크로 블록의 복호 시에 사용된 움직임 벡터를 사용하여 다른 움직임 보상 화상을 추출한다. 이 방법의 이점은, 스트림 중에 새로운 신호가 추가되지 않기 때문에, 부호화 효율의 관점에서 유리한 것이다.
이때, 저해상도 화상에 있어서, 복수의 참조 프레임의 정보를 복호에 사용하고 있는 경우, 구체적으로는 쌍방향 예측 등을 행하고 있는 경우에는, 2번째, 3번째의 입력으로서, 그들 예측 화상 모두를 사용해도 좋다.
일반적으로, 상관이 높은 시간 정보를 많이 이용할수록, 계속되는 필터링 처리에서의 고해상도 생성 결과가 오르기 때문에, 이 방법은 유효하다.
또한, 보다 높은 정밀도로 고해상도 화상의 필터링 처리에 의해 생성하기 위해서, 새롭게 1개 또는 복수의 움직임 벡터를 부호화하는 방법도 들 수 있다.
즉, 이 경우, 베이스 레이어의 복호 시에 이용되는 움직임 벡터와는 별도로, 인핸스먼트 레이어의 복호용으로 새로운 움직임 벡터가 부호화된다. 이 방법은, 스트림 중에 새로운 신호가 추가되게 되지만, 인핸스먼트 레이어에 대한 예측 정밀도가 오름으로써, 인핸스먼트 레이어에 있어서의 잔차 신호의 저감이 가능하게 되기 때문에, 부호화 효율의 관점에서 유효하게 되는 경우가 있다.
추출 회로(71)는, 이상과 같이 하여, 움직임 보상 화상(MC0) 및 움직임 보상 화상(MC1)을 특정하고, 그 정보를 프레임 메모리(19)로부터 취득한다. 추출 회로(71)는, 추출한 움직임 보상 화상(MC0) 및 움직임 보상 화상(MC1)을 필터링 회로(72)에 공급한다.
필터링 회로(72)는, 공급된 움직임 보상 화상(MC0) 및 움직임 보상 화상(MC1)에 대하여 업 컨버트를 수반하는 필터링을 행하여, 예측 화상을 생성한다. 즉, 필터링 회로(72)는, 추출 회로(71)에 의해 추출된 복수의 움직임 보상 화상에 대하여, 그 움직임 보상 화상에 포함되는 시간 방향의 상관을 이용하여 고주파 성분을 보충하는 필터링 처리를 행함으로써, 움직임 보상 화상보다 고해상도의 예측 화상을 생성한다. 이와 같이 하여 생성된 예측 화상은, 고주파 성분이 보충되어 있으므로, 그 예측 정밀도가 향상한다. 결과적으로, 부호화 효율이 향상한다.
필터링 회로(72)는, 도 6에 도시된 바와 같이, 차분 계산 회로(81), 업 컨버트 회로(82), 저역 통과 필터 회로(83), 게인 조정 회로(84), 고역 통과 필터 회로(85), 게인 조정 회로(86), 가산 회로(87), 업 컨버트 회로(88) 및 가산 회로(89)를 갖는다.
추출 회로(71)로부터 공급된 움직임 보상 화상(MC0)은 차분 계산 회로(81)와 업 컨버트 회로(88)에 입력되고, 움직임 보상 화상(MC1)은 차분 계산 회로(81)에 입력된다.
한쪽 방향 예측에 의해 예측 화상을 생성하는 경우, 예를 들어 예측 화상과의 상관이 보다 높다고 생각되는, 커런트 프레임에 가까운 참조 프레임(R0)으로부터 추출된 화상이 움직임 보상 화상(MC0)으로 되고, 커런트 프레임에 먼 참조 프레임(R1)으로부터 추출된 화상이 움직임 보상 화상(MC1)으로 된다. 참조 프레임(R0)으로부터 추출된 화상이 움직임 보상 화상(MC1)으로 되고, 참조 프레임(R1)으로부터 추출된 화상이 움직임 보상 화상(MC0)으로 되도록 해도 좋다.
또한, 쌍방향 예측에 의해 예측 화상을 생성하는 경우, 예를 들어 1시각 전의 참조 프레임(L0)으로부터 추출된 화상이 움직임 보상 화상(MC0)으로 되고, 1시각 후의 참조 프레임(L1)으로부터 추출된 화상이 움직임 보상 화상(MC1)으로 된다. 참조 프레임(L0)으로부터 추출된 화상이 움직임 보상 화상(MC1)으로 되고, 참조 프레임(L1)으로부터 추출된 화상이 움직임 보상 화상(MC0)으로 되도록 해도 좋다.
차분 계산 회로(81)는, 움직임 보상 화상(MC0)과 움직임 보상 화상(MC1)의 차분을, 예를 들어 이하의 수학식 1과 같이 계산하여, 차분 화상(D)을 업 컨버트 회로(82)에 출력한다.
Figure pct00001
수학식 1에 있어서, (i, j)는 움직임 보상 화상 내에서의 화소의 상대 위치를 나타낸다. 예를 들어, 16×16 화소의 매크로 블록 단위로 처리가 행해지도록 되어 있는 경우, 0≤i≤16, 0≤j≤16으로 된다. 이하, 마찬가지로 한다.
업 컨버트 회로(82)는, 차분 계산 회로(81)에 의해 산출된 차분 화상(D)에 대하여, 해상도의 변환을 행한다. 이 해상도 변환 비율은, 베이스 레이어와 인핸스먼트 레이어의 공간 해상도의 비율에 의한다. 예를 들어, 베이스 레이어의 해상도가 n×m [화소](n, m은 정수), 인핸스먼트 레이어가 N×M [화소](N, M은 정수이고 N>n, M>m)인 경우, 수평 방향의 배율 H_Scale과 수직 방향의 배율 V_Scale은, 수학식 2 및 수학식 3으로 표현된다.
Figure pct00002
Figure pct00003
업 컨버트 회로(82)는, 이렇게 해상도 변환(업 컨버트)된 차분 화상(D')을 저역 통과 필터 회로(83)에 출력한다.
저역 통과 필터 회로(83)는 FIR 필터 회로를 갖는다. 저역 통과 필터 회로(83)는, 업 컨버트 회로(82)로부터 공급된 차분 화상(D')에 대하여 저역 통과 필터를 작동하여, 얻어진 화상을 게인 조정 회로(84)와 고역 통과 필터 회로(85)에 출력한다. 저역 통과 필터를 작동함으로써 얻어진 화상인 차분 화상(D")은, 이하의 수학식 4에 의해 표현된다.
Figure pct00004
수학식 4의 LPF(X)는, 입력 화상 X에 대하여 2차원의 FIR 필터를 사용하여 저역 통과 필터를 작동하는 것을 나타낸다.
게인 조정 회로(84)는, 저역 통과 필터 회로(83)로부터 공급된 차분 화상(D")의 게인을 조정하고, 게인을 조정한 화상을 가산 회로(87)에 출력한다. 0≤I≤16×H_Scale로 하고 0≤J≤16×V_Scale로 하면, 게인 조정 회로(84)의 출력 화상 X(I, J)는 이하의 수학식 5와 같이 표현된다.
Figure pct00005
고역 통과 필터 회로(85)는 FIR 필터 회로를 갖는다. 고역 통과 필터 회로(85)는, 저역 통과 필터 회로(83)로부터 공급된 차분 화상(D")에 대하여 고역 통과 필터를 작동하여, 얻어진 화상을 게인 조정 회로(86)에 출력한다. 고역 통과 필터를 작동함으로써 얻어진 화상인 차분 화상(D''')은 이하의 수학식 6과 같이 표현된다.
Figure pct00006
수학식 6의 HPF(X)는, 입력 화상 X에 대하여 2차원의 FIR 필터에 의한 고역 통과 필터링 처리를 실시하는 것을 나타낸다.
게인 조정 회로(86)는, 고역 통과 필터 회로(85)로부터 공급된 차분 화상(D''')의 게인을 조정하고, 게인을 조정한 화상을 가산 회로(87)에 출력한다. 게인 조정 회로(86)의 출력 화상 Y(I, J)는, 이하의 수학식 7과 같이 표현된다.
Figure pct00007
수학식 5의 α 및 수학식 7의 β의 값으로서는, 예를 들어 α=0.8, β=0.2와 같은 값이 선택되지만, 예측 화소의 정밀도를 올리기 위하여 이 이외의 값으로 되도록 해도 좋다. 또한, 입력 시퀀스의 성질 등에 따라 적절하게 바꾸도록 해도 좋다.
가산 회로(87)는, 게인 조정된 화상 X(I, J)와 화상 Y(I, J)를 가산하고, 가산하여 얻어진 화상을 출력한다. 가산 회로(87)의 출력 화상 Z(I, J)는 이하의 수학식 8과 같이 표현된다.
Figure pct00008
출력 화상 Z(I, J)는, 움직임 보상 화상(MC0)과 움직임 보상 화상(MC1)의 차분, 즉 상관으로부터 구해지는, 화상의 고주파 성분을 나타내는 것이 된다.
업 컨버트 회로(88)는, 움직임 보상 화상(MC0)에 대하여, 해상도의 변환을 행한다. 이 해상도 변환 비율은, 업 컨버트 회로(82)의 경우와 마찬가지로, 베이스 레이어와 인핸스먼트 레이어의 공간 해상도의 비율에 의한다. 즉, 수평 방향의 배율 H_Scale과 수직 방향의 배율 V_Scale은, 상술한 수학식 2 및 수학식 3으로 표현된다. 업 컨버트 회로(88)는, 이렇게 해상도 변환(업 컨버트)된 움직임 보상 화상(MC0)인 화상 A'를 가산 회로(89)에 출력한다.
가산 회로(89)는, 업 컨버트 회로(88)로부터 공급된 화상 A'에 대하여, 가산 회로(87)로부터 공급된 출력 화상 Z(I, J)를 가산하고, 얻어진 화상을 예측 화상으로서 가산 회로(15)에 출력한다. 가산 회로(89)의 최종 출력인 예측 화상 S(I, J)는, 이하의 수학식 9와 같이 표현된다.
Figure pct00009
이와 같이, 필터링 예측 모드에 의하면, 베이스 레이어의 화상을 업 컨버트하여 생성된 고주파 성분을 나타내는 화상을, 움직임 보상 화상(MC0)이 업 컨버트된 화상에 가산함으로써, 예측 화상이 생성된다.
이상과 같은 필터링 예측 모드에서 예측 화상을 생성함으로써, 복호 장치(1)는, 베이스 레이어의 커런트 프레임의 화상을 업 컨버트하여 얻어지는 업 컨버트 예측의 예측 화상보다 고주파수 성분을 더 많이 포함하는 예측 화상을 얻을 수 있다. 또한, 복수의 움직임 보상 화상으로부터 예측 화상을 생성할 때에, 상술한 바와 같이 필터링을 행하므로, 복호 장치(1)는, 단순하게 복수의 움직임 보상 화상의 각 화소의 평균값을, 각 화소값으로 하는 예측 화상보다 고주파수 성분을 더 많이 포함하는 예측 화상을 얻을 수 있다.
또한, 인핸스먼트 레이어의 프레임을 참조하여 예측 화상을 생성하는 인터 예측의 경우보다, 참조하는 화상의 해상도가 작다. 따라서, 인핸스먼트 레이어의 고해상도 화상을 프레임 메모리(19)에 보존하거나, 판독하거나 할 필요가 없다. 또한, 예를 들어 움직임 벡터와 같이, 인핸스먼트 레이어의 복호 시에, 베이스 레이어의 복호 시의 정보를 이용할 수 있으므로, 압축 화상 정보의 부호량을 저감시킬 수 있다. 즉, 복호 장치(1)는, 압축 효율을 향상시킬 수 있다.
이와 같이, 복호 장치(1)는, 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
[복호 처리의 흐름의 설명]
이어서, 이상의 구성을 갖는 복호 장치(1)의 처리에 대하여 설명한다. 우선, 도 7의 흐름도를 참조하여, 인핸스먼트 레이어의 복호 처리의 흐름의 예를 설명한다. 인핸스먼트 레이어의 복호도, 기본적으로, 베이스 레이어의 복호 처리의 경우와 마찬가지로, H.264의 규격에 준하는 방법으로 행해진다.
단, 인핸스먼트 레이어의 복호 처리의 경우, 동일 시각에서의 베이스 레이어의 화상을 예측 화상의 생성에 사용하는 모드가 있는 점이 베이스 레이어의 복호 처리나 H.264의 규격과 크게 상이하다. 또한, 본 발명을 적용한 인핸스먼트 레이어의 복호 처리의 경우, 커런트 프레임과 시간적으로 동일 또는 다른 시각에서의 베이스 레이어의 복수의 화상을, 인핸스먼트 레이어의 복호에 사용하는 기능이 추가된다.
도 9의 처리는, 예를 들어 축적 버퍼(11)에 기억된 정보로부터, 16×16 화소의 매크로 블록 등의 소정의 크기의 화상이 가역 복호 회로(12)에 의해 판독되었을 때에 개시된다. 도 9의 각 스텝의 처리는, 적절히, 다른 스텝의 처리와 병행하여 또는 다른 스텝과 순서를 바꾸어 행해진다. 후술하는 각 흐름도에 있어서의 각 스텝의 처리도 마찬가지이다.
스텝 S1에서, 가역 복호 회로(12)는, 축적 버퍼(11)로부터 판독한 화상에 대하여 가역 복호 처리를 개시한다. 가역 복호 처리의 상세에 대해서는 후술한다. 가역 복호 회로(12)는, 가역 복호 처리에 의해 생성되는, 양자화된 변환 계수를 역양자화 회로(13)에 출력한다. 또한, 가역 복호 회로(12)는, 가역 복호 처리에 있어서, 복호 대상의 화상이 인트라 부호화된 화상인 경우, 인트라 예측 모드 정보를 인트라 예측 회로(22)에 출력하고, 인터 부호화된 화상인 경우, 움직임 벡터와 식별 플래그를 움직임 예측·보상 회로(21)에 출력한다.
스텝 S2에서, 역양자화 회로(13)는, 부호화측에 있어서의 양자화 방식에 대응하는 방식으로 역양자화를 행하여, 변환 계수를 역직교 변환 회로(14)에 출력한다. 스텝 S3에서, 역직교 변환 회로(14)는, 역양자화 회로(13)로부터 공급된 변환 계수에 대하여 역직교 변환을 실시하고, 얻어진 화상을 가산 회로(15)에 출력한다.
스텝 S4에서, 가산 회로(15)는, 역직교 변환 회로(14)로부터 공급된 복호 화상과, 움직임 예측·보상 회로(21)로부터 또는 인트라 예측 회로(22)로부터 공급된 예측 화상을 합성하고, 합성 화상을 디블록 필터(16)에 출력한다. 스텝 S5에서, 디블록 필터(16)는, 필터링을 실시함으로써, 합성 화상에 포함되는 블록 왜곡을 제거하고, 블록 왜곡을 제거한 화상을 출력한다. 스텝 S6에서, 프레임 메모리(19)는, 디블록 필터(16)로부터 공급된 화상을 일시적으로 기억한다. 또한, 이때, 화상은, 재배열 버퍼(17)에도 유지된다.
스텝 S7에서, 제어 회로(31)는, 1프레임 전체의 매크로 블록에 대하여 이상의 처리를 행했는지의 여부를 판정하여, 처리를 행하고 있지 않다고 판정한 경우, 다른 매크로 블록에 주목하여, 스텝 S1 이후의 처리를 반복한다.
또한, 스텝 S7에서, 1프레임 전체의 매크로 블록에 대하여 처리를 행했다고 판정된 경우, 처리는 스텝 S8로 진행한다. 스텝 S8에서, 재배열 버퍼(17)는, 제어 회로(31)에 의한 제어에 따라, 생성한 프레임을 D/A 변환 회로(18)에 출력한다.
스텝 S9에서, D/A 변환 회로(18)는, 재배열 버퍼(17)로부터 공급된 프레임에 대하여 D/A 변환을 실시하여, 아날로그의 신호를 외부에 출력한다. 이상의 처리가, 각 프레임을 대상으로 하여 행해진다.
이어서, 도 8의 흐름도를 참조하여, 가역 복호 처리의 흐름의 예를 설명한다.
가역 복호 처리가 개시되면, 예측 판정 회로(41)는, 스텝 S21에서, 축적 버퍼(11)로부터 공급되는 압축 화상 정보의 헤더를 참조한다. 예측 판정 회로(41)는, 스텝 S22에서, 그 헤더에 포함되는, 부호화 장치에 의해 지정되는 예측 모드를 나타내는 정보에 기초하여, 인트라 예측을 행할지의 여부를 판정한다. 부호화 장치에 의해 인트라 예측 모드가 지정되어 있는 경우, 처리는, 스텝 S23으로 진행한다.
스텝 S23에서, 인트라 예측 회로(22)는, 인트라 예측을 행하여 예측 화상을 생성하고, 그 예측 화상을 가산 회로(15)에 공급한다. 이 예측 화상은, 도 7의 스텝 S4에서, 역직교 변환 회로(14)로부터 공급된 복호 화상과 합성된다.
스텝 S23의 처리가 종료되면, 처리는 스텝 S29로 진행한다. 또한, 스텝 S22에서, 인트라 예측을 행하지 않는다고 판정된 경우, 처리는 스텝 S24로 진행한다.
스텝 S24에서, 예측 판정 회로(41)는, 헤더에 포함되는, 부호화 장치에 의해 지정되는 예측 모드를 나타내는 정보에 기초하여, 업 컨버트 예측을 행할지의 여부를 판정한다. 부호화 장치에 의해 업 컨버트 예측 모드가 지정되어 있는 경우, 처리는, 스텝 S25로 진행한다.
스텝 S25에서, 움직임 예측·보상 회로(21)의 업 컨버트 예측 회로(63)는, 업 컨버트 예측을 행하여 예측 화상을 생성하고, 그 예측 화상을 가산 회로(15)에 공급한다. 이 예측 화상은, 도 7의 스텝 S4에서, 역직교 변환 회로(14)로부터 공급된 복호 화상과 합성된다.
스텝 S25의 처리가 종료되면, 처리는 스텝 S29로 진행한다. 또한, 스텝 S24에서, 업 컨버트 예측을 행하지 않는다고 판정된 경우, 처리는 스텝 S26으로 진행한다.
스텝 S26에서, 예측 판정 회로(41)는, 헤더에 포함되는, 부호화 장치에 의해 지정되는 예측 모드를 나타내는 정보에 기초하여, 인터 예측을 행할지의 여부를 판정한다. 부호화 장치에 의해 인터 예측 모드가 지정되어 있는 경우, 처리는, 스텝 S27로 진행한다.
스텝 S27에서, 움직임 예측·보상 회로(21)의 한쪽 방향 예측 회로(61) 또는 쌍방향 예측 회로(62)는, 인터 예측(한쪽 방향 예측 또는 쌍방향 예측)을 행하여 예측 화상을 생성하고, 그 예측 화상을 가산 회로(15)에 공급한다. 이 예측 화상은, 도 7의 스텝 S4에서, 역직교 변환 회로(14)로부터 공급된 복호 화상과 합성된다.
스텝 S27의 처리가 종료되면, 처리는 스텝 S29로 진행한다. 또한, 스텝 S26에서, 부호화 장치에 의해 필터링 예측 모드가 지정되어 있고, 인터 예측을 행하지 않는다고 판정된 경우, 처리는 스텝 S28로 진행한다.
스텝 S28에서, 움직임 예측·보상 회로(21)의 필터링 예측 회로(64)는, 헤더에 포함되는, 필터링 예측 모드를 나타내는 정보에 기초하여, 필터링 예측을 행하여 예측 화상을 생성하고, 그 예측 화상을 가산 회로(15)에 공급한다. 이 예측 화상은, 도 7의 스텝 S4에서, 역직교 변환 회로(14)로부터 공급된 복호 화상과 합성된다. 스텝 S28의 처리가 종료되면, 처리는 스텝 S29로 진행한다.
스텝 S29에서, 복호 처리 회로(42)는, 압축 화상 정보의 잔차 신호를 복호하여, 양자화된 변환 계수를 역양자화 회로(13)에 출력한다. 스텝 S29의 처리가 종료되면, 가역 복호 처리가 종료되고, 처리는, 도 7의 스텝 S1로 되돌아가, 스텝 S2 이후의 처리가 실행된다.
또한, 이상에 있어서는, 스텝 S21에서 참조하는 압축 화상 정보의 헤더에 포함되는 정보에 기초하여 예측 모드가 선택되도록 설명했다. 그러나, 이에 한정하지 않고, 예측 판정 회로(41)는, 예를 들어 압축 화상 정보의 비트 스트림을 해석함으로써, 적절한 예측 모드를 선택할 수 있도록 해도 좋다. 그 경우, 예측 판정 회로(41)는, 스텝 S21에서, 헤더를 참조하는 대신 압축 화상 정보의 해석을 행하고, 스텝 S22 이하의 처리에 의해, 그 해석 결과에 기초하여 예측 모드의 선택을 행한다.
이어서, 도 9의 흐름도를 참조하여, 도 8의 스텝 S28의 처리에 의해 실행되는 필터링 예측 처리의 흐름의 예를 설명한다.
필터링 예측 처리가 개시되면, 추출 회로(71)는, 스텝 S41에서, 베이스 레이어로부터의 커런트 프레임 또는 참조 프레임으로부터 움직임 보상 화상을 추출한다. 차분 계산 회로(81)는, 스텝 S42에서, 움직임 보상 화상의 차분을 계산한다. 스텝 S43에서, 업 컨버트 회로(82)는, 스텝 S42에서 산출된 움직임 보상 화상의 차분을 업 컨버트한다. 스텝 S44에서, 저역 통과 필터 회로(83)는, 스텝 S43에서 업 컨버트된 차분에 저역 통과 필터를 작동한다.
스텝 S45에서, 게인 조정 회로(84)는, 스텝 S44의 처리의 저역 통과 필터의 출력에 대하여 계수 α를 승산하여, 게인 조정을 행한다. 스텝 S46에서, 고역 통과 필터 회로(85)는, 스텝 S44의 처리의 저역 통과 필터의 출력에 고역 통과 필터를 작동한다. 스텝 S47에서, 게인 조정 회로(86)는, 스텝 S46의 처리의 고역 통과 필터의 출력에 대하여 계수 β를 승산하여, 게인 조정을 행한다.
스텝 S48에서, 가산 회로(87)는, 스텝 S45의 처리에 의해 게인 조정된 저역 통과 필터의 출력과, 스텝 S47의 처리에 의해 게인 조정된 고역 통과 필터의 출력을 가산하여 고주파수 성분을 구한다.
스텝 S49에서, 업 컨버트 회로(88)는, 베이스 레이어로부터 추출된 움직임 보상 화상(MC0)을 업 컨버트한다. 스텝 S50에서, 가산 회로(89)는, 스텝 S49에서 업 컨버트된 움직임 보상 화상에, 스텝 S48에서 구해진 고주파수 성분을 부가하여 예측 화상을 생성한다. 가산 회로(89)는, 생성한 예측 화상을 가산 회로(15)에 공급한다.
스텝 S50의 처리가 종료되면, 필터링 예측 처리가 종료되고, 처리는, 도 8의 스텝 S28로 되돌아가, 스텝 S29 이후의 처리가 실행된다.
이상과 같이, 필터링 예측에 의해 생성된 예측 화상을 사용하여 복호가 행해짐으로써, 처리의 부하를 증대시키지 않고, 고정밀의 복호 화상을 얻는 것이 가능하게 된다. 즉, 복호 장치(1)는, 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 이상에 있어서는, 베이스 레이어의 복호와 인핸스먼트 레이어의 복호를 동일한 복호 장치(1)에 있어서 행하도록 설명했지만, 이에 한정하지 않고, 양자의 복호가 서로 다른 복호 장치(1)에 있어서 행해지도록 해도 좋다. 단, 그 경우도, 프레임 메모리(19)는, 전체 복호 장치에 있어서 공통이어서, 인핸스먼트 레이어의 복호 시에, 베이스 레이어의 프레임이 판독 가능하게 된다.
<2. 제2 실시 형태>
[부호화 장치의 구성]
도 10은, 본 발명을 적용한 부호화 장치의 주된 구성예를 도시하는 블록도이다. 이 부호화 장치(101)는, 도 3의 복호 장치(1)에 대응하는 부호화 장치이다. 즉, 부호화 장치(101)에 의해 부호화됨으로써 얻어진 압축 화상 정보가, 도 3의 복호 장치(1)에 입력된다.
부호화 장치(101)는, A/D 변환 회로(111), 재배열 버퍼(112), 가산 회로(113), 직교 변환 회로(114), 양자화 회로(115), 가역 부호화 회로(116), 축적 버퍼(117)를 갖는다. 또한, 부호화 장치(101)는, 레이트 제어 회로(118), 역양자화 회로(119), 역직교 변환 회로(120), 디블록 필터(121), 프레임 메모리(122) 및 모드 결정 회로(123)를 갖는다. 부호화 장치(101)는, 스위치(124), 움직임 예측·보상 회로(125), 인트라 예측 회로(126), 스위치(127) 및 제어 회로(131)를 더 갖는다.
화상 정보는, 저해상도의 베이스 레이어와 고해상도의 인핸스먼트 레이어에 2층화(또는, 3층 이상으로 다층화)되고, 각 프레임의 화상 정보는, 저해상도의 베이스 레이어로부터 먼저 부호화 장치(101)에 공급되어 부호화된다. 이 베이스 레이어의 부호화는, H.264의 규격의 경우와 마찬가지로 행해진다. 베이스 레이어의 부호화가 끝나면, 인핸스먼트 레이어의 화상 정보가 부호화 장치(101)에 의해 부호화된다. 이하, 그 인핸스먼트 레이어의 부호화에 대하여 설명한다.
A/D 변환 회로(111)는, 입력 신호에 A/D 변환을 실시하여, 화상을 재배열 버퍼(112)에 출력한다. 재배열 버퍼(112)는, 압축 화상 정보의 GOP(Group of Pictures) 구조에 따라서 프레임의 재배열을 행하여, 매크로 블록 등의 소정의 단위의 화상을 출력한다. 재배열 버퍼(112)로부터 출력된 화상은, 가산 회로(113), 모드 결정 회로(123), 움직임 예측·보상 회로(125) 및 인트라 예측 회로(126)에 공급된다.
가산 회로(113)는, 재배열 버퍼(112)로부터 공급된 화상과, 움직임 예측·보상 회로(125) 또는 인트라 예측 회로(126)에 의해 생성되며, 스위치(127)를 통하여 공급된 예측 화상의 차를 구하고, 잔차를 직교 변환 회로(114)에 출력한다. 예측 화상이 원화상에 가깝고, 여기에서 구해지는 잔차가 적을수록, 잔차에 할당하는 부호량이 적어도 되는 점에서 부호화 효율이 높다고 할 수 있다.
직교 변환 회로(114)는, 가산 회로(113)로부터 공급된 잔차에 대하여, 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환을 실시하고, 직교 변환을 실시함으로써 얻어진 변환 계수를 양자화 회로(115)에 출력한다.
양자화 회로(115)는, 직교 변환 회로(114)로부터 공급된 변환 계수를, 레이트 제어 회로(118)에 의한 제어에 따라서 양자화하고, 양자화한 변환 계수를 출력한다. 양자화 회로(115)에 의해 양자화된 변환 계수는 가역 부호화 회로(116)와 역양자화 회로(119)에 공급된다.
가역 부호화 회로(116)는, 양자화 회로(115)로부터 공급된 변환 계수를, 가변 길이 부호화, 산술 부호화 등의 가역 부호화를 실시함으로써 압축하여, 정보를 축적 버퍼(117)에 출력한다.
또한, 가역 부호화 회로(116)는, 모드 결정 회로(123)로부터 공급된 정보에 따라서 식별 플래그의 값을 설정하고, 식별 플래그를 화상의 헤더에 기술한다. 가역 부호화 회로(116)에 의해 기술된 식별 플래그에 기초하여, 상술한 바와 같이, 복호 장치(1)에 있어서 예측 모드가 결정된다.
가역 부호화 회로(116)는, 움직임 예측·보상 회로(125) 또는 인트라 예측 회로(126)로부터 공급된 정보를 화상의 헤더에 기술하는 것도 행한다. 움직임 예측·보상 회로(125)로부터는, 인터 예측을 행할 때에 검출된 움직임 벡터 등이 공급되고, 인트라 예측 회로(126)로부터는, 적용된 인트라 예측 모드에 관한 정보가 공급된다.
축적 버퍼(117)는, 가역 부호화 회로(116)로부터 공급된 정보를 일시적으로 기억하고, 소정의 타이밍에 압축 화상 정보로서 출력한다. 축적 버퍼(117)는, 발생 부호량의 정보를 레이트 제어 회로(118)에 출력한다.
레이트 제어 회로(118)는, 축적 버퍼(117)로부터 출력된 부호량에 기초하여 양자화 스케일을 산출하고, 산출한 양자화 스케일로 양자화가 행해지도록 양자화 회로(115)를 제어한다.
역양자화 회로(119)는, 양자화 회로(115)에 의해 양자화된 변환 계수에 대하여 역양자화를 실시하여, 변환 계수를 역직교 변환 회로(120)에 출력한다.
역직교 변환 회로(120)는, 역양자화 회로(119)로부터 공급된 변환 계수에 대하여 역직교 변환을 실시하고, 얻어진 화상을 디블록 필터(121)에 출력한다.
디블록 필터(121)는, 국소적으로 복호된 화상에 나타나는 블록 왜곡을 제거하고, 블록 왜곡을 제거한 화상을 프레임 메모리(122)에 출력한다.
프레임 메모리(122)는, 디블록 필터(121)로부터 공급된 화상을 기억한다. 프레임 메모리(122)에 기억된 화상은 모드 결정 회로(123)에 의해 적절히 판독된다.
모드 결정 회로(123)는, 프레임 메모리(122)에 기억되어 있는 화상과 재배열 버퍼(112)로부터 공급된 원화상에 기초하여, 인트라 부호화를 행할지, 인터 부호화를 행할지를 결정한다. 또한, 모드 결정 회로(123)는, 인터 부호화를 행하는 것을 결정한 경우, 한쪽 방향 예측 모드, 쌍방향 예측 모드, 업 컨버트 예측 모드, 필터링 예측 모드 중 어느 1개의 모드를 결정한다. 모드 결정 회로(123)는, 결정 결과를 나타내는 정보를 모드 정보로서 가역 부호화 회로(116)에 출력한다.
모드 결정 회로(123)는, 인터 부호화를 행하는 것을 결정한 경우, 프레임 메모리(122)에 기억되어 있는, 국소적으로 복호하여 얻어진 프레임을, 스위치(124)를 통하여 움직임 예측·보상 회로(125)에 출력한다.
또한, 모드 결정 회로(123)는, 인트라 부호화를 행하는 것을 결정한 경우, 프레임 메모리(122)에 기억되어 있는, 국소적으로 복호하여 얻어진 프레임을 인트라 예측 회로(126)에 출력한다.
스위치(124)는, 인터 부호화를 행하는 경우, 단자(a11)에 접속하고, 인트라 부호화를 행하는 경우, 단자(b11)에 접속한다. 스위치(124)의 전환은 예를 들어 제어 회로(131)에 의해 제어된다.
움직임 예측·보상 회로(125)는, 재배열 버퍼(112)로부터 공급된 원화상과, 프레임 메모리(122)로부터 판독된 참조 프레임에 기초하여 움직임 벡터를 검출하고, 검출한 움직임 벡터를 가역 부호화 회로(116)에 출력한다. 또한, 움직임 예측·보상 회로(125)는, 검출한 움직임 벡터와 참조 프레임을 사용하여 움직임 보상을 행함으로써 예측 화상을 생성하고, 생성한 예측 화상을, 스위치(127)를 통하여 가산 회로(113)에 출력한다.
인트라 예측 회로(126)는, 재배열 버퍼(112)로부터 공급된 원화상과, 로컬 디코드되어 프레임 메모리(122)에 기억되어 있는 참조 프레임에 기초하여 인트라 예측을 행하여, 예측 화상을 생성한다. 인트라 예측 회로(126)는, 생성한 예측 화상을, 스위치(127)를 통하여 가산 회로(113)에 출력하고, 인트라 예측 모드 정보를 가역 부호화 회로(116)에 출력한다.
스위치(127)는, 단자(a12) 또는 단자(b12)에 접속하고, 움직임 예측·보상 회로(125) 또는 인트라 예측 회로(126)에 의해 생성된 예측 화상을 가산 회로(113)에 출력한다.
제어 회로(131)는, 모드 결정 회로(123)에 의해 결정된 모드에 따라서 스위치(124, 127)의 접속을 전환하거나 하여, 부호화 장치(101)의 전체 동작을 제어한다.
도 11은, 도 10의 모드 결정 회로(123)의 주된 구성예를 도시하는 블록도이다.
도 11에 도시된 바와 같이, 모드 결정 회로(123)는, 인트라 예측 회로(141), 한쪽 방향 예측 회로(142), 쌍방향 예측 회로(143), 업 컨버트 예측 회로(144), 필터링 예측 회로(145), 예측 오차 계산 회로(146) 및 결정 회로(147)를 갖는다.
모드 결정 회로(123)에 있어서는, 각각 다른 크기의 블록을 대상으로 하여 인트라 예측, 인터 예측이 행해지고, 그 결과로부터 어느 예측 모드에서 예측을 행하는 것인지가 결정된다. 인터 예측에 대해서는, 한쪽 방향 예측 모드, 쌍방향 예측 모드, 업 컨버트 예측 모드 및 필터링 예측 모드 각각의 예측 모드에서의 처리가 행해진다.
인트라 예측 회로(141), 한쪽 방향 예측 회로(142), 쌍방향 예측 회로(143), 업 컨버트 예측 회로(144) 및 필터링 예측 회로(145)는, 원화상과 프레임 메모리(122)로부터 판독된 화상에 기초하여, 각각의 방법으로 예측을 행하여 예측 화상을 생성하고, 생성한 예측 화상을 예측 오차 계산 회로(146)에 출력한다.
인트라 예측 회로(141)는, 복호 장치(1)의 인트라 예측 회로(22)와 마찬가지의 방법으로 인트라 예측을 행한다. 한쪽 방향 예측 회로(142)는, 움직임 벡터를 검출하고, 검출한 움직임 벡터에 기초하여, 참조 프레임으로부터 움직임 보상 화상을 추출하고, 그 움직임 보상 화상을 사용하여 한쪽 방향 예측을 행함으로써 예측 화상을 생성한다. 즉, 한쪽 방향 예측 회로(142)는, 검출한 움직임 벡터에 기초하여, 복호 장치(1)의 한쪽 방향 예측 회로(61)와 마찬가지의 방법으로 예측 화상을 생성한다.
쌍방향 예측 회로(143)는, 움직임 벡터를 검출하고, 검출한 움직임 벡터에 기초하여, 참조 프레임으로부터 움직임 보상 화상을 추출하고, 그 움직임 보상 화상을 사용하여 쌍방향 예측을 행함으로써 예측 화상을 생성한다. 즉, 쌍방향 예측 회로(143)는, 검출한 움직임 벡터에 기초하여, 복호 장치(1)의 쌍방향 예측 회로(62)와 마찬가지의 방법으로 예측 화상을 생성한다.
업 컨버트 예측 회로(144)는, 베이스 레이어의 커런트 프레임의, 인핸스먼트 레이어의 커런트 프레임의 처리 대상 매크로 블록과 동일 위치의 매크로 블록을 움직임 보상 화상으로 하고, 그것을 업 컨버트함으로써, 인핸스먼트 레이어의 예측 화상을 생성한다. 즉, 업 컨버트 예측 회로(144)는, 복호 장치(1)의 업 컨버트 예측 회로(63)와 마찬가지의 방법으로 예측 화상을 생성한다.
필터링 예측 회로(145)는, 베이스 레이어에 있어서 움직임 벡터를 검출하고, 검출한 움직임 벡터에 기초하여, 참조 프레임으로부터 베이스 레이어의 움직임 보상 화상을 추출하고, 그 베이스 레이어의 움직임 보상 화상을 사용하여 필터링 예측을 행함으로써 예측 화상을 생성한다. 즉, 필터링 예측 회로(145)는, 검출한 움직임 벡터에 기초하여, 복호 장치(1)의 필터링 예측 회로(145)와 마찬가지의 방법으로 예측 화상을 생성한다.
또한, 인트라 예측 회로(141) 내지 필터링 예측 회로(145)는, 예를 들어 4×4 화소의 블록, 8×8 화소의 블록, 16×16 화소의 블록 각각의 단위로 움직임 벡터를 검출하거나, 예측을 행하거나 한다. 이 처리 단위가 되는 블록의 크기는 임의이다. 또한, 예측을 행하는 블록의 종류의 수도 임의이다. 인트라 예측 회로(141) 내지 필터링 예측 회로(145)는, 각 블록에 대하여 예측 화상을 생성하고, 생성한 각 예측 화상을 예측 오차 계산 회로(146)에 출력한다.
재배열 버퍼(112)로부터 공급된 원화상은 인트라 예측 회로(141) 내지 필터링 예측 회로(145), 및 예측 오차 계산 회로(146)에 입력된다.
예측 오차 계산 회로(146)는, 인트라 예측 회로(141)의 각 회로로부터 공급된 각각의 예측 화상에 대해서, 원화상의 차를 구하고, 구한 차를 나타내는 잔차 신호를 결정 회로(147)에 출력한다. 마찬가지로, 예측 오차 계산 회로(146)는, 한쪽 방향 예측 회로(142), 쌍방향 예측 회로(143), 업 컨버트 예측 회로(144) 또는 필터링 예측 회로(145)로부터 공급된 각각의 예측 화상에 대해서, 원화상의 차를 구하고, 구한 차를 나타내는 잔차 신호를 결정 회로(147)에 출력한다.
결정 회로(147)는, 예측 오차 계산 회로(146)로부터 공급된 잔차 신호의 강도를 측정하여, 원화상과의 차가 적은 예측 화상의 생성에 사용된 예측 방법을, 부호화에 사용하는 예측 화상을 생성하기 위한 예측 방법으로서 결정한다. 결정 회로(147)는, 결정 결과를 나타내는 정보를 모드 정보로서 가역 부호화 회로(116)에 출력한다. 모드 정보에는, 어느 크기의 블록을 처리의 단위로 하는 것인지를 나타내는 정보 등도 포함된다.
또한, 결정 회로(147)는, 인터 예측에 의해 예측 화상을 생성하는 것을 결정한 경우(인터 부호화를 행하는 것을 결정한 경우), 프레임 메모리(122)로부터 판독한 참조 프레임을, 모드 정보와 함께 움직임 예측·보상 회로(125)에 출력한다. 결정 회로(147)는, 인트라 예측에 의해 예측 화상을 생성하는 것을 결정한 경우(인트라 부호화를 행하는 것을 결정한 경우), 프레임 메모리(122)로부터 판독한 인트라 예측에 사용하는 화상을, 모드 정보와 함께 인트라 예측 회로(126)에 출력한다.
도 12는, 도 10의 움직임 예측·보상 회로(125)의 주된 구성예를 도시하는 블록도이다.
도 12에 도시된 바와 같이, 움직임 예측·보상 회로(125)는, 움직임 벡터 검출 회로(151), 한쪽 방향 예측 회로(152), 쌍방향 예측 회로(153), 업 컨버트 예측 회로(154) 및 필터링 회로(155)를 갖는다. 예측 선택 회로(51) 대신에 움직임 벡터 검출 회로(151)가 설치되어 있는 점을 제외하고, 움직임 예측·보상 회로(125)는, 도 5에 도시된 움직임 예측·보상 회로(21)와 마찬가지의 구성을 갖는다.
움직임 벡터 검출 회로(151)는, 재배열 버퍼(112)로부터 공급된 원화상과, 모드 결정 회로(123)로부터 공급된 참조 프레임에 기초하여, 블록 매칭 등을 행함으로써 움직임 벡터를 검출한다. 움직임 벡터 검출 회로(151)는, 모드 결정 회로(123)로부터 공급된 모드 정보를 참조하여, 참조 프레임을 한쪽 방향 예측 회로(152) 내지 필터링 예측 회로(155) 중 어느 1개에 출력한다. 또한, 움직임 벡터 검출 회로(151)는, 움직임 벡터도 필요에 따라서 참조 프레임의 출력처에 출력한다.
움직임 벡터 검출 회로(151)는, 한쪽 방향 예측이 선택되어 있는 경우, 참조 프레임과 함께 움직임 벡터를 한쪽 방향 예측 회로(152)에 출력하고, 쌍방향 예측을 행하는 것이 선택되어 있는 경우, 그들 정보를 쌍방향 예측 회로(153)에 출력한다. 또한, 움직임 벡터 검출 회로(151)는, 업 컨버트 예측이 선택되어 있는 경우, 참조 프레임인 베이스 레이어의 커런트 프레임의 화상을 업 컨버트 예측 회로(154)에 출력한다. 또한, 움직임 벡터 검출 회로(151)는, 필터링 예측이 선택되어 있는 경우, 베이스 레이어의 참조 프레임과 함께 움직임 벡터를 필터링 예측 회로(155)에 출력한다.
한쪽 방향 예측 회로(152)는, 도 5의 한쪽 방향 예측 회로(61)와 마찬가지로, 한쪽 방향 예측을 행함으로써 예측 화상을 생성한다. 한쪽 방향 예측 회로(152)는, 생성한 예측 화상을 가산 회로(113)에 출력한다. 쌍방향 예측 회로(153)는, 도 5의 쌍방향 예측 회로(62)와 마찬가지로, 쌍방향 예측을 행함으로써 예측 화상을 생성한다. 쌍방향 예측 회로(153)는, 생성한 예측 화상을 가산 회로(113)에 출력한다. 업 컨버트 예측 회로(154)는, 도 5의 업 컨버트 예측 회로(63)와 마찬가지로, 업 컨버트 예측을 행함으로써 예측 화상을 생성한다. 업 컨버트 예측 회로(154)는, 생성한 예측 화상을 가산 회로(113)에 출력한다.
필터링 예측 회로(155)는, 도 5의 필터링 예측 회로(64)와 마찬가지로, 베이스 레이어의 복수의 참조 프레임으로부터 각각 움직임 보상 화상을 추출하고, 추출한 복수의 움직임 보상 화상에 대하여, 업 컨버트를 수반하는 필터링 예측을 행함으로써 예측 화상을 생성한다. 필터링 예측 회로(155)는, 생성한 예측 화상을 가산 회로(113)에 출력한다. 또한, 필터링 예측 회로(155)는 도 6에 도시된 필터링 예측 회로(64)의 구성과 마찬가지의 구성을 갖고 있다. 이하, 적절히, 도 6에 도시된 필터링 예측 회로(64)의 구성을 필터링 예측 회로(155)의 구성으로서 인용하여 설명한다.
필터링 예측에 의해 생성된 예측 화상은, 한쪽 방향 예측, 쌍방향 예측 또는 업 컨버트 예측에 의해 생성된 예측 화상에 비하여 고주파 성분을 많이 포함하여, 원화상과의 차가 적은 화상이 된다. 따라서, 필터링 예측은, 잔차에 할당하는 부호량이 적어도 되기 때문에, 부호화 효율을 올리는 것이 가능하게 된다. 또한, 필터링 예측은, 인핸스먼트 레이어의 프레임을 참조하는 한쪽 방향 예측이나 쌍방향 예측의 경우에 비하여, 참조 프레임의 해상도가 작으므로, 예를 들어 참조 프레임의 프레임 메모리(122)에 대한 보존이나 프레임 메모리(122)로부터의 판독 등, 처리의 부하가 작다. 즉, 부호화 장치(101)는, 필터링 예측을 사용함으로써, 부호화나 복호의 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 참조 프레임의 수가 적어도 2매 있으면 필터링 예측을 행할 수 있기 때문에, 그와 같이 부호화 효율을 올린다는 것을, 처리를 복잡하게 하지 않고 실현하는 것이 가능하게 된다. 예를 들어, 인터 예측에서 사용하는 참조 프레임의 수를 많게 하여 정밀도가 높은 예측 화상을 생성하고, 그것을 사용함으로써도 원화상과의 잔차를 작게 하여, 부호화 효율을 올릴 수 있지만, 이 경우, 참조 프레임의 수가 많아지는 점에서, 처리가 복잡해진다.
또한, 예측 방법을 선택할 때, 예측에 필요한 움직임 벡터나 부호화 모드와 같은 정보의 부호량을 고려하여, 부호량에 따른 가중치를 잔차 신호의 강도 외에 최적의 예측 방법이 선택되도록 해도 좋다. 이에 의해, 한층 더 부호화 효율을 개선시키는 것이 가능하게 된다. 또한, 부호화 처리의 간략화를 위해서, 입력된 원화상의 시간·공간 방향의 특징량을 이용하여, 적절하게 예측 방법이 선택되도록 해도 좋다.
[부호화 처리의 흐름의 설명]
이어서, 이상과 같은 구성을 갖는 부호화 장치(101)의 처리에 대하여 설명한다.
도 13의 흐름도를 참조하여, 부호화 장치(101)의 인핸스먼트 레이어에 대한 부호화 처리에 대하여 설명한다. 이 처리는, 매크로 블록 등의 소정의 단위의 화상이 재배열 버퍼(112)로부터 출력되었을 때에 개시된다. 또한, 베이스 레이어에 대한 부호화 처리는, 상술한 바와 같이 H.264의 규정에 기초하는 방법과 마찬가지이므로 그 설명을 생략한다.
스텝 S101에서, 가산 회로(113)는, 재배열 버퍼(112)로부터 공급된 화상과, 움직임 예측·보상 회로(125) 또는 인트라 예측 회로(126)에 의해 생성된 예측 화상의 차를 구하여, 잔차를 직교 변환 회로(114)에 출력한다.
스텝 S102에서, 직교 변환 회로(114)는, 가산 회로(113)로부터 공급된 잔차에 대하여 직교 변환을 실시하여, 변환 계수를 양자화 회로(115)에 출력한다.
스텝 S103에서, 양자화 회로(115)는, 직교 변환 회로(114)로부터 공급된 변환 계수를 양자화하고, 양자화한 변환 계수를 출력한다.
스텝 S104에서, 역양자화 회로(119)는, 양자화 회로(115)에 의해 양자화된 변환 계수에 대하여 역양자화를 실시하여, 변환 계수를 역직교 변환 회로(120)에 출력한다.
스텝 S105에서, 역직교 변환 회로(120)는, 역양자화 회로(119)로부터 공급된 변환 계수에 대하여 역직교 변환을 실시하고, 얻어진 화상을 디블록 필터(121)에 출력한다.
스텝 S106에서, 디블록 필터(121)는, 필터링을 실시함으로써 블록 왜곡을 제거하고, 블록 왜곡을 제거한 화상을 프레임 메모리(122)에 출력한다.
스텝 S107에서, 프레임 메모리(122)는, 디블록 필터(121)로부터 공급된 화상을 기억한다.
스텝 S108에서, 모드 결정 회로(123)에 의해 모드 결정 처리가 행해진다. 모드 결정 처리에 의해, 어느 예측 모드에서 예측 화상을 생성하는 것인지가 결정된다. 모드 결정 처리의 상세에 대해서는 후술한다.
스텝 S109에서, 움직임 예측·보상 회로(125) 또는 인트라 예측 회로(126)는, 스텝 S108에서 결정된 모드에서 예측 화상을 생성한다. 이 예측 화상은, 스텝 S101의 처리에 이용된다.
스텝 S110에 있어서, 가역 부호화 회로(116)는, 양자화 회로(115)로부터 공급된 변환 계수를 압축하여, 축적 버퍼(117)에 출력한다. 또한, 가역 부호화 회로(116)는, 모드 결정 회로(123)로부터 공급된 정보에 따라서 식별 플래그를 화상의 헤더에 기술하거나, 움직임 예측·보상 회로(125)로부터 공급된 움직임 벡터를 화상의 헤더에 기술하거나 한다.
스텝 S111에서, 축적 버퍼(117)는, 가역 부호화 회로(116)로부터 공급된 정보를 일시적으로 기억한다.
스텝 S112에서, 제어 회로(31)는, 1프레임 전체의 매크로 블록에 대하여 이상의 처리를 행했는지의 여부를 판정하여, 처리를 행하고 있지 않다고 판정된 경우, 다른 매크로 블록에 주목하여, 스텝 S101 이후의 처리를 반복한다.
한편, 1프레임 전체의 매크로 블록에 대하여 처리를 행했다고 스텝 S112에서 판정된 경우, 스텝 S113에서, 축적 버퍼(117)는 제어 회로(131)에 의한 제어에 따라서 압축 화상 정보를 출력한다. 이상의 처리가, 각 프레임을 대상으로 하여 행해진다.
이어서, 도 14의 흐름도를 참조하여, 도 13의 스텝 S108에서 행해지는 모드 결정 처리에 대하여 설명한다.
스텝 S131에서, 인트라 예측 회로(141) 내지 필터링 예측 회로(145)는, 각각 다른 크기의 블록을 대상으로 하여 인트라 예측이나 인터 예측을 행하여, 예측 화상을 생성한다. 생성된 예측 화상은 예측 오차 계산 회로(146)에 공급된다.
스텝 S132에서, 예측 오차 계산 회로(146)는, 인트라 예측 회로(141) 내지 필터링 예측 회로(145)로부터 공급된 각각의 예측 화상에 대해서, 원화상의 차를 구한다. 예측 오차 계산 회로(146)는 잔차 신호를 결정 회로(147)에 출력한다.
스텝 S133에서, 결정 회로(147)는, 예측 오차 계산 회로(146)로부터 공급된 잔차 신호의 강도에 기초하여, 가산 회로(113)에 공급하는 예측 화상을 생성하기 위한 예측 방법을 결정한다.
스텝 S134에서, 결정 회로(147)는, 결정한 예측 방법에 관한 정보인 모드 정보를 가역 부호화 회로(116)에 출력한다. 그 후, 도 13의 스텝 S108로 되돌아가, 그 이후의 처리가 행해진다.
이어서, 도 15의 흐름도를 참조하여, 도 13의 스텝 S109에서 행해지는 모드예측 화상을 생성하는 처리의 예로서, 필터링 예측에 의해 예측 화상을 생성하는 필터링 예측 처리의 흐름의 예를 설명한다.
상술한 바와 같이, 도 13의 스텝 S109에 있어서는, 스텝 S108의 모드 결정 처리에 의해 결정된 모드에서 예측 화상의 생성이 행해진다. 따라서 스텝 S108에서, 필터링 예측 모드가 결정된 경우, 스텝 S109에 있어서 도 15에 도시된 바와 같은 필터링 예측 처리가 실행된다.
필터링 예측 처리가 개시되면, 스텝 S151에서, 움직임 벡터 검출 회로(151)는, 원화상과 참조 프레임에 기초하여 움직임 벡터를 검출한다.
움직임 벡터가 검출되면, 그 검출된 움직임 벡터가 사용되어, 스텝 S152 내지 스텝 S161의 각 처리가, 도 9의 스텝 S41 내지 스텝 S50의 각 처리와 마찬가지로 실행된다. 즉, 움직임 벡터에 기초하여 베이스 레이어의 참조 프레임에서 움직임 보상 화상이 생성되고, 그 움직임 보상 화상에 대하여 업 컨버트를 수반하는 필터링 처리가 행해져, 인핸스먼트 레이어의 예측 화상이 생성된다.
스텝 S161의 처리가 종료되면, 필터링 예측 처리가 종료되고, 처리는 도 13의 스텝 S109로 되돌아가, 스텝 S110 이후의 처리가 실행된다.
또한, 스텝 S108의 처리에 있어서 다른 모드가 선택된 경우, 움직임 예측·보상 회로(125) 또는 인트라 예측 회로(126)는, 선택된 다른 모드에서 예측 화상을 생성한다. 이들 처리는, H.264/SVC 규격에 따라서 행해지므로 그 설명은 생략한다.
이상과 같이, 공간 스케일러빌리티를 고려한 부호화를 행하는 데 있어서, 동화상 신호열에 포함되는 시간 상관을 더 효율적으로 이용함으로써, 예를 들어 부호화나 복호 등의 처리의 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
<3. 제3 실시 형태>
[복호 처리의 개요]
도 16은, 본 발명을 적용한 복호 처리의 개요의, 다른 예를 설명하는 도면이다. 도 16에 도시된 바와 같이, 참조 프레임의 수는 3개 이상이어도 좋다.
도 16의 예에 있어서는, 커런트 프레임으로부터 시간적으로 1시각 전과 그 1시각 전과 또 그 1시각 전에 있는 3매의 프레임(Ref0, Ref1, Ref2)이 참조 프레임으로 되어 있다. 커런트 프레임의 1시각 전의 프레임이 참조 프레임(Ref0)으로 되고, 참조 프레임(Ref0)의 1시각 전의 프레임이 참조 프레임(Ref1)으로 되고, 참조 프레임(Ref1)의 1시각 전의 프레임이 참조 프레임(Ref2)으로 되어 있다.
[필터링 회로의 구성]
도 17은, 이렇게 3매의 프레임을 참조하는 경우의, 도 6의 필터링 회로의 구성예를 도시하는 블록도이다.
도 17에 도시된 바와 같이, 필터링 회로(211)는, 필터링 회로(221)와 필터링 회로(222)를 갖는다. 필터링 회로(221)와 필터링 회로(222)는, 각각 도 6에 도시한 바와 같은 구성을 갖고 있다. 즉, 필터링 회로(211)는, 2입력 1출력 시에 사용하는 필터링 회로(72)를 캐스케이드 접속함으로써, 3입력 1출력의 회로로서 동작하도록 이루어져 있다.
또한, 이때, 추출 회로(71)는, 3매의 참조 프레임(Ref0, Ref1, Ref2) 각각으로부터, 움직임 보상 화상을 추출한다. 즉, 추출 회로(71)는, 예를 들어 참조 프레임(Ref0)으로부터 움직임 보상 화상(MC0)을 추출한다. 또한, 예를 들어 추출 회로(71)는, 참조 프레임(Ref1)으로부터 움직임 보상 화상(MC1)을 추출한다. 또한, 예를 들어 추출 회로(71)는, 참조 프레임(Ref2)으로부터 움직임 보상 화상(MC2)을 추출한다.
움직임 보상 화상(MC1, MC2)은 필터링 회로(221)에 입력되고, 움직임 보상 화상(MC0)은 필터링 회로(222)에 입력된다.
필터링 회로(221)는, 움직임 보상 화상(MC1, MC2)을 각각 도 6 등에 있어서의 움직임 보상 화상(MC0, MC1)으로 하여 필터링을 행하고, 필터링의 결과인 중간 출력 X를 필터링 회로(222)에 출력한다.
필터링 회로(221)는, 중간 출력 X와 움직임 보상 화상(MC0)을 각각, 도 6 등에 있어서의 움직임 보상 화상(MC0, MC1)으로 하여 필터링을 행하고, 필터링의 결과를 예측 화상으로서 출력한다.
이러한 3매의 참조 프레임을 취급하는 필터링 회로(211)가, 필터링 회로(72) 대신에 도 3의 복호 장치(1)나 도 10의 부호화 장치(101)에 설치되도록 하는 것도 가능하다.
또한, 필터링 회로(221)와 필터링 회로(222)가 동일한 구성을 갖고 있을 필요는 없고, 각각의 구성이 상이하도록 해도 좋다. 또한, 필터링 전후에 있어서의 입출력 특성을 고려하여, 필터에 사용하는 파라미터(예를 들어 α, β)가 상이하도록 하는 것도 가능하다.
시간적으로 한쪽에 있는 참조 프레임으로부터 추출된 움직임 보상 화상이 아니고, 전후에 있는 3매의 참조 프레임으로부터 추출된 움직임 보상 화상을 대상으로 하여, 필터링 회로(211)에 있어서 필터링이 실시되도록 해도 좋다.
또한, 커런트 프레임의 시각을 기준으로 하여 전후에 있는 프레임을 참조 프레임으로서 사용하는 경우, 필터링 시의 탭 계수 등의 파라미터를, 참조 프레임의 시간 방향이나 거리에 따라 동적으로 변경하도록 해도 좋다.
부호화 장치(101)로부터 복호 장치(1)에 대한 압축 화상 정보의 전송은, 광 디스크, 자기 디스크, 플래시 메모리 등의 기록 미디어, 위성 방송, 케이블 ＴＶ, 인터넷, 휴대 전화기 네트워크 등의 각종 매체를 통하여 행해진다.
또한, 이상에 있어서는, 인핸스먼트 레이어의 부호화·복호의 경우, 움직임 보상 화상은, 베이스 레이어의 참조 프레임으로부터 추출되도록 설명했지만, 움직임 보상 화상은, 베이스 레이어 이외의 임의의 레이어로부터 추출되도록 해도 좋다.
예를 들어, 압축 화상 정보가 제1 레이어 내지 제3 레이어로 이루어지는 3층 구조를 형성하고, 제1 레이어가 베이스 레이어에서 가장 저해상도의 레이어이며, 제2 레이어가 그 다음으로 저해상도의 레이어이며, 제3 레이어가 가장 고해상도의 레이어이다. 이러한 경우에 있어서, 제3 레이어의 필터링 예측에서, 움직임 보상 화상이, 베이스 레이어가 아닌 제2 레이어의 참조 프레임으로부터 추출되도록 해도 좋다. 물론, 베이스 레이어인 제1 레이어의 참조 프레임으로부터 움직임 보상 화상이 추출되도록 해도 좋다.
<4. 제4 실시 형태>
[복호 처리의 개요]
또한, 생성하는 예측 화상과 동일한 레이어의 참조 프레임으로부터 움직임 보상 화상이 추출되도록 해도 좋다. 예를 들어, 상술한 3층 구조의 경우, 제3 레이어의 필터링 예측에 있어서 제3 레이어의 참조 프레임으로부터 저해상도의 움직임 보상 화상을 추출하도록 해도 좋다.
도 18은, 이 경우의, 복호 처리의 개요를 설명하는 도면이다.
도 18에 도시된 예의 경우, 참조 프레임(Ref0) 및 참조 프레임(Ref1)은, 예측 화상과 동일한 인핸스먼트 레이어의 프레임이다. 단, 각 참조 프레임으로부터 추출되는 움직임 보상 화상의 해상도는, 예측 화상보다 저해상도이다.
예를 들어, 종래의 H.264 규격에 따르는 방법과 마찬가지로, 인핸스먼트 레이어의 각 참조 프레임에서, 처리 대상 매크로 블록에 대응하는 위치(범위)가 움직임 벡터에 의해 특정되고, 그 범위 내의 화소값이 소정수 씨닝되어 움직임 보상 화상으로서 추출된다. 또한, 예를 들어 종래의 H.264 규격에 따르는 방법과 마찬가지로, 인핸스먼트 레이어의 각 참조 프레임에서, 처리 대상 매크로 블록에 대응하는 위치가 움직임 벡터에 의해 특정되며, 그 위치를 중심으로 하는, 처리 대상 매크로 블록의 크기보다 작은 범위가 움직임 보상 화상으로서 추출된다. 물론, 이외의 방법이어도 좋다.
즉, 추출되는 움직임 보상 화상이, 예측 화상보다 저해상도이면 되고, 그 추출 방법은 임의이며, 또한, 움직임 보상 화상은, 어느 레이어로부터 추출되어도 좋다.
이렇게 추출된 저해상도의 움직임 보상 화상에는, 상술한 다른 경우와 마찬가지로 업 컨버트를 포함하는 필터링 처리가 실시되어, 원하는 해상도의 예측 화상이 생성된다.
움직임 보상 화상을 생성하는 레이어가 상이할 뿐이므로, 이 경우의 부호화 장치(1)의 구성은, 도 3 내지 도 6을 참조하여 설명한 경우의 구성과 기본적으로 마찬가지이다. 단, 프레임 메모리(19)에는, 인핸스먼트 레이어의 프레임이 유지되고, 추출 회로(71)는, 프레임 메모리(19)로부터, 인핸스먼트 레이어의 화상을 판독한다.
[복호 처리의 흐름의 설명]
따라서, 복호 처리나 가역 복호 처리의 흐름도, 도 7이나 도 8의 흐름도를 참조하여 설명한 경우와 기본적으로 마찬가지로 실행된다. 이 경우의 필터링 예측 회로(64)에 의한 필터링 예측 처리의 흐름을 도 19의 흐름도를 참조하여 설명한다. 이 흐름도는, 도 9의 흐름도에 대응한다.
필터링 예측 처리가 개시되면, 추출 회로(71)는, 스텝 S341에서, 인핸스먼트 레이어의 참조 프레임으로부터 움직임 보상 화상을 저해상도로 추출한다. 스텝 S342 내지 스텝 S350의 각 처리는, 도 9의 스텝 S42 내지 스텝 S50의 각 처리와 마찬가지로 실행되어, 도 9의 경우와 마찬가지로 예측 화상이 생성된다.
스텝 S350의 처리가 종료되면, 필터링 예측 처리는 종료되고, 처리는 도 8의 스텝 S28로 되돌아가, 스텝 S29로 진행한다.
이와 같이, 인핸스먼트 레이어의 프레임으로부터 움직임 보상 화상을 추출하는 경우도, 복호 장치(1)는, 동화상 신호열에 포함되는 시간 상관을 더 효율적으로 이용함으로써, 고해상도의 정밀도가 높은 예측 화상을 생성할 수 있어, 부호화 효율을 향상시킬 수 있다. 또한, 움직임 보상 화상을 예측 화상보다 저해상도로 할 수 있으므로, 복호 장치(1)는, 예를 들어 프레임 메모리로부터 판독하는 화상 정보량을 저감시킬 수 있어, 부호화나 복호 등의 처리의 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
[부호화 처리의 흐름의 설명]
또한, 이 경우의 복호 장치(1)에 대응하는 부호화 장치(101)의 구성은, 도 10 내지 도 12를 참조하여 설명한 경우와 기본적으로 마찬가지이다. 단, 프레임 메모리(122)에는, 인핸스먼트 레이어의 프레임이 유지되고, 모드 결정 처리(123)는, 프레임 메모리(19)로부터, 인핸스먼트 레이어의 화상을 판독한다.
이 경우도, 모드 결정 처리(123)의 필터링 예측 회로(145) 및 움직임 예측·보상 회로(125)의 필터링 예측 회로(155)의 구성은, 도 11 및 도 12의 경우와 마찬가지로, 도 6에 도시된 필터링 예측 회로(64)의 구성과 마찬가지이다. 단, 추출 회로(71)는, 복호 장치(1)의 경우와 마찬가지로, 인핸스먼트 레이어의 프레임으로부터 움직임 보상 화상을 추출한다.
따라서, 부호화 처리나 모드 결정 처리의 흐름은, 도 13이나 도 14의 흐름도를 참조하여 설명한 경우와 기본적으로 마찬가지로 실행된다. 이 경우의 필터링 예측 회로(155)에 의한 필터링 예측 처리의 흐름을 도 20의 흐름도를 참조하여 설명한다. 이 흐름도는, 도 15의 흐름도에 대응한다.
필터링 예측 처리가 개시되면, 움직임 벡터 검출 회로(151)는, 스텝 S451에서, 도 15의 스텝 S151의 경우와 마찬가지로, 움직임 벡터를 검출한다. 스텝 S452에서, 추출 회로(71)는, 인핸스먼트 레이어의 참조 프레임으로부터 움직임 보상 화상을 저해상도로 추출한다. 스텝 S453 내지 스텝 S461의 각 처리는, 도 15의 스텝 S153 내지 스텝 S161의 각 처리와 마찬가지로 실행되어, 도 15의 경우와 마찬가지로 예측 화상이 생성된다.
스텝 S461의 처리가 종료되면, 필터링 예측 처리는 종료되고, 처리는 도 13의 스텝 S109로 되돌아가, 스텝 S110으로 진행한다.
이와 같이, 인핸스먼트 레이어의 프레임으로부터 움직임 보상 화상을 추출하는 경우도, 부호화 장치(101)는, 동화상 신호열에 포함되는 시간 상관을 더 효율적으로 이용함으로써, 고해상도의 정밀도가 높은 예측 화상을 생성할 수 있어, 부호화 효율을 향상시킬 수 있다. 또한, 움직임 보상 화상을 예측 화상보다 저해상도로 할 수 있으므로, 부호화 장치(101)는, 예를 들어 프레임 메모리로부터 판독하는 화상 정보량을 저감시킬 수 있어, 부호화나 복호 등의 처리의 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
즉, 이 방법은, 공간 스케일러빌리티가 고려되어 있지 않은 단층 구조로 화상 정보를 부호화·복호하는 경우에도 적용할 수 있다. 즉, H.264/AVC 규격의 부호화·복호에도 적용할 수 있다.
또한, 상술한 바와 같이 움직임 보상 화상 추출 시에 해상도를 저해상도로 조정하면 되므로, 움직임 보상 화상의 추출을, 복수의 레이어에 있어서 행하도록 해도 좋다. 단, 필터링 예측 처리에 있어서는, 움직임 보상 화상의 차분이 구해지므로, 그때까지, 각 움직임 보상 화상의 해상도를 서로 일치시킬 필요가 있다.
상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들어 도 21에 도시한 바와 같은 퍼스널 컴퓨터로서 구성되도록 해도 좋다.
도 21에 있어서, 퍼스널 컴퓨터(500)의 CPU(Central Processing Unit)(501)는, ROM(Read Only Memory)(502)에 기억되어 있는 프로그램 또는 기억부(513)로부터 RAM(Random Access Memory)(503)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(503)에는 또한, CPU(501)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적절히 기억된다.
CPU(501), ROM(502) 및 RAM(503)은, 버스(504)를 통하여 서로 접속되어 있다. 이 버스(504)에는 또한, 입출력 인터페이스(510)도 접속되어 있다.
입출력 인터페이스(510)에는, 키보드, 마우스 등으로 이루어지는 입력부(511), CRT(Cathode Ray Tube)나 LCD(Liquid Crystal Display) 등으로 이루어지는 디스플레이, 및 스피커 등으로 이루어지는 출력부(512), 하드 디스크 등으로 구성되는 기억부(513), 모뎀 등으로 구성되는 통신부(514)가 접속되어 있다. 통신부(514)는, 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.
입출력 인터페이스(510)에는 또한, 필요에 따라 드라이브(515)가 접속되고, 자기 디스크, 광 디스크, 광 자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(521)가 적절히 장착되고, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라 기억부(513)에 인스톨된다.
상술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 네트워크나 기록 매체로부터 인스톨된다.
이 기록 매체는, 예를 들어 도 21에 도시된 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 배신하기 위하여 배포되는, 프로그램이 기록되어 있는 자기 디스크(플렉시블 디스크를 포함한다), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함한다), 광 자기 디스크(MD(Mini Disc)를 포함한다), 혹은 반도체 메모리 등으로 이루어지는 리무버블 미디어(521)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 내장된 상태에서 유저에게 배신되는, 프로그램이 기록되어 있는 ROM(502)이나, 기억부(513)에 포함되는 하드 디스크 등으로 구성된다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 좋고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 좋다.
또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서를 따라 시계열로 행해지는 처리는 물론, 반드시 시계열로 처리되지 않아도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 디바이스(장치)에 의해 구성되는 장치 전체를 나타내는 것이다.
또한, 이상에 있어서, 1개의 장치(또는 처리부)로서 설명한 구성을 분할하여, 복수의 장치(또는 처리부)로서 구성하도록 해도 좋다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 1개의 장치(또는 처리부)로서 구성되도록 해도 좋다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 이외의 구성을 부가하도록 해도 물론 좋다. 또한, 시스템 전체적인 구성이나 동작이 실질적으로 동일하면, 어느 한 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함하도록 해도 좋다. 즉, 본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
예를 들어, 상술한 복호 장치(1)나 부호화 장치(101)는, 임의의 전자 기기에 적용할 수 있다. 이하에 그 예에 대하여 설명한다.
도 22는, 본 발명을 적용한 복호 장치(1)를 사용하는 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.
도 22에 도시된 텔레비전 수상기(1000)는, 지상파 튜너(1013), 비디오 디코더(1015), 영상 신호 처리 회로(1018), 그래픽 생성 회로(1019), 패널 구동 회로(1020) 및 표시 패널(1021)을 갖는다.
지상파 튜너(1013)는, 지상 아날로그 방송의 방송파 신호를, 안테나를 통하여 수신하고, 복조하고, 영상 신호를 취득하고, 그것을 비디오 디코더(1015)에 공급한다. 비디오 디코더(1015)는, 지상파 튜너(1013)로부터 공급된 영상 신호에 대하여 디코드 처리를 실시하고, 얻어진 디지털의 컴포넌트 신호를 영상 신호 처리 회로(1018)에 공급한다.
영상 신호 처리 회로(1018)는, 비디오 디코더(1015)로부터 공급된 영상 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 영상 데이터를 그래픽 생성 회로(1019)에 공급한다.
그래픽 생성 회로(1019)는, 표시 패널(1021)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 통하여 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성하고, 생성한 영상 데이터나 화상 데이터를 패널 구동 회로(1020)에 공급한다. 또한, 그래픽 생성 회로(1019)는, 항목의 선택 등에 유저에 의해 이용되는 화면을 표시하기 위한 영상 데이터(그래픽)를 생성하고, 그것을 프로그램의 영상 데이터에 중첩하거나 함으로써 얻어진 영상 데이터를 패널 구동 회로(1020)에 공급한다는 처리도 적절히 행한다.
패널 구동 회로(1020)는, 그래픽 생성 회로(1019)로부터 공급된 데이터에 기초하여 표시 패널(1021)을 구동하여, 프로그램의 영상이나 상술한 각종 화면을 표시 패널(1021)에 표시시킨다.
표시 패널(1021)은 LCD(Liquid Crystal Display) 등으로 이루어지고, 패널 구동 회로(1020)에 의한 제어에 따라서 프로그램의 영상 등을 표시시킨다.
또한, 텔레비전 수상기(1000)는, 음성 A/D(Analog/Digital) 변환 회로(1014), 음성 신호 처리 회로(1022), 에코 캔슬/음성 합성 회로(1023), 음성 증폭 회로(1024) 및 스피커(1025)도 갖는다.
지상파 튜너(1013)는, 수신한 방송파 신호를 복조함으로써, 영상 신호뿐만 아니라 음성 신호도 취득한다. 지상파 튜너(1013)는, 취득한 음성 신호를 음성 A/D 변환 회로(1014)에 공급한다.
음성 A/D 변환 회로(1014)는, 지상파 튜너(1013)로부터 공급된 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 신호를 음성 신호 처리 회로(1022)에 공급한다.
음성 신호 처리 회로(1022)는, 음성 A/D 변환 회로(1014)로부터 공급된 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 음성 데이터를 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는, 음성 신호 처리 회로(1022)로부터 공급된 음성 데이터를 음성 증폭 회로(1024)에 공급한다.
음성 증폭 회로(1024)는, 에코 캔슬/음성 합성 회로(1023)로부터 공급된 음성 데이터에 대하여 D/A 변환 처리, 증폭 처리를 실시하여, 소정의 음량으로 조정한 후, 음성을 스피커(1025)로부터 출력시킨다.
또한, 텔레비전 수상기(1000)는, 디지털 튜너(1016) 및 MPEG 디코더(1017)도 갖는다.
디지털 튜너(1016)는, 디지털 방송(지상 디지털 방송, BS(Broadcasting Satellite)/CS(Communications Satellite) 디지털 방송)의 방송파 신호를, 안테나를 통하여 수신하고, 복조하고, MPEG-TS(Moving Picture Experts Group-Transport Stream)을 취득하고, 그것을 MPEG 디코더(1017)에 공급한다.
MPEG 디코더(1017)는, 디지털 튜너(1016)로부터 공급된 MPEG-TS에 실시되어 있는 스크램블을 해제하고, 재생 대상(시청 대상)으로 되어 있는 프로그램의 데이터를 포함하는 스트림을 추출한다. MPEG 디코더(1017)는, 추출한 스트림을 구성하는 음성 패킷을 디코드하고, 얻어진 음성 데이터를 음성 신호 처리 회로(1022)에 공급함과 함께, 스트림을 구성하는 영상 패킷을 디코드하고, 얻어진 영상 데이터를 영상 신호 처리 회로(1018)에 공급한다. 또한, MPEG 디코더(1017)는, MPEG-TS로부터 추출한 EPG(Electronic Program Guide) 데이터를 도시하지 않은 경로를 통하여 CPU(1032)에 공급한다.
텔레비전 수상기(1000)는, 이렇게 영상 패킷을 디코드하는 MPEG 디코더(1017)로서, 상술한 복호 장치(1)를 사용한다. 또한, 방송국 등으로부터 송신되는 MPEG-TS는, 부호화 장치(101)에 의해 부호화되어 있다.
MPEG 디코더(1017)는, 복호 장치(1)의 경우와 마찬가지로, 베이스 레이어에 있어서의 복수의 참조면의 화상에 대하여 필터링을 행함으로써, 인핸스먼트 레이어에 있어서의 커런트 블록의 예측 화상을 생성한다. 따라서, MPEG 디코더(1017)는, 공간적인 업 샘플링 필터에 비하여, 화상열 중의 신호 성분을 더 유효하게 이용하는 것이 가능하게 된다. 이 결과, 예측 화상은, 베이스 레이어의 커런트 프레임의 화상을 이용하는 종래의 업 컨버트 예측에 의해 생성된 예측 화상보다 공간적으로 높은 주파수 성분을 가지면서 예측 잔차를 저감시킬 수 있다. 즉, 인핸스먼트 레이어에 있어서의 부호화 픽처의 부호량을 저감시킬 수 있어, 부호화 효율의 개선에 공헌하는 것이 가능하게 된다.
또한, 이 필터링 예측에서는, 시간적으로 상이한 프레임에서의 인핸스먼트 레이어의 복호 화상을 참조하지 않기 때문에, 부호화에 필요한 처리량, 일시 기억 용량, 메모리로부터의 판독 정보량 등을 저감시킬 수 있어, 실장에 드는 비용을 저감시킬 수 있다. 또한, 소비 전력도 저감시킬 수 있다.
MPEG 디코더(1017)로부터 공급된 영상 데이터는, 비디오 디코더(1015)로부터 공급된 영상 데이터의 경우와 마찬가지로, 영상 신호 처리 회로(1018)에 있어서 소정의 처리가 실시되고, 그래픽 생성 회로(1019)에 있어서, 생성된 영상 데이터 등이 적절히 중첩되고, 패널 구동 회로(1020)를 통하여 표시 패널(1021)에 공급되어, 그 화상이 표시된다.
MPEG 디코더(1017)로부터 공급된 음성 데이터는, 음성 A/D 변환 회로(1014)로부터 공급된 음성 데이터의 경우와 마찬가지로, 음성 신호 처리 회로(1022)에 있어서 소정의 처리가 실시되고, 에코 캔슬/음성 합성 회로(1023)를 통하여 음성 증폭 회로(1024)에 공급되어, D/A 변환 처리나 증폭 처리가 실시된다. 그 결과, 소정의 음량으로 조정된 음성이 스피커(1025)로부터 출력된다.
또한, 텔레비전 수상기(1000)는, 마이크로폰(1026) 및 A/D 변환 회로(1027)도 갖는다.
A/D 변환 회로(1027)는, 음성 회화용의 것으로서 텔레비전 수상기(1000)에 설치되는 마이크로폰(1026)에 의해 도입된 유저의 음성의 신호를 수신하고, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는, 텔레비전 수상기(1000)의 유저(유저 A)의 음성의 데이터가 A/D 변환 회로(1027)로부터 공급되어 있는 경우, 유저 A의 음성 데이터를 대상으로 하여 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 하여 얻어진 음성의 데이터를, 음성 증폭 회로(1024)를 통하여 스피커(1025)로부터 출력시킨다.
또한, 텔레비전 수상기(1000)는, 음성 코덱(1028), 내부 버스(1029), SDRAM(Synchronous Dynamic Random Access Memory)(1030), 플래시 메모리(1031), CPU(1032), USB(Universal Serial Bus) I/F(1033) 및 네트워크 I/F(1034)도 갖는다.
A/D 변환 회로(1027)는, 음성 회화용의 것으로서 텔레비전 수상기(1000)에 설치되는 마이크로폰(1026)에 의해 도입된 유저의 음성의 신호를 수신하고, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 음성 코덱(1028)에 공급한다.
음성 코덱(1028)은, A/D 변환 회로(1027)로부터 공급된 음성 데이터를, 네트워크 경유로 송신하기 위한 소정의 포맷의 데이터로 변환하여, 내부 버스(1029)를 통하여 네트워크 I/F(1034)에 공급한다.
네트워크 I/F(1034)는, 네트워크 단자(1035)에 장착된 케이블을 통하여 네트워크에 접속된다. 네트워크 I/F(1034)는, 예를 들어 그 네트워크에 접속되는 다른 장치에 대하여, 음성 코덱(1028)으로부터 공급된 음성 데이터를 송신한다. 또한, 네트워크 I/F(1034)는, 예를 들어 네트워크를 통하여 접속되는 다른 장치로부터 송신되는 음성 데이터를, 네트워크 단자(1035)를 통하여 수신하고, 그것을 내부 버스(1029)를 통하여 음성 코덱(1028)에 공급한다.
음성 코덱(1028)은, 네트워크 I/F(1034)로부터 공급된 음성 데이터를 소정의 포맷의 데이터로 변환하고, 그것을 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는, 음성 코덱(1028)으로부터 공급되는 음성 데이터를 대상으로 하여 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 하여 얻어진 음성의 데이터를, 음성 증폭 회로(1024)를 통하여 스피커(1025)로부터 출력시킨다.
SDRAM(1030)은, CPU(1032)가 처리를 행하는 데 있어서 필요한 각종 데이터를 기억한다.
플래시 메모리(1031)는, CPU(1032)에 의해 실행되는 프로그램을 기억한다. 플래시 메모리(1031)에 기억되어 있는 프로그램은, 텔레비전 수상기(1000)의 기동시 등의 소정의 타이밍에 CPU(1032)에 의해 판독된다. 플래시 메모리(1031)에는, 디지털 방송을 통하여 취득된 EPG 데이터, 네트워크를 통하여 소정의 서버로부터 취득된 데이터 등도 기억된다.
예를 들어, 플래시 메모리(1031)에는, CPU(1032)의 제어에 의해 네트워크를 통하여 소정의 서버로부터 취득된 콘텐츠 데이터를 포함하는 MPEG-TS가 기억된다. 플래시 메모리(1031)는, 예를 들어 CPU(1032)의 제어에 의해, 그 MPEG-TS를, 내부 버스(1029)를 통하여 MPEG 디코더(1017)에 공급한다.
MPEG 디코더(1017)는, 디지털 튜너(1016)로부터 공급된 MPEG-TS의 경우와 마찬가지로, 그 MPEG-TS를 처리한다. 이렇게 텔레비전 수상기(1000)는, 영상이나 음성 등으로 이루어지는 콘텐츠 데이터를, 네트워크를 통하여 수신하고, MPEG 디코더(1017)를 사용하여 디코드하여, 그 영상을 표시시키거나, 음성을 출력시키거나 할 수 있다.
또한, 텔레비전 수상기(1000)는, 리모트 컨트롤러(1051)로부터 송신되는 적외선 신호를 수광하는 수광부(1037)도 갖는다.
수광부(1037)는, 리모트 컨트롤러(1051)로부터의 적외선을 수광하여, 복조하여 얻어진 유저 조작의 내용을 나타내는 제어 코드를 CPU(1032)에 출력한다.
CPU(1032)는, 플래시 메모리(1031)에 기억되어 있는 프로그램을 실행하고, 수광부(1037)로부터 공급되는 제어 코드 등에 따라 텔레비전 수상기(1000)의 전체 동작을 제어한다. CPU(1032)와 텔레비전 수상기(1000)의 각 부는, 도시하지 않은 경로를 통하여 접속되어 있다.
USB I/F(1033)는, USB 단자(1036)에 장착된 USB 케이블을 통하여 접속되는, 텔레비전 수상기(1000)의 외부의 기기 사이에서 데이터의 송수신을 행한다. 네트워크 I/F(1034)는, 네트워크 단자(1035)에 장착된 케이블을 통하여 네트워크에 접속하고, 네트워크에 접속되는 각종 장치와 음성 데이터 이외의 데이터의 송수신도 행한다.
텔레비전 수상기(1000)는, MPEG 디코더(1017)로서 복호 장치(1)를 사용함으로써, 스트림을 구성하는 영상 패킷에 대한 디코드에 있어서, 부하를 증대시키지 않고, 고정밀의 복호 화상을 얻는 것이 가능하게 된다. 즉, 텔레비전 수상기(1000)는, 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
도 23은, 본 발명을 적용한 복호 장치(1) 및 부호화 장치(101)를 사용하는 휴대 전화기의 주된 구성예를 도시하는 블록도이다.
도 23에 도시된 휴대 전화기(1100)는, 각 부를 통괄적으로 제어하도록 이루어진 주제어부(1150), 전원 회로부(1151), 조작 입력 제어부(1152), 화상 인코더(1153), 카메라 I/F부(1154), LCD 제어부(1155), 화상 디코더(1156), 다중 분리부(1157), 기록 재생부(1162), 변복조 회로부(1158) 및 음성 코덱(1159)을 갖는다. 이들은, 버스(1160)를 통하여 서로 접속되어 있다.
또한, 휴대 전화기(1100)는, 조작 키(1119), CCD(Charge Coupled Devices) 카메라(1116), 액정 디스플레이(1118), 기억부(1123), 송수신 회로부(1163), 안테나(1114), 마이크로폰(마이크)(1121) 및 스피커(1117)를 갖는다.
전원 회로부(1151)는, 유저의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대 전화기(1100)를 동작 가능한 상태로 기동한다.
휴대 전화기(1100)는, CPU, ROM 및 RAM 등으로 이루어지는 주제어부(1150)의 제어에 기초하여, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영 또는 데이터 기록 등의 각종 동작을 행한다.
예를 들어, 음성 통화 모드에 있어서, 휴대 전화기(1100)는, 마이크로폰(마이크)(1121)으로 집음한 음성 신호를, 음성 코덱(1159)에 의해 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(1158)로 스펙트럼 확산 처리하고, 송수신 회로부(1163)로 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 통하여 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(음성 신호)는, 공중 전화 회선망을 통하여 통화 상대의 휴대 전화기에 공급된다.
또한, 예를 들어 음성 통화 모드에 있어서, 휴대 전화기(1100)는, 안테나(1114)로 수신한 수신 신호를 송수신 회로부(1163)로 증폭하고, 재차 주파수 변환 처리 및 아날로그/디지털 변환 처리하고, 변복조 회로부(1158)로 스펙트럼 역확산 처리하고, 음성 코덱(1159)에 의해 아날로그 음성 신호로 변환한다. 휴대 전화기(1100)는, 그 변환하여 얻어진 아날로그 음성 신호를 스피커(1117)로부터 출력한다.
또한, 예를 들어 데이터 통신 모드에 있어서 전자 메일을 송신하는 경우, 휴대 전화기(1100)는, 조작 키(1119)의 조작에 의해 입력된 전자 메일의 텍스트 데이터를, 조작 입력 제어부(1152)에 있어서 접수한다. 휴대 전화기(1100)는, 그 텍스트 데이터를 주제어부(1150)에 있어서 처리하고, LCD 제어부(1155)를 통하여, 화상으로서 액정 디스플레이(1118)에 표시시킨다.
또한, 휴대 전화기(1100)는, 주제어부(1150)에 있어서, 조작 입력 제어부(1152)가 접수한 텍스트 데이터나 유저 지시 등에 기초하여 전자 메일 데이터를 생성한다. 휴대 전화기(1100)는, 그 전자 메일 데이터를, 변복조 회로부(1158)로 스펙트럼 확산 처리하고, 송수신 회로부(1163)로 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 통하여 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(전자 메일)는, 네트워크 및 메일 서버 등을 통하여, 소정의 수신처에 공급된다.
또한, 예를 들어 데이터 통신 모드에 있어서 전자 메일을 수신하는 경우, 휴대 전화기(1100)는, 기지국으로부터 송신된 신호를, 안테나(1114)를 통하여 송수신 회로부(1163)로 수신하고, 증폭하여, 재차 주파수 변환 처리 및 아날로그/디지털 변환 처리한다. 휴대 전화기(1100)는, 그 수신 신호를 변복조 회로부(1158)로 스펙트럼 역확산 처리하여 원래의 전자 메일 데이터를 복원한다. 휴대 전화기(1100)는, 복원된 전자 메일 데이터를, LCD 제어부(1155)를 통하여 액정 디스플레이(1118)에 표시한다.
또한, 휴대 전화기(1100)는, 수신한 전자 메일 데이터를, 기록 재생부(1162)를 통하여, 기억부(1123)에 기록하는(기억시키는) 것도 가능하다.
이 기억부(1123)는, 재기입 가능한 임의의 기억 매체이다. 기억부(1123)는, 예를 들어 RAM이나 내장형 플래시 메모리 등의 반도체 메모리이어도 좋고, 하드 디스크이어도 좋고, 자기 디스크, 광 자기 디스크, 광 디스크, USB 메모리 또는 메모리 카드 등의 리무버블 미디어이어도 좋다. 물론, 이들 이외의 것이어도 좋다.
또한, 예를 들어 데이터 통신 모드에 있어서 화상 데이터를 송신하는 경우, 휴대 전화기(1100)는, 촬상에 의해 CCD 카메라(1116)로 화상 데이터를 생성한다. CCD 카메라(1116)는, 렌즈나 조리개 등의 광학 디바이스와 광전 변환 소자로서의 CCD를 갖고, 피사체를 촬상하고, 수광한 광의 강도를 전기 신호로 변환하여, 피사체의 화상의 화상 데이터를 생성한다. CCD 카메라(1116)는, 그 화상 데이터를, 카메라 I/F부(1154)를 통하여, 화상 인코더(1153)로 부호화하고, 부호화 화상 데이터로 변환한다.
휴대 전화기(1100)는, 이러한 처리를 행하는 화상 인코더(1153)로서, 상술한 부호화 장치(101)를 사용한다. 화상 인코더(1153)는, 부호화 장치(101)의 경우와 마찬가지로, 예측 화상의 생성에 필터링 예측을 사용한다. 이와 같이 함으로써, 한쪽 방향 예측, 쌍방향 예측 또는 업 컨버트 예측에 의해 생성된 예측 화상에 비하여 고주파 성분을 많이 포함하여, 원화상과의 차가 적은 예측 화상이 얻어진다. 따라서, 잔차에 할당하는 부호량이 적어도 되므로, 부호화 효율을 올리는 것이 가능하게 된다. 인핸스먼트 레이어의 프레임을 참조하는 한쪽 방향 예측이나 쌍방향 예측의 경우에 비하여, 참조 프레임의 해상도가 작으므로, 예를 들어 참조 프레임의 프레임 메모리(122)에 대한 보존이나 프레임 메모리(122)로부터의 판독 등, 처리의 부하가 작다. 또한, 참조 프레임의 수가 적어도 2매 있으면 필터링 예측을 행할 수 있기 때문에, 그와 같이 부호화 효율을 올린다는 것을, 처리를 복잡하게 하지 않고 실현하는 것이 가능하게 된다.
또한, 휴대 전화기(1100)는, 이때 동시에, CCD 카메라(1116)로 촬상 중에 마이크로폰(마이크)(1121)으로 집음한 음성을, 음성 코덱(1159)에 있어서 아날로그/디지털 변환하여, 재차 부호화한다.
휴대 전화기(1100)는, 다중 분리부(1157)에 있어서, 화상 인코더(1153)로부터 공급된 부호화 화상 데이터와, 음성 코덱(1159)으로부터 공급된 디지털 음성 데이터를, 소정의 방식으로 다중화한다. 휴대 전화기(1100)는, 그 결과 얻어지는 다중화 데이터를, 변복조 회로부(1158)로 스펙트럼 확산 처리하고, 송수신 회로부(1163)로 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 통하여 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(화상 데이터)는, 네트워크 등을 통하여, 통신 상대로 공급된다.
또한, 화상 데이터를 송신하지 않는 경우, 휴대 전화기(1100)는, CCD 카메라(1116)로 생성한 화상 데이터를, 화상 인코더(1153)를 통하지 않고, LCD 제어부(1155)를 통하여 액정 디스플레이(1118)에 표시시킬 수도 있다.
또한, 예를 들어 데이터 통신 모드에 있어서, 간이 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 휴대 전화기(1100)는, 기지국으로부터 송신된 신호를, 안테나(1114)를 통하여 송수신 회로부(1163)로 수신하고, 증폭하여, 재차 주파수 변환 처리 및 아날로그/디지털 변환 처리한다. 휴대 전화기(1100)는, 그 수신 신호를 변복조 회로부(1158)로 스펙트럼 역확산 처리하여 원래의 다중화 데이터를 복원한다. 휴대 전화기(1100)는, 다중 분리부(1157)에 있어서, 그 다중화 데이터를 분리하여, 부호화 화상 데이터와 음성 데이터로 나눈다.
휴대 전화기(1100)는, 화상 디코더(1156)에 있어서 부호화 화상 데이터를 디코드함으로써, 재생 동화상 데이터를 생성하고, 이것을 LCD 제어부(1155)를 통하여 액정 디스플레이(1118)에 표시시킨다. 이에 의해, 예를 들어 간이 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 액정 디스플레이(1118)에 표시된다.
휴대 전화기(1100)는, 이러한 처리를 행하는 화상 디코더(1156)로서, 상술한 복호 장치(1)를 사용한다. 즉, 화상 디코더(1156)는, 복호 장치(1)의 경우와 마찬가지로, 베이스 레이어에 있어서의 복수의 참조면의 화상에 대하여 필터링을 행함으로써, 인핸스먼트 레이어에 있어서의 커런트 블록의 예측 화상을 생성한다. 따라서, 화상 디코더(1156)는, 공간적인 업 샘플링 필터에 비하여, 화상열 중의 신호 성분을 더 유효하게 이용하는 것이 가능하게 된다. 이 결과, 예측 화상은, 베이스 레이어의 커런트 프레임의 화상을 이용하는 종래의 업 컨버트 예측에 의해 생성된 예측 화상보다 공간적으로 높은 주파수 성분을 가지면서 예측 잔차를 저감시킬 수 있다. 즉, 인핸스먼트 레이어에 있어서의 부호화 픽처의 부호량을 저감시킬 수 있어, 부호화 효율의 개선에 공헌하는 것이 가능하게 된다.
또한, 이 필터링 예측에서는, 시간적으로 상이한 프레임에서의 인핸스먼트 레이어의 복호 화상을 참조하지 않기 때문에, 부호화에 필요한 처리량, 일시 기억 용량, 메모리로부터의 판독 정보량 등을 저감시킬 수 있어, 실장에 드는 비용을 저감시킬 수 있다. 또한, 소비 전력도 저감시킬 수 있다.
이때, 휴대 전화기(1100)는, 동시에, 음성 코덱(1159)에 있어서, 디지털의 음성 데이터를 아날로그 음성 신호로 변환하고, 이것을 스피커(1117)로부터 출력시킨다. 이에 의해, 예를 들어 간이 홈 페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.
또한, 전자 메일의 경우와 마찬가지로, 휴대 전화기(1100)는, 수신한 간이 홈 페이지 등에 링크된 데이터를, 기록 재생부(1162)를 통하여, 기억부(1123)에 기록하는(기억시키는) 것도 가능하다.
또한, 휴대 전화기(1100)는, 주제어부(1150)에 있어서, 촬상되어 CCD 카메라(1116)로 얻어진 2차원 코드를 해석하고, 2차원 코드에 기록된 정보를 취득할 수 있다.
또한, 휴대 전화기(1100)는, 적외선 통신부(1181)로 적외선에 의해 외부의 기기와 통신할 수 있다.
휴대 전화기(1100)는, 화상 인코더(1153)로서 부호화 장치(101)를 사용함으로써, 예를 들어 CCD 카메라(1116)에 있어서 생성된 화상 데이터를 부호화하여 전송할 때의, 공간 스케일러빌리티를 고려한 부호화를 행하는 데 있어서, 동화상 신호열에 포함되는 시간 상관을 더 효율적으로 이용함으로써, 예를 들어 부호화나 복호 등의 처리의 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 휴대 전화기(1100)는, 화상 디코더(1156)로서 복호 장치(1)를 사용함으로써, 예를 들어 간이 홈 페이지 등에 링크된 동화상 파일의 데이터(부호화 데이터)를 수신할 때의 복호에 있어서, 처리의 부하를 증대시키지 않고, 고정밀의 복호 화상을 얻는 것이 가능하게 된다. 즉, 휴대 전화기(1100)는, 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 이상에 있어서, 휴대 전화기(1100)가, CCD 카메라(1116)를 사용하도록 설명했지만, 이 CCD 카메라(1116) 대신에 CMOS(Complementary Metal Oxide Semiconductor)를 사용한 이미지 센서(CMOS 이미지 센서)를 사용하도록 해도 좋다. 이 경우도, 휴대 전화기(1100)는, CCD 카메라(1116)를 사용하는 경우와 마찬가지로, 피사체를 촬상하여, 피사체의 화상의 화상 데이터를 생성할 수 있다.
또한, 이상에 있어서는 휴대 전화기(1100)로서 설명했지만, 예를 들어PDA(Personal Digital Assistants), 스마트 폰, UMPC(Ultra Mobile Personal Computer), 넷북, 노트북형 퍼스널 컴퓨터 등, 이 휴대 전화기(1100)와 마찬가지의 촬상 기능이나 통신 기능을 갖는 장치이면, 어떤 장치든 휴대 전화기(1100)의 경우와 마찬가지로, 복호 장치(1) 및 부호화 장치(101)를 적용할 수 있다.
도 24는, 본 발명을 적용한 복호 장치(1) 및 부호화 장치(101)를 사용하는 하드 디스크 레코더의 주된 구성예를 도시하는 블록도이다.
도 24에 도시된 하드 디스크 레코더(HDD 레코더)(1200)는, 튜너에 의해 수신된, 위성이나 지상의 안테나 등으로부터 송신되는 방송파 신호(텔레비전 신호)에 포함되는 방송 프로그램의 오디오 데이터와 비디오 데이터를, 내장하는 하드 디스크에 보존하고, 그 보존한 데이터를 유저의 지시에 따른 타이밍에 유저에게 제공하는 장치이다.
하드 디스크 레코더(1200)는, 예를 들어 방송파 신호로부터 오디오 데이터와 비디오 데이터를 추출하고, 그들을 적절히 복호하여, 내장하는 하드 디스크에 기억시킬 수 있다. 또한, 하드 디스크 레코더(1200)는, 예를 들어 네트워크를 통하여 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 그들을 적절히 복호하여, 내장하는 하드 디스크에 기억시킬 수도 있다.
또한, 하드 디스크 레코더(1200)는, 예를 들어 내장하는 하드 디스크에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호하여 모니터(1260)에 공급하여, 모니터(1260)의 화면에 그 화상을 표시시키고, 모니터(1260)의 스피커로부터 그 음성을 출력시킬 수 있다. 또한, 하드 디스크 레코더(1200)는, 예를 들어 튜너를 통하여 취득된 방송파 신호로부터 추출된 오디오 데이터와 비디오 데이터 또는, 네트워크를 통하여 다른 장치로부터 취득한 오디오 데이터나 비디오 데이터를 복호하여 모니터(1260)에 공급하여, 모니터(1260)의 화면에 그 화상을 표시시키고, 모니터(1260)의 스피커로부터 그 음성을 출력시킬 수도 있다.
물론, 이밖의 동작도 가능하다.
도 24에 도시된 바와 같이, 하드 디스크 레코더(1200)는, 수신부(1221), 복조부(1222), 디멀티플렉서(1223), 오디오 디코더(1224), 비디오 디코더(1225) 및 레코더 제어부(1226)를 갖는다. 하드 디스크 레코더(1200)는, EPG 데이터 메모리(1227), 프로그램 메모리(1228), 워크 메모리(1229), 디스플레이 컨버터(1230), OSD(On Screen Display) 제어부(1231), 디스플레이 제어부(1232), 기록 재생부(1233), D/A 컨버터(1234) 및 통신부(1235)를 더 갖는다.
또한, 디스플레이 컨버터(1230)는, 비디오 인코더(1241)를 갖는다. 기록 재생부(1233)는, 인코더(1251) 및 디코더(1252)를 갖는다.
수신부(1221)는, 리모트 컨트롤러(도시하지 않음)로부터의 적외선 신호를 수신하고, 전기 신호로 변환하여 레코더 제어부(1226)에 출력한다. 레코더 제어부(1226)는, 예를 들어 마이크로프로세서 등에 의해 구성되며, 프로그램 메모리(1228)에 기억되어 있는 프로그램에 따라, 각종 처리를 실행한다. 레코더 제어부(1226)는, 이때 워크 메모리(1229)를 필요에 따라서 사용한다.
통신부(1235)는, 네트워크에 접속되어, 네트워크를 통하여 다른 장치와의 통신 처리를 행한다. 예를 들어, 통신부(1235)는, 레코더 제어부(1226)에 의해 제어되고, 튜너(도시하지 않음)와 통신하여, 주로 튜너에 대하여 선국 제어 신호를 출력한다.
복조부(1222)는, 튜너로부터 공급된 신호를 복조하여, 디멀티플렉서(1223)에 출력한다. 디멀티플렉서(1223)는, 복조부(1222)로부터 공급된 데이터를, 오디오 데이터, 비디오 데이터 및 EPG 데이터로 분리하여, 각각 오디오 디코더(1224), 비디오 디코더(1225) 또는 레코더 제어부(1226)에 출력한다.
오디오 디코더(1224)는, 입력된 오디오 데이터를 디코드하여, 기록 재생부(1233)에 출력한다. 비디오 디코더(1225)는, 입력된 비디오 데이터를 디코드하여, 디스플레이 컨버터(1230)에 출력한다. 레코더 제어부(1226)는, 입력된 EPG 데이터를 EPG 데이터 메모리(1227)에 공급하여, 기억시킨다.
디스플레이 컨버터(1230)는, 비디오 디코더(1225) 또는 레코더 제어부(1226)로부터 공급된 비디오 데이터를, 비디오 인코더(1241)에 의해, 예를 들어 NTSC(National Television Standards Committee) 방식의 비디오 데이터에 인코드하여, 기록 재생부(1233)에 출력한다. 또한, 디스플레이 컨버터(1230)는, 비디오 디코더(1225) 또는 레코더 제어부(1226)로부터 공급되는 비디오 데이터의 화면의 크기를, 모니터(1260)의 크기에 대응하는 크기로 변환하고, 비디오 인코더(1241)에 의해 NTSC 방식의 비디오 데이터로 변환하고, 아날로그 신호로 변환하여, 디스플레이 제어부(1232)에 출력한다.
디스플레이 제어부(1232)는, 레코더 제어부(1226)의 제어 하에서, OSD(On Screen Display) 제어부(1231)가 출력한 OSD 신호를, 디스플레이 컨버터(1230)로부터 입력된 비디오 신호에 중첩하고, 모니터(1260)의 디스플레이에 출력하여, 표시시킨다.
모니터(1260)에는 또한, 오디오 디코더(1224)가 출력한 오디오 데이터가, D/A 컨버터(1234)에 의해 아날로그 신호로 변환되어 공급되고 있다. 모니터(1260)는, 이 오디오 신호를 내장하는 스피커로부터 출력한다.
기록 재생부(1233)는, 비디오 데이터나 오디오 데이터 등을 기록하는 기억 매체로서 하드 디스크를 갖는다.
기록 재생부(1233)는, 예를 들어 오디오 디코더(1224)로부터 공급되는 오디오 데이터를, 인코더(1251)에 의해 인코드한다. 또한, 기록 재생부(1233)는, 디스플레이 컨버터(1230)의 비디오 인코더(1241)로부터 공급되는 비디오 데이터를, 인코더(1251)에 의해 인코드한다. 기록 재생부(1233)는, 그 오디오 데이터의 부호화 데이터와 비디오 데이터의 부호화 데이터를 멀티플렉서에 의해 합성한다. 기록 재생부(1233)는, 그 합성 데이터를 채널 코딩하여 증폭하고, 그 데이터를, 기록 헤드를 통하여 하드 디스크에 기입한다.
기록 재생부(1233)는, 재생 헤드를 통하여 하드 디스크에 기록되어 있는 데이터를 재생하고, 증폭하여, 디멀티플렉서에 의해 오디오 데이터와 비디오 데이터로 분리한다. 기록 재생부(1233)는, 디코더(1252)에 의해 오디오 데이터 및 비디오 데이터를 디코드한다. 기록 재생부(1233)는, 복호한 오디오 데이터를 D/A 변환하여, 모니터(1260)의 스피커에 출력한다. 또한, 기록 재생부(1233)는, 복호한 비디오 데이터를 D/A 변환하여, 모니터(1260)의 디스플레이에 출력한다.
레코더 제어부(1226)는, 수신부(1221)를 통하여 수신되는 리모트 컨트롤러로부터의 적외선 신호에 의해 나타낸 유저 지시에 기초하여, EPG 데이터 메모리(1227)로부터 최신의 EPG 데이터를 판독하고, 그것을 OSD 제어부(1231)에 공급한다. OSD 제어부(1231)는, 입력된 EPG 데이터에 대응하는 화상 데이터를 발생시켜, 디스플레이 제어부(1232)에 출력한다. 디스플레이 제어부(1232)는, OSD 제어부(1231)로부터 입력된 비디오 데이터를 모니터(1260)의 디스플레이에 출력하여, 표시시킨다. 이에 의해, 모니터(1260)의 디스플레이에는, EPG(전자 프로그램 가이드)가 표시된다.
또한, 하드 디스크 레코더(1200)는, 인터넷 등의 네트워크를 통하여 다른 장치로부터 공급되는 비디오 데이터, 오디오 데이터 또는 EPG 데이터 등의 각종 데이터를 취득할 수 있다.
통신부(1235)는, 레코더 제어부(1226)에 제어되고, 네트워크를 통하여 다른 장치로부터 송신되는 비디오 데이터, 오디오 데이터 및 EPG 데이터 등의 부호화 데이터를 취득하고, 그것을 레코더 제어부(1226)에 공급한다. 레코더 제어부(1226)는, 예를 들어 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 기록 재생부(1233)에 공급하여, 하드 디스크에 기억시킨다. 이때, 레코더 제어부(1226) 및 기록 재생부(1233)가, 필요에 따라 재인코드 등의 처리를 행하도록 해도 좋다.
또한, 레코더 제어부(1226)는, 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 복호하고, 얻어지는 비디오 데이터를 디스플레이 컨버터(1230)에 공급한다. 디스플레이 컨버터(1230)는, 비디오 디코더(1225)로부터 공급되는 비디오 데이터와 마찬가지로, 레코더 제어부(1226)로부터 공급되는 비디오 데이터를 처리하고, 디스플레이 제어부(1232)를 통하여 모니터(1260)에 공급하여, 그 화상을 표시시킨다.
또한, 이 화상 표시에 맞추어, 레코더 제어부(1226)가, 복호한 오디오 데이터를, D/A 컨버터(1234)를 통하여 모니터(1260)에 공급하여, 그 음성을 스피커로부터 출력시키도록 해도 좋다.
또한, 레코더 제어부(1226)는, 취득한 EPG 데이터의 부호화 데이터를 복호하고, 복호한 EPG 데이터를 EPG 데이터 메모리(1227)에 공급한다.
이상과 같은 하드 디스크 레코더(1200)는, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더로서 복호 장치(1)를 사용한다. 즉, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더는, 복호 장치(1)의 경우와 마찬가지로, 베이스 레이어에 있어서의 복수의 참조면의 화상에 대하여 필터링을 행함으로써, 인핸스먼트 레이어에 있어서의 커런트 블록의 예측 화상을 생성한다.
따라서, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더는, 공간적인 업 샘플링 필터에 비하여, 화상열 중의 신호 성분을 더 유효하게 이용하는 것이 가능하게 된다. 이 결과, 예측 화상은, 베이스 레이어의 커런트 프레임의 화상을 이용하는 종래의 업 컨버트 예측에 의해 생성된 예측 화상보다 공간적으로 높은 주파수 성분을 가지면서 예측 잔차를 저감시킬 수 있다. 즉, 인핸스먼트 레이어에 있어서의 부호화 픽처의 부호량을 저감시킬 수 있어, 부호화 효율의 개선에 공헌하는 것이 가능하게 된다.
또한, 이 필터링 예측에서는, 시간적으로 상이한 프레임에서의 인핸스먼트 레이어의 복호 화상을 참조하지 않기 때문에, 부호화에 필요한 처리량, 일시 기억 용량, 메모리로부터의 판독 정보량 등을 저감시킬 수 있어, 실장에 드는 비용을 저감시킬 수 있다. 또한, 소비 전력도 저감시킬 수 있다.
따라서, 하드 디스크 레코더(1200)는, 예를 들어 튜너나 통신부(1235)에 의한 비디오 데이터(부호화 데이터)의 수신 시나, 기록 재생부(1233)에 의한 비디오 데이터(부호화 데이터)의 하드 디스크로부터의 재생 시의 복호에 있어서, 처리의 부하를 증대시키지 않고, 고정밀의 복호 화상을 얻는 것이 가능하게 된다. 즉, 하드 디스크 레코더(1200)는, 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 하드 디스크 레코더(1200)는, 인코더(1251)로서 부호화 장치(101)를 사용한다. 따라서, 인코더(1251)는, 부호화 장치(101)의 경우와 마찬가지로, 쌍방향 예측 또는 업 컨버트 예측에 의해 생성된 예측 화상에 비하여 고주파 성분을 많이 포함하여, 원화상과의 차가 적은 예측 화상이 얻어진다. 따라서, 잔차에 할당하는 부호량이 적어도 되므로, 부호화 효율을 올리는 것이 가능하게 된다. 인핸스먼트 레이어의 프레임을 참조하는 한쪽 방향 예측이나 쌍방향 예측의 경우에 비하여, 참조 프레임의 해상도가 작으므로, 예를 들어 참조 프레임의 프레임 메모리(122)에 대한 보존이나 프레임 메모리(122)로부터의 판독 등, 처리의 부하가 작다. 또한, 참조 프레임의 수가 적어도 2매 있으면 필터링 예측을 행할 수 있기 때문에, 그와 같이 부호화 효율을 올린다는 것을, 처리를 복잡하게 하지 않고 실현하는 것이 가능하게 된다.
따라서, 하드 디스크 레코더(1200)는, 예를 들어 하드 디스크에 부호화 데이터를 기록할 때의, 공간 스케일러빌리티를 고려한 부호화를 행하는 데 있어서, 동화상 신호열에 포함되는 시간 상관을 더 효율적으로 이용함으로써, 예를 들어 부호화나 복호 등의 처리의 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 이상에 있어서는, 비디오 데이터나 오디오 데이터를 하드 디스크에 기록하는 하드 디스크 레코더(1200)에 대하여 설명했지만, 물론 기록 매체는 어떤 것이든 좋다. 예를 들어 플래시 메모리, 광 디스크 또는 비디오 테이프 등, 하드 디스크 이외의 기록 매체를 적용하는 레코더라도, 상술한 하드 디스크 레코더(1200)의 경우와 마찬가지로, 복호 장치(1) 및 부호화 장치(101)를 적용할 수 있다.
도 25는, 본 발명을 적용한 복호 장치(1) 및 부호화 장치(101)를 사용하는 카메라의 주된 구성예를 도시하는 블록도이다.
도 25에 도시된 카메라(1300)는, 피사체를 촬상하여, 피사체의 화상을 LCD(1316)에 표시시키거나, 그것을 화상 데이터로서, 기록 미디어(1333)에 기록하거나 한다.
렌즈 블록(1311)은, 광(즉, 피사체의 영상)을, CCD/CMOS(1312)에 입사시킨다. CCD/CMOS(1312)는, CCD 또는 CMOS를 사용한 이미지 센서이며, 수광한 광의 강도를 전기 신호로 변환하여, 카메라 신호 처리부(1313)에 공급한다.
카메라 신호 처리부(1313)는, CCD/CMOS(1312)로부터 공급된 전기 신호를, Y, Cr, Cb의 색차 신호로 변환하여, 화상 신호 처리부(1314)에 공급한다. 화상 신호 처리부(1314)는, 컨트롤러(1321)의 제어 하에서, 카메라 신호 처리부(1313)로부터 공급된 화상 신호에 대하여 소정의 화상 처리를 실시하거나, 그 화상 신호를 인코더(1341)로 부호화하거나 한다. 화상 신호 처리부(1314)는, 화상 신호를 부호화하여 생성한 부호화 데이터를, 디코더(1315)에 공급한다. 또한, 화상 신호 처리부(1314)는, 온 스크린 디스플레이(OSD)(1320)에 있어서 생성된 표시용 데이터를 취득하고, 그것을 디코더(1315)에 공급한다.
이상의 처리에 있어서, 카메라 신호 처리부(1313)는, 버스(1317)를 통하여 접속되는 DRAM(Dynamic Random Access Memory)(1318)을 적절히 이용하여, 필요에 따라 화상 데이터나, 그 화상 데이터가 부호화된 부호화 데이터 등을 그 DRAM(1318)에 유지시킨다.
디코더(1315)는, 화상 신호 처리부(1314)로부터 공급된 부호화 데이터를 복호하고, 얻어진 화상 데이터(복호 화상 데이터)를 LCD(1316)에 공급한다. 또한, 디코더(1315)는, 화상 신호 처리부(1314)로부터 공급된 표시용 데이터를 LCD(1316)에 공급한다. LCD(1316)는, 디코더(1315)로부터 공급된 복호 화상 데이터의 화상과 표시용 데이터의 화상을 적절히 합성하여, 그 합성 화상을 표시한다.
온 스크린 디스플레이(1320)는, 컨트롤러(1321)의 제어 하에서, 기호, 문자 또는 도형으로 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를, 버스(1317)를 통하여 화상 신호 처리부(1314)에 출력한다.
컨트롤러(1321)는, 유저가 조작부(1322)를 사용하여 명령한 내용을 나타내는 신호에 기초하여, 각종 처리를 실행함과 함께, 버스(1317)를 통하여, 화상 신호 처리부(1314), DRAM(1318), 외부 인터페이스(1319), 온 스크린 디스플레이(1320) 및 미디어 드라이브(1323) 등을 제어한다. FLASH ROM(1324)에는, 컨트롤러(1321)가 각종 처리를 실행하는 데 있어서 필요한 프로그램이나 데이터 등이 저장된다.
예를 들어, 컨트롤러(1321)는, 화상 신호 처리부(1314)나 디코더(1315)를 대신하여, DRAM(1318)에 기억되어 있는 화상 데이터를 부호화하거나, DRAM(1318)에 기억되어 있는 부호화 데이터를 복호하거나 할 수 있다. 이때, 컨트롤러(1321)는, 화상 신호 처리부(1314)나 디코더(1315)의 부호화·복호 방식과 마찬가지의 방식에 의해 부호화·복호 처리를 행하도록 해도 좋고, 화상 신호 처리부(1314)나 디코더(1315)가 대응하고 있지 않은 방식에 의해 부호화·복호 처리를 행하도록 해도 좋다.
또한, 예를 들어 조작부(1322)로부터 화상 인쇄의 개시가 지시된 경우, 컨트롤러(1321)는, DRAM(1318)으로부터 화상 데이터를 판독하고, 그것을, 버스(1317)를 통하여 외부 인터페이스(1319)에 접속되는 프린터(1334)에 공급하여 인쇄시킨다.
또한, 예를 들어 조작부(1322)로부터 화상 기록이 지시된 경우, 컨트롤러(1321)는, DRAM(1318)으로부터 부호화 데이터를 판독하고, 그것을, 버스(1317)를 통하여 미디어 드라이브(1323)에 장착되는 기록 미디어(1333)에 공급하여 기억시킨다.
기록 미디어(1333)는, 예를 들어 자기 디스크, 광 자기 디스크, 광 디스크 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어이다. 기록 미디어(1333)는, 물론 리무버블 미디어로서의 종류도 임의이며, 테이프 디바이스이어도 좋고, 디스크이어도 좋고, 메모리 카드이어도 좋다. 물론, 비접촉 IC 카드 등이어도 좋다.
또한, 미디어 드라이브(1323)와 기록 미디어(1333)를 일체화하여, 예를 들어 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성되도록 해도 좋다.
외부 인터페이스(1319)는, 예를 들어 USB 입출력 단자 등으로 구성되고, 화상의 인쇄를 행하는 경우에, 프린터(1334)와 접속된다. 또한, 외부 인터페이스(1319)에는, 필요에 따라 드라이브(1331)가 접속되고, 자기 디스크, 광 디스크, 혹은 광 자기 디스크 등의 리무버블 미디어(1332)가 적절히 장착되고, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라 FLASH ROM(1324)에 인스톨된다.
또한, 외부 인터페이스(1319)는, LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 컨트롤러(1321)는, 예를 들어 조작부(1322)로부터의 지시에 따라 DRAM(1318)으로부터 부호화 데이터를 판독하고, 그것을 외부 인터페이스(1319)로부터, 네트워크를 통하여 접속되는 다른 장치에 공급시킬 수 있다. 또한, 컨트롤러(1321)는, 네트워크를 통하여 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를, 외부 인터페이스(1319)를 통하여 취득하고, 그것을 DRAM(1318)에 유지시키거나, 화상 신호 처리부(1314)에 공급하거나 할 수 있다.
이상과 같은 카메라(1300)는, 디코더(1315)로서 복호 장치(1)를 사용한다. 즉, 디코더(1315)는, 복호 장치(1)의 경우와 마찬가지로, 베이스 레이어에 있어서의 복수의 참조면의 화상에 대하여 필터링을 행함으로써, 인핸스먼트 레이어에 있어서의 커런트 블록의 예측 화상을 생성한다. 따라서, 디코더(1315)는, 공간적인 업 샘플링 필터에 비하여, 화상열 중의 신호 성분을 더 유효하게 이용하는 것이 가능하게 된다. 이 결과, 예측 화상은, 베이스 레이어의 커런트 프레임의 화상을 이용하는 종래의 업 컨버트 예측에 의해 생성된 예측 화상보다 공간적으로 높은 주파수 성분을 가지면서 예측 잔차를 저감시킬 수 있다. 즉, 인핸스먼트 레이어에 있어서의 부호화 픽처의 부호량을 저감시킬 수 있어, 부호화 효율의 개선에 공헌하는 것이 가능하게 된다.
따라서, 카메라(1300)는, 예를 들어 CCD/CMOS(1312)에 있어서 생성되는 화상 데이터나, DRAM(1318) 또는 기록 미디어(1333)로부터 비디오 데이터의 부호화 데이터를 판독할 때나, 네트워크를 통하여 비디오 데이터의 부호화 데이터를 취득할 때의, 처리의 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 카메라(1300)는, 인코더(1341)로서 부호화 장치(101)를 사용한다. 인코더(1341)는, 부호화 장치(101)의 경우와 마찬가지로, 쌍방향 예측 또는 업 컨버트 예측에 의해 생성된 예측 화상에 비하여 고주파 성분을 많이 포함하여, 원화상과의 차가 적은 예측 화상이 얻어진다. 따라서, 잔차에 할당하는 부호량이 적어도 되므로, 부호화 효율을 올리는 것이 가능하게 된다. 인핸스먼트 레이어의 프레임을 참조하는 한쪽 방향 예측이나 쌍방향 예측의 경우에 비하여, 참조 프레임의 해상도가 작으므로, 예를 들어 참조 프레임의 프레임 메모리(122)에 대한 보존이나 프레임 메모리(122)로부터의 판독 등, 처리의 부하가 작다. 또한, 참조 프레임의 수가 적어도 2매 있으면 필터링 예측을 행할 수 있기 때문에, 그와 같이 부호화 효율을 올린다는 것을, 처리를 복잡하게 하지 않고 실현하는 것이 가능하게 된다.
따라서, 카메라(1300)는, 예를 들어 DRAM(1318)이나 기록 미디어(1333)에 부호화 데이터를 기록할 때나, 부호화 데이터를 다른 장치에 제공할 때의, 공간 스케일러빌리티를 고려한 부호화를 행하는 데 있어서, 동화상 신호열에 포함되는 시간 상관을 더 효율적으로 이용함으로써, 예를 들어 부호화나 복호 등의 처리의 부하의 증대를 억제하면서 부호화 효율을 향상시킬 수 있다.
또한, 컨트롤러(1321)가 행하는 복호 처리에 복호 장치(1)의 복호 방법을 적용하도록 해도 좋다. 마찬가지로, 컨트롤러(1321)가 행하는 부호화 처리에 부호화 장치(101)의 부호화 방법을 적용하도록 해도 좋다.
또한, 카메라(1300)가 촬상하는 화상 데이터는 동화상이어도 좋고, 정지 화상이어도 좋다.
물론, 복호 장치(1) 및 부호화 장치(101)는, 상술한 장치 이외의 장치나 시스템에도 적용 가능하다.
또한, 매크로 블록의 크기는 임의이다. 본 발명은, 예를 들어 도 26에 도시된 바와 같은 모든 크기의 매크로 블록에 대하여 적용할 수 있다. 예를 들어, 본 발명은, 통상의 16×16 화소와 같은 매크로 블록뿐만 아니라, 32×32 화소와 같은 확장된 매크로 블록(확장 매크로 블록)에도 적용할 수 있다.
도 26에 있어서, 상단에는 좌측부터 32×32 화소, 32×16 화소, 16×32 화소 및 16×16 화소의 블록(파티션)으로 분할된 32×32 화소로 구성되는 매크로 블록이 순서대로 도시되어 있다. 또한, 중간단에는 좌측부터 16×16 화소, 16×8 화소, 8×16 화소 및 8×8 화소의 블록으로 분할된 16×16 화소로 구성되는 블록이 순서대로 도시되어 있다. 또한, 하단에는 좌측부터 8×8 화소, 8×4 화소, 4×8 화소 및 4×4 화소의 블록으로 분할된 8×8 화소의 블록이 순서대로 도시되어 있다.
즉, 32×32 화소의 매크로 블록은, 상단에 도시된 32×32 화소, 32×16 화소, 16×32 화소 및 16×16 화소의 블록에서의 처리가 가능하다.
상단의 우측에 도시된 16×16 화소의 블록은, H.264/AVC 방식과 마찬가지로, 중간단에 도시된 16×16 화소, 16×8 화소, 8×16 화소 및 8×8 화소의 블록에서의 처리가 가능하다.
중간단의 우측에 도시된 8×8 화소의 블록은, H.264/AVC 방식과 마찬가지로, 하단에 도시된 8×8 화소, 8×4 화소, 4×8 화소 및 4×4 화소의 블록에서의 처리가 가능하다.
이들 블록은, 이하의 3계층으로 분류할 수 있다. 즉, 도 26의 상단에 도시된 32×32 화소, 32×16 화소 및 16×32 화소의 블록을 제1 계층이라고 칭한다. 상단의 우측에 도시된 16×16 화소의 블록, 및 중간단에 도시된 16×16 화소, 16×8 화소 및 8×16 화소의 블록을, 제2 계층이라고 칭한다. 중간단의 우측에 도시된 8×8 화소의 블록, 및 하단에 도시된 8×8 화소, 8×4 화소, 4×8 화소 및 4×4 화소의 블록을, 제3 계층이라고 칭한다.
이러한 계층 구조를 채용함으로써, 16×16 화소의 블록 이하에 관해서는, H.264/AVC 방식과 호환성을 유지하면서, 그 수퍼 세트로서, 보다 큰 블록을 정의할 수 있다.
예를 들어, 복호 장치(1) 및 부호화 장치(101)가, 계층마다 예측 화상을 생성하도록 해도 좋다. 또한, 예를 들어 복호 장치(1) 및 부호화 장치(101)가, 제2 계층보다 블록 사이즈가 큰 계층인 제1 계층에 있어서 생성한 예측 화상을, 제2 계층에 대해서도 이용하도록 해도 좋다.
제1 계층이나 제2 계층과 같이, 비교적 큰 블록 사이즈를 사용하여 부호화가 행해지는 매크로 블록은, 비교적 고주파 성분을 포함하고 있지 않다. 이에 반하여, 제3 계층과 같이, 비교적 작은 블록 사이즈를 사용하여 부호화가 행해지는 매크로 블록은, 비교적 고주파 성분을 포함하고 있다고 생각된다.
따라서, 블록 사이즈가 상이한 각 계층에 따라, 따로따로 예측 화상을 생성 함으로써, 화상이 갖는, 국소적 성질에 적합한 부호화 성능 향상을 실현시키는 것이 가능하다.
1: 복호 장치
12: 가역 복호 회로
15: 가산 회로
19: 프레임 메모리
21: 움직임 예측·보상 회로
41: 예측 판정 회로
51: 예측 선택 회로
64: 필터링 예측 회로
71: 추출 회로
72: 필터링 회로
81: 차분 계산 회로
82: 업 컨버트 회로
83: 저역 통과 필터 회로
84: 게인 조정 회로
85: 고역 통과 필터 회로
86: 게인 조정 회로
87: 가산 회로
88: 업 컨버트 회로
89: 가산 회로
101: 부호화 장치
112: 재배열 버퍼
123: 모드 결정 회로
125: 움직임 예측·보상 회로
126: 인트라 예측 회로
145: 필터링 예측 회로
155: 필터링 예측 회로
211: 필터링 회로

Claims (15)

  1. 복호된 화상으로 이루어지는 프레임을 참조 프레임으로 하고, 부호화된 상기 화상의 움직임 벡터를 사용하여 움직임 보상을 행하고, 예측 화상보다 저해상도의 움직임 보상 화상을, 상기 예측 화상에 대응하는 상기 참조 프레임으로부터 추출하는 추출 수단과,
    상기 추출 수단에 의해 추출된 상기 움직임 보상 화상에 대하여, 상기 움직임 보상 화상에 포함되는 시간 방향의 상관을 이용하여 고주파 성분을 보충하는 필터링 처리를 행함으로써, 상기 움직임 보상 화상보다 고해상도의 상기 예측 화상을 생성하는 예측 화상 생성 수단을 구비하는, 화상 처리 장치.
  2. 제1항에 있어서, 상기 부호화된 화상은, 서로 해상도가 상이한 복수의 레이어로 계층화되어 부호화되어 있고,
    상기 추출 수단은, 고해상도의 레이어의 복호 시에, 상기 레이어보다 저해상도의 레이어의 상기 프레임을 상기 참조 프레임으로 하고, 상기 저해상도의 레이어의 상기 참조 프레임으로부터 상기 움직임 보상 화상을 추출하고,
    상기 예측 화상 생성 수단은, 상기 저해상도의 레이어의 상기 참조 프레임으로부터 추출된 상기 움직임 보상 화상에 대하여 상기 필터링 처리를 행함으로써, 상기 고해상도의 레이어의 상기 예측 화상을 생성하는, 화상 처리 장치.
  3. 제1항에 있어서, 상기 예측 화상 생성 수단은,
    상기 추출 수단에 의해 추출된 복수의 상기 움직임 보상 화상의 차분 화상의 해상도를 변환하여, 고해상도화되는 해상도 변환 수단과,
    상기 해상도 변환 수단에 의해 고해상도화된 상기 차분 화상에 저역 통과 필터를 작동하는 저역 통과 필터 수단과,
    상기 저역 통과 필터 수단에 의해 저역 통과 필터가 작동됨으로써 얻어진 화상에 고역 통과 필터를 작동하는 고역 통과 필터 수단과,
    상기 저역 통과 필터 수단에 의해 저역 통과 필터가 작동됨으로써 얻어진 화상과, 상기 고역 통과 필터 수단에 의해 고역 통과 필터가 작동됨으로써 얻어진 화상을, 상기 추출 수단에 의해 추출된 복수의 상기 움직임 보상 화상 중 어느 1개에 가산하여, 상기 예측 화상을 생성하는 가산 수단을 구비하는, 화상 처리 장치.
  4. 제3항에 있어서, 상기 가산 수단은, 상기 예측 화상의 시각을 기준으로 하여 1시각 전의 프레임으로부터 추출된 상기 움직임 보상 화상에 대하여, 상기 저역 통과 필터 수단에 의해 저역 통과 필터가 작동됨으로써 얻어진 화상과, 상기 고역 통과 필터 수단에 의해 고역 통과 필터가 작동됨으로써 얻어진 화상을 가산하는, 화상 처리 장치.
  5. 제1항에 있어서, 한쪽 방향 예측에 의해 상기 예측 화상을 생성하는 것인지, 쌍방향 예측에 의해 상기 예측 화상을 생성하는 것인지, 또는 상기 예측 화상 생성 수단에 의한 상기 필터링 처리에 의해 상기 예측 화상을 생성하는 것인지를 식별하는 식별 플래그를 수취하는 수취 수단과,
    상기 수취 수단에 의해 수취된 식별 플래그를 참조하여, 한쪽 방향 예측에 의해 상기 예측 화상을 생성하는 것인지, 쌍방향 예측에 의해 상기 예측 화상을 생성하는 것인지, 또는 상기 필터링 처리에 의해 상기 예측 화상을 생성하는 것인지를 판정하는 판정 수단을 더 구비하는, 화상 처리 장치.
  6. 제5항에 있어서, 복수의 상기 움직임 보상 화상을 사용하여 한쪽 방향 예측을 행하여, 상기 예측 화상을 생성하는 한쪽 방향 예측 수단과,
    복수의 상기 움직임 보상 화상을 사용하여 쌍방향 예측을 행하여, 상기 예측 화상을 생성하는 쌍방향 예측 수단을 더 구비하는, 화상 처리 장치.
  7. 제1항에 있어서, 부호화된 화상을 복호하는 복호 수단과,
    상기 복호 수단에 의해 복호된 화상과 예측 화상을 가산하여, 복호 완료된 화상을 생성하는 생성 수단을 더 구비하는, 화상 처리 장치.
  8. 복호된 화상으로 이루어지는 프레임을 참조 프레임으로 하고, 부호화된 상기 화상의 움직임 벡터를 사용하여 움직임 보상을 행하고, 예측 화상보다 저해상도의 움직임 보상 화상을, 상기 예측 화상에 대응하는 상기 참조 프레임으로부터 추출하고,
    추출된 상기 움직임 보상 화상에 대하여, 상기 움직임 보상 화상에 포함되는 시간 방향의 상관을 이용하여 고주파 성분을 보충하는 필터링 처리를 행함으로써, 상기 움직임 보상 화상보다 고해상도의 상기 예측 화상을 생성하는, 화상 처리 방법.
  9. 부호화 대상의 화상인 원화상과 예측 화상의 차를 나타내는 잔차 신호에 기초하여 국소적으로 복호하여 얻어진 화상과 상기 원화상에 기초하여 움직임 벡터를 검출하는 검출 수단과,
    국소적으로 복호된 상기 화상으로 이루어지는 프레임을 참조 프레임으로 하고, 상기 검출 수단에 의해 검출된 움직임 벡터를 사용하여 움직임 보상을 행하고, 상기 예측 화상보다 저해상도의 움직임 보상 화상을, 상기 예측 화상에 대응하는 상기 참조 프레임으로부터 추출하는 추출 수단과,
    상기 추출 수단에 의해 추출된 상기 움직임 보상 화상에 대하여, 상기 움직임 보상 화상에 포함되는 시간 방향의 상관을 이용하여 고주파 성분을 보충하는 필터링 처리를 행함으로써, 상기 움직임 보상 화상보다 고해상도의 상기 예측 화상을 생성하는 생성 수단을 구비하는, 화상 처리 장치.
  10. 제9항에 있어서, 상기 추출 수단은, 고해상도의 레이어의 복호 시에, 상기 레이어보다 저해상도의 레이어의 상기 프레임을 상기 참조 프레임으로 하고, 상기 검출 수단에 의해 상기 저해상도의 레이어에 있어서 검출된 상기 움직임 벡터를 사용하여, 상기 저해상도의 레이어의 상기 참조 프레임으로부터 상기 움직임 보상 화상을 추출하고,
    상기 생성 수단은, 상기 저해상도의 레이어의 상기 참조 프레임으로부터 추출된 상기 움직임 보상 화상에 대하여 상기 필터링 처리를 행함으로써, 상기 고해상도의 레이어의 상기 예측 화상을 생성하는, 화상 처리 장치.
  11. 제9항에 있어서, 상기 생성 수단은,
    상기 추출 수단에 의해 추출된 복수의 상기 움직임 보상 화상의 차분 화상의 해상도를 변환하여, 고해상도화되는 해상도 변환 수단과,
    상기 해상도 변환 수단에 의해 고해상도화된 상기 차분 화상에 저역 통과 필터를 작동하는 저역 통과 필터 수단과,
    상기 저역 통과 필터 수단에 의해 저역 통과 필터가 작동됨으로써 얻어진 화상에 고역 통과 필터를 작동하는 고역 통과 필터 수단과,
    상기 저역 통과 필터 수단에 의해 저역 통과 필터가 작동됨으로써 얻어진 화상과, 상기 고역 통과 필터 수단에 의해 고역 통과 필터가 작동됨으로써 얻어진 화상을, 상기 추출 수단에 의해 추출된 복수의 상기 움직임 보상 화상 중 어느 1개에 가산하여, 상기 예측 화상을 생성하는 가산 수단을 구비하는, 화상 처리 장치.
  12. 제11항에 있어서, 상기 가산 수단은, 상기 예측 화상의 시각을 기준으로 하여 1시각 전의 프레임으로부터 추출된 상기 움직임 보상 화상에 대하여, 상기 저역 통과 필터 수단에 의해 저역 통과 필터가 작동됨으로써 얻어진 화상과, 상기 고역 통과 필터 수단에 의해 고역 통과 필터가 작동됨으로써 얻어진 화상을 가산하는, 화상 처리 장치.
  13. 제9항에 있어서, 부호화 대상의 화상인 원화상을 부호화하고, 부호화된 화상을 생성하는 부호화 수단을 더 구비하는, 화상 처리 장치.
  14. 제9항에 있어서, 상기 부호화 수단은, 복호 장치에 있어서 복호한 화상에 가산하는 예측 화상을, 한쪽 방향 예측에 의해 생성하는 것인지, 쌍방향 예측에 의해 생성하는 것인지, 또는 상기 필터링 처리에 의해 생성하는 것인지를 식별하는 식별 플래그를 헤더에 포함하는, 화상 처리 장치.
  15. 부호화 대상의 화상인 원화상과 예측 화상의 차를 나타내는 잔차 신호에 기초하여 국소적으로 복호하여 얻어진 화상과 상기 원화상에 기초하여 움직임 벡터를 검출하고,
    국소적으로 복호된 상기 화상으로 이루어지는 프레임을 참조 프레임으로 하고, 검출된 움직임 벡터를 사용하여 움직임 보상을 행하고, 상기 예측 화상보다 저해상도의 움직임 보상 화상을, 상기 예측 화상에 대응하는 상기 참조 프레임으로부터 추출하고,
    추출된 상기 움직임 보상 화상에 대하여, 상기 움직임 보상 화상에 포함되는 시간 방향의 상관을 이용하여 고주파 성분을 보충하는 필터링 처리를 행함으로써, 상기 움직임 보상 화상보다 고해상도의 상기 예측 화상을 생성하는, 화상 처리 방법.
KR1020117018748A 2009-02-19 2010-02-12 화상 처리 장치 및 방법 KR20110126615A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009036497 2009-02-19
JPJP-P-2009-036497 2009-02-19

Publications (1)

Publication Number Publication Date
KR20110126615A true KR20110126615A (ko) 2011-11-23

Family

ID=42633839

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117018748A KR20110126615A (ko) 2009-02-19 2010-02-12 화상 처리 장치 및 방법

Country Status (9)

Country Link
US (4) US8824542B2 (ko)
EP (1) EP2400760A4 (ko)
JP (2) JP5532345B2 (ko)
KR (1) KR20110126615A (ko)
CN (2) CN102396228B (ko)
BR (1) BRPI1008281A2 (ko)
RU (1) RU2541881C2 (ko)
TW (1) TWI468020B (ko)
WO (1) WO2010095556A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
US9270871B2 (en) * 2009-04-20 2016-02-23 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US8705624B2 (en) * 2009-11-24 2014-04-22 STMicroelectronics International N. V. Parallel decoding for scalable video coding
JP2012249116A (ja) * 2011-05-30 2012-12-13 Canon Inc 画像符号化装置
EP2624577B1 (en) * 2012-02-01 2016-11-02 EchoStar UK Holdings Limited Remote viewing of media content using layered video encoding
JP6060394B2 (ja) * 2012-06-27 2017-01-18 インテル・コーポレーション クロスレイヤー・クロスチャネル残差予測
KR101934261B1 (ko) * 2012-07-09 2019-01-03 삼성전자 주식회사 이미지 해상도 변화 방법과 장치, 및 상기 장치를 포함하는 전자 장치
KR20140016760A (ko) * 2012-07-31 2014-02-10 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
CN108521574A (zh) * 2012-09-28 2018-09-11 索尼公司 编码设备、编码方法、解码设备和解码方法
CN104584553A (zh) * 2012-09-28 2015-04-29 英特尔公司 层间残差预测
US9602841B2 (en) * 2012-10-30 2017-03-21 Texas Instruments Incorporated System and method for decoding scalable video coding
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
WO2014162954A1 (ja) * 2013-04-04 2014-10-09 シャープ株式会社 画像復号装置、および画像符号化装置
KR102136666B1 (ko) * 2013-09-24 2020-07-23 브이아이디 스케일, 인크. 스케일가능한 비디오 코딩을 위한 계층간 예측
JP2015128205A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
WO2016203114A1 (en) * 2015-06-19 2016-12-22 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US10448013B2 (en) * 2016-12-22 2019-10-15 Google Llc Multi-layer-multi-reference prediction using adaptive temporal filtering
US10796198B2 (en) * 2018-02-08 2020-10-06 Western Digital Technologies, Inc. Adjusting enhancement coefficients for neural network engine
US11164072B2 (en) 2018-02-08 2021-11-02 Western Digital Technologies, Inc. Convolution engines for systolic neural network processor
US11783176B2 (en) 2019-03-25 2023-10-10 Western Digital Technologies, Inc. Enhanced storage device memory architecture for machine learning
US10929058B2 (en) 2019-03-25 2021-02-23 Western Digital Technologies, Inc. Enhanced memory device architecture for machine learning
GB2583087B (en) * 2019-04-11 2023-01-04 V Nova Int Ltd Decoding a video signal in a video decoder chipset
TWI774100B (zh) * 2020-10-26 2022-08-11 瑞昱半導體股份有限公司 影像處理晶片與影像處理方法
CN114449183B (zh) * 2020-11-02 2024-03-15 瑞昱半导体股份有限公司 影像处理芯片与影像处理方法
CN113126057B (zh) * 2021-04-20 2022-09-16 哈尔滨工业大学 一种基于调频率估计的sar运动补偿方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2947103B2 (ja) 1994-11-25 1999-09-13 日本ビクター株式会社 動画像符号化装置及び動画像符号化方法
RU2154918C1 (ru) * 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
CN1166207C (zh) 1999-05-27 2004-09-08 皇家菲利浦电子有限公司 对视频信号进行编码的方法、装置及采用该装置的摄像机
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
EP3554076B1 (en) 2003-07-24 2020-11-25 Nippon Telegraph And Telephone Corporation Image decoding method with hierarchical reference picture selection
CN1843037B (zh) * 2003-08-26 2010-09-22 汤姆森特许公司 用于编码混合内部-相互编码块的方法和装置
TWI255146B (en) * 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium
JP2005217940A (ja) * 2004-01-30 2005-08-11 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
EP1766999B1 (fr) * 2004-07-13 2019-11-20 Orange Procede et dispositif de codage d'une sequence d'images video
KR20060027779A (ko) * 2004-09-23 2006-03-28 엘지전자 주식회사 영상 블록의 시간상 및 공간상 상관관계를 이용한영상신호의 엔코딩 및 디코딩 방법과 장치
JP2006108811A (ja) * 2004-09-30 2006-04-20 Sanyo Electric Co Ltd 画像符号化方法
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
JP2006333436A (ja) * 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
CN100471280C (zh) * 2005-01-07 2009-03-18 株式会社Ntt都科摩 运动图像编码及译码装置、方法
US20060153295A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100703788B1 (ko) * 2005-06-10 2007-04-06 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US7564652B2 (en) * 2005-07-06 2009-07-21 Sae Magnetics (H.K.) Ltd. Head gimbal assembly including a one-piece structural suspension and an accessory plate, and method of manufacturing the same
JP5008664B2 (ja) * 2005-07-11 2012-08-22 トムソン ライセンシング マクロブロック適応型レイヤ間テクスチャ内予測の方法及び装置
EP1915871B1 (en) 2005-07-21 2017-07-05 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
US7743912B2 (en) * 2005-08-05 2010-06-29 Finley Dana J Liquid seal bulk feeder for destructive distillation of lightweight materials
JP5017825B2 (ja) 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
JP4594201B2 (ja) * 2005-09-28 2010-12-08 パナソニック株式会社 画像符号化方法、画像符号化装置、プログラムおよび集積回路
KR100763194B1 (ko) * 2005-10-14 2007-10-04 삼성전자주식회사 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
JP4334533B2 (ja) * 2005-11-24 2009-09-30 株式会社東芝 動画像符号化／復号化方法および装置
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
WO2007089803A2 (en) * 2006-01-31 2007-08-09 Thomson Licensing Methods and apparatus for edge-based spatio-temporal filtering
KR100712550B1 (ko) 2006-02-03 2007-05-02 삼성전자주식회사 하드디스크 드라이브의 고밀도 기록 방법
JP2007221208A (ja) * 2006-02-14 2007-08-30 Toshiba Corp 動画像符号化方法および装置
JP2007300380A (ja) * 2006-04-28 2007-11-15 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
RU2008146977A (ru) 2006-04-28 2010-06-10 НТТ ДоКоМо, Инк. (JP) Устройство прогнозирующего кодирования изображений, способ прогнозирующего кодирования изображений, программа прогнозирующего кодирования изображений, устройство прогнозирующего декодирования изображений, способ прогнозирующего декодирования изображений и программа прогнозирующего декодирования изображений
JP4844455B2 (ja) * 2006-06-15 2011-12-28 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
US7864219B2 (en) 2006-06-15 2011-01-04 Victor Company Of Japan, Ltd. Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
JP2008022405A (ja) * 2006-07-14 2008-01-31 Sony Corp 画像処理装置および方法、並びに、プログラム
CN101711481B (zh) * 2006-10-18 2013-01-09 汤姆森特许公司 使用预测数据精选进行视频编码的方法和装置
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
KR101365575B1 (ko) * 2007-02-05 2014-02-25 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
KR101369224B1 (ko) * 2007-03-28 2014-03-05 삼성전자주식회사 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
JP2010135864A (ja) * 2007-03-29 2010-06-17 Toshiba Corp 画像符号化方法及び装置並びに画像復号化方法及び装置
JP4826546B2 (ja) 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4877090B2 (ja) 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4356777B2 (ja) 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
WO2009059152A1 (en) 2007-10-31 2009-05-07 Boston Scientific Neuromodulation Corp. Connector assemblies for implantable stimulators
KR101612977B1 (ko) 2008-07-25 2016-04-15 소니 주식회사 화상 처리 장치 및 방법
US8705627B2 (en) 2008-07-25 2014-04-22 Sony Corporation Image processing apparatus and method
US20100177117A1 (en) 2009-01-14 2010-07-15 International Business Machines Corporation Contextual templates for modifying objects in a virtual universe
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method

Also Published As

Publication number Publication date
TWI468020B (zh) 2015-01-01
US10491919B2 (en) 2019-11-26
RU2541881C2 (ru) 2015-02-20
WO2010095556A1 (ja) 2010-08-26
JPWO2010095556A1 (ja) 2012-08-23
US8824542B2 (en) 2014-09-02
US20110286526A1 (en) 2011-11-24
JP5532345B2 (ja) 2014-06-25
CN102396228A (zh) 2012-03-28
CN105915900B (zh) 2019-12-10
CN105915900A (zh) 2016-08-31
TW201032598A (en) 2010-09-01
US20180324455A1 (en) 2018-11-08
CN102396228B (zh) 2016-07-06
RU2011134044A (ru) 2013-02-20
EP2400760A1 (en) 2011-12-28
JP5831587B2 (ja) 2015-12-09
BRPI1008281A2 (pt) 2016-03-15
JP2014171240A (ja) 2014-09-18
US9277235B2 (en) 2016-03-01
US20140334549A1 (en) 2014-11-13
EP2400760A4 (en) 2012-11-21
US20160142731A1 (en) 2016-05-19
US10075732B2 (en) 2018-09-11

Similar Documents

Publication Publication Date Title
US10491919B2 (en) Image processing apparatus and method
US20210144367A1 (en) Image processing device and method
JP5812372B2 (ja) 復号装置および方法
WO2010010942A1 (ja) 画像処理装置および方法
WO2010010943A1 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment