KR20130088119A - 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법 - Google Patents

부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법 Download PDF

Info

Publication number
KR20130088119A
KR20130088119A KR1020137000138A KR20137000138A KR20130088119A KR 20130088119 A KR20130088119 A KR 20130088119A KR 1020137000138 A KR1020137000138 A KR 1020137000138A KR 20137000138 A KR20137000138 A KR 20137000138A KR 20130088119 A KR20130088119 A KR 20130088119A
Authority
KR
South Korea
Prior art keywords
unit
image
intra prediction
inverse
prediction mode
Prior art date
Application number
KR1020137000138A
Other languages
English (en)
Inventor
겐지 곤도
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130088119A publication Critical patent/KR20130088119A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 기술은, 직교 변환 처리 또는 역직교 변환 처리의 연산량을 삭감할 수 있는 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법에 관한 것이다. DWT부(91)는, 잔차 정보에 대하여, KLT보다 연산량이 적은 DWT를 행한다. KLT부(92-0 내지 92-8)는, 각각 대응하는 인트라 예측 모드의 KLT의 기저에서, DWT의 결과 얻어지는 잔차 정보의 저주파수 성분에 대하여, 분리형의 KLT를 행한다. KLT의 결과 얻어지는 계수와, DWT의 결과 얻어지는 잔차 정보의 고주파수 성분은 가역 부호화된다. 본 기술은, 예를 들면 화상 부호화 장치에 적용할 수 있다.

Description

부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법{ENCODING DEVICE, ENCODING METHOD, DECODING DEVICE, AND DECODING METHOD}
본 기술은, 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법에 관한 것으로, 특히, 직교 변환 처리 또는 역직교 변환 처리의 연산량을 삭감할 수 있도록 한 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법에 관한 것이다.
AVC(Advanced Video Coding) 방식에서, 인트라 예측 부호화를 개선하는 MDDT(Mode dependent directional transform)가 제안되어 있다(예를 들면, 특허 문헌 1 및 2 참조). MDDT는, 인트라 예측 화상과 입력 화상의 잔차(殘差)를 직교 변환할 때에, 종래의 이산 코사인 변환(DCT(Discrete Cosine Transform))을 이용하는 것이 아니라, 인트라 예측 모드에 따라서 카루넨·루베 변환(Karhunen-Loeve transform, KLT)을 이용함으로써 부호화 효율을 개선하는 기술이다.
KLT는, 변환 후의 계수가 서로 무상관이 되는 변환이며, 제1 주성분의 분산이 최대가 되는 변환이다. 이러한 변환에 의해 얻어지는 분산이 큰 계수에 비트를 많이 배분하고, 분산이 작은 계수에 비트를 적게 배분함으로써, 부호화 효율을 개선할 수 있다.
또한, 특허 문헌 1에 기재된 바와 같이, 인트라 예측 화상과 입력 화상의 잔차는 인트라 예측 모드에 의존한다. 따라서, MDDT에서는, 미리 인트라 예측 모드에 따라서 KLT의 기저(基底)를 학습해 두고, 인트라 예측 모드마다 서로 다른 KLT의 기저를 이용함으로써, 잔차를 효율적으로 변환하는 것을 가능하게 하고 있다.
그러나, KLT는, DCT에 비해 연산량이 많다. 따라서, 특허 문헌 2에서는, 인트라 예측 화상과 입력 화상의 잔차에 대하여, 일반성이 있는 비분리형(Non-separable)의 KLT가 아니라, 연산량이 비교적 적은 분리형(Separable)의 KLT를 행함으로써, 승산의 횟수를 삭감하는 것이 제안되어 있다.
Marta Karczewicz, "Improved Intra Coding", VCEG(Video Coding Experts Group)-AF15, USA, April, 2007 Yan Ye, Marta Karczewicz, "Improved Intra Coding", VCEG(Video Coding Experts Group)-AG11r1, China, October, 2007
그러나, 특허 문헌 2에 기재되어 있는 바와 같이, 분리형의 KLT가 행해지는 경우라도, 블록 크기가 큰 경우, 연산량은 커진다. 구체적으로는, 블록 크기가 N×N 화소라고 하면, 고속 알고리즘을 이용한 DCT의 연산량의 오더는 Nlog|N|이지만, 분리형의 KLT의 연산량의 오더는 N2이다. 따라서, 블록 크기가 클수록, 분리형의 KLT의 연산량은, 고속 알고리즘을 이용한 DCT의 연산량에 비해 커진다.
그 결과, 분리형의 KLT가 하드웨어로 실현되는 경우, LSI(Large Scale Integration)의 회로 규모가 커져서, 제조 비용이 증가한다. 또한, 분리형의 KLT가 소프트웨어로 실현될 경우, 처리량이 증가하여, 실시간으로의 화상의 재생이 곤란해진다.
본 기술은, 이러한 상황을 감안하여 이루어진 것으로, 직교 변환 처리 또는 역직교 변환 처리의 연산량을 삭감할 수 있도록 하는 것이다.
본 기술의 제1 측면의 부호화 장치는, 화상에 대하여, 제1 직교 변환보다 연산량이 적은 제2 직교 변환을 행하는 전직교(前直交) 변환부와, 상기 제2 직교 변환의 결과 얻어지는 상기 화상의 저주파수 성분에 대하여, 상기 제1 직교 변환을 행하는 후직교(後直交) 변환부와, 상기 제1 직교 변환 후의 상기 저주파수 성분과, 상기 제2 직교 변환의 결과 얻어지는 상기 화상의 고주파수 성분을 부호화하는 부호화부를 구비하는 부호화 장치다.
본 기술의 제1 측면의 부호화 방법은, 본 기술의 제1 측면의 부호화 장치에 대응한다.
본 기술의 제1 측면에서는, 화상에 대하여, 제1 직교 변환보다 연산량이 적은 제2 직교 변환이 행해지고, 상기 제2 직교 변환의 결과 얻어지는 상기 화상의 저주파수 성분에 대하여, 상기 제1 직교 변환이 행해지고, 상기 제1 직교 변환 후의 상기 저주파수 성분과, 상기 제2 직교 변환의 결과 얻어지는 상기 화상의 고주파수 성분이 부호화된다.
본 기술의 제2 측면의 복호 장치는, 화상의 부호화 결과로서, 상기 화상에 대하여 제1 직교 변환보다 연산량이 적은 제2 직교 변환을 행한 결과 얻어진 상기 화상의 저주파수 성분의 상기 제1 직교 변환 후의 계수와, 상기 제2 직교 변환을 행한 결과 얻어진 상기 화상의 고주파수 성분의 부호화 결과를 취득하여, 상기 화상의 부호화 결과를 복호하는 복호부와, 상기 복호의 결과 얻어지는 상기 저주파수 성분의 상기 제1 직교 변환 후의 계수에 대하여, 상기 제1 직교 변환에 대응하는 제1 역직교 변환을 행하는 전역직교(前逆直交) 변환부와, 상기 제1 역직교 변환의 결과 얻어지는 상기 저주파수 성분과, 상기 복호의 결과 얻어지는 상기 고주파수 성분에 대하여, 상기 제2 직교 변환에 대응하는 제2 역직교 변환을 행하여, 상기 화상을 얻은 후역직교(後逆直交) 변환부를 구비하는 복호 장치다.
본 기술의 제2 측면의 복호 방법은, 본 기술의 제2 측면의 복호 장치에 대응한다.
본 기술의 제2 측면에서는, 화상의 부호화 결과로서, 상기 화상에 대하여 제1 직교 변환보다 연산량이 적은 제2 직교 변환을 행한 결과 얻어진 상기 화상의 저주파수 성분의 상기 제1 직교 변환 후의 계수와, 상기 제2 직교 변환을 행한 결과 얻어진 상기 화상의 고주파수 성분의 부호화 결과가 취득되어, 상기 화상의 부호화 결과가 복호되고, 상기 복호의 결과 얻어지는 상기 저주파수 성분의 상기 제1 직교 변환 후의 계수에 대하여, 상기 제1 직교 변환에 대응하는 제1 역직교 변환이 행해지고, 상기 제1 역직교 변환의 결과 얻어지는 상기 저주파수 성분과, 상기 복호의 결과 얻어지는 상기 고주파수 성분에 대하여, 상기 제2 직교 변환에 대응하는 제2 역직교 변환이 행해져서, 상기 화상이 얻어진다.
제1 측면의 부호화 장치 및 제2 측면의 복호 장치는, 독립된 장치이어도 좋고, 1개의 장치를 구성하고 있는 내부 블록이어도 좋다.
본 기술의 제1 측면에 따르면, 직교 변환 처리의 연산량을 삭감할 수 있다.
또한, 본 기술의 제2 측면에 따르면, 역직교 변환 처리의 연산량을 삭감할 수 있다.
도 1은 본 기술을 적용한 화상 부호화 장치의 제1 실시 형태의 구성예를 도시하는 블록도다.
도 2는 각 인트라 예측 모드의 예측 방향의 예를 도시하는 도면이다.
도 3은 도 1의 인트라 예측용 직교 변환부의 상세 구성예를 도시하는 블록도다.
도 4는 DWT부에 의한 DWT를 설명하는 도면이다.
도 5는 도 1의 인트라 예측용 역직교 변환부의 상세 구성예를 도시하는 블록도다.
도 6은 도 1의 가역 부호화부에 의한 가역 부호화의 순서를 설명하는 도면이다.
도 7은 도 1의 화상 부호화 장치의 부호화 처리를 설명하는 플로우차트다.
도 8은 직교 변환 처리를 설명하는 플로우차트다.
도 9는 역직교 변환 처리를 설명하는 플로우차트다.
도 10은 인트라 예측 코스트 함수값 산출 처리를 설명하는 플로우차트다.
도 11은 코스트 함수값 산출 처리를 설명하는 플로우차트다.
도 12는 본 기술을 적용한 화상 복호 장치의 제1 실시 형태의 구성예를 도시하는 블록도다.
도 13은 화상 복호 장치에 의한 복호 처리를 설명하는 플로우차트다.
도 14는 가역 복호 처리를 설명하는 플로우차트다.
도 15는 본 기술을 적용한 화상 부호화 장치의 제2 실시 형태의 구성예를 도시하는 블록도다.
도 16은 도 15의 인트라 예측용 직교 변환부의 상세 구성예를 도시하는 블록도다.
도 17은 DWT부에 의한 DWT를 설명하는 도면이다.
도 18은 도 15의 인트라 예측용 역직교 변환부의 상세 구성예를 도시하는 블록도다.
도 19는 직교 변환 처리를 설명하는 플로우차트다.
도 20은 역직교 변환 처리를 설명하는 플로우차트다.
도 21은 본 기술을 적용한 화상 복호 장치의 제2 실시 형태의 구성예를 도시하는 블록도다.
도 22는 매크로 블록의 크기의 예를 도시하는 도면이다.
도 23은 컴퓨터의 일 실시 형태의 구성예를 나타내고 있다.
도 24는 텔레비전 수상기의 주된 구성예를 도시하는 블록도다.
도 25는 휴대 전화기의 주된 구성예를 도시하는 블록도다.
도 26은 하드 디스크 레코더의 주된 구성예를 도시하는 블록도다.
도 27은 카메라의 주된 구성예를 도시하는 블록도다.
<제1 실시 형태>
[화상 부호화 장치의 구성예]
도 1은 본 기술을 적용한 화상 부호화 장치의 제1 실시 형태의 구성예를 도시하는 블록도다.
도 1의 화상 부호화 장치(51)는, A/D 변환부(61), 화면 재배열 버퍼(62), 연산부(63), 직교 변환부(64), 양자화부(65), 가역 부호화부(66), 축적 버퍼(67), 역양자화부(68), 역직교 변환부(69), 연산부(70), 디블록 필터(deblocking filter)(71), 프레임 메모리(72), 스위치(73), 인트라 예측부(74), 움직임 예측·보상부(75), 예측 화상 선택부(76), 및 레이트 제어부(77)에 의해 구성된다. 화상 부호화 장치(51)는, 입력된 화상을 AVC 방식으로 압축 부호화한다.
구체적으로는, 화상 부호화 장치(51)의 A/D 변환부(61)는, 입력된 프레임 단위의 화상을 A/D 변환하여, 화면 재배열 버퍼(62)에 출력하고, 기억시킨다. 화면 재배열 버퍼(62)는, 기억한 표시의 순번의 프레임의 화상을, GOP(Group of Picture) 구조에 따라서 부호화를 위한 순서대로 재배열한다.
연산부(63)는, 필요에 따라서, 화면 재배열 버퍼(62)로부터 판독된 화상에서, 예측 화상 선택부(76)로부터 공급되는 예측 화상을 감산한다. 연산부(63)는, 감산의 결과 얻어지는 화상, 또는 화면 재배열 버퍼(62)로부터 판독된 화상 그 자체를, 잔차 정보로서 직교 변환부(64)에 출력한다. 연산부(63)는, 예측 화상 선택부(76)로부터 예측 화상이 공급되지 않을 경우, 화면 재배열 버퍼(62)로부터 판독된 화상을 그대로 잔차 정보로서 직교 변환부(64)에 출력한다.
직교 변환부(64)는, 인터 예측용 직교 변환부(inter prediction orthogonal transformation unit)(64A)와 인트라 예측용 직교 변환부(intra prediction orthogonal transformation unit)(64B)에 의해 구성된다. 인터 예측용 직교 변환부(64A)는, 예측 화상 선택부(76)로부터 최적 인터 예측 모드를 나타내는 정보(이하, 인터 예측 모드 정보라고 함)가 공급될 경우, 연산부(63)로부터의 잔차 정보에 대하여, DCT나 KLT 등의 직교 변환의 처리를 직교 변환 처리로서 행한다. 그리고, 직교 변환부(64)는, 그 결과 얻어지는 계수를 변환 계수로서 양자화부(65)에 공급한다.
인트라 예측용 직교 변환부(64B)는, 예측 화상 선택부(76)로부터 최적 인트라 예측 모드를 나타내는 정보(이하, 인트라 예측 모드 정보라고 함)가 공급될 경우, 연산부(63)로부터의 잔차 정보에 대하여 직교 변환 처리를 행한다.
구체적으로는, 인트라 예측용 직교 변환부(64B)는, 잔차 정보에 대하여, KLT보다 연산량이 적은 DWT(discrete wavelet transform)를 행하여, 저주파수 성분 및 고주파수 성분을 추출한다. 그리고, 인트라 예측용 직교 변환부(64B)는, 저주파수 성분에 대하여, 인트라 예측 모드마다의 분리형의 KLT를 실시한다. 인트라 예측용 직교 변환부(64B)는, 인트라 예측 모드 정보가 나타내는 최적 인트라 예측 모드의 분리형의 KLT의 결과 얻어지는 계수와 고주파수 성분을, 변환 계수로서 양자화부(65)에 공급한다.
양자화부(65)는, 직교 변환부(64)로부터 공급되는 변환 계수를 양자화한다. 양자화된 변환 계수는, 가역 부호화부(66)에 입력된다.
가역 부호화부(66)는, 인트라 예측 모드 정보를 인트라 예측부(74)로부터 취득하고, 인터 예측 모드 정보, 움직임 벡터의 정보 등을 움직임 예측·보상부(75)로부터 취득한다.
가역 부호화부(66)(부호화부)는, 양자화부(65)로부터 공급되는 양자화된 변환 계수에 대하여, 가변 길이 부호화(예를 들면, CAVLC(Context-Adaptive Variable Length Coding) 등), 산술 부호화(예를 들면, CABAC(Context-Adaptive Binary Arithmetic Coding) 등) 등의 가역 부호화를 행하고, 그 결과 얻어지는 정보를 압축 화상으로 한다. 또한, 가역 부호화부(66)는, 인트라 예측 모드 정보, 인터 예측 모드 정보, 움직임 벡터의 정보 등을 가역 부호화하고, 그 결과 얻어지는 정보를 압축 화상에 부가되는 헤더 정보로 한다.
또한, 가역 부호화부(66)는, 변환 계수의 최적 예측 모드가 최적 인트라 예측 모드일 경우, 그 최적 인트라 예측 모드에 따른 순서로, 변환 계수를 가역 부호화한다. 가역 부호화부(66)는, 가역 부호화의 결과 얻어지는 헤더 정보가 부가된 압축 화상을 압축 정보로서 축적 버퍼(67)에 공급하고, 축적시킨다.
축적 버퍼(67)는, 가역 부호화부(66)로부터 공급되는 압축 정보를 일시적으로 기억하고, 예를 들면, 후단의 도시하지 않은 기록 장치나 전송로 등에 출력한다.
또한, 양자화부(65)로부터 출력된 양자화된 변환 계수는, 역양자화부(68)에도 입력되어, 역양자화된 후, 역직교 변환부(69)에 공급된다.
역직교 변환부(69)는, 인터 예측용 역직교 변환부(69A)와 인트라 예측용 역직교 변환부(69B)에 의해 구성된다. 인터 예측용 역직교 변환부(69A)는, 예측 화상 선택부(76)로부터 인터 예측 모드 정보가 공급될 경우, 역양자화부(68)로부터 공급되는 변환 계수에 대하여, 역DCT나 역KLT 등의 역직교 변환의 처리를 역직교 변환 처리로서 행한다. 인터 예측용 역직교 변환부(69A)는, 그 결과 얻어지는 잔차 정보를 연산부(70)에 공급한다.
인트라 예측용 역직교 변환부(69B)는, 예측 화상 선택부(76)로부터 인트라 예측 모드 정보가 공급될 경우, 역양자화부(68)로부터 공급되는 변환 계수에 대하여 역직교 변환 처리를 행한다. 구체적으로는, 인트라 예측용 역직교 변환부(69B)는, 변환 계수 중의 저주파수 성분의 계수에 대하여 인트라 예측 모드마다의 역KLT를 행한다. 또한, 인트라 예측용 역직교 변환부(69B)는, 인트라 예측 모드 정보가 나타내는 최적 인트라 예측 모드의 역KLT의 결과 얻어지는 저주파수 성분과, 변환 계수 중의 고주파수 성분에 대하여 역DWT를 행하여, 잔차 정보를 얻는다. 인트라 예측용 역직교 변환부(69B)는, 잔차 정보를 연산부(70)에 공급한다.
연산부(70)는, 역직교 변환부(69)로부터 공급되는 잔차 정보를, 필요에 따라서 예측 화상 선택부(76)로부터 공급되는 예측 화상과 가산하여, 국부적으로 복호된 화상을 얻는다. 연산부(70)는, 얻어진 화상을 디블록 필터(71)에 공급한다.
디블록 필터(71)는, 연산부(70)로부터 공급되는 국부적으로 복호된 화상을 필터링함으로써, 블록 왜곡을 제거한다. 디블록 필터(71)는, 그 결과 얻어지는 화상을 프레임 메모리(72)에 공급하고, 축적시킨다. 프레임 메모리(72)에는, 디블록 필터(71)에 의해 디블록 필터 처리되기 전의 화상도 공급되어, 축적된다.
스위치(73)는, 프레임 메모리(72)에 축적된 화상을 참조 화상으로서 움직임 예측·보상부(75) 또는 인트라 예측부(74)에 출력한다.
인트라 예측부(74)는, 화면 재배열 버퍼(62)로부터 판독된 화상과, 스위치(73)를 통해 공급된 참조 화상에 기초해서, 후보가 되는 모든 인트라 예측 모드의 인트라 예측 처리를 행하여, 예측 화상을 생성한다. 또한, 여기서는, 블록 크기가 서로 다른 인트라 예측 모드는, 동일한 예측 방향의 인트라 예측 모드이어도, 서로 다른 인트라 예측 모드로서 설명한다. 또한, 블록 크기로는, 4×4 화소와 8×8 화소의 2종류가 취급되는 것으로 한다.
또한, 인트라 예측부(74)는, 후보가 되는 모든 인트라 예측 모드에 대하여 코스트 함수값을 산출한다. 그리고, 인트라 예측부(74)는, 코스트 함수값이 최소값이 되는 인트라 예측 모드를 최적 인트라 예측 모드로서 선택한다.
이 코스트 함수값은, RD(Rate Distortion) 코스트라고도 하며, 예를 들면, AVC 방식에서의 참조 소프트웨어인 JM(Joint Model)에서 정해져 있는 High Complexity 모드나, Low Complexity 모드 중 어느 하나의 방법에 기초해서 산출된다.
구체적으로는, 코스트 함수값의 산출 방법으로서 High Complexity 모드가 채용될 경우, 후보가 되는 모든 인트라 예측 모드에 대하여, 임시로 가역 부호화까지가 행해져, 다음의 식 (1)로 나타내지는 코스트 함수값이 각 인트라 예측 모드에 대하여 산출된다.
Cost(Mode)=D+λ·R … (1)
D는, 원화상과 복호 화상의 차분(왜곡), R은, 변환 계수까지 포함한 발생 부호량, λ는, 양자화 파라미터(QP)의 함수로서 주어지는 라그랑쥬 승수다.
한편, 코스트 함수값의 산출 방법으로서 Low Complexity 모드가 채용될 경우, 후보가 되는 모든 인트라 예측 모드에 대하여, 복호 화상의 생성, 및 인트라 예측 모드 정보 등의 헤더 비트의 산출이 행해져, 다음의 식 (2)로 나타내지는 코스트 함수가 각 인트라 예측 모드에 대하여 산출된다.
Cost(Mode)=D+QPtoQuant(QP)·Header_Bit … (2)
D는, 원화상과 복호 화상의 차분(왜곡), Header_Bit는, 인트라 예측 모드에 대한 헤더 비트, QPtoQuant는, 양자화 파라미터(QP)의 함수로서 부어지는 함수다.
Low Complexity 모드에서는, 모든 인트라 예측 모드에 대하여, 복호 화상을 생성하기만 하면 되며, 가역 부호화를 행할 필요가 없기 때문에, 연산량이 적어도 된다. 또한 여기서는, 코스트 함수값의 산출 방법으로서 High Complexity 모드가 채용되는 것으로 한다.
인트라 예측부(74)는, 인트라 예측 모드 정보, 최적 인트라 예측 모드에서 생성된 예측 화상, 및 대응하는 코스트 함수값을, 예측 화상 선택부(76)에 공급한다. 인트라 예측부(74)는, 예측 화상 선택부(76)로부터 최적 인트라 예측 모드에서 생성된 예측 화상의 선택이 통지되었을 경우, 인트라 예측 모드 정보를 가역 부호화부(66)에 공급한다.
움직임 예측·보상부(75)는, 화면 재배열 버퍼(62)로부터 공급되는 화상과, 스위치(73)를 통해 공급되는 참조 화상에 기초하여, 후보가 되는 모든 인터 예측 모드의 움직임 예측 행동, 움직임 벡터를 생성한다. 그리고, 움직임 예측·보상부(75)는, 움직임 벡터에 기초해서 참조 화상에 대해 보상 처리를 행하여, 예측 화상을 생성한다. 이때, 움직임 예측·보상부(75)는, 후보가 되는 모든 인터 예측 모드에 대하여 코스트 함수값을 산출하고, 코스트 함수값이 최소가 되는 인터 예측 모드를 최적 인터측 모드로 결정한다.
그리고, 움직임 예측·보상부(75)는, 인터 예측 모드 정보, 최적 인터 예측 모드에서 생성된 예측 화상, 및 대응하는 코스트 함수값을 예측 화상 선택부(76)에 공급한다. 움직임 예측·보상부(75)는, 예측 화상 선택부(76)로부터 최적 인터 예측 모드의 예측 화상의 선택이 통지되었을 경우, 인터 예측 모드 정보, 대응하는 움직임 벡터의 정보 등을 가역 부호화부(66)에 출력한다.
예측 화상 선택부(76)는, 인트라 예측부(74) 및 움직임 예측·보상부(75)로부터 공급되는 코스트 함수값에 기초하여, 최적 인트라 예측 모드와 최적 인터 예측 모드 중 어느 하나를, 최적 예측 모드로 결정한다. 그리고, 예측 화상 선택부(76)는 최적 예측 모드의 예측 화상을 연산부(63) 및 연산부(70)에 공급한다. 또한, 예측 화상 선택부(76)는 최적 예측 모드의 예측 화상의 선택을 인트라 예측부(74) 또는 움직임 예측·보상부(75)에 통지한다. 또한, 예측 화상 선택부(76)는, 최적 예측 모드를 나타내는 인터 예측 모드 정보 또는 인트라 예측 모드 정보를, 직교 변환부(64)와 역직교 변환부(69)에 공급한다.
레이트 제어부(77)는, 축적 버퍼(67)에 축적된 압축 정보에 기초하여, 오버플로우 혹은 언더플로우가 발생하지 않도록, 양자화부(65)의 양자화 동작의 레이트를 제어한다.
[인트라 예측 모드의 설명]
도 2는 각 인트라 예측 모드의 예측 방향의 예를 도시하는 도면이다.
도 2에 도시한 바와 같이, AVC 방식에서의 인트라 예측 모드에는, 8 방향의 예측을 행하는 모드와 DC 예측을 행하는 모드가 있다. 도 2에 기재되어 있는 번호는, 인트라 예측 모드의 번호이며, 그 번호가 부여된 화살표는, 그 번호의 인트라 예측 모드의 예측 방향을 나타내고 있다.
구체적으로는, 도 2에 도시한 바와 같이, 0번의 인트라 예측 모드의 예측 방향은 수직 방향이며, 1번의 인트라 예측 모드의 예측 방향은 수평 방향이다. 도시되지 않은 2번의 인트라 예측 모드는, DC 예측을 행하는 모드다. 또한, 도 2에 도시한 바와 같이, 3 내지 8번의 인트라 예측 모드의 예측 방향은 경사 방향이다.
[인트라 예측용 직교 변환부의 상세 구성예]
도 3은 도 1의 인트라 예측용 직교 변환부(64B)의 상세 구성예를 도시하는 블록도다.
도 3의 인트라 예측용 직교 변환부(64B)는, DWT부(91), KLT부(92-0 내지 92-8), 및 셀렉터(93)에 의해 구성된다.
DWT부(91)(전직행 변환부)는, 필요에 따라서, 도 1의 연산부(63)로부터 공급되는 잔차 정보에 대하여 DWT를 행하여, 저주파수 성분과 고주파 성분을 얻는다. DWT부(91)는, 저주파수 성분을 KLT부(92-0 내지 92-8)에 공급하고, 고주파수 성분을 셀렉터(93)에 공급한다. DWT부(91)는, KLT를 행할 필요가 없을 경우, 잔차 정보를 그대로 KLT부(92-0 내지 92-8)에 공급한다.
KLT부(92-0 내지 92-8)(후직교 변환부)는, 각각 0번 내지 8번의 인트라 예측 모드의 KLT의 기저에서, DWT부(91)로부터 공급되는 저주파수 성분 또는 잔차 정보에 대하여 분리형의 KLT를 행한다. 또한, 각 인트라 예측 모드의 KLT의 기저는, 미리 학습에 의해 구해진 최적값이다. KLT부(92-0 내지 92-8)는, 분리형의 KLT의 결과 얻어지는 계수를 셀렉터(93)에 공급한다.
셀렉터(93)에는, 예측 화상 선택부(76)로부터 공급되는 인트라 예측 모드 정보가 공급된다. 셀렉터(93)는, 인트라 예측 모드 정보에 기초하여, KLT부(92-0 내지 92-8)로부터 공급되는 계수 중, 최적 인트라 예측 모드에 대응하는 KLT부(92-0 내지 92-8)로부터 공급되는 계수를 선택한다. 그리고, 셀렉터(93)는, 선택된 잔차 정보의 계수를 변환 계수로서 양자화부(65)(도 1)에 공급하거나, 또는, 저주파수 성분의 계수와, DWT부(91)로부터 공급되는 고주파수 성분을 변환 계수로서 양자화부(65)에 공급한다.
또한, 도 3의 인트라 예측용 직교 변환부(64B)에서는, 셀렉터(93)가 KLT부(92-0 내지 92-8)의 뒤에 설치되었지만, 셀렉터가, KLT부(92-0 내지 92-8) 앞에 설치되도록 해도 좋다. 이 경우, DWT부(91)로부터 출력되는 저주파수 성분 또는 잔차 정보가, 최적 인트라 예측 모드에 대응하는 KLT부(92-0 내지 92-8) 중 어느 하나에만 공급된다.
[DWT의 설명]
도 4는 DWT부(91)에 의한 DWT를 설명하는 도면이다.
도 4의 A에 도시하는 잔차 정보에 대하여 수평 방향 및 수직 방향으로 DWT가 행해지면, 도 4의 B에 도시한 바와 같이, 수평 성분 및 수직 성분이, 각각 고주파수 성분과 저주파수 성분으로 분할된다. 또한 도 4에서, L은 저주파수 성분을 나타내고, H는 고주파수 성분을 나타내고 있다. 또한, 수평 성분과 수직 성분은, 연속해서 표기되어 있다. 이것들은, 후술하는 도 17에서도 마찬가지이다.
도 4의 B에 도시한 바와 같이, 잔차 정보에 대하여 수평 방향 및 수직 방향으로 DWT가 행해지면, 잔차 정보는, 수평 성분 및 수직 성분이 저주파수 성분인 성분(LL 성분), 수평 성분이 고주파수 성분이고, 수직 성분이 저주파수 성분인 성분(HL 성분), 수평 성분이 저주파수 성분이고, 수직 성분이 고주파수 성분인 성분(LH 성분), 및 수평 성분 및 수직 성분이 고주파수 성분인 성분(HH 성분)으로 분할된다.
또한, LL 성분에 대하여 수평 방향 및 수직 방향으로 DWT가 다시 행해지면, 도 4의 C에 도시한 바와 같이, LL 성분의 수평 성분 및 수직 성분이, 또한, 각각 고주파수 성분과 저주파수 성분으로 분할된다. 그 결과, LL 성분은, 수평 성분 및 수직 성분이 저주파수 성분인 성분(LLLL 성분), 수평 성분이 고주파수 성분이고, 수직 성분이 저주파수 성분인 성분(LLHL 성분), 수평 성분이 저주파수 성분이고, 수직 성분이 고주파수 성분인 성분(LLLH 성분), 및 수평 성분 및 수직 성분이 고주파수 성분인 성분(LLHH 성분)으로 분할된다. 또한, 잔차 정보의 LL 성분 이외의 성분인 HL 성분, LH 성분, 및 HH 성분은 그대로다.
그리고, 예를 들면, DWT부(91)에 의한 DWT의 횟수가 2회일 경우, 가장 저주파수의 수평 성분 및 수직 성분으로 이루어지는 LLLL 성분이 저주파수 성분으로서 KLT부(92-0 내지 92-8)(도 3)에 출력된다. 이에 의해, 분리형의 KLT의 대상이 되는 데이터의 크기를, 잔차 정보의 데이터 크기의 1/16로 할 수 있다. 예를 들면, 인트라 예측의 블록 크기가 4×4 화소일 경우, 즉 잔차 정보가 4×4 화소일 경우, 분리형의 KLT의 대상이 되는 데이터의 크기는 1×1 화소가 된다. 또한, 인트라 예측의 블록 크기가 8×8 화소일 경우, 분리형의 KLT의 대상이 되는 데이터의 크기는 2×2 화소가 된다.
그 결과, 인트라 예측에 의한 예측 화상을 이용한 잔차 정보에 대한 직교 변환 처리의 연산량을 삭감할 수 있다. 구체적으로는, 블록 크기가 N×N 화소라고 하면, DWT부(91)의 연산량의 오더는, N부터 Nlog|N| 정도이며, KLT부(92-0 내지 92-8)의 연산량의 오더는, (N/4)2이다. 따라서, 직교 변환 처리의 연산량의 오더는, (N/4)2+Nlog|N| 정도가 되어, 블록 크기가 N×N 화소일 경우의 분리형의 KLT의 연산량의 오더인 N2에 비해 충분히 작아진다.
LLLL 성분 이외의 성분은, 고주파수 성분으로서 그대로 양자화부(65)(도 1)에 출력된다.
또한, DWT의 횟수는, 2회에 한정되지 않고, DWT는, 가장 저주파수의 수평 성분 및 수직 성분으로 이루어지는 성분의 크기가, KLT부(92-0 내지 92-8)에서 처리가능한 크기 이하로 될 때까지 반복된다. KLT부(92-0 내지 92-8)에서 처리 가능한 크기는, 작을수록 직교 변환 처리의 연산량이 적어져, 제조 비용이나 실시간 재생의 면에서 유리해지지만, DWT의 횟수가 많아지기 때문에, 부호화 효율은 저하한다. 따라서, KLT부(92-0 내지 92-8)에서 처리 가능한 크기는, 부호화 효율과 직교 변환 처리의 연산량의 허용 범위를 고려해서 결정된다.
[인트라 예측용 역직교 변환부의 상세 구성예]
도 5는 도 1의 인트라 예측용 역직교 변환부(69B)의 상세 구성예를 도시하는 블록도다.
도 5의 인트라 예측용 역직교 변환부(69B)는, 역KLT부(101-0 내지 101-8), 셀렉터(102), 및 역DWT부(103)에 의해 구성된다.
역KLT부(101-0 내지 101-8)는, 각각 0번 내지 8번의 인트라 예측 모드의 역KLT의 기저에서, 도 1의 역양자화부(68)로부터 공급되는 변환 계수 중의 계수에 대하여 분리형의 역KLT를 행한다.
셀렉터(102)에는, 예측 화상 선택부(76)로부터 공급되는 인트라 예측 모드 정보가 공급된다. 셀렉터(102)는, 인트라 예측 모드 정보에 기초하여, 역KLT부(101-0 내지 101-8)로부터 공급되는 역KLT 후의 성분 중, 최적 인트라 예측 모드에 대응하는 역KLT부(101-0 내지 101-8)로부터 공급되는 역KLT 후의 성분을 선택한다. 그리고, 셀렉터(102)는, 선택된 역KLT 후의 성분을 역DWT부(103)에 공급한다.
역DWT부(103)는, 셀렉터(102)로부터 공급되는 성분을 잔차 정보로서 연산부(70)(도 1)에 공급한다. 또는, 역DWT부(103)는, 셀렉터(102)로부터 공급되는 성분과 역양자화부(68)로부터 공급되는 변환 계수 중의 고주파수 성분에 대하여, DWT부(91)에 의한 DWT에 대응하는 역DWT를 행하고, 그 결과 얻어지는 성분을 잔차 정보로서 연산부(70)에 공급한다.
또한, 도 5의 인트라 예측용 역직교 변환부(69B)에서는, 셀렉터(102)가 역KLT부(101-0 내지 101-8)의 뒤에 설치되었지만, 셀렉터가, 역KLT부(101-0 내지 101-8) 앞에 설치되도록 해도 좋다. 이 경우, 역양자화부(68)로부터 공급되는 변환 계수 중의 계수가, 최적 인트라 예측 모드에 대응하는 역KLT부(101-0 내지 101-8)중 어느 하나에만 공급된다.
[가역 부호화의 순서의 설명]
도 6은 도 1의 가역 부호화부(66)에 의한 가역 부호화의 순서를 설명하는 도면이다.
가역 부호화에서는, 0이 연속되는 수가 부호화되기 때문에, 가역 부호화의 순서는, 0이 연속되는 순서인 것이 바람직하다.
따라서, 가역 부호화부(66)에서는, 양자화 후의 변환 계수의 0이 연속되도록, 부호화 순서를 인트라 예측 모드에 따라서 전환한다.
구체적으로는, 도 6의 A에 도시하는 잔차 정보에 대하여 DWT가 행해지면, 잔차 정보는, 도 6의 B에 도시한 바와 같이, LL 성분, HL 성분, LH 성분, 및 HH 성분의 4개의 성분으로 대역 분할된다. 이때, 도 6의 B에 도시한 바와 같이, LL 성분은, 잔차 정보의 특징을 갖는다. 또한, HL 성분은, 수직 방향의 선을 나타내고, LH 성분은, 수평 방향의 선을 나타내고, HH 성분은, 경사 방향의 선을 나타낸다. 즉, HL 성분은, 수직 방향의 상관이 강하고, LH 성분은, 수평 방향의 상관이 강하고, HH 성분은, 경사 방향의 상관이 강하다.
그리고, 예측 방향이 수직 방향인 0번의 인트라 예측 모드에서는, 잔차 정보의 수직 방향의 상관이 강해진다. 즉, 잔차 정보의 고주파수 성분은, 수평 방향으로 많아진다. 따라서, 0번의 인트라 예측 모드에서는, HL 성분이 많아지는 경우가 많다.
또한, 예측 방향이 수평 방향인 1번의 인트라 예측 모드에서는, 잔차 정보의 수평 방향의 상관이 강해진다. 즉, 잔차 정보의 고주파수 성분은, 수직 방향으로 많아진다. 따라서, 1번의 인트라 예측 모드에서는, LH 성분이 많아지는 경우가 많다.
또한, 예측 방향이 경사 방향인 3 내지 8번인 인트라 예측 모드에서는, 잔차 정보의 경사 방향의 상관이 강해진다. 즉, 잔차 정보의 고주파수 성분은, 경사 방향으로 많아진다. 따라서, 3 내지 8번의 인트라 예측 모드에서는, HH 성분이 많아지는 경우가 많다.
여기서, 가역 부호화 대상으로서 양자화 후의 변환 계수의 0을 연속시키기 위해서는, DWT 후의 값이 많은 것으로 추정되는 성분의 양자화 후의 변환 계수로부터, DWT 후의 값이 보다 적어지는 것으로 추정되는 순서대로 각 성분의 양자화 후의 변환 계수를 가역 부호화 대상으로 할 필요가 있다.
따라서, 가역 부호화부(66)에서는, 최적 예측 모드가 0번인 인트라 예측 모드일 경우, 예를 들면, LL 성분, HL 성분, HH 성분, LH 성분의 순서대로 가역 부호화 대상으로 한다. 또한, 최적 예측 모드가 1번인 인트라 예측 모드일 경우, 예를 들면, LL 성분, LH 성분, HH 성분, HL 성분의 순서대로 가역 부호화 대상으로 한다. 또한, 최적 예측 모드가 3 내지 8번인 인트라 예측 모드일 경우, 예를 들면, LL 성분, HH 성분, HL 성분, LH 성분의 순서대로 가역 부호화 대상으로 한다. 또한, 최적 예측 모드가 2번인 인트라 예측 모드일 경우에는, 미리 정해진 소정의 순서대로, 각 성분이 가역 부호화 대상으로 된다.
또한, LH 성분, HL 성분, 및 HH 성분 내에서도, DWT 후의 값이 많은 것으로 추정되는 블록으로부터, 보다 적어지는 것으로 추정되는 순서대로 각 블록이 가역 부호화 대상으로 된다. 구체적으로는, LH 성분은, 수평 방향의 상관이 강하기 때문에, LH 성분 내에서는, 수평 방향으로 배열하는 순서대로 각 블록이 가역 부호화 대상으로 된다. 또한, HL 성분은, 수직 방향의 상관이 강하므로, HL 성분 내에서는, 수직 방향으로 배열하는 순서대로 각 블록이 가역 부호화 대상으로 된다. 또한, HH 성분에서는, 경사 방향의 상관이 강하므로, HH 성분 내에서는, 경사 방향으로 배열하는 순서대로 각 블록이 가역 부호화 대상으로 된다.
또한, LL 성분 내에서는, 미리 정해진 소정의 순서대로, 각 블록이 가역 부호화 대상으로 된다. LL 성분 내의 순서는, 인트라 예측 모드마다 서로 다르게 해도 좋다.
[화상 부호화 장치의 부호화 처리의 설명]
도 7은 도 1의 화상 부호화 장치(51)의 부호화 처리를 설명하는 플로우차트다.
스텝 S11에서, A/D 변환부(61)는, 입력된 프레임 단위의 화상을 A/D 변환하여, 화면 재배열 버퍼(62)에 공급한다. 스텝 S12에서, 화면 재배열 버퍼(62)는, A/D 변환부(61)로부터 공급된 화상을 기억하고, 기억하고 있는 표시의 순번의 프레임의 화상의, 부호화를 위한 순번으로의 재배열을 행하여, 연산부(63)에 공급한다.
스텝 S13에서, 연산부(63)는, 화면 재배열 버퍼(62)로부터 판독된 화상에서, 필요에 따라서, 예측 화상 선택부(76)로부터 공급되는 예측 화상을 감산하여, 잔차 정보를 구한다. 그리고, 연산부(63)는, 그 잔차 정보를 직교 변환부(64)에 출력한다.
스텝 S14에서, 직교 변환부(64)는, 연산부(63)로부터 공급되는 잔차 정보에 대하여 직교 변환 처리를 행한다. 구체적으로는, 직교 변환부(64)의 인터 예측용 직교 변환부(64A)는, 예측 화상 선택부(76)로부터 인터 예측 모드 정보가 공급될 경우, 연산부(63)로부터의 잔차 정보에 대하여 직교 변환 처리를 행하고, 그 결과 얻어지는 계수를 변환 계수로서 양자화부(65)에 공급한다.
또한, 인트라 예측용 직교 변환부(64B)는, 예측 화상 선택부(76)로부터 인트라 예측 모드 정보가 공급될 경우, 연산부(63)로부터의 잔차 정보에 대하여 직교 변환 처리를 행한다. 이 직교 변환 처리의 상세 내용은, 후술하는 도 8을 참조하여 설명한다.
스텝 S15에서, 양자화부(65)는, 직교 변환 처리의 결과 얻어지는 변환 계수를 양자화한다. 이 양자화에 있어서, 후술하는 스텝 S30의 처리에서 설명되는 바와 같이, 레이트가 제어된다.
이상과 같이 해서 양자화된 변환 계수는, 다음과 같이 하여 국부적으로 복호된다. 즉, 스텝 S16에서, 역양자화부(68)는, 양자화부(65)에 의해 양자화된 변환 계수를, 양자화부(65)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S17에서, 역직교 변환부(69)는, 역양자화부(68)에 의해 역양자화된 변환 계수에 대하여, 직교 변환부(64)에 의한 직교 변환 처리에 대응하는 역직교 변환 처리를 행한다.
구체적으로는, 역직교 변환부(69)의 인터 예측용 역직교 변환부(69A)는, 예측 화상 선택부(76)로부터 인터 예측 모드 정보가 공급될 경우, 역양자화부(68)로부터 공급되는 변환 계수에 대하여 역직교 변환 처리를 행한다. 인터 예측용 역직교 변환부(69A)는, 그 결과 얻어지는 잔차 정보를 연산부(70)에 공급한다.
또한, 인트라 예측용 역직교 변환부(69B)는, 예측 화상 선택부(76)로부터 인트라 예측 모드 정보가 공급될 경우, 역양자화부(68)로부터 공급되는 변환 계수에 대하여 역직교 변환 처리를 행한다. 이 역직교 변환 처리의 상세 내용은, 후술하는 도 9를 참조하여 설명한다.
스텝 S18에서, 연산부(70)는, 역직교 변환부(69)로부터 공급되는 잔차 정보를 예측 화상 선택부(76)로부터 공급되는 예측 화상에 가산하여, 국부적으로 복호된 화상을 생성한다. 그리고, 연산부(70)는, 국부적으로 복호된 화상을 연산부(70) 및 프레임 메모리(72)에 공급한다.
스텝 S19에서, 디블록 필터(71)는, 연산부(70)로부터 공급되는 국부적으로 복호된 화상을 필터링함으로써, 블록 왜곡을 제거한다. 그리고,디블록 필터(71)는, 그 결과 얻어지는 화상을 프레임 메모리(72)에 공급한다.
스텝 S20에서, 프레임 메모리(72)는, 디블록 필터(71)로부터 공급되는 화상, 및 연산부(70)로부터 공급되는 디블록 필터(71)에 의해 필터링되지 않은 화상을 기억한다.
스텝 S21에서, 인트라 예측부(74)는, 인트라 예측 처리를 행한다. 구체적으로는, 인트라 예측부(74)는, 화면 재배열 버퍼(62)로부터 판독된 화상과, 스위치(73)를 통해 프레임 메모리(72)로부터 공급된 참조 화상에 기초하여, 후보가 되는 모든 인트라 예측 모드의 인트라 예측 처리를 행하여, 예측 화상을 생성한다.
스텝 S22에서, 인트라 예측부(74)는, 후보가 되는 모든 인트라 예측 모드의 코스트 함수값을 산출하는 인트라 예측 코스트 함수값 산출 처리를 행한다. 이 인트라 예측 코스트 함수값 산출 처리의 상세 내용은, 후술하는 도 10을 참조하여 설명한다.
스텝 S23에서, 움직임 예측·보상부(75)는, 움직임 예측·보상 처리를 행한다. 구체적으로는, 움직임 예측·보상부(75)는, 화면 재배열 버퍼(62)로부터 공급되는 화상과 스위치(73)를 통해 공급되는 참조 화상에 기초하여, 후보가 되는 모든 인터 예측 모드의 움직임 예측 행동, 움직임 벡터를 생성한다. 그리고, 움직임 예측·보상부(75)는, 움직임 벡터에 기초해서 참조 화상에 대하여 보상 처리를 행하고, 예측 화상을 생성한다.
스텝 S24에서, 움직임 예측·보상부(75)는, 후보가 되는 모든 인터 예측 모드의 코스트 함수값을 산출하여, 코스트 함수값이 최소가 되는 인터 예측 모드를 최적 인터측 모드로 결정한다. 그리고, 움직임 예측·보상부(75)는, 인터 예측 모드 정보, 최적 인터 예측 모드에서 생성된 예측 화상, 및 대응하는 코스트 함수값을 예측 화상 선택부(76)에 공급한다.
스텝 S25에서, 예측 화상 선택부(76)는, 인트라 예측부(74)로부터 공급되는 최적 인트라 예측 모드의 코스트 함수값이, 움직임 예측·보상부(75)로부터 공급되는 최적 인터 예측 모드의 코스트 함수값보다 큰지 여부를 판정한다.
스텝 S25에서 최적 인트라 예측 모드의 코스트 함수값이 최적 인터 예측 모드의 코스트 함수값보다 크다고 판정되었을 경우, 처리는 스텝 S26으로 진행한다. 스텝 S26에서, 예측 화상 선택부(76)는, 최적 인트라 예측 모드를 최적 예측 모드로 결정하고, 최적 인트라 예측 모드의 예측 화상을 선택한다. 그리고, 예측 화상 선택부(76)는, 최적 인트라 예측 모드의 예측 화상을, 연산부(63) 및 연산부(70)에 공급한다. 이 예측 화상은, 상술한 스텝 S13 및 S18의 처리에 이용된다. 또한, 예측 화상 선택부(76)는, 인트라 예측 모드 정보를, 직교 변환부(64)와 역직교 변환부(69)에 공급하고, 최적 인트라 예측 모드의 예측 화상의 선택을 인트라 예측부(74)에 통지한다. 인트라 예측부(74)는, 이 통지에 따라서, 인트라 예측 모드 정보를 가역 부호화부(66)에 공급한다. 그리고, 처리는 스텝 S28로 진행한다.
한편, 스텝 S25에서 최적 인트라 예측 모드의 코스트 함수값이 최적 인터 예측 모드의 코스트 함수값보다 크지는 않다고 판정되었을 경우, 처리는 스텝 S27로 진행한다. 스텝 S27에서, 예측 화상 선택부(76)는, 최적 인터 예측 모드를 최적 예측 모드로 결정하고, 최적 인터 예측 모드의 예측 화상을 선택한다. 그리고, 예측 화상 선택부(76)는 최적 인터 예측 모드의 예측 화상을, 연산부(63) 및 연산부(70)에 공급한다. 이 예측 화상은, 상술한 스텝 S13 및 S18의 처리에 이용된다. 또한, 예측 화상 선택부(76)는, 인터 예측 모드 정보를 직교 변환부(64)와 역직교 변환부(69)에 공급하고, 인터 예측 모드의 예측 화상의 선택을 움직임 예측·보상부(75)에 통지한다. 움직임 예측·보상부(75)는, 이 통지에 따라서, 인터 예측 모드 정보, 대응하는 움직임 벡터의 정보 등을 가역 부호화부(66)에 공급한다. 그리고, 처리는 스텝 S28로 진행한다.
스텝 S28에서, 가역 부호화부(66)는, 양자화부(65)로부터 공급되는 양자화된 변환 계수를 가역 부호화해서 압축 화상을 얻는다. 또한, 가역 부호화 대상의 변환 계수의 최적 예측 모드가 최적 인트라 예측 모드일 경우, 가역 부호화는, 도 6에서 설명한 바와 같은 최적 인트라 예측 모드에 따른 순서로 행해진다. 또한, 가역 부호화부(66)는, 인트라 예측 모드 정보, 인터 예측 모드 정보, 움직임 벡터의 정보 등을 가역 부호화하고, 그 결과 얻어지는 정보를 압축 화상에 부가되는 헤더 정보로 한다. 가역 부호화부(66)는, 가역 부호화의 결과 얻어지는 헤더 정보가 부가된 압축 화상을 압축 정보로서 축적 버퍼(67)에 공급한다.
스텝 S29에서, 축적 버퍼(67)는, 가역 부호화부(66)로부터 공급되는 압축 정보를 축적한다. 축적 버퍼(67)에 축적된 압축 정보는 적절히 판독되어, 전송로를 통해 복호측에 전송된다.
스텝 S30에서, 레이트 제어부(77)는, 축적 버퍼(67)에 축적된 압축 정보에 기초하여, 오버플로우 혹은 언더플로우가 발생하지 않도록, 양자화부(65)의 양자화 동작의 레이트를 제어한다.
도 8은 도 7의 스텝 S14의 인트라 예측용 직교 변환부(64B)에 의한 직교 변환 처리를 설명하는 플로우차트다.
스텝 S41에서, 인트라 예측용 직교 변환부(64B)의 DWT부(91)(도 3)는, 연산부(63)(도 1)로부터 공급되는 잔차 정보의 크기가, KLT부(92-0 내지 92-8)에서 처리 가능한 크기인지 여부를 판정한다.
스텝 S41에서, 잔차 정보의 크기가 KLT부(92-0 내지 92-8)에서 처리 가능한 크기가 아니라고 판정되었을 경우, 스텝 S42에서, DWT부(91)는, 잔차 정보에 대하여 DWT를 행한다.
스텝 S43에서, DWT부(91)는, 스텝 S42의 처리의 결과 얻어지는 저주파수 성분의 크기가, KLT부(92-0 내지 92-8)에서 처리 가능한 크기인지 여부를 판정한다. 스텝 S43에서, DWT의 결과 얻어지는 저주파수 성분의 크기가, KLT부(92-0 내지 92-8)에서 처리 가능한 크기가 아니라고 판정되었을 경우, 스텝 S44에서, DWT부(91)는, 스텝 S42의 처리의 결과 얻어지는 저주파수 성분에 대하여 DWT를 행한다. 그리고, 처리는 스텝 S43으로 되돌아가서, 저주파수 성분의 크기가 KLT부(92-0 내지 92-8)에서 처리 가능한 크기로 될 때까지, 스텝 S43 및 S44의 처리가 반복된다.
스텝 S43에서, DWT의 결과 얻어지는 저주파수 성분의 크기가, KLT부(92-0 내지 92-8)에서 처리 가능한 크기라고 판정되었을 경우, DWT부(91)는, DWT의 결과 얻어지는 저주파수 성분을 KLT부(92-0 내지 92-8)에 공급하고, 고주파수 성분을 셀렉터(93)에 공급한다.
그리고, 스텝 S45에서, KLT부(92-0 내지 92-8)는, 각각 대응하는 인트라 예측 모드의 KLT의 기저에서, 저주파수 성분에 대하여 분리형의 KLT를 행한다.
스텝 S46에서, 셀렉터(93)는, 인트라 예측 모드 정보에 기초하여, KLT부(92-0 내지 92-8)로부터 공급되는 계수 중, 최적 인트라 예측 모드에 대응하는 KLT부(92-0 내지 92-8)로부터 공급되는 계수를 선택하여, 양자화부(65)(도 1)에 출력한다.
스텝 S47에서, 셀렉터(93)는, DWT부(91)로부터 공급되는 고주파수 성분을 양자화부(65)에 출력한다.
한편, 스텝 S41에서 잔차 정보의 크기가, KLT부(92-0 내지 92-8)에서 처리 가능한 크기라고 판정되었을 경우, DWT부(91)는, 잔차 정보를 그대로 KLT부(92-0 내지 92-8)에 공급한다. 그리고, 스텝 S48에서, KLT부(92-0 내지 92-8)는, 각각 대응하는 인트라 예측 모드의 KLT의 기저에서, 잔차 정보에 대하여 분리형의 KLT를 행한다.
스텝 S49에서, 셀렉터(93)는, 인트라 예측 모드 정보에 기초하여, KLT부(92-0 내지 92-8)로부터 공급되는 계수 중, 최적 인트라 예측 모드에 대응하는 KLT부(92-0 내지 92-8)로부터 공급되는 계수를 선택하여, 양자화부(65)에 출력한다.
도 9는 도 7의 스텝 S17의 인트라 예측용 역직교 변환부(69B)의 역직교 변환 처리를 설명하는 플로우차트다.
스텝 S61에서, 인트라 예측용 역직교 변환부(69B)의 역KLT부(101-0 내지 101-8)(도 5)는, 각각 대응하는 인트라 예측 모드의 KLT의 기저에서, 역양자화부(68)(도 1)로부터 공급되는 변환 계수 중의 계수에 대하여 분리형의 역KLT를 행한다.
스텝 S62에서, 셀렉터(102)는, 예측 화상 선택부(76)로부터의 인트라 예측 모드 정보에 기초하여, 역KLT부(101-0 내지 101-8)로부터 공급되는 역KLT 후의 성분 중, 최적 인트라 예측 모드에 대응하는 역KLT부(101-0 내지 101-8)로부터 공급되는 역KLT 후의 성분을 선택한다. 그리고, 셀렉터(102)는, 선택된 역KLT 후의 성분을 역DWT부(103)에 공급한다.
스텝 S63에서, 역DWT부(103)는, 셀렉터(102)로부터 공급되는 역KLT 후의 성분의 크기가 블록 크기인지 여부를 판정한다. 스텝 S63에서 역KLT 후의 성분의 크기가 블록 크기가 아니라고 판정되었을 경우, 처리는 스텝 S64로 진행한다. 스텝 S64에서, 역DWT부(103)는, 역KLT 후의 성분과 역양자화부(68)로부터 공급되는 변환 계수 중의 고주파수 성분에 대하여 역DWT를 행한다.
스텝 S65에서, 역DWT부(103)는, 스텝 S64의 처리의 결과 얻어지는 역DWT 후의 성분의 크기가 블록 크기인지 여부를 판정한다. 스텝 S65에서, 역DWT 후의 성분의 크기가 블록 크기가 아니라고 판정되었을 경우, 처리는 스텝 S64로 되돌아가서, 역DWT 후의 성분의 크기가 블록 크기로 될 때까지, 스텝 S64 및 S65의 처리가 반복된다.
스텝 S65에서 역DWT 후의 성분의 크기가 블록 크기라고 판정되었을 경우, 처리는 스텝 S66으로 진행한다.
한편, 스텝 S63에서 역KLT 후의 성분의 크기가 블록 크기라고 판정되었을 경우, 처리는 스텝 S66으로 진행한다.
스텝 S66에서, 역DWT부(103)는, 역DWT 후의 성분 또는 역KLT 후의 성분을 잔차 정보로서 연산부(70)(도 1)에 공급한다.
도 10은 도 7의 스텝 S22의 인트라 예측 코스트 함수값 산출 처리를 설명하는 플로우차트다.
스텝 S81에서, 인트라 예측부(74)는, 아직 처리 대상의 블록의 블록 크기(이하, 대상 블록 크기라고 함)로 설정되지 않은, 후보가 되는 블록 크기를 대상 블록 크기로 설정한다. 여기서, 후보가 되는 블록 크기는, 4×4 화소와 8×8 화소다.
스텝 S82에서, 인트라 예측부(74)는, 대상 블록 크기의 블록 IDX 중, 또한 처리 대상의 블록의 블록 IDX(이하, 대상 블록 IDX라고 함)로 설정되지 않은 블록 IDX를 대상 블록 IDX로 설정한다. 또한, 블록 IDX란, 블록 크기에 따라서 매크로 블록을 블록으로 분할했을 때의 각 블록을 특정하는 정보이다. 예를 들면, 매크로 블록이 128×128이며, 블록 크기가 8×8일 경우, 블록 IDX는, 0 내지 15의 16개가 된다.
스텝 S83에서, 인트라 예측부(74)는, 인트라 예측 모드의 번호 mode를 0으로 설정한다.
스텝 S84에서, 인트라 예측부(74)는, 번호 mode의 인트라 예측 모드의 코스트 함수값을 산출하는 코스트 함수값 산출 처리를 행한다. 이 코스트 함수값 산출 처리의 상세 내용은, 후술하는 도 11에서 설명한다.
스텝 S85에서, 인트라 예측부(74)는, 번호 mode가, 후보가 되는 인트라 예측 모드의 수 9보다 작은지 여부를 판정한다. 스텝 S85에서 번호 mode가 9보다 작다고 판정되었을 경우, 즉 아직 대상 블록 IDX의 블록의 전체 인트라 예측 모드의 코스트 함수값이 산출되지 않은 경우, 처리는 스텝 S86으로 진행한다.
스텝 S86에서, 인트라 예측부(74)는, 번호 mode를 1만큼 인크리먼트 하고, 처리를 스텝 S84로 되돌아가서, 번호 mode가 9 이상이 될 때까지, 스텝 S84 내지 S86의 처리를 반복한다.
스텝 S85에서 번호 mode가 9보다 작지는 않다고 판정되었을 경우, 즉, 대상 블록 IDX의 블록의 전체 인트라 예측 모드의 코스트 함수값이 산출되었을 경우, 처리는 스텝 S87로 진행한다. 스텝 S87에서, 인트라 예측부(74)는, 대상 블록 IDX의 블록의 전체 인트라 예측 모드의 코스트 함수값 중의 최소값에 대응하는 인트라 예측 모드를, 대상 블록 IDX의 블록의 최적 인트라 예측 모드로 결정한다.
스텝 S88에서, 인트라 예측부(74)는, 대상 블록 크기의 모든 블록 IDX가 대상 블록 IDX로 되었는지 여부를 판정한다. 스텝 S88에서 아직 대상 블록 크기의 모든 블록 IDX가 대상 블록 IDX로 되지 않았다고 판정되었을 경우, 처리는 스텝 S82로 되돌아간다. 그리고, 대상 블록 크기의 모든 블록 IDX가 대상 블록 IDX로 될 때까지, 스텝 S82 내지 S88의 처리가 반복된다.
스텝 S88에서 대상 블록 크기의 모든 블록 IDX가 대상 블록 IDX로 된 경우, 스텝 S89에서, 인트라 예측부(74)는, 모든 블록 크기가 대상 블록 크기로 되었는지 여부를 판정한다.
스텝 S89에서 모든 블록 크기가 아직 대상 블록 크기로 되었다고 판정되지 않았을 경우, 처리는 스텝 S81로 되돌아가서, 모든 블록 크기가 대상 블록 크기로 될 때까지, 스텝 S81 내지 S89의 처리가 반복된다.
스텝 S89에서 모든 블록 크기가 대상 블록 크기로 되었다고 판정되었을 경우, 즉, 전체 블록 크기의 전체 블록의 최적 인트라 예측 모드가 결정되었을 경우, 처리는 스텝 S90으로 진행한다.
스텝 S90에서, 인트라 예측부(74)는, 전체 블록 크기의 전체 블록의 최적 인트라 예측 모드의 코스트 함수값에 기초하여, 매크로 블록 단위로 코스트 함수값이 최소가 되는 인트라 예측 모드를, 최종적인 최적 인트라 예측 모드로 결정한다. 그리고, 인트라 예측부(74)는, 그 최적 인트라 예측 모드를 나타내는 인트라 예측 모드 정보, 최적 인트라 예측 모드에서 생성된 예측 화상, 및 대응하는 코스트 함수값을 예측 화상 선택부(76)에 공급한다. 그리고, 처리는 도 7의 스텝 S22로 되돌아가서, 스텝 S23으로 진행한다.
도 11은 도 10의 스텝 S84의 코스트 함수값 산출 처리를 설명하는 플로우차트다.
스텝 S111에서, 인트라 예측부(74)는, 화면 재배열 버퍼(62)로부터 공급되는 대상 블록 IDX에 대응하는 화상에서, 대상 블록 IDX에 대응하는 번호 mode의 인트라 예측 모드의 예측 화상을 감산하여, 잔차 정보를 구한다.
스텝 S112에서, 인트라 예측부(74)는, 잔차 정보에 대해 도 8의 직교 변환 처리를 행한다.
스텝 S113에서, 인트라 예측부(74)는, 직교 변환 처리의 결과 얻어지는 변환 계수를 양자화한다.
스텝 S114에서, 인트라 예측부(74)는, 양자화된 변환 계수 중의 계수를 소정의 순서로 가역 부호화한다.
스텝 S115에서, 인트라 예측부(74)는, 양자화된 변환 계수 중의 각 고주파수 성분(예를 들면, LH 성분, HL 성분, HH 성분)을, 번호 mode의 인트라 예측 모드에 따른 순서로 가역 부호화한다. 또한, 스텝 S112의 직교 변환 처리에서 DWT가 행해지지 않은 경우에는, 스텝 S115의 처리는 생략된다.
스텝 S116에서, 인트라 예측부(74)는, 스텝 S113에서 얻어진 양자화된 변환 계수를 역양자화한다.
스텝 S117에서, 인트라 예측부(74)는, 스텝 S116에서 역양자화된 변환 계수에 대하여, 도 9의 역직교 변환 처리를 행한다.
스텝 S118에서, 인트라 예측부(74)는, 스텝 S117의 처리의 결과 얻어지는 잔차 정보를, 대상 블록 IDX에 대응하는 번호 mode의 인트라 예측 모드의 예측 화상과 가산한다.
스텝 S119에서, 인트라 예측부(74)는, 스텝 S118의 처리의 결과 얻어지는 복호 화상, 화면 재배열 버퍼(62)로부터 공급되는 화상, 및 스텝 S115의 처리의 발생 부호량을 이용하여, 상술한 식 (1)에 의해 코스트 함수값을 산출한다. 이 코스트 함수값은, 대상 블록 IDX의 블록의 번호 mode의 인트라 예측 모드의 코스트 함수값이 된다.
이상과 같이, 화상 부호화 장치(51)에서는, 인트라 예측용 직교 변환부(64B)가, 분산형의 KLT보다 연산량이 적은 DWT를, 분산형의 KLT보다 전에 행하고, DWT의 결과 얻어지는 저주파수 성분에 대해서만 분산형의 KLT를 행한다. 그 결과, 인트라 예측시의 직교 변환 처리의 연산량을 삭감하여, 블록 크기가 큰 경우에도, 그 연산량을 적게 할 수 있다. 또한, 역직교 변환 처리시에, 저주파수 성분에 대해서만 분산형의 역KLT를 행하고, 역KLT보다 연산량이 적은 역DWT를 행하면 되기 때문에, 역직교 변환 처리의 연산량도 마찬가지로 삭감할 수 있다.
현재의 AVC 방식에서는, 인트라 예측의 최대 블록 크기는 16×16이지만, 차세대 규격에서는, 16×16을 초과하는 블록 크기가 채용될 가능성이 높다. 따라서, 인트라 예측시의 직교 변환 처리의 연산량을 삭감하는 것은 매우 유용하다. 직교 변환 처리의 연산량의 삭감에 의해, 인트라 예측용 직교 변환부(64B)가 하드웨어로 실현될 경우, LSI의 회로 규모를 삭감하여, 제조 비용을 삭감할 수 있다. 또한, 인트라 예측용 직교 변환부(64B)가 소프트웨어로 실현될 경우에는, 처리량을 삭감하여, 실시간으로의 화상의 재생을 보다 확실하게 행할 수 있다.
[화상 복호 장치의 구성예]
도 12는 본 기술을 적용한 화상 복호 장치의 제1 실시 형태의 구성예를 도시하는 블록도다.
화상 복호 장치(151)는, 축적 버퍼(161), 가역 복호부(162), 역양자화부(163), 역직교 변환부(164), 연산부(165), 디블록 필터(166), 화면 재배열 버퍼(167), D/A 변환부(168), 프레임 메모리(169), 스위치(170), 인트라 예측부(171), 움직임 보상부(172), 및 스위치(173)에 의해 구성되어 있다.
축적 버퍼(161)는, 화상 부호화 장치(51)로부터 전송되어 온 압축 정보를 축적한다. 가역 복호부(162)(복호부)는, 축적 버퍼(161)로부터 압축 정보를 판독해서 취득하고, 그 압축 정보를 도 1의 가역 부호화부(66)의 가역 부호화 방식에 대응하는 방식으로 가역 복호한다.
구체적으로는, 가역 복호부(162)는, 압축 정보 중의 헤더 정보를 가역 복호하여, 인트라 예측 모드 정보, 인터 예측 모드 정보, 움직임 벡터 정보 등을 취득한다. 또한, 가역 복호부(162)는, 압축 정보 중의 압축 화상을 가역 복호한다. 또한, 인트라 예측 모드 정보가 취득되었을 경우, 가역 복호부(162)는, 그 인트라 예측 모드 정보가 나타내는 최적 인트라 예측 모드에 따른 순서로, 압축 화상을 가역 복호한다.
또한, 가역 복호부(162)는, 압축 화상을 가역 복호한 결과 얻어지는 양자화된 변환 계수를 역양자화부(163)에 공급한다. 가역 복호부(162)는, 가역 복호의 결과 얻어지는 인트라 예측 모드 정보를 역직교 변환부(164)와 인트라 예측부(171)에 공급하고, 인터 예측 모드 정보, 움직임 벡터 정보 등을 움직임 보상부(172)에 공급한다. 또한, 가역 복호부(162)는, 인터 예측 모드 정보를 역직교 변환부(164)에 공급한다.
역양자화부(163)는, 도 1의 역양자화부(68)와 마찬가지로 구성되어, 가역 복호부(16)로부터 공급되는 양자화된 변환 계수를, 도 1의 역양자화부(65)의 양자화 방식에 대응하는 방식으로 역양자화한다. 역양자화부(163)는, 역양자화의 결과 얻어지는 변환 계수를 역직교 변환부(164)에 공급한다.
역직교 변환부(164)는, 도 1의 역직교 변환부(69)와 마찬가지로 구성된다. 역직교 변환부(164)는, 가역 복호부(162)로부터 공급되는 인터 예측 모드 정보 또는 인트라 예측 모드 정보에 따라서, 역양자화부(163)로부터 공급되는 변환 계수에 대해 역직교 변환 처리를 행한다. 역직교 변환부(164)는, 역직교 변환 처리의 결과 얻어지는 잔차 정보를 연산부(165)에 공급한다.
연산부(165)는, 역직교 변환부(164)로부터 공급되는 잔차 정보를, 필요에 따라서, 스위치(173)로부터 공급되는 예측 화상과 가산하여, 복호한다. 연산부(165)는, 복호된 화상을 디블록 필터(166)에 공급한다.
디블록 필터(166)는, 연산부(165)로부터 공급되는 복호된 화상을 필터링함으로써 블록 왜곡을 제거한다. 디블록 필터(166)는, 그 결과 얻어지는 화상을 프레임 메모리(169)에 공급하여 축적시키는 동시에, 화면 재배열 버퍼(167)에 출력한다.
화면 재배열 버퍼(167)는, 디블록 필터(166)로부터 공급되는 화상의 재배열을 행한다. 구체적으로는, 도 1의 화면 재배열 버퍼(62)에 의해 부호화하기 위한 순서대로 재배열된 화상의 순번이, 원래의 표시의 순서대로 재배열된다. D/A 변환부(168)는, 화면 재배열 버퍼(167)에 의해 재배열된 화상을 D/A 변환하여, 도시하지 않는 디스플레이에 출력해서 표시시킨다.
스위치(170)는, 프레임 메모리(169)에 기억되어 있는 화상을 참조 화상으로서 판독하여, 움직임 보상부(172)에 출력하는 동시에, 인트라 예측부(171)에 공급한다.
인트라 예측부(171)는, 가역 복호부(162)로부터 공급되는 인트라 예측 모드 정보에 기초해서, 그 인트라 예측 모드 정보가 나타내는 최적 인트라 예측 모드의 인트라 예측 처리를 행하여, 예측 화상을 생성한다. 인트라 예측부(171)는, 예측 화상을 스위치(173)에 출력한다.
움직임 보상부(172)는, 가역 복호부(162)로부터 공급되는 인터 예측 모드 정보, 움직임 벡터 정보 등에 기초해서, 스위치(170)를 통해 공급되는 참조 화상에 움직임 보상 처리를 행하여, 예측 화상을 생성한다. 움직임 보상부(172)는, 예측 화상을 스위치(173)에 공급한다.
스위치(173)는, 움직임 보상부(172) 또는 인트라 예측부(171)에 의해 생성된 예측 화상을 선택하여, 연산부(165)에 공급한다.
[화상 복호 장치의 처리의 설명]
도 13은 화상 복호 장치(151)에 의한 복호 처리를 설명하는 플로우차트다.
스텝 S131에서, 축적 버퍼(161)는, 화상 부호화 장치(51)로부터 전송되어 온 압축 정보를 축적한다. 스텝 S132에서, 가역 복호부(162)는, 축적 버퍼(161)로부터 압축 정보를 판독하여, 그 압축 정보에 대해 가역 복호 처리를 행한다. 인트라 예측 모드 정보가 취득되었을 경우의 가역 복호 처리의 상세 내용은, 후술하는 도 14를 참조하여 설명한다.
또한, 가역 복호부(162)는, 가역 복호 처리의 결과 얻어지는 양자화된 변환 계수를 역양자화부(163)에 공급한다. 가역 복호부(162)는, 가역 복호 처리의 결과 얻어지는 인트라 예측 모드 정보를 역직교 변환부(164)와 인트라 예측부(171)에 공급하고, 인터 예측 모드 정보, 움직임 벡터 정보 등을 움직임 보상부(172)에 공급한다. 또한, 가역 복호부(162)는, 인터 예측 모드 정보를 역직교 변환부(164)에 공급한다.
스텝 S133에서, 역양자화부(163)는, 가역 복호부(162)로부터 공급되는 양자화된 변환 계수를, 도 1의 양자화부(65)의 특성에 대응하는 특성으로 역양자화한다. 역양자화부(163)는, 역양자화의 결과 얻어지는 변환 계수를 역직교 변환부(164)에 공급한다.
스텝 S134에서, 역직교 변환부(164)는, 역양자화부(163)로부터 공급되는 변환 계수에 대하여, 도 7의 스텝 S17의 역직교 변환 처리와 마찬가지의 역직교 변환 처리를 행한다. 역직교 변환부(164)는, 역직교 변환 처리의 결과 얻어지는 잔차 정보를 연산부(165)에 공급한다.
스텝 S135에서, 연산부(165)는, 후술하는 스텝 S141의 처리에 의해 입력되는 예측 화상을, 필요에 따라서, 역직교 변환부(164)로부터 공급되는 잔차 정보와 가산하여 복호한다. 연산부(165)는, 복호된 화상을 디블록 필터(166)에 공급한다.
스텝 S136에서, 디블록 필터(166)는, 연산부(165)로부터 공급되는 복호된 화상을 필터링함으로써, 블록 왜곡을 제거한다. 디블록 필터(166)는, 그 결과 얻어지는 화상을 프레임 메모리(169)와 화면 재배열 버퍼(167)에 공급한다.
스텝 S137에서, 프레임 메모리(169)는 디블록 필터(166)로부터 공급되는 화상을 기억한다.
스텝 S138에서, 가역 복호부(162)는, 압축 정보에 포함되는 압축 화상이 인터 예측된 화상인지 여부, 즉, 인터 예측 모드 정보가 취득되었는지 여부를 판정한다.
스텝 S138에서 압축 정보에 포함되는 압축 화상이 인터 예측된 화상이라고 판정되었을 경우, 가역 복호부(162)는, 인터 예측 모드 정보, 움직임 벡터 정보 등을 움직임 보상부(172)에 공급한다.
그리고, 스텝 S139에서, 움직임 보상부(172)는, 가역 복호부(162)로부터 공급되는 인터 예측 모드 정보, 움직임 벡터 정보 등에 기초해서, 스위치(170)를 통해 공급되는 참조 화상에 움직임 보상 처리를 행하여, 예측 화상을 생성한다. 움직임 보상부(172)는, 예측 화상을 스위치(173)에 공급한다.
한편, 스텝 S138에서 압축 정보에 포함되는 압축 화상이 인터 예측된 화상이 아니라고 판정되었을 경우, 즉, 인트라 예측 모드 정보가 취득되었다고 판정되었을 경우, 가역 복호부(162)는, 인트라 예측 모드 정보를 인트라 예측부(171)에 공급한다.
그리고, 스텝 S140에서, 인트라 예측부(171)는, 가역 복호부(162)로부터 공급되는 인트라 예측 모드 정보에 기초해서, 그 인트라 예측 모드 정보가 나타내는 최적 인트라 예측 모드의 인트라 예측 처리를 행하여, 예측 화상을 생성한다. 인트라 예측부(171)는, 예측 화상을 스위치(173)에 출력한다.
스텝 S141에서, 스위치(173)는, 움직임 보상부(172) 또는 인트라 예측부(171)로부터 공급되는 예측 화상을 선택하여, 연산부(165)에 출력한다. 이 예측 화상은, 상술한 바와 같이, 스텝 S135에서 역직교 변환부(164)의 출력과 가산된다.
스텝 S142에서, 화면 재배열 버퍼(167)는, 디블록 필터(166)로부터 공급되는 화상의 재배열을 행한다.
스텝 S143에서, D/A 변환부(168)는, 화면 재배열 버퍼(167)에 의해 재배열된 화상을 D/A 변환하여, 도시하지 않는 디스플레이에 출력해서 표시시킨다.
도 14는 도 13의 스텝 S132에서의, 인트라 예측 모드 정보가 취득되었을 경우의 가역 복호 처리를 설명하는 플로우차트다.
스텝 S151에서, 가역 복호부(162)는, 축적 버퍼(161)로부터 공급되는 압축 정보 중, 양자화되어 가역 부호화된 계수를 가역 복호하여, 역양자화부(163)에 공급한다.
스텝 S152에서, 가역 복호부(162)는, 압축 정보 중, 양자화되어 가역 복호된 각 고주파수 성분을, 인트라 예측 정보가 나타내는 최적 인트라 예측 모드에 따른 순서대로 가역 복호하여, 역양자화부(163)에 공급한다. 또한, 압축 정보에 고주파수 성분이 포함되어 있지 않을 경우에는, 스텝 S152의 처리는 생략된다.
이상과 같이, 화상 복호 장치(151)는, 부호화 장치(51)에 의해 얻어진 압축 정보를 복호하기 때문에, 저주파수 성분에 대해서만 분산형의 역KLT를 행하고, 역KLT보다 연산량이 적은 역DWT를 행함으로써, 역직교 변환 처리를 행할 수 있다. 그 결과, 역직교 변환 처리의 연산량을 삭감하여, 블록 크기가 큰 경우에도, 그 연산량을 적게 할 수 있다.
<제2 실시 형태>
[화상 부호화 장치의 구성예]
도 15는 본 기술을 적용한 화상 부호화 장치의 제2 실시 형태의 구성예를 도시하는 블록도다.
도 15에 도시한 구성 중, 도 1의 구성과 동일한 구성에는 동일한 부호를 붙였다. 중복하는 설명에 대해서는 적절히 생략한다.
도 15의 화상 부호화 장치(200)의 구성은, 주로, 직교 변환부(64) 대신에 직교 변환부(201)가 설치되어 있는 점, 역직교 변환부(69) 대신에 역직교 변환부(202)가 설치되어 있는 점이 도 1의 구성과 상이하다. 화상 부호화 장치(200)는, 인트라 예측용의 직교 변환 처리에 있어서, 모든 인트라 예측 모드에서 분리형의 KLT를 행하는 것이 아니라, 예측 방향이 경사 방향 이외의 인트라 예측 모드에서만 분리형의 KLT를 행하고, 예측 방향이 경사 방향의 인트라 예측 모드에서는 비분리형의 KLT를 행한다.
구체적으로는, 직교 변환부(201)는, 인터 예측용 직교 변환부(64A)와 인트라 예측용 직교 변환부(201B)에 의해 구성된다. 인트라 예측용 직교 변환부(201B)는, 예측 화상 선택부(76)로부터 인트라 예측 모드 정보가 공급될 경우, 연산부(63)로부터의 잔차 정보에 대하여 직교 변환 처리를 행한다. 구체적으로는, 인트라 예측용 직교 변환부(201B)는, 잔차 정보에 대하여 DWT를 행하여, 저주파수 성분 및 고주파수 성분을 추출한다. 또한, 인트라 예측용 직교 변환부(201B)는, 인트라 예측 모드의 예측 방향이 경사 방향인지, 경사 방향 이외의 방향인지에 따라, DWT의 횟수를 서로 다르게 할 수 있다.
인트라 예측용 직교 변환부(201B)는, 인트라 예측 모드의 예측 방향이 경사 방향일 경우, 저주파수 성분에 대하여, 인트라 예측 모드 정보마다의 비분리형의 KLT를 실시한다. 한편, 인트라 예측용 직교 변환부(201B)는, 인트라 예측 모드의 예측 방향이 경사 방향 이외의 방향일 경우, 저주파수 성분에 대하여, 인트라 예측 모드 정보마다의 분리형의 KLT를 실시한다. 인트라 예측용 직교 변환부(201B)는, 인트라 예측 모드 정보가 나타내는 최적 인트라 예측 모드의 KLT의 결과 얻어지는 계수와 고주파수 성분을, 변환 계수로서 양자화부(65)에 공급한다.
역직교 변환부(202)는, 인터 예측용 역직교 변환부(69A)와 인트라 예측용 역직교 변환부(202B)에 의해 구성된다. 인트라 예측용 역직교 변환부(202B)는, 예측 화상 선택부(76)로부터 인트라 예측 모드 정보가 공급될 경우, 역양자화부(68)로부터 공급되는 변환 계수에 대하여, 역직교 변환 처리를 행한다. 구체적으로는, 인트라 예측용 역직교 변환부(202B)는, 인트라 예측 모드의 예측 방향이 경사 방향일 경우, 변환 계수 중의 저주파수 성분의 계수에 대하여 인트라 예측 모드마다의 비분리형의 역KLT를 행한다. 한편, 인트라 예측 모드의 예측 방향이 경사 방향 이외의 방향일 경우, 인트라 예측용 역직교 변환부(202B)는, 변환 계수 중의 저주파수 성분의 계수에 대하여 인트라 예측 모드마다의 분리형의 역KLT를 행한다.
또한, 인트라 예측용 역직교 변환부(202B)는, 인트라 예측 모드 정보가 나타내는 최적 인트라 예측 모드의 역KLT의 결과 얻어지는 저주파수 성분과, 변환 계수 중의 고주파수 성분에 대하여 역DWT를 행하여, 잔차 정보를 얻는다. 또한, 인트라 예측용 역직교 변환부(202B)는, 최적 인트라 예측 모드의 예측 방향이 경사 방향인지, 경사 방향 이외의 방향인지에 따라, 역DWT의 횟수를 서로 다르게 할 수 있다. 인트라 예측용 역직교 변환부(202B)는, 잔차 정보를 연산부(70)에 공급한다.
[인트라 예측용 직교 변환부의 상세 구성예]
도 16은 도 15의 인트라 예측용 직교 변환부(201B)의 상세 구성예를 도시하는 블록도다.
도 16에 도시한 구성 중, 도 3의 구성과 동일한 구성에는 동일한 부호를 붙였다. 중복하는 설명에 대해서는 적절히 생략한다.
도 16의 인트라 예측용 직교 변환부(201B)의 구성은, 주로, DWT부(221)가 새롭게 설치되어 있는 점, KLT부(92-3 내지 92-8) 대신에 KLT부(222-3 내지 222-8)가 설치되어 있는 점, 셀렉터(93) 대신에 셀렉터(223)가 설치되어 있는 점이, 도 3의 구성과 상이하다.
도 16의 인트라 예측용 직교 변환부(201B)에서, DWT부(91)는, 0 내지 2번의 인트라 예측 모드용의 DWT부이며, DWT부(91)로부터 출력되는 저주파수 성분은, KLT부(92-0 내지 92-2)에만 공급된다.
DWT부(221)는, 3 내지 8번의 인트라 예측 모드용의 DWT부다. DWT부(221)(전직교 변환부)는, 필요에 따라서, 연산부(63)(도 15)로부터 공급되는 잔차 정보에 대하여 DWT를 행하여, 저주파수 성분과 고주파 성분을 얻는다. 또한, DWT부(221)에 의한 DWT의 횟수는, DWT부(91)에 의한 DWT의 횟수와 동일해도 좋고, 상이해도 좋다. 단, KLT부(222-3 내지 222-8)에서 행해지는 비분리형의 KLT는, KLT부(92-0 내지 92-2)에서 행해지는 분리형의 KLT에 비해 연산량이 많기 때문에, 양방의 KLT부에서 처리 가능한 연산량이 동일할 경우, DWT부(221)는, DWT부(91)에 비해 DWT의 횟수를 많이 할 필요가 있다.
DWT부(221)는, 저주파수 성분을 KLT부(222-3 내지 222-8)에 공급하고, 고주파수 성분을 셀렉터(223)에 공급한다. 또한, DWT부(221)는, KLT를 행할 필요가 없을 경우, 잔차 정보를 그대로 KLT부(222-3 내지 222-8)에 공급한다.
KLT부(222-3 내지 222-8)(후직교 변환부)는, 각각 3번 내지 8번의 인트라 예측 모드의 KLT의 기저에서, DWT부(221)로부터 공급되는 저주파수 성분 또는 잔차 정보에 대해 비분리형의 KLT를 행한다. 또한, 각 인트라 예측 모드의 KLT의 기저는 미리 학습에 의해 구해진 최적값이다. KLT부(222-3 내지 222-8)는 비분리형의 KLT의 결과 얻어지는 계수를 셀렉터(223)에 공급한다.
셀렉터(223)에는, 예측 화상 선택부(76)로부터 공급되는 인트라 예측 모드 정보가 공급된다. 셀렉터(223)는, 인트라 예측 모드 정보에 기초하여, KLT부(92-0 내지 92-2) 및 KLT부(222-3 내지 222-8)로부터 공급되는 계수 중, 최적 인트라 예측 모드에 대응하는 KLT부(92-0 내지 92-2) 또는 KLT부(222-3 내지 222-8)로부터 공급되는 계수를 선택한다. 그리고, 셀렉터(223)는, 선택된 잔차 정보의 계수를 양자화부(65)(도 15)에 공급한다. 또는, 셀렉터(223)는, 저주파수 성분의 계수와, 최적 인트라 예측 모드에 대응하는 DWT부(91) 또는 DWT부(221)로부터 공급되는 고주파수 성분을 변환 계수로서 양자화부(65)에 공급한다.
이상과 같이, 인트라 예측용 직교 변환부(201B)는, 예측 방향이 경사 방향인 3 내지 8번의 인트라 예측 모드에 대응하는 KLT로서 비분리형의 KLT를 행하므로, 부호화 효율을 향상시킬 수 있다.
구체적으로는, 분리형의 KLT에서는, 수평 방향과 수직 방향으로 분리해서 KLT가 행해지므로, 비분리형의 KLT에 비해 KLT의 기저에 제약이 가해져, 성능이 열화된다. 특히, 인트라 예측 모드의 예측 방향이 경사 방향일 경우, 경사 방향의 상관이 강한 잔차 정보가 발생하기 쉬운데, 분리형의 KLT에서는, 경사 방향의 상관이 고려되기 어렵기 때문에, 성능이 열화된다. 이에 반해, 인트라 예측용 직교 변환부(201B)는, 예측 방향이 경사 방향인 인트라 예측 모드에 대응하는 KLT로서 비분리형의 KLT를 행하므로, 경사 방향의 상관이 고려되어, 성능이 향상된다. 그 결과, 부호화 효율이 향상된다.
또한, 예측 방향이 경사 방향 이외의 방향, 즉 수평 방향이나 수직 방향인 인트라 예측 모드시에는, 수평 방향이나 수직 방향으로 상관이 강한 잔차 정보가 발생하기 쉽기 때문에, 분리형의 KLT라도, 충분한 부호화 효율을 실현할 수 있다. 따라서, 인트라 예측용 직교 변환부(201B)는, 예측 방향이 경사 방향 이외의 인트라 예측 모드일 경우에는, 분리형의 KLT를 행함으로써 연산량을 삭감한다.
도 16의 인트라 예측용 직교 변환부(201B)에서는, 셀렉터(223)가 KLT부(92-0 내지 92-2) 및 KLT부(222-3 내지 222-8)의 뒤에 설치되었지만, 셀렉터가, KLT부(92-0 내지 92-2) 및 KLT부(222-3 내지 222-8) 앞에 설치되도록 해도 좋다. 이 경우, DWT부(91) 또는 DWT부(221)로부터 출력되는 저주파수 성분 또는 잔차 정보가, 최적 인트라 예측 모드에 대응하는 KLT부(92-0 내지 92-2) 및 KLT부(222-3 내지 222-8) 중 어느 하나에만 공급된다.
[DWT의 설명]
도 17은 DWT부(221)에 의한 DWT를 설명하는 도면이다.
도 17의 예에서는, DWT부(221)는, DWT를 3회 행하고 있다. 도 17의 A 내지 도 17의 C는, 도 4의 A 내지 도 4의 C와 동일하므로, 설명은 생략한다.
도 17의 D에 도시한 바와 같이, 도 17의 C에 도시하는 LLLL 성분에 대하여 수평 방향 및 수직 방향으로 DWT가 행해지면, LLLL 성분의 수평 성분 및 수직 성분이, 또한 각각 고주파수 성분과 저주파수 성분으로 분할된다. 그 결과, LLLL 성분은, 수평 성분 및 수직 성분이 저주파수 성분인 성분(LLLLLL 성분), 수평 성분이 고주파수 성분이고, 수직 성분이 저주파수 성분인 성분(LLLLHL 성분), 수평 성분이 저주파수 성분이고, 수직 성분이 고주파수 성분인 성분(LLLLLH 성분), 및 수평 성분 및 수직 성분이 고주파수 성분인 성분(LLLLHH 성분)으로 분할된다. 또한, 잔차 정보의 LLLL 성분 이외의 성분인 HL 성분, LH 성분, HH 성분, LLHL 성분, LLLH 성분, LLHH 성분은 그대로다.
예를 들면, DWT부(91)가, 도 4에 도시한 바와 같이 DWT를 2회 행할 경우, DWT부(221)는, 도 17에 도시한 바와 같이 DWT를 3회 행하여, KLT의 대상이 되는 저주파수 성분의 크기를 보다 작게 한다.
[인트라 예측용 역직교 변환부의 상세 구성예]
도 18은 도 15의 인트라 예측용 역직교 변환부(202B)의 상세 구성예를 도시하는 블록도다.
도 18에 도시한 구성 중, 도 5의 구성과 동일한 구성에는 동일한 부호를 붙였다. 중복하는 설명에 대해서는 적절히 생략한다.
도 18의 인트라 예측용 역직교 변환부(202B)의 구성은, 주로 역KLT부(101-3 내지 101-8)대신에 역KLT부(241-3 내지 241-8)가 설치되어 있는 점, 셀렉터(102) 대신에 셀렉터(242)와 셀렉터(243)가 설치되어 있는 점, 및 역DWT부(244)가 새롭게 설치되어 있는 점이 도 5의 구성과 상이하다.
도 18의 인트라 예측용 역직교 변환부(202B)의 역KLT부(241-3 내지 241-8)는, 각각 3번 내지 8번의 인트라 예측 모드의 역KLT의 기저에서, 도 15의 역양자화부(68)로부터 공급되는 변환 계수 중의 계수에 대하여 비분리형의 역KLT를 행한다.
셀렉터(242)에는, 예측 화상 선택부(76)로부터 공급되는 인트라 예측 모드 정보가 공급된다. 셀렉터(242)는, 인트라 예측 모드 정보에 기초해서, 역KLT부(101-0 내지 101-2)로부터 공급되는 역KLT 후의 성분 중, 최적 인트라 예측 모드에 대응하는 역KLT부(101-0 내지 101-2)로부터 공급되는 역KLT 후의 성분을 선택한다. 그리고, 셀렉터(242)는, 선택된 역KLT 후의 성분을 역DWT부(103)에 공급한다.
셀렉터(243)에는, 예측 화상 선택부(76)로부터 공급되는 인트라 예측 모드 정보가 공급된다. 셀렉터(243)는, 인트라 예측 모드 정보에 기초해서, 역KLT부(241-3 내지 241-8)로부터 공급되는 역KLT 후의 성분 중, 최적 인트라 예측 모드에 대응하는 역KLT부(241-3 내지 241-8)로부터 공급되는 역KLT 후의 성분을 선택한다. 그리고, 셀렉터(243)는, 선택된 역KLT 후의 성분을 역DWT부(244)에 공급한다.
인트라 예측용 역직교 변환부(202B)에서, 역DWT부(103)는, 0 내지 2번의 인트라 예측 모드용의 역DWT부이며, 역DWT부(103)에는, 역KLT부(101-0 내지 101-2) 중 어느 하나에 의해 얻어진 성분이 셀렉터(242)를 통해 공급된다.
역DWT부(244)는, 3 내지 8번의 인트라 예측 모드용의 역DWT부다. 역DWT부(244)는, 역KLT부(241-3 내지 241-8)로부터 셀렉터(243)를 통해 공급되는 성분을 잔차 정보로서 연산부(70)(도 15)에 공급한다. 또는, 역DWT부(244)는, 셀렉터(243)로부터 공급되는 성분과, 역양자화부(68)로부터 공급되는 변환 계수 중의 고주파수 성분에 대하여, DWT부(221)에 의한 DWT에 대응하는 역DWT를 행하고, 그 결과 얻어지는 성분을 잔차 정보로서 연산부(70)에 공급한다.
또한, 도 18의 인트라 예측용 역직교 변환부(202B)에서는, 셀렉터(242) 및 셀렉터(243)가 역KLT부(101-0 내지 101-2) 및 역KLT부(241-3 내지 241-8)의 뒤에 설치되었지만, 셀렉터가, 역KLT부(101-0 내지 101-2) 및 역KLT부(241-3 내지 241-8) 앞에 설치되도록 해도 좋다. 이 경우, 역양자화부(68)로부터 공급되는 변환 계수 중의 계수가, 최적 인트라 예측 모드에 대응하는 역KLT부(101-0 내지 101-2) 및 역KLT부(241-3 내지 241-8) 중 어느 하나에만 공급된다.
[화상 부호화 장치의 처리의 설명]
도 15의 화상 부호화 장치(200)의 부호화 처리는, 도 7의 스텝 S14에서의 인트라 예측용 직교 변환부(64B)에 의한 직교 변환 처리, 및 스텝 S17에서의 인트라 예측용 역직교 변환부(69B)에 의한 역직교 변환 처리를 제외하고, 도 7의 부호화 처리와 마찬가지다. 따라서, 이 직교 변환 처리와 역직교 변환 처리에 대해서만 설명한다.
도 19는 화상 부호화 장치(200)의 인트라 예측용 직교 변환부(201B)에 의한 직교 변환 처리를 설명하는 플로우차트다.
도 19의 스텝 S241 내지 S246의 처리는, 스텝 S245 및 S246의 처리를 KLT부(92-0 내지 92-2)가 행하는 것을 제외하고, 도 8의 스텝 S41 내지 S44 및 S48와 마찬가지이다.
스텝 S245 또는 스텝 S246의 처리 후, 스텝 S247에서, 인트라 예측용 직교 변환부(201B)의 DWT부(221)(도 16)는, 연산부(63)(도 15)로부터 공급되는 잔차 정보의 크기가, KLT부(222-3 내지 222-8)에서 처리 가능한 크기인지 여부를 판정한다.
스텝 S247에서, 잔차 정보의 크기가 KLT부(222-3 내지 222-8)에서 처리 가능한 크기가 아니라고 판정되었을 경우, 스텝 S248에서, DWT부(221)는, 잔차 정보에 대하여 DWT를 행한다.
스텝 S249에서, DWT부(221)는, 스텝 S248의 처리의 결과 얻어지는 저주파수 성분의 크기가, KLT부(222-3 내지 222-8)에서 처리 가능한 크기인지 여부를 판정한다. 스텝 S249에서, DWT의 결과 얻어지는 저주파수 성분의 크기가, KLT부(222-3 내지 222-8)에서 처리 가능한 크기가 아니라고 판정되었을 경우, 스텝 S250에서, DWT부(221)는, 스텝 S248의 처리의 결과 얻어지는 저주파수 성분에 대하여 DWT를 행한다. 그리고, 처리는 스텝 S249로 되돌아가서, 저주파수 성분의 크기가 KLT부(222-3 내지 222-8)에서 처리 가능한 크기로 될 때까지, 스텝 S249 및 S250의 처리가 반복된다.
스텝 S249에서, DWT의 결과 얻어지는 저주파수 성분의 크기가, KLT부(222-3 내지 222-8)에서 처리 가능한 크기라고 판정되었을 경우, DWT부(221)는, DWT의 결과 얻어지는 저주파수 성분을 KLT부(222-3 내지 222-8)에 공급하고, 고주파수 성분을 셀렉터(223)에 공급한다.
그리고, 스텝 S252에서, KLT부(222-3 내지 222-8)는, 각각 대응하는 인트라 예측 모드의 KLT의 기저에서, 저주파수 성분에 대하여 비분리형의 KLT를 행한다. 그리고, 처리는 스텝 S253으로 진행한다.
한편, 스텝 S247에서 잔차 정보의 크기가, KLT부(222-3 내지 222-8)에서 처리 가능한 크기라고 판정되었을 경우, DWT부(221)는, 잔차 정보를 그대로 KLT부(222-3 내지 222-8)에 공급한다. 그리고, 스텝 S251에서, KLT부(222-3 내지 222-8)는, 각각 대응하는 인트라 예측 모드의 KLT의 기저에서, 잔차 정보에 대하여 비분리형의 KLT를 행하고, 처리를 스텝 S253으로 진행시킨다.
스텝 S253에서, 셀렉터(223)는, 도 8의 스텝 S46의 처리와 마찬가지로, 인트라 예측 모드 정보에 기초해서, KLT부(92-0 내지 92-2) 및 KLT부(222-3 내지 222-8)로부터 공급되는 계수 중, 최적 인트라 예측 모드에 대응하는 KLT부(92-0 내지 92-2) 또는 KLT부(222-3 내지 222-8)로부터 공급되는 계수를 선택하여, 양자화부(65)(도 15)에 출력한다.
스텝 S254에서, 셀렉터(223)는, 최적 인트라 예측 모드에 대응하는 DWT부(91) 또는 DWT부(221)가 DWT를 행했는지 여부, 즉 최적 인트라 예측 모드에 대응하는 DWT부(91) 또는 DWT부(221)로부터 고주파수 성분이 공급되었는지 여부를 판정한다.
스텝 S254에서 최적 인트라 예측 모드에 대응하는 DWT부(91) 또는 DWT부(221)가 DWT를 행했다고 판정되었을 경우, 처리는 스텝 S255로 진행한다. 스텝 S255에서, 셀렉터(223)는, 최적 인트라 예측 모드에 대응하는 DWT부(91) 또는 DWT부(221)로부터 공급되는 고주파수 성분을 그대로 양자화부(65)(도 15)에 출력하고, 처리를 종료한다.
한편, 스텝 S254에서 최적 인트라 예측 모드에 대응하는 DWT부(91) 또는 DWT부(221)가 DWT를 행하지 않았다고 판정되었을 경우, 그대로 처리는 종료된다.
도 20은 화상 부호화 장치(200)의 인트라 예측용 역직교 변환부(202B)의 역직교 변환 처리를 설명하는 플로우차트다.
스텝 S261에서, 인트라 예측용 역직교 변환부(202B)의 역KLT부(101-0 내지 101-2)(도 18)는, 각각 0번 내지 2번의 인트라 예측 모드의 KLT의 기저에서, 역양자화부(68)(도 15)로부터 공급되는 변환 계수 중의 계수에 대하여 분리형의 역KLT를 행한다.
스텝 S262에서, 역KLT부(241-3 내지 241-8)는, 각각 3번 내지 8번의 인트라 예측 모드의 KLT의 기저에서, 역양자화부(68)로부터 공급되는 변환 계수 중의 계수에 대하여 비분리형의 역KLT를 행한다.
스텝 S263에서, 셀렉터(242) 및 셀렉터(243)는, 각각 예측 화상 선택부(76)로부터의 인트라 예측 모드 정보에 기초해서, 역KLT부(101-0 내지 101-2) 또는 역KLT부(241-3 내지 241-8)로부터 공급되는 역KLT 후의 성분 중, 최적 인트라 예측 모드에 대응하는 역KLT부(101-0 내지 101-2) 또는 역KLT부(241-3 내지 241-8)로부터 공급되는 역KLT 후의 성분을 선택한다. 그리고, 셀렉터(242) 및 셀렉터(243)는, 선택된 역KLT 후의 성분을 역DWT부(103) 또는 역DWT부(244)에 공급하고, 처리를 스텝 S264로 진행시킨다. 이후의 처리는, 역KLT 후의 성분이 공급된 역DWT부(103) 또는 역DWT부(244)에 의해 행해진다.
스텝 S264에서, 역DWT부(103) 또는 역DWT부(244)는, 셀렉터(242) 또는 셀렉터(243)로부터 공급되는 역KLT 후의 성분의 크기가 블록 크기인지 여부를 판정한다. 스텝 S264에서, 역KLT 후의 성분의 크기가 블록 크기가 아니라고 판정되었을 경우, 처리는 스텝 S265로 진행한다. 스텝 S265에서, 역DWT부(103)는, 역KLT 후의 성분과 역양자화부(68)로부터 공급되는 변환 계수 중의 고주파수 성분에 대하여 역DWT를 행한다.
스텝 S266에서, 역DWT부(103) 또는 역DWT부(244)는, 스텝 S264의 처리의 결과 얻어지는 역DWT 후의 성분의 크기가 블록 크기인지 여부를 판정한다. 스텝 S265에서, 역DWT 후의 성분의 크기가 블록 크기가 아니라고 판정되었을 경우, 처리는 스텝 S265로 되돌아가서, 역DWT 후의 성분의 크기가 블록 크기로 될 때까지, 스텝 S265 및 S266의 처리가 반복된다.
스텝 S266에서 역DWT 후의 성분의 크기가 블록 크기라고 판정되었을 경우, 처리는 스텝 S267로 진행한다.
한편, 스텝 S264에서 역KLT 후의 성분의 크기가 블록 크기라고 판정되었을 경우, 처리는 스텝 S267로 진행한다.
스텝 S267에서, 역DWT부(103) 또는 역DWT부(244)는, 역DWT 후의 성분 또는 역KLT 후의 성분을 잔차 정보로서 연산부(70)에 공급한다.
[화상 복호 장치의 구성예]
도 21은 본 기술을 적용한 화상 복호 장치의 제2 실시 형태의 구성예를 도시하는 블록도다.
도 21에 도시한 구성 중, 도 12의 구성과 동일한 구성에는 동일한 부호를 붙였다. 중복하는 설명에 대해서는 적절히 생략한다.
도 21의 화상 복호 장치(300)의 구성은, 주로 역직교 변환부(164) 대신에 역직교 변환부(301)가 설치되어 있는 점이 도 12의 구성과 상이하다.
화상 복호 장치(300)의 역직교 변환부(301)는, 도 15의 역직교 변환부(202)와 마찬가지로 구성된다. 역직교 변환부(301)는, 가역 복호부(162)로부터 공급되는 인터 예측 모드 정보 또는 인트라 예측 모드 정보에 따라서, 역양자화부(163)로부터 공급되는 변환 계수에 대해 역직교 변환 처리를 행한다. 역직교 변환부(301)는, 역직교 변환 처리의 결과 얻어지는 잔차 정보를 연산부(165)에 공급한다.
[화상 복호 장치의 처리의 설명]
도 21의 화상 복호 장치(300)의 복호 처리는, 도 13의 스텝 S134의 역직교 변환 처리를 제외하고, 도 13의 복호처리와 마찬가지이므로, 그 역직교 변환 처리 이외의 처리에 관한 설명은 생략한다. 화상 복호 장치(300)의 역직교 변환 처리에서는, 가역 복호부(162)로부터 인트라 예측 정보가 공급될 경우, 도 20의 역직교 변환 처리와 마찬가지의 역직교 변환 처리가 행해지고, 인터 예측 정보가 공급될 경우, 역양자화부(163)로부터 공급되는 변환 계수에 대하여 역직교 변환이 행해진다.
또한, 상술한 설명에서는, 3 내지 8번의 인트라 예측 모드의 예측 방향은, 경사 방향으로서 취급되었지만, 5번 및 7번의 인트라 예측 모드의 예측 방향은 수직 방향으로서, 6번 및 8번의 인트라 예측 모드의 예측 방향은 수평 방향으로서, 각각 취급되도록 해도 좋다.
또한, 상술한 설명에서는, 인트라 예측의 블록 크기로서, 4×4 화소와 8×8 화소의 2종류가 취급되었지만, 16×16 화소, 32×32 화소, 64×64 화소, 128×128 화소 등의 다른 블록 크기가 취급되도록 해도 좋다. 단, 이 경우, 인트라 예측 모드의 수가 다르기 때문에, KLT부나 역KLT부의 수도 상이하다. 예를 들면, 블록 크기가 16×16 화소일 경우, 인트라 예측 모드의 종류는 4종류이며, KLT부나 역KLT부의 수는 4개가 된다.
또한, 상술한 설명에서는, KLT의 앞에 DWT가 행해졌지만, KLT의 앞에 행해지는 직교 변환은, KLT보다 연산량이 적은, 예를 들면 고속 알고리즘이 준비 가능한 직교 변환이면 어떤 것이어도 된다.
또한, 본 기술에서, 매크로 블록의 크기는 임의이다. 본 기술은, 예를 들면 도 22에 도시하는 바와 같은 모든 크기의 매크로 블록에 대하여 적용할 수 있다. 예를 들면, 본 기술은, 통상적인 16×16 화소와 같은 매크로 블록뿐만 아니라, 32×32 화소와 같은 확장된 매크로 블록(확장 매크로 블록)에도 적용할 수 있다.
<제3 실시 형태>
[본 기술을 적용한 컴퓨터의 설명]
다음으로, 상술한 부호화 처리나 복호 처리는, 하드웨어에 의해 행할 수도 있고, 소프트웨어에 의해 행할 수도 있다. 부호화 처리나 복호 처리를 소프트웨어에 의해 행할 경우에는, 그 소프트웨어를 구성하는 프로그램이, 범용의 컴퓨터 등에 인스톨된다.
따라서, 도 23은 상술한 일련의 처리를 실행하는 프로그램이 인스톨되는 컴퓨터의 일 실시 형태의 구성예를 나타내고 있다.
프로그램은, 컴퓨터에 내장되어 있는 기록 매체로서의 기억부(408)나 ROM(Read Only Memory)(402)에 미리 기록해 둘 수 있다.
혹은 또한, 프로그램은, 리무버블 미디어(411)에 저장(기록)해 둘 수 있다. 이러한 리무버블 미디어(411)는, 소위 팩키지 소프트 웨어로서 제공할 수 있다. 여기서, 리무버블 미디어(411)로는, 예를 들면 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto Optical) 디스크, DVD(Digital Versatile Disc), 자기 디스크, 반도체 메모리 등이 있다.
또한, 프로그램은, 상술한 바와 같은 리무버블 미디어(411)로부터 드라이브(410)를 통해 컴퓨터에 인스톨하는 것 외에, 통신망이나 방송망을 통해 컴퓨터에 다운로드하여, 내장하는 기억부(408)에 인스톨할 수 있다. 즉 프로그램은, 예를 들면, 다운로드 사이트로부터, 디지털 위성 방송용의 인공 위성을 통해 컴퓨터에 무선으로 전송하거나, LAN(Local Area Network), 인터넷과 같은 네트워크를 통해 컴퓨터에 유선으로 전송할 수 있다.
컴퓨터는, CPU(Central Processing Unit)(401)를 내장하고 있어, CPU(401)에는, 버스(404)를 통해 입출력 인터페이스(405)가 접속되어 있다.
CPU(401)는, 입출력 인터페이스(405)를 통해, 유저에 의해, 입력부(406)가 조작되거나 해서 명령이 입력되면, 그것에 따라서, ROM(402)에 저장되어 있는 프로그램을 실행한다. 혹은, CPU(401)는, 기억부(408)에 저장된 프로그램을, RAM(Random Access Memory)(403)에 로드해서 실행한다.
이에 의해, CPU(401)는, 상술한 플로우차트에 따른 처리, 혹은 상술한 블록도의 구성에 의해 행해지는 처리를 행한다. 그리고, CPU(401)는, 그 처리 결과를, 필요에 따라서, 예를 들면 입출력 인터페이스(405)를 통해 출력부(407)로부터 출력, 혹은 통신부(409)로부터 송신, 나아가 기억부(408)에 기록시킨다.
또한, 입력부(406)는, 키보드나, 마우스, 마이크 등으로 구성된다. 또한, 출력부(407)는, LCD(Liquid Crystal Display)나 스피커 등으로 구성된다.
여기서, 본 명세서에서, 컴퓨터가 프로그램에 따라서 행하는 처리는, 반드시 플로우차트로서 기재된 순서에 따라 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라서 행하는 처리는, 병렬적 혹은 개별적으로 실행되는 처리(예를 들면, 병렬 처리 혹은 오브젝트에 의한 처리)도 포함한다.
또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의해 처리되는 것이어도 좋고, 복수의 컴퓨터에 의해 분산 처리되는 것이어도 좋다. 또한, 프로그램은, 먼 곳의 컴퓨터에 전송되어 실행되는 것이어도 좋다.
<제4 실시 형태>
[텔레비전 수상기의 구성예]
도 24는 본 기술을 적용한 화상 복호 장치를 이용하는 텔레비전 수상기의 주된 구성예를 도시하는 블록도다.
도 24에 도시하는 텔레비전 수상기(500)는, 지상파 튜너(513), 비디오 디코더(515), 영상 신호 처리 회로(518), 그래픽 생성 회로(519), 패널 구동 회로(520), 및 표시 패널(521)을 갖는다.
지상파 튜너(513)는, 지상 아날로그 방송의 방송파 신호를, 안테나를 통해 수신하고, 복조해서, 영상 신호를 취득하고, 그것을 비디오 디코더(515)에 공급한다. 비디오 디코더(515)는, 지상파 튜너(513)로부터 공급된 영상 신호에 대하여 디코드 처리를 실시하고, 얻어진 디지털의 컴포넌트 신호를 영상 신호 처리 회로(518)에 공급한다.
영상 신호 처리 회로(518)는, 비디오 디코더(515)로부터 공급된 영상 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 영상 데이터를 그래픽 생성 회로(519)에 공급한다.
그래픽 생성 회로(519)는, 표시 패널(521)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 통해 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성하고, 생성한 영상 데이터나 화상 데이터를 패널 구동 회로(520)에 공급한다. 또한, 그래픽 생성 회로(519)는, 항목의 선택 등에 유저에 의해 이용되는 화면을 표시하기 위한 영상 데이터(그래픽)를 생성하고, 그것을 프로그램의 영상 데이터에 중첩하거나 함으로써 얻어진 영상 데이터를 패널 구동 회로(520)에 공급하는 것과 같은 처리도 적절히 행한다.
패널 구동 회로(520)는, 그래픽 생성 회로(519)로부터 공급된 데이터에 기초해서 표시 패널(521)을 구동하여, 프로그램의 영상이나 상술한 각종 화면을 표시 패널(521)에 표시시킨다.
표시 패널(521)은 LCD(Liquid Crystal Display) 등으로 이루어지고, 패널 구동 회로(520)에 의한 제어에 따라서 프로그램의 영상 등을 표시시킨다.
또한, 텔레비전 수상기(500)는, 음성 A/D(Analog/Digital) 변환 회로(514), 음성 신호 처리 회로(522), 에코 캔슬/음성 합성 회로(523), 음성 증폭 회로(524), 및 스피커(525)도 갖는다.
지상파 튜너(513)는, 수신한 방송파 신호를 복조함으로써, 영상 신호뿐만 아니라 음성 신호도 취득한다. 지상파 튜너(513)는, 취득한 음성 신호를 음성 A/D 변환 회로(514)에 공급한다.
음성 A/D 변환 회로(514)는, 지상파 튜너(513)로부터 공급된 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 신호를 음성 신호 처리 회로(522)에 공급한다.
음성 신호 처리 회로(522)는, 음성 A/D 변환 회로(514)로부터 공급된 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 음성 데이터를 에코 캔슬/음성 합성 회로(523)에 공급한다.
에코 캔슬/음성 합성 회로(523)는, 음성 신호 처리 회로(522)로부터 공급된 음성 데이터를 음성 증폭 회로(524)에 공급한다.
음성 증폭 회로(524)는, 에코 캔슬/음성 합성 회로(523)로부터 공급된 음성 데이터에 대하여 D/A 변환 처리, 증폭 처리를 실시하여, 소정의 음량으로 조정한 후, 음성을 스피커(525)로부터 출력시킨다.
또한, 텔레비전 수상기(500)는, 디지털 튜너(516) 및 MPEG 디코더(517)도 갖는다.
디지털 튜너(516)는, 디지털 방송(지상 디지털 방송, BS(Broadcasting Satellite)/CS(Communications Satellite) 디지털 방송)의 방송파 신호를, 안테나를 통해 수신하고, 복조해서, MPEG-TS(Moving Picture Experts Group-Transport Stream)를 취득하고, 그것을 MPEG 디코더(517)에 공급한다.
MPEG 디코더(517)는, 디지털 튜너(516)로부터 공급된 MPEG-TS에 실시되어 있는 스크램블을 해제하고, 재생 대상(시청 대상)으로 되어 있는 프로그램의 데이터를 포함하는 스트림을 추출한다. MPEG 디코더(517)는, 추출한 스트림을 구성하는 음성 패킷을 디코드하고, 얻어진 음성 데이터를 음성 신호 처리 회로(522)에 공급함과 함께, 스트림을 구성하는 영상 패킷을 디코드하여, 얻어진 영상 데이터를 영상 신호 처리 회로(518)에 공급한다. 또한, MPEG 디코더(517)는, MPEG-TS로부터 추출한 EPG(Electronic Program Guide) 데이터를 도시하지 않는 경로를 통해 CPU(532)에 공급한다.
텔레비전 수상기(500)는, 이렇게 영상 패킷을 디코드하는 MPEG 디코더(517)로서, 상술한 화상 복호 장치(151(300))를 이용한다. 따라서, MPEG 디코더(517)에서는, 화상 복호 장치(151(300))의 경우와 마찬가지로, 적은 연산량으로 역직교 변환 처리를 행할 수 있다.
MPEG 디코더(517)로부터 공급된 영상 데이터는, 비디오 디코더(515)로부터 공급된 영상 데이터의 경우와 마찬가지로, 영상 신호 처리 회로(518)에서 소정의 처리가 실시된다. 그리고, 소정의 처리가 실시된 영상 데이터는, 그래픽 생성 회로(519)에서, 생성된 영상 데이터 등이 적절히 중첩되어, 패널 구동 회로(520)를 통해 표시 패널(521)에 공급되어, 그 화상이 표시된다.
MPEG 디코더(517)로부터 공급된 음성 데이터는, 음성 A/D 변환 회로(514)로부터 공급된 음성 데이터의 경우와 마찬가지로, 음성 신호 처리 회로(522)에서 소정의 처리가 실시된다. 그리고, 소정의 처리가 실시된 음성 데이터는, 에코 캔슬/음성 합성 회로(523)를 통해 음성 증폭 회로(524)에 공급되어, D/A 변환 처리나 증폭 처리가 실시된다. 그 결과, 소정의 음량으로 조정된 음성이 스피커(525)로부터 출력된다.
또한, 텔레비전 수상기(500)는, 마이크로폰(526), 및 A/D 변환 회로(527)도 갖는다.
A/D 변환 회로(527)는, 음성 회화용인 것으로서 텔레비전 수상기(500)에 설치되는 마이크로폰(526)에 의해 도입된 유저의 음성 신호를 수신한다. A/D 변환 회로(527)는, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 에코 캔슬/음성 합성 회로(523)에 공급한다.
에코 캔슬/음성 합성 회로(523)는, 텔레비전 수상기(500)의 유저(유저 A)의 음성 데이터가 A/D 변환 회로(527)로부터 공급되어 있을 경우, 유저 A의 음성 데이터를 대상으로 해서 에코 캔슬을 행한다. 그리고, 에코 캔슬/음성 합성 회로(523)는, 에코 캔슬 후, 다른 음성 데이터와 합성하거나 해서 얻어진 음성의 데이터를, 음성 증폭 회로(524)를 통해 스피커(525)로부터 출력시킨다.
또한, 텔레비전 수상기(500)는, 음성 코덱(528), 내부 버스(529), SDRAM(Synchronous Dynamic Random Access Memory)(530), 플래시 메모리(531), CPU(532), USB(Universal Serial Bus) I/F(533), 및 네트워크 I/F(534)도 갖는다.
A/D 변환 회로(527)는, 음성 회화용인 것으로서 텔레비전 수상기(500)에 설치되는 마이크로폰(526)에 의해 도입된 유저의 음성 신호를 수신한다. A/D 변환 회로(527)는, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 음성 코덱(528)에 공급한다.
음성 코덱(528)은, A/D 변환 회로(527)로부터 공급된 음성 데이터를, 네트워크 경유로 송신하기 위한 소정의 포맷의 데이터로 변환하여, 내부 버스(529)를 통해 네트워크 I/F(534)에 공급한다.
네트워크 I/F(534)는, 네트워크 단자(535)에 장착된 케이블을 통해 네트워크에 접속된다. 네트워크 I/F(534)는, 예를 들면, 그 네트워크에 접속되는 다른 장치에 대하여, 음성 코덱(528)으로부터 공급된 음성 데이터를 송신한다. 또한, 네트워크 I/F(534)는, 예를 들면, 네트워크를 통해 접속되는 다른 장치로부터 송신되는 음성 데이터를, 네트워크 단자(535)를 통해 수신하고, 그것을, 내부 버스(529)를 통해 음성 코덱(528)에 공급한다.
음성 코덱(528)은, 네트워크 I/F(534)로부터 공급된 음성 데이터를 소정의 포맷의 데이터로 변환하고, 그것을 에코 캔슬/음성 합성 회로(523)에 공급한다.
에코 캔슬/음성 합성 회로(523)는, 음성 코덱(528)으로부터 공급되는 음성 데이터를 대상으로 해서 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 해서 얻어진 음성의 데이터를, 음성 증폭 회로(524)를 통해 스피커(525)로부터 출력시킨다.
SDRAM(530)은, CPU(532)가 처리를 행함에 있어서 필요한 각종의 데이터를 기억한다.
플래시 메모리(531)는, CPU(532)에 의해 실행되는 프로그램을 기억한다. 플래시 메모리(531)에 기억되어 있는 프로그램은, 텔레비전 수상기(500)의 기동시 등의 소정의 타이밍에서 CPU(532)에 의해 판독된다. 플래시 메모리(531)에는, 디지털 방송을 통해 취득된 EPG 데이터, 네트워크를 통해 소정의 서버로부터 취득된 데이터 등도 기억된다.
예를 들면, 플래시 메모리(531)에는, CPU(532)의 제어에 의해 네트워크를 통해 소정의 서버로부터 취득된 콘텐츠 데이터를 포함하는 MPEG-TS가 기억된다. 플래시 메모리(531)는, 예를 들면 CPU(532)의 제어에 의해, 그 MPEG-TS를, 내부 버스(529)를 통해 MPEG 디코더(517)에 공급한다.
MPEG 디코더(517)는, 디지털 튜너(516)로부터 공급된 MPEG-TS의 경우와 마찬가지로, 그 MPEG-TS를 처리한다. 이렇게 텔레비전 수상기(500)는, 영상이나 음성 등으로 이루어지는 콘텐츠 데이터를, 네트워크를 통해 수신하고, MPEG 디코더(517)를 이용해서 디코드하여, 그 영상을 표시시키거나 음성을 출력시킬 수 있다.
또한, 텔레비전 수상기(500)는, 리모트 컨트롤러(551)로부터 송신되는 적외선 신호를 수광하는 수광부(537)도 갖는다.
수광부(537)는, 리모트 컨트롤러(551)로부터의 적외선을 수광하고, 복조해서 얻어진 유저 조작의 내용을 나타내는 제어 코드를 CPU(532)에 출력한다.
CPU(532)는, 플래시 메모리(531)에 기억되어 있는 프로그램을 실행하여, 수광부(537)로부터 공급되는 제어 코드 등에 따라서 텔레비전 수상기(500) 전체의 동작을 제어한다. CPU(532)와 텔레비전 수상기(500)의 각 부는, 도시하지 않는 경로를 통해 접속되어 있다.
USB I/F(533)는, USB 단자(536)에 장착된 USB 케이블을 통해 접속되는, 텔레비전 수상기(500)의 외부 기기와의 사이에서 데이터의 송수신을 행한다. 네트워크 I/F(534)는, 네트워크 단자(535)에 장착된 케이블을 통해 네트워크에 접속하여, 네트워크에 접속되는 각종 장치와 음성 데이터 이외의 데이터의 송수신도 행한다.
텔레비전 수상기(500)는, MPEG 디코더(517)로서 화상 복호 장치(151(300))를 이용함으로써, 역직교 변환 처리의 연산량을 삭감할 수 있다. 그 결과로서, 텔레비전 수상기(500)는, 안테나를 통해 수신한 방송파 신호나, 네트워크를 통해 취득한 콘텐츠 데이터로부터, 보다 적은 연산량으로 복호 화상을 얻어 표시할 수 있다.
<제5 실시 형태>
[휴대 전화기의 구성예]
도 25는 본 기술을 적용한 화상 부호화 장치 및 화상 복호 장치를 이용하는 휴대 전화기의 주된 구성예를 도시하는 블록도다.
도 25에 나타내지는 휴대 전화기(600)는, 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(650), 전원 회로부(651), 조작 입력 제어부(652), 화상 인코더(653), 카메라 I/F부(654), LCD 제어부(655), 화상 디코더(656), 다중 분리부(657), 기록 재생부(662), 변복조 회로부(658), 및 음성 코덱(659)을 갖는다. 이것들은, 버스(660)를 통해 서로 접속되어 있다.
또한, 휴대 전화기(600)는, 조작 키(619), CCD(Charge Coupled Devices) 카메라(616), 액정 디스플레이(618), 기억부(623), 송수신 회로부(663), 안테나(614), 마이크로폰(마이크)(621), 및 스피커(617)를 갖는다.
전원 회로부(651)는, 유저의 조작에 의해 통화 종료 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대 전화기(600)를 동작 가능한 상태로 기동한다.
휴대 전화기(600)는, CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(650)의 제어에 기초하여, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영, 또는 데이터 기록 등의 각종 동작을 행한다.
예를 들면, 음성 통화 모드에서, 휴대 전화기(600)는, 마이크로폰(마이크)(621)으로 집음한 음성 신호를, 음성 코덱(659)에 의해 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(658)에서 스펙트럼 확산 처리하여, 송수신 회로부(663)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(600)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(614)를 통해 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(음성 신호)는, 공중 전화 회선망을 통해 통화 상대의 휴대 전화기에 공급된다.
또한, 예를 들면, 음성 통화 모드에서, 휴대 전화기(600)는, 안테나(614)로 수신한 수신 신호를 송수신 회로부(663)에서 증폭하고, 또한 주파수 변환 처리 및 아날로그 디지털 변환 처리하고, 변복조 회로부(658)에서 스펙트럼 역확산 처리하고, 음성 코덱(659)에 의해 아날로그 음성 신호로 변환한다. 휴대 전화기(600)는, 그 변환해서 얻어진 아날로그 음성 신호를 스피커(617)로부터 출력한다.
또한, 예를 들면, 데이터 통신 모드에서 전자 메일을 송신하는 경우, 휴대 전화기(600)는, 조작 키(619)의 조작에 의해 입력된 전자 메일의 텍스트 데이터를, 조작 입력 제어부(652)에서 접수한다. 휴대 전화기(600)는, 그 텍스트 데이터를 주 제어부(650)에서 처리하고, LCD 제어부(655)를 통해, 화상으로서 액정 디스플레이(618)에 표시시킨다.
또한, 휴대 전화기(600)는, 주 제어부(650)에서, 조작 입력 제어부(652)가 접수한 텍스트 데이터나 유저 지시 등에 기초해서 전자 메일 데이터를 생성한다. 휴대 전화기(600)는, 그 전자 메일 데이터를, 변복조 회로부(658)에서 스펙트럼 확산 처리하고, 송수신 회로부(663)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(600)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(614)를 통해 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(전자 메일)는, 네트워크 및 메일 서버 등을 통해 소정의 수신처에 공급된다.
또한, 예를 들면, 데이터 통신 모드에서 전자 메일을 수신할 경우, 휴대 전화기(600)는, 기지국으로부터 송신된 신호를, 안테나(614)를 통해 송수신 회로부(663)에서 수신하여, 증폭하고, 또한 주파수 변환 처리 및 아날로그 디지털 변환 처리한다. 휴대 전화기(600)는, 그 수신 신호를 변복조 회로부(658)에서 스펙트럼 역확산 처리하여 원래의 전자 메일 데이터를 복원한다. 휴대 전화기(600)는, 복원된 전자 메일 데이터를, LCD 제어부(655)를 통해 액정 디스플레이(618)에 표시한다.
또한, 휴대 전화기(600)는, 수신한 전자 메일 데이터를, 기록 재생부(662)를 통해 기억부(623)에 기록하는(기억시키는) 것도 가능하다.
이 기억부(623)는, 재기입 가능한 임의의 기억 매체다. 기억부(623)는, 예를 들면, RAM이나 내장형 플래시 메모리 등의 반도체 메모리이어도 좋고, 하드디스크이어도 좋고, 자기 디스크, 광 자기 디스크, 광 디스크, USB 메모리, 또는 메모리 카드 등의 리무버블 미디어이어도 된다. 물론, 이것들 이외의 것이어도 된다.
또한, 예를 들면, 데이터 통신 모드에서 화상 데이터를 송신하는 경우, 휴대 전화기(600)는, 촬상에 의해 CCD 카메라(616)로 화상 데이터를 생성한다. CCD 카메라(616)는, 렌즈나 조리개 등의 광학 디바이스와 광전 변환 소자로서의 CCD를 가지며, 피사체를 촬상하고, 수광한 광의 강도를 전기 신호로 변환하여, 피사체의 화상의 화상 데이터를 생성한다. 그 화상 데이터를, 카메라 I/F부(654)를 통해 화상 인코더(653)로, 예를 들면 MPEG2나 MPEG4 등의 소정의 부호화 방식에 의해 압축 부호화함으로써 부호화 화상 데이터로 변환한다.
휴대 전화기(600)는, 이러한 처리를 행하는 화상 인코더(653)로서, 상술한 화상 부호화 장치(51(200))를 이용한다. 따라서, 화상 인코더(653)는, 화상 부호화 장치(51(200))의 경우와 마찬가지로, 보다 적은 연산량으로 직교 변환 처리 및 역직교 변환 처리를 행할 수 있다.
또한, 휴대 전화기(600)는, 이때 동시에, CCD 카메라(616)로 촬상 중에 마이크로폰(마이크)(621)으로 집음한 음성을, 음성 코덱(659)에서 아날로그 디지털 변환하고, 또한 부호화한다.
휴대 전화기(600)는, 다중 분리부(657)에서, 화상 인코더(653)로부터 공급된 부호화 화상 데이터와, 음성 코덱(659)으로부터 공급된 디지털 음성 데이터를, 소정의 방식으로 다중화한다. 휴대 전화기(600)는, 그 결과 얻어지는 다중화 데이터를, 변복조 회로부(658)에서 스펙트럼 확산 처리하고, 송수신 회로부(663)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(600)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(614)를 통해 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(화상 데이터)는, 네트워크 등을 통해 통신 상대에 공급된다.
또한, 화상 데이터를 송신하지 않을 경우, 휴대 전화기(600)는, CCD 카메라(616)로 생성한 화상 데이터를, 화상 인코더(653)를 통하지 않고 LCD 제어부(655)를 통해 액정 디스플레이(618)에 표시시킬 수도 있다.
또한 예를 들면, 데이터 통신 모드에서, 간이 홈 페이지 등에 연동된 동화상 파일의 데이터를 수신할 경우, 휴대 전화기(600)는, 기지국으로부터 송신된 신호를, 안테나(614)를 통해 송수신 회로부(663)에서 수신하고, 증폭하고, 또한 주파수 변환 처리 및 아날로그 디지털 변환 처리한다. 휴대 전화기(600)는, 그 수신 신호를 변복조 회로부(658)에서 스펙트럼 역확산 처리해서 원래의 다중화 데이터를 복원한다. 휴대 전화기(600)는, 다중 분리부(657)에서, 그 다중화 데이터를 분리하여, 부호화 화상 데이터와 음성 데이터로 나눈다.
휴대 전화기(600)는, 화상 디코더(656)에서, 부호화 화상 데이터를, MPEG2나 MPEG4 등의 소정의 부호화 방식에 대응한 복호 방식으로 디코드함으로써, 재생 동화상 데이터를 생성하고, 이것을, LCD 제어부(655)를 통해 액정 디스플레이(618)에 표시시킨다. 이에 의해, 예를 들면, 간이 홈 페이지에 연동된 동화상 파일에 포함되는 동화상 데이터가 액정 디스플레이(618)에 표시된다.
휴대 전화기(600)는, 이러한 처리를 행하는 화상 디코더(656)로서, 상술한 화상 복호 장치(151(300))를 이용한다. 따라서, 화상 디코더(656)는, 화상 복호 장치(151(300))의 경우와 마찬가지로, 보다 적은 연산량으로 역직교 변환 처리를 행할 수 있다.
이때, 휴대 전화기(600)는, 동시에, 음성 코덱(659)에서, 디지털의 음성 데이터를 아날로그 음성 신호로 변환하고, 이것을 스피커(617)로부터 출력시킨다. 이에 의해, 예를 들면, 간이 홈 페이지에 연동된 동화상 파일에 포함되는 음성 데이터가 재생된다.
또한, 전자 메일의 경우와 마찬가지로, 휴대 전화기(600)는, 수신한 간이 홈 페이지 등에 연동된 데이터를, 기록 재생부(662)를 통해 기억부(623)에 기록하는(기억시키는) 것도 가능하다.
또한, 휴대 전화기(600)는, 주 제어부(650)에서, 촬상되어 CCD 카메라(616)에서 얻어진 2차원 코드를 해석하여, 2차원 코드에 기록된 정보를 취득할 수 있다.
또한, 휴대 전화기(600)는, 적외선 통신부(681)에서 적외선에 의해 외부의 기기와 통신할 수 있다.
휴대 전화기(600)는, 화상 인코더(653)로서 화상 부호화 장치(51(200))를 이용함으로써, 보다 적은 연산량으로 직교 변환 처리 및 역직교 변환 처리를 행할 수 있다. 결과적으로, 휴대 전화기(600)는, 보다 적은 연산량으로 복호 가능한 부호화 데이터(화상 데이터)를 다른 장치에 제공할 수 있다.
또한, 휴대 전화기(600)는, 화상 디코더(656)로서 화상 복호 장치(151(300))를 이용함으로써, 보다 적은 연산량으로 역직교 변환 처리를 행할 수 있다. 그 결과로서, 휴대 전화기(600)는, 예를 들면, 간이 홈 페이지에 연동된 동화상 파일로부터, 보다 적은 연산량으로 복호 화상을 얻어 표시할 수 있다.
또한, 이상에서, 휴대 전화기(600)가, CCD 카메라(616)를 이용하는 것으로 설명했지만, 이 CCD 카메라(616) 대신에, CMOS(Complementary Metal Oxide Semiconductor)를 이용한 이미지 센서(CMOS 이미지 센서)를 이용하도록 해도 좋다. 이 경우도, 휴대 전화기(600)는, CCD 카메라(616)를 이용할 경우와 마찬가지로, 피사체를 촬상하여, 피사체의 화상의 화상 데이터를 생성할 수 있다.
또한, 이상에서는 휴대 전화기(600)로서 설명했지만, 예를 들면, PDA(Personal Digital Assistants), 스마트 폰, UMPC(Ultra Mobile Personal Computer), 네트 북, 노트형 퍼스널 컴퓨터 등, 이 휴대 전화기(600)와 마찬가지의 촬상 기능이나 통신 기능을 갖는 장치이면, 어떤 장치이어도 휴대 전화기(600)의 경우와 마찬가지로, 화상 부호화 장치(51(200)) 및 화상 복호 장치(151(300))를 적용할 수 있다.
<제6 실시 형태>
[하드디스크 레코더의 구성예]
도 26은 본 기술을 적용한 화상 부호화 장치 및 화상 복호 장치를 이용하는 하드디스크 레코더의 주된 구성예를 도시하는 블록도다.
도 26에 나타내지는 하드디스크 레코더(HDD 레코더)(700)는, 튜너에 의해 수신된, 위성이나 지상의 안테나 등으로부터 송신되는 방송파 신호(텔레비전 신호)에 포함되는 방송 프로그램의 오디오 데이터와 비디오 데이터를, 내장된 하드디스크에 보존하고, 그 보존된 데이터를 유저의 지시에 따른 타이밍에서 유저에게 제공하는 장치다.
하드디스크 레코더(700)는, 예를 들면, 방송파 신호로부터 오디오 데이터와 비디오 데이터를 추출하고, 그것들을 적절히 복호하여, 내장된 하드디스크에 기억시킬 수 있다. 또한, 하드디스크 레코더(700)는, 예를 들면, 네트워크를 통해 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 그것들을 적절히 복호하여, 내장된 하드디스크에 기억시킬 수도 있다.
또한, 하드디스크 레코더(700)는, 예를 들면, 내장된 하드디스크에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호해서 모니터(760)에 공급하고, 모니터(760)의 화면에 그 화상을 표시시킨다. 또한, 하드디스크 레코더(700)는, 모니터(760)의 스피커로부터 그 음성을 출력시킬 수 있다.
하드디스크 레코더(700)는, 예를 들면, 튜너를 통해 취득된 방송파 신호로부터 추출된 오디오 데이터와 비디오 데이터, 또는, 네트워크를 통해 다른 장치로부터 취득한 오디오 데이터나 비디오 데이터를 복호해서 모니터(760)에 공급하고, 모니터(760)의 화면에 그 화상을 표시시킨다. 또한, 하드디스크 레코더(700)는, 모니터(760)의 스피커로부터 그 음성을 출력시킬 수도 있다.
물론, 그 밖의 동작도 가능하다.
도 26에 도시된 바와 같이, 하드디스크 레코더(700)는, 수신부(721), 복조부(722), 디멀티플렉서(723), 오디오 디코더(724), 비디오 디코더(725), 및 레코더 제어부(726)를 갖는다. 하드디스크 레코더(700)는, 또한, EPG 데이터 메모리(727), 프로그램 메모리(728), 워크 메모리(729), 디스플레이 컨버터(730), OSD(On Screen Display) 제어부(731), 디스플레이 제어부(732), 기록 재생부(733), D/A 컨버터(734), 및 통신부(735)를 갖는다.
또한, 디스플레이 컨버터(730)는, 비디오 인코더(741)를 갖는다. 기록 재생부(733)는, 인코더(751) 및 디코더(752)를 갖는다.
수신부(721)는, 리모트 컨트롤러(도시 생략)로부터의 적외선 신호를 수신하여, 전기 신호로 변환해서 레코더 제어부(726)에 출력한다. 레코더 제어부(726)는, 예를 들면, 마이크로프로세서 등에 의해 구성되며, 프로그램 메모리(728)에 기억되어 있는 프로그램에 따라서 각종 처리를 실행한다. 레코더 제어부(726)는, 이때, 워크 메모리(729)를 필요에 따라서 사용한다.
통신부(735)는, 네트워크에 접속되며, 네트워크를 통해 다른 장치와의 통신 처리를 행한다. 예를 들면, 통신부(735)는, 레코더 제어부(726)에 의해 제어되고, 튜너(도시 생략)와 통신하며, 주로 튜너에 대하여 선국 제어 신호를 출력한다.
복조부(722)는, 튜너로부터 공급된 신호를 복조하여, 디멀티플렉서(723)에 출력한다. 디멀티플렉서(723)는, 복조부(722)로부터 공급된 데이터를, 오디오 데이터, 비디오 데이터, 및 EPG 데이터로 분리하여, 각각 오디오 디코더(724), 비디오 디코더(725), 또는 레코더 제어부(726)에 출력한다.
오디오 디코더(724)는, 입력된 오디오 데이터를, 예를 들면 MPEG 방식으로 디코드하여, 기록 재생부(733)에 출력한다. 비디오 디코더(725)는, 입력된 비디오 데이터를, 예를 들면 MPEG 방식으로 디코드하여, 디스플레이 컨버터(730)에 출력한다. 레코더 제어부(726)는, 입력된 EPG 데이터를 EPG 데이터 메모리(727)에 공급하여 기억시킨다.
디스플레이 컨버터(730)는, 비디오 디코더(725) 또는 레코더 제어부(726)로부터 공급된 비디오 데이터를, 비디오 인코더(741)에 의해, 예를 들면 NTSC(National Television Standards Committee) 방식의 비디오 데이터에 인코드하여, 기록 재생부(733)에 출력한다. 또한, 디스플레이 컨버터(730)는, 비디오 디코더(725) 또는 레코더 제어부(726)로부터 공급되는 비디오 데이터의 화면의 크기를, 모니터(760)의 크기에 대응하는 크기로 변환한다. 디스플레이 컨버터(730)는, 화면의 크기가 변환된 비디오 데이터를, 또한, 비디오 인코더(741)에 의해 NTSC 방식의 비디오 데이터로 변환하고, 아날로그 신호로 변환하여, 디스플레이 제어부(732)에 출력한다.
디스플레이 제어부(732)는, 레코더 제어부(726)의 제어하에, OSD(On Screen Display) 제어부(731)가 출력한 OSD 신호를, 디스플레이 컨버터(730)로부터 입력된 비디오 신호에 중첩하여, 모니터(760)의 디스플레이에 출력해서 표시시킨다.
모니터(760)에는 또한, 오디오 디코더(724)가 출력한 오디오 데이터가, D/A 컨버터(734)에 의해 아날로그 신호로 변환되어 공급되어 있다. 모니터(760)는, 이 오디오 신호를 내장된 스피커로부터 출력한다.
기록 재생부(733)는, 비디오 데이터나 오디오 데이터 등을 기록하는 기억 매체로서 하드디스크를 갖는다.
기록 재생부(733)는, 예를 들면, 오디오 디코더(724)로부터 공급되는 오디오 데이터를, 인코더(751)에 의해 MPEG 방식으로 인코드한다. 또한, 기록 재생부(733)는, 디스플레이 컨버터(730)의 비디오 인코더(741)로부터 공급되는 비디오 데이터를, 인코더(751)에 의해 MPEG 방식으로 인코드한다. 기록 재생부(733)는, 그 오디오 데이터의 부호화 데이터와 비디오 데이터의 부호화 데이터를 멀티플렉서에 의해 합성한다. 기록 재생부(733)는, 그 합성 데이터를 채널 코딩해서 증폭하고, 그 데이터를, 기록 헤드를 통해 하드디스크에 기입한다.
기록 재생부(733)는, 재생 헤드를 통해 하드디스크에 기록되어 있는 데이터를 재생하고, 증폭해서, 디멀티플렉서에 의해 오디오 데이터와 비디오 데이터로 분리한다. 기록 재생부(733)는, 디코더(752)에 의해 오디오 데이터 및 비디오 데이터를 MPEG 방식으로 디코드한다. 기록 재생부(733)는, 복호한 오디오 데이터를 D/A 변환하여, 모니터(760)의 스피커에 출력한다. 또한, 기록 재생부(733)는, 복호한 비디오 데이터를 D/A 변환하여, 모니터(760)의 디스플레이에 출력한다.
레코더 제어부(726)는, 수신부(721)를 통해 수신되는 리모트 컨트롤러로부터의 적외선 신호에 의해 나타내지는 유저 지시에 기초하여, EPG 데이터 메모리(727)로부터 최신의 EPG 데이터를 판독하고, 그것을 OSD 제어부(731)에 공급한다. OSD 제어부(731)는, 입력된 EPG 데이터에 대응하는 화상 데이터를 발생하여, 디스플레이 제어부(732)에 출력한다. 디스플레이 제어부(732)는, OSD 제어부(731)로부터 입력된 비디오 데이터를 모니터(760)의 디스플레이에 출력하여 표시시킨다. 이에 의해, 모니터(760)의 디스플레이에는, EPG(전자 프로그램 가이드)가 표시된다.
또한, 하드디스크 레코더(700)는, 인터넷 등의 네트워크를 통해 다른 장치로부터 공급되는 비디오 데이터, 오디오 데이터, 또는 EPG 데이터 등의 각종 데이터를 취득할 수 있다.
통신부(735)는, 레코더 제어부(726)에 제어되어, 네트워크를 통해 다른 장치로부터 송신되는 비디오 데이터, 오디오 데이터, 및 EPG 데이터 등의 부호화 데이터를 취득하고, 그것을 레코더 제어부(726)에 공급한다. 레코더 제어부(726)는, 예를 들면, 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 기록 재생부(733)에 공급하여, 하드디스크에 기억시킨다. 이때, 레코더 제어부(726) 및 기록 재생부(733)가, 필요에 따라서 재인코드 등의 처리를 행하도록 해도 좋다.
또한, 레코더 제어부(726)는, 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 복호하고, 얻어지는 비디오 데이터를 디스플레이 컨버터(730)에 공급한다. 디스플레이 컨버터(730)는, 비디오 디코더(725)로부터 공급되는 비디오 데이터와 마찬가지로, 레코더 제어부(726)로부터 공급되는 비디오 데이터를 처리하고, 디스플레이 제어부(732)를 통해 모니터(760)에 공급하여, 그 화상을 표시시킨다.
또한, 이 화상 표시에 맞춰서, 레코더 제어부(726)가, 복호한 오디오 데이터를, D/A 컨버터(734)를 통해 모니터(760)에 공급하고, 그 음성을 스피커로부터 출력시키도록 해도 좋다.
또한, 레코더 제어부(726)는, 취득한 EPG 데이터의 부호화 데이터를 복호하고, 복호한 EPG 데이터를 EPG 데이터 메모리(727)에 공급한다.
이상과 같은 하드디스크 레코더(700)는, 비디오 디코더(725), 디코더(752), 및 레코더 제어부(726)에 내장되는 디코더로서 화상 복호 장치(151(300))를 이용한다. 따라서, 비디오 디코더(725), 디코더(752), 및 레코더 제어부(726)에 내장되는 디코더는, 화상 복호 장치(151(300))의 경우와 마찬가지로, 보다 적은 연산량으로 역직교 변환 처리를 행할 수 있다.
따라서, 하드디스크 레코더(700)는, 정밀도가 높은 예측 화상을 생성할 수 있다. 그 결과로서, 하드디스크 레코더(700)는, 예를 들면, 튜너를 통해 수신된 비디오 데이터의 부호화 데이터나, 기록 재생부(733)의 하드디스크로부터 판독된 비디오 데이터의 부호화 데이터나, 네트워크를 통해 취득한 비디오 데이터의 부호화 데이터로부터, 보다 고 정밀한 복호 화상을 얻어, 모니터(760)에 표시시킬 수 있다.
또한, 하드디스크 레코더(700)는, 인코더(751)로서 화상 부호화 장치(51(200))를 이용한다. 따라서, 인코더(751)는, 화상 부호화 장치(51(200))의 경우와 마찬가지로, 보다 적은 연산량으로 직교 변환 처리 및 역직교 변환 처리를 행할 수 있다.
따라서, 하드디스크 레코더(700)는, 예를 들면, 하드디스크에 기록하는 부호화 데이터의 부호화 효율을 향상시킬 수 있다. 그 결과로서, 하드디스크 레코더(700)는, 보다 고속으로, 하드디스크의 기억 영역을 보다 효율 좋게 사용할 수 있다.
또한, 이상에서는, 비디오 데이터나 오디오 데이터를 하드디스크에 기록하는 하드디스크 레코더(700)에 대해서 설명했지만, 물론, 기록 매체는 어떤 것이어도 된다. 예를 들면 플래시 메모리, 광 디스크, 또는 비디오 테이프 등, 하드디스크 이외의 기록 매체를 적용하는 레코더라도, 상술한 하드디스크 레코더(700)의 경우와 마찬가지로, 화상 부호화 장치(51(200)) 및 화상 복호 장치(151(300))를 적용할 수 있다.
<제7 실시 형태>
[카메라의 구성예]
도 27은 본 기술을 적용한 화상 복호 장치 및 화상 부호화 장치를 이용하는 카메라의 주된 구성예를 도시하는 블록도다.
도 27에 나타내지는 카메라(800)는, 피사체를 촬상하여, 피사체의 화상을 LCD(816)에 표시시키거나, 그것을 화상 데이터로서 기록 미디어(833)에 기록한다.
렌즈 블록(811)은, 광(즉, 피사체의 영상)을, CCD/CMOS(812)에 입사시킨다. CCD/CMOS(812)는, CCD 또는 CMOS를 이용한 이미지 센서이며, 수광한 광의 강도를 전기 신호로 변환하여, 카메라 신호 처리부(813)에 공급한다.
카메라 신호 처리부(813)는, CCD/CMOS(812)로부터 공급된 전기 신호를, Y, Cr, Cb의 색차 신호로 변환하여, 화상 신호 처리부(814)에 공급한다. 화상 신호 처리부(814)는, 컨트롤러(821)의 제어하에, 카메라 신호 처리부(813)로부터 공급된 화상 신호에 대하여 소정의 화상 처리를 실시하거나, 그 화상 신호를 인코더(841)로 예를 들면 MPEG 방식에 의해 부호화한다. 화상 신호 처리부(814)는, 화상 신호를 부호화해서 생성한 부호화 데이터를 디코더(815)에 공급한다. 또한, 화상 신호 처리부(814)는, 온스크린 디스플레이(OSD)(820)에서 생성된 표시용 데이터를 취득하고, 그것을 디코더(815)에 공급한다.
이상의 처리에서, 카메라 신호 처리부(813)는, 버스(817)를 통해 접속되는 DRAM(Dynamic Random Access Memory)(818)을 적절히 이용하여, 필요에 따라서 화상 데이터나, 그 화상 데이터가 부호화된 부호화 데이터 등을 그 DRAM(818)에 유지시킨다.
디코더(815)는, 화상 신호 처리부(814)로부터 공급된 부호화 데이터를 복호하고, 얻어진 화상 데이터(복호 화상 데이터)를 LCD(816)에 공급한다. 또한, 디코더(815)는, 화상 신호 처리부(814)로부터 공급된 표시용 데이터를 LCD(816)에 공급한다. LCD(816)는, 디코더(815)로부터 공급된 복호 화상 데이터의 화상과 표시용 데이터의 화상을 적절히 합성하여, 그 합성 화상을 표시한다.
온스크린 디스플레이(820)는, 컨트롤러(821)의 제어하에, 기호, 문자, 또는 도형으로 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를, 버스(817)를 통해 화상 신호 처리부(814)에 출력한다.
컨트롤러(821)는, 유저가 조작부(822)를 이용해서 명령한 내용을 나타내는 신호에 기초하여, 각종 처리를 실행함과 함께, 버스(817)를 통해, 화상 신호 처리부(814), DRAM(818), 외부 인터페이스(819), 온스크린 디스플레이(820), 및 미디어 드라이브(823) 등을 제어한다. FLASH ROM(824)에는, 컨트롤러(821)가 각종 처리를 실행함에 있어서 필요한 프로그램이나 데이터 등이 저장된다.
예를 들면, 컨트롤러(821)는, 화상 신호 처리부(814)나 디코더(815) 대신에, DRAM(818)에 기억되어 있는 화상 데이터를 부호화하거나, DRAM(818)에 기억되어 있는 부호화 데이터를 복호할 수 있다. 이때, 컨트롤러(821)는, 화상 신호 처리부(814)나 디코더(815)의 부호화·복호 방식과 마찬가지의 방식에 의해 부호화·복호 처리를 행하도록 해도 좋고, 화상 신호 처리부(814)나 디코더(815)가 대응하지 않는 방식에 의해 부호화·복호 처리를 행하도록 해도 좋다.
또한, 예를 들면, 조작부(822)로부터 화상 인쇄의 개시가 지시되었을 경우, 컨트롤러(821)는, DRAM(818)으로부터 화상 데이터를 판독하고, 그것을, 버스(817)를 통해 외부 인터페이스(819)에 접속되는 프린터(834)에 공급해서 인쇄시킨다.
또한, 예를 들면, 조작부(822)로부터 화상 기록이 지시되었을 경우, 컨트롤러(821)는, DRAM(818)으로부터 부호화 데이터를 판독하고, 그것을, 버스(817)를 통해 미디어 드라이브(823)에 장착되는 기록 미디어(833)에 공급해서 기억시킨다.
기록 미디어(833)는, 예를 들면, 자기 디스크, 광 자기 디스크, 광 디스크, 또는 반도체 메모리 등의, 읽고 쓰기 가능한 임의의 리무버블 미디어다. 기록 미디어(833)는, 물론, 리무버블 미디어로서의 종류도 임의이며, 테이프 디바이스이어도 좋고, 디스크이어도 좋고, 메모리 카드이어도 된다. 물론, 비접촉 IC 카드 등이어도 좋다.
또한, 미디어 드라이브(823)와 기록 미디어(833)를 일체화하여, 예를 들면, 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성의 기억 매체에 의해 구성되도록 해도 좋다.
외부 인터페이스(819)는, 예를 들면, USB 입출력 단자 등으로 구성되어, 화상의 인쇄를 행할 경우에 프린터(834)와 접속된다. 또한, 외부 인터페이스(819)에는, 필요에 따라서 드라이브(831)가 접속되어, 자기 디스크, 광 디스크, 혹은 광 자기 디스크 등의 리무버블 미디어(832)가 적절히 장착되고, 그것들로부터 판독된 컴퓨터 프로그램이, 필요에 따라서 FLASH ROM(824)에 인스톨된다.
또한, 외부 인터페이스(819)는, LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 컨트롤러(821)는, 예를 들면, 조작부(822)로부터의 지시에 따라서, DRAM(818)으로부터 부호화 데이터를 판독하고, 그것을 외부 인터페이스(819)로부터, 네트워크를 통해 접속되는 다른 장치에 공급시킬 수 있다. 또한, 컨트롤러(821)는, 네트워크를 통해 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를, 외부 인터페이스(819)를 통해 취득하고, 그것을 DRAM(818)에 유지시키거나, 화상 신호 처리부(814)에 공급할 수 있다.
이상과 같은 카메라(800)는, 디코더(815)로서 화상 복호 장치(151(300))를 이용한다. 따라서, 디코더(815)는, 화상 복호 장치(151)의 경우와 마찬가지로, 보다 적은 연산량으로 역직교 변환 처리를 행할 수 있다.
따라서, 카메라(800)는, 처리의 고속화를 실현함과 함께, 정밀도가 높은 예측 화상을 생성할 수 있다. 그 결과로서, 카메라(800)는, 예를 들면, CCD/CMOS(812)에서 생성된 화상 데이터나, DRAM(818) 또는 기록 미디어(833)로부터 판독된 비디오 데이터의 부호화 데이터나, 네트워크를 통해 취득한 비디오 데이터의 부호화 데이터로부터, 보다 고 정밀한 복호 화상을 얻어, LCD(816)에 표시시킬 수 있다.
또한, 카메라(800)는, 인코더(841)로서 화상 부호화 장치(51(200))를 이용한다. 따라서, 인코더(841)는, 화상 부호화 장치(51(200))의 경우와 마찬가지로, 보다 적은 연산량으로 직교 변환 처리 및 역직교 변환 처리를 행할 수 있다.
따라서, 카메라(800)는, 예를 들면, 하드디스크에 기록하는 부호화 데이터의 부호화 효율을 향상시킬 수 있다. 그 결과로서, 카메라(800)는, 보다 고속으로, DRAM(818)이나 기록 미디어(833)의 기억 영역을 보다 효율 좋게 사용할 수 있다.
또한, 컨트롤러(821)가 행하는 복호 처리에 화상 복호 장치(151(300))의 복호 방법을 적용하도록 해도 된다. 마찬가지로, 컨트롤러(821)가 행하는 부호화 처리에 화상 부호화 장치(51(200))의 부호화 방법을 적용하도록 해도 된다.
또한, 카메라(800)가 촬상하는 화상 데이터는 동화상이어도 좋고, 정지 화상이어도 된다.
물론, 화상 부호화 장치(51(200)) 및 화상 복호 장치(151(300))는, 상술한 장치 이외의 장치나 시스템에도 적용 가능하다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
또한, 본 기술은, 이하와 같은 구성도 취할 수 있다.
(1) 화상에 대하여, 제1 직교 변환보다 연산량이 적은 제2 직교 변환을 행하는 전직교 변환부와, 상기 제2 직교 변환의 결과 얻어지는 상기 화상의 저주파수 성분에 대하여, 상기 제1 직교 변환을 행하는 후직교 변환부와, 상기 제1 직교 변환 후의 상기 저주파수 성분과, 상기 제2 직교 변환의 결과 얻어지는 상기 화상의 고주파수 성분을 부호화하는 부호화부를 구비하는 부호화 장치.
(2) 상기 제1 직교 변환은, 분리형의 카루넨·루베 변환인 상기 (1)에 기재된 부호화 장치.
(3) 상기 후직교 변환부는, 상기 화상의 AVC(Advanced Video Coding) 방식에서의 인트라 예측 모드의 예측 방향이 경사 방향일 경우, 상기 저주파수 성분에 대하여 비분리형의 카루넨·루베 변환을 행하고, 상기 화상의 상기 인트라 예측 모드의 예측 방향이 경사 방향이 아닌 경우, 상기 저주파수 성분에 대하여 분리형의 카루넨·루베 변환을 행하는 상기 (1) 또는 (2)에 기재된 부호화 장치.
(4) 상기 전직교 변환부는, 상기 화상의 상기 인트라 예측 모드의 예측 방향이 경사 방향일 경우, 상기 화상의 상기 인트라 예측 모드의 예측 방향이 경사 방향이 아닌 경우에 비해 많은 횟수의 상기 제2 직교 변환을 행하는 상기 (3)에 기재된 부호화 장치.
(5) 상기 제2 직교 변환은, 웨이블릿 변환인 상기 (1) 내지 (4) 중 어느 하나에 기재된 부호화 장치.
(6) 상기 부호화부는, 상기 화상의 AVC(Advanced Video Coding) 방식에서의 인트라 예측 모드에 따른 순서대로, 상기 제1 직교 변환 후의 상기 저주파수 성분과 상기 고주파수 성분을 부호화하는 상기 (1) 내지 (5) 중 어느 하나에 기재된 부호화 장치.
(7) 부호화 장치가, 화상에 대하여, 제1 직교 변환보다 연산량이 적은 제2 직교 변환을 행하는 전직교 변환 스텝과, 상기 제2 직교 변환의 결과 얻어지는 상기 화상의 저주파수 성분에 대하여, 상기 제1 직교 변환을 행하는 후직교 변환 스텝과, 상기 제1 직교 변환 후의 상기 저주파수 성분과, 상기 제2 직교 변환의 결과 얻어지는 상기 화상의 고주파수 성분을 부호화하는 부호화 스텝을 포함하는 부호화 방법.
(8) 화상의 부호화 결과로서, 상기 화상에 대하여 제1 직교 변환보다 연산량이 적은 제2 직교 변환을 행한 결과 얻어진 상기 화상의 저주파수 성분의 상기 제1 직교 변환 후의 계수와, 상기 제2 직교 변환을 행한 결과 얻어진 상기 화상의 고주파수 성분의 부호화 결과를 취득하여, 상기 화상의 부호화 결과를 복호하는 복호부와, 상기 복호의 결과 얻어지는 상기 저주파수 성분의 상기 제1 직교 변환 후의 계수에 대하여, 상기 제1 직교 변환에 대응하는 제1 역직교 변환을 행하는 전역직교 변환부와, 상기 제1 역직교 변환의 결과 얻어지는 상기 저주파수 성분과, 상기 복호의 결과 얻어지는 상기 고주파수 성분에 대하여, 상기 제2 직교 변환에 대응하는 제2 역직교 변환을 행하여, 상기 화상을 얻는 후역직교 변환부를 구비하는 복호 장치.
(9) 상기 제1 역직교 변환은, 분리형의 역카루넨·루베 변환인 상기 (8)에 기재된 복호 장치.
(10) 상기 부호화 결과에는, 상기 화상의 AVC(Advanced Video Coding) 방식에서의 인트라 예측 모드가 포함되어 있고, 상기 전역직교 변환부는, 상기 인트라 예측 모드의 예측 방향이 경사 방향일 경우, 상기 저주파수 성분의 상기 제1 직교 변환 후의 계수에 대하여 비분리형의 역카루넨·루베 변환을 행하고, 상기 인트라 예측 모드의 예측 방향이 경사 방향이 아닌 경우, 상기 저주파수 성분의 상기 제1 직교 변환 후의 계수에 대하여 분리형의 역카루넨·루베 변환을 행하는 상기 (8) 또는 (9)에 기재된 복호 장치.
(11) 상기 전역직교 변환부는, 상기 인트라 예측 모드의 예측 방향이 경사 방향일 경우, 상기 인트라 예측 모드의 예측 방향이 경사 방향이 아닌 경우에 비해서 많은 횟수의 상기 제2 역직교 변환을 행하는 상기 (10)에 기재된 복호 장치.
(12) 상기 제2 역직교 변환은, 역 웨이블릿 변환인 상기 (8) 내지 (11) 중 어느 하나에 기재된 복호 장치.
(13) 상기 부호화 결과에는, 상기 화상의 AVC(Advanced Video Coding) 방식에서의 인트라 예측 모드가 포함되어 있고, 상기 복호부는, 상기 인트라 예측 모드에 따른 순서대로, 상기 저주파수 성분의 상기 제1 직교 변환 후의 계수와 상기 고주파수 성분을 복호하는 상기 (8) 내지 (12) 중 어느 하나에 기재된 복호 장치.
(14) 복호 장치가, 화상의 부호화 결과로서, 상기 화상에 대하여 제1 직교 변환보다 연산량이 적은 제2 직교 변환을 행한 결과 얻어진 상기 화상의 저주파수 성분의 상기 제1 직교 변환 후의 계수와, 상기 제2 직교 변환을 행한 결과 얻어진 상기 화상의 고주파수 성분의 부호화 결과를 취득하여, 상기 화상의 부호화 결과를 복호하는 복호 스텝과, 상기 복호의 결과 얻어지는 상기 저주파수 성분의 상기 제1 직교 변환 후의 계수에 대하여, 상기 제1 직교 변환에 대응하는 제1 역직교 변환을 행하는 전역직교 변환 스텝과, 상기 제1 역직교 변환의 결과 얻어지는 상기 저주파수 성분과, 상기 복호의 결과 얻어지는 상기 고주파수 성분에 대하여, 상기 제2 직교 변환에 대응하는 제2 역직교 변환을 행하여, 상기 화상을 얻는 후역직교 변환 스텝을 포함하는 복호 방법.
51 : 화상 부호화 장치 66 : 가역 부호화부
91 : DWT부 92-0 내지 92-8 : KLT부
101-0 내지 101-8 : 역KLT부 103 : 역DWT부
151 : 화상 복호 장치 162 : 가역 복호부
200 : 화상 부호화 장치 221 : DWT부
222-3 내지 222-8 : KLT부 241-3 내지 241-8 : 역KLT부
244 : 역DWT부

Claims (14)

  1. 부호화 장치로서,
    화상에 대하여, 제1 직교 변환보다 연산량이 적은 제2 직교 변환을 행하는 전직교(前直交) 변환부와,
    상기 제2 직교 변환의 결과 얻어지는 상기 화상의 저주파수 성분에 대하여, 상기 제1 직교 변환을 행하는 후직교(後直交) 변환부와,
    상기 제1 직교 변환 후의 상기 저주파수 성분과, 상기 제2 직교 변환의 결과 얻어지는 상기 화상의 고주파수 성분을 부호화하는 부호화부
    를 구비하는, 부호화 장치.
  2. 제1항에 있어서,
    상기 제1 직교 변환은 분리형의 카루넨·루베 변환(Karhunen-Loeve transform)인, 부호화 장치.
  3. 제1항에 있어서,
    상기 후직교 변환부는, 상기 화상의 AVC(Advanced Video Coding) 방식에서의 인트라 예측 모드의 예측 방향이 경사 방향일 경우, 상기 저주파수 성분에 대하여 비분리형의 카루넨·루베 변환을 행하고, 상기 화상의 상기 인트라 예측 모드의 예측 방향이 경사 방향이 아닌 경우, 상기 저주파수 성분에 대하여 분리형의 카루넨·루베 변환을 행하는, 부호화 장치.
  4. 제3항에 있어서,
    상기 전직교 변환부는, 상기 화상의 상기 인트라 예측 모드의 예측 방향이 경사 방향일 경우, 상기 화상의 상기 인트라 예측 모드의 예측 방향이 경사 방향이 아닌 경우에 비해 많은 횟수의 상기 제2 직교 변환을 행하는, 부호화 장치.
  5. 제1항에 있어서,
    상기 제2 직교 변환은 웨이블릿 변환인, 부호화 장치.
  6. 제1항에 있어서,
    상기 부호화부는, 상기 화상의 AVC(Advanced Video Coding) 방식에서의 인트라 예측 모드에 따른 순서대로, 상기 제1 직교 변환 후의 상기 저주파수 성분과 상기 고주파수 성분을 부호화하는, 부호화 장치.
  7. 부호화 장치가,
    화상에 대하여, 제1 직교 변환보다 연산량이 적은 제2 직교 변환을 행하는 전직교 변환 스텝과,
    상기 제2 직교 변환의 결과 얻어지는 상기 화상의 저주파수 성분에 대하여, 상기 제1 직교 변환을 행하는 후직교 변환 스텝과,
    상기 제1 직교 변환 후의 상기 저주파수 성분과, 상기 제2 직교 변환의 결과 얻어지는 상기 화상의 고주파수 성분을 부호화하는 부호화 스텝
    을 포함하는, 부호화 방법.
  8. 복호 장치로서,
    화상의 부호화 결과로서, 상기 화상에 대하여 제1 직교 변환보다 연산량이 적은 제2 직교 변환을 행한 결과 얻어진 상기 화상의 저주파수 성분의 상기 제1 직교 변환 후의 계수와, 상기 제2 직교 변환을 행한 결과 얻어진 상기 화상의 고주파수 성분의 부호화 결과를 취득하여, 상기 화상의 부호화 결과를 복호하는 복호부와,
    상기 복호의 결과 얻어지는 상기 저주파수 성분의 상기 제1 직교 변환 후의 계수에 대하여, 상기 제1 직교 변환에 대응하는 제1 역직교 변환을 행하는 전역직교 변환부와,
    상기 제1 역직교 변환의 결과 얻어지는 상기 저주파수 성분과, 상기 복호의 결과 얻어지는 상기 고주파수 성분에 대하여, 상기 제2 직교 변환에 대응하는 제2 역직교 변환을 행하여, 상기 화상을 얻는 후역직교 변환부를 구비하는, 복호 장치.
  9. 제8항에 있어서,
    상기 제1 역직교 변환은 분리형의 역카루넨·루베 변환인, 복호 장치.
  10. 제8항에 있어서,
    상기 부호화 결과에는, 상기 화상의 AVC(Advanced Video Coding) 방식에서의 인트라 예측 모드가 포함되어 있고,
    상기 전역직교 변환부는, 상기 인트라 예측 모드의 예측 방향이 경사 방향일 경우, 상기 저주파수 성분의 상기 제1 직교 변환 후의 계수에 대하여 비분리형의 역카루넨·루베 변환을 행하고, 상기 인트라 예측 모드의 예측 방향이 경사 방향이 아닌 경우, 상기 저주파수 성분의 상기 제1 직교 변환 후의 계수에 대하여 분리형의 역카루넨·루베 변환을 행하는, 복호 장치.
  11. 제10항에 있어서,
    상기 전역직교 변환부는, 상기 인트라 예측 모드의 예측 방향이 경사 방향일 경우, 상기 인트라 예측 모드의 예측 방향이 경사 방향이 아닌 경우에 비해서 많은 횟수의 상기 제2 역직교 변환을 행하는, 복호 장치.
  12. 제8항에 있어서,
    상기 제2 역직교 변환은 역 웨이블릿 변환인, 복호 장치.
  13. 제8항에 있어서,
    상기 부호화 결과에는, 상기 화상의 AVC(Advanced Video Coding) 방식에서의 인트라 예측 모드가 포함되어 있고,
    상기 복호부는, 상기 인트라 예측 모드에 따른 순서대로, 상기 저주파수 성분의 상기 제1 직교 변환 후의 계수와 상기 고주파수 성분을 복호하는, 복호 장치.
  14. 복호 장치가,
    화상의 부호화 결과로서, 상기 화상에 대하여 제1 직교 변환보다 연산량이 적은 제2 직교 변환을 행한 결과 얻어진 상기 화상의 저주파수 성분의 상기 제1 직교 변환 후의 계수와, 상기 제2 직교 변환을 행한 결과 얻어진 상기 화상의 고주파수 성분의 부호화 결과를 취득하여, 상기 화상의 부호화 결과를 복호하는 복호 스텝과,
    상기 복호의 결과 얻어지는 상기 저주파수 성분의 상기 제1 직교 변환 후의 계수에 대하여, 상기 제1 직교 변환에 대응하는 제1 역직교 변환을 행하는 전역직교 변환 스텝과,
    상기 제1 역직교 변환의 결과 얻어지는 상기 저주파수 성분과, 상기 복호의 결과 얻어지는 상기 고주파수 성분에 대하여, 상기 제2 직교 변환에 대응하는 제2 역직교 변환을 행하여, 상기 화상을 얻는 후역직교 변환 스텝
    을 포함하는, 복호 방법.
KR1020137000138A 2010-07-15 2011-07-08 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법 KR20130088119A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010160952A JP2012023632A (ja) 2010-07-15 2010-07-15 符号化装置および符号化方法、並びに、復号装置および復号方法
JPJP-P-2010-160952 2010-07-15
PCT/JP2011/065734 WO2012008388A1 (ja) 2010-07-15 2011-07-08 符号化装置および符号化方法、並びに、復号装置および復号方法

Publications (1)

Publication Number Publication Date
KR20130088119A true KR20130088119A (ko) 2013-08-07

Family

ID=45469388

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137000138A KR20130088119A (ko) 2010-07-15 2011-07-08 부호화 장치 및 부호화 방법, 및 복호 장치 및 복호 방법

Country Status (6)

Country Link
US (2) US9918084B2 (ko)
EP (1) EP2595383A1 (ko)
JP (1) JP2012023632A (ko)
KR (1) KR20130088119A (ko)
CN (1) CN102986222B (ko)
WO (1) WO2012008388A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101756442B1 (ko) * 2010-11-29 2017-07-11 에스케이텔레콤 주식회사 인트라예측모드의 중복성을 최소화하기 위한 영상 부호화/복호화 방법 및 장치
US10390048B2 (en) * 2016-02-15 2019-08-20 Qualcomm Incorporated Efficient transform coding using optimized compact multi-pass transforms
WO2020013541A1 (ko) * 2018-07-12 2020-01-16 엘지전자 주식회사 비디오 신호를 처리하기 위한 방법 및 장치
JP7200253B2 (ja) * 2018-09-02 2023-01-06 エルジー エレクトロニクス インコーポレイティド 映像信号を処理するための方法及び装置
JP7214894B2 (ja) * 2019-04-16 2023-01-30 エルジー エレクトロニクス インコーポレイティド イントラ予測ベースの映像コーディングにおける変換

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
US8285068B2 (en) * 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
KR20220041931A (ko) * 2009-01-27 2022-04-01 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 비디오 인코딩 및 디코딩에서 변환 선택을 위한 방법 및 장치

Also Published As

Publication number Publication date
EP2595383A1 (en) 2013-05-22
US10728544B2 (en) 2020-07-28
US20130094584A1 (en) 2013-04-18
US20180160115A1 (en) 2018-06-07
CN102986222B (zh) 2016-05-18
JP2012023632A (ja) 2012-02-02
CN102986222A (zh) 2013-03-20
WO2012008388A1 (ja) 2012-01-19
US9918084B2 (en) 2018-03-13

Similar Documents

Publication Publication Date Title
US10931944B2 (en) Decoding device and method to generate a prediction image
US10721480B2 (en) Image processing apparatus and method
WO2011089972A1 (ja) 画像処理装置および方法
WO2011018965A1 (ja) 画像処理装置および方法
US10728544B2 (en) Encoding device, encoding method, decoding device, and decoding method
WO2010095560A1 (ja) 画像処理装置および方法
WO2012096229A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
RU2506711C2 (ru) Способ и устройство обработки изображения
KR20120058521A (ko) 화상 처리 장치 및 방법
JP5556996B2 (ja) 画像処理装置および方法
WO2011125866A1 (ja) 画像処理装置および方法
KR20130090322A (ko) 화상 복호화 장치와 화상 부호화 장치 및 그 방법과 프로그램
US8483495B2 (en) Image processing device and method
US20120288004A1 (en) Image processing apparatus and image processing method
WO2010101063A1 (ja) 画像処理装置および方法
WO2012077575A1 (ja) 符号化装置および符号化方法、並びに復号装置および復号方法
WO2013065571A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid