KR20020092799A

KR20020092799A - 화상 복호 방법 및 장치

Info

Publication number: KR20020092799A
Application number: KR1020020028720A
Authority: KR
Inventors: 오까다시게유끼
Original assignee: 산요 덴키 가부시키가이샤
Priority date: 2001-05-31
Filing date: 2002-05-23
Publication date: 2002-12-12
Also published as: KR100512210B1; JP2002359846A; CN1198458C; US20020181789A1; US7046853B2; CN1390048A

Abstract

부호화된 화상 데이터는 완전히 복호된 후, 출력처의 해상도에 맞게 스케일링되는 것이 일반적이므로, 효율이 나쁘다. 계층적으로 부호화가 이루어진 부호화 화상 데이터 CI는 웨이블릿 역 변환기(24)에 의해 단계적으로 복호된다. 복호 과정에서 중간 계층의 화상이 프레임 버퍼(22)에 기억된다. 복호 처리에 이용할 수 있는 메모리 용량이나 전력 용량에 제약이 생기는 경우나 표시처의 해상도에 한계가 있는 경우에, 중단 처리부(32)는 복호 처리를 도중에 중단하고, 그 시점까지 얻어지는 중간 계층의 화상을 프레임 버퍼(22)로부터 추출하여, 필요에 따라 스케일링 등의 화상 처리를 실시하여 최종적인 복호 화상 DI로서 이용한다. 이에 의해, 처리 비용을 저감시킬 수 있다.

Description

화상 복호 방법 및 장치{METHOD AND APPARATUS FOR DECODING IMAGE}

본 발명은 화상 복호 기술, 특히 부호화된 화상 데이터를 복호하는 방법 및 장치에 관한 것이다.

20세기는 「영상의 세기」라고 불렸던 것과 같이, 영화, 텔레비전 방송을 비롯하여, 다종 다양한 영상 및 화상이 생산되고 이용되어 왔다. 특히 1990년대에 들어 PC(퍼스널 컴퓨터)를 대표로 하는 각종 정보 기기의 보급, 디지털 카메라나컬러 프린터 등의 대중화, 인터넷 인구의 폭발적인 증가 등에 의해, 일반인의 일상 생활에 디지털 화상의 문화가 깊게 침투하였다. 이러한 상황에서, 정지 화상, 동화상에 대해서는 각각 JPEG(Joint Photographic Expert Group), MPEG(Motion Picture Expert Group) 등의 부호화 압축 기술이 표준화되고, CD-ROM 등의 기록 매체나, 네트워크 또는 방송파 등의 전송 매체를 통한 화상의 배신 및 재생의 편리성이 개선되어 왔다. JPEG의 계열에 있어서, 그 진화판이라고 말할 수 있는 JPEG2000이 발표되고, 또한 MPEG에 대해서도 중장기적으로 실현할 목표가 책정되어 있으며, 앞으로도 화상 처리 기술의 진보가 사람들을 보다 깊게 디지털 화상의 세계로 유도하여 갈 것이라는 것에 대해서는 의심의 여지가 없다.

화상 데이터 형식의 표준화는 디지털 기기간의 데이터 수수를 촉진하는 효과를 갖는다. 예를 들면, 명함의 절반 크기의 메모리 카드에 의해, 휴대 기기나 정보 기기간에서 매우 간단히 데이터를 교환할 수 있게 되었다. 디지털 카메라로 촬영한 화상의 데이터는 동일한 데이터 형식을 서포트하는 고정밀 컬러 프린터로 용이하게 출력할 수 있다. 앞으로도, 다양한 기기를 통하여 화상 데이터가 이용되는 장면이 증가할 것이라고 예상된다.

본 발명자는 이러한 상황에서, 이하의 과제를 인식하기에 이르렀다. 즉, 예를 들면 디지털 카메라로 촬영한 화상이 원래 640×480의 해상도를 갖을 때, 이를 320×200의 LCD에 표시하고자 하면, 화상의 스케일링이 필요하게 된다. 한편, 120×80의 썸네일 화상을 작성하고자 하면, 역시 스케일링을 필요로 한다. 일반적으로 스케일링은 처리를 실시하고자 하는 원래의 화상의 사이즈에 거의 비례한 처리 시간과 메모리 액세스량, 즉 대역 폭을 필요로 한다. 따라서, 현상의 예에서는 LCD 출력용 화상 데이터의 생성, 썸네일용 화상 데이터의 생성에는, 모두 원화상의 640×480이라는 사이즈에 비례한 부하가 생긴다.

본 발명은 이러한 고찰에 기초하여 이루어진 것으로, 그 목적은 화상 복호 처리의 부하를 줄여, 소비 전력을 저감시킬 수 있는 화상 복호 기술을 제공하는데 있다.

도 1은 JPEG2000에 의해 부호화 화상 데이터가 복호되는 일련의 순서를 나타내는 도면.

도 2는 본 발명의 실시예에 따른 화상 복호 장치의 구성도.

도 3은 도 2의 처리 성능 테이블의 내부 구성의 일례를 나타내는 도면.

도 4는 도 2의 처리 성능 테이블의 내부 구성의 일례를 나타내는 도면.

도 5a, 도 5b는 JPEG2000에 있어서, 임의의 계층의 LL 서브 밴드와 비트 플레인의 관계를 나타내는 도면.

도 6은 본 발명의 실시예에 따른 디지털 카메라의 구성도.

도 7은 본 발명의 실시예에 따른 텔레비전 수신 장치의 구성도.

〈도면의 주요 부분에 대한 부호의 설명〉

10 : 화상 복호 장치

12 : 복호 유닛

14 : 스트림 해석기

16 : 산술 복호기

18 : 비트 플레인 복호기

20 : 역 양자화기

22 : 프레임 버퍼

24 : 웨이블릿 역 변환기

30 : 중단 제어 유닛

32 : 중단 처리부

34 : 처리 성능 테이블

36 : 처리 성능 지정부

200 : 디지털 카메라

202 : 촬상 블록

204 : 기구 제어 블록

206 : 처리 블록

208 : LCD 모니터

210 : 조작 버튼군

220 : CPU

222 : 메모리

224 : 통신부

226 : YC 처리부

228 : 카드 제어부

230 : 메모리 카드

300 : 텔레비전 수신 장치

302 : 안테나

304 : 수신 블록

306 : 처리 블록

308 : 재생 블록

320 : 튜너

322 : 패킷 분리부

330 : CPU

332 : 메모리

334 : 화상·음성 디코더

336 : 인터페이스 블록

340 : 음성 출력부

342 : 스피커

344 : 표시 장치

본 발명의 하나의 양태는 화상 복호 방법에 관한 것이다. 이 방법은 원화상을 부호화하여 생성된 부호화 화상 데이터를 단계적으로 복호하는 과정에서 생기는 중간 화상을 최종적인 복호 화상으로서 이용한다.

본 발명의 다른 양태도 화상 복호 방법에 관한 것이다. 이 방법은 원화상을 부호화하여 생성된 부호화 화상 데이터를 단계적으로 복호하여 중간 화상을 생성하는 공정과, 복호부터 출력에 이르는 어느 시점의 개소에서의 처리 능력에 따라 상기 중간 화상을 생성하는 공정을 중단하는 공정과, 중단된 시점에서 얻어진 중간 화상을 최종적인 복호 화상으로서 이용하는 공정을 포함한다.

본 발명의 또 다른 양태도 화상 복호 방법에 관한 것이다. 이 방법은 원화상을 계층적으로 부호화하여 생성된 부호화 화상 데이터를 그 계층 레벨에 따라 단계적으로 복호하여 중간 화상을 생성하는 공정과, 복호부터 출력에 이르는 어느 시점의 개소에서의 처리 능력에 따라 결정된 계층 레벨에 있어서 상기 중간 화상을생성하는 공정을 중단하는 공정과, 중단된 시점에서 얻어진 상기 중간 화상을 최종적인 복호 화상으로서 이용하는 공정을 포함한다.

통상 화상을 복호하는 경우, 당연히 복호가 완료되어 얻어지는 화상만을 취득하면 되지만, 이 양태에서는 굳이 복호 과정에서 생기는 중간 화상을 취득하여 이용한다. 예를 들면, 중간 화상이 최종적으로 복호 화상보다 해상도가 낮거나, 저주파 성분을 주체로 하고 있어도, 표시할 수 있으면 이용 가능하다. 또한, 용도에 따라서는 해상도가 낮은 쪽이 안성마춤인 경우도 있어, 이 양태는 그러한 경우에 적합하다. 예를 들면, 화상의 복호부터 화상의 표시, 인쇄 등의 출력에 이르기까지의 처리 과정에서, 메모리 용량, 소비 전력, CPU, 해상도 등의 처리 능력에 제한이 있을 때, 복호 과정을 도중에 중단하고, 그 시점까지 얻어진 중간 화상을 최종적인 복호 화상 대신에 이용한다. 이에 의해, 처리 비용의 저감으로 이어진다.

화상의 복호가 계층 구조 또는 재귀적인 구조로 이루어지는 경우, 중간 화상은 그 복호 과정에서 생기는 중간의 계층 레벨 또는 중간의 재귀 레벨의 화상이어도 된다. 이 경우, 중간 계층의 화상은 계층화 처리 또는 재귀적인 처리 과정에서 자연스럽게 발생하는 것이 많아, 안성마춤이다. 이하, 단순히 중간 화상이라고 하면, 이는 「중간 계층의 화상」도 포함하는 것으로 한다. 또한, 중간 화상은 원화상보다 해상도가 낮은 화상일 수도 있고, 중간 화상은 원화상의 저주파 성분을 기조로 하는 화상일 수도 있다.

상기 처리 능력은 상기 복호 화상의 표시처의 유효 해상도이고, 상기 중단 공정은 상기 유효 해상도에 적합한 중간 화상이 생성되는 단계에서 상기 중간 화상을 생성하는 공정을 중단하도록 할 수도 있다. 상기 처리 능력은 상기 복호 화상의 표시처에 있어서 이용 가능한 메모리 용량이고, 상기 중단 공정은 상기 메모리 용량에 적합한 상기 중간 화상이 생성되는 단계에서 상기 중간 화상을 생성하는 공정을 중단하도록 할 수도 있다.

상기 처리 능력은 상기 복호 처리시 이용 가능한 메모리 용량이고, 상기 중단 공정은 상기 메모리 용량에 적합한 상기 중간 화상이 생성되는 단계에서 상기 중간 화상을 생성하는 공정을 중단하도록 할 수도 있다.

상기 처리 능력은 상기 복호 처리 및 상기 복호 화상의 표시 중 적어도 한쪽에 있어서 허용되는 소비 전력이고, 상기 중단 공정은 상기 소비 전력에 따라 상기 중간 화상을 생성하는 공정을 중단하도록 할 수도 있다. 또한, 전력 절약화 모드 등의 모드가 설정된 경우에, 복호 처리를 적절하게 중단하도록 할 수도 있다.

상기 최종적인 복호 화상을 표시처의 유효 해상도에 맞도록 신축 처리를 실시하는 공정을 더 포함할 수도 있다. 이 신축 처리는 최종적으로 복호 화상이 되는 중간 화상의 해상도를 표시처의 해상도와 비교하여, 해상도가 부적합하다는 것이 판명되었을 경우에 이루어질 수도 있다. 또한, 이 신축 처리 대신에 또는 신축 처리와 함께, 트리밍, 엣지 강조 또는 고역 통과 필터링, 평활화 또는 노이즈 저감 또는 저역 통과 필터링, 색 변환, 기타 여러가지의 화상 처리를 실시할 수도 있다.

본 발명의 또 다른 양태는 화상 복호 장치에 관한 것이다. 이 장치는 원화상을 부호화하여 생성된 부호화 화상 데이터를 단계적으로 복호하여 중간 화상을 생성하는 복호 유닛과, 상기 복호 유닛에 작용하여, 복호부터 출력에 이르는 어느시점의 개소에서의 처리 능력에 따라 상기 중간 화상의 생성을 중단하는 중단 제어 유닛을 포함하고, 상기 복호 유닛은 상기 중단 제어 유닛에 의해 중단된 시점에서 생성된 상기 중간 화상을 최종적인 복호 화상으로서 출력한다.

상기 복호 유닛은 원화상이 계층화되어 부호화되어 있는 것을 전제로 그 계층 레벨에 따라 단계적으로 복호 처리를 행하고, 중간 계층에서 상기 중간 화상을 생성할 수도 있다. 상기 복호 유닛은 복호 과정에서 2차원 웨이블릿 역 변환을 실시하고, 2차원 모두 저주파 성분으로 이루어지는 서브 밴드에 의해 상기 중간 화상을 생성할 수도 있다.

본 발명의 또 다른 양태도 화상 복호 장치에 관한 것이다. 이 장치는 촬상 블록과, 촬상 블록을 기구면에서 제어하는 기구 제어 블록과, 촬상에 의해 얻어진 디지털 화상을 처리하는 처리 블록을 포함한다. 상기 처리 블록은 상기 수신 신호로부터 추출된 디지털 화상의 부호화 화상 데이터를 복호하는 복호 유닛과, 상기 복호 유닛에 작용하여, 복호부터 출력에 이르는 어느 시점의 개소에서의 처리 능력에 따라 상기 중간 화상의 생성을 중단하는 중단 제어 유닛을 포함한다. 상기 복호 유닛은 상기 중단 제어 유닛에 의해 중단된 시점에서 생성된 상기 중간 화상을 최종적인 복호 화상으로서 출력한다.

본 발명의 또 다른 양태도 화상 복호 장치에 관한 것이다. 이 장치는 수신 블록과, 수신 신호를 처리하는 처리 블록과, 처리 후의 신호를 재생하는 재생 블록을 포함한다. 상기 처리 블록은 상기 수신 신호로부터 추출된 디지털 화상의 부호화 화상 데이터를 복호하는 복호 유닛과, 상기 복호 유닛에 작용하여, 복호부터 출력에 이르는 어느 시점의 개소에서의 처리 능력에 따라 상기 중간 화상의 생성을 중단하는 중단 제어 유닛을 포함한다. 상기 복호 유닛은 상기 중단 제어 유닛에 의해 중단된 시점에서 생성된 상기 중간 화상을 최종적인 복호 화상으로서 출력한다. 해당 장치는 상기 복호 화상을 외부 기기로 출력하기 위한 인터페이스 블록을 더 포함한다. 「외부 기기」는 네트워크 등의 전송로나 메모리 등의 수동 소자일 수 있다.

또, 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램, 기록 매체 등의 사이에서 변환한 것도, 또한 본 발명의 양태로서 유효하다.

〈실시예〉

이하, 본 발명의 바람직한 실시예를 설명한다. 본 실시예는 JPEG2OOO에 의해 부호화된 화상 데이터를 복호하는 장치에 관한 것이다.

도 1은 JPEG2000에 기초한 복호 과정을 설명하는 도면이다. 도 1과 같이 우선 부호화 화상 데이터 CI(Coded Image)가 입력되고, 후술하는 바와 같이 산술 복호, 비트 플레인 복호 등의 처리를 거친 후, 역 양자화 처리된다. 이 단계에서, 원화상에 대하여 2회 웨이블릿 변환이 실시된 화상(이하, 제3 계층의 화상 WI3이라고 함)이 얻어진다. 계속해서, 이 화상에 웨이블릿 역 변환이 실시되어, 제2 계층의 화상 WI2가 생성된다. 이어서 2회째의 웨이블릿 역 변환에 의해 제1 계층의 화상 WI1이 얻어진다. 다시, 화상 WI1에 대하여 3회째의 웨이블릿 역 변환이 실시되어, 복호 화상 DI(Decoded Image)가 얻어진다.

지금, 이해를 돕기 위해 부호화의 순서를 나타내면, 이는 도 1의 처리의 역 변환이라고 할 수 있다. 즉, 도 1에서 복호 화상 DI로 된 부분이 원화상이고, 이에 대하여 1회 웨이블릿 변환이 실시되어, 제1 계층의 화상 WI1이 생성된다. JPEG2000에서 이용되는 웨이블릿 변환의 필터는 도베치(Daubechies) 필터이고, 그 본질은 화상의 종횡에 대하여 각각 동시에 고역 통과 필터 및 저역 통과 필터를 작용시키는 점에 있다. 따라서, 그 변환의 결과 화상은 x, y의 양방향에서 저주파 성분을 갖는 LL 서브 밴드와, x, y의 한 방향에서 저주파 성분을 갖고, 또한 다른 방향에서 고주파 성분을 갖는 HL 서브 밴드 및 LH 서브 밴드와, x, y의 양방향에서 고주파 성분을 갖는 HH 서브 밴드의 합계 4개의 대역으로 분할된다. 또한, 이 필터는 x, y의 양방향에 대하여 화소 수를 1/2로 경감하는 작용도 함께 갖는다. 따라서, 도 1에 도시한 바와 같이, 제1 계층의 화상 WI1에 있어서, 모식적으로 나타낸 4개의 서브 밴드(여기서는 LL1, HL1, LH1, HH1로 표기함)가 생성된다.

부호화에 있어서의 웨이블릿 변환에서는 소정의 횟수의 필터링이 실시된다. 도 1에서는 웨이블릿 변환은 3회 행해지고, 제2 계층의 화상 WI2, 제3 계층의 화상 WI3이 생성된다. 2회째 이후의 웨이블릿 변환은 직전의 계층의 화상 중, LL 서브 밴드 성분에 대해서만 실시된다. 예를 들면, 제2 계층의 화상 WI2에 있어서, 제1 계층의 화상 WI1의 LL1 서브 밴드가 4개의 서브 밴드인 LL2, HL2, LH2, HH2로 분해된다. 부호화 처리에 있어서는 제3 계층의 화상 WI3에 대하여 양자화, 그 밖의 처리를 실시하여 최종적으로 부호화 화상 데이터 CI가 얻어진다.

계층화된 화상에 대하여 주의해야 할 것은 원화상에 있어서의 저주파 성분이도 1에서, 보다 좌측 위에 나타나는 것이다. 도 1의 제2 계층의 화상 WI2로 말하면, 좌측 위 코너에 있는 LL2 서브 밴드가 가장 저주파이고, 다시 말하면, 이 LL2 서브 밴드만 얻을 수 있으면, 원화상의 가장 기본적인 성질을 재현할 수 있다. 이와 같은 지견이 이하의 실시예에서 이용되고 있다.

도 2는 화상 복호 장치(10)의 구성을 도시한다. 이 구성은 하드웨어적으로는 임의의 컴퓨터의 CPU, 메모리, 그 밖의 LSI로 실현할 수 있고, 소프트웨어적으로는 메모리에 로드된 화상 복호 기능의 임의의 프로그램 등에 의해 실현되지만, 여기서는 이들의 제휴에 의해 실현되는 기능 블록을 나타내고 있다. 따라서, 이들 기능 블록이 하드웨어만으로, 소프트웨어만으로, 또는 이들의 조합에 의해 다양한 형태로 실현할 수 있는 것은 당업자에게는 이해될 것이다.

화상 복호 장치(10)는 주로 복호 유닛(12)과 중단 제어 유닛(30)으로 이루어진다. 복호 유닛(12)은 부호화 화상 데이터 CI를 수취하여, 그 데이터 스트림을 해석하는 스트림 해석기(14)와, 해석 결과 판명된 복호할 데이터 열에 대하여 산술 복호를 실시하는 산술 복호기(16)와, 그 결과 얻어진 데이터를 색 컴포넌트마다 비트 플레인 형태로 복호하는 비트 플레인 복호기(18)와, 그 결과를 역 양자화하는 역 양자화기(20)와, 역 양자화의 결과 얻어진 제n 계층의 화상 WIn에 웨이블릿 역 변환을 실시하는 웨이블릿 역 변환기(24)를 포함한다. 웨이블릿 역 변환기(24)는 프레임 버퍼(22)를 워크 영역으로서 이용한다. 최종적으로 복호가 완료하여 얻어진 복호 화상 DI는 프레임 버퍼(22)로부터 임의의 용도로서 출력된다. 예를 들면, 출력처로서 LCD 등의 표시 장치, 메모리 카드나 하드디스크 등의 기록 장치, 프린터 등의 인쇄 장치 및 네트워크 경유의 서버 등이 있다.

한편, 중단 제어 유닛(30)은 웨이블릿 역 변환기(24)에 의한 복호 처리를 강제적으로 중단시켜, 그 때까지 생성된 제n 계층의 화상에 소정의 처리를 실시하는 중단 처리부(32)와, 화상의 복호부터 출력에 이르는 어느 시점의 개소의 처리 성능에 관한 정보를 저장한 처리 성능 테이블(34)과, 특정한 처리 성능을 지정하는 처리 성능 지정부(36)를 포함한다. 중단 처리부(32)는 처리 성능 지정부(36)로부터 지정된 처리 성능과 처리 성능 테이블(34)에 저장된 처리 성능에 관한 정보를 참조하여, 지정된 처리 성능에 적합한 해상도 또는 화질을 결정한다. 중단 처리부(32)는 결정된 해상도 또는 화질에 따라 웨이블릿 역 변환에 의한 복호 처리의 계층 레벨을 결정하고, 웨이블릿 역 변환기(24)에 있어서의 복호 처리의 진행을 감시하면서, 결정된 계층 레벨까지 복호 처리가 진행된 시점에 그 복호 처리를 강제 중단시켜, 그 이후의 계층의 복호 처리를 중지시킨다.

중단 처리부(32)는 복호 처리가 중단된 시점에 얻어진 제n 계층의 화상 WIn의 저주파 성분 LL 서브 밴드의 화상(이하, 이 LL 서브 밴드의 화상을 중간 화상이라고도 함)을 프레임 버퍼(22)로부터 판독하고, 필요에 따라 후술의 처리를 실시하여, 프레임 버퍼(22)에 재기입한다. 프레임 버퍼(22)로부터는 중단 처리부(32)에 의해 처리된 중간 화상이 최종적인 복호 화상 DI로서 출력된다.

JPEG2000에서는 복호는 동일 계층의 화상에 대하여 LL, HL 또는 LH, HH 서브 밴드의 순서로 행해진다. 임의의 계층의 LL 서브 밴드의 화상을 중간 화상으로서 이용하여, 이를 최종적인 복호 화상 DI로 하기 때문에, 그 계층의 HL, LH 및 HH 서브 밴드의 화상은 이용되지 않게 된다. 그래서, 중단 처리부(32)에 의해 웨이블릿 역 변환기(24)의 복호 처리가 임의의 계층 레벨에서 중단될 때, 원칙적으로 그 계층의 LL 서브 밴드에 대하여 복호가 행해된 시점에서 복호 처리를 강제 중단하고, 이후의 동일 계층에서의 다른 서브 밴드의 복호 처리를 행하지 않는다.

다음으로, 중단 처리부(32)가 복호 처리를 임의의 계층 레벨에서 중단시키기 위한 결정 기준에 대하여 설명한다. 화상의 출력처는 높은 해상도가 요구되는 대형 LCD나 프린터부터, 화상 사이즈가 작고 저해상도로 충분한 비디오 카메라 등의 뷰파인더와 같은 것까지 있어, 요구되는 화질이나 해상도가 다르다. 따라서, 출력처의 표시 능력을 고려하여 복호되는 화상의 해상도를 바꾸는 것을 생각할 수 있다.

또한, 화상의 복호 처리는 메모리를 대량으로 점유하고, 또한 CPU에 부담을 주어, 복호된 후의 화상의 데이터량은 출력처의 메모리나 출력처까지의 전송 경로를 압박한다. 따라서, 복호 처리를 행하는 장치의 처리 성능이나 출력처의 캐패시터를 고려할 필요도 있다. 또한, 복호 처리 장치나 출력처의 표시 장치는 배터리 구동인 경우도 있어, 배터리의 충전 상태에 의해 전력 절약화 모드로 전환하여 처리 시간을 단축하여, 전력 소비를 억제할 필요가 있다.

이러한 점에 주목하여, 복호 처리에 있어서의 CPU 성능 및 메모리 용량, 표시 인쇄·기록 등의 출력에 있어서의 기억 용량, 출력처까지의 전송 성능, 복호 장치 또는 표시 장치에 있어서의 전력 소비 허용량 등, 화상의 복호로부터 출력에 이르기까지 관련된 각종 처리 성능에 따라, 중단 처리부(32)는 복호 처리를 중단하는단계를 결정한다. 그 결정 시 참조되는 처리 성능 테이블(34)의 일례를 도 3 및 도 4에 도시한다.

도 3은 출력처에 따른 해상도를 저장한 처리 성능 테이블(34)을 도시하는 도면이다. 출력처의 명칭(70)과, 출력처에 있어서 출력 가능한 화상 사이즈(72)가 대응하여 저장되어 있다. 중단 처리부(32)는 처리 성능 지정부(36)로부터 복호 화상의 출력처를 지정하는 정보를 수취하고, 그것을 처리 성능 테이블(34)을 참조하여, 출력처에 맞춘 화상 사이즈를 얻어 어느 계층의 중간 화상을 이용할지를 결정한다. 예를 들면, 부호화 화상 데이터의 사이즈가 1280×960이라고 하자. 이를 320×240의 LCD에 표시하는 경우에는 제2 계층의 화상 WI2의 중간 화상 LL2가 320×240 사이즈이므로, 이 중간 화상 LL2를 복원 화상으로서 이용한다. 640×480의 외부 모니터에 표시하는 경우에는 제1 계층의 화상 WI1의 중간 화상 LL1이 640×480 사이즈이므로, 이 중간 화상 LL1을 복원 화상으로서 이용한다. 프린터로 출력하는 경우에는, 원화상, 즉 마지막까지 복원 처리를 한 후에 얻어지는 복원 화상 DI를 이용한다.

도 4는 전력 소비 모드에 따른 해상도를 저장한 처리 성능 테이블(34)을 도시하는 도면이다. 전력 모드(74)와 화상 사이즈(76)가 대응하여 저장되어 있다. 디지털 카메라 등에서 320×240의 LCD에 표시하는 경우, 중단 처리부(32)는 처리 성능 지정부(36)로부터 통상 전력 모드의 지정을 받은 경우, 이 처리 성능 테이블(34)을 참조하여 화상 사이즈로서 최대인 320×240을 선택하지만, 처리 성능 지정부(36)로부터 전력 절약화 모드의 지정을 받은 경우에는 그 절반인 160×120을선택한다. 전력 절약화 모드인 경우에는 제3 계층의 화상 WI3의 중간 화상 LL3을 이용할 수 있다. 이 전력 소비 모드는 배터리의 잔량으로부터 자동적으로 설정될 수도 있고, 또는 사용자가 모드 설정 기능을 이용하여 설정할 수도 있다. 또한, AC 어댑터에 의해 전력이 공급되는 경우와 배터리 구동의 경우에 모드를 전환하도록 구성할 수도 있다. 또한, 처리 성능 지정부(36)가 배터리의 잔량을 감시하여, 사용이 허용되는 전력을 중단 처리부(32)에 지시하고, 중단 처리부(32)가 복호 처리에 의한 소비 전력을 측정 또는 추정하여, 지시된 허용 전력의 범위 내에서 복호 처리를 중단하도록 구성할 수도 있다.

이 외, 중단 처리부(32)가 이용하는 중단을 위한 결정 기준으로서, 화상 복호 장치(10)의 CPU 성능, 프레임 버퍼(22)의 메모리 용량 등에 의해, 추출하는 중간 화상의 해상도를 결정할 수도 있다. 또한, 출력처의 표시 장치나 인쇄 장치의 메모리 용량에 의해, 추출하는 중간 화상의 해상도를 결정할 수도 있고, 또는 출력처에서 사용 가능한 메모리 용량에 제한을 두고, 그 제한 내에서 최대의 해상도를 결정할 수도 있다. 또한, 복호 처리 과정에서 메모리의 사용율의 동적인 변화를 파악하여, 처리 도중에서 메모리가 부족하게 되었을 때에, 복호 처리를 중단하도록 할 수도 있다.

또한, 또 다른 예로서, 처리 성능뿐만 아니라 화상의 용도에 의해 중간 화상의 해상도를 결정할 수도 있다. 예를 들면 상기한 예에서, 320×240 크기의 LCD에 표시하는 경우에도 120×80의 썸네일 화상으로 충분하다면, 제2 계층에서의 320×240의 중간 화상 대신에, 제3 계층에서의 160×120의 중간 화상 LL3을 이용할수도 있다. 이 경우, 중간 화상 LL3과 썸네일 화상의 사이즈가 안 맞기 때문에, 120×80 사이즈로 축소하는 처리를 실시하고 나서 복원 화상으로서 이용한다. 그 밖의 용도로서, 예를 들면 「디지털 카메라」의 「정지 화상」「동화상」등, 사용자가 화상을 이용하는 목적을 처리 성능 지정부(36)가 중단 처리부(32)에 지시하고, 각 용도에 대하여 정해진 해상도를 처리 성능 테이블(34)로부터 얻도록 할 수도 있다. 이 해상도는 사용자가 갖는 디지털 카메라의 사양이나, 디지털 카메라가 일반적으로 갖는 사양 등에 기초하여 정해진다.

이와 같이 중단 처리부(32)의 작용에 의해, 복호 처리를 마지막까지 행하여 복호 화상 D1을 얻지 않아도, 처리 성능이나 용도에 맞게 복호 과정에서 얻어지는 중간 계층의 중간 화상을 복호 화상으로서 이용할 수 있어, 처리 시간을 단축하고, 메모리 점유율을 낮게 억제하여, 결과적으로 소비 전력을 저감시킬 수 있다.

제n 계층에서 얻어지는 LL 서브 밴드의 중간 화상은 원화상의 종횡의 사이즈를 각각 1/2ⁿ배한 것이므로, 중간 화상은 그대로의 크기로는 출력처의 화상 사이즈에 맞지 않는 경우도 있다. 그 경우는 중간 화상을 필요에 따라 확대 축소하여 출력처의 화상 사이즈로 조정하여 복호 화상으로서 이용한다. 이 확대 축소의 처리는 화상의 보간이나 화소치의 변환 등의 처리를 수반한다. 중단 처리부(32)가 프레임 버퍼(22)로부터 중간 화상을 추출하여 이 처리를 행하지만, 이러한 처리는 출력처에서 행할 수도 있고, 프레임 버퍼(22)로부터는 LL 서브 밴드의 중간 화상이 그대로 출력처에 출력되도록 구성할 수도 있다.

또한, 디지털 카메라 등에 이 화상 복호 장치(10)가 실장된 경우를 상정하면, 줌 기능에 의해 촬영 화상을 확대 축소하는 경우가 있다. 이러한 경우, LL 서브 밴드의 중간 화상에 대하여 보간이나 변환 처리를 하여 확대 축소할 수 있지만, 다른 HL 또는 LH, HH 서브 밴드의 화상이 있으면, 그것을 이용하여 종횡 2배의 화상을 웨이블릿 역 변환에 의해 얻을 수 있다. 그래서, 상술한 중단 처리에 있어서, LL 서브 밴드의 화상을 복호한 시점에서 중단하는 것이 아니라, LL 이외의 서브 밴드의 화상도 아울러 복호하여 프레임 버퍼(22)에 기억해 두고, 줌시에는 LL 이외의 서브 밴드의 화상도 이용하여 다음의 계층의 화상으로 역 변환하여, 복원 화상으로서 이용할 수도 있다. 또한, LL 이외의 서브 밴드의 화상을 얻지 못한 경우에는 화소치를 0으로 간략화하여 다음의 계층의 화상을 복원할 수도 있다.

또 다른 중단 제어의 방법으로서, 출력처에서 요구되는 화질이 낮을 때는 비트 플레인 중, 상위의 비트 플레인만을 복호하고, 하위의 비트 플레인의 복호를 할애하도록 한 중단을 행할 수도 있다.

도 5a는 제2 계층 WI2에 있어서의 LL2 서브 밴드와 비트 플레인의 관계를 도시한다. 도 5a와 같이 제2 계층의 화상 WI2에 있어서, 우선 LL2 서브 밴드가 도 5a에서 직방체(50)로 도시하는 바와 같이, 모든 비트 플레인을 종단하는 형태로 복호된다. 따라서, 그 LSB(최하위 비트)에 가까운 쪽의 비트 플레인으로부터 스킵함으로써, 화질의 저하를 최소한으로 억제하면서, 복호 처리의 일부를 중단할 수 있다.

도 5b에서는 LL2 서브 밴드에 관한 직방체(50)가 유효한 비트 플레인에 의해형성되는 부분(52)과 스킵하는 부분(54)으로 나누어져 있다. 여기서는 출력처에서 요구되는 화질에 대응하여, 최하위의 비트 플레인 1매가 제거되어 있다.

이상, 중단 제어 유닛(30), 특히 중단 처리부(32)의 처리에 의해, 구해지는 해상도 또는 화질에 대응하여 복호 처리를 도중에 중단하고, 그 때까지 얻어진 중간 화상에 의해 복원 화상을 얻을 수 있지만, 화질의 저하의 방지가 고려되어 있기 때문에, 비교적 자연스러운 화상을 얻을 수 있다. 따라서, 본 실시예에 따르면, 비교적 소규모인 구성으로, 디지털 카메라와 같이 내장된 소형 LCD와 외부 디스플레 등의 두 개 이상의 해상도가 다른 표시부를 갖는 경우에, 표시부에 요구되는 해상도에 맞춰, 화상을 단시간에 복원할 수 있어, 실용적으로, 매우 큰 장점을 갖는다. 또한, 불필요한 복원 처리를 생략할 수 있어, 소비 전력을 대폭 절약할 수 있다.

중간 화상으로서 LL 서브 밴드의 화상을 이용하는 장점은 다음과 같이 요약된다.

1. 일반적으로 화상 처리는 화상 사이즈에 비례하는 처리의 부하를 발생시키므로, 화상 사이즈의 종횡비가 1/2ⁿ의 제n 계층의 중간 화상을 이용하면, 처리의 부하를 개략 1/2²ⁿ으로 저감시킬 수 있다. 그 결과, 처리 시간, 프레임 버퍼(22)의 점유율, 소비 전력의 측면에서도 개선 효과를 기대할 수 있다.

2. 경우에 따라, 스케일링 처리를 스킵할 수 있다. 예를 들면, 출력처에서 이용하고자 하는 화상 사이즈가 원화상의 사이즈의 1/2ⁿ이면, 제n 계층의 중간 화상을 그대로 이용할 수 있다. 즉, 제n 계층의 LL 서브 밴드의 화상을 선택한 시점에서, 사실 상 스케일링 처리가 완료되는 효과를 갖는다. 따라서, 이러한 의미에서도 처리 효율의 개선이 도모된다.

3. 화질 면에서도 유리하다. JPEG2000의 웨이블릿 변환에 의한 화상 부호화는 저비트 레이트에 있어서의 화질을 중시하여 설계되어 있어, 제1 계층의 화상의 LL 서브 밴드는 원화상, 즉 복원 화상 DI에 대하여 스케일링을 실시할 때에 이용되는 일반적인 필터에 비교하여, 동등하거나 상당히 양호한 화질을 실현할 수 있는 경우가 적지 않다. 따라서, 중간 계층의 화상의 LL 서브 밴드의 추출에 의해 스케일링을 겸하는 경우, JPEG2000의 화질면에서의 장점을 얻을 수 있다.

4. 중간 화상이 재이용 가능하게 되는 배경으로서, 그 데이터 포맷이 원화상의 데이터 포맷과 동일한 것을 들 수 있다. 즉, 웨이블릿 변환에 의한 화상의 부호화 처리는 화소를 단위로 하는 필터링으로서, 화소치 및 화상 사이즈는 변화하지만, 원화상과 동일한 표시 체계로써 표시 가능한 범위에 있다. 따라서, 중간 화상은 복원 화상 DI와 마찬가지로, 그대로 표시하는 용도에도 적용된다.

도 6은 다른 실시예에 따른 디지털 카메라(200)의 구성을 도시한다. 디지털 카메라(200)는 촬상 블록(202), 기구 제어 블록(204), 처리 블록(206), LCD 모니터(208) 및 조작 버튼군(210)을 포함한다.

촬상 블록(202)은 도시하지 않는 렌즈, 조리개, 광학 저역 통과 필터, CCD, 신호 처리부 등을 포함한다. CCD의 수광면 상에 결상된 피사체상의 광량에 따라 CCD에 전하가 축적되고, 전압 신호로서 판독된다. 전압 신호는 신호 처리부에서R, G, B 성분으로 분해되고, 화이트 밸런스 조정, 감마 보정이 행하여진다. 그 후, R, G, B 신호는 A/D 변환되어, 디지털 화상 데이터가 되어 처리 블록(2061)으로 출력된다. 기구 제어 블록(204)은 촬상 블록(202)의 광학계의 제어, 즉 줌, 포커스, 조리개 등의 구동을 제어한다.

처리 블록(206)은 디지털 카메라(200) 전체의 제어에 이용되는 CPU(220)와 메모리(222) 외, YC 처리부(226), 카드 제어부(228), 통신부(224)를 갖는다. 이들 중, CPU(220)의 기능의 일부와 메모리(222)에 로드된 화상 복호 프로그램이 도 2의 화상 복호 장치(10)에 상당한다. 도 2의 프레임 버퍼(22)도 이 메모리(222)의 일부를 이용하여 실현할 수 있다. 또, 이 디지털 카메라(200)는 메모리 카드(230)에 화상 데이터를 보존하기 위해서, 도시하지 않는 화상 부호화 장치도 CPU(220)와 메모리(222)에 의해 실현되어 있다. 따라서, 이하 부호화도 복호화도 가능한 구성으로서 설명한다.

YC 처리부(226)는 디지털 화상 데이터로부터 휘도 Y와 색차 Cb, Cr을 생성한다. 휘도와 색차는 독립적으로 순차적으로 부호화된다. 부호화 화상 데이터 CI는 통신부(224)를 통해 외부로 출력되고, 또는 카드 제어부(228)를 통해 메모리 카드(230)에 기입된다.

통신부(224)는 표준적인 통신 사양에 따른 프로토콜 변환 등의 제어를 행하고, 이 외에, 예를 들면 프린터, 게임기 등의 외부 기기간에서 개별 인터페이스에 의해 데이터 송수신을 행한다.

LCD 모니터(208)는 촬영/재생 모드, 줌 배율, 일시 등 외에, 촬영한 동화상,고속 연속 복사 화상, 정지 화상 등을 표시한다. 따라서, 사용자가 동화상을 촬영한 경우, 우선 이것이 부호화 압축되어, 예를 들면 메모리 카드(230)에 기록된다. 사용자가 그 동화상을 재생할 때, 필요에 따라 실시예에 특징적인 복호 처리에 대한 중단 처리가 이루어진다. 또, 조작 버튼군(210)은 사용자가 촬영을 행하고, 또는 각종 동작 모드를 설정하기 위한 파워 스위치, 릴리스 스위치 등을 포함한다.

이상의 구성에 의해, 다음과 같은 효과가 얻어진다.

1. 출력처에서 요구되는 해상도나 화질에 대응하여 적절하게, 복호 처리를 중단하고 중간 화상을 이용하기 때문에, 스케일링의 처리 시간 및 대역 폭이 대폭 삭감된다. 따라서, 디지털 카메라에 있어서 예를 들면 고해상도의 정지 화상 기록과 동화상 촬영을 동시에 행하는 것이 용이하게 된다. 또한, 정지 화상과 썸네일 화상을 동시에 기록하는 경우에도, 예를 들면 고속 연속 복사 촬영이 용이하게 된다.

2. 동화상을 촬영하여 재생하는 경우, 프레임 레이트가 결정되어 있기 때문에, 복호의 처리 능력에 따라 경우에 따라 중단 처리가 이루어져, 중간 화상이 복원 화상으로서 이용된다. 이에 의해, 화질의 저하를 억제하면서, 결정된 프레임 레이트를 유지할 수 있다. 또한, 화상 복호 장치(10)를 그다지 고속화하지 않아도, 처리 능력에 따른 동화상의 재생이 가능해지기 때문에, 비용면에서 장점이 있고, 또한 소비 전력 측면에서도 장점이 있다.

이와 같이 JPEG2000의 처리의 프로세스와 구성을 잘 이용하고, 또한 JPEG2000의 고화질인 필터에 주목함으로써, 비교적 용이한 구성으로 화상 처리의효율 개선이 실현된다. 또한, MPEG4에서는 프레임의 압축에 웨이블릿 변환이 이용되기 때문에, 정지 화상의 경우와 마찬가지의 구조를 동화상 재생에도 응용할 수 있다. 이에 의해, 디지털 카메라, 디지털 비디오, 그 밖의 화상 처리 장치의 상품 가치의 향상 및 조작성의 개선이 실현된다.

도 7은 또 다른 실시예에 따른 텔레비전 수신 장치(300)의 구성을 도시한다. 텔레비전 수신 장치(300)는 안테나(302)와 안테나를 통해 방송파를 수신하는 수신 블록(304)과, 수신 블록(304)에 의한 처리 결과 얻어진 화상 및 음성 데이터를 처리하는 처리 블록(306)과, 처리 블록(306)에 의해 복호된 음성 및 화상을 재생하는 재생 블록(308)을 포함한다. 또한, 인터페이스 블록(336)은 처리 블록(306)에 의한 복호 화상 데이터를 적절하게 외부 기기로 출력한다.

수신 블록(304)은 튜너(320) 및 패킷 분리부(322)를 포함한다. 튜너(320)는 사용자가 선택한 채널을 포함하는 트랜스폰더를 선택하여, QPSK 복조를 실시한다. 복조로 얻어진 복수의 트랜스포트 패킷을 포함하는 스트림은 패킷 분리부(322)로 보내진다. 패킷 분리부(322)는 디멀티플렉서이며, 원하는 채널에 대응하는 패킷을 분리하여 처리 블록(306)으로 출력한다.

처리 블록(306)의 화상·음성 디코더(334)는 CPU(330) 및 메모리(332)와 제휴하여, 방송국에서 부호화되어 송신된 화상 및 음성 데이터를 복호한다. 화상·음성 디코더(334)는 입력된 패킷을 복호하고, 음성 데이터를 음성 출력부(340)로, 화상 데이터를 표시 장치(344)로 각각 출력한다. 음성 출력부(340)는 입력된 음성 데이터에 소정의 처리를 실시하여, 최종적으로 음성이 스피커(342)로 출력된다.처리 블록(306)의 구성, 즉 화상·음성 디코더(334), CPU(330), 메모리(332) 중, 화상 복호에 관한 부분이 도 2의 화상 복호 장치(10)에 상당한다. 이상의 구성에 따르면, 매우 낮은 비용과 소비 전력으로, 소위 디지털 텔레비전을 실현할 수 있다. 이 텔레비전은, 예를 들면 휴대 전화 등의 소형 기기에 탑재할 수도 있다.

이상, 본 발명을 실시예에 기초하여 설명하였다. 이들 실시예는 예시이고, 이들 각 구성 요소나 각 처리 공정의 조합에 다양한 변형예가 가능하다는 것, 또한 그러한 변형예도 본 발명의 범위에 있는 것은 당업자에게 이해될 것이다. 그러한 변형예를 몇 가지 설명한다.

본 발명의 실시예에서는 화상의 복호를 예로서 중간 화상을 이용하여 최종적인 복원 화상을 얻는 것을 설명하였다. 그러나, 본 발명은 화상의 복호에 한정될 필요는 없고, 임의의 화상 처리의 도중 결과를 중간 화상으로서 이용할 수 있는 것이면 적용 가능하다. 예를 들면, 원화상을 복수회 소정의 필터링에 의해, 화상을 계층화하는 경우, 중간 계층의 화상이 자연스럽게 얻어지기 때문에, 안성마춤이다. 필터도, 통상의 애버리지 필터 등, 임의의 것이어도 된다.

또한, 마찬가지의 이유로, 프로그레시브 JPEG와 같이 어떤 프로그레시브한 성질을 갖는 화상 처리는 본 발명의 적용에 안성마춤이다. 예를 들면, 프로그레시브에 표시되는 화상 중 도중의 단계에서 도출되는 화상을 중간 화상으로서 이용할 수 있다.

본 발명의 실시예에서는 디지털 카메라를 예로 설명하였지만, 이는 당연히 다른 전자 기기에도 적용될 수 있다. 예를 들면, 디지털 카메라와 같이 촬상 블록및 처리 블록을 갖는 팩시밀리 장치, 복사기, 스캐너 등의 기기에 본 발명을 적용할 수 있다.

마찬가지로, 본 발명의 실시예에서는 텔레비전 수신 장치를 예시하였지만, 이것도 수신 블록 및 처리 블록을 갖는 다른 기기, 예를 들면 인터넷에 접속 가능한 휴대 전화나 각종 PDA(개인용 정보 단말기)에도 적용될 수 있다.

본 발명에 따르면, 화상 복호 처리의 효율 개선을 도모할 수 있다.

Claims

원화상을 부호화하여 생성된 부호화 화상 데이터를 단계적으로 복호하는 과정에서 생기는 중간 화상을 최종적인 복호 화상으로서 이용하는 것을 특징으로 하는 화상 복호 방법.
원화상을 부호화하여 생성된 부호화 화상 데이터를 단계적으로 복호하여 중간 화상을 생성하는 공정과,

복호부터 출력에 이르는 어느 시점의 개소에서의 처리 능력에 대응하여 상기 중간 화상을 생성하는 공정을 중단하는 공정과,

중단된 시점에서 얻어진 중간 화상을 최종적인 복호 화상으로서 이용하는 공정을 포함하는 것을 특징으로 하는 화상 복호 방법.
원화상을 계층적으로 부호화하여 생성된 부호화 화상 데이터를 그 계층 레벨에 따라 단계적으로 복호하여 중간 화상을 생성하는 공정과,

복호부터 출력에 이르는 어느 시점의 개소에서의 처리 능력에 대하여 결정된 계층 레벨에 있어서 상기 중간 화상을 생성하는 공정을 중단하는 공정과,

중단된 시점에서 얻어진 상기 중간 화상을 최종적인 복호 화상으로서 이용하는 공정을 포함하는 것을 특징으로 하는 화상 복호 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 중간 화상은 원화상보다 해상도가 낮은 화상인 것을 특징으로 하는 화상 복호 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 중간 화상은 원화상의 저주파 성분을 기조(基調)로 하는 화상인 것을 특징으로 하는 화상 복호 방법.
제2항 또는 제3항에 있어서,

상기 처리 능력은 상기 복호 화상의 표시처의 유효 해상도이며, 상기 중단 공정은 상기 유효 해상도에 적합한 중간 화상이 생성되는 단계에서 상기 중간 화상을 생성하는 공정을 중단하는 것을 특징으로 하는 화상 복호 방법.
제2항 또는 제3항에 있어서,

상기 처리 능력은 상기 복호 화상의 표시처에 있어서 이용 가능한 메모리 용량이며, 상기 중단 공정은 상기 메모리 용량에 적합한 상기 중간 화상이 생성되는 단계에서 상기 중간 화상을 생성하는 공정을 중단하는 것을 특징으로 하는 화상 복호 방법.
제2항 또는 제3항에 있어서,

상기 처리 능력은 상기 복호 처리에서 이용 가능한 메모리 용량이며, 상기 중단 공정은 상기 메모리 용량에 적합한 상기 중간 화상이 생성되는 단계에서 상기 중간 화상을 생성하는 공정을 중단하는 것을 특징으로 하는 화상 복호 방법.
제2항 또는 제3항에 있어서,

상기 처리 능력은 상기 복호 처리 및 상기 복호 화상의 표시 중 적어도 한쪽에 있어서 허용되는 소비 전력이며, 상기 중단 공정은 상기 소비 전력에 대응하여 상기 중간 화상을 생성하는 공정을 중단하는 단계를 결정하는 것을 특징으로 하는 화상 복호 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 최종적인 복호 화상을 표시처의 유효 해상도에 맞도록 신축 처리를 실시하는 공정을 더 포함하는 것을 특징으로 하는 화상 복호 방법.
원화상을 부호화하여 생성된 부호화 화상 데이터를 단계적으로 복호하여 중간 화상을 생성하는 복호 유닛과,

상기 복호 유닛에 작용하여, 복호부터 출력에 이르는 어느 시점의 개소에서의 처리 능력에 대응하여 상기 중간 화상의 생성을 중단하는 중단 제어 유닛을 포함하며,

상기 복호 유닛은 상기 중단 제어 유닛에 의해 중단된 시점에서 생성된 상기중간 화상을 최종적인 복호 화상으로서 출력하는 것을 특징으로 하는 화상 복호 장치.
제11항에 있어서,

상기 복호 유닛은 원화상이 계층화되어 부호화되어 있는 것을 전제로 그 계층 레벨에 따라 단계적으로 복호 처리를 행하고, 중간 계층에서 상기 중간 화상을 생성하는 것을 특징으로 하는 화상 복호 장치.
제11항 또는 제12항에 있어서,

상기 중간 화상의 해상도는 상기 최종적으로 얻어지는 복호 화상의 해상도보다 낮은 것을 특징으로 하는 화상 복호 장치.
제11항 또는 제12항에 있어서,

상기 중간 화상은 상기 최종적으로 얻어지는 복호 화상의 저주파 성분을 포함하는 것을 특징으로 하는 화상 복호 장치.
제11항 또는 제12항에 있어서,

상기 복호 유닛은 복호 과정에서 2차원 웨이블릿 역 변환을 실시하며, 2차원모두 저주파 성분으로 이루어지는 서브 밴드에 의해 상기 중간 화상을 생성하는 것을 특징으로 하는 화상 복호 장치.
촬상 블록과, 이 촬상 불록을 기구면에서 제어하는 기구 제어 블록과, 촬상에 의해 얻어진 디지털 화상을 처리하는 처리 블록을 포함하며,

상기 처리 블록은 상기 수신 신호로부터 추출된 디지털 화상의 부호화 화상 데이터를 복호하는 복호 유닛과, 상기 복호 유닛에 작용하여, 복호부터 출력에 이르는 어느 시점의 개소에서의 처리 능력에 대응하여 상기 중간 화상의 생성을 중단하는 중단 제어 유닛을 포함하며,

상기 복호 유닛은 상기 중단 제어 유닛에 의해 중단된 시점에서 생성된 상기 중간 화상을 최종적인 복호 화상으로서 출력하는 것을 특징으로 하는 화상 복호 장치.
수신 블록과, 수신 신호를 처리하는 처리 블록과, 처리 후의 신호를 재생하는 재생 블록을 포함하고,

상기 처리 블록은 상기 수신 신호로부터 추출된 디지털 화상의 부호화 화상 데이터를 복호하는 복호 유닛과, 상기 복호 유닛에 작용하여, 복호부터 출력에 이르는 어느 시점의 개소에서의 처리 능력에 대응하여 상기 중간 화상의 생성을 중단하는 중단 제어 유닛을 포함하고, 상기 복호 유닛은 상기 중단 제어 유닛에 의해 중단된 시점에서 생성된 상기 중간 화상을 최종적인 복호 화상으로서 출력하고,

상기 복호 화상을 외부 기기로 출력하기 위한 인터페이스 블록을 더 포함하는 것을 특징으로 하는 화상 복호 장치.