KR20020068272A

KR20020068272A - 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화장치 및 화상 복호 장치

Info

Publication number: KR20020068272A
Application number: KR1020020008420A
Authority: KR
Inventors: 오까다시게유끼
Original assignee: 산요 덴키 가부시키가이샤
Priority date: 2001-02-20
Filing date: 2002-02-18
Publication date: 2002-08-27
Also published as: EP1233611A3; JP2002247580A; KR100630983B1; JP4067281B2; US7333662B2; TW548978B; EP1233611A2; US20020154826A1

Abstract

화상의 용도가 변화될 때마다 일반적으로 화상의 스케일링이나 부호화, 복호를 행하므로 효율이 나쁘다. 본 발명은, 원화상 OI에 웨이브릿 변환을 가하여 제1 계층의 화상 WI1을 생성한다. 이때, LL 서브밴드 성분을 중간 화상 II로서 중간 화상 메모리(28)에 기록하여 둔다. 원화상 OI에 대한 웨이브릿 변환은 제3 계층의 화상 WI3까지 진행하고, 이후, 양자화 등을 거쳐 JPEG 2000에 기초한 부호화 화상 데이터가 생성된다. 한편, 화상의 용도가 비교적 작은 사이즈의 화상을 요구하는 경우, 일부러 원화상 OI로 리턴하여 부호화를 개시하지 않고, 중간 화상 메모리(28)에 기록된 중간 화상 I1을 새로운 원화상(40)으로 하여 부호화한다.

Description

화상 처리 방법과, 이 방법을 이용가능한 화상 부호화 장치 및 화상 복호 장치{IMAGE PROCESSING METHOD, AND IMAGE ENCODING APPARATUS AND IMAGE DECODING APPARATUS CAPABLE OF EMPLOYING THE SAME}

본 발명은, 화상 처리 기술에 관한 것으로, 특히, 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화 장치 및 화상 복호 장치에 관한 것이다.

20세기는 "영상의 세기"라고 하듯이, 영화, TV 방송을 비롯하여 다종 다양한 영상 및 화상이 생산되고 이용되어 왔다. 특히 1990년대에 들어서, PC(퍼스널 컴퓨터)를 대표로 하는 각종 정보 기기의 보급, 디지털 카메라나 컬러 프린터 등의 대중화, 인터넷 인구의 폭발적인 증가 등에 따라, 일반인의 일상 생활에 디지털 화상의 문화가 깊이 침투하게 되었다. 이러한 상황 하에서, 정지화상, 동화상에 대해서는, 각각 JPEG(Joint Photographic Expert Group), MPEG(Motion Picture Expert Group) 등의 부호화 압축 기술이 표준화되어, CD-ROM 등의 기록 매체나, 네트워크 또는 방송파 등의 전송 매체를 통한 화상의 배신 및 재생의 이용 편의성이 개선되어 왔다. JPEG 계열에 있어서, 그 진화판이라고도 할 수 있는 JPEG 2000이 발표되어 있고, 또한 MPEG에 대해서도 중장기에 걸친 목표가 책정되어 있어, 앞으로도 화상 처리 기술의 세련됨이 인간을 보다 깊게 디지털 화상의 세계로 이끄는 것에는 틀림이 없다.

또한, 화상 데이터 형식의 표준화는 디지털 기기간의 데이터 송수신을 촉진하는 효과를 갖는다. 예를 들면, 명함의 절반 정도가 되는 메모리 카드를 이용함으로써, 휴대 기기나 정보 기기간에서 극히 간단하게 데이터를 교환할 수 있게 되었다. 디지털 카메라로 촬영한 화상 데이터는 동일한 데이터 형식을 지원하는 고선명 컬러 프린터로 용이하게 출력할 수 있다. 향후에도 다양한 기기에 걸쳐서 화상 데이터가 이용되는 경우가 증가할 것으로 예상된다.

본 발명자는 이러한 상황에서 이하의 과제를 인식하기에 이르렀다. 즉, 예를 들면, 디지털 카메라로 촬영한 화상이 원래 640 ×480의 해상도를 가질때, 이를 320 ×200의 LCD에 표시하려고 하면, 화상의 스케일링이 필요하게 된다. 한편, 120 ×80의 섬네일 화상을 작성하고자 할 경우에도, 역시 스케일링을 요한다. 일반적으로 스케일링은 처리를 실시하고자 하는 원래의 화상 사이즈에 거의 비례한 처리 시간과 메모리 액세스량, 즉 대역폭을 요한다. 따라서, 본 예에서는, LCD 출력용 화상 데이터의 생성 및 섬네일용 화상 데이터의 생성에는 모두 원화상의 640 ×480이라고 하는 사이즈에 비례한 부하가 생긴다.

본 발명은 이러한 고찰에 기초하여 안출된 것으로서, 그 목적은, 화상 처리, 특히 화상 부호화 또는 화상 복호를 수반하는 처리의 경우에 처리 부하를 감소시켜, 처리 시간 및 소비 전력을 저감시킬 수 있는 기술을 제공하는데에 있다.

도 1은 실시 형태 1에 따른 화상 부호화 장치의 구성도.

도 2는 실시 형태 1에 따른 처리 수순을 도시한 도면.

도 3은 실시 형태 1에서 중간 화상 메모리에 기록되는 화상 데이터의 구조를 도시한 도면.

도 4는 도 3에 도시한 화상 데이터 중 헤더 영역의 구조를 도시한 도면.

도 5는 도 1에 도시한 화상 사이즈 테이블의 내부 구성을 도시한 도면.

도 6은 실시 형태 2에 따른 화상 복호 장치의 구성도.

도 7은 실시 형태 2에 따른 처리 수순을 도시한 도면.

도 8은 실시 형태 3에 따른 디지털 카메라의 구성도.

도 9는 실시 형태 4에 따른 TV 수신 장치의 구성도.

<도면의 주요 부분에 대한 부호의 설명>

10 : 화상 부호화 장치

12 : 부호화 유닛

14 : 웨이브릿 변환기

16 : 프레임 버퍼

28 : 중간 화상 메모리

32 : 화상 메모리 제어기

34 : 화상 사이즈 판정기

36 : 화상 사이즈 테이블

38 : 화상 선택 유닛

50 : 화상 데이터 구조

52 : 제1 영역

54 : 제2 영역

56 : 헤더 영역

100 : 화상 복호 장치

110 : 복호 유닛

112 : 웨이브릿 역변환기

124 : 복호 화상 메모리

200 : 디지털 카메라

202 : 촬상 블록

204 : 기구 제어 블록

206 : 처리 블록

300 : TV 수신 장치

304 : 수신 블록

306 : 처리 블록

308 : 재생 블록

336 : 인터페이스 블록

본 발명의 하나의 특징은, 화상 처리 방법, 특히 화상 부호화 방법에 관한것이다. 이 방법은 원화상을 부호화하는 과정에서 생성되는 중간 화상을 보존하여 두고, 이를 새로운 원화상으로 하여 이용한다. "원화상"이란, 예를 들면, 부호화의 개시에 맞춰 투입되는 화상을 의미한다. 화상을 부호화하는 경우, 그 부호화의 최종 결과 데이터만을 취득하면 되지만, 본 특징에서는, 구태여 처리 도중의 중간 화상을 버리지 않고 남겨서 이를 재이용한다. 중간 화상의 해상도가 원화상보다 낮고, 또 현재 요구되고 있는 부호화 화상의 해상도가 낮은 경우, 일부러 원화상을 순서대로 부호화하여 가는 것보다, 중간 화상을 개시점으로 하여 부호화하는 쪽이 처리면에서 수월하다. 또, 본 명세서에서는 이후, 부호화가 완료되어 얻어지는 최종적인 화상 데이터에 한정하여 "부호화 화상" 또는 "부호화 화상 데이터"라고 하고, 이것은 중간 화상을 포함하지 않는 것으로 한다.

중간 화상은 원화상을 계층화하여 부호화하는 과정에서 생성되는 중간 계층의 화상이어도 무방하다. 이 경우, 중간 계층의 화상은 계층화 처리 과정에서 자연히 발생하는 것이 많아 유용하다. 이하, 단지 중간 화상이라고 할 때, 이것은 "중간 계층의 화상"도 포함하는 것으로 한다.

중간 화상을 새로운 원화상으로 고려하여, 이를 소망의 처리에 투입할 수 있다. 소망의 처리로서는, 부호화, 스케일링, 즉 화상 사이즈 또는 해상도의 확대 또는 축소, 회전, 트리밍, 에지 강조 또는 고역 통과 필터링, 평활화 또는 노이즈 저감 또는 저역 통과 필터링, 색변환, 그 밖의 다양한 화상 처리가 있다.

본 발명의 다른 특징은, 화상 처리 방법, 특히 화상 복호 방법에 관한 것이다. 이 방법은, 원화상을 부호화하여 생성된 부호화 화상 데이터를 복호하는 과정에서 생성되는 중간 화상을 최종적인 복호 화상과는 별도로 보존하여 두고, 용도에 맞게 이 중간 화상을 최종적인 복호 화상 대신에 이용한다.

통상 화상을 복호하는 경우, 당연히 복호가 완료되어 얻어지는 화상만을 취득하면 되지만, 본 특징에서는 일부러 중간 화상을 취득하여 이용한다. 예를 들면, 중간 화상이 최종적으로 복호 화상보다 해상도가 낮거나 저주파 성분을 주체로 하고 있어도 표시할 수 있으면 이용가능하다. 용도에 따라서는, 해상도가 낮은 쪽이 유용한 것도 있어, 본 특징은 그러한 경우에 바람직하다. 또, "복호 화상"이란 부호화된 화상 데이터를 복호하여 생성되는 화상 데이터를 가르키는 것으로 하고, 따라서 부호화와 복호가 무손실이면, 복호 화상은 원화상과 일치한다. 또한, "복호 화상"은 특별히 한정하지 않고 복호가 완료되어 얻어지는 최종적인 화상을 가르키는 것으로 하고, 따라서 중간 화상을 포함하지 않는 것으로 한다.

본 발명의 또 다른 특징은, 컴퓨터로 판독 및 이용이 가능한 데이터의 구조에 관한 것이다. 본 데이터 구조는, 원화상의 식별 정보를 보존하는 제1 데이터 영역과, 원화상의 부호화 과정에서 생성된 중간 화상을 보존하는 제2 데이터 영역과, 이들 두 영역을 관련시키기 위한 링크 정보를 포함하는 헤더 영역을 포함한다. 헤더 영역은 제1 데이터 영역과 제2 데이터 영역 중 어느 하나에 포함되어 있어도 무방하다. 본 데이터 구조에 따르면, 용도에 맞게 원화상 또는 중간 화상을 선택하여 이용할 수 있다.

특히, 중간 화상과 원화상이 동일한 표시 체계로 표시할 수 있는 경우, 이들의 상호 대체성이 높다. 이를 위해서는, 부호화가, 그에 의해서 생성된 화상이 복호 처리를 실시하지 않고도 원화상과 마찬가지의 표시가 가능한 범위에 속하는 제1 처리 단계와, 어떠한 복호 처리를 실시하지 않으면 원화상과 마찬가지의 표시가 불가능하게 되는 제2 처리 단계를 포함한다고 하면, 중간 화상은 제1 처리 단계의 범위에서 생성된 것이어도 무방하다.

본 발명의 또 다른 특징은, 화상 부호화 장치에 관한 것이다. 본 장치는, 원화상을 부호화하는 부호화 유닛과, 부호화의 과정에서 생성되는 중간 화상을 최종적인 부호화 화상과는 별도로 보존하는 중간 화상 메모리를 포함한다.

부호화 유닛은, 원화상을 계층화하거나 원화상의 해상도를 저하시키거나, 원화상의 저주파 성분을 이용하여 중간 화상을 생성하여도 된다. 또한, 원화상에 2차원 웨이브릿(wavelet) 변환을 실시하였을 때에 나타나는, 2차원과 함께 저주파 성분으로 이루어지는 서브밴드에 의해서 중간 화상을 생성하여도 된다.

본 장치는 화상의 용도에 맞게 원화상 또는 중간 화상 중 한쪽을 선택하여 부호화 유닛에 투입하는 화상 선택 유닛을 더 포함하여도 된다. 화상의 용도를 판정하기 위해서, 용도와 화상 사이즈 기타 화상의 속성을 대응시켜서 기억하는 테이블을 구비하여도 된다.

본 발명의 또 다른 특징도 화상 부호화 장치에 관한 것이다. 본 장치는 촬상 블록과, 그것을 기구면에서 제어하는 기구 제어 블록과, 촬상에 의해서 얻어진 디지털 화상을 처리하는 처리 블록을 포함하고, 이 처리 블록은, 상기 디지털 화상을 부호화하는 부호화 유닛과, 그 부호화 과정에서 생성되는 중간 화상을 최종적인 부호화 화상과는 별도로 보존하는 중간 화상 메모리를 포함한다. 본 특징에 따르면, 복수의 용도에 대하여 일부러 매회 원화상을 부호화할 필요가 없으므로, 장치의 처리 부하의 저감, 처리 시간의 단축에 기여한다.

본 발명의 또 다른 특징은 화상 복호 장치에 관한 것이다. 본 장치는 원화상을 부호화하여 생성된 부호화 화상 데이터를 복호하는 복호 유닛과, 복호 과정에서 생성되는 중간 화상을 상기 복호에 의해서 최종적으로 얻어지는 복호 화상과는 별도로 보존하는 중간 화상 메모리를 포함한다. 본 특징에 따르면, 용도에 맞게 중간 화상 또는 복호 화상 중 한쪽을 선택할 수 있다. 이를 위해, 중간 화상 메모리는 중간 화상과 최종적으로 얻어지는 복호 화상을 관련시켜서 기억하고 있어도 된다. 본 장치는, 화상의 용도에 맞게 상기 최종적인 복호 화상 또는 중간 화상 중의 한쪽을 선택하여 출력하는 화상 선택 유닛을 포함하여도 된다.

복호 유닛은 복호 과정에서 2차원 웨이브릿 역변환을 실시하고, 2차원과 함께 저주파 성분으로 이루어지는 서브밴드에 의해서 중간 화상을 생성하여도 된다.

본 발명의 또 다른 특징도 화상 복호 장치에 관한 것이다. 본 장치는 수신 블록과, 수신 신호를 처리하는 처리 블록과, 처리 후의 신호를 재생하는 재생 블록을 포함하고, 상기 처리 블록은, 상기 수신 신호로부터 추출된 디지털 화상의 부호화 화상 데이터를 복호하는 복호 유닛과, 그 복호 과정에서 생성되는 중간 화상을 상기 복호에 의해서 최종적으로 얻어지는 복호 화상과는 별도로 보존하는 중간 화상 메모리를 포함하고, 본 장치는 또한 상기 중간 화상을 외부 기기로 출력하기 위한 인터페이스 블록을 포함한다. "외부 기기"는 네트워크 등의 전송로나 메모리 등의 수동 소자이어도 된다. 본 특징에 따르면, 복호 화상을 얻을 때에 부산물적으로 또는 일시적으로 생성되는 중간 화상을 유효하게 이용할 수 있기 때문에, 일련의 복호 처리로 서로 다른 복수의 용도에 적합한 화상을 얻을 수 있다.

본 발명의 또 다른 특징은 화상 처리 방법에 관한 것이다. 본 방법은 원화상을 소정의 목적에 맞게 처리할 때, 그 처리 도중에서 생성되는 화상 중 원화상과 동일한 표시 체계로 표시 가능한 범위에 있는 것을 원화상과는 별도로 보존하여 용도에 맞게 재이용한다.

본 발명의 또 다른 특징도 화상 처리 방법에 관한 것이다. 본 방법은 화상 데이터를 복원할 때, 그 처리 도중에서 생성되는 화상 중 최종적으로 얻게 될 화상과 동일한 표시 체계로 표시 가능한 범위에 들어가는 것이 발생하였을 때, 이 화상을 상기 최종적으로 얻게 될 화상과는 별개로 추출하여 이용한다.

또한, 전술한 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램, 데이터 구조, 상기 기록 매체 등의 사이에서 변환한 것도 또한, 본 발명의 특징으로서 유효하다.

이하, 본 발명의 바람직한 실시 형태를 설명한다. 실시 형태에서는, 화상 처리로서 JPEG 2000을 이용한 부호화 및 복호를 고려한다. JPEG 2000의 개요 자체는 이미 공지되어 있기 때문에, 이하 그 부분에 대해서는 상술하지 않는다.

<실시 형태 1>

도 1은 실시 형태 1에 따른 화상 부호화 장치(10)의 구성도이다. 이 구성은 하드웨어적으로는 임의의 컴퓨터의 CPU, 메모리, 기타 LSI로 실현될 수 있고, 소프트웨어적으로는 메모리에 로드된 부호화 기능이 있는 프로그램 등으로 실현되지만,여기서는 이들을 병용하여 실현되는 기능 블록을 나타내고 있다. 따라서, 이들 기능 블록이 하드웨어만, 소프트웨어만, 또는 이들의 조합에 의해서 다양한 형태로 실현될 수 있는 것은 당업자에게는 이해될 것이다.

화상 부호화 장치(10)의 주요한 구성은, 부호화 유닛(12), 원화상 메모리(26), 중간 화상 메모리(28), 화상 선택 유닛(38)이다. 부호화 유닛(12)은, JPEG 2000의 사양에 기초한 부호화 처리를 담당하는 것으로, 웨이브릿 변환기(14), 프레임 버퍼(16), 양자화기(18), 비트 플레인 부호화기(20), 산술 부호화기(22) 및 스트림 생성기(24)를 포함한다. 부호화 처리의 개시에 있어서, 원화상 OI(Original Image)가 프레임 버퍼(16)에 입력되는데, 이는 외부로부터 프레임 버퍼(16)에 직접 입력되어도 되고, 일단 원화상 메모리(26)를 통해서 입력되어도 된다. 이하, 원화상 메모리(26)를 통해서 입력되는 경우를 상정한다.

프레임 버퍼(16)에 입력된 원화상 OI는 웨이브릿 변환기(14)에 의해 계층화된다. JPEG 2000에서의 웨이브릿 변환기(14)는 도비치스(Daubechies) 필터를 이용한다. 도 2에 도시하는 것과 같이, 이 필터는 화상의 x, y 각각의 방향에서 동시에 저역 통과 필터 및 고역 통과 필터로서 작용하는 것으로, 하나의 화상을 4개의 주파수 서브밴드로 분할한다. 이들 서브밴드는 x, y의 양방향에서 저주파 성분을 갖는 LL 서브밴드와, x, y 중 어느 하나의 방향에서 저주파 성분을 가지며, 또한 다른 한쪽 방향에서 고주파 성분을 가지는 HL 및 LH 서브밴드와, x, y의 양방향에서 고주파 성분을 가지는 HH 서브밴드이다. 각 서브밴드의 종횡의 화소수는 각각 처리 이전 화상의 1/2로서, 일회의 필터링으로 해상도 즉, 화상 사이즈가 1/4인 서브밴드 화상이 얻어진다.

웨이브릿 변환기(14)는 이렇게 얻어진 서브밴드 중 LL 서브밴드에 대하여 재차 필터링 처리를 행하고, 이를 다시 LL, HL, LH, HH의 4개의 서브밴드로 분할한다. 필터링은 소정의 회수만큼 행해지고, 최후의 필터링에서 생성된 LL 서브밴드가 원화상 OI에서 DC 성분에 가장 가까운 화상으로서 취득된다. 이하, 동일 계층의 각 서브밴드 즉, 동일 회수 필터링을 실시하여 얻어진 4개의 서브밴드는 LL, HL 및 LH, HH의 순으로 점점 고주파 성분을 포함하고, 이들 서브밴드보다도 더 고주파 성분을 포함하는 화상이 일전의 필터링 처리에서 얻어진 4개의 서브밴드로서 이어진다. 이하, 도 2의 예에서는, 좌측 상부로부터 순서대로 우측 하부로 갈수록 고주파 성분을 포함하는 화상으로서 계층화 화상이 얻어진다.

이하, 상술하지 않았지만, 웨이브릿 변환기(14)에 의해 계층화된 화상이 저주파 성분부터 순서대로 양자화기(18), 비트 플레인 부호화기(20), 산술 부호화기(22), 스트림 생성기(24)에 의한 처리를 거쳐 최종적인 부호화 화상 데이터 CI(Coded Image)로서 출력된다.

중간 화상 메모리(28)는 본 실시 형태에 특징적인 구성으로서, 웨이브릿 변환기(14)에 의한 처리 도중에서 얻어지는 중간 화상 II(Intermediate Image)을 적절히 보존한다. 통상, 이러한 중간 화상 II는 프레임 버퍼(16)에서 일시적으로 생성되는 것으로, 그 자체의 특별한 용도는 가지고 있지 않다. 그렇지만, 본 실시 형태에서는 이 중간 화상을 적극적으로 이용함으로써 후술하는 장점을 얻는다.

화상 선택 유닛(38)은 화상 메모리 제어기(32), 화상 사이즈 판정기(34) 및화상 사이즈 테이블(36)을 포함한다. 화상에는, 예를 들면, 고선명으로 인쇄하거나, 단지 섬네일 화상으로서 보존하는 등의 다양한 용도가 있다. 용도에 따라, 화질이나 해상도가 상이하다. 이 점에 착안하여, 화상 사이즈 판정기(34)는 사용자로부터 화상 용도의 입력을 받는다. 화상 사이즈 테이블(36)에는 화상 용도와 그에 적합한 해상도 또는 화상 사이즈가 사전에 기록되어 있다. 화상 사이즈 판정기(34)는 사용자로부터 입력된 화상의 용도를 화상 사이즈 테이블(36)에 조회함으로써, 적절한 화상 사이즈를 판정한다. 판정 결과는 화상 메모리 제어기(32)에 통지되고, 화상 메모리 제어기(32)는 그 화상 사이즈에 부합하여 원화상 메모리(26)로부터 원화상 OI를 프레임 버퍼(16)에 투입하거나, 또는 중간 화상 메모리(28)로부터 적절한 화상 사이즈의 중간 화상 II를 프레임 버퍼(16)에 투입한다.

도 2는, 웨이브릿 변환기(14)에 의한 원화상 OI의 처리와 중간 화상 메모리(28)에 저장되는 중간 화상 II의 관계를 도시한다. 원화상 OI는 웨이브릿 변환기(14)에서의 첫회의 필터링에 의해 제1 계층의 화상 WI1로 된다. 이 화상 WI1의 LL 서브밴드에 대하여 다시 필터링이 행해져서, 도 2의 경우, 최종적으로 제3 계층의 화상 WI3이 생성된다. 이 화상은 이후 양자화기(18) 이하의 처리를 받는다.

중간 화상 메모리(28)에는 웨이브릿 변환기(14)의 처리 도중에 생성되는 LL 서브밴드의 화상이 중간 화상으로서 보존된다. 본 예의 경우, 제1 계층의 화상층 WI1의 LL 서브밴드가 그대로 중간 화상 II로서 보존되어 있다. 보존된 중간 화상II는, 사용자에 의해 지정된 용도에 맞게 재이용된다. 예를 들면, 지정된 용도에 대하여, 원화상 OI의 1/4 사이즈의 화상으로 충분한 경우, 중간 화상 메모리(28)에 기록된 중간 화상 II이 판독되고, 이것이 새로운 원화상(40)으로 하여 프레임 버퍼(16)에 도입되며, 웨이브릿 변환기(14) 이하의 처리가 실시되어, 부호화 화상 데이터(42)가 생성된다. 중간 화상 II를 이용하는 장점은 이하와 같다.

1. 통상, 화상 부호화 장치(10)에서의 부호화 처리는, 원화상 OI의 입력으로부터 개시된다. 따라서, 부호화 화상 데이터가 필요로 하게 되었을 때 원화상 OI가 입력되고, 그 때마다 부호화가 행해진다. 그렇지만, 경우에 따라서는 사이즈가 작은 화상으로 충분한 용도도 있고, 그 경우에 일부러 사이즈가 큰 원화상 OI를 기점으로 하는 부호화를 재실시하는 것은 큰 손실을 초래한다. 전술한 바와 같이, 일반적으로 화상 처리는 화상 사이즈에 비례하는 처리 부하를 초래하기 때문에, 도 2의 예에서는, 사이즈가 1/4인 중간 화상 II를 부호화의 개시 화상으로 함으로써, 처리 부담을 대략 1/4로 저감시킬 수 있다. 그 결과, 처리 시간, 프레임 버퍼(16)의 점유율, 소비 전력 어느 면에서도 개선 효과를 기대할 수 있다.

2. 경우에 따라, 스케일링 처리를 생략할 수 있다. 도 2의 예에서는, 사용자의 용도가 1/4 사이즈의 화상을 요구하고 있을 때, 원화상 OI에 대하여 어느 하나의 단계에서 화상 사이즈를 1/4로 축소하는 스케일링이 필요하다. 그렇지만, 중간 화상 II를 이용하면, 이미 제1 계층의 화상 WI1의 LL 서브밴드를 추출한 시점에서, 사실상 스케일링 처리가 완료되어 있는 효과를 갖는다. 따라서, 이 의미로 볼 때도 처리 효율의 개선이 도모된다.

3. 화질면에서도 유리하다. JPEG 2000의 웨이브릿 변환기(14)는 저비트 레이트에서의 화질도 중시하여 설계되어 있으므로, 제1 계층의 화상 WI1의 LL 서브밴드는, 통상 원화상 OI에 대하여 스케일링을 실시할 때에 이용되는 일반적인 필터와 비교할 때, 동등하거나 그에 상당하는 양호한 화질을 실현하는 경우가 많다. 따라서, LL 서브밴드의 추출로 스케일링을 겸하는 경우, JPEG 2000의 화질면에서의 장점을 가질 수 있다.

4. 중간 화상을 다시 이용할 수 있게 되는 배경으로서, 그 데이터 포맷이 원화상 OI의 포맷과 동일한 것을 예로 들수 있다. 즉, 웨이브릿 변환기(14)에 의한 처리는 화소를 단위로 하는 필터링으로서, 화소치 및 화상 사이즈는 변화하지만, 원화상 OI와 동일한 표시 체계로 표시가능한 범위로 한정된다. 따라서, 중간 화상 II를 새로운 원화상으로 하여 이용할 수 있을 뿐만 아니라, 중간 화상을 그대로 표시하는 용도에도 적용할 수 있다.

또한, 제1 계층 WI1의 LL 서브밴드보다도 작은 화상이 필요한 경우, 도 2와 같이, 중간 화상 메모리(28)로부터 판독된 새로운 원화상(40)에 대해서 스케일링을 실시하여 필요한 크기의 화상(44)를 생성하고, 이를 기점으로 하여 부호화 처리를 실시함으로써, 소망의 부호화 화상 데이터(46)를 얻을 수 있다. 물론, 웨이브릿 변환에 의해서 얻어지는 제2 계층의 화상의 LL 서브밴드나, 제3 계층의 화상 WI3의 LL 서브밴드를 중간 화상 II로서 이용하여도 된다. 어느쪽 이든, 원화상보다도 사이즈가 작은 화상으로부터 처리가 시작되기 때문에 효율이 좋다.

도 3은 중간 화상 메모리(28)에 기록된 화상 데이터(50)의 구조를 도시한다.화상 데이터(50)는 원화상 OI의 식별 ID(도면에서 "ID(OI)")를 저장하는 제1 데이터 영역(52)과 중간 화상 II의 데이터를 저장하는 제2 데이터 영역(54)를 포함한다. 제2 데이터 영역(54)은 또한 중간 화상 II에 관한 헤더 정보(도면에서 "II 헤더")를 기록하는 헤더 영역(56)과, 중간 화상 II 본체의 데이터(도면 "II 데이터")를 저장하는 데이터 영역(58)으로 분할된다. 헤더 영역(56)에는 이 중간 화상 II가 원화상 OI에 관해서 얻어진 것을 나타내기 위해, 제1 데이터 영역(52)에 대한 링크가 기록되어 있다.

도 4는 헤더 영역(56)의 상세 구조를 도시한다. 헤더 영역(56)은 중간 화상 II의 식별 ID(도면에서 "ID(II)")를 저장하는 제1 서브영역(56a)과, 중간 화상 II의 해상도 정보를 저장하는 제2 서브영역(56b)과, 중간 화상 II의 화질 정보를 저장하는 제3 서브영역(56c)과, 그 이외의 정보를 저장하는 제4 서브영역(56d)를 포함한다.

제1 서브영역(56a)의 내용에 따라 중간 화상 II와 원화상 OI의 대응 관계가 판명된다. 제2 서브영역(56b)의 내용에 따라 화상 메모리 제어기(32)는 중간 화상 메모리(28) 내에서 적절한 중간 화상 II를 검출할 수 있다. 제3 서브영역(56c)은 임의의 구성으로 중간 화상 II의 화질에 관한 객관 정보 또는 주관 정보를 포함한다. 전자의 예로서는 원화상 OI에 대한 중간 화상 II의 오차가 있고, 후자의 예로서는 화상의 용도에 부합한 적부 판단 기준이 있다. 예를 들면, 300dpi 정도의 프린터에 의한 인쇄에는 감당하지만, 1200dpi의 프린터에는 부적합한 중간 화상 II에 대해서는 그 취지가 이 영역에 기록된다. 제3 서브영역(56c)도 화상 메모리 제어기(32)로부터 참조되어, 어떤 중간 화상 II가 사용자가 요구하는 용도에 부적합한 경우, 별도의 중간 화상 II 또는 원화상 OI가 프레임 버퍼(16)에 투입된다. 제4 서브영역(56d)도 임의의 구성으로서, 예를 들면 원화상 OI로부터 중간 화상 II를 생성한 과정이 기록되어 있다. 이 정보는, 예를 들면, 새로이 중간 화상 II를 생성하는 경우 등에 적절히 참조된다.

도 5는 화상 사이즈 테이블(36)의 상세 구성을 도시한다. 화상 사이즈 테이블(36)은 용도 란(70)과 화상 사이즈 란(72)을 갖는다. 용도 란(70)에는, 예를 들면, "디지털 카메라"의 "정지화상", "동화상" 등 사용자가 화상을 이용하는 목적이 기술된다. 한편, 화상 사이즈 란(72)에는 이러한 용도에 대하여 가장 알맞는 화상 사이즈가, 예를 들면 640 ×480이라고 하는 형태로 기술된다. 용도 란(70)에 기술되는 각 용도는 화상 사이즈 판정기(34)를 통해서 사용자에게 표시되고, 사용자는 이들 중에서 소망의 용도를 선택할 수 있는 것으로 한다. 각 용도에 대하여 기술된 화상 사이즈는, 예를 들면, 사용자가 갖는 디지털 카메라의 사양이나, 디지털 카메라가 일반적으로 갖는 사양 등에 기초하여 정해진다.

가령, 현재의 원화상 OI의 사이즈가 640 ×480이고, 사용자가 용도로서 디지털 카메라의 정지화상을 지시한 것으로 한다. 이 경우, 도 5에 따르면, 그 용도에 적절한 사이즈도 640 ×480이기 때문에, 원화상 OI는 그대로 부호화 유닛(12)에 투입되고, 부호화 화상 데이터 CI가 생성된다. 이 부호화의 처리중에 중간 화상 II가 중간 화상 메모리(28)에 기록된다. 설명의 편의상, 웨이브릿 변환기(14)의 1회째의 필터링에 의해서 얻어지는 320 ×240의 중간 화상 II와 2회째의 필터링에 의해서 얻어지는 160 ×120의 중간 화상 II가 모두 중간 화상 메모리(28)에 기록되는 것으로 한다.

이 상황에서, 사용자가 다음에 디지털 카메라에 의한 동화상 기록을 지시한 것으로 한다. 이때 도 5의 화상 사이즈 란(72)에 따르면, 동화상으로서 필요한 사이즈는 300 ×200으로서, 화상 사이즈 판정기(34) 및 화상 메모리 제어기(32)의 제휴에 의해 중간 화상 메모리(28)로부터 사이즈가 320 ×240인 중간 화상 II가 판독되어, 프레임 버퍼(16)에 투입된다. 이어서, 도시하지 않은 CPU 또는 DSP 등의 처리에 의해, 이 중간 화상 II의 사이즈가 300 ×200으로 스케일 다운되고, 이하 웨이브릿 변환기(14), 양자화기(18) 등의 처리를 거쳐 최종적으로 300 ×200의 사이즈를 갖는 부호화 화상 데이터 CI가 출력된다. 화상 사이즈를 300 ×240부터 300 ×200으로 스케일 다운하는 처리는, 전술한 바와 같이, 원화상 OI를 기점으로 하였을 때와 비교하여 대략 1/4의 부하로 해결된다.

또한, 사용자가 디지털 카메라로 촬영한 화상을 전자 앨범의 섬네일 화상으로서 보존하는 취지를 지시한 것으로 한다. 이 용도에 적합한 화상 사이즈는, 화상 사이즈 란(72)에 의해 120 ×80으로 판명된다. 따라서, 화상 사이즈 판정기(34)와 화상 메모리 제어기(32)의 제휴에 의해, 중간 화상 메모리(28)로부터 화상 사이즈가 160 ×120인 중간 화상 II가 판독되어, 프레임 버퍼(16)에 투입된다. 이 중간 화상 II에도 스케일링이 실시되고, 화상 사이즈가 120 ×80으로 스케일 다운된 것 중에서, 웨이브릿 변환기(14), 양자화기(18) 등의 처리를 거쳐, 최종적으로 120 ×80의 사이즈를 갖는 부호화 화상 데이터 CI가 얻어진다. 이 처리에서의 스케일링은 원화상 OI를 기점으로 하는 경우에 비해 대략 1/16의 부하로 해결된다.

또한, 사용자가 디지털 카메라로 촬영한 화상을 전자 앨범에 정지화상으로서 기록하는 취지를 지시하였을 때, 이를 위한 화상 사이즈는 화상 사이즈 란(72)에 의해 320 ×240으로 판명된다. 이 경우, 화상 사이즈 판정기(34)와 화상 메모리 제어기(32)의 제휴에 의해, 중간 화상 메모리(28)로부터 화상 사이즈 320 ×240인 중간 화상 II가 판독되어, 프레임 버퍼(16)에 투입된다. 이 중간 화상 II의 사이즈는 최종 목적의 화상 사이즈와 처음부터 일치하고 있기 때문에, 스케일링 처리를 생략할 수 있다. 이하, 웨이브릿 변환기(14), 양자화기(18) 등의 처리를 거쳐 최종적으로 원하는 사이즈의 부호화 화상 데이터 CI가 얻어진다.

이와 같이 본 실시 형태에 따르면, 스케일링의 처리 시간 및 대역폭이 큰폭으로 삭감되기 때문에, 예를 들면 디지털 카메라에 의해서 고해상도의 정지화상 기록과 동화상 촬영을 동시에 행하는 것이 용이하게 된다. 마찬가지로, 디지털 카메라에 의해서 정지화상과 섬네일 화상을 동시에 기록하는 경우에도, 예를 들면, 고속 연속 사진 촬영이 용이하게 된다. 따라서, JPEG 2000의 처리의 프로세스와 구성을 잘 이용하고, 또한 JPEG 2000의 고화질 필터에 주목함으로써, 비교적 용이한 구성으로 화상 처리의 효율 개선이 실현된다. 나아가서는, 디지털 카메라를 비롯한 그 밖의 화상 처리 장치의 상품 가치의 향상 및 조작성의 개선이 실현된다.

<실시 형태 2>

도 6은 실시 형태 2에 따른 화상 복호 장치(100)의 구성도이다. 화상 복호장치(100)는 JPEG 2000의 복호 수순을 실현한 것으로, 그 주된 처리는 도 1의 화상 부호화 장치(10)의 역변환이라고 할 수 있다. 또한, 도 1과 유사한 구성에는 동일한 부호를 부여하고, 그에 대한 설명을 적절히 생략한다.

화상 복호 장치(100)는 복호 유닛(110), 복호 화상 메모리(124), 중간 화상 메모리(28) 및 화상 선택 유닛(38)을 구비한다. 복호 유닛(110)은, 부호화 화상 데이터 CI에 대하여 순차 처리를 가하는 스트림 해석부(120), 산술 복호기(118), 비트 플레인 복호기(116), 역양자화기(114), 웨이브릿 역변환기(112) 및 작업 영역으로서 사용되는 프레임 버퍼(16)를 포함한다.

우선 일반적인 처리로서, 부호화 화상 데이터 CI에 대해서 스트림 해석기(120) 이하의 처리가 실시되고, 최종적으로 복호 화상 DI(Decoded Image)가 복호 화상 메모리(124)에 저장된다. 물론 복호 화상 DI는 그대로 출력되어도 되지만, 이하에서는 복호 화상 메모리(124)에 저장되는 예를 고려한다.

한편, 본 실시 형태에 특징적인 처리는 웨이브릿 역변환기(112)의 처리 도중에 생성되는 중간 화상 II가 중간 화상 메모리(28)에 적절히 기록되는 점에 있다.

도 7은 화상 복호 장치(100)에 의한 처리 수순을 도시한다. 우선, 투입된 부호화 화상 데이터 CI는 스트림 해석기(120), 산술 복호기(118), 비트 플레인 복호기(116) 및 역양자화기(114)의 처리를 거쳐, 도 2에서의 제3 계층인 화상 WI3의 상태로 리턴된다. 이어서, 웨이브릿 역변환기(112)에 의한 1회째의 역변환에 의해 제2 계층의 화상이 얻어지고, 그 LL 서브밴드(150)가 중간 화상 메모리(28)에 기록된다. 다음에, 웨이브릿 역변환기(112)에 의한 2회째의 역변환에 의해서 제1 계층에 상당하는 화상이 얻어지고, 그 LL 서브밴드(152)가 재차 중간 화상 메모리(28)에 기록된다. 마지막으로, 3회째의 역변환에 의해서 복호 화상 DI이 얻어지고, 이것이 복호 화상 메모리(124)에 저장된다.

따라서, 예를 들면, 1회째의 역변환에 의해서 얻어진 작은 LL 서브밴드(150)를 섬네일 화상으로서 이용하고, 2회째의 역변환에 의해서 얻어진 LL 서브밴드(152)를 LCD로 출력하며, 최종적으로 얻어진 최대 화상 사이즈의 복호 화상 DI를 외부 모니터나 프린터로 출력하는 것이 가능하다.

본 실시 형태에 따르면, 통상은 목적에 맞게 그 때마다 복호되어 있는 복수의 화상 사이즈의 화상을 1회의 복호 처리로 얻을 수 있다. 즉, 본 실시 형태 1에서 설명한 것과 마찬가지로, 처리의 부하 경감 측면에서 유리할뿐만 아니라, 스케일링 처리를 생략할 수도 있다.

본 실시 형태에 있어서도, JPEG 2000이 갖는 고화질의 필터를 그대로 이용함으로써, 하드웨어의 증가를 상당히 억제하면서 큰 효과를 발휘할 수 있다. 실시 형태 1과 마찬가지로, 중간 화상 II를 추출하는 단계에서는, 이전에 중간 화상 II와 복호 화상 DI가 동일한 표시 체계로 표시가능한 범위에 들어있어, 이 사실이 이용된다. 즉, 여러가지의 화상 사이즈를 각각 요구하는 각종 기기에 대하여, 원하는 사이즈의 중간 화상 II를 효율적으로 제공할 수 있다.

<실시 형태 3>

도 8은 실시 형태 3에 따른 디지털 카메라(200)의 구성을 도시한다. 디지털 카메라(200)는, 촬상 블록(202), 기구 제어 블록(204), 처리 블록(206), LCD 모니터(208), 및 조작 버튼 그룹(210)을 포함한다.

촬상 블록(202)은, 도시하지 않은 렌즈, 조리개, 광학 LPF(low pass filter), CCD, 신호 처리부 등을 포함한다. CCD의 수광면 상에 결상된 피사체상의 광량에 따라서 CCD에 전하가 축적되고, 전압 신호로서 판독된다. 전압 신호는 신호 처리부에서 R, G, B 성분으로 분해되고, 화이트 밸런스 조정, 감마 보정이 행해진다. 그 후, R, G, B 신호는 A/D 변환에 의해 디지털 화상 데이터로 되어 처리 블록(206)으로 출력된다.

기구 제어 블록(204)는 촬상 블록(202)의 광학계의 제어 즉, 줌, 포커스, 조리개 등의 구동을 제어한다.

처리 블록(206)은, 디지털 카메라(200) 전체의 제어에 이용되는 CPU(220)와 메모리(222) 이외에, YC 처리부(226), 카드 제어부(228) 및 통신부(224)를 갖는다. 이들 중에서, CPU(220)의 기능의 일부와 메모리(222)에 로드된 화상 부호화 프로그램이 실시 형태 1에 따른 화상 부호화 장치(10)에 상당한다. 실시 형태 1의 프레임 버퍼(16), 원화상 메모리(26) 및 중간 화상 메모리(28)도 이 메모리(222)의 일부를 이용하여 실현할 수 있다.

YC 처리부(226)는 디지털 화상 데이터로부터 휘도 신호 Y와 색차(크로마) 신호 B-Y, R-Y를 생성한다. 휘도 신호와 색차 신호는 각각 원화상 OI로서 독립적으로 순차적으로 부호화한다. 부호화 화상 데이터 CI는 통신부(224)를 통해서 외부로 출력되거나, 또는 카드 제어부(228)를 통해서 메모리 카드(230)에 기록된다.

통신부(224)는 표준적인 통신 사양에 부합한 프로토콜 변환 등의 제어를 행하고, 그 밖에도, 예를 들면 프린터, 게임기 등의 외부 기기와의 사이에서 개별적인 인터페이스에 의한 데이터 송수신을 행한다.

LCD 모니터(208)는, 피사체 화상 이외에도, 촬영/재생 모드, 줌 배율, 일시 등을 표시한다. 조작 버튼 그룹(210)은 사용자가 촬영을 행하거나, 또는 각종 동작 모드를 설정하기 위한 파워 스위치, 해제 스위치 등을 포함한다.

이상의 구성에 있어서, 처리 블록(206)에 내장된 화상 부호화 장치(10)에 의해, 예를 들면, 이하의 동작이 실현된다.

1. 정지화상을 스냅 숏으로서 촬영하고, 이를 압축 부호화하여 메모리 카드(230)에 기록한다. 정지화상의 기록 중에 작은 화상 사이즈로 동화상을 촬영하고, 이것도 마찬가지로 압축 부호화하여 메모리 카드(230)에 기록한다. 물론, 메모리 카드(230)에 기록하지 않고, 직접 프린터로 출력하거나 또는 통신부(224) 및 인터넷을 통해서 자신의 홈페이지에 직접 업로드하도록 한 용도로도 가능하다.

2. 정지화상을 촬영하여 부호화하는 경우, 섬네일 화상도 동시에 생성하고, 이들을 메모리 카드(230)에 기록하거나, 또는 외부로 출력한다. 섬네일 화상은 전자 앨범을 만드는 경우에 특히 유용하다.

<실시 형태 4>

도 9는 실시 형태 4에 따른 TV 수신 장치(300)의 구성을 도시한다. TV 수신 장치(300)는 안테나(302)와 그를 통해서 방송파를 수신하는 수신 블록(304)과, 수신 블록(304)에 의한 처리 결과로서 얻어진 화상 및 음성 데이터를 처리하는 처리 블록(306)과, 처리 블록(306)에 의해서 복호된 음성 및 화상을 재생하는 재생블록(308)을 포함한다. 또한, 인터페이스 블록(336)은 처리 블록(306)에 의한 복호 화상 데이터를 적절히 외부 기기로 출력한다.

수신 블록(304)은 튜너(320) 및 패킷 분리부(322)를 포함한다. 튜너(320)는 사용자가 선택한 채널을 포함하는 트랜스폰더를 선택하여 QPSK 복조를 실시한다. 복조에 의해 얻어진 복수의 전송 패킷을 포함하는 스트림은 패킷 분리부(322)에 송출된다. 패킷 분리부(322)는 디멀티플렉서로서, 소망의 채널에 대응하는 패킷을 분리하여 처리 블록(306)으로 출력한다.

처리 블록(306)의 화상 ·음성 디코더(334)는 CPU(330) 및 메모리(332)와 제휴하여, 방송국에서 부호화되어 송신된 화상 및 음성 데이터를 복호한다. 화상 ·음성 디코더(334)는 입력된 패킷을 복호하여, 음성 데이터를 음성 출력부(340)로, 화상 데이터를 표시 장치(344)로 각각 출력한다. 음성 출력부(340)는 입력된 음성 데이터에 소정의 처리를 실시하여, 최종적으로 음성이 스피커(342)를 통해 출력된다. 처리 블록(306)의 구성 즉, 화상 ·음성 디코더(334), CPU(330) 및 메모리(332) 중에서 화상 복호에 관한 부분이 실시 형태 2의 화상 복호 장치(100)에 상당한다.

이상의 구성에 있어서, 처리 블록(306)에 내장된 화상 복호 장치(100)에 의해, 예를 들면, 이하의 동작이 실현된다.

1. 표시 장치(344)에 통상의 화면을 표시시키면서, 그 보다도 작은 화상을 인터페이스 블록(336)을 통해서 실시간으로 외부의 휴대 단말의 LCD에 표시한다.

2. 마찬가지로 통상의 화면을 표시 장치(344)에 표시시키면서, 임의의 화면을 캡처하여 작은 화상 사이즈로 기록한다.

3. 마찬가지로 통상의 화면을 표시 장치(344)에 표시시키면서, 상당히 작은 화상 사이즈로 임의의 화상을 캡처하여, 그것을 섬네일 화상 정도의 크기로 전자 메일에 첨부한다.

이상, 각 실시 형태를 들어 본 발명을 설명하였다. 이들 실시 형태는 예시적인 것으로, 이들 각 구성요소나 각 처리 프로세스의 조합으로 다양한 변형예가 가능하고, 또한 그러한 변형예도 본 발명의 범위에 속하는 것은 당업자에게 이해되는 것이다. 그러한 변형예를 몇개 들어 설명한다.

실시 형태에서는, 화상 처리의 예로서 부호화 및 복호를 설명하였다. 그러나, 본 발명은 이들에 한정할 필요는 없고, 임의의 화상 처리의 도중 경과를 중간 화상으로서 보존할 수 있는 것이면 적용 가능하다. 예를 들면, 원화상을 복수회 소정의 필터링을 통해서 화상을 계층화하는 경우, 중간 계층의 화상이 자연히 얻어짐으로 유용하다. 필터는 통상의 평균 필터 등 임의의 것이어도 무방하다.

마찬가지의 이유로부터, 어떠한 점진적인 성질을 갖는 화상 처리는 본 발명의 적용에 유용하다. 예를 들면, 점진적으로 표시되는 화상 중 최초에 나타나는 화상을 중간 화상으로서 보존하여 두면, 소정의 용도에 맞는 재이용이 가능하다.

실시 형태의 스케일링은 모두 축소 방향의 처리였다. 그렇지만, 이 처리는 당연히 확대 방향의 처리이어도 무방하다. 이 경우, 화소간에서 소정의 보간 처리를 실시하여 화상 사이즈를 확대하면 된다.

도 1과 도 6에서는, 중간 화상 메모리(28)를 독립된 구성으로서 나타내었지만, 이는 프레임 버퍼(16)를 비롯한 그 밖의 다른 메모리와 일체로 되어도 된다. 다시 말하면, 중간 화상 II를 보존하는 메모리 영역이 존재하면 충분하다.

실시 형태 1에서는 화상 부호화 장치(10)를 일체의 구성으로서 설명하고, 실시 형태 2에서는 화상 복호 장치(100)를 일체의 구성으로서 설명하였다. 그러나, 이들 구성의 임의의 부분이 원격지에 존재하여도 되고, 전체적으로 중간 화상을 이용하는 작용을 가지면 된다. 일례로서, 도 1의 원화상 메모리(26), 중간 화상 메모리(28), 도 6의 복호 화상 메모리(124) 등을 원격지에 있는 하드 디스크 등의 기억 장치에 저장함으로써, 향후에도 재이용성이 높은 디지털 저장소를 구축해 갈 수 있다.

도 3의 화상 데이터(50)는 중간 화상의 데이터를 원화상에 관련시키는 것이였다. 이 구성에 부가하여, 또한 부호화 화상 데이터 CI를 이들에 관련시켜서 기억하여도 된다. 이 경우, 다양한 용도와 장면에 맞게 최적의 데이터를 이용할 수 있다.

도 1 및 도 6에서의 화상 선택 유닛(38)은 당연히 임의의 구성으로서, 화상의 선택에 관한 지시를 외부로부터 직접 취득하고, 그들을 이용하여 중간 화상을 적절히 판독하여도 된다.

실시 형태 3에서는 디지털 카메라를 예로 들어 설명하였지만, 이것은 당연히 그 밖의 다른 전자 기기로 하여도 된다. 예를 들면, 디지털 카메라와 마찬가지로, 촬상 블록 및 처리 블록을 갖는 팩시밀리 장치, 복사기, 스캐너 등의 기기에 본 발명을 적용할 수 있다.

마찬가지로 실시 형태 4에서는, TV 수신 장치를 예시하였지만, 이것도 수신 블록 및 처리 블록을 갖도록 한 다른 기기, 예를 들면, 인터넷에 접속가능한 휴대 전화나 각종 PDA(개인용 정보 단말)로 하여도 된다.

본 발명에 따르면, 화상 처리의 효율 개선을 도모할 수 있다.

Claims

원화상을 부호화하는 과정에서 생성되는 중간 화상을 보존하여 두고, 이를 새로운 원화상으로 하여 이용하는 것을 특징으로 하는 화상 처리 방법.
원화상을 계층화하여 부호화하는 과정에서 생성되는 중간 계층의 화상을 최종적인 부호화 화상과는 별도로 보존하는 단계와,

상기 중간 계층의 화상을 새로운 원화상으로 하여 판독하는 단계

를 포함하는 것을 특징으로 하는 화상 처리 방법.
원화상을 계층화하여 부호화하는 과정에서 생성되는 중간 계층의 화상을 보존하는 단계와,

상기 중간 계층의 화상을 판독하는 단계와,

판독된 중간 계층의 화상을 새로운 원화상으로 하여 소망의 처리에 투입하는 단계

를 포함하는 것을 특징으로 하는 화상 처리 방법.
제3항에 있어서,

상기 소망의 처리는, 상기 중간 화상을 계층화하여 부호화하는 처리인 것을 특징으로 하는 화상 처리 방법.
원화상을 부호화하여 생성된 부호화 화상 데이터를 복호하는 과정에서 생성되는 중간 화상을 최종적인 복호 화상과는 별도로 보존하여 두고, 용도에 맞게 상기 중간 화상을 최종적인 복호 화상 대신에 이용하는 것을 특징으로 하는 화상 처리 방법.
계층화되어 부호화된 원화상을 복호하는 과정에서 생성되는 중간 계층의 화상을 최종적인 복호 화상과는 별도로 보존하는 단계와,

상기 중간 계층의 화상을 판독하는 단계와,

판독된 중간 계층의 화상을 용도에 맞게 최종적인 복호 화상 대신에 이용하는 단계

를 포함하는 것을 특징으로 하는 화상 처리 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,

상기 중간 화상은 원화상보다도 해상도가 낮은 화상이고, 상기 중간 화상을 이용함으로써 본래 필요한 스케일링 처리를 생략하는 것을 특징으로 하는 화상 처리 방법.
컴퓨터로 판독 및 이용이 가능한 데이터의 구조에 있어서,

원화상의 식별 정보를 보존하는 제1 데이터 영역과,

원화상의 부호화의 과정에서 생성된 중간 화상을 보존하는 제2 데이터 영역과,

상기 제1 및 제2 데이터 영역을 관련시키기 위한 링크 정보를 포함하는 헤더 영역

을 포함하는 것을 특징으로 하는 데이터 구조.
제8항에 있어서,

상기 부호화는 원화상을 계층화하여 행해지는 것이고, 상기 중간 화상은 원화상의 저주파 성분을 기초로 하는 화상인 것을 특징으로 하는 데이터 구조.
제8항에 있어서,

상기 부호화는 원화상을 계층화하여 행해지는 것이고, 상기 중간 화상은 원화상보다도 해상도가 낮은 화상인 것을 특징으로 하는 데이터 구조.
제8항 내지 제10항 중 어느 한 항에 있어서,

상기 부호화는, 그에 의해서 생성된 화상이 복호 처리를 실시하지 않고도 원화상과 마찬가지의 표시가 가능한 범위에 속하는 제1 처리 단계와, 어떠한 복호 처리를 실시하지 않으면 원화상과 마찬가지의 표시가 불가능하게 되는 제2 처리 단계를 포함하고,

상기 중간 화상은 상기 제1 처리 단계의 범위에서 생성된 것을 특징으로 하는 데이터 구조.
원화상을 부호화하는 부호화 유닛과,

부호화의 과정에서 생성되는 중간 화상을 최종적인 부호화 화상과는 별도로 보존하는 중간 화상 메모리

를 포함하는 것을 특징으로 하는 화상 부호화 장치.
제12항에 있어서,

상기 부호화 유닛은, 상기 중간 화상을 필요에 맞게 판독하고, 이를 새로운 원화상으로 하여 부호화를 실시하는 것을 특징으로 하는 화상 부호화 장치.
제12항 또는 제13항에 있어서,

상기 부호화 유닛은, 상기 원화상을 계층화하여 상기 중간 화상을 생성하는 것을 특징으로 하는 화상 부호화 장치.
제14항에 있어서,

상기 부호화 유닛은, 상기 원화상의 해상도를 저하시켜 상기 중간 화상을 생성하는 것을 특징으로 하는 화상 부호화 장치.
제14항에 있어서,

상기 부호화 유닛은, 상기 원화상의 저주파 성분을 기초로 상기 중간 화상을 생성하는 것을 특징으로 하는 화상 부호화 장치.
제14항에 있어서,

상기 부호화 유닛은, 상기 원화상에 2차원 웨이브릿 변환을 실시한 경우에 나타나는, 2차원과 함께 저주파 성분으로 이루어지는 서브밴드에 의해서 상기 중간 화상을 생성하는 것을 특징으로 하는 화상 부호화 장치.
제12항 또는 제13항에 있어서,

상기 중간 화상 메모리는, 상기 중간 화상을 상기 원화상과 관련시켜서 기억하는 것을 특징으로 하는 화상 부호화 장치.
제12항 또는 제13항에 있어서,

화상의 용도에 맞게 상기 원화상 또는 상기 중간 화상 중 한쪽을 선택하여 상기 부호화 유닛에 투입하는 화상 선택 유닛을 더 포함하는 것을 특징으로 하는 화상 부호화 장치.
화상 블록과, 상기 화상 블록을 기구면에서 제어하는 기구 제어 블록과, 촬상에 의해서 얻어진 디지털 화상을 처리하는 처리 블록을 포함하고,

상기 처리 블록은,

상기 디지털 화상을 부호화하는 부호화 유닛과,

상기 부호화의 과정에서 생성되는 중간 화상을 최종적인 부호화 화상과는 별도로 보존하는 중간 화상 메모리

를 포함하는 것을 특징으로 하는 화상 부호화 장치.
원화상을 부호화하여 생성된 부호화 화상 데이터를 복호하는 복호 유닛과,

복호의 과정에서 생성되는 중간 화상을 상기 복호에 의해서 최종적으로 얻어지는 복호 화상과는 별도로 보존하는 중간 화상 메모리

를 포함하는 것을 특징으로 하는 화상 복호 장치.
제21항에 있어서,

상기 복호 유닛은, 상기 원화상이 계층화되어 부호화되어 있는 것을 전제로 복호 처리를 행하여, 상기 중간 화상을 생성하는 것을 특징으로 하는 화상 복호 장치.
제21항 또는 제22항에 있어서,

상기 중간 화상의 해상도는 상기 최종적으로 얻어지는 복호 화상의 해상도보다도 낮은 것을 특징으로 하는 화상 복호 장치.
제21항 또는 제22항에 있어서,

상기 중간 화상은 상기 최종적으로 얻어지는 복호 화상의 메인으로 저주파 성분을 포함하는 것을 특징으로 하는 화상 복호 장치.
제21항 또는 제22항에 있어서,

상기 복호 유닛은, 복호 과정에서 2차원 웨이브릿 역변환을 실시하고, 2차원과 함께 저주파 성분으로 이루어지는 서브밴드에 의해서 상기 중간 화상을 생성하는 것을 특징으로 하는 화상 복호 장치.
제21항 또는 제22항에 있어서,

상기 중간 화상 메모리는, 상기 중간 화상과 최종적으로 얻어지는 복호 화상을 관련시켜서 기억하는 것을 특징으로 하는 화상 복호 장치.
제21항 또는 제22항에 있어서,

화상의 용도에 맞게 상기 최종적인 복호 화상 또는 상기 중간 화상 중 한쪽을 선택하여 출력하는 화상 선택 유닛

을 더 포함하는 것을 특징으로 하는 화상 복호 장치.
화상 복호 장치에 있어서,

수신 블록과, 수신 신호를 처리하는 처리 블록과, 처리 후의 신호를 재생하는 재생 블록을 포함하고,

상기 처리 블록은, 상기 수신 신호로부터 추출된 디지털 화상의 부호화 화상 데이터를 복호하는 복호 유닛과, 그 복호 과정에서 생성되는 중간 화상을 상기 복호에 의해서 최종적으로 얻어지는 복호 화상과는 별도로 보존하는 중간 화상 메모리를 포함하고,

상기 장치는, 상기 중간 화상을 외부 기기로 출력하기 위한 인터페이스 블록을 더 포함하는 것을 특징으로 하는 화상 복호 장치.
원화상을 소정의 목적을 위해서 처리하는 경우, 그 처리 도중에 생성되는 화상 중 원화상과 동일한 표시 체계로 표시가능한 범위에 속하는 것을 원화상과는 별도로 보존하고, 용도에 맞게 재이용하는 것을 특징으로 하는 화상 처리 방법.
화상 데이터를 복원하는 경우, 그 처리 도중에 생성되는 화상 중 최종적으로 얻게 될 화상과 동일한 표시 체계로 표시가능한 범위에 들어있는 것이 발생할 때, 그 화상을 상기 최종적으로 얻게 될 화상과는 별개로 추출하는 것을 특징으로 하는 화상 처리 방법.