KR101160818B1

KR101160818B1 - 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램, 및 동화상 복호 프로그램

Info

Publication number: KR101160818B1
Application number: KR1020117025431A
Authority: KR
Inventors: 충 승 분; 아키라 후지바야시; 사다츠 카토; 츠토무 호리코시
Original assignee: 가부시키가이샤 엔티티 도코모
Priority date: 2005-04-13
Filing date: 2006-04-06
Publication date: 2012-07-03
Also published as: TW200706013A; US8340175B2; JPWO2006112272A1; KR100944651B1; EP2234405A3; RU2009119265A; CN101160976A; EP2469859A2; KR20080007258A; KR20110122884A; EP2469859A3; CN101160976B; EP2461590A2; EP2461590A3; RU2007141925A; EP1881707A1; EP2234405A2; WO2006112272A1; EP1881707A4; JP2011055538A

Abstract

동화상의 부호화ㆍ복호시에 신호 대역이 다른 화상이 혼재하는 동화상을 효율 좋게 압축하는 것이다. 동화상 부호화 장치(13)는 대역 분석기(10)에 의해 부호화의 대상 화상의 대역과 참조 화상의 대역을 측정하고, 이들의 대역을 나타내는 대역 관련 정보를 생성한다. 예측 신호 생성기(9)는 상기 대역 관련 정보에 기초하여, 대상 화상의 대역에 맞도록 참조 화상으로부터 예측 신호를 생성한다. 차분기(2)는 대상 화상과 예측 신호의 차분을 구하여 차분 신호를 생성한다. 변환기(3)와 양자화기(4)는 상기 차분 신호를 부호화하여 부호화 차분 신호를 생성한다. 역양자화기(5)와 역변화기(6)는 부호화 차분 신호를 복호하여 복호 차분 신호를 생성한다. 가산기(7)는 복호 차분 신호에 예측 신호를 가산하여 재생 화상을 생성한다. 출력 단자(12)는 적어도 상기 부호화 차분 신호와 대역 관련 정보를 출력한다.

Description

동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램, 및 동화상 복호 프로그램{Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program}

본 발명은 동화상 데이터의 부호화 및 복호에 관한 것이다.

종래, 화상 데이터의 전송이나 축적을 효율 좋게 하기 위해서, 압축 부호화 기술이 사용되고 있다. 특히, 동화상 데이터의 경우에는 MPEG 1 내지 4나 H.261 내지 H.264의 방식이 널리 사용되고 있다. 동화상의 부호화에서는 데이터량의 삭감을 실현하기 위해서, 시간축에 인접하는 다른 화상을 사용하여 부호화의 대상이 되는 대상 화상의 예측 신호를 생성하여, 대상 화상과 예측 신호의 차분을 부호화하는 수법이 채용되는 경우가 있다(예를 들면, 하기 특허문헌 1 참조). 이 수법을 프레임간 부호화라고 한다.

예를 들면 H.264에서는 부호화 장치는 1프레임의 화상을, 16×16 화소로 이루어지는 블록의 영역으로 분할하고, 이 블록 단위로 화상의 부호화 처리를 한다. 프레임간 부호화에서는 부호화 대상이 되는 화상의 대상 블록에 대하여, 부호화 완료로 복원된 다른 프레임을 참조 화상으로 한 움직임 예측을 함으로써, 예측 신호를 생성한다. 다음에, 이 대상 블록과 예측 신호의 차분치를 구하고, 이산 코사인 변환과 양자화 처리를 하여 부호화 데이터를 생성한다.

한편, 양자화된 변환 계수는 역양자화된 후에 역변환을 실시되고, 그 결과, 재생 변환 계수가 생성된다. 그 후, 상기 재생 변환 계수에 예측 신호가 가산되어, 재생 화상이 복원된다. 복원된 재생 화상은 다음의 화상의 부호화와 복호를 위해서 참조 화상으로서 일시적으로 격납된다.

또한, 다른 배경기술로서, 이하의 기술을 들 수 있다. 동화상은 단일한 정지 화상인 「프레임」을 연속시킴으로써 구성되어 있다. 프레임에 포함되는 공간 주파수 성분의 진폭(이후, 공간 주파수 진폭이라고 함)의 크기는 화상의 콘트라스트를 의미하기 때문에, 동화상의 품질에 대한 평가에 관계된다.

또한, 동화상을 통해서 단시간 내에서의 화상의 콘트라스트의 큰 변화는 점멸을 야기하는 경우도 있고, 또한 사람 눈에는 콘트라스트에 대한 눈의 감도라는 것이 있기 때문에, 동화상의 품질에 관한 평가에 관해서 콘트라스트는 중요하게 된다.

콘트라스트가 시간 경과와 함께 변화하는 동화상은 일반적으로도 존재한다. 긴 시간이 걸리는 신 체인지(scene change)시 등에서 동화상의 콘트라스트가 서서히 분명해지거나, 희미해지거나 하는 동화상 등이 최적의 예이다.

또한, 개개의 프레임의 콘트라스트가 낮은 화상이어도, 각 프레임이 연속한 동화상으로서 표시되었을 때, 이 동화상을 보는 사람은 정지 화상과 비교하여 화상의 콘트라스트가 올라가 선명한 동화상으로서 보이는 착시 현상이 생기는 것이 하기 비특허문헌 1에 기재되어 있다. 이 착시 현상은 motion sharpening 현상이라고 불린다.

이 motion sharpening 현상에 의해 원화상 중에서, 정기적으로 필터를 사용하는 것으로 공간 주파수의 대역이나 콘트라스트가 변화한 프레임이 삽입되어 있어도, 동화상으로서 보았을 때에 원화상으로 평가하여도, 동화상의 품질이 높게 지각된다고 하는 실험 결과가 기재되어 있다.

한편, 동화상 데이터의 전송이나 축적을 효율 좋게 하기 위해서, 압축 부호화 기술이 사용된다. 동화상의 경우는 MPEG 1 내지 4나 ITU(International Telecommunication Union) H.261 내지 H.264의 방식이 널리 사용되고 있다. 동화상의 부호화에서는 시간축에 인접하는 다른 화상을 사용하여 부호화의 대상이 되는 대상 화상의 예측 신호를 생성하여, 대상 화상과 예측 신호의 차분을 부호화함으로써, 데이터량의 삭감을 실현한다. 이 수법을 프레임간 예측 부호화라고 한다.

ITU H.264에서 정해진 처리를 실현하는 부호화 장치는 1프레임의 화상을 16×16 화소로 이루어지는 블록의 영역으로 분할하고, 이 블록 단위로 화상에 대한 부호화 처리를 한다. 이 부호화 장치는 프레임간 예측 부호화시, 부호화 대상이 되는 화상의 대상 블록에 대하여, 부호화 완료로 복원된 다른 프레임을 참조 화상으로 한 움직임 예측을 함으로써 예측 신호를 생성한다. 그리고, 부호화 장치는 대상 블록과 예측 신호의 차분치를 구하고, 이 차분치에 대하여 이산 코사인 변환과 양자화 처리를 하고, 이 차분치에 기초하여 양자화된 변환 계수로 한 부호화 데이터를 생성한다.

그 후, 부호화 장치는 양자화된 변환 계수에 대하여, 역양자화한 다음 역변환을 실시하여, 재생 변환 계수(차분치)를 생성한다. 그 후, 재생 변환 계수(차분치)에 예측 신호를 가산하여 재생 화상을 복원한다. 복원된 재생 화상은 다음의 화상의 부호화ㆍ복호를 위해서 참조 화상으로서 일시 격납된다.

이러한 동화상 압축 부호화가 행하여지는 중에서, 일반적으로 화상의 공간 주파수 진폭이 낮고, 콘트라스트가 분명하지 않은 동화상은 변환 계수(차분치)가 작기 때문에, 부호화 데이터량을 적게 할 수 있다. 그 때문에, 상기 콘트라스트가 분명하지 않은 화상이나 상기 motion sharpening 효과를 기대한 저콘트라스트의 화상이 포함되는 동화상을 부호화할 때는 높은 부호화 효율을 기대할 수 있다.

특허문헌 1 : 일본 공개특허공보 제(평10)-136371호

비특허문헌 1 : Takeuchi, T.& De Valois, K.K.(2005) Sharpening image motion based on spatio-temporalcharacteristics of human vision.(San Jose, USA), [평성 17년 6월 2일 검색], 인터넷1144306446155_0.pdf

그렇지만, 상술한 종래의 화상 부호화 복호 기술에서는 신호 대역이 다른 화상이 혼재하는 경우에, 동화상을 효율 좋게 압축할 수 없다. 예를 들면, 신호 대역이 다른 화상이 혼재하는 동화상은 민생용 비디오 카메라의 촬영화상에 발생하는 경우가 있다. 이것은 카메라의 오토포커스 기능에 의해서, 한참 촬영 중에 포커스가 자동적으로 조정되기 때문에, 인접하는 화상의 대역이 변동하여, 대역폭이 넓은 신호를 갖는 화상과 대역폭이 좁은 신호를 갖는 화상이 인접하여 기록되는 것에 기인한다.

이 경우, 부호화 장치가 대역폭이 넓은 신호를 갖는 제 2 화상을 참조하여, 대역폭이 좁은 신호를 갖는 제 1 화상을 예측하면, 제 2 화상에 포함되는 고주파수 성분이 제 1 화상의 차분 신호에 포함되게 된다. 이 때문에, 예측 신호가 제 1 화상보다도 대역이 넓은 신호가 되고, 정보량이 증가하여 압축율이 저하되어 버린다고 하는 문제가 있다.

또한, 다른 문제로서는 종래의 동화상 부호화ㆍ복호 방법에서는 화상에 포함되는 콘트라스트 요컨대 공간 주파수 진폭이 크게 다른 화상이 혼재하는 경우, 동화상을 효율 좋게 압축할 수 없다. 공간 주파수 진폭이 높은 제 2 화상을 참조하여, 공간 주파수 진폭이 낮은 제 1 화상을 예측하면, 예측 대상의 탐색이 잘 되지 않거나 제 2 화상에 포함되는 공간 주파수 진폭의 차가 제 1 화상의 차분 신호에 포함되게 되고, 정보량이 증가하여 압축율이 저하되어 버린다. 또한, 공간 주파수 진폭이 낮은 제 1 화상을 참조하여, 공간 주파수 진폭이 높은 제 3 화상을 예측하면, 마찬가지로 예측 대상의 탐색이 잘 되지 않거나, 제 3 화상에 포함되는 공간 주파수 진폭과의 차가 차분 신호로서 필요하게 되기 때문에, 이 경우도 정보량이 증가하여 압축율이 저하되어 버린다고 하는 과제가 있다.

그래서, 상술한 과제를 해결하기 위해서, 본 발명은 동화상의 부호화ㆍ복호에 있어서 동화상을 효율 좋게 압축하는 것을 목적으로 한다.

본 발명의 동화상 부호화 장치는 동화상을 구성하는 복수의 화상 중 부호화의 대상이 되는 대상 화상을 입력하는 입력 수단과, 상기 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납하는 격납 수단과, 상기 대상 화상의 주파수 특성과 상기 참조 화상의 주파수 특성을 측정하여, 상기 대상 화상의 주파수 특성과 상기 참조 화상의 주파수 특성을 나타내는 주파수 특성 관련 정보를 생성하는 주파수 특성 분석 수단과, 상기 주파수 특성 관련 정보에 기초하여, 상기 대상 화상의 주파수 특성에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 예측 신호 생성 수단과, 상기 대상 화상과 상기 예측 신호의 차분을 구하여 차분 신호를 생성하는 차분 수단과, 상기 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 수단과, 상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 수단과, 상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하여, 상기 재생 화상을 격납하는 상기 격납 수단이 후단에 접속하는 가산 수단과, 적어도 상기 부호화 차분 신호와 상기 주파수 특성 관련 정보를 출력하는 출력 수단을 구비하고 있다.

또한, 본 발명의 동화상 부호화 장치는 상기 예측 신호 생성 수단은 상기 주파수 특성 관련 정보에 따른 예측 신호의 생성 방법을 도출하여 상기 참조 화상으로부터 상기 예측 신호를 생성하고, 상기 주파수 특성 관련 정보는 상기 예측 신호의 생성 방법에 관한 정보를 포함하는 것이 바람직하다.

또한, 본 발명의 동화상 부호화 장치는 상기 예측 신호 생성 수단은 적어도 2종류의 예측 신호 생성 방법 중에서 상기 주파수 특성 관련 정보에 따른 예측 신호의 생성 방법을 선정하여, 상기 참조 화상으로부터 상기 예측 신호를 생성하고, 상기 주파수 특성 관련 정보는 상기 예측 신호의 생성 방법에 관한 정보를 포함하는 것이 바람직하다.

또한, 본 발명의 동화상 부호화 장치는 참조 화상을 복호화할 때에 측정된 주파수 특성 정보를 기억하는 기억 수단을 더욱 구비하고, 상기 예측 신호 생성 수단은 상기 기억 수단에 기억되어 있는 주파수 특성 정보에 기초하여 예측 신호를 생성하는 것이 바람직하다.

또한, 본 발명의 동화상 복호 장치는 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호와 주파수 특성 관련 정보를 포함하는 압축 데이터를 입력하는 입력 수단과, 상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 수단과, 상기 복호 차분 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단과, 상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 수단과, 상기 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납하는 격납 수단을 구비하고, 상기 주파수 특성 관련 정보는 상기 재생 화상의 주파수 특성과 상기 참조 화상의 주파수 특성을 나타내고, 상기 예측 신호 생성 수단은 상기 주파수 특성 관련 정보에 기초하여, 복호의 대상이 되는 대상 화상의 주파수 특성에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것이 바람직하다.

또한, 본 발명의 동화상 복호 장치는 상기 주파수 특성 관련 정보는 상기 예측 신호의 생성 방법에 관한 예측 신호 생성 관련 정보를 포함하고, 상기 예측 신호 생성 수단은 상기 예측 신호 생성 관련 정보에 기초하여, 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것이 바람직하다.

또한, 본 발명의 동화상 복호 장치는 상기 주파수 특성 관련 정보는 상기 예측 신호의 생성 방법에 관한 예측 신호 생성 관련 정보를 포함하고, 상기 예측 신호 생성 수단은 상기 예측 신호 생성 관련 정보에 기초하여, 적어도 2종류의 예측 신호 생성 방법 중에서 상기 예측 신호의 생성 방법을 선정하여, 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것이 바람직하다.

또한, 본 발명의 동화상 복호 장치는 상기 주파수 특성 관련 정보는 상기 예측 신호의 생성 방법에 관한 예측 신호 생성 관련 정보를 포함하고, 상기 예측 신호 생성 수단은 상기 예측 신호 생성 관련 정보에 기초하여, 미리 준비되어 있는, 적어도 2종류의 예측 신호 생성 방법 중에서 상기 예측 신호의 생성 방법을 선정하여, 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것이 바람직하다.

또한, 본 발명의 동화상 복호 장치는 상기 참조 화상을 복호화할 때에 측정된 주파수 특성 정보를 기억하는 기억 수단을 더욱 구비하고, 상기 예측 신호 생성 수단은 상기 기억 수단에 기억되어 있는 주파수 특성 정보에 기초하여 예측 신호를 생성하는 것이 바람직하다.

또한, 본 발명의 동화상 부호화 방법은 동화상을 구성하는 복수의 화상 중 부호화의 대상이 되는 대상 화상을 입력하는 입력 스텝과, 상기 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 스텝과, 상기 대상 화상의 주파수 특성과 상기 참조 화상의 주파수 특성을 측정하여, 상기 대상 화상의 주파수 특성과 상기 참조 화상의 주파수 특성을 나타내는 주파수 특성 관련 정보를 생성하는 주파수 특성 분석 스텝과, 상기 주파수 특성 관련 정보에 기초하여, 상기 대상 화상의 주파수 특성에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 예측 신호 생성 스텝과, 상기 대상 화상과 상기 예측 신호의 차분을 구하여 차분 신호를 생성하는 차분 스텝과, 상기 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 스텝과, 상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 스텝과, 상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하여, 상기 재생 화상을 격납하는 상기 격납 수단이 후단에 접속하는 가산 스텝과, 적어도 상기 부호화 차분 신호와 상기 주파수 특성 관련 정보를 출력하는 출력 스텝을 구비하고 있다.

또한, 본 발명의 동화상 복호 방법은 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호와 주파수 특성 관련 정보를 포함하는 압축 데이터를 입력하는 입력 스텝과, 상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 스텝과, 상기 복호 차분 신호에 대한 예측 신호를 생성하는 예측 신호 생성 스텝과, 상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 스텝과, 상기 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 스텝을 구비하고, 상기 주파수 특성 관련 정보는 상기 재생 화상의 주파수 특성과 상기 참조 화상의 주파수 특성을 나타내고, 상기 예측 신호 생성 스텝은 상기 주파수 특성 관련 정보에 기초하여, 복호의 대상이 되는 대상 화상의 주파수 특성에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것이다.

또한, 본 발명의 동화상 부호화 프로그램은 동화상을 구성하는 복수의 화상 중 부호화의 대상이 되는 대상 화상을 입력하는 입력 처리와, 상기 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 처리와, 상기 대상 화상의 주파수 특성과 상기 참조 화상의 주파수 특성을 측정하여, 상기 대상 화상의 주파수 특성과 상기 참조 화상의 주파수 특성을 나타내는 주파수 특성 관련 정보를 생성하는 주파수 특성 분석 처리와, 상기 주파수 특성 관련 정보에 기초하여, 상기 대상 화상의 주파수 특성에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 예측 신호 생성 처리와, 상기 대상 화상과 상기 예측 신호의 차분을 구하여 차분 신호를 생성하는 차분 처리와, 상기 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 처리와, 상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 처리와, 상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하여, 상기 재생 화상을 격납하는 상기 격납 수단이 후단에 접속하는 가산 처리와, 적어도 상기 부호화 차분 신호와 상기 주파수 특성 관련 정보를 출력하는 출력 처리를 컴퓨터에 실행시키는 것이다.

또한, 본 발명의 동화상 복호 프로그램은 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호와 주파수 특성 관련 정보를 포함하는 압축 데이터를 입력하는 입력 처리와, 상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 처리와, 상기 복호 차분 신호에 대한 예측 신호를 생성하는 예측 신호 생성 처리와, 상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 처리와, 상기 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 처리를 컴퓨터에 실행시키고, 상기 주파수 특성 관련 정보는 상기 재생 화상의 주파수 특성과 상기 참조 화상의 주파수 특성을 나타내고, 상기 예측 신호 생성 처리는 상기 주파수 특성 관련 정보에 기초하여, 복호의 대상이 되는 대상 화상의 주파수 특성에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것이다.

또한, 본 발명에 관계되는 동화상 부호화 장치는 동화상을 구성하는 복수의 화상 중 부호화의 대상이 되는 대상 화상을 입력하는 입력 수단과, 상기 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납하는 격납 수단과, 상기 대상 화상의 대역과 상기 참조 화상의 대역을 측정하여, 상기 대상 화상의 대역과 상기 참조 화상의 대역을 나타내는 대역 관련 정보를 생성하는 대역 분석 수단과, 상기 대역 관련 정보에 기초하여, 상기 대상 화상의 대역에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 예측 신호 생성 수단과, 상기 대상 화상과 상기 예측 신호의 차분을 구하여 차분 신호를 생성하는 차분 수단과, 상기 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 수단과, 상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 수단과, 상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하여, 상기 재생 화상을 격납하는 상기 격납 수단이 후단에 접속하는 가산 수단과, 적어도 상기 부호화 차분 신호와 상기 대역 관련 정보를 출력하는 출력 수단을 구비한다.

본 발명에 관계되는 동화상 부호화 장치에 있어서, 상기 예측 신호 생성 수단은 상기 대역 관련 정보에 따른 예측 신호의 생성 방법을 도출하여 상기 참조 화상으로부터 상기 예측 신호를 생성하고, 상기 대역 관련 정보는 상기 예측 신호의 생성 방법에 관한 정보(예를 들면, 예측 신호를 생성하기 위해서 사용되는 필터 계수)를 포함하는 것으로 하여도 좋다.

또한, 본 발명에 관계되는 동화상 부호화 장치에 있어서는 상기 예측 신호 생성 수단은 적어도 2종류의 예측 신호 생성 방법 중에서, 상기 대역 관련 정보에 따른 예측 신호의 생성 방법을 선정하여, 상기 참조 화상으로부터 상기 예측 신호를 생성하고, 상기 대역 관련 정보는 상기 예측 신호의 생성 방법에 관한 정보(예를 들면, 선정된 최적의 생성 방법의 식별자)를 포함할 수도 있다.

본 발명에 관계되는 동화상 복호 장치는 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호와 대역 관련 정보를 포함하는 압축 데이터를 입력하는 입력 수단과, 상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 수단과, 상기 복호 차분 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단과, 상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 수단과, 상기 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납하는 격납 수단을 구비하고, 상기 대역 관련 정보는 상기 재생 화상의 대역과 상기 참조 화상의 대역을 나타내고, 상기 예측 신호 생성 수단은 상기 대역 관련 정보에 기초하여, 복호의 대상이 되는 대상 화상의 대역에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성한다.

본 발명에 관계되는 동화상 복호 장치에 있어서, 상기 대역 관련 정보는 상기 예측 신호의 생성 방법에 관한 예측 신호 생성 관련 정보를 포함하고, 상기 예측 신호 생성 수단은 상기 예측 신호 생성 관련 정보에 기초하여, 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것으로 하여도 좋다.

본 발명에 관계되는 동화상 복호 장치에 있어서는 상기 대역 관련 정보는 상기 예측 신호의 생성 방법에 관한 예측 신호 생성 관련 정보를 포함하고, 상기 예측 신호 생성 수단은 상기 예측 신호 생성 관련 정보에 기초하여, 적어도 2종류의 예측 신호 생성 방법 중에서 상기 예측 신호의 생성 방법을 선정하여, 상기 참조 화상으로부터 상기 예측 신호를 생성할 수도 있다.

본 발명에 관계되는 동화상 부호화 방법은 동화상을 구성하는 복수의 화상 중 부호화의 대상이 되는 대상 화상을 입력하는 입력 스텝과, 상기 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 스텝과, 상기 대상 화상의 대역과 상기 참조 화상의 대역을 측정하여, 상기 대상 화상의 대역과 상기 참조 화상의 대역을 나타내는 대역 관련 정보를 생성하는 대역 분석 스텝과, 상기 대역 관련 정보에 기초하여, 상기 대상 화상의 대역에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 예측 신호 생성 스텝과, 상기 대상 화상과 상기 예측 신호의 차분을 구하여 차분 신호를 생성하는 차분 스텝과, 상기 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 스텝과, 상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 스텝과, 상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 스텝과, 상기 재생 화상을 상기 격납 수단에 격납시키는 격납 스텝과, 적어도 상기 부호화 차분 신호와 상기 대역 관련 정보를 출력하는 출력 스텝을 포함한다.

본 발명에 관계되는 동화상 복호 방법은 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호와 대역 관련 정보를 포함하는 압축 데이터를 입력하는 입력 스텝과, 상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 스텝과, 상기 복호 차분 신호에 대한 예측 신호를 생성하는 예측 신호 생성 스텝과, 상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 스텝과, 상기 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 스텝을 포함하고, 상기 대역 관련 정보는 상기 재생 화상의 대역과 상기 참조 화상의 대역을 나타내고, 상기 예측 신호 생성 스텝은 상기 대역 관련 정보에 기초하여, 복호의 대상이 되는 대상 화상의 대역에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성한다.

본 발명에 관계되는 동화상 부호화 프로그램은 동화상을 구성하는 복수의 화상 중 부호화의 대상이 되는 대상 화상을 입력하는 입력 처리와, 상기 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 처리와, 상기 대상 화상의 대역과 상기 참조 화상의 대역을 측정하여, 상기 대상 화상의 대역과 상기 참조 화상의 대역을 나타내는 대역 관련 정보를 생성하는 대역 분석 처리와, 상기 대역 관련 정보에 기초하여, 상기 대상 화상의 대역에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 예측 신호 생성 처리와, 상기 대상 화상과 상기 예측 신호의 차분을 구하여 차분 신호를 생성하는 차분 처리와, 상기 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 처리와, 상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 처리와, 상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 처리와, 상기 재생 화상을 상기 격납 수단에 격납시키는 격납 처리와, 적어도 상기 부호화 차분 신호와 상기 대역 관련 정보를 출력하는 출력 처리를 컴퓨터에 실행시킨다.

본 발명에 관계되는 동화상 복호 프로그램은 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호와 대역 관련 정보를 포함하는 압축 데이터를 입력하는 입력 처리와, 상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 처리와, 상기 복호 차분 신호에 대한 예측 신호를 생성하는 예측 신호 생성 처리와, 상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 처리와, 상기 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 처리를 컴퓨터에 실행시키고, 상기 대역 관련 정보는 상기 재생 화상의 대역과 상기 참조 화상의 대역을 나타내고, 상기 예측 신호 생성 처리는 상기 대역 관련 정보에 기초하여, 복호의 대상이 되는 대상 화상의 대역에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성한다.

이들의 발명에 의하면, 대상 화상에 대한 예측 신호는 상기 대상 화상의 대역에 맞추어 참조 화상으로부터 생성되기 때문에, 대상 화상과 그 예측 신호의 대역은 같은 정도가 된다. 이것에 의해, 참조 화상의 고주파 성분이 예측 신호로 이동하는 것은 방지되기 때문에, 신호 대역이 다른 화상이 혼재하는 동화상에 관해서도, 고효율의 압축이 실현된다. 본 발명은, 상기 동화상이 참조 화상이 대역폭이 넓은 신호를 갖고, 대상 화상이 대역폭이 좁은 신호를 갖는 화상인 경우에, 특히 효과적이다.

상술한 과제를 해결하기 위해서, 본 발명의 동화상 부호화 장치는 동화상을 구성하는 복수의 화상으로부터 부호화의 대상이 되는 대상 화상을 입력하는 입력 수단과, 상기 입력 수단에 의해 입력된 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납하는 격납 수단과, 상기 입력 수단에 의해 입력된 대상 화상의 공간 주파수 성분의 진폭 및 상기 격납 수단에 격납되어 있는 참조 화상의 공간 주파수 성분의 진폭에 기초하여, 상기 대상 화상의 공간 주파수 성분의 진폭과 상기 참조 화상의 공간 주파수 성분의 진폭의 차를 조정하기 위한 공간 주파수 진폭 관련 정보를 생성하는 공간 주파수 진폭 분석 수단과, 공간 주파수 진폭 분석 수단에 생성된 공간 주파수 진폭 관련 정보에 기초하여 상기 참조 화상의 공간 주파수 성분의 진폭을 조정하고, 상기 조정된 참조 화상에 기초하여 상기 대상 화상에 대한 예측 신호를 생성하는 예측 신호 생성 수단과, 상기 입력 수단에 의해 입력된 대상 화상과 상기 예측 신호 생성 수단에 의해 생성된 예측 신호의 차분에 기초하여 차분 신호를 생성하는 차분 수단과, 상기 차분 수단에 의해 생성된 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 수단과, 상기 부호화 수단에 의해 부호화된 부호화 차분 신호 및 상기 공간 주파수 진폭 분석 수단에 의해 생성된 공간 주파수 진폭 관련 정보를 출력하는 출력 수단과, 상기 부호화 수단에 의해 생성된 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 수단과, 상기 복호 수단에 의해 생성된 복호 차분 신호에 상기 예측 신호 생성 수단에 의해 생성된 예측 신호를 가산하여 재생 화상을 생성하고, 생성한 재생 화상을 참조 화상으로서 상기 격납 수단에 격납시키는 재생 화상 생성 수단을 구비하고 있다.

또한, 본 발명의 동화상 부호화 방법은 동화상을 구성하는 복수의 화상으로부터 부호화의 대상이 되는 대상 화상을 입력하는 입력 스텝과, 상기 입력 스텝에 의해 입력된 대상 화상의 공간 주파수 성분의 진폭 및 상기 입력 스텝에 의해 입력된 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상의 공간 주파수 성분의 진폭에 기초하여, 상기 대상 화상의 공간 주파수 성분의 진폭과 상기 참조 화상의 공간 주파수 성분의 진폭의 차를 조정하기 위한 공간 주파수 진폭 관련 정보를 생성하는 공간 주파수 진폭 분석 스텝과, 상기 공간 주파수 진폭 분석 스텝에 생성된 공간 주파수 진폭 관련 정보에 기초하여 상기 참조 화상의 공간 주파수 성분의 진폭을 조정하고, 상기 조정된 참조 화상에 기초하여 상기 대상 화상에 대한 예측 신호를 생성하는 예측 신호 생성 스텝과, 상기 입력 스텝에 의해 입력된 대상 화상과 상기 예측 신호 생성 스텝에 의해 생성된 예측 신호의 차분에 기초하여 차분 신호를 생성하는 차분 스텝과, 상기 차분 스텝에 의해 생성된 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 스텝과, 상기 부호화 스텝에 의해 부호화된 부호화 차분 신호 및 상기 공간 주파수 진폭 분석 스텝에 의해 생성된 공간 주파수 진폭 관련 정보를 출력하는 출력 스텝과, 상기 부호화 스텝에 의해 생성된 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 스텝과, 상기 복호 스텝에 의해 생성된 복호 차분 신호에 상기 예측 신호 생성 스텝에 의해 생성된 예측 신호를 가산하여 재생 화상을 생성하고, 생성한 재생 화상을 참조 화상으로서 격납시키는 재생 화상 생성 스텝을 구비하고 있다.

또한, 본 발명의 동화상 부호화 프로그램은 동화상을 구성하는 복수의 화상으로부터 부호화의 대상이 되는 대상 화상을 입력하는 입력 모듈과, 상기 입력 모듈에 의해 입력된 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납하는 격납 모듈과, 상기 입력 모듈에 의해 입력된 대상 화상의 공간 주파수 성분의 진폭 및 상기 격납 모듈에 격납되어 있는 참조 화상의 공간 주파수 성분의 진폭에 기초하여, 상기 대상 화상의 공간 주파수 성분의 진폭과 상기 참조 화상의 공간 주파수 성분의 진폭의 차를 조정하기 위한 공간 주파수 진폭 관련 정보를 생성하는 공간 주파수 진폭 분석 모듈과, 공간 주파수 진폭 분석 모듈에 생성된 공간 주파수 진폭 관련 정보에 기초하여 상기 참조 화상의 공간 주파수 성분의 진폭을 조정하고, 상기 조정된 상기 참조 화상에 기초하여 상기 대상 화상에 대한 예측 신호를 생성하는 예측 신호 생성 모듈과, 상기 입력 모듈에 의해 입력된 대상 화상과 상기 예측 신호 생성 모듈에 의해 생성된 예측 신호의 차분에 기초하여 차분 신호를 생성하는 차분 모듈과, 상기 차분 모듈에 의해 생성된 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 모듈과, 상기 부호화 모듈에 의해 생성된 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 모듈과, 상기 복호 모듈에 의해 생성된 복호 차분 신호에 상기 예측 신호 생성 모듈에 의해 생성된 예측 신호를 가산하여 재생 화상을 생성하고, 생성한 재생 화상을 참조 화상으로서 상기 격납 모듈에 격납시키는 재생 화상 생성 모듈과, 상기 부호화 모듈에 의해 부호화된 부호화 차분 신호 및 상기 공간 주파수 진폭 분석 모듈에 의해 생성된 공간 주파수 진폭 관련 정보를 출력하는 출력 모듈을 구비하고 있다.

본 발명에 의하면, 동화상을 구성하는 복수의 화상으로부터 부호화의 대상이 되는 대상 화상을 입력하고, 입력된 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납한다. 그리고, 입력된 대상 화상의 공간 주파수 성분의 진폭 및 격납되어 있는 참조 화상의 공간 주파수 성분의 진폭에 기초하여, 대상 화상의 공간 주파수 성분의 진폭과 참조 화상의 공간 주파수 성분의 진폭과의 차를 조정하기 위한 공간 주파수 진폭 관련 정보를 생성한다.

생성된 공간 주파수 진폭 관련 정보에 기초하여 상기 참조 화상의 공간 주파수 성분의 진폭을 조정하고, 상기 조정된 상기 참조 화상에 기초하여 상기 대상 화상에 대한 예측 신호를 생성하고, 입력된 대상 화상과 생성된 예측 신호의 차분에 기초하여 차분 신호를 생성한다. 생성된 차분 신호를 부호화하여 부호화 차분 신호를 생성하고, 생성된 부호화 차분 신호를 복호하여 복호 차분 신호를 생성한다.

복호 차분 신호에 예측 신호를 가산하여 재생 화상을 생성하고, 재생 화상을 참조 화상으로서 격납시킨다. 한편, 부호화된 부호화 차분 신호 및 공간 주파수 진폭 관련 정보를 출력한다.

이것에 의해, 대상 화상과 그 예측 신호의 공간 주파수 진폭이 같은 정도가 되어, 참조 화상의 공간 주파수 성분의 과부족이 예측 신호에 영향을 미치지 않기 때문에, 효율 좋게 압축할 수 있다.

또한, 본 발명의 동화상 복호 장치는 복호를 위한 참조 화상인 재생 화상을 격납하는 격납 수단과, 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호 및 화상의 공간 주파수 진폭 관련 정보를 포함하는 부호화 데이터를 입력하는 입력 수단과, 상기 입력 수단에 의해 입력된 부호화 데이터로부터 공간 주파수 진폭 관련 정보 및 부호화 차분 신호를 추출하는 추출 수단과, 상기 추출 수단에 의해 추출된 공간 주파수 진폭 관련 정보에 기초하여, 상기 격납 수단에 격납되어 있는 재생 화상의 진폭을 조정하여, 예측 신호를 생성하는 예측 신호 생성 수단과, 상기 추출 수단에 의해 추출된 부호화 차분 신호를 복호하여 복호 차분 신호를 취득하는 복호 수단과, 상기 예측 신호 생성 수단에 의해 생성된 예측 신호를 상기 복호 수단에 의해 취득된 복호 차분 신호에 가산하여 재생 화상을 생성하는 가산 수단과, 상기 가산 수단에 의해 생성된 재생 화상을 출력 단자 및 상기 격납 수단에 출력하는 출력 수단을 구비하고 있다.

또한, 본 발명의 동화상 복호 방법은 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호 및 화상의 공간 주파수 진폭 관련 정보를 포함하는 부호화 데이터를 입력하는 입력 스텝과, 상기 입력 스텝에 의해 입력된 부호화 데이터로부터 공간 주파수 진폭 관련 정보 및 부호화 차분 신호를 추출하는 추출 스텝과, 상기 추출 스텝에 의해 추출된 공간 주파수 진폭 관련 정보에 기초하여, 격납 수단에 참조 화상으로서 격납되어 있는 재생 화상의 진폭을 조정하여, 예측 신호를 생성하는 예측 신호 생성 스텝과, 상기 추출 스텝에 의해 추출된 부호화 차분 신호를 복호하여 복호 차분 신호를 취득하는 복호 스텝과, 상기 예측 신호 생성 스텝에 의해 생성된 예측 신호를, 상기 복호 스텝에 의해 취득된 복호 차분 신호에 가산하여 재생 화상을 생성하는 가산 스텝과, 상기 가산 스텝에 의해 생성된 재생 화상을 출력 단자 및 복호를 위한 재생 화상을 격납하는 격납 수단에 출력하는 출력 스텝을 구비하고 있다.

또한, 본 발명의 동화상 복호 프로그램은 복호를 위한 참조 화상으로서 재생 화상을 격납하는 격납 모듈과, 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호 및 화상의 공간 주파수 진폭 관련 정보를 포함하는 부호화 데이터를 입력하는 입력 모듈과, 상기 입력 모듈에 의해 입력된 부호화 데이터로부터 공간 주파수 진폭 관련 정보 및 부호화 차분 신호를 추출하는 추출 모듈과, 상기 추출 모듈에 의해 추출된 공간 주파수 진폭 관련 정보에 기초하여, 상기 격납 모듈에 격납되어 있는 재생 화상의 진폭을 조정하여, 예측 신호를 생성하는 예측 신호 생성 모듈과, 상기 추출 모듈에 의해 추출된 부호화 차분 신호를 복호하여 복호 차분 신호를 취득하는 복호 모듈과, 상기 예측 신호 생성 모듈에 의해 생성된 예측 신호를 상기 복호 모듈에 의해 취득된 복호 차분 신호에 가산하여 재생 화상을 생성하는 가산 모듈과, 상기 가산 모듈에 의해 생성된 재생 화상을 출력 단자 및 상기 격납 모듈에 출력하는 출력 모듈을 구비하고 있다.

본 발명에 의하면, 복호를 위한 재생 화상을 격납하여, 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호 및 화상의 공간 주파수 진폭 관련 정보를 포함하는 부호화 데이터를 입력한다. 그리고, 입력된 부호화 데이터로부터 공간 주파수 진폭 관련 정보 및 부호화 차분 신호를 추출하고, 추출된 공간 주파수 진폭 관련 정보에 기초하여, 상기 격납 수단에 격납되어 있는 재생 화상의 진폭을 조정하여, 예측 신호를 생성한다. 또한, 추출된 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하고, 예측 신호를 복호 차분 신호에 가산하여 재생 화상을 생성한다. 생성된 재생 화상을 출력 단자에 출력하여 격납시킨다.

이것에 의해, 대상 화상과 그 예측 신호의 공간 주파수 진폭이 같은 정도가 되어 효율 좋게 압축된 부호화 데이터를 복호할 수 있다.

또한, 본 발명의 동화상 부호화 장치는 상기 공간 주파수 진폭 분석 수단은 상기 공간 주파수 진폭 관련 정보의 생성에 필요한 정보를 외부로부터 입력하는 외부 입력 수단을 더욱 구비하고, 상기 공간 주파수 진폭 분석 수단은 상기 대상 화상의 공간 주파수 성분의 진폭 및 상기 참조 화상의 공간 주파수 성분의 진폭에 상기 외부 입력 수단으로부터 입력된 정보를 첨가하여 공간 주파수 진폭 관련 정보를 생성하는 것이 바람직하다.

본 발명에 의하면, 외부로부터 공간 주파수 진폭 관련 정보의 생성에 필요한 정보를 입력할 수 있고, 입력한 정보에 기초하여 공간 주파수 진폭 관련 정보를 생성할 수 있기 때문에, 영상 전체의 평가의 척도에 기초하여 정해진 조정 파라미터를 외부로부터 입력할 수 있고, 영상 전체를 고려한 진폭 조정율을 생성하는 동시에, 더욱 효율 좋은 부호화를 할 수 있다.

또한, 본 발명의 동화상 부호화 장치의 상기 공간 주파수 분석 수단은 대상 화상의 공간 주파수 성분에 따라서 정해진 조정 파라미터에 기초하여 상기 공간 주파수 진폭 관련 정보를 조정하고, 조정한 공간 주파수 진폭 관련 정보 및 조정 파라미터를 공간 주파수 진폭 관련 정보로서 생성하는 것이 바람직하다.

본 발명에 의하면, 공간 주파수 성분에 따라서 정해진 조정 파라미터에 기초하여 공간 주파수 진폭 관련 정보를 조정할 수 있고, 더욱 효율 좋은 부호화를 할 수 있다.

또한, 본 발명의 동화상 복호 장치의 상기 입력 수단은 공간 주파수 진폭 관련 정보로서 조정된 공간 주파수 관련 정보 및 조정 파라미터를 입력하고, 상기 예측 신호 생성 수단은 상기 입력 수단에 의해 입력된 공간 주파수 진폭 관련 정보 및 조정 파라미터에 기초하여 예측 신호를 생성하는 것이 바람직하다.

본 발명에 의하면, 조정된 공간 주파수 관련 정보 및 조정 파라미터에 기초하여 예측 신호를 생성할 수 있고, 효율 좋게 부호화된 데이터를 복호할 수 있다.

본 발명에 의하면, 동화상의 부호화ㆍ복호에 있어서, 동화상을 효율 좋게 압축하는 것이 가능해진다.

도 1은 제 1 실시형태에서의 동화상 부호화 장치의 구성을 도시하는 도면.
도 2는 동화상 부호화 장치의 동작을 설명하기 위한 도면.
도 3은 예측 신호 생성기의 동작의 전반 부분을 설명하기 위한 도면.
도 4는 움직임 벡터의 화소 정밀도와 예측 신호를 생성하기 위한 계수열의 대응 관계를 도시하는 도면.
도 5는 예측 신호 생성기의 동작의 후반 부분을 설명하기 위한 도면.
도 6은 제 1 실시 형태에서의 동화상 복호 장치의 구성을 도시하는 도면.
도 7은 동화상 복호 장치의 동작을 설명하기 위한 도면.
도 8은 예측 신호 생성기의 동작을 설명하기 위한 도면.
도 9는 동화상 부호화 프로그램의 구성을 도시하는 개념도.
도 10은 동화상 복호 프로그램의 구성을 도시하는 개념도.
도 11은 동화상 부호화ㆍ복호 프로그램을 실행하는 컴퓨터의 개략 구성을 도시하는 도면.
도 12는 동화상 부호화ㆍ복호 프로그램을 실행하는 컴퓨터의 외관 사시도.
도 13은 동화상 부호화 장치(130)의 블록도.
도 14는 공간 주파수 분석기(101)의 블록도.
도 15는 진폭 조정율 격납기(203)에 격납되어 있는 변환 테이블을 도시하는 도면.
도 16은 예측 신호 생성기(102)의 처리를 도시하는 동작 플로차트.
도 17은 동화상 부호화 장치(130)의 동작을 도시하는 플로차트.
도 18은 제 2 실시형태의 동화상 복호 장치(610)의 블록도.
도 19는 예측 신호 생성기(607)의 동작을 도시하는 플로차트.
도 20은 동화상 복호 장치(610)의 동작을 도시하는 플로차트.
도 21은 제 2 발명의 실시형태에 의한 동화상 부호화 프로그램(51P)의 구성을 기록매체(50P)와 함께 도시하는 도면.
도 22는 제 2 실시형태에 의한 동화상 복호 프로그램(91P)의 구성을 기록매체(90P)와 함께 도시하는 도면.

이하, 첨부도면을 참조하면서, 본 발명의 1 실시형태에서의 동화상 부호화 장치에 관해서 설명한다.

도 1은 제 1 실시형태에 관계되는 동화상 부호화 장치의 구성을 도시하는 도면이다.

제 1 실시형태에서의 동화상 부호화 장치(13)는 입력 단자(1)(입력 수단에 대응)와 차분기(2)(차분 수단에 대응)와 변환기(3)와 양자화기(4)(부호화 수단에 대응)와 역양자화기(5)와 역변환기(6)(복호 수단에 대응)와 가산기(7)(가산 수단에 대응)와 프레임 메모리(8)(격납 수단에 대응)와 예측 신호 생성기(9)(예측 신호 생성 수단에 대응)와 대역 분석기(10)(대역 분석 수단에 대응)와 엔트로피 부호화기(11)와 출력 단자(12)(출력 수단에 대응)를 구비한다. 이들 각 구성 요소는 버스를 통해서, 서로 신호의 입출력이 가능하도록 접속되어 있다.

이하, 각 구성 요소에 관해서 상세하게 설명한다.

입력 단자(1)는 동화상을 입력한다. 입력된 동화상은 소정의 사이즈(예를 들면, 16×16 화소)의 영역으로 분할된다.

차분기(2)는 예측 신호 생성기(9)에서 구해진 예측 신호를 버스(B10) 경유로 입력하면, 대상 블록으로부터 상기 예측 신호를 뺄셈하여 차분 신호를 생성한다.

변환기(3)는 차분기(2)로부터 입력된 차분 신호를, 주파수 영역의 신호로 변환한다.

양자화기(4)는 변환기(3)로부터 입력된 신호를 양자화한다.

역양자화기(5)는 양자화기(4)로부터 입력된 양자화 계수를 역양자화한다.

역변환기(6)는 역양자화기(5)로부터 입력된 역양자화 계수를 역이산 코사인 변환에 의해, 공간영역의 재생 차분 신호로 변환한다.

가산기(7)는 역변환기(6)로부터 입력된 재생 차분 신호에 대하여, 버스(B10a) 경유로 입력되는 예측 신호를 가산하여, 재생 화상을 생성한다.

프레임 메모리(8)는 가산기(7)로부터 버스(B7) 경유로 입력되는 재생 화상을 격납하여, 다음의 화상을 부호화할 때의 참조 화상으로서, 이것을 사용한다.

예측 신호 생성기(9)는 버스(B1b) 경유로 입력되는 부호화 대상의 블록에 대하여, 예측 신호를 생성한다. 또한, 상기 블록에 대한 예측 신호의 대역이, 블록의 신호의 대역을 상회하지 않도록 제어한다. 상세한 동작은 후술한다.

대역 분석기(10)는 상기 부호화 대상 블록의 신호의 대역을 분석한다.

엔트로피 부호화기(11)는 양자화기(4)로부터 입력된 양자화 계수를 가변 길이 부호로 변환한 후, 출력 단자(12)에 출력한다. 가변 길이 부호 대신에 산술 부호를 사용하여도 좋다.

다음에, 동작을 설명한다.

동작 설명의 전제로서, 입력 단자(1)에 입력되는 동화상이, 민생용 비디오카메라(예를 들면, 휴대 전화에 탑재된 카메라)로 촬영된 복수의 화상인 경우를 상정한다. 이 경우, 상술한 이유에 의해, 대역폭이 넓은 신호를 갖는 화상과 대역폭이 좁은 신호를 갖는 화상이 혼재하여 입력되게 된다.

대역 분석기(10)에는 부호화의 대상이 되는 대상 화상과, 상기 대상 화상의 예측 신호를 생성하기 위해서 참조되는 참조 화상이 입력된다. 대상 화상은 입력 단자(1)로부터 버스(B1a) 경유로 입력되고, 참조 화상은 프레임 메모리(8)로부터 버스(B11) 경유로 입력된다. 제 1 실시형태에서는 입력되는 참조 화상을 1장으로 하지만, 복수이어도 좋다.

대상 화상의 대역은 푸리에 변환으로 측정된다. 구체적으로는 대역 분석기(10)는 대상 화상에 있어서의 어떤 화소열을 1차원의 데이터 배열로 하여 푸리에 변환을 실시하여, 주파수 계수열을 생성한다. 그리고, 그 주파수 계수열에 있는 계수 중 크기가 직류 성분의 x% 이하가 되는 최대 주파수 성분을 그 화소열의 대역으로 한다. 예를 들면 x=5이지만, 그 이외의 수치를 사용하여도 좋다.

이와 같이, 대역 분석기(10)는 대상 화상의 각 화소열에 대한 대역을 구하고, 그 중에서 가장 큰 것을 대상 화상의 수직 방향의 대역으로 한다. 마찬가지로, 대상 화상의 각 행에 있는 화소열에 대한 대역을 구하고, 그 중에서 가장 큰 것을 대상 화상의 수평 방향의 대역으로 한다. 제 1 실시형태에서는 수직 방향의 대역과 수평 방향의 대역에서의 최대치를 대상 화상의 대역 데이터로 한다.

참조 화상의 대역에 관해서도 같은 방법으로 측정할 수 있지만, 제 1 실시형태에서는 상기 참조 화상을 부호화할 때에 측정된 대역 정보를 격납하여 둠으로써, 참조 화상의 대역에 관한 정보를 다시 계산하지 않아도 되게 된다. 그 때문에, 프레임 메모리(8)는 대상 화상의 대역에 관한 정보를 다음의 화상을 부호화하기 위해서 격납하여 둔다. 또, 참조 화상에서는 프레임 메모리(8)에 격납되어 있는 재생된 화상을 사용할 수 있지만, 상기 참조 화상에 대응하는 원화상을 사용하여 그 대역을 계산하여도 좋다.

대역 분석기(10)는 얻어진 대상 화상의 대역 데이터를 분모로 하고, 참조 화상의 대역 데이터를 분자로 하여 대역비를 구하고, 버스(B12) 경유로 이것을 예측 신호 생성기(9)에 출력한다. 이 대역비는 대역 관련 정보(주파수 특성 관련 정보)로서, 버스(B9)를 경유하여 엔트로피 부호화기(11)에 출력된 후, 가변 길이 부호화된 다음, 다른 정보와 함께 출력 단자(12)로부터 출력된다. 또, 대역 관련 정보(주파수 특성 관련 정보)에는 대역비에 한하지 않고, 상기 재생 화상의 주파수 특성과 상기 참조 화상의 주파수 특성의 상대 관계를 나타내는 정보를 나타낼 수 있는 정보이면 좋다. 예를 들면, 상기 재생 화상의 주파수 특성, 상기 참조 화상의 주파수 특성 자체이거나, 그 차분이거나 하여도 좋다.

이하, 도 2를 참조하여, 동화상 부호화 장치(13)의 동작, 아울러, 동화상 부호화 방법을 구성하는 각 스텝을 설명한다.

동화상 부호화 장치(13)의 입력 단자(1)에, 부호화의 대상이 되는 대상 화상이 입력되면(S1), 대역 분석기(10)는 대상 화상의 대역을 측정하여, 대상 화상 및 참조 화상의 대역 데이터로부터 대역비를 구한다(S2). 대역의 측정방법과 대역비가 구하는 방법에 관해서는 후술한다.

또, 제 1 실시형태에서는 동화상 부호화 장치(13)는 화상 전체의 대역에 관한 데이터를 구하는 것으로 하였지만, 각 블록 단위로 상기 데이터를 구하여도 좋다.

S3에서는 예측 신호 생성기(9)는 대역비에 근거하는 움직임 검출을 하여, 움직임 벡터를 생성한다. 그리고, 움직임 벡터의 정밀도, 및 대역비에 따른 예측 신호를 생성한다(S4).

차분기(2)는 S4에서 생성된 예측 신호를 대상 화상으로부터 뺄셈하여, 차분 신호를 구한다(S5). 이 차분 신호는 변환기(3)에서 이산 코사인 변환된 후, 양자화기(4)에서 양자화되어, 양자화 변환 계수가 생성된다(S6).

또, 양자화 변환 계수는 역양자화기(5)에 의한 역양자화 처리, 역변환기(6)에 의한 역변환 처리를 거쳐서, 재생 차분 신호가 생성된다(S7).

재생 차분 신호에는 가산기(7)에 의해 예측 신호가 가산되고, 그 결과, 재생 화상이 생성된다(S8).

생성된 재생 화상, 및 대역에 관한 정보는 프레임 메모리(8)에 일시적으로 격납된다. 동시에, 양자화 변환 계수, 대역 관련 정보, 및 움직임 벡터를 포함하는 데이터는 엔트로피 부호화된 다음 출력된다(S9).

다음에, 도 3을 참조하여, 예측 신호 생성기(9)의 동작을 상세하게 설명한다.

우선 S11에서는 대상 화상이 버스(B1b) 경유로, 참조 화상이 버스(B11a) 경유로, 대역비가 버스(B12) 경유로, 각각 예측 신호 생성기(9)에 입력된다.

S12에서는 상기 대역비의 값에 따라서, 움직임 검출의 처리가 실행된다.

움직임 검출처리는 주지관용의 화상 해석기술이기 때문에 상세한 설명은 생략하지만, 예를 들면 블록 매칭의 방법을 사용하여 실행된다.

대역비가 1이하인 경우(S12:≤1), 즉 대상 화상이 참조 화상의 대역 이상인 경우에는 예측 신호 생성기(9)는 S13, S14, S15의 처리를 실행하여, 대상 블록에 대한 움직임 벡터를 검출한다.

예측 신호 생성기(9)는 대역비에 따라서 실행되는 생성부(101, 102, 103)를 갖는다. 이들 생성부가 예측 신호의 생성에 사용하는 계수열과, 움직임 벡터의 화소 정밀도의 대응 관계를 도 4에 도시한다.

도 3의 S13에서는 생성부(101)에 의해, 정수 정밀도의 움직임 벡터가 검출된다(도 4의 41에 대응). 생성부(101)는 참조 화상에, 어떤 화소치를 그대로 사용하여 매칭을 취하고, 오차가 가장 적은 블록을 주는 위치에 있는 블록의 변위를 정수 정밀도의 움직임 벡터로 한다.

S14에서는 생성부(101)에 의해, 정수 정밀도의 움직임 벡터가 나타내는 위치를 중심으로, 반화소 정밀도의 움직임 벡터가 검출된다(도 4의 44에 대응).

생성부(101)는 참조 화상에, 어떤 화소치를 [u_hu_h]의 계수로 선형 보간하여 반화소 정밀도의 화소를 생성하고, 이것을 사용하여 대상 블록과의 매칭을 취한다. 그리고, 오차가 가장 적은 참조 블록을 주는 위치에 있는 블록의 변위를 반화소 정밀도의 움직임 벡터로 한다.

예를 들면, u_h=1/2이지만, 그 이외의 선형 보간 계수를 사용하여도 좋다.

S15에서는 생성부(101)에 의해, 반화소 정밀도의 움직임 벡터가 나타내는 위치를 중심으로, 1/4화소 정밀도의 움직임 벡터가 검출된다(도 4의 47에 대응).

생성부(101)는 참조 화상에, 어떤 화소치를[u_qu_qu_qu_q]의 계수로 선형 보간하여, 1/4화소 정밀도의 화소를 생성하고, 이것을 사용하여 대상 블록과의 매칭을 취한다. 그리고, 오차가 가장 적은 참조 블록을 주는 위치에 있는 블록의 변위를 1/4화소 정밀도의 움직임 벡터로 한다.

예를 들면, u_h=1/4이지만, 그 이외의 선형 보간 계수를 사용하여도 좋다.

이와 같이, 대상 화상이 참조 화상과 같은 대역인 경우, 또는 큰 대역인 경우에는 예측 신호 생성기(9)는 종래와 같은 수법으로, 정수, 1/2화소 정밀도, 및 1/4화소 정밀도의 움직임 벡터보다 최적의 움직임 벡터를 구한다.

또한, 대역비가 1부터 2인 경우(S12:1 내지 2), 즉, 참조 화상의 대역이 대상 화상의 대역보다도 크지만 2배 미만인 경우에는 예측 신호 생성기(9)는 S16, S17, S18의 처리를 실행하여, 대상 블록에 대한 움직임 벡터를 검출한다.

S16에서는 생성부(102)에 의해, 정수 정밀도의 움직임 벡터가 검출된다(도 4의 42에 대응). 생성부(102)는 참조 화상에, 어떤 화소치를 3개의 계수로 가중 가산한 다음 매칭을 취하고, 오차가 가장 적은 블록을 주는 위치에 있는 블록의 변위를, 정수 정밀도의 움직임 벡터로 한다.

계수로서는 예를 들면, [w₁w₂w₃]=[1/3 1/3 1/3]을 사용할 수 있지만, 그 이외의 계수를 사용하여도 좋다.

S17에서는 생성부(102)에 의해, 정수 정밀도의 움직임 벡터가 나타내는 위치를 중심으로, 반화소 정밀도의 움직임 벡터가 검출된다(도 4의 45에 대응).

생성부(102)는 참조 화상에, 어떤 화소치를[w_h1w_h2w_h3w_h4]의 계수로 선형 보간하여 반화소 정밀도의 화소를 생성하고, 이것을 사용하여 대상 블록과의 매칭을 취한다. 그리고, 오차가 가장 적은 참조 블록을 주는 위치에 있는 블록의 변위를, 반화소 정밀도의 움직임 벡터로 한다.

예를 들면, [w_h1w_h2w_h3w_h4]의 각 계수는 [u_hu_h]과 [w₁w₂w₃]의 함수에 의해 줄 수 있지만, 그 이외의 선형 보간 함수를 사용하여도 좋다.

S18에서는 생성부(102)에 의해, 반화소 정밀도의 움직임 벡터가 나타내는 위치를 중심으로, 1/4화소 정밀도의 움직임 벡터가 검출된다(도 4의 48에 대응).

생성부(102)는 참조 화상에, 어떤 화소치를 [w_q1w_q2w_q3w_q4w_q5w_q6]의 계수로 선형 보간하여 1/4화소 정밀도의 화소를 생성하고, 이것을 사용하여 대상 블록과의 매칭을 취한다. 그리고, 오차가 가장 적은 참조 블록을 주는 위치에 있는 블록의 변위를, 1/4화소 정밀도의 움직임 벡터로 한다. 예를 들면, [w_q1w_q2w_q3w_q4w_q5w_q6]의 각 계수는 [u_qu_qu_qu_q]과 [w_h1w_h2w_h3w_h4 _]의 함수에 의해 줄 수 있지만, 그 이외의 선형 보간 함수를 사용하여도 좋다.

이와 같이, 대상 화상이 참조 화상보다도 좁은 대역인 경우에는 예측 신호 생성기(9)는 참조 화상의 대역을 대상 화상의 대역에 맞춘 형태로 움직임 검출을 하여, 정수 정밀도, 1/2화소 정밀도, 1/4화소 정밀도의 움직임 벡터 중에서, 최적의 움직임 벡터를 구한다.

또, 대역비가 2이상인 경우(S12:2≤), 즉, 참조 화상의 대역이 대상 화상의 대역보다도 2배 이상 큰 경우에는 예측 신호 생성기(9)는 S19, S20, S21의 처리를 실행하여, 대상 블록에 대한 움직임 벡터를 검출한다.

S19에서는 생성부(103)에 의해, 정수 정밀도의 움직임 벡터가 검출된다(도 4의 43에 대응). 생성부(103)는 참조 화상에, 어떤 화소치를 3개의 계수로 가중 가산한 다음 매칭을 취하고, 오차가 가장 적은 블록을 주는 위치에 있는 블록의 변위를, 정수 정밀도의 움직임 벡터로 한다.

계수로서는 예를 들면, [v₁v₂v₃]=[1/4 2/4 1/4]을 사용할 수 있지만, 그 이외의 계수를 사용하여도 좋다.

S20에서는 생성부(103)에 의해, 정수 정밀도의 움직임 벡터가 나타내는 위치를 중심으로, 반화소 정밀도의 움직임 벡터가 검출된다(도 4의 46에 대응).

생성부(103)는 참조 화상에, 어떤 화소치를 [v_h1v_h2v_h3v_h4]의 계수로 선형 보간하여 반화소 정밀도의 화소를 생성하고, 이것을 사용하여 대상 블록과의 매칭을 취한다. 그리고, 오차가 가장 적은 참조 블록을 주는 위치에 있는 블록의 변위를, 반화소 정밀도의 움직임 벡터로 한다.

예를 들면, [v_h1v_h2v_h3v_h4]의 각 계수는 [u_hu_h]과 [v₁v₂v₃]의 함수에 의해 줄 수 있지만, 그 이외의 선형 보간 함수를 사용하여도 좋다.

S21에서는 생성부(103)에 의해, 반화소 정밀도의 움직임 벡터가 나타내는 위치를 중심으로, 1/4화소 정밀도의 움직임 벡터가 검출된다(도 4의 49에 대응).

생성부(103)는 참조 화상에, 어떤 화소치를 [v_q1v_q2v_q3v_q4v_q5v_q6]의 계수로 선형 보간하여 1/4화소 정밀도의 화소를 생성하고, 이것을 사용하여 대상 블록과의 매칭을 취한다. 그리고, 오차가 가장 적은 참조 블록을 주는 위치에 있는 블록의 변위를 1/4화소 정밀도의 움직임 벡터로 한다.

예를 들면, [v_q1v_q2v_q3v_q4v_q5v_q6]의 각 계수는 [u_qu_qu_qu_q]과 [v_h1v_h2v_h3v_h4]의 함수에 의해 줄 수 있지만, 그 이외의 선형 보간 함수를 사용하여도 좋다.

이와 같이, 대상 화상이 참조 화상보다도 대역이 상당히 좁은 경우에는 예측 신호 생성기(9)는 참조 화상의 대역을 대상 화상의 대역에 맞춘 형태로 움직임 검출을 하여, 정수 정밀도, 1/2화소 정밀도, 1/4화소 정밀도의 움직임 벡터 중에서, 최적의 움직임 벡터를 구한다.

참조 화상의 대역이 대상 화상의 대역에 맞도록 구해진 움직임 벡터는 S22에서, 엔트로피 부호화기(11)에 출력된다.

도 5로 이동하여, 예측 신호 생성기(9)의 동작을 계속해서 설명한다.

계속해서, 예측 신호 생성기(9)는 상술과 같이 구해진 최적의 움직임 벡터에 대하여, 그 정밀도에 따른 예측 신호를 생성한다(S31).

예를 들면, 움직임 벡터가 정수 화소 정밀도인 경우는 S32로 진행하고, 1/2화소 정밀도인 경우에는 S36으로, 1/4화소 정밀도인 경우에는 S40으로 각각 진행한다.

S32에서는 대역비에 따른 생성부가 예측 신호를 생성한다. 즉, 대역비가 1이하인 경우에는 생성부(101)가 예측 신호를 생성하고(S33, 도 4의 41에 대응), 대역비가 1 내지 2의 사이에 있는 경우에는 생성부(102)가 예측 신호를 생성한다(S34, 도 4의 42에 대응). 또, 대역비가 2이상인 경우에는 생성부(103)가 예측 신호를 생성한다(S35, 도 4의 43에 대응).

S36, S40에서도, S32와 같이, 대역비에 따른 생성부가 예측 신호를 생성한다. 즉, 대역비가 1이하인 경우에는 생성부(101)가 예측 신호를 생성하고(S37, S41, 도 4의 44, 47에 각각 대응), 대역비가 1 내지 2의 사이에 있는 경우에는 생성부(102)가 예측 신호를 생성한다(S38, S42, 도 4의 45, 48에 각각 대응). 또, 대역비가 2이상인 경우에는 생성부(103)가 예측 신호를 생성한다(S39, S43, 도 4의 46, 49에 각각 대응).

생성된 예측 신호는 차분기(2)와 가산기(7)에 출력된다(S44).

또, 제 1 실시형태에서는 예측 신호의 각 생성부에서, 생성을 위한 계수를 미리 준비해 두고, 움직임 벡터 정밀도와 대역비에 따라서 생성부가 선택되는 구성을 채용하였다. 이 때문에, 대역 관련 정보는 대역비에 관한 정보만으로 하였다. 그러나, 동화상 부호화 장치(13)는 예측 신호의 생성부를 사전에 준비하지 않고, 대역비에 의해서 최적의 계수를 구하고, 그 계수를 아울러 부호화하는 것으로 하여도 좋다.

이러한 형태에서는 대역 관련 정보로서, 대역비에 덧붙여, 또는 대역비 대신에, 예측 신호를 생성하는 수단 또는 이를 위한 계수를 출력하여도 좋다. 동화상 부호화 장치(13)는 대역비에 따라서 생성부를 구함으로써, 더욱 정밀도가 높은 예측 신호를 구할 수 있기 때문에, 화상 압축율을 한층 더 높일 수 있다.

또한, 제 1 실시형태에서는 1장 또는 복수장의 화상에 관하여, 1개의 대역비에 관한 데이터를 출력하는 것으로 하였지만, 이것에 한하지 않는다. 즉, 동화상 부호화 장치(13)는 화상 단위가 아니라 화상을 분할한 블록 단위로 대역 관련 정보를 출력하여도 좋다.

또, 화상의 수평 방향과 수직 방향에 대하여, 각각의 대역 데이터를 사용하여 처리를 하여도 좋다. 이 경우, 예측 신호 생성기(9)는 수평 방향과 수직 방향에 관하여, 각각의 대역비를 구한 후, 그 대역비에 따라서, 방향에 의해서 다른 생성부에서 예측 신호를 생성한다.

또한, 제 1 실시형태에서는 1/4화소 정밀도까지의 움직임 벡터로 예측 신호를 생성하였지만, 1/8화소 이상의 정밀도로 예측 신호를 생성하여도 좋다.

제 1 실시형태에서는 대역 관련 정보로서 대역비를 사용하였지만, 그 대역비는 상술한 함수와는 다른 함수로 구하여도 좋다. 이러한 형태는 예측 신호 생성시의 판정 조건을, 그 다른 함수의 정의에 맞추어 다시 설정하는 것으로, 실현할 수 있다.

다음에, 본 발명의 1 실시형태에서의 동화상 복호 장치에 관해서 설명한다.

도 6은 본 발명에 관계되는 동화상 복호 장치의 구성을 도시하는 도면이다.

제 1 실시형태에서의 동화상 복호 장치(20)는 입력 단자(21)(입력 수단에 대응)와, 데이터 해석기(22)와, 역양자화기(23)와 역변환기(24)(복호 수단에 대응)와, 예측 신호 생성기(25)(예측 신호 생성 수단에 대응)와, 가산기(26)(가산 수단에 대응)와, 출력 단자(27)와, 프레임 메모리(28)(격납 수단에 대응)를 구비한다. 이들 각 구성 요소는 버스를 통해서, 서로 신호의 입출력이 가능하도록 접속되어 있다.

이하, 각 구성 요소에 관해서 상세하게 설명한다.

입력 단자(21)는 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호의 데이터, 움직임 벡터에 관한 데이터, 및, 대역 관련 정보(대역비를 포함함)를 포함하는 압축 데이터를 입력한다.

데이터 해석기(22)는 입력된 압축 데이터를 해석하여, 엔트로피 복호 처리를 하는 동시에, 양자화된 변환 계수, 양자화에 관한 정보, 예측 신호의 생성에 관한 움직임 벡터, 및, 복호 대상 화상에 관한 대역 관련 정보를 추출한다.

역양자화기(23)는 데이터 해석기(22)로부터 버스(B22) 경유로 입력된 상기 변환 계수, 및 양자화에 관한 정보로부터 역양자화된 변환 계수를 생성한다.

역변환기(24)는 역양자화기(23)로부터 버스(B23) 경유로 입력된 상기 변환 계수를 역이산 코사인 변환하여, 재생 차분 신호를 생성한다.

상세한 것은 후술하지만, 예측 신호 생성기(25)는 데이터 해석기(22)로부터 버스(B22a) 경유로 입력된 움직임 벡터와, 버스(B22b) 경유로 입력된 대역 관련 정보에 기초하여, 예측 신호를 생성한다. 예측 신호 생성기(25)는 상술한 예측 신호 생성기(9)와 같이, 대역 관련 정보에 포함되어 있는 대역비에 따라서 실행되는 생성부(101, 102, 103)를 갖는다. 이들 생성부가 예측 신호의 생성에 사용하는 계수열과, 움직임 벡터의 화소 정밀도의 대응 관계는 도 4에 도시한 바와 같다.

가산기(26)는 역변환기(24)로부터 버스(B24)를 통해서 입력된 재생 차분 신호와, 예측 신호 생성기(25)로부터 버스(B25) 경유로 입력된 예측 신호를 가산한다.

출력 단자(27)는 가산기(26)로부터 입력된 가산결과를 재생 화상으로서 출력한다.

프레임 메모리(28)는 가산기(26)로부터 버스(B27) 경유로 입력된 가산결과를, 다음 화상을 복호하기 위한 재생 화상으로서 격납한다. 또, 상술한 프레임 메모리(8)와 같이, 프레임 메모리(28)에는 대상 화상의 대역에 관한 정보를, 다음의 화상을 복호하기 위해서 격납하여 두도록 하여도 좋다. 이 경우, 대역 관련 정보에는 대역비가 아니라, 대상 화상이 소유하는 대역폭에 관한 정보만이 포함된다.

계속해서, 도 7을 참조하여, 동화상 복호 장치(20)의 동작, 아울러, 동화상 복호 방법을 구성하는 각 스텝을 설명한다.

T1에서는 동화상 복호 장치(20)의 입력 단자(21)에, 부호화 차분 신호의 데이터와 움직임 벡터에 관한 데이터, 및 대역 관련 정보를 포함하는 압축 데이터가 입력된다. 데이터 해석기(22)는 상기 압축 데이터로부터 엔트로피 복호 처리를 하는 동시에, 양자화된 변환 계수, 양자화에 관한 정보, 예측 신호의 생성에 관한 움직임 벡터, 및 복호 대상 화상에 관한 대역 관련 정보를 추출한다(T2).

예측 신호 생성기(25)에서는 데이터 해석기(22)로부터 입력된 움직임 벡터와 대역 관련 정보에 기초하여, 예측 신호를 생성한다(T3). 예측 신호의 생성 방법의 상세한 것에 관해서는 후술한다.

한편, 양자화된 변환 계수는 역양자화기(23)에 의해 역양자화된 후(T4), 역변환기(24)에 의해 역이산 코사인 변환된다. 그 결과, 재생 차분 신호가 생성된다(T5).

T3에서 생성된 예측 신호와, T5에서 생성된 재생 차분 신호는 가산기(26)에서 가산되고, 이것에 의해 재생 화상이 생성된다(T6). 이 재생 화상은 이어지는 화상의 복호를 위해서, 프레임 메모리(28)에 일시적으로 격납된다(T7).

T2 내지 T8의 일련의 처리는 입력된 모든 압축 데이터에 관해서 복호 처리가 완료할 때까지 반복 실행된다(T8).

다음에, 도 8을 참조하여 예측 신호 생성기(25)의 동작을 상세하게 설명한다.

T11에서는 데이터 해석기(22)로부터 복호의 대상이 되는 블록의 움직임 벡터와 대역 관련 정보가 입력된다. 대역 관련 정보에는 대상 화상에 대한 참조 화상의 대역비에 관한 정보가 포함된다.

예측 신호 생성기(25)는 입력된 움직임 벡터에 대하여, 그 정밀도에 따른 예측 신호를 생성한다(T12).

예를 들면, 움직임 벡터가 정수 화소 정밀도의 경우는 T13으로 진행하고, 1/2화소 정밀도인 경우에는 T17로, 1/4화소 정밀도인 경우에는 T21로 각각 진행한다.

T13에서는 대역비에 따른 생성부가 예측 신호를 생성한다. 즉, 대역비가 1이하인 경우에는 생성부(101)가 예측 신호를 생성하고(T14, 도 4의 41에 대응), 대역비가 1 내지 2의 사이에 있는 경우에는 생성부(102)가 예측 신호를 생성한다(T15, 도 4의 42에 대응). 또, 대역비가 2이상인 경우에는 생성부(103)가 예측 신호를 생성한다(T16, 도 4의 43에 대응).

T17, T21에서도, T13과 같이, 대역비에 따른 생성부가 예측 신호를 생성한다. 즉, 대역비가 1이하인 경우에는 생성부(101)가 예측 신호를 생성하고(T18, T22, 도 4의 44, 47에 각각 대응), 대역비가 1 내지 2의 사이에 있는 경우에는 생성부(102)가 예측 신호를 생성한다(T19, T23, 도 4의 45, 48에 각각 대응). 또, 대역비가 2이상인 경우에는 생성부(103)가 예측 신호를 생성한다(T20, T24, 도 4의 46, 49에 각각 대응).

그리고, 생성된 예측 신호는 가산기(26)에 출력된다(T25).

또, 제 1 실시형태에서는 예측 신호의 각 생성부에서, 생성을 위한 계수를 미리 준비해 두고, 움직임 벡터 정밀도와 대역비에 따라서 생성부가 선택되는 구성을 채용하였다. 이 때문에, 대역 관련 정보는 대역비에 관한 정보만으로 하였다. 그러나, 예측 신호의 생성부를 식별하는 정보가 대역 관련 정보에 포함되는 경우에는 예측 신호 생성기(25)는 그 정보를 사용하여 예측 신호를 생성하여도 좋다.

또한, 제 1 실시형태에서는 1장 또는 복수장의 화상에 관하여, 1개의 대역비에 관한 데이터를 입력하는 것으로 하였지만, 이것에 한하지 않는다. 즉, 동화상 복호 장치(20)는 화상 단위가 아니라, 화상을 분할한 블록 단위로, 대역 관련 정보를 입력하여도 좋다. 이러한 형태에서는 예측 신호 생성기(25)는 각 블록의 각 대역 관련 정보에 기초하여 예측 신호를 생성한다.

또, 화상의 수평 방향과 수직 방향에 대하여, 각각의 대역 데이터를 입력하여도 좋다. 이 경우, 예측 신호 생성기(25)는 수평 방향과 수직 방향에 관하여, 각각의 대역비를 구한 후, 그 대역비에 따라서 예측 신호를 생성한다.

여기에서, 본 발명에 관계되는 동화상 부호화 기술은 컴퓨터를 동화상 부호화 장치(13)로서 동작시키기 위한 동화상 부호화 프로그램으로서 실현할 수도 있다.

도 9는 본 발명에 관계되는 동화상 부호화 프로그램(110P)의 구성을 도시하는 도면이다. 동화상 부호화 프로그램(110P)은 기록매체(100P)에 기록되어 있다. 기록매체(100P)는 예를 들면, 플로피 디스크, CD-ROM, DVD 또는 반도체 메모리이다.

동화상 부호화 프로그램(110P)은 도 9에 도시하는 바와 같이, 화상 입력 모듈(111P)과, 화상 분석·대역비 계산 모듈(112P)과, 예측 신호 생성 모듈(113P)과, 차분 신호 생성 모듈(114P)과, 변환 모듈(115P)과, 양자화 모듈(116P)과, 역양자화 모듈(117P)과, 역변환 모듈(118P)과, 가산 모듈(119P)과, 엔트로피 부호화 모듈(121P)을 구성 단위로서 갖는다. 이들 각 모듈을 실행시킴으로써 실현하는 기능은 상술한 동화상 부호화 장치(13)의 입력 단자(1), 대역 분석기(10), 예측 신호 생성기(9), 차분기(2), 변환기(3), 양자화기(4), 역양자화기(5), 역변환기(6), 가산기(7), 엔트로피 부호화기(11)의 각 기능과 각각 같다. 기억 모듈(120P)을 실행시킴으로써 격납되는 데이터는 프레임 메모리(8)에 격납되는 데이터와 같다.

또한, 본 발명에 관계되는 동화상 복호 기술은 컴퓨터를 동화상 복호 장치(20)로서 동작시키기 위한 동화상 복호 프로그램으로서도 실현 가능하다.

본 발명에 관계되는 동화상 복호 프로그램(210P)은 예를 들면, 도 10에 도시하는 바와 같은 구성을 채용할 수 있다. 동화상 복호 프로그램(210P)은 기록매체(200P)에 기록되어 있다. 기록매체(200P)는 예를 들면, 플로피 디스크(등록상표), CD-ROM, DVD, 또는 반도체 메모리이다.

동화상 복호 프로그램(210P)은 도 10에 도시하는 바와 같이, 압축 데이터 입력 모듈(211P)과, 엔트로피 복호 모듈(212P)과, 예측 신호 생성 모듈(213P)과, 역양자화 모듈(214P)과, 역변환 모듈(215P)과, 가산 모듈(216P)을 구성 단위로서 갖는다. 이들 각 모듈을 실행시킴으로써 실현하는 기능은 상술한 동화상 복호 장치(20)의 입력 단자(21), 데이터 해석기(22), 예측 신호 생성기(25), 역양자화기(23), 역변환기(24), 가산기(26)가 갖는 각 기능과 각각 같다. 기억 모듈(217P)을 실행시킴으로써 격납되는 데이터는 프레임 메모리(28)에 격납되는 데이터와 같다.

도 11은 기록매체(100P, 200P)에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 도시하는 도면이다.

도 11에 도시하는 바와 같이, 컴퓨터(30)는 FDD(Floppy Disk Drive), CD-ROM 드라이브 장치, DVD 드라이브 장치를 비롯한 데이터 판독 장치(31)와, OS를 상주시키기 위한 작업용 메모리(32)(RAM(Random Access Memory))와, 기록매체(100P, 200P)로부터 판독된 프로그램을 기억하는 메모리(33)와, 표시 장치로서의 디스플레이(34)와, 입력 장치로서의 마우스(35) 및 키보드(36)와, 데이터의 송수신을 하기 위한 통신 장치(37)와, 프로그램의 실행을 통괄적으로 제어하는 CPU(38)를 구비한다.

컴퓨터(30)는 기록매체(100P, 200P)가 판독 장치(31)에 삽입되면, 판독 장치(31)를 통해서, 기록매체(100P, 200P)에 각각 기록된 동화상 부호화 프로그램(110P), 동화상 복호 프로그램(210P)에 액세스 가능해진다. 컴퓨터(30)는 동화상 부호화 프로그램(110P)을 CPU(38)에 의해 실행하는 것으로, 상술한 동화상 부호화 장치(13)로서 동작한다. 마찬가지로, 컴퓨터(30)는 동화상 복호 프로그램(210P)을 CPU(38)에 의해 실행하는 것으로, 상술한 동화상 복호 장치(20)로서 동작하는 것이 가능하게 된다.

도 12는 기록매체(100P, 200P)에 기록되어 있는 프로그램을 실행하기 위한 컴퓨터(30)의 외관 사시도이다. 컴퓨터(30)에는 PC(Personal Computer)에 한하지 않고, CPU를 구비하고, 소프트웨어에 의한 정보처리나 제어를 하는 DVD 플레이어, 셋톱박스, 휴대전화 등을 포함한다.

도 12에 도시하는 바와 같이, 동화상 부호화 프로그램(110P) 또는 동화상 복호 프로그램(210P)은 반송파에 중첩된 데이터 신호(40)로서, 네트워크 경유로 제공(다운로드)되는 것이어도 좋다. 이 경우, 컴퓨터(30)는 통신 장치(37)에 의해서, 동화상 부호화 프로그램(110P) 또는 동화상 복호 프로그램(210P)을 수신하여, 메모리(33)에 격납한 후에, 이들의 프로그램을 실행한다.

이상 설명한 바와 같이, 본 발명에 관계되는 동화상 부호화 복호 기술(장치, 방법, 프로그램)에 의하면, 대상 화상의 대역과 참조 화상의 대역을 측정한 다음, 이들의 대역을 나타내는 대역 관련 정보를 생성한다. 그리고, 상기 대역 관련 정보에 기초하여, 대상 화상의 대역에 맞는 형태로, 참조 화상으로부터 대상 화상에 대한 예측 신호를 생성한다. 이것에 의해, 대상 화상과 그 예측 신호의 대역이 같은 정도가 되어, 참조 화상의 고주파 성분이 예측 신호로 이동하지 않게 된다. 그 결과, 압축 부호화 효율이 향상된다.

이어서, 본 발명의 제 2 실시형태에 관해서, 도 13부터 도 22를 사용하여 설명한다.

우선, 제 2 실시형태의 동화상 부호화 장치에 관해서 설명한다. 도 13은 동화상 부호화 장치(130)의 블록도이다. 이 동화상 부호화 장치(130)는 입력 단자(100)(입력 수단), 공간 주파수 분석기(101)(공간 주파수 진폭 분석 수단), 예측 신호 생성기(102)(예측 신호 생성 수단), 차분기(103)(차분 수단), 변환기(104; 부호화 수단), 양자화기(105)(부호화 수단), 역양자화기(106)(복호 수단), 역변환기(107)(복호 수단), 가산기(108)(재생 화상 생성 수단), 프레임 메모리(109)(격납 수단), 엔트로피 부호화기(120), 출력 단자(121)(출력 수단)를 포함하여 구성된다. 이하, 각 구성 요소에 관해서 설명한다.

입력 단자(100)는 동화상 데이터를 구성하는 복수의 화상 데이터를 입력하는 단자이고, 카메라, 동화상을 기억하는 메모리 등으로부터 출력된 동화상 데이터를 구성하는 복수의 정지 화상 데이터를 하나씩 입력하는 부분이다. 또, 입력된 화상은 도시하지 않는 화상 분할부에 의해, 소정 사이즈의 영역으로 분할된다. 제 2 실시형태에서는 16×16화소로 이루어지는 블록으로 분할되어, 각 블록 단위로 압축·부호화 처리를 하는 것으로 한다.

공간 주파수 분석기(101)는 대상 화상과 참조 화상의 진폭의 비율 또는 상대적 또는 절대적인 차분을 나타내는 공간 주파수 진폭 관련 정보(주파수 특성 관련 정보), 즉 대상 화상의 공간 주파수 성분의 진폭과 참조 화상의 공간 주파수 성분의 진폭의 차를 조정하기 위한 공간 주파수 진폭 관련 정보를 생성하는 부분이다. 구체적으로는 공간 주파수 분석기(101)는 라인(L101a)을 경유하여 입력한 대상 화상과, 프레임 메모리(109)로부터 라인(L110)을 경유하여 추출된 참조 화상신호의 각각의 공간 주파수 진폭을 산출한다. 그리고, 공간 주파수 분석기(101)는 산출한 대상 화상 및 참조 화상에 대한 공간 주파수 진폭에 관한 정보에 근거하여, 대상 화상과 참조 화상의 진폭의 비율 또는 상대적 또는 절대적인 차분을 나타내는 공간 주파수 진폭 관련 정보를 생성한다. 공간 주파수 분석기(101)는 생성한 공간 주파수 진폭 관련 정보를 엔트로피 부호화기(120) 및 예측 신호 생성기(102)에 출력한다.

여기에서, 이 공간 주파수 분석기(101)의 상세한 구성에 관해서 설명한다. 도 14는 공간 주파수 분석기(101)의 블록도이다. 이 공간 주파수 분석기(101)는 공간 주파수 진폭 분석기(201), 공간 주파수 진폭 관련 정보 생성기(202), 및 진폭 조정율 격납기(203)를 포함하여 구성되어 있다. 이하, 각 구성 요소에 관해서 설명한다.

공간 주파수 진폭 분석기(201)는 대상 화상의 공간 주파수 진폭 및 참조 화상의 공간 주파수 진폭을 산출하고, 산출한 진폭을 대상 화상의 공간 주파수 및 참조 화상의 공간 주파수와 함께, 공간 주파수 진폭 관련 정보 생성기(202)에 라인(L201)을 경유하여 출력하는 부분이다.

즉, 공간 주파수 진폭 분석기(201)는 라인(L101a)을 경유하여 부호화의 대상이 되는 대상 화상과, 라인(L110)을 경유하여 상기 대상 화상의 예측 신호를 생성하기 위해서 참조하는 참조 화상을 취득한다. 참조 화상은 프레임 메모리(109)에 격납되어, 라인(L110) 경유로 입력된다. 제 2 실시형태에서는 1장의 참조 화상을 대상으로 하지만 복수의 참조 화상을 사용하여도 좋다.

공간 주파수 진폭 분석기(201)는 대상 화상의 공간 주파수 성분의 진폭 및 참조 화상의 공간 주파수 성분의 진폭을 대상 화상 및 참조 화상에 대하여 푸리에 변환을 하는 것으로 산출한다. 구체적으로는 공간 주파수 진폭 분석기(201)는 대상 화상에 대하여 2차원 푸리에 변환을 실시하여 주파수 계수 행렬을 생성하고, 그 주파수 계수 행렬 내의 계수의 파워 스펙트럼을 산출한다. 요컨대, 각 푸리에 계수의 실수항과 허수항의 2승의 합의 평방근을 각 공간 주파수의 공간 주파수 진폭의 크기로서 산출한다. 또, 공간 주파수 진폭의 산출 방법(표현법)은 이것에 한하는 것이 아니라, 그 밖의 산출 방법을 이용하여도 좋다.

또한, 제 2 실시형태에서의 공간 주파수 진폭 분석기(201)는 2차원의 공간 주파수 진폭을 산출하였지만, 1차원 푸리에 변환을 사용하여 공간 주파수 진폭을 산출하여도 좋다. 이 경우 예를 들면, 수평 방향의 각 1열에 푸리에 변환을 하여 산출하여도 좋다. 또한, 적어도 1개 이상의 수직, 수평, 수평수직 이외의 어떤 방향에 대한 공간 주파수 진폭을 대상으로 하여도 좋다.

또한, 제 2 실시형태에서는 2차원 데이터를 행렬로서 공간 주파수 진폭을 산출하였지만, 1차원의 데이터열로서 산출하여도 좋다. 또한 2차원 데이터의 임의의 일부를 추출하고 하여도 좋다. 또한, 2차원 데이터를 예를 들면 지그재그 스캔 등의 소트 방법에 의해 정렬을 하여 1차원 데이터로서 처리를 하여도 좋다.

또한, 제 2 실시형태에서는 주파수 변환에는 푸리에 변환을 사용하였지만, 그 이외의 이산 코사인 변환이나 이산 웨이브릿(wavelet) 변환 등의 다른 주파수 변환을 사용하여도 좋다. 또, 상기 참조 화상을 부호화할 때에 측정된 공간 주파수 성분 진폭 정보를 공간 주파수 진폭 분석기(201)가 격납하여 둠으로써, 참조 화상의 공간 주파수 진폭에 관한 정보를 다시 계산하지 않아도 좋다. 즉, 공간 주파수 진폭 분석기(201)가 대상 화상의 공간 주파수 진폭에 관한 정보를 다음의 화상을 부호화하기 위한 참조 화상의 공간 주파수 진폭에 관한 정보로서 격납하여 둔다. 또, 참조 화상으로서 프레임 메모리(109)에 격납되어 있는 재생된 화상을 사용하고 있지만, 상기 참조 화상에 대응하는 원화상(부호·복호가 되지 않은, 입력된 화상 데이터 자체)을 사용하여 그 공간 주파수 진폭을 계산하여도 좋다.

공간 주파수 진폭 관련 정보 생성기(202)는 상술한 바와 같이, 대상 화상의 공간 주파수 및 대상 화상의 공간 주파수 진폭, 및 참조 화상의 공간 주파수 및 참조 화상의 공간 주파수 진폭을, 공간 주파수 진폭 분석기(201)로부터 취득한다. 이 공간 주파수 진폭 관련 정보 생성기(202)는 입력된 대상 화상 및 참조 화상의 공간 주파수 진폭을 사용하여, 이하의 식 (1)에 따라서 진폭 비율 PR(f_cur)을 산출하여, 라인(L114) 경유로 예측 신호 생성기(102)에 출력한다. 진폭 비율 PR((f_cur)은 대상 화상의 각 공간 주파수 f_cur의 공간 주파수 진폭의 크기 P_cur 및 참조 화상의 대응하는 공간 주파수 f_ref의 공간 주파수 진폭의 크기 P_ref로부터 산출되고, 각 공간 주파수의 P_ref를 100[%]로 하였을 때에 대한 비율을 나타내는 함수이다. 또한, 공간 주파수가 0에 해당하는 DC 성분에 대해서는 항상 100[%]가 되도록 설정되어 있다.

PR(f_cur)=100×(P_cur/P_ref) 단 PR(0)=100 … (1)

또, 제 2 실시형태에서는 공간 주파수 진폭이 상대적인 크기를 이용하였지만, 대상 화상의 공간 주파수 진폭의 크기 P_cur와 참조 화상의 공간 주파수 진폭의 크기 P_ref의 차를 이용하여도 좋다. 또한, P_cur와 P_ref의 차나 P_Cur와 P_ref로부터 구해지는 다른 함수이어도 좋다. 또한, 제 2 실시형태에서는 공간 주파수가 0인 경우는 진폭 비율 PR(f_cur)=100으로 설정하였지만, 공간 주파수가 O인 경우도 PR(f_cur)을 산출하여도 좋다.

진폭 조정율 격납기(203)는 대상 화상의 공간 주파수 f_cur에서의 x[Hz]마다, 진폭 비율 PR(f_cur)을 조정하기 위한 변환 테이블을 격납하는 부분이다. 예를 들면, 진폭 조정율 격납기(203)는 대상 화상의 공간 주파수 f_cur에서의 x[Hz]마다, 진폭 비율 PR(f_cur)이 비율 범위 O% 내지 100%의 사이에서 y%마다, 진폭 비율 PR(f_cur)을 변화시키기 위한 조정 파라미터를 각각 대응지어 변환 테이블로서 격납한다. 도 15는 진폭 조정율 격납기(203)에 격납되어 있는 변환 테이블을 도시하는 도면이다. 도 15에 도시하는 바와 같이, 세로방향에 진폭 비율, 가로방향에 대상 화상의 공간 주파수의 대역 범위를 나타내고, 각각 조정 파라미터 α1부터 α25가 대응되어 있다.

공간 주파수 진폭 관련 정보 생성기(202)는 이 진폭 조정율 격납기(203)에 격납되어 있는 조정 파라미터를 라인(L203)을 경유하여 추출하고, 진폭 비율 PR(f_cur)로 승산하는 것으로 진폭 비율을 조정하여, 진폭 조정율 R(f_cur)로서 산출한다. 제 2 실시형태에서는 x=10, y=5로 설정한다. 또, x 및 y는 이 값에 한하는 것이 아니라, 그 이상이어도 좋고 이하이어도 좋다. 또한, 비율 범위의 상한은 제 2 실시형태에서는 100%로 설정하였지만, 이것에 한하는 것이 아니다. 또한, 제 2 실시형태에서의 변환 테이블은 1개의 테이블로 하였지만, 예를 들면 계층적인 테이블이어도 좋다. 또한, 이들의 대역의 구분은 인간의 감도에 근거하는 공간 주파수의 범위인 것이 바람직하다. 이들의 변환 테이블에서 규정된 주파수 대역 범위와 진폭 비율에 대응하여 정해진 각 조정 파라미터의 조합하여, 즉 변환 테이블에 기술(記述)되어 있는 정보는 공간 주파수 진폭 조정에 관한 정보로서 블록 단위로 동화상 복호 장치에 송신된다. 또한, 공간 주파수 진폭 조정에 관한 정보를 프레임 단위로 동화상 복호 장치에 송신하여도 좋다. 또한, 프레임 전체로 1개의 조정 파라미터로서 동화상 복호 장치에 송신하여도 좋다.

또한, 진폭 조정율 R(f_cur)의 산출의 방법으로서, 상술한 방법에 한하지 않고, 예를 들면, 공간 주파수의 주파수 대역 및 진폭 비율의 소정의 범위마다 진폭 조정율을 기억하는 매트릭스 테이블을 구비하고, 미리 정한 범위의 진폭 비율 및 그 주파수 대역에 관해서는 매트릭스 테이블에서 정해진 진폭 조정율로 변환하도록 하여도 좋다. 구체적으로는 어떤 일정한 범위의 진폭율, 예를 들면 10% 내지 15%의 사이에 있는 진폭율(예를 들면 13%로 함)이고, 그 주파수 대역이 f1인 것이, 매트릭스 테이블에서 β1(예를 들면 12%로 함)을 진폭 조정율로 하여 대응하여 격납되어 있는 경우에는 주파수 대역이 f1인 진폭율 13%를 진폭 조정율 12%로 변환한다.

제 2 실시형태에서는 대상 화상의 공간 주파수에 따른 진폭 조정율 R(f_cur)을 설정하고 있지만, 공간 주파수 이외의 다른 기준을 바탕으로 한 진폭 조정율이 설정되어 있어도 좋다. 예를 들면, 인간의 영상에 대한 시각 특성을 고려한 수치이어도 좋다. 또한, 동화상에 포함되는 휘도 정보나 색차 정보 등의 정보나 양자화 스텝과의 관계를 사용하여도 산출되어도 좋다.

또한, 제 2 실시형태에서는 각 동화상의 공간 주파수와 공간 주파수 진폭의 크기에 의해 진폭 조정율 R(f_cur)을 산출하였지만, 미리 정해진 진폭 조정율 R(f_cur)을 설정하여 두어도 좋다. 이 경우 예를 들면, 정해진 공간 주파수의 대역 범위마다 결정되는 공간 주파수 진폭의 증감율이나 스케일링 펙터와 같은 요소이어도 좋다. 또한, 제 2 실시형태에서는 진폭 조정율 격납기(203)에 격납되어 있는 변환 테이블에 기초하여 진폭 조정율을 산출하였지만, 각 공간 주파수의 진폭 비율 PR(f_cur)을 직접 이용하여도 좋다.

또한, 공간 주파수 진폭 관련 정보 생성기(202)는 외부로부터의 입력 정보를 접수하는 외부 입력부(204)를 구비하고, 이 외부 입력 수단으로부터 접수된 입력 정보를 사용하여 진폭 조정율 R(f_cur)을 생성하여도 좋다. 이 경우, 공간 주파수 진폭 관련 정보 생성기(202)는 영상 전체의 평가의 척도에 기초하여 정해진 조정 파라미터가 외부로부터 입력되어, 진폭 조정율을 산출하는 것이 바람직하다. 이 외부 입력부(204)는 필수의 구성은 아니지만, 제 2 실시형태의 동화상 부호화 장치(130)에 구비함으로써, 영상 전체를 고려한 진폭 조정율을 생성할 수 있고, 더욱 효율 좋은 부호화를 할 수 있다. 또한, 이 외부 입력부(204)는 사람이 조정 파라미터를 입력하여도 좋고, 미리 설정된 평가 장치에서 평가된 정보에 기초하여 생성된 조정 파라미터를 입력하여도 좋다.

또한, 제 2 실시형태에서는 2프레임의 공간 주파수에 관한 정보를 사용하였지만, 이것에 한하는 것은 아니다. 예를 들면, 동화상 전프레임의 공간 주파수나 그 평균, 최대치, 최소치 등을 사용하여 산출하여도 좋다.

제 2 실시형태에서는 블록 단위에서의 처리를 개시하였지만, 프레임 단위에서의 처리를 하여도 좋다. 또한, 제 2 실시형태에서는 공간 주파수의 변환을 하여 공간 주파수 진폭의 조정하는 것으로 콘트라스트의 조정을 하였지만, 휘도치를 사용한 콘트라스트 조정비를 산출하여 두어도 좋다. 이 경우, 예를 들면, 블록 단위의 휘도치의 변화량을 계산하여 이용하면 좋다. 또한, 제 2 실시형태에서는 공간 주파수 진폭을 사용하였지만 공간 주파수의 다른 요소를 사용하여 표현하여도 좋다.

공간 주파수 진폭 관련 정보 생성기(202)는 진폭 조정율 R(f_cur)에 관한 정보를, 공간 주파수 진폭 관련 정보로서 엔트로피 부호화기(120)에 출력한다. 엔트로피 부호화기(120)는 상술한 바와 같이, 입력한 공간 주파수 진폭 정보를 가변 길이 부호화하여, 움직임 벡터 등의 정보와 함께 출력 단자(121)를 경유하여 출력한다. 또한, 동시에, 공간 주파수 진폭 관련 정보 생성기(202)는 공간 주파수 진폭 관련 정보를 라인(L114) 경유로 예측 신호 생성기(102)에 송신하여, 예측 신호 생성기(102)에 보존시킨다.

도 13으로 되돌아가, 계속해서, 동화상 부호화 장치(130)에 관해서 설명한다. 예측 신호 생성기(102)는 라인 (L101b) 경유로 입력되는 부호화의 대상이 되는 대상 블록에 기초하여, 예측 신호(마찬가지로 16×16화소의 블록)를 생성하는 부분이다. 이 예측 신호 생성기(102)는 공간 주파수 분석기(101)에서 분석된 상기 대상 화상에 대한 공간 주파수 진폭에 관한 정보에 근거하여, 프레임 메모리(109)로부터 추출한 참조 화상의 공간 주파수 진폭의 조정 처리를 하여, 블록마다 예측 신호를 생성하도록 동작한다. 그리고, 예측 신호 생성기(102)는 생성한 예측 신호를 라인(L112) 경유로 차분기(103)에 출력한다. 이 예측 신호 생성기(102)는 이하의 식 (2)에 나타내는 연산식에 의해 참조 화상의 공간 주파수의 진폭 조정이 행하여진다.

조정 후의 참조 화상의 공간 주파수 진폭=참조 화상의 공간 주파수 진폭×진폭 조정율 R(f_ref)/100 …(2)

또한, 예측 신호 생성기(102)는 참조 화상의 공간 주파수 진폭의 조정 처리를 한 후, 조정한 참조 화상에 기초하여 블록 매칭의 방법을 사용하여, 동화상의 움직임을 검출한다. 그리고, 예측 신호 생성기(102)는 대상 블록에 대한 오차가 가장 적은 참조 블록을 주는 위치를 최적의 움직임 벡터로서 산출하고, 산출한 움직임 벡터를 엔트로피 부호화기(120)에 출력한다.

차분기(103)는 라인(L101)을 경유하여 출력된 대상 블록으로부터 예측 신호를 감산하여 차분 신호를 생성한다. 차분기(103)는 생성한 차분 신호를 변환기(104)에 출력한다.

변환기(104)는 차분 신호에 대하여 이산 코사인 변환 처리를 함으로써, 주파수 영역의 신호로 변환하여 라인(L104)을 경유하여 양자화기(105)에 출력하고, 양자화기(105)는 변환된 주파수 영역의 신호를 양자화하여, 주파수 영역의 신호의 양자화 변환 계수를 얻어 라인(L105)을 경유하여 엔트로피 부호화기(120) 및 역양자화기(106)에 출력한다. 양자화기(105)는 양자화 변환 계수에 있어서의 양자화의 값을 나타내는 양자화 정보를 아울러 엔트로피 부호화기(120) 및 역양자화기(106)에 출력한다.

엔트로피 부호화기(120)는 양자화기(105)에서 양자화된 주파수 영역의 신호인 양자화 변환 계수를 라인(L105)을 경유하여 입력하고, 라인(L114)을 경유하여 공간 주파수 분석기(101)에서 생성된 공간 주파수 진폭 관련 정보를 입력하고, 라인(L111)을 경유하여 예측 신호 생성기(102)에서 생성한 움직임 벡터를 입력한다.

그리고, 엔트로피 부호화기(120)는 양자화 정보, 양자화 변환 계수, 움직임 벡터, 및 공간 주파수 진폭 관련 정보를 가변 길이 부호로 변환하여 출력 단자(121)를 통해서 외부에 출력한다. 또, 엔트로피 부호화기(120)는 가변 길이 부호 대신에 산술 부호화를 적용하여 처리를 하여도 좋다.

역양자화기(106)는 양자화 변환 계수에 대하여 역양자화 처리를 하여, 라인(L106)을 경유하여 역변환기(107)에 출력한다. 역변환기(107)는 역양자화되어 얻어진 주파수 영역의 신호를 역이산 코사인 변환하는 것으로 공간영역의 재생 차분 신호로 변환하여, 라인(L107)을 경유하여 가산기(108)에 출력한다.

가산기(108)는 재생 차분 신호에 대하여, 예측 신호 생성기(102)로부터 라인(L102a) 경유로 보내지는 예측 신호를 가산하여, 재생 화상을 생성한다.

프레임 메모리(109)는 가산기(108)에서 생성된 재생 화상을 라인(L108) 경유로 취득하여, 다음의 화상을 부호화할 때의 참조 화상으로서 격납한다. 공간 주파수 분석기(101) 및 예측 신호 생성기(102)는 라인(L109 및 L110)을 경유하여, 프레임 메모리(109)에 기억되어 있는 참조 화상을 추출할 수 있다.

이상과 같이, 동화상 부호화 장치(130)는 구성됨으로써, 대상 화상과 참조 화상의 사이의 공간 주파수의 진폭차의 조정을 하여 동화상 데이터를 효율 좋게 부호화할 수 있다.

또, 이 동화상 부호화 장치(130)의 엔트로피 부호화기(120)는 공간 주파수 진폭 관련 정보의 부호화 처리로서, 진폭 조정율 R(f_cur)을 부호화하고 있지만, 그 이외에도, 예를 들면 진폭 비율 PR(f_cur)의 조합을 사용한 부호화 테이블을 사용한 부호화 등을 하여도 좋다. 또한, 프레임간의 공간 주파수 관련 정보의 차분을 부호화하여도 좋다.

또한, 제 2 실시형태에서는 블록 단위에서의 처리를 개시하였지만, 프레임 단위에서의 처리를 하는 경우, 프레임 단위로 화상의 조정 등을 하고, 송신하면 좋다. 이 경우, 프레임간의 진폭 조정율을 이용하여 부호화하여도 좋다. 또한, 프레임간에서의 차분 등을 이용하여도 좋다.

이어서, 예측 신호 생성기(102)에서의 예측 신호의 생성 처리에 관해서 설명한다. 도 16은 예측 신호 생성기(102)의 처리를 도시하는 동작 플로차트이다. 대상 화상의 대상 블록 및 참조 화상이 각각 라인(L101b)과 라인(L108) 경유로 예측 신호 생성기(102)에 입력된다(S301). 그리고, 예측 신호 생성기(102)는 대상 화상의 공간 주파수 진폭 관련 정보에 기초하여 참조 화상의 공간 주파수 진폭의 보정처리를 한다. 구체적으로는 예측 신호 생성기(102)는 대상 화상의 공간 주파수 진폭 관련 정보로부터 조정되는 공간 주파수를 사용하여 진폭 조정율을 산출한다(S303). 산출된 진폭 조정율은 예측 신호 생성기(102) 내에 보존된다.

이어서, 예측 신호 생성기(102)는 산출한 공간 주파수의 진폭 조정율을 사용하여 참조 화상의 공간 주파수 진폭을 조정한다. 구체적으로는 상술식 (2)에 따라서, 참조 화상의 공간 주파수 진폭에 진폭 조정율을 적산하여, 조정 후의 참조 화상의 공간 주파수 진폭을 산출한다(S304).

제 2 실시형태에서는 진폭 조정율 R(f_ref)을 적산하였지만, 예를 들면 시간적으로 떨어진 복수 참조 화상의 예측 진폭 조정율도 포함한 함수를 사용한 산출법에 의한 조정을 하여도 좋다. 또한, 적산 이외에도 진폭 조정율을 사용하여 참조 화상의 공간 주파수 진폭의 진폭을 조정하는 수단이면, 어떠한 방법을 매우 취하여도 좋다.

또한, 예측 신호 생성기(102)는 그 내부에 진폭 조정율을 보존하는 것으로, 참조 화상을 복수 사용하는 경우, 각 참조 화상의 진폭 조정율끼리가 상대적인 진폭 비율을 산출할 수 있다. 또한, 예측 신호 생성기(102)는 산출된 상대적인 진폭 비율로 시간적으로 떨어진 참조 화상의 공간 주파수를 조정하는 것으로, 적절히 공간 주파수 진폭을 조정하여 예측을 할 수 있다. 또한, 복수 참조 화상을 사용하는 경우, 진폭 조정을 하기 전의 화상과 행한 후의 화상의 양쪽을 예측후보로서 예측을 하여도 좋다. 그 때는 조정의 유무를 판정하는 정보도 사용하여 공간 주파수 진폭 정보로서 부호화를 하면 좋다.

이상의 스텝에 의해, 예측 신호 생성기(102)는 참조 화상의 공간 주파수 진폭을 조정 후, 이 조정한 참조 화상에 기초하여 움직임 검출의 처리를 한다. 제 2 실시형태에서는 종래와 같이 블록 매칭의 방법을 사용하여 움직임 검출을 하여, 대상 블록에 대한 오차가 가장 적은 참조 블록을 주는 위치를 최적의 움직임 벡터로서 예측 신호를 생성한다(S305). 예측 신호 생성기(102)는 이와 같이 생성한 예측 신호를 차분기(103), 가산기(108)에 출력한다(S306).

또, 제 2 실시형태에서는 블록 단위에서의 공간 주파수 진폭의 처리를 개시하였지만, 프레임 단위에서의 처리를 하여도 좋다. 블록 단위의 경우, 움직임 검출의 기준을 산출할 때에, 각 블록의 공간 주파수를 푸리에 변환으로 구하고, 공간 주파수 진폭을 조정하면서, 예측 신호를 결정하면 좋다. 또한, 프레임 단위의 경우, 참조 화상의 프레임 전체에 푸리에 변환을 하여, 공간 주파수를 구하여 공간 주파수 진폭을 조정하고 나서, 예측 신호를 결정하여도 좋다. 또한, 푸리에 변환 후에 공간 주파수 진폭을 조정하고, 움직임 검출시에는 푸리에 변환영역에서 움직임 벡터를 산출하는 등하여 행하여도 좋다. 또한, 주파수 변환은 푸리에 변환에 한정되는 것이 아니라, 이산 코사인 변환이나 이산 웨이브릿 변환 등의 다른 주파수 변환을 사용하여도 좋다. 또, 주파수 변환은 공간 주파수 진폭의 조정에 사용한 변환인 것이 바람직하다.

이어서, 제 2 실시형태의 동화상 부호화 장치(130)의 동작에 관해서 설명한다. 도 17은 동화상 부호화 장치(130)의 동작을 도시하는 플로차트이다. 우선, 입력 단자(100)를 통해서 부호화 대상이 되는 대상 화상이 입력된다(S401). 공간 주파수 분석기(101)에서, 대상 화상의 공간 주파수 진폭 및 참조 화상의 공간 주파수 진폭이 산출되어, 대상 화상의 공간 주파수 진폭 관련 정보(조정된 것)가 생성된다(S402). 공간 주파수 진폭의 산출 방법 및 조정 방법은 상술한 바와 같다. 또, 제 2 실시형태에서는 블록 단위로 공간 주파수 진폭에 관한 데이터를 구하지만, 프레임 단위로 공간 주파수 진폭에 관한 데이터를 구하여도 좋다.

이어서, 예측 신호 생성기(102)에서, 대상 화상의 공간 주파수 진폭 정보에 기초하여 참조 화상의 공간 주파수 진폭의 조정이 행하여진다(S403). 공간 주파수 진폭이 조정된 참조 화상을 사용하여 움직임 보상이 행하여지고, 최적의 움직임 벡터로서의 예측 신호가 생성된다(S404). 이와 같이 구해진 예측 신호가 대상 화상으로부터 감산되는 것으로 차분 신호가 산출된다(S405). 차분 신호는 이산 코사인 변환으로 변환되고, 양자화되어 양자화 변환 계수가 생성된다(S406).

또, 양자화 변환 계수는 역양자화되어 역변환되는 것으로, 재생 차분 신호가 생성된다(S407). 생성된 재생 차분 신호는 예측 신호가 가산되는 것으로 재생 화상이 생성된다(S408). 그리고, 재생 화상 및 공간 주파수 진폭 관련 정보가 프레임 메모리(109)에 일시 격납되는 동시에 양자화 변환 계수, 양자화 정보, 공간 주파수 진폭 관련 정보, 움직임 벡터를 포함하는 데이터는 엔트로피 부호화기(120)에서, 엔트로피 부호화된 다음, 출력 단자(121)를 통해서 출력된다(S409).

또, 제 2 실시형태에서는 어떤 화상에 대하여 하나의 공간 주파수 진폭 데이터로 나타내고, 한장의 화상, 또는 복수장의 화상에 하나의 공간 주파수 진폭에 관한 데이터를 출력하는 것으로 하였지만 이것에 한하는 것은 아니다. 화상을 분할한 블록 단위로 공간 주파수 진폭 관련 정보를 부호화하여도 좋다.

이어서, 제 2 실시형태의 동화상 부호화 장치(130)에서 부호화된 동화상을 수신하여, 복호하는 동화상 복호 장치(610)에 관해서 설명한다. 도 18은 제 2 실시형태의 동화상 복호 장치(610)의 블록도이다. 이 동화상 복호 장치(610)는 입력 단자(600)(입력 수단), 데이터 해석기(601)(추출 수단), 역양자화기(602)(복호 수단), 역변환기(603)(복호 수단), 가산기(604)(가산 수단), 프레임 메모리(606), 예측 신호 생성기(607)(예측 신호 생성 수단), 출력 단자(605)(출력 수단)를 포함하여 구성되어 있다. 이하, 각 구성 요소에 관해서 설명한다.

입력 단자(600)는 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호인 양자화 변환 계수, 양자화의 값을 나타내는 양자화 정보, 움직임 벡터에 관한 데이터, 및 공간 주파수 진폭 관련 정보를 포함하는 압축 데이터를 입력하는 단자이다. 제 2 실시형태에서는 도 13의 동화상 부호화 장치(130)에서 처리하여 얻어진 데이터를 동화상 복호 장치(610)에 입력한다.

데이터 해석기(601)는 압축 데이터를 해석하여, 엔트로피 복호 처리를 하여, 양자화된 양자화 변환 계수, 양자화의 값을 나타내는 양자화 정보, 예측 신호의 생성에 관한 움직임 벡터, 및 복호의 대상이 되는 화상에 관한 공간 주파수 진폭 관련 정보를 추출하는 부분이다. 이 데이터 해석기(601)는 양자화된 변환 계수 및 양자화의 값을 나타내는 양자화 정보를, 라인(L602) 경유로 역양자화기(602)에 출력한다. 또한, 데이터 해석기(601)는 움직임 벡터, 및 공간 주파수 진폭 관련 정보를, 각각 라인(L609 및 L610) 경유하여 예측 신호 생성기(607)에 출력한다.

역양자화기(602)는 양자화의 값을 나타내는 양자화 정보에 기초하여, 양자화된 양자화 변환 계수를 역양자화하는 것으로 변환 계수를 생성하는 부분이다. 역양자화기(602)는 라인(L603)을 경유하여, 역변환기(603)에 출력한다. 역변환기(603)는 역양자화기(602)에 의해 역양자화된 변환 계수를 역이산 코사인 변환으로 변환하여 재생 차분 신호를 생성하는 부분이다. 역변환기(603)는 생성한 재생 차분 신호를 라인(L604) 경유로 가산기(604)에 출력한다.

가산기(604)는 재생 차분 신호와 예측 신호를 가산하여 재생 화상으로서 라인(L605)을 경유하여 출력 단자(605)에 출력하는 동시에, 라인(L606)을 경유하여 프레임 메모리(606)에 출력하는 부분이다.

예측 신호 생성기(607)는 움직임 벡터 및 공간 주파수 진폭 관련 정보에 기초하여, 프레임 메모리(606)에 격납되어 있는 재생 화상으로부터 예측 신호를 생성하는 부분이다. 예측 신호 생성기(607)는 생성한 예측 신호를 가산기(604)에 출력한다. 또, 예측 신호 생성기(607)는 동화상 부호화 장치(130)로부터 공간 주파수 진폭 관련 정보로서, 조정된 공간 주파수 진폭 관련 정보 및 조정 파라미터를 수신하여, 조정 파라미터에 기초하여 공간 주파수 관련 정보(진폭 조정율 R(f-ref))를 사용하여 예측 신호를 생성한다.

프레임 메모리(606)는 가산기(604)로부터 출력된 재생 화상을 격납하는 부분이다. 예측 신호 생성기(607)는 이 프레임 메모리(606)에 격납된 재생 화상은 추출할 수 있다.

이어서, 예측 신호 생성기(607)의 예측 신호의 생성 처리를 설명한다. 도 19는 예측 신호 생성기(607)의 동작을 도시하는 플로차트이다. 예측 신호 생성기(607)는 데이터 해석기(601)로부터 출력된 공간 주파수 진폭 관련 정보 및 각 복호의 대상이 되는 대상 블록이 움직임 벡터를 입력한다(S701). 제 2 실시형태에서는 공간 주파수 진폭 관련 정보에는 복호의 대상이 되는 대상 화상의 공간 주파수 진폭에 관한 정보가 포함된다.

이어서, 예측 신호 생성기(607)는 대상 화상의 공간 주파수 진폭 관련 정보에 기초하여 공간 주파수의 진폭 조정율을 산출한다(S702). 그리고, 예측 신호 생성기(607)는 산출한 진폭 조정율을, 프레임 메모리(606)에 격납되어 있는 재생 화상의 공간 주파수에 적산하여, 재생 화상의 공간 주파수 진폭을 조정한다(S703). 예측 신호 생성기(607)는 공간 주파수 진폭을 조정한 재생 화상과 움직임 벡터에 기초하여 예측 신호를 생성한다(S704). 예측 신호 생성기(607)는 이와 같이 생성한 예측 신호를 가산기(604)에 출력한다(S705).

또, 제 2 실시형태에서는 재생 화상의 공간 주파수 진폭을 조정하고 나서 예측 신호를 생성하였지만, 조정을 하면서 예측 신호를 생성하여도 좋다.

이어서, 제 2 실시형태의 동화상 복호 장치(610)의 동작에 관해서 설명한다. 도 20은 동화상 복호 장치(610)의 동작을 도시하는 플로차트이다. 부호화 차분 신호인 양자화 변환 계수의 데이터, 양자화 정보, 움직임 벡터에 관한 데이터, 및 공간 주파수 진폭 관련 정보를 포함하는 압축 데이터가 데이터 해석기(601)에 입력된다(S801). 데이터 해석기(601)에서는 엔트로피 복호 처리가 행하여지고, 양자화된 양자화 변환 계수, 양자화의 값을 나타내는 양자화 정보, 예측 신호의 생성에 관한 움직임 벡터, 및 복호의 대상이 되는 화상에 관한 공간 주파수 진폭 관련 정보가 추출된다(S802). 데이터 해석기(601)에 의해 추출된 움직임 벡터 및 공간 주파수 진폭 관련 정보에 기초하여 예측 신호가, 예측 신호 생성기(607)에 의해 생성된다(S803). 상세한 것에 대해서는 도 19를 사용하여 설명한 것과 같다.

이어서, 역양자화기(602)에 의해, 동화상 부호화 장치(130)에서 양자화된 변환 계수가 역양자화되고, 역양자화된 변환 계수가 생성된다(S804). 역양자화된 변환 계수는 역변환기(603)에 의해 역이산 코사인 변환 처리되어, 재생 차분 신호가 생성된다(S805). 여기에서 생성된 재생 차분 신호에 대하여, S803에서 생성된 예측 신호가, 가산기(604)에서 가산되는 것으로 재생 화상이 생성된다(S806). 생성된 재생 화상은 다음의 화상의 복호를 위해서, 참조 화상으로서 프레임 메모리(606)에 일시 격납된다(S807). 이 처리는 모든 데이터가 복호될 때까지 반복된다(S808).

또, 제 2 실시형태에서는 어떤 화상에 대하여 하나의 공간 주파수 진폭 데이터로 나타내고, 한장의 화상, 또는 복수장의 화상에 하나의 공간 주파수 진폭에 관한 데이터를 수신하는 것으로 하였지만 이것에 한하는 것은 아니다. 화상을 분할한 블록 단위로 공간 주파수 진폭 관련 정보를 수신하여도 좋다. 이 경우 각 블록에 관해서 각각의 공간 주파수 진폭 관련 정보에 기초하여 예측 신호를 생성한다.

다음에, 컴퓨터를 제 2 실시형태에서의 동화상 부호화 장치(130)로서 동작시키기 위한 동화상 부호화 프로그램에 관해서 설명한다. 도 21은 제 2 발명의 실시형태에 의한 동화상 부호화 프로그램(51P)의 구성을 기록매체(50P)와 함께 도시하는 도면이다. 기록매체(50P)로서는 플로피 디스크(등록 상표), CD-ROM, DVD, 또는 ROM 등의 기록매체, 또는 반도체 메모리 등을 들 수 있다. 상기 동화상 부호화 프로그램(51P)에 의해서, 컴퓨터가 제 2 실시형태의 동화상 부호화 장치(130)로서 동작하는 것이 가능하게 된다.

도 21에 도시하는 바와 같이, 동화상 부호화 프로그램(51P)은 화상 입력 모듈(500P)과, 화상 분석·공간 주파수 진폭비 계산 모듈(501P)과, 예측 신호 생성 모듈(502P)과, 차분 신호 생성 모듈(503P)과, 변환 모듈(504P)과, 양자화 모듈(505P)과, 역양자화 모듈(506P)과, 역변환 모듈(507P)과, 가산 모듈(508P)과, 기억 모듈(509P)과, 엔트로피 부호화 모듈(510P)을 구비하고 있다.

각각 도 13에 도시한 동화상 부호화 장치(130)와의 대응에 관해서, 입력 단자(100)가 화상 입력 모듈(500P)에 대응하고, 공간 주파수 분석기(101)가 화상 분석·공간 주파수 진폭비 계산 모듈(501P)에 대응하고, 예측 신호 생성기(102)가 예측 신호 생성 모듈(502P)에 대응하고, 차분기(103)가 차분 신호 생성 모듈(503P)에 대응하고, 변환기(104)가 변환 모듈(504P)에 대응하고, 양자화기(105)가 양자화 모듈(505P)에 대응하고, 역양자화기(106)가 역양자화 모듈(506P)에 대응하고, 역변환기(107)가 역변환 모듈(507P)에 대응하고, 가산기(108)가 가산 모듈(508P)에 대응하고, 프레임 메모리(109)가 기억 모듈(509P)에 대응하고, 엔트로피 부호화기(120)가 엔트로피 부호화 모듈(510P)에 대응하고, 후술하는 컴퓨터 시스템과 협동함으로써, 상술한 부호 처리와 같은 처리가 실행된다.

다음에, 컴퓨터를 제 2 실시형태에 의한 동화상 복호 장치(610)로서 동작시키기 위한 동화상 복호 프로그램(91P)에 관해서 설명한다. 도 22는 제 2 실시형태에 의한 동화상 복호 프로그램(91P)의 구성을, 기록매체(90P)와 함께 도시하는 도면이다. 상기 동화상 복호 프로그램(91P)에 의해서, 컴퓨터가 제 2 실시형태에 의한 동화상 복호 장치(610)로서 동작하는 것이 가능하게 된다.

도 22에 도시하는 바와 같이, 동화상 복호 프로그램(91P)은 압축 데이터 입력 모듈(900P)과, 엔트로피 복호 모듈(901P)과, 예측 신호 생성 모듈(902P)과, 역양자화 모듈(903P)과, 역변환 모듈(904P)과, 가산 모듈(905P)과, 기억 모듈(906P)을 구비하고 있다.

각각 도 18에 도시한 동화상 복호 장치(610)와의 대응에 있어서, 입력 단자(600)는 압축 데이터 입력 모듈(900P)에 대응하고, 데이터 해석기(601)는 엔트로피 복호 모듈(901P)에 대응하고, 예측 신호 생성기(607)는 예측 신호 생성 모듈(902P)에 대응하고, 역양자화기(602)는 역양자화 모듈(903P)에 대응하고, 역변환기(603)는 역변환 모듈(904P)에 대응하고, 가산기(604)는 가산 모듈(905P)에 대응하고, 프레임 메모리(606)는 기억 모듈(906P)에 대응하여 후술하는 컴퓨터 시스템과 협동함으로써, 상술한 복호 처리와 같은 처리가 실행된다.

도 11에 도시하는 바와 같이, 컴퓨터(30)는 플로피 디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(31)와, 오퍼레이팅 시스템을 상주시킨 작업용 메모리(32)(RAM)와, 기록매체에 기억된 프로그램을 기억하는 메모리(33)와, 디스플레이(34)와, 입력 장치인 마우스(35) 및 키보드(36)와, 데이터 등의 송수(送受)를 하기 위한 통신 장치(37)와, 프로그램의 실행을 제어하는 CPU(38)를 구비하고 있다. 컴퓨터(30)는 기록매체가 판독 장치(31)에 삽입되면, 판독 장치(31)로부터 기록매체에 격납된 동화상 부호화 프로그램(51P) 또는 동화상 복호 프로그램(91P)에 액세스 가능하게 되어, 상기 동화상 부호화 프로그램(51P) 또는 동화상 복호 프로그램(91P)에 의해서, 제 2 실시형태의 동화상 부호화 장치(130) 또는 동화상 복호 장치(610)로서 동작하는 것이 가능하게 된다.

도 11에 도시하는 바와 같이, 동화상 부호화 프로그램(51P) 또는 동화상 복호 프로그램(91P)은 반송파에 중첩된 컴퓨터 데이터 신호(40)로서 네트워크를 통해서 제공되는 것이어도 좋다. 이 경우, 컴퓨터(30)는 통신 장치(37)에 의해서 수신한 동화상 부호화 프로그램(51P) 또는 동화상 복호 프로그램(91P)을 메모리(33)에 격납하고, 상기 동화상 부호화 프로그램(51P) 또는 동화상 복호 프로그램(91P)을 실행할 수 있다.

이어서, 상술한 동화상 부호화 장치(130) 및 동화상 복호 장치(610)의 작용 효과에 관해서 설명한다.

동화상 부호화 장치(130)는 동화상을 구성하는 복수의 화상으로부터 부호화의 대상이 되는 대상 화상을 입력 단자(100)를 통해서 입력한다. 한편, 프레임 메모리(109)는 입력 단자(100)를 통해서 입력된 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납한다. 그리고, 공간 주파수 분석기(101)는 입력된 대상 화상의 공간 주파수 성분의 진폭 및 프레임 메모리(109)에 격납되어 있는 참조 화상의 공간 주파수 성분의 진폭에 기초하여, 대상 화상의 공간 주파수 성분의 진폭과 참조 화상의 공간 주파수 성분의 진폭의 차를 조정하기 위한 공간 주파수 진폭 관련 정보, 예를 들면 진폭 비율을 포함한 정보를 생성한다.

공간 주파수 분석기(101)에서 생성된 공간 주파수 진폭 관련 정보에 기초하여 참조 화상의 공간 주파수 성분의 진폭을 조정하고, 예측 신호 생성기(102)는 조정된 참조 화상에 기초하여 상기 대상 화상에 대한 예측 신호를 생성한다. 차분기(103)는 입력된 대상 화상과 생성된 예측 신호의 차분에 기초하여 차분 신호를 생성한다. 변환기(104), 양자화기(105)는 생성된 차분 신호를 부호화하여 부호화 차분 신호를 생성한다. 한편, 역양자화기(106) 및 역변환기(107)는 생성된 부호화 차분 신호를 복호하여 복호 차분 신호를 생성한다.

가산기(108)는 복호 차분 신호에 예측 신호를 가산하여 재생 화상을 생성하고, 재생 화상을 참조 화상으로서 프레임 메모리(109)에 격납시킨다. 한편, 엔트로피 부호화기(120)는 부호화된 부호화 차분 신호 및 공간 주파수 진폭 관련 정보를 엔트로피 부호화하여 출력한다.

또한, 동화상 부호화 장치(130)는 그 공간 주파수 분석기(101) 내에, 외부로부터 공간 주파수 진폭 관련 정보의 생성에 필요한 정보를 입력할 수 있는 외부 입력부(204)를 구비하고, 입력한 정보에 기초하여 공간 주파수 진폭 관련 정보를 생성할 수 있다. 이 때문에, 영상 전체의 평가 척도에 기초하여 정해진 조정 파라미터를 외부로부터 입력할 수 있고, 영상 전체를 고려한 진폭 조정율을 생성하는 동시에, 더욱 효율 좋은 부호화를 할 수 있다.

또한, 동화상 부호화 장치(130)는 공간 주파수 성분에 따라서 정해진 조정 파라미터를 진폭 조정율·BR>I격납(203)에 격납시키고, 이 격납되어 있는 조정 파라미터에 기초하여 공간 주파수 진폭 관련 정보를 조정할 수 있고, 더욱 효율 좋은 부호화를 할 수 있다.

또한, 동화상 복호 장치(610)는 미리 프레임 메모리(606)에 복호를 위한 재생 화상을 격납하여 둔다. 그리고, 입력 단자(600)를 통해서 동화상을 예측 부호화하여 얻어지는 부호화 차분 신호 및 화상의 공간 주파수 진폭 관련 정보를 포함하는 부호화 데이터를 입력한다. 그리고, 데이터 해석기(601)는 입력된 부호화 데이터로부터 공간 주파수 진폭 관련 정보 및 부호화 차분 신호를 추출하고, 예측 신호 생성기(607)는 데이터 해석기(601)로부터 추출된 공간 주파수 진폭 관련 정보에 기초하여, 상기 격납 수단에 격납되어 있는 재생 화상의 진폭을 조정하여, 예측 신호를 생성한다.

또한, 역양자화기(602) 및 역변환기(603)는 추출된 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하고, 가산기(604)는 예측 신호를 복호 차분 신호에 가산하여 재생 화상을 생성한다. 생성된 재생 화상을 출력 단자(605)에 출력하고, 또한 프레임 메모리(606)에 격납시킨다.

또한, 동화상 복호 장치(610)는 상술한 동화상 부호화 장치(130)에서 조정된 공간 주파수 관련 정보 및 조정 파라미터에 기초하여 예측 신호를 생성할 수 있고, 효율 좋게 부호화된 데이터를 복호할 수 있다.

상술한 제 1 실시형태 및 제 2 실시형태에서는 주파수 특성으로서, 대역 또는 공간 주파수 성분의 진폭을 사용하였지만, 이것에 한하는 것이 아니다. 즉, 주파수 특성으로서, 전력, 콘트라스트 등 주파수 특성을 나타내는 파라미터이면 좋고, 주파수 특성 관련 정보로서, 대역비, 공간 주파수 성분의 진폭을 조정하기 위한 정보 외에, 대상 화상과 참조 화상의 주파수 특성을 조정하기 위한 정보이면 좋고, 예를 들면 전력, 콘트라스트 등을 사용한 주파수 특성을 조정하기 위한 정보이면 좋다.

1 : 입력 단자 2 : 차분기
3 : 변환기 4 : 양자화기
5 : 역양자화기 6 : 역변환기
7 : 가산기 8 : 프레임 메모리
9 : 예측 신호 생성기 10 : 대역 분석기
11 : 엔트로피 부호화기 12 : 출력 단자
21 : 입력 단자 22 : 데이터 해석기
23 : 역양자화기 24 : 역변환기
25 : 예측 신호 생성기 26 : 가산기
27 : 출력 단자 28 : 프레임 메모리
100 : 입력 단자 101 : 공간 주파수 분석기
102 : 예측 신호 생성기 103 : 차분기
104 : 변환기 105 : 양자화기
106 : 역양자화기 107 : 역변환기
108 : 가산기 109 : 프레임 메모리
120 : 엔트로피 부호화기 121 : 출력 단자
201 : 공간 주파수 진폭 분석기
202 : 공간 주파수 진폭 관련 정보 생성기
203 : 진폭 조정율 격납기 600 : 입력 단자
601 : 데이터 해석기 602 : 역양자화기
603 : 역변환기 604 : 가산기
605 : 출력 단자 606 : 프레임 메모리
607 : 예측 신호 생성기

Claims

동화상 부호화 장치에 있어서,
동화상을 구성하는 복수의 화상 중 부호화의 대상이 되는 대상 화상을 입력하는 입력 수단과,
상기 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납하는 격납 수단과,
상기 대상 화상의 주파수 특성과 상기 참조 화상의 주파수 특성을 측정하여, 상기 대상 화상의 주파수 특성과 상기 참조 화상의 주파수 특성의 상대 관계를 나타내는 정보를 나타내는 주파수 특성 관련 정보를 생성하는 주파수 특성 분석 수단과,
상기 주파수 특성 관련 정보에 기초하여, 상기 대상 화상의 주파수 특성에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 예측 신호 생성 수단과,
상기 대상 화상과 상기 예측 신호의 차분을 구하여 차분 신호를 생성하는 차분 수단과,
상기 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 수단과,
상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 수단과,
상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하여, 상기 재생 화상을 격납하는 상기 격납 수단이 후단에 접속하는 가산 수단과,
적어도 상기 부호화 차분 신호와 상기 주파수 특성 관련 정보를 출력하는 출력 수단을 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
제 1 항에 있어서,
상기 예측 신호 생성 수단은 상기 주파수 특성 관련 정보에 따른 예측 신호의 생성 방법을 도출하여 상기 참조 화상으로부터 상기 예측 신호를 생성하고,
상기 주파수 특성 관련 정보는 상기 예측 신호의 생성 방법에 관한 정보를 포함하는 것을 특징으로 하는, 동화상 부호화 장치.
제 1 항에 있어서,
상기 예측 신호 생성 수단은 적어도 2종류의 예측 신호 생성 방법 중에서, 상기 주파수 특성 관련 정보에 따른 예측 신호의 생성 방법을 선정하여, 상기 참조 화상으로부터 상기 예측 신호를 생성하고,
상기 주파수 특성 관련 정보는 상기 예측 신호의 생성 방법에 관한 정보를 포함하는 것을 특징으로 하는, 동화상 부호화 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 참조 화상의 주파수 특성을 측정하는 대신에, 참조 화상이 대상 화상으로서 처리될 때에 측정된 주파수 특성 정보를 기억하는 기억 수단을 더욱 구비하고, 상기 대상 화상의 주파수 특성 및 상기 기억 수단에 기억되어 있는 주파수 특성 정보에 기초하여 예측 신호를 생성하는 것을 특징으로 하는, 동화상 부호화 장치.
동화상 복호 장치에 있어서,
동화상을 예측 부호화하여 얻어지는 부호화 차분 신호와 주파수 특성 관련 정보를 포함하는 압축 데이터를 입력하는 입력 수단과,
상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 수단과,
상기 복호 차분 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단과,
상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 수단과,
상기 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납하는 격납 수단을 구비하고,
상기 주파수 특성 관련 정보는 상기 재생 화상의 주파수 특성과 상기 참조 화상의 주파수 특성의 상대 관계를 나타내는 정보를 나타내고,
상기 예측 신호 생성 수단은 상기 주파수 특성 관련 정보에 기초하여, 복호의 대상이 되는 대상 화상의 주파수 특성에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것을 특징으로 하는, 동화상 복호 장치.
제 5 항에 있어서,
상기 주파수 특성 관련 정보는 상기 예측 신호의 생성 방법에 관한 예측 신호 생성 관련 정보를 포함하고,
상기 예측 신호 생성 수단은 상기 예측 신호 생성 관련 정보에 기초하여, 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것을 특징으로 하는, 동화상 복호 장치.
제 5 항에 있어서,
상기 주파수 특성 관련 정보는 상기 예측 신호의 생성 방법에 관한 예측 신호 생성 관련 정보를 포함하고,
상기 예측 신호 생성 수단은 상기 예측 신호 생성 관련 정보에 기초하여, 적어도 2종류의 예측 신호 생성 방법 중에서 상기 예측 신호의 생성 방법을 선정하여, 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것을 특징으로 하는, 동화상 복호 장치.
제 5 항에 있어서,
상기 주파수 특성 관련 정보는 상기 예측 신호의 생성 방법에 관한 예측 신호 생성 관련 정보를 포함하고,
상기 예측 신호 생성 수단은 상기 예측 신호 생성 관련 정보에 기초하여, 미리 준비되어 있는, 적어도 2종류의 예측 신호 생성 방법 중에서 상기 예측 신호의 생성 방법을 선정하여, 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것을 특징으로 하는, 동화상 복호 장치.
제 5 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 참조 화상을 복호화할 때에 측정된 주파수 특성 정보를 기억하는 기억 수단을 더욱 구비하고,
상기 예측 신호 생성 수단은 상기 기억 수단에 기억되어 있는 주파수 특성 정보 및 재생 화상의 주파수 특성에 기초하여 예측 신호를 생성하는 것을 특징으로 하는, 동화상 복호 장치.
동화상 부호화 방법에 있어서,
동화상을 구성하는 복수의 화상 중 부호화의 대상이 되는 대상 화상을 입력하는 입력 스텝과,
상기 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 스텝과,
상기 대상 화상의 주파수 특성과 상기 참조 화상의 주파수 특성을 측정하여, 상기 대상 화상의 주파수 특성과 상기 참조 화상의 주파수 특성의 상대 관계를 나타내는 정보를 나타내는 주파수 특성 관련 정보를 생성하는 주파수 특성 분석 스텝과,
상기 주파수 특성 관련 정보에 기초하여, 상기 대상 화상의 주파수 특성에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 예측 신호 생성 스텝과,
상기 대상 화상과 상기 예측 신호의 차분을 구하여 차분 신호를 생성하는 차분 스텝과,
상기 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 스텝과,
상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 스텝과,
상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하여, 상기 재생 화상을 격납하는 상기 격납 수단이 후단에 접속하는 가산 스텝과,
적어도 상기 부호화 차분 신호와 상기 주파수 특성 관련 정보를 출력하는 출력 스텝을 구비하는 것을 특징으로 하는, 동화상 부호화 방법.
동화상 복호 방법에 있어서,
동화상을 예측 부호화하여 얻어지는 부호화 차분 신호와 주파수 특성 관련 정보를 포함하는 압축 데이터를 입력하는 입력 스텝과,
상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 스텝과,
상기 복호 차분 신호에 대한 예측 신호를 생성하는 예측 신호 생성 스텝과,
상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 스텝과
상기 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 스텝을 구비하고,
상기 주파수 특성 관련 정보는 상기 재생 화상의 주파수 특성과 상기 참조 화상의 주파수 특성의 상대 관계를 나타내는 정보를 나타내고,
상기 예측 신호 생성 스텝은 상기 주파수 특성 관련 정보에 기초하여, 복호의 대상이 되는 대상 화상의 주파수 특성에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것을 특징으로 하는, 동화상 복호 방법.
동화상을 부호화하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 프로그램은,
동화상을 구성하는 복수의 화상 중 부호화의 대상이 되는 대상 화상을 입력하는 입력 처리와,
상기 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 처리와,
상기 대상 화상의 주파수 특성과 상기 참조 화상의 주파수 특성을 측정하여, 상기 대상 화상의 주파수 특성과 상기 참조 화상의 주파수 특성의 상대 관계를 나타내는 정보를 나타내는 주파수 특성 관련 정보를 생성하는 주파수 특성 분석 처리와,
상기 주파수 특성 관련 정보에 기초하여, 상기 대상 화상의 주파수 특성에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 예측 신호 생성 처리와,
상기 대상 화상과 상기 예측 신호의 차분을 구하여 차분 신호를 생성하는 차분 처리와,
상기 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 처리와,
상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 처리와,
상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하여, 상기 재생 화상을 격납하는 상기 격납 수단이 후단에 접속하는 가산 처리와,
적어도 상기 부호화 차분 신호와 상기 주파수 특성 관련 정보를 출력하는 출력 처리를 컴퓨터에 실행시키는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.
동화상을 복호하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 프로그램은,
동화상을 예측 부호화하여 얻어지는 부호화 차분 신호와 주파수 특성 관련 정보를 포함하는 압축 데이터를 입력하는 입력 처리와,
상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 처리와,
상기 복호 차분 신호에 대한 예측 신호를 생성하는 예측 신호 생성 처리와,
상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 처리와,
상기 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 처리를 컴퓨터에 실행시키고,
상기 주파수 특성 관련 정보는 상기 재생 화상의 주파수 특성과 상기 참조 화상의 주파수 특성의 상대 관계를 나타내는 정보를 나타내고,
상기 예측 신호 생성 처리는 상기 주파수 특성 관련 정보에 기초하여, 복호의 대상이 되는 대상 화상의 주파수 특성에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.
동화상 부호화 장치에 있어서,
동화상을 구성하는 복수의 화상 중 부호화의 대상이 되는 대상 화상을 입력하는 입력 수단과,
상기 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납하는 격납 수단과,
상기 대상 화상의 대역과 상기 참조 화상의 대역을 측정하여, 상기 대상 화상의 대역과 상기 참조 화상의 대역의 상대 관계를 나타내는 정보를 나타내는 대역 관련 정보를 생성하는 대역 분석 수단과,
상기 대역 관련 정보에 기초하여, 상기 대상 화상의 대역에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 예측 신호 생성 수단과,
상기 대상 화상과 상기 예측 신호의 차분을 구하여 차분 신호를 생성하는 차분 수단과,
상기 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 수단과,
상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 수단과,
상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하여, 상기 재생 화상을 격납하는 상기 격납 수단이 후단에 접속하는 가산 수단과,
적어도 상기 부호화 차분 신호와 상기 대역 관련 정보를 출력하는 출력 수단을 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
동화상 복호 장치에 있어서,
동화상을 예측 부호화하여 얻어지는 부호화 차분 신호와 대역 관련 정보를 포함하는 압축 데이터를 입력하는 입력 수단과,
상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 수단과,
상기 복호 차분 신호에 대한 예측 신호를 생성하는 예측 신호 생성 수단과,
상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 수단과,
상기 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납하는 격납 수단을 구비하고,
상기 대역 관련 정보는 상기 재생 화상의 대역과 상기 참조 화상의 대역의 상대 관계를 나타내는 정보를 나타내고,
상기 예측 신호 생성 수단은 상기 대역 관련 정보에 기초하여, 복호의 대상이 되는 대상 화상의 대역에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것을 특징으로 하는, 동화상 복호 장치.
동화상 부호화 방법에 있어서,
동화상을 구성하는 복수의 화상 중 부호화의 대상이 되는 대상 화상을 입력하는 입력 스텝과,
상기 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 스텝과,
상기 대상 화상의 대역과 상기 참조 화상의 대역을 측정하여, 상기 대상 화상의 대역과 상기 참조 화상의 대역의 상대 관계를 나타내는 정보를 나타내는 대역 관련 정보를 생성하는 대역 분석 스텝과,
상기 대역 관련 정보에 기초하여, 상기 대상 화상의 대역에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 예측 신호 생성 스텝과,
상기 대상 화상과 상기 예측 신호의 차분을 구하여 차분 신호를 생성하는 차분 스텝과,
상기 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 스텝과,
상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 스텝과,
상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 스텝과
상기 재생 화상을 상기 격납 수단에 격납시키는 격납 스텝과,
적어도 상기 부호화 차분 신호와 상기 대역 관련 정보를 출력하는 출력 스텝을 포함하는 것을 특징으로 하는, 동화상 부호화 방법.
동화상 복호 방법에 있어서,
동화상을 예측 부호화하여 얻어지는 부호화 차분 신호와 대역 관련 정보를 포함하는 압축 데이터를 입력하는 입력 스텝과,
상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 스텝과,
상기 복호 차분 신호에 대한 예측 신호를 생성하는 예측 신호 생성 스텝과,
상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 스텝과,
상기 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 스텝을 포함하고,
상기 대역 관련 정보는 상기 재생 화상의 대역과 상기 참조 화상의 대역의 상대 관계를 나타내는 정보를 나타내고,
상기 예측 신호 생성 스텝은 상기 대역 관련 정보에 기초하여, 복호의 대상이 되는 대상 화상의 대역에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것을 특징으로 하는, 동화상 복호 방법.
동화상을 부호화하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 프로그램은,
동화상을 구성하는 복수의 화상 중 부호화의 대상이 되는 대상 화상을 입력하는 입력 처리와,
상기 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 처리와,
상기 대상 화상의 대역과 상기 참조 화상의 대역을 측정하여, 상기 대상 화상의 대역과 상기 참조 화상의 대역의 상대 관계를 나타내는 대역 관련 정보를 생성하는 대역 분석 처리와,
상기 대역 관련 정보에 기초하여, 상기 대상 화상의 대역에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 예측 신호 생성 처리와,
상기 대상 화상과 상기 예측 신호의 차분을 구하여 차분 신호를 생성하는 차분 처리와,
상기 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 처리와,
상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 처리와,
상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 처리와,
상기 재생 화상을 상기 격납 수단에 격납시키는 격납 처리와,
적어도 상기 부호화 차분 신호와 상기 대역 관련 정보를 출력하는 출력 처리를 컴퓨터에 실행시키는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.
동화상을 복호하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 프로그램은,
동화상을 예측 부호화하여 얻어지는 부호화 차분 신호와 대역 관련 정보를 포함하는 압축 데이터를 입력하는 입력 처리와,
상기 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 처리와,
상기 복호 차분 신호에 대한 예측 신호를 생성하는 예측 신호 생성 처리와,
상기 복호 차분 신호에 상기 예측 신호를 가산하여 재생 화상을 생성하는 가산 처리와,
상기 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납 수단에 격납시키는 격납 처리를 컴퓨터에 실행시키고,
상기 대역 관련 정보는 상기 재생 화상의 대역과 상기 참조 화상의 대역의 상대 관계를 나타내는 정보를 나타내고,
상기 예측 신호 생성 처리는 상기 대역 관련 정보에 기초하여, 복호의 대상이 되는 대상 화상의 대역에 맞도록 상기 참조 화상으로부터 상기 예측 신호를 생성하는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.
동화상 부호화 장치에 있어서,
동화상을 구성하는 복수의 화상으로부터 부호화의 대상이 되는 대상 화상을 입력하는 입력 수단과,
상기 입력 수단에 의해 입력된 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납하는 격납 수단과,
상기 입력 수단에 의해 입력된 대상 화상의 공간 주파수 성분의 진폭 및 상기 격납 수단에 격납되어 있는 참조 화상의 공간 주파수 성분의 진폭에 기초하여, 상기 대상 화상의 공간 주파수 성분의 진폭과 상기 참조 화상의 공간 주파수 성분의 진폭의 차를 조정하기 위한 공간 주파수 진폭 관련 정보를 생성하는 공간 주파수 진폭 분석 수단과,
공간 주파수 진폭 분석 수단에 생성된 공간 주파수 진폭 관련 정보에 기초하여 상기 참조 화상의 공간 주파수 성분의 진폭을 조정하고, 상기 조정된 참조 화상에 기초하여 상기 대상 화상에 대한 예측 신호를 생성하는 예측 신호 생성 수단과,
상기 입력 수단에 의해 입력된 대상 화상과 상기 예측 신호 생성 수단에 의해 생성된 예측 신호의 차분에 기초하여 차분 신호를 생성하는 차분 수단과,
상기 차분 수단에 의해 생성된 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 수단과,
상기 부호화 수단에 의해 부호화된 부호화 차분 신호 및 상기 공간 주파수 진폭 분석 수단에 의해 생성된 공간 주파수 진폭 관련 정보를 출력하는 출력 수단과,
상기 부호화 수단에 의해 생성된 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 수단과,
상기 복호 수단에 의해 생성된 복호 차분 신호에 상기 예측 신호 생성 수단에 의해 생성된 예측 신호를 가산하여 재생 화상을 생성하고, 생성한 재생 화상을 참조 화상으로서 상기 격납 수단에 격납시키는 재생 화상 생성 수단을 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
제 20 항에 있어서,
상기 공간 주파수 진폭 분석 수단은 상기 공간 주파수 진폭 관련 정보의 생성에 필요한 정보를 외부로부터 입력하는 외부 입력 수단을 더욱 구비하고,
상기 공간 주파수 진폭 분석 수단은 상기 대상 화상의 공간 주파수 성분의 진폭 및 상기 참조 화상의 공간 주파수 성분의 진폭에 상기 외부 입력 수단으로부터 입력된 정보를 첨가하여 공간 주파수 진폭 관련 정보를 생성하는 것을 특징으로 하는, 동화상 부호화 장치.
제 20 항 또는 제 21 항에 있어서,
상기 공간 주파수 분석 수단은 대상 화상의 공간 주파수 성분에 따라서 정해진 조정 파라미터에 기초하여 상기 공간 주파수 진폭 관련 정보를 조정하고, 조정한 공간 주파수 진폭 관련 정보 및 조정 파라미터를 공간 주파수 진폭 관련 정보로서 생성하는 것을 특징으로 하는, 동화상 부호화 장치.
동화상 복호 장치에 있어서,
복호를 위한 참조 화상인 재생 화상을 격납하는 격납 수단과,
동화상을 예측 부호화하여 얻어지는 부호화 차분 신호 및 화상의 공간 주파수 진폭 관련 정보를 포함하는 부호화 데이터를 입력하는 입력 수단과,
상기 입력 수단에 의해 입력된 부호화 데이터로부터 공간 주파수 진폭 관련 정보 및 부호화 차분 신호를 추출하는 추출 수단과,
상기 추출 수단에 의해 추출된 공간 주파수 진폭 관련 정보에 기초하여, 상기 격납 수단에 격납되어 있는 재생 화상의 진폭을 조정하여, 예측 신호를 생성하는 예측 신호 생성 수단과,
상기 추출 수단에 의해 추출된 부호화 차분 신호를 복호하여 복호 차분 신호를 취득하는 복호 수단과,
상기 예측 신호 생성 수단에 의해 생성된 예측 신호를, 상기 복호 수단에 의해 취득된 복호 차분 신호에 가산하여 재생 화상을 생성하는 가산 수단과,
상기 가산 수단에 의해 취득된 재생 화상을 출력 단자 및 상기 격납 수단에 출력하는 출력 수단을 구비하는, 동화상 복호 장치.
제 23 항에 있어서,
상기 입력 수단은 공간 주파수 진폭 관련 정보로서 조정된 공간 주파수 관련 정보 및 조정 파라미터를 입력하고, 상기 예측 신호 생성 수단은 상기 입력 수단에 의해 입력된 공간 주파수 진폭 관련 정보 및 조정 파라미터에 기초하여 예측 신호를 생성하는 것을 특징으로 하는, 동화상 복호 장치.
동화상 부호화 방법에 있어서,
동화상을 구성하는 복수의 화상으로부터 부호화의 대상이 되는 대상 화상을 입력하는 입력 스텝과,
상기 입력 스텝에 의해 입력된 대상 화상의 공간 주파수 성분의 진폭 및 상기 입력 스텝에 의해 입력된 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상의 공간 주파수 성분의 진폭에 기초하여, 상기 대상 화상의 공간 주파수 성분의 진폭과 상기 참조 화상의 공간 주파수 성분의 진폭의 차를 조정하기 위한 공간 주파수 진폭 관련 정보를 생성하는 공간 주파수 진폭 분석 스텝과,
상기 공간 주파수 진폭 분석 스텝에 생성된 공간 주파수 진폭 관련 정보에 기초하여 상기 참조 화상의 공간 주파수 성분의 진폭을 조정하고, 상기 조정된 참조 화상에 기초하여 상기 대상 화상에 대한 예측 신호를 생성하는 예측 신호 생성 스텝과,
상기 입력 스텝에 의해 입력된 대상 화상과 상기 예측 신호 생성 스텝에 의해 생성된 예측 신호의 차분에 기초하여 차분 신호를 생성하는 차분 스텝과,
상기 차분 스텝에 의해 생성된 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 스텝과,
상기 부호화 스텝에 의해 부호화된 부호화 차분 신호 및 상기 공간 주파수 진폭 분석 스텝에 의해 생성된 공간 주파수 진폭 관련 정보를 출력하는 출력 스텝과,
상기 부호화 스텝에 의해 생성된 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 스텝과,
상기 복호 스텝에 의해 생성된 복호 차분 신호에 상기 예측 신호 생성 스텝에 의해 생성된 예측 신호를 가산하여 재생 화상을 생성하고, 생성한 재생 화상을 참조 화상으로서 격납시키는 재생 화상 생성 스텝을 구비하는 것을 특징으로 하는, 동화상 부호화 방법.
동화상 복호 방법에 있어서,
동화상을 예측 부호화하여 얻어지는 부호화 차분 신호 및 화상의 공간 주파수 진폭 관련 정보를 포함하는 부호화 데이터를 입력하는 입력 스텝과,
상기 입력 스텝에 의해 입력된 부호화 데이터로부터 공간 주파수 진폭 관련 정보 및 부호화 차분 신호를 추출하는 추출 스텝과,
상기 추출 스텝에 의해 추출된 공간 주파수 진폭 관련 정보에 기초하여, 격납 수단에 참조 화상으로서 격납되어 있는 재생 화상의 진폭을 조정하여, 예측 신호를 생성하는 예측 신호 생성 스텝과,
상기 추출 스텝에 의해 추출된 부호화 차분 신호를 복호하여 복호 차분 신호를 취득하는 복호 스텝과,
상기 예측 신호 생성 스텝에 의해 생성된 예측 신호를, 상기 복호 스텝에 의해 취득된 복호 차분 신호에 가산하여 재생 화상을 생성하는 가산 스텝과,
상기 가산 스텝에 의해 취득된 재생 화상을 출력 단자 및 복호를 위한 재생 화상을 격납하는 격납 수단에 출력하는 출력 스텝을 구비하는, 동화상 복호 방법.
동화상을 부호화하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 프로그램은,
동화상을 구성하는 복수의 화상으로부터 부호화의 대상이 되는 대상 화상을 입력하는 입력 모듈과,
상기 입력 모듈에 의해 입력된 대상 화상에 대한 예측 신호를 생성하기 위해서 사용되는 참조 화상을 격납하는 격납 모듈과,
상기 입력 모듈에 의해 입력된 대상 화상의 공간 주파수 성분의 진폭 및 상기 격납 모듈에 격납되어 있는 참조 화상의 공간 주파수 성분의 진폭에 기초하여, 상기 대상 화상의 공간 주파수 성분의 진폭과 상기 참조 화상의 공간 주파수 성분의 진폭의 차를 조정하기 위한 공간 주파수 진폭 관련 정보를 생성하는 공간 주파수 진폭 분석 모듈과,
공간 주파수 진폭 분석 모듈에 생성된 공간 주파수 진폭 관련 정보에 기초하여 상기 참조 화상의 공간 주파수 성분의 진폭을 조정하고, 상기 조정된 상기 참조 화상에 기초하여 상기 대상 화상에 대한 예측 신호를 생성하는 예측 신호 생성 모듈과,
상기 입력 모듈에 의해 입력된 대상 화상과 상기 예측 신호 생성 모듈에 의해 생성된 예측 신호의 차분에 기초하여 차분 신호를 생성하는 차분 모듈과,
상기 차분 모듈에 의해 생성된 차분 신호를 부호화하여 부호화 차분 신호를 생성하는 부호화 모듈과,
상기 부호화 모듈에 의해 생성된 부호화 차분 신호를 복호하여 복호 차분 신호를 생성하는 복호 모듈과,
상기 복호 모듈에 의해 생성된 복호 차분 신호에 상기 예측 신호 생성 모듈에 의해 생성된 예측 신호를 가산하여 재생 화상을 생성하고, 생성한 재생 화상을 참조 화상으로서 상기 격납 모듈에 격납시키는 재생 화상 생성 모듈과,
상기 부호화 모듈에 의해 부호화된 부호화 차분 신호 및 상기 공간 주파수 진폭 분석 모듈에 의해 생성된 공간 주파수 진폭 관련 정보를 출력하는 출력 모듈을 구비하는 것을 특징으로 하는, 컴퓨터 판독 가능한 기록 매체.
동화상을 복호하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체에 있어서, 상기 프로그램은,
복호를 위한 참조 화상으로서 재생 화상을 격납하는 격납 모듈과,
동화상을 예측 부호화하여 얻어지는 부호화 차분 신호 및 화상의 공간 주파수 진폭 관련 정보를 포함하는 부호화 데이터를 입력하는 입력 모듈과,
상기 입력 모듈에 의해 입력된 부호화 데이터로부터 공간 주파수 진폭 관련 정보 및 부호화 차분 신호를 추출하는 추출 모듈과,
상기 추출 모듈에 의해 추출된 공간 주파수 진폭 관련 정보에 기초하여, 상기 격납 모듈에 격납되어 있는 재생 화상의 진폭을 조정하여, 예측 신호를 생성하는 예측 신호 생성 모듈과,
상기 추출 모듈에 의해 추출된 부호화 차분 신호를 복호하여 복호 차분 신호를 취득하는 복호 모듈과,
상기 예측 신호 생성 모듈에 의해 생성된 예측 신호를, 상기 복호 모듈에 의해 취득된 복호 차분 신호에 가산하여 재생 화상을 생성하는 가산 모듈과,
상기 가산 모듈에 의해 취득된 재생 화상을 출력 단자 및 상기 격납 모듈에 출력하는 출력 모듈을 구비하는, 컴퓨터 판독 가능한 기록 매체.