JP4545980B2 - 符号化装置及び符号化方法並びに記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データを符号化する符号化装置及び符号化方法並びに記憶媒体に関するものである。
【０００２】
【従来の技術】
昨今、パソコンやモバイル端末の普及により、インターネットを介したデジタルデータの通信（データ通信）が幅広く行われるようになった。データ通信において流通するデジタルデータのひとつに動画像がある。動画像はデータ量が大きいため、送信される前に動画像中の静止画像とそれに付随する音声（フレーム）を単位として符号化され、動画像のデータ量は小さくされる。
【０００３】
このような動画像データの符号化方法として、動画像データ中の画像データを符号化することで得られる画像符号化データの復号が進むにつれて、復号画像の精細さが向上していく機能（スケーラビリティ）を画像符号化データに持たせる、画像データの符号化方法はあった。
【０００４】
【発明が解決しようとする課題】
しかし従来の画像データの符号化方法では、スケーラビリティ機能を有する画像符号化データの符号長によっては、１フレームの画像の再生時間内にこの画像符号化データを復号することができないことがあった。
【０００５】
本発明は以上の従来の問題点に対して鑑みたものであり、要求された基準となる符号長に応じて、画像符号化データの符号化長を固定長化する符号化装置及び符号化方法並びに記憶媒体を提供しようとするものである。
【０００６】
特に、階層符号化を行うことが可能な状況において、多種の復号再生速度／時間に対応できる様な、符号化データを生成する技術、或いは、これを多種の復号再生速度／時間に対応して復号化する技術を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の目的を達成するため、例えば本発明の符号化装置は以下の構成を備える。すなわち、
画像データを符号化する符号化装置であって、
入力した画像データに対して離散ウェーブレット変換を行うことで、複数個の周波数サブバンドの変換係数を生成する変換手段と、
前記サブバンドの各々をエントロピー符号化し、各サブバンド毎に符号化データを生成する符号化手段と、
前記各サブバンドにおける所定のサブバンドの符号化データ量を監視し、該所定のサブバンドの符号化データ量が所定符号長を越える場合には、前記所定のサブバンドの当該所定符号長を越えた部分に含まれる符号化データを除去し、前記所定符号長に満たない場合には前記所定のサブバンドの符号化データにダミーデータを付加することで前記所定符号長となる固定長符号化データを生成する生成手段とを備え、
前記所定のサブバンドは少なくとも最低周波数のサブバンドを含み、
前記生成手段は、少なくとも前記最低周波数のサブバンドについて固定長の符号化データを生成することを特徴とする。
【０００８】
また、他の符号化装置は、以下の構成を備える。すなわち、
動画像を構成する各フレームの画像データを符号化する符号化装置であって、
入力した画像データに対して離散ウェーブレット変換を行うことで、複数個の周波数サブバンドの変換係数を生成する変換手段と、
前記サブバンドの各々をエントロピー符号化し、各サブバンド毎の符号化データを生成する符号化手段と、
前記各サブバンドにおける所定のサブバンドの符号化データ量を監視し、該所定のサブバンドの符号化データ量が所定符号長を越える場合には、当該所定のサブバンドの前記所定符号長を越えた部分に含まれる符号化データを除去し、前記所定符号長に満たない場合には前記所定のサブバンドの符号化データにダミーデータを付加することで前記所定符号長となる固定長符号化データを生成する生成手段とを備え、
前記所定のサブバンドは少なくとも最低周波数のサブバンドを含み、
前記生成手段は、少なくとも前記最低周波数のサブバンドについて固定長の符号化データを生成することを特徴とする。
【０００９】
【発明の実施の形態】
以下添付図面に従って、本発明を好適な実施の形態に従って詳細に説明する。
【００１０】
［第１の実施の形態］
本実施の形態において、符号化が行われる対象となる動画像には複数のフレームがあるものとする。フレームとは、動画像における１枚の静止画像と、その静止画像が映し出されている時間（表示時間）に流れる音声のことである。従ってフレームのデータ（フレームデータ）は、１枚の静止画像のデータ（画像データ）と音声のデータ（音声データ）から構成されている。またフレームデータを符号化しフレーム符号化データを生成するということは、画像データと音声データのそれぞれを符号化し、画像符号化データと音声符号化データを生成することである。なお一般的に画質の低下より音質の低下の方が目立つ。
【００１１】
そこで本実施の形態において音声データの符号化には、符号化することで情報欠損が生じない可逆符号化方式を用いる。
【００１２】
またフレーム符号化データを復号する装置（復号装置）に１つのフレーム符号化データが入力されると、フレーム符号化データは画像符号化データと音声符号化データに分離される。その際、フレーム符号化データ毎に画像符号化データの符号長が異なる場合、符号化装置は、各フレームにおいて音声符号化データの始まりを検索し、画像符号化データの符号長を認識してから分離を行う。これでは時間がかかる。よって、より高速な画像符号化データと音声符号化データの分離が望まれる。これは、全てのフレームデータにおける画像符号化データの符号長の固定化（画像符号化データの固定長化）により達成される。
【００１３】
又、画像符号化データの固定長化により、復号対象の画像符号化データが入力された画像符号化データの一部分となり、その一部分の画像符号化データの復号（部分復号）が行われる場合も生じる。
【００１４】
しかし部分復号といえども、全ての画像符号化データの復号（完全復号）で得られる画像（完全復号画像）の概形は表示される必要はある。これは、符号化時に画像データの低周波サブバンドを再帰的に離散ウェーブレット変換して画像符号化データを生成し、復号時にその画像符号化データを最低周波サブバンドから高周波サブバンドに向かって順に部分復号し、表示することで達成される。
【００１５】
上述の条件を満たす画像符号化データを生成し、その画像符号化データと音声符号化データからフレーム符号化データを生成する符号化装置及び符号化方法を以下に示す。
【００１６】
図１Ａは、本実施の形態における符号化装置の構成を示したブロック図である。
【００１７】
同図において１０１はフレームデータ符号化部、１０２は指定画像符号化データ符号長入力部である。
【００１８】
フレームデータ符号化部１０１は、本実施の形態における符号化装置に入力されたフレームデータを符号化する。また指定画像符号化データ符号長入力部１０２には、固定長化される画像符号化データの符号長が入力される。なお、この入力する符号長は前述の通り、復号装置が各フレームデータを再生する時間内に、部分復号でもフレーム符号化データに含まれる画像の（ユーザが予め決めた程度の）概形が表示可能な程度のものとする。
【００１９】
フレームデータ符号化部１０１の構成を図１Ｂに示すと共に、図１Ｂにおける画像データ符号化部１０６の構成を図１Ｃ、図１Ｂにおける音声データ符号化部１０５の構成を図１Ｄに示す。また、フレームデータ符号化部１０１における後述のフレーム符号化データの生成の処理のフローチャートを図１４に示し、同図を用いて説明する。
【００２０】
まず図２に示されているような、画像データと音声データから構成されるフレームデータが、フレームデータ入力部１０３から入力され、フレームデータ分離部１０４に出力される（ステップＳ１４０１）。このフレームデータ入力部１０３は、例えばデジタルビデオカメラ、デジタルスチルカメラ等の撮像装置、或いはＣＣＤなどの撮像デバイス、或いはネットワーク回線のインターフェース等が用いられる。また、フレームデータ入力部１０３はＲＡＭ、ＲＯＭ、ハードディスク、ＣＤ−ＲＯＭ等の記録媒体であっても良い。
【００２１】
なお、符号化対象の動画像中における複数のフレームデータは１つずつ、フレームデータ入力部１０３に入力されるものとする。またフレームデータ入力部１０３以降の処理は、フレームデータ毎、独立に行われるものとする。
【００２２】
フレームデータ分離部１０４に入力されたフレームデータは、図３に示されているように、音声データと画像データに分離される（ステップＳ１４０２）。そして音声データは音声データ符号化部１０５、画像データは画像データ符号化部１０６に入力される。
【００２３】
画像データ符号化部１０６に入力された画像データは、後述の処理により符号化が行われ、画像符号化データとなる（ステップＳ１４０３）。そして画像符号化データは、フレーム符号化データ生成部１０７に入力される。
【００２４】
音声データ符号化部１０５に入力された音声データは、後述する各部において可逆符号化方式で符号化が行われ、音声符号化データとなる（ステップＳ１４０４）。そして音声符号化データは、フレーム符号化データ生成部１０７に入力される。
【００２５】
フレーム符号化データ生成部１０７に音声符号化データと画像符号化データが入力されると、ヘッダが生成される（ステップＳ１４０５）。なおヘッダには、画像入力部１０９に入力された画像データのサイズ、画像データが２値画像であるか多値画像であるかを示すタイプなどの情報、画像符号化データの長さ、音声符号化データの長さ、並びに送信する符号化装置を示す文字列、送信日時、等が書き込まれる。画像符号化データが後述する調整ビットを含んでいる場合、調整ビットの符号長も書き込まれる。そして図４に示されているように、ヘッダ、音声符号化データそれと画像符号化データからフレーム符号化データが生成される（ステップＳ１４０６）。
【００２６】
フレーム符号化データ送信部１０８では、入力されたフレーム符号化データが外部へ送信される（ステップＳ１４０７）。このフレーム符号化データ送信部１０８には、公衆回線、無線回線、ＬＡＮ等のインターフェースを用いることができる。
【００２７】
以下、ステップＳ１４０３における画像データ符号化部１０６における、画像データの符号化の処理のフローチャートを図１５に示し、同図を用いて説明する。
【００２８】
本実施の形態におけるフレーム中の符号化対象となる画像データは、８ビットのモノクロ画像データとする。しかしながら、各画素４ビット、１０ビット、１２ビットといった具合に８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラーの多値画像データである場合に適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロ画像データとすればよい。
【００２９】
まず、画像データ入力部１０９から符号化対象となる画像データを構成する画素データがラスタースキャン順に入力され、離散ウェーブレット変換部１１０に出力される。この画像データ入力部１０９は、例えばスキャナ、デジタルカメラ等の撮像装置、或いはＣＣＤなどの撮像デバイス、或いはネットワーク回線のインターフェース等が用いられる。また、画像データ入力部１０９はＲＡＭ、ＲＯＭ、ハードディスク、ＣＤ−ＲＯＭ等の記録媒体であっても良い。
【００３０】
離散ウェーブレット変換部１１０は、画像データ入力部１０９から入力される１つの静止画像分の画像データx(n)における複数の画素（参照画素）のデータ（参照画素データ）を用いて離散ウェーブレット変換を行う（ステップＳ１５０１）。
【００３１】
以下に、離散ウェーブレット変換後の画像データ（離散ウェーブレット変換係数）を示す。
【００３２】
r(n) = floor{ (x(2n)+x(2n+1))/2 }
d(n) = x(2n+2)-x(2n+3)+floor{ (-r(n)+r(n+2)+2)/4 }
r(n)、d(n)は離散ウェーブレット変換係数列であり、r(n)は低周波サブバンド、d(n)は高周波サブバンドである。また、上式においてfloor{X}はXを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図５である。
【００３３】
本変換式は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図６（ａ）の様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じ様に４つのサブバンドに分け（図６（ｂ））、その中のＬＬサブバンドをまた４サブバンドに分ける（図６（ｃ））。合計１０サブバンドを作る。１０個のサブバンドそれぞれに対して、図６（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶことにする。ここで、各サブバンドの名称における数字を、それぞれのサブバンドのレベルとする。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２である。なおＬＬサブバンドは、レベル０のサブバンドとする。ＬＬサブバンドはひとつしかないので添字を付けない。またレベル０からレベルｎまでのサブバンドを復号することで得られる復号画像を、レベルｎの復号画像と呼ぶ。復号画像は、そのレベルが高い程解像度は高い。つまり上述の通りに離散ウェーブレット変換された画像データは、部分復号により原画像の概形を表示できる。
【００３４】
１０個のサブバンドの変換係数は、いったんバッファ１１１に格納されＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部１１２へ出力される。
【００３５】
係数量子化部１１２では、バッファ１１１から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部１１３へ出力する（ステップＳ１５０２）。
係数値をX、この係数の属する周波数成分に対する量子化ステップの値をqとするとき、量子化後の係数値Q(X)は次式によって求めるものとする。
【００３６】
Q(X)=floor{(X/q)+0.5}
本実施の形態における各周波数成分と量子化ステップとの対応を図７に示す。
同図に示す様に、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部１１３へ出力する。
【００３７】
エントロピー符号化部１１３では、入力された係数量子化値を算術符号化によりエントロピー符号化し、エントロピー符号化値を生成する（ステップＳ１５０３）。そのエントロピー符号化値は、画像符号化データ生成部Ａ１１４に出力される。画像符号化データ生成部Ａ１１４に入力されたエントロピー符号化値は図８に示されているようにサブバンド単位で並べられ、準画像符号化データが生成される（ステップＳ１５０４）。
【００３８】
また生成された準画像符号化データは、下記の通り固定長化され、画像符号化データとなる。
【００３９】
準画像符号化データの符号長が、指定画像符号化データ符号長入力部１０２で指定された符号長より長い場合（ステップＳ１５０５）、指定された符号長になるように解像度レベルが高いサブバンドから、又、同一レベル内においては、ＨＨ、ＬＨ、ＨＬの順に、つまり図９に示されているように準画像符号化データの後方から、サブバンド単位でエントロピー符号化値を削除する（ステップＳ１５０６）。このサブバンド単位でのエントロピー符号化値の削除では、図１０に示されているような、サブバンド内の符号の各桁から構成されるビットプレーンが定義され、最下位のビットプレーンから優先的に削除されていく。
【００４０】
一方、準画像符号化データの符号長が指定された符号長より短い場合（ステップＳ１５０５）、図１１に示されているように、ビット“０”から構成される調整ビットがＨＨ３サブバンドの後に付加される（ステップＳ１５０７）。また準画像符号化データを復号する際、調整ビットは復号されない。したがって、復号装置が、調整ビットが付加されている画像符号化データを正しく復号できるために、前述の通り、ヘッダにはこの調整ビットの符号長が書き込まれる（ステップＳ１５０８）。
【００４１】
上述のように生成された画像符号化データは、画像符号化データ出力部１１５からフレーム符号化データ生成部１０７に出力される（ステップＳ１５０９）。
【００４２】
一方、ステップＳ１４０４における音声データ符号化部１０５における、音声データの符号化の処理のフローチャートを図１６に示し、同図を用いて説明する。
【００４３】
本実施の形態におけるフレーム中の符号化対象となる音声データは、音声データ入力部１１６から入力され、離散ウェーブレット変換部Ｂ１１７に出力される。
【００４４】
離散ウェーブレット変換部Ｂ１１７では、音声データ入力部１１６から入力される音声データに対して離散ウェーブレット変換を行い、音声符号化データを生成する（ステップＳ１６０１）。
【００４５】
離散ウェーブレット変換部Ｂ１１７で生成された音声符号化データは、音声符号化データ出力部１１８に出力され、音声符号化データ出力部１１８からフレーム符号化データ生成部１０７に出力される（ステップＳ１６０２）。
【００４６】
又、上述のフローチャートに従ったプログラムコードはＲＡＭやＲＯＭなどのメモリに格納され、ＣＰＵにより読み出されて実行されるものとする。
【００４７】
以上説明したように、本実施の形態における符号化装置及び符号化方法は、フレームデータ中の画像データに対して符号化を行う際に、離散ウェーブレット変換を用いて画像符号化データを生成し、各フレーム符号化データ中の画像符号化データを固定長化する。その結果、１つのフレームデータの再生時間内に画像符号化データの部分復号でも原画像の概形は表示される。また、画像復号データを固定長化することで、復号にかかる時間は短縮化されたことから、部分復号後、直ちに音声符号化データの復号開始することが可能となる。
【００４８】
［第２の実施の形態］
フレーム符号化データを復号し、復号した画像データを表示する際、各フレームの画像の概形だけを少なくとも第１の実施の形態における画像データの復号、表示よりも高速にすることが要求されることがある。その場合、各画像符号化データのＬＬサブバンドだけを復号、表示すればよい。各画像符号化データのＬＬサブバンドの第１の実施の形態よりも高速な復号、表示には、各画像符号化データのＬＬサブバンドを過不足なく、所定のバッファに１回で取り出すことが必要である。それは各画像符号化データにおけるＬＬサブバンドが所定の符号長に固定長化されていれば達成される。本実施の形態では、各画像符号化データのＬＬサブバンドの成分が固定長化されるように、各画像データを符号化する符号化装置及び符号化方法を示す。
【００４９】
本実施の形態における符号化装置の構成を示すブロック図を図１２に示す。本実施の形態における符号化装置は、図１Ｃに示した第１の実施の形態での画像データ符号化部１０６を構成する画像符号化データ生成部Ａ１１４を画像符号化データ生成部Ｂ１２０１に置換したものである。それ以外の本実施の形態における符号化装置の各部及びその動作は第１の実施の形態における同装置と同じである。
【００５０】
第１の実施の形態と同様に係数量子化部１１２から入力した係数量子化値に基づいてエントロピー符号化部１１３で生成されたエントロピー符号化値は、画像符号化データ生成部Ｂ１２０１に入力され、第１の実施の形態と同様に、図８に示されているような準画像符号化データが生成される。
【００５１】
準画像符号化データ中のＬＬサブバンドの符号長が、指定画像符号化データ符号長入力部１０２により指定された符号長より長い場合、ＬＬサブバンドを構成するビットプレーンのうち、最下位のビットプレーンのビットから優先的に削除されてく。
【００５２】
一方、準画像符号化データ中のＬＬサブバンドの符号長が、指定画像符号化データ符号長入力部１０２により指定された符号長より短い場合、第１の実施の形態において説明した調整ビットがＬＬサブバンドの後に付加される。その結果、すべての画像符号化データに含まれるＬＬサブバンドの符号長はすべて（指定画像符号化データ符号長入力部１０２により指定された符号長と）等しくなり、固定長化される。
【００５３】
以上のようにして画像符号化データは生成され、画像符号化データ出力部１１５に入力される。そしてそれ以降の各処理は第１の実施の形態と同じである。
【００５４】
なお、指定画像符号化データ符号長入力部１０２により指定されるＬＬサブバンドの符号長は、各フレームの画像の概形だけを少なくとも第１の実施の形態における画像データの復号、表示よりも高速にすることが可能な程度のものとする。
【００５５】
なお、本実施の形態におけるフレーム符号化データ、音声符号化データの生成のフローチャートはそれぞれ図１４、１６と同じであるが、画像符号化データの生成のフローチャートは図１５において以下の各ステップにおける処理の変更を行ったフローチャートとなる。
【００５６】
まず、ステップＳ１５０５における処理を、指定された符号長とＬＬサブバンドの符号長との比較を行う処理とする。そして、ＬＬサブバンドの符号長が指定された符号長よりも長い場合には、ステップＳ１５０６における処理を、ＬＬサブバンドを構成するビットプレーンのうち、最下位ビットプレーンからビットが削除される処理とする。
【００５７】
一方、ＬＬサブバンドの符号長が指定された符号長よりも短い場合には、ステップＳ１５０７における処理を調整ビットをＬＬサブバンドに付加する処理とする。
【００５８】
又、上述のフローチャートに従ったプログラムコードはＲＡＭやＲＯＭなどのメモリに格納され、ＣＰＵにより読み出されて実行されるものとする。
【００５９】
なお、本実施の形態はＬＬサブバンドの固定長化を行う場合について説明したが、本発明はこれに限らない。例えば、ＬＬとＬＨ１とＨＬ１とＨＨ１の４つ分を低周波のサブバンドであると見なしてこれら４つの合計を上述した方法で固定長となる様にしても、本実施の形態の目的は果たされる。
【００６０】
以上説明したように、第２の実施の形態における符号化装置及び符号化方法は、各画像符号化データ中のＬＬサブバンドのみを固定長化することで、各フレームの画像の概形（低周波成分に相当する画像）だけを少なくとも第１の実施の形態における画像データの復号、表示よりも高速にすることができる。
【００６１】
［第３の実施の形態］
サーバ／クライアントモデルにおいて、サーバはクライアントが要求するデータを送信する。この送信において、サーバとクライアントを結ぶ回線のデータ転送能力が異なること等により、各クライアントがサーバに要求するデータ量は異なる。従って、各クライアントが要求するデータ量に対応して、サーバが蓄積するデータは、その一部もしくは全部が取り出される。なおデータの一部が取り出される場合、復号後意味があるデータが生成されるようなデータの単位（単位データ）で、データは取り出されなくてはならない。例えば離散ウェーブレット変換されている画像符号化データは、サブバンド単位で取り出されればよい。
【００６２】
また単位データが取り出される際、取り出す速度が重視される場合がある。例えば離散ウェーブレット変換されている画像符号化データは、各サブバンドが所定の符号長に固定長化されていれば（即ち、各フレームに属する同種／同周波数のサブバンドが同一の長さの符号化データであれば）、固定長化されていない場合よりも高速な取り出しは可能である。
【００６３】
本実施の形態では、サーバがサブバンド単位で画像データを高速に取り出せるように、フレームデータ中の画像データは離散ウェーブレット変換により複数のサブバンドに分割され、各サブバンドは固定長化する（即ち、各フレームに属する同種／同周波数のサブバンドが少なくとも固定長化される）符号化装置及び符号化方法を示す。
【００６４】
本実施の形態における符号化装置の構成を図１３に示す。本実施の形態における符号化装置は、図１Ｃに示した第１の実施の形態での画像データ符号化部１０６を構成する画像符号化データ生成部Ａ１１４を画像符号化データ生成部Ｃ１３０１に置換したものである。それ以外の本実施の形態における符号化装置の各部及びその動作は第１の実施の形態における同装置と同じである。
【００６５】
第１の実施の形態と同様に係数量子化部１１２から入力した係数量子化値に基づいてエントロピー符号化部１１３で生成されたエントロピー符号化値は、画像符号化データ生成部Ｃ１２０１に入力され、第１の実施の形態と同様に、図８に示されているような準画像符号化データが生成される。
【００６６】
準画像符号化データ中の各サブバンドの符号長が、その種類のサブバンドに対して指定された符号長より長い場合、各サブバンドを構成するビットプレーンのうち、最下位のビットプレーンのビットから優先的に削除することにより、その種類のサブバンドに予め決められた符号長に制限される。
【００６７】
具体的に言えば、例えばＬＬ、ＨＬ１、ＬＨ１、ＨＨ１、・・・、ＬＨ３、ＨＨ３の夫々に対して予め符号長が決められているということである。即ち、ある２つ（又はそれ以上）のフレームのＬＬ同士、ＬＨ１同士・・は夫々同一の符号長の符号化データで表現される様に制限される。
【００６８】
一方、準画像符号化データ中の各サブバンドの符号長が、指定された符号長より短い場合、調整ビットが各サブバンドの後に付加される。その結果、複数のフレームにおいて同種の各サブバンドの符号長はすべて（指定画像符号化データ符号長入力部１０２により指定された符号長と）等しく、固定長化される。このようにして画像符号化データは生成され、画像符号化データ出力部１１５に入力される。そしてそれ以降の各処理は第１の実施の形態と同じである。
【００６９】
なお、本実施の形態におけるフレーム符号化データ、音声符号化データの生成のフローチャートはそれぞれ図１４、１６と同じであるが、画像符号化データの生成のフローチャートは図１５において以下の各ステップにおける処理の変更を行ったフローチャートとなる。
【００７０】
まず、ステップＳ１５０５における処理を、指定された符号長と準画像符号化データ中の各サブバンドの符号長との比較を行う処理とする。そして、準画像符号化データ中の各サブバンドの符号長が指定された符号長よりも長い場合には、ステップＳ１５０６における処理を、各サブバンドを構成するビットプレーンのうち、最下位のビットプレーンのビットから削除される処理とする。
【００７１】
一方、準画像符号化データ中の各サブバンドの符号長が指定された符号長よりも短い場合には、ステップＳ１５０７における処理を調整ビットを各サブバンドに付加する処理とする。
【００７２】
又、上述のフローチャートに従ったプログラムコードはＲＡＭやＲＯＭなどのメモリに格納され、ＣＰＵにより読み出されて実行されるものとする。
【００７３】
以上説明したように、第３の実施の形態における符号化装置及び符号化方法は、フレーム符号化データに含まれる画像符号化データの各サブバンドの符号長を、少なくとも同種のサブバンド同士においてすべて等しく固定長化することで、固定長化しない場合よりも、例えばサーバがサブバンド単位で、より高速にデータを取り出すことができる。
【００７４】
なお、上記各サブバンドは、周波数レベルに応じて、係数の個数（サイズが）異なるので、少なくとも同種のサブバンド同士での符号長を同一とすることとして説明したが、本発明はこれに限らない。即ち、全てのフレームにおける、ＬＬ、ＨＬ１、ＬＨ１、ＨＨ１の４種類のサブバンドについては、同一の符号長となる様な符号化データで表現する様にしても良い。同じく、ＨＬ２、ＬＨ２、ＨＨ２の３種類のサブバンドについて同一の符号長となるような符号化データで表現する様にしても良い。同じく、ＨＬ３、ＬＨ３、ＨＨ３の３種類のサブバンドについて同一の符号長となるような符号化データで表現する様にしても良い。本発明は、複数のフレームの符号化データの夫々について、各サブバンドのデータが何処に有るかが理解できれば良いので、少なくとも各サブバンドの符号化データの“境界”が認識できるようになっていれば本発明の目的は達成される。
【００７５】
［第４の実施の形態］
フレーム符号化データを復号する際、各フレームの画像を表す符号化データ（複数のサブバンド）を解像度のレベル単位で取り出し、指定された解像度の画像を高速に表示することが要求されることがある。つまり、上記解像度のレベルとは、ウェーブレット変換後のサブバンドの状態で考えると、例えばレベル０＝＜ＬＬ＞、レベル１＝＜ＨＬ１、ＬＨ１、ＨＨ１＞、レベル２＝＜ＨＬ２、ＬＨ２、ＨＨ２＞、レベル３＝＜ＨＬ３、ＬＨ３、ＨＨ３＞という様に理解できる。
【００７６】
指定された解像度の画像の高速な復号には、各画像符号化データがレベル単位で過不足無く、作業用バッファに１回で取り出すことが必要である。それは各フレームの画像を表す画像符号化データがレベル単位で固定長化されていれば達成される。本実施の形態では、各画像符号化データはレベル単位で固定長化されるように、各画像データを符号化する符号化装置及び符号化方法を示す。
【００７７】
本実施の形態における符号化装置の構成を示すブロック図を図１７に示す。本実施の形態における符号化装置は、図１Ｃに示した第１の実施の形態での画像データ符号化部１０６を構成する画像符号化データ生成部Ａ１１４を画像符号化データ生成部Ｄ１７０１に置換したものである。それ以外の本実施の形態における符号化装置及びその動作は第１の実施の形態における同装置及びその動作と同じである。
【００７８】
第１の実施の形態と同様に係数量子化部１１２から入力した係数量子化値に基づいてエントロピ符号化部１１３で生成されたエントロピ符号化値は、画像符号化データ生成部Ｄ１７０１に入力され、第１の実施の形態と同様に、図８に示されているような準画像符号化データが生成される。
【００７９】
準画像符号化データ中の各レベルの符号長が、指定画像符号化データ符号長入力部１０２により各レベルに対して予め指定された符号長より長い場合、本実施の形態ではＨＨｎ、ＬＨｎ、ＨＬｎサブバンドの順に符号化データを削除／削減される。なお、これら各サブバンドの符号化データの削除／削減は、最下位ビットプレーンから優先的に削除されていく（レベル１以上の場合）。
【００８０】
同じく、一番低い周波数成分のサブバンドＬＬの符号化データを削除／削減する際（レベル０の場合）には、最下位ビットプレーンから優先的に削除されていく。
【００８１】
一方、準画像符号化データにおける各レベルのサブバンドの符号長が、指定画像符号化データ符号長入力部１０２により指定された符号長より短い場合、レベル１以上については、第１の実施の形態において説明した調整ビットが、各レベルのＨＨサブバンドの後に付加される。なお、レベル０については当然ＬＬの後に調整ビットが付加される。その結果、全てのフレームの画像符号化データに含まれる各レベル単位の符号長はすべて（指定画像符号化データ符号長入力部１０２により各レベルに対して指定された符号長と）等しくなり、固定長化される。
【００８２】
以上のようにして画像符号化データは生成され、画像符号化データ出力部１１５に入力される。そしてそれ以降の各処理は第１の実施の形態と同様である。
【００８３】
なお、本実施の形態におけるフレーム符号化データ、音声符号化データの生成のフローチャートは夫々図１４，１６と同じであるが、画像符号化データの生成のフローチャートは、図１５において処理の変更を行った図１８のフローチャートとなる。
【００８４】
まずステップＳ１５０５における処理を、指定された符号長と各レベルの符号長との比較を行う処理とする。そして、各サブバンドの符号長が指定された符号長よりも長い場合には、ステップＳ１５０６における処理を、各レベルにおいてＨＨ、ＬＨ、ＨＬの順（レベル０の時はＬＬのみ）に、更にサブバンド内においては最下位ビットプレーンからビットが削除／削減される処理とする。
【００８５】
一方、各レベルの符号長が指定された符号長よりも短い場合には、ステップＳ１５０７における処理を、調整ビットをＨＨサブバンドの後ろ（レベル０の時はＬＬの後ろ）に付加する処理とする。
【００８６】
更に、ステップＳ１５０５，Ｓ１５０６，Ｓ１５０７，Ｓ１５０８は、レベル数の繰り返し処理が行われる。
【００８７】
又、上述のフローチャートに従ったプログラムコードはＲＯＭやＲＡＭなどのメモリに格納され、ＣＰＵにより読み出され、実行するものとする。
【００８８】
以上説明したように、本実施の形態における符号化装置及び符号化方法は、各フレームを表す画像符号化データ中の各レベルを単位として符号長を固定長化することで、各フレームを指定された解像度で高速に表示することが可能となる。
【００８９】
［上記実施の形態の変形例］
全ての実施の形態において、各フレームデータの一部復号をより高速に行うためにも、各フレームデータの先頭アドレスをヘッダに書き込んでも構わない。
【００９０】
また、第２の実施の形態において、各画像符号化データの部分復号後に、より迅速に音声符号化データの復号のために、各フレーム符号化データの先頭アドレスがヘッダに書き込まれても構わない。
【００９１】
［第５の実施の形態］
本実施の形態では、第２の実施の形態の様に、各フレームにおける低周波成分に相当するＬＬサブバンドの符号化データを固定長化することにより、高速再生（１〜ｎ倍の速さのフレームレートでの動画像の再生）を効率よく行う場合を説明する。
【００９２】
フレーム復号装置は、通常の再生速度に対して任意の数倍の速さでの再生（任意倍速再生）を、行うことがある。その際、再生の為に必要となる符号化データが複数フレーム間で固定長化されていると、効率よく任意倍速再生を実行できる。なぜならば、該符号化データを作業領域に取り出すにあたり、該符号化データが固定長化されていない場合、フレーム復号装置はヘッダより該符号化データの先頭アドレスと符号長を入手する必要がある。しかしながら、該符号化データが固定長化されているならば、該符号化データの先頭アドレスのみを入手すれば、該符号化データを作業領域に読み出せるからである。
【００９３】
そこで本実施の形態では、任意倍速再生を効率よく行う上で必要となる符号化データの固定長化を行うフレーム符号化装置を示し、さらに該フレーム符号化装置により生成されたフレーム符号化データを効率よく任意倍速再生するフレーム復号装置を示す。
【００９４】
なお、本実施の形態において、フレーム間で固定長化されるデータ（単位データと呼ぶ）をＬＬサブバンドとする。なお、固定長の考え方については第２の実施の形態と同様である。
【００９５】
＜フレーム符号化装置＞
本実施の形態におけるフレーム符号化装置の構成を示すブロック図を図３６(c)に示す。
【００９６】
本実施の形態におけるフレーム符号化装置は、図１Ａに示した第１の実施の形態の符号化装置におけるフレームデータ符号化部１０１を、フレームデータ符号化部Ａ３６０７に置換したものである。この置換が行われる理由は、第１の実施の形態において、単位データは画像符号化データ全体であったが、本実施の形態における単位データはＬＬサブバンドだからである。指定画像符号化データ符号長入力部１０２における動作は、第１の実施の形態における同処理部の動作と同じである。
【００９７】
なお、本実施の形態では、上記単位データの符号長をターゲット符号長と呼ぶことにする。
【００９８】
図３６(a)は、本実施の形態におけるフレーム符号化装置中のフレームデータ符号化部Ａの構成を図示したものである。同図において１０３はフレームデータ入力部、１０４はフレームデータ分割部、１０５は音声データ符号化部、３６０１は画像データ符号化部Ａ、３６０６はフレーム符号化データ生成部Ａ、１０８はフレーム符号化データ出力部である。
【００９９】
本実施の形態におけるフレームデータ符号化部Ａにおける処理内容は、画像データ符号化部３６０１とフレーム符号化データ生成部Ａ ３６０６を除いて、第１の実施の形態におけるフレームデータ符号化部１０１と同様である。
【０１００】
なお、本実施の形態のフレーム符号化データ生成部Ａ ３６０６と、第１の実施の形態のフレーム符号化データ生成部１０７における処理の相違点は、これら生成部がヘッダに書き込む情報が異なる点である。即ち、本実施の形態におけるフレーム符号化データ生成部Ａ３６０６は、第１の実施の形態でフレーム符号化データ生成部１０７がヘッダに書き込む情報のみならず、単位データとターゲット符号長を示す情報をもヘッダに書き込む様になっている。
【０１０１】
画像データ符号化部Ａ３６０１における処理について、以下に説明する。
【０１０２】
図３６(b)は、図３６(a)における画像データ符号化部Ａ３６０１の具体的構成を図示したものである。同図において１０９は画像データ入力部、３６０２は離散ウェーブレット変換部Ａ、１１１はバッファ、３６０３は係数量子化部Ａ、３６０４はエントロピー符号化部Ａ、３６０５は画像符号化データ生成部Ｄ、１１５は画像符号化データ出力部である。本実施の形態における画像データ符号化部Ａ３６０１では、上述した図１Ｃの離散ウェーブレット変換部１１０を離散ウェーブレット変換部Ａ３６０２に置換し、係数量子化部１１２を係数量子化部Ａ３６０３に置換し、エントロピー符号化部１１３をエントロピー符号化部Ａ３６０４に置換し、画像符号化データ生成部Ａ１１４を画像符号化データ生成部Ｄ３６０５に置換したものである。以下、画像データ符号化部Ａ３６０１の各部の説明では、本実施の形態の特徴的な部分を中心に説明することとする。
【０１０３】
離散ウェーブレット変換部Ａ３６０２は、図１９に示されている通り、水平，垂直方向へのウェーブレット変換による分割を繰り返し、７つのサブバンドを生成する。この７つのサブバンドは、バッファ１１１に出力され、さらに係数量子化部Ａ３６０３に出力される。
【０１０４】
係数量子化部Ａ３６０３では、図２０に示されている様に、入力された各サブバンドに所属する係数は量子化され係数量子化値となる。この係数量子化値は、エントロピー符号化部Ａ３６０４に出力される。
【０１０５】
エントロピー符号化部Ａ３６０４では、図２１に示されているように、まず入力された係数量子化値の集まりである各サブバンドが矩形（コードブロックと呼ぶ）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは１以上の整数）等が設定される。さらにこのコードブロックは、図２２に示されているように、ビットプレーンに分割される。その上で、図２３に示されているように、あるビットプレーンにおける各ビットは、ある分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。
【０１０６】
なお、ここでエントロピー符号化の具体的な処理順序は、１つのコーディングブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、その１コーディングブロックのあるビットプレーンに注目すると、図２３にある３種類のパスを上から順に符号化する様になっている。
【０１０７】
該エントロピー符号化値は、画像符号化データ生成部Ｄ３６０５に出力される。画像符号化データ生成部Ｄ３６０５に入力されたエントロピー符号化値は、図８に示されているように、サブバンド単位で並べられ準画像符号化データとなる。ここで目標としているビットレート（原画像データ量に対する圧縮率）を達成できてない場合には、コーディングパスを単位とした重要度が低いデータからのデータの削除がおこなわれる。
【０１０８】
本実施の形態では、さらに下記の通りＬＬサブバンドの固定長化が行われた上で画像符号化データとなる。
【０１０９】
準画像符号化データの符号長におけるＬＬサブバンドが、指定画像符号化データ符号長入力部１０２で指定されたターゲット符号長より長い場合、ＬＬサブバンドにおける重要度が低いと思われるデータの削除を行う。この削除の一形態として、ＬＬサブバンド内に属するコードブロック中のビットプレーンを単位とした下位方向からの削除が考えられる。また別なる削除の一形態として、ＬＬサブバンド内に属するコードブロック中のコーディングパスを単位とした下位方向からの削除も考えられる。
【０１１０】
一方、準画像符号化データの符号長におけるＬＬサブバンドが、指定画像符号化データ符号長入力部１０２で指定されたターゲット符号長より短い場合、その符号化対象フレームの符号化データの先頭に有るヘッダ情報の中に、復号側へ伝えたいメッセージの埋め込みを示すマーカー（コメントマーカー）と何らかのメッセージデータ（コメント）を挿入しておく。また、ＬＬサブバンドへのダミーデータが追加される。このダミーデータとは、符号化された画像データを固定長化の符号量nバイト(n:integer)にするために必要な擬似的なデータである。なお、このダミーデータを有効に利用する為に、このダミーデータをＬＬサブバンドの符号化データのエラー訂正を行う補助的なデータとすればなお良い。
【０１１１】
上述のように生成された画像符号化データは、画像符号化データ出力部１１５からフレーム符号化データ生成部１０８に出力される。
【０１１２】
＜フレーム復号装置＞
本実施の形態におけるフレーム復号装置は、上述の様に生成されたフレーム符号化データの全データを復号（通常復号）し、生成された復号画像を通常の速度で再生（通常再生）するだけでなく、一部のデータのみを取り出して復号（高速復号）し、生成された復号画像を高速に再生（高速再生）することが可能である。
【０１１３】
なお本実施の形態においては、ＬＬサブバンドが固定長化されているので、ＬＬサブバンドを上記一部のデータとして高速再生の際の復号対象とすると良い。
【０１１４】
なお、説明を簡単にする為に、本実施の形態では、ＬＬサブバンドの符号化データ量は、その他のサブバンドを含む全ての符号化データ量と比べて１／１６程度であるとし、本実施の形態における高速復号（再生）は１６倍速再生を行う上で好適なデータであるとして説明する。
【０１１５】
しかしながら、現実にはＬＬサブバンドの符号化効率は他のサブバンドと比較して余り良くないので、実際には全体の１／１６よりも大きくなるのが普通であることを付け加えておく。
【０１１６】
図２４は、本実施の形態におけるフレーム復号装置のブロック図を示している。同図において、２４０１はフレーム符号化データ蓄積部、２４０２は通常復号部、２４０３は固定長データ取り出し部、２４０４は高速復号部、２４０５は再生画像表示部である。
【０１１７】
次に、図２５を用いて、本実施の形態におけるフレーム復号装置の処理の流れを説明する。
【０１１８】
本実施の形態におけるフレーム復号装置に入力されたフレーム符号化データは、フレーム符号化データ蓄積部２４０１に蓄積されている。通常復号が実行される場合、復号対象のフレーム符号化データが通常復号部２４０２に取り出され（Ｓ２５０１）、フレーム符号化データの復号が行われる（Ｓ２５０２）。一方高速復号が行われる場合、固定長データ取り出し部２４０３により、復号対象のフレーム符号化データにおけるＬＬサブバンドのみが高速復号部２４０４に取り出され（Ｓ２５０３）、ＬＬサブバンドの復号が行われる（Ｓ２５０４）。その上で、得られた通常復号もしくは高速復号により得られた復号画像が、再生画像表示部２４０５に表示される（Ｓ２５０５）。
【０１１９】
次に、通常復号部２４０２におけるフレーム符号化データの復号処理について説明する。
【０１２０】
図２６は本実施の形態における通常復号部２４０２のブロック図である。同図において２６０１はフレーム符号化データ入力部、２６０２はエントロピー復号部、２６０３は逆量子化部、２６０４はバッファＡ、２６０５は逆離散ウェーブレット変換部Ａ、２６０６は復号フレームデータ出力部である。
【０１２１】
次に、当該通常復号部２４０２の処理の流れを説明する。
【０１２２】
フレーム符号化データ蓄積部２４０１から送信されてきた符号列がフレーム符号化データ入力部２６０１に入力されると、フレーム符号化データは、ヘッダ情報、画像符号化データ、音声符号化データに分割され、さらに画像符号化データはエントロピー復号部２６０２に出力される。なお音声符号化データは、不図示の復号部により復号されるが、音声符号化データの復号は本発明の本質ではないので、該復号処理の説明は割愛する。
【０１２３】
取り出された画像符号化データに対してエントロピー復号部２６０２は復号化処理を施し、量子化値が復元される。そして復元された量子化値は逆量子化部２６０３に出力される。逆量子化部２６０３は入力した量子化値を逆量子化する事により、離散ウェーブレット変換係数を復元して後続のバッファＡ２６０４に出力する。逆量子化は以下の式により行われる。
Ｘｒ＝Ｑ×ｑ
ただし、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復元された離散ウェーブレット変換係数である。
【０１２４】
バッファＡ２６０４に格納された離散ウェーブレット変換係数は、レベル単位で逆離散ウェーブレット変換部Ａ２６０５に入力される。逆離散ウェーブレット変換部Ａ２６０５では、以下に記述されている式に基づいて逆離散ウェーブレット変換が行われる。
ｘ（２ｎ）＝ｒ（ｎ）＋ｆｌｏｏｒ｛ｐ（ｎ）／２｝
ｘ（２ｎ＋１）＝ｒ（ｎ）−ｆｌｏｏｒ｛ｐ（ｎ）／２｝
ただし、
ｐ（ｎ）＝ｄ（ｎ−１）−ｆｌｏｏｒ｛（−ｒ（ｎ）＋ｒ（ｎ＋２）＋２）／４｝
ここで、低周波サブバンドの離散ウェーブレット変換係数をｒ（ｎ）、高周波サブバンドの離散ウェーブレット変換係数をｄ（ｎ）とする。また、ｘ（ｎ）は復号データである。本変換式は一次元のデ−タに対するものであるが、この変換を水平方向、垂直方向の順に適用することで二次元の変換を行う。そして復号画像データが生成され、復号フレームデータ出力部２６０６に出力される。この復号フレームデータ出力部２６０６は、復号された音声データ（復号音声データ）と復号画像データを組み合わせることで、フレーム復号データを生成する。このフレーム復号データは、再生画像表示部２４０５へ出力される。
【０１２５】
次に高速復号部２４０４の説明を行う。
【０１２６】
本実施の形態における高速復号部２４０４は、固定長データ取り出し部２４０３が取り出したＬＬサブバンドのみを復号する。ここでの復号処理自体は、通常復号部２４０２と本質的に同様であるので、特に詳述しない。
【０１２７】
以上の様に、画像の一部の周波数成分に相当する符号化データを固定長化することにより、通常の速度での画像再生と高速な速度での画像再生との両方を効率的に行うことができる。
【０１２８】
なお、本実施の形態では、上記高速再生の際の復号処理により得られる復号画像は解像度が小さいため、復号画像に対して適宜画像の解像度を変化させる処理が付加されることが好ましい。また画質を向上させる処理が実施されることも好ましい。
【０１２９】
本実施の形態では、高速再生の速度に応じて、これら復号画像の画質向上の為の画像処理を出来るだけ行うことも特徴である。即ち、本実施の形態では２倍速、３倍速、４倍速・・・１６倍速の何れの高速再生の場合にも、通常の復号を行う時間が無い為に固定長ＬＬサブバンドのみを復号再生しなければならないとしても、もし、２倍速や４倍速等のそれ程早くない再生速度でＬＬサブバンドのみを復号再生する場合には、復号と再生の合間に解像度を上昇させる処理（データ補間）や画質を向上させる処理（スムージング等）を行う様にする。このようにすれば、高速再生においても出来るだけ高画質な画像を再生することができる。
【０１３０】
以上説明したように第５の実施の形態では、動画像中の各フレームを表す画像データが離散ウェーブレット変換された後に符号化される形態において、さらにフレーム間で低周波ＬＬサブバンドに相当する部分の固定長化を行うことにより、高速再生をスムーズに行うことが可能である。
【０１３１】
［第６の実施の形態］
本実施の形態では、第３の実施の形態の様に、各フレームにおける同種のサブバンドの符号化データを固定長化することにより、高速再生（１〜ｎ倍の速さのフレームレートでの動画像の再生）を効率よく行う場合を説明する。
【０１３２】
第５の実施の形態においては、２倍速〜１６倍速の復号再生の際には、固定長化されたＬＬサブバンドの符号化データのみを復号し、再生表示を行うものを説明した。しかしながら２倍速や４倍速の場合にはもう少し原画像に忠実な復号再生を行うべきという要望も有る。
【０１３３】
そこで本実施の形態における画像符号化データでは、サブバンド毎に符号化データの固定長化を行うことにより、再生速度に応じた多段階の画質で、動画像の各高速再生を行うものである。
【０１３４】
＜フレーム符号化装置＞
本実施の形態におけるフレーム符号化装置の構成を示すブロック図を図４２(a)に示す。本実施の形態におけるフレーム符号化装置は、図３６(c)に示した第５の実施の形態の符号化装置におけるフレームデータ符号化部Ａ３６０７を、フレームデータ符号化部Ｂ４２０１に置換したものである。この部分が置換された理由は、第５の実施の形態において、単位データはＬＬサブバンドであったが、本実施の形態における単位データは各サブバンドだからである。指定画像符号化データ符号長入力部１０２における動作は、第５の実施の形態における同処理部の動作と同じであるので詳細は省略する。
【０１３５】
図４２(b)は、本実施の形態におけるフレーム符号化装置中のフレームデータ符号化部の構成を図示したものである。同図において１０３はフレームデータ入力部、１０４はフレームデータ分割部、１０５は音声データ符号化部、４２０２は画像データ符号化部Ｂ、３６０６はフレーム符号化データ生成部Ａ、１０８はフレーム符号化データ出力部である。この図から分かるが、本実施の形態におけるフレームデータ符号化部における処理内容は、画像データ符号化部を除いて、第５の実施の形態におけるフレームデータ符号化部と同様である。
【０１３６】
本実施の形態における画像符号化装置の構成を示すブロック図を図３７に示す。本実施の形態における画像データ符号化部Ｂ ４２０２は、図３６(b)に示した第５の実施の形態での画像データ符号化部Ａ ３６０１を構成する画像符号化データ生成部Ｄ ３６０５を画像符号化データ生成部Ｅ ３７０１に置換したものである。それ以外の本実施の形態における画像符号化装置及びその動作は第５の実施の形態における同装置及びその動作と同じであるので詳述しない。
【０１３７】
本実施の形態における画像符号化データ生成部Ｅ ３７０１では、図２７に示されているように、サブバンド毎の固定長化が図られる。この固定長化の考え方は第５の実施の形態と同様である。
【０１３８】
以上の結果、フレーム復号装置において、１６倍速以外にも対応した、効率的な高速復号を行うことができる。その様子を図２８に示す。例えば、８倍速の復号再生を行う必要が有る場合には、ＬＬサブバンド以外を復号するだけ時間／負荷に余裕が有るので、図２８(a)の様な各フレームのＬＬ，ＨＬ１の２つのサブバンドを取り出して復号することで、高画質に８倍速再生を実現できる。
【０１３９】
通常、ウェーブレット変換されたサブバンドの一部を用いて復号再生を行う際には、ＬＬ、ＨＬ１、ＨＬ１、ＨＨ１の４つを再生するのであるが、本実施の形態では、再生速度（８倍速）を考慮したうえで、ＨＬ１だけでもＬＬと共に復号する様にしたことにより、再生速度に応じた出来るだけ高画質な画像を再生することが可能となる。
【０１４０】
なお、同様に２倍速再生の場合を示しておくと、図２８(b)のように全体の符号化データ量の略１／２の符号化データを復号することで、その再生速度に見合った高画質な再生を行うことができる。
【０１４１】
なお、上記実施の形態では、サブバンドＨＨ２は高速再生の際には利用されないので、この部分は特に固定長になる必要は無い。言い換えれば本実施の形態は、高速（特殊）再生の際の復号対象となりうる複数種の各サブバンドが固定長化されていることが特徴である。
【０１４２】
＜フレーム復号装置＞
本実施の形態における復号装置を図４９に示す。これは第５の実施の形態における固定長データ取り出し部２４０３と高速復号部２４０４を、固定長データ取り出し部４９０１と高速復号部４９０２に置換したものである。この部分が置換された理由は、第５の実施の形態において高速復号で扱われるデータがＬＬサブバンドだけであったのに対して、本実施の形態において高速復号で扱われるデータが、ＬＬサブバンドを含めた固定長化されたサブバンドだからである。なお、本実施の形態におけるフレーム復号装置により行われる処理は、本質的に第５の実施の形態におけるフレーム復号装置により行われる処理と本質的に同様なので、本実施の形態におけるフレーム復号装置の処理の詳細は省略される。
【０１４３】
以上、本実施の形態では、互いのフレームにおける同種のサブバンド同士が、固定長となる様にすることで、再生速度に十分間に合う符号化データ量に相当する複数種のサブバンドを復号化する様にしたので、再生速度に合わせた高画質な画像再生を行うことができる。
【０１４４】
［第７の実施の形態］
本実施の形態では、第４の実施の形態の様に、各フレームにおける同種の解像度レベルに属するサブバンドグループ単位で符号化データを固定長化することにより、高速再生（１〜ｎ倍の速さのフレームレートでの動画像の再生）を効率よく行う場合を説明する。なお、上述したが、解像度のレベルとは、ウェーブレット変換後のサブバンドの状態で考えると、例えばレベル０＝＜ＬＬ＞、レベル１＝＜ＨＬ１、ＬＨ１、ＨＨ１＞、レベル２＝＜ＨＬ２、ＬＨ２、ＨＨ２＞の様なサブバンドのグループのことである。
【０１４５】
＜フレーム符号化装置＞
本実施の形態におけるフレーム符号化装置の構成を示すブロック図を図４３(a)に示す。本実施の形態におけるフレーム符号化装置は、図３６(c)に示した第５の実施の形態の符号化装置におけるフレームデータ符号化部Ａ３６０７を、フレームデータ符号化部Ｃ４３０１に置換したものである。この置換が行われる理由は、第５の実施の形態において、単位データはＬＬサブバンドであったが、本実施の形態における単位データは解像度のレベルだからである。指定画像符号化データ符号長入力部１０２における動作は、第５の実施の形態における同処理部の動作と同じであるので説明を省略する。
【０１４６】
図４３(b)は、本実施の形態におけるフレーム符号化装置中のフレームデータ符号化部の構成を図示したものである。同図において１０３はフレームデータ入力部、１０４はフレームデータ分割部、１０５は音声データ符号化部、４３０２は画像データ符号化部Ｃ、３６０６はフレーム符号化データ生成部Ａ、１０８はフレーム符号化データ出力部である。本実施の形態におけるフレームデータ符号化部の処理内容は、画像データ符号化部を除いて、第５の実施の形態におけるフレームデータ符号化部と同様であるので詳述しない。
【０１４７】
本実施の形態における画像符号化装置の構成を示すブロック図を図３８に示す。本実施の形態における符号化装置は、図３６(b)に示した第５の実施の形態での画像データ符号化部Ａ３６０１を構成する画像符号化データ生成部Ｄ３６０５を画像符号化データ生成部Ｆ３８０１に置換したものである。それ以外の本実施の形態における画像符号化装置及びその動作は第５の実施の形態における同装置及びその動作と同じである。
【０１４８】
本実施の形態における画像符号化データ生成部Ｆ ３８０１では、同種の解像度レベルに属するサブバンドのグループ毎に符号化データが固定長化される。即ち、各フレームについて、ＬＬを表す符号化データが符号長Ｃ０になる様に固定長化され、ＨＬ１、ＬＨ１、ＨＨ１の３つを表す符号化データ群が符号長Ｃ１になる様に固定長化され、ＨＬ２、ＬＨ２、ＨＨ２の３つを表す符号化データ群が符号長Ｃ２になる様に固定長化される。
【０１４９】
その結果、図３０の様に示される様に、本実施の形態のフレーム復号装置は、再生速度に応じた解像度レベルのみを復号再生することが可能となる。図３０では、（５倍速〜）１６倍速再生の場合には固定長化されているＬＬサブバンド（即ちレベル０）の符号化データのみを復号再生でき、（２倍〜）４倍速再生の場合には、ＬＬサブバンドと共にＨＬ１、ＬＨ１、ＨＨ１の３つ（レベル１）を表す符号化データのみを復号再生できる。
【０１５０】
なお、図３０に示される場合には、ＬＨ２、ＨＬ２、ＨＨ２は最も高い解像度レベルのサブバンドグループに属するので、本実施の形態の目的を達成する為には、この最高レベルのサブバンドグループについては固定長化される必要はない。
【０１５１】
本実施の形態では、高速再生される際に一部再生の対象となる可能性が有る解像度レベル（サブバンドグループ）の符号化データが少なくとも固定長化されていれば目的は果たせる。
【０１５２】
＜フレーム復号装置＞
本実施の形態における復号装置を図５０に示す。これは第５の実施の形態における固定長データ取り出し部２４０３と高速復号部２４０４を、固定長データ取り出し部５００１と高速復号部５００２に置換したものである。この部分が置換された理由は、第５の実施の形態において高速復号で扱われるデータがＬＬサブバンドだけであったのに対して、本実施の形態において高速復号で扱われるデータが、解像度レベルの符号化データだからである。なお、本実施の形態におけるフレーム復号装置により行われる処理は、本質的に第５の実施の形態におけるフレーム復号装置により行われる処理と本質的に同様なので、本実施の形態におけるフレーム復号装置の処理の詳細は省略される。
【０１５３】
以上説明したように、本実施の形態によれば、画像符号化データは、解像度レベルの夫々に属するサブバンドのグループの符号化データ毎に固定長化されるので、これら符号化データを高速再生する際には、再生速度に応じた出来るだけ高画質な画像を再生できる。
【０１５４】
［第８の実施の形態］
第５の実施の形態では、最も低い周波数成分であるＬＬサブバンドのみを固定長化を行った。
【０１５５】
しかしながら、本発明はこれに限らない。例えば、ＬＬとＬＨ１とＨＬ１とＨＨ１の４つ分を低周波のサブバンドであると見なしてこれら４つの合計を上述した方法で固定長となる様にしても、本発明の目的は果たされる。本実施の形態ではこの様な場合について説明する。
【０１５６】
画像の水平、垂直方向に離散ウェーブレット変換を繰り返し行う回数（レベル数）が多い場合には、ＬＬサブバンドのみの固定長化は、実用的でなくなってしまう可能性が有る。
【０１５７】
例えば、第１の実施の形態で説明した離散ウェーブレット変換のレベル数は３であるので、該画像符号化データにおけるＬＬサブバンドの固定長化を行うと、これは、６４倍速の復号再生を行う上での最適な符号化データの形状であることになり、余り現実的ではない。
【０１５８】
そこで本実施の形態においては、各種サブバンドの全てではないが、ＬＬサブバンドとそれ以外の低い周波数サブバンドとを含むサブバンドグループの符号化データを固定長化するものである。
【０１５９】
本実施の形態におけるフレーム符号化装置の構成を示すブロック図を図４４(a)に示す。本実施の形態におけるフレーム符号化装置は、図３６(c)に示した第５の実施の形態の符号化装置におけるフレームデータ符号化部Ａ３６０７を、フレームデータ符号化部Ｄ４４０１に置換したものである。この置換が行われる理由は、第５の実施の形態での単位データはＬＬサブバンドであったが、本実施の形態における単位データはＬＬサブバンド＋α（ＬＨ１、ＨＬ１、ＨＨ１・・・）だからである。指定画像符号化データ符号長入力部１０２における動作は、第５の実施の形態における同処理部の動作と同様である。
【０１６０】
図４３(b)は、本実施の形態におけるフレーム符号化装置中のフレームデータ符号化部の構成を図示したものである。同図において１０３はフレームデータ入力部、１０４はフレームデータ分割部、１０５は音声データ符号化部、４４０２は画像データ符号化部Ｄ、３６０６はフレーム符号化データ生成部Ａ、１０８はフレーム符号化データ出力部である。本実施の形態におけるフレームデータ符号化部における処理内容は、画像データ符号化部を除いて、第５の実施の形態におけるフレームデータ符号化部と同様であるので詳述しない。
【０１６１】
次に本実施の形態における画像符号化装置の構成を示すブロック図を図３９に示す。本実施の形態では、離散ウェーブレット変換のレベル数が３である場合を説明するので、離散ウェーブレット変換部Ａ３８０２と係数量子化部Ａ３８０３は、第１の実施の形態で使用した離散ウェーブレット変換部１１０と係数量子化部１１２が適用される。また、図３６(b)に示した第５の実施の形態での画像データ符号化部Ａ３６０１を構成する画像符号化データ生成部Ｄ３６０５を、後述する画像符号化データ生成部Ｇ３９０１に置換する。また、扱うサブバンド数が異なるので、上述した図３９ではエントロピー符号化部Ａ３６０４を、エントロピー符号化部Ｂ３９０２に置換している。ただし基本的な処理に変化は無いので、詳述しない。
【０１６２】
図３２に示される様に、本実施の形態の画像符号化データ生成部Ｇ３９０１は、ＬＬサブバンド＋α（ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２）のサブバンドグループに相当する符号化データを固定長化する。この点が、第５の実施の形態と大きく異なる部分である。
【０１６３】
図３２の様にすることにより、非常に実用的な設定である、４倍速の復号再生を行う場合に最適な簡易画像を簡単に再生することが可能となる。
【０１６４】
＜フレーム復号装置＞
本実施の形態における復号装置を図５１に示す。これは第５の実施の形態における固定長データ取り出し部２４０３と高速復号部２４０４を、固定長データ取り出し部５１０１と高速復号部５１０２に置換したものである。この部分が置換された理由は、第５の実施の形態において高速復号で扱われるデータがＬＬサブバンドだけであったのに対して、本実施の形態において高速復号で扱われるデータが、ＬＬサブバンド＋α（ＬＨ１、ＨＬ１、ＨＨ１、ＬＨ２、ＨＬ２、ＨＨ２）だからである。なお、本実施の形態におけるフレーム復号装置により行われる処理は、本質的に第５の実施の形態におけるフレーム復号装置により行われる処理と本質的に同様なので、本実施の形態におけるフレーム復号装置の処理の詳細は省略される。
【０１６５】
以上説明したように、本実施の形態では、ＬＬサブバンド＋α（これに続く低周波サブバンド）のグループに相当する符号化データを固定長化することにより、実用的な倍速復号再生（１〜ｎ倍の速さのフレームレートでの動画像の再生）を行い易い符号化データを提供することができる。
【０１６６】
［第９の実施の形態］
第５の実施の形態における符号化装置において、画像符号化データは図８に示した様なデータ構造を持っていると説明した。このデータ構造の順に符号化データを復号側が扱う場合には、部分的な復号により生成される部分復号画像は非常に解像度が小さい（１／４や１／１６や１／６４）となってしまう。これを考慮して、本実施の形態では、この様な復号形態を好まない人の為に、図３３に示す様な複数個のレイヤ（layer0〜N）を定義し、このレイヤ構造に基づく図３４の様な符号化データを生成することにより、図３５で示す様な、画像サイズは変わらずに画質が徐々に向上してゆく方法の階層表示を可能とする。
【０１６７】
そして本実施の形態では、上記レイヤ構造を有する符号化データにおける各種レイヤ（layer0,...,N）を、各フレーム間で等しくなる様に固定長化することを特徴とする。
【０１６８】
＜フレーム符号化装置＞
本実施の形態におけるフレーム符号化装置の構成を示すブロック図を図４５(a)に示す。本実施の形態におけるフレーム符号化装置は、図３６(c)に示した第５の実施の形態の符号化装置におけるフレームデータ符号化部Ａ３６０７を、フレームデータ符号化部Ｅ４５０１に置換したものである。この置換が行われる理由は、第５の実施の形態における単位データがＬＬサブバンドであったのに対し、本実施の形態の単位データが各レイヤに対応させる為である。指定画像符号化データ符号長入力部１０２における動作は、第５の実施の形態で動作と同じであるので詳述しない。
【０１６９】
図４３(b)は、本実施の形態におけるフレーム符号化装置中のフレームデータ符号化部の構成を図示したものである。同図において１０３はフレームデータ入力部、１０４はフレームデータ分割部、１０５は音声データ符号化部、４５０２は画像データ符号化部Ｅ、３６０６はフレーム符号化データ生成部Ａ、１０８はフレーム符号化データ出力部である。なお、本実施の形態におけるフレームデータ符号化部における処理内容は、画像データ符号化部を除いて、第５の実施の形態におけるフレームデータ符号化部と同様である。
【０１７０】
本実施の形態における画像符号化装置の構成を示すブロック図を図４０に示す。本実施の形態における符号化装置は、図３６(b)に示した第５の実施の形態での画像データ符号化部Ａ３６０１を構成する画像符号化データ生成部Ｄ３６０５を画像符号化データ生成部Ｈ４００１に置換したものである。それ以外の本実施の形態における画像符号化装置及びその動作は第５の実施の形態における同装置及びその動作と同じであるので詳述しない。
【０１７１】
画像符号化データ生成部Ｈ４００１は、画像符号化データをレイヤ構造にし、レイヤの固定長化を行う。以下にレイヤーの構成に関する説明を行う。
【０１７２】
画像符号化データ生成部Ｈ４００１は、図３３に示されているように、複数のサブバンドにおける複数のコーディングパスから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。なお、図４７に示されているように、あるコーディングブロックからコーディングパスを取得する際、常に該コーディングパスにおいて最上位に存在するコーディングパスが選ばれる。
【０１７３】
このレイヤーの構成では、上位レイヤーから固定長化を図るようにレイヤーが生成される。つまり、図３３において、まずレイヤー０が固定長化されるように生成され、その後レイヤー１，２，・・・と生成される。ここで１枚のレイヤーが生成されるフローを、フローチャートである図４８を用いて、以下に説明する。
【０１７４】
まず、注目するレイヤー（注目レイヤー）に追加するコーディングパスを選択し（Ｓ４７０１）、該選択されたコーディングパスの符号長と注目レイヤーの符号長を足した結果得られる符号長（符号長Ａ）とターゲット符号長の大きさを比較する（Ｓ４７０２）。符号長Ａがターゲット符号長より短い場合、選択されたコーディングパスを注目レイヤーに追加し（Ｓ４７０３）、処理をＳ４７０１に戻す。もし、符号長Ａがターゲット符号長より短くない場合、２つの符号長が等しいかどうかを調べる（Ｓ４７０４）。もし符号長Ａとターゲット長が等しい場合、選択されたコーディングパスを注目レイヤーに追加して（Ｓ４７０５）、注目レイヤーを構成するための処理を終了させる。もし符号長Ａとターゲット符号長が等しくなく、符号長Ａがターゲット符号長より長い場合、選択されたコーディングパスを選択せずに、他に選択可能であるコーディングパスの存在を調べる（Ｓ４７０６）。もし選択可能なコーディングパスが存在する場合、処理をＳ４７０１に戻す。一方、選択可能なコーディングパスが存在しない場合、ダミーデータを注目レイヤーに付加して（Ｓ４７０７）、処理を終了させる。
【０１７５】
本実施の形態では、第２、第５の実施の形態で最も低い画質の画像を再生できるＬＬサブバンドのみを固定長化したのと同じ様に、少なくとも最上位レイヤ（layer0）の符号化データだけは固定長化する様に制御される。
【０１７６】
しかしながら、本発明はこれに限らない。例えば最上位レイヤのみならず、それに続く幾つかのレイヤを表す符号化データについても同様に、固定長化する様にしても良い。この場合には、多段階の高速再生速度に対して最適な復号対象レイヤを割当てやすくなるので、高速再生時において、出来るだけ高画質な画像を再生することが可能となる。
【０１７７】
なお、画像データの内容／ビット配列を解析した上で、なるべく意味の有るビットを有するコードブロックのビットプレーン（コーディングパス）を上位レイヤに含ませる様にすれば、高速再生であってもかなり高画質な画像を再生することが可能である。
【０１７８】
＜フレーム復号装置＞
本実施の形態における復号装置を図５２に示す。これは第５の実施の形態における固定長データ取り出し部２４０３と高速復号部２４０４を、固定長データ取り出し部５２０１と高速復号部５２０２に置換したものである。この部分が置換された理由は、第５の実施の形態において高速復号で扱われるデータがＬＬサブバンドであったのに対して、本実施の形態において高速復号で扱われるデータが、固定長化されたレイヤーだからである。なお、本実施の形態におけるフレーム復号装置により行われる処理は、本質的に第５の実施の形態におけるフレーム復号装置により行われる処理と本質的に同様なので、本実施の形態におけるフレーム復号装置の処理の詳細は省略される。
【０１７９】
以上説明したように、本実施の形態では、画像符号化データをレイヤ構造にすると共に、これらレイヤの最上位レイヤ、更にはそれに続く幾つかのレイヤの符号化データを固定長化することにより、高速復号再生（１〜ｎ倍の速さのフレームレートでの動画像の再生）を行う場合であっても、高解像度な画像再生が可能であり、また再生速度を考慮した出来るだけ高画質な画像再生が可能である。
【０１８０】
［第１０の実施の形態］
上記第５〜８の実施の形態では、単一のサブバンド毎、もしくは複数のサブバンドをグループ化したもの毎に、それら符号化データの固定長化が行われる様にした。そうすることで生成された画像符号化データは、様々な倍速再生に適応する様にしていた。
【０１８１】
しかしながら、これらサブバンドという概念のみに注目して符号化データの固定長化を行った場合に、例えば第６の実施の形態で実現可能な７段階[HK1]の再生速度等と比較して非常に多い段階の再生速度を実行可能とする画像復号装置等に対しては、各段階の再生速度に十分に適した復号再生を行うことはできないかもしれない。そこで本実施の形態における画像符号化装置は、各サブバンドの符号化データもしくは複数のサブバンドからなる各グループの符号化データ群を、更に第９の実施の形態の様な複数のレイヤー構造にし、各レイヤーの符号化データを固定長化する。即ち、（サブバンドの数或いはサブバンドグループの数）×（レイヤーの数）の再生速度の段階に対応できる。即ち、各再生速度に合わせたできるだけ高画質な画像再生を行える。
【０１８２】
本実施の形態は以下の方法を用いることを始めに述べておく。即ち、第６の実施の形態で示されている、サブバンド毎に画像符号化データを固定長化する。さらに各サブバンド間の符号化データは互いに独立したレイヤ構造を備える様にする。そしてこれら各レイヤを示す符号化データを固定長化する。即ち、第９の実施の形態と比較すると、全サブバンドに対して図３３の様な数段階のレイヤ構造を作成する。それに対して、本実施の形態では各サブバンド／各サブバンドグループに対して独立的に数段階のレイヤ構造を作成する点で異なっていると言える。
【０１８３】
＜フレーム符号化装置＞
本実施の形態におけるフレーム符号化装置の構成を示すブロック図を図４５(a)に示す。本実施の形態のフレーム符号化装置では、図３６(c)に示した第５の実施の形態の符号化装置におけるフレームデータ符号化部Ａ３６０７を、フレームデータ符号化部Ｆ４６０１に置換してある。この置換が行われる理由は、第５の実施の形態において、単位データはＬＬサブバンドであったのに対し、本実施の形態の単位データはサブバンド内のレイヤに変更されたからである。指定画像符号化データ符号長入力部１０２における動作は、第５の実施の形態における同処理部の動作と同じである。
【０１８４】
図４３(b)は、本実施の形態におけるフレーム符号化装置中のフレームデータ符号化部の構成を図示したものである。同図において１０３はフレームデータ入力部、１０４はフレームデータ分割部、１０５は音声データ符号化部、４６０２は画像データ符号化部Ｆ、３６０６はフレーム符号化データ生成部Ａ、１０８はフレーム符号化データ出力部である。本実施の形態におけるフレームデータ符号化部における処理内容は、画像データ符号化部を除いて、第５の実施の形態におけるフレームデータ符号化部と同様である。
【０１８５】
本実施の形態における画像符号化装置の構成を示すブロック図を図４１に示す。本実施の形態の画像符号化装置では、図３６(b)に示した第５の実施の形態の画像データ符号化部Ａ３６０１を構成する画像符号化データ生成部Ｄ３６０５を、画像符号化データ生成部Ｉ４１０１に置換してある。それ以外の本実施の形態における画像符号化装置及びその動作は第５の実施の形態における同装置及びその動作と同じである。
【０１８６】
画像符号化データ生成部Ｉ４１０１では、最初に第６の実施の形態で示されたように、各サブバンドの符号化データの固定長化が行われる。
【０１８７】
その後、図３１に示すように、各サブバンドが２つのレイヤから成るレイヤ構造にし、レイヤ毎の符号化データを固定長化する。なお、図３１では説明が複雑にならないように各サブバンドのレイヤ数を２としたが、本発明はこれに限らない。もちろんレイヤ数は３以上にすれば、非常に多い階層構造の符号化データを作成できる。
【０１８８】
＜フレーム復号装置＞
本実施の形態における復号装置を図５３に示す。これは第５の実施の形態における固定長データ取り出し部２４０３と高速復号部２４０４を、固定長データ取り出し部５３０１と高速復号部５３０２に置換したものである。この部分が置換された理由は、第５の実施の形態において高速復号で扱われるデータがＬＬサブバンドであったのに対して、本実施の形態において高速復号で扱われるデータが、各サブバンド内で固定長化されたレイヤーだからである。なお、本実施の形態におけるフレーム復号装置により行われる処理は、本質的に第５の実施の形態におけるフレーム復号装置により行われる処理と本質的に同様なので、本実施の形態におけるフレーム復号装置の処理の詳細は省略される。
【０１８９】
以上の様にサブバンド内でも固定長化すると共に、その各サブバンドを構成する各レイヤの符号化データをも固定長化することにより、多段階の速度の高速再生（多段階のフレームレートでの動画像の再生）に対応できる画像符号化データを提供できる。また、その画像符号化データを効率よく復号再生できる。
【０１９０】
（変形例）
以上の実施の形態では、複数のサブバンド又はレイヤ構造の符号化データの一部又は全部の符号化データを固定長化すること、及びその固定長化された符号化データが高速（倍速）再生の利用に効果的であることについて詳細に説明した。
【０１９１】
しかしながら、本発明の符号化データの作成方法は高速再生以外のものに利用される様にしてもよく、その様な形態も本発明の範疇に含まれる。例えば、各サブバンド又はレイヤの符号化データが固定長化されていれば、各サブバンド／レイヤ毎に別の並列的にデータ処理することも容易であるので、これら各サブバンドや各レイヤの符号化データに対して、技術的に可能な範囲で、並列に復号処理や誤り訂正を施す様にしても良く、これらは本発明の範疇に含まれる。
【０１９２】
なお、本発明は複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタ等）から構成されるシステムの一部として適用しても、１つの機器（例えばデジタルビデオカメラ、デジタルスチルカメラ等）からなる装置の１部に適用しても良い。
【０１９３】
また、本発明は上記実施の形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、上記実施の形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。
【０１９４】
またこの場合、前記ソフトウエアに関するプログラムコード自体が上記実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。
【０１９５】
この様なプログラムコードを格納する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１９６】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼動しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。
【０１９７】
更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。
【０１９８】
なお本発明を上述の記憶媒体に適応する場合、その記憶媒体には、先に説明した（図１４，１５，１６に示す）フローチャート、もしくは第２の実施の形態におけるフローチャート、もしくは第３の実施の形態におけるフローチャート、もしくは第４の実施の形態における図１８に示したフローチャートに対応するプログラムコードが格納されることになる。
【０１９９】
【発明の効果】
以上説明したように本発明によれば、階層符号化を行うことが可能な状況において、多種の復号再生速度／時間に対応できる様な、符号化データを生成する技術、或いは、これを多種の復号再生速度／時間に対応して復号化する技術を提供することが可能である。
【図面の簡単な説明】
【図１Ａ】本発明の第１の実施の形態における符号化装置の構成を示すブロック図である。
【図１Ｂ】フレームデータ符号化部１０１の構成を示すブロック図である。
【図１Ｃ】図１Ｂにおける画像データ符号化部１０６の構成を示すブロック図である。
【図１Ｄ】図１Ｂにおける音声データ符号化部１０５の構成を示すブロック図である。
【図２】フレームデータの構成を説明する図である。
【図３】フレームデータの分離を説明する図である。
【図４】フレーム符号化データの構成を示す図である。
【図５】離散ウェーブレット変換を説明する図である。
【図６】離散ウェーブレット変換によるサブバンド分割を説明する図である。
【図７】各周波数成分と量子化ステップとの対応を示す図である。
【図８】準画像符号化データの構成を示す図である。
【図９】準画像符号化データの固定長化を説明する図である。
【図１０】準画像符号化データの固定長化を説明する図である。
【図１１】準画像符号化データの固定長化を説明する図である。
【図１２】本発明の第２の実施の形態の符号化装置の構成を示すブロック図である。
【図１３】本発明の第３の実施の形態の符号化装置の構成を示すブロック図である。
【図１４】フレームデータ符号化部１０１におけるフレーム符号化データの生成の処理のフローチャートである。
【図１５】ステップＳ１４０３における画像データ符号化部１０６における、画像データの符号化の処理のフローチャートである。
【図１６】ステップＳ１４０４における音声データ符号化部１０５における、音声データの符号化の処理のフローチャートである。
【図１７】本発明の第４の実施の形態における符号化装置の構成を示すブロック図である。
【図１８】本発明の第４の実施の形態における画像符号化データの生成のフローチャートである。
【図１９】第５〜７，９，１０の実施の形態における、離散ウェーブレット変換によるサブバンド分割を説明する図である。
【図２０】本発明の第５〜７，９，１０の実施の形態における、各周波数成分と量子化ステップとの対応を示す図である。
【図２１】本発明の第５〜１０の実施の形態における、各サブバンドのコードブロック分割を示す図である。
【図２２】本発明の第５〜１０の実施の形態における、各コードブロックのビットプレーンへの分割を示す図である。
【図２３】本発明の第５〜１０の実施の形態における、各コードブロックのビットプレーンへの分割を示す図である。
【図２４】本発明の第５〜１０の実施の形態におけるフレーム復号装置の構成を示すブロック図である。
【図２５】本発明の第５の実施の形態における、復号画像データを生成し復号画像を表示する処理のフローチャートである。
【図２６】本発明の第５の実施の形態における通常復号部２４０２の構成を示すブロック図である。
【図２７】本発明の第６の実施の形態における、単位データの固定長化を示す図である。
【図２８（ａ）】本発明の第６の実施の形態における、高速復号にＬＬ，ＨＬ１サブバンドを使用することを示す図である。
【図２８（ｂ）】本発明の第６の実施の形態における、高速復号にＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２サブバンドを使用することを示す図である。
【図２９】本発明の第７の実施の形態における、単位データの固定長化を示す図である。
【図３０】本発明の第７の実施の形態における、高速復号にレベル０，レベル１のサブバンドのグループを使用することを示す図である。
【図３１】本発明の第１０の実施の形態の画像符号化データにおけるレイヤーの配列を説明する図である。
【図３２】本発明の第８の実施の形態における、単位データの固定長化を示す図である。
【図３３】本発明の第９，１０の実施の形態におけるレイヤーを説明する図である。
【図３４】本発明の第９の実施の形態の画像符号化データにおけるレイヤーの配列を説明する図である。
【図３５】画像サイズが変わらずに画質が徐々に向上してゆく階層表示を説明する図である。
【図３６（ａ）】第５の実施の形態におけるフレームデータ符号化部Ａ３６０７の構成を示すブロック図である。
【図３６（ｂ）】第５の実施の形態における画像データ符号化部Ａ３６０１の構成を示すブロック図である。
【図３６（ｃ）】第５の実施の形態におけるフレーム符号化装置の構成を示すブロック図である。
【図３７】第６の実施の形態における画像データ符号化部Ｂ４２０２の構成を示すブロック図である。
【図３８】第７の実施の形態における画像データ符号化部Ｃ４３０２の構成を示すブロック図である。
【図３９】第８の実施の形態における画像データ符号化部Ｄ４４０２の構成を示すブロック図である。
【図４０】第９の実施の形態における画像データ符号化部Ｅ４５０２の構成を示すブロック図である。
【図４１】第９の実施の形態における画像データ符号化部Ｆ４６０２の構成を示すブロック図である。
【図４２（ａ）】第６の実施の形態におけるフレーム符号化装置の構成を示すブロック図である。
【図４２（ｂ）】第６の実施の形態におけるフレームデータ符号化部Ｂ４２０１の構成を示すブロック図である。
【図４３（ａ）】第７の実施の形態におけるフレーム符号化装置の構成を示すブロック図である。
【図４３（ｂ）】第７の実施の形態におけるフレームデータ符号化部Ｃ４３０１の構成を示すブロック図である。
【図４４（ａ）】第８の実施の形態におけるフレーム符号化装置の構成を示すブロック図である。
【図４４（ｂ）】第８の実施の形態におけるフレームデータ符号化部Ｄ４４０１の構成を示すブロック図である。
【図４５（ａ）】第９の実施の形態におけるフレーム符号化装置の構成を示すブロック図である。
【図４５（ｂ）】第９の実施の形態におけるフレームデータ符号化部Ｅ４５０１の構成を示すブロック図である。
【図４６（ａ）】第１０の実施の形態におけるフレーム符号化装置の構成を示すブロック図である。
【図４６（ｂ）】第６の実施の形態におけるフレームデータ符号化部Ｆ４６０１の構成を示すブロック図である。
【図４７】第９の実施の形態におけるレイヤーの構成において選択されるコーディングパスを説明する図である。
【図４８】第９の実施の形態におけるレイヤーの構成の処理を示すフローチャートである。
【図４９】第６の実施の形態におけるフレーム復号装置の構成を示すブロック図である。
【図５０】第７の実施の形態におけるフレーム復号装置の構成を示すブロック図である。
【図５１】第８の実施の形態におけるフレーム復号装置の構成を示すブロック図である。
【図５２】第９の実施の形態におけるフレーム復号装置の構成を示すブロック図である。
【図５３】第１０の実施の形態におけるフレーム復号装置の構成を示すブロック図である。

Claims (19)

1. 画像データを符号化する符号化装置であって、
   入力した画像データに対して離散ウェーブレット変換を行うことで、複数個の周波数サブバンドの変換係数を生成する変換手段と、
   前記サブバンドの各々をエントロピー符号化し、各サブバンド毎に符号化データを生成する符号化手段と、
   前記各サブバンドにおける所定のサブバンドの符号化データ量を監視し、該所定のサブバンドの符号化データ量が所定符号長を越える場合には、前記所定のサブバンドの当該所定符号長を越えた部分に含まれる符号化データを除去し、前記所定符号長に満たない場合には前記所定のサブバンドの符号化データにダミーデータを付加することで前記所定符号長となる固定長符号化データを生成する生成手段とを備え、
   前記所定のサブバンドは少なくとも最低周波数のサブバンドを含み、
   前記生成手段は、少なくとも前記最低周波数のサブバンドについて固定長の符号化データを生成する
   ことを特徴とする符号化装置。
2. 更に、音声付き画像データを入力する入力手段と、
   該入力手段で入力した音声を符号化する音声符号化手段と
   を備えることを特徴とする請求項１に記載の符号化装置。
3. 前記生成手段による除去対象となったサブバンドについては、これを表すビットプレーンのうち、下位ビットプレーンから優先して除去することを特徴とする請求項１又は２に記載の符号化装置。
4. 前記生成手段は、更に、前記変換手段によって得られた各サブバンドのうち、最低周波数のサブバンドを前記所定のサブバンドとして、その符号化データを固定長データとする手段を含むことを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
5. 前記生成手段は、更に、前記変換手段によって得られた各サブバンドの夫々を所定のサブバンドとし、各サブバンドの符号化データを固定長データとする手段を含むことを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
6. 前記生成手段は、更に、前記変換手段によって得られた各サブバンドの幾つかで構成される解像度レベルを単位として、それら単位の符号化データを固定長データとする手段を含むことを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。
7. 前記生成手段は前記固定長符号化データを生成する際にヘッダを生成し、このヘッダには前記固定長符号化データに関する情報を記載することを特徴とする請求項１乃至６のいずれか１項に記載の符号化装置。
8. 前記変換手段は、前記変換係数を一時的に格納する格納手段を有し、この格納手段よりレベルが低いサブバンドからレベルが高いサブバンドの順に量子化を行うことを特徴とする請求項１乃至６のいずれか１項に記載の符号化装置。
9. 前記変換手段は、前記量子化の際に、より高いサブバンドの方に、大きい量子化ステップを与えていることを特徴とする請求項８に記載の符号化装置。
10. 画像データを符号化する符号化方法であって、
    入力した画像データに対して離散ウェーブレット変換を行うことで、複数個の周波数サブバンドの変換係数を生成する変換工程と、
    前記サブバンドの各々をエントロピー符号化し、各サブバンド毎に符号化データを生成する符号化工程と、
    前記各サブバンドにおける所定のサブバンドの符号化データ量を監視し、該所定のサブバンドの符号化データ量が所定符号長を越える場合には、前記所定のサブバンドの当該所定符号長を越えた部分に含まれる符号化データを除去し、前記所定符号長に満たない場合には前記所定のサブバンドの符号化データにダミーデータを付加することで前記所定符号長となる固定長符号化データを生成する生成工程とを備え、
    前記所定のサブバンドは少なくとも最低周波数のサブバンドを含み、
    前記生成工程は、少なくとも前記最低周波数のサブバンドについて固定長の符号化データを生成する
    ことを特徴とする符号化方法。
11. コンピュータを、請求項１乃至９のいずれか１項に記載の符号化装置として機能させるためのコンピュータプログラムを格納したことを特徴とするコンピュータ可読の記憶媒体。
12. 動画像を構成する各フレームの画像データを符号化する符号化装置であって、
    入力した画像データに対して離散ウェーブレット変換を行うことで、複数個の周波数サブバンドの変換係数を生成する変換手段と、
    前記サブバンドの各々をエントロピー符号化し、各サブバンド毎の符号化データを生成する符号化手段と、
    前記各サブバンドにおける所定のサブバンドの符号化データ量を監視し、該所定のサブバンドの符号化データ量が所定符号長を越える場合には、当該所定のサブバンドの前記所定符号長を越えた部分に含まれる符号化データを除去し、前記所定符号長に満たない場合には前記所定のサブバンドの符号化データにダミーデータを付加することで前記所定符号長となる固定長符号化データを生成する生成手段とを備え、
    前記所定のサブバンドは少なくとも最低周波数のサブバンドを含み、
    前記生成手段は、少なくとも前記最低周波数のサブバンドについて固定長の符号化データを生成する
    ことを特徴とする符号化装置。
13. 動画像を構成する各フレームの画像データを符号化する符号化方法であって、
    入力した画像データに対して離散ウェーブレット変換を行うことで、複数個の周波数サブバンドの変換係数を生成する変換工程と、
    前記サブバンドの各々をエントロピー符号化し、各サブバンド毎の符号化データを生成する符号化工程と、
    前記各サブバンドにおける所定のサブバンドの符号化データ量を監視し、該所定のサブバンドの符号化データ量が所定符号長を越える場合には、当該所定のサブバンドの前記所定符号長を越えた部分に含まれる符号化データを除去し、前記所定符号長に満たない場合には前記所定のサブバンドの符号化データにダミーデータを付加することで前記所定符号長となる固定長符号化データを生成する生成工程とを備え、
    前記所定のサブバンドは少なくとも最低周波数のサブバンドを含み、
    前記生成工程は、少なくとも前記最低周波数のサブバンドについて固定長の符号化データを生成する
    ことを特徴とする符号化方法。
14. 前記符号化データが固定長化される所定のサブバンドは、最低周波数のサブバンド、及びその次以降に高い周波数のサブバンドであることを特徴とする請求項１３に記載の符号化方法。
15. コンピュータを、請求項１２の符号化装置として機能させるためのコンピュータプログラムを格納したことを特徴とするコンピュータ可読の記憶媒体。
16. 動画像を構成する各フレームの画像データを符号化する符号化装置であって、
    入力した画像データに対して離散ウェーブレット変換を行うことで、複数個の周波数サブバンドの変換係数を生成する変換手段と、
    前記変換手段にて得られた複数の周波数サブバンドをコードブロックに分割する分割手段と、
    前記分割手段にて得られたコードブロックをビットプレーン化し、各ビットプレーンを３つのコーディングパスに分解する分解手段と、
    前記各コーディングパスを符号化し、得られる符号化データを複数のレイヤに分配することにより、レイヤ構造を有する符号化データを生成する符号化手段と、
    前記各レイヤにおける所定のレイヤの符号化データを所定の符号長になる様に制御する符号長制御手段とを備え、
    前記所定のレイヤは少なくとも最上位レイヤを含み、
    前記最上位レイヤの符号化データは固定長の符号化データである
    ことを特徴とする符号化装置。
17. 動画像を構成する各フレームの画像データを符号化する符号化方法であって、
    入力した画像データに対して離散ウェーブレット変換を行うことで、複数個の周波数サブバンドの変換係数を生成する変換工程と、
    前記変換工程にて得られた複数の周波数サブバンドをコードブロックに分割する分割工程と、
    前記分割工程にて得られたコードブロックをビットプレーン化し、各ビットプレーンを３つのコーディングパスに分解する分解工程と、
    前記各コーディングパスを符号化し、得られる符号化データを複数のレイヤに分配することにより、レイヤ構造を有する符号化データを生成する符号化工程と、
    前記各レイヤにおける所定のレイヤの符号化データを所定の符号長になる様に制御する符号長制御工程とを備え、
    前記所定のレイヤは少なくとも最上位レイヤを含み、
    前記最上位レイヤの符号化データは固定長の符号化データである
    ことを特徴とする符号化方法。
18. 前記符号化データが固定長化される所定のレイヤは、複数のレイヤの夫々であることを特徴とする請求項１７に記載の符号化方法。
19. コンピュータを、請求項１６の符号化装置として機能させるためのコンピュータプログラムを格納したことを特徴とするコンピュータ可読の記憶媒体。

Images