JP3548163B2

JP3548163B2 - 画像復号方法および装置

Info

Publication number: JP3548163B2
Application number: JP2002039612A
Authority: JP
Inventors: 茂之岡田
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2001-02-20
Filing date: 2002-02-18
Publication date: 2004-07-28
Anticipated expiration: 2022-02-18
Also published as: JP2002325257A

Description

【０００１】
【発明の属する技術分野】
この発明は画像復号技術、とくに符号化された画像データを復号する方法および装置に関する。
【０００２】
【従来の技術】
近年、ＰＣ（パーソナルコンピュータ）を代表とする各種情報機器の普及、デジタルカメラやカラープリンタなどの大衆化、インターネット人口の爆発的な増加などにより、一般人の日常生活にデジタル画像の文化が深く浸透した。こうした状況下、静止画像、動画像については、それぞれＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔＧｒｏｕｐ）、ＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）などの符号化圧縮技術が標準化され、ＣＤ−ＲＯＭなどの記録媒体や、ネットワークまたは放送波などの伝送媒体を通じた画像の配信および再生の利便性が改善されてきた。ＪＰＥＧの系列において、その進化版ともいうべきＪＰＥＧ２０００が発表され、またＭＰＥＧについても中長期に及ぶ目標が策定されており、今後も画像処理技術が機器の機能向上へ寄与することに疑いはない。
【０００３】
たとえば、デジタルカメラひとつをとってみても、最近では動画撮影機能が充実し、ムービーカメラの独自領域が狭まっている。ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）の画素数もミリオンオーダになり、高速連写撮影機能を搭載するものもある。銀塩カメラにこだわりつづけるユーザもいるが、デジタル化の波は音楽レコードをコンパクトディスクに置き換えたように、とどまるところを知らない。
【０００４】
【発明が解決しようとする課題】
しかしながら、民生機器の進展には、つねに機能、操作性、およびコストが一体に検討されなければならない。機能面の充実は、操作性とコストへの期待を生む。たとえば、動画再生機能や高速連写機能をデジタルカメラに搭載する場合、圧縮符号化されていったんメモリカード等へ格納された画像データを読み出し、これを表示に間に合うタイミングで復号および伸張しなければならない。このためには高速の画像デコーダを搭載しなければならず、一般にコスト、消費電力、実装面積などの面で不利になりやすい。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、コストまたは消費電力などの面で有利な画像復号技術を提供することにある。
【０００６】
【課題を解決するための手段】
特開平１１−２２５３３７号公報には、伝送路の速度のばらつきを考慮し、画像データの送信元が適宜データ伝送をうち切る技術が開示されている。また、その中で、本発明が適用可能なウェーブレット変換を利用する旨も開示されている。この技術は、伝送路が正常な場合は働かないことを主眼として設計されている。一方、本発明は、伝送路には関係なく、復号側のコストダウン等を目的とする。
【０００７】
本発明のある態様は、画像復号方法に関する。この方法は、動画をフレームベースで符号化した符号化画像データにおいて、規定時間内にその符号化画像データに含まれる任意のフレームの復号が完了しない状勢になったとき、以降そのフレームの復号を簡略化処理に切り替えて行う。このため、さして複雑または高速な処理をしなくとも、一応の画質を維持しながらコマ落ちなどの好ましくない再生を防止できる。「完了しない状勢になったとき」とは、実際に完了しなかったときのほか、途中経過から判断して完了しないことが高い確率で予想されたときを含む。
【０００８】
なお、この態様は、符号化画像データを取得する工程と、取得した符号化画像データを復号処理に投入する工程と、復号処理の経過時間を監視する工程と、監視の結果、復号処理の途中のチェックポイントにおける経過時間が所定の制限時間を上回ったとき、以降の復号処理を簡略化処理に切り替える工程とを含んでもよい。
【０００９】
「規定時間」の例は、１秒間に３０フレームを動画として復号再生する場合の１／３０秒や、１秒間に５フレームを高速連写画像として復号再生する場合の１／５秒などであってもよい。
【００１０】
このとき、フレームの復号を複数の段階に分け、それらの段階ごとに制限時間を設け、いずれかの段階においてその段階について定められた制限時間が経過したとき、その段階において以降の処理を簡略化してもよい。「複数の段階」として、色コンポーネントごとの復号の段階、画像領域ごとの復号の段階があるが、これらに限らず、制限時間と経過時間が比較できる区分であればよい。
【００１１】
符号化画像データは動画をフレーム単位で独立して符号化したものであり、簡略化処理はそのフレームに閉じた処理であってもよい。この場合、簡略化処理の結果はそのフレームに閉じるため、別のフレームの画質へ影響しない。
【００１２】
本発明の別の態様は、画像復号装置に関する。この装置は、動画をフレームベースで符号化した符号化画像データを復号する復号ユニットと、規定時間内にその符号化画像データに含まれる任意のフレームの復号が完了しない状勢になったとき、以降そのフレームの復号を簡略化処理に切り替える簡略化ユニットとを含む。簡略化ユニットは、復号ユニットに代わって自ら簡略化された復号を実行してもよいし、単に復号ユニットに対して簡略化処理を指示してもよい。
【００１３】
簡略化ユニットは、画像を構成する複数の色コンポーネントのそれぞれ、または複数の領域のそれぞれを復号する段階において前記制限時間と経過時間の比較および必要に応じた簡略化処理を行ってもよい。「必要に応じた」とは、制限時間を守っている限り、簡略化処理が不要なことをいう。ただし、その場合でも別の理由から簡略化処理をすることに差し支えはない。
【００１４】
簡略化ユニットは、複数の段階のいずれかが早く完了した場合、残りの段階に割り当てられた制限時間を緩和してもよい。さらに巨視的に見て、複数のフレームのいずれかの復号が早く完了した場合、つぎに復号すべきフレームに割り当てられた規定時間を緩和してもよい。たとえば、規定時間が本来１／３０秒であっても、あるフレームが１／６０秒で復号できれば、つぎのフレームの規定時間は、１／３０＋（１／３０−１／６０）＝１／２０秒としてもよい。この場合でも、１／３０秒ごとの再生に間に合わせることができる。
【００１５】
簡略化ユニットは、画像の高周波成分を強制的にゼロとみなして簡略化処理をしてもよい。ＪＰＥＧ２０００に基づく復号の場合、ＨＨサブバンドなどを無効係数、すなわちすべてゼロとみなす方法がある。
【００１６】
簡略化ユニットは、高周波成分を強制的にゼロとみなしたときに得られる、低周波成分を主体とする復号画像の解像度が所望の値に到達していない場合、この復号画像の解像度を調整してから出力してもよい。ＪＰＥＧ２０００に基づく復号の場合、規定時間内でＬＬサブバンドしか復号できなかったとき、このままでは画像サイズ、すなわち解像度が、最終的に得るべき復号画像（以下単に「復号画像」といえば、最終的に得るべき復号画像とする）の１／４しかない。そこで他のサブバンドをゼロとみなすか、このＬＬサブバンドの画像を補間によって縦横２倍ずつの画像へ変換して出力してもよい。
【００１７】
簡略化ユニットは、復号の初期段階でなされる低周波成分の復号が前記規定時間に完了しない状勢になったとき、その低周波成分の下位ビットプレーンに相当する画像部分の処理をスキップしてもよい。すなわち、ＪＰＥＧ２０００の場合、ＬＬサブバンドすら全部は復号できない状況のとき、ＬＬサブバンドの下位ビットプレーンを無視してもよい。
【００１８】
簡略化ユニットは、復号の目的である動画の再生が停止されたとき、その時点において復号中だったフレームはその時点以降簡略化処理をせず、このフレームに対して以降通常の復号がなされてもよい。たとえば、ユーザが再生停止の指示を出したとき、最後に表示されるべきフレームには、十分の復号時間が与えられることによる。
【００１９】
本発明のさらに別の態様も画像復号装置に関する。この装置は、撮像ブロックと、それを機構面で制御する機構制御ブロックと、撮像によって得られたデジタル画像を処理する処理ブロックとを含み、前記処理ブロックは、前記デジタル画像から生成された符号化画像データを復号する復号ユニットと、規定時間内にその符号化画像データに含まれる任意のフレームの復号が完了しない状勢になったとき、以降そのフレームの復号を簡略化処理に切り替える簡略化ユニットとを含む。
【００２０】
本発明のさらに別の態様も画像復号装置に関する。この装置は、受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックを含み、前記処理ブロックは、前記受信信号から抽出されたデジタル画像の符号化画像データを復号する復号ユニットと、規定時間内にその符号化画像データに含まれる任意のフレームの復号が完了しない状勢になったとき、以降そのフレームの復号を簡略化処理に切り替える簡略化ユニットとを含む。
【００２１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００２２】
【発明の実施の形態】
以下、本発明の好適な実施の形態を説明する。この実施の形態は、ＪＰＥＧ２０００によって符号化された画像データを復号する装置に関する。
【００２３】
図１は、ＪＰＥＧ２０００にもとづく復号の過程を説明する図である。同図のごとく、まず符号化画像データＣＩ（ＣｏｄｅｄＩｍａｇｅ）が入力され、後述のごとく、算術復号、ピットプレーン復号などの処理を経たのち、逆量子化処理を受ける。この段階で、原画像に対して２回ウェーブレット変換が施された画像（以下、第２階層の画像ＷＩ２という）が得られる。つづいてこの画像にウェーブレット逆変換が施され、第１階層の画像ＷＩ１が生成される。さらにこの画像に対してもう１度ウェーブレット逆変換が施され、復号画像ＤＩ（ＤｅｃｏｄｅｄＩｍａｇｅ）が得られる。
【００２４】
いま、理解の容易のために符号化の手順を示せば、これは図１の処理の逆変換といえる。すなわち、図１において復号画像ＤＩとされた部分が原画像であり、これに対して１回ウェーブレット変換が施され、第１階層の画像ＷＩ１が生成される。ＪＰＥＧ２０００で利用されるウェーブレット変換のフィルタは、Ｄａｕｂｅｃｈｉｅｓフィルタであり、その本質は、画像の縦横に対してそれぞれ同時にハイパスフィルタおよびローパスフィルタを作用させる点にある。したがって、その変換の結果画像はｘ、ｙの両方向に低周波成分を有するＬＬサブバンドと、ｘ、ｙの一方向に低周波成分を有し、かつ他方向に高周波成分を有するＨＬサブバンドおよびＬＨサブバンドと、ｘ、ｙの両方向に高周波成分を有するＨＨサブバンドの合計４つのバンドに分割される。またこのフィルタは、ｘ、ｙの両方向について画素数を１／２に軽減する作用も併せもつ。したがって、図１に示すごとく、第１階層の画像ＷＩ１において、模式的に示された４つのサブバンド（ここではＬＬ１、ＨＬ１、ＬＨ１、ＨＨ１と表記する）が生成される。
【００２５】
符号化におけるウェーブレット変換では、所定の回数フィルタリングが施される。図１では、ウェーブレット変換は２回おこなわれ、第２階層の画像ＷＩ２が生成される。２回目以降のウェーブレット変換は、直前の階層の画像のうち、ＬＬサブバンド成分に対してのみ施される。したがって、第２階層の画像ＷＩ２において、第１階層の画像ＷＩ１のＬＬ１サブバンドが、４つのサブバンドであるＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２に分解されている。符号化処理においては、このあと量子化、その他の処理を経て最終的に符号化画像データＣＩが得られる。
【００２６】
階層化された画像について注意すべきは、原画像における低周波成分が、図１において、より左上に現れることである。図１の場合、第２階層の画像ＷＩ２の左上隅にあるＬＬ２サブバンドがもっとも低周波であり、逆にいえば、このＬＬ２サブバンドさえ得ることができれば、原画像のもっとも基本的な性質を再現することができる。この知見が、以下の実施の形態で利用されている。
【００２７】
図２は画像復号装置１０の構成を示す。この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた画像復号機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２８】
画像復号装置１０は、おもに復号ユニット１２と簡略化ユニット３０からなる。復号ユニット１２は、符号化画像データＣＩを受け取り、そのデータストリームを解析するストリーム解析器１４と、解析の結果判明した復号すべきデータ列に対して算術復号を施す算術復号器１６と、その結果得られたデータを色コンポーネント毎にビットプレーンの形で復号するビットプレーン復号器１８と、その結果を逆量子化する逆量子化器２０と、逆量子化の結果得られた第ｎ階層の画像ＷＩｎにウェーブレット逆変換を施すウェーブレット逆変換器２４を含む。ウェーブレット逆変換器２４は、フレームバッファ２２をワークエリアとして利用する。最終的に復号が完了して得られた復号画像ＤＩは、フレームバッファ２２から任意の目的へ向けて出力される。
【００２９】
一方、簡略化ユニット３０は、復号の進行状況を監視し、経過時間が所定の制限時間を超えたとき、復号処理を簡略化処理へ強制的に切り替える強制変換器３２と、強制変換器３２が参照する制限時間を格納する制限時間テーブル３４と、ユーザが動画の再生中に停止を指示したときこれを検出する再生停止検出部３６を含む。ユーザが動画を再生しているとき一時停止または再生終了を指示した場合、その瞬間に復号および再生されていたフレームは、事実上復号のための制限時間から解放される。したがって、再生停止検出部３６によってそうした指示が検出された場合、そのフレームについては強制変換器３２による簡略化処理を回避し、通常どおり完全な復号および再生をさせる。ただし、すでに強制変換器３２による簡略化処理が始まっている場合もあり、その場合は可能なかぎり以降の復号処理を通常通りの方法でおこなえばよい。
【００３０】
強制変換器３２は、経過時間を計時するためにクロックＣＬＫを参照している。クロックＣＬＫは、強制変換器３２の内部で必要に応じて分周され、図示しないカウンタでカウントされ、所定の時間が計時される。ただし、強制変換器３２はクロックＣＬＫを利用する代わり、ＰＩＴ（プログラマブル・インターラプト・タイマ）など、外部に設けられた計時手段を参照してもよい。またここでは、強制変換器３２はウェーブレット逆変換器２４における処理の進行を監視しているが、これは必ずしもそうである必要はなく、ストリーム解析器１４からウェーブレット逆変換器２４に至るいずれの段階の処理の経過時間を監視してもよい。以下、監視の対象となる処理を単に「復号」で代表させる。
【００３１】
図３は、復号処理の各段階における制限時間と経過時間、および簡略化処理の起動の関係を示す。同図のごとく、フレーム期間はＴｆとされ、動画の復号の場合、たとえばＴｆ＝１／２４、１／３０秒などと設定される。制限時間は処理の段階に応じ、３つ設定される。ＪＰＥＧ２０００における復号は、色コンポーネントである輝度Ｙ、色差Ｃｂ、Ｃｒのそれぞれを独立に処理する。同図では、輝度Ｙの復号の制限時間がＴｙ、色差Ｃｂの復号の制限時間がＴｂ、同様に色差Ｃｒの復号の制限時間がＴｒと定められている。これらの制限時間は、制限時間テーブル３４へあらかじめ格納されている。制限時間を色コンポーネント毎に定めることにより、ある色成分だけが復号され、他の成分がまったく復号されないと云った不自然な画像の再生が防止される。制限時間の比率は、それぞれの処理段階に必要な平均的時間の比をもとに設定されてもよいし、重要な色コンポーネント、たとえば輝度Ｙについて大きめに割り振ってもよいし、その他実験などを通じて任意に設定することができる。
【００３２】
ＪＰＥＧ２０００では、復号は同一階層の画像についてＬＬ、ＨＬまたはＬＨ、ＨＨサブバンドの順におこなわれる。したがって、まず輝度Ｙに関し４つのサブバンドがこの順に復号され、つづいて色差Ｃｂ、Ｃｒのそれぞれ４つのサブバンドが復号される。
【００３３】
いま、輝度Ｙの復号処理においてＬＬ、ＨＬ、ＬＨの３つのサブバンドの処理は正常に終了したが、最後のＨＨサブバンドの処理中に制限時間Ｔｙが過ぎたとする。この場合、輝度Ｙに関する復号処理はうち切られ、同図において「処理Ａ」と表記された簡略化処理へ移行する。つづいて、色差Ｃｂの復号処理が開始され、ＬＬサブバンドの復号は正常に完了したが、つぎのＨＬサブバンドの復号の途中で制限時間Ｔｂが過ぎたとする。この場合、色差Ｃｂに関する復号処理は中止され、同図で「処理Ｂ」と表記した簡略化処理へ移行する。つぎに、復号処理は色差Ｃｒへ移る。この復号処理においては、最初のサブバンドであるＬＬの処理中に制限時間Ｔｒが過ぎたとする。このとき復号処理は中止され、同図で「処理Ｃ」と表記された簡略化処理へ移行する。処理Ａ、Ｂ、Ｃは、いずれも強制変換器３２がそれぞれの制限時間および実際に処理にかかった経過時間を比較して起動する。
【００３４】
図４（ａ）、図４（ｂ）、図４（ｃ）は、それぞれ強制変換器３２による処理Ａ、Ｂ、Ｃの内容を模式的に示す。図４（ａ）に示すごとく、強制変換器３２は処理Ａとして、復号の途中で処理がうち切られたＨＨサブバンドについて、その係数を無効化する。すなわち、ＨＨサブバンドの全成分を０に置き換える。強制変換器３２はこの処理のためにウェーブレット逆変換器２４と協調し、ウェーブレット逆変換器２４が、本来であれば逆変換ののちにＨＨサブバンドの成分を格納するはずだった領域に対し、強制変換器３２が「０」を格納する。この簡略化処理によれば、輝度Ｙの復号を制限時間Ｔｙに収めることができ、かつ人の眼が一般に高周波成分にあまり敏感でないことを利用し、画質の低下を最小限にとどめることができる。
【００３５】
図４（ｂ）は強制変換器３２が処理Ｂとしておこなう簡略化処理を表す。同図のごとく、色差Ｃｂの復号処理においては、正常に復号できたサブバンドがＬＬのみであった。そのため、同図に示すごとく、ＬＬサブバンド以外の３つのサブバンドの係数をすべて無効化し、０で埋めている。この場合も、低周波成分を残す趣旨である。一般に、ＪＰＥＧ２０００で採用されるウェーブレット変換用のフィルタは低ビットレートにおける画質を重視して設計されており、ＬＬサブバンドのみによる画像の再生でも、比較的高い画質が維持できる。ここではその性質を利用する。
【００３６】
図４（ｃ）は、強制変換器３２による処理を表す。色差Ｃｒの処理においては、最初のサブバンドであるＬＬですら完全には終わらなかった。このため、同図でＬＬ’と示すごとく、ＬＬサブバンドのデータに処理を施している。具体的には、ＬＬサブバンドを構成する複数のビットプレーンのうち、下位のビットプレーンの処理をスキップすることにより、処理時間の短縮を図っている。
【００３７】
図５（ａ）は、第２階層ＷＩ２におけるＬＬ２サブバンドとビットプレーンの関係を示す。同図のごとく、第２階層の画像ＷＩ２において、まずＬＬ２サブバンドが、同図において直方体５０で示されるごとく、すべてのビットプレーンを縦断する形で復号される。したがって、そのＬＳＢ（最下位ビット）に近い方のビットプレーンからスキップすることにより、画質の低下を最小限に抑えつつ、処理時間の短縮を図ることができる。
【００３８】
図５（ｂ）では、ＬＬ２サブバンドに関する直方体５０が有効なビットプレーンによって形成される部分５２とスキップする部分５４に分けられている。ここでは、制限時間Ｔｒとの関連で、最下位のビットプレーン１枚が捨てられている。
【００３９】
以上、簡略化ユニット３０、特に強制変換器３２の簡略化処理により、フレーム期間Ｔｆ毎に１枚のフレームが再生できるため、所望の速度で動画や連写画像をコマ落ちなく再生することができる。またその際、画質の低下の防止に配慮されているため、比較的自然な画像が得られる。さらに、色コンポーネント毎に制限時間を割り振っているため、フレーム間で色のばらつきが生じる可能性も低い。したがってこの実施の形態によれば、比較的小規模な構成で、実用上非常に大きなメリットを生むことができる。
【００４０】
いままでは、画像の復号中に制限時間が経過する場合を考えた。しかしながら、状況によっては逆に、制限時間が余る場合も考えられる。図６は、そうした状況において制限時間を再スケジューリングする方法を示す。
【００４１】
同図において、フレーム期間Ｔｆは図３と同じであり、また３つの制限時間Ｔｙ、Ｔｂ、Ｔｒもそれぞれ図３と同じである。この状態でまず、輝度Ｙの復号処理が開始され、ＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドがすべて制限時間Ｔｙの範囲で完了したとする。同図では、制限時間Ｔｙに対し時間的な余裕Ｔｍが生じている。この場合、この余裕Ｔｍを色差ＣｂおよびＣｒの復号に算入することができる。したがって、同図のごとく、色差Ｃｂ、Ｃｒに対する制限時間Ｔｂ、Ｔｒがそれぞれ緩和され、より長い制限時間Ｔｂ’、Ｔｒ’に変更されている。
【００４２】
この方法によれば、ある色コンポーネントの復号が完全に終了した場合、その波及効果として他の色コンポーネントの復号にも時間的な余裕が生じ、結果として完全に復号される色コンポーネントが増える。そのため、色のバランスを保ちながら全体の画質が向上する。
【００４３】
なお、３つの色コンポーネントのすべて、またはいずれかが制限時間内に復号された場合、このフレーム全体の復号時間がもともとの規定時間であるフレーム期間Ｔｆよりも短い場合がある。この場合は、同様の再スケジューリングの考え方をフレーム間に拡張する。すなわち、あるフレームを復号したときに時間的な余裕が発生した場合、この余裕を次のフレーム期間Ｔｆに加算すればよい。この方法によれば、より多数のフレームを完全に、またはより高画質で再生することができる。また、この実施の形態によれば、画像復号装置１０に過度な負担をかけることなく、低コストおよび低消費電力で所望の再生画像が得られる。
【００４４】
図７は別の実施の形態に係るデジタルカメラ２００の構成を示す。デジタルカメラ２００は、撮像ブロック２０２、機構制御ブロック２０４、処理ブロック２０６、ＬＣＤモニタ２０８、および操作ボタン群２１０を含む。
【００４５】
撮像ブロック２０２は、図示しないレンズ、絞り、光学ローパスフィルタ、ＣＣＤ、信号処理部等を含む。ＣＣＤの受光面上に結像した被写体像の光量に応じてＣＣＤに電荷が蓄積され、電圧信号として読み出される。電圧信号は信号処理部でＲ、Ｇ、Ｂ成分に分解され、ホワイトバランス調整、ガンマ補正が行われる。その後、Ｒ、Ｇ、Ｂ信号はＡ／Ｄ変換され、デジタル画像データとなって処理ブロック２０６へ出力される。
【００４６】
機構制御ブロック２０４は、撮像ブロック２０２の光学系の制御、すなわちズーム、フォーカス、絞りなどの駆動を制御する。
処理ブロック２０６は、デジタルカメラ２００全体の制御に利用されるＣＰＵ２２０とメモリ２２２のほか、ＹＣ処理部２２６、カード制御部２２８、通信部２２４を有する。これらのうち、ＣＰＵ２２０の機能の一部とメモリ２２２にロードされた画像復号プログラムが、図２の画像復号装置１０に相当する。図２のフレームバッファ２２もこのメモリ２２２の一部を利用して実現することができる。なお、このデジタルカメラ２００は、メモリカード２３０へ画像データを保存すべく、図示しない画像符号化装置もＣＰＵ２２０とメモリ２２２によって実現されている。したがって、以下符号化も復号も可能な構成として説明する。
【００４７】
ＹＣ処理部２２６は、デジタル画像データから輝度Ｙと色差Ｃｂ、Ｃｒを生成する。輝度と色差は独立に順次符号化される。符号化画像データＣＩは、通信部２２４を介して外部へ出力され、またはカード制御部２２８を介してメモリカード２３０へ書き込まれる。
【００４８】
通信部２２４は、標準的な通信仕様に応じたプロトコル変換等の制御を行い、この他に、例えばプリンタ、ゲーム機等の外部機器との間で個別のインタフェイスによるデータ授受を行う。
【００４９】
ＬＣＤモニタ２０８は、撮影／再生モード、ズーム倍率、日時などのほかに、撮影した動画、高速連写画像、静止画などを表示する。したがって、ユーザが動画を撮影した場合、まずこれが符号化圧縮され、例えばメモリカード２３０へ記録される。ユーザがその動画を再生するとき、必要に応じて実施の形態に特徴的な簡略化処理がなされる。なお、操作ボタン群２１０は、ユーザが撮影を行い、または各種動作モードを設定するためのパワースイッチ、レリーズスイッチ等を含む。
【００５０】
以上の構成により、つぎの効果が生じる。
１．静止画を撮影して再生する場合、復号に物理的な制限時間はない。そのため、復号は簡略化されず、最高画質による再生がなされる。ただし、静止画であっても長すぎる復号時間は問題になりうるため、実施の形態に係る簡略化処理を施してもよい。
２．動画を撮影して再生する場合、フレームレートが決まっているため、場合により、簡略化処理がなされる。このため、画像復号装置１０をさして高速化しないでも、画質の維持とコマ落ちの防止が実現する。画像復号装置１０に高い仕様を要求しないでよいため、コストメリットと消費電力にメリットがある。
３．動画の再生中に停止または一旦停止が指示されたとき、最後のフレームについては簡略化処理がなされないため、その画質は最高またはそれに近くなる。とくに、そのフレームは事実上静止画として比較的長い時間ユーザの目に触れるため、そのことによるメリットは大きい。
【００５１】
図８は、さらに別の実施の形態に係るテレビジョン受信装置３００の構成を示す。テレビジョン受信装置３００は、アンテナ３０２とそれを介して放送波を受信する受信ブロック３０４と、受信ブロック３０４による処理の結果得られた画像および音声データを処理する処理ブロック３０６と、処理ブロック３０６によって復号された音声および画像を再生する再生ブロック３０８を含む。またインタフェイスブロック３３６は、処理ブロック３０６による復号画像データを適宜外部機器へ出力する。
【００５２】
受信ブロック３０４はチューナ３２０およびパケット分離部３２２を含む。チューナ３２０はユーザが選んだチャネルを含むトランスポンダを選択し、ＱＰＳＫ復調を施す。復調で得られた複数のトランスポートパケットを含むストリームはパケット分離部３２２へ送られる。パケット分離部３２２はデマルチプレクサであり、所望のチャンネルに対応するパケットを分離して処理ブロック３０６へ出力する。
【００５３】
処理ブロック３０６の画像・音声デコーダ３３４はＣＰＵ３３０およびメモリ３３２と連携し、放送局で符号化され送信された画像および音声データを復号する。画像・音声デコーダ３３４は、入力されたパケットを復号し、音声データを音声出力部３４０へ、画像データを表示装置３４４へそれぞれ出力する。音声出力部３４０は、入力された音声データに所定の処理を施し、最終的に音声がスピーカ３４２へ出力される。処理ブロック３０６の構成、すなわち画像・音声デコーダ３３４、ＣＰＵ３３０、メモリ３３２のうち、画像復号に関する部分が図２の画像復号装置１０に相当する。以上の構成によれば、非常に低いコストと消費電力で、いわゆるデジタルテレビを実現することができる。このテレビは、例えば携帯電話などの小型機器に搭載することも可能である。
【００５４】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。
【００５５】
図４（ｂ）の処理Ｂでは、ＬＬサブバンド以外の３つのサブバンドの成分をすべて無効化した。しかしながら、これ以外の方法として、ＬＬサブバンド以外の成分は不問とし、単純にＬＬサブバンドを縦横２倍に拡大するスケールアップ処理をおこなってもよい。この場合、画素間を補間する処理が用いられるが、そのためのフィルタの特性がＪＰＥＧ２０００のウェーブレット逆変換に利用されるものと同一である場合、３つのサブバンドの成分を無効化した場合と同じ画像が得られる。
【００５６】
実施の形態では、色コンポーネント毎に制限時間の割り当てを考えた。しかしながら、これ以外にも画像の他の属性に応じて制限時間を割り振ってもよい。たとえば、画像が複数の領域に分割され、領域毎に復号処理がおこなわれる場合、その領域毎に制限時間を割り当ててもよい。その場合、領域の面積に比例して時間を割り当てたり、画像の中央に近い領域に比較的長い時間を割り当てたり、画像の中で目立つ領域、たとえば輝度が高い領域に比較的長い時間を割り当てたり、動きが大きな領域、たとえば動きベクトル成分が大きな領域に比較的長い時間を割り当てたり、オブジェクトとして重要性の高い領域、たとえばテレビ電話における人の顔の領域に長い時間を割り当てるなどの方法が考えられる。また、ＪＰＥＧ２０００では、画像をあらかじめタイルに分割する方法も可能であり、その場合はタイル毎に同様の割り当てをすればよい。この場合も、ある領域の処理が制限時間以内に終われば、他の領域の制限時間を再スケジューリングすればよい。
【００５７】
図４（ｃ）において、ＬＬサブバンドの下位ビットプレーンの処理を省略した。別の方法として、より以前に復号が完了している階層の画像のＬＬサブバンドを利用してもよい。たとえば、図１において、第１階層の画像ＷＩ１のＬＬ１サブバンドの復号が完了しなかった場合、そのひとつ前の階層である第２階層の画像ＷＩ２のＬＬ２サブバンドを拡大して利用してもよい。
【００５８】
図４（ｃ）では、ＬＬサブバンドについて下位ビットプレーンの処理を省略することにより、処理時間の短縮を図った。別の復号の方法として、最上位ビットプレーンから順に、ビットプレーン単位で４つのサブバンドの処理を行ってもよい。すなわち、あるビットプレーンについて、ＬＬ、ＨＬまたはＬＨ、ＨＨサブバンドの順に処理が行われた後に、次の下位のビットプレーンについて、同じ順で処理が行われる。この復号方法においても、制限時間が過ぎたとき、未処理の下位ビットプレーンの処理を省略することにより、復号処理の簡略化を行うことができる。この場合、図５（ａ）、（ｂ）に示した場合とは異なり、４つのサブバンド全体について、下位ビットプレーンの処理が省略される。
【００５９】
【発明の効果】
本発明によれば、比較的小さな規模の構成で、比較的高い画質の画像を復号することができる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００によって符号化画像データが復号される一連の手順を示す図である。
【図２】実施の形態に係る画像復号装置の構成図である。
【図３】実施の形態において、フレーム期間と制限時間および実際の復号処理の関係を示す図である。
【図４】図４（ａ）、図４（ｂ）、図４（ｃ）は、簡略化ユニットによっておこなわれる簡略化処理をそれぞれ示す図である。
【図５】図５（ａ）、図５（ｂ）は、ＪＰＥＧ２０００において、ある階層のＬＬサブバンドとビットプレーンの関係を示す図である。
【図６】実施の形態において、ある復号処理の段階に時間的な余裕が生じた場合、他の復号の段階の制限時間を再スケジューリングするようすを示す図である。
【図７】実施の形態に係るデジタルカメラの構成図である。
【図８】実施の形態に係るテレビジョン受信装置の構成図である。
【符号の説明】
１０画像復号装置、１２復号ユニット、１４ストリーム解析器、１６算術復号器、１８ビットプレーン復号器、２０逆量子化器、２２フレームバッファ、２４ウェーブレット逆変換器、３０簡略化ユニット、３２強制変換器、３４制限時間テーブル、３６再生停止検出部、２００デジタルカメラ、２０２撮像ブロック、２０４機構制御ブロック、２０６処理ブロック、２０８ＬＣＤモニタ、２１０操作ボタン群、２２０ＣＰＵ、２２２メモリ、２２４通信部、２２６ＹＣ処理部、２２８カード制御部、２３０メモリカード、３００テレビジョン受信装置、３０２アンテナ、３０４受信ブロック、３０６処理ブロック、３０８再生ブロック、３２０チューナ、３２２パケット分離部、３３０ＣＰＵ、３３２メモリ、３３４画像・音声デコーダ、３３６インタフェイスブロック、３４０音声出力部、３４２スピーカ、３４４表示装置。

Claims

符号化画像データを復号する方法において、
前記符号化画像データは動画をフレームベースで符号化したものであり、
規定時間内にその符号化画像データに含まれる任意のフレームの復号が完了しない状勢になったとき、以降そのフレームの復号を簡略化処理に切り替えて行うことを特徴とする画像復号方法。
フレームの復号を複数の段階に分け、それらの段階ごとに制限時間を設け、いずれかの段階においてその段階について定められた制限時間が経過したとき、その段階の以降の処理を簡略化することを特徴とする請求項１に記載の画像復号方法。
前記複数の段階のいずれかが早く完了した場合、残りの段階に割り当てられた制限時間を緩和することを特徴とする請求項２に記載の画像復号方法。
前記符号化画像データは動画をフレーム単位で独立して符号化したものであり、かつ前記簡略化処理は各フレームに閉じた処理であることを特徴とする請求項１から３のいずれかに記載の画像復号方法。
動画をフレームベースで符号化した符号化画像データを復号する復号ユニットと、
規定時間内にその符号化画像データに含まれる任意のフレームの復号が完了しない状勢になったとき、以降そのフレームの復号を簡略化処理に切り替える簡略化ユニットと、
を含むことを特徴とする画像復号装置。
前記簡略化ユニットは、フレーム復号の段階ごとに定められた制限時間と各段階の経過時間を比較し、経過時間が制限時間に到達したとき、その段階における以降の処理を簡略化することを特徴とする請求項５に記載の画像復号装置。
前記簡略化ユニットは、画像を構成する複数の色コンポーネントのそれぞれを復号する段階について前記制限時間と経過時間の比較および必要に応じた簡略化処理を行うことを特徴とする請求項６に記載の画像復号装置。
前記簡略化ユニットは、画像を構成する複数の領域のそれぞれを復号する段階について前記制限時間と経過時間の比較および必要に応じた簡略化処理を行うことを特徴とする請求項６に記載の画像復号装置。
前記簡略化ユニットは、複数の段階のいずれかが早く完了した場合、残りの段階に割り当てられた制限時間を緩和して適用することを特徴とする請求項６から８のいずれかに記載の画像復号装置。
前記簡略化ユニットは、複数のフレームのいずれかの復号が早く完了した場合、つぎに復号すべきフレームに割り当てられた規定時間を緩和して適用することを特徴とする請求項５から９のいずれかに記載の画像復号装置。
前記簡略化ユニットは、画像の高周波成分を強制的にゼロとみなして簡略化処理をすることを特徴とする請求項５から８のいずれかに記載の画像復号装置。
前記簡略化ユニットは、前記高周波成分を強制的にゼロとみなしたときに得られる、低周波成分を主体とする復号画像の解像度が所望の値に到達していない場合、この復号画像の解像度を調整してから出力することを特徴とする請求項１１に記載の画像復号装置。
前記簡略化ユニットは、復号の初期段階でなされる低周波成分の復号が前記規定時間に完了しない状勢になったとき、その低周波成分の下位ビットプレーンに相当する画像部分の処理をスキップすることを特徴とする請求項５から１２のいずれかに記載の画像復号装置。
前記簡略化ユニットは、画像の下位ビットプレーンの処理をスキップして簡略化処理をすることを特徴とする請求項５から１２のいずれかに記載の画像復号装置。
前記簡略化ユニットは、復号の目的である動画の再生が停止されたとき、その時点において復号中だったフレームはその時点以降簡略化処理をせず、このフレームに対して以降通常の復号がなされることを特徴とする請求項５から１４のいずれかに記載の画像復号装置。
前記符号化画像データは動画をフレーム単位で独立して符号化したものであり、前記簡略化ユニットは、各フレームに閉じた簡略化処理を行うことを特徴とする請求項５から１５のいずれかに記載の画像復号装置。
撮像ブロックと、それを機構面で制御する機構制御ブロックと、撮像によって得られたデジタル画像を処理する処理ブロックとを含み、
前記処理ブロックは、前記デジタル画像から生成された符号化画像データを復号する復号ユニットと、
規定時間内にその符号化画像データに含まれる任意のフレームの復号が完了しない状勢になったとき、以降そのフレームの復号を簡略化処理に切り替える簡略化ユニットと、
を含むことを特徴とする画像復号装置。
受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックを含み、
前記処理ブロックは、前記受信信号から抽出されたデジタル画像の符号化画像データを復号する復号ユニットと、
規定時間内にその符号化画像データに含まれる任意のフレームの復号が完了しない状勢になったとき、以降そのフレームの復号を簡略化処理に切り替える簡略化ユニットと、
を含むことを特徴とする画像復号装置。