JP4109777B2 - 画像処理装置及びその方法、コンピュータ可読メモリ - Google Patents

画像処理装置及びその方法、コンピュータ可読メモリ Download PDF

Info

Publication number
JP4109777B2
JP4109777B2 JP37164998A JP37164998A JP4109777B2 JP 4109777 B2 JP4109777 B2 JP 4109777B2 JP 37164998 A JP37164998 A JP 37164998A JP 37164998 A JP37164998 A JP 37164998A JP 4109777 B2 JP4109777 B2 JP 4109777B2
Authority
JP
Japan
Prior art keywords
data
sub
sampling
encoded
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP37164998A
Other languages
English (en)
Other versions
JP2000197041A (ja
JP2000197041A5 (ja
Inventor
章佳 浜中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP37164998A priority Critical patent/JP4109777B2/ja
Priority to US09/389,449 priority patent/US6603883B1/en
Publication of JP2000197041A publication Critical patent/JP2000197041A/ja
Priority to US10/452,226 priority patent/US6980667B2/en
Publication of JP2000197041A5 publication Critical patent/JP2000197041A5/ja
Application granted granted Critical
Publication of JP4109777B2 publication Critical patent/JP4109777B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、入力された符号化画像データを処理する画像処理装置及びその方法、コンピュータ可読メモリに関するものである。
【0002】
【従来の技術】
近年、画像信号の符号化技術や符号化データを通信したり蓄積したりする技術、また、符号化データを安価なコストで復号化処理するための半導体技術、復号化した画像を表示する技術等、いわゆる画像情報を扱うインフラ技術が発達してきた。
【0003】
これにより、動画像のような大量の情報を有する画像も遠隔地に転送し、お互いの情報を交換することが可能になってきた。動画像の符号化では、フレーム間の画像信号の相関性を利用して情報を大幅に削減することが可能で、その代表的な技術として以下に述べるものがある。
【0004】
即ち、ブロックごとに参照すべき画像の相対位置を表わす動きベクトルと称する情報を用い、その動きベクトルに基づいて得られる画素情報を予測値とする。その予測値と実際の画素値との差分値をDCT等の直行変換で変換し、人間の目の資格特性に基づいて、変換した差分値を削減するといった方法を用いている。この技術は、いわゆる動き補償予測符号化と言われているものである。
【0005】
さて、上述のような動画像の符号化、転送、復号化、表示といったことがあたりまえの時代になってくると、いろいろなレベルの画像表示端末が現われてくると予想される。ここで言うレベルとは、画像の処理能力や表示能力のことをさす。
【0006】
これに対応する技術として、階層符号化というものがある。これは、オリジナルの画像を、例えば、縦横それぞれ2分の1に間引き、それを低解像度レイヤとして符号化し、その低解像度レイヤを復号化して補間した画像とオリジナルの画像との差分情報を高解像度レイヤとして符号化するものである。
【0007】
処理能力や表示能力の高い画像表示端末では、低解像度レイヤと高解像度レイヤの両方の符号化データを復号化処理し、オリジナルに近い(画像情報を大幅に減らすため、符号化時に多少の劣化を許容している)画像を表示する。
【0008】
一方、処理能力や表示能力の低い画像表示端末では、低解像度レイヤのみを復号化処理することにより、少ない処理量で解像度の低い画像を表示する。
【0009】
ところで、最近は画像の分野でもオブジェクト符号化と言われる技術が実用されてきた。これは、1つの画像を、背景となる画像や該背景の前に存在するいくつかの物体(オブジェクト)とに区別し、それぞれに対し、独立に符号化処理を行なうものである。
【0010】
このような符号化を行なうと、以下のような利点がある。
【0011】
背景が静止していて、背景とは独立したオブジェクトの一部のみが動いている場合、背景や動いていないオブジェクトは再符号化する必要がなく、動いているオブジェクトのみ再符号化すればよい。よって、再符号化で発生する符号量、すなわち次のフレームで発生する符号量は大変少なくて済み、低い転送レートで、品質のよい画像を転送できる。
【0012】
また、オブジェクト画像にはCG(コンピュータ・グラフィクス)も取り扱うことが可能となっており、符号化器は符号化すべきCGのメッシュ(位置と形状変化)情報を符号化するだけでよく、伝送符号量のスリム化に貢献している。
【0013】
一方、復号化器側はCGに関するメッシュ情報から演算により画像を組み立てて画面にはめ込んだり、CGがフェイス・アニメーションであれば、受信した目鼻等の部品情報とその変形情報にしたがって復号化器側固有の目鼻等のキャラクタに対して、変形情報に基づく演算を施して画面にはめ込むことにより、アニメーションを構成するようになっている。
【0014】
【発明が解決しようとする課題】
従来の画像表示端末では、符号化画像データを復号化する際、どの階層まで復号化処理をするかが予め決まっている。そのため、表示対象の階層の選択や変更が不可能であり、画像表示端末が有する処理能力に合わせて、最高性能を活用するようにはなっていない。したがって、時間と共に変化する符号化画像データに対して、復号化器の性能に合った最適な復号ができなかった。
【0015】
また、CGの符号化/復号化処理は、一般的にハードウェアではなくソフトウェア処理に適していると言われており、実際にソフトウェアにて処理する例が多い。したがって、一画面内に存在するオブジェクトの数が増加した場合は、主として復号化器のハードウェア的負荷が急増するが、オブジェクトがフェイス・アニメーション等を構成するCGである場合は、ソフトウェア的負荷(演算量、演算時間)が増大する。
【0016】
CGで生成される顔画像の符号化は、ビジュアル規格ではFace Objectとして定義されている。MPEG4では、FDP(Face Definition Parameter)が顔画像の形状とテクスチャを定義するものとして規定され、FAP(Face Animation Parameter)が顔、眉、瞼、目、鼻、唇、歯、舌、頬、顎などの動きを表現するものとして規定されている。フェイス・アニメーションでは、FDP,FAPを演算処理し、組み合わせることによりアニメーションを構成するため、通常の自然画像の符号化画像データの復号よりも復号化器の負荷が大きいので、復号化器の性能により、復号不能等の支障を来す可能性があり、画像品質にもオブジェクトのフリーズや欠落等を引き起こすという問題点があった。
【0017】
本発明は上記の問題点に鑑みてなされたものであり、オブジェクト単位で符号化された符号化画像データを復号する際に、復号した画像のデータ量が多すぎて復号処理の破綻、例えばバッファのオーバーフローを引き起こすような場合に、画像をオブジェクト毎にサブ・サンプリング処理することで好適にデータ量を削減させることができる画像処理装置及びその方法、コンピュータ可読メモリを提供することを目的とする。
【0018】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
入力された符号化画像データを処理する画像処理装置であって、
オブジェクト単位で符号化されたデータを含む符号化画像データを入力して、複数のオブジェクト符号化データに分離する分離手段と、
前記分離手段によって分離されたオブジェクト符号化データを復号して、複数のオブジェクト復号データを出力する復号手段と、
前記複数のオブジェクト復号データのそれぞれに対して、オブジェクト毎にサブ・サンプリング処理を実行するサブ・サンプリング手段と、
前記複数のオブジェクト復号データを記憶する記憶手段と、
前記記憶手段に記憶されるオブジェクト毎の復号データを監視し、前記記憶手段がオーバーフローすると判定したときに、前記サブ・サンプリング手段に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる制御手段と
を備える。
【0019】
また、好ましくは、前記分離手段は、前記符号化画像データから前記復号手段を制御するための制御情報を含むヘッダ情報をさらに分離し、前記制御手段は、前記分離手段によって分離されたヘッダ情報と、前記記憶手段に記憶されるオブジェクト毎の復号データのデータ量とに従って、前記サブ・サンプリング手段に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる。
【0025】
上記の目的を達成するための本発明による画像処理方法は以下の構成を備える。即ち、
入力された符号化画像データを処理する画像処理方法であって、
オブジェクト単位で符号化されたデータを含む符号化画像データを入力して、複数のオブジェクト符号化データに分離する分離工程と、
前記分離工程によって分離されたオブジェクト符号化データを復号して、複数のオブジェクト復号データを出力する復号工程と、
前記複数のオブジェクト復号データのそれぞれに対して、オブジェクト毎にサブ・サンプリング処理を実行するサブ・サンプリング工程と、
前記複数のオブジェクト復号データを記憶媒体に記憶する記憶工程と、
前記記憶工程で前記記憶媒体に記憶されるオブジェクト毎の復号データを監視し、前記記憶工程がオーバーフローすると判定したときに、前記サブ・サンプリング工程に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる制御工程と
を備える。
【0026】
上記の目的を達成するための本発明によるコンピュータ可読メモリは以下の構成を備える。即ち、
入力された符号化画像データを処理する画像処理をコンピュータに実行させるためのプログラムが格納されたコンピュータ可読メモリであって、
オブジェクト単位で符号化されたデータを含む符号化画像データを入力して、複数のオブジェクト符号化データに分離する分離工程と、
前記分離工程によって分離されたオブジェクト符号化データを復号して、複数のオブジェクト復号データを出力する復号工程と、
前記複数のオブジェクト復号データのそれぞれに対して、オブジェクト毎にサブ・サンプリング処理を実行するサブ・サンプリング工程と、
前記複数のオブジェクト復号データを記憶媒体に記憶する記憶工程と、
前記記憶工程で前記記憶媒体に記憶されるオブジェクト毎の復号データを監視し、前記記憶工程がオーバーフローすると判定したときに、前記サブ・サンプリング工程に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる制御工程と
をコンピュータに実行させるためのプログラムを格納している。
【0027】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施形態を詳細に説明する。
[実施形態1]
図1は本発明の実施形態1の復号化器の基本構成を示す図である。
【0028】
図1において、101は可変長符号復号化器であり、入力された符号化画像情報を可変長符号復号化を行う。102は逆量子化器であり、可変長符号復号化器101から出力された復号データに逆量子化を行う。103は逆DCT部であり、逆量子化器102から出力された逆量子化データに逆DCTを行う。104、109、110はセレクタであり、復号化制御部112の制御に基づいて、入力されたデータを切り替える。105は平均値演算部であり、メモリ1(107)に格納されたデータとメモリ2(108)に格納されたデータの平均値を演算する。106は加算器であり、逆DCT部103から出力された逆DCTデータとセレクタ104から出力されるデータとを加算する。107、108はメモリ(復号済みデータ・バッファ)であり、セレクタ109から出力されたデータを格納する。111は出力バッファであり、サブ・サンプリング部113から出力されたサブ・サンプリングデータを格納する。112は復号化器制御部であり、サブ・サンプリング部113、セレクタ104、109、110を制御する。113はサブ・サンプリング部であり、出力バッファ111に格納された復号済み画像データにサブ・サンプリングを行う。
【0029】
次に、図1に示した復号化器を含む復号化システムについて、図2を用いて説明する。
【0030】
図2は本発明の実施形態1の復号化システムの基本構成を示す図である。
【0031】
図2において、201は符号化画像情報を含むビット・ストリームのヘッダ情報を解釈して、各フレーム(画面)を階層(オブジェクト)毎に分離する階層分離部である。202はヘッダ・デコーダであり、階層分離部201で分離されたヘッダ情報をデコード、解釈して、図1で示した復号化器からなる復号化器群203へ制御情報として渡す。203は復号化器群であり、階層分離部201でオブジェクト単位に分離された符号化画像情報を復号する。
【0032】
205はCG構築部であり、CG符号化情報を受けて、フェイス・アニメーション等のCG画像を再構成する。尚、CG構築部205は、ソフトウェア処理によるテクスチャ・マッピングまたはポリゴンにてCG画像を構成する機能を持つ。204はオブジェクト合成部であり、復号された各オブジェクトを合成して一枚の画面(フレーム)を構成する。
【0033】
次に、復号化システムと対をなす符号化システムについて、図3を用いて説明する。
【0034】
図3は本発明の実施形態1の符号化システムの基本構成を示す図である。
【0035】
図3において、301はVOP定義部であり、ディジタル画像を一画面(フレームまたはフィールド)単位で、複数のオブジェクト(VOP:Video Object Plane)分割(切り出し)を行う。302はVOP定義部301で分割された各オブジェクトを各々独立に符号化する符号化器群である。
【0036】
303は符号化器群302で符号化された各オブジェクトを一つのビット・ストリームにまとめるマルチプレクサである。304はCG画像のメッシュ情報(位置、形状)を符号化するCG符号化器である。
【0037】
次に、図1に示した復号化器と従来の復号化器の違いを比較するために、従来の復号化器について、図4を用いて説明する。
【0038】
図4は従来の復号化器の基本構成を示す図である。
【0039】
尚、図4において、図1に示した構成要素と同じ構成要素については、同一参照番号を付与し、その詳細については省略する。
【0040】
図4に示すように、従来の復号化器では、復号化制御部112、サブ・サンプリング部113を有していない。
【0041】
上述した図2の復号化システムにおいて、復号化器群203を構成する各復号化器(オブジェクト単位)は、CG構築部205を除いて図1に示した復号化器で構成されており、同一仕様である。CG構築部205は、基本的にCG画像を生成するためのソフトウェアと画像を構成する部品にあたるテクスチャ画像のライブラリで構成されている。
【0042】
次に、実施形態1の復号化システムの動作について、図1、図2を用いて説明する。
【0043】
図2において、入力されたビット・ストリームは、階層分離部201にて、符号化画像情報とヘッダ情報とCG符号化情報とに分離され、符号化画像情報は復号化器群203へ、ヘッダ情報はヘッダ復号化器202へ、CG符号化画像情報はCG構築部205へと入力され、それぞれ復号化処理される。ヘッダ復号化器202にて復号されたヘッダ情報は、復号化器群203の各種機能の制御情報として、復号化器群203へ入力される。また、CG構築部205にCG符号化情報が入力されると、CG構築部205では、入力されたCG符号化情報にしたがってテクスチャの形状が演算処理され、メッシュ等に配置されることによるCG画像(フェイス・アニメーション等)が構成される。
【0044】
以下、復号化器群203それぞれで実行される処理について、図1を参照して説明する。
【0045】
復号化器群203では、符号化画像情報は、可変長符号復号化器101へ入力され、制御情報(ヘッダ情報)は、復号化器制御部112へ入力される。復号化器制御部112は、制御情報(ヘッダ情報)と出力バッファ111の空きエリア情報から、復号化器の各種機能を制御するための制御信号を生成して、それぞれセレクタ104、109、110の制御と、サブ・サンプリング部113で実施されるサブ・サンプリング方法の制御を行う。
【0046】
符号化画像情報は、可変長符号復号化器101で可変長符号が復号され、逆量子化部102にて逆量子化処理、逆DCT部103にて逆DCT処理される。この時、復号化器制御部112に入力されたヘッダ情報が現在復号中の画像データの復号モードを“イントラ”と指示した場合、復号化器制御部112は、セレクタ104をIVに、セレクタ109は現状維持、セレクタ110は(b)または(c)に設定する。この場合、逆DCT処理された画像データは、セレクタ104がIV(数値としては、ゼロ)となっているので、メモリ1(107)またはメモリ2(108)にそのまま記憶される。
【0047】
また、ヘッダ情報が現在復号中の画像データの復号モードを“インタ−(前方予測)”と指示した場合、復号化器制御部112は、セレクタ104をIまたはIIIに、セレクタ109を▲2▼または▲1▼(セレクタ104がIの時は▲2▼、IIの時は▲1▼)に、セレクタ110を(b)または(c)(セレクタ109が▲1▼の時は(b)、▲2▼の時は(c))に設定する。そして、加算器106にて、メモリ1(107)またはメモリ2(108)に格納されている復号済みの参照画像データを動きベクトルにしたがって読みだし、逆DCT処理された画像データと加算することにより画像データの復号を完了する。
【0048】
復号を完了した画像データは、復号に用いた参照画像データがメモリ1(107)から読み出したもの(セレクタ104の位置:I)であれば、メモリ2(108)(セレクタ109の位置:▲2▼)へ格納される。一方、復号に用いた参照画像データがメモリ2(108)から読み出したものであれば、メモリ1(セレクタ109の位置:▲1▼)へ格納される。同時に、セレクタ110(接点(c)または接点(b))を経て、サブ・サンプリング部113、出力バッファ111へ出力される。
【0049】
また、ヘッダ情報が現在復号中の画像データの復号モードを“インタ−(双方向予測)”と指示した場合、復号化器制御部112は、セレクタ104をIIに、セレクタ110を(a)に、セレクタ109は現状維持に設定する。そして、メモリ1(107)およびメモリ2(108)に格納されている復号済みの参照画像データを動きベクトルにしたがって読みだし、平均値演算部105にてそれらの平均値を求める。次に、セレクタ104の(接点II)から出力し、加算器106にて、逆DCT処理された画像データと加算することにより画像データの復号を完了し、セレクタ110の(接点(a))からサブ・サンプリング部113、出力バッファ111へ出力される。尚、双方向予測により復号された画像データは、その他の復号処理に使用されることはないので、この場合、メモリ1(107)、メモリ2(108)に格納しない。
【0050】
以上のような一連の動作により、復号された画像データは出力バッファ111へ格納され、CRT等の表示装置に適合したレートで読み出されるように構成さる。
【0051】
復号された画像データのデータ量は、時間的に変動するのが一般的であり、出力バッファ111の空き容量も復号された画像データのデータ量によって瞬時値が変動する。復号化器制御部112は、この出力バッファ111の空き容量を常に監視し、オーバーフローの可能性があると判定した場合、サブ・サンプリング部113に指示を出し、任意の方法にて復号済み画像データのサブ・サンプリングを実行し、出力バッファ111のオーバーフローを回避する。
【0052】
また、復号化器制御部112は、被復号画像データのヘッダ情報も同時に監視しており、符号化画像情報の数が急増するよう場合は、出力バッファ111に格納される画像データが急増すると判定して、同様に任意の方法にて復号済み画像データのサブ・サンプリングを実施する。
【0053】
ここで、サブ・サンプリングについて、図5、図6を用いて説明する。
【0054】
図5、図6は本発明の実施形態1の画像データのサブ・サンプリングの一例を説明するための図である。
【0055】
図5、図6は、特に、サブ・サンプリングと呼ばれる間引き処理の一例であり、図5が間引き前、図6が一ライン置きに位相を逆転させながら、一画素置きに画素を間引くことにより、水平画素数を1/2(水平解像度を1/2)にする方法として広く知られている。
【0056】
尚、サブ・サンプリング部113の後段にポストフィルタ(妨害除去フィルタ)を併設して、サブ・サンプリングが実施されることによる空間周波数的な妨害成分を除去するように構成されている。従って、出力バッファ111のオーバーフローに対するサブ・サンプリングによる復号済み画像データの間引き処理は、オブジェクト単位で設けられた図2の復号化器群203それぞれに行われる。また、サブ・サンプリングは、オブジェクト単位で実施され、復号化器制御部112は、出力バッファ111のオーバーフロー要因が解消したと判定した時点から、ある一定時間の遅延をもってサブ・サンプリングを解除するようにプログラミングされている。
【0057】
次に、実施形態1で実行される処理の内、特に、復号化器で実行される処理の処理フローについて、図7を用いて説明する。
【0058】
図7は本発明の実施形態1の復号化器で実行される処理を示すフローチャートである。
【0059】
まず、ステップS101で、ビット・ストリームを入力する。ステップS102で、入力されたビット・ストリームをヘッダ情報、符号化画像情報、CG符号化情報に分離し、得られたヘッダ情報に基づいて、符号化画像情報を指定された復号モードで復号化する。ステップS103で、復号済み画像データを格納する出力バッファがオーバーフローの可能性があるか否かを判定する。オーバーフローの可能性がある場合(ステップS103でYES)、ステップS104に進み、復号済み画像データをサブ・サンプリングする。一方、オーバー・フローの可能性がない場合(ステップS103でNO)、処理を終了する。
【0060】
以上説明したように、実施形態1によれば、入力されたビット・ストリームの復号化処理において、出力バッファ111がオーバーフローを起こすような場合、瞬時に復号済み画像データのサブ・サンプリングを実施して、出力バッファ111に格納される復号された画像データのデータ量を削減することにより、復号化画像の空間解像度を犠牲にする代わりに、復号化処理の中断やそれに伴う復号化画像の乱れを回避することができる。
[実施形態2]
実施形態2では、ビット・ストリームがスケーラビリティを採用している場合における復号化処理について説明する。
【0061】
図8は本発明の実施形態2の復号化器の基本構成を示す図である。
【0062】
図8において、701は復号化部であり、少なくとも図4に示した構成を有する。702は制御部であり、復号化器の各種構成要素を制御する。703、708はセレクタであり、入力されたデータを切り替える。704は空間スケーラビリティ上位レイヤ生成部であり、空間スケーラビリティにおける上位レイヤ画像を生成する。705は時間スケーラビリティ上位レイヤ生成部であり、時間スケーラビリティにおける上位レイヤ画像を生成する。706は基本レイヤ生成部であり、空間または時間スケーラビリティにおける基本レイヤ画像を生成する。707は解像度セレクタであり、入力されたデータを切り替える。709は選択信号であり、ユーザからの入力信号である。
【0063】
尚、実施形態2の復号化システムは、図2の復号化器群203の各復号化器に、図8で説明した復号化器を採用した同一仕様である。する。そして、各復号化器とCG構築部205の機能は、演算装置(ハードウェア)と、図8の全機能を満足するソフトウェア(プログラム)の組み合わせにより実現されるものである。
【0064】
次に、空間スケーラビリティの概念について、図9を用いて説明する。
【0065】
図9は本発明の実施形態2の空間スケーラビリティの概念を説明するための図である。
【0066】
図9において、時間は左から右へ進むものとする。
【0067】
一番下のレイヤは、最低空間解像度の基本レイヤ(BaseLayer)であり、オリジナル画像に対して、画素数(空間解像度)は低下しているが、単独で復号化し、画像を形成することが可能である。符号化は、基本レイヤのフレーム(フィールド)間予測を用いる。
【0068】
真ん中のレイヤは、基本レイヤを後述の上位レイヤ(Enhancement Layer)と同一サイズにアップ・サンプリングした拡張基本レイヤである。
【0069】
一番上のレイヤは、上位レイヤ(Enhancement Layer)であり、オリジナル画像とアップ・サンプリングした拡張基本レイヤ画像との差分、即ち、高解像度成分と、上位レイヤにおけるフレーム(フィールド)間予測を用いて符号化される。尚、上位レイヤ単独での復号化(画像形成)は不可能である。
【0070】
次に、時間スケーラビリティの概念について、図10を用いて説明する。
【0071】
図10は本発明の実施形態2の時間スケーラビリティの概念を説明するための図である。
【0072】
図10において、時間は左から右へ進むものとする。
【0073】
下のレイヤは、基本レイヤ(Base Layer)であり、オリジナル画像に対してフレーム・レート(時間解像度)が低下しているが、単独で復号化し、画像を形成することが可能である。符号化は、基本レイヤのフレーム(フィールド)間予測を用いる。
【0074】
上のレイヤは、上位レイヤ(Enhancement Layer)であり、オリジナル画像と同じフレーム・レートを持ち、基本レイヤを用いた前方、後方予測と上位レイヤにおけるフレーム(フィールド)間予測を用いて符号化される。上位レイヤ単独での復号化(画像形成)は不可能である。
【0075】
次に、実施形態2の復号化システムの動作について、図2、図8を用いて説明する。
【0076】
図2において、入力されたビット・ストリームは、階層分離部201にて、符号化画像情報とヘッダ情報とに分離され、符号化画像情報は復号化器群203へ、ヘッダ情報はヘッダ復号化器202へと入力され、それぞれ復号化処理される。ヘッダ復号化器202にて復号されたヘッダ情報は、復号化器群203の各種機能の制御情報として、復号化器群203へ入力される。
【0077】
次に、復号化器群203それぞれで実行される処理について、図8を参照して説明する。
【0078】
図8において、階層分離部201で分離された符号化画像情報は、復号化部701へ、また、ヘッダ復号化器202で復号された制御情報(ヘッダ情報)は、制御部702へ入力される。
【0079】
制御部702では、入力された制御情報(ヘッダ情報)が解釈され、符号化モード、スケーラビリティ関連情報等の復号化に必要な制御情報が、復号化部701に入力される。制御部702は、制御情報(ヘッダ情報)の解釈と共に復号化部701の各処理機能の動作とメモリの監視機能も具備しており、復号化部701の動作状態も制御情報に加味される。
【0080】
符号化画像情報は、制御部702からの制御情報(ヘッダ情報)に従って、復号化部701にて可変長符号の復号、逆量子化、逆DCTという一連の復号化処理が施され、セレクタ703に送られる。
【0081】
本復号化器に入力されたビット・ストリームが、スケーラビリティを使用して符号化されたものである場合、通常は使用されたスケーラビリティの情報がヘッダ情報として伝送される。そのため、制御部702にて生成された制御情報が、復号化部701と、セレクタ703、および解像度セレクタ707それぞれへ送られ、空間、時間の各スケーラビリティ共に、上位レイヤ、基本レイヤの両レイヤ画像が再構成される。
【0082】
再構成された画像は、基本的に高解像度画像がデフォルトで選択されるが、制御部702がビット・ストリームのヘッダ情報を解釈した結果、復号化部701の処理能力では、ビット・ストリームを正常に処理できないと判断した場合、またはCG構築部205に入力されるCG符号化情報が、CG構築部205の処理能力を越え、CG構築部205自身が判定、またはCG構築部205にてCG符号化情報の処理中に新たなCG符号化情報の処理のリクエストを受信した場合、制御部702、およびCG構築部205は、上記2つの場合を復号化処理の破綻と判定して、選択信号709に因らず、上位レイヤ(高解像度情報)画像を破棄し、基本レイヤ画像のみ復号化してセレクタ708から出力する。
【0083】
また、イントラ・フレームやイントラ・マクロ・ブロックの出現頻度の急増に起因するビット・ストリームの復号化処理の破綻(リアルタイム復号化不能、または入出力バッファのオーバーフロー)を制御部702が検出または予測した場合、選択信号709に因らず、上位レイヤ(高解像度情報)画像を破棄し、基本レイヤ画像のみ復号化処理してセレクタ708から出力する。
【0084】
また、CG符号化情報の急増によるソフトウェアによるCG構築処理の負荷の急増により、CG構築部205の処理能力を超過し、CG構築部205自身が制御部202に対して処理不能フラグを出した場合、選択信号709に因らず、上位レイヤ(高解像度情報)画像を破棄し、基本レイヤ画像のみ復号化処理してセレクタ708から出力する。
【0085】
上位レイヤ画像を破棄したことによってできた復号化器群203の余力、即ち、演算装置の処理能力をCG符号化情報の処理に当てることにより、CG画像の構築を正常に完遂させる。尚、制御部702は、随時入力されるヘッダ情報を解釈して、ビット・ストリームが通常処理可能であると判定された時点から、Nフレーム(またはフィールド)分の遅延時間を置いて、通常動作に復帰するようにプログラムされている。
【0086】
以上のように、スケーラビリティを使用しているビット・ストリームで、例えば、CG符号化情報が多数入力され、復号化器群203の負荷が急増し、制御部702が正常な復号化処理の継続が不可能と判定した場合、前述のように各オブジェクトの上位レイヤ画像を破棄し、強制的に基本レイヤ(低解像度)画像を出力する固定モードに設定する。これにより、CG符号化情報以外の復号化演算の負荷を軽減し、余力をCG構築部205に割り振ることにより、見掛け上、正常な復号化動作(画像のフリーズやオブジェクトの欠落がない)を維持することができる。
【0087】
実施形態2では、外部からの選択信号709を受信して、セレクタ708を制御することもできるように構成してある。従って、選択信号709は、ユーザが外部から任意に入力可能である。選択信号709にて選択可能な解像度は、ビット・ストリーム(符号化画像情報)が空間スケーラビリティを使用しているならば、空間的解像度の高低が選択可能であり、時間スケーラビリティを使用しているならば、時間的解像度(フレーム・レート等)の高低が選択可能である。
【0088】
次に、実施形態2で実行される処理の内、特に、復号化器で実行される処理の処理フローについて、図11を用いて説明する。
【0089】
図11は本発明の実施形態2の復号化器で実行される処理を示すフローチャートである。
【0090】
まず、ステップS201で、ビット・ストリームを入力する。ステップS202で、入力されたビット・ストリームより、上位レイヤ、基本レイヤの両レイヤ画像を再構成する。ステップS203で、復号化処理の破綻の可能性があるか否かを判定する。破綻の可能性がある場合(ステップS203でYES)、ステップS204に進み、基本レイヤ画像のみを復号化する。一方、破綻の可能性がない場合(ステップS203でNO)、ステップS205に進み、上位レイヤ、基本レイヤの両レイヤ画像を復号化する。
【0091】
以上説明したように、実施形態2によれば、ビット・ストリームがスケーラビリティを採用している場合、バッファのオーバーフローや復号化処理の破綻(復号化処理が入力のレートに対して間に合わない)等が予想される状態を検知して、瞬時に上位レイヤ画像を破棄し、強制的に基本レイヤ画像専用の復号化処理に切換えて、スケーラビリティの持つ時間的、空間的最高解像度を犠牲にする代わりに、復号化処理の中断またはそれに伴う復号化画像の乱れやフリーズ等を回避することができる。
【0092】
また、サブ・サンプリング、または強制的に基本レイヤ(低解像度)画像を実施する異常状態が解消された時点から通常の復号化処理に復帰させるまでに、一定の時間遅延を設けることにより、復号化された画像データのデータ量の僅かな増減により通常状態と異常状態が頻繁に繰り返されるのを回避することができる。
上記実施形態1、実施形態2におけるサブ・サンプリングは、画面内処理の一つであり、また、上述した上位レイヤ画像の破棄も画面内処理に含まれる。
【0093】
尚、本発明は、複数の機器(例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0094】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【0095】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0096】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
【0097】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0098】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0099】
【発明の効果】
以上説明したように、本発明によれば、オブジェクト単位で符号化された符号化画像データを復号する際に、復号した画像のデータ量が多すぎて復号処理の破綻、例えばバッファのオーバーフローを引き起こすような場合に、画像をオブジェクト毎にサブ・サンプリング処理することで好適にデータ量を削減させることができる画像処理装置及びその方法、コンピュータ可読メモリを提供できる。
【図面の簡単な説明】
【図1】本発明の実施形態1の復号化器の基本構成を示す図である。
【図2】本発明の実施形態1の復号化システムの基本構成を示す図である。
【図3】本発明の実施形態1の符号化システムの基本構成を示す図である。
【図4】従来の復号化器の基本構成を示す図である。
【図5】本発明の実施形態1の画像データのサブ・サンプリングの一例を説明するための図である
【図6】本発明の実施形態1の画像データのサブ・サンプリングの一例を説明するための図である
【図7】本発明の実施形態1の復号化器で実行される処理を示すフローチャートである。
【図8】本発明の実施形態2の復号化器の基本構成を示す図である。
【図9】本発明の実施形態2の空間スケーラビリティの概念を説明するための図である。
【図10】本発明の実施形態2の時間スケーラビリティの概念を説明するための図である。
【図11】本発明の実施形態2の復号化器で実行される処理を示すフローチャートである。
【符号の説明】
101 可変長符号復号化器
102 逆量子化器
103 逆DCT部
104、109、110 セレクタ
105 平均値演算部
106 加算器
107 メモリ1
108 メモリ2
111 出力バッファ
112 復号化器制御部
113 サブ・サンプリング部
201 階層分離部
202 ヘッダ復号化器
203 復号化器群
204 オブジェクト合成部
205 CG構築部

Claims (5)

  1. 入力された符号化画像データを処理する画像処理装置であって、
    オブジェクト単位で符号化されたデータを含む符号化画像データを入力して、複数のオブジェクト符号化データに分離する分離手段と、
    前記分離手段によって分離されたオブジェクト符号化データを復号して、複数のオブジェクト復号データを出力する復号手段と、
    前記複数のオブジェクト復号データのそれぞれに対して、オブジェクト毎にサブ・サンプリング処理を実行するサブ・サンプリング手段と、
    前記複数のオブジェクト復号データを記憶する記憶手段と、
    前記記憶手段に記憶されるオブジェクト毎の復号データを監視し、前記記憶手段がオーバーフローすると判定したときに、前記サブ・サンプリング手段に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる制御手段と
    を備えることを特徴とする画像処理装置。
  2. 前記分離手段は、前記符号化画像データから前記復号手段を制御するための制御情報を含むヘッダ情報をさらに分離し、前記制御手段は、前記分離手段によって分離されたヘッダ情報と、前記記憶手段に記憶されるオブジェクト毎の復号データのデータ量とに従って、前記サブ・サンプリング手段に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 入力された符号化画像データを処理する画像処理方法であって、
    オブジェクト単位で符号化されたデータを含む符号化画像データを入力して、複数のオブジェクト符号化データに分離する分離工程と、
    前記分離工程によって分離されたオブジェクト符号化データを復号して、複数のオブジェクト復号データを出力する復号工程と、
    前記複数のオブジェクト復号データのそれぞれに対して、オブジェクト毎にサブ・サンプリング処理を実行するサブ・サンプリング工程と、
    前記複数のオブジェクト復号データを記憶媒体に記憶する記憶工程と、
    前記記憶工程で前記記憶媒体に記憶されるオブジェクト毎の復号データを監視し、前記記憶工程がオーバーフローすると判定したときに、前記サブ・サンプリング工程に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる制御工程と
    を備えることを特徴とする画像処理方法。
  4. 前記分離工程は、前記符号化画像データから前記復号工程を制御するための制御情報を含むヘッダ情報をさらに分離し、前記制御工程は、前記分離工程によって分離されたヘッダ情報と、前記記憶工程で前記記憶媒体に記憶されるオブジェクト毎の復号データのデータ量とに従って、前記サブ・サンプリング工程に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる
    ことを特徴とする請求項に記載の画像処理方法。
  5. 入力された符号化画像データを処理する画像処理をコンピュータに実行させるためのプログラムが格納されたコンピュータ可読メモリであって、
    オブジェクト単位で符号化されたデータを含む符号化画像データを入力して、複数のオブジェクト符号化データに分離する分離工程と、
    前記分離工程によって分離されたオブジェクト符号化データを復号して、複数のオブジェクト復号データを出力する復号工程と、
    前記複数のオブジェクト復号データのそれぞれに対して、オブジェクト毎にサブ・サンプリング処理を実行するサブ・サンプリング工程と、
    前記複数のオブジェクト復号データを記憶媒体に記憶する記憶工程と、
    前記記憶工程で前記記憶媒体に記憶されるオブジェクト毎の復号データを監視し、前記記憶工程がオーバーフローすると判定したときに、前記サブ・サンプリング工程に対して前記オブジェクト毎のサブ・サンプリング処理を実行させる制御工程と
    をコンピュータに実行させるためのプログラムを格納していることを特徴とするコンピュータ可読メモリ。
JP37164998A 1998-09-08 1998-12-25 画像処理装置及びその方法、コンピュータ可読メモリ Expired - Fee Related JP4109777B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP37164998A JP4109777B2 (ja) 1998-12-25 1998-12-25 画像処理装置及びその方法、コンピュータ可読メモリ
US09/389,449 US6603883B1 (en) 1998-09-08 1999-09-03 Image processing apparatus including an image data encoder having at least two scalability modes and method therefor
US10/452,226 US6980667B2 (en) 1998-09-08 2003-06-03 Image processing apparatus including an image data encoder having at least two scalability modes and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP37164998A JP4109777B2 (ja) 1998-12-25 1998-12-25 画像処理装置及びその方法、コンピュータ可読メモリ

Publications (3)

Publication Number Publication Date
JP2000197041A JP2000197041A (ja) 2000-07-14
JP2000197041A5 JP2000197041A5 (ja) 2006-02-09
JP4109777B2 true JP4109777B2 (ja) 2008-07-02

Family

ID=18499070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP37164998A Expired - Fee Related JP4109777B2 (ja) 1998-09-08 1998-12-25 画像処理装置及びその方法、コンピュータ可読メモリ

Country Status (1)

Country Link
JP (1) JP4109777B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002359846A (ja) * 2001-05-31 2002-12-13 Sanyo Electric Co Ltd 画像復号方法および装置
FR2838589B1 (fr) * 2002-04-10 2005-03-04 Thomson Licensing Sa Dispositif de transmission de donnees et dispositif de reception de donnees
JP7066454B2 (ja) * 2018-03-05 2022-05-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置

Also Published As

Publication number Publication date
JP2000197041A (ja) 2000-07-14

Similar Documents

Publication Publication Date Title
US6980667B2 (en) Image processing apparatus including an image data encoder having at least two scalability modes and method therefor
KR101973919B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
KR100888962B1 (ko) 영상 신호의 인코딩 및 디코딩 방법
KR100725407B1 (ko) 방향적 인트라 잔차 예측에 따라 비디오 신호를 인코딩하고디코딩하는 방법 및 장치
CN100568970C (zh) 用于发信号通知和解码视频流中的有效入口点的方法
KR20060109249A (ko) 영상신호의 엔코딩/디코딩시에 베이스 레이어 픽처의모션벡터를 사용하여 영상블록을 위한 모션벡터를 예측하는방법 및 장치
KR20060063613A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
CN107277524A (zh) 视频解码设备以及视频解码方法
EP2105028B1 (en) Method and system for encoding a video signal, encoded video signal, method and system for decoding a video signal
JP6271888B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2003348597A (ja) 画像符号化装置および画像符号化方法
JP4109777B2 (ja) 画像処理装置及びその方法、コンピュータ可読メモリ
JP6656335B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、及び、プログラム
JP6834039B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、及び、プログラム
KR20060059773A (ko) 베이스 레이어 픽처의 벡터를 이용하는 영상신호의엔코딩/디코딩 방법 및 장치
JP2002185970A (ja) 動画像符号化装置及び動画像復号化装置
JP6419297B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP3277116B2 (ja) 動画像符号化装置および動画像復号化装置
US6990144B2 (en) System and method for overrun catch-up in a real-time software
JP2000333164A (ja) 符号化装置、復号装置、画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2002058020A (ja) 画像符号化装置および方法、画像復号装置および方法、ならびに画像処理装置
KR20060043867A (ko) 영상 신호의 인코딩 및 디코딩 방법

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051219

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20051219

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20051219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080407

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110411

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130411

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130411

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140411

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees