JP3854738B2 - データ処理装置及びその方法、及びデータ処理システム - Google Patents
データ処理装置及びその方法、及びデータ処理システム Download PDFInfo
- Publication number
- JP3854738B2 JP3854738B2 JP32563698A JP32563698A JP3854738B2 JP 3854738 B2 JP3854738 B2 JP 3854738B2 JP 32563698 A JP32563698 A JP 32563698A JP 32563698 A JP32563698 A JP 32563698A JP 3854738 B2 JP3854738 B2 JP 3854738B2
- Authority
- JP
- Japan
- Prior art keywords
- objects
- information
- input
- image data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化データの処理、特に１つのデータ列に複数の画像情報を含む符号化データの処理装置に関する。
【０００２】
【従来の技術】
近年、動画像の新しい符号化方式として、MPEG4(Moving Picture Experts Group Phase4)規格の標準化が進められている。従来のMPEG2規格に代表される動画像の符号化方式においては、フレームあるいはフィールドを単位とした符号化を行なっていたが、動画像の映像や音声を構成するコンテンツ(人物や建物，声，音，背景等)の再利用や編集を実現するために、MPEG4規格では映像データやオーディオ・データをオブジェクト（物体）として扱うことを特徴とする。さらに、映像データに含まれる物体も独立して符号化され、それぞれもオブジェクトとして扱うことができる。
【０００３】
図17に、MPEG4規格に基づく符号化器の機能ブロック図を示す。図17において、入力された画像データはオブジェクト定義器1001によって各オブジェクトに分割され、分割されたオブジェクト毎に最適な符号化を行なう、それぞれのオブジェクト符号化器1002〜1004によって符号化する。
【０００４】
図21に、オブジェクト符号化データの構成例を示す。MPEG4規格による動画像の符号化データは、符号化効率及び編集操作性の向上の観点に基づき、階層化されている。図21に示すように、符号化データの先頭には識別のためのvisual_object_sequence_start_code（図中VOSSC）があり、それに各ビジュアルオブジェクトの符号化データが続き、最後に符号化データの後端を示すvisual_object_sequence_end_code（図中VOSEC）がある。ここでビジュアルオブジェクトとしては、撮影された動画像のほかに、CGデータ等も定義される。
【０００５】
ビジュアルオブジェクトの詳細としては、先頭に識別のためのvisual_object_start_code（図中Visual Object SC）があり、続いて符号化レベルを示すprofile_and_level_indication（図中PLI）がある。それ以降、ビジュアルオブジェクトの情報を表す符号であるis_visual_object_identifier（図中IVOI），visual_object_verid（図中VOVID），visual_object_priority（図中VOPRI），visual_object_type（図中VOTYPE）などが続き、ビジュアルオブジェクトのヘッダ情報を構成している。ここで、VOTYPEは例えば、該画像が撮像された動画像である場合は"0001"であり、これに続いて動画像の符号化データの魂を表すビデオオブジェクト(VO)データが続く。
【０００６】
ビデオオブジェクトデータは、それぞれのオブジェクトを表す符号化データであり、先頭に識別のためのvideo_object_start_code（図中Video Object SC）を有し、更に、スケーラビリティを実現するためのビデオオブジェクトレイヤデータ(VOL)と、動画像の1フレームに相当するビデオオブジェクトプレーンデータ(VOP)を有する。それぞれのヘッダ部分には、サイズを表す符号video_object_layer_width（図中VOL_width），video_object_layer_height（図中VOL_height）及びvideo_object_plane_width（図中VOP_width），video_object_plane_height（図中VOP_height）を備える。また、VOLデータのヘッダは、当該ビットレートを示すbit_rate符号を備える。
【０００７】
尚、図21に示す符号化データ構成の各階層においては、ユーザにより、user_data_start_code（図中UDSC）で始まる任意長のデータを挿入することができ、該ユーザデータは、次に何らかのスタートコードを認識することで符号化データと区別される。
【０００８】
また、各オブジェクトを復号側で配置するための情報を、配置情報符号化器1011で符号化する。この配置情報はシステム符号と呼ばれ、CG言語であるVRMLと同様に、分割されたオブジェクトの配置、再生のタイミング等を記述したものが符号化されている。こうして得られた符号化データを、多重化器1005によって多重化して１つの符号化データとして出力する。
【０００９】
ここで、上述したシステム符号は、各オブジェクトの関係をノードという概念で記述している。以下、図19及び図20を参照して、ノードについて具体的に説明する。図19は、複数のオブジェクトで構成された画像の例を示す図である。この画像は、それぞれ背景(Background)，気球(Balloon)，小鳥(Bird)，飛行機(Jet)，車(Car)，女性(Woman)，男性(Man)を示す各オブジェクト2000〜2006で構成されている。図20は、図19に示す画像におけるノードを示す図である。全体はシーン(Scene)というノードで表されている。シーンのノードは、背景を表すオブジェクト2000(Background)と車のオブジェクト2004(Car)、及び人を表すノード(People)、空を飛んでいるものを表すノード(Fly)からなる。更に、人を表すノードは、オブジェクト2005(Women)，2006(Man)からなる。同様に、空を飛ぶものを表すノードは、オブジェクト2001(Balloon)，2002(Bird)，2003(Jet)からなる。これらの関係が、システム符号化データの中に記載されている。
【００１０】
図18に、図17に示した符号化器による符号化データを復号する復号器の機能ブロック図を示す。符号化データが入力されると、まず分離器1006によって多重化を解かれ、各オブジェクトの符号化データを得る。得られた符号化データは各オブジェクトに対応した復号器1007〜1009によって復号される。同時に、配置情報復号器1012は各オブジェクトの配置情報を復号する。オブジェクト復号器1007〜1009の出力は、オブジェクト配置情報に従って合成器1010によって合成され、画像として表示される。
【００１１】
このようにMPEG4規格によれば、動画像内のオブジェクトを個別に扱うことで、復号側ではさまざまなオブジェクトを自由に配置することができる。また、放送やコンテンツ作成会社等においても、事前にオブジェクトの符号化データを生成しておくことにより、有限なコンテンツから非常に多くの動画像データを生成することが可能になった。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述したようにMPEG4規格の符号化方式においては、複数のオブジェクトを合成することにより、1つのシーンを表す。従って、特に復号側では、全てのオブジェクトの復号に対応するのに十分な復号手段の数を確定することができず、従って、装置やシステムを構築するのが非常に困難であった。
【００１３】
そのため、標準化されたMPEG4規格においては、プロファイル及びレベルの概念を規定し、符号化データや符号化器／復号器の設計にあたって仕様を決定することができるように、プロファイル及びレベルからなる符号化仕様として、オブジェクト数やビットレートの上限値を設けている。図22に、プロファイル・レベル毎の各要件の上限を規定するプロファイル表の一例を示す。
【００１４】
図22のプロファイル表に示されるようにMPEG4規格においては、プロファイルに応じて符号化に使用する手段（ツール）の組み合わせが異なり、さらにレベルにより、扱う画像の符号化データの量が段階的に分けられている。ここで、扱えるオブジェクト数の最大値とビットレートの最大値はいずれも該符号化仕様における上限を表すものであり、それ以下の値であれば、該符号化仕様に含まれる。例えば、Coreプロファイルで使用可能なツールを用い、オブジェクト数が6個で、300kbpsで符号化するのであれば、該符号化データ（符号化器）はレベル2に相当する。
【００１５】
このプロファイルとレベルは、上述したように、ビットストリームの中のPLI符号で表される。従って復号器においては、PLI符号を参照することによって、復号が可能か否かを判定することができる。即ち、以下のような場合には復号が行なえない。
【００１６】
例えば、Coreプロファイル・レベル1の復号器では、Coreプロファイル・レベル2のデータであって、ビットレート等の上限を超える符号化データは復号できない。
【００１７】
また、Simpleプロファイル・レベル１であって、オブジェクトを4つ含む画像の符号化データを2つ合成することにより、Simpleプロファイル・レベル2の符号化データを生成することが考えられる。しかしながらこの場合、レベル2のオブジェクト最大数は4であるため、MPEG4のいずれのプロファイルやレベルにも所属しない符号化データが生成されてしまうことになる。従って、このような符号化データを復号することはできない。
【００１８】
また、例えばSimpleプロファイル48kbpsと24kbpsの２つの符号化データ（それぞれのオブジェクト数は2）を多重化して新しいビットストリームを生成する等、そのビットレートが64kbpsに収まらない場合がある。このような場合にはレベルを2にする必要があり、即ち、レベル1の復号器では復号できない。
【００１９】
以上のように、復号器の符号化仕様（プロファイル及びレベル）が、符号化データの符号化仕様（プロファイル及びレベル）を十分に包含できない場合には、該符号化データを復号することはできなかった。
【００２０】
これは特に、複数の画像を合成する際に顕著となる問題であり、例えばある復号器で復号可能である符号化データを複数合成した場合に、該合成された符号化データは該復号器において復号できなくなってしまう場合があった。又は、合成された符号化データが、MPEG4のいずれのプロファイル・レベルにも適合しない場合には、MPEG4規格の復号器では復号できなかった。
【００２１】
本発明は上述した問題を解決するためになされたものであり、符号化された複数のオブジェクトの少なくとも一部を統合することで、所定規格に基づく1つの符号化データを得るデータ処理装置及びその方法、及びデータ処理システムを提供すること目的とする。
【００２２】
また、該合成された符号化データを、任意の符号化仕様の復号器で復号可能なデータ処理装置及びその方法、及びデータ処理システムを提供すること目的とする。
【００２３】
また、符号化データに含まれるオブジェクト数及び符号長を調整可能なデータ処理装置及びその方法、及びデータ処理システムを提供すること目的とする。
【００２４】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明のデータ処理装置は以下の構成を備える。
【００２５】
即ち、符号化されたＮ個のオブジェクト及び配置情報を含む画像データを処理するデータ処理装置であって、前記画像データを入力する入力手段と、前記入力手段により入力された前記画像データの符号化仕様の情報を指示する仕様指示手段と、前記仕様指示手段で指示された前記符号化仕様の情報を設定する設定手段と、前記入力手段により入力された前記画像データのオブジェクトの数が前記符号化仕様の情報で規定された数よりも多い場合に、前記Ｎ個のオブジェクトの少なくとも一部を、該オブジェクトが属するノード情報を前記配置情報から参照して、属するノード情報が同一のオブジェクトを統合することにより、符号化されたＭ個のオブジェクトを生成するオブジェクト数変更手段と、を有することを特徴とする。
【００２７】
また、符号化された複数の画像情報により１つの画像を構成するデータ列を処理するデータ処理装置であって、複数の前記データ列の合成を指示する合成指示手段と、前記合成データ列の符号化仕様を指示する仕様指示手段と、前記仕様指示手段により指示された符号化仕様に基づいて前記データ列中の画像情報の符号長を変更する変更手段と、前記合成指示手段による合成指示に基づいて、前記変更手段により変更された複数の前記データ列を合成する合成手段と、を有することを特徴とする。
【００２８】
また、上記目的を達成するための一手法として、本発明のデータ処理方法は以下の工程を備える。
【００２９】
即ち、符号化されたＮ個のオブジェクト及び配置情報を含む画像データを生成処理するデータ処理方法であって、前記画像データを入力する入力工程と、前記入力工程において入力された前記画像データの符号化仕様の情報を指示する仕様指示工程と、前記仕様指示工程において指示された前記符号化仕様の情報を設定する設定工程と、前記入力工程において入力された前記画像データのオブジェクトの数が前記符号化仕様の情報で規定された数よりも多い場合に、前記Ｎ個のオブジェクトの少なくとも一部を、該オブジェクトが属するノード情報を前記配置情報から参照して、属するノード情報が同一のオブジェクトを統合することにより、符号化されたＭ個のオブジェクトを生成するオブジェクト数変更工程と、を有することを特徴とする。
【００３２】
【発明の実施の形態】
以下、本発明に係る一実施形態について図面を参照して詳細に説明する。
【００３３】
＜第1実施形態＞
図1は、本実施形態における画像合成を行なう動画像処理装置の概要構成を示すブロック図である。本実施形態においては、動画像符号化方式としてMPEG4符号化方式を用いた場合について説明する。尚、本実施形態における符号化方式はMPEG4に限らず、画像内の複数のオブジェクトを各々符号化することができれば、どのような方式であってもよい。
【００３４】
図1において、201，202は動画像符号化データを蓄積している記憶装置であり、磁気ディスク、光磁気ディスク、テープ、半導体メモリ等で構成されている。203はTVカメラであり、動画像を撮像してディジタル画像信号を出力する。204は符号化器であり、MPEG4符号化方式による符号化を行なう。205はLANや通信回線である。206は通信インタフェースであり、通信回線205から符号化データを受信する。207は画像の編集状況を表示し、ユーザが編集指示を入力する編集操作器である。208は本実施形態の特徴である画像編集部である。209は画像編集部208の出力を蓄積する記憶装置である。210はMPEG4符号化方式で符号化された動画像の符号化データを復号する復号器である。211は復号器210で復号された動画像を表示する表示器である。
【００３５】
以下、具体的な画像を例として、本実施形態における画像編集処理について説明する。
【００３６】
記憶装置201には、MPEG4符号化方式のCoreプロファイル・レベル2，384kbpsによって符号化された画像データが格納されている。図2(a)に、記憶装置201に格納されている画像の例を示し、図6(a)に、その符号化データを示す。図2(a)に示す画像においては、背景のオブジェクト300に、人を表すオブジェクト304，305が含まれている。そして図6(a)において、背景のオブジェクト300の符号はビデオオブジェクト(VO)データA-1-1であり、人のオブジェクト304，305の符号はそれぞれVOデータA-1-2，VOデータA-1-3である。
【００３７】
記憶装置202には、MPEG4符号化方式のCoreプロファイル・レベル1，200kbpsによって符号化された画像の符号化データが格納されている。図2(b)に、記憶装置202に格納されている画像の例を示し、図6(b)に、その符号化データを示す。図2(b)に示す画像においては、背景のオブジェクト301に、人を表すオブジェクト306，307が含まれている。そして図6(b)において、背景のオブジェクト301の符号はビデオオブジェクト(VO)データB-1-1であり、人のオブジェクト306，307の符号はそれぞれVOデータB-1-2，VOデータB-1-3である。
【００３８】
ここで、TVカメラ203において図2(C)に示す画像を撮像し、符号化器204でMPEG4符号化方式によって、Simpleプロファイル・レベル1，32kbpsによる符号化を行なったとする。この場合、撮像された画像から新たなオブジェクト抽出を行わなければ、該画像全体が１つのオブジェクト302として扱われる。従って、該画像の符号化データは図6(C)に示すように、1つのオブジェクト302の符号であるVOデータC-1-1からなる。
【００３９】
また、通信回線205から通信インタフェース206を介して、図2(d)に示す画像が、MPEG4符号化方式のSimpleプロファイル・レベル2，128kbpsにより符号化されたデータを入力するとする。図2(d)に示す画像においては、背景のオブジェクト303に、人を表すオブジェクト308，309が含まれている。図6(d)にその符号化データを示し、背景のオブジェクト303の符号はビデオオブジェクト(VO)データD-1-1であり、人のオブジェクト308，309の符号はそれぞれVOデータD-1-2，VOデータD-1-3である。
【００４０】
尚、説明を簡易にするため、上述した全ての画像（図2(a)〜(d)）のサイズを、QCIF（Quater Common Intermediate Format）フォーマットであるとする。
【００４１】
これらの符号化データは、全て画像編集部208に入力される。図3に、画像編集部208の詳細ブロック構成を示す。図3において、1〜4はシステムに関する符号化データを各入力毎に格納するシステム符号メモリであり、5〜8は動画像の符号化データを各入力毎に格納するビデオ符号メモリである。9は動画像の符号化データを復号してオブジェクトを再生するビデオデコーダであり、10はシステムの符号化データを復号してオブジェクトの配置情報等を再生するシステムデコーダである。
【００４２】
これらの復号結果は編集操作器207に出力され、各オブジェクトが配置情報に従って表示される。編集操作器207においては、ユーザによるこれらのオブジェクトの配置やサイズの変更、又は変形等の指示に応じて、表示のタイミングやスピード等を新たに設定する。
【００４３】
11はシステム符号の合成を行うシステム符号合成部である。12はビデオ符号のヘッダの合成、変更を行うヘッダ処理部である。13はビデオ符号メモリ5〜8の出力を適宜選択して出力するセレクタである。14はシステム符号合成部11、ヘッダ処理部12、セレクタ13の出力を多重化して符号化データを生成する多重化器である。
【００４４】
画像編集部208において、記憶装置201，202，符号化器204，通信インタフェース206のそれぞれの出力は、システム符号化データと動画像符号化データとに分離された後、システム符号化データはそれぞれシステム符号メモリ1〜4に、動画像符号化データはそれぞれビデオメモリ5〜8に格納される。
【００４５】
それぞれの符号化データが格納されたら、ビデオデコーダ9及びシステムデコーダ10はそれぞれを復号し、編集操作器207に出力する。編集操作器207では、ユーザがオブジェクトの取捨選択や配置の変更、動画像の開始のタイミングやフレームレート等の設定を操作し、該編集操作に応じて、ビデオデコーダ9及びシステムデコーダ10は適宜復号を行う。
【００４６】
図4に、図2(a)〜(d)に示した画像を編集、合成した例を示す。即ち、4つの画像を編集、合成することによって、新たな画像320を作成する。画像320のサイズは、QCIFが重ならずに4枚合成されているのでCIFとなる。画像320においては、左上から時計まわり順に、背景を示すオブジェクト300，オブジェクト302，背景を示すオブジェクト301，303が配置されている。また、人を表すオブジェクト304，305は、右方向に平行移動した位置にくるように編集され、オブジェクト308は拡大された後、背景オブジェクト300上に移動するように編集されている。
【００４７】
システム符号合成部11においては、これらの合成結果を受けてシステム符号メモリ1〜4からシステム符号を読み出し、配置情報にこれらの変形、移動等を反映した新たなシステム符号化データを作成し、多重化器14に出力する。
【００４８】
ここで、個々のオブジェクトについての合成に伴う変更状況を以下に示す。
【００４９】
まず、背景を表すオブジェクト300に関しては、座標及び開始タイミング等の変更はない。オブジェクト301に関しては、(0，0)であった座標が(0，144)に変更されている。オブジェクト302に関しては、(0，0)であった座標が(176，0)に変更されている。オブジェクト303に関しては、(0，0)であった座標が(176，144)に変更されている。
【００５０】
そして、人を表すオブジェクト304，305に関しては、座標が右方向への移動分加算される。オブジェクト306，307に関しては、背景のオブジェクト301の始点が(0，0)から(0，144)に変更されたのに伴い、その絶対位置が下方に144だけ移動する。オブジェクト308に関しては、拡大指示（拡大率）と原点(0，0)からの新たな距離に基づいて、新たな座標が生成される。オブジェクト309に関しては、背景のオブジェクト303の始点が(0，0)から(176，144)に変更されたのに伴い、その絶対位置が(176，144)ずつ移動する。
【００５１】
尚、システム符号合成部11においては、各オブジェクトの平行移動に対しては、該オブジェクトの符号データに対して単に表示位置の座標に移動量を加算するのみで良いが、拡大や変形処理に対しては、それらに対応するコマンドを作成し、新たに符号化を行なう必要がある。尚、MPEG4規格におけるシステム符号は、CG言語であるVRMLに類似しており、従ってその詳細なコマンドは、VRMLやISO/IEC14496-1と略同様である。
【００５２】
一方、ヘッダ処理部12においては、システム符号の編集結果を受けて新たなヘッダを生成する。図5に、ヘッダ処理部12の詳細ブロック構成を示す。図5において、20は入力されたヘッダ情報を各符号ごとに分離し、出力先を決定する分離器、21はプロファイル判定器、22はオブジェクト数判定器、23はビットレート判定器、24はプロファイルを決定するプロファイル決定器である。
【００５３】
ヘッダ処理部12は、ビデオ符号メモリ5〜8から各レイヤのヘッダ情報のPLI符号、video_object_start_code符号、bit_rate符号を分離器20で抽出して、プロファイル判定器21，オブジェクト数判定器22，ビットレート判定器23に入力する。プロファイル判定器21は、PLI符号を復号し、合成対象画像のプロファイル及びレベルから、最上位のプロファイルとレベルを検知する。オブジェクト数判定器22は、video_object_start_code符号を計数することで、符号化データに含まれているオブジェクト数を計数する。ビットレート判定器23は、bit_rate符号を復号することによって各ビットレートを検出し、その総和を求める。各判定器の出力はプロファイル決定器24に入力される。
【００５４】
プロファイル決定器24においては、図22に示したプロファイル表を参照することによって、最上位のプロファイルとオブジェクト数、及びビットレートを満足するプロファイル・レベルを決定する。本実施形態において、合成する4つの画像の最上位プロファイルはCoreプロファイル・レベル2であり、合成画像のオブジェクト数は10個、ビットレートの総和は684kbpsである。従って、これらの条件を満たすプロファイル・レベルは、オブジェクト表によればMainプロファイル・レベル3となる。従ってプロファイル決定器24においては、Mainプロファイル・レベル3に基づく新たなPLI符号を作成し、出力する。
【００５５】
多重化器14は、システム符号合成部11において生成されたシステム符号化データと、動画像の符号化データとを多重化する。動画像の符号化データは即ち、プロファイル関係等の符号が修正された符号をヘッダ処理部12から読み出し、また、ビデオ符号メモリ5〜8に格納されている符号化データを適宜読み出して多重化することにより生成される。そして、多重化された符号化データは記憶装置209や復号器210に出力される。
【００５６】
図6(e)に、多重化器14における多重結果として得られる符号化データを示す。図6(e)によれば、図6(a)〜(d)に示した全ての符号化データが合成され、即ち、図2(a)〜(d)の全てのオブジェクトが含まれていることが分かる。尚、多重化後の符号化データにおいて、ユーザデータを図21に示すように各オブジェクトの符号化データの前に置いても良いし、符号データ内の所定箇所に集中させても良い。
【００５７】
図7は、以上説明した本実施形態における画像処理のフローチャートである。まず、装置が起動されると、各画像データ入力手段（201,202,204,206）から画像の符号化データを入力して、各符号メモリ1〜4,5〜8に蓄積する（ステップS101）。そして該符号化データをそれぞれ復号し、ユーザに提示する（ステップS102）。その後、編集操作器207におけるユーザの編集結果を取得し（ステップS103）、該取得された編集結果に従って、システム符号を変更する（ステップS104）。更に、動画像符号化データのヘッダをプロファイル・レベル，オブジェクト数，ビットレート等に従って変更して、新たな符号を生成する（ステップS104）。そして多重化器14において、これらのシステム符号化データとビデオ符号化データを多重化して出力する（ステップS106）。
【００５８】
画像編集部208において合成された符号化データが復号器210に入力されることにより、復号器210においては、復号対象として入力される符号化データの規模や必要なデコーダの数等を容易に検出することができる。従って、該符号化データを実際に復号することなく、復号が可能であるか否かを容易に判定することができる。そして、例えば復号不可能と判定された場合でも、該符号化データを一旦記憶装置209に格納しておき、復号器210において必要数のデコーダを用意することにより、改めて該符号化データを復号することができる。
【００５９】
尚、本実施形態におけるシステム符号メモリ1〜4やビデオ符号メモリ5〜8の構成は図3に示す例に限定されず、より多くの符号メモリを設けても構わないし、１つのメモリを複数領域に分割して使用したり、磁気ディスク等の記憶媒体を使用してもちろん構わない。
【００６０】
以上説明したように本実施形態によれば、プロファイルやレベルが互いに異なる符号化データを合成する際に、プロファイルやレベルの再定義を行う。これにより、復号器210において、入力される符号化データの規模や必要なデコーダの数等を予め知ることができ、復号の可否を容易に判断することができる。
【００６１】
＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。尚、第2実施形態における動画像処理装置の概要構成は、上述した第1実施形態の図1と同様であるため、説明を省略する。第2実施形態においては、編集操作器207によりユーザが任意のプロファイルを指定し、画像編集部208においては該指定されたプロファイルに基づいた符号化データを生成することを可能とする。
【００６２】
図8は、第2実施形態における画像編集部208の詳細構成を示すブロック図である。図8において、第1実施形態の図3と同様の構成には同一番号を付し、説明を省略する。第2実施形態においては、動画像符号化方式としてMPEG4符号化方式を用いた場合について説明するが、画像内の複数のオブジェクトを各々符号化することができれば、どのような符号化方式でも適用可能である。
【００６３】
30はプロファイル制御部であり、入力された複数の画像データを、編集操作器207より指示されたプロファイルに適合するように合成するための各種制御を行う。31はシステム符号の合成を行うシステム符号合成部、32はビデオ符号のヘッダの合成、変更を行うヘッダ処理部である。34は各オブジェクトの符号長を調整する符号長調整部である。36はオブジェクトの統合処理を行う統合処理部である。33，35，37はセレクタであり、プロファイル制御部30からの指示に従って、それぞれの入出力を切り替える。
【００６４】
上述した第1実施形態と同様に、記憶装置201，202、符号化器204、通信インタフェース206から入力された符号化データは、システム符号化データと動画像符号化データとに分離され、それぞれシステム符号メモリ1〜4，ビデオ符号メモリ5〜8に格納される。
【００６５】
尚、第2実施形態において記憶装置201，202、符号化器204、通信インタフェース206から入力される符号化データは、それぞれ上述した第1実施形態と同様であるとする。従って、それぞれの画像は図2(a)〜(d)に示す通りであり、それぞれを符号化することにより、図6(a)〜(d)に示す符号化データが得られる。但し、第2実施形態においては、記憶装置201からは、Coreプロファイル・レベル2，1024kbpsの符号化データ(VOデータA)が入力され、同様に、記憶装置202からはCoreプロファイル・レベル1，384kbpsの符号化データ(VOデータB)、符号化器204からはSimpleプロファイル・レベル3，384kbpsの符号化データ(VOデータC)、通信回線205からはCoreプロファイル・レベル2，768kbpsの符号化データ(VOデータD)が入力されるとする。
【００６６】
ここで、これらの各符号化データは、各オブジェクト固有の情報を、ユーザデータとして備えているとする。第2実施形態におけるオブジェクトは"人"，"背景"及び"切り出しされていない画面"であるから、例えば"人"のオブジェクトのユーザデータとしては、オブジェクトの種類が"人"であることや、該オブジェクトの人物の個人情報（性別、年齢、職業等）、更に、該画像における該人物の行為（例えば、オブジェクト304及び305は議論を行なっており、オブジェクト307は注射をうち、オブジェクト306は注射をうたれている、等）が記載されている。これらのオブジェクト固有の情報は、オブジェクトの検索等、編集操作の際に利用される。
【００６７】
それぞれの符号化データが各符号メモリに格納されたら、ビデオデコーダ9及びシステムデコーダ10はそれぞれを復号し、編集操作器207に出力する。編集操作器207では、ユーザがオブジェクトの取捨選択や配置の変更、動画像の開始のタイミングやフレームレート等の設定を操作することにより、第1実施形態と同様に図4に示す合成画像320を得る。
【００６８】
上述したように第2実施形態においては、ユーザが編集操作器207より、出力する符号化データのプロファイル・レベルを任意に設定できることを特徴とする。従って、例えば生成した符号化データを放送等によって配信する場合、ユーザによって該符号化データのプロファイル・レベルを受信するデコーダのプロファイル・レベルに合わせることができる。以下、編集操作器207においてユーザがCoreプロファイル・レベル2を指示した場合について説明する。
【００６９】
ユーザによるプロファイル・レベルの指示は、編集結果とともにプロファイル制御部30に入力される。ここで、図4に示した合成画像320はオブジェクトを10個含み、ビットレートの総和は2560kbpsである。また、ユーザによって指定されたCoreプロファイル・レベル2においては、図22のプロファイル表によれば最大オブジェクト数が8、最大ビットレートが2048kbpsである。このため、指定されたプロファイル・レベルによる復号を可能とするためには、合成画像320においてオブジェクトを2つ減じ、ビットレートを抑制する必要がある。
【００７０】
そこでプロファイル制御部30においては、以下の条件に基づいて符号化データの符号長を抑制する。尚、上記条件は、(1)，(2)，(3)の順に優先とする。
【００７１】
（1）上位のプロファイル・レベルのものから符号長を抑制する。
【００７２】
（2）ビットレートの高いものから符号長を抑制する。
【００７３】
（3）すべての符号長を抑制する。
【００７４】
以下、この条件に基づいてVOデータAの符号長抑制を行うことにより、VOデータAのビットレートを1024kbpsから512kbpsに減じた場合を例として説明する。
【００７５】
また、オブジェクト数を減じるためには、例えば2つのオブジェクトを合成して1つのオブジェクトに統合する方法が考えられる。第2実施形態においては、複数のオブジェクトのうち統合対象となるオブジェクトを決定するために、システム符号メモリ1〜4に格納されているシステム符号内のノード情報を参照する。即ち、ノードの親子関係を参照して、同じ親を有するオブジェクト同士を統合する。
【００７６】
以下、第2実施形態におけるオブジェクト統合処理について説明する。図9に、第2実施形態における各オブジェクトのノード状況を示す。図9(a)は、図2(a)に示す画像データのノード関係である。この符号化データは上から背景300と人を表すノード(People)とに分けられ、更に、人を表すノードは、オブジェクト304，305(man)の親になっている。同様に、図9(b)は図2(b)の画像データのノード関係を、図9(c)は図2(c)の画像データのノード関係を、図9(d)は図2(d)の画像データのノード関係を示す。即ち、図9(a)ではオブジェクト304(man)，305(man)が人を表すノード(People)に繋がっており、図9(b)ではオブジェクト306(girl)，307(doctor)が人を表すノード(People)に繋がっており、図9(d)ではオブジェクト308(woman)，309(man)が人を表すノード(Dancer)に繋がっている。
【００７７】
従って第2実施形態においては、各画像毎に、これらの人を表すノードに繋がっているオブジェクトを統合対象のオブジェクトとして決定する。即ち、図2(a)に示す画像においてはオブジェクト304と305を統合する。同様に、図2(b)に示す画像においてはオブジェクト306と307を、図2(d)に示す画像においてはオブジェクト308と309を、それぞれ統合する。このような統合を行なうことにより、統合後の合成画像におけるオブジェクト数は7つとなり、Coreプロファイル・レベル2を満足する。
【００７８】
プロファイル制御部30はシステム符号合成器31に対して、オブジェクトを統合した後の各オブジェクトの配置情報を新たに再生するように指示する。システム符号合成器31は第1実施形態と同様に、オブジェクトを統合した状態でシステム符号を生成する。
【００７９】
同時にプロファイル制御部30はヘッダ処理部32に対して、オブジェクトを統合した後の各オブジェクトのヘッダ情報を新たに再生するように指示する。即ち、画像のサイズをCIFに変更し、ビットレートを2048kbpsに設定し、PLI符号をCoreプロファイル・レベル2に設定する。また、統合されたオブジェクトのVOL_width，VOL_height，VOP_width，VOP_height，bit_rate等の各符号を修正する。
【００８０】
そしてセレクタ33は、プロファイル制御部30の制御に基づき、図2(a)に示す画像のオブジェクト(VOデータA)については符号長調整部34を経由し、それ以外のオブジェクトは符号長調整部34を経由しないように、切り替わる。
【００８１】
図10は、符号長調整部34の詳細構成を示すブロック図である。入力されたビデオ符号化データをオブジェクト復号器41で復号し、オブジェクト符号化器42において、元の符号化時よりも大きな量子化係数によって符号化する。即ち、図2(a)に示す画像のオブジェクトを、粗い量子化によって再符号化することによって、ビットレートを抑えることができる。
【００８２】
セレクタ35は、プロファイル制御部30の制御に基づき、オブジェクト304と305、オブジェクト306と307、オブジェクト308と309の符号化データの組み合わせがそれぞれ統合処理部36に入力されるように、切り替わる。
【００８３】
図13は、統合処理部36の詳細構成を示すブロック図である。同図において、50，51は符号メモリであり、統合するオブジェクトの符号化データをそれぞれ格納する。52，54はセレクタであり、オブジェクト毎に入出力を切り替える。53はオブジェクト復号器であり、符号化データを復号し、オブジェクトの画像を再生する。55，56はフレームメモリであり、再生された画像をオブジェクト毎に格納する。57は合成器であり、システム符号メモリ1〜4に格納されている統合対象のオブジェクトの配置情報に従って、オブジェクトを合成する。58は符号化器であり、合成して得られた画像データを符号化して出力する。
【００８４】
以下、図2(d)に示す画像内のオブジェクト308と309を統合する場合を例として、統合処理部36の動作について詳細に説明する。符号メモリ50，51には、それぞれ統合対象であるオブジェクト308，309の符号化データが格納される。まず、セレクタ52は符号メモリ50側の入力を選択し、セレクタ54はフレームメモリ55側の出力を選択する。その後、符号メモリ50から符号化データが読み出され、オブジェクト復号器53で復号された後、セレクタ54を介してフレームメモリ55にオブジェクト308の画像情報が書き込まれる。このオブジェクト308の画像データは、カラー画像を表す画像データと形状を表すマスク情報からなる。続いて、セレクタ52，54の入出力をそれぞれ他方側に切り替えて同様の処理を行なうことにより、オブジェクト309の画像情報をフレームメモリ56に格納する。
【００８５】
合成器57は、ヘッダ処理部32からオブジェクト308，309の位置情報及びサイズ情報を取得して、統合後の新たなオブジェクトのサイズ、該新たなオブジェクト内における元のオブジェクト308，309のそれぞれの相対位置を求めることができる。そして、フレームメモリ55,56の情報を読み出し、カラー画像情報とマスク情報のそれぞれを合成する。カラー画像情報の合成結果を図14に、マスク情報の合成結果を図15に示す。これらのカラー画像情報及びマスク情報は、符号化器58においてMPEG4のオブジェクト符号化方式に従って符号化された後、統合処理部36から出力される。
【００８６】
統合されたカラー画像情報に関する符号化データ、及びマスク情報符号化データは、セレクタ37を介して多重化器14に入力され、1つのオブジェクトの符号化データに多重化される。多重化器14には、システム符号合成部31における合成結果、及びヘッダ処理部32で生成されたヘッダと、該ヘッダに対応する符号化データがセレクタ37を介して順次入力され、これらを多重化して出力する。
【００８７】
ここで、第2実施形態における画像編集部208から出力される符号化データのデータ構造を図16に示す。同図によれば、ビデオオブジェクトデータは、新たに設定されたPLI符号（図中PLIN-1）に続き、背景を表すオブジェクト300に対応するVOデータA-1-1に続き、オブジェクト303，304を統合したオブジェクトに対応するVOデータA-1-23が続く。そして更に、背景を表すオブジェクト301に対応するVOデータB-1-1，オブジェクト305，306を統合したオブジェクトに対応するVOデータB-1-23、オブジェクト302に対応するVOデータC-1-1、背景を表すオブジェクト303に対応するVOデータD-1-1、オブジェクト308，309を統合したオブジェクトに対応するVOデータD-1-23が続く。即ち、1つのビジュアルオブジェクト内に7つのビデオオブジェクトが存在していることが分かる。
【００８８】
このようにして得られた符号化データは、記憶装置209に格納されたり、又は復号器210で復号されて、図4に示すような画像として表示器211に表示される。
【００８９】
以上説明したように第2実施形態によれば、プロファイルやレベルが互いに異なる符号化データを合成する際に、プロファイルやレベルの再定義を行い、更に、オブジェクト数やビットレートを調整することが可能である。これにより、ユーザが所望するプロファイル・レベルの符号化データを得ることができる。
【００９０】
更に、システム符号に記載されているオブジェクトの関係(ノード)に基づいてオブジェクトを統合することにより、画像内の各オブジェクトを有意に合成することが可能となり、即ち、人間の感覚に近い合成が可能になる。
【００９１】
＜＜変形例＞＞
図11は、第2実施形態における符号長調整部34の変形構成例を示すブロック図である。入力されたビデオ符号化データが動き補償を行っている場合、ハフマンデコーダ43でDCT係数の復号を行う。そして、得られた量子化結果を高周波除去器44に入力して高周波成分を切り捨て、0に置換える。そして、ハフマンエンコーダ45で再度符号化する。即ち、オブジェクトの高周波を落とした形で再符号化することにより、符号長を短縮することができる。
【００９２】
また、図12は、符号長調整部34の更なる変形構成例を示すブロック図である。入力されたビデオ符号化データが動き補償を行っている場合、ハフマンデコーダ43でDCT係数の復号を行う。そして、得られた量子化結果を逆量子化器46によって逆量子化した後、量子化器47で元の符号化時よりも大きな量子化係数によって再度量子化する。即ち、動き補償による符号化がなされたオブジェクトを粗い量子化によって再符号化することによって、符号長を短縮することができる。
【００９３】
尚、第2実施形態において統合対象となるオブジェクトの選択は、ノードによって示されるオブジェクト同士の関係に加え、オブジェクトのユーザデータに記載されている各オブジェクト固有の情報を用いてももちろん構わない。即ち、類似するオブジェクト（"人"や"職業別"等）の統合を行なうことも可能である。更に、オブジェクトである人物の行為の関係、例えば"注射行為"を選択の条件として、オブジェクト305とオブジェクト306を統合することも可能である。
【００９４】
更に、オブジェクトのサイズや符号長、位置関係、ユーザによる指示等、複数の条件を組み合わせることによって、統合対象オブジェクトの選択を行なっても良い。
【００９５】
また、第2実施形態においては、システム符号に記載されているオブジェクトの関係(ノード)に基づいてオブジェクトを統合する例について説明したが、例えばノードに基づいて選択したオブジェクトを廃棄することにより、オブジェクト数を減じることも可能である。この場合、ビットレートの抑制も同時に実現される。
【００９６】
尚、上述した第1及び第2実施形態におけるシステム符号メモリ1〜4やビデオ符号メモリ5〜8の構成は図3に示す例に限定されず、より多くの符号メモリを設けても構わないし、１つのメモリを複数領域に分割して使用したり、磁気ディスク等の記憶媒体を使用してもちろん構わない。
【００９７】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００９８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００９９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１００】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【０１０１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０２】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。
【０１０３】
以上説明したように本発明によれば、符号化された複数のオブジェクトの少なくとも一部を統合することで、所定規格に基づく1つの符号化データを得ることができる。
【０１０４】
また、該合成された符号化データを、任意の符号化仕様の復号器で復号することが可能となる。
【０１０５】
また、符号化データに含まれるオブジェクト数及び符号長を調整することが可能となる。
【０１０６】
【図面の簡単な説明】
【図１】本発明を適用した動画像合成装置の構成を示すブロック図、
【図２】合成対象となる画像例を示す図、
【図３】本実施形態における画像編集部の構成を示すブロック図、
【図４】合成結果の画像例を示す図、
【図５】ヘッダ処理部の詳細構成を示すブロック図、
【図６】合成対象となる画像及び合成後の画像の符号化データを示す図、
【図７】本実施形態における画像処理のフローチャート、
【図８】第2実施形態における画像編集部の構成を示すブロック図、
【図９】各オブジェクトのノードの関係を示す図、
【図１０】符号長調整部34の構成を示すブロック図、
【図１１】第2実施形態の変形例における符号長調整部の構成を示すブロック図、
【図１２】第2実施形態の変形例における符号長調整部の構成を示すブロック図、
【図１３】統合処理部36の構成を示すブロック図、
【図１４】カラー画像情報の合成例を示す図、
【図１５】マスク情報の合成例を示す図、
【図１６】合成した画像の符号化データを示す図、
【図１７】 MPEG4規格による符号化器の構成例を示す図、
【図１８】 MPEG4規格による復号器の構成例を示す図、
【図１９】符号化データの表す画像の構成例を示す図、
【図２０】オブジェクトのノード関係を示す図、
【図２１】 MPEG4規格による動画像符号化データの構成例を示す図、
【図２２】 MPEG4規格によるプロファイル表、である。
【符号の説明】
1，2，3，4 システム符号メモリ
5，6，7，8 ビデオ符号メモリ
9 ビデオデコーダ
10 システムデコーダ
11 システム符号合成部
12，32 ヘッダ処理部
13，33，35，37，52，54 セレクタ
14，1005 多重化器
20 分離器
21 プロファイル判定器
22 オブジェクト数判定器
23 ビットレート判定器
24 プロファイル決定器
30 プロファイル制御部
31 システム符号合成部
34 符号長調整部
36 統合処理部
41，53 オブジェクト復号器
42，1002，1003，1004 オブジェクト符号化器
43 ハフマンデコーダ
44 高周波除去器
45 ハフマンエンコーダ
46 逆量子化器
47 量子化器
50，51 符号メモリ
57，1010 合成器
58，204 符号化器
201，202，209 記憶装置
203 TVカメラ
205 通信回線
206 通信インタフェース
207 編集操作器
208 画像編集部
210 復号器
211 表示器
1001 オブジェクト定義器
1006 分離器
1011 配置情報符号化器
1012 配置情報復号器
300，301，302，303，304，305，306，307，308，309，2000，2001，2002，2003，2004 オブジェクト
【発明の属する技術分野】
本発明は、動画像の符号化データの処理、特に１つのデータ列に複数の画像情報を含む符号化データの処理装置に関する。
【０００２】
【従来の技術】
近年、動画像の新しい符号化方式として、MPEG4(Moving Picture Experts Group Phase4)規格の標準化が進められている。従来のMPEG2規格に代表される動画像の符号化方式においては、フレームあるいはフィールドを単位とした符号化を行なっていたが、動画像の映像や音声を構成するコンテンツ(人物や建物，声，音，背景等)の再利用や編集を実現するために、MPEG4規格では映像データやオーディオ・データをオブジェクト（物体）として扱うことを特徴とする。さらに、映像データに含まれる物体も独立して符号化され、それぞれもオブジェクトとして扱うことができる。
【０００３】
図17に、MPEG4規格に基づく符号化器の機能ブロック図を示す。図17において、入力された画像データはオブジェクト定義器1001によって各オブジェクトに分割され、分割されたオブジェクト毎に最適な符号化を行なう、それぞれのオブジェクト符号化器1002〜1004によって符号化する。
【０００４】
図21に、オブジェクト符号化データの構成例を示す。MPEG4規格による動画像の符号化データは、符号化効率及び編集操作性の向上の観点に基づき、階層化されている。図21に示すように、符号化データの先頭には識別のためのvisual_object_sequence_start_code（図中VOSSC）があり、それに各ビジュアルオブジェクトの符号化データが続き、最後に符号化データの後端を示すvisual_object_sequence_end_code（図中VOSEC）がある。ここでビジュアルオブジェクトとしては、撮影された動画像のほかに、CGデータ等も定義される。
【０００５】
ビジュアルオブジェクトの詳細としては、先頭に識別のためのvisual_object_start_code（図中Visual Object SC）があり、続いて符号化レベルを示すprofile_and_level_indication（図中PLI）がある。それ以降、ビジュアルオブジェクトの情報を表す符号であるis_visual_object_identifier（図中IVOI），visual_object_verid（図中VOVID），visual_object_priority（図中VOPRI），visual_object_type（図中VOTYPE）などが続き、ビジュアルオブジェクトのヘッダ情報を構成している。ここで、VOTYPEは例えば、該画像が撮像された動画像である場合は"0001"であり、これに続いて動画像の符号化データの魂を表すビデオオブジェクト(VO)データが続く。
【０００６】
ビデオオブジェクトデータは、それぞれのオブジェクトを表す符号化データであり、先頭に識別のためのvideo_object_start_code（図中Video Object SC）を有し、更に、スケーラビリティを実現するためのビデオオブジェクトレイヤデータ(VOL)と、動画像の1フレームに相当するビデオオブジェクトプレーンデータ(VOP)を有する。それぞれのヘッダ部分には、サイズを表す符号video_object_layer_width（図中VOL_width），video_object_layer_height（図中VOL_height）及びvideo_object_plane_width（図中VOP_width），video_object_plane_height（図中VOP_height）を備える。また、VOLデータのヘッダは、当該ビットレートを示すbit_rate符号を備える。
【０００７】
尚、図21に示す符号化データ構成の各階層においては、ユーザにより、user_data_start_code（図中UDSC）で始まる任意長のデータを挿入することができ、該ユーザデータは、次に何らかのスタートコードを認識することで符号化データと区別される。
【０００８】
また、各オブジェクトを復号側で配置するための情報を、配置情報符号化器1011で符号化する。この配置情報はシステム符号と呼ばれ、CG言語であるVRMLと同様に、分割されたオブジェクトの配置、再生のタイミング等を記述したものが符号化されている。こうして得られた符号化データを、多重化器1005によって多重化して１つの符号化データとして出力する。
【０００９】
ここで、上述したシステム符号は、各オブジェクトの関係をノードという概念で記述している。以下、図19及び図20を参照して、ノードについて具体的に説明する。図19は、複数のオブジェクトで構成された画像の例を示す図である。この画像は、それぞれ背景(Background)，気球(Balloon)，小鳥(Bird)，飛行機(Jet)，車(Car)，女性(Woman)，男性(Man)を示す各オブジェクト2000〜2006で構成されている。図20は、図19に示す画像におけるノードを示す図である。全体はシーン(Scene)というノードで表されている。シーンのノードは、背景を表すオブジェクト2000(Background)と車のオブジェクト2004(Car)、及び人を表すノード(People)、空を飛んでいるものを表すノード(Fly)からなる。更に、人を表すノードは、オブジェクト2005(Women)，2006(Man)からなる。同様に、空を飛ぶものを表すノードは、オブジェクト2001(Balloon)，2002(Bird)，2003(Jet)からなる。これらの関係が、システム符号化データの中に記載されている。
【００１０】
図18に、図17に示した符号化器による符号化データを復号する復号器の機能ブロック図を示す。符号化データが入力されると、まず分離器1006によって多重化を解かれ、各オブジェクトの符号化データを得る。得られた符号化データは各オブジェクトに対応した復号器1007〜1009によって復号される。同時に、配置情報復号器1012は各オブジェクトの配置情報を復号する。オブジェクト復号器1007〜1009の出力は、オブジェクト配置情報に従って合成器1010によって合成され、画像として表示される。
【００１１】
このようにMPEG4規格によれば、動画像内のオブジェクトを個別に扱うことで、復号側ではさまざまなオブジェクトを自由に配置することができる。また、放送やコンテンツ作成会社等においても、事前にオブジェクトの符号化データを生成しておくことにより、有限なコンテンツから非常に多くの動画像データを生成することが可能になった。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述したようにMPEG4規格の符号化方式においては、複数のオブジェクトを合成することにより、1つのシーンを表す。従って、特に復号側では、全てのオブジェクトの復号に対応するのに十分な復号手段の数を確定することができず、従って、装置やシステムを構築するのが非常に困難であった。
【００１３】
そのため、標準化されたMPEG4規格においては、プロファイル及びレベルの概念を規定し、符号化データや符号化器／復号器の設計にあたって仕様を決定することができるように、プロファイル及びレベルからなる符号化仕様として、オブジェクト数やビットレートの上限値を設けている。図22に、プロファイル・レベル毎の各要件の上限を規定するプロファイル表の一例を示す。
【００１４】
図22のプロファイル表に示されるようにMPEG4規格においては、プロファイルに応じて符号化に使用する手段（ツール）の組み合わせが異なり、さらにレベルにより、扱う画像の符号化データの量が段階的に分けられている。ここで、扱えるオブジェクト数の最大値とビットレートの最大値はいずれも該符号化仕様における上限を表すものであり、それ以下の値であれば、該符号化仕様に含まれる。例えば、Coreプロファイルで使用可能なツールを用い、オブジェクト数が6個で、300kbpsで符号化するのであれば、該符号化データ（符号化器）はレベル2に相当する。
【００１５】
このプロファイルとレベルは、上述したように、ビットストリームの中のPLI符号で表される。従って復号器においては、PLI符号を参照することによって、復号が可能か否かを判定することができる。即ち、以下のような場合には復号が行なえない。
【００１６】
例えば、Coreプロファイル・レベル1の復号器では、Coreプロファイル・レベル2のデータであって、ビットレート等の上限を超える符号化データは復号できない。
【００１７】
また、Simpleプロファイル・レベル１であって、オブジェクトを4つ含む画像の符号化データを2つ合成することにより、Simpleプロファイル・レベル2の符号化データを生成することが考えられる。しかしながらこの場合、レベル2のオブジェクト最大数は4であるため、MPEG4のいずれのプロファイルやレベルにも所属しない符号化データが生成されてしまうことになる。従って、このような符号化データを復号することはできない。
【００１８】
また、例えばSimpleプロファイル48kbpsと24kbpsの２つの符号化データ（それぞれのオブジェクト数は2）を多重化して新しいビットストリームを生成する等、そのビットレートが64kbpsに収まらない場合がある。このような場合にはレベルを2にする必要があり、即ち、レベル1の復号器では復号できない。
【００１９】
以上のように、復号器の符号化仕様（プロファイル及びレベル）が、符号化データの符号化仕様（プロファイル及びレベル）を十分に包含できない場合には、該符号化データを復号することはできなかった。
【００２０】
これは特に、複数の画像を合成する際に顕著となる問題であり、例えばある復号器で復号可能である符号化データを複数合成した場合に、該合成された符号化データは該復号器において復号できなくなってしまう場合があった。又は、合成された符号化データが、MPEG4のいずれのプロファイル・レベルにも適合しない場合には、MPEG4規格の復号器では復号できなかった。
【００２１】
本発明は上述した問題を解決するためになされたものであり、符号化された複数のオブジェクトの少なくとも一部を統合することで、所定規格に基づく1つの符号化データを得るデータ処理装置及びその方法、及びデータ処理システムを提供すること目的とする。
【００２２】
また、該合成された符号化データを、任意の符号化仕様の復号器で復号可能なデータ処理装置及びその方法、及びデータ処理システムを提供すること目的とする。
【００２３】
また、符号化データに含まれるオブジェクト数及び符号長を調整可能なデータ処理装置及びその方法、及びデータ処理システムを提供すること目的とする。
【００２４】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明のデータ処理装置は以下の構成を備える。
【００２５】
即ち、符号化されたＮ個のオブジェクト及び配置情報を含む画像データを処理するデータ処理装置であって、前記画像データを入力する入力手段と、前記入力手段により入力された前記画像データの符号化仕様の情報を指示する仕様指示手段と、前記仕様指示手段で指示された前記符号化仕様の情報を設定する設定手段と、前記入力手段により入力された前記画像データのオブジェクトの数が前記符号化仕様の情報で規定された数よりも多い場合に、前記Ｎ個のオブジェクトの少なくとも一部を、該オブジェクトが属するノード情報を前記配置情報から参照して、属するノード情報が同一のオブジェクトを統合することにより、符号化されたＭ個のオブジェクトを生成するオブジェクト数変更手段と、を有することを特徴とする。
【００２７】
また、符号化された複数の画像情報により１つの画像を構成するデータ列を処理するデータ処理装置であって、複数の前記データ列の合成を指示する合成指示手段と、前記合成データ列の符号化仕様を指示する仕様指示手段と、前記仕様指示手段により指示された符号化仕様に基づいて前記データ列中の画像情報の符号長を変更する変更手段と、前記合成指示手段による合成指示に基づいて、前記変更手段により変更された複数の前記データ列を合成する合成手段と、を有することを特徴とする。
【００２８】
また、上記目的を達成するための一手法として、本発明のデータ処理方法は以下の工程を備える。
【００２９】
即ち、符号化されたＮ個のオブジェクト及び配置情報を含む画像データを生成処理するデータ処理方法であって、前記画像データを入力する入力工程と、前記入力工程において入力された前記画像データの符号化仕様の情報を指示する仕様指示工程と、前記仕様指示工程において指示された前記符号化仕様の情報を設定する設定工程と、前記入力工程において入力された前記画像データのオブジェクトの数が前記符号化仕様の情報で規定された数よりも多い場合に、前記Ｎ個のオブジェクトの少なくとも一部を、該オブジェクトが属するノード情報を前記配置情報から参照して、属するノード情報が同一のオブジェクトを統合することにより、符号化されたＭ個のオブジェクトを生成するオブジェクト数変更工程と、を有することを特徴とする。
【００３２】
【発明の実施の形態】
以下、本発明に係る一実施形態について図面を参照して詳細に説明する。
【００３３】
＜第1実施形態＞
図1は、本実施形態における画像合成を行なう動画像処理装置の概要構成を示すブロック図である。本実施形態においては、動画像符号化方式としてMPEG4符号化方式を用いた場合について説明する。尚、本実施形態における符号化方式はMPEG4に限らず、画像内の複数のオブジェクトを各々符号化することができれば、どのような方式であってもよい。
【００３４】
図1において、201，202は動画像符号化データを蓄積している記憶装置であり、磁気ディスク、光磁気ディスク、テープ、半導体メモリ等で構成されている。203はTVカメラであり、動画像を撮像してディジタル画像信号を出力する。204は符号化器であり、MPEG4符号化方式による符号化を行なう。205はLANや通信回線である。206は通信インタフェースであり、通信回線205から符号化データを受信する。207は画像の編集状況を表示し、ユーザが編集指示を入力する編集操作器である。208は本実施形態の特徴である画像編集部である。209は画像編集部208の出力を蓄積する記憶装置である。210はMPEG4符号化方式で符号化された動画像の符号化データを復号する復号器である。211は復号器210で復号された動画像を表示する表示器である。
【００３５】
以下、具体的な画像を例として、本実施形態における画像編集処理について説明する。
【００３６】
記憶装置201には、MPEG4符号化方式のCoreプロファイル・レベル2，384kbpsによって符号化された画像データが格納されている。図2(a)に、記憶装置201に格納されている画像の例を示し、図6(a)に、その符号化データを示す。図2(a)に示す画像においては、背景のオブジェクト300に、人を表すオブジェクト304，305が含まれている。そして図6(a)において、背景のオブジェクト300の符号はビデオオブジェクト(VO)データA-1-1であり、人のオブジェクト304，305の符号はそれぞれVOデータA-1-2，VOデータA-1-3である。
【００３７】
記憶装置202には、MPEG4符号化方式のCoreプロファイル・レベル1，200kbpsによって符号化された画像の符号化データが格納されている。図2(b)に、記憶装置202に格納されている画像の例を示し、図6(b)に、その符号化データを示す。図2(b)に示す画像においては、背景のオブジェクト301に、人を表すオブジェクト306，307が含まれている。そして図6(b)において、背景のオブジェクト301の符号はビデオオブジェクト(VO)データB-1-1であり、人のオブジェクト306，307の符号はそれぞれVOデータB-1-2，VOデータB-1-3である。
【００３８】
ここで、TVカメラ203において図2(C)に示す画像を撮像し、符号化器204でMPEG4符号化方式によって、Simpleプロファイル・レベル1，32kbpsによる符号化を行なったとする。この場合、撮像された画像から新たなオブジェクト抽出を行わなければ、該画像全体が１つのオブジェクト302として扱われる。従って、該画像の符号化データは図6(C)に示すように、1つのオブジェクト302の符号であるVOデータC-1-1からなる。
【００３９】
また、通信回線205から通信インタフェース206を介して、図2(d)に示す画像が、MPEG4符号化方式のSimpleプロファイル・レベル2，128kbpsにより符号化されたデータを入力するとする。図2(d)に示す画像においては、背景のオブジェクト303に、人を表すオブジェクト308，309が含まれている。図6(d)にその符号化データを示し、背景のオブジェクト303の符号はビデオオブジェクト(VO)データD-1-1であり、人のオブジェクト308，309の符号はそれぞれVOデータD-1-2，VOデータD-1-3である。
【００４０】
尚、説明を簡易にするため、上述した全ての画像（図2(a)〜(d)）のサイズを、QCIF（Quater Common Intermediate Format）フォーマットであるとする。
【００４１】
これらの符号化データは、全て画像編集部208に入力される。図3に、画像編集部208の詳細ブロック構成を示す。図3において、1〜4はシステムに関する符号化データを各入力毎に格納するシステム符号メモリであり、5〜8は動画像の符号化データを各入力毎に格納するビデオ符号メモリである。9は動画像の符号化データを復号してオブジェクトを再生するビデオデコーダであり、10はシステムの符号化データを復号してオブジェクトの配置情報等を再生するシステムデコーダである。
【００４２】
これらの復号結果は編集操作器207に出力され、各オブジェクトが配置情報に従って表示される。編集操作器207においては、ユーザによるこれらのオブジェクトの配置やサイズの変更、又は変形等の指示に応じて、表示のタイミングやスピード等を新たに設定する。
【００４３】
11はシステム符号の合成を行うシステム符号合成部である。12はビデオ符号のヘッダの合成、変更を行うヘッダ処理部である。13はビデオ符号メモリ5〜8の出力を適宜選択して出力するセレクタである。14はシステム符号合成部11、ヘッダ処理部12、セレクタ13の出力を多重化して符号化データを生成する多重化器である。
【００４４】
画像編集部208において、記憶装置201，202，符号化器204，通信インタフェース206のそれぞれの出力は、システム符号化データと動画像符号化データとに分離された後、システム符号化データはそれぞれシステム符号メモリ1〜4に、動画像符号化データはそれぞれビデオメモリ5〜8に格納される。
【００４５】
それぞれの符号化データが格納されたら、ビデオデコーダ9及びシステムデコーダ10はそれぞれを復号し、編集操作器207に出力する。編集操作器207では、ユーザがオブジェクトの取捨選択や配置の変更、動画像の開始のタイミングやフレームレート等の設定を操作し、該編集操作に応じて、ビデオデコーダ9及びシステムデコーダ10は適宜復号を行う。
【００４６】
図4に、図2(a)〜(d)に示した画像を編集、合成した例を示す。即ち、4つの画像を編集、合成することによって、新たな画像320を作成する。画像320のサイズは、QCIFが重ならずに4枚合成されているのでCIFとなる。画像320においては、左上から時計まわり順に、背景を示すオブジェクト300，オブジェクト302，背景を示すオブジェクト301，303が配置されている。また、人を表すオブジェクト304，305は、右方向に平行移動した位置にくるように編集され、オブジェクト308は拡大された後、背景オブジェクト300上に移動するように編集されている。
【００４７】
システム符号合成部11においては、これらの合成結果を受けてシステム符号メモリ1〜4からシステム符号を読み出し、配置情報にこれらの変形、移動等を反映した新たなシステム符号化データを作成し、多重化器14に出力する。
【００４８】
ここで、個々のオブジェクトについての合成に伴う変更状況を以下に示す。
【００４９】
まず、背景を表すオブジェクト300に関しては、座標及び開始タイミング等の変更はない。オブジェクト301に関しては、(0，0)であった座標が(0，144)に変更されている。オブジェクト302に関しては、(0，0)であった座標が(176，0)に変更されている。オブジェクト303に関しては、(0，0)であった座標が(176，144)に変更されている。
【００５０】
そして、人を表すオブジェクト304，305に関しては、座標が右方向への移動分加算される。オブジェクト306，307に関しては、背景のオブジェクト301の始点が(0，0)から(0，144)に変更されたのに伴い、その絶対位置が下方に144だけ移動する。オブジェクト308に関しては、拡大指示（拡大率）と原点(0，0)からの新たな距離に基づいて、新たな座標が生成される。オブジェクト309に関しては、背景のオブジェクト303の始点が(0，0)から(176，144)に変更されたのに伴い、その絶対位置が(176，144)ずつ移動する。
【００５１】
尚、システム符号合成部11においては、各オブジェクトの平行移動に対しては、該オブジェクトの符号データに対して単に表示位置の座標に移動量を加算するのみで良いが、拡大や変形処理に対しては、それらに対応するコマンドを作成し、新たに符号化を行なう必要がある。尚、MPEG4規格におけるシステム符号は、CG言語であるVRMLに類似しており、従ってその詳細なコマンドは、VRMLやISO/IEC14496-1と略同様である。
【００５２】
一方、ヘッダ処理部12においては、システム符号の編集結果を受けて新たなヘッダを生成する。図5に、ヘッダ処理部12の詳細ブロック構成を示す。図5において、20は入力されたヘッダ情報を各符号ごとに分離し、出力先を決定する分離器、21はプロファイル判定器、22はオブジェクト数判定器、23はビットレート判定器、24はプロファイルを決定するプロファイル決定器である。
【００５３】
ヘッダ処理部12は、ビデオ符号メモリ5〜8から各レイヤのヘッダ情報のPLI符号、video_object_start_code符号、bit_rate符号を分離器20で抽出して、プロファイル判定器21，オブジェクト数判定器22，ビットレート判定器23に入力する。プロファイル判定器21は、PLI符号を復号し、合成対象画像のプロファイル及びレベルから、最上位のプロファイルとレベルを検知する。オブジェクト数判定器22は、video_object_start_code符号を計数することで、符号化データに含まれているオブジェクト数を計数する。ビットレート判定器23は、bit_rate符号を復号することによって各ビットレートを検出し、その総和を求める。各判定器の出力はプロファイル決定器24に入力される。
【００５４】
プロファイル決定器24においては、図22に示したプロファイル表を参照することによって、最上位のプロファイルとオブジェクト数、及びビットレートを満足するプロファイル・レベルを決定する。本実施形態において、合成する4つの画像の最上位プロファイルはCoreプロファイル・レベル2であり、合成画像のオブジェクト数は10個、ビットレートの総和は684kbpsである。従って、これらの条件を満たすプロファイル・レベルは、オブジェクト表によればMainプロファイル・レベル3となる。従ってプロファイル決定器24においては、Mainプロファイル・レベル3に基づく新たなPLI符号を作成し、出力する。
【００５５】
多重化器14は、システム符号合成部11において生成されたシステム符号化データと、動画像の符号化データとを多重化する。動画像の符号化データは即ち、プロファイル関係等の符号が修正された符号をヘッダ処理部12から読み出し、また、ビデオ符号メモリ5〜8に格納されている符号化データを適宜読み出して多重化することにより生成される。そして、多重化された符号化データは記憶装置209や復号器210に出力される。
【００５６】
図6(e)に、多重化器14における多重結果として得られる符号化データを示す。図6(e)によれば、図6(a)〜(d)に示した全ての符号化データが合成され、即ち、図2(a)〜(d)の全てのオブジェクトが含まれていることが分かる。尚、多重化後の符号化データにおいて、ユーザデータを図21に示すように各オブジェクトの符号化データの前に置いても良いし、符号データ内の所定箇所に集中させても良い。
【００５７】
図7は、以上説明した本実施形態における画像処理のフローチャートである。まず、装置が起動されると、各画像データ入力手段（201,202,204,206）から画像の符号化データを入力して、各符号メモリ1〜4,5〜8に蓄積する（ステップS101）。そして該符号化データをそれぞれ復号し、ユーザに提示する（ステップS102）。その後、編集操作器207におけるユーザの編集結果を取得し（ステップS103）、該取得された編集結果に従って、システム符号を変更する（ステップS104）。更に、動画像符号化データのヘッダをプロファイル・レベル，オブジェクト数，ビットレート等に従って変更して、新たな符号を生成する（ステップS104）。そして多重化器14において、これらのシステム符号化データとビデオ符号化データを多重化して出力する（ステップS106）。
【００５８】
画像編集部208において合成された符号化データが復号器210に入力されることにより、復号器210においては、復号対象として入力される符号化データの規模や必要なデコーダの数等を容易に検出することができる。従って、該符号化データを実際に復号することなく、復号が可能であるか否かを容易に判定することができる。そして、例えば復号不可能と判定された場合でも、該符号化データを一旦記憶装置209に格納しておき、復号器210において必要数のデコーダを用意することにより、改めて該符号化データを復号することができる。
【００５９】
尚、本実施形態におけるシステム符号メモリ1〜4やビデオ符号メモリ5〜8の構成は図3に示す例に限定されず、より多くの符号メモリを設けても構わないし、１つのメモリを複数領域に分割して使用したり、磁気ディスク等の記憶媒体を使用してもちろん構わない。
【００６０】
以上説明したように本実施形態によれば、プロファイルやレベルが互いに異なる符号化データを合成する際に、プロファイルやレベルの再定義を行う。これにより、復号器210において、入力される符号化データの規模や必要なデコーダの数等を予め知ることができ、復号の可否を容易に判断することができる。
【００６１】
＜第2実施形態＞
以下、本発明に係る第2実施形態について説明する。尚、第2実施形態における動画像処理装置の概要構成は、上述した第1実施形態の図1と同様であるため、説明を省略する。第2実施形態においては、編集操作器207によりユーザが任意のプロファイルを指定し、画像編集部208においては該指定されたプロファイルに基づいた符号化データを生成することを可能とする。
【００６２】
図8は、第2実施形態における画像編集部208の詳細構成を示すブロック図である。図8において、第1実施形態の図3と同様の構成には同一番号を付し、説明を省略する。第2実施形態においては、動画像符号化方式としてMPEG4符号化方式を用いた場合について説明するが、画像内の複数のオブジェクトを各々符号化することができれば、どのような符号化方式でも適用可能である。
【００６３】
30はプロファイル制御部であり、入力された複数の画像データを、編集操作器207より指示されたプロファイルに適合するように合成するための各種制御を行う。31はシステム符号の合成を行うシステム符号合成部、32はビデオ符号のヘッダの合成、変更を行うヘッダ処理部である。34は各オブジェクトの符号長を調整する符号長調整部である。36はオブジェクトの統合処理を行う統合処理部である。33，35，37はセレクタであり、プロファイル制御部30からの指示に従って、それぞれの入出力を切り替える。
【００６４】
上述した第1実施形態と同様に、記憶装置201，202、符号化器204、通信インタフェース206から入力された符号化データは、システム符号化データと動画像符号化データとに分離され、それぞれシステム符号メモリ1〜4，ビデオ符号メモリ5〜8に格納される。
【００６５】
尚、第2実施形態において記憶装置201，202、符号化器204、通信インタフェース206から入力される符号化データは、それぞれ上述した第1実施形態と同様であるとする。従って、それぞれの画像は図2(a)〜(d)に示す通りであり、それぞれを符号化することにより、図6(a)〜(d)に示す符号化データが得られる。但し、第2実施形態においては、記憶装置201からは、Coreプロファイル・レベル2，1024kbpsの符号化データ(VOデータA)が入力され、同様に、記憶装置202からはCoreプロファイル・レベル1，384kbpsの符号化データ(VOデータB)、符号化器204からはSimpleプロファイル・レベル3，384kbpsの符号化データ(VOデータC)、通信回線205からはCoreプロファイル・レベル2，768kbpsの符号化データ(VOデータD)が入力されるとする。
【００６６】
ここで、これらの各符号化データは、各オブジェクト固有の情報を、ユーザデータとして備えているとする。第2実施形態におけるオブジェクトは"人"，"背景"及び"切り出しされていない画面"であるから、例えば"人"のオブジェクトのユーザデータとしては、オブジェクトの種類が"人"であることや、該オブジェクトの人物の個人情報（性別、年齢、職業等）、更に、該画像における該人物の行為（例えば、オブジェクト304及び305は議論を行なっており、オブジェクト307は注射をうち、オブジェクト306は注射をうたれている、等）が記載されている。これらのオブジェクト固有の情報は、オブジェクトの検索等、編集操作の際に利用される。
【００６７】
それぞれの符号化データが各符号メモリに格納されたら、ビデオデコーダ9及びシステムデコーダ10はそれぞれを復号し、編集操作器207に出力する。編集操作器207では、ユーザがオブジェクトの取捨選択や配置の変更、動画像の開始のタイミングやフレームレート等の設定を操作することにより、第1実施形態と同様に図4に示す合成画像320を得る。
【００６８】
上述したように第2実施形態においては、ユーザが編集操作器207より、出力する符号化データのプロファイル・レベルを任意に設定できることを特徴とする。従って、例えば生成した符号化データを放送等によって配信する場合、ユーザによって該符号化データのプロファイル・レベルを受信するデコーダのプロファイル・レベルに合わせることができる。以下、編集操作器207においてユーザがCoreプロファイル・レベル2を指示した場合について説明する。
【００６９】
ユーザによるプロファイル・レベルの指示は、編集結果とともにプロファイル制御部30に入力される。ここで、図4に示した合成画像320はオブジェクトを10個含み、ビットレートの総和は2560kbpsである。また、ユーザによって指定されたCoreプロファイル・レベル2においては、図22のプロファイル表によれば最大オブジェクト数が8、最大ビットレートが2048kbpsである。このため、指定されたプロファイル・レベルによる復号を可能とするためには、合成画像320においてオブジェクトを2つ減じ、ビットレートを抑制する必要がある。
【００７０】
そこでプロファイル制御部30においては、以下の条件に基づいて符号化データの符号長を抑制する。尚、上記条件は、(1)，(2)，(3)の順に優先とする。
【００７１】
（1）上位のプロファイル・レベルのものから符号長を抑制する。
【００７２】
（2）ビットレートの高いものから符号長を抑制する。
【００７３】
（3）すべての符号長を抑制する。
【００７４】
以下、この条件に基づいてVOデータAの符号長抑制を行うことにより、VOデータAのビットレートを1024kbpsから512kbpsに減じた場合を例として説明する。
【００７５】
また、オブジェクト数を減じるためには、例えば2つのオブジェクトを合成して1つのオブジェクトに統合する方法が考えられる。第2実施形態においては、複数のオブジェクトのうち統合対象となるオブジェクトを決定するために、システム符号メモリ1〜4に格納されているシステム符号内のノード情報を参照する。即ち、ノードの親子関係を参照して、同じ親を有するオブジェクト同士を統合する。
【００７６】
以下、第2実施形態におけるオブジェクト統合処理について説明する。図9に、第2実施形態における各オブジェクトのノード状況を示す。図9(a)は、図2(a)に示す画像データのノード関係である。この符号化データは上から背景300と人を表すノード(People)とに分けられ、更に、人を表すノードは、オブジェクト304，305(man)の親になっている。同様に、図9(b)は図2(b)の画像データのノード関係を、図9(c)は図2(c)の画像データのノード関係を、図9(d)は図2(d)の画像データのノード関係を示す。即ち、図9(a)ではオブジェクト304(man)，305(man)が人を表すノード(People)に繋がっており、図9(b)ではオブジェクト306(girl)，307(doctor)が人を表すノード(People)に繋がっており、図9(d)ではオブジェクト308(woman)，309(man)が人を表すノード(Dancer)に繋がっている。
【００７７】
従って第2実施形態においては、各画像毎に、これらの人を表すノードに繋がっているオブジェクトを統合対象のオブジェクトとして決定する。即ち、図2(a)に示す画像においてはオブジェクト304と305を統合する。同様に、図2(b)に示す画像においてはオブジェクト306と307を、図2(d)に示す画像においてはオブジェクト308と309を、それぞれ統合する。このような統合を行なうことにより、統合後の合成画像におけるオブジェクト数は7つとなり、Coreプロファイル・レベル2を満足する。
【００７８】
プロファイル制御部30はシステム符号合成器31に対して、オブジェクトを統合した後の各オブジェクトの配置情報を新たに再生するように指示する。システム符号合成器31は第1実施形態と同様に、オブジェクトを統合した状態でシステム符号を生成する。
【００７９】
同時にプロファイル制御部30はヘッダ処理部32に対して、オブジェクトを統合した後の各オブジェクトのヘッダ情報を新たに再生するように指示する。即ち、画像のサイズをCIFに変更し、ビットレートを2048kbpsに設定し、PLI符号をCoreプロファイル・レベル2に設定する。また、統合されたオブジェクトのVOL_width，VOL_height，VOP_width，VOP_height，bit_rate等の各符号を修正する。
【００８０】
そしてセレクタ33は、プロファイル制御部30の制御に基づき、図2(a)に示す画像のオブジェクト(VOデータA)については符号長調整部34を経由し、それ以外のオブジェクトは符号長調整部34を経由しないように、切り替わる。
【００８１】
図10は、符号長調整部34の詳細構成を示すブロック図である。入力されたビデオ符号化データをオブジェクト復号器41で復号し、オブジェクト符号化器42において、元の符号化時よりも大きな量子化係数によって符号化する。即ち、図2(a)に示す画像のオブジェクトを、粗い量子化によって再符号化することによって、ビットレートを抑えることができる。
【００８２】
セレクタ35は、プロファイル制御部30の制御に基づき、オブジェクト304と305、オブジェクト306と307、オブジェクト308と309の符号化データの組み合わせがそれぞれ統合処理部36に入力されるように、切り替わる。
【００８３】
図13は、統合処理部36の詳細構成を示すブロック図である。同図において、50，51は符号メモリであり、統合するオブジェクトの符号化データをそれぞれ格納する。52，54はセレクタであり、オブジェクト毎に入出力を切り替える。53はオブジェクト復号器であり、符号化データを復号し、オブジェクトの画像を再生する。55，56はフレームメモリであり、再生された画像をオブジェクト毎に格納する。57は合成器であり、システム符号メモリ1〜4に格納されている統合対象のオブジェクトの配置情報に従って、オブジェクトを合成する。58は符号化器であり、合成して得られた画像データを符号化して出力する。
【００８４】
以下、図2(d)に示す画像内のオブジェクト308と309を統合する場合を例として、統合処理部36の動作について詳細に説明する。符号メモリ50，51には、それぞれ統合対象であるオブジェクト308，309の符号化データが格納される。まず、セレクタ52は符号メモリ50側の入力を選択し、セレクタ54はフレームメモリ55側の出力を選択する。その後、符号メモリ50から符号化データが読み出され、オブジェクト復号器53で復号された後、セレクタ54を介してフレームメモリ55にオブジェクト308の画像情報が書き込まれる。このオブジェクト308の画像データは、カラー画像を表す画像データと形状を表すマスク情報からなる。続いて、セレクタ52，54の入出力をそれぞれ他方側に切り替えて同様の処理を行なうことにより、オブジェクト309の画像情報をフレームメモリ56に格納する。
【００８５】
合成器57は、ヘッダ処理部32からオブジェクト308，309の位置情報及びサイズ情報を取得して、統合後の新たなオブジェクトのサイズ、該新たなオブジェクト内における元のオブジェクト308，309のそれぞれの相対位置を求めることができる。そして、フレームメモリ55,56の情報を読み出し、カラー画像情報とマスク情報のそれぞれを合成する。カラー画像情報の合成結果を図14に、マスク情報の合成結果を図15に示す。これらのカラー画像情報及びマスク情報は、符号化器58においてMPEG4のオブジェクト符号化方式に従って符号化された後、統合処理部36から出力される。
【００８６】
統合されたカラー画像情報に関する符号化データ、及びマスク情報符号化データは、セレクタ37を介して多重化器14に入力され、1つのオブジェクトの符号化データに多重化される。多重化器14には、システム符号合成部31における合成結果、及びヘッダ処理部32で生成されたヘッダと、該ヘッダに対応する符号化データがセレクタ37を介して順次入力され、これらを多重化して出力する。
【００８７】
ここで、第2実施形態における画像編集部208から出力される符号化データのデータ構造を図16に示す。同図によれば、ビデオオブジェクトデータは、新たに設定されたPLI符号（図中PLIN-1）に続き、背景を表すオブジェクト300に対応するVOデータA-1-1に続き、オブジェクト303，304を統合したオブジェクトに対応するVOデータA-1-23が続く。そして更に、背景を表すオブジェクト301に対応するVOデータB-1-1，オブジェクト305，306を統合したオブジェクトに対応するVOデータB-1-23、オブジェクト302に対応するVOデータC-1-1、背景を表すオブジェクト303に対応するVOデータD-1-1、オブジェクト308，309を統合したオブジェクトに対応するVOデータD-1-23が続く。即ち、1つのビジュアルオブジェクト内に7つのビデオオブジェクトが存在していることが分かる。
【００８８】
このようにして得られた符号化データは、記憶装置209に格納されたり、又は復号器210で復号されて、図4に示すような画像として表示器211に表示される。
【００８９】
以上説明したように第2実施形態によれば、プロファイルやレベルが互いに異なる符号化データを合成する際に、プロファイルやレベルの再定義を行い、更に、オブジェクト数やビットレートを調整することが可能である。これにより、ユーザが所望するプロファイル・レベルの符号化データを得ることができる。
【００９０】
更に、システム符号に記載されているオブジェクトの関係(ノード)に基づいてオブジェクトを統合することにより、画像内の各オブジェクトを有意に合成することが可能となり、即ち、人間の感覚に近い合成が可能になる。
【００９１】
＜＜変形例＞＞
図11は、第2実施形態における符号長調整部34の変形構成例を示すブロック図である。入力されたビデオ符号化データが動き補償を行っている場合、ハフマンデコーダ43でDCT係数の復号を行う。そして、得られた量子化結果を高周波除去器44に入力して高周波成分を切り捨て、0に置換える。そして、ハフマンエンコーダ45で再度符号化する。即ち、オブジェクトの高周波を落とした形で再符号化することにより、符号長を短縮することができる。
【００９２】
また、図12は、符号長調整部34の更なる変形構成例を示すブロック図である。入力されたビデオ符号化データが動き補償を行っている場合、ハフマンデコーダ43でDCT係数の復号を行う。そして、得られた量子化結果を逆量子化器46によって逆量子化した後、量子化器47で元の符号化時よりも大きな量子化係数によって再度量子化する。即ち、動き補償による符号化がなされたオブジェクトを粗い量子化によって再符号化することによって、符号長を短縮することができる。
【００９３】
尚、第2実施形態において統合対象となるオブジェクトの選択は、ノードによって示されるオブジェクト同士の関係に加え、オブジェクトのユーザデータに記載されている各オブジェクト固有の情報を用いてももちろん構わない。即ち、類似するオブジェクト（"人"や"職業別"等）の統合を行なうことも可能である。更に、オブジェクトである人物の行為の関係、例えば"注射行為"を選択の条件として、オブジェクト305とオブジェクト306を統合することも可能である。
【００９４】
更に、オブジェクトのサイズや符号長、位置関係、ユーザによる指示等、複数の条件を組み合わせることによって、統合対象オブジェクトの選択を行なっても良い。
【００９５】
また、第2実施形態においては、システム符号に記載されているオブジェクトの関係(ノード)に基づいてオブジェクトを統合する例について説明したが、例えばノードに基づいて選択したオブジェクトを廃棄することにより、オブジェクト数を減じることも可能である。この場合、ビットレートの抑制も同時に実現される。
【００９６】
尚、上述した第1及び第2実施形態におけるシステム符号メモリ1〜4やビデオ符号メモリ5〜8の構成は図3に示す例に限定されず、より多くの符号メモリを設けても構わないし、１つのメモリを複数領域に分割して使用したり、磁気ディスク等の記憶媒体を使用してもちろん構わない。
【００９７】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００９８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００９９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１００】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【０１０１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０２】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになる。
【０１０３】
以上説明したように本発明によれば、符号化された複数のオブジェクトの少なくとも一部を統合することで、所定規格に基づく1つの符号化データを得ることができる。
【０１０４】
また、該合成された符号化データを、任意の符号化仕様の復号器で復号することが可能となる。
【０１０５】
また、符号化データに含まれるオブジェクト数及び符号長を調整することが可能となる。
【０１０６】
【図面の簡単な説明】
【図１】本発明を適用した動画像合成装置の構成を示すブロック図、
【図２】合成対象となる画像例を示す図、
【図３】本実施形態における画像編集部の構成を示すブロック図、
【図４】合成結果の画像例を示す図、
【図５】ヘッダ処理部の詳細構成を示すブロック図、
【図６】合成対象となる画像及び合成後の画像の符号化データを示す図、
【図７】本実施形態における画像処理のフローチャート、
【図８】第2実施形態における画像編集部の構成を示すブロック図、
【図９】各オブジェクトのノードの関係を示す図、
【図１０】符号長調整部34の構成を示すブロック図、
【図１１】第2実施形態の変形例における符号長調整部の構成を示すブロック図、
【図１２】第2実施形態の変形例における符号長調整部の構成を示すブロック図、
【図１３】統合処理部36の構成を示すブロック図、
【図１４】カラー画像情報の合成例を示す図、
【図１５】マスク情報の合成例を示す図、
【図１６】合成した画像の符号化データを示す図、
【図１７】 MPEG4規格による符号化器の構成例を示す図、
【図１８】 MPEG4規格による復号器の構成例を示す図、
【図１９】符号化データの表す画像の構成例を示す図、
【図２０】オブジェクトのノード関係を示す図、
【図２１】 MPEG4規格による動画像符号化データの構成例を示す図、
【図２２】 MPEG4規格によるプロファイル表、である。
【符号の説明】
1，2，3，4 システム符号メモリ
5，6，7，8 ビデオ符号メモリ
9 ビデオデコーダ
10 システムデコーダ
11 システム符号合成部
12，32 ヘッダ処理部
13，33，35，37，52，54 セレクタ
14，1005 多重化器
20 分離器
21 プロファイル判定器
22 オブジェクト数判定器
23 ビットレート判定器
24 プロファイル決定器
30 プロファイル制御部
31 システム符号合成部
34 符号長調整部
36 統合処理部
41，53 オブジェクト復号器
42，1002，1003，1004 オブジェクト符号化器
43 ハフマンデコーダ
44 高周波除去器
45 ハフマンエンコーダ
46 逆量子化器
47 量子化器
50，51 符号メモリ
57，1010 合成器
58，204 符号化器
201，202，209 記憶装置
203 TVカメラ
205 通信回線
206 通信インタフェース
207 編集操作器
208 画像編集部
210 復号器
211 表示器
1001 オブジェクト定義器
1006 分離器
1011 配置情報符号化器
1012 配置情報復号器
300，301，302，303，304，305，306，307，308，309，2000，2001，2002，2003，2004 オブジェクト
Claims (7)
- 符号化されたＮ個のオブジェクト及び配置情報を含む画像データを処理するデータ処理装置であって、
前記画像データを入力する入力手段と、
前記入力手段により入力された前記画像データの符号化仕様の情報を指示する仕様指示手段と、
前記仕様指示手段で指示された前記符号化仕様の情報を設定する設定手段と、
前記入力手段により入力された前記画像データのオブジェクトの数が前記符号化仕様の情報で規定された数よりも多い場合に、前記Ｎ個のオブジェクトの少なくとも一部を、該オブジェクトが属するノード情報を前記配置情報から参照して、属するノード情報が同一のオブジェクトを統合することにより、符号化されたＭ個のオブジェクトを生成するオブジェクト数変更手段と、
を有することを特徴とするデータ処理装置。 - 前記Ｍ個は前記符号化仕様の情報に基づいて処理する場合に適したオブジェクトの数であることを特徴とする請求項１記載のデータ処理装置。
- 前記画像データは夫々ひとつ以上のオブジェクトを含む複数の画像データを合成した合成画像データであることを特徴とする請求項１記載のデータ処理装置。
- 前記符号化仕様の情報は、MPEG4規格に準じる符号化仕様の情報であることを特徴とする請求項１乃至３のいずれかに記載のデータ処理装置。
- 前記画像データはMPEG4規格に基づいて符号化されていることを特徴とする請求項１乃至４のいずれかに記載のデータ処理装置。
- 符号化されたＮ個のオブジェクト及び配置情報を含む画像データを生成処理するデータ処理方法であって、
前記画像データを入力する入力工程と、
前記入力工程において入力された前記画像データの符号化仕様の情報を指示する仕様指示工程と、
前記仕様指示工程において指示された前記符号化仕様の情報を設定する設定工程と、
前記入力工程において入力された前記画像データのオブジェクトの数が前記符号化仕様の情報で規定された数よりも多い場合に、前記Ｎ個のオブジェクトの少なくとも一部を、該オブジェクトが属するノード情報を前記配置情報から参照して、属するノード情報が同一のオブジェクトを統合することにより、符号化されたＭ個のオブジェクトを生成するオブジェクト数変更工程と、
を有することを特徴とするデータ処理方法。 - 符号化されたＮ個のオブジェクト及び配置情報を含む画像データを入力する入力工程と、
前記画像データを入力する入力工程と、
前記入力工程において入力された前記画像データの符号化仕様の情報を指示する仕様指示工程と、
前記仕様指示工程において指示された前記符号化仕様の情報を設定する設定工程と、
前記入力工程において入力された前記画像データのオブジェクトの数が前記符号化仕様の情報で規定された数よりも多い場合に、前記Ｎ個のオブジェクトの少なくとも一部を、該オブジェクトが属するノード情報を前記配置情報から参照して、属するノード情報が同一のオブジェクトを統合することにより、符号化されたＭ個のオブジェクトを生成するオブジェクト数変更工程と、
を有するデータ処理方法をコンピュータに実行させるためのプログラムが記録されたコンピュータで読取り可能な記録媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32563698A JP3854738B2 (ja) | 1998-11-16 | 1998-11-16 | データ処理装置及びその方法、及びデータ処理システム |
| DE69937816T DE69937816T2 (de) | 1998-04-28 | 1999-04-26 | Datenverarbeitungsgerät und Verfahren |
| EP99303221A EP0954181B1 (en) | 1998-04-28 | 1999-04-26 | Data processing apparatus and method |
| US09/298,951 US6512793B1 (en) | 1998-04-28 | 1999-04-26 | Data processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32563698A JP3854738B2 (ja) | 1998-11-16 | 1998-11-16 | データ処理装置及びその方法、及びデータ処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000152235A JP2000152235A (ja) | 2000-05-30 |
| JP3854738B2 true JP3854738B2 (ja) | 2006-12-06 |
Family
ID=18179062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32563698A Expired - Fee Related JP3854738B2 (ja) | 1998-04-28 | 1998-11-16 | データ処理装置及びその方法、及びデータ処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3854738B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3427973B2 (ja) * | 1998-12-09 | 2003-07-22 | 日本電気株式会社 | オブジェクト表示記述文書変換装置及びブラウザ |
| EP1765019B1 (en) * | 2002-02-01 | 2008-01-16 | Matsushita Electric Industrial Co., Ltd. | Moving picture coding method and moving picture coding apparatus |
| FR2838589B1 (fr) * | 2002-04-10 | 2005-03-04 | Thomson Licensing Sa | Dispositif de transmission de donnees et dispositif de reception de donnees |
| JP5337969B2 (ja) * | 2008-04-08 | 2013-11-06 | 富士フイルム株式会社 | 画像処理システム、画像処理方法、およびプログラム |
-
1998
- 1998-11-16 JP JP32563698A patent/JP3854738B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000152235A (ja) | 2000-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0954181A2 (en) | Data processing apparatus and method | |
| KR100750520B1 (ko) | 부호화 스트림 생성 장치 및 방법, 데이터 전송 시스템 및 방법, 편집 시스템 및 방법 | |
| US6546189B1 (en) | Method and apparatus for editing compressed moving pictures and storage medium | |
| EP1021039A2 (en) | Image processing apparatus and method | |
| US8131135B2 (en) | MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method | |
| JP3854737B2 (ja) | データ処理装置及びその方法、及びデータ処理システム | |
| WO2006027880A1 (ja) | 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム | |
| JP2004187161A (ja) | 動画データ処理装置および動画データ処理方法 | |
| JP3854738B2 (ja) | データ処理装置及びその方法、及びデータ処理システム | |
| JP4174960B2 (ja) | 信号処理装置及び方法並びにファイル生成方法 | |
| US20020080399A1 (en) | Data processing apparatus, data processing method, data processing program, and computer-readable memory storing codes of data processing program | |
| JP3300561B2 (ja) | 可変レート圧縮装置及び可変レート伸長装置 | |
| JP3748234B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP4289753B2 (ja) | 再生方法及び装置と表示装置 | |
| JP4154799B2 (ja) | 圧縮動画像編集装置および記憶媒体 | |
| JP2002077789A (ja) | 画像処理方法及び装置 | |
| JP3721972B2 (ja) | Ｍｐｅｇ画像データ記録方法 | |
| JP2001218206A (ja) | 画像符号化装置及び方法、媒体 | |
| JPH10164592A (ja) | 圧縮動画像の符号化方法 | |
| JP3897499B2 (ja) | 符号化装置及び符号化方法 | |
| JP2001157161A (ja) | 画像編集装置、画像編集方法及びプログラム記録媒体 | |
| JP3721971B2 (ja) | Ｍｐｅｇ画像データ記録装置及び記録媒体 | |
| JP3748242B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP3748241B2 (ja) | Ｍｐｅｇデータ記録方法 | |
| JP3748240B2 (ja) | Ｍｐｅｇデータ記録方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060407 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060602 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060825 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060911 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |