JP3880596B2 - マルチメディア情報編集装置 - Google Patents

Description

本発明は、複数動画像データを１つの映像としてマルチ画面同時再生する場合に、各動画像データを符号化する方式、及び、動画像データの任意組み合わせに対するマルチ画面合成動画像を生成する編集方式、を用いたマルチメディア情報編集装置に関する。

従来、動画像の画面を複数領域に分割し、領域毎に符号化した符号列をそれぞれ連結して得られる合成符号列が、画面を領域分割せずに符号化を行なって生成した符号列と同じシンタックスになるような方法としては、特開平７−２９８２６３号に開示されているものがある。

図５１は、このブロック構成図であり、以下その動作概要を示す。
まず、入力動画像が画面分割器によってフレーム単位で複数領域に分割される。このとき画面分割器は、分割制御器からの画面分割制御信号により分割方法を決定する。ここでは、フレームを縦に３分割しており、分割画像信号は元の映像の左の領域から順に分割画像信号７７，７８，７９となり、それぞれが符号化器６２，６３，６４へと入力される。各符号化器では、分割制御器から分割フレームの大きさや符号化条件を受け取り、入力となった分割画像信号を符号化し、それぞれ符号列８０，８１，８２として符号列合成器へ出力する。こののち、分割制御器は、画面分割器に指示したフレーム分割方法を符号列合成器に伝えるための符号列合成信号を出力し、符号列合成器は符号列合成信号により、各符号化器からの符号列をフレーム分割しない場合と同じシンタックスになるような符号列順に連結し、最終的に合成符号列を出力する。
特開平７−２９８２６３公報

特開平７−２９８２６３号では、元来１つの映像画面であった画像信号を、分割制御器の指示により複数領域の画像信号に分割したのち、各画像信号を別々の符号化器でＭＰＥＧ符号化処理を施し、最終的に複数符号化器の出力符号列を本来のシンタックスになるように並べるものである。

このとき、それぞれの符号化器は、分割制御器から分割フレームの大きさや符号化条件を受け取ることで、各符号化器自身が符号化している画像信号が元の映像画面のどの領域を符号化しているのか、言い換えると、符号化器自身が出力した符号列が最終的に画面のどの領域に表示されるのか、を知った上でＭＰＥＧ符号化処理を施している。

しかし、縮小動画（以下、サムネール動画）をマルチ画面の任意の画像領域に表示することを考えた場合、各サムネール動画に対してＭＰＥＧ符号化処理を行なう時点では表示する位置がわからない。

したがって、マルチ画面を合成する時点で、符号化した各サムネール動画（以下、符号化サムネール動画）に対し、表示位置を指定するための処理を施さなければならない。

ところで、例えばＭＰＥＧ規格（参考までに、図５２に、ＭＰＥＧでのビデオストリームのシンタックスの一部を示す）では、復号再生された際にスライスが表示される水平位置は、そのスライス中の先頭マクロブロックの可変長符号ビットmacroblock_address_increment（以下、MB_Addr_Inc）により示される。符号化サムネール動画の任意位置への配置のためにMB_Addr_Inc部の値変更を行なうと、可変長符号であるMB_Addr_Inc部のビット数が変化する。その結果、（符号化サムネール動画に対し、表示位置を指定するための処理として、単にＭＰＥＧに当てはめた場合、）マルチ画面動画の合成時に、MB_Addr_Inc部より後続のすべての符号列に対して、変化したビット数分のビットシフト演算が発生し、膨大な計算量を必要としてしまうことになる。

図５３は、この現象の例を示したものである。図５３（ａ）で示されるように符号化サムネール動画Ａを縦２横２のマルチ画面右下へ配置する場合、符号化サムネール動画Ａの符号列は図５３（ｂ）のように変化する。スライスを動画全体から見た場合の垂直方向の位置は、slice_start_code部の末尾1バイトにより指定される。

一方、前述のようにスライスの水平位置はMB_Addr_Incにより指定される。合成によりスライスの水平位置は１から５に変化しているが、MB_Addr_Inc=1を可変長符号で表すと1ビットの "1"であり、MB_Addr_Inc=5を可変長符号で表すと４ビットの "0010"となり、合成後の方が３ビット余分にビット列が必要となる。したがって、図５３（ｂ）、（ｃ）で示されるように、合成後のMB_Addr_Inc以降の符号列は、余分に増えた３ビット分だけ右へシフトされた状態で配置される。通常、計算機、および計算機で通常使用する記憶装置はバイト単位でのアクセスを行なう。そのために、図５３（ｃ）のように、先頭マクロブロックのMB_Addr_Inc以降のすべてについてビット演算を必要とする。

また、同じくＭＰＥＧ規格では、隣り合うマクロブロック同士の符号列がバイト単位で分離（バイトアライメント）されている保証はなく、唯一、スライスを構成するマクロブロック群の最後のマクロブロックの符号列後に、図５２の next_start_code()によりバイトアライメントがなされているのみである。符号化サムネール動画の任意位置への配置を、目的とする順にマクロブロックを並べることで実現しようとすると、バイト境界をまたがったマクロブロック同士を連結することになり、符号列は正しい画像として復号化できないものになる。

さらに、前述のようにスライスの最後のマクロブロックの符号列については、パディングビットによるバイトアライメントがなされている。パディングビットの付加されたマクロブロック符号列の後続に別のマクロブロック符号列を連結した場合、復号化器は、スライスの最後尾でない限り、隣り合うマクロブロック同士の符号列にはパディングビットはないものとして符号列の復号化を行なう。このため、復号化器は符号列中のパディングビットにより正しい画像を復号できない。

図５４は、この現象の例を示したものであり、図５４（ａ）の符号化サムネール動画Ａ，Ｂにより縦１横２のマルチ画面を合成することを行なっている。この合成処理を、それぞれの符号化サムネール動画を構成するマクロブロックをマルチ画面内の任意位置に配置することで実現した場合、各マクロブロックのマルチ画面内での配置は図５４（ｂ）のようになり、その符号列は図５４（ｃ）の一番下のように、最初にスライスＭ１のスライスヘッダ部の符号列が並び、後続にマクロブロックＡ１、Ａ２、Ｂ１、Ｂ２の順に符号列が続く。

このとき、スライスＡ１の最後のマクロブロックＡ２がパディングビットによってバイトアライメントされていたとすると、スライスＭ１の符号列はマクロブロックＡ２とＢ１の間にパディングビット列が挿入された状態になり、復号化器は正しく画像を復号することができなくなる。

本発明は、様々な規格で符号化されたサムネール画像をマルチ画面上の任意の位置に表示するシステムにおいて、上記のような課題を解決するものであり、例えば、ＭＰＥＧ規格の場合、マクロブロックをラスタスキャン順に並べるだけでマルチ画面の編集を行なえるようにすることを目的とする。

そこで、本発明では、
編集前の縮小・符号化画像が、編集画像のどこに配置されるか未定である場合を考慮して、符号化の際にその位置情報の変更が容易にできるように符号化を行ない、編集の際にその位置情報の変更を要する場合にその変更を容易に行なうことができるようにしたものであり、これにより、様々な画像の編集が行なえるという効果を奏するものである。

そして、ＭＰＥＧ規格の場合、
可変長データ（画像）符号化手段が、マクロブロック符号列の先頭と末端がバイト境界をまたがらないようにし、かつ、ＭＰＥＧビデオシーケンスとして正しい符号列となるような処理を施したマクロブロック符号列を生成しておくものであり、これにより、可変長データ（画像）編集手段が、マクロブロック符号列をラスタスキャンオーダーで連結するだけで所望のマルチ画面合成画像の符号列を生成することが可能になるため、マルチ画面合成画像生成の高速化を可能にする。

また、本可変長データ（画像）編集手段の入力となる符号化画像を生成する可変長データ（画像）符号化手段が、前述の高速化を実現するための特別な処理を行なっておく必要がないため、画像符号化フォーマットに基づいた符号化処理を行なう一般的な可変長データ（画像）符号化手段を使用することができる。

また、画像符号化フォーマットに基づく一般的な符号化画像同士の編集処理の高速化を図ることができる。

以上のように、本発明では、
可変長データ（画像）を編集するにあたり、取り込んだ可変長データ（画像）を縮小、符号化、（蓄積、）編集、復号化という手順で行なうため、従来のように復号してから編集（表示のための配置）する手法だと編集画像分の復号化処理を要するのに対し、編集してから復号するため復号化処理が１回で済むので、編集処理に要する時間が最小限に抑えられるのは勿論のこと、
編集前の縮小・符号化画像が、編集画像のどこに配置されるか未定である場合を考慮して、符号化の際にその位置情報の変更が容易にできるように符号化を行ない、編集の際にその位置情報の変更を要する場合にその変更を容易に行なうことができるため、様々な画像の編集（編集前の縮小画像を、編集後のマルチ画面上の任意の位置への配置・表示）が行なえるという効果を奏するものである。

そして、ＭＰＥＧ規格の場合、
可変長データ（画像）符号化手段が、マクロブロック符号列の先頭と末端がバイト境界をまたがらないようにし、かつ、ＭＰＥＧビデオシーケンスとして正しい符号列となるような処理を施したマクロブロック符号列を生成しておくことにより、可変長データ（画像）編集手段が、マクロブロック符号列をラスタスキャンオーダーで連結するだけで所望のマルチ画面合成画像の符号列を生成することが可能になるため、マルチ画面合成画像生成の高速化を可能にする。

また、本可変長データ（画像）編集手段の入力となる符号化画像を生成する可変長データ（画像）符号化手段が、前述の高速化を実現するための特別な処理を行なっておく必要がないため、画像符号化フォーマットに基づいた符号化処理を行なう一般的な可変長データ（画像）符号化手段を使用することができる。また、画像符号化フォーマットに基づく一般的な符号化画像同士の編集処理の高速化を図ることができる。

以下、本発明の各実施の形態について、図面を参照しながら説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。

（第１の実施の形態）
最初に、本発明における第１の実施の形態について説明する。
図２は、本実施の形態における動画像合成装置を示すブロック構成図である。
ここで、２０１は、複数の符号化サムネール動画を蓄積管理しマルチ画面合成処理を行なう動画像合成サーバ、２０２は、マルチ画面合成対象とする動画像を動画像合成サーバに取り込む動画像取込手段、２０３は、取り込んだ動画像を所定のサイズに縮小し、サムネール動画を生成する動画像縮小手段、２０４は、サムネール動画をＭＰＥＧ符号化し、符号化サムネール動画を生成する動画像符号化手段、２０５は、位置情報書き換え時にスライス符号列を一時的に格納するための作業メモリ、２０６は、符号化サムネール動画を蓄積格納する蓄積手段、２０７は、複数の符号化サムネール動画を合成し、マルチ画面動画像符号列を生成する動画像合成手段、２０８は、マルチ画面動画像を再生表示する再生端末、２０９は、マルチ画面を構成する動画像の組み合わせ・順序一覧を生成する動画像一覧生成手段、２１０は、合成したマルチ画面動画像を復号する動画像復号化手段、２１１は、復号化された動画像を画面表示する動画像表示手段である。

動画像合成サーバ２０１、および再生端末２０８は、一般的なオペレーティングシステムが動作する、例えばパソコンやワークステーションなどの計算機であり、動画像取込手段２０２、動画像縮小手段２０３、動画像符号化手段２０４、動画像合成手段２０７、動画像一覧生成手段２０９、動画像復号化手段２１０、動画像表示手段２１１はそれぞれ、計算機内において、汎用、あるいは専用のオペレーティングシステムのもとで動作するプログラム、あるいは専用のハードウェアである。（なお図１は、サーバ２０１、端末２０８という開いたシステムに特化したものでなく、広く一般的な構成を示したものである。）
以下、この動画像合成装置における、動画像符号化処理および複数動画像の合成処理の方法について説明する。

まず、動画像データの符号化処理について説明する。
マルチ画面合成対象となる動画像データは、あらかじめ動画像取込手段２０２により動画像合成サーバ２０１内部に取り込まれ、動画像縮小手段２０３によって所定のサイズにまで縮小されたサムネール動画へと変換される。さらにこのサムネール動画は、動画像符号化手段２０４によってマルチ画面合成可能な形式でＭＰＥＧ符号化処理が施され、マルチ画面合成用の符号化サムネール動画として蓄積手段２０６に蓄積される。

図３は、動画像符号化手段２０４において、サムネール動画が、マルチ画面合成可能なＭＰＥＧ符号化された符号化サムネール動画に変換されるまでの処理フローを示したものであり、
ステップ３０１では、サムネール動画１フレーム分の画像データを読み出し、
ステップ３０２では、1フレーム分の画像データを水平方向にＮ分割し、
ステップ３０３では、スライスｎのスライスヘッダ符号列を、符号化サムネール動画符号列の一部として出力し、
ステップ３０４では、スライスｎをＭ個のマクロブロックに分割し、
ステップ３０５では、マクロブロックｍのMB_Addr_Incを、符号化サムネール動画符号列の一部として出力し、
ステップ３０６では、マクロブロックｍをＭＰＥＧ符号化（ＤＣＴ、量子化、可変長符号化）し、その符号列を符号化サムネール動画符号列の一部として出力し、
ステップ３０７では、スライスｎ中のすべてのマクロブロックの符号化が完了したかをチェックし、
ステップ３０８では、図５２（ｄ）のnext_start_code()の処理をし、
ステップ３０９では、Ｎ個の全スライスについて符号化が完了したかをチェックし、
ステップ３１０では、サムネール動画の全フレームを処理したかをチェック、をそれぞれ行なう。ここで、変数ｍは処理しているマクロブロックの識別に、変数ｎはスライスの識別のために使用する。

図４は、動画像符号化手段２０４によってサムネール動画を符号化サムネール動画として符号化する場合に、サムネール動画の各フレーム画像を小さなブロック分割する例を示すものである（ステップ３０２，ステップ３０４）。

図５は、動画像符号化手段２０４が、ステップ３０３，３０５、３０６，３０８にて、サムネール動画の各スライスをＭＰＥＧ符号化処理する際に、スライス単位でマルチ画面合成可能なように出力した符号列の一例を示したものである。なお、図５では、図４で示したスライス、マクロブロックの分割例を基にしている。

図５（ａ）、（ｅ）に示されるように、ステップ３０３において、スライスｎのスライスヘッダ符号列を出力する場合に、slice_start_codeを、末尾１バイトを値"ｎ" にして出力する。

さらに、図５（ｂ）のように、スライス単位でマルチ画面合成する時に、スライスの水平座標が変更されたことによるMB_Addr_Incのビット数が変化した場合に備えて、足りなくなったビットを補うための補填符号列を extra_bit_sliceおよびextra_information_sliceとしてあらかじめ出力しておく。この補填符号列は、図５２のＭＰＥＧ規格でも規定された部分を利用しており、復号化器はこのような符号列のある符号化サムネール動画をＭＰＥＧビデオシーケンスとして正常に復号化することが可能である。

図５の例では補填符号列として、extra_bit_sliceとextra_information_sliceの組を８つ、合計７２ビットの符号列をすべてのビットを "1" にして出力している（extra_bit_sliceとextra_information_sliceが８組であることの理由は後述する．）。

また、図５（ｃ）に示されるように、ステップ３０５において、スライスの先頭マクロブロックのMB_Addr_Incには値１を指定し、値１を表す1ビット長の可変長符号列 "1" を出力する。図５（ｄ）部分の符号列は、ステップ２０６および２０８において、一般的なＭＰＥＧ符号化処理（ＤＣＴ、量子化、動き予測、可変長符号化およびバイトアライメント処理）を施すことで得られる符号列である。

なお、補足であるが、スライス単位でマルチ画面合成を行なう場合に、符号化サムネール動画として必要な部分は、図５に示されるようなスライス層以下の符号列部分である。しかし、上記スライス部の符号列以外に、ＭＰＥＧビデオシーケンスとして必要な符号列（シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ等）を出力することで、これら符号列により構成される符号化サムネール動画を、単体のＭＰＥＧビデオシーケンスとして復号し再生表示可能にすることができる。

また、図５（ａ）、（ｃ）、（ｅ）の上記説明では、slice_start_codeおよびMB_Addr_Inc部の値を、符号化サムネール動画が単体のＭＰＥＧビデオシーケンスとして復号し再生表示可能になるような値にして出力しているが、実際は符号化時にはどのような値であってもかまわない。

さらに、図５（ｂ）の説明で示したように、スライスの水平座標が変更されたことによるMB_Addr_Incのビット数が変化した場合に備えて、足りなくなったビ
ットを補うための符号列をextra_bit_sliceおよびextra_information_sliceとしてあらかじめ出力しているが、この他にもmacroblock_staffingなど、MB_Addr_Inc部のビット数変化に対して補填処理可能な符号列をあらかじめ出力しておいてもかまわない。

以上のような過程を経て、動画像符号化手段２０４は、スライス単位でマルチ画面合成可能な符号化サムネール動画符号列を出力する。

次に、複数符号化サムネール動画をマルチ画面動画として合成する処理について説明する。

図６は、蓄積手段２０６に蓄積されている符号化サムネール動画の一例を示したものである。図６に示されるように、蓄積手段２０６には５つの符号化サムネール動画Ａ、Ｂ、Ｃ、Ｄ、Ｅが蓄積されている。このとき、それぞれの符号化サムネール動画は、水平に２スライスに分割され各スライスは３つのマクロブロックで構成されているものとする。

動画像一覧生成手段２０９は、蓄積手段２０６に蓄積されている符号化サムネール動画に対する組み合わせ・順序一覧を生成する。たとえば、動画像一覧生成手段２０９の一例として、動画像検索システムにおける、検索キーのヒット率ランキングによる一覧生成があげられる。ここでは、図７に示すような縦２横２のマルチ画面を合成するように、動画像一覧生成手段２０９が動画像合成手段２０７に要求を出したものとして説明する。

図８は、動画像合成手段２０７によって、複数符号化サムネール動画をマルチ画面合成しそのＭＰＥＧ符号列を出力するまでの処理フローを示したものである。
ステップ８０１では、マルチ画面合成のための初期化処理を行ない、
ステップ８０２では、マルチ画面合成動画をＭＰＥＧビデオシーケンスとして復号可能にするために、ＭＰＥＧビデオシーケンスヘッダ符号列を出力し、
ステップ８０３では、同様にＭＰＥＧビデオシーケンスとして復号可能にするために、ＧＯＰヘッダ、ピクチャヘッダ符号列を出力し、
ステップ８０４では、各符号化サムネール動画からスライス符号列を読み出し、ステップ８０５では、読み出したスライスをマルチ画面中の目的の場所に表示するための位置情報の書き換えを行ない、
ステップ８０６では、符号化サムネール動画を水平方向に走査するためのカウンタ値をチェックし、
ステップ８０７では、ステップ９０４，９０５において使用するスライスカウント値をチェックし、
ステップ８０８では、符号化サムネール動画を垂直方向に走査するためのカウンタ値をチェックし、
ステップ８０９では、マルチ画面合成を終了するかをチェック、
をそれぞれ行なう。

図７に示すようなマルチ画面合成を要求されると、動画像合成手段２０７では、まず、次のような初期化処理が行なわれる。すなわち、縦２横２のマルチ画面なので、水平方向の画面数を示す変数Ｘを２に、垂直方向の画面数を示す変数Ｙを２にする。また、マルチ画面の各画面領域に表示されるそれぞれの符号化サムネール動画のスライス数を示す変数Ｎを２に、各スライスを構成するマクロブロック数を示す変数Ｍを３に初期化する。さらにマルチ画面のどの位置にどの符号化サムネール動画を配置するのかを示す2次元の配列変数Ｖ（１番目の添え字は前記各画面領域の水平方向の画面領域を示し、２番目は垂直方向の画面領域を示す）を、
V[1,1]=B, V[2,1]=D, V[1,2]=E, V[2,2]=A
に初期化する。

図９は、図８の処理フローでのループ８１０、８１１、８１２におけるループ処理をＣ言語で表現したものであり、変数ｘは処理中である画面の水平方向位置を、同様に変数ｙは垂直位置を、変数ｎは処理中である符号化サムネール動画のスライス番号をそれぞれループカウンタ値として使用している。この３つのループの最内ループで、ステップ８０４，８０５の処理が行なわれる。

図１０は、動画像合成手段２０７が、ステップ８０４にて行なうスライス符号列の読み出し処理を示したものである。ステップ８０４では、変数V[x, y]で指定される符号化サムネール動画から変数ｆで指定されるフレームの、変数ｎで指定されるスライス部分の符号列が読み出される（図１２（ａ））。
たとえば、ｘ＝２，ｙ＝２，ｎ＝１のとき、ステップ８０４では、スライス１Ａの符号列が読み出される。読み出されたスライス符号列は、バッファの先頭アドレスが変数Bufによりポインティングされた合成作業メモリに格納される（図１２（ｂ））。

ＭＰＥＧ規格では、スライス層の符号列は、バイト境界から符号列が始まり、符号列の末端もバイトアライメントされた状態で終端するように規定されており、動画像符号化手段２０４もそのようなスライス符号列を出力する。そのため、バイト単位でスライス符号列の先頭から末端まですべて読み込み、それを合成作業メモリ内に蓄えることができる。

動画像合成手段２０７が、ステップ８０５にて行なうスライス表示位置情報の書き換え処理は次のようにして行なわれる。
動画像合成手段２０７は、合成作業メモリ内のスライス符号列が、マルチ画面中のどの座標に表示されるのかを次の式により算出する。
水平位置:（ｘ−１）＊Ｍ＋１
垂直位置:（ｙ−１）＊Ｎ＋ｎ
前記スライス１Ａの例では、ｘ＝２、ｙ＝２、ｎ＝１であるため、水平位置＝４、垂直位置＝３となる。

図１１は、合成作業メモリ内のスライス１Ａの垂直位置情報を書き換える処理例を示している。図１１（ａ）は、ステップ８０４にて合成作業メモリ内にスライス１Ａの符号列が格納された状態を示しており、図１１（ｂ）は、さらにスライスの垂直位置情報の符号列を含む slice_start_code部をビット単位で詳細表示したものである。スライスの垂直位置情報はslice_start_codeの４バイト目、すなわち buf[3]で示されるので、ステップ８０５では、垂直位置を３にするために、
buf[3] = 3
の代入処理を行なう。図１１（ｃ）は、代入処理による垂直位置情報が書き換えられた後のslice_start_code部の符号列を示している。

また同様に、図１２は、合成作業メモリ内のスライス１Ａの水平位置情報を書き換える処理例を示している。図１２（ａ）は、ステップ８０４にて合成作業メモリ内にスライス１Ａの符号列が読み込まれた状態を示しており、図１２（ｂ）は、さらにビット単位で詳細表示したものである。スライス１Ａの新たな水平位置（MB_Addr_Inc）は４となるが、水平位置４を可変長符号であらわすと４ビット長の '0011' となる。符号化サムネール動画を生成する動画像符号化手段２０４は、図１２（ｂ）で示されるように MB_Addr_Incを '1'、つまり１ビット長で出力している。そこで動画像合成手段２０７は、足りない３ビット分を補填符号列部分から補う。まず、図１２（ｃ）に示されるように、足りないビット分の数値と同じバイト数（スライス１Ａの例では３ビット分足りないので、３バイト）の間引き処理を行なう。

次に、間引き処理の対象とならなかったbuf[0]〜buf[9]までの10バイト分の符号列を出力した後、図１２（ｃ）から（ｄ）の部分に示されるように、新たな水平位置情報を書き換える処理、
buf[13]=buf[13]&0x01 + 0xc6
を行なう。buf[13]&0x01は、buf[13]の下1ビットを書き換えないようにフィルタ演算を行なっている。水平位置書き換え後、間引かれたバイト部分の符号列を出力しないように、buf[13]から後続のすべてのスライス符号列を出力する。全スライス符号列を出力した後は、合成作業メモリは空の状態にセットされる。

以上のような過程を経ることで、動画像合成手段２０７は、スライスの水平位置情報を示す可変長符号ビット部分の書き換え処理を単純な演算を数回行なうだけで完了させ、スライス符号列単位でマルチ画面合成したマルチ画面動画像符号列を出力する。動画像合成手段２０７で出力されたマルチ画面動画像の符号列は、動画像復号化手段２１０で動画像として復号化され、動画像表示手段２１１によりその映像が表示される。

なお、前述した extra_bit_sliceとextra_information_slice が８組であることの理由を以下に説明する。

extra_bit_slice は１ビット長、extra_information_slice は８ビット長であり、この２つを組にした符号長は９ビットとなる。この９ビット長の補填符号列部分から１バイト（＝８ビット長）を間引くことで、１ビットが余る。この１ビットをMB_Addr_Inc部のビット数が変化した際の足りなくなったビットの補填に割り当てることができる。

上記組について、１組につき１バイトを間引けば１ビットを補填可能なので、８組から７バイト間引くことで８ビットを補填可能になる。９以上の補填ビットを必要とする場合には、間引くバイト数をそのつど減らせばよい。例えば、１４ビットを補填したいのであれば、まず５バイトだけ間引きくことで５ビットの補填可能ビットを得る。次に１組分の９ビットをさらにこの補填可能ビットとして割り当てることで、合計１４ビットの補填可能ビットを得ることができる。

したがって、extra_bit_sliceとextra_information_sliceが８組にすることで、任意数の不足ビットを補うことができ、かつ８組という最小の値を取ることで、補填符号列により動画像のビットレートが高くなるのを最小限に押さえることができる訳である。

以上のように、本実施の形態では、
マルチ画面合成対象とする動画像を取り込む動画像取込手段と、取り込んだ動画像を所定のサイズに縮小しサムネール動画を生成する動画像縮小手段と、サムネール動画をＭＰＥＧ符号化し符号化サムネール動画を生成する動画像符号化手段と、ＭＰＥＧ符号化された符号化サムネール動画を蓄積格納する蓄積手段と、蓄積手段に蓄積された複数符号化サムネール動画を合成しマルチ画面動画像符号列を生成する動画像合成手段と、動画像合成手段がスライス符号列を一時的に格納するために用いる合成作業メモリと、マルチ画面を構成する動画像の組み合わせ・順序一覧を生成する動画像一覧生成手段と、合成により得られるマルチ画面動画像符号列を復号する動画像復号化手段と、復号化された動画像を画面表示する動画像表示手段とを備え、
動画像符号化手段が、スライスの水平座標が変更されたことによりMB_Addr_Inc部分のビット数変化が生じた場合、足りなくなったビットを補うための補填符号列をあらかじめ出力し、動画像合成手段が、補填符号列部分から足りないビットを補いMB_Addr_Incの値の書き換えを行なうことにより、マルチ画面動画像符号列を生成するマルチメディア情報編集装置を実現するものである。

これによりマルチ画面の動画像合成時にビット数変化による後続のすべての符号列に対するビットシフト演算をなくす、具体的には、スライスの水平位置情報を示す可変長符号ビット部分の書き換え処理を単純な計算を数回行なうだけで完了させることができ、結果、マルチ画面動画の生成を高速に行なうことができ、その実用的効果は大きい。

また、より具体的には、
動画像符号化手段が、補填符号列としてextra_bit_sliceとextra_information_sliceの８組を補填符号列として出力する機能を有することにより、
動画像合成手段が前記補填符号列から任意数の不足ビットの補填とmacroblock_escape符号列生成を行なうことを可能にし、スライスの表示位置を示す可変長符号ビット部分の任意値への書き換えが可能となり、その実用的効果は大きい。

なお、本実施の形態では、スライスの位置配置に関して、水平位置が４の場合について説明しているが、これ以外の配置位置についても同様の書き換え処理が可能である。図１３，１４，１５は、配置する水平位置がそれぞれ７，１３，３７の場合のMB_Addr_Inc書き換え処理を示したものである。配置位置が３４以上
の場合は macroblock_escapeと呼ばれる１１ビットの符号列を出力しなければならないが、この場合も図１５に図示されるように、間引きバイト数やフィルタ演算などの数値変更を行なうことで、同様の効果を得ることが可能である。

また、本実施の形態では、
スライス符号列の水平位置を示す部分が可変長符号ビットMB_Addr_Incであり、MB_Addr_Incの値書き換えを行なうために不足するビットを、あらかじめスライスヘッダ部分に出力しておいた補填符号列に対する簡単なバイト間引きにより補填する一連の処理について、ＭＰＥＧビデオシーケンス規格を例に説明しているが、これはＭＰＥＧ以外の規格のものでも適用可能である。

すなわち、ある符号列が画像イメージへ復号されたときに、その符号列が画像イメージ中のどの位置に表示されるのかを示す位置情報が可変長符号ビットで与えられるような規格において、位置情報を示す符号列部分の前方、または後方、または双方部分に、その規格として復号時に画像イメージへ影響を与えない拡張符号列を出力可能な領域が規定されている場合、その領域を補填符号列として利用することにより、ＭＰＥＧ以外の規格に関しても同様の効果を得ることができる。

（第２の実施の形態）
次に、本発明における第２の実施の形態について説明する。なお、前述した実施の形態において説明済みのものについては同じ番号を割り当て、その説明を省略する。

図１６は、本実施の形態における動画像合成装置を示すブロック構成図である。ここで、１６０１は、サムネール動画をＭＰＥＧ符号化し、符号化サムネール動画を生成する動画像符号化手段、１６０２は、ＭＰＥＧ符号化により生成した符号列を一時的に保持するための符号化作業メモリ、１６０３は、複数の符号化サムネール動画を合成し、マルチ画面動画像符号列を生成する動画像合成手段、である。

以下、この動画像合成装置における、動画像符号化処理、および複数動画像の合成処理の方法について説明する。

まず、動画像データの符号化処理について説明する。
図１７は、動画像符号化手段１６０１において、サムネール動画が、マルチ画面合成可能なＭＰＥＧ符号化された符号化サムネール動画に変換されるまでの処理フローを示したものである。
ステップ１７０１では、スライスｎのスライスヘッダ符号列を、符号化サムネール動画符号列の一部として出力し、
ステップ１７０２では、符号化作業メモリの初期化処理として、符号化作業メモリの内容を空にし、
ステップ１７０３では、マクロブロックｍをＭＰＥＧ符号化（ＤＣＴ、量子化、可変長符号化）し、その符号化により生成した符号列を符号化作業メモリ内へ出力し、
ステップ１７０４では、符号化作業メモリ内の符号列に対してバイトアライメント処理を施し、
ステップ１７０５では、符号化作業メモリ内の符号列を符号化サムネール動画符号列の一部として出力、
をそれぞれ行なう。

図１８は、ステップ１７０１にて、スライスヘッダ符号列の例を示したものである。図１８（ａ）、（ｂ）は、一般的なＭＰＥＧ符号化手段により出力される符号列例である。このように、マクロブロック１の先頭はバイト境界をまたがったものになっている。そこで、本実施の形態における動画像符号化手段１６０１では、図１８（ｃ）に示すようにextra_bit_sliceおよびextra_information_sliceの２組、合計１８ビットからなる補充符号列を出力する。このように補充符号列を出力することで、マクロブロック符号列の先頭がきちんとバイト境界から開始されるようになる。

なお、補充符号列は、ＭＰＥＧ規格でも規定された部分を利用して出力するため、復号化器はこのような符号列のある符号化サムネール動画をＭＰＥＧビデオシーケンスとして正常に復号化することが可能である。また、図１８（ｃ）では、extra_information_sliceとして '1111 1111' を出力しているが、他の値でもかまわない。

以上のように、ステップ１７０１の処理を行なうことで、スライスを構成するマクロブロック符号列は、バイト境界位置から開始されることを保証することができる。

さて、ここで符号化作業メモリ１６０２の動作について説明する。
図１９は、符号化作業メモリ１６０２の動作について示したものである。ステップ１７０２の処理により、符号化作業メモリ１６０２の内容は空の状態になる（図１９（ａ））。ところで、符号化作業メモリも計算機の一部であり、その読み出し・書き込みアクセスはバイト単位で行なわれる。そこで、変数ｂを用いることで、バイト内で有効なビット長を表すようにする。図１９（ｂ）に示されるように、有効な符号列は３５ビットあるので、３５を８で割ったあまりの３ビットについては、作業バッファ１９０２の５バイト目の一部のビットを用いて表現することになる。そのため、変数ｂを３にすることで、５バイト目の有効なビット長を表す。図１９（ｃ）は、図１９（ｂ）の状態から、さらに７ビット長の符号列 '1111 111' を符号化作業メモリに追加したときの符号化作業メモリ内の内容の変化を示したものである。

以上のように、符号化作業メモリでは変数ｂを用いることで、ビット単位での符号列を保持する。

図２０は、ステップ１７０３、１７０４にて、動画像符号化手段１６０１が行なうＭＰＥＧ符号化処理（ＤＣＴ、量子化、動き予測、可変長符号化）を施したときの符号化作業メモリ１６０２の内容を示したものである。図２０（ａ）で示されるように、初期状態における符号化作業メモリの内容は、ステップ１７０２の処理により空の状態になっている。

次に、ステップ１７０３での、マクロブロックｍに対するＭＰＥＧ符号化処理により得られる符号列が符号化作業メモリへ追加されることで、符号化作業メモリの内容は図２０（ｂ）のようになる。図２０（ｂ）では、変数ｂの値が５であるため、マクロブロックの末端はバイト境界を５ビットだけまたがっていることを示している。そこで、マクロブロック符号列の先頭部分に macroblock_stuffingを挿入することで、マクロブロックの末端をバイト境界に接した状態にする。図２０（ｂ）にあるように、macroblock_stuffingは１１ビット長の符号列なので、macroblock_stuffingを符号化作業メモリの先頭に１つ挿入するごとに、すでに符号化作業メモリ内にある符号列を全体に１１ビット後方へシフトすることができる。バイト境界が５ビットだけまたがっている場合には、macroblock_stuffingを１つ挿入すれば、変数ｂは０となり、マクロブロックの末端をバイトアライメントされた状態にすることができる（図２０（ｃ））。

マクロブロックの先頭部分にmacroblock_stuffingを挿入処理を行なった符号
列は、図５２（ｂ）にあるようにＭＰＥＧビデオシーケンスとして正しいものである。

図２１に、macroblock_stuffing挿入前の変数ｂの値と、その時の挿入するmacroblock_stuffingの数の関係を示す。

以上のように、マクロブロック符号列は、符号化作業メモリ内でその先頭と末尾がバイト境界に接する状態にされる。動画像符号化手段１６０１は、ステップ１７０５にて、符号化作業メモリ内のマクロブロック符号列を符号化サムネール動画符号列の一部として出力する。

なお、補足であるが、マクロブロック単位でマルチ画面合成を行なう場合に、符号化サムネール動画として必要な部分は、符号列の先頭と末端がバイト境界に接しているようなマクロブロック符号列である。上記ステップ１７０１では、スライスヘッダ符号列の出力を行なっているが、符号化サムネール動画の符号列中には、スライスヘッダ符号列は必ずしも出力されている必要はない。

また、ＭＰＥＧビデオシーケンスとして必要な符号列（シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ等）を出力することにより、符号化サムネール動画を単体のＭＰＥＧビデオシーケンスとして復号し再生表示可能にすることが可能である。

次に、複数符号化サムネール動画をマルチ画面動画として合成する処理について説明する。第１の実施の形態と同じように、図７に示すような縦２横２のマルチ画面を合成するように、動画像一覧生成手段２０９が動画像合成手段１６０３に要求を出したものとする。

図２２は、動画像合成手段１６０３によって、複数符号化サムネール動画をマルチ画面合成しそのＭＰＥＧ符号列を出力するまでの処理フローを示したものである。
ステップ２２０１では、マルチ画面合成動画をＭＰＥＧビデオシーケンスとして復号可能にするために、ＧＯＰヘッダ、ピクチャヘッダ、スライスヘッダの各ヘッダ符号列を出力し、
ステップ２２０２では、各符号化サムネール動画から、マクロブロック符号列を読み出し、
ステップ２２０３では、マルチ画面動画符号列として、読み出したマクロブロック符号列を出力し、
ステップ２２０４では、マクロブロックカウントｍの値のチェック、
をそれぞれ行なう。

図２３は、図２２の処理フローでのループ８１０、８１１、８１２、２２０５におけるループ処理をＣ言語で表現したものであり、変数ｘは処理中である画面の水平方向位置を、同様に変数ｙは垂直位置を、変数ｎは処理中である符号化サムネール動画のスライス番号を、変数ｍは処理中である符号化サムネール動画のマクロブロック番号を、それぞれループカウンタ値として使用している。

図２４は、本実施の形態におけるマルチ画面１フレーム分の合成画像処理順序を示したものである。図２３のループ処理による、ステップ２２０２での各符号化サムネール動画のマクロブロック符号列の読み込み、およびステップ２２０３でのマルチ画面動画符号列の出力はラスタスキャンオーダー（図２４でカッコで囲んだ数字順）で行なわれる。すなわち、読み込んだマクロブロック符号列をラスタスキャンオーダーで順に連結することによりマルチ画面動画符号列を生成する。

以上のように、動画像符号化手段１６０１が、マクロブロック符号列の先頭と末端がバイト境界をまたがらないようなマクロブロック符号列を生成しておくことにより、動画像合成手段１６０３は、マクロブロック符号列をラスタスキャンオーダーで連結するだけで所望のマルチ画面合成動画の符号列を生成することが可能になり、マルチ画面合成動画生成の高速化を図ることができる。

なお、本実施の形態の図２２で示した処理フローでは、マルチ画面合成動画のＭＰＥＧビデオシーケンスにおける１ピクチャが１つのスライスのみで構成されるようなフローであるが、複数スライスで構成されたフローにすることでも同様に、マクロブロック符号列をラスタスキャンオーダーで連結するだけで所望のマルチ画面合成動画の符号列を生成することが可能である。このとき、各スライスヘッダ符号列とマクロブロック符号列が、きちんとバイト境界で互いに連結されるように、各スライスヘッダ符号列は、ステップ１７０１で施した図１８（ｃ）のような補充符号列によるバイトアライメント処理を行なう必要がある。

以上のように、本実施の形態では、
マルチ画面合成対象とする動画像を取り込む動画像取込手段と、取り込んだ動画像を所定のサイズに縮小しサムネール動画を生成する動画像縮小手段と、サムネール動画をＭＰＥＧ符号化し符号化サムネール動画を生成する動画像符号化手段と、動画像符号化手段がマクロブロック符号列を一時的に格納するために用いる符号化作業メモリと、ＭＰＥＧ符号化された符号化サムネール動画を蓄積格納する蓄積手段と、蓄積手段に蓄積した複数符号化サムネール動画を合成しマルチ画面動画像符号列を生成する動画像合成手段と、マルチ画面を構成する動画像の組み合わせ・順序一覧を生成する動画像一覧生成手段と、合成により得られるマルチ画面動画像符号列を復号する動画像復号化手段と、復号化された動画像を画面表示する動画像表示手段とを備え、
符号化作業メモリが、ビット単位で符号列を格納保持する手段を有し、
動画像符号化手段が、補充符号列の挿入によりマクロブロック符号列の先頭と末端がバイト境界に接した状態になるようにし、
動画像合成手段が、目的とするマルチ画面を構成するように前記マクロブロック符号列をラスタスキャンオーダー順に並べることによりマルチ画面動画像符号列を生成するようにした動画像合成装置を実現するものである。

これにより、動画像合成装置によるマルチ画面の動画像合成を、各マクロブロックを順に並べるだけの処理にし、マルチ画面合成動画像生成の高速化を図ることができ、その実用的効果は大きい。

（第３の実施の形態）
次に、本発明における第３の実施の形態について説明する。なお、前述した実施の形態において説明済みのものについては同じ番号を割り当て、その説明を省略する。

図２５は、本実施の形態における動画像合成装置を示すブロック構成図である。ここで、２５０１は、マルチ画面をマクロブロックサイズで領域分割したときに各領域のマルチ画面レイアウト情報を保持するレイアウトテーブル、２５０２は、前記レイアウトテーブルを動画像一覧生成手段からの要求により作成するレイアウトテーブル作成手段、２５０３は、画像サイズの異なる複数符号化サムネール動画同士を合成し、マルチ画面動画像符号列を生成する動画像合成手段、２５０４は、各画面領域のサイズが異なるマルチ画面を構成する動画像の組み合わせ・順序一覧を生成する動画像一覧生成手段である。

図２６は、動画像合成手段２５０１によって、画像サイズの異なる符号化サムネール動画同士をマルチ画面合成し、そのＭＰＥＧ符号列を出力するまでの処理フローを示したものである。
ステップ２６０１では、マルチ画面合成のための初期化処理としてレイアウトテーブルを作成し、
ステップ２６０２では、カウンタ値ｘ,ｙにおいて合成処理を行なうかをチェックし、
ステップ２６０３では、カウンタ値ｘ,ｙにおいてスキップマクロブロック符号列を出力するかをチェックし、
ステップ２６０４では、スキップスライス符号列を出力し、
ステップ２６０５では、レイアウトテーブルＴ［ｘ,ｙ］で示される符号化サムネール動画からスライス符号列を読み込み、
ステップ２６０６では、ループカウンタ値ｘの値を１インクリメント、
をそれぞれ行なう。

図２７は、本実施の形態における画像サイズの異なる符号化サムネール動画により構成されるマルチ画面の例である。ここでは、動画像一覧生成手段２０９が動画像合成手段２５０１に対して、図２７のようなマルチ画面を合成するように要求を出したものとして説明する。図２７では、各符号化サムネール動画の画像サイズは、マクロブロックが水平、垂直の各方向に次の数だけ並んだ大きさである（一般的なマクロブロックのサイズは１６画素＊１６画素）。
符号化サムネール動画A： （５、４）
符号化サムネール動画B： （２、３）
符号化サムネール動画C： （２、２）
符号化サムネール動画D： （２、２）
符号化サムネール動画E： （３、２）
各符号化サムネール動画は、第１の実施の形態で説明したように、動画像符号化手段２０４により符号化されており、蓄積手段２０６内に蓄積されているものとする。

図２７に示すようなマルチ画面合成を要求されると、動画像合成手段２５０１は、ステップ２６０１において、レイアウトテーブル作成手段２５０２を用いて次のような初期化処理を行なう。すなわち、マルチ画面動画の水平方向のマクロブロック数を示す変数Ｘを７に、垂直方向のマクロブロック数を示す変数Ｙを６にする。また2次元配列Ｔ［ｘ,ｙ］と表記されるレイアウトテーブル２５０１の各配列要素に対して（１番目の添え字はマルチ画面をマクロブロックサイズで領域分割したときの水平方向の領域を示し、2番目は垂直方向の領域を示す）、座標（ｘ,ｙ）に対応する領域が、動画を表示しない領域である場合には記号Ｓを、座標（ｘ,ｙ）に対応する領域が、マルチ画面を構成する各画面領域の左端以外の場合には記号Ｎを、座標（ｘ,ｙ）に対応する領域が、マルチ画面を構成する各画面領域の左端の場合には、その符号化サムネール動画の識別ＩＤと、その画面領域の一番上を座標１とした場合の垂直座標値からなる記号、で初期化する。

図２８は、図２７に示すマルチ画面合成を行なう場合のレイアウトテーブル２５０１の内容を図示したものである。図２８では、前述符号化サムネール動画の識別ＩＤは、各桝目のＡ，Ｂ，Ｃ，Ｄ，Ｅの部分に相当し、垂直座標値は各桝目の数字部分に相当する。

図２９は、図２６の処理フローでのループ２６０７、２６０８におけるループ処理をＣ言語で表現したものである。

ステップ２６０２において、Ｔ［ｘ,ｙ］の値が記号Ｎであった場合には、動画像合成手段２５０１は何も処理をおこなわない。ステップ２６０３において、Ｔ［ｘ,ｙ］の値が記号Ｓであった場合には、動画像合成手段２５０１はスキップスライス符号列を出力する。

図３０は、１マクロブロック分だけスキップするスライス符号列の例である。動画像合成手段２５０１は、図３０で示される６バイトを符号列として出力することで、１マクロブロック分の領域をスキップすることができ、これにより何も動画像を表示しない領域を作り出すことができる。

ステップ２６０５では、Ｔ［ｘ,ｙ］の値が示す記号から、符号化サムネール動画の識別ＩＤと垂直座標値を得る。符号化サムネール動画の識別ＩＤは、蓄積手段２０６内の符号化サムネール動画を識別するために用い、垂直座標値は前記符号化サムネール動画の読み込むべきスライス符号列の番号として使用する。ステップ２６０５で読み込まれたスライス符号列は、ステップ８０５にて、座標（ｘ,ｙ）の位置に表示されるべく第１の実施の形態で説明した表示位置情報の書き換え処理がなされる。

ループ２６０７，２６０８内の処理を繰り返すことで、動画像合成手段２５０１は、順次Ｔ［ｘ,ｙ］により示される符号化サムネール動画から読み込んだスライス符号列のslice_start_codeとMB_Addr_Incを書き換え、その結果の符号列をマルチ画面動画符号列として出力する。

以上のように、本実施の形態では、
動画像合成装置が、画面サイズが異なる符号化サムネール動画から構成されたマルチ画面の組み合わせ・順序一覧を生成する動画像一覧生成手段と、マルチ画面をマクロブロックサイズで領域分割したときの各領域のマルチ画面レイアウト情報を保持するレイアウトテーブルと、このレイアウトテーブルを作成するレイアウトテーブル作成手段とを有する動画像合成手段とを備えることで、動画像合成手段が、マルチ画面の各座標において、どの符号化サムネール動画のスライス符号列を処理すべきなのかをレイアウトテーブル参照を行なうことにより決定する。レイアウトテーブルには、マルチ画面レイアウト情報として、マルチ画面の各座標が、マルチ画面の各画面領域のどの部分に位置し、またその画面領域に配置される符号化サムネール動画が何であるのか、を保持させる。

このような過程を経ることで、動画像合成手段２５０１は、画像サイズの異なる複数の符号化サムネール動画同士を合成可能にし、画面サイズの異なる符号化サムネール動画同士を混在させたマルチ画面動画像符号列を提供することが可能になり、その実用的効果は大きい。

（第４の実施の形態）
次に、本発明における第４の実施の形態について説明する。なお、前述した実施の形態において説明済みのものについては同じ番号を割り当て、その説明を省略する。

図３１は、本実施の形態における動画像合成装置を示すブロック構成図である。ここで、３１０１は、マルチ画面動画像符号列を動画像合成サーバに取り込む動画像取込手段、３１０２は、取り込んだマルチ画面動画像符号列から、各画面領域部分の動画像符号列をそれぞれ抽出するマルチ画面動画像分割手段、３１０３は、前記マルチ画面動画像とマルチ画面の各領域部分のサイズと位置情報を保持する画面レイアウトテーブルを作成する画面レイアウトテーブル作成手段、３１０４は、抽出された各動画像符号列を、別のマルチ画面内に再合成可能な符号列（符号化サムネール動画）への変換処理を行なう動画像再符号化手段、３１０５は、再符号化された符号化サムネール動画および蓄積手段内の符号化サムネール同士を合成し、マルチ画面動画像の符号列を生成する動画像合成手段、３１０６は、再構成するマルチ画面の組み合わせ・順序一覧を生成する動画像一覧生成手段、である。

まず、入力となったマルチ画面動画像符号列から、各画面領域部分の符号列を分割する処理について説明する。

図３２は、マルチ画面動画像分割手段３１０２によって、入力となるマルチ画面動画像符号列から、マルチ画面を構成している各画面領域部分の動画像符号列を抽出し、それぞれ別の動画像符号列として出力するまでの処理フローを示したものである。
ステップ３２０１では、マルチ画面動画像データ符号列中に、そのマルチ画面の画面構成を示すレイアウト情報が含まれているかをチェックし、
ステップ３２０２では、もしレイアウト情報が含まれていれば画面レイアウトテーブルを作成し、
ステップ３２０３では、マルチ画面動画像データ符号列から１フレーム分の符号列を読み込み、
ステップ３２０４では、各スライス符号列の切り出しをslice_start_code（図３８（ａ）参照）を探索することにより行ない、
ステップ３２０５では、切り出したスライスの位置情報を取り出し、
ステップ３２０６では、切り出したスライス符号列を、符号化サムネールの識別ＩＤ、マルチ画面でのスライス位置情報、各画面領域でのスライス位置情報、とともに動画像再符号化手段３１０４へ出力し、
ステップ３２０７では、１フレーム分の符号列中の全スライスについて処理したかをチェックし、
ステップ３２０８では、入力マルチ画面動画像データの全フレームについて処理したかをチェック、
をそれぞれ行なう。

図３３は、画面レイアウトテーブルのフォーマットを示したものである。
動画水平サイズおよび動画垂直サイズには、入力となるマルチ画面動画像データのマクロブロック単位でのサイズ、画面数は、マルチ画面を構成する画面領域数、画面ｍの識別IDは、各画面領域ｍ部分に配置された符号化サムネール動画の識別ＩＤ、画面ｍの位置情報は、画面領域ｍの左上角の座標位置、画面ｍの水平サイズおよび垂直サイズは、画面領域ｍのサイズをそれぞれ格納する。

図３４に、図２７で示すような画面構成を持つマルチ画面動画データ入力時に作成される画面レイアウトテーブルの例を示したものである。以下、入力となったマルチ画面動画像データが、図２７のような画面構成を持つ場合について説明する。

画面レイアウトテーブルの作成は画面レイアウトテーブル作成手段により行なわれ、ステップ３２０１にて、マルチ画面動画像データ符号列の各ヘッダ部（シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ）の拡張符号領域またはユーザデータ領域に、画面レイアウトテーブルが符号化されて出力されているかをチェックし、もし出力されていれば、ステップ３２０２にて、その符号列を読み込むことで作成される。

なお、マルチ画面動画像符号列中に画面レイアウトテーブルを出力するために、マルチ画面動画像符号列を生成出力する動画像合成装置は、画面レイアウトテーブルを符号列中に出力する処理を行なう。例えば、第３の実施の形態における動画像合成手段２５０３は、図２８に示したレイアウトテーブルから図３４の画面レイアウトテーブルへの変換を行ない、その画面レイアウトテーブルを符号化し出力する。

各スライス符号列の切り出しは、ステップ３２０４にて、スライスの先頭を示すslice_start_codeの探索により行なわれる。切り出されたスライス符号列の位置情報（マルチ画面でのスライス位置情報）は、ステップ３２０５にて、
水平位置＝先頭マクロブロックのMB_Addr_Incの値
垂直位置＝slice_start_codeの４バイト目の値
を参照することにより取得される。

マルチ画面動画像分割手段３１０２は、ステップ３２０６にて、画面レイアウトテーブルとマルチ画面でのスライス符号列の位置情報から、符号化サムネールの識別IDと各画面領域でのスライス位置情報を求め、動画像再符号化手段３１０３へ出力する。

図３５は、図３４で示した画面レイアウトテーブルと各位置情報例から求められる、符号化サムネールの識別IDと各画面領域でのスライス位置情報を示したものである。なお、図３５は、図３２の処理フローで処理された順に上から並んでいる。

次に、マルチ画面動画像分割手段３１０２にて分割抽出されたスライス符号列を、別のマルチ画面内に再合成可能な符号列に変換する処理について説明する。

図３６は、動画像再符号化手段３１０３で、マルチ画面動画像分割手段３１０２から渡されたスライス符号列，マルチ画面での位置情報，画面領域での位置情報から、スライス符号列を、別のマルチ画面内に再合成可能な符号列への変換処理例を図示したものである。ここで、動画像符号化手段３１０４が、マルチ画面動画像分割手段３１０２から渡される値は、
スライス符号列 ：図３６（ａ）および（ｂ）で示される符号列
マルチ画面での位置情報：（５，６）
画面領域での位置情報 ：（１，２）
識別ＩＤ ：Ｅ
のとおりである。すなわち、図３６は、図２７で示されたマルチ画面動画において座標（５，６）に配置された符号化サムネール動画Ｅの2番目のスライス符号列を変換するものである。

図３６（ａ）は、マルチ画面動画像分割手段３１０２から渡されたスライス符号列を示しており、図３６（ｂ）は、さらにビット単位で詳細表示したものである。スライス符号列の垂直位置情報は、slice_start_codeの４バイト目、すなわちbuf[3]に格納されているので、buf[3]の値を画面領域での位置情報で示される垂直位置 '2' にするために、
buf[3] = 2
の代入処理を行なう。

また、スライス符号列の水平位置は５から１へと書き換える必要があるが、可変長符号ビットMB_Addr_Inc部分である。そのため、水平位置５を可変長符号で表すと '0010'であり、水平位置１を可変長符号で表すと '1' になる。したがって、水平位置を５から１へと書き換えることによりMB_Addr_Inc部分には３ビットが余るが、これを図３６（ｃ）のように３バイトのパディングバイトを挿入することで吸収する。そして、図３６（ｃ）から（ｄ）の部分に示されるように、水平位置を１にする書き換え演算を行なう。

以上のようにしてスライス位置情報の書き換え処理が行なわれたスライス符号列は、スライス単位で合成可能な符号化サムネール動画Ｅの符号列として蓄積手段２０６または直接動画像合成手段３１０４へ送られ、マルチ画面合成動画として合成に利用される。

以上のように、本実施の形態では、
マルチ画面動画像を取り込む動画像取込手段と、取り込んだマルチ画面動画像符号列から各画面領域部分のスライス符号列を抽出するマルチ画面動画像分割手段と、マルチ画面の各画面領域のサイズと位置情報との対応を保持する画面レイアウトテーブルを作成する画面レイアウトテーブル作成手段と、前記スライス符号列を別のマルチ画面内に再合成可能なスライス符号列への変換処理を行なう動画像再符号化手段と、再符号化されたスライス符号列同士を再合成し別画面構成のマルチ画面動画像符号列を生成する動画像合成手段とを備え、
動画像分割手段が、抽出したスライス符号列のヘッダ部から位置情報を取り出し、この位置情報を用いて画面レイアウトテーブルを参照することで、対応する符号化サムネール動画の識別ＩＤ，各画面領域での位置情報を導出し、この導出結果を受けて、動画像再符号化手段が、前記スライス符号列の位置情報を、マルチ画面のものから各画面領域のものへと変換を行なうことにより、前記スライス符号列を別のマルチ画面内に再合成可能な符号列への変換処理を行なうようにする画像合成装置を提供するものである。

以上のような過程を経ることにより、
マルチ画面動画像を別画面構成に再構成したマルチ画面動画像を生成することを可能にし、特に、動画像再符号化手段３１０３が、第１の実施の形態で説明した動画像符号化手段２０４の出力する符号化サムネール動画と同じフォーマットのスライス符号列を出力するので、出力されたスライス符号列は動画像合成手段によりスライス単位で再合成可能なものとすることができ、その実用的効果は大きい。

（第５の実施の形態）
次に、本発明における第５の実施の形態について説明する。なお、前述した実施の形態において説明済みのものについては同じ番号を割り当て、その説明を省略する。

本実施の形態における動画像合成装置のブロック図を図３７に示す。ここで、３７０１は、入力画像に対し画像符号化フォーマットに基づく符号化処理を行ない符号化画像を出力する画像符号化手段、
３７０２は、符号化画像を蓄積格納する蓄積手段、
３７０３は、少なくとも１つ以上の符号化画像を入力としマルチ画面画像ストリームを生成する画像合成手段、
３７０４は、マルチ画面画像ストリームを復号しマルチ画面画像イメージを生成表示する画像復号手段、
である。

本実施の形態における動画像合成装置の動作について以下説明する。
本実施の形態では、入力画像の画像符号化フォーマットとしてＭＰＥＧフォーマットを例に使用するので、画像符号化手段３７０１は、第１の実施の形態での動画像符号化手段２０４と同じものであり、その内部動作も同様の説明が適用される。すなわち、入力画像としてサムネール動画、符号化画像として符号化サムネール動画とした説明が適用される。したがって、画像符号化手段３７０１は、第１の実施の形態での説明に従い、ＭＰＥＧフォーマットで圧縮符号化された符号化画像を蓄積手段３７０２へ出力する。

蓄積手段３７０２は、第１の実施の形態での蓄積手段２０５と同じものであり、その内部動作も同様の説明が適用される。また、蓄積手段３７０２は符号化画像を蓄積格納し、このとき符号化画像に対して一意に識別可能な画像ＩＤを割り当てて蓄積管理している。図１０の（ａ）では、５つの符号化画像を蓄積し、それぞれの符号化画像に対し、Ａ，Ｂ，Ｃ，Ｄ，Ｅの画像ＩＤを割り当てて蓄積管理している状態を示している。これらの画像ＩＤを元に、任意の符号化画像を蓄積手段３７０２から取り出すことが可能である。なお、各符号化画像は、図６で示すような符号化サムネールの構成と同じである。

画像合成手段３７０３は、少なくとも１つ以上の符号化画像を蓄積手段３７０２から取り出し、画像合成処理を行なうことでマルチ画面画像ストリームを生成出力する。なお、本実施の形態における画像合成手段３７０３は、第１の実施の形態での動画像合成手段２０７と同じものであり、その内部動作も同様の説明が適用される。

本実施の形態では、画像合成手段３７０３にて図３８に示すようなマルチ画面画像を生成する場合について説明する。すなわち、画像合成手段３７０３は、マルチ画面画像を縦に２分割，横に２分割の合計４つの領域に分割された各領域に対し、蓄積手段３７０２に格納されている各符号化画像を表示するようなマルチ画面画像を合成する。

図３８に示すようなマルチ画面画像を表示するためには、画像合成手段３７０３から出力されるマルチ画面画像ストリームは、図３９で示されるような符号列シーケンスでなければならない。したがって、画像合成手段３７０３では、図３で示したようなステップを経て、図３９で示す符号列生成処理を行なう。この符号列生成処理により生成されるマルチ画面画像ストリームは、ＭＰＥＧフォーマットとして正しい符号列であるので、画像復号手段３７０４にてＭＰＥＧ再生が可能となる。

以上のように本実施の形態の動画像合成装置を構成することで、可変長符号で定義される情報値を変更することで生じる当該情報の符号長変化に対し、膨大なビットシフト演算等の処理を要することなく当該情報値の変更が可能になり、マルチ画面画像ストリーム生成処理の高速化を図ることができる。

また、このとき、画像合成手段により生成されたマルチ画面画像ストリームの符号列シーケンスは、ＭＰＥＧフォーマットとして正しいものであるので、ＭＰＥＧ符号列を復号する画像復号手段、または画像復号装置（一般的に、ＭＰＥＧデコーダと呼ぶ）により復号、再生表示が可能となる。

なお、本実施の形態での画像符号化手段の入力となる入力画像は、静止画、動画のどちらであっても構わない。静止画の場合の処理は、本実施の形態（画像符号化手段の動作説明としては第１の実施の形態参照）での説明において、フレームレベルでの処理部分で入力画像が１フレームのみであった場合を適用することで説明できる。

また、入力画像があらかじめ何らかの画像符号化フォーマットで符号化処理が施されていても構わない。この場合は、画像符号化手段は、入力画像に対して画像符号化フォーマットの変換処理を行なうことになる。

また、本実施の形態では、入力画像およびマルチ画面画像ストリームの画像符号化フォーマットとしてＭＰＥＧフォーマットを使用し説明しているが、画像符号化フォーマットの規格として、可変長符号として定義される情報を持つ全ての画像符号化フォーマットに対し適用可能である。

また、本実施の形態では、可変長符号として定義された情報の書き換えを行なう画像合成手段の基本演算処理単位長が８ビット（すなわち、現在通常呼ばれる１バイト）として説明しているが、基本単位長は１以上の任意のもので構わない。

また、本実施の形態では、書き換えを行なう情報として水平位置情報を例にしているが、画像符号化フォーマットの規格として、可変長符号として定義される情報であればなんであっても構わない。また一度に変更する情報が複数であっても構わない。

また、本実施の形態では、足りないビットを補填するための拡張符号列として extra_bit_sliceとextra_information_sliceの組を使用しているが、画像符号化フォーマットにおいて画像には影響を与えない、または影響の少ない符号列として定義される部分をあらかじめ符号化画像中に出力しておいても構わない。

（第６の実施の形態）
次に、本発明における第６の実施の形態について説明する。なお、前述した実施の形態において説明済みのものについては同じ番号を割り当て、その説明を省略する。

本実施の形態における動画像合成装置のブロック図を図４０に示す。ここで、４００１、４００２は、入力データに対して蓄積または保持またはなんらかの処理を一時的もしくは長期にわたり行なったのちに出力する遅延手段、
４００３は、符号化画像を蓄積管理する合成サーバ、
４００４は、マルチ画面画像ストリームの合成処理および再生表示する再生端末、
である。

本実施の形態における動画像合成装置の動作について以下説明する。
遅延手段４００１および４００２は、磁気ディスク，メモリデバイスを含む記憶手段により、遅延手段の入力データの遅延出力を行なったり、フレーム間引き処理による遅延時間の調整などの処理を行なう。

ここでは、遅延手段４００１（以下、遅延手段１）は、画像符号化手段３７０１からの符号化画像の符号列を一定時間遅延した後に出力する。この遅延時間は遅延手段の外部から指定可能であり、例えば、再生端末４００４から５秒遅延するような指示を行なうことが可能である。また、遅延時間の変更も可能であり、遅延時間が１０秒だった初期状態から徐々に遅延時間を小さくし、初期状態から１分後に遅延時間なし（０秒）になるようにすることで、追いかけ再生（Catch-Up）を行なうことも遅延手段の処理に含まれる。

一方、遅延手段４００２（以下、遅延手段２）は、蓄積手段３７０２から取り出した符号化画像に対し、４フレーム置きに符号列を出力（つまり、フレーム番号が１，５，９，１３……のフレームの符号列）する。すなわち、遅延手段２から出力された符号化画像は再生速度が４倍速の画像となる。

本実施の形態における画像合成手段は、図４１に示すように、４つの経路から符号化画像の符号列を入力する。図４１では、画像符号化手段は、入力画像としてカメラからのリアルタイムライブ映像を入力し、ＭＰＥＧ符号化処理を行ない、画像ＩＤがＸである符号化画像を出力している。

また、遅延手段１では、前述の遅延処理を行なうとともに、画像ＩＤの変更を行なっており、ここではＸ′に変更している。また、蓄積手段からは画像ＩＤがＢである符号化画像が取り出されている。遅延手段２では、前述の遅延処理を行なうとともに、画像ＩＤをＢ′に変更している。

したがって、画像合成手段３７０３は、画像ＩＤがＸ，Ｘ′，Ｂ，Ｂ′の４つの符号化画像の合成処理を行なう。

図４０で示すように、動画像合成装置の構成として、再生端末側に画像合成手段を配置することも可能である。また、その際の画像合成手段３７０３の内部処理については第１の実施の形態と同様であり、画像復号手段３７０４は、画像合成手段により合成されたマルチ画面画像ストリームを復号再生する。

本実施の形態によるマルチ画面画像の再生イメージ例を図４２に示す。図４２は、ライブ映像、ライブ映像の遅延映像、蓄積映像、蓄積映像の変速映像、のような各種映像を各画面領域にマルチ画面画像として合成した際の再生イメージ例である。

以上のように本実施の形態の動画像合成装置を構成することで、入力画像としてカメラからの映像のようなリアルタイムライブ映像と蓄積映像などのマルチ画面合成表示が可能であり、また、遅延手段によるライブ映像部分の遅延再生、フレーム間引き処理による遅延時間の調整などを行なったマルチ画面画像の再生表示が可能となる。

（第７の実施の形態）
次に、本発明における第７の実施の形態について説明する。なお、前述した実施の形態において説明済みのものについては同じ番号を割り当て、その説明を省略する。

本実施の形態における動画像合成装置のブロック図を図４３に示す。ここで、４３０１は、出力とするマルチ画面画像の再生画面を少なくとも１つ以上の領域に分割したときの各領域の構成をマルチ画面レイアウト情報として保持するレイアウトテーブル、
４３０２は、レイアウトテーブル内のマルチ画面レイアウト情報の値を変更するレイアウトテーブル変更手段、
である。

本実施の形態における動画像合成装置の動作について以下説明する。
本実施の形態において、第３の実施の形態での説明と同様の部分については、説明を省略する。つまり、入力画像としてサムネール動画、符号化画像として符号化サムネール動画とした説明が適用される。また、レイアウトテーブル４３０１は、第３の実施の形態でのレイアウトテーブルと同じものであり、その構成も同様の説明が適用される。また、画像合成手段３７０３は、図２５に示される第３の実施の形態での動画像合成手段２５０３と同じものであり、その内部動作も同様の説明が適用される。

図４４は、レイアウトテーブル変更手段４３０２でレイアウトテーブルの内容を変更する前後のマルチ画面画像の画面構成を示すものである。図４４で示すように、本実施の形態により、画像合成手段３７０３は画面構成のまったく異なるマルチ画面画像ストリームを生成することが可能となる。

図４５は、画像合成手段３７０３における符号化画像の合成処理を示すものである。図４５において、
ステップ４５０１では、図２６に示される第３の実施の形態におけるステップ２６０１と同じく初期化処理を行ない、初期状態として図４４の上のような画面構成を持つレイアウトテーブルを作成し、
ステップ４５０２では、画像合成手段が、レイアウトテーブルの参照を行なう。すなわち、画像合成手段３７０３は、マルチ画面画像ストリーム生成処理におけるフレームレベルでの処理開始時に、その時点でのレイアウトテーブルの参照を行ない（ステップ４５０２）、レイアウトテーブル内のマルチ画面レイアウト情報に沿った合成処理（図４５でのステップ８０３からステップ８０９）を行なう。これにより、レイアウトテーブル変更手段４３０２によるマルチ画面画像の画面構成変更は、フレームレベルで行なわれることになる。

以上のように本実施の形態の動画像合成装置を構成することで、マルチ画面画像の各領域の配置構成、各領域のサイズ、各領域に表示される符号化画像などを動的変更が可能となる。

（第８の実施の形態）
次に、本発明における第８の実施の形態について説明する。なお、前述した実施の形態において説明済みのものについては同じ番号を割り当て、その説明を省略する。

本実施の形態における動画像合成装置のブロック図を図４６に示す。ここで、４６０１は、入力画像に対し画像符号化フォーマットに基づく符号化処理を行ない符号化画像を出力する画像符号化手段、
４６０２は、少なくとも１つ以上の符号化画像を入力としマルチ画面画像ストリームを生成する画像合成手段、
である。

本実施の形態における動画像合成装置の動作について以下説明する。
まず、本実施の形態の画像符号化手段４６０１による入力画像の符号化処理について説明する。本実施の形態の画像符号化手段４６０１により、画像符号化手段へ入力された入力画像はＭＰＥＧフォーマットとして符号化処理が施され、符号化画像として蓄積手段３７０２に蓄積される。画像符号化手段４６０１のＭＰＥＧ符号化処理フローは、第１の実施の形態の図３と同じである。なお、図３の説明におけるサムネール動画と本実施の形態における入力画像とは同じものとして扱うことができる。

図４７は、画像符号化手段４６０１が、図３に示されるステップ３０３，３０５，３０６，３０８にて、入力画像を各スライス単位でＭＰＥＧ符号化し、符号化画像として出力した際の符号列の一例を示したものである。図４７（ａ），（ｂ），（ｃ），（ｄ）は、それぞれ図５（ａ），（ｃ），（ｄ），（ｅ）の説明が適用される。

このように、本実施の形態における符号化画像の符号列は、一般的なＭＰＥＧ符号化手段またはＭＰＥＧ符号化装置（一般的に、ＭＰＥＧエンコーダと呼ぶ）により生成されたものと同じものである。したがって、本実施の形態における画像符号化手段４６０１は、一般的なＭＰＥＧ符号化手段を使用することができる。

画像符号化手段４６０１により出力された符号化画像は、蓄積手段３７０２により蓄積管理される。図４８は、蓄積手段３７０２に蓄積されている符号化画像の一例を示したものである。図４８の例では、蓄積手段３７０２には、画像ＩＤがそれぞれＡ，Ｂ，Ｃ，Ｄ，Ｅで識別される符号化画像が蓄積されている。また、符号化画像は、水平に２スライスに分割され、各スライスは３つのマクロブロックで構成されていることを示している。

次に、本発明における符号化画像の可変長で定義された情報値の書換え処理について説明する。

本実施の形態では、図３８で示すようなマルチ画面画像を合成する場合を例に説明する。マルチ画面画像の合成処理は画像合成手段４６０２により行なわれ、その処理フローは、第１の実施の形態の図８と同じである。なお、図８の説明における符号化サムネール動画と本実施の形態における符号化画像とは同じものとして扱うことができる。

図４９は、画像合成手段４６０２が、図８に示すステップ８０４にて行なうスライス符号列の読み出し処理を示したものである。読み出されたスライス符号列は、先頭アドレスが変数Ｂｕｆによりポインティングされるバッファ内に格納される。

画像合成手段４６０２は、図８に示すステップ８０５にて行なうスライス表示位置情報の書換え処理は次のようにして行なう。

垂直位置情報の書換えについては、第１の実施の形態における図１１の説明が適用される。ステップ８０５における可変長符号で定義された水平位置情報の書換え処理を、水平位置の値が１から４に変化した場合を例に説明する。蓄積手段３７０２に格納された状態では、図４７に示すように、符号化画像の水平位置情報値は１であり、その符号列は１ビット長の'1'である。これを水平位置４に書き換えるためには、水平位置４を可変長符号であらわすと４ビット長の'0011'となる。したがって、３ビット分の符号列が不足する。そこで、不足分の符号列を補い、可変長符号で定義された水平位置情報値を高速に書きかえる方法について、図５０をもとに説明する。

図５０（ａ）は、ステップ８０４にてバッファ中にスライス１Ａの符号列が読み込まれた状態を示しており、（ｂ）はその時のスライスヘッダ近傍をさらに詳細に示したものである。

画像合成手段４６０２は、まず buf[4]部分の書換えを行なう。本実施形態では、
buf[4] ＝ buf[4] | 0x07
とする。その後、buf[0]から buf[4]までの５バイトをマルチ画面画像ストリームの符号列として出力する。

次に、６バイトの挿入処理として、0xffを６バイト、同じくマルチ画面画像ストリームの符号列として出力する。

最後に、水平位置情報の書換え処理として、
buf[10] ＝ 0xc6 + （buf[4] & 0x01）
を行なったのち、buf[10]からうしろのすべてのスライス符号列をマルチ画面画像ストリームの符号列として出力する。

なお、厳密なことを述べると、水平位置情報の書換え処理時に buf[4]の値を参照するために、最初に buf[4]の書換えを行なう際に buf[4]の値は一時的に変数に格納しておく必要がある。

以上のような処理により、可変長符号で定義された情報値の書換えを、単純な計算を数回行なうのみで完了させることができる。したがって、可変長符号で定義される情報値を変更することで生じる当該情報の符号長変化に対し、膨大なビットシフト演算等の処理を要することなく当該情報値の変更を可能にするものであり、マルチ画面画像生成処理の高速化を図ることができる。

また、本画像合成手段の入力となる符号化画像を生成する画像符号化手段が、前述の高速化を実現するための特別な処理を行なっておく必要がないため、前記画像符号化フォーマットに基づいた符号化処理を行なう一般的な画像符号化手段を使用することができる。また、前記画像符号化フォーマットに基づく一般的な符号化画像同士の編集処理の高速化を図ることができる。

なお、以上の実施の形態の説明においては専ら、動画像を対象にして説明してきたが、これに止まらず動画、静止画、音声、テキストなどにおいて、可変長データを扱う素材全てについても同様に扱うことができるものである。その場合においては、「合成」という用語では内容を十分言い尽くすことはできないので、「合成」という用語に代えて、「編集」という用語に置き換える方が適切である。

本発明の動画像合成装置の構成を示す概略図、 本発明の第１の実施の形態における動画像合成装置のブロック図、 本発明の第１の実施の形態における動画像符号化手段の動作を示す処理フロー図、 本発明の第１の実施の形態におけるサムネール動画のブロック分割の例図、 本発明の第１の実施の形態における動画像符号化手段の出力する符号列の例図、 本発明の第１の実施の形態における蓄積手段に蓄積されている符号化サムネール動画の一覧の例図、 本発明の第１の実施の形態における動画像一覧生成手段が動画像合成手段に出した要求によるマルチ画面の例図、 本発明の第１の実施の形態における動画像合成手段の動作を示す処理フロー図、 本発明の第１の実施の形態における動画像合成手段内部のループ処理の例図、 本発明の第１の実施の形態における動画像合成手段による蓄積手段内のスライス符号列読み出し処理の例図、 本発明の第１の実施の形態におけるスライスの垂直位置情報の書き換え処理の例図（垂直位置＝３）、 本発明の第１の実施の形態におけるスライスの水平位置情報の書き換え処理の例図（水平位置＝４）、 本発明の第１の実施の形態におけるスライスの水平位置情報の書き換え処理の例図（水平位置＝７）、 本発明の第１の実施の形態におけるスライスの水平位置情報の書き換え処理の例図（水平位置＝１３）、 本発明の第１の実施の形態におけるスライスの水平位置情報の書き換え処理の例図（水平位置＝３７）、 本発明の第２の実施の形態における動画像合成装置のブロック図、 本発明の第２の実施の形態における動画像符号化手段の動作を示す処理フロー図、 本発明の第２の実施の形態におけるスライスヘッダ符号列の例図、 本発明の第２の実施の形態における作業バッファの動作の例図、 本発明の第２の実施の形態における動画像符号化手段のＭＰＥＧ符号化処理時の作業バッファの動作の例図、 本発明の第２の実施の形態におけるmacroblock_stuffingの挿入数と変数ｂの値の関係図、 本発明の第２の実施の形態における動画像合成手段の動作を示す処理フロー図、 本発明の第２の実施の形態における動画像合成手段内部のループ処理の例図、 本発明の第２の実施の形態におけるマルチ画面１フレーム分の編集画像処理順序の例図、 本発明の第３の実施の形態における動画像合成装置のブロック図、 本発明の第３の実施の形態における動画像符号化手段の動作を示す処理フロー図、 本発明の第３の実施の形態におけるマルチ画面構成の例図、 本発明の第３の実施の形態における２次元配列変数Ｖの初期化の例図、 本発明の第３の実施の形態における動画像合成手段内部のループ処理の例図、 本発明の第３の実施の形態におけるスキップスライス符号列の例図、 本発明の第４の実施の形態における動画像合成装置のブロック図、 本発明の第４の実施の形態におけるマルチ画面動画像分割手段の動作を示す処理フロー図、 本発明の第４の実施の形態における画面レイアウトテーブルのフォーマットの例図、 本発明の第４の実施の形態における動画像一覧生成手段が動画像合成手段に出した要求によるマルチ画面の例図、 本発明の第４の実施の形態におけるマルチ画面動画像分割手段の処理経過の例図、 本発明の第４の実施の形態における動画像再符号化手段によるスライス符号列変換処理の例図、 本発明の第５の実施の形態における動画像合成装置のブロック図、 本発明の第５の実施の形態におけるマルチ画面の例図、 本発明の第５の実施の形態におけるマルチ画面画像の符号列シーケンス、 本発明の第６の実施の形態における動画像合成装置のブロック図、 本発明の第６の実施の形態における画像合成手段への符号化画像の入力経路、 本発明の第６の実施の形態におけるマルチ画面画像の再生イメージ、 本発明の第７の実施の形態における動画像合成装置のブロック図、 本発明の第７の実施の形態におけるレイアウトテーブルの内容変更前後のマルチ画面画像の画面構成、 本発明の第７の実施の形態における画像合成手段における符号化画像の編集処理、 本発明の第８の実施の形態における動画像合成装置のブロック図、 本発明の第８の実施の形態における画像符号化手段の出力する符号列の例図、 本発明の第８の実施の形態における蓄積手段に蓄積されている符号化画像の一覧の例図、 本発明の第８の実施の形態における画像合成手段による蓄積手段内のスライス符号列読み出し処理の例図、 本発明の第８の実施の形態におけるスライスの水平位置情報の書換え処理の例図、 従来例におけるブロック構成図、 ＭＰＥＧでのビデオストリームのシンタックスの一部の例図、 スライス水平位置情報書き換え時の現象を示した例図、 バイトアライメントされていないマクロブロック連結時の現象を示した例図である。

符号の説明

１０１ 動画像取込手段
１０２ 動画像縮小手段
１０３ 動画像符号化手段
１０４ 合成作業メモリ
１０５ 蓄積手段
１０６ 動画像合成手段
１０７ 動画像一覧生成手段
１０８ 動画像復号化手段
１０９ 動画像表示手段

Claims (3)

1. 画像データを取り込む画像取込手段と、前記画像データを縮小しサムネール画像を生成する画像縮小手段と、前記サムネール画像をＭＰＥＧ符号化し符号化サムネール画像を生成する画像符号化手段と、前記符号化サムネール画像を蓄積格納する蓄積手段と、前記蓄積手段に蓄積した１つ以上の前記符号化サムネール画像を編集しマルチ画面画像データを生成する画像編集手段と、前記マルチ画面画像データを復号する画像復号化手段と、復号化された画像データを画面表示する画像表示手段とを備え、
   前記画像符号化手段が、
   前記符号化サムネール画像が有する前記符号化サムネール画像の表示位置を示した可変長符号の位置情報と、
   前記符号化サムネール画像の配置によって前記位置情報に変更が生じた場合に用いる補填符号と、を符号化する場合に、
   前記補填符号列の挿入により前記分割されたサムネール画像を符号化したマクロブロック符号列の先頭と末端がバイト境界に接した状態になるようにし、
   前記画像編集手段が、
   目的とするマルチ画面を構成するように前記マクロブロック符号列をラスタスキャンオーダー順に並べることによりマルチ画面画像データ符号列を生成するマルチメディア情報編集装置。
2. 前記画像符号化手段が、
   前記マクロブロック符号列の先頭がバイト境界に接した状態になるようにするための補填符号列として、ＭＰＥＧビデオシーケンスにおけるスライスヘッダ部の extra_bit_slice と extra_information_slice 部分を利用する請求項１記載のマルチメディア情報編集装置。
3. 前記画像符号化手段が、
   前記マクロブロック符号列の末端がバイト境界に接した状態になるようにするための補填符号列として、マクロブロック符号列の先頭部分にＭＰＥＧビデオシーケンスにおける macroblock_stuffing を挿入する請求項１記載のマルチメディア情報編集装置。
   

Images