JP4151122B2 - 動画像合成装置 - Google Patents
動画像合成装置 Download PDFInfo
- Publication number
- JP4151122B2 JP4151122B2 JP23831398A JP23831398A JP4151122B2 JP 4151122 B2 JP4151122 B2 JP 4151122B2 JP 23831398 A JP23831398 A JP 23831398A JP 23831398 A JP23831398 A JP 23831398A JP 4151122 B2 JP4151122 B2 JP 4151122B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- frame
- image
- code string
- synthesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する分野】
本発明は、複数の符号化された動画像データを１つの動画像として合成する方法およびその装置に関し、特に、時間的相関を利用して圧縮された符号化データを効率的に処理する動画像合成装置に関する。
【０００２】
【従来の技術】
従来、図２２に示すように、複数の符号化された動画像データを１つの動画像として合成するには、各動画像の符号列１，２，３，４を復号化器５で１フレーム分の画素データ６，７，８，９に復号した後、画像合成器１０で合成画像データ１１に合成し、符号化器１２で符号化し、合成動画像の符号列１３を生成している。この方法では、動画像データを復号し、再び符号化するため、膨大な計算量を必要とする。
【０００３】
また、特開平７−２９８２６３号公報では、複数の領域毎に符号化した符号列を結合して１つの合成動画像の符号列を生成する方法を示している。この方法では、入力動画像をフレーム単位で複数領域に分割し、各領域毎に符号化を行う。図２３（ａ）では、フレーム１，１４を縦に３分割し、各分割領域毎に図２３（ｂ）のように符号列を生成する。これらの符号列をフレーム分割の境界およびフレーム間でスライス毎に連結する。すなわち、フレーム１では、符号列５ａ、６ａ、７ａ、８ａの順に連結し、図２３（ｃ）に示すような符号列を生成する。この符号列は、フレームを分割せずに符号化した場合と同じシンタックスとなっている。
【０００４】
【発明が解決しようとする課題】
上記のように、符号化された動画像データを一旦復号し、合成したデータを符号化すると、膨大な計算量を必要とする。特開平７−２９８２６３号公報は、領域で分割して符号化された符号列を結合することで合成動画像を生成しているが、動画像の画面を分割して符号化する際にすでに各分割符号列が合成動画像のどの領域に対応するのかがわかっているので、合成後の画面情報をもとに合成動画像の符号列のヘッダを符号化時に生成している。従って、任意の圧縮データを選択して任意の領域に配置する場合は、ヘッダ情報に矛盾が生じるために、正確な動画像として復号できない符号列となってしまう。
【０００５】
以上のことに鑑み、本発明では、蓄積された動画像データから任意のデータを選択し、画面上の任意の位置に配置した合成動画像符号列を効率的に生成することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明では、
第１に、合成に用いる符号化された動画像のヘッダ情報を解析する符号列解析手段と解析した結果を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と蓄積された動画像の画像データの表示位置を書き換える符号列書き換え手段を具備することにより、
合成動画像の適切なヘッダ情報を簡単な計算だけで生成し、画像をデータを複合化することなく再利用することで、効率的に合成動画像を生成する。
【０００７】
第２に、合成動画像に前のフレームと同じ画像を表示する情報量がほとんど０である挿入フレームを生成する挿入フレーム生成手段を具備することにより、
合成動画像のビットレートおよびフレームレートを適宜調整し、合成処理量を軽減したり、伝送路や再生環境にあわせた利用範囲の広い動画像を生成する。
第３に、符号化前の映像をＮフレームおきに符号化した実時間のＮ倍の時間で再生されるＮ倍速動画像を蓄積するＮ倍速動画像蓄積手段と前フレームと同じ画像を表示する情報量がほとんど０である挿入フレームを生成する挿入フレーム生成手段を具備することにより、
合成動画像生成時にＮ−１枚単位の挿入フレームを挿入することで、蓄積する動画像の情報量を１／ＮとなるＮ倍速動画像を用いて、符号化前の映像と同じ速度で再生される動画像を合成し、蓄積手段を有効に利用する。
【０００８】
第４に、情報量がほとんど０であり前フレームと同じ画像を生成する順方向挿入フレーム生成手段と、情報量がほとんど０であり後フレームと同じ画像を生成する逆方向挿入フレーム生成手段を具備することにより、
Ｂフレームを含むＭＰＥＧ符号列においてもＢフレームの前後に挿入フレームを挿入し、合成動画像のビットレートおよびフレームレートを調整し、伝送路や再生環境に合わせた利用範囲の広い動画像を生成する。
【０００９】
第５に、符号化前の映像をｍ−１枚おきに間引いた実時間のｍ倍速で再生されるｍ倍速動画像を蓄積するｍ倍速動画像蓄積手段と、情報量がほとんど０であり前後のフレームの中間画像を表示する内挿フレームを生成する内挿フレーム生成手段を具備することにより、
例えばｍ＝２の場合においては、蓄積する動画像の情報量を１／２としながら、符号化前の映像と同じ速度で同じフレームレートで再生される動画像を合成することで、蓄積手段を有効に利用する。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図２１を用いて説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その趣旨を逸脱しない範囲において種々の異なる態様で実施し得る。
（実施の形態１）
本発明の第１の実施の形態は、ＧＯＰ（Group Of Picture）構成などの条件を一定にして符号化した複数のＭＰＥＧ動画像を復号せずに１つの動画像に合成する動画像合成装置である。
【００１１】
図１は、第１の実施の形態の動画像合成装置を示すブロック図である。図１において、１０１は合成する画像やその配置を指示する合成指示手段、１０２は動画像の合成処理を制御する合成制御手段、１０３は合成動画像のヘッダ情報を生成する画像情報生成手段、１０４は符号化された動画像のヘッダ情報を解析する符号列解析手段、１０５は動画蓄積手段から指示された動画像を取り出す符号列取り出し手段、１０６は合成に用いる縮小動画像を蓄積しておく動画蓄積手段、１０７は取り出した符号列を一時的に蓄える合成メモリ、１０８は動画像をストリームとして出力する合成画像出力手段、１０９は出力される合成動画像符号列、１１０は合成メモリに蓄えられた画像データの表示位置情報を書き換える符号列書き換え装置を示す。
【００１２】
図２は、この動画像合成装置が行う画面合成の概略を示す図である。図２において、２０１から２０４は合成に用いる縮小動画像ａ，ｂ，ｃ，ｄ、２０５は各動画像の１フレームの画像である縮小フレーム画像、２０６は縮小フレームの画像を合成した合成フレームを示す。
図３は、動画蓄積部１０６に蓄積されている縮小動画像がどのようにＭＰＥＧ符号化されているか示す。図３において、３０１は動画の中で１枚の画像を示すフレーム、３０２から３０５はフレーム３０１の中でのまとまりを示すスライス、３０６から３１１は１６×１６画素からなるスライス３０５の構成要素であるマクロブロックを示す。
【００１３】
図４は、縮小動画像の符号列を示す図である。４０１は動画像全体の情報を示すシーケンスヘッダ、４０２は動画像の１つのまとまりであるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）を示すＧＯＰデータ、４０３はＧＯＰの情報を示すＧＯＰヘッダ、４０４は１フレームの画像を示すピクチャデータ、４０５は１フレームの画像の情報を示すピクチャヘッダ、４０６はフレームの中でのあるまとまりで区切られたデータであるスライスデータ、４０７はスライスデータの情報を示すスライスヘッダ、４０８はマクロブロックのデータであるマクロブロックデータを示す。
【００１４】
図５は縮小動画像の配置例を示す。図５において、５０１から５０３は配置される動画像ａ，ｂ，ｃ、５０４は合成される画面全体である合成画面を示す。
図６は合成指示手段で生成される縮小動画像のスライスと合成画面上の領域を対応付ける対応表の例を示す。６０１は合成画面上でのマクロブロックの上からの位置を示すマクロブロック垂直位置、６０２は合成画面上でのマクロブロックの左からの位置を示すマクロブロック水平位置、６０３から６１４は合成画面に配置される動画像ａ，ｂ，ｃの各スライス、６１５は合成画面のマクロブロックを示す。
【００１５】
図７は合成指示手段で生成される対応表の複雑な例を示す。図７において、７０１から７０４は合成に用いる動画像ａ，ｂ，ｃ，ｄ、７０５および７０６は動画像が表示されない領域、７０７は画像が表示されないマクロブロックである非表示マクロブロック、７０８から７２５は合成画面に配置される動画像ａ７０１，ｂ７０２，ｃ７０３，ｄ７０４の各スライスを示す。
【００１６】
図８は合成制御手段１０２の動作を示す流れ図である．
図９は１フレーム分の画像を合成処理が施される順序および処理方法を示す図である。図９において、９０１は合成画面上のマクロブロック、９０２は合成画面、９０３から９０８は各マクロブロックにおける処理方法を示す流れ図である。
【００１７】
以下、図１から図９を用いて第１の実施の形態の動画像合成装置について説明する．
動画像合成装置は、図２に示すように、動画蓄積部１０６に蓄えられている複数の縮小動画像ａ２０１，ｂ２０２，ｃ２０３，ｄ２０４からフレームタイプが同じである縮小フレーム画像２０５を取り出して、１枚の大きな合成フレーム画像２０６を合成する。各縮小動画像は、図３に示すように、横１列のマクロブロック３０６〜３１１を１つのスライス３０２（〜３０５）としてまとめたＭＰＥＧ動画像である。図３は横９６画素×縦６４画素の動画像の例であり、横１列分の６個のマクロブロック３０６〜３１１を１つのスライス３０２（〜３０５）として符号化している。この動画像のＭＰＥＧ符号列は、図４に示すように、スライスヘッダ４０７の後に６個のマクロブロックデータ４０８が続くことになる。また、各縮小動画像は、ＧＯＰ構成や画像の表示周期、量子化に用いるマトリクスデータおよび動きベクトルの精度と範囲など動画全般に適用されるパラメータも共通の設定で符号化されている必要がある。
【００１８】
合成指示手段１０１は、動画蓄積部中１０６の動画像データを合成画面上のどの位置に配置するかを指定するインターフェースを提供する。例えば、合成後の画面上での各縮小画像の占める領域をＧＵＩ形式で指定する。ただし、合成後の配置位置は、マクロブロック（１６×１６画素）単位でしか指定できない。合成指示手段１０１は、合成画面をマクロブロック単位で分割し、合成画面上の各マクロブロックと配置される縮小動画像のスライスの対応表を作成する。例えば、図５のように動画像ａ５０１，ｂ５０２，ｃ５０３が合成画面上に配置される場合、マクロブロック・スライス対応表は図６に示すようになり、動画像ａのスライス１・６０３が合成画面上の座標（１，１）のマクロブロックに配置され、動画像ｃのスライス１・６１１が合成画面上の座標（７，１）に配置されるということを示す。合成する縮小動画像の大きさが均一である必要やすべてのマクロブロックに画像が配置されている必要はなく、図７ａに示すように不均一な大きさの画像を空白があるように配置してもかまわない。この場合には、動画像が表示されないマクロブロック７０７は、画像なしとして図７ｂのようなマクロブロック・スライス対応表が作成される。
【００１９】
合成制御手段１０２は、合成指示手段よりマクロブロック・スライス対応表を受け取り、合成処理を開始する。合成制御手段１０２は、図８に示す流れ図に従って動作する。まず、マクロブロック・スライス対応表に含まれる縮小動画像ファイルのオープンを符号列取り出し手段１０５に指示する。符号列取り出し手段１０５は、縮小動画像符号列の先頭部分を符号列解析手段１０４に渡す。符号列解析手段１０４は、各縮小画像のヘッダ情報を解析し、他の動画像とは異なる条件で符号化されていたり、動画像自体が存在しない場合には、合成制御手段１０２に通知し、該当する縮小動画像のスライスが配置されるマクロブックには動画像が出力されないようにマクロブロック・スライス対応表を修正する。
【００２０】
次に、合成画像のシーケンスヘッダとＧＯＰヘッダ、ピクチャヘッダを生成する。画像サイズ、画像の表示周期、アスペクトレートなどの合成動画像全体で共通に使用される値は各縮小動画像の符号化時に設定されているので、その値を利用する。ビットレートおよび仮想バッファサイズ等の合成する縮小動画像によって異なる値は、各縮小動画像のヘッダ情報を符号列解析手段から取得し、合成後の値を計算する。
【００２１】
例えば、ビットレートはすべての縮小動画像のビットレートを足した値を利用する。ピクチャヘッダは、処理するフレームごとに異なる値を生成する。動きベクトルの精度と範囲および画像のタイプは、合成する各画像で使われているものを利用する。ただし、動きベクトルの精度や記述範囲などのＭＰＥＧ規格としてフレームごとに変更ができる値の多くは、動画像全体で固定として符号化されている場合が多いため、あらかじめその固定値を調べておき、決まった値を使用すれば高速に処理することができる。画像の表示順序やピクチャタイプは動画像のＧＯＰ構成から決定する。
【００２２】
ピクチャヘッダを生成すると合成制御手段１０２は、スライスデータの合成を開始する。合成制御手段１０２は、図６および図７ｂに示した合成画面のマクロブロック・スライス対応表を図９ａに示すラスタースキャン順序で処理する。処理中のマクロブロックにおいて合成するべきスライスデータがある場合には、図９ｂに示す処理を行う。
【００２３】
まず、処理中のマクロブロックに配置するスライスデータを合成メモリ上に読み出すように符号列取り出し手段に指示する。スライスデータの先頭にはスライスヘッダがあり、そこにはＳｌｉｃｅ Ｓｔａｒｔ Ｃｏｄｅが記述されているので、この値を合成後のスライスの垂直位置を示すコードに修正するように符号列書き換え手段１１０に指示する。次に、スライスデータの先頭マクロブロックのマクロブロックデータ中の Macroblock Escape と Macroblock Address Increment を合成後のスライスの先頭マクロブロックの水平位置を表すコードに修正するように符号列書き換え手段１１０に指示する。各値を修正後、スライスデータを合成メモリから出力する。マクロブロック・スライス対応表に、空白を出力する場合には、処理中のフレームタイプに対応した空白を示すスライスデータを出力する。空白を示すスライスデータは、黒い画像を表示するスライスデータであり、Ｉフレームとしては黒い画像をエンコードしたものを用い、Ｐフレーム，Ｂフレームとしては動き予測０の順方向予測フレームのスライスデータを用いる。合成画面９０２の右下に達すると、１フレーム分の合成作業が終了する。
【００２４】
１フレーム分の合成処理が終了すると、次のフレームの処理に移行するが、次のフレームがＧＯＰの先頭フレームの場合は、シーケンスヘッダとＧＯＰヘッダを前述の方法で出力する。また、あらかじめ設定しておいた終了条件に達すると動作を終了する。終了条件は、縮小動画像のどれかひとつが終了した場合やすべての縮小画像が終了した場合、または、あらかじめ合成するフレーム数の合計を決めておくなどから選択し、設定する。最終フレームに達するとシーケンスの終了コードを出力し、合成を終了する。
【００２５】
以上のように本実施の形態では、
符号化されている縮小動画像を合成画面上の任意の位置に配置した合成動画像を生成する際に、縮小動画像のヘッダ情報を利用して合成動画像のヘッダ情報を生成しながらスライスデータを結合することで、効率的にＭＰＥＧ符号列として矛盾のない合成動画像を生成することができるという効果が得られる。
【００２６】
（実施の形態２）
本発明の第２の実施の形態は、複数の符号化された縮小動画像から合成動画像を生成する際に、前フレームと変化のないスキップフレームを挿入することで、合成後の動画像のビットレートおよびフレームレートを調整する動画像合成装置である。
【００２７】
図１０は、本発明の第２の実施の形態の動画像合成装置を示すブロック図である。図１０において、１００１は前フレームと同じ画像を表すＭＰＧＥ符号列を生成する挿入フレーム生成手段である。図１１は、合成制御手段１０２の動作を示す流れ図である。図１２は、合成動画像１０９の再生時の様子を示す図である。図１２において、１２０１、１２０２、１２０３は合成動画像の合成画面Ａ，Ｂ，Ｃ、１２０４，１２０５，１２０６は挿入フレーム生成手段１００１で生成されるスキップフレーム、１２０７、１２０８、１２０９は合成画面Ａ，Ｂ，Ｃの表示期間を示す。
【００２８】
以下、図１０から図１２を用いて本発明の第２の実施の形態の動画像合成装置について説明する．
合成指示手段１０１は、動画蓄積部１０６中の動画像データの合成画面上における配置および合成後のフレームレートを指定するインターフェースを提供する。フレームレートは縮小動画像の１／Ｎ倍という形式で指定する。ただし、Ｎは自然数とする。合成制御手段１０２は、合成指示手段１０１から合成指示を受け取り、図１１の流れ図に従って合成処理を行う。合成制御手段１０２は、第１の実施の形態とほぼ同じ動作を行うが、以下の３点が部分が異なる。
【００２９】
１点目は、ヘッダ情報を生成する際に情報量をほとんどもたないスキップフレームが挿入されることを考慮して計算を行う。動画像全体のビットレートは１／Ｎになるので、縮小動画像のビットレートの合計をＮで除算したものをヘッダに記述する。他のヘッダ情報についてもスキップフレームが挿入されることを考慮した補正演算を行う。
【００３０】
２点目は、動画蓄積手段１０６に蓄積されているＭＰＥＧ動画像は、ＩピクチャとＰピクチャしか含まないように符号化されている必要がある。ＩとＰピクチャのみのＭＰＥＧ符号列では、表示順序と蓄積順序が同じであり、全てのフレームが予測フレームとして利用できるので、スキップフレームを自由に挿入することができる。
【００３１】
３点目は、合成制御手段１０２は１枚分のフレームを合成した後に（Ｎ−１）枚分のスキップフレームを生成するように挿入フレーム生成手段１００１に指示する。挿入フレーム生成手段１００１が生成するスキップフレームは、ＭＰＥＧ規格のＰピクチャあるいはＢピクチャにおいて全てのマクロブロックが順方向フレーム間予測モードで動きベクトルを０としたフレームである。このスキップフレームは最低限のヘッダ情報しか持たないので、情報量はほぼ０である。
【００３２】
出力される合成動画像１０９は、図１２に示すように合成画面の後にＮ−１枚のスキップフレームが続く画像となる。この動画像を再生すると合成画面Ａが表示されてから合成画面Ｂが表示されるまでのＮ枚のフレームでは合成画面Ａの画像が表示され続けるので、見た目上のフレームレートは１／Ｎとなる。また、スキップフレームはその構造から、ヘッダ以外の情報をほとんど含まないので、合成動画像全体のビットレートも１／Ｎになる。合成に用いる動画像が多い場合には、合成後のビットレートが増加し映像伝送路の容量を超過したり、合成に必要な処理量が増大するために、実時間で合成を行えず、再生側で映像が止まってしまうなどの問題が考えられるが、上記のようにスキップフレームを適宜挿入することでビットレートとフレームレートの調整が可能となる。
【００３３】
以上のように本実施の形態では、
挿入フレーム生成手段１００１が前フレームと同じ画像をあらわすスキップフレームを生成し、合成制御手段１０２が適宜合成動画像に挿入することにより、合成画像のビットレートとフレームレートを１／Ｎに調整することができるという効果が得られる。
【００３４】
（実施の形態３）
本発明の第３の実施の形態は、実時間のＮ倍速で符号化された複数の縮小動画像から合成動画像を合成する際に、変化のないフレームを挿入することで、実時間の等倍で再生できる動画像を合成する動画像合成装置である。
図１３は第３の実施の形態の動画像合成装置の構成を示すブロック図である。図１３において、１３０１はＮ倍速の映像を符号化した動画像を蓄積しておくＮ倍速動画像蓄積手段を示す。図１４は、３倍速で符号化した場合の符号化前の映像と符号化後の動画像と合成動画像のフレーム構成を示す図である。図１４において、１４０１は合成前の映像、１４０２は符号化後の３倍速動画像、１４０３は合成後の合成動画像、１４０４は符号化時に間引きされる間引きフレーム、１４０５は縮小動画像の１フレーム分の画像が合成された合成フレーム、１４０６は挿入フレーム生成手段１００１によって生成される挿入フレームを示す。
【００３５】
以下、図１３、図１４を用いて本発明の第３の実施の形態の動画像合成装置について説明する．
装置の構成は図１０に示す第２の実施の形態の動画像合成装置と同様であるが、動画蓄積手段１０６が、図３示すようにＮ倍速の縮小動画像を蓄積したＮ倍速動画像蓄積手段１３０１に置き換わっていることが異なる。Ｎ倍速の動画像とは、（Ｎ−１）枚のフレーム画像を間引きながら符号化を行った動画像であり、もとの映像と同じフレームレートで再生すると１／Ｎの時間で再生が終了する。図１４は３倍速動画像の例であり、合成前の映像１４０１を２枚ずつ間引きながら符号化を行うことで、３倍速動画像１４０２が生成される。この動画像は、もとの映像をそのまま符号化したのもに比べてビットレートが約１／３のデータ量となっており、同じ容量の蓄積装置を利用して約３倍のデータを蓄積することができる。
【００３６】
合成制御手段１０２は、図１１に示す流れ図に従って動作し、合成時に（Ｎ−１）枚のスキップフレーム１４０６を挿入する。合成された動画像は見かけ上は縮小動画像の１／Ｎのフレームレートで再生されるので、合成前の映像１４０１と同じ速度、つまり、実時間の等倍の速度で再生される。図１４では、合成時に２枚のスキップフレーム１４０６を挿入しており、３倍速動画像１４０２の１／３のフレームレートになるので、もとの映像と同じ速度で再生される。
【００３７】
以上のように本実施の形態では、
（Ｎ−１）枚のフレームを間引いて符号化されたＮ倍速の動画像を蓄積するＮ倍速動画像蓄積手段１３０１に縮小動画像を蓄積しておき、動画像を合成する際に、（Ｎ−１）枚のスキップフレームを挿入することで、蓄積する動画像のデータ量を約１／Ｎにするとともに、符号化前の速度で再生できる動画像を合成できるという効果が得られる。
【００３８】
（実施の形態４）
本発明の第４の実施の形態は、蓄積時のフレーム順序と再生時のフレーム順序が異なるＭＰＥＧ動画像を合成する際に、スキップフレームを挿入することでビットレートおよびフレームレートの調整が可能な動画像合成装置である。
図１５は第４の実施の形態の動画像合成装置の構成を示すブロック図である。図１５において、１５０１は前フレームからの動きベクトル０の予測フレームを生成する順方向挿入フレーム生成手段、１５０２は後フレームからの動きベクトル０の予測フレームを生成する逆方向予測フレーム生成手段である。図１６はＭＰＥＧ符号列の蓄積順序と表示順序の違いを示す図である。図１６において、１６０１は表示順序、１６０２は蓄積順序を示す。図１７は第４の実施の形態の動画像合成手段の合成制御装置１０２の動作を示す流れ図である。図１８は順方向挿入フレーム生成手段１５０１および逆方向挿入フレーム生成手段１５０２が生成するスキップフレームを含むＭＰＥＧ符号列のフレーム構成を示す図である。図１８において、１８０１は表示順序、１８０２は各フレーム画像の表示期間、１８０３は蓄積順序を示す。
【００３９】
以下、図１５から図１８を用いて本発明の第４の実施の形態の動画像合成装置について説明する．
動画像合成装置の構成は、図１０に示す第２の実施の形態の動画像合成装置とほぼ同様であるが、挿入フレーム生成手段１００１の代りに順方向挿入フレーム生成手段１５０１と逆方向挿入フレーム生成手段１５０２の２種類の挿入フレーム生成手段を備えることが異なる。
【００４０】
動画像蓄積手段１０６に蓄積されている動画像は、Ｂフレームを含むＭＰＥＧ動画像である。Ｂフレームを含むＭＰＥＧ動画像では図１６に示すように各フレームの表示順序と蓄積順序が異なる形で蓄積されている。
順方向挿入フレーム生成手段１５０１は、図１０に示す第２の実施の形態の動画像合成装置の挿入フレーム生成手段１００１と同様に動作し、前フレームから動きベクトル０で予測したＢピクチャを生成する。逆方向挿入フレーム生成手段１５０２は、後フレームから動きベクトル０で予測したＢピクチャを生成する。
【００４１】
合成制御手段１０２は、図１７の流れ図に従って動作する。合成制御手段１０２は、図１１に示す第２の実施の形態と同様に動作するが、挿入フレームを生成する際に、ＩピクチャあるいはＰピクチャを合成した後では、順方向挿入フレームを（Ｎ−１）枚生成し、Ｂピクチャを合成した後では、逆方向挿入フレームを（Ｎ−１）枚生成する。図１８はＮ＝２の時の例であり、図中のＦＳは順方向挿入フレームを、図中のＢＳは逆方向挿入フレームを示す。スキップフレームが挿入されたＭＰＥＧ動画像は図１８の蓄積順序１８０３で蓄積され、表示順序１８０１に従って生成されたＴｅｍｐｏｒａｌ Ｒｅｆｅｒｅｃｅヘッダ情報が付加されており、正しい順番で各フレームが再生される。
【００４２】
合成動画像は表示順序１８０１に従って再生され、合成した１番目のＢフレームの画像が１フレーム分表示された後に、３番目のＩフレームの画像が３フレーム分表示され、５番目のＢフレームの画像が１フレーム分表示され、７番目のＰフレームの画像が３フレーム分表示されるので、全体としてのフレームレートは１／２となる。各挿入フレームはヘッダ以外のデータをほとんど持たないので、ビットレートも約１／２となる。一般に、Ｎ−１枚の挿入フレームを挿入することで、動画像全体のフレームレートとビットレートは１／Ｎとなる。
【００４３】
実施の形態３で示したように、蓄積しておく縮小動画像を２倍速で符号化しておき、Ｎ＝２としてフレームを挿入すれば、全体として１／２の速度で動画像が再生されるので、もとの映像とほぼ同じ速度で再生できる動画像を合成することができる。
以上のように本実施の形態では、
Ｂフレームを含むようなＭＰＥＧ符号列の縮小画像を合成する際に（Ｎ−１）枚の順方向挿入フレームと（Ｎ−１）枚の逆方向挿入フレームを交互に生成することで、動画像合成時にフレームレートとビットレートを１／Ｎに調整することができる。
【００４４】
また、蓄積する動画像をＮ倍速で蓄積しておいても合成時にほぼ１／Ｎ倍速で再生できる動画像を合成できるために、蓄積する動画像の情報量を小さくすることができるという効果が得られる。
（実施の形態５）
本発明の第５の実施の形態は、ＩピクチャおよびＰピクチャで構成された２倍速のＭＰＥＧ動画像を合成する際に、前後のフレームの各画素間での平均値を取って作られた画像を挿入することで、もとの映像と同じフレームレートで再生される動画像を合成する動画像合成装置である。
【００４５】
図１９は、第５の実施の形態の動画像合成装置の構成を示すブロック図である。図１９において、１９０１は前後のフレームの中間状態のフレーム画像を生成する内挿フレーム生成手段、１９０２は合成前の映像を１フレーム毎に間引いて符号化した２倍速の動画像を蓄積する２倍速動画蓄積手段である。図２０は、内挿フレーム生成手段１９０１で生成される内挿フレームを挿入したＭＰＥＧ動画像のフレーム構成と再生状態を示す図である。図２０において、２００１はＭＰＥＧ動画像の蓄積順序、２００２はＭＰＥＧ動画像の表示順序、２００３はＭＰＥＧ動画像の各フレームの表示期間を示す。図２１は、第５の実施の形態の動画像合成装置の合成制御手段１０２の動作を示す流れ図である。
【００４６】
以下、図１９から図２１を用いて、本発明の第５の実施の形態の動画像合成装置について説明する。 第５の実施の形態の動画像合成装置の構成は、図１０に示す第２の実施の形態の動画像合成装置とほぼ同様であるが、挿入フレーム生成手段１００１に代り、前後のフレームの中間画像を生成する内挿フレーム生成手段１９０１を備え、動画蓄積手段１０６に代り、合成前の映像を１フレーム毎に間引いて符号化された２倍速の動画像を蓄積する２倍速動画像蓄積手段１９０２を備えることが異なる。
【００４７】
内挿フレーム生成手段１９０１は、双方向予測モードのＢピクチャを前後両フレームからの動きベクトルを０として生成する。この内挿フレームは、前後のフレーム画像の画素単位の丸め込み平均をとった画像であり、前後のフレームの中間画像を表す。
合成制御手段１０２は図２１の流れ図に従って動作する。合成制御手段１０２は、第２の実施の形態とほぼ同様に動作するが、各フレーム画像を合成した後に内挿フレーム生成手段１９０１に内挿フレームの生成を指示することが異なる。合成されたＭＰＥＧ動画像は、図２０の蓄積順序２００１で示すフレーム構成で生成される。図２０において、Ｄと記されているフレームが内挿フレームを表す。合成されたＭＰＥＧ符号列は、図２０の表示順序２００２で示される順番で再生され、各フレームは表示期間２００３で示される時間だけ表示される。まず、０番目のＩピクチャが表示され、その後に、このピクチャと２番目のＰピクチャとの画素単位の平均値を取った画像が表示され、次に２番目のＰピクチャが表示される。
【００４８】
このように合成動画像のフレームレートは、縮小動画像の２倍となり、縮小映像を符号化する前の本来の映像のフレームレートが再現される。ここで、内挿フレーム生成手段１９０１が生成する画像は、前後のフレーム画像の中間画像となっているため、符号化時に間引いたフレーム画像に近いものになっている。
以上のように本実施の形態では、
フレーム間引きにより２倍速で符号化された縮小動画像を合成する際に、前後のフレームの中間画像である内挿フレームを生成することで、間引く前の映像と同じフレームレートの動画像を合成することができるという効果が得られる。また、蓄積しておく動画像の大きさが１／２となるため、効率的に動画像を蓄積できる。更に、内挿フレームの情報量はほとんど０であるために、合成後の動画像のビットレートを１／２にできるという効果が得られる。
【００４９】
なお本実施の形態では、間引き数を"１"（即ち２倍速）としたが、それ以外の数値でも一向に構わない。つまり、ｍ−１枚ずつ間引いてｍ倍速の映像を生成し、合成時にｍ−１枚の中間画像を補完することも可能である。特に、本実施の形態のようにｍ＝２とした場合、フレームレートを安定して（歪ませることなく）一定とすることができ、もとの映像のフレームレートを再現できて最も有効である。
【００５０】
【発明の効果】
本発明の第１の実施の形態では、
合成方法を指示する合成指示手段と、合成指示手段の指示に従って合成処理を制御する合成制御手段と、合成に用いる符号化された動画像を蓄積しておく動画蓄積手段と、動画蓄積手段より動画像の符号列を取り出す符号列取り出し手段と、符号列取り出し手段で取り出された符号列のヘッダ情報を解析する符号列解析手段と、解析した符号列の情報を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と、符号列取り出し手段が取り出した符号列を一時的に蓄える合成メモリと、合成メモリ上の符号列の表示位置情報を書き換える符号列書き換え手段と、合成画像のヘッダ情報と書き換えた符号列を合成動画像として出力する合成画像出力手段を具備することを特徴とする動画像合成装置とすることで、
符号化されている縮小動画像を合成画面上の任意の位置に配置した合成動画像を生成する際に、縮小動画像のヘッダ情報を利用して合成動画像のヘッダ情報を生成しながらスライスデータを結合することで、効率的にＭＰＥＧ符号列として矛盾のない合成動画像を生成することができるという効果が得られる。
【００５１】
本発明の第２の実施の形態では、
合成方法を指示する合成指示手段と、合成指示手段の指示に従って合成処理を制御する合成制御手段と、合成に用いる符号化された動画像を蓄積しておく動画蓄積手段と、動画蓄積手段より動画像の符号列を取り出す符号列取り出し手段と、符号列取り出し手段で取り出された符号列のヘッダ情報を解析する符号列解析手段と、解析した符号列の情報を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と、符号列取り出し手段が取り出した符号列を一時的に蓄える合成メモリと、合成メモリ上の符号列の表示位置情報を書き換える符号列書き換え手段と、前フレームと同じ画像を表示するフレーム画像を生成する挿入フレーム生成手段と、合成画像のヘッダ情報と書き換えた符号列と挿入フレームを合成動画像として出力する合成画像出力手段を具備することを特徴とする動画像合成装置とすることで、
挿入フレーム生成手段が前フレームと同じ画像をあらわすスキップフレームを生成し、合成制御手段が適宜合成動画像に挿入することにより、合成画像のビットレートとフレームレートを１／Ｎに調整することができるという効果が得られる。
【００５２】
本発明の第３の実施の形態では、
合成方法を指示する合成指示手段と、合成指示手段の指示に従って合成処理を制御する合成制御手段と、符号化前の映像のフレームを間引いてＮフレーム毎に符号化した実時間のＮ倍速で再生できる動画像を蓄積しておくＮ倍速動画蓄積手段と、Ｎ倍速動画蓄積手段より動画像の符号列を取り出す符号列取り出し手段と、符号列取り出し手段で取り出された符号列のヘッダ情報を解析する符号列解析手段と、解析した符号列の情報を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と、符号列取り出し手段が取り出した符号列を一時的に蓄える合成メモリと、合成メモリ上の符号列の表示位置情報を書き換える符号列書き換え手段と、前フレームと同じ画像を表示するフレーム画像を生成する挿入フレーム生成手段と、合成画像のヘッダ情報と書き換えた符号列と挿入フレームを合成動画像として出力する合成画像出力手段を具備することを特徴とする動画像合成装置とすることで、
（Ｎ−１）枚のフレームを間引いて符号化されたＮ倍速の動画像を蓄積するＮ倍速動画像蓄積手段に縮小動画像を蓄積しておき、動画像を合成する際に、（Ｎ−１）枚のスキップフレームを挿入することで、蓄積する動画像のデータ量を約１／Ｎにするとともに、符号化前の速度で再生できる動画像を合成できるという効果が得られる。
【００５３】
本発明の第４の実施の形態では、
合成方法を指示する合成指示手段と、合成指示手段の指示に従って合成処理を制御する合成制御手段と、合成に用いる符号化された動画像を蓄積しておく動画蓄積手段と、動画蓄積手段より動画像の符号列を取り出す符号列取り出し手段と、符号列取り出し手段で取り出された符号列のヘッダ情報を解析する符号列解析手段と、解析した符号列の情報を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と、符号列取り出し手段が取り出した符号列を一時的に蓄える合成メモリと、合成メモリ上の符号列の表示位置情報を書き換える符号列書き換え手段と、前フレームと同じ画像を表示するフレーム画像を生成する順方向挿入フレーム生成手段と、後フレームと同じ画像を表示するフレーム画像を生成する逆方向挿入フレーム生成手段と、合成画像のヘッダ情報と書き換えた符号列と順方向および逆方向挿入フレームを合成動画像として出力する合成画像出力手段を具備することを特徴とする動画像合成装置とすることで、
Ｂフレームを含むようなＭＰＥＧ符号列の縮小画像を合成する際に（Ｎ−１）枚の順方向挿入フレームと（Ｎ−１）枚の逆方向挿入フレームを交互に生成することで、動画像合成時にフレームレートとビットレートを１／Ｎに調整することができる。また、蓄積する動画像をＮ倍速で蓄積しておいても合成時にほぼ１／Ｎ倍速で再生できる動画像を合成できるために、蓄積する動画像の情報量を小さくすることができるという効果が得られる。
【００５４】
本発明の第５の実施の形態では、
合成方法を指示する合成指示手段と、合成指示手段の指示に従って合成処理を制御する合成制御手段と、合成前の映像をｍー１枚ずつ間引いて符号化した実時間のｍ倍速の動画像を蓄積するｍ倍速動画像蓄積手段と、ｍ倍速動画蓄積手段より動画像の符号列を取り出す符号列取り出し手段と、符号列取り出し手段で取り出された符号列のヘッダ情報を解析する符号列解析手段と、解析した符号列の情報を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と、符号列取り出し手段が取り出した符号列を一時的に蓄える合成メモリと、合成メモリ上の符号列の表示位置情報を書き換える符号列書き換え手段と、前後のフレームの中間画像を表示するフレーム画像を生成する内挿フレーム生成手段と、合成画像のヘッダ情報と書き換えた符号列と内挿フレームを合成動画像として出力する合成画像出力手段を具備することを特徴とする動画像合成装置とすることで、
例えばｍ＝２の場合においては、フレーム間引きにより２倍速で符号化された縮小動画像を合成する際に、前後のフレームの中間画像である内挿フレームを生成することで、間引く前の映像と同じフレームレートの動画像を合成することができるという効果が得られる。また、蓄積しておく動画像の大きさが１／２となるため、効率的に動画像を蓄積できる。更に、内挿フレームの情報量はほとんど０であるために、合成後の動画像のビットレートを１／２にできるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の動画像合成装置の構成を示すブロック図
【図２】本発明の第１の実施の形態の動画像合成装置の画面合成の概略を示す図
【図３】本発明の第１の実施の形態の動画像合成装置の動画蓄積手段に蓄積される合成に用いる動画像の符号化形式を示す図
【図４】本発明の第１の実施の形態の動画像合成装置の動画蓄積手段に蓄積される合成に用いる動画像の符号列の構成を示す図
【図５】本発明の第１の実施の形態の動画像合成装置の合成指示手段における合成指示例を示す図
【図６】本発明の第１の実施の形態の動画像合成装置の合成指示手段が生成するマクロブロック・スライス対応表の例を示す図
【図７】本発明の第１の実施の形態の動画像合成装置の合成指示手段が生成する複雑なマクロブロック・スライス対応表の例を示す図
【図８】本発明の第１の実施の形態の動画像合成装置の合成制御手段の動作を示す流れ図
【図９】本発明の第１の実施の形態の動画像合成装置の合成制御手段のスライスデータ合成処理の流れを示す図
【図１０】本発明の第２の実施の形態の動画像合成装置の構成を示すブロック図
【図１１】本発明の第２の実施の形態の動画像合成装置の合成制御手段の動作を示す流れ図
【図１２】本発明の第２の実施の形態の動画像合成装置の合成画像出力手段が出力する動画像のフレーム構成を示す図
【図１３】本発明の第３の実施の形態の動画像合成装置の構成を示すブロック図
【図１４】本発明の第３の実施の形態の動画像合成装置の符号化前、符号化後および合成後のフレーム構成の変化を示す図
【図１５】本発明の第４の実施の形態の動画像合成装置の構成を示すブロック図
【図１６】本発明の第４の実施の形態の動画像合成装置の動画蓄積手段に蓄積される動画像のフレーム構成を示す図
【図１７】本発明の第４の実施の形態の動画像合成装置の合成制御手段の動作を示す流れ図
【図１８】本発明の第４の実施の形態の動画像合成装置の合成画像出力手段より出力される動画像のフレーム構成を示す図
【図１９】本発明の第５の実施の形態の動画像合成装置の構成を示すブロック図
【図２０】本発明の第５の実施の形態の動画像合成装置の合成画像出力手段より出力される動画像のフレーム構成を示す図
【図２１】本発明の第５の実施の形態の動画像合成装置の合成制御手段の動作を示す流れ図
【図２２】動画像合成装置の第１の従来例を示す図
【図２３】動画像合成装置の第２の従来例を示す図
【符号の説明】
１０１ 合成指示手段
１０２ 合成制御手段
１０３ 画像情報生成手段
１０４ 符号列解析手段
１０５ 符号列取り出し手段
１０６ 動画蓄積手段
１０７ 合成メモリ
１０８ 合成画像出力手段
１０９ 合成動画像符号列
１１０ 符号列書き換え手段
【発明の属する分野】
本発明は、複数の符号化された動画像データを１つの動画像として合成する方法およびその装置に関し、特に、時間的相関を利用して圧縮された符号化データを効率的に処理する動画像合成装置に関する。
【０００２】
【従来の技術】
従来、図２２に示すように、複数の符号化された動画像データを１つの動画像として合成するには、各動画像の符号列１，２，３，４を復号化器５で１フレーム分の画素データ６，７，８，９に復号した後、画像合成器１０で合成画像データ１１に合成し、符号化器１２で符号化し、合成動画像の符号列１３を生成している。この方法では、動画像データを復号し、再び符号化するため、膨大な計算量を必要とする。
【０００３】
また、特開平７−２９８２６３号公報では、複数の領域毎に符号化した符号列を結合して１つの合成動画像の符号列を生成する方法を示している。この方法では、入力動画像をフレーム単位で複数領域に分割し、各領域毎に符号化を行う。図２３（ａ）では、フレーム１，１４を縦に３分割し、各分割領域毎に図２３（ｂ）のように符号列を生成する。これらの符号列をフレーム分割の境界およびフレーム間でスライス毎に連結する。すなわち、フレーム１では、符号列５ａ、６ａ、７ａ、８ａの順に連結し、図２３（ｃ）に示すような符号列を生成する。この符号列は、フレームを分割せずに符号化した場合と同じシンタックスとなっている。
【０００４】
【発明が解決しようとする課題】
上記のように、符号化された動画像データを一旦復号し、合成したデータを符号化すると、膨大な計算量を必要とする。特開平７−２９８２６３号公報は、領域で分割して符号化された符号列を結合することで合成動画像を生成しているが、動画像の画面を分割して符号化する際にすでに各分割符号列が合成動画像のどの領域に対応するのかがわかっているので、合成後の画面情報をもとに合成動画像の符号列のヘッダを符号化時に生成している。従って、任意の圧縮データを選択して任意の領域に配置する場合は、ヘッダ情報に矛盾が生じるために、正確な動画像として復号できない符号列となってしまう。
【０００５】
以上のことに鑑み、本発明では、蓄積された動画像データから任意のデータを選択し、画面上の任意の位置に配置した合成動画像符号列を効率的に生成することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明では、
第１に、合成に用いる符号化された動画像のヘッダ情報を解析する符号列解析手段と解析した結果を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と蓄積された動画像の画像データの表示位置を書き換える符号列書き換え手段を具備することにより、
合成動画像の適切なヘッダ情報を簡単な計算だけで生成し、画像をデータを複合化することなく再利用することで、効率的に合成動画像を生成する。
【０００７】
第２に、合成動画像に前のフレームと同じ画像を表示する情報量がほとんど０である挿入フレームを生成する挿入フレーム生成手段を具備することにより、
合成動画像のビットレートおよびフレームレートを適宜調整し、合成処理量を軽減したり、伝送路や再生環境にあわせた利用範囲の広い動画像を生成する。
第３に、符号化前の映像をＮフレームおきに符号化した実時間のＮ倍の時間で再生されるＮ倍速動画像を蓄積するＮ倍速動画像蓄積手段と前フレームと同じ画像を表示する情報量がほとんど０である挿入フレームを生成する挿入フレーム生成手段を具備することにより、
合成動画像生成時にＮ−１枚単位の挿入フレームを挿入することで、蓄積する動画像の情報量を１／ＮとなるＮ倍速動画像を用いて、符号化前の映像と同じ速度で再生される動画像を合成し、蓄積手段を有効に利用する。
【０００８】
第４に、情報量がほとんど０であり前フレームと同じ画像を生成する順方向挿入フレーム生成手段と、情報量がほとんど０であり後フレームと同じ画像を生成する逆方向挿入フレーム生成手段を具備することにより、
Ｂフレームを含むＭＰＥＧ符号列においてもＢフレームの前後に挿入フレームを挿入し、合成動画像のビットレートおよびフレームレートを調整し、伝送路や再生環境に合わせた利用範囲の広い動画像を生成する。
【０００９】
第５に、符号化前の映像をｍ−１枚おきに間引いた実時間のｍ倍速で再生されるｍ倍速動画像を蓄積するｍ倍速動画像蓄積手段と、情報量がほとんど０であり前後のフレームの中間画像を表示する内挿フレームを生成する内挿フレーム生成手段を具備することにより、
例えばｍ＝２の場合においては、蓄積する動画像の情報量を１／２としながら、符号化前の映像と同じ速度で同じフレームレートで再生される動画像を合成することで、蓄積手段を有効に利用する。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図２１を用いて説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その趣旨を逸脱しない範囲において種々の異なる態様で実施し得る。
（実施の形態１）
本発明の第１の実施の形態は、ＧＯＰ（Group Of Picture）構成などの条件を一定にして符号化した複数のＭＰＥＧ動画像を復号せずに１つの動画像に合成する動画像合成装置である。
【００１１】
図１は、第１の実施の形態の動画像合成装置を示すブロック図である。図１において、１０１は合成する画像やその配置を指示する合成指示手段、１０２は動画像の合成処理を制御する合成制御手段、１０３は合成動画像のヘッダ情報を生成する画像情報生成手段、１０４は符号化された動画像のヘッダ情報を解析する符号列解析手段、１０５は動画蓄積手段から指示された動画像を取り出す符号列取り出し手段、１０６は合成に用いる縮小動画像を蓄積しておく動画蓄積手段、１０７は取り出した符号列を一時的に蓄える合成メモリ、１０８は動画像をストリームとして出力する合成画像出力手段、１０９は出力される合成動画像符号列、１１０は合成メモリに蓄えられた画像データの表示位置情報を書き換える符号列書き換え装置を示す。
【００１２】
図２は、この動画像合成装置が行う画面合成の概略を示す図である。図２において、２０１から２０４は合成に用いる縮小動画像ａ，ｂ，ｃ，ｄ、２０５は各動画像の１フレームの画像である縮小フレーム画像、２０６は縮小フレームの画像を合成した合成フレームを示す。
図３は、動画蓄積部１０６に蓄積されている縮小動画像がどのようにＭＰＥＧ符号化されているか示す。図３において、３０１は動画の中で１枚の画像を示すフレーム、３０２から３０５はフレーム３０１の中でのまとまりを示すスライス、３０６から３１１は１６×１６画素からなるスライス３０５の構成要素であるマクロブロックを示す。
【００１３】
図４は、縮小動画像の符号列を示す図である。４０１は動画像全体の情報を示すシーケンスヘッダ、４０２は動画像の１つのまとまりであるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）を示すＧＯＰデータ、４０３はＧＯＰの情報を示すＧＯＰヘッダ、４０４は１フレームの画像を示すピクチャデータ、４０５は１フレームの画像の情報を示すピクチャヘッダ、４０６はフレームの中でのあるまとまりで区切られたデータであるスライスデータ、４０７はスライスデータの情報を示すスライスヘッダ、４０８はマクロブロックのデータであるマクロブロックデータを示す。
【００１４】
図５は縮小動画像の配置例を示す。図５において、５０１から５０３は配置される動画像ａ，ｂ，ｃ、５０４は合成される画面全体である合成画面を示す。
図６は合成指示手段で生成される縮小動画像のスライスと合成画面上の領域を対応付ける対応表の例を示す。６０１は合成画面上でのマクロブロックの上からの位置を示すマクロブロック垂直位置、６０２は合成画面上でのマクロブロックの左からの位置を示すマクロブロック水平位置、６０３から６１４は合成画面に配置される動画像ａ，ｂ，ｃの各スライス、６１５は合成画面のマクロブロックを示す。
【００１５】
図７は合成指示手段で生成される対応表の複雑な例を示す。図７において、７０１から７０４は合成に用いる動画像ａ，ｂ，ｃ，ｄ、７０５および７０６は動画像が表示されない領域、７０７は画像が表示されないマクロブロックである非表示マクロブロック、７０８から７２５は合成画面に配置される動画像ａ７０１，ｂ７０２，ｃ７０３，ｄ７０４の各スライスを示す。
【００１６】
図８は合成制御手段１０２の動作を示す流れ図である．
図９は１フレーム分の画像を合成処理が施される順序および処理方法を示す図である。図９において、９０１は合成画面上のマクロブロック、９０２は合成画面、９０３から９０８は各マクロブロックにおける処理方法を示す流れ図である。
【００１７】
以下、図１から図９を用いて第１の実施の形態の動画像合成装置について説明する．
動画像合成装置は、図２に示すように、動画蓄積部１０６に蓄えられている複数の縮小動画像ａ２０１，ｂ２０２，ｃ２０３，ｄ２０４からフレームタイプが同じである縮小フレーム画像２０５を取り出して、１枚の大きな合成フレーム画像２０６を合成する。各縮小動画像は、図３に示すように、横１列のマクロブロック３０６〜３１１を１つのスライス３０２（〜３０５）としてまとめたＭＰＥＧ動画像である。図３は横９６画素×縦６４画素の動画像の例であり、横１列分の６個のマクロブロック３０６〜３１１を１つのスライス３０２（〜３０５）として符号化している。この動画像のＭＰＥＧ符号列は、図４に示すように、スライスヘッダ４０７の後に６個のマクロブロックデータ４０８が続くことになる。また、各縮小動画像は、ＧＯＰ構成や画像の表示周期、量子化に用いるマトリクスデータおよび動きベクトルの精度と範囲など動画全般に適用されるパラメータも共通の設定で符号化されている必要がある。
【００１８】
合成指示手段１０１は、動画蓄積部中１０６の動画像データを合成画面上のどの位置に配置するかを指定するインターフェースを提供する。例えば、合成後の画面上での各縮小画像の占める領域をＧＵＩ形式で指定する。ただし、合成後の配置位置は、マクロブロック（１６×１６画素）単位でしか指定できない。合成指示手段１０１は、合成画面をマクロブロック単位で分割し、合成画面上の各マクロブロックと配置される縮小動画像のスライスの対応表を作成する。例えば、図５のように動画像ａ５０１，ｂ５０２，ｃ５０３が合成画面上に配置される場合、マクロブロック・スライス対応表は図６に示すようになり、動画像ａのスライス１・６０３が合成画面上の座標（１，１）のマクロブロックに配置され、動画像ｃのスライス１・６１１が合成画面上の座標（７，１）に配置されるということを示す。合成する縮小動画像の大きさが均一である必要やすべてのマクロブロックに画像が配置されている必要はなく、図７ａに示すように不均一な大きさの画像を空白があるように配置してもかまわない。この場合には、動画像が表示されないマクロブロック７０７は、画像なしとして図７ｂのようなマクロブロック・スライス対応表が作成される。
【００１９】
合成制御手段１０２は、合成指示手段よりマクロブロック・スライス対応表を受け取り、合成処理を開始する。合成制御手段１０２は、図８に示す流れ図に従って動作する。まず、マクロブロック・スライス対応表に含まれる縮小動画像ファイルのオープンを符号列取り出し手段１０５に指示する。符号列取り出し手段１０５は、縮小動画像符号列の先頭部分を符号列解析手段１０４に渡す。符号列解析手段１０４は、各縮小画像のヘッダ情報を解析し、他の動画像とは異なる条件で符号化されていたり、動画像自体が存在しない場合には、合成制御手段１０２に通知し、該当する縮小動画像のスライスが配置されるマクロブックには動画像が出力されないようにマクロブロック・スライス対応表を修正する。
【００２０】
次に、合成画像のシーケンスヘッダとＧＯＰヘッダ、ピクチャヘッダを生成する。画像サイズ、画像の表示周期、アスペクトレートなどの合成動画像全体で共通に使用される値は各縮小動画像の符号化時に設定されているので、その値を利用する。ビットレートおよび仮想バッファサイズ等の合成する縮小動画像によって異なる値は、各縮小動画像のヘッダ情報を符号列解析手段から取得し、合成後の値を計算する。
【００２１】
例えば、ビットレートはすべての縮小動画像のビットレートを足した値を利用する。ピクチャヘッダは、処理するフレームごとに異なる値を生成する。動きベクトルの精度と範囲および画像のタイプは、合成する各画像で使われているものを利用する。ただし、動きベクトルの精度や記述範囲などのＭＰＥＧ規格としてフレームごとに変更ができる値の多くは、動画像全体で固定として符号化されている場合が多いため、あらかじめその固定値を調べておき、決まった値を使用すれば高速に処理することができる。画像の表示順序やピクチャタイプは動画像のＧＯＰ構成から決定する。
【００２２】
ピクチャヘッダを生成すると合成制御手段１０２は、スライスデータの合成を開始する。合成制御手段１０２は、図６および図７ｂに示した合成画面のマクロブロック・スライス対応表を図９ａに示すラスタースキャン順序で処理する。処理中のマクロブロックにおいて合成するべきスライスデータがある場合には、図９ｂに示す処理を行う。
【００２３】
まず、処理中のマクロブロックに配置するスライスデータを合成メモリ上に読み出すように符号列取り出し手段に指示する。スライスデータの先頭にはスライスヘッダがあり、そこにはＳｌｉｃｅ Ｓｔａｒｔ Ｃｏｄｅが記述されているので、この値を合成後のスライスの垂直位置を示すコードに修正するように符号列書き換え手段１１０に指示する。次に、スライスデータの先頭マクロブロックのマクロブロックデータ中の Macroblock Escape と Macroblock Address Increment を合成後のスライスの先頭マクロブロックの水平位置を表すコードに修正するように符号列書き換え手段１１０に指示する。各値を修正後、スライスデータを合成メモリから出力する。マクロブロック・スライス対応表に、空白を出力する場合には、処理中のフレームタイプに対応した空白を示すスライスデータを出力する。空白を示すスライスデータは、黒い画像を表示するスライスデータであり、Ｉフレームとしては黒い画像をエンコードしたものを用い、Ｐフレーム，Ｂフレームとしては動き予測０の順方向予測フレームのスライスデータを用いる。合成画面９０２の右下に達すると、１フレーム分の合成作業が終了する。
【００２４】
１フレーム分の合成処理が終了すると、次のフレームの処理に移行するが、次のフレームがＧＯＰの先頭フレームの場合は、シーケンスヘッダとＧＯＰヘッダを前述の方法で出力する。また、あらかじめ設定しておいた終了条件に達すると動作を終了する。終了条件は、縮小動画像のどれかひとつが終了した場合やすべての縮小画像が終了した場合、または、あらかじめ合成するフレーム数の合計を決めておくなどから選択し、設定する。最終フレームに達するとシーケンスの終了コードを出力し、合成を終了する。
【００２５】
以上のように本実施の形態では、
符号化されている縮小動画像を合成画面上の任意の位置に配置した合成動画像を生成する際に、縮小動画像のヘッダ情報を利用して合成動画像のヘッダ情報を生成しながらスライスデータを結合することで、効率的にＭＰＥＧ符号列として矛盾のない合成動画像を生成することができるという効果が得られる。
【００２６】
（実施の形態２）
本発明の第２の実施の形態は、複数の符号化された縮小動画像から合成動画像を生成する際に、前フレームと変化のないスキップフレームを挿入することで、合成後の動画像のビットレートおよびフレームレートを調整する動画像合成装置である。
【００２７】
図１０は、本発明の第２の実施の形態の動画像合成装置を示すブロック図である。図１０において、１００１は前フレームと同じ画像を表すＭＰＧＥ符号列を生成する挿入フレーム生成手段である。図１１は、合成制御手段１０２の動作を示す流れ図である。図１２は、合成動画像１０９の再生時の様子を示す図である。図１２において、１２０１、１２０２、１２０３は合成動画像の合成画面Ａ，Ｂ，Ｃ、１２０４，１２０５，１２０６は挿入フレーム生成手段１００１で生成されるスキップフレーム、１２０７、１２０８、１２０９は合成画面Ａ，Ｂ，Ｃの表示期間を示す。
【００２８】
以下、図１０から図１２を用いて本発明の第２の実施の形態の動画像合成装置について説明する．
合成指示手段１０１は、動画蓄積部１０６中の動画像データの合成画面上における配置および合成後のフレームレートを指定するインターフェースを提供する。フレームレートは縮小動画像の１／Ｎ倍という形式で指定する。ただし、Ｎは自然数とする。合成制御手段１０２は、合成指示手段１０１から合成指示を受け取り、図１１の流れ図に従って合成処理を行う。合成制御手段１０２は、第１の実施の形態とほぼ同じ動作を行うが、以下の３点が部分が異なる。
【００２９】
１点目は、ヘッダ情報を生成する際に情報量をほとんどもたないスキップフレームが挿入されることを考慮して計算を行う。動画像全体のビットレートは１／Ｎになるので、縮小動画像のビットレートの合計をＮで除算したものをヘッダに記述する。他のヘッダ情報についてもスキップフレームが挿入されることを考慮した補正演算を行う。
【００３０】
２点目は、動画蓄積手段１０６に蓄積されているＭＰＥＧ動画像は、ＩピクチャとＰピクチャしか含まないように符号化されている必要がある。ＩとＰピクチャのみのＭＰＥＧ符号列では、表示順序と蓄積順序が同じであり、全てのフレームが予測フレームとして利用できるので、スキップフレームを自由に挿入することができる。
【００３１】
３点目は、合成制御手段１０２は１枚分のフレームを合成した後に（Ｎ−１）枚分のスキップフレームを生成するように挿入フレーム生成手段１００１に指示する。挿入フレーム生成手段１００１が生成するスキップフレームは、ＭＰＥＧ規格のＰピクチャあるいはＢピクチャにおいて全てのマクロブロックが順方向フレーム間予測モードで動きベクトルを０としたフレームである。このスキップフレームは最低限のヘッダ情報しか持たないので、情報量はほぼ０である。
【００３２】
出力される合成動画像１０９は、図１２に示すように合成画面の後にＮ−１枚のスキップフレームが続く画像となる。この動画像を再生すると合成画面Ａが表示されてから合成画面Ｂが表示されるまでのＮ枚のフレームでは合成画面Ａの画像が表示され続けるので、見た目上のフレームレートは１／Ｎとなる。また、スキップフレームはその構造から、ヘッダ以外の情報をほとんど含まないので、合成動画像全体のビットレートも１／Ｎになる。合成に用いる動画像が多い場合には、合成後のビットレートが増加し映像伝送路の容量を超過したり、合成に必要な処理量が増大するために、実時間で合成を行えず、再生側で映像が止まってしまうなどの問題が考えられるが、上記のようにスキップフレームを適宜挿入することでビットレートとフレームレートの調整が可能となる。
【００３３】
以上のように本実施の形態では、
挿入フレーム生成手段１００１が前フレームと同じ画像をあらわすスキップフレームを生成し、合成制御手段１０２が適宜合成動画像に挿入することにより、合成画像のビットレートとフレームレートを１／Ｎに調整することができるという効果が得られる。
【００３４】
（実施の形態３）
本発明の第３の実施の形態は、実時間のＮ倍速で符号化された複数の縮小動画像から合成動画像を合成する際に、変化のないフレームを挿入することで、実時間の等倍で再生できる動画像を合成する動画像合成装置である。
図１３は第３の実施の形態の動画像合成装置の構成を示すブロック図である。図１３において、１３０１はＮ倍速の映像を符号化した動画像を蓄積しておくＮ倍速動画像蓄積手段を示す。図１４は、３倍速で符号化した場合の符号化前の映像と符号化後の動画像と合成動画像のフレーム構成を示す図である。図１４において、１４０１は合成前の映像、１４０２は符号化後の３倍速動画像、１４０３は合成後の合成動画像、１４０４は符号化時に間引きされる間引きフレーム、１４０５は縮小動画像の１フレーム分の画像が合成された合成フレーム、１４０６は挿入フレーム生成手段１００１によって生成される挿入フレームを示す。
【００３５】
以下、図１３、図１４を用いて本発明の第３の実施の形態の動画像合成装置について説明する．
装置の構成は図１０に示す第２の実施の形態の動画像合成装置と同様であるが、動画蓄積手段１０６が、図３示すようにＮ倍速の縮小動画像を蓄積したＮ倍速動画像蓄積手段１３０１に置き換わっていることが異なる。Ｎ倍速の動画像とは、（Ｎ−１）枚のフレーム画像を間引きながら符号化を行った動画像であり、もとの映像と同じフレームレートで再生すると１／Ｎの時間で再生が終了する。図１４は３倍速動画像の例であり、合成前の映像１４０１を２枚ずつ間引きながら符号化を行うことで、３倍速動画像１４０２が生成される。この動画像は、もとの映像をそのまま符号化したのもに比べてビットレートが約１／３のデータ量となっており、同じ容量の蓄積装置を利用して約３倍のデータを蓄積することができる。
【００３６】
合成制御手段１０２は、図１１に示す流れ図に従って動作し、合成時に（Ｎ−１）枚のスキップフレーム１４０６を挿入する。合成された動画像は見かけ上は縮小動画像の１／Ｎのフレームレートで再生されるので、合成前の映像１４０１と同じ速度、つまり、実時間の等倍の速度で再生される。図１４では、合成時に２枚のスキップフレーム１４０６を挿入しており、３倍速動画像１４０２の１／３のフレームレートになるので、もとの映像と同じ速度で再生される。
【００３７】
以上のように本実施の形態では、
（Ｎ−１）枚のフレームを間引いて符号化されたＮ倍速の動画像を蓄積するＮ倍速動画像蓄積手段１３０１に縮小動画像を蓄積しておき、動画像を合成する際に、（Ｎ−１）枚のスキップフレームを挿入することで、蓄積する動画像のデータ量を約１／Ｎにするとともに、符号化前の速度で再生できる動画像を合成できるという効果が得られる。
【００３８】
（実施の形態４）
本発明の第４の実施の形態は、蓄積時のフレーム順序と再生時のフレーム順序が異なるＭＰＥＧ動画像を合成する際に、スキップフレームを挿入することでビットレートおよびフレームレートの調整が可能な動画像合成装置である。
図１５は第４の実施の形態の動画像合成装置の構成を示すブロック図である。図１５において、１５０１は前フレームからの動きベクトル０の予測フレームを生成する順方向挿入フレーム生成手段、１５０２は後フレームからの動きベクトル０の予測フレームを生成する逆方向予測フレーム生成手段である。図１６はＭＰＥＧ符号列の蓄積順序と表示順序の違いを示す図である。図１６において、１６０１は表示順序、１６０２は蓄積順序を示す。図１７は第４の実施の形態の動画像合成手段の合成制御装置１０２の動作を示す流れ図である。図１８は順方向挿入フレーム生成手段１５０１および逆方向挿入フレーム生成手段１５０２が生成するスキップフレームを含むＭＰＥＧ符号列のフレーム構成を示す図である。図１８において、１８０１は表示順序、１８０２は各フレーム画像の表示期間、１８０３は蓄積順序を示す。
【００３９】
以下、図１５から図１８を用いて本発明の第４の実施の形態の動画像合成装置について説明する．
動画像合成装置の構成は、図１０に示す第２の実施の形態の動画像合成装置とほぼ同様であるが、挿入フレーム生成手段１００１の代りに順方向挿入フレーム生成手段１５０１と逆方向挿入フレーム生成手段１５０２の２種類の挿入フレーム生成手段を備えることが異なる。
【００４０】
動画像蓄積手段１０６に蓄積されている動画像は、Ｂフレームを含むＭＰＥＧ動画像である。Ｂフレームを含むＭＰＥＧ動画像では図１６に示すように各フレームの表示順序と蓄積順序が異なる形で蓄積されている。
順方向挿入フレーム生成手段１５０１は、図１０に示す第２の実施の形態の動画像合成装置の挿入フレーム生成手段１００１と同様に動作し、前フレームから動きベクトル０で予測したＢピクチャを生成する。逆方向挿入フレーム生成手段１５０２は、後フレームから動きベクトル０で予測したＢピクチャを生成する。
【００４１】
合成制御手段１０２は、図１７の流れ図に従って動作する。合成制御手段１０２は、図１１に示す第２の実施の形態と同様に動作するが、挿入フレームを生成する際に、ＩピクチャあるいはＰピクチャを合成した後では、順方向挿入フレームを（Ｎ−１）枚生成し、Ｂピクチャを合成した後では、逆方向挿入フレームを（Ｎ−１）枚生成する。図１８はＮ＝２の時の例であり、図中のＦＳは順方向挿入フレームを、図中のＢＳは逆方向挿入フレームを示す。スキップフレームが挿入されたＭＰＥＧ動画像は図１８の蓄積順序１８０３で蓄積され、表示順序１８０１に従って生成されたＴｅｍｐｏｒａｌ Ｒｅｆｅｒｅｃｅヘッダ情報が付加されており、正しい順番で各フレームが再生される。
【００４２】
合成動画像は表示順序１８０１に従って再生され、合成した１番目のＢフレームの画像が１フレーム分表示された後に、３番目のＩフレームの画像が３フレーム分表示され、５番目のＢフレームの画像が１フレーム分表示され、７番目のＰフレームの画像が３フレーム分表示されるので、全体としてのフレームレートは１／２となる。各挿入フレームはヘッダ以外のデータをほとんど持たないので、ビットレートも約１／２となる。一般に、Ｎ−１枚の挿入フレームを挿入することで、動画像全体のフレームレートとビットレートは１／Ｎとなる。
【００４３】
実施の形態３で示したように、蓄積しておく縮小動画像を２倍速で符号化しておき、Ｎ＝２としてフレームを挿入すれば、全体として１／２の速度で動画像が再生されるので、もとの映像とほぼ同じ速度で再生できる動画像を合成することができる。
以上のように本実施の形態では、
Ｂフレームを含むようなＭＰＥＧ符号列の縮小画像を合成する際に（Ｎ−１）枚の順方向挿入フレームと（Ｎ−１）枚の逆方向挿入フレームを交互に生成することで、動画像合成時にフレームレートとビットレートを１／Ｎに調整することができる。
【００４４】
また、蓄積する動画像をＮ倍速で蓄積しておいても合成時にほぼ１／Ｎ倍速で再生できる動画像を合成できるために、蓄積する動画像の情報量を小さくすることができるという効果が得られる。
（実施の形態５）
本発明の第５の実施の形態は、ＩピクチャおよびＰピクチャで構成された２倍速のＭＰＥＧ動画像を合成する際に、前後のフレームの各画素間での平均値を取って作られた画像を挿入することで、もとの映像と同じフレームレートで再生される動画像を合成する動画像合成装置である。
【００４５】
図１９は、第５の実施の形態の動画像合成装置の構成を示すブロック図である。図１９において、１９０１は前後のフレームの中間状態のフレーム画像を生成する内挿フレーム生成手段、１９０２は合成前の映像を１フレーム毎に間引いて符号化した２倍速の動画像を蓄積する２倍速動画蓄積手段である。図２０は、内挿フレーム生成手段１９０１で生成される内挿フレームを挿入したＭＰＥＧ動画像のフレーム構成と再生状態を示す図である。図２０において、２００１はＭＰＥＧ動画像の蓄積順序、２００２はＭＰＥＧ動画像の表示順序、２００３はＭＰＥＧ動画像の各フレームの表示期間を示す。図２１は、第５の実施の形態の動画像合成装置の合成制御手段１０２の動作を示す流れ図である。
【００４６】
以下、図１９から図２１を用いて、本発明の第５の実施の形態の動画像合成装置について説明する。 第５の実施の形態の動画像合成装置の構成は、図１０に示す第２の実施の形態の動画像合成装置とほぼ同様であるが、挿入フレーム生成手段１００１に代り、前後のフレームの中間画像を生成する内挿フレーム生成手段１９０１を備え、動画蓄積手段１０６に代り、合成前の映像を１フレーム毎に間引いて符号化された２倍速の動画像を蓄積する２倍速動画像蓄積手段１９０２を備えることが異なる。
【００４７】
内挿フレーム生成手段１９０１は、双方向予測モードのＢピクチャを前後両フレームからの動きベクトルを０として生成する。この内挿フレームは、前後のフレーム画像の画素単位の丸め込み平均をとった画像であり、前後のフレームの中間画像を表す。
合成制御手段１０２は図２１の流れ図に従って動作する。合成制御手段１０２は、第２の実施の形態とほぼ同様に動作するが、各フレーム画像を合成した後に内挿フレーム生成手段１９０１に内挿フレームの生成を指示することが異なる。合成されたＭＰＥＧ動画像は、図２０の蓄積順序２００１で示すフレーム構成で生成される。図２０において、Ｄと記されているフレームが内挿フレームを表す。合成されたＭＰＥＧ符号列は、図２０の表示順序２００２で示される順番で再生され、各フレームは表示期間２００３で示される時間だけ表示される。まず、０番目のＩピクチャが表示され、その後に、このピクチャと２番目のＰピクチャとの画素単位の平均値を取った画像が表示され、次に２番目のＰピクチャが表示される。
【００４８】
このように合成動画像のフレームレートは、縮小動画像の２倍となり、縮小映像を符号化する前の本来の映像のフレームレートが再現される。ここで、内挿フレーム生成手段１９０１が生成する画像は、前後のフレーム画像の中間画像となっているため、符号化時に間引いたフレーム画像に近いものになっている。
以上のように本実施の形態では、
フレーム間引きにより２倍速で符号化された縮小動画像を合成する際に、前後のフレームの中間画像である内挿フレームを生成することで、間引く前の映像と同じフレームレートの動画像を合成することができるという効果が得られる。また、蓄積しておく動画像の大きさが１／２となるため、効率的に動画像を蓄積できる。更に、内挿フレームの情報量はほとんど０であるために、合成後の動画像のビットレートを１／２にできるという効果が得られる。
【００４９】
なお本実施の形態では、間引き数を"１"（即ち２倍速）としたが、それ以外の数値でも一向に構わない。つまり、ｍ−１枚ずつ間引いてｍ倍速の映像を生成し、合成時にｍ−１枚の中間画像を補完することも可能である。特に、本実施の形態のようにｍ＝２とした場合、フレームレートを安定して（歪ませることなく）一定とすることができ、もとの映像のフレームレートを再現できて最も有効である。
【００５０】
【発明の効果】
本発明の第１の実施の形態では、
合成方法を指示する合成指示手段と、合成指示手段の指示に従って合成処理を制御する合成制御手段と、合成に用いる符号化された動画像を蓄積しておく動画蓄積手段と、動画蓄積手段より動画像の符号列を取り出す符号列取り出し手段と、符号列取り出し手段で取り出された符号列のヘッダ情報を解析する符号列解析手段と、解析した符号列の情報を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と、符号列取り出し手段が取り出した符号列を一時的に蓄える合成メモリと、合成メモリ上の符号列の表示位置情報を書き換える符号列書き換え手段と、合成画像のヘッダ情報と書き換えた符号列を合成動画像として出力する合成画像出力手段を具備することを特徴とする動画像合成装置とすることで、
符号化されている縮小動画像を合成画面上の任意の位置に配置した合成動画像を生成する際に、縮小動画像のヘッダ情報を利用して合成動画像のヘッダ情報を生成しながらスライスデータを結合することで、効率的にＭＰＥＧ符号列として矛盾のない合成動画像を生成することができるという効果が得られる。
【００５１】
本発明の第２の実施の形態では、
合成方法を指示する合成指示手段と、合成指示手段の指示に従って合成処理を制御する合成制御手段と、合成に用いる符号化された動画像を蓄積しておく動画蓄積手段と、動画蓄積手段より動画像の符号列を取り出す符号列取り出し手段と、符号列取り出し手段で取り出された符号列のヘッダ情報を解析する符号列解析手段と、解析した符号列の情報を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と、符号列取り出し手段が取り出した符号列を一時的に蓄える合成メモリと、合成メモリ上の符号列の表示位置情報を書き換える符号列書き換え手段と、前フレームと同じ画像を表示するフレーム画像を生成する挿入フレーム生成手段と、合成画像のヘッダ情報と書き換えた符号列と挿入フレームを合成動画像として出力する合成画像出力手段を具備することを特徴とする動画像合成装置とすることで、
挿入フレーム生成手段が前フレームと同じ画像をあらわすスキップフレームを生成し、合成制御手段が適宜合成動画像に挿入することにより、合成画像のビットレートとフレームレートを１／Ｎに調整することができるという効果が得られる。
【００５２】
本発明の第３の実施の形態では、
合成方法を指示する合成指示手段と、合成指示手段の指示に従って合成処理を制御する合成制御手段と、符号化前の映像のフレームを間引いてＮフレーム毎に符号化した実時間のＮ倍速で再生できる動画像を蓄積しておくＮ倍速動画蓄積手段と、Ｎ倍速動画蓄積手段より動画像の符号列を取り出す符号列取り出し手段と、符号列取り出し手段で取り出された符号列のヘッダ情報を解析する符号列解析手段と、解析した符号列の情報を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と、符号列取り出し手段が取り出した符号列を一時的に蓄える合成メモリと、合成メモリ上の符号列の表示位置情報を書き換える符号列書き換え手段と、前フレームと同じ画像を表示するフレーム画像を生成する挿入フレーム生成手段と、合成画像のヘッダ情報と書き換えた符号列と挿入フレームを合成動画像として出力する合成画像出力手段を具備することを特徴とする動画像合成装置とすることで、
（Ｎ−１）枚のフレームを間引いて符号化されたＮ倍速の動画像を蓄積するＮ倍速動画像蓄積手段に縮小動画像を蓄積しておき、動画像を合成する際に、（Ｎ−１）枚のスキップフレームを挿入することで、蓄積する動画像のデータ量を約１／Ｎにするとともに、符号化前の速度で再生できる動画像を合成できるという効果が得られる。
【００５３】
本発明の第４の実施の形態では、
合成方法を指示する合成指示手段と、合成指示手段の指示に従って合成処理を制御する合成制御手段と、合成に用いる符号化された動画像を蓄積しておく動画蓄積手段と、動画蓄積手段より動画像の符号列を取り出す符号列取り出し手段と、符号列取り出し手段で取り出された符号列のヘッダ情報を解析する符号列解析手段と、解析した符号列の情報を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と、符号列取り出し手段が取り出した符号列を一時的に蓄える合成メモリと、合成メモリ上の符号列の表示位置情報を書き換える符号列書き換え手段と、前フレームと同じ画像を表示するフレーム画像を生成する順方向挿入フレーム生成手段と、後フレームと同じ画像を表示するフレーム画像を生成する逆方向挿入フレーム生成手段と、合成画像のヘッダ情報と書き換えた符号列と順方向および逆方向挿入フレームを合成動画像として出力する合成画像出力手段を具備することを特徴とする動画像合成装置とすることで、
Ｂフレームを含むようなＭＰＥＧ符号列の縮小画像を合成する際に（Ｎ−１）枚の順方向挿入フレームと（Ｎ−１）枚の逆方向挿入フレームを交互に生成することで、動画像合成時にフレームレートとビットレートを１／Ｎに調整することができる。また、蓄積する動画像をＮ倍速で蓄積しておいても合成時にほぼ１／Ｎ倍速で再生できる動画像を合成できるために、蓄積する動画像の情報量を小さくすることができるという効果が得られる。
【００５４】
本発明の第５の実施の形態では、
合成方法を指示する合成指示手段と、合成指示手段の指示に従って合成処理を制御する合成制御手段と、合成前の映像をｍー１枚ずつ間引いて符号化した実時間のｍ倍速の動画像を蓄積するｍ倍速動画像蓄積手段と、ｍ倍速動画蓄積手段より動画像の符号列を取り出す符号列取り出し手段と、符号列取り出し手段で取り出された符号列のヘッダ情報を解析する符号列解析手段と、解析した符号列の情報を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と、符号列取り出し手段が取り出した符号列を一時的に蓄える合成メモリと、合成メモリ上の符号列の表示位置情報を書き換える符号列書き換え手段と、前後のフレームの中間画像を表示するフレーム画像を生成する内挿フレーム生成手段と、合成画像のヘッダ情報と書き換えた符号列と内挿フレームを合成動画像として出力する合成画像出力手段を具備することを特徴とする動画像合成装置とすることで、
例えばｍ＝２の場合においては、フレーム間引きにより２倍速で符号化された縮小動画像を合成する際に、前後のフレームの中間画像である内挿フレームを生成することで、間引く前の映像と同じフレームレートの動画像を合成することができるという効果が得られる。また、蓄積しておく動画像の大きさが１／２となるため、効率的に動画像を蓄積できる。更に、内挿フレームの情報量はほとんど０であるために、合成後の動画像のビットレートを１／２にできるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の動画像合成装置の構成を示すブロック図
【図２】本発明の第１の実施の形態の動画像合成装置の画面合成の概略を示す図
【図３】本発明の第１の実施の形態の動画像合成装置の動画蓄積手段に蓄積される合成に用いる動画像の符号化形式を示す図
【図４】本発明の第１の実施の形態の動画像合成装置の動画蓄積手段に蓄積される合成に用いる動画像の符号列の構成を示す図
【図５】本発明の第１の実施の形態の動画像合成装置の合成指示手段における合成指示例を示す図
【図６】本発明の第１の実施の形態の動画像合成装置の合成指示手段が生成するマクロブロック・スライス対応表の例を示す図
【図７】本発明の第１の実施の形態の動画像合成装置の合成指示手段が生成する複雑なマクロブロック・スライス対応表の例を示す図
【図８】本発明の第１の実施の形態の動画像合成装置の合成制御手段の動作を示す流れ図
【図９】本発明の第１の実施の形態の動画像合成装置の合成制御手段のスライスデータ合成処理の流れを示す図
【図１０】本発明の第２の実施の形態の動画像合成装置の構成を示すブロック図
【図１１】本発明の第２の実施の形態の動画像合成装置の合成制御手段の動作を示す流れ図
【図１２】本発明の第２の実施の形態の動画像合成装置の合成画像出力手段が出力する動画像のフレーム構成を示す図
【図１３】本発明の第３の実施の形態の動画像合成装置の構成を示すブロック図
【図１４】本発明の第３の実施の形態の動画像合成装置の符号化前、符号化後および合成後のフレーム構成の変化を示す図
【図１５】本発明の第４の実施の形態の動画像合成装置の構成を示すブロック図
【図１６】本発明の第４の実施の形態の動画像合成装置の動画蓄積手段に蓄積される動画像のフレーム構成を示す図
【図１７】本発明の第４の実施の形態の動画像合成装置の合成制御手段の動作を示す流れ図
【図１８】本発明の第４の実施の形態の動画像合成装置の合成画像出力手段より出力される動画像のフレーム構成を示す図
【図１９】本発明の第５の実施の形態の動画像合成装置の構成を示すブロック図
【図２０】本発明の第５の実施の形態の動画像合成装置の合成画像出力手段より出力される動画像のフレーム構成を示す図
【図２１】本発明の第５の実施の形態の動画像合成装置の合成制御手段の動作を示す流れ図
【図２２】動画像合成装置の第１の従来例を示す図
【図２３】動画像合成装置の第２の従来例を示す図
【符号の説明】
１０１ 合成指示手段
１０２ 合成制御手段
１０３ 画像情報生成手段
１０４ 符号列解析手段
１０５ 符号列取り出し手段
１０６ 動画蓄積手段
１０７ 合成メモリ
１０８ 合成画像出力手段
１０９ 合成動画像符号列
１１０ 符号列書き換え手段
Claims (3)
- 動画像の合成方法を指示する合成指示手段と、
前記合成指示手段の指示に従って動画像の合成処理を制御する合成制御手段と、
合成に用いる符号化された動画像であって、Ｂフレームを含む動画像の符号列を蓄積しておく動画蓄積手段と、
前記動画蓄積手段より前記動画像の符号列を取り出す符号列取り出し手段と、
前記符号列取り出し手段で取り出された前記符号列のヘッダ情報を解析する符号列解析手段と、
解析した前記符号列の情報を利用して合成後の動画像のヘッダ情報を生成する画像情報生成手段と、
前記符号列取り出し手段が取り出した前記符号列を一時的に蓄える合成メモリと、
前記合成メモリ上の符号列の表示位置情報を、前記符号列に対応する動画像の合成後の表示位置を示すように書き換える符号列書き換え手段と、
前フレームと同じ画像を表示するための順方向挿入フレームを生成する順方向挿入フレーム生成手段と、
後フレームと同じ画像を表示するための逆方向挿入フレームを生成する逆方向挿入フレーム生成手段と、
前記合成後の動画像のヘッダ情報と、前記表示位置情報が書き換えられた前記符号列と、前記順方向挿入フレームおよび前記逆方向挿入フレームに対応する符号列とを合成動画像符号列として出力する合成画像出力手段
を具備し、
前記合成画像出力手段は、ＩピクチャまたはＰピクチャを合成した後は前記順方向挿入フレームを出力し、Ｂピクチャを合成した後は前記逆方向挿入フレームを出力することを特徴とする動画像合成装置。 - 前記合成画像出力手段において、ＩピクチャまたはＰピクチャを合成した後は前記順方向挿入フレームを（Ｎ−１）枚出力し、Ｂピクチャを合成した後は前記逆方向挿入フレームを（Ｎ−１）枚出力することを特徴とする請求項１記載の動画像合成装置。
- 前記動画蓄積手段に蓄積される動画像の符号列は、Ｎ倍速で符号化された符号列であることを特徴とする請求項２記載の動画像合成装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23831398A JP4151122B2 (ja) | 1998-08-25 | 1998-08-25 | 動画像合成装置 |
| EP99116547A EP0987897A3 (en) | 1998-08-25 | 1999-08-24 | Moving picture synthesizing device |
| CA002281115A CA2281115C (en) | 1998-08-25 | 1999-08-25 | Moving picture synthesizing device |
| US09/382,445 US6549578B1 (en) | 1998-08-25 | 1999-08-25 | Moving picture synthesizing device |
| CN99118172A CN1127856C (zh) | 1998-08-25 | 1999-08-25 | 活动图像合成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23831398A JP4151122B2 (ja) | 1998-08-25 | 1998-08-25 | 動画像合成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000069474A JP2000069474A (ja) | 2000-03-03 |
| JP4151122B2 true JP4151122B2 (ja) | 2008-09-17 |
Family
ID=17028360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23831398A Expired - Fee Related JP4151122B2 (ja) | 1998-08-25 | 1998-08-25 | 動画像合成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4151122B2 (ja) |
-
1998
- 1998-08-25 JP JP23831398A patent/JP4151122B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000069474A (ja) | 2000-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8023568B2 (en) | Capture, editing and encoding of motion pictures encoded with repeating fields or frames | |
| JP3662129B2 (ja) | マルチメディア情報編集装置 | |
| JP3840895B2 (ja) | 動画像符号化データ変換装置及びその方法 | |
| US20100214422A1 (en) | Recording Apparatus, Reproducing Apparatus, Recording Method, Recording Program, and Computer-Readable Recording Medium | |
| JPH10503358A (ja) | 対話型画像操作 | |
| JPH1093920A (ja) | Ｍｐｅｇ２スロー再生装置 | |
| US20100277613A1 (en) | Image recording device and image reproduction device | |
| JP2005006191A (ja) | 静止画合成装置、及び動画像からの静止画合成方法 | |
| EP0827347A2 (en) | Recording and reproducing apparatus for digital image information | |
| JP3604732B2 (ja) | 映像システム | |
| US6122020A (en) | Frame combining apparatus | |
| JP4151122B2 (ja) | 動画像合成装置 | |
| JP2002218472A (ja) | 可変画像レート復号化装置及び可変画像レート復号化方法 | |
| JP3061125B2 (ja) | Ｍｐｅｇ画像再生装置およびｍｐｅｇ画像再生方法 | |
| CN114938461A (zh) | 视频处理方法、装置、设备及可读存储介质 | |
| US20100232768A1 (en) | Recording device, reproducing device, and method | |
| JP2008225241A (ja) | 映像信号処理装置、映像信号処理方法及び映像信号処理プログラム | |
| JPH08149408A (ja) | ディジタル動画編集方法及び装置 | |
| JP3800819B2 (ja) | 画像合成装置 | |
| JP3880597B2 (ja) | マルチメディア情報編集装置 | |
| JP4867872B2 (ja) | 画像処理装置、この画像処理装置の制御方法、及び、プログラム | |
| JP3587376B2 (ja) | 画像情報再生装置 | |
| JPH09261632A (ja) | 画像信号処理装置 | |
| JP3880596B2 (ja) | マルチメディア情報編集装置 | |
| JPH10327417A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050518 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050614 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070807 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080623 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |