JP3800819B2 - 画像合成装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、計算機内部で複数の動画像データを合成し１つの動画像データとする方式に関するものである。
【０００２】
【従来の技術】
複数の動画像データを合成し１つの合成動画像データとし、複数動画像を同時に再生表示するためには、各動画像データの１フレームを構成しているビットマップ画像を合成動画像データ生成用のフレームメモリ上で合成し、出来上がった合成ビットマップ画像を合成動画像データとして出力することで可能である。
【０００３】
また、ビットマップ画像だけでなく、１フレームを構成しているビットマップ画像が、ＤＣＴ（離散コサイン変換）などにより圧縮符号化されたような動画像データ同士の合成についても、符号化データを、画面をいくつかの領域に分割するＤＣＴブロック，マクロブロック，ＧＯＢ（グループ・オブ・ブロック）などと呼ばれる単位で、合成動画像の領域構成となるように再整列させることにより可能である。（図２１参照）
【０００４】
【発明が解決しようとする課題】
しかし、動画像データを構成する各フレームが、フレーム内のみで圧縮されたイントラフレーム（たとえば、ＭＰＥＧにおけるＩフレーム）や、フレーム間での動き予測などを用いることで圧縮符号化を施した予測フレーム（同Ｐフレーム、Ｂフレーム）というように性質の異なるものが混在する場合、
画素値のみが符号化されたイントラフレームと、動き予測値も符号化されてある予測フレームとでは、符号化が施されたままの状態では容易に合成できないという課題が生じる。
【０００５】
これに対し、性質の異なるフレーム同士を合成する際に、計算機によって動画像データの符号データを復号し、一旦ビットマップ画像にしたのちに合成処理を行うことで実現は可能であるが、復号処理を行うための計算機の構成が複雑になったり、より高価で高性能なものが要求されるという新たな課題が生じていた。さらに、一旦ビットマップ画像にしたのちに合成された合成ビットマップを合成動画像データとして出力する際に、伝送帯域や蓄積容量などに関連して合成ビットマップを圧縮，符号化する必要が生じた場合、再圧縮符号化のために合成動画像データの画質が低下してしまうという課題も生じる。
【０００６】
本発明は、上記課題を解決するものであり、
イントラフレームや予測フレームのように性質の異なるものが混在しているような動画像データ同士を複数合成する際に、復号処理による合成動画像データの画質を劣化させることなく、また計算機の構成を複雑にしたり、高価で高性能なものを使用することなく、容易に、かつ高速に合成処理を行うことを目的とする。
【０００７】
【課題を解決するための手段】
そこで、本発明では、図１に示すように、
第１に、
画像符号化手段が、入力となる映像データをフレーム単位で圧縮符号化する際に、フレーム内圧縮とフレーム間圧縮を行うことで、イントラフレームや予測フレームなどのフレーム種別が多数混在する合成用動画像データを生成出力し、
画像合成手段が、複数合成用画像データをフレーム単位で合成し、この合成フレームを合成動画像データとして生成出力するように構成する。
このとき、画像符号化手段が、その出力するすべての合成用動画像データに対して、フレーム種別の出現パターンが同じになるような処理を行い、画像合成手段は、入力となる複数合成用動画像データのフレーム種別の出現パターンがすべて同じになるように読み込み、また同様に同じパターンで出力合成動画像データを出力する。
【０００８】
これにより、画像合成手段が、あるフレームの合成処理を行うために扱うフレームデータは、同じフレーム種別のものとなる（パターンが揃えられる）ため、異なる種別同士のフレーム合成を行うための種別変換処理などを行わずに合成することができ、これにより計算機の構成が簡略化され、また容易に、かつ高速に合成処理を行うことが可能になる。
【０００９】
第２に、
画像符号化手段が、ＧＯＰ（グループ・オブ・ピクチャ）と呼ばれる複数フレームからなる組をつくり、このときＧＯＰ内の各フレームのフレーム種別について、各ＧＯＰ毎に出現パターンが同じになるようにし、かつＧＯＰ内に含まれるフレーム数を固定数になるように処理する。
【００１０】
これにより、すべての合成用動画像データは、ＧＯＰ単位で同じフレーム種別出現パターンを持つようになるため、画像合成手段は、それぞれの合成用動画像データに対して、ＧＯＰ単位でランダムなフレーム位置からの合成が可能になる。
第３に、
フレーム間引手段が、入力となる映像データに対して、ある一定フレーム周期でのフレーム間引き処理および間引き後のフレーム映像データを出力し、画像符号化手段は、フレーム間引き後のフレーム映像データをフレーム単位で圧縮符号化し、画像合成手段では、前述手法を用いてフレーム単位で合成フレームの生成と出力を行うとともに、フレーム間引手段における間引きフレーム周期と同じ周期となるように、直前に表示したフレーム映像と同じ映像を再生表示するようなスキップフレームデータを挿入するように構成する。
【００１１】
これにより、フレーム間引き処理されることにより、単位時間あたりのフレーム数が元の入力映像データに比べて少なくなるため、単位時間あたりの画像符号化処理、画像合成処理を軽減することができ、またビットレートも下げることができる。さらに、蓄積手段に蓄積する合成用動画像データの蓄積容量も少なくすることが出来る。また、フレーム間引きを施した合成用動画像データはそのままでは早送りの状態であるが、合成時のスキップフレーム挿入により元の入力映像データと同じ再生速度で合成動画像データを再生表示することが出来る。
【００１２】
第４に、
映像区切設定手段が、入力映像データの区切りとなる区切りフレーム位置を自動検出、または手動により映像区切りフレーム位置を設定可能であり、
ＧＯＰ長調整手段が、前述映像区切フレーム内に含まれるフレームに対して、映像区切内のフレーム数が前述ＧＯＰ内に含まれる固定フレーム数の倍数となるように、ダミーフレームの挿入やフレーム間引きなどの調整処理を行うように構成する。
【００１３】
これにより、画像合成手段は、それぞれの合成用動画像データに対して、映像の区切り単位（例えば、映像シーン，一定時間の映像など）でのランダムな合成が可能になる。
第５に、
映像区切設定手段が、入力映像データの区切りとなる区切りフレーム位置を自動検出、または手動により映像区切りフレーム位置を設定可能であり、フレーム間引手段が、映像区切設定手段により設定される各映像区切に対して、一定フレーム数の映像データのみを出力し、この一定数フレーム分以外の映像データについては出力しないように構成する。
このとき、フレーム間引手段が出力するフレーム数を、前述ＧＯＰ内に含まれる固定フレーム数の倍数となるようにする。
【００１４】
これにより、画像合成手段は、それぞれの合成用動画像データに対して、映像の区切り単位（例えば、映像シーン，一定時間の映像など）内の特定フレームのみからなる映像データ（たとえばダイジェスト映像）に対しても、映像区切単位でのランダムな合成が可能になる。
第６に、
画像符号化手段が、各ＧＯＰ毎にフレーム種別の出現パターンが同じになるようにし、かつＧＯＰ内に含まれるフレーム数を固定数になるように処理し、
フレーム選別手段は、合成する各合成用動画像データのＧＯＰから、特定フレーム種別を持つフレームデータのみを取り出し、画像合成手段は、前述特定フレーム種別のフレームデータのみから合成フレームを生成出力するように構成する。
【００１５】
これにより、画像合成手段は、特定フレーム種別に属するフレームデータ同士（例えばイントラフレームのみ）を合成処理するのみで済むため、合成処理による負荷の軽減・効率化が図られ、また簡略化された画像合成手段を用いても合成を行うことができる。
第７に、
画像符号化手段が、入力となる映像データの画面領域を、ＤＣＴブロック，マクロブロック，ＧＯＢ（グループ・オブ・ブロック）などと呼ばれる単位で分割，圧縮符号化し、フレーム種別変換手段が、合成する合成用動画像データの内で、前述画面領域単位でイントラフレームのフレームデータを予測フレームのフレームデータに変換処理を行うように構成する。
このとき、画像符号化手段による画面領域内データの圧縮符号化の際、動き予測（前方予測，後方予測など）の種類、イントラ符号かどうかというようなブロック種別を、画面領域ごとにその属性として付与し出力する。フレーム種別変換手段では、合成用動画像データの各ブロック種別を判別し、適宜変換処理を行う。
【００１６】
これにより、ＧＯＰ単位以外のフレーム位置からでも復号による画質劣化を最小限に押さえた合成が可能になる。さらに、フレーム種別変換手段では、ブロック単位での変換制御を行うことで無駄な変換処理を回避でき、また、画像合成手段では、ブロック単位での合成処理が行えるようになる。また個々のフレーム種別を変換できるので、取り込む映像のフレームパターンがバラバラであっても、それに拘束されることなく、画像フレームの符号化・合成が柔軟に行うことができる。
【００１７】
第８に、
フレーム間引手段が、入力となる映像データに対して、ある一定フレーム周期でのフレーム間引き処理および間引き後のフレーム映像データを出力し、画像符号化手段は、フレーム間引き後のフレーム映像データをフレーム単位で圧縮符号化し、画像合成手段では、任意の合成用動画像データに対して任意数のスキップフレームデータを挿入し、スキップフレームデータの挿入された合成用動画像データと、挿入されていない合成用動画像データ同士とを、フレーム単位で合成フレームの生成と出力を行うように構成する。
【００１８】
これにより、合成動画像データの各再生画面領域において、スキップフレームデータを挿入した合成用動画像データ部分と、挿入されていない合成用動画像部分とで、それぞれ異なる再生速度で提示するような合成動画像データの生成が可能になる。
【００１９】
【発明の実施の形態】
以下に図２から図２０を用いて本発明における各実施の形態について説明する。なお本発明はそれら実施に形態に何等限定されるものではなく、その要旨を逸脱しない範囲において種々なる態様で実施し得る。
（実施の形態１）
まず、第１の発明における実施の形態について、図２を用いて説明する．
図２は、本実施の形態におけるブロック構成を示したものである。図２において、１０４は、入力映像データをフレーム単位で圧縮符号化を行い合成用動画像データを出力する画像符号化手段、１０５は、合成用動画像データを蓄積管理する蓄積手段、１０６は、複数の合成用動画像データ同士をフレーム単位で合成し、合成フレームを合成動画像データとして出力する画像合成手段、１０８は、合成動画像データを復号し、複数動画像を同時に再生表示する画像再生手段である。
【００２０】
ここで、各部の動作について説明する．
画像符号化手段１０４は、映像データをその入力とし、フレーム単位で圧縮符号化を行う。このとき、フレーム内圧縮とフレーム間圧縮を行うことで、イントラフレームや予測フレームなどのフレーム種別が多数混在する合成用動画像データを生成し出力する。このときの画像符号化手段は、その出力する合成用動画像データのフレーム種別パターンが必ず同じになるように動作する。
【００２１】
合成用動画像データの圧縮符号フォーマットとしてＭＰＥＧ−１を使用した場合の例を図３に示す。図３では、すべての合成用動画像データのフレーム種別パターンが、
ＩＢＢＰＢＢＰＢＢＩＢＢＰＢＢＰＢＢＰＢＢ……
となっていることを示している。画像符号化手段により圧縮符号化された映像データは、合成用動画像データとして蓄積手段１０５へ蓄積される。蓄積手段１０５では、複数の合成用動画像データを蓄積可能であり、それぞれの合成用動画像データを一意の識別子を用いて管理している。
【００２２】
画像合成手段１０６では、蓄積手段に蓄積されている複数の合成用動画像データを取り出し、フレーム単位で合成処理を行い、合成フレームを合成動画像データとして出力する。
図４に、縦に２つの合成用動画像データＡ，Ｂを合成した場合の例を示す．
画像符号化手段から出力されるすべての合成用動画像データのフレーム種別パターンは同じになるようにしているため、画像合成手段がフレーム単位で合成処理を行う際、同じフレーム種別を持つフレームデータ同士の合成をすればよいことになる。
【００２３】
イントラフレーム同士の合成の場合は、ＤＣＴブロック，マクロブロック，ＧＯＢ（グループ・オブ・ブロック）などと呼ばれる領域分割単位で、各合成用動画像データのフレームデータを目的合成画面にそくした順序に構成することで、合成可能である。
予測フレーム同士の場合も、同様に領域分割単位で再構成することで合成可能であり、特に予測符号を含んだ領域については、さらにその領域を含む上位領域に対して再構成を行えばよい。例えば、ＭＰＥＧ−１では、予測符号はマクロブロックと呼ばれる１６画素×１６画素の領域部に出力される。このマクロブロックを含む上位領域として、スライスと呼ばれる複数マクロブロックから構成される領域がある。したがって、ＭＰＥＧ−１では、スライスと呼ばれる領域単位での合成を行えばよいことになる。
【００２４】
画像合成手段により生成出力された合成動画像データは、画像再生手段１０８により復号，再生表示される。
なお、前述映像データは、非圧縮データ，圧縮データのいずれでもよく、
圧縮データの場合は、フレーム内圧縮，フレーム間圧縮のいずれの処理が施されていてもよい。つまり、入力映像データが非圧縮の場合、画像符号化手段は、非圧縮データからの圧縮符号化処理を行う。また、入力映像データが圧縮データの場合、画像符号化手段は、圧縮を一旦復号し非圧縮データとした後に圧縮符号化処理を行ったり、前述合成用動画像データの形式に合うように、入力映像データに対してフォーマット変換処理を行ったりすることで対応することができる。
【００２５】
（実施の形態２）
次に、第２の発明における実施の形態について、図を用いて説明する．
本実施の形態におけるブロック構成は図２に示され、各部の動作は実施の形態１に述べたとおりである。しかし、本実施の形態では、画像符号化手段１０４が、ＧＯＰ（グループ・オブ・ピクチャ）と呼ばれる複数フレームからなる組をつくり、このときＧＯＰ内の各フレームのフレーム種別について、各ＧＯＰ毎に出現パターンが同じになるようにし、かつＧＯＰ内に含まれるフレーム数を固定数になるような動作を行う。
【００２６】
合成用動画像データの圧縮符号フォーマットとしてＭＰＥＧ−１を使用した場合の例を図５に示す。図５では、ＧＯＰは９フレームから構成され、そのフレーム種別パターンが、
ＩＢＢＰＢＢＰＢＢ
となっていることを示している。つまり、画像符号化手段により出力するすべての合成用動画像データは、ＧＯＰを複数持ち、また各ＧＯＰ内のフレーム種別出現パターンが図５で示されるような構成をとる。
【００２７】
図６に、縦に２つの合成用動画像データＡ，Ｂを合成した場合の例を示す。図６において、合成用動画像データＡ，Ｂは、図５で示されたフレーム構成を持つ。そして、合成用動画像データＡについては、
Ａ５，Ａ１，Ａ３，Ａ５，Ａ９，Ａ２，Ａ４，……
合成用動画像データＢについては、
Ｂ１，Ｂ２，Ｂ３，Ｂ４，Ｂ５，Ｂ６，Ｂ７，……
の順にＧＯＰ順序がなるように、フレーム位置を変更して合成している。
【００２８】
このように、すべての合成用動画像データについて、その各ＧＯＰ内のフレーム種別出現パターンが同じになるようにしてあるため、画像合成手段は、ＧＯＰ内部のフレーム単位での合成処理を行う際、同じフレーム種別を持つフレームデータ同士の合成をすればよいことになる。
（実施の形態３）
次に、第３の発明における実施の形態について、図７を用いて説明する．
本実施の形態におけるブロック構成は図７に示され、前述実施の形態と共通する部分についてその説明を省略する。図７において、１０１は、入力映像データに対して一定フレーム周期でのフレーム間引き処理および間引き後のフレーム映像データを出力するフレーム間引手段である。
【００２９】
また、特に本実施の形態では、画像合成手段１０６が、前述実施の形態の手法を用いてフレーム単位での合成フレーム生成と出力を行うとともに、フレーム間引手段における間引きフレーム周期と同じ周期で、直前に表示したフレーム映像と同じ映像を出力するスキップフレームを挿入する動作を行う。
フレーム間引手段１０１によるフレーム間引き動作を図８に示す．
図８では、入力映像データの１／３間引き、つまり３フレームにつき１フレームの出力、という間引き処理を行っている。この場合のフレーム周期は３となる。フレーム周期が３の場合、フレーム間引手段は、入力映像データ９０フレームに対し、３０フレームの間引きフレームデータを出力する。
【００３０】
画像符号化手段１０４は、間引きフレームデータを一定のフレームレート、たとえば３０［フレーム／秒］で符号化し、合成用動画像データを生成出力する。この合成用動画像データは、フレーム間引手段により９０フレームのものを３０フレームに間引かれたものに対して符号化したものなので、仮に単体で合成用動画像データを復号再生表示した場合、元の入力映像データに対して３倍の再生速度になる。
【００３１】
次に、画像合成手段１０６による合成処理について、図９を用いて説明する。図９は、フレーム周期３として１／３として間引かれた合成用動画像データＡ，Ｂの合成を例に挙げている。この場合、画像合成手段では、合成用動画像データＡ，Ｂのフレーム単位での合成処理を、３フレームに１フレームの割合で行い、３フレーム中の残り２フレームについては、直前に表示したフレーム映像と同じ映像を再生表示するためのデータである、スキップフレームデータを挿入するようにする。
【００３２】
画像合成手段により出力される合成動画像データは、９０フレームにつき、３０フレームの映像データの符号化データ、６０フレームのスキップフレームデータで構成されることになる。つまり、フレーム間引手段により３倍の再生速度になった合成用動画像データ同士の合成時に、元の入力映像データと等速に再生可能な合成動画像データを生成することが可能になる。
【００３３】
なお、上記説明では、画像合成手段ではスキップフレームを挿入しているが、これを挿入しなくても構わない。この場合、図９で、スキップフレームを挿入した合成動画像データを出力するまでの中間データであるスキップフレームなし合成動画像データをそのまま出力すればよい。
（実施の形態４）
次に、第４の発明における実施の形態について、図１０を用いて説明する．
本実施の形態におけるブロック構成は図１０に示され、前述実施の形態と共通する部分についてはその説明を省略する。図１０において、１０２は、入力映像データの映像区切りフレーム位置を自動設定、または手動設定する映像区切設定手段、１０３は、映像区切内のフレーム数がＧＯＰ内に含まれる固定フレーム数の倍数となるように、ダミーフレームの挿入やフレーム間引きなどの調整処理を行うＧＯＰ長調整手段である。
【００３４】
また、特に本実施の形態では、フレーム間引手段１０１が、個々のフレーム単位ではなく、映像区切フレーム位置により区切られた映像区切に対して、映像区切単位で（映像区切りをひとまとまりとして）間引き処理を行い、間引き処理後の映像フレームデータを出力する動作を行う。
映像区切設定手段１０２による区切フレーム位置設定動作、およびフレーム間引手段１０１による映像区切の間引き動作を図１１に示す。映像区切設定手段は、画像処理による映像区切自動検出アルゴリズムなどを用いた区切フレーム位置の自動設定や、ユーザによる区切フレーム位置の設定、一定周期による区切フレーム設定など、映像区切フレーム位置を任意フレーム位置に対して、任意数設定することが可能である。
【００３５】
一方、フレーム間引手段は、映像区切設定手段により設定された任意映像区切に対して、映像区切単位で間引き処理を行い、間引き後の映像フレームデータを出力する。図１１の例では、映像区切設定手段が７個所の映像区切フレーム位置を設定することで、６つ（Ｒ１〜Ｒ６）の映像区切が設定されている。また、フレーム間引手段は、この６つの映像区切からＲ３，Ｒ５に対する間引き処理を行い、Ｒ１，Ｒ２，Ｒ４，Ｒ６の４つを出力している。
【００３６】
次に、ＧＯＰ長調整手段１０３は、画像符号化手段１０４により映像区切単位で間引きされた映像フレームデータを符号化するのに先立ち、映像区切設定手段により設定された区切フレーム位置情報と、フレーム間引手段での映像区切間引き情報から、間引かれた映像フレームデータを、映像区切単位でのフレーム数調整を行う。
【００３７】
ＧＯＰ長調整手段によるフレーム数調整動作を図１２に示す。図１２では、画像符号化手段により設定されるＧＯＰ内フレーム数を９としている。そこで、ＧＯＰ長調整手段は、各映像区切単位で、そのフレーム数が９の倍数となるように丸めている。丸め処理には、映像区切内のフレーム数を９で割った余りが、４以下だったら余り分のフレームを切り捨て（間引く）、５以上だったらフレーム数が９の倍数となるまでスキップフレームデータを追加するようにしている。
【００３８】
このようにすることで、すべての映像区切内のフレーム数は、ＧＯＰ内フレーム数の倍数とすることができ、第２の発明（実施の形態２）と併せて使用することで、画像合成手段は、合成用動画像データ同士の合成時に、映像区切単位でのランダムな合成が可能になる。
なお、上記説明では、ＧＯＰ長調整手段は、丸め処理を行っているが、常に映像区切内のフレーム数がＧＯＰ内フレーム数の倍数となるように余りのフレームをすべて切り捨てても良いし、また同様にＧＯＰ内フレーム数の倍数となるようにスキップフレームデータを追加しても構わない。
【００３９】
（実施の形態５）
次に、第５の発明における実施の形態について、図１３を用いて説明する．
本実施の形態におけるブロック構成は図１３に示され、図１０と共通部分の動作は実施の形態４で述べたとおりである。特に、本実施の形態では、フレーム間引手段１０１が、映像区切設定手段１０２により設定される各映像区切に対して、一定フレーム数の映像データのみを出力し、この一定数フレーム分以外の映像データについては出力しないという動作を行う。このとき、出力する一定フレーム数が、前述ＧＯＰ内に含まれる固定フレーム数の倍数となるようにする。
【００４０】
フレーム間引手段１０１によるフレーム間引き動作を図１４に示す。図１４では、フレーム間引手段により、各映像区切に対して２フレーム目から一定フレーム数（９フレーム）のみを出力し、この範囲以外の映像データは切り捨てるという場合の例を示している。間引処理後のフレーム数が９フレームに満たない場合は、９フレームとなるようにスキップフレームデータを挿入している。
【００４１】
なお、間引きの方法としては上記の他に、奇数又は偶数番号目のフレームを一定数間引いたり、後ろからｎ番目のフレームからｍ個分など、その手法は特に限定したものではない。
このようにすることで、すべての映像区切内のフレーム数を、ＧＯＰ内フレーム数の倍数とすることができ、第２の発明（実施の形態２）と併せて使用することで、画像合成手段は、映像の区切り単位（例えば、映像シーン，一定時間の映像など）内の特定フレームのみからなる映像データ（たとえばダイジェスト映像）に対しても、ランダムな合成が可能になる。
【００４２】
（実施の形態６）
次に、第６の発明における実施の形態について、図１５を用いて説明する．
本実施の形態におけるブロック構成は図１５に示され、図２と共通部分の動作は実施の形態２で述べたとおりである。図１５において、１０９は、各合成用動画像データのＧＯＰから、特定フレーム種別を持つフレームデータのみを取り出すフレーム選別手段である。
【００４３】
また、特に本実施の形態では、画像合成手段１０６が、前述特定フレーム種別のフレームデータのみから合成フレームを生成出力するようにしている。
フレーム選別手段１０９によるフレーム種別選別動作を図１６に示す。本実施の形態では、合成用動画像データは図５で示されるようなフレーム種別パターンを持つものとし、ＧＯＰは、
ＩＢＢＰＢＢＰＢＢ
の９フレームから構成されているものとする。そして、フレーム選別手段は、Ｉフレーム，Ｐフレームを取り出すように動作している。
【００４４】
フレーム選別手段により選別後のフレームデータは、ＩフレームとＰフレームの２種類のフレーム種別しか含まれておらず、また、そのフレーム種別パターンも、
ＩＰＰ
の繰り返しとなる。
【００４５】
この３フレームの組を新たなＧＯＰとして解釈し、さらに、第２の発明（実施の形態２）と併せて使用することで、ＩフレームとＰフレームの２種類のフレーム種別のみしか扱えない画像合成装置、または、ＩフレームとＰフレームの２種類のフレーム種別のみしか扱えない画像再生手段を用いても合成処理、および合成動画像データの再生表示が行えるようになる。
【００４６】
なお、本実施の形態では、フレーム選別手段で選別されたフレームデータのみを、画像合成手段にて合成を行っているため、出力された合成動画像データを仮に単体で復号再生表示した場合、元の入力映像データに対して３倍（ＩＢＢＰＢＢＰＢＢ→ＩＰＰなのでフレーム数が１／３）の再生速度になる。そこで、さらに第３の発明（実施の形態３）と併せて使用することで、元の入力映像データと等速に再生可能な合成動画像データを生成することが可能になる。
【００４７】
（実施の形態７）
次に、第７の発明における実施の形態について、図１７を用いて説明する．
本実施の形態におけるブロック構成は図１７に示され、図２と共通部分の動作は実施の形態１で述べたとおりである。図１７において、１０７は、合成対象とする合成用動画像データ中の任意フレーム位置のフレーム種別を別のフレーム種別へ変換処理するフレーム種別変換手段である。
【００４８】
また、特に本実施の形態では、画像符号化手段１０４が、入力となる映像データの画面領域を、ＤＣＴブロック，マクロブロック，ＧＯＢ（グループ・オブ・ブロック）などと呼ばれる単位で分割，圧縮符号化し、このとき動き予測（前方予測，後方予測など）の種類、イントラ符号かどうかというようなブロック種別を、画面領域ごとにその属性として付与し出力するようにしている。
【００４９】
まず、画像符号化手段による画面領域分割および各領域の符号化動作を図１８に示す。図１８では、画像符号化手段は、入力映像データの各フレーム映像を、横６，縦４の計２４の画面領域（ブロック）に分割している。画像符号化手段は、フレーム単位での画面領域分割後、各ブロックに対して符号化を行う。
この符号化の種類（ブロック種別）には、圧縮符号化を行っていない非圧縮ブロック（Ｎ）、イントラ圧縮符号化が施されたイントラ圧縮ブロック（Ｉ）、前方フレーム予測による圧縮符号化が施された前方予測ブロック（Ｆ）、後方フレーム予測による圧縮符号化が施された後方予測ブロック（Ｂ）、前方後方双方向のフレーム予測による圧縮符号化が施された双方向予測ブロック（Ｄ）などがある。ブロック種別は、合成用動画像データ内に映像データの符号データと共に出力される。
【００５０】
次にフレーム種別変換手段１０７によるフレームデータのフレーム種別変換動作について説明する。本実施の形態では、ＭＰＥＧ−１を例としてあげる。
ＭＰＥＧ−１では、フレーム種別としてＩ，Ｐ，Ｂの３種類がある。各フレーム種別を持つフレームデータは、次のようなブロック種別を持つブロック（ＭＰＥＧではマクロブロックと呼んでいる）から構成される。
【００５１】
Ｉフレーム： イントラ圧縮ブロック（Ｉ）のみ
Ｐフレーム： イントラ圧縮ブロック（Ｉ）または前方予測ブロック（Ｆ）
Ｂフレーム： イントラ圧縮ブロック（Ｉ）または前方予測ブロック（Ｆ）
または、後方予測ブロック（Ｂ）または双方向予測ブロック（Ｄ）
したがって、フレーム種別がＩフレームのフレームデータをＰフレームに変換するためには、Ｉフレームのイントラ圧縮ブロックデータを、Ｐフレームのイントラ圧縮ブロックとして属性情報を変更すれば良い（ブロック内の符号化映像データを復号する必要はない）。同様にして、ＩフレームからＢフレームへの変換も可能である。
【００５２】
フレーム種別がＰフレームのフレームデータをＩフレームに変換する場合には、イントラ圧縮ブロックについては属性情報の変更を行い、前方予測ブロックについては前方予測ブロックのみの復号および復号データのイントラ圧縮ブロックへの再符号化を行えばよい。ＰフレームからＢフレームへの変換は、イントラ圧縮ブロックおよび前方予測ブロックの双方について、属性情報の変更を行うことで可能である。
【００５３】
フレーム種別がＢフレームのフレームデータをＩフレームに変換する場合には、イントラ圧縮ブロックについては属性情報の変更を行い、そのほかの予測ブロックについては予測ブロックの復号および復号データのイントラ圧縮ブロックへの再符号化を行えばよい。ＢフレームからＰフレームへの変換は、イントラ圧縮ブロックおよび前方予測ブロックの双方については、属性情報の変更を行うことで可能である。後方予測ブロックおよび双方向予測ブロックについては、予測ブロックの復号および復号データのイントラ圧縮ブロックへの再符号化を行えばよい。
【００５４】
以上のような構成をとることで、
ＧＯＰ単位以外のフレーム位置からでも復号による画質劣化を最小限に押さえた合成が可能になる。さらに、フレーム種別変換手段では、ブロック単位での変換制御を行うことで無駄な変換処理を回避でき、また、画像合成手段では、ブロック単位での合成処理が行えるようになる。
【００５５】
さらに、個々のフレームの種別を替えられることから、取り込まれるフレームパターンに拘束されることなく（；実施の形態１〜６の手法に替えて、）様々なフレームパターンの画像を符合・圧縮することが可能となる。
（実施の形態８）
次に、第８の発明における実施の形態について、図１９を用いて説明する．
本実施の形態におけるブロック構成は図１９に示され、図７，図１７と共通部分についてはその説明を省略する。特に、本実施の形態では、画像合成手段１０６が、任意の合成用動画像データに対して任意数のスキップフレームデータを挿入し、スキップフレームデータの挿入された合成用動画像データと、挿入されていない合成用動画像データ同士とを、フレーム単位で合成フレームの生成と出力を行うように構成している。
【００５６】
画像合成手段１０６による画像合成動作を図２０に示す。図２０では、図５で示されたようなフレーム種別パターンを持つ２つの合成用動画像データＡ，Ｂの合成する場合の画像合成手段の動作を示している。
画像合成手段は、まず任意の合成用動画像データに対して、任意数のスキップフレームデータを挿入する。図２０では、合成用動画像データＡに対して、１フレームの映像フレームデータにつき２フレームのスキップフレームデータを挿入している。このスキップフレームデータを挿入するとき、スキップフレームデータのフレーム種別は、図５で示されたようなＧＯＰ内のフレーム種別パターンにそくしたものが挿入される。
【００５７】
次に、スキップフレームデータの挿入により、元の合成用動画像データ中のフレーム種別が、ＧＯＰ内のフレーム種別パターンにそくさない状態になるので、このフレームデータのフレーム種別変換を行う。最後に、画像合成手段は、合成用動画像データＡ，Ｂをフレーム単位で合成し、合成動画像データを出力する。
以上のように構成することで、
合成動画像データの各再生画面領域において、スキップフレームデータを挿入した合成用動画像データ部分と、挿入されていない合成用動画像部分とで、それぞれ異なる再生速度で提示するような合成動画像データの生成が可能になる。
【００５８】
なお、上記説明では、画像合成手段が、合成用動画像データにスキップフレームデータを挿入することで、再生速度の制御を行っているが、合成用動画像データ中の任意フレームデータを切り捨てることも可能である。
【００５９】
【発明の効果】
以上のように本発明によれば、
第１に、入力映像データをフレーム単位で圧縮符号化を行い合成用動画像データを出力する画像符号化手段と、合成用動画像データを蓄積管理する蓄積手段と、複数の合成用動画像データ同士をフレーム単位で合成し、合成フレームを合成動画像データとして出力する画像合成手段と、合成動画像データを復号し複数動画像を同時に再生表示する画像再生手段とを備えた画像合成装置において、
前記画像符号化手段が、前記合成用動画像データのフレーム種別出現パターンが、すべての合成用動画像データについて同じになるように処理を行うことで、画像合成手段は、同じフレーム種別を持つフレームデータ同士の合成をするようになるので、異なるフレーム種別同士のフレーム合成を行うためのフレーム種別変換処理などを行わずに合成することができ、計算機の構成の簡略化を図れ、また容易に、かつ高速に合成処理を行うことが可能になる。
第２に、前記画像符号化手段が、入力映像データの符号化に加え、ＧＯＰの生成と、このとき当該ＧＯＰ内のフレーム数を一定数固定にし、かつ当該ＧＯＰ内のフレーム種別パターンがＧＯＰ毎に同じになるように動作することで、
前記画像符号化手段により出力されたすべての合成用動画像データに対して、ＧＯＰ単位での任意フレーム位置からのフレーム合成が可能になる。
【００６０】
第３に、入力映像データに対して一定フレーム周期でのフレーム間引き処理を行い、間引き後のフレーム映像データを出力するフレーム間引手段をさらに備え、
前記画像合成手段が、フレーム単位での合成を行い合成用動画像データの生成出力を行うのに加え、前記フレーム間引手段による間引フレーム周期と同じ周期となるように、スキップフレームデータ（直前に表示した映像と同じ映像を再生表示するためのデータ）を当該合成用動画像データに挿入することで、
フレーム間引き処理されることにより、単位時間あたりのフレーム数が元の入力映像データに比べて少なくなるため、単位時間あたりの画像符号化処理、画像合成処理を軽減することができる。さらに、蓄積手段に蓄積する合成用動画像データの蓄積容量も少なくすることが出来る。また、フレーム間引きを施した合成用動画像データはそのままでは早送りの状態であるが、合成時のスキップフレーム挿入により元の入力映像データと同じ再生速度で合成動画像データを再生表示することが出来る。
【００６１】
第４に、入力映像データの任意フレーム位置に対して映像区切フレーム位置を設定することで映像区切を生成する映像区切設定手段と、前記映像区切内に含まれるフレームデータに対して、当該映像区切内のフレーム数が前記ＧＯＰ内フレーム数の倍数となるように調整を行うＧＯＰ長調整手段とを備えることで、
それぞれの合成用動画像データに対して、映像の区切単位でのランダムな合成が可能になる。
【００６２】
第５に、前記映像区切設定手段により設定された映像区切に対して、映像区切内の一定フレーム数のフレームデータのみを出力するフレーム間引手段をさらに備え、前記フレーム間引手段により出力されるフレーム数が前記ＧＯＰ内フレーム数の倍数となるようにすることで、
それぞれの合成用動画像データに対して、映像の区切単位内の特定フレームのみからなる映像データにたいしても、映像の区切単位でのランダムな合成が可能になる。
【００６３】
第６に、合成用動画像データから特定のフレーム種別を持つフレームデータのみを取り出すフレーム選別手段をさらに備えることで、
特定フレーム種別に属するフレームデータ同士を合成処理するのみで済むために、簡略化された画像合成手段や画像再生手段を用いることができる。
第７に、前記画像符号化手段が、フレーム単位での合成を行い合成用動画像データの生成出力を行うのに加え、入力映像データの画面領域を複数ブロックに分割し前記ブロック単位で圧縮符号化を行うようにすると共に、当該ブロックの圧縮符号化の種類であるブロック種別情報を出力するようにするものであり、
前記ブロック種別情報からブロック単位でのフレームデータのブロック種別を変換することで、
合成対象とする合成用動画像データ中の任意フレーム位置のフレーム種別を別のフレーム種別へ変換するフレーム種別変換手段をさらに備えることにより、
ＧＯＰ単位以外のフレーム位置からでも復号による画質劣化を最小限に押さえた合成が可能になる。
さらに、フレーム種別変換手段では、ブロック単位での変換制御を行うことで無駄な変換処理を回避でき、また、画像合成手段では、ブロック単位での合成処理が行えるようになる。
【００６４】
第８に、前記画像合成手段が、合成対象とする複数合成動画像データの中から任意の合成用動画像データに対して任意数のスキップフレームデータを挿入し、スキップフレームデータの挿入された合成用動画像データと、挿入のされていない合成用動画像データ同士とをフレーム単位で合成し合成動画像データを出力することで、前記合成動画像データの再生画面領域において、スキップフレームデータを挿入した部分と挿入してない部分との再生速度が異なるような合成動画像データを生成することで、
合成動画像データの各再生画面領域において、スキップフレームデータを挿入した合成用動画像データ部分と、挿入されていない合成用動画像部分とで、それぞれ異なる再生速度で提示するような合成動画像データの生成が可能になる。
【図面の簡単な説明】
【図１】本発明におけるブロック構成図
【図２】実施の形態１，２におけるブロック構成図
【図３】実施の形態１における合成用動画像データのフレーム種別パターン例図
【図４】実施の形態１における合成動画像データ同士の合成例図
【図５】実施の形態２における合成用動画像データのフレーム種別パターン例図
【図６】実施の形態２における合成用動画像データ同士の合成例図
【図７】実施の形態３におけるブロック構成図
【図８】実施の形態３におけるフレーム間引手段の動作例図
【図９】実施の形態３における合成用動画像データ同士の合成例図
【図１０】実施の形態４におけるブロック構成図
【図１１】実施の形態４における映像区切設定手段およびフレーム間引手段の動作例図
【図１２】実施の形態４におけるＧＯＰ長調整手段の動作例図
【図１３】実施の形態５におけるブロック構成図
【図１４】実施の形態５におけるフレーム間引手段の動作例図
【図１５】実施の形態６におけるブロック構成図
【図１６】実施の形態６におけるフレーム選別手段の動作例図
【図１７】実施の形態７におけるブロック構成図
【図１８】実施の形態７における画像符号化手段の動作例図
【図１９】実施の形態８におけるブロック構成図
【図２０】実施の形態８における画像合成手段の動作例図
【図２１】従来技術例図
【符号の説明】
１０１ フレーム間引手段
１０２ 映像区切設定手段
１０３ ＧＯＰ長調整手段
１０４ 画像符号化手段
１０５ 蓄積手段
１０６ 画像合成手段
１０７ フレーム種別変換手段
１０８ 画像再生手段
１０９ フレーム選別手段

Claims (9)

1. 複数のフレーム映像データから構成される入力映像データの任意フレーム位置に対して映像区切フレーム位置を設定することで映像区切を生成する映像区切設定手段と、
   当該映像区切内のフレーム映像データ数が予め定めたフレーム映像データ数の倍数となるように、前記フレーム映像データの削除又は追加を行うＧＯＰ長調整手段と、
   前記ＧＯＰ長調整手段から出力される、前記映像区切内のフレーム映像データが、前記予め定めたフレーム映像データ数単位で同一のフレーム種別パターンとなるように圧縮符号化し、合成用動画像データとして出力する画像符号化手段と、
   前記合成用動画像データを複数蓄積管理する蓄積手段と、
   前記蓄積手段に蓄積された複数の合成用動画像データの中の第１の合成用動画像データと第２の合成用動画像データとを、前記予め定めたフレーム映像データ数単位で、前記第１の合成用動画像データと第２の合成用動画像データとのそれぞれが有する同じフレーム種別をもつフレーム同士、合成した合成動画像データを出力する画像合成手段と、
   合成動画像データを復号し複数動画像を再生表示する画像再生手段と
   を備える画像合成装置。
2. 前記生成された映像区切単位のフレーム間引き処理を行い、間引き後のフレーム映像データを前記ＧＯＰ長調整手段に送出するフレーム間引手段を備える請求項１記載の画像合成装置。
3. 前記映像区切設定手段が、画像処理による映像区切検出アルゴリズムを使用して映像区切フレーム位置を自動設定する請求項１記載の画像合成装置。
4. 前記映像区切設定手段が、一定間隔で映像区切フレーム位置を自動設定する請求項１記載の画像合成装置。
5. 前記ＧＯＰ長調整手段が、
   前記映像区切内フレーム映像データ数を前記予め定めたフレーム映像データ数で割った余り分のフレーム映像データを前記映像区切内から切り捨てる請求項１記載の画像合成装置。
6. 前記ＧＯＰ長調整手段が、
   当該映像区切内のフレーム映像データ数が予め定めたフレーム映像データ数の倍数となるように、
   前記映像区切内にスキップフレームデータを挿入する請求項１記載の画像合成装置。
7. 前記ＧＯＰ長調整手段が、
   前記映像区切内のフレーム映像データ数を前記予め定めたフレーム映像データ数で割った余りが、既定値未満の場合は、フレーム映像データを前記映像区切内から切り捨て、
   既定値以上の場合は、スキップフレームを挿入する請求項１記載の画像合成装置。
8. 前記合成用動画像データから特定のフレーム種別を持つフレーム映像データを、前記画像合成手段に出力するフレーム選別手段を備える請求項１記載の画像合成装置。
9. 前記画像合成手段が、合成対象とする複数合成動画像データの中から任意の合成用動画像データに対して任意数のスキップフレームデータの挿入された合成用動画像データと、挿入のされていない合成用動画像データ同士とをフレーム単位で合成し合成動画像データを出力することで、前記合成動画像データの再生画面領域にて、スキップフレームデータを挿入した部分と挿入してない部分との再生速度が異なるような合成動画像データを生成する請求項１記載の画像合成装置。

Images