JP3544852B2 - 映像符号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はＭＰＥＧ２ビデオストリームを用いた映像放送に有用な映像符号化装置に関する。
【０００２】
【従来の技術】
近年、放送、通信、蓄積メディアなどへの応用が期待されている技術にＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８）に代表されるディジタル動画像符号化技術がある。
【０００３】
周知の通り、ＭＥＰＧ２による動画像符号化においては、動き補償と呼ばれる方式により符号化を行うフレームまたはフィールドを、過去や未来のフレームまたはフイールドの類似する部分から予測し、その残差を符号化することにより高能率な符号化を実現している。従って、復号化するにはその逆の手順を実施する必要がある。
【０００４】
ところで、ビデオオンデマンドなどのような映像放送等を考えた場合、ユーザに番組内容を安価な料金で、あるいは無料で提供したりすることが考えられるが、そのためにはコマーシャル（ＣＭ）を画像の一部に挿入して提供すると云った途が考えられる。この場合、商業テレビ放送で行っているような番組の途中にＣＭのみの放送時間帯を組み入れると云う方式は、ビデオオンデマンドの場合、スキップ操作を適宜行うことでＣＭ視聴を避けて鑑賞される懸念があるため、ＣＭ提供者の利益を考えると、画面の一部の領域を利用してそこにＣＭを挿入しておくという対策が考えられる。
【０００５】
そして、これにより、ＣＭをカットして番組を視聴されてしまうと云う問題を回避できるようになる。
【０００６】
しかしながら、その一方で次のような問題が残る。すなわち、画像は、ディジタル録画する場合、容量が膨大なものとなるため、通常は、映像符号化装置で動画像符号化して収録する。そして、標準的な動画像符号化にはＭＰＥＧ２を使用する。従って、符号化済みの収録画像中にＣＭやロゴなどを挿入するためには、収録後の画像にＣＭ挿入やロゴ挿入のための編集を施す必要がある。
【０００７】
しかし、ＭＰＥＧ２用の従来の映像符号化装置での符号化済み画像のデータであるＭＰＥＧ２ビデオストリームにおいて、そのストリームで得られる画面上の一部の領域をＣＭやロゴなどの他の映像で置換しようとする場合、従来の映像符号編集装置ではＭＰＥＧ２ビデオストリームを復号し、得られた画像の所定部分を置換し、映像符号化装置で再符号化する必要があった。
【０００８】
【発明が解決しようとする課題】
ＭＰＥＧ２ビデオストリームにて得られる画面上の一部領域をＣＭなどの他の映像で置換する場合、または放送局のロゴなどを上書きした映像で置換する場合、従来の映像符号化装置ではＭＰＥＧ２ビデオストリームを復号し、得られた画像の所定部分を置換又は上書きし、映像符号化装置で再符号化する必要がある。
【０００９】
しかし、一度復号化してから再符号化するためには映像符号編集装置内に復号化装置と符号化装置が必要となるため装置が大きくなる。しかも復号化、再符号化を行うことにより画質が劣化する。また、ビデオオンデマンドなどの場合、例えば、契約視聴者を正規料金会員とエコノミー会員や無料会員等に分けていずれの会員かにより、ＣＭなし番組視聴や、ＣＭ付番組視聴などをしたり、また、ＣＭを入れるにしても、地域別あるいは年齢別、趣味別などといった具合に、契約内容に応じて種々、対応を変えるようにしたいといった多様化、差別化をする要求もある。しかし、これに応えるために、ＣＭなしの番組をＭＰＥＧ２ビデオストリームとして用意して、これを必要に応じＣＭ付とする場合、まず、番組を復号化し、この復号化したディジタル信号の画像における画面内の一部にＣＭを付加すべく編集処理してから符号化して番組を伝送することになる。
【００１０】
この場合、復号化と再符号化処理が加わるために、その分、遅延が生じ、高速処理が可能なシステムにしないと実用に供するには不向きとなる。
【００１１】
そこで、この発明の目的とするところは、ＭＰＥＧ２ビデオストリームの画面の一部領域を他の映像で置換える場合に、画像の劣化を生じることなく、また、遅延を最小限に抑えることができて、十分に実用に供することができるようにした映像符号化装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、本発明は次のような装置を用いる。
【００１３】
画面上の一部の領域を例えばＣＭなどで完全に置き換える場合には、映像符号化装置は映像をＭＰＥＧ２ビデオストリームに映像符号化する際に画面領域を置換可能領域、置換不能領域の２つの領域に分割し、置換不能領域の予測符号化の参照画面には置換不能領域のみを用いる。この際２つの領域はスライス単位で分割する。
【００１４】
画面上の一部の領域に例えば放送局のロゴなどを上書きした映像で置き換える場合には、映像符号化装置は映像をＭＰＥＧ２ビデオストリームに映像符号化する際に画面領域を置換可能領域、置換不能領域の２つの領域に分割し、置換不能領域の予測符号化の参照画面には置換不能領域のみを用いた上に、置換可能領域はピクチャータイプに関わらずイントラ符号化する。この際２つの領域はマクロブロック単位で分割する。
【００１５】
二つの発明とも置換可能領域に関する情報（置換可能領域が存在すること、置換可能領域の種類、領域の画面上の位置、大きさ）を記述したユーザーデータをストリームに多重する。
【００１６】
こうして作られたＭＰＥＧ２ビデオストリームに対して、映像符号編集装置は置換可能領域の映像を加工する。
【００１７】
第一の映像符号化装置で作られたストリームの置換可能領域をＣＭなどで置換する場合、置換可能領域のスライスを置換用のスライスで置き換える。
【００１８】
第二の映像符号化装置で作られたストリームの置換可能領域にロゴなどを上書きした映像で置換する場合、ＭＰＥＧ２ビデオストリームの置換可能領域のみを一旦、デコードする。そして、その再生画像にロゴなどを上書きし、再びイントラ符号化する。こうして得られたストリームで置換可能領域を置き換える。
【００１９】
いずれの映像符号編集装置の場合も、置換後必要に応じて上書き可能領域に関する情報を記述したユーザーデータを消去する。
【００２０】
本発明を用いることにより、第一の発明ではＭＰＥＧ２ビデオストリームを復号することなく一部分を別の映像（例えばＣＭ）で置換したストリームを作ることが出来るようになるもので、ＭＰＥＧ２におけるビデオストリームを復号化、再符号化することなく画面の一部分を別の映像（例えばＣＭ（コマーシャルメディア）で置換したストリームを作ることが出来る。また、第二の発明ではストリームの一部を復号、映像編集、再符号化するだけで映像に例えば放送局のロゴを上書きすることが出来る。
【００２１】
【発明の実施の形態】
以下、本発明の実施例について、図面を参照して説明する。
【００２２】
（実施例１）
図１に映像符号化装置の全体の構成図を示す。図において、入力された動画像信号２３は、動き検出部１１によりマクロブロック単位の動き検出を行い、フレーム内符号化を行う場合は入力画像を、動き補償予測フレーム間符号化を行う場合は、フレームメモリ１８に記録されたローカルデコード画像との動き補償誤差を、それぞれＤＣＴ（離散コサイン変換）部１３，４３、量子化部１４、可変長符号化部２０によりにより符号化し、動きベクトル、予測モード情報等とともにビットストリーム２４として出力する。
【００２３】
量子化後の信号は、逆量子化部１５、逆ＤＣＴ部１６及び予測画面との加算により復号を行い、参照画面としてフレームメモリ１８に記録する。全体制御部は、可変長符号化部２０から得られる発生符号量情報に基づいて、全体制御部２１により所定の符号化所定の符号化ビットレートになるように、フィードバック制御によって量子化部１４における量子化スケール値を決定する他に、各ブロックのパラメータ設定なども行う。映像符号化装置全体に対する外部から指示はパラメータ入力部２２を介して行う。
【００２４】
本システムでは、画面の一部に必要に応じて、後からＣＭなどの画像を挿入したりすることが出来るようにするために、映像を符号化する際に、画面を他の画像と自由に置き換えることができる置換可能領域Ａ１と、他の画像と置き換えができない置換不能領域Ａ２に分けるようにする。
【００２５】
例えば、図２の如きである。ラスタスキャンのライン１６本分を１スライスとすると、この図２の例では、画面の上から９６ライン（６スライス分）を置換可能領域Ａ１、その他の部分を置換不能領域Ａ２としていることを示している。
【００２６】
本発明システムにおいては、映像符号化装置を構成する要素の一つである動き検出部１１において動き検出をする際に、置換不能領域Ａ２の画素を参照画面として動き検出する場合には、置換不能領域Ａ２の画素のみを参照画面として用いる。
【００２７】
符号化に際して置換可能領域Ａ１はＧＯＰ単位に設定することが出来る。この際、イントラ符号化用量子化マトリックス“ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”，ノンイントラ符号化用量子化マトリックス“ｎｏｎ＿ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”は置換可能領域が設定されているストリームを通して一定とする。またＭＰＥＧ２の画像にはピクチャタイプとして、Ｉピクチャ，Ｐピクチャ，Ｂピクチャがあるが、これらそれぞれに対してピクチャタイプ毎に置換可能領域Ａ１の占めるスライス（この例の場合、６スライス分）の合計符号量の最低量を設定し、符号化する際にはピクチャタイプ毎に置換可能領域Ａ１のスライスの合計符号量が最低量以上になるように符号量制御を行ってもよい。これらの制御パラメータはパラメータ入力部１６より入力する。
【００２８】
上記制限を付けた符号化を行つた場合には、ストリームのｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（） に続くシーケンス拡張部“ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｔｉｏｎ（）”部分におけるユーザに解放されたユーザデータ“ｕｓｅｒ＿ｄａｔａ（） ”部分に上記符号化に関するデータを記述する。この記述内容としては、
・「参照画面の制限を行ったこと」
・「置換可能領域のスライスの番号」
・「ストリーム中に現れるＩ，Ｐ，Ｂピクチャの周期は一定か否か」
・「周期が一定の場合のＩピクチャの周期とＩ又はＰピクチャの周期」
・「置換可能領域のスライスの符号量制御を行ったか否か」
・「符号量制御を行った場合のＩ，Ｐ，Ｂピクチャに割り当てられた符号量」
などがあげられる。
【００２９】
図３、図４、図５に“ｕｓｅｒ＿ｄａｔａ（） ”の記述例を示す。
これらのうち、図３はストリーム中に現れるＩ，Ｐ，Ｂピクチャの周期は一定で、置換可能領域Ａ１のスライスの符号量制御を行った場合の記述例を示し、また、図４はストリーム中に現れるＩ，Ｐ，Ｂピクチャの周期は一定で、置換可能領域Ａ１のスライスの符号量制御を行わなかった場合の記述例を示しており、そして、図５はストリーム中に現れるＩ，Ｐ，Ｂピクチャの周期は不定で置換不能領域のスライスの符号量制御を行わなかった場合の記述例を示している。また、置換可能領域が設定されているＧＯＰ には必ずこの“ｕｓｅｒ＿ｄａｔａ（） ”を含む“ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｔｉｏｎ（）”を持つｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（） がなければならない。
【００３０】
［映像符号編集装置］
次に、映像符号編集装置について説明する。実施例１における映像符号編集装置の構成は図６に示す如きであり、ストリーム解析部６１、ストリーム置換部６２、置換用ストリームライブラリ６３とからなる。
【００３１】
ここでストリーム解析部６１は、図１の構成の映像符号化装置の最終段の出力段より出力される当該映像符号化装置で作られたストリームを解析するためのものであって、置換可能領域Ａ１のストリームであるか、置換不可能領域のストリームであるのかの解析を行うためのものである。また、置換用ストリームライブラリ６３は置換する各種画像のストリームをライブラリとして蓄えたものであり、自己の蓄えているライブラリ中から、前記ストリーム解析部６１の解析結果に応じて所定の置換用ストリームを選択してストリーム置換部６２に与える機能を有するものである。また、ストリーム置換部６２は前記ストリーム解析部６１の解析結果に応じて置換用ストリームライブラリ６３が出力するストリームを置換可能領域Ａ１に置換して出力するものである。
【００３２】
次にこの映像符号編集装置の作用を説明する。
ここでは上記図１の構成の映像符号化装置で作られたストリームを“元ストリーム”、置換する映像をＭＰＥＧ２ビデオのスライスに符号化したものを“置換スライス”と呼ぶ。また、元ストリームの置換可能領域のスライスを“元スライス”と呼ぶ。
【００３３】
置換スライスとして、以下の条件のものを用意する。すなわち、
・「置換スライスは、元ストリームと同じ“ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”，“ｎｏｎ＿ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”を使っていること」
・「置換スライスは、元ストリームの置換可能領域と同じ表示サイズのスライスであること」
などである。また、置換スライスは以下に示す“ｔｙｐｅ１”と“ｙｐｅ２”の２種類のストリームがあり、両者で処理が異なる。
【００３４】
［ｔｙｐｅ１］
これは置換スライスが通常のＭＰＥＧ２ビデオストリームから得られる場合である。そして、この場合、Ｉ，Ｐ，Ｂピクチャそれぞれのピクチャタイプごとの符号量は一定値以下に制限されている必要がある。また、Ｉ，Ｐ，Ｂピクチャの順序は一定である必要がある。
【００３５】
［ｔｙｐｅ２］
これは置換スライスが静止画の場合であり、この場合には以下のスライスの構成にする。
【００３６】
・表示する静止画の内容で構成される“ｉｎｔｒａ＿ｍａｃｒｏｂｌｏｃｋ”で構成されたスライスを用意する。この際、“ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ ”は“Ｐｐｉｃｔｕｒｅ”のものを用いる。元ストリームのＰピクチャの置換に用いる。
【００３７】
・スライスの最初と最後は前方の画面をそのまま用い、両者の間はスキップドマクロブロックで構成されたスライスを用意する。この際、“ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ ”は“Ｐｐｉｃｔｕｒｅ”のものを用いる。元ストリームのＰピクチャの置換に用いる。
【００３８】
・スライスの最初と最後は後方の画面をそのまま用い、両者の間はスキップドマクロブロックで構成されたスライスを用意する。この際、“ｍａｃｒｏｂｌｏｃｋ＿ｔｙｐｅ ”は“Ｂｐｉｃｔｕｒｅ”のものを用いる。元ストリームのＢピクチャの置換に用いる。
【００３９】
ｔｙｐｅ１は元ストリームと同じＩ，Ｐ，Ｂピクチャの順序の置換スライスである必要があるがｔｙｐｅ２の場合は元ストリームのピクチャタイプに対応したスライスを挿入するので、ピクチャタイプの順序だけスライスを用意する必要がない。
【００４０】
次に置換スライスで置換する手順を説明する。はじめに、ｔｙｐｅ１の置換スライスで置換する場合の手順を示す。
【００４１】
［ｔｙｐｅ１の置換スライスで置換する場合の手順］
ｔｙｐｅ１の置換スライスで置換する場合には図７、図８の手順に従う。
【００４２】
はじめに、置換開始前の処理（図７参照）を行う。この処理は、Ｓ１からＳ４の手順に沿った処理である。すなわち、
［Ｓ１］ 図３〜図５に示した置換可能領域に関する“ｕｓｅｒ＿ｄａｔａ（） ”を探す。見つかればＳ２に移り、見つからなければ置換を中止する。
［Ｓ２］ “ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”， “ｎｏｎ＿ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”をロードする。そして、Ｓ３に移る。
［Ｓ３］ 元ストリームの各ピクチャの置換可能領域の符号量がピクチャタイプごとに下限値以上になっていて、かつＩ，Ｐ，Ｂピクチャの順序は固定のものの場合のみ置換可能であるので、その条件に合うものを探す。条件に合えばＳ４に移り、合わなければ置換中止にする。
［Ｓ４］ 置換可能領域のサイズ、“ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”， “ｎｏｎ＿ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”、各ピクチャのスライスの符号量がピクチャタイプ毎の下限値以下、Ｉ，Ｐ，Ｂピクチャの順序が原ストリームと同じものを選ぶ。そして、その条件を満たすストリームがあればそれを置換開始する。条件を満たすものがなければ、置換を中止する。
【００４３】
［Ｓ５］置換可能領域に関する“ｕｓｅｒ＿ｄａｔａ（） ”を消去するか否かを判定する。
【００４４】
［Ｓ６］消去する場合は、上記置換可能領域に関する“ｕｓｅｒ＿ｄａｔａ（） ”を“０ ”で置換する。
【００４５】
実際の置換は次のようにする。
［置換処理］
置換処理は図８の如きであり、Ｓ２１からＳ２５の手順を踏む。
［Ｓ２１］ 元ストリームのＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ ；ランダムアクセスを可能にするために、画面内だけで閉じた情報による符号化画面（フレーム内符号化画面）を定期的に挿入し、このフレーム内符号化画面が少なくとも一枚入った画面群構造を持つ。このような画面群構造がＧＯＰである。）の先頭を探す。ＧＯＰの先頭が見つかったならばＳ２２の処理に移る。
［Ｓ２２］ 置換終了の条件（元ストリーム終了、置換スライス終了、その他の置換終了条件）を満たしていないことを確認する。そして、満たしてないことが確認されたならばＳ２３の処理に移り、満たしてないことが確認されなければ置換終了する。
［Ｓ２３］ ピクチャ毎に元スライスを置換スライスで置き換えていく。そして、それを終えたならば、Ｓ２４の処理に移る。
【００４６】
［Ｓ２４］ 置換スライスの符号量の方が元スライスより多いか少ないかを判定する。元スライスの方が少なければＳ２２に戻って以上の処理を繰り返し、元スライスの方が多ければＳ２５の処理に移る。
［Ｓ２５］ ここでは、置換スライスの符号量が不足する分、ストリームにスタッフィング（符号発生量が予定より少ないとき、アンダーフローを防止するために挿入するダミービット）を挿入する。
こうして、置換スライスの符号量の方が元スライスより少ない場合は不足分だけスタッフィングを挿入する。
以上が、ｔｙｐｅ１の置換スライスで置換する場合の手順の例である。
【００４７】
次にｔｙｐｅ２の置換スライスで置換する場合の手順の一例を説明する。
［ｔｙｐｅ２の置換スライスで置換する場合の手順］
ｔｙｐｅ２の置換スライスの置換の手順は図９，図１０の如きである。
［置換開始前の処理］
まずはじめに、図９に示す置換開始前の処理を実施する。
【００４８】
置換処理は図９の如きであり、Ｓ３１からＳ３３の手順を踏む。
［Ｓ３１］ まず、図３〜図５に示した置換可能領域に関する“ｕｓｅｒ＿ｄａｔａ（） ”を探す。見つかればＳ３２の処理に移り、見つからなければ置換を中止する。
【００４９】
［Ｓ３２］ 次に、ビデオストリーム中のイントラ（フレーム内予測符号化）量子化マトリックス“ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”の情報をロードする。そして、Ｓ３３の処理に移る。
［Ｓ３３］置換スライスの中から置換可能領域のサイズ、“ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍ ａｔｒｉｘ ”が元ストリームと同じものを選ぶ。
【００５０】
［Ｓ３４］置換可能領域に関する“ｕｓｅｒ＿ｄａｔａ（） ”を消去するか否かを判定する。
【００５１】
［Ｓ３５］消去する場合は、上記置換可能領域に関する“ｕｓｅｒ＿ｄａｔａ（） ”を“０ ”で置換する。
【００５２】
実際の置換は次のようにする。
［置換処理］
置換処理は図１０の如きであり、Ｓ４１からＳ５０までの手順を踏む。
［Ｓ４１］ まず、元ストリームのＧＯＰの先頭を探す。そして、Ｓ４２の処理に移る。
【００５３】
［Ｓ４２］ 置換終了の条件（元ストリーム終了、その他の置換終了条件）を満たしていないことを確認する。そして、満たしていないことが確認できたならば、Ｓ４３の処理に移る。もしも置換終了の条件を満たしていたならば置換終了する。
［Ｓ４３］ 元ストリームのピクチャのタイプをチェックする。そして、ピクチャタイプに応じてＳ４４からＳ４６までのいずれかの処理に移る。例えば、Ｉピクチャの場合は、Ｓ４４の処理に移り、Ｐピクチャの場合は、Ｓ４５の処理に移り、Ｂピクチャの場合は、Ｓ４６の処理に移る。
［Ｓ４４］ Ｉピクチャの場合は、Ｉピクチャ用置換スライスを採用する。そして、Ｓ４７の処理に移る。
【００５４】
［Ｓ４７］ 採用したＩピクチャ用置換スライスの符号量が元スライスの符号量より小さいか大きいかを確認する。その結果、小さければ、Ｓ４８の処理に移って採用したＩピクチャ用置換スライスで置換する。そして、処理をＳ４９に移す。また、Ｓ４７での確認の結果、大きければＳ４１に戻って上述の処理を繰り返す。つまり、採用したＩピクチャ用置換スライスの符号量が元スライスの符号量より大きい場合は置換を行わずに元ストリームのＧＯＰの先頭を探す処理へ戻り、小さい場合には置換を行う。
［Ｓ４５］ Ｓ４３での判断の結果、Ｐピクチャであった場合はＰピクチャ用スライスを採用し、Ｓ４８に移って、当該採用したＰピクチャ用置換スライスで置換する。そして、処理をＳ４９に移す。
［Ｓ４６］ Ｓ４３での判断の結果、Ｂピクチャであった場合には、Ｓ４８に移ってＢピクチャ用置換スライスで置換する。そして、処理をＳ４９に移す。
【００５５】
［Ｓ４９］ 元ストリームのスライスをピクチャの種類に合わせてその該当種類のピクチャ用置換スライスで置換した場合は、置換スライスの符号量の方が元スライスより多いか少ないかを判断する。その結果、多い場合はＳ４２の処理に戻り、上述の処理を繰り返し、また、置換スライスの符号量の方が元スライスより少ない場合はＳ５０の処理に移り、ここで不足分だけスタッフィングを挿入してからＳ４２の処理に戻り、上述の処理を繰り返す。
【００５６】
つまり、Ｉピクチャの場合は、Ｉピクチャ用置換スライスの符号量が元スライスの符号量より小さいことを確認して置換する。そして、大きい場合は置換を行わずに元ストリームのＧＯＰの先頭を探す処理へ戻る。
【００５７】
Ｐ，Ｂピクチャの場合はそれぞれＰピクチャ用、Ｂピクチャ用置換スライスで置換する。置換した場合は、置換スライスの符号量の方が元スライスより少ない場合は不足分だけスタッフィングを挿入する。
【００５８】
これらの処理のために、元ストリームの置換可能領域のサイズ、“ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”，の組み合わせが何種類か考えられる場合は、置換用ストリームライブラリにその種類だけ置換スライスを準備する。
【００５９】
ｔｙｐｅ２のスライスを置換する場合には、以下に示すようにＩピクチャに置換する置換スライスのみ元ストリームの置換可能領域のサイズトパラメータに合わせて符号化し、Ｐ，Ｂピクチャに関しては置換可能領域のサイズに合わせてスライスを作成して置換する方法も可能である。この場合の映像符号編集装置に構成を図１１に示す。次いで置換の手順を図１２，図１３に示す。
【００６０】
＜映像符号編集装置の構成例２＞
図１１に示す構成例２の映像符号編集装置は、ストリーム解析部６１，ストリーム置換部６２、バッファ７１、置換用映像符号化装置７２からなり、置換用映像符号化装置７２には原画像７３が取り込まれる。
【００６１】
ここでストリーム解析部６１は、図１の構成の映像符号化装置の最終段の出力段より出力される当該映像符号化装置で作られたストリームを解析するためのものであって、置換可能領域Ａ１のストリームであるか、置換不可能領域のストリームであるのかの解析を行って出力するためのものである。また、バッファ７１はこの出力を一時保持するためのものであり、置換用映像符号化装置７２は図６の構成例での置換用ストリームライブラリ６３の代わりのもので、原画像７３を元に置換用スライスを作製するものであって、Ｉピクチャに置換する置換スライスのみ元ストリームの置換可能領域のサイズトパラメータに合わせて符号化し、Ｐ，Ｂピクチャに関しては置換可能領域のサイズに合わせてスライスを作成してストリーム置換部６２に与える機能を有するものである。また、ストリーム置換部６２は前記ストリーム解析部６１の解析結果に応じて置換用映像符号化装置７２が出力するストリームを置換可能領域Ａ１に置換して出力するものである。
【００６２】
次にこの映像符号編集装置の作用を説明する。
［ｔｙｐｅ２の置換スライスで置換する場合の手順］
ｔｙｐｅ２の置換スライスの置換の手順は図１２，図１３の如きである。
［置換開始前の処理］
まずはじめに、図１２に示す置換開始前の処理を実施する。
【００６３】
置換処理は図１２の如きであり、Ｓ５１からＳ５３の手順を踏む。
［Ｓ５１］ ここでは、まず図３〜図５に示した“ｕｓｅｒ＿ｄａｔａ（） ”を探す。見つかればＳ５２の処理に移り、見つからなければ置換を中止する。
［Ｓ５２］ 置換可能領域のサイズを調べる。
【００６４】
［Ｓ５３］ そして、同じサイズのＰ，Ｂピクチャ用置換スライスを準備する。
【００６５】
［Ｓ５４］置換可能領域に関する“ｕｓｅｒ＿ｄａｔａ（） ”を消去するか否かを判定する。
【００６６】
［Ｓ５５］消去する場合は、上記置換可能領域に関する“ｕｓｅｒ＿ｄａｔａ（） ”を“０ ”で置換する。
【００６７】
そして、置換処理に移る。
【００６８】
実際の置換は次のようにする。
［置換処理］
置換処理は図１３の如きであり、Ｓ６１からＳ７１までの手順を踏む。
［Ｓ６１］ まず、元ストリームのＧＯＰの先頭を探す。そして、Ｓ６２の処理に移る。
［Ｓ６２］ 置換終了の条件（元ストリーム終了、その他の置換終了条件）を満たすか、否かを調べる。満たしていれば、置換を終了し、満たしていなければＳ６３の処理に移る。
［Ｓ６３］ このようにしてＳ６２において、置換終了の条件（元ストリーム終了、その他の置換終了条件）を満たしていないことを確認したならば、Ｓ６３において、元ストリームの“ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”をロードする。元ストリームで使われている“ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”が変化した場合は新しいものにアップデートする。ここでの処理が終わると次にＳ６４の処理に移る。
［Ｓ６４］ ここでは、元ストリームのピクチャのタイプをチェックする。そして、ピクチャタイプに応じてＳ４５からＳ６７までのいずれかの処理に移る。例えば、Ｉピクチャの場合は、Ｓ６５の処理に移り、Ｐピクチャの場合は、Ｓ６６の処理に移り、Ｂピクチャの場合は、Ｓ６７の処理に移る。
［Ｓ６５］ Ｉピクチャの場合は、置換スライスの符号量を調べる。そして、Ｓ６８の処理に移る。
【００６９】
［Ｓ６８］ 元ストリームで使用されている“ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”を用いて置換画像を元スライス符号量のスライスに符号化する。そして、Ｓ６９の処理に移り、ここで、元ストリームのピクチャの種類に合わせて置換スライスに置換する。スライス垂直位置“ｓｌｉｃｅ＿ｖｅｒｔｉｃａｌ＿ｐｏｓｉｔｉｏｎ ”の値は元スライスのものを使用する。そして、処理をＳ７０に移す。
［Ｓ６６］ Ｓ６４での判断の結果、Ｐピクチャであった場合はＰピクチャ用スライスを採用し、Ｓ６９に移って、元ストリームのピクチャの種類に合わせて置換スライスに置換する。スライス垂直位置“ｓｌｉｃｅ＿ｖｅｒｔｉｃａｌ＿ｐｏｓｉｔｉｏｎ ”の値は元スライスのものを使用する。そして、処理をＳ７０に移す。
［Ｓ６７］ Ｓ６４での判断の結果、Ｂピクチャであった場合には、Ｂピクチャ用置換スライスを採用する。そして、Ｓ６９に移って、元ストリームのピクチャの種類に合わせて置換スライスに置換する。“ｓｌｉｃｅ＿ｖｅｒｔｉｃａｌ＿ｐｏｓｉｔｉｏｎ ”の値は元スライスのものを使用する。そして、処理をＳ７０に移す。
［Ｓ７０］ ここでは置換スライスの符号量の方が元スライスより多いか少ないかを判断する。その結果、多い場合はＳ６２の処理に戻り、上述の処理を繰り返し、また、置換スライスの符号量の方が元スライスより少ない場合はＳ７１の処理に移り、ここで不足分だけスタッフィングを挿入してからＳ６２の処理に戻り、上述の処理を繰り返す。
【００７０】
このように、Ｉピクチャの場合は、元スライスの置換可能領域の符号量を調べ、現在使われている“ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”を用いて置換用の原画像を上記符号量以下のスライスに符号化する。また、Ｐ，Ｂピクチャの場合は用意したＰピクチャ用、Ｂピクチャ用置換スライスで置換する。
【００７１】
そして、置換した場合は、置換スライスの符号量の方が元スライスより少ない場合は不足分だけスタッフィングを挿入する。
【００７２】
この方法を用いれば元ストリームのパラメータによらずに画像を置換することが出来る。
【００７３】
以上、実施例１は、画面領域を置換可能領域、置換不能領域の２つの領域に分割し、置換可能領域の予測符号化を行う際に置換不能領域を予測の参照画面に用いずにＭＰＥＧ２ビデオス卜リームを作成する映像符号化装置と、前記符号化装置で作成されたストリームの置換可能領域を他の映像のスライスに置換する映像符号編集装置とから構成した。
【００７４】
従来の映像符号化装置で符号化されたＭＰＥＧ２ビデオストリームの画面上の一部の領域を他の映像で置換する場合、ストリームを復号化して映像を置換して再符号化するので映像符号編集装置内に復号化装置と符号化装置が必要となり装置が大きくなる。しかも復号化、再符号化を行うことにより画質が劣化する。また、復号化、再符号化の際に遅延が生ずる。
【００７５】
そこで、実施例１に示した本発明では、映像を映像符号化装置でＭＰＥＧ２ビデオストリームに符号化する際、画面領域を置換可能領域、置換不能領域の２つの領域に分割し、置換不能領域は置換可能領域を予測の参照画面に用いない条件で符号化するようにし、この符号化装置で作成されたストリームの置換可能領域のスライスを、置換したい対象の映像のスライスで置換するようにした。
【００７６】
故に、本発明を用いることにより、ストリームを復号することなく一部分を別の映像（例えばＣＭ）で置換したストリームを作ることが出来るようになるもので、実施例１の本発明を用いることにより、動画像符号化の標準的な手法の一つであるＭＰＥＧ２におけるビデオストリームを復号化、再符号化することなく画面の一部分を別の映像（例えばＣＭ（コマーシャルメディア））で置換したストリームを作ることが出来、これにより映像符号編集装置でＭＰＥＧ２ビデオストリームを復号化、再符号化する必要がないので映像符号編集装置を小型にでき、画像の劣化を防いで、しかも、復号化、再符号化による遅延がなくなる利点が得られるようになる。
【００７７】
以上は、画面を上下に所望に分けて置換可能領域と不可能領域に分け、置換可能領域について、画像を書き換えるようにしたものであったが、ロゴ等を対象とする場合、これでは領域が多き過ぎる。そこで、ロゴなどに最適な実施例を次に実施例２として説明する。
【００７８】
（実施例２）
従来の映像符号化装置で符号化したＭＰＥＧ２ビデオストリームの画面上に例えばロゴを上書きした映像で置換する場合、従来の映像符号編集装置ではＭＰＥＧ２ビデオストリームを復号し、得られた画像にロゴを上書きし、映像符号化装置で再符号化する必要があった。しかし、一度復号化してから再符号化するためには映像符号編集装置内に復号化装置と符号化装置が必要となるため装置が大きくなる。しかも復号化、符号化を行うことにより画質が劣化が生ずる。また、復号化、再符号化の際に遅延が生ずる。
【００７９】
実施例２に示す本発明は、映像符号化装置で映像符号化を行う際に画面領域を置換可能領域と置換不能領域に分割する。符号化に際して置換可能領域はピクチャタイプに関わらずイントラ符号化を行う。置換不能領域は動き検出を行う際の参照画面に上書き不能領域のみを用いて符号化を行う。そして上書き可能領域に関する情報（上書き可能領域が存在すること、領域の画面上の位置、大きさ）を記述したユーザーデータをストリームに多重する。
【００８０】
上記映像符号化装置で作られたＭＰＥＧ２ビデオストリームの置換可能領域の映像を例えば番組のロゴを上書きしたもので置換する場合には、映像符号編集装置においてＭＰＥＧ２ビデオストリームの置換可能領域のみを一旦デコードする。そしてその再生画像にロゴを上書きし、再びイントラ符号化する。こうして得られたストリームを本来のストリームと置換する。またこの際、必要に応じて置換可能領域に関する情報を記述したユーザーデータを消去する。
【００８１】
第二の発明においては、ＭＰＥＧ２ビデオストリーム全体を復号化、再符号化することなく、画面の一部分に別の映像（例えばロゴ等）を上書きしたストリームを作ることが出来るようになり、また、映像符号編集装置の小型化と画質の維持を可能になり、復号化、再符号化による遅延もないようにしたシステムとなる。そして、この発明により、画面の一部分に別の映像（例えばロゴ等）を上書きしたストリームを作ることが出来るようになることから、例えば、ディジタル放送を行う際に上書き可能領域に放送局のロゴを上書きすることで、映像が複製された場合にオリジナルが何であるかが分かるようになるので、著作権保護に有用であり、さらに上書き可能領域の有無、領域の画面上の位置、大きさを記述したユーザデータを消去することにより、ストリームに対する上書き防止、上書きデータの削除を困難にする。
【００８２】
実施例２においては、図１４に符号Ａ１１を付して示すように、書き換え可能な領域をロゴのサイズ対応に画面のフルサイズに対して比較的小さく確保する。また、実施例１と同様に、ＭＰＥＧ２ビデオストリーム全体を復号化、再符号化することなく、画面の一部分に別の映像（例えばロゴ等）を上書きしたストリームを作ることが出来るようにし、また、映像符号編集装置の小型化と画質の維持を可能にし、復号化、再符号化による遅延もないようにする。
【００８３】
以下、詳細を説明する。
【００８４】
この実施例で用いる映像符号化装置の構成も図１で説明したものと同じである。実施例２では先の実施例１でのスライス単位の画像書き換え（画面の領域を水平分割する方式）ではなく、実施例２では、例えば、図１４に示すように、マクロブロック単位で画面を置換可能領域と置換不能領域に分け、置換可能領域に対して所望の画像を上書きした映像をはめ込むことができるようにするものである。
【００８５】
図１４に、画面の右上から９６画素×９６画素（４×４マクロブロック）を上書き可能領域Ａ１１、その他の部分を上書き不能領域Ａ１２とした例を示す。
【００８６】
図１の映像符号化装置は、上書き可能領域Ａ１１についてはピクチャの符号化タイプがＩピクチャ、Ｐピクチャ、Ｂピクチャに関わらずイントラ符号化する。
【００８７】
置換不能領域Ａ１２については、映像符号化装置の動き補償予測部１５において動き予測をする際に、置換不能領域Ａ１２を参照画面として用いて符号化する。
【００８８】
上記制限を付けた符号化を行った場合には、例えば、ピクチャヘッダーのグループ情報を集めた部分である“ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ（） ”の後に記述される拡張ユーザデータである“ｅｘｔｅｎｔｉｏｎ＿ａｎｄ＿ｕｓｅｒ＿ｄａｔａ（） ”に置換可能領域Ａ１１に関する情報として以下の項目を記述したユーザデータ情報“ｕｓｅｒ＿ｄａｔａ（） ”として記述する。すなわち、記述内容としては、
・「置換可能領域が存在すること」
・「置換可能領域の画面上の位置」
・「置換可能領域の大きさ」
などである。
【００８９】
図１５に置換可能領域Ａ１１に関する情報を記述した“ｕｓｅｒ＿ｄａｔａ（） ”の例を示す。
【００９０】
符号化に際して置換可能領域Ａ１１はＧＯＰ単位に設定することが出来る。
【００９１】
従って、置換可能領域Ａ１１が存在する“ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ（） ”の後に必ず置換可能領域に関する情報を記述した“ｕｓｅｒ＿ｄａｔａ（） ”を付ける。このため、各ＧＯＰには必ずビデオストリームにヘッダ情報としてピクチャグループヘッダ“ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ（） ”を付加する。
【００９２】
置換可能領域Ａ１１の設定が終わった直後のＧＯＰを終了ＧＯＰ“ｃｌｏｓｅｄ＿ ＧＯＰ”としない場合は、置換可能領域Ａ１１が設定されている最後のＰピクチャを参照する直後のＢピクチャの予測符号化には最後のＰピクチャの置換不能領域Ａ１２のみを予測の参照画面とする。
【００９３】
置換符号化をした際の符号量の調整に用いるために各ピクチャの最後に０スタッフィングを追加しておいても良い。
【００９４】
次に、映像符号編集装置について説明する。
［映像符号編集装置］
実施例２における映像符号編集装置の構成例１を図１６に示す。映像符号編集装置は入力ストリームを一旦受信する入力バッファ８１、置換可能領域が含まれているストリームを検出する置換可能領域検出部８２、置換可能領域の映像に上書きする置換可能領域書換部８３からなる。
【００９５】
映像符号編集装置は画像符号化装置よりＭＰＥＧ２の形式に符号化されて与えられる入力ストリーム（ビデオストリーム）を入力バッファ８１に一旦受信する。この入力バッファ８１に一時保持された入力ストリームは、置換可能領域検出部８２に逐次読み込まれる。そして、置換可能領域検出部８２ではこの入力ストリームに対して、以下の処理を行う。
【００９６】
＜置換可能領域検出部８２での処理＞
［処理１］ ビデオストリーム中に含まれているシーケンス情報を記述したシーケンスヘッダ“ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（） ”と、ピクチャグループに関するヘッダ情報である“ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ（） ”を検出してストリームからＧＯＰを切り分ける。
【００９７】
［処理２］ “ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ（） ”の後に図１５に示した置換可能領域Ａ１１に関する情報を記述した“ｕｓｅｒ＿ｄａｔａ（） ”がある場合は、１ＧＯＰ分のストリームを上書き領域検出部８２に出力する。一方、記述がない場合はそのままストリームを出力し、上述の［処理１］に戻る。
【００９８】
［処理３］ 置換可能領域書換部８３にストリームを出力した場合は、置換領域検出部８２がストリーム出力終了を通知するまで待って上述の［処理１］に戻る。
【００９９】
以上が、置換可能領域検出部８２での処理である。
【０１００】
次に置換可能領域書換部８３での処理を説明する。
［置換可能領域書換部８３］
上置換可能領域書換部８３について説明する。
【０１０１】
置換可能領域書換部８３の構成を図１７に示す。
置換可能領域書換部８３は、ストリームを解析して置換可能領域Ａ１１を復号化する復号化部９１、復号画像に上書き画像を上書きする映像上書き部９２、上書きした映像を再び符号化する符号化部９３、上書き用の映像を置いておく上書き用映像ライブラリ９５、並びに前記各部分を制御する全体制御部９４からなる。
【０１０２】
このような構成の上書き可能領域書換部８３における処理の流れを図１８を用いて説明する。
【０１０３】
［Ｓ８１］ ストリームにおけるシーケンスヘッダ“ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ（） ”に含まれる“ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ＿ｍａｔｒｉｘ”を全体制御部９４で保持しておく。
【０１０４】
また、ストリームにおけるピクチャグループヘッダ“ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ（） ”の後の置換可能領域Ａ１１に関する情報を記述したデータ領域であるユーザデータ“ｕｓｅｒ−ｄａｔａ（） ”から置換可能領域のサイズと位置の情報を読み込み、全体制御部９４に保持する。
【０１０５】
［Ｓ８２］ 置換可能領域Ａ１１に関する情報を記述した“ｕｓｅｒ＿ｄａｔａ（） ”を消去するか否かを判定する。
【０１０６】
［Ｓ８３］ そして、その結果、消去する場合は、ストリーム上の“ｕｓｅｒ＿ｄａｔａ（） ”を“０ ”で置き換える。
【０１０７】
［Ｓ８４］ ストリームを解析して１フレーム分のストリームを調べ、ピクチャデータの最後のスタッフィングの“０ ”のバイト数を調べる。
【０１０８】
［Ｓ８５］ 置換可能領域Ａ１１のマクロブロックだけをデコードして再生画像を得る。
【０１０９】
［Ｓ８６］ 再生画像に置換画像を上書きして上書き済み画像を作成する。
【０１１０】
［Ｓ８７］ 上書き済み画像を、デコードに用いた“ｉｎｔｒａ＿ｑｕａｎｔｉｓｅｒ−ｍａｔｒｉｘ”でイントラ符号化する。その際、符号量については以下の条件を用いる。
【０１１１】
《イントラ符号化時の符号量条件》
「（新しく符号化するマクロブロックの符号量のピクチャ単位での合計符号量）＜（元のマクロブロックの符号量のピクチャ単位での合計符号量＋ピクチャデータの最後のスタッフィングの“０”の符号量）」
［Ｓ８８］ 「出来たストリームを元のストリームと置き換える」
［Ｓ８９］ スタッフィングを用いて符号量を合わせる。新しく作ったマクロブロックの符号量のピクチャ単位での合計が元のマクロブロックの符号量の合計より多い場合は多い分だけピクチャの最後にある“０”を削除する。また、少ない場合は少ない分だけ“０”を挿入する。」
［Ｓ９０］ ストリームを出力する。
【０１１２】
［Ｓ９１］ ＧＯＰ終了か否かを判断する。その結果、ＧＴＯ終了でなければＳ８４の処理に戻り、Ｓ８４以降の処理を繰り返す。もし、ＧＴＯ終了であったならば、Ｓ９２の処理に移る。
【０１１３】
［Ｓ９２］ ストリームの出力終了を置換可能領域検出部に通知する。そして、処理を終了する。置換可能領域を完全に他の映像と置き換えてしまう場合には、あらかじめイントラ符号化したマクロブロックデータを作成しておいて、置換可能領域のデコードは行わずに置き換えることも可能である。
【０１１４】
以上、実施例２に示した本発明システムを用いることにより、ＭＰＥＧ２ビデオストリーム全体を復号化、再符号化することなく、画面の一部分に別の映像（例えばロゴ）を上書きしたストリームを作ることが出来るようになる。そして、これにより映像符号編集装置でＭＰＥＧ２ビデオストリーム全体を復号化、再符号化する必要はないので映像符号編集装置を小型にでき、画像の劣化を防ぎ、復号化、再符号化による遅延がなくなる。
【０１１５】
これにより、例えばデジタル放送を行う際に上書き可能領域に放送局のロゴを上書きすることにより映像が複製された場合にオリジナルが何であるかが分かるようになる。さらに上書き可能領域Ａ１１の有無、領域の画面上の位置、大きさを記述したユーザデータを消去することにより、ストリームに対する上書き防止、上書きデータの削除を困難にする。
【０１１６】
尚、本発明は上述した実施例に限定されるものでなく、要旨を変更しない範囲内で適宜、変形して実施し得るものである。
【０１１７】
【発明の効果】
以上、第一の本発明を用いることにより、動画像符号化の標準的な手法の一つであるＭＰＥＧ２におけるビデオストリームを復号化、再符号化することなく画面の一部分を別の映像（例えばＣＭ（コマーシャルメディア））で置換したストリームを作ることが出来る。これにより映像符号編集装置でＭＰＥＧ２ビデオストリームを復号化、再符号化する必要がないので映像符号編集装置を小型にでき、画像の劣化を防ぎ、復号化、再符号化による遅延がなくなる。
【０１１８】
また、第二の本発明を用いることにより、ＭＰＥＧ２ビデオストリーム全体を復号化、再符号化することなぐ画面の一部分に別の映像（例えばロゴ）を上書きしたストリームを作ることが出来る。これにより映像符号編集装置でＭＰＥＧ２ビデオストリーム全体を復号化、再符号化する必要がないので映像符号編集装置を小型にでき、画像の劣化を防ぎ、復号化、再符号化による遅延がなくなる。これにより、例えばデジタル放送を行う際に上書き可能領域に放送局のロゴを上書きすることにより映像が複製された場合にオリジナルが何かが分かる。
【０１１９】
いずれの発明でも、さらに置換可能領域の有無、領域の画面上の位置、大きさを記述したユーザーデータを置換処理後消去することにより、ストリームに対する再置換防止、置換データの削除を困難にする。
【図面の簡単な説明】
【図１】本発明を説明するための図であって、本発明システムに用いる映像符号化装置の構成例を示すブロック図。
【図２】本発明を説明するための図であって、本発明の実施例１における置換可能領域と置換不能領域の分割の例を説明する図。
【図３】本発明を説明するための図であって、本発明において使用するユーザヘッダにおける“ｕｓｅｒ＿ｄａｔａ（） ”ユーザデータの内容の例を示す図。
【図４】本発明を説明するための図であって、本発明において使用するユーザヘッダにおける“ｕｓｅｒ＿ｄａｔａ（） ”の内容の例を説明する図。
【図５】本発明を説明するための図であって、本発明において使用するユーザヘッダにおける“ｕｓｅｒ＿ｄａｔａ（） ”の内容の例を説明する図。
【図６】本発明を説明するための図であって、本発明の実施例１における映像符号編集装置の構成例を示すブロック図。
【図７】本発明を説明するための図であって、本発明の実施例１における映像符号編集装置におけるｔｙｐｅ１の場合での置換用ストリーム選択の手順を説明する図。
【図８】本発明を説明するための図であって、本発明の実施例１における映像符号編集装置でのｔｙｐｅ１置換用ストリームで置換する場合の手順を説明する図。
【図９】本発明を説明するための図であって、本発明の実施例１における映像符号編集装置のｔｙｐｅ２置換用ストリーム選択の手順を説明する図。
【図１０】本発明を説明するための図であって、本発明の実施例１における映像符号編集装置のｔｙｐｅ２置換用ストリームで置換する場合の手順を説明する図。
【図１１】本発明を説明するための図であって、本発明の実施例１における映像符号編集装置の別の構成例を示すブロック図。
【図１２】本発明を説明するための図であって、本発明の実施例１における図１１の映像符号編集装置でのｔｙｐｅ２置換用ストリーム選択の手順を説明するための図。
【図１３】本発明を説明するための図であって、本発明の実施例１における映像符号編集装置のｔｙｐｅ２置換用ストリームで置換する場合の手順を説明する図。
【図１４】本発明を説明するための図であって、本発明の実施例２における上書き可能領域と上書き不能領域の分割の例を説明する図。
【図１５】本発明を説明するための図であって、本発明の実施例２における上書き可能領域に関する情報を記述したｕｓｅｒ＿ｄａｔａ（） の内容の例を示す図。
【図１６】本発明を説明するための図であって、本発明の実施例２における映像符号編集装置の構成例を示すブロック図。
【図１７】本発明を説明するための図であって、本発明の実施例２における上書き可能領域検出部の構成例を示すブロック図。
【図１８】本発明を説明するための図であって、本発明の実施例２における上書き可能領域検出部の処理の流れを説明するフローチャート。
【符号の説明】
１１…動き検出部
１２…減算器
１３…ＤＣＴ（直交変換）処理部
１４…量子化部
１５…逆量子化部
１６…逆ＤＣＴ処理部
１７…加算器
１８…フレームメモリ
１９…動き補償予測部
２０…可変長符号化部
２１…全体制御部
２２…パラメータ入力部
２３…入力動画信号
６１…ストリーム解析部
６２…ストリーム置換部
６３…置換用ストリームライブラリ
７１…バッファ
７２…置換用映像符号化部
７３…原画像
８１…入力バッファ
８２…上書き可能領域検出部
８３…上書き部可能領域書換部
９１…復号化部
９２…映像上書き部
９３…符号化部
９４…全体制御部
９５…上書き用映像ライブラリ。

Claims (10)

1. 符号化対象画像の画面領域をデータ入れ替えを許可した置換可能領域と不許可にした置換不能領域とに分け、置換不能領域の予測符号化を行う際に置換可能領域を予測の参照画面に用いることなくＭＰＥＧ２ビデオス卜リームを作成する符号化手段と、
   前記ＭＰＥＧ２ビデオストリームの置換可能領域を他の映像に置換する編集手段とを具備し、
   前記符号化手段は、前記符号化対象画像のピクチャタイプ毎に置換可能領域に割り当てる符号量を一定量以上にすることを特徴とする映像符号化装置。
2. 請求項１記載の映像符号化装置において、前記置換可能領域をＧＯＰ単位で設定／解除する手段をさらに備えることを特徴とする映像符号化装置。
3. 請求項１または２記載の映像符号化装置において、前記置換可能領域の有無、領域の大きさ、位置情報を示すユーザーデータを前記ＭＰＥＧ２ビデオストリームにＧＯＰ単位に多重する手段をさらに備えることを特徴とする映像符号化装置。
4. 請求項１乃至３のいずれか１項記載の映像符号化装置において、前記符号化手段は前記画面領域をスライス単位で前記置換可能領域と置換不能領域とに分けすることを特徴とする映像符号化装置。
5. 請求項１乃至４のいずれか１項記載の映像符号化装置において、前記符号化手段は前記置換可能領域をピクチャタイプに無関係にイントラ符号化により符号化することを特徴とする映像符号化装置。
6. 請求項１乃至５のいずれか１項記載の映像符号化装置において、前記符号化手段は前記画面領域をマクロブロック単位で前記置換可能領域と置換不能領域とに分けすることを特徴とする映像符号化装置。
7. 符号化対象画像の画面領域をデータ入れ替えを許可した置換可能領域と不許可にした置換不能領域とに分け、置換不能領域の予測符号化を行う際に置換可能領域を予測の参照画面に用いることなくＭＰＥＧ２ビデオス卜リームを作成する符号化手段と、
   前記ＭＰＥＧ２ビデオストリームの置換可能領域を他の映像に置換する編集手段とを具備し、
   前記符号化手段は、前記符号化に際して前記置換可能領域を有する各ピクチャのストリームの最後にスタッフィングを挿入する手段を備えることを特徴とする映像符号化装置。
8. 請求項１乃至７のいずれか１項記載の映像符号化装置において、前記編集手段は前記ＭＰＥＧ２ビデオストリームに対して前記置換可能領域を別のスライスで置換することを特徴とする映像符号化装置。
9. 請求項１乃至８のいずれか１項記載の映像符号化装置において、前記編集手段は、前記ＭＰＥＧ２ビデオストリームのうち前記置換可能領域のみを復号化し、復号した画像の一部または全部に画像を上書した後に再びイントラ符号化により符号化したストリームで前記置換可能領域のストリームを置換することを特徴とする映像符号編集装置。
10. 請求項３記載の映像符号化装置において、前記編集手段は前記ストリームの置換の際に前記置換可能領域の有無、領域の大きさ、位置情報を示すユーザーデータを消去する手段を備えることを特徴とする映像符号化装置。

Images