JP5015375B2 - 小画像を挿入するｍｐｅｇ標準に準拠した画像の符号化方法及び装置 - Google Patents

Description

【０００１】
本発明は、ＭＰＥＧ標準に準拠して符号化された画像に小画像を挿入する画像符号化方法に関する。
【０００２】
数年前までは、生成された画像は、テレビジョン信号放送局の間で非圧縮形式画像のままで、すなわち、明瞭な画像として伝送、交換されていた。
【０００３】
ソースプログラムを適合させる必要があるとき、画像の処理は専門家用ハードウエアに基づいて行われていた。たとえば、監督が並列したチャネルからのリポートを利用する必要があるとき、監督は、ミキサーの助けを借りて、付加的な機器を用いることなく、固有のロゴ、サブタイトルのような情報、試合の結果などを簡単に挿入することができた。
【０００４】
現在、データのブロードキャスト及び交換は、たとえば、ＭＰＥＧ標準に準拠した圧縮データ形式で行われ、挿入技術は付加的なハードウエア、たとえば、
圧縮画像をミキサーの入力側でベースバンドへ移すデコーダ、及び、修正後のシーケンスを再符号化するコーダを要求する。また、再符号化の質をよくするため、符号化された信号に付加され、再エンコーダに到達する前に全てのスタジオ機器を通過する補助情報を管理する方法を意識するデコーダ／コーダのペアを組み込む必要があるので、システムが複雑化する。
【０００５】
本発明の目的は、従来技術の欠点を解決することである。
【０００６】
本発明は、参照画像に関して動き推定されたインターモード及びイントラモードを使用して、少なくとも一つの小画像を画像に挿入する、ＭＰＥＧ標準に準拠した画像符号化方法であり、
小画像の場所に部分的に重なるマクロブロックを含む除外領域を画像内で定義し、
除外領域に属していない画像のマクロブロックの動き推定は、参照画像内の除外領域に属する画像ブロックを考慮し得ないことを特徴とする。
【０００７】
具体的な実施態様によれば、除外領域に属する画像のマクロブロックの符号化用のインターモードは、動きベクトルが存在しないインターモードである。
【０００８】
具体的な実施態様によれば、除外領域に属する画像のマクロブロックの符号化には強制的にイントラモードになる。
【０００９】
具体的な実施態様によれば、除外領域に属する参照画像のマクロブロックのマーキングが行われる。
【００１０】
具体的な実施態様によれば、マーキングは、最大符号値と一致するマクロブロックの輝度値を減少させ、除外領域に属するマクロブロックの輝度値を強制的に最大符号値にすることにより、マクロブロックの輝度値をコード変換する。
【００１１】
具体的な実施態様によれば、マクロブロックの所定の行に対し、符号化は、除外領域に属するマクロブロック用の特定のスライスを割り当てる。
【００１２】
また、本発明は、上述の方法に従って符号化された画像に小画像を挿入する方法に係り、イントラ符号化スライスのマクロブロックは小画像に関連したマクロブロックによって置き換えられることを特徴とする。
【００１３】
具体的な実施態様によれば、この置き換えは、除外領域に対応したイントラ符号化されたマクロブロックの復元と、これらのマクロブロックのベースバンド復号化と、除外領域に挿入される小画像との混合と、置き換えマクロブロックを生成するための獲得された画像の符号化とを含む。
【００１４】
具体的な実施態様によれば、除外領域に属するマクロブロックの符号化の量子化間隔は、挿入されるマクロブロックを符号化するコストの関数である。
【００１５】
本発明は、第１の入力側でイントラマクロブロックを受け、第２の入力側で予測マクロブロックを受け、インターマクロブロックを生ずるべく、イントラマクロブロックから予測マクロブロックを減算する減算器と、エネルギー規準に応じて一つのマクロブロックを選択すべく、イントラマクロブロック又はインターマクロブロックを受け取るインターモード又はイントラモードを選択する選択回路と、量子化された係数のマクロブロックを生ずるべく、選択されたマクロブロックを変換し量子化する回路と、量子化された係数のマクロブロックを可変長符号化する回路と、符号化装置の出力側にデータストリームを生ずるバッファメモリと、量子化された係数のマクロブロックから再構成されたマクロブロックを獲得する逆量子化及び逆変換回路と、再生マクロブロックを生ずるべく再構成されたマクロブロックを予測マクロブロックに加算する加算器と、再生マクロブロックを記憶し再生画像を生ずるメモリ及び予測器と、イントラマクロブロック及び再生マクロブロックを受け、予測型ブロックを計算するためメモリ及び予測器に動きベクトル（ＭＶ）を与える動き推定器と、バッファメモリから情報を受け、変換及び量子化回路用の量子化間隔を設定する調節回路と、を有し、少なくとも一つの小画像を画像に挿入するＭＰＥＧ標準に準拠したデジタルビデオデータの符号化装置であって、
選択回路及び動き推定器は、小画像の場所に部分的に重なるマクロブロックを含む除外領域（ＺＥ）に関係した情報項目を受け取り、
選択回路は除外領域に属するマクロブロックをイントラ符号化させ、
動き推定器は、除外領域に属する再生画像のブロックから出る動きベクトルを除去すると同時に、動きベクトルを計算する、
ことを特徴とする。
【００１６】
具体的な実施態様によれば、符号化装置は、除外領域のマクロブロックに対し変換及び量子化回路の量子化間隔を適応させるため、調節回路が除外領域を定義する情報項目を受け取ることを特徴とする。
【００１７】
本発明の原理は、画像内で除外領域を定義し、除外領域に属していない画像の符号化が除外領域とは無関係に行われ、除外領域へ向かう動きベクトルは、状況に応じて考慮されないことである。小画像の画像シーケンスへの挿入は、画像の復号化を所定の領域に制限したままで簡単な方式で行われる。
【００１８】
本発明の主要な利点は、複雑かつ高価な機器、すなわち、専門家用デコーダ及びコーダを使用しなくてもよい点である。この利点は、高精細テレビジョンフォーマット、すなわち、ＨＤＴＶのような使用されるフォーマットが複雑な機器の利用を必要とする場合にさらに顕著である。
【００１９】
画像の復号化及び符号化は、挿入がＭＰＥＧデータストリームのレベルで行われるならば容易に除去され、或いは、画像の復号化及び符号化は、ベースバンドで動作するときにイントラモードで符号化された画像の領域に制限される。これらの領域の復号化及び記録は、動き推定器及びその他の複雑な復号化回路を要求しないソフトウエアによって行われる。
【００２０】
本発明のその他の特徴及び利点は、非限定的な例が示された添付図面を参照して以下の説明を読むことにより明瞭になるであろう。
【００２１】
ＭＰＥＧ標準に準拠したシステムのように動き補償を伴う画像符号化システムにおいて、所定の画像ブロックに関する動きベクトルの探索は、予め処理されデコーダへ送信された参照画像に基づいて行われる。
【００２２】
図１には、ソース画像と称される第１の画像１と、参照画像と呼ばれる第２の画像２とが示され、ソース画像は参照画像から符号化される。ソース画像の画像ブロック３の符号化は、このブロックと、参照画像内の探索窓に含まれる同じ寸法のブロックとの相関を求め、最大の相関が得られる参照画像を決定することにより行われる。次に、符号化は、残余部分のブロックと対応する。このブロックは、差分ブロックを得るため、ソース画像のブロックと基準ブロックとの間で輝度差分及び色度差分を行い、残余部分のブロックである係数のブロックを得るため、この差分ブロックを離散コサイン変換することにより獲得される。基準ブロックは、現在ブロックの基準ブロックに対する移動量を表現する動きベクトルによって定義される。動きベクトルの成分は、圧縮データと共に、ＭＰＥＧデータストリーム中で伝送される。
【００２３】
ソース画像のサイズ及び参照画像のサイズは同一であり、ベクトルは、参照画像に含まれる任意の領域へ向けられ得る。
【００２４】
本発明による符号化方法は、禁止され、挿入若しくは混合される小画像に対応した一つ以上の領域へ向けられた動きベクトルを除外した動き推定を利用する。
【００２５】
より詳細に説明すると、画像に挿入される予定の小画像は、任意の寸法であり、画像内の場所を定める。禁止宣言領域又は除外領域は、マクロブロック解像度を有し、すなわち、除外領域は、この場所に完全に重なる画像のマクロブロックの集まりだけではなく、この場所に部分的に含まれるマクロブロックにも対応する。
【００２６】
除外領域（ＺＥ）又は禁止領域４は、参照画像２に示されている。この領域は、たとえば、領域の左上及び右下に存在する点Ｂａ及びＥａの座標に基づいて定義される。テレビジョン走査を想定したとき、点Ｂａは領域の始まりに対応し、点Ｅａは領域の終わりに対応する。これらの座標は、これらの点を取り囲むマクロブロックの番号、或いは、行番号と行内のマクロブロック番号である。この領域は、領域を構成するマクロブロックの番号によって定義してもよい。
【００２７】
動きベクトルＶｘ，ｙは、上述の相関ステップに基づいて計算される。本例の場合、動きベクトルＶｘ，ｙは、禁止領域内にあるブロックを指定する。本発明の方法によれば、このブロックは、ブロック３の符号化のため採用されない。
【００２８】
図２では、図１に示された要素と同じ要素を指定するために同じ参照記号が使用される。本例の場合、現在ブロック３と最大の相関があるブロックの探索が探索窓５の内部で行われる。動きベクトルＶｘ，ｙに基づいて定義されたブロックは、除外領域４に侵入するので、この動きベクトルは採用されない。
【００２９】
採用された動きベクトルは、最大の相関が得られる動きベクトルであって、かつ、禁止領域に侵入するブロックを指定しない動きベクトルである。探索窓内で指定され、除外領域に属する点を含むブロックは、所与のマクロブロックに関する最終的な選択から除かれる。探索窓内のあらゆる候補位置が除外領域に侵入する場合、関連したマクロブロックに対する動きベクトルは強制的に零にされる。
【００３０】
この方法は、グローバル符号化装置の構築に関連した動き推定器によって利用される方法である。以下では、図３に示されたこのタイプの符号化装置について説明する。
【００３１】
画像シーケンスのソース画像は、デジタル符号化後に、ＭＰＥＧ標準に従って並べ替えられ、マクロブロックに分けられ、マクロブロック単位で装置の入力Ｉ_Ｓへ送られる。この入力は、減算器６の第１の入力と、インター／イントラ選択器７の第１の入力と、動き推定器１２の第１の入力に並列に接続される。減算器の出力は、モード選択器７の第２の入力に接続される。選択器の出力は、符号化回路８の第１の入力に接続され、符号化回路８は、受信したマクロブロックの離散コサイン変換と、獲得された係数のマクロブロックの量子化とを行う。これらのマクロブロックは、可変長符号化回路１３に送られ、次に、バッファメモリ１４へ送られ、バッファメモリの一方の出力は、符号化データをデータストリームの形式で送出する符号化装置の出力である。可変長符号化回路１３は，送信されるデータストリームを構成する構文発生器１６とデータを交換する。可変長符号化回路１３は、動き推定器１２から発生した動き情報を受け取る。バッファメモリ１４の第２の出力は、調節回路１５に接続され、調節回路は、符号化回路８の第２の入力へ情報を送る。
【００３２】
符号化回路８に存在する符号化マクロブロックは、符号化回路８と逆の演算を実行する復号化回路９にも送信される。このように構成されたマクロブロックは、加算器１０の第１の入力へ送られる。加算器の出力は、メモリ及び予測回路１１の第１の入力に接続され、メモリ及び予測回路１１は予測されたマクロブロックを出力に供給する。このマクロブロックは、減算器６の第２の入力と、加算器１０の第２の入力に送信される。
【００３３】
第２の入力側で、動き推定器１２は、メモリ及び予測回路１１の第２の出力から生じた再生画像のマクロブロックを受け取る。返答として、動き推定器１２は、動き情報をメモリ及び予測回路１１に供給する。
【００３４】
選択器７、調節回路１５、動き推定器１２、及び、構文発生回路１６は、他方で、画像内の除外領域に関する情報を受け取る。
【００３５】
ソース画像の現在マクロブロックは、符号化装置の入力側で受け取られる。このマクロブロックは、その形式からイントラマクロブロックと呼ばれ、減算器６の第１の入力に渡される。減算器６は、このイントラマクロブロックから予測マクロブロックを減算し、インターマクロブロックと称される差分マクロブロックを生ずる。インター／イントラ選択器は、第１の入力側でイントラマクロブロックを受け取り、第２の入力側でインターマクロブロックを受け取り、エネルギー規準、たとえば、符号化コストの関数として、これらのマクロブロックの中の一方を選択する。インターマクロブロックが選択された場合、イントラ符号化モードが係る。選択されたマクロブロックは、次に、離散コサイン変換によって変換され、係数ブロックが得られ、調節回路１５によって量子化間隔の関数として量子化される。量子化された係数のマクロブロックは、ＶＬＣコーダとも称される可変長符号化回路１３によって可変長符号化される。この符号化回路１３によって受信されるデータには、構文発生器１６によって送られた情報が付加され、これらのデータから、ＭＰＥＧ標準に関連した構文に従ってデータのストリームを生成することができるようになる。これらのデータは、次に、バッファメモリ１４へ送られ、バッファメモリ１４の使用レベルは調節回路１５へ供給され、調節回路１５はマクロブロックの係数の量子化間隔を制御し、その結果としてビットレートを調節する。
【００３６】
量子化された係数のマクロブロックは、復号化回路９へ渡され、対応した予測マクロブロックを付加した後、再生マクロブロックがメモリ及び予測回路１１へ供給される。これらのマクロブロックを記憶することにより、再生画像が得られる。再生マクロブロックは、図４を参照して後述するように、ソース画像の現在マクロブロックに関係した動きベクトル（ＭＶ）を計算する動き推定器１２へ渡される。メモリ及び予測回路によって受け取られた動きベクトルは、マクロブロックを定義することが可能であり、このマクロブロックは、再生画像内で、現在マクロブロックの符号化用の予測マクロブロックとして使用される。
【００３７】
構文発生回路１６、選択回路７、調節回路１５及び動き推定器１２は、除外領域に関係した情報（ＺＥ）を受け取る。除外領域は、たとえば、ロゴ、数字、サブタイトルなどの付加情報を挿入若しくは混合することが望ましい画像領域である。
【００３８】
ＭＰＥＧ符号化は、画像がスライスに切り分けられることを要求する。スライスとは、ＭＰＥＧの定義によれば、マクロブロックの同じ水平行の部分を形成するマクロブロックの連続系列である。したがって、スライスは、１６本のビデオラインにより構成される。
【００３９】
スライスの前には、デコーダによって容易に識別されるヘッダが先行する。５０Ｈｚ標準のテレビジョンフォーマットの場合、５７６本の有効ラインが３６個のスライスに配分され、スライスは行に対応し、画像の幅全体に拡がる。この標準は、同じ行内で、すなわち、一つの画像幅に亘り複数のスライスを定義することによって、より精細な切り取りを行う可能性を生ずる。
【００４０】
この可能性は、一部分が除外領域に属するラインの符号化のため利用される。かくして、関連したマクロブロックは特定のスライスに分類され、これらの特定のスライスに関するヘッダに属するビットは、これらの特定のスライスが全てイントラモードで符号化されたことを示す。したがって、所定の行に対し、構文派生回路は、除外領域に属する先頭のマクロブロックに対しスライスヘッダを生成する。同様に、除外領域に属していない先頭のマクロブロックに対し、スライスヘッダが生成される。所定の行に対し生成されるスライスの数は、この行内の除外領域の数に依存する。
【００４１】
除外領域に入った後、一方のスライスから別のスライスへ移る動作によって、スライス自体を先行スライスから分離することができる。マクロブロックがイントラモードで符号化されたとしても、このマクロブロックのＤＣ係数は、同じスライス内の先行マクロブロックのＤＣ係数を呼び出す。マクロブロックの符号化は、各スライスの先頭のマクロブロック以外の先行マクロブロックに依存する。かくして、スライスの切り替りによって、スライス自体を現在の周囲画像から完全に分離することが可能になる。除外領域を復号化するとき、この除外領域だけを復号化することを選択するので、スライスを現在の周囲画像から完全に分離することが必要になる。また、小画像に対応したマクロブロックを除外領域に挿入するときに、マクロブロックは除外領域の外側の情報を呼び出す必要がなく、スライスを現在の周囲画像から完全に分離することが必要になる。
【００４２】
画像の除外領域は、（図示されない）処理回路によって、既に説明したように、行番号及び行内のマクロブロック番号（又は、画像内のマクロブロックの番号）に変換される。この情報ＺＥは、インター／イントラモード選択回路７へ送られ、インター／イントラモード選択回路７は、行と、行内で処理されたマクロブロック（又は、画像内で処理されたマクロブロック）をカウントし、受け取った現在マクロブロックが除外領域のマクロブロックに対応するとき、強制的にイントラモードの符号化を選択する。この情報ＺＥは構文発生回路へも送られ、構文発生回路は、除外領域に属するマクロブロックのグループ毎に可変長符号化回路内の新しいスライスの生成をトリガーし、行毎にこの動作を繰り返す。この情報は調節回路１５へも渡される。調節回路１５は、量子化器８によって使用される量子化間隔を、バッファメモリの使用レベルの関数として調節回路によって計算された値よりも小さくし、これにより、除外領域の解像度を高くすることが可能である。代用される小画像の符号化コストが原画像の除外領域の符号化コストよりも高い場合、この除外領域の符号化コストを人工的に増加させ、データストリーム内のマクロブロックの置き換えを促進することが可能である。別の解決法は、小画像の符号化コストが原画像の除外領域の符号化コストよりも高くならないように小画像の解像度を下げることである。この情報は、最終的に動き推定器へ送られ、図４に明示された動き推定器は、除外領域へ向かう動きベクトルの選択を防止する。
【００４３】
除外領域に関するマクロブロック番号及び行番号を受け取る多数の回路は、処理されたマクロブロックを識別するためのカウンタを具備する。
【００４４】
以上の説明は、小画像を予め定められた領域へ挿入する処理と両立する画像シーケンスの符号化に関係する。したがって、これらのデータのユーザは、スライスに属しイントラ符号化されたマクロブロックを含む除外領域に関するデータを抽出し、抽出されたデータをユーザ専用データと混合することができる。ミキシング以外の簡単な挿入に関する場合、専用データは除外領域に関するデータに置き換わる。
【００４５】
上述の符号化装置によって、除外領域がイントラモードだけで符号化され、イントラスライスと称される特定のスライスにまとめられる、データストリーム（符号化画像シーケンス）を生成できるようになる。
【００４６】
実際上、各画像には、除外領域を除く領域で標準ＭＰＥＧ２符号化処理が施される。この特定の事項は、たとえば、画像を受信、復号化、表示するだけで足りる大量販売用のデコーダには全く意識されない。
【００４７】
これに対し、除外領域の存在が圧縮シーケンス内でわかるならば、復号化、ミキシング／挿入、及び、再符号化の処理演算をその領域だけで行うことが可能である。この処理演算は、ＰＣ（パーソナルコンピュータ）型の計算機を用いて実行可能であり、すなわち、純粋にソフトウエア処理によって実行される。なぜならば、復号化、ミキシング／挿入、及び、再符号化は、常に寸法が小さく、かつ、予測若しくは動き補償を計算することなく、現在画像に属する情報だけを用いて符号化された除外領域に限定されるからである。
【００４８】
画像に挿入される特定データが予め知られている場合には、僅かに変形された形態の符号化装置を使用してもよい。
【００４９】
この場合、構文発生回路１６は、メモリを保有するか、或いは、挿入すべき特定データを、イントラモードで符号化された小画像を構成するマクロブロックの形式で外部から受信する。この回路は、可変長符号化回路において、除外領域のイントラ符号化に対応したマクロブロックを、小画像を符号化するマクロブロックで置き換える。かくして、データストリームに対し直接的に、小画像又はロゴの挿入を行える。
【００５０】
量子化された係数のマクロブロックの形式での小画像の符号化は、実時間で処理する必要がない場合には、デジタル符号化されたベースバンドの小画像のソフトウエア処理（ＭＰＥＧ符号化のアルゴリズムの一部）に基づいて容易に実行される。
【００５１】
図４には、上述の符号化装置で使用される動き推定器が示されている。
【００５２】
符号化されるべき現在画像、又は、ソース画像のマクロブロックは、動き推定器１２の第１の入力側で受け取られる。このマクロブロックは、動きベクトルを計算する回路１７へ渡される。参照画像のマクロブロックは、動き推定器１２の第２の入力側で受け取られ、コード変換回路１８の入力へ送られる。コード変換回路１８は、マクロブロックの変換された輝度値を、除外領域に属するマクロブロックをマーキングするマーキング回路１９へ渡す。除外領域に関する情報（ＺＥ）は、動き推定器１２の第３の入力側で受け取られ、マーキング回路１９の第２の入力側へ与えられる。マーキング回路１９はメモリ２０と接続される。動きベクトルを計算する回路１７は、メモリ２０にも接続される。メモリ２０の出力は、動き推定器１２の出力でもあり、ソース画像の各マクロブロックに対応した動きベクトル（ＶＭ）を生成する。
【００５３】
ソース画像のマクロブロックは、動きベクトルを計算する回路１７へ与えられる。ソース画像のマクロブロックは、図３の符号化装置への入力として送信されたマクロブロックである。参照画像のマクロブロックは、再生され、メモリ及び予測回路１１によって送信される。
【００５４】
動き推定器によって処理された点又は画素の値は、通常、８ビットで表現され、すなわち、輝度値のコーディングは、０乃至２５５である。参照画像のマクロブロックは、コード変換回路１８に渡され、コード変換回路１８は、たとえば、値２５５を値２４４で符号化することにより、輝度値のコーディングを０乃至２５４に抑える。特に、値２５５は参照画像内では稀にしか現れない値であるため、推定の品質に悪影響を与えない。
【００５５】
このようにコード変換された輝度値は、マーキング回路１９へ渡される。マーキング回路は、現在処理されている画像の除外領域に関する情報（ＺＥ）も受け取る。
【００５６】
この情報は、たとえば、除外領域の左上隅に対応したスライス番号及びこのスライス内のマクロブロックの番号と、右下隅にあるスライス番号及びマクロブロック番号である。除外領域の寸法は、これらの番号のペアに基づいて、画像毎に予め１回ずつ定めされる。除外領域は、画像内の任意の場所に配置することができ、参照画像のサイズの全部若しくは一部を選択することができる。
【００５７】
マーキング回路によって受け取られたマクロブロックは、行毎にカウントされ、除外領域に属するマクロブロックは強制的に値２５５にされる。実際上、マクロブロックを構成する輝度ブロックだけが動き推定に関係し、色度ブロックは考慮されない。これらのブロックを構成する全ての画素の輝度値、たとえば、４個の輝度ブロック毎に８×８個の値は、強制的に２５５にされる。このように符号化された輝度値は、参照画像メモリ２０へ送られ、参照画像メモリはこのように符号化された輝度値を画像毎に記憶する。除外領域に関連した情報項目は、このように輝度値によって伝搬される。したがって、この情報項目は、除外領域のマーキングと呼ばれる。
【００５８】
動き推定器のもう一方の入力側で受信されたソース画像マクロブロック毎に、動きベクトルを計算する回路は、画像メモリ２０内で、より厳密には、この画像の探索窓内で、既に説明した通り、このマクロブロックの輝度ブロックと最も良く相関する輝度ブロックを探す。
【００５９】
相関計算によってマーキングされた輝度ブロックが判定された場合、このブロックは無視される。最良の相関が得られたマーキングの無いブロックが選択される。探索窓の全てのブロックが除外領域に属する場合、対応したマクロブロックに対する動きベクトルは、強制的に０にされる。
【００６０】
勿論、上述のマーキングは一例に過ぎない。より一般的な方法によるマーキングは、最大符号化値に対応した値をデクリメントし、次に、除外領域に属するマクロブロックの輝度値を強制的にこの最大符号化値と一致させることによりマクロブロックの輝度値のコード変換を実行する。
【００６１】
上記実施例では、除外領域に属する画像のマクロブロックのイントラ符号化が説明されている。しかし、本発明は、この特定の実施例に限定されない。これらのマクロブロックをヌル動きベクトルと共にインターモードで符号化してもよい。或いは、参照画像の除外領域に属するブロックを参照画像からの動きベクトルの計算のため考慮することにより、マクロブロックを動き補償されたインターモードで符号化してもよい。この場合、動きベクトルを計算する回路は、除外領域のブロックに対し、再生された除外領域のブロックを記憶したメモリへアクセスするであろう。その目的は、画像の除外領域に属するマクロブロックを画像の残りの部分とは独立するように符号化することである。
【００６２】
除外領域の定義は、特定の処理要素が管理できるならば、任意の形式に拡張することができる。特定の処理要素は、適宜、動き推定器の外部又は内部に設けられる。
【００６３】
本発明は、ロゴ又は利用者に固有のその他の小画像の挿入と両立した画像の符号化に関する。本発明は、挿入画を含む画像の実時間符号化にも関係する。
【図面の簡単な説明】
【図１】 参照画像内の除外領域を示す図である。
【図２】 参照画像の探索窓内の予測マクロブロックの禁止位置を示す図である。
【図３】 本発明による符号化装置の構成図である。
【図４】 本発明による符号化装置で使用される動き推定器を示す図である。

Claims (9)

1. ＭＰＥＧ標準に準拠して画像を符号化する際に少なくとも一つの小画像を前記画像に挿入するためにインターモード及びイントラモードを利用して参照画像に関する動きを推定する動き推定方法であって、
   メモリに記憶された前記参照画像と、原画像とを比較することで動きベクトルを計算する、動き推定するステップと、
   前記参照画像の輝度値を変換し、前記小画像の場所に少なくとも部分的に重なるマクロブロックを含む除外領域に属するマクロブロックを、該マクロブロックの輝度値に応じてマーキングするステップと、
   を含み、
   前記除外領域に属する画像のマクロブロックから指し示される動きベクトルは、前記動き推定する工程における動きベクトルの計算から除外され、
   前記除外領域に属するマクロブロックは、前記小画像を構成するマクロブロックによって置き換えられるマクロブロックである、前記動き推定方法。
2. 前記マーキングするステップは、最大符号値と一致するマクロブロックの輝度値を減少させ、前記除外領域に属するマクロブロックの輝度値を最大符号値に一致させることにより、マクロブロックの輝度値をコード変換するステップを更に含む、請求項１記載の動き推定方法。
3. 前記除外領域に属する画像のマクロブロックを符号化するインターモードは、動きベクトルが存在しないインターモードである、請求項１記載の動き推定方法。
4. 前記除外領域に属する画像のマクロブロックを符号化するためにイントラモードにされる、請求項１記載の動き推定方法。
5. マクロブロックの所定の行に対し、符号化は前記除外領域に属するマクロブロック用の特定のスライスを割り当てる、請求項１記載の動き推定方法。
6. イントラ符号化されたスライスのマクロブロックを、小画像に関連したマクロブロックによって置き換えるステップを更に含む、請求項４記載の動き推定方法。
7. イントラ符号化されたスライスのマクロブロックを、小画像に関連したマクロブロックによって置き換えるステップは、
   前記除外領域に対応したイントラ符号化されたマクロブロックを復元するステップと、
   復元されたマクロブロックをベースバンド復号するステップと、
   前記除外領域に挿入される小画像と混合するステップと、
   置き換え用のマクロブロックを生成するため、得られた画像を符号化するステップと
   を更に含む、請求項６記載の動き推定方法。
8. 前記符号化は、前記除外領域に属するマクロブロックの符号化の量子化間隔を、挿入されるマクロブロックを符号化するコストの関数として適応させる、請求項６記載の動き推定方法。
9. ＭＰＥＧ標準に準拠してデジタルビデオデータを符号化する際に少なくとも一つの小画像を画像に挿入するために、参照画像に関する動きを推定する動き推定装置であって、
   メモリに記憶された前記参照画像と、原画像とを比較することで動きベクトルを計算する動き推定回路と、
   前記参照画像の輝度値を変換する変換回路と、
   前記小画像の場所に少なくとも部分的に重なるマクロブロックを含む除外領域に属するマクロブロックを、該マクロブロックの輝度値に応じてマーキングするマーキング回路と
   を備え、
   前記除外領域に属する画像のマクロブロックから指し示される動きベクトルは、前記動き推定回路における動きベクトルの計算から除外され、
   前記除外領域に属するマクロブロックは、置換回路により、前記小画像を構成するマクロブロックで置き換えられるマクロブロックである、前記動き推定装置。

Images