JP4796696B2 - ディジタル化された画像のコンピュータ支援動き補償のための方法及び装置ならびにコンピュータ読み取り可能な記録媒体 - Google Patents
ディジタル化された画像のコンピュータ支援動き補償のための方法及び装置ならびにコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4796696B2 JP4796696B2 JP2000617653A JP2000617653A JP4796696B2 JP 4796696 B2 JP4796696 B2 JP 4796696B2 JP 2000617653 A JP2000617653 A JP 2000617653A JP 2000617653 A JP2000617653 A JP 2000617653A JP 4796696 B2 JP4796696 B2 JP 4796696B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- computer
- motion vector
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
本発明はディジタル画像のコンピュータ支援動き補償のための方法に関する。
【０００２】
このような方法及びこのような装置は［１］から公知である。
【０００３】
この公知の方法では、画像はカメラによって撮影され、ディジタル化され、格納される。撮影されたディジタル化された画像は画素を有し、これらの画素には符号化情報が割り当てられている。
【０００４】
符号化情報とは輝度情報（ルミナンス情報）又は色情報（クロミナンス情報）であると解釈される。
格納された画像は拡大され、符号化情報は拡大される前の画像の本来の画素の間で補間される。拡大された画像全体に対して、「グローバルな」動き推定、すなわち画像全体の動きの推定ならびに「グローバルな」動き補償が適用される。グローバルな動き推定の結果として画像動きベクトルが形成され、この画像動きベクトルは拡大された画像に割り当てられる。この拡大された画像から動き補償された画像部分が読み出される。動き補償された画像部分とはもとめられた画像動きベクトルの分だけこの拡大された画像内部でシフトされた画像部分であると解釈される。
動き補償は、とりわけハンドヘルドカメラによって画像を撮影する際の人物の震動運動（jittering motion）を補償するために行われる。
［１］から公知の方法はとりわけ次のような欠点を有する。すなわち、画像の拡大によってカメラの画像解像度が低減され、これが動き補償された画像におけるボケとして目に付くようになってしまう。
さらに、機械的な手段を使用して動き補償を実施することが公知である。このような装置では、機械的センサがカメラに設けられており、これらの機械的センサがカメラに基づく運動を、例えば震動運動を測定する。さらに可動式レンズ系が設けられており、この可動式レンズ系が検出された運動に依存して制御され、この運動が補償され、これによって画像を実際に撮影する前に安定した動き補償された画像が保障される。
しかし、このテクノロジーの欠点は、付加的なセンサならびにレンズ系によるその大きな付加的な重さである。さらにこのような装置の実現は高価である。従って、このテクノロジーはとりわけ小さな機器、例えばビデオ移動電話には不適当である。
Ｈ.２６３規格によるブロックベース画像符号化方法が［２］から公知である。
［３］、［４］、［５］からグローバルな動き推定のための他の方法が公知である。
［６］からは画像の動き補償のための方法が公知であり、画像シーケンスに対して動き推定が実施される。
［７］からは画像符号化の領域において通常使用されるコンポーネントが公知である。
従って、本発明の課題は、コスト高な付加的なレンズ系なしで済みかつ撮影された画像の画像解像度の低下を回避する、ディジタル化された画像の動き補償のための方法及び装置を提供することである。
上記課題は、独立請求項記載の構成を有する方法及び装置ならびにコンピュータプログラム製品及びコンピュータリーダブル（computer-readable）格納媒体によって解決される。
ディジタル化された画像のコンピュータ支援動き補償のための方法では、画像に対して及び予め設定された個数の時間的に先行する画像に対して、それぞれ画像全体において動き推定が実施される。これによりそれぞれ画像動きベクトルがもとめられる。各画像動きベクトルを使用してこれらの画像が動き補償されてメモリに格納される。メモリの予め設定された領域が動き補償された画像の形成のために読み出される。
ディジタル化された画像のコンピュータ支援動き補償のための更に別の方法では、画像がメモリに格納される。画像全体に対して動き推定が実施される。この動き推定の結果として画像動きベクトルがもとめられる。さらにこの画像全体の画像部分（image detail）を含むメモリの領域が読み出される。予め設定された基本位置に基づいて画像におけるこの領域の位置が得られ、もとめられた画像動きベクトルに依存して動き補償される。もとめられた位置におけるメモリの領域が動き補償された画像の形成のために読み出される。
ディジタル化された画像のコンピュータ支援動き補償のための装置はプロセッサを有し、このプロセッサは以下のステップを実施できるように構成される、すなわち、
・画像に対して及び予め設定された個数の時間的に先行する画像に対して、それぞれ画像全体において動き推定が実施され、これによりそれぞれ画像動きベクトルがもとめられるステップ、
・各画像動きベクトルを使用して画像が動き補償されてメモリに格納されるステップ、
・このメモリの予め設定された領域が動き補償された画像の形成のために読み出されるステップを実施できるように構成される。
ディジタル化された画像のコンピュータ支援動き補償のための更に別の装置はプロセッサを有し、このプロセッサは以下のステップを実施できるように構成される、すなわち、
・画像がメモリに格納されるステップ、
・画像全体に対して動き推定が実施され、これにより画像動きベクトルがもとめられるステップ、
・画像全体の画像部分を含むメモリの領域が読み出されるステップ、
・予め設定された基本位置に基づいて画像における領域の位置が得られ、もとめられた画像動きベクトルに依存して動き補償されるステップ、
・もとめられた位置におけるメモリの領域が動き補償された画像の形成のために読み出されるステップを実施できるように構成される。
コンピュータリーダブル格納媒体にはプログラムが格納されており、このプログラムによってコンピュータは、このコンピュータのメモリにこのプログラムをロードした後で以下のステップをディジタル化された画像の動き補償のために実施することができる、すなわち、
・画像に対して及び予め設定された個数の時間的に先行する画像に対して、それぞれ画像全体において動き推定が実施され、これによりそれぞれ画像動きベクトルがもとめられるステップ、
・各画像動きベクトルを使用して画像が動き補償されてメモリに格納されるステップ、
・このメモリの予め設定された領域が動き補償された画像の形成のために読み出されるステップを実施することができる。
更に別のコンピュータリーダブル格納媒体にはプログラムが格納されており、このプログラムによってコンピュータは、このコンピュータのメモリにこのプログラムをロードした後で以下のステップをディジタル化された画像の動き補償のために実施することができる、すなわち、
・画像がメモリに格納されるステップ、
・画像全体に対して動き推定が実施され、これにより画像動きベクトルがもとめられるステップ、
・画像全体の画像部分を含むメモリの領域が読み出されるステップ、
・予め設定された基本位置に基づいて画像におけるこの領域の位置が得られ、もとめられた画像動きベクトルに依存して動き補償されるステップ、
・もとめられた位置におけるメモリのこの領域が動き補償された画像の形成のために読み出されるステップを実施することができる。
コンピュータプログラム製品はコンピュータリーダブル格納媒体を含み、このコンピュータリーダブル格納媒体にはプログラムが格納されており、このプログラムによってコンピュータは、このコンピュータのメモリにこのプログラムをロードした後で以下のステップをディジタル化された画像の動き補償のために実施することができる、すなわち、
・画像に対して及び予め設定された個数の時間的に先行する画像に対して、それぞれ画像全体において動き推定が実施され、これによりそれぞれ画像動きベクトルがもとめられるステップ、
・各画像動きベクトルを使用して画像が動き補償されてメモリに格納されるステップ、
・このメモリの予め設定された領域が動き補償された画像の形成のために読み出されるステップを実施することができる。
更に別のコンピュータプログラム製品はコンピュータリーダブル格納媒体を含み、このコンピュータリーダブル格納媒体にはプログラムが格納されており、このプログラムによってコンピュータは、このコンピュータのメモリにこのプログラムをロードした後で以下のステップをディジタル化された画像の動き補償のために実施することができる、すなわち、
・画像がメモリに格納されるステップ、
・画像全体に対して動き推定が実施され、これにより画像動きベクトルがもとめられるステップ、
・画像全体の画像部分を含むメモリの領域が読み出されるステップ、
・予め設定された基本位置に基づいて画像におけるこの領域の位置が得られ、もとめられた画像動きベクトルに依存して動き補償されるステップ、
・もとめられた位置におけるメモリの領域が動き補償された画像の形成のために読み出されるステップを実施することができる。
本発明によって、ディジタル化された画像の動き補償のためのコスト安な解決策が提供され、この解決策によってカメラの画像解像度の低下が回避される。従って、動き補償された画像は［１］の方法に比べて高い鮮明度を有する。
本発明の有利な実施形態は従属請求項から生じる。
以下に記述される実施形態は方法、装置ならびにコンピュータプログラム製品及びコンピュータリーダブル格納媒体に関係している。
本発明はソフトウェアでもハードウェアでも例えば特別な電気回路を使用して実現できる。
１つの実施形態では、時間的に先行する各画像は時間的に後続する画像によって動き補償されてメモリにおいてこれらの画像のオーバーラップする領域において上書きされる。
本発明は有利にはディジタル化された画像の符号化及び/又は復号化のために使用される。
本発明はとりわけ移動遠隔通信送信機器、例えばビデオ移動電話における使用に適している。
本発明の実施例を図面に図示し、以下において詳しく説明する。
図１は、実施例の概略的な原理が図示されているブロック線図を示す。
図２は、カメラ及びこのカメラにより撮影された画像シーケンスの符号化のための符号化ユニットならびに符号化された画像シーケンスの復号化のための装置を有する装置の概略図を示す。
図３は、画像符号化及びグローバルな動き補償のための装置の詳細な概略図を示す。
【０００５】
図４ａ〜ｃまでは、それぞれ運動モデルのパラメータの形成のために動きベクトルがもとめられる予め設定された領域を有する時間的に先行する画像に対する画像の動きベクトルフィールドが決定される画像（図１ａ）、全動きベクトルを有する画像（図１ｂ）及び本発明の方法の反復の後の図１ａに図示された予め設定された領域を有する動きベクトルを有する画像（図１ｃ）を示す。
【０００６】
図５は、画像の画像動きベクトルをもとめるための本発明の方法の方法ステップが示されているフローチャートを示す。
【０００７】
図６は、第１の実施例による時間的に先行する画像の格納が図示された概略図を示す。
【０００８】
図７は、第２の実施例による画像の動き補償のために画像部分を選択するための領域の選択が図示された概略図を示す。
【０００９】
第１の実施例
図２には２つのコンピュータ２０２、２０８及びカメラ２０１を含む装置が図示されており、画像符号化、画像データの伝送及び画像復号化が示されている。
【００１０】
カメラ２０１は第１のコンピュータ２０２に線路２１９を介して接続されている。このカメラ２０１は撮影された画像２０４を第１のコンピュータ２０２に伝送する。この第１のコンピュータ２０２には第１のプロセッサ２０３が設けられており、この第１のプロセッサ２０３はバス２１８を介して画像メモリ２０５に接続されている。第１のコンピュータ２０２の第１のプロセッサ２０３によって画像符号化のための方法が実施される。このようにして符号化された画像データ２０６は第１のコンピュータ２０２から通信接続路２０７、有利には線路又は無線区間を介して第２のコンピュータ２０８に伝送される。第２のコンピュータ２０８は第２のプロセッサ２０９を含み、この第２のプロセッサ２０９はバス２１０を介して画像メモリ２１１に接続されている。第２のプロセッサ２０９によって画像復号化のための方法が実施される。
【００１１】
第１のコンピュータ２０２にも第２のコンピュータ２０８にもそれぞれ画像ディスプレイ２１２乃至は２１３が設けられており、この画像ディスプレイ２１２乃至は２１３において画像データ２０４が視覚化される。第１のコンピュータ２０２も第２のコンピュータ２０８も操作するためにそれぞれ入力ユニットが設けられており、有利にはキーボード２１４乃至は２１５ならびにコンピュータマウス２１６乃至は２１７が設けられている。
【００１２】
カメラ２０１から線路２１９を介して第１のコンピュータ２０２に伝送される画像データ２０４は時間領域におけるデータであり、他方で第１のコンピュータ２０２から第２のコンピュータ２０８に通信接続路２０７を介して伝送されるデータ２０６はスペクトル領域の画像データである。
【００１３】
画像ディスプレイ２２０には復号化された画像データが図示される。
【００１４】
図３は第１の実施例による方法を実施するための装置の概略図を示し、この第１の実施例の枠内でブロックベース画像符号化方法が実施される。
【００１５】
時間的に順次連続するディジタル化された画像を有する符号化すべきビデオデータストリームが画像符号化ユニット３０１に供給される。これらのディジタル化された画像はマクロブロック３０２に分割されており、各マクロブロックは１６ｘ１６個の画素を含む。マクロブロック３０２は４個の画像ブロック３０３、３０４、３０５及び３０６を有し、各画像ブロックは８ｘ８個の画素を含み、これらの画素にはルミナンス値（輝度値）が割り当てられている。さらに、各マクロブロック３０２は、画素に割り当てられたクロミナンス値（色情報、彩度（color saturation））を有する２個のクロミナンスブロック３０７及び３０８を有する。
【００１６】
１つの画像のブロックはルミナンス値（＝輝度）、第１のクロミナンス値（＝色相（hue））及び第２のクロミナンス値（＝彩度）を含む。この場合、ルミナンス値、第１のクロミナンス値及び第２のクロミナンス値は色値と呼ばれる。
【００１７】
これらの画像ブロックは変換符号化ユニット３０９に供給される。差分画像符号化において、時間的に先行する画像の画像ブロックの符号化すべき値が瞬時に符号化すべき画像ブロックから引かれる。この差分形成情報３１０だけが変換符号化ユニット（離散コサイン変換、ＤＣＴ）３０９に供給される。これに加えて、接続路３３４を介して瞬時のマクロブロック３０２が動き推定ユニット３２９に通知される。変換符号化ユニット３０９では符号化すべき画像ブロック乃至は差分画像ブロックに対してスペクトル係数３１１が形成され、量子化ユニット３１２に供給される。
【００１８】
量子化されたスペクトル係数３１３はスキャンユニット３１４にも帰還路における逆量子化ユニット３１５にも供給される。スキャン方法、例えば「ジグザグ」スキャン方法の後で、スキャンされたスペクトル係数３３２にはエントロピー符号化がこのために設けられたエントロピー符号化ユニット３１６において実施される。エントロピー符号化されたスペクトル係数は符号化された画像データ３１７としてチャネル、有利には線路又は無線区間を介してデコーダに伝送される。
【００１９】
逆量子化ユニット３１５では、量子化されたスペクトル係数３１３の逆量子化が行われる。こうして得られたスペクトル係数３１８は逆変換符号化ユニット３１９（逆離散コサイン変換、ＩＤＣＴ）に供給される。再構成された符号化値（差分符号化値）３２０は差分画像モードで加算器３２１に供給される。加算器３２１はさらに画像ブロックの符号化値を受け取る。この符号化値は、時間的に先行する画像からすでに実施された動き補償に従って得られる。加算器３２１により再構成された画像ブロック３２２が形成され、画像メモリ３２３に格納される。
【００２０】
再構成された画像ブロック３２２のクロミナンス値３２４は画像メモリ３２３から動き補償ユニット３２５に供給される。輝度値３２６に対して補間がこのために設けられた補間ユニット３２７で行われる。この補間に基づいて、それぞれの画像ブロックに含まれる輝度値の数が有利には２倍にされる。全ての輝度値３２８は動き補償ユニット３２５にも、動き推定ユニット３２９にも供給される。動き推定ユニット３２９はさらにそれぞれ符号化すべきマクロブロック（１６×１６画素）の画像ブロックをも接続路３３４を介して受け取る。動き推定ユニット３２９では、補間された輝度値を考慮して動き推定が行われる（「ハーフピクセルベースでの動き推定」）。
【００２１】
動き推定の結果は動きベクトル３３０である。この動きベクトル３３０によって、時間的に先行する画像から選択されたマクロブロックと符号化すべきマクロブロック３０２との間の位置的ずれが表される。
【００２２】
動き推定ユニット３２９によりもとめられたマクロブロックに関連する輝度情報もクロミナンス情報も動きベクトル３３０の分だけシフトされ、マクロブロック３０２の符号化値から減算される（データ路２３１参照）。
【００２３】
動き推定は、この動き推定が実施される各画像ブロック毎に、時間的に先行する画像における画像ブロックと同じ形態及びサイズの領域に対する誤差Ｅが例えば次の規則に従ってもとめられることによって行われる：
【００２４】
【数１】
【００２５】
ただしここで
ｉ、ｊは、それぞれインデックスであり、
ｎ、ｍは、画像ブロックに含まれている第１の方向ｘに沿った画素の個数（ｎ）乃至は第２の方向ｙに沿った画素の個数（ｍ）であり、
ｘｉ，ｊは、画像ブロックにおいてインデックスｉ、ｊにより示された相対的な位置における画素に割り当てられている符号化情報であり、
ｘｄｉ，ｊは、予め設定可能な値ｄの分だけシフトされた、時間的に先行する画像の領域におけるそれぞれｉ、ｊにより示された画素に割り当てられている符号化情報であり、
Ｓは、時間的に先行する画像における予め設定された形態及びサイズのサーチ空間である。
【００２６】
誤差Ｅの計算は各画像ブロック毎にサーチ空間Ｓ内部のおける様々なシフトに対して実施される。その誤差Ｅが最小である時間的に先行する画像における画像ブロックを、動き推定が実施される画像ブロックに最も近いものとして選択する。
【００２７】
従って、動き推定の結果として２つの動きベクトル成分、すなわち第１の方向ｘに沿った第１のベクトル成分ＢＶｘ及び第２の方向ｙに沿った第２のベクトル成分ＢＶｙを有する動きベクトル３３０が得られる：
【００２８】
【数２】
【００２９】
この動きベクトル３３０が画像ブロックに割り当てられる。
【００３０】
従って、図３の画像符号化ユニットは全ての画像ブロック乃至はマクロ画像ブロックに対して動きベクトル３３０を提供する。
【００３１】
動きベクトル３３０はこれらの動きベクトル３３０を選択乃至は重み付けするためのユニット３３５に供給される。動きベクトルの選択のためのこのユニット３３５では、予め設定された領域４０１（図４ａ参照）に存在する画像ブロックに割り当てられている動きベクトル３３０が選択される乃至は大きく重み付けされる。さらに、このユニット３３５では高い信頼度でもって（３４２）推定された動きベクトルが選択される乃至は大きく重み付けされる。
【００３２】
選択された動きベクトル３３６は運動モデルのパラメータをもとめるためのユニット３３７に供給される。運動モデルのパラメータをもとめるためのこのユニット３３７では、選択された動きベクトルから後述する運動モデルが図１に従ってもとめられる。
【００３３】
もとめられた運動モデル３３８はカメラと撮影された画像との間の運動の補償のためのユニット３３９に供給される。補償のためのこのユニット３３９では、後述する運動モデルに相応して運動が補償され、この結果、その運動が補償され不鮮明さがより小さくなった画像３４０は補償のためのこのユニット３３９での処理の後で画像メモリ３２３に格納される。この画像メモリ３２３には、予め処理されていない、その運動において補償すべき画像が格納されている。
【００３４】
図１はブロック線図の形式でグローバルな動き検出の基礎となる原理を示している。
【００３５】
動きベクトルフィールド１０１、予め設定された領域乃至は重み付けマスク１０２及び信頼度ファクタの重み付けマスク１０６に基づいて、後述の運動モデル３３８のパラメータが計算される（ステップ１０３）。
【００３６】
動きベクトルフィールド１０１とは画像における全てのもとめられた動きベクトル３３０の集合であると解釈される。動きベクトルフィールド１０１は図４ｂではそれぞれ画像ブロックに対する動きベクトル３３０を記述する線によって図示されている（４０２）。この動きベクトルフィールド４０２はディジタル化された画像４００に描かれている。この画像４００は人物の形態の運動するオブジェクト４０３ならびに画像背景４０４を有する。
【００３７】
図４ａは予め設定された領域４０１を示している。この予め設定された領域４０１は、画像ブロックに割り当てられている動きベクトルが選択されるためにこれらの画像ブロックが存在しなければならない領域を示している。
【００３８】
この予め設定された領域４０１は、ディジタル化された画像４００のエッジ４０７から予め設定された第１の間隔４０６に存在する画像ブロックによって形成されるエッジ領域４０５により得られる。これによって画像４００のエッジ４０７に直に接する画像ブロックは運動モデル３３８のパラメータの検出の際には考慮されない。さらに、この予め設定された領域４０１は、ディジタル化された画像４００の中心４０９から予め設定された第２の間隔４０８に存在する画像ブロックによって形成される。
【００３９】
この予め設定された領域乃至は重み付けマスクは以下のステップを有する反復方法において後続の反復の新しい領域を形成するために変化される（ステップ１０４）。
【００４０】
予め設定された領域４０１の各画像ブロック毎にそれぞれベクトル差値ＶＵがもとめられる。このベクトル差値ＶＵによって、決定された運動モデル３３８とそれぞれの画像ブロックに割り当てられている動きベクトル３３０との差が記述される。ベクトル差値ＶＵは例えば次の規則に従って形成される：
ＶＵ＝｜ＢＶＸ−ＭＢＶＸ｜＋｜ＢＶＹ−ＭＢＶＹ｜ （３）
ただしここでＭＢＶｘ及びＭＢＶｙはそれぞれ運動モデルに基づいて計算された画像動きベクトルＭＢＶの成分である。
【００４１】
モデルベースの画像動きベクトルの算出を以下において詳しく説明する。
【００４２】
バイナリマスクを使用する際に、それぞれのベクトル差値ＶＵが予め設定可能な閾値εより小さい場合には、画像ブロックは後続の反復の新しい領域に含まれている。しかし、ベクトル差値ＶＵが予め設定可能な閾値εより大きい場合には、それぞれの動きベクトルが割り当てられている画像ブロックはもはや新しい予め設定された領域において考慮されない。
【００４３】
重み付けマスクを使用する際には、ブロックの重み付け係数はこのブロックのベクトル差値ＶＵとは反比例するように指定される。
【００４４】
このやり方によって次のことが実現される。すなわち、決定された運動モデルから計算された画像動きベクトルＭＢＶとは著しく異なる動きベクトルは、後続の反復における運動モデルのパラメータの計算において全く乃至はほんの僅かしか考慮されない。
【００４５】
新しい領域乃至は新しい重み付けマスクが形成された後で、この新しい領域に含まれている画像ブロックに割り当てられている動きベクトルを使用して乃至は重み付けマスクを付加的に使用して、運動モデルの新しいパラメータセットが決定される。
【００４６】
上記の方法は、予め設定可能な反復回数だけ実施されるか、又は、例えば反復ステップにおいて消去されたブロックの個数が所定の数を下回ることのような終了規準が満たされるまで実施される。
【００４７】
この場合、それぞれ、新しい領域は、予め設定された領域乃至は新しい重み付けマスクとして古い動きベクトルに加えてすぐ次の反復の入力量として使用される。
【００４８】
グローバルな運動の算出は、グローバルなカメラ運動に対するモデルのパラメータがもとめられることによって行われる。
【００４９】
この運動モデルを明瞭に示すために、次にこの運動モデルの詳細な導出を示す。
【００５０】
自然な３次元のシーンがカメラによって２次元投影面に写像されることから出発する。点
ｐ ０＝（ｘ０，ｙ０，ｚ０）Ｔ （４）
の写像は次の規則によって形成される：
【００５１】
【数３】
【００５２】
ただしここで、Ｆは焦点距離であり、Ｘ、Ｙによって画像面に写像された点ｐ ０ の座標が記述される。
【００５３】
【外１】
【００５４】
【数４】
【００５５】
この規則（６）から、カメラ運動に起因する画像変化が次の規則に従ってモデル化される：
【００５６】
【数５】
【００５７】
【外２】
【００５８】
規則（７）に示された連立方程式は非線形であり、それゆえこの連立方程式のパラメータの直接的な算定は不可能である。
【００５９】
この理由から比較的迅速な計算のために簡素化された運動モデルを使用する。この運動モデルでは６個のパラメータを有する運動モデルによる写像面におけるカメラ運動が使用され、これは次の規則に従って形成される：
【００６０】
【数６】
【００６１】
動きベクトルフィールドのデータによってこれから成立する連立方程式は線形回帰（linear regression）によって解かれる。この場合、複雑さは３＊３対称行列の反転に相応する。
【００６２】
パラメータｒ′１１、ｒ′１２、ｒ′２１、ｒ′２２、ｔ′Ｘ及びｔ′Ｙの算定の後で規則（７）のパラメータが次の規則に従って近似される：
Ｔ＝Ｔ′ （９）
【００６３】
【数７】
【００６４】
図４ｃは、予め設定された領域４０１に存在する画像ブロックに割り当てられている動きベクトルを示す。この場合、この予め設定された領域４０１は反復（ステップ１０４）によって図４ａの予め設定された領域４０１に比べて変化している。
【００６５】
これらのパラメータを使用して、画像に対する画像動きベクトルがもとめられ、この画像動きベクトルによってこの画像を撮影するカメラに対して相対的にこの画像が従う運動が記述される。
【００６６】
複数の画像の時間的なシーケンスの各画像は、画像に対してもとめられたそれぞれの画像動きベクトルの分だけシフトされて画像メモリ３２３に格納される。この画像メモリ３２３はこれらの画像のシーケンスを撮影するカメラのフォーマットよりも大きい。従って、特にカメラの部分は、再構成された画像によって表されて、画像メモリ３２３内でそれぞれの動きベクトルの分だけシフトされて、次いで動き補償されて格納される。動き補償された瞬時の画像の格納の際には、先行する画像によって既に書き込まれている画像メモリにおける領域は新しい画像によって上書きされる。
【００６７】
このやり方は図６において４個の画像６０１、６０２、６０３、６０４によってシンボリックに図示されている。これら４個の画像６０１、６０２、６０３、６０４の各々はそれぞれの画像６０１、６０２、６０３、６０４に割り当てられた画像動きベクトル６１１、６１２、６１３、６１４に相応するベクトルの分だけ基本位置６００からシフトされている。
【００６８】
動き補償された画像として、瞬時に符号化すべき乃至は表示すべき画像に対して、画像メモリ３２３内の画像情報が読み出される。この画像情報は画像メモリ３２３の領域６１０に含まれており、この領域６１０はこの領域６１０の右上エッジの基本位置６００を含んでいる。
【００６９】
読み出された画像は図６において参照符号６２０によって示されている。
【００７０】
撮影された画像シーケンスの背景が固定オブジェクト、例えば風景又はビデオ会議室の後ろの壁であるならば、多数の画像を符号化し画像メモリ３２３において動き補償して格納した後の時間にわたって、画像シーケンスの撮影の際のとりわけ様々なカメラ視点により起因して、実際の画像背景の比較的大きなまとまった面積が構成される。
【００７１】
常に、すなわち各画像に対して、同じ領域６２０が画像メモリ３２３から読み出される。
【００７２】
図５に基づいてこの方法をもう一度その個々の方法ステップにおいて示す。
【００７３】
この方法のスタート（ステップ５０１）の後で、画像ブロック又はマクロ画像ブロックが選択される（ステップ５０２）。選択された画像ブロック又はマクロ画像ブロックに対して動きベクトルがもとめられ（ステップ５０３）、次のステップ（ステップ５０４）において画像の全ての画像ブロック乃至はマクロ画像ブロックが処理されたかどうかが検査される。
【００７４】
ノーの場合、次のステップ（５０５）においてまだ処理されていない他の画像ブロック又はマクロブロックが選択される。
【００７５】
しかし、全ての画像ブロック乃至はマクロ画像ブロックが処理された場合には、画像ブロック又はマクロ画像ブロックに割り当てられている複数の動きベクトルが選択される。これらの動きベクトルは予め設定された領域に存在する（ステップ５０６）。
【００７６】
選択された動きベクトルから運動モデルのパラメータが算定される（ステップ５０７）。更なる反復を実施しなければならない場合、すなわちまだ指定された反復回数に到達していないか又は終了規準がまだ満たされていない場合、次のステップ（ステップ５０９）において新たな領域が定められるか乃至はベクトル差値ＶＵに依存してすぐ次の反復の重み付けマスクが計算される（ステップ５１０）。
【００７７】
これに続いて決定された運動モデルを使用して画像の動き補償が行われる（ステップ５０８）。
【００７８】
次に上記の実施例のいくつかの代替を説明する。
【００７９】
領域の形態は原理的には任意であり、有利にはシーンに関して予め知っていることに依存する。次のような画像領域が運動モデルの決定のために使用される。すなわち、これら画像領域がグローバルな運動からはっきりと区別されることが既知であるような画像領域が運動モデルの決定のために使用される。
【００８０】
この領域は、動き推定方法の信頼度値３４２に基づいて信頼できると証明されている画像領域の動きベクトルだけを含むべきである。
【００８１】
一般的には動き推定は任意の方法に従って行われ、決してブロックマッチングの原理に限定されるものではない。例えば、動き推定は動的計画法を使用しても行われ得る。
【００８２】
従って、動き推定のやり方、すなわち動きベクトルを画像ブロックに対してもとめるやり方は本発明では重大ではない。
【００８３】
代替的に、連立方程式（７）のパラメータの近似的算定のために、規則（７）におけるサイン項及びコサイン項を線形化することが可能である。
【００８４】
それゆえ小さい角度ρＺに対して次の規則が得られる。
【００８５】
【数８】
【００８６】
ΔＸ及びΔＹに対する方程式の最適化は互いに独立してはいないので、平方誤差の総和が次の規則に従って最小化される：
【００８７】
【数９】
【００８８】
この場合、ΔＸη、ΔＹηは、画像の予め設定された領域Ｖの位置Ｘη、Ｙηにおける画像ブロックηの動きベクトルのＸ成分乃至はＹ成分を示す。
【００８９】
式（１２）によれば、Ｒ１、Ｒ２、ｔｘ、ｔｙは運動モデルの算定すべきパラメータである。
【００９０】
この最適化方法が実施された後で、決定された連立方程式（１２）に基づいてそれぞれのマクロブロックのＸ成分及びＹ成分を使用することによって所属のモデルベースの動きベクトルＭＢＶ（ΔＸ，ΔＹ）が算定される。
【００９１】
上記の領域の代わりに、重み付けマスクＡＸ、ＡＹが次式の最適化アプローチに従って運動モデルのパラメータの計算の際に利用される。これらの重み付けマスクＡＸ、ＡＹは、別個に、動きベクトルの信頼度、アプリオリの知識及びＶＵからの帰納的結論を反復処理において動きベクトルのＸ成分及びＹ成分に対して表現する：
【００９２】
【数１０】
【００９３】
動きベクトルの信頼度に対する重み付けマスクＡｘ、Ａｙ（１０５）は、例えば画像ブロックに対する値αｘ、αｙをブロックマッチングにおいて次のように計算することによって、計算される：
【００９４】
【数１１】
【００９５】
ただしここでＳＡＤηはブロックマッチングのη番目のシフト（Ｘη，Ｙη）におけるブロックの画素差の総和であり、ＳＡＤｍａｔｃｈは最終的に選択された最良の領域（Ｘｍａｔｃｈ，Ｙｍａｔｃｈ）に対するブロックの画素差の総和である。Ｎは調査されたサーチ位置の総数である。この値が例えば１６個の最良の領域を考慮するだけで計算されるならば、このブロックマッチングは「スパイラルサーチ」として、これらの１６個の選択された領域の中の最悪の領域のＳＡＤを終了規準として、実施され得る。
【００９６】
動きベクトルの信頼度に対する重み付けマスクＡｘ＝Ａｙ＝Ａを計算する更に別の方法が次の式によって提供される：
【００９７】
【数１２】
【００９８】
ただしここでα＝αｘ＝αｙは画像ブロックの重み付け係数乃至は乃至はこの画像ブロックの動きベクトルの重み付け係数である。
【００９９】
本発明は例えば移動するカメラの運動の補償又は移動通信機器（携帯ビデオ電話）に統合されているカメラの動き補償のために使用される。
【０１００】
第２の実施例
図７は、第２の実施例による画像の格納及び読み出しのシンボリックな図示によって画像メモリ３２３を示している。
【０１０１】
この実施例の枠内では、カメラが、画像出力に必要な画像フォーマットよりも大きな画像フォーマットによって画像を撮影することが前提とされる。
【０１０２】
この方法は基本的に第１の実施例に相応しているが、動き推定が行われた後で画像メモリ３２３から画像部分７００が読み出されるという差異を有する。この画像部分７００はもとめられた画像動きベクトル７０１の分だけ基本位置７０２からシフトされている。
【０１０３】
注目すべきことは、出力すべき画像の画像フォーマットを処理するための符号器を使用するために、画像に対する動き補償が個々の画像ブロックの変換符号化の前に行われることである。これは、明らかにこの場合動き補償がこの符号器に「前置接続」されていることを意味する。
【０１０４】
次に上記の実施例の代替を示す。
【０１０５】
この動き補償のための方法は動き推定のための選択された方法には依存しない。すなわち、画像動きベクトルをもとめるために任意の方法が使用され得る。
【０１０６】
この文書では以下の刊行物を引用した：
【０１０７】
【外３】
【図面の簡単な説明】
【図１】 実施例の概略的な原理が図示されているブロック線図を示す。
【図２】 カメラ及びこのカメラにより撮影された画像シーケンスの符号化のための符号化ユニットならびに符号化された画像シーケンスの復号化のための装置を有する装置の概略図を示す。
【図３】 画像符号化及びグローバルな動き補償のための装置の詳細な概略図を示す。
【図４】 それぞれ運動モデルのパラメータの形成のために動きベクトルがもとめられる予め設定された領域を有する時間的に先行する画像に対する画像の動きベクトルフィールドが決定される画像（図１ａ）、全動きベクトルを有する画像（図１ｂ）及び本発明の方法の反復の後の図１ａに図示された予め設定された領域を有する動きベクトルを有する画像（図１ｃ）を示す。
【図５】 画像の画像動きベクトルをもとめるための本発明の方法の方法ステップが示されているフローチャートを示す。
【図６】 第１の実施例による時間的に先行する画像の格納が図示された概略図を示す。
【図７】 第２の実施例による画像の動き補償のために画像部分を選択するための領域の選択が図示された概略図を示す。
【符号の説明】
１０１ 動きベクトルフィールド
１０２ 予め設定された領域乃至は重み付けマスク
１０３ ステップ
１０４ 反復ステップ
１０５ 動きベクトルの信頼度に対する重み付けマスクＡｘ、Ａｙ
１０６ 信頼度ファクタの重み付けマスク
２０１ カメラ
２０２ 第１のコンピュータ
２０３ 第１のプロセッサ
２０４ 撮影された画像
２０５ 画像メモリ
２０６ 符号化された画像データ
２０７ 通信接続路
２０８ 第２のコンピュータ
２０９ 第２のプロセッサ
２１０ バス
２１１ 画像メモリ
２１２ ディスプレイ
２１３ ディスプレイ
２１４ キーボード
２１５ キーボード
２１６ コンピュータマウス
２１７ コンピュータマウス
２１８ バス
２１９ 線路
２２０ ディスプレイ
３０１ 画像符号化ユニット
３０２ マクロブロック
３０３、３０４、３０５、３０６ 画像ブロック
３０７、３０８ クロミナンスブロック
３０９ 変換符号化ユニット（ＤＣＴ）
３１０ 差分形成情報
３１１ スペクトル係数
３１２ 量子化ユニット
３１３ 量子化されたスペクトル係数
３１４ スキャンユニット
３１５ 逆量子化ユニット
３１６ エントロピー符号化ユニット
３１７ 符号化された画像データ
３１８ スペクトル係数
３１９ 逆変換符号化ユニット（ＩＤＣＴ）
３２０ 再構成された符号化値
３２１ 加算器
３２２ 再構成された画像ブロック
３２３ 画像メモリ
３２４ クロミナンス値
３２５ 動き補償ユニット
３２６ 輝度値
３２７ 補間ユニット
３２８ 全輝度値
３２９ 動き推定ユニット
３３０ 動きベクトル
３３２ スキャンされたスペクトル係数
３３４ 接続路
３３５ 動きベクトルの選択のためのユニット
３３６ 選択された動きベクトル
３３７ 運動モデルのパラメータをもとめるためのユニット
３３８ 運動モデル
３３９ 補償のためのユニット
３４０ 運動が補償され不鮮明さがより小さくなった画像
４００ ディジタル化された画像
４０１ 予め設定された領域
４０２ 動きベクトルフィールド
４０３ 運動するオブジェクト
４０４ 画像背景
４０５ エッジ領域
４０６ 第１の間隔
４０７ エッジ
４０８ 第２の間隔
４０９ 中心
５０１〜５１０ 方法ステップ
６００ 基本位置
６０１、６０２、６０３、６０４ 画像
６１０ 領域
６１１、６１２、６１３、６１４ 動きベクトル
７００ 画像部分
７０１ 画像動きベクトル
７０２ 基本位置
本発明はディジタル画像のコンピュータ支援動き補償のための方法に関する。
【０００２】
このような方法及びこのような装置は［１］から公知である。
【０００３】
この公知の方法では、画像はカメラによって撮影され、ディジタル化され、格納される。撮影されたディジタル化された画像は画素を有し、これらの画素には符号化情報が割り当てられている。
【０００４】
符号化情報とは輝度情報（ルミナンス情報）又は色情報（クロミナンス情報）であると解釈される。
格納された画像は拡大され、符号化情報は拡大される前の画像の本来の画素の間で補間される。拡大された画像全体に対して、「グローバルな」動き推定、すなわち画像全体の動きの推定ならびに「グローバルな」動き補償が適用される。グローバルな動き推定の結果として画像動きベクトルが形成され、この画像動きベクトルは拡大された画像に割り当てられる。この拡大された画像から動き補償された画像部分が読み出される。動き補償された画像部分とはもとめられた画像動きベクトルの分だけこの拡大された画像内部でシフトされた画像部分であると解釈される。
動き補償は、とりわけハンドヘルドカメラによって画像を撮影する際の人物の震動運動（jittering motion）を補償するために行われる。
［１］から公知の方法はとりわけ次のような欠点を有する。すなわち、画像の拡大によってカメラの画像解像度が低減され、これが動き補償された画像におけるボケとして目に付くようになってしまう。
さらに、機械的な手段を使用して動き補償を実施することが公知である。このような装置では、機械的センサがカメラに設けられており、これらの機械的センサがカメラに基づく運動を、例えば震動運動を測定する。さらに可動式レンズ系が設けられており、この可動式レンズ系が検出された運動に依存して制御され、この運動が補償され、これによって画像を実際に撮影する前に安定した動き補償された画像が保障される。
しかし、このテクノロジーの欠点は、付加的なセンサならびにレンズ系によるその大きな付加的な重さである。さらにこのような装置の実現は高価である。従って、このテクノロジーはとりわけ小さな機器、例えばビデオ移動電話には不適当である。
Ｈ.２６３規格によるブロックベース画像符号化方法が［２］から公知である。
［３］、［４］、［５］からグローバルな動き推定のための他の方法が公知である。
［６］からは画像の動き補償のための方法が公知であり、画像シーケンスに対して動き推定が実施される。
［７］からは画像符号化の領域において通常使用されるコンポーネントが公知である。
従って、本発明の課題は、コスト高な付加的なレンズ系なしで済みかつ撮影された画像の画像解像度の低下を回避する、ディジタル化された画像の動き補償のための方法及び装置を提供することである。
上記課題は、独立請求項記載の構成を有する方法及び装置ならびにコンピュータプログラム製品及びコンピュータリーダブル（computer-readable）格納媒体によって解決される。
ディジタル化された画像のコンピュータ支援動き補償のための方法では、画像に対して及び予め設定された個数の時間的に先行する画像に対して、それぞれ画像全体において動き推定が実施される。これによりそれぞれ画像動きベクトルがもとめられる。各画像動きベクトルを使用してこれらの画像が動き補償されてメモリに格納される。メモリの予め設定された領域が動き補償された画像の形成のために読み出される。
ディジタル化された画像のコンピュータ支援動き補償のための更に別の方法では、画像がメモリに格納される。画像全体に対して動き推定が実施される。この動き推定の結果として画像動きベクトルがもとめられる。さらにこの画像全体の画像部分（image detail）を含むメモリの領域が読み出される。予め設定された基本位置に基づいて画像におけるこの領域の位置が得られ、もとめられた画像動きベクトルに依存して動き補償される。もとめられた位置におけるメモリの領域が動き補償された画像の形成のために読み出される。
ディジタル化された画像のコンピュータ支援動き補償のための装置はプロセッサを有し、このプロセッサは以下のステップを実施できるように構成される、すなわち、
・画像に対して及び予め設定された個数の時間的に先行する画像に対して、それぞれ画像全体において動き推定が実施され、これによりそれぞれ画像動きベクトルがもとめられるステップ、
・各画像動きベクトルを使用して画像が動き補償されてメモリに格納されるステップ、
・このメモリの予め設定された領域が動き補償された画像の形成のために読み出されるステップを実施できるように構成される。
ディジタル化された画像のコンピュータ支援動き補償のための更に別の装置はプロセッサを有し、このプロセッサは以下のステップを実施できるように構成される、すなわち、
・画像がメモリに格納されるステップ、
・画像全体に対して動き推定が実施され、これにより画像動きベクトルがもとめられるステップ、
・画像全体の画像部分を含むメモリの領域が読み出されるステップ、
・予め設定された基本位置に基づいて画像における領域の位置が得られ、もとめられた画像動きベクトルに依存して動き補償されるステップ、
・もとめられた位置におけるメモリの領域が動き補償された画像の形成のために読み出されるステップを実施できるように構成される。
コンピュータリーダブル格納媒体にはプログラムが格納されており、このプログラムによってコンピュータは、このコンピュータのメモリにこのプログラムをロードした後で以下のステップをディジタル化された画像の動き補償のために実施することができる、すなわち、
・画像に対して及び予め設定された個数の時間的に先行する画像に対して、それぞれ画像全体において動き推定が実施され、これによりそれぞれ画像動きベクトルがもとめられるステップ、
・各画像動きベクトルを使用して画像が動き補償されてメモリに格納されるステップ、
・このメモリの予め設定された領域が動き補償された画像の形成のために読み出されるステップを実施することができる。
更に別のコンピュータリーダブル格納媒体にはプログラムが格納されており、このプログラムによってコンピュータは、このコンピュータのメモリにこのプログラムをロードした後で以下のステップをディジタル化された画像の動き補償のために実施することができる、すなわち、
・画像がメモリに格納されるステップ、
・画像全体に対して動き推定が実施され、これにより画像動きベクトルがもとめられるステップ、
・画像全体の画像部分を含むメモリの領域が読み出されるステップ、
・予め設定された基本位置に基づいて画像におけるこの領域の位置が得られ、もとめられた画像動きベクトルに依存して動き補償されるステップ、
・もとめられた位置におけるメモリのこの領域が動き補償された画像の形成のために読み出されるステップを実施することができる。
コンピュータプログラム製品はコンピュータリーダブル格納媒体を含み、このコンピュータリーダブル格納媒体にはプログラムが格納されており、このプログラムによってコンピュータは、このコンピュータのメモリにこのプログラムをロードした後で以下のステップをディジタル化された画像の動き補償のために実施することができる、すなわち、
・画像に対して及び予め設定された個数の時間的に先行する画像に対して、それぞれ画像全体において動き推定が実施され、これによりそれぞれ画像動きベクトルがもとめられるステップ、
・各画像動きベクトルを使用して画像が動き補償されてメモリに格納されるステップ、
・このメモリの予め設定された領域が動き補償された画像の形成のために読み出されるステップを実施することができる。
更に別のコンピュータプログラム製品はコンピュータリーダブル格納媒体を含み、このコンピュータリーダブル格納媒体にはプログラムが格納されており、このプログラムによってコンピュータは、このコンピュータのメモリにこのプログラムをロードした後で以下のステップをディジタル化された画像の動き補償のために実施することができる、すなわち、
・画像がメモリに格納されるステップ、
・画像全体に対して動き推定が実施され、これにより画像動きベクトルがもとめられるステップ、
・画像全体の画像部分を含むメモリの領域が読み出されるステップ、
・予め設定された基本位置に基づいて画像におけるこの領域の位置が得られ、もとめられた画像動きベクトルに依存して動き補償されるステップ、
・もとめられた位置におけるメモリの領域が動き補償された画像の形成のために読み出されるステップを実施することができる。
本発明によって、ディジタル化された画像の動き補償のためのコスト安な解決策が提供され、この解決策によってカメラの画像解像度の低下が回避される。従って、動き補償された画像は［１］の方法に比べて高い鮮明度を有する。
本発明の有利な実施形態は従属請求項から生じる。
以下に記述される実施形態は方法、装置ならびにコンピュータプログラム製品及びコンピュータリーダブル格納媒体に関係している。
本発明はソフトウェアでもハードウェアでも例えば特別な電気回路を使用して実現できる。
１つの実施形態では、時間的に先行する各画像は時間的に後続する画像によって動き補償されてメモリにおいてこれらの画像のオーバーラップする領域において上書きされる。
本発明は有利にはディジタル化された画像の符号化及び/又は復号化のために使用される。
本発明はとりわけ移動遠隔通信送信機器、例えばビデオ移動電話における使用に適している。
本発明の実施例を図面に図示し、以下において詳しく説明する。
図１は、実施例の概略的な原理が図示されているブロック線図を示す。
図２は、カメラ及びこのカメラにより撮影された画像シーケンスの符号化のための符号化ユニットならびに符号化された画像シーケンスの復号化のための装置を有する装置の概略図を示す。
図３は、画像符号化及びグローバルな動き補償のための装置の詳細な概略図を示す。
【０００５】
図４ａ〜ｃまでは、それぞれ運動モデルのパラメータの形成のために動きベクトルがもとめられる予め設定された領域を有する時間的に先行する画像に対する画像の動きベクトルフィールドが決定される画像（図１ａ）、全動きベクトルを有する画像（図１ｂ）及び本発明の方法の反復の後の図１ａに図示された予め設定された領域を有する動きベクトルを有する画像（図１ｃ）を示す。
【０００６】
図５は、画像の画像動きベクトルをもとめるための本発明の方法の方法ステップが示されているフローチャートを示す。
【０００７】
図６は、第１の実施例による時間的に先行する画像の格納が図示された概略図を示す。
【０００８】
図７は、第２の実施例による画像の動き補償のために画像部分を選択するための領域の選択が図示された概略図を示す。
【０００９】
第１の実施例
図２には２つのコンピュータ２０２、２０８及びカメラ２０１を含む装置が図示されており、画像符号化、画像データの伝送及び画像復号化が示されている。
【００１０】
カメラ２０１は第１のコンピュータ２０２に線路２１９を介して接続されている。このカメラ２０１は撮影された画像２０４を第１のコンピュータ２０２に伝送する。この第１のコンピュータ２０２には第１のプロセッサ２０３が設けられており、この第１のプロセッサ２０３はバス２１８を介して画像メモリ２０５に接続されている。第１のコンピュータ２０２の第１のプロセッサ２０３によって画像符号化のための方法が実施される。このようにして符号化された画像データ２０６は第１のコンピュータ２０２から通信接続路２０７、有利には線路又は無線区間を介して第２のコンピュータ２０８に伝送される。第２のコンピュータ２０８は第２のプロセッサ２０９を含み、この第２のプロセッサ２０９はバス２１０を介して画像メモリ２１１に接続されている。第２のプロセッサ２０９によって画像復号化のための方法が実施される。
【００１１】
第１のコンピュータ２０２にも第２のコンピュータ２０８にもそれぞれ画像ディスプレイ２１２乃至は２１３が設けられており、この画像ディスプレイ２１２乃至は２１３において画像データ２０４が視覚化される。第１のコンピュータ２０２も第２のコンピュータ２０８も操作するためにそれぞれ入力ユニットが設けられており、有利にはキーボード２１４乃至は２１５ならびにコンピュータマウス２１６乃至は２１７が設けられている。
【００１２】
カメラ２０１から線路２１９を介して第１のコンピュータ２０２に伝送される画像データ２０４は時間領域におけるデータであり、他方で第１のコンピュータ２０２から第２のコンピュータ２０８に通信接続路２０７を介して伝送されるデータ２０６はスペクトル領域の画像データである。
【００１３】
画像ディスプレイ２２０には復号化された画像データが図示される。
【００１４】
図３は第１の実施例による方法を実施するための装置の概略図を示し、この第１の実施例の枠内でブロックベース画像符号化方法が実施される。
【００１５】
時間的に順次連続するディジタル化された画像を有する符号化すべきビデオデータストリームが画像符号化ユニット３０１に供給される。これらのディジタル化された画像はマクロブロック３０２に分割されており、各マクロブロックは１６ｘ１６個の画素を含む。マクロブロック３０２は４個の画像ブロック３０３、３０４、３０５及び３０６を有し、各画像ブロックは８ｘ８個の画素を含み、これらの画素にはルミナンス値（輝度値）が割り当てられている。さらに、各マクロブロック３０２は、画素に割り当てられたクロミナンス値（色情報、彩度（color saturation））を有する２個のクロミナンスブロック３０７及び３０８を有する。
【００１６】
１つの画像のブロックはルミナンス値（＝輝度）、第１のクロミナンス値（＝色相（hue））及び第２のクロミナンス値（＝彩度）を含む。この場合、ルミナンス値、第１のクロミナンス値及び第２のクロミナンス値は色値と呼ばれる。
【００１７】
これらの画像ブロックは変換符号化ユニット３０９に供給される。差分画像符号化において、時間的に先行する画像の画像ブロックの符号化すべき値が瞬時に符号化すべき画像ブロックから引かれる。この差分形成情報３１０だけが変換符号化ユニット（離散コサイン変換、ＤＣＴ）３０９に供給される。これに加えて、接続路３３４を介して瞬時のマクロブロック３０２が動き推定ユニット３２９に通知される。変換符号化ユニット３０９では符号化すべき画像ブロック乃至は差分画像ブロックに対してスペクトル係数３１１が形成され、量子化ユニット３１２に供給される。
【００１８】
量子化されたスペクトル係数３１３はスキャンユニット３１４にも帰還路における逆量子化ユニット３１５にも供給される。スキャン方法、例えば「ジグザグ」スキャン方法の後で、スキャンされたスペクトル係数３３２にはエントロピー符号化がこのために設けられたエントロピー符号化ユニット３１６において実施される。エントロピー符号化されたスペクトル係数は符号化された画像データ３１７としてチャネル、有利には線路又は無線区間を介してデコーダに伝送される。
【００１９】
逆量子化ユニット３１５では、量子化されたスペクトル係数３１３の逆量子化が行われる。こうして得られたスペクトル係数３１８は逆変換符号化ユニット３１９（逆離散コサイン変換、ＩＤＣＴ）に供給される。再構成された符号化値（差分符号化値）３２０は差分画像モードで加算器３２１に供給される。加算器３２１はさらに画像ブロックの符号化値を受け取る。この符号化値は、時間的に先行する画像からすでに実施された動き補償に従って得られる。加算器３２１により再構成された画像ブロック３２２が形成され、画像メモリ３２３に格納される。
【００２０】
再構成された画像ブロック３２２のクロミナンス値３２４は画像メモリ３２３から動き補償ユニット３２５に供給される。輝度値３２６に対して補間がこのために設けられた補間ユニット３２７で行われる。この補間に基づいて、それぞれの画像ブロックに含まれる輝度値の数が有利には２倍にされる。全ての輝度値３２８は動き補償ユニット３２５にも、動き推定ユニット３２９にも供給される。動き推定ユニット３２９はさらにそれぞれ符号化すべきマクロブロック（１６×１６画素）の画像ブロックをも接続路３３４を介して受け取る。動き推定ユニット３２９では、補間された輝度値を考慮して動き推定が行われる（「ハーフピクセルベースでの動き推定」）。
【００２１】
動き推定の結果は動きベクトル３３０である。この動きベクトル３３０によって、時間的に先行する画像から選択されたマクロブロックと符号化すべきマクロブロック３０２との間の位置的ずれが表される。
【００２２】
動き推定ユニット３２９によりもとめられたマクロブロックに関連する輝度情報もクロミナンス情報も動きベクトル３３０の分だけシフトされ、マクロブロック３０２の符号化値から減算される（データ路２３１参照）。
【００２３】
動き推定は、この動き推定が実施される各画像ブロック毎に、時間的に先行する画像における画像ブロックと同じ形態及びサイズの領域に対する誤差Ｅが例えば次の規則に従ってもとめられることによって行われる：
【００２４】
【数１】
ただしここで
ｉ、ｊは、それぞれインデックスであり、
ｎ、ｍは、画像ブロックに含まれている第１の方向ｘに沿った画素の個数（ｎ）乃至は第２の方向ｙに沿った画素の個数（ｍ）であり、
ｘｉ，ｊは、画像ブロックにおいてインデックスｉ、ｊにより示された相対的な位置における画素に割り当てられている符号化情報であり、
ｘｄｉ，ｊは、予め設定可能な値ｄの分だけシフトされた、時間的に先行する画像の領域におけるそれぞれｉ、ｊにより示された画素に割り当てられている符号化情報であり、
Ｓは、時間的に先行する画像における予め設定された形態及びサイズのサーチ空間である。
【００２６】
誤差Ｅの計算は各画像ブロック毎にサーチ空間Ｓ内部のおける様々なシフトに対して実施される。その誤差Ｅが最小である時間的に先行する画像における画像ブロックを、動き推定が実施される画像ブロックに最も近いものとして選択する。
【００２７】
従って、動き推定の結果として２つの動きベクトル成分、すなわち第１の方向ｘに沿った第１のベクトル成分ＢＶｘ及び第２の方向ｙに沿った第２のベクトル成分ＢＶｙを有する動きベクトル３３０が得られる：
【００２８】
【数２】
この動きベクトル３３０が画像ブロックに割り当てられる。
【００３０】
従って、図３の画像符号化ユニットは全ての画像ブロック乃至はマクロ画像ブロックに対して動きベクトル３３０を提供する。
【００３１】
動きベクトル３３０はこれらの動きベクトル３３０を選択乃至は重み付けするためのユニット３３５に供給される。動きベクトルの選択のためのこのユニット３３５では、予め設定された領域４０１（図４ａ参照）に存在する画像ブロックに割り当てられている動きベクトル３３０が選択される乃至は大きく重み付けされる。さらに、このユニット３３５では高い信頼度でもって（３４２）推定された動きベクトルが選択される乃至は大きく重み付けされる。
【００３２】
選択された動きベクトル３３６は運動モデルのパラメータをもとめるためのユニット３３７に供給される。運動モデルのパラメータをもとめるためのこのユニット３３７では、選択された動きベクトルから後述する運動モデルが図１に従ってもとめられる。
【００３３】
もとめられた運動モデル３３８はカメラと撮影された画像との間の運動の補償のためのユニット３３９に供給される。補償のためのこのユニット３３９では、後述する運動モデルに相応して運動が補償され、この結果、その運動が補償され不鮮明さがより小さくなった画像３４０は補償のためのこのユニット３３９での処理の後で画像メモリ３２３に格納される。この画像メモリ３２３には、予め処理されていない、その運動において補償すべき画像が格納されている。
【００３４】
図１はブロック線図の形式でグローバルな動き検出の基礎となる原理を示している。
【００３５】
動きベクトルフィールド１０１、予め設定された領域乃至は重み付けマスク１０２及び信頼度ファクタの重み付けマスク１０６に基づいて、後述の運動モデル３３８のパラメータが計算される（ステップ１０３）。
【００３６】
動きベクトルフィールド１０１とは画像における全てのもとめられた動きベクトル３３０の集合であると解釈される。動きベクトルフィールド１０１は図４ｂではそれぞれ画像ブロックに対する動きベクトル３３０を記述する線によって図示されている（４０２）。この動きベクトルフィールド４０２はディジタル化された画像４００に描かれている。この画像４００は人物の形態の運動するオブジェクト４０３ならびに画像背景４０４を有する。
【００３７】
図４ａは予め設定された領域４０１を示している。この予め設定された領域４０１は、画像ブロックに割り当てられている動きベクトルが選択されるためにこれらの画像ブロックが存在しなければならない領域を示している。
【００３８】
この予め設定された領域４０１は、ディジタル化された画像４００のエッジ４０７から予め設定された第１の間隔４０６に存在する画像ブロックによって形成されるエッジ領域４０５により得られる。これによって画像４００のエッジ４０７に直に接する画像ブロックは運動モデル３３８のパラメータの検出の際には考慮されない。さらに、この予め設定された領域４０１は、ディジタル化された画像４００の中心４０９から予め設定された第２の間隔４０８に存在する画像ブロックによって形成される。
【００３９】
この予め設定された領域乃至は重み付けマスクは以下のステップを有する反復方法において後続の反復の新しい領域を形成するために変化される（ステップ１０４）。
【００４０】
予め設定された領域４０１の各画像ブロック毎にそれぞれベクトル差値ＶＵがもとめられる。このベクトル差値ＶＵによって、決定された運動モデル３３８とそれぞれの画像ブロックに割り当てられている動きベクトル３３０との差が記述される。ベクトル差値ＶＵは例えば次の規則に従って形成される：
ＶＵ＝｜ＢＶＸ−ＭＢＶＸ｜＋｜ＢＶＹ−ＭＢＶＹ｜ （３）
ただしここでＭＢＶｘ及びＭＢＶｙはそれぞれ運動モデルに基づいて計算された画像動きベクトルＭＢＶの成分である。
【００４１】
モデルベースの画像動きベクトルの算出を以下において詳しく説明する。
【００４２】
バイナリマスクを使用する際に、それぞれのベクトル差値ＶＵが予め設定可能な閾値εより小さい場合には、画像ブロックは後続の反復の新しい領域に含まれている。しかし、ベクトル差値ＶＵが予め設定可能な閾値εより大きい場合には、それぞれの動きベクトルが割り当てられている画像ブロックはもはや新しい予め設定された領域において考慮されない。
【００４３】
重み付けマスクを使用する際には、ブロックの重み付け係数はこのブロックのベクトル差値ＶＵとは反比例するように指定される。
【００４４】
このやり方によって次のことが実現される。すなわち、決定された運動モデルから計算された画像動きベクトルＭＢＶとは著しく異なる動きベクトルは、後続の反復における運動モデルのパラメータの計算において全く乃至はほんの僅かしか考慮されない。
【００４５】
新しい領域乃至は新しい重み付けマスクが形成された後で、この新しい領域に含まれている画像ブロックに割り当てられている動きベクトルを使用して乃至は重み付けマスクを付加的に使用して、運動モデルの新しいパラメータセットが決定される。
【００４６】
上記の方法は、予め設定可能な反復回数だけ実施されるか、又は、例えば反復ステップにおいて消去されたブロックの個数が所定の数を下回ることのような終了規準が満たされるまで実施される。
【００４７】
この場合、それぞれ、新しい領域は、予め設定された領域乃至は新しい重み付けマスクとして古い動きベクトルに加えてすぐ次の反復の入力量として使用される。
【００４８】
グローバルな運動の算出は、グローバルなカメラ運動に対するモデルのパラメータがもとめられることによって行われる。
【００４９】
この運動モデルを明瞭に示すために、次にこの運動モデルの詳細な導出を示す。
【００５０】
自然な３次元のシーンがカメラによって２次元投影面に写像されることから出発する。点
ｐ ０＝（ｘ０，ｙ０，ｚ０）Ｔ （４）
の写像は次の規則によって形成される：
【００５１】
【数３】
ただしここで、Ｆは焦点距離であり、Ｘ、Ｙによって画像面に写像された点ｐ ０ の座標が記述される。
【００５３】
【外１】
【数４】
この規則（６）から、カメラ運動に起因する画像変化が次の規則に従ってモデル化される：
【００５６】
【数５】
【外２】
規則（７）に示された連立方程式は非線形であり、それゆえこの連立方程式のパラメータの直接的な算定は不可能である。
【００５９】
この理由から比較的迅速な計算のために簡素化された運動モデルを使用する。この運動モデルでは６個のパラメータを有する運動モデルによる写像面におけるカメラ運動が使用され、これは次の規則に従って形成される：
【００６０】
【数６】
動きベクトルフィールドのデータによってこれから成立する連立方程式は線形回帰（linear regression）によって解かれる。この場合、複雑さは３＊３対称行列の反転に相応する。
【００６２】
パラメータｒ′１１、ｒ′１２、ｒ′２１、ｒ′２２、ｔ′Ｘ及びｔ′Ｙの算定の後で規則（７）のパラメータが次の規則に従って近似される：
Ｔ＝Ｔ′ （９）
【００６３】
【数７】
図４ｃは、予め設定された領域４０１に存在する画像ブロックに割り当てられている動きベクトルを示す。この場合、この予め設定された領域４０１は反復（ステップ１０４）によって図４ａの予め設定された領域４０１に比べて変化している。
【００６５】
これらのパラメータを使用して、画像に対する画像動きベクトルがもとめられ、この画像動きベクトルによってこの画像を撮影するカメラに対して相対的にこの画像が従う運動が記述される。
【００６６】
複数の画像の時間的なシーケンスの各画像は、画像に対してもとめられたそれぞれの画像動きベクトルの分だけシフトされて画像メモリ３２３に格納される。この画像メモリ３２３はこれらの画像のシーケンスを撮影するカメラのフォーマットよりも大きい。従って、特にカメラの部分は、再構成された画像によって表されて、画像メモリ３２３内でそれぞれの動きベクトルの分だけシフトされて、次いで動き補償されて格納される。動き補償された瞬時の画像の格納の際には、先行する画像によって既に書き込まれている画像メモリにおける領域は新しい画像によって上書きされる。
【００６７】
このやり方は図６において４個の画像６０１、６０２、６０３、６０４によってシンボリックに図示されている。これら４個の画像６０１、６０２、６０３、６０４の各々はそれぞれの画像６０１、６０２、６０３、６０４に割り当てられた画像動きベクトル６１１、６１２、６１３、６１４に相応するベクトルの分だけ基本位置６００からシフトされている。
【００６８】
動き補償された画像として、瞬時に符号化すべき乃至は表示すべき画像に対して、画像メモリ３２３内の画像情報が読み出される。この画像情報は画像メモリ３２３の領域６１０に含まれており、この領域６１０はこの領域６１０の右上エッジの基本位置６００を含んでいる。
【００６９】
読み出された画像は図６において参照符号６２０によって示されている。
【００７０】
撮影された画像シーケンスの背景が固定オブジェクト、例えば風景又はビデオ会議室の後ろの壁であるならば、多数の画像を符号化し画像メモリ３２３において動き補償して格納した後の時間にわたって、画像シーケンスの撮影の際のとりわけ様々なカメラ視点により起因して、実際の画像背景の比較的大きなまとまった面積が構成される。
【００７１】
常に、すなわち各画像に対して、同じ領域６２０が画像メモリ３２３から読み出される。
【００７２】
図５に基づいてこの方法をもう一度その個々の方法ステップにおいて示す。
【００７３】
この方法のスタート（ステップ５０１）の後で、画像ブロック又はマクロ画像ブロックが選択される（ステップ５０２）。選択された画像ブロック又はマクロ画像ブロックに対して動きベクトルがもとめられ（ステップ５０３）、次のステップ（ステップ５０４）において画像の全ての画像ブロック乃至はマクロ画像ブロックが処理されたかどうかが検査される。
【００７４】
ノーの場合、次のステップ（５０５）においてまだ処理されていない他の画像ブロック又はマクロブロックが選択される。
【００７５】
しかし、全ての画像ブロック乃至はマクロ画像ブロックが処理された場合には、画像ブロック又はマクロ画像ブロックに割り当てられている複数の動きベクトルが選択される。これらの動きベクトルは予め設定された領域に存在する（ステップ５０６）。
【００７６】
選択された動きベクトルから運動モデルのパラメータが算定される（ステップ５０７）。更なる反復を実施しなければならない場合、すなわちまだ指定された反復回数に到達していないか又は終了規準がまだ満たされていない場合、次のステップ（ステップ５０９）において新たな領域が定められるか乃至はベクトル差値ＶＵに依存してすぐ次の反復の重み付けマスクが計算される（ステップ５１０）。
【００７７】
これに続いて決定された運動モデルを使用して画像の動き補償が行われる（ステップ５０８）。
【００７８】
次に上記の実施例のいくつかの代替を説明する。
【００７９】
領域の形態は原理的には任意であり、有利にはシーンに関して予め知っていることに依存する。次のような画像領域が運動モデルの決定のために使用される。すなわち、これら画像領域がグローバルな運動からはっきりと区別されることが既知であるような画像領域が運動モデルの決定のために使用される。
【００８０】
この領域は、動き推定方法の信頼度値３４２に基づいて信頼できると証明されている画像領域の動きベクトルだけを含むべきである。
【００８１】
一般的には動き推定は任意の方法に従って行われ、決してブロックマッチングの原理に限定されるものではない。例えば、動き推定は動的計画法を使用しても行われ得る。
【００８２】
従って、動き推定のやり方、すなわち動きベクトルを画像ブロックに対してもとめるやり方は本発明では重大ではない。
【００８３】
代替的に、連立方程式（７）のパラメータの近似的算定のために、規則（７）におけるサイン項及びコサイン項を線形化することが可能である。
【００８４】
それゆえ小さい角度ρＺに対して次の規則が得られる。
【００８５】
【数８】
ΔＸ及びΔＹに対する方程式の最適化は互いに独立してはいないので、平方誤差の総和が次の規則に従って最小化される：
【００８７】
【数９】
この場合、ΔＸη、ΔＹηは、画像の予め設定された領域Ｖの位置Ｘη、Ｙηにおける画像ブロックηの動きベクトルのＸ成分乃至はＹ成分を示す。
【００８９】
式（１２）によれば、Ｒ１、Ｒ２、ｔｘ、ｔｙは運動モデルの算定すべきパラメータである。
【００９０】
この最適化方法が実施された後で、決定された連立方程式（１２）に基づいてそれぞれのマクロブロックのＸ成分及びＹ成分を使用することによって所属のモデルベースの動きベクトルＭＢＶ（ΔＸ，ΔＹ）が算定される。
【００９１】
上記の領域の代わりに、重み付けマスクＡＸ、ＡＹが次式の最適化アプローチに従って運動モデルのパラメータの計算の際に利用される。これらの重み付けマスクＡＸ、ＡＹは、別個に、動きベクトルの信頼度、アプリオリの知識及びＶＵからの帰納的結論を反復処理において動きベクトルのＸ成分及びＹ成分に対して表現する：
【００９２】
【数１０】
動きベクトルの信頼度に対する重み付けマスクＡｘ、Ａｙ（１０５）は、例えば画像ブロックに対する値αｘ、αｙをブロックマッチングにおいて次のように計算することによって、計算される：
【００９４】
【数１１】
ただしここでＳＡＤηはブロックマッチングのη番目のシフト（Ｘη，Ｙη）におけるブロックの画素差の総和であり、ＳＡＤｍａｔｃｈは最終的に選択された最良の領域（Ｘｍａｔｃｈ，Ｙｍａｔｃｈ）に対するブロックの画素差の総和である。Ｎは調査されたサーチ位置の総数である。この値が例えば１６個の最良の領域を考慮するだけで計算されるならば、このブロックマッチングは「スパイラルサーチ」として、これらの１６個の選択された領域の中の最悪の領域のＳＡＤを終了規準として、実施され得る。
【００９６】
動きベクトルの信頼度に対する重み付けマスクＡｘ＝Ａｙ＝Ａを計算する更に別の方法が次の式によって提供される：
【００９７】
【数１２】
ただしここでα＝αｘ＝αｙは画像ブロックの重み付け係数乃至は乃至はこの画像ブロックの動きベクトルの重み付け係数である。
【００９９】
本発明は例えば移動するカメラの運動の補償又は移動通信機器（携帯ビデオ電話）に統合されているカメラの動き補償のために使用される。
【０１００】
第２の実施例
図７は、第２の実施例による画像の格納及び読み出しのシンボリックな図示によって画像メモリ３２３を示している。
【０１０１】
この実施例の枠内では、カメラが、画像出力に必要な画像フォーマットよりも大きな画像フォーマットによって画像を撮影することが前提とされる。
【０１０２】
この方法は基本的に第１の実施例に相応しているが、動き推定が行われた後で画像メモリ３２３から画像部分７００が読み出されるという差異を有する。この画像部分７００はもとめられた画像動きベクトル７０１の分だけ基本位置７０２からシフトされている。
【０１０３】
注目すべきことは、出力すべき画像の画像フォーマットを処理するための符号器を使用するために、画像に対する動き補償が個々の画像ブロックの変換符号化の前に行われることである。これは、明らかにこの場合動き補償がこの符号器に「前置接続」されていることを意味する。
【０１０４】
次に上記の実施例の代替を示す。
【０１０５】
この動き補償のための方法は動き推定のための選択された方法には依存しない。すなわち、画像動きベクトルをもとめるために任意の方法が使用され得る。
【０１０６】
この文書では以下の刊行物を引用した：
【０１０７】
【外３】
【図面の簡単な説明】
【図１】 実施例の概略的な原理が図示されているブロック線図を示す。
【図２】 カメラ及びこのカメラにより撮影された画像シーケンスの符号化のための符号化ユニットならびに符号化された画像シーケンスの復号化のための装置を有する装置の概略図を示す。
【図３】 画像符号化及びグローバルな動き補償のための装置の詳細な概略図を示す。
【図４】 それぞれ運動モデルのパラメータの形成のために動きベクトルがもとめられる予め設定された領域を有する時間的に先行する画像に対する画像の動きベクトルフィールドが決定される画像（図１ａ）、全動きベクトルを有する画像（図１ｂ）及び本発明の方法の反復の後の図１ａに図示された予め設定された領域を有する動きベクトルを有する画像（図１ｃ）を示す。
【図５】 画像の画像動きベクトルをもとめるための本発明の方法の方法ステップが示されているフローチャートを示す。
【図６】 第１の実施例による時間的に先行する画像の格納が図示された概略図を示す。
【図７】 第２の実施例による画像の動き補償のために画像部分を選択するための領域の選択が図示された概略図を示す。
【符号の説明】
１０１ 動きベクトルフィールド
１０２ 予め設定された領域乃至は重み付けマスク
１０３ ステップ
１０４ 反復ステップ
１０５ 動きベクトルの信頼度に対する重み付けマスクＡｘ、Ａｙ
１０６ 信頼度ファクタの重み付けマスク
２０１ カメラ
２０２ 第１のコンピュータ
２０３ 第１のプロセッサ
２０４ 撮影された画像
２０５ 画像メモリ
２０６ 符号化された画像データ
２０７ 通信接続路
２０８ 第２のコンピュータ
２０９ 第２のプロセッサ
２１０ バス
２１１ 画像メモリ
２１２ ディスプレイ
２１３ ディスプレイ
２１４ キーボード
２１５ キーボード
２１６ コンピュータマウス
２１７ コンピュータマウス
２１８ バス
２１９ 線路
２２０ ディスプレイ
３０１ 画像符号化ユニット
３０２ マクロブロック
３０３、３０４、３０５、３０６ 画像ブロック
３０７、３０８ クロミナンスブロック
３０９ 変換符号化ユニット（ＤＣＴ）
３１０ 差分形成情報
３１１ スペクトル係数
３１２ 量子化ユニット
３１３ 量子化されたスペクトル係数
３１４ スキャンユニット
３１５ 逆量子化ユニット
３１６ エントロピー符号化ユニット
３１７ 符号化された画像データ
３１８ スペクトル係数
３１９ 逆変換符号化ユニット（ＩＤＣＴ）
３２０ 再構成された符号化値
３２１ 加算器
３２２ 再構成された画像ブロック
３２３ 画像メモリ
３２４ クロミナンス値
３２５ 動き補償ユニット
３２６ 輝度値
３２７ 補間ユニット
３２８ 全輝度値
３２９ 動き推定ユニット
３３０ 動きベクトル
３３２ スキャンされたスペクトル係数
３３４ 接続路
３３５ 動きベクトルの選択のためのユニット
３３６ 選択された動きベクトル
３３７ 運動モデルのパラメータをもとめるためのユニット
３３８ 運動モデル
３３９ 補償のためのユニット
３４０ 運動が補償され不鮮明さがより小さくなった画像
４００ ディジタル化された画像
４０１ 予め設定された領域
４０２ 動きベクトルフィールド
４０３ 運動するオブジェクト
４０４ 画像背景
４０５ エッジ領域
４０６ 第１の間隔
４０７ エッジ
４０８ 第２の間隔
４０９ 中心
５０１〜５１０ 方法ステップ
６００ 基本位置
６０１、６０２、６０３、６０４ 画像
６１０ 領域
６１１、６１２、６１３、６１４ 動きベクトル
７００ 画像部分
７０１ 画像動きベクトル
７０２ 基本位置
Claims (5)
- ディジタル化された画像のコンピュータ支援動き補償のための方法において、
ディジタル化された画像の予め決められた第１領域の中の画像ブロックに対して動きを推定することで、前記第１領域の中の画像ブロックの動きベクトルを求め、
前記第１領域の中の画像ブロックの前記動きベクトルに基づいて、動きモデルのパラメータを求め、
前記ディジタル化された画像の、前記第１領域の少なくとも１つの画像ブロックを含む第２領域内にある画像ブロックの動きベクトルに基づいて、前記動きモデルのパラメータを更新し、
更新された前記動きモデルに基づいて、前記ディジタル化された画像と予め決められた数の先行画像の動きを補償し、
動き補償された前記ディジタル化された画像をメモリに格納する、
ディジタル化された画像のコンピュータ支援動き補償のための方法。 - 動き補償された前記ディジタル化された画像を符号化する、請求項１記載の方法。
- 動き補償された前記ディジタル化された画像を復号する、請求項１又は２記載の方法。
- ディジタル化された画像のコンピュータ支援動き補償のための装置であって、
ディジタル化された画像の予め決められた第１領域の中の画像ブロックに対して動きを推定することで、前記第１領域の中の画像ブロックの動きベクトルを求めるステップ、
前記第１領域の中の画像ブロックの前記動きベクトルに基づいて、動きモデルのパラメータを求めるステップ、
前記ディジタル化された画像の、前記第１領域の少なくとも１つの画像ブロックを含む第２領域内にある画像ブロックの動きベクトルに基づいて、前記動きモデルのパラメータを更新するステップ、
更新された前記動きモデルに基づいて、前記ディジタル化された画像と予め決められた数の先行画像の動きを補償するステップ、
動き補償された前記ディジタル化された画像をメモリに格納するステップ、
を実施できるように構成される、ディジタル化された画像のコンピュータ支援動き補償のための装置。 - コンピュータによって実行されたとき、コンピュータに以下のステップを実行させる、すなわち、
ディジタル化された画像の予め決められた第１領域の中の画像ブロックに対して動きを推定することで、前記第１領域の中の画像ブロックの動きベクトルを求めるステップ、
前記第１領域の中の画像ブロックの前記動きベクトルに基づいて、動きモデルのパラメータを求めるステップ、
前記ディジタル化された画像の、前記第１領域の少なくとも１つの画像ブロックを含む第２領域内にある画像ブロックの動きベクトルに基づいて、前記動きモデルのパラメータを更新するステップ、
更新された前記動きモデルに基づいて、前記ディジタル化された画像と予め決められた数の先行画像の動きを補償するステップ、
動き補償された前記ディジタル化された画像をメモリに格納するステップ、
を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19921253.8 | 1999-05-07 | ||
| DE19921253 | 1999-05-07 | ||
| PCT/DE2000/001057 WO2000069178A1 (de) | 1999-05-07 | 2000-04-05 | Verfahren und anordnungen zur rechnergestützten bewegungskompensation eines digitalisierten bildes sowie computerprogramm-erzeugnisse und computerlesbare speichermedien |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002544723A JP2002544723A (ja) | 2002-12-24 |
| JP4796696B2 true JP4796696B2 (ja) | 2011-10-19 |
Family
ID=7907416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000617653A Expired - Lifetime JP4796696B2 (ja) | 1999-05-07 | 2000-04-05 | ディジタル化された画像のコンピュータ支援動き補償のための方法及び装置ならびにコンピュータ読み取り可能な記録媒体 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7221390B1 (ja) |
| EP (1) | EP1177690B1 (ja) |
| JP (1) | JP4796696B2 (ja) |
| CN (1) | CN100481944C (ja) |
| DE (1) | DE50004426D1 (ja) |
| WO (1) | WO2000069178A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0229096D0 (en) * | 2002-12-13 | 2003-01-15 | Qinetiq Ltd | Image stabilisation system and method |
| JP2004357202A (ja) * | 2003-05-30 | 2004-12-16 | Canon Inc | 撮影装置 |
| WO2006022229A1 (ja) * | 2004-08-25 | 2006-03-02 | Matsushita Electric Industrial Co., Ltd. | 撮像光学機器、撮像画像処理システムおよび撮像画像処理プログラム |
| US7649549B2 (en) * | 2004-09-27 | 2010-01-19 | Texas Instruments Incorporated | Motion stabilization in video frames using motion vectors and reliability blocks |
| JP4379918B2 (ja) * | 2004-11-29 | 2009-12-09 | 富士フイルム株式会社 | 撮影装置及び撮影方法 |
| US7605845B2 (en) * | 2005-04-28 | 2009-10-20 | Texas Instruments Incorporated | Motion stabilization |
| JP4640068B2 (ja) * | 2005-09-16 | 2011-03-02 | ソニー株式会社 | 撮像方法および撮像装置 |
| EP2052553A4 (en) * | 2006-07-26 | 2010-08-25 | Human Monitoring Ltd | IMAGE STABILIZER |
| US20110169960A1 (en) * | 2006-11-13 | 2011-07-14 | Redshift Systems Corporation | Video enhancement system |
| TWI367026B (en) * | 2007-03-28 | 2012-06-21 | Quanta Comp Inc | Method and apparatus for image stabilization |
| US8130277B2 (en) * | 2008-02-20 | 2012-03-06 | Aricent Group | Method and system for intelligent and efficient camera motion estimation for video stabilization |
| US8810666B2 (en) * | 2012-01-16 | 2014-08-19 | Google Inc. | Methods and systems for processing a video for stabilization using dynamic crop |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08149360A (ja) * | 1994-11-24 | 1996-06-07 | Sanyo Electric Co Ltd | 手振れ補正装置およびそれを用いたビデオカメラ |
| JPH08242454A (ja) * | 1995-03-02 | 1996-09-17 | Ricoh Co Ltd | グローバル動きパラメタ検出方法 |
| JPH1051787A (ja) * | 1996-08-01 | 1998-02-20 | Sharp Corp | 動きベクトル検出装置 |
| WO1999021135A1 (en) * | 1997-10-16 | 1999-04-29 | Electronics And Telecommunications Research Institute | Method of deciding presence of global motion by using 2-dimensional translational motion vectors and linear regression |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2803072B2 (ja) * | 1990-10-18 | 1998-09-24 | 富士写真フイルム株式会社 | 手振れ補正装置 |
| US5592228A (en) * | 1993-03-04 | 1997-01-07 | Kabushiki Kaisha Toshiba | Video encoder using global motion estimation and polygonal patch motion estimation |
| JP2940762B2 (ja) | 1993-06-28 | 1999-08-25 | 三洋電機株式会社 | 手振れ補正装置を有するビデオカメラ |
| US5614945A (en) * | 1993-10-19 | 1997-03-25 | Canon Kabushiki Kaisha | Image processing system modifying image shake correction based on superimposed images |
| KR100292475B1 (ko) * | 1993-12-08 | 2001-06-01 | 구자홍 | 디지탈 영상 흔들림 보상 장치 |
| US5436672A (en) | 1994-05-27 | 1995-07-25 | Symah Vision | Video processing system for modifying a zone in successive images |
| US5835138A (en) * | 1995-08-30 | 1998-11-10 | Sony Corporation | Image signal processing apparatus and recording/reproducing apparatus |
| US6473458B1 (en) * | 1997-07-09 | 2002-10-29 | Nippon Telegraph And Telephone Corporation | Method for encoding and decoding moving vector, encoder and decoder for moving vector, and recording medium stored with encoding and decoding programs for moving vector |
| WO1999012355A1 (de) | 1997-08-29 | 1999-03-11 | Siemens Aktiengesellschaft | Verfahren zum komprimieren von bildinformationen |
| WO2000011874A1 (de) | 1998-08-18 | 2000-03-02 | Siemens Aktiengesellschaft | Verfahren und anordnung zur codierung eines digitalisierten bildes mit anwendung eines objektgesamtbewegungsvektors |
| US6628711B1 (en) * | 1999-07-02 | 2003-09-30 | Motorola, Inc. | Method and apparatus for compensating for jitter in a digital video image |
-
2000
- 2000-04-05 DE DE50004426T patent/DE50004426D1/de not_active Expired - Lifetime
- 2000-04-05 JP JP2000617653A patent/JP4796696B2/ja not_active Expired - Lifetime
- 2000-04-05 WO PCT/DE2000/001057 patent/WO2000069178A1/de active IP Right Grant
- 2000-04-05 EP EP00931013A patent/EP1177690B1/de not_active Expired - Lifetime
- 2000-04-05 US US09/959,804 patent/US7221390B1/en not_active Expired - Lifetime
- 2000-04-05 CN CNB008073031A patent/CN100481944C/zh not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08149360A (ja) * | 1994-11-24 | 1996-06-07 | Sanyo Electric Co Ltd | 手振れ補正装置およびそれを用いたビデオカメラ |
| JPH08242454A (ja) * | 1995-03-02 | 1996-09-17 | Ricoh Co Ltd | グローバル動きパラメタ検出方法 |
| JPH1051787A (ja) * | 1996-08-01 | 1998-02-20 | Sharp Corp | 動きベクトル検出装置 |
| WO1999021135A1 (en) * | 1997-10-16 | 1999-04-29 | Electronics And Telecommunications Research Institute | Method of deciding presence of global motion by using 2-dimensional translational motion vectors and linear regression |
Also Published As
| Publication number | Publication date |
|---|---|
| US7221390B1 (en) | 2007-05-22 |
| CN1350749A (zh) | 2002-05-22 |
| EP1177690A1 (de) | 2002-02-06 |
| DE50004426D1 (de) | 2003-12-18 |
| JP2002544723A (ja) | 2002-12-24 |
| WO2000069178A1 (de) | 2000-11-16 |
| CN100481944C (zh) | 2009-04-22 |
| EP1177690B1 (de) | 2003-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100977255B1 (ko) | 영상 부호화 방법 및 복호 방법, 그들의 장치, 및 그들의프로그램 및 프로그램을 기록한 기억 매체 | |
| KR100879324B1 (ko) | 영상정보 압축 방법 및 이를 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
| JP4472986B2 (ja) | 動き推定および／または補償 | |
| EP0849950A2 (en) | Dynamic sprites for encoding video data | |
| CN108141606B (zh) | 用于全局运动估计和补偿的方法和系统 | |
| KR100242406B1 (ko) | 디지탈 비디오 동화상의 움직임 보상 방법 | |
| Liu et al. | Codingflow: Enable video coding for video stabilization | |
| JP2020522200A (ja) | 映像コーディングにおける動き補償予測のオプティカルフロー推定 | |
| US20090147851A1 (en) | Motion vector field projection dealing with covering and uncovering | |
| JP4796696B2 (ja) | ディジタル化された画像のコンピュータ支援動き補償のための方法及び装置ならびにコンピュータ読み取り可能な記録媒体 | |
| JP2009533928A (ja) | イメージ信号中の推定動きベクトルの決定方法、コンピュータプログラム、コンピュータプログラム製品およびディスプレイ装置 | |
| EP2186343B1 (en) | Motion compensated projection of prediction residuals for error concealment in video data | |
| KR20030059399A (ko) | 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법 | |
| JP4157234B2 (ja) | 動画像内の移動物体検出装置 | |
| KR20050097936A (ko) | 효과적인 예측 이미지 파라미터 추정 | |
| KR100367468B1 (ko) | 픽셀들을 가지는 디지털화 된 화상에서 동작을추정하기위한 방법 및 장치 | |
| Takacs et al. | Feature tracking for mobile augmented reality using video coder motion vectors | |
| JP4805518B2 (ja) | 時間的に順次連続する画像の画像情報を記憶および処理するための方法並びに装置 | |
| US6968009B1 (en) | System and method of finding motion vectors in MPEG-2 video using motion estimation algorithm which employs scaled frames | |
| JP2002051342A (ja) | 符号化装置及び符号化方法並びに記憶媒体 | |
| EP1925095A2 (en) | Variable shape motion estimation in video sequence | |
| Tekalp et al. | Two-versus three-dimensional object-based video compression | |
| JP2002521944A (ja) | デジタル画像が被る動きを求める方法および装置 | |
| KR102245740B1 (ko) | 깊이 영상에서 신축을 이용한 움직임 추정 방법 및 장치 | |
| JPH0984017A (ja) | 動画像の動き補償予測符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090715 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091014 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091116 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20091202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100324 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100622 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100622 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101220 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110623 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110801 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4796696 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |