JP3537616B2 - ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法 - Google Patents
ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法Info
- Publication number
- JP3537616B2 JP3537616B2 JP34383696A JP34383696A JP3537616B2 JP 3537616 B2 JP3537616 B2 JP 3537616B2 JP 34383696 A JP34383696 A JP 34383696A JP 34383696 A JP34383696 A JP 34383696A JP 3537616 B2 JP3537616 B2 JP 3537616B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- motion vector
- value
- cost function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
Description
【０００１】
【発明の属する技術分野】本発明は、ビデオシーケンス
の時間的に順次連続する画像の画素に対する、計算機に
よる動き予測方法に関する。
の時間的に順次連続する画像の画素に対する、計算機に
よる動き予測方法に関する。
【０００２】
【従来の技術】ブロックに基づく画像符号化方法または
オブジェクトに基づく画像符号化方法の領域では、ビデ
オシーケンスの個々の画像のブロックないしオブジェク
トに対して良質の動き予測をすることが重要である。こ
れは、必要な伝送容量を可能な限り節約する場合に、ビ
デオデータ流の受信器側で良質の再現画像を得るためで
ある。
オブジェクトに基づく画像符号化方法の領域では、ビデ
オシーケンスの個々の画像のブロックないしオブジェク
トに対して良質の動き予測をすることが重要である。こ
れは、必要な伝送容量を可能な限り節約する場合に、ビ
デオデータ流の受信器側で良質の再現画像を得るためで
ある。
【０００３】動き予測によって、ビデオシーケンスの画
像の個々の画素（ピクセル）の輝度情報および/または
色彩情報を符号化する代わりに、所定のブロックないし
オブジェクトの形状と、２つの順次連続する画像間のブ
ロックないしオブジェクトに関する別の情報を符号化
し、これを受信器に伝送すればよいだけである。
像の個々の画素（ピクセル）の輝度情報および/または
色彩情報を符号化する代わりに、所定のブロックないし
オブジェクトの形状と、２つの順次連続する画像間のブ
ロックないしオブジェクトに関する別の情報を符号化
し、これを受信器に伝送すればよいだけである。
【０００４】前記別の情報は例えば、２つの順次連続す
る画像間のブロックないりオブジェクトのずれを含むこ
とができる。
る画像間のブロックないりオブジェクトのずれを含むこ
とができる。
【０００５】このブロックないしオブジェクトに基づい
た符号化によって、必要な伝送容量を格段に節約するこ
とができる。
た符号化によって、必要な伝送容量を格段に節約するこ
とができる。
【０００６】ブロックに基づいた画像符号化方法での動
き予測の基礎は例えば次の刊行物に記載されている。R.
Mester, M.Hoetter, Zuverlaessigkeit und Effizienz
vonVerfahren zur Verschiebunngsvektorschaetzung, M
ustererkennung, 1995, Infomatik Aktuell, Springer
Verlag, 285-294ページ; Liu et al. Method and Appar
atus for determining motion vectors for image sequ
ences, US-Patent-Nr. 5,398,068, 1995; F. Dufaux an
d F. Moscheni, Motion Techniques for digital TV: A
Review and a New Contributin, Proceedings of the
IEEE, Vol. 83, Nr.6, 858-876ページ, June 1995。
き予測の基礎は例えば次の刊行物に記載されている。R.
Mester, M.Hoetter, Zuverlaessigkeit und Effizienz
vonVerfahren zur Verschiebunngsvektorschaetzung, M
ustererkennung, 1995, Infomatik Aktuell, Springer
Verlag, 285-294ページ; Liu et al. Method and Appar
atus for determining motion vectors for image sequ
ences, US-Patent-Nr. 5,398,068, 1995; F. Dufaux an
d F. Moscheni, Motion Techniques for digital TV: A
Review and a New Contributin, Proceedings of the
IEEE, Vol. 83, Nr.6, 858-876ページ, June 1995。
【０００７】ダイナミック・プログラミング法が公知で
ある（H. Sakoe et al, Dynamic Programming Algorith
m Optimization for Spoken Word Recognition, IEEE T
ransactkons, Vol.ASSP-26, No. 1, 43-49ページ, 197
8）。
ある（H. Sakoe et al, Dynamic Programming Algorith
m Optimization for Spoken Word Recognition, IEEE T
ransactkons, Vol.ASSP-26, No. 1, 43-49ページ, 197
8）。
【０００８】さらにダイナミック・プログラミング法
（ダイナミック・プログラミング・アルゴリズム、ＤＰ
法）を画像処理で、例えばいわゆるステレオ対応（D. G
eigeret al, Occlutions and Binocular Stereo, Inter
n. Jounal of Computer Visin, No.14, Kluwer Academi
c Publishers Boston, 211-226ページ、1995）と関連し
て使用することが公知である。
（ダイナミック・プログラミング・アルゴリズム、ＤＰ
法）を画像処理で、例えばいわゆるステレオ対応（D. G
eigeret al, Occlutions and Binocular Stereo, Inter
n. Jounal of Computer Visin, No.14, Kluwer Academi
c Publishers Boston, 211-226ページ、1995）と関連し
て使用することが公知である。
【０００９】この提案された方法では次のことが欠点で
ある。ＤＰ法で使用されるコスト関数によって、画素に
割り当てられた動きベクトルが次のように強調される。
すなわち、動きベクトルが平面全体、すなわち分類すべ
きオブジェクト内で大きな差を有するのではなく、動き
ベクトル間で大きな跳躍が発生しないように強調される
ように構成されるという欠点がある（単調な強制）。こ
れによって、オブジェクト内で画素に対して良質の動き
予測が達成されるが、しかしこの方法はオブジェクトの
エッジの画素に対してはとくに不十分である。というの
は、これらの画素はこの方法においてはオブジェクトエ
ッジ画素として分類されるのではなく、間違ってマスク
として分類されるからである。
ある。ＤＰ法で使用されるコスト関数によって、画素に
割り当てられた動きベクトルが次のように強調される。
すなわち、動きベクトルが平面全体、すなわち分類すべ
きオブジェクト内で大きな差を有するのではなく、動き
ベクトル間で大きな跳躍が発生しないように強調される
ように構成されるという欠点がある（単調な強制）。こ
れによって、オブジェクト内で画素に対して良質の動き
予測が達成されるが、しかしこの方法はオブジェクトの
エッジの画素に対してはとくに不十分である。というの
は、これらの画素はこの方法においてはオブジェクトエ
ッジ画素として分類されるのではなく、間違ってマスク
として分類されるからである。
【００１０】動き予測のためにＤＰアルゴリズムをいわ
ゆるステレオ対応の枠内で使用する別の方法が公知であ
る（I. Cox et al, Stereo Without Regularization, N
EC Reseach Institute, Peinceton, NJ 08540, 1-31ペ
ージ, 1992）。
ゆるステレオ対応の枠内で使用する別の方法が公知であ
る（I. Cox et al, Stereo Without Regularization, N
EC Reseach Institute, Peinceton, NJ 08540, 1-31ペ
ージ, 1992）。
【００１１】前記２つの方法はさらに、ＤＰ法が２次元
最適化空間でしか実行で気にという欠点を有する。この
ことは、一方向、例えばスキャンラインの方向のオブジ
ェクトの動きしか確実に識別されないことを意味する。
しかしオブジェクトが急速に別の方向に運動すると、す
でに述べたように、オブジェクトがＤＰ法によって“発
見”されなくなることもある。そのために、個々の画素
がこの方法によってエラーのある動きベクトルに割り当
てられてしまう。
最適化空間でしか実行で気にという欠点を有する。この
ことは、一方向、例えばスキャンラインの方向のオブジ
ェクトの動きしか確実に識別されないことを意味する。
しかしオブジェクトが急速に別の方向に運動すると、す
でに述べたように、オブジェクトがＤＰ法によって“発
見”されなくなることもある。そのために、個々の画素
がこの方法によってエラーのある動きベクトルに割り当
てられてしまう。
【００１２】
【発明が解決しようとする課題】本発明の課題は、ビデ
オシーケンスの画像のオブジェクトエッジにおける個々
の画素に正しい動きベクトルを割り当てることのできる
動き予測方法を提供することである。
オシーケンスの画像のオブジェクトエッジにおける個々
の画素に正しい動きベクトルを割り当てることのできる
動き予測方法を提供することである。
【００１３】
【課題を解決するための手段】上記課題は本発明によ
り、 ａ）符号化すべき画像の各画素毎に輝度勾配を検出し； ｂ）符号化すべき画像の各画素毎にコスト関数を検出
し； ｃ）前記コスト関数に基づいて、各画素に対してダイナ
ミック・プログラミングを実行し； ｄ）ダイナミック・プログラミングによって検出された
動きベクトルを前記画素に割り当てる； ただし前記コスト関数は第１の項と第２の項を有してお
り、前記第１の項は、符号化すべき画像の領域の画素の
輝度値と、時間的に先行する画像であって、前記符号化
すべき画像に対してずらされている画像の同形状の領域
の画素の輝度値との一致を表わすものであり、また前記
第１の項によってコスト関数の値は、スキャンラインに
順次並んで存在する画素の動きベクトルの値の差に相応
して高められるものであり、前記第２の項によってコス
ト関数の値が、輝度勾配が上昇するときに低減されるも
のである、ことを特徴とする予測方法により解決され
る。
り、 ａ）符号化すべき画像の各画素毎に輝度勾配を検出し； ｂ）符号化すべき画像の各画素毎にコスト関数を検出
し； ｃ）前記コスト関数に基づいて、各画素に対してダイナ
ミック・プログラミングを実行し； ｄ）ダイナミック・プログラミングによって検出された
動きベクトルを前記画素に割り当てる； ただし前記コスト関数は第１の項と第２の項を有してお
り、前記第１の項は、符号化すべき画像の領域の画素の
輝度値と、時間的に先行する画像であって、前記符号化
すべき画像に対してずらされている画像の同形状の領域
の画素の輝度値との一致を表わすものであり、また前記
第１の項によってコスト関数の値は、スキャンラインに
順次並んで存在する画素の動きベクトルの値の差に相応
して高められるものであり、前記第２の項によってコス
ト関数の値が、輝度勾配が上昇するときに低減されるも
のである、ことを特徴とする予測方法により解決され
る。
【００１４】
【発明の実施の形態】ここではＤＰアルゴリズムに対し
て、次のような各個々の画素に対してコスト関数が使用
され、この値は画素の動きベクトルの値の差が大きくな
ると高められる。前記画素は、スキャンラインに並んで
存在し、その値は個々の画素の輝度勾配が大きくなると
低減されるような画素である。
て、次のような各個々の画素に対してコスト関数が使用
され、この値は画素の動きベクトルの値の差が大きくな
ると高められる。前記画素は、スキャンラインに並んで
存在し、その値は個々の画素の輝度勾配が大きくなると
低減されるような画素である。
【００１５】このようにして、画素に対する動き予測が
格段に改善される。なぜなら、最適化がスキャンライン
に沿って全体的に行われるのではなく、付加項によって
個々のオブジェクト内で実行されるようになるからであ
る。このことは、オブジェクトのエッジも最適化の際に
ＤＰ法によって考慮されることを意味する。
格段に改善される。なぜなら、最適化がスキャンライン
に沿って全体的に行われるのではなく、付加項によって
個々のオブジェクト内で実行されるようになるからであ
る。このことは、オブジェクトのエッジも最適化の際に
ＤＰ法によって考慮されることを意味する。
【００１６】本発明の有利な改善実施例は従属請求項に
記載されている。
記載されている。
【００１７】本発明、ＤＰアルゴリズムに対して有利に
は３次元最適化領域（探索領域とも称する）を使用す
る。
は３次元最適化領域（探索領域とも称する）を使用す
る。
【００１８】この３次元とは、
−動き予測に沿って実行されるスキャンライン
−第１の方向の動きベクトルに対する値
−第１の方向と異なる第２の方向の動きベクトルに対す
る値 ＤＰアルゴリズムに対する最適化空間を拡張することに
よって、次のようなオブジェクトを識別することができ
る。すなわち、時間的に順次連続する画像間にあり、第
１の方向とは異なる第２の方向で大きくずれるオブジェ
クトを識別することができ、したがって個々の画素に対
する動き予測を正確に実行することができる。
る値 ＤＰアルゴリズムに対する最適化空間を拡張することに
よって、次のようなオブジェクトを識別することができ
る。すなわち、時間的に順次連続する画像間にあり、第
１の方向とは異なる第２の方向で大きくずれるオブジェ
クトを識別することができ、したがって個々の画素に対
する動き予測を正確に実行することができる。
【００１９】これにより、公知の方法で不可避のように
ある領域をマスクとして間違って分類されることが回避
される。
ある領域をマスクとして間違って分類されることが回避
される。
【００２０】しかしこの場合、正規化はスキャンライン
に沿って全体として実行されるのではなく、スキャンラ
インはオブジェクトのエッジが検知されたか否かに依存
して個々のセグメントに分割される。スキャンラインの
画素がエッジ画素（それぞれの画素の輝度勾配の値が高
められている）として分類されると、画素の高められた
輝度勾配が、正規化に用いるＤＰアルゴリズムのコスト
関数の部分に及ぼす影響が“減衰”される。このことに
よってスキャンラインは、エッジによって相互に画定さ
れた個々のオブジェクトに対応するセグメントに分割さ
れる。
に沿って全体として実行されるのではなく、スキャンラ
インはオブジェクトのエッジが検知されたか否かに依存
して個々のセグメントに分割される。スキャンラインの
画素がエッジ画素（それぞれの画素の輝度勾配の値が高
められている）として分類されると、画素の高められた
輝度勾配が、正規化に用いるＤＰアルゴリズムのコスト
関数の部分に及ぼす影響が“減衰”される。このことに
よってスキャンラインは、エッジによって相互に画定さ
れた個々のオブジェクトに対応するセグメントに分割さ
れる。
【００２１】本発明の別の実施例では、２つの時間的に
順次連続する画像の画素をマッチングするために、矩形
または正方形の領域が使用される。それぞれの画素を取
り囲むこの領域内では、この領域内にある個々の画素の
輝度値が加算され、正規化され、相互に比較される。
順次連続する画像の画素をマッチングするために、矩形
または正方形の領域が使用される。それぞれの画素を取
り囲むこの領域内では、この領域内にある個々の画素の
輝度値が加算され、正規化され、相互に比較される。
【００２２】
【実施例】本発明の方法を図１から図７に基づいてさら
に説明する。
に説明する。
【００２３】ダイナミック・プログラミング
ダイナミック・プログラミングの基礎的方法は、H.Sako
e et al, Dynamic Programming Optimisation for Spok
en Word Recogniton, IEEE Transaction, Vol.ASSP-26,
No.1, 43-49ページ、1978 に記載されている。
e et al, Dynamic Programming Optimisation for Spok
en Word Recogniton, IEEE Transaction, Vol.ASSP-26,
No.1, 43-49ページ、1978 に記載されている。
【００２４】画像処理への変換と、動き予測への特別の
変換をダイナミック・プログラミング方法は目的として
おり、ビデオシーケンスの第１の画像のスキャンライン
が時間的に第１の画像に後続する第２の画像の領域と最
大の確率で一致することを検出し、これによりそれぞれ
のスキャンライン上に存在する画素に対して動き予測が
実行される。
変換をダイナミック・プログラミング方法は目的として
おり、ビデオシーケンスの第１の画像のスキャンライン
が時間的に第１の画像に後続する第２の画像の領域と最
大の確率で一致することを検出し、これによりそれぞれ
のスキャンライン上に存在する画素に対して動き予測が
実行される。
【００２５】ダイナミック・プログラミング方法は、最
適解を求めるために先験的な統計的情報並びに所定の検
出規則を必要とする最適化法である。
適解を求めるために先験的な統計的情報並びに所定の検
出規則を必要とする最適化法である。
【００２６】確率Ｐ（ｎ−１，ｄ）は、走査線上の第１
の画素ｎ−１が動きベクトル値ｄを有する確率である。
の画素ｎ−１が動きベクトル値ｄを有する確率である。
【００２７】条件確率Ｐ（ｎ，ｄ’｜ｎ−１，ｄ）は、
第１の画素ｎ−１が動きベクトル値ｄを有するという条
件のもとで第２の画素ｎが別の動きベクトル値ｄ’を有
する確率である。
第１の画素ｎ−１が動きベクトル値ｄを有するという条
件のもとで第２の画素ｎが別の動きベクトル値ｄ’を有
する確率である。
【００２８】ここでは、別の動きベクトル値ｄ’が動き
ベクトル値ｄと同じでも、または異なっていても良い。
ベクトル値ｄと同じでも、または異なっていても良い。
【００２９】前記の確率は、すべての画素および画素に
割り当てられたすべての動きベクトル値に当てはまるこ
とがわかる。第１の画素ｎ−１と第２の画素ｎは、同じ
走査線上にあって隣接する２つの画素である。
割り当てられたすべての動きベクトル値に当てはまるこ
とがわかる。第１の画素ｎ−１と第２の画素ｎは、同じ
走査線上にあって隣接する２つの画素である。
【００３０】これらの条件確率が走査線の各画素に対し
て、ダイナミック・プログラム方法の実行後に既知であ
れば、これを最適化問題に書き換えることができ、ダイ
ナミック・プログラミング方法によって解くことができ
る。
て、ダイナミック・プログラム方法の実行後に既知であ
れば、これを最適化問題に書き換えることができ、ダイ
ナミック・プログラミング方法によって解くことができ
る。
【００３１】条件確率を各個々の画素に対して検出する
ことと、各個々の画素に割り当てられた動きベクトル値
について以下詳細に説明する。
ことと、各個々の画素に割り当てられた動きベクトル値
について以下詳細に説明する。
【００３２】図１には、基本例としてスキャンラインＳ
上にＮ個の画素を有する。ここでインデックスｎは個々
の画素を示すためのものであり、間隔「０..Ｎ」であ
る。各画素に対してスキャンラインＳ上にある動きベク
トル値ｄがプロットされている。これらの動きベクトル
値はそれぞれの画素に割り当てることができる。
上にＮ個の画素を有する。ここでインデックスｎは個々
の画素を示すためのものであり、間隔「０..Ｎ」であ
る。各画素に対してスキャンラインＳ上にある動きベク
トル値ｄがプロットされている。これらの動きベクトル
値はそれぞれの画素に割り当てることができる。
【００３３】図１では簡単にするため、Ｎ＝４が選択さ
れており、スキャンラインＳの個々の４つの画素に対し
ても４つの動きベクトル値だけが示されている。
れており、スキャンラインＳの個々の４つの画素に対し
ても４つの動きベクトル値だけが示されている。
【００３４】これは非常に簡単な例であることがわか
る。これはダイナミック・プログラミング方法の理解を
容易にするものであり、本発明の一般的有効性を制限す
るものではない。
る。これはダイナミック・プログラミング方法の理解を
容易にするものであり、本発明の一般的有効性を制限す
るものではない。
【００３５】図１の各画素毎に対してさらにそれぞれ確
率がプロットされており、それぞれの画素ｎは相応する
動きベクトル値ｄを有する。例えば画素ｎ＝２が動きベ
クトル値ｄ＝３を有する場合はＰ（２、３）と示されて
いる。
率がプロットされており、それぞれの画素ｎは相応する
動きベクトル値ｄを有する。例えば画素ｎ＝２が動きベ
クトル値ｄ＝３を有する場合はＰ（２、３）と示されて
いる。
【００３６】さらに各画素毎にそれぞれの条件確率を後
続の画素に対して求める。個の確率は図１には例として
Ｐ（４、４｜３、３）により示されている。これによ
り、画素ｎ＝３（ｎ−１）が動きベクトル値ｄ＝３を有
するという条件のもとで画素ｎ＝４が別の動きベクトル
値ｄ’＝４を有する確率が示される。
続の画素に対して求める。個の確率は図１には例として
Ｐ（４、４｜３、３）により示されている。これによ
り、画素ｎ＝３（ｎ−１）が動きベクトル値ｄ＝３を有
するという条件のもとで画素ｎ＝４が別の動きベクトル
値ｄ’＝４を有する確率が示される。
【００３７】条件確率を個々の画素に対して求めること
と、割り当てられた動きベクトル値について以下さらに
説明する。
と、割り当てられた動きベクトル値について以下さらに
説明する。
【００３８】個々の確率と個々の条件確率から評価Ｃが
求められる。この評価は経路全体のそれぞれの発生確率
に対する尺度である。経路とは、動きベクトル値とそれ
ぞれの画素との個々の対応関係の組合せである。
求められる。この評価は経路全体のそれぞれの発生確率
に対する尺度である。経路とは、動きベクトル値とそれ
ぞれの画素との個々の対応関係の組合せである。
【００３９】評価Ｃの最大は、時間的に順次連続する２
つの画素間でスキャンラインのそれぞれの画素がもっと
も一致するときに生じる。
つの画素間でスキャンラインのそれぞれの画素がもっと
も一致するときに生じる。
【００４０】評価Ｃは次のように行われる。
【００４１】
【数３】
【００４２】ダイナミック・プログラミング方法を実行
する際には、スタート点から目的の終点までの経路を考
慮すればよいだけである。
する際には、スタート点から目的の終点までの経路を考
慮すればよいだけである。
【００４３】図１に示された例ではこのことは、１６の
経路が可能な場合において残りの１５の可能な経路は考
慮する必要がないことを意味する。Ｄ（ｉ，ｊ）によっ
て、ｉベクトル（これは画素ｊで終点する）の経路に対
する評価Ｃの最大値が示されている。
経路が可能な場合において残りの１５の可能な経路は考
慮する必要がないことを意味する。Ｄ（ｉ，ｊ）によっ
て、ｉベクトル（これは画素ｊで終点する）の経路に対
する評価Ｃの最大値が示されている。
【００４４】Ｄ（ｉ，ｊ）は次の規則に従って検出され
る（図１に示された例に対して）。
る（図１に示された例に対して）。
【００４５】
【数４】
【００４６】ここでインデックスｘは、画素ｊに割り当
てられたそれぞれの動きベクトル値を表す。
てられたそれぞれの動きベクトル値を表す。
【００４７】図１の場合に対してこのことは、１つの経
路が例えば画素ｎ＝３で終点することを意味する。
路が例えば画素ｎ＝３で終点することを意味する。
【００４８】
【数５】
【００４９】反復式（２）が次にｎベクトルの経路長に
対して実行される。ここでこの方法は部分的にそれぞれ
の画像の画素に対して左から右へ記録しながら実行され
る。すべてのスキャンラインで“０番目”の画素はｎ＝
０で始まる。
対して実行される。ここでこの方法は部分的にそれぞれ
の画像の画素に対して左から右へ記録しながら実行され
る。すべてのスキャンラインで“０番目”の画素はｎ＝
０で始まる。
【００５０】全体として最適のパターンを検出するため
には、すなわち最適の経路を検出するためには、この経
路を逆に追従できなければならない。そのためには、画
素のそれぞれ最適の先行過程とこの画素に割り当てられ
た動きベクトルとを各ベクトルについて全体経路で再発
見できなければならない。このことは、それぞれ最適の
先行過程をマークして記憶することによって達成され
る。このようにしていわゆるバックトラッキングが達成
され、スキャンラインＳの画素について、動きベクトル
の最適の全体対応関係を検出することができる。
には、すなわち最適の経路を検出するためには、この経
路を逆に追従できなければならない。そのためには、画
素のそれぞれ最適の先行過程とこの画素に割り当てられ
た動きベクトルとを各ベクトルについて全体経路で再発
見できなければならない。このことは、それぞれ最適の
先行過程をマークして記憶することによって達成され
る。このようにしていわゆるバックトラッキングが達成
され、スキャンラインＳの画素について、動きベクトル
の最適の全体対応関係を検出することができる。
【００５１】動きベクトル値ｄの値領域の大きさはダイ
ナミック・プログラムイング方法を実行することのでき
る速度に対して非常に重要である。この探索領域は通常
は所定の仮定によって制限される。このような制限の例
は単調制限であり、これは画素の動きベクトルがオブジ
ェクト内で単調関数を形成するために使用される。この
ことは次の仮定によるものである。すなわち、オブジェ
クトのすべての画素は類似の動きベクトル値を有すると
いう仮定によるものである。なぜなら、オブジェクトの
位置は全体的に変化するからである。
ナミック・プログラムイング方法を実行することのでき
る速度に対して非常に重要である。この探索領域は通常
は所定の仮定によって制限される。このような制限の例
は単調制限であり、これは画素の動きベクトルがオブジ
ェクト内で単調関数を形成するために使用される。この
ことは次の仮定によるものである。すなわち、オブジェ
クトのすべての画素は類似の動きベクトル値を有すると
いう仮定によるものである。なぜなら、オブジェクトの
位置は全体的に変化するからである。
【００５２】３次元最適空間によるＤＰ方法
ダイナミック・プログラミングを用いた動き予測での画
像処理の問題は、順次連続する２つの画像間でオブジェ
クトを各任意の方向にずらすことができる、ということ
である。
像処理の問題は、順次連続する２つの画像間でオブジェ
クトを各任意の方向にずらすことができる、ということ
である。
【００５３】これにより場合によっては、オブジェクト
の位置も２つの画像間で非常に高速に変化する。この問
題が図４のａとｂに示されている。ここでは第１のオブ
ジェクトＡが第２の画像４２内で第１の画像４１を基準
にして、水平方向と垂直方向にずれている。
の位置も２つの画像間で非常に高速に変化する。この問
題が図４のａとｂに示されている。ここでは第１のオブ
ジェクトＡが第２の画像４２内で第１の画像４１を基準
にして、水平方向と垂直方向にずれている。
【００５４】これに対して第２のオブジェクトＢは垂直
方向にはずれていない。
方向にはずれていない。
【００５５】次に、第１の画像４１の走査線ｒと第２の
画像４２の領域との一致を得るために走査線ｒがスキャ
ンラインとしてダイナミック・プログラミング方法で使
用されるなら、公知の方法では図５aに示すように、第
１のオブジェクトＡが垂直方向にずれたため一致の欠如
が検出される。ラインＰによってそれぞれの一致点、す
なわち正しく分類された画素がこの画素に配属された動
きベクトル値によって表される。このことは図５ａに示
されている。
画像４２の領域との一致を得るために走査線ｒがスキャ
ンラインとしてダイナミック・プログラミング方法で使
用されるなら、公知の方法では図５aに示すように、第
１のオブジェクトＡが垂直方向にずれたため一致の欠如
が検出される。ラインＰによってそれぞれの一致点、す
なわち正しく分類された画素がこの画素に配属された動
きベクトル値によって表される。このことは図５ａに示
されている。
【００５６】当該の点において、公知の方法では第１の
画像４１の輝度値と第２の画像４２の画素の輝度値との
間で一致が検出されない。この理由からこの画素の領域
は間違っていわゆるマスクとして分類されてしまう。
画像４１の輝度値と第２の画像４２の画素の輝度値との
間で一致が検出されない。この理由からこの画素の領域
は間違っていわゆるマスクとして分類されてしまう。
【００５７】第１のオブジェクトＡのこの垂直方向の動
きは次の処理によって補償される。すなわち、走査線ｒ
を複数の別の走査線に“分割”するのである。
きは次の処理によって補償される。すなわち、走査線ｒ
を複数の別の走査線に“分割”するのである。
【００５８】簡単な例として図４ｂに別の走査線ｒ−ｋ
が示されている。
が示されている。
【００５９】図５ｂでの結果は改善されており、複数の
セグメントによって複数の走査線が示されている。ライ
ンＰによってここでもそれぞれ一致点が図５ｂに示され
ている。
セグメントによって複数の走査線が示されている。ライ
ンＰによってここでもそれぞれ一致点が図５ｂに示され
ている。
【００６０】図５ａとｂでは、第１の画像４１のそれぞ
れの走査線ｒが示されている。この走査線は、第２の画
像４２（図５ａ）の走査線ｒの１つ、または走査線ｒの
個々のセグメントと、本発明（図５ｂ）による第２の画
像４２の別の走査線ｒ−ｋに対比されている。
れの走査線ｒが示されている。この走査線は、第２の画
像４２（図５ａ）の走査線ｒの１つ、または走査線ｒの
個々のセグメントと、本発明（図５ｂ）による第２の画
像４２の別の走査線ｒ−ｋに対比されている。
【００６１】ここではｋによって、別の走査線ｒ−ｋの
垂直方向のずれが走査線ｒに対して示されている。
垂直方向のずれが走査線ｒに対して示されている。
【００６２】それぞれ垂直方向に走査線ｒに対してずれ
た別の走査線の数は任意であり、適用に依存する。
た別の走査線の数は任意であり、適用に依存する。
【００６３】評価Ｃの最適化は、以下の規則の３次元最
適化空間で行われる。
適化空間で行われる。
【００６４】
【数６】
【００６５】ここで、Ｐ（n,d1',d2'｜n-1,d1,d2）は、
スキャンラインＳ上の画素ｎが、隣接する画素ｎ−１が
動きベクトル（d1,d2）を有するという条件のもとで、
動きベクトル（d1',d2' ）を有する確率を表す。Ｐ（n,
d1',d2'）により画素ｎが動きベクトル（d1',d2'）を有
する確率を表す。
スキャンラインＳ上の画素ｎが、隣接する画素ｎ−１が
動きベクトル（d1,d2）を有するという条件のもとで、
動きベクトル（d1',d2' ）を有する確率を表す。Ｐ（n,
d1',d2'）により画素ｎが動きベクトル（d1',d2'）を有
する確率を表す。
【００６６】本発明により、前記のアブストラクトで説
明した処理が次のようにして実現される。すなわち、ダ
イナミック・プログラミング方法に対して使用される最
適空間を１次元だけさらに拡張するのである。
明した処理が次のようにして実現される。すなわち、ダ
イナミック・プログラミング方法に対して使用される最
適空間を１次元だけさらに拡張するのである。
【００６７】同じようにこの最適空間の更なる拡張は、
個々の画素ｎに対するそれぞれのコスト関数Ｔｎ
（ｄ１，ｄ２）の検出で考慮される。このことは、画素
ｎには走査線に沿って２つの値が割り当てられることを
意味する。すなわち、第１の方向に対する第１の動きベ
クトル値ｄ１と第２の方向に対する第２の動きベクトル
値ｄ２である。
個々の画素ｎに対するそれぞれのコスト関数Ｔｎ
（ｄ１，ｄ２）の検出で考慮される。このことは、画素
ｎには走査線に沿って２つの値が割り当てられることを
意味する。すなわち、第１の方向に対する第１の動きベ
クトル値ｄ１と第２の方向に対する第２の動きベクトル
値ｄ２である。
【００６８】しかしここでは正規化はスキャンラインに
沿って全体で実行されるのではなく、スキャンラインは
個々のセグメントに、オブジェクトのエッジが検出され
るか否かに依存して分割される。スキャンラインの画素
がエッジ点として分類されれば（このことはそれぞれの
画素の輝度勾配の値が高められていることを意味す
る）、画素の高められた輝度勾配がＤＰアルゴリズム
（正規化に用いる）のコスト関数に及ぼす影響が“減
衰”される。これによってスキャンラインは、エッジに
よって画定された個々のオブジェクトに相応するセグメ
ントに分割される。
沿って全体で実行されるのではなく、スキャンラインは
個々のセグメントに、オブジェクトのエッジが検出され
るか否かに依存して分割される。スキャンラインの画素
がエッジ点として分類されれば（このことはそれぞれの
画素の輝度勾配の値が高められていることを意味す
る）、画素の高められた輝度勾配がＤＰアルゴリズム
（正規化に用いる）のコスト関数に及ぼす影響が“減
衰”される。これによってスキャンラインは、エッジに
よって画定された個々のオブジェクトに相応するセグメ
ントに分割される。
【００６９】これによって、正規化（単調強制）は各オ
ブジェクト内でだけ行われ、したがってオブジェクトエ
ッジでの分類エラーが回避される。
ブジェクト内でだけ行われ、したがってオブジェクトエ
ッジでの分類エラーが回避される。
【００７０】コスト関数
それぞれの画素ｓｐに対する個々の確率と個々の条件確
率および画素ｓｐに配属された動きベクトル（ｄ１，ｄ
２）が未知であれば、例えば次のようにして求めること
ができる。
率および画素ｓｐに配属された動きベクトル（ｄ１，ｄ
２）が未知であれば、例えば次のようにして求めること
ができる。
【００７１】各画素ｓｐ毎に各可能なずれに対して、つ
まり可能なすべての第１の動きベクトル値ｄ１と可能な
すべての第２の動きベクトル値ｄ２に対してコスト関数
Ｔｎ（ｄ１，ｄ２）を次の規則に従って求めるのであ
る。コスト関数は基本的に前に説明した条件確率に相当
する。
まり可能なすべての第１の動きベクトル値ｄ１と可能な
すべての第２の動きベクトル値ｄ２に対してコスト関数
Ｔｎ（ｄ１，ｄ２）を次の規則に従って求めるのであ
る。コスト関数は基本的に前に説明した条件確率に相当
する。
【００７２】
【数７】
【００７３】ここで、ｎ，ｍは個々の画素ｓｐの座標
値、ｄ１はそれぞれ記録された第１の動きベクトル値 ｄ２はそれぞれ記録された第２の動きベクトル値 （ｄ１，ｄ２）はそれぞれ記録された動きベクトル、２
τ＋１は画素の第１の方向における領域の大きさ、２λ
＋１は画素の第２の方向における領域の大きさ、Ｎ＝
（２τ＋２λ−１）＊３は前記領域にある画素数、ｃは
正規化定数 ＷＦ１（ｉ，ｊ）は個所（ｉ，ｊ）での符号化すべき画
像の輝度値、ＷＦ２（ｉ，ｊ）は個所（ｉ，ｊ）での時
間的に先行する画像の輝度値である。
値、ｄ１はそれぞれ記録された第１の動きベクトル値 ｄ２はそれぞれ記録された第２の動きベクトル値 （ｄ１，ｄ２）はそれぞれ記録された動きベクトル、２
τ＋１は画素の第１の方向における領域の大きさ、２λ
＋１は画素の第２の方向における領域の大きさ、Ｎ＝
（２τ＋２λ−１）＊３は前記領域にある画素数、ｃは
正規化定数 ＷＦ１（ｉ，ｊ）は個所（ｉ，ｊ）での符号化すべき画
像の輝度値、ＷＦ２（ｉ，ｊ）は個所（ｉ，ｊ）での時
間的に先行する画像の輝度値である。
【００７４】第１の画像の画素ｓｐが第２の画像の画素
と一致することの検出を行うこの処理はブロックマッチ
ングと称される。
と一致することの検出を行うこの処理はブロックマッチ
ングと称される。
【００７５】これまではブロックマッチングを１方向で
だけ実行することが普通であった。このことは次の“伝
統的”コスト関数につながる。
だけ実行することが普通であった。このことは次の“伝
統的”コスト関数につながる。
【００７６】
【数８】
【００７７】ここでは符号ｄにより、それぞれの画素の
被検“ずれ方向”の１つにおける動きベクトル値が示さ
れる。
被検“ずれ方向”の１つにおける動きベクトル値が示さ
れる。
【００７８】本発明の方法によって、この“伝統的”コ
スト関数は付加的な被加数だけ拡張される。
スト関数は付加的な被加数だけ拡張される。
【００７９】この拡張には２つの側面がある。
【００８０】１．画素に割り当てられた動きベクトルが
次のように強調される。すなわち、動きベクトルが一体
的面内で、すなわち分類すべきオブジェクト内で大きな
差を有すのではなく、動きベクトル間で大きな跳躍が発
生しないように強調される（単調強制）。
次のように強調される。すなわち、動きベクトルが一体
的面内で、すなわち分類すべきオブジェクト内で大きな
差を有すのではなく、動きベクトル間で大きな跳躍が発
生しないように強調される（単調強制）。
【００８１】この処理は公知である（D.Geiger et al,
Occlutions and Binocular stereo,Intern, Journal of
Computer Vision, No.14, Kluwer Accademic Publishe
rs,Boston, pp.211-226, 1995）。
Occlutions and Binocular stereo,Intern, Journal of
Computer Vision, No.14, Kluwer Accademic Publishe
rs,Boston, pp.211-226, 1995）。
【００８２】２．オブジェクトエッジにおける画素に対
してコスト関数の値が低減される。これによりオブジェ
クトの変化が分類の際に可能となる。
してコスト関数の値が低減される。これによりオブジェ
クトの変化が分類の際に可能となる。
【００８３】このことが可能である理由は、例えば異な
るオブジェクトに所属する隣接する画素の動きベクトル
値の大きな変化がコスト関数での高い値によって同じよ
うには処置されないからである。例えば、１つのオブジ
ェクト内に存在し、したがってオブジェクトエッジに存
在する画素よりも小さな輝度勾配を有する画素では同じ
ように処置されてしまう。
るオブジェクトに所属する隣接する画素の動きベクトル
値の大きな変化がコスト関数での高い値によって同じよ
うには処置されないからである。例えば、１つのオブジ
ェクト内に存在し、したがってオブジェクトエッジに存
在する画素よりも小さな輝度勾配を有する画素では同じ
ように処置されてしまう。
【００８４】このことを考慮した種々異なる関数を本発
明の方法で適用することができる。
明の方法で適用することができる。
【００８５】前記第１の側面に対しては、種々の関数が
公知であり、その特性が固有の要請に関して研究されて
いる（D.Gerger et al, Occlutions and Binocular ste
reo,Intern, Journal of Computer Vision, No.14, Klu
wer Accademic Publishers,Boston, pp.211-226, 199
5）。可能な関数は図２にも示されている。
公知であり、その特性が固有の要請に関して研究されて
いる（D.Gerger et al, Occlutions and Binocular ste
reo,Intern, Journal of Computer Vision, No.14, Klu
wer Accademic Publishers,Boston, pp.211-226, 199
5）。可能な関数は図２にも示されている。
【００８６】関数の有利な特徴は第１の側面に対して次
のように得られる。
のように得られる。
【００８７】
【数９】
【００８８】３次元探索領域がＤＰ法で使用される本発
明の方法に対する改善は次のようにして得られる。
明の方法に対する改善は次のようにして得られる。
【００８９】
【数１０】
【００９０】ここでｘ１，ｘ２は、スキャンラインＳに
沿った２つの隣接する画素の第１の方向ｄ１ないし第２
の方向ｄ２に対する動きベクトル値の差の大きさ、μ、
εは経験的に検出された２つの定数である。
沿った２つの隣接する画素の第１の方向ｄ１ないし第２
の方向ｄ２に対する動きベクトル値の差の大きさ、μ、
εは経験的に検出された２つの定数である。
【００９１】経験的に検出された２つの定数μとεは有
利には、μ＝０．３、ε＝０．１５である。
利には、μ＝０．３、ε＝０．１５である。
【００９２】この更なる被加数によってまた、オブジェ
クト内の画素の動きベクトルが単調関数を形成する（単
調強制）。
クト内の画素の動きベクトルが単調関数を形成する（単
調強制）。
【００９３】本発明により達成される前記第２の側面で
のオブジェクトエッジの考慮は次のような関数によって
達成される。すなわち、ｆ（ｘ）ないしｆ（ｘ１，ｘ
２）がコスト関数に及ぼす影響をそれぞれの画素の輝度
勾配に依存して制御するような関数によって達成され
る。このことは、輝度勾配の上昇と共に関数ｆ（ｘ）な
いしｆ（ｘ１，ｘ２）の値が減衰、すなわち低減される
ようにして行われる。
のオブジェクトエッジの考慮は次のような関数によって
達成される。すなわち、ｆ（ｘ）ないしｆ（ｘ１，ｘ
２）がコスト関数に及ぼす影響をそれぞれの画素の輝度
勾配に依存して制御するような関数によって達成され
る。このことは、輝度勾配の上昇と共に関数ｆ（ｘ）な
いしｆ（ｘ１，ｘ２）の値が減衰、すなわち低減される
ようにして行われる。
【００９４】これにより各画素に対するコスト関数が次
のようにして得られる。
のようにして得られる。
【００９５】Ｔｎ（ｄ）＝ＮＭＣｎ＋ｆ（ｘ，ｓ）
さらに、この関数を有する実施例について説明する。し
かしこの実施例は制限として理解すべきではなく、単な
る例である。具体的には指数関数が使用されるか、正規
化された輝度勾配を二乗するかは重要でない。輝度勾配
の上昇と共に増大する各関数を本発明の方法で使用する
ことができる。
かしこの実施例は制限として理解すべきではなく、単な
る例である。具体的には指数関数が使用されるか、正規
化された輝度勾配を二乗するかは重要でない。輝度勾配
の上昇と共に増大する各関数を本発明の方法で使用する
ことができる。
【００９６】コスト関数に対する付加的被加数として次
の関数を使用すると有利であることが判明した。
の関数を使用すると有利であることが判明した。
【００９７】
【数１１】
【００９８】３次元最適空間を使用する場合には、次の
とおりである。
とおりである。
【００９９】
【数１２】
【０１００】ここで、ｘ１，ｘ２はスキャンラインＳに
沿って隣接する２つの画素の第１の方向ｄ１ないし第２
の方向ｄ２に対する動きベクトル値の差の大きさ、μ、
εは経験的に検出された２つの定数、βは勾配増幅定
数、ｓはそれぞれの画素に対して正規化された輝度勾配
を表す。
沿って隣接する２つの画素の第１の方向ｄ１ないし第２
の方向ｄ２に対する動きベクトル値の差の大きさ、μ、
εは経験的に検出された２つの定数、βは勾配増幅定
数、ｓはそれぞれの画素に対して正規化された輝度勾配
を表す。
【０１０１】この付加的被加数の分母ｅβｓ２により単
調関数
調関数
【０１０２】
【数１３】
【０１０３】がコスト関数Ｔｎ（ｄ１，ｄ２）に及ぼす
影響がそれぞれの画素の輝度変化に依存するようにな
り、これにより単調関数がコスト関数Ｔｎ（ｄ１，
ｄ２）に及ぼす影響がオブジェクト内では大きく、オブ
ジェクトエッジでは小さくなる。
影響がそれぞれの画素の輝度変化に依存するようにな
り、これにより単調関数がコスト関数Ｔｎ（ｄ１，
ｄ２）に及ぼす影響がオブジェクト内では大きく、オブ
ジェクトエッジでは小さくなる。
【０１０４】これによりオブジェクトエッジでは単調関
数
数
【０１０５】
【数１４】
【０１０６】がコスト関数Ｔｎ（ｄ１，ｄ２）に及ぼす
影響が低減される。これにより、ダイナミック・プログ
ラミング方法はこの場合に対し当該領域において専ら、
コスト関数Ｔｎ（ｄ１，ｄ２）の第１の被加数ＮＭＣｎ
（ｄ１，ｄ２）を最適基準として使用する。
影響が低減される。これにより、ダイナミック・プログ
ラミング方法はこの場合に対し当該領域において専ら、
コスト関数Ｔｎ（ｄ１，ｄ２）の第１の被加数ＮＭＣｎ
（ｄ１，ｄ２）を最適基準として使用する。
【０１０７】式（５）の使用はオブジェクトエッジの近
傍でオブジェクト内よりも良好な結果を有するから、コ
スト関数Ｔｎ（ｄ１，ｄ２）の信頼性はオブジェクトエ
ッジにおいて高められる。これによってそれぞれの画素
とこの画素の解属された動きベクトル（ｄ１，ｄ２）に
対して正しい分類が単調関数の影響なしで得られる。
傍でオブジェクト内よりも良好な結果を有するから、コ
スト関数Ｔｎ（ｄ１，ｄ２）の信頼性はオブジェクトエ
ッジにおいて高められる。これによってそれぞれの画素
とこの画素の解属された動きベクトル（ｄ１，ｄ２）に
対して正しい分類が単調関数の影響なしで得られる。
【０１０８】この適用領域での典型的な問題は、走査線
ｒに沿った順次連続する２つの画素間の動きベクトル大
きな変化がオブジェクトの急速な運動（大きなずれ）に
よって発生するような領域にある。
ｒに沿った順次連続する２つの画素間の動きベクトル大
きな変化がオブジェクトの急速な運動（大きなずれ）に
よって発生するような領域にある。
【０１０９】それぞれのオブジェクトのエッジが考慮さ
れず、式（６）だけが付加的被加数としてコスト関数で
考慮されることとなれば、 ＤＰ法の枠内でのそれぞれ
の画素に対するコスト全体は受け入れられた動きベクト
ルに対してオブジェクトエッジにおいて非常に高くな
り、この高いコストのために大きな動きを有する領域が
いわゆるマスクとして解釈されてしまう。
れず、式（６）だけが付加的被加数としてコスト関数で
考慮されることとなれば、 ＤＰ法の枠内でのそれぞれ
の画素に対するコスト全体は受け入れられた動きベクト
ルに対してオブジェクトエッジにおいて非常に高くな
り、この高いコストのために大きな動きを有する領域が
いわゆるマスクとして解釈されてしまう。
【０１１０】正規化輝度勾配はそれぞれの画素に対して
検出するためには、当業者には容易に想到できる各任意
の勾配フィルタの形式を使用することができる。
検出するためには、当業者には容易に想到できる各任意
の勾配フィルタの形式を使用することができる。
【０１１１】しかしこの実施例では、ソーベル演算子が
示されている。方向Ｋに対する輝度勾配は次の畳み込み
式によって求められる。
示されている。方向Ｋに対する輝度勾配は次の畳み込み
式によって求められる。
【０１１２】
【数１５】
【０１１３】ここではＨＫ（ｎ，ｍ）は３×３パルス応
答マトリクスを示し、このマトリクスはそれぞれの輝度
勾配を４つの方向、すなわち垂直方向Ｖ、水平方向Ｈ、
すく直軸に対して左に４５゜傾いた方向Ｌ、および右に
４５゜傾いた方向Ｒで求めるために使用される。ソーベ
ル演算子のパルス応答の個々のマトリクスは次のように
表される。
答マトリクスを示し、このマトリクスはそれぞれの輝度
勾配を４つの方向、すなわち垂直方向Ｖ、水平方向Ｈ、
すく直軸に対して左に４５゜傾いた方向Ｌ、および右に
４５゜傾いた方向Ｒで求めるために使用される。ソーベ
ル演算子のパルス応答の個々のマトリクスは次のように
表される。
【０１１４】水平方向Ｈに対するパルス応答マトリクス
ＨＨ：
ＨＨ：
【０１１５】
【数１６】
【０１１６】垂直方向Ｖに対するパルス応答マトリクス
ＨＶ：
ＨＶ：
【０１１７】
【数１７】
【０１１８】垂直軸に対して左に４５゜傾いた方向Ｌに
対するパルス応答マトリクスＨＬ：
対するパルス応答マトリクスＨＬ：
【０１１９】
【数１８】
【０１２０】垂直軸に対して右に４５゜傾いた方向Ｒに
対するパルス応答マトリクスＨＲ：
対するパルス応答マトリクスＨＲ：
【０１２１】
【数１９】
【０１２２】Ｆ（ｎ．ｍ）は画像のソーベル演算子によ
り畳み込まれた領域。各方向Ｋ∈［Ｈ，Ｖ，Ｒ，Ｌ］に
対して勾配ＧＫ（ｎ，ｍ）がそれぞれの画素（ｎ，ｍ）
毎に検出される。
り畳み込まれた領域。各方向Ｋ∈［Ｈ，Ｖ，Ｒ，Ｌ］に
対して勾配ＧＫ（ｎ，ｍ）がそれぞれの画素（ｎ，ｍ）
毎に検出される。
【０１２３】４つの検出された勾配から最大値Ｇｍａｘ
（ｎ，ｍ）がそれぞれの画素（ｎ，ｍ）に対するエッジ
の勾配として用いられる。
（ｎ，ｍ）がそれぞれの画素（ｎ，ｍ）に対するエッジ
の勾配として用いられる。
【０１２４】
Ｇｍａｘ（ｎ，ｍ）＝ｍａｘ（ＧＨ（ｎ，ｍ），ＧＶ（ｎ，ｍ），ＧＬ（ｎ，
ｍ），ＧＲ（ｎ，ｍ）） （９）
このことは、正規化された輝度勾配ｓは次のようにして
得られることを意味する。
得られることを意味する。
【０１２５】
ｓ＝Ｇｍａｘ（ｎ，ｍ）／ω （１０）
ここでωは正規化定数を表す。
【０１２６】図３には、付加的被加数が２次元関数ｆ
（ｘ，ｓ）の形態で示されている。
（ｘ，ｓ）の形態で示されている。
【０１２７】この関数は２つの異なる領域に分割するこ
とができる。
とができる。
【０１２８】
【数２０】
【０１２９】０＜ｓ＜１に対して式（１１）は、オブジ
ェクトエッジが検出できなかった場合、または非常に小
さな輝度勾配ｓ歯科検出できなかった場合に対して、付
加的被加数は動きベクトルの非常に大きな変化のみを制
限し、したがってオブジェクト内の画素に割り当てられ
た動きベクトルが単調関数となるようにすることを意味
する。
ェクトエッジが検出できなかった場合、または非常に小
さな輝度勾配ｓ歯科検出できなかった場合に対して、付
加的被加数は動きベクトルの非常に大きな変化のみを制
限し、したがってオブジェクト内の画素に割り当てられ
た動きベクトルが単調関数となるようにすることを意味
する。
【０１３０】ｓ≧１に対する第２の領域は、強いエッジ
が検出された領域を表す。これによりこの関数がコスト
関数に及ぼす影響が低減され、隣接する画素の動きベク
トルの跳躍が許容される。
が検出された領域を表す。これによりこの関数がコスト
関数に及ぼす影響が低減され、隣接する画素の動きベク
トルの跳躍が許容される。
【０１３１】第２の領域ｓ≧１に対しては、
【０１３２】
【数２１】
【０１３３】全体コスト関数ＴＧｎ（ｄ１，ｄ２）が次
に個々の画素に基づいて次の反復規則に従って検出され
る。
に個々の画素に基づいて次の反復規則に従って検出され
る。
【０１３４】
【数２２】
【０１３５】ここで項ＴＧｎ−１（ｄ１ｂｅｓｔ，ｄ
２ｂｅｓｔ）はそれぞれ、先行する画素ｎ−１に対する
動きベクトル（ｄ１ｂｅｓｔ，ｄ２ｂｅｓｔ）の最適の
対応関係を示す。
２ｂｅｓｔ）はそれぞれ、先行する画素ｎ−１に対する
動きベクトル（ｄ１ｂｅｓｔ，ｄ２ｂｅｓｔ）の最適の
対応関係を示す。
【０１３６】このことは、前に説明した条件確率による
基本処理に、ＤＰ方法の枠内で相当する。しかし、最大
発生確率に相当する最大評価Ｃが求められるのではな
く、この場合は全体コスト関数Ｔｎ（ｄ１，ｄ２）の最
小が全体コストを最小にするために求められる点で異な
る。
基本処理に、ＤＰ方法の枠内で相当する。しかし、最大
発生確率に相当する最大評価Ｃが求められるのではな
く、この場合は全体コスト関数Ｔｎ（ｄ１，ｄ２）の最
小が全体コストを最小にするために求められる点で異な
る。
【０１３７】このことによって動きベクトルと、それぞ
れのスキャンラインＳに存在する個々の画素との最適の
対応関係が得られる。
れのスキャンラインＳに存在する個々の画素との最適の
対応関係が得られる。
【０１３８】それぞれの画素に対してコスト関数の計算
のために使用される領域は基本的には任意に構成するこ
とができる。
のために使用される領域は基本的には任意に構成するこ
とができる。
【０１３９】しかしこの領域が正方形を有するか、また
は図６に示した形状を有すると有利である。
は図６に示した形状を有すると有利である。
【０１４０】図６に示した領域の形状の利点は、この形
状によってエッジ近傍の一致結果が、適用される領域の
形状がそれ以外の場合よりも高い信頼性を有することで
ある。
状によってエッジ近傍の一致結果が、適用される領域の
形状がそれ以外の場合よりも高い信頼性を有することで
ある。
【０１４１】この領域の形状は有利には、相互にほぼ垂
直の２つの顕著な方向で動き予測を行う際に比較的に良
好な結果を得るために選択される。この理由から、この
領域は特別の実施例では十字形をしている。
直の２つの顕著な方向で動き予測を行う際に比較的に良
好な結果を得るために選択される。この理由から、この
領域は特別の実施例では十字形をしている。
【０１４２】しかしこの実施例に対するこの領域の特別
の形状は、任意の形状の領域を適用できるという一般性
を制限するものではない。
の形状は、任意の形状の領域を適用できるという一般性
を制限するものではない。
【０１４３】３次元探索領域での各可能なずれ毎に輝度
差が形成される。この輝度差はさらに、結果を領域内に
存在する画素数Ｎによって割り算することにより正規化
される。
差が形成される。この輝度差はさらに、結果を領域内に
存在する画素数Ｎによって割り算することにより正規化
される。
【０１４４】このことは基本的には、第１の画像の画素
ｓｐが、相応する第１の動きベクトル値および相応する
第２の動きベクトル値だけそれぞれずらされた、第２の
画像の画素に相当する確率である（図６参照）。
ｓｐが、相応する第１の動きベクトル値および相応する
第２の動きベクトル値だけそれぞれずらされた、第２の
画像の画素に相当する確率である（図６参照）。
【０１４５】それぞれの画素に対してコスト関数が値ゼ
ロを有する場合に対しては、このことは第１の画像の輝
度値と第２の画像の輝度値との間で完全な一致の存在す
ることを意味する。コスト関数が値１を有する場合に対
しては、このことは第１の画像の領域と第２の画像の相
応する動きベクトル値だけずれた領域との間に既知の一
致が全くないことを意味する。
ロを有する場合に対しては、このことは第１の画像の輝
度値と第２の画像の輝度値との間で完全な一致の存在す
ることを意味する。コスト関数が値１を有する場合に対
しては、このことは第１の画像の領域と第２の画像の相
応する動きベクトル値だけずれた領域との間に既知の一
致が全くないことを意味する。
【０１４６】ここでは検出されたコスト関数Ｔｎ
（ｄ１，ｄ２）のただ１つの相違がわかる。すなわち、
比較的に小さな値に対するコスト関数の場合にはそれだ
け高い確率が得られるのである。本発明の方法ではこの
ことは、ＤＰ方法での最適化が同じように最小のコスト
関数に従って実行される場合であれば、とくに別個に考
慮する必要はない。
（ｄ１，ｄ２）のただ１つの相違がわかる。すなわち、
比較的に小さな値に対するコスト関数の場合にはそれだ
け高い確率が得られるのである。本発明の方法ではこの
ことは、ＤＰ方法での最適化が同じように最小のコスト
関数に従って実行される場合であれば、とくに別個に考
慮する必要はない。
【０１４７】図６ａには画素座標ｎ，ｍと領域を有する
画素ｓｐが示されている。この領域内で画素ｓｐに対す
るコスト関数Ｔｎ（ｄ１，ｄ２）が形成される。
画素ｓｐが示されている。この領域内で画素ｓｐに対す
るコスト関数Ｔｎ（ｄ１，ｄ２）が形成される。
【０１４８】図６ｂには、動きベクトル（ｄ１，ｄ２）
だけずれた領域が示されている。このことは、第１の画
像の画素ｓｐと第２が画像の別の画素ｓｐ’との一致が
検査されることを意味する。この第２の別の画素は第２
の画像において第１の画像に対し動きベクトル（ｄ１，
ｄ２）だけずれている。
だけずれた領域が示されている。このことは、第１の画
像の画素ｓｐと第２が画像の別の画素ｓｐ’との一致が
検査されることを意味する。この第２の別の画素は第２
の画像において第１の画像に対し動きベクトル（ｄ１，
ｄ２）だけずれている。
【０１４９】図７には本発明の方法がフローチャートに
示されている。
示されている。
【０１５０】第１のステップ７１では、ビデオシーケン
スの各画像に対してインタラクティブに、第２のステッ
プ７２で画像の各スキャンラインＳに対して次の方法ス
テップが実行される。
スの各画像に対してインタラクティブに、第２のステッ
プ７２で画像の各スキャンラインＳに対して次の方法ス
テップが実行される。
【０１５１】ステップ７３ではスキャンラインＳに存在
する各画素に対して、ステップ７４ではコスト関数Ｔｎ
（ｄ１，ｄ２）が上に述べたように検出される。これは
付加的被加数を伴うか、または伴わない。
する各画素に対して、ステップ７４ではコスト関数Ｔｎ
（ｄ１，ｄ２）が上に述べたように検出される。これは
付加的被加数を伴うか、または伴わない。
【０１５２】ステップ７５でスキャンラインＳの画素に
対してＤＰ方法を実行する。その際に、全体経路を最小
全体コスト関数ＴＧｎ（ｄ１，ｄ２）に基づいて３次元
最適空間により検出する。この空間については前に説明
した。
対してＤＰ方法を実行する。その際に、全体経路を最小
全体コスト関数ＴＧｎ（ｄ１，ｄ２）に基づいて３次元
最適空間により検出する。この空間については前に説明
した。
【０１５３】最後のステップ７６では、スキャンライン
Ｓの画素に、ＤＰ方法によって求められた動きベクトル
を配属する。
Ｓの画素に、ＤＰ方法によって求められた動きベクトル
を配属する。
【０１５４】動き予測が実行された後、さらに画素をオ
ブジェクトについて分類し、オブジェクトに動きベクト
ルを割り当てることができる。この処理は当業者には容
易である。
ブジェクトについて分類し、オブジェクトに動きベクト
ルを割り当てることができる。この処理は当業者には容
易である。
【０１５５】画像は次に、個々のオブジェクトおよび運
動ベクトルを考慮してビデオデータ流についてチャネル
符号化され、受信器にチャネルを介して伝送される。受
信器では、ビデオデータ流が再びデコードされ、画像が
再生される。この処理も当業者には周知である。
動ベクトルを考慮してビデオデータ流についてチャネル
符号化され、受信器にチャネルを介して伝送される。受
信器では、ビデオデータ流が再びデコードされ、画像が
再生される。この処理も当業者には周知である。
【０１５６】本発明の方法は、画像処理方法であり少な
くとの１つのプロセッサによって宇実行される。
くとの１つのプロセッサによって宇実行される。
【図１】ＤＰ方法を概略的に示す線図である。
【図２】コスト関数に対する付加的被加数の枠内で使用
することのできる複数の関数を示す線図である。
することのできる複数の関数を示す線図である。
【図３】付加的被加数としてコスト関数にとくに適した
関数の線図である。
関数の線図である。
【図４】２つのオブジェクトＡとＢを有する時間的に順
次連続した画像の概略図である。ここでオブジェクトＡ
は２つの方向でずれており（図４ｂ）、そのために本発
明の基礎となる問題が明瞭である。
次連続した画像の概略図である。ここでオブジェクトＡ
は２つの方向でずれており（図４ｂ）、そのために本発
明の基礎となる問題が明瞭である。
【図５】ＤＰ方法の結果が図４に示されたオブジェクト
ＡとＢに適用された場合の概略図である。ここでａは公
知の方法によるものであり、マスクが検出される。本発
明の方法による付加的“探索方向”を伴うＤＰ方法の結
果はｂに示されている。本発明の方法により間違った分
類が回避され、オブジェクトＡが正しく分類されてい
る。
ＡとＢに適用された場合の概略図である。ここでａは公
知の方法によるものであり、マスクが検出される。本発
明の方法による付加的“探索方向”を伴うＤＰ方法の結
果はｂに示されている。本発明の方法により間違った分
類が回避され、オブジェクトＡが正しく分類されてい
る。
【図６】被検ピクセルを取り囲む領域が第１の画像
（ａ）と、時間的に後続の第２の画像（ｂ）に示されて
いる。第２の画像は運動ベクトル（ｄ１，ｄ２）だけず
れている。
（ａ）と、時間的に後続の第２の画像（ｂ）に示されて
いる。第２の画像は運動ベクトル（ｄ１，ｄ２）だけず
れている。
【図７】本発明の方法の個々の方法ステップを示したフ
ローチャートである。
ローチャートである。
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 7/24 - 7/68
Claims (7)
- 【請求項１】 ビデオシーケンスの時間的に順次連続す
る画像の画素（ｓｐ）に対する、計算機による動き予測
方法において、ａ） 符号化すべき画像の各画素（ｓｐ）毎に輝度勾配を
検出し； ｂ） 符号化すべき画像の各画素（ｓｐ）毎にコスト関数
を検出し； ｃ）前記 コスト関数に基づいて、各画素（ｓｐ）に対し
てダイナミック・プログラミングを実行し；ｄ） ダイナミック・プログラミングによって検出された
動きベクトルを前記画素（ｓｐ）に割り当てる； ただし前記コスト関数は第１の項と第２の項を有してお
り、 前記第１の項は、符号化すべき画像の領域の画素（ｓ
ｐ）の輝度値と、時間的に先行する画像であって、前記
符号化すべき画像に対してずらされている画像の同形状
の領域の画素（ｓｐ）の輝度値との一致を表わすもので
あり、 また前記第１の項によってコスト関数の値は、スキャン
ライン（ｒ）に順次並んで存在する画素（ｓｐ）の動き
ベクトルの値（ｄ；ｄ１，ｄ２）の差に相応して高めら
れるものであり、 前記第２の項によってコスト関数の値が、輝度勾配が上
昇するときに低減されるものである、 ことを特徴とする予測方法。 - 【請求項２】 前記領域を複数の画素（ｓｐ）にわたっ
て第１の方向および/または第２の方向で伸長させる、
請求項１記載の方法。 - 【請求項３】 前記領域は矩形または正方形である、請
求項１または２記載の方法。 - 【請求項４】 コスト関数は次式により得られる、 【数１】 ここで、 ｎ，ｍは、個々の画素（ｓｐ）の座標値、 ｄは、それぞれ記録された動きベクトルの値、 ２τ＋１は、第１の方向における画素（ｓｐ）の領域の
大きさ、 ２λ＋１は、第２の方向における画素（ｓｐ）の領域の
大きさ、 Ｎ＝（２τ＋２λ−１）＊３は、前記領域内に存在する
画素（ｓｐ）数、 ｃは、正規化定数、 ＷＦ１（ｉ，ｊ）は、個所（ｉ，ｊ）における符号化す
べき画像の輝度値、 ＷＦ２（ｉ，ｊ）は、個所（ｉ，ｊ）における時間的に
先行する画像の輝度値、 ｘは、動きベクトル値の差の大きさであり、これはスキ
ャンラインに沿って隣接する２つの画素（ｓｐ）の方向
を表し、 μ，εは、経験的に検出された２つの定数、 βは、勾配増幅定数、 ｓは、それぞれの画素（ｓｐ）に対する正規化輝度勾配
を表す、請求項１から３までのいずれか１項記載の方
法。 - 【請求項５】 ダイナミック・プログラミングに対して
以下の３つの探索領域を適用し、 ・スキャンライン（ｒ）、これに沿って動き予測を実行
する、 ・第１の方向に対する画素（ｓｐ）の動きベクトル値
（ｄ１）、 ・第２の方向に対する画素（ｓｐ）の動きベクトル値
（ｄ２）、 ダイナミック・プログラミングによって検出された第１
の動きベクトル値と、ダイナミック・プログラミングに
よって検出された第２の動きベクトル値を画素（ｓｐ）
に割り当てる、請求項１から３までのいずれか１項記載
の方法。 - 【請求項６】 コスト関は次のようにして得る、 【数２】 ここで、 ｎ，ｍは、個々の画素（ｓｐ）の座標値、 ｄ１は、それぞれ記録された第１の動きベクトル値 ｄ２は、それぞれ記録された第２の動きベクトル値 （ｄ１，ｄ２）は、それぞれ記録された動きベクトル、 ２τ＋１は、第１の方向における画素（ｓｐ）の領域の
大きさ、 ２λ＋１は、第２の方向における画素（ｓｐ）の領域の
大きさ、 Ｎ＝（２τ＋２λ−１）＊３は、前記領域にある画素
（ｓｐ）数、 ｃは、正規化定数 ＷＦ１（ｉ，ｊ）は、個所（ｉ，ｊ）での符号化すべき
画像の輝度値、 ＷＦ２（ｉ，ｊ）は、個所（ｉ，ｊ）での時間的に先行
する画像の輝度値、 ｘ１，ｘ２は、スキャンラインに沿って隣接する２つの
画素（ｓｐ）の第１ないし第２の方向に対する動きベク
トル値の差の大きさ、 μ，εは、経験的に検出された２つの定数、 βは、勾配増幅定数、 ｓは、それぞれの画素に対する正規化輝度勾配を表す、
請求項１から５までのいずれか１項記載の方法。 - 【請求項７】 正規化輝度勾配（ｓ）を形成するため
に、ソーベル・フィルタを使用する、請求項１から６ま
でのいずれか１項記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19548451.7 | 1995-12-22 | ||
| DE19548451A DE19548451C1 (de) | 1995-12-22 | 1995-12-22 | Verfahren zur rechnergestützten Bewegungsschätzung für Bildpunkte zeitlich aufeinander folgender Bilder einer Videosequenz |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09187017A JPH09187017A (ja) | 1997-07-15 |
| JP3537616B2 true JP3537616B2 (ja) | 2004-06-14 |
Family
ID=7781221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34383696A Expired - Fee Related JP3537616B2 (ja) | 1995-12-22 | 1996-12-24 | ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5726713A (ja) |
| EP (1) | EP0780793B1 (ja) |
| JP (1) | JP3537616B2 (ja) |
| DE (2) | DE19548451C1 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6339616B1 (en) * | 1997-05-30 | 2002-01-15 | Alaris, Inc. | Method and apparatus for compression and decompression of still and motion video data based on adaptive pixel-by-pixel processing and adaptive variable length coding |
| ATE365320T1 (de) * | 2000-01-20 | 2007-07-15 | Kyowa Hakko Kogyo Kk | Verfahren zum erkennen oder quantifizieren von umwelthormonen |
| US7663695B2 (en) * | 2000-05-05 | 2010-02-16 | Stmicroelectronics S.R.L. | Method and system for de-interlacing digital images, and computer program product therefor |
| US6600491B1 (en) * | 2000-05-30 | 2003-07-29 | Microsoft Corporation | Video-based rendering with user-controlled movement |
| US20040028137A1 (en) * | 2002-06-19 | 2004-02-12 | Jeremy Wyn-Harris | Motion detection camera |
| DE60312981D1 (de) * | 2003-08-26 | 2007-05-16 | St Microelectronics Srl | Verfahren und System zum Aufheben des Zeilensprungverfahrens während der Darstellung von Videobildern |
| AU2006201210A1 (en) * | 2006-03-23 | 2007-10-11 | Canon Information Systems Research Australia Pty Ltd | Motion characterisation |
| WO2019035007A1 (en) | 2017-08-15 | 2019-02-21 | American Well Corporation | APPARATUS AND METHODS FOR REMOTE CAMERA CONTROL WITH INTENTION BASED COMMANDS AND AUTOMATIC LEARNING VISION STATUS MANAGEMENT |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2551290B1 (fr) * | 1983-08-30 | 1985-10-11 | Thomson Csf | Procede et dispositif de detection de points en mouvement dans une image de television pour systemes de television numerique a compression de debit a rafraichissement conditionnel |
| EP0158984A3 (en) * | 1984-04-13 | 1989-03-01 | Hitachi, Ltd. | Method for determining apair of corresponding points between images |
| JPH0644815B2 (ja) * | 1984-04-27 | 1994-06-08 | 日本電気株式会社 | 動物体の動き内挿装置 |
| US4689671A (en) * | 1985-06-27 | 1987-08-25 | Nec Corporation | Coding apparatus for moving object image |
| FR2597283B1 (fr) * | 1986-04-15 | 1988-06-10 | Labo Electronique Physique | Dispositif de traitement d'images pour l'estimation du deplacement d'objets situes dans celles-ci |
| FR2624682B2 (fr) * | 1987-03-23 | 1990-03-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
| FR2648254B2 (fr) * | 1988-09-23 | 1991-08-30 | Thomson Csf | Procede et dispositif d'estimation de mouvement dans une sequence d'images animees |
| FR2696069B1 (fr) * | 1992-09-23 | 1994-12-09 | Philips Electronique Lab | Procédé et dispositif pour l'estimation du mouvement dans une image. |
| US5392072A (en) * | 1992-10-23 | 1995-02-21 | International Business Machines Inc. | Hybrid video compression system and method capable of software-only decompression in selected multimedia systems |
| US5398068A (en) * | 1993-09-02 | 1995-03-14 | Trustees Of Princeton University | Method and apparatus for determining motion vectors for image sequences |
| JP2576771B2 (ja) * | 1993-09-28 | 1997-01-29 | 日本電気株式会社 | 動き補償予測装置 |
| US5500689A (en) * | 1994-10-26 | 1996-03-19 | Thomson Consumer Electronics, Inc. | System for detecting a video signal image intensity gradient |
-
1995
- 1995-12-22 DE DE19548451A patent/DE19548451C1/de not_active Expired - Fee Related
-
1996
- 1996-12-05 DE DE59609215T patent/DE59609215D1/de not_active Expired - Lifetime
- 1996-12-05 EP EP96119566A patent/EP0780793B1/de not_active Expired - Lifetime
- 1996-12-20 US US08/771,041 patent/US5726713A/en not_active Expired - Lifetime
- 1996-12-24 JP JP34383696A patent/JP3537616B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP0780793A2 (de) | 1997-06-25 |
| US5726713A (en) | 1998-03-10 |
| DE59609215D1 (de) | 2002-06-20 |
| EP0780793A3 (de) | 1999-07-21 |
| EP0780793B1 (de) | 2002-05-15 |
| DE19548451C1 (de) | 1997-02-20 |
| JPH09187017A (ja) | 1997-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7046850B2 (en) | Image matching | |
| US9940719B2 (en) | Alignment of an ordered stack of images from a specimen | |
| US6549576B1 (en) | Motion vector detecting method and apparatus | |
| KR101612729B1 (ko) | 전파 맵 | |
| EP0720377B1 (en) | Method for detecting motion vectors for use in a segmentation-based coding system | |
| US8331696B2 (en) | Update region detection device | |
| US20020159524A1 (en) | Local constraints for motion matching | |
| US8098963B2 (en) | Resolution conversion apparatus, method and program | |
| JP2006516062A (ja) | ディジタル画像の奥行き順序付けを行う方法及び装置 | |
| JP3537616B2 (ja) | ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法 | |
| US7110453B1 (en) | Motion or depth estimation by prioritizing candidate motion vectors according to more reliable texture information | |
| KR20050085355A (ko) | 분할된 이미지로부터 폴스 엣지들을 제거하는 방법 및 장치 | |
| JP5492223B2 (ja) | 動きベクトル検出装置及び方法 | |
| JP3626826B2 (ja) | ビデオシーケンスの時間的に順次の画像の画素のための計算機による動き推定方法 | |
| US7852939B2 (en) | Motion vector detection method and device of the same | |
| US9106926B1 (en) | Using double confirmation of motion vectors to determine occluded regions in images | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| US6553069B1 (en) | Digital image segmenting method and device | |
| KR101362545B1 (ko) | 비디오 시퀀스에서 가변 외형 움직임 추정 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP4250598B2 (ja) | 動き補償型ｉｐ変換処理装置及び動き補償型ｉｐ変換処理方法 | |
| JP2861971B2 (ja) | 動ベクトル予測装置 | |
| JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
| JP3020299B2 (ja) | 動きベクトル検出装置 | |
| JP3941900B2 (ja) | 動きベクトル検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040317 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080326 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090326 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090326 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100326 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100326 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110326 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120326 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120326 Year of fee payment: 8 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120326 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140326 Year of fee payment: 10 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |