JPH0660183A - 時空的画像におけるエッジおよび角の検出・追跡方法 - Google Patents
時空的画像におけるエッジおよび角の検出・追跡方法Info
- Publication number
- JPH0660183A JPH0660183A JP5182274A JP18227493A JPH0660183A JP H0660183 A JPH0660183 A JP H0660183A JP 5182274 A JP5182274 A JP 5182274A JP 18227493 A JP18227493 A JP 18227493A JP H0660183 A JPH0660183 A JP H0660183A
- Authority
- JP
- Japan
- Prior art keywords
- image
- max
- correlation
- luminance
- βmax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
- G01S3/782—Systems for determining direction or deviation from predetermined direction
- G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
- G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
- G01S3/7864—T.V. type tracking systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【目的】 カメラによって捉えられた連続画像における
エッジおよび角を検出・追跡することにより画像内部の
対象に対するカメラの運動を可能にする。 【構成】 画像におけるエッジおよび角を検出し、絶え
ず追跡するために、まず周期的な時間間隔で画像を標本
化して処理することにより、特定の時刻に獲得された各
画像における各画素に対する輝度値を得る。各画素に対
する輝度の、同一の画像におけるいくつかの方向の各々
に沿った画素の輝度との双方向フレーム内相関を算出す
る。また、各画像の各画素の輝度の、いくつかの画像に
わたるいくつかの方向の各々に沿った画素の輝度との双
方向フレーム間相関を確立する。フレーム内およびフレ
ーム間の輝度の相関を処理することにより、エッジおよ
び角をそれぞれ示す等輝度の曲面および曲線、ならびに
それらの画像運動に関する時空接線情報を得る。
エッジおよび角を検出・追跡することにより画像内部の
対象に対するカメラの運動を可能にする。 【構成】 画像におけるエッジおよび角を検出し、絶え
ず追跡するために、まず周期的な時間間隔で画像を標本
化して処理することにより、特定の時刻に獲得された各
画像における各画素に対する輝度値を得る。各画素に対
する輝度の、同一の画像におけるいくつかの方向の各々
に沿った画素の輝度との双方向フレーム内相関を算出す
る。また、各画像の各画素の輝度の、いくつかの画像に
わたるいくつかの方向の各々に沿った画素の輝度との双
方向フレーム間相関を確立する。フレーム内およびフレ
ーム間の輝度の相関を処理することにより、エッジおよ
び角をそれぞれ示す等輝度の曲面および曲線、ならびに
それらの画像運動に関する時空接線情報を得る。
Description
【０００１】
【産業上の利用分野】本発明は、評価するべき画像内部
の対象に対するカメラの運動を可能にするために、カメ
ラによって捉えられた連続画像におけるエッジおよび角
を検出し、追跡する技術に関する。
の対象に対するカメラの運動を可能にするために、カメ
ラによって捉えられた連続画像におけるエッジおよび角
を検出し、追跡する技術に関する。
【０００２】
【従来の技術】テレビカメラによって捉えられた画像を
処理する場合、画像におけるエッジや角の運動を知るこ
とは非常に役立つ。これにより、その画像における対象
に対するカメラの運動の（倍率にそった）決定が容易に
なる。カメラの自己運動として規定される相対的なカメ
ラの運動を知ることは、画像の符号化や画像の圧縮の目
的のために、また画像における対象の形および３次元的
位置の前記と同じ倍率にそった計算のために役立つこと
が多い。倍率は、対象のサイズおよび奥行きの両方に適
用されるが、１台のカメラだけでは決められない。画像
における対象の位置および形の情報は、特にロボットに
おいて、自立的な走行および操作を実現するために重要
である。
処理する場合、画像におけるエッジや角の運動を知るこ
とは非常に役立つ。これにより、その画像における対象
に対するカメラの運動の（倍率にそった）決定が容易に
なる。カメラの自己運動として規定される相対的なカメ
ラの運動を知ることは、画像の符号化や画像の圧縮の目
的のために、また画像における対象の形および３次元的
位置の前記と同じ倍率にそった計算のために役立つこと
が多い。倍率は、対象のサイズおよび奥行きの両方に適
用されるが、１台のカメラだけでは決められない。画像
における対象の位置および形の情報は、特にロボットに
おいて、自立的な走行および操作を実現するために重要
である。
【０００３】デジタル技術、特にデジタル画像処理シス
テムの出現のために、テレビカメラで捉えられた対象の
映像を空間（カメラの映像平面の範囲内で）および時間
の両方にわたって標本化することが可能となった。この
ような時空的標本を、さらに詳細に後述するような輝度
フロー（輝度の流れ）またはエッジ・フローという既知
の技術によって処理することにより、可視対象点の画像
速度を推測することができる。輝度フロー技術に基づく
画像速度の計算は、画像輝度の時空的変化が時間および
空間にわたって連続的に微分可能であること、および空
間におけるすべての可視点に対し、その画像輝度が時間
的に不変であることの仮定に基づいて予測される。これ
らの仮定のもとに、画像輝度の勾配（gradient）の方向
の画像速度成分に対して、次の表現を導くことができ
る。
テムの出現のために、テレビカメラで捉えられた対象の
映像を空間（カメラの映像平面の範囲内で）および時間
の両方にわたって標本化することが可能となった。この
ような時空的標本を、さらに詳細に後述するような輝度
フロー（輝度の流れ）またはエッジ・フローという既知
の技術によって処理することにより、可視対象点の画像
速度を推測することができる。輝度フロー技術に基づく
画像速度の計算は、画像輝度の時空的変化が時間および
空間にわたって連続的に微分可能であること、および空
間におけるすべての可視点に対し、その画像輝度が時間
的に不変であることの仮定に基づいて予測される。これ
らの仮定のもとに、画像輝度の勾配（gradient）の方向
の画像速度成分に対して、次の表現を導くことができ
る。
【数１】
【０００４】式（１）は、一定輝度の画像領域には適用
できず、画像輝度の勾配の方向に直角な画像速度成分に
関する情報は何も与えないことに注意を要する。換言す
れば、この式は、その画像点を通る等輝度の輪郭線に接
する方向の画像速度成分に関する情報は一切与えない。
この難事は、当分野において輝度フローのすきま問題と
して知られる。輝度フロー技術では、画像化された場面
の点の流れとは一般に異なる画像の等輝度輪郭線の流れ
によって、画像速度を評価する。輝度フロー技術の主な
欠点は、それが基礎をおく仮定、即ち、場面の明るさが
カメラの方向に時間的に不変であることが、時間的に不
変な放射照度を有するランベルト（Lambertian）曲面に
しか成り立たないことである。
できず、画像輝度の勾配の方向に直角な画像速度成分に
関する情報は何も与えないことに注意を要する。換言す
れば、この式は、その画像点を通る等輝度の輪郭線に接
する方向の画像速度成分に関する情報は一切与えない。
この難事は、当分野において輝度フローのすきま問題と
して知られる。輝度フロー技術では、画像化された場面
の点の流れとは一般に異なる画像の等輝度輪郭線の流れ
によって、画像速度を評価する。輝度フロー技術の主な
欠点は、それが基礎をおく仮定、即ち、場面の明るさが
カメラの方向に時間的に不変であることが、時間的に不
変な放射照度を有するランベルト（Lambertian）曲面に
しか成り立たないことである。
【０００５】画像速度を等輝度輪郭線の流れを基に評価
するのではなく、可視場面点の画像速度を画像内部の輝
度のエッジの流れに基づいて評価することができる。画
像速度をこのようにして評価することの利点は、輝度の
エッジのそれぞれの前の映像、つまり実空間におけるそ
れらの位置の方が、等輝度輪郭線のそれぞれの前の映像
と比較して、カメラの場面に対する運動に対しても場面
の照度の変化に対しても（場面における画像化される対
象に関して）一般に変化しない傾向がある。輝度フロー
およびエッジ・フローの技術は、ある意味で相補的であ
る。輝度フロー技術は、画像の輝度の連続性に依存する
が、一方、エッジ・フロー技術は、画像中の対象のエッ
ジおよび角において連続性が欠けている所で正確に適用
することができるからである。
するのではなく、可視場面点の画像速度を画像内部の輝
度のエッジの流れに基づいて評価することができる。画
像速度をこのようにして評価することの利点は、輝度の
エッジのそれぞれの前の映像、つまり実空間におけるそ
れらの位置の方が、等輝度輪郭線のそれぞれの前の映像
と比較して、カメラの場面に対する運動に対しても場面
の照度の変化に対しても（場面における画像化される対
象に関して）一般に変化しない傾向がある。輝度フロー
およびエッジ・フローの技術は、ある意味で相補的であ
る。輝度フロー技術は、画像の輝度の連続性に依存する
が、一方、エッジ・フロー技術は、画像中の対象のエッ
ジおよび角において連続性が欠けている所で正確に適用
することができるからである。
【０００６】いわゆる時空的画像空間の画像の集合にお
いてエッジや角の流れを検出することによって画像速度
を評価することは、フレームごとにエッジおよび角を検
出し、フレーム間でそれらを合わせるには、好ましい。
このことは、ある点の時空的画像が１つ高い次元の一貫
した構造、即ち直線であることを認識することにより、
理解される。同様に、曲線の時空的画像は曲面であり、
曲面のそれは体積である。３次元空間において線を検出
することは、２次元空間において点を検出することより
易しく、３次元で曲面を検出するのは、２次元で線を検
出するのより易しい。このような背景では、局所的に認
識可能な時空画像曲線上に写像する場面点の画像速度
は、その曲線への接線を画像平面上に射影することによ
って容易に決定することができる一方、その時空画像が
曲線ではなく認識可能なある曲面にしか制限できないよ
うな場面点の画像速度は、一次の自由度の局所的不確定
性を持つ。この固有の制限は、当分野においてエッジ・
フローのすきま問題として周知であるが、前述の輝度フ
ローのすきま問題に似ている。
いてエッジや角の流れを検出することによって画像速度
を評価することは、フレームごとにエッジおよび角を検
出し、フレーム間でそれらを合わせるには、好ましい。
このことは、ある点の時空的画像が１つ高い次元の一貫
した構造、即ち直線であることを認識することにより、
理解される。同様に、曲線の時空的画像は曲面であり、
曲面のそれは体積である。３次元空間において線を検出
することは、２次元空間において点を検出することより
易しく、３次元で曲面を検出するのは、２次元で線を検
出するのより易しい。このような背景では、局所的に認
識可能な時空画像曲線上に写像する場面点の画像速度
は、その曲線への接線を画像平面上に射影することによ
って容易に決定することができる一方、その時空画像が
曲線ではなく認識可能なある曲面にしか制限できないよ
うな場面点の画像速度は、一次の自由度の局所的不確定
性を持つ。この固有の制限は、当分野においてエッジ・
フローのすきま問題として周知であるが、前述の輝度フ
ローのすきま問題に似ている。
【０００７】
【発明が解決しようとする課題】したがって、画像速度
を決定するために画像におけるエッジや角を検出し追跡
する技術に対する必要性がある。この必要性は、前述の
エッジ・フローのすきま問題の影響を受けにくい角の追
跡に対して特に大きい。
を決定するために画像におけるエッジや角を検出し追跡
する技術に対する必要性がある。この必要性は、前述の
エッジ・フローのすきま問題の影響を受けにくい角の追
跡に対して特に大きい。
【０００８】
【課題を解決するための手段】簡潔には、画像中の対象
に対するカメラの運動を判断するために、カメラによっ
て捉えられた連続する画像の内部のエッジ・角の位置の
展開を検出する技術を本発明によって開示する。この技
術では、まず画像位置の格子においてカメラの画像を周
期的に標本化し、各標本をデジタル化する。これによ
り、異なる時刻に捉えられた複数の画像の各々を構成す
る複数の小さな画像要素（画素）のそれぞれの像輝度が
与えられる。以降、各画素と、同じ画像の範囲ならびに
一定数の先行する画像および後続の画像の範囲の所定の
近傍においてそれと隣接する画素との輝度の２面的（即
ち、双方向の）相関関係を計算する。説明を容易にする
ために、各画素の同じ画像における他の画素との輝度の
相関をフレーム内輝度相関と称し、一方、ある画像の各
画素の異なる画像におけるそれとの輝度相関をフレーム
間相関と称する。双方向のフレーム内およびフレーム間
の輝度相関により、時空画像空間における等輝度の曲面
および曲線に関する比較的豊かな接線情報が与えられる
が、これらは、それぞれエッジおよび角、ならびにそれ
らの運動を示す。
に対するカメラの運動を判断するために、カメラによっ
て捉えられた連続する画像の内部のエッジ・角の位置の
展開を検出する技術を本発明によって開示する。この技
術では、まず画像位置の格子においてカメラの画像を周
期的に標本化し、各標本をデジタル化する。これによ
り、異なる時刻に捉えられた複数の画像の各々を構成す
る複数の小さな画像要素（画素）のそれぞれの像輝度が
与えられる。以降、各画素と、同じ画像の範囲ならびに
一定数の先行する画像および後続の画像の範囲の所定の
近傍においてそれと隣接する画素との輝度の２面的（即
ち、双方向の）相関関係を計算する。説明を容易にする
ために、各画素の同じ画像における他の画素との輝度の
相関をフレーム内輝度相関と称し、一方、ある画像の各
画素の異なる画像におけるそれとの輝度相関をフレーム
間相関と称する。双方向のフレーム内およびフレーム間
の輝度相関により、時空画像空間における等輝度の曲面
および曲線に関する比較的豊かな接線情報が与えられる
が、これらは、それぞれエッジおよび角、ならびにそれ
らの運動を示す。
【０００９】エッジおよび角の存在を確立するためにフ
レーム内およびフレーム間の相関を次の要領で利用す
る。フレーム内およびフレーム間の相関を計算したの
ち、別個の相関のそれぞれの最大を求める。参照を容易
にするために、最大のフレーム間相関および最大のフレ
ーム内相関をそれぞれβ■maxおよびα■maxと記す（明
細書においては、「α」および「β」に「→」を冠すべ
きものを便宜上「α■」および「β■」で代用する）。
最大のフレーム内およびフレーム間の相関値を知ること
は、重要である。これは、双方向の相関は、角の時空的
変位の方向には高いが、他の全ての方向には低いからで
ある。移動中のエッジについては、双方向の相関は、エ
ッジの方向およびその時空的変位の方向には高いが、こ
れら２つの方向によって定義される時空平面に垂直な方
向には低い。β■maxの計算に続き、β■maxと直交する
フレーム間相関の成分の中から最大ｃLを確立する。
レーム内およびフレーム間の相関を次の要領で利用す
る。フレーム内およびフレーム間の相関を計算したの
ち、別個の相関のそれぞれの最大を求める。参照を容易
にするために、最大のフレーム間相関および最大のフレ
ーム内相関をそれぞれβ■maxおよびα■maxと記す（明
細書においては、「α」および「β」に「→」を冠すべ
きものを便宜上「α■」および「β■」で代用する）。
最大のフレーム内およびフレーム間の相関値を知ること
は、重要である。これは、双方向の相関は、角の時空的
変位の方向には高いが、他の全ての方向には低いからで
ある。移動中のエッジについては、双方向の相関は、エ
ッジの方向およびその時空的変位の方向には高いが、こ
れら２つの方向によって定義される時空平面に垂直な方
向には低い。β■maxの計算に続き、β■maxと直交する
フレーム間相関の成分の中から最大ｃLを確立する。
【００１０】β■maxが真に角に関係付けられているな
らば、ｃLはβmaxよりかなり小さいはずである。なぜな
ら、角に関係付けられた双方向相関は、その時空的変位
の方向にそって高く、この変位と直角な方向には特に低
いからである。さらに、角が真に存在する場合、βmax
はαmaxよりかなり大きいはずである。このように、ｃL
／βmaxおよびαmax／βmaxの割合を計算し、各割合を
しきい値を比較することにより、角の存在を検出するこ
とができる。このような角の運動は、β■maxの方向を
時間的に追跡することにより、追跡することができる。
らば、ｃLはβmaxよりかなり小さいはずである。なぜな
ら、角に関係付けられた双方向相関は、その時空的変位
の方向にそって高く、この変位と直角な方向には特に低
いからである。さらに、角が真に存在する場合、βmax
はαmaxよりかなり大きいはずである。このように、ｃL
／βmaxおよびαmax／βmaxの割合を計算し、各割合を
しきい値を比較することにより、角の存在を検出するこ
とができる。このような角の運動は、β■maxの方向を
時間的に追跡することにより、追跡することができる。
【００１１】角が見つからない（即ち、割合ｃL／βmax
およびαmax／βmaxの何れかがしきい値より大きい）場
合、エッジの存在を検査する。エッジは、次の２つの状
態の存在によって示される。 （１）エッジにそった時空的相関が、移動中のエッジに
よって掃き成される時空曲面と交差するものと比較して
高い。 （２）エッジによって掃き成される時空曲面を横切る輝
度に変化がある。
およびαmax／βmaxの何れかがしきい値より大きい）場
合、エッジの存在を検査する。エッジは、次の２つの状
態の存在によって示される。 （１）エッジにそった時空的相関が、移動中のエッジに
よって掃き成される時空曲面と交差するものと比較して
高い。 （２）エッジによって掃き成される時空曲面を横切る輝
度に変化がある。
【００１２】α■max × β■maxによって定義される時
空平面に垂直なフレーム内相関およびフレーム間相関の
成分の中の最大をｅLとする。ｅLがαmaxよりかなり小
さく、かつα■max × β■maxによって定義される平面
を横切る輝度に変化がある場合、エッジが示される。エ
ッジが発見されると、その運動は、α■max × β■max
によって定義される時空平面の範囲にあるものとして、
追跡することができる。
空平面に垂直なフレーム内相関およびフレーム間相関の
成分の中の最大をｅLとする。ｅLがαmaxよりかなり小
さく、かつα■max × β■maxによって定義される平面
を横切る輝度に変化がある場合、エッジが示される。エ
ッジが発見されると、その運動は、α■max × β■max
によって定義される時空平面の範囲にあるものとして、
追跡することができる。
【００１３】
【実施例】図１に示した通常の画像処理システム１０
は、テレビカメラ１１を備え、これにより、場面におけ
る１つ以上の対象１２の画像を表すビデオ出力信号を生
成する。カメラ１１が対象１２に対して移動すると、そ
の出力信号は、変化して、その場面に関するカメラの相
対位置の変化を反映する。ビジョン・プロセッサ１４に
より、当分野において周知のとおり、カメラ１１の出力
信号を時間的に周期的な間隔で標本化し、それらの標本
を処理する。各標本は、特定の時刻における特定の画像
位置の輝度を表す。標本は一体となり、異なる時刻に捉
えられた複数の画像を確立する。
は、テレビカメラ１１を備え、これにより、場面におけ
る１つ以上の対象１２の画像を表すビデオ出力信号を生
成する。カメラ１１が対象１２に対して移動すると、そ
の出力信号は、変化して、その場面に関するカメラの相
対位置の変化を反映する。ビジョン・プロセッサ１４に
より、当分野において周知のとおり、カメラ１１の出力
信号を時間的に周期的な間隔で標本化し、それらの標本
を処理する。各標本は、特定の時刻における特定の画像
位置の輝度を表す。標本は一体となり、異なる時刻に捉
えられた複数の画像を確立する。
【００１４】動作的には、ビジョン・システム１４が、
カメラ出力信号をデジタル信号の列に変換する。その列
における各デジタル信号は、特定の時刻に捉えられた画
像（ビジョン・システム１４に接続されたモニタ１８に
よって表示される）を構成する複数の小さな画像要素
（画素）１６の１つひとつの輝度を表す。画素の輝度を
分析することにより、ビジョン・システム１４は、連続
的にと捉えられた各画像の種々の分析を行って、対象１
２に関係付けられた種々の属性を決定することができ
る。
カメラ出力信号をデジタル信号の列に変換する。その列
における各デジタル信号は、特定の時刻に捉えられた画
像（ビジョン・システム１４に接続されたモニタ１８に
よって表示される）を構成する複数の小さな画像要素
（画素）１６の１つひとつの輝度を表す。画素の輝度を
分析することにより、ビジョン・システム１４は、連続
的にと捉えられた各画像の種々の分析を行って、対象１
２に関係付けられた種々の属性を決定することができ
る。
【００１５】標本化されたカメラ出力信号を処理する過
程において、捕捉された画像における対象１２に対する
カメラ１１の運動（即ち、カメラの自己運動）を知るこ
とは有用である。カメラ１１の自己運動を決定するため
に、前述のようなエッジおよび角フローの方法（捕捉画
像におけるエッジおよび角の流れを用いて、場面の点の
画像速度を評価する）を用いる。通常、エッジ・フロー
のみにより画像速度を評価する方法では、場面点の画像
速度は、その時空画像を識別可能なある曲面上にあるよ
うにしか決定できず、２次の自由度の不確定性を持つと
いう困難に陥る。しかしながら、本発明によれば、視点
と独立で局部的に区別可能な画像点（つまり、ある種の
角）を追跡して画像速度を確立することにより、前記の
困難を克服することができる。
程において、捕捉された画像における対象１２に対する
カメラ１１の運動（即ち、カメラの自己運動）を知るこ
とは有用である。カメラ１１の自己運動を決定するため
に、前述のようなエッジおよび角フローの方法（捕捉画
像におけるエッジおよび角の流れを用いて、場面の点の
画像速度を評価する）を用いる。通常、エッジ・フロー
のみにより画像速度を評価する方法では、場面点の画像
速度は、その時空画像を識別可能なある曲面上にあるよ
うにしか決定できず、２次の自由度の不確定性を持つと
いう困難に陥る。しかしながら、本発明によれば、視点
と独立で局部的に区別可能な画像点（つまり、ある種の
角）を追跡して画像速度を確立することにより、前記の
困難を克服することができる。
【００１６】局部的に区別可能な画像点の追跡は、連続
的に捕捉された一連の画像の範囲の画素輝度の間の時空
相関を計算することによって実行される。時空位置ｐお
よびｑにおけるそれぞれの輝度Ｉ（ｐ）およびＩ（ｑ）
の間の時空相関ｃ（ｐ，ｑ）は、次のように定義される
（時空位置を「ｐ」および「ｑ」で示したが、これらは
ベクトルであり本来は太い文字を使用するべきである
が、式以外の文中では便宜上「ｐ」および「ｑ」で代用
する）。
的に捕捉された一連の画像の範囲の画素輝度の間の時空
相関を計算することによって実行される。時空位置ｐお
よびｑにおけるそれぞれの輝度Ｉ（ｐ）およびＩ（ｑ）
の間の時空相関ｃ（ｐ，ｑ）は、次のように定義される
（時空位置を「ｐ」および「ｑ」で示したが、これらは
ベクトルであり本来は太い文字を使用するべきである
が、式以外の文中では便宜上「ｐ」および「ｑ」で代用
する）。
【数２】 ただし、ｋは正の定数（例えば、１）であり、［σnois
eの２乗］の部分は輝度の雑音の分散である。尚、輝度
の差が大きいほど、相関は小さくなり、その逆もまた真
である。
eの２乗］の部分は輝度の雑音の分散である。尚、輝度
の差が大きいほど、相関は小さくなり、その逆もまた真
である。
【００１７】追跡のためには、点ｐにおける時空輝度が
特定の符号付き方向ｄ■または符号なし方向±ｄ■にそ
ったその近傍の輝度と相関する様子が、重要である（方
向を便宜上「ｄ■」で示すが、式においては、太字の
「ｄ」に「＾」を冠して記す）。符号付き方向と符号な
し方向の区別は、２つのベクトルが、それらの方向が一
致するならば「同じ符号付き方向を持つ」と言い、高々
符号が異なるのみで方向が一致するならば「同じ符号な
し方向を持つ」と言うことである。符号付き方向の輝度
相関ｃu（ｐ，ｄ■）（単方向輝度相関と称する）は、
次のように与えられる。
特定の符号付き方向ｄ■または符号なし方向±ｄ■にそ
ったその近傍の輝度と相関する様子が、重要である（方
向を便宜上「ｄ■」で示すが、式においては、太字の
「ｄ」に「＾」を冠して記す）。符号付き方向と符号な
し方向の区別は、２つのベクトルが、それらの方向が一
致するならば「同じ符号付き方向を持つ」と言い、高々
符号が異なるのみで方向が一致するならば「同じ符号な
し方向を持つ」と言うことである。符号付き方向の輝度
相関ｃu（ｐ，ｄ■）（単方向輝度相関と称する）は、
次のように与えられる。
【数３】 ここで、ｋおよびＮは、正の整数であり、多くの場合１
である。符号なし方向の輝度相関ｃb（ｐ，±ｄ■）
（双方向輝度相関と称する）は、次のように与えられ
る。
である。符号なし方向の輝度相関ｃb（ｐ，±ｄ■）
（双方向輝度相関と称する）は、次のように与えられ
る。
【数４】 ここで、ｋおよびＮは、正の整数であり、多くの場合１
である。ξの２乗およびξ■の２乗の各項は、点ｐにお
ける輝度と符号付き方向および符号なし方向にそったそ
れぞれの輝度との間の単なる平均２乗誤差である。パラ
メータγは、符号付き方向および符号なし方向にそって
データが標本化されたステップの大きさを示す。
である。ξの２乗およびξ■の２乗の各項は、点ｐにお
ける輝度と符号付き方向および符号なし方向にそったそ
れぞれの輝度との間の単なる平均２乗誤差である。パラ
メータγは、符号付き方向および符号なし方向にそって
データが標本化されたステップの大きさを示す。
【００１８】点ｐにおける単方向および双方向の輝度相
関を知ることの意義を理解するために、ｐにおける単方
向および双方向の各輝度相関の大きさに比例した長さを
有する適切な向きのベクトルをｐに置くことにより結果
的に得られるプロット（図式表現）を考察する。各方向
性相関ベクトル、即ち、双方向相関の場合のベクトル対
は、その相関が計算された方向を指し示す。ここでは、
最大の相関ベクトルの大きさが長さ１となるように正規
化される点に注意する必要がある。図２Ａを参照する。
単方向輝度相関の場合、結果のベクトル・プロットが球
状であると、ｐが一定輝度の領域にあることになる。換
言すれば、ｐの近傍は、大きさの方向に一貫している。
関を知ることの意義を理解するために、ｐにおける単方
向および双方向の各輝度相関の大きさに比例した長さを
有する適切な向きのベクトルをｐに置くことにより結果
的に得られるプロット（図式表現）を考察する。各方向
性相関ベクトル、即ち、双方向相関の場合のベクトル対
は、その相関が計算された方向を指し示す。ここでは、
最大の相関ベクトルの大きさが長さ１となるように正規
化される点に注意する必要がある。図２Ａを参照する。
単方向輝度相関の場合、結果のベクトル・プロットが球
状であると、ｐが一定輝度の領域にあることになる。換
言すれば、ｐの近傍は、大きさの方向に一貫している。
【００１９】図２Ｂにおいて、双方向輝度相関の場合、
ベクトルが曲面（図２Ｂでは円錐である）を掃き成すな
らば、掃き成された曲面は、局部の輝度の勾配がそれを
横切る向きに高いような等輝度曲面にほぼ近いものと仮
定される。（図２Ｂの円錐の各罫線は等輝度曲面の弦で
あり、そして、式（４）のγがゼロになるとともに、こ
れらの弦は接線となり、弦からなる円錐は接平面とな
る。）図２Ｂのプロットからは、点ｐが輝度のエッジの
時空画像の範囲にあることにはならない。この状態が真
となるには、等輝度曲面を横切る輝度変化が変曲を呈さ
なければならない。
ベクトルが曲面（図２Ｂでは円錐である）を掃き成すな
らば、掃き成された曲面は、局部の輝度の勾配がそれを
横切る向きに高いような等輝度曲面にほぼ近いものと仮
定される。（図２Ｂの円錐の各罫線は等輝度曲面の弦で
あり、そして、式（４）のγがゼロになるとともに、こ
れらの弦は接線となり、弦からなる円錐は接平面とな
る。）図２Ｂのプロットからは、点ｐが輝度のエッジの
時空画像の範囲にあることにはならない。この状態が真
となるには、等輝度曲面を横切る輝度変化が変曲を呈さ
なければならない。
【００２０】図２Ｃにおいて、点ｐにおける単方向輝度
相関のプロットが同図に示したように角のある線を与え
るならば、点ｐは、輝度がそれにそっては相関するが横
切っては相関しないような特異な曲線にそって存在す
る。図２Ｃのプロットは、単に点の対象を示すだけであ
り、輝度の角（これは、局部的に区別可能な画像点を示
すために用いられる用語である）を示すのではないこと
を理解する必要がある。
相関のプロットが同図に示したように角のある線を与え
るならば、点ｐは、輝度がそれにそっては相関するが横
切っては相関しないような特異な曲線にそって存在す
る。図２Ｃのプロットは、単に点の対象を示すだけであ
り、輝度の角（これは、局部的に区別可能な画像点を示
すために用いられる用語である）を示すのではないこと
を理解する必要がある。
【００２１】単方向輝度相関と比較して、双方向輝度相
関の方が、一般に、より豊かな接線情報を与えるが、単
方向相関は、時として有用な湾曲情報を与える。図３Ａ
には、点ｐが各画像における輝度の角にそって存在する
状態に対する双方向輝度相関のプロットを示す。図３Ａ
に示したプロットは、時空空間において直線である。双
方向輝度相関は、角の時空変位の方向には高いが、他の
全ての方向に低い。図３Ｂに示すようなＴ接合の上部の
相関のある側に対しては例外がある。
関の方が、一般に、より豊かな接線情報を与えるが、単
方向相関は、時として有用な湾曲情報を与える。図３Ａ
には、点ｐが各画像における輝度の角にそって存在する
状態に対する双方向輝度相関のプロットを示す。図３Ａ
に示したプロットは、時空空間において直線である。双
方向輝度相関は、角の時空変位の方向には高いが、他の
全ての方向に低い。図３Ｂに示すようなＴ接合の上部の
相関のある側に対しては例外がある。
【００２２】画像における各画素の同じ画像の画素およ
び他の画像の画素に対する双方向輝度相関の情報から、
その画像におけるエッジおよび角の運動を追跡すること
ができる。そのような双方向の画素輝度相関から本発明
によってエッジおよび（または）角の存在および画像運
動を検出する方法を図４に流れ線図の形式で示す。図４
に示した方法においては、まずカメラ１１の出力信号を
繰り返し標本化する。次に、単一の画像フレーム（即
ち、標本化期間にカメラ１１によって捉えられた画像）
の範囲およびフレーム間における相対距離を確立するた
めに倍率を選定する（ステップ２２）。
び他の画像の画素に対する双方向輝度相関の情報から、
その画像におけるエッジおよび角の運動を追跡すること
ができる。そのような双方向の画素輝度相関から本発明
によってエッジおよび（または）角の存在および画像運
動を検出する方法を図４に流れ線図の形式で示す。図４
に示した方法においては、まずカメラ１１の出力信号を
繰り返し標本化する。次に、単一の画像フレーム（即
ち、標本化期間にカメラ１１によって捉えられた画像）
の範囲およびフレーム間における相対距離を確立するた
めに倍率を選定する（ステップ２２）。
【００２３】ステップ２２に続いて、ステップ２４を実
行し、所与のフレームにおける各画素に対し、そのフレ
ーム内のいくつかの方向の双方向フレーム内輝度相関を
計算する。また、ステップ２４において、前記の所与の
フレームにおける各画素に対し、前後の複数のフレーム
にわたるいくつかの方向の双方向フレーム間輝度相関を
計算する。参照を簡単にするために、フレーム内相関を
項α■（ｐ，±ｄ^）で指定し、フレーム間相関をβ■
（ｐ，±ｄ^）で示す。ただし、ｐは方向±ｄ^の双方向
相関が計算される画素の時空画像位置である。α■およ
びβ■は±ｄ^にそって指し示す。
行し、所与のフレームにおける各画素に対し、そのフレ
ーム内のいくつかの方向の双方向フレーム内輝度相関を
計算する。また、ステップ２４において、前記の所与の
フレームにおける各画素に対し、前後の複数のフレーム
にわたるいくつかの方向の双方向フレーム間輝度相関を
計算する。参照を簡単にするために、フレーム内相関を
項α■（ｐ，±ｄ^）で指定し、フレーム間相関をβ■
（ｐ，±ｄ^）で示す。ただし、ｐは方向±ｄ^の双方向
相関が計算される画素の時空画像位置である。α■およ
びβ■は±ｄ^にそって指し示す。
【００２４】映像過程の性質から、各画像フレームの内
部の画素は一般に相関がある。この相関のために、図５
（元の格子の解像度の２倍の解像度である）でよく解る
ように各画像フレームを補間して新たな格子にすること
により画素以下の精度を得ることが可能となる。換言す
れば、図１の各画素１６が、図５に示した格子における
４区画を構成する。計算を容易にするため、ステップ２
４において、補間した格子の各画素に対するフレーム内
輝度相関を図５に示した３×３画素の窓の境界線にある
その近傍の画素の各々の方向に計算する。図６を参照
し、所与の補間したフレームの各画素に対し、隣接する
各フレームにおいて対応する窓にある各画素の方向にフ
レーム間相関を計算する。図５および６において中央の
画素の２つの最近の画素を何れの方向にも示したが、双
方向相関の計算には、中央の画素のあらゆる方向の近く
の２つの画素の何倍もの画素が関与する。
部の画素は一般に相関がある。この相関のために、図５
（元の格子の解像度の２倍の解像度である）でよく解る
ように各画像フレームを補間して新たな格子にすること
により画素以下の精度を得ることが可能となる。換言す
れば、図１の各画素１６が、図５に示した格子における
４区画を構成する。計算を容易にするため、ステップ２
４において、補間した格子の各画素に対するフレーム内
輝度相関を図５に示した３×３画素の窓の境界線にある
その近傍の画素の各々の方向に計算する。図６を参照
し、所与の補間したフレームの各画素に対し、隣接する
各フレームにおいて対応する窓にある各画素の方向にフ
レーム間相関を計算する。図５および６において中央の
画素の２つの最近の画素を何れの方向にも示したが、双
方向相関の計算には、中央の画素のあらゆる方向の近く
の２つの画素の何倍もの画素が関与する。
【００２５】図４のステップ２４に続いて、最大フレー
ム内および最大フレーム間の相関を計算する（ステップ
２６）。参照を容易にするために、最大フレーム内およ
び最大フレーム間の相関をそれぞれα■maxおよびβ■m
axと表す。ステップ２６ののち、ステップ２８を実行
し、種々のα■（ｐ，±ｄ^）およびβ■（ｐ，±ｄ^）
の、α■（ｐ，±ｄ^）×β■（ｐ，±ｄ^）によって定
義される平面に直交する最大輝度相関成分を計算する。
参照し易くするために、この値をｅLと記す。また、ス
テップ２８において、β■maxに直交するフレーム内輝
度相関β■（ｐ，±ｄ^）の成分の中から最大を選択す
る。この値をｃLと記す。
ム内および最大フレーム間の相関を計算する（ステップ
２６）。参照を容易にするために、最大フレーム内およ
び最大フレーム間の相関をそれぞれα■maxおよびβ■m
axと表す。ステップ２６ののち、ステップ２８を実行
し、種々のα■（ｐ，±ｄ^）およびβ■（ｐ，±ｄ^）
の、α■（ｐ，±ｄ^）×β■（ｐ，±ｄ^）によって定
義される平面に直交する最大輝度相関成分を計算する。
参照し易くするために、この値をｅLと記す。また、ス
テップ２８において、β■maxに直交するフレーム内輝
度相関β■（ｐ，±ｄ^）の成分の中から最大を選択す
る。この値をｃLと記す。
【００２６】次に、ステップ３０を実行して、画像中に
角があるかどうかを判断する。前述のように、プロット
した場合、時空空間における角の双方向相関は、角の移
動の方向には高いが、その他のすべての方向で低くな
る。したがって、β■maxが角に関係付けられている場
合、ｃL（これは、β■maxに直交する最大のフレーム間
相関成分である）は、βmaxに比較して小さいはずであ
る。角の輝度の双方向相関は移動の方向を除く全ての方
向に低いと予測されるので、α■maxが角に関係付けら
れている場合、αmaxもβmaxよりはるかに小さいはずで
ある。角が存在するかどうかを検出するために、ステッ
プ３０において割合ｃL／βmaxおよびαmax／βmaxを計
算して、所定のしきい値Ｔと比較する。ｃL／βmaxおよ
びαmax／βmaxがＴよりそれぞれ小さい場合、標本化さ
れた画像中に角があることになる。角の存在を確証した
のち、ステップ３２を実行し、β■maxを時間的に追跡
することによって、角の運動を追跡する。角の運動の計
算の後、全体の処理を繰り返す（ステップ３４）。
角があるかどうかを判断する。前述のように、プロット
した場合、時空空間における角の双方向相関は、角の移
動の方向には高いが、その他のすべての方向で低くな
る。したがって、β■maxが角に関係付けられている場
合、ｃL（これは、β■maxに直交する最大のフレーム間
相関成分である）は、βmaxに比較して小さいはずであ
る。角の輝度の双方向相関は移動の方向を除く全ての方
向に低いと予測されるので、α■maxが角に関係付けら
れている場合、αmaxもβmaxよりはるかに小さいはずで
ある。角が存在するかどうかを検出するために、ステッ
プ３０において割合ｃL／βmaxおよびαmax／βmaxを計
算して、所定のしきい値Ｔと比較する。ｃL／βmaxおよ
びαmax／βmaxがＴよりそれぞれ小さい場合、標本化さ
れた画像中に角があることになる。角の存在を確証した
のち、ステップ３２を実行し、β■maxを時間的に追跡
することによって、角の運動を追跡する。角の運動の計
算の後、全体の処理を繰り返す（ステップ３４）。
【００２７】ステップ３０において、角が発見されない
（即ち、比ｃL／βmaxおよびαmax／βmaxの一方または
両方がＴを超えることが判明した）場合、ステップ３６
において、エッジの存在を検査する。前述のように、時
空的相関は、エッジにそっては高いが、エッジを横切る
方向には低い。しかしながら、これだけではエッジは真
に決まらない。さらに、エッジが存在する場合、輝度
は、そのエッジによって掃き成される時空曲面にそって
変曲を示すはずである。エッジの存在は、ステップ３６
において、次の３つの状態の存在によって明かとなる。 １）比ｃL／βmaxまたはαmax／βmaxの一方がＴを超え
る（ステップ３０において検査される）。 ２）比ｅL／αmaxがＴ以下である。 ３）α■max × β■maxによって定義される平面に直交
する輝度変化に変曲がある。
（即ち、比ｃL／βmaxおよびαmax／βmaxの一方または
両方がＴを超えることが判明した）場合、ステップ３６
において、エッジの存在を検査する。前述のように、時
空的相関は、エッジにそっては高いが、エッジを横切る
方向には低い。しかしながら、これだけではエッジは真
に決まらない。さらに、エッジが存在する場合、輝度
は、そのエッジによって掃き成される時空曲面にそって
変曲を示すはずである。エッジの存在は、ステップ３６
において、次の３つの状態の存在によって明かとなる。 １）比ｃL／βmaxまたはαmax／βmaxの一方がＴを超え
る（ステップ３０において検査される）。 ２）比ｅL／αmaxがＴ以下である。 ３）α■max × β■maxによって定義される平面に直交
する輝度変化に変曲がある。
【００２８】したがって、ステップ３０において比ｃL
／βmaxまたはαmax／βmaxの一方がＴを超えることが
判明した場合、ステップ３６において、エッジの存在を
検査するために、比ｅL／αmaxを検査し、これがＴより
小さいかどうかを判断し、さらに、α■max × β■max
の平面を横切る強度変化における変曲を求める。
／βmaxまたはαmax／βmaxの一方がＴを超えることが
判明した場合、ステップ３６において、エッジの存在を
検査するために、比ｅL／αmaxを検査し、これがＴより
小さいかどうかを判断し、さらに、α■max × β■max
の平面を横切る強度変化における変曲を求める。
【００２９】ステップ３６においてエッジを検出した場
合、ステップ３８を実行し、平面α■max × β■maxを
時間的に追跡することによってエッジの運動を計算す
る。ステップ３８の後、全ての処理を繰り返す（ステッ
プ３４）。
合、ステップ３８を実行し、平面α■max × β■maxを
時間的に追跡することによってエッジの運動を計算す
る。ステップ３８の後、全ての処理を繰り返す（ステッ
プ３４）。
【００３０】特定の時刻に標本化された画像の特定の位
置にエッジも角も存在しないことは大いにありうる。何
れにしてもステップ３４を実行して、すべての周期に各
画素において処理を絶えず繰り返す。
置にエッジも角も存在しないことは大いにありうる。何
れにしてもステップ３４を実行して、すべての周期に各
画素において処理を絶えず繰り返す。
【００３１】以上の説明は、本発明の実施例に関するも
ので、この技術分野の当業者であれば、本発明の種々の
変形例が考えられるが、それらはいずれも本発明の技術
的範囲に包含される。
ので、この技術分野の当業者であれば、本発明の種々の
変形例が考えられるが、それらはいずれも本発明の技術
的範囲に包含される。
【００３２】
【発明の効果】以上述べたように、本発明によれば、連
続画像におけるエッジまたは（および）角を検出・追跡
することによりエッジ・フローのすきま問題の影響を比
較的受けずに画像内部の対象に対してカメラを運動させ
ることが可能となる。
続画像におけるエッジまたは（および）角を検出・追跡
することによりエッジ・フローのすきま問題の影響を比
較的受けずに画像内部の対象に対してカメラを運動させ
ることが可能となる。
【図１】従来の技術による通常の画像処理システムの略
ブロック図である。
ブロック図である。
【図２】図１のシステムによって得た３つの異なる単方
向性の時空輝度相関のプロット（図式表現）を表す図で
ある。
向性の時空輝度相関のプロット（図式表現）を表す図で
ある。
【図３】図１の画像処理システムで得た２つの双方向性
の時空輝度相関のプロットを表す図である。
の時空輝度相関のプロットを表す図である。
【図４】図１の画像処理システムによって捉えた連続す
る画像におけるエッジおよび角の存在および運動を確立
するための本発明による方法を表す流れ図である。
る画像におけるエッジおよび角の存在および運動を確立
するための本発明による方法を表す流れ図である。
【図５】図４の方法の過程において単一画像の範囲で輝
度相関が計算される方向を示す写実的プロットである。
度相関が計算される方向を示す写実的プロットである。
【図６】図４の方法の過程において複数の画像にわたっ
て輝度相関が計算される方向を示す写実的プロットであ
る。
て輝度相関が計算される方向を示す写実的プロットであ
る。
１０ 画像処理システム １１ テレビカメラ １２ 対象 １４ ビジョン・システム １６ 画素 １８ モニタ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ラマスワミー マハデヴァン アメリカ合衆国 07740 ニュージャージ ー ロングブランチ、アパートメント 38 オーシャン アヴェニュー 723 (72)発明者 ヴィシュヴィ エス．ナルワ アメリカ合衆国 07748 ニュージャージ ー ミドルタウン、ノールウッド ドライ ヴ 812
Claims (5)
- 【請求項１】 カメラによって捉えた画像におけるエッ
ジおよび角を検出し、追跡するために、 規則的な時間間隔で画像を周期的に標本化するステッ
プ、 前記の標本化された画像を共同で構成する複数の画像要
素（画素）のそれぞれの輝度を確立するために、標本化
された各画像を処理するステップ、 時空空間における線および曲面の特異性を検出するため
に、標本化された各画像における各画素の輝度の、同じ
画像における所定の近傍にある各画素との第１（フレー
ム内）の双方向相関を計算するステップ、 時空空間における線および曲面の特異性、ならびに前記
の線および曲面の特異性の運動を検出するために、標本
化された各画像における各画素の輝度の、標本化された
他の画像の各々における所定の近傍にある各画素との第
２（フレーム間）の双方向相関を計算するステップ、お
よび前記のフレーム内およびフレーム間の相関から、標
本化された画像におけるエッジおよび角の存在および運
動を時間にわたって判断するステップを備えたことを特
徴とする時空的画像におけるエッジおよび角の検出・追
跡方法。 - 【請求項２】 前記の角の存在の判断が、 前記フレーム間輝度相関の中から最大β■maxを算出す
るステップ、 最大のフレーム間輝度相関と直交するフレーム間輝度相
関成分の中から最大ｃLを算出するステップ、 前記フレーム内輝度相関の中から最大α■maxを算出す
るステップ、 比ｃL／βmaxおよびαmax／βmaxの両方を所定のしきい
値と比較するステップ、および前記の比ｃL／βmaxおよ
びαmax／βmaxの両方が前記所定のしきい値より小さい
場合、角の存在を確立するステップによって行われるこ
とを特徴とする請求項１記載の方法。 - 【請求項３】 前記の角の存在の判断が、 前記の比ｃL／βmaxおよびαmax／βmaxを所定のしきい
値と比較するステップ、 最大フレーム内輝度相関の最大フレーム間輝度相関との
クロス積にそって存在するフレーム間およびフレーム内
の輝度相関成分の中から最大ｅLを算出するステップ、 比ｅL／αmaxを所定のしきい値（前記の所定のしきい値
とは異なることがある）と比較するステップ、 α■max × β■maxによって定義される平面と垂直な方
向の画素の輝度に変曲があるかどうかを検出するステッ
プ、および（ａ）前記の比ｃL／βmaxおよびαmax／βm
axの少なくとも１つが所定のしきい値を超え、（ｂ）前
記の比ｅL／αmaxが所定のしきい値より小さく、かつ
（ｃ）α■max × β■maxによって定義される平面と垂
直な方向の画素の輝度に変曲が存在する場合、エッジの
存在を確立するステップによって行われることを特徴と
する請求項２記載の方法。 - 【請求項４】 前記のエッジの運動が、時間にわたるβ
■maxの展開によって確立されることを特徴とする請求
項２記載の方法。 - 【請求項５】 前記のエッジの運動が、時間にわたる
（α■max × β■max）の展開によって確立されること
を特徴とする請求項２記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US906916 | 1992-06-30 | ||
| US07/906,916 US5311305A (en) | 1992-06-30 | 1992-06-30 | Technique for edge/corner detection/tracking in image frames |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0660183A true JPH0660183A (ja) | 1994-03-04 |
Family
ID=25423207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5182274A Pending JPH0660183A (ja) | 1992-06-30 | 1993-06-29 | 時空的画像におけるエッジおよび角の検出・追跡方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5311305A (ja) |
| JP (1) | JPH0660183A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11259688A (ja) * | 1998-01-16 | 1999-09-24 | Xerox Corp | 画像記録装置並びにその位置及び向きの決定方法 |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1994006247A1 (en) * | 1992-09-08 | 1994-03-17 | Paul Howard Mayeaux | Machine vision camera and video preprocessing system |
| US6009200A (en) * | 1992-12-17 | 1999-12-28 | Sony Corporation | Dynamic image processing apparatus and method |
| JP3006338B2 (ja) * | 1993-03-26 | 2000-02-07 | 松下電器産業株式会社 | 運動領域輪郭検出装置 |
| KR0166724B1 (ko) * | 1993-05-08 | 1999-03-20 | 김광호 | 반화소정확도를 갖는 동벡터추정방법 및 그 장치 |
| JP2590705B2 (ja) * | 1993-09-28 | 1997-03-12 | 日本電気株式会社 | 動き補償予測装置 |
| US6327381B1 (en) * | 1994-12-29 | 2001-12-04 | Worldscape, Llc | Image transformation and synthesis methods |
| US5703961A (en) * | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
| US5650823A (en) * | 1995-03-27 | 1997-07-22 | International Business Machines Corporation | Half pel motion estimation method for B pictures |
| US6205231B1 (en) | 1995-05-10 | 2001-03-20 | Identive Corporation | Object identification in a moving video image |
| IL114838A0 (en) * | 1995-08-04 | 1996-11-14 | Spiegel Ehud | Apparatus and method for object tracking |
| JP4079463B2 (ja) * | 1996-01-26 | 2008-04-23 | ソニー株式会社 | 被写体検出装置および被写体検出方法 |
| JP3240936B2 (ja) * | 1996-09-30 | 2001-12-25 | 日本電気株式会社 | 動き処理回路 |
| US6408028B1 (en) | 1997-06-02 | 2002-06-18 | The Regents Of The University Of California | Diffusion based peer group processing method for image enhancement and segmentation |
| GB9720852D0 (en) * | 1997-10-02 | 1998-02-11 | Barr & Stroud Ltd | Method and apparatus for target track identification |
| US6215519B1 (en) | 1998-03-04 | 2001-04-10 | The Trustees Of Columbia University In The City Of New York | Combined wide angle and narrow angle imaging system and method for surveillance and monitoring |
| AU744206B2 (en) * | 1998-09-25 | 2002-02-21 | Canon Kabushiki Kaisha | Method and apparatus for detecting corner pixels of one or more sub-images within an image |
| GB2353856B (en) | 1999-08-27 | 2001-10-24 | Infrared Integrated Syst Ltd | Improvements in position determination using arrays of radiation detectors |
| US6665440B1 (en) * | 2000-05-30 | 2003-12-16 | Microsoft Corporation | System and method for performing corner guided curve matching of multiple images representing a scene |
| US7239345B1 (en) | 2001-10-12 | 2007-07-03 | Worldscape, Inc. | Camera arrangements with backlighting detection and methods of using same |
| EP1376471A1 (en) * | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Motion estimation for stabilization of an image sequence |
| EP1377040A1 (en) * | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Method of stabilizing an image sequence |
| US7643688B2 (en) * | 2003-10-10 | 2010-01-05 | Hewlett-Packard Development Company, L.P. | Reducing artifacts in compressed images |
| US7388999B2 (en) * | 2003-10-29 | 2008-06-17 | Hewlett-Packard Development Company, L.P. | Transformations for denoising images |
| DE102004008979B4 (de) * | 2004-02-24 | 2006-12-28 | Siemens Ag | Verfahren zur Filterung tomographischer 3D-Darstellungen nach erfolgter Rekonstruktion von Volumendaten |
| JP2008507229A (ja) | 2004-07-19 | 2008-03-06 | グランドアイ，エルティーディー | 広角ビデオカメラのズーム機能の自動拡張 |
| KR100750136B1 (ko) * | 2005-11-02 | 2007-08-21 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
| US8043209B2 (en) * | 2006-06-13 | 2011-10-25 | Given Imaging Ltd. | System and method for transmitting the content of memory storage in an in-vivo sensing device |
| SG155797A1 (en) * | 2008-03-20 | 2009-10-29 | St Microelectronics Asia | System and process for image rescaling with edge adaptive phase control in interpolation process |
| JP4507129B2 (ja) * | 2008-06-06 | 2010-07-21 | ソニー株式会社 | 追尾点検出装置および方法、プログラム、並びに記録媒体 |
| DE102008058489A1 (de) * | 2008-08-19 | 2010-04-15 | Siemens Aktiengesellschaft | Verfahren zum Codieren einer Folge von digitalisierten Bildern |
| CN102438153B (zh) * | 2010-09-29 | 2015-11-25 | 华为终端有限公司 | 多摄像机图像校正方法和设备 |
| US8582821B1 (en) * | 2011-05-23 | 2013-11-12 | A9.Com, Inc. | Tracking objects between images |
| TW201421423A (zh) * | 2012-11-26 | 2014-06-01 | Pixart Imaging Inc | 影像感測器及其運作方法 |
| US10210399B2 (en) * | 2013-12-20 | 2019-02-19 | Magna Electronics Inc. | Vehicle vision system with image processing |
| WO2016207875A1 (en) | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0191586A (ja) * | 1987-10-02 | 1989-04-11 | Nippon Hoso Kyokai <Nhk> | 動き検出回路 |
| GB2220319B (en) * | 1988-07-01 | 1992-11-04 | Plessey Co Plc | Improvements in or relating to image stabilisation |
| US5018218A (en) * | 1988-08-29 | 1991-05-21 | Raytheon Company | Confirmed boundary pattern matching |
| DE59106851D1 (de) * | 1990-08-22 | 1995-12-14 | Philips Patentverwaltung | Verfahren zur Ermittlung horizontaler Bewegungen in den Bildinhalten eines Fernsehsignals. |
-
1992
- 1992-06-30 US US07/906,916 patent/US5311305A/en not_active Expired - Lifetime
-
1993
- 1993-06-29 JP JP5182274A patent/JPH0660183A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11259688A (ja) * | 1998-01-16 | 1999-09-24 | Xerox Corp | 画像記録装置並びにその位置及び向きの決定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5311305A (en) | 1994-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0660183A (ja) | 時空的画像におけるエッジおよび角の検出・追跡方法 | |
| US5265172A (en) | Method and apparatus for producing optical flow using multi-spectral images | |
| US6757328B1 (en) | Motion information extraction system | |
| CN110599522B (zh) | 一种视频序列中动态目标检测剔除方法 | |
| JP2008046903A (ja) | 対象個数検出装置および対象個数検出方法 | |
| JP4213035B2 (ja) | オクルージョン領域を検出するオクルージョン検出器および方法 | |
| CN101589622A (zh) | 使用两种匹配判据的运动估计和场景变换检测 | |
| Rösgen et al. | Two-dimensional on-line particle imaging velocimetry | |
| US4985765A (en) | Method and apparatus for picture motion measurement whereby two pictures are correlated as a function of selective displacement | |
| JP4918615B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
| Sincan et al. | Moving object detection by a mounted moving camera | |
| KR20100013855A (ko) | 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법 | |
| Fulari | A Survey on Motion Models Used for Object Detection in Videos | |
| JP2001307104A (ja) | 動画像のオブジェクト抽出装置 | |
| JPH05236452A (ja) | 動ベクトル検出方法及び検出装置 | |
| CN101986242B (zh) | 在视频压缩编码过程中实现目标轨迹跟踪的方法 | |
| Gokul et al. | Lucas Kanade based Optical Flow for Vehicle Motion Tracking and Velocity Estimation | |
| JP4674920B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
| KR20040093708A (ko) | 세그먼테이션용 유닛 및 방법 | |
| JP2000011134A (ja) | 移動量検出装置及びその方法 | |
| JP2016051236A (ja) | 画像処理装置、画像処理方法およびそれを用いた検査方法。 | |
| JPH08241480A (ja) | 分散型監視装置 | |
| Barron et al. | Experience with optical flow in colour video image sequences | |
| CN112529936B (zh) | 一种用于室外无人机的单目稀疏光流算法 | |
| RU2189628C2 (ru) | Способ дистанционного управления |