JPH0935061A - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JPH0935061A JPH0935061A JP7182795A JP18279595A JPH0935061A JP H0935061 A JPH0935061 A JP H0935061A JP 7182795 A JP7182795 A JP 7182795A JP 18279595 A JP18279595 A JP 18279595A JP H0935061 A JPH0935061 A JP H0935061A
- Authority
- JP
- Japan
- Prior art keywords
- image
- points
- frames
- tracking
- correspondence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】
【課題】 時系列的に得られる物体のフレーム画像から
その物体の動きを検出するための画像処理方法におい
て、システム構成が簡単になり、高速処理を可能にす
る。 【解決手段】 物体のステレオ画像を入力し（Ｓ１）、
このステレオ画像から該物体のエッジを抽出して（Ｓ
２）、その局所的特徴によりセグメントに分割する（Ｓ
３）。そして、このセグメント上で追跡点（サンプル
点）を選択し（Ｓ４）、その選択した追跡点のフレーム
間対応を求め（Ｓ５）、その対応点の移動前と移動後の
３次元座標を計測して（Ｓ６）、該物体の位置姿勢を検
出する（Ｓ７）。その際、上記フレーム間の対応は、追
跡点の接線方向と面の輝度値の相関からフレーム間の類
似性を評価することにより行う。
その物体の動きを検出するための画像処理方法におい
て、システム構成が簡単になり、高速処理を可能にす
る。 【解決手段】 物体のステレオ画像を入力し（Ｓ１）、
このステレオ画像から該物体のエッジを抽出して（Ｓ
２）、その局所的特徴によりセグメントに分割する（Ｓ
３）。そして、このセグメント上で追跡点（サンプル
点）を選択し（Ｓ４）、その選択した追跡点のフレーム
間対応を求め（Ｓ５）、その対応点の移動前と移動後の
３次元座標を計測して（Ｓ６）、該物体の位置姿勢を検
出する（Ｓ７）。その際、上記フレーム間の対応は、追
跡点の接線方向と面の輝度値の相関からフレーム間の類
似性を評価することにより行う。
Description
【０００１】
【発明の属する技術分野】本発明は、時系列的に得られ
る物体のフレーム画像から該物体の動きを認識するため
の画像処理方法に関するものである。
る物体のフレーム画像から該物体の動きを認識するため
の画像処理方法に関するものである。
【０００２】
【従来の技術】物体の動きを認識する場合、例えば３次
元物体の位置姿勢を随時検出する場合は、撮像手段であ
る視覚センサから連続的に得られる時系列画像を用い
る。そして、この時系列画像から物体の動き（位置姿
勢）を検出する基本的な方法として、次の（１）〜
（３）の３通りの方法が知られている。
元物体の位置姿勢を随時検出する場合は、撮像手段であ
る視覚センサから連続的に得られる時系列画像を用い
る。そして、この時系列画像から物体の動き（位置姿
勢）を検出する基本的な方法として、次の（１）〜
（３）の３通りの方法が知られている。
【０００３】（１）２画像間の物体が微小な場合に利用
できる方法である。画像各点に対して、画像上の空間的
な明るさの変化と連続する画像間の時間的な明るさの変
化から、物体の動きを決定する方程式を導くことができ
る。
できる方法である。画像各点に対して、画像上の空間的
な明るさの変化と連続する画像間の時間的な明るさの変
化から、物体の動きを決定する方程式を導くことができ
る。
【０００４】（２）２画像間で物体が大きな場合に利用
する方法である。画像間で物体の同じ部分を表す点の対
を求め、その変位から物体の動きを計算することができ
る。
する方法である。画像間で物体の同じ部分を表す点の対
を求め、その変位から物体の動きを計算することができ
る。
【０００５】（３）多数の時系列画像を時間の順に重ね
てできる３次元時空間画像を利用する方法である。隣接
する画像間の物体の動きは微小であるので、対応点を求
めるのは容易であり、それを時間順に追跡していけば、
結果として変移の大きな対応点を求めることができる。
てできる３次元時空間画像を利用する方法である。隣接
する画像間の物体の動きは微小であるので、対応点を求
めるのは容易であり、それを時間順に追跡していけば、
結果として変移の大きな対応点を求めることができる。
【０００６】
【発明が解決しようとする課題】時系列画像を用いて物
体の動き（位置姿勢）を検出する従来の画像処理方法に
あっては、ノイズに弱い上にステレオ対応処理より難し
く、データ量が非常に大きくなるという問題点があっ
た。
体の動き（位置姿勢）を検出する従来の画像処理方法に
あっては、ノイズに弱い上にステレオ対応処理より難し
く、データ量が非常に大きくなるという問題点があっ
た。
【０００７】本発明は、上記のような問題点に着目して
なされたもので、システム構成が簡単で、高速処理が可
能になり、また大量の画像データを保持しておく必要の
ない画像処理方法を提供することを目的としている。
なされたもので、システム構成が簡単で、高速処理が可
能になり、また大量の画像データを保持しておく必要の
ない画像処理方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】本発明に係る画像処理方
法は、時系列的に得られる物体のフレーム画像から該物
体の動きを認識するための画像処理方法であって、物体
のステレオ画像を入力し、このステレオ画像から該物体
のエッジを抽出して、その局所的特徴によりセグメント
に分割し、このセグメント上で追跡点を選択し、その選
択した追跡点のフレーム間の対応を求め、その対応点の
移動前と移動後の３次元座標から該物体の位置姿勢を検
出するようにしたものである。
法は、時系列的に得られる物体のフレーム画像から該物
体の動きを認識するための画像処理方法であって、物体
のステレオ画像を入力し、このステレオ画像から該物体
のエッジを抽出して、その局所的特徴によりセグメント
に分割し、このセグメント上で追跡点を選択し、その選
択した追跡点のフレーム間の対応を求め、その対応点の
移動前と移動後の３次元座標から該物体の位置姿勢を検
出するようにしたものである。
【０００９】また上記の画像処理方法において、フレー
ム間の対応は、追跡点の接点方向と面の輝度値の相関か
らフレーム間の類似性を評価することにより行うように
したものである。
ム間の対応は、追跡点の接点方向と面の輝度値の相関か
らフレーム間の類似性を評価することにより行うように
したものである。
【００１０】また上記の画像処理方法において、対応点
の３次元座標は、ステレオ対応を用いたステレオ視によ
り計測するか、あるいは単眼視により計測するようにし
たものである。
の３次元座標は、ステレオ対応を用いたステレオ視によ
り計測するか、あるいは単眼視により計測するようにし
たものである。
【００１１】
【発明の実施の形態】図１は本発明による画像処理方法
を実現するためのシステム構成を示すブロック図であ
る。同図中、１はシステム全体を制御するコンピュータ
で、データバス２を通じて各部と接続されている。
を実現するためのシステム構成を示すブロック図であ
る。同図中、１はシステム全体を制御するコンピュータ
で、データバス２を通じて各部と接続されている。
【００１２】３ａ，３ｂはテレビカメラで、そのアナロ
グ出力はＡ／Ｄ変換器４ａ，４ｂによりデジタル信号に
変換されてデータバス２に送出される。５はテレビカメ
ラ３ａ，３ｂで撮像した物体の画像データを格納する画
像メモリ、６は画像を表示するディスプレイ装置、７は
プリンタ、８は画像データを保存するためのフロッピー
ディスク、９はキーボードターミナルで、このシステム
は更に外部のホストコンピュータと接続されている。
グ出力はＡ／Ｄ変換器４ａ，４ｂによりデジタル信号に
変換されてデータバス２に送出される。５はテレビカメ
ラ３ａ，３ｂで撮像した物体の画像データを格納する画
像メモリ、６は画像を表示するディスプレイ装置、７は
プリンタ、８は画像データを保存するためのフロッピー
ディスク、９はキーボードターミナルで、このシステム
は更に外部のホストコンピュータと接続されている。
【００１３】図２は上記構成のシステムにおける本発明
の基本的な処理の流れを示すフローチャートであり、時
系列的に得られる物体のフレーム画像から該物体の動き
を認識するための処理の流れを示している。
の基本的な処理の流れを示すフローチャートであり、時
系列的に得られる物体のフレーム画像から該物体の動き
を認識するための処理の流れを示している。
【００１４】まず、物体のステレオ画像を入力し（Ｓ
１）、このステレオ画像から該物体のエッジを抽出して
（Ｓ２）、その局所的特徴によりセグメントに分割する
（Ｓ３）。そして、このセグメント上で追跡点（サンプ
ル点）を選択し（Ｓ４）、その選択した追跡点のフレー
ム間対応を求め（Ｓ５）、その対応点の移動前と移動後
の３次元座標を計測して（Ｓ６）、該物体の位置姿勢を
検出する（Ｓ７）ものである。
１）、このステレオ画像から該物体のエッジを抽出して
（Ｓ２）、その局所的特徴によりセグメントに分割する
（Ｓ３）。そして、このセグメント上で追跡点（サンプ
ル点）を選択し（Ｓ４）、その選択した追跡点のフレー
ム間対応を求め（Ｓ５）、その対応点の移動前と移動後
の３次元座標を計測して（Ｓ６）、該物体の位置姿勢を
検出する（Ｓ７）ものである。
【００１５】次に、図３〜図１６を用いて上記処理の流
れを詳細に説明する。
れを詳細に説明する。
【００１６】システムにより入力した図３に示す物体の
ステレオ画像（６４０×４８０pixels，２５６gray-lev
els ）から、まず物体の境界線（エッジ）を抽出し、特
徴点（分岐，変曲，屈曲，遷移）により分割して、セグ
メント化する。その結果を境界表現（Ｂ−ＲＥＰ）デー
タ構造で保持する。これは、“領域”，“境界線”，
“セグメント”，“点”を要素として関係付けるグラフ
構造で、トポロジー的に表現する。
ステレオ画像（６４０×４８０pixels，２５６gray-lev
els ）から、まず物体の境界線（エッジ）を抽出し、特
徴点（分岐，変曲，屈曲，遷移）により分割して、セグ
メント化する。その結果を境界表現（Ｂ−ＲＥＰ）デー
タ構造で保持する。これは、“領域”，“境界線”，
“セグメント”，“点”を要素として関係付けるグラフ
構造で、トポロジー的に表現する。
【００１７】図４はＢ−ＲＥＰの点列を表示したもので
ある。また、図５は左右画像のＢ−ＲＥＰからセグメン
トをステレオの対応単位として得られた３次元情報を示
す図である。
ある。また、図５は左右画像のＢ−ＲＥＰからセグメン
トをステレオの対応単位として得られた３次元情報を示
す図である。
【００１８】次に、物体追跡を行うためには、物体モデ
ルから追跡対象物体を特定し、その物体の初期フレーム
における位置姿勢を知る必要がある。この物体モデル
は、各セグメント上に等間隔にサンプル点を持つ。そし
て、各サンプル点には物体の幾何特徴に関する情報が蓄
えられている。この幾何特徴に関する情報から３次元の
物体位置合わせを行い、物体の位置姿勢を検出する。
ルから追跡対象物体を特定し、その物体の初期フレーム
における位置姿勢を知る必要がある。この物体モデル
は、各セグメント上に等間隔にサンプル点を持つ。そし
て、各サンプル点には物体の幾何特徴に関する情報が蓄
えられている。この幾何特徴に関する情報から３次元の
物体位置合わせを行い、物体の位置姿勢を検出する。
【００１９】図６は生成した積み木の物体モデルを示す
図である。また、図７はシーンにおいて積み木の物体モ
デルを位置合わせした物体認識の結果を示す図である。
図である。また、図７はシーンにおいて積み木の物体モ
デルを位置合わせした物体認識の結果を示す図である。
【００２０】上記物体追跡は、エッジ上の追跡点に注目
し、その局所的特徴から追跡点のフレーム間対応を求
め、対応点の移動前の３次元座標Ｐ（ｔ）と、移動後の
３次元座標Ｐ（ｔ＋１）から運動パラメータを次式より
算出し、運動物体の位置姿勢を随時検出するものであ
る。
し、その局所的特徴から追跡点のフレーム間対応を求
め、対応点の移動前の３次元座標Ｐ（ｔ）と、移動後の
３次元座標Ｐ（ｔ＋１）から運動パラメータを次式より
算出し、運動物体の位置姿勢を随時検出するものであ
る。
【００２１】Ｐ（ｔ＋１）＝ＲＰ（ｔ）＋Ｔ 但し、Ｒは回転成分を示す３×３行列、Ｔは並進成分を
示す３×１行列である。
示す３×１行列である。
【００２２】次に、各処理別に順を追って説明する。
【００２３】（１）初期設定 初期フレーム（frame(0)）において、上述の物体認識結
果から得られた追跡物体の位置姿勢に関する次の情報を
初期値として蓄える。
果から得られた追跡物体の位置姿勢に関する次の情報を
初期値として蓄える。
【００２４】Ａ 頂点情報 頂点の３次元座標と法線方向、及びその頂点を形成する
２セグメントのセグメント番号を頂点情報とする。
２セグメントのセグメント番号を頂点情報とする。
【００２５】Ｂ サンプル点情報 図８に示すように、物体認識で使われた各セグメント上
のサンプル点を間引きしながら等間隔に選び、これを代
表点とする。この代表点は、３次元座標と左右のカメラ
投影面における２次元座標とその点における接線方向を
それぞれ持つ。
のサンプル点を間引きしながら等間隔に選び、これを代
表点とする。この代表点は、３次元座標と左右のカメラ
投影面における２次元座標とその点における接線方向を
それぞれ持つ。
【００２６】（２）追跡点の選択 各頂点の３次元座標とその法線方向から得られる頂点ベ
クトルＶｎと、カメラパラメータから得られる左右カメ
ラそれぞれの視線ベクトルＣL ，ＣR から、各々の内積
を次式より計算し、左右カメラから観測可能な頂点を選
ぶ。
クトルＶｎと、カメラパラメータから得られる左右カメ
ラそれぞれの視線ベクトルＣL ，ＣR から、各々の内積
を次式より計算し、左右カメラから観測可能な頂点を選
ぶ。
【００２７】
【数１】
【００２８】図９に示す頂点ベクトルＶは、上記内積計
算により観測可能な頂点として判定された頂点である。
ここで、その頂点を形成するセグメント番号を調べる。
頂点Ｖの場合は、セグメントＳ１，Ｓ２となる。この処
理を物体モデルの全ての頂点に対して行い、観測可能な
セグメントをリストアップする。そして、この選択され
たリストの中で、セグメントの表と裏の両方がある場合
は、表裏一体化によりどちらかの一方のみを選び、他方
はリストから削除する。
算により観測可能な頂点として判定された頂点である。
ここで、その頂点を形成するセグメント番号を調べる。
頂点Ｖの場合は、セグメントＳ１，Ｓ２となる。この処
理を物体モデルの全ての頂点に対して行い、観測可能な
セグメントをリストアップする。そして、この選択され
たリストの中で、セグメントの表と裏の両方がある場合
は、表裏一体化によりどちらかの一方のみを選び、他方
はリストから削除する。
【００２９】図１０は選択されたセグメント上の代表点
を示している。以降、この代表点を追跡点として処理を
行う。またこの時、各追跡点は形成されている面の輝度
情報を入力する。
を示している。以降、この代表点を追跡点として処理を
行う。またこの時、各追跡点は形成されている面の輝度
情報を入力する。
【００３０】（３）追跡点のフレーム間対応 左画像上の各追跡点において、frame(t)の追跡点Ｐｎ
L(ｔ）からframe(t+1)の追跡点ＰｎL(t+1)を検出するこ
とにより、各追跡点のフレーム間対応をとる。なお、こ
こでは、frame(t)の追跡点をＭ（モデル）、frame(t+1)
の追跡点をＤ（データ）と置き換えて説明する。
L(ｔ）からframe(t+1)の追跡点ＰｎL(t+1)を検出するこ
とにより、各追跡点のフレーム間対応をとる。なお、こ
こでは、frame(t)の追跡点をＭ（モデル）、frame(t+1)
の追跡点をＤ（データ）と置き換えて説明する。
【００３１】（３−１）仮の追跡点の検出 図１１の（ａ）に示すように、frame(t+1)に対して、fr
ame(t)の追跡点ＭL の位置からエッジの垂直方向に追跡
探索範囲の画素輝度値を入力する。続いて、この画素輝
度値から輝度差分を求め、各点の微分値を計算し、微分
値のピークとなっている部分を検出する。そして、各ピ
ーク点において、エッジの方向を検出する。これは近傍
の５×５画素の輝度画素値から、１６方向に分割した方
向コードで表す。そして、各ピーク点において、frame
(t)の追跡点での接線方向（傾き）と面の輝度値（明る
さ）の相関からフレーム間の類似性を評価し、評価値の
良いピーク点を仮の追跡点Ｄ′L とする。
ame(t)の追跡点ＭL の位置からエッジの垂直方向に追跡
探索範囲の画素輝度値を入力する。続いて、この画素輝
度値から輝度差分を求め、各点の微分値を計算し、微分
値のピークとなっている部分を検出する。そして、各ピ
ーク点において、エッジの方向を検出する。これは近傍
の５×５画素の輝度画素値から、１６方向に分割した方
向コードで表す。そして、各ピーク点において、frame
(t)の追跡点での接線方向（傾き）と面の輝度値（明る
さ）の相関からフレーム間の類似性を評価し、評価値の
良いピーク点を仮の追跡点Ｄ′L とする。
【００３２】（３−２）仮の追跡点の３次元計測 仮の追跡点の３次元計測は、ステレオ視による計測と、
単眼視による計測の２通りの方法がある。
単眼視による計測の２通りの方法がある。
【００３３】（ａ）ステレオ視 図１２に示すように、ステレオ対応は、まず左画像の仮
の追跡点Ｄ′L に対応する、右画像でのエピポーラ線を
カメラパラメータから求める。そして、エピポーラ線上
で、frame(t)での右画像の追跡点ＭR に一番近い点から
エピポーラ線に沿って、上述の処理（３−１）で左画像
に対して行ったと同様の処理でフレーム間対応をとり、
右画像での仮の対応点Ｄ´R を探す。この点と左画像で
の仮の対応点Ｄ′L がステレオ対応の対応点となり、３
次元座標が求まる。
の追跡点Ｄ′L に対応する、右画像でのエピポーラ線を
カメラパラメータから求める。そして、エピポーラ線上
で、frame(t)での右画像の追跡点ＭR に一番近い点から
エピポーラ線に沿って、上述の処理（３−１）で左画像
に対して行ったと同様の処理でフレーム間対応をとり、
右画像での仮の対応点Ｄ´R を探す。この点と左画像で
の仮の対応点Ｄ′L がステレオ対応の対応点となり、３
次元座標が求まる。
【００３４】（ｂ）単眼視 図１３に示すように、単眼では左カメラのレンズ中心
（ｘCL，ｙCL，ｚCL）と、カメラ投影面上の仮の追跡点
Ｄ′L を結ぶ直線の式をカメラパラメータから計算し、
frame(t)での追跡点の３次元座標（ｘM ，ｙM ，ｚM ）
から、上述の直線への垂線の足をframe(t+1)における追
跡点の３次元座標として近似する。
（ｘCL，ｙCL，ｚCL）と、カメラ投影面上の仮の追跡点
Ｄ′L を結ぶ直線の式をカメラパラメータから計算し、
frame(t)での追跡点の３次元座標（ｘM ，ｙM ，ｚM ）
から、上述の直線への垂線の足をframe(t+1)における追
跡点の３次元座標として近似する。
【００３５】
【数２】
【００３６】（３−３）運動パラメータの算出 frame(t+1)での仮の追跡点の３次元座標Ｄ′ｎと、それ
に対応するframe(t)の追跡点の３次元座標Ｍ′ｎから、
次式を最小にする運動パラメータ（Ｒ：回転成分，Ｔ：
並進成分）を最小自乗法により求める。なお、Ｗｎは追
跡点の３次元計測誤差に対する重み付けで、追跡点での
エッジ方向から重み付けを決め、エピポーラ線に垂直な
方向ほど高くし、平行になるにつれて低くする。
に対応するframe(t)の追跡点の３次元座標Ｍ′ｎから、
次式を最小にする運動パラメータ（Ｒ：回転成分，Ｔ：
並進成分）を最小自乗法により求める。なお、Ｗｎは追
跡点の３次元計測誤差に対する重み付けで、追跡点での
エッジ方向から重み付けを決め、エピポーラ線に垂直な
方向ほど高くし、平行になるにつれて低くする。
【００３７】
【数３】
【００３８】（３−４）仮の追跡点の更新 frame(t)の追跡点に対し、求まった運動パラメータから
frame(t+1)における追跡点の３次元座標を計算する。そ
して、３次元計測により得られた３次元座標と比べて、
３次元距離誤差が極端に大きい追跡点は誤対応の可能性
があるため、その点を省いて再び運動パラメータを計算
し直す。この運動パラメータにより物体モデルの位置姿
勢を変換し、次にその点のカメラ投影点をカメラパラメ
ータから計算する。これを新たな仮の追跡点として更新
する（図１１の（ｂ）参照）。そして、この処理（３）
を３回繰り返す。これで、運動パラメータによる座標変
換が求まり、図１１の（ｃ）に示すように、追跡点Ｐ１
L ，Ｐ２L のフレーム間対応がとれる。
frame(t+1)における追跡点の３次元座標を計算する。そ
して、３次元計測により得られた３次元座標と比べて、
３次元距離誤差が極端に大きい追跡点は誤対応の可能性
があるため、その点を省いて再び運動パラメータを計算
し直す。この運動パラメータにより物体モデルの位置姿
勢を変換し、次にその点のカメラ投影点をカメラパラメ
ータから計算する。これを新たな仮の追跡点として更新
する（図１１の（ｂ）参照）。そして、この処理（３）
を３回繰り返す。これで、運動パラメータによる座標変
換が求まり、図１１の（ｃ）に示すように、追跡点Ｐ１
L ，Ｐ２L のフレーム間対応がとれる。
【００３９】（４）追跡点情報の更新 物体の運動により位置姿勢が変化するので、物体モデル
が持つ頂点ベクトル情報を運動パラメータから更新す
る。更に、処理（２）と同様にして、移動後（frame(t+
1)）の観測可能な頂点を選び直し、追跡点を更新する。
また、この時面の輝度情報も更新させる。
が持つ頂点ベクトル情報を運動パラメータから更新す
る。更に、処理（２）と同様にして、移動後（frame(t+
1)）の観測可能な頂点を選び直し、追跡点を更新する。
また、この時面の輝度情報も更新させる。
【００４０】この一連の処理（２）〜（４）を繰り返す
ことにより、運動物体の位置姿勢を随時検出し、物体を
追跡することができる。
ことにより、運動物体の位置姿勢を随時検出し、物体を
追跡することができる。
【００４１】図３のシーンから得られる追跡対象物体の
認識結果（図７参照）から物体追跡を行った時の左画像
上のあるフレーム間での追跡点の様子を図１４に示す。
また、図１５は５フレーム毎の物体の追跡の様子を示す
図であり、積み木の追跡結果より得られる運動パラメー
タから物体モデルを座標変換した結果をシーンの左画像
と重ねて示したものである。なお、図中の実線部分はカ
メラから観測可能なセグメントを表し、点線部分は観測
不可能なセグメントを表している。さらに、図１６は局
線図形に対して追跡した結果を示す図である。
認識結果（図７参照）から物体追跡を行った時の左画像
上のあるフレーム間での追跡点の様子を図１４に示す。
また、図１５は５フレーム毎の物体の追跡の様子を示す
図であり、積み木の追跡結果より得られる運動パラメー
タから物体モデルを座標変換した結果をシーンの左画像
と重ねて示したものである。なお、図中の実線部分はカ
メラから観測可能なセグメントを表し、点線部分は観測
不可能なセグメントを表している。さらに、図１６は局
線図形に対して追跡した結果を示す図である。
【００４２】このように、エッジ上の追跡点に注目し、
その局所的特徴からフレーム間対応をとり、ステレオ対
応等で追跡点の３次元情報を計測し、フレーム間の３次
元運動を求めることができる。そして、このフレーム間
対応とステレオ対応のそれぞれの対応付けには類似した
方法が使えるので、システム構成が簡単になるととも
に、ハードウエア向きの規則的処理なので高速処理が可
能となる。
その局所的特徴からフレーム間対応をとり、ステレオ対
応等で追跡点の３次元情報を計測し、フレーム間の３次
元運動を求めることができる。そして、このフレーム間
対応とステレオ対応のそれぞれの対応付けには類似した
方法が使えるので、システム構成が簡単になるととも
に、ハードウエア向きの規則的処理なので高速処理が可
能となる。
【００４３】また、計算コストも少なく、大量の画像デ
ータを保持しておく必要がなく、更に同一処理で直線の
みならず曲線部分を含む物体の動きも検出することがで
きる。
ータを保持しておく必要がなく、更に同一処理で直線の
みならず曲線部分を含む物体の動きも検出することがで
きる。
【００４４】
【発明の効果】以上のように、本発明によれば、システ
ム構成が簡単になり、高速処理が可能になるとともに、
大量の画像データを保持しておく必要がなくなり、同一
処理で直線のみでなく曲線部分を含む物体の動きも検出
できるという効果がある。
ム構成が簡単になり、高速処理が可能になるとともに、
大量の画像データを保持しておく必要がなくなり、同一
処理で直線のみでなく曲線部分を含む物体の動きも検出
できるという効果がある。
【図１】 本発明を実現するためのシステム構成を示す
ブロック図
ブロック図
【図２】 本発明の基本的な処理の流れを示すフローチ
ャート
ャート
【図３】 ステレオ画像を示す図
【図４】 ステレオ画像の境界表現を示す図
【図５】 物体の３次元情報を示す図
【図６】 物体モデルを示す図
【図７】 位置合せした物体モデルを示す図
【図８】 セグメント上の代表点を示す図
【図９】 観測可能な頂点を示す説明図
【図１０】 選択されたセグメント上の追跡点を示す図
【図１１】 フレーム間対応を示す説明図
【図１２】 ステレオ対応を示す説明図
【図１３】 単眼視による距離の近似方法を示す説明図
【図１４】 追跡点の様子を示す図
【図１５】 積み木の追跡結果を示す図
【図１６】 曲線図形の追跡結果を示す図
１ コンピュータ ３ａ テレビカメラ ３ｂ テレビカメラ ５ 画像メモリ ６ ディスプレイ装置 ７ プリンタ ８ フロッピーディスク ９ キーボードターミナル
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成７年１２月１３日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】図３
【補正方法】変更
【補正内容】
【図３】 ステレオ画像をディスプレー上に表示した中
間調画像を表す写真
間調画像を表す写真
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】図７
【補正方法】変更
【補正内容】
【図７】 位置合せした物体モデルをディスプレー上に
表示した中間調画像を表す写真
表示した中間調画像を表す写真
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】図１４
【補正方法】変更
【補正内容】
【図１４】 追跡点の様子をディスプレー上に表示した
中間調画像を表す写真
中間調画像を表す写真
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】図１５
【補正方法】変更
【補正内容】
【図１５】 積み木の追跡結果をディスプレー上に表示
した中間調画像を表す写真
した中間調画像を表す写真
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】図１６
【補正方法】変更
【補正内容】
【図１６】 曲線図形の追跡結果をディスプレー上に表
示した中間調画像を表す写真
示した中間調画像を表す写真
フロントページの続き (72)発明者 富田 文明 茨城県つくば市梅園１丁目１番４ 工業技 術院電子技術総合研究所内 (72)発明者 石山 豊 神奈川県横浜市青葉区荏田西１−３−１ スタンレー電気株式会社技術研究所内
Claims (4)
- 【請求項１】 時系列的に得られる物体のフレーム画像
から該物体の動きを認識するための画像処理方法であっ
て、物体のステレオ画像を入力し、このステレオ画像か
ら該物体のエッジを抽出して、その局所的特徴によりセ
グメントに分割し、このセグメント上で追跡点を選択
し、その選択した追跡点のフレーム間の対応を求め、そ
の対応点の移動前と移動後の３次元座標から該物体の位
置姿勢を検出することを特徴とする画像処理方法。 - 【請求項２】 フレーム間の対応は、追跡点の接点方向
と面の輝度値の相関からフレーム間の類似性を評価する
ことにより行うことを特徴とする請求項１記載の画像処
理方法。 - 【請求項３】 対応点の３次元座標は、ステレオ対応を
用いたステレオ視により計測することを特徴とする請求
項１または２記載の画像処理方法。 - 【請求項４】 対応点の３次元座標は、単眼視により計
測することを特徴とする請求項１または２記載の画像処
理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7182795A JP3054681B2 (ja) | 1995-07-19 | 1995-07-19 | 画像処理方法 |
| US08/683,708 US5845006A (en) | 1995-07-19 | 1996-07-18 | Method of processing image formation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7182795A JP3054681B2 (ja) | 1995-07-19 | 1995-07-19 | 画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0935061A true JPH0935061A (ja) | 1997-02-07 |
| JP3054681B2 JP3054681B2 (ja) | 2000-06-19 |
Family
ID=16124557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7182795A Expired - Lifetime JP3054681B2 (ja) | 1995-07-19 | 1995-07-19 | 画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5845006A (ja) |
| JP (1) | JP3054681B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001092962A (ja) * | 1999-09-24 | 2001-04-06 | Mitsubishi Electric Corp | ３次元運動復元装置、３次元運動復元方法および記録媒体 |
| JP2005332177A (ja) * | 2004-05-19 | 2005-12-02 | Etsuji Kitagawa | ３次元情報処理装置、３次元情報処理方法、及び３次元情報処理プログラム |
| JP2006119927A (ja) * | 2004-10-21 | 2006-05-11 | Toshiba Corp | パターンマッチング方法およびプログラム |
| JP2010127819A (ja) * | 2008-11-28 | 2010-06-10 | Fuji Electric Holdings Co Ltd | 多面体位置検出装置及び検出方法 |
| JP2011134012A (ja) * | 2009-12-22 | 2011-07-07 | Canon Inc | 画像処理装置、その画像処理方法及びプログラム |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3064928B2 (ja) * | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
| JP3512992B2 (ja) * | 1997-01-07 | 2004-03-31 | 株式会社東芝 | 画像処理装置および画像処理方法 |
| JP2000517452A (ja) * | 1997-05-05 | 2000-12-26 | シェル オイル カンパニー | 視認の方法 |
| US20020036617A1 (en) | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
| US6750848B1 (en) * | 1998-11-09 | 2004-06-15 | Timothy R. Pryor | More useful man machine interfaces and applications |
| JP2000003445A (ja) * | 1998-06-15 | 2000-01-07 | Toshiba Corp | 情報抽出方法および情報抽出装置および記録媒体 |
| JP3688489B2 (ja) * | 1998-12-25 | 2005-08-31 | 株式会社東芝 | 画像認識方法および画像認識装置 |
| DE10080012B4 (de) * | 1999-03-19 | 2005-04-14 | Matsushita Electric Works, Ltd., Kadoma | Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens |
| US7015950B1 (en) | 1999-05-11 | 2006-03-21 | Pryor Timothy R | Picture taking method and apparatus |
| US6766036B1 (en) * | 1999-07-08 | 2004-07-20 | Timothy R. Pryor | Camera based man machine interfaces |
| JP3518465B2 (ja) * | 2000-02-18 | 2004-04-12 | 日本電気株式会社 | 被写体抽出装置、被写体抽出方法、及び被写体抽出プログラムを記録した記録媒体 |
| JP2002024807A (ja) * | 2000-07-07 | 2002-01-25 | National Institute Of Advanced Industrial & Technology | 物体運動追跡手法及び記録媒体 |
| KR100415074B1 (ko) * | 2001-10-09 | 2004-01-14 | 채영도 | 물체의 닮음을 인식하는 방법 및 그 장치 |
| US7050625B2 (en) * | 2002-10-21 | 2006-05-23 | Hewlett-Packard Development Company, L.P. | Method and digital camera for indicating when image data has been captured for a three-dimensional target object |
| JP4231320B2 (ja) * | 2003-03-31 | 2009-02-25 | 本田技研工業株式会社 | 移動体の検出装置 |
| US8238612B2 (en) * | 2008-05-06 | 2012-08-07 | Honeywell International Inc. | Method and apparatus for vision based motion determination |
| JP5713159B2 (ja) * | 2010-03-24 | 2015-05-07 | 独立行政法人産業技術総合研究所 | ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム |
| TWI469088B (zh) | 2010-12-31 | 2015-01-11 | Ind Tech Res Inst | 前景深度地圖產生模組及其方法 |
| US8897543B1 (en) * | 2012-05-18 | 2014-11-25 | Google Inc. | Bundle adjustment based on image capture intervals |
| US8965107B1 (en) | 2012-05-18 | 2015-02-24 | Google Inc. | Feature reduction based on local densities for bundle adjustment of images |
| WO2014090303A1 (en) * | 2012-12-12 | 2014-06-19 | Huawei Technologies Co., Ltd. | Method and apparatus for segmentation of 3d image data |
| US9373171B2 (en) | 2013-07-22 | 2016-06-21 | Stmicroelectronics S.R.L. | Method for generating a depth map, related system and computer program product |
| ITTO20130619A1 (it) * | 2013-07-22 | 2015-01-22 | St Microelectronics Srl | Procedimento per generare una mappa di profondita', relativo sistema e prodotto informatico |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4232968A (en) * | 1978-12-26 | 1980-11-11 | Kempf Paul S | Optical comparator with 3-D image |
| JPH0766445B2 (ja) * | 1988-09-09 | 1995-07-19 | 工業技術院長 | 画像処理方法 |
| JP2873338B2 (ja) * | 1991-09-17 | 1999-03-24 | 富士通株式会社 | 動物体認識装置 |
-
1995
- 1995-07-19 JP JP7182795A patent/JP3054681B2/ja not_active Expired - Lifetime
-
1996
- 1996-07-18 US US08/683,708 patent/US5845006A/en not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001092962A (ja) * | 1999-09-24 | 2001-04-06 | Mitsubishi Electric Corp | ３次元運動復元装置、３次元運動復元方法および記録媒体 |
| JP2005332177A (ja) * | 2004-05-19 | 2005-12-02 | Etsuji Kitagawa | ３次元情報処理装置、３次元情報処理方法、及び３次元情報処理プログラム |
| JP2006119927A (ja) * | 2004-10-21 | 2006-05-11 | Toshiba Corp | パターンマッチング方法およびプログラム |
| JP2010127819A (ja) * | 2008-11-28 | 2010-06-10 | Fuji Electric Holdings Co Ltd | 多面体位置検出装置及び検出方法 |
| JP2011134012A (ja) * | 2009-12-22 | 2011-07-07 | Canon Inc | 画像処理装置、その画像処理方法及びプログラム |
| US8699786B2 (en) | 2009-12-22 | 2014-04-15 | Canon Kabushiki Kaisha | 3D model generating apparatus, method and CRM by line pattern imaging |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3054681B2 (ja) | 2000-06-19 |
| US5845006A (en) | 1998-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3054681B2 (ja) | 画像処理方法 | |
| CN109242873B (zh) | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 | |
| US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
| McIntosh et al. | Matching straight lines | |
| US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
| CN108776989B (zh) | 基于稀疏slam框架的低纹理平面场景重建方法 | |
| CN109472820B (zh) | 单目rgb-d相机实时人脸重建方法及装置 | |
| EP3503030A1 (en) | Method and apparatus for generating a three-dimensional model | |
| JP2002024807A (ja) | 物体運動追跡手法及び記録媒体 | |
| CN105005964A (zh) | 基于视频序列影像的地理场景全景图快速生成方法 | |
| KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
| JP3668769B2 (ja) | 対象物体の位置・姿勢算出方法及び観測カメラの位置・姿勢算出方法 | |
| CN113642397A (zh) | 一种基于手机视频的物体长度测量方法 | |
| CN110717910B (zh) | 基于卷积神经网络的ct图像目标检测方法及ct扫描仪 | |
| JP2002032744A (ja) | ３次元モデリング及び３次元画像作成のための装置及び方法 | |
| JPH07128017A (ja) | 距離測定装置 | |
| CN114549634A (zh) | 一种基于全景图像的相机位姿估计方法及系统 | |
| JPH0875454A (ja) | 測距装置 | |
| CN110717471B (zh) | 基于支持向量机模型b超图像目标检测方法及b超扫描仪 | |
| JP2003050110A (ja) | ３次元形状データ生成システム、３次元形状データ生成方法、プログラム、および記録媒体 | |
| JP2002094849A (ja) | 広視野画像撮像装置 | |
| JP3275252B2 (ja) | ３次元情報入力方法及びそれを使った３次元情報入力装置 | |
| JP3055721B2 (ja) | 左，右カメラの撮像画像の対応点検索方法 | |
| Fan et al. | Research on binocular camera ranging system based on FPGA | |
| JP2002170111A (ja) | 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000208 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |