JP3002896B2 - 三次元物体の認識方法 - Google Patents
三次元物体の認識方法Info
- Publication number
- JP3002896B2 JP3002896B2 JP2262191A JP26219190A JP3002896B2 JP 3002896 B2 JP3002896 B2 JP 3002896B2 JP 2262191 A JP2262191 A JP 2262191A JP 26219190 A JP26219190 A JP 26219190A JP 3002896 B2 JP3002896 B2 JP 3002896B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- line segments
- filter
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は、三次元物体の認識方法に係り、特にロボッ
トの駆動のための物体認識に関する。
トの駆動のための物体認識に関する。
（従来の技術） 膨大な情報量を含む画像情報から必要な情報を選択的
に抽出し、これらを有機的に結び付け対象物体を認識す
ることが最優先の課題であるとされている。
に抽出し、これらを有機的に結び付け対象物体を認識す
ることが最優先の課題であるとされている。
一様照明の室内環境中に配置された物体をカメラを用
いて認識する場合、物体のエッジなどの特徴は照明等の
影響により抽出できなかったり、とぎれたりすることが
しばしばである。また、カメラの視野内には対象物体以
外の物体が数多く存在したり、対象物体の一部が他の物
体に隠されたりする。そのため、物体認識に際しては、
多くの情報の中から、有意な情報を抽出する必要があ
る。
いて認識する場合、物体のエッジなどの特徴は照明等の
影響により抽出できなかったり、とぎれたりすることが
しばしばである。また、カメラの視野内には対象物体以
外の物体が数多く存在したり、対象物体の一部が他の物
体に隠されたりする。そのため、物体認識に際しては、
多くの情報の中から、有意な情報を抽出する必要があ
る。
しかしながら、従来の物体認識においては、認識する
対象物体のモデルと、計測データとを、角、平面、線分
の長さ等の特徴によって照合するという方法がとられて
いる。
対象物体のモデルと、計測データとを、角、平面、線分
の長さ等の特徴によって照合するという方法がとられて
いる。
しかしながら、この角、平面、線分の長さ等の特徴は
一般的には検出されにくく、また検出されたとしても誤
差の影響が大きいため正確な認識をおこなう事ができな
いという問題があった。
一般的には検出されにくく、また検出されたとしても誤
差の影響が大きいため正確な認識をおこなう事ができな
いという問題があった。
（発明が解決しようとする課題） このように、従来の物体認識方法では、一般的に検出
されにくく、検出されたとしても誤差の影響が大きいた
め正確な認識をおこなう事ができない角、平面、線分の
長さ等の特徴を用いているため、正確な認識を行うこと
ができず、また、不要な情報もたくさん含まれているた
め、照合に多大な時間を要するという問題があった。
されにくく、検出されたとしても誤差の影響が大きいた
め正確な認識をおこなう事ができない角、平面、線分の
長さ等の特徴を用いているため、正確な認識を行うこと
ができず、また、不要な情報もたくさん含まれているた
め、照合に多大な時間を要するという問題があった。
本発明は前記実情に鑑みてなされたもので、短時間
で、容易に物体の認識を行うことのできる方法を提供す
ることを目的とする。
で、容易に物体の認識を行うことのできる方法を提供す
ることを目的とする。
（課題を解決するための手段） そこで本発明では、線分の３次元座標を第１特徴と
し、この第１特徴の線分を直線とみなして、直線間の最
短距離と直線の方向ベクトル間の角度で表された直線間
の相対的関係を第２特徴とするものである。
し、この第１特徴の線分を直線とみなして、直線間の最
短距離と直線の方向ベクトル間の角度で表された直線間
の相対的関係を第２特徴とするものである。
そして、距離画像から３本の線分を選び，この３本に
ついて第２特徴を算出し、対象物体のデータベースと照
合し、これら第２特徴と一致するものがあるか否かを判
断し、一致した場合はこれらの位置および姿勢を記憶
し、一致しない場合は他の３本の線分を選び，この３本
について第２特徴を算出し、対象物体のデータベースと
照合し、これら第２特徴と一致するものがあるか否かを
判断するという工程を繰り返し、局所的に一致した組み
合わせの位置及び姿勢の集積点を求め、集積点近傍の対
応付けを調べるようにしている。
ついて第２特徴を算出し、対象物体のデータベースと照
合し、これら第２特徴と一致するものがあるか否かを判
断し、一致した場合はこれらの位置および姿勢を記憶
し、一致しない場合は他の３本の線分を選び，この３本
について第２特徴を算出し、対象物体のデータベースと
照合し、これら第２特徴と一致するものがあるか否かを
判断するという工程を繰り返し、局所的に一致した組み
合わせの位置及び姿勢の集積点を求め、集積点近傍の対
応付けを調べるようにしている。
すなわち、まず、距離画像中から３本の線分を選び、
これら３本の線分のすべての組み合わせ（３通り）の第
２特徴を算出する。
これら３本の線分のすべての組み合わせ（３通り）の第
２特徴を算出する。
この後、対象物体のデータベースを用いて、これら３
通りの第２特徴との照合を行う。
通りの第２特徴との照合を行う。
そして、この照合が成功すれば位置姿勢を計算し記憶
する。
する。
一方、この照合が不一致であれば再び他の３本の線分
を選び、同じ工程を繰り返す。
を選び、同じ工程を繰り返す。
そしてすべての線分の選択を終了すると、局所的に一
致した組み合わせの位置及び姿勢の集積点を求め、集積
点近傍の対応付けを調べる。
致した組み合わせの位置及び姿勢の集積点を求め、集積
点近傍の対応付けを調べる。
また、データベースの作成および距離画像の第１特徴
の算出には、離間した２点で測定した２次元画像情報に
対し、高域（高周波数領域）から低域（低周波数領域）
までの複数段のバンドパスフィルタをかけ、各フィルタ
ー出力毎に対応度を計算し、さらに各フィルタ出力の対
応度を、高域ほど重みを付けて加算するようにした重み
付け加算を行うことにより対応度を計算し、２つの対応
点のずれ量を算出し、このずれ量と測定点間の距離と、
該２次元情報とから、３角測量法によって３次元情報を
検出することができる。
の算出には、離間した２点で測定した２次元画像情報に
対し、高域（高周波数領域）から低域（低周波数領域）
までの複数段のバンドパスフィルタをかけ、各フィルタ
ー出力毎に対応度を計算し、さらに各フィルタ出力の対
応度を、高域ほど重みを付けて加算するようにした重み
付け加算を行うことにより対応度を計算し、２つの対応
点のずれ量を算出し、このずれ量と測定点間の距離と、
該２次元情報とから、３角測量法によって３次元情報を
検出することができる。
（作用） 上記方法によれば、入力データとデータベースの局所
的（３本の線分）照合を行ったのち、この局所的仮説の
統合により位置姿勢の集積として大局的な照合を行うよ
うにしているため、少ない照合回数でよいため、迅速な
処理が可能である。
的（３本の線分）照合を行ったのち、この局所的仮説の
統合により位置姿勢の集積として大局的な照合を行うよ
うにしているため、少ない照合回数でよいため、迅速な
処理が可能である。
また、線分を直線としてとらえているため、局所的な
仮説の生成に局所的なデータの不完全さは影響せず、従
ってまた大局的な照合にも余り影響を受けない。
仮説の生成に局所的なデータの不完全さは影響せず、従
ってまた大局的な照合にも余り影響を受けない。
さらに正しい局所仮説により算出された位置姿勢は、
一点に集積し、誤った局所仮説による位置姿勢は分散す
るため、対象物体とノイズは分離することができる。
一点に集積し、誤った局所仮説による位置姿勢は分散す
るため、対象物体とノイズは分離することができる。
なお、ここで対象物体はステレオ視により作成された
既知の多面体である必要がある。
既知の多面体である必要がある。
また、対象物体が存在する環境は一応照明の室内であ
る必要がある。
る必要がある。
さらにまたここで選択する３本の線分のうちの少なく
とも１組は距離が０でないものを選択する必要がある。
とも１組は距離が０でないものを選択する必要がある。
また、このデータベースの作成および物体の認識に用
いられる対応点の探索方法は、高域のバンドパスフィル
ターを通した出力は、局所的で正確であり、一方低域の
バンドパスフィルターを通した出力は、大局的で曖昧で
ある点に着目してなされたものであり、高域から低域に
かけて複数段のバンドパスフィルタを通し、これらに対
し、高域のバンドパスフィルターを通した出力ほど大き
い重みを付けて加算するようにしているため、より正確
で大局的な対応付けを行うことができる。
いられる対応点の探索方法は、高域のバンドパスフィル
ターを通した出力は、局所的で正確であり、一方低域の
バンドパスフィルターを通した出力は、大局的で曖昧で
ある点に着目してなされたものであり、高域から低域に
かけて複数段のバンドパスフィルタを通し、これらに対
し、高域のバンドパスフィルターを通した出力ほど大き
い重みを付けて加算するようにしているため、より正確
で大局的な対応付けを行うことができる。
このようにして２次元情報出力から２つの対応点のい
ずれ量を算出し、このずれ量と測定点間の距離と、該２
次元情報とから、３角測定法によって３次元情報を検出
することができる。
ずれ量を算出し、このずれ量と測定点間の距離と、該２
次元情報とから、３角測定法によって３次元情報を検出
することができる。
（実施例） 以下、本発明の実施例について図面を参照しつつ詳細
に説明する。
に説明する。
第１図は本発明実施例の三次元物体の認識方法を示す
説明図である。
説明図である。
この方法では第１図（ａ）に概要説明図、第１図
（ｂ）にフローチャートを示すように、ステレオ視によ
り計測された線分の３次元情報と、局所的な線分間の相
対的関係情報として記述された対象物体の３次元形状デ
ータベースを形成しておき、これらを用いて局所仮説の
生成と統合を行い、照合を行うことによって、距離画像
から対象物体の位置および姿勢を算出するものである。
（ｂ）にフローチャートを示すように、ステレオ視によ
り計測された線分の３次元情報と、局所的な線分間の相
対的関係情報として記述された対象物体の３次元形状デ
ータベースを形成しておき、これらを用いて局所仮説の
生成と統合を行い、照合を行うことによって、距離画像
から対象物体の位置および姿勢を算出するものである。
まず、左右２台のCCDカメラを用いて物体を撮像し、
後述する処理により物体の各点の距離を算出し距離画像
（物体の各点の３次元情報）が得られたものとする。そ
してこの距離画像中から３本の線分を選ぶ（ステップ10
1）。このとき、選択する３本の線分のうちの少なくと
も１組は距離が０でないものを選択する必要がある。ま
た、距離画像全体から線分を選ぶようにすると組み合わ
せが非常に多くなるので距離画像全体をＭ×NNに分割
し、分割された各エリア内において３本の線分を選ぶよ
うにすると良い。
後述する処理により物体の各点の距離を算出し距離画像
（物体の各点の３次元情報）が得られたものとする。そ
してこの距離画像中から３本の線分を選ぶ（ステップ10
1）。このとき、選択する３本の線分のうちの少なくと
も１組は距離が０でないものを選択する必要がある。ま
た、距離画像全体から線分を選ぶようにすると組み合わ
せが非常に多くなるので距離画像全体をＭ×NNに分割
し、分割された各エリア内において３本の線分を選ぶよ
うにすると良い。
次いで、これら３本の線分のすべての組み合わせ（３
通り）の第２特徴を算出する（ステップ102）。
通り）の第２特徴を算出する（ステップ102）。
この後、対象物体のデータベースを用いて、これら３
通りの第２特徴との照合を行う（ステップ103）。
通りの第２特徴との照合を行う（ステップ103）。
そして、対応可能であるか否かを判断し（ステップ10
4）、対応可能である場合は、位置姿勢を計算し（ステ
ップ105）記憶（ステップ106）する。
4）、対応可能である場合は、位置姿勢を計算し（ステ
ップ105）記憶（ステップ106）する。
一方前記判断ステップ104で対応していないと判断さ
れた場合は、ステップ101に戻り再び他の３本の線分を
選ぶ工程から繰り返す。
れた場合は、ステップ101に戻り再び他の３本の線分を
選ぶ工程から繰り返す。
そしてすべてのエリアのすべての線分の選択が終了し
たか否かを判断し（ステップ107）、すべての線分の選
択が終了していない場合には、ステップ101に戻り、ま
たすべての線分の選択が終了した場合には、ステップ10
6で記憶されている、位置・姿勢の集積点の抽出を行う
（ステップ108）。
たか否かを判断し（ステップ107）、すべての線分の選
択が終了していない場合には、ステップ101に戻り、ま
たすべての線分の選択が終了した場合には、ステップ10
6で記憶されている、位置・姿勢の集積点の抽出を行う
（ステップ108）。
そしてステップ108で抽出された集積点近傍の対応付
けを行い（ステップ109）、物体認識は終了する。
けを行い（ステップ109）、物体認識は終了する。
次に、距離画像の作成について説明する。この方法で
は、第２図（ａ）に示すように、左右２台のCCDカメラ
を用いて物体を撮像し、両者から得られる同一エピポー
ラライン（視差像）上の画信号IL,IRをそれぞれ第１乃
至第７のフィルタF1〜F7にかけ、これら各フィルタ出力
を対応させ、各フィルタ出力毎に対応度画像を作成し、
この出力を重み付け加算し、一意対応点をみつけ、この
対応点間の距離とこの点の２次元位置情報と、左右のカ
メラの間の距離とから３次元位置を算出するものであ
る。
は、第２図（ａ）に示すように、左右２台のCCDカメラ
を用いて物体を撮像し、両者から得られる同一エピポー
ラライン（視差像）上の画信号IL,IRをそれぞれ第１乃
至第７のフィルタF1〜F7にかけ、これら各フィルタ出力
を対応させ、各フィルタ出力毎に対応度画像を作成し、
この出力を重み付け加算し、一意対応点をみつけ、この
対応点間の距離とこの点の２次元位置情報と、左右のカ
メラの間の距離とから３次元位置を算出するものであ
る。
これら第１乃至第７のフィルタF1〜F7のうち第１のフ
ィルターは平滑化フィルターであり、第２のフィルター
が最も高周波数領域の信号を通すものであり、順に低周
波数領域の信号を通すようになっている。第１のフィル
ター、第３のフィルター、第５のフィルター、第７のフ
ィルターを第３図に示す。
ィルターは平滑化フィルターであり、第２のフィルター
が最も高周波数領域の信号を通すものであり、順に低周
波数領域の信号を通すようになっている。第１のフィル
ター、第３のフィルター、第５のフィルター、第７のフ
ィルターを第３図に示す。
この３次元情報（距離画像）の形成について、第２図
（ｂ）のフローチャートを参照しつつ説明する。
（ｂ）のフローチャートを参照しつつ説明する。
まず、左右２台のCCDカメラを用いて物体を撮像し、
ステレオ画像を画像処理装置に入力する（ステップ20
1）。
ステレオ画像を画像処理装置に入力する（ステップ20
1）。
そしてすべてのエピポーララインＥPについて以下の
ようにして、エピポーラライン１本毎に対応点を求め
る。
ようにして、エピポーラライン１本毎に対応点を求め
る。
まず、１番目のエピポーララインをEp−ＮO＝１とす
る（ステップ202）。
る（ステップ202）。
次に、順次各フィルターについて畳み込みをおこな
う。まずｋ＝１とし（ステップ203）、第１のフィルタF
1について左右各エピポーララインＥPについての画像信
号の畳み込み（コンボリューション）を行い（ステップ
204）、対応度画像を作成する（ステップ205）。
う。まずｋ＝１とし（ステップ203）、第１のフィルタF
1について左右各エピポーララインＥPについての画像信
号の畳み込み（コンボリューション）を行い（ステップ
204）、対応度画像を作成する（ステップ205）。
次いでｋ＝ｋ＋１とし、次のフィルターFnについて左
右各エピポーララインＥPについての画像信号の畳み込
みを行い（ステップ204）、対応度画像を作成し（ステ
ップ205）、ｋ＞７であるか否かを判断し（ステップ20
7）、第７番めのフィルターまでの対応度画度を作成す
る。
右各エピポーララインＥPについての画像信号の畳み込
みを行い（ステップ204）、対応度画像を作成し（ステ
ップ205）、ｋ＞７であるか否かを判断し（ステップ20
7）、第７番めのフィルターまでの対応度画度を作成す
る。
この畳み込みは、例えばｋ番目については次の式に示
すようにして行う。
すようにして行う。
CLk（ｘ）＝IL（ｘ）＊Fk（ｘ） CRk（ｘ）＝IR（ｘ）＊Fk（ｘ） ここで、CLk（ｘ）,CRk（ｘ）はそれぞれ左右のｋ番
目のフィルタ出力を示し、IL（ｘ）,IR（ｘ）は左右エ
ピポーラライン上の濃度を示し、Fk（ｘ）はｋ番目のフ
ィルタを示す。また「＊」はコンボリューション演算を
表わす。
目のフィルタ出力を示し、IL（ｘ）,IR（ｘ）は左右エ
ピポーラライン上の濃度を示し、Fk（ｘ）はｋ番目のフ
ィルタを示す。また「＊」はコンボリューション演算を
表わす。
第４図（ａ）および第４図（ｂ）にこのときの左およ
び右のCCDカメラの出力を示す。但し、わかり易くする
ために第４図（ａ）および第４図（ｂ）は１番目のエピ
ポーララインではなく例えば50番目のエピポーラライン
（Ep−nO＝50）を示している。
び右のCCDカメラの出力を示す。但し、わかり易くする
ために第４図（ａ）および第４図（ｂ）は１番目のエピ
ポーララインではなく例えば50番目のエピポーラライン
（Ep−nO＝50）を示している。
第５図（ａ）および第５図（ｂ）に同左および右のCC
Dカメラの同一エピポーラライン上の濃度を示す。
Dカメラの同一エピポーラライン上の濃度を示す。
また第６図（ａ）および第６図（ｂ）に第１のフィル
ター出力を示す。
ター出力を示す。
第７図（ａ）および第７図（ｂ）に第３のフィルター
出力を示す。
出力を示す。
第８図（ａ）および第８図（ｂ）に第５のフィルター
出力を示す。
出力を示す。
第９図（ａ）および第９図（ｂ）に第７のフィルター
出力を示す。
出力を示す。
第10図はこの対応度画像の作成方法を示す図である。
ここでは右画像のフィルター出力上の点Ｐと左画像のフ
ィルタ出力の差の絶対値が小さいほど対応度は大きくな
る。すなわちこの操作は次の式で示される。
ここでは右画像のフィルター出力上の点Ｐと左画像のフ
ィルタ出力の差の絶対値が小さいほど対応度は大きくな
る。すなわちこの操作は次の式で示される。
Dk（lx,rx）＝CRk（ｘ）−CLk（ｘ） Dk＝DKmax−Dk ここでDk（lx,rx）:k番目のフィルター出力の対応度
画像とし、かりにDk＜０ならばDk＝０とする。
画像とし、かりにDk＜０ならばDk＝０とする。
第11図乃至第14図は、この様にして得られた各フィル
ター出力の対応度画像を示す図である。
ター出力の対応度画像を示す図である。
そしてさらに、この各フィルタ出力毎に対応度画像を
重みをつけて加算し、第15図に示すような最終的な対応
度画像を作成する（ステップ208）。
重みをつけて加算し、第15図に示すような最終的な対応
度画像を作成する（ステップ208）。
ここで重み付けは次式のようにして行う。
その後、この最終的な対応度角度Ds（lx,rx）におい
て（lx,rx）が競合する点内で最大値をとるならばその
点を対応点とし順位対応点を求め一意対応の決定とする
（ステップ209）。つまり、第16図に示すようにrx＝Pr
の点における最大値の点と一致するか否かにより一意対
応を決めている。
て（lx,rx）が競合する点内で最大値をとるならばその
点を対応点とし順位対応点を求め一意対応の決定とする
（ステップ209）。つまり、第16図に示すようにrx＝Pr
の点における最大値の点と一致するか否かにより一意対
応を決めている。
式で表わせば、 Ds（lx1,rx1）＞Ds（lx1,rx） （０＜rx＜rxmax,但しrx1を除く） Ds（lx1,rx1）＞Ds（lx,rx1） （０＜lx＜lxmax,但しlx1を除く） （rxmax、lxmaxは水平方向の画素数） この条件を満たす点Ｐ（lx1,rx1）を対応点とする。
第16図のPrをrx＝１からrx＝rxmax−１まで変化させて
上述のようにして順次得られた対応点を表わしたものが
第17図である。
第16図のPrをrx＝１からrx＝rxmax−１まで変化させて
上述のようにして順次得られた対応点を表わしたものが
第17図である。
次に各対応点について視差dx＝lx−rxを計算する（ス
テップ210）。
テップ210）。
そしてEp−ＮO＝Ep−ＮO＋１（ステップ211）として
２番目のエピポーララインについて上述のステップ103
からステップ110の処理を行い、エピポーラライン番号E
p−ＮOが入力画像の垂直画素数Ep−maxと等しくなるま
で上述の処理を繰り返し行う（ステップ212）。
２番目のエピポーララインについて上述のステップ103
からステップ110の処理を行い、エピポーラライン番号E
p−ＮOが入力画像の垂直画素数Ep−maxと等しくなるま
で上述の処理を繰り返し行う（ステップ212）。
このようにしてえられた対応点間の距離すなわち視差
と、この点の２次元位置情報と、左右のカメラの間の距
離とから３次元位置を算出する。
と、この点の２次元位置情報と、左右のカメラの間の距
離とから３次元位置を算出する。
この算出については第18図に示すような三角測量法に
より通常の演算を行うようにすればよい。
より通常の演算を行うようにすればよい。
このようにして各点の三次元情報を得て距離画像を作
成することができる。
成することができる。
次にデータベースの作成について第19図のフローチャ
ートを参照しつつ説明する。
ートを参照しつつ説明する。
左右２台のCCDカメラを用いて物体を撮像し、ステレ
オ画像を画像処理装置に入力し（ステップ301,302）上
述した方法と全く同様にしてデータベース用の距離画像
を作成する（ステップ303）。
オ画像を画像処理装置に入力し（ステップ301,302）上
述した方法と全く同様にしてデータベース用の距離画像
を作成する（ステップ303）。
一方、右画像からエッジを抽出し（ステップ306）、
エッジ方向別に線分を強調するように処理し（ステップ
307）、線分を方向別にラベリングする（ステップ30
8）。
エッジ方向別に線分を強調するように処理し（ステップ
307）、線分を方向別にラベリングする（ステップ30
8）。
このラベリングのデータと距離画像とから３次元の線
分を検出する（ステップ304）。
分を検出する（ステップ304）。
この一例を第20図に示す。ここでは物体Χは線分L1〜
Lnからなり、各線分の始点P1〜Pnおよび終点Q1〜Qnで表
される。
Lnからなり、各線分の始点P1〜Pnおよび終点Q1〜Qnで表
される。
このようにしてえられた３次元情報を第１特徴とし、
この第１特徴から第２特徴である線分の相対的関係を示
すデータを作成する。
この第１特徴から第２特徴である線分の相対的関係を示
すデータを作成する。
つまり第20図に示される線分から２本づつを選び（ス
テップ304）、第21図（ａ）および第21図（ｂ）に示す
ように各組合わせにおける距離および方向ベクトル間の
角度（相対的関係）を算出し第22図に示すようにデータ
ベースの第２特徴として記憶する（ステップ305）。な
お、第20図に示される線分から２本づつ選ぶ際に、画像
をＭ×Ｎに分割し、分割された各エリア内において存在
する線分のみを組み合わせるようにして第２特徴を作成
するとよい。このとき他のエリアで既に第２特徴が作成
された組み合わせのときには重複して記憶はしない。
テップ304）、第21図（ａ）および第21図（ｂ）に示す
ように各組合わせにおける距離および方向ベクトル間の
角度（相対的関係）を算出し第22図に示すようにデータ
ベースの第２特徴として記憶する（ステップ305）。な
お、第20図に示される線分から２本づつ選ぶ際に、画像
をＭ×Ｎに分割し、分割された各エリア内において存在
する線分のみを組み合わせるようにして第２特徴を作成
するとよい。このとき他のエリアで既に第２特徴が作成
された組み合わせのときには重複して記憶はしない。
このようにして物体の特徴をデータベースとして蓄え
る。
る。
ここで物体の認識方法についてもう一度説明すると、
左右２台のCCDカメラにより認識しようとする物体を撮
像して距離画像を作成し、画像をＭ×Ｎに分割し、１つ
のエリア内から３本の線分を選んでデータベースと照合
する場合、例えば、第23図（ａ）および第23図（ｂ）に
示すような線分11,12,13の組み合わせを選択したとし、
第22図に示したデータベースから第23図に示す関係が存
在る組み合わせを探索する。そしてあった場合は対応可
能であるとし、このようにして対応付けられた線分のう
ち平行でない２本の線分Li,Li+1を選ぶ。
左右２台のCCDカメラにより認識しようとする物体を撮
像して距離画像を作成し、画像をＭ×Ｎに分割し、１つ
のエリア内から３本の線分を選んでデータベースと照合
する場合、例えば、第23図（ａ）および第23図（ｂ）に
示すような線分11,12,13の組み合わせを選択したとし、
第22図に示したデータベースから第23図に示す関係が存
在る組み合わせを探索する。そしてあった場合は対応可
能であるとし、このようにして対応付けられた線分のう
ち平行でない２本の線分Li,Li+1を選ぶ。
そして物体座標系XmYmZm上の線分Li,Li+1を視点座標
系XvYvZv上の線分L1,L2に重ねる（第１図（ａ）参
照）。
系XvYvZv上の線分L1,L2に重ねる（第１図（ａ）参
照）。
そしてこの重ねられたときのOmが物体の位置となる。
また姿勢は重ねるときのΧmYm回転角である。
また姿勢は重ねるときのΧmYm回転角である。
このようにして位置姿勢を計算し（ステップ105）記
憶（ステップ106）する。
憶（ステップ106）する。
そしてこれらを集積化し、最大集積点を抽出する（ス
テップ108）。
テップ108）。
この集積化について説明する。
まず、照合が成功したデータベースと測定データの３
本の線分の組み合わせ（Li,Li+1,Li+2）より位置（X,Y,
Z,θX,θY,θＺ）を算出する。ここでデータベースのカ
メラの座標での原点の位置を演算するわけである。
本の線分の組み合わせ（Li,Li+1,Li+2）より位置（X,Y,
Z,θX,θY,θＺ）を算出する。ここでデータベースのカ
メラの座標での原点の位置を演算するわけである。
この位置から −90＜θX,θY,θＺ＜90（deg.） を満たす位置を選び、位置と線分の組み合わせを記憶す
る。
る。
そして記憶されたこの位置を一定の範囲（DX,DY）に
カウントする。
カウントする。
さらにΧ,Y上で最大値を検出し、集積点Ｐ（ΧP,YP）
を計算する。
を計算する。
そして対応付けに際しては、記憶された位置のなかか
ら、次の条件を満たす位置を探し、そのときの線分の組
み合わせを真の対応とする。
ら、次の条件を満たす位置を探し、そのときの線分の組
み合わせを真の対応とする。
Xp＋（DX/2）≦Ｘ≦Xp＋（DX/2） Yp−（DX/2）≦Ｙ≦Yp＋（DX/2） このようにして極めて短時間で３次元物体の位置及び
姿勢を得ることができた。
姿勢を得ることができた。
具体的画像の例として第24図（ａ）乃至第24図（ｅ）
にこの過程を示す。第24図（ａ）および第24図（ｂ）は
データベースに格納されている物体像とその３次元情
報、第24図（ｃ）および第24図（ｄ）は認識すべき物体
の像とその３次元情報、第24図（ｅ）は両者の照合によ
る位置の集積を示す。
にこの過程を示す。第24図（ａ）および第24図（ｂ）は
データベースに格納されている物体像とその３次元情
報、第24図（ｃ）および第24図（ｄ）は認識すべき物体
の像とその３次元情報、第24図（ｅ）は両者の照合によ
る位置の集積を示す。
なお入力画像は256階調の512×256画素を256×128画
素に縮小して用いた。
素に縮小して用いた。
このようにして極めて短時間で３次元物体の認識を行
うことが可能となる。
うことが可能となる。
以上説明してきたように、本発明の方法によれば、入
力データとデータベースの局所的（３本の線分）照合を
行ったのち、この局所的仮説の統合により位置姿勢の集
積として大局的な照合を行うようにしているため、迅速
で高精度の物体認識処理が可能となる。
力データとデータベースの局所的（３本の線分）照合を
行ったのち、この局所的仮説の統合により位置姿勢の集
積として大局的な照合を行うようにしているため、迅速
で高精度の物体認識処理が可能となる。
第１図（ａ）および第１図（ｂ）は本発明実施例の３次
元物体の認識方法を示す説明図およびそのフローチャー
ト図、第２図（ａ）および第２図（ｂ）は同実施例にお
いて３次元情報の生成に際して用いられる対応点の探索
方法を示す説明図およびフローチャート図、第３図は各
フィルターを示す図、第４図は左右のCCDカメラの出力
を示す図、第５図は同左右のCCDカメラの同一エピポー
ラライン上の濃度を示す図、第６図乃至第９図は同濃度
の第1,第3,第5,第７のフィルタ通過後の出力を示す図、
第10図は対応度の検出方法を示す図、第11図乃至第14
図、各フィルター出力の対応度画像を示す模式図、第15
図は重付け加算をした対応度画像を示す図、第16図は一
意対応の決定方法を示す図、第17図はエピポーラライン
上での対応点を示す模式図、第18図は三角測量法の説明
図、第19図はデータベースの作成方法を示すフローチャ
ート図、第20図は得られた３次元情報（第１特徴）の一
例を示す図、第21図（ａ）および第21図（ｂ）は物体を
構成する線分間の相対的関係を示す図、第22図は同デー
タ（第２特徴）を示す図、第23図（ａ）および第23図
（ｂ）は３本の線分の相対的関係およびその第２特徴を
示すデータ、第24図（ａ）乃至第24図（ｅ）は具体像に
ついての認識過程を示す図である。
元物体の認識方法を示す説明図およびそのフローチャー
ト図、第２図（ａ）および第２図（ｂ）は同実施例にお
いて３次元情報の生成に際して用いられる対応点の探索
方法を示す説明図およびフローチャート図、第３図は各
フィルターを示す図、第４図は左右のCCDカメラの出力
を示す図、第５図は同左右のCCDカメラの同一エピポー
ラライン上の濃度を示す図、第６図乃至第９図は同濃度
の第1,第3,第5,第７のフィルタ通過後の出力を示す図、
第10図は対応度の検出方法を示す図、第11図乃至第14
図、各フィルター出力の対応度画像を示す模式図、第15
図は重付け加算をした対応度画像を示す図、第16図は一
意対応の決定方法を示す図、第17図はエピポーラライン
上での対応点を示す模式図、第18図は三角測量法の説明
図、第19図はデータベースの作成方法を示すフローチャ
ート図、第20図は得られた３次元情報（第１特徴）の一
例を示す図、第21図（ａ）および第21図（ｂ）は物体を
構成する線分間の相対的関係を示す図、第22図は同デー
タ（第２特徴）を示す図、第23図（ａ）および第23図
（ｂ）は３本の線分の相対的関係およびその第２特徴を
示すデータ、第24図（ａ）乃至第24図（ｅ）は具体像に
ついての認識過程を示す図である。
Claims (1)
- 【請求項１】離間した２点で物体を撮像し、第１および
第２の２次元画像として出力する撮像工程と、 前記撮像工程で得られた２次元画像から距離画像を算出
し３次元情報を得る３次元情報算出工程と、 前記３次元情報から直線を線分とみなして３本の線分を
選択し、この３本について最短距離と方向ベクトルのな
す角を算出する相対的情報算出工程と、 前記相対的情報算出工程で得られた最短距離と方向ベク
トルのなす角とを、最短距離と方向ベクトルのなす角と
してあらかじめ算出され格納されている対象物体のデー
タベースと照合する照合工程と、 前記照合工程で一致したものの位置および姿勢を記憶
し、この集積点を求め集積点近傍の対応づけを行い、物
体の位置および姿勢を認識するようにしたことを特徴と
する３次元物体の認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2262191A JP3002896B2 (ja) | 1990-09-29 | 1990-09-29 | 三次元物体の認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2262191A JP3002896B2 (ja) | 1990-09-29 | 1990-09-29 | 三次元物体の認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04138580A JPH04138580A (ja) | 1992-05-13 |
| JP3002896B2 true JP3002896B2 (ja) | 2000-01-24 |
Family
ID=17372341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2262191A Expired - Fee Related JP3002896B2 (ja) | 1990-09-29 | 1990-09-29 | 三次元物体の認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3002896B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3351269B2 (ja) * | 1996-11-15 | 2002-11-25 | 日産自動車株式会社 | 車両用エンジン冷却用放熱器 |
-
1990
- 1990-09-29 JP JP2262191A patent/JP3002896B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04138580A (ja) | 1992-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2919284B2 (ja) | 物体認識方法 | |
| CN107240124B (zh) | 基于时空约束的跨镜头多目标跟踪方法及装置 | |
| CN112197770B (zh) | 一种机器人的定位方法及其定位装置 | |
| JP3525896B2 (ja) | ３次元物体認識方法および同方法を使用したビンピッキングシステム | |
| JP3539788B2 (ja) | 画像間対応付け方法 | |
| US7321386B2 (en) | Robust stereo-driven video-based surveillance | |
| CN101419055B (zh) | 基于视觉的空间目标位姿测量装置和方法 | |
| WO2018142900A1 (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
| Rashidi et al. | Generating absolute-scale point cloud data of built infrastructure scenes using a monocular camera setting | |
| US20050031167A1 (en) | Method of three dimensional positioning using feature matching | |
| JP2004340840A (ja) | 距離測定装置、距離測定方法、及び距離測定プログラム | |
| Bejanin et al. | Model validation for change detection [machine vision] | |
| US6442292B1 (en) | Measuring apparatus | |
| He et al. | Automated relative orientation of UAV-based imagery in the presence of prior information for the flight trajectory | |
| Kannala et al. | Measuring and modelling sewer pipes from video | |
| Amami | Comparison between multi & single epipolar geometry-based filters for optical robot navigation | |
| CN115053260A (zh) | 数据集生成方法、神经网络生成方法和场景模型构建方法 | |
| JP3002896B2 (ja) | 三次元物体の認識方法 | |
| Svedman et al. | Structure from stereo vision using unsynchronized cameras for simultaneous localization and mapping | |
| JP2970835B2 (ja) | 三次元座標計測装置 | |
| JPH1096607A (ja) | 物体検出装置および平面推定方法 | |
| JPH03238566A (ja) | 消点検出装置 | |
| JP3340599B2 (ja) | 平面推定方法 | |
| Pedersini et al. | Multi-camera parameter tracking | |
| Zhang et al. | Automatic image-to-site model registration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |