JPH0625650B2 - 立体認識装置 - Google Patents
立体認識装置Info
- Publication number
- JPH0625650B2 JPH0625650B2 JP59069809A JP6980984A JPH0625650B2 JP H0625650 B2 JPH0625650 B2 JP H0625650B2 JP 59069809 A JP59069809 A JP 59069809A JP 6980984 A JP6980984 A JP 6980984A JP H0625650 B2 JPH0625650 B2 JP H0625650B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- epipolar
- object point
- images
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【発明の詳細な説明】 ＜発明の技術分野＞ 本発明は、複数台の二次元撮像手段を用いて三次元物体
を立体認識する立体認識装置に関する。
を立体認識する立体認識装置に関する。
＜発明の背景＞ 近年、３台のテレビカメラをもつて物体を３方向から観
測することにより、物体の偶部の如き物体を特徴づける
点（以下、「特徴点」という）を抽出して、その三次元
座標を求め、物体を立体認識する方式が提案された（日
経メカニカル１９８４年１月２日号）。この方式は、第
７図(1)(2)に示す如く、第１のテレビカメラの画面上で
着目した物点像P1につき他のテレビカメラの画面上にそ
のエピポーラライン（epipolar line）ｌを求め、この
ラインｌ上に位置する物点像を検出して、各画面上の物
点像の対応付けを行ない、然る後物点の三次元座標を算
出するものである。ところがこの方式の場合、画像上の
全ての物点像と前記エピポーララインｌとの間の距離計
算を実行する方法により、エピポーラライン上に位置す
る物点像の抽出動作を行なつているため、この種計算に
多大の時間とコストとを要する等の欠点があつた。
測することにより、物体の偶部の如き物体を特徴づける
点（以下、「特徴点」という）を抽出して、その三次元
座標を求め、物体を立体認識する方式が提案された（日
経メカニカル１９８４年１月２日号）。この方式は、第
７図(1)(2)に示す如く、第１のテレビカメラの画面上で
着目した物点像P1につき他のテレビカメラの画面上にそ
のエピポーラライン（epipolar line）ｌを求め、この
ラインｌ上に位置する物点像を検出して、各画面上の物
点像の対応付けを行ない、然る後物点の三次元座標を算
出するものである。ところがこの方式の場合、画像上の
全ての物点像と前記エピポーララインｌとの間の距離計
算を実行する方法により、エピポーラライン上に位置す
る物点像の抽出動作を行なつているため、この種計算に
多大の時間とコストとを要する等の欠点があつた。
＜発明の目的＞ 本発明は、前記距離計算の対象とする物点像の範囲を限
定することによつて、計算コストの軽減や計算時間の短
縮を実現した立体認識装置を提供することを目的とす
る。
定することによつて、計算コストの軽減や計算時間の短
縮を実現した立体認識装置を提供することを目的とす
る。
＜発明の構成および効果＞ 上記目的を達成するため、本発明では、画像処理装置に
おいて、第１の画像を複数の領域に分割し、着目する物
点像を含む分割領域につき第２，第３の画像上にその分
割領域に対応するエピポーラ領域を求めた後、そのエピ
ポーラ領域内の物点像を対象としてエピポーラライン上
に位置する物点像の抽出動作を実行するようにした。
おいて、第１の画像を複数の領域に分割し、着目する物
点像を含む分割領域につき第２，第３の画像上にその分
割領域に対応するエピポーラ領域を求めた後、そのエピ
ポーラ領域内の物点像を対象としてエピポーラライン上
に位置する物点像の抽出動作を実行するようにした。
本発明によれば、第２，第３の画像上において、エピポ
ーラ領域内の物点像についてのみ各物点像とエピポーラ
ラインとの間の距離計算を実行すればよいから、計算コ
ストの軽減や計算時間の短縮を実現できる等、発明目的
を達成した顕著な効果を奏する。
ーラ領域内の物点像についてのみ各物点像とエピポーラ
ラインとの間の距離計算を実行すればよいから、計算コ
ストの軽減や計算時間の短縮を実現できる等、発明目的
を達成した顕著な効果を奏する。
＜実施例の説明＞ 第１図は固定機台４上に３個のテレビカメラ１、２、３
（以下、第１カメラ１、第２カメラ２、第３カメラ３と
いう）を配設して成る立体視装置５を示し、各テレビカ
メラで得た物体の画像を画像処理装置６に取り込んで、
物点像の対応付けや物点の三次元座標算出等、一連の立
体認識処理を実行する。
（以下、第１カメラ１、第２カメラ２、第３カメラ３と
いう）を配設して成る立体視装置５を示し、各テレビカ
メラで得た物体の画像を画像処理装置６に取り込んで、
物点像の対応付けや物点の三次元座標算出等、一連の立
体認識処理を実行する。
第２図は各画像間における物点像の対応付け方法を示す
原理図であり、各テレビカメラ１〜３の画像１０，２
０，３０（以下、第１画像10、第２画像２０、第３画像
３０という）上に特徴点Ｐについての物点像Ｐ1，Ｐ2，
Ｐ3が表われている。また第２画像２０上には、第１カ
メラ１の焦点Ｆ1と物点像Ｐ1とを結ぶ直線Ｆ1P1の像
（この直線像をエピポーララインという）l2が設定さ
れ、同様に第３画像３０上には、直線Ｆ1Ｐ1および直線
Ｆ2Ｐ2の各エピポーララインl3，ｍ３が設定してある。
原理図であり、各テレビカメラ１〜３の画像１０，２
０，３０（以下、第１画像10、第２画像２０、第３画像
３０という）上に特徴点Ｐについての物点像Ｐ1，Ｐ2，
Ｐ3が表われている。また第２画像２０上には、第１カ
メラ１の焦点Ｆ1と物点像Ｐ1とを結ぶ直線Ｆ1P1の像
（この直線像をエピポーララインという）l2が設定さ
れ、同様に第３画像３０上には、直線Ｆ1Ｐ1および直線
Ｆ2Ｐ2の各エピポーララインl3，ｍ３が設定してある。
第３図(1)(2)(3)は上記各画像１０，２０，３０を示
す。同図によれば、第２画像２０における物点像Ｐ2は
エピポーララインl2上に位置し、第３画像３０における
物点像Ｐ3はエピポーララインl3，ｍ3の交点上に位置す
る。このことから物点像Ｐ1，Ｐ2，Ｐ3は特徴点Ｐの画
像として相互に対応する点であることが理解され、従つ
て特徴点Ｐの三次元座標は直線Ｆ1Ｐ1，Ｆ2Ｐ2，Ｆ3Ｐ3
の交点として求めることができる。尚第３図(2)(3)に
は、第２図の直線Ｆ1Ｐの延長線上に位置する他の特徴
点Ｒの物点像Ｒ2，Ｒ3を併せて示しており、この場合物
点像R3はエピポーララインl3ｍ3の交点上に位置しな
い。
す。同図によれば、第２画像２０における物点像Ｐ2は
エピポーララインl2上に位置し、第３画像３０における
物点像Ｐ3はエピポーララインl3，ｍ3の交点上に位置す
る。このことから物点像Ｐ1，Ｐ2，Ｐ3は特徴点Ｐの画
像として相互に対応する点であることが理解され、従つ
て特徴点Ｐの三次元座標は直線Ｆ1Ｐ1，Ｆ2Ｐ2，Ｆ3Ｐ3
の交点として求めることができる。尚第３図(2)(3)に
は、第２図の直線Ｆ1Ｐの延長線上に位置する他の特徴
点Ｒの物点像Ｒ2，Ｒ3を併せて示しており、この場合物
点像R3はエピポーララインl3ｍ3の交点上に位置しな
い。
第４図は本発明にかかる立体認識装置の特徴を示してお
り、第４図(1)に示す第１画像１０には合計１６個の分
割領域Ｓ0，Ｓ1，Ｓ2，……，Ｓ15が設定されている。
り、第４図(1)に示す第１画像１０には合計１６個の分
割領域Ｓ0，Ｓ1，Ｓ2，……，Ｓ15が設定されている。
本発明では、着目する物点像Ｐ1を含む分割領域（図示
例ではＳ9）を求め、つぎにこの分割領域Ｓ9に対応する
第２画像２０上のエピポーラ領域Ｅ9を求めた後、この
エピポーラ領域Ｅ9内の物点像を対象としてエピポーラ
ラインl2上に位置する物点像の抽出動作を実行すること
を特徴とする。
例ではＳ9）を求め、つぎにこの分割領域Ｓ9に対応する
第２画像２０上のエピポーラ領域Ｅ9を求めた後、この
エピポーラ領域Ｅ9内の物点像を対象としてエピポーラ
ラインl2上に位置する物点像の抽出動作を実行すること
を特徴とする。
第５図は各分割領域に対応するエピポーラ領域を規定す
るパラメータ（図示例では各領域の上下縁線Ｄ1，Ｄ2）
を生成する学習モードプログラムを示す。
るパラメータ（図示例では各領域の上下縁線Ｄ1，Ｄ2）
を生成する学習モードプログラムを示す。
今、第１〜第３のカメラ１〜３が三次元空間内の座標
（ｘ，ｙ，ｚ）に位置する特徴点Ｐを撮像した場合にお
いて、第１画像１０および第２画像２０上の物点像
Ｐ1，Ｐ2の各座標を（ik1，jk1），（ik2，jk2）、第
１、第２カメラ１、２のカメラモデル（数字モデル）を とすると、つぎの式が成立する。
（ｘ，ｙ，ｚ）に位置する特徴点Ｐを撮像した場合にお
いて、第１画像１０および第２画像２０上の物点像
Ｐ1，Ｐ2の各座標を（ik1，jk1），（ik2，jk2）、第
１、第２カメラ１、２のカメラモデル（数字モデル）を とすると、つぎの式が成立する。
前記カメラモデル は三次元空間に固定された座標系を画像上での座標系に
変換するための数式であつて、第５図に示す学習モード
プログラムにおいては、まずステツプ７１で、これらカ
メラモデルを生成した後、つぎのステツプ７２でエピポ
ーラ領域を規定するパラメータを生成する。
変換するための数式であつて、第５図に示す学習モード
プログラムにおいては、まずステツプ７１で、これらカ
メラモデルを生成した後、つぎのステツプ７２でエピポ
ーラ領域を規定するパラメータを生成する。
今ここで第１画像１０上の物点像Ｐ1につき、これが第
２画像２０上に生成するエピポーララインl2の方程式を
数式で表わすとつぎのようになる。
２画像２０上に生成するエピポーララインl2の方程式を
数式で表わすとつぎのようになる。
Ａ・ik2＋Ｂ・jk2＋Ｃ＝０ …… 尚上記Ａ，Ｂ，Ｃは、 で表わされる数式であり、前記式よりｘ，ｙ，ｚを
消去することにより得られる。
消去することにより得られる。
また物点像Ｐ1を含む分割領域Ｓ9の４頂点Ｔ1〜Ｔ4が第
２画像２０上に生成するエピポーララインＬ1（ik2，jk
2）〜Ｌ4（ik2，jk2）は同様につぎの〜式で表わさ
れる。
２画像２０上に生成するエピポーララインＬ1（ik2，jk
2）〜Ｌ4（ik2，jk2）は同様につぎの〜式で表わさ
れる。
Ｌ1（ik2，jk2）＝Ａ1・ik2＋Ｂ1・jk2＋Ｃ1＝０… Ｌ2（ik2，jk2）＝Ａ2・ik2＋Ｂ2・jk2＋Ｃ2＝０… Ｌ3（ik2，jk2）＝Ａ3・ik2＋Ｂ3・jk2＋Ｃ3＝０… Ｌ4（ik2，jk2）＝Ａ4・ik2＋Ｂ4・jk2＋Ｃ4＝０… 但しＡ1〜Ａ4，Ｂ1〜Ｂ4，C1〜C4は、 で表わされる数式である。
つぎに例えばエピポーララインＬ1と直交し且つ第２画
像２０の中心点をとおる直線Ｌ0を、 Ｌ0（ik2，jk2）＝Ａ0・ik2＋Ｂ0・jk2＋Ｃ0＝０… とおき（但しＡ0，Ｂ0，Ｃ0は で表わされる数式である）、また直線Ｌ0とエピポーラ
ラインＬ1，Ｌ2，Ｌ3，Ｌ4との交点Ｑ1〜Ｑ4の各座標を
（Ｉ1，Ｊ1），（Ｉ2，Ｊ2），（Ｉ3，Ｊ3），（Ｉ4，
Ｊ4）とすると、いま仮にエピポーララインＬ1が前記エ
ポピーラ領域Ｅ9の上縁線Ｄ1に、またエピポーラライン
Ｌ4がその下縁線Ｄ2に夫々相当する場合には、つぎの条
件式が成立する。
像２０の中心点をとおる直線Ｌ0を、 Ｌ0（ik2，jk2）＝Ａ0・ik2＋Ｂ0・jk2＋Ｃ0＝０… とおき（但しＡ0，Ｂ0，Ｃ0は で表わされる数式である）、また直線Ｌ0とエピポーラ
ラインＬ1，Ｌ2，Ｌ3，Ｌ4との交点Ｑ1〜Ｑ4の各座標を
（Ｉ1，Ｊ1），（Ｉ2，Ｊ2），（Ｉ3，Ｊ3），（Ｉ4，
Ｊ4）とすると、いま仮にエピポーララインＬ1が前記エ
ポピーラ領域Ｅ9の上縁線Ｄ1に、またエピポーラライン
Ｌ4がその下縁線Ｄ2に夫々相当する場合には、つぎの条
件式が成立する。
従つてエピポーラ領域Ｅ9の上下縁線Ｄ1，Ｄ2を４本の
エピポーララインＬ1〜Ｌ4より選定するには、各エピポ
ーララインにつき上記式の関係が成立するか否かを
判定すればよい。
エピポーララインＬ1〜Ｌ4より選定するには、各エピポ
ーララインにつき上記式の関係が成立するか否かを
判定すればよい。
第６図は、物点像間を対応付けるための認識モードプロ
グラムを示す。同図のスタート時点では、前記学習モー
ドプログラムの実施により、第１画像１０の各分割領域
Ｓ0，Ｓ1，Ｓ2，……，Ｓ15につき第２，第３画像上の
エピポーラ領域を規定するパラメータが生成されてい
る。そしてまずステツプ８１において第２画像２０上の
全ての物点像をいずれかエピポーラ領域に割り当て、つ
ぎのステツプ８２で第１画像１０上で着目した物点像P1
が属する分割領域の番号（図示例ではＳ9）を検出す
る。更に続くステツプ83で分割領域Ｓ9に対応する第２
画像２０のエピポーラ領域の番号（図示例ではＥ9）を
検出し、つぎのステツプ８４で、エピポーラ領域Ｅ9内
に含まれる物点像が存在するか否かをチエツクする。も
しステツプ８４の判定が“YES”のとき、ついでステツ
プ８５で分割領域Ｓ9に対応する第３画像のエピポーラ
領域（図示せず）の番号を検出し、つぎのステツプ８６
で、そのエピポーラ領域内に含まれる物点像が存在する
か否かをチエツクする。もしステツプ８６の判定が“YE
S”のとき、つぎのステツプ８７で第２画像２０のエピ
ポーララインl2上に位置する物点像を抽出する。この場
合前記エピポーラ領域Ｅ9内の物点像のみを対象とし
て、各物点像とエピポーララインl2との間の距離計算を
実行することにより、エピポーララインl2上の物点像を
抽出する。そしてエピポーララインl2上に位置する物点
像が存在するとき、ステツプ８８の判定が“YES”とな
り、つぎにステツプ８９において、第３画像上のエピポ
ーララインl3上に位置する物点像を同様の方法によつて
抽出する。もしエピポーララインl3上に位置する物点像
が存在するとき、ステツプ９０の判定が“YES”とな
り、ステツプ９１において、物点像間の対応付け候補が
選定できたとして、成功フラグを所定のメモリ領域へセ
ツトする。またステツプ８４，８６，８８，９０のいず
れかが“NO”のとき、ステツプ９２において、物点像間
の対応付け候補が選定できなかつたとして、失敗フラグ
を所定のメモリ領域へセツトするものである。
グラムを示す。同図のスタート時点では、前記学習モー
ドプログラムの実施により、第１画像１０の各分割領域
Ｓ0，Ｓ1，Ｓ2，……，Ｓ15につき第２，第３画像上の
エピポーラ領域を規定するパラメータが生成されてい
る。そしてまずステツプ８１において第２画像２０上の
全ての物点像をいずれかエピポーラ領域に割り当て、つ
ぎのステツプ８２で第１画像１０上で着目した物点像P1
が属する分割領域の番号（図示例ではＳ9）を検出す
る。更に続くステツプ83で分割領域Ｓ9に対応する第２
画像２０のエピポーラ領域の番号（図示例ではＥ9）を
検出し、つぎのステツプ８４で、エピポーラ領域Ｅ9内
に含まれる物点像が存在するか否かをチエツクする。も
しステツプ８４の判定が“YES”のとき、ついでステツ
プ８５で分割領域Ｓ9に対応する第３画像のエピポーラ
領域（図示せず）の番号を検出し、つぎのステツプ８６
で、そのエピポーラ領域内に含まれる物点像が存在する
か否かをチエツクする。もしステツプ８６の判定が“YE
S”のとき、つぎのステツプ８７で第２画像２０のエピ
ポーララインl2上に位置する物点像を抽出する。この場
合前記エピポーラ領域Ｅ9内の物点像のみを対象とし
て、各物点像とエピポーララインl2との間の距離計算を
実行することにより、エピポーララインl2上の物点像を
抽出する。そしてエピポーララインl2上に位置する物点
像が存在するとき、ステツプ８８の判定が“YES”とな
り、つぎにステツプ８９において、第３画像上のエピポ
ーララインl3上に位置する物点像を同様の方法によつて
抽出する。もしエピポーララインl3上に位置する物点像
が存在するとき、ステツプ９０の判定が“YES”とな
り、ステツプ９１において、物点像間の対応付け候補が
選定できたとして、成功フラグを所定のメモリ領域へセ
ツトする。またステツプ８４，８６，８８，９０のいず
れかが“NO”のとき、ステツプ９２において、物点像間
の対応付け候補が選定できなかつたとして、失敗フラグ
を所定のメモリ領域へセツトするものである。
第１図は立体認識装置の構成例を示す正面図、第２図は
物点像の対応付け方法の原理を示す説明図、第３図(1)
(2)(3)は各テレビカメラの画像を示す説明図、第４図
(1)(2)は本発明の特徴を示すテレビカメラの画像を示す
説明図、第５図は学習モードプログラムを示すフローチ
ヤート、第６図は認識モードプログラムを示すフローチ
ヤート、第７図(1)(2)は従来例を説明するためのテレビ
カメラの画像を示す説明図である。
物点像の対応付け方法の原理を示す説明図、第３図(1)
(2)(3)は各テレビカメラの画像を示す説明図、第４図
(1)(2)は本発明の特徴を示すテレビカメラの画像を示す
説明図、第５図は学習モードプログラムを示すフローチ
ヤート、第６図は認識モードプログラムを示すフローチ
ヤート、第７図(1)(2)は従来例を説明するためのテレビ
カメラの画像を示す説明図である。
Claims (1)
- 【請求項１】物体の画像を求める少なくとも３台の二次
元撮像手段と、第１の画像上で着目した物点像につき第
２，第３の画像上にそのエピポーララインを求めると共
に、エピポーラライン上に位置する物点像を抽出して各
画像上の物点像を対応付ける画像処理装置を備えた立体
認識装置において、前記画像処理装置は、第１の画像を
複数の領域に分割し、着目する物点像を含む分割領域に
つき第２，第３の画像上にその分割領域に対応するエピ
ポーラ領域を求めた後、そのエピポーラ領域内の物点像
を対象として前記エピポーラライン上に位置する物点像
の抽出動作を実行するようにした立体認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59069809A JPH0625650B2 (ja) | 1984-04-07 | 1984-04-07 | 立体認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP59069809A JPH0625650B2 (ja) | 1984-04-07 | 1984-04-07 | 立体認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS60213192A JPS60213192A (ja) | 1985-10-25 |
| JPH0625650B2 true JPH0625650B2 (ja) | 1994-04-06 |
Family
ID=13413451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP59069809A Expired - Lifetime JPH0625650B2 (ja) | 1984-04-07 | 1984-04-07 | 立体認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0625650B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2714277B2 (ja) * | 1991-07-25 | 1998-02-16 | 株式会社東芝 | リード形状計測装置 |
-
1984
- 1984-04-07 JP JP59069809A patent/JPH0625650B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPS60213192A (ja) | 1985-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10599228B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| US6031941A (en) | Three-dimensional model data forming apparatus | |
| CN105898107B (zh) | 一种目标物体抓拍方法及系统 | |
| US20110025834A1 (en) | Method and apparatus of identifying human body posture | |
| CN111028271A (zh) | 基于人体骨架检测的多摄像机人员三维定位跟踪系统 | |
| CN104700355A (zh) | 室内二维平面图的生成方法、装置和系统 | |
| CN114842139A (zh) | 一种基于空间分析的建筑三维数字化模型构建方法 | |
| CN113567550A (zh) | 地面材质检测方法、装置、电子设备、芯片和存储介质 | |
| JP3862402B2 (ja) | ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 | |
| JPH10269365A (ja) | 特徴抽出方法およびその方法を用いた物体認識装置 | |
| JPH0625650B2 (ja) | 立体認識装置 | |
| JPH0624000B2 (ja) | 複合立体視装置 | |
| JP2006047252A (ja) | 画像処理装置 | |
| WO2023132275A1 (ja) | 物体測定装置及び物体測定方法 | |
| JPH09229648A (ja) | 画像情報入出力装置及び画像情報入出力方法 | |
| JPH09231371A (ja) | 画像情報入力装置及び画像情報入力方法 | |
| KR102355578B1 (ko) | 정보 처리 장치, 프로그램을 기록한 기록 매체 및 정보 처리 방법 | |
| JPH0625649B2 (ja) | 立体視方法 | |
| JPH10228542A (ja) | 三次元計測方法及びその装置 | |
| JP2993610B2 (ja) | 画像処理方法 | |
| JP3516117B2 (ja) | 画像処理方法およびその装置 | |
| JP6675584B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JPH0949714A (ja) | ３次元形状抽出装置 | |
| JP2993611B2 (ja) | 画像処理方法 | |
| CN114782547A (zh) | 一种三维坐标确定方法及装置 |