JPS6375508A - 線分の３次元方位計測方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔目次〕 概要 産業上の利用分野 従来の技術（第９図、第１０図、第１１図）発明が解決
しようとする問題点 問題点を解決するための手段（第１図、第２図）作用 実施例 （ａ）一実施例の説明（第３図、第４図、第５図、第６
図、第７図、第８図） （ｂ）他の実施例の説明 発明の効果 〔（既要〕 撮像手段によって捕捉した対象物の２次元平面投影像か
ら、対象物の構成線分の３次元方位を計測する方法にお
いて、光軸を平行に且つ異なる位置で対象物の２次元平
面投影像を捕捉して複数の入力画像を得て、入力画像に
おける線分の無限遠点によって３次元方位を求めること
によって、簡便で且つ高速に３次元方位を計測するもで
ある。

〔産業上の利用分野〕

本発明は、ロボット等の周囲環境を視覚手段によって計
測するシステムにおける物体の構成線分の３次元方位を
計測する線分の３次元方位計測方法に関し、特に物体を
撮像手段で２次元平面投影像として捕捉して得た入力画
像から線分の３次元方位を計測する方法に関する。

周囲に存在する物体の３次元情報を計測することは、周
囲の環境状態を検出できるため有用である。例えば、視
覚手段を有するロボットにおいては、周囲の環境状態を
検出し、検出結果に応じて、種々の運動が可能となる。

このような物体の３次元情報の内、物体の構成線分の３
次元方位の計測は、物体の認識の上で重要であり、高速
に計測できること及び簡便でコストが安価であることが
求められている。

〔従来の技術〕

従来の線分の３次元方位計測方法には、２眼ステレオ法
（立体視法ともいう）、投光法（射光法ともいう）、球
面写像法が知られている。

２眼ステレオ法は、第９図に示す如く、人間の両眼と同
様に、２台のカメラの各々を異なる視点Ｆ＋　、Ｆ２に
設け、異なる視点Ｆｌ、Ｆ２から対象物ＢＪを観察し、
測量学の３角測量の原理で奥行き情報、即ち対象物ＢＪ
の点Ｐまでの距離情報を計測するものである。即ち、各
カメラの画面Ｃ１、Ｃ２が捕捉した２次元投影像を比較
し、対象物ＢＪＯ点Ｐに対応する左画面Ｃ４上の点Ｐ、
が、左画面Ｃ２上の点Ｐ３に対応することを検出する対
応点決定を行い、これら両画面ＣＩ、Ｃ２内の位置とカ
メラの幾何学的配置から、対応点に相当する対象物Ｂ　
、Ｊの点Ｐの３次元位置を求める。

そして、線分の３次元方位を求めるには、点Ｐの属する
線分について複数の点の３次元位置を求めることによっ
て、３次元方位を求めるものである。

次に、投光法は、２眼ステレオ法の複雑な対応点決定処
理を避けるべく、第１０図に示す如く、一方のカメラを
投光器に置き代えたものである。

この方法は、スリット面下を有する投光器Ｔによってス
リット光を対象物ＢＪに照射し、その反射光をテレビカ
メラで受け、テレビ画面Ｃ中の位置を検出し、投光器Ｔ
とテレビカメラの位置関係から反射点の３次元位置を計
算する。

そして、３次元方位を計測するには、対象物ＢＪの全面
を光照射し、対象物ＢＪの反射点の全ての３次元位置を
計算し、これから線分を抽出して、線分の各点の３次元
位置より線分の方位を求めるものである。

又、球面写像法は、線分の３次元方位を直接求めるもの
であり、第１１図に示す如く、テレビカメラを並進移動
して得た複数の入力画像を球面Ｂに投影し、球面Ｂ上で
点を大円に変換し、線分の投影像を含む大円群を求め、
それら大円の交点ＳＳの位置から線分の３次元方位を求
めるものである。

例えば、線分■、がテレビカメラを並進移動して得た画
像中にり、Ｌ’、Ｌ　として表れれば、球面Ｂに第１１
図の如く投影され、各々大円Ｓ、Ｓ′、Ｓ　に変換され
、その交点ＳＳ、即ち線分りの無限遠点を検出して、３
次元方位を計測するものである。

〔発明が解決しようとする問題点〕

従来の２眼ステレオ法は、対応点決定処理を行うのに、
多大な時間を要し、又投光法は、対象物の全面を走査す
るため、画像入力に時間がかかるとい・う問題がある。

しかも、２眼ステレオ法も、投光法も、基本的には、対
象物上の点までの奥行き情報を計測する技術であるため
、この情報から線分の３次元方位を求めるためには、更
に入力画像の中から線分を抽出し、その線分上の複数の
点に対する奥行き情報から計算によって求める必要があ
り、このことが更に処理を複雑なものとするという問題
が生じていた。

一方、３次元方位を直接求められる球面写像法において
は、前述の２眼ステレオ法や投光法のような複雑な処理
を要しないものの、球面状のメモリを用いたり、点を大
円に変換する処理に特殊なハードウェアを必要とするな
ど、装置構成上コストが高価となるという問題があった
。

本発明は、処理が容易でしかも複雑な構成を要すること
なく、線分の３次元方位を計測しろる線分の３次元方位
計測方法を提供することを目的とする。

〔問題点を解決するための手段〕

第１図及び第２図は本発明の原理説明図である。

第１図（Ａ）におい、て、Ｌを線分とし、Ｏｏ、０１．
０□を撮像手段の撮像中心、Ｔｏ、Ｉｔ、Ｉ２をこれら
に対応する撮像面とする。

線分■、を撮像中心Ｏ８で撮像面■。に２次元投影像と
して撮像すると、線分りは撮像面Ｉ。で第１図（Ａ）及
び第１図（Ｂ）に示す如く１゜として投影される。撮像
手段の光軸の方向を変えず、位置を図の如く、撮像中心
０１．０２に変えた時の線分りの撮像面ＴＩ、＋２の２
次元投影像においては、第１図（Ａ）、第１図（Ｃ）、
第１図（Ｄ）の如くβ１、β２として投影される。従っ
て、光軸を平行にし、複数位置で線分りを撮像すると、
第１図（Ｂ）、（Ｃ）、（Ｄ）の如く、線分りの投影像
Ａｏ　、６＋　、Ｉｌｔの如く異なる。

これらの投影像を撮像中心Ｏ８、ＯＩ、Ｏｚを一致させ
た中心点Ｏでみると、第２図（Ａ）に示す如く、線分Ｉ
−が矢印方向にり、Ｌ′、Ｌ　の様に直線移動したかの
如く見え、その撮像面■　（撮像面Ｉ。、Ｉｔ　、Ｉ２
の重ね合わせ面）では、第２図（Ｂ）の如く、線分りの
移動に応じて、投影像（線分）　ｊ２ｏ　、ｊ２＋　、
’１２２が現れる。

この像（線分）　（ｔｏ　、Ｉｌ＋　、ｌ−ｚを直線に
変換すると、点ＳＳで交わり、線分りが直線移動しても
、不動である。

この点ＳＳは、線分りの無限遠点にあたり、点○と点Ｓ
Ｓを結ぶベクトルβは線分りの方向ベクトルＬ＝Ｌ’、
Ｌ　−−一−に一致する。

従って、中心点Ｏからのベクトルｌを求めれば、線分り
の３次元方位を計測できる。

即ぢ、光軸を平行にして、複数位置で線分りを撮像して
得た撮像面（入力画像）１．、ＴＩ、Ｉ２の各々に対し
、線分７！。、１１、＋１２を抽出し、その直線を求め
、共通撮像面Ｉとしての２次元メモリに直線を書込めば
、第２図（Ｂ）のものが得られる。２次元メモリの各ア
ドレスを、ヘクＩ・ルｌに対応させておけば、これから
交点ＳＳ′を検出すると、交点ＳＳは中心点○からのヘ
クトルマを示しているので、２次元メモリの交点位置か
ら線分りの撮像手段を中心とした極座標の緯度、経度と
いう３次元方位が得られる。

入力画像■。、ｌ、１．１２を得る方法としては、撮像
手段を直線移動して線分りを撮像する方法と、撮像手段
を複数設けて、線分■５を撮像する方法とがある。

〔作用〕 本発明では、光軸を平行にし、複数位置で線分りを撮像
すると、撮像した線分りの２次元投影像として現れる、
線分ｌ。、、１４、Ｉ２の傾きが平行とならず、その交
点ＳＳが線分りの無限遠点にあたることを利用して、線
分りの３次元方位を計測しているので、３次元方位を直
接検出でき且つ２次元メモリでの処理ができるから、処
理が容易で高速の計測が可能となるとともに、特殊なハ
ードウェアを要せずに計測が可能となる。

〔実施例〕

（ａ）一実施例の説明 第３図は本発明の一実施例構成図である。

図中、■は撮像手段であり、テレビカメラで構成され、
対象物の２次元投影像を捕捉し、人力画像として出力す
るもの、１ａはカメラ移動機構部であり、撮像手段（以
下カメラと称す）１を対象物に対し並進移動させるもの
、２は輪郭抽出部であり、カメラ１からの入力画像から
輪郭部分を抽出するものであり、例えば３×３画素のマ
ククによる空間フィルタ処理を行って濃淡の変化が急峻
な画素のみを輪郭画素として抽出する周知のもの、２ａ
ば輪郭メモリであり、輪郭抽出部２で抽出された輪郭画
素のアドレス（ｘ、ｙ）と濃度値を格納しておくもの、
３ば線分抽出部であり、輪郭メモリ２ａに格納された輪
郭画素のアドレスをもとに、輪郭の中に含まれる線分を
抽出するものであり、例えば、ハフ（ｌｌｏｕｇｈ）変
換によってアドレスから対象線分を含む直線の位置γと
傾きθを得る公知のもの、４は直線発生器であり、線分
抽出部３からの直線の位置γ、傾きθによって直線を発
生し、後述する２次元メモリに書込むもの、５は２次元
メモリであり、適当な大きさの格子状アドレスを持つ通
常の画像メモリで構成され、直線発生器４により直線か
書込まれるもの、６はピーク抽出部であり、２次元メモ
リ５の直線の交点を抽出するだめのものであり、例えば
、適当な大きさく５Ｘ５画素）のウィンドを２次元メモ
リ５内で順次走査しながら、ピークのあるアドレスを求
めるもの、７は変換テーブルであり、２次元メモリ５の
アドレス（ｘ、ｙ）を３次元方位に変換する座標変換テ
ーブルであり、各アドレス（Ｘ、ｙ＞に対し、カメラ１
の中心点０を中心とした極座標の緯度と経度を格納した
リードオンリーメモリ（ＲＯＭ）で構成されるもの、８
は制′４１■プロセノザであり、各部の動作制御を行う
もの、９はハスであり、制御用プロセッサ８と各部の間
でデータ、コマンドのやりとりを行うものである。

第４図は本発明の一実施例処理フロー図であり、第５図
は輪郭抽出処理フロー図、第６図は線分抽出処理説明図
、第７図は交点抽出処理説明図、第８図は座標変換処理
説明図である。

以下、第４図にもとづいて、第３図実施例の動作を説明
する。

■　制御プロセッサ８は、方位計測に先立って、ハス９
を介し、２次元メモリ５をクリアする。

■　次に、制御プロセッサ８は、カメラ１から画像を入
力せしめる。カメラ１からの一画面（撮像面）分の画像
データは輪郭抽出部２で輪郭抽出さ□ れる。第５図（Ａ）に示す如く、画面■　（例えば５１
２Ｘ５１２画素）の横方向をＸ、縦方向をＹとすると、
輪郭抽出部２では、内臓するフレームメモリに−・画面
の入力画像をいったん格納し、空間フィルタ処理によっ
て、濃淡の変化が急峻な画素のアドレスと濃度値を第５
図（Ｂ）の如く輪郭メモリ２ａに格納していく。

この輪郭抽出処理は公知の技術によってビデオ信号速度
、即ち、１画面当たり、１Ｘ３０秒の速度で処理が可能
である。

■　次に、線分抽出部３は、輪郭メモリ２　ａに格納さ
れたアドレスを元に、輪郭の中に含まれる線分を抽出す
る。

線分抽出処理は、第６図に示す如く、ハフ変換によって
行われる。

ハフ変換は、入力画像についての直ｖＡ（線分）の抽出
を行うものとして周知であり、簡単に説明する。

いわゆるハフ変換においては、第６図（Ａ）図示の如き
画像プレーン上の点（ｘｉ、ｙｉ）が、第６図（Ｂ）図
示の如きパラメータプレーンにおいて、 ｙ＝ｘｉｃｏｓθ＋ｙｉｓｉｎθ で表、れる正弦波〈写像関数）に変換される。

］　２ ここで、第６図（Ａ）図示の如き１直線上の各点に対応
する正弦波を、パラメータプレーンにプロンＩ−すると
、第６図（Ｂ）図示の如く、２点（γが正のものだけ考
えれば１点）で交わる。この点の回転角θ。、高さγ。

は、第６図（Ａ）の各点が構成する直線に対し原点から
垂直な線を下ろした時の垂直線の長さγ。と回転点θ。

を示すことになるから、これによって当該各点の構成す
る直線の情報を抽出出来る。

従って、輪郭メモリ２ａのアドレス（ｘ、ｙ）を正弦波
に変換し、交点を求めることによって、輪郭から対象線
分を含む直線と、その直線の傾きθ。、位置γ。が得ら
れ、これを並列処理によって高速に実行できる。

■　このようにして、画像から輪郭が、輪郭から直線が
抽出され、抽出された直線の情報（位置及び傾き）は、
直線発生器４に与えられる。

直線発生器４では、直線の情報から２次元メモリ５に直
線を書込む。２次元メモリ５に直線を書込むには、直線
発生器４で直線の画素アドレスを発生し、直線に当たる
２次元メモリ５の画素の値をある一定値だけ加算するこ
とによって、２次元メモリ５に書込みを行う。

又、はっきりした輪郭線分を他より重視して計測するに
は、輪郭メモリ２ａに格納されている濃度値を加算すれ
ばよい。

■　制御プロセッサ８は各部の動作をハス９を介し監視
し、一画面の直線書込みが終了すると、必要な回数入力
画像をとり、２次元メモリ５に書込んだかを判定し、必
要な回数終了していなければ、カメラ移動機構部１ａに
ハス９を介し、移動指令を与え、カメラ１を並進移動さ
せ、ステップ■に戻る。

必要な回数は、対象のシーンや、カメラ１の移動距離に
よって異なるが、一般にシーンが複雑なほど、又カメラ
１の移動距離が小さいほど、正確な計測結果を得るため
の必要な回数が多くなる。

■　このようにして、必要な回数の画像入力、輪郭抽出
、線分抽出、２次元メモリ５への直線書込みが終了する
と、交点抽出処理に移る。

前述の如く、カメラ１を並進移動させ、光軸を並行とし
、複数回の画像入力を行って、直線書込みを２次元メモ
リ５に行うと、２次元メモリ５の内容は第７図の如くな
る。例えば、第１図及び第２図で示した３点での画像入
力を行うと、線分りｏ、ｐ７．１２に対応する直線β。

′、ｐ、′、１２゛が２次元メモリ５に書込まれる。

この直線１０　′、　１′、β２′は線分Ｉ、の無β 限遠点に相当する点で交わるため、２次元メモリ５上で
その交点画素の値がピークとなる。

そこで、必要な回数の２次元メモリ５への直線書込みが
終わったあとで、ピーク点を抽出してやれば、線分の無
限遠点を抽出できる。

即ち、２次元メモリ５内でウィンドを順次走査しながら
、ピークのあるアドレス（ｘｉ、、ｙｉ）を求める。こ
の交点抽出処理もビデオ信号速度で行うことができる。

■　次に、ピーク抽出部６がピーク点のアドレスを求め
ると、座標変換処理によって、３次元方位を求める。

即ち、２次元メモリ５の各画素アドレスの各々は、カメ
ラ１の投影中心からみた３次元方位を表す異なるベクト
ル（第２図（Ａ）のベタ１〜ルア）に対応している。

従って、第８図（Ａ）に示す如く、２次元メモリ５の各
画素アドレス（ｘｉ、ｙｉ）に対する、カメラ１の投影
中心を中心とした極座標の緯度α、経度βを定め、第８
図（Ｂ）の如く、２次元メモＩＪ　５のアドレス（ｘ、
ｙ）に対応する緯度α、経度βを格納する座標変換テー
ブル７を、ピーク点のアドレスでアクセスすれば、線分
りの３次元方位を表す緯度α、経度βが出力される。例
えば、５１２Ｘ５１２画素の２次元メモリ５に対し、Ｘ
＝ｙ＝２５６の中央において、α−β−０となる。

このようにして、カメラ１を並進移動し、対象物を光軸
に並行に位置を変えて、複数影像した入力画像から、構
成線分の３次元方位を得ることができる。

この３次元方位を求める３輪郭処理等は並行処理できる
のでビデオ信号速度で３次元方位を求められ、高速に計
測ができる。

又、線分抽出にハフ変換を用いているので、各入力画像
の直線を識別する必要がなく、２次元メモリ５で交点を
持つものは１つの線分りに対応するから、複数の構成線
分の方位を何等直線の対応関係を識別することなく計測
できる。

（ｂ）他の実施例の説明 上述の実施例から明白な如く、３次元方位が計測できる
のは、無限遠点が２次元メモリ５内にあられれる線分に
限られる。

これは、２次元メモリ５上で線分を直線に対応づけるこ
とに由来しており、適当なスケール変換操作によって交
点が常に２次元メモリ５内に収まるような図形に線分を
対応づけるようにすれば、これを避けることができる。

又１、線分りの方向ベクトルが、カメラ１の移動ベクト
ルと交わるか又は平行であるような場合には、その線分
を含む直線は、カメラ１を移動しても、２次元メモリ５
」二で動かないため、３次元方位を計測できないことに
なる。

これを解決するためには、カメラ１の光軸の方向を保っ
たまま、−直線以外の移動をさせればよく、例えば、カ
メラｌを水平に移動して、ｎ画面入力したあと、垂直方
向に移動してｎ画面入力すればよい。

上述の例では、カメラ１を移動させているが、複数個の
カメラを光軸を一致させ、位置を異ならせて配置しても
よい。この場合も、カメラを一直線上に配置すると、前
述のカメラを一直線上に移動する場合と同一の問題が生
じる。従って、３個以上のカメラを用いて、互いの光軸
を保ったまま、できるだけバラバラの位置に配置するこ
とがよく、例えばｎ個（ｎ≧３）のカメラを用いるとき
は、正ｎ角形の各頂点に１個づつカメラを配置すればよ
い。

上述の実施例では、第３図の構成のもので説明したが、
輪郭メモリ２ａは、輪郭抽出部２と線分抽出部３の処理
速度の違いを吸収するために設けたものであり、不要な
らば、除いてもよく、線分抽出処理もハフ変換によるも
のに限らず、種々の公知のものを用いてもよい。

又、カメラ１を移動しながら、２次元メモリ５への書込
みを順次行っているが、予めカメラ１で複数の入力画像
を得ておき、その後各々の画像に対し、以降の処理を行
って３次元方位を計測するようにしてもよい。

以上本発明を実施例により説明したが、本発明は本発明
の主旨に従い種々の変形が可能であり、本発明からこれ
らを排除するものではない。

〔発明の効果〕

以上説明した様に、本発明によれば、線分の３次元方位
を入力画像から直接に、しかも容易な処理で求めること
ができ高速な３次元方位の計測を可能とするという効果
を奏し、特に、運動しているロボットの視覚に用いると
その効果は顕著である。

又、処理が容易で構成も複雑化しないから、安価な構成
で実現できるという効果を奏し、３次元方位の計測が安
価な構成で達成でき、その普及に寄与する。

【図面の簡単な説明】

第１図及び第２図は本発明の原理説明図、第３図は本発
明の一実施例構成図、 第４図は本発明の一実施例処理フロー図、第５図は本発
明による輪郭抽出処理の説明図、第６図は本発明による
線分抽出処理の説明図、第７図は本発明による交点抽出
処理の説明図、第８図は本発明による座標変換処理の説
明図、第９図、第１０図及び第１１図は従来技術の説明
図である。 図中、Ｌ　−線分、 ｐｏ、Ｉｌｌ、β２−　投影線分、 Ｔｏ、Ｔ＋、Ｉ。−投影面、 Ｏｏ、０１．０２−　投影中心、 １−　撮像手段、 ５−２次元メモリ。 緯分尼 巴匁り里の説明口 ？ｒ 文点才由呂処理−の脱閑図 第７図 ム闇　Ｏｂオ 狡米枝イ打の説」月又 ４７一 ＩＬ本」支着〒の翫朗閃 第１０図 Ｒ米＆村の詑朗図 第１１図

Claims (1)

1. 【特許請求の範囲】 対象物の２次元平面投影像を捕捉する撮像手段からの入
   力画像によって該対象物の構成線分の３次元方位を計測
   する線分の３次元方位計測方法において、 光軸を平行にし、異なる位置で該撮像手段が撮像した複
   数の入力画像の各々に対し、 該入力画像上での線分を抽出して、該線分を含む直線に
   変換して、２次元メモリに書込み、該２次元メモリでの
   該直線群の交点位置から該線分の３次元方位を得ること
   を 特徴とする線分の３次元方位計測方法。