JP3394104B2 - 位置認識方式 - Google Patents

位置認識方式

Info

Publication number
JP3394104B2
JP3394104B2 JP32098194A JP32098194A JP3394104B2 JP 3394104 B2 JP3394104 B2 JP 3394104B2 JP 32098194 A JP32098194 A JP 32098194A JP 32098194 A JP32098194 A JP 32098194A JP 3394104 B2 JP3394104 B2 JP 3394104B2
Authority
JP
Japan
Prior art keywords
point
virtual center
image
center point
direction information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP32098194A
Other languages
English (en)
Other versions
JPH07229717A (ja
Inventor
隆之 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP32098194A priority Critical patent/JP3394104B2/ja
Publication of JPH07229717A publication Critical patent/JPH07229717A/ja
Application granted granted Critical
Publication of JP3394104B2 publication Critical patent/JP3394104B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、部または凸部を有す
る物体が取り込まれた画像にづき、前記物体の部ま
たは凸部の位置を認識する位置認識方式に関し、特に産
業用ロボット、自動車監視システムなどに適用して好適
な位置認識方式に関するものである。
【0002】
【従来の技術】従来、この種の位置認識方式としては、
例えば物体の凹部の代表である穴の位置を認識するに際
しては、Hough変換を用いて穴の輪郭である円また
は楕円のその中心を推定して穴の位置を認識する方法が
ある。また、正規化相互相関を用いて予め登録される穴
の輪郭である円または楕円の形状との相関関係により穴
の位置を認識する方法がある。
【0003】
【発明が解決しようとする課題】しかしながら、前述さ
れたものにおいては、前者に関しては円または楕円の中
心を推定するに際して三次元空間内において実施するた
めに膨大なメモリ容量と、処理時間とを要し、現実的に
は実用的でないという問題点がある。また、後者に関し
ては、予め登録される穴の二次元射影である円または楕
円の形状自体に制限されるために、拡大・縮小または回
転があるような場合には位置の認識ができないという問
題点がある。
【0004】本発明は、このような問題点を解消するこ
とを目的として、メモリ容量が小さくて済み、処理時間
を短縮することができるとともに、三次元空間内での撮
像される凹部または凸部を有する物体の姿勢に係わらず
その凹部または凸部の位置を認識することができる位置
認識方式を提供することである。
【0005】
【課題を解決するための手段および作用・効果】前述さ
れた目的を達成するために、本発明による位置認識方式
は、第1に部または凸部を有する物体が撮り込まれ
た画像を勾配方向情報に変換し、各画素における勾配方
向情報の内容が凹部または凸部の仮想中心点に対して対
称関係にあるかを、その勾配方向情報の内容から得られ
る前記仮想中心点に対する点対称点対の数をカウントす
ることで検知し、その点対称点対の数が所定個数以上で
ある仮想中心点を前記画像に撮り込まれた体の凹部ま
たは凸部として認識することを特徴とするものである。
【0006】また、本発明による位置認識方式は、第2
に、 凹部または凸部を有する物体が撮り込まれた画像を
法線方向情報に変換し、各画素における法線方向情報の
内容が凹部または凸部の仮想中心点に対して対称関係に
あるかを、その法線方向情報の内容から得られる前記仮
想中心点に対する点対称点対の数をカウントすることで
検知し、その点対称点対の数が所定個数以上である仮想
中心点を前記画像に取り込まれた物体の凹部または凸部
として認識することを特徴とするものである。
【0007】凹部または凸部を有する物体が撮り込まれ
た画像を、例えばテンプレートマッチング手法等によっ
て勾配方向情報または法線方向情報に変換し、こうして
勾配方向情報または法線方向情報に変換された画像上
を、凹部または凸部の仮想中心点となる画素を移動さ
せ、各画素における勾配方向情報または法線方向情報の
内容がこの仮想中心点に対して対称関係にあるかを、そ
の勾配方向情報または法線方向情報の内容から得られる
前記仮想中心点に対する点対称点対の数をカウントする
ことで検知し、その点対称点対の数が所定個数であれば
その仮想中心点を物体の凹部または凸部として認識す
る。なお、画素は、例えば1画素領域、2×2画素領域
または1×2画素領域より構成され得る。
【0008】したがって、各画素における勾配方向情報
または法線方向情報の内容が凹部または凸部の仮想中心
点に対しての対称関係にあるかを検知することで凹部ま
たは凸部の位置を認識することから、メモリ容量が小さ
くて済み、処理時間を短縮することができる。しかも、
三次元空間内での撮り込まれたされた凹部または凸部を
有する物体の姿勢に係わらずその凹部または凸部の位置
を認識することができる。
【0009】前記仮想中心点に対して対称関係にあるか
の検知は、この仮想中心点を中心とする所定領域毎に行
われ、前記所定領域は前記画素のM×M個(Mは3以上
の整数)より構成されるのが好ましい。なお、前記撮り
込まれた画像は、距離画像であり得る。
【0010】
【実施例】次に、本発明による位置認識方式にもとづく
具体的実施例につき、図面を参照しつつ説明する。
【0011】図1において、三次元カメラ10からの撮
像された本実施例においては凹部である穴を有する物体
の奥行情報を表すZ座標値距離画像は、X座標値距離画
像およびY座標値距離画像とともにバス11を介してコ
ンピュータ12に入力される。このコンピュータ12
は、所定プログラムを実行する中央処理装置(CPU)
12Aと、このプログラムを記憶する読出し専用メモリ
(ROM)12Bと、プログラムを実行するに際して必
要な各種レジスタ、更には前記X,Y,Z座標値距離画
像、本実施例においてはPrewittオペレータ
(“画像解析ハンドブック”P554〜555,高木幹
雄他著,東大出版会)および特徴空間におけるモデルな
どの記憶領域を含むワーキングエリアなどが設定される
読出し/書込み可能メモリ(RAM)12Cとより構成
されている。そして、コンピュータ12は所定プログラ
ムを実行することにより、本実施例においては撮像され
る物体の穴の位置情報がモニター13に表示される。
【0012】次に、前述のプログラムにもとづく基本的
動作について、図2に示されているフローチャートによ
って説明する。S−1 まず、一辺を位置認識される物
体の凹部である穴の径を超える大きさで画素単位となる
M画素としてM×M画素領域、本実施例においては3×
3画素領域を設定し、この3×3画素領域を図3に示さ
れているように1画素ずつとなるように9等分して3×
3画素領域の中心域に対して他の8個の域が放射状に位
置するように設定する。また、各域には、中心域を中心
として位置認識される物体の穴の特徴、言い換えれば図
4に示されているように勾配ベクトル方向を表す番号を
各勾配ベクトルに割り付けて中心域にはベクトル方向を
有さないことを表す番号8を配して設定する。こうし
て、図3に示されている特徴空間、本実施例においては
勾配ベクトル空間上でのモデルを生成する。
【0013】S−2 三次元カメラ10からのX,Y,
Z座標値距離画像をN×N画素(N≧M)分、本実施例
においては7×7画素分を撮り込む。次に、このX,
Y,Z座標値距離画像にスムージング処理を十分に行っ
てZ座標値距離画像として本実施例においては図5に示
されているスムージング処理後のZ座標値距離画像を得
る。なお、図5に示されているZ座標値距離画像におい
ては、数字が大なる数値程、三次元カメラ10からZ軸
方向に遠いことを表している。
【0014】S−3 図5に示されているZ座標値距離
画像に対してのPrewittの方法によるテンプレー
トマッチングにより各局所領域内の各画素に対して、次
のようにして画定して図6に示されているような特徴空
間上に変換された変換画像を得る。
【0015】まず、各画素における最も強い勾配ベクト
ル方向を調べ、各画素にその勾配ベクトル方向を割り付
けることで各画素の有する情報をZ座標値距離画像から
勾配ベクトル方向情報に変換するが、この変換時に本実
施例においては勾配ベクトル方向の割り付けに際してテ
ンプレートマッチングを用いている。このテンプレート
マッチングには、図7に示されている各勾配ベクトル方
向に対応する8種類のマスクパターンが用いられるとと
もに、これら各勾配ベクトル方向に付されている番号は
図4に示されている各勾配ベクトル方向の番号に対応し
ている。こうして、図5に示されているZ座標値距離画
像の各1画素毎に注目画素に近傍する8画素を含む3×
3画素に対して各マスクパターンの値を乗じて和をとっ
て一致の度合を計算し、最もその和の数が大きいマスク
パターンの勾配ベクトル方向に付されている番号をその
注目画素に割当てる。
【0016】S−4〜S−11 まず、図6に示されて
いる変換画像上の左上側に重なるように図3に示されて
いるモデルを重ね合わせて物体の凹部の仮想中心点Aが
その変換画像の左上に位置するように配し、重なり合う
各画素に対応する前記変換画像における番号からモデル
における番号を差引く。この差が±α以下であると
“1”とし、また±αを超えると“0”とし、本実施例
においてはαは0であるために図8(a)に示されてい
る結果を得る。次に、この図8(a)に示されている結
果において仮想中心点Aに対して配置される対称点対を
計数する。この場合は、対称点対がないために図9に示
されている計数表にその仮想中心点Aに対応する位置に
0を設定する。
【0017】このようにして、変換画像上を仮想中心点
A、言い換えればモデルをβ画素、本実施例においては
1画素づつ右側にずらし、右端に到達すると同様にβ画
素、本実施例においては1画素だけ下側にずらして同様
に左端から1画素づつ右側にずらして、変換画像上の右
下側に到達してモデルが重ね合わされるまで続けて図9
に示されている計数表を得る。なお、仮想中心点Aが変
換画像上の真中にくるときには図8(a)に示されてい
る同様の結果が図8(b)に示されている通りとなって
仮想中心点Aに対して配置される対称点対を計数すると
“4”となるために図9の計数表に示されているように
その仮想中心点Aに対応する位置に“4”が設定されて
いる。
【0018】S−12 図9の計数表に示されている仮
想中心点Aに対して配置される対称点対の計数値の結果
にもとづき、予め物体の穴の個数を予想して設定される
n個に対応して上位n個の仮想中心点Aを抽出する。な
お、本実施例の場合は、n=1で仮想中心点Aは図9に
示されている計数表の真中、図5に示されているスムー
ジング処理後のZ座標値距離画像においては真中の画素
となる。
【0019】S−13 抽出される各仮想中心点Aに対
する対称点の位置から、本実施例においては図8(b)
において“1”がある位置を穴のエッジとみなし各位置
の画素のX,Y,Z座標値距離画像から変換して得られ
たX,Y,Z座標値にもとづいて、次のようにして各仮
想中心点Aに対応する穴中心座標値および穴径を算出す
る。
【0020】
【数1】
【0021】次に、各仮想中心点Aに対応して対称点の
分散値を最小二乗法による球にあてはめて算出する。こ
のようにして算出された各仮想中心点Aに対応する穴径
および分散値が予め設定される範囲内にあるか判断して
それら穴径および分散値がその範囲内にある場合の仮想
中心点Aを選択してそれら仮想中心点Aを真の中心と
し、これら仮想中心点Aに対応する穴中心座標値、穴径
などをモニター13に表示させる。
【0022】本実施例においては、特徴を8個の方向の
異なる勾配ベクトルから構成したが、12個の方向の異
なる勾配ベクトルから構成して精度を向上させるように
しても良く、また4個の方向の異なる勾配ベクトルから
構成して処理速度を向上させるようにしても良い。ま
た、Z座標値距離画像から特徴空間空間上への変換にP
rewittの方法を用いたがロビンソンの方法、更に
はKirshの方法(“画像解析ハンドブック”P55
4〜555,高木幹雄他著,東大出版会)を用いても良
い。
【0023】さらに、対称点対の計算値から仮想中心点
Aを抽出するに際して予め物体の穴の個数を予想して設
定されるn個に対応して上位n個を抽出したが、Pタイ
ル法、大津の方法(“画像解析ハンドブック”P502
〜505,高木幹雄他著,東大出版会)により自動的に
抽出するようにしても良い。
【0024】本実施例においては、特徴空間情報として
勾配ベクトル空間情報を用いたが、例えば、次のように
して法線ベクトル空間情報を用いることができる。本実
施例と同様に図10に示されているように3×3画素領
域の各域に図11に示されている各法線ベクトルに割り
付けられた法線ベクトル方向を表す番号を配して設定
し、法線ベクトル空間上でのモデルを生成する。
【0025】次に、前述の三次元カメラ10からの本実
施例と同様にして7×7画素分のX座標値距離画像,Y
座標値距離画像およびZ座標値距離画像を撮り込みスム
ージング処理を十分に行って図12乃至図14に示され
ているX座標値距離画像およびY座標値距離画像に加え
て図5に示されているZ座標値距離画像と同一のZ座標
値距離画像を得る。続いて、本実施例では3×3画素領
域を面の最小単位と考えて注目し、次のようにして面の
法線ベクトルを求める。
【0026】
【数2】
【0027】本実施例においては、特徴空間上でのモデ
ルとして3×3画素領域の小さなモデルを用いたが、例
えば64×64画素領域のモデルを用いて変換画像上に
重ね合わせ、重なり合う各画素に対する変換画像におけ
る番号からモデルにおける番号を差引くと、この差引く
回数が64×64=4096個となる。言い換えれば、
M×M画素領域のモデルにおける画素数Mが大きくなる
につれて画素数Mの自乗に比例して計算回数が増し、処
理速度が遅くなる。この画素数Mが大きくなっても処理
速度が遅くならないようにするには、例えば画素数Mの
自乗値が所定値γ以上である場合には、次式を満たすm
を求めてそのmを整数化してm画素づつ間引きして処理
すれば画素数Mが大きくなっても処理時間は一定以上に
は遅くにはならない。
【0028】
【数3】
【0029】本実施例においては、物体の凹部である穴
の位置を認識させるようにしたが、特徴空間上でのモデ
ルを適宜に定めることによって物体の凸部、更には凹部
の他の例である溝、更には凸部の他の例である棒の位置
も認識させるようにすることができる。
【0030】本実施例においては、離画像らある強
さ以上の微分値または二次微分値をもつ点を抽出してそ
の抽出された点群に関し対称対を計数することで明確な
座標値などまでは得られないが物体の凹部、凸部の位置
を認識することができる。
【0031】前述のように、本発明は、種々に変更可能
なことは明らかである。このような変更は本発明の精神
および範囲に反することなく、また当業者にとって明瞭
な全てのそのような変形、変更は、請求の範囲に含まれ
るものである。
【図面の簡単な説明】
【図1】図1は、本発明による位置認識方式にもとづく
特徴空間情報として勾配ベクトル空間情報を用いた場合
の具体的実施例のブロック図である。
【図2】図2は、図1において説明したプログラムのフ
ローチャート図である。
【図3】図3は、図2において説明した勾配ベクトル空
間上でのモデル図である。
【図4】図4は、図2において説明した穴の中心へ向か
う各勾配ベクトルの方向と番号との関係を示す説明図で
ある。
【図5】図5は、図2において説明したスムージング処
理後のZ座標値距離画像図である。
【図6】図6は、図2において説明したZ座標値距離画
像の勾配ベクトル空間上に変換された変換画像図であ
る。
【図7】図7は、図2において説明したテンプレートマ
ッチングに用いるマスク群図である。
【図8】図8は、図2において説明した仮想中心点Aに
対する対称点対の計数についての説明図である。
【図9】図9は、図2において説明した計数表である。
【図10】図10は、本発明による位置認識方式にもと
づく特徴空間情報として法線ベクトル空間情報を用いた
場合の具体的別実施例の図3に対応する法線ベクトル空
間上でのモデル図である。
【図11】図11は、図4に対応する同様に別実施例の
中心から外方へ向かう各法線ベクトルの方向と番号との
関係を示す説明図である。
【図12】図12は、図5に対応する同様に別実施例の
スムージング処理後のX座標値距離画像図である。
【図13】図13は、図5に対応する同様に別実施例の
スムージング処理後のY座標値距離画像図である。
【図14】図14は、図5に対応する同様に別実施例の
スムージング処理後のZ座標値距離画像図である。
【図15】図15は、図7に対応する同様に別実施例の
テンプレートマッチングに用いる基準法線ベクトル群で
ある。
【図16】図16は、図6に対応する同様に別実施例の
X,Y,Z座標値距離画像の法線ベクトル空間上に変換
された変換画像図である。
【符号の説明】
10 三次元カメラ 11 バス 12 コンピュータ 13 モニター
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G01B 11/00 - 11/30 G06T 1/00 G06T 7/00 G06T 7/60 G06T 9/20

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 部または凸部を有する物体が撮り込ま
    れた画像を勾配方向情報に変換し、各画素における勾配
    方向情報の内容が凹部または凸部の仮想中心点に対して
    対称関係にあるかを、その勾配方向情報の内容から得ら
    れる前記仮想中心点に対する点対称点対の数をカウント
    することで検知し、その点対称点対の数が所定個数以上
    である仮想中心点を前記画像に撮り込まれた体の凹部
    または凸部として認識することを特徴とする位置認識方
    式。
  2. 【請求項2】 凹部または凸部を有する物体が撮り込ま
    れた画像を法線方向情報に変換し、各画素における法線
    方向情報の内容が凹部または凸部の仮想中心点に対して
    対称関係にあるかを、その法線方向情報の内容から得ら
    れる前記仮想中心点に対する点対称点対の数をカウント
    することで検知し、その点対称点対の数が所定個数以上
    である仮想中心点を前記画像に撮り込まれた物体の凹部
    または凸部として認識することを特徴とする位置認識方
    式。
  3. 【請求項3】 前記仮想中心点に対して対称関係にある
    かの検知は、この仮想中心点を中心とする所定領域毎に
    行われ、前記所定領域は前記画素のM×M個(Mは3以
    上の整数)より構成される請求項1または2に記載の位
    置認識方式。
  4. 【請求項4】 前記撮り込まれた画像は、距離画像であ
    る請求項1〜3のいずれかに記載の位置認識方式。
JP32098194A 1993-12-24 1994-12-22 位置認識方式 Expired - Fee Related JP3394104B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP32098194A JP3394104B2 (ja) 1993-12-24 1994-12-22 位置認識方式

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP5-328751 1993-12-24
JP32875193 1993-12-24
JP32098194A JP3394104B2 (ja) 1993-12-24 1994-12-22 位置認識方式

Publications (2)

Publication Number Publication Date
JPH07229717A JPH07229717A (ja) 1995-08-29
JP3394104B2 true JP3394104B2 (ja) 2003-04-07

Family

ID=26570306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32098194A Expired - Fee Related JP3394104B2 (ja) 1993-12-24 1994-12-22 位置認識方式

Country Status (1)

Country Link
JP (1) JP3394104B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4790653B2 (ja) * 2007-03-30 2011-10-12 シャープ株式会社 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
JP4727614B2 (ja) * 2007-03-30 2011-07-20 シャープ株式会社 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
JP4727615B2 (ja) * 2007-03-30 2011-07-20 シャープ株式会社 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法
US10937168B2 (en) 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
JP6463593B2 (ja) * 2015-11-02 2019-02-06 コグネックス・コーポレイション ビジョンシステムでラインを検出するためのシステム及び方法
DE102016120775A1 (de) 2015-11-02 2017-05-04 Cognex Corporation System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem

Also Published As

Publication number Publication date
JPH07229717A (ja) 1995-08-29

Similar Documents

Publication Publication Date Title
JP6573419B1 (ja) 位置決め方法、ロボット及びコンピューター記憶媒体
JP4002919B2 (ja) 移動体高さ判別装置
US9811742B2 (en) Vehicle-surroundings recognition device
JP5804185B2 (ja) 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
CN110926330B (zh) 图像处理装置和图像处理方法
JPH10222679A (ja) 車両用画像処理装置
US5778107A (en) Position recognition method
JP3394104B2 (ja) 位置認識方式
JP4203279B2 (ja) 注目判定装置
JP2002259984A (ja) 動作解析装置及び動作解析方法
JP5462662B2 (ja) 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム
CN111866467A (zh) 监控视频的三维覆盖空间确定方法、装置及存储介质
JP3408696B2 (ja) 自動認識方法
CN112308836B (zh) 角点检测方法、装置、电子设备及可读存储介质
JPH1055446A (ja) 物体認識装置
JP6760458B1 (ja) 個体体重推定システム、方法およびプログラム
JP3371613B2 (ja) 移動物体検出方法
CN111028264B (zh) 一种旋转鲁棒的三维物体检测优化方法及装置
CN111489384B (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
JP2021043141A (ja) 物体距離推定装置及び物体距離推定方法
JP2018200175A (ja) 情報処理装置、情報処理方法及びプログラム
EP4388912A1 (en) Method of measuring the linear dimensions of an object on the basis of an image
JP7364269B2 (ja) 物体検知装置、画像処理表示方法及びプログラム
WO2021171610A1 (ja) 測量方法、測量装置、測量システム
JP3315175B2 (ja) 3次元計測装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030121

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080131

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090131

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090131

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100131

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110131

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110131

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120131

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130131

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140131

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees