JP3408696B2 - 自動認識方法 - Google Patents
自動認識方法Info
- Publication number
- JP3408696B2 JP3408696B2 JP20822696A JP20822696A JP3408696B2 JP 3408696 B2 JP3408696 B2 JP 3408696B2 JP 20822696 A JP20822696 A JP 20822696A JP 20822696 A JP20822696 A JP 20822696A JP 3408696 B2 JP3408696 B2 JP 3408696B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- image
- virtual center
- center point
- concave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、撮像されて凹部ま
たは凸部を有する物体が撮り込まれた画像にもとづきそ
の画像に撮り込まれた凹部または凸部を有する物体のそ
の凹部または凸部の位置を認識する自動認識方法に関
し、特に産業用ロボット、自動車監視システムなどに適
用して好適な自動認識方法に関するものである。
たは凸部を有する物体が撮り込まれた画像にもとづきそ
の画像に撮り込まれた凹部または凸部を有する物体のそ
の凹部または凸部の位置を認識する自動認識方法に関
し、特に産業用ロボット、自動車監視システムなどに適
用して好適な自動認識方法に関するものである。
【０００２】
【従来の技術】従来、この種の位置認識方式としては、
例えば物体の凹部の代表である穴の位置を認識するに際
して、Ｈｏｕｇｈ変換を用いて穴の輪郭である円または
楕円の中心を推定して穴の位置を認識する方法が知られ
ている。また、正規化相互相関を用いて予め登録される
穴の輪郭である円または楕円の形状との相関関係により
穴の位置を認識する方法も知られている。
例えば物体の凹部の代表である穴の位置を認識するに際
して、Ｈｏｕｇｈ変換を用いて穴の輪郭である円または
楕円の中心を推定して穴の位置を認識する方法が知られ
ている。また、正規化相互相関を用いて予め登録される
穴の輪郭である円または楕円の形状との相関関係により
穴の位置を認識する方法も知られている。
【０００３】しかしながら、前述された従来の位置認識
方式では、前者に関しては円または楕円の中心を推定す
るに際して三次元空間内において実施するために膨大な
メモリ容量と処理時間とを要し、現実的には実用的でな
いという問題点がある。また、後者に関しては、予め登
録される穴の二次元射影である円または楕円の形状自体
に制限があるために、拡大・縮小または回転があるよう
な場合には位置認識ができなくなるという問題点があ
る。
方式では、前者に関しては円または楕円の中心を推定す
るに際して三次元空間内において実施するために膨大な
メモリ容量と処理時間とを要し、現実的には実用的でな
いという問題点がある。また、後者に関しては、予め登
録される穴の二次元射影である円または楕円の形状自体
に制限があるために、拡大・縮小または回転があるよう
な場合には位置認識ができなくなるという問題点があ
る。
【０００４】そこで、このような問題点を解消するため
に、本出願人は、凹部または凸部を有する物体が撮り込
まれた画像を所定特徴空間情報に変換し、この変換され
た画像の各画分における特徴空間情報の内容が凹部また
は凸部の仮想中心点に対して対称関係にあるかを検知
し、この検知にもとづき前記凹部または凸部の位置を認
識する位置認識方式を既に提案している（特開平７−２
２９７１７号公報参照）。この提案された位置認識方式
によれば、メモリ容量が小さくて済み、処理時間を短縮
するとともに、三次元空間内で撮像される凹部または凸
部を有する物体の姿勢に係わらずその凹部または凸部の
位置を認識することが可能となる。
に、本出願人は、凹部または凸部を有する物体が撮り込
まれた画像を所定特徴空間情報に変換し、この変換され
た画像の各画分における特徴空間情報の内容が凹部また
は凸部の仮想中心点に対して対称関係にあるかを検知
し、この検知にもとづき前記凹部または凸部の位置を認
識する位置認識方式を既に提案している（特開平７−２
２９７１７号公報参照）。この提案された位置認識方式
によれば、メモリ容量が小さくて済み、処理時間を短縮
するとともに、三次元空間内で撮像される凹部または凸
部を有する物体の姿勢に係わらずその凹部または凸部の
位置を認識することが可能となる。
【０００５】なお、本願発明に関連する従来技術として
特開平７−２２５８４３号公報に開示されるものがあ
る。この公報のものは円中心位置測定方法に係るもので
あって、二次元画像からエッジ点を検出するとともに、
これらエッジ点の集合について平均四乗誤差最小化法に
より円中心を推定し、この推定された円の円周から離れ
た点を除いたエッジ点の集合から円中心位置を推定する
ようにされている。
特開平７−２２５８４３号公報に開示されるものがあ
る。この公報のものは円中心位置測定方法に係るもので
あって、二次元画像からエッジ点を検出するとともに、
これらエッジ点の集合について平均四乗誤差最小化法に
より円中心を推定し、この推定された円の円周から離れ
た点を除いたエッジ点の集合から円中心位置を推定する
ようにされている。
【０００６】
【発明が解決しようとする課題】しかしながら、前述さ
れている本出願人の既提案による位置認識方式において
は、例えば勾配方向情報のような所定特徴空間情報の内
容が凹部または凸部の仮想中心点に対して対称関係にあ
ればその凹部または凸部のエッジ点と認識するために、
ノイズの発生にもとづいて実際にはエッジ点でないのに
エッジ点と誤認識してしまって計測精度が悪化するとい
う問題点がある。
れている本出願人の既提案による位置認識方式において
は、例えば勾配方向情報のような所定特徴空間情報の内
容が凹部または凸部の仮想中心点に対して対称関係にあ
ればその凹部または凸部のエッジ点と認識するために、
ノイズの発生にもとづいて実際にはエッジ点でないのに
エッジ点と誤認識してしまって計測精度が悪化するとい
う問題点がある。
【０００７】また、本願発明に関連する技術として挙げ
た前記公報（特開平７−２２５８４３号公報）に開示さ
れたものでは、円の中心位置の測定に特定されているた
めに凹部または凸部の形状が正方形もしくは菱形等の場
合に適用することができず、また二次元画像にもとづい
てエッジ点を検出しているために三次元的に円周から離
れた点がある場合に測定することができないといった問
題点がある。
た前記公報（特開平７−２２５８４３号公報）に開示さ
れたものでは、円の中心位置の測定に特定されているた
めに凹部または凸部の形状が正方形もしくは菱形等の場
合に適用することができず、また二次元画像にもとづい
てエッジ点を検出しているために三次元的に円周から離
れた点がある場合に測定することができないといった問
題点がある。
【０００８】本発明は、このような問題点を解消するた
めになされたもので、凹部または凸部の位置認識を行う
に際してその凹部または凸部のエッジ点を正確に特定す
ることができ、これによって計測精度を向上させること
のできる自動認識方法を提供することを目的とするもの
である。
めになされたもので、凹部または凸部の位置認識を行う
に際してその凹部または凸部のエッジ点を正確に特定す
ることができ、これによって計測精度を向上させること
のできる自動認識方法を提供することを目的とするもの
である。
【０００９】
【課題を解決するための手段および作用・効果】本発明
による自動認識方法は、第１に、前述された目的を達成
するために、撮像され凹部または凸部を有する物体が撮
り込まれた画像をその画像の各画素に勾配ベクトル方向
情報を割り付けてなる勾配方向情報に変換し、この勾配
方向情報に変換された画像の所定領域における仮想中心
点より定まる仮想円の外側の複数点を求めるとともに、
これら複数点の座標値からその複数点を通る平面の式を
求め、次いで前記仮想中心点を中心とする所定領域内の
各点における前記勾配方向情報の内容が前記凹部または
凸部の仮想中心点に対して対称関係にあるかを検知し、
前記対称関係を満たし、かつ前記平面の式を満たす点対
称点対数を計数し、前記点対称点対数が最も多い仮想中
心点を検出し、この仮想中心点を中心とする所定領域内
の各点の座標値に基づき、前記画像に撮り込まれた凹部
または凸部を有する物体のその凹部または凸部の位置を
算出することを特徴とするものである。また、本発明に
よる自動認識方法は、第２に、 撮像され凹部または凸部
を有する物体が撮り込まれた画像をその画像の各画素に
法線ベクトル方向情報を割り付けてなる法線方向情報に
変換し、この法線方向情報に変換された画像の所定領域
における仮想中心点より定まる仮想円の外側の複数点を
求めるとともに、これら複数点の座標値からその複数点
を通る平面の式を求め、次いで前記仮想中心点を中心と
する所定領域内の各点における前記法線方向情報の内容
が前記凹部または凸部の仮想中心点に対して対称関係に
あるかを検知し、前記対称関係を満たし、かつ前記平面
の式を満たす点対称点対数を計数し、前記点対称点対数
が最も多い仮想中心点を検出し、この仮想中心点を中心
とする所定領域内の各点の座標値に基づき、前記画像に
撮り込まれた凹部または凸部を有する物体のその凹部ま
たは凸部の位置を算出することを特徴とするものであ
る。
による自動認識方法は、第１に、前述された目的を達成
するために、撮像され凹部または凸部を有する物体が撮
り込まれた画像をその画像の各画素に勾配ベクトル方向
情報を割り付けてなる勾配方向情報に変換し、この勾配
方向情報に変換された画像の所定領域における仮想中心
点より定まる仮想円の外側の複数点を求めるとともに、
これら複数点の座標値からその複数点を通る平面の式を
求め、次いで前記仮想中心点を中心とする所定領域内の
各点における前記勾配方向情報の内容が前記凹部または
凸部の仮想中心点に対して対称関係にあるかを検知し、
前記対称関係を満たし、かつ前記平面の式を満たす点対
称点対数を計数し、前記点対称点対数が最も多い仮想中
心点を検出し、この仮想中心点を中心とする所定領域内
の各点の座標値に基づき、前記画像に撮り込まれた凹部
または凸部を有する物体のその凹部または凸部の位置を
算出することを特徴とするものである。また、本発明に
よる自動認識方法は、第２に、 撮像され凹部または凸部
を有する物体が撮り込まれた画像をその画像の各画素に
法線ベクトル方向情報を割り付けてなる法線方向情報に
変換し、この法線方向情報に変換された画像の所定領域
における仮想中心点より定まる仮想円の外側の複数点を
求めるとともに、これら複数点の座標値からその複数点
を通る平面の式を求め、次いで前記仮想中心点を中心と
する所定領域内の各点における前記法線方向情報の内容
が前記凹部または凸部の仮想中心点に対して対称関係に
あるかを検知し、前記対称関係を満たし、かつ前記平面
の式を満たす点対称点対数を計数し、前記点対称点対数
が最も多い仮想中心点を検出し、この仮想中心点を中心
とする所定領域内の各点の座標値に基づき、前記画像に
撮り込まれた凹部または凸部を有する物体のその凹部ま
たは凸部の位置を算出することを特徴とするものであ
る。
【００１０】本発明においては、撮像され凹部または凸
部を有する物体が撮り込まれかつその撮り込まれた画像
の各画素に勾配ベクトル方向情報もしくは法線ベクトル
方向情報を割り付けてなる勾配方向情報もしくは法線方
向情報に例えばテンプレートマッチング手法を用いて変
換された画像上を、凹部または凸部の仮想中心点となる
点が移動され、この仮想中心点より定まる仮想円の外側
の複数点が求められるとともに、これら複数点の座標値
からその複数点を通る平面の式が求められる。次いで、
前記仮想中心点を中心とする所定領域内の各点における
前記勾配方向情報もしくは法線方向情報の内容が前記仮
想中心点に対して対称関係にあるかが検知され、この対
称関係を満たし、かつ前記平面の式を満たす点対称点対
数を計数し、前記点対称点対数が最も多い仮想中心点を
検出し、この仮想中心点を中心とする所定領域内の各点
の座標値に基づき、この点が凹部または凸部の中心点と
してその凹部または凸部の位置が認識される。なお、前
記所定領域は、例えば２×２画素領域または１×２画素
領域より構成され得る。
部を有する物体が撮り込まれかつその撮り込まれた画像
の各画素に勾配ベクトル方向情報もしくは法線ベクトル
方向情報を割り付けてなる勾配方向情報もしくは法線方
向情報に例えばテンプレートマッチング手法を用いて変
換された画像上を、凹部または凸部の仮想中心点となる
点が移動され、この仮想中心点より定まる仮想円の外側
の複数点が求められるとともに、これら複数点の座標値
からその複数点を通る平面の式が求められる。次いで、
前記仮想中心点を中心とする所定領域内の各点における
前記勾配方向情報もしくは法線方向情報の内容が前記仮
想中心点に対して対称関係にあるかが検知され、この対
称関係を満たし、かつ前記平面の式を満たす点対称点対
数を計数し、前記点対称点対数が最も多い仮想中心点を
検出し、この仮想中心点を中心とする所定領域内の各点
の座標値に基づき、この点が凹部または凸部の中心点と
してその凹部または凸部の位置が認識される。なお、前
記所定領域は、例えば２×２画素領域または１×２画素
領域より構成され得る。
【００１１】したがって、所定領域内の各点における勾
配方向情報もしくは法線方向情報の内容が凹部または凸
部の仮想中心点に対しての対称関係にあるかを検知する
ことで凹部または凸部の位置が認識されることから、メ
モリ容量が小さくて済み、処理時間を短縮することがで
きる。しかも、三次元空間内での撮像された凹部または
凸部を有する物体の姿勢に係わらずその凹部または凸部
の位置を認識することができる。また、前記仮想中心点
に対して対称関係にあり、かつ前記平面の式を満たす点
対称点対数を計数し、前記点対称点対数が最も多い仮想
中心点を検出し、この仮想中心点を中心とする所定領域
内の各点の座標値に基づき、前記凹部または凸部の位置
が認識されることから、この平面の式から一定量離れた
点を排除することができてノイズを除去することがで
き、計測精度を向上させることができる。
配方向情報もしくは法線方向情報の内容が凹部または凸
部の仮想中心点に対しての対称関係にあるかを検知する
ことで凹部または凸部の位置が認識されることから、メ
モリ容量が小さくて済み、処理時間を短縮することがで
きる。しかも、三次元空間内での撮像された凹部または
凸部を有する物体の姿勢に係わらずその凹部または凸部
の位置を認識することができる。また、前記仮想中心点
に対して対称関係にあり、かつ前記平面の式を満たす点
対称点対数を計数し、前記点対称点対数が最も多い仮想
中心点を検出し、この仮想中心点を中心とする所定領域
内の各点の座標値に基づき、前記凹部または凸部の位置
が認識されることから、この平面の式から一定量離れた
点を排除することができてノイズを除去することがで
き、計測精度を向上させることができる。
【００１２】前記仮想中心点に対して対称関係にあるか
の検知は、この仮想中心点を中心とする所定領域毎に行
われ、前記所定領域は、Ｍ×Ｍ個（Ｍは３以上の整数）
の画素領域より構成されるのが好ましい。なお、前記撮
像された画像は、距離画像であり得る。
の検知は、この仮想中心点を中心とする所定領域毎に行
われ、前記所定領域は、Ｍ×Ｍ個（Ｍは３以上の整数）
の画素領域より構成されるのが好ましい。なお、前記撮
像された画像は、距離画像であり得る。
【００１３】
【発明の実施の形態】次に、本発明による自動認識方法
の具体的実施例につき、図面を参照しつつ説明する。
の具体的実施例につき、図面を参照しつつ説明する。
【００１４】図１において、三次元カメラ１０により撮
像された凹部（本実施例においては穴）を有する物体の
奥行情報を表すＺ座標値距離画像は、Ｘ座標値距離画像
およびＹ座標値距離画像とともにバス１１を介してコン
ピュータ１２に入力される。このコンピュータ１２は、
所定プログラムを実行する中央処理装置（ＣＰＵ）１２
Ａと、このプログラムを記憶する読出し専用メモリ（Ｒ
ＯＭ）１２Ｂと、プログラムを実行するに際して必要な
各種レジスタ、更には前記Ｘ，Ｙ，Ｚ座標値距離画像、
本実施例においてはＰｒｅｗｉｔｔオペレータ（“画像
解析ハンドブック”Ｐ５５４〜５５５，高木幹雄他著，
東大出版会）および特徴空間におけるモデルなどの記憶
領域を含むワーキングエリアなどが設定される読出し／
書込み可能メモリ（ＲＡＭ）１２Ｃとより構成されてい
る。そして、コンピュータ１２は所定プログラムを実行
することにより、本実施例においては撮像される物体の
穴の位置情報がモニター１３に表示される。
像された凹部（本実施例においては穴）を有する物体の
奥行情報を表すＺ座標値距離画像は、Ｘ座標値距離画像
およびＹ座標値距離画像とともにバス１１を介してコン
ピュータ１２に入力される。このコンピュータ１２は、
所定プログラムを実行する中央処理装置（ＣＰＵ）１２
Ａと、このプログラムを記憶する読出し専用メモリ（Ｒ
ＯＭ）１２Ｂと、プログラムを実行するに際して必要な
各種レジスタ、更には前記Ｘ，Ｙ，Ｚ座標値距離画像、
本実施例においてはＰｒｅｗｉｔｔオペレータ（“画像
解析ハンドブック”Ｐ５５４〜５５５，高木幹雄他著，
東大出版会）および特徴空間におけるモデルなどの記憶
領域を含むワーキングエリアなどが設定される読出し／
書込み可能メモリ（ＲＡＭ）１２Ｃとより構成されてい
る。そして、コンピュータ１２は所定プログラムを実行
することにより、本実施例においては撮像される物体の
穴の位置情報がモニター１３に表示される。
【００１５】次に、前述のプログラムにもとづく基本的
動作について、図２，図３に示されているフローチャー
トによって説明する。
動作について、図２，図３に示されているフローチャー
トによって説明する。
【００１６】Ｓ１：まず、一辺を位置認識される物体の
凹部である穴の径を超える大きさで画素単位となるＭ画
素としてＭ×Ｍ画素領域、本実施例においては３×３画
素領域を設定し、この３×３画素領域を図４に示されて
いるように１画素ずつとなるように９等分して３×３画
素領域の中心域に対して他の８個の域が放射状に位置す
るように設定する。また、各域には、中心域を中心とし
て位置認識される物体の穴の特徴、言い換えれば図５に
示されているように勾配ベクトル方向を表す番号を各勾
配ベクトルに割り付けて中心域にはベクトル方向を有さ
ないことを表す番号８を配して設定する。こうして、図
４に示されている特徴空間、本実施例においては勾配ベ
クトル空間上でのフィルターを生成する。
凹部である穴の径を超える大きさで画素単位となるＭ画
素としてＭ×Ｍ画素領域、本実施例においては３×３画
素領域を設定し、この３×３画素領域を図４に示されて
いるように１画素ずつとなるように９等分して３×３画
素領域の中心域に対して他の８個の域が放射状に位置す
るように設定する。また、各域には、中心域を中心とし
て位置認識される物体の穴の特徴、言い換えれば図５に
示されているように勾配ベクトル方向を表す番号を各勾
配ベクトルに割り付けて中心域にはベクトル方向を有さ
ないことを表す番号８を配して設定する。こうして、図
４に示されている特徴空間、本実施例においては勾配ベ
クトル空間上でのフィルターを生成する。
【００１７】Ｓ２：三次元カメラ１０からのＸ，Ｙ，Ｚ
座標値距離画像をＮ×Ｎ画素（Ｎ≧Ｍ）分、本実施例に
おいては７×７画素分撮り込む。次に、このＸ，Ｙ，Ｚ
座標値距離画像にスムージング処理を十分に行ってＺ座
標値距離画像として本実施例においては図６に示されて
いるスムージング処理後のＺ座標値距離画像を得る。な
お、図６に示されているＺ座標値距離画像においては、
数字が大なる数値程、三次元カメラ１０からＺ軸方向に
遠いことを表している。
座標値距離画像をＮ×Ｎ画素（Ｎ≧Ｍ）分、本実施例に
おいては７×７画素分撮り込む。次に、このＸ，Ｙ，Ｚ
座標値距離画像にスムージング処理を十分に行ってＺ座
標値距離画像として本実施例においては図６に示されて
いるスムージング処理後のＺ座標値距離画像を得る。な
お、図６に示されているＺ座標値距離画像においては、
数字が大なる数値程、三次元カメラ１０からＺ軸方向に
遠いことを表している。
【００１８】Ｓ３：図６に示されているＺ座標値距離画
像に対してのＰｒｅｗｉｔｔの方法によるテンプレート
マッチングにより各局所領域内の各画素に対して、次の
ようにして画定して図７に示されているような特徴空間
上に変換された変換画像を得る。まず、各画素における
最も強い勾配ベクトル方向を調べ、各画素にその勾配ベ
クトル方向を割り付けることで各画素の有する情報をＺ
座標値距離画像から勾配ベクトル方向情報に変換する
が、この変換時に本実施例においては勾配ベクトル方向
の割り付けに際してテンプレートマッチングを用いてい
る。このテンプレートマッチングには、図８に示されて
いる各勾配ベクトル方向に対応する８種類のマスクパタ
ーンが用いられる。なお、これら各勾配ベクトル方向に
付されている番号は図５に示されている各勾配ベクトル
方向の番号に対応している。こうして、図６に示されて
いるＺ座標値距離画像の各１画素毎に注目画素に近傍す
る８画素を含む３×３画素に対して各マスクパターンの
値を乗じて和をとって一致の度合を計算し、最もその和
の数が大きいマスクパターンの勾配ベクトル方向に付さ
れている番号をその注目画素に割当てる。
像に対してのＰｒｅｗｉｔｔの方法によるテンプレート
マッチングにより各局所領域内の各画素に対して、次の
ようにして画定して図７に示されているような特徴空間
上に変換された変換画像を得る。まず、各画素における
最も強い勾配ベクトル方向を調べ、各画素にその勾配ベ
クトル方向を割り付けることで各画素の有する情報をＺ
座標値距離画像から勾配ベクトル方向情報に変換する
が、この変換時に本実施例においては勾配ベクトル方向
の割り付けに際してテンプレートマッチングを用いてい
る。このテンプレートマッチングには、図８に示されて
いる各勾配ベクトル方向に対応する８種類のマスクパタ
ーンが用いられる。なお、これら各勾配ベクトル方向に
付されている番号は図５に示されている各勾配ベクトル
方向の番号に対応している。こうして、図６に示されて
いるＺ座標値距離画像の各１画素毎に注目画素に近傍す
る８画素を含む３×３画素に対して各マスクパターンの
値を乗じて和をとって一致の度合を計算し、最もその和
の数が大きいマスクパターンの勾配ベクトル方向に付さ
れている番号をその注目画素に割当てる。
【００１９】Ｓ４〜Ｓ８：図７に示されている変換画像
上の左上側に重なるように図４に示されているフィルタ
ーを重ね合わせて物体の凹部の仮想中心点Ａがその変換
画像の左上に位置するように配し、重なり合う各画素に
対応する前記変換画像における番号からフィルターにお
ける番号を差引く。この差が±α以下であると当該画素
を"１"とし、また±αを超えると当該画素を"０"とす
る。本実施例においてはαが０であるために図９（ａ）
に示されている結果を得る。
上の左上側に重なるように図４に示されているフィルタ
ーを重ね合わせて物体の凹部の仮想中心点Ａがその変換
画像の左上に位置するように配し、重なり合う各画素に
対応する前記変換画像における番号からフィルターにお
ける番号を差引く。この差が±α以下であると当該画素
を"１"とし、また±αを超えると当該画素を"０"とす
る。本実施例においてはαが０であるために図９（ａ）
に示されている結果を得る。
【００２０】Ｓ９〜Ｓ１３：仮想中心点Ａから決まる仮
想円（半径ｒ）の外側の複数点、言い換えれば仮想中心
点Ａからｒ＋γの距離にある複数点をピックアップし、
これら複数点の座標値から最小二乗法を用いてそれら複
数点を通る次式で与えられる平面の式を求める。 ａＸ＋ｂＹ＋ｃＺ＝ｄ 次に、座標値（ｘ，ｙ，ｚ）で与えられる点対称の各点
対に対してその点と前記平面との距離、言い換えればそ
の点から前記平面に下ろした垂線の長さδを次式により
計算する。 δ＝｜ａｘ＋ｂｙ＋ｃｚ−ｄ｜ そして、この距離δが所定の閾値ｋ未満（δ≦ｋ）であ
るときにはその点対を計数の対象とし、距離δが閾値ｋ
を越える（δ＞ｋ）であるときには対称点対としてカウ
ントせず、"１"を"０"とする。一例として、図１０
（ａ）に示されているように、Ｚ座標値距離画像の値と
して閾値を越える例えば９００という値が存在する場合
には、この９００の値に対応する図９（ｂ）における対
称点対を計数の対象とはせず、図１０（ｂ）に示される
ように"１"を"０"とする。
想円（半径ｒ）の外側の複数点、言い換えれば仮想中心
点Ａからｒ＋γの距離にある複数点をピックアップし、
これら複数点の座標値から最小二乗法を用いてそれら複
数点を通る次式で与えられる平面の式を求める。 ａＸ＋ｂＹ＋ｃＺ＝ｄ 次に、座標値（ｘ，ｙ，ｚ）で与えられる点対称の各点
対に対してその点と前記平面との距離、言い換えればそ
の点から前記平面に下ろした垂線の長さδを次式により
計算する。 δ＝｜ａｘ＋ｂｙ＋ｃｚ−ｄ｜ そして、この距離δが所定の閾値ｋ未満（δ≦ｋ）であ
るときにはその点対を計数の対象とし、距離δが閾値ｋ
を越える（δ＞ｋ）であるときには対称点対としてカウ
ントせず、"１"を"０"とする。一例として、図１０
（ａ）に示されているように、Ｚ座標値距離画像の値と
して閾値を越える例えば９００という値が存在する場合
には、この９００の値に対応する図９（ｂ）における対
称点対を計数の対象とはせず、図１０（ｂ）に示される
ように"１"を"０"とする。
【００２１】Ｓ１４〜Ｓ１６：次に、この図９（ａ）に
示されている結果において仮想中心点Ａに対して配置さ
れる対称点対を計数する。この場合は、対称点対がない
ために図１１に示されている計数表にその仮想中心点Ａ
に対応する位置に０を設定する。
示されている結果において仮想中心点Ａに対して配置さ
れる対称点対を計数する。この場合は、対称点対がない
ために図１１に示されている計数表にその仮想中心点Ａ
に対応する位置に０を設定する。
【００２２】このようにして、変換画像上を仮想中心点
Ａ、言い換えればフィルターをβ画素、本実施例におい
ては１画素づつ右側にずらし、右端に到達すると同様に
β画素、本実施例においては１画素だけ下側にずらして
同様に左端から１画素づつ右側にずらして、変換画像上
の右下側に到達してモデルが重ね合わされるまで続けて
図１１に示されている計数表を得る。なお、仮想中心点
Ａが変換画像上の真中にくるときには図９（ａ）に示さ
れている同様の結果が図９（ｂ）に示されている通りと
なって仮想中心点Ａに対して配置される対称点対を計数
すると"４"となるために図１１の計数表に示されている
ようにその仮想中心点Ａに対応する位置に"４"が設定さ
れている。
Ａ、言い換えればフィルターをβ画素、本実施例におい
ては１画素づつ右側にずらし、右端に到達すると同様に
β画素、本実施例においては１画素だけ下側にずらして
同様に左端から１画素づつ右側にずらして、変換画像上
の右下側に到達してモデルが重ね合わされるまで続けて
図１１に示されている計数表を得る。なお、仮想中心点
Ａが変換画像上の真中にくるときには図９（ａ）に示さ
れている同様の結果が図９（ｂ）に示されている通りと
なって仮想中心点Ａに対して配置される対称点対を計数
すると"４"となるために図１１の計数表に示されている
ようにその仮想中心点Ａに対応する位置に"４"が設定さ
れている。
【００２３】Ｓ１７：図１１の計数表に示されている仮
想中心点Ａに対して配置される対称点対の計数値の結果
にもとづき、予め物体の穴の個数を予想して設定される
ｎ個に対応して上位ｎ個の仮想中心点Ａを抽出する。な
お、本実施例の場合は、ｎ＝１で仮想中心点Ａは図１１
に示されている計数表の真中、図６に示されているスム
ージング処理後のＺ座標値距離画像においては真中の画
素となる。
想中心点Ａに対して配置される対称点対の計数値の結果
にもとづき、予め物体の穴の個数を予想して設定される
ｎ個に対応して上位ｎ個の仮想中心点Ａを抽出する。な
お、本実施例の場合は、ｎ＝１で仮想中心点Ａは図１１
に示されている計数表の真中、図６に示されているスム
ージング処理後のＺ座標値距離画像においては真中の画
素となる。
【００２４】Ｓ１８：抽出される各仮想中心点Ａに対す
る対称点の位置から、本実施例においては図９（ｂ）に
おいて“１”がある位置を穴のエッジとみなし各位置の
画素のＸ，Ｙ，Ｚ座標値距離画像から変換して得られた
Ｘ，Ｙ，Ｚ座標値にもとづいて、次のようにして各仮想
中心点Ａに対応する穴中心座標値および穴径を算出す
る。
る対称点の位置から、本実施例においては図９（ｂ）に
おいて“１”がある位置を穴のエッジとみなし各位置の
画素のＸ，Ｙ，Ｚ座標値距離画像から変換して得られた
Ｘ，Ｙ，Ｚ座標値にもとづいて、次のようにして各仮想
中心点Ａに対応する穴中心座標値および穴径を算出す
る。
【００２５】
【数１】
【００２６】次に、各仮想中心点Ａに対応して対称点の
分散値を最小二乗法による球にあてはめて算出する。こ
のようにして算出された各仮想中心点Ａに対応する穴径
および分散値が予め設定される範囲内にあるか判断して
それら穴径および分散値がその範囲内にある場合の仮想
中心点Ａを選択してそれら仮想中心点Ａを真の中心と
し、これら仮想中心点Ａに対応する穴中心座標値、穴径
などをモニター１３に表示させる。
分散値を最小二乗法による球にあてはめて算出する。こ
のようにして算出された各仮想中心点Ａに対応する穴径
および分散値が予め設定される範囲内にあるか判断して
それら穴径および分散値がその範囲内にある場合の仮想
中心点Ａを選択してそれら仮想中心点Ａを真の中心と
し、これら仮想中心点Ａに対応する穴中心座標値、穴径
などをモニター１３に表示させる。
【００２７】本実施例においては、特徴を８個の方向の
異なる勾配ベクトルから構成したが、１２個の方向の異
なる勾配ベクトルから構成して精度を向上させるように
しても良く、また４個の方向の異なる勾配ベクトルから
構成して処理速度を向上させるようにしても良い。ま
た、Ｚ座標値距離画像から特徴空間空間上への変換にＰ
ｒｅｗｉｔｔの方法を用いたがロビンソンの方法、更に
はＫｉｒｓｈの方法（“画像解析ハンドブック”Ｐ５５
４〜５５５，高木幹雄他著，東大出版会）を用いても良
い。
異なる勾配ベクトルから構成したが、１２個の方向の異
なる勾配ベクトルから構成して精度を向上させるように
しても良く、また４個の方向の異なる勾配ベクトルから
構成して処理速度を向上させるようにしても良い。ま
た、Ｚ座標値距離画像から特徴空間空間上への変換にＰ
ｒｅｗｉｔｔの方法を用いたがロビンソンの方法、更に
はＫｉｒｓｈの方法（“画像解析ハンドブック”Ｐ５５
４〜５５５，高木幹雄他著，東大出版会）を用いても良
い。
【００２８】さらに、対称点対の計算値から仮想中心点
Ａを抽出するに際して予め物体の穴の個数を予想して設
定されるｎ個に対応して上位ｎ個を抽出したが、Ｐタイ
ル法、大津の方法（“画像解析ハンドブック”Ｐ５０２
〜５０５，高木幹雄他著，東大出版会）により自動的に
抽出するようにしても良い。
Ａを抽出するに際して予め物体の穴の個数を予想して設
定されるｎ個に対応して上位ｎ個を抽出したが、Ｐタイ
ル法、大津の方法（“画像解析ハンドブック”Ｐ５０２
〜５０５，高木幹雄他著，東大出版会）により自動的に
抽出するようにしても良い。
【００２９】本実施例においては、特徴空間情報として
勾配ベクトル空間情報を用いたが、例えば、次のように
して法線ベクトル空間情報を用いることができる。
勾配ベクトル空間情報を用いたが、例えば、次のように
して法線ベクトル空間情報を用いることができる。
【００３０】本実施例と同様に図１２に示されているよ
うに３×３画素領域の各域に図１３に示されている各法
線ベクトルに割り付けられた法線ベクトル方向を表す番
号を配して設定し、法線ベクトル空間上でのフィルター
を生成する。
うに３×３画素領域の各域に図１３に示されている各法
線ベクトルに割り付けられた法線ベクトル方向を表す番
号を配して設定し、法線ベクトル空間上でのフィルター
を生成する。
【００３１】次に、前述の三次元カメラ１０からの本実
施例と同様にして７×７画素分のＸ座標値距離画像，Ｙ
座標値距離画像およびＺ座標値距離画像を撮り込みスム
ージング処理を十分に行って図１４乃至図１６に示され
ているＸ座標値距離画像およびＹ座標値距離画像に加え
て図６に示されているＺ座標値距離画像と同一のＺ座標
値距離画像を得る。続いて、本実施例では３×３画素領
域を面の最小単位と考えて注目し、次のようにして面の
法線ベクトルを求める。
施例と同様にして７×７画素分のＸ座標値距離画像，Ｙ
座標値距離画像およびＺ座標値距離画像を撮り込みスム
ージング処理を十分に行って図１４乃至図１６に示され
ているＸ座標値距離画像およびＹ座標値距離画像に加え
て図６に示されているＺ座標値距離画像と同一のＺ座標
値距離画像を得る。続いて、本実施例では３×３画素領
域を面の最小単位と考えて注目し、次のようにして面の
法線ベクトルを求める。
【００３２】
【数２】
【００３３】本実施例においては、特徴空間上でのモデ
ルとして３×３画素領域の小さなフィルターを用いた
が、例えば６４×６４画素領域のフィルターを用いて変
換画像上に重ね合わせ、重なり合う各画素に対する変換
画像における番号からフィルターにおける番号を差引く
と、この差引く回数が６４×６４＝４０９６個となる。
言い換えれば、Ｍ×Ｍ画素領域のフィルターにおける画
素数Ｍが大きくなるにつれて画素数Ｍの自乗に比例して
計算回数が増し、処理速度が遅くなる。この画素数Ｍが
大きくなっても処理速度が遅くならないようにするに
は、例えば画素数Ｍの自乗値が所定値γ以上である場合
には、次式を満たすｍを求めてそのｍを整数化してｍ画
素づつ間引きして処理すれば画素数Ｍが大きくなっても
処理時間は一定以上には遅くにはならない。
ルとして３×３画素領域の小さなフィルターを用いた
が、例えば６４×６４画素領域のフィルターを用いて変
換画像上に重ね合わせ、重なり合う各画素に対する変換
画像における番号からフィルターにおける番号を差引く
と、この差引く回数が６４×６４＝４０９６個となる。
言い換えれば、Ｍ×Ｍ画素領域のフィルターにおける画
素数Ｍが大きくなるにつれて画素数Ｍの自乗に比例して
計算回数が増し、処理速度が遅くなる。この画素数Ｍが
大きくなっても処理速度が遅くならないようにするに
は、例えば画素数Ｍの自乗値が所定値γ以上である場合
には、次式を満たすｍを求めてそのｍを整数化してｍ画
素づつ間引きして処理すれば画素数Ｍが大きくなっても
処理時間は一定以上には遅くにはならない。
【００３４】
【数３】
【００３５】本実施例においては、物体の凹部である穴
の位置を認識させるようにしたが、特徴空間上でのフィ
ルターを適宜に定めることによって物体の凸部、更には
凹部の他の例である溝、更には凸部の他の例である棒の
位置も認識させるようにすることができる。
の位置を認識させるようにしたが、特徴空間上でのフィ
ルターを適宜に定めることによって物体の凸部、更には
凹部の他の例である溝、更には凸部の他の例である棒の
位置も認識させるようにすることができる。
【００３６】本実施例においては、物体の三次元距離画
像にもとづいて凹部の位置を認識させたが、距離画像に
代えて明暗画像により凹部の位置を認識することができ
る。また、距離画像または明暗画像からある強さ以上の
微分値または二次微分値をもつ点を抽出してその抽出さ
れた点群に関し対称対を計数することで明確な座標値な
どまでは得られないが物体の凹部、凸部の位置を認識す
ることができる。
像にもとづいて凹部の位置を認識させたが、距離画像に
代えて明暗画像により凹部の位置を認識することができ
る。また、距離画像または明暗画像からある強さ以上の
微分値または二次微分値をもつ点を抽出してその抽出さ
れた点群に関し対称対を計数することで明確な座標値な
どまでは得られないが物体の凹部、凸部の位置を認識す
ることができる。
【００３７】前述のように、本発明は、種々に変更可能
なことは明らかである。このような変更は本発明の精神
および範囲に反することなく、また当業者にとって明瞭
な全てのそのような変形、変更は、請求の範囲に含まれ
るものである。
なことは明らかである。このような変更は本発明の精神
および範囲に反することなく、また当業者にとって明瞭
な全てのそのような変形、変更は、請求の範囲に含まれ
るものである。
【図１】図１は、本発明の一実施例に係る自動認識方法
のシステム構成を示すブロック図である。
のシステム構成を示すブロック図である。
【図２】図２は、本実施例の自動認識方法のプログラム
のフローチャート（前段）である。
のフローチャート（前段）である。
【図３】図３は、本実施例の自動認識方法のプログラム
のフローチャート（後段）である。
のフローチャート（後段）である。
【図４】図４は、勾配ベクトル空間上でのフィルター図
である。
である。
【図５】図５は、穴の中心へ向かう各勾配ベクトルの方
向と番号との関係を示す説明図である。
向と番号との関係を示す説明図である。
【図６】図６は、スムージング処理後のＺ座標値距離画
像図である。
像図である。
【図７】図７は、Ｚ座標値距離画像の勾配ベクトル空間
上に変換された変換画像図である。
上に変換された変換画像図である。
【図８】図８は、テンプレートマッチングに用いるマス
ク群図である。
ク群図である。
【図９】図９は、仮想中心点Ａに対する対称点対の計数
についての説明図である。
についての説明図である。
【図１０】図１０は、平面の式からずれた点についての
処理を説明する図である。
処理を説明する図である。
【図１１】図１１は、計数表を示す図である。
【図１２】図１２は、本発明の別実施例における法線ベ
クトル空間上でのフィルター図である。
クトル空間上でのフィルター図である。
【図１３】図１３は、別実施例における中心から外方へ
向かう各法線ベクトルの方向と番号との関係を示す説明
図である。
向かう各法線ベクトルの方向と番号との関係を示す説明
図である。
【図１４】図１４は、別実施例のスムージング処理後の
Ｘ座標値距離画像図である。
Ｘ座標値距離画像図である。
【図１５】図１５は、別実施例のスムージング処理後の
Ｙ座標値距離画像図である。
Ｙ座標値距離画像図である。
【図１６】図１６は、別実施例のスムージング処理後の
Ｚ座標値距離画像図である。
Ｚ座標値距離画像図である。
【図１７】図１７は、別実施例のテンプレートマッチン
グに用いる基準法線ベクトル群図である。
グに用いる基準法線ベクトル群図である。
【図１８】図１８は、別実施例のＸ，Ｙ，Ｚ座標値距離
画像の法線ベクトル空間上に変換された変換画像図であ
る。
画像の法線ベクトル空間上に変換された変換画像図であ
る。
１０ 三次元カメラ
１１ バス
１２ コンピュータ
１３ モニタ
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 7/00 - 7/60
G01B 11/00
G06T 1/00
Claims (4)
- 【請求項１】 撮像され凹部または凸部を有する物体が
撮り込まれた画像をその画像の各画素に勾配ベクトル方
向情報を割り付けてなる勾配方向情報に変換し、この勾
配方向情報に変換された画像の所定領域における仮想中
心点より定まる仮想円の外側の複数点を求めるととも
に、これら複数点の座標値からその複数点を通る平面の
式を求め、次いで前記仮想中心点を中心とする所定領域
内の各点における前記勾配方向情報の内容が前記凹部ま
たは凸部の仮想中心点に対して対称関係にあるかを検知
し、前記対称関係を満たし、かつ前記平面の式を満たす
点対称点対数を計数し、前記点対称点対数が最も多い仮
想中心点を検出し、この仮想中心点を中心とする所定領
域内の各点の座標値に基づき、前記画像に撮り込まれた
凹部または凸部を有する物体のその凹部または凸部の位
置を算出することを特徴とする自動認識方法。 - 【請求項２】 撮像され凹部または凸部を有する物体が
撮り込まれた画像をその画像の各画素に法線ベクトル方
向情報を割り付けてなる法線方向情報に変換し、この法
線方向情報に変換された画像の所定領域における仮想中
心点より定まる仮想円の外側の複数点を求めるととも
に、これら複数点の座標値からその複数点を通る平面の
式を求め、次いで前記仮想中心点を中心とする所定領域
内の各点における前記法線方向情報の内容が前記凹部ま
たは凸部の仮想中心点に対して対称関係にあるかを検知
し、前記対称関係を満たし、かつ前記平面の式を満たす
点対称点対数を計数し、前記点対称点対数が最も多い仮
想中心点を検出し、この仮想中心点を中心とする所定領
域内の各点の座標値に基づき、前記画像に撮り込まれた
凹部または凸部を有する物体のその凹部または凸部の位
置を算出することを特徴とする自動認識方法。 - 【請求項３】 前記撮像された画像は、距離画像である
ことを特徴とする請求項１または２に記載の自動認識方
法。 - 【請求項４】 前記仮想中心点に対して対称関係にある
かの検知は、この仮想中心点を中心とする所定領域毎に
行われ、前記所定領域は、Ｍ×Ｍ個（Ｍは３以上の整
数）の画素領域より構成されることを特徴とする請求項
１乃至３のうちのいずれかに記載の自動認識方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20822696A JP3408696B2 (ja) | 1996-08-07 | 1996-08-07 | 自動認識方法 |
| US08/906,172 US5966472A (en) | 1996-08-07 | 1997-08-05 | Method for automatic recognition of a concavity or convexity |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20822696A JP3408696B2 (ja) | 1996-08-07 | 1996-08-07 | 自動認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1049685A JPH1049685A (ja) | 1998-02-20 |
| JP3408696B2 true JP3408696B2 (ja) | 2003-05-19 |
Family
ID=16552759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20822696A Expired - Fee Related JP3408696B2 (ja) | 1996-08-07 | 1996-08-07 | 自動認識方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5966472A (ja) |
| JP (1) | JP3408696B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005249715A (ja) * | 2004-03-08 | 2005-09-15 | Topcon Corp | 測量方法及び測量機 |
| DE102011010315A1 (de) * | 2011-02-03 | 2012-08-09 | Hönigsberg & Düvel Datentechnik GmbH | Erkennung von Objekten |
| KR101423923B1 (ko) | 2012-02-06 | 2014-08-13 | 삼성메디슨 주식회사 | 대상체의 대칭 정보를 획득하는 방법 및 장치 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4555798A (en) * | 1983-06-20 | 1985-11-26 | Kla Instruments Corporation | Automatic system and method for inspecting hole quality |
| US5778107A (en) * | 1993-12-24 | 1998-07-07 | Kabushiki Kaisha Komatsu Seisakusho | Position recognition method |
-
1996
- 1996-08-07 JP JP20822696A patent/JP3408696B2/ja not_active Expired - Fee Related
-
1997
- 1997-08-05 US US08/906,172 patent/US5966472A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US5966472A (en) | 1999-10-12 |
| JPH1049685A (ja) | 1998-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4528309B2 (ja) | オブジェクト検出方法、オブジェクト検出装置、およびオブジェクト検出プログラム | |
| EP2079054B1 (en) | Detection of blobs in images | |
| JP4341564B2 (ja) | 対象物判定装置 | |
| JP2006513502A (ja) | 完全な奥行きマップを得る方法 | |
| JP6221390B2 (ja) | 画像処理装置、プログラム、および画像処理方法 | |
| US5778107A (en) | Position recognition method | |
| JP2000207693A (ja) | 車載用障害物検出装置 | |
| CN116862960A (zh) | 工件形貌点云配准方法、装置、设备及存储介质 | |
| CN110348307B (zh) | 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统 | |
| US7403636B2 (en) | Method and apparatus for processing an image | |
| JP3408696B2 (ja) | 自動認識方法 | |
| JP3394104B2 (ja) | 位置認識方式 | |
| CN115205558B (zh) | 一种具有旋转和尺度不变性的多模态影像匹配方法及装置 | |
| CN114004877B (zh) | 视觉场景中物体稀疏性的判断方法、系统和设备 | |
| CN111684458A (zh) | 目标检测方法、目标检测装置和无人机 | |
| Leung et al. | Detecting wheels of vehicle in stereo images | |
| Chang et al. | Biomedical image skeletonization: a novel method applied to fibrin network structures | |
| Abdel-All et al. | Geometric image edge detection techniques | |
| CN117649566B (zh) | 一种基于图像处理的机场行李大小分类方法 | |
| CN115375713B (zh) | 地面点云的分割方法、装置及计算机可读存储介质 | |
| McIvor et al. | Simple surface segmentation | |
| JPH09102040A (ja) | エッジによる画像認識装置 | |
| CN113989359A (zh) | 一种基于视觉信息的目标直径自动测量方法和系统 | |
| CN117911364A (zh) | 基于亚像素边缘检测的电缆接头圆度检测方法及设备 | |
| Trinder et al. | Edge detection with subpixel accuracy for a flexible manufacturing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030304 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080314 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090314 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100314 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110314 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120314 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |