JPH1038542A - 物体認識方法及び装置並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 物体の３次元情報を、簡単な構成の装置及び
ソフトウェアを用いて高速に認識する方法を提供する。 【解決手段】 直方体状の被認識物体をカメラにて撮影
し（Ｓ１）、その撮影画像を所定の輝度レベルで２値化
し（Ｓ２）、ソーベル処理を施して被認識物体のエッジ
を抽出して輪郭を求め（Ｓ５）、ハフ変換処理を施して
稜線となる複数の直線を抽出し（Ｓ９）、抽出した複数
の直線の各２直線の交点から被認識物体の頂点となる交
点を判別し（Ｓ10）、判別した交点と抽出した複数の直
線とに基づいて被認識物体の３次元情報（寸法，稜線方
向，位置等）を認識する（Ｓ11）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体の３次元情報
（寸法，稜線方向，位置等）を非接触にて認識する物体
認識方法及び装置に関し、特に、１台のカメラを使用す
る単眼視の画像処理システムを用いて物体の３次元情報
を認識する物体認識方法及び装置に関するものである。

【０００２】

【従来の技術】近年、ロボット技術の進展または生産工
程における自動検査上の必要性に応じて、物体の寸法，
稜線方向，位置等の３次元情報を自動的に認識するため
の技術の確立が重要な課題となっている。このような認
識システムにあっては、認識対象の物体をカメラにて撮
影し、その撮影画像に種々の画像処理を施して、その物
体の３次元情報を得ることが一般的に行われている。

【０００３】

【発明が解決しようとする課題】しかしながら、認識対
象の物体を汎用的にするために装置が複雑かつ高価であ
り、処理時間も長いという問題点があった。また画像処
理において、認識対象の物体に存する印刷，汚れ，傷，
へこみ等の影響を受けやすく、物体の種類によっては正
確な認識が困難であるという問題点もあった。

【０００４】本発明は斯かる事情に鑑みてなされたもの
であり、稜線が直線のみからなる、つまりすべての面が
平面である物体の３次元情報を、簡単な構成の装置及び
ソフトウェアを用いて高速に得ることができる物体認識
方法及び装置を提供することを目的とする。

【０００５】本発明の他の目的は、稜線が直線のみから
なる、つまりすべての面が平面である物体に対して、印
刷，汚れ，傷，へこみ等があっても、その３次元情報を
精度良く得ることができる物体認識方法及び装置を提供
することにある。

【０００６】本発明の更に他の目的は、上述した物体認
識方法を実施するためのコンピュータプログラムを記録
した記録媒体を提供することにある。

【０００７】

【課題を解決するための手段】請求項１に係る物体認識
方法は、稜線が直線である物体の３次元情報を、該物体
を撮像して得た画像の画像処理を用いて認識する方法に
おいて、前記物体の撮像画像を所定の輝度レベルで２値
化するステップと、エッジ抽出処理を施して前記物体の
輪郭を求めるステップと、輪郭を示す画像にハフ変換処
理を施して稜線となる複数の直線を抽出するステップ
と、抽出した複数の直線の各２直線の交点から前記物体
の頂点となる交点を判別するステップと、判別した交点
と抽出した複数の直線とに基づいて前記物体の３次元情
報を求めるステップとを有することを特徴とする。

【０００８】請求項２に係る物体認識方法は、請求項１
において、２値化処理後の画像に膨張・縮小処理を施す
ステップを更に有することを特徴とする。

【０００９】請求項３に係る物体認識方法は、請求項１
または２において、エッジ抽出処理のステップとハフ変
換処理のステップとの間に、輪郭部分に細線化処理を施
すステップと、孤立した画素を除去するステップと、輪
郭部分を示す画素を間引くステップとを更に有すること
を特徴とする。

【００１０】請求項４に係る物体認識方法は、請求項１
〜３の何れかにおいて、画像全体の重心を求めるステッ
プを更に有し、抽出した１本の直線と抽出した他の直線
との交点の中でこの重心をはさむ最も近い２点を前記物
体の頂点となる交点として判別する処理を、抽出した各
直線に対して施すことにより、前記物体の頂点となる交
点を判別することを特徴とする。

【００１１】請求項５に係る物体認識装置は、稜線が直
線である物体の３次元情報を、該物体を撮像して得た画
像の画像処理を用いて認識する装置において、認識対象
の物体を撮像して撮像画像を得る手段と、前記物体の撮
像画像を所定の輝度レベルで２値化する手段と、エッジ
抽出処理を施して前記物体の輪郭を求める手段と、輪郭
を示す画像にハフ変換処理を施して稜線となる複数の直
線を抽出する手段と、抽出した複数の直線の各２直線の
交点から前記物体の頂点となる交点を判別する手段と、
判別した交点と抽出した複数の直線とに基づいて前記物
体の３次元情報を求める手段とを備えることを特徴とす
る。

【００１２】請求項６に係る記録媒体は、稜線が直線で
ある物体の３次元情報を、該物体を撮像して得た画像の
画像処理を用いて認識するためのコンピュータプログラ
ムを記録した記録媒体において、前記物体の撮像画像を
所定の輝度レベルで２値化するステップと、エッジ抽出
処理を施して前記物体の輪郭を求めるステップと、輪郭
を示す画像にハフ変換処理を施して稜線となる複数の直
線を抽出するステップと、抽出した複数の直線の各２直
線の交点から前記被測定物の頂点となる交点を判別する
ステップと、判別した交点と抽出した複数の直線とに基
づいて前記物体の３次元情報を求めるステップとを含む
コンピュータプログラムを記録したことを特徴とする。

【００１３】本発明の物体認識方法では、認識対象の物
体を１台の撮像手段で撮影した画像を所定の輝度レベル
で２値化した後にエッジ抽出処理を施してその物体のエ
ッジを抽出して輪郭を求め、ハフ変換処理を施して稜線
となる複数の直線を抽出する。抽出した複数の直線の各
２直線の交点からその物体の頂点となる交点を判別し、
判別した交点と抽出した複数の直線とに基づいてその物
体の３次元情報を得る。単眼視法を採用するので、装置
構成及びソフトウェアが簡易になって、低コスト化を図
った高速な３次元認識を実現する。また、認識対象の物
体の形状を限定するので、耐ノイズ性に優れているハフ
変換の処理時間が短くてすみ、ハフ変換を用いてもリア
ルタイムで物体の認識を行える。よって、印刷，汚れ，
傷，へこみ等が存在する物体についても、正確で高速な
認識が可能となる。

【００１４】なお、２値化処理後の画像に膨張・縮小処
理を施せば、物体のノイズを除去できる。また、エッジ
抽出処理とハフ変換処理との間に、輪郭部分に細線化処
理を施したり、孤立した画素を除去したり、輪郭部分を
示す画素を間引くようにすれば、後のハフ変換の処理時
間をより短くできる。

【００１５】また、抽出した１本の直線と他の複数の直
線との交点の中で、画像全体の重心をはさむ最も近い２
点を認識対象の物体の頂点として検出する。そして、こ
のような検出処理をすべての抽出した直線に対して施
し、検出した頂点にてこれらの抽出した直線をトリミン
グしてその物体の稜線（辺）を求める。

【００１６】

【発明の実施の形態】以下、本発明をその実施の形態を
示す図面に基づいて具体的に説明する。

【００１７】図１は、本発明の物体認識方法の実施状態
の一例を示す概略図である。図１において、１は認識対
象となる直方体状の被認識物体Ａを載置する載置台であ
る。被認識物体Ａは、例えば段ボール箱であり表面には
印刷，汚れ，傷，へこみ等が存在する。また、載置台１
は黒色で反射が小さい材料で作られており、載置台１か
らの反射光の影響を極力少なくする。載置台１の近傍に
は、被認識物体Ａを撮影してその画像を得るカメラ２が
配置されていると共に、カメラ２の撮像位置を照らすた
めの照明３，３が設けられている。なお、カメラ２の視
野は512 ×480画素であり一般的な分解能を有してい
る。

【００１８】カメラ２にて得られた画像信号は、物体認
識部４に送られる。物体認識部４は、カメラ２から入力
される画像信号を処理可能な画像情報に変換するカメラ
入力Ｉ／Ｆ（インターフェース）41と、画像情報に対す
る各種の処理（微分処理，２値化処理，細線化処理等）
を行う画像処理プロセッサ42と、被認識物体Ａの原画像
情報及び各種の処理後の画像情報を格納する画像メモリ
43と、ハフ変換を含む所定のアルゴリズムを実行して被
認識物体Ａの頂点の情報を求め、求めた頂点の情報に基
づいて被認識物体Ａの３次元情報（寸法，稜線方向及び
位置等の情報）を検出するコンピュータ44とを有する。

【００１９】コンピュータ44は、一連の画像処理のプロ
グラム，求めた頂点の情報から被認識物体Ａの３次元情
報を計算するプログラム等を、それらのプログラムが記
録されている磁気ディスク等の記録媒体45からロードす
る。また、物体認識部４には、物体認識部４における認
識結果を入力して表示するディスプレイ５が接続されて
いる。

【００２０】次に、動作について説明する。図２は本発
明の物体認識方法の処理手順を示すフローチャートであ
る。

【００２１】まず、カメラ２の前方の載置台１に被認識
物体Ａを置き、その被認識物体Ａをカメラ２で撮影して
画像信号を得る。得られた画像信号はカメラ入力Ｉ／Ｆ
41に入力されて画像情報に変換され、その原画像情報が
一旦画像メモリ43に格納される（ステップＳ１）。この
際、被認識物体Ａの輪郭線が６本になるように、被認識
物体Ａの向きを特定する。また、被認識物体Ａ（段ボー
ル箱）の表面に存在する印刷，汚れ，傷，へこみ等のノ
イズを消去するために、照明３，３から被認識物体Ａ全
体に強く光を照射する。更に、カメラ２の絞りも開放に
設定する。

【００２２】次に、取り込んだ画像に対して所定の輝度
レベルで２値化処理を施す（ステップＳ２）。ここで、
被認識物体Ａが白くつぶれるように、しきい値となる所
定の輝度レベルを設定する。この２値化処理後の画像を
図３（ａ）に示す。この段階では被認識物体Ａのノイズ
がまだ残存しているので、２値化後の画像に膨張・収縮
処理を施して、被認識物体Ａのノイズを除去する（ステ
ップＳ３）。この膨張・収縮処理後の画像を図３（ｂ）
に示す。

【００２３】このように、照明効果及び膨張・収縮処理
を加えて、２値化処理時に被認識物体Ａの内部をほぼ完
全に白くつぶしてしまうことにより、被認識物体Ａの表
面に存在する印刷，傷，汚れの影響を排除する。

【００２４】ここで、後の処理のため画像全体の重心を
求める（ステップＳ４）。この重心は画像上の被認識物
体Ａの重心と同様である。なお、重心を求める処理は、
この段階で実施することに限定されるわけではなく、重
心の情報が必要となる後述するステップＳ10より前の任
意の段階で実施すれば良い。

【００２５】次に、エッジ強調処理であるソーベル処理
を行って被認識物体Ａのエッジを抽出し、被認識物体Ａ
の輪郭を浮き出させる（ステップＳ５）。このソーベル
処理後の画像を図３（ｃ）に示す。後のハフ変換での計
算時間の短縮を図るべく、白画素の数を減らすように、
ソーベル処理後の画像に、細線化処理，孤立白画素消去
処理，白画素間引き処理を順次施す（ステップＳ６，Ｓ
７，Ｓ８）。なお、この間引き処理では、具体的には１
つとばしにデータの白画素を消去する。

【００２６】次いで、画像を分割してそれぞれの分割画
像に対してハフ変換を施して６本の直線を抽出する（ス
テップＳ９）。ここで被認識物体Ａの頂点が、抽出した
これらの直線の中のどの２直線の交点に相当するかを判
別する必要がある。１本の直線につき被認識物体Ａの頂
点に対応する交点は２つである。そこで１本の直線につ
き、ステップＳ４で求めた重心を挟む最も近い２つの交
点を探す。この２つの交点が被認識物体Ａの頂点に相当
する。６本すべての直線に対して同様の処理を行うこと
により、被認識物体Ａの頂点となるすべての交点を判別
する（ステップＳ10）。これらの判別した交点で６本の
直線をトリミングした結果の画像を図３（ｄ）に示す。

【００２７】最後に、ステップＳ10で得られた各頂点の
情報と、カメラ２，被認識物体Ａ間の距離及びカメラ２
の高さを示す既知情報とに基づいて、被認識物体Ａの３
次元情報（寸法，稜線方向，位置等）を求める（ステッ
プＳ11）。

【００２８】

【発明の効果】以上のように、本発明では、認識対象の
物体の形状を限定し、また、設置するカメラが１台で良
い単眼視法を利用するので、使用する装置，ソフトウェ
アを簡略化でき、低コストで高速な３次元情報の認識を
行える。また、認識対象の物体の形状を限定することに
よって、長時間の計算処理を要するハフ変換を印刷，汚
れ，傷，へこみ等が存在する物体に対して使用すること
ができ、その長所である耐ノイズ性に優れている点を引
き出すことができる。

【図面の簡単な説明】

【図１】本発明の物体認識方法の実施状態を示す概略図
である。

【図２】本発明の物体認識方法の手順を示すフローチャ
ートである。

【図３】本発明における各種の画像処理後の画像を示す
図である。

【符号の説明】

１ 載置台 ２ カメラ ３ 照明 ４ 物体認識部 42 画像処理プロセッサ 43 画像メモリ 44 コンピュータ 45 記録媒体 ５ ディスプレイ Ａ 被認識物体

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成８年９月９日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】図３

【補正方法】変更

【補正内容】

【図３】本発明におけるディスプレイ上に表示した中間
調画像を示す写真である。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 稜線が直線である物体の３次元情報を、
   該物体を撮像して得た画像の画像処理を用いて認識する
   方法において、前記物体の撮像画像を所定の輝度レベル
   で２値化するステップと、エッジ抽出処理を施して前記
   物体の輪郭を求めるステップと、輪郭を示す画像にハフ
   変換処理を施して稜線となる複数の直線を抽出するステ
   ップと、抽出した複数の直線の各２直線の交点から前記
   物体の頂点となる交点を判別するステップと、判別した
   交点と抽出した複数の直線とに基づいて前記物体の３次
   元情報を求めるステップとを有することを特徴とする物
   体認識方法。
2. 【請求項２】 ２値化処理後の画像に膨張・縮小処理を
   施すステップを更に有することを特徴とする請求項１記
   載の物体認識方法。
3. 【請求項３】 エッジ抽出処理のステップとハフ変換処
   理のステップとの間に、輪郭部分に細線化処理を施すス
   テップと、孤立した画素を除去するステップと、輪郭部
   分を示す画素を間引くステップとを更に有することを特
   徴とする請求項１または２記載の物体認識方法。
4. 【請求項４】 画像全体の重心を求めるステップを更に
   有し、抽出した１本の直線と抽出した他の直線との交点
   の中でこの重心をはさむ最も近い２点を前記物体の頂点
   となる交点として判別する処理を、抽出した各直線に対
   して施すことにより、前記物体の頂点となる交点を判別
   することを特徴とする請求項１〜３の何れかに記載の物
   体認識方法。
5. 【請求項５】 稜線が直線である物体の３次元情報を、
   該物体を撮像して得た画像の画像処理を用いて認識する
   装置において、認識対象の物体を撮像して撮像画像を得
   る手段と、前記物体の撮像画像を所定の輝度レベルで２
   値化する手段と、エッジ抽出処理を施して前記物体の輪
   郭を求める手段と、輪郭を示す画像にハフ変換処理を施
   して稜線となる複数の直線を抽出する手段と、抽出した
   複数の直線の各２直線の交点から前記物体の頂点となる
   交点を判別する手段と、判別した交点と抽出した複数の
   直線とに基づいて前記物体の３次元情報を求める手段と
   を備えることを特徴とする物体認識装置。
6. 【請求項６】 稜線が直線である物体の３次元情報を、
   該物体を撮像して得た画像の画像処理を用いて認識する
   ためのコンピュータプログラムを記録した記録媒体にお
   いて、前記物体の撮像画像を所定の輝度レベルで２値化
   するステップと、エッジ抽出処理を施して前記物体の輪
   郭を求めるステップと、輪郭を示す画像にハフ変換処理
   を施して稜線となる複数の直線を抽出するステップと、
   抽出した複数の直線の各２直線の交点から前記被測定物
   の頂点となる交点を判別するステップと、判別した交点
   と抽出した複数の直線とに基づいて前記物体の３次元情
   報を求めるステップとを含むコンピュータプログラムを
   記録したことを特徴とする記録媒体。