JPH05173644A - 3次元物体認識装置 - Google Patents

3次元物体認識装置

Info

Publication number
JPH05173644A
JPH05173644A JP3354582A JP35458291A JPH05173644A JP H05173644 A JPH05173644 A JP H05173644A JP 3354582 A JP3354582 A JP 3354582A JP 35458291 A JP35458291 A JP 35458291A JP H05173644 A JPH05173644 A JP H05173644A
Authority
JP
Japan
Prior art keywords
dimensional
information
light
image processing
dimensional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3354582A
Other languages
English (en)
Inventor
Koji Kawai
Morio Muto
守男 武藤
功治 河合
Original Assignee
Pioneer Electron Corp
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electron Corp, パイオニア株式会社 filed Critical Pioneer Electron Corp
Priority to JP3354582A priority Critical patent/JPH05173644A/ja
Publication of JPH05173644A publication Critical patent/JPH05173644A/ja
Pending legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】 装置のコストダウン、物体認識処理の高速化
及び物体認識情報の信頼性を向上させること。 【構成】 光投射器9によって通常の光とスポット光と
を切換えて部品に対し投射するとともに、一台のCCD
カメラ9Aによって通常の光及びスポット光による反射
光を切換えて取込むようにし、それぞれの2次元情報及
び3次元情報に対し2次元画像処理装置15及び3次元
画像処理装置によって画像処理を施し、これらの画像処
理結果から部品の位置及び姿勢等の情報を得るようにし
た。 【効果】 一台のCCDカメラ9Aによって2次元情報
及び3次元情報が得られるため、3次元物体認識装置の
構成が簡単なものとなる。座標変換のステップを省くこ
とができるため、演算処理の大幅な高速化を図ることが
できる。2次元画像と3次元画像の撮像範囲が同一とな
ることにより、有効認識範囲を大幅に広げることができ
る。2次元情報及び3次元情報の対応を容易且つ正確に
とることができるため、部品の位置及び姿勢情報の精度
を向上させることができる。

Description

【発明の詳細な説明】

【0001】

【産業上の利用分野】本発明は、たとえば自動組立にお
いて部品箱から所定の部品を取出す際の部品を認識する
3次元物体認識装置に関する。

【0002】

【従来の技術】自動組立において、たとえば箱(ビン)
の中の多数の部品から視覚により必要な部品を選んで取
上げるビンピッキングシステムにて使用される3次元物
体認識装置の実用化が望まれている。

【0003】ビンピッキングシステム等においては、多
点の距離情報(距離画像)が必要である。実時間入力可
能なセンサでは、測定点数が少なくなる。そこで、実用
的なビンピッキングシステムを構築するには、このよう
な粗い距離画像を用いた処理手法の確立が不可欠であ
る。

【0004】粗い距離画像を用いたビンピッキングシス
テムの一例を図1に示す。ビンピッキングシステムは、
視覚システム1及び部品をつかみ上げるマニピュレータ
2から構成される。視覚システム1は、箱(ビン)3に
収容されている必要な部品4を撮像するCCDカメラ5
及びこのCCDカメラ5によって撮像された画像データ
に対して画像処理を施す画像処理装置6からなる。マニ
ピュレータ2は、画像処理装置6からの画像処理データ
に基づいて制御信号を出力するメインコントローラ7及
びその制御信号に基づいてコントロール信号を出力する
ロボットコントローラ8によって所定の動作がコントロ
ールされる。

【0005】上記の視覚システム1における処理手順
は、図2に示す通りである。まず、画像から候補領域を
抽出する(ステップ201)。つまり、距離の不連続性
による領域分割、2次元画像での領域分割を併用し、領
域を抽出するものである。次に、候補領域が求める部品
であるか否かの判別を行う(ステップ202)。つま
り、距離画像、2次元画像を併用し、部品のモデルに固
有の判別アルゴリズムを用いて、候補領域が求める部品
であるか否かの判別を行う。

【0006】最後に、部品の位置・姿勢の計測を行う
(ステップ203)。つまり、モデルの属性を利用し、
距離画像から部品の位置・姿勢、把持点等を決定する。

【0007】ところで、ビンピッキングを行う部品4
は、重なり合っており一部しか見えないことが多い。し
かも情報量が不足している粗い距離画像を用いるため、
他の情報の付加が不可欠となる。他のセンサ情報を併用
する場合には、他のセンサ情報の利用により、粗い距離
画像に不足している情報を補うことができる。その中で
も特に2次元画像は、距離画像と相補的な性質を持ち有
効である。

【0008】以上のようなことから、上記図2に示した
フローに従い、部品の位置・姿勢、把持点等が決定され
ている。

【0009】図3は、ビンピッキングにおけるシステム
構成の一例を示すもので、スポット光投射器9によって
1000点余りのスポット光が投射される。スポット光
の反射光は、スポット光用のCCDカメラ10に取込ま
れる。このCCDカメラ10からのビデオ信号は3次元
処理装置11によって画像処理が施される。この画像処
理に際しては、各スポット像までの距離が三角測量の原
理で計測される。またハードウェア処理により1/30
秒の距離画像データが出力される。

【0010】濃淡の画像情報を得る2次元用のCCDカ
メラ12は、3台の照明器13からの光の反射光たる部
品14からの光を取込み、この情報たるビデオ信号を2
次元処理装置15に送出する。画像処理用コンピュータ
16は、3次元処理装置11からの距離画像データ及び
2次元処理装置15からの濃淡情報とを取込み、ロボッ
ト用コンピュータへ取出すべき部品の指示データを送出
する。

【0011】このような原理により、現段階での成果は
次の通りである。上記の候補領域の抽出にあっては、た
とえばコンデンサ(実物)のみが複数積まれたシーンに
対し、3灯のストロボ光源を制御し高速(数分の1秒)
に1円筒領域の抽出に成功している。

【0012】領域が部品であるか否かの判別にあって
は、木あるいは発泡スチロールの模型を用いて行った結
果、距離画像を用いて他の物体が存在するシーンの中か
らの円筒の抽出に成功している。位置・姿勢の計測にあ
っては、抽出された円筒領域に対し、円筒の位置姿勢の
算出に成功している。

【0013】

【発明が解決しようとする課題】ところで、上述した従
来のビンピッキングにおけるシステム構成では、3次元
用のCCDカメラ10による情報から物体認識を行う場
合、単独では処理時間がかかりすぎるため、2次元用の
CCDカメラ12からの濃淡の画像情報を併用するとと
もに、3次元認識を行う範囲を限定して認識処理の高速
化を図ろうとしている。ところが、2台のCCDカメラ
10,12からの画像情報の整合性をとるのが極めて困
難となるばかりか、認識処理の高速化の妨げを招いてし
まう。

【0014】ちなみに、従来の物体認識における処理手
順は図4に示す通りであり、まず2次元物体の認識を行
い、これに対して座標変換を行うとともに、この座標変
換データに基づいて3次元物体の認識を行う(ステップ
401〜404)。物体認識が不能であると判断された
場合には、整合がとれることによる物体認識が可能とな
るまで再度座標変換が試みられる(ステップ405)。

【0015】また2台のCCDカメラ10,12を用い
て物体認識を行う場合、たとえば図5に示すように、3
次元用のCCDカメラ10の撮像範囲におけるA,B点
は2次元用のCCDカメラ12によって撮像された際に
同一点としてとらえられる。このため、2次元情報から
3次元情報に座標変換した場合、情報があいまいとなり
座標変換が不正確なものとなってしまう。

【0016】更には、2台のCCDカメラ10,12及
びこれらに付随する装置等が必要となりシステムのコス
トアップを招いてしまう。

【0017】本発明は、このような事情に対処してなさ
れたもので、2次元情報及び3次元情報を1台のカメラ
で得るようにするとともに、2次元情報及び3次元情報
の整合を容易に行うことにより、装置のコストダウン、
物体認識処理の高速化及び物体認識情報の信頼性を向上
させることができる3次元物体認識装置を提供すること
を目的とする。

【0018】

【課題を解決するための手段】本発明の3次元物体認識
装置は、上記目的を達成するために、物体に対し通常の
光及びスポット光を切換えて投射する光投射手段と、前
記通常の光及びスポット光による前記物体からの反射光
を取込む受光手段と、この受光手段からの2次元情報及
び3次元情報に対して画像処理を施す画像処理手段とを
具備することを特徴とする。

【0019】

【作用】本発明の3次元物体認識装置では、一個の受光
手段によって2次元情報及び3次元情報を得るようにし
たものであり、これにより装置の構成の簡素化を図るこ
とができる。

【0020】また、一個の受光手段によって2次元情報
及び3次元情報が得られるため、図4に示した従来の処
理手順における整合をとるために要する座標変換のステ
ップを省くことができ、これにより部品認識における演
算処理の大幅な高速化を図ることができる。

【0021】更に、一個の受光手段によって2次元情報
及び3次元情報が得られることにより、2次元画像と3
次元画像の受光領域が同一となるため、有効認識範囲を
大幅に広げることができる。

【0022】更にまた、一個の受光手段によって2次元
情報及び3次元情報が得られることにより、それぞれの
情報の対応を容易且つ正確にとることができるため、部
品の位置及び姿勢情報の精度を向上させることができ
る。

【0023】

【実施例】以下、本発明の実施例の詳細を図面に基づい
て説明する。なお、以下に説明する図において、図3と
共通する部分には同一符号を付し重複する説明を省略す
る。

【0024】図6は、本発明の3次元物体認識装置の一
実施例を示すもので、光投射器9によって照射光が部品
に投射される。光投射器9からの投射光にあっては、通
常の光に加えて1000点余りのスポット光も投射され
るようになっており、これらの切換えは後述する切換器
17の切換えタイミングに同期している。

【0025】光投射器9からの投射された光の反射光
は、CCDカメラ9Aに取込まれる。CCDカメラ9A
は、上記の光投射器9からの投射光が通常の光の場合に
は2次元情報たる濃淡の画像情報を取り込み、スポット
光の場合には3次元の画像情報を取り込むようになって
おり、これらの切換えは上記同様に切換器17の切換え
タイミングに同期している。

【0026】CCDカメラ9Aからの2次元情報たるビ
デオ信号及び3次元情報たるビデオ信号は切換器17を
介してそれぞれ2次元画像処理装置15及び3次元画像
処理装置11に取り込まれる。切換器17による切換え
タイミングは、まず2次元画像処理装置15へ2次元情
報を送った後、所定時間経過後に3次元画像処理装置1
1に3次元情報を送るようになされている。

【0027】3次元画像処理装置11及び2次元画像処
理装置15からの画像処理されたデータは、画像処理用
コンピュータ16に送出される。画像処理用コンピュー
タ16は、3次元処理装置11からの距離画像データ及
び2次元処理装置15からの濃淡情報に基づきロボット
用コンピュータ(図示省略)へ取出すべき部品の指示デ
ータを送出する。なお、3次元画像処理装置11によっ
て部品の位置及び姿勢等を求める際には、CCDカメラ
9Aの3次元情報のCCDの画素(たとえば縦5×横6
4)に対応する結像箇所によって部品までの距離情報が
得られ、この距離情報を演算することにより求められる
ようになっている。

【0028】このような構成の3次元物体認識装置の動
作を、図7を用いて説明する。まず、光投射器9による
通常の光が部品(図示省略)に対して投射されると、部
品からの反射光がCCDカメラ9Aによって取込まれ
る。この時、CCDカメラ9Aによって撮像された情報
たるビデオ信号は、2次元の濃淡情報である。

【0029】CCDカメラ9Aからの2次元情報は、切
換器17を介して2次元画像処理装置15に送られる。
2次元画像処理装置15は、その2次元情報に基づき2
次元物体の認識処理を行う(ステップ701)。

【0030】次いで、光投射器9によりスポット光が部
品に対して投射され、部品からの反射光がCCDカメラ
9Aによって取込まれる。このとき、CCDカメラ9A
によって撮像された情報たるビデオ信号は、3次元情報
である。CCDカメラ9Aからの3次元情報は、切換器
17を介して3次元画像処理装置11に送られる。3次
元画像処理装置11は、その3次元情報に基づき3次元
物体の認識処理を行う(ステップ702)。

【0031】このように、本実施例では、光投射器9に
よって通常の光とスポット光とを切換えて部品に対し投
射するとともに、一台のCCDカメラ9Aによって通常
の光及びスポット光による反射光を切換えて取込むよう
にし、それぞれの2次元情報及び3次元情報に対し2次
元画像処理装置15及び3次元画像処理装置によって画
像処理を施し、これらの画像処理結果から部品の位置及
び姿勢等の情報を得るようにした。

【0032】したがって、一台のCCDカメラ9Aによ
って2次元情報及び3次元情報が得られるため、3次元
物体認識装置の構成が簡単なものとなり、装置のコスト
ダウンを図ることができる。

【0033】また、一台のCCDカメラ9Aによって2
次元情報及び3次元情報が得られるため、図4に示した
従来の処理手順における整合をとるために要する座標変
換のステップを省くことができ、これにより部品認識に
おける演算処理の大幅な高速化を図ることができる。

【0034】更に、一台のCCDカメラ9Aによって2
次元情報及び3次元情報が得られることにより、2次元
画像と3次元画像の撮像範囲が同一となるため、有効認
識範囲を大幅に広げることができる。更にまた、一台の
CCDカメラ9Aによって2次元情報及び3次元情報が
得られることにより、それぞれの情報の対応を容易且つ
正確にとることができるため、部品の位置及び姿勢情報
の精度を向上させることができる。

【0035】

【発明の効果】以上説明したように、本発明の3次元物
体認識装置によれば、一個の受光手段によって2次元情
報及び3次元情報を得るようにしたものであり、これに
より装置の構成の簡素化を図ることができる。

【0036】また、一個の受光手段によって2次元情報
及び3次元情報が得られるため、図4に示した従来の処
理手順における整合をとるために要する座標変換のステ
ップを省くことができ、これにより部品認識における演
算処理の大幅な高速化を図ることができる。

【0037】更に、一個の受光手段によって2次元情報
及び3次元情報が得られることにより、2次元画像と3
次元画像の受光領域が同一となるため、有効認識範囲を
大幅に広げることができる。

【0038】更にまた、一個の受光手段によって2次元
情報及び3次元情報が得られることにより、それぞれの
情報の対応を容易且つ正確にとることができるため、部
品の位置及び姿勢情報の精度を向上させることができ
る。

【図面の簡単な説明】

【図1】従来の粗い距離画像を用いたビンピッキングシ
ステムの一例を示す斜視図である。

【図2】図1の視覚システムにおける処理手順の一例を
示すフローチャートである。

【図3】図1のビンピッキングにおけるシステム構成の
一例を示す図である。

【図4】図3のビンピッキングにおけるシステムによる
物体認識処理手順を示すフローチャートである。

【図5】図3の2台のCCDカメラによる作用を説明す
るための図である。

【図6】本発明の3次元物体認識装置の一実施例を示す
図である。

【図7】図6の3次元物体認識装置による動作を説明す
るためのフローチャートである。

【符号の説明】

9 光投射器 9A CCDカメラ 11 3次元画像処理装置 15 2次元画像処理装置 16 画像処理用コンピュータ 17 切換器

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 物体に対し通常の光及びスポット光を切
    換えて投射する光投射手段と、 前記通常の光及びスポット光による前記物体からの反射
    光を取込む受光手段と、この受光手段からの2次元情報
    及び3次元情報に対して画像処理を施す画像処理手段と
    を具備することを特徴とする3次元物体認識装置。
JP3354582A 1991-12-19 1991-12-19 3次元物体認識装置 Pending JPH05173644A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3354582A JPH05173644A (ja) 1991-12-19 1991-12-19 3次元物体認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3354582A JPH05173644A (ja) 1991-12-19 1991-12-19 3次元物体認識装置

Publications (1)

Publication Number Publication Date
JPH05173644A true JPH05173644A (ja) 1993-07-13

Family

ID=18438528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3354582A Pending JPH05173644A (ja) 1991-12-19 1991-12-19 3次元物体認識装置

Country Status (1)

Country Link
JP (1) JPH05173644A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007071891A (ja) * 2006-12-01 2007-03-22 Konica Minolta Sensing Inc 3次元計測装置
JP2008062376A (ja) * 2006-09-05 2008-03-21 Adept Technology Inc 無作為におかれた対象物のためのビンピッキングシステム
JP2010120141A (ja) * 2008-11-21 2010-06-03 Ihi Corp バラ積みピッキング装置とその制御方法
JP2012245602A (ja) * 2011-05-31 2012-12-13 Mitsubishi Electric Corp 部品供給装置
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008062376A (ja) * 2006-09-05 2008-03-21 Adept Technology Inc 無作為におかれた対象物のためのビンピッキングシステム
JP2007071891A (ja) * 2006-12-01 2007-03-22 Konica Minolta Sensing Inc 3次元計測装置
JP2010120141A (ja) * 2008-11-21 2010-06-03 Ihi Corp バラ積みピッキング装置とその制御方法
JP2012245602A (ja) * 2011-05-31 2012-12-13 Mitsubishi Electric Corp 部品供給装置
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法

Similar Documents

Publication Publication Date Title
JP5472538B2 (ja) 距離計測装置及び環境地図生成装置
US5867592A (en) Method of utilizing edge images of a circular surface for detecting the position, posture, and shape of a three-dimensional objective having the circular surface part
EP1413850B1 (en) Optical sensor for measuring position and orientation of an object in three dimensions
US6445814B2 (en) Three-dimensional information processing apparatus and method
US7471809B2 (en) Method, apparatus, and program for processing stereo image
DE60301922T2 (de) Vorrichtung zur Entnahme von Objekten
KR100693262B1 (ko) 화상 처리 장치
JP3279479B2 (ja) 映像監視方法及び装置
JP3833786B2 (ja) 移動体の3次元自己位置認識装置
KR100784307B1 (ko) 노면주행레인 검출장치
DE10029423B4 (de) Objekterkennungssystem
JP3167752B2 (ja) 車輌用距離検出装置
CN101274432B (zh) 目标物取出装置
JP4681856B2 (ja) カメラの校正方法及びカメラの校正装置
US8508527B2 (en) Apparatus and method of building map for mobile robot
US7342669B2 (en) Three-dimensional shape measuring method and its device
KR920001616B1 (ko) 물체판별장치와 그 판별방법
DE102013012224B4 (de) Vorrichtung zum Entnehmen von lose gespeicherten Gegenständen durch einen Roboter
KR100773184B1 (ko) 자율 이동로봇
JP3951984B2 (ja) 画像投影方法、及び画像投影装置
JP2874710B2 (ja) 三次元位置計測装置
US5995649A (en) Dual-input image processor for recognizing, isolating, and displaying specific objects from the input images
KR100422370B1 (ko) 3차원 물체 부피계측시스템 및 방법
JP2009288235A (ja) 物体の姿勢を求める方法及び装置
US4272756A (en) Method of pattern recognition and apparatus thereof