JP5471355B2 - 3次元視覚センサ - Google Patents
3次元視覚センサ Download PDFInfo
- Publication number
- JP5471355B2 JP5471355B2 JP2009266776A JP2009266776A JP5471355B2 JP 5471355 B2 JP5471355 B2 JP 5471355B2 JP 2009266776 A JP2009266776 A JP 2009266776A JP 2009266776 A JP2009266776 A JP 2009266776A JP 5471355 B2 JP5471355 B2 JP 5471355B2
- Authority
- JP
- Japan
- Prior art keywords
- model
- dimensional
- coordinate system
- coordinate
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Numerical Control (AREA)
Description
ユーザがモデル座標系がロボットの制御に適した状態に変更されたと判断して確定操作を行うと、その操作により確定された各座標軸の投影画像が示す位置および姿勢によりモデル座標系が確定されると共に、3次元モデルを構成する各3次元座標が確定後のモデル座標系による3次元座標に変更され、認識処理のための3次元モデルとして登録されるので、3次元視覚センサから出力される座標や角度を、ロボットの制御に適したものにすることができる。
この実施例のピッキングシステムは、トレイ4の上にバラ積みされたワークWを1つずつ取り出して別の場所に移動させる作業を行うためのもので、ワークWを認識するための3次元視覚センサ100のほか、実際の作業を行う多関節ロボット3や、図示しないロボットコントローラなどが含まれる。
ステレオカメラ1は、3台のカメラC0,C1,C2により構成される。これらのうち中央のカメラC0は、光軸を鉛直方向に向けた状態(すなわち正面視を行う状態)にして配備され、左右のカメラC1,C2は、光軸を斜めにして配備される。
通信インターフェース28は、ロボットコントローラとの通信に用いられる。
この3次元モデルは、CADデータが示すモデル内の一点Oを原点とするモデル座標系により、輪郭線の各構成点の座標を表現したものである。具体的に、この実施例のワークWは薄型であり、厚み部分の中心位置に原点Oが設定される。また、面積が一番広い面の長手方向にX軸が、短手方向にY軸が、それぞれ設定され、XY平面の法線の方向にZ軸が設定されている。
この作業画面の右手には、3つの画像表示領域201,202,203が設けられて、これらの領域内に、それぞれ3次元モデルおよびモデル座標系の投影画像が表示される。これらのうち、面積の大きい画像表示領域201では、マウスによる視線方向の変更操作を受け付けて、投影画像の姿勢を種々に変更することができる。
作業領域205では、CADデータに基づき設定されたモデル座標系のX,Y,Z軸の方向をそれぞれ0度として、これらの方向に対して投影画像中のX,Y,Z軸が示す方向の回転角度をRTx,RTy、RTzとする。したがって、RTx,RTy,RTzがそれぞれ0度のときは、モデル座標系の軸方向は変更されていないことになる。
なお、座標変換後の3次元モデルの登録に伴い、元の3次元モデルは消去されるが、これに限らず、元の3次元モデルを無効化した状態で保存しておいてもよい。
コンピュータグラフィックスによりロボット3の作業空間のシミュレーション画面を立ち上げて、ロボット3によるピッキング動作をシミュレーションし、爪部32,32によりワークWを把持するのに最適な対象位置やワークWの最適な姿勢を特定する。そして、この特定結果に基づいてモデル座標系の原点や座標軸を変更し、3次元モデルの各構成点の座標を変更後のモデル座標系による座標に変換する。
ロボット3の作業空間において、ワークWをロボット3が最適な位置関係をもって把持した状態を設定して、カメラC0,C1,C2を用いたステレオ計測を実施し、アーム部30の方向や爪部32,32の位置および並び方向を計測する。また、ワークWに対しても3次元計測を実行して、計測結果を初期状態の3次元モデルにより照合し、原点Oに対応する座標やX,Y,Zの各座標軸の方向を特定する。そして、原点Oへの対応点と爪部32,32の計測位置から割り出される基準点Pとの間の距離や、アーム部30の方向に対するZ軸の回転角度、爪部32,32の並び方向に対するY軸の回転角度を導出し、これらの値に基づき、3次元モデル中の原点Oの座標や、Y,Zの各座標軸の方向を変更する。また、YZ平面に直交する方向をX軸方向に設定する。
C0,C1,C2 カメラ
1 ステレオカメラ
2 認識処理装置
24 CPU
25 メモリ
26 入力部
27 表示部
201,202,203 画像表示領域
206 スライダ
207 数値表示ボックス
Claims (2)
- 認識対象物のモデルの3次元形状を示す複数の点がそれぞれ当該モデル中の一点を原点とするモデル座標系の3次元座標により表された3次元モデルが登録される登録手段と、認識対象物を撮像するステレオカメラと、ステレオカメラにより生成されたステレオ画像を用いて、前記認識対象物を表す複数の特徴点につき、あらかじめ定めた計測用の3次元座標系における3次元座標を求める3次元計測手段と、3次元計測手段が取得した3次元座標の集合を前記3次元モデルと照合することにより、前記モデル座標系の原点に対応する3次元座標と、前記モデル座標系が示す3次元モデルの基準の姿勢に対する認識対象物の回転角度とを認識する認識手段と、認識手段により認識された3次元座標および回転角度を出力する出力手段とを具備する3次元視覚センサにおいて、
前記計測用の3次元座標系に対する前記モデル座標系の位置および姿勢を定めて前記3次元モデルを配置し、この3次元モデルとモデル座標系を構成する3本の座標軸とを所定の方向から透視変換して2次元の投影画像を生成する透視変換手段と、
前記透視変換処理により生成された前記3次元モデルおよび各座標軸の投影画像をモニタに表示する表示手段と、
前記3次元モデルおよび各座標軸の投影画像の表示下で前記モデル座標系の位置または姿勢を変更する変更操作を受け付けて、その操作により変更されたモデル座標系に応じて前記投影画像中の各座標軸の表示を変更する表示変更手段と、
前記表示変更手段による各座標軸の表示変更に対する確定操作を受け付けて、前記モデル座標系を当該確定操作により確定された各座標軸の投影画像が示す位置および姿勢で確定すると共に、前記3次元モデルを構成する各3次元座標を確定後のモデル座標系による3次元座標に変更し、変更後の3次元モデルを前記認識手段の照合処理に使用される3次元モデルとして前記登録手段に登録するモデル修正手段とを、具備することを特徴とする3次元視覚センサ。 - 前記表示手段は、前記投影画像が表示されたモニタに、この投影画像中の各座標軸の交点への対応点の3次元座標として、初期のモデル座標系の原点の3次元座標を表示し、前記投影画像中の各座標軸が示すモデル座標系の姿勢として、前記投影画像中の各座標軸に対応する方向が前記初期のモデル座標系の各座標軸に対してなす回転角度を表示し、
前記受付手段は、前記モニタに表示された3次元座標または回転角度を変更する操作を受け付ける、請求項1に記載された3次元視覚センサ。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009266776A JP5471355B2 (ja) | 2009-11-24 | 2009-11-24 | 3次元視覚センサ |
US12/943,565 US20110122228A1 (en) | 2009-11-24 | 2010-11-10 | Three-dimensional visual sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009266776A JP5471355B2 (ja) | 2009-11-24 | 2009-11-24 | 3次元視覚センサ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011112400A JP2011112400A (ja) | 2011-06-09 |
JP5471355B2 true JP5471355B2 (ja) | 2014-04-16 |
Family
ID=44061797
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009266776A Active JP5471355B2 (ja) | 2009-11-24 | 2009-11-24 | 3次元視覚センサ |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110122228A1 (ja) |
JP (1) | JP5471355B2 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5561260B2 (ja) * | 2011-09-15 | 2014-07-30 | 株式会社安川電機 | ロボットシステム及び撮像方法 |
RU2568290C1 (ru) | 2011-11-14 | 2015-11-20 | Кэнон Кабусики Кайся | Устройство съемки изображения, устройство управления, способ управления и машиночитаемый носитель информации |
JP6091092B2 (ja) * | 2012-06-14 | 2017-03-08 | キヤノン株式会社 | 画像処理装置、及び画像処理方法 |
JP6222898B2 (ja) * | 2012-07-03 | 2017-11-01 | キヤノン株式会社 | 3次元計測装置及びロボット装置 |
JP2014069251A (ja) | 2012-09-28 | 2014-04-21 | Dainippon Screen Mfg Co Ltd | 作業部制御装置、作業ロボット、作業部制御方法、および作業部制御プログラム |
JP6322959B2 (ja) * | 2013-11-05 | 2018-05-16 | セイコーエプソン株式会社 | ロボット、ロボットシステム、及びロボット制御装置 |
JP5897624B2 (ja) | 2014-03-12 | 2016-03-30 | ファナック株式会社 | ワークの取出工程をシミュレーションするロボットシミュレーション装置 |
JP6642968B2 (ja) * | 2014-03-20 | 2020-02-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
WO2016172718A1 (en) * | 2015-04-24 | 2016-10-27 | Abb Technology Ltd. | System and method of remote teleoperation using a reconstructed 3d scene |
JP6877191B2 (ja) * | 2017-03-03 | 2021-05-26 | 株式会社キーエンス | 画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記録媒体 |
JP6857052B2 (ja) * | 2017-03-03 | 2021-04-14 | 株式会社キーエンス | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6889574B2 (ja) * | 2017-03-03 | 2021-06-18 | 株式会社キーエンス | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6892286B2 (ja) | 2017-03-03 | 2021-06-23 | 株式会社キーエンス | 画像処理装置、画像処理方法、及びコンピュータプログラム |
JP6823502B2 (ja) * | 2017-03-03 | 2021-02-03 | 株式会社キーエンス | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP6598814B2 (ja) * | 2017-04-05 | 2019-10-30 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法 |
DE102017207069A1 (de) * | 2017-04-27 | 2018-10-31 | Robert Bosch Gmbh | Prüfvorrichtung zur optischen Prüfung eines Objektes, Produktionsanlage mit der Prüfvorrichtung und Verfahren zur optischen Prüfung des Objektes mit der Prüfvorrichtung |
CN109813251B (zh) * | 2017-11-21 | 2021-10-01 | 蒋晶 | 用于三维测量的方法、装置以及系统 |
JP7017469B2 (ja) * | 2018-05-16 | 2022-02-08 | 株式会社安川電機 | 操作用デバイス、制御システム、制御方法及びプログラム |
JP6802225B2 (ja) | 2018-08-31 | 2020-12-16 | ファナック株式会社 | 情報処理装置および情報処理方法 |
JP6836628B2 (ja) * | 2019-07-18 | 2021-03-03 | 株式会社ファースト | ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム |
CN110985827B (zh) * | 2019-12-09 | 2021-02-12 | 芜湖赛宝机器人产业技术研究院有限公司 | 一种用于测试工业机器人重复定位精度的减震支架 |
CN111089569B (zh) * | 2019-12-26 | 2021-11-30 | 中国科学院沈阳自动化研究所 | 一种基于单目视觉的大型箱体测量方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3738456B2 (ja) * | 1994-11-14 | 2006-01-25 | マツダ株式会社 | 物品の位置検出方法およびその装置 |
JP2000234915A (ja) * | 1999-02-12 | 2000-08-29 | Keyence Corp | 検査方法及び検査装置 |
JP2004191335A (ja) * | 2002-12-13 | 2004-07-08 | Toyota Motor Corp | 形状測定装置 |
US7746377B2 (en) * | 2003-11-28 | 2010-06-29 | Topcon Corporation | Three-dimensional image display apparatus and method |
JP4595042B2 (ja) * | 2005-09-30 | 2010-12-08 | コニカミノルタセンシング株式会社 | 3次元測定方法およびシステム並びにマニピュレータの制御方法および装置 |
JP4940715B2 (ja) * | 2006-03-15 | 2012-05-30 | 日産自動車株式会社 | ピッキングシステム |
US7912602B2 (en) * | 2007-06-29 | 2011-03-22 | Caterpillar Inc. | Visual diagnostic system and subscription service |
JP2009264956A (ja) * | 2008-04-25 | 2009-11-12 | Toyota Motor Corp | 三次元形状・位置品質評価システム及びその方法 |
-
2009
- 2009-11-24 JP JP2009266776A patent/JP5471355B2/ja active Active
-
2010
- 2010-11-10 US US12/943,565 patent/US20110122228A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2011112400A (ja) | 2011-06-09 |
US20110122228A1 (en) | 2011-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5471355B2 (ja) | 3次元視覚センサ | |
JP5257335B2 (ja) | 3次元視覚センサにおける計測有効領域の表示方法および3次元視覚センサ | |
JP5245938B2 (ja) | 3次元認識結果の表示方法および3次元視覚センサ | |
JP7467041B2 (ja) | 情報処理装置、情報処理方法及びシステム | |
JP5310130B2 (ja) | 3次元視覚センサによる認識結果の表示方法および3次元視覚センサ | |
JP4508252B2 (ja) | ロボット教示装置 | |
JP6892286B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
CN110977931A (zh) | 使用了增强现实和混合现实的机器人控制装置及显示装置 | |
JP2010210585A (ja) | 3次元視覚センサにおけるモデル表示方法および3次元視覚センサ | |
EP1617380A1 (en) | Device for producing shape model | |
JP2004295223A (ja) | 画像処理装置及びロボットシステム | |
US20230347509A1 (en) | Robot control apparatus, robot control method, and program | |
JP7323993B2 (ja) | 制御装置、ロボットシステム、制御装置の動作方法及びプログラム | |
JP2009175012A (ja) | 計測装置および計測方法 | |
JP5476943B2 (ja) | 姿勢認識方法およびこの方法を用いた3次元視覚センサ | |
JP7439410B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2022092168A1 (ja) | ロボット制御装置及びロボットシステム | |
WO2022176928A1 (ja) | 教示装置 | |
JP5862382B2 (ja) | 作業支援装置 | |
JP2017113815A (ja) | 対象物をロボットを用いて把持するロボットシステムの画像表示方法 | |
WO2023157083A1 (ja) | ワークの位置を取得する装置、制御装置、ロボットシステム、及び方法 | |
WO2024042619A1 (ja) | 装置、ロボットの制御装置、ロボットシステム、方法 | |
US20230241763A1 (en) | Generation Method, Computer Program, And Generation System | |
JP2010210376A (ja) | テンプレートマッチングシステムおよびテンプレートマッチング方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120319 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130424 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20130815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5471355 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |