JP5610211B2 - 投影面情報提示装置と方法 - Google Patents
投影面情報提示装置と方法 Download PDFInfo
- Publication number
- JP5610211B2 JP5610211B2 JP2010213439A JP2010213439A JP5610211B2 JP 5610211 B2 JP5610211 B2 JP 5610211B2 JP 2010213439 A JP2010213439 A JP 2010213439A JP 2010213439 A JP2010213439 A JP 2010213439A JP 5610211 B2 JP5610211 B2 JP 5610211B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- projection
- projection plane
- information presentation
- robot hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Manipulator (AREA)
Description
このようなモジュール化組付により、部品組付のための車両内乗込み作業を低減することができるが、その反面、モジュールが大型化し、作業者の負担が増大していた。
また、本発明と関連する技術として、特許文献1〜5が開示されている。
非特許文3、4は、いわゆるロボットを用いたハンドガイド装置であり、人の操作入力によりロボットを操作し、人とロボットが協働作業するものである。
特許文献1、2は、カメラとプロジェクタを用い、画像処理により投影平面の傾斜角度又は配置を計測するものである。
特許文献3は、投射装置と撮影装置を用い、対象物の3次元形状を計測するものである。
特許文献4、5は、2台以上のカメラを用い、対象物の3次元画像を撮影するものである。
すなわち、ロボットを手動操作する場合、撮影されたパターンの変化を目視で確認しながら操作する。しかし、カメラとプロジェクタの距離が近いと、対象面がわずかに傾いた程度では、撮影されるパターンがほとんど変化しない。したがって、目視では対象面の微小な傾斜を認識できない問題点があった。
前記ロボットハンドに設けられ、特定の原パターンを前記対象物に固定された投射面上に投射するプロジェクタと、
前記ロボットハンドに設けられ、前記投射された原パターンである投射パターンを撮影するカメラと、
前記撮影した投射パターンである撮影パターンを、投射面が予め設定した基準投射面と一致する場合に、原パターンと一致するように変形し、前記投射面が前記基準投射面と一致しない場合にも同一の変形を実施した変形パターンを前記原パターンに重畳するパターン重畳装置と、を備えることを特徴とする投影面情報提示装置が提供される。
(A)前記ロボットハンドに設けられたプロジェクタにより、特定の原パターンを前記対象物に固定された投射面上に投射し、
(B)前記ロボットハンドに設けられたカメラにより、前記投射された原パターンである投射パターンを撮影し、
(C)前記撮影した投射パターンである撮影パターンを、投射面が予め設定した基準投射面と一致する場合に、原パターンと一致するように変形し、前記投射面が前記基準投射面と一致しない場合にも同一の変形を実施し、
(D)前記変形した撮影パターンである変形パターンを前記原パターンに重畳し、
(E)前記(A)〜(D)を順に繰り返す、ことを特徴とする投影面情報提示方法が提供される。
また、前記(E)において、予め設定した周期毎に、前記変形パターンを消去する。
また、手動操作によるロボットハンドの移動毎に、前記変形パターンを消去する、のが好ましい。
しかし、パターン重畳装置による変形は、変形パターンが予め設定した「基準位置」において原パターンと一致する変形であるため、ロボットハンドが基準位置に位置する場合、変形パターンは原パターンに一致する。
なお、「基準位置」とは、ロボットハンドが対象物に対し予め設定した位置と姿勢をとる位置である。
従って、この場合は、プロジェクタによる投射、カメラによる撮影、パターン重畳装置による重畳を繰り返しても、投射面上の投射パターンは投射された原パターンのみであり、これから目視により相対位置誤差が0であることを確認できる。
このズレは、プロジェクタによる投射、カメラによる撮影、パターン重畳装置による重畳を繰り返すことで、投射面上において順次大きく表示される。
このハンドガイドシステムは、ハンドガイド装置10を備え、作業者6が操作することで、ワーク1を自由に動かし、対象物2の開口部2aにワーク1を組付けるようになっている。
なお、手動操作盤16の取付け位置は、ロボットハンド12に限定されず、その他の位置、例えばロボット14から離れた固定位置であってもよい。
ロボット制御装置18は、例えば、「自動モード」と「協働モード」とを有する。
自動モードでは、人6(作業員)の操作なしに、所定のシーケンス又はプログラムに従い、ロボット14を自動制御する。協働モードでは、人6(作業員)が手動操作盤16を操作してロボット14の作動を操作するようになっている。
また、ハンドガイド装置10は、人の判断や経験を必要とする作業時のみ協働モードに切替え、その他の作業を自動モードで実行するようになっている。
なお、本願において、「自動モード」及び「協働モード」は必須ではなく、人6(作業員)が手動操作盤16を操作してロボット14の作動を操作することができればよい。
イネーブルスイッチは、安全を担保するために片手を占有し、これを把持することでスイッチがONするようになっている。
片手操作入力デバイスは、直交3軸の並進入力と該3軸まわりの回転入力を片手操作で入力可能に構成されている。
また、本発明の協働モードにおいて、両手でイネーブルスイッチと片手操作入力デバイスを操作することによりロボット14を手動制御できるようになっている。
なお、入力デバイスは片手操作入力デバイスに限定されず、2つの入力デバイスを両手で操作してロボット14を手動制御する構成であってもよい。
表示灯は、ハンドガイド装置10の種々の状態を表示し、押釦スイッチは種々の信号(例えば、非常停止信号)を出力するようになっている。
プロジェクタ22は、例えば、投影レンズ、液晶表示部、液晶表示部の画像を制御する画像制御部を有する液晶プロジェクタである。対象物2に固定された投射面3は、組み付け先の一部を使っても良いし、専用のパネルを取り付けても良い。
カメラ24は、例えば、デジタルカメラ又はデジタルビデオカメラである。
カメラ24とプロジェクタ22の光軸をそろえる必要はないが、カメラ24の視野とプロジェクタ22の投射範囲が、できるだけ重なるような向きが良い。
また、カメラ24とプロジェクタ22間の距離は任意であるが、距離が離れるほど検出精度は高くなる。ただし、距離が離れると、カメラ視野とプロジェクタの投射範囲が重なりにくくなる。
パターン重畳装置26は、例えばコンピュータである。パターン重畳装置26は、ロボット制御装置18と一体でも、別置きでもよい。
画像表示装置28は、例えば液晶ディスプレイであり、人6(作業員)が手動操作盤16を操作しながら直視できる位置に設けられ、カメラ24で撮影した撮影パターンCを表示する。
なお、本発明において、画像表示装置28は必須ではなく、人6(作業員)が手動操作盤16を操作しながら投射面3上の投射パターンBを直視できる限りで、省略することができる。
なおこの図において、投射面3は紙面に直交し、光軸22aと光軸24aは紙面に平行な平面内に位置するものとする。
また、この場合、カメラ24の光軸24aが投射面3に対して直交しているので、カメラ24で撮影した撮影パターンCは、台形a1b1c1d1の相似形である台形a2b2c2d2となる。
このパターン重畳装置26による変形は、ロボットハンド12が対象物2に対し予め設定した位置と姿勢をとらないとき、すなわち、投射面3が基準投射面4(後述する)と一致しない場合にも、同一の変形が実施される。
従って、ロボットハンド12が対象物2に対し予め設定した位置と姿勢をとらないとき、変形パターンDは原パターンAと一致せず、その間にずれが発生する。
上述した例のように、投射面3が平面であり、撮影画像の歪みを無視できる場合には、台形補正により上記台形a2b2c2d2を矩形efghに変形することができる。
また、撮影画像の歪みを考慮する場合には、台形補正と歪み補正により上記変形を実施することができる。
さらに、一般的には、光軸22a、光軸24a及び投射面3の位置関係により、射影変換により上記変形を実施することができる。
本発明の方法は、手動操作によりロボットハンド12を対象物2に対して位置決めするための方法であり、この図に示すように、S1〜S7の各ステップ(工程)からなる。
「異なる明度」に変更とは、例えば黒の原パターンAに対し、変形パターンDをグレイ(灰色)にする。また、「異なる色調」に変更とは、例えば黒の原パターンAに対し、基準位置より前を青色、基準位置より後を赤色で表示する。
この変更により、投射面3上に投射された投射パターンBから原パターンAと変形パターンDとの目視による区別が容易となる。
なお、S4は必須ではなく、これを省略することもできる。
変形パターンDの消去は、例えば、予め設定した周期毎に実施する。この周期は、予め設定した時間(例えば1〜10秒)、或いは予め設定した繰返し数(例えば2回〜10回)であるのがよい。
また、変形パターンDの消去は、手動操作によるロボットハンド12の移動毎に実施してもよい。
S6で、変形パターンDを消去しない(NO)の場合、S1に直接戻る。
また、手動操作中の特定の時間帯(例えば組立時)又は領域(例えば対象物2の近傍)においてのみ、S1〜S7の各ステップを順に繰り返すようにしてもよい。
従って、S1〜S5の各ステップを順に繰り返し、プロジェクタ22による投射、カメラ24による撮影、パターン重畳装置26による重畳を繰り返しても、原パターンAは変化せず、投射面上の投射パターンBは投射された原パターンAのみであり、これから目視により相対位置誤差が0であることを確認できる。
このズレは、プロジェクタ22による投射、カメラ24による撮影、パターン重畳装置26による重畳を繰り返すことで、投射面3上において順次大きく表示される。
(A)は、対象物2とカメラ24及びプロジェクタ22が予め設定した「基準位置」にある時の上面図である。この時の投射面3の位置を「基準投射面4」とする。この例では、(B)に示すプロジェクタ22が投射するパターン(液晶表示部23aにおける原パターンA)と、(C)に示すカメラ24が撮影するパターン(撮影パターンC)は一致している。
投射面3が基準投射面4より遠くにある時、撮影される撮影パターンCの位置が矢印で示すように右方向にずれる(A)。次に、撮影された撮影パターンCを変形した変形パターンDを原パターンAに重畳する(B)。次いで、重畳後の原パターンAと変形パターンDを投射すると、一回目よりずれたパターンが重なって撮影される(C)。このように、撮影パターンCを変形した変形パターンDを原パターンAに重畳し、投射することを繰り返すことで、微小なパターンのずれが拡大していく(D)。
(A)は、対象物2とカメラ24及びプロジェクタ22が予め設定した「基準位置」にある時の上面図である。
この例では、投射面3は基準投射面4に対し、奥行き方向の平行移動だけでなく、傾きもずれている。この場合も、図6と同様に、左右のパターンが少しずつ、ずれていく。
この例で、原パターンAの左の縦線が投射される位置は、投射面3が基準投射面4より遠くにあるため、右方向にずれた変形パターンDが重なっていく。原パターンAの右の縦線が投射される位置は、投射面3が基準投射面4より近くにあるため、左方向にずれた変形パターンDが重なっていく。
(A)は、カメラ24、プロジェクタ22、及び投射面3を側面から見た図を示す。
(水平軸周りの傾き)
画像上部と下部で、原パターンAと変形パターンDのずれ具合を比較する。
(垂直軸回りの傾き)
画像の左右で、原パターンAと変形パターンDのずれ具合を比較する。
(奥行き)
画像全体にわたって、原パターンAに対し変形パターンDが左右どちら側にずれているかを見る。
例えば、原パターンAは、画像上の原点と、原点より水平方向、垂直方向に離れた2点の合計3点の点であってもよい。また、原パターンAは、格子状のパターンであってもよい。
また、投射面3及び基準投射面4は、平面に限定されず、緩やかな曲面であってもよい。
3 投射面、4 基準投射面、6 作業者、
10 ハンドガイド装置、12 ロボットハンド、
14 ロボット、16 手動操作盤、18 ロボット制御装置、
20 投影面情報提示装置、22 プロジェクタ、22a 光軸、
23a 液晶表示部、24 カメラ、24a 光軸、
26 パターン重畳装置(コンピュータ)、
28 画像表示装置(液晶ディスプレイ)
Claims (7)
- 手動操作によりロボットハンドを対象物に対して位置決めするための投影面情報提示装置であって、
前記ロボットハンドに設けられ、特定の原パターンを前記対象物に固定された投射面上に投射するプロジェクタと、
前記ロボットハンドに設けられ、前記投射された原パターンである投射パターンを撮影するカメラと、
前記撮影した投射パターンである撮影パターンを、投射面が予め設定した基準投射面と一致する場合に、原パターンと一致するように変形し、前記投射面が前記基準投射面と一致しない場合にも同一の変形を実施した変形パターンを前記原パターンに重畳するパターン重畳装置と、を備えることを特徴とする投影面情報提示装置。 - 前記パターン重畳装置による前記変形は、射影変換、台形補正、又は歪み補正による、ことを特徴とする請求項1に記載の投影面情報提示装置。
- 前記撮影パターンを表示する画像表示装置を備える、ことを特徴とする請求項1に記載の投影面情報提示装置。
- 手動操作によりロボットハンドを対象物に対して位置決めするための投影面情報提示方法であって、
(A)前記ロボットハンドに設けられたプロジェクタにより、特定の原パターンを前記対象物に固定された投射面上に投射し、
(B)前記ロボットハンドに設けられたカメラにより、前記投射された原パターンである投射パターンを撮影し、
(C)前記撮影した投射パターンである撮影パターンを、投射面が予め設定した基準投射面と一致する場合に、原パターンと一致するように変形し、前記投射面が前記基準投射面と一致しない場合にも同一の変形を実施し、
(D)前記変形した撮影パターンである変形パターンを前記原パターンに重畳し、
(E)前記(A)〜(D)を順に繰り返す、ことを特徴とする投影面情報提示方法。 - 前記(C)において、重畳前に、前記変形パターンを原パターンと異なる明度又は色調に変更する、ことを特徴とする請求項4に記載の投影面情報提示方法。
- 前記(E)において、予め設定した周期毎に、前記変形パターンを消去する、ことを特徴とする請求項4に記載の投影面情報提示方法。
- 手動操作によるロボットハンドの移動毎に、前記変形パターンを消去する、ことを特徴とする請求項4に記載の投影面情報提示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010213439A JP5610211B2 (ja) | 2010-09-24 | 2010-09-24 | 投影面情報提示装置と方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010213439A JP5610211B2 (ja) | 2010-09-24 | 2010-09-24 | 投影面情報提示装置と方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012066345A JP2012066345A (ja) | 2012-04-05 |
JP5610211B2 true JP5610211B2 (ja) | 2014-10-22 |
Family
ID=46164225
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010213439A Active JP5610211B2 (ja) | 2010-09-24 | 2010-09-24 | 投影面情報提示装置と方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5610211B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6138722B2 (ja) * | 2014-04-10 | 2017-05-31 | スターテクノ株式会社 | ワーク加工装置 |
JP5622250B1 (ja) * | 2013-11-08 | 2014-11-12 | スターテクノ株式会社 | 較正機能付きワーク加工装置 |
JP6343930B2 (ja) * | 2013-12-27 | 2018-06-20 | セイコーエプソン株式会社 | ロボットシステム、ロボット制御装置、及びロボット制御方法 |
KR102673293B1 (ko) * | 2018-11-08 | 2024-06-11 | 현대자동차주식회사 | 서비스 로봇 및 그의 운용 방법 |
US20220388179A1 (en) * | 2020-02-12 | 2022-12-08 | Fanuc Corporation | Robot system |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2718249B2 (ja) * | 1990-07-13 | 1998-02-25 | トヨタ自動車株式会社 | ロボットの位置ずれ検出装置 |
JPH05253889A (ja) * | 1992-03-12 | 1993-10-05 | Toshiba Corp | マニピュレータ操作装置 |
JPH09183088A (ja) * | 1995-12-28 | 1997-07-15 | Matsushita Electric Ind Co Ltd | 視覚センサ付ロボット装置 |
JPH1135300A (ja) * | 1997-07-16 | 1999-02-09 | Yaskawa Electric Corp | カメラ追従方法 |
JP3384329B2 (ja) * | 1998-06-22 | 2003-03-10 | 富士ゼロックス株式会社 | 3次元画像撮影装置 |
JP3482990B2 (ja) * | 1998-08-18 | 2004-01-06 | 富士ゼロックス株式会社 | 3次元画像撮影装置 |
JP2001330417A (ja) * | 2000-05-19 | 2001-11-30 | Tatsuo Sato | カラーパターン光投影を用いた三次元形状計測法および三次元形状計測装置 |
JP2002071315A (ja) * | 2000-09-05 | 2002-03-08 | Nec Corp | 投影平面計測システム |
JP3926311B2 (ja) * | 2003-05-21 | 2007-06-06 | Necビューテクノロジー株式会社 | 傾斜角度測定装置を有するプロジェクタ |
-
2010
- 2010-09-24 JP JP2010213439A patent/JP5610211B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012066345A (ja) | 2012-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4844453B2 (ja) | ロボットの教示装置及び教示方法 | |
JP5610211B2 (ja) | 投影面情報提示装置と方法 | |
JP4164703B2 (ja) | 広視野画像入力方法及び装置 | |
JP5526881B2 (ja) | ロボットシステム | |
JP6504274B2 (ja) | 三次元形状データおよびテクスチャ情報生成システム、撮影制御プログラム、及び三次元形状データおよびテクスチャ情報生成方法並びに情報記録媒体 | |
JP4819957B1 (ja) | ロボットの位置情報復元装置および位置情報復元方法 | |
JP2009269110A (ja) | 組立装置 | |
WO2020252632A1 (zh) | 一种坐标系校准方法、装置和计算机可读介质 | |
JP2005300230A (ja) | 計測装置 | |
JP2009241247A (ja) | ステレオ画像型検出移動装置 | |
JP2010076054A (ja) | ロボット装置及びロボット装置の制御方法 | |
JP6670974B1 (ja) | ロボット用の座標系アライメント方法及びアライメントシステム並びにアライメント装置 | |
JP2011194498A (ja) | 視覚検査システム | |
US20190255706A1 (en) | Simulation device that simulates operation of robot | |
WO2017179432A1 (ja) | 3次元的な投影対象のための画像投影方法及び画像投影装置 | |
JP2009269134A (ja) | 視覚検査装置のシミュレーション装置 | |
JP2019113348A (ja) | 物体検査システム及び物体検査方法 | |
JP5573537B2 (ja) | ロボットのティーチングシステム | |
JP5113623B2 (ja) | 計測装置を用いてロボットの位置教示を行うロボット制御装置 | |
JP3754340B2 (ja) | 位置検出装置 | |
JP2006267191A (ja) | 露光装置 | |
JPH0820207B2 (ja) | 光学式3次元位置計測方法 | |
JP6343930B2 (ja) | ロボットシステム、ロボット制御装置、及びロボット制御方法 | |
JPH11178014A (ja) | 液晶プロジェクタ光学モジュールの調整装置および検査装置 | |
JP2008168299A (ja) | 溶接ロボットでの溶接制御方法及び溶接制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130722 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140425 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140820 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5610211 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |