JP2686685B2 - ロボットによる物体操作のための能動的カメラ探索装置 - Google Patents
ロボットによる物体操作のための能動的カメラ探索装置Info
- Publication number
- JP2686685B2 JP2686685B2 JP3297509A JP29750991A JP2686685B2 JP 2686685 B2 JP2686685 B2 JP 2686685B2 JP 3297509 A JP3297509 A JP 3297509A JP 29750991 A JP29750991 A JP 29750991A JP 2686685 B2 JP2686685 B2 JP 2686685B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- camera
- target object
- image
- control means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Control Of Position Or Direction (AREA)
- Manipulator (AREA)
Description
【０００１】
【産業上の利用分野】この発明はロボットによる物体操
作のための能動的カメラ探索装置に関し、特に、カメラ
の能動的探索によって物体操作の視覚フィードバック制
御をより簡潔，安定かつ正確にし、複雑な物体配置に適
応できるようなロボットによる物体操作のための能動的
カメラ探索装置に関する。
作のための能動的カメラ探索装置に関し、特に、カメラ
の能動的探索によって物体操作の視覚フィードバック制
御をより簡潔，安定かつ正確にし、複雑な物体配置に適
応できるようなロボットによる物体操作のための能動的
カメラ探索装置に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】最近
では、目的とする物体を操作するために、目的物体をカ
メラで撮像し、その画像を処理し、フィードバック制御
することによりカメラを移動させたり、ロボットを移動
させたりしている。しかしながら、固定された１台のカ
メラで目的物体を撮像した場合、目的物体の３次元位置
の特定をすることができない。すなわち、目的物体とロ
ボットとの相対位置を２次元的に一致させても３次元方
向すなわち奥行方向において目的物体とロボットとの相
対位置が一致しているかどうかを判別することができな
い。
では、目的とする物体を操作するために、目的物体をカ
メラで撮像し、その画像を処理し、フィードバック制御
することによりカメラを移動させたり、ロボットを移動
させたりしている。しかしながら、固定された１台のカ
メラで目的物体を撮像した場合、目的物体の３次元位置
の特定をすることができない。すなわち、目的物体とロ
ボットとの相対位置を２次元的に一致させても３次元方
向すなわち奥行方向において目的物体とロボットとの相
対位置が一致しているかどうかを判別することができな
い。
【０００３】２台のカメラを用いてステレオ方式でロボ
ットと目的物体との３次元位置を計測する方法も考えら
れているが、２台のカメラ間のベースラインを長くする
と、物体の２画面での像の対応付けが困難になり、逆に
短くすると、三角測量で得られる３次元位置の精度が低
いこともある。また、目的物体とカメラの固定された関
係から対象物が隠されたり、視野に入らなかったり、画
像分解能が足りないような問題点が生じる。
ットと目的物体との３次元位置を計測する方法も考えら
れているが、２台のカメラ間のベースラインを長くする
と、物体の２画面での像の対応付けが困難になり、逆に
短くすると、三角測量で得られる３次元位置の精度が低
いこともある。また、目的物体とカメラの固定された関
係から対象物が隠されたり、視野に入らなかったり、画
像分解能が足りないような問題点が生じる。
【０００４】それゆえに、この発明の主たる目的は、カ
メラを目的物体に対して能動的に探索して視覚的フィー
ドバック制御をより簡潔，安定かつ正確にして効率よく
行なえるようなロボットによる物体操作のための能動的
カメラ探索装置を提供することである。
メラを目的物体に対して能動的に探索して視覚的フィー
ドバック制御をより簡潔，安定かつ正確にして効率よく
行なえるようなロボットによる物体操作のための能動的
カメラ探索装置を提供することである。
【０００５】
【課題を解決するための手段】この発明は１台のカメラ
で目的物体を撮像しながらロボットで目的物体を操作す
るロボットによる物体操作のための能動的カメラ探索装
置であって、カメラの画像出力を処理して目的物の特徴
を抽出し、連続画像処理することによってロボットと物
体の移動を追跡するための画像処理手段と、カメラを制
御するカメラ制御手段と、ロボットを制御するロボット
制御手段と、画像処理手段によって追跡されたロボット
と目的物体との相対位置関係を求め、ロボット制御手段
によってロボットが目的物体に近づくようにロボットを
制御し、カメラ制御手段によってカメラの撮像位置を変
えるように制御させ、再度ロボット制御手段によってロ
ボットが目的物体に近づけるように制御させる制御手段
とを備えて構成される。
で目的物体を撮像しながらロボットで目的物体を操作す
るロボットによる物体操作のための能動的カメラ探索装
置であって、カメラの画像出力を処理して目的物の特徴
を抽出し、連続画像処理することによってロボットと物
体の移動を追跡するための画像処理手段と、カメラを制
御するカメラ制御手段と、ロボットを制御するロボット
制御手段と、画像処理手段によって追跡されたロボット
と目的物体との相対位置関係を求め、ロボット制御手段
によってロボットが目的物体に近づくようにロボットを
制御し、カメラ制御手段によってカメラの撮像位置を変
えるように制御させ、再度ロボット制御手段によってロ
ボットが目的物体に近づけるように制御させる制御手段
とを備えて構成される。
【０００６】
【作用】この発明に係るロボットによる物体操作のため
の能動的カメラ探索装置は、カメラの画像出力を処理し
て目的物の特徴と抽出し、連続画像処理することによっ
てロボットと目的物体との２次元的相対位置関係を求
め、ロボットが目的物体に近づくようにロボットを制御
し、カメラの撮像位置を変えて再びロボットが目的物体
に近づけるように制御することによって、１台のカメラ
でロボットと目的物体との３次元的位置関係を簡潔，安
定かつ正確にして計測することができる。
の能動的カメラ探索装置は、カメラの画像出力を処理し
て目的物の特徴と抽出し、連続画像処理することによっ
てロボットと目的物体との２次元的相対位置関係を求
め、ロボットが目的物体に近づくようにロボットを制御
し、カメラの撮像位置を変えて再びロボットが目的物体
に近づけるように制御することによって、１台のカメラ
でロボットと目的物体との３次元的位置関係を簡潔，安
定かつ正確にして計測することができる。
【０００７】
【実施例】図１はこの発明の一実施例の概略ブロック図
である。図１を参照して、ロボット１は目的物体２をつ
かんだり、指定された位置に置いたりするために、３次
元動作を行なう。このために、ロボット制御部４はコン
ピュータ３から指令が与えられると、ロボット１を目的
物体３に近づけるための制御を行なう。
である。図１を参照して、ロボット１は目的物体２をつ
かんだり、指定された位置に置いたりするために、３次
元動作を行なう。このために、ロボット制御部４はコン
ピュータ３から指令が与えられると、ロボット１を目的
物体３に近づけるための制御を行なう。
【０００８】一方、カメラ５はカメラアーム６に取付け
られ、ロボット１と目的物体２とを撮像する。カメラ５
で撮像された連続画像８は画像処理部９に与えられて画
像処理される。画像処理部９はカメラ５で撮像された目
的物体の特徴を抽出し、連続画像を処理することによっ
てロボット１および目的物体２の移動を追跡する。画像
処理部９の出力はコンピュータ３に与えられ、カメラ５
がロボット１の移動を追跡するようにカメラ制御部７を
制御する。
られ、ロボット１と目的物体２とを撮像する。カメラ５
で撮像された連続画像８は画像処理部９に与えられて画
像処理される。画像処理部９はカメラ５で撮像された目
的物体の特徴を抽出し、連続画像を処理することによっ
てロボット１および目的物体２の移動を追跡する。画像
処理部９の出力はコンピュータ３に与えられ、カメラ５
がロボット１の移動を追跡するようにカメラ制御部７を
制御する。
【０００９】図２はカメラ中心座標系でのカメラ移動を
示す図である。図２を参照して、カメラ５は目的物体２
の画像を撮像したときの画像分解能を変化させるため
に、光軸に沿った移動１０と、目的物体の画面位置を調
整するために焦点が合った状態でカメラ５を目的物体２
のまわりに上下方向に回転する移動１１と、目的物体２
とロボット１の相対位置を判定するために選ばれた注視
点のまわりに水平な円弧に沿う移動１２をすることがで
きる。
示す図である。図２を参照して、カメラ５は目的物体２
の画像を撮像したときの画像分解能を変化させるため
に、光軸に沿った移動１０と、目的物体の画面位置を調
整するために焦点が合った状態でカメラ５を目的物体２
のまわりに上下方向に回転する移動１１と、目的物体２
とロボット１の相対位置を判定するために選ばれた注視
点のまわりに水平な円弧に沿う移動１２をすることがで
きる。
【００１０】図３はカメラで撮像された画像の一例を示
す図である。カメラ５で撮像された画像１３には、ロボ
ット１と目的物体２とが写っている。カメラ５が光軸に
沿って移動し、目的物体２に近づくと拡大され、遠のく
と縮小される。そして、対象物の画面サイズが一定の値
になると光軸方向への移動が停止させる。観測方向を変
えるためにカメラ５を垂直軸あるいは水平軸のまわりに
回転することによって、画像撮像範囲１３の中心と画像
処理範囲１４の中心とを一致させることができる。
す図である。カメラ５で撮像された画像１３には、ロボ
ット１と目的物体２とが写っている。カメラ５が光軸に
沿って移動し、目的物体２に近づくと拡大され、遠のく
と縮小される。そして、対象物の画面サイズが一定の値
になると光軸方向への移動が停止させる。観測方向を変
えるためにカメラ５を垂直軸あるいは水平軸のまわりに
回転することによって、画像撮像範囲１３の中心と画像
処理範囲１４の中心とを一致させることができる。
【００１１】図４はカメラ中心座標系とロボットの中心
座標系との関係を示す図であり、図５はカメラとロボッ
トとの相対的な移動を説明するための図であり、図６は
カメラの誘導によってロボットが目的物体をつかむ動作
を説明するたの図であり、図７はこの発明の一実施例の
動作を説明するためのフロー図である。
座標系との関係を示す図であり、図５はカメラとロボッ
トとの相対的な移動を説明するための図であり、図６は
カメラの誘導によってロボットが目的物体をつかむ動作
を説明するたの図であり、図７はこの発明の一実施例の
動作を説明するためのフロー図である。
【００１２】次に、図１〜図７を参照して、この発明の
一実施例の動作について説明する。ステップ（図示では
ＳＰと略称する）ＳＰ１において、カメラ５によってロ
ボット１と目的物体２とを撮像する。このときのカメラ
５で撮像されている画像は図６（ａ）に示すようにな
る。ロボット１と目的物体２とが画像の中心にくるよう
にカメラ５を移動させる。そのときの画像は図６（ｂ）
に示すようになる。次に、ロボット１を図４に示すよう
に空間中一次独立の３つのベクトルＴ１，Ｔ２，Ｔ３に
沿って移動させ、その移動の状態をカメラ５で撮像し、
カメラ中心座標系とロボット１の移動中心座標系との関
係を求める。すなわち、画像処理部９はロボット１の移
動中心座標系でのベクトルＴ１，Ｔ２，Ｔ３に回転行列
を乗算して画面上のベクトルを求める。そして、ロボッ
ト１の先端位置が画面上の中心位置になるようにカメラ
５を移動させる。その結果、画像は図６（ｃ）に示すよ
うになる。ステップＳＰ４において、ロボット１の先端
を目的物体２の目的位置点と同一垂直線上に乗るよう
に、図５に示すようにカメラ１かロボット５のいずれか
を図６（ｃ）において左側に移動させる。ロボット１の
先端と目的物体２とが同一垂直線上にくると、画像は図
６（ｄ）に示すようになる。
一実施例の動作について説明する。ステップ（図示では
ＳＰと略称する）ＳＰ１において、カメラ５によってロ
ボット１と目的物体２とを撮像する。このときのカメラ
５で撮像されている画像は図６（ａ）に示すようにな
る。ロボット１と目的物体２とが画像の中心にくるよう
にカメラ５を移動させる。そのときの画像は図６（ｂ）
に示すようになる。次に、ロボット１を図４に示すよう
に空間中一次独立の３つのベクトルＴ１，Ｔ２，Ｔ３に
沿って移動させ、その移動の状態をカメラ５で撮像し、
カメラ中心座標系とロボット１の移動中心座標系との関
係を求める。すなわち、画像処理部９はロボット１の移
動中心座標系でのベクトルＴ１，Ｔ２，Ｔ３に回転行列
を乗算して画面上のベクトルを求める。そして、ロボッ
ト１の先端位置が画面上の中心位置になるようにカメラ
５を移動させる。その結果、画像は図６（ｃ）に示すよ
うになる。ステップＳＰ４において、ロボット１の先端
を目的物体２の目的位置点と同一垂直線上に乗るよう
に、図５に示すようにカメラ１かロボット５のいずれか
を図６（ｃ）において左側に移動させる。ロボット１の
先端と目的物体２とが同一垂直線上にくると、画像は図
６（ｄ）に示すようになる。
【００１３】ステップＳＰ５において、ロボット１が目
的物体２上に来たか否かを判別する。ロボット１と目的
物体２との差がなくなったことを判別すると、ステップ
ＳＰ６において、目的物体２からカメラ５までの距離を
一定に保った状態でカメラ５を水平方向に移動させる。
そして、図６（ｅ）に示すように、ロボット１とカメラ
５との間に障害物が存在し、ロボット１の画像を認識で
きなくなったことを判別すると、ステップＳＰ８におい
てカメラ５の高さを変える。すなわち、目的物体２から
カメラ５までの距離を一定に保った状態でカメラ５を上
方向に移動させる。すると、図６（ｆ）に示すように、
ロボット１の画像が障害物の上の方向から認識できるよ
うになる。ステップＳＰ９において、図６（ｆ）におい
てロボット１を手前側に移動させて目的物体に近接さ
せ、ステップＳＰ１０においてロボット１の垂直軸と目
的物体２の垂直軸とが一致したか否かを判別し、一致し
ていればロボット１が目的物体２の位置に到達している
ことになる。その後、ロボット１によって目的物体２を
拾い上げ、他の位置に移動させるなどの動作を行なう。
的物体２上に来たか否かを判別する。ロボット１と目的
物体２との差がなくなったことを判別すると、ステップ
ＳＰ６において、目的物体２からカメラ５までの距離を
一定に保った状態でカメラ５を水平方向に移動させる。
そして、図６（ｅ）に示すように、ロボット１とカメラ
５との間に障害物が存在し、ロボット１の画像を認識で
きなくなったことを判別すると、ステップＳＰ８におい
てカメラ５の高さを変える。すなわち、目的物体２から
カメラ５までの距離を一定に保った状態でカメラ５を上
方向に移動させる。すると、図６（ｆ）に示すように、
ロボット１の画像が障害物の上の方向から認識できるよ
うになる。ステップＳＰ９において、図６（ｆ）におい
てロボット１を手前側に移動させて目的物体に近接さ
せ、ステップＳＰ１０においてロボット１の垂直軸と目
的物体２の垂直軸とが一致したか否かを判別し、一致し
ていればロボット１が目的物体２の位置に到達している
ことになる。その後、ロボット１によって目的物体２を
拾い上げ、他の位置に移動させるなどの動作を行なう。
【００１４】
【発明の効果】以上のように、この発明によれば、カメ
ラで目的物体とロボットとを撮像し、その画像出力を処
理して目的物の特徴を抽出し、連続画像処理することに
よってロボットと物体の移動を追跡し、追跡した両者の
相対位置関係を求め、ロボットが目的物体に近接するよ
うに制御し、両者が一致するとカメラの撮像位置を変
え、ロボットが目的物体に近接するように制御すること
によって、１台のカメラで簡潔，安定かつ正確にフィー
ドバック制御することができる。したがって、従来のよ
うに固定された１台のカメラで解決できないオクルージ
ョンなどの問題点を解決できる。
ラで目的物体とロボットとを撮像し、その画像出力を処
理して目的物の特徴を抽出し、連続画像処理することに
よってロボットと物体の移動を追跡し、追跡した両者の
相対位置関係を求め、ロボットが目的物体に近接するよ
うに制御し、両者が一致するとカメラの撮像位置を変
え、ロボットが目的物体に近接するように制御すること
によって、１台のカメラで簡潔，安定かつ正確にフィー
ドバック制御することができる。したがって、従来のよ
うに固定された１台のカメラで解決できないオクルージ
ョンなどの問題点を解決できる。
【図１】この発明の一実施例の概略ブロック図である。
【図２】カメラ中心座標系でのカメラ移動を示す図であ
る。
る。
【図３】カメラで撮像された画像の一例を示す図であ
る。
る。
【図４】カメラ中心座標系とロボットの中心座標系との
関係を示す図である。
関係を示す図である。
【図５】カメラとロボットとの相対的な移動を説明する
ための図である。
ための図である。
【図６】カメラの誘導によってロボットが目的物体をつ
かむ動作を説明するための図である。
かむ動作を説明するための図である。
【図７】この発明の一実施例の動作を説明するためのフ
ロー図である。
ロー図である。
１ ロボット ２ 目的物体 ３ コンピュータ ４ ロボット制御部 ５ カメラ ６ カメラアーム ７ カメラ制御部 ９ 画像処理部
Claims (1)
- 【請求項１】 １台のカメラで目的物体を撮像しながら
ロボットで前記物体を操作するロボットによる物体操作
のための能動的カメラ探索装置であって、 前記カメラの画像出力を処理して前記目的物の特徴を抽
出し、連続画像処理することによって前記ロボットと前
記物体の移動を追跡するための画像処理手段、前記カメ
ラを制御するカメラ制御手段、 前記ロボットを制御するロボット制御手段、および 前記画像処理手段によって追跡された前記ロボットと前
記目的物体との相対位置関係を求め、前記ロボット制御
手段によって前記ロボットを前記目的物体に近づくよう
に該ロボットを制御させ、前記カメラ制御手段によって
前記カメラの撮像位置を変えるように制御させ、再度前
記ロボット制御手段によって前記ロボットが前記目的物
体に近づけるように制御させる制御手段を備えた、ロボ
ットによる物体操作のための能動的カメラ探索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3297509A JP2686685B2 (ja) | 1991-11-14 | 1991-11-14 | ロボットによる物体操作のための能動的カメラ探索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3297509A JP2686685B2 (ja) | 1991-11-14 | 1991-11-14 | ロボットによる物体操作のための能動的カメラ探索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05138582A JPH05138582A (ja) | 1993-06-01 |
| JP2686685B2 true JP2686685B2 (ja) | 1997-12-08 |
Family
ID=17847440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3297509A Expired - Fee Related JP2686685B2 (ja) | 1991-11-14 | 1991-11-14 | ロボットによる物体操作のための能動的カメラ探索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2686685B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111331578A (zh) * | 2018-12-18 | 2020-06-26 | 发那科株式会社 | 机器人系统及其调整方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5499306A (en) * | 1993-03-08 | 1996-03-12 | Nippondenso Co., Ltd. | Position-and-attitude recognition method and apparatus by use of image pickup means |
| JP5983121B2 (ja) * | 2012-07-13 | 2016-08-31 | セイコーエプソン株式会社 | ロボットシステム、ロボット制御装置、ロボット、ロボット制御方法及びロボット制御プログラム |
| JP6273084B2 (ja) * | 2012-09-20 | 2018-01-31 | 株式会社安川電機 | ロボットシステムおよびワークの搬送方法 |
| CN104897053A (zh) * | 2014-03-05 | 2015-09-09 | 泰科电子(上海)有限公司 | 可编程数字化机器视觉检测平台 |
| KR102350638B1 (ko) * | 2020-08-26 | 2022-01-17 | 주식회사 이엠에스 | 인공지능형 로봇 시스템 |
| CN114905506A (zh) * | 2022-04-15 | 2022-08-16 | 北京航空航天大学杭州创新研究院 | 一种基于视觉感知和空间认知神经机制的机器人导航系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6334093A (ja) * | 1986-07-29 | 1988-02-13 | シャープ株式会社 | 視覚装置 |
-
1991
- 1991-11-14 JP JP3297509A patent/JP2686685B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111331578A (zh) * | 2018-12-18 | 2020-06-26 | 发那科株式会社 | 机器人系统及其调整方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05138582A (ja) | 1993-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101049266B1 (ko) | 이동형 로봇 | |
| JP7490349B2 (ja) | 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体 | |
| EP3749475B1 (en) | Method for seam tracking in pipe welding | |
| JP4152402B2 (ja) | 手術支援装置 | |
| US5559695A (en) | Apparatus and method for self-calibrating visual time-to-contact sensor | |
| JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| US20050131582A1 (en) | Process and device for determining the position and the orientation of an image reception means | |
| US11639000B2 (en) | Geometrically appropriate tool selection assistance for determined work site dimensions | |
| JPH04344503A (ja) | ロボットの数値制御装置 | |
| JP2007120993A (ja) | 物体形状測定装置 | |
| JP2686685B2 (ja) | ロボットによる物体操作のための能動的カメラ探索装置 | |
| JP4849178B2 (ja) | 移動型ロボット | |
| JP4044454B2 (ja) | ズームによる位置計測方法 | |
| Zheng et al. | Active camera guided manipulation. | |
| JP3239277B2 (ja) | 知能ロボット | |
| JP2009260564A (ja) | 移動体画像追尾装置 | |
| JPH0755439A (ja) | 三次元形状計測装置 | |
| JP3399655B2 (ja) | 両眼立体視装置 | |
| JP2007171018A (ja) | 物体位置認識方法及び物体位置認識装置 | |
| JPH0847881A (ja) | ロボットの遠隔操作方法 | |
| JPS6334093A (ja) | 視覚装置 | |
| Watanabe et al. | Microgravity experiments for a visual feedback control of a space robot capturing a target | |
| JP2005205519A (ja) | ロボットハンド装置 | |
| JP2006033188A (ja) | 監視装置および監視方法 | |
| JP2007093479A (ja) | ３次元座標測定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19970715 |
|
| LAPS | Cancellation because of no payment of annual fees |