JP7217212B2 - 現場監視装置、現場監視方法及び現場監視プログラム - Google Patents
現場監視装置、現場監視方法及び現場監視プログラム Download PDFInfo
- Publication number
- JP7217212B2 JP7217212B2 JP2019160333A JP2019160333A JP7217212B2 JP 7217212 B2 JP7217212 B2 JP 7217212B2 JP 2019160333 A JP2019160333 A JP 2019160333A JP 2019160333 A JP2019160333 A JP 2019160333A JP 7217212 B2 JP7217212 B2 JP 7217212B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- parameters
- articulated robot
- robot
- site
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Manipulator (AREA)
Description
そこで、本発明は、作業現場の予想外の変化に応じ、ロボットの作業内容及びロボットを監視するカメラの位置を簡便に見直すことを目的とする。
その他の手段については、発明を実施するための形態のなかで説明する。
図1は、現場監視装置1の構成等を説明する図である。現場監視装置1は、一般的なコンピュータであり、中央制御装置11、マウス、キーボード等の入力装置12、ディスプレイ等の出力装置13、主記憶装置14、補助記憶装置15及び通信装置16を備える。これらは、バスで相互に接続されている。補助記憶装置15は、ロボットパラメータ31、カメラパラメータ32及び環境モデル33(詳細後記)を記憶している。
現場監視装置1は、多関節ロボット3に対してロボットパラメータRtを設定する。ロボットパラメータRtは、以下のような“3+3×i”次元の時系列データである。
Rt=[(xt,yt,zt),Jit(θit,φit,ψit)]
現場監視装置1は、移動カメラ5及び固定カメラ4に対してカメラパラメータCtを設定する。移動カメラ5は、現場2の3次元空間内の任意の位置に移動することができる。カメラパラメータCtは、以下のような6次元の時系列データである。カメラパラメータCtは、移動カメラ5及び固定カメラ4のそれぞれについて定義される。
Ct=[(xt,yt,zt),(αt,βt,γt)]
環境モデル33は、多関節ロボット3が作業する現場2の3次元の地図である。環境モデル33は、建物の構造物(床面、壁面、柱及び天井面)、設備、配管等を記載している。そして、環境モデル33は、建物の竣工時に初期作成される。設備の増設・除去がある都度、環境モデル33が更新されるのが理想である。しかしながら、災害直後の設備の変化(設備の破片が床面に飛散する等)は、そもそも予測することが困難であり、環境モデル33は、簡単には更新され得ない。そこで、ロボットパラメータ及びカメラパラメータが環境モデル33に基づいて一旦学習された後、多関節ロボットが現場2に投入された時点で、ロボットパラメータRt及びカメラパラメータCtを現状に即して修正する必要性が生じる。
図2は、既存の制御例を説明する図である。任意の位置に設置されているカメラ(図1の例では、固定カメラ4又は移動カメラ5)は、ロボットの作業対象となる物体42及び多関節ロボットの手40を撮像することによって、物体と手との位置関係を検知する(符号51)。既存の現場監視装置は、カメラから物体と手との位置関係を受信する(符号52)。現場監視装置は、位置関係に基づき、その時点におけるロボットパラメータの変化量及びカメラパラメータの変化量を決定する(符号53)。
図3は、本実施形態の制御例を説明する図である。本実施形態の現場監視装置は、カメラが障害物を検知するまでの正常期間61においては、カメラ及び多関節ロボットとの間で、フィードバック及びフィードフォワードの繰り返し処理を実行しない。ここでのカメラは、固定カメラ4及び移動カメラ5を総括する概念である。
作業環境を撮像するカメラは、図1の移動カメラ5であってもよいし、固定カメラ4であってもよいし、その他のカメラであってもよい。作業環境を撮像するカメラの型式は、ステレオカメラ、3次元レーザカメラ等を含む。作業監視装置は、ステレオカメラ又は3次元レーザカメラが取得した現場の現況を示す3次元点群モデル又は3次元メッシュモデルと、環境モデル33とを比較してもよい
ロボットパラメータRtが決まれば、多関節ロボット3の手40の軌跡は一意に決まる。しかしながら、手40の軌跡が決まっても、時系列パラメータRtは、一意に決まらない。同じ手40の軌跡を実現する“Jit”の組合せが多く存在するからである(逆運動学)。そこで、多くの組合せの候補から、適当なものを選択する必要性が生じる。選択条件の例は、以下の通りである。
・関節を回転させるアクチュエータの消費電力が小さい。
・走行機構の移動距離が短い。
〈安全面〉
・多関節ロボットの重心が低い。
・多関節ロボットの重心移動が小さい。
・多関節ロボットの床投影面に重心が収まる。
・多関節ロボットと周辺環境(他設備、壁面、天井面等)との距離が小さい。
図4は、障害物検知時のカメラパラメータの見直しを説明する図である。まず、ケース1に注目する。俯瞰図71は、移動カメラ5が関節9を撮像している様子を真上から見下ろすように俯瞰した図である。付近には、移動カメラ5の視野を遮る障害物は存在しない。このとき、現場監視装置は、カメラパラメータCtのうち、“(αt,βt,γt)”を僅かに変化させる。
以降において、処理手順を説明する。処理手順は2つ存在し、それらは、準備処理手順及び現場処理手順である。現場処理手順の開始は、準備処理手順の終了が前提となる。
図5は、準備処理手順のフローチャートである。
ステップS101において、作業監視装置1の準備処理部21は、パラメータの過去例の組を作業種類ごとに分類する。具体的には、第1に、準備処理部21は、時系列のロボットパラメータRtの過去例及びそのロボットパラメータと同期して使用された時系列のカメラパラメータCtの過去例を取得する。補助記憶装置15は、これらの過去例を記憶しているものとする。
第2に、準備処理部21は、ユーザが環境モデル33の仮想空間において、多関節ロボット3の手40の軌跡、並びに、移動カメラ5の軌跡及び光軸の方向を、入力装置12を介して描画するのを受け付ける。
第2に、準備処理部21は、ステップS103の“第1”において受け付けた3次元画像を学習データとしてロボットパラメータ及びカメラパラメータを、作成(学習)する。
その後、準備処理手順を終了する。
図6は、現場処理手順のフローチャートである。
ステップS201において、作業監視装置1の準備処理部21は、作業種類等を受け付ける。具体的には、準備処理部21は、ユーザが入力装置12を介して作業種類、作業対象の物体の種類、多関節ロボットの種類、又は、それらの組合せを入力するのを受け付ける。説明の便宜上、ここでは作業種類“移動”が入力されたとする。
〈選択条件1〉多関節ロボットの関節を回転させるアクチュエータの消費電力が小さい。
〈選択条件2〉多関節ロボットの重心移動が小さい。
〈選択条件3〉移動カメラの走行機構の移動距離が短い。
ステップS204において、現場処理部22は、作業環境の撮像を指示する。具体的には、現場処理部22は、移動カメラ5及び固定カメラ4に対し、障害物の検知を目的とする作業環境の撮像の指示、及び、運用カメラパラメータを送信する。ステップS204の段階で、図3の正常期間61が開始されることになる。
ステップS206において、現場処理部22は、パラメータを更新する。ここで説明を一旦図7に移す。
ステップS301において、現場処理部22は、ロボットパラメータを更新する。具体的には、現場処理部22は、運用ロボットパラメータのうち将来部分を修正し、修正後の運用ロボットパラメータを多関節ロボット3に送信する。当該処理は、図3の時点t5以降の処理に相当する。例えば障害物が多関節ロボット3と作業対象の物体とを結ぶ線分上にある場合、現場処理部22は、運用ロボットパラメータのうち“(xt,yt,zt)”を将来的に修正する。例えば障害物が当該線分の右側の至近距離内にある場合、現場処理部22は、運用ロボットパラメータのうち“Jit(θit,φit,ψit)”を将来的に修正し、腕が当該線分の左側を通過するようにする。
ステップS207の後、現場処理手順を終了する。
移動カメラ5又は固定カメラ4が撮像する画像中に、対象関節及び作業対象の物体42が同時に写り込んでいると、ユーザは作業の様子を容易に視認できる。そこで、ステップS304において、現場処理部22は、対象カメラに対して、対象関節に加えて作業対象の物体42を同じ画像で撮像する旨を指示してもよい。すると、対象カメラは、対象関節を画面の中心に捉えながら、物体42が写り込むまで画角を徐々に大きくして行く。現場処理部22は、例えば、腕の末端に近い対象関節についてのみ、このような指示を行ってもよい。
本実施形態の現場監視装置の効果は以下の通りである。
(1)現場監視装置は、一旦学習したロボットパラメータ及びカメラパラメータの一部を、障害物の出現を契機として更新することができる。
(2)現場監視装置は、仮想空間において容易にパラメータを学習し、かつ、正常状態の作業環境にはなかった障害物を確実に検知することができる。
(3)現場監視装置は、多関節ロボットの関節を確実に監視することができる。
(5)現場監視装置は、カメラに多関節ロボットの関節及び作業対象の物体を同時に撮像させることができる。
(6)現場監視装置は、3次元点群又は3次元メッシュとして表現された実際の作業環境を、あるべき環境モデルと正確に比較することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
2 現場
3 多関節ロボット
4 固定カメラ(カメラ)
5 移動カメラ(カメラ)
6 ネットワーク
9 関節
11 中央制御装置
12 入力装置
13 出力装置
14 主記憶装置
15 補助記憶装置
16 通信装置
21 準備処理部
22 現場処理部
31 ロボットパラメータ
32 カメラパラメータ
33 環境モデル
42 物体
74 障害物
91 監視画面
Claims (7)
- 多関節ロボットが現場に投入される前に、前記多関節ロボットを操作するためのロボットパラメータ及び前記多関節ロボットを撮像するカメラを操作するためのカメラパラメータを学習する準備処理部と、
前記多関節ロボットが現場に投入されている間に前記多関節ロボットに対する障害物を検知した場合、前記学習したロボットパラメータ及び前記学習したカメラパラメータの将来部分を更新する現場処理部と、
を備え、
前記現場処理部は、
前記カメラの視野において前記多関節ロボットの関節が前記障害物に隠蔽されており、かつ、前記カメラが移動可能である場合、
対角線を境界として前記視野を分割した4つの領域であって、予め左右上下のいずれか1つの移動方向が関連付けられている領域のうち、前記障害物が存在する領域を特定し、前記特定した領域に関連付けられている前記移動方向に前記カメラが移動するように、前記カメラパラメータの将来部分を更新すること、
を特徴とする現場監視装置。 - 前記準備処理部は、
仮想空間内で前記ロボットパラメータ及び前記カメラパラメータを学習し、
前記現場処理部は、
実際の作業環境と、正常状態にある前記作業環境のサンプルとを比較することによって、前記障害物を検知すること、
を特徴とする請求項1に記載の現場監視装置。 - 前記準備処理部は、
前記多関節ロボットが行う作業の種類、又は、前記多関節ロボットが行う作業の対象となる物体の種類ごとに、前記ロボットパラメータ及び前記カメラパラメータを学習すること、
を特徴とする請求項2に記載の現場監視装置。 - 前記現場処理部は、
前記カメラが、前記多関節ロボットの関節及び前記多関節ロボットの作業対象である物体を同一画面で撮像できるように、前記学習したカメラパラメータの将来部分を更新すること、
を特徴とする請求項3に記載の現場監視装置。 - 前記現場処理部は、
3次元の点群又は3次元のメッシュとして前記実際の作業環境を取得すること、
を特徴とする請求項4に記載の現場監視装置。 - 現場監視装置の準備処理部は、
多関節ロボットが現場に投入される前に、前記多関節ロボットを操作するためのロボットパラメータ及び前記多関節ロボットを撮像するカメラを操作するためのカメラパラメータを学習し、
前記現場監視装置の現場処理部は、
前記多関節ロボットが現場に投入されている間に前記多関節ロボットに対する障害物を検知した場合、前記学習したロボットパラメータ及び前記学習したカメラパラメータの将来部分を更新するとともに、
前記カメラの視野において前記多関節ロボットの関節が前記障害物に隠蔽されており、かつ、前記カメラが移動可能である場合、
対角線を境界として前記視野を分割した4つの領域であって、予め左右上下のいずれか1つの移動方向が関連付けられている領域のうち、前記障害物が存在する領域を特定し、前記特定した領域に関連付けられている前記移動方向に前記カメラが移動するように、前記カメラパラメータの将来部分を更新すること、
を特徴とする現場監視装置の現場監視方法。 - 現場監視装置の準備処理部に対し、
多関節ロボットが現場に投入される前に、前記多関節ロボットを操作するためのロボットパラメータ及び前記多関節ロボットを撮像するカメラを操作するためのカメラパラメータを学習する処理を実行させ、
前記現場監視装置の現場処理部に対し、
前記多関節ロボットが現場に投入されている間に前記多関節ロボットに対する障害物を検知した場合、前記学習したロボットパラメータ及び前記学習したカメラパラメータの将来部分を更新するとともに、
前記カメラの視野において前記多関節ロボットの関節が前記障害物に隠蔽されており、かつ、前記カメラが移動可能である場合、
対角線を境界として前記視野を分割した4つの領域であって、予め左右上下のいずれか1つの移動方向が関連付けられている領域のうち、前記障害物が存在する領域を特定し、前記特定した領域に関連付けられている前記移動方向に前記カメラが移動するように、前記カメラパラメータの将来部分を更新する処理を実行させること、
を特徴とする現場監視装置を機能させるための現場監視プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019160333A JP7217212B2 (ja) | 2019-09-03 | 2019-09-03 | 現場監視装置、現場監視方法及び現場監視プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019160333A JP7217212B2 (ja) | 2019-09-03 | 2019-09-03 | 現場監視装置、現場監視方法及び現場監視プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021037583A JP2021037583A (ja) | 2021-03-11 |
JP7217212B2 true JP7217212B2 (ja) | 2023-02-02 |
Family
ID=74848014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019160333A Active JP7217212B2 (ja) | 2019-09-03 | 2019-09-03 | 現場監視装置、現場監視方法及び現場監視プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7217212B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013521137A (ja) | 2010-03-02 | 2013-06-10 | コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ | 輻輳した環境におけるロボット型機械の操縦を支援する方法及びシステム |
JP2013543764A (ja) | 2010-11-11 | 2013-12-09 | ザ・ジョンズ・ホプキンス・ユニバーシティ | ヒューマン・マシン連携ロボットシステム |
JP2014079824A (ja) | 2012-10-15 | 2014-05-08 | Toshiba Corp | 作業画面表示方法および作業画面表示装置 |
JP2017042853A (ja) | 2015-08-25 | 2017-03-02 | 日立Geニュークリア・エナジー株式会社 | 作業装置の作業支援システムおよび作業支援方法 |
JP2018158439A (ja) | 2018-03-15 | 2018-10-11 | 株式会社東芝 | 物体ハンドリング装置、制御装置、および較正方法 |
-
2019
- 2019-09-03 JP JP2019160333A patent/JP7217212B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013521137A (ja) | 2010-03-02 | 2013-06-10 | コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ | 輻輳した環境におけるロボット型機械の操縦を支援する方法及びシステム |
JP2013543764A (ja) | 2010-11-11 | 2013-12-09 | ザ・ジョンズ・ホプキンス・ユニバーシティ | ヒューマン・マシン連携ロボットシステム |
JP2014079824A (ja) | 2012-10-15 | 2014-05-08 | Toshiba Corp | 作業画面表示方法および作業画面表示装置 |
JP2017042853A (ja) | 2015-08-25 | 2017-03-02 | 日立Geニュークリア・エナジー株式会社 | 作業装置の作業支援システムおよび作業支援方法 |
JP2018158439A (ja) | 2018-03-15 | 2018-10-11 | 株式会社東芝 | 物体ハンドリング装置、制御装置、および較正方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021037583A (ja) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11331803B2 (en) | Mixed reality assisted spatial programming of robotic systems | |
Yew et al. | Immersive augmented reality environment for the teleoperation of maintenance robots | |
KR101255948B1 (ko) | 산업용 로봇 시스템 | |
AU2018248806B2 (en) | Apparatus and method for controlling boom of mine vehicle | |
US10166673B2 (en) | Portable apparatus for controlling robot and method thereof | |
US20190072931A1 (en) | Agile manufacturing platform and system | |
CN112313046A (zh) | 使用增强现实可视化和修改操作界定区域 | |
Duff et al. | The development of a telerobotic rock breaker | |
CN111267073A (zh) | 一种基于增强现实技术的工业机器人示教系统及方法 | |
CN117795444A (zh) | 动态环境中导航的定向探索 | |
EP3932625A1 (en) | Control system, robot system and cotrol method | |
Merkt et al. | Robust shared autonomy for mobile manipulation with continuous scene monitoring | |
Liang et al. | Trajectory-based skill learning for overhead construction robots using generalized cylinders with orientation | |
JP2015174184A (ja) | 制御装置 | |
JP7217212B2 (ja) | 現場監視装置、現場監視方法及び現場監視プログラム | |
US20210129331A1 (en) | Control method, control apparatus, robot apparatus, method of manufacturing an article, motion program creation method, motion program creation apparatus, display apparatus, and control program recording medium | |
JP7374867B2 (ja) | 制御システム、ローカルコントローラ及び制御方法 | |
JP4730337B2 (ja) | ロボットの設置位置決定装置及びロボットの設置位置決定方法 | |
CN116802021A (zh) | 基于对象的机器人控制 | |
Hamel et al. | Elements of telerobotics necessary for waste clean up automation | |
Sita et al. | Robot companion for industrial process monitoring based on virtual fixtures | |
Crane et al. | An interactive animated display of man-controlled and autonomous robots | |
WO2022114042A1 (ja) | 情報処理装置及びピッキング装置 | |
Zhang et al. | Digital technologies for enhancing crane safety in construction: a combined quantitative and qualitative analysis | |
Mazlan et al. | Robot arm system based on augmented reality approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230123 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7217212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |