JP6401858B2 - ロボット操作装置およびプログラム - Google Patents

ロボット操作装置およびプログラム Download PDF

Info

Publication number
JP6401858B2
JP6401858B2 JP2017520263A JP2017520263A JP6401858B2 JP 6401858 B2 JP6401858 B2 JP 6401858B2 JP 2017520263 A JP2017520263 A JP 2017520263A JP 2017520263 A JP2017520263 A JP 2017520263A JP 6401858 B2 JP6401858 B2 JP 6401858B2
Authority
JP
Japan
Prior art keywords
robot
information
operator
unit
operation information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017520263A
Other languages
English (en)
Other versions
JPWO2016189924A1 (ja
Inventor
亮介 中村
亮介 中村
梓 網野
梓 網野
泰士 上田
泰士 上田
山本 晃弘
晃弘 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2016189924A1 publication Critical patent/JPWO2016189924A1/ja
Application granted granted Critical
Publication of JP6401858B2 publication Critical patent/JP6401858B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/02Hand grip control means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/026Acoustical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40116Learn by operator observation, symbiosis, show, watch
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/02Arm motion controller
    • Y10S901/03Teaching system
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Acoustics & Sound (AREA)
  • Manipulator (AREA)

Description

本発明は、ロボット操作装置およびプログラムに関する。
本技術分野の背景技術として、下記特許文献1の要約書には、「オフライン教示で使用可能な命令を、オンライン教示で使用できる命令よりも豊富な内容のものにした。また、このため、教示データを中間言語で持つようにした。更に、オフライン教示とオンライン教示で作成された命令に疑似命令を付加し、処理131の判断により、必要な部分に対する不必要な修正は、自動的に禁止されるようにした」と記載されている。
また、下記特許文献2の要約書には、「操作環境生成手段4により,コンピュータの人工現実感を用いてそのロボットと動作状況を構築し,操作検出手段2から検出された操作情報をもとに人工現実世界のロボットを動作させ,その反応を逐次フィードバック手段5によりフィードバックして,体感手段6により身体感覚的に表示する」と記載されている。
特開平5−241649号公報 特開平7−210234号公報
産業用ロボット等のロボットは、定型動作を繰り返すことによって、製品の大量生産等を実現する。しかし、ロボットが果たすべき動作の全工程をプログラム等で記述することは煩雑である。このため、特許文献1では、「ティーチング」と呼ばれる手法が採られている。これは、操作者がロボットの姿勢を確認しながら、ロボットが果たすべき動作を入力するものである。また特許文献2には、ニューロコンピュータを用いて人間の動作を学習させる技術が開示されている。しかし、これらの技術では、ロボットに対する学習を効率化できなかったという問題があった。
この発明は上述した事情に鑑みてなされたものであり、ロボットに対する学習を効率化できるロボット操作装置およびプログラムを提供することを目的とする。
上記課題を解決するため本発明のロボット操作装置にあっては、操作者による操作に基づいて、ロボットの状態を指示する操作情報を生成する操作情報入力部と、前記操作情報に基づいて前記ロボットを制御する制御部と、前記操作者に関する情報であって前記ロボットの状態に影響を与えない非操作情報を収集する非操作情報収集部と、前記非操作情報に基づいて操作者の状態を推定する動作解析部と、前記操作情報と前記動作解析部における推定結果とに基づいて、前記操作者の操作を学習する動作学習部と、を有することを特徴とする。
本発明のロボット操作装置およびプログラムによれば、ロボットに対する学習を効率化できる。
本発明の第1実施形態によるロボット操作システムのブロック図である。 第1実施形態におけるロボットの正面図である。 第1実施形態におけるロボット操作装置の正面図である。 第1実施形態における動作解析部のブロック図である。 本発明の第2実施形態における動作解析部のブロック図である。
[第1実施形態]
(実施形態の構成)
まず、図1に示すブロック図を参照し、本発明の第1実施形態によるロボット操作システムの構成を説明する。
図1において操作者1は、ロボット操作装置3を用いてロボット2を操作する。ロボット操作装置3は、サーバ機60と、操作用入力・表示部6と、非操作情報収集部7とを含んで構成されている。環境情報収集部4は、ロボット2が動作する環境の環境情報を収集し、収集した環境情報をサーバ機60に供給する。
特に、環境情報収集部4は、ロボット2およびその周辺を撮影する複数のカメラを有しており、これらカメラによって撮影された映像情報は上述した「環境情報」に含まれる。操作用入力・表示部6は、操作者1に対して各種情報を表示するとともに、操作者1による操作に基づいてサーバ機60に操作情報を供給する。また、非操作情報収集部7は、操作者1を撮影するとともに操作者1の音声を収集し、収集した映像情報および音声情報をサーバ機60に供給する。
サーバ機60は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、HDD(Hard Disk Drive)等、一般的なコンピュータとしてのハードウエアを備えている。サーバ機60は、制御部5と、動作解析部8と、ロボット操作データベース9と、動作獲得部10とを有している。これらは、CPUが実行するプログラムによって実現される機能であり、これらの機能については後述する。
次に、図2に示す正面図を参照し、ロボット2の構成を説明する。
ロボット2は略直方体状の台車20を有し、台車20の底面には前後左右4箇所に車輪21が装着されている。これら車輪21は、左右側面で独立に駆動される。アーム22は7自由度を有し、その先端にはグリッパ23が装着されている。グリッパ23は、開閉可能な一対の把持部材を有し、これら把持部材によって物品を把持することができる。そして、グリッパ23の近傍には、グリッパ23を撮影するグリッパカメラ25が装着されている。また、台車20には、アーム22の全体を撮影する台車カメラ26と、台車20の各部を制御するロボット制御装置24とが装着されている。なお、グリッパカメラ25および台車カメラ26は、環境情報収集部4に含まれるカメラの一部または全部を兼ねるものであってもよい。
ロボット制御装置24は、制御部5との間で図示せぬ無線LAN(Local Area Network)を介して接続され、制御部5から供給される制御命令に従って、台車20の各部を制御する。すなわち、ロボット制御装置24は、車輪21を駆動することにより、ロボット2全体を平面内で任意の位置に移動させ、かつ、任意の方向を向くように制御することができる。また、ロボット制御装置24は、アーム22の関節等の軸を回動させることにより、アーム22に様々な姿勢をとらせることができ、グリッパ23を駆動し物品を把持させることができる。
グリッパ23は、その根元部分に6軸の力センサ(図示せず)を備えており、グリッパ23に印加される外力を測定できる。グリッパに印加される外力と、ロボットの各関節角度、角速度、グリッパカメラ25及び台車カメラ26から取得できる映像は、ロボット操作装置3に送信される。
次に、図3に示す正面図を参照し、ロボット操作装置3の外観構成を説明する。
上述したように、ロボット操作装置3は、サーバ機60と、操作用入力・表示部6と、非操作情報収集部7とを含んで構成されている。そして、図3に示すように、操作用入力・表示部6は、マルチディスプレイ61と、アーム操作デバイス62と、移動操作用デバイス63とを含んで構成されている。
マルチディスプレイ61は、本実施形態では、複数のディスプレイを縦横に配列して構成されおり、これらディスプレイに以下の映像を表示する。
・ロボット2から取得した各種データを制御部5が解析し、ビジュアライズした映像、
・環境情報収集部4が有する複数のカメラによって撮影された、ロボット2の動作環境の映像、
・グリッパカメラ25および台車カメラ26から取得した映像。
アーム操作デバイス62は、ロボット2のアーム22およびグリッパ23の形状を模擬した形状を有し、アーム22およびグリッパ23が有する関節に対応する関節と、これら関節の動きを検出するセンサとを有している。アーム操作デバイス62が操作者1によって把持され操作されると、上述のセンサによって各関節の動きが検出され、その検出結果が、操作情報としてサーバ機60に供給される。サーバ機60は、この操作情報に基づいて、ロボット2のアーム22の姿勢とグリッパ23の開閉動作をロボット制御装置24に指示する。
また、アーム操作デバイス62の各関節には、操作者1の操作に対して反力を与えるアクチュエータ(モータ等)が装着されている(図示せず)。上述したように、ロボット2のグリッパ23には、印加された外力を測定する力センサが設けられている。この力センサの検出結果に基づいて、アーム操作デバイス62のアクチュエータを駆動することにより、操作者1の操作に対する反力を与えることができる。例えば、グリッパ23で把持する物体の質量が大きければ、グリッパ23に印加される外力も大きく、各関節の反力もこれに応じて大きくされる。
移動操作用デバイス63は、複数のボタン、ジョイスティック等を有する。操作者1が移動操作用デバイス63を操作すると、この操作情報はサーバ機60に供給される。サーバ機60は、この操作情報に基づいて車輪21を駆動することにより、ロボット2の位置および方向を制御する。非操作情報収集部7は、操作者1を撮影し映像情報を出力するカメラと、操作者1の音声を収集し音声情報を出力するマイクとを有し、これら映像情報および音声情報をサーバ機60に供給する。なお、非操作情報収集部7は、例えば、マイク付のUSBカメラによって実現できる。
ところで、操作者1がロボット2を操作している際には、アーム操作デバイス62および移動操作用デバイス63から出力される情報は、ロボット2の位置、方向、姿勢等、ロボット2の状態を操作する情報になる。本明細書では、これらの情報を総称して「操作情報」と呼ぶ。一方、本実施形態において、非操作情報収集部7から出力される映像情報および音声情報は、操作者1がロボット2を操作している際には、ロボット2の状態に、直接的に影響を及ぼすものではない。このように、操作者1の状態を示す情報のうち、ロボット2の状態に直接的に影響を及ぼさない情報を総称して、「非操作情報」と呼ぶ。
(実施形態の動作)
次に、本実施形態のロボット操作システムの動作を説明する。ロボット操作装置3の動作モードには、「学習モード」および「自動操作モード」という2つの動作モードがある。「学習モード」とは、操作者1がロボット2を操作することにより、ロボット操作装置3に操作を学習させる動作モードである。また、「自動操作モード」とは、学習モードにおける学習結果に基づいて、ロボット操作装置3が自動的にロボット2を操作する動作モードである。以下の説明では、主として学習モードの動作について説明する。
学習モードにおいて操作者1が移動操作用デバイス63を操作すると、その操作情報がサーバ機60に送信される。サーバ機60内の制御部5(図1参照)は、この操作情報をロボット制御装置24にて解釈可能なコマンドに変換し、ロボット制御装置24に送信する。これにより、ロボット制御装置24によって車輪21が駆動され、ロボット2が移動する。同様に、操作者1がアーム操作デバイス62を操作すると、制御部5は、その操作情報をロボット制御装置24にて解釈可能なコマンドに変換し、ロボット制御装置24に送信する。これにより、ロボット制御装置24によってアーム22およびグリッパ23が駆動される。
上述したように、環境情報収集部4は、ロボット2の環境情報(ロボット2および周辺の映像等)を収集し、収集した環境情報をサーバ機60の制御部5に送信する。また、ロボット2は、常に、アーム22およびグリッパ23の姿勢情報と、グリッパ23に設けられた力センサの検出結果(以下、ロボット状態情報という)とをロボット制御装置24を介して制御部5に送信している。
以上のように、制御部5は、アーム操作デバイス62および移動操作用デバイス63(操作情報入力部)から操作情報を受信し、環境情報収集部4から環境情報を受信し、ロボット2からロボット状態情報を受信する。これらの情報は、制御部5を介してロボット操作データベース9にも供給される。
ロボット操作データベース9には、ロボット2から供給されたロボット状態情報と、環境情報収集部4から供給された環境情報と、操作用入力・表示部6から供給された操作情報とが、制御部5を介して供給される。さらに、ロボット操作データベース9には、非操作情報収集部7にて取得された非操作情報も供給される。そして、ロボット操作データベース9は、供給された各種情報を蓄積する。
また、動作解析部8には、ロボット操作データベース9に蓄積されている情報、特に上述した操作情報と非操作情報とが供給される。動作解析部8は、非操作情報に基づいて操作者1の状態を推定・解析し、その結果に基づいて操作情報に対する重みづけを評価し、その評価結果をロボット操作データベース9に追記する。動作獲得部10は、ロボット操作データベース9に蓄積されている情報に従って、ロボット2を用いて操作者1が実行した動作の中から動作の獲得(動作の学習)が可能なものを取り出し、動作獲得を行う。
次に、図4に示すブロック図を参照し、動作解析部8の詳細を説明する。動作解析部8は、映像解析部81と、音声解析部82と、操作解析部83と、重みづけ調整部84とを含んで構成される。映像解析部81では、非操作情報収集部7を介して得られた操作者1の映像情報に基づいて、操作者1の視線を算出し、マルチディスプレイ61に表示されている情報のうち、操作者1が注目している情報、すなわち視線の先にある情報を特定する。操作者1が注目している情報は、ロボット2を操作するにあたって重要なものであると考えられる。
視線の算出方法については、様々な技術が知られているが、例えば次のステップS1〜S3の方法を採ることができる。
・ステップS1:映像情報の中から操作者1の目周辺の映像を切り出す。
・ステップS2:操作者1の目頭の涙丘部と虹彩の位置を色情報、輝度情報に基づき検出する。
・ステップS3:目頭と虹彩の位置関係から視線方向を検出する。
動作解析部8には、マルチディスプレイ61と非操作情報収集部7と操作者1との位置関係が予め入力されており、検出された視線方向と各ディスプレイの位置とを照合することにより、操作者1がどのディスプレイに注目しているかを判断する。映像解析部81は、注目されているディスプレイを示す情報を重みづけ調整部84へ送信する。
また、音声解析部82では操作者1の音声を解析し、その時点の操作が良好か否かを判別する。具体的には、音声認識を行うことにより操作者1の音声を解析し、その内容が予め設定されている「失敗発話リスト」に含まれるか否かを判定する。ここで、「失敗発話リスト」とは、例えば、失敗した際の舌打ちや、つぶやきなどの「失敗発話」を配列したリストである。音声解析部82は、失敗発話が検出されると、検出した失敗発話を重みづけ調整部84に通知する。また、操作解析部83では、操作者1の操作習熟度を判断し、その結果を重みづけ調整部84へ送信する。具体的には操作者1の操作停止時間の発生頻度、操作動作のスムーズさをロボット2の姿勢変化を基に算出することで習熟度を判断する。
重みづけ調整部84では、各解析部81〜83から送られてきた解析結果に基づき、操作者1が行った操作に対して学習に用いる重みづけを付与する。具体的には、重みづけは二つの側面から行われる。第一の側面は、「用いる情報の選別」である。本実施形態のロボット操作システムにおいては、ロボット2においても、ロボット2の周辺環境においても、複数のセンサやカメラ等が配置されており、動作獲得部10が学習に用いる情報としては、余分な情報が多く含まれる。情報が過剰にある場合、学習に対してはノイズが多く含まれる情報となるため、学習速度が遅くなるという問題が生じる。
本実施形態においては、重みづけ調整部84は、映像解析部81から取得した「操作者1の注目していたディスプレイ」に表示されていた情報に対しては重みづけを重くし、操作者1があまり見ていない情報に対しては重みづけを軽く評価する。より具体的には、所定時間だけ過去の時刻から、現在時刻に至るまでの期間において、「注目していたディスプレイ」を所定のサンプリング周期毎に特定し、各ディスプレイが注目されていた回数を集計し、集計結果が大きいディスプレイに表示されていた情報ほど重みづけを重く評価するとよい。
第二の側面は操作者1の「操作成功度の評価」である。操作者1が失敗した作業や、不慣れな作業は、ノイズとなって学習を遅らせることがある。上述したように、音声解析部82は、何れかの失敗発話を検出すると、その内容を重みづけ調整部84に通知する。そして、重みづけ調整部84は、音声解析部82から失敗発話が通知されると、直前までに行われていた操作(例えば、その発話内容が現れるまでの過去所定時間の操作)そのものに対して学習が行われにくくなるように、通常の場合よりも重みづけを軽くする。
また、操作解析部83から送信される操作者1の操作習熟度も、第二の側面(操作成功度の評価)に対して適用される。すなわち、重みづけ調整部84においては、操作解析部83にて解析される操作習熟度と重みづけとの対応関係を規定したテーブルが予め記憶されている。そして、このテーブルを参照することにより、操作習熟度が低い作業に対しては軽く、操作習熟度が高い作業に対しては重くなるように、重みづけを行う。図1に示す動作獲得部10は、機械学習機能を備え、ロボット操作データベース9に記録されている情報に基づき、学習を実施する。学習時には動作解析部8によって追記された重みづけを参照し、重みづけが重いものが、学習結果に近くなるように評価関数を調整し用いる。
以上のように、本実施形態によれば、操作者1の状態のうち、ロボット2の状態に直接的に影響を及ぼさない情報である非操作情報に基づいて、操作情報、環境情報、ロボット状態情報等に基づく学習の重みづけを行うことができる。これにより、各種情報の取捨選択が可能になるとともに、ノイズとなる情報の影響を低減させることができ、ロボットに対する学習を効率化することが可能になる。
[第2実施形態]
次に、本発明の第2実施形態のロボット操作システムについて説明する。本実施形態のハードウエアおよびソフトウエアの全体構成は第1実施形態のもの(図1〜図3)と同様であるが、本実施形態においては、第1実施形態における動作解析部8に代えて、図5に示す動作解析部8Aが適用される点が異なっている。
そこで、図5に示すブロック図を参照し、動作解析部8Aの詳細を説明する。動作解析部8Aは、第1実施形態の動作解析部8と同様に、各解析部81〜83と重みづけ調整部84とを有しており、さらに、映像情報に基づいて操作者1の脈拍を検出する脈拍解析部85を有している。ここで、脈拍解析部85の原理を説明しておく。血液に含まれるヘモグロビンは緑色の光を吸収するという特徴があり、脈拍によって変化する血流により、肉眼では識別困難であるが、人間の顔の緑色成分の明るさは微妙に変化する。そこで、この変化を捉えると、脈拍を検出できる。
本実施形態における重みづけ調整部84は、脈拍解析部85から出力される脈拍に応じて、1分あたりの脈拍数を算出し、第1実施形態にて述べたものに加えて、脈拍数に対応しても重みづけを評価する。すなわち、脈拍数が高くなると、「操作者1が焦っている状態」であると推測でき、これは「ロボット2の操作が失敗した状態」であると推測できる。従って、重みづけ調整部84は、操作者1の脈拍数が高くなった場合には、直前までに行われていた操作そのものに対して学習を行わないよう制限する重みづけを行う。
以上のように、本実施形態によれば、第1実施形態について述べた効果に加えて、操作者1の脈拍数に応じて学習の重みづけを行えるという効果を奏する。
[変形例]
本発明は上述した実施形態に限定されるものではなく、種々の変形が可能である。上述した実施形態は本発明を理解しやすく説明するために例示したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について削除し、若しくは他の構成の追加・置換をすることが可能である。上記実施形態に対して可能な変形は、例えば以下のようなものである。
(1)上記実施形態におけるサーバ機60のハードウエアは、一般的なコンピュータによって実現できるため、図1、図4、図5に示したアルゴリズムを実現するプログラム等を記憶媒体に格納し、または伝送路を介して頒布してもよい。
(2)図1、図4、図5に示したアルゴリズムは、上記実施形態ではプログラムを用いたソフトウエア的な処理として説明したが、その一部または全部をASIC(Application Specific Integrated Circuit;特定用途向けIC)、あるいはFPGA(field-programmable gate array)等を用いたハードウエア的な処理に置き換えてもよい。
(3)上記各実施形態においては、本発明における「表示部」の具体例として、複数のディスプレイを縦横に配列したマルチディスプレイ61を適用した例を説明した。しかし、本発明における表示部は、一枚のディスプレイであってもよい。すなわち、一枚のディスプレイ上の複数の領域(表示位置)に各々異なった映像を表示するようにして、操作者1の視線を検出することによって何れの領域(表示位置)の映像が注目されているのか判定し、その結果に基づいて、上記各実施形態と同様に、表示されている情報の重みづけを行うとよい。
(4)上記第2実施形態において、脈拍解析部85は映像情報に基づいて操作者1の脈拍数を検出したが、操作者1に脈拍計等を直接装着して脈拍数を検出してもよい。
[構成・効果の総括]
以上のように、上記各実施形態におけるロボット操作装置(3)は、操作者(1)による操作に基づいて、ロボット(2)の状態を指示する操作情報を生成する操作情報入力部(62,63)と、前記操作情報に基づいて前記ロボット(2)を制御する制御部(5)と、前記操作者(1)に関する情報であって前記ロボット(2)の状態に影響を与えない非操作情報を収集する非操作情報収集部(7)と、前記非操作情報に基づいて操作者の状態を推定する動作解析部(8)と、前記操作情報と前記動作解析部(8)における推定結果とに基づいて、前記操作者(1)の操作を学習する動作学習部(10)と、を有することを特徴とする。
これにより、非操作情報に基づいて操作者(1)の状態を推定し、この推定結果と操作情報とに基づいて、操作者(1)の操作を学習することができるので、操作者(1)の状態に対応してロボット(2)に対する学習を進めることができ、ロボット(2)に対する学習を効率化できる。
また、上記各実施形態のロボット操作装置(3)は、複数の情報をそれぞれ異なる表示位置に表示する表示部(61)をさらに有し、前記非操作情報収集部(7)は、前記操作者(1)を撮影し映像情報を出力するカメラを有し、前記動作解析部(8)は、前記映像情報に基づいて前記操作者(1)の視線が向かう何れかの前記表示位置を判定するものであり、前記動作学習部(10)は、前記動作解析部(8)における判定結果に基づいて、前記操作者(1)の操作を学習することを特徴とする。
すなわち、前記動作学習部(10)は、前記表示位置に表示されている情報の重みづけを他の情報の重みづけよりも重くして前記操作者(1)の操作を学習することを特徴とする。
これにより、操作者(1)の視線が向かう表示位置を判定し、判定結果に基づいてロボット(2)に対する学習を進めることができ、ロボット(2)に対する学習を効率化できる。
また、上記各実施形態のロボット操作装置(3)において、前記非操作情報収集部(7)は、前記操作者の音声を収集するマイクを有し、前記動作解析部(8)は、収集した前記音声が所定の特徴を有するか否かを判定するものであり、前記動作学習部(10)は、前記動作解析部(8)における判定結果に基づいて前記操作者(1)の操作を学習することを特徴とする。
すなわち、前記動作学習部(10)は、収集した前記音声が前記所定の特徴を有する場合に、前記音声を収集した時刻を含む所定期間内における前記操作情報の重みづけを、前記所定期間以外の期間における前記操作情報の重みづけよりも軽くすることを特徴とする。
これにより、操作者(1)の音声が所定の特徴を有するか否かを判定し、判定結果に基づいてロボット(2)に対する学習を進めることができ、ロボット(2)に対する学習を効率化できる。
1 操作者
2 ロボット
3 ロボット操作装置
4 環境情報収集部
5 制御部(制御手段)
6 操作用入力・表示部
7 非操作情報収集部
8,8A 動作解析部(動作解析手段)
9 ロボット操作データベース
10 動作獲得部(動作学習部、動作学習手段)
20 台車
60 サーバ機(コンピュータ)
61 マルチディスプレイ(表示部)
62 アーム操作デバイス(操作情報入力部)
63 移動操作用デバイス(操作情報入力部)
81 映像解析部
82 音声解析部
83 操作解析部
84 重みづけ調整部
85 脈拍解析部

Claims (6)

  1. 操作者による操作に基づいて、ロボットの状態を指示する操作情報を生成する操作情報入力部と、
    前記操作情報に基づいて前記ロボットを制御する制御部と、
    前記操作者に関する情報であって前記ロボットの状態に影響を与えない非操作情報を収集する非操作情報収集部と、
    前記非操作情報に基づいて操作者の状態を推定する動作解析部と、
    前記操作情報と前記動作解析部における推定結果とに基づいて、前記操作者の操作を学習する動作学習部と、
    を有することを特徴とするロボット操作装置。
  2. 複数の情報をそれぞれ異なる表示位置に表示する表示部をさらに有し、
    前記非操作情報収集部は、前記操作者を撮影し映像情報を出力するカメラを有し、
    前記動作解析部は、前記映像情報に基づいて前記操作者の視線が向かう何れかの前記表示位置を判定するものであり、
    前記動作学習部は、前記動作解析部における判定結果に基づいて、前記操作者の操作を学習する
    ことを特徴とする請求項1に記載のロボット操作装置。
  3. 前記動作学習部は、前記表示位置に表示されている情報の重みづけを他の情報の重みづけよりも重くして前記操作者の操作を学習する
    ことを特徴とする請求項2に記載のロボット操作装置。
  4. 前記非操作情報収集部は、前記操作者の音声を収集するマイクを有し、
    前記動作解析部は、収集した前記音声が所定の特徴を有するか否かを判定するものであり、
    前記動作学習部は、前記動作解析部における判定結果に基づいて前記操作者の操作を学習する
    ことを特徴とする請求項1に記載のロボット操作装置。
  5. 前記動作学習部は、収集した前記音声が前記所定の特徴を有する場合に、前記音声を収集した時刻を含む所定期間内における前記操作情報の重みづけを、前記所定期間以外の期間における前記操作情報の重みづけよりも軽くする
    ことを特徴とする請求項4に記載のロボット操作装置。
  6. 操作者による操作に基づいて、ロボットの状態を指示する操作情報を生成する操作情報入力部と、前記操作者に関する情報であって前記ロボットの状態に影響を与えない非操作情報を収集する非操作情報収集部とから前記操作情報および前記非操作情報を受信し、前記ロボットを制御するコンピュータに適用されるプログラムであって、前記コンピュータを、
    前記操作情報に基づいて前記ロボットを制御する制御手段、
    前記非操作情報に基づいて操作者の状態を推定する動作解析手段、
    前記操作情報と前記動作解析手段における推定結果とに基づいて、前記操作者の操作を学習する動作学習手段、
    として機能させるためのプログラム。
JP2017520263A 2015-05-28 2016-03-09 ロボット操作装置およびプログラム Expired - Fee Related JP6401858B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015108097 2015-05-28
JP2015108097 2015-05-28
PCT/JP2016/057380 WO2016189924A1 (ja) 2015-05-28 2016-03-09 ロボット操作装置およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2016189924A1 JPWO2016189924A1 (ja) 2018-01-11
JP6401858B2 true JP6401858B2 (ja) 2018-10-10

Family

ID=57394032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017520263A Expired - Fee Related JP6401858B2 (ja) 2015-05-28 2016-03-09 ロボット操作装置およびプログラム

Country Status (3)

Country Link
US (1) US10625416B2 (ja)
JP (1) JP6401858B2 (ja)
WO (1) WO2016189924A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
JP6392905B2 (ja) * 2017-01-10 2018-09-19 ファナック株式会社 教示装置への衝撃を学習する機械学習装置、教示装置の衝撃抑制システムおよび機械学習方法
JP6886869B2 (ja) * 2017-06-09 2021-06-16 川崎重工業株式会社 動作予測システム及び動作予測方法
JP6811688B2 (ja) * 2017-06-30 2021-01-13 株式会社日立製作所 複数動作ユニット統合装置、およびその制御方法、並びに自律学習型ロボット装置
WO2019107454A1 (ja) * 2017-11-28 2019-06-06 川崎重工業株式会社 技能伝承機械装置
US10913154B2 (en) * 2018-01-02 2021-02-09 General Electric Company Systems and method for robotic learning of industrial tasks based on human demonstration
JP6940450B2 (ja) * 2018-03-30 2021-09-29 株式会社フジタ 画像判定システム
JP7039389B2 (ja) * 2018-05-25 2022-03-22 川崎重工業株式会社 ロボットシステム及びロボット制御方法
EP3611734A1 (de) * 2018-08-13 2020-02-19 Siemens Healthcare GmbH Steuereinheit und steuerverfahren zur steuerung einer ausgabeeinheit von informationen im rahmen der medizinischen diagnostik und therapie
JP7000359B2 (ja) * 2019-01-16 2022-01-19 ファナック株式会社 判定装置
WO2020149414A1 (ja) * 2019-01-18 2020-07-23 株式会社安川電機 ロボット制御システム及びロボット制御方法
WO2020194392A1 (ja) * 2019-03-22 2020-10-01 connectome.design株式会社 自律型ロボット用教師データ生成コンピュータ、方法及びプログラム
JP7460366B2 (ja) * 2019-12-27 2024-04-02 川崎重工業株式会社 訓練データ選別装置、ロボットシステム及び訓練データ選別方法
JP7478236B2 (ja) 2020-06-19 2024-05-02 川崎重工業株式会社 撮像システム及びロボットシステム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241649A (ja) 1991-06-10 1993-09-21 Hitachi Ltd 産業用ロボットの教示装置
JPH07210234A (ja) 1994-01-20 1995-08-11 Fujitsu Ltd 操作制御装置および操作制御方法
JPH09194186A (ja) 1996-01-17 1997-07-29 Nippon Steel Corp 起重機のインターロック装置及び方法
JPH1177568A (ja) 1997-09-02 1999-03-23 Nippon Telegr & Teleph Corp <Ntt> 教示支援方法及び装置
JP2000042960A (ja) * 1998-07-29 2000-02-15 Gifu Prefecture マニピュレータの遠隔操作装置
NO317898B1 (no) * 2002-05-24 2004-12-27 Abb Research Ltd Fremgangsmate og system for a programmere en industrirobot
US20090180668A1 (en) * 2007-04-11 2009-07-16 Irobot Corporation System and method for cooperative remote vehicle behavior
JP5022868B2 (ja) * 2007-11-16 2012-09-12 キヤノン株式会社 情報処理装置、情報処理方法
US8996174B2 (en) * 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
KR101997566B1 (ko) * 2012-08-07 2019-07-08 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
US9792546B2 (en) * 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods

Also Published As

Publication number Publication date
US10625416B2 (en) 2020-04-21
US20180099407A1 (en) 2018-04-12
JPWO2016189924A1 (ja) 2018-01-11
WO2016189924A1 (ja) 2016-12-01

Similar Documents

Publication Publication Date Title
JP6401858B2 (ja) ロボット操作装置およびプログラム
Qin et al. From one hand to multiple hands: Imitation learning for dexterous manipulation from single-camera teleoperation
CN108161882B (zh) 一种基于增强现实的机器人示教再现方法及装置
US9744672B2 (en) Systems and methods for communicating robot intentions to human beings
US9079313B2 (en) Natural human to robot remote control
CN108127669A (zh) 一种基于动作融合的机器人示教系统及实施方法
JP2009531184A (ja) 操作ロボットにより物体を把持するための知的インターフェース装置及びこの装置の操作方法
TWI528224B (zh) 三維動態操控方法及裝置
JP7117237B2 (ja) ロボット制御装置、ロボットシステム及びロボット制御方法
JP6902369B2 (ja) 提示装置、提示方法およびプログラム、ならびに作業システム
Zhang et al. Human-robot shared control for surgical robot based on context-aware sim-to-real adaptation
US11833682B2 (en) Robot, method, and manipulating system
JP7377627B2 (ja) 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム
JP2015112654A (ja) 制御装置、ロボット、教示データ生成方法及びロボットシステム
JP2017087325A (ja) ロボット制御装置、ロボット制御方法、ロボット制御システムおよびコンピュータプログラム
CN105930775A (zh) 基于灵敏度参数的人脸朝向识别方法
KR20230022918A (ko) 원격 조작 시스템 및 원격 조작 방법
JP5536510B2 (ja) プログラム及び画像生成システム
Lopez et al. Taichi algorithm: Human-like arm data generation applied on non-anthropomorphic robotic manipulators for demonstration
CN108062102A (zh) 一种手势控制具有辅助避障功能的移动机器人遥操作系统
Liu et al. Virtual reality based tactile sensing enhancements for bilateral teleoperation system with in-hand manipulation
CN207888651U (zh) 一种基于动作融合的机器人示教系统
Tsitos et al. Real-time feasibility of a human intention method evaluated through a competitive human-robot reaching game
US20230298482A1 (en) Determination of surgical performance level
WO2021131809A1 (en) Computer assisted surgery system, surgical control apparatus and surgical control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180907

R150 Certificate of patent or registration of utility model

Ref document number: 6401858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees