JP7463946B2 - 動作制御プログラム、動作制御方法、および動作制御装置 - Google Patents

動作制御プログラム、動作制御方法、および動作制御装置 Download PDF

Info

Publication number
JP7463946B2
JP7463946B2 JP2020187981A JP2020187981A JP7463946B2 JP 7463946 B2 JP7463946 B2 JP 7463946B2 JP 2020187981 A JP2020187981 A JP 2020187981A JP 2020187981 A JP2020187981 A JP 2020187981A JP 7463946 B2 JP7463946 B2 JP 7463946B2
Authority
JP
Japan
Prior art keywords
area
image
identifying
timing
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020187981A
Other languages
English (en)
Other versions
JP2022077228A (ja
Inventor
泰斗 横田
彼方 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020187981A priority Critical patent/JP7463946B2/ja
Priority to US17/463,367 priority patent/US20220148119A1/en
Publication of JP2022077228A publication Critical patent/JP2022077228A/ja
Application granted granted Critical
Publication of JP7463946B2 publication Critical patent/JP7463946B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)

Description

本発明は、動作制御技術に関する。
近年、産業用ロボットアームに動作を教えるティーチング作業を減らすために、ロボットアームの姿勢制御に、深層強化学習や回帰型ニューラルネットワークなどの機械学習技術を適用して自動化する研究が進んでいる。深層強化学習では訓練に大きなコスト（多数の試行）や長い時間がかかる。そのため、コストや訓練時間に制約がある場合は、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＲＮＮ）やＬｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ（ＬＳＴＭ）などの回帰型ニューラルネットワークを用いた手法が利用されている。
一方、人間との協働を想定したロボットアームの開発が進んでおり、ロボットアームと他の物体との衝突を防ぐ技術が必要となっている。そこで、カメラ画像やセンサーにより、障害物を検知して３次元位置座標（ｘ，ｙ，ｚ）を特定し、ロボットアームと障害物との衝突を防ぐ技術がある。
特許第６６４７６４０号公報 米国特許出願公開第２０１９／０１４３５１７号明細書
しかしながら、３次元位置座標（ｘ，ｙ，ｚ）では、ロボットアームの姿勢が一意に定まらないため、障害物の位置がロボットアームの軌道上に重なっているか判定できない。そのため、障害物検知時は一律にロボットアームの動作を緊急停止せざるを得ず、不必要な再稼働のための作業負担や時間がかかってしまう問題がある。
１つの側面では、ロボットアームと障害物との接近や衝突を未然に防ぐことができる動作制御プログラム、動作制御方法、および動作制御装置を提供することを目的とする。
１つの態様において、動作制御プログラムは、コンピュータに、第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成し、第２の動作情報に基づいて、第２の機械学習モデルを用いて、機器の動作環境を表す第２の画像における機器の領域を特定し、機器の領域と、対象物の領域とを比較し、比較する処理の結果に基づいて、機器の回避動作を実行する処理を実行させる。
１つの側面では、ロボットアームと障害物との接近や衝突を未然に防ぐことができる。
図１は、動作制御システムの構成例を示す図である。 図２は、６軸ロボットアームの一例を示す図である。 図３は、動作制御装置の構成例を示す図である。 図４は、対象物の領域特定の一例を示す図である。 図５は、ロボットアームの領域特定の一例を示す図である。 図６は、ロボットアームの領域特定ＮＮ生成の一例を示す図である。 図７は、時間ごとの衝突判定の一例を示す図である。 図８は、動作制御処理の流れを示すフローチャートである。 図９は、ハードウェア構成例を説明する図である。
以下に、本実施形態に係る動作制御プログラム、動作制御方法、および動作制御装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
まず、本実施形態を実施するための動作制御システムについて説明する。図１は、動作制御システムの構成例を示す図である。図１に示すように、動作制御システム１は、動作制御装置１０と、ロボットアーム１００およびカメラ装置２００とが相互に通信可能に接続されるシステムである。なお、各装置の通信は、通信ケーブルを介して行われてもよいし、イントラネットなどの各種通信網を介して行われてもよい。また、通信方式は、有線および無線のいずれであってもよい。
動作制御装置１０は、例えば、ロボットアーム１００を管理する管理者によって使用されるデスクトップＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やノートＰＣ、またはサーバコンピュータなどの情報処理装置である。動作制御装置１０は、ロボットアーム１００の動作環境の撮像画像から対象物を特定し、ロボットアーム１００の軌道を予測し、ロボットアーム１００が対象物と衝突する可能性がある場合にロボットアーム１００の回避動作を実行する。なお、ロボットアーム１００の動作環境の撮像画像から特定される対象物を、実際にロボットアーム１００と衝突する可能性があるか否かに関わらず障害物と表現する場合がある。
また、図１では、動作制御装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。また、動作制御装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドサーバ装置であってもよい。
ロボットアーム１００は、例えば、産業用のロボットアームであり、より具体的には、工場や倉庫などで物品をピックアップ（把持）して移動させるピッキングロボットである。しかしながら、産業用に限定されず、医療用などのロボットアームであってもよい。図２は、６軸ロボットアームの一例を示す図である。図２の例では、ロボットアーム１００は、Ｊ１～Ｊ６の６つの関節を持ち、各関節のＪ１～Ｊ６軸を中心に回転動作する。ロボットアーム１００は、動作制御装置１０によって、時間ごとの各関節の姿勢情報、すなわち、各関節の軸の角度の変化が入力されることで、アームの軌道が決定され、所定の動作をするように制御される。なお、ロボットアーム１００の軸数は、６軸に限定されず、５軸や７軸など、６軸よりも少なくても多くてもよい。
カメラ装置２００は、ロボットアーム１００の動作環境、すなわち、ロボットアーム１００が動作し得る範囲を、ロボットアーム１００の側面や上部から撮像する。カメラ装置２００は、ロボットアーム１００の稼働中、リアルタイムで動作環境を撮像し、撮像された画像は、動作制御装置１０に送信される。なお、図１では、カメラ装置２００は１台しか示されていないが、複数のカメラ装置２００によって、ロボットアーム１００の側面および上部などの複数の方向から動作環境が撮像されてもよい。
［動作制御装置１０の機能構成］
次に、図１に示した動作制御装置１０の機能構成について説明する。図３は、動作制御装置の構成例を示す図である。図３に示すように、動作制御装置１０は、通信部２０、記憶部３０、および制御部４０を有する。
通信部２０は、ロボットアーム１００やカメラ装置２００など、他の装置との間の通信を制御する処理部であり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェースや、ネットワークインタフェースカードなどの通信インタフェースである。
記憶部３０は、各種データや、制御部４０が実行するプログラムを記憶する記憶装置の一例であり、例えば、メモリやハードディスクなどである。記憶部３０は、姿勢情報３１、画像ＤＢ３２、および機械学習モデルＤＢ３３などを記憶する。
姿勢情報３１は、ロボットアーム１００の動作を制御するための情報であり、例えば、ロボットアーム１００の各関節の軸の角度を示す情報を記憶する。姿勢情報３１は、例えば、図２に示す６軸ロボットアームの場合、各関節のＪ１～Ｊ６軸の各角度をｍ１～ｍ６によって示す。
画像ＤＢ３２は、カメラ装置２００によって撮像されたロボットアーム１００の動作環境の撮像画像を記憶する。また、画像ＤＢ３２は、当該撮像画像を物体検出器に入力することで出力される、障害物の領域を示すマスク画像を記憶する。また、画像ＤＢ３２は、姿勢情報３１をニューラルネットワーク（ＮＮ）に入力することで出力される、ロボットアーム１００の領域を示すマスク画像を記憶する。
機械学習モデルＤＢ３３は、例えば、ロボットアーム１００の動作環境の撮像画像を特徴量とし、障害物の領域を示すマスク画像を正解ラベルとして機械学習により生成された物体検出器を構築するためのモデルパラメータや物体検出器のための訓練データを記憶する。
また、機械学習モデルＤＢ３３は、例えば、姿勢情報３１を特徴量とし、ロボットアーム１００の領域を示すマスク画像を正解ラベルとして機械学習により生成されたＮＮを構築するためのモデルパラメータや、当該ＮＮのための訓練データを記憶する。
また、機械学習モデルＤＢ３３は、例えば、現在の姿勢情報３１を特徴量とし、未来の姿勢情報３１を正解ラベルとして機械学習により生成されたＲＮＮを構築するためのモデルパラメータや、当該ＲＮＮのための訓練データを記憶する。
なお、記憶部３０に記憶される上記情報はあくまでも一例であり、記憶部３０は、上記情報以外にも様々な情報を記憶できる。
制御部４０は、動作制御装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部４０は、特定部４１、生成部４２、比較部４３、および実行部４４を備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。
特定部４１は、第１のタイミングにおけるロボットアーム１００などの機器の動作環境を撮像した画像における対象物の領域を特定する。第１のタイミングとは、例えば、現在である。なお、複数のカメラ装置２００によって、機器の側面および上部などの複数の方向から動作環境を撮像でき、この場合、特定部４１は、それぞれの方向から撮像した各画像において対象物の領域を特定する。
また、特定部４１は、第１のタイミングより後の第２のタイミングの機器の動作状態を表す動作情報に基づいて、機械学習モデルを用いて、第２のタイミングの機器の動作環境を表す画像における機器の領域を特定する。当該機械学習モデルは、例えば、ロボットアーム１００などの機器の動作状態を表す動作情報である姿勢情報３１を特徴量とし、機器の領域を示すマスク画像を正解ラベルとして機械学習により生成されたＮＮである。
なお、機械学習モデルにより出力されるマスク画像は、それぞれが機器の側面および上部などの複数の方向から機器の動作環境を表す複数の画像であってよい。この場合、特定部４１は、各マスク画像に対して機器の領域を特定する。
また、機械学習モデルにより出力されるマスク画像の解像度は、カメラ装置２００による撮像画像の解像度より下げることができる。また、当該マスク画像において、例えば、機器の画素を黒色、それ以外の画素を白色で表すことで２値化することもできる。これにより、マスク画像に対する動作制御装置１０の処理負荷を軽減させることができる。
生成部４２は、例えば、現在である第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成する。より具体的には、生成部４２は、例えば、ロボットアーム１００の現在の姿勢情報３１に基づいて、機械学習モデルを用いて、ロボットアーム１００の未来の姿勢情報３１を生成する。当該機械学習モデルは、例えば、ロボットアーム１００の所定の時刻ｔ時の姿勢情報３１を特徴量とし、時刻ｔ時より後のｔ＋１の姿勢情報３１を正解ラベルとして機械学習により生成されたＲＮＮである。当該ＲＮＮに、現在時刻ｔ時の姿勢情報３１を入力することで、未来の時刻ｔ＋１時の姿勢情報３１が出力される。さらに、生成部４２は、未来の時刻ｔ＋１時の姿勢情報３１を、当該ＲＮＮに入力することで、さらに未来の時刻ｔ＋２時の姿勢情報３１を生成でき、これを繰り返すことにより、未来の時刻ｔ＋３時、ｔ＋４時、・・・ｔ＋ｎ時（ｎは任意の整数）の姿勢情報３１を生成できる。
このようにして、生成部４２は、機器の現在の姿勢情報３１に基づいて、未来の姿勢情報３１を予測する。しかしながら、機器の一連の動作を制御する姿勢情報３１が予め作成されている場合、動作制御装置１０は、予め作成された姿勢情報３１から、未来の姿勢情報３１を取得できる。この場合、動作制御装置１０は、生成部４２を備えなくてもよい。
比較部４３は、特定部４１によって特定された、ロボットアーム１００などの機器の領域と、対象物の領域とを比較する。当該比較は、例えば、機器の領域が特定されたマスク画像と、対象物の領域が特定された撮像画像との解像度を合わせて合成画像を生成し、機器の領域と対象物の領域との画像上での重なりの有無、すなわち機器と対象物との衝突の有無を判定する。または、当該比較は、当該合成画像上での機器の領域と対象物の領域との最短距離を測定し、すなわち機器と対象物との接近および衝突を判定する。このように距離を測定する理由は、両領域が重なっていなくても、機器と対象物とが接近している場合は、衝突の可能性があるため、機器と対象物との所定距離内の接近を検知するためである。
実行部４４は、比較部４３による機器の領域と対象物の領域との比較処理の結果に基づいて、機器の回避動作を実行する。より具体的には、実行部４４は、例えば、比較部４３によって、機器の領域と対象物の領域との画像上での重なりが有ると判定された場合、機器の回避動作を実行する。または、実行部４４は、例えば、比較部４３によって測定された、機器の領域と対象物の領域との画像上の最短距離が所定の閾値以下の場合、機器の回避動作を実行する。なお、当該閾値は、現実の距離で約１０センチメートルに相当する５画素など任意設定できるが、対象物が動く可能性の有無や、合成画像の解像度の粒度によって、より大きく、または小さく設定できる。また、機器の回避動作とは、例えば、機器の緊急停止のみならず、機器の軌道修正による対象物の回避動作も含む。
［機能詳細］
次に、各機能を図４～７を用いて詳細に説明する。まず、特定部４１による、ロボットアーム１００などの機器の動作環境を撮像した画像における対象物の領域特定について説明する。図４は、対象物の領域特定の一例を示す図である。撮像画像３００は、ロボットアーム１００の動作環境をロボットアーム１００の側面からカメラ装置２００で撮像した画像である。撮像画像３００には、ロボットアーム１００の他、障害物となり得る対象物１５０が写っている。
図４に示す物体検出器５０は、ロボットアーム１００の動作環境の撮像画像を特徴量とし、対象物の領域を示すマスク画像を正解ラベルとして機械学習により生成されたものある。物体検出器５０は、例えば、物体検出アルゴリズムのＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）を用いて、画像から対象物を検出する。
図４では、撮像画像３００を物体検出器５０に入力することで、出力されるマスク画像３１０を取得する。マスク画像３１０は、例えば、対象物１５０の画素１５０´と、それ以外の画素を２値化表現したものであり、これにより特定部４１は、対象物１５０を特定できる。また、図４に示すように、マスク画像３１０の解像度を撮像画像３００の解像度より下げることで、マスク画像３１０に対する動作制御装置１０の処理負荷を軽減させることができる。
次に、特定部４１による、ロボットアーム１００などの機器の領域特定について説明する。図５は、ロボットアームの領域特定の一例を示す図である。図５に示すＮＮ６０は、ロボットアーム１００の姿勢情報３１を特徴量とし、ロボットアーム１００の領域を示すマスク画像を正解ラベルとして機械学習により生成されたものである。ＮＮ６０には、例えば、ＲＮＮやＬＳＴＭなどの回帰型ＮＮを用いることができる。
図５では、ロボットアーム１００の姿勢情報３１をＮＮ６０に入力することで、マスク画像３２０を取得する。マスク画像３２０は、例えば、ロボットアーム１００の画素１００´と、それ以外の画素を２値化表現したものであり、これにより特定部４１は、ロボットアーム１００を特定することができる。また、マスク画像３２０も、マスク画像３１０同様、解像度を下げることにより、マスク画像３２０に対する動作制御装置１０の処理負荷を軽減させることができる。
ここで、ロボットアーム１００の領域特定に用いるＮＮ６０の生成方法について説明する。図６は、ロボットアームの領域特定ＮＮ生成の一例を示す図である。まず、図６に示すように、ロボットアーム１００を側面からカメラ装置２００で撮像した撮像画像３３０において、背景画像との差分から、ロボットアーム１００の画素を抽出したマスク画像３４０が生成される。そして、マスク画像３４０の解像度を下げて、ロボットアーム１００の画素１００´と、それ以外の画素を２値化表現したマスク画像３５０が生成される。
そして、撮像画像３３０を撮像した際の姿勢情報３１を入力、マスク画像３５０が出力の正解となるデータセット７０が生成され、データセット７０を用いて、ＮＮ６０が訓練される。これをロボットアーム１００がとり得る様々な姿勢を制御するための複数の姿勢情報３１を用いて、ロボットアーム１００の姿勢を変えて複数のマスク画像３５０およびデータセット７０を生成し、ＮＮ６０を訓練する。
なお、図６の例では、ロボットアーム１００を側面から撮像した画像を用いて、ロボットアーム１００を側面から見た場合のロボットアーム１００の領域を特定するＮＮ６０の生成について説明した。同様に、例えば、ロボットアーム１００を上部から撮像した画像を用いて、ロボットアーム１００の姿勢情報３１から、ロボットアーム１００を上部から見た場合のロボットアーム１００の領域を特定するＮＮ６０を生成できる。
次に、比較部４３による衝突判定について説明する。図７は、時間ごとの衝突判定の一例を示す図である。図７に示す合成画像４００～４３０は、物体検出器５０により出力され、対象物１５０の画素１５０´が特定されたマスク画像３１０と、ＮＮ６０により出力され、ロボットアーム１００の画素１００´が特定されたマスク画像３２０とを重ね合わせた画像である。合成画像４００～４３０間では、ロボットアーム１００の動作環境における時刻が異なる。図７の例では、合成画像４００～４３０の順に動作環境の時刻が時刻ｔ～ｔ＋３時と時間が経過していることを示している。
また、図７の例では、まず、時刻ｔ時の姿勢情報３１を用いてロボットアーム１００が制御され、時間経過と共に、徐々にロボットアーム１００が対象物１５０に接近している様子が、合成画像４００～４３０によって示されている。特に、合成画像４３０では、ロボットアーム１００の画素１００´と対象物１５０の画素１５０´とが重なっており、時刻ｔ＋３時の姿勢情報３１を用いたロボットアーム１００の制御によってロボットアーム１００と対象物１５０とが衝突することが示されている。
このように、時間ごとの姿勢情報３１を用いて、ロボットアーム１００などの機器と対象物との合成画像を生成し、合成画像上での画素の重なりや画素間の距離に基づいて、機器の軌道上に対象物があるか判定し、機器と対象物との接近や衝突を未然に回避できる。なお、時間ごとの姿勢情報３１は、上述したように、動作制御装置１０によって生成、または取得される。
［処理の流れ］
次に、動作制御装置１０によって実行されるロボットアーム１００などの機器の動作制御処理の流れを説明する。図８は、動作制御処理の流れを示すフローチャートである。図８に示す動作制御処理は、動作制御装置１０が実行主体であり、機器と対象物１５０との接近や衝突を未然に回避するために、機器の稼働中、リアルタイムに実行される。そのため、カメラ装置２００によって稼働中の機器の動作環境が常時撮像され、撮像された画像は、動作制御装置１０に送信される。
まず、図８に示すように、動作制御装置１０は、物体検出器５０を用いて、稼働中の機器の動作環境が撮像された撮像画像における対象物１５０の領域を特定する（ステップＳ１０１）。当該撮像画像は、カメラ装置２００から送信された最新、すなわち、現在時刻ｔ時の撮像画像である。また、撮像画像が機器の側面や上部など複数の方向から撮像され複数ある場合、動作制御装置１０は、各画像において対象物１５０の領域を特定する。
次に、動作制御装置１０は、現在時刻ｔ時の機器の姿勢情報３１に基づいて、機械学習モデルを用いて、機器の未来時刻ｔ＋１時の動作情報、すなわち未来の姿勢情報３１を生成する（ステップＳ１０２）。ここで、未来時刻ｔ＋１時とは、例えば、現在時刻ｔ時から数秒経過後である。また、ステップＳ１０２で用いる機械学習モデルは、例えば、現在時刻ｔ時の姿勢情報３１を特徴量とし、未来時刻ｔ＋１時の姿勢情報３１を正解ラベルとして機械学習により生成されたＲＮＮである。当該ＲＮＮに、現在時刻ｔ時の機器の姿勢情報３１を入力することで、未来時刻ｔ＋１時の姿勢情報３１が出力される。
なお、機器の一連の動作を制御する姿勢情報３１が予め作成されている場合、動作制御装置１０は、予め作成された姿勢情報３１から、未来の姿勢情報３１を取得することもできる。この場合、ステップＳ１０２では、未来の姿勢情報３１の生成に代えて、動作制御装置１０は、記憶部３０に予め記憶されている姿勢情報３１から、未来の姿勢情報３１を取得する。
また、動作制御装置１０は、生成された未来時刻ｔ＋１時の姿勢情報３１をＲＮＮに入力することで、さらに未来時刻ｔ＋２時の姿勢情報３１を生成でき、これを所定回数繰り返すことで時間経過ごとの未来時刻ｔ＋３～ｔ＋ｎ時の姿勢情報３１を生成できる。
次に、動作制御装置１０は、ステップＳ１０２で生成または取得された未来の姿勢情報３１をＮＮ６０に入力し、出力されたマスク画像３２０から、機器の未来の領域を特定する（ステップＳ１０３）。未来の姿勢情報３１が、未来時刻ｔ＋１～ｔ＋ｎ時分、複数ある場合、動作制御装置１０は、それぞれの時刻での機器の領域を特定する。さらに、ステップＳ１０１で用いた撮像画像が機器の側面や上部など複数の方向から撮像され複数ある場合、動作制御装置１０は、各方向から見た複数のマスク画像３２０のそれぞれから、機器の未来の領域を特定する。
次に、動作制御装置１０は、ステップＳ１０１で特定された対象物１５０の領域と、ステップＳ１０３で特定された機器の未来の領域とを比較し、対象物１５０と機器との距離が所定の閾値以下か否かを判定する（ステップＳ１０４）。距離が所定の閾値より大きい場合（ステップＳ１０４：Ｎｏ）、対象物１５０と機器との接近や衝突の可能性はないものと判断して、図８に示す動作制御処理は終了する。なお、その後、例えば、未来ｔ＋１時が現在時刻になるなど、時間経過により、ステップＳ１０１から動作制御処理を繰り返し実行し、機器の稼働中、対象物１５０と機器との接近や衝突の判定を繰り返す。
一方、距離が所定の閾値以下の場合（ステップＳ１０４：Ｙｅｓ）、対象物１５０と機器との接近や衝突の可能性があるものと判断して、動作制御装置１０は、機器の回避動作を実行する（ステップＳ１０５）。なお、機器の回避動作とは、例えば、機器の緊急停止や、機器の軌道修正による対象物の回避動作である。ステップＳ１０５の実行後、図８に示す動作制御処理は終了する。
なお、ステップＳ１０１で用いた撮像画像や、ステップＳ１０３で用いたマスク画像３２０が機器の各方向用に複数ある場合、ステップＳ１０４では、各方向用の画像上で対象物１５０と機器との距離が所定の閾値以下か否かを判定する。その結果、各方向用の全ての画像上の対象物１５０と機器との距離が所定の閾値以下の場合、対象物１５０と機器との接近や衝突の可能性があるものと判断して、動作制御装置１０は、機器の回避動作を実行する（ステップＳ１０５）。これは、一部の画像上でのみ、対象物１５０と機器との距離が所定の閾値以下であっても、対象物１５０と機器との接近や衝突の可能性はないものと判断できるためである。
また、ステップＳ１０４の判定は、対象物１５０の領域と、機器の未来の領域との画像上での重なりが有るか無いかを判定してもよい。重なりがある場合、対象物１５０と機器との接近や衝突の可能性があるものとして、動作制御装置１０は、機器の回避動作を実行する（ステップＳ１０５）。
［効果］
上述したように、動作制御装置１０は、第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成し、第２の動作情報に基づいて、第２の機械学習モデルを用いて、機器の動作環境を表す第２の画像における機器の領域を特定し、機器の領域と、対象物の領域とを比較し、比較する処理の結果に基づいて、機器の回避動作を実行する。
動作制御装置１０は、ロボットアーム１００などの機器の動作環境の撮像画像３００から対象物１５０の領域を特定し、機器の姿勢情報３１から機械学習を用いて機器の未来の領域を特定し、両領域の比較結果に基づいて、機器の回避動作を実行する。これにより、動作制御装置１０は、機器と対象物１５０との接近や衝突を未然に防ぐことができる。
また、動作制御装置１０によって実行される、機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、第１の画像より解像度の低い第２の画像から機器の領域を特定する処理を含む。
これにより、第２の画像であるマスク画像３２０に対する動作制御装置１０の処理負荷を軽減させることができる。
また、動作制御装置１０によって実行される、機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、機器を示す画素と機器以外を示す画素とが２値化された、第２の画像から機器の領域を特定する処理を含む。
これにより、第２の画像であるマスク画像３２０に対する動作制御装置１０の処理負荷を軽減させることができる。
また、動作制御装置１０によって実行される、機器の領域と、対象物の領域とを比較する処理は、第１の画像および第２の画像の解像度を合わせ、機器の領域と対象物の領域との画像上での重なりの有無を判定する処理を含み、機器の回避動作を実行する処理は、重なりが有ると判定した場合、機器の回避動作を実行する処理を含む。
これにより、動作制御装置１０は、機器と対象物１５０との接近や衝突をより正確に判定できる。
また、動作制御装置１０によって実行される、機器の領域と、対象物の領域とを比較する処理は、第１の画像および第２の画像の解像度を合わせ、機器の領域と対象物の領域との画像上での最短距離を測定する処理を含み、機器の回避動作を実行する処理は、最短距離が所定の閾値以下の場合、機器の回避動作を実行する処理を含む。
これにより、動作制御装置１０は、機器と対象物１５０との接近や衝突をより正確に判定できる。
また、動作制御装置１０によって実行される、対象物の領域を特定する処理は、それぞれが異なる複数の方向から機器の動作環境を撮像した複数の第１の画像における対象物の領域を特定する処理を含み、機器の領域を特定する処理は、それぞれが複数の方向から機器の動作環境を表す複数の第２の画像における機器の領域を特定する処理を含む。
これにより、動作制御装置１０は、複数の方向から機器と対象物１５０との接近や衝突を判定できる。
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更できる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更できる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成できる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［ハードウェア］
図９は、ハードウェア構成例を説明する図である。図９に示すように、動作制御装置１０は、通信インタフェース１０ａ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図９に示した各部は、バスなどで相互に接続される。
通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図３に示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１０ｄは、図３に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図３などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、動作制御装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、特定部４１、生成部４２、比較部４３、および実行部４４などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、特定部４１、生成部４２、比較部４３、および実行部４４などと同様の処理を実行するプロセスを実行する。
このように動作制御装置１０は、図３に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、動作制御装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、動作制御装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本実施形態を同様に適用できる。
また、図３に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、
第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成し、
第２の動作情報に基づいて、第２の機械学習モデルを用いて、機器の動作環境を表す第２の画像における機器の領域を特定し、
機器の領域と、対象物の領域とを比較し、
比較する処理の結果に基づいて、機器の回避動作を実行する、
処理をコンピュータに実行させることを特徴とする動作制御プログラム。
（付記２）機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、第１の画像より解像度の低い第２の画像から機器の領域を特定する処理を含むことを特徴とする付記１に記載の動作制御プログラム。
（付記３）機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、機器を示す画素と機器以外を示す画素とが２値化された、第２の画像から機器の領域を特定する処理を含むことを特徴とする付記２に記載の動作制御プログラム。
（付記４）機器の領域と、対象物の領域とを比較する処理は、第２の画像における機器の領域の位置と第１の画像における対象物の領域の位置との重なりの有無を判定する処理を含み、
機器の回避動作を実行する処理は、重なりが有ると判定した場合、機器の回避動作を実行する処理を含む、
ことを特徴とする付記１に記載の動作制御プログラム。
（付記５）機器の領域と、対象物の領域とを比較する処理は、第２の画像における機器の領域の位置と第１の画像における対象物の領域の位置との最短距離を測定する処理を含み、
機器の回避動作を実行する処理は、最短距離が所定の閾値以下の場合、機器の回避動作を実行する処理を含む、
ことを特徴とする付記１に記載の動作制御プログラム。
（付記６）対象物の領域を特定する処理は、それぞれが異なる複数の方向から機器の動作環境を撮像した複数の第１の画像における対象物の領域を特定する処理を含み、
機器の領域を特定する処理は、それぞれが複数の方向から機器の動作環境を表す複数の第２の画像における機器の領域を特定する処理を含むことを特徴とする付記１に記載の動作制御プログラム。
（付記７）第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、
第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成し、
第２の動作情報に基づいて、第２の機械学習モデルを用いて、機器の動作環境を表す第２の画像における機器の領域を特定し、
機器の領域と、対象物の領域とを比較し、
比較する処理の結果に基づいて、機器の回避動作を実行する、
処理をコンピュータが実行することを特徴とする動作制御方法。
（付記８）機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、第１の画像より解像度の低い第２の画像から機器の領域を特定する処理を含むことを特徴とする付記７に記載の動作制御方法。
（付記９）機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、機器を示す画素と機器以外を示す画素とが２値化された、第２の画像から機器の領域を特定する処理を含むことを特徴とする付記８に記載の動作制御方法。
（付記１０）機器の領域と、対象物の領域とを比較する処理は、第２の画像における機器の領域の位置と第１の画像における対象物の領域の位置との重なりの有無を判定する処理を含み、
機器の回避動作を実行する処理は、重なりが有ると判定した場合、機器の回避動作を実行する処理を含む、
ことを特徴とする付記７に記載の動作制御方法。
（付記１１）機器の領域と、対象物の領域とを比較する処理は、第２の画像における機器の領域の位置と第１の画像における対象物の領域の位置との最短距離を測定する処理を含み、
機器の回避動作を実行する処理は、最短距離が所定の閾値以下の場合、機器の回避動作を実行する処理を含む、
ことを特徴とする付記７に記載の動作制御方法。
（付記１２）対象物の領域を特定する処理は、それぞれが異なる複数の方向から機器の動作環境を撮像した複数の第１の画像における対象物の領域を特定する処理を含み、
機器の領域を特定する処理は、それぞれが複数の方向から機器の動作環境を表す複数の第２の画像における機器の領域を特定する処理を含むことを特徴とする付記７に記載の動作制御方法。
（付記１３）第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、
第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成し、
第２の動作情報に基づいて、第２の機械学習モデルを用いて、機器の動作環境を表す第２の画像における機器の領域を特定し、
機器の領域と、対象物の領域とを比較し、
比較する処理の結果に基づいて、機器の回避動作を実行する、
処理を実行する制御部を有することを特徴とする動作制御装置。
（付記１４）機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、第１の画像より解像度の低い第２の画像から機器の領域を特定する処理を含むことを特徴とする付記１３に記載の動作制御装置。
（付記１５）機器の領域を特定する処理は、第２の機械学習モデルに第２の動作情報を入力することにより出力される、機器を示す画素と機器以外を示す画素とが２値化された、第２の画像から機器の領域を特定する処理を含むことを特徴とする付記１４に記載の動作制御装置。
（付記１６）機器の領域と、対象物の領域とを比較する処理は、第２の画像における機器の領域の位置と第１の画像における対象物の領域の位置との重なりの有無を判定する処理を含み、
機器の回避動作を実行する処理は、重なりが有ると判定した場合、機器の回避動作を実行する処理を含む、
ことを特徴とする付記１３に記載の動作制御装置。
（付記１７）機器の領域と、対象物の領域とを比較する処理は、第２の画像における機器の領域の位置と第１の画像における対象物の領域の位置との最短距離を測定する処理を含み、
機器の回避動作を実行する処理は、最短距離が所定の閾値以下の場合、機器の回避動作を実行する処理を含む、
ことを特徴とする付記１３に記載の動作制御装置。
（付記１８）対象物の領域を特定する処理は、それぞれが異なる複数の方向から機器の動作環境を撮像した複数の第１の画像における対象物の領域を特定する処理を含み、
機器の領域を特定する処理は、それぞれが複数の方向から機器の動作環境を表す複数の第２の画像における機器の領域を特定する処理を含むことを特徴とする付記１３に記載の動作制御装置。
（付記１９）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた動作制御装置であって、プロセッサは、
第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定する第１の特定部と、
第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの機器の動作状態を表す第２の動作情報を生成する生成部と、
第２の動作情報に基づいて、第２の機械学習モデルを用いて、機器の動作環境を表す第２の画像における機器の領域を特定する第２の特定部と、
機器の領域と、対象物の領域とを比較する比較部と、
比較する処理の結果に基づいて、機器の回避動作を実行する実行部と
を有することを特徴とする動作制御装置。
１ 動作制御システム
１０ 動作制御装置
２０ 通信部
３０ 記憶部
３１ 姿勢情報
３２ 画像ＤＢ
３３ 機械学習モデルＤＢ
４０ 制御部
４１ 特定部
４２ 生成部
４３ 比較部
４４ 実行部
５０ 物体検出器
６０ ニューラルネットワーク
７０ データセット
１００ ロボットアーム
１５０ 対象物
２００ カメラ装置
３００、３３０ 撮像画像
３１０、３２０、３４０、３５０ マスク画像
４００～４３０ 合成画像

Claims (8)

  1. 第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、
    前記第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、前記第１のタイミングより後の第２のタイミングの前記機器の動作状態を表す第２の動作情報を生成し、
    前記第２の動作情報に基づいて、第２の機械学習モデルを用いて、前記機器の動作環境を表す第２の画像における前記機器の領域を特定し、
    前記機器の領域と、前記対象物の領域とを比較し、
    前記比較する処理の結果に基づいて、前記機器の回避動作を実行する、
    処理をコンピュータに実行させることを特徴とする動作制御プログラム。
  2. 前記機器の領域を特定する処理は、前記第２の機械学習モデルに前記第２の動作情報を入力することにより出力される、前記第１の画像より解像度の低い前記第２の画像から前記機器の領域を特定する処理を含むことを特徴とする請求項１に記載の動作制御プログラム。
  3. 前記機器の領域を特定する処理は、前記第２の機械学習モデルに前記第２の動作情報を入力することにより出力される、前記機器を示す画素と前記機器以外を示す画素とが２値化された、前記第２の画像から前記機器の領域を特定する処理を含むことを特徴とする請求項２に記載の動作制御プログラム。
  4. 前記機器の領域と、前記対象物の領域とを比較する処理は、前記第２の画像における前記機器の領域の位置と前記第１の画像における前記対象物の領域の位置との重なりの有無を判定する処理を含み、
    前記機器の回避動作を実行する処理は、前記重なりが有ると判定した場合、前記機器の回避動作を実行する処理を含む、
    ことを特徴とする請求項１に記載の動作制御プログラム。
  5. 前記機器の領域と、前記対象物の領域とを比較する処理は、前記第２の画像における前記機器の領域の位置と前記第１の画像における前記対象物の領域の位置との最短距離を測定する処理を含み、
    前記機器の回避動作を実行する処理は、前記最短距離が所定の閾値以下の場合、前記機器の回避動作を実行する処理を含む、
    ことを特徴とする請求項１に記載の動作制御プログラム。
  6. 前記対象物の領域を特定する処理は、それぞれが異なる複数の方向から前記機器の動作環境を撮像した複数の前記第１の画像における前記対象物の領域を特定する処理を含み、
    前記機器の領域を特定する処理は、それぞれが前記複数の方向から前記機器の動作環境を表す複数の前記第２の画像における前記機器の領域を特定する処理を含むことを特徴とする請求項１に記載の動作制御プログラム。
  7. 第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、
    前記第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、前記第１のタイミングより後の第２のタイミングの前記機器の動作状態を表す第２の動作情報を生成し、
    前記第２の動作情報に基づいて、第２の機械学習モデルを用いて、前記機器の動作環境を表す第２の画像における前記機器の領域を特定し、
    前記機器の領域と、前記対象物の領域とを比較し、
    前記比較する処理の結果に基づいて、前記機器の回避動作を実行する、
    処理をコンピュータが実行することを特徴とする動作制御方法。
  8. 第１のタイミングにおける機器の動作環境を撮像した第１の画像における対象物の領域を特定し、
    前記第１のタイミングの機器の動作状態を表す第１の動作情報に基づいて、第１の機械学習モデルを用いて、前記第１のタイミングより後の第２のタイミングの前記機器の動作状態を表す第２の動作情報を生成し、
    前記第２の動作情報に基づいて、第２の機械学習モデルを用いて、前記機器の動作環境を表す第２の画像における前記機器の領域を特定し、
    前記機器の領域と、前記対象物の領域とを比較し、
    前記比較する処理の結果に基づいて、前記機器の回避動作を実行する、
    処理を実行する制御部を有することを特徴とする動作制御装置。
JP2020187981A 2020-11-11 2020-11-11 動作制御プログラム、動作制御方法、および動作制御装置 Active JP7463946B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020187981A JP7463946B2 (ja) 2020-11-11 2020-11-11 動作制御プログラム、動作制御方法、および動作制御装置
US17/463,367 US20220148119A1 (en) 2020-11-11 2021-08-31 Computer-readable recording medium storing operation control program, operation control method, and operation control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020187981A JP7463946B2 (ja) 2020-11-11 2020-11-11 動作制御プログラム、動作制御方法、および動作制御装置

Publications (2)

Publication Number Publication Date
JP2022077228A JP2022077228A (ja) 2022-05-23
JP7463946B2 true JP7463946B2 (ja) 2024-04-09

Family

ID=81453565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020187981A Active JP7463946B2 (ja) 2020-11-11 2020-11-11 動作制御プログラム、動作制御方法、および動作制御装置

Country Status (2)

Country Link
US (1) US20220148119A1 (ja)
JP (1) JP7463946B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230202044A1 (en) * 2021-12-29 2023-06-29 Shanghai United Imaging Intelligence Co., Ltd. Automated collision avoidance in medical environments

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143003A1 (ja) 2017-01-31 2018-08-09 株式会社安川電機 ロボットパス生成装置及びロボットシステム
JP2019202354A (ja) 2018-05-21 2019-11-28 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10210631B1 (en) * 2017-08-18 2019-02-19 Synapse Technology Corporation Generating synthetic image data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143003A1 (ja) 2017-01-31 2018-08-09 株式会社安川電機 ロボットパス生成装置及びロボットシステム
JP2019202354A (ja) 2018-05-21 2019-11-28 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 ロボット制御装置、ロボット制御方法及びロボット制御プログラム

Also Published As

Publication number Publication date
US20220148119A1 (en) 2022-05-12
JP2022077228A (ja) 2022-05-23

Similar Documents

Publication Publication Date Title
US10317854B2 (en) Machine learning device that performs learning using simulation result, machine system, manufacturing system, and machine learning method
Billard et al. Discriminative and adaptive imitation in uni-manual and bi-manual tasks
JP4609584B2 (ja) ロボット装置、顔認識方法及び顔認識装置
Shademan et al. Robust jacobian estimation for uncalibrated visual servoing
Kraft et al. Birth of the object: Detection of objectness and extraction of object shape through object–action complexes
Niekum et al. Online bayesian changepoint detection for articulated motion models
Ding et al. Sim-to-real transfer for optical tactile sensing
Sayour et al. Autonomous robotic manipulation: real‐time, deep‐learning approach for grasping of unknown objects
Gu et al. Automated assembly skill acquisition and implementation through human demonstration
Fang et al. Visual-guided robotic object grasping using dual neural network controllers
US11203116B2 (en) System and method for predicting robotic tasks with deep learning
Maeda et al. View-based teaching/playback for robotic manipulation
Hwang et al. Development of a mimic robot—Learning from demonstration incorporating object detection and multiaction recognition
JP7463946B2 (ja) 動作制御プログラム、動作制御方法、および動作制御装置
Rojas et al. Towards snap sensing
US20230330858A1 (en) Fine-grained industrial robotic assemblies
Zhu et al. Diff-lfd: Contact-aware model-based learning from visual demonstration for robotic manipulation via differentiable physics-based simulation and rendering
Dang et al. Perfc: An efficient 2d and 3d perception software-hardware framework for mobile cobot
US20220143836A1 (en) Computer-readable recording medium storing operation control program, operation control method, and operation control apparatus
Thoduka et al. Using visual anomaly detection for task execution monitoring
dos Santos et al. A neural autonomous robotic manipulator with three degrees of freedom
CN113551661A (zh) 位姿识别、轨迹规划方法、装置、系统、存储介质及设备
Marchionne et al. GNC architecture solutions for robust operations of a free-floating space manipulator via image based visual servoing
Wang et al. Alignment Method of Combined Perception for Peg‐in‐Hole Assembly with Deep Reinforcement Learning
Juett et al. Learning to reach by building a representation of peri-personal space

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230707

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311

R150 Certificate of patent or registration of utility model

Ref document number: 7463946

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150