JP6453922B2 - ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法 - Google Patents

ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法 Download PDF

Info

Publication number
JP6453922B2
JP6453922B2 JP2017019468A JP2017019468A JP6453922B2 JP 6453922 B2 JP6453922 B2 JP 6453922B2 JP 2017019468 A JP2017019468 A JP 2017019468A JP 2017019468 A JP2017019468 A JP 2017019468A JP 6453922 B2 JP6453922 B2 JP 6453922B2
Authority
JP
Japan
Prior art keywords
workpiece
loading state
robot
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017019468A
Other languages
English (en)
Other versions
JP2018126802A (ja
Inventor
健文 後藤
健文 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2017019468A priority Critical patent/JP6453922B2/ja
Priority to US15/875,239 priority patent/US10603790B2/en
Priority to DE102018000730.9A priority patent/DE102018000730B4/de
Priority to CN201810118479.7A priority patent/CN108393908B/zh
Publication of JP2018126802A publication Critical patent/JP2018126802A/ja
Application granted granted Critical
Publication of JP6453922B2 publication Critical patent/JP6453922B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32334—Use of reinforcement learning, agent acts, receives reward
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39298—Trajectory learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40528—Ann for learning robot contact surface shape
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40594—Two range sensors for recognizing 3-D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Description

本発明は、ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法に関する。
従来、例えば、コンテナなどの収容物内にバラバラに積まれた部品(三次元空間にバラ積みされたワーク)をロボットによって取り出す装置(ワーク取り出し装置)が、様々な分野で使用されている。このようなワーク取り出し装置において、例えば、最後のワークを取り出すまで安定的に稼働させることは、一般的に困難なものとなっている。
例えば、ワーク(部品)を取り出すために、ロボットのハンドをワークに近づける動作(アプローチ動作)を行っているときに、ハンドと収容物や他のワークとの干渉が発生し、その結果、取り出そうとしたワークを保持できないといった事態が発生するためである。また、例えば、ワークを予め定められた持ち方で保持して取り出し処理を行う場合、三次元的に任意の姿勢をとるワークに対して、その予め定められた持ち方を行えないといったことも頻繁に生じる。具体的に、ワークに対する持ち方が１つしか定められていない場合、保持したい面が下を向いてしまっていると、そのワークを所定の持ち方で保持することは困難になってしまう。
そのため、ワーク取り出し装置(バラ積み取り出しシステム)では、収容物内にワークが残っているにも関わらず、それ以上ワークを取り出せない状況に陥ってしまうといったことが多々ある。
ところで、従来、多数のワークからの取り出し失敗を減らし、またリトライ動作も減らしたワーク取り出し装置として、データベースに蓄えられた過去の取り出し成否の情報に基づいて、センサで計測したワークの一部の掴みやすさを推定し、掴みにくそうなものは優先して掴まないが、他に掴めそうなものがないときは、ハンドの開閉量・動作速度・把持力のうち少なくとも１つを調整して、より丁寧な取り出し動作をおこなうようにしたものが提案されている(例えば、特許文献１参照)。
また、従来、装置を大型化させることなく、バラ積みされたワークを把持する確率を向上させ、後工程における作業の成功率を向上させるワーク供給技術として、バラ積みされたワークを計測した計測データと予め蓄積されたワークの形状データを照合してワークの位置および姿勢を算出し、算出したワークの位置から把持するワークを選択し、その選択したワークの位置および姿勢と、ワークを供給対象物に供給可能に算出されたワークと把持機構の位置関係を示す複数の把持姿勢との対応付けを行ってワークの把持姿勢を決定するものも提案されている(例えば、特許文献２参照)。
さらに、従来、バラ積みされたワークの位置と姿勢を確実に変化させ、新たなバラ積み状態を生成するピッキング用ワーク供給技術として、複数のワークをバラ積み可能とした上方が開いた容器本体の底部から上方内側に進退自在に突出部を設け、その突出部を進退自在に動作させて、ロボットに取り付けられたロボットハンドでワークを１つずつ取り出すものも提案されている(例えば、特許文献３参照)。
特開２０１３−０５２４９０号公報 特開２０１６−１３２０８６号公報 特開２０１２−１８３６１６号公報
しかしながら、上述したワーク取り出し装置では、例えば、取り出しを行うワークに対して他のワークの一部が重なっている場合、その状況を改善してワークを取り出すことは難しいため、効果が限定的である。また、例えば、複数の把持姿勢との対応付けを行うには、膨大な把持姿勢の候補を用意する必要が生じるため現実的ではない。さらに、例えば、容器本体の突出部を進退自在に動作させるには、その動作を行わせるための専用のハード機構が必要となり、また、ワークが重量物だと、容器本体の突出部を進退自在に動作させることは困難な場合も生じる。
このように、従来、ワーク取り出し装置としては様々な提案がなされているが、バラ積みされたワークを満足できる程度に取り出すことが難しく、或いは、専用のハード機構が必要になるといった課題がある。
第１実施形態によれば、三次元空間にバラ積みされた複数のワークを計測するセンサと、前記ワークを保持するロボットと、前記ロボットに取り付けられたワークを保持可能なハンドと、前記センサの出力に基づいて、前記ロボットにより前記ワークを保持する位置および姿勢の保持位置姿勢データを算出する保持位置姿勢算出部と、前記センサの出力に基づいて、前記ロボットにより前記ワークの積載状態を改善する動作の積載状態改善動作データを生成する積載状態改善動作生成部と、前記ロボットおよび前記ハンドを制御するロボット制御部と、少なくとも１つの前記保持位置姿勢算出部、および、少なくとも１つの前記積載状態改善動作生成部を含み少なくとも１つの動作候補を出力する動作候補出力部と、前記動作候補出力部の出力の少なくとも１つの動作候補から１つの動作を決定し、その決定された動作に基づいて前記ロボット制御部を介して前記ロボットを制御する動作決定部と、を備え、前記ロボット制御部は、前記保持位置姿勢算出部および前記積載状態改善動作生成部の出力に基づいて、前記ロボットおよび前記ハンドを制御することで前記ワークの取り出しもしくは積載状態改善動作を行い、前記動作決定部は、機械学習を行って前記動作候補出力部が出力する少なくとも１つの動作候補から１つの動作を決定する動作決定を学習する第１機械学習装置を備え、前記第１機械学習装置は、前記センサで取得される計測データ、少なくとも１つの前記保持位置姿勢算出部の出力に基づく保持位置姿勢データ、および、少なくとも１つの前記積載状態改善動作生成部の出力に基づく積載状態改善動作データを、状態データとして観測する第１状態観測部と、前記センサで計測し、前記ロボットおよび前記ハンドでワークを取り出す一連の動作であるハンドリングに関連する時間データを、判定データとして取得する第１判定データ取得部と、前記第１状態観測部が取得する状態データおよび前記第１判定データ取得部が取得する判定データに基づいて、前記動作候補出力部が出力する少なくとも１つの動作候補から１つの動作を決定する動作決定を学習する第１学習部と、を備えるワーク取り出し装置が提供される。
第２実施形態によれば、三次元空間にバラ積みされた複数のワークを計測するセンサと、前記ワークを保持するロボットと、前記ロボットに取り付けられたワークを保持可能なハンドと、前記センサの出力に基づいて、前記ロボットにより前記ワークを保持する位置および姿勢の保持位置姿勢データを算出する保持位置姿勢算出部と、前記センサの出力に基づいて、前記ロボットにより前記ワークの積載状態を改善する動作の積載状態改善動作データを生成する積載状態改善動作生成部と、前記ロボットおよび前記ハンドを制御するロボット制御部と、を備え、前記ロボット制御部は、前記保持位置姿勢算出部および前記積載状態改善動作生成部の出力に基づいて、前記ロボットおよび前記ハンドを制御することで前記ワークの取り出しもしくは積載状態改善動作を行い、前記積載状態改善動作生成部は、機械学習を行って前記ロボットにより前記ワークの積載状態を改善する動作を学習する第２機械学習装置を備え、前記第２機械学習装置は、前記センサの出力に基づく前記ワークそれぞれの計測データ、および、前記保持位置姿勢算出部の出力に基づく前記ワークそれぞれの前記保持位置姿勢データを、状態データとして観測する第２状態観測部と、前記計測データに基づいて、前記ワークの積載状態を改善する動作の前後における前記積載状態の変化の有無、および、前記ワークの積載状態を改善する動作を行った後における前記ワークそれぞれの前記保持位置姿勢データを、判定データとして取得する第２判定データ取得部と、前記第２状態観測部からの出力および前記第２判定データ取得部からの出力を受け取って、前記ワークの積載状態を改善する動作を学習する第２学習部と、を備えるワーク取り出し装置が提供される。
開示のワーク取り出し装置およびワーク取り出し方法によれば、取り出すことが困難なワークの数を低減することができるという効果を奏する。
図１は、ワーク取り出し装置の一例を模式的に示す図である。 図２は、図１に示すワーク取り出し装置の動作の一例を説明するための図である。 図３は、第１実施例に係るワーク取り出し装置を概略的に示すブロック図である。 図４は、図３に示すワーク取り出し装置の動作の一例を説明するための図である。 図５は、第１実施例に係るワーク取り出し装置によるワーク取り出し処理の一例を説明するためのフローチャートである。 図６は、第２実施例に係るワーク取り出し装置を示すブロック図である。 図７は、ニューロンのモデルを模式的に示す図である。 図８は、図７に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。 図９は、第２実施例に係るワーク取り出し装置によるワーク取り出し処理の一例を説明するためのフローチャートである。 図１０は、第３実施例に係るワーク取り出し装置を示すブロック図である。 図１１は、第３実施例に係るワーク取り出し装置を示すブロック図である。 図１２は、第３実施例に係るワーク取り出し装置によるワーク取り出し処理の一例を説明するためのフローチャート(その１)である。 図１３は、第３実施例に係るワーク取り出し装置によるワーク取り出し処理の一例を説明するためのフローチャート(その２)である。
まず、ワーク取り出し装置およびワーク取り出し方法の実施例を詳述する前に、図１および図２を参照して、ワーク取り出し装置の一例およびその課題を説明する。図１は、ワーク取り出し装置の一例を模式的に示す図である。図１に示されるように、ワーク取り出し装置５００は、例えば、コンテナ４０などの収容物内にバラ積みされた複数のワーク(部品)４ａ〜４ｄを順番に取り出すもので、ロボット１、センサ２、ロボット制御装置３を含む。なお、ワーク４ａ〜４ｄは、コンテナ４０に収納されたものに限定されず、例えば、三次元空間にバラ積みされたものであってもよいのはいうまでもない。
ロボット１の側方には、上面が開放されたボックス形状のコンテナ４０が配置されている。コンテナ４０は上面が開口され、コンテナ４０内の収容空間には、バラ積みされた複数のワーク(バラ積みされた状態を含む、乱雑に置かれた複数のワーク)４ａ〜４ｄ(４)が収納されている。なお、ワーク４は、ロボット１に取り付けられたハンド１０により保持することができ、ロボット制御装置３で制御されるロボット１およびハンド１０の動作により、コンテナ４０からワーク４(４ａ〜４ｄ)が１つずつ取り出されるようになっている。また、コンテナ４０の中央部上方には、センサ２が設置され、センサ２の出力(計測データ)２ａは、ロボット制御装置３に入力されている。
ここで、図１では、説明を簡略化するために、コンテナ４０内に４つの円盤形状のワーク４ａ〜４ｄ(４)がバラバラに積まれた状態で、各ワーク４の中央部の穴をハンド(内径チャック)１０で保持する例が示されているが、ワーク４の形状は円盤形状に限定されず、また、ワーク４の保持機構も内径チャックに限定されるものではない。すなわち、ハンド１０は、ワーク４を保持可能であれば様々な形態を有していてもよく、例えば、２本または複数の爪部を開閉することによってワーク４を把持する形態、或いは、ワーク４に対して吸引力を発生する電磁石または負圧発生装置を備えたものであってもよい。
さらに、センサ２は、それぞれのワーク４ａ〜４ｄの三次元位置および姿勢の情報を取得する三次元視覚センサであり、例えば、カメラ２台のステレオ方式、レーザスリット光を走査する方式、レーザスポット光を走査する方式、プロジェクタ等の装置を用いてパターン光を物品に投影する方式、光が投光機から出射されてからワーク４の表面で反射し受光器に入射するまでの時間を利用する方式等を適用したものであってもよい。また、センサ２の出力(２ａ)に基づいて、バラ積みされた複数のワーク４ａ〜４ｄの三次元位置および姿勢、並びに、コンテナ４０の三次元形状等の計測を行う場合、例えば、三角計測法、光切断法、Time-of-flight法、Depth from Defocus法、または、これらを併用した方法を適用することができる。
なお、図１において、センサ(視覚センサ)２の出力(計測データ)２ａは、ロボット制御装置３に入力され、ロボット制御装置３において画像処理等を行うようになっているが、センサ２の出力２ａは、ロボット制御装置３とは別に設けた専用の画像処理装置等により処理し、その画像処理装置の出力をロボット制御装置３に入力するように構成してもよい。さらに、センサ２は、コンテナ４０の中央部上方に固定して設けられているが、例えば、ロボット１の手先(先端部)に取り付けたハンドアイとして設けることもできる。
このように、図１に示すワーク取り出し装置５００において、ロボット制御装置３は、バラ積みされた複数のワーク４ａ〜４ｄ(４)の三次元位置および姿勢、並びに、コンテナ４０の三次元形状等を測定するセンサ２の出力２ａに基づいて、ロボット１の内径チャック１０によりワーク４を保持する位置および姿勢の保持位置姿勢データを算出し、ロボット１および内径チャック１０を制御して１つずつワーク４の取り出しを行うようになっている。
図２は、図１に示すワーク取り出し装置の動作の一例を説明するための図である。ここで、図２(a)は、図１に示すコンテナ４０内に収納された４つのワーク４ａ〜４ｄにおいて、１つのワーク４ｃの中央部(穴の位置)にロボット１の内径チャック(ハンド)１０を移動し、内径チャック１０を開いてワーク４ｃを保持した様子を示す。また、図２(b)は、図２(a)で保持したワーク４ｃを持ち上げて取り出し動作を行う様子を示す。さらに、図２(c)は、コンテナ４０内の４つのワーク４ａ〜４ｄにおいて、２つのワーク４ｃおよび４ｄの取り出し処理が終了した状態を示す。
上述したように、ワーク取り出し装置５００は、センサ２の出力２ａに基づいて、ロボット１の内径チャック１０によりワーク４を保持する位置および姿勢の保持位置姿勢データを算出し、ロボット１および内径チャック１０を制御して１つずつワーク４の取り出しを行う。しかしながら、例えば、図２(c)に示されるように、ワーク４ｂの上にワーク４ａが乗った状態で、しかも、ワーク４ａがコンテナ４０の隅に立っている(ワーク４ａがコンテナ４０の壁面に鋭い角度で寄り掛かっている)場合、ワーク４ａおよび４ｂのいずれも取り出すことが困難になる。
具体的に、ワーク４ｂに関して、例えば、ワーク４ｂの上にワーク４ａが乗っているため、ワーク４ｂの中央部にロボット１の内径チャック１０を移動させて穴に挿入するのが困難である。また、ワーク４ａに関して、例えば、コンテナ４０の壁面に鋭い角度で寄り掛かっているワーク４ａの中央部にロボット１の内径チャック１０を挿入しようとすると、ロボット１の一部がコンテナ４０の壁に干渉し、或いは、内径チャック１０を適切な角度で挿入するのが難しい。そのため、例えば、ロボット制御装置３は、ロボット１の内径チャック１０によりワーク４ａまたは４ｂを保持する保持位置姿勢データの算出に失敗することになる。このように、コンテナ４０内にはワーク４ａおよび４ｂが残存しているにも関わらず、これらのワーク４ａおよび４ｂを取り出すことができない場合には、生産性の低下等を来すことになる。
以下、本発明に係るワーク取り出し装置およびワーク取り出し方法の実施例を、添付図面を参照して詳述する。図３は、第１実施例に係るワーク取り出し装置１００を示すブロック図であり、ロボット制御装置３の構成を概略的に示すものである。また、図４は、図３に示すワーク取り出し装置の動作の一例を説明するための図であり、図４(a)は、ロボット１(ハンド１０)がワーク(４ａ)に接近するアプローチ位置を示し、図４(b)は、ロボット１がワーク(４ａおよび４ｂ)の積載状態を改善する動作を開始する積載状態改善動作開始位置を示し、そして、図４(c)は、ロボット１がワーク(４ａおよび４ｂ)の積載状態を改善する動作を終了する積載状態改善動作終了位置を示す。なお、図４(a)は、前述した図２(c)に示すワーク４ａまたは４ｂを保持する保持位置姿勢データの算出に失敗する状態に相当する。
すなわち、図４(a)〜図４(c)と、前述した図１および図２(a)〜図２(c)の比較から明らかなように、第１実施例に係るワーク取り出し装置１００は、外見上、上述したワーク取り出し装置５００と同様であるが、ロボット制御装置３の機能(構成)、すなわち、ロボット１(ロボット１のハンド(内径チャック)１０)により保持することが可能なワークが存在しないときに行う積載状態改善動作の機能が異なっている。
図３に示されるように、第１実施例のワーク取り出し装置１００において、ロボット制御装置３は、ロボット制御部３０、保持位置姿勢算出部３１および積載状態改善動作生成部３２を備える。保持位置姿勢算出部３１は、センサ２の出力(計測データ)２ａに基づいて、ロボット１の内径チャック１０によりワーク４(４ａ〜４ｄ)を保持する位置および姿勢の保持位置姿勢データ３１ａを算出する。積載状態改善動作生成部３２は、センサ２の出力(計測データ)２ａに基づいて、ロボット１の内径チャック１０によりワーク４の積載状態を改善する動作の積載状態改善動作データ３２ａを生成する。なお、ロボット制御部３０は、保持位置姿勢算出部３１および積載状態改善動作生成部３２の出力２ａに基づいてロボット１および内径チャック１０を制御する。
すなわち、保持位置姿勢算出部３１は、ロボット１(ロボット１の内径チャック１０)により保持することが可能なワーク４が存在するとき、例えば、図１に示す４つのワーク４ａ〜４ｄにおけるワーク４ｃが存在するとき、センサ２の出力２ａに基づいて、ワーク４ｃを保持するための保持位置姿勢データ３１ａを算出してロボット制御部３０に出力し、ロボット１の内径チャック１０(ロボット１)を制御してワーク４ｃの取り出し処理を行う。なお、このワーク４ｃの取り出し処理は、図２(a)および図２(b)を参照して説明したのと同様のものである。
これに対して、ロボット１の内径チャック１０により保持することが可能なワーク４が存在しないとき、例えば、図２(c)に示されるように、残存する２つのワーク４ａまたは４ｂを保持するための保持位置姿勢データの算出に失敗する場合、積載状態改善動作生成部３２は、センサ２の出力２ａおよび保持位置姿勢算出部３１の出力に基づいて、ワーク４(４ａおよび４ｂ)の積載状態を改善するための積載状態改善動作データ３２ａを生成してロボット制御部３０に出力し、ロボット１の内径チャック１０(ロボット１)を制御してワーク４ａおよび４ｂの積載状態の改善を行う。
ここで、積載状態改善動作生成部３２が生成する積載状態改善動作データ３２ａとしては、例えば、図４(a)に示すロボット１(ロボット１の内径チャック１０)がワーク４ａに接近するアプローチ位置、図４(b)に示すロボット１がワーク４ａおよび４ｂの積載状態を改善する動作を開始する積載状態改善動作開始位置、並びに、図４(c)に示すロボット１がワーク４ａおよび４ｂの積載状態を改善する動作を終了する積載状態改善動作終了位置、のデータを含む。
さらに、積載状態改善動作データ３２ａとしては、例えば、ロボット１(ロボット１の内径チャック１０)がアプローチ位置から積載状態改善動作開始位置まで移動する速度のデータ(第１速度データ)、および、ロボット１が積載状態改善動作開始位置から積載状態改善動作終了位置まで移動する速度のデータ(第２速度データ)を含んでもよい。なお、これらのデータは、単なる例であり、積載状態改善動作データ３２ａは、さらに他のデータを含んでもよいのはもちろんである。
このように、ロボット１の内径チャック１０を、図４(b)に示す積載状態改善動作開始位置から図４(c)に示す積載状態改善動作終了位置まで移動させることにより、例えば、コンテナ４０の壁面に鋭い角度で寄り掛かっているワーク４ａは、下方向に押されて倒れる。その結果、例えば、保持位置姿勢算出部３１は、積載状態改善動作が行われた後の(倒れた)ワーク４ａに対する保持位置姿勢データ３１ａを算出して、ワーク４ａの中央部(穴の位置)にロボット１の内径チャック１０を移動して挿入することができ、ワーク４ａを取り出すことが可能になる。
ここで、積載状態を改善する動作として、ワーク４を移動したり倒したりするために、ハンド(内径チャック)１０によりバラ積みされたワーク４に外力を加える動作を示しているが、積載状態改善動作としては、例えば、ハンド１０が吸引ハンドやマグネットハンドの場合には、任意のワーク４を仮保持してから落とす(開放する)といった動作を始めとして、様々な動作が可能なのはいうまでもない。また、例えば、積載状態改善動作を行っているとき、ロボットおよびハンドの少なくとも一方に掛かる負荷を計測し、積載状態改善動作中に、ロボット１およびハンド１０の少なくとも一方に所定以上の負荷が掛かったら積載状態改善動作を停止(中断)して、ロボット１を退避させることでより安定的にシステムを稼働することが可能になる。さらに、積載状態改善動作にインピーダンス制御を適用することで、ワークに適切な外力を加えながら積載状態改善動作を行うことも可能になる。
なお、積載状態改善動作を行った後、例えば、ワーク４ａではなくてワーク４ｂに対する保持位置姿勢データ３１ａの算出が可能な場合には、ワーク４ｂの取り出しを行うことができる。また、積載状態改善動作を行ったが、依然として、残存するワーク４ａおよび４ｂのいずれに対しても保持位置姿勢データ３１ａの算出に失敗する場合には、再度、積載状態改善動作生成部３２が生成する、さらなる積載状態改善動作データ３２ａに基づいて積載状態改善動作を行うことができるのはいうまでもない。このように、第１実施例のワーク取り出し装置１００によれば、取り出すことが困難なワークの数を低減することができ、生産性の向上を図ることが可能になる。
すなわち、第１実施例のワーク取り出し装置によれば、例えば、コンテナ内にワークが残っているにも関わらずワークを取り出すことが難しいといった状態を打開して、取り出すことができるワークの数を向上することが可能になり、例えば、最後の１つのワークまで取り出すことができる。また、第１実施例のワーク取り出し装置によれば、例えば、コンテナを揺らすといった専用の装置を設けることなく、ロボットがハンドを用いて積載状態を改善し、ワークの取り出し動作を続けることが可能になる。なお、このような積載状態改善動作を、従来のティーチングプレイバックの枠組みで実現しようとすると、臨機応変な動作を予め全てプログラミングする必要があり、ユーザの高度な熟練と多大な作業時間を要するが、本実施例のワーク取り出し装置によれば、システム稼働中にロボット自身が積載状態改善動作を行うため、ユーザが簡単に安定的なシステムを立ちあげることが可能になる。これらの効果は、第１実施例のワーク取り出し装置に限定されるものではなく、後述する機械学習を適用した第２および第３実施例により、より一層大きなものとして得られることになる。
図５は、第１実施例に係るワーク取り出し装置によるワーク取り出し処理の一例を説明するためのフローチャートである。図５に示されるように、第１実施例のワーク取り出し装置１００によるワーク取り出し処理の一例が開始すると、ステップＳＴ１１において、センサ２の出力に基づく計測データ２ａを取得し、ステップＳＴ１２に進んで、保持位置姿勢算出部３１により保持位置姿勢(保持位置姿勢データ３１ａ)を算出してステップＳＴ１３に進む。
ステップＳＴ１３では、保持位置姿勢算出部３１による保持位置姿勢算出が成功したかどうかを判定し、保持位置姿勢データ３１ａの算出に成功したと判定する(ＳＴ１３：Ｙｅｓ)と、ステップＳＴ１４に進んで、算出された保持位置姿勢データ３１ａに基づいてハンドリング動作(ロボット１の内径チャック１０によるワーク４の保持および取り出し動作)を行い、ステップＳＴ１５に進む。
ステップＳＴ１５では、例えば、コンテナ４０内に収納された複数のワーク４ａ〜４ｄの取り出しが全て終了したかどうかを判定し、全て終了したと判定する(ＳＴ１５：Ｙｅｓ)と、ワーク取り出し処理を終了し、全て終了してはいないと判定する(ＳＴ１５：Ｎｏ)と、ステップＳＴ１１に戻って、同様の処理を繰り返す。
また、ステップＳＴ１３において、保持位置姿勢の算出に失敗したと判定する(ＳＴ１３：Ｎｏ)と、ステップＳＴ１６に進んで、積載状態改善動作生成部３２により積載状態改善動作(積載状態改善動作データ３２ａ)を生成してステップＳＴ１７に進む。ステップＳＴ１７では、積載状態改善動作の価値関数を更新して、ステップＳＴ１１に戻り、前述したのと同様の処理を繰り返す。ここで、ステップＳＴ１６における積載状態改善動作データ３２ａの生成処理、および、ステップＳＴ１７における価値関数の更処理新は、例えば、機械学習(深層学習，強化学習)を適用して行うことができる。
或いは、ステップＳＴ１６における積載状態改善動作データ３２ａの生成処理、および、ステップＳＴ１７における価値関数の更処理新としては、機械学習を適用せずに、例えば、予め設定された積載状態改善動作に基づいて、ロボット１およびハンド(内径チャック)１０を制御することでワーク４の積載状態改善動作を行うこともできる。このとき、例えば、積載状態改善動作として、複数の積載状態改善動作データ３２ａを予め設定しておき、ステップＳＴ１２で算出された保持位置姿勢データ３１ａにより最適な積載状態改善動作データを選択し、その選択された積載状態改善動作データに基づいて、積載状態改善動作を行うことができるのは、いうまでもない。
図６は、第２実施例に係るワーク取り出し装置２００を示すブロック図であり、積載状態改善動作生成部３２として機械学習装置(第２機械学習装置)５を適用したものに相当する。なお、図６では、図示されていないが、保持位置姿勢算出部３１は、例えば、ロボット１およびセンサ２等が含まれる環境に設けられ、保持位置姿勢算出部３１からの保持位置姿勢データ３１ａは、状態データ(状態変数，状態量)として機械学習装置５に入力される。また、機械学習装置５は、例えば、ロボット制御部３０および保持位置姿勢算出部３１を含むロボット制御装置３(図示しない)に内蔵することもできるが、ロボット制御装置３とは別に専用の装置として設けることもできる。なお、図６では、ワーク４として円柱形状のものを示し、ハンド１０として２本の爪部を開閉することによってワーク４を把持するものを示すが、これらは様々なものであってもよいのは前述した通りである。
図６に示されるように、第２実施例のワーク取り出し装置２００において、機械学習装置５は、例えば、図３に示す第１実施例のワーク取り出し装置１００における積載状態改善動作生成部３２の機能を実現するものであり、状態観測部(第２状態観測部)５１、判定データ取得部(第２判定データ取得部)５２、学習部(第２学習部)５３、および、意思決定部５４を備える。状態観測部５１は、センサ２の出力である計測データ２ａ、および、保持位置姿勢算出部(３１)の出力に基づくワーク４それぞれの保持位置姿勢データ３１ａを、状態データとして観測する。
判定データ取得部５２は、計測データ２ａに基づくワーク４の積載状態を改善する動作の前後における積載状態の変化の有無、並びに、ワーク４の積載状態を改善する動作を行った後におけるワーク４それぞれの保持位置姿勢データ３１ａを、判定データとして取得する。意思決定部５４は、学習部５３からの出力を参照し、ロボット１(ハンド１０)に対してワーク４の積載状態を改善する動作を決定する。
学習部５３は、報酬計算部(第２報酬計算部)５３１および価値関数更新部(第２価値関数更新部)５３２を備え、状態観測部５１からの出力および判定データ取得部５２からの出力を受け取って、ワーク４の積載状態を改善する動作を学習する。ここで、報酬計算部５３１は、判定データ取得部５２の出力であるワーク４の積載状態を改善する動作の前後における積載状態の変化の有無、並びに、ワーク４の積載状態を改善する動作を行った後におけるワーク４それぞれの保持位置姿勢データ３１ａに基づいて報酬を計算する。また、価値関数更新部５３２は、ワーク４の積載状態を改善する動作の価値を定める価値関数を有し、報酬に応じて価値関数を更新する。
すなわち、報酬計算部５３１は、例えば、ワーク４の積載状態を改善する動作の前後における積載状態の変化が有ればプラスの報酬を設定し、積載状態の変化が無ければマイナスの報酬を設定(第３報酬設定)する。また、報酬計算部５３１は、例えば、ワーク４の積載状態を改善する動作を行った後におけるワーク４それぞれの保持位置姿勢データ３１ａの算出に成功すればプラスの報酬を設定し、保持位置姿勢データ３１ａの算出に失敗すればマイナスの報酬を設定(第４報酬設定)する。なお、報酬計算部５３１は、第３報酬設定および第４報酬設定の両方を行ってもよいが、どちらか一方を行ってもよい。
このように、第２実施例のワーク取り出し装置２００によれば、ロボット１のハンド１０による保持および取り出し(ハンドリング)が困難なワーク４が残存している場合でも、機械学習装置５を適用することでワーク４の積載状態を改善する動作を更新し、ハンドリングが可能な状態にすることができる。これにより、取り出すことが困難なワークの数を低減して生産性の向上を図ることが可能になる。
ここで、機械学習装置５は、それぞれのロボット１を制御するロボット制御装置３(エッジ)に対して設けてもよいが、例えば、複数のロボット１(ロボットシステム)を有する工場ごと(例えば、フォグサーバ)、或いは、複数の工場とインターネット等の通信回線を介して接続されたクラウドサーバに設けることもできる。なお、それぞれのロボットに対して設けられた機械学習装置５は、例えば、少なくとも１つの他の機械学習装置(５)と接続可能とされ、その少なくとも１つの他の機械学習装置(５)との間で機械学習の結果を相互に交換または共有することも可能である。
ところで、機械学習装置５は、装置に入力されるデータの集合から、その中にある有用な規則や知識表現、判断基準等を解析により抽出し、その判断結果を出力するとともに、知識の学習(機械学習)を行う機能を有する。機械学習の手法は様々であるが、大別すれば、例えば、「教師あり学習」、「教師なし学習」および「強化学習」に分けられる。さらに、これらの手法を実現するうえで、特徴量そのものの抽出を学習する、「深層学習(ディープラーニング：Deep Learning)」と呼ばれる手法がある。
なお、図６に示す機械学習装置５は、「強化学習(Ｑ学習)」を適用したものである。この機械学習装置５は、汎用の計算機若しくはプロセッサを用いることもできるが、例えば、ＧＰＧＰＵ(General-Purpose computing on Graphics Processing Units)や大規模ＰＣクラスター等を適用すると、より高速に処理することが可能になる。ここで、機械学習の全般に関して、概略を説明する。
まず、教師あり学習とは、教師データ、すなわち、ある入力と結果(ラベル)のデータの組を大量に機械学習装置に与えることで、それらのデータセットにある特徴を学習し、入力から結果を推定するモデル(誤差モデル)、すなわち、その関係性を帰納的に獲得するものである。例えば、後述のニューラルネットワーク等のアルゴリズムを用いて実現することが可能である。
また、教師なし学習とは、入力データのみを大量に機械学習装置に与えることで、入力データがどのような分布をしているか学習し、対応する教師出力データを与えなくても、入力データに対して圧縮・分類・整形等を行う装置で学習する手法である。例えば、それらのデータセットにある特徴を、似た者どうしにクラスタリングすること等ができる。この結果を使って、何らかの基準を設けてそれを最適化するような出力の割り当てを行うことにより、出力の予測を実現することができる。
なお、教師なし学習と教師あり学習との中間的な問題設定として、半教師あり学習と呼ばれるものもあり、これは、例えば、一部のみ入力と出力のデータの組が存在し、それ以外は入力のみのデータである場合が対応する。
次に、強化学習について、説明する。まず、強化学習の問題設定として、次のように考える。
・ワーク取り出し装置(すなわち、ロボット１およびロボット制御装置(ロボット制御部３０および機械学習装置５を含む)３)２００は、環境の状態を観測し、行動を決定する。
・環境は、何らかの規則に従って変化し、さらに、自分の行動が、環境に変化を与えることもある。
・行動するたびに、報酬信号が帰ってくる。
・最大化したいのは、将来にわたっての(割引)報酬の合計である。
・行動が引き起こす結果を全く知らない、または、不完全にしか知らない状態から学習はスタートする。すなわち、ロボット制御部は、実際に行動して初めて、その結果をデータとして得ることができる。つまり、試行錯誤しながら最適な行動を探索する必要がある。
・人間の動作を真似るように、事前学習(前述の教師あり学習や、逆強化学習といった手法)した状態を初期状態として、良いスタート地点から学習をスタートさせることもできる。
ここで、強化学習とは、判定や分類だけではなく、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、すなわち、将来的に得られる報酬を最大にするための学習する方法を学ぶものである。以下に、例として、Ｑ学習の場合で説明を続けるが、Ｑ学習に限定されるものではない。
Ｑ学習は、或る環境状態ｓの下で、行動ａを選択する価値Ｑ(ｓ，ａ)を学習する方法である。つまり、或る状態ｓのとき、価値Ｑ(ｓ，ａ)の最も高い行動ａを最適な行動として選択すればよい。しかし、最初は、状態ｓと行動ａとの組合せについて、価値Ｑ(ｓ，ａ)の正しい値は全く分かっていない。そこで、エージェント(行動主体)は、或る状態ｓの下で様々な行動ａを選択し、その時の行動ａに対して、報酬が与えられる。それにより、エージェントは、より良い行動の選択、すなわち、正しい価値Ｑ(ｓ，ａ)を学習していく。
さらに、行動の結果、将来にわたって得られる報酬の合計を最大化したいので、最終的にＱ(ｓ，ａ)＝Ｅ［Σ(γt)ｒt］となるようにすることを目指す。ここで、期待値は、最適な行動に従って状態変化したときについてとるものとし、それは、分かっていないので、探索しながら学習することになる。このような価値Ｑ(ｓ，ａ)の更新式は、例えば、次の式(１)により表すことができる。
Figure 0006453922
 上記の式(１)において、ｓtは、時刻ｔにおける環境の状態を表し、ａtは、時刻ｔにおける行動を表す。行動ａtにより、状態はｓt+1に変化する。rt+1は、その状態の変化により得られる報酬を表している。また、ｍａｘの付いた項は、状態ｓt+1の下で、その時に分かっている最もＱ値の高い行動ａを選択した場合のＱ値にγを乗じたものになる。ここで、γは、０＜γ≦１のパラメータで、割引率と呼ばれる。また、αは、学習係数で、０＜α≦１の範囲とする。
上述した式(１)は、試行ａtの結果、帰ってきた報酬ｒt+1を元に、状態ｓtにおける行動ａtの評価値Ｑ(ｓt，ａt)を更新する方法を表している。すなわち、状態ｓにおける行動ａの評価値Ｑ(ｓt，ａt)よりも、報酬ｒt+1 ＋ 行動ａによる次の状態における最良の行動ｍａｘ ａの評価値Ｑ(ｓt+1，ｍａｘ ａt+1)の方が大きければ、Ｑ(ｓt，ａt)を大きくし、反対に小さければ、Ｑ(ｓt，ａt)を小さくすることを示している。つまり、或る状態における或る行動の価値を、結果として即時帰ってくる報酬と、その行動による次の状態における最良の行動の価値に近付けるようにしている。
ここで、Ｑ(ｓ，ａ)の計算機上での表現方法は、すべての状態行動ペア(ｓ，ａ)に対して、その値をテーブルとして保持しておく方法と、Ｑ(ｓ，ａ)を近似するような関数を用意する方法がある。後者の方法では、前述の式(１)は、確率勾配降下法等の手法で近似関数のパラメータを調整していくことにより、実現することができる。なお、近似関数としては、後述のニューラルネットワークを用いることができる。
また、強化学習での価値関数の近似アルゴリズムとして、ニューラルネットワークを用いることができる。図７は、ニューロンのモデルを模式的に示す図であり、図８は、図７に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。すなわち、ニューラルネットワークは、例えば、図７に示すようなニューロンのモデルを模した演算装置およびメモリ等で構成される。
図７に示されるように、ニューロンは、複数の入力ｘ(図７では、一例として入力ｘ1〜ｘ3)に対する出力(結果)ｙを出力するものである。各入力ｘ(ｘ1，ｘ2，ｘ3)には、この入力ｘに対応する重みｗ(ｗ1，ｗ2，ｗ3)が乗算される。これにより、ニューロンは、次の式(２)により表現される結果ｙを出力する。なお、入力ｘ、結果ｙおよび重みｗは、すべてベクトルである。また、下記の式(２)において、θは、バイアスであり、ｆkは、活性化関数である。
Figure 0006453922
図８を参照して、図７に示すニューロンを組み合わせて構成した三層のニューラルネットワークを説明する。図８に示されるように、ニューラルネットワークの左側から複数の入力ｘ(ここでは、一例として、入力ｘ1〜入力ｘ3)が入力され、右側から結果ｙ(ここでは、一例として、結果ｙ1〜入力ｙ3)が出力される。具体的に、入力ｘ1，ｘ2， ｘ3は、３つのニューロンＮ11〜Ｎ13の各々に対して、対応する重みが掛けられて入力される。これらの入力に掛けられる重みは、まとめてＷ１と標記されている。
ニューロンＮ11〜Ｎ13は、それぞれ、ｚ11〜ｚ13を出力する。図８において、これらｚ11〜ｚ13は、まとめて特徴ベクトルＺ１と標記され、入力ベクトルの特徴量を抽出したベクトルとみなすことができる。この特徴ベクトルＺ１は、重みＷ１と重みＷ２との間の特徴ベクトルである。ｚ11〜ｚ13は、２つのニューロンＮ21およびＮ22の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてＷ２と標記されている。
ニューロンＮ21，Ｎ22は、それぞれｚ21，ｚ22を出力する。図８において、これらｚ21，ｚ22は、まとめて特徴ベクトルＺ２と標記されている。この特徴ベクトルＺ２は、重みＷ２と重みＷ３との間の特徴ベクトルである。ｚ21，ｚ22は、３つのニューロンＮ31〜Ｎ33の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてＷ３と標記されている。
最後に、ニューロンＮ31〜Ｎ33は、それぞれ、結果ｙ１〜結果ｙ３を出力する。ニューラルネットワークの動作には、学習モードと価値予測モードとがある。例えば、学習モードにおいて、学習データセットを用いて重みＷを学習し、そのパラメータを用いて予測モードにおいて、ロボット制御部の行動判断を行う。なお、便宜上、予測と書いたが、検出・分類・推論等多様なタスクが可能なのはいうまでもない。
ここで、予測モードで実際にロボット制御部を動かして得られたデータを即時学習し、次の行動に反映させる(オンライン学習)ことも、予め収集しておいたデータ群を用いてまとめた学習を行い、以降はずっとそのパラメータで検知モードを行う(バッチ学習)こともできる。或いは、その中間的な、ある程度データが溜まるたびに学習モードを挟むということも可能である。
また、重みＷ１〜Ｗ３は、誤差逆伝搬法(誤差逆転伝播法：バックプロパゲーション：Backpropagation)により学習可能なものである。なお、誤差の情報は、右側から入り左側に流れる。誤差逆伝搬法は、各ニューロンについて、入力ｘが入力されたときの出力ｙと真の出力ｙ(教師)との差分を小さくするように、それぞれの重みを調整(学習)する手法である。このようなニューラルネットワークは、三層以上に、さらに層を増やすことも可能である(深層学習と称される)。また、入力の特徴抽出を段階的に行い、結果を回帰する演算装置を、教師データのみから自動的に獲得することも可能である。
ここで、図６を参照して説明したように、本実施例の機械学習装置５は、例えば、Ｑ学習を実施すべく、状態観測部５１、判定データ取得部５２，学習部５３、および、意思決定部５４を備えている。ただし、本発明に適用される機械学習方法は、Ｑ学習に限定されるものではなく、また、機械学習装置５は、例えば、ＧＰＧＰＵや大規模ＰＣクラスター等を適用することで実現可能なのは、前述した通りである。
図９は、第２実施例に係るワーク取り出し装置によるワーク取り出し処理の一例を説明するためのフローチャートであり、積載状態改善動作(積載状態改善処理)の一例を説明するためのものである。図９に示されるように、第２実施例のワーク取り出し装置２００によるワーク取り出し処理(積載状態改善処理)の一例が開始すると、ステップＳＴ２１において、状態データ(センサ２の出力に基づく計測データ２ａ)を取得し、ステップＳＴ２２に進んで、行動出力を行い、さらに、ステップＳＴ２３に進む。
ここで、ステップＳＴ２２における行動出力は、前述した図３における積載状態改善動作生成部３２が生成する積載状態改善動作データ３２ａに相当するもので、例えば、前述した図４(a)に示すロボット１がワーク４に接近するアプローチ位置、図４(b)に示すロボット１がワーク４の積載状態を改善する動作を開始する積載状態改善動作開始位置、および、図４(c)に示すロボット１がワーク４の積載状態を改善する動作を終了する積載状態改善動作終了位置、のデータに基づく行動を行うことに対応する。さらに、ステップＳＴ２２における行動出力は、さらに、例えば、前述したロボット１がアプローチ位置から積載状態改善動作開始位置まで移動する速度のデータ(第１速度データ)、および、ロボット１が積載状態改善動作開始位置から積載状態改善動作終了位置まで移動する速度のデータ(第２速度データ)に基づく行動を含んでもよい。
ステップＳＴ２３では、ステップＳＴ２２の行動出力に基づく判定データを取得し、ステップＳＴ２４の判定条件１による判定、並びに、ステップＳＴ２７の判定条件２による判定を行う。すなわち、ステップＳＴ２３における判定データの取得は、例えば、積載状態改善動作を行う前の計測データと積載状態改善動作を行った後の計測データを比較して得られる積載状態の変化の有無(判定条件１)、並びに、積載状態改善動作を行った後の計測データを用いて保持位置姿勢の算出を行ったときの成否(判定条件２)を取得する。
まず、ステップＳＴ２４では、ステップＳＴ２３で取得したワーク４の積載状態を改善する動作の前後における積載状態の変化の有無のデータに基づいて、例えば、ワーク４の積載状態を改善する動作の前後における積載状態の変化が有ると判定すると、ステップＳＴ２５に進んで、プラスの報酬を設定し、積載状態の変化が無いと判定すると、ステップＳＴ２６に進んで、マイナスの報酬を設定する。
また、ステップＳＴ２７では、ステップＳＴ２３で取得したワーク４の積載状態を改善する動作を行った後におけるワーク４それぞれの保持位置姿勢(保持位置姿勢データ３１ａ)に基づいて、例えば、ワーク４の積載状態を改善する動作を行った後におけるワーク４それぞれの保持位置姿勢データ３１ａの算出に成功したと判定すると、ステップＳＴ２８に進んで、プラスの報酬を設定し、保持位置姿勢データ３１ａの算出に失敗したと判定すると、ステップＳＴ２９に進んで、マイナスの報酬を設定する。
なお、ステップＳＴ２４における判定は、ワーク４の積載状態を改善する動作の前後における積載状態の変化の有無ではなく、積載状態の変化の程度により報酬を決めてもよい。具体的に、例えば、積載状態の変化の程度ＬＶを、２つの閾値ＴＨ１，ＴＨ２(ただし、ＴＨ１＞ＴＨ２)で分割し、積載状態の変化ＬＶが閾値ＴＨ１よりも大きければプラスの報酬(ＬＶ＞ＴＨ１：報酬＋５)を設定し、積載状態の変化ＬＶが閾値ＴＨ１とＴＨ２の間であれば零の報酬(ＴＨ１≧ＬＶ≧ＴＨ２：報酬０)を設定し、積載状態の変化ＬＶが閾値ＴＨ２よりも小さければマイナスの報酬(ＴＨ２＞ＬＶ：報酬−５)を設定することもできる。また、積載状態の変化の程度ＬＶは、例えば、計測データが距離画像であった場合、距離画像上で変化のあった画素数をカウントしても良いし、画素の変化量を畳み込んでも良く、その手法は問わない。
さらに、ステップＳＴ２４の判定条件１による判定と、ステップＳＴ２７の判定条件２による判定で重みを異ならせることも可能である。具体的に、例えば、判定条件２による保持位置姿勢データ３１ａの算出に成功した場合のステップＳＴ２８におけるプラスの報酬(例えば、＋１０)を、判定条件１による積載状態の変化が有った場合のステップＳＴ２５におけるプラスの報酬(例えば、＋５)よりも大きく設定することができる。これは、判定条件１による積載状態の変化が有った場合でも、判定条件２による保持位置姿勢データ３１ａの算出に成功しないと、ワーク４を保持して取り出すことが困難なため、判定条件２による判定結果(報酬)の重みを大きくするのが好ましいからである。なお、判定条件としては、ステップＳＴ２４の判定条件１およびステップＳＴ２７の判定条件２に限定されず、他の条件を追加してもよく、或いは、判定条件１または判定条件２のいずれかであってもよいのはもちろんである。
次に、ステップＳＴ３０に進んで、ステップＳＴ２４の判定条件１による判定およびステップＳＴ２７の判定条件２による判定に基づいて、すなわち、ステップＳＴ２５，ＳＴ２６，ＳＴ２８およびＳＴ２９による報酬の合計に基づいて、ワーク４の積載状態を改善する動作の価値を定める価値関数を更新し、ステップＳＴ３１に進む。ステップＳＴ３１では、積載状態改善処理を継続するかどうかを判定し、さらに継続すると判定する(ＳＴ３１：Ｙｅｓ)と、ステップＳＴ２１に戻って、上述した処理を繰り返し、継続しないと判定する(ＳＴ３１：Ｎｏ)と、積載状態改善処理を終了する。このように、機械学習(強化学習)を適用して積載状態改善処理を行うことにより、取り出すことが困難なワークの数を、より一層低減することが可能になる。
図１０は、第３実施例に係るワーク取り出し装置３００を示すブロック図であり、ロボット制御装置３の構成を概略的に示すものである。図１０と、前述した図３の比較から明らかなように、第３実施例のワーク取り出し装置３００において、ロボット制御装置３は、ロボット制御部３０、少なくとも１つの保持位置姿勢算出部３１-1〜３１-nおよび少なくとも１つ積載状態改善動作生成部３２-1〜３２-mを含む動作候補出力部３３、および、動作決定部３４を備える。
動作決定部３４は、動作候補出力部３３の出力に基づいて、ロボット制御部３０を介してロボット１を制御する。ここで、動作決定部３４は、機械学習(強化学習)を行ってロボット１によりワーク(４)の積載状態を改善する動作を学習する機械学習装置６を備える。
図１１は、第３実施例に係るワーク取り出し装置３００を示すブロック図であり、動作決定部３４として機械学習装置６を適用したものに相当する。なお、第３実施例に係るワーク取り出し装置３００における機械学習装置(第１機械学習装置)６は、図６を参照して説明した第２実施例に係るワーク取り出し装置２００における機械学習装置(第２機械学習装置)５に対応するものであり、例えば、図７および図８等を参照して説明したのと同様に、例えば、ニューラルネットワークにより構成することができ、また，ＧＰＧＰＵや大規模ＰＣクラスター等を適用することで実現可能である。さらに、機械学習装置６により学習された少なくとも１つ以上の動作候補から１つの動作を決定する動作決定は、通信媒体を介して複数の対応する機械学習装置(６)で相互にデータを共有または交換することができるのも、第２実施例と同様である。また、機械学習装置６は、例えば、ロボット制御部３０および保持位置姿勢算出部３１-1〜３１-n等を含むロボット制御装置３(図示しない)に内蔵することもできるが、ロボット制御装置３とは別に専用の装置として設けることもできる。
図１１に示されるように、機械学習装置６は、状態観測部(第１状態観測部)６１、判定データ取得部(第１判定データ取得部)６２、学習部(第１学習部)６３、および、意思決定部５４を備える。ここで、状態観測部６１は、例えば、センサ２の出力に基づくワーク４それぞれの計測データ２ａ、少なくとも１つの保持位置姿勢算出部３１-1〜３１-nの出力に基づく保持位置姿勢データ３１ａ-1〜３１ａ-n、および、少なくとも１つの積載状態改善動作生成部３２-1〜３２-mの出力に基づく積載状態改善動作データ３２ａ-1〜３２ａ-mを、状態データとして観測する。また、判定データ取得部６２は、例えば、ロボット１によるワーク４のハンドリング(ハンドリング動作)に関連する時間データを、判定データとして取得する。そして、学習部６３は、例えば、状態観測部６１からの出力および判定データ取得部６２からの出力を受け取ってワーク４の積載状態を改善する動作を学習する。
第１学習部６３は、判定データ取得部６２の出力であるワーク４のハンドリングに関連する時間データに基づいて報酬を計算する報酬計算部(第１報酬計算部)６３１）、並びに、少なくとも１つの動作候補から１つの動作を決定する動作決定の価値を定める価値関数を有し、報酬に応じて価値関数を更新する価値関数更新部(第１価値関数更新部)６３２を備える。ここで、報酬計算部６３１は、例えば、１つのワーク４のハンドリングに要した時間を平均した平均サイクルタイムが短くなればプラスの報酬を設定し、平均サイクルタイムが長くなればマイナスの報酬を設定(第１報酬設定)する。また、報酬計算部６３１は、例えば、１つのワーク４のハンドリングに要した時間の分散を示す分散サイクルタイムが小さくなればプラスの報酬を設定し、分散サイクルタイムが大きくなればマイナスの報酬を設定(第２報酬設定)する。なお、報酬計算部６３１は、第１報酬設定および第２報酬設定の両方を行ってもよいが、どちらか一方を行ってもよい。なお、第３実施例のワーク取り出し装置３００において、積載状態改善動作生成部３２-1〜３２-mは、例えば、前述した第２実施例のように機械学習装置５を適用して積載状態改善動作データ３２ａ-1〜３２ａ-mを生成するように構成してもよい。
図１２および図１３は、第３実施例に係るワーク取り出し装置によるワーク取り出し処理の一例を説明するためのフローチャートであり、図１２は、全体的な処理の流れを説明するものであり、図１３は、機械学習(強化学習)による動作決定処理を説明するためのものである。
まず、図１２に示されるように、第３実施例のワーク取り出し装置３００によるワーク取り出しの全体的な処理の一例が開始すると、ステップＳＴ４１において、センサ２の出力に基づく計測データ２ａを取得し、ステップＳＴ４２に進んで、１以上(少なくとも１つ)の保持位置姿勢の候補および１以上の積載状態改善動作の候補(動作候補群)を出力し、ステップＳＴ４３に進む。ステップＳＴ４３では、例えば、複数の保持位置姿勢および積載状態改善動作から、どの動作を行うかを決定し、ステップＳＴ４４に進む。
ステップＳＴ４４では、ハンドリング動作(例えば、ロボット１および内径チャック(ハンド)１０でワーク４を取り出す一連の動作)を行うかどうかを判定し、ハンドリング動作を行うと判定する(ＳＴ４４：Ｙｅｓ)と、ステップＳＴ４５に進んで、ハンドリング動作を行って、ステップＳＴ４７に進む。また、ステップＳＴ４４において、ハンドリング動作を行わないと判定する(ＳＴ４４：Ｎｏ)と、ステップＳＴ４６に進んで、積載状態改善動作を行って、ステップＳＴ４７に進む。
ここで、機械学習(強化学習)を行う場合、取り出し動作(ハンドリング動作)であれば、例えば、取り出し成功の有無を機械学習装置６に入力し、また、積載状態改善動作であれば、例えば、積載状態変更の有無を機械学習装置６に入力する。なお、ハンドリング動作および積載状態改善動作のどちらであっても、例えば、システム開始(処理を開始)してからの累計経過時間、システム開始してからの累計取出し成功数、および、計測データ２ａ等を機械学習装置６に入力する。
ステップＳＴ４７では、少なくとも１つの動作候補から１つの動作を決定する動作決定の価値関数を更新して、ステップＳＴ４８に進み、例えば、全てのワークの取り出しが終了したかどうかを判定し、全てのワークの取り出しが終了したと判定する(ＳＴ４８：Ｙｅｓ)と、処理を終了し、全てのワークの取り出しが終了していないと判定する(ＳＴ４８：Ｎｏ)と、ステップＳＴ４１に戻り、前述したのと同様の処理を繰り返す。ここで、計測データ２ａは、例えば、機械学習装置６による学習で用いたものを流用してもよい。
次に、図１３に示されるように、第３実施例のワーク取り出し装置３００(機械学習装置６)による動作決定処理の一例が開始すると、ステップＳＴ５１において、状態データを取得し、ステップＳＴ５２に進んで、行動出力を行い、さらに、ステップＳＴ５３に進む。ここで、ステップＳＴ５１で取得する状態データは、例えば、センサ２の出力に基づく計測データ２ａ，少なくとも１つの保持位置姿勢算出部３１-1〜３１-nの出力に基づく少なくとも１つの保持位置姿勢データ３１ａ-1〜３１ａ-n、および、少なくとも１つの積載状態改善動作生成部３２-1〜３２-mの出力に基づく少なくとも１つの積載状態改善動作データ３２ａ-1〜３２ａ-m等である。
また、ステップＳＴ５２における行動出力は、動作候補部が出力した少なくとも１つの動作候補から１つの動作を決定することに対応する。さらに、ステップＳＴ５２における行動出力は、例えば、ロボット１が動作決定に基づいて、取り出し動作または積載状態改善動作を行うことを含む。
ステップＳＴ５３では、ステップＳＴ５２の行動出力に基づく判定データを取得し、ステップＳＴ５４の判定条件Ａによる判定、並びに、ステップＳＴ５７の判定条件Ｂによる判定を行う。すなわち、ステップＳＴ５３における判定データの取得は、例えば、１つのワーク４のハンドリングに要した時間を平均した平均サイクルタイム(判定条件Ａ)、並びに、１つのワーク４のハンドリングに要した時間の分散を示す分散サイクルタイム(判定条件Ｂ)を取得する。
まず、ステップＳＴ５４では、ステップＳＴ５３で取得した１つのワーク４のハンドリングに要した時間を平均した平均サイクルタイムに基づいて、例えば、平均サイクルタイムが短くなったと判定すると、ステップＳＴ５５に進んで、プラスの報酬を設定し、平均サイクルタイムが長くなったと判定すると、ステップＳＴ５６に進んで、マイナスの報酬を設定する。すなわち、平均サイクルタイムは、短い方が単位時間当たりに処理できるワークの数が多くなるため、平均サイクルタイムが短くなると、プラスの報酬を設定するようになっている。
また、ステップＳＴ５７では、ステップＳＴ５３で取得した、１つのワーク４のハンドリングに要した時間の分散を示す分散サイクルタイムに基づいて、例えば、分散サイクルタイムが小さくなったと判定すると、ステップＳＴ５８に進んで、プラスの報酬を設定し、分散サイクルタイムが大きくなったと判定すると、ステップＳＴ５９に進んで、マイナスの報酬を設定する。すなわち、分散サイクルタイム(サイクルタイムの分散)は、小さい方が一定の間隔で安定してハンドリングを行うことができるため、分散サイクルタイムが小さくなると、プラスの報酬を設定するようになっている。
さらに、ステップＳＴ６０に進んで、ステップＳＴ５４の判定条件Ａによる判定およびステップＳＴ５７の判定条件Ｂによる判定に基づいて、すなわち、ステップＳＴ５５，ＳＴ５６，ＳＴ５８およびＳＴ５９による報酬の合計に基づいて、動作決定の価値関数を更新し、ステップＳＴ６１に進む。ステップＳＴ６１では、動作決定処理を継続するかどうかを判定し、さらに継続すると判定する(ＳＴ６１：Ｙｅｓ)と、ステップＳＴ５１に戻って、上述した処理を繰り返し、継続しないと判定する(ＳＴ６１：Ｎｏ)と、動作決定処理を終了する。このように、機械学習(強化学習)を適用して動作決定処理を行うことにより、取り出すことが困難なワークの数を、より一層低減することが可能になる。
なお、ステップＳＴ５４の判定条件Ａによる判定と、ステップＳＴ５７の判定条件Ｂによる判定で重みを異ならせることも可能であり、例えば、判定条件Ａによる判定結果(報酬)の重みを大きくすることで、単位時間当たりにワークを取り出すことができる数を重要視して機械学習を行わせることが可能になる。また、判定条件としては、ステップＳＴ５４の判定条件ＡおよびステップＳＴ５７の判定条件Ｂに限定されず、他の条件を追加してもよく、或いは、判定条件Ａまたは判定条件Ｂのいずれかであってもよいのはいうまでもない。
以上、詳述したように、各実施例によれば、取り出すことが困難なワークの数を低減することができ、例えば、最後のワークまで取り出すことが可能になり、その結果、生産性の向上を図ることができる。
以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではない。また、明細書のそのような記載は、発明の利点および欠点を示すものでもない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。
１ ロボット
２ センサ
３ ロボット制御装置
４，４ａ〜４ｄ ワーク
５ 機械学習装置(第２機械学習装置)
６ 機械学習装置(第１機械学習装置)
１０ 内径チャック(ハンド)
３０ ロボット制御部
３１ 保持位置姿勢算出部
３２ 積載状態改善動作生成部
４０ コンテナ
５１ 状態観測部(第２状態観測部)
５２ 判定データ取得部(第２判定データ取得部)
５３ 学習部(第２学習部)
５４，６４ 意思決定部
６１ 状態観測部(第１状態観測部)
６２ 判定データ取得部(第１判定データ取得部)
６３ 学習部(第１学習部)
１００，２０，３００，５００ ワーク取り出し装置
５３１ 報酬計算部(第２報酬計算部)
５３２ 価値関数更新部(第２価値関数更新部)
６３１ 報酬計算部(第１報酬計算部)
６３２ 価値関数更新部(第１価値関数更新部)

Claims (13)

  1. 三次元空間にバラ積みされた複数のワークを計測するセンサと、
    前記ワークを保持するロボットと、
    前記ロボットに取り付けられたワークを保持可能なハンドと、
    前記センサの出力に基づいて、前記ロボットにより前記ワークを保持する位置および姿勢の保持位置姿勢データを算出する保持位置姿勢算出部と、
    前記センサの出力に基づいて、前記ロボットにより前記ワークの積載状態を改善する動作の積載状態改善動作データを生成する積載状態改善動作生成部と、
    前記ロボットおよび前記ハンドを制御するロボット制御部と、
    少なくとも１つの前記保持位置姿勢算出部、および、少なくとも１つの前記積載状態改善動作生成部を含み少なくとも１つの動作候補を出力する動作候補出力部と、
    前記動作候補出力部の出力の少なくとも１つの動作候補から１つの動作を決定し、その決定された動作に基づいて前記ロボット制御部を介して前記ロボットを制御する動作決定部と、を備え、
    前記ロボット制御部は、前記保持位置姿勢算出部および前記積載状態改善動作生成部の出力に基づいて、前記ロボットおよび前記ハンドを制御することで前記ワークの取り出しもしくは積載状態改善動作を行い、
    前記動作決定部は、機械学習を行って前記動作候補出力部が出力する少なくとも１つの動作候補から１つの動作を決定する動作決定を学習する第１機械学習装置を備え、前記第１機械学習装置は、
    前記センサで取得される計測データ、少なくとも１つの前記保持位置姿勢算出部の出力に基づく保持位置姿勢データ、および、少なくとも１つの前記積載状態改善動作生成部の出力に基づく積載状態改善動作データを、状態データとして観測する第１状態観測部と、
    前記センサで計測し、前記ロボットおよび前記ハンドでワークを取り出す一連の動作であるハンドリングに関連する時間データを、判定データとして取得する第１判定データ取得部と、
    前記第１状態観測部が取得する状態データおよび前記第１判定データ取得部が取得する判定データに基づいて、前記動作候補出力部が出力する少なくとも１つの動作候補から１つの動作を決定する動作決定を学習する第１学習部と、を備える、
    ことを特徴とするワーク取り出し装置。
  2. 前記保持位置姿勢算出部は、前記ロボットにより保持することが可能な前記ワークが存在するとき、前記保持位置姿勢データを前記ロボット制御部に出力し、
    前記積載状態改善動作生成部は、前記ロボットにより保持することが可能な前記ワークが存在しないとき、前記ロボット制御部に対して前記積載状態改善動作データを前記ロボット制御部に出力する、
    ことを特徴とする請求項１に記載のワーク取り出し装置。
  3. 前記第１学習部は、
    前記第１判定データ取得部が取得する判定データである時間データに基づいて報酬を計算する第１報酬計算部と、
    前記少なくとも１つの動作候補から動作を決定する動作決定の価値を定める価値関数を有し、前記報酬に応じて前記価値関数を更新する第１価値関数更新部と、を備え、前記動作決定部は前記価値関数に基づいて動作決定を行う、
    ことを特徴とする請求項１または請求項２に記載のワーク取り出し装置。
  4. 前記第１報酬計算部は、
    １つの前記ワークのハンドリングに要した時間を平均した平均サイクルタイムが短くなればプラスの報酬を設定し、前記平均サイクルタイムが長くなればマイナスの報酬を設定する第１報酬設定と、
    １つの前記ワークのハンドリングに要した時間の分散を示す分散サイクルタイムが小さくなればプラスの報酬を設定し、前記分散サイクルタイムが大きくなればマイナスの報酬を設定する第２報酬設定、の少なくとも一方を行う、
    ことを特徴とする請求項３に記載のワーク取り出し装置。
  5. 三次元空間にバラ積みされた複数のワークを計測するセンサと、
    前記ワークを保持するロボットと、
    前記ロボットに取り付けられたワークを保持可能なハンドと、
    前記センサの出力に基づいて、前記ロボットにより前記ワークを保持する位置および姿勢の保持位置姿勢データを算出する保持位置姿勢算出部と、
    前記センサの出力に基づいて、前記ロボットにより前記ワークの積載状態を改善する動作の積載状態改善動作データを生成する積載状態改善動作生成部と、
    前記ロボットおよび前記ハンドを制御するロボット制御部と、を備え、
    前記ロボット制御部は、前記保持位置姿勢算出部および前記積載状態改善動作生成部の出力に基づいて、前記ロボットおよび前記ハンドを制御することで前記ワークの取り出しもしくは積載状態改善動作を行い、
    前記積載状態改善動作生成部は、機械学習を行って前記ロボットにより前記ワークの積載状態を改善する動作を学習する第２機械学習装置を備え、前記第２機械学習装置は、
    前記センサの出力に基づく前記ワークそれぞれの計測データ、および、前記保持位置姿勢算出部の出力に基づく前記ワークそれぞれの前記保持位置姿勢データを、状態データとして観測する第２状態観測部と、
    前記計測データに基づいて、前記ワークの積載状態を改善する動作の前後における前記積載状態の変化の有無、および、前記ワークの積載状態を改善する動作を行った後における前記ワークそれぞれの前記保持位置姿勢データを、判定データとして取得する第２判定データ取得部と、
    前記第２状態観測部からの出力および前記第２判定データ取得部からの出力を受け取って、前記ワークの積載状態を改善する動作を学習する第２学習部と、を備える、
    ことを特徴とするワーク取り出し装置。
  6. 前記第２学習部は、
    前記第２判定データ取得部の出力である前記ワークの積載状態を改善する動作の前後における前記積載状態の変化の有無、および、前記ワークの積載状態を改善する動作を行った後における前記ワークそれぞれの前記保持位置姿勢データに基づいて報酬を計算する第２報酬計算部と、
    前記ワークの積載状態を改善する動作の価値を定める価値関数を有し、前記報酬に応じて前記価値関数を更新する第２価値関数更新部と、を備え、
    前記積載状態改善動作生成部は第２価値関数に基づいて積載状態改善動作データを生成する、
    ことを特徴とする請求項５に記載のワーク取り出し装置。
  7. 前記第２報酬計算部は、
    前記ワークの積載状態を改善する動作の前後における前記積載状態の変化が有ればプラスの報酬を設定し、前記積載状態の変化が無ければマイナスの報酬を設定する第３報酬設定と、
    前記ワークの積載状態を改善する動作を行った後における前記ワークそれぞれの前記保持位置姿勢データの算出に成功すればプラスの報酬を設定し、前記保持位置姿勢データの算出に失敗すればマイナスの報酬を設定する第４報酬設定、の少なくとも一方を行う、
    ことを特徴とする請求項６に記載のワーク取り出し装置。
  8. 前記第１機械学習装置により学習された動作決定、或いは、前記第２機械学習装置により学習された前記ワークの積載状態を改善する動作は、通信媒体を介して複数の対応する第１または第２機械学習装置で相互にデータを共有または交換するようになっている、
    ことを特徴とする請求項１乃至請求項７のいずれか１項に記載のワーク取り出し装置。
  9. 前記積載状態改善動作データは、
    前記ロボットが前記ワークに接近するアプローチ位置、
    前記ロボットが前記ワークの積載状態を改善する動作を開始する積載状態改善動作開始位置、および、
    前記ロボットが前記ワークの積載状態を改善する動作を終了する積載状態改善動作終了位置、のデータを含む、
    ことを特徴とする請求項１乃至請求項８のいずれか１項に記載のワーク取り出し装置。
  10. 前記積載状態改善動作データは、さらに、
    前記ロボットが、前記アプローチ位置から前記積載状態改善動作開始位置まで移動する第１速度データ、および、
    前記ロボットが、前記積載状態改善動作開始位置から前記積載状態改善動作終了位置まで移動する第２速度データ、を含む、
    ことを特徴とする請求項９に記載のワーク取り出し装置。
  11. 前記ハンドは、マグネットハンドまたは吸着ハンドであり、
    前記積載状態改善動作は、前記載状態改善動作開始位置で前記ワークを仮保持し、前記載状態改善動作終了位置で前記ワークを解放する、
    ことを特徴とする請求項９または請求項１０に記載のワーク取り出し装置。
  12. 前記積載状態改善動作を行っているとき、前記ロボットおよび前記ハンドの少なくとも一方に掛かる負荷を計測し、前記積載状態改善動作中に、前記ロボットおよび前記ハンドの少なくとも一方に所定以上の負荷が掛かったら前記積載状態改善動作を中断して前記ロボットを退避させる、
    ことを特徴とする請求項１乃至請求項１１のいずれか１項に記載のワーク取り出し装置。
  13. 前記積載状態改善動作は、
    前記ハンドによって前記ワークに外力を加えることで、前記ワークを移動または倒す動作であり、或いは、
    前記積載状態改善動作にインピーダンス制御を適用することで前記ワークに適切な外力を加えながら行う動作である、
    ことを特徴とする請求項１乃至請求項１２のいずれか１項に記載のワーク取り出し装置。
JP2017019468A 2017-02-06 2017-02-06 ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法 Active JP6453922B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017019468A JP6453922B2 (ja) 2017-02-06 2017-02-06 ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法
US15/875,239 US10603790B2 (en) 2017-02-06 2018-01-19 Workpiece picking device and workpiece picking method for improving picking operation of workpieces
DE102018000730.9A DE102018000730B4 (de) 2017-02-06 2018-01-30 Werkstückaufnahmevorrichtung und Werkstückaufnahmeverfahren zum Verbessern des Aufnahmevorgangs eines Werkstücks
CN201810118479.7A CN108393908B (zh) 2017-02-06 2018-02-06 改善工件取出动作的工件取出装置以及工件取出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017019468A JP6453922B2 (ja) 2017-02-06 2017-02-06 ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法

Publications (2)

Publication Number Publication Date
JP2018126802A JP2018126802A (ja) 2018-08-16
JP6453922B2 true JP6453922B2 (ja) 2019-01-16

Family

ID=62982755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017019468A Active JP6453922B2 (ja) 2017-02-06 2017-02-06 ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法

Country Status (4)

Country Link
US (1) US10603790B2 (ja)
JP (1) JP6453922B2 (ja)
CN (1) CN108393908B (ja)
DE (1) DE102018000730B4 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6616170B2 (ja) * 2015-12-07 2019-12-04 ファナック株式会社 コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法
JP6603257B2 (ja) * 2017-03-31 2019-11-06 ファナック株式会社 行動情報学習装置、管理装置、ロボット制御システム及び行動情報学習方法
JP6680750B2 (ja) * 2017-11-22 2020-04-15 ファナック株式会社 制御装置及び機械学習装置
JP6911798B2 (ja) * 2018-03-15 2021-07-28 オムロン株式会社 ロボットの動作制御装置
CN110340884A (zh) * 2018-04-05 2019-10-18 发那科株式会社 测定动作参数调整装置、机器学习装置以及系统
JP7102241B2 (ja) * 2018-06-14 2022-07-19 ヤマハ発動機株式会社 機械学習装置及びこれを備えたロボットシステム
JP6940542B2 (ja) * 2019-03-14 2021-09-29 ファナック株式会社 把持力調整装置及び把持力調整システム
JP7173317B2 (ja) * 2019-05-22 2022-11-16 日本電気株式会社 動作規則決定装置、動作規則決定方法およびプログラム
JP7207207B2 (ja) * 2019-07-09 2023-01-18 トヨタ自動車株式会社 演算装置、機械学習方法及び制御プログラム
EP3878608A3 (en) * 2020-03-11 2021-12-08 Tetra Laval Holdings & Finance S.A. Pusher arrangement
EP3915734A1 (de) * 2020-05-29 2021-12-01 SW Automation GmbH Aufnahmevorrichtung zum aufnehmen eines beliebig angeordneten gegenstands sowie verfahren zum betreiben einer aufnahmevorrichtung
JP2022122670A (ja) * 2021-02-10 2022-08-23 オムロン株式会社 ロボットモデルの学習装置、ロボットモデルの機械学習方法、ロボットモデルの機械学習プログラム、ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
KR102346900B1 (ko) 2021-08-05 2022-01-04 주식회사 애자일소다 픽 앤 플레이스 시스템을 위한 심층 강화학습 장치 및 방법
DE102021209646A1 (de) 2021-09-02 2023-03-02 Robert Bosch Gesellschaft mit beschränkter Haftung Robotervorrichtung, Verfahren zum computerimplementierten Trainieren eines Roboter-Steuerungsmodells und Verfahren zum Steuern einer Robotervorrichtung
CN114800512A (zh) * 2022-05-10 2022-07-29 上海交通大学 一种基于深度强化学习的机器人推拨装箱方法及系统
WO2023242942A1 (ja) * 2022-06-14 2023-12-21 日本電信電話株式会社 スケジュール実行支援装置、方法およびプログラム
DE102022130461B3 (de) 2022-11-17 2024-01-25 Aumann AG Verfahren und Vorrichtung zum roboterbasierten Vereinzeln von Objekten aus einem Aufnahmebehälter

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08305433A (ja) * 1995-04-27 1996-11-22 Nissan Motor Co Ltd デパレタイジング制御装置
JP2000263480A (ja) * 1999-03-12 2000-09-26 Meidensha Corp ビンピッキング装置
JP3925020B2 (ja) 1999-12-21 2007-06-06 株式会社明電舎 ロボットの制御装置
JP3930490B2 (ja) 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
JP4199264B2 (ja) 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法
WO2010024796A1 (en) * 2008-08-29 2010-03-04 Abb Research Ltd. Bin-picking robot with means for stirring the parts in the bin
JP5402697B2 (ja) * 2009-10-26 2014-01-29 株式会社安川電機 ロボット装置及びワーク取り出しシステム並びにワーク取り出し方法
JP4938115B2 (ja) 2010-07-27 2012-05-23 ファナック株式会社 ワーク取出し装置およびワーク取出し方法
JP2012135820A (ja) 2010-12-24 2012-07-19 Ihi Corp 自動ピッキング装置及び自動ピッキング方法
JP2012183616A (ja) 2011-03-07 2012-09-27 Fuji Electric Co Ltd ピッキング用ワーク供給装置、およびワークピッキング装置
JP5835926B2 (ja) * 2011-04-11 2015-12-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
WO2013002099A1 (ja) 2011-06-29 2013-01-03 三菱電機株式会社 部品供給装置
JP5623358B2 (ja) 2011-09-06 2014-11-12 三菱電機株式会社 ワーク取り出し装置
JP5266377B2 (ja) 2011-12-19 2013-08-21 ファナック株式会社 物品の姿勢を修正する機能を備えた取出し装置
JP5899951B2 (ja) * 2012-01-18 2016-04-06 セイコーエプソン株式会社 ロボット装置および位置姿勢検出方法
JP5642759B2 (ja) 2012-10-31 2014-12-17 ファナック株式会社 物品取出装置及び物品取出方法
JP2014138964A (ja) 2013-01-21 2014-07-31 Toyota Motor Corp ロボットハンドの制御装置及び制御方法
JP5929854B2 (ja) * 2013-07-31 2016-06-08 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
JP5905549B1 (ja) * 2014-09-16 2016-04-20 ファナック株式会社 バラ積みされた物品を取出す物品取出装置
JP6335806B2 (ja) 2015-01-22 2018-05-30 三菱電機株式会社 ワーク供給装置およびワーク把持姿勢計算方法
JP6522488B2 (ja) * 2015-07-31 2019-05-29 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
EP3557521A4 (en) * 2016-12-19 2020-08-05 Kabushiki Kaisha Yaskawa Denki IMAGE RECOGNITION PROCESSOR AND CONTROL UNIT FOR INDUSTRIAL DEVICE
JP6526100B2 (ja) * 2017-04-28 2019-06-05 ファナック株式会社 物品取出システム
JP6695843B2 (ja) * 2017-09-25 2020-05-20 ファナック株式会社 装置、及びロボットシステム
JP6676030B2 (ja) * 2017-11-20 2020-04-08 株式会社安川電機 把持システム、学習装置、把持方法、及び、モデルの製造方法

Also Published As

Publication number Publication date
DE102018000730A1 (de) 2018-08-16
CN108393908A (zh) 2018-08-14
US20180222046A1 (en) 2018-08-09
CN108393908B (zh) 2020-03-13
DE102018000730B4 (de) 2019-10-31
US10603790B2 (en) 2020-03-31
JP2018126802A (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
JP6453922B2 (ja) ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法
US20230321837A1 (en) Machine learning device, robot system, and machine learning method for learning object picking operation
JP7100426B2 (ja) ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP6810087B2 (ja) 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法
CN107150347B (zh) 基于人机协作的机器人感知与理解方法
JP6616170B2 (ja) コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法
JP6240689B2 (ja) 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
CN109906132B (zh) 机器人操纵的深度强化学习
JP6438450B2 (ja) レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP6514171B2 (ja) 最適な物品把持経路を学習する機械学習装置、及び機械学習方法
US11945114B2 (en) Method and system for grasping an object
CN107825422A (zh) 机械学习装置、机器人系统以及机械学习方法
CN114952828A (zh) 一种基于深度强化学习的机械臂运动规划方法和系统
Eppner et al. Visual detection of opportunities to exploit contact in grasping using contextual multi-armed bandits
Laplaza et al. Attention deep learning based model for predicting the 3D Human Body Pose using the Robot Human Handover Phases
KR102044786B1 (ko) 사용자 감성 인식 장치 및 방법
Kroemer et al. Active learning using mean shift optimization for robot grasping
CN113034575A (zh) 一种模型构建方法、位姿估计方法及物体拣取装置
CN116276973A (zh) 基于深度学习的视觉感知抓取训练方法
Mao et al. Shape-based object classification and recognition through continuum manipulation
CN114454194A (zh) 一种服务机器人、机器人手爪控制方法、系统及存储介质
Kimura et al. Estimating multimodal attributes for unknown objects
van der Wal Object Grasping with the NAO
Gouko et al. Active perception model extracting object features from unlabeled data
JP7416199B2 (ja) 制御装置、制御方法及びプログラム

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181022

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181213

R150 Certificate of patent or registration of utility model

Ref document number: 6453922

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150