JP5642738B2 - バラ積みされた物品をロボットで取出す装置及び方法 - Google Patents

バラ積みされた物品をロボットで取出す装置及び方法 Download PDF

Info

Publication number
JP5642738B2
JP5642738B2 JP2012165553A JP2012165553A JP5642738B2 JP 5642738 B2 JP5642738 B2 JP 5642738B2 JP 2012165553 A JP2012165553 A JP 2012165553A JP 2012165553 A JP2012165553 A JP 2012165553A JP 5642738 B2 JP5642738 B2 JP 5642738B2
Authority
JP
Japan
Prior art keywords
article
dimensional
hand
maximum point
local maximum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012165553A
Other languages
English (en)
Other versions
JP2014024142A (ja
Inventor
英俊 組谷
英俊 組谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2012165553A priority Critical patent/JP5642738B2/ja
Priority to DE102013012068.3A priority patent/DE102013012068B4/de
Priority to US13/949,523 priority patent/US9079310B2/en
Priority to CN201310316918.2A priority patent/CN103568014B/zh
Publication of JP2014024142A publication Critical patent/JP2014024142A/ja
Application granted granted Critical
Publication of JP5642738B2 publication Critical patent/JP5642738B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/375673-D vision, stereo vision, with two cameras
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39476Orient hand relative to object
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Description

本発明は、三次元空間にバラ積みされた物品の位置を認識し、認識した物品を、ロボットを用いて取出す物品取出装置及び物品取出方法に関する。
この種の装置として、従来、バラ積みされた物品をカメラで撮像して得られた二次元画像や三次元測定機で測定して得られた三次元点集合に対し、パターンマッチングを用いて物品の位置を認識するようにした装置が知られている(例えば特許文献1、2参照)。
特許文献1記載の装置では、予め基準三次元相対姿勢にある物品を撮像して得られた二次元画像から二次元モデルパターンを作成し、二次元モデルパターンに二次元の幾何学的変換を施して複数の変換二次元モデルパターンを作成し、複数の変換二次元モデルパターンを使用して物品の二次元画像に対して二次元パターンマッチングを行なう。
特許文献2記載の装置では、三次元空間における物品の表面を測定して三次元点集合を取得し、この三次元点集合に基づいて物品の三次元特徴を求め、物品の三次元特徴と予め作成した三次元モデルパターンとの三次元パターンマッチングを行う。
特開2004−295223号公報 特開2009−128191号公報
しかしながら、特許文献1、2に記載の装置は、予め物品一品種毎に二次元モデルパターンまたは三次元モデルパターンを作成する必要があり、手間を要する。とくに、物品が多品種の場合には、品種数分のモデルパターンを作成する必要があり、多大な手間が必要となる。また、不定形の物品の場合には、そもそもモデルパターンを作成することができず、適用不可能である。
本発明による物品取出装置は、物品を保持可能なハンドを有するロボットと、三次元空間にバラ積みされた複数の物品の表面位置を測定して複数の三次元点からなる三次元点集合を取得する三次元測定機と、三次元点集合から所定の座標軸に対する座標値が極大である1以上の三次元点を極大点として選択する極大点選択手段と、極大点選択手段により選択された極大点に基づき、極大点の近傍の物品を取出し可能なハンドの目標位置および目標姿勢を含むハンド位置姿勢を求める演算手段と、演算手段により求められたハンド位置姿勢にハンドを移動するとともに、ハンド位置姿勢から物品を取出すようにロボットを制御するロボット制御手段とを備えることを特徴とする。
また、本発明は、三次元空間にバラ積みされた物品を、物品を保持可能なハンドを有するロボットを用いて取出す物品取出方法であって、バラ積みされた複数の物品の表面位置を三次元測定機で測定して複数の三次元点からなる三次元点集合を取得し、三次元点集合から所定の座標軸に対する座標値が極大である1以上の三次元点を極大点として選択し、選択された極大点に基づき、極大点の近傍の物品を取出し可能なハンドの目標位置および目標姿勢を含むハンド位置姿勢を求め、求められたハンド位置姿勢にハンドを移動するとともに、ハンド位置姿勢から物品を取出すようにロボットを制御することを特徴とする。
本発明によれば、三次元空間にバラ積みされた物品の位置を認識する際にパターンマッチングによる位置姿勢認識を利用せずに三次元点集合の極大点の位置を利用し、ロボットのハンドにより極大点付近の物品を保持する。このため、物品のモデルパターンを作成する必要がなく、多品種や不定形の物品であっても容易にその位置を認識して、物品を保持することができる。
本発明の一実施形態に係る物品取出装置の概略構成を示す図である。 図1のロボット制御装置で実行される処理の一例を示すフローチャートである。 図1の三次元測定機で取得した三次元点集合の一例を示す図である。 図3の三次元点集合から選択した極大点の一例を示す図である。 図4の各極大点に対応して求めた極大点近傍集合の一例を示す図である。 図5の極大点近傍集合に属する三次元点の位置に基づく代表位置の一例を示す図である。 図6の代表位置に対応するハンド位置姿勢の一例を示す図である。 図7のハンド位置姿勢の番号付けの一例を示す図である。 図1の物品取出装置を構成するハンドの保持部に対する番号付けの一例を示す図である。 本発明の実施形態に係る物品取出装置の動作の一例を示す図である。 図10に続く動作の一例を示す図である。 図11に続く動作の一例を示す図である。 図12に続く動作の一例を示す図である。 図13に続く動作の一例を示す図である。 連結集合を構築する処理の一例を示すフローチャートである。
図1は、本発明の一実施形態に係る物品取出装置10の概略構成を示す図である。物品取出装置10は、三次元測定機11と、ロボット12と、三次元測定機11とロボット12とに接続してロボット12を制御するロボット制御装置13とを有する。ロボット12は、アーム12aの先端部に取り付けられたハンド14を有する。
上方が開放されたコンテナ16内には、複数の物品20がバラ積みされている。本実施形態の物品装置10は、この複数の物品20がバラ積みされた状態から取出すべき物品20の位置を認識し、認識された物品20をコンテナ16の中からハンド14で取出して保持し、ロボット12の動作によりコンテナ16外の所定位置へ搬送する。複数の物品20は、図1では互いに同一形状として示しているが、不定形のものでもよく、複数の品種を含むものでもよい。なお、以下では、ハンド10で保持された物品20を、コンテナ16内の他の物品と区別するために保持物品21(図11参照)と呼ぶことがある。
ハンド14は、不図示の昇降機構により昇降可能な一対の保持部14aを有する。保持部14aは、通常は図1に示すように上昇状態にある。この上昇状態から下降して物品20を保持した後に、再度上昇して、保持物品21を鉛直方向に上昇させる。これにより、保持物品21が他の物品20よりも上方に取出され、ロボット12の動作により保持物品21を搬送する際、保持物品21やハンド14とコンテナ16内の他の物品20との衝突を避けることができる。
三次元測定機11は、コンテナ16の中央部上方に配置され、コンテナ16内にバラ積みされた物品20のうち、露出した物品20の表面を測定して、複数の三次元点の位置情報(三次元情報)を取得する。三次元測定機11の測定範囲は、コンテナ16を含む必要があるが、余り大きすぎても測定分解能の低下を招くので、コンテナ16の占有範囲を丁度含む程度にすることが好ましい。なお、三次元測定機11は、図示例では専用の架台15に固定されているが、ロボット12の先端部に取り付けてもよい。三次元測定機11とロボット制御装置13とは通信ケーブル等の通信手段によって互いに接続されており、互いに通信できるようになっている。
三次元測定機11としては種々の非接触方式のものが利用可能である。例えば、カメラ2台のステレオ方式、レーザスリット光を走査する方式、レーザスポット光を走査する方式、プロジェクタ等の装置を用いてパターン光を物品に投影する方式、光が投光器から出射されてから物品表面で反射し受光器に入射するまでの飛行時間を利用する方式などが挙げられる。
三次元測定機11は、取得した三次元情報を距離画像または三次元マップといった形式で表現する。距離画像とは、画像形式で三次元情報を表現したものであり、画像の各画素の明るさや色により、その画像上の位置の高さまたは三次元測定機11からの距離を表すものである。一方、三次元マップとは、測定された三次元座標値(x,y,z)の集合として三次元情報を表現したものである。本実施形態では、距離画像における各画素や三次元マップにおける三次元座標値を有する点を、三次元点と称し、複数の三次元点かなる集合を、三次元点集合と称する。三次元点集合は、三次元測定機11で測定した三次元点全体の集合であり、三次元測定機11により取得できる。
ハンド14は、物品20を取出し、かつ、保持することができるが、それが可能なハンドの形態としては、例えば吸引ノズル、吸着用磁石または吸着パッドなどが挙げられる。また、ハンド14は、ロボット12の動作により、その位置姿勢が制御される。
図2は、ロボット制御装置13で実行される処理の一例を示すフローチャートである。以下、物品取出装置10による動作を、図2のフローチャート及び関連する図面を参照しつつ説明する。
図2の処理は、例えば図示しない操作スイッチの操作により、物品20の取出開始指令が入力されると開始される。まず、三次元空間にバラ積みされた複数の物品20の表面を三次元測定機11で測定して三次元点集合30を取得する(ステップS1)。図3は、三次元測定機11で取得した三次元点集合30と、三次元点集合30を構成する三次元点31の一例を示す図である。図では、三次元点31が黒丸で示されており、三次元点集合30は点線に囲まれた黒丸全体として示されている。
次に、三次元点集合30から1以上の極大点32を選択する(ステップS2)。図4は、三次元点集合30と、三次元点集合30から選択した極大点32の一例を示す図である。図では、極大点32が、二重黒丸で示している。極大点32は、三次元点集合30に属する三次元点31のうち、所定の座標軸40に対する座標値が極大となる点である。本実施形態では、物品20を取出す方向に対応して、座標軸40を、例えば鉛直上向き(Z軸方向)、すなわち重力に逆らう向きに設定している。
次に、それぞれの極大点32に対応する極大点近傍集合33を求める(ステップS3)。図5は、極大点32の各々に対応して求めた極大点近傍集合33の一例を示す図であり、極大点近傍集合33を点線で示している。極大点近傍集合33は、図3の三次元点集合30の部分集合であり、かつ、極大点32の各々に対応する集合であって、それぞれが極大点32を含む。
極大点近傍集合33の求め方には、幾通りかの方法がある。まず、1つ目の例として、対応する極大点32のみから各極大点近傍集合33を構成する方法がある。2つ目の例として、対応する極大点32から所定距離内にある全ての三次元点31から各極大点近傍33を構成する方法がある。3つ目の例として、極大点32を含む連結集合によって極大点近傍集合33を構成する方法がある。
数学的定義を述べると、ここで言う連結集合とは、三次元点31の集合であって、その集合が複数の三次元点31から構成される場合、その集合に属する任意の三次元点31の所定距離内にその三次元点31とは異なりその集合に属する三次元点31が存在するものである。また、1つの三次元点31のみから構成される場合は、連結集合である。以上が連結集合の数学的定義であるが、実際に連結集合を構築する処理の一例を後ほど示す。
4つ目の例として、極大点32を含む三次元点31により平面を形成し、この平面を構成する三次元点31によって極大点近傍集合33を構成する方法がある。具体的には、極大点32と極大点32の近傍に位置する三次元点31とから平面を形成する。この場合、極大点32の近傍に位置する三次元点のうち、平面から所定距離内に位置する三次元点31のみが極大点近傍集合33を構成する。
5つ目の例として、極大点32を含む三次元点31の連結集合により滑らかな曲面を形成し、この曲面を構成する三次元点31によって極大点近傍集合33を構成する方法がある。この場合、連結集合に属する総ての三次元点31に関して、その三次元点31から近い順に選んだ別の3つの三次元点31を加えた4つの三次元点31を用い、曲率半径が所定値以上となるように曲面が形成された場合に、その三次元点31により極大点近傍集合33が構成される。なお、図5は、上記5つの例のうち、3つ目の例によって極大点近傍集合33を構成した場合を示している。
次に、各々の極大点近傍集合33に対応する代表位置34を演算する(ステップS4)。図6は、極大点近傍集合33に属する三次元点31の位置に基づいて計算した代表位置34の一例を示す図である。図中、代表位置34は、×印で示されている。図6では、極大点近傍集合33に属する複数の三次元点31の位置の平均位置(平均座標)を求め、これを代表位置34としている。なお、代表位置の求め方はこれに限らず、例えば各々の極大点近傍集合33に対応する極大点32の位置を代表位置34としてもよい。
次に、各々の代表位置34に対応するハンド位置姿勢35を演算する(ステップS5)。図7は、代表位置34に対応するハンド位置姿勢35の一例を示す図である。ハンド位置姿勢35は、直角に曲がった両矢印で示されているが、これは位置姿勢が座標系で表されるためである。図7では、矢印が2つしか示されていないので、位置姿勢が二次元空間でのものであるかのように見えるが、実際は三次元空間でのものである。
ハンド位置姿勢35の位置成分及び姿勢成分の求め方には、それぞれ幾通りずつかの方法がある。位置成分に関しては、例えば、代表位置34をハンド位置姿勢35の位置成分とする方法がある。別の例として、代表位置34の位置よりも所定の座標軸40の向きに沿って所定長移動した位置を、ハンド位置姿勢35の位置成分とする方法もある。図7は、後者の例で位置成分を示している。姿勢成分に関しては、例えば、代表位置34に関わらず所定の姿勢をハンド位置姿勢35の姿勢成分とする方法がある。別の例として、代表位置34の位置がコンテナ16の壁に近い場合、壁とハンドとの衝突を避ける目的で壁から離れる方向にハンドを傾けるようにする方法もある。図7は、前者の例で姿勢成分を示している。
次に、各々のハンド位置姿勢35にP1,P2,・・・,Pnとナンバリングする(ステップS6)。但し、nはハンド位置姿勢35の個数である。図8は、ナンバリングされたハンド位置姿勢35を示す図であり、所定の座標軸40に対する座標値の降順、つまり、高い位置にあるものから順番にナンバリングされている。なお、図8では、n=3である。
次に、ハンド14の保持部14aにH1,H2,・・・,Hmとナンバリングする(ステップS7)。但し、mはハンドの個数である。図9は、ナンバリングされた保持部14aを示しており、図9では、m=2である。
次に、自然数値を取る変数j,kに対して初期値を与える。すなわち、j←1,k←1とする(ステップS8)。変数jは保持部14aの番号の指定に用い、変数kはハンド位置姿勢35の番号の指定に用いる。
次に、図10に示すように、保持部14a駆動用のアクチュエータに制御信号を出力し、保持部Hjを下降させるとともに、ロボット駆動用のアクチュエータに制御信号を出力し、ロボット12の動作により保持部Hjをハンド位置姿勢Pkへ移動させる(ステップS9)。変数の初期値j=1,k=1に対しては、Hj=H1,Pk=P1である。
次に、保持部Hjに物品20を吸引または吸着するための制御信号を出力し、図11に示すように保持部Hjの下端面で保持物品21を吸引または吸着し、保持する(ステップS10)。例えば、保持部Hjが吸引ノズルを有する場合、真空ポンプを作動し、吸引力で保持物品21を吸引、保持する。また、保持部Hjが吸着用磁石を有する場合、電磁コイルに電流を流して磁石を作動し、磁力で保持物品21を吸着、保持する。
次に、図12に示すように、保持物品20を保持した保持部Hjを上昇させる(ステップS11)。保持部Hjを上昇させることで、ロボット12の動作によりハンド14を移動させる際、保持物品21や保持部Hjと他の物品20との衝突を避けることができる。
次に、保持部14aによる保持物品21の保持が成功したか否かを判定する(ステップS12)。この判定は、例えば、保持部14aが吸引ノズルを有する場合、吸引時のエアの流量や圧力の変化に応じて保持が成功したか否かを判定すればよい。また、保持部Hjが吸着用磁石を有する場合、近接センサで保持物品21が存在するか否かを判定し、その存否に応じて保持が成功したか否かを判定すればよい。保持が成功した場合、ステップS13へ進む。保持が成功しなかった場合、ステップS15へ進む。
ステップS13では、j<mか否かを判定する。この判定は、m個(図12では2個)の保持部14aの中に保持物品21を未だ保持していないものが存在するか否かの判定である。j<mである場合、保持部Hj+1が保持物品21を未だ保持していないので、j←j+1とし(ステップS14)、ステップS15へ進む。j<mでない場合、全ての保持部14aが保持物品21を保持しているので、ステップS17へ進む。
ステップS15では、k<nか否かを判定する。この判定は、n個(図12では3個)のハンド位置姿勢35の中に保持部14aが未だ到達していないものが存在するか否かの判定である。k<nである場合、ハンド位置姿勢Pk+1に保持部14aが未だ到達していないので、k←k+1とし(ステップS16)、ステップS9へ戻る。そして、図13に示すように次の保持部Hjを下降させながらロボット12の動作により次のハンド位置姿勢Pkへ移動させる。なお、図13は、Hj=H2,Pk=P2の例である。次いで、この保持部Hjに物品吸着用の制御信号を出力し、図14に示すように、次の保持物品21を保持する(ステップS10)。k<nでない場合、n個のハンド位置姿勢35の全てに保持部14aが到達したので、ステップS17へ進む。
ステップS17では、ロボット用アクチュエータに制御信号を出力し、保持物品21をロボット12の動作により所定位置に搬送し、保持物品21を保持部14aから取外す。以上で、1サイクルの処理が終了となる。なお、未到達のハンド位置姿勢35があるにも拘わらず(k<n)、全ての保持部14aで保持物品21を保持している場合(j≧m)、ステップS17で保持物品21を所定位置に搬送して保持部14aから取外した後に、保持部14aの番号jを初期値1にして、ステップS9以降の処理が繰り返される。
上の1サイクル中では、ハンド位置姿勢35のナンバリング順にハンド14を移動させる際に高速に移動させ易くするために、図8に示したように、所定の座標軸40に対する座標値が降順となるようにハンド位置姿勢35にナンバリングすることにより、ハンド14が移動中に物品20と衝突するおそれを低減した。この他、所定の座標軸40に対する座標値に関し、それぞれの極大点近傍集合33に含まれる三次元点31の平均値を算出し、この平均値と平均値に対応するハンド位置姿勢35との差が大きい順に、ハンド位置姿勢35に番号を付けるようにしてもよい。これにより、ハンド14がハンド位置姿勢35への到着間際に近辺の物品20と衝突するおそれを低減することができる。
極大点近傍集合33の求め方の3つ目の例として、極大点32を含む連結集合によって極大点近傍集合33を構成する方法について触れたが、以下に、1つの極大点32を含む連結集合を構築する処理の一例を、図15のフローチャートを用いて説明する。まず、初期値として、自然数値を取る変数i←1、三次元点の集合A←{極大点32}、三次元点の集合B←{極大点32}とする(ステップT1)。次に、集合B内の三次元点から所定距離内にあり集合Aには属さない全ての三次元点cを集めた集合を改めて集合Bとする(ステップT2)。初期値に対しては、極大点32から所定距離内にあり極大点32とは異なる全ての三次元点cを集めることになる。次に、i<所定回数か否かを判定する(ステップT3)。この判定は、繰返し計算の回数iが所定回数に達しているか否かの判定である。i<所定回数である場合、繰返し計算の回数が未だ所定回数に達していないので、ステップT4へ進む。i<所定回数でない場合、繰返し計算の回数が既に所定回数に達しているので、ステップT6へ進む。
ステップT4では、B≠Φか否かを判定する。この判定は、集合Aに新たに加えるべき三次元点が有るか否かの判定である。B≠Φである場合、集合Aに集合Bを加えるべきで、A←A∪Bとし(ステップT5)、ステップT2へ戻る。B≠Φでない場合、集合Aに新たに加えるべき三次元点がないので、ステップT6へ進む。ステップT6では、集合Aを連結集合として出力し、連結集合を構築する処理が終了となる。なお、繰返し計算の回数iの判定に用いる所定回数は、繰返し計算を適当な回数で打切るためのものである。所定回数を小さく設定すれば、小さな連結集合しか作れないが処理時間の増大を防ぐことができる。逆に、所定回数を大きく設定すれば、処理時間が増大するが、大きな連結集合を作ることが可能となる。
本実施形態によれば、以下のような作用効果を奏することができる。
(1)三次元空間にバラ積みされた物品20の表面位置を三次元測定機11で測定して複数の三次元点31からなる三次元点集合30を取得し(ステップS1)、により、三次元点集合30から所定の座標軸40に対する座標値が極大である1以上の三次元点31を極大点32として選択し(ステップS2)、選択された極大点32に基づき、極大点32の近傍の物品20を取出し可能なハンド14(保持部14a)の目標位置および目標姿勢を含むハンド位置姿勢35を求め(ステップS3〜ステップS5)、求められたハンド位置姿勢35にハンド14を移動するとともに、ハンド位置姿勢35から物品21を取出すようにロボット10を制御するようにした(ステップS9〜ステップS11)。
このため、物品20のモデルパターンを作成する必要がなく、多品種や不定形の物品20であっても容易にその位置を認識して、物品20を保持することができる。また、追加された新品種の物品20に対してもモデルパターンの追加無しでその位置を認識することができ、物品20の位置姿勢の認識失敗や誤認識、あるいは物品20の取損ねや衝突等の問題を回避し、上方にある取出し易い物品20へハンド14を高速に移動させて物品20を効率良く取出すことができる。
これに対し、例えば、物品の二次元モデルパターンを用いて二次元パターンマッチングにより物品の位置を認識する方法では、二次元モデルパターンを作成する必要があり、手間を要する。とくに、物品が多品種の場合には、品種数分のモデルパターンを作成する必要があり、多大な手間が必要となる。さらに、この方法には、本実施形態と比較した場合に以下のような問題点がある。バラ積みされた物品は様々な姿勢となり、各姿勢に対応した二次元パターンマッチングを行う場合、例えば二次元の幾何学的変換を施して得られる変換二次元モデルパターンを利用する必要があるが、この方法で対応できるのは、平面的な物品に限られる。通常の立体的な物品に二次元パターンマッチングを適用しようとすると、幾何学的変換では補い切れない見え方の多様性を考慮して、物品一品種についてだけでも表・裏・横・斜めと幾つかの方向から二次元モデルパターンを作成する必要が生じる。さらに、多品種への対応を考慮すると、品種数を乗じた膨大な数の二次元モデルパターンを作成する必要が生じ、多大な手間を要する。また、不定形の物品の場合には、二次元モデルパターンを作成できないので、その位置を認識することはできない。バラ積みされた物品は、照明の当たり具合が悪かったり他の物品の影が写ったり物品が想定以上に傾いたり、往々にして撮像条件が悪い。したがって、物品の位置姿勢の認識失敗や誤認識が発生したり、上方にある肝心の物品の位置の認識に失敗したり、下方にある物品の位置が先に認識されたりするおそれがある。誤認識された物品位置姿勢や下方にある物品位置を目掛けてロボットのハンドの位置姿勢を制御すると、物品を取損ねて装置の作業効率が落ちるばかりか、ハンドと物品とが衝突してそれらを損傷させるおそれがある。損傷を回避しようとすると、ロボットの移動速度を遅くせざるを得ず、作業効率が悪化する。
また、例えば、物品の三次元モデルパターンを用いて三次元パターンマッチングにより物品の位置を認識する方法においても、三次元モデルパターンを作成する必要があり、手間を要する。とくに、物品が多品種の場合には、品種数分のモデルパターンを作成する必要があり、多大な手間が必要となる。さらに、この方法には、本実施形態と比較した場合に以下のような問題点がある。不定形の物品は、三次元モデルパターンを作成できないので、その位置を認識することはできない。バラ積みされた物品は、三次元測定機に向いていない側の三次元点を取得でない上に、大きく傾いたり近隣の物品に邪魔されたり、往々にして撮像条件が悪い。このため、三次元パターンマッチングにより物品の三次元姿勢を決定できるほど量・質ともに十分な三次元点集合を得るのは困難であり、物品の位置姿勢の認識失敗や誤認識が発生したり、上方にある肝心の物品の位置の認識に失敗し下方にある物品の位置が先に認識されたりするおそれがある。誤認識された物品位置姿勢や下方にある物品位置を目掛けてロボットのハンドの位置姿勢を制御すると、物品を取損ねて装置の作業効率が落ちるばかりか、ハンドと物品とが衝突してそれらを損傷させるおそれがある。損傷を回避しようとすると、ロボットの移動速度を遅くせざるを得ず、作業効率が悪化する。
(2)ハンド位置姿勢35を求める場合、三次元点集合30の部分集合であって、選択された極大点32を含む三次元点31の集合である極大点近傍集合33を求め、極大点近傍集合33に含まれる三次元点31の位置に基づき、極大点近傍集合33を代表する代表位置34を求め、代表位置34に対応してハンド位置姿勢35を求めるようにした。これにより、極大点32を用いて種々の方法でハンド位置姿勢35を設定することができる。
(3)ハンド14に複数の保持部14aを設け、これら複数の保持部14aのうち、物品20を保持していない空の保持部14aが有るか否かを判定し(ステップS13)、空の保持部14aがあると判定されると、その空の保持部14aを、複数のハンド位置姿勢35のうち、保持部14aが未だ到達していない未到達ハンド位置姿勢へ順次移動して、その未到達ハンド位置姿勢から物品21を取出すようにした。これにより複数の保持部14aを効率よく利用することができ、物品20の取出作業を効率よく行うことができる。
(4)物品20に極大点となり易い端部が有ってその端部と連続的に繋がる面や辺がその端部そのものよりも保持し易い場合には、極大点32の位置に替えて連結集合である極大点近傍集合33の位置を利用することにより、保持し易い面や辺を保持することができる。
なお、バラ積みされた複数の物品20の表面位置を三次元測定機11で測定して複数の三次元点31からなる三次元点集合30を取得し、三次元点集合30から所定の座標軸40に対する座標値が極大である1以上の三次元点31を極大点32として選択し、選択された極大点32に基づき、極大点32の近傍の物品20を取出し可能なハンド14(保持部14a)の目標位置および目標姿勢を含むハンド位置姿勢35を求め、求められたハンド位置姿勢35にハンド14を移動するとともに、ハンド位置姿勢35から物品20(保持物品21)を取出すようにロボット12を制御するのであれば、物品取出方法の構成はいかなるものでもよい。
上記実施形態では、ハンド14で物品を吸引または吸着して保持するようにしたが、吸引、吸着以外によって物品20を取出し、保持するようにしてもよく、ハンド14の形態は上述したものに限らない。保持部14aをハンド14に3個以上設けてもよく、1つだけ設けるようにしてもよい。上述した物品取出装置10の構成(図1)は一例であり、極大点選択手段(ステップS2)、演算手段(第1演算手段(ステップS3)、第2演算手段(ステップS4)、第3演算手段(ステップS5))、ロボット制御手段(ステップS9〜ステップS11)としてのロボット制御装置13の構成は上述したものに限らない。
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態および変形例の構成要素には、発明の同一性を維持しつつ置換可能かつ置換自明なものが含まれる。すなわち、本発明の技術的思想の範囲内で考えられる他の形態についても、本発明の範囲内に含まれる。また、上記実施形態と変形例の1つまたは複数を任意に組み合わせることも可能である。
10 物品取出装置
11 三次元測定機
12 ロボット
13 ロボット制御装置
14 ハンド
14a 保持部
20 物品
21 保持物品
30 三次元点集合
31 三次元点
32 極大点
33 極大点近傍集合
34 代表位置
35 ハンド位置姿勢
40 座標軸

Claims (7)

  1. 物品を保持可能なハンドを有するロボットと、
    三次元空間にバラ積みされた複数の物品の表面位置を測定して複数の三次元点からなる三次元点集合を取得する三次元測定機と、
    前記三次元点集合から所定の座標軸に対する座標値が極大である1以上の三次元点を極大点として選択する極大点選択手段と、
    前記極大点選択手段により選択された極大点に基づき、前記極大点の近傍の物品を取出し可能な前記ハンドの目標位置および目標姿勢を含むハンド位置姿勢を求める演算手段と、
    前記演算手段により求められた前記ハンド位置姿勢に前記ハンドを移動するとともに、前記ハンド位置姿勢から前記物品を取出すように前記ロボットを制御するロボット制御手段とを備えることを特徴とする物品取出装置。
  2. 請求項1に記載の物品取出装置において、
    前記演算手段は、
    前記三次元点集合の部分集合であって、前記極大点選択手段により選択された極大点を含む三次元点の集合である極大点近傍集合を求める第1演算部と、
    前記第1演算部で求められた極大点近傍集合に含まれる前記三次元点の位置に基づき、前記極大点近傍集合を代表する代表位置を求める第2演算部と、
    前記第2演算部で求められた前記代表位置に対応して前記ハンド位置姿勢を求める第3演算部とを有することを特徴とする物品取出装置。
  3. 請求項1または2に記載の物品取出装置において、
    前記ハンドは、それぞれが物品を保持可能な複数の保持部を有し、
    前記演算手段は、複数のハンド位置姿勢を求め、
    前記ロボット制御手段は、前記複数の保持部のうち、物品を保持していない空の保持部が有るか否かを判定し、前記空の保持部があると判定されると、前記空の保持部を、前記複数のハンド位置姿勢のうち、前記保持部が未だ到達していない未到達ハンド位置姿勢へ順次移動して、その未到達ハンド位置姿勢から前記物品を取出すように前記ロボットを制御することを特徴とする物品取出装置。
  4. 請求項1〜3のいずれか1項に記載の物品取出装置において、
    前記ロボット制御手段は、前記ハンドで取出し、かつ、取出された物品を、前記ロボットにより搬送するように前記ロボットを制御することを特徴とする物品取出装置。
  5. 請求項2に記載の物品取出装置において、
    前記極大点近傍集合が複数の三次元点から構成される場合、該極大点近傍集合に属する任意の三次元点の所定距離内に該三次元点とは異なり該極大点近傍集合に属する三次元点が存在する、ことを特徴とする物品取出装置。
  6. 請求項1〜5のいずれか1項に記載の物品取出装置において、
    前記ハンドは、吸引ノズル、吸着用磁石または吸着パッドのいずれかを有することを特徴とする物品取出装置。
  7. 三次元空間にバラ積みされた物品を、物品を保持可能なハンドを有するロボットを用いて取出す物品取出方法であって、
    前記バラ積みされた複数の物品の表面位置を三次元測定機で測定して複数の三次元点からなる三次元点集合を取得し、
    前記三次元点集合から所定の座標軸に対する座標値が極大である1以上の三次元点を極大点として選択し、
    前記選択された極大点に基づき、前記極大点の近傍の物品を取出し可能な前記ハンドの目標位置および目標姿勢を含むハンド位置姿勢を求め、
    前記求められた前記ハンド位置姿勢に前記ハンドを移動するとともに、前記ハンド位置姿勢から前記物品を取出すように前記ロボットを制御することを特徴とする物品取出方法。
JP2012165553A 2012-07-26 2012-07-26 バラ積みされた物品をロボットで取出す装置及び方法 Active JP5642738B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012165553A JP5642738B2 (ja) 2012-07-26 2012-07-26 バラ積みされた物品をロボットで取出す装置及び方法
DE102013012068.3A DE102013012068B4 (de) 2012-07-26 2013-07-19 Vorrichtung und Verfahren zum Entnehmen von lose gelagerten Objekten durch einen Roboter
US13/949,523 US9079310B2 (en) 2012-07-26 2013-07-24 Apparatus and method of taking out bulk stored articles by robot
CN201310316918.2A CN103568014B (zh) 2012-07-26 2013-07-25 利用机械手取出散装的物品的装置以及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012165553A JP5642738B2 (ja) 2012-07-26 2012-07-26 バラ積みされた物品をロボットで取出す装置及び方法

Publications (2)

Publication Number Publication Date
JP2014024142A JP2014024142A (ja) 2014-02-06
JP5642738B2 true JP5642738B2 (ja) 2014-12-17

Family

ID=49912311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012165553A Active JP5642738B2 (ja) 2012-07-26 2012-07-26 バラ積みされた物品をロボットで取出す装置及び方法

Country Status (4)

Country Link
US (1) US9079310B2 (ja)
JP (1) JP5642738B2 (ja)
CN (1) CN103568014B (ja)
DE (1) DE102013012068B4 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016009030A1 (de) 2015-07-31 2017-02-02 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
US10807235B2 (en) 2015-07-31 2020-10-20 Fanuc Corporation Machine learning device, robot controller, robot system, and machine learning method for learning action pattern of human
DE102016015873B3 (de) * 2015-07-31 2020-10-29 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
DE112018007727B4 (de) 2018-06-14 2022-10-06 Yamaha Hatsudoki Kabushiki Kaisha Robotersystem

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5929854B2 (ja) * 2013-07-31 2016-06-08 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
JP5877857B2 (ja) 2014-03-10 2016-03-08 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
FR3020303B1 (fr) * 2014-04-25 2016-07-15 Sileane Procede et installation de prehension automatique d'un objet.
JP5778311B1 (ja) * 2014-05-08 2015-09-16 東芝機械株式会社 ピッキング装置およびピッキング方法
CN104647373B (zh) * 2014-12-19 2016-03-02 广州达意隆包装机械股份有限公司 码垛机器人的搬运系统及码垛机器人的搬运方法
JP6088563B2 (ja) * 2015-02-10 2017-03-01 ファナック株式会社 位置及び姿勢の変換演算機能を備えたワーク取出しロボットシステム、及びワーク取出し方法
WO2016138101A1 (en) * 2015-02-25 2016-09-01 Dematic Corp. Automated order fulfillment system and method
CN105128009A (zh) * 2015-08-10 2015-12-09 深圳百思拓威机器人技术有限公司 具有精确感测物体形状位姿的仿生机器人及其感测方法
CN105665304A (zh) * 2016-02-01 2016-06-15 先驱智能机械(深圳)有限公司 物体的抓取与分拣系统及分拣盘
CN105499155A (zh) * 2016-02-01 2016-04-20 先驱智能机械(深圳)有限公司 物体的抓取与分拣方法及分拣盘
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
CN106269548A (zh) * 2016-09-27 2017-01-04 深圳市创科智能技术有限公司 一种物体自动分拣方法及其装置
CN107009358B (zh) * 2017-04-13 2020-06-02 武汉库柏特科技有限公司 一种基于单相机的机器人无序抓取装置及方法
JP6487495B2 (ja) * 2017-05-19 2019-03-20 ファナック株式会社 ワーク取出しシステム
JP6860432B2 (ja) * 2017-06-09 2021-04-14 川崎重工業株式会社 ワークの認識装置及びワークを認識する方法
JP6695843B2 (ja) 2017-09-25 2020-05-20 ファナック株式会社 装置、及びロボットシステム
JP6806045B2 (ja) * 2017-12-11 2021-01-06 株式会社ダイフク 物品搬送設備
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
JP6725587B2 (ja) 2018-05-18 2020-07-22 ファナック株式会社 バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法
JP6823008B2 (ja) * 2018-05-18 2021-01-27 ファナック株式会社 バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4305130A (en) * 1979-05-29 1981-12-08 University Of Rhode Island Apparatus and method to enable a robot with vision to acquire, orient and transport workpieces
US4402053A (en) * 1980-09-25 1983-08-30 Board Of Regents For Education For The State Of Rhode Island Estimating workpiece pose using the feature points method
US4985846A (en) * 1989-05-11 1991-01-15 Fallon Patrick J Acoustical/optical bin picking system
JP3300682B2 (ja) * 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
JP2001300878A (ja) * 2000-04-19 2001-10-30 Daihatsu Motor Co Ltd パレット内バラ積みワークの取出方法
JP2005515910A (ja) * 2002-01-31 2005-06-02 ブレインテック カナダ インコーポレイテッド シングルカメラ3dビジョンガイドロボティクスの方法および装置
US6898484B2 (en) * 2002-05-01 2005-05-24 Dorothy Lemelson Robotic manufacturing and assembly with relative radio positioning using radio based location determination
JP2004160567A (ja) * 2002-11-11 2004-06-10 Fanuc Ltd 物品取出し装置
JP3805302B2 (ja) * 2002-12-13 2006-08-02 ファナック株式会社 ワーク取出し装置
JP3805310B2 (ja) * 2003-01-30 2006-08-02 ファナック株式会社 ワーク取出し装置
SE524818C2 (sv) * 2003-02-13 2004-10-05 Abb Ab En metod och ett system för att programmera en industrirobot att förflytta sig relativt definierade positioner på ett objekt
JP3842233B2 (ja) * 2003-03-25 2006-11-08 ファナック株式会社 画像処理装置及びロボットシステム
JP3834307B2 (ja) * 2003-09-29 2006-10-18 ファナック株式会社 ロボットシステム
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
SE529377C2 (sv) * 2005-10-18 2007-07-24 Morphic Technologies Ab Publ Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare
JP4087874B2 (ja) * 2006-02-01 2008-05-21 ファナック株式会社 ワーク取り出し装置
JP4153528B2 (ja) * 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
US20070238981A1 (en) * 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
JP4199264B2 (ja) * 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法
JP4238256B2 (ja) * 2006-06-06 2009-03-18 ファナック株式会社 ロボットシミュレーション装置
JP4655074B2 (ja) 2007-07-27 2011-03-23 トヨタ自動車株式会社 ワーク搬送装置およびワーク設置方法
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
CN101396829A (zh) 2007-09-29 2009-04-01 株式会社Ihi 机器人装置的控制方法以及机器人装置
JP5092711B2 (ja) * 2007-11-22 2012-12-05 株式会社Ihi 物体認識装置およびロボット装置
EP2075096A1 (de) * 2007-12-27 2009-07-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
JP4835616B2 (ja) * 2008-03-10 2011-12-14 トヨタ自動車株式会社 動作教示システム及び動作教示方法
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
US8265376B2 (en) * 2008-07-21 2012-09-11 Cognitens Ltd. Method and system for providing a digital model of an object
JP5201411B2 (ja) * 2008-11-21 2013-06-05 株式会社Ihi バラ積みピッキング装置とその制御方法
JP5714232B2 (ja) * 2009-03-12 2015-05-07 オムロン株式会社 キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法
EP2255930A1 (de) * 2009-05-27 2010-12-01 Leica Geosystems AG Verfahren und System zum hochpräzisen Positionieren mindestens eines Objekts in eine Endlage im Raum
US8472698B2 (en) * 2009-11-24 2013-06-25 Mitsubishi Electric Research Laboratories, Inc. System and method for determining poses of objects
JP2011167815A (ja) * 2010-02-19 2011-09-01 Ihi Corp 物体認識ロボットシステム
JP5382621B2 (ja) * 2010-06-03 2014-01-08 株式会社安川電機 移載装置
JP4938115B2 (ja) * 2010-07-27 2012-05-23 ファナック株式会社 ワーク取出し装置およびワーク取出し方法
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
JP5630208B2 (ja) * 2010-10-25 2014-11-26 株式会社安川電機 形状計測装置、ロボットシステムおよび形状計測方法
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2012135820A (ja) * 2010-12-24 2012-07-19 Ihi Corp 自動ピッキング装置及び自動ピッキング方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016009030A1 (de) 2015-07-31 2017-02-02 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
DE102016009030B4 (de) 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
US10717196B2 (en) 2015-07-31 2020-07-21 Fanuc Corporation Machine learning device, robot system, and machine learning method for learning workpiece picking operation
US10807235B2 (en) 2015-07-31 2020-10-20 Fanuc Corporation Machine learning device, robot controller, robot system, and machine learning method for learning action pattern of human
DE102016015873B3 (de) * 2015-07-31 2020-10-29 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
US11780095B2 (en) 2015-07-31 2023-10-10 Fanuc Corporation Machine learning device, robot system, and machine learning method for learning object picking operation
US11904469B2 (en) 2015-07-31 2024-02-20 Fanuc Corporation Machine learning device, robot controller, robot system, and machine learning method for learning action pattern of human
DE112018007727B4 (de) 2018-06-14 2022-10-06 Yamaha Hatsudoki Kabushiki Kaisha Robotersystem
US11926057B2 (en) 2018-06-14 2024-03-12 Yamaha Hatsudoki Kabushiki Kaisha Robot system

Also Published As

Publication number Publication date
CN103568014B (zh) 2015-08-12
CN103568014A (zh) 2014-02-12
DE102013012068B4 (de) 2015-11-12
US20140031985A1 (en) 2014-01-30
US9079310B2 (en) 2015-07-14
JP2014024142A (ja) 2014-02-06
DE102013012068A1 (de) 2014-01-30

Similar Documents

Publication Publication Date Title
JP5642738B2 (ja) バラ積みされた物品をロボットで取出す装置及び方法
JP5670397B2 (ja) バラ積みされた物品をロボットで取出す装置及び方法
JP5897532B2 (ja) 三次元空間に置かれた物品をロボットで取出す装置及び方法
JP5788461B2 (ja) バラ積みされた物品をロボットで取出す装置及び方法
JP5788460B2 (ja) バラ積みされた物品をロボットで取出す装置及び方法
CN104608149B (zh) 用机器人来取出散装物品的装置以及方法
US9707682B1 (en) Methods and systems for recognizing machine-readable information on three-dimensional objects
CN106573381B (zh) 卡车卸载机可视化
JP2021062978A (ja) 自動パッケージスキャンおよび登録メカニズムを備えたロボットシステム、ならびにその動作方法
JP2019063984A (ja) 情報処理装置、方法及びロボットシステム
JP2016099257A (ja) 情報処理装置及び情報処理方法
CN111483750A (zh) 机器人系统的控制方法以及控制装置
KR20210138026A (ko) 다중 카메라 이미지 처리
JP6328796B2 (ja) マニプレータ制御方法、システム、およびマニプレータ
CN114286739A (zh) 信息处理装置、设定装置及方法、图像识别系统、机器人系统、学习装置以及学习完毕模型的生成方法
JP2010210511A (ja) 対象物の3次元位置・姿勢認識装置及びその方法
CN113483664B (zh) 一种基于线结构光视觉的屏风板自动上料系统及方法
US11823414B2 (en) Information processing device, information processing method, and information processing non-transitory computer readable medium
CN111470244B (zh) 机器人系统的控制方法以及控制装置
JP4892687B2 (ja) 物体検出方法
JP7163116B2 (ja) 情報処理装置及びピッキングシステム
JP2023539403A (ja) 重なり処理機構を備えたロボットシステム及びその操作方法

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20131121

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141029

R150 Certificate of patent (=grant) or registration of utility model

Ref document number: 5642738

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150