JP6343930B2 - ロボットシステム、ロボット制御装置、及びロボット制御方法 - Google Patents
ロボットシステム、ロボット制御装置、及びロボット制御方法 Download PDFInfo
- Publication number
- JP6343930B2 JP6343930B2 JP2013270759A JP2013270759A JP6343930B2 JP 6343930 B2 JP6343930 B2 JP 6343930B2 JP 2013270759 A JP2013270759 A JP 2013270759A JP 2013270759 A JP2013270759 A JP 2013270759A JP 6343930 B2 JP6343930 B2 JP 6343930B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- image
- target
- unit
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Manipulator (AREA)
Description
この構成によれば、第1の物体の画像を事前に作業現場の環境毎に撮影しなくても、その画像を投影することで第1の物体の位置に関する情報が与えられる。そのため、作業現場の環境によらず第1の物体と第2の物体とが所定の位置関係を有するように制御することができる。
この構成によれば、撮影された画像に基づいて得られた第1の物体と第2の物体の特徴量の差分が、対象物の状態の制御に用いられる。そのため、第2の物体が第1の物体の位置に近づくように制御することができる。
この構成によれば、画像表示部に投影された第1の物体の画像と第2の物体の画像とを用いて、第2の物体の位置を制御することができる。
この構成によれば、投影部と撮影部とを画像表示部を挟んで相対して配置することができるので、投影部が配置されることによりロボットの作業空間が制約されることや、撮影部により撮影される画像が遮蔽されることを防止することができる。
この構成によれば、画像表示部を用いなくても第1の物体の画像が表示されるので、ロボットによる作業空間への影響を与えずに第1の物体の画像と第2の物体の画像とを取得することができる。
この構成によれば、第1の物体の画像を事前に作業現場の環境毎に撮影しなくても、その画像を投影することで第1の物体の位置に関する情報が与えられる。そのため、作業現場の環境によらず第1の物体と第2の物体とが所定の位置関係を有するように制御することができる。
この構成によれば、第1の物体の画像を事前に作業現場の環境毎に撮影しなくても、その画像を投影することで第1の物体の位置に関する情報が与えられる。そのため、作業現場の環境によらず第1の物体と第2の物体とが所定の位置関係を有するように制御することができる。
図1は、本実施形態に係るロボットシステム1の概略図である。
ロボットシステム1は、ロボット制御装置10と、投影部13と、ロボット20と、撮影部204と、回線30とを備える。
ロボット制御装置10と、ロボット20とは、回線30を介して、互いに通信することができる。回線30は、有線の回線であってもよいし、無線の回線であってもよい。
投影部13は、ロボット制御装置10と一体に備えられてもよく、又は、他の構成例として、ロボット制御装置10とは別体で備えられてもよい。
本実施形態では、図1に示される作業の環境において、投影部13がスクリーン31に投影した画像を参照画像として、撮影部204は、少なくとも参照画像と対象物Wk1を示す画像が重畳した重畳画像を撮影する。ロボット制御装置10は、撮影した重畳画像を用いてビジュアルフィードバック制御により、対象物Wk1を目標の位置(目標位置)に移動させるようにロボット20の動作を制御する。
これにより、ロボット20は、目標物Ob1が最終的な目標位置(終点)に至るまでの軌道に沿って対象物Wk1を移動させることができる。目標物Ob1の軌道は、投影される画像を予め生成する過程で任意に設定することができる。例えば、対象物Wk1が組み付けようとする製品の他の構成物、その他の作業上の障害物との接触を回避して移動されるように、目標物Ob1の軌道を設定してもよい。
出力部15は、例えば、情報を画像で表示する液晶ディスプレイなどを用いて構成され、ユーザーに対して各種の情報を画像で表示する。
記憶部12は、例えば、制御部11で使用されるプログラムの情報や、各種の処理で使用される数値などの情報を記憶する。
本実施形態では、記憶部12は、スクリーン31に表示させる参照画像を示す画像データを含む教示情報を記憶する。
また、差分算出パラメーターのうち、3次元の位置を表す座標値[X,Y,Z]が省略され、回転量[θX,θY,θZ]のみが用いられ、制御モードとして位置姿勢制御モードのみが設定され、位置制御モードが設定されなくてもよい。
他方、姿勢に関する差分算出パラメーターが用いられる場合(本実施形態では、位置姿勢制御モードの場合)には、対象物を目標位置に移動させるタスク(本実施形態では、ビジュアルフィードバック制御)において当該差分算出パラメーターを用いて姿勢が制御され、姿勢制御処理は用いられないため、姿勢制御処理は規定されなくてもよい。
具体的な例として、ロボット制御装置10は、実際の対象物Wk1及び参照画像中の目標物Ob1のそれぞれについて、対象物が表示されている表示領域を検出し、当該領域の重心位置を算出する。ロボット制御装置10は、算出した両者の重心位置を比較して差分算出処理を行い、これら両者の重心位置が一致するように、ロボット20の位置、姿勢、又はその両者を制御する。
一方、姿勢に関する差分算出パラメーターが用いられない場合(本実施形態では、位置制御モードの場合)のタスクについては、対象物Wk1の位置が目標の状態にある参照画像を予め生成しておき、参照画像中における対象物Wk1の姿勢については一定であってもよい。
制御部11は、例えば、入力部14により受け付けられたユーザーによる操作入力に応じた処理を実行する機能、各種の情報を出力部15に画像として表示させる機能、記憶部12に記憶された情報を読み取る機能及び記憶部12に情報を書き込む(記憶させる)機能を有する。
ここで、撮影部204は、例えば、ロボット20に設置されたカメラを用いて構成される。撮影部204は、ロボット20による作業(例えば、把持や移動などの作業)が行われる対象となる対象物Wk1とスクリーン31に表された目標物Ob1の画像を撮影する。そして、撮影部204は、撮影した画像の情報(画像データ)を画像取得部113に出力する。画像取得部113は、取得した画像データを差分算出部114に出力する。
本実施形態では、ロボット制御部111が、このような判定を行ってもよいし、差分算出部114が、このような判定を行ってもよい。
ロボット制御部111又は差分算出部114は、このような判定を行う際、上述した他、例えば、対象物Wk1の表示領域と、目標物Ob1の表示領域との間の各画素の階調差を最小にする非線形最小化問題を解くことで、これら2枚の画像間における物体(対象物、目標物)の位置や姿勢の誤差(差分)を算出してもよい。
また、ロボット制御部111は、ロボット20が送信する信号を、回線30を介して、受信することも可能である。
ロボット制御部111は、この情報を入力することにより、使用する制御モード(本実施形態では、位置制御モード、又は、位置姿勢制御モード)を検出することができる。
ロボット制御部111は、この情報を入力することにより、姿勢に関する差分算出パラメーターが用いられない場合(本実施形態では、位置制御モードが用いられる場合)に、使用する姿勢制御処理を検出することができる。
その後、ロボット制御部111は、再び、上述したように、撮影部204、画像取得部113、差分算出部114の順で処理された結果(差分算出部114による差分算出の結果)を検出して、当該検出結果に応じた制御を行う。
そして、ロボット制御部111は、各セットでこのような制御を繰り返して行うことにより、対象物Wk1の位置及び姿勢の状態を、目標物Ob1の位置及び姿勢の状態に近づける。各セット内での繰り返し毎に撮影部204を基準とする対象物Wk1を移動させる方向(移動方向)、姿勢を変化させる方向(回転方向)は異なっている。ロボット制御部111は、対象物Wk1の実際の位置及び姿勢の状態と、目標物Ob1の位置及び姿勢の状態との間の差分(画像ヤコビアン)を差分算出部114から取得する。ロボット制御部111は、対象物Wk1の実際の位置及び姿勢の状態と、目標物Ob1の位置及び姿勢の状態との間の差分が最も小さい対象物のWk1の移動方向、回転方向を選択する。
このようなセットを繰り返すことで、ロボット制御部111は、撮影した画像上で、対象物Wk1の位置及び姿勢を目標物Ob1の画像が示す目標物Ob1の位置及び姿勢に対応した位置及び姿勢にそれぞれ近づけることができる。最終的には、対象物Wk1の実際の位置及び姿勢が、目標物の位置及び姿勢に対応づけられる。
その後、ロボット制御部111は、以上に説明したように、再び撮影部204、画像取得部113、差分算出部114の順で処理された結果(差分算出部114による差分算出の結果)を検出して、当該検出結果に応じた制御を行う。
そして、ロボット制御部111は、各セットでこのような制御を繰り返して行うことにより、対象物Wk1の位置の状態を、目標物Ob1の位置の状態に最も近づける。ここで、各セット内での繰り返し毎に撮影部204を基準とする対象物Wk1を移動させる方向(移動方向)は異なっており、ロボット制御部111は、対象物Wk1の実際の位置の状態と、目標物Ob1の位置の状態との間の差分を差分算出部114から取得する。ロボット制御部111は、差分が最も小さい対象物のWk1の移動方向を選択する。このようなセットを繰り返すことで、ロボット制御部111は、撮影された画像上で対象物Wk1の画像が示す対象物Wk1の位置を、参照画像が示す目標物Ob1の位置に近づけることができる。これにより、対象物Wk1の実際の位置が目標物の位置に対応した位置に合わせられる。
そこで、本実施形態では、対象物Wk1を複数の目標位置に順に移動させるビジュアルフィードバック制御において、複数(N個)の目標位置のうちの一部(1つ以上)については、位置制御モードを使用する構成としてもよい。
図2は、参照画像の例を示す図である。
図2は、3つの参照画像を示す。3つの参照画像は、3回に分けて対象物Wk1の目標位置を教示するために用いられる。図2は、左側から右側に向かって、順に1回目、2回目、3回目の参照画像を示す。この例では、3回目の参照画像が最終的な目標位置を示す。本実施形態では、例えば、1回目の参照画像を用いることで、対象物Wk1の位置を、目標物Ob1−1の位置に移動させることができる。2回目の参照画像を用いることで、対象物Wk1の位置を、目標物Ob1−2の位置に移動させることができる。3回目の参照画像を用いることで、対象物Wk1の位置を、目標物Ob1−3の位置に移動させ、対象物Wk1を移動させる制御を終了する。
図3は、取得された画像情報の例を示す図である。
図3に示す画像情報は、図2の3回目の参照画像がスクリーン31に表示され、時刻t1,t2,t3のそれぞれにおいて対象物Wk1の位置が制御されているときに撮影部204が撮影した画像を示す。
図4には、説明を簡潔にするためロボット20のうちマニピュレーター202−1(後述)と把持部203−1のみが示されている。図4に示すように撮影部204は、ロボット20及びスクリーン31に向かって左方に配置されていてよい。ロボットシステム1の動作環境として、このような配置に変更して参照画像を取得し直さなくても、ロボット制御装置10は、ロボット20が把持する対象物Wk1の位置を、参照画像が示す目標物Ob1の位置に応じて撮影した画像上で制御することができる。
図5は、本実施形態に係るロボットシステムの他の構成例を示す図である。
図5は、ロボットシステム2をその前方から見た外観を示す。図5の右側が図1の左側に相当し、図5の左側が図1の右側に相当する。
ロボット20は、腕(アーム)をそれぞれ構成する2本のマニピュレーター202−1、202−2を備える双腕ロボットである。ロボット20は、ロボット制御装置10と一体に構成され、ロボット制御装置10のロボット制御部111(図1)から入力された制御信号により動作が制御される。また、ロボット20は、自己の状態等を示す信号を、ロボット制御部111に出力してもよい。
ロボット20は、制御装置を格納する格納部201と、マニピュレーター202−1,202−2と、把持部(ハンド)203−1,203−2と、撮影部204と、車輪205−1,205−2と、胴体を構成する胴体部材206,207,208と、を備える。
マニピュレーター202−1,202−2の自由度は、それぞれ、3軸に限らず、任意の自由度(例えば、7軸)であってもよい。
また、本実施形態に係るロボット20は、右側の車輪205−1と、左側の車輪205−2とを備えることで、人手により外力を加えることで車輪205−1、205−2を回転させて、容易に移動させることが可能にある。
例えば、ロボットシステム1aは、ロボットシステム1(図1)においてロボット20に代えて、ロボット20aを備えて構成してもよい。
図6は、本実施形態に係るロボットシステムのさらに他の構成例(ロボットシステム1a)を示す概略図である。
ロボット20aは、腕(アーム)を構成する1本のマニピュレーター202aを備える単腕ロボットである。ロボット20aは、ロボット制御装置10のロボット制御部111から送信される制御信号を、回線30を介して受信し、受信した制御信号により動作が制御される。また、ロボット20aは、自己の状態などを示す信号を、回線30を介して、ロボット制御装置10のロボット制御部111に送信してもよい。
ロボット20aは、マニピュレーター202aと、把持部(ハンド)203aと、胴体部材206aと、を備える。
胴体部材206aは、ロボット20aの基台(下部)を形成し、ロボット20aの全体を支持している。胴体部材206aの主面(上面)にはマニピュレーター202aが取り付けられている。
そのため、本実施形態は、ロボットの種別、対象物との位置関係等、作業環境の差異に適応して対象物の位置を制御することができる。
ロボットシステム1bは、ロボットシステム1(図1)において投影部13に代えて投影部13bを備えて構成してもよい。
本構成例に係るロボットシステム1bは、ロボット制御装置10と、投影部13bと、ロボット20と、撮影部204と、回線30とを含んで構成される。
投影部13bは、レーザー光源(図示せず)と、レーザー光源が発したレーザービームを集光するレンズ(図示せず)を備える。集光された空間からは、プラズマが発生し、発生したプラズマが発する光を画像光として放射する。この画像光が、参照画像を示す。レーザー光源は、不可視域の波長を有するレーザービームを発する光源であればよい。そのような光源には、例えば、YAG(Yttrium Aluminum Garnet)レーザー、炭酸ガスレーザ、等がある。投影部13bは、例えば、特許文献2に記載の空中可視像形成装置と同様の構成を備えてもよい。
レーザービームが集光される位置の範囲、つまり、参照画像が表される範囲(表示範囲)は、ロボット20が対象物を操作することができる操作範囲に含まれる。ここで、投影部13bが備えるレンズの数や作業環境に応じて予め表示範囲を定めておく。
このように、投影部13bは、所望の空間に参照画像を表示することができるため、スクリーン31を省略することができ、ひいては作業空間を有効に活用することができる。
なお、ロボットシステム1bは、ロボット20に代えてロボット20aを備え、ロボット制御装置10は、ロボット20aの動作を制御するようにしてもよい。
そこで、ロボット制御部111又は差分算出部114は、目標物の位置[X’,Y’,Z’]と対象物の位置[X,Y,Z]との差分を算出する際、その差分から更に予め定めた変位量[ΔX,ΔY,ΔZ]を減算して差分を補正してもよい。そして、ロボット制御部111は、補正した差分を用いて対象物の位置を制御する。これにより、対象物の位置が目標物から当該変位量だけ離れた位置に制御される。その場合、参照画像として実際に制御しようとする対象物の位置から、その変位量だけ加算した位置(目標位置)に配置された目標物を示す画像を予め生成しておく。そのため、差分算出部114は、撮影部204が撮影した画像から対象物及び目標物の両者を検知して、確実に補正した差分を算出することによって対象物の位置を制御することができる。
また、ロボットによる作業の対象となるものとしては、例えば、平面での位置合わせが必要な部品の組み付けばかりでなく、空間での位置合わせが必要な部品の組み付けに適用することも可能である。例えば、ウォームギア、傘歯車などに適用することができる。
また、ロボットによる作業としては、ギア装置あるいは組み付け装置などのような装置の組み立て作業ばかりでなく、例えば、部品同士の位置及び姿勢を合わせることが必要となる作業に適用することも可能である。
具体的には、ロボットとしては、例えば、様々なスカラロボットが用いられてもよく、又は、様々な垂直多関節ロボットが用いられてもよい。
また、上述した単腕ロボット(又は、ロボットシステム)や双腕ロボット(又は、ロボットシステム)ばかりでなく、3本以上の腕を持つロボット(又は、ロボットシステム)が用いられてもよい。また、ロボット(又は、ロボットシステム)の移動を可能にする部材(移動部)としては、例えば、車輪を用いるロボット(又は、ロボットシステム)ばかりでなく、歩行を用いるロボット(又は、ロボットシステム)などが用いられてもよい。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
111…ロボット制御部、112…教示情報処理部、113…画像取得部、
114…差分算出部、
12…記憶部、13,13b…投影部、14…入力部、15…出力部、
20,20a…ロボット、201…格納部、
202−1,202−2,202a…マニピュレーター、
203−1,203−2,203a…把持部、204…撮影部、
205−1,205−2…車輪、
206,206a,207,208…胴体部材、30…回線、31…スクリーン
Claims (7)
- 物体を動かすロボットと、
前記物体を目標位置に配置した仮想物である目標物の画像を投影する投影部と、
前記目標物の投影画像と前記物体を撮影する撮影部と、を含み、
前記ロボットは、
前記撮影部が撮影した撮影画像に基づいて、前記物体を動かして、前記目標物と前記物体を所定の位置関係にする、
ロボットシステム。 - 前記撮影部が撮影した撮影画像のうち、前記目標物の投影画像の特徴量と前記物体の特徴量との差分を算出する差分算出部を備え、
前記差分算出部が算出した差分に基づいて、前記物体の位置を制御する請求項1に記載のロボットシステム。 - 前記投影部が前記目標物の画像を投影する画像表示部を備える請求項1又は請求項2に記載のロボットシステム。
- 前記画像表示部は、透過型スクリーンであり、
前記投影部は、前記目標物の画像を前記画像表示部の一方の面に投影し、
前記撮影部は前記画像表示部の他方の面に表示された目標物の画像と前記物体を撮影する請求項3に記載のロボットシステム。 - 前記投影部は、前記ロボットが前記物体を操作することができる操作範囲の空間内に前記目標物の画像を投影する請求項1又は請求項2に記載のロボットシステム。
- 物体を動かすロボットを動作させるロボット制御装置であって、
投影部により投影された前記物体を目標位置に配置した仮想物である目標物の画像を撮影した撮影画像を受け付ける画像受付部と、
前記撮影画像に基づいて、前記ロボットに前記物体を移動させ、前記目標物と前記物体を所定の位置関係にする、ロボット制御部と、
を備えるロボット制御装置。 - 物体を動かすロボットを動作させるロボット制御方法であって、
前記物体を目標位置に配置した仮想物である目標物の画像を投影することと、
前記目標物の投影画像と前記物体を撮影することと、
撮影した画像に基づいて、前記ロボットに前記物体を移動させ、前記目標物と前記物体を所定の位置関係にすることと、
を含むロボット制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013270759A JP6343930B2 (ja) | 2013-12-27 | 2013-12-27 | ロボットシステム、ロボット制御装置、及びロボット制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013270759A JP6343930B2 (ja) | 2013-12-27 | 2013-12-27 | ロボットシステム、ロボット制御装置、及びロボット制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015123560A JP2015123560A (ja) | 2015-07-06 |
JP6343930B2 true JP6343930B2 (ja) | 2018-06-20 |
Family
ID=53534663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013270759A Expired - Fee Related JP6343930B2 (ja) | 2013-12-27 | 2013-12-27 | ロボットシステム、ロボット制御装置、及びロボット制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6343930B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7467041B2 (ja) * | 2018-09-27 | 2024-04-15 | キヤノン株式会社 | 情報処理装置、情報処理方法及びシステム |
US11548154B2 (en) | 2018-10-12 | 2023-01-10 | Toyota Research Institute, Inc. | Systems and methods for dimensionally-restricted robotic teleoperation |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2654899B2 (ja) * | 1993-01-22 | 1997-09-17 | 三井造船株式会社 | 操作型マニピュレータの教示装置および操作型マニピュレータによる自動作業方法 |
JPH09272081A (ja) * | 1996-04-05 | 1997-10-21 | Nippon Steel Corp | 遠隔操作入力装置及び遠隔操作入力方法 |
JP2001252883A (ja) * | 2000-03-09 | 2001-09-18 | Denso Corp | 移動ロボットシステム |
JP2003311670A (ja) * | 2002-04-17 | 2003-11-05 | Denso Wave Inc | ロボットアームの位置制御方法およびロボット装置 |
US8606404B1 (en) * | 2009-06-19 | 2013-12-10 | Bissell Homecare, Inc. | System and method for controlling a cleaning apparatus |
JP5610211B2 (ja) * | 2010-09-24 | 2014-10-22 | 株式会社Ihi | 投影面情報提示装置と方法 |
JP2013047760A (ja) * | 2011-08-29 | 2013-03-07 | Institute Of National Colleges Of Technology Japan | 指示位置表示装置および指示位置表示システム |
-
2013
- 2013-12-27 JP JP2013270759A patent/JP6343930B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015123560A (ja) | 2015-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ong et al. | Augmented reality-assisted robot programming system for industrial applications | |
JP4167954B2 (ja) | ロボット及びロボット移動方法 | |
US10585167B2 (en) | Relative object localization process for local positioning system | |
CN111801198B (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
JP4844453B2 (ja) | ロボットの教示装置及び教示方法 | |
US9679385B2 (en) | Three-dimensional measurement apparatus and robot system | |
JP5257335B2 (ja) | 3次元視覚センサにおける計測有効領域の表示方法および3次元視覚センサ | |
WO2009113339A1 (ja) | 動作教示システム及び動作教示方法 | |
JP2016099257A (ja) | 情報処理装置及び情報処理方法 | |
WO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
US20150202776A1 (en) | Data generation device for vision sensor and detection simulation system | |
US11833697B2 (en) | Method of programming an industrial robot | |
JP5899958B2 (ja) | ロボット制御装置、ロボット、ロボットシステムおよびロボット制御方法 | |
US20190030722A1 (en) | Control device, robot system, and control method | |
US11951637B2 (en) | Calibration apparatus and calibration method for coordinate system of robotic arm | |
JP2019089180A (ja) | ロボット及びロボットシステム | |
JP5948914B2 (ja) | ロボット制御装置、ロボット制御方法、ロボット制御プログラムおよびロボットシステム | |
JP2009269134A (ja) | 視覚検査装置のシミュレーション装置 | |
JP6343930B2 (ja) | ロボットシステム、ロボット制御装置、及びロボット制御方法 | |
CN109900251A (zh) | 一种基于视觉技术的机器人定位装置及方法 | |
JP2019077026A (ja) | 制御装置、ロボットシステム、制御装置の動作方法及びプログラム | |
JP7487118B2 (ja) | 1つ以上のロボット相互参照パラグラフの自然ロボットタスクのためのシステム及び方法 | |
US12036663B2 (en) | Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system | |
JP7224559B2 (ja) | 遠隔制御マニピュレータシステムおよび遠隔制御支援システム | |
US20230123629A1 (en) | 3d computer-vision system with variable spatial resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160617 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160624 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180424 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6343930 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |