JP5109098B2 - 運動制御システム、運動制御方法および運動制御プログラム - Google Patents
運動制御システム、運動制御方法および運動制御プログラム Download PDFInfo
- Publication number
- JP5109098B2 JP5109098B2 JP2007157470A JP2007157470A JP5109098B2 JP 5109098 B2 JP5109098 B2 JP 5109098B2 JP 2007157470 A JP2007157470 A JP 2007157470A JP 2007157470 A JP2007157470 A JP 2007157470A JP 5109098 B2 JP5109098 B2 JP 5109098B2
- Authority
- JP
- Japan
- Prior art keywords
- feature factor
- motion
- control system
- factor
- internal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40391—Human to robot skill transfer
Description
第3発明の運動制御システムによれば、外的特徴因子および内的特徴因子の離散的な相関関係と、当該離散的な相関関係に基づいて定義される連続的な相関関係との乖離度が閾値以下であるという要件を満たすように、当該離散的な相関関係を表す両特徴因子の測定結果が取捨選択される。そして、取捨選択された測定結果に基づいて両特徴因子の連続的な相関関係を表すモデルが定義され、当該モデルに基づいて第2運動体の運動態様が制御される。このため、さまざまな環境に応じた第1運動体の運動態様の傾向を表す観点から適当なモデルが定義され、かつ、当該モデルに基づいて第2運動体の運動態様が第1運動体の運動態様の大まかな傾向にしたがうように制御されうる。
具体的には、外的特徴因子q1(i)(x,yおよびz成分を有する3次元ベクトル(q1x,q1y,q1z)である。)および内的特徴因子p2(i)(x,yおよびz成分を有する3次元ベクトル(p2x,p2y,p2z)である。)の測定結果が当該因子により定義される6次元空間(6つの変数q1x,q1y,q1z,p2x,p2yおよびp2zにより定義される空間である。)においてプロットされる。各プロットは外的特徴因子q1(i)および内的特徴因子p2(i)の離散的な相関関係を表している。簡単のため各特徴因子のx成分の測定結果についてのみ考察すると、図5に示されているように人間1が打ち返し運動を繰り返した場合、図6(a)に示されているように各特徴因子のx成分(q1x,p2x)の測定結果がプロットされる。人間1がさらに同じスタイルにしたがって運動を繰り返すたびに特徴因子空間におけるプロット数が徐々に増えていく。そして、図6(b)に示されているように当該プロットにより表される外的特徴因子q1および内的特徴因子p2のそれぞれのx成分の局所的な相関関係を近似的に表す曲線LM1〜LM3のそれぞれが「局所的モデル」として定義される。局所的モデルLM1〜LM3のそれぞれは線形モデルであってもよく、非線形モデルであってもよい。なお、各局所的モデルが共通の性質(たとえば線形性)を有していれば、当該性質を表現するための共通の規則にしたがって異なる局所的モデルが定義されうる。これにより、局所的モデルひいてはモデルの定義が簡易化される。
続いて、第2処理部220により「第2処理」が実行される(図2/S020)。
Claims (17)
- 第1運動体の運動態様を規範として第2運動体の運動態様を制御するシステムであって、
前記第1運動体を取り巻く環境を表す外的因子および前記第1運動体の運動態様を表す内的因子のそれぞれのうち一部を、外的特徴因子および内的特徴因子のそれぞれとして、前記第1運動体が異なる環境に応じて運動を繰り返すたびに測定し、前記外的特徴因子および前記内的特徴因子の組み合わせにより定義される複数次元空間において、前記外的特徴因子および前記内的特徴因子の各回の当該測定結果の組み合わせにより位置が定まる複数のプロットにより表される該外的特徴因子および該内的特徴因子の離散的な相関関係に基づき、該外的特徴因子および該内的特徴因子の連続的な相関関係を、前記複数次元空間における前記複数のプロットの配置態様を表わす近似曲線によって表わすモデルを定義する第1処理部と、
前記第2運動体が接する前記外的特徴因子を測定し、当該測定結果と前記第1処理部により定義された前記モデルとに基づいて前記内的特徴因子を算定し、少なくとも当該算定内的特徴因子が実現されるように前記第2運動体の運動態様を制御する第2処理部とを備えていることを特徴とする運動制御システム。 - 請求項1記載の運動制御システムにおいて、
前記第1処理部が、前記測定結果により表される前記外的特徴因子および前記内的特徴因子の離散的な相関関係と、当該離散的な相関関係に基づいて定義される前記外的特徴因子および前記内的特徴因子の連続的な相関関係との乖離度を評価し、前記乖離度が閾値以下であることを要件として、当該連続的な相関関係を表す前記モデルを定義することを特徴とする運動制御システム。 - 請求項2記載の運動制御システムにおいて、
前記第1処理部が、前記要件が満たされるように前記外的特徴因子および前記内的特徴因子の測定結果のうち一部を除いて前記モデルを定義することを特徴とする運動制御システム。 - 請求項1記載の運動制御システムにおいて、
前記第1処理部が、前記第1運動体が異なる環境に応じて一定のスタイルにしたがって運動を繰り返すたびに前記外的特徴因子および前記内的特徴因子を測定することを特徴とする制御システム。 - 請求項1記載の運動制御システムにおいて、
前記第1処理部が前記第1運動体の前記外的特徴因子および前記内的特徴因子の測定結果の追加に伴って前記モデルを逐次定義し、
前記第2処理部が前記第1処理部により逐次定義される前記モデルに基づいて前記第2運動体の前記運動態様を逐次制御することを特徴とする制御システム。 - 請求項1記載の運動制御システムにおいて、
前記第2処理部が、前記第2運動体が接する前記外的特徴因子を逐次測定し、当該逐次測定される前記外的特徴因子に基づいて前記第2運動体の運動態様を逐次制御することを特徴とする制御システム。 - 請求項1記載の運動制御システムにおいて、
前記第1処理部が、前記第1運動体の特定部位の一の動作によって力を受けるときの物体の位置を前記外的特徴因子として測定し、前記一の動作が終了したときの前記特定部位の位置を前記内的特徴因子として測定することを特徴とする制御システム。 - 請求項1記載の運動制御システムにおいて、
前記第1処理部が前記第1運動体の前記外的特徴因子および前記内的特徴因子の測定結果の中から規則性を有する集合を規則的集合として抽出し、当該規則的集合に基づいて前記モデルを定義することを特徴とする運動制御システム。 - 請求項8記載の運動制御システムにおいて、
前記第1処理部が、前記第1運動体が異なる環境に応じて運動を繰り返すたびに前記内的因子のうち一部である内的付加因子を測定し、前記外的特徴因子および前記内的特徴因子のそれぞれの測定結果が、前記内的付加因子により定義される空間において高密度で集まっている前記内的付加因子の測定点に対応付けられていることを前記規則性として、前記規則的集合を抽出することを特徴とする運動制御システム。 - 請求項8記載の運動制御システムにおいて、
前記第1処理部が、前記第1運動体が異なる環境下で一定のスタイルにしたがって複数回にわたり運動するときの前記外的特徴因子および前記内的特徴因子の測定結果に基づいて前記モデルを定義し、競合する複数の前記規則的集合が抽出された場合、当該複数の規則的集合のそれぞれに対応する新たなスタイルを定義した上で、前記第1運動体が当該新たなスタイルにしたがって複数回にわたり運動するときの前記外的特徴因子および前記内的特徴因子の測定結果に基づいて前記モデルを再び定義することを特徴とする運動制御システム。 - 請求項1記載の運動制御システムにおいて、
前記第1処理部が、前記第1運動体の前記外的特徴因子および前記内的特徴因子の測定結果に基づき、定義域が異なる、共通の性質を有する複数の局所的モデルを定義し、隣接する前記定義域における前記局所的モデルを接続することによって前記モデルを定義することを特徴とする制御システム。 - 請求項11記載の運動制御システムにおいて、
前記第1処理部が、前記共通の性質を有する前記局所的モデルとして線形モデルを定義することを特徴とする運動制御システム。 - 請求項11記載の運動制御システムにおいて、
前記第1処理部が前記外的特徴因子および前記内的特徴因子の測定結果に基づき、前記モデルの局所的な性質を抽出するための統計的手法を用いて前記局所的モデルを定義することを特徴とする運動制御システム。 - 請求項13記載の運動制御システムにおいて、
前記第1処理部が前記統計的手法としてLWPR(Locally Weighted Projection Regression)アルゴリズムを用いて前記局所的モデルを定義することを特徴とする運動制御システム。 - 請求項1記載の運動制御システムにおいて、
前記第1処理部が前記第1運動体としての人間の前記外的特徴因子および前記内的特徴因子の測定結果に基づいて前記モデルを定義し、
前記第2処理部が前記第1処理部により定義された外車増に基づき、前記第2運動体としてのヒューマノイドロボットの前記運動態様を制御することを特徴とする運動制御システム。 - 第1運動体の運動態様を規範として第2運動体の運動態様を制御する方法であって、
前記第1運動体を取り巻く環境を表す外的因子および前記第1運動体の運動態様を表す内的因子のそれぞれのうち一部を、外的特徴因子および内的特徴因子のそれぞれとして、前記第1運動体が異なる環境に応じて運動を繰り返すたびに測定し、前記外的特徴因子および前記内的特徴因子の組み合わせにより定義される複数次元空間において、前記外的特徴因子および前記内的特徴因子の各回の当該測定結果の組み合わせにより位置が定まる複数のプロットにより表される該外的特徴因子および該内的特徴因子の離散的な相関関係に基づき、該外的特徴因子および該内的特徴因子の連続的な相関関係を、前記複数次元空間における前記複数のプロットの配置態様を表わす近似曲線によって表わすモデルを定義する第1処理と、
前記第2運動体が接する前記外的特徴因子を測定し、当該測定結果と前記第1処理において定義された前記モデルとに基づいて前記内的特徴因子を算定し、少なくとも当該算定内的特徴因子が実現されるように前記第2運動体の運動態様を制御する第2処理とを実行することを特徴とする運動制御方法。 - 第1運動体の運動態様を規範として第2運動体の運動態様を制御するシステムとしてコンピュータを機能させるプログラムであって、
前記第1運動体を取り巻く環境を表す外的因子および前記第1運動体の運動態様を表す内的因子のそれぞれのうち一部を、外的特徴因子および内的特徴因子のそれぞれとして、前記第1運動体が異なる環境に応じて運動を繰り返すたびに測定し、前記外的特徴因子および前記内的特徴因子の組み合わせにより定義される複数次元空間において、前記外的特徴因子および前記内的特徴因子の各回の当該測定結果の組み合わせにより位置が定まる複数のプロットにより表される該外的特徴因子および該内的特徴因子の離散的な相関関係に基づき、該外的特徴因子および該内的特徴因子の連続的な相関関係を、前記複数次元空間における前記複数のプロットの配置態様を表わす近似曲線によって表わすモデルを定義する第1処理部と、
前記第2運動体が接する前記外的特徴因子を測定し、当該測定結果と前記第1処理部により定義された前記モデルとに基づいて前記内的特徴因子を算定し、少なくとも当該算定内的特徴因子が実現されるように前記第2運動体の運動態様を制御する第2処理部とを備えている運動制御システムとして前記コンピュータを機能させることを特徴とする運動制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007157470A JP5109098B2 (ja) | 2007-06-14 | 2007-06-14 | 運動制御システム、運動制御方法および運動制御プログラム |
US12/137,873 US8315740B2 (en) | 2007-06-14 | 2008-06-12 | Motion control system, motion control method, and motion control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007157470A JP5109098B2 (ja) | 2007-06-14 | 2007-06-14 | 運動制御システム、運動制御方法および運動制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008307640A JP2008307640A (ja) | 2008-12-25 |
JP5109098B2 true JP5109098B2 (ja) | 2012-12-26 |
Family
ID=40133076
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007157470A Expired - Fee Related JP5109098B2 (ja) | 2007-06-14 | 2007-06-14 | 運動制御システム、運動制御方法および運動制御プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8315740B2 (ja) |
JP (1) | JP5109098B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8527217B2 (en) * | 2009-09-08 | 2013-09-03 | Dynamic Athletic Research Institute, Llc | Apparatus and method for physical evaluation |
JP2011110621A (ja) * | 2009-11-24 | 2011-06-09 | Toyota Industries Corp | ロボットの教示データを作成する方法およびロボット教示システム |
JP5489965B2 (ja) * | 2009-12-24 | 2014-05-14 | 本田技研工業株式会社 | 行動制御システムおよびロボット |
JP5465129B2 (ja) * | 2010-08-16 | 2014-04-09 | 本田技研工業株式会社 | ロボットおよび行動制御システム |
JP5465142B2 (ja) | 2010-09-27 | 2014-04-09 | 本田技研工業株式会社 | ロボットおよびその行動制御システム |
US9031697B2 (en) * | 2011-04-15 | 2015-05-12 | Irobot Corporation | Auto-reach method for a remote vehicle |
US9573276B2 (en) * | 2012-02-15 | 2017-02-21 | Kenneth Dean Stephens, Jr. | Space exploration with human proxy robots |
JP5948932B2 (ja) * | 2012-02-16 | 2016-07-06 | セイコーエプソン株式会社 | ロボット制御装置、ロボット制御方法およびロボット制御プログラムならびにロボットシステム |
US8843236B2 (en) * | 2012-03-15 | 2014-09-23 | GM Global Technology Operations LLC | Method and system for training a robot using human-assisted task demonstration |
KR101564888B1 (ko) | 2015-07-02 | 2015-11-09 | 중앙대학교 산학협력단 | 대규모 비선형 시스템의 분산 고장 제어 방법 및 그 장치 |
US10166680B2 (en) | 2015-07-31 | 2019-01-01 | Heinz Hemken | Autonomous robot using data captured from a living subject |
US9676098B2 (en) | 2015-07-31 | 2017-06-13 | Heinz Hemken | Data collection from living subjects and controlling an autonomous robot using the data |
CN109526208B (zh) | 2016-07-11 | 2021-02-02 | Groove X 株式会社 | 活动量受控制的行为自主型机器人 |
JP6961723B2 (ja) | 2018-01-16 | 2021-11-05 | 株式会社ソニー・インタラクティブエンタテインメント | 移動体および移動体制御方法 |
WO2019142228A1 (ja) | 2018-01-16 | 2019-07-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および画像生成方法 |
JP7064513B2 (ja) * | 2018-01-16 | 2022-05-10 | 株式会社ソニー・インタラクティブエンタテインメント | ロボット装置、ロボット装置の制御方法およびプログラム |
WO2020073232A1 (en) * | 2018-10-10 | 2020-04-16 | Lingdong Technology (Beijing) Co. Ltd | Human interacting automatic guided vehicle |
JP7415693B2 (ja) * | 2020-03-13 | 2024-01-17 | オムロン株式会社 | 打ち方決定装置、打ち方決定方法、打ち方決定プログラム、及び返球ロボット |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4852018A (en) * | 1987-01-07 | 1989-07-25 | Trustees Of Boston University | Massively parellel real-time network architectures for robots capable of self-calibrating their operating parameters through associative learning |
US5554033A (en) * | 1994-07-01 | 1996-09-10 | Massachusetts Institute Of Technology | System for human trajectory learning in virtual environments |
JPH11198075A (ja) * | 1998-01-08 | 1999-07-27 | Mitsubishi Electric Corp | 行動支援装置 |
US6347261B1 (en) * | 1999-08-04 | 2002-02-12 | Yamaha Hatsudoki Kabushiki Kaisha | User-machine interface system for enhanced interaction |
JP2001166803A (ja) * | 1999-12-06 | 2001-06-22 | Nippon Telegr & Teleph Corp <Ntt> | ロボット行動ルール生成装置、ロボット制御装置、及びロボット教示装置、並びにセンサ付きロボット |
JP2002301674A (ja) * | 2001-04-03 | 2002-10-15 | Sony Corp | 脚式移動ロボット及びその運動教示方法、並びに記憶媒体 |
EP1262844A1 (en) * | 2001-06-01 | 2002-12-04 | Sony International (Europe) GmbH | Method for controlling a man-machine-interface unit |
US6604021B2 (en) * | 2001-06-21 | 2003-08-05 | Advanced Telecommunications Research Institute International | Communication robot |
US20060179022A1 (en) * | 2001-11-26 | 2006-08-10 | Holland Wilson L | Counterpart artificial intelligence software program |
WO2003063086A1 (fr) * | 2002-01-23 | 2003-07-31 | Michihiko Shouji | Systeme de traitement d'images, appareil de traitement d'images, et appareil d'affichage |
US7127326B2 (en) * | 2002-11-15 | 2006-10-24 | Iguana Robotics, Inc. | Certain principles of biomorphic robots including foot placement selection using non-geometric visual properties |
JP2005078376A (ja) * | 2003-08-29 | 2005-03-24 | Sony Corp | 対象物検出装置、対象物方法、及びロボット装置 |
GB2424723B (en) * | 2003-11-13 | 2007-09-19 | Japan Science & Tech Agency | Method for driving robot |
JP4179230B2 (ja) * | 2004-06-07 | 2008-11-12 | ソニー株式会社 | ロボット装置及びその動作制御方法 |
US7702420B2 (en) * | 2004-07-07 | 2010-04-20 | Panasonic Corporation | Method for making mobile unit accompany objective person |
JP4086024B2 (ja) * | 2004-09-14 | 2008-05-14 | ソニー株式会社 | ロボット装置及びその行動制御方法 |
JP4463120B2 (ja) * | 2005-01-17 | 2010-05-12 | 独立行政法人理化学研究所 | 身まねロボットシステムとその身まね動作制御方法 |
JP4517086B2 (ja) * | 2005-01-31 | 2010-08-04 | 株式会社国際電気通信基礎技術研究所 | コミュニケーションロボットシステムおよびロボット制御装置 |
US7313463B2 (en) * | 2005-03-31 | 2007-12-25 | Massachusetts Institute Of Technology | Biomimetic motion and balance controllers for use in prosthetics, orthotics and robotics |
JP2006314670A (ja) * | 2005-05-16 | 2006-11-24 | Kenichi Katsura | 歩行補助装置及びリハビリテーションシステム |
US8180486B2 (en) * | 2006-10-02 | 2012-05-15 | Honda Motor Co., Ltd. | Mobile robot and controller for same |
TWI306051B (en) * | 2006-12-14 | 2009-02-11 | Ind Tech Res Inst | Robotic apparatus with surface information displaying and interaction capability |
US20090132088A1 (en) * | 2007-04-24 | 2009-05-21 | Tairob Ltd. | Transfer of knowledge from a human skilled worker to an expert machine - the learning process |
US8909370B2 (en) * | 2007-05-08 | 2014-12-09 | Massachusetts Institute Of Technology | Interactive systems employing robotic companions |
JP5329856B2 (ja) * | 2008-06-27 | 2013-10-30 | 本田技研工業株式会社 | 行動推定システム |
JP5313562B2 (ja) * | 2008-06-27 | 2013-10-09 | 本田技研工業株式会社 | 行動制御システム |
JP5330138B2 (ja) * | 2008-11-04 | 2013-10-30 | 本田技研工業株式会社 | 強化学習システム |
KR20110003146A (ko) * | 2009-07-03 | 2011-01-11 | 한국전자통신연구원 | 제스쳐 인식 장치, 이를 구비한 로봇 시스템 및 이를 이용한 제스쳐 인식 방법 |
JP2011081380A (ja) * | 2009-10-08 | 2011-04-21 | Honda Motor Co Ltd | テルミン演奏ロボット |
-
2007
- 2007-06-14 JP JP2007157470A patent/JP5109098B2/ja not_active Expired - Fee Related
-
2008
- 2008-06-12 US US12/137,873 patent/US8315740B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20080312772A1 (en) | 2008-12-18 |
US8315740B2 (en) | 2012-11-20 |
JP2008307640A (ja) | 2008-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5109098B2 (ja) | 運動制御システム、運動制御方法および運動制御プログラム | |
Mülling et al. | A biomimetic approach to robot table tennis | |
US8175326B2 (en) | Automated scoring system for athletics | |
JP5489965B2 (ja) | 行動制御システムおよびロボット | |
Pastor et al. | Skill learning and task outcome prediction for manipulation | |
Riley et al. | Enabling real-time full-body imitation: a natural way of transferring human movement to humanoids | |
KR101789756B1 (ko) | 로봇 및 그 제어방법 | |
US8078321B2 (en) | Behavior control system | |
JP2022503776A (ja) | 視覚ディスプレイの補完的なデータを生成するためのシステム及び方法 | |
JP5465142B2 (ja) | ロボットおよびその行動制御システム | |
CN101515198A (zh) | 一种虚拟物体抓取与抛掷的人机交互方法及系统 | |
Semwal et al. | Biped model based on human Gait pattern parameters for sagittal plane movement | |
JPH10149445A (ja) | 身体動作解析可視化装置 | |
Gomez-Gonzalez et al. | Using probabilistic movement primitives for striking movements | |
CN110456902A (zh) | 跟踪用户移动以控制计算机系统中的骨架模型 | |
Qi et al. | General in-hand object rotation with vision and touch | |
Wang et al. | A generative human-robot motion retargeting approach using a single depth sensor | |
JP6851038B2 (ja) | 打具の挙動の解析装置 | |
Lai et al. | Self-learning for a humanoid robotic ping-pong player | |
Mülling et al. | Simulating human table tennis with a biomimetic robot setup | |
Ángel-López et al. | Kinematic hand analysis using motion capture technology | |
Hoshino et al. | Copycat hand—robot hand imitating human motions at high speed and with high accuracy | |
Infantino et al. | A cognitive architecture for robotic hand posture learning | |
Komura et al. | Real‐time locomotion control by sensing gloves | |
Röfer et al. | RoboCup 2011: Robot Soccer World Cup XV |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100611 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120409 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120904 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120911 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5109098 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |