JP4963264B2 - 駐車誘導方法及びシステム - Google Patents

駐車誘導方法及びシステム Download PDF

Info

Publication number
JP4963264B2
JP4963264B2 JP2007125882A JP2007125882A JP4963264B2 JP 4963264 B2 JP4963264 B2 JP 4963264B2 JP 2007125882 A JP2007125882 A JP 2007125882A JP 2007125882 A JP2007125882 A JP 2007125882A JP 4963264 B2 JP4963264 B2 JP 4963264B2
Authority
JP
Japan
Prior art keywords
vehicle
parking
guidance
guided
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007125882A
Other languages
English (en)
Other versions
JP2008279899A (ja
Inventor
尚久 橋本
晋 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2007125882A priority Critical patent/JP4963264B2/ja
Publication of JP2008279899A publication Critical patent/JP2008279899A/ja
Application granted granted Critical
Publication of JP4963264B2 publication Critical patent/JP4963264B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は、音声を利用した外部からの駐車誘導方法及びシステムに関する。
現在、道路交通の様々な問題解決や効率化のために、エレクトロニクスや情報通信技術を活用し、インテリジェント化、ネットワーク化などをはかり、システムとしてとらえていこうというITS(Intelligent Transport Systems)に関する研究が盛んである。その中で、交通事故や渋滞などの本質的な解決に期待されるAVCSS(Advanced Vehicle Control and Safety Systems:先進車両制御安全システム)に関する自動運転や運転支援の研究も盛んに行われている。
近年、運転能力にばらつきが大きいとされる高齢ドライバの増加に対して、安全で効率的な移動手段を確保する上で運転支援は重要であり、運転が苦手なドライバを含めた運転弱者への支援システムは今後、重要性がさらに増すものと考えられる。また、現在、市販化されてきている運転支援システムに関しては、車載装置を利用し1台の車両上で閉じたシステムがほとんどであるが、装置の搭載や支援の程度には限界があり、コストやオプションとしての設定可否も重要な問題となる。駐車支援システムにおいても、現在、様々なものが市販されているが、車載のセンサやアクチュエータを利用したものである(特許文献1〜4参照)。
支援システムを車載せずに、車外のシステムを利用することの利点は、車載のコストや車両への装着の限界に対応するばかりでなく、車載センサの計測限界にも対応可能となる点にある。必ずしも任意の場所で支援が受けられるわけではないという問題が生じるが、支援の必要な場面が、限定的であり、かつ多くの利用が見込まれるような応用においては、車載機器などのコストを考慮すれば、充分に現実的なシステムとなると考えられる。車両を誘導する際には、誘導を行うシステムは、誘導される車両の諸元、移動や操作量などを何らかの手段で得たり、推定したりする必要がある。
駐車支援システムにおいては、研究レベルでは完全自動化のものや、市販されているものでは操舵を自動化しドライバにアクセル、ブレーキ操作を行わせるもの、また、推定軌道や操作などの画面表示によってドライバに運転操作に対する情報提供や教示を行うものなどがある(非特許文献1,2参照)。ドライバへの運転操作に対する情報提供や教示では、どのような情報をどのような方法とタイミングで提供するかが重要であり、ドライバの反応による影響を考慮する必要がある。本発明者らは、外部からの駐車支援における運転指示方法として、いくつかの方法を提案し、評価を行っている。その結果、指示の遅れが非常に重要になることや外部からの操舵指示には単純な指示が好ましいとの結果が得られている(非特許文献3参照)。
特開2007−91047号公報 特開2006−327499号公報 特開2006−327326号公報 特開2006−88827号公報 酒井,広中,駐車操作時のドライバ負担軽減システムの研究,自動車技術会春季大会,No.10-06,p.9-12,20065014 (2006) M.Wada, K.S.Yoon, H.Hashimoto, Development of Advanced Parking Assistance System, IEEE Transactions on Industrial Electronics, Vol.50, No.1, pp.4-17, 2003. 橋本,加藤,美濃部,津川: 駐車支援における運転指示のためのHMI検討, Advanty Symposium, (2006). K. Matsumoto, H. Ota and T. Arai:Multiple camera image interface for assisting in the control of mobile robots,Advanced Robotics,Vol.19,No.1,p.39-53 (2005) 菅沼,尾西,権,藤原:ナンバープレートを利用した自動車の自動追尾走行,日本機械学会論文集,Vol.68,No.665,p.241-256 (2002) 大前,橋本,藤岡,清水,駐車場を有する構内における自動車の自動運転の運動制御に関する研究,自動車技術会論文集Vol.35-3,(2004),pp.235-240 加藤,橋本, 美濃部,津川,通信を利用した外部誘導システムの実フィールド検証,自動車技術会秋季大会講演前刷集,(2006) 加藤,橋本, 美濃部,津川,通信を利用した外部誘導システムの開発,自動車技術会春季大会講演前刷集,(2006) 橋本,加藤,美濃部,津川,外部からの駐車支援を行うための移動体の実フィールドによる検証,自動車技術会秋季大会講演前刷集,(2006) S. Kato, Y. Pan,S. Tsugawa:A New Concept of Driver Assistance with Cooperation between Two Vehicles,11th World Congress on Intelligent Transport Systems,CD-ROM (2004) 加藤,橋本,美濃部,川合,津川:車車間通信による協調型およびエスコート型運転支援システム,自動車技術会秋季大会,20055759 (2005) 橋本,加藤,美濃部,津川:外部からのセンシングを利用した車両誘導システムの開発,信学技報,ITS2005-87,p.47-52 (2006) 橋本,加藤,小森谷:外部からの駐車支援を行うための移動体の開発,自動車技術会春季大会,No.42-06,p.19-24,20065078 (2006)
本発明は、外部から車両位置や走行情報を獲得することと、駐車誘導を音声で行うことにより、車載コストやオプションの限界を解決することを目的としている。この音声での指示には、明確で簡素な言い回しを用いることで、受容性の高いシステムを構築することができる。
本発明は、駐車支援対象車両に対し、外部に設置されたセンサを利用して、その車両の位置、向き、大きさの情報を獲得する。得られた情報を元に、車両の目指す駐車場の情報(位置、向き)との関係から、必要な操舵量とアクセル・ブレーキの量を計算し、音声指示情報として送信して駐車支援を行う。
本発明の駐車誘導方法は、被誘導者が操作する被誘導車両に対して、駐車開始位置から駐車終了位置まで誘導する。被誘導車両の外部に駐車誘導装置を備え、該車両の状態をセンシングにより取得する。前記駐車誘導装置は、取得した車両状態に基づき車両理想軌道及び理想的な運転操作を算出し、かつ、障害物を検出して、被誘導者に対して音声指示をする。被誘導者は、前記駐車誘導装置からの音声指示に基づき車両操作を行う。
また、本発明の駐車誘導システムは、被誘導車両の外部に、車両状態を含む環境認識機能、通信機能、及び誘導機能を有する駐車誘導装置を備える。該環境認識機能により該車両の状態をセンシングにより取得し、前記誘導機能は、取得した車両状態に基づき車両理想軌道及び理想的な運転操作を算出する手段、及び障害物を検出する手段を備える。前記通信機能は、前記誘導機能が算出しかつ検出した結果を、被誘導者に対して音声指示する手段を備える。
本発明によれば、駐車という自動車の運転において最も負担のかかる運転操作に対して、新たに車載センサや支援提示装置などを加えることなく、外部の誘導装置により安全に効率的に駐車を行うことができる。また、音声による指示であるため、運転に集中することができるとともに、使いやすいシステムとなっている。
本発明は、外部誘導の中でも駐車における誘導を想定し、かつ装置の車載に対してコスト負担を小さくすることを目的として、車載ラジオからの単純化した音声指示による方法を採用する。被験者による実車実験によってその評価を行った結果、音声の指示のみで駐車が行えることを確認し、外部からの駐車支援システムにおける非常に有効な操作指示方法を確立することができた。
図1に、本発明に基づき構成される車両誘導システムの概念を示す図である。この図にあるように、車両誘導システムは、基本部分(駐車誘導装置)を支援される車両に車載していないが、その配置はインフラとして固定されているものばかりでなく、他の車両に搭載することも考えられる。車両誘導装置に必要な基本的な機能は、位置・状態を含む環境認識機能、通信機能、誘導機能といえる。本発明では、これらの機能を車両の外部に配置し、それらからの情報を利用することで、環境認識機能の拡張、車載コストの低減などを図ろうというものである。ただし、機能の分散配置や車載されている機能の利用も考えられる。外部からの誘導であるため、主たる誘導機能が外部にあることが特徴であり、これにより車載装置における負担、コストの軽減や複数車両への統一した判断情報の提供などが期待できる。車両の状態及び基礎情報(位置、向き、速度、ヨーレート、車幅、車長)を計測するセンサとして、レーザーレンジファインダ(LRF: SICK社製)を用いることができる。レーザレンジファインダとは、水平方向にレーザを一定角度毎に照射し、その距離を算出する。レーザレンジファインダ(LRF)の検知エリアを、図1中に点線の半円で示している。なお、これらの車両の情報を得られるセンサであれば、如何なるセンサでも使用は可能である(例、画像センサ等)。
図2は、本発明に基づき構成される車両誘導システム構成を例示する図である。図示の車両誘導システムは、駐車場に固定された車両誘導装置と、車両に備えられているFMラジオとから構成される。車両誘導装置は、さらに、演算機能を有する計算機(演算機器)と、車両の状態(位置・向き)推定センサ及び障害物検出センサと、演算機器に接続された通信機器(FMトランスミッタ)とから構成される。この通信機器に代えて、スピーカを用いることもできる。本発明では、半固定式の駐車誘導装置に備えたFMトランスミッタを利用して、FMラジオ(カーステレオ)経由による音声のみでの操作指示を行う。
必要機能の実現には、様々な技術を用いることができる。例えば、環境認識機能で重要な誘導支援を受ける車両の位置や向きを認識する技術としては、相手との相対位置を把握するセンシングとして、ビジョンや超音波などによる手法(非特許文献4,5参照)の活用などが考えられる。通信機能は、あくまで、情報伝達の手段であり、必ずしも無線通信装置を指すものでなく、原始的ではあるが外部スピーカによる音での伝達も考えられる。ただし、安全性に関わる応用では、高い信頼性が要求される。誘導機能は、後述する応用によって、様々に考えられるが、誘導制御の遅延に考慮した誘導のアルゴリズムなどの構築とともに、ドライバへの情報提示の方法やロバスト性、フェールセーフなども重要である。誘導支援を受ける車両からの情報を、外部装置によって推定することで、通信手段の簡易化や適応可能車両の大幅な拡大を図ることが可能になる。
図3は、駐車誘導システムの動作の流れを示すフロー図である。下記にシステムのフロー順を追って記述する。
1)被誘導者(ドライバ)が操作開始して、車両(運転される車)を駐車開始位置まで移動する。
2)駐車誘導装置は、誘導を開始して、ドライバに対して音声などの合図により開始の指示をする。
3)駐車誘導装置は、車両状態をセンシングにより取得して、車両位置、向き、速度、ヨーレートを取得する。
4)開始の指示を受けて、ドライバは、車両を操作する。
5)駐車誘導装置は、車両の現在の位置、向きからの車両理想軌道及び理想的な運転操作を算出し、また、障害物を検出する。そして、ドライバに対して、単純化した音声指示をする。
6)ドライバは、音声指示に基づき車両操作を行った後、車両移動を終了する。
7)ドライバは、駐車誘導装置からの駐車支援の終了指示を受けて、駐車完了を確認する。そして、駐車誘導装置は、駐車支援を終了する。
車両誘導装置から被誘導車両には、被誘導車両と目標駐車スペースの位置や向きの相対関係を利用して、精度良く駐車を行うための操舵変化量、駆動制動量を制御アルゴリズムから算出し、誘導情報として提供する機能が必要である。自動駐車の場合には、この情報により、アクチュエータを駆動することになるが、ヒューマンマシンインターフェース(HMI)によるドライバへの運転指示の場合は、提示情報の基として活用する。
車両の駐車誘導制御アルゴリズムは、非特許文献6で用いられている制御手法を用いて操舵変化量の算出を行うことができる。この制御手法の特徴は、車体のホイールベース等の幾何的なパラメータやコーナリングパワーなどの力学的パラメータに依存しないという特徴があるため、実際に不特定多数の車両に対応できる。駐車スペースの位置と向きの情報は、車両誘導システムが地図データベースなどにより、取得することができる。被誘導車両の位置に関して、非特許文献6に記載されているように、重心位置を利用することができるが、簡易的には中心位置を利用することもできる。
情報指示方法として、外部誘導装置が算出した目標操舵角に応じて音声を用いた操舵指示を行う。音声での細かい指示(少し右、大きく右などの数種類の指示)は、運転者にとって混乱を招くことになることや外部からの支援のため、車両の操舵角を精度よく推定することが非常に困難であることから、指示を出す時における操舵角の情報を必要としない、かつ単純な音声による指示手法を用いる。
車両誘導システムが被誘導車両の状態推定の結果に基づいて、通信手段により被誘導車両のドライバに対する位置の情報提示や運転操作指示のみを行い、ドライバがその情報に基づいて、車両をマニュアル運転により駐車する実験を行った。実験では、それぞれ運転歴の異なる2名の被験者に先に述べた情報提示方法での駐車支援による駐車走行を試し、音声指示のHMIとしての評価をインタビューによる主観評価と、走行軌跡などによる客観評価を行った。車両の位置、向き、大きさの情報を獲得するためのセンサの一例としてレーザーレンジセンサを利用し、操舵指示情報や速度情報、障害物情報をスピーカーから直接、ドライバへ伝達することやFMトランスミッタを介してFMラジオへ指示情報を送信し、駐車誘導指示を行うことで安全で効率的な駐車を行うことができることを、被験者の実走行実験により確認できた。
自動車の駐車方法は縦列駐車など様々にあるが、ここでは走路と垂直に設置された駐車スペースに対して後退して停止させる一般的な場合を想定した。実験では縦と横がそれぞれ5.2[m]、2.8[m] の駐車スペースを利用した。この駐車スペースに対し、レーザレンジファインダ(LRF)を用いた被誘導車両の状態推定方法(非特許文献7〜13)を利用するため、車両の二つの面(側面と背面)をとらえられる位置として、図1に示すように車両誘導装置を駐車スペースの後部左端に設置した。通信装置にはFMトランスミッタを用い、50[msec]の周期で、運転操作指示情報を伝達させた。
車両の状態推定センサとして、実験では、SICK社製のLRF(LMS291)を用い、高さ0.41[m]の計測平面を180度に0.5度間隔で物体との距離を計測するように設定した。この駐車誘導制御アルゴリズムでは、中心位置に対して多少の誤差(数十[cm]程度)がある場合にも、駐車スペース内に収まるように車両を誘導できることが、シミュレーションにより示されている(非特許文献8)。また、このアルゴリズムの中で考慮されている通信遅れを本実験では、0.05[msec]で一定とした。速度制御は、駐車支援開始から極低速走行を保持させ、駐車スペースに入った後に、停止を指示するようにしている。
音声の指示は、音声を左右1段階と直進、保持の合計4パターンに限った音声指示とした。音声の指示は、目標操舵角を閾値でわけ、その閾値を超えた目標角度が要求された場合において、その操舵角が左であれば「左にきってください」、右であれば「右にきってください」と指示を行う。同様に、その閾値を超えない、すなわち目標操舵角が0に近い場合は、「ゆっくりもどしてください」と指示を行う。それぞれ同じ指示が3回繰り返された場合は、目標操舵に至ったと考え、4回目以降は、「そのままさがってください」と指示を行い運転者への指示連呼による煩わしさを避けるようにした。
実験において、音声は一つの再生が終わるまで割り込みをさせないように、約2[sec]の更新周期とした。操舵指示の更新周期は、目標操舵角の計算周期である支援システムの制御周期50[ms]であるため、操舵角の40回算出分の平均を用いた。
実験は、1つのLRFを用いた被誘導車両の状態推定のため、周辺状況の制約があったが、被誘導車両との相対位置関係を他のセンサや併用で実現すれば、より広範囲の支援が可能となる。駐車誘導装置は、固定である必要はないため、空き駐車スペースを順次、移動させる機構によって支援範囲を広げることが可能になる。
本発明に基づき構成される車両誘導システムの概念を示す図である。 本発明に基づき構成される車両誘導システム構成を例示する図である。 駐車誘導システムの動作の流れを示すフロー図である。

Claims (6)

  1. 被誘導者が操作する被誘導車両に対して、駐車開始位置から駐車終了位置まで誘導する駐車誘導方法において、
    少なくとも車両位置、向き、速度、及びヨーレートを含む被誘導車両の状態をセンシングにより取得する駐車誘導装置を該車両の外部に備え、
    前記駐車誘導装置は、取得した車両状態に基づき車両理想軌道及び理想的な運転操作を算出し、かつ、障害物を検出して、被誘導者に対して音声指示をし、
    被誘導者は、前記駐車誘導装置からの音声指示に基づき車両操作を行うことから成る駐車誘導方法。
  2. 前記音声指示は、目標操舵角を閾値でわけ、その閾値を超えたか否かに応じて単純化したものである請求項1に記載の駐車誘導方法。
  3. 被誘導者が操作する被誘導車両に対して、駐車開始位置から駐車終了位置まで誘導する駐車誘導システムにおいて、
    被誘導車両の外部に、車両状態を含む環境認識機能、通信機能、及び誘導機能を有する駐車誘導装置を備え、
    該環境認識機能により少なくとも車両位置、向き、速度、及びヨーレートを含む該車両の状態をセンシングにより取得し、
    前記誘導機能は、取得した車両状態に基づき車両理想軌道及び理想的な運転操作を算出する手段、及び障害物を検出する手段を備え、
    前記通信機能は、前記誘導機能が算出しかつ検出した結果を、被誘導者に対して音声指示する手段を備える、
    ことから成る駐車誘導システム。
  4. 前記車両の状態を計測するセンサとして、レーザーレンジファインダを用い、かつ、該レーザーレンジファインダは、車幅及び車長を含む車両の基礎情報も併せて計測する請求項に記載の駐車誘導システム。
  5. 前記音声指示をする手段は、車両に備えられているラジオ受信機を介して操作指示をする通信機器、或いは、音声により直接指示するスピーカである請求項に記載の駐車誘導システム。
  6. 前記誘導機能は、被誘導車両と目標駐車スペースの位置や向きの相対関係を利用して駐車を行うための操舵変化量、駆動制動量を制御アルゴリズムから算出し、誘導情報として提供する機能である請求項に記載の駐車誘導システム。
JP2007125882A 2007-05-10 2007-05-10 駐車誘導方法及びシステム Active JP4963264B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007125882A JP4963264B2 (ja) 2007-05-10 2007-05-10 駐車誘導方法及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007125882A JP4963264B2 (ja) 2007-05-10 2007-05-10 駐車誘導方法及びシステム

Publications (2)

Publication Number Publication Date
JP2008279899A JP2008279899A (ja) 2008-11-20
JP4963264B2 true JP4963264B2 (ja) 2012-06-27

Family

ID=40141085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007125882A Active JP4963264B2 (ja) 2007-05-10 2007-05-10 駐車誘導方法及びシステム

Country Status (1)

Country Link
JP (1) JP4963264B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5657410B2 (ja) * 2011-02-04 2015-01-21 本田技研工業株式会社 車両の走行制御装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3804404B2 (ja) * 2000-06-16 2006-08-02 オムロン株式会社 車両検出装置
JP2004054696A (ja) * 2002-07-22 2004-02-19 Yazaki Corp 駐車場内誘導システムとそのシステム用車載器
JP4402400B2 (ja) * 2003-08-28 2010-01-20 オリンパス株式会社 物体認識装置
JP2006315460A (ja) * 2005-05-10 2006-11-24 Toyota Motor Corp 駐車支援装置

Also Published As

Publication number Publication date
JP2008279899A (ja) 2008-11-20

Similar Documents

Publication Publication Date Title
CN105938365B (zh) 车辆控制装置
JP6559194B2 (ja) 運転支援装置、運転支援方法、およびプログラム
US9459180B2 (en) Method for testing the operability of a driver assistance system installed in a test vehicle
CN110239545B (zh) 车辆控制装置、车辆控制方法及存储介质
CN103765487B (zh) 驾驶辅助装置以及驾驶辅助方法
JP6788751B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20200241549A1 (en) Information processing apparatus, moving apparatus, and method, and program
KR20180135846A (ko) 자율 주행 차량을 위한 차로 연석 보조의 차로 이탈 점검 및 차로 유지 시스템
CN105835886A (zh) 驾驶辅助装置
US11247724B2 (en) Vehicle parking control
US20150094878A1 (en) Vehicle control apparatus
JP2020166633A (ja) 管理装置、管理方法、およびプログラム
US11496707B1 (en) Fleet dashcam system for event-based scenario generation
CN110281935B (zh) 车辆控制装置、车辆控制方法及存储介质
CN110473416A (zh) 车辆控制装置
CN106080595A (zh) 车辆行驶控制装置
JP2019137189A (ja) 車両制御システム、車両制御方法、およびプログラム
JP2017146945A (ja) 先導ロボット
WO2021153176A1 (ja) 自律移動装置、自律移動制御方法、並びにプログラム
JP2019067295A (ja) 車両制御装置、車両制御方法、およびプログラム
KR20180012128A (ko) 차량의 3차원 위치 추정 장치 및 그 방법
CN112230645B (zh) 用于控制无人驾驶车辆的操纵杆控制的安全机制
JP2021126950A (ja) 駐車支援装置
JP2011189874A (ja) 駐車支援方法及びシステム
JP2011063106A (ja) 車両制御装置および車両制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111109

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20111109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120216

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120313

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120322

R150 Certificate of patent or registration of utility model

Ref document number: 4963264

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250