JP3930309B2 - 車両用運転支援装置 - Google Patents

車両用運転支援装置 Download PDF

Info

Publication number
JP3930309B2
JP3930309B2 JP2001377579A JP2001377579A JP3930309B2 JP 3930309 B2 JP3930309 B2 JP 3930309B2 JP 2001377579 A JP2001377579 A JP 2001377579A JP 2001377579 A JP2001377579 A JP 2001377579A JP 3930309 B2 JP3930309 B2 JP 3930309B2
Authority
JP
Japan
Prior art keywords
vehicle
traveling path
offset amount
amount
white line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001377579A
Other languages
English (en)
Other versions
JP2003178398A (ja
Inventor
靖 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK filed Critical Fuji Jukogyo KK
Priority to JP2001377579A priority Critical patent/JP3930309B2/ja
Publication of JP2003178398A publication Critical patent/JP2003178398A/ja
Application granted granted Critical
Publication of JP3930309B2 publication Critical patent/JP3930309B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、自車両の現在の走行状態に基づいて進行路を推定する車両用運転支援装置に関する。
【0002】
【従来の技術】
最近では、自動車にカメラやミリ波レーダ/赤外線レーザ・レーダ等を搭載して前方の車両や障害物を認識し、それらに衝突する危険度を判定して運転者に警報を発したり、自動的にブレーキを作動させて停止させる或いは先行車との車間距離を安全に保つよう自動的に走行速度を増減する等の技術が積極的に開発されている。
【0003】
このような車両では、先行車を認識物の中から正しく選択することが重要であり、そのためには、自分の車両の進もうとする進行路を正確に把握することが必要となる。この進行路を把握するための代表的な技術としては、カメラにより道路面の画像を撮影し、画像の中から道路に描かれた白線を検出する技術、舵角やヨーレート及び車速等の実際の車両の挙動に基づいて道路曲率を推定する技術があり、前者のカメラの画像による技術は、例えば、特開平9−264954号公報に開示されている。
【0004】
【発明が解決しようとする課題】
しかしながら、カメラにより道路面の画像を撮影し、画像の中から道路に描かれた白線を抽出する技術は、推定精度が高いものの、雨天等の悪条件下や白線のない道路では使用不可能であり、一方、車両挙動に基づいて自車両の進行路を推定する技術は、悪天候下でも使用可能な反面、推定精度が劣り、特に直線路からカーブに突入する場合には、舵角・ヨーレートがカーブに突入するまで変化しないため、進行路変化の認識に遅れを生じる。
【0005】
本発明は上記事情に鑑みてなされたもので、道路上の白線の認識が困難な場合であっても、自車両の進行路を高精度且つ迅速に推定可能な車両用運転支援装置を提供することを目的としている。
【0006】
【課題を解決するための手段】
上記目的を達成するため、請求項1記載の発明は、自車両の現在の走行状態に基づいて自車両の進行路を推定する自車進行路推定手段と、自車両前方を走行する併走車両と上記進行路との横方向のオフセット量を求め、このオフセット量をフィルタ処理するオフセット量算出手段と、上記フィルタ処理したオフセット量と上記併走車両の位置とに基づいて、自車両の通過位置を算出する通過位置算出手段と、上記進行路と上記通過位置との差分が自車両からの距離に比例するものとして比例係数を求め、この比例係数に従って上記進行路を補正する進行路補正手段と、自車両に対する道路の白線の横方向位置の変化から自車の横方向移動量を求め、この自車両の横方向移動量分だけ上記フィルタ処理したオフセット量を修正する修正手段とを備えたことを特徴とする。
【0008】
すなわち、請求項1記載の発明は、自車両前方を走行する併走車両と自車両の現在の走行状態に基づいて推定した進行路との横方向のオフセット量を求めてフィルタ処理し、このフィルタ処理したオフセット量と併走車両の位置とに基づいて自車両の通過位置を算出する。そして、この通過位置と推定した進行路との差分が自車両からの距離に比例するものとして比例係数を求め、この比例係数に従って推定した進行路を補正し、自車両に対する道路の白線の横方向位置の変化から自車の横方向移動量を求め、この自車両の横方向移動量分だけフィルタ処理したオフセット量を修正することで、自車両の進行路を高精度且つ迅速に推定可能とする。
【0010】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図1〜図10は本発明の実施の参考例に係わり、図1は運転支援装置の構成図、図2は自車進行路の補正処理を示すフローチャート、図3は進行路の誤差を示す説明図、図4は直線からカーブに侵入するときに生じる自車進行路の誤差を示す説明図、図5はオフセット量を示す説明図、図6はオフセット量のフィルタ処理を示す説明図、図7は自車進行路の通過位置に対する差分の説明図、図8は差分の最小二乗推定値の算出を示す説明図、図9は自車進行路の補正を示す説明図、図10は直線からカーブへの突入時における自車両と併走車両との関係を示す説明図である。
【0011】
図1において、符号1は、車両前方の道路状況を認識し、車両の自動制御や接近警報の生成等を行う運転支援装置であり、マイクロコンピュータ等からなるコントローラ2を中心として構成され、前方監視センサとしてミリ波レーダ3とカメラ4とを備えている。コントローラ2は、ミリ波レーダ3及びカメラ4から得られる車両前方情報と、ヨーレートセンサ5、車速センサ6、舵角センサ7から得られる車両挙動情報とを処理し、車両制御情報を図示しない車両制御装置に出力したり、先行車に異常接近する虞が有る場合には、警報用スピーカ8から接近警報を出力して運転者の注意を喚起する等の運転支援を行う。
【0012】
コントローラ2による道路状況の認識においては、認識物の中から先行車を正しく選択することが重要であり、そのためには、自車の進もうとするコース(自車進行路)を正確に知る必要がある。自車進行路は、カメラ4で撮像した画像から道路上の白線を認識することで把握することが可能であるが、白線の無い道路や悪天候等により白線の認識ができない場合には、ヨーレート、舵角、車速等の車両挙動情報により自車進行路を推定する。そして、自車の前方を走行する車両や対向車(以下、「併走車両」と呼ぶ)をミリ波レーダ3で検出し、検出した併走車両が自車進行路からどの程度離れているか(オフセットしているか)を記憶し、このオフセット量の記憶値に基づいて自車進行路を補正することにより、自車両進行路の推定精度を向上させることができる。
【0013】
すなわち、コントローラ2は、本発明に係わる自車進行路推定手段、オフセット量算出手段、通過位置算出手段、進行路補正手段としての機能を備え、基本的に、図2に示す自車進行路の補正処理を実行することで、各手段の機能を実現する。以下、自車進行路の補正処理について、図2のフローチャートを用いて説明する。
【0014】
この自車進行路補正処理は、先ず、ステップS10で、ヨーレートセンサ5で検出した自車両のヨーレートと、舵角センサ7で検出した自車両の舵角と、車速センサ6で検出した自車両の車速とに基づいて、現在の車両の走行状態が保持されると仮定した場合の自車進行路を算出する。尚、自車進行路は、舵角を省略してヨーレートと車速とに基づいて算出しても良い。
【0015】
次いで、ステップS11へ進み、ミリ波レーダ3及びカメラ4の計測データに基づく認識物の更新結果から得られる併走車両の距離・左右方向位置を用いて併走車両の自車進行路からのオフセット量を算出する。そして、ステップS12で、算出したオフセット量をフィルタ処理する。
【0016】
すなわち、ヨーレート、舵角、車速の計測結果に基づいて算出した自車進行路は、図3に示すように、時刻t=t0,t1,…と刻々変化する走行状況に対し、各時刻での走行状態が維持されると仮定して算出したものであるため、真値に対して誤差をもっている。また、直線からカーブに突入する場合を想定すると、図4に示すように、前方にカーブがあってもヨーレートや舵角には変化がないため、自車進行路は直線と推定されてしまい、カーブに入ってからヨーレートや舵角の変化を検出しても遅く、追従遅れを生じる。
【0017】
一方、併走車両の自車進行路からのオフセット量は、自車進行路の推定誤差のため、計測値にばらつきを持つものの、併走車両或いは自車両が車線変更を行わない限り、ほぼ一定値となる。従って、図5に示すように、併走車両と自車進行路との間の横方向の距離をオフセット量として求め、図6に示すように、時系列的に継続して求めたオフセット量のデータを、加重平均等によってフィルタ処理することで、真値に近い値を得ることができる。
【0018】
このオフセット量をフィルタ処理する際のデータは、ミリ波レーダ3及びカメラ4による前方監視センサからの計測データに基づく処理において常に最新のデータに更新される。すなわち、前方監視センサからの計測データに基づく処理のステップS5で、前方監視センサの計測データから併走車両を認識し、前回認識した併走車両の距離・速度・左右方向位置等のデータから、今回認識した併走車両が前回のどれと同じものであるかを判別する。そして、ステップS6で、新たに認識した併走車両の距離・速度・左右方向位置の更新データ、及びオフセット量フィルタリング値の更新データを記録する。
【0019】
その後、ステップS12からステップS13へ進み、オフセット量のフィルタリング値と併走車両の距離・左右方向位置とに基づき、自車進行路の通過位置を算出する。そして、ステップS14で、自車進行路と通過位置との差分を、併走車両までの距離毎に算出する。すなわち、図7に示すように、白丸で示す併走車両の位置からフィルタ処理したオフセット量だけずらした位置が自車両が通過すると推定される位置(黒丸で示す位置)であり、この推定通過位置と、ヨーレート・舵角・車速から算出した自車進行路との差分を、併走車両までの距離毎に算出する。
【0020】
続くステップS15では、自車進行路と通過位置との差分が距離に比例して変化するものと仮定し、その比例係数を算出する。すなわち、通常の一般道路や高速道路等を走行する場合の自車進行路は、所定距離の区間毎に直線で近似して折れ線状に連結することが可能であり、直線で近似した一つの区間においては、ヨーレート・舵角・車速から算出した自車進行路と真の自車進行路との差分は、併走車両までの距離に比例し、横軸に併走車両までの距離、縦軸に上述の差分を取ってデータをグラフ化すると、図8に示すように、各データが所定の直線の近傍に分布する。
【0021】
従って、ステップS15においては、データ系列を近似する直線式を最小二乗法により求め、その直線の傾き(比例係数)を得る。そして、ステップS16で、差分の最小二乗推定値である比例係数に基づいて自車進行路の補正値を各距離毎に算出した後、図9に示すように、この補正値を用いて自車進行路を補正し、補正された自車進行路を出力して処理を終了する。
【0022】
これにより、白線の無い道路や悪天候等により白線が検出できない場合であっても、ヨーレート・舵角・車速から算出した自車進行路を真の自車進行路に近づけることができ、自車進行路の推定精度を向上することができる。この場合、図10に示すように、直線からカーブに突入するときにも、併走車両がカーブに合わせて動くことにより、自車進行路がカーブしていることを認識することができ、遅れなく追従することができる。
【0023】
次に、本発明の実施の形態について説明する。図11〜図13は本発明の実施の形態に係わり、図11は接近警報生成処理を示すフローチャート、図12は車線変更によるオフセット量の変化を示す説明図、図13は白線位置の移動量と自車両の移動量との関係を示す説明図である。
【0024】
形態は、前述の参考例に対し、自車両の近傍で道路の白線を認識可能な場合、白線位置から自車両の左右方向の移動量を算出し、この移動量に応じて併走車両のオフセット量のフィルタリング値を修正する修正手段としての機能を追加するものである。以下、このフィルタリング値の修正処理について、先行車両への接近情報を生成する場合を例に取って説明する。
【0025】
図13に示す接近警報生成処理では、先ず、ステップS101で、カメラ4の画像データから、エッジ抽出や白線テンペレートとのマッチング等によって道路の白線を認識し、ステップS102で、遠距離まで白線が認識できているか否かを調べる。その結果、遠距離までの白線認識が可能な場合には、ステップS102からステップS103へ進んでミリ波レーダ3の計測による認識物データを読込み、白線内に入った認識物のうち、最も近傍に位置するものを先行車として選出する。そして、ステップS103からステップS112へ進み、先行車までの距離が規定値以下になり、且つ規定値以上の相対速度で先行車に接近している場合、接近警報を生成し、警報用スピーカ8を駆動して運転者に警告を発する。
【0026】
一方、ステップS102において、遠方まで白線を検出していない場合には、ステップS102からステップS104へ進み、車速とヨーレートとから自車進行路を生成する。次に、ステップS105で、ミリ波レーダ3の計測による認識物データから併走車両が有るか否かを調べ、併走車両がない場合には、先行車を選出するステップS111及び警報を生成するステップS112をスルーして本処理を抜け、併走車両が有る場合、ステップS106へ進んで近傍の白線を検出しているか否かを調べる。
【0027】
このとき、併走車両に対し、ミリ波レーダ3による認識結果、ヨーレート計測データ、及び車速計測データに基づく処理が並列に実行され、ステップS50で、併走車両のオフセット量が算出されてフィルタ処理され、フィルタリング値が保存される。尚、このステップS50の処理は、参考例で説明した自車進行路補正処理(図2参照)のステップS10〜S12の処理、前方監視センサからの計測データに基づく処理のステップS5,S6に該当するものである。
【0028】
そして、ステップS106で近傍の白線を検出していない場合、すなわち、白線の無い道路や悪天候等で白線が検出できない場合には、ステップS106からステップS109へ進み、併走車両のオフセット量フィルタリング値に基づいて自車進行路の補正値を生成した後、ステップS110で、この補正値に基づいて自車進行路を補正する。自車進行路の補正値は、参考例で説明した自車進行路補正処理(図2参照)のステップS13〜S16と同様に算出する。
【0029】
また、ステップS106で近傍の白線を検出している場合には、ステップS106からステップS107へ進み、前回の白線の位置と今回の白線の位置とから自車両の左右方向移動量を算出する。そして、ステップS108で、この自車両の左右方向移動量分だけオフセット量フィルタリング値を増加或いは減少させて修正し、ステップS109で、修正されたオフセット量フィルタリング値を用いて自車進行路の補正値を生成した後、ステップS110で、この補正値に基づいて自車進行路を補正する。
【0030】
すなわち、図12に示すように、時刻t=t0で所定の車線を走行している自車両が車線を変更して時刻t=t1で隣の車線に移動すると、時刻t=t0から時刻t=t1になったとき、各併走車両のオフセット量が一斉に車線変更分だけずれることになる。従って、この車線変更に伴う自車両の横方向移動分だけオフセット量フィルタリング値を修正することで、より精度の高い自車進行路を得ることができる。自車両の横方向の移動量は、図13に示すように、時刻t=t0,t1,t2,…での白線の移動量に等しいため、白線の検出位置の変化量に基づいて自車両の横方向移動量を算出することができる。
【0031】
その後、ステップS110からステップS111へ進み、補正した自車進行路内の認識物のうち、最も近傍に位置するものを先行車として選出する。そして、前述のステップS112へ進み、先行車までの距離が規定値以下になり、且つ規定値以上の相対速度で先行車に接近している場合、接近警報を生成して警報用スピーカ8を駆動し、運転者に警告を発する。
【0032】
形態では、白線の認識距離が自車近傍に限定される場合、車線変更に伴う自車両の横方向移動を併走車両のオフセット量に反映させることができ、より精度の高い自車進行路を得ることができる。
【0033】
【発明の効果】
以上説明したように本発明によれば、道路上の白線の認識が困難な場合であっても、自車両の進行路を高精度且つ迅速に推定可能となる。
【図面の簡単な説明】
【図1】 本発明の実施の参考例に係わり、運転支援装置の構成図
【図2】 同上、自車進行路補正処理のフローチャート
【図3】 同上、進行路の誤差を示す説明図
【図4】 同上、直線からカーブに侵入するときに生じる自車進行路の誤差を示す説明図
【図5】 同上、オフセット量を示す説明図
【図6】 同上、オフセット量のフィルタ処理を示す説明図
【図7】 同上、自車進行路の通過位置に対する差分の説明図
【図8】 同上、差分の最小二乗推定値の算出を示す説明図
【図9】 同上、自車進行路の補正を示す説明図
【図10】 同上、直線からカーブへの突入時における自車両と併走車両との関係を示す説明図
【図11】 本発明の実施の形態に係わり、接近警報生成処理を示すフローチャート
【図12】 同上、車線変更によるオフセット量の変化を示す説明図
【図13】 同上、白線位置の移動量と自車両の移動量との関係を示す説明図

Claims (1)

  1. 自車両の現在の走行状態に基づいて自車両の進行路を推定する自車進行路推定手段と、 自車両前方を走行する併走車両と上記進行路との横方向のオフセット量を求め、このオフセット量をフィルタ処理するオフセット量算出手段と、
    上記フィルタ処理したオフセット量と上記併走車両の位置とに基づいて、自車両の通過位置を算出する通過位置算出手段と、
    上記進行路と上記通過位置との差分が自車両からの距離に比例するものとして比例係数を求め、この比例係数に従って上記進行路を補正する進行路補正手段と
    自車両に対する道路の白線の横方向位置の変化から自車の横方向移動量を求め、この自車両の横方向移動量分だけ上記フィルタ処理したオフセット量を修正する修正手段とを備えたことを特徴とする車両用運転支援装置。
JP2001377579A 2001-12-11 2001-12-11 車両用運転支援装置 Expired - Fee Related JP3930309B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001377579A JP3930309B2 (ja) 2001-12-11 2001-12-11 車両用運転支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001377579A JP3930309B2 (ja) 2001-12-11 2001-12-11 車両用運転支援装置

Publications (2)

Publication Number Publication Date
JP2003178398A JP2003178398A (ja) 2003-06-27
JP3930309B2 true JP3930309B2 (ja) 2007-06-13

Family

ID=19185502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001377579A Expired - Fee Related JP3930309B2 (ja) 2001-12-11 2001-12-11 車両用運転支援装置

Country Status (1)

Country Link
JP (1) JP3930309B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4163695B2 (ja) * 2005-03-16 2008-10-08 本田技研工業株式会社 先行車認識装置
JP4046742B2 (ja) * 2005-07-14 2008-02-13 三菱電機株式会社 道路形状推定装置
JP2007087203A (ja) * 2005-09-22 2007-04-05 Sumitomo Electric Ind Ltd 衝突判定システム、衝突判定方法及びコンピュータプログラム
KR102167087B1 (ko) * 2014-02-18 2020-10-16 주식회사 만도 차량의 레인 고스트 여과 방법 및 시스템
JP6723836B2 (ja) * 2016-06-03 2020-07-15 株式会社デンソーテン レーダ装置および信号処理方法
JP6962726B2 (ja) * 2017-07-10 2021-11-05 株式会社Soken 走路認識装置
KR102019383B1 (ko) * 2017-11-13 2019-09-06 현대오트론 주식회사 차량 추적 장치 및 그것의 동작 방법
CN111986489B (zh) * 2019-11-07 2021-08-03 深圳鼎然信息科技有限公司 交通工具的智能安全预警方法、装置、系统及存储介质

Also Published As

Publication number Publication date
JP2003178398A (ja) 2003-06-27

Similar Documents

Publication Publication Date Title
CN109649393B (zh) 一种自动驾驶变换车道的路径规划方法及装置
US11124163B2 (en) Method for controlling travel of vehicle, and device for controlling travel of vehicle
US9849878B2 (en) System and method for providing a corrected lane following path through a curve for trailering vehicles
US9751529B2 (en) Lane sensing through lane marker identification for lane centering/keeping
US10239539B2 (en) Vehicle travel control method and vehicle travel control device
US6489887B2 (en) Lane-keep assisting system for vehicle
US8320626B2 (en) Image processing apparatus
EP2251238B1 (en) Vehicle travel support device, vehicle, and vehicle travel support program
US8520954B2 (en) Apparatus for detecting lane-marking on road
JP6696593B2 (ja) 走行履歴の記憶方法、走行軌跡モデルの生成方法、自己位置推定方法、及び走行履歴の記憶装置
US20220169280A1 (en) Method and Device for Multi-Sensor Data Fusion For Automated and Autonomous Vehicles
JP7279053B2 (ja) 車線を変更するときに、自動車両と、車両の隣の走行車線にある2次物体との間の衝突リスクを検知するためのシステムおよび方法
US20050278112A1 (en) Process for predicting the course of a lane of a vehicle
EP3410417B1 (en) Vehicle travel control method and vehicle travel control device
JP6911312B2 (ja) 物体識別装置
CN110167813B (zh) 行驶路径识别装置及行驶路径识别方法
CN109689459B (zh) 车辆的行驶控制方法及行驶控制装置
JP4856525B2 (ja) 先行車両離脱判定装置
JP3930309B2 (ja) 車両用運転支援装置
US10970870B2 (en) Object detection apparatus
CN103797788A (zh) 车载摄像头的光轴掌握装置
JP6314655B2 (ja) 標示線検出装置、標示線検出方法
JP6609292B2 (ja) 車外環境認識装置
CN114084129A (zh) 一种基于融合的车辆自动驾驶控制方法及系统
US11987251B2 (en) Adaptive rationalizer for vehicle perception systems toward robust automated driving control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070308

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3930309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100316

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120316

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120316

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130316

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130316

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140316

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees