JP5223563B2 - 警告装置及び警告方法 - Google Patents

警告装置及び警告方法

Info

Publication number
JP5223563B2
JP5223563B2 JP2008246506A JP2008246506A JP5223563B2 JP 5223563 B2 JP5223563 B2 JP 5223563B2 JP 2008246506 A JP2008246506 A JP 2008246506A JP 2008246506 A JP2008246506 A JP 2008246506A JP 5223563 B2 JP5223563 B2 JP 5223563B2
Authority
JP
Japan
Prior art keywords
position information
obstacle
area
vehicle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008246506A
Other languages
English (en)
Other versions
JP2010079561A (ja
Inventor
久美子 坂本
浩 藤本
知行 鈴木
善之介 向
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2008246506A priority Critical patent/JP5223563B2/ja
Publication of JP2010079561A publication Critical patent/JP2010079561A/ja
Application granted granted Critical
Publication of JP5223563B2 publication Critical patent/JP5223563B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自車両周辺に存在する障害物を検出して運転者に警告する警告装置及び警告方法に関する。
従来より、自車両に搭載されている撮像装置を利用して自車両周辺に存在する障害物を検出して運転者に警告する警告装置が知られている。このような警告装置の中には、車車間通信を利用して他車両により検出された障害物の位置情報を取得することにより、撮像装置の死角に存在する障害物を検出して運転者に警告するものがある(特許文献1参照)。
特開2006−350613号公報
従来の警告装置は、撮像装置により検出された障害物の位置と他車両により検出された障害物の位置を比較し、両者が一致しない場合、他車両により検出された障害物が撮像装置の死角に存在するものであると判定する。このため従来の警告装置では、障害物の検出精度や検出タイミングのずれ等の原因によって撮像装置により検出された障害物の位置情報と他車両により検出された障害物の位置情報との間に誤差が含まれる場合、撮像装置により検出された障害物と他車両により検出された障害物が同じものであるのにも係わらず、両者の位置が一致しないためにその障害物を撮像装置の死角に存在するものであると判断し、結果として、撮像装置の検出結果に基づく位置情報と他車両の検出結果に基づく位置情報とが1つの障害物に対し表示されて運転者が混乱する可能性がある。
本発明は上記課題に鑑みてなされたものであり、その目的は、1つの障害物に対し複数の位置情報が表示されて運転者が混乱することを防止可能な警告装置及び警告方法を提供することにある。
本発明は、自車両が障害物を検出可能な周辺画像領域を複数のエリアに分割し、位置座標が当該領域内にある障害物については、位置座標を含むエリアに位置情報を重畳表示することにより障害物の位置を表示し、位置座標が当該領域外にある障害物については、位置座標を含む所定範囲内に対応する周辺画像領域に位置情報を重畳表示することにより障害物の位置を表示し、位置座標が当該領域外に複数存在する場合、各位置座標について位置情報を生成し、生成された位置情報の中に重なり合う位置情報が存在する場合には、重なり合う位置情報全体を含む範囲内に対応する周辺画像領域に位置情報を重畳表示し、重なり合う位置情報全体を含む範囲内において障害物が存在する可能性が高い領域を算出し、算出された領域に対応する周辺画像領域に警告情報を重畳表示することにより障害物の位置を表示する。
本発明によれば、障害物の位置座標を含む所定領域を表示することにより障害物が存在する位置を運転者に知らせるので、1つの障害物に対し複数の位置情報が表示されて運転者が混乱することを防止できる。
以下、図面を参照して、本発明の実施形態となる警告装置の構成について説明する。
〔警告装置の構成〕
本発明の実施形態となる警告装置は、車両に搭載され、図1に示すように、カメラ1,通信装置2,車両状態センサ3,地図データ記憶装置4,モニタ装置5,及び処理装置6を備える。カメラ1は、車両の前部及び後部に設置され、自車両の前方及び後方の所定範囲の画像を撮影する。カメラ1は、フィルタリングや二値化処理等の所定の画像処理を撮影画像に対し行った後、撮影画像のデータを処理装置5に出力する。通信装置2は、車車間通信により他車両との間で各種情報の送受信を行う。他車両から送信される各種情報には、他車両の現在位置,進行方向,走行速度等の他車両の車両状態に関する情報や、障害物の位置情報(例えば緯度及び経度等),移動方向,移動速度等の他車両により検出された障害物に関する情報が含まれる。なお通信装置2は、公衆電話回線等の電気通信回線や道路側に設けられた通信装置を介して他車両との間で各種情報の送受信を行うようにしてもよい。
車両状態センサ3は、車速センサや位置センサにより構成され、自車両の現在位置,進行方向,走行速度等の自車両の車両状態に関する情報を検出し、検出された情報を処理装置5に出力する。地図データ記憶装置4は、磁気ディスク装置や光ディスク装置等の記憶装置により構成され、ナビゲーション装置が利用するデジタル道路地図データを格納する。モニタ装置6は、車室内の運転者が視認可能な位置に設けられ、地図データ記憶装置4に格納されているデジタル地図画像データに基づく地図画像等の各種情報を表示する。
処理装置6は、マイクロプロセッサ等の演算処理装置により構成され、内部のCPUが内部メモリ内に予め格納されているコンピュータプログラムを実行することにより、障害物検出部7,障害物情報取得部8,自車状態抽出部9,及び制御部10として機能する。障害物検出部7は、カメラ1から入力された撮影画像のデータに対し障害物を検出対象とした認識処理を行うことにより自車両周辺に存在する障害物の位置情報を検出し、検出された障害物の位置情報を制御部10に出力する。
障害物情報取得部8は、通信装置2が受信した情報の中から他車両により検出された障害物の位置情報を取得し、取得した障害物の位置情報を制御部10に出力する。自車両状態抽出部9は、車両状態センサ3から入力された情報の中から自車両の位置情報を抽出し、抽出された自車両の位置情報を制御部10に出力する。制御部10は、障害物検出部7,障害物情報取得部8,及び自車状態抽出部9から入力された情報を利用して地図画像を作成してモニタ装置5に表示する。
本発明に係る表示手段はモニタ装置5に対応し、本発明に係る検出手段は障害物検出部7に対応し、本発明に係る取得手段は障害物情報取得部8に対応し、本発明に係る位置座標算出手段及び警告手段は制御部10に対応する。
〔障害物警告方法〕
このような構成を有する警告装置では、制御部10が以下に示すように動作することにより、自車両周辺に存在する障害物の位置情報を含む地図画像をモニタ装置5に表示することにより、自車両周辺に存在する障害物を運転者に認識させる。すなわち制御部10は、始めに、自車状態抽出部9から入力された自車両の位置情報に基づいて自車両周辺の道路状況を示す地図画像を生成する。次に制御部10は、カメラ1により障害物を検出可能な地図画像領域(障害物検出可能領域)を複数のエリアに分割する。本実施形態では、制御部10は、図2に示すように、障害物を検出可能な車両Xの前方領域RF及び後方領域RRをそれぞれエリアA1〜A9及びエリアB1〜B3に分割する。
次に制御部10は、障害物検出部7から入力された位置情報を用いて障害物検出部7により検出された障害物の地図画像上における位置座標(自車検出座標)を算出する。また制御部10は、障害物情報取得部8から入力された位置情報を用いて障害物情報取得部8により位置情報が取得された障害物の地図画像上における位置座標(他車検出座標)を算出する。次に制御部10は、障害物検出可能領域に含まれない他車検出座標があるか否かを判別し、障害物検出可能領域に含まれない他車検出座標がない場合とある場合とに分けて以下の処理を実行する。
〔障害物検出可能領域に含まれない他車検出座標がない場合〕
自車検出座標と他車検出座標の全てがエリアA1〜A9及びエリアB1〜B3に含まれる場合、制御部10は、自車検出座標を含むエリアに対応する地図画像領域と他車検出座標を含むエリアに対応する地図画像領域に障害物の位置情報を重畳表示する。具体的には、図2に示すように障害物検出部7により検出された障害物O1及び障害物O2がそれぞれエリアA1,B3に存在する場合、制御部10は図3に示すようにエリアA1,B3に対応する地図画像領域に障害物の位置情報I1,I2を重畳表示する。またこの時、他車検出座標がエリアA1,B3以外のエリアに含まれる場合、制御部10はそのエリアに対応する地図画像領域に障害物の位置情報を重畳表示する。
〔障害物検出可能領域に含まれない他車検出座標がある場合〕
制御部10は障害物検出可能領域に含まれる自車検出座標及び他車検出座標に対しては上述の処理を実行する。一方、障害物検出可能領域に含まれない他車検出座標に対しては、制御部10は他車検出座標を含む所定範囲(例えば他車検出座標を中心とした所定半径の円)内に対応する地図画像領域に障害物の位置情報を重畳表示する。なお制御部10は、障害物の検出精度に応じて障害物の位置情報の大きさを変更するようにしてもよい。具体的には、制御部10は、障害物の検出精度が低い場合は障害物の位置情報の大きさを大きくし、障害物の検出精度が高く障害物の位置を限定して表示可能な場合には障害物の位置情報の大きさを小さくするようにしてもよい。
この場合、図4に示すように、他車両Y1が障害物を検出可能な領域R1と他車両Y2が障害物を検出可能な領域R2とが重なり、この重なり領域内に歩行者O1がいた際には、図5及び図6(a)に示すように、歩行者の検出精度や検出タイミングのずれ等の原因によって他車両Y1の検出結果に基づく歩行者の位置情報I1(P1:歩行者O1の検出位置)と他車両Y2の検出結果に基づく歩行者の位置情報I2(P2:歩行者O2の検出位置)とが重なり合って表示される可能性がある。そしてこのように地図画像内に複数の位置情報I1,I2が表示された場合、地図画像の視認性が低下すると共に地図画像から得られる情報量が増大する。
そこで位置情報I1,I2が重なり合う場合には、制御部10は、図5及び図6(b)に示すように、重なり合う位置情報I1,I2全体を含む位置情報I3(位置情報I1,I2が円形である場合には位置情報I1,I2に外接する楕円)を生成するようにして重なり合う位置情報I1,I2を合成して表示するとよい。またこの際、制御部10は、図7に示すように、位置情報I3内において障害物が存在する可能性が高い位置に警告用アイコンIを表示するようにしてもよい。
以上の説明から明らかなように、本発明の実施形態となる警告装置では、制御部10が、障害物検出可能領域を複数のエリアに分割し、位置座標が障害物検出可能領域内にある障害物については、位置座標を含むエリアに位置情報を重畳表示することにより障害物の位置を表示し、位置座標が障害物検出可能領域領域外にある障害物については、位置座標を含む所定範囲内に対応する周辺画像領域に位置情報を重畳表示する。このような警告装置によれば、障害物の位置をピンポイントで表示するのではなく、障害物の位置座標を含む領域を表示することにより障害物が存在する位置を運転者に知らせるので、1つの障害物に対し複数の位置情報が表示されて運転者が混乱することを防止できる。
また本発明の実施形態となる警告装置では、制御部10は、位置座標が障害物検出可能領域外にある障害物が複数存在する場合、各位置座標について位置情報を生成し、生成された位置情報の中に重なり合う位置情報が存在する場合には、重なり合う位置情報全体を含む位置情報を重畳表示する。このような警告装置によれば、複数の位置情報が表示されることによって、地図画像の視認性が低下すると共に地図画像から得られる情報量が増大することにより、地図画像に対する運転者の視認時間が増加することを抑制できる。
また本発明の実施形態となる警告装置では、制御部10は、重なり合う全体を含む位置情報内において障害物が存在する可能性が高い領域を算出し、算出された領域に対応する周辺画像領域に警告用アイコンを重畳表示する。このような処理によれば、情報提供の制約上、障害物の位置情報をアイコン表示しなければならない場合であっても、運転者に障害物の位置を知らせることができる。
なお歩行者及び交通量が少ない道路において、図8に示すように他車両Yが自身の前方及び後方に歩行者O1,O2を検出した場合、制御部10は、図9に示すように歩行者O1及び歩行者O2の位置に対応する地図画像領域に個別に位置情報I1,I2を表示するとよい。このような処理によれば、上記実施形態の効果に加えて、交通量が少ない環境において運転者に対し精度の高い位置情報を提供できるという効果が得られる。
また歩行者は少ないが交通量が多い道路においては、複数の他車両が同一の歩行者を検出することにより同一の歩行者に対し複数の位置情報が表示される可能性がある。また、歩行者は多いが交通量が少ない道路においても、1台の他車両が複数の歩行者を検出することにより地図画像内に複数の位置情報が表示される可能性がある。そしてこのように地図画像内に複数の位置情報が表示された場合、地図画像の視認性が低下すると共に地図画像から得られる情報量が増大することにより、地図画像に対する運転者の視認時間が増加する可能性がある。
そこで地図画像内に複数の位置情報を表示する際に位置情報が重なり合う場合、制御部10は重なり合う位置情報を合成して表示するとよい。このような処理によれば、上記実施形態の効果に加えて、地図画像の視認性が低下し、地図画像から得られる情報量が増大することにより、地図画像に対する運転者の視認時間が増加することを抑制できるという効果が得られる。なおこの場合、制御部10は、地図画像の縮尺に応じて位置情報を合成するか否かを判断するようにしてもよい。
具体的には、制御部10は、地図画像の縮尺が大きい場合は位置情報を合成せず、地図画像の縮尺が小さい場合には位置情報を合成するようにしてもよい。縮尺が大きい場合は位置情報を合成しないことにより、詳細な位置情報を運転者に提供し、運転者の安全運転を支援することができる。一方、縮尺が小さい場合には位置情報を合成することにより、運転者の視認性が高い位置情報を提供できる。
さらに図10に示すように歩行者及び交通量が多い道路においては、複数台の他車両が複数の歩行者を検出することにより、図11(a)に示すように地図画像内に実際の歩行者数の数倍以上の数の位置情報I1〜I7が表示され、地図画像の視認性が低下する可能性がある。そこで歩行者及び交通量が多い道路においては、制御部10は、図11(b)に示すように全ての位置情報I1〜I7を合成して1つの位置情報Iとして表示するとよい。このような処理によれば、上記実施形態の効果に加えて、地図画像の視認性低下を抑制できるという効果が得られる。
以上、本発明者らによってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述及び図面により本発明は限定されることはない。例えば本実施形態ではデジタル道路地図データに基づく地図画像を自車両周辺の道路状況を示す周辺画像として用いたが、カメラ1により撮像された自車両の前方や後方の画像を周辺画像として用いても良い。
また本実施形態ではカメラ1の撮影画像を用いて自車両周辺の歩行者を検出したが、車両にレーダを設けたり、GPS(Global Positioning System)内蔵携帯電話機やIDタグ等の位置情報を無線送信可能な装置を歩行者に携帯させたり、路面に埋め込まれたセンサにより歩行者を検知したりすることにより、自車両周辺の歩行者を検出するようにしてもよい。
また自車両から障害物までの距離が近い場合等のように障害物に対する危険度が高い場合には、位置情報の表示色や表示色の濃淡を変更したり、位置情報の表示と合わせて警告音を出力したりするようにしてもよい。このような処理によれば、障害物に対する注意喚起をより確実に行うことができる。このように本実施形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれる。
本発明の実施形態となる警告装置の構成を示すブロック図である。 自車両の周囲状況の一例を示す模式図である。 図2に示す自車両の周囲状況に対応する地図画像の表示例を示す図である。 複数の他車両が同一の歩行者を検出した状態を示す模式図である。 重なり合う位置情報の合成方法を説明するための概念図である。 重なり合う位置情報を(a)個別に表示した場合と(b)合成して表示した場合の地図画像例を示す図である。 合成された位置情報内に障害物が存在する可能性が高い領域を示す警告用アイコンが重畳表示された地図画像を示す模式図である。 歩行者及び交通量が少ない道路を示す模式図である。 歩行者及び交通量が少ない道路において複数の位置情報を個別に表示した場合の地図画像例を示す図である。 歩行者及び交通量が多い道路を示す模式図である。 歩行者及び交通量が多い道路において複数の位置情報を(a)個別に表示した場合と(b)合成して表示した場合の地図画像例を示す図である。
符号の説明
1:カメラ
2:通信装置
3:車両状態センサ
4:地図データ記憶装置
5:モニタ装置
5a:地図画像
6:処理装置
7:障害物検出部
8:障害物情報取得部
9:自車状態抽出部
10:制御部
I:警告用アイコン
I1〜I7:位置情報
O,O1,O2:歩行者
X:自車両
Y,Y1,Y2:他車両

Claims (2)

  1. 自車両周辺の道路状況を示す画像を周辺画像として表示する表示手段と、
    自車両周辺に存在する障害物の位置情報を検出する検出手段と、
    他車両により検出された障害物の位置情報を取得する取得手段と、
    前記検出手段が検出した位置情報を用いて自車両により検出された障害物の周辺画像上における位置座標を算出し、前記取得手段が取得した位置情報を用いて前記他車両により検出された障害物の周辺画像上における位置座標を算出する位置座標算出手段と、
    前記検出手段が障害物を検出可能な周辺画像領域を複数のエリアに分割し、前記位置座標算出手段により算出された位置座標が当該領域内にある障害物については、当該位置座標を含むエリアに位置情報を重畳表示することにより障害物の位置を表示し、前記位置座標算出手段により算出された位置座標が当該領域外にある障害物については、当該位置座標を含む所定範囲内に対応する周辺画像領域に位置情報を重畳表示することにより障害物の位置を表示する警告手段とを備え、
    前記警告手段は、前記位置座標算出手段により算出された位置座標が前記領域外に複数存在する場合、各位置座標について位置情報を生成し、生成された位置情報の中に重なり合う位置情報が存在する場合には、重なり合う位置情報全体を含む範囲内に対応する周辺画像領域に位置情報を重畳表示し、重なり合う位置情報全体を含む範囲内において障害物が存在する可能性が高い領域を算出し、算出された領域に対応する周辺画像領域に警告情報を重畳表示することを特徴とする警告装置。
  2. 自車両周辺の道路状況を示す画像を周辺画像として表示する第1処理と、
    自車両周辺に存在する障害物の位置情報を検出する第2処理と、
    他車両により検出された障害物の位置情報を取得する第3処理と、
    前記第2処理により検出された位置情報を用いて自車両により検出された障害物の周辺画像上における位置座標を算出し、前記第3処理により取得された位置情報を用いて他車両により検出された障害物の周辺画像上における位置座標を算出する第4処理と、
    自車両が障害物を検出可能な周辺画像領域を複数のエリアに分割し、前記第4処理により算出された位置座標が当該領域内にある障害物については、当該位置座標を含むエリアに位置情報を重畳表示することにより障害物の位置を表示し、前記第4処理により算出された位置座標が当該領域外にある障害物については、当該位置座標を含む所定範囲内に対応する周辺画像領域に位置情報を重畳表示することにより障害物の位置を表示する第5処理とを有し、
    前記第5処理において、前記第4処理により算出された位置座標が前記領域外に複数存在する場合、各位置座標について位置情報を生成し、生成された位置情報の中に重なり合う位置情報が存在する場合には、重なり合う位置情報全体を含む範囲内に対応する周辺画像領域に位置情報を重畳表示し、重なり合う位置情報全体を含む範囲内において障害物が存在する可能性が高い領域を算出し、算出された領域に対応する周辺画像領域に警告情報を重畳表示することを含むことを特徴とする警告方法。
JP2008246506A 2008-09-25 2008-09-25 警告装置及び警告方法 Active JP5223563B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008246506A JP5223563B2 (ja) 2008-09-25 2008-09-25 警告装置及び警告方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008246506A JP5223563B2 (ja) 2008-09-25 2008-09-25 警告装置及び警告方法

Publications (2)

Publication Number Publication Date
JP2010079561A JP2010079561A (ja) 2010-04-08
JP5223563B2 true JP5223563B2 (ja) 2013-06-26

Family

ID=42209936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008246506A Active JP5223563B2 (ja) 2008-09-25 2008-09-25 警告装置及び警告方法

Country Status (1)

Country Link
JP (1) JP5223563B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5617677B2 (ja) * 2011-02-17 2014-11-05 トヨタ自動車株式会社 運転支援装置
JP5673476B2 (ja) * 2011-10-05 2015-02-18 トヨタ自動車株式会社 周辺物体表示装置および周辺物体表示方法
WO2016121387A1 (ja) * 2015-01-29 2016-08-04 株式会社デンソー 画像生成装置及び画像生成方法
CN108284838A (zh) * 2018-03-27 2018-07-17 杭州欧镭激光技术有限公司 一种用于检测车辆外部环境信息的检测系统及检测方法
US20220004777A1 (en) * 2018-11-15 2022-01-06 Sony Group Corporation Information processing apparatus, information processing system, information processing method, and program
EP3951744A4 (en) * 2019-03-26 2022-05-25 Sony Semiconductor Solutions Corporation IMAGE PROCESSING DEVICE, VEHICLE CONTROL DEVICE, METHOD AND PROGRAM

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4254022B2 (ja) * 2000-07-07 2009-04-15 株式会社明電舎 静止障害物検出方式
JP4164805B2 (ja) * 2003-06-17 2008-10-15 マツダ株式会社 走行支援システム及び車載端末器
JP4802686B2 (ja) * 2005-12-02 2011-10-26 アイシン・エィ・ダブリュ株式会社 車車間通信システム

Also Published As

Publication number Publication date
JP2010079561A (ja) 2010-04-08

Similar Documents

Publication Publication Date Title
US11827274B2 (en) Turn path visualization to improve spatial and situational awareness in turn maneuvers
US8395490B2 (en) Blind spot display apparatus
JP4656408B2 (ja) 車両用周囲監視装置
JP4719590B2 (ja) 車載周辺状況提示装置
US9514650B2 (en) System and method for warning a driver of pedestrians and other obstacles when turning
JP4981566B2 (ja) 運転支援装置および運転支援方法
US10996070B2 (en) Route guidance apparatus and method
JP5223563B2 (ja) 警告装置及び警告方法
US20080243380A1 (en) Hidden point detection and warning method and apparatus for navigation system
JP6415583B2 (ja) 情報表示制御システムおよび情報表示制御方法
JP2011118482A (ja) 車載装置および認知支援システム
JP5200568B2 (ja) 車載装置、車両走行支援システム
JP2006279752A (ja) 車両直下画像表示制御装置および車両直下画像表示制御プログラム
EP2128646B1 (en) Radar monitoring device
JP2009123182A (ja) 安全確認判定装置および運転教示支援システム
JP6394440B2 (ja) 汚れ判定装置
JP2017111498A (ja) 運転支援装置
JP4936060B2 (ja) 車両用走行支援装置
JP4952429B2 (ja) 運転支援システム
JP2013018406A (ja) 駐車枠の認識装置、駐車枠の認識方法、及び、プログラム
JP4277678B2 (ja) 車両運転支援装置
JP2015153208A (ja) 注意喚起システム
US10864856B2 (en) Mobile body surroundings display method and mobile body surroundings display apparatus
KR20130119144A (ko) 투명 디스플레이 패널을 이용한 객체 표시 방법 및 장치
WO2022228564A1 (zh) 导航方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130225

R150 Certificate of patent or registration of utility model

Ref document number: 5223563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3