JP6154213B2 - 路面情報取得装置 - Google Patents

路面情報取得装置 Download PDF

Info

Publication number
JP6154213B2
JP6154213B2 JP2013136250A JP2013136250A JP6154213B2 JP 6154213 B2 JP6154213 B2 JP 6154213B2 JP 2013136250 A JP2013136250 A JP 2013136250A JP 2013136250 A JP2013136250 A JP 2013136250A JP 6154213 B2 JP6154213 B2 JP 6154213B2
Authority
JP
Japan
Prior art keywords
lane
width
entrance
exit
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013136250A
Other languages
English (en)
Other versions
JP2015011512A (ja
Inventor
裕丈 石神
裕丈 石神
直輝 川嵜
直輝 川嵜
俊也 熊野
俊也 熊野
俊輔 鈴木
俊輔 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013136250A priority Critical patent/JP6154213B2/ja
Priority to PCT/JP2014/066773 priority patent/WO2014208574A1/ja
Priority to US14/900,852 priority patent/US10074019B2/en
Publication of JP2015011512A publication Critical patent/JP2015011512A/ja
Application granted granted Critical
Publication of JP6154213B2 publication Critical patent/JP6154213B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes

Description

本発明は、撮影された車両前方の路面画像に基づいて、カープールレーンの路面情報を取得する路面情報取得装置に関するものである。
車両が走行する道路の路面情報を取得して、ドライバーの運転をアシストする各種の支援装置が提案されている。例えばレーンキーピングアシスト制御を行う支援装置では、車両が走行している道路の撮影画像から道路の幅員を認識し、当該幅員の略中央に設定した目標走行線上を車両が走行するようにドライバーの運転をアシストする。
ところで、特に米国の大都市の高速道路には、カープールレーンと呼ばれる走行レーンが採用されている。このカープールレーンは、車両の走行台数の減少や電気自動車等の環境性能に優れた車両(いわゆるエコカー)の普及促進を図るために導入されている。
具体的には、相乗りの車両やエコカーのみがカープールレーンの走行を許され、ドライバーのみが乗車した車両や所定の環境基準を満たしていない車両は、カープールレーンの走行が規制される。そのため、カープールレーンは、通常レーンに比べて走行車両が少なく空いているため、カープールレーンを利用することで走行時間の大幅な短縮を図ることができる。
そして、このようなカープールレーンにおいても、ドライバーの運転をアシストする支援装置が提案されている(例えば、特許文献1参照)。
特開2010−128862号公報
ところで、カープールレーンは、通常レーンと平行して設けられる場合が多く、カープールレーンと通常レーンとの間は車線(区画線)により区画されている。この区画線は、基本的に複数(例えば4本)の実線からなる部分で構成されている。また、区画線には、所定の距離毎にカープールレーンの出入口が設けられている。この出入口は、1本の破線によって表されており、車両は、出入口を介してカープールレーンから通常レーンへ出入りすることができる。
一般的なカープールレーンでは、出入口の幅員が当該出入口側(通常レーン側)へ拡がっており、出入口以外の部分に比べて幅員が大きくなっている。このため、車両がカープールレーンの出入口を通過する際、支援装置がカープールレーンの幅員が広くなったと判断して、目標走行線を出入口側(通常レーン側)に寄った位置に設定してしまう。そして、車両がカープールレーンの出入口を通過すると、今度は、支援装置がカープールレーンの幅員が狭くなったと判断して、目標走行線をもとの位置に設定し直すことになる。従って、出入口を通過する度に目標走行線が湾曲(蛇行)するように設定されてしまい、車両の走行が不安定となる虞がある。
そこで、本発明は、上記課題を解決するためになされたものであって、その目的は、カープールレーンの出入口を適確に把握して、カープールレーンの適切な幅員を取得し得る路面情報取得装置を提供することにある。
請求項1に係る発明は、
通常レーンとの出入口が所要の間隔を置いて設けられ、前記出入口での幅員が当該出入口以外での幅員よりも大きく設定されたカープールレーンの路面情報取得装置であって、
前記カープールレーンの車両前方の路面を撮影して路面画像を取得する画像取得手段と、
前記画像取得手段が取得した前記路面画像に基づいて、前記カープールレーンの路面に表示された車線を認識する車線認識手段と、
前記車線認識手段が認識した前記車線であって、前記カープールレーンと通常レーンとを区画する区画線に基づいて、前記出入口の始点を判定する判定手段と、
前記車線認識手段が認識した前記車線に基づいて、カープールレーンの幅員を算出する幅員算出手段と、
前記判定手段の判定結果に基づいて、前記幅員算出手段が算出した前記幅員を補正する補正手段と、を備え、
前記判定手段は、前記車線認識手段が認識した破線状の前記区画線に基づいて、前記出入口の始点を判定することを特徴とする。
請求項1の発明によれば、補正手段は、判定手段の判定結果に基づいて、幅員算出手段が算出した幅員を補正する。従って、カープールレーンの出入口を通過する際に、幅員算出手段が算出した値を適切に補正することで、車両の安定的な走行に資するカープールレーンの幅員を得ることができる。
ここで、一般的に、カープールレーンの出入口では、カープールレーンと通常レーンとを区画する区画線が破線状に表される場合が多い。そこで、判定手段は、車線認識手段が認識した破線状の区画線に基づいて、カープールレーンの出入口の始点および終点を判定するようになっている。すなわち、判定部は、出入口を示す車線の特有な態様に基づいて出入口の始点および終点を判定するから、当該始点および終点を適確に認識することができる。
請求項2に係る発明は、前記判定手段が前記出入口の前記始点を判定した場合に、前記補正手段は、前記幅員算出手段が算出した幅員をキャンセルすると共に、前記判定手段が前記出入口の前記始点を判定する前に前記幅員算出手段が算出した幅員を現在の幅員として決定することを特徴とする。
請求項2の発明によれば、判定手段が出入口の始点を判定すると、補正手段は、幅員算出手段が算出する幅員をキャンセルする。そして、補正手段は、判定手段が出入口の始点を判定する前に幅員算出手段が算出した幅員の値を現在の幅員として決定する。すなわち、補正手段は、出入口の始点が判定されると、出入口におけるカープールレーンの現実の幅員ではなく、出入口に到来する前のカープールレーンの幅員の値を採用する。従って、出入口で広がった幅員に影響を受けることなく、カープールレーンの適切な幅員の値を得ることができる。
請求項3に係る発明は、
前記判定手段は、前記車線認識手段が前記破線状の区画線を認識する間、車両が出入口を通過中であると判定し、
前記判定手段が出入口を通過中であると判定する間、前記補正手段は、前記幅員算出手段が算出する幅員をキャンセルすると共に、前記判定手段が前記出入口の前記始点を判定する前に前記幅員算出手段が算出した幅員を現在の幅員として維持することを特徴とする。
車両が出入口を通過する間、車線認識手段は出入口を示す破線状の区画線を認識する。そこで、請求項3の発明によれば、判定部は、車線認識手段が破線状の区画線を認識する間、車両が出入口を通過中であると判定する。そして、判定部が出入口を通過中であると判定する間、補正手段は、幅員算出手段が算出した幅員をキャンセルし、出入口に到来する前の幅員の値を現在の幅員として維持する。すなわち、車両が出入口を通過する間は、出入口での現実の幅員ではなく、出入口に到来する前の幅員の値を採用し続ける。従って、出入口の通過中においても、カープールレーンの適切な幅員の値を得ることができる。
請求項6に係る発明は、前記判定手段は、前記車線認識手段が認識した破線状の前記区画線に基づいて前記出入口の終点を判定するよう構成され、前記判定手段が前記出入口の前記終点を判定した場合に、前記補正手段は、前記幅員算出手段が算出する幅員を現在の幅員として決定することを特徴とする。
判定手段が出入口の終点を判定した後は、車両がカープールレーンの通常の走行路を走行することになる。従って、出入口を通過した後は、カープールレーンの現実の幅員を採用すればよい。そこで、請求項6の発明によれば、補正手段は、判定手段が出入口の終点を判定すると、幅員算出手段が算出する幅員を現在の幅員として決定する。すなわち、車両が出入口を通過した後は、幅員算出手段が算出した現実のカープールレーンの幅員を得ることができる。
カープールレーンが設けられたハイウェイを上から見た状態で示す概略図。 カープールレーンの出入口付近を拡大して示す図。 実施形態の路面情報取得装置の制御構成を示すブロック図。 実施形態の路面情報取得装置がカープールレーンの幅員を出力するまでの制御フローを示すフローチャート。 補正処理を示すフローチャート。 変更例の始点テンプレートを示す説明図。 変更例の終点テンプレートを示す説明図。
次に、本発明の実施形態に係る路面情報取得装置について以下説明する。
(カープールレーンについて)
先ず始めに、路面情報取得装置24が路面情報を取得する対象であるカープールレーンCLについて説明を行う。
図1は、カープールレーンCLが設けられたハイウェイを上方から見た状態で示す説明図である。カープールレーンCLは、通常の走行レーン(以下、通常レーン10と称する)と平行に設けられている。カープールレーンCLは、ハイウェイの左右一方の端部側(図1では、左端側)に設けられている。カープールレーンCLは、通常レーン10と区画する車線(以下、区画線12と称する)と、当該区画線12とは反対側(図1では、左側)に設けた車線(以下、側線14と称する)とによって規定されている。
図1,図2に示すように、区画線12は、主として複数(実施形態では4つ)の副線12a〜12dで構成されている。なお、4つの副線12a〜12dをカープールレーンCLの内側から外側の順に第1〜第4副線12a〜12dと称する場合がある。これら第1〜第4副線12a〜12dは、実線の車線で構成されている。このうち第1副線12aおよび第4副線12dは、白色(白線)で表示され、第2副線12bおよび第3副線12cは、黄色またはオレンジ色で表示されている。
区画線12には、所定の距離(例えば3km)毎に通常レーン10への出入口16が設けられている。この出入口16は、第4副線12dの延長線上に設けた破線状の車線(以下、破線車線18と称する)で構成されている。破線車線18は、複数の矩形状の単位線18aが車両Aの進行方向に一定の間隔を空けて並んで構成されている。この破線車線18は、白色で表示されている。なお、図1では、出入口16の間隔を現実のカープールレーンCLよりも短く設定してある。
ここで、図2に示すように、区画線12の出入口16の近傍では、第2副線12bおよび第3副線12cが一旦途切れている。また、第1副線12aは、第2副線12bおよび第3副線12cの終端を囲うように第4副線12d側(通常レーン10側)に湾曲し、当該第4副線12dと連結している。そして、第1副線12aおよび第4副線12dは、両者が連結したところで途切れている。
すなわち、車両Aの進行方向の前方において、第1副線12aおよび第4副線12dが連結して途切れた後、破線車線18が開始する箇所が出入口16の始点20(開始位置)を示している。また、破線車線18が終了して第1副線12aおよび第4副線12dの連結部分が続く箇所が出入口16の終点22(終了位置)を示している。
側線14は、1本の実線で表されており、ハイウェイの延在方向に沿って設けられている。側線14は、黄色またはオレンジ色で表示されている。
ここで、カープールレーンCLにおいて、出入口16を除いた走行路を通常路CL1と称し、出入口16に対応する走行路を出入口路CL2と称する。そして、カープールレーンCLの通常路CL1の幅員は、第1副線12aと側線14との間の距離で規定される(図2のL1,L3参照)。但し、通常路CL1の幅員として、第1副線12aが第4副線12dに向けて湾曲する部分は除かれる。一方、カープールレーンCLの出入口路CL2の幅員は、破線車線18と側線14との間の距離で規定される(図2のL2参照)。破線車線18は、第1副線12aよりも側線14から離間しているため、カープールレーンCLの出入口路CL2の幅員は、通常路CL1の幅員よりも大きくなる。
次に、本実施形態の路面情報取得装置24について説明する。図3は、路面情報取得装置24のシステム構成を示すブロック図である。
(路面情報取得装置について)
図3に示すように、本実施形態の路面情報取得装置24は、カメラ28(画像取得手段)、車線認識部30(車線認識手段)、判定部32(判定手段)、幅員算出部34(幅員算出手段)および幅員補正部36(補正手段)から基本的に構成される。路面情報取得装置24は、レーンキーピング制御を実施する支援装置26に電気的に接続されている。そして、路面情報取得装置24は、カープールレーンCLの路面情報(カープールレーンCLの幅員)を取得して、当該路面情報を支援装置26に出力する。
カメラ28は、例えばCCDカメラやCMOSカメラが採用され、車両Aの走行方向前方の路面を含む風景を三原色のカラー画像として撮影する。カメラ28は、車両Aの例えばルームミラー(図示せず)に取り付けられる。カメラ28は、走行方向の前方を逐次撮影(例えば24分の1秒(1フレーム)毎に撮影)し、撮影した路面の画像データ(以下、路面画像と称する)を生成する。カメラ28の撮影範囲は、車両AがカープールレーンCLを走行中、少なくともカープールレーンCLの幅方向(左右方向)の全体が含まれる。すなわち、車両AがカープールレーンCLを走行する間、カープールレーンCLの区画線12および側線14は、カメラ28で常に撮影されるようになっている。
車線認識部30は、カメラ28が撮影した路面画像に基づいてカープールレーンCLの車線(区画線12および側線14)を認識する。車線認識部30は、撮影された路面画像に対し、公知の画像処理によって車線を抽出し、車線の位置および種類を特定する。例えば、車線認識部30は、路面画像に対しエッジ検出処理を行ってエッジ点を抽出する。
ここで、車線認識部30は、一般的なハイパスフィルタを用いてエッジ点を抽出する。そして、ハイパスフィルタの出力のうち、R(赤)およびG(緑)の信号成分が所定の閾値を超え、かつ、B(青)の信号成分が所定の閾値を下回る点については、黄色(またはオレンジ)のエッジ点とする。これにより、黄色表示された車線(すなわち、側線14、第1副線12aおよび第4副線12d)のエッジ点を抽出することができる。
一方、車線認識部30は、ハイパスフィルタの出力のうち、R、G、Bの全ての信号成分が閾値を超える点について、白色のエッジ点とする。これにより、白色表示された車線(すなわち、第2副線12b、第3副線12cおよび破線車線18)のエッジ点を抽出することができる。
次に、車線認識部30は、抽出されたエッジ点に対し、公知のハフ変換処理を行って車線の位置および種類を認識する。すなわち、車線認識部30は、カープールレーンCLの車線を構成する側線14および区画線12を認識し、これらの車線の位置を特定する。更に、車線認識部30は、区画線12を構成する第1〜第4副線12a〜12dおよび破線車線18をそれぞれ認識し、それらの位置を特定する。
判定部32は、車線認識部30が認識した区画線12に基づいて、カープールレーンCLの出入口16の始点20および終点22を判定(認識)する。すなわち、判定部32は、車両Aが出入口16の始点20を通過する際に、車線認識部30が認識した区画線12から出入口16の始点20を判定する。また、判定部32は、車両Aが出入口16の終点22を通過する際に、車線認識部30が認識する区画線12から出入口16の終点22を判定する。
更に、判定部32は、車両AがカープールレーンCLの出入口路CL2を走行中、車線認識部30が認識する区画線12に基づいて車両Aが出入口16を通過中である旨の判定をする。
次に、判定部32の具体的な判定手法について説明する。前述のように、カープールレーンCLの出入口16は、破線車線18によって表されている。そこで、判定部32は、区画線12の破線車線18に基づいて、出入口16の始点20および終点22を判定する。
カープールレーンCLを走行する車両Aが出入口16に到達する際、区画線12は、4本の実線である第1〜第4副線12a〜12dから1本の破線である破線車線18に変化する。そこで、判定部32は、車線認識部30が認識したカープールレーンCLの車線が実線から破線に変化した際に、出入口16の始点20であると判定する。判定部32は、出入口16の始点20を判定すると、車両Aが出入口路CL2を走行中であることを示す出入口フラグをONにする。
また、カープールレーンCLの出入口16を車両Aが通過中である場合(出入口路CL2を車両Aが走行中の場合)、1本の破線車線18が継続することになる。そこで、判定部32は、車線認識部30が破線車線18(破線状の区画線12)を認識する間、車両Aが出入口16を通過中であると判定する。
車両Aが出入口16の終点22を通過する場合、区画線12は、1本の破線車線18から4本の第1〜第4副線12a〜12dに変化する。そこで、判定部32は、車線認識部30が認識したカープールレーンCLの車線が破線から実線に変化した際に、出入口16の終点22であると判定する。判定部32は、出入口16の終点22を判定すると、出入口フラグをOFFにする。
幅員算出部34は、車線認識部30が認識した車線に基づいて、カープールレーンCLの幅員を算出する。具体的には、幅員算出部34は、車線認識部30が認識した側線14および区画線12の間の距離を求めることで、カープールレーンCLの幅員を算出する。
ここで、幅員算出部34は、カープールレーンCLの通常路CL1では、区画線12のうち車両Aに最も近い車線(すなわち、第1副線12a)と側線14との間の距離を幅員として算出するよう設定されている(図2のL1,L3参照)。一方、カープールレーンCLの出入口路CL2では、幅員算出部34は、破線車線18と側線14との間の距離を幅員として算出するよう設定されている(図2のL2参照)。すなわち、幅員算出部34が算出する幅員の値は、通常路CL1よりも出入口路CL2の方が大きくなる。
幅員算出部34は、データを書き換え可能なRAM等の記憶部(図示せず)を備えており、算出した過去数フレーム分(数秒分)の幅員を記憶部に記憶および更新する。
幅員補正部36は、判定部32の判定結果に基づいて、幅員算出部34が算出した幅員の値を補正する。具体的には、判定部32が出入口16の始点20(出入口16)を判定していない場合、幅員補正部36は、幅員算出部34が算出した幅員の値をそのまま現在のカープールレーンCLの幅員として決定する。すなわち、幅員補正部36は、通常路CL1においては、幅員算出部34が算出した幅員の値を補正することなく、そのまま採用する。
一方、判定部32が出入口16の始点20を判定した場合(すなわち、車両Aが出入口16に到達した場合)、車両Aは出入口16を通過(出入口路CL2を走行)することになる。この場合、幅員算出部34が算出する出入口16の幅員は、通常路CL1を走行中に算出された幅員よりも大きくなる。そして、算出された値をカープールレーンCLの幅員として採用し、そのまま支援装置26に出力すれば、支援装置26は、カープールレーンCLの幅員が大きくなったと判断してしまう。その結果、支援装置26は、出入口16側(通常レーン10側)にズレた位置に目標走行線Xを設定してしまうことになる(図2の二点鎖線参照)。
そこで、幅員補正部36は、判定部32が出入口16の始点20を判定すると、以後に幅員算出部34が算出した幅員をキャンセルする。そして、幅員補正部36は、判定部32が出入口16の始点20を判定する前に幅員算出部34が算出した幅員の値(すなわち、通常路CL1の幅員の値)を現在の幅員として決定する。
具体的には、幅員補正部36は、幅員算出部34の記憶部に記憶された幅員の値のうち、判定部32が出入口16の始点20を判定する前に記憶した幅員の値(図2のL1参照)を記憶部から読み出す。そして、読み出した値を現在のカープールレーンCLの幅員に決定する。このとき、幅員補正部36は、通常路CL1において第1副線12aが側線14に対し平行となっている部分の幅員の値を記憶部から読み出すようになっている。
更に、幅員補正部36は、車両Aが出入口16を通過する間(車両Aが出入口路CL2を走行する間)、判定部32が出入口16の始点20を判定する前に幅員算出部34が算出した幅員の値を幅員として維持する。すなわち、判定部32が出入口16を通過中であると判定し続ける間(車線認識部30が破線車線18を認識する間)、幅員補正部36は、通常路CL1での幅員の値(図2のL1参照)を現在の幅員として維持する。
車両Aが出入口16を通過して通常路CL1に移行すると、カープールレーンCLの幅員が狭くなる。従って、出入口16を通過した後は、現在の幅員を出入口16に到達する前のカープールレーンCLの幅員に維持する必要がない。そこで、幅員補正部36は、判定部32が出入口16の終点22を判定すると、幅員算出部34が算出した幅員の値(図2のL3参照)をそのままカープールレーンCLの幅員として決定する。
すなわち、幅員補正部36は、車両AがカープールレーンCLの出入口路CL2を走行する間は、通常路CL1の走行時に幅員算出部34が算出した幅員の値を採用する。また、車両AがカープールレーンCLの通常路CL1を走行する場合は、幅員算出部34が算出する幅員の値をそのまま採用する。
幅員補正部36は、決定したカープールレーンCLの幅員を支援装置26に出力する。支援装置26は、入力されたカープールレーンCLの幅員に基づいて、目標走行線Xを設定する。すなわち、幅員補正部36から入力された幅員の中間を通るように目標走行線Xを設定する。そして、支援装置26は、車両Aが目標走行線Xに沿って走行するようドライバーの運転を支援する。
次に、実施形態に係る路面情報取得装置24の作用について説明する。なお、以下の説明では、車両AはカープールレーンCLを走行し続けるものとし、出入口16を介して通常レーン10に移ることはないものとする。
図4は、路面情報取得装置24がカープールレーンCLの幅員を決定するまでの制御フローを示すフローチャートである。車両AがカープールレーンCLを走行中、カメラ28がカープールレーンCLの走行方向の前方の路面を撮影し、路面画像を取得する(ステップS10)。カメラ28が取得した路面画像は、車線認識部30に送られる。車線認識部30は、路面画像からカープールレーンCLの各車線を認識する(ステップS12)。すなわち、車線認識部30は、カープールレーンCLの側線14および区画線12(第1〜第4副線12a〜12dまたは破線車線18)をそれぞれ認識し、各車線の位置を把握する。
次に、車線認識部30が認識した車線に基づいて、幅員算出部34がカープールレーンCLの幅員を算出する(ステップS14)。車両AがカープールレーンCLの通常路CL1を走行している場合、幅員算出部34は、車線認識部30が認識した側線14と第1副線12aとの間の距離を幅員として算出する。一方、車両AがカープールレーンCLの出入口路CL2を走行している場合、幅員算出部34は、車線認識部30が認識した側線14と破線車線18との間の距離を幅員として算出する。幅員算出部34は、算出した幅員を記憶部に随時記憶していく。
幅員算出部34が幅員を算出すると、次に、当該算出された値を補正する補正処理が実行される(ステップS16)。この補正処理については、後述する。そして、補正処理でカープールレーンCLの現在の幅員が決定すると、決定された幅員が支援装置26に出力され(ステップS18)、フローが完了する。
次に、補正処理について図5のフローチャートを参照して説明する。
(車両が通常路を走行している場合について)
先ず始めに、車両AがカープールレーンCLの通常路CL1を走行している場合について説明する。なお、判定部32の出入口フラグはOFFに設定されているものとする。補正処理が開始されると、判定部32の出入口フラグがONである否か判定する(ステップS20)。出入口フラグはOFFとなっているから(ステップS20のNo)、ステップS22に移行する。
ステップS22では、判定部32が出入口16の始点20を判定したか否かについて判定される。判定部32は、車線認識部30がステップS12で認識した区画線12に基づいて、出入口16の始点20であるか否かを判定する。
車両AがカープールレーンCLの通常路CL1を走行している場合、車線認識部30は区画線12として第1〜第4副線12a〜12dを認識している。このため、判定部32が出入口16の始点20を判定することなく(ステップS22のNo)、ステップS24に移行する。
ステップS24では、幅員補正部36は、ステップS14で幅員算出部34が算出した値をそのままカープールレーンCLの幅員として決定する(ステップS24)。すなわち、車両Aが通常路CL1を走行中、側線14と第1副線12aとの間の距離がカープールレーンCLの幅員として決定される(図2のL1,L3参照)。カープールレーンCLの幅員が決定されると、補正処理が完了する。
(車両が通常路から出入口路に移行する場合について)
次に、車両Aが通常路CL1から出入口路CL2に移行する場合(始点20を通過する場合)について説明する。この場合、出入口フラグはOFFとなっており(ステップS20のNo)、判定部32が出入口16の始点20を判定しているか否が判定される(ステップS22)。
ここで、車両Aが通常路CL1から出入口路CL2に移行する際、区画線12は、実線の第4副線12d(第1副線12a)から破線の破線車線18に変化する。すなわち、車線認識部30が認識する車線が実線から破線に変化するので、判定部32が出入口16の始点20を判定する(ステップS22のYes)。判定部32は、出入口16の始点20を判定すると、出入口フラグをONにする(ステップS26)。
ここで、車両Aが通常路CL1から出入口路CL2に移行する際、ステップS14で幅員算出部34が算出するカープールレーンCLの幅員は、側線14から第1副線12aまでの距離(図2のL1参照)から、側線14から破線車線18までの距離(図2のL2参照)へ大きくなる。従って、幅員算出部34が算出した出入口路CL2の幅員をそのまま採用すると、支援装置26が設定する目標走行線Xが出入口16側へ湾曲してしまう(図2の二点鎖線参照)。
そこで、幅員補正部36は、ステップS14で幅員算出部34が算出した幅員の値をキャンセルする(ステップS28)。そして、幅員補正部36は、判定部32が出入口16の始点20を判定する前に幅員算出部34が算出した幅員の値を現在の幅員として決定する(ステップS30)。すなわち、幅員補正部36は、幅員算出部34の記憶部に記憶された幅員において、判定部32が出入口16の始点20を判定する前に記憶された幅員の値を現在の幅員として決定する。
これにより、車両Aが出入口16に差し掛かった場合でのカープールレーンCLの幅員は、これまでのカープールレーンCL(すなわち、通常路CL1)の幅員の値(図2のL1参照)が用いられる。従って、この幅員を用いて支援装置26が設定する目標走行線Xは、通常路CL1の走行時に設定された目標走行線Xの延長線上に位置したものとなる(図2の一点鎖線参照)。従って、出入口路CL2の現実の幅員につられて目標走行線Xが出入口16側に湾曲して設定されるのを防止することができる。
(車両が出入口路を走行する場合について)
次に、車両Aが出入口路CL2を走行する場合について説明する。出入口路CL2を走行する場合、ステップS22において、判定部32によって出入口16の始点20が既に判定されており、出入口フラグはONとなっている(ステップS26参照)。従って、車両Aが出入口路CL2を走行する場合、ステップS20は肯定され、ステップS32に移行する。
ここで、出入口路CL2の区画線12は、破線車線18で構成されているため、車両Aが出入口路CL2を走行する間、車線認識部30は破線車線18を認識し続けることになる。この結果、判定部32は、車両Aが出入口16を通過中であると判定する。また、車両Aが出入口路CL2を走行する場合、ステップS14で幅員算出部34が算出する幅員は、側線14から破線車線18までの距離である(図2のL2参照)。
そこで、幅員補正部36は、判定部32が出入口16を通過中であると判定している場合(ステップS32のYes)、幅員補正部36は、幅員算出部34が算出した幅員をキャセルする(ステップS34)。そして、幅員補正部36は、判定部32が出入口16の始点20を判定する前に幅員算出部34が算出した幅員の値を現在の幅員として維持する(ステップS36)。すなわち、幅員補正部36は、判定部32が出入口16を通過中であると判定する間、ステップS30で決定した値を現在のカープールレーンCLの幅員として維持する。
これにより、車両Aが出入口路CL2を走行中、カープールレーンCLの幅員は、通常路CL1の幅員(図2のL1)の値に維持される。従って、出入口路CL2を通過中に支援装置26が設定する目標走行線Xは、通常路CL1に設定された目標走行線Xの延長線上に設けられる。これにより、出入口路CL2の現実の幅員につられて、目標走行線Xが出入口16側に湾曲するように設定されるのを回避することができる。
(車両が出入口路から通常路に移行する場合について)
次に、車両Aが出入口路CL2から通常路CL1に移行する場合(終点22を通過する場合)について説明する。出入口フラグはONとなっているから(ステップS20のYes)、幅員補正部36は、判定部32が出入口16を判定しているか否か判定する(ステップS32)。
ここで、車両Aが出入口16から通常路CL1に移行する場合、車線認識部30が認識する車線は破線車線18から実線の第4副線12d(第1副線12a)に変化する。このため、車線認識部30は、破線車線18を認識しなくなり、判定部32は出入口16を通過中である旨の判定をしなくなる(ステップS32のNo)。そして、車線認識部30が認識する車線が破線から実線に変化することで、判定部32は、出入口16の終点22を判定する(ステップS38)。判定部32は、出入口16の終点22を判定すると、出入口フラグをOFFにする(ステップS40)。
車両Aが通常路CL1に移行した後は、カープールレーンCLの幅員をステップS30で設定した値に維持する必要はなく、幅員算出部34が算出した幅員をそのまま採用すればよい。そこで、幅員補正部36は、判定部32が終点22を判定すると、ステップS14で幅員算出部34が算出した値を現在の幅員として決定する(ステップS24)。
これにより、車両Aが通常路CL1に移行した後は、幅員算出部34がリアルタイムで算出した通常路CL1の幅員(図2のL3参照)が支援装置26に出力される。従って、支援装置26によって設定される目標走行線Xは、通常路CL1の幅員を適正に反映したものとなる。
以上に説明した実施形態に係る路線情報認識部によれば、以下の効果を奏する。
(1)幅員補正部36は、判定部32の判定結果に基づいて、幅員算出部34が算出した幅員を補正する。従って、カープールレーンCLの出入口16を通過する際に、幅員算出部34が算出した値を補正することで、車両Aの安定的な走行に資するカープールレーンCLの幅員を得ることができる。
判定部32は、車線認識部30が認識した破線車線18に基づいて、カープールレーンCLの出入口16の始点20および終点22を判定する。すなわち、判定部32は、カープールレーンCLの出入口16を示す車線の特徴的な表示態様に基づいて出入口16の始点20および終点22を判定するから、始点20および終点22を適確に認識することができる。
(2)判定部32が出入口16の始点20を判定した場合、幅員補正部36は、幅員算出部34が算出する幅員をキャンセルする。そして、幅員補正部36は、判定部32が出入口16の始点20を判定する前に幅員算出部34が算出した幅員の値を現在の幅員として決定する。すなわち、幅員補正部36は、出入口16の始点20が判定されると、出入口16におけるカープールレーンCLの現実の幅員ではなく、出入口16に到達する前のカープールレーンCLの幅員の値を採用する。従って、車両Aが出入口路CL2に到達した際においても、車両Aの安定した走行に資するカープールレーンCLの幅員の値を得ることができる。
(3)判定部32は、車線認識部30が破線車線18を認識する間、車両Aが出入口16を通過中であると判定する。そして、判定部32が出入口16を判定すると、幅員補正部36は、幅員算出部34が算出した幅員をキャンセルし、出入口16に到達する前の幅員の値を現在の幅員に維持する。すなわち、車両Aが出入口16を通過する間は、出入口16での現実の幅員ではなく、出入口16に到来する前の幅員の値が採用され続けることになる。従って、出入口16を通過中においても、車両Aの安定した走行に資するカープールレーンCLの幅員を得ることができる。
(4)幅員補正部36は、判定部32が出入口16の終点22を判定すると、幅員算出部34が算出する幅員を現在の幅員としてそのまま採用する。すなわち、幅員補正部36は、出入口16を通過した後は、現実のカープールレーンCLの幅員を採用するから、カープールレーンCLの幅員を正確に把握することができる。従って、通常路CL1に復帰した後も、車両Aの安定した走行に資するカープールレーンCLの幅員を得ることができる。
(5)判定部32は、車線認識部30が認識した区画線12が実線から破線に変化した際に、出入口16の始点20を判定する。すなわち、出入口16の始点20を示す区画線12の特徴的な表示態様に基づいて、判定部32が出入口16の始点20を判定するから、出入口16の始点20を確実に判定することができる。
(6)判定部32は、車線認識部30が認識した区画線12が破線から実線に変化した際に、出入口16の終点22を判定する。すなわち、出入口16の終点22を示す区画線12の特徴的な表示態様に基づいて、判定部32が出入口16の終点22を判定するから、出入口16の終点22を確実に判定することができる。
[変更例]
次に、変更例に係る路面情報取得装置24について以下説明する。なお、変更例においては、実施形態と相違する部分についてのみ説明し、実施形態と同一の部分については、同じ符号を付して説明を省略する。
実施形態では、車線認識部30が認識する区画線12が実線(第1〜第4副線12a〜12d)から破線(破線車線18)に変化したときに、判定部32が出入口16の始点20を判定した。また、車線認識部30が認識する区画線12が破線(破線車線18)から実線(第1〜第4副線12a〜12d)に変化したときに、判定部32が出入口16の終点22を判定した。すなわち、実施形態では、出入口16の始点20および終点22において生ずる車線の種類の変化から出入口16の始点20および終点22を判定するものであった。
これに対し、変更例では、車線認識部30が出入口16の始点20および終点22を示す区画線12の特徴的な形態を認識した場合に、判定部32が出入口16の始点20および終点22を判定するようになっている。すなわち、変更例では、出入口16の始点20および終点22を示す区画線12の形状から出入口16の始点20および終点22を判定する。
具体的には、車線認識部30は、出入口16の始点20および終点22を示す車線の形態をパターンマッチングすることで、当該出入口16の始点20および終点22を示す形態を認識するようになっている。車線認識部30には、図6,図7に示すようなテンプレートが予め記憶されている。図6は、出入口16の始点20を探索する際に用いられるテンプレート(以下、始点テンプレート40と称する)、図7は、出入口16の終点22を探索する際に用いられるテンプレート(終点テンプレート42と称する)である。
ここで、出入口16の始点20は、図2に示すように、第1副線12aおよび第4副線12dが車両Aの進行方向の前方に向かうにつれて近接して連結している。そして、第1副線12aおよび第4副線12dが連結した後に、破線車線18の単位線18aが車両Aの進行方向の前方に現れる。すなわち、出入口16の始点20は、車両Aの進行方向の前方に向けて2つの車線が近接して連結する形状の区画線12と矩形状の区画線12とが車両Aの進行方向の前方に並んで位置している。
そこで、始点テンプレート40は、図6に示すように、出入口16の始点20を示す区画線12の形態を模した図形となっている。すなわち、2つの線が図6の上方に向けて近接して連結する形態41と矩形(長方形)の形態44とが図6の上方に向けて並んだ図形が始点20プレートとして採用されている。
一方、出入口16の終点22は、図2に示すように、破線車線18の単位線18aの後に、車両Aの進行方向の前方に向けて第1副線12aおよび第4副線12dが離間して拡がる形状が現れる。すなわち、出入口16の終点22は、矩形状の区画線12と車両Aの進行方向の前方に向けて2つの車線が離間して拡がる形状の区画線12とが車両Aの進行方向の前方に並んで位置している。
そこで、終点テンプレート42は、図7に示すように、出入口16の終点22を示す区画線12の形態を模した図形となっている。すなわち、矩形状(長方形)の形態46と、2つの線が図7の上方に向けて離間して拡がる形態48とが図7の上方に並んだ図形が終点22プレートとして採用されている。
そして、車線認識部30は、カメラ28が撮影した路面画像から始点テンプレート40および終点テンプレート42を用いて出入口16の始点20および終点22を示す形態を公知のマッチング手法によって探索する。そして、車線認識部30が路面画像において始点テンプレート40および終点テンプレート42にマッチングする箇所を認識すると、判定部32は、出入口16の始点20および終点22を判定する。
なお、変更例に係る路面情報取得装置24の作用は、車線認識部30による出入口16の始点20および終点22の認識方法を除いて実施形態と同様である。また、変更例の制御フローについても、実施形態で説明した図4および図5のフローチャートと同様である。従って、変更例の路面情報取得装置24の作用については、説明を省略する。
以上説明した変更例に係る路面情報取得装置24によれば、実施形態で示した上記(1)〜(4)の効果に加えて、以下の効果を奏する。
(7)車線認識部30がパターンマッチングによって、出入口16の始点20を示す形態を認識した際に、判定部32が出入口16の始点20を判定するようにした。すなわち、出入口16の始点20に特有の形態に基づいて判定部32が出入口16の始点20を認識するから、出入口16の始点20を確実に判定することができる。
(8)車線認識部30がテンプレートマッチングによって、出入口16の終点22を示す形態を認識した際に、判定部32が出入口16の終点22を判定するようにした。すなわち、出入口16の終点22に特有の形態に基づいて判定部32が出入口16の終点22を認識するから、出入口16の終点22を確実に判定することができる。
なお、前述した実施形態および変更例に係る路面情報取得装置は、次のように変更することができる。
・実施形態では、車線認識部が路面画像をエッジ検出することで、各車線を認識する構成とした。しかしながら、車線認識部に各種車線(すなわち、側線および区画線)のテンプレートをそれぞれ記憶させて、当該テンプレートを用いたマッチングにより車線を認識するようにしてもよい。
・実施形態および変更例では、画像取得手段としてカラー画像を取得するカメラを採用したが、必ずしも路面画像をカラー画像で取得する必要はない。カープールレーンを構成する車線の種類や位置を適切に認識し得るのであれば、路面画像をモノクロ画像として取得する画像取得手段を採用してもよい。
・実施形態および変更例では、路面情報取得装置が取得したカープールレーンの幅員を用いて、支援装置がレーンキーピング制御するようになっていた。しかしながら、路面情報取得装置が取得した幅員をレーンキーピング制御以外の用途で用いてもよい。例えば、路面情報取得装置が取得したカープールレーンの幅員に基づいて目標走行線を設定し、車両が当該目標走行線から大きく外れた場合に支援装置がドライバーに警告を行うようにしてもよい。
10…通常レーン、12…区画線、16…出入口、18…破線車線、20…始点、22…終点、24…路面情報取得装置、28…カメラ、30…車線認識部、32…判定部、34…幅員算出部、36…幅員補正部、A…車両、CL…カープールレーン。

Claims (8)

  1. 通常レーン(10)との出入口(16)が所要の間隔を置いて設けられ、前記出入口での幅員が当該出入口以外での幅員よりも大きく設定されたカープールレーン(CL)の路面情報取得装置であって、
    前記カープールレーンの車両前方の路面を撮影して路面画像を取得する画像取得手段(28)と、
    前記画像取得手段が取得した前記路面画像に基づいて、前記カープールレーンの路面に表示された車線を認識する車線認識手段(30)と、
    前記車線認識手段が認識した前記車線であって、前記カープールレーンと通常レーンとを区画する区画線(12)における破線状の区画線(18)に基づいて、前記出入口の始点(20)を判定する判定手段(32)と、
    前記車線認識手段が認識した前記車線に基づいて、カープールレーンの幅員を算出する幅員算出手段(34)と、
    前記判定手段が前記出入口の前記始点を判定した場合に、前記幅員算出手段が算出した前記幅員を補正する補正手段(36)と、を備えることを特徴とする路面情報取得装置。
  2. 前記判定手段が前記出入口の前記始点を判定した場合に、前記補正手段は、前記幅員算出手段が算出した幅員をキャンセルすると共に、前記判定手段が前記出入口の前記始点を判定する前に前記幅員算出手段が算出した幅員を現在の幅員として決定する請求項1記載の路面情報取得装置。
  3. 前記判定手段は、前記車線認識手段が前記破線状の区画線を認識する間、車両が出入口を通過中であると判定し、
    前記判定手段が出入口を通過中であると判定する間、前記補正手段は、前記幅員算出手段が算出する幅員をキャンセルすると共に、前記判定手段が前記出入口の前記始点を判定する前に前記幅員算出手段が算出した幅員を現在の幅員として維持する請求項2記載の路面情報取得装置。
  4. 前記判定手段は、前記車線認識手段が認識した区画線が実線から破線に変化した際に、前記出入口の前記始点を判定する請求項1〜3の何れか一項に記載の路面情報取得装置。
  5. 前記判定手段は、前記車線認識手段が車両の進行方向の前方に向かうにつれて2つの車線が近接して連結した形状の区画線と矩形状の区画線とを前記進行方向の前方に並んで認識した場合に、前記出入口の前記始点を判定する請求項1〜3の何れか一項に記載の路面情報取得装置。
  6. 前記判定手段は、前記車線認識手段が認識した破線状の前記区画線に基づいて前記出入口の終点を判定するよう構成され、前記判定手段が前記出入口の前記終点を判定した場合に、前記補正手段は、前記幅員算出手段が算出する幅員を現在の幅員として決定する請求項1〜5の何れか一項に記載の路面情報取得装置。
  7. 前記判定手段は、前記車線認識手段が認識した区画線が破線から実線に変化した際に、前記出入口の前記終点を判定する請求項6記載の路面情報取得装置。
  8. 前記判定手段は、前記車線認識手段が矩形状の区画線と車両の進行方向の前方に向かうにつれて2つの車線が離間して拡がる形状の区画線とを前記進行方向の前方に並んで認識した場合に、前記出入口の前記終点を判定する請求項6記載の路面情報取得装置。
JP2013136250A 2013-06-28 2013-06-28 路面情報取得装置 Active JP6154213B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013136250A JP6154213B2 (ja) 2013-06-28 2013-06-28 路面情報取得装置
PCT/JP2014/066773 WO2014208574A1 (ja) 2013-06-28 2014-06-25 路面情報取得装置
US14/900,852 US10074019B2 (en) 2013-06-28 2014-06-25 Road surface information acquisition apparatus for entrance/exit lane

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013136250A JP6154213B2 (ja) 2013-06-28 2013-06-28 路面情報取得装置

Publications (2)

Publication Number Publication Date
JP2015011512A JP2015011512A (ja) 2015-01-19
JP6154213B2 true JP6154213B2 (ja) 2017-06-28

Family

ID=52141906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013136250A Active JP6154213B2 (ja) 2013-06-28 2013-06-28 路面情報取得装置

Country Status (3)

Country Link
US (1) US10074019B2 (ja)
JP (1) JP6154213B2 (ja)
WO (1) WO2014208574A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6154213B2 (ja) 2013-06-28 2017-06-28 株式会社Soken 路面情報取得装置
JP6323248B2 (ja) * 2014-08-11 2018-05-16 株式会社デンソー 情報処理システム、端末装置、及びプログラム
DE102015224008B3 (de) * 2015-12-02 2017-06-01 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum automatisierten Fahren eines Kraftfahrzeuges
JP6209232B2 (ja) * 2016-02-19 2017-10-04 本田技研工業株式会社 車線変更支援装置
US10614320B2 (en) 2018-04-03 2020-04-07 Honda Motor Co., Ltd. System and method for advanced highway lane detection
KR20200090527A (ko) * 2019-01-21 2020-07-29 현대자동차주식회사 차선 인식 장치 및 그 방법
JP7189087B2 (ja) * 2019-06-05 2022-12-13 日産自動車株式会社 走行支援方法および走行支援装置
US10816993B1 (en) * 2019-11-23 2020-10-27 Ha Q Tran Smart vehicle
TWI758713B (zh) * 2020-04-20 2022-03-21 群邁通訊股份有限公司 車輛變換車道的警示方法、車載裝置
KR20210144411A (ko) * 2020-05-22 2021-11-30 현대자동차주식회사 차량의 주행 차로 인식 장치 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3782322B2 (ja) 2001-07-11 2006-06-07 株式会社日立製作所 車載用画像処理カメラ装置
JP4408095B2 (ja) 2005-06-03 2010-02-03 本田技研工業株式会社 車両及び路面標示認識装置
JP4645516B2 (ja) 2005-08-24 2011-03-09 株式会社デンソー ナビゲーション装置及びプログラム
JP4605145B2 (ja) 2006-11-14 2011-01-05 トヨタ自動車株式会社 車線検出装置
JP4692613B2 (ja) * 2008-11-28 2011-06-01 トヨタ自動車株式会社 車載装置、及び当該装置で用いられる方法
JP5066123B2 (ja) * 2009-03-24 2012-11-07 日立オートモティブシステムズ株式会社 車両運転支援装置
KR101424421B1 (ko) * 2009-11-27 2014-08-01 도요타지도샤가부시키가이샤 운전 지원 장치 및 운전 지원 방법
JP5696444B2 (ja) * 2009-12-24 2015-04-08 日産自動車株式会社 走行制御装置
JP2012155612A (ja) 2011-01-27 2012-08-16 Denso Corp 車線検出装置
JP5677900B2 (ja) 2011-06-29 2015-02-25 株式会社日本自動車部品総合研究所 車載白線認識装置
JP6154213B2 (ja) 2013-06-28 2017-06-28 株式会社Soken 路面情報取得装置

Also Published As

Publication number Publication date
US20160140401A1 (en) 2016-05-19
US10074019B2 (en) 2018-09-11
WO2014208574A1 (ja) 2014-12-31
JP2015011512A (ja) 2015-01-19

Similar Documents

Publication Publication Date Title
JP6154213B2 (ja) 路面情報取得装置
US7571053B2 (en) Lane deviation prevention apparatus
JP5966965B2 (ja) 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法
JP6220327B2 (ja) 走行区画線認識装置、走行区画線認識プログラム
JP5863536B2 (ja) 車外監視装置
JP6538547B2 (ja) 道路曲率計測装置
WO2013011952A1 (ja) 車線認識装置
JP6697522B2 (ja) 区画線認識装置
US10068483B2 (en) Parking assistance device
JP2011180982A (ja) 区画線検出装置
CN104508708A (zh) 道路环境识别装置
JP6194245B2 (ja) 信号機認識装置
JP2013116696A (ja) 駐車支援装置
CN111824129A (zh) 图像处理装置及图像处理方法
JP7255345B2 (ja) 走行車線認識装置、走行車線認識方法およびプログラム
JP6379774B2 (ja) 交通量計測装置、交通量計測方法、および交通量計測プログラム
JP5559650B2 (ja) 車線推定装置
JP6606472B2 (ja) 走路形状認識装置、走路形状認識方法
JP7131131B2 (ja) 車両用ライン検出装置および該方法
JP2017220030A (ja) 走行情報提供システムおよび走行情報提供プログラム
JP2017123009A (ja) 区画線認識装置
JP2008225953A (ja) 白線認識装置及び方法
JP5874602B2 (ja) 退出道路案内システム、方法およびプログラム
JP2014219960A (ja) 走路検出装置及び走路検出方法
JP7001541B2 (ja) 車両制御装置、車両制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170601

R150 Certificate of patent or registration of utility model

Ref document number: 6154213

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250