JP5896962B2 - 標識情報出力装置 - Google Patents

標識情報出力装置 Download PDF

Info

Publication number
JP5896962B2
JP5896962B2 JP2013166668A JP2013166668A JP5896962B2 JP 5896962 B2 JP5896962 B2 JP 5896962B2 JP 2013166668 A JP2013166668 A JP 2013166668A JP 2013166668 A JP2013166668 A JP 2013166668A JP 5896962 B2 JP5896962 B2 JP 5896962B2
Authority
JP
Japan
Prior art keywords
output
vehicle
unit
sign
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013166668A
Other languages
English (en)
Other versions
JP2015035165A (ja
Inventor
真之介 齋藤
真之介 齋藤
泰彦 藤田
泰彦 藤田
賢 大槻
賢 大槻
高津戸 泉
泉 高津戸
穣 徳永
穣 徳永
裕次 横地
裕次 横地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2013166668A priority Critical patent/JP5896962B2/ja
Priority to EP17162263.2A priority patent/EP3217321B1/en
Priority to EP14178340.7A priority patent/EP2833290B1/en
Priority to US14/340,699 priority patent/US10147005B2/en
Publication of JP2015035165A publication Critical patent/JP2015035165A/ja
Application granted granted Critical
Publication of JP5896962B2 publication Critical patent/JP5896962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

この発明は、撮像部からの撮像信号に基づき道路の周辺にある標識を検知し、該標識の種類に関する標識情報を出力する標識情報出力装置に関する。
近時、撮像部からの撮像信号に基づき道路の周辺にある標識を検知し、該標識の種類に関する標識情報を出力する装置が知られている。特に、この種の装置では車両の走行中に逐次撮像するため、当該車両の周辺におけるシーンは時々刻々と変化し得る。そこで、この装置は、現時点における標識情報の出力内容が、シーンの変化に対して完全に追従するように制御を実行することが好ましい。或いは、これに代わって、現時点でのシーンに存在する標識情報と異なる以前の内容を、誤った標識情報として出力しないように制御してもよい。
例えば、特許文献1では、操舵量・旋回曲率半径が閾値を超えた場合に、車両が方向転換中であると判定し、標識情報の表示を停止させる装置が提案されている。
独国特許発明第102004042382号明細書
ところで、前方にある障害物の回避、車両の追い越し、車線の変更等のため、運転者は、車両の進行方向を維持しつつも一時的な転舵操作を行う場合がある。しかし、特許文献1で提案された装置では、この一時的な挙動を検出した際に、車両が方向転換中であると誤って判定することがある。その結果、本来的には維持されるべき標識情報の表示を停止させてしまう不都合があった。
本発明は、上記した課題を解決するためになされたものであり、車両の一時的な挙動に影響されることなく標識情報の出力を適時に停止可能な標識情報出力装置を提供することを目的とする。
本発明に係る標識情報出力装置は、車両に搭載され、該車両の走行中に撮像することで撮像信号を取得する撮像部と、前記撮像部により取得された前記撮像信号が表す画像領域から標識を検知する標識検知部と、前記標識検知部により検知された前記標識の種類に関する標識情報を出力する情報出力部と、前記車両の車幅方向の挙動に相関する計測量を取得する計測量取得部と、前記計測量取得部により取得された前記計測量に基づく判定の開始時点を決定する開始時点決定部と、前記開始時点決定部により決定された前記開始時点からの前記計測量の時間変化が出力停止条件を満たすと判定した場合に、前記情報出力部に対して前記標識情報の出力停止を指示する出力指示部とを備える。
このように、車両の車幅方向の挙動に相関する計測量を取得する計測量取得部と、前記計測量に基づく判定の開始時点を決定する開始時点決定部と、前記開始時点からの前記計測量の時間変化が出力停止条件を満たすと判定した場合に、情報出力部に対して標識情報の出力停止を指示する出力指示部を設けたので、標識情報の出力を停止するか否かについて、車幅方向の挙動の時間変化に基づき適切に判定できる。これにより、車両の一時的な挙動に影響されることなく標識情報の出力を適時に停止できる。
また、前記出力指示部は、前記計測量の時間積算の絶対値が第1閾値を超えた場合に、前記出力停止条件を満たすとして前記出力停止を指示することが好ましい。計測量の時間積算を用いることで、挙動が一時的であるか否かを精度よく断定できる。
また、前記計測量取得部は、前記計測量として、操舵角の時間変化量又はヨーレートを取得することが好ましい。これにより、車両の車幅方向の挙動を精度よく検出できる。
また、前記計測量取得部は、前記出力指示部による前記出力停止の指示後に前記計測量を更に取得し、前記出力指示部は、前記計測量の時間変化が再出力条件を満たすと判定した場合に、前記情報出力部に対して前記標識情報の再出力を指示することが好ましい。これにより、進路又は進行方向を戻す走行動作の後に、一時的に非出力となった標識情報が再出力されるので、標識情報を感知する乗員にとって便宜である。
また、前記出力指示部は、前記出力停止の指示後から所定時間の経過までの間に、前記開始時点からの前記時間積算の絶対値が前記第1閾値よりも小さい第2閾値を下回った場合に、前記再出力条件を満たすとして前記再出力を指示することが好ましい。これにより、進路又は進行方向を戻す走行動作を精度よく検出できる。
また、前記開始時点決定部は、前記車両が備えるウィンカスイッチのオン動作を受け付けた時点を前記開始時点として決定することが好ましい。運転者は、ウィンカスイッチをオンにすることで、その後に旋回操作を行う旨の意思表示をする。すなわち、転舵操作がなされる直前のタイミングを開始時点として決定することで、計測量に基づく判定を適時に開始できる。
また、前記計測量取得部は、前記ウィンカスイッチのオフ動作を受け付けた後から、所定時間が経過するまで及び/又は前記車両が所定距離を走行するまで前記計測量を更に取得することが好ましい。これにより、何らかの理由でウィンカスイッチが戻されてしまった場合であっても、経過時間又は走行距離に応じて判定を継続できる。
また、前記出力指示部は、前記車両が停止中である時間帯を除外した前記計測量の時間変化が前記出力停止条件を満たすと判定した場合に、前記出力停止を指示することが好ましい。車両が停止中である時間帯を除外することで、計測量の時間変化に基づく判定の確度が一層高くなる。
また、前記撮像部により逐次取得された前記撮像信号に基づいて前記車両が方向転換しているか否かを検知する方向転換検知部を更に備え、前記開始時点決定部は、前記方向転換検知部が前記方向転換の開始を検知した時点を前記開始時点として決定することが好ましい。方向転換の開始を検知したタイミングを開始時点として決定することで、計測量に基づく判定を適時に開始できる。
また、前記車両が前記方向転換を行っている途中に、前記標識検知部により、直近に検知された前記標識とは別の標識が新たに検知された場合、前記出力指示部は、前記方向転換検知部が前記方向転換の終了を検知した後、前記別の標識の種類に関する前記標識情報を出力することが好ましい。一旦出力された別の標識情報が、車両の方向転換が終了するまでに誤って非出力にされることを防止可能であり、乗員にとって便宜である。
本発明に係る標識情報出力装置によれば、車両の車幅方向の挙動に相関する計測量を取得する計測量取得部と、前記計測量に基づく判定の開始時点を決定する開始時点決定部と、前記開始時点からの前記計測量の時間変化が出力停止条件を満たすと判定した場合に、情報出力部に対して標識情報の出力停止を指示する出力指示部を設けたので、標識情報の出力を停止するか否かについて、車幅方向の挙動の時間変化に基づき適切に判定できる。これにより、車両の一時的な挙動に影響されることなく標識情報の出力を適時に停止できる。
この実施形態に係る標識情報出力装置の構成を示す電気ブロック図である。 図2Aは、図1に示す標識情報出力装置が組み込まれた車両の、運転者側から視た内観図である。図2Bは、図2Aに示す表示部の概略正面図である。 図1に示す標識情報出力装置の出力処理に関する概略説明図である。 図1に示す標識情報出力装置の動作説明に供されるフローチャートである。 十字路周辺を走行する車両の第1の走行軌跡を示す概略平面図である。 図6Aは、図5に示す車両の走行動作に応じて計測されたヨーレートの時間変化を示すグラフである。図6Bは、図5に示す車両の走行動作に伴う、表示部の出力状態の時間変化を示す模式図である。 十字路周辺を走行する車両の第2の走行軌跡を示す概略平面図である。 図8Aは、図7に示す車両の走行動作に応じて計測されたヨーレートの時間変化を示すグラフである。図8Bは、図7に示す車両の走行動作に伴う、表示部の出力状態の時間変化を示す模式図である。 十字路周辺を走行する車両の第3の走行軌跡を示す概略平面図である。 図10Aは、図9に示す車両の走行動作に応じて計測されたヨーレートの時間変化を示すグラフである。図10Bは、図9に示す車両の走行動作に伴う、表示部の出力状態の時間変化を示す模式図である。 図1に示す演算部の動作説明に供される状態遷移図である。 この出力処理の改良例を示す第1の説明図である。 図13Aは、図12に示す車両の走行動作に応じて計測されたヨーレートの時間変化を示すグラフである。図13Bは、図12に示す車両の走行動作に伴う、表示部の出力状態の時間変化を示す模式図である。 この出力処理の改良例を示す第2の説明図である。 図14に示す車両の走行動作に伴う、表示部の出力状態の時間変化を示す模式図である。
以下、本発明に係る標識情報出力装置について好適な実施形態を挙げ、添付の図面を参照しながら詳細に説明する。
[標識情報出力装置10の全体構成]
図1は、この実施形態に係る標識情報出力装置10の構成を示す電気ブロック図である。
図1に示すように、標識情報出力装置10は、車両50(図2A等)の周辺を撮像するカメラ12(撮像部)と、車両50の速度を検出する速度センサ14と、車両50のヨーレートを検出するヨーレートセンサ16と、車両50のステアリングの操舵角を検出する舵角センサ18と、図示しない方向指示器のオン・オフ操作を行うためのウィンカスイッチ20と、この標識情報出力装置10を制御するECU22(Electronic Control Unit;電子制御ユニット)と、音声を出力するスピーカ24と、可視情報を出力する表示部26を備える。
ECU22は、マイクロコンピュータ等からなる計算機である。この実施形態において、ECU22は、入出力部28、演算部30(後述する演算部100)、及び記憶部32として機能する。
カメラ12、速度センサ14、ヨーレートセンサ16、舵角センサ18及びウィンカスイッチ20からの各種信号は、入出力部28を介してECU22側に入力される。また、ECU22からの各種信号は、入出力部28を介してスピーカ24及び表示部26側に出力される。入出力部28は、入力されたアナログ信号をデジタル信号に変換する図示しないA/D変換回路を備える。
演算部30は、入出力部28を介して入力された各種信号に基づく演算を実行し、演算結果に基づきスピーカ24及び表示部26の制御信号を生成する。演算部30は、検知部34(標識検知部36及び方向転換検知部38を含む)、開始時点決定部40、及び出力指示部42として機能する。
演算部30における各部の機能は、記憶部32に記憶されているプログラムを読み出して実行することにより実現される。或いは、当該プログラムは、図示しない無線通信装置(携帯電話機、スマートフォン等)を介して外部から供給されてもよい。
記憶部32は、デジタル信号に変換された撮像信号、各種演算処理に供される一時データ等を記憶するRAM(Random Access Memory)、及び、実行プログラム、テーブル又はマップ等を記憶するROM(Read Only Memory)等で構成される。本図例では、後述する積算値データ44が記憶されている。
なお、ヨーレートセンサ16及び舵角センサ18は、車両50の車幅方向の挙動に相関する計測量(すなわち、ヨーレート又は操舵角の時間変化量)を取得する計測量取得部46に相当する。
また、スピーカ24及び表示部26は、検知された標識の種類に関する標識情報を出力する情報出力部48に相当する。情報出力部48は、例えば、画像(静止画/動画)、文字、又は音声を含む、人間の五感に訴えて報知可能な情報標識を出力可能である。
図2Aは、図1に示す標識情報出力装置10が組み込まれた車両50の、運転者側から視た内観図である。図2Bは、図2Aに示す表示部26の概略正面図である。なお、この車両50は、自動車が左側走行することを取り極められている国の道路を走行している状況を示しており、車両50は右ハンドル車として図示されている。
図2Aに示すように、カメラ12は、車両50の車室内のバックミラー52の近傍に配置されており、フロントウインドシールド54を通して、車両50の周辺領域(本図例では、道路56及び標識58を含む)を撮像する。例えば、カメラ12はデジタルビデオカメラであり、所定のフレームクロック間隔(例えば1秒あたり30フレーム)毎に画像を撮像可能である。
ダッシュボード60には、その下部から運転席62の方へ突出するハンドル64が配設されている。ハンドル64の中心位置に揃えた位置(例えば、計器盤66内)には、表示部26としてのMID(Multi-Information Display)が配設されている。これにより、運転者は、車両50の前方へ顔を向けた状態のまま、表示部26を正視することができる。なお、汎用ディスプレイ68は、ダッシュボード60の所定部位(具体的には、表示部26の配設位置に対して左方の部位)に配設されている。MIDに代替して、汎用ディスプレイ68を表示部26として使用してもよい。
図2Bに示すように、表示部26には、横方向に長尺な矩形状の表示領域70が設けられている。表示領域70の右半分には、標識58のマークを模擬した標識情報72が表示されている。なお、表示部26には、少なくとも1種類の標識情報72の他、燃費、現在時刻、計器盤66に関する情報等を表示可能である。
[標識情報出力装置10の動作説明]
この実施形態に係る標識情報出力装置10は、基本的には上記のように構成される。以下、この標識情報出力装置10の出力処理について、図3を参照しながら概略的に説明する。なお、この明細書において、標識情報72を出力する処理及び当該出力を停止する処理を総称して「出力処理」という。
図3に示すように、制限速度が50[kph]である道路56上を、車両50が走行する場合を想定する。車両50は、図面の左側から右側に直進しながら、道路56の周辺にある標識58を通過する。車両50の遥か前方に標識58が存在する場合、標識情報出力装置10により標識58が検知されないので、表示領域70内には何の情報も表示されない。
その後、車両50が標識58の周辺に到達すると、標識情報出力装置10(特にECU22)は、該標識58の存在及び種類を検知し、表示部26に対して標識58の種類に応じた標識情報72の出力を指示する。車両50の乗員は、表示部26の出力内容を視認することで、現在走行中の道路56の制限速度が50[kph]であることを一見して把握できる。
その後、別の標識の存在を検知することなく車両50が特定の挙動を示すと、ECU22は、表示部26に対して標識情報72の出力停止を指示する。その結果、表示領域70内に表示されていた標識情報72が消去される。本図では、「特定の挙動」として、標識58を検知した位置から所定距離(閾値Lth)を走行した場合を例示しているが、車両50が方向転換した場合であってもよい。
[標識情報72の出力処理に関する詳細説明]
続いて、図1に示す標識情報出力装置10の動作(ここでは、標識情報72の出力処理に関する動作)について、図4のフローチャートを主に参照しながら詳細に説明する。
ステップS1において、ECU22は、フレーム毎に、車両50の前方(所定画角範囲)における撮像信号を取得し、記憶部32に一時的に記憶させる。例えば、カメラ12としてRGBカメラを用いる場合、得られた撮像信号は、3つのカラーチャンネルからなる多階調画像を表す。
ステップS2において、標識検知部36は、撮像信号が表す画像領域から道路56の周辺にある標識58を検出する。この検知処理として、標識58の種類に適した公知の画像認識処理(具体的には、テンプレートマッチング法等)を種々適用可能である。検出可能な標識58の種類として、案内標識(「方面・方向」等)、警戒標識(「車線数減少」等)、規制標識(「最高速度」等)、指示標識(「横断歩道」等)、又は補助標識(「車両種類」等)のいずれであってもよい。
ステップS3において、ECU22は、ステップS2にて標識58が少なくとも1つ検知されたか否かを判定する。「検知なし」と判定された場合(ステップS3:NO)、ステップS1に戻って、以下ステップS1及びS2を順次繰り返す。一方、「検知あり」と判定された場合(ステップS3:YES)、次のステップ(S4)に進む。
ステップS4において、出力指示部42は、表示部26に対して標識情報72を出力する旨を指示する。この指示により、表示部26の表示領域70内には、標識58の種類に関する標識情報72(図2B及び図3)が新たに表示される。
ステップS5において、開始時点決定部40は、標識情報72の出力停止指示に関するトリガが発生したか否かを確認する。例えば、開始時点決定部40は、ウィンカスイッチ20(図1)のオン動作(乗員の操作)をトリガとしてもよい。なぜならば、運転者は、ウィンカスイッチ20をオンにすることで、その後に旋回操作を行う旨の意思表示をするからである。反対に、ウィンカスイッチ20のオン動作を唯一のトリガとすることで、長いカーブを走行する場合に出力停止指示がなされることを予め防止できる。
また、開始時点決定部40は、車両50の方向転換の検知をトリガとしてもよい。この判定に先立ち、方向転換検知部38は、カメラ12により逐次取得された撮像信号に基づいて車両50が方向転換しているか否かを検知する。検知の具体例として、車両50が道路56上のレーンマークを跨いだ場合、道路56の周辺に設置された物体(標識58や信号機)が左右方向に移動する場合等が挙げられる。
ステップS6において、開始時点決定部40は、ステップS5にて発生したトリガに基づいて、計測量に基づく判定の開始時点を決定する。例えば、ウィンカスイッチ20(図1)のオン動作を受け付けた時点、車両50の方向転換を検知した時点の少なくとも一方を開始時点として決定することで、後述する判定を適時に開始できる。
ステップS7において、計測量取得部46は、所定のサンプリング間隔(Δt)で、車両50の車幅方向の挙動に相関する計測量を取得する。計測量として、例えば、操舵角の時間変化量又はヨーレートを適用可能であり、特にヨーレートが好ましい。なぜならば、出力量としてのヨーレートの方が、入力量としての操舵角の時間変化量よりも、車両50の実際の挙動との相関性が高いからである。例えば、車両50のスリップ時、一時的な転舵操作の際には、上記した傾向が顕著になる。
ステップS8において、出力指示部42は、ステップS7で取得された計測量の時間積算(以下、「積算値I」という)を算出する。積算値Iは、ステップS6で決定された開始時点(t=0)から時間積算した値に相当する。その後、演算部30は、算出された積算値Iを、積算値データ44として記憶部32に一時的に記憶させる。
ステップS9において、出力指示部42は、ステップS8で算出された積算値Iが「出力停止条件」を満たすか否かを判定する。出力停止条件は、積算値Iの絶対値(|I|)と、予め設定された第1閾値Ith1(>0)との大小関係に関する。
|I|≦Ith1の関係を満たす場合(ステップS9:YES)、出力指示部42は、表示部26に対して標識情報72を出力する旨を指示する(ステップS10)。この指示により、表示部26の表示領域70内には、標識58の種類に関する標識情報72が新たに表示される。
一方、|I|≦Ith1の関係を満たさない場合(ステップS9:NO)、換言すれば、|I|>Ith1の関係を満たす場合、出力指示部42は、表示部26に対して標識情報72の出力を停止する旨を指示する(ステップS11)。この指示により、表示領域70内に表示されていた標識情報72が消去される。
ステップS12において、出力指示部42は、計測量に基づく判定を継続するか否かを判断する。例えば、出力指示部42は、ステップS11での出力停止指示をまだ実行していない場合に当該判定を継続し(ステップS12:YES)、ステップS7に戻って、以下ステップS7〜S11を順次実行する。
一方、出力指示部42は、ステップS11での出力停止指示が実行された場合に当該判定を終了し(ステップS12:NO)、ステップS1に戻る。このように、標識情報出力装置10は、車両50の走行下に、図4のステップS1〜S12を逐次実行することで標識情報72の出力処理を行う。
[この出力処理の第1具体例]
続いて、この出力処理の第1具体例について、図5〜図6Bを参照しながら詳細に説明する。
図5は、十字路80周辺を走行する車両50の第1の走行軌跡T1を示す概略平面図である。十字路80は、直線状の道路82と、該道路82に交差する道路84とから構成されている。十字路80の交差点86の左側手前には、「制限速度50kph」及び「追い越し禁止」をそれぞれ標示する二連式の標識88が設置されている。
車両50は、走行軌跡T1に沿って、位置P1から位置P5まで順次通過しながら、交差点86を右折しようとする。その際、車両50の運転者は、位置P1から位置P3までの範囲にてハンドル64(図2A)を右回りに操舵し、位置P3から位置P5までの範囲にてハンドル64を左回りに操舵する。
図6Aは、図5に示す車両50の走行動作に応じて計測されたヨーレートの時間変化を示すグラフである。グラフの横軸は経過時間(単位:s、単に「時間」という)であり、グラフの縦軸はヨーレート(単位:deg/s)である。縦軸(ヨーレート)の符号に関し、車幅右方向(すなわち、旋回方向)を「正」に、車幅左方向を「負」にそれぞれ定義する。
ここで、時点t1、t2、t3、t4、t5はそれぞれ、車両50が位置P1、P2、P3、P4、P5(図5参照)に到達した時点に相当する。また、計測されたヨーレートの時間変化をYr1(t)と表記する場合がある。
時点0〜t1の間において、ヨーレートは概ねYr1(t)=0である。図5に示すように、車両50は、位置P1に到着するまで道路82を直進するためである。この場合、積算値Iは概ねI=0の状態を維持しており、常に|I|≦Ith1の関係を満たしている。
時点t1〜t2の間において、ヨーレートはYr1(t)≧0であり、時間の経過に応じて単調に増加している。図5に示すように、車両50は、位置P1の通過後に右方向への転舵操作を受け付け、右旋回動作を開始するためである。この場合、積算値Iは、時間が経過するにつれて単調に増加する。ただし、時点t2では、まだ|I|≦Ith1の関係を満たしている。
時点t2〜t3の間において、ヨーレートYr1(t)は略一定である。図5に示すように、車両50は、位置P2の通過後に転舵量が一定のまま、右旋回動作を継続するためである。
時点t3〜t4の間において、ヨーレートYr1(t)は略一定である。ここで、Yr1(t)の正側と横軸(時間軸)で囲まれる面積S1が、S1>Ith1・Δt(Δt;サンプリング間隔)の関係を満たすことを想定する。この場合、少なくとも時点t4では、|I|>Ith1の関係を満たしている。
時点t4〜t5の間において、ヨーレートはYr1(t)≧0であり、時間の経過に応じて単調に減少している。車両50は、右旋回動作を継続しつつも、位置P4の通過後に左方向への転舵操作を受け付けるためである。
時点t5以降において、ヨーレートは概ねYr1(t)=0である。図5に示すように、車両50は、位置P5に到着し右旋回動作が終了した後、道路84を直進するためである。
図6Bは、図5に示す車両50の走行動作に伴う、表示部26の出力状態の時間変化を示す模式図である。本図では、下側(t1)から上側(t5)にわたって時間が遷移する。
時点t1において、|I|≦Ith1を満たすので(図4のステップS9:YES)、表示部26の表示領域70内には、標識88の種類に関する標識情報90が出力される(同ステップS10)。この標識情報90は、「制限速度(50kph)」に対応する第1マーク92及び「追い越し禁止」に対応する第2マーク94で構成される。
時点t2、t3において、積算値Iの増加にもかかわらずまだ|I|≦Ith1を満たすので(図4のステップS9:YES)、表示領域70内での標識情報90の出力が維持される(同ステップS10)。
時点t4において、積算値Iが更に増加し、|I|>Ith1の関係を満たすようになるので(図4のステップS9:NO)、表示領域70内に表示されていた標識情報90が消去される(同ステップS11)。以下、時点t5の場合も同様にして、表示領域70内での標識情報90の出力停止が維持される。
このようにして、標識情報出力装置10は、車両50の右旋回動作に適した出力処理を実行する。なお、第1具体例は、右旋回に限られず、左旋回、Uターンを含む種々の方向転換の場合に適用される。
[この出力処理の第2具体例]
続いて、この出力処理の第2具体例について、図7〜図8Bを参照しながら詳細に説明する。
図7は、十字路80周辺を走行する車両50の第2の走行軌跡T2を示す概略平面図である。十字路80の構成は図5と同一であるため、その説明を省略する。本図例では、交差点86の上に、相対的に小さいサイズである障害物96が存在する。そこで、車両50は交差点86を直進する際に、障害物96との接触を回避するための走行動作を行う場合を想定する。
車両50は、走行軌跡T2に沿って、位置P1から位置P5まで順次通過しながら、交差点86を通過しようとする。その際、車両50の運転者は、位置P1から位置P3までの範囲にてハンドル64(図2A)を右回りに操舵し、位置P3から位置P5までの範囲にてハンドル64を左回りに操舵する。
図8Aは、図7に示す車両50の走行動作に応じて計測されたヨーレートの時間変化を示すグラフである。グラフの定義等は図6Aと同様であるため、その説明を省略する。また、計測されたヨーレートの時間変化をYr2(t)と表記する場合がある。
時点0〜t1の間において、ヨーレートは概ねYr2(t)=0である。図7に示すように、車両50は、位置P1に到着するまで道路82を直進するためである。
時点t1〜t3の間において、ヨーレートはYr2(t)≧0である。図7に示すように、車両50は、位置P1の通過後に右方向への転舵操作を受け付け、進路を逸らす動作を開始するためである。この場合、積算値Iは、時間が経過するにつれて単調に増加する。ここで、Yr2(t)の正側と横軸(時間軸)で囲まれる面積S2が、S2<Ith1・Δtの関係を満たすことを想定する。この場合、時点t3では、|I|≦Ith1の関係を満たしている。
時点t3〜t5の間において、ヨーレートはYr2(t)<0である。車両50は、位置P3の通過後に左方向への転舵操作を受け付け、進路を戻す動作を開始するためである。
時点t5以降において、ヨーレートは概ねYr2(t)=0である。図7に示すように、車両50は、位置P5に到着して接触を回避する走行動作が終了した後、道路82を直進するためである。
図8Bは、図7に示す車両50の走行動作に伴う、表示部26の出力状態の時間変化を示す模式図である。本図では、下側(t1)から上側(t5)にわたって時間が遷移する。
時点t1において、|I|≦Ith1を満たすので(図4のステップS9:YES)、表示部26の表示領域70内には、標識88の種類に関する標識情報90が出力される(同ステップS10)。
時点t2において、積算値Iの増加にもかかわらずまだ|I|≦Ith1を満たすので(図4のステップS9:YES)、表示領域70内での標識情報90の出力が維持される(同ステップS10)。そして、この時点にて|I|が最大値を取ることから、少なくともこの走行動作中において表示領域70内の標識情報90が消去されることがなくなる。
このようにして、標識情報出力装置10は、車両50の回避動作に適した出力処理を実行する。なお、第2具体例は、回避に限られず、追い越し、車線変更を含む種々の一時的な挙動の場合に適用される。
[この出力処理の第3具体例]
続いて、この出力処理の第3具体例について、図9〜図10Bを参照しながら詳細に説明する。
図9は、十字路80周辺を走行する車両50の第3の走行軌跡T3を示す概略平面図である。十字路80の構成は図5及び図7と同一であるため説明を省略する。例えば、交差点86には、相対的に大きいサイズである障害物98が存在する。そこで、車両50は交差点86を直進する際に、障害物98との接触を回避するための走行動作を行う場合を想定する。このとき、車両50の車幅方向の移動量が、図7と比べて大きくなっている点に留意する。
図10Aは、図9に示す車両50の走行動作に応じて計測されたヨーレートの時間変化を示すグラフである。グラフの定義等は図6A及び図8Aと同様であるため、その説明を省略する。また、計測されたヨーレートの時間変化をYr3(t)と表記する場合がある。
Yr3(t)は、図8Aに示すYr2(t)に概ね相似する時間変化を示す。Yr3(t)の正側と横軸(時間軸)で囲まれる面積S3が、S3>Ith1・Δt>S2の関係を満たすことを想定する。また、Yr3(t)の負側と横軸(時間軸)で囲まれる面積S4が、S3=S4の関係を満たすことを想定する。
この場合、時点t3では、|I|>Ith1の関係を満たしているので(図4のステップS9:NO)、表示領域70内に表示されていた標識情報90が消去される(同ステップS11)。ところが、車両50が、位置P3の通過後、位置P5に到着して道路82を更に直進するにもかかわらず、表示領域70内での標識情報90の出力停止が維持されたままになる。すなわち、同一の道路82を走行中であるにもかかわらず、車両50の上記した回避動作により標識情報90の出力が停止されるため、乗員にとって不便である。
そこで、図4のステップS12において、出力指示部42は、ステップS11にて出力停止指示を実行した後でも、計測量に基づく判定をなおも継続してもよい(ステップS12:YES)。このとき、ヨーレートセンサ16は、出力指示部42による出力停止の指示後にヨーレート(Yr3)を更に取得する(ステップS7)。
ステップS9において、出力指示部42は、ステップS8で算出された積算値Iが「再出力条件」を満たすか否かを判定する。再出力条件は、積算値Iの絶対値(|I|)と、予め設定された第2閾値(Ith2)との大小関係に関する。ここで、第2閾値Ith2は、第1閾値Ith1よりも小さい正値である。
より詳細には、出力停止の指示後から所定時間(tc1)の経過までの間に、|I|<Ith2の関係を満たす場合、出力指示部42は、表示部26に対して標識情報90の出力を再度指示する。この指示により、表示部26の表示領域70内には、標識88の種類に関する標識情報72が再出力される。
その結果、図10Bに示すように、時点t3、t4において出力が一旦停止された標識情報90が、時点t5において再出力される。すなわち、車両50が、上記した回避動作を経て位置P5に到着した場合であっても、標識88に対応する標識情報90の出力が継続される。
このように、出力指示部42は、計測量の時間変化が再出力条件を満たすと判定した場合に、情報出力部48に対して標識情報90の再出力を指示してもよい。これにより、進路(又は進行方向)を戻す動作の後に、一時的に非出力となった標識情報90が再度出力されるので、標識情報90を感知する乗員にとって便宜である。
また、出力指示部42は、出力停止の指示後から所定時間(tc1)の経過までの間に、開始時点からの積算値Iの絶対値が第2閾値Ith2(<Ith1)を下回った場合に、再出力条件を満たすとして再出力を指示してもよい。これにより、進路(又は進行方向)を戻す動作を精度よく検出できる。
[この出力処理の改良例]
続いて、この出力処理の改良例について、図11〜図15を参照しながら詳細に説明する。
<状態遷移>
図11は、図1に示す演算部100の動作説明に供される状態遷移図である。本図に示すように、「通常判定」、「出力停止条件判定」、「判定延長」、「出力停止」及び「出力待機」のうちいずれか1つの状態を採り得る。
遷移線[T1]に示すように、ウィンカスイッチ20(図1)のオン動作を受け付けるまでの間は、状態の遷移がなされることなく「通常判定」状態に留まる。この状態下では、演算部100は、図3にて説明したように通常の判定処理を実行する。一方、ウィンカスイッチ20のオン動作を受け付けた場合、「通常判定」状態から「出力停止条件判定」状態に遷移される(遷移線[T2]参照)。この状態下では、演算部100は、図4のステップS6〜S9にて説明したように判定処理を実行する。
遷移線[T3]に示すように、出力指示部42が出力停止条件を満たす(YES)と判定した場合に、「出力停止条件判定」状態から「出力停止」状態に遷移される。この状態下では、演算部100(特に出力指示部42)は、図4のステップS11にて説明したように出力停止を指示する。その後、ウィンカスイッチ20のオフ動作を受け付けた場合、「出力停止」状態から「通常判定」状態に遷移される(遷移線[T4]参照)。
遷移線[T5]に示すように、「出力停止条件判定」状態下においてウィンカスイッチ20のオフ動作を受け付けた場合に、「出力停止条件判定」状態から「判定延長」状態に遷移される。この状態下では、演算部100は、「出力停止条件判定」状態の場合と同様の判定処理を実行する。すなわち、出力指示部42が出力停止条件を満たす(YES)と判定した場合に、「判定延長」状態から「出力停止」状態に遷移される(遷移線[T6]参照)。
遷移線[T7]に示すように、「判定延長」状態下において、ウィンカスイッチ20のオフ動作を受け付けた後から、所定時間が経過した場合又は車両50が所定距離を走行した場合に、「判定延長」状態から「通常判定」状態に遷移される。
遷移線[T8]に示すように、「出力停止」状態下において標識106(図14)を検知した場合に、「出力停止」状態から「出力待機」状態に遷移される。その後、ウィンカスイッチ20のオフ動作を受け付けた場合、「出力待機」状態から「通常判定」状態に遷移される(遷移線[T9]参照)。
<第1の事例>
図12は、この出力処理の改良例を示す第1の説明図である。十字路80の構成は図5と同一であるため、その説明を省略する。ただし、走行軌跡T1の周辺には歩行者102が存在し、道路82には対向車104が存在している。
車両50は、走行軌跡T1に沿って、位置P1から位置P5まで順次通過しながら、交差点86を右折しようとする。その際、車両50の運転者は、右旋回動作の途中で歩行者102又は対向車104の存在を認識し、車両50を位置P3で一時的に停止させることを想定する。
図13Aは、図12に示す車両50の走行動作に応じて計測されたヨーレートの時間変化を表すグラフである。グラフの定義等は図6Aと同様であるため、その説明を省略する。計測されたヨーレートの時間変化をYr4(t)と表記する場合がある。
時点t1、t2、t3、t6、t7はそれぞれ、車両50が位置P1、P2、P3、P4、P5(図12参照)に到達した時点に相当する。本グラフから理解されるように、車両50は、時点t3(位置P3)にて一旦停止した後、twの停止時間を経て進行を再開している。
また、本図の下方には、ウィンカスイッチ20のオン・オフ動作の時間変化が併せて表記されている。ここでは、車両50が停止する際に、時点t3にてウィンカスイッチ20のオフ動作がなされたとする。
この改良例では、ヨーレートセンサ16は、ウィンカスイッチ20のオフ動作を受け付けた後(図11の遷移線[T5])から、所定時間tc2を経過するまでの間に、ヨーレート(Yr4)を更に取得する。ここで、Yr4(t)の正側と横軸(時間軸)で囲まれる2つの領域における面積をS5、S6と定義するとき、(S5+S6)>Ith1・Δtの関係を満たすことを想定する。
そうすると、少なくとも時点0〜t3の間において|I|≦Ith1を満たすので、表示部26の表示領域70内には、標識88の種類に関する標識情報90が表示される。一方、時点t6、t7において|I|>Ith1を満たすので、表示領域70内での標識情報90の出力が停止される。
なお、ヨーレートセンサ16は、経過時間に代わって、車両50が所定距離を走行するまでの間に、ヨーレート(Yr4)を取得してもよい。換言すれば、ヨーレートセンサ16は、ウィンカスイッチ20のオフ動作を受け付けた後から、所定時間が経過するまで及び/又は車両50が所定距離を走行するまでヨーレート(Yr4)を更に取得するように構成可能である。
また、出力指示部42は、車両50が停止中である時間帯を除外した計測量(ここでは、ヨーレート)の時間変化が出力停止条件を満たすと判定した場合に、出力停止を指示してもよい。車両50が停止中である時間帯を除外することで、計測量の時間変化に基づく判定の確度が一層高くなる。
上記の「停止」には、車両50が完全に停止する状態のみならず、速度がきわめて小さく(例えば、3kph程度)、車両50が実質的に停止している状態が含まれる。また、上記の「除外」には、所定時間(例えば、2秒間)の中から除外する場合のみならず、所定時間へのカウントを除外する場合も含まれる。
<第2の事例>
図14は、この出力処理の改良例を示す第2の説明図である。十字路80の構成は図5と基本的には同じであるが、標識88と異なる種類の標識106が、道路84上に立設されている点が異なっている。この標識106は、道路84の制限速度が30[kph]であることを標示する。
車両50は、走行軌跡T1に沿って、位置P1から位置P5まで順次通過しながら、交差点86を右折しようとする。そして、標識検知部36は、車両50が位置P3に到達する際、標識106の存在及び種類を初めて検知可能であると想定する。上記した出力処理では、出力指示部42は、車両50が位置P3に到達した時点で、標識106の種類に関する標識情報を出力する。ところが、車両50が位置P5まで到達する間に|I|>Ith1の関係を満たした場合、出力が維持されるべき標識情報108(図15参照)が消去されてしまう不都合が生じ得る。
この改良例では、所定の条件下(図11の遷移線[T8])に、出力指示部42は、方向転換検知部38が方向転換の終了を検知した後、別の標識106の種類に関する標識情報108を出力する。「所定の条件」とは、車両50が方向転換を行っている途中に、標識検知部36により、直近に検知された標識88とは別の標識106が新たに検知された場合である。
図15は、図14に示す車両50の走行動作に伴う、表示部26の出力状態の時間変化を示す模式図である。時点t1〜t3において、図6B例と同様に、表示部26の表示領域70内には、標識88の種類に関する標識情報90が表示される。
ところが、時点t3において標識106が新たに検知されるが、表示領域70内には標識情報90の出力が維持される。そして、時点t4において、表示領域70内に表示されていた標識情報90が消去される。そして、時点t5にて方向転換の終了が検知されるので、表示領域70内には標識情報108が表示される。このように処理することで、一旦出力された別の標識情報108が、車両50の方向転換が終了するまでに誤って非出力にされることを防止可能であり、乗員にとって便宜である。
[この標識情報出力装置10による効果]
以上のように、この実施形態に係る標識情報出力装置10は、車両50に搭載され、車両50の走行中に撮像することで撮像信号を取得するカメラ12と、この撮像信号が表す画像領域から標識58、88、106を検知する標識検知部36と、標識58、88、106の種類に関する標識情報72、90、108を出力する情報出力部48と、車両50の車幅方向の挙動に相関する計測量を取得する計測量取得部46と、この計測量に基づく判定の開始時点を決定する開始時点決定部40と、この開始時点からの計測量の時間変化が出力停止条件を満たすと判定した場合に、情報出力部48に対して標識情報72、90、108の出力停止を指示する出力指示部42を備える。
このように構成しているので、標識情報72等の出力を停止するか否かについて、車幅方向の挙動の時間変化に基づき適切に判定できる。これにより、車両50の一時的な挙動に影響されることなく標識情報72等の出力を適時に停止できる。
[補足]
なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。
この実施形態では、単眼カメラ(カメラ12)により得られた撮像信号に対して上記した出力処理を実行しているが、複眼カメラ(ステレオカメラ)でも同様の作用効果が得られることは言うまでもない。
また、この実施形態の図2B、図6B、図10B等では、標識情報72等を固定的且つ一時的に出力する形態を例示しているが、標識情報72等を経時的に変形させる演出効果(例えば、フェードアウト効果)を付与してもよい。
10…標識情報出力装置 12…カメラ
16…ヨーレートセンサ 18…舵角センサ
20…ウィンカスイッチ 22…ECU
24…スピーカ 26…表示部
30、100…演算部 32…記憶部
36…標識検知部 38…方向転換検知部
40…開始時点決定部 42…出力指示部
44…積算値データ 46…計測量取得部
48…情報出力部 50…車両
56、82、84…道路 58、88、106…標識
72、90、108…標識情報

Claims (7)

  1. 車両に搭載され、該車両の走行中に撮像することで撮像信号を取得する撮像部と、
    前記撮像部により取得された前記撮像信号が表す画像領域から標識を検知する標識検知部と、
    前記標識検知部により検知された前記標識の種類に関する標識情報を出力する情報出力部と、
    前記車両の車幅方向の挙動に相関する計測量として、操舵角の時間変化量又はヨーレートを取得する計測量取得部と、
    前記計測量取得部により取得された前記計測量に基づく判定の開始時点を決定する開始時点決定部と、
    前記開始時点決定部により決定された前記開始時点からの前記計測量の時間積算の絶対値が第1閾値を超えた場合に、出力停止条件を満たすとして、前記情報出力部に対して前記標識情報の出力停止を指示する出力指示部と
    を備え、
    更に前記出力指示部は、前記車両が停止中である時間帯を除外した前記計測量の前記時間積算の絶対値が前記出力停止条件を満たすと判定した場合に、前記出力停止を指示することを特徴とする標識情報出力装置。
  2. 請求項に記載の標識情報出力装置において、
    前記計測量取得部は、前記出力指示部による前記出力停止の指示後に前記計測量を更に取得し、
    前記出力指示部は、前記計測量の前記時間積算の絶対値が再出力条件を満たすと判定した場合に、前記情報出力部に対して前記標識情報の再出力を指示する
    ことを特徴とする標識情報出力装置。
  3. 請求項記載の標識情報出力装置において、
    前記出力指示部は、前記出力停止の指示後から所定時間の経過までの間に、前記開始時点からの前記時間積算の絶対値が前記第1閾値よりも小さい第2閾値を下回った場合に、前記再出力条件を満たすとして前記再出力を指示することを特徴とする標識情報出力装置。
  4. 請求項1記載の標識情報出力装置において、
    前記開始時点決定部は、前記車両が備えるウィンカスイッチのオン動作を受け付けた時点を前記開始時点として決定することを特徴とする標識情報出力装置。
  5. 請求項記載の標識情報出力装置において、
    前記計測量取得部は、前記ウィンカスイッチのオフ動作を受け付けた後から、所定時間が経過するまで及び/又は前記車両が所定距離を走行するまで前記計測量を更に取得することを特徴とする標識情報出力装置。
  6. 請求項1〜のいずれか1項に記載の標識情報出力装置において、
    前記撮像部により逐次取得された前記撮像信号に基づいて前記車両が方向転換しているか否かを検知する方向転換検知部を更に備え、
    前記開始時点決定部は、前記方向転換検知部が前記方向転換の開始を検知した時点を前記開始時点として決定することを特徴とする標識情報出力装置。
  7. 請求項記載の標識情報出力装置において、
    前記車両が前記方向転換を行っている途中に、前記標識検知部により、直近に検知された前記標識とは別の標識が新たに検知された場合、
    前記出力指示部は、前記方向転換検知部が前記方向転換の終了を検知した後、前記別の標識の種類に関する前記標識情報を出力する
    ことを特徴とする標識情報出力装置。
JP2013166668A 2013-07-31 2013-08-09 標識情報出力装置 Active JP5896962B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013166668A JP5896962B2 (ja) 2013-08-09 2013-08-09 標識情報出力装置
EP17162263.2A EP3217321B1 (en) 2013-07-31 2014-07-24 Sign information output apparatus
EP14178340.7A EP2833290B1 (en) 2013-07-31 2014-07-24 Sign information output apparatus
US14/340,699 US10147005B2 (en) 2013-07-31 2014-07-25 Sign display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013166668A JP5896962B2 (ja) 2013-08-09 2013-08-09 標識情報出力装置

Publications (2)

Publication Number Publication Date
JP2015035165A JP2015035165A (ja) 2015-02-19
JP5896962B2 true JP5896962B2 (ja) 2016-03-30

Family

ID=52543626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013166668A Active JP5896962B2 (ja) 2013-07-31 2013-08-09 標識情報出力装置

Country Status (1)

Country Link
JP (1) JP5896962B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224717A (ja) 2015-05-29 2016-12-28 株式会社デンソー 運転支援装置及び運転支援方法
JP6462492B2 (ja) * 2015-05-29 2019-01-30 株式会社デンソー 車両の運転支援装置、及び運転支援方法
JP6506625B2 (ja) * 2015-05-29 2019-04-24 株式会社デンソー 運転支援装置及び運転支援方法
JP6319712B2 (ja) 2015-09-15 2018-05-09 マツダ株式会社 標識認識表示装置
JP6515773B2 (ja) * 2015-10-09 2019-05-22 株式会社デンソー 情報処理装置
JP6436054B2 (ja) * 2015-10-26 2018-12-12 株式会社デンソー 運転支援装置
JP6922425B2 (ja) * 2017-05-29 2021-08-18 株式会社デンソー 車両用表示制御装置及び表示制御プログラム
JP7065383B2 (ja) * 2017-06-30 2022-05-12 パナソニックIpマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JP2019066963A (ja) * 2017-09-28 2019-04-25 株式会社デンソー 運転支援装置および運転支援方法
JP7081316B2 (ja) * 2018-06-08 2022-06-07 スズキ株式会社 運転支援装置
WO2020008220A1 (ja) * 2018-07-04 2020-01-09 日産自動車株式会社 走行軌道生成方法及び走行軌道生成装置
JP7430445B2 (ja) * 2019-07-31 2024-02-13 ダイハツ工業株式会社 通行道路変更判定装置
JP6996542B2 (ja) * 2019-11-25 2022-01-17 株式会社デンソー 車両用表示制御装置及び車両用表示ユニット

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58118428A (ja) * 1982-01-08 1983-07-14 Honda Motor Co Ltd 自動ウインカ−キヤンセル装置
JPS6355700A (ja) * 1986-08-27 1988-03-10 日産自動車株式会社 道路標識報知装置
JP2001191871A (ja) * 2000-01-11 2001-07-17 Toyota Central Res & Dev Lab Inc 車載情報提示制御装置
JP2008185554A (ja) * 2007-01-31 2008-08-14 Toyota Motor Corp 車両用経路案内装置
JP5361541B2 (ja) * 2009-06-02 2013-12-04 三菱電機株式会社 標識認識装置
JP5602070B2 (ja) * 2011-03-15 2014-10-08 三菱電機株式会社 位置標定装置、位置標定装置の位置標定方法および位置標定プログラム

Also Published As

Publication number Publication date
JP2015035165A (ja) 2015-02-19

Similar Documents

Publication Publication Date Title
JP5896962B2 (ja) 標識情報出力装置
EP2833290B1 (en) Sign information output apparatus
CN108137058B (zh) 信息提示装置及信息提示方法
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
KR101553459B1 (ko) 차량을 주차하기 위한 방법 및 장치
US8232893B2 (en) Parking assist apparatus and method
JP4815993B2 (ja) 駐車支援方法及び駐車支援装置
KR102004062B1 (ko) 자동차의 운전자 보조 시스템 조작 방법, 운전자 보조 시스템 및 자동차
US20100299000A1 (en) Driving assistance apparatus
US20090243888A1 (en) Parking assistance device and parking assistance method
CN108140312A (zh) 停车辅助方法及停车辅助装置
JP5692668B2 (ja) 運転支援装置
KR20210127267A (ko) 차량 및 그 제어방법
JPH01168538A (ja) 車両の後方視界表示装置
US11400812B2 (en) Display unit
JP5169912B2 (ja) 駐車支援装置
KR102164635B1 (ko) 차량의 자율 주행을 위한 전자 장치 및 방법
US10169668B2 (en) Driving assistance apparatus and driving assistance method
JP2013116696A (ja) 駐車支援装置
JP5961821B2 (ja) 運転支援装置
JP4986070B2 (ja) 車両用周囲監視装置
CN113302105A (zh) 驾驶辅助方法及驾驶辅助装置
JP2019077289A (ja) 電子装置および駐車支援方法
JP4088288B2 (ja) 車両用周辺監視装置
JP2002225628A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150701

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20150819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150819

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150925

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160301

R150 Certificate of patent or registration of utility model

Ref document number: 5896962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150