JP6184607B2 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
JP6184607B2
JP6184607B2 JP2016551447A JP2016551447A JP6184607B2 JP 6184607 B2 JP6184607 B2 JP 6184607B2 JP 2016551447 A JP2016551447 A JP 2016551447A JP 2016551447 A JP2016551447 A JP 2016551447A JP 6184607 B2 JP6184607 B2 JP 6184607B2
Authority
JP
Japan
Prior art keywords
information
display
driver
vehicle
estimation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016551447A
Other languages
English (en)
Other versions
JPWO2016051586A1 (ja
Inventor
奈津季 織田
奈津季 織田
敬 平野
敬 平野
太郎 熊谷
太郎 熊谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2016051586A1 publication Critical patent/JPWO2016051586A1/ja
Application granted granted Critical
Publication of JP6184607B2 publication Critical patent/JP6184607B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers

Description

この発明は、車両に搭載されたヘッドアップディスプレイ型の表示装置を制御する表示制御装置に関するものである。
運転者が前方の道路から視線を外すことなく必要な情報を確認できるヘッドアップディスプレイ型の表示装置において、情報を表示する位置を、運転者から見て車両前方の奥行き方向へ変える方式が提案されている。
例えば、特許文献1に係る発明では、情報を表示する奥行き方向の位置を車速に応じて変化させる。運転者は、車速が遅いときには近くを注視し、車速が速いときには遠くを注視するため、車速が速くなるに従って遠くなる注視距離にあわせて情報の表示位置を奥行き方向の奥側へ変化させることにより、運転者が奥行き方向に視線を移動させる量(輻輳変動)を低減する効果が示されている。
また、特許文献2に係る発明では、カメラ画像を基に算出した運転者の焦点位置に応じて、情報を表示する奥行き方向の位置を変化させる。焦点位置は、運転者がある位置を注視してそこに目の焦点をあわせている場合、その焦点がある奥行き方向の位置である。焦点位置付近に情報を表示することにより、運転者の輻輳変動を低減し、目の疲れを抑制する効果が示されている。
特開平11−119147号公報 特開2005−301144号公報
従来のヘッドアップディスプレイは、情報の表示位置を奥行き方向に可変とする構成ではあるが、単一の位置にすべての種類の情報を表示するものであった。ここで表示すべき情報には、車両情報などのように運転者が容易に認識できるべき情報、および案内矢印などのように運転者の焦点位置に合わせて表示することにより輻輳の変動を抑制するべき付加情報などがある。しかしながら、単一の位置にすべての種類の情報を表示するものにおいては、運転者が容易に認識可能とすることと輻輳の変動を抑制することを両立することはできなかった。
この発明は、上記のような課題を解決するためになされたもので、情報の種類に拘らず運転者が容易に認識可能とすることと輻輳の変動を抑制することを両立することができるヘッドアップディスプレイの表示制御装置を提供することを目的とする。
この発明に係る表示制御装置は、車両の運転状況に基づいて運転者の焦点位置を推定する運転状況推定部と、表示対象情報のうちの車両に関する車両情報を運転者から前方へ向かう奥行き方向の位置が予め定められた基準位置に表示させるとともに、表示対象情報のうちの車両情報以外の付加情報を奥行き方向の位置が基準位置よりも奥行き方向の奥側であってかつその位置を変更可能な付加位置に表示させ、当該付加位置を運転状況推定部により推定された運転者の焦点位置に応じて変更する表示位置判定部と、案内地点に到着するまでの時間を推定する到着予定時刻推定部とを備え、表示位置判定部は、付加情報が案内地点に関する情報の場合、付加情報を表示する付加位置を、到着予定時刻推定部により推定された時間に応じて変更するものである。
この発明によれば、車両情報と付加情報を異なる位置に分けて表示し、かつ付加情報の表示位置を推定された運転者の焦点位置に応じて変更するようにしたので、情報の種類に拘らず運転者が容易に認識可能とすることと輻輳の変動を抑制することを両立することができる。即ち、基準位置に車両情報を表示するようにしたので、運転者が容易に認識可能とすることができる。さらに付加情報を表示する付加位置を推定された運転者の焦点位置に応じて変更するようにしたので、運転者の奥行き方向の視線移動量を低減し輻輳の変動を抑制することができる。また、運転者は、案内地点に関する情報の表示位置に基づいて、直感的に案内地点に到着するまでの時間を把握できる。
この発明の実施の形態1に係る表示制御装置の構成例を示すブロック図である。 実施の形態1に係る表示制御装置が制御するヘッドアップディスプレイ型の表示装置の模式図である。 表示対象情報が立体的に表示される原理を説明する図である。 表示対象情報の種類を説明する図である。 運転者の焦点位置と車速の関係を示すグラフである。 実施の形態1の運転状況推定部による動作を示すフローチャートである。 実施の形態1の表示位置判定部による動作を示すフローチャートである。 この発明の実施の形態2に係る表示制御装置の運転状況推定部による動作を示すフローチャートである。 実施の形態2の基準レイヤL1と付加レイヤL21を説明する模式図である。 この発明の実施の形態3に係る表示制御装置の構成例を示すブロック図である。 実施の形態3の基準レイヤL1、近距離付加レイヤL2、遠距離付加レイヤL3、および案内地点用付加レイヤL31を説明する模式図である。 実施の形態3の表示位置判定部による動作を示すフローチャートである。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る表示制御装置1の構成例を示すブロック図である。この表示制御装置1は車両に搭載され、同じく車両に搭載された車速センサ2、GPSセンサ3、運転モード取得部4、対象物検出センサ5、ナビゲーション装置6、および3D液晶ディスプレイ11に接続されている。
図2は、実施の形態1に係る表示制御装置1が制御するヘッドアップディスプレイ型の表示装置(以下、HUD14と呼ぶ)の模式図である。
3D液晶ディスプレイ11は、視差バリア方式によって裸眼のまま立体視可能な映像を表示する液晶ディスプレイであり、表示制御装置1から受信した表示用の映像(表示対象情報の右眼用画像と左眼用画像)を表示する。3D液晶ディスプレイ11が表示した表示対象情報は、フレネルレンズ12を通してハーフミラー13で反射し、運転者15に視認される。ハーフミラー13は、車両のフロントガラスで構成しても良い。またはフロントガラスと運転者15との間に設けられた平板状部材であるコンバイナで構成しても良い。この際、運転者15から見て奥行き方向の位置が固定された基準レイヤL1、この基準レイヤL1よりも奥行き方向の奥側の位置に設定された近距離付加レイヤL2、更に奥側に設定された遠距離付加レイヤL3のうちの少なくとも1つのレイヤ位置に、表示対象情報の虚像が浮かび上がって見える。基準レイヤL1の位置は、光学部品の配置構成によりフレネルレンズ12の焦点付近に予め設定される。また後述するが、基準レイヤL1の位置に表示する表示対象情報の右眼用画像と左眼用画像には、視差がない。そのため、基準レイヤL1の位置に浮かび上がって見える虚像は、ぼやけず、運転者15が容易に認識可能とすることができる。
なお、説明中ではレイヤと呼ぶが、物体が存在しているわけではなく、表示対象情報が浮かび上がって見える位置を比喩的にレイヤと呼ぶにすぎない。基準レイヤL1の位置が「基準位置」であり、近距離付加レイヤL2および遠距離付加レイヤL3の位置が「付加位置」である。
図3は、表示対象情報が立体的に表示される原理を説明する図である。
表示制御装置1は右眼用画像IRと左眼用画像ILを3D液晶ディスプレイ11に表示させ、それをハーフミラー13に反射させることで、運転者15に立体的に映像を視認させる。3D液晶ディスプレイ11に表示する右眼用画像IRと左眼用画像ILの間隔を変化させて視差を変化させることにより、虚像Vの奥行き方向の表示位置が変わる。
例えば、図3(a)に示すように、3D液晶ディスプレイ11上で右眼用画像IRと左眼用画像ILとの間に少量の視差が存在すると(つまり、右眼用画像IRと左眼用画像ILとが若干ずれて表示されていると)、表示対象情報の虚像Vは近距離付加レイヤL2の位置に浮かんで、かつ立体的(即ち三次元的)に見える。また、図3(b)に示すように、3D液晶ディスプレイ11上で右眼用画像IRと左眼用画像ILとの間に大きな視差が存在すると(つまり、右眼用画像IRと左眼用画像ILとが大きくずれて表示されていると)、虚像Vは遠距離付加レイヤL3の位置に浮かんで、かつ立体的に見える。
一方、図3(c)に示すように、3D液晶ディスプレイ11上で右眼用画像IRと左眼用画像ILとの間に視差がない場合(つまり、右眼用画像IRと左眼用画像ILとが重なって表示されている場合)、基準レイヤL1に平面的(即ち二次元的)な虚像Vが浮かんで見える。
即ち、基準レイヤL1に浮かんで見える虚像は、3D液晶ディスプレイ11上で右眼用画像IRと左眼用画像ILとの間に視差がない画像に基づいているので、高精細な虚像であってかつ二次元的な虚像になる。
他方、近距離付加レイヤL2と遠距離付加レイヤL3に浮かんで見える虚像は、3D液晶ディスプレイ11上で右眼用画像IRと左眼用画像ILとの間に視差がある画像に基づいているので、基準レイヤL1の虚像ほどの精細度ではないが三次元的な虚像になる。また、3D液晶ディスプレイ11上で右眼用画像IRと左眼用画像ILとの間の視差を調整することにより、浮かんで見える虚像を近距離付加レイヤL2あるいは遠距離付加レイヤL3のいずれに表示するのか変更することができる。
図4は、表示対象情報の種類を説明する図である。表示対象情報は、情報の種類によって、車両情報と付加情報とに分けられる。車両情報は、例えば、車速、メータ表示、燃料残量といった車両に関する情報である。付加情報は、例えば、経路の案内矢印、道路標識、制限速度、渋滞情報、警告、電子メールといった車両に関する情報以外の情報である。
図4(a)は、道路を走行中において、運転者15の視点からハーフミラー13を介して車両前方を眺めた際のイメージ図である。実施の形態1では、車両情報は基準レイヤL1に表示され、付加情報は運転状況等に応じて原則として、近距離付加レイヤL2または遠距離付加レイヤL3に表示される。
例えば、車両情報として車速、付加情報として案内矢印と警告が表示される場合、図4(b)に示すように、推定された運転者15の焦点位置が近距離であるときは車両情報である車速20が基準レイヤL1に表示され、付加情報である案内矢印21は近距離付加レイヤL2に表示される。また、運転状況等によっては、即ち推定された運転者15の焦点位置が遠距離であるときは図4(c)に示すように案内矢印21が遠距離付加レイヤL3に表示されることもある。さらに、付加情報は原則として近距離付加レイヤL2または遠距離付加レイヤL3に表示されるが、例外として、付加情報であっても警告22は基準レイヤL1に表示される。どの情報をどのレイヤに表示するかの詳細は後述する。
図5は、運転者15の焦点位置と車速の関係を示すグラフである。ここで、焦点位置とは、運転者15が見ている場所の奥行き方向の位置のことをいい、車速が遅い場合は焦点位置が近く(奥行き方向の手前側)になり、車速が速い場合は焦点位置が遠く(奥行き方向の奥側)になる傾向にある。例えば実線で示すように、運転者15の焦点位置と車速が一次関数の関係にあると仮定した場合、運転者15から奥行き方向3mの位置に近距離付加レイヤL2を設定し、10mの位置に遠距離付加レイヤL3を設定しておく。近距離付加レイヤL2の3mは、30km/hで走行中に運転者15が注視するであろう焦点位置、遠距離付加レイヤL3の10mは、100km/hで走行中に運転者15が注視するであろう焦点位置である。また、近距離付加レイヤL2より奥行き方向の手前側であってフレネルレンズ12の焦点付近、例えば2〜2.5mの位置に基準レイヤL1を設定しておく。
なお、各レイヤの位置は一例であり、これに限定されるものではない。また、破線で示すように、運転者15の焦点位置と車速を対数関数の関係にあると仮定して各レイヤの位置を設定してもよい。
次に、表示制御装置1を説明する。
表示制御装置1は、不図示のCPU(Central Processing Unit)で構成されており、このCPUが内部メモリに格納されたプログラムを実行することによって、情報取得部7、運転状況推定部8、表示対象情報生成部9、および表示位置判定部10としての機能を実現する。
情報取得部7は、車速センサ2、GPSセンサ3、運転モード取得部4、対象物検出センサ5およびナビゲーション装置6といった車載機器から各種の情報を取得する。情報取得部7が取得した情報は、後述する運転状況推定部8において運転状況を推定するために用いられる。また、情報取得部7が取得した情報を、HUD14に表示する表示対象情報に流用しても構わない。
車速センサ2は、車速を検出するセンサである。
GPSセンサ3は、GPS衛星の信号を受信して車両の位置を特定する。
運転モード取得部4は、運転者15が選択した運転モード(例えば、比較的低速な街乗りモード、または比較的高速なスポーツモード等)を取得する。運転者15は、ハンドルまたはシフトレバー等に設置された運転モード選択用のボタン等を操作することにより、所望の運転モードを選択する。あるいは、ナビゲーション装置6が運転者15から運転モードの選択を受け付けても構わない。
対象物検出センサ5は、自車両前方の人および車両などの視認対象物の有無、および視認対象物の位置を検出する。対象物検出センサ5としては、例えば車外をセンシングするステレオカメラまたはレーダ等が用いられる。視認対象物とは、歩行者および車など、運転者15が運転中に注意すべき物体である。
ナビゲーション装置6は、地図データの他、経路の案内矢印、道路標識、制限速度、渋滞情報、警告といった情報を、必要に応じて情報取得部7へ出力する。
運転状況推定部8は、情報取得部7が車載機器から取得した車速を推定可能な情報に基づいて、車両の運転状況を推定し、運転者の焦点位置が遠距離か近距離かを判定する。車速を推定可能な情報とは、車速、運転モード、および地図データに含まれる道路種別等である。
運転状況推定部8の詳細は後述する。
表示対象情報生成部9は、車速、メータ表示、燃料残量といった車両情報と、案内矢印、道路標識、制限速度、渋滞情報、警告、電子メールといった付加情報を、車載機器から取得し、これらを元に表示対象情報を生成する。なお、車両情報と付加情報は、情報取得部7を介して、車速センサ2、GPSセンサ3、運転モード取得部4、対象物検出センサ5、およびナビゲーション装置6から取得する他、不図示の車載機器(例えば、オーディオ曲名などの付加情報をオーディオ装置)からも取得可能である。ここでの説明は一例であって、情報の種類および車載機器の種類を限定するものではない。
表示対象情報としては、例えば図4に示した車速20のような文字列、ならびに案内矢印21および警告22のような図形等がある。
表示位置判定部10は、表示対象情報生成部9が生成した表示対象情報と運転状況推定部8が推定した運転者15の焦点位置に基づいて、表示対象情報を表示するレイヤを判定し、レイヤ位置に合わせた右眼用画像と左眼用画像の映像を生成する。
表示位置判定部10の詳細は後述する。
次に、表示制御装置1の動作を詳述する。
まず、図6に示すフローチャートに従い、運転状況推定部8の動作を説明する。ここでは、運転者15から車両前方の奥行き方向に2〜2.5mの位置に基準レイヤL1が設定され、3mの位置に近距離付加レイヤL2が設定され、10mの位置に遠距離付加レイヤL3が設定されているものとする。運転状況推定部8は、この設定に合わせて、運転者15の焦点位置3mを近距離、10mを遠距離とみなす。
運転状況推定部8の動作に先立ち、情報取得部7が、車速センサ2から車速を取得し、GPSセンサ3から自車位置を取得し、運転モード取得部4から運転モード(比較的低速な街乗りモード、または比較的高速なスポーツモード)を取得し、対象物検出センサ5から車両前方の視認対象物の有無と視認対象物の位置を取得し、ナビゲーション装置6から自車位置周辺の地図データを取得する。
運転状況推定部8は、情報取得部7が取得した情報に基づいて、自車両が高速道路を走行中か否かを判定する(ステップST1)。ここでは、運転状況推定部8は、GPSセンサ3の自車位置とナビゲーション装置6の地図データに基づいて、自車両が走行している道路の種別を判定する。運転状況推定部8は、道路種別が高速道路の場合にステップST2へ進み、一般道路の場合にステップST3へ進む。
自車両が高速道路を走行中と判定した場合(ステップST1“YES”)、運転状況推定部8は、高速道路走行時は比較的高速で走行しているとみなし、運転者15の奥行き方向の焦点位置は遠距離と推定する(ステップST2)。
一方、自車両が一般道路を走行中と判定した場合(ステップST1“NO”)、運転状況推定部8は、運転モードが選択されているか否かを判定する(ステップST3)。運転状況推定部8は、運転者15によって運転モードが選択されていない場合にステップST4へ進み、運転モードが選択されている場合にステップST7へ進む。
運転モードが選択されていないと判定した場合(ステップST3“NO”)、運転状況推定部8は、運転モードではなく車速に基づいて運転状況を判断する。運転状況推定部8は、車速センサ2で取得した車速と予め定めた閾値との大小を比較し(ステップST4)、車速が閾値以上の場合にステップST6へ進み、車速が閾値より小さい場合にステップST5へ進む。ここで、閾値は、焦点位置が遠距離にあるか近距離にあるかを推定するための車速である。図5に示したように焦点位置と車速が一次関数の関係にある場合、焦点位置が遠距離10mのとき車速が100km/h、焦点位置が近距離3mのとき車速が30km/hになるため、閾値として、30km/hより大きく100km/hより小さい値が用いられる。具体例としては例えば60km/hを用いる。日本の一般道路においては、通常60km/hを超えることはないからである。なおこの閾値は、各国または地域の事情を加味して自由に設定し得るものであって、かつ状況に応じて変更しても良い。
車速が閾値より小さい場合(ステップST4“NO”)、運転状況推定部8は、比較的低速で走行しているとみなし、運転者15の焦点位置を近距離と推定する(ステップST5)。
一方、車速が閾値以上の場合(ステップST4“YES”)、運転状況推定部8は、比較的高速で走行しているとみなし、運転者15の焦点位置を遠距離と推定する(ステップST6)。
他方、運転モードが選択されていると判定した場合(ステップST3“YES”)、運転状況推定部8は、運転者15により選択された運転モードがスポーツモードか否かを判定する(ステップST7)。運転状況推定部8は、スポーツモードが選択されている場合にステップST9へ進む。スポーツモード選択時(ステップST7“YES”)は比較的高速で走行していると推定されるため、運転状況推定部8は、運転者15の焦点位置を遠距離と推定する(ステップST9)。逆に、スポーツモードが選択されていない、つまり街乗りモードが選択されている場合(ステップST7“NO”)、運転状況推定部8は、比較的低速で走行しているとみなし、運転者15の焦点位置を近距離と推定する(ステップST8)。
続いて運転状況推定部8は、対象物検出センサ5によって車両前方の予め定めた距離内に視認対象物が検出されているか否かを判定する(ステップST10)。運転状況推定部8は、視認対象物が検出されなかった場合にステップST11へ進み、視認対象物が検出された場合にステップST12へ進む。ここで、予め定めた距離とは、遠距離付加レイヤL3が設定された位置(この例では10m)である。
車両前方に視認対象物が検出されなかった場合(ステップST10“NO”)、運転状況推定部8は、車両前方の予め定めた距離内にカーブがあるか否かを判定する(ステップST11)。予め定めた距離とは、上記同様、遠距離付加レイヤL3が設定された位置(この例では10m)である。運転状況推定部8は、例えば、ナビゲーション装置6の地図データから現在走行中の道路情報を選択し、車両前方にカーブがあるか否かを判定する。運転状況推定部8は、前方にカーブがある場合にステップST12に進み、カーブがない場合は処理を終了する。
車両前方に視認対象物またはカーブが検出された場合(ステップST10“YES”またはステップST11“YES”)、運転者15の焦点位置は車両近傍になることが想定される。そのため、運転状況推定部8は、運転者15が車両近傍を見ているとみなし、焦点位置を近距離と推定する(ステップST12)。
なお、運転状況推定部8は、ステップST2,ST6,ST9において運転状況に基づき焦点位置を遠距離と推定した場合であっても、ステップST12を優先し、推定した焦点位置を近距離に変更する。
以上の処理により、運転者15の焦点位置が遠距離(この例では10m)にあるか近距離(この例では3m)にあるかが推定される。
運転状況推定部8が運転者15の焦点位置を推定した後、続いて、表示対象情報生成部9がHUD14に表示するための表示対象情報を生成する。その後、表示位置判定部10が、表示対象情報生成部9により生成された表示対象情報と、運転状況推定部8により推定された運転者15の焦点位置を元に、表示対象情報を表示する奥行き方向の位置、つまりレイヤを判定して、表示用の右眼用画像と左眼用画像を作成する。
次に、図7に示すフローチャートに従い、表示位置判定部10の動作を説明する。
表示位置判定部10は、まず、表示対象情報生成部9により生成された表示対象情報が車両情報か否かを判定する(ステップST21)。表示位置判定部10は、表示対象情報が車速、メータ表示、燃料残量といった車両情報である場合にステップST22へ進み、逆に車両情報でない、つまり案内矢印、道路標識、制限速度、渋滞情報、警告、電子メールといった付加情報である場合にステップST23へ進む。
表示対象情報が車両情報である場合(ステップST21“YES”)、表示位置判定部10は、奥行き方向の位置が固定された基準レイヤL1に表示対象情報である車両情報を表示するための二次元映像、即ち視差のない右眼用画像と左眼用画像を作成し(ステップST22)、処理を終了する。
一方、表示対象情報が車両情報ではない場合(ステップST21“NO”)、表示位置判定部10は、表示対象情報である付加情報が警告か否かを判定する(ステップST23)。表示位置判定部10は、付加情報が警告でない場合にステップST24へ進み、付加情報が警告の場合にステップST26へ進む。
付加情報が警告でない場合(ステップST23“NO”)、表示位置判定部10は、表示対象情報である付加情報が高解像度情報か否かを判定する(ステップST24)。高解像度情報とは、表示に必要とされる解像度が予め定められた閾値以上の付加情報であり、例えば電子メールおよびオーディオ曲名といった文字情報、ならびにきめ細かいグラフィックスの画像、例えばメータ画像などである。表示位置判定部10は、付加情報が高解像度情報でない場合にステップST25へ進み、付加情報が高解像度情報の場合にステップST26へ進む。
付加情報が高解像度情報でない場合(ステップST24“NO”)、表示位置判定部10は、運転状況推定部8が推定した運転者15の焦点位置に対応する付加レイヤに、付加情報を表示するための三次元映像、即ち視差のある右眼用画像と左眼用画像を作成し(ステップST25)、処理を終了する。運転状況推定部8において運転者15の焦点位置が近距離と推定された場合、表示位置判定部10は、3m先の近距離付加レイヤL2に付加情報を表示するための三次元映像を作成する。一方、焦点位置が遠距離と推定された場合、表示位置判定部10は、10m先の遠距離付加レイヤL3に付加情報を表示するための三次元映像を作成する。
付加情報が警告または高解像度情報である場合(ステップST23“YES”またはステップST24“YES”)、表示位置判定部10は、警告または高解像度情報を基準レイヤL1に表示するための二次元映像を作成し(ステップST26)、処理を終了する。
最後に、表示位置判定部10により作成された映像が3D液晶ディスプレイ11に送付され、そこに表示されることで表示対象情報が運転者15に提示される。
以上の処理により、運転者15の焦点位置が遠距離のときには付加情報が遠距離付加レイヤL3に表示され、運転者15の焦点位置が近距離のときには付加情報が近距離付加レイヤL2に表示されるので、運転者15の焦点位置と付加レイヤL2,L3の奥行き方向の位置との差異を抑制できる。これにより、運転者15の奥行き方向の視線移動量(輻輳変動)を低減することができ、視認時の疲労を抑制できる。
なお、上記説明では、付加レイヤの表示位置を近距離と遠距離の2段階に設定したが、3段階以上に設定しても構わない。また図7では1つの表示対象情報を用いて動作を説明したが、この処理は表示対象情報ごとに行われる。即ち、図4に示す場合は、表示対象情報である車速20、案内矢印21および警告22のそれぞれに対して行われる。
以上より、実施の形態1によれば、表示制御装置1は、車両の運転状況に基づいて運転者15の焦点位置を推定する運転状況推定部8と、表示対象情報生成部9が生成した表示対象情報のうちの車両情報を奥行き方向の位置が予め定められた基準レイヤL1の位置に表示させるとともに、表示対象情報のうちの付加情報を奥行き方向の位置が基準レイヤL1の位置よりも奥行き方向の奥側であってかつその位置が異なる近距離付加レイヤL2または遠距離付加レイヤL3の位置に表示させ、付加情報の表示位置を、運転状況推定部8により推定された運転者15の焦点位置に応じて近距離付加レイヤL2か遠距離付加レイヤL3に変更する表示位置判定部10を備える構成にした。即ち車両情報を基準レイヤL1に表示するとともに付加情報を近距離付加レイヤL2または遠距離付加レイヤL3に表示するといった多層レイヤ構造であるため、情報の種類に応じて表示を分けることができる。また、視差のない画像に基づいて二次元の虚像が浮かび上がる基準レイヤL1に車両情報を表示するようにしたので、情報の種類に拘らず運転者15が容易に認識可能とすることができる。さらに、付加情報の表示位置を、運転者15の焦点位置に応じて変更するようにしたので、運転者15の奥行き方向の視線移動量を低減し、輻輳の変動を抑制することができる。
また、実施の形態1によれば、運転状況推定部8は、車速を推定可能な情報(車速、運転モード、および地図データに含まれる道路種別)に基づいて、運転者15の焦点位置を推定する構成にした。このため、上記特許文献2に係る発明で必要だった運転者視線監視用のカメラが不要となる。
なお、上記実施の形態1ではレイヤが頻繁に切り替わらないようにするため、車速を推定可能な情報について優先順位を付けた例(優先順位が高い順から道路種別、運転モードまたは車速)を示した。即ち自車両が高速道路を走行中と判定した場合(ステップST1“YES”)、運転状況推定部8は、運転モードおよび車速を確認することなく焦点位置は遠距離と推定する。同様に自車両が一般道路を走行中と判定した場合(ステップST1“NO”)、運転状況推定部8は、運転モード(ステップST3)により焦点位置を推定することとなり、この場合は車速の確認はしない。
即ち車速を推定可能な情報について優先順位を付けることにより、車速が閾値60km/hを頻繁に上下しても道路種別もしくは運転モードが切り替わらなければレイヤを切り替えない。このためレイヤの切り替えを安定したものにすることができる。なお上記優先順位は例示に過ぎない。優先順位は予め定めておいてもよいし、運転者が自由に設定しても構わない。また車速を推定可能な情報として、道路種別、運転モードまたは車速以外のものを用いてもよい。またこれらの情報に優先順位を付けても良い。
他方、図6の例では、車速を推定可能な情報として車速、運転モードおよび道路種別の3つを優先順位を付けて使用したが、少なくとも1つを使用する構成にしてもよい。また、どの情報を使用するか、ユーザが設定する構成にしてもよい。例えば、運転者が自分の焦点位置と連動して速やかにレイヤを切り替えることを望む場合は、車速を推定可能な情報として、車速センサ2の車速を使用すればよい。この場合は時々刻々と変わる車速に応じて運転者の焦点位置も変化しており、この焦点位置に合ったレイヤに速やかに切り替えることができる。あるいは、車速を推定可能な情報として、車速センサ2の車速を使用せず、運転モードまたは道路種別を使用した場合は、大まかな運転者15の焦点位置を推定可能となる。近距離付加レイヤL2と遠距離付加レイヤL3を判定する閾値付近の車速で走行している場合、車速センサ2の車速を使用するとレイヤが頻繁に切り替わるが、運転モードあるいは道路種別が変化しない限りレイヤの切り替えが起こることはなくなる。
また、実施の形態1によれば、車両の前方に視認対象物が存在する場合、または、車両が走行する道路の前方にカーブが存在する場合、運転状況推定部8は、現在の運転状況に基づいて推定した焦点位置を、当該推定した焦点位置より運転者15に近い位置に変更する構成にした。歩行者などの視認対象物が存在する場合またはカーブを走行する場合、運転者15の焦点位置が近くになることが想定されるため、付加情報の表示位置を奥行き方向の手前側にすることで運転者15の奥行き方向の視線移動量を低減できる。
また、実施の形態1によれば、表示位置判定部10は、付加情報が警告の場合、当該付加情報を基準レイヤL1に表示させる構成にした。運転者15の最も手前側に設定され、かつ、高解像度の虚像を表示可能な基準レイヤL1に警告を表示することで、基準レイヤL1よりも奥行き方向の奥側に設定された近距離付加レイヤL2または遠距離付加レイヤL3に表示する場合に比べて、見逃してはいけない警告の認知が容易になる。
また、実施の形態1によれば、表示位置判定部10は、付加情報の表示に必要とされる解像度が予め定められた閾値以上の場合、当該付加情報を基準レイヤL1に表示させる構成にした。電子メール、オーディオ曲名といった文字情報は形状が複雑であるため表示に高い解像度を必要とする。このような情報を視差のない画像に基づいて表示される基準レイヤL1の高解像度の虚像として表示することで、視差がある画像に基づいて表示される近距離付加レイヤL2または遠距離付加レイヤL3に表示する場合に比べて、可読性を改善できる。
実施の形態2.
実施の形態2に係る表示制御装置1の構成は、図面上は図1と同じであるため、以下では図1を援用する。
実施の形態2に係る表示制御装置1が実施の形態1と異なる点は、運転状況推定部8の動作にある。実施の形態1の運転状況推定部8では、付加情報を表示する位置を近距離付加レイヤL2の位置または遠距離付加レイヤL3の位置にしていた。実施の形態2の運転状況推定部8では、これに加え、付加情報を表示する位置を車速に応じて連続的に変化させることも可能とする。
図8は、実施の形態2における運転状況推定部8の動作を示すフローチャートである。以下、運転状況推定部8の動作を、図8に基づいて説明する。
図8において実施の形態1の図6と異なるのは、図6のステップST4〜ST6に代わってステップST13が行われる点である。
つまり、運転状況推定部8は、ステップST3において運転モードが選択されていない場合(ステップST3“NO”)、運転者15の焦点位置を車速センサ2の車速に応じて連続的に変化させる(ステップST13)。例えば、図5に示したように焦点位置と車速が一次関数の関係にある場合、運転状況推定部8は車速が20km/hのとき焦点位置を2m、30km/hのとき焦点位置を3m、60km/hのとき焦点位置を6m、100km/hのとき焦点位置を10mと推定する。このように、実施の形態2では、車速に応じて焦点位置を連続的に変化させる。
図9は、実施の形態2の基準レイヤL1と付加レイヤL21を説明する模式図である。表示位置判定部10は、実施の形態1と同様に、車速20などの車両情報ならびに付加情報のうちの警告22および高解像度情報を、奥行き方向の位置が固定された基準レイヤL1の位置に表示するための二次元映像を作成する。
一方、表示位置判定部10は、案内矢印21などの付加情報(警告および高解像度情報を除く)を、運転状況推定部8が推定した運転者15の焦点位置に対応する付加レイヤL21に表示するための三次元映像を作成する。運転状況推定部8が推定した焦点位置に応じて、表示位置判定部10が付加情報の右眼用画像と左眼用画像の間隔を調整して視差を変更することにより、虚像が浮かんで見える付加レイヤL21の位置が奥行き方向に変更される。付加レイヤL21の奥行き方向における移動範囲は任意に設定可能であり、例えば、基準レイヤL1から遠距離付加レイヤL3までの範囲とする。
例えば、図8のステップST2またはステップST9で焦点位置が遠距離と推定された場合、表示位置判定部10は、付加レイヤL21を遠距離(例えば、10m)の位置に設定し、その位置に付加情報を表示するための三次元映像を作成する。図8のステップST8またはステップST12で焦点位置が近距離と推定された場合、表示位置判定部10は、付加レイヤL21を近距離(例えば、3m)の位置に設定し、その位置に付加情報を表示するための三次元映像を作成する。図8のステップST13で車速に応じた焦点位置が推定された場合、表示位置判定部10は、付加レイヤL21をその焦点位置(例えば、車速60km/hのとき6m)に設定し、その位置に付加情報を表示するための三次元映像を作成する。
以上より、実施の形態2によれば、運転状況推定部8は、車速が大きくなるほど、付加情報を表示する付加レイヤL21の位置を奥行き方向の奥側に変更する構成にした。このため実施の形態1と比べて実施の形態2では、より細かく運転者15の焦点位置を推定できる。そして、推定した運転者15の焦点位置に合わせて付加レイヤの表示位置を連続的に変化させるようにしたので、運転者15の奥行き方向の視線移動量を更に低減することができる効果がある。
実施の形態3.
図10は、実施の形態3に係る表示制御装置1の構成例を示すブロック図である。図10において、図1と同一または相当の部分については同一の符号を付し説明を省略する。
実施の形態3に係る表示制御装置1が実施の形態1と異なる点は、到着予定時刻推定部30が追加されている点である。また、到着予定時刻推定部30の追加に伴い、情報取得部7および表示位置判定部10の動作も異なる。
実施の形態3では、情報取得部7が、ナビゲーション装置6から案内地点情報を取得する。案内地点とは、例えば、自車両の目的地または経由地として設定された地点である。案内地点情報とは、例えば、目的地の施設情報(施設の位置、施設を表すアイコンなど)、または経由地の施設情報(施設の位置、施設を表すアイコンなど)であり、付加情報の1つである。
運転状況推定部8は、実施の形態1と同様の動作を行う。
その後、到着予定時刻推定部30は、情報取得部7がGPSセンサ3から取得した自車位置と、ナビゲーション装置6から取得した地図データおよび案内地点情報とを用いて、自車両から案内地点までの距離を求める。到着予定時刻推定部30は、求めた距離を、情報取得部7が車速センサ2から取得した車速で除することにより、案内地点へ到着する時刻を推定し、案内地点に到着するまでに要する時間を推定する。
なお、到着予定時刻推定部30は、自身で到着予定時刻を推定する代わりに、ナビゲーション装置6から到着予定時刻に関する情報を取得しても構わない。
到着予定時刻推定部30が到着に要する時間を推定した後、表示対象情報生成部9が実施の形態1と同様に表示対象情報を生成する。その際、表示対象情報生成部9は、案内地点情報から、目的地または経由地となる施設を表すアイコンなどの表示対象情報を生成する。
その後、表示位置判定部10は、到着予定時刻推定部30が推定した到着に要する時間、表示対象情報生成部9が生成した表示対象情報、および運転状況推定部8が推定した運転者15の焦点位置を用いて、表示対象情報を表示する奥行き方向の位置を判定する。
図11は、実施の形態3の基準レイヤL1、近距離付加レイヤL2、遠距離付加レイヤL3、および案内地点用付加レイヤL31を説明する模式図である。実施の形態3では、到着予定時刻推定部30が推定した到着に要する時間に合わせて奥行き方向の位置を変更可能な案内地点用付加レイヤL31が追加されている。案内地点用付加レイヤL31の奥行き方向における移動範囲は任意に設定可能であり、例えば、遠距離付加レイヤL3から近距離付加レイヤL2までの範囲とする。目的地または経由地となる施設を表すアイコン31等の案内地点情報の表示対象情報は、案内地点用付加レイヤL31に表示される。
図12は、実施の形態3における表示位置判定部10の動作を示すフローチャートである。
図12において実施の形態1の図7と異なるのは、ステップST27,ST28が追加された点である。
ステップST27において、表示位置判定部10は、付加情報が案内地点情報か否かを判定する。表示位置判定部10は、付加情報が案内地点情報である場合にステップST28へ進み、付加情報が案内地点情報でない場合にステップST25へ進む。
付加情報が案内地点情報である場合(ステップST27“YES”)、表示位置判定部10は、到着予定時刻推定部30が推定した到着に要する時間に基づいて、案内地点情報を表示する案内地点用付加レイヤL31の奥行き方向の位置を設定し、その位置に案内地点情報を表示するための三次元映像を作成する(ステップST28)。
例えば、案内地点への到着予定時刻が1時間後の場合、案内地点用付加レイヤL31を遠距離付加レイヤL3と同じ位置に表示する。車両が走行を開始し、到着予定時刻が近づくにつれて案内地点用付加レイヤL31が手前側に移動し、到着予定時刻が30分後になると案内地点用付加レイヤL31は遠距離付加レイヤL3と近距離付加レイヤL2の中間位置にくる。案内地点に到着すると案内地点用付加レイヤL31が近距離付加レイヤL2と同じ位置にくる。運転者15は、到着予定時刻が近づくと案内地点情報の虚像が近づいてくるので、直感的に案内地点に到着するまでの時間を把握できる。
このように、表示位置判定部10は、到着予定時刻に応じて案内地点情報の表示位置を連続的に変化させる。なお、案内地点情報の表示位置を、遠距離付加レイヤL3の位置、遠距離付加レイヤL3と遠距離付加レイヤL3の中間位置、近距離付加レイヤL2の位置に段階的に変化させてもよい。
上記説明では現在地から案内地点に到達するまでの時間に応じて案内地点用付加レイヤL31の位置を変更したが、代わりに、現在地から案内地点までの道のり距離に応じて案内地点用付加レイヤL31の位置を変更してもよい。
あるいは、案内地点用付加レイヤL31において案内地点を矢印等で指し示す場合、現在地から案内地点までの直線距離に応じて案内地点用付加レイヤL31の位置を変更してもよい。
なお、案内地点情報を案内地点用付加レイヤL31に常時表示させる必要はない。そのため、表示位置判定部10は、例えば、自車両が案内地点に到達する所定時間前(例えば、10分前)に案内地点情報を案内地点用付加レイヤL31に表示開始するようにしてもよい。
上記説明では、実施の形態3の構成を実施の形態1の構成と組み合わせた場合を例にしたが、実施の形態2の構成と組み合わせても構わない。
以上より、実施の形態3によれば、表示制御装置1は、案内地点に到着するまでの時間を推定する到着予定時刻推定部30を備える構成にした。表示位置判定部10は、付加情報が案内地点に関する情報の場合、当該付加情報を表示する案内地点用付加レイヤL31を、到着予定時刻推定部30により推定された時間に応じて変更する構成にした。このため、運転者15は、奥行き方向における案内地点情報の表示位置に基づいて、直感的に案内地点に到着するまでの時間を把握できる。
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
この発明に係る表示制御装置は、情報の種類に応じて表示位置を別にしたので、表示する情報量が多い自動車等に搭載されるヘッドアップディスプレイなどに用いるのに適している。
1 表示制御装置、2 車速センサ、3 GPSセンサ、4 運転モード取得部、5 対象物検出センサ、6 ナビゲーション装置、7 情報取得部、8 運転状況推定部、9
表示対象情報生成部、10 表示位置判定部、11 3D液晶ディスプレイ、12 フレネルレンズ、13 ハーフミラー、14 HUD、15 運転者、20 車速、21 案内矢印、22 警告、31 アイコン、L1 基準レイヤ、L2 近距離付加レイヤ、L3 遠距離付加レイヤ、L21 付加レイヤ、L31 案内地点用付加レイヤ、IR 右眼用画像、IL 左眼用画像、V 虚像。

Claims (8)

  1. 表示対象情報の虚像を運転者の前方に表示するヘッドアップディスプレイを制御する表示制御装置であって、
    車両の運転状況に基づいて前記運転者の焦点位置を推定する運転状況推定部と、
    前記表示対象情報のうちの前記車両に関する車両情報を前記運転者から前方へ向かう奥行き方向が予め定められた基準位置に表示させるとともに、前記表示対象情報のうちの前記車両情報以外の付加情報を前記奥行き方向の位置が前記基準位置よりも前記奥行き方向の奥側であってかつその位置を変更可能な付加位置に表示させ、当該付加位置を前記運転状況推定部により推定された前記運転者の焦点位置に応じて変更する表示位置判定部と
    案内地点に到着するまでの時間を推定する到着予定時刻推定部とを備え、
    前記表示位置判定部は、前記付加情報が前記案内地点に関する情報の場合、前記付加情報を表示する前記付加位置を、前記到着予定時刻推定部により推定された時間に応じて変更することを特徴とする表示制御装置。
  2. 前記運転状況推定部は、車速を推定可能な情報に基づいて、前記運転者の焦点位置を推定することを特徴とする請求項1記載の表示制御装置。
  3. 前記車速を推定可能な情報は運転モードであることを特徴とする請求項2記載の表示制御装置。
  4. 前記運転状況推定部は、前記車速が大きいときは前記車速が小さいときに比して、前記付加位置を前記奥行き方向の奥側に変更することを特徴とする請求項2記載の表示制御装置。
  5. 前記車両の前方に視認対象物が存在する場合、前記運転状況推定部は、現在の運転状況に基づいて推定した焦点位置を、当該推定した焦点位置より前記運転者に近い位置に変更することを特徴とする請求項4記載の表示制御装置。
  6. 前記車両が走行する道路の前方にカーブが存在する場合、前記運転状況推定部は、現在の運転状況に基づいて推定した焦点位置を、当該推定した焦点位置より前記運転者に近い位置に変更することを特徴とする請求項4記載の表示制御装置。
  7. 前記表示位置判定部は、前記付加情報が警告の場合、前記付加情報を前記基準位置に表示させることを特徴とする請求項1記載の表示制御装置。
  8. 前記表示位置判定部は、前記付加情報の表示に必要とされる解像度が予め定められた閾値以上の場合、前記付加情報を前記基準位置に表示させることを特徴とする請求項1記載の表示制御装置。
JP2016551447A 2014-10-03 2014-10-03 表示制御装置 Expired - Fee Related JP6184607B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/076541 WO2016051586A1 (ja) 2014-10-03 2014-10-03 表示制御装置

Publications (2)

Publication Number Publication Date
JPWO2016051586A1 JPWO2016051586A1 (ja) 2017-04-27
JP6184607B2 true JP6184607B2 (ja) 2017-08-23

Family

ID=55629672

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016551447A Expired - Fee Related JP6184607B2 (ja) 2014-10-03 2014-10-03 表示制御装置

Country Status (2)

Country Link
JP (1) JP6184607B2 (ja)
WO (1) WO2016051586A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6620682B2 (ja) * 2016-06-21 2019-12-18 株式会社デンソー 車載表示装置
JP6793480B2 (ja) * 2016-06-30 2020-12-02 国立大学法人東京工業大学 情報表示装置
JP6846624B2 (ja) * 2017-02-23 2021-03-24 パナソニックIpマネジメント株式会社 画像表示システム、画像表示方法及びプログラム
US11187910B2 (en) 2017-05-22 2021-11-30 Nippon Seiki Co., Ltd. Head-up display device for adjusting display distances of virtual images
CN112074770B (zh) * 2018-05-04 2023-08-22 哈曼国际工业有限公司 可调整的三维增强现实平视显示器
WO2019225400A1 (ja) * 2018-05-23 2019-11-28 京セラ株式会社 画像表示装置、画像表示システム、ヘッドアップディスプレイおよび移動体
JP7024619B2 (ja) * 2018-06-12 2022-02-24 株式会社デンソー 移動体用表示制御装置、移動体用表示制御方法、及び制御プログラム
JP6969509B2 (ja) * 2018-06-29 2021-11-24 株式会社デンソー 車両用表示制御装置、車両用表示制御方法、及び制御プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH075886U (ja) * 1993-06-25 1995-01-27 日本精機株式会社 車両用表示装置
JPH1068906A (ja) * 1996-05-30 1998-03-10 Asahi Glass Co Ltd ホログラフィック表示装置
JPH11119147A (ja) * 1997-10-14 1999-04-30 Asahi Optical Co Ltd ヘッドアップディスプレイ
DE19816647C2 (de) * 1998-04-15 2000-12-14 Daimler Chrysler Ag Vorrichtung zur Verbesserung des Kontrastes in einem Head-Up-Display in einem Kraftfahrzeug
JP2001021836A (ja) * 1999-07-13 2001-01-26 Nissan Motor Co Ltd 車両用表示装置
JP2003237412A (ja) * 2002-02-14 2003-08-27 Denso Corp 車両用ヘッドアップディスプレイ装置
JP2004168230A (ja) * 2002-11-21 2004-06-17 Nissan Motor Co Ltd 車両用表示装置
JP2005149175A (ja) * 2003-11-17 2005-06-09 Casio Comput Co Ltd 表示制御装置およびプログラム
JP2012081819A (ja) * 2010-10-08 2012-04-26 Nissan Motor Co Ltd ハイブリッド車両の制御装置
WO2012053030A1 (ja) * 2010-10-19 2012-04-26 三菱電機株式会社 3次元立体表示装置

Also Published As

Publication number Publication date
WO2016051586A1 (ja) 2016-04-07
JPWO2016051586A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6184607B2 (ja) 表示制御装置
US10293748B2 (en) Information presentation system
JP6201690B2 (ja) 車両情報投影システム
JP6223630B2 (ja) 表示制御装置、表示システム、表示制御方法および表示制御プログラム
JP4476719B2 (ja) ナビゲーションシステム
KR102547823B1 (ko) 컨텐츠 시각화 장치 및 방법
JP6695049B2 (ja) 表示装置及び表示制御方法
JP2010143520A (ja) 車載用表示システム及び表示方法
JP5327025B2 (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
US20190241070A1 (en) Display control device and display control method
US11214279B2 (en) Controlling the operation of a head-up display apparatus
US20160062115A1 (en) Display system
JP7255608B2 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2016074410A (ja) ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法
JP6825433B2 (ja) 虚像表示装置及びコンピュータプログラム
JP6186905B2 (ja) 車載表示装置およびプログラム
WO2016056199A1 (ja) ヘッドアップディスプレイ装置、ヘッドアップディスプレイ表示方法
JP2015065614A (ja) 情報表示制御装置
WO2020158601A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2010002341A (ja) 車両用情報呈示装置
KR102324280B1 (ko) 차량 주행방향 기반 hud 시스템
JP2007218655A (ja) ナビゲーション装置
JP2019028534A (ja) 車両用表示装置
JP2023017641A (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
JP6939147B2 (ja) 走行情報案内装置及びコンピュータプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161014

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170725

R150 Certificate of patent or registration of utility model

Ref document number: 6184607

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees