JP6287351B2 - ヘッドアップディスプレイ装置 - Google Patents

ヘッドアップディスプレイ装置 Download PDF

Info

Publication number
JP6287351B2
JP6287351B2 JP2014041849A JP2014041849A JP6287351B2 JP 6287351 B2 JP6287351 B2 JP 6287351B2 JP 2014041849 A JP2014041849 A JP 2014041849A JP 2014041849 A JP2014041849 A JP 2014041849A JP 6287351 B2 JP6287351 B2 JP 6287351B2
Authority
JP
Japan
Prior art keywords
image
screen
virtual image
video
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014041849A
Other languages
English (en)
Other versions
JP2015166230A (ja
Inventor
賢二 渡邊
賢二 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2014041849A priority Critical patent/JP6287351B2/ja
Publication of JP2015166230A publication Critical patent/JP2015166230A/ja
Application granted granted Critical
Publication of JP6287351B2 publication Critical patent/JP6287351B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Instrument Panels (AREA)

Description

本発明は、ユーザが視認する各種映像を生成するヘッドアップディスプレイ装置に関する。
従来より、車両等の移動体の乗員に対して経路案内や障害物の警告等の運転情報を提供する情報提供手段として、様々な手段が用いられている。例えば、移動体に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、ヘッドアップディスプレイ装置(以下、HUDという)がある。
ここで、例えば移動体として特に車両に対して設置されたHUDは、特開2010−125910号公報に記載されているように、車両の乗員から見て車両のウィンドウ(例えばフロントウインドウ)の前方に、前方視野の前景に重畳して、運転情報(例えば、速度表示、経路案内表示等)を虚像として生成することが可能である。その結果、乗員は運転情報を視認する際に視線移動を極力少なくすることが可能であり、運転時の負担をより少なくすることが可能となる。
特開2010−125910号(第6−7頁、図3)
ここで、HUDにおいてユーザに適切に虚像を視認させる為には、予め決められた範囲内にユーザの両眼が位置する必要があった。即ち、HUDは、HUD内部にあるスクリーンや液晶パネル等の描画手段に描画された映像を、フロントガラスやコンバイナー等に反射させてユーザに両眼に視認させる必要があるが、HUDとユーザの眼の位置関係が厳密に対応してなければ描画手段に描画された映像をユーザの両眼に視認させることができなかった。
従って、車両の搭乗時にはHUDとユーザの眼の位置関係が対応していたとしても、その後にユーザの姿勢が変更されること等によってHUDとユーザの眼の位置関係にズレが生じ、ユーザに適切に虚像を視認させることができなくなる場合があった。例えば、位置関係にズレを生じて片眼のみが描画手段に描画された映像を視認できる状態となると、虚像の遠近感を得ることができない。従って、虚像の生成された位置が重要となる情報を出力する場合(例えば、障害物に対する警告の虚像として、障害物が実際に存在する位置に虚像を生成した場合や、道路の右左折を案内する虚像として、右左折する地点に虚像を生成した場合)には、ユーザに適切な情報提供ができない問題があった。
尚、上記特許文献1には、運転者の視線方向や顔の向きをカメラ等で検出し、視線方向に合わせて虚像の表示を行うことにより、虚像を適切な位置に視認させる技術については開示されている。しかしながら、上記特許文献1では視線方向や顔の向きの変化については考慮しているが、ユーザの眼の位置の変化については考慮しておらず、上述したような遠近感の欠如に対しては対応できなかった。
本発明は前記従来における問題点を解消するためになされたものであり、HUDとユーザの眼の位置関係にズレが生じ、ユーザに適切に虚像を視認させることができない状況となった場合であっても、補強映像を追加することによって必要な情報をユーザに提供することを可能にしたヘッドアップディスプレイ装置を提供することを目的とする。
前記目的を達成するため本発明に係るヘッドアップディスプレイ装置(1)は、スクリーン(20、21)と、映像を前記スクリーンに投射するプロジェクタ(4)と、前記スクリーンに投射された前記映像をユーザに視認させることによって前記映像の虚像を生成する虚像生成手段(11、12)と、を有するヘッドアップディスプレイ装置であって、前記スクリーンに投射された前記映像を視認可能な前記ユーザの眼の位置の範囲である視認可能範囲を取得する範囲取得手段(31)と、を有し、前記視認可能範囲に前記ユーザの両眼が含まれている場合には、前記プロジェクタは第1映像を前記スクリーンに投射し、前記視認可能範囲から前記ユーザの少なくとも一方の眼が外れている場合に前記プロジェクタは前記第1映像に加えて前記ユーザの遠近感を補強する補強映像を追加して前記スクリーンに投射し、前記補強映像は、前記第1映像に基づいて内容が決定されることを特徴とする。
前記構成を有する本発明に係るヘッドアップディスプレイ装置によれば、ユーザの姿勢が変化すること等によってHUDとユーザの眼の位置関係にズレが生じ、ユーザに両眼で適切に虚像を視認させることができず、遠近感を得ることができない状況となった場合であっても、補強映像を追加することによって遠近感を補強することが可能となる。その結果、虚像の生成された位置が重要となる情報を出力する場合(例えば、障害物に対する警告の虚像として、障害物が実際に存在する位置に虚像を生成した場合や、道路の右左折を案内する虚像として、右左折する地点に虚像を生成した場合)においても、ユーザに適切な情報提供が可能となる。
また、視認可能範囲からユーザの両眼が外れている場合においても補強画像を投射するので、その後に視認可能範囲にユーザの片眼が進入した場合において、進入時点からタイムラグを生じさせずにユーザに適切な情報提供が可能となる。
また、ユーザに視認させたい元々の虚像である第1虚像の内容に応じて補強映像の内容を決定するので、第1虚像の内容に応じた適切な補強映像の虚像を生成することが可能となる。従って、第1虚像によってユーザに提供したい情報をより確実にユーザに提供することが可能となる。
本実施形態に係るHUDの車両への設置態様を示した図である。 本実施形態に係るHUDの内部構成を示した図である。 プロジェクタが備える第1投射レンズ及び第2投射レンズを示した図である。 第2投射レンズの移動態様を示した図である。 第1スクリーンと第2スクリーンをそれぞれ示した図である。 第1スクリーンと第2スクリーンに対するプロジェクタの映像の投射態様を示した図である。 第2スクリーンの光路に対する前後方向への移動態様を示した図である。 第1スクリーンと第2スクリーンに投射された映像によって生成される虚像をそれぞれ示した図である。 第1スクリーン及び第2スクリーンの光路に対する交差方向への移動態様を示した図である。 第1スクリーンと第2スクリーンを上下方向に移動させた場合におけるプロジェクタの映像の投射態様を示した図である。 本実施形態に係るHUDの構成を示したブロック図である。 本実施形態に係る虚像生成処理プログラムのフローチャートである。 視認可能範囲を示した図である。 車両の乗員から視認できる虚像の一例を示した図である。 位置設定テーブルの一例を示した図である。 車両の乗員から視認できる虚像の一例を示した図である。 乗員の少なくとも一方の眼が視認可能範囲から外れている場合において、車両の乗員から視認できる虚像の一例を示した図である。 乗員の少なくとも一方の眼が視認可能範囲から外れている場合において、車両の乗員から視認できる虚像の一例を示した図である。 乗員の少なくとも一方の眼が視認可能範囲から外れている場合において、車両の乗員から視認できる虚像の一例を示した図である。 乗員の少なくとも一方の眼が視認可能範囲から外れている場合において、車両の乗員から視認できる虚像の一例を示した図である。
以下、本発明に係るヘッドアップディスプレイ装置について具体化した一実施形態について図面を参照しつつ詳細に説明する。
先ず、本実施形態に係るヘッドアップディスプレイ装置(以下、HUDという)1の構成について図1を用いて説明する。図1は本実施形態に係るHUD1の車両2への設置態様を示した図である。
図1に示すようにHUD1は、車両2のダッシュボード3内部に設置されており、内部にプロジェクタ4やプロジェクタ4からの映像が投射されるスクリーン5を有する。そして、スクリーン5に投射された映像を、後述のようにHUD1が備えるミラーやフレネルレンズを介し、更に運転席の前方のフロントウィンドウ6に反射させて車両2の乗員7に視認させるように構成されている。尚、スクリーン5に投射される映像としては、車両2に関する情報や乗員7の運転の支援の為に用いられる各種情報がある。例えば障害物(他車両や歩行者)に対する警告、ナビゲーション装置で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印等)、現在車速、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。
また、本実施形態のHUD1では、フロントウィンドウ6を反射して乗員7がスクリーン5に投射された映像を視認した場合に、乗員7にはフロントウィンドウ6の位置ではなく、フロントウィンドウ6の先の遠方の位置にスクリーン5に投射された映像が虚像8として視認されるように構成される。尚、乗員7が視認できる虚像8はスクリーン5に投射された映像であるが、ミラーを介するので上下方向は反転する。また、フレネルレンズを介することによってサイズも変更する。
ここで、虚像8を生成する位置、より具体的には乗員7から虚像8までの距離(以下、生成距離という)Lについては、HUD1が備えるミラーやフレネルレンズの形状や位置、光路に対するスクリーン5の位置等によって適宜設定することが可能である。特に、本実施形態では後述のようにスクリーン5の位置を光路に沿って前後方向に移動可能に構成する。その結果、生成距離Lを適宜変更することが可能となる。例えば生成距離Lを2.5m〜20mの間で変更することが可能である。
また、ダッシュボード3の上面には車内カメラ9が設置される。ここで、車内カメラ9は、例えばCCD等の固体撮像素子を用いたものであり、図1に示すように撮像方向を運転席に向けて設置される。そして、運転席に座った乗員7の顔を撮像する。尚、HUD1は、後述のように車内カメラ9により撮像した撮像画像から乗員7の両眼の位置を夫々検出し、HUD1との位置関係から乗員7の各眼がスクリーン5に投射された映像を視認できる状態にあるか否かを判定する。
次に、図2を用いてHUD1のより具体的な構成について説明する。図2は、本実施形態に係るHUD1の内部構成を示した図である。
図2に示すようにHUD1は、プロジェクタ4と、スクリーン5と、反射ミラー10と、ミラー11と、フレネルレンズ12と、制御回路部13と、CANインターフェース14とから基本的に構成されている。
ここで、プロジェクタ4は光源としてLED光源やレーザー光源を用いた映像投射装置であり、例えばDLPプロジェクタとする。尚、プロジェクタ4としては液晶プロジェクタやLCOSプロジェクタやレーザー走査式プロジェクタを用いても良い。尚、レーザー走査式プロジェクタを用いた場合には後述の投射レンズは不要となる。また、プロジェクタ4は映像を投射する為の投射レンズ15を備えているが、本実施形態では投射レンズ15は第1投射レンズ16と第2投射レンズ17の2つの投射レンズから構成され、それぞれ異なる映像を投射可能に構成する。ここで、図3はプロジェクタ4が備える第1投射レンズ16及び第2投射レンズ17を示した図である。
図3に示すように第1投射レンズ16及び第2投射レンズ17は、一の円形状のレンズを上下方向に分割した分割形状を有する。更に、下方にある第2投射レンズ17は、光路に沿って前後方向に移動可能に構成されている。一方、第1投射レンズ16の位置は固定とする。具体的には、第2投射レンズ17の背面側にあるレンズ駆動モータ18を駆動させることによって、図4に示すように第2投射レンズ17を光路に沿って前後方向に移動させることが可能となる。特に、本実施形態では、後述のようにスクリーン5を光路に沿って前後方向に移動させる場合において、第2投射レンズ17から投射される映像の焦点を移動後のスクリーン5の位置に一致させる為に、第2投射レンズ17も追従して移動させる構成とする。
また、レンズ駆動モータ18はステッピングモータからなる。そして、HUD1は、制御回路部13から送信されるパルス信号に基づいてレンズ駆動モータ18を制御し、第2投射レンズ17の位置を設定位置に対して適切に位置決めすることが可能となる。
また、スクリーン5は、プロジェクタ4から投射された映像が投射される被投射媒体であり、例えばフレネルスクリーンや拡散型スクリーン等が用いられる。また、本実施形態ではスクリーン5は、第1スクリーン20と第2スクリーン21の2枚のスクリーンから構成される。ここで、図5は第1スクリーン20と第2スクリーン21をそれぞれ示した図である。
図5に示すように第1スクリーン20は、上方に映像が投射される被投射エリア22を有しており、通常時においては図6に示すようにプロジェクタ4の第1投射レンズ16から投射された映像が表示される。一方、第2スクリーン21は、下方に映像が投射される被投射エリア23を有しており、通常時においては図6に示すようにプロジェクタ4の第2投射レンズ17から投射された映像が表示される。即ち、第1スクリーン20と第2スクリーン21にはプロジェクタ4から映像が跨って投射される。また、後述のように本実施形態では第1スクリーン20と第2スクリーン21は一体に光路に対して交差する方向に移動可能に構成されており、その結果、第1投射レンズ16から投射された映像の一部が第2スクリーン21に投射されたり、第2投射レンズ17から投射された映像の一部が第1スクリーン20に投射される場合もある(図10参照)。
また、第1スクリーン20と第2スクリーン21は、図2及び図6に示すように被投射エリア22、23が重ならないように、光路に沿って前後方向に所定間隔で並べて配置される。従って、本実施形態では虚像8は、第1スクリーン20に投射された映像の虚像(以下、第1虚像8Aという)と、第2スクリーン21に投射された映像の虚像(以下、第2虚像8Bという)から構成されることとなる。
また、第2スクリーン21は、光路に沿って前後方向に移動可能に構成されている。一方、第1スクリーン20の位置は前後方向に対して固定とする。具体的には、第2スクリーン21の背面側にあるスクリーン前後駆動モータ24を駆動させることによって、図7に示すように第1スクリーン20と第2スクリーン21との間の距離を変更し、第2スクリーン21を光路に沿って前後方向に移動させることが可能となる。その結果、第2スクリーン21に投射された映像の虚像である第2虚像8Bが生成される位置(具体的には乗員7から第2虚像8Bまでの距離である生成距離L2)を変更することが可能である。尚、生成距離L2は、ミラー11から第2スクリーン21までの距離に依存する。即ち、生成距離L2は、ミラー11から第2スクリーン21までの距離に応じて長短を変更される。例えば、ミラー11から第2スクリーン21までの距離が長くなると生成距離L2が長くなり、ミラー11から第2スクリーン21までの距離が短くなると生成距離L2が短くなる。
例えば、第2スクリーン21をプロジェクタ4側(ミラー11までの距離が長くなる側)に移動させると、生成距離L2が長くなる(即ち、乗員7からはより遠くに第2虚像8Bが視認されるようになる)。一方、第2スクリーン21をプロジェクタ4と反対側(ミラー11までの距離が短くなる側)に移動させると、生成距離L2が短くなる(即ち、乗員7からはより近くに第2虚像8Bが視認されるようになる)。尚、第1スクリーン20の位置は前後方向に対して固定であるので、第1スクリーン20に投射された映像の虚像である第1虚像8Aが生成される位置(具体的には乗員7から第1虚像8Aまでの距離である生成距離L1)は固定である。即ち、生成距離L2を変更することによって、第1虚像8Aから第2虚像8Bまでの距離(|L2−L1|)が変更されることとなる。
従って、仮に第1スクリーン20と第2スクリーン21が光路に沿ってミラー11から同距離にある場合には、車両2の前方の同位置に第1虚像8Aと第2虚像8Bが生成されることとなるが、第1スクリーン20と第2スクリーン21がミラー11から光路に沿って異なる距離にある場合には、図8に示すように第1虚像8Aと第2虚像8Bとがそれぞれ異なる位置に生成されることとなる。また、図5及び図6に示すように、第1スクリーン20の被投射エリア22は、第2スクリーン21の被投射エリア23よりも上方に位置するように各スクリーンは配置されるが、ミラー11によって映像が上下反転されるので、光路に対して交差する方向を基準にして、第2虚像8Bが第1虚像8Aの上方に生成されることとなる。
また、本実施形態では第1スクリーン20及び第2スクリーン21を、光路に交差する方向に一体に移動可能に構成されている。具体的には、第1スクリーン20の側面にあるスクリーン上下駆動モータ25を駆動させることによって、図9に示すように第1スクリーン20と第2スクリーン21とスクリーン前後駆動モータ24とを一体に光路に交差する方向(より具体的には第1スクリーン20と第2スクリーン21の並び方向である鉛直方向)に移動させることが可能となる。その結果、図10に示すように、第1スクリーン20と第2スクリーン21を対象としてプロジェクタ4からの映像を投射する第1投射態様と、第1スクリーン20のみを対象としてプロジェクタ4からの映像を投射する第2投射態様との間で、スクリーン5への画像の投射態様を切り換えることが可能となる。
そして、HUD1は、投射態様が第1投射態様にある場合には、基本的に第1投射レンズ16と第2投射レンズ17とで異なる種類の映像(例えば、第1投射レンズ16では車両の現在車速の映像、第2投射レンズ17では案内情報や警告情報の映像)をそれぞれ各スクリーンに投射する。一方、投射態様が第2投射態様にある場合には、基本的に第1投射レンズ16と第2投射レンズ17とでそれぞれ投射された映像を組み合わせた一の映像(例えば、第1投射レンズ16ではテレビ画面の下半分の映像、第2投射レンズ17ではテレビ画面の上半分の映像)を第1スクリーン20に投射する。それによって、第2投射態様では、分割線の無いより大きいサイズの映像を虚像として生成することが可能となる。尚、第2投射態様であっても第1投射レンズ16と第2投射レンズ17とで異なる種類の映像を投射する構成とすることも可能である。
また、スクリーン前後駆動モータ24及びスクリーン上下駆動モータ25はそれぞれステッピングモータからなる。そして、HUD1は、制御回路部13から送信されるパルス信号に基づいてスクリーン前後駆動モータ24を制御し、第2スクリーン21の前後位置を設定位置に対して適切に位置決めすることが可能となる。また、HUD1は、制御回路部13から送信されるパルス信号に基づいてスクリーン上下駆動モータ25を制御し、第1スクリーン20及び第2スクリーン21の上下位置を設定位置に対して適切に位置決めすることが可能となる。
一方、反射ミラー10は、図2に示すようにプロジェクタ4から投射された映像を反射して光路を変更し、スクリーン5へと投射する反射板である。
また、ミラー11は、図2に示すようにスクリーン5からの映像光を反射させ、フロントウィンドウ6を介してスクリーン5の映像を乗員7に視認させることにより、乗員7の前方に虚像8(図1参照)を生成する虚像生成手段である。ミラー11としては、球面凹面鏡や、非球面凹面鏡、若しくは投影映像の歪みを補正するための自由曲面鏡が用いられる。尚、第1スクリーン20や第2スクリーン21に対して投射された映像は、反射ミラー10やミラー11によって反射されるので、生成される虚像は第1スクリーン20や第2スクリーン21に対して投射された映像と上下左右がそれぞれ反転した像となる。
また、フレネルレンズ12は、図2に示すようにスクリーン5に投射された映像を拡大して虚像8を生成する為の拡大鏡である。そして、本実施形態に係るHUD1では、スクリーン5に投射された映像を、ミラー11やフレネルレンズ12を介し、更にフロントウィンドウ6に反射させて乗員7に視認させることによって、フロントウィンドウ6の先の遠方の位置にスクリーン5に投射された映像が拡大され、虚像8として乗員に視認される(図1参照)。
また、制御回路部13は、HUD1の全体の制御を行う電子制御ユニットである。ここで、図11は本実施形態に係るHUD1の構成を示したブロック図である。
図11に示すように制御回路部13は、演算装置及び制御装置としてのCPU31、並びにCPU31が各種の演算処理を行うにあたってワーキングメモリとして使用されるRAM32、制御用のプログラムのほか、後述の虚像生成処理プログラム(図12参照)等が記録されたROM33、ROM33から読み出したプログラムや後述の位置設定テーブルを記憶するフラッシュメモリ34等の内部記憶装置を備えている。また、制御回路部13は、プロジェクタ4、レンズ駆動モータ18、スクリーン前後駆動モータ24、スクリーン上下駆動モータ25とそれぞれ接続され、プロジェクタ4や各種モータの駆動制御を行う。
また、CAN(コントローラエリアネットワーク)インターフェース14は、車両内に設置された各種車載器や車両機器の制御装置間で多重通信を行う車載ネットワーク規格であるCANに対して、データの入出力を行うインターフェースである。そして、HUD1は、CANを介して、各種車載器や車両機器の制御装置(例えば、ナビゲーション装置48、AV装置49等)と相互通信可能に接続される。それによって、HUD1は、ナビゲーション装置48やAV装置49等の出力画面を投影可能に構成する。
続いて、前記構成を有するHUD1においてCPU31が実行する虚像生成処理プログラムについて図12に基づき説明する。図12は本実施形態に係る虚像生成処理プログラムのフローチャートである。ここで、虚像生成処理プログラムは車両のACCがONされた後に実行され、車両の乗員であるユーザに視認可能な虚像を生成するとともに、乗員の両眼で虚像を視認できない状況では遠近感を補強する補強映像を追加して投射するプログラムである。以下の図12にフローチャートで示されるプログラムは、HUD1が備えているRAM32やROM33に記憶されており、CPU31により実行される。尚、以下の説明では、スクリーン5への画像の投射態様は常に第1投射態様(図10)にあるとして説明する。また、本実施形態では車両のACCがONされた時点では、乗員7から第2虚像8Bまでの距離である生成距離L2が最も短い距離である2.5mとなるように、第2スクリーン21の位置が設定されていると仮定して説明する。
先ず、虚像生成処理プログラムではステップ(以下、Sと略記する)1において、CPU31は、視認可能範囲を設定する。ここで、視認可能範囲は、HUD1に内蔵された第1スクリーン20及び第2スクリーン21に投射された映像を視認可能なユーザの眼の位置の範囲をいう。ここで、HUD1は、前記したように内部にあるスクリーンに描画された映像を、フロントウィンドウ6に反射させてユーザに視認させる構成を有し、視認させる為にはHUD1とユーザの眼の位置関係を厳密に対応させる必要がある。そこで、CPU31は、先ず車内カメラ9で運転席に着座した車両の乗員7の顔を撮像し、撮像画像に対して画像処理を行うことによって乗員7の左右の眼の位置を検出する。そして、HUD1の位置や角度を調整することによって、図13に示すように車両の乗員7の左右の眼が含まれる範囲(例えば横13cm縦4cm)に視認可能範囲51を設定する。尚、HUD1自体ではなくHUD1に内蔵されたミラー11、プロジェクタ4、スクリーン5等の位置や角度を調整することにより視認可能範囲51を設定してもよい。尚、前記S1で設定された視認可能範囲51は、フラッシュメモリ34等の記憶媒体に記憶される。
次に、S2においてCPU31は、車内カメラ9で運転席に着座した車両の乗員7の顔を撮像し、撮像画像に対して画像処理を行うことによって乗員7の左右の眼の位置を検出する。尚、以降は所定間隔で乗員7の左右の眼の位置の検出を継続して行う。
続いて、S3においてCPU31は、最短距離である2.5mよりも遠方の位置に虚像を生成する必要が生じたか否かを判定する。ここで、遠距離の位置に虚像を生成する必要がある場合としては、例えば、案内交差点等の走行案内を行う必要がある地点が接近した場合や、割り込み車両等の障害物が車両の前方に新たに出現した場合等がある。
そして、遠距離の位置に虚像を生成する必要が生じたと判定された場合(S3:YES)には、S5へと移行する。それに対して、遠距離の位置に虚像を生成する必要が生じていないと判定された場合(S3:NO)には、S4へと移行する。
S4においてCPU31は、プロジェクタ4へと信号を送信し、プロジェクタ4による第1スクリーン20及び第2スクリーン21への映像の投射を開始する。ここで、プロジェクタ4により投射される映像としては、車両2に関する情報や乗員7の運転の支援の為に用いられる各種情報がある。例えば障害物(他車両や歩行者)に対する警告、ナビゲーション装置で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印等)、現在車速、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。特に本実施形態は遠距離の位置に虚像を生成する必要が生じていない通常の走行状態では、上記映像の内、車両の現在車速の映像を固定の第1スクリーン20に投射する構成とする。
その結果、図14に示すように、フロントウィンドウ6の下縁付近で且つフロントウィンドウ6の前方2.5m先に、第1虚像8Aとして現在車速を示す数値が生成され、乗員から視認可能となる。尚、図14に示す例では第1虚像8Aとして現在車速の映像を表示させる構成としているが、それ以外の情報、例えば案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組、近距離にある緊急性のある障害物への警告等の虚像までの距離を変更する必要が無く、近距離で固定して表示した方が良い映像についても表示させる構成としても良い。また、第1スクリーン20に加えて第2スクリーン21にも映像を投射する構成としても良い。その後、S10へと移行する。
一方、S5においてCPU31は、前記S1で設定した視認可能範囲をフラッシュメモリ34等から読み出すことにより取得し、車内カメラ9で直近に検出した車両の乗員の左右の眼の位置と比較する。そして、視認可能範囲に乗員の両眼が含まれるか否か判定する。
ここで、前記S1で視認可能範囲を設定した時点では、必ず視認可能範囲に乗員の両眼が含まれることとなるが、その後に乗員が姿勢を変化させること等によって視認可能範囲から乗員の眼が外れる場合がある。
そして、視認可能範囲に乗員の両眼が含まれると判定された場合(S5:YES)には、S6へと移行する。それに対して、視認可能範囲から乗員の少なくとも一方の眼が外れていると判定された場合(S5:NO)には、S8へと移行する。
S6においてCPU31は、虚像を生成する必要のある位置へと虚像を生成する為に第2スクリーン21や第2投射レンズ17の移動制御を行う。ここで、虚像を生成する必要のある位置とは、例えば、案内交差点等の走行案内を行う必要がある地点が接近した場合には該地点の位置であり、割り込み車両等の障害物が車両の前方に新たに出現した場合には該障害物の位置となる。尚、第2スクリーン21や第2投射レンズ17を移動させる際の位置の決定にはフラッシュメモリ34に記憶された位置設定テーブルが用いられる。位置設定テーブルは、図15に示すように生成距離L2毎に、該生成距離L2に第2虚像8Bを生成する為の第2スクリーン21及び第2投射レンズ17の位置が規定されている。
その後、S7においてCPU31は、プロジェクタ4へと信号を送信し、プロジェクタ4による映像の投射を開始する。ここで、プロジェクタ4により投射される映像は、現在の車両の状況によって異なる。例えば案内交差点等の走行案内を行う必要がある地点が接近した状況では走行案内情報(案内交差点の右左折を示す矢印や車線変更を示す矢印等)に関する映像を投射する。また、割り込み車両等の障害物が車両の前方に新たに出現した状況では障害物への警告情報(障害物を囲む枠等)に関する映像を投射する。
例えば、図16に示すように右左折対象となる交差点60が接近し、第2虚像8Bとして右左折を示す案内矢印を表示する場合について説明する。先ず、乗員7から右左折対象となる交差点60までの距離をナビゲーション装置から取得した車両位置や地図情報に基づいて算出し、算出した距離を生成距離L2に設定する。本実施形態に係るHUD1は、前記したように第2スクリーン21を光路に沿って前後方向に移動させることによって生成距離L2を変更することが可能である(図6参照)。従って、CPU31は乗員7から生成距離L2だけ離れた位置に第2虚像8Bが生成されるように第2スクリーン21の位置を制御する。その結果、第2虚像8Bが生成される位置は、乗員7から設定された生成距離L2前方の位置(図16に示す例では左折対象となる交差点60の位置)となる。従って、乗員7が視認する前方の風景と第2虚像8Bの位置を対応させることが可能となり、乗員7は、第2虚像8Bを視認する際にも視線移動を極力少なくすることが可能である。また、図16に示すように交差点が複数ある場合でも右左折対象となる交差点を容易に識別することが可能となる。尚、その後に車両が移動することによって乗員7から右左折対象となる交差点までの距離が変化すれば、それに伴って生成距離L2も変更するように構成する。また、前記S4で行われた車両の車速等の近距離用映像の投射については前記S7においても継続して行うように構成しても良い。その結果、第2虚像8Bと第1虚像8Aが夫々異なる位置に同時に生成されることとなる。
一方、S8においてCPU31は、虚像を生成する必要のある位置へと虚像を生成する為に第2スクリーン21や第2投射レンズ17の移動制御を行う。尚、具体的な処理は前記S6と同様であるので説明は省略する。
次に、S9においてCPU31は、プロジェクタ4へと信号を送信し、プロジェクタ4による映像の投射を開始する。尚、投射される映像は前記S7でも説明した遠距離用の映像(図16参照)に加えて、ユーザの遠近感を補強する補強映像を追加して投射する。ここで、遠近感を補強する補強映像は、同時に出力される遠距離用の映像に基づいて内容が決定される。
具体的には、案内交差点での走行態様を案内する映像(交差点の右左折を示す矢印等)では、補強映像は輪郭線の映像であり、該輪郭線の虚像を、案内交差点の交差道路や案内交差点の周辺施設(右左折の際の目印となる施設)の輪郭に重畳させて視認させるように生成する。また、補強映像は案内交差点名称、車両の現在位置から案内交差点までの距離、車両の現在位置から案内交差点までの交差点数としても良い。
例えば、図17に示すように右左折対象となる交差点60が接近し、第2虚像8Bとして右左折を示す案内矢印を表示する場合について説明する。その場合には、S7と同様に左折対象となる交差点60の位置に第2虚像8Bとして左折を示す矢印を生成する。更に、前記S9では案内交差点の交差道路61の輪郭に重畳して車両の乗員に視認させる位置に輪郭線の虚像62を生成する。従って、乗員7が片眼のみで虚像を視認し、遠近感が得られない場合であっても、乗員は輪郭線の虚像62と交差道路61との重複態様から、右左折対象となる交差点60を特定することが可能となる。
また、図18に示すように、案内交差点の周辺に位置する施設63の輪郭に重畳して車両の乗員に視認させる位置に輪郭線の虚像64を生成しても良い。尚、施設63は右左折の目印となる施設、即ち、交差点60に面し、且つ車両の乗員から視認できる看板を有する施設(例えば、コンビニエンスストア、ガソリンスタンド等)であることが望ましい。そして、乗員7が片眼のみで虚像を視認し、遠近感が得られない場合であっても、輪郭線の虚像64と施設63との重複態様から、右左折対象となる交差点60を特定することが可能となる。
また、図19に示すように、車両の現在位置から案内交差点までの距離、車両の現在位置から案内交差点までの交差点数を示す虚像65を生成しても良い。その場合であっても、車両の乗員は生成された虚像65の内容から、右左折対象となる交差点60を特定することが可能となる。
一方、車線変更を案内する映像(車線変更の地点や方向を示す矢印等)を遠距離用の虚像として生成する場合では、補強映像は区画線の映像であり、S9においてCPU31は該区画線の虚像を、車線変更を案内する地点周辺の車線境界線に重畳させて視認させるように生成する。
例えば、図20に示すように車線変更を行うべき地点が接近し、第2虚像8Bとして車線変更の地点や方向を示す矢印を表示する場合について説明する。その場合には、S7と同様に車線変更を行うべき地点の位置に第2虚像8Bとして車線変更を示す矢印を生成する。更に、前記S9では車線変更を案内する地点周辺の車線境界線に重畳して視認させる位置に区画線の虚像66を生成する。従って、乗員7が片眼のみで虚像を視認し、遠近感が得られない場合であっても、乗員は区画線の虚像66と前方道路の路面との重複態様から、車線変更を行うべき地点及びどの車線へと車線変更すべきかを特定することが可能となる。
その後、S10においてCPU31は、現在生成されている虚像の位置を変更する必要が生じたか否かを判定する。ここで、現在生成されている虚像の位置を変更する必要がある場合としては、例えば、案内交差点の右左折を示す矢印や車線変更を示す矢印の虚像を生成していた場合には、車両の走行に伴って車両から案内交差点や車線変更を行うべき地点までの距離が変化した場合がある。また、障害物を囲む枠の虚像を生成していた場合には、車両から該障害物までの距離が変更した場合がある。
そして、現在生成されている虚像の位置を変更する必要が生じたと判定された場合(S10:YES)には、S3へと戻る。そして、必要に応じて第2スクリーン21の位置を変更するとともに第1スクリーン20や第2スクリーン21に対して映像の投射を行い、虚像の生成を行う(S4、S7、S9)。一方、現在生成されている虚像の位置を変更する必要が生じていないと判定された場合(S10:NO)には、S11へと移行する。
その後、S11においてCPU31は、第1スクリーン20や第2スクリーン21に対する映像の投射を終了するか否かを判定する。
そして、第1スクリーン20や第2スクリーン21に対する映像の投射を終了すると判定された場合(S11:YES)には、当該虚像生成処理プログラムを終了する。一方、第1スクリーン20や第2スクリーン21に対する映像の投射を終了しないと判定された場合(S11:NO)にはS3へと戻り、継続して第1スクリーン20や第2スクリーン21に対する映像の投射を行う。
以上詳細に説明した通り、本実施形態に係るHUD1によれば、プロジェクタ4から、第1投射レンズ16及び第2投射レンズ17を介して夫々映像を第1スクリーン20及び第2スクリーン21に投射し、第1スクリーン20及び第2スクリーン21に投射された映像を車両2のフロントウィンドウ6に反射させて車両の乗員7に視認させることによって、車両の乗員7が視認する映像の虚像を生成する。また、第1スクリーン20や第2スクリーン21に投射された映像を視認可能な乗員7の眼の位置の範囲である視認可能範囲を取得し(S1)、視認可能範囲から乗員7の少なくとも一方の眼が外れている場合に、乗員7の遠近感を補強する補強映像を追加して第1スクリーン20や第2スクリーン21に投射する(S9)ので、ユーザの姿勢が変化すること等によってHUDとユーザの眼の位置関係にズレが生じ、ユーザに両眼で適切に虚像を視認させることができず、遠近感を得ることができない状況となった場合であっても、補強映像を追加することによって遠近感を補強することが可能となる。その結果、虚像の生成された位置が重要となる情報を出力する場合(例えば、障害物に対する警告の虚像として、障害物が実際に存在する位置に虚像を生成した場合や、道路の右左折を案内する虚像として、右左折する地点に虚像を生成した場合)においても、ユーザに適切な情報提供が可能となる。
また、視認可能範囲からユーザの両眼が外れている場合においても補強画像を投射するので、その後に視認可能範囲にユーザの片眼が進入した場合において、進入時点からタイムラグを生じさせずにユーザに適切な情報提供が可能となる。
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではHUD1によって車両2のフロントウィンドウ6の前方に虚像を生成する構成としているが、フロントウィンドウ6以外のウィンドウの前方に虚像を生成する構成としても良い。また、HUD1により映像を反射させる対象はフロントウィンドウ6自身ではなくフロントウィンドウ6の周辺に設置されたバイザー(コンバイナー)であっても良い。
また、本実施形態では車両2に対してHUD1を設置する構成としているが、車両2以外の移動体に設置する構成としても良い。例えば、船舶や航空機等に対して設置することも可能である。また、アミューズメント施設に設置されるライド型アトラクションに設置しても良い。その場合には、ライドの周囲に虚像を生成し、ライドの乗員に対して虚像を視認させることが可能となる。
また、本実施形態では補強映像として、輪郭線や区画線や文字等を用いているが、ユーザの遠近感を補強する映像であれば他の映像でも良い。例えば、矢印や記号等であっても良い。また、補強映像を投射する対象となるスクリーンは第1スクリーン20であっても良いし第2スクリーン21であっても良い。
また、本実施形態では、視認可能範囲からユーザの少なくとも一方の眼が外れている場合に補強映像を投射する構成としているが、ユーザの両眼が外れている場合には虚像を視認できないことから補強画像を投射しない構成としても良い。
また、本実施形態では、スクリーンを第1スクリーン20と第2スクリーン21の2枚のスクリーンから構成し、プロジェクタ4のレンズを第1投射レンズ16と第2投射レンズ17の2つのレンズから構成しているが、スクリーンとレンズの数は1対又は3対以上としても良い。また、プロジェクタ4の光源としてはLED以外に、ランプやレーザを用いても良い。
また、本実施形態では、第2スクリーン21のみを光路に沿って前後方向に移動可能に構成しているが、第1スクリーン20についても移動可能に構成しても良い。同様に、第1投射レンズ16についても移動可能に構成しても良い。一方で、第1スクリーン20と第2スクリーン21を共に位置が固定された固定スクリーンとしても良い。また、第2スクリーン21のみを光路に沿って前後方向に移動可能に構成し、第2投射レンズ17については位置を固定する構成としても良い。
また、本発明に係るヘッドアップディスプレイ装置を具体化した実施例について上記に説明したが、ヘッドアップディスプレイ装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。
例えば、第1の構成は以下のとおりである。
虚像生成手段は、補強映像に基づいて生成される虚像を、補強映像と対応する前方環境に重畳させてユーザに視認させるように生成することを特徴とする。
上記構成を有するヘッドアップディスプレイ装置によれば、補強映像と前方環境を重畳させてユーザに視認させることによって、ユーザが遠近感を得られない状態であっても、重畳態様を参照させることによって虚像の生成された位置を特定させることが可能となる。
また、第2の構成は以下のとおりである。
プロジェクタは、視認可能範囲にユーザの両眼が含まれている場合には、第1映像をスクリーンに投射し、視認可能範囲からユーザの少なくとも一方の眼が外れている場合には、第1映像に加えて第1映像に基づいて内容が決定される補強映像をスクリーンに投射することを特徴とする。
上記構成を有するヘッドアップディスプレイ装置によれば、ユーザに視認させたい元々の虚像である第1虚像の内容に応じて補強映像の内容を決定するので、第1虚像の内容に応じた適切な補強映像の虚像を生成することが可能となる。従って、第1虚像によってユーザに提供したい情報をより確実にユーザに提供することが可能となる。
また、第3の構成は以下のとおりである。
第1映像は、案内交差点でのユーザの走行態様を案内する映像であり、補強映像は、輪郭線の映像であり、虚像生成手段は、補強映像に基づいて生成される輪郭線の虚像を、案内交差点の交差道路の輪郭に重畳させてユーザに視認させるように生成することを特徴とする。
上記構成を有するヘッドアップディスプレイ装置によれば、ユーザが片眼のみで第1虚像を視認し、遠近感が得られない場合であっても、ユーザは輪郭線の虚像と交差道路との重複態様から、案内交差点の位置を特定することが可能となる。
また、第4の構成は以下のとおりである。
第1映像は、案内交差点でのユーザの走行態様を案内する映像であり、補強映像は、輪郭線の映像であり、虚像生成手段は、補強映像に基づいて生成される輪郭線の虚像を、案内交差点の周辺施設の輪郭に重畳させてユーザに視認させるように生成することを特徴とする。
上記構成を有するヘッドアップディスプレイ装置によれば、ユーザが片眼のみで第1虚像を視認し、遠近感が得られない場合であっても、ユーザは輪郭線の虚像と周辺施設との重複態様から、案内交差点の位置を特定することが可能となる。
また、第5の構成は以下のとおりである。
第1映像は、車両の車線変更を案内する映像であり、補強映像は、区画線の映像であり、虚像生成手段は、補強映像に基づいて生成される区画線の虚像を、車線変更を案内する地点周辺の車線境界線に重畳させてユーザに視認させるように生成することを特徴とする。
上記構成を有するヘッドアップディスプレイ装置によれば、ユーザが片眼のみで第1虚像を視認し、遠近感が得られない場合であっても、ユーザは区画線の虚像と道路の路面との重複態様から、車線変更を行うべき地点及びどの車線へと車線変更すべきかを特定することが可能となる。
1 ヘッドアップディスプレイ装置
2 車両
3 ダッシュボード
4 プロジェクタ
5 スクリーン
6 フロントウィンドウ
7 乗員
8 虚像
16 第1投射レンズ
17 第2投射レンズ
18 レンズ駆動モータ
20 第1スクリーン
21 第2スクリーン
24 スクリーン前後駆動モータ
25 スクリーン上下駆動モータ
31 CPU
32 RAM
33 ROM
34 フラッシュメモリ
51 視認可能範囲

Claims (5)

  1. スクリーンと、
    映像を前記スクリーンに投射するプロジェクタと、
    前記スクリーンに投射された前記映像をユーザに視認させることによって前記映像の虚像を生成する虚像生成手段と、を有するヘッドアップディスプレイ装置であって、
    前記スクリーンに投射された前記映像を視認可能な前記ユーザの眼の位置の範囲である視認可能範囲を取得する範囲取得手段と、を有し、
    前記視認可能範囲に前記ユーザの両眼が含まれている場合には、前記プロジェクタは第1映像を前記スクリーンに投射し、
    前記視認可能範囲から前記ユーザの少なくとも一方の眼が外れている場合に前記プロジェクタは前記第1映像に加えて前記ユーザの遠近感を補強する補強映像を追加して前記スクリーンに投射し、
    前記補強映像は、前記第1映像に基づいて内容が決定されることを特徴とするヘッドアップディスプレイ装置。
  2. 前記虚像生成手段は、前記補強映像に基づいて生成される虚像を、前記補強映像と対応する前方環境に重畳させて前記ユーザに視認させるように生成することを特徴とする請求項1に記載のヘッドアップディスプレイ装置。
  3. 前記第1映像は、案内交差点での前記ユーザの走行態様を案内する映像であり、
    前記補強映像は、輪郭線の映像であり、
    前記虚像生成手段は、前記補強映像に基づいて生成される前記輪郭線の虚像を、前記案内交差点の交差道路の輪郭に重畳させて前記ユーザに視認させるように生成することを特徴とする請求項1又は請求項2に記載のヘッドアップディスプレイ装置。
  4. 前記第1映像は、案内交差点での前記ユーザの走行態様を案内する映像であり、
    前記補強映像は、輪郭線の映像であり、
    前記虚像生成手段は、前記補強映像に基づいて生成される前記輪郭線の虚像を、前記案内交差点の周辺施設の輪郭に重畳させて前記ユーザに視認させるように生成することを特徴とする請求項1又は請求項2に記載のヘッドアップディスプレイ装置。
  5. 前記第1映像は、車両の車線変更を案内する映像であり、
    前記補強映像は、区画線の映像であり、
    前記虚像生成手段は、前記補強映像に基づいて生成される前記区画線の虚像を、車線変更を案内する地点周辺の車線境界線に重畳させて前記ユーザに視認させるように生成することを特徴とする請求項1又は請求項2に記載のヘッドアップディスプレイ装置。
JP2014041849A 2014-03-04 2014-03-04 ヘッドアップディスプレイ装置 Expired - Fee Related JP6287351B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014041849A JP6287351B2 (ja) 2014-03-04 2014-03-04 ヘッドアップディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014041849A JP6287351B2 (ja) 2014-03-04 2014-03-04 ヘッドアップディスプレイ装置

Publications (2)

Publication Number Publication Date
JP2015166230A JP2015166230A (ja) 2015-09-24
JP6287351B2 true JP6287351B2 (ja) 2018-03-07

Family

ID=54257352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014041849A Expired - Fee Related JP6287351B2 (ja) 2014-03-04 2014-03-04 ヘッドアップディスプレイ装置

Country Status (1)

Country Link
JP (1) JP6287351B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339843B2 (en) 2015-09-30 2019-07-02 Maxell, Ltd. Display device, display image projecting method and head up display
JP6551263B2 (ja) 2016-03-02 2019-07-31 株式会社デンソー ヘッドアップディスプレイ装置
DE102017202225A1 (de) * 2017-02-13 2018-08-16 Volkswagen Aktiengesellschaft Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur steuerung einer anzeige einer augmented-reality-head-up-display-vorrichtung
KR20190078664A (ko) * 2017-12-11 2019-07-05 삼성전자주식회사 컨텐츠를 표시하기 위한 장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08253059A (ja) * 1995-03-17 1996-10-01 Honda Motor Co Ltd 車両用運転支援システム
JPH09127884A (ja) * 1995-10-27 1997-05-16 Nippon Seiki Co Ltd 車両端部表示装置
JP4506927B2 (ja) * 2001-08-09 2010-07-21 株式会社島津製作所 シミュレータ
JP3795025B2 (ja) * 2003-03-05 2006-07-12 株式会社ソフィア 遊技機
JP2005266591A (ja) * 2004-03-19 2005-09-29 Ts Photon:Kk 三次元ディスプレイシステム
JP2007199295A (ja) * 2006-01-25 2007-08-09 Epson Imaging Devices Corp 表示装置
JP5223289B2 (ja) * 2007-10-18 2013-06-26 日産自動車株式会社 視覚情報呈示装置及び視覚情報呈示方法
JP2009229752A (ja) * 2008-03-21 2009-10-08 Toshiba Corp 表示装置、表示方法及びヘッドアップディスプレイ
JP2010125910A (ja) * 2008-11-26 2010-06-10 Calsonic Kansei Corp ヘッドアップディスプレイ装置
JP5309005B2 (ja) * 2009-11-30 2013-10-09 本田技研工業株式会社 車両用表示装置
JP2011133508A (ja) * 2009-12-22 2011-07-07 Topcon Corp 走査型表示装置光学系、立体表示装置及びヘッドアップディスプレイ装置
JP5331146B2 (ja) * 2011-03-22 2013-10-30 株式会社東芝 単眼ヘッドマウントディスプレイ
JP5344069B2 (ja) * 2011-08-29 2013-11-20 株式会社デンソー ヘッドアップディスプレイ装置
JP2013123970A (ja) * 2011-12-14 2013-06-24 Toshiba Corp 表示装置

Also Published As

Publication number Publication date
JP2015166230A (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
JP6241093B2 (ja) ヘッドアップディスプレイ装置
JP6149543B2 (ja) ヘッドアップディスプレイ装置
JP6138634B2 (ja) ヘッドアップディスプレイ装置
JP6204793B2 (ja) ヘッドアップディスプレイ装置
JP6027498B2 (ja) ヘッドアップディスプレイ装置
JP6269262B2 (ja) 虚像表示装置
JP6314584B2 (ja) ヘッドアップディスプレイ装置
JP6337721B2 (ja) 虚像表示装置
JP2016118851A (ja) 虚像表示装置
JP6213323B2 (ja) ヘッドアップディスプレイ装置
JP2017094882A (ja) 虚像生成システム、虚像生成方法及びコンピュータプログラム
JP6337720B2 (ja) 虚像表示装置
JP2015031700A (ja) ヘッドアップディスプレイ装置
JP2016078726A (ja) 虚像表示装置
JP2015200770A (ja) ヘッドアップディスプレイ装置
JP6287351B2 (ja) ヘッドアップディスプレイ装置
JP2015034945A (ja) ヘッドアップディスプレイ装置
JP6269261B2 (ja) 虚像表示装置
JP2017015806A (ja) 虚像表示装置
JP6094437B2 (ja) ヘッドアップディスプレイ装置
JP6287422B2 (ja) ヘッドアップディスプレイ装置
JP2015074391A (ja) ヘッドアップディスプレイ装置
JP6196840B2 (ja) ヘッドアップディスプレイ装置
JP2018159738A (ja) 虚像表示装置
JP6318772B2 (ja) 虚像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180122

R150 Certificate of patent or registration of utility model

Ref document number: 6287351

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees