JP6939264B2 - In-vehicle display device - Google Patents
In-vehicle display device Download PDFInfo
- Publication number
- JP6939264B2 JP6939264B2 JP2017164870A JP2017164870A JP6939264B2 JP 6939264 B2 JP6939264 B2 JP 6939264B2 JP 2017164870 A JP2017164870 A JP 2017164870A JP 2017164870 A JP2017164870 A JP 2017164870A JP 6939264 B2 JP6939264 B2 JP 6939264B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- driver
- vehicle
- manual
- intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 56
- 238000002360 preparation method Methods 0.000 claims description 54
- 238000001514 detection method Methods 0.000 description 37
- 238000000034 method Methods 0.000 description 28
- 230000008569 process Effects 0.000 description 23
- 239000000446 fuel Substances 0.000 description 15
- 239000010763 heavy fuel oil Substances 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 9
- 239000000463 material Substances 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000010408 film Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 229920003002 synthetic resin Polymers 0.000 description 2
- 239000000057 synthetic resin Substances 0.000 description 2
- 238000007740 vapor deposition Methods 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
本発明は、車載表示装置に関する。 The present invention relates to an in-vehicle display device.
従来から、フロントガラスやコンバイナなどの投射部材に表示光を出射することで虚像を表示する車載表示装置の一種であるヘッドアップディスプレイ(HUD:Head-Up Display)装置が知られている。例えば、特許文献1に記載のHUD装置においては、虚像としてエンタメ(エンタテイメント)情報画像及び車両情報画像が表示される。
また、近年、人間が運転操作を行わなくとも自動で走行できる自動運転技術が注目されている。例えば、特許文献2に記載の車両は、自動運転モードと手動運転モードとの間で運転モードを切り替え可能に構成されている。
Conventionally, a head-up display (HUD) device, which is a kind of in-vehicle display device that displays a virtual image by emitting display light to a projection member such as a windshield or a combiner, has been known. For example, in the HUD device described in Patent Document 1, an entertainment information image and a vehicle information image are displayed as virtual images.
Further, in recent years, attention has been paid to an automatic driving technology capable of automatically driving without a human performing a driving operation. For example, the vehicle described in
上記特許文献2に記載の車両に上記特許文献1に記載のHUD装置を搭載した場合、車両の運転モードに応じて、どのように画像を表示させることが最適であるかが不明であった。
特に、運転者が自らの意思によって自動運転モードから手動運転モードに切り替える(手動運転を行う)場合に、円滑に手動運転を開始するためにどのように画像を表示させることが最適であるかが不明であった。
When the HUD device described in Patent Document 1 is mounted on the vehicle described in
In particular, when the driver voluntarily switches from the automatic driving mode to the manual driving mode (manual driving is performed), how is it optimal to display an image in order to smoothly start the manual driving? It was unknown.
本発明は、上記実情に鑑みてなされたものであり、運転者の意思で自動運転モードから手動運転モードに運転モードが切り替えられる際に、円滑に運転者に手動運転を開始させることができる車載表示装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and when the driving mode is switched from the automatic driving mode to the manual driving mode at the driver's will, the vehicle can smoothly start the manual driving. It is an object of the present invention to provide a display device.
上記目的を達成するため、本発明の車載表示装置は、自動運転モード及び手動運転モードの何れかの運転モードに設定される車両に搭載される車載表示装置であって、運転者に手動運転を行う意思があるか否かを判別する手動運転意思判別部と、前記手動運転意思判別部により前記意思がある旨判別されたとき、前記手動運転モードにおいて表示される手動運転画像を表示する画像処理部と、を備え、前記画像処理部は、前記手動運転意思判別部により前記意思がある旨判別されたとき、前記手動運転画像に切り替わることを運転者に認識させる画像切り替え準備画像を表示し、前記画像切り替え準備画像を表示した後に、前記手動運転意思判別部により前記意思が継続している旨判別されたとき、前記画像切り替え準備画像から、車両情報画像を含む前記手動運転画像へ表示を切り替え、前記画像処理部は、前記画像切り替え準備画像を表示した後に、前記手動運転意思判別部により前記意思が継続していない旨判別されたとき、前記画像切り替え準備画像から、前記車両情報画像及びエンタメ画像を含む自動運転画像へ表示を切り替え、前記画像処理部は、前記手動運転意思判別部により前記意思がある旨判別されたとき、車両情報画像及びエンタメ画像を含む自動運転画像から、前記自動運転画像よりも前記エンタメ画像の視認性が低い前記手動運転画像へ表示を切り替える。
また、本発明の車載表示装置は、自動運転モード及び手動運転モードの何れかの運転モードに設定される車両に搭載される車載表示装置であって、運転者に手動運転を行う意思があるか否かを判別する手動運転意思判別部と、前記手動運転意思判別部により前記意思がある旨判別されたとき、前記手動運転モードにおいて表示される手動運転画像を表示する画像処理部と、を備え、前記画像処理部は、前記手動運転意思判別部により前記意思がある旨判別されたとき、前記手動運転画像に切り替わることを運転者に認識させる画像切り替え準備画像を表示し、前記画像切り替え準備画像を表示した後に、前記手動運転意思判別部により前記意思が継続している旨判別されたとき、前記画像切り替え準備画像から、車両情報画像を含む前記手動運転画像へ表示を切り替え、前記画像処理部は、前記画像切り替え準備画像を表示した後に、前記手動運転意思判別部により前記意思が継続していない旨判別されたとき、前記画像切り替え準備画像から、前記車両情報画像及びエンタメ画像を含む自動運転画像へ表示を切り替え、前記手動運転意思判別部は、運転操作部への運転者による接触があることの条件と、運転席が手動運転に適した状態に調整されることの条件と、運転者の視点が手動運転に適した位置にあることの条件と、運転者の生体情報が手動運転に適した状態にあることの条件と、のうち少なくとも何れか一つの条件が成立したときに前記意思がある旨判別する。
In order to achieve the above object, the in-vehicle display device of the present invention is an in-vehicle display device mounted on a vehicle set to either an automatic operation mode or a manual operation mode, and allows the driver to perform manual operation. Image processing that displays a manual operation image displayed in the manual operation mode when the manual operation intention determination unit that determines whether or not there is an intention to perform is determined and the manual operation intention determination unit determines that the intention is to be performed. The image processing unit displays an image switching preparation image that causes the driver to recognize that the image is switched to the manual operation image when the manual operation intention determination unit determines that the intention is present. After displaying the image switching preparation image, when the manual driving intention determination unit determines that the intention is continuing, the display is switched from the image switching preparation image to the manual driving image including the vehicle information image. After displaying the image switching preparation image, when the manual driving intention determination unit determines that the intention is not continuing, the image processing unit uses the image switching preparation image to obtain the vehicle information image and entertainment. The display is switched to an automatic driving image including an image, and when the manual driving intention determination unit determines that there is the intention, the image processing unit starts the automatic driving from the automatic driving image including the vehicle information image and the entertainment image. The display is switched to the manual operation image in which the visibility of the entertainment image is lower than that of the image.
Further, the in-vehicle display device of the present invention is an in-vehicle display device mounted on a vehicle set to either an automatic driving mode or a manual driving mode, and is the driver intending to perform manual driving? It is provided with a manual driving intention determination unit for determining whether or not, and an image processing unit for displaying a manual driving image displayed in the manual operation mode when the manual driving intention determination unit determines that the intention is present. The image processing unit displays an image switching preparation image that causes the driver to recognize that the driver is switched to the manual driving image when the manual driving intention determination unit determines that the driver has the intention, and the image switching preparation image. After displaying, when the manual driving intention determination unit determines that the intention is continuing, the display is switched from the image switching preparation image to the manual driving image including the vehicle information image, and the image processing unit After displaying the image switching preparation image, when the manual driving intention determination unit determines that the intention is not continuing, the automatic driving including the vehicle information image and the entertainment image from the image switching preparation image. Switching the display to the image, the manual driving intention determination unit has a condition that the driver has contact with the driving operation unit, a condition that the driver's seat is adjusted to a state suitable for manual driving, and a driver. The intention when at least one of the condition that the viewpoint of the driver is in a position suitable for manual driving and the condition that the driver's biometric information is in a state suitable for manual driving is satisfied. Determine that there is.
本発明によれば、車載表示装置において、運転者の意思で自動運転モードから手動運転モードに運転モードが切り替えられる際に、円滑に運転者に手動運転を開始させることができる。 According to the present invention, in the vehicle-mounted display device, when the operation mode is switched from the automatic operation mode to the manual operation mode at the driver's will, the driver can smoothly start the manual operation.
(第1の実施形態)
本発明に係る車載表示装置であるHUD(ヘッドアップディスプレイ)装置が搭載された車両の第1の実施形態について図1〜図7を参照して説明する。
(First Embodiment)
A first embodiment of a vehicle equipped with a HUD (head-up display) device, which is an in-vehicle display device according to the present invention, will be described with reference to FIGS. 1 to 7.
図2に示すように、車両1は、HUD装置100と、車載ECU(Electronic Control Unit)50と、カーナビ(カーナビゲーション)システム60と、手動運転意思検出部70と、を備える。
As shown in FIG. 2, the vehicle 1 includes a
図1に示すように、HUD装置100は、車両1のダッシュボード5に内蔵される。HUD装置100は、表示光Lを生成し、生成した表示光Lをウインドシールド3に向けて出射する。この表示光Lは、ウインドシールド3で反射して、車両1の運転者2に到達する。これにより、運転者2は、ウインドシールド3を介した実景に重畳する虚像Vを視認可能となる。この虚像Vは、運転者2から見て路面8に垂直をなす仮想的な表示面Aに表示される。
As shown in FIG. 1, the
図2に示すように、HUD装置100は、制御部110と、表示部120と、平面鏡131と、凹面鏡132と、筐体140と、透光部141と、を備える。
As shown in FIG. 2, the
筐体140は、例えば、遮光性の材質により箱状に形成されている。筐体140内には、表示部120、平面鏡131及び凹面鏡132が収納される。筐体140には、表示光Lが通過する開口部140aが形成されている。なお、制御部110は、本例では、筐体140外に設けられているが、筐体140内に収容されていてもよい。
The
透光部141は、アクリル等の透光性樹脂からなり、筐体140の開口部140aを塞ぐように設けられている。透光部141は、到達した外光が運転者2に向かって反射することを抑制するため、例えば湾曲形状に形成されている。
The
図2に示すように、表示部120は、例えば、LED(Light Emitting Diode)からなる光源121と、この光源121からの光に基づき表示光Lを生成する表示素子122と、を備える。表示部120は、生成した画像を表す表示光Lを平面鏡131に向けて出射する。
As shown in FIG. 2, the
表示素子122は、DMD(Digital Micro Mirror Device)等の反射型表示素子又はTFT(Thin Film Transistor)液晶パネルなどの透過型表示素子である。
The
平面鏡131は、合成樹脂やガラス材料などからなる基材と、基材の表面に蒸着などにより形成された反射膜とから構成される。平面鏡131は、表示部120からの表示光Lを凹面鏡132に向けて反射する。
The
凹面鏡132は、曲面凹状に形成され、例えば合成樹脂材料からなる基材と、基材の表面に蒸着などにより形成された反射膜とから構成される。凹面鏡132は、その表示光Lをウインドシールド3に向けて反射する。凹面鏡132で反射された表示光Lは、筐体140の透光部141を透過して、ウインドシールド3に到達する。ウインドシールド3に到達した表示光Lは、運転者2に向けて反射され、運転者2に到達する。これにより、運転者2は虚像Vを視認する。
The
手動運転意思検出部70は、運転者2が手動運転を行う意思があるか否かを検出し、その検出結果を信号I71,I72,I73,I74として制御部110に出力する。詳しくは、手動運転意思検出部70は、接触検出部71と、シート位置検出部72と、車載カメラ73と、生体情報検出部74と、を備える。
The manual driving
接触検出部71は、手動運転の際に操作される図示しない運転操作部(ステアリング、アクセルペダル又はブレーキペダル)への接触があるか否かを検出し、その検出結果を含む検出信号I71を制御部110に出力する。例えば、接触検出部71は、運転操作部に設けられるタッチセンサ又は圧力センサにより構成される。なお、接触検出部71は、タッチセンサ又は圧力センサに限らず、運転操作部の操作量を検出する操作検出センサであってもよい。この操作検出センサは、例えば、何れも図示しないアクセルポジションセンサ、ブレーキポジションセンサ、舵角センサ又はトルクセンサである。この場合、接触検出部71は運転者2の運転操作部への接触に伴う微少な操作量を検出する。
The
シート位置検出部72は、車両1の前後方向における運転席の位置又は運転席の背もたれ部の角度を検出し、その検出結果を含む検出信号I72を制御部110に出力する。
The seat
車載カメラ73は、運転者の顔を撮影し、その撮影した画像信号I73を制御部110に出力する。
The in-
生体情報検出部74は、運転者2の脳波、心拍又は筋肉の動きを検出し、その検出結果を含む検出信号I74を制御部110に出力する。生体情報検出部74は、例えば、運転者2の腕、脚又は頭等に装着される図示しないウェアラブル端末に設けられる。この場合、生体情報検出部74は、検出信号I74を無線信号として制御部110に送信してもよい。
The biological
制御部110は、マイクロコンピュータなどから構成される。詳しくは、制御部110は、CPU(Central Processing Unit)等からなる処理部111と、ROM(Read Only Memory)及びRAM(Random Access Memory)からなるメモリ112と、を備える。
The
メモリ112には、後述する表示処理等を実行するための動作プログラムと、表示部120に表示する画像を生成するために利用される元画像データと、が記憶されている。
The
処理部111は、メモリ112に記憶される動作プログラムを実行することで後述するフローチャートに沿った表示処理を行う。処理部111は、車載ECU(Electronic Control Unit)50とCAN(Controller Area Network)を介して通信可能に構成される。例えば、処理部111は、車載ECU50から運転モード情報Im、車速情報Is、残燃料情報If、ヨーレート情報Iy、近接距離情報Ia等の車両情報Iを取得する。
運転モード情報Imは、車両1が自動運転モード及び手動運転モードの何れの運転モードに設定されているかを示す情報である。例えば、手動運転モードに設定されているときの自動運転レベルはレベル0又はレベル1である。レベル0においては、運転者が常にすべての主制御系統(加速・操舵・制動)の操作を行う。レベル1においては、加速・操舵・制動のいずれか一つをシステムが支援的に行う。また、例えば、自動運転モードに設定されているときの自動運転レベルはレベル3以上である。レベル3においては、限定的な環境下若しくは交通状況のみ、システムが加速・操舵・制動を行い、システムが要請したときは運転者が対応する。
The processing unit 111 executes a display process according to a flowchart described later by executing an operation program stored in the
The driving mode information Im is information indicating which of the automatic driving mode and the manual driving mode the vehicle 1 is set to. For example, the automatic operation level when set to the manual operation mode is level 0 or level 1. At level 0, the driver always operates all main control systems (acceleration, steering, braking). At level 1, the system assists in any one of acceleration, steering, and braking. Further, for example, the automatic operation level when the automatic operation mode is set is level 3 or higher. At Level 3, the system accelerates, steers, and brakes only in limited environments or in traffic conditions, and the driver responds when requested by the system.
近接距離情報Iaは、車両1から車両1の周囲に存在する物体までの近接距離を示す情報であり、車両1に搭載される何れも図示しないステレオカメラ、ミリ波レーダー等を利用して生成される。車速情報Isは、車両1の速度を示す情報であり、図示しない車速センサの検出結果に基づき生成される。残燃料情報Ifは、車両1の燃料の残量を示す情報であり、図示しない残燃料検出センサの検出結果に基づき生成される。ヨーレート情報Iyは、車両1の角速度を示す情報であり、図示しないヨーレートセンサの検出結果に基づき生成される。 The proximity distance information Ia is information indicating the proximity distance from the vehicle 1 to an object existing around the vehicle 1, and is generated by using a stereo camera, a millimeter wave radar, or the like mounted on the vehicle 1 which is not shown. NS. The vehicle speed information Is is information indicating the speed of the vehicle 1, and is generated based on the detection result of the vehicle speed sensor (not shown). The residual fuel information If is information indicating the remaining amount of fuel in the vehicle 1, and is generated based on the detection result of the residual fuel detection sensor (not shown). The yaw rate information Iy is information indicating the angular velocity of the vehicle 1, and is generated based on the detection result of the yaw rate sensor (not shown).
また、処理部111は、カーナビシステム60からエンタメ情報Ieを取得する。カーナビシステム60は、TV(テレビ)チューナー60aを備え、そのTVチューナー60aを介して受信した映像信号をエンタメ情報Ieとして処理部111に出力する。
Further, the processing unit 111 acquires the entertainment information IE from the
処理部111は、機能として、画像処理部111aと、実景視認要否判別部111bと、車両情報重要度判別部111cと、手動運転意思判別部111dと、を備える。
画像処理部111aは、画像(例えば、後述する手動運転画像Q、自動運転画像P及び画像切り替え準備画像R)を生成したうえでその画像を表示素子122に表示させる。これにより、この画像が虚像Vとして表示面Aに表示される。
実景視認要否判別部111bは、車両1の運転者2がウインドシールド3を介して実景を視認する必要があるか否かを判別する。
車両情報重要度判別部111cは、車両情報Iの重要度が高まったか否かを判別する。
手動運転意思判別部111dは、運転者2に手動運転を行う意思があるか否かを判別する。実景視認要否判別部111b、車両情報重要度判別部111c及び手動運転意思判別部111dの具体的な処理内容については後述する。
The processing unit 111 includes an image processing unit 111a, a real scene visual recognition
The image processing unit 111a generates an image (for example, a manual operation image Q, an automatic operation image P, and an image switching preparation image R, which will be described later), and then displays the image on the
The actual scene visual recognition
The vehicle information importance determination unit 111c determines whether or not the importance of the vehicle information I has increased.
The manual driving
次に、図3のフローチャートを参照しつつ、制御部110(処理部111)により実行される虚像Vを表示するための表示処理について説明する。この表示処理は、車両1のイグニッションオン時に繰り返し実行される。 Next, a display process for displaying the virtual image V executed by the control unit 110 (processing unit 111) will be described with reference to the flowchart of FIG. This display process is repeatedly executed when the ignition of the vehicle 1 is turned on.
まず、制御部110は、車載ECU50からの運転モード情報Imに基づき、車両1の運転モードが自動運転モードに設定されているか否かを判別する(ステップS101)。制御部110は、車両1の運転モードが自動運転モードに設定されていない旨判別すると(ステップS101:NO)、手動運転モードに設定されているとして、画像処理部111aを介して虚像Vとして手動運転画像Qを表示し(ステップS102)、当該フローチャートに係る処理を終了する。よって、手動運転モードに設定されている場合には、ステップS101,S102に係る処理が繰り返され、手動運転画像Qの表示が継続される。
First, the
この手動運転画像Qは、図4に示すように、車両情報を表示する車両情報画像Cである第1の車両情報画像C1を含む。詳しくは、第1の車両情報画像C1は、燃料の残量をバーグラフにより表す残燃料情報画像Caと、車両1の速度を数字により表す車速情報画像Cbと、を含む。
制御部110は、車載ECU50からの車速情報Isに応じて車速情報画像Cbを更新するとともに、車載ECU50からの残燃料情報Ifに応じて残燃料情報画像Caを更新する。
As shown in FIG. 4, the manual driving image Q includes a first vehicle information image C1 which is a vehicle information image C displaying vehicle information. Specifically, the first vehicle information image C1 includes a residual fuel information image Ca representing the remaining amount of fuel by a bar graph and a vehicle speed information image Cb representing the speed of the vehicle 1 numerically.
The
一方、制御部110は、車両1の運転モードが自動運転モードに設定されている旨判別すると(ステップS101:YES)、画像処理部111aを介して虚像Vとして自動運転画像Pである第1の自動運転画像Paを表示する(ステップS103)。
On the other hand, when the
この第1の自動運転画像Paは、図5に示すように、上述した手動運転画像Qの第1の車両情報画像C1よりも視認性の低い第2の車両情報画像C2と、カーナビシステム60からのエンタメ情報Ieを表示するエンタメ画像Dとしての第1のエンタメ画像Daと、を含む。
第2の車両情報画像C2は、その視認性を低下させるため、上述した手動運転画像Qの第1の車両情報画像C1よりも小さいサイズにて表示される。すなわち、第2の車両情報画像C2の残燃料情報画像Caは、上述した手動運転画像Qの残燃料情報画像Caよりも小さいサイズにて表示される。同様に、第2の車両情報画像C2の車速情報画像Cbは、上述した手動運転画像Qの車速情報画像Cbよりも小さいサイズにて表示される。
第1のエンタメ画像Daは、第2の車両情報画像C2に重なりつつ、表示面Aの略全域に形成される。第2の車両情報画像C2は、第1のエンタメ画像Daの視認性を損なわないように、第1のエンタメ画像Daの側方(本例では右側側方)に表示される。
As shown in FIG. 5, the first automatic driving image Pa is obtained from the second vehicle information image C2, which has lower visibility than the first vehicle information image C1 of the manual driving image Q described above, and the
The second vehicle information image C2 is displayed in a size smaller than that of the first vehicle information image C1 of the manual driving image Q described above in order to reduce its visibility. That is, the residual fuel information image Ca of the second vehicle information image C2 is displayed in a size smaller than the residual fuel information image Ca of the manual driving image Q described above. Similarly, the vehicle speed information image Cb of the second vehicle information image C2 is displayed in a size smaller than the vehicle speed information image Cb of the manual driving image Q described above.
The first entertainment image Da is formed over substantially the entire display surface A while overlapping with the second vehicle information image C2. The second vehicle information image C2 is displayed on the side (right side in this example) of the first entertainment image Da so as not to impair the visibility of the first entertainment image Da.
制御部110は、上記ステップS103において第1の自動運転画像Paを表示した後、実景視認要否判別部111bを介して、車載ECU50からの車両情報Iに基づき、運転者2にウインドシールド3を介して実景を視認させる必要があるか否かを判別する(ステップS104)。
例えば、実景視認要否判別部111bは、ヨーレート情報Iyに基づき車両1の旋回に伴う車両1の角速度が予め設定される角速度閾値以上となったとき、又は車速情報Isに基づき車両1の減速度が予め設定される減速度閾値以上となったとき、運転者2に実景を視認させる必要がある旨判別する(ステップS104:YES)。一方、実景視認要否判別部111bは、車両1の角速度が上記角速度閾値未満となったとき、又は車両1の減速度が上記減速度閾値未満となったとき、運転者2に実景を視認させる必要がない旨判別する(ステップS104:NO)。
After displaying the first automatic driving image Pa in step S103, the
For example, the actual scene visual recognition
制御部110は、実景視認要否判別部111bを介して運転者2にウインドシールド3を介して実景を視認させる必要がある旨判別したとき(ステップS104:YES)、画像処理部111aを介して第1の自動運転画像Paよりもエンタメ画像Dの視認性を下げた自動運転画像Pである第2の自動運転画像Pbを表示する(ステップS105)。
When the
この第2の自動運転画像Pbは、図6に示すように、第1の自動運転画像Paの第2の車両情報画像C2と同一の第2の車両情報画像C2と、第1の自動運転画像Paの第1のエンタメ画像Daよりも小さいサイズのエンタメ画像Dである第2のエンタメ画像Dbと、を含む。この第2のエンタメ画像Dbは、第2の車両情報画像C2と重ならないように表示される。この第2のエンタメ画像Dbの視認性は、第1のエンタメ画像Daよりも低い。これにより、車両1の急旋回時又は急減速時に、運転者2はウインドシールド3を介して実景を視認し易くなる。
As shown in FIG. 6, the second automatic driving image Pb includes a second vehicle information image C2 which is the same as the second vehicle information image C2 of the first automatic driving image Pa, and a first automatic driving image. A second entertainment image Db, which is an entertainment image D having a size smaller than that of the first entertainment image Da of Pa, is included. The second entertainment image Db is displayed so as not to overlap with the second vehicle information image C2. The visibility of the second entertainment image Db is lower than that of the first entertainment image Da. This makes it easier for the
一方、制御部110は、運転者2にウインドシールド3を介して実景を視認させる必要がない旨判別したとき(ステップS104:NO)、上記ステップS105を経ることなく、後述するステップS106の処理に移行する。
On the other hand, when the
次に、制御部110は、車両情報重要度判別部111cを介して、車両情報Iの重要度が高まったか否かを判別する(ステップS106)。
例えば、車両情報重要度判別部111cは、残燃料情報Ifに基づき残燃料が燃料閾値以下となったとき、又は車速情報Isに基づき車速が車速閾値以上となったときに、車両情報Iの重要度が高まった旨判別する(ステップS106:YES)。一方、車両情報重要度判別部111cは、残燃料が燃料閾値を超えているとき、又は車速が車速閾値未満であるとき、車両情報Iの重要度が高まっていない旨判別する(ステップS106:NO)。
Next, the
For example, the vehicle information importance determination unit 111c determines the importance of the vehicle information I when the remaining fuel becomes equal to or lower than the fuel threshold value based on the residual fuel information If, or when the vehicle speed becomes equal to or higher than the vehicle speed threshold value based on the vehicle speed information Is. It is determined that the degree has increased (step S106: YES). On the other hand, the vehicle information importance determination unit 111c determines that the importance of the vehicle information I has not increased when the remaining fuel exceeds the fuel threshold value or the vehicle speed is less than the vehicle speed threshold value (step S106: NO). ).
そして、制御部110は、車両情報重要度判別部111cを介して車両情報Iの重要度が高まった旨判別したとき(ステップS106:YES)、画像処理部111aを介して第1の自動運転画像Paよりも車両情報画像Cの視認性を上げた自動運転画像Pである第3の自動運転画像Pcを表示し(ステップS107)、当該フローチャートに係る処理を終了する。
Then, when the
この第3の自動運転画像Pcは、図7に示すように、第1の自動運転画像Paの第1のエンタメ画像Daと同一の第1のエンタメ画像Daと、第1の自動運転画像Paの第2の車両情報画像C2よりも大きいサイズの車両情報画像Cである第3の車両情報画像C3と、を含む。詳しくは、第3の車両情報画像C3の残燃料情報画像Caは、第2の車両情報画像C2の残燃料情報画像Caよりもサイズが大きく、第3の車両情報画像C3の車速情報画像Cbは、第2の車両情報画像C2の車速情報画像Cbよりもサイズが大きい。これにより、車両情報画像Cの視認性が上がる。
なお、第3の自動運転画像Pcは、第1のエンタメ画像Daに代えて、第2のエンタメ画像Dbを含んでいてもよい。
As shown in FIG. 7, the third automatic operation image Pc is the same as the first entertainment image Da of the first automatic operation image Pa and the first automatic operation image Pa. A third vehicle information image C3, which is a vehicle information image C having a size larger than that of the second vehicle information image C2, is included. Specifically, the residual fuel information image Ca of the third vehicle information image C3 is larger in size than the residual fuel information image Ca of the second vehicle information image C2, and the vehicle speed information image Cb of the third vehicle information image C3 is , The size of the second vehicle information image C2 is larger than that of the vehicle speed information image Cb. As a result, the visibility of the vehicle information image C is improved.
The third automatic driving image Pc may include a second entertainment image Db instead of the first entertainment image Da.
一方、制御部110は、車両情報重要度判別部111cを介して車両情報Iの重要度が高まっていない旨判別したとき(ステップS106:NO)、上記ステップS107の処理を経ることなく、当該フローチャートに係る処理を終了する。
以上のように、車両1が自動運転モードに設定されている場合、ステップS101,S103〜S107の処理が繰り返されることにより、車両1の状況に応じて第1の自動運転画像Pa、第2の自動運転画像Pb及び第3の自動運転画像Pcの何れかが表示される。
On the other hand, when the
As described above, when the vehicle 1 is set to the automatic driving mode, the processes of steps S101 and S103 to S107 are repeated, so that the first automatic driving image Pa and the second automatic driving image Pa are set according to the situation of the vehicle 1. Either the automatic driving image Pb or the third automatic driving image Pc is displayed.
次に、図9のフローチャートを参照しつつ、制御部110(処理部111)により実行される画像切り替え処理について説明する。この画像切り替え処理は、上述した表示処理の後に実行される。すなわち、車両1のイグニッションオン時に、表示処理及び画像切り替え処理の順番で繰り返し処理が実行される。 Next, the image switching process executed by the control unit 110 (processing unit 111) will be described with reference to the flowchart of FIG. This image switching process is executed after the display process described above. That is, when the ignition of the vehicle 1 is turned on, the repetitive processing is executed in the order of the display processing and the image switching processing.
まず、制御部110は、自動運転画像Pを表示しているか否かを判別し(ステップS301)、自動運転画像Pを表示していない旨判別したとき(ステップS301:NO)、当該フローチャートに係る処理を終了する。一方、自動運転画像Pを表示している旨判別したとき(ステップS301:YES)、手動運転意思判別部111dを介して、運転者2に手動運転を行う意思があるか否かを判別する(ステップS302)。このステップS302に係る手動運転意思判別部111dの判別手法については後述する。
First, when the
制御部110は、手動運転を行う意思がない旨判別すると(ステップS302:NO)、当該フローチャートに係る処理を終了する。一方、手動運転を行う意思がある旨判別すると(ステップS302:YES)、画像処理部111aを介して虚像Vとして画像切り替え準備画像Rを表示する(ステップS303)。
When the
この画像切り替え準備画像Rは、図8に示すように、第1の自動運転画像Paの第2の車両情報画像C2と同一の第2の車両情報画像C2と、第1の自動運転画像Paの第1のエンタメ画像Daよりもサイズの小さいエンタメ画像Dである第2のエンタメ画像Dbと、手動運転画像Q(図4参照)に切り替わることを事前に運転者2に認識させる画像切り替え準備メッセージM1と、を含む。
なお、画像切り替え準備メッセージM1は、運転者2により運転準備が行われた旨のメッセージであってもよいし、手動運転画像Qに切り替わる旨又は運転準備が行われた旨を示すアイコンであってもよい。
As shown in FIG. 8, the image switching preparation image R is a second vehicle information image C2 which is the same as the second vehicle information image C2 of the first automatic driving image Pa, and the first automatic driving image Pa. Image switching preparation message M1 that causes the
The image switching preparation message M1 may be a message indicating that the
次に、制御部110は、手動運転意思判別部111dを介して、手動運転を行う意思が継続しているか否かを判別する(ステップS304)。そして、手動運転を行う意思が継続している旨判別すると(ステップS304:YES)、画像処理部111aを介して上述した手動運転画像Q(図4参照)を自動運転モードに切り替わる前に表示し(ステップS305)、当該フローチャートに係る処理を終了する。
一方、手動運転を行う意思が継続していない旨判別すると(ステップS304:NO)、画像処理部111aを介して自動運転画像P(図5〜図7参照)を表示し(ステップS306)、当該フローチャートに係る処理を終了する。例えば、このステップS306においては、上記ステップS301でYESのときに表示されていた自動運転画像Pと同一の自動運転画像Pが表示される。
詳しくは、制御部110は、手動運転を行う意思がある旨判別した(ステップS302:YES)時刻から設定時間経過後に手動運転を行う意思がある旨判別したときに、手動運転を行う意思が継続している旨判別し(ステップS304:YES)、この設定時間経過後に手動運転を行う意思がない旨判別したときに、手動運転を行う意思が継続していない旨判別する(ステップS304:NO)。この設定時間は、運転者2が手動運転の準備を行うことにより表示された画像切り替え準備画像Rを視認した後に、運転者2がこの準備を継続するか否かを判断して行動できる時間に設定される。
Next, the
On the other hand, when it is determined that the intention to perform the manual operation is not continued (step S304: NO), the automatic operation image P (see FIGS. 5 to 7) is displayed via the image processing unit 111a (step S306). The process related to the flowchart ends. For example, in this step S306, the same automatic driving image P as the automatic driving image P displayed when YES in the step S301 is displayed.
Specifically, when the
次に、手動運転意思判別部111dの具体的な判別手法について説明する。
手動運転意思判別部111dは、検出信号I71に基づき運転操作部への接触があるか否かを判別する。ここで、運転者2による運転操作部への接触があることを第1条件とする。
手動運転意思判別部111dは、検出信号I72に基づき運転席が手動運転に適した状態に調整されたか否かを判別する。ここで、運転席が手動運転に適した状態に調整されることを第2条件とする。
手動運転意思判別部111dは、画像信号I73に基づき運転者2の視線が手動運転に適した位置にあるか否かを判別する。ここで、運転者2の視線が手動運転に適した位置にあることを第3条件とする。
手動運転意思判別部111dは、検出信号I74に基づき運転者2の生体情報が手動運転に適した状態にあるか否かを判別する。ここで、運転者の生体情報が手動運転に適した状態にあることを第4条件とする。
手動運転意思判別部111dは、第1条件、第2条件、第3条件及び第4条件のうち何れか一つの条件が成立したとき、運転者2に手動運転を行う意思がある旨判別する(ステップS302:YES又はステップS304:YES)。一方、手動運転意思判別部111dは、第1条件、第2条件、第3条件及び第4条件の全ての条件が成立しないとき、運転者2に手動運転を行う意思がない旨判別する(ステップS302:NO又はステップS304:NO)。
なお、この例に限らず、手動運転意思判別部111dは、第1条件、第2条件、第3条件及び第4条件のうち複数の条件が成立したときに、運転者2に手動運転を行う意思がある旨判別してもよい。
Next, a specific discriminating method of the manual driving
The manual driving
The manual driving
The manual driving
The manual driving
When any one of the first condition, the second condition, the third condition, and the fourth condition is satisfied, the manual driving
Not limited to this example, the manual driving
第2条件について、より詳しくは、手動運転意思判別部111dは、車両1の前後方向における運転席の位置及び/又は運転席の背もたれ部の角度が予め設定される設定範囲内にあるとき運転席が手動運転に適した状態に調整された旨判別し、車両1の前後方向における運転席の位置及び/又は運転席の背もたれ部の角度がこの設定範囲外にあるとき運転席が手動運転に適した状態に調整されていない旨判別する。
Regarding the second condition, more specifically, when the manual driving
第3条件について、より詳しくは、手動運転意思判別部111dは、公知の視線検出技術を利用して検出された運転者2の視線が走行道路に注がれている場合には運転者2の視線が手動運転に適した位置にある旨判別し、検出された運転者2の視線が走行道路に注がれていない場合には運転者2の視線が手動運転に適した位置にない旨判別する。
Regarding the third condition, more specifically, the manual driving
第4条件について、より詳しくは、手動運転意思判別部111dは、検出された運転者2の脳波、心拍及び筋肉の少なくとも何れか一つの信号波形が予め設定された運転準備パターンと一致したとき、運転者2の生体情報が手動運転に適した状態にある旨判別し、この信号波形が上記運転準備パターンと一致しないとき、運転者2の生体情報が手動運転に適した状態にない旨判別する。上記運転準備パターンは、実験又はシミュレーションにより生成される。
More specifically, regarding the fourth condition, when the detected signal waveform of at least one of the brain wave, the heartbeat, and the muscle of the
次に、運転者2の動作に伴う表示画像の切り替わり態様について説明する。
車両1の運転モードが自動運転モードに設定されている場合、図5に示す第1の自動運転画像Paが表示される。よって、このとき、運転者2は、第1の自動運転画像Paの第1のエンタメ画像Daを視聴することができる。そして、運転者2は、運転操作部への接触等の手動運転の準備を行う。これにより、図8に示す画像切り替え準備画像Rが表示される。運転者2は、この画像切り替え準備画像Rを見て、実際に手動運転を行う意思がある場合、運転操作部への接触等の手動運転の準備を継続する。これにより、図4に示す手動運転画像Qが表示される。その後、運転者2により手動運転モードへの切り替え操作が行われると、車両1の運転モードは手動運転モードに切り替えられる。手動運転モードへの切り替え操作は、専用の運転モード切替スイッチを操作することや運転操作部を接触による場合より大きな操作量で操作することなどが挙げられる。一方、運転者2は、この画像切り替え準備画像Rを見て、実際に手動運転を行う意思ない場合、運転操作部への接触等の手動運転の準備を止める。例えば、運転者2はステアリングから手を離す。これにより、自動運転モードが継続されるとともに、図5に示す第1の自動運転画像Paに表示が戻る。よって、運転者2は、第1の自動運転画像Paの第1のエンタメ画像Daの視聴を継続することができる。
Next, a mode in which the display image is switched according to the operation of the
When the driving mode of the vehicle 1 is set to the automatic driving mode, the first automatic driving image Pa shown in FIG. 5 is displayed. Therefore, at this time, the
(効果)
以上、説明した第1の実施形態によれば、以下の効果を奏する。
(effect)
According to the first embodiment described above, the following effects are obtained.
(1−1)HUD装置100は、自動運転モード及び手動運転モードの何れかの運転モードに設定される車両1に搭載され、ウインドシールド3に虚像Vを表示する。HUD装置100は、運転モードが自動運転モードに設定されているとき、車両情報画像C及びエンタメ画像Dを含む自動運転画像Pを虚像Vとして表示する画像処理部111aを備える。
この構成によれば、自動運転モードに適した自動運転画像Pを実現することができる。詳しくは、自動運転モードにおいてエンタメ画像Dが表示されることにより、自動運転中にも運転者2の視線がウインドシールド3に注がれ易くなる。よって、運転者2は、自動運転中に車両1の周囲の異変及び車両情報画像Cの変化に気が付き易くなる。また、自動運転モードから手動運転モードに切り替わる際にも、運転者2はウインドシールド3から視線を動かすことなく、スムーズに手動運転を開始することができる。
(1-1) The
According to this configuration, it is possible to realize the automatic driving image P suitable for the automatic driving mode. Specifically, since the entertainment image D is displayed in the automatic driving mode, the line of sight of the
(1−2)HUD装置100は、車両1の運転者2がウインドシールド3を介して実景を視認する必要があるか否かを判別する実景視認要否判別部111bを備える。画像処理部111aは、実景視認要否判別部111bにより運転者2がウインドシールド3を介して実景を視認する必要がある旨判別されたとき、自動運転画像Pのエンタメ画像Dの視認性を下げる。
この構成によれば、運転者2が実景を視認する必要がある状況では、図6に示すように、エンタメ画像Dの視認性が下げられることにより、運転者2がウインドシールド3を介して実景を視認し易くなる。
(1-2) The
According to this configuration, in a situation where the
(1−3)HUD装置100は、車両情報Iの重要度が高まったか否かを判別する車両情報重要度判別部111cを備える。画像処理部111aは、車両情報重要度判別部111cにより車両情報Iの重要度が高まった旨判別されたとき、エンタメ画像Dに対して車両情報画像Cの視認性を上げる。
この構成によれば、車両情報Iの重要度が高まった場合に、図7に示すように、車両情報画像Cの視認性が上げられることにより、車両情報画像Cがより確実に視認される。
(1-3) The
According to this configuration, when the importance of the vehicle information I increases, the visibility of the vehicle information image C is increased as shown in FIG. 7, so that the vehicle information image C can be visually recognized more reliably.
(1−4)画像処理部111aは、自動運転画像Pにおいて、エンタメ画像Dを車両情報画像Cに重なるように表示する。
この構成によれば、エンタメ画像Dを大きく表示させることができるため、エンタメ画像Dの視認性を上げることができる。
(1-4) The image processing unit 111a displays the entertainment image D so as to overlap the vehicle information image C in the automatic driving image P.
According to this configuration, the entertainment image D can be displayed in a large size, so that the visibility of the entertainment image D can be improved.
(2−1)HUD装置100は、車載表示装置の一例であり、自動運転モード及び手動運転モードの何れかの運転モードに設定される車両1に搭載される。HUD装置100は、運転者2に手動運転を行う意思があるか否かを判別する手動運転意思判別部111dと、手動運転意思判別部111dにより手動運転を行う意思がある旨判別されたとき、手動運転モードにおいて表示される手動運転画像Qを表示する画像処理部111aと、を備える。
この構成によれば、運転者2に手動運転を行う意思がある旨判別されたときに手動運転画像Qが表示される。運転者2は、手動運転モードに切り替わる前に、この手動運転画像Qを視認することにより、手動運転に際して重要な情報(車両情報や実景など)を手動運転モードのときと同様に認識することができる。このため、運転者2の手動運転の準備が整った状態で、車両1の運転モードを手動運転モードに切り替えることができ、運転者2は円滑に手動運転を開始することができる。
(2-1) The
According to this configuration, the manual driving image Q is displayed when it is determined that the
(2−2)画像処理部111aは、手動運転意思判別部111dにより前記意思がある旨判別されたとき、手動運転画像Qに切り替わることを運転者2に認識させる画像切り替え準備画像Rを表示し、画像切り替え準備画像Rを表示した後に、手動運転意思判別部111dにより手動運転を行う意思が継続している旨判別されたとき、車両情報画像Cを含む手動運転画像Qを表示する。
この構成によれば、手動運転を行う意思が継続している場合のみ、手動運転画像Qに表示が切り替えられる。よって、より確実に運転者2に手動運転を行う意思がある状態で、手動運転画像Qに表示を切り替えることができる。このため、運転者2は円滑に手動運転を開始することができる。
(2-2) The image processing unit 111a displays an image switching preparation image R that causes the
According to this configuration, the display is switched to the manual operation image Q only when the intention to perform the manual operation is continued. Therefore, the display can be switched to the manual driving image Q with the
(2−3)画像処理部111aは、画像切り替え準備画像Rを表示した後に、手動運転意思判別部111dにより手動運転を行う意思が継続していない旨判別されたとき、画像切り替え準備画像Rから、車両情報画像C及びエンタメ画像Dを含む自動運転画像Pへ表示を切り替える。
この構成によれば、手動運転を行う意思が継続していない場合、自動運転画像Pに表示が戻される。よって、運転者2に手動運転を行う意思がないのにも関わらず、手動運転画像Qに表示が切り替えられることが抑制される。
(2-3) After displaying the image switching preparation image R, the image processing unit 111a determines from the image switching preparation image R that the intention to perform manual operation is not continued by the manual operation
According to this configuration, if the intention to perform manual driving is not continued, the display is returned to the automatic driving image P. Therefore, even though the
(2−4)画像処理部111aは、手動運転意思判別部111dにより手動運転を行う意思がある旨判別されたとき、車両情報画像C及びエンタメ画像Dを含む自動運転画像Pから、自動運転画像Pよりもエンタメ画像Dの視認性が低い手動運転画像Qへ表示を切り替える。
この構成によれば、運転者2は、自動運転中には、自動運転画像Pのエンタメ画像Dを視認できる。そして、手動運転を行う意思がある旨判別されたとき、手動運転画像Qに表示が切り替えられる。このとき、エンタメ画像Dの視認性が低くなるため、運転者2は、手動運転画像Qを通じて、手動運転に際して重要な情報を視認し易い。
(2-4) When the image processing unit 111a determines that the manual driving
According to this configuration, the
(2−5)手動運転意思判別部111dは、運転操作部への運転者2による接触があることの第1条件と、運転席が手動運転に適した状態に調整されることの第2条件と、運転者2の視点が手動運転に適した位置にあることの第3条件と、運転者2の生体情報が手動運転に適した状態にあることの第4条件と、のうち少なくとも何れか一つの条件が成立したときに手動運転を行う意思がある旨判別する。
この構成によれば、実際に手動運転を行う前に手動運転の意思があるか否かが判別される。
(2-5) The manual driving
According to this configuration, it is determined whether or not there is an intention of manual operation before actually performing manual operation.
(第2の実施形態)
本発明に係るHUD(ヘッドアップディスプレイ)装置の第2の実施形態について図10〜図12を参照して説明する。以下、第1の実施形態との相違点を中心に説明する。
(Second Embodiment)
A second embodiment of the HUD (head-up display) device according to the present invention will be described with reference to FIGS. 10 to 12. Hereinafter, the differences from the first embodiment will be mainly described.
まず、図10のフローチャートを参照しつつ、制御部110(処理部111)により実行される虚像Vを表示するための表示処理について説明する。ステップS201〜S203は、上記第1の実施形態の図3のステップS101〜S103と同一であるため、それらの説明を省略する。 First, the display process for displaying the virtual image V executed by the control unit 110 (processing unit 111) will be described with reference to the flowchart of FIG. Since steps S201 to S203 are the same as steps S101 to S103 in FIG. 3 of the first embodiment, their description will be omitted.
制御部110は、ステップS203において第1の自動運転画像Paを表示した後、
警告アイコンI1を表示する必要があるか否かを判別する(ステップS204)。
例えば、制御部110は、車載ECU50からの近接距離情報Iaに基づき、車両1から物体(例えば先行車両)までの近接距離が予め設定される距離閾値以下となったとき、警告アイコンI1を表示する必要がある旨判別する(ステップS204:YES)。一方、制御部110は、近接距離が上記距離閾値を超えているとき、警告アイコンI1を表示する必要がない旨判別する(ステップS204:NO)。
After displaying the first automatic operation image Pa in step S203, the
It is determined whether or not the warning icon I1 needs to be displayed (step S204).
For example, the
制御部110は、警告アイコンI1を表示する必要がある旨判別したとき(ステップS204:YES)、第1の自動運転画像Paよりもエンタメ画像Dの視認性を下げ、かつ警告アイコンI1を追加した自動運転画像Pである第4の自動運転画像Pdを表示し(ステップS205)、当該フローチャートに係る処理を終了する。
When the
この第4の自動運転画像Pdは、図11に示すように、第2の車両情報画像C2に加えて、近接する先行車両200に重畳するように表示される警告アイコンI1と、第1の自動運転画像Paの第1のエンタメ画像Daよりもサイズの小さいエンタメ画像Dである第3のエンタメ画像Dcと、を含む。エンタメ画像Dcは、表示面Aの角部(本例では、表示面Aの左下角部)に表示される。警告アイコンI1は、三角形の内部に「!」が表示されてなり、エンタメ画像Dが縮小されることにより空いたスペースに表示される。なお、残燃料情報画像Ca及び車速情報画像Cbは、上記第1の実施形態では、運転者2から見て左右方向に並べられていたが、本実施形態では、運転者2から見て上下方向に並べられている。
As shown in FIG. 11, the fourth automatic driving image Pd includes a warning icon I1 displayed so as to be superimposed on the adjacent preceding
一方、制御部110は、警告アイコンI1を表示する必要がない旨判別したとき(ステップS204:NO)、上記ステップS205に係る処理を経ることなく、当該フローチャートに係る処理を終了する。
以上のように、車両1が自動運転モードに設定されている場合、ステップS201,S203〜S205の処理が繰り返されることにより、第1の自動運転画像Pa及び第4の自動運転画像Pdの何れかが表示される。
On the other hand, when the
As described above, when the vehicle 1 is set to the automatic driving mode, the processing of steps S201 and S203 to S205 is repeated, so that any one of the first automatic driving image Pa and the fourth automatic driving image Pd Is displayed.
(効果)
以上、説明した第2の実施形態によれば、以下の効果を奏する。
(effect)
According to the second embodiment described above, the following effects are obtained.
(1)画像処理部111aは、自動運転画像Pに新たに警告画像として警告アイコンI1を追加する際、エンタメ画像Dの視認性を下げる。
この構成によれば、エンタメ画像Dの視認性が下げられることにより、警告アイコンI1が強調される。よって、運転者2により警告アイコンI1がより確実に視認される。
(1) When the image processing unit 111a newly adds the warning icon I1 as a warning image to the automatic driving image P, the image processing unit 111a lowers the visibility of the entertainment image D.
According to this configuration, the warning icon I1 is emphasized by reducing the visibility of the entertainment image D. Therefore, the warning icon I1 is more reliably visually recognized by the
(変形例)
なお、上記実施形態は、これを適宜変更した以下の形態にて実施することができる。
(Modification example)
In addition, the said embodiment can be carried out in the following embodiments which modified this as appropriate.
上記第1及び第2の実施形態においては、エンタメ情報Ieは、TVチューナー60aにより受信された映像信号であった。しかし、エンタメ情報Ieは、これに限らず、図2の一点鎖線で示すように、DVD(Digital Versatile Disc)等の記憶媒体に記憶された映像を再生する映像再生装置61からの映像信号であってもよいし、スマートフォン等の携帯端末62から無線送信される映像信号であってもよい。
また、車両1にインターネット通信可能な通信装置が搭載されていてもよい。この通信装置は、エンタメ情報Ieをインターネットを介してダウンロードしてもよい。
In the first and second embodiments, the entertainment information IE is a video signal received by the
Further, the vehicle 1 may be equipped with a communication device capable of Internet communication. This communication device may download the entertainment information IE via the Internet.
上記第1及び第2の実施形態においては、エンタメ画像Dとして映像が表示されていたが、これに限らず、エンタメ画像Dとして、映像とともに又は映像に代えて、天気予報等のニュース、渋滞情報、再生楽曲情報等の各種情報が表示されてもよい。 In the first and second embodiments, the image is displayed as the entertainment image D, but the present invention is not limited to this, and the entertainment image D is used as the entertainment image D together with the image or in place of the image, such as news such as weather forecast, and congestion information. , Various information such as playback music information may be displayed.
上記第2の実施形態においては、図11に示すように、エンタメ画像Dのサイズを小さくすることにより、エンタメ画像Dの視認性を低下させていた。しかし、これに限らず、図12に示すように、エンタメ画像Dの表示輝度を低下させた自動運転画像Pである第5の自動運転画像Peを表示してもよい。
これと同様に、上記第1の実施形態では、図3のステップS105において、図6に示すエンタメ画像Dのサイズを小さくすることによりエンタメ画像Dの視認性を低下させていたが、このサイズ変更に代えて又はこのサイズ変更とともに、エンタメ画像Dの表示輝度を低下させることにより、エンタメ画像Dの視認性を低下させてもよい。
さらに、上記第1及び第2の実施形態において、エンタメ画像Dの表示を消すことにより、エンタメ画像Dの視認性を低下させてもよい。
In the second embodiment, as shown in FIG. 11, the visibility of the entertainment image D is lowered by reducing the size of the entertainment image D. However, the present invention is not limited to this, and as shown in FIG. 12, a fifth automatic driving image Pe, which is an automatic driving image P in which the display brightness of the entertainment image D is reduced, may be displayed.
Similarly, in the first embodiment, in step S105 of FIG. 3, the visibility of the entertainment image D is reduced by reducing the size of the entertainment image D shown in FIG. 6, but this size change Instead of, or with this size change, the visibility of the entertainment image D may be lowered by lowering the display brightness of the entertainment image D.
Further, in the first and second embodiments, the visibility of the entertainment image D may be lowered by turning off the display of the entertainment image D.
上記第2の実施形態において、制御部110は、運転者2へ伝達する緊急度が高くなるにつれてエンタメ画像Dのサイズを小さくする又はエンタメ画像Dの輝度を低下させてもよい。例えば、制御部110は、警告アイコンI1を表示する必要がある旨判別したとき(ステップS204:YES)、車両情報Iに基づき緊急度を「低」、「中」、「高」の何れかであるかを判別する。本例では、自動運転モードから手動運転モードへ切り替わる際に警告アイコンI1を表示し、自動運転モードから手動運転モードに切り替わるまでの残り時間により緊急度が判別される。詳しくは、制御部110は、上記残り時間が予め設定される第1の時間閾値を超える場合には緊急度が「低」であるとして、図5に示す第1の自動運転画像Paを表示する。また、上記残り時間が上記第1の時間閾値以下で、かつ予め設定される第2の時間閾値を超える場合には緊急度が「中」であるとして、図11に示す第4の自動運転画像Pdを表示する。この際、第4の自動運転画像Pdの警告アイコンI1は、運転者2へ手動運転の準備に入ることを要求する旨のアイコンであってもよい。また、上記残り時間が上記第2の時間閾値以下である場合には緊急度が「高」であるとして、図13に示す自動運転画像Pである第6の自動運転画像Pfを表示する。この第6の自動運転画像Pfは、第2の車両情報画像C2と、自動運転モードから手動運転モードに切り替わる旨及び残り時間を示す警告メッセージM2と、を含む。この第6の自動運転画像Pfにはエンタメ画像Dが含まれないため、運転者2に警告メッセージM2をより確実に視認させることができる。
以上により、緊急度が高くなるにつれて、第1の自動運転画像Pa、第4の自動運転画像Pd及び第6の自動運転画像Pfの順で切り替わる。よって、運転者2は、エンタメ画像Dの視聴を終了したり、実景を視認したりすることより、手動運転の準備に入ることができる。
In the second embodiment, the
As described above, as the degree of urgency increases, the first automatic driving image Pa, the fourth automatic driving image Pd, and the sixth automatic driving image Pf are switched in this order. Therefore, the
上記第2の実施形態においては、警告アイコンI1は、接近する物体に重畳するように表示されていたが、警告アイコンI1が示す内容及び警告アイコンI1の形状は適宜変更可能である。例えば、制御部110は、車速が車速閾値以上となったとき又は残燃料が燃料閾値以下となったときに警告アイコンI1を表示してもよい。また、警告アイコンI1は、油圧警告、エンジン警告等の一般的にメーターに搭載される警告灯に対応する内容であってもよい。
また、制御部110は、カーナビシステム60から道路案内情報を取得し、取得した道路案内情報に基づき警告アイコンI1として車両1の進行方向を示すアイコンを表示してもよい。
In the second embodiment, the warning icon I1 is displayed so as to be superimposed on the approaching object, but the content indicated by the warning icon I1 and the shape of the warning icon I1 can be changed as appropriate. For example, the
Further, the
上記第1及び第2の実施形態においては、車両情報画像Cは、残燃料情報画像Ca及び車速情報画像Cbを含んでいたが、残燃料情報画像Ca及び車速情報画像Cbのうち何れか一方を省略してもよいし、残燃料情報画像Ca及び車速情報画像Cb以外の車両情報画像が表示されてもよい。例えば、車両情報画像Cとしてエンジン回転数、シフトポジション、道路案内情報、車両周辺状況又は自動運転モードにおける車両制御状況等が表示されてもよい。 In the first and second embodiments, the vehicle information image C includes the residual fuel information image Ca and the vehicle speed information image Cb, but any one of the residual fuel information image Ca and the vehicle speed information image Cb is used. It may be omitted, or a vehicle information image other than the residual fuel information image Ca and the vehicle speed information image Cb may be displayed. For example, the vehicle information image C may display the engine speed, shift position, road guidance information, vehicle peripheral conditions, vehicle control status in the automatic driving mode, and the like.
上記第1の実施形態では、制御部110は、車両情報Iの重要度が高まった旨判別したとき(ステップS106:YES)、図6及び図7に示すように、第2の車両情報画像C2よりも残燃料情報画像Ca及び車速情報画像Cbのサイズを大きくした第3の車両情報画像C3を表示していた。しかし、これに限らず、残燃料が燃料閾値以下となることで重要度が高まった旨判別したとき(ステップS106:YES)、第2の車両情報画像C2のうち残燃料情報画像Caのみのサイズを大きくし、車速が車速閾値以上となることで重要度が高まった旨判別したとき(ステップS106:YES)、第2の車両情報画像C2のうち車速情報画像Cbのみのサイズを大きくしてもよい。これにより、運転者2が注目するべき画像を強調することができる。
また、車両情報画像Cの表示輝度を上げることにより、車両情報画像Cの視認性を上げてもよい。
In the first embodiment, when the
Further, the visibility of the vehicle information image C may be improved by increasing the display brightness of the vehicle information image C.
上記第1の実施形態では、図7に示すように、エンタメ画像Dに対する車両情報画像Cの視認性を上げるため、車両情報画像Cのサイズを大きくしていたが、これに限らず、エンタメ画像Dの視認性を下げることにより、相対的に車両情報画像Cの視認性を上げてもよい。 In the first embodiment, as shown in FIG. 7, the size of the vehicle information image C is increased in order to improve the visibility of the vehicle information image C with respect to the entertainment image D, but the size of the vehicle information image C is not limited to this. By lowering the visibility of D, the visibility of the vehicle information image C may be relatively increased.
上記第1の実施形態では、ステップS104に係る運転者2に実景を視認させる必要があるか否かの判別は、車両1の角速度又は減速度に基づき行われていたが、角速度及び減速度以外であってもよい。例えば、雪や雨が降った場合又は霧が発生した場合には、運転者2に実景を視認させる必要がある旨判別されてもよい(ステップS104:YES)。
また、上記第1の実施形態において、制御部110は、車両1の角速度又は減速度に応じてエンタメ画像Dのサイズ又は表示輝度を調整してもよい。具体的には、角速度又は減速度が大きいほど、エンタメ画像Dのサイズを小さく、又は表示輝度を低下させる。これにより、車両1の挙動に応じたエンタメ画像Dの視認性を実現できる。
In the first embodiment, whether or not it is necessary for the
Further, in the first embodiment, the
上記第1及び第2の実施形態において、制御部110は、自動運転モードにおいて、エンタメ画像Dを含む自動運転画像Pを表示していたが、運転者2がエンタメ画像Dを利用していない旨判別した場合、手動運転画像Qと同様の車両情報画像Cのみからなる自動運転画像を表示してもよい。
例えば、制御部110は、画像信号I73に基づき運転者2の視線がエンタメ画像Dに注がれている旨判別したとき、運転者2がエンタメ画像Dを利用している旨判別する。一方、運転者2の視線が設定時間以上にわたってエンタメ画像Dから外れている場合にはエンタメ画像Dを利用していない旨判別する。
In the first and second embodiments, the
For example, when the
上記第1及び第2の実施形態において、図5に示すように、エンタメ画像Dが車両情報画像Cに重なるように表示されていたが、エンタメ画像Dが車両情報画像Cに重ならないように表示されてもよい。 In the first and second embodiments, as shown in FIG. 5, the entertainment image D is displayed so as to overlap the vehicle information image C, but the entertainment image D is displayed so as not to overlap the vehicle information image C. May be done.
上記第1及び第2の実施形態において、手動運転意思検出部70は、接触検出部71と、シート位置検出部72と、車載カメラ73と、生体情報検出部74と、を備えていたが、そのうち何れか1〜3つを省略してもよい。手動運転意思検出部70は、これらに限らず、例えば、自動運転モードから手動運転モードに切り替えられる際に操作される運転モード切替スイッチへの運転者2の体の一部(指など)の近接や接触を検出してもよい。制御部110は、この運転モード切替スイッチへの近接や接触を検出したときに画像切り替え準備画像Rを表示し、その後、再び運転モード切替スイッチへの近接や接触を継続して検出したとき又は運転操作部への接触等の手動運転の準備を検出したとき、画像切り替え準備画像Rから手動運転画像Qに表示を切り替える。
In the first and second embodiments, the manual driving
上記第1の実施形態においては、制御部110は、手動運転を行う意思が継続している旨判別すると(ステップS304:YES)、手動運転画像Qを表示していた(ステップS305)。しかし、これに限らず、制御部110は、画像切り替え準備画像Rの表示期間が予め設定される時間を経過したとき、画像切り替え準備画像Rから手動運転画像Qに表示を切り替えてもよい。
In the first embodiment, when the
上記第1の実施形態においては、図8に示すように、画像切り替え準備画像Rは、第2の車両情報画像C2と、第2のエンタメ画像Dbと、画像切り替え準備メッセージM1と、を含んでいたが、第2の車両情報画像C2及び第2のエンタメ画像Dbの少なくとも何れか一方を省略してもよい。
さらに、画像切り替え準備画像Rは、画像切り替え準備メッセージM1を省略してもよく、自動運転画像P(例えば第2の自動運転画像Pb)と同一の画像であってもよい。この場合であっても、図5に示す第1の自動運転画像Paから画像切り替え準備画像Rに表示を切り替える際、エンタメ画像Dの視認性が低下する。これにより、運転者2は手動運転画像Qに表示が切り替わることを事前に認識できる。
また、図9のフローチャートにおいて、ステップS303に係る画像切り替え準備画像Rを表示する処理とステップ304に係る手動運転を行う意思が継続しているか否かを判別する処理は省略されてもよい。この場合、制御部110は、手動運転を行う意思がある旨判別すると(ステップS302:YES)、手動運転画像Qを表示し(ステップS305)、手動運転を行う意思がない旨判別すると(ステップS302:NO)、自動運転画像Pの表示を継続してもよい(ステップS306)。
In the first embodiment, as shown in FIG. 8, the image switching preparation image R includes the second vehicle information image C2, the second entertainment image Db, and the image switching preparation message M1. However, at least one of the second vehicle information image C2 and the second entertainment image Db may be omitted.
Further, the image switching preparation image R may omit the image switching preparation message M1 and may be the same image as the automatic driving image P (for example, the second automatic driving image Pb). Even in this case, when the display is switched from the first automatic operation image Pa shown in FIG. 5 to the image switching preparation image R, the visibility of the entertainment image D is lowered. As a result, the
Further, in the flowchart of FIG. 9, the process of displaying the image switching preparation image R according to step S303 and the process of determining whether or not the intention to perform the manual operation according to step 304 is continued may be omitted. In this case, when the
上記第1及び第2の実施形態においては、車載表示装置としてHUD装置100が採用されていたが、車載表示装置であればHUD装置100に限らず、車両1のダッシュボード5等に搭載される液晶ディスプレイ又は有機EL(Electro-Luminescence)ディスプレイであってもよい。
In the first and second embodiments, the
C 車両情報画像
Ca 残燃料情報画像
Cb 車速情報画像
D エンタメ画像
I1 警告アイコン
M1 画像切り替え準備メッセージ
M2 警告メッセージ
Q 手動運転画像
Pa 第1の自動運転画像
Pb 第2の自動運転画像
Pc 第3の自動運転画像
Pd 第4の自動運転画像
Pe 第5の自動運転画像
Pf 第6の自動運転画像
R 画像切り替え準備画像
1 車両
2 運転者
3 ウインドシールド
5 ダッシュボード
8 路面
50 車載ECU
60 カーナビシステム
60a TVチューナー
61 映像再生装置
62 携帯端末
100 HUD装置
110 制御部
111 処理部
111a 画像処理部
111b 実景視認要否判別部
111c 車両情報重要度判別部
112 メモリ
120 表示部
121 光源
122 表示素子
131 平面鏡
132 凹面鏡
140 筐体
140a 開口部
141 透光部
200 先行車両
C Vehicle information image Ca Residual fuel information image Cb Vehicle speed information image D Entertainment image I1 Warning icon M1 Image switching preparation message M2 Warning message Q Manual driving image Pa First automatic driving image Pb Second automatic driving image Pc Third automatic Driving image Pd 4th automatic driving image Pe 5th automatic driving image Pf 6th automatic driving image R Image switching preparation image 1
60
Claims (2)
運転者に手動運転を行う意思があるか否かを判別する手動運転意思判別部と、
前記手動運転意思判別部により前記意思がある旨判別されたとき、前記手動運転モードにおいて表示される手動運転画像を表示する画像処理部と、を備え、
前記画像処理部は、前記手動運転意思判別部により前記意思がある旨判別されたとき、前記手動運転画像に切り替わることを運転者に認識させる画像切り替え準備画像を表示し、前記画像切り替え準備画像を表示した後に、前記手動運転意思判別部により前記意思が継続している旨判別されたとき、前記画像切り替え準備画像から、車両情報画像を含む前記手動運転画像へ表示を切り替え、
前記画像処理部は、前記画像切り替え準備画像を表示した後に、前記手動運転意思判別部により前記意思が継続していない旨判別されたとき、前記画像切り替え準備画像から、前記車両情報画像及びエンタメ画像を含む自動運転画像へ表示を切り替え、
前記画像処理部は、前記手動運転意思判別部により前記意思がある旨判別されたとき、車両情報画像及びエンタメ画像を含む自動運転画像から、前記自動運転画像よりも前記エンタメ画像の視認性が低い前記手動運転画像へ表示を切り替える、
車載表示装置。 An in-vehicle display device mounted on a vehicle set to either an automatic driving mode or a manual driving mode.
A manual driving intention determination unit that determines whether or not the driver intends to perform manual driving,
The manual operation intention determination unit includes an image processing unit that displays a manual operation image displayed in the manual operation mode when it is determined that there is the intention .
The image processing unit displays an image switching preparation image that causes the driver to recognize that the image is switched to the manual operation image when the manual operation intention determination unit determines that the intention is present, and displays the image switching preparation image. After the display, when the manual driving intention determination unit determines that the intention is continuing, the display is switched from the image switching preparation image to the manual driving image including the vehicle information image.
After displaying the image switching preparation image, when the manual driving intention determination unit determines that the intention is not continuing, the image processing unit uses the image switching preparation image to obtain the vehicle information image and the entertainment image. Switch the display to the automatic driving image including,
When the manual driving intention determination unit determines that the image processing unit has the intention, the image processing unit has lower visibility of the entertainment image than the automatic driving image from the automatic driving image including the vehicle information image and the entertainment image. Switching the display to the manual operation image,
In-vehicle display device.
運転者に手動運転を行う意思があるか否かを判別する手動運転意思判別部と、
前記手動運転意思判別部により前記意思がある旨判別されたとき、前記手動運転モードにおいて表示される手動運転画像を表示する画像処理部と、を備え、
前記画像処理部は、前記手動運転意思判別部により前記意思がある旨判別されたとき、前記手動運転画像に切り替わることを運転者に認識させる画像切り替え準備画像を表示し、前記画像切り替え準備画像を表示した後に、前記手動運転意思判別部により前記意思が継続している旨判別されたとき、前記画像切り替え準備画像から、車両情報画像を含む前記手動運転画像へ表示を切り替え、
前記画像処理部は、前記画像切り替え準備画像を表示した後に、前記手動運転意思判別部により前記意思が継続していない旨判別されたとき、前記画像切り替え準備画像から、前記車両情報画像及びエンタメ画像を含む自動運転画像へ表示を切り替え、
前記手動運転意思判別部は、運転操作部への運転者による接触があることの条件と、運転席が手動運転に適した状態に調整されることの条件と、運転者の視点が手動運転に適した位置にあることの条件と、運転者の生体情報が手動運転に適した状態にあることの条件と、のうち少なくとも何れか一つの条件が成立したときに前記意思がある旨判別する、
車載表示装置。 An in-vehicle display device mounted on a vehicle set to either an automatic driving mode or a manual driving mode.
A manual driving intention determination unit that determines whether or not the driver intends to perform manual driving,
The manual operation intention determination unit includes an image processing unit that displays a manual operation image displayed in the manual operation mode when it is determined that there is the intention.
The image processing unit displays an image switching preparation image that causes the driver to recognize that the image is switched to the manual operation image when the manual operation intention determination unit determines that the intention is present, and displays the image switching preparation image. After the display, when the manual driving intention determination unit determines that the intention is continuing, the display is switched from the image switching preparation image to the manual driving image including the vehicle information image.
After displaying the image switching preparation image, when the manual driving intention determination unit determines that the intention is not continuing, the image processing unit uses the image switching preparation image to obtain the vehicle information image and the entertainment image. Switch the display to the automatic driving image including,
The manual driving intention determination unit has a condition that the driver has contact with the driving operation unit, a condition that the driver's seat is adjusted to a state suitable for manual driving, and a driver's viewpoint for manual driving. When at least one of the condition that the driver is in a suitable position and the condition that the driver's biometric information is in a state suitable for manual driving is satisfied, it is determined that the driver has the intention .
In-vehicle display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017164870A JP6939264B2 (en) | 2017-08-29 | 2017-08-29 | In-vehicle display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017164870A JP6939264B2 (en) | 2017-08-29 | 2017-08-29 | In-vehicle display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019043176A JP2019043176A (en) | 2019-03-22 |
JP6939264B2 true JP6939264B2 (en) | 2021-09-22 |
Family
ID=65813663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017164870A Active JP6939264B2 (en) | 2017-08-29 | 2017-08-29 | In-vehicle display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6939264B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7107281B2 (en) * | 2019-06-07 | 2022-07-27 | 株式会社デンソー | Information presentation control device |
JP7363833B2 (en) * | 2020-03-31 | 2023-10-18 | 株式会社デンソー | Presentation control device, presentation control program, automatic travel control system, and automatic travel control program |
WO2021199964A1 (en) * | 2020-03-31 | 2021-10-07 | 株式会社デンソー | Presentation control device, presentation control program, automated driving control system, and automated driving control program |
JP7327426B2 (en) * | 2020-08-07 | 2023-08-16 | 株式会社デンソー | VEHICLE DISPLAY DEVICE AND DISPLAY METHOD |
WO2022030317A1 (en) * | 2020-08-07 | 2022-02-10 | 株式会社デンソー | Vehicular display device and vehicular display method |
WO2022044768A1 (en) * | 2020-08-27 | 2022-03-03 | 株式会社デンソー | Vehicular display device |
JP7310851B2 (en) * | 2020-08-27 | 2023-07-19 | 株式会社デンソー | vehicle display |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140128812A (en) * | 2013-04-29 | 2014-11-06 | 인포뱅크 주식회사 | An method for controlling a transparant display for a vehicle and an appratus using it |
JP2015217798A (en) * | 2014-05-16 | 2015-12-07 | 三菱電機株式会社 | On-vehicle information display control device |
KR101659034B1 (en) * | 2015-01-20 | 2016-09-23 | 엘지전자 주식회사 | Apparatus for switching driving mode of vehicle and method thereof |
DE112015007079B4 (en) * | 2015-10-30 | 2022-12-15 | Mitsubishi Electric Corporation | Vehicle information display control apparatus and method for displaying automatic driving information |
JP6877842B2 (en) * | 2017-07-20 | 2021-05-26 | アルパイン株式会社 | In-vehicle display system |
-
2017
- 2017-08-29 JP JP2017164870A patent/JP6939264B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019043176A (en) | 2019-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6939264B2 (en) | In-vehicle display device | |
US10535268B2 (en) | Inter-vehicle management apparatus and inter-vehicle management method | |
CN110869901B (en) | User interface device for vehicle and vehicle | |
JP6123761B2 (en) | Vehicle display device | |
JP6591087B2 (en) | Display control device, display device, and display control method | |
JP4807263B2 (en) | Vehicle display device | |
JP6516642B2 (en) | Electronic device, image display method and image display program | |
US10377354B2 (en) | Vehicle speed management apparatus and vehicle speed management method | |
JP6443716B2 (en) | Image display device, image display method, and image display control program | |
JP6075248B2 (en) | Information display device | |
US20200051529A1 (en) | Display device, display control method, and storage medium | |
JP7367680B2 (en) | display device | |
CN110967833A (en) | Display device, display control method, and storage medium | |
JP2020116965A (en) | Display device for vehicle | |
JP2018144554A (en) | Head-up display device for vehicle | |
KR101934294B1 (en) | Display device and vehicle comprising the same | |
JP2019040634A (en) | Image display device, image display method and image display control program | |
JP2020029221A (en) | Display device | |
JP2019043175A (en) | Head-up display device | |
JP2023138849A (en) | Presentation control device and presentation control program | |
JP2020095044A (en) | Display controller and display control method | |
WO2022085487A1 (en) | Camera module, information processing system, information processing method, and information processing device | |
WO2020090221A1 (en) | Vehicular display device | |
JP6917970B2 (en) | Simulated driving device | |
JP2020006743A (en) | Vehicular projection control device, head-up display device, vehicular projection control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200618 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210705 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210803 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6939264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |