JP2024094911A - Display control method and display control device - Google Patents
Display control method and display control device Download PDFInfo
- Publication number
- JP2024094911A JP2024094911A JP2022211828A JP2022211828A JP2024094911A JP 2024094911 A JP2024094911 A JP 2024094911A JP 2022211828 A JP2022211828 A JP 2022211828A JP 2022211828 A JP2022211828 A JP 2022211828A JP 2024094911 A JP2024094911 A JP 2024094911A
- Authority
- JP
- Japan
- Prior art keywords
- image information
- driver
- display device
- dimensional image
- cognitive load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 67
- 230000001149 cognitive effect Effects 0.000 claims abstract description 104
- 230000007177 brain activity Effects 0.000 claims description 31
- 210000002442 prefrontal cortex Anatomy 0.000 claims description 14
- 210000004556 brain Anatomy 0.000 claims description 8
- 238000000537 electroencephalography Methods 0.000 claims description 6
- 238000004497 NIR spectroscopy Methods 0.000 claims description 4
- 238000002582 magnetoencephalography Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 description 25
- 230000006399 behavior Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 108010064719 Oxyhemoglobins Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 230000003925 brain function Effects 0.000 description 2
- 230000003727 cerebral blood flow Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、表示制御方法及び表示制御装置に関する。 The present invention relates to a display control method and a display control device.
特許文献1には、車両のフロントガラスやウインドウに周辺状況の3次元画像を表示する3-D拡張現実表示システムが記載されている。
2次元画像情報の認知負荷と3次元画像情報の認知負荷のうち、どちらがより大きいかは個々の運転者の特性によって異なる。
本発明は、車内に設けられた表示装置に表示される画像情報を、運転者に認知し易くすることを目的とする。
Whether the cognitive load of two-dimensional image information or that of three-dimensional image information is greater depends on the characteristics of each individual driver.
An object of the present invention is to make it easier for a driver to recognize image information displayed on a display device provided inside a vehicle.
本発明の一態様による表示制御方法では、車内に設けられた表示装置が表示した画像情報に対する運転者の認知負荷を判定する処理と、認知負荷が下がるように表示装置が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える処理と、をコントローラが実行する。 In a display control method according to one aspect of the present invention, a controller executes a process of determining the driver's cognitive load for image information displayed by a display device installed in a vehicle, and a process of switching the image information displayed by the display device between two-dimensional image information and three-dimensional image information so as to reduce the cognitive load.
本発明によれば、車内に設けられた表示装置に表示される画像情報を、運転者に認知し易くすることが可能になる。 The present invention makes it possible to make it easier for the driver to recognize image information displayed on a display device installed inside the vehicle.
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、各図面は模式的なものであって、現実のものとは異なる場合がある。また、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。 Below, an embodiment of the present invention will be described with reference to the drawings. Note that each drawing is a schematic view and may differ from the actual product. Furthermore, the embodiment of the present invention shown below is an example of an apparatus and method for embodying the technical concept of the present invention, and the technical concept of the present invention does not limit the structure, arrangement, etc. of the components to those described below. The technical concept of the present invention can be modified in various ways within the technical scope defined by the claims.
(第1実施形態)
(構成)
図1は、実施形態の表示制御装置を備える車両1の概略構成図である。車両1は、ステレオカメラ2と、ナビゲーション装置3と、表示装置4と、表示制御装置10を備える。
ステレオカメラ2は、車両1の周囲を撮影して、車両1の周囲の立体画像を生成する。例えばステレオカメラ2は、車両1の前方の立体画像や、後方の立体画像、側方の立体画像を生成してよい。ステレオカメラ2は、生成した立体画像を表示制御装置10へ出力する。
First Embodiment
(composition)
1 is a schematic diagram of a
The
ナビゲーション装置3は、全地球型測位システム(GNSS)受信機(例えば地球測位システム(GPS)受信機)等の測位装置と地図データベースを備え、車両1の現在位置から乗員(例えば運転車)が設定した目的地までの目標走行経路を設定し、目標走行経路に従って乗員に経路案内を行う。
ナビゲーション装置3は、車両1の現在位置の周囲の地図情報を地図データベースから読み出して、車両1の現在位置の周囲の地図を含んだ経路案内画像を表示制御装置10へ出力する。
The
The
表示装置4は、車両1の車内の運転者が視認可能な位置に設けられて車両1の運転に関わる画像情報を表示する。
例えば表示装置4は、車両1の周囲のカメラ画像を表示するために用いられるバックビューモニター、リアビューモニター、サイドビューモニター、アラウンドビューモニター、シースルーAピラー、シースルーボンネット等であってよい。
The
For example, the
また例えば表示装置4は、運転席の前方のインストルメントパネルに設けられたデジタルメータや、ナビゲーション装置3や車載インフォテインメント(IVI:In-Vehicle Infotainment)機器のディスプレイ装置であってもよく、ナビゲーション装置3から出力される経路案内画像や、車両1の周囲の他車両や障害物を示すコンピュータグラフィクス画像を表示してもよい。
For example, the
表示装置4は、ステレオディスプレイを備え、ステレオカメラ2やナビゲーション装置3、表示制御装置10が生成した画像を立体表示できる。表示装置4は、液晶シャッタや偏光フィルタを用いた眼鏡式のステレオディスプレイであってもよく、視差バリアやレンチキュラーレンズを用いた裸眼式のステレオディスプレイであってもよい。
The
例えば表示装置4は、ステレオカメラ2が生成した車両1の周囲の立体画像を、バックビューモニター、リアビューモニター、サイドビューモニター、アラウンドビューモニター、シースルーAピラー、シースルーボンネット等に立体表示してよい。
また例えば、ナビゲーション装置3によって生成された経路案内画像が3次元地図情報を含んでいる場合に、デジタルメータや、ナビゲーション装置3、車載インフォテインメントのディスプレイ装置に3次元地図情報を立体表示してよい。例えば経路案内画像は、ビルや建屋等の位置に対する経路案内(例えば「交差点にある〇〇コンビニの向こうの道」)を表す画像であってよい。
また例えば、表示制御装置10が、車両1の周囲の他車両や障害物を示す3次元世界のコンピュータグラフィクス画像を生成した場合に、デジタルメータや、ナビゲーション装置3、車載インフォテインメントのディスプレイ装置にコンピュータグラフィクス画像を立体表示してよい。
For example, the
Furthermore, for example, when the route guidance image generated by the
For example, when the
表示制御装置10は、表示装置4が表示する画像情報に対する運転者の認知負荷に応じて表示装置4における画像表示を制御する。表示制御装置10は、脳活動センサ11と、視認対象センサ12と、コントローラ13と、閾値データベース(閾値DB)14を備える。
脳活動センサ11は、運転者の脳活動を検出するセンサである。例えば脳活動センサ11は、運転者の脳波を検出する脳波センサや、脳磁場を検出する脳磁計、脳電位を検出する脳電位計であってよい。また、例えば機能的近赤外線分光法(fNIRS:functional Near-InfraRed Spectroscopy)により運転者の脳表面の活動状態を測定する脳機能イメ-ジング装置であってもよい。脳機能イメ-ジング装置の場合には、脳活動センサ11は、近赤外線の送光部と受光部を備えてもよい。脳活動センサ11は、検出した運転者の脳活動に関する脳活動データをコントローラ13に入力する。
The
The brain activity sensor 11 is a sensor that detects the brain activity of the driver. For example, the brain activity sensor 11 may be an electroencephalogram sensor that detects the brain waves of the driver, a magnetoencephalogram that detects the brain magnetic field, or an electroencephalogram that detects the brain potential. The brain activity sensor 11 may also be a brain function imaging device that measures the activity state of the driver's brain surface by functional near-infrared spectroscopy (fNIRS). In the case of a brain function imaging device, the brain activity sensor 11 may include a near-infrared light transmitting unit and a light receiving unit. The brain activity sensor 11 inputs brain activity data related to the detected brain activity of the driver to the
視認対象センサ12は、運転者が視認している対象物である視認対象を検出するために使用されるセンサである。例えば、視認対象センサ12は運転者の視点の3次元位置と視線の方向を計測する視線計測器であってよい。視認対象センサ12は運転者の視点の3次元位置と視線の方向を示す視線データをコントローラ13に入力する。
The
コントローラ13は、表示装置4が表示する画像情報に対する運転者の認知負荷に応じて表示装置4における画像表示を制御する電子制御ユニット(ECU:Electronic Control Unit)である。コントローラ13は、プロセッサ13aと、記憶装置13b等の周辺部品とを含む。プロセッサ13aは、例えばCPU(Central Processing Unit)やMPU(Micro-Processing Unit)であってよい。
記憶装置13bは、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。記憶装置13bは、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM(Read Only Memory)及びRAM(Random Access Memory)等のメモリを含んでよい。
The
The
以下に説明するコントローラ13の機能は、例えばプロセッサ13aが、記憶装置13bに格納されたコンピュータプログラムを実行することにより実現される。
なお、コントローラ13を以下に説明する各情報処理を実行するための専用のハードウエアにより形成してもよい。例えばコントローラ13は、汎用の半導体集積回路中に設定される機能的な論理回路を備えてもよい。コントローラ13はフィールド・プログラマブル・ゲート・アレイ(FPGA:Field-Programmable Gate Array)等のプログラマブル・ロジック・デバイス(PLD:Programmable Logic Device)等を有していてもよい。
The functions of the
The
コントローラ13は、表示装置4が表示する画像情報に対する運転者の認知負荷(言い換えれば画像情報の認知のために運転者に掛かる認知負荷)に応じて、表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える。以下にその理由を説明する。
従来の車載カメラモニターシステム(CMS:Camera Monitor System)は、車両1の周囲の情報をカメラで2次元化して奥行き方向位置情報を削減したカメラ画像を表示している。
The
A conventional vehicle-mounted camera monitor system (CMS: Camera Monitor System) displays a camera image in which information about the surroundings of a
このため、運転者が認知すべき表示情報量が少なくてすむ一方で、車両1に対する車両1の周囲の障害物の相対的な前後方向位置(以下、単に「前後方向位置」と表記する)がわかりにくくなるため運転者の認知負荷が高くなる虞がある。
一方で、3次元カメラ画像は、左右の眼に別視点画像が入力されることで障害物の前後方向位置が分かりやすくなる一方で、運転者が認知すべき表示情報量が多いため運転者の認知負荷が高くなる虞がある。
As a result, while the amount of displayed information that the driver needs to perceive is reduced, there is a risk that the cognitive burden on the driver will be increased because it becomes difficult to understand the relative forward/backward positions of obstacles around
On the other hand, while 3D camera images make it easier to understand the forward/backward position of an obstacle by inputting different perspective images to each eye, there is a risk that the cognitive burden on the driver will be high due to the large amount of displayed information that the driver must be aware of.
本発明の発明者らは、2次元画像情報と3次元画像情報を運転者に提示したときにそれぞれの画像情報に対する運転者の認知負荷を比較し、どちらの認知負荷が高くなるかを検証した。その結果、2次元画像情報と3次元画像情報との間でどちらの画像情報に対する認知負荷がより高くなるは、運転者個人の特性(例えば運転行動特性)によって相違することを発見した。
図2(a)及び図2(b)は、運転行動特性の異なる運転者に2次元画像情報と3次元画像情報の各々に提示した際の背外側前頭前野の酸化型ヘモグロビン(oxy-Hb)レベルの時間変化を示す図である。
The inventors of the present invention compared the cognitive load of a driver for two-dimensional image information and three-dimensional image information when the image information is presented to the driver, and verified which image information causes a higher cognitive load. As a result, they discovered that which image information causes a higher cognitive load, between two-dimensional image information and three-dimensional image information, differs depending on the individual characteristics of the driver (e.g., driving behavior characteristics).
Figures 2(a) and 2(b) show the time changes in oxyhemoglobin (oxy-Hb) levels in the dorsolateral prefrontal cortex when two-dimensional image information and three-dimensional image information were presented to drivers with different driving behavior characteristics.
視覚情報の認知・判断には、背外側前頭前野のワーキングメモリが使用されているため、背外側前頭前野の脳活動量を検出することにより、画像情報に対する運転者の認知負荷を測定できる。本実験では、機能的近赤外線分光法(fNIRS)を用いて背外側前頭前野における酸化型ヘモグロビンレベルを測定して脳血流量を求めることによって脳活動量を検出した。 Because the working memory of the dorsolateral prefrontal cortex is used to recognize and judge visual information, the driver's cognitive load in relation to image information can be measured by detecting brain activity in the dorsolateral prefrontal cortex. In this experiment, brain activity was detected by measuring oxyhemoglobin levels in the dorsolateral prefrontal cortex using functional near-infrared spectroscopy (fNIRS) to calculate cerebral blood flow.
図2(a)は、運転に対する自信が低い運転者のグループの平均値を示し、図2(b)は、安定した運転傾向を有する運転者のグループの平均値を示している。なお、運転者の運転行動特性は運転行動特性アンケートを用いて取得した。
図2(a)に示すように、運転に対する自信が低い運転者のグループでは、3次元画像情報が提示された場合に比べて2次元画像情報が提示された場合の方が酸化型ヘモグロビンレベルの方が有意に低くなり、3次元画像情報に対する認知負荷の方がより高くなることが分かった。
一方で、図2(b)に示すように、安定した運転傾向を有する運転者のグループでは、2次元画像情報が提示された場合に比べて3次元画像情報が提示された場合の方が酸化型ヘモグロビンレベルの方が有意に低くなり、2次元画像情報に対する認知負荷の方がより高くなることが分かった。
Fig. 2(a) shows the average value of the group of drivers with low driving confidence, and Fig. 2(b) shows the average value of the group of drivers with stable driving tendency. The driving behavior characteristics of the drivers were obtained using a driving behavior characteristics questionnaire.
As shown in Figure 2(a), in the group of drivers with low driving confidence, the oxyhemoglobin level was significantly lower when two-dimensional image information was presented compared to when three-dimensional image information was presented, indicating that the cognitive load of the three-dimensional image information was higher.
On the other hand, as shown in Figure 2(b), in the group of drivers with stable driving tendencies, the oxyhemoglobin level was significantly lower when three-dimensional image information was presented compared to when two-dimensional image information was presented, indicating that the cognitive load of two-dimensional image information was higher.
そこでコントローラ13は、表示装置4が表示する画像情報に対する運転者の認知負荷を判定し、運転者の認知負荷が下がるように、表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える。
これにより、表示装置4が表示する画像情報を視認したときの運転者の認知負荷を低減できるため、運転者は表示装置4が表示する画像情報を認知し易くなる。
Therefore, the
This reduces the cognitive load on the driver when visually checking the image information displayed by the
図3は、コントローラ13の機能構成の一例のブロック図である。コントローラ13は、脳活動解析部20と、認知負荷演算部21と、視認対象判定部22と、表示制御部23を備える。
脳活動解析部20は、脳活動センサ11から出力される検出信号を解析して、運転者の脳の背外側前頭前野からの脳活動信号(例えばEEG(ElectroEncephaloGraphy)データ、MEG(Magnetoencephalography)データ、fNIRSデータ等)を検出する。脳活動解析部20は、検出した脳活動信号の強度に基づいて、運転者の脳の背外側前頭前野の脳活動量を判定する。例えば、fNIRSデータに基づいて背外側前頭前野の脳血流量が多いほど、脳活動量が大きいと判定してよい。
3 is a block diagram of an example of a functional configuration of the
The brain
認知負荷演算部21は、脳活動解析部20が判定した背外側前頭前野の脳活動量に基づいて、運転者の認知負荷の高さを判定する。具体的には認知負荷演算部21は、背外側前頭前野の脳活動量が大きいほど運転者の認知負荷が高いと判定する。
視認対象判定部22は、視認対象センサ12が出力する視線データ(運転者の視点の3次元位置と視線の方向)に基づいて、運転者の視認対象が表示装置4であるか否か(すなわち表示装置4が出力する画像情報が視認対象であるか否か)を判定する。
The cognitive
The visual
視認対象判定部22は、表示装置4の既知の3次元位置情報と、運転者の視点の3次元位置と、視線の方向に基づいて、運転者の視線が表示装置4に向けられているかを判定してよい。運転者の視線が表示装置4に向けられている場合に、運転者の視認対象が表示装置4であると判定してよい。
The visual
また視認対象判定部22は、運転者の視線が表示装置4に向けられているか否かに加えて、運転者の注意状態を判定してもよい。例えば視認対象判定部22は、運転者の眼球運動を計測することにより、サッケード運動の終了時刻である眼球停留開始時刻を検出してよい。運転者の眼球運動は、例えば視認対象センサ12が出力する視線データに基づいて計測してもよく、EOG(electro-oculography)法に基づいて検出してもよい。
そして視認対象判定部22は、眼球停留開始時刻を起点に運転者の脳波を切り出してことによりEFRP(Eye Fixation related Potential:眼球停留関連電位)波形を抽出して、抽出したEFRP波形を解析する。
Furthermore, the visual
The viewed
EFRP波形を解析する時間的区間である解析区間は、複数の部分区間に分割されている。視認対象判定部22は、抽出されたEFRP波形が、どの各部分区間に含まれるかを特定する。ある部分区間に分類されたEFRPが複数の場合には、視認対象判定部22は、部分区間ごとにEFRPを加算平均する。視認対象判定部22は、部分区間ごとのEFRPに基づき、部分区間ごとに運転者の注意状態を判別する。例えば、EFRPのラムダ反応の振幅値と閾値との比較により、運転者が集中しているか否かを判定してよい。
The analysis interval, which is a time interval in which the EFRP waveform is analyzed, is divided into multiple subintervals. The visual
視認対象判定部22は、運転者の視線が表示装置4に向けられており、且つ運転者が集中している注意状態である場合、運転者の視認対象が表示装置4であると判定してよい。
なお、車内に複数の表示装置4が設けられている場合には、視認対象判定部22は、複数の表示装置4のうちどの表示装置が運転者の視認対象であるかを判定してもよい。
The visually-identified
In addition, when a plurality of
表示制御部23は、認知負荷演算部21が判定した運転者の認知負荷に基づいて、運転者の視認対象である表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える。具体的には、運転者の認知負荷が下がるように表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える。
例えば運転者の認知負荷が過大である場合には、表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替えてよい。例えば表示制御部23は、認知負荷が判別閾値Thより高い場合に、運転者の認知負荷が過大であると判定してよい。
The
For example, when the cognitive load of the driver is excessive, the
例えば運転者の認知負荷が判別閾値Thより高く、且つ表示装置4が表示する画像情報が2次元画像情報である場合には、表示装置4が表示する画像情報を3次元画像情報に切り替えてよい。
また例えば運転者の認知負荷が判別閾値Thより高く、且つ表示装置4が表示する画像情報が3次元画像情報である場合には、表示装置4が表示する画像情報を2次元画像情報に切り替えてよい。
また例えば運転者の認知負荷が判別閾値Th以下の場合には、表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替えずにそのまま表示する。
For example, when the driver's cognitive load is higher than the discrimination threshold Th and the image information displayed by the
Furthermore, for example, when the driver's cognitive load is higher than the discrimination threshold Th and the image information displayed by the
Furthermore, for example, when the driver's cognitive load is equal to or lower than the discrimination threshold Th, the image information displayed by the
例えば表示制御部23は、表示装置4に入力される3次元画像データ(例えば車両1の周囲の立体画像、ナビゲーション装置3からの3次元地図情報、車両1の周囲の他車両や障害物を示す3次元世界のコンピュータグラフィクス画像)を、そのまま3次元画像情報として表示装置4から出力させ、3次元画像データに含まれる多視点の画像(例えば左眼用画像及び右眼用画像)がそれぞれ運転者の左右の眼に見えるようにすることで、表示装置4から3次元画像情報を表示してよい。
For example, the
一方で、表示制御部23は、3次元画像データに含まれる多視点の画像のうちいずれか1つの画像のみを表示して、単一の画像が運転者の左右の眼に見えるようにすることで、表示装置4から2次元画像情報として表示してよい。
なお運転者の認知負荷が判別閾値Thより高い場合に表示制御部23は、表示装置4に入力される画像情報を自動的に2次元画像情報と3次元画像情報との間で切り替えるのに代えて、運転者の意思による切り替えを運転者に提案してもよい。後述の第2実施形態においても同様である。
On the other hand, the
When the driver's cognitive load is higher than the discrimination threshold Th, the
(動作)
図4は、第1実施形態の表示制御方法の一例のフローチャートである。
ステップS1において脳活動センサ11は、運転者の脳活動を検出する。ステップS2において視認対象センサ12は、運転者の視点の3次元位置と視線の方向を計測する。
ステップS3においてコントローラ13の視認対象判定部22は、運転者が表示装置4を視認しているか否かを判定する。運転者が表示装置4を視認している場合(ステップS3:Y)に処理はステップS4へ進む。運転者が表示装置4を視認していない場合(ステップS3:N)に処理はステップS9へ進む。
(motion)
FIG. 4 is a flowchart of an example of a display control method according to the first embodiment.
In step S1, the brain activity sensor 11 detects the brain activity of the driver. In step S2, the
In step S3, the visual
ステップS4において脳活動解析部20と認知負荷演算部21は、運転者の認知負荷を判定する。
ステップS5において表示制御部23は、認知負荷が判別閾値Th以下であるか否かを判定する。認知負荷が判別閾値Th以下である場合(ステップS5:Y)に表示制御部23は、表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替えない。その後に処理はステップS9へ進む。認知負荷が判別閾値Th以下でない場合(ステップS5:N)に処理はステップS6へ進む。
In step S4, the brain
In step S5, the
ステップS6において表示制御部23は、表示装置4に現在表示されている画像情報が2次元画像情報であるか否かを判定する。表示装置4に現在表示されている画像情報が2次元画像情報である場合(ステップS6:Y)に処理はステップS7へ進む。表示装置4に現在表示されている画像情報が2次元画像情報でない場合(ステップS6:N)に処理はステップS8へ進む。
ステップS7において表示制御部23は、表示装置4が表示する画像情報を2次元画像情報から3次元画像情報へ切り替える。その後に処理はステップS9へ進む。
In step S6, the
In step S7, the
ステップS8において表示制御部23は、表示装置4が表示する画像情報を3次元画像情報から2次元画像情報へ切り替える。その後に処理はステップS9へ進む。
ステップS9においてコントローラ13は、車両のイグニションキーがオフに切り替わったか否かを判定する。イグニションキーがオフに切り替わってない場合(ステップS9:N)に処理はステップS1へ戻る。イグニションキーがオフに切り替わった場合(ステップS9:Y)に処理は終了する。
In step S8, the
In step S9, the
(第2実施形態)
第2実施形態における表示制御部23は、運転者の認知負荷が高い場合に表示装置4に表示する画像情報を2次元画像情報と3次元画像情報のいずれにするかを、運転者の運転行動特性に応じて変更する。
例えば運転に対する自信が低い運転者の認知負荷が過大である場合には、表示装置4に2次元画像情報を表示してよい。
Second Embodiment
In the second embodiment, the
For example, when the cognitive load of a driver who has low confidence in driving is excessive, two-dimensional image information may be displayed on the
例えば、認知負荷が過大であると判定する前に3次元画像情報を表示していた場合には、運転者の認知負荷が過大であると判定した後に表示装置4に表示する画像情報を2次元画像情報に切り替える。また、認知負荷が過大であると判定する前に2次元画像情報を表示していた場合には、運転者の認知負荷が過大であると判定した後も2次元画像情報をそのまま表示する。また、運転者の認知負荷が過大でないと判定した場合には、認知負荷が過大でないと判定する前に3次元画像情報を表示していた場合にはそのまま3次元画像情報を表示し、認知負荷が過大でないと判定する前に2次元画像情報を表示していた場合にはそのまま2次元画像情報を表示する。
For example, if three-dimensional image information was displayed before it was determined that the cognitive load was excessive, the image information displayed on the
また例えば、安定した運転傾向を有する運転者の認知負荷が過大である場合には、表示装置4に3次元画像情報を表示してよい。
例えば、認知負荷が過大であると判定する前に2次元画像情報を表示していた場合には、運転者の認知負荷が過大であると判定した後に表示装置4に表示する画像情報を3次元画像情報に切り替える。また、認知負荷が過大であると判定する前に3次元画像情報を表示していた場合には、運転者の認知負荷が過大であると判定した後も3次元画像情報をそのまま表示する。
Also, for example, when the cognitive load of a driver who has a stable driving tendency is excessive, three-dimensional image information may be displayed on the
For example, if two-dimensional image information was displayed before it was determined that the cognitive load was excessive, the image information displayed on the
また、運転者の認知負荷が過大でないと判定した場合には、認知負荷が過大でないと判定する前に3次元画像情報を表示していた場合にはそのまま3次元画像情報を表示し、認知負荷が過大でないと判定する前に2次元画像情報を表示していた場合にはそのまま2次元画像情報を表示する。
運転者の運転行動特性は、例えば一般社団法人人間生活工学研究センターのから入手可能な運転者特性チェックシートを用いて予め判定し、記憶装置13b等に記憶してよい。
In addition, when it is determined that the cognitive load on the driver is not excessive, if three-dimensional image information was displayed before it was determined that the cognitive load was not excessive, the three-dimensional image information is displayed as is, and if two-dimensional image information was displayed before it was determined that the cognitive load was not excessive, the two-dimensional image information is displayed as is.
The driving behavior characteristics of the driver may be determined in advance using a driver characteristics check sheet available from the Human Life Engineering Research Center, for example, and may be stored in the
また、第2実施形態における表示制御部23は、表示装置4に表示される画像情報のコンテンツに応じて認知負荷の判別閾値Thを変更する。
図1を参照する。閾値データベース14は、画像情報のコンテンツ毎に異なる判別閾値Thを記憶するデータベースである。
Furthermore, the
Please refer to Fig. 1. The threshold database 14 is a database that stores a different discrimination threshold value Th for each content of image information.
閾値データベース14は、例えば、SRAM(Static Random Access Memory)等を含む小容量の高速メモリ(例えば、キャッシュメモリ)等を用いて形成されている。また、閾値データベース14は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の固定ストレージ手段やネットワーク上のクラウド等を用いて形成されていてよい。 The threshold database 14 is formed, for example, using a small-capacity high-speed memory (e.g., cache memory) including a static random access memory (SRAM). The threshold database 14 may also be formed, for example, using fixed storage means such as a hard disk drive (HDD) or a solid state drive (SSD), or a cloud on a network.
例えば、判別閾値Thは、複数の表示装置4(例えばバックビューモニター、リアビューモニター、サイドビューモニター、アラウンドビューモニター、シースルーAピラー、シースルーボンネット、デジタルメータや、ナビゲーション装置3又は車載インフォテインメントのディスプレイ)のどれに表示されるコンテンツであるかに応じて異なる値に設定されていてもよい。
また例えば判別閾値Thは、画像情報のコンテンツが2次元画像情報であるか3次元画像情報であるかに応じて異なる値に設定してもよい。
For example, the discrimination threshold Th may be set to a different value depending on which of multiple display devices 4 (e.g., a back view monitor, a rear view monitor, a side view monitor, an around view monitor, a see-through A-pillar, a see-through bonnet, a digital meter, or the display of a
Furthermore, for example, the discrimination threshold value Th may be set to a different value depending on whether the content of the image information is two-dimensional image information or three-dimensional image information.
また、第2実施形態における表示制御部23は、運転席に着座している運転者を識別し、運転者に応じて判別閾値Thを個人毎に補正する。表示制御部23は、運転席に着座している運転者を、車内の撮影画像や、車両の動力源(エンジン、モータ)を始動させるキー等に固有のID番号等を用いて識別してよい。
閾値データベース14は、運転者毎に、個々の運転者用にそれぞれ補正した判別閾値Thを記憶する。閾値データベース14は、運転者の個人毎に且つ画像情報のコンテンツ毎に異なる複数の判別閾値Thを記憶してよい。
In addition, the
The threshold database 14 stores a discrimination threshold Th corrected for each individual driver. The threshold database 14 may store a plurality of discrimination thresholds Th that differ for each individual driver and for each content of image information.
運転者の認知負荷が過大であるか否かを判定する際に、表示制御部23は、運転者の視認対象の表示装置4に表示されている画像情報のコンテンツと運転者の識別結果とに基づいて、閾値データベース14から、運転者とコンテンツとに対応する判別閾値Thを読み出す。表示制御部23は、運転者の認知負荷が判別閾値Thを超える場合に認知負荷が過大であると判定する、一方で、認知負荷が判別閾値Thを超えない場合に認知負荷が過大でないと判定する。
When determining whether the driver's cognitive load is excessive, the
また、表示制御部23は、認知負荷の判定結果に基づいて、当該運転者用に閾値データベース14に記憶している判別閾値Thを補正する。例えば、認知負荷が判別閾値Thを超えた場合には、表示制御部23は、閾値データベース14に記憶している判別閾値Thをより高い値に補正してよい。また例えば認知負荷が判別閾値Th以下の場合には、表示制御部23は、閾値データベース14に記憶している判別閾値Thをより低い値に補正してよい。
The
図5は、第2実施形態の表示制御方法の一例のフローチャートである。
ステップS10において表示制御部23は、運転席に着座している運転者を識別する。
ステップS11において表示制御部23は、運転者の運転行動特性を判定する。
運転に対する自信が低い運転者の場合(ステップS12:Y)に処理はステップS13へ進む。
ステップS13においてコントローラ13は、第1表示処理を実行する。第1表示処理については図6を参照して後述する。第1表示処理の後に処理は終了する。
FIG. 5 is a flowchart of an example of a display control method according to the second embodiment.
In step S10, the
In step S11, the
If the driver has low confidence in driving (step S12: Y), the process proceeds to step S13.
In step S13, the
一方で、運転に対する自信が低い運転者でない場合(ステップS12:N)に処理はステップS14へ進む。
安定した運転傾向を有する運転者の場合(ステップS14:Y)に処理はステップS15へ進む。安定した運転傾向を有する運転者でない場合(ステップS14:N)に処理はステップS16へ進む。
On the other hand, if the driver is not one with low confidence in driving (step S12: N), the process proceeds to step S14.
If the driver has stable driving tendencies (step S14: Y), the process proceeds to step S15. If the driver does not have stable driving tendencies (step S14: N), the process proceeds to step S16.
ステップS15においてコントローラ13は、第2表示処理を実行する。第2表示処理については図7を参照して後述する。第2表示処理の後に処理は終了する。
ステップS16においてコントローラ13は、第3表示処理を実行する。第3表示処理については図8を参照して後述する。第3表示処理の後に処理は終了する。
In step S15, the
In step S16, the
図6は、第1表示処理の一例のフローチャートである。
ステップS20~S23の処理は図4のステップS1~S4の処理と同様である。
ステップS24において表示制御部23は、運転者の視認対象の表示装置4に表示されている画像情報のコンテンツと運転者の識別結果とに基づいて、閾値データベース14から判別閾値Thを読み出す。
FIG. 6 is a flowchart of an example of the first display process.
The processes in steps S20 to S23 are similar to those in steps S1 to S4 in FIG.
In step S24, the
ステップS25において表示制御部23は、認知負荷が判別閾値Th以下であるか否かを判定する。認知負荷が判別閾値Th以下である場合(ステップS25:Y)に表示制御部23は、表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替えない。その後に処理はステップS26へ進む。認知負荷が判別閾値Th以下でない場合(ステップS25:N)に処理はステップS27へ進む。
ステップS26において表示制御部23は、閾値データベース14に記憶している判別閾値Thをより低い値に補正する。その後に処理はステップS29へ進む。
In step S25, the
In step S26, the
ステップS27において表示制御部23は、表示装置4に2次元画像情報を表示する。すなわち、ステップS27よりも以前に3次元画像情報が表示装置4に表示されていた場合には、表示装置4が表示する画像情報を2次元画像情報に切り替える。ステップS27よりも以前に2次元画像情報が表示装置4に表示されていた場合には、そのまま2次元画像情報を表示装置4に表示する。
In step S27, the
ステップS28において表示制御部23は、閾値データベース14に記憶している判別閾値Thをより高い値に補正する。その後に処理はステップS29へ進む。
ステップS29においてコントローラ13は、車両のイグニションキーがオフに切り替わったか否かを判定する。イグニションキーがオフに切り替わってない場合(ステップS29:N)に処理はステップS20へ戻る。イグニションキーがオフに切り替わった場合(ステップS29:Y)に処理は終了する。
In step S28, the
In step S29, the
図7は、第2表示処理の一例のフローチャートである。
ステップS30~S36の処理は図6のステップS20~S26の処理と同様である。
ステップS37において表示制御部23は、表示装置4に3次元画像情報を表示する。すなわち、ステップS37よりも以前に2次元画像情報が表示装置4に表示されていた場合には、表示装置4が表示する画像情報を3次元画像情報に切り替える。ステップS27よりも以前に3次元画像情報が表示装置4に表示されていた場合には、そのまま3次元画像情報を表示装置4に表示する。
ステップS38~S39の処理は図6のステップS28~S29の処理と同様である。
FIG. 7 is a flowchart of an example of the second display process.
The processes in steps S30 to S36 are similar to those in steps S20 to S26 in FIG.
In step S37, the
The processes in steps S38 and S39 are similar to those in steps S28 and S29 in FIG.
図8は、第3表示処理の一例のフローチャートである。
ステップS40~S46の処理は図6のステップS20~S26の処理と同様である。
ステップS47~S49の処理は図4のステップS6~S8の処理と同様である。ステップS48及びS49の後、処理はステップS50へ進む。
ステップS50~S51の処理は図6のステップS28~S29の処理と同様である。
FIG. 8 is a flowchart of an example of the third display process.
The processes in steps S40 to S46 are similar to those in steps S20 to S26 in FIG.
The processes in steps S47 to S49 are the same as those in steps S6 to S8 in Fig. 4. After steps S48 and S49, the process proceeds to step S50.
The processing in steps S50 and S51 is similar to the processing in steps S28 and S29 in FIG.
(実施形態の効果)
(1)コントローラ13は、車内に設けられた表示装置4が表示した画像情報に対する運転者の認知負荷を判定する処理と、認知負荷が下がるように表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える処理と、を実行する。
これにより、表示装置4が表示する画像情報を視認したときの運転者の認知負荷を低減できる。この結果、運転者は表示装置4が表示する画像情報を認知し易くなる。
(Effects of the embodiment)
(1) The
This reduces the cognitive load on the driver when visually checking the image information displayed by the
(2)コントローラ13は、運転者の脳の背外側前頭前野の脳活動量に基づいて認知負荷を判定してよい。
これにより運転者の認知負荷の測定精度を向上できる。
(3)コントローラ13は、機能的近赤外分光分析、脳波計、脳磁計又は脳電位計の少なくとも1つに基づいて背外側前頭前野の脳活動量を測定してよい。
これにより運転者の認知負荷の測定精度を向上できる。
(2) The
This improves the accuracy of measuring the driver's cognitive load.
(3) The
This improves the accuracy of measuring the driver's cognitive load.
(4)コントローラ13は、運転者の視線の方向と表示装置4の3次元位置情報とに基づいて運転者が表示装置4を視認しているか否かを判定する処理を実行し、運転者が表示装置4を視認しているときの認知負荷を判定してよい。
これにより、表示装置4が表示した画像情報に対する運転者の認知負荷の測定精度を向上できる。
(4) The
This makes it possible to improve the measurement accuracy of the driver's cognitive load due to the image information displayed by the
(5)表示装置4に表示される画像情報のコンテンツ毎に判別閾値をデータベースに記憶してもよい。コントローラ13は、運転者が視認したコンテンツに基づいてデータベースから判別閾値を読み出し、認知負荷が判別閾値を超えるか否かを判定し、認知負荷が判別閾値を超える場合に表示装置4が表示する画像情報を2次元画像情報と3次元画像情報のうち一方から他方へ切り替えてもよい。
これにより、表示装置4に表示される画像情報のコンテンツに応じて運転者の認知負荷が過大であるか否かを判別できる。
(5) A discrimination threshold may be stored in a database for each content of image information displayed on the
This makes it possible to determine whether or not the driver's cognitive load is excessive depending on the content of the image information displayed on the
(6)運転者に応じて個人毎に判別閾値をデータベースに記憶してもよい。コントローラ13は、運転者の識別結果に基づいてデータベースから判別閾値を読み出し、認知負荷が判別閾値を超えるか否かを判定し、認知負荷が判別閾値を超える場合に表示装置4が表示する画像情報を2次元画像情報と3次元画像情報のうち一方から他方へ切り替え、データベースに記憶している判別閾値を、運転者に応じて個人毎に補正してもよい。
これにより、運転者の個人差に応じて運転者の認知負荷が過大であるか否かを判別できる。
(7)コントローラ13は、表示装置4が2次元画像情報を表示しているときに認知負荷が判別閾値を超える場合に表示装置4の表示画像を3次元画像情報に切り替え、表示装置4が3次元画像情報を表示しているときに認知負荷が判別閾値を超える場合に表示装置4の表示画像を2次元画像情報に切り替えてもよい。
これにより、認知負荷が下がるように表示装置4が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替えることができる。
(6) A discrimination threshold may be stored in a database for each individual driver. The
This makes it possible to determine whether or not the driver's cognitive load is excessive depending on individual differences between drivers.
(7) The
This allows the image information displayed by the
(8)コントローラ13は、運転に対する自信が低い運転者の認知負荷が判別閾値を超える場合に表示装置4に2次元画像情報を表示し、安定した運転傾向を有する運転者の認知負荷が判別閾値を超える場合に表示装置4に3次元画像情報を表示してよい。
これにより運転者の運転行動特性に応じて認知負荷が低い画像情報を選択できる。
(8) The
This makes it possible to select image information that places a low cognitive load on the driver in accordance with the driver's driving behavior characteristics.
1…車両、2…ステレオカメラ、3…ナビゲーション装置、4…表示装置、10…表示制御装置、11…脳活動センサ、12…視認対象センサ、13…コントローラ、13a…プロセッサ、13b…記憶装置、14…閾値データベース、20…脳活動解析部、21…認知負荷演算部、22…視認対象判定部、23…表示制御部 1...vehicle, 2...stereo camera, 3...navigation device, 4...display device, 10...display control device, 11...brain activity sensor, 12...visual target sensor, 13...controller, 13a...processor, 13b...storage device, 14...threshold database, 20...brain activity analysis unit, 21...cognitive load calculation unit, 22...visual target determination unit, 23...display control unit
Claims (9)
前記認知負荷が下がるように前記表示装置が表示する画像情報を2次元画像情報と3次元画像情報との間で切り替える処理と、
をコントローラが実行することを特徴とする表示制御方法。 A process of determining a cognitive load on a driver with respect to image information displayed on a display device provided in the vehicle;
switching image information displayed by the display device between two-dimensional image information and three-dimensional image information so as to reduce the cognitive load;
A display control method comprising:
前記運転者が前記表示装置を視認しているときの前記認知負荷を判定する、
ことを特徴とする請求項1に記載の表示制御方法。 the controller executes a process of determining whether the driver is viewing the display device based on a line of sight of the driver and three-dimensional position information of the display device;
determining the cognitive load when the driver is viewing the display device;
The display control method according to claim 1 .
前記コントローラは、前記運転者が視認したコンテンツに基づいて前記データベースから前記判別閾値を読み出し、前記認知負荷が前記判別閾値を超えるか否かを判定し、前記認知負荷が前記判別閾値を超える場合に前記表示装置が表示する画像情報を2次元画像情報と3次元画像情報のうち一方から他方へ切り替える、
ことを特徴とする請求項1に記載の表示制御方法。 storing a discrimination threshold value in a database for each content of image information displayed on the display device;
The controller reads out the discrimination threshold from the database based on the content viewed by the driver, determines whether the cognitive load exceeds the discrimination threshold, and switches the image information displayed by the display device from one of two-dimensional image information and three-dimensional image information to the other when the cognitive load exceeds the discrimination threshold.
The display control method according to claim 1 .
前記コントローラは、前記運転者の識別結果に基づいて前記データベースから前記判別閾値を読み出し、前記認知負荷が前記判別閾値を超えるか否かを判定し、前記認知負荷が前記判別閾値を超える場合に前記表示装置が表示する画像情報を2次元画像情報と3次元画像情報のうち一方から他方へ切り替え、前記データベースに記憶している前記判別閾値を、前記運転者に応じて個人毎に補正する、
ことを特徴とする請求項1に記載の表示制御方法。 storing a discrimination threshold for each individual driver in a database;
the controller reads out the discrimination threshold from the database based on the identification result of the driver, determines whether the cognitive load exceeds the discrimination threshold, and when the cognitive load exceeds the discrimination threshold, switches the image information displayed by the display device from one of two-dimensional image information and three-dimensional image information to the other, and corrects the discrimination threshold stored in the database for each individual driver.
The display control method according to claim 1 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022211828A JP2024094911A (en) | 2022-12-28 | 2022-12-28 | Display control method and display control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022211828A JP2024094911A (en) | 2022-12-28 | 2022-12-28 | Display control method and display control device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024094911A true JP2024094911A (en) | 2024-07-10 |
Family
ID=91810079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022211828A Pending JP2024094911A (en) | 2022-12-28 | 2022-12-28 | Display control method and display control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024094911A (en) |
-
2022
- 2022-12-28 JP JP2022211828A patent/JP2024094911A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6343808B2 (en) | Visual field calculation device and visual field calculation method | |
JP6454368B2 (en) | Vehicle display system and method for controlling vehicle display system | |
US6927674B2 (en) | Vehicle instrument cluster having integrated imaging system | |
US10288882B2 (en) | Head mounted display device | |
JP6369487B2 (en) | Display device | |
US10040350B2 (en) | Control apparatus and related method | |
JP6565408B2 (en) | Vehicle control apparatus and vehicle control method | |
US11440473B2 (en) | Driving assistance apparatus | |
US10227002B2 (en) | Vehicle display system and method of controlling vehicle display system | |
CN110824709B (en) | Head-up display | |
JP2013168063A (en) | Image processing device, image display system, and image processing method | |
JP7058800B2 (en) | Display control device, display control method, and display control program | |
JP2023017641A (en) | Vehicle display control device, vehicle display device, vehicle display control method, and vehicle display control program | |
CN113276821A (en) | Driver state estimation device | |
JP2018013811A (en) | Driver state determination device and driver state determination program | |
JP2024114765A (en) | Vehicle display device, vehicle display system, vehicle display method and program | |
CN108422932A (en) | driving assistance system, method and vehicle | |
US20190156133A1 (en) | Vehicle driving support apparatus and vehicle driving support program | |
JP7342637B2 (en) | Vehicle control device and driver condition determination method | |
JP2024094911A (en) | Display control method and display control device | |
JP7312971B2 (en) | vehicle display | |
JP2011086125A (en) | Visual recognition detection device | |
JP2018013812A (en) | Driver state guide device and driver state guide program | |
JP7068647B2 (en) | Driving support device | |
JP2024094910A (en) | Travel control method and travel control apparatus |