JP2024094911A - Display control method and display control device - Google Patents
Display control method and display control device Download PDFInfo
- Publication number
- JP2024094911A JP2024094911A JP2022211828A JP2022211828A JP2024094911A JP 2024094911 A JP2024094911 A JP 2024094911A JP 2022211828 A JP2022211828 A JP 2022211828A JP 2022211828 A JP2022211828 A JP 2022211828A JP 2024094911 A JP2024094911 A JP 2024094911A
- Authority
- JP
- Japan
- Prior art keywords
- image information
- driver
- display device
- dimensional image
- cognitive load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 67
- 230000001149 cognitive effect Effects 0.000 claims abstract description 104
- 230000007177 brain activity Effects 0.000 claims description 31
- 210000002442 prefrontal cortex Anatomy 0.000 claims description 14
- 210000004556 brain Anatomy 0.000 claims description 8
- 238000000537 electroencephalography Methods 0.000 claims description 6
- 238000004497 NIR spectroscopy Methods 0.000 claims description 4
- 238000002582 magnetoencephalography Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 description 25
- 230000006399 behavior Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 108010064719 Oxyhemoglobins Proteins 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 230000003925 brain function Effects 0.000 description 2
- 230000003727 cerebral blood flow Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、表示制御方法及び表示制御装置に関する。 The present invention relates to a display control method and a display control device.
特許文献１には、車両のフロントガラスやウインドウに周辺状況の３次元画像を表示する３－Ｄ拡張現実表示システムが記載されている。
２次元画像情報の認知負荷と３次元画像情報の認知負荷のうち、どちらがより大きいかは個々の運転者の特性によって異なる。
本発明は、車内に設けられた表示装置に表示される画像情報を、運転者に認知し易くすることを目的とする。
Whether the cognitive load of two-dimensional image information or that of three-dimensional image information is greater depends on the characteristics of each individual driver.
An object of the present invention is to make it easier for a driver to recognize image information displayed on a display device provided inside a vehicle.
本発明の一態様による表示制御方法では、車内に設けられた表示装置が表示した画像情報に対する運転者の認知負荷を判定する処理と、認知負荷が下がるように表示装置が表示する画像情報を２次元画像情報と３次元画像情報との間で切り替える処理と、をコントローラが実行する。 In a display control method according to one aspect of the present invention, a controller executes a process of determining the driver's cognitive load for image information displayed by a display device installed in a vehicle, and a process of switching the image information displayed by the display device between two-dimensional image information and three-dimensional image information so as to reduce the cognitive load.
本発明によれば、車内に設けられた表示装置に表示される画像情報を、運転者に認知し易くすることが可能になる。 The present invention makes it possible to make it easier for the driver to recognize image information displayed on a display device installed inside the vehicle.
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、各図面は模式的なものであって、現実のものとは異なる場合がある。また、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。 Below, an embodiment of the present invention will be described with reference to the drawings. Note that each drawing is a schematic view and may differ from the actual product. Furthermore, the embodiment of the present invention shown below is an example of an apparatus and method for embodying the technical concept of the present invention, and the technical concept of the present invention does not limit the structure, arrangement, etc. of the components to those described below. The technical concept of the present invention can be modified in various ways within the technical scope defined by the claims.
（第１実施形態）
（構成）
図１は、実施形態の表示制御装置を備える車両１の概略構成図である。車両１は、ステレオカメラ２と、ナビゲーション装置３と、表示装置４と、表示制御装置１０を備える。
ステレオカメラ２は、車両１の周囲を撮影して、車両１の周囲の立体画像を生成する。例えばステレオカメラ２は、車両１の前方の立体画像や、後方の立体画像、側方の立体画像を生成してよい。ステレオカメラ２は、生成した立体画像を表示制御装置１０へ出力する。
First Embodiment
(composition)
1 is a schematic diagram of a
The
ナビゲーション装置３は、全地球型測位システム（ＧＮＳＳ）受信機（例えば地球測位システム（ＧＰＳ）受信機）等の測位装置と地図データベースを備え、車両１の現在位置から乗員（例えば運転車）が設定した目的地までの目標走行経路を設定し、目標走行経路に従って乗員に経路案内を行う。
ナビゲーション装置３は、車両１の現在位置の周囲の地図情報を地図データベースから読み出して、車両１の現在位置の周囲の地図を含んだ経路案内画像を表示制御装置１０へ出力する。
The
The
表示装置４は、車両１の車内の運転者が視認可能な位置に設けられて車両１の運転に関わる画像情報を表示する。
例えば表示装置４は、車両１の周囲のカメラ画像を表示するために用いられるバックビューモニター、リアビューモニター、サイドビューモニター、アラウンドビューモニター、シースルーＡピラー、シースルーボンネット等であってよい。
The
For example, the
また例えば表示装置４は、運転席の前方のインストルメントパネルに設けられたデジタルメータや、ナビゲーション装置３や車載インフォテインメント（ＩＶＩ：In-Vehicle Infotainment）機器のディスプレイ装置であってもよく、ナビゲーション装置３から出力される経路案内画像や、車両１の周囲の他車両や障害物を示すコンピュータグラフィクス画像を表示してもよい。
For example, the
表示装置４は、ステレオディスプレイを備え、ステレオカメラ２やナビゲーション装置３、表示制御装置１０が生成した画像を立体表示できる。表示装置４は、液晶シャッタや偏光フィルタを用いた眼鏡式のステレオディスプレイであってもよく、視差バリアやレンチキュラーレンズを用いた裸眼式のステレオディスプレイであってもよい。
The
例えば表示装置４は、ステレオカメラ２が生成した車両１の周囲の立体画像を、バックビューモニター、リアビューモニター、サイドビューモニター、アラウンドビューモニター、シースルーＡピラー、シースルーボンネット等に立体表示してよい。
また例えば、ナビゲーション装置３によって生成された経路案内画像が３次元地図情報を含んでいる場合に、デジタルメータや、ナビゲーション装置３、車載インフォテインメントのディスプレイ装置に３次元地図情報を立体表示してよい。例えば経路案内画像は、ビルや建屋等の位置に対する経路案内（例えば「交差点にある〇〇コンビニの向こうの道」）を表す画像であってよい。
また例えば、表示制御装置１０が、車両１の周囲の他車両や障害物を示す３次元世界のコンピュータグラフィクス画像を生成した場合に、デジタルメータや、ナビゲーション装置３、車載インフォテインメントのディスプレイ装置にコンピュータグラフィクス画像を立体表示してよい。
For example, the
Furthermore, for example, when the route guidance image generated by the
For example, when the
表示制御装置１０は、表示装置４が表示する画像情報に対する運転者の認知負荷に応じて表示装置４における画像表示を制御する。表示制御装置１０は、脳活動センサ１１と、視認対象センサ１２と、コントローラ１３と、閾値データベース（閾値ＤＢ）１４を備える。
脳活動センサ１１は、運転者の脳活動を検出するセンサである。例えば脳活動センサ１１は、運転者の脳波を検出する脳波センサや、脳磁場を検出する脳磁計、脳電位を検出する脳電位計であってよい。また、例えば機能的近赤外線分光法（ｆＮＩＲＳ：functional Near-InfraRed Spectroscopy）により運転者の脳表面の活動状態を測定する脳機能イメ－ジング装置であってもよい。脳機能イメ－ジング装置の場合には、脳活動センサ１１は、近赤外線の送光部と受光部を備えてもよい。脳活動センサ１１は、検出した運転者の脳活動に関する脳活動データをコントローラ１３に入力する。
The
The brain activity sensor 11 is a sensor that detects the brain activity of the driver. For example, the brain activity sensor 11 may be an electroencephalogram sensor that detects the brain waves of the driver, a magnetoencephalogram that detects the brain magnetic field, or an electroencephalogram that detects the brain potential. The brain activity sensor 11 may also be a brain function imaging device that measures the activity state of the driver's brain surface by functional near-infrared spectroscopy (fNIRS). In the case of a brain function imaging device, the brain activity sensor 11 may include a near-infrared light transmitting unit and a light receiving unit. The brain activity sensor 11 inputs brain activity data related to the detected brain activity of the driver to the
視認対象センサ１２は、運転者が視認している対象物である視認対象を検出するために使用されるセンサである。例えば、視認対象センサ１２は運転者の視点の３次元位置と視線の方向を計測する視線計測器であってよい。視認対象センサ１２は運転者の視点の３次元位置と視線の方向を示す視線データをコントローラ１３に入力する。
The
コントローラ１３は、表示装置４が表示する画像情報に対する運転者の認知負荷に応じて表示装置４における画像表示を制御する電子制御ユニット（ＥＣＵ：Electronic Control Unit）である。コントローラ１３は、プロセッサ１３ａと、記憶装置１３ｂ等の周辺部品とを含む。プロセッサ１３ａは、例えばＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）であってよい。
記憶装置１３ｂは、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。記憶装置１３ｂは、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを含んでよい。
The
The
以下に説明するコントローラ１３の機能は、例えばプロセッサ１３ａが、記憶装置１３ｂに格納されたコンピュータプログラムを実行することにより実現される。
なお、コントローラ１３を以下に説明する各情報処理を実行するための専用のハードウエアにより形成してもよい。例えばコントローラ１３は、汎用の半導体集積回路中に設定される機能的な論理回路を備えてもよい。コントローラ１３はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ：Field-Programmable Gate Array）等のプログラマブル・ロジック・デバイス（ＰＬＤ：Programmable Logic Device）等を有していてもよい。
The functions of the
The
コントローラ１３は、表示装置４が表示する画像情報に対する運転者の認知負荷（言い換えれば画像情報の認知のために運転者に掛かる認知負荷）に応じて、表示装置４が表示する画像情報を２次元画像情報と３次元画像情報との間で切り替える。以下にその理由を説明する。
従来の車載カメラモニターシステム（ＣＭＳ:Camera Monitor System）は、車両１の周囲の情報をカメラで２次元化して奥行き方向位置情報を削減したカメラ画像を表示している。
The
A conventional vehicle-mounted camera monitor system (CMS: Camera Monitor System) displays a camera image in which information about the surroundings of a
このため、運転者が認知すべき表示情報量が少なくてすむ一方で、車両１に対する車両１の周囲の障害物の相対的な前後方向位置（以下、単に「前後方向位置」と表記する）がわかりにくくなるため運転者の認知負荷が高くなる虞がある。
一方で、３次元カメラ画像は、左右の眼に別視点画像が入力されることで障害物の前後方向位置が分かりやすくなる一方で、運転者が認知すべき表示情報量が多いため運転者の認知負荷が高くなる虞がある。
As a result, while the amount of displayed information that the driver needs to perceive is reduced, there is a risk that the cognitive burden on the driver will be increased because it becomes difficult to understand the relative forward/backward positions of obstacles around
On the other hand, while 3D camera images make it easier to understand the forward/backward position of an obstacle by inputting different perspective images to each eye, there is a risk that the cognitive burden on the driver will be high due to the large amount of displayed information that the driver must be aware of.
本発明の発明者らは、２次元画像情報と３次元画像情報を運転者に提示したときにそれぞれの画像情報に対する運転者の認知負荷を比較し、どちらの認知負荷が高くなるかを検証した。その結果、２次元画像情報と３次元画像情報との間でどちらの画像情報に対する認知負荷がより高くなるは、運転者個人の特性（例えば運転行動特性）によって相違することを発見した。
図２（ａ）及び図２（ｂ）は、運転行動特性の異なる運転者に２次元画像情報と３次元画像情報の各々に提示した際の背外側前頭前野の酸化型ヘモグロビン（oxy-Hb）レベルの時間変化を示す図である。
The inventors of the present invention compared the cognitive load of a driver for two-dimensional image information and three-dimensional image information when the image information is presented to the driver, and verified which image information causes a higher cognitive load. As a result, they discovered that which image information causes a higher cognitive load, between two-dimensional image information and three-dimensional image information, differs depending on the individual characteristics of the driver (e.g., driving behavior characteristics).
Figures 2(a) and 2(b) show the time changes in oxyhemoglobin (oxy-Hb) levels in the dorsolateral prefrontal cortex when two-dimensional image information and three-dimensional image information were presented to drivers with different driving behavior characteristics.
視覚情報の認知・判断には、背外側前頭前野のワーキングメモリが使用されているため、背外側前頭前野の脳活動量を検出することにより、画像情報に対する運転者の認知負荷を測定できる。本実験では、機能的近赤外線分光法（ｆＮＩＲＳ）を用いて背外側前頭前野における酸化型ヘモグロビンレベルを測定して脳血流量を求めることによって脳活動量を検出した。 Because the working memory of the dorsolateral prefrontal cortex is used to recognize and judge visual information, the driver's cognitive load in relation to image information can be measured by detecting brain activity in the dorsolateral prefrontal cortex. In this experiment, brain activity was detected by measuring oxyhemoglobin levels in the dorsolateral prefrontal cortex using functional near-infrared spectroscopy (fNIRS) to calculate cerebral blood flow.
図２（ａ）は、運転に対する自信が低い運転者のグループの平均値を示し、図２（ｂ）は、安定した運転傾向を有する運転者のグループの平均値を示している。なお、運転者の運転行動特性は運転行動特性アンケートを用いて取得した。
図２（ａ）に示すように、運転に対する自信が低い運転者のグループでは、３次元画像情報が提示された場合に比べて２次元画像情報が提示された場合の方が酸化型ヘモグロビンレベルの方が有意に低くなり、３次元画像情報に対する認知負荷の方がより高くなることが分かった。
一方で、図２（ｂ）に示すように、安定した運転傾向を有する運転者のグループでは、２次元画像情報が提示された場合に比べて３次元画像情報が提示された場合の方が酸化型ヘモグロビンレベルの方が有意に低くなり、２次元画像情報に対する認知負荷の方がより高くなることが分かった。
Fig. 2(a) shows the average value of the group of drivers with low driving confidence, and Fig. 2(b) shows the average value of the group of drivers with stable driving tendency. The driving behavior characteristics of the drivers were obtained using a driving behavior characteristics questionnaire.
As shown in Figure 2(a), in the group of drivers with low driving confidence, the oxyhemoglobin level was significantly lower when two-dimensional image information was presented compared to when three-dimensional image information was presented, indicating that the cognitive load of the three-dimensional image information was higher.
On the other hand, as shown in Figure 2(b), in the group of drivers with stable driving tendencies, the oxyhemoglobin level was significantly lower when three-dimensional image information was presented compared to when two-dimensional image information was presented, indicating that the cognitive load of two-dimensional image information was higher.
そこでコントローラ１３は、表示装置４が表示する画像情報に対する運転者の認知負荷を判定し、運転者の認知負荷が下がるように、表示装置４が表示する画像情報を２次元画像情報と３次元画像情報との間で切り替える。
これにより、表示装置４が表示する画像情報を視認したときの運転者の認知負荷を低減できるため、運転者は表示装置４が表示する画像情報を認知し易くなる。
Therefore, the
This reduces the cognitive load on the driver when visually checking the image information displayed by the
図３は、コントローラ１３の機能構成の一例のブロック図である。コントローラ１３は、脳活動解析部２０と、認知負荷演算部２１と、視認対象判定部２２と、表示制御部２３を備える。
脳活動解析部２０は、脳活動センサ１１から出力される検出信号を解析して、運転者の脳の背外側前頭前野からの脳活動信号（例えばＥＥＧ（ElectroEncephaloGraphy）データ、ＭＥＧ（Magnetoencephalography）データ、ｆＮＩＲＳデータ等）を検出する。脳活動解析部２０は、検出した脳活動信号の強度に基づいて、運転者の脳の背外側前頭前野の脳活動量を判定する。例えば、ｆＮＩＲＳデータに基づいて背外側前頭前野の脳血流量が多いほど、脳活動量が大きいと判定してよい。
3 is a block diagram of an example of a functional configuration of the
The brain
認知負荷演算部２１は、脳活動解析部２０が判定した背外側前頭前野の脳活動量に基づいて、運転者の認知負荷の高さを判定する。具体的には認知負荷演算部２１は、背外側前頭前野の脳活動量が大きいほど運転者の認知負荷が高いと判定する。
視認対象判定部２２は、視認対象センサ１２が出力する視線データ（運転者の視点の３次元位置と視線の方向）に基づいて、運転者の視認対象が表示装置４であるか否か（すなわち表示装置４が出力する画像情報が視認対象であるか否か）を判定する。
The cognitive
The visual
視認対象判定部２２は、表示装置４の既知の３次元位置情報と、運転者の視点の３次元位置と、視線の方向に基づいて、運転者の視線が表示装置４に向けられているかを判定してよい。運転者の視線が表示装置４に向けられている場合に、運転者の視認対象が表示装置４であると判定してよい。
The visual
また視認対象判定部２２は、運転者の視線が表示装置４に向けられているか否かに加えて、運転者の注意状態を判定してもよい。例えば視認対象判定部２２は、運転者の眼球運動を計測することにより、サッケード運動の終了時刻である眼球停留開始時刻を検出してよい。運転者の眼球運動は、例えば視認対象センサ１２が出力する視線データに基づいて計測してもよく、ＥＯＧ（electro-oculography）法に基づいて検出してもよい。
そして視認対象判定部２２は、眼球停留開始時刻を起点に運転者の脳波を切り出してことによりＥＦＲＰ（Eye Fixation related Potential：眼球停留関連電位）波形を抽出して、抽出したＥＦＲＰ波形を解析する。
Furthermore, the visual
The viewed
ＥＦＲＰ波形を解析する時間的区間である解析区間は、複数の部分区間に分割されている。視認対象判定部２２は、抽出されたＥＦＲＰ波形が、どの各部分区間に含まれるかを特定する。ある部分区間に分類されたＥＦＲＰが複数の場合には、視認対象判定部２２は、部分区間ごとにＥＦＲＰを加算平均する。視認対象判定部２２は、部分区間ごとのＥＦＲＰに基づき、部分区間ごとに運転者の注意状態を判別する。例えば、ＥＦＲＰのラムダ反応の振幅値と閾値との比較により、運転者が集中しているか否かを判定してよい。
The analysis interval, which is a time interval in which the EFRP waveform is analyzed, is divided into multiple subintervals. The visual
視認対象判定部２２は、運転者の視線が表示装置４に向けられており、且つ運転者が集中している注意状態である場合、運転者の視認対象が表示装置４であると判定してよい。
なお、車内に複数の表示装置４が設けられている場合には、視認対象判定部２２は、複数の表示装置４のうちどの表示装置が運転者の視認対象であるかを判定してもよい。
The visually-identified
In addition, when a plurality of
表示制御部２３は、認知負荷演算部２１が判定した運転者の認知負荷に基づいて、運転者の視認対象である表示装置４が表示する画像情報を２次元画像情報と３次元画像情報との間で切り替える。具体的には、運転者の認知負荷が下がるように表示装置４が表示する画像情報を２次元画像情報と３次元画像情報との間で切り替える。
例えば運転者の認知負荷が過大である場合には、表示装置４が表示する画像情報を２次元画像情報と３次元画像情報との間で切り替えてよい。例えば表示制御部２３は、認知負荷が判別閾値Ｔｈより高い場合に、運転者の認知負荷が過大であると判定してよい。
The
For example, when the cognitive load of the driver is excessive, the
例えば運転者の認知負荷が判別閾値Ｔｈより高く、且つ表示装置４が表示する画像情報が２次元画像情報である場合には、表示装置４が表示する画像情報を３次元画像情報に切り替えてよい。
また例えば運転者の認知負荷が判別閾値Ｔｈより高く、且つ表示装置４が表示する画像情報が３次元画像情報である場合には、表示装置４が表示する画像情報を２次元画像情報に切り替えてよい。
また例えば運転者の認知負荷が判別閾値Ｔｈ以下の場合には、表示装置４が表示する画像情報を２次元画像情報と３次元画像情報との間で切り替えずにそのまま表示する。
For example, when the driver's cognitive load is higher than the discrimination threshold Th and the image information displayed by the
Furthermore, for example, when the driver's cognitive load is higher than the discrimination threshold Th and the image information displayed by the
Furthermore, for example, when the driver's cognitive load is equal to or lower than the discrimination threshold Th, the image information displayed by the
例えば表示制御部２３は、表示装置４に入力される３次元画像データ（例えば車両１の周囲の立体画像、ナビゲーション装置３からの３次元地図情報、車両１の周囲の他車両や障害物を示す３次元世界のコンピュータグラフィクス画像）を、そのまま３次元画像情報として表示装置４から出力させ、３次元画像データに含まれる多視点の画像（例えば左眼用画像及び右眼用画像）がそれぞれ運転者の左右の眼に見えるようにすることで、表示装置４から３次元画像情報を表示してよい。
For example, the
一方で、表示制御部２３は、３次元画像データに含まれる多視点の画像のうちいずれか１つの画像のみを表示して、単一の画像が運転者の左右の眼に見えるようにすることで、表示装置４から２次元画像情報として表示してよい。
なお運転者の認知負荷が判別閾値Ｔｈより高い場合に表示制御部２３は、表示装置４に入力される画像情報を自動的に２次元画像情報と３次元画像情報との間で切り替えるのに代えて、運転者の意思による切り替えを運転者に提案してもよい。後述の第２実施形態においても同様である。
On the other hand, the
When the driver's cognitive load is higher than the discrimination threshold Th, the
（動作）
図４は、第１実施形態の表示制御方法の一例のフローチャートである。
ステップＳ１において脳活動センサ１１は、運転者の脳活動を検出する。ステップＳ２において視認対象センサ１２は、運転者の視点の３次元位置と視線の方向を計測する。
ステップＳ３においてコントローラ１３の視認対象判定部２２は、運転者が表示装置４を視認しているか否かを判定する。運転者が表示装置４を視認している場合（ステップＳ３：Ｙ）に処理はステップＳ４へ進む。運転者が表示装置４を視認していない場合（ステップＳ３：Ｎ）に処理はステップＳ９へ進む。
(motion)
FIG. 4 is a flowchart of an example of a display control method according to the first embodiment.
In step S1, the brain activity sensor 11 detects the brain activity of the driver. In step S2, the
In step S3, the visual
ステップＳ４において脳活動解析部２０と認知負荷演算部２１は、運転者の認知負荷を判定する。
ステップＳ５において表示制御部２３は、認知負荷が判別閾値Ｔｈ以下であるか否かを判定する。認知負荷が判別閾値Ｔｈ以下である場合（ステップＳ５：Ｙ）に表示制御部２３は、表示装置４が表示する画像情報を２次元画像情報と３次元画像情報との間で切り替えない。その後に処理はステップＳ９へ進む。認知負荷が判別閾値Ｔｈ以下でない場合（ステップＳ５：Ｎ）に処理はステップＳ６へ進む。
In step S4, the brain
In step S5, the
ステップＳ６において表示制御部２３は、表示装置４に現在表示されている画像情報が２次元画像情報であるか否かを判定する。表示装置４に現在表示されている画像情報が２次元画像情報である場合（ステップＳ６：Ｙ）に処理はステップＳ７へ進む。表示装置４に現在表示されている画像情報が２次元画像情報でない場合（ステップＳ６：Ｎ）に処理はステップＳ８へ進む。
ステップＳ７において表示制御部２３は、表示装置４が表示する画像情報を２次元画像情報から３次元画像情報へ切り替える。その後に処理はステップＳ９へ進む。
In step S6, the
In step S7, the
ステップＳ８において表示制御部２３は、表示装置４が表示する画像情報を３次元画像情報から２次元画像情報へ切り替える。その後に処理はステップＳ９へ進む。
ステップＳ９においてコントローラ１３は、車両のイグニションキーがオフに切り替わったか否かを判定する。イグニションキーがオフに切り替わってない場合（ステップＳ９：Ｎ）に処理はステップＳ１へ戻る。イグニションキーがオフに切り替わった場合（ステップＳ９：Ｙ）に処理は終了する。
In step S8, the
In step S9, the
（第２実施形態）
第２実施形態における表示制御部２３は、運転者の認知負荷が高い場合に表示装置４に表示する画像情報を２次元画像情報と３次元画像情報のいずれにするかを、運転者の運転行動特性に応じて変更する。
例えば運転に対する自信が低い運転者の認知負荷が過大である場合には、表示装置４に２次元画像情報を表示してよい。
Second Embodiment
In the second embodiment, the
For example, when the cognitive load of a driver who has low confidence in driving is excessive, two-dimensional image information may be displayed on the
例えば、認知負荷が過大であると判定する前に３次元画像情報を表示していた場合には、運転者の認知負荷が過大であると判定した後に表示装置４に表示する画像情報を２次元画像情報に切り替える。また、認知負荷が過大であると判定する前に２次元画像情報を表示していた場合には、運転者の認知負荷が過大であると判定した後も２次元画像情報をそのまま表示する。また、運転者の認知負荷が過大でないと判定した場合には、認知負荷が過大でないと判定する前に３次元画像情報を表示していた場合にはそのまま３次元画像情報を表示し、認知負荷が過大でないと判定する前に２次元画像情報を表示していた場合にはそのまま２次元画像情報を表示する。
For example, if three-dimensional image information was displayed before it was determined that the cognitive load was excessive, the image information displayed on the
また例えば、安定した運転傾向を有する運転者の認知負荷が過大である場合には、表示装置４に３次元画像情報を表示してよい。
例えば、認知負荷が過大であると判定する前に２次元画像情報を表示していた場合には、運転者の認知負荷が過大であると判定した後に表示装置４に表示する画像情報を３次元画像情報に切り替える。また、認知負荷が過大であると判定する前に３次元画像情報を表示していた場合には、運転者の認知負荷が過大であると判定した後も３次元画像情報をそのまま表示する。
Also, for example, when the cognitive load of a driver who has a stable driving tendency is excessive, three-dimensional image information may be displayed on the
For example, if two-dimensional image information was displayed before it was determined that the cognitive load was excessive, the image information displayed on the
また、運転者の認知負荷が過大でないと判定した場合には、認知負荷が過大でないと判定する前に３次元画像情報を表示していた場合にはそのまま３次元画像情報を表示し、認知負荷が過大でないと判定する前に２次元画像情報を表示していた場合にはそのまま２次元画像情報を表示する。
運転者の運転行動特性は、例えば一般社団法人人間生活工学研究センターのから入手可能な運転者特性チェックシートを用いて予め判定し、記憶装置１３ｂ等に記憶してよい。
In addition, when it is determined that the cognitive load on the driver is not excessive, if three-dimensional image information was displayed before it was determined that the cognitive load was not excessive, the three-dimensional image information is displayed as is, and if two-dimensional image information was displayed before it was determined that the cognitive load was not excessive, the two-dimensional image information is displayed as is.
The driving behavior characteristics of the driver may be determined in advance using a driver characteristics check sheet available from the Human Life Engineering Research Center, for example, and may be stored in the
また、第２実施形態における表示制御部２３は、表示装置４に表示される画像情報のコンテンツに応じて認知負荷の判別閾値Ｔｈを変更する。
図１を参照する。閾値データベース１４は、画像情報のコンテンツ毎に異なる判別閾値Ｔｈを記憶するデータベースである。
Furthermore, the
Please refer to Fig. 1. The threshold database 14 is a database that stores a different discrimination threshold value Th for each content of image information.
閾値データベース１４は、例えば、ＳＲＡＭ(Static Random Access Memory)等を含む小容量の高速メモリ（例えば、キャッシュメモリ）等を用いて形成されている。また、閾値データベース１４は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の固定ストレージ手段やネットワーク上のクラウド等を用いて形成されていてよい。 The threshold database 14 is formed, for example, using a small-capacity high-speed memory (e.g., cache memory) including a static random access memory (SRAM). The threshold database 14 may also be formed, for example, using fixed storage means such as a hard disk drive (HDD) or a solid state drive (SSD), or a cloud on a network.
例えば、判別閾値Ｔｈは、複数の表示装置４（例えばバックビューモニター、リアビューモニター、サイドビューモニター、アラウンドビューモニター、シースルーＡピラー、シースルーボンネット、デジタルメータや、ナビゲーション装置３又は車載インフォテインメントのディスプレイ）のどれに表示されるコンテンツであるかに応じて異なる値に設定されていてもよい。
また例えば判別閾値Ｔｈは、画像情報のコンテンツが２次元画像情報であるか３次元画像情報であるかに応じて異なる値に設定してもよい。
For example, the discrimination threshold Th may be set to a different value depending on which of multiple display devices 4 (e.g., a back view monitor, a rear view monitor, a side view monitor, an around view monitor, a see-through A-pillar, a see-through bonnet, a digital meter, or the display of a
Furthermore, for example, the discrimination threshold value Th may be set to a different value depending on whether the content of the image information is two-dimensional image information or three-dimensional image information.
また、第２実施形態における表示制御部２３は、運転席に着座している運転者を識別し、運転者に応じて判別閾値Ｔｈを個人毎に補正する。表示制御部２３は、運転席に着座している運転者を、車内の撮影画像や、車両の動力源（エンジン、モータ）を始動させるキー等に固有のＩＤ番号等を用いて識別してよい。
閾値データベース１４は、運転者毎に、個々の運転者用にそれぞれ補正した判別閾値Ｔｈを記憶する。閾値データベース１４は、運転者の個人毎に且つ画像情報のコンテンツ毎に異なる複数の判別閾値Ｔｈを記憶してよい。
In addition, the
The threshold database 14 stores a discrimination threshold Th corrected for each individual driver. The threshold database 14 may store a plurality of discrimination thresholds Th that differ for each individual driver and for each content of image information.
運転者の認知負荷が過大であるか否かを判定する際に、表示制御部２３は、運転者の視認対象の表示装置４に表示されている画像情報のコンテンツと運転者の識別結果とに基づいて、閾値データベース１４から、運転者とコンテンツとに対応する判別閾値Ｔｈを読み出す。表示制御部２３は、運転者の認知負荷が判別閾値Ｔｈを超える場合に認知負荷が過大であると判定する、一方で、認知負荷が判別閾値Ｔｈを超えない場合に認知負荷が過大でないと判定する。
When determining whether the driver's cognitive load is excessive, the
また、表示制御部２３は、認知負荷の判定結果に基づいて、当該運転者用に閾値データベース１４に記憶している判別閾値Ｔｈを補正する。例えば、認知負荷が判別閾値Ｔｈを超えた場合には、表示制御部２３は、閾値データベース１４に記憶している判別閾値Ｔｈをより高い値に補正してよい。また例えば認知負荷が判別閾値Ｔｈ以下の場合には、表示制御部２３は、閾値データベース１４に記憶している判別閾値Ｔｈをより低い値に補正してよい。
The
図５は、第２実施形態の表示制御方法の一例のフローチャートである。
ステップＳ１０において表示制御部２３は、運転席に着座している運転者を識別する。
ステップＳ１１において表示制御部２３は、運転者の運転行動特性を判定する。
運転に対する自信が低い運転者の場合（ステップＳ１２：Ｙ）に処理はステップＳ１３へ進む。
ステップＳ１３においてコントローラ１３は、第１表示処理を実行する。第１表示処理については図６を参照して後述する。第１表示処理の後に処理は終了する。
FIG. 5 is a flowchart of an example of a display control method according to the second embodiment.
In step S10, the
In step S11, the
If the driver has low confidence in driving (step S12: Y), the process proceeds to step S13.
In step S13, the
一方で、運転に対する自信が低い運転者でない場合（ステップＳ１２：Ｎ）に処理はステップＳ１４へ進む。
安定した運転傾向を有する運転者の場合（ステップＳ１４：Ｙ）に処理はステップＳ１５へ進む。安定した運転傾向を有する運転者でない場合（ステップＳ１４：Ｎ）に処理はステップＳ１６へ進む。
On the other hand, if the driver is not one with low confidence in driving (step S12: N), the process proceeds to step S14.
If the driver has stable driving tendencies (step S14: Y), the process proceeds to step S15. If the driver does not have stable driving tendencies (step S14: N), the process proceeds to step S16.
ステップＳ１５においてコントローラ１３は、第２表示処理を実行する。第２表示処理については図７を参照して後述する。第２表示処理の後に処理は終了する。
ステップＳ１６においてコントローラ１３は、第３表示処理を実行する。第３表示処理については図８を参照して後述する。第３表示処理の後に処理は終了する。
In step S15, the
In step S16, the
図６は、第１表示処理の一例のフローチャートである。
ステップＳ２０～Ｓ２３の処理は図４のステップＳ１～Ｓ４の処理と同様である。
ステップＳ２４において表示制御部２３は、運転者の視認対象の表示装置４に表示されている画像情報のコンテンツと運転者の識別結果とに基づいて、閾値データベース１４から判別閾値Ｔｈを読み出す。
FIG. 6 is a flowchart of an example of the first display process.
The processes in steps S20 to S23 are similar to those in steps S1 to S4 in FIG.
In step S24, the
ステップＳ２５において表示制御部２３は、認知負荷が判別閾値Ｔｈ以下であるか否かを判定する。認知負荷が判別閾値Ｔｈ以下である場合（ステップＳ２５：Ｙ）に表示制御部２３は、表示装置４が表示する画像情報を２次元画像情報と３次元画像情報との間で切り替えない。その後に処理はステップＳ２６へ進む。認知負荷が判別閾値Ｔｈ以下でない場合（ステップＳ２５：Ｎ）に処理はステップＳ２７へ進む。
ステップＳ２６において表示制御部２３は、閾値データベース１４に記憶している判別閾値Ｔｈをより低い値に補正する。その後に処理はステップＳ２９へ進む。
In step S25, the
In step S26, the
ステップＳ２７において表示制御部２３は、表示装置４に２次元画像情報を表示する。すなわち、ステップＳ２７よりも以前に３次元画像情報が表示装置４に表示されていた場合には、表示装置４が表示する画像情報を２次元画像情報に切り替える。ステップＳ２７よりも以前に２次元画像情報が表示装置４に表示されていた場合には、そのまま２次元画像情報を表示装置４に表示する。
In step S27, the
ステップＳ２８において表示制御部２３は、閾値データベース１４に記憶している判別閾値Ｔｈをより高い値に補正する。その後に処理はステップＳ２９へ進む。
ステップＳ２９においてコントローラ１３は、車両のイグニションキーがオフに切り替わったか否かを判定する。イグニションキーがオフに切り替わってない場合（ステップＳ２９：Ｎ）に処理はステップＳ２０へ戻る。イグニションキーがオフに切り替わった場合（ステップＳ２９：Ｙ）に処理は終了する。
In step S28, the
In step S29, the
図７は、第２表示処理の一例のフローチャートである。
ステップＳ３０～Ｓ３６の処理は図６のステップＳ２０～Ｓ２６の処理と同様である。
ステップＳ３７において表示制御部２３は、表示装置４に３次元画像情報を表示する。すなわち、ステップＳ３７よりも以前に２次元画像情報が表示装置４に表示されていた場合には、表示装置４が表示する画像情報を３次元画像情報に切り替える。ステップＳ２７よりも以前に３次元画像情報が表示装置４に表示されていた場合には、そのまま３次元画像情報を表示装置４に表示する。
ステップＳ３８～Ｓ３９の処理は図６のステップＳ２８～Ｓ２９の処理と同様である。
FIG. 7 is a flowchart of an example of the second display process.
The processes in steps S30 to S36 are similar to those in steps S20 to S26 in FIG.
In step S37, the
The processes in steps S38 and S39 are similar to those in steps S28 and S29 in FIG.
図８は、第３表示処理の一例のフローチャートである。
ステップＳ４０～Ｓ４６の処理は図６のステップＳ２０～Ｓ２６の処理と同様である。
ステップＳ４７～Ｓ４９の処理は図４のステップＳ６～Ｓ８の処理と同様である。ステップＳ４８及びＳ４９の後、処理はステップＳ５０へ進む。
ステップＳ５０～Ｓ５１の処理は図６のステップＳ２８～Ｓ２９の処理と同様である。
FIG. 8 is a flowchart of an example of the third display process.
The processes in steps S40 to S46 are similar to those in steps S20 to S26 in FIG.
The processes in steps S47 to S49 are the same as those in steps S6 to S8 in Fig. 4. After steps S48 and S49, the process proceeds to step S50.
The processing in steps S50 and S51 is similar to the processing in steps S28 and S29 in FIG.
（実施形態の効果）
（１）コントローラ１３は、車内に設けられた表示装置４が表示した画像情報に対する運転者の認知負荷を判定する処理と、認知負荷が下がるように表示装置４が表示する画像情報を２次元画像情報と３次元画像情報との間で切り替える処理と、を実行する。
これにより、表示装置４が表示する画像情報を視認したときの運転者の認知負荷を低減できる。この結果、運転者は表示装置４が表示する画像情報を認知し易くなる。
(Effects of the embodiment)
(1) The
This reduces the cognitive load on the driver when visually checking the image information displayed by the
（２）コントローラ１３は、運転者の脳の背外側前頭前野の脳活動量に基づいて認知負荷を判定してよい。
これにより運転者の認知負荷の測定精度を向上できる。
（３）コントローラ１３は、機能的近赤外分光分析、脳波計、脳磁計又は脳電位計の少なくとも１つに基づいて背外側前頭前野の脳活動量を測定してよい。
これにより運転者の認知負荷の測定精度を向上できる。
(2) The
This improves the accuracy of measuring the driver's cognitive load.
(3) The
This improves the accuracy of measuring the driver's cognitive load.
（４）コントローラ１３は、運転者の視線の方向と表示装置４の３次元位置情報とに基づいて運転者が表示装置４を視認しているか否かを判定する処理を実行し、運転者が表示装置４を視認しているときの認知負荷を判定してよい。
これにより、表示装置４が表示した画像情報に対する運転者の認知負荷の測定精度を向上できる。
(4) The
This makes it possible to improve the measurement accuracy of the driver's cognitive load due to the image information displayed by the
（５）表示装置４に表示される画像情報のコンテンツ毎に判別閾値をデータベースに記憶してもよい。コントローラ１３は、運転者が視認したコンテンツに基づいてデータベースから判別閾値を読み出し、認知負荷が判別閾値を超えるか否かを判定し、認知負荷が判別閾値を超える場合に表示装置４が表示する画像情報を２次元画像情報と３次元画像情報のうち一方から他方へ切り替えてもよい。
これにより、表示装置４に表示される画像情報のコンテンツに応じて運転者の認知負荷が過大であるか否かを判別できる。
(5) A discrimination threshold may be stored in a database for each content of image information displayed on the
This makes it possible to determine whether or not the driver's cognitive load is excessive depending on the content of the image information displayed on the
（６）運転者に応じて個人毎に判別閾値をデータベースに記憶してもよい。コントローラ１３は、運転者の識別結果に基づいてデータベースから判別閾値を読み出し、認知負荷が判別閾値を超えるか否かを判定し、認知負荷が判別閾値を超える場合に表示装置４が表示する画像情報を２次元画像情報と３次元画像情報のうち一方から他方へ切り替え、データベースに記憶している判別閾値を、運転者に応じて個人毎に補正してもよい。
これにより、運転者の個人差に応じて運転者の認知負荷が過大であるか否かを判別できる。
（７）コントローラ１３は、表示装置４が２次元画像情報を表示しているときに認知負荷が判別閾値を超える場合に表示装置４の表示画像を３次元画像情報に切り替え、表示装置４が３次元画像情報を表示しているときに認知負荷が判別閾値を超える場合に表示装置４の表示画像を２次元画像情報に切り替えてもよい。
これにより、認知負荷が下がるように表示装置４が表示する画像情報を２次元画像情報と３次元画像情報との間で切り替えることができる。
(6) A discrimination threshold may be stored in a database for each individual driver. The
This makes it possible to determine whether or not the driver's cognitive load is excessive depending on individual differences between drivers.
(7) The
This allows the image information displayed by the
（８）コントローラ１３は、運転に対する自信が低い運転者の認知負荷が判別閾値を超える場合に表示装置４に２次元画像情報を表示し、安定した運転傾向を有する運転者の認知負荷が判別閾値を超える場合に表示装置４に３次元画像情報を表示してよい。
これにより運転者の運転行動特性に応じて認知負荷が低い画像情報を選択できる。
(8) The
This makes it possible to select image information that places a low cognitive load on the driver in accordance with the driver's driving behavior characteristics.
１…車両、２…ステレオカメラ、３…ナビゲーション装置、４…表示装置、１０…表示制御装置、１１…脳活動センサ、１２…視認対象センサ、１３…コントローラ、１３ａ…プロセッサ、１３ｂ…記憶装置、１４…閾値データベース、２０…脳活動解析部、２１…認知負荷演算部、２２…視認対象判定部、２３…表示制御部 1...vehicle, 2...stereo camera, 3...navigation device, 4...display device, 10...display control device, 11...brain activity sensor, 12...visual target sensor, 13...controller, 13a...processor, 13b...storage device, 14...threshold database, 20...brain activity analysis unit, 21...cognitive load calculation unit, 22...visual target determination unit, 23...display control unit
Claims (9)
前記認知負荷が下がるように前記表示装置が表示する画像情報を２次元画像情報と３次元画像情報との間で切り替える処理と、
をコントローラが実行することを特徴とする表示制御方法。 A process of determining a cognitive load on a driver with respect to image information displayed on a display device provided in the vehicle;
switching image information displayed by the display device between two-dimensional image information and three-dimensional image information so as to reduce the cognitive load;
A display control method comprising:
前記運転者が前記表示装置を視認しているときの前記認知負荷を判定する、
ことを特徴とする請求項１に記載の表示制御方法。 the controller executes a process of determining whether the driver is viewing the display device based on a line of sight of the driver and three-dimensional position information of the display device;
determining the cognitive load when the driver is viewing the display device;
The display control method according to claim 1 .
前記コントローラは、前記運転者が視認したコンテンツに基づいて前記データベースから前記判別閾値を読み出し、前記認知負荷が前記判別閾値を超えるか否かを判定し、前記認知負荷が前記判別閾値を超える場合に前記表示装置が表示する画像情報を２次元画像情報と３次元画像情報のうち一方から他方へ切り替える、
ことを特徴とする請求項１に記載の表示制御方法。 storing a discrimination threshold value in a database for each content of image information displayed on the display device;
The controller reads out the discrimination threshold from the database based on the content viewed by the driver, determines whether the cognitive load exceeds the discrimination threshold, and switches the image information displayed by the display device from one of two-dimensional image information and three-dimensional image information to the other when the cognitive load exceeds the discrimination threshold.
The display control method according to claim 1 .
前記コントローラは、前記運転者の識別結果に基づいて前記データベースから前記判別閾値を読み出し、前記認知負荷が前記判別閾値を超えるか否かを判定し、前記認知負荷が前記判別閾値を超える場合に前記表示装置が表示する画像情報を２次元画像情報と３次元画像情報のうち一方から他方へ切り替え、前記データベースに記憶している前記判別閾値を、前記運転者に応じて個人毎に補正する、
ことを特徴とする請求項１に記載の表示制御方法。 storing a discrimination threshold for each individual driver in a database;
the controller reads out the discrimination threshold from the database based on the identification result of the driver, determines whether the cognitive load exceeds the discrimination threshold, and when the cognitive load exceeds the discrimination threshold, switches the image information displayed by the display device from one of two-dimensional image information and three-dimensional image information to the other, and corrects the discrimination threshold stored in the database for each individual driver.
The display control method according to claim 1 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022211828A JP2024094911A (en) | 2022-12-28 | 2022-12-28 | Display control method and display control device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022211828A JP2024094911A (en) | 2022-12-28 | 2022-12-28 | Display control method and display control device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024094911A true JP2024094911A (en) | 2024-07-10 |
Family
ID=91810079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022211828A Pending JP2024094911A (en) | 2022-12-28 | 2022-12-28 | Display control method and display control device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2024094911A (en) |
-
2022
- 2022-12-28 JP JP2022211828A patent/JP2024094911A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6343808B2 (en) | Visual field calculation device and visual field calculation method | |
| JP6454368B2 (en) | Vehicle display system and method for controlling vehicle display system | |
| US6927674B2 (en) | Vehicle instrument cluster having integrated imaging system | |
| US10288882B2 (en) | Head mounted display device | |
| JP6369487B2 (en) | Display device | |
| US10040350B2 (en) | Control apparatus and related method | |
| JP6565408B2 (en) | Vehicle control apparatus and vehicle control method | |
| US11440473B2 (en) | Driving assistance apparatus | |
| US10227002B2 (en) | Vehicle display system and method of controlling vehicle display system | |
| CN110824709B (en) | Head-up display | |
| JP2013168063A (en) | Image processing device, image display system, and image processing method | |
| JP7058800B2 (en) | Display control device, display control method, and display control program | |
| JP2023017641A (en) | Vehicle display control device, vehicle display device, vehicle display control method, and vehicle display control program | |
| CN113276821A (en) | Driver state estimation device | |
| JP2018013811A (en) | Driver state determination device and driver state determination program | |
| JP2024114765A (en) | Vehicle display device, vehicle display system, vehicle display method and program | |
| CN108422932A (en) | driving assistance system, method and vehicle | |
| US20190156133A1 (en) | Vehicle driving support apparatus and vehicle driving support program | |
| JP7342637B2 (en) | Vehicle control device and driver condition determination method | |
| JP2024094911A (en) | Display control method and display control device | |
| JP7312971B2 (en) | vehicle display | |
| JP2011086125A (en) | Visual recognition detection device | |
| JP2018013812A (en) | Driver state guide device and driver state guide program | |
| JP7068647B2 (en) | Driving support device | |
| JP2024094910A (en) | Travel control method and travel control apparatus |