JP7332644B2 - Alert system and alert method - Google Patents
Alert system and alert method Download PDFInfo
- Publication number
- JP7332644B2 JP7332644B2 JP2021040551A JP2021040551A JP7332644B2 JP 7332644 B2 JP7332644 B2 JP 7332644B2 JP 2021040551 A JP2021040551 A JP 2021040551A JP 2021040551 A JP2021040551 A JP 2021040551A JP 7332644 B2 JP7332644 B2 JP 7332644B2
- Authority
- JP
- Japan
- Prior art keywords
- cognitive
- sight
- operator
- movement
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 30
- 230000000007 visual effect Effects 0.000 claims description 189
- 230000001149 cognitive effect Effects 0.000 claims description 126
- 238000001514 detection method Methods 0.000 claims description 62
- 238000011156 evaluation Methods 0.000 claims description 33
- 230000019771 cognition Effects 0.000 claims description 8
- 230000001815 facial effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 42
- 230000006399 behavior Effects 0.000 description 29
- 239000011521 glass Substances 0.000 description 26
- 238000010586 diagram Methods 0.000 description 23
- 238000004364 calculation method Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 230000035484 reaction time Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 2
- 235000005811 Viola adunca Nutrition 0.000 description 1
- 240000009038 Viola odorata Species 0.000 description 1
- 235000013487 Viola odorata Nutrition 0.000 description 1
- 235000002254 Viola papilionacea Nutrition 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Landscapes
- Instrument Panels (AREA)
- Traffic Control Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
本発明は、移動体の操縦者に当該移動体の周囲の実在物に対する注意を喚起する注意喚起システム、及び注意喚起方法に関する。 The present invention relates to an alerting system and an alerting method for alerting an operator of a mobile object to real objects around the mobile object.
車両の操縦者に、当該車両(以下、自車両)の周囲環境において見落としがちな交通参加者に対する注意を喚起することができれば、便宜である。 It would be convenient if the driver of the vehicle could be alerted to an easily overlooked traffic participant in the surrounding environment of the vehicle.
従来、自車両のフロントガラス上において、操縦者の位置から見た先行車両の実体に重ねて当該先行車両の輪郭画像を表示する車両用画像表示システムが知られている(特許文献1)。 Conventionally, there is known a vehicle image display system that displays a contour image of a preceding vehicle superimposed on the body of the preceding vehicle seen from the driver's position on the windshield of the own vehicle (Patent Document 1).
しかしながら、市街地のような交通参加者の多い交通環境において、上記従来の表示システムの技術を用いて運転者に交通参加者に関する注意喚起を行おうとすると、フロントガラス上には個々の交通参加者に重ねて多数の輪郭画像が表示されることとなり、却って操縦者の注意を散逸させることとなり得る。 However, in a traffic environment with many traffic participants, such as in an urban area, if the conventional display system technology is used to alert the driver to the traffic participants, the individual traffic participants cannot be displayed on the windshield. A large number of contour images are superimposed and displayed, and the driver's attention may rather be distracted.
本発明は、上述した事情に鑑みてなされたものであり、操縦者の注意力を散逸させることなく、移動体の周囲環境に存在する様々な実在物に対する操縦者の注意を喚起することである。 SUMMARY OF THE INVENTION The present invention has been made in view of the circumstances described above, and aims to arouse the operator's attention to various real objects existing in the surrounding environment of a mobile object without distracting the operator's attention. .
本発明の一の態様は、移動体のフロントガラス上に前記移動体の操縦者が視認可能な視覚表示を出力する投光装置と、前記投光装置を制御して、前記視覚表示により前記移動体の周囲の対象物に対する前記操縦者の注意を喚起する注意喚起装置と、を備える、注意喚起システムであって、前記注意喚起装置は、前記移動体の周囲エリアにある対象物を検知する検知部と、前記移動体の室内に備えられた室内カメラにより、前記移動体の操縦者の視線移動および顔の向きの移動を検知する挙動検知部と、検知された前記対象物のそれぞれを、少なくとも前記対象物の種別および前記対象物が存在する交通シーンに基づいて、複数のカテゴリのいずれかに分類する分類部と、前記挙動検知部が検知した前記操縦者の視線移動および顔の向きの移動の態様に基づいて、前記カテゴリのそれぞれに属する対象物についての、当該対象物の認知に至るまでの前記操縦者の行動の計画性の程度である認知の習熟度合いを示す認知習熟度を算出し、前記カテゴリごとの前記認知習熟度を認知習熟度情報として記憶装置に記憶する認知スキル評価部と、前記投光装置を制御して前記移動体のフロントガラス上の所定の表示範囲に視覚表示を出力する注意喚起部と、を有し、前記表示範囲は、前記フロントガラス上の、前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記注意喚起部は、前記検知された対象物のそれぞれの方向位置を示す前記視覚表示を、前記認知習熟度情報に基づき、当該対象物の前記カテゴリについて算出された、前記操縦者の前記認知習熟度に応じた態様で、前記フロントガラス上の前記表示範囲内に表示し、前記対象物についての前記カテゴリごとの前記認知習熟度は、前記計画性の存在有無を表す指標として、前記操縦者が前記対象物への視認の際に、当該対象物への視線移動に先行して、当該対象物の方向へ顔を移動したか否かに基づいて算出され、前記対象物への視線移動に先行して当該対象物の方向へ顔を移動したときは、前記対象物への視線移動に先行して当該対象物の方向へ顔を移動しないときに比べて、前記対象物についての前記操縦者の前記認知の習熟度は高いものと判断される、注意喚起システムである。
本発明の他の態様によると、前記対象物についての前記カテゴリごとの前記認知習熟度は、前記計画性の存在有無を表す指標として、前記操縦者が前記対象物への視認の際に、当該対象物への視線移動に先行して、当該対象物の方向へ顔を移動したか否かに基づいて算出され、前記対象物への視線移動に先行して当該対象物の方向へ顔を移動したときは、前記対象物への視線移動に先行して当該対象物の方向へ顔を移動しないときに比べて、前記対象物についての前記操縦者の前記認知の習熟度は高いものと判断される。
本発明の他の態様によると、前記対象物についての前記カテゴリごとの前記認知習熟度は、さらに、前記計画性の存在有無を表す指標として、前記対象物が、一の対象物への視線の移動に際して当該視線が通過した他の対象物であるか否か、および当該一の対象物への視線の移動は先行する顔の移動を伴うものであったか否か、に基づいて定められ、一の前記対象物への視線の移動が、先行する顔の移動を伴う場合において、当該視線が他の前記対象物を通過したときは、当該他の対象物についての前記認知の習熟度は、当該一の対象物についての前記認知の習熟度より低いものと判断される。
本発明の他の態様によると、一の前記対象物へ移動する視線が他の前記対象物を通過する場合において、当該視線が先行する顔の移動を伴う場合の当該他の対象物は、当該視線の移動が先行する顔の移動を伴わない場合の当該他の対象物に比べて、前記操縦者の前記認知の習熟度は高いものと判断される。
本発明の他の態様によると、一の前記対象物への視線の移動が、先行する顔の移動を伴わない場合において、当該視線が他の前記対象物を通過したときは、当該視線が通過した当該他の対象物は、当該一の対象物に比べて、前記操縦者の前記認知の習熟度は低いものと判断される。
本発明の他の態様は、コンピュータにより実行される注意喚起方法であって、移動体の周囲エリアにある対象物を検知するステップと、前記移動体の室内に備えられた室内カメラにより、前記移動体の操縦者の視線移動および顔の向きの移動を検知するステップと、検知された前記対象物のそれぞれを、少なくとも前記対象物の種別および前記対象物が存在する交通シーンに基づいて、複数のカテゴリのいずれかに分類するステップと、前記操縦者の視線移動および顔の向きの移動の態様に基づいて、前記カテゴリのそれぞれに属する対象物についての、当該対象物の認知に至るまでの前記操縦者の行動の計画性の程度である認知の習熟度合いを示す認知習熟度を算出し、前記カテゴリごとの前記認知習熟度を認知習熟度情報として記憶装置に記憶するステップと、前記移動体のフロントガラス上の所定の表示範囲に視覚表示を出力するステップと、を有し、前記表示範囲は、前記フロントガラス上の、前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記視覚表示を出力するステップでは、前記検知された対象物のそれぞれの方向位置を示す前記視覚表示を、前記認知習熟度情報に基づき、当該対象物の前記カテゴリについて算出された、前記操縦者の前記認知習熟度に応じた態様で、前記フロントガラス上の前記表示範囲内に表示し、前記対象物についての前記カテゴリごとの前記認知習熟度は、前記計画性の存在有無を表す指標として、前記操縦者が前記対象物への視認の際に、当該対象物への視線移動に先行して、当該対象物の方向へ顔を移動したか否かに基づいて算出され、前記対象物への視線移動に先行して当該対象物の方向へ顔を移動したときは、前記対象物への視線移動に先行して当該対象物の方向へ顔を移動しないときに比べて、前記対象物についての前記操縦者の前記認知の習熟度は高いものと判断される、注意喚起方法である。
According to one aspect of the present invention, there is provided a light projecting device that outputs a visual display visible to an operator of the moving body on a windshield of the moving body, and a light projecting device that controls the light projecting device to display the moving object according to the visual display. and an alerting device for alerting the operator to objects around the body, wherein the alerting device detects objects in an area around the moving object. a behavior detection unit that detects movement of the line of sight and movement of the face of the operator of the moving body by an indoor camera provided in the room of the moving body; A classification unit that classifies the object into one of a plurality of categories based on the type of the object and the traffic scene in which the object exists; Based on the aspect of , calculating the cognitive proficiency level indicating the degree of proficiency of cognition, which is the degree of planned behavior of the pilot until he/she recognizes the target, for an object belonging to each of the categories. a cognitive skill evaluation unit that stores the cognitive proficiency level for each category as cognitive proficiency level information in a storage device; and a warning unit for outputting, wherein the display range is a band-shaped range extending horizontally in the width direction of the moving body on the windshield, wherein the warning unit outputs the detection displaying the visual display indicating the directional position of each of the selected objects in a manner responsive to the cognitive proficiency of the operator calculated for the category of the object based on the cognitive proficiency information; Displayed within the display range on the windshield, the cognitive proficiency level for each category of the object is used as an index representing the presence or absence of the planning when the operator visually recognizes the object. In addition, it is calculated based on whether or not the face has moved in the direction of the object prior to the movement of the line of sight to the object, and When the face is moved, the operator's proficiency in recognition of the object is higher than when the face is not moved in the direction of the object prior to moving the line of sight to the object. It is a warning system that is judged to be .
According to another aspect of the present invention, the cognitive proficiency level for each category of the object is used as an index representing the existence or non-existence of the planning ability when the operator visually recognizes the object. It is calculated based on whether or not the face has moved toward the target object prior to the line-of-sight movement toward the target object, and the face has moved toward the target object prior to the line-of-sight movement toward the target object. When the operator does not move his or her face toward the target object prior to moving the line of sight to the target object, it is determined that the operator has a higher degree of proficiency in recognition of the target object. be.
According to another aspect of the present invention, the cognitive proficiency level for each of the categories of the object is further an index representing the existence or non-existence of the planning. It is determined based on whether or not it is another object through which the line of sight passed during the movement, and whether or not the movement of the line of sight to the one object was accompanied by the preceding movement of the face. When the movement of the line of sight to the object is accompanied by the preceding movement of the face, when the line of sight passes through the other object, the cognitive proficiency of the other object is the same as the one. is determined to be lower than the cognitive proficiency of the object.
According to another aspect of the present invention, when a line of sight moving to one of the objects passes through another of the objects, the other object when the line of sight is accompanied by a preceding movement of the face is It is determined that the operator's proficiency in cognition is higher than that of the other object when the movement of the line of sight is not accompanied by the preceding movement of the face.
According to another aspect of the present invention, in the case where the movement of the line of sight to one of the objects is not accompanied by the preceding movement of the face, when the line of sight passes through the other of the objects, the line of sight passes through the other object. It is determined that the operator's proficiency in cognition of the other target object is lower than that of the one target object.
Another aspect of the present invention is a computer-implemented alerting method, comprising: detecting an object in an area around a moving body; Detecting eye movements and facial orientation movements of a body operator; and classifying each of said detected objects into a plurality of objects based on at least the type of said object and the traffic scene in which said object is present. the step of classifying into one of the categories; and the maneuvering up to recognition of the object belonging to each of the categories based on the movement of the operator's line of sight and the direction of the face. a step of calculating a cognitive proficiency level indicating a degree of cognitive proficiency that is a degree of planned behavior of a person, and storing the cognitive proficiency level for each of the categories in a storage device as cognitive proficiency level information; and outputting a visual display to a predetermined display range on the windshield, wherein the display range is a band-shaped range extending horizontally, which is the width direction of the vehicle, on the windshield. and, in the step of outputting the visual representation, the visual representation indicating the directional position of each of the sensed objects is calculated for the category of the object based on the cognitive proficiency information. displayed within the display range on the windshield in a manner corresponding to the cognitive proficiency of, and the cognitive proficiency for each category of the object is an index representing the presence or absence of the planning, It is calculated based on whether or not the driver moves the face in the direction of the object prior to the movement of the line of sight to the object when the operator visually recognizes the object. When the face is moved in the direction of the object prior to the movement of the line of sight, compared to when the face is not moved in the direction of the object prior to the movement of the line of sight to the object This is an alerting method in which it is determined that the operator's proficiency in recognition is high .
本発明によれば、操縦者の注意力を散逸させることなく、移動体の周囲環境に存在する様々な実在物に対する操縦者の注意を喚起することができる。 Advantageous Effects of Invention According to the present invention, it is possible to arouse the operator's attention to various real objects existing in the surrounding environment of a mobile object without distracting the operator's attention.
以下、図面を参照して実施形態について説明する。
[第1実施形態]
まず、本発明の第1の実施形態について説明する。図1は、本発明の実施形態に係る注意喚起システムが搭載される移動体である車両100の、車室前方の構成を示す図である。また、図2は、第1の実施形態に係る注意喚起システム120の構成を示す図である。なお、車両100の他の部分の構成については、後述において他の実施形態に関連付けて説明する。
Embodiments will be described below with reference to the drawings.
[First embodiment]
First, a first embodiment of the present invention will be described. FIG. 1 is a diagram showing the configuration of the front part of the passenger compartment of a
車両100は、本実施形態では、四輪自動車である。なお、図1において、Z軸は、車両100の車高方向、X軸は、車両100の車幅方向、及びY軸は、車両100の長さ方向(または、直進方向)を示す。以下では、車高方向(Z軸方向)に直交する方向(X軸方向およびY軸方向を含む)を水平方向ともいうものとする。
図1を参照し、車両100の車室内には、運転席である操縦席102と助手席103とが設けられている。また、車両100の車室内には、ステアリングホイール104、車外と車室内とを区分するフロントガラス105、及びインストルメントパネル106が設けられている。また、車両100には、操縦者が車両100の後方および後側方を視認するためのルームミラー110、左フェンダミラー(又は左ドアミラー)112、および右フェンダミラー(又は右ドアミラー)114が設けられている。
Referring to FIG. 1, a
図2を参照し、注意喚起システム120は、車両100の室内に設けられた、フロントガラス105上に操縦者が視認可能な視覚表示を出力する前方投光装置122と、前方投光装置122を制御して上記視覚表示により対象物に対する操縦者の注意を喚起する注意喚起装置124と、により構成される。前方投光装置122は、フロントガラス105上に所定形状(例えば、矩形等の図形形状)の光を投光することにより視覚表示を出力する。
Referring to FIG. 2 , the
図1を参照し、前方投光装置122は、本実施形態では、フロントガラス105の下方のインストルメントパネル106に車幅方向に沿って配された複数の光源で構成される光源アレイ、例えば複数の色の光を投光し得るLEDアレイである。前方投光装置122は、注意喚起装置124の制御の下に、フロントガラス105に投光することで、フロントガラス105の表示可能上限線L1の下方に、操縦者の視線を誘導する視覚表示VIを表示する。表示可能上限線L1は、像を表示可能なフロントガラス105の上下方向(車高方向)における上限の位置を示している。表示可能上限線L1が示す上限の位置は、法規で定められている。たとえば、この上限の位置は、国内法や国内規則等で制限されることもある。
Referring to FIG. 1, in this embodiment, the front
視覚表示VIは、フロントガラス105に投光された所定サイズの光で形成される。例えば、視覚表示VIは、上記投光された光の反射光により操縦者の視野に結像する虚像である。フロントガラス105上における視覚表示VIの位置および大きさ(水平方向の長さ)は、例えば、前方投光装置122を構成する複数の光源のうちフロントガラス105への投光に用いる光源を選択することにより決定され得る。
A visual display VI is formed by a predetermined size of light projected onto the
フロントガラス105の表示可能上限線L1の下方には、視覚表示VIの表示範囲HAが延在する。表示範囲HAは、所定の幅(例えば、***)をもって車両100の車幅方向に延在するフロントガラス105上の帯状範囲である。表示範囲HAは、車両100の車高方向と直交する水平方向に延在する、フロントガラス105上の帯状範囲、ともいうことができる。
Below the displayable upper limit line L1 of the
なお、上述した光源アレイ又はLEDアレイは前方投光装置122の一例であって、前方投光装置122の構成はこれらには限られない。前方投光装置122は、上述した表示範囲HAに所定サイズ以上の視覚表示VIを投光できる限り、任意の構成を有し得る。例えば、前方投光装置122は、いわゆるプロジェクタであって、画像としての所定サイズ以上の視覚表示VIを表示範囲HAに表示するものであってもよい。
The light source array or LED array described above is an example of the
図2を参照し、注意喚起装置124は、処理装置130と記憶装置131とを有する。記憶装置131は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。処理装置130は、例えば、CPU(Central Processing Unit)等のプロセッサを備えるコンピュータである。処理装置130は、プログラムが書き込まれたROM(Read Only Memory)、データの一時記憶のためのRAM(Random Access Memory)等を有する構成であってもよい。そして、処理装置130は、機能要素又は機能ユニットとして、検知部132と、注意喚起部133と、を備える。
Referring to FIG. 2 , alerting
処理装置130が備えるこれらの機能要素は、例えば、コンピュータである処理装置130がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置130が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
These functional elements provided by the
検知部132は、車両100の周囲エリアに存在する対象物を検知する。対象物としては、例えば車両100との相対速度から算出される当該車両100との接触確率が所定値以上である所定の実在物である。
The
具体的には、検知部132は、車両100に設けられた当該車両100の前方の物体を検知する前方物体センサ140から映像(又は画像)を取得する。前方物体センサ140は、例えば、カメラ、レーザ、及び又はライダである。検知部132は、前方物体センサ140により得られる前方映像から、所定の実在物を検知し、例えば車両100との相対速度から算出される車両100との接触確率が所定値以上である実在物を、対象物として検知する。本実施形態では、所定の実在物は、車両および歩行者を含む交通参加者、並び道路標識、電柱および郵便ポスト等を含む固定物である。検知部132は、検知した対象物のそれぞれの位置情報を注意喚起部133へ送る。
Specifically, the
注意喚起部133は、前方投光装置122を制御して、車両100のフロントガラス105上の表示範囲HAに視覚表示を出力する。具体的には、注意喚起部133は、操縦者の位置から見た対象物の、フロントガラス105上の水平位置と同じ表示範囲HA内の水平位置に、視覚表示VIを表示する。
The alerting
より具体的には、注意喚起部133は、操縦席102に着座した標準的な操縦者の眼の位置と、検知部132から受信した対象物のそれぞれの位置情報から、操縦者がそれらの対象物を見たときの当該操縦者の視線が、フロントガラス105と交わる交点をそれぞれ算出する。そして、注意喚起部133は、上記算出したそれぞれの交点の水平位置と同じ、表示範囲HA内の水平位置のそれぞれに視覚表示VIを表示する。
More specifically, the alerting
また、注意喚起部133は、車両100の周囲エリアのうち、車両100の操縦席に着座した操縦者の位置を中心として定義される所定の前方視野範囲から外れた位置において対象物が検知されたときは、車室内に分散して備えられた複数の室内スピーカ142により、操縦者に対し、当該対象物の方向定位のための音響を車室内に生じさせる。
In addition, the
上記前方視野範囲は、操縦席に座った操縦者が顔を前方に向けたまま無理なく視認することのできる視野範囲であり、例えば、操縦席に座った操縦者の車両100の直進方向前方(図1に示すY方向)に向かう視線を中心として所定の視野角(例えば45度)で規定される範囲である。注意喚起部133は、検知部132から受信するそれぞれの対象物の位置情報から、上記所定の前方視野範囲から外れた位置で対象物が検知されたか否かを判断することができる。
The front field of view range is a field of view within which the driver sitting in the driver's seat can comfortably view the
上記の構成を有する注意喚起システム120は、従来のようにフロントガラス上において対象物の実体に重ねて画像を表示するのではなく、フロントガラス105上において車幅方向に延在する帯状の表示範囲HAの、操縦者の位置から見た対象物の水平方向位置と同じ水平方向位置に、視覚表示VIを表示する。このため、注意喚起システム120では、操縦者にとって対象物と視覚表示VIとが重なって見える機会が減少するので、操縦者の注意力をより集中させる形で、車両100の周囲環境に存在する様々な交通参加者に対する操縦者の注意を喚起することができる。
The
また、前方投光装置122は、フロントガラス105上に所定形状(例えば、矩形等の図形形状)の光を投光することにより視覚表示VIを出力するので、操縦者は、シンプルな視覚表示VIにより、その注意力を散逸させることなく、対象物に対する注意が喚起され得る。
Further, since the front
また、前方投光装置122は、例えば、フロントガラス105の下方において車幅方向に沿って配された複数の光源で構成され得るので、注意喚起システム120は、シンプルな構成により、操縦者に対し、対象物に対する注意を喚起することができる。
In addition, since the
また、注意喚起部133は、車両100の周囲エリアのうち、操縦席に着座した操縦者の位置を中心として定義される所定の前方視野範囲から外れた位置において対象物が検知されたときは、対象物の方向定位のための音響を車室内に生じさせる。このため、注意喚起システム120によれば、その視認に際して操縦者が顔を動かすことが必要となり得るエリアにおいて検知された対象物については、操縦者は音響によりその対象物の方向を定位することができるので、操縦者は、その注意力を散逸させることなく、対象物に対する注意が喚起され得る。
Further, when the
また、注意喚起システム120では、対象物は、車両100との接触確率が所定値以上である実在物である。すなわち、注意喚起システム120は、車両100の運行にとってリスクとなり得る実在物に絞り込んで、その方向を示す視覚表示VIを表示するので、操縦者に対し、その注意力をより集中させる形で、対象物に対する注意を喚起することができる。
Further, in the
図3は、注意喚起システム120によりフロントガラス105に表示される視覚表示VIの一例を示す図である。図3には、車両100の操縦者がフロントガラス105を介して見ている車両100の前方エリアの情景が示されている。図示のように、市街地の交差点がある前方エリアには、交差点の手前左方に駐車されている車両200と、前方の交差道路の左方から到来する車両201と、交差道路の右方から到来するバイク202が存在する。また、前方エリアには、自車両である車両100が走行する自車道路を横断する歩行者203と、自車道路の対向車線を走行する車両204と、が存在している。
FIG. 3 is a diagram showing an example of a visual display VI displayed on the
このとき、検知部132は、車両100と接触可能性のある対象物として、駐車中の車両200を除く車両201、204と、バイク202と、横断中の歩行者203と、を検知する。そして、注意喚起部133は、前方投光装置122により、フロントガラス105上の表示範囲HA内(図示点線で示す矩形の範囲)において、上記検知された対象物である車両201、204、バイク202、および歩行者203のそれぞれに対応する水平位置に、視覚表示VI-11、VI-12、VI-13、VI-14(図示ハッチングした矩形)を表示する。
At this time, the
図4は、注意喚起システム120における動作の手順を示すフロー図である。図4に示す処理は、図2に示す検知部132が少なくとも一つの対象物を検知したときに、当該検知した対象物ごとに開始される。
FIG. 4 is a flow chart showing the procedure of operation in the
処理を開始すると、まず、注意喚起部133は、検知部132が検知した対象物のそれぞれの位置情報に基づき、前方投光装置122により、フロントガラス105上の表示範囲HA内に、上記検知された対象物のそれぞれに対応する水平位置に視覚表示VIを表示する(S100)。
When the process is started, first, based on the position information of each of the objects detected by the
続いて、注意喚起部133は、検知部132から受信したその対象物の位置情報に基づき、その対象物が所定の前方視野範囲から外れた位置で検知されたものか否かを判断する(S102)。そして、その対象物が所定の前方視野範囲から外れた位置で検知されたものであるときは(S102、YES)、注意喚起部133は、操縦者に対しその対象物の方向定位のための音響を室内スピーカ142により出力する(S104)。
Subsequently, the alerting
続いて、注意喚起部133は、検知部132によりその対象物が検知されなくなったか否かを判断する(S106)。そして、その対象物が検知されなくなったときは(S106、YES)、注意喚起部133は、本処理を終了する。一方、その対象物が検知され続けているときは(S106、NO)、注意喚起部133は、ステップS100に戻って処理を繰り返す。
Subsequently, the alerting
[第2実施形態]
次に、本発明の第2の実施形態について説明する。図5は、本発明の第2の実施形態に係る注意喚起システム300の構成を示す図である。この注意喚起システム300は、第1の実施形態において説明した図1に示す車両100に、注意喚起システム120に代えて搭載される。なお、図5において、図2に示す構成要素と同じ構成要素については、図2に示す符号と同じ符号を用いて示すものとし、上述した図2についての説明を援用する。
[Second embodiment]
Next, a second embodiment of the invention will be described. FIG. 5 is a diagram showing the configuration of an
注意喚起システム300は、フロントガラス105上に操縦者が視認可能な視覚表示を出力する前方投光装置122と、前方投光装置122を制御して上記視覚表示により対象物に対する操縦者の注意を喚起する注意喚起装置324と、により構成される。
The
注意喚起装置324は、図2に示す注意喚起装置124と同様の構成を有するが、処理装置130および記憶装置131に代えて処理装置302および記憶装置303を備える点が異なる。記憶装置303は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成され、後述する処理装置302の認知スキル評価部310により認知習熟度情報312が保存される。
The
処理装置302は、処理装置130と同様の構成を有するが、機能要素又は機能ユニットとして、注意喚起部133に代えて注意喚起部304を有する点が異なる。また、処理装置302は、機能要素又は機能ユニットとして、さらに、挙動検知部306と、分類部308と、認知スキル評価部310と、を更に有する点が、処理装置130と異なる。
The
処理装置302が備えるこれらの機能要素は、処理装置130と同様に、例えば、コンピュータである処理装置302がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置302が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
These functional elements provided by the
挙動検知部306は、車両100の車室内に備えられた室内カメラ144により、操縦者の視線移動および顔の向きの移動(以下、顔移動ともいう)を検知する。室内カメラ144は、操縦者を観察するいわゆるドライバモニタリングカメラ(DMC)である。
分類部308は、検知された対象物のそれぞれを、少なくとも対象物の種別および当該対象物が存在する交通シーンに基づいて、複数のカテゴリのいずれかに分類する。ここで対象物のカテゴリとは、対象物の種別のほか、例えば現在の交通シーンにおけるその対象物の出現場所、出現タイミング、及び又は出現の際の動き、等を表す区分であり得る。
対象物の種別とは、歩行者、車両、障害物等の区別をいう。歩行者は、さらに、大人、子供、老人等に細分されてもよく、車両は、自動車、バイク、バス、自転車等に細分されてもよい。障害物は、さらに、ボール、落下物、故障車等に細分され得る。 The type of object refers to a distinction between pedestrians, vehicles, obstacles, and the like. Pedestrians may be further subdivided into adults, children, elderly, etc., and vehicles may be further subdivided into automobiles, motorbikes, buses, bicycles, and the like. Obstacles can be further subdivided into balls, falling objects, broken cars, and the like.
上記交通シーンとは、直進路、踏切、交差点、曲がり角等の区別である。交差点は、さらに、駐車車両のある交差点、駐車車両のない交差点、建物のある見通しの悪い交差点、見通しのよい交差点等に細分することができる。また、交通シーンは、そのシーンに存在する交通参加者の数、及び又は交通参加者の平均速度等により細分されてもよい。 The traffic scene is a distinction between a straight road, a railroad crossing, an intersection, a turn, and the like. Intersections can be further subdivided into intersections with parked vehicles, intersections without parked vehicles, intersections with buildings with poor visibility, intersections with good visibility, and the like. A traffic scene may also be subdivided by the number of traffic participants present in the scene and/or the average speed of the traffic participants, and the like.
上記のように分類されるカテゴリは、例えば、“交差点の駐車車両の影から出現する子供”、“見通しの悪い交差点の建物の影から出現する自転車”、“交差点で対向車線を直進するバイク”等々であり得る。 The categories classified as above are, for example, "child appearing from the shadow of a parked vehicle at the intersection", "bicycle appearing from the shadow of the building at the intersection with poor visibility", and "motorcycle going straight in the oncoming lane at the intersection". and so on.
認知スキル評価部310は、上記カテゴリのそれぞれに属する対象物についての認知の習熟度合いを示す認知習熟度を算出し、算出したカテゴリ毎の認知習熟度を認知習熟度情報312として記憶装置303に記憶する。ここで、対象物についての認知の習熟度合いとは、例えば、その対象物の認知に至るまでの行動(視線や顔の動き)の計画性の程度をいう。上記認知に至るまでの行動の計画性は、その対象物のカテゴリ、すなわち、対象物の種別のほか、現在の交通シーンにおけるその対象物の出現場所、出現タイミング、及び又は出現の際の動き等に依存し得る。このため、認知スキル評価部310は、対象物について算出した認知習熟度を、その対象物のカテゴリに関連付け、カテゴリ毎の認知習熟度を表す認知習熟度情報312として記憶装置303に記憶する。
The cognitive
具体的には、認知スキル評価部310は、操縦者が対象物を視認した際に、当該対象物への視線移動に先行して、当該対象物の方向へ顔を移動したか否かに基づいて、当該対象物が分類されているカテゴリについての、当該操縦者の認知習熟度を算出する。一般に、操縦者は、或る程度の予測に基づいて計画的に交通参加者の有無を視認しようとする場合には、その交通参加者が出現し易いタイミングにおける出現し易い場所、すなわち実在物の方向への視線移動に先立って、その実在物の方向へ顔を向ける傾向があるためである。
Specifically, when the operator visually recognizes an object, the cognitive
また、認知スキル評価部310は、習熟度算出の対象である対象物が、他の対象物への視線の移動に際してその視線が通過した実在物であるか否か、および当該視線の移動は先行する顔の移動を伴うものであったか否か、に基づいて、上記習熟度算出の対象である対象物のカテゴリの認知習熟度を算出する。
In addition, the cognitive
上記において、操縦者が対象物を視認したか否かは、挙動検知部306により、操縦者の視線がその対象物に所定時間以上滞留したか否かに基づいて判断され得る。
In the above, whether or not the operator has visually recognized the object can be determined by the
より具体的には、認知スキル評価部310は、対象物のカテゴリについての認知習熟度を以下のように算出する。
a)先行する顔向き移動に続く視線移動の後に視線が所定時間以上滞留した対象物のカテゴリについては、認知習熟度を1とする。
b)先行する顔向き移動に続く視線移動の途中でその視線が通過した対象物のカテゴリについては、認知習熟度を2とする。
c)先行する顔向き移動を伴わない視線移動の後に視線が所定時間以上滞留した対象物のカテゴリについては、認知習熟度を3とする。
d)先行する顔向き移動を伴わない視線移動の途中でその視線が通過した対象物のカテゴリについては、認知習熟度を4とする。
e)視線の滞留も視線の通過もなかった対象物のカテゴリについては、習熟度を5とする。
More specifically, the cognitive
a) The recognition proficiency level is set to 1 for the category of the object for which the line of sight has remained for a predetermined time or longer after the line of sight movement following the preceding face movement.
b) The cognitive proficiency level is set to 2 for the category of the object through which the line of sight passes during the line of sight movement following the preceding face direction movement.
c) The recognition proficiency level is set to 3 for the category of the object for which the line of sight remains for a predetermined time or longer after the line of sight movement without preceding face movement.
d) The cognitive proficiency level is set to 4 for the category of the object through which the line of sight passes during the line of sight movement that does not accompany the preceding face movement.
e) A proficiency level of 5 is assigned to categories of objects for which no line of sight dwells or line of sight passes.
注意喚起部304は、注意喚起部133と同様に、前方投光装置122を制御して、図1に示す車両100のフロントガラス105上の表示範囲HAに、視覚表示VIを出力する。ただし、注意喚起部304は、注意喚起部133とは異なり、視覚表示VIの出力に際して記憶装置303に記憶された認知習熟度情報312を参照し、当該認知習熟度情報312に基づき、検知された対象物のそれぞれの方向位置を示す視覚表示VIを、当該対象物のカテゴリについて算出された操縦者の認知習熟度に応じた態様で、フロントガラス105の表示範囲HAに表示する。
Alerting
ここで、視覚表示VIを操縦者の認知習熟度に応じた態様で表示するとは、例えば、投影光である視覚表示VIを、操縦者の認知習熟度に応じた色、輝度、及びまたは大きさで表示することをいう。 Here, displaying the visual display VI in a manner corresponding to the driver's cognitive skill level means that the visual display VI, which is projected light, is displayed in a color, brightness, and/or size that corresponds to the operator's cognitive skill level. It means to display with
図6は、認知スキル評価部310が記憶装置303に記憶する認知習熟度情報312の例である。図6には、一の操縦者の認知習熟度情報が表形式で示されている。認知スキル評価部310は、操縦者ごとに、図6に示すような認知習熟度情報を記憶装置303に記憶する。図6に示す表において、最も左の列から右に向かって順に、第1列、第2列、…、第6列と呼ぶものとする。また、最も上の行から下に向かって順に第1行、第2行、…、と呼ぶものとする。
FIG. 6 is an example of cognitive
図6に示す認知習熟度情報は、第1列に、分類部308が対象物を分類する際に用いるカテゴリが示されている。図6の第1列に示すカテゴリは記述的に記載されているが、従来技術に従い、遮蔽物の有無、交差道路か自車道路か、歩行者か車両か、等々の区分をコード化した記号の組み合わせを、カテゴリとして用いることもできる。
In the cognitive proficiency level information shown in FIG. 6, the first column indicates the category used by the
図6の第2列から第6列は、それぞれのカテゴリに分類された対象物について認知スキル評価部310により算出された、直近5回分の認知習熟度を示している。すなわち、図6の表の3行目の第2列から第6列には、この操縦者が最近においてカテゴリ“遮蔽物のない交差道路から出現する車両”に分類された車両に5回遭遇したときの、それぞれの遭遇時において算出された認知習熟度が示されている。
図7は、図6に示す認知習熟度情報に基づいて注意喚起部304がフロントガラス105に表示する視覚表示VIの一例を示している。図7に示す車両100の前方エリアの交通シーンは、図3に示した交通シーンと同様である。ここで、分類部308は、車両201をカテゴリ“遮蔽物のある交差道路から出現する車両”に分類し、車両204をカテゴリ“交差点で自車道路の対向車線を直進する車両”に分類したとする。また、分類部308は、バイク202および歩行者203を、それぞれ、カテゴリ“遮蔽物のない交差道路から出現する車両”および“交差点で自車道路を横断する歩行者”に分類したものとする。
FIG. 7 shows an example of a visual display VI displayed on the
注意喚起部304は、検知部132が検知した対象物である車両201、204、バイク202、及び歩行者203についての視覚表示VIをフロントガラス105の表示範囲HAに表示するに際し、まず、記憶装置303に記憶されている図6に示すような認知習熟度情報312を参照する。
When the
そして、注意喚起部304は、認知習熟度情報312が示すそれぞれのカテゴリの認知習熟度に応じて、例えば、認知習熟度が1から5に近づくに従って、当該カテゴリに分類された対象物についての視覚表示VIを、誘目性がより高い態様で表示する。ここで、「誘目性がより高い態様で表示する」とは、例えば、認知習熟度が1から5に近づくに従って視覚表示VIの色相を寒色系から暖色系へ、より目立つ色に順次変化させることをいう。ただし、認知習熟度に応じて変化させる視覚表示VIの態様は、色相に限らず、輝度(色調)、点滅の速さ、サイズ等々であってもよい。本実施形態では、例えば、認知習熟度の数値が1から5へ1段階ずつ増加するにつれて、視覚表示VIが、青色、緑色、黄色、橙色、赤色で表示されるものとする。
Then, the alerting
図6に示す例では、この操縦者についての、カテゴリ“遮蔽物のある交差道路から出現する車両”の直近5回の認知習熟度の最頻値が4であることから、注意喚起部304は、図7に示すフロントガラス105の表示範囲HAにおいて、当該カテゴリに分類された車両201についての視覚表示VI-21を橙色で表示する。また、カテゴリ“遮蔽物のない交差道路から出現する車両”の直近5回の認知習熟度の最頻値が3であることから、注意喚起部304は、図7に示すフロントガラス105の表示範囲HAにおいて、当該カテゴリに分類されたバイク202についての視覚表示VI-22を黄色で表示する。
In the example shown in FIG. 6, since the most frequent value of the cognitive proficiency level for the last five times of the category "vehicle emerging from an intersecting road with a shield" for this driver is 4, the alerting
同様に、カテゴリ“交差点で自車道路を横断する歩行者”の直近5回の認知習熟度の最頻値が2であることから、注意喚起部304は、図7に示すフロントガラス105の表示範囲HAにおいて、当該カテゴリに分類された歩行者203についての視覚表示VI-23を緑色で表示する。また、カテゴリ“交差点で自車道路の対向車線を直進する車両”の直近5回の認知習熟度の最頻値が1であることから、注意喚起部304は、図7に示すフロントガラス105の表示範囲HAにおいて、当該カテゴリに分類された車両204についての視覚表示VI-24を青色で表示する。
Similarly, since the mode of cognitive proficiency in the last five times for the category “pedestrians crossing the road of the vehicle at an intersection” is 2, the alerting
なお、上記においては、視覚表示VIの表示態様である表示色の選択に際して、それぞれのカテゴリについての直近5回分の認知習熟度の最頻値を用いるものとしたが、これに限らず、例えば、当該5回分の平均値を切り上げ、切り下げ、四捨五入等により整数値としたものや、直近5回分の最小値、最大値を用いるものとしてもよい。 In the above description, when selecting the display color, which is the display mode of the visual display VI, the mode of the most recent five cognitive proficiency levels for each category is used. An integer value may be obtained by rounding up, rounding down, or rounding off the average value of the five times, or the minimum value and maximum value of the most recent five times may be used.
上記の構成を有する注意喚起システム300は、注意喚起システム120と同様に、フロントガラス105上の帯状の表示範囲HAにおいて、対象物に対応する水平方向位置に視覚表示VIを表示する。このため、注意喚起システム300は、注意喚起システム120と同様に、操縦者の注意力を散逸させることなく、車両100の周囲環境に存在する様々な交通参加者に対する操縦者の注意を喚起することができる。
The
また、注意喚起システム300では、特に、対象物についての視覚表示VIは、その対象物のカテゴリについての操縦者の認知習熟度に応じた態様で表示される。このため、注意喚起システム300では、操縦者は、表示された視覚表示VIにより認知習熟度に応じた優先度で各対象物を視認することができ、車両100の周囲環境に存在する様々な交通参加者に対する操縦者の注意が、当該操縦者の運転行動にとってより効果的な態様で喚起され得る。
Further, in the
また、注意喚起システム300では、操縦者について、認知の計画性を表す視線移動前の顔移動の有無に基づいて対象物のカテゴリ毎の認知習熟度が算出されるので、簡易な処理で認知習熟度が算出され得る。
In addition, in the
また、注意喚起システム300では、特定の対象物を視認するための計画的な視線移動に伴って視線が通過した対象物か否かによっても、当該対象物(すなわち、視線が通過した対象物)のカテゴリについての認知の習熟度が判断される。このため、注意喚起システム300では、視認の対象でなかった対象物についても、その操縦者の視線の移動経路の傾向に基づく認知の習熟度が把握されて、視覚表示の表示態様に反映され得る。
In addition, in the
図8は、注意喚起システム300における動作の手順を示すフロー図である。図8に示す処理は、図5に示す検知部132が少なくとも一つの対象物を検知したときに、当該検知した対象物ごとに開始される。
FIG. 8 is a flow diagram showing the procedure of operation in the
処理を開始すると、まず、分類部308は、検知された対象物をカテゴリに分類する(S200)。続いて、注意喚起部304は、記憶装置303に保存されている認知習熟度情報312を参照し(S202)、表示範囲HA内の対象物に対応する水平位置に、視覚表示VIを認知習熟度に応じた態様で表示する(S204)。
When the process starts, first, the
次に、注意喚起部304は、検知部132によりその対象物が検知されなくなったか否かを判断する(S206)。そして、その対象物が検知され続けているときは(S206、NO)、注意喚起部304は、ステップS204に戻って処理を繰り返す。一方、その対象物が検知されなくなったときは(S206、YES)、認知スキル評価部310は、それまでの間に操縦者が行った挙動、すなわち、挙動検知部306が検知した操縦者の視線移動および顔の向きの移動の態様に基づいて、その対象物についてのその操縦者の認知習熟度を算出する(S208)。
Next, the alerting
続いて、認知スキル評価部310は、上記算出した認知習熟度をその対象物のカテゴリに関連付けて、認知習熟度情報として記憶装置303に記憶する。具体的には、例えば、認知スキル評価部310は、上記算出した認知習熟度を、記憶装置303に保存されている認知習熟度情報312に追加して、認知習熟度情報312を更新する(S210)。認知スキル評価部310が認知習熟度情報312を更新したあとは、処理装置302は、本処理を終了する。
Subsequently, the cognitive
[第3実施形態]
次に、本発明の第3の実施形態について説明する。図9は、本発明の第3の実施形態に係る注意喚起システム400の構成を示す図である。この注意喚起システム400は、第1の実施形態において説明した図1に示す車両100に、注意喚起システム120に代えて搭載される。なお、図9において、図2および図5に示す構成要素と同じ構成要素については、図2および図5に示す符号と同じ符号を用いて示すものとし、上述した図2および図5についての説明を援用する。
[Third embodiment]
Next, a third embodiment of the invention will be described. FIG. 9 is a diagram showing the configuration of an
注意喚起システム400は、フロントガラス105上に操縦者が視認可能な視覚表示を出力する前方投光装置122と、前方投光装置122を制御して上記視覚表示により対象物に対する操縦者の注意を喚起する注意喚起装置424と、により構成される。
The
注意喚起装置424は、図5に示す注意喚起装置324と同様の構成を有するが、処理装置302および記憶装置303に代えて処理装置402および記憶装置403を備える点が異なる。記憶装置403は、記憶装置303と同様の構成を有し、後述する処理装置402の反応スキル評価部410により反応習熟度情報414が保存される。
The
処理装置402は、処理装置302と同様の構成を有するが、機能要素又は機能ユニットとして、注意喚起部304および挙動検知部306に代えて注意喚起部404および挙動検知部406を有する点が異なる。また、処理装置402は、認知スキル評価部310を有さず、反応スキル評価部410およびリスク算出部412を有する点が、処理装置302と異なる。
The
処理装置402が備える機能要素は、処理装置302と同様に、例えば、コンピュータである処理装置402がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置402が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
Like the
リスク算出部412は、検知部132により検知された対象物のそれぞれについて、分類部308により当該対象物が分類されたカテゴリに基づき、車両100と接触するリスクの程度を示すリスク度を算出する。このリスク度は、検知部132が、検知した対象物のそれぞれについて少なくとも車両100との相対速度に基づいて算出する接触確率とは異なり、例えば、実際に発生した事故を上記カテゴリに分類して、事故の全件数に対するカテゴリ毎の発生件数の比率を、所定の閾値範囲と比較して多段階評価値に対応付けたものである。本実施形態では、リスク度は、10段階評価であり、リスク度1が最も事故発生比率が低く、リスク度10が最も事故発生確率が高いものとする。
The
リスク算出部412は、例えば、記憶装置403に予め保存されたカテゴリ毎のリスク度を示すリスク情報を参照することにより、上記検知された対象物のそれぞれのリスク度を求めるものとすることができる。あるいは、リスク算出部412は、リスク算出の対象である対象物が分類されたカテゴリと、当該対象物の事故確率との関係を機械学習した学習済みのリスク算出モデルを用いて、その対象物のカテゴリについてのリスク度を算出するものとすることができる。
The
挙動検知部406は、挙動検知部306と同様に、室内カメラ144により操縦者の視線移動および顔移動を検知し、および操縦者が対象物を視認したか否かを判断する。具体的には、挙動検知部406は、操縦者の視線が対象物に滞留した時間が所定時間を越えたときに、操縦者がその対象物を視認したと判断する。
Similar to the
挙動検知部406は、更に、検知部132が検知した対象物について、操縦者がその対象物を視認したときから車両100についての何らかの操縦操作を開始するまでの実反応時間を計測する。本実施形態では、挙動検知部406は、上記操縦操作として、ブレーキペダルセンサ146及び又はアクセルペダルセンサ148により、ブレーキペダル又はアクセルペダルの操作を検知する。
The
反応スキル評価部410は、検知部132が検知した対象物のそれぞれについて、挙動検知部406が計測した実反応時間から、当該対象物が分類されたカテゴリについて予め定められた反応標準時間を減算して、反応遅れ時間を算出する。そして、反応スキル評価部410は、算出した反応遅れ時間に基づき、そのカテゴリについての操縦者の反応習熟度を算出して、カテゴリごとの反応習熟度を、反応習熟度情報414として記憶装置403に記憶する。
The reaction
反応習熟度は、例えば、5段階評価であり、反応遅れ時間(負数を含む)が小さいほど反応習熟度は小さな値をとるものとする。例えば、反応スキル評価部410は、反応遅れ時間について予め定められた閾値のセットを用いて、上記算出した反応遅れ時間を0以上4以下の反応習熟度のいずれかの数値に対応付けるものとすることができる。
The reaction proficiency level is, for example, a five-level evaluation, and the smaller the reaction delay time (including negative numbers), the smaller the reaction proficiency level. For example, the reaction
注意喚起部404は、図2に示す注意喚起部133と同様に、前方投光装置122を制御して、車両100のフロントガラス105上の水平方向に延在する帯状の表示範囲HAに、視覚表示VIを出力する。ただし、注意喚起部404は、注意喚起部133とは異なり、検知部132が検知した対象物のそれぞれの方向位置を示す視覚表示VIをフロントガラス105の表示範囲HAに表示する際に、その視覚表示VIを、少なくともリスク算出部412が当該対象物について算出したリスク度に応じた態様で表示する点が異なる。
The
例えば、注意喚起部404は、カテゴリのリスク度が10に近いほど、当該カテゴリに分類された対象物についての視覚表示VIを、誘目性がより高い態様で表示する。ここで、「誘目性がより高い態様で表示する」とは、例えば、リスク度が1から10に近づくに従って視覚表示VIの色相を寒色系から暖色系へ、より目立つ色に順次変化させることをいう。ただし、認知習熟度に応じて変化させる視覚表示VIの態様は、色相に限らず、輝度(色調)、点滅の速さ、サイズ等々であってもよい。 For example, the closer the risk level of a category is to 10, the more attractive the visual representation VI of the object classified into that category is. Here, "display in a more eye-catching manner" means, for example, sequentially changing the hue of the visual display VI from a cold color to a warm color to a more conspicuous color as the risk degree approaches 1 to 10. say. However, the aspect of the visual display VI to be changed according to the cognitive proficiency level is not limited to the hue, and may be brightness (color tone), flashing speed, size, or the like.
具体的には、例えば、注意喚起部404は、寒色系から暖色系までの10個の色を、1から10まで値をとる10個の色コードにより表す。そして、注意喚起部404は、少なくとも、検知された対象物のカテゴリについて算出された1から10までのリスク度の値を、同じ値の色コードに対応付けて、当該対応付けられた色コードに対応する色を用いて、当該対象物についての視覚表示VIを表示する。色コードと色との関係は、例えば、色コード1から10へ1段階ずつ増加するにつれて、視覚表示VIの表示色が、紫色、青紫色、青色、青緑色、緑色、黄緑色、黄色、黄橙色、橙色、赤色になるものと定義される。
Specifically, for example, the alerting
これにより、リスク度のより高い対象物について、より誘目性の高い視覚表示VIが提示されることとなるので、操縦者は、よりリスク度の高い対象物へと視線が誘導され得る。 As a result, a more eye-catching visual display VI is presented for an object with a higher degree of risk, so that the driver's line of sight can be guided to the object with a higher degree of risk.
本実施形態では、注意喚起部404は、さらに、上記リスク度に加えて、対象物のカテゴリごとの、操縦者の反応スキルを加味して、視覚表示VIの表示態様を決定する。具体的には、注意喚起部404は、対象物についての視覚表示VIを表示範囲HAに表示する際に、反応スキル評価部410が記憶装置403に記憶した操縦者についての反応習熟度情報414を参照する。
In the present embodiment, the
そして、注意喚起部404は、反応習熟度情報が示す上記対象物のカテゴリについての操縦者の反応習熟度(上述したとおり、本実施形態では、0から4の値を持つ)を、上述のリスク度に加算して、危険度を算出する。そして、注意喚起部404は、算出した危険度の値と同じ値を持つ色コードの色により、その対象物についての視覚表示VIを表示する。なお、算出した危険度が値10を超える対象物については、色コードの最大値10に対応する色により、その対象物についての視覚表示VIを表示するものとすることができる。
Then, the alerting
注意喚起部404は、また、検知された対象物のそれぞれについて、上記のように決定した表示態様(本実施形態では表示色)で視覚表示VIを表示した後に、操縦者がその対象物を視認していないと判断されるときは、当該対象物についての視覚表示VIの誘目性のレベルを時間と共に上昇させる。
The alerting
具体的には、例えば、注意喚起部404は、対象物についての視覚表示VIを表示した後の経過時間を計測し、所定の時間(例えば1秒)が経過するごとに、その視覚表示VIを現在より一つ上の色コードの色に変更することにより、その視覚表示VIの誘目性を上げていく。視覚表示VIの誘目性のレベルの上昇変化は、色コードが最高値10まで増加したところで停止するか、または、操縦者がその対象物を視認したことを挙動検知部406が検出したときに停止する。
Specifically, for example, the alerting
図10は、注意喚起部404がフロントガラス105に表示する視覚表示VIの一例を示している。図10に示す車両100の前方エリアの交通シーンおよび各対象物のカテゴリ分類は、図7の例と同じである。図10は、各対象物についての視覚表示VIの表示を開始した直後の状態を示している。このときの、各対象物の視覚表示VIの色、すなわち、車両201、バイク202、歩行者203、および車両204についての視覚表示VI-31、VI-32、VI-33、およびVI-34の色は、それぞれ、上述したように、車両201、バイク202、歩行者203、および車両204が分類されたカテゴリについてのリスク度に基づいて決定される。図10に示す例では、車両201、バイク202、歩行者203、および車両204が分類されたカテゴリについての、リスク度と反応習熟度を加算した危険度は、例えば、9、4、6、6であり、これに対応して、視覚表示VI-31、VI-32、VI-33、およびVI-34は、橙色、青緑色、黄緑色、黄緑色で表示される。
FIG. 10 shows an example of a visual display VI displayed on the
そして、これらの視覚表示VI-31、VI-32、VI-33、VI-34のそれぞれは、これらの視覚表示に対応する車両201、バイク202、歩行者203、および車両204を操縦者が視認するまで、それらの表示色が時間の経過とともに変化する。図11は、一例として、車両204に対する操縦者の視認が行われないまま時間が経過した場合の、当該車両204についての視覚表示VI-34の表示態様の変化を示す図である。
Each of these visual indications VI-31, VI-32, VI-33, and VI-34 allows the driver to visually recognize the
図11には、図示左から右へ順に、表示範囲HA内への表示開始時の視覚表示VI-34、並びに、表示開始から1秒後、2秒後、3秒後、及び4秒後の視覚表示VI-34が示されている。図11では、表示開始から3秒後に、視覚表示VI-34に対応する車両204を操縦者が視認したものとしている。
FIG. 11 shows, in order from left to right, visual display VI-34 at the start of display within display range HA, and visual display VI-34 after 1, 2, 3, and 4 seconds after start of display. A visual representation VI-34 is shown. In FIG. 11, it is assumed that the driver visually recognizes the
車両204の危険度は6(上述)であることから、表示開始時の視覚表示VI-34の色コードは6(黄緑色)である。その後、注意喚起部404は、1秒ごとに視覚表示VI-34を現在より一つ上の色コードの色に変更し、1秒後に色コード7(黄色)、2秒後に色コード8(黄橙色)、3秒後に色コード9(橙色)に変更する。そして、3秒後において、注意喚起部404は、操縦者が車両204を視認したことに応じて、視覚表示VI-34についての色コードのインクリメントを停止する。これにより、4秒後以降は、視覚表示VI-34は、色コード9(橙色)による表示が継続される。
Since the danger level of
上記の構成を有する注意喚起システム400は、注意喚起システム120と同様に、フロントガラス105上の帯状の表示範囲HAにおいて、対象物に対応する水平方向位置に視覚表示VIを表示する。このため、注意喚起システム400は、注意喚起システム120と同様に、操縦者の注意力を散逸させることなく、車両100の周囲環境に存在する様々な交通参加者に対する操縦者の注意を喚起することができる。
The
また、注意喚起システム400では、特に、対象物についての視覚表示VIは、少なくともその対象物のカテゴリについてのリスク度に応じた態様で表示される。このため、注意喚起システム300では、操縦者は、例えば車両100との接触リスクの程度に応じた優先度で各対象物を視認することができ、車両100の周囲環境に存在する様々な対象物に対する操縦者の注意が、当該操縦者の運転行動にとってより効果的な態様で喚起され得る。
Further, in the
また、注意喚起システム400では、対象物についての視覚表示VIの表示態様は、さらに、その対象物のカテゴリについての操縦者の反応習熟度にも基づいて決定される。このため、注意喚起システム300では、視認から操縦操作までの操縦者の実反応時間が標準反応時間に比べてより遅い対象物については、より誘目性の高い視覚表示VIにより示され得るので、車両100の周囲環境に存在する様々な対象物に対する操縦者の注意が、当該操縦者の反応行動の速さに応じた優先度で喚起され得る。
In addition, in the
また、注意喚起システム400では、注意喚起部404は、操縦者が対象物を視認していないと判断されるときは、その対象物についての視覚表示VIの誘目性のレベルを時間と共に上昇させる(本実施形態では、例えば、表示色をより暖色へ変更する)。これにより、注意喚起システム400では、操縦者がその対象物を視認しないまま長い時間が経過してしまうことが防止される。その結果、構成2の注意喚起システムでは、操縦者は、出現した対象物に対する対処行動が遅れてしまうのを避けることができる。
Further, in the
また、注意喚起システム400では、操縦者の視線が対象物に滞留した時間が所定時間を越えたときに、操縦者がその対象物を視認したと判断されるので、簡易な処理で、その対象物についての視認の有無が判断され得る。
In addition, in the
図12は、注意喚起システム400における動作の手順を示すフロー図である。図12に示す処理は、図9に示す検知部132が少なくとも一つの対象物を検知したときに、当該検知した対象物ごとに開始される。
FIG. 12 is a flow chart showing the procedure of operation in
処理を開始すると、まず、分類部308は、検知された対象物をカテゴリに分類する(S300)。また、リスク算出部412は、その対象物が分類されたカテゴリに基づいてリスク度を算出する(S302)。
When the process starts, first, the
また、注意喚起部404は、記憶装置403が記憶する反応習熟度情報414を参照し、その対象物のカテゴリについての反応習熟度を読み出す(S304)。次に、注意喚起部404は、リスク度と反応習熟度とに基づいて、その対象物についての視覚表示VIの表示態様を設定する(S306)。そして、注意喚起部404は、表示範囲HA内の対象物に対応する水平位置に、視覚表示VIを、上記設定した表示態様で表示する(S308)。
Further, the alerting
次に、注意喚起部404は、検知部132によりその対象物が検知されなくなったか否かを判断する(S310)。そして、その対象物が検知されなくなったときは(S310、YES)、注意喚起部404は、本処理を終了する。
Next, the alerting
一方、その対象物が検知され続けているときは(S310、NO)、注意喚起部404は、その対象物が既に視認されているか否かを判断する(S312)。そして、その対象物が既に視認されているときは(S312、YES)、注意喚起部404は、視覚表示VIの表示態様の設定を変更することなく、ステップS308に戻って処理を繰り返す。
On the other hand, when the object continues to be detected (S310, NO), the alerting
一方、その対象物が未だ視認されていないときは(S312、NO)、注意喚起部404は、挙動検知部406が検知する操縦者の視線移動により、操縦者がその対象物を視認したか否かを判断する(S314)。そして、操縦者が対象物を視認していないときは(S314、NO)、注意喚起部404は、視覚表示VIの表示態様を、現在の表示態様より誘目性を1段上げた表示態様に設定したのち(S316)、ステップS308に戻って処理を繰り返す。上述したように、本実施形態では、例えば、視覚表示VIに用いる表示色をより暖色(例えば赤色)に近い色に変更することで、視覚表示VIの表示態様の誘目性を1段引き上げる。
On the other hand, when the object has not yet been visually recognized (S312, NO), the alerting
一方、ステップS314において操縦者が対象物を視認しているときは(S314、YES)、反応スキル評価部410は、挙動検知部406が計測した実反応時間を取得する(S318)。続いて、反応スキル評価部410は、取得した実反応時間から、その対象物についての反応習熟度を算出し、算出した反応習熟度をその対象物のカテゴリに関連付けて、記憶装置403が記憶する反応習熟度情報414に追加保存する(S320)。その後、処理装置402は、視覚表示VIの表示態様の設定を変更することなく、ステップS308に戻って処理を繰り返す。
On the other hand, when the operator visually recognizes the object in step S314 (S314, YES), the reaction
[第4実施形態]
次に、本発明の第4の実施形態について説明する。図13は、本発明の第4の実施形態に係る注意喚起システム500の構成を示す図である。上述した第1の実施形態に係る注意喚起システム120では、操縦者の視線を誘導する対象は、車両100の前方に存在する対象物であるのに対し、本実施形態に係る注意喚起システム500は、車両100を中心とする360度の全方向を対象として、車両100の周囲における対象物の存在を操縦者に通知する。
[Fourth embodiment]
Next, a fourth embodiment of the invention will be described. FIG. 13 is a diagram showing the configuration of an
なお、図13において、図2に示す構成要素と同じ構成要素については、図2における符号と同じ符号を用いて示すものとし、上述した図2についての説明を援用する。 13, the same reference numerals as those in FIG. 2 are used for the same constituent elements as those shown in FIG. 2, and the above description of FIG. 2 is used.
注意喚起システム500は、車両100の室内構造物上に車両100の操縦者が視認可能な視覚表示を出力する前方投光装置122、左右投光装置504、および後方投光装置506と、これらの投光装置を制御して上記視覚表示により車両100の周囲の対象物に対する操縦者の注意を喚起する注意喚起装置502と、を備える。
The
図14は、車両100の車室内における投光装置の配置の例を示す図である。なお、図14において、図1に示す構成要素と同じ構成要素については、図1における符号と同じ符号を用いて示すものとし、上述した図1についての説明を援用する。
14A and 14B are diagrams showing an example of the arrangement of the light projection devices in the vehicle interior of the
車室前方のインストルメントパネル106には、前方投光装置122が設けられている。前方投光装置122は、図1を参照して説明した前方投光装置122であり、室内構造物としてのフロントガラス105の表示範囲HAに視覚表示VIを表示する。インストルメントパネル106には、従来技術に従いフロントガラス105に表示を行うHUD(ヘッドアップディスプレイ)156も設けられている。
A
左右投光装置504および後方投光装置506は、車両100のルーフの内側前方(車室内の前方)および内側後方に、それぞれ設けられている。左右投光装置504および後方投光装置506は、例えばプロジェクタである。左右投光装置504および後方投光装置506は、それぞれ、車両100の車室内の左右にある室内構造物、および車室内の後方にある室内構造物の所定の表示範囲に、視覚表示を投光する。本実施形態では、左右投光装置504が投光する室内構造物は、左ドアガラス158および右ドアガラス160である。また、後方投光装置506が視覚表示を投光する室内構造物は、例えばリアガラス162である。なお、車両100が左右にフロントベンチガラスを備えるときは、それらのフロントベンチガラスを、左右投光装置504が視覚表示を出力する室内構造物に含めてもよい。
The left and
左右投光装置504および後方投光装置506が視覚表示を表示する室内構造物上の上記所定の表示範囲は、例えば、図1に示した前方投光装置122におけるフロントガラス105上の表示範囲HAと同様に、車両100の車高方向と直交する水平方向に延在する帯状範囲である。
The predetermined display range on the indoor structure where the left and right
左右投光装置504および後方投光装置506が室内構造物に投光する視覚表示も、前方投光装置122がフロントガラス105に表示する視覚表示VIと同様に、所定サイズの投影光である。以下、左右投光装置504および後方投光装置506が室内構造物に投光する視覚表示も、前方投光装置122がフロントガラス105に投光する視覚表示と同様に、視覚表示VIと称するものとする。
The visual display projected onto the indoor structure by the left and right
図13を参照し、注意喚起装置502は、処理装置508と記憶装置510とを有する。記憶装置510は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。処理装置508は、例えば、CPU等のプロセッサを備えるコンピュータである。処理装置508は、プログラムが書き込まれたROM、データの一時記憶のためのRAM等を有する構成であってもよい。そして、処理装置508は、機能要素又は機能ユニットとして、検知部512と、注意喚起部514と、を備える。
Referring to FIG. 13 , alerting
処理装置508が備えるこれらの機能要素は、例えば、コンピュータである処理装置508がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置508が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
These functional elements provided by the
検知部512は、車両100の周囲エリアにある対象物を検知する。具体的には、検知部512は、車両100に設けられた前方物体センサ140、後方物体センサ150、右側方物体センサ152、および左側方物体センサ154により、それぞれ、車両100の前方エリア、後方エリア、右側方エリア、および左側方エリアにある対象物を検知する。後方物体センサ150、右側方物体センサ152、および左側方物体センサ154は、前方物体センサ140と同様に、例えば、カメラ、レーザ、及び又はライダである。
The
検知部512は、前方物体センサ140、後方物体センサ150、右側方物体センサ152、および左側方物体センサ154から、それぞれ、車両100の前方エリア、後方エリア、右側方エリア、および左側方エリアの映像を取得する。検知部512は、取得したこれらの映像から、所定の実在物を検知し、例えば車両100との相対速度から算出される車両100との接触確率が所定値以上である実在物を、対象物として検知する。本実施形態では、所定の実在物は、第1の実施形態と同様に、車両および歩行者を含む交通参加者並びに障害物等である。検知部512は、検知した対象物のそれぞれの位置情報を注意喚起部514へ送る。
ここで、前方物体センサ140、後方物体センサ150、右側方物体センサ152、および左側方物体センサ154は、例えば、車両100のフロントバンパー、リアバンパー、右フェンダーミラー・ボディ、及び左フェンダーミラー・ボディに設けられ得る。
Here, the
注意喚起部514は、検知部512が検知した車両100の周囲エリアに存在する対象物の方向を、視覚的な表示により、操縦者に通知する。具体的には、注意喚起部514は、前方投光装置122、左右投光装置504、および後方投光装置506を制御して、車両100の室内構造物上の所定の表示範囲内の、操縦者の位置から見た対象物の方向と一致する水平位置に、視覚表示VIを出力する。
The
より具体的には、注意喚起部514は、車両100を中心とする周囲をいくつかの角度エリアに分けて、検知部512が検知した対象物がいずれのエリアに存在するかに応じて、前方投光装置122、左右投光装置504、または後方投光装置506により、上記視覚表示VIを出力する。
More specifically, the alerting
図15は、車両100を中心とする角度エリアの例である。なお、図15において、図1に示す構成要素と同じ構成要素については図1における符号を用いて示すものとし、上述した図1についての説明を援用する。
FIG. 15 is an example of an angular area centered on the
図15に示す例では、車両100の操縦席に座った操縦者が顔を前方に向けたまま無理なく視認することのできる中心前方エリアCFAと、操縦者が顔を左右に45度程度回すことで視認が可能となる左前側方エリアLFAおよび右前側方エリアRFAと、が定義されている。また、図15に示す例では、操縦者が、身体を左右に軽くひねる程度で視認可能となる車両100の左側方エリアLAおよび右側方エリアRAが定義されている。
In the example shown in FIG. 15, there is a center front area CFA in which the operator sitting in the driver's seat of the
また、図15の例では、操縦者がルームミラー110、左フェンダミラー112、及び右フェンダミラー114により視認可能な後方エリアREAが定義されている。後方エリアREAは、さらに、操縦者がルームミラー110により視認可能なルームミラーエリアRMA、左フェンダミラー112により視認可能な左フェンダミラーエリアLFMA、及び右フェンダミラー114により視認可能な右フェンダミラーエリアRFMAに分けられる。
In addition, in the example of FIG. 15, a rear area REA that can be visually recognized by the operator through the
図15に示す残りのエリアは、左死角エリアLBAおよび右死角エリアRBAであり、操縦者が対象物を視認できないエリアでる。 The remaining areas shown in FIG. 15 are the left blind spot area LBA and the right blind spot area RBA, which are areas where the operator cannot visually recognize the object.
注意喚起部514は、検知部512が中心前方エリアCFA、左前側方エリアLFAおよび右前側方エリアRFAにおいて検知した対象物については、第1の実施形態に係る注意喚起部133と同様に、その対象物の方向を示す視覚表示VIを、前方投光装置122によりフロントガラス105上の表示範囲HAに表示する。
The alerting
これに加えて、注意喚起部514は、検知部512が左側方エリアLAおよび右側方エリアRAにおいて検知した対象物については、その対象物の方向を示す視覚表示VIを、左右投光装置504により左ドアガラス158および右ドアガラス160に、それぞれ表示する。
In addition to this, the alerting
また、注意喚起部514は、検知部512が後方エリアREAにおいて検知した対象物については、その対象物の方向を示す視覚表示VIを、後方投光装置506によりリアガラス162に表示する。
In addition, for the object detected by the
これにより、注意喚起部514は、操縦者から対象物を視認することができないエリアである左死角エリアLBAおよび右死角エリアRBAを除き、車両100のほぼ全周囲を対象として、車両100と接触する可能性のある対象物の方向を操縦者に知らせて、操縦者の注意を喚起し、およびその視線を誘導することができる。
As a result, attention-calling
注意喚起部514は、さらに、車両100からの方向を表す円表示を表示装置に表示する。そして、注意喚起部514は、上記円表示のうち、対象物の方向に対応する円弧部分に視覚表示を出力する。本実施形態では、上記表示装置はHUD156である。
具体的には、注意喚起部514は、左死角エリアLBAおよび右死角エリアRBAを含む車両100の全周囲を対象として、検知部512により検知された対象物の方向を示すレーダ様の表示画面を、HUD156に表示する。以下、注意喚起部514が対象物の方向を示すためにHUD156に表示するレーダ様表示画面を、対象物レーダ表示というものとする。
Specifically, the alerting
図16は、注意喚起部514がHUD156に表示する対象物レーダ表示の一例を示す図である。対象物レーダ表示520は、車両100を表す車両アイコン522と、車両100を中心とする360度の全周を表す円表示524と、で構成される。注意喚起部514は、円表示524の円弧に、対象物の方向に応じた視覚表示を出力する。具体的には、注意喚起部514は、円表示524のうち、検知部512が検知した対象物のある方向に対応する円弧部分に視覚表示ADを行う。図16の円表示524に示す上方に伸びた矢印526は、車両100の直進方向を示している。矢印526は、本実施形態では単に説明のために示されているが、対象物レーダ表示520の一部を構成するものとしてもよい。
FIG. 16 is a diagram showing an example of an object radar display displayed on the
図16に示す例では、円表示524のうち車両アイコン522の直進方向(矢印526が指す方向)から右へ約30度の円弧部分に視覚表示ADが示されており、この視覚表示ADにより、車両100の右30度前方に、車両100と接触する可能性のある対象物が存在していることが示されている。
In the example shown in FIG. 16, a visual display AD is shown in an arc portion of about 30 degrees to the right from the straight forward direction (the direction indicated by the arrow 526) of the
図17は、注意喚起部514による対象物レーダ表示520における種々の表示態様を表形式で示した図である。図17に示す表の1段目(最上段)は、検知された複数の対象物を、同じ態様の視覚表示により、それぞれ個別に表示する例である。図示の例では、円表示524に表示された視覚表示AD-10およびAD―12により、それぞれ、車両100の右30度付近と左15度付近に対象物が存在していることが示されている。
FIG. 17 is a diagram showing various display modes in the
図17に示す表の2段目の例は、1段目と同様に複数の対象物についてのそれぞれの視覚表示を個別に表示する例であるが、それぞれの視覚表示は、対応する対象物のリスクの程度に応じた態様、例えば車両100と接触する確率に応じた色で、表示されている。図示の例では、例えば、視覚表示AD-14は緑色で、視覚表示AD―16は黄色で表示されている。なお、車両100との接触確率は、例えば、検知部512が、検知した対象物と車両100との相対速度から算出し得る。注意喚起部514は、上記算出された相対速度の範囲と視覚表示に用いる表示色との対応関係を示す予め定められた対応情報に基づいて、検知された対象物についての視覚表示の表示色を決定し得る。
The example in the second row of the table shown in FIG. 17 is an example in which the respective visual representations of a plurality of objects are individually displayed in the same manner as in the first row, but each visual representation represents the corresponding object. It is displayed in a mode according to the degree of risk, for example, in a color according to the probability of contact with the
図17に示す表の3段目の例は、2段目と同様に複数の対象物についての視覚表示を、それらのリスクの程度に応じた態様で個別に表示する例である。ただし、3段目の例では、2段目の例とは異なり、リスクの程度が視覚表示の色ではなく、その大きさで示されている。図示の例では、例えば、視覚表示AD-18およびAD-20は、それぞれ、中心角が10度程度および20度程度の帯状円弧により表示されている。これにより、大きい方の視覚表示AD-20により示された対象物は、小さい方の視覚表示AD-18により示された対象物よりも接触確率が高いことが判る。なお、車両100との接触確率は、例えば、検知部512が、検知した対象物と車両100との相対速度から算出し得る。注意喚起部514は、上記算出された接触確率の範囲と視覚表示に用いる帯状円弧の中心角との対応関係を示す予め定められた対応情報に基づいて、検知された対象物についての視覚表示のサイズを決定し得る。
The example in the third row of the table shown in FIG. 17 is an example in which visual representations of a plurality of objects are individually displayed in a manner corresponding to the degree of their risk, similarly to the second row. However, in the example on the third row, unlike the example on the second row, the degree of risk is indicated not by the color of the visual display but by its size. In the illustrated example, for example, the visual indicators AD-18 and AD-20 are displayed by band-shaped arcs with central angles of about 10 degrees and about 20 degrees, respectively. It can be seen that the object represented by the larger visual representation AD-20 has a higher contact probability than the object represented by the smaller visual representation AD-18. The probability of contact with the
図17に示す表の4段目(最下段)の例は、車両100の周囲に所定数以上の数の対象物が検知されたときに、円表示524の全周に視覚表示を表示する例である。図示の例では、例えば、円表示524の全周に延在して視覚表示AD-22が表示されることにより、車両100の周囲に所定数である3個以上の対象物が検知されたことが通知される。なお、上記所定数は、3個に限らず、任意の数とすることができる。また、視覚表示AD22は、検知された複数の対象物の接触確率のうち、最も高い接触確率に応じた色で表示されるものとしてもよい。
The example in the fourth row (bottom row) of the table shown in FIG. 17 is an example in which a visual display is displayed on the entire circumference of the
上記の構成を有する注意喚起システム500は、注意喚起システム120と同様に、フロントガラス105上の帯状の表示範囲HAにおいて、対象物に対応する水平方向位置に視覚表示VIを表示する。このため、注意喚起システム500は、注意喚起システム120と同様に、操縦者の注意力を散逸させることなく、車両100の周囲環境に存在する様々な交通参加者に対する操縦者の注意を喚起することができる。
The
また、注意喚起システム500では、特に、車両100の側方及び後方に存在する対象物についても、操縦者から見たその方向を示す視覚表示VIを、室内構造物上の水平方向に延在する表示範囲に表示する。このため、注意喚起システム500では、操縦者が視認可能な車両100の周囲エリアの全てについて、対象物の方向を操縦者に提示して注意を喚起することができる。
In addition, in the
また、注意喚起システム500では、注意喚起部514は、視覚表示に加えて、車室内に設けられた室内スピーカ142により、操縦者に対し、対象物の方向定位のための音響を生成する。これにより、注意喚起システム500では、視覚および聴覚の両面から、対象物に対する操縦者の注意が喚起され得る。
In addition to the visual display, the
また、前方投光装置122、左右投光装置504、および後方投光装置506は、フロントガラス105等の室内構造物上に所定形状の光を投光することにより視覚表示VIを出力する。これにより、注意喚起システム500では、操縦者にとって直感的に把握し得る態様で視覚表示が提示され得る。
Further, the
また、注意喚起システム500では、前方投光装置122、左右投光装置504、および後方投光装置506が視覚表示VIを表示する室内構造物は、車両100のフロントガラス105、左ドアガラス158、右ドアガラス160、及び又はリアガラス162であり、車両100がこれを備える場合にはフロントベンチガラスであってもよい。すなわち、注意喚起システム500では、それらを通して車両100の外部を視認し得る室内構造物上に視覚表示が出力されるので、操縦者は、対象物についての注意が喚起されると同時に、その対象物を即座に視認することができる。
Further, in the
また、注意喚起システム500では、前方投光装置122は、フロントガラス105上に所定形状の光を投光することにより視覚表示VIを出力する。これにより、注意喚起システム500によれば、少なくともフロントガラス105上において、操縦者が最も注意する必要のある車両前方の情景に重ねて対象物の方向を示す視覚表示が表示されるので、車両100の操縦の際に特に注意すべき対象物について、操縦者の注意が効果的に喚起され得る。
Further, in the
また、フロントガラス105上に視覚表示VIを出力する前方投光装置122は、フロントガラス105の下方において水平方向(車幅方向)に沿って配された複数の光源で構成される。これにより、フロントガラス105上に視覚表示VIを出力する前方投光装置を、簡易な構成で実現することができる。
Further, the front
また、注意喚起システム500では、HUD156における円表示である対象物レーダ表示520において、操縦者にとっての死角を含む車両100の全周エリアについて、対象物の存在を操縦者に通知する。このため、注意喚起システム500では、操縦者は、車両100の全周囲における対象物の存在を円表示により一括して容易に把握することができ、車両100の周囲エリア全体の状況を容易に把握することができる。
Further, in alerting
また、対象物レーダ表示520は、対象物の方向を示す視覚表示ADを、車両100に対するその対象物の接触確率に応じた態様で表示するので、操縦者は、接触リスクの程度に応じた優先度で各対象物を視認することができ、移動体の周囲環境に存在する様々な対象物に対する操縦者の注意が、当該操縦者の運転行動にとってより効果的な態様で喚起され得る。
In addition, since the
また、対象物レーダ表示520は、対象物の数が所定数を越えた場合には、円表示524の円周の全体に延在する視覚表示ADを表示するので、操縦者は、多数の対象物の一つ一つに気を取られることがない。このため、注意喚起システム500では、操縦者は、注意力を散逸させることなく、車両100の周囲の対象物の存在を把握することができる。
The
また、注意喚起システム500では、対象物は、車両100との接触確率が所定値以上である実在物である。これにより、注意喚起システム500では、車両100の運行にとってリスクとなり得る実在物に絞り込んで、その方向を示す視覚表示が示されるので、操縦者に対し、その注意力を散逸させることなく、対象物に対する注意を喚起することができる。
Further, in the
図18は、注意喚起システム500における動作の手順を示すフロー図である。図18に示す処理は、図13に示す検知部512が少なくとも一つの対象物を検知したときに、当該検知した対象物ごとに開始される。
FIG. 18 is a flow chart showing the procedure of operation in
処理を開始すると、まず、注意喚起部514は、検知された対象物の方向と一致する室内構造物上の水平位置に、視覚表示VIを表示する(S400)。また、注意喚起部514は、HUD156の対象物レーダ表示520に、上記検知された対象物の方向を示す視覚表示ADを表示する(S402)。このとき、注意喚起部514は、図17に示すように、検知部512により検知されているその対象物の、車両100との接触確率に応じた態様で、視覚表示ADを表示するものとすることができる。また、注意喚起部514は、検知部512により検知されている対象物の数が所定数を越えているときは、円表示524の全周に延在する視覚表示ADを表示するものとしてもよい。
When the process starts, first, the alerting
また、注意喚起部514は、上記対象物が検知されたエリアが中心前方エリアCFAであるか否かを判断する(S404)。そして、上記対象物が検知されたエリアが中心前方エリアCFAでないときは(S404、NO)、室内スピーカ142により、操縦者に対し、上記対象物の方向定位のための音響を出力する(S406)。
Further, the alerting
続いて、注意喚起部514は、検知部512によりその対象物が検知されなくなったか否かを判断する(S408)。そして、注意喚起部514は、その対象物が検知されなくなったときは(408、YES)、処理を終了する。
Subsequently, the alerting
一方、ステップS404において、上記対象物が検知されたエリアが中心前方エリアCFAであるときは(S404、YES)、注意喚起部514は、音響を出力することなく、ステップS408に処理を移す。また、一方、ステップS408において、上記対象物が検知され続けているときは(S408、NO)、注意喚起部514は、ステップS400に戻って処理を繰り返す。
On the other hand, in step S404, when the area in which the object is detected is the center front area CFA (S404, YES), the alerting
なお、本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。 It should be noted that the present invention is not limited to the configurations of the above-described embodiments, and can be implemented in various forms without departing from the gist of the present invention.
例えば、上述した各実施形態においては、対象物となり得る所定の実在物は、車両や歩行者等の移動する実在物に限らず、踏切、信号機、交通電光掲示板、交通標識等を含む交通基盤要素(Traffic Infrastructure)であってもよい。 For example, in each of the above-described embodiments, the predetermined real objects that can be objects are not limited to moving real objects such as vehicles and pedestrians, but also traffic infrastructure elements including railroad crossings, traffic lights, traffic electronic bulletin boards, traffic signs, etc. (Traffic Infrastructure).
また、注意喚起システム120、300、400、500が搭載される移動体は、車両に限らず、航空機、船舶等の、操縦者がその動きを操作する任意の移動体であり得る。
Also, the mobile body on which the
また、注意喚起システム120、300、400、500の任意の一つが備える技術的特徴は、これらの注意喚起システムの他の一つにおいても備えるものとすることができる。たとえば、注意喚起システム300,400において実現される、認知習熟度、リスク度、及び又は反応習熟度に応じた態様での、フロントガラス105への視覚表示VIの表示は、注意喚起システム500の、左ドアガラス158、右ドアガラス160、リアガラス162における視覚表示VIにおいても用いられ得る。
Moreover, the technical features provided by any one of the alerting
例えば、注意喚起システム500は、注意喚起装置502において、図5に示す挙動検知部306、分類部308、認知スキル評価部310を備えることにより、及び又は図9に示す挙動検知部406、リスク算出部412、反応スキル評価部410を備えることにより、上記認知習熟度、リスク度、及び又は反応習熟度に応じた態様で、視覚表示VIを出力するものとすることができる。
For example, the alerting
また、注意喚起システム500においては、注意喚起部514は、図15に示すルームミラーエリアRMA、左フェンダミラーエリアLFMA、及び右フェンダミラーエリアRFMAにおいて対象物が検知されたときは、それぞれ、ルームミラー110、左フェンダミラー112、および右フェンダミラー114の鏡面上に定義され得る所定の表示範囲に、視覚表示を出力してもよい。
Further, in the
また、上述した各実施形態において、視覚表示VIは、矩形に限らず、任意の形状であり得る。そのような形状は、円形、三角形等の任意の多角形、あるいは線分であり得る。 Also, in each of the above-described embodiments, the visual display VI is not limited to a rectangle, and may be of any shape. Such a shape can be a circle, any polygon such as a triangle, or a line segment.
また、注意喚起システム500では、必ずしも、前方投光装置122、左右投光装置504、後方投光装置506の3つの投光装置を備える必要はない。投光装置は少なくとも一つあればよく、一つの投光装置でフロントガラス105、左ドアガラス158、右ドアガラス160、リアガラス162等の所定の室内構造物の全てに、視覚表示VIを出力してもよい。
Also, the alerting
また、左右投光装置504および又は後方投光装置506は、前方投光装置122と同様に、表示対象である左ドアガラス158および右ドアガラス160、並びにリアガラス162のそれぞれの下方に設けられた光源アレイであってもよい。
Further, the left and right
また、フロントガラス105、左ドアガラス158、右ドアガラス160、およびリアガラス162は、必ずしもガラスである必要はなく、これらを通して操縦者が車両100の周囲の対象物を視認できる透明度(光透過率)を有する任意の素材で構成され得る。
Further, the
[上記実施形態によりサポートされる構成]
上記実施形態は、以下の構成をサポートする。
[Configuration supported by the above embodiment]
The above embodiment supports the following configurations.
(構成1)移動体のフロントガラス上に前記移動体の操縦者が視認可能な視覚表示を出力する投光装置と、前記投光装置を制御して、前記視覚表示により前記移動体の周囲の対象物に対する前記操縦者の注意を喚起する注意喚起装置と、を備える、注意喚起システムであって、前記注意喚起装置は、前記移動体の周囲エリアにある対象物を検知する検知部と、前記移動体の室内に備えられた室内カメラにより、前記移動体の操縦者の視線移動および顔の向きの移動を検知する挙動検知部と、検知された前記対象物のそれぞれを、少なくとも前記対象物の種別および前記対象物が存在する交通シーンに基づいて、複数のカテゴリのいずれかに分類する分類部と、前記挙動検知部が検知した前記操縦者の視線移動および顔の向きの移動の態様に基づいて、前記カテゴリのそれぞれに属する対象物についての認知の習熟度合いを示す認知習熟度を算出し、前記カテゴリごとの前記認知習熟度を認知習熟度情報として記憶装置に記憶する認知スキル評価部と、前記投光装置を制御して前記移動体のフロントガラス上の所定の表示範囲に視覚表示を出力する注意喚起部と、を有し、前記表示範囲は、前記フロントガラス上の、前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記注意喚起部は、前記検知された対象物のそれぞれの方向位置を示す前記視覚表示を、前記認知習熟度情報に基づき、当該対象物の前記カテゴリについて算出された前記操縦者の前記認知習熟度に応じた態様で、前記フロントガラス上の前記表示範囲内に表示する、注意喚起システム。
構成1の注意喚起システムでは、操縦者の位置から見た対象物の水平方向位置と同じ水平方向位置に視覚表示が、その対象物のカテゴリについての操縦者の認知習熟度に応じた態様で表示される。このため、構成1の注意喚起システムでは、操縦者は、表示された視覚表示VIにより、認知習熟度に応じた優先度で各対象物を視認することができ、移動体の周囲環境に存在する様々な交通参加者に対する操縦者の注意が、当該操縦者の運転行動にとってより効果的な態様で喚起され得る。
(Configuration 1) A light projecting device for outputting a visual display visible to the operator of the moving body on the windshield of the moving body, and controlling the light projecting device to display the surroundings of the moving body by the visual display. an alerting device that alerts the operator to an object, wherein the alerting device includes a detection unit that detects an object in an area around the moving object; an indoor camera provided in a room of the moving object, a behavior detection unit for detecting movement of the line of sight and movement of the face of the operator of the moving object; A classifying unit that classifies the object into one of a plurality of categories based on the type and the traffic scene in which the object exists; a cognitive skill evaluation unit that calculates a cognitive proficiency level indicating a cognitive proficiency level for an object belonging to each of the categories, and stores the cognitive proficiency level for each category as cognitive proficiency level information in a storage device; and a warning unit that controls the light projecting device to output a visual display in a predetermined display range on the windshield of the moving body, wherein the display range is on the windshield of the moving body. A band-shaped range extending in a horizontal direction that is a width direction, wherein the alerting unit displays the visual display indicating the directional position of each of the detected objects based on the cognitive proficiency level information. A warning system that displays within the display range on the windshield in a manner corresponding to the cognitive proficiency of the operator calculated for the category of the object.
In the alerting system of
(構成2)前記対象物についての前記カテゴリごとの前記認知習熟度は、前記操縦者が前記対象物への視認の際に、当該対象物への視線移動に先行して、当該対象物の方向へ顔を移動したか否かに基づいて算出される、構成1に記載の注意喚起装置。
構成2の注意喚起システムでは、操縦者について、認知の計画性を表す視線移動前の顔移動の有無に基づいて対象物のカテゴリごとの認知習熟度が算出されるので、簡易な処理で認知習熟度が算出され得る。
(Configuration 2) The cognitive proficiency level for each of the categories of the object is determined in advance of the movement of the line of sight to the object when the operator visually recognizes the object. The alerting device according to
In the alerting system of
(構成3)前記対象物についての前記カテゴリごとの前記認知習熟度は、さらに、当該対象物が、他の前記対象物への視線の移動に際して当該視線が通過した実在物であるか否か、および当該視線の移動は先行する顔の移動を伴うものであったか否か、に基づいて定められる、構成2に記載の注意喚起装置。
構成3の注意喚起システムでは、特定の対象物を視認するための計画的な視線移動に伴って視線が通過した対象物か否かによっても、当該対象物(すなわち、視線が通過した対象物)のカテゴリについての認知習熟度が判断される。このため、構成3の注意喚起システムでは、視認の対象でなかった対象物についても、その操縦者の視線の移動経路の傾向に基づく認知習熟度が把握されて、視覚表示の表示態様に反映され得る。
(Configuration 3) The cognitive proficiency level for each category of the object further includes whether or not the object is a real object through which the line of sight passes when moving the line of sight to another object; and whether or not the movement of the line of sight was accompanied by a preceding movement of the face.
In the alerting system of
(構成4)コンピュータにより実行される注意喚起方法であって、移動体の周囲エリアにある対象物を検知するステップと、前記移動体の室内に備えられた室内カメラにより、前記移動体の操縦者の視線移動および顔の向きの移動を検知するステップと、検知された前記対象物のそれぞれを、少なくとも前記対象物の種別および前記対象物が存在する交通シーンに基づいて、複数のカテゴリのいずれかに分類するステップと、前記操縦者の視線移動および顔の向きの移動の態様に基づいて、前記カテゴリのそれぞれに属する対象物についての認知の習熟度合いを示す認知習熟度を算出し、前記カテゴリごとの前記認知習熟度を認知習熟度情報として記憶装置に記憶するステップと、前記移動体のフロントガラス上の所定の表示範囲に視覚表示を出力するステップと、を有し、前記表示範囲は、前記フロントガラス上の、前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記視覚表示を出力するステップでは、前記検知された対象物のそれぞれの方向位置を示す前記視覚表示を、前記認知習熟度情報に基づき、当該対象物の前記カテゴリについて算出された前記操縦者の前記認知習熟度に応じた態様で、前記フロントガラス上の前記表示範囲内に表示する、注意喚起方法。
構成4の注意喚起方法によれば、プログラムをコンピュータにより実行することによって、構成1の注意喚起システムの構成を実現することができる。
(Configuration 4) A computer-executed alerting method, comprising: a step of detecting an object in an area around a moving body; and classifying each detected object into one of a plurality of categories based on at least the type of the object and the traffic scene in which the object is present. and calculating a cognitive proficiency level indicating a proficiency level of cognition for an object belonging to each of the categories, based on the operator's line-of-sight movement and face direction movement, and calculating the cognitive proficiency level for each of the categories. storing the cognitive proficiency level of as cognitive proficiency level information in a storage device; and outputting a visual display to a predetermined display range on the windshield of the moving body, wherein the display range is the a band-shaped area on the windshield extending in a horizontal direction that is a width direction of the moving body, wherein in the step of outputting the visual display, the visual display indicating the directional position of each of the detected objects; is displayed within the display range on the windshield in a manner corresponding to the cognitive proficiency level of the operator calculated for the category of the object based on the cognitive proficiency level information. .
According to the alerting method of
100、200、201、204…車両、102…操縦席、103…助手席、104…ステアリングホイール、105…フロントガラス、106…インストルメントパネル、110…ルームミラー、112…左フェンダミラー、114…右フェンダミラー、120、300、400、500…注意喚起システム、122…前方投光装置、124、324、424、502…注意喚起装置、130、302、402、508…処理装置、131、303、403…記憶装置、132、512…検知部、133、304、404、514…注意喚起部、140…前方物体センサ、142…室内スピーカ、144…室内カメラ、146…ブレーキペダルセンサ、148…アクセルペダルセンサ、150…後方物体センサ、152…右側方物体センサ、154…左側方物体センサ、156…HUD、158…左ドアガラス、160…右ドアガラス、162…リアガラス、202…バイク、203…歩行者、306、406…挙動検知部、308…分類部、310…認知スキル評価部、312…認知習熟度情報、410…反応スキル評価部、412…リスク算出部、414…反応習熟度情報、504…左右投光装置、506…後方投光装置、520…対象物レーダ表示、522…車両アイコン、524…円表示、526…矢印、、HA…表示範囲、AD、AD-10、AD-12、AD-14、AD-16、AD-18、AD-20、AD-22、VI、VI-11、VI-12、VI-13、VI-14、VI-21、VI-22、VI-23、VI-24、VI-31、VI-32、VI-33、VI-34…視覚表示。
Claims (5)
前記投光装置を制御して、前記視覚表示により前記移動体の周囲の対象物に対する前記操縦者の注意を喚起する注意喚起装置と、
を備える、注意喚起システムであって、
前記注意喚起装置は、
前記移動体の周囲エリアにある対象物を検知する検知部と、
前記移動体の室内に備えられた室内カメラにより、前記移動体の操縦者の視線移動および顔の向きの移動を検知する挙動検知部と、
検知された前記対象物のそれぞれを、少なくとも前記対象物の種別および前記対象物が存在する交通シーンに基づいて、複数のカテゴリのいずれかに分類する分類部と、
前記挙動検知部が検知した前記操縦者の視線移動および顔の向きの移動の態様に基づいて、前記カテゴリのそれぞれに属する対象物についての、当該対象物の認知に至るまでの前記操縦者の行動の計画性の程度である認知の習熟度合いを示す認知習熟度を算出し、前記カテゴリごとの前記認知習熟度を認知習熟度情報として記憶装置に記憶する認知スキル評価部と、
前記投光装置を制御して前記移動体のフロントガラス上の所定の表示範囲に視覚表示を出力する注意喚起部と、
を有し、
前記表示範囲は、前記フロントガラス上の、前記移動体の幅方向である水平方向に延在する帯状範囲であって、
前記注意喚起部は、前記検知された対象物のそれぞれの方向位置を示す前記視覚表示を、前記認知習熟度情報に基づき、当該対象物の前記カテゴリについて算出された、前記操縦者の前記認知習熟度に応じた態様で、前記フロントガラス上の前記表示範囲内に表示し、
前記対象物についての前記カテゴリごとの前記認知習熟度は、前記計画性の存在有無を表す指標として、前記操縦者が前記対象物への視認の際に、当該対象物への視線移動に先行して、当該対象物の方向へ顔を移動したか否かに基づいて算出され、
前記対象物への視線移動に先行して当該対象物の方向へ顔を移動したときは、前記対象物への視線移動に先行して当該対象物の方向へ顔を移動しないときに比べて、前記対象物についての前記操縦者の前記認知の習熟度は高いものと判断される、
注意喚起システム。 a light projecting device that outputs a visual display visible to an operator of the moving body on the windshield of the moving body;
an alerting device that controls the light projecting device and alerts the operator to objects around the moving body by the visual display;
An alert system comprising
The alert device is
a detection unit that detects an object in an area around the moving object;
a behavior detection unit that detects movement of the line of sight and movement of the face of the operator of the mobile object using an indoor camera provided in the room of the mobile object;
a classification unit that classifies each of the detected objects into one of a plurality of categories based on at least the type of the object and the traffic scene in which the object exists;
Actions of the operator up to recognition of objects belonging to each of the categories based on the movement of the driver's line of sight and the movement of the face direction detected by the behavior detection unit. a cognitive skill evaluation unit that calculates a cognitive proficiency level indicating a degree of cognitive proficiency that is the degree of planning, and stores the cognitive proficiency level for each category in a storage device as cognitive proficiency level information;
a warning unit that controls the light projecting device to output a visual display to a predetermined display range on the windshield of the moving object;
has
The display range is a strip-shaped range extending horizontally in the width direction of the moving object on the windshield,
The alerting unit displays the visual display indicating the directional position of each of the detected objects according to the cognitive proficiency of the operator calculated for the category of the object based on the cognitive proficiency information. Display within the display range on the windshield in a manner according to the degree,
The cognitive proficiency level for each category of the object is used as an index representing the existence or non-existence of the planning ability, and is used prior to movement of the line of sight to the object when the operator visually recognizes the object. is calculated based on whether the face has moved in the direction of the object,
When the face is moved in the direction of the object prior to the movement of the line of sight to the object, compared to when the face is not moved in the direction of the object prior to the movement of the line of sight to the object, It is determined that the operator's proficiency in cognition of the object is high,
alert system.
一の前記対象物への視線の移動が、先行する顔の移動を伴う場合において、当該視線が他の前記対象物を通過したときは、当該他の対象物についての前記認知の習熟度は、当該一の対象物についての前記認知の習熟度より低いものと判断される、
請求項1に記載の注意喚起システム。 The cognitive proficiency level for each category of the object is further used as an index representing the existence or non-existence of the planning, as an index indicating whether or not the object has moved the line of sight to another object through which the line of sight has passed. It is determined based on whether it is an object and whether the movement of the line of sight to the one object was accompanied by a preceding movement of the face,
When the movement of the line of sight to one of the objects is accompanied by the preceding movement of the face, when the line of sight passes through the other object, the cognitive proficiency of the other object is is judged to be lower than the cognitive proficiency of the one object,
The alerting system according to claim 1 .
当該視線が先行する顔の移動を伴う場合の当該他の対象物は、当該視線の移動が先行する顔の移動を伴わない場合の当該他の対象物に比べて、前記操縦者の前記認知の習熟度は高いものと判断される、
請求項2に記載の注意喚起システム。 When the line of sight moving to one of the objects passes through the other of the objects,
The other object when the line of sight is accompanied by a preceding facial movement is more likely to be recognized by the operator than the other object when the line of sight is not accompanied by a preceding facial movement. judged to be highly proficient,
The alerting system according to claim 2 .
当該視線が通過した当該他の対象物は、当該一の対象物に比べて、前記操縦者の前記認知の習熟度は低いものと判断される、
請求項3に記載の注意喚起システム。 When the movement of the line of sight to one of the objects is not accompanied by the preceding movement of the face, when the line of sight passes through the other object,
It is determined that the other object through which the line of sight has passed is lower in the recognition proficiency of the operator than the one object.
The alerting system according to claim 3 .
移動体の周囲エリアにある対象物を検知するステップと、
前記移動体の室内に備えられた室内カメラにより、前記移動体の操縦者の視線移動および顔の向きの移動を検知するステップと、
検知された前記対象物のそれぞれを、少なくとも前記対象物の種別および前記対象物が存在する交通シーンに基づいて、複数のカテゴリのいずれかに分類するステップと、
前記操縦者の視線移動および顔の向きの移動の態様に基づいて、前記カテゴリのそれぞれに属する対象物についての、当該対象物の認知に至るまでの前記操縦者の行動の計画性の程度である認知の習熟度合いを示す認知習熟度を算出し、前記カテゴリごとの前記認知習熟度を認知習熟度情報として記憶装置に記憶するステップと、
前記移動体のフロントガラス上の所定の表示範囲に視覚表示を出力するステップと、
を有し、
前記表示範囲は、前記フロントガラス上の、前記移動体の幅方向である水平方向に延在する帯状範囲であって、
前記視覚表示を出力するステップでは、前記検知された対象物のそれぞれの方向位置を示す前記視覚表示を、前記認知習熟度情報に基づき、当該対象物の前記カテゴリについて算出された、前記操縦者の前記認知習熟度に応じた態様で、前記フロントガラス上の前記表示範囲内に表示し、
前記対象物についての前記カテゴリごとの前記認知習熟度は、前記計画性の存在有無を表す指標として、前記操縦者が前記対象物への視認の際に、当該対象物への視線移動に先行して、当該対象物の方向へ顔を移動したか否かに基づいて算出され、
前記対象物への視線移動に先行して当該対象物の方向へ顔を移動したときは、前記対象物への視線移動に先行して当該対象物の方向へ顔を移動しないときに比べて、前記対象物についての前記操縦者の前記認知の習熟度は高いものと判断される、
注意喚起方法。 A computer implemented reminder method comprising:
detecting objects in an area surrounding the moving object;
a step of detecting movement of the line of sight and movement of the face direction of the operator of the moving body by an indoor camera provided in the room of the moving body;
classifying each of the detected objects into one of a plurality of categories based at least on the type of the object and the traffic scene in which the object is located;
It is the degree of planned behavior of the operator up to recognition of the object belonging to each of the categories, based on the movement of the operator's line of sight and the movement of the face direction. a step of calculating a cognitive proficiency level indicating a cognitive proficiency level, and storing the cognitive proficiency level for each of the categories as cognitive proficiency level information in a storage device;
outputting a visual display to a predetermined display area on the vehicle's windshield;
has
The display range is a strip-shaped range extending horizontally in the width direction of the moving object on the windshield,
In the step of outputting the visual representation, the visual representation indicating the directional position of each of the sensed objects is displayed by the operator based on the cognitive proficiency information and calculated for the category of the object. Display within the display range on the windshield in a manner according to the cognitive proficiency,
The cognitive proficiency level for each category of the object is used as an index representing the existence or non-existence of the planning ability, and is used prior to movement of the line of sight to the object when the operator visually recognizes the object. is calculated based on whether the face has moved in the direction of the object,
When the face is moved in the direction of the object prior to the movement of the line of sight to the object, compared to when the face is not moved in the direction of the object prior to the movement of the line of sight to the object, It is determined that the operator's proficiency in cognition of the object is high,
Awareness method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021040551A JP7332644B2 (en) | 2021-03-12 | 2021-03-12 | Alert system and alert method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021040551A JP7332644B2 (en) | 2021-03-12 | 2021-03-12 | Alert system and alert method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022139952A JP2022139952A (en) | 2022-09-26 |
JP7332644B2 true JP7332644B2 (en) | 2023-08-23 |
Family
ID=83399793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021040551A Active JP7332644B2 (en) | 2021-03-12 | 2021-03-12 | Alert system and alert method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7332644B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016197407A (en) | 2015-04-03 | 2016-11-24 | 株式会社デンソー | Information presentation apparatus |
WO2017195405A1 (en) | 2016-05-11 | 2017-11-16 | ソニー株式会社 | Image processing apparatus, image processing method, and mobile body |
JP2020166542A (en) | 2019-03-29 | 2020-10-08 | パナソニックIpマネジメント株式会社 | Driving support device, driving support method, driving support program and vehicle |
-
2021
- 2021-03-12 JP JP2021040551A patent/JP7332644B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016197407A (en) | 2015-04-03 | 2016-11-24 | 株式会社デンソー | Information presentation apparatus |
WO2017195405A1 (en) | 2016-05-11 | 2017-11-16 | ソニー株式会社 | Image processing apparatus, image processing method, and mobile body |
JP2020166542A (en) | 2019-03-29 | 2020-10-08 | パナソニックIpマネジメント株式会社 | Driving support device, driving support method, driving support program and vehicle |
Also Published As
Publication number | Publication date |
---|---|
JP2022139952A (en) | 2022-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11505201B2 (en) | Vehicle automated driving system | |
EP3216667B1 (en) | Control system for vehicle | |
JP5880093B2 (en) | Vehicle display device | |
JP6147824B2 (en) | Display system and display method for vehicle, particularly commercial vehicle | |
JP4943367B2 (en) | Vehicle information display device | |
US8958977B2 (en) | Vehicle perimeter monitor | |
US9776559B2 (en) | Vehicular display system | |
KR20210127267A (en) | Vehicle and method for controlling thereof | |
JP2008030729A (en) | Vehicular display device | |
JP2009154775A (en) | Attention awakening device | |
JP7332644B2 (en) | Alert system and alert method | |
JP2022139953A (en) | Alert system and alert method | |
WO2022190630A1 (en) | Line-of-sight guidance device, alert system, alert method, and program | |
JP2022139951A (en) | Alert system and alert method | |
US20220292838A1 (en) | Vehicular display apparatus | |
CN116761737A (en) | Sight line guiding device, attention reminding system, attention reminding method, and program | |
JPS61162778A (en) | Recognition for surrounding environment of vehicle | |
US20230249614A1 (en) | Method and system for displaying external communication message | |
WO2021015090A1 (en) | Control device | |
JP2023166219A (en) | Driving support device | |
JP2020185997A (en) | Vehicular display system | |
CN114347904A (en) | Vehicle driving range prompting warning and display system, method, medium and equipment | |
JP2021018807A (en) | Controller | |
JPH054078U (en) | Inter-vehicle distance detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230801 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7332644 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |