JP5946349B2

JP5946349B2 - Driving simulator

Info

Publication number: JP5946349B2
Application number: JP2012163612A
Authority: JP
Inventors: 敬菱沼
Original assignee: Japan Radio Co Ltd
Current assignee: Japan Radio Co Ltd
Priority date: 2012-07-24
Filing date: 2012-07-24
Publication date: 2016-07-06
Anticipated expiration: 2032-07-24
Also published as: JP2014025963A

Description

本発明は、模擬車両を操作する被験者の視線方向を判定するドライビングシミュレータに関する。 The present invention relates to a driving simulator that determines a line-of-sight direction of a subject who operates a simulated vehicle.

ドライビングシミュレータは、コンピュータグラフィックスを利用して作成された道路、信号機、歩行者、他車両等の映像を表示部に表示させ、ドライバである被験者がその映像に従って模擬車両を操作することにより、運転技術の習得や被験者による各種操作データを取得するものである。 A driving simulator displays images of roads, traffic lights, pedestrians, other vehicles, etc. created using computer graphics on the display unit, and a test subject who is a driver operates a simulated vehicle according to the images. It is to acquire technology and various operation data by subjects.

例えば、特許文献１は、映像中の風景に複数の模擬事象を出現させ、顔画像センサを用いて被験者の顔画像を取得し、被験者が注視した模擬事象を抽出するドライビングシミュレータを開示している。このドライビングシミュレータは、被験者の行動解析等を行うため、抽出された模擬事象を表示させ、被験者に脇見運転を誘発させることを目的としている。 For example, Patent Document 1 discloses a driving simulator that causes a plurality of simulated events to appear in a scene in a video, acquires a face image of a subject using a face image sensor, and extracts a simulated event that the subject gazes at. . This driving simulator is intended to display the extracted simulated event and to induce the subject to look aside in order to analyze the behavior of the subject.

特開２０１０−１５１９４２号公報JP 2010-151942 A

しかしながら、上記の特許文献１は、模擬事象が人である場合、その人の視線方向と、被験者の視線方向との関係についてまでは考慮していない。例えば、実際に道路を走行する場合、ドライバは、歩行者が自車に気が付いているか否かを判定し、その判定結果に基づいて最徐行すべきか否かを判断する。また、右折しようとする対向車がある場合、対向車が自車に気が付いているか否かを判定し、その判定結果に基づいて徐行すべきか否かを判断する。これらの判定は、歩行者や対向車のドライバの視線方向（顔向き）を確認して行われる。特許文献１では、歩行者や対向車の視線方向が考慮されていないため、実際の走行時におけるドライバの状況判断に対応した有効な情報を取得することができないおそれがある。 However, when the simulated event is a person, the above Patent Document 1 does not consider the relationship between the person's line-of-sight direction and the subject's line-of-sight direction. For example, when actually driving on a road, the driver determines whether or not the pedestrian is aware of the vehicle and determines whether or not to slow down based on the determination result. When there is an oncoming vehicle that is about to turn right, it is determined whether or not the oncoming vehicle is aware of the host vehicle, and it is determined whether or not to slow down based on the determination result. These determinations are made by confirming the line-of-sight direction (face orientation) of a pedestrian or oncoming driver. In Patent Document 1, since the line-of-sight directions of pedestrians and oncoming vehicles are not taken into account, there is a possibility that effective information corresponding to the situation determination of the driver during actual traveling cannot be acquired.

本発明は、前記の不具合を解消するためになされたものであって、映像の視線方向と被験者の視線方向との関係に基づき、実際の走行時におけるドライバの判断に対応して、被験者が適切に状況判断したか否かを判定することのできるドライビングシミュレータを提供することを目的とする。 The present invention has been made in order to solve the above-described problems, and the subject is appropriate for the judgment of the driver during actual driving based on the relationship between the visual line direction of the video and the visual line direction of the subject. It is an object of the present invention to provide a driving simulator that can determine whether or not a situation has been determined.

本発明に係るドライビングシミュレータは、被験者が操作する模擬車両と、前記被験者の操作による前記模擬車両の運動データを計算する模擬車両運動計算部と、前記運動データに基づいて前記模擬車両を制御する模擬車両制御部と、前記運動データに基づき、前記模擬車両が走行する道路を含む映像と、歩行者又は対向車のドライバの少なくとも一方の視線方向を示す映像とを生成する映像生成部と、生成された前記映像を表示する表示部と、前記被験者の視線方向を検出する視線センサと、前記映像における前記視線方向と、前記視線センサにより検出された前記被験者の前記視線方向との関係を判定する視線方向判定部と、を備えることを特徴とする。 The driving simulator according to the present invention includes a simulated vehicle operated by a subject, a simulated vehicle motion calculation unit that calculates motion data of the simulated vehicle by the operation of the subject, and a simulation that controls the simulated vehicle based on the motion data. A vehicle control unit, and a video generation unit that generates a video including a road on which the simulated vehicle travels and a video indicating a sight line direction of at least one of a pedestrian or an oncoming driver based on the motion data. A display unit that displays the video, a gaze sensor that detects the gaze direction of the subject, and a gaze that determines a relationship between the gaze direction in the video and the gaze direction of the subject detected by the gaze sensor. A direction determination unit.

前記ドライビングシミュレータにおいて、前記視線方向判定部により、前記映像における前記視線方向と、前記被験者の前記視線方向とが所定の一致範囲内にないと判定されたとき、警告を行う警告部を備えることを特徴とする。 The driving simulator includes a warning unit that issues a warning when the line-of-sight direction determination unit determines that the line-of-sight direction in the video and the line-of-sight direction of the subject are not within a predetermined matching range. Features.

本発明のドライビングシミュレータでは、歩行者又は対向車のドライバの少なくとも一方の視線方向を示す映像を表示させ、被験者の視線方向を検出し、映像の視線方向と被験者の視線方向との関係を判定する。この場合、被験者は、実際の走行時の状態に極めて近い映像に従って模擬車両を操作することになるため、被験者が適切に状況判断したか否かを判定することができる。また、判定の結果、視線方向が所定の一致範囲内にないと判定されたとき、警告を行うことにより、被験者に対して注意喚起を行うことができる。 In the driving simulator according to the present invention, an image showing the line-of-sight direction of at least one of a pedestrian or a driver of an oncoming vehicle is displayed, the line-of-sight direction of the subject is detected, and the relationship between the line-of-sight direction of the video and the line-of-sight direction of the subject is determined. . In this case, since the subject operates the simulated vehicle according to an image that is very close to the actual traveling state, it can be determined whether or not the subject has appropriately determined the situation. Further, as a result of the determination, when it is determined that the line-of-sight direction is not within the predetermined coincidence range, the subject can be alerted by giving a warning.

本発明に係る実施形態であるドライビングシミュレータの構成ブロック図である。1 is a configuration block diagram of a driving simulator that is an embodiment according to the present invention. FIG. 図１に示すドライビングシミュレータの表示部に表示される映像の説明図である。It is explanatory drawing of the image | video displayed on the display part of the driving simulator shown in FIG. 図１に示すドライビングシミュレータの処理フローチャートである。It is a process flowchart of the driving simulator shown in FIG. 図４Ａは、映像中の歩行者の視線方向と、被験者の視線方向とが所定の一致範囲内にある状態の説明図、図４Ｂは、映像中の歩行者は被験者の車両に気が付いているが、被験者は歩行者に気が付いていない状態の説明図である。FIG. 4A is an explanatory diagram of a state in which the line of sight of the pedestrian in the video and the line of sight of the subject are within a predetermined coincidence range, and FIG. 4B shows the pedestrian in the video being aware of the subject's vehicle. The test subject is an explanatory diagram in a state where the pedestrian is not aware. 図５Ａは、映像中の歩行者は被験者の車両に気が付いていないが、被験者は歩行者に気が付いている場合の状態の説明図、図５Ｂは、映像中の歩行者及び被験者の双方が互いに相手に気が付いていない状態の説明図である。FIG. 5A is an explanatory diagram of a state in which the pedestrian in the video is unaware of the subject's vehicle, but the subject is aware of the pedestrian, and FIG. 5B is a diagram in which both the pedestrian and the subject in the video are the other party. It is explanatory drawing of the state which has not noticed.

以下、本発明の実施形態について図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.

＜構成の説明＞
図１は、本発明に係る実施形態であるドライビングシミュレータ１０の構成ブロック図である。図２は、図１に示すドライビングシミュレータ１０の表示部２４に表示される映像３２の説明図である。 <Description of configuration>
FIG. 1 is a block diagram showing the configuration of a driving simulator 10 according to an embodiment of the present invention. FIG. 2 is an explanatory diagram of an image 32 displayed on the display unit 24 of the driving simulator 10 shown in FIG.

ドライビングシミュレータ１０は、被験者４８（図４、図５）が操作する模擬車両１２と、被験者４８の視線方向を検出する視線センサ１４と、模擬車両１２の運動データを計算する模擬車両運動計算部１６と、模擬車両１２を制御する模擬車両制御部１８と、映像データを記憶する映像データ記憶部２０と、映像を生成する映像生成部２２と、映像を表示する表示部２４と、映像の視線方向と被験者４８の視線方向との関係を判定する視線方向判定部２６と、判定結果を記憶する判定結果記憶部２８と、判定結果に基づく警告を行う警告部３０とを備える。 The driving simulator 10 includes a simulated vehicle 12 operated by the subject 48 (FIGS. 4 and 5), a line-of-sight sensor 14 that detects the direction of the subject 48, and a simulated vehicle motion calculation unit 16 that calculates motion data of the simulated vehicle 12. A simulated vehicle control unit 18 that controls the simulated vehicle 12, a video data storage unit 20 that stores video data, a video generation unit 22 that generates video, a display unit 24 that displays video, and a viewing direction of the video And a gaze direction determination unit 26 that determines the relationship between the gaze direction of the subject 48, a determination result storage unit 28 that stores the determination result, and a warning unit 30 that issues a warning based on the determination result.

模擬車両１２は、例えば、ドライバである被験者４８が操作する自動車であり、実際の車両と同様に、ハンドル、シフトレバー、アクセル、ブレーキ等の操作機器を備える。被験者４８がこれらの操作機器を操作することで生成される操作データは、模擬車両運動計算部１６に供給される。なお、操作データは、例えば、ハンドルの回転角度、シフトレバーのシフト位置、アクセル及びペダルの踏み込み量等のデータである。 The simulated vehicle 12 is, for example, an automobile operated by a subject 48 who is a driver, and includes operation devices such as a handle, a shift lever, an accelerator, and a brake, as in an actual vehicle. Operation data generated when the subject 48 operates these operation devices is supplied to the simulated vehicle motion calculation unit 16. The operation data is data such as the rotation angle of the handle, the shift position of the shift lever, the amount of depression of the accelerator and the pedal, for example.

視線センサ１４は、模擬車両１２を操作する被験者４８の視線方向を検出するセンサである。視線センサ１４としては、例えば、被験者４８の顔を撮影し、得られた画像に基づいて被験者４８の視線方向を検出する撮影装置を利用することができる。 The line-of-sight sensor 14 is a sensor that detects the line-of-sight direction of the subject 48 who operates the simulated vehicle 12. As the line-of-sight sensor 14, for example, an imaging device that captures the face of the subject 48 and detects the direction of the subject's line of sight based on the obtained image can be used.

模擬車両運動計算部１６は、模擬車両１２から供給された操作データに基づき、模擬車両１２の速度、加速度、旋回方向、傾斜角度等の運動データを計算する。模擬車両制御部１８は、模擬車両運動計算部１６から供給された運動データに基づいて模擬車両１２の動作を制御する。 The simulated vehicle motion calculation unit 16 calculates motion data such as the speed, acceleration, turning direction, and tilt angle of the simulated vehicle 12 based on the operation data supplied from the simulated vehicle 12. The simulated vehicle control unit 18 controls the operation of the simulated vehicle 12 based on the motion data supplied from the simulated vehicle motion calculation unit 16.

映像データ記憶部２０には、表示部２４に表示される映像データが記憶される。映像データには、図２の映像３２に示すように、模擬車両１２が走行する道路３４や横断歩道３６の映像データ、歩行者３８の映像データ、対向車４０の映像データ、模擬車両１２を表す自車４２の映像データが含まれる。また、歩行者３８の映像データには、歩行者３８の視線方向Ｖｐのデータと、顔画像４４のデータとが含まれる。顔画像４４のデータは、歩行者３８の眼の位置や顔の向きを表示するためのデータである。同様に、対向車４０の映像データには、対向車４０のドライバ４６の視線方向のデータと、ドライバ４６の顔画像のデータとが含まれる。 The video data storage unit 20 stores video data displayed on the display unit 24. As shown in video 32 in FIG. 2, the video data represents video data of a road 34 and a pedestrian crossing 36 on which the simulated vehicle 12 travels, video data of a pedestrian 38, video data of an oncoming vehicle 40, and the simulated vehicle 12. Video data of the own vehicle 42 is included. In addition, the video data of the pedestrian 38 includes data on the line-of-sight direction Vp of the pedestrian 38 and data on the face image 44. The data of the face image 44 is data for displaying the eye position and face orientation of the pedestrian 38. Similarly, the video data of the oncoming vehicle 40 includes data on the line of sight of the driver 46 of the oncoming vehicle 40 and face image data of the driver 46.

映像生成部２２は、模擬車両運動計算部１６から供給される運動データと、映像データ記憶部２０に記憶された映像データとに基づいた映像を生成する。表示部２４は、映像生成部２２により生成された映像３２を、模擬車両１２の被験者４８が視認可能な状態で表示する。 The video generation unit 22 generates a video based on the motion data supplied from the simulated vehicle motion calculation unit 16 and the video data stored in the video data storage unit 20. The display unit 24 displays the video 32 generated by the video generation unit 22 in a state that the subject 48 of the simulated vehicle 12 can visually recognize.

視線方向判定部２６は、歩行者３８の視線方向Ｖｐと、被験者４８の視線方向Ｖｔ（図４、図５）との関係を判定する。視線方向Ｖｐは、映像生成部２２から供給される映像データに含まれる歩行者３８の視線方向である。視線方向Ｖｔは、視線センサ１４により検出される被験者４８の視線方向である。 The line-of-sight direction determination unit 26 determines the relationship between the line-of-sight direction Vp of the pedestrian 38 and the line-of-sight direction Vt (FIGS. 4 and 5) of the subject 48. The line-of-sight direction Vp is the line-of-sight direction of the pedestrian 38 included in the video data supplied from the video generation unit 22. The line-of-sight direction Vt is the line-of-sight direction of the subject 48 detected by the line-of-sight sensor 14.

＜動作の説明＞
次に、上記のように構成されるドライビングシミュレータ１０の動作について説明する。 <Description of operation>
Next, the operation of the driving simulator 10 configured as described above will be described.

図３は、図１に示すドライビングシミュレータ１０の処理フローチャートである。図４Ａは、映像３２中の歩行者３８の視線方向Ｖｐと、被験者４８の視線方向Vｔとが所定の一致範囲内にある状態の説明図である。図４Ｂは、映像３２中の歩行者３８は被験者４８の車両（自車４２）に気が付いているが、被験者４８は歩行者３８に気が付いていない状態の説明図である。図５Ａは、映像３２中の歩行者３８は被験者４８の車両（自車４２）に気が付いていないが、被験者４８は歩行者３８に気が付いている場合の状態の説明図である。図５Ｂは、映像３２中の歩行者３８及び被験者４８の双方が互いに相手に気が付いていない状態の説明図である。 FIG. 3 is a process flowchart of the driving simulator 10 shown in FIG. FIG. 4A is an explanatory diagram of a state where the line-of-sight direction Vp of the pedestrian 38 in the video 32 and the line-of-sight direction Vt of the subject 48 are within a predetermined coincidence range. FIG. 4B is an explanatory diagram of a state in which the pedestrian 38 in the video 32 is aware of the vehicle of the subject 48 (the own vehicle 42), but the subject 48 is not aware of the pedestrian 38. FIG. 5A is an explanatory diagram of a state where the pedestrian 38 in the video 32 is not aware of the vehicle of the subject 48 (the own vehicle 42), but the subject 48 is aware of the pedestrian 38. FIG. 5B is an explanatory diagram of a state where both the pedestrian 38 and the subject 48 in the video 32 are not aware of each other.

先ず、ドライビングシミュレータ１０が始動されると、映像生成部２２は、映像データ記憶部２０に記憶されている映像データを読み込んで初期映像を生成し（ステップＳ１）、表示部２４に走行する道路を含む初期の映像を表示させる（ステップＳ２）。この状態において、模擬車両１２に乗車した被験者４８は、模擬車両１２の操作を開始する（ステップＳ３）。 First, when the driving simulator 10 is started, the video generation unit 22 reads the video data stored in the video data storage unit 20 to generate an initial video (step S1), and the road running on the display unit 24 is displayed. The initial image including the image is displayed (step S2). In this state, the subject 48 who has boarded the simulated vehicle 12 starts operating the simulated vehicle 12 (step S3).

模擬車両運動計算部１６は、模擬車両１２のハンドル、シフトレバー、アクセル、ブレーキ等の操作機器からの操作データを取得し（ステップＳ４）、運動データを計算する（ステップＳ５）。模擬車両制御部１８は、模擬車両運動計算部１６により計算された運動データに基づいて模擬車両１２の動作を制御する（ステップＳ６）。 The simulated vehicle motion calculation unit 16 acquires operation data from operation devices such as a steering wheel, a shift lever, an accelerator, and a brake of the simulated vehicle 12 (step S4), and calculates motion data (step S5). The simulated vehicle control unit 18 controls the operation of the simulated vehicle 12 based on the motion data calculated by the simulated vehicle motion calculation unit 16 (step S6).

一方、模擬車両運動計算部１６により計算された運動データは、映像生成部２２に供給される。映像生成部２２は、映像データ記憶部２０から読み込んだ映像データに対して、運動データにより規定される模擬車両１２の状態、例えば、速度や旋回方向等の状態に応じた映像を生成する（ステップＳ７）。生成された映像３２は、表示部２４に表示される（ステップＳ８）。 On the other hand, the motion data calculated by the simulated vehicle motion calculation unit 16 is supplied to the video generation unit 22. The video generation unit 22 generates video corresponding to the state of the simulated vehicle 12 defined by the motion data, for example, the state such as the speed and the turning direction, for the video data read from the video data storage unit 20 (step) S7). The generated video 32 is displayed on the display unit 24 (step S8).

被験者４８は、模擬車両１２の操作状態に対応して表示された映像３２を見ながら、模擬車両１２を操作する。このとき、模擬車両１２に配設されている視線センサ１４は、例えば、被験者４８の顔画像を撮影して被験者４８の視線方向Ｖｔを検出し（ステップＳ９）、検出した視線方向Ｖｔのデータを視線方向判定部２６に供給する。 The subject 48 operates the simulated vehicle 12 while viewing the video 32 displayed corresponding to the operation state of the simulated vehicle 12. At this time, the line-of-sight sensor 14 disposed in the simulation vehicle 12, for example, captures a face image of the subject 48 to detect the line-of-sight direction Vt of the subject 48 (step S <b> 9), and uses the data of the detected line-of-sight direction Vt. It supplies to the gaze direction determination part 26.

ここで、図２に示すように、模擬車両１２に対応する自車４２の斜め前方に、横断歩道３６を渡ろうとしている歩行者３８が存在する映像３２が表示されているものとする。歩行者３８の映像には、顔の向き及び視線方向Ｖｐに対応した顔画像４４が示されている。従って、被験者４８は、歩行者３８の顔画像４４に基づき、実際の走行時の状態に近い感覚で歩行者３８の動作を推測しながら、模擬車両１２を操作することができる。また、映像生成部２２は、視線方向Ｖｐのデータを視線方向判定部２６に供給する。 Here, as shown in FIG. 2, it is assumed that an image 32 in which a pedestrian 38 who is about to cross the pedestrian crossing 36 is present is displayed diagonally forward of the own vehicle 42 corresponding to the simulated vehicle 12. In the video of the pedestrian 38, a face image 44 corresponding to the face direction and the line-of-sight direction Vp is shown. Accordingly, the subject 48 can operate the simulated vehicle 12 based on the face image 44 of the pedestrian 38 while estimating the operation of the pedestrian 38 with a sense close to the actual running state. In addition, the video generation unit 22 supplies the line-of-sight direction Vp data to the line-of-sight direction determination unit 26.

視線方向判定部２６は、視線方向Ｖｐのデータと、視線方向Ｖｔのデータとの関係を判定する（ステップＳ１０）。 The line-of-sight direction determination unit 26 determines the relationship between the data of the line-of-sight direction Vp and the data of the line-of-sight direction Vt (step S10).

そこで、判定に関する具体的な処理について説明する。図４Ａ、図４Ｂ、図５Ａ及び図５Ｂにおいて、角度θは、自車４２（図２）の進行方向を基準として測定される被験者４８の視線方向Ｖｔの角度である。角度αは、角度θを中心とした被験者４８の視野角の範囲である。また、角度φは、自車４２の進行方向と反対の方向を基準とする歩行者３８の視線方向Ｖｐの角度である。角度βは、角度φを中心とした歩行者３８の視野角の範囲である。被験者４８は、視線方向Vｔの角度θが、所定距離離れた位置から歩行者３８を見る角度θ_０±αの範囲にあるとき、歩行者３８が視野に入るものとする。また、歩行者３８は、視線方向Vｐの角度φが、所定距離離れた位置から自車４２を見る角度φ_０±βの範囲にあるとき、自車４２の被験者４８が視野に入るものとする。なお、θ_０＝φ_０である。 Therefore, specific processing relating to determination will be described. 4A, FIG. 4B, FIG. 5A and FIG. 5B, the angle θ is an angle of the visual line direction Vt of the subject 48 measured with reference to the traveling direction of the own vehicle 42 (FIG. 2). The angle α is a range of the viewing angle of the subject 48 around the angle θ. Further, the angle φ is an angle of the line-of-sight direction Vp of the pedestrian 38 based on a direction opposite to the traveling direction of the own vehicle 42. The angle β is a range of the viewing angle of the pedestrian 38 around the angle φ. The subject 48 assumes that the pedestrian 38 enters the visual field when the angle θ in the line-of-sight direction Vt is in a range of an angle θ ₀ ± α when the pedestrian 38 is viewed from a position separated by a predetermined distance. In addition, the pedestrian 38 assumes that the subject 48 of the subject vehicle 42 enters the field of view when the angle φ of the line-of-sight direction Vp is in the range of the angle φ ₀ ± β when viewing the subject vehicle 42 from a position away from the predetermined distance. . Note that θ ₀ = φ ₀ .

図４Ａ及び図４Ｂは、横断歩道３６（図２）を渡ろうとしている歩行者３８が接近する自車４２に気が付いている顔画像４４ａが表示部２４に表示されている場合を示す。 4A and 4B show a case where a face image 44a in which the pedestrian 38 who is about to cross the pedestrian crossing 36 (FIG. 2) is aware of the own vehicle 42 is displayed on the display unit 24. FIG.

視線方向判定部２６は、φ_０−β≦φ≦φ_０＋β、且つ、θ_０−α≦θ≦θ_０＋αのとき（図４Ａ）、角度φ、θが所定の一致範囲内にあるため、歩行者３８と被験者４８とが互いに相手を認識していると判定する（「判定結果１」）。視線方向判定部２６は、判定結果１が得られたときの被験者４８による模擬車両１２の操作データを模擬車両運動計算部１６から取得し、判定結果１のデータとともに判定結果記憶部２８に記憶させる（ステップＳ１１）。 The line-of-sight direction determination unit 26, when φ ₀ −β ≦ φ ≦ φ ₀ + β and θ ₀ −α ≦ θ ≦ θ ₀ + α (FIG. 4A), indicates that the angles φ and θ are within a predetermined matching range. It is determined that the pedestrian 38 and the subject 48 recognize each other ("determination result 1"). The line-of-sight direction determination unit 26 acquires operation data of the simulated vehicle 12 by the subject 48 when the determination result 1 is obtained from the simulated vehicle motion calculation unit 16 and stores the operation data together with the data of the determination result 1 in the determination result storage unit 28. (Step S11).

また、視線方向判定部２６は、判定結果１のデータ及び模擬車両１２の操作データに基づき、警告の要否を判定する（ステップＳ１２）。例えば、視線方向判定部２６は、判定結果１が得られたときに被験者４８がブレーキ操作を行っていない場合、注意喚起のための警告が必要と判定する（ステップＳ１２、ＹＥＳ）。警告部３０は、視線方向判定部２６による警告制御の指示に従い、アラーム音や表示部２４を用いた所定の表示処理による警告を行う（ステップＳ１３）。一方、被験者４８がブレーキ操作を行って徐行している場合には、警告は不要と判定する（ステップＳ１２、ＮＯ）。 The line-of-sight direction determination unit 26 determines whether a warning is necessary based on the data of the determination result 1 and the operation data of the simulated vehicle 12 (step S12). For example, the line-of-sight direction determination unit 26 determines that a warning for alerting is necessary when the subject 48 does not perform a brake operation when the determination result 1 is obtained (step S12, YES). The warning unit 30 issues a warning by an alarm sound or a predetermined display process using the display unit 24 in accordance with a warning control instruction from the line-of-sight direction determination unit 26 (step S13). On the other hand, when the subject 48 performs a braking operation and slows down, it is determined that a warning is unnecessary (step S12, NO).

視線方向判定部２６は、φ_０−β≦φ≦φ_０＋β、且つ、θ＜θ_０―αのとき（図４Ｂ）、被験者４８が歩行者３８を認識していないと判定する（「判定結果２」）。視線方向判定部２６は、この判定結果２を、模擬車両１２の操作データとともに判定結果記憶部２８に記憶させる（ステップＳ１１）。また、視線方向判定部２６は、判定結果２に基づき、注意喚起のための警告が必要と判定し（ステップＳ１２、ＹＥＳ）、警告部３０を制御して警告を行う（ステップＳ１３）。 The line-of-sight direction determination unit 26 determines that the subject 48 does not recognize the pedestrian 38 when φ ₀ −β ≦ φ ≦ φ ₀ + β and θ <θ ₀ −α (FIG. 4B) (“determination” Result 2 "). The line-of-sight direction determination unit 26 stores the determination result 2 in the determination result storage unit 28 together with the operation data of the simulated vehicle 12 (step S11). The line-of-sight direction determination unit 26 determines that a warning for alerting is necessary based on the determination result 2 (step S12, YES), and controls the warning unit 30 to give a warning (step S13).

図５Ａ及び図５Ｂは、横断歩道３６（図２）を渡ろうとしている歩行者３８が接近する自車４２に気が付いていない顔画像４４ｂが表示されている場合を示す。 5A and 5B show a case where a face image 44b that is not noticed by the own vehicle 42 approaching by a pedestrian 38 who is about to cross the pedestrian crossing 36 (FIG. 2) is displayed.

視線方向判定部２６は、φ＞φ_０＋β、且つ、θ_０−α≦θ≦θ_０＋αのとき（図５Ａ）、歩行者３８は自車４２を認識していないが、被験者４８は歩行者３８を認識していると判定する（「判定結果３」）。視線方向判定部２６は、判定結果３を、模擬車両１２の操作データとともに判定結果記憶部２８に記憶させる（ステップＳ１１）。 When φ> φ ₀ + β and θ ₀ −α ≦ θ ≦ θ ₀ + α are satisfied (FIG. 5A), the pedestrian 38 does not recognize the own vehicle 42 but the subject 48 walks. It is determined that the person 38 is recognized ("determination result 3"). The line-of-sight direction determination unit 26 stores the determination result 3 in the determination result storage unit 28 together with the operation data of the simulated vehicle 12 (step S11).

また、視線方向判定部２６は、判定結果１の場合と同様に、警告の要否を判定する（ステップＳ１２）。被験者４８がブレーキ操作を行っておらず、警告が必要と判定した場合には（ステップＳ１２、ＹＥＳ）、警告部３０を制御して注意喚起のための警告を行う（ステップＳ１３）。一方、被験者４８がブレーキ操作を行って徐行している場合には、警告は不要と判定する（ステップＳ１２、ＮＯ）。 The line-of-sight direction determination unit 26 determines whether or not a warning is necessary as in the case of the determination result 1 (step S12). If the subject 48 has not operated the brake and determines that a warning is required (step S12, YES), the warning unit 30 is controlled to issue a warning for alerting (step S13). On the other hand, when the subject 48 performs a braking operation and slows down, it is determined that a warning is unnecessary (step S12, NO).

視線方向判定部２６は、φ＞φ_０＋β、且つ、θ＜θ_０―αのとき（図５Ｂ）、歩行者３８及び被験者４８の双方が相手を認識していないと判定する（「判定結果４」）。視線方向判定部２６は、この判定結果２を、模擬車両１２の操作データとともに判定結果記憶部２８に記憶させる（ステップＳ１１）。また、視線方向判定部２６は、判定結果４に基づき、注意喚起のための警告が必要と判定し（ステップＳ１２、ＹＥＳ）、警告部３０を制御して警告を行う（ステップＳ１３）。 The line-of-sight direction determination unit 26 determines that both the pedestrian 38 and the subject 48 have not recognized the other party when “φ> φ ₀ + β and θ <θ ₀ −α (FIG. 5B) (“ determination result ”). 4 "). The line-of-sight direction determination unit 26 stores the determination result 2 in the determination result storage unit 28 together with the operation data of the simulated vehicle 12 (step S11). The line-of-sight direction determination unit 26 determines that a warning for alerting is necessary based on the determination result 4 (step S12, YES), and controls the warning unit 30 to give a warning (step S13).

実際の車両の運転時には、ドライバは、歩行者の顔の向きや視線方向に基づき、自車の存在に気が付いているか否かを判断し、必要に応じて徐行運転又は最徐行運転を行う。本実施形態のドライビングシミュレータ１０では、歩行者３８の視線方向Vｐを示す映像３２が表示部２４に表示されるため、被験者４８は、実際の走行時の状態に極めて近い映像に従って模擬車両１２を操作することができる。そして、ドライビングシミュレータ１０では、模擬車両１２を操作する被験者４８が、映像中の歩行者３８の視線方向Vｐを確認し、歩行者３８の行動を推測して適切に状況を判断して運転操作を行ったか否かを判定することができる。また、この判定結果に基づき、状況に応じた被験者４８の行動を解析するための有用なデータを取得することも可能である。 During actual driving of the vehicle, the driver determines whether or not he / she is aware of the presence of the own vehicle based on the direction of the pedestrian's face and the direction of the line of sight, and performs slow driving or maximum slow driving as necessary. In the driving simulator 10 of the present embodiment, since the video 32 indicating the sight line direction Vp of the pedestrian 38 is displayed on the display unit 24, the subject 48 operates the simulated vehicle 12 according to the video that is very close to the actual running state. can do. Then, in the driving simulator 10, the subject 48 who operates the simulation vehicle 12 confirms the line-of-sight direction Vp of the pedestrian 38 in the video, guesses the behavior of the pedestrian 38, appropriately determines the situation, and performs the driving operation. It can be determined whether it has been done or not. Also, based on this determination result, it is possible to acquire useful data for analyzing the behavior of the subject 48 according to the situation.

なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の主旨を逸脱しない範囲で変更することが可能である。 The present invention is not limited to the above-described embodiment, and can be modified without departing from the gist of the present invention.

表示部２４に表示される映像としては、歩行者３８の視線方向を含む映像だけでなく、対向車４０のドライバ４６の視線方向が分かる映像であってもよい。表示部２４に対向車４０のドライバ４６の視線方向が分かる映像を表示させることにより、被験者４８は、例えば、対向車４０が直進する自車４２に気が付かずに右折しようとしているか否かという状況を判断しながら模擬車両１２を操作することができる。 The image displayed on the display unit 24 is not limited to an image including the line-of-sight direction of the pedestrian 38 but may be an image showing the line-of-sight direction of the driver 46 of the oncoming vehicle 40. By displaying an image that shows the line-of-sight direction of the driver 46 of the oncoming vehicle 40 on the display unit 24, for example, the subject 48 can determine whether or not the oncoming vehicle 40 is going to turn right without noticing the own vehicle 42 that goes straight ahead. The simulated vehicle 12 can be operated while judging.

また、模擬車両１２は、移動体であれば、自動車に限られるものではなく、例えば、自動二輪車であってもよい。 The simulated vehicle 12 is not limited to an automobile as long as it is a moving body, and may be, for example, a motorcycle.

１０…ドライビングシミュレータ
１２…模擬車両
１４…視線センサ
１６…模擬車両運動計算部
１８…模擬車両制御部
２０…映像データ記憶部
２２…映像生成部
２４…表示部
２６…視線方向判定部
２８…判定結果記憶部
３０…警告部
３２…映像
３４…道路
３６…横断歩道
３８…歩行者
４０…対向車
４２…自車
４４、４４ａ、４４ｂ…顔画像
４６…ドライバ
４８…被験者
φ、θ、α…角度
Ｖｐ、Ｖｔ…視線方向 DESCRIPTION OF SYMBOLS 10 ... Driving simulator 12 ... Simulated vehicle 14 ... Gaze sensor 16 ... Simulated vehicle motion calculation part 18 ... Simulated vehicle control part 20 ... Video data storage part 22 ... Video generation part 24 ... Display part 26 ... Gaze direction determination part 28 ... Determination result Storage unit 30 ... Warning unit 32 ... Video 34 ... Road 36 ... Crosswalk 38 ... Pedestrian 40 ... Oncoming vehicle 42 ... Own vehicle 44, 44a, 44b ... Face image 46 ... Driver 48 ... Subject φ, θ, α ... Angle Vp , Vt ... Gaze direction

Claims

A simulated vehicle operated by the subject;
A simulated vehicle motion calculation unit for calculating motion data of the simulated vehicle by the operation of the subject;
A simulated vehicle controller that controls the simulated vehicle based on the motion data;
Based on the motion data, a video generation unit that generates a video including a road on which the simulated vehicle travels, and a video indicating a sight line direction of at least one of a driver of a pedestrian or an oncoming vehicle;
A display unit for displaying the generated video;
A gaze sensor for detecting a gaze direction of the subject;
A line-of-sight direction determination unit that determines a relationship between the line-of-sight direction in the video and the line-of-sight direction of the subject detected by the line-of-sight sensor;
A driving simulator comprising:

The driving simulator according to claim 1,
A driving simulator comprising: a warning unit that issues a warning when the line-of-sight direction determination unit determines that the line-of-sight direction in the video and the line-of-sight direction of the subject are not within a predetermined matching range. .