WO2025205752A1 - 車両動作シミュレータシステム - Google Patents
車両動作シミュレータシステムInfo
- Publication number
- WO2025205752A1 WO2025205752A1 PCT/JP2025/011704 JP2025011704W WO2025205752A1 WO 2025205752 A1 WO2025205752 A1 WO 2025205752A1 JP 2025011704 W JP2025011704 W JP 2025011704W WO 2025205752 A1 WO2025205752 A1 WO 2025205752A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- vehicle
- driving
- virtual
- sensor
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
- G09B9/042—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles providing simulation in a real vehicle
Definitions
- the front camera 16 is an imaging device that has a camera using a solid-state imaging element such as a CCD, and is installed, for example, above the front bumper of the vehicle 2 or behind the rearview mirror, with its optical axis facing forward in the direction of travel of the vehicle.
- a solid-state imaging element such as a CCD
- the rear camera 17 is an imaging device that also has a camera using a solid-state imaging element such as a CCD, and is installed, for example, near the top center of the license plate attached to the rear of the vehicle 2, with its optical axis facing toward the rear of the vehicle.
- a solid-state imaging element such as a CCD
- the simulator device 3 reads information regarding the type and installation position of virtual objects in the driving environment previously set by the evaluator 4, and generates a real scene video 6 of the real field to be displayed on the in-vehicle display 5 or VR head-mounted display 8 by synthesizing an image 7 showing the virtual object at the position where the virtual object is placed with the images taken by the front camera 16, rear camera 17, and side cameras 18A and 18B.
- the real scene video onto which the image 7 showing the virtual object is synthesized may be the real scene video itself taken by the front camera 16, rear camera 17, and side cameras 18A and 18B, or it may be, for example, a composite of images from multiple cameras or an image with a converted viewpoint (for example, a bird's-eye view image).
- ultrasonic sensors 19A-19L correspond to real sensors that detect real objects around the vehicle.
- ultrasonic sensors 19A-19L which are real sensors
- Ultrasonic sensors 19A-19L are arranged at predetermined intervals on the front, rear, and sides of the vehicle, respectively. They transmit ultrasonic waves as search waves around vehicle 2 and detect objects that have reflected the search waves by receiving reflected waves from objects around the vehicle.
- they are a type of distance measurement sensor that can detect the distance (measured distance value) to an object that has reflected the search wave by measuring the time between transmission and reception.
- each ultrasonic sensor 19A-19L can be set as appropriate, but in this embodiment, in order to detect objects in all directions (forward, backward, left and right) of the vehicle 2, ultrasonic sensors 19A-19D are installed on the front of the vehicle 2 facing the direction of travel so that the transmission direction of their search waves is forward of the vehicle's direction of travel. Ultrasonic sensors 19E and 19F are installed on the left side of the vehicle 2 facing left so that the transmission direction of their search waves is to the left of the vehicle's direction of travel. Ultrasonic sensors 19G and 19H are installed on the right side of the vehicle 2 facing right so that the transmission direction of their search waves is to the right of the vehicle's direction of travel.
- the driving assistance ECU 20 is an electronic control unit that performs various processes related to autonomous driving assistance.
- the driving assistance ECU 20 is connected to various sensors for detecting vehicle behavior, such as a vehicle speed sensor, wheel speed sensor, acceleration sensor, gyro sensor, steering sensor, and shift position sensor, as well as each of the vehicle's drive units, such as the steering, brakes, accelerator, and transmission. It detects the vehicle's current behavior based on the detection results of these sensors, calculates control information (control variables) for controlling each drive unit, and controls each drive unit to provide autonomous driving assistance for the vehicle 2.
- the driving assistance ECU 20 acquires information about surrounding obstacles and parking spaces necessary for providing the above-mentioned autonomous driving assistance through two means: a means for acquiring detection information from ultrasonic sensors 19A-19L, and a means for acquiring detection information from virtual sensors 22A-22L. While ultrasonic sensors 19A-19L are sensors for detecting real objects around the vehicle, virtual sensors 22A-22L are sensors for detecting virtual objects in a driving environment virtually generated by simulator device 3. Virtual sensors 22A-22L are part of simulator device 3 and are installed on vehicle 2.
- Figure 7 is an external view of the virtual sensors 22A to 22L provided in the simulator device 3
- Figure 8 is a diagram showing the internal structure of the virtual sensors 22A to 22L. Note that the virtual sensors 22A to 22L basically have the same structure, and the following explanation will use virtual sensor 22A as an example.
- the piezoelectric vibrator is formed in a planar shape with the detection axis X as its normal.
- the first ultrasonic sensor 25 and the second ultrasonic sensor 26 are configured to transmit the search wave along the detection axis X by ultrasonically vibrating the piezoelectric vibrator based on a drive signal applied to the electromechanical conversion element. Furthermore, when receiving waves from the outside, the first ultrasonic sensor 25 and the second ultrasonic sensor 26 are configured to generate a reception signal, which is an electrical signal corresponding to the excitation state of the piezoelectric vibrator due to the received ultrasonic waves, using an electromechanical conversion element.
- the virtual sensor 22A detects that the first ultrasonic sensor 25 has received a reflected wave when the electromotive force generated by the vibration of the piezoelectric vibrator due to reception of the probe wave exceeds a threshold, and calculates the distance to the object based on the time between when the first ultrasonic sensor 25 transmits the probe wave and when it receives it.
- the object referred to here is a virtual object, and the first ultrasonic sensor 25 does not actually transmit a probe wave; instead, it receives the probe wave transmitted from the second ultrasonic sensor 26, recognizing it as a reflected wave, assuming that it has transmitted a probe wave.
- the distance measurement value detected by the virtual sensor 22A can be freely controlled by the timing at which the second ultrasonic sensor 26 transmits the probe wave.
- the vehicle is equipped with the same number of virtual sensors 22A-22L as the ultrasonic sensors 19A-19L, which are real sensors, and virtual sensor 22A corresponds to ultrasonic sensor 19A. That is, during the driving test, the driving assistance ECU 20 recognizes virtual sensor 22A as ultrasonic sensor 19A and detects an object (a virtual object that does not actually exist) located to the left front of the vehicle. For example, if the distance from ultrasonic sensor 19A to the virtual object is 1 meter, the timing of transmitting search waves from second ultrasonic sensor 26 is controlled so that the distance measurement value detected by virtual sensor 22A is 1 meter. This results in the detection of an object (actually a virtual object) located 1 meter from ultrasonic sensor 19A. Similarly, virtual sensor 22B corresponds to ultrasonic sensor 19B, virtual sensor 22C corresponds to ultrasonic sensor 19C, and virtual sensor 22D corresponds to ultrasonic sensor 19D. The same applies to the remaining virtual sensors 22E-22L.
- the sensor selector switch 21 can switch the information used for autonomous driving assistance in the driving assistance ECU 20 between the detection information of the virtual sensors 22A-22L and the detection information of the ultrasonic sensors 19A-19L.
- the switching control of the sensor selector switch 21 is performed by the simulator device 3. While the autonomous driving assistance system is collecting driving results (i.e., during a driving test), the information used for autonomous driving assistance in the driving assistance ECU 20 is switched to the detection information of the virtual sensors 22A-22L, and after the collection of driving results has ended or during the preparation stage before collecting driving results, the information used for autonomous driving assistance in the driving assistance ECU 20 is switched to the detection information of the ultrasonic sensors 19A-19L.
- this switching may be performed automatically or based on, for example, operation of the operation unit 13 or external terminal 11 by the evaluator 4.
- the test is performed based on the operation of the external terminal 11, for example, when start of test is selected on the external terminal 11, a signal is sent from the external terminal 11 to the simulator device 3, and the simulator device 3 controls the sensor changeover switch 21 based on the received signal to switch the information used for autonomous driving assistance in the driving assistance ECU 20 from the detection information of the ultrasonic sensors 19A-19L to the detection information of the virtual sensors 22A-22L.
- a signal is sent from the external terminal 11 to the simulator device 3, and the simulator device 3 controls the sensor changeover switch 21 based on the received signal to switch the information used for autonomous driving assistance in the driving assistance ECU 20 from the detection information of the virtual sensors 22A-22L to the detection information of the ultrasonic sensors 19A-19L.
- FIG. 10 is a block diagram showing the configuration of the simulator device 3 according to this embodiment.
- the simulator device 3 includes a virtual control ECU (electronic control unit) 40, which is a control unit that performs various calculations such as generating the driving environment when conducting a driving test, controlling the virtual sensors 22A-22L, and analyzing, evaluating, and outputting the results of the driving test operation of the vehicle 2, as well as the virtual sensors 22A-22L described above.
- a virtual control ECU electronic control unit
- the virtual control ECU 40 is an electronic control unit that controls the entire simulator device 3, and includes internal storage devices such as a CPU 41 as an arithmetic and control device, a RAM 42 used as working memory when the CPU 41 performs various arithmetic processes, a ROM 43 that stores control programs as well as the performance evaluation program (see FIG. 11) described below, and a flash memory 44 that stores programs read from the ROM 43.
- the virtual control ECU 40 along with the driving assistance ECU 20 described above, also includes various means as processing algorithms.
- the virtual object placement means places virtual objects in the real field.
- the driving result collection means collects driving results of the vehicle 2, which is equipped with virtual sensors 22A-22L for detecting virtual objects.
- the sensor switching means switches the information used for vehicle driving assistance between detection information from the virtual sensors 22A-22L and detection information from the ultrasonic sensors 19A-19L.
- the virtual control ECU 40 is connected via an in-vehicle network such as CAN to the aforementioned operation unit 13, in-vehicle display 5 (or VR head-mounted display 8), speaker 15, front camera 16, rear camera 17, side cameras 18A, 18B, ultrasonic sensors 19A-19L, driving assistance ECU 20, and sensor selector switch 21, as well as various sensors 47 for detecting vehicle behavior, such as vehicle speed sensors, wheel speed sensors, acceleration sensors, gyro sensors, steering sensors, and shift position sensors, and is able to detect the vehicle's current position, direction, and current behavior based on the detection results of these sensors 47.
- vehicle behavior such as vehicle speed sensors, wheel speed sensors, acceleration sensors, gyro sensors, steering sensors, and shift position sensors
- Flash memory 44 also contains driving environment information 45 and driving result DB 46.
- Driving environment information 45 stores information about the driving environment set in advance by evaluator 4 when conducting a driving test of vehicle 2. Specifically, this information includes the type and position of virtual objects to be placed on the real field, and is input in advance by evaluator 4. It is also possible to store multiple patterns of driving environments in advance.
- the driving result DB 46 is a storage means for cumulatively storing the vehicle control details, driving trajectory, and behavior history of the vehicle during the driving test. After the driving test operation of the vehicle 2 is completed, the simulator device 3 evaluates and outputs the control details, driving trajectory, etc. of the vehicle 2 stored in the driving result DB 46.
- FIG. 11 is a flowchart of the operation evaluation program according to this embodiment.
- the operation evaluation program is executed when the simulator device 3 receives a corresponding program startup operation, and is a program that constructs a virtual driving environment and evaluates the quality of the automated driving assistance system equipped in the vehicle based on the results of a driving test.
- the program startup operation may be triggered, for example, by an evaluator 4 riding in the vehicle as a passenger operating the operation unit 13, or may be initiated by an evaluator 4 outside the vehicle performing a predetermined operation on the external terminal 11.
- the program shown in the flowchart in FIG. 11 below is stored in RAM 42, ROM 43, etc. equipped in the simulator device 3, and is executed by the CPU 41.
- the CPU 41 reads from the flash memory 44 setting information for the driving environment for conducting a driving test of the vehicle 2.
- the driving environment includes, for example, the type and position of virtual objects to be placed on the real field.
- the driving environment is basically set in advance in the simulator device 3 by input operations by the evaluator 4 and stored. It is also possible to set multiple driving environments, in which case the driving environment to be used for this driving test can be selected as desired.
- the driving environment can, for example, be set to driving on a public road, or driving in a parking lot.
- “virtual objects” are not limited to three-dimensional objects, but also include, for example, parking lot lines and road markings. For example, when conducting a driving test in a parking lot, parking lot lines painted on the road surface within the parking lot, other vehicles parked in parking spaces, pedestrians moving within the parking lot, other vehicles moving through the aisles within the parking lot, etc. are set as virtual objects. Furthermore, for moving virtual objects, a movement schedule (at what speed and in what way they move) is also set.
- the CPU 41 creates a virtual driving environment for the real field where the vehicle is currently located, based on the setting information read in S2. That is, it places virtual objects of the set type at set positions in the real field. In addition, moving virtual objects are subsequently moved according to a set schedule.
- the CPU 41 operates the sensor changeover switch 21 to switch the information used for autonomous driving assistance by the driving assistance ECU 20 to the information detected by the virtual sensors 22A-22L.
- the sensor changeover switch 21 selectively disconnects either the first input path or the second input path, thereby switching the information used for autonomous driving assistance by the driving assistance ECU 20 between the information detected by the virtual sensors 22A-22L and the information detected by the ultrasonic sensors 19A-19L ( Figure 9).
- the sensor changeover switch 21 may switch the sensor information automatically when the driving test begins, or may be triggered by receiving a predetermined operation from the evaluator 4. For example, when the start of the test is selected on the external terminal 11, a signal may be sent from the external terminal 11 to the simulator device 3, and the simulator device 3 may operate the sensor changeover switch 21 based on the received signal.
- the timing of transmitting search waves from the second ultrasonic sensor 26 equipped on the virtual sensors 22A-22L is controlled, thereby allowing the virtual sensors 22A-22L to detect the non-existent virtual object.
- the CPU 41 identifies the position of the virtual object in the real scene image of the real field acquired in S6 by converting the placement coordinates (absolute coordinates) of the virtual object in the driving environment constructed in S3 into the coordinate system (relative coordinates) of the real scene image of the real field acquired in S6.
- the placement coordinates (absolute coordinates) of the virtual object can be converted into the coordinate system (relative coordinates) of the front camera 16, thereby identifying the position of the virtual object in the real scene image of the real field displayed on the in-vehicle display 5.
- texture mapping is performed to attach a texture image to the surface of the model image, and the effect of the texture image is preferably drawn so as not to look unnatural when the model image is placed in the real field, taking into account the orientation of the placement, the ambient brightness, the position of light sources (e.g., sunlight, street lights), etc.
- the model image to be composited may be an opaque image with a transmittance of 0%, or a semi-transparent image.
- the CPU 41 determines whether the driving test has been completed. For example, when evaluating parking assistance in a parking lot as the driving environment, the driving test is determined to be completed when the vehicle is parked in a parking space and the shift position is in P. On the other hand, the driving test may also be considered to be completed when a predetermined distance or time has been driven since the start of the driving test.
- the analysis of the driving results of vehicle 2 can be performed in either “on-the-fly analysis” or “post-analysis.”
- “On-the-fly analysis” monitors vehicle 2 during the driving test, and automatically detects and outputs any malfunctions that arise.
- post-analysis evaluates and outputs the control details and driving trajectory of vehicle 2 stored during the driving test, taking into account the detection results from virtual sensors 22A-22L, after the driving test operation of vehicle 2 has ended.
- the CPU 41 may also output to an external display an evaluation window that lists the details of any malfunctions that occurred after the driving test.
- the evaluation window displays the details of the malfunction as well as the time the malfunction occurred.
- the evaluator 4 can understand what kind of malfunction occurred and when in the automated driving assistance system.
- the CPU 41 may save the real-field scene video (including the image 7 of the virtual object) output in S9 as an image log, and extract from the image log the image output when it is determined that a malfunction has occurred in the operation of the automated driving assistance system, making it viewable by the evaluator 4.
- the evaluator 4 can then make program modifications to the automated driving assistance system based on the output driving test results.
- the vehicle motion simulator system 1, the simulation method using the vehicle motion simulator system 1, and the computer program executed by the vehicle motion simulator system 1 according to this embodiment place a virtual object in a real field (S3), cause a vehicle 2 equipped with virtual sensors 22A-22L for detecting the virtual object to travel in the real field with autonomous driving assistance based on detection information from the virtual sensors 22A-22L (S5), and collect and evaluate the vehicle's travel results while allowing the vehicle to visually confirm the real field with an image 7 representing the virtual object superimposed at the position where the virtual object was placed (S9). Therefore, in a travel test of autonomous driving assistance in which a virtual object is placed in the real field, the real field with the virtual object placed can be visually confirmed in real time by a passenger or observer.
- the system also has at least one of an in-vehicle display 5 or a VR head-mounted display 8 that is mounted on the vehicle 2 and visible to the occupants of the vehicle 2, and an external terminal 11 that is outside the vehicle 2 and visible to an observer outside the vehicle, and the real field is made visible to the occupants of the vehicle by displaying on the in-vehicle display 5 or the VR head-mounted display 8 a captured image of the real field in which an image 7 representing a virtual object has been superimposed at the position where the virtual object is placed, and the real field is made visible to the observer by displaying on the external terminal 11 a captured image of the real field in which an image 7 representing a virtual object has been superimposed at the position where the virtual object is placed, so that the real field in which the virtual object is placed can be made visible in real time to both the occupants in the vehicle and an observer
- a first viewing mode which allows the user to view the real field included in the field of view from the viewpoint of the vehicle
- a second viewing mode which allows the user to view the real field included in the field of view from a viewpoint different from the vehicle, so that the real field on which virtual objects are placed can be viewed in real time from various viewpoints in the real field rather than from a fixed viewpoint.
- an image 7 showing the virtual object is superimposed and displayed at the location where the virtual object is arranged in the real field reflected or displayed in the rearview mirror and the side mirror, so that the virtual object arranged in the real field can be viewed in a manner closer to reality.
- a virtual object is placed in the real field (S3), and a vehicle 2 equipped with virtual sensors 22A to 22L for detecting the virtual object is made to drive in the real field with automatic driving assistance based on the detection information of the virtual sensors 22A to 22L (S5).
- the system is equipped with a sensor changeover switch 21 that switches the information used for automatic driving assistance between the detection information of the virtual sensors 22A to 22L and the detection information of the real sensors, making it possible to carry out preparation work and cleanup work after testing more efficiently than before.
- a vehicle operation simulator system according to a second embodiment will be described with reference to Fig. 12.
- the same reference numerals as those in the vehicle operation simulator system 1 according to the first embodiment shown in Figs. 1 to 11 indicate the same or corresponding components as those in the vehicle operation simulator system 1 according to the first embodiment.
- the schematic configuration of the vehicle operation simulator system according to the second embodiment is almost the same as that of the vehicle operation simulator system 1 according to the first embodiment.
- the various control processes are also almost the same as those of the vehicle operation simulator system 1 according to the first embodiment.
- the vehicle operation simulator system 1 according to the first embodiment selectively disconnects one of the first and second input paths for the sensor selector switch 21 as shown in FIG.
- the vehicle operation simulator system is different in that it includes a first driving assistance ECU that inputs detection information from the virtual sensors to calculate control information for driving with automatic driving assistance, and a second driving assistance ECU that inputs detection information from the ultrasonic sensors 19A to 19L to calculate control information for driving with automatic driving assistance, and switches between acquiring control information from either the first driving assistance ECU or the second driving assistance ECU to switch the information used for automatic driving assistance between the detection information of the virtual sensors 22A to 22L and the detection information of the ultrasonic sensors 19A to 19L.
- the vehicle operation simulator system of the second embodiment is equipped with a first driving assistance ECU 101 and a second driving assistance ECU 102 as control units that calculate control information (control information for each driving unit of the vehicle, such as the steering, brake, accelerator, and transmission) for driving with autonomous driving assistance.
- control information control information for each driving unit of the vehicle, such as the steering, brake, accelerator, and transmission
- it is also equipped with an input path for inputting detection information from virtual sensors 22A-22L to the first driving assistance ECU 101, and an input path for inputting detection information from ultrasonic sensors 19A-19L, which are real sensors, to the second driving assistance ECU 102.
- the first driving assistance ECU 101 calculates control information for driving with autonomous driving assistance from the detection information of the virtual sensors 22A-22L, and the second driving assistance ECU 102 calculates control information for driving with autonomous driving assistance from the detection information of the ultrasonic sensors 19A-19L, which are real sensors.
- the sensor selector switch 21 can switch the information used for autonomous driving assistance between the detection information of the virtual sensors 22A-22L and the detection information of the ultrasonic sensors 19A-19L. That is, when the first driving assistance ECU 101 is connected, autonomous driving assistance is performed based on the detection information of the virtual sensors 22A-22L, and when the second driving assistance ECU 102 is connected, autonomous driving assistance is performed based on the detection information of the ultrasonic sensors 19A-19L.
- the switching control of the sensor selector switch 21 is performed by the simulator device 3, but as in the first embodiment, while the autonomous driving assistance system is being evaluated (i.e., during a driving test), the switch is switched to perform autonomous driving assistance based on the detection information of the virtual sensors 22A-22L, and after the evaluation is completed or in the preparation stage before the evaluation, the switch is switched to perform autonomous driving assistance based on the detection information of the ultrasonic sensors 19A-19L.
- virtual sensors 22A to 22L are used as sensors capable of detecting virtual objects instead of ultrasonic sensors 19A to 19L, but a virtual sensor that serves as a substitute for a camera that detects an object by image recognition, rather than a distance measurement sensor such as an ultrasonic sensor, may be used.
- the virtual sensor can detect a virtual object by using, for example, an image in which the virtual object is synthesized with an image to be recognized.
- the information used for autonomous driving assistance is switched to the detection information of the virtual sensor when the driving test starts, and the information used for autonomous driving assistance is switched to the detection information of the real sensor when the driving test ends, but this may be done only at either the start or end of the driving test.
- the simulator device 3 mounted on the vehicle was the entity that executed the operation evaluation program shown in FIG. 11, but the simulator device 3 may also be provided outside the vehicle. In that case, the simulator device 3 and the vehicle 2 can communicate via wireless communication.
- the CPU 41 of simulator device 3 outputs the detection results of virtual objects detected by virtual sensors 22A-22L by vehicle 2 driving on the real field to ECU 20 on vehicle 2, and vehicle driving assistance (e.g., deceleration control and warnings for obstacles) is performed. Additionally, in steps S4 and S11, the information used for driving assistance during manual driving of the vehicle is switched between information detected by the virtual sensor and information detected by the actual sensor.
- vehicle driving assistance e.g., deceleration control and warnings for obstacles
- a vehicle operation simulator system (1) having a virtual object placement means (20) for placing a virtual object in a real field, and a driving result collection means (20) for collecting driving results in the real field of a vehicle (2) equipped with virtual sensors (22A to 22L) for detecting the virtual object, wherein the vehicle is equipped with real sensors (19A to 19L) that are sensors for detecting real objects around the vehicle in addition to the virtual sensors, and has a sensor switching means (21) for switching information used for driving assistance of the vehicle between detection information of the virtual sensors and detection information of the real sensors.
- the sensor switching means (21) switches the information used to assist the driving of the vehicle (2) to the detection information of the virtual sensors (22A-22L) while the driving result collection means (20) is collecting driving results, and that after the driving result collection means has finished collecting driving results or during the preparation stage before collecting driving results, the information used to assist the driving of the vehicle is switched to the detection information of the real sensors (19A-19L).
- the sensor switching means (20) switches the information used for driving assistance of the vehicle (2) between the detection information of the virtual sensors (22A-22L) and the detection information of the real sensors (19A-19L) based on a signal input from outside the vehicle.
- Vehicle operation simulator system 2... Vehicle, 3... Simulator device, 4... Evaluator (observer, occupant), 5... In-vehicle display (in-vehicle display device), 6... Actual scene image of real field, 7... Image of virtual object, 8... VR head-mounted display (in-vehicle display device), 9... Rearview mirror, 11... External terminal (external display device), 19A-19L... Ultrasonic sensor (real sensor), 20... Driving assistance ECU (control unit), 21... Sensor selector switch, 22A-22L... Virtual sensor, 40... Virtual control ECU, 41... CPU, 101... First driving assistance ECU, 102... Second driving assistance ECU
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
準備作業やテスト後の片付け作業を効率よく行うことを可能にした車両動作シミュレータシステムを提供する。具体的には、実フィールドに仮想物体を配置し、仮想物体を検知する為の仮想センサ22A~22Lを備えた車両2を、仮想センサ22A~22Lの検出情報に基づいて実フィールドにおいて走行を行わせ、車両の走行結果を収集する一方で、車両の運転支援に用いる情報を、仮想センサ22A~22Lの検出情報と実センサの検出情報との間で切り替えるセンサ切替スイッチ21を備えるように構成する。
Description
本発明は、車両の動作をシミュレートする車両動作シミュレータシステムに関する。
近年、車両の走行形態として、ユーザの運転操作に基づいて走行する手動走行以外に、ユーザの運転操作の一部又は全てを車両側で実行することにより、ユーザによる車両の運転を補助する自動運転支援システムについて新たに提案されている。自動運転支援システムでは、車両に対して超音波センサ、ミリ波レーダセンサ、LiDARセンサ等の周囲の対象物(例えば人、自転車、他車両、壁など)を検出する為の検出センサを配置し、検出センサの検出結果に基づいてステアリング、駆動源、ブレーキ等の車両制御が自動で行われる。
ここで、上記自動運転支援システムの開発の過程においては、試作された自動運転支援システムについて実際の走行環境下において正しく動作が行われるか否かをテストする工程が必要である。そして、従来においては車両に試作された自動運転支援システムを搭載し、実際に上記対象物等を配置したフィールド上を走行することによって上記テストを行っていた。しかしながら、上記テストは様々な走行環境下で行う必要があるが、環境を変える為には対象物の種類を変えたり配置しなおす必要があり、テストを開始するまでの準備期間が非常に長く必要となっていた。そこで、実フィールドに対して実在しない仮想の対象物(以下、仮想物体という)を配置することで仮想的な走行環境を実現し、仮想物体を検知する為の仮想センサを車両に搭載して上記テストを行うことが提案されている(例えば特表2021-507247号公報)。
ここで、上記特許文献1において用いられる仮想センサは、走行環境に設定された実際には存在しない仮想物体を検出することは可能であるが、その一方で上記テストと関係しない実際に存在する対象物については検出できない。従って、車両をテストの開始位置まで移動させる際や、テスト終了後に格納位置まで移動させる場合においてセンサ情報を有効にするためには、仮想センサから実センサへの切り替えが必要であった。
従来においてはこのようなセンサの切り替えを手作業で配線を付け替えることで行う必要があり、作業効率が極めて悪かった。一方で仮想センサから実センサへの切り替えを行わないと、周囲を確認しつつ手動操作で車を決められた位置まで移動させる必要があり、準備作業やテスト後の片付け作業に時間がかかる問題があった。また、上記では特に自動運転支援システムのテストを例に挙げて課題を説明したが、自動運転支援システムに限られず、例えば手動運転中において車両周辺にある障害物に対する減速制御や警告などの運転支援が適切に行われるか否かを確認するためのテストについて仮想的な走行環境で行う場合についても同様の問題が生じていた。
本発明は前記従来における問題点を解消するためになされたものであり、仮想物体を実フィールドに配置して行う車両の走行テストにおいて、準備作業やテスト後の片付け作業を効率よく行うことを可能にした車両動作シミュレータシステムを提供することを目的とする。
前記目的を達成するため本発明に係る車両動作シミュレータシステムは、実フィールドに仮想物体を配置する仮想物体配置手段と、前記仮想物体を検知する為の仮想センサを備えた車両の前記実フィールドにおける走行結果を収集する走行結果収集手段と、を有する車両動作シミュレータシステムであって、前記車両は、前記仮想センサに加えて、前記車両の周囲に実在する対象物を検出する為のセンサである実センサを備えており、前記車両の運転支援に用いる情報を、前記仮想センサの検出情報と前記実センサの検出情報との間で切り替えるセンサ切替手段を有する。
尚、「センサ」には、画像認識による検知を行うカメラも含む。
また、「仮想物体」は立体物に限られず、測距センサやカメラによる画像認識で検出可能な対象であれば良く、例えば区画線や路面標示なども含む。また、静止物に限られず、移動する物体であっても良い。移動体である場合には予め移動する為のスケジュールが設定されることとなる。
また、「車両」はユーザの運転操作に基づいて走行する手動運転走行に加えて、ユーザの運転操作によらず車両が自動的に走行を行う自動運転支援による支援走行が可能な車両としても良い。その場合には特に車両を仮想センサの検出情報に基づいて実フィールドで自動運転支援による走行を行わせ、センサ切替手段は自動運転支援に用いる情報を、仮想センサの検出情報と実センサの検出情報との間で切り替えることが可能である。その一方で、車両は必ずしも上記自動運転支援による支援走行が可能な車両に限られることなく、手動運転による走行のみが可能な車両であっても良い。その場合には特に車両を実フィールドにおいて手動運転による走行を行わせ、車両の運転支援として例えば車両周辺にある障害物に対する減速制御や警告などを行う。そして、センサ切替手段はそのような減速制御や警告に用いる情報を、仮想センサの検出情報と実センサの検出情報との間で切り替えることが可能である。
尚、「センサ」には、画像認識による検知を行うカメラも含む。
また、「仮想物体」は立体物に限られず、測距センサやカメラによる画像認識で検出可能な対象であれば良く、例えば区画線や路面標示なども含む。また、静止物に限られず、移動する物体であっても良い。移動体である場合には予め移動する為のスケジュールが設定されることとなる。
また、「車両」はユーザの運転操作に基づいて走行する手動運転走行に加えて、ユーザの運転操作によらず車両が自動的に走行を行う自動運転支援による支援走行が可能な車両としても良い。その場合には特に車両を仮想センサの検出情報に基づいて実フィールドで自動運転支援による走行を行わせ、センサ切替手段は自動運転支援に用いる情報を、仮想センサの検出情報と実センサの検出情報との間で切り替えることが可能である。その一方で、車両は必ずしも上記自動運転支援による支援走行が可能な車両に限られることなく、手動運転による走行のみが可能な車両であっても良い。その場合には特に車両を実フィールドにおいて手動運転による走行を行わせ、車両の運転支援として例えば車両周辺にある障害物に対する減速制御や警告などを行う。そして、センサ切替手段はそのような減速制御や警告に用いる情報を、仮想センサの検出情報と実センサの検出情報との間で切り替えることが可能である。
前記構成を有する本発明に係る車両動作シミュレータシステムによれば、仮想物体を実フィールドに配置して行う車両の走行テストにおいて、車両の運転支援に用いる情報を、仮想センサの検出情報と実センサの検出情報との間で切り替えるセンサ切替手段を設けることで、従来に比べて準備作業やテスト後の片付け作業を効率よく行うことが可能となる。
以下、本発明に係る車両動作シミュレータシステムを具体化した第1実施形態及び第2実施形態について図面を参照しつつ詳細に説明する。
[第1実施形態]
先ず、第1実施形態に係る車両動作シミュレータシステム1の概略構成について図1を用いて説明する。図1は本実施形態に係る車両動作シミュレータシステム1を示した概略構成図である。
先ず、第1実施形態に係る車両動作シミュレータシステム1の概略構成について図1を用いて説明する。図1は本実施形態に係る車両動作シミュレータシステム1を示した概略構成図である。
図1に示すように、本実施形態に係る車両動作シミュレータシステム1は、シミュレーションによる走行テストの対象となる車両2と、車両2に対して走行テストの走行環境となる仮想の走行環境を付与するとともに車両2の走行テストの動作結果を取得して解析、評価及び出力するシミュレータ装置3と、を基本的に有する。尚、以下の第1実施形態において上記走行テストで品質評価の評価対象となるのは、乗員の運転操作の一部又は全てを車両側で実行することにより乗員による車両の運転を補助する自動運転支援システムであり、車両2は評価対象となる自動運転支援システムを搭載した車両とする。但し、後述のように車両2は必ずしも上記自動運転支援システムを搭載した車両に限られることなく、手動運転による走行のみが可能な車両であっても良い。その場合には例えば手動運転中において車両周辺にある障害物に対する減速制御や警告などの運転支援が適切に行われるか否かを評価するための走行テストとなる。
尚、走行テストは、出荷前において生産者側において自動運転支援システムの不具合を発見及び修正する為の工程の一つであり、自動運転支援システムの想定される様々な走行環境下での動作をシミュレートし、動作結果を取得及び解析することによって不具合が生じるか否かが確認される。尚、走行テストは実フィールド(例えば周囲に何もない広域の平坦路面)で実際に車両2を走行させることで行われ、更にシミュレータ装置3により仮想の走行環境を付与することで、同じ実フィールドであっても様々な走行環境下での走行テストが可能となる。
また、シミュレータ装置3は、車両2に搭載され、車両2とはCAN等の車載ネットワークにより双方向通信可能に接続される。但し、シミュレータ装置3は必ずしも車両2に搭載する必要はなく、車両2の外部に一部または全部を設置しても良い。その場合には例えば無線通信により車両2と双方向通信可能に接続される。また、シミュレータ装置3は、キーボード等の操作手段や表示手段としてのディスプレイ等を備え、自動運転支援システムの評価を行う評価者(観測者/乗員)4の操作によって各種情報の入力や出力が可能に構成されている。特に評価者4は、シミュレータ装置3に対して車両2が走行する実フィールド上に走行環境として配置する仮想物体の位置と種類を入力する。そして、シミュレータ装置3は入力された走行環境に従って、車両2の走行テストを行う仮想の走行環境を構築する。
また、シミュレータ装置3は、上記走行環境として構築された仮想物体を車両2が検知する為の仮想センサを備えており、実フィールドを走行する車両2が仮想物体を仮想センサで検知した検知結果を、車両2側の自動運転支援を制御する制御装置へと出力する。それによって、車両側は仮想物体を実際に存在する対象物(例えば人、自転車、他車両、壁など)と認識する、より現実に近い走行環境を再現することが可能となる。
また、シミュレータ装置3における車両2の走行結果の解析は、例えば“常時解析”と“後解析”のいずれも実施可能に構成されている。“常時解析”は走行テスト中の車両2を監視し、何らかの不具合が生じた場合には不具合を自動で検知し、出力する。一方で、“後解析”は車両2の走行テスト終了後に、走行テスト中に記憶された車両2の制御内容や走行軌跡等を評価して出力する。
従って、車両2の走行テストを行う場合において、先ず評価者4は、車両2の走行テストを行う為の走行環境として、特に実フィールドに対して配置する仮想物体の種類と位置をシミュレータ装置3において入力する。それによって、走行テストを行う走行環境が生成される。尚、「仮想物体」は立体物に限られず、例えば区画線や路面標示なども含む。更に、静止物に限らず移動体としても良く、移動体である場合には予め移動する為のスケジュール(どのような速度でどのように移動するか)についても設定する。例えば駐車場での走行テストを行う場合には、駐車場内の路面に描かれる駐車区画線、駐車スペースに駐車されている他車両、駐車場内を移動する歩行者、駐車場内の通路を走行中の他車両等を仮想物体として入力する。その後、走行テストを開始すると、車両に搭載された仮想センサが走行環境として生成された仮想物体を検知することで、仮想走行環境下で車両を自動運転支援により走行させるシミュレーションを行う。そして、走行結果は“常時解析”又は“後解析”により解析、評価及び出力され、不具合が発生した場合には発生した不具合を特定することが可能となる。
但し、シミュレータ装置3によって実フィールドに配置された仮想物体は、実際には存在しない物であることから、仮想センサによって車両側では認識していても評価者4から直接視認することはできない。従って、特に“常時解析”を行う場合において車両2と仮想物体の位置関係が不透明で、評価者4の目線で車両の挙動が適切な挙動であるのか評価することが難しい問題があった。そこで、第1実施形態の車両動作シミュレータシステム1では仮想物体が配置された位置に仮想物体を示す画像が重畳された実フィールドを評価者4に視認させる為に以下の手段を備える。尚、評価者4は車両2に乗員として乗車している場合と、車両外で観測している場合とがあり、夫々の場合を想定して説明する。
先ず、車両2に乗員として乗車している評価者4に対して視認させる場合について説明する。第1の例では図2に示すように車両2に搭載されて車両の乗員が視認可能な車載ディスプレイ5に車外カメラで撮像した実フィールドのリアルタイムの実景映像6を表示する。そして、車載ディスプレイ5に表示された実フィールドの実景映像6に仮想物体を示す画像7を合成することで、仮想物体が配置された位置に仮想物体を示す画像7が重畳された実フィールドを評価者4に視認させることが可能となる。尚、シミュレータ装置3は、走行環境として設定された仮想物体の配置座標(絶対座標)を車外カメラの座標系(相対座標)に変換することで、車載ディスプレイ5に表示された実フィールドの実景映像6における仮想物体の位置を特定可能となる。
続いて、第2の例ではVR(Virtual Reality)技術を用いて、VRヘッドマウントディスプレイ8を車両の乗員である評価者4に装着させる。VRヘッドマウントディスプレイ8には、図3に示すように予め記録された実写の車内の映像に加えて、ウィンドウの外側には車外カメラで撮像した実フィールドのリアルタイムの実景映像6について表示する。そして、表示された実フィールドの実景映像6に仮想物体を示す画像7を合成することで、仮想物体が配置された位置に仮想物体を示す画像7が重畳された実フィールドを評価者4に視認させることが可能となる。尚、シミュレータ装置3は、走行環境として設定された仮想物体の配置座標(絶対座標)をVR(即ち、ユーザ視線)の座標系(相対座標)に変換することで、VRヘッドマウントディスプレイ8に表示された実フィールドの実景映像6における仮想物体の位置を特定可能となる。
また、上記第1の例や第2の例のように車両2に乗員として乗車している評価者4に対して仮想物体を示す画像7を視認させる場合については、更に車両に配置されたルームミラー及びサイドミラーの一方或いは両方に映る或いは表示される実フィールドも対象に、仮想物体を示す画像7を重畳して表示するようにしても良い。即ち、ルームミラー及びサイドミラーの一方或いは両方に映る或いは表示される実フィールドにおいて仮想物体が配置された場所に、仮想物体を示す画像7を重畳して表示する。例えばルームミラー及びサイドミラーが車外カメラで撮像された映像を表示するモニター型である場合については、図4に示すようにルームミラー9の画像表示領域に表示された実フィールドの実景映像6に対して仮想物体を示す画像7を合成することで、仮想物体が配置された位置に仮想物体を示す画像7が重畳された実フィールドを評価者4に視認させることが可能となる。一方、ルームミラー及びサイドミラーがミラー表面に透過ディスプレイを備えたミラー型ディスプレイである場合には、ミラーに映し出された実フィールドの実景に対して透過ディスプレイが仮想物体を示す画像7を重畳して表示することで、仮想物体が配置された位置に仮想物体を示す画像7が重畳された実フィールドを評価者4に視認させることが可能となる。
また、車両2に乗員として乗車している評価者4に対して実フィールドに配置された仮想物体を視認させる手段としては上記例以外にも、例えばHUD(ヘッドアップディスプレイ)を用いることも可能であるし、シースルータイプのVRヘッドマウントディスプレイを用いることも可能である。これらについては、実際にフロントウィンドウやサイドウィンドウ越しに視認される車外の実景に映像を重畳させて視認させる技術であるので、乗員の視界に含まれる実フィールドの内、仮想物体が配置された位置に仮想物体を示す画像が重畳するように表示制御を行う。
次に、車両外で観測している評価者4に対して視認させる場合について説明する。車両外で観測している評価者4に対しては、シミュレータ装置3と通信可能に接続されたタブレット型の外部端末11のディスプレイに車外カメラで撮像した実フィールドのリアルタイムの実景映像6を表示する。詳細については、車載ディスプレイ5に表示する場合と同様であり、外部端末11に表示された実フィールドの実景映像6に仮想物体を示す画像7を合成することで、仮想物体が配置された位置に仮想物体を示す画像7が重畳された実フィールドを評価者4に視認させることが可能となる。
但し、特に外部端末11に実フィールドを表示する場合については、車両2を視点とした視界に含まれる実フィールドを表示する必要はなく、車両2と異なる位置を視点とした視界に含まれる実フィールドを表示させることも可能である。例えば、カメラ付きの外部端末11であれば、図5に示すように外部端末11のカメラで撮像した実フィールドのリアルタイムの実景映像6を外部端末11のディスプレイに表示する。そして、シミュレータ装置3は外部端末11のカメラの光軸情報を取得し、走行環境として設定された仮想物体の配置座標(絶対座標)を外部端末11のカメラの座標系(相対座標)に変換することで、外部端末11のカメラで撮像した実フィールドにおける仮想物体が配置された位置を特定可能となる。その後、外部端末11のディスプレイに表示された実フィールドの実景映像6に仮想物体を示す画像7を合成することで、仮想物体が配置された位置に仮想物体を示す画像7が重畳された実フィールドを評価者4に視認させることが可能となる。
また、評価者4の外部端末11の操作によって、車両2の位置を視点とした実フィールドの表示と、評価者4の位置を視点とした実フィールドの表示と、を適宜切り替えて表示可能としても良い。それによって、固定の視点ではなく実フィールドにおける様々な視点から仮想物体が配置された実フィールドをリアルタイムで視認させることが可能となる。また、車両2の位置を視点とした実フィールドの表示と評価者4の位置を視点とした実フィールドの表示以外に、実フィールド上に撮像装置が設置されていれば、それらの撮像装置を視点とした実フィールドの表示も可能となる。
続いて、車両動作シミュレータシステム1による評価対象となる自動運転支援システムを搭載した車両2について以下説明する。図6は本実施形態に係る車両2の概略構成図である。
ここで、車両2は、例えば内燃機関(エンジン等)を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機(モータ等)を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。また、車種については問わず、普通車であっても良いし、商業用の大型トラック、バス、建設機械などであっても良い。また、以下の説明では4輪自動車とするが2輪や3輪の車両であっても良い。
但し、車両2はユーザの運転操作に基づいて走行する手動運転走行に加えて、ユーザの運転操作によらず車両が自動的に走行を行う自動運転支援による支援走行が可能な車両とする。
また、自動運転支援は例えば駐車時や出庫時等の特定の状況下でのみ行うようにしても良いし、全ての道路区間に対して行っても良いし、特定の道路区間(例えば境界にゲート(有人無人、有料無料は問わない)が設けられた高速道路)を車両が走行する間のみ行う構成としても良い。以下の説明では車両の自動運転支援が行われる自動運転区間は、一般道や高速道路を含む全ての道路区間に加えて駐車場も含むこととし、更にユーザにより自動運転支援を行うことが選択され(例えば自動運転開始ボタンをONする)、且つ自動運転支援による走行を行わせることが可能と判定された状況でのみ行うこととする。一方で、車両2は自動運転支援による支援走行のみ可能な車両としても良い。或いは、車両が駐車を行う際の駐車スペースまでの走行(即ち駐車支援)のみを対象にして自動運転支援による支援走行を行うようにしても良い。
そして、本実施形態の自動運転支援における車両制御では、例えば、車両の現在位置、車両が走行する車線、周辺の障害物の位置を随時検出し、生成された走行軌道に沿って、同じく生成された速度計画に従った速度で走行するようにステアリング、駆動源、ブレーキ等の車両制御が自動で行われる。特に駐車支援を行う場合においては、センサやカメラの検出結果を用いて車両が駐車を行う対象となる駐車スペースやその周囲の状況確認を行うとともに、駐車スペースまでの駐車軌道を算出し、算出された駐車軌道に沿って駐車スペースへ車両を進入させ、駐車を完了させる車両制御が自動で行われる。
また、図6に示すように車両2は、乗員からの操作を受け付ける操作部13と、乗員に対して前述した実フィールドの実景映像6(図2)やその他のシミュレータ装置3からの出力情報を表示する車載ディスプレイ5(或いはVRヘッドマウントディスプレイ8)と、シミュレータ装置3からの音声ガイダンスを出力するスピーカ15と、車両周辺を撮像する為の前方カメラ16、後方カメラ17、側方カメラ18A,18Bと、車両周辺の障害物を検出する実センサである超音波センサ19A~19Lと、入力された情報に基づいて自動運転支援に関する各種の演算処理を行う制御部である運転支援ECU(エレクトロニック・コントロール・ユニット)20と、前述したシミュレータ装置3と、後述のように運転支援ECU20への入力するセンサ情報の切り替えを行うセンサ切替スイッチ21と、を有する。
以下に、車両2が備える各構成要素について説明する。先ず、操作部13は例えばハンドル(ステアリングホイールともいう)の前面に配置されており、自動運転支援を開始する際に操作される操作ボタンやセンサ切替スイッチ21のセンサ情報の切り替えを行う際に操作される操作ボタン等を含む。ユーザは操作部13を操作することによって、ユーザの運転操作に基づいて走行する手動運転走行と、ユーザの運転操作によらず車両が自動的に走行を行う自動運転支援による支援走行とを切り替えることが可能となる。また、後述の運転支援ECU20への入力するセンサ情報について実センサと仮想センサとの間で切り替えを行うことも可能となる。尚、操作部13は車載ディスプレイの前面に設けたタッチパネルを有しても良い。また、マイクと音声認識装置を有しても良い。
車載ディスプレイ5は、車両2のインストルメントパネルに備え付けられ、前述したように仮想物体が配置された位置に仮想物体を示す画像7が重畳された実フィールドの実景映像6(図2)を表示する。尚、車載ディスプレイ5の代わりに同じく前述したVRヘッドマウントディスプレイ8を備えても良い。更に、前述したようにルームミラー及びサイドミラーに同じく仮想物体を示す画像7が重畳された実フィールドの実景映像6を表示する表示装置(図4)を備えていても良い。尚、車載ディスプレイ5やVRヘッドマウントディスプレイ8において表示される実フィールドの実景映像6は、前方カメラ16、後方カメラ17、側方カメラ18A,18Bの各カメラにより撮像されたリアルタイムの映像に前述した仮想物体を示す画像7を合成した映像となる。
また、スピーカ15は、車両2のインストルメントパネルに備え付けられ、シミュレータ装置3からの案内音声や警告音等を出力する。
また、前方カメラ16は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、例えば車両2のフロントバンパの上方やルームミラーの裏側等に光軸方向を車両の進行方向前方に向けて設置される。
後方カメラ17は、同じくCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、例えば車両2の後方に装着されたナンバープレートの上中央付近に取り付けられ、光軸方向を車両の後方に向けて設置される。
更に側方カメラ18A,18Bは、同じくCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、例えば車両2の左右のサイドミラーに取り付けられ、光軸方向を車両の側方に向けて設置される。
尚、シミュレータ装置3は、評価者4によって予め設定された走行環境における仮想物体の種類や設置位置に関する情報を読み出し、上記前方カメラ16、後方カメラ17、側方カメラ18A,18Bの各カメラにより撮像した撮像画像に対して仮想物体が配置された位置に仮想物体を示す画像7を合成することで、前述した車載ディスプレイ5やVRヘッドマウントディスプレイ8において表示される実フィールドの実景映像6を生成する。尚、仮想物体を示す画像7が合成される対象となる実景映像は前方カメラ16、後方カメラ17、側方カメラ18A,18Bの各カメラにより撮像した実景映像そのものであっても良いし、例えば複数のカメラの映像を合成したり視点変換された映像(例えば俯瞰画像や鳥瞰画像)であっても良い。
一方、超音波センサ19A~19Lは、車両の周囲に実在する対象物を検出する為のセンサである実センサに相当する。尚、実センサである超音波センサ19A~19Lに相対する存在として、実在する対象物は検知できないが仮想物体を検知可能な後述の仮想センサ22A~22Lがあり、それらも同様に車両2に搭載されている。超音波センサ19A~19Lは、車両の前部、後部及び側部に夫々所定間隔で配置され、車両2の周囲に対して探査波として超音波を送信するとともに、送信された探査波が車両の周囲にある対象物によって反射した反射波を受信することで、探査波を反射した対象物を検知する。具体的には、送信してから受信するまでの時間を計測することによって探査波を反射した対象物までの距離(測距値)を検出可能な測距センサの一種である。また、超音波センサ19A~19Lは、受信波の受信結果に対応する出力信号(検出した対象物までの距離を含む)を生成して制御部に出力可能に構成されている。尚、超音波センサ19A~19Lによって検出対象となる対象物は例えば人、自転車、他車両、壁などの車両2が走行する上で回避する必要のある障害物、或いは駐車スペースを形成する障害物が挙げられる。尚、測距センサとしては超音波センサの代わりにミリ波センサやレーダセンサを用いても良い。
また、各超音波センサ19A~19Lの設置位置や設置方向については適宜設定可能であるが、本実施形態では車両2の進行方向前方、後方及び左右側方の全方位を対象物の検出範囲とするために、例えば超音波センサ19A~19Dは探査波の送信方向が車両の進行方向前方となるように車両2の前面に進行方向に向けて設置される。また、超音波センサ19E、19Fは探査波の送信方向が車両の進行方向左側となるように車両2の左側面に左方向に向けて設置される。また、超音波センサ19G、19Hは探査波の送信方向が車両の進行方向右側となるように車両2の右側面に右方向に向けて設置される。また、超音波センサ19I~19Lは探査波の送信方向が車両の後方となるように車両2の後面に進行方向と逆方向に向けて設置される。各超音波センサ19A~19Lの地表面からの高さは同程度とする。
そして、本実施形態において超音波センサ19A~19Lの内、特に車両2の前面の超音波センサ19A~19Dと車両2の後面の超音波センサ19I~19Lについては、隣接するセンサ間で互いに反射波を間接波として受信可能な位置に設置されているので、受信波として直接波と間接波を受信することにより、対象物まで距離だけではなく、三角測量を用いて対象物の具体的な位置(車両に対する相対位置)を特定可能となっている。側方の超音波センサ19E~19Hについては互いに離間されて設置されているので間接波の受信はできないが、車両が移動することで前回位置の測距距離と今回位置の測距距離とその間の移動距離を用いた三角測量により対象物の具体的な位置(車両に対する相対位置)を同じく特定可能となっている。
一方、運転支援ECU20は、自動運転支援に関する各種処理を行う電子制御ユニットである。運転支援ECU20には、車速センサ、車輪速センサ、加速度センサ、ジャイロセンサ、ステアリングセンサ、シフト位置センサ等の車両の挙動を検出する為の各種センサや、ステアリング、ブレーキ、アクセル、トランスミッション等の車両の各駆動部とも接続されており、それらのセンサの検出結果に基づいて車両の現在の挙動を検出しつつ、各駆動部を制御する為の制御情報(制御量)を演算して、各駆動部を制御することにより車両2の自動運転支援を実施する。具体的な自動運転支援の内容としては、例えば車両の現在位置、車両が走行する車線、周辺の障害物の位置を随時検出し、生成された走行軌道に沿って、同じく生成された速度計画に従った速度で走行するようにステアリング、駆動源、ブレーキ等の車両制御を行う。特に駐車支援を行う場合においては、車両が駐車を行う対象となる駐車スペースやその周囲の状況確認を行うとともに、駐車スペースまでの駐車軌道を算出し、算出された駐車軌道に沿って駐車スペースへ車両を進入させ、駐車を完了させる車両制御を行う。
ここで、運転支援ECU20が上記自動運転支援を行う為に必要な周辺の障害物や駐車スペースに関する情報を取得する手段として、超音波センサ19A~19Lの検出情報を取得する手段と、仮想センサ22A~22Lの検出情報を取得する手段とがある。超音波センサ19A~19Lは車両の周囲に実在する対象物を検出する為のセンサである一方で、仮想センサ22A~22Lはシミュレータ装置3によって仮想的に生成された走行環境下にある仮想対象物を検出する為のセンサである。仮想センサ22A~22Lはシミュレータ装置3の一部であり、車両2に搭載されている。
ここで、図7はシミュレータ装置3が備える仮想センサ22A~22Lの外観図、図8は仮想センサ22A~22Lの内部構造を示した図である。尚、仮想センサ22A~22Lは基本的に同じ構造を有しており、以下では仮想センサ22Aを例に挙げて説明する。
図7及び図8に示すように仮想センサ22Aは、直方体のボックス形状を有しており、ボックス内部の一方の端部には第1の超音波センサ25を備え、他方の端部には第2の超音波センサ26を備える。尚、第1の超音波センサ25及び第2の超音波センサ26は、基本的に前述した超音波センサ19A~19Lと同一の構造を備えており、検出軸Xが同軸になるように互いに向かい合って配置されている。尚、検出軸Xは、第1の超音波センサ25及び第2の超音波センサ26から探査波の送受信方向に沿って延びる仮想直線である。また、第1の超音波センサ25及び第2の超音波センサ26は、探査波を送信および受信する為の圧電振動子(例えばセラミックス板)を夫々有している。圧電振動子は、検出軸Xを法線とする平面状に形成されている。そして、第1の超音波センサ25及び第2の超音波センサ26は、電気-機械変換素子に印加された駆動信号に基づいて圧電振動子を超音波振動させることで、検出軸Xに沿って探査波を発信するように構成されている。また、第1の超音波センサ25及び第2の超音波センサ26は、外部から受信波を受信する場合には受信した超音波による圧電振動子の励振状態に応じた電気信号である受信信号を電気-機械変換素子にて発生するように構成されている。
そして、仮想センサ22Aは、第1の超音波センサ25が探査波の受信に伴う圧電振動子の振動によって発生する起電力が閾値を越えることで反射波を受信したことを検出し、第1の超音波センサ25が探査波を送信してから探査波を受信するまでの時間によって対象物までの距離を算出する。但し、ここでいう対象物とは仮想物体であり、第1の超音波センサ25は実際には探査波を送信せず、探査波を送信したと仮定した上で第2の超音波センサ26から送信された探査波を反射波と認識して受信する。その場合に、第2の超音波センサ26から探査波を送信するタイミングによって仮想センサ22Aで検出される測距値を自由に制御可能となる。
即ち、シミュレータ装置3は車両に設置された車速センサ、車輪速センサ、加速度センサ、ジャイロセンサ、ステアリングセンサ、シフト位置センサ等の各センサからの情報に基づいて車両の現在位置及び方位を特定し、特定された車両の現在位置及び方位と予め評価者4により設定された走行環境下で配置された仮想物体の位置とに基づいて、車両2に対する仮想物体の相対位置を特定する。そして、特定された車両2(より具体的には車両が備える超音波センサ19A~19L)に対する仮想物体の相対位置に基づいて、第2の超音波センサ26から探査波を送信するタイミングを制御し、それによって仮想センサ22A~22Lは実在しない仮想物体を検出することとなる。
そして、第1実施形態の車両動作シミュレータシステム1では、走行テストを行う間(走行結果の収集を行う間)においては、運転支援ECU20は仮想センサ22A~22Lの検出情報に基づいて周辺の障害物や駐車スペースの検出を行い、ステアリング、駆動源、ブレーキ等の車両制御を行う。一方で、走行テストを行う前の準備段階(走行結果の収集を行う前の準備段階)や走行テスト後(走行結果の収集の終了後)においては、実在する壁や障害物を避けて車両を走行させる必要があるので、運転支援ECU20は実センサである超音波センサ19A~19Lの検出情報に基づいて周辺の障害物や駐車スペースの検出を行い、ステアリング、駆動源、ブレーキ等の車両制御を行う。尚、上記運転支援ECU20への入力するセンサ情報の切り替えはセンサ切替スイッチ21により行う。
尚、仮想センサ22A~22Lは実センサである超音波センサ19A~19Lと同じ数だけ備えており、仮想センサ22Aが超音波センサ19Aに対応する。即ち、運転支援ECU20は走行テストを行う間においては仮想センサ22Aが超音波センサ19Aであると認識し、車両の左前方にある対象物(実際には実在しない仮想物体)の検知を行う。例えば、超音波センサ19Aから仮想物体までの距離が1mであれば、仮想センサ22Aにおいて検出される測距値が1mとなるように第2の超音波センサ26から探査波を送信するタイミングを制御する。それによって、超音波センサ19Aから1mの位置に対象物(実際には仮想物体)があると検知されることとなる。同様に仮想センサ22Bが超音波センサ19Bに対応し、仮想センサ22Cが超音波センサ19Cに対応し、仮想センサ22Dが超音波センサ19Dに対応する。残りの仮想センサ22E~22Lについても同様である。
また、車両2は、図6に示す構成要素の他にも車両2としての基本的な構成要素を備えているが、自動運転支援の制御に関わる構成、並びに当該構成に関わる制御についてのみ説明することとする。
続いて、センサ切替スイッチ21による運転支援ECU20への入力するセンサ情報の切り替え方法について説明する。図9に示すように第1実施形態の車両動作シミュレータシステム1では、仮想センサ22A~22Lの検出情報を運転支援ECU20に入力する第1の入力経路と、実センサである超音波センサ19A~19Lの検出情報を運転支援ECU20に入力する第2の入力経路と、をそれぞれ備える。
センサ切替スイッチ21は、第1の入力経路と第2の入力経路の一方を選択的に切断することで、運転支援ECU20での自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替えることが可能となる。尚、センサ切替スイッチ21の切り替え制御はシミュレータ装置3によって行われるが、自動運転支援システムにおいて走行結果の収集を行う間(即ち走行テスト中)については、運転支援ECU20による自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報となるように切り替え、走行結果の収集の終了後或いは走行結果の収集を行う前の準備段階では、運転支援ECU20での自動運転支援に用いる情報を超音波センサ19A~19Lの検出情報となるように切り替える。但し、それらの切り替えは自動で行っても良いし、例えば評価者4よる操作部13や外部端末11の操作に基づいて行うようにしても良い。特に、外部端末11の操作に基づいて行う場合については、例えば外部端末11においてテスト開始が選択されると、外部端末11からシミュレータ装置3へと信号が送信され、シミュレータ装置3は受信した信号に基づいてセンサ切替スイッチ21を制御し、運転支援ECU20での自動運転支援に用いる情報を超音波センサ19A~19Lの検出情報から仮想センサ22A~22Lの検出情報へと切り替える。一方で、外部端末11においてテスト終了が選択されると、外部端末11からシミュレータ装置3へと信号が送信され、シミュレータ装置3は受信した信号に基づいてセンサ切替スイッチ21を制御し、運転支援ECU20での自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報から超音波センサ19A~19Lの検出情報へと切り替える。
続いて、車両動作シミュレータシステム1が備えるシミュレータ装置3の詳細について説明する。図10は本実施形態に係るシミュレータ装置3の構成を示したブロック図である。
図10に示すように、シミュレータ装置3は、走行テストを行う際の走行環境の生成、仮想センサ22A~22Lの制御、車両2の走行テストの動作結果の解析、評価、出力等の各種の演算処理を行う制御部である仮想制御ECU(エレクトロニック・コントロール・ユニット)40と、前述した仮想センサ22A~22Lと、を有する。
仮想制御ECU40は、シミュレータ装置3の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのCPU41、並びにCPU41が各種の演算処理を行うにあたってワーキングメモリとして使用されるRAM42、制御用のプログラムのほか、後述の動作評価プログラム(図11参照)等が記録されたROM43、ROM43から読み出したプログラムを記憶するフラッシュメモリ44等の内部記憶装置を備えている。尚、仮想制御ECU40は、前述した運転支援ECU20とともに処理アルゴリズムとしての各種手段を有する。例えば、仮想物体配置手段は、実フィールドに仮想物体を配置する。走行結果収集手段は、仮想物体を検知する為の仮想センサ22A~22Lを備えた車両2の走行結果を収集する。センサ切替手段は、車両の運転支援に用いる情報を、仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替える。
また、仮想制御ECU40はCAN等の車載ネットワークを介して前述した操作部13、車載ディスプレイ5(或いはVRヘッドマウントディスプレイ8)、スピーカ15、前方カメラ16、後方カメラ17、側方カメラ18A,18B、超音波センサ19A~19L、運転支援ECU20、センサ切替スイッチ21に加えて、車速センサ、車輪速センサ、加速度センサ、ジャイロセンサ、ステアリングセンサ、シフト位置センサ等の車両の挙動を検出する為の各種センサ47とも接続されており、それらのセンサ47の検出結果に基づいて車両の現在位置、方位や現在の挙動を検出可能となっている。そして、仮想制御ECU40は車両2に対して走行テストの走行環境となる仮想の走行環境を付与する一方で、走行テスト中の車両の挙動から自動運転支援システムの動作結果を取得して解析、評価及び出力可能となっている。更に、同じく走行テスト中の車両の挙動から前述の車載ディスプレイ5、VRヘッドマウントディスプレイ8、外部端末11において表示される実フィールドの実景映像6(図2~図4)を生成し、それらの表示装置に対して映像を出力する。
また、フラッシュメモリ44には走行環境情報45及び走行結果DB46を含む。走行環境情報45には、予め評価者4によって設定された車両2の走行テストを行う際の走行環境について格納される。具体的には、実フィールドに対して配置する仮想物体の種類と位置であり、それらは評価者4によって事前に入力される。尚、走行環境は予め複数パターン記憶することも可能である。
一方、走行結果DB46は、走行テスト中における車両の制御内容、車両の走行軌跡や挙動の履歴を累積的に格納する為の記憶手段である。そして、シミュレータ装置3は、車両2の走行テスト動作終了後に、走行結果DB46に格納された車両2の制御内容や走行軌跡等を評価して出力する。
続いて、前記構成を有する車両動作シミュレータシステム1を構成するシミュレータ装置3において実行する動作評価プログラムについて図11に基づき説明する。図11は本実施形態に係る動作評価プログラムのフローチャートである。ここで、動作評価プログラムは、シミュレータ装置3において対応するプログラムの起動操作を受け付けた場合に実行され、仮想の走行環境を構築するとともに、走行テストの結果に基づいて車両が備える自動運転支援システムの品質評価を行うプログラムである。尚、プログラムの起動操作は例えば車両の乗員として乗車する評価者4が操作部13を操作することを契機に行っても良いし、車外にいる評価者4が外部端末11で所定の操作を行うことで開始しても良い。以下の図11にフローチャートで示されるプログラムは、シミュレータ装置3が備えるRAM42やROM43等に記憶されており、CPU41により実行される。
先ず、ステップ(以下、Sと略記する)1においてシミュレータ装置3のCPU41は、走行テストを実行する前の各種初期設定処理を行う。例えば、仮想センサ22A~22Lの動作確認などを行う。
次に、S2においてCPU41は、車両2の走行テストを行う為の走行環境の設定情報をフラッシュメモリ44から読み出す。走行環境としては例えば実フィールドに対して配置する仮想物体の種類と位置を含む。
ここで、走行環境は基本的には評価者4の入力操作によってシミュレータ装置3において事前に設定され、記憶されている。複数の走行環境を設定することも可能であり、その場合には今回の走行テストに用いる走行環境を任意に選択可能である。尚、走行環境としては、例えば公道での走行を設定することも可能であるし、駐車場内での走行を設定することも可能である。また、「仮想物体」は立体物に限られず、例えば区画線や路面標示なども含む。例えば駐車場での走行テストを行う場合には、駐車場内の路面に描かれる駐車区画線、駐車スペースに駐車されている他車両、駐車場内を移動する歩行者、駐車場内の通路を走行中の他車両等が仮想物体として設定されている。更に、移動する仮想物体に関しては移動するスケジュール(どのような速度でどのように移動するか)についても設定されている。
続いて、S3においてCPU41は、前記S2で読み出した設定情報に基づいて、車両が現在位置する実フィールドに対して仮想の走行環境を構築する。即ち、実フィールドの設定された位置に設定された種類の仮想物体を配置する。また、移動する仮想物体については設定されたスケジュールに従ってその後に移動させる。
その後、S4においてCPU41はセンサ切替スイッチ21を操作し、運転支援ECU20による自動運転支援に用いる情報を以後、仮想センサ22A~22Lの検出情報となるように切り替える。尚、前述したようにセンサ切替スイッチ21は、第1の入力経路と第2の入力経路の一方を選択的に切断することで、運転支援ECU20での自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替える(図9)。ここで、センサ切替スイッチ21によるセンサ情報の切り替えは、走行テストの開始に伴い自動で行っても良いし、評価者4から所定の操作を受け付けたことを契機にして行うようにしても良い。例えば外部端末11においてテスト開始が選択されると、外部端末11からシミュレータ装置3へと信号が送信され、シミュレータ装置3は受信した信号に基づいてセンサ切替スイッチ21を操作するようにしても良い。
尚、前記S4で切り替えが行われるまでは、運転支援ECU20での自動運転支援に用いる情報については実センサである超音波センサ19A~19Lの検出情報となっている。従って、走行テストを開始する前の準備段階では、車両2は実センサである超音波センサ19A~19Lの検出情報に基づいて自動運転支援走行が可能となっており、例えば走行テストの開始位置までの車両2の移動において実在する壁や他車両などの障害物を避けて自動運転により移動させることが可能となる。
その後、S5においてCPU41は車両2の走行テストが開始される。走行テストが開始されると、車両2において自動運転支援による車両制御が開始され、例えば、車両の現在位置、車両が走行する車線、周辺の障害物の位置を随時検出し、生成された走行軌道に沿って、同じく生成された速度計画に従った速度で実フィールド上を走行するようにステアリング、駆動源、ブレーキ等の車両制御が自動で行われる。特に駐車場を走行環境として駐車支援の評価を行う場合においては、センサの検出情報を用いて車両が駐車を行う対象となる駐車スペースやその周囲の状況確認を行うとともに、駐車スペースまでの駐車軌道を算出し、算出された駐車軌道に沿って駐車スペースへ車両を進入させ、駐車を完了させる車両制御が自動で行われる。
上記自動運転支援による走行が行われている間において、シミュレータ装置3のCPU41は、実フィールドを走行する車両2が仮想物体を仮想センサ22A~22Lで検知した検知結果を、車両2側の自動運転支援を制御する運転支援ECU20へと出力する。具体的に、CPU41は車両に設置された車速センサ、車輪速センサ、加速度センサ、ジャイロセンサ、ステアリングセンサ、シフト位置センサ等の各センサ47からの情報に基づいて車両の現在位置及び方位を特定し、特定された車両の現在位置及び方位と前記S3で構築された走行環境下で配置された仮想物体の位置とに基づいて、車両2に対する仮想物体の相対位置を特定する。そして、特定された車両2(より具体的には車両が備える超音波センサ19A~19L)に対する仮想物体の相対位置に基づいて、仮想センサ22A~22Lが備える第2の超音波センサ26から探査波を送信するタイミングを制御し、それによって仮想センサ22A~22Lは実在しない仮想物体を検出することとなる。
次に、S6においてCPU41は、上記前方カメラ16、後方カメラ17、側方カメラ18A,18Bの各カメラにより撮像した撮像画像に基づいて、車載ディスプレイ5、VRヘッドマウントディスプレイ8或いは外部端末11において表示する対象となる実フィールドのリアルタイムの実景映像を取得する。尚、実景映像は前方カメラ16、後方カメラ17、側方カメラ18A,18Bの各カメラにより撮像した実景映像そのものであっても良いし、例えば複数のカメラの映像を合成したり視点変換された映像(例えば俯瞰画像や鳥瞰画像)であっても良い。
尚、外部端末11において表示する対象となる実フィールドのリアルタイムの実景映像については、車両2のカメラで撮像された映像とせずに、外部端末11が備えるカメラで撮像された映像としても良いし、それ以外に実フィールド上に配置されたカメラで撮像された映像とすることも可能である。尚、以下の処理は前記S6で取得される映像の1フレーム単位で実施される。
続いて、S7においてCPU41は、前記S3で構築された走行環境における仮想物体の配置座標(絶対座標)を、前記S6で取得された実フィールドの実景映像の座標系(相対座標)に変換することで、前記S6で取得された実フィールドの実景映像における仮想物体の位置を特定する。例えば前方カメラ16で撮像された実フィールドの実景映像を車載ディスプレイ5に表示する場合には、仮想物体の配置座標(絶対座標)を前方カメラ16の座標系(相対座標)に変換することで、車載ディスプレイ5に表示される実フィールドの実景映像における仮想物体の位置を特定可能となる。一方、VRヘッドマウントディスプレイ8によりVR表示を行う場合には、仮想物体の配置座標(絶対座標)をVR(即ち、ユーザ視線)の座標系(相対座標)に変換することで、VRヘッドマウントディスプレイ8に表示される実フィールドの実景映像における仮想物体の位置を特定可能となる。
その後、S8においてCPU41は、前記S6で取得された実フィールドの実景映像に対して、前記S7で特定された位置に仮想物体を示す画像7を合成する。仮想物体を示す画像7としては、例えば車両、人等の仮想物体の種類毎に予め3Dのモデル画像がフラッシュメモリ44に格納されている。そして、CPU41は、該当する種類のモデル画像をフラッシュメモリ44から読み出した上で実フィールドに配置された仮想物体に合わせて回転や拡縮を行い、実景映像に合成する。車両などの向きが存在する仮想物体については、向きについても構築された走行環境に合わせて合成する。また、モデル画像の表面にテクスチャの画像を貼り付けるテクスチャマッピングを行い、テクスチャ画像の効果はモデル画像を実フィールドに配置する際に、配置する向きと周囲の明るさや光源(例えば太陽光、街灯)の位置などを考慮して、不自然とならないように描画するのが望ましい。合成するモデル画像は透過率0%の不透過の画像としても良いし、半透過の画像としても良い。
次に、S9においてCPU41は、仮想物体を示す画像7が合成された実フィールドのリアルタイムの実景映像を、車載ディスプレイ5、VRヘッドマウントディスプレイ8或いは外部端末11に出力し、各表示装置において表示する。その結果、仮想物体が配置された位置に仮想物体を示す画像7が重畳された実フィールドを評価者4に視認させることが可能となる(図2、図3)。更に、前述したようにルームミラー及びサイドミラーに同じく仮想物体を示す画像7が重畳された実フィールドの実景映像を表示するようにしても良い(図4)。
続いて、S10においてCPU41は、走行テストを完遂したか否かを判定する。例えば駐車場を走行環境として駐車支援の評価を行う場合においては、車両が駐車スペースへと駐車し、シフト位置がPとなることで走行テストを完遂したと判定する。一方で、走行テストを開始してから所定距離走行したこと、或いは所定時間走行したことを条件に走行テストを完遂したとしても良い。
そして、走行テストを完遂したと判定された場合(S10:YES)には、S11へと移行する。それに対して、走行テストを完遂していないと判定された場合(S10:NO)にはS5へと戻り、継続して車両2の走行テストを行う。
S11においてCPU41は、センサ切替スイッチ21を操作し、運転支援ECU20による自動運転支援に用いる情報を以後、実センサである超音波センサ19A~19Lの検出情報となるように切り替える。尚、前述したようにセンサ切替スイッチ21は、第1の入力経路と第2の入力経路の一方を選択的に切断することで、運転支援ECU20での自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替える(図9)。ここで、センサ切替スイッチ21によるセンサ情報の切り替えは、走行テストの完遂に伴い自動で行っても良いし、評価者4から所定の操作を受け付けたことを契機にして行うようにしても良い。例えば外部端末11においてテスト終了が選択されると、外部端末11からシミュレータ装置3へと信号が送信され、シミュレータ装置3は受信した信号に基づいてセンサ切替スイッチ21を操作するようにしても良い。
その結果、走行テストを完遂した後は、車両2は実センサである超音波センサ19A~19Lの検出情報に基づいて自動運転支援走行が可能となっており、例えば走行テスト終了後の車両格納位置までの車両2の移動において実在する壁や他車両などの障害物を避けて自動運転により移動させることが可能となる。その後、当該動作評価プログラムを終了する。
尚、上記動作評価プログラムによって車両の走行テストが行われた際の車両2の走行結果の解析は、例えば“常時解析”と“後解析”のいずれも実施可能に構成されている。“常時解析”は走行テスト中の車両2を監視し、何らかの不具合が生じた場合には不具合を自動で検知し、出力する。一方で、“後解析”は車両2の走行テスト動作終了後に、仮想センサ22A~22Lによる検出内容を踏まえた上で、走行テスト中に記憶された車両2の制御内容や走行軌跡等を評価して出力する。
また、CPU41は走行テスト後に発生した不具合の内容が記載された評価ウィンドウを外部のディスプレイに出力するようにしても良い。尚、評価ウィンドウには、不具合の内容とともに不具合が発生した時刻等が表示される。その結果、評価者4は自動運転支援システムにおいてどのタイミングでどのような不具合が生じたかを把握できる。更に、CPU41は、前記S9で出力した実フィールドの実景映像(仮想物体の画像7を含む)を画像ログとして残し、画像ログの内、自動運転支援システムの動作において不具合が生じたと判定された際に出力された画像を抽出し、評価者4に閲覧可能に構成しても良い。評価者4は、出力された走行テストの結果に基づいて、自動運転支援システムのプログラム修正等を行うことが可能となる。
以上詳細に説明した通り、本実施形態に係る車両動作シミュレータシステム1、車両動作シミュレータシステム1によるシミュレート方法及び車両動作シミュレータシステム1で実行されるコンピュータプログラムでは、実フィールドに仮想物体を配置し(S3)、仮想物体を検知する為の仮想センサ22A~22Lを備えた車両2を、仮想センサ22A~22Lの検出情報に基づいて実フィールドにおいて自動運転支援による走行を行わせ(S5)、車両の走行結果を収集して評価する一方で、仮想物体が配置された位置に仮想物体を示す画像7が重畳された実フィールドを視認させる(S9)ので、仮想物体を実フィールドに配置して行う自動運転支援の走行テストにおいて、仮想物体が配置された実フィールドをリアルタイムで乗員や観測者に視認させることが可能となる。その結果、車両と仮想物体の位置関係が明確となって、車両の挙動が適切な挙動であるのかについて人の目線で評価することも可能となる。
また、車両2に搭載されて車両2の乗員が視認可能な車載ディスプレイ5やVRヘッドマウントディスプレイ8と、車両2の外にあって車両の外にいる観測者が視認可能な外部端末11と、の少なくとも一方を有し、仮想物体が配置された位置に仮想物体を示す画像7が合成された実フィールドの撮像映像を車載ディスプレイ5やVRヘッドマウントディスプレイ8に表示することで実フィールドを車両の乗員に視認させ、仮想物体が配置された位置に仮想物体を示す画像7が合成された実フィールドの撮像映像を外部端末11に表示することで実フィールドを観測者に視認させるので、車両に乗車する乗員に対しても、車両に乗車せずに外部から監視する観測者に対しても、仮想物体が配置された実フィールドをリアルタイムで視認させることが可能となる。
また、車両を視点とした視界に含まれる実フィールドを視認させる第1の視認態様と、車両と異なる位置を視点とした視界に含まれる実フィールドを視認させる第2視認態様と、を切り替え可能とするので、固定の視点ではなく実フィールドにおける様々な視点から仮想物体が配置された実フィールドをリアルタイムで視認させることが可能となる。
また、車両に配置されたルームミラーとサイドミラーの少なくとも一方において、ルームミラー及びサイドミラーに映る或いは表示される実フィールドにおいて仮想物体が配置された場所に仮想物体を示す画像7を重畳して表示するので、より現実に近い態様で実フィールドに配置された仮想物体を視認させることが可能となる。
また、実フィールドに仮想物体を配置し(S3)、仮想物体を検知する為の仮想センサ22A~22Lを備えた車両2を、仮想センサ22A~22Lの検出情報に基づいて実フィールドにおいて自動運転支援による走行を行わせ(S5)、車両の走行結果を収集する一方で、自動運転支援に用いる情報を、仮想センサ22A~22Lの検出情報と実センサの検出情報との間で切り替えるセンサ切替スイッチ21を備えるので、従来に比べて準備作業やテスト後の片付け作業を効率よく行うことが可能となる。
また、自動運転支援システムの評価を行う為の走行結果の収集を行う間については、自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報となるように切り替え、走行結果の収集の終了後或いは走行結果の収集を行う前の準備段階では、自動運転支援に用いる情報を実センサである超音波センサ19A~19Lの検出情報となるように切り替える(S4、S11)ので、走行テストの開始位置までの車両の移動や走行テスト終了後の車両格納位置までの車両の移動において、実在する壁や他車両などの障害物を避けて自動運転により移動させることが可能となる。
また、車両の外部から入力された信号に基づいて自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替えるので、外部からの遠隔操作によって走行テストの開始位置までの車両の移動を行うとともに、走行テストを開始させることも可能となる。
また、車両は、自動運転支援による走行を行わせる為の制御情報を演算する運転支援ECU20と、仮想センサ22A~22Lの検出情報を運転支援ECU20に入力する第1の入力経路と、超音波センサ19A~19Lの検出情報を運転支援ECU20に入力する第2の入力経路と、をそれぞれ備え、第1の入力経路と第2の入力経路の一方を選択的に切断することで、運転支援ECU20での自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替えるので、配線の付け替えなどの手作業が必要なく電気的なスイッチ制御によって、自動運転支援に用いるセンサ情報を切り替えることが可能となる。
また、車両2に搭載されて車両2の乗員が視認可能な車載ディスプレイ5やVRヘッドマウントディスプレイ8と、車両2の外にあって車両の外にいる観測者が視認可能な外部端末11と、の少なくとも一方を有し、仮想物体が配置された位置に仮想物体を示す画像7が合成された実フィールドの撮像映像を車載ディスプレイ5やVRヘッドマウントディスプレイ8に表示することで実フィールドを車両の乗員に視認させ、仮想物体が配置された位置に仮想物体を示す画像7が合成された実フィールドの撮像映像を外部端末11に表示することで実フィールドを観測者に視認させるので、車両に乗車する乗員に対しても、車両に乗車せずに外部から監視する観測者に対しても、仮想物体が配置された実フィールドをリアルタイムで視認させることが可能となる。
また、車両を視点とした視界に含まれる実フィールドを視認させる第1の視認態様と、車両と異なる位置を視点とした視界に含まれる実フィールドを視認させる第2視認態様と、を切り替え可能とするので、固定の視点ではなく実フィールドにおける様々な視点から仮想物体が配置された実フィールドをリアルタイムで視認させることが可能となる。
また、車両に配置されたルームミラーとサイドミラーの少なくとも一方において、ルームミラー及びサイドミラーに映る或いは表示される実フィールドにおいて仮想物体が配置された場所に仮想物体を示す画像7を重畳して表示するので、より現実に近い態様で実フィールドに配置された仮想物体を視認させることが可能となる。
また、実フィールドに仮想物体を配置し(S3)、仮想物体を検知する為の仮想センサ22A~22Lを備えた車両2を、仮想センサ22A~22Lの検出情報に基づいて実フィールドにおいて自動運転支援による走行を行わせ(S5)、車両の走行結果を収集する一方で、自動運転支援に用いる情報を、仮想センサ22A~22Lの検出情報と実センサの検出情報との間で切り替えるセンサ切替スイッチ21を備えるので、従来に比べて準備作業やテスト後の片付け作業を効率よく行うことが可能となる。
また、自動運転支援システムの評価を行う為の走行結果の収集を行う間については、自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報となるように切り替え、走行結果の収集の終了後或いは走行結果の収集を行う前の準備段階では、自動運転支援に用いる情報を実センサである超音波センサ19A~19Lの検出情報となるように切り替える(S4、S11)ので、走行テストの開始位置までの車両の移動や走行テスト終了後の車両格納位置までの車両の移動において、実在する壁や他車両などの障害物を避けて自動運転により移動させることが可能となる。
また、車両の外部から入力された信号に基づいて自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替えるので、外部からの遠隔操作によって走行テストの開始位置までの車両の移動を行うとともに、走行テストを開始させることも可能となる。
また、車両は、自動運転支援による走行を行わせる為の制御情報を演算する運転支援ECU20と、仮想センサ22A~22Lの検出情報を運転支援ECU20に入力する第1の入力経路と、超音波センサ19A~19Lの検出情報を運転支援ECU20に入力する第2の入力経路と、をそれぞれ備え、第1の入力経路と第2の入力経路の一方を選択的に切断することで、運転支援ECU20での自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替えるので、配線の付け替えなどの手作業が必要なく電気的なスイッチ制御によって、自動運転支援に用いるセンサ情報を切り替えることが可能となる。
[第2実施形態]
次に、第2実施形態に係る車両動作シミュレータシステムについて図12に基づいて説明する。尚、以下の説明において上記図1乃至図11の第1実施形態に係る車両動作シミュレータシステム1の構成と同一符号は、前記第1実施形態に係る車両動作シミュレータシステム1等の構成と同一あるいは相当部分を示すものである。
次に、第2実施形態に係る車両動作シミュレータシステムについて図12に基づいて説明する。尚、以下の説明において上記図1乃至図11の第1実施形態に係る車両動作シミュレータシステム1の構成と同一符号は、前記第1実施形態に係る車両動作シミュレータシステム1等の構成と同一あるいは相当部分を示すものである。
この第2実施形態に係る車両動作シミュレータシステムの概略構成は、第1実施形態に係る車両動作シミュレータシステム1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る車両動作シミュレータシステム1とほぼ同じ制御処理である。
ただし、第1実施形態に係る車両動作シミュレータシステム1が、図9に示すようにセンサ切替スイッチ21について第1の入力経路と第2の入力経路の一方を選択的に切断することで、自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替えているのに対して、第2実施形態に係る車両動作シミュレータシステムでは、仮想センサの検出情報を入力することで自動運転支援による走行を行わせる為の制御情報を演算する第1の運転支援ECUと、超音波センサ19A~19Lの検出情報を入力することで自動運転支援による走行を行わせる為の制御情報を演算する第2の運転支援ECUを夫々備え、制御情報を第1の運転支援ECUと第2の運転支援ECUのいずれから取得するかを切り替えることで、自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替える点で異なる。
ただし、第1実施形態に係る車両動作シミュレータシステム1が、図9に示すようにセンサ切替スイッチ21について第1の入力経路と第2の入力経路の一方を選択的に切断することで、自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替えているのに対して、第2実施形態に係る車両動作シミュレータシステムでは、仮想センサの検出情報を入力することで自動運転支援による走行を行わせる為の制御情報を演算する第1の運転支援ECUと、超音波センサ19A~19Lの検出情報を入力することで自動運転支援による走行を行わせる為の制御情報を演算する第2の運転支援ECUを夫々備え、制御情報を第1の運転支援ECUと第2の運転支援ECUのいずれから取得するかを切り替えることで、自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替える点で異なる。
以下に、第2実施形態における車両動作シミュレータシステムについて、センサ切替スイッチ21による運転支援ECUへの入力するセンサ情報の切り替え方法について説明する。図12に示すように第2実施形態の車両動作シミュレータシステムでは、自動運転支援による走行を行わせる為の制御情報(ステアリング、ブレーキ、アクセル、トランスミッション等の車両の各駆動部の制御情報)を演算する制御部として、第1の運転支援ECU101と第2の運転支援ECU102とを備えている。一方で仮想センサ22A~22Lの検出情報を第1の運転支援ECU101に入力する入力経路と、実センサである超音波センサ19A~19Lの検出情報を第2の運転支援ECU102に入力する入力経路についてもそれぞれ備える。第1の運転支援ECU101は仮想センサ22A~22Lの検出情報から自動運転支援による走行を行わせる為の制御情報を演算し、第2の運転支援ECU102は実センサである超音波センサ19A~19Lの検出情報から自動運転支援による走行を行わせる為の制御情報を演算する。
センサ切替スイッチ21は、車両2のCANの接続を切り替えることで、自動運転支援を行う場合において自動運転支援に用いる情報を仮想センサ22A~22Lの検出情報と超音波センサ19A~19Lの検出情報との間で切り替えることが可能となる。即ち、第1の運転支援ECU101を接続すれば仮想センサ22A~22Lの検出情報に基づいて自動運転支援が実行され、第2の運転支援ECU102を接続すれば超音波センサ19A~19Lの検出情報に基づいて自動運転支援が実行されることとなる。尚、センサ切替スイッチ21の切り替え制御はシミュレータ装置3によって行われるが、第1実施形態と同様に自動運転支援システムの評価を行う間(即ち走行テスト中)については、仮想センサ22A~22Lの検出情報に基づいて自動運転支援が実行されるように切り替え、評価の終了後或いは評価を行う前の準備段階では、超音波センサ19A~19Lの検出情報に基づいて自動運転支援が実行されるように切り替える。
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第1実施形態及び第2実施形態では超音波センサ19A~19Lの代わりに仮想物体を検出可能なセンサとして仮想センサ22A~22Lを有しているが、超音波センサのような測距センサではなく画像認識により対象物を検出するカメラの代わりとなる仮想センサを有していても良い。その場合の仮想センサは例えば画像認識対象となる画像について仮想物体を合成した画像を用いることで仮想物体を検出可能とする。
例えば、第1実施形態及び第2実施形態では超音波センサ19A~19Lの代わりに仮想物体を検出可能なセンサとして仮想センサ22A~22Lを有しているが、超音波センサのような測距センサではなく画像認識により対象物を検出するカメラの代わりとなる仮想センサを有していても良い。その場合の仮想センサは例えば画像認識対象となる画像について仮想物体を合成した画像を用いることで仮想物体を検出可能とする。
また、第1実施形態及び第2実施形態では、走行テストを開始するときに自動運転支援に用いる情報を仮想センサの検出情報へと切り替え、走行テストが終了したときに自動運転支援に用いる情報を実センサの検出情報に切り替えているが、走行テストの開始時と終了時のいずれか一方のみ行うようにしても良い。
また、第1実施形態及び第2実施形態では図11に示す動作評価プログラムの実行主体は、車両に搭載されたシミュレータ装置3であったが、シミュレータ装置3は車両の外部に備えても良い。その場合には、シミュレータ装置3と車両2とは無線通信により通信可能とする。
また、第1実施形態及び第2実施形態では走行テストで品質評価の評価対象となるのは、乗員の運転操作の一部又は全てを車両側で実行することにより乗員による車両の運転を補助する自動運転支援システムであり、車両2は評価対象となる自動運転支援システムを搭載した車両としている。しかしながら、車両2は必ずしも上記自動運転支援システムを搭載した車両に限られることなく、手動運転による走行のみが可能な車両であっても良い。そのような手動運転による走行のみが可能な車両については、例えば手動運転中において車両周辺にある障害物に対する減速制御や警告などの運転支援が適切に行われるか否かを評価するための走行テストが行われる。その場合に、例えば前記S5では車両制御を行わず、運転者が手動で車両2を運転操作し、実フィールド上を走行するようにする。そして、走行が行われている間において、シミュレータ装置3のCPU41は、実フィールドを走行する車両2が仮想物体を仮想センサ22A~22Lで検知した検知結果を、車両2側のECU20へと出力し、車両の運転支援(例えば障害物に対する減速制御や警告)を行う。また、前記S4やS11では手動運転による走行中に行われる上記車両の運転支援に用いる情報を、仮想センサの検出情報と実センサの検出情報との間で切り替える処理を行う。
〔本実施形態のまとめ〕
本実施形態は以下の構成を少なくとも備える。
実フィールドに仮想物体を配置する仮想物体配置手段(20)と、前記仮想物体を検知する為の仮想センサ(22A~22L)を備えた車両(2)の前記実フィールドにおける走行結果を収集する走行結果収集手段(20)と、を有する車両動作シミュレータシステム(1)であって、前記車両は、前記仮想センサに加えて、車両の周囲に実在する対象物を検出する為のセンサである実センサ(19A~19L)を備えており、前記車両の運転支援に用いる情報を、前記仮想センサの検出情報と前記実センサの検出情報との間で切り替えるセンサ切替手段(21)を有する。
本実施形態は以下の構成を少なくとも備える。
実フィールドに仮想物体を配置する仮想物体配置手段(20)と、前記仮想物体を検知する為の仮想センサ(22A~22L)を備えた車両(2)の前記実フィールドにおける走行結果を収集する走行結果収集手段(20)と、を有する車両動作シミュレータシステム(1)であって、前記車両は、前記仮想センサに加えて、車両の周囲に実在する対象物を検出する為のセンサである実センサ(19A~19L)を備えており、前記車両の運転支援に用いる情報を、前記仮想センサの検出情報と前記実センサの検出情報との間で切り替えるセンサ切替手段(21)を有する。
この構成によれば、従来に比べて準備作業やテスト後の片付け作業を効率よく行うことが可能となる。
また、本実施形態は、前記センサ切替手段(21)は、前記走行結果収集手段(20)による走行結果の収集を行う間については、前記車両(2)の運転支援に用いる情報を前記仮想センサ(22A~22L)の検出情報となるように切り替え、前記走行結果収集手段による走行結果の収集の終了後或いは走行結果の収集を行う前の準備段階では、前記車両の運転支援に用いる情報を前記実センサ(19A~19L)の検出情報となるように切り替えると好適である。
この構成によれば、走行テストの開始位置までの車両の移動や走行テスト終了後の車両格納位置までの車両の移動において、実在する壁や他車両などの障害物を避けて移動させることが可能となる。
また、本実施形態は、前記センサ切替手段(20)は、車両の外部から入力された信号に基づいて前記車両(2)の運転支援に用いる情報を前記仮想センサ(22A~22L)の検出情報と前記実センサ(19A~19L)の検出情報との間で切り替えると好適である。
この構成によれば、外部からの遠隔操作によって走行テストの開始位置までの車両の移動を行うとともに、走行テストを開始させることも可能となる。
1…車両動作シミュレータシステム、2…車両、3…シミュレータ装置、4…評価者(観測者、乗員)、5…車載ディスプレイ(車載表示装置)、6…実フィールドの実景映像、7…仮想物体の画像、8…VRヘッドマウントディスプレイ(車載表示装置)、9…ルームミラー、11…外部端末(車外表示装置)、19A~19L…超音波センサ(実センサ)、20…運転支援ECU(制御部)、21…センサ切替スイッチ、22A~22L…仮想センサ、40…仮想制御ECU、41…CPU、101…第1の運転支援ECU、102…第2の運転支援ECU
Claims (3)
- 実フィールドに仮想物体を配置する仮想物体配置手段と、
前記仮想物体を検知する為の仮想センサを備えた車両の前記実フィールドにおける走行結果を収集する走行結果収集手段と、を有する車両動作シミュレータシステムであって、
前記車両は、前記仮想センサに加えて、前記車両の周囲に実在する対象物を検出する為のセンサである実センサを備えており、
前記車両の運転支援に用いる情報を、前記仮想センサの検出情報と前記実センサの検出情報との間で切り替えるセンサ切替手段を有する車両動作シミュレータシステム。 - 前記センサ切替手段は、
前記走行結果収集手段による走行結果の収集を行う間については、前記車両の運転支援に用いる情報を前記仮想センサの検出情報となるように切り替え、
前記走行結果収集手段による走行結果の収集の終了後或いは走行結果の収集を行う前の準備段階では、前記車両の運転支援に用いる情報を前記実センサの検出情報となるように切り替える請求項1に記載の車両動作シミュレータシステム。 - 前記センサ切替手段は、車両の外部から入力された信号に基づいて前記車両の運転支援に用いる情報を前記仮想センサの検出情報と前記実センサの検出情報との間で切り替える請求項1又は請求項2に記載の車両動作シミュレータシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024-056191 | 2024-03-29 | ||
| JP2024056191 | 2024-03-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025205752A1 true WO2025205752A1 (ja) | 2025-10-02 |
Family
ID=97217765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2025/011704 Pending WO2025205752A1 (ja) | 2024-03-29 | 2025-03-25 | 車両動作シミュレータシステム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2025205752A1 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006047478A (ja) * | 2004-08-02 | 2006-02-16 | Murakami Shokai:Kk | バーチャルリアリティ演出装置、バーチャルリアリティ演出制御装置及びバーチャルリアリティ演出制御プログラム |
| JP2012022215A (ja) * | 2010-07-16 | 2012-02-02 | Japan Automobile Research Inst Inc | 車両用危険場面再現装置 |
| JP2012098609A (ja) * | 2010-11-04 | 2012-05-24 | Ns Solutions Corp | 情報処理装置、自動車、情報処理方法及びプログラム |
| JP2014174447A (ja) * | 2013-03-12 | 2014-09-22 | Japan Automobile Research Institute | 車両用危険場面再現装置、およびその使用方法 |
| JP2019148677A (ja) * | 2018-02-27 | 2019-09-05 | 三菱自動車工業株式会社 | 仮想現実トレーニングシステム及びそれを備える車両 |
| JP2020527432A (ja) * | 2017-07-07 | 2020-09-10 | バクストン グローバル エンタープライゼス インコーポレイテッド | レーシングシミュレーション |
-
2025
- 2025-03-25 WO PCT/JP2025/011704 patent/WO2025205752A1/ja active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006047478A (ja) * | 2004-08-02 | 2006-02-16 | Murakami Shokai:Kk | バーチャルリアリティ演出装置、バーチャルリアリティ演出制御装置及びバーチャルリアリティ演出制御プログラム |
| JP2012022215A (ja) * | 2010-07-16 | 2012-02-02 | Japan Automobile Research Inst Inc | 車両用危険場面再現装置 |
| JP2012098609A (ja) * | 2010-11-04 | 2012-05-24 | Ns Solutions Corp | 情報処理装置、自動車、情報処理方法及びプログラム |
| JP2014174447A (ja) * | 2013-03-12 | 2014-09-22 | Japan Automobile Research Institute | 車両用危険場面再現装置、およびその使用方法 |
| JP2020527432A (ja) * | 2017-07-07 | 2020-09-10 | バクストン グローバル エンタープライゼス インコーポレイテッド | レーシングシミュレーション |
| JP2019148677A (ja) * | 2018-02-27 | 2019-09-05 | 三菱自動車工業株式会社 | 仮想現実トレーニングシステム及びそれを備える車両 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3069114C (en) | Parking assistance method and parking assistance device | |
| EP2192552B1 (en) | Image processing apparatus, image processing method, and recording medium | |
| US9467679B2 (en) | Vehicle periphery monitoring device | |
| CN111683840B (zh) | 可移动平台的交互方法、系统、可移动平台及存储介质 | |
| JP2016506572A (ja) | インフォテイメントシステム | |
| CN103609101A (zh) | 车辆周边监视装置 | |
| JP4214841B2 (ja) | 周囲状況認識システム | |
| CN112977257B (zh) | 车辆的显示装置和停车辅助系统 | |
| US11496707B1 (en) | Fleet dashcam system for event-based scenario generation | |
| US11458841B2 (en) | Display control apparatus, display control method, and computer-readable storage medium storing program | |
| CN110786004A (zh) | 显示控制装置、显示控制方法及程序 | |
| US11932242B1 (en) | Fleet dashcam system for autonomous vehicle operation | |
| CN112995584A (zh) | 车辆的显示装置和停车辅助系统 | |
| CN111915956B (zh) | 一种基于5g的虚拟现实汽车驾驶教学系统 | |
| CN110877575A (zh) | 周边监视装置 | |
| CN115195767A (zh) | 图像显示系统 | |
| CN116106931A (zh) | 一种涉水预警的方法及相关装置 | |
| US20220308345A1 (en) | Display device | |
| CN111753632A (zh) | 驾驶辅助装置 | |
| US20240185499A1 (en) | Information processing device and information processing method | |
| WO2025205751A1 (ja) | 車両動作シミュレータシステム及び車両動作シミュレータ方法 | |
| US20260073646A1 (en) | Vehicle operation simulator system | |
| JP7596187B2 (ja) | 運転支援装置及び運転支援方法 | |
| JP2021126951A (ja) | 駐車支援装置および駐車支援方法 | |
| KR20230068653A (ko) | 차량용 어라운드 뷰 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 25775580 Country of ref document: EP Kind code of ref document: A1 |