WO2025009192A1 - 情報処理方法、情報処理システム及び情報処理装置 - Google Patents

情報処理方法、情報処理システム及び情報処理装置 Download PDF

Info

Publication number
WO2025009192A1
WO2025009192A1 PCT/JP2023/047034 JP2023047034W WO2025009192A1 WO 2025009192 A1 WO2025009192 A1 WO 2025009192A1 JP 2023047034 W JP2023047034 W JP 2023047034W WO 2025009192 A1 WO2025009192 A1 WO 2025009192A1
Authority
WO
WIPO (PCT)
Prior art keywords
target vehicle
vehicle
display
roadside camera
roadside
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/047034
Other languages
English (en)
French (fr)
Inventor
成博 明李
祐香 吉松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2025530967A priority Critical patent/JPWO2025009192A1/ja
Publication of WO2025009192A1 publication Critical patent/WO2025009192A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an information processing method, an information processing system, and an information processing device.
  • Patent Document 1 describes a mobile object monitoring system that uses surveillance cameras installed in multiple locations to capture images of a vehicle to be monitored.
  • the mobile object monitoring system described in Patent Document 1 appropriately selects from among the multiple surveillance cameras a surveillance camera capable of capturing an image of the vehicle to be monitored, so that the vehicle can be followed and monitored.
  • the problem that the present invention aims to solve is to provide an information processing method, information processing system, and information processing device that, when switching between roadside cameras (infrastructure cameras) that capture images of a target vehicle, allows a user viewing the captured image after switching to easily identify the target vehicle.
  • roadside cameras infrastructure cameras
  • the present invention solves the above problem by displaying on a display a virtual image of the target vehicle and road displayed in a predetermined display direction relative to the road when the target vehicle is traveling outside the imageable range, determining whether or not a first image capturing direction of the first roadside camera relative to the road when the target vehicle leaves the first imageable range of the first roadside camera differs from a second image capturing direction of the second roadside camera relative to the road when the target vehicle enters the second image capturing range of the second roadside camera located forward in the traveling direction of the target vehicle of the first roadside camera, and changing the predetermined display direction of the virtual image to match the position of the target vehicle when the first image capturing direction and the second image capturing direction differ, so that the second display direction when the target vehicle is in a second vehicle position near the position of the second roadside camera, forward of the first vehicle position, is closer to the second image capturing direction than the first display direction when the target vehicle is in a first vehicle position near the position of the first roadside camera.
  • the present invention has the advantage that when switching between roadside cameras capturing images of a target vehicle, a user viewing the captured image after switching can easily identify the target vehicle.
  • FIG. 1 is a block diagram showing a configuration of an information processing system according to a first embodiment.
  • 1 is a diagram showing an example of the positional relationship between a first roadside camera, a second roadside camera, and a target vehicle on a map;
  • 2 is an example of an image captured by a first roadside camera of the information processing system shown in FIG. 1 .
  • 2 is an example of a virtual image displayed on a display by a virtual image display control unit of the information processing system shown in FIG. 1 .
  • 2 is an example of a virtual image displayed on a display by a virtual image display control unit of the information processing system shown in FIG. 1 .
  • 4 is an example of an image captured by a second roadside camera of the information processing system shown in FIG. 1 .
  • 2 is a flowchart showing the procedure of an information processing method executed by the information processing system shown in FIG. 1 .
  • FIG. 11 is a block diagram showing a configuration of an information processing device according to a second embodiment.
  • the information processing system 100 shown in FIG. 1 includes a plurality of roadside cameras 10, a display 20, and a server 30.
  • the information processing system 100 uses the controller 3 of the server 30 to display an image including a target vehicle 40 (see FIG. 2) traveling on a road 5 on a display 20 outside the target vehicle 40.
  • the information processing system 100 can communicate with the plurality of roadside cameras 10 and the display 20 via a communication network 4.
  • the server 30 may be able to communicate with the target vehicle 40 via the communication network 4.
  • the number of the plurality of roadside cameras 10 is not particularly limited as long as it is two or more, in this embodiment, for convenience of explanation, the plurality of roadside cameras 10 are described as being composed of two cameras (a first roadside camera 10a and a second roadside camera 10b).
  • the controller 3 of the server 30 may transmit data of the captured image V0 and the virtual image V1 to the target vehicle 40, and the captured image V0 and the virtual image V1 may be displayed on an in-vehicle display provided in the target vehicle 40.
  • the roadside camera 10 (the first roadside camera 10a and the second roadside camera 10b) is an infrastructure camera arranged along the road 5 to capture the condition of the road 5.
  • the imaging direction D0 (the first imaging direction D01 and the second imaging direction D02) of the roadside camera 10 is fixed, but this is not limited thereto, and the roadside camera 10 may be attached so as to be freely rotatable, and the imaging direction D0 may be changed as appropriate.
  • the second roadside camera 10b is located on the front side of the first roadside camera 10a.
  • the first imaging direction D01 of the first roadside camera 10a is a direction toward the front side in the traveling route of the target vehicle 40.
  • the second imaging direction D02 of the second roadside camera 10b is a direction toward the rear side in the traveling route of the target vehicle 40. That is, the imaging direction angle difference ⁇ 1, which is the relative angle of the second imaging direction D02 with respect to the first imaging direction D01, is 180°. Therefore, the second imageable range X2 of the second roadside camera 10b is located in front of the first imageable range X1 of the first roadside camera 10a.
  • the imageable range X of the roadside camera 10 is determined by the imaging direction D0 and imageable range of the roadside camera 10.
  • the area between the first imageable range X1 and the second imageable range X2 is a blind spot B that cannot be imaged by the roadside camera 10.
  • the term “forward side” refers to the direction downstream in the traveling direction of the target vehicle 40 on the traveling path of the target vehicle 40.
  • the term “rearward side” refers to the direction upstream in the traveling direction of the target vehicle 40 on the traveling path of the target vehicle 40.
  • the first imaging direction D01 is the imaging direction of the first roadside camera 10a when the target vehicle 40 leaves the first imaging range X1 of the first roadside camera 10a
  • the second imaging direction D02 is the imaging direction of the second roadside camera 10b when the target vehicle 40 enters the second imaging range X2 of the second roadside camera 10b.
  • the image V0 captured by the roadside camera 10 may be a moving image (video), or may be a still image that is continuously switched at a predetermined interval.
  • the display 20 shown in FIG. 1 is a display for a user to remotely monitor a target vehicle 40 that is the target of monitoring.
  • the user can select a target vehicle 40 to be monitored from among the vehicles displayed on the display 20, and transmit the selection result to the server 30 via a communication unit (not shown) of the display 20.
  • a vehicle that can communicate with the server 30 may be set in advance as a target vehicle 40.
  • the user may also communicate with the driver of the target vehicle 40 while checking the driving status of the target vehicle 40 via the display 20, and assist in driving the target vehicle 40.
  • the user may also remotely control the driving of the target vehicle 40 while checking the driving status of the target vehicle 40 via the display 20.
  • the server 30 also has a map database 1, an infrastructure database 2, and a controller 3.
  • the map database 1 stores high-precision three-dimensional map information including the position information of various facilities and specific points.
  • the infrastructure database 2 also stores roadside camera information for each of the multiple roadside cameras 10 (first roadside camera 10a and second roadside camera 10b).
  • the roadside camera information includes the imaging direction D0 and imaging range of each roadside camera 10.
  • the roadside camera information may also include the installation position of each roadside camera 10.
  • the controller 3 also controls the image to be displayed on the display 20 based on the map information in the map database 1, the roadside camera information in the infrastructure database 2, and the captured image captured by the roadside camera 10.
  • the target vehicle 40 has an on-board sensor 41 and a vehicle position detection unit 42.
  • the on-board sensor 41 is a camera or radar mounted on the target vehicle 40.
  • the on-board sensor 41 detects moving objects and obstacles around the target vehicle 40.
  • the moving objects are, for example, other vehicles, bicycles, or pedestrians.
  • the vehicle position detection unit 42 is composed of a GPS unit, a gyro sensor, and a vehicle speed sensor.
  • the vehicle position detection unit 42 detects the current vehicle position of the target vehicle 40.
  • the controller 3 of the server 30 has a communication unit 31, a captured image acquisition unit 32, a roadside camera information acquisition unit 33, a vehicle position acquisition unit 34, a vehicle position determination unit 35, and an image display control unit 36.
  • the controller 3 executes each function of the communication unit 31, the captured image acquisition unit 32, the roadside camera information acquisition unit 33, the vehicle position acquisition unit 34, the vehicle position determination unit 35, and the image display control unit 36 by executing a program stored in the ROM using the CPU.
  • the communication unit 31 exchanges information with the first roadside camera 10a, the second roadside camera 10b, and the display 20 via the communication network 4. Specifically, the communication unit 31 receives data of the captured image V0 (see Figures 3 and 6) from the first roadside camera 10a and the second roadside camera 10b. The communication unit 31 also transmits image data to the display 20 based on a control command from the image display control unit 36.
  • the communication unit 31 may also exchange information with the target vehicle 40 via the communication network 4. Specifically, the communication unit 31 receives the detection results of the on-board sensor 41 from the target vehicle 40. The communication unit 31 also receives vehicle information from the target vehicle 40 indicating the driving conditions of the target vehicle 40. The vehicle information includes the vehicle position of the target vehicle 40. The vehicle information may also include at least one of the vehicle speed, acceleration, direction, turn signal status, and stop lamp status of the target vehicle 40.
  • the captured image acquisition unit 32 acquires a first captured image V01 (see FIG. 3) captured by the first roadside camera 10a and a second captured image V02 (see FIG. 6) captured by the second roadside camera 10b based on the image data received by the communication unit 31.
  • the roadside camera information acquisition unit 33 acquires roadside camera information of the first roadside camera 10a and the second roadside camera 10b from the infrastructure database 2.
  • the vehicle position acquisition unit 34 acquires the vehicle position of the target vehicle 40 based on the captured image V0 acquired by the captured image acquisition unit 32, with reference to the map information in the map database 1 and the roadside camera information in the infrastructure database 2. Specifically, as shown in Fig. 3, if the target vehicle 40 is included in the first captured image V01 of the first roadside camera 10a, the vehicle position acquisition unit 34 identifies the vehicle position of the target vehicle 40 within the first imageable range X1 with reference to the map information and roadside camera information. In addition, as shown in Fig.
  • the vehicle position acquisition unit 34 identifies the vehicle position of the target vehicle 40 within the second imageable range X2 with reference to the map information and roadside camera information. Furthermore, when the target vehicle 40 is traveling in the blind spot area B and the controller 3 cannot acquire an image, the vehicle position acquisition unit 34 estimates the vehicle position of the target vehicle 40 based on the vehicle speed and direction when the target vehicle 40 leaves the first imageable range X1. That is, the vehicle position acquisition unit 34 acquires vehicle information of the target vehicle 40 from the captured image V0, and acquires the vehicle position of the target vehicle 40 based on the vehicle information.
  • the vehicle position acquisition unit 34 may also acquire the vehicle position of the target vehicle 40 based on the vehicle information received from the target vehicle 40 by the communication unit 31.
  • the vehicle position determination unit 35 also determines whether the target vehicle 40 is traveling in the imageable range X of the roadside camera 10 (the first imageable range X1 or the second imageable range X2) based on the roadside camera information acquired from the roadside camera information acquisition unit 33 and the vehicle position acquired from the vehicle position acquisition unit 34. That is, the vehicle position determination unit 35 determines whether the target vehicle 40 is traveling in the imageable range X of the roadside camera 10 based on the imageable range X of the roadside camera 10 relative to the road 5 and the vehicle position.
  • the image display control unit 36 also controls the image data that the communication unit 31 transmits to the display 20 based on the determination result of the vehicle position determination unit 35. In other words, the image display control unit 36 controls the image to be displayed on the display 20.
  • the image display control unit 36 has a captured image display control unit 36a and a virtual image display control unit 36b.
  • the captured image display control unit 36a When the target vehicle 40 is traveling within the imageable range X, the captured image display control unit 36a generates a control command to display an captured image V0 including the target vehicle 40 on the display 20. Specifically, when the target vehicle 40 is traveling within the first imageable range X1, the captured image display control unit 36a displays a first captured image V01 on the display 20. Furthermore, when the target vehicle 40 is traveling within the second imageable range X2, the captured image display control unit 36a displays a second captured image V02 on the display 20. In other words, the captured image display control unit 36a selects an image including the target vehicle 40 from the multiple captured images V0 captured by each of the multiple roadside cameras 10, and displays it on the display 20.
  • the virtual image display control unit 36b displays a virtual image V1 of the target vehicle 40 displayed in a predetermined display direction D1 on the display 20 (see Figures 4 and 5).
  • the virtual image V1 is an image in which an icon or CG of the target vehicle 40 is synthesized onto an omnidirectional image or 3DCG (omnidirectional spatial image) generated based on map information including the road 5 on which the target vehicle 40 is traveling.
  • the virtual image display control unit 36b determines whether the first imaging direction D01 of the first roadside camera 10a is different from the second imaging direction D02 of the second roadside camera 10b in which the target vehicle 40 is located. Then, as shown in FIG. 2, when the first imaging direction D01 and the second imaging direction D02 are different, the virtual image display control unit 36b updates (changes) the display direction D1 of the virtual image V1 one or more times so that the second display direction D12 when the target vehicle 40 is at the second vehicle position P02 forward of the first vehicle position P01 is closer to the second imaging direction D02 than the first display direction D11 when the target vehicle 40 is at the first vehicle position P01.
  • the first vehicle position P01 is a position near the position of the first roadside camera 10a
  • the second vehicle position P02 is a position near the position of the second roadside camera 10b. That is, the virtual image display control unit 36b updates the virtual image V1 so that the display direction D1 of the virtual image V1 approaches the second imaging direction D02 as the vehicle position of the target vehicle 40 traveling in the blind spot area B approaches the second imaging range X2.
  • the virtual image display control unit 36b generates a first virtual image V11 including the target vehicle 40 that has exited the first imageable range X1, as shown in FIG. 4.
  • the first virtual image V11 is an image generated on the assumption that an image has been captured from the first virtual imaging position P11 toward the first display direction D11.
  • the first relative angle ⁇ 21 of the first display direction D11 with respect to the first imaging direction D01 is set to a value greater than 0° and smaller than the imaging direction angle difference ⁇ 1.
  • the virtual image display control unit 36b also switches the first virtual image V11 shown in FIG. 4 to the second virtual image V12 shown in FIG. 5 at a predetermined time.
  • the second virtual image V12 is an image generated on the assumption that an image is captured from the second virtual imaging position P12 toward the second display direction D12.
  • the second relative angle ⁇ 22 of the second display direction D12 with respect to the first imaging direction D01 is set to a value greater than 0° and smaller than the imaging direction angle difference ⁇ 1.
  • the second display direction D12 is closer to the second imaging direction D02 than the first display direction D11. That is, the second relative angle ⁇ 22 is greater than the first relative angle ⁇ 21 and closer to the imaging direction angle difference ⁇ 1. That is, the virtual image display control unit 36b updates the first display direction D11 of the first virtual image V11 displayed on the display 20 to the second display direction D12 of the second virtual image V12 at a predetermined time.
  • the image display control unit 36 displays images on the display 20 in the following order: the first captured image V01 shown in FIG. 3, the first virtual image V11 shown in FIG. 4, the second virtual image V12 shown in FIG. 5, and the second captured image V02 shown in FIG. 6.
  • the target vehicle 40 which initially appears to be moving away from the screen to the back, appears to gradually approach the front of the screen as the target vehicle 40 moves.
  • the virtual image display control unit 36b switches the first virtual image V11 shown in FIG. 4 to the second virtual image V12 shown in FIG. 5. More specifically, the virtual image display control unit 36b calculates the blind spot driving time from when the target vehicle 40 leaves the first imageable range X1 to when it enters the second imageable range X2. Then, the virtual image display control unit 36b calculates the display angle change speed by dividing the imaging direction angle difference ⁇ 1 between the first imaging direction D01 and the second imaging direction D02 by the blind spot driving time, and changes the display direction D1 at a timing according to the display angle change speed. Additionally, the virtual image display control unit 36b may continuously change the display direction D1 of the virtual image V1 at a predetermined interval (e.g., every second) in accordance with the display angle change speed.
  • a predetermined interval e.g., every second
  • the virtual image display control unit 36b also acquires the exit time when the target vehicle 40 exits the first imageable range X1, and calculates the entry time when the target vehicle 40 enters the second imageable range X2 based on the vehicle information (the speed, acceleration, etc. of the target vehicle 40) and the exit time.
  • information T indicating the entry time is displayed on the virtual image V1. Note that in the examples shown in FIGS. 3 and 4, the information T is text information indicating the remaining time until the target vehicle 40 enters the second imageable range X2, but is not limited to this, and the information T may be information indicating the time when the target vehicle 40 enters the second imageable range X2.
  • the image (CG) of the target vehicle 40 moves on the road 5 according to the vehicle position estimated by the vehicle position acquisition unit 34. That is, the first virtual image V11 and the second virtual image V12 include information indicating the vehicle position and orientation of the target vehicle 40.
  • the virtual image display control unit 36b displays the target vehicle 40 on the first virtual image V11 and the second virtual image V12 by surrounding it with a frame line L.
  • the frame line L may be displayed in a conspicuous color such as red.
  • the virtual image display control unit 36b may highlight the target vehicle 40. That is, the virtual image display control unit 36b displays the target vehicle 40 in a manner that makes it distinguishable from other vehicles.
  • the virtual image display control unit 36b displays the driving route R of the target vehicle 40 by superimposing it on the first virtual image V11 and the second virtual image V12. In addition, the virtual image display control unit 36b displays the first image capture range X1 on the first virtual image V11. In addition, the virtual image display control unit 36b displays the second image capture range X2 on the second virtual image V12.
  • the virtual image display control unit 36b may also display information indicating at least one of the vehicle position, orientation, turn signal status, and stop lamp status of the target vehicle 40 on the virtual image V1 based on the vehicle information acquired from the target vehicle 40.
  • the virtual image display control unit 36b may determine whether or not a moving object is present around the target vehicle 40 based on the detection results of the on-board sensor 41. If a moving object is present, the virtual image display control unit 36b may display vehicle surroundings information indicating either or both of the position and shape of the moving object in the virtual image V1.
  • step S4 the vehicle position determination unit 35 determines whether the target vehicle 40 is traveling within the image capture range X of the roadside camera 10 based on the image capture range X and the vehicle position.
  • step S7 the virtual image display control unit 36b determines whether the first imaging direction D01 of the first roadside camera 10a and the second imaging direction D02 of the second roadside camera 10b are different.
  • step S8 the virtual image display control unit 36b updates (changes) the display direction D1 of the virtual image V1 so that the second display direction D12 when the target vehicle 40 is at the second vehicle position P02 is closer to the second imaging direction D02 than the first display direction D11 when the target vehicle 40 is at the first vehicle position P01.
  • the virtual image display control unit 36b determines in step S7 that "the first imaging direction D01 and the second imaging direction D02 are the same"
  • the virtual image display control unit 36b does not update (change) the display direction D1 of the virtual image V1. That is, the information processing system 100 skips the process of step S8.
  • step S9 the information processing system 100 determines whether the target vehicle 40 has arrived at the destination. If the target vehicle 40 has arrived at the destination, i.e., if remote monitoring of the target vehicle 40 has ended, the process ends. On the other hand, if the target vehicle 40 has not arrived at the destination, the process returns to step S1.
  • the information processing system 100 determines whether or not the first imaging direction D01 of the first roadside camera 10a with respect to the road 5 when the target vehicle 40 leaves the first imageable range X1 of the first roadside camera 10a is different from the second imaging direction D02 with respect to the road 5 when the target vehicle 40 enters the second imageable range X2 of the second roadside camera 10b.
  • the information processing system 100 changes the display direction D1 of the virtual image V1 in accordance with the position of the target vehicle 40 so that the second display direction D12 when the target vehicle 40 is at the second vehicle position P02 near the position of the second roadside camera 10b, which is forward of the first vehicle position P01, is closer to the second imaging direction D02 than the first display direction D11 when the target vehicle 40 is at the first vehicle position P01 near the position of the first roadside camera 10a. That is, when the first captured image V01 displayed on the display 20 is switched to the virtual image V1, the display direction D1 of the virtual image V1 gradually or continuously approaches the second captured image direction D02 from the first captured image direction D01.
  • the information processing system 100 displays the virtual image V1 on the display 20 when the target vehicle 40 is not traveling within the imaging range X, so that the user can check the traveling status of the target vehicle 40 even when the roadside camera 10 cannot image the target vehicle 40.
  • the information processing system 100 acquires the exit time when the target vehicle 40 exits the first imageable range X1, calculates the entry time when the target vehicle 40 enters the second imageable range X2 based on the vehicle information and the exit time, and displays a virtual image V1 including information T indicating the entry time on the display 20 when the target vehicle 40 is traveling between the first imageable range X1 and the second imageable range X2. This allows the user to know the timing (time) when the virtual image V1 switches to the second imaged image V02 even while the virtual image V1 is being displayed on the display 20.
  • the information processing system 100 calculates the blind spot driving time from when the target vehicle 40 leaves the first imageable range X1 to when it enters the second imageable range X2, calculates the imaging direction angle difference ⁇ 1 of the second imaging direction D02 with respect to the first imaging direction D01, calculates the display angle change speed by dividing the imaging direction angle difference ⁇ 1 by the blind spot driving time, and changes the display direction at a timing based on the display angle change speed.
  • the display direction D1 of the virtual image V1 changes to approach the second imaging direction D2 in accordance with the movement of the target vehicle 40, so that the user can easily identify the target vehicle 40 even after the virtual image V1 has switched to the second captured image V02.
  • the virtual image V1 is an image in which an icon or CG of the target vehicle 40 is synthesized onto an omnidirectional image or 3DCG (omnidirectional spatial image) generated based on map information including the road 5 on which the target vehicle 40 is traveling. This allows the user to easily visually grasp the driving conditions of the target vehicle 40 even when the target vehicle 40 is traveling in the blind spot area B.
  • the virtual image V1 includes information indicating at least one of the vehicle position, direction, turn signal status, and stop lamp status of the target vehicle 40. This allows the user to easily visually grasp the driving conditions of the target vehicle 40 even when the target vehicle 40 is driving in the blind spot area B.
  • the information processing system 100 may also acquire the detection results of the on-board sensor 41 of the target vehicle 40, and determine whether or not there is a moving object around the target vehicle 40 based on the detection results, and if there is a moving object, may display vehicle surroundings information indicating either or both of the position and shape of the moving object in the virtual image V1. This allows the user to visually confirm information about the driving environment including moving objects around the target vehicle 40, even when the target vehicle 40 is driving in the blind spot area B.
  • the information processing system 100 displays the target vehicle 40 included in either or both of the captured image V0 and the virtual image V1 by surrounding it with a frame line L or highlighting it, thereby displaying the target vehicle 40 in a manner that makes it distinguishable from other vehicles. This allows the user to easily identify the target vehicle 40.
  • the information processing system 100 displays the travel route R of the target vehicle 40 superimposed on either or both of the captured image V0 and the virtual image V1. This allows the user to visually grasp the travel route R of the target vehicle 40.
  • the information processing device 200 is mounted on the target vehicle 40.
  • the display 20 is an in-vehicle display provided in the target vehicle 40. That is, the controller 3 of the information processing device 200 displays the captured image V0 and the virtual image V1 on the display 20 provided in the target vehicle 40.
  • the target vehicle 40 also has a map database 1, an infrastructure database 2, an on-board sensor 41, and a vehicle position detection unit 42.
  • the information processing device 200 displays the captured image V0 and the virtual image V1 on the display 20 provided in the target vehicle 40. This allows the driver of the target vehicle 40 to check the driving conditions of his/her own vehicle (target vehicle 40) on the display 20 inside the vehicle.
  • Information processing system 200 ... Information processing device 3... Controller 10... Roadside camera 20... Display 30... Server 32... Captured image acquisition unit 33... Roadside camera information acquisition unit 34... Vehicle position acquisition unit 35... Vehicle position determination unit 36a... Captured image display control unit 36b... Virtual image display control unit 40... Target vehicle D0... Capture direction D1... Display direction R... Travel route L... Frame line T... Information indicating entry time V0... Captured image V1... Virtual image X... Capturing range ⁇ 1... Capture direction angle difference

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

情報処理システム１００は、対象車両４０が路側カメラ１０の撮像可能範囲Ｘを走行している場合は撮像画像Ｖ０をディスプレイ２０に表示し、対象車両４０が撮像可能範囲Ｘ以外を走行している場合は、仮想画像Ｖ１をディスプレイ２０に表示し、第１の路側カメラ１０ａの第１の撮像方向Ｄ０１と、第１の路側カメラ１０ａの前方側に位置する第２の路側カメラ１０ｂの第２の撮像方向Ｄ０２とが異なるか否かを判定し、第１の撮像方向Ｄ０１と第２の撮像方向Ｄ０２とが異なるときは、対象車両４０が第１の車両位置Ｐ０１にいるときの第１の表示方向Ｄ１１よりも、対象車両４０が第１の車両位置Ｐ０１の前方側の第２の車両位置Ｐ０２にいるときの第２の表示方向Ｄ１２の方が第２の撮像方向Ｄ０２に近づくように、仮想画像Ｖ１の表示方向Ｄ１を変更する。

Description

情報処理方法、情報処理システム及び情報処理装置
　本発明は、情報処理方法、情報処理システム及び情報処理装置に関するものである。
　特許文献１には、複数箇所に設置された監視カメラによって監視対象となる車両を撮影する移動体監視システムが記載されている。特許文献１に記載の移動体監視システムは、監視対象となる車両を追随して監視できるように、複数の監視カメラの中で、当該車両を撮影可能な監視カメラを適宜選択して撮影を行う。
特開２００６－１６３７６４号公報
　しかしながら、特許文献１の移動体監視システムでは、対象車両の移動に伴って、撮影を実行する監視カメラを切り替えたときに、撮像画像を見ているユーザが、当該画像がどの方向から撮像されているのかをすぐに把握できず、対象車両を見失ってしまう可能性がある。
　本発明が解決しようとする課題は、対象車両を撮像する路側カメラ（インフラカメラ）を切り替えるときに、切り替え後の撮像画像を見ているユーザが対象車両を容易に特定できる情報処理方法、情報処理システム及び情報処理装置を提供することである。
　本発明は、対象車両が撮像可能範囲以外を走行している場合は、道路に対して所定の表示方向で表示した対象車両及び道路の仮想画像をディスプレイに表示し、対象車両が第１の路側カメラの第１の撮像可能範囲を退出したときの道路に対する第１の路側カメラの第１の撮像方向と、対象車両が第１の路側カメラの対象車両の進行方向の前方側に位置する第２の路側カメラの第２の撮像可能範囲に進入するときの道路に対する第２の路側カメラの第２の撮像方向とが異なるか否かを判定し、第１の撮像方向と第２の撮像方向とが異なるときは、対象車両が第１の路側カメラの位置付近の第１の車両位置にいるときの第１の表示方向よりも、対象車両が第１の車両位置の前方側の、第２の路側カメラの位置付近の第２の車両位置にいるときの第２の表示方向の方が第２の撮像方向に近づくように、対象車両の位置に合わせて、仮想画像の所定の表示方向を変更することによって上記課題を解決する。
　本発明によれば、対象車両を撮像する路側カメラを切り替えるときに、切り替え後の撮像画像を見ているユーザが対象車両を容易に特定できるという効果を奏する。
第１実施形態に係る情報処理システムの構成を示すブロック図である。 第１の路側カメラ、第２の路側カメラ及び対象車両の位置関係の例を地図上に示す図である。 図１に示す情報処理システムの第１の路側カメラが撮像した撮像画像の例である。 図１に示す情報処理システムの仮想画像表示制御部がディスプレイに表示する仮想画像の例である。 図１に示す情報処理システムの仮想画像表示制御部がディスプレイに表示する仮想画像の例である。 図１に示す情報処理システムの第２の路側カメラが撮像した撮像画像の例である。 図１に示す情報処理システムが実行する情報処理方法の手順を示すフローチャートである。 第２実施形態に係る情報処理装置の構成を示すブロック図である。
　以下、本発明の実施形態を図面に基づいて説明する。
《第１実施形態》
　第１実施形態に係る情報処理システム１００について、図１～７に基づいて説明する。
　図１に示す情報処理システム１００は、複数の路側カメラ１０、ディスプレイ２０及びサーバ３０を有する。情報処理システム１００は、サーバ３０のコントローラ３を用いて、道路５を走行する対象車両４０（図２参照）を含む画像を対象車両４０の外部にあるディスプレイ２０に表示する。情報処理システム１００は、通信網４を介して、複数の路側カメラ１０及びディスプレイ２０と通信可能である。また、破線で示すように、サーバ３０は通信網４を介して対象車両４０と通信可能であってもよい。なお、複数の路側カメラ１０の数は２つ以上であれば特に限定されないが、本実施形態では、説明の便宜上、複数の路側カメラ１０が２つのカメラ（第１の路側カメラ１０ａ及び第２の路側カメラ１０ｂ）によって構成されているものとして説明する。なお、サーバ３０のコントローラ３は、撮像画像Ｖ０及び仮想画像Ｖ１のデータを対象車両４０に送信し、撮像画像Ｖ０及び仮想画像Ｖ１を対象車両４０に設けられた車内ディスプレイに表示してもよい。
　路側カメラ１０（第１の路側カメラ１０ａ及び第２の路側カメラ１０ｂ）は、道路５の状況を撮像するために道路５に沿って配置されているインフラカメラである。本実施形態では、路側カメラ１０の撮像方向Ｄ０（第１の撮像方向Ｄ０１及び第２の撮像方向Ｄ０２）は固定されているが、これに限定されず、路側カメラ１０は回動自在に取り付けられ、撮像方向Ｄ０が適宜変化してもよい。図２に示す例では、第２の路側カメラ１０ｂは第１の路側カメラ１０ａの前方側に位置する。また、第１の路側カメラ１０ａの第１の撮像方向Ｄ０１は、対象車両４０の走行経路における前方側の方向である。一方、第２の路側カメラ１０ｂの第２の撮像方向Ｄ０２は、対象車両４０の走行経路における後方側の方向である。すなわち、第１の撮像方向Ｄ０１に対する第２の撮像方向Ｄ０２の相対角度である撮像方向角度差θ１は１８０°である。よって、第２の路側カメラ１０ｂの第２の撮像可能範囲Ｘ２は、第１の路側カメラ１０ａの第１の撮像可能範囲Ｘ１の前方側に位置する。なお、路側カメラ１０の撮像可能範囲Ｘは、路側カメラ１０の撮像方向Ｄ０及び撮像可能範囲によって決まる。また、第１の撮像可能範囲Ｘ１と第２の撮像可能範囲Ｘ２との間の領域は、路側カメラ１０が撮像できない死角領域Ｂである。
　なお、「前方側」とは、対象車両４０の走行経路上における対象車両４０の進行方向下流側の方向をいう。また、「後方側」とは、対象車両４０の走行経路上における対象車両４０の進行方向上流側の方向をいう。
　また、第１の撮像方向Ｄ０１は、対象車両４０が第１の路側カメラ１０ａの第１の撮像可能範囲Ｘ１を退出したときの第１の路側カメラ１０ａの撮像方向である。また、第２の撮像方向Ｄ０２は、対象車両４０が第２の路側カメラ１０ｂの第２の撮像可能範囲Ｘ２に進入するときの第２の路側カメラ１０ｂの撮像方向である。
　また、路側カメラ１０の撮像画像Ｖ０は、動画（映像）であってもよく、所定間隔で連続的に切り替わる静止画であってもよい。
　また、図１に示すディスプレイ２０は、ユーザが監視対象である対象車両４０を遠隔監視するためのディスプレイである。ユーザは、ディスプレイ２０に表示された車両の中から監視対象とする対象車両４０を選択して、選択結果をディスプレイ２０の通信部（図示せず）を介してサーバ３０に送信することができる。また、サーバ３０と通信可能な車両が予め対象車両４０として設定されていてもよい。また、ユーザは、ディスプレイ２０を介して、対象車両４０の走行状況を確認しながら、対象車両４０のドライバと通信を行い、対象車両４０の運転を支援してもよい。また、ユーザは、ディスプレイ２０を介して、対象車両４０の走行状況を確認しながら、対象車両４０の運転を遠隔制御してもよい。
　また、サーバ３０は、地図データベース１、インフラデータベース２及びコントローラ３を有する。地図データベース１は、各種施設や特定の地点の位置情報を含む三次元高精度地図情報を格納する。また、インフラデータベース２は、複数の路側カメラ１０（第１の路側カメラ１０ａ及び第２の路側カメラ１０ｂ）の各々の路側カメラ情報を格納する。路側カメラ情報は、路側カメラ１０の各々の撮像方向Ｄ０及び撮像範囲を含む。また、路側カメラ情報は、路側カメラ１０の各々の設置位置を含んでもよい。また、コントローラ３は、地図データベース１の地図情報、インフラデータベース２の路側カメラ情報及び路側カメラ１０が撮像した撮像画像に基づいて、ディスプレイ２０に表示する画像を制御する。
　対象車両４０は車載センサ４１及び車両位置検出部４２を有する。車載センサ４１は、対象車両４０の搭載されるカメラ又はレーダである。車載センサ４１は、対象車両４０の周囲の移動物及び障害物を検出する。なお、移動物は、例えば、他車両、自転車又は歩行者等である。また、車両位置検出部４２は、ＧＰＳユニット、ジャイロセンサ及び車速センサから構成されている。車両位置検出部４２は、対象車両４０の現在の車両位置を検出する。
　サーバ３０のコントローラ３は、通信部３１、撮像画像取得部３２、路側カメラ情報取得部３３、車両位置取得部３４、車両位置判定部３５及び画像表示制御部３６を有する。コントローラ３は、ＲＯＭに格納されたプログラムをＣＰＵにより実行することにより、通信部３１、撮像画像取得部３２、路側カメラ情報取得部３３、車両位置取得部３４、車両位置判定部３５及び画像表示制御部３６の各機能を実行する。
　通信部３１は、通信網４を介して、第１の路側カメラ１０ａ、第２の路側カメラ１０ｂ及びディスプレイ２０との間で情報の授受を行う。具体的には、通信部３１は、第１の路側カメラ１０ａ及び第２の路側カメラ１０ｂから撮像画像Ｖ０（図３、６参照）のデータを受信する。また、通信部３１は、画像表示制御部３６の制御指令に基づいて、画像データをディスプレイ２０に送信する。
　また、通信部３１は、通信網４を介して、対象車両４０と情報の授受を行ってもよい。具体的には、通信部３１は、対象車両４０から車載センサ４１の検出結果を受信する。また、通信部３１は、対象車両４０から対象車両４０の走行状況を示す車両情報を受信する。車両情報には対象車両４０の車両位置が含まれる。また、車両情報は、対象車両４０の車速、加速度、向き、ウィンカーの状態及び停止ランプの状態の少なくともいずれか１つを含んでいてもよい。
　撮像画像取得部３２は、通信部３１が受信した画像データに基づいて、第１の路側カメラ１０ａが撮像した第１の撮像画像Ｖ０１（図３参照）及び第２の路側カメラ１０ｂが撮像した第２の撮像画像Ｖ０２（図６参照）を取得する。
　また、路側カメラ情報取得部３３は、インフラデータベース２から第１の路側カメラ１０ａ及び第２の路側カメラ１０ｂの路側カメラ情報を取得する。
　また、車両位置取得部３４は、地図データベース１の地図情報及びインフラデータベース２の路側カメラ情報を参照して、撮像画像取得部３２が取得した撮像画像Ｖ０に基づき、対象車両４０の車両位置を取得する。具体的には、図３に示すように、第１の路側カメラ１０ａの第１の撮像画像Ｖ０１に対象車両４０が含まれている場合は、車両位置取得部３４は、地図情報及び路側カメラ情報を参照して、第１の撮像可能範囲Ｘ１内の対象車両４０の車両位置を特定する。また、図６に示すように、第２の路側カメラ１０ｂの第２の撮像画像Ｖ０２に対象車両４０が含まれている場合は、車両位置取得部３４は、地図情報及び路側カメラ情報を参照して、第２の撮像可能範囲Ｘ２内の対象車両４０の車両位置を特定する。また、対象車両４０が死角領域Ｂを走行しており、コントローラ３が撮像画像を取得できないときは、車両位置取得部３４は、対象車両４０が第１の撮像可能範囲Ｘ１を退出するときの車速及び向きに基づいて、対象車両４０の車両位置を推測する。すなわち、車両位置取得部３４は、撮像画像Ｖ０から対象車両４０の車両情報を取得し、車両情報に基づいて対象車両４０の車両位置を取得する。
　また、車両位置取得部３４は、通信部３１が対象車両４０から受信した車両情報に基づいて対象車両４０の車両位置を取得してもよい。
　また、車両位置判定部３５は、路側カメラ情報取得部３３から取得した路側カメラ情報及び車両位置取得部３４から取得した車両位置に基づいて、対象車両４０が路側カメラ１０の撮像可能範囲Ｘ（第１の撮像可能範囲Ｘ１又は第２の撮像可能範囲Ｘ２）を走行しているか否かを判定する。すなわち、車両位置判定部３５は、道路５に対する路側カメラ１０の撮像可能範囲Ｘ及び車両位置に基づいて、対象車両４０が路側カメラ１０の撮像可能範囲Ｘを走行しているか否かを判定する。
　また、画像表示制御部３６は、車両位置判定部３５の判定結果に基づいて、通信部３１がディスプレイ２０に送信する画像データを制御する。すなわち、画像表示制御部３６は、ディスプレイ２０に表示する画像を制御する。画像表示制御部３６は、撮像画像表示制御部３６ａ及び仮想画像表示制御部３６ｂを有する。
　撮像画像表示制御部３６ａは、対象車両４０が撮像可能範囲Ｘを走行している場合は、対象車両４０を含む撮像画像Ｖ０をディスプレイ２０に表示するための制御指令を生成する。具体的には、撮像画像表示制御部３６ａは、対象車両４０が第１の撮像可能範囲Ｘ１を走行している場合は、第１の撮像画像Ｖ０１をディスプレイ２０に表示する。また、撮像画像表示制御部３６ａは、対象車両４０が第２の撮像可能範囲Ｘ２を走行している場合は、第２の撮像画像Ｖ０２をディスプレイ２０に表示する。すなわち、撮像画像表示制御部３６ａは、複数の路側カメラ１０の各々が撮像した複数の撮像画像Ｖ０から、対象車両４０が含まれる画像を選択してディスプレイ２０に表示する。
　仮想画像表示制御部３６ｂは、対象車両４０が撮像可能範囲Ｘ以外を走行している場合は、所定の表示方向Ｄ１で表示した対象車両４０の仮想画像Ｖ１をディスプレイ２０に表示する（図４、５参照）。仮想画像Ｖ１は、対象車両４０が走行する道路５を含む地図情報に基づいて生成された全方位画像または３ＤＣＧ（全方位空間画像）上に対象車両４０のアイコンまたはＣＧを合成した画像である。
　仮想画像表示制御部３６ｂは、第１の路側カメラ１０ａの第１の撮像方向Ｄ０１と、対象車両４０が第２の路側カメラ１０ｂの第２の撮像方向Ｄ０２とが異なるか否かを判定する。そして、図２に示すように、仮想画像表示制御部３６ｂは、第１の撮像方向Ｄ０１と第２の撮像方向Ｄ０２とが異なるときは、対象車両４０が第１の車両位置Ｐ０１にいるときの第１の表示方向Ｄ１１よりも、対象車両４０が第１の車両位置Ｐ０１の前方側の第２の車両位置Ｐ０２にいるときの第２の表示方向Ｄ１２の方が第２の撮像方向Ｄ０２に近づくように、仮想画像Ｖ１の表示方向Ｄ１を１回以上更新（変更）する。第１の車両位置Ｐ０１は、第１の路側カメラ１０ａの位置付近の位置であり、第２の車両位置Ｐ０２は、第２の路側カメラ１０ｂの位置付近の位置である。すなわち、仮想画像表示制御部３６ｂは、死角領域Ｂを走行する対象車両４０の車両位置が第２の撮像可能範囲Ｘ２に近づく程、仮想画像Ｖ１の表示方向Ｄ１が第２の撮像方向Ｄ０２に近づくように、仮想画像Ｖ１を更新する。
　具体的には、まず、仮想画像表示制御部３６ｂは、図４に示すように、第１の撮像可能範囲Ｘ１から退出した対象車両４０を含む第１の仮想画像Ｖ１１を生成する。図２に示すように、第１の仮想画像Ｖ１１は、第１の仮想撮像位置Ｐ１１から第１の表示方向Ｄ１１に向かって撮像されたと仮定して生成された画像である。なお、第１の撮像方向Ｄ０１に対する第１の表示方向Ｄ１１の第１の相対角度θ２１は、０°より大きく、かつ、撮像方向角度差θ１より小さい値となるように設定される。
　また、仮想画像表示制御部３６ｂは、図４に示す第１の仮想画像Ｖ１１を、所定の時点で、図５に示す第２の仮想画像Ｖ１２に切替える。図２に示すように、第２の仮想画像Ｖ１２は、第２の仮想撮像位置Ｐ１２から第２の表示方向Ｄ１２に向かって撮像されたと仮定して生成された画像である。第１の撮像方向Ｄ０１に対する第２の表示方向Ｄ１２の第２の相対角度θ２２は、０°より大きく、かつ、撮像方向角度差θ１より小さい値となるように設定される。また、第２の表示方向Ｄ１２は第１の表示方向Ｄ１１よりも第２の撮像方向Ｄ０２に近い。すなわち、第２の相対角度θ２２は、第１の相対角度θ２１よりも大きく、撮像方向角度差θ１に近い。すなわち、仮想画像表示制御部３６ｂは、ディスプレイ２０に表示される第１の仮想画像Ｖ１１の第１の表示方向Ｄ１１を、所定の時点で、第２の仮想画像Ｖ１２の第２の表示方向Ｄ１２に更新する。
　すなわち、画像表示制御部３６は、図３に示す第１の撮像画像Ｖ０１、図４に示す第１の仮想画像Ｖ１１、図５に示す第２の仮想画像Ｖ１２、及び、図６に示す第２の撮像画像Ｖ０２の順序で、画像をディスプレイ２０に表示する。これにより、ディスプレイ２０を見ているユーザにとっては、初めは画面の奥側に遠ざかっていくように見えた対象車両４０が、対象車両４０が移動するにつれて、徐々に画面の手前側に接近してくるように見える。
　なお、図２に示す例では、仮想画像表示制御部３６ｂは、対象車両４０が第１の車両位置Ｐ０１と第２の車両位置Ｐ０２との間を走行しているとき、又は、対象車両４０が第２の車両位置Ｐ０２に到達したときに、図４に示す第１の仮想画像Ｖ１１を、図５に示す第２の仮想画像Ｖ１２に切替える。より具体的には、仮想画像表示制御部３６ｂは、対象車両４０が第１の撮像可能範囲Ｘ１を退出してから第２の撮像可能範囲Ｘ２に進入するまでの死角走行時間を算出する。そして、仮想画像表示制御部３６ｂは、第１の撮像方向Ｄ０１と第２の撮像方向Ｄ０２との撮像方向角度差θ１を死角走行時間で除した表示角度変更速度を算出し、表示角度変更速度に応じたタイミングで表示方向Ｄ１を変更する。また、仮想画像表示制御部３６ｂは、表示角度変更速度に合わせて、仮想画像Ｖ１の表示方向Ｄ１を所定間隔（例えば、１秒毎）で連続的に変更してもよい。
　また、仮想画像表示制御部３６ｂは、対象車両４０が第１の撮像可能範囲Ｘ１を退出する退出時間を取得し、車両情報（対象車両４０の車速、加速度等）及び退出時間に基づいて対象車両４０が第２の撮像可能範囲Ｘ２に進入する進入時間を算出する。そして、対象車両４０が第１の撮像可能範囲Ｘ１と第２の撮像可能範囲Ｘ２との間を走行しているときは、進入時間を示す情報Ｔを仮想画像Ｖ１上に表示する。なお、図３、４に示す例では、情報Ｔは、対象車両４０が第２の撮像可能範囲Ｘ２に進入するまでの残り時間を示す文字情報であるが、これに限定されず、情報Ｔは、対象車両４０が第２の撮像可能範囲Ｘ２に進入する時刻を示す情報であってもよい。
　また、第１の仮想画像Ｖ１１及び第２の仮想画像Ｖ１２上では、対象車両４０の画像（ＣＧ）は、車両位置取得部３４が推定した車両位置に応じて道路５を移動する。すなわち、第１の仮想画像Ｖ１１及び第２の仮想画像Ｖ１２は、対象車両４０の車両位置及び向きを示す情報を含む。また、仮想画像表示制御部３６ｂは、第１の仮想画像Ｖ１１及び第２の仮想画像Ｖ１２上の対象車両４０を枠線Ｌで囲んで表示する。枠線Ｌは赤等の目立つ色で表示されてもよい。また、仮想画像表示制御部３６ｂは、対象車両４０をハイライト表示してもよい。すなわち、仮想画像表示制御部３６ｂは、対象車両４０を他車両と区別可能な態様で表示する。また、仮想画像表示制御部３６ｂは、第１の仮想画像Ｖ１１及び第２の仮想画像Ｖ１２に対象車両４０の走行経路Ｒを重畳して表示する。また、仮想画像表示制御部３６ｂは、第１の仮想画像Ｖ１１上に第１の撮像可能範囲Ｘ１を表示する。また、仮想画像表示制御部３６ｂは、第２の仮想画像Ｖ１２上に第２の撮像可能範囲Ｘ２を表示する。
　また、仮想画像表示制御部３６ｂは、対象車両４０から取得した車両情報に基づいて、対象車両４０の車両位置、向き、ウィンカーの状態及び停止ランプの状態の少なくともいずれか１つを示す情報を仮想画像Ｖ１上に表示してもよい。
　さらに、仮想画像表示制御部３６ｂは、車載センサ４１の検出結果に基づき、対象車両４０の周囲に移動物が存在するか否かを判定してもよい。そして、移動物が存在する場合は、仮想画像表示制御部３６ｂは、移動物の位置及び形状のうちいずれか一方又は両方を示す車両周囲情報を仮想画像Ｖ１に表示してもよい。
　次に、図７のフローチャートを用いて、情報処理システム１００が実行する情報表示方法の手順を説明する。
　まず、ステップＳ１において、撮像画像取得部３２は、複数の路側カメラ１０の各々が撮像した撮像画像Ｖ０を取得する。
　次に、ステップＳ２において、路側カメラ情報取得部３３は、複数の路側カメラ１０の各々の撮像方向Ｄ０及び撮像可能範囲Ｘを含む路側カメラ情報を取得する。
　次に、ステップＳ３において、車両位置取得部３４は、撮像画像Ｖ０又は対象車両４０から取得した車両情報に基づいて対象車両４０の車両位置を取得する。
　そして、ステップＳ４において、車両位置判定部３５は、撮像可能範囲Ｘ及び車両位置に基づいて、対象車両４０が路側カメラ１０の撮像可能範囲Ｘを走行しているか否かを判定する。
　ステップＳ４において、車両位置判定部３５が「対象車両４０は路側カメラ１０の撮像可能範囲Ｘを走行している」と判定した場合は、ステップＳ５において、撮像画像表示制御部３６ａは、対象車両４０を含む撮像画像Ｖ０をディスプレイ２０に表示する。その後、処理はステップＳ９に進む。
　また、Ｓ４において、車両位置判定部３５が「対象車両４０は路側カメラ１０の撮像可能範囲Ｘ以外を走行している」と判定した場合は、ステップＳ６において、仮想画像表示制御部３６ｂは、所定の表示方向Ｄ１で表示した対象車両４０の仮想画像Ｖ１をディスプレイ２０に表示する。
　そして、ステップＳ７において、仮想画像表示制御部３６ｂは、第１の路側カメラ１０ａの第１の撮像方向Ｄ０１と第２の路側カメラ１０ｂの第２の撮像方向Ｄ０２とが異なるか否かを判定する。
　ステップＳ７において、仮想画像表示制御部３６ｂが「第１の撮像方向Ｄ０１と第２の撮像方向Ｄ０２とが異なる」と判定した場合は、ステップＳ８において、仮想画像表示制御部３６ｂは、対象車両４０が第１の車両位置Ｐ０１にいるときの第１の表示方向Ｄ１１よりも、対象車両４０が第２の車両位置Ｐ０２にいるときの第２の表示方向Ｄ１２の方が第２の撮像方向Ｄ０２に近づくように、仮想画像Ｖ１の表示方向Ｄ１を更新（変更）する。
　一方、ステップＳ７において、仮想画像表示制御部３６ｂが「第１の撮像方向Ｄ０１と第２の撮像方向Ｄ０２とが同一である」と判定した場合は、仮想画像表示制御部３６ｂは仮想画像Ｖ１の表示方向Ｄ１を更新（変更）しない。すなわち、情報処理システム１００は、ステップＳ８の処理をスキップする。
　そして、次に、ステップＳ９において、情報処理システム１００は、対象車両４０が目的地に到着したか否かを判定する。対象車両４０が目的地に到着した場合、すなわち、対象車両４０の遠隔監視が終了した場合は、処理は終了する。一方、対象車両４０が目的地に到着していない場合は、処理はステップＳ１に戻る。
　以上より、本実施形態に係る情報処理システム１００は、対象車両４０が路側カメラ１０の撮像可能範囲Ｘ以外を走行している場合は、対象車両４０が第１の路側カメラ１０ａの第１の撮像可能範囲Ｘ１を退出した後、第１の路側カメラ１０ａと第１の路側カメラ１０ａの対象車両４０の進行方向の前方側に位置する第２の路側カメラ１０ｂとの間の所定の位置（第１の仮想撮像位置Ｐ１１又は第２の仮想撮像位置Ｐ１２）から見て、道路５に対して所定の表示方向Ｄ１で表示した対象車両４０及び道路５の仮想画像Ｖ１をディスプレイ２０に表示する。そして、情報処理システム１００は、対象車両４０が第１の路側カメラ１０ａの第１の撮像可能範囲Ｘ１を退出したときの道路５に対する第１の路側カメラ１０ａの第１の撮像方向Ｄ０１と、対象車両４０が第２の路側カメラ１０ｂの第２の撮像可能範囲Ｘ２に進入するときの道路５に対する第２の撮像方向Ｄ０２とが異なるか否かを判定する。情報処理システム１００は、第１の撮像方向Ｄ０１と第２の撮像方向Ｄ０２とが異なるときは、対象車両４０が第１の路側カメラ１０ａの位置付近の第１の車両位置Ｐ０１にいるときの第１の表示方向Ｄ１１よりも、対象車両４０が第１の車両位置Ｐ０１の前方側の、第２の路側カメラ１０ｂの位置付近の第２の車両位置Ｐ０２にいるときの第２の表示方向Ｄ１２の方が第２の撮像方向Ｄ０２に近づくように、対象車両４０の位置に合わせて、仮想画像Ｖ１の表示方向Ｄ１を変更する。すなわち、ディスプレイ２０に表示される第１の撮像画像Ｖ０１が、仮想画像Ｖ１に切替わった際に、仮想画像Ｖ１の表示方向Ｄ１は段階的又は連続的に第１の撮像方向Ｄ０１から第２の撮像方向Ｄ０２に近づいていく。
　これにより、対象車両４０を撮像する路側カメラ１０が第１の路側カメラ１０ａから第２の路側カメラ１０ｂに切り替わったときに、ディスプレイ２０に表示される画像の表示方向が急に変化することが防止される。そのため、ユーザは、切り替え後の路側カメラ１０（第２の路側カメラ１０ｂ）が撮像した撮像画像Ｖ０（第２の撮像画像Ｖ０２）に映る対象車両４０を見失わず、容易に特定できる。
　また、情報処理システム１００は、対象車両４０が撮像可能範囲Ｘを走行していない場合に仮想画像Ｖ１をディスプレイ２０に表示するため、ユーザは、路側カメラ１０が対象車両４０を撮像できないときも対象車両４０の走行状況を確認することができる。
　また、情報処理システム１００は、対象車両４０が第１の撮像可能範囲Ｘ１を退出する退出時間を取得し、車両情報及び退出時間に基づいて対象車両４０が第２の撮像可能範囲Ｘ２に進入する進入時間を算出し、対象車両４０が第１の撮像可能範囲Ｘ１と第２の撮像可能範囲Ｘ２との間を走行しているときは、進入時間を示す情報Ｔを含む仮想画像Ｖ１をディスプレイ２０に表示する。これにより、ユーザは、ディスプレイ２０に仮想画像Ｖ１が表示されている間も、仮想画像Ｖ１が第２の撮像画像Ｖ０２に切替わるタイミング（時刻）を把握することができる。
　また、情報処理システム１００は、対象車両４０が第１の撮像可能範囲Ｘ１を退出してから第２の撮像可能範囲Ｘ２に進入するまでの死角走行時間を算出し、第２の撮像方向Ｄ０２の第１の撮像方向Ｄ０１に対する撮像方向角度差θ１を算出し、撮像方向角度差θ１を死角走行時間で除した表示角度変更速度を算出し、表示角度変更速度に基づくタイミングで表示方向を変更する。これにより、対象車両４０の移動に合わせて仮想画像Ｖ１の表示方向Ｄ１が第２の撮像方向Ｄ２に近づくように変化するため、ユーザは、仮想画像Ｖ１が第２の撮像画像Ｖ０２に切り替わった後でも対象車両４０を容易に特定できる。
　また、仮想画像Ｖ１は、対象車両４０が走行する道路５を含む地図情報に基づいて生成された全方位画像または３ＤＣＧ（全方位空間画像）上に対象車両４０のアイコンまたはＣＧを合成した画像である。これにより、ユーザは、対象車両４０が死角領域Ｂを走行しているときでも、対象車両４０の走行状況を視覚的に容易に把握することができる。
　また、仮想画像Ｖ１は、対象車両４０の車両位置、向き、ウィンカーの状態及び停止ランプの状態の少なくともいずれか１つを示す情報を含む。これにより、ユーザは、対象車両４０が死角領域Ｂを走行しているときでも、対象車両４０の走行状況を視覚的に容易に把握することができる。
　また、情報処理システム１００は、対象車両４０の車載センサ４１の検出結果を取得し、当該検出結果に基づき、対象車両４０の周囲に移動物が存在するか否かを判定し、移動物が存在する場合は、移動物の位置及び形状のうちいずれか一方又は両方を示す車両周囲情報を仮想画像Ｖ１に表示してもよい。これにより、ユーザは、対象車両４０が死角領域Ｂを走行しているときであっても、対象車両４０の周囲の移動物を含む走行環境の情報を視覚的に確認できる。
　また、情報処理システム１００は、撮像画像Ｖ０及び仮想画像Ｖ１のいずれか一方又は両方に含まれる対象車両４０を枠線Ｌで囲んで表示する、又は、ハイライト表示することにより、対象車両４０を他車両と区別可能な態様で表示する。これにより、ユーザは対象車両４０を容易に特定できる。
　また、情報処理システム１００は、撮像画像Ｖ０及び仮想画像Ｖ１のいずれか一方又は両方に対象車両４０の走行経路Ｒを重畳して表示する。これにより、ユーザは対象車両４０の走行経路Ｒを視覚的には把握することができる。
　また、情報処理システム１００は、撮像画像Ｖ０及び仮想画像Ｖ１を対象車両４０の外部のディスプレイ２０に表示する。これにより、ユーザは、対象車両４０を遠隔監視することができる。
《第２実施形態》
　第２実施形態に係る情報処理装置２００について、図８に基づいて説明する。
　なお、図１に記載された符号と同一の符号は、同一又は同様の構成を表すため、以下の説明において詳細な説明は省略する。また、情報処理装置２００が実行する情報処理方法の手順は、図７のフローチャートに示す手順と同様である。
　図８に示すように、情報処理装置２００は、対象車両４０に搭載されている。また、ディスプレイ２０は、対象車両４０に設けられた車内ディスプレイである。すなわち、情報処理装置２００のコントローラ３は、撮像画像Ｖ０及び仮想画像Ｖ１を対象車両４０に設けられたディスプレイ２０に表示する。また、対象車両４０は、地図データベース１、インフラデータベース２、車載センサ４１及び車両位置検出部４２を有する。
　以上より、本実施形態に係る情報処理装置２００は、撮像画像Ｖ０及び仮想画像Ｖ１を対象車両４０に設けられたディスプレイ２０に表示する。これにより、対象車両４０のドライバは車内のディスプレイ２０で自車両（対象車両４０）の走行状況を確認することができる。
１００…情報処理システム
２００…情報処理装置
　　３…コントローラ
　１０…路側カメラ
　２０…ディスプレイ
　３０…サーバ
　３２…撮像画像取得部
　３３…路側カメラ情報取得部
　３４…車両位置取得部
　３５…車両位置判定部
３６ａ…撮像画像表示制御部
３６ｂ…仮想画像表示制御部
　４０…対象車両
　Ｄ０…撮像方向
　Ｄ１…表示方向
　　Ｒ…走行経路
　　Ｌ…枠線
　　Ｔ…進入時間を示す情報
　Ｖ０…撮像画像
　Ｖ１…仮想画像
　　Ｘ…撮像可能範囲
　θ１…撮像方向角度差

Claims (11)

  1. 　コントローラを用いて、道路を走行する対象車両を含む画像をディスプレイに表示する情報処理方法であって、
    　前記コントローラは、
    　前記道路に沿って設置された複数の路側カメラの各々が撮像した撮像画像を取得し、
    　複数の前記路側カメラの各々の撮像方向及び撮像可能範囲を含む路側カメラ情報を取得し、
    　前記対象車両の車両情報に基づいて前記対象車両の車両位置を取得し、
    　前記道路に対する前記路側カメラの前記撮像可能範囲及び前記車両位置に基づいて、前記対象車両が前記撮像可能範囲を走行しているか否かを判定し、
    　前記対象車両が前記撮像可能範囲を走行している場合は、前記対象車両を含む前記撮像画像を前記ディスプレイに表示し、
    　前記対象車両が前記撮像可能範囲以外を走行している場合は、
    　　前記対象車両が第１の路側カメラの第１の撮像可能範囲を退出した後、前記第１の路側カメラと前記第１の路側カメラの前記対象車両の進行方向の前方側に位置する第２の路側カメラとの間の所定の位置から見て、前記道路に対して所定の表示方向で表示した前記対象車両及び前記道路の仮想画像を前記ディスプレイに表示し、
    　　前記対象車両が前記第１の路側カメラの第１の撮像可能範囲を退出したときの前記道路に対する前記第１の路側カメラの第１の撮像方向と、前記対象車両が前記第２の路側カメラの第２の撮像可能範囲に進入するときの前記道路に対する前記第２の路側カメラの第２の撮像方向とが異なるか否かを判定し、
    　　前記第１の撮像方向と前記第２の撮像方向とが異なるときは、前記対象車両が前記第１の路側カメラの位置付近の第１の車両位置にいるときの第１の表示方向よりも、前記対象車両が前記第１の車両位置の前方側の、前記第２の路側カメラの位置付近の第２の車両位置にいるときの第２の表示方向の方が前記第２の撮像方向に近づくように、前記対象車両の位置に合わせて、前記仮想画像の前記所定の表示方向を変更する、情報処理方法。
  2. 　前記コントローラは、
    　　前記対象車両が前記第１の撮像可能範囲を退出する退出時間を取得し、
    　　前記車両情報及び前記退出時間に基づいて前記対象車両が前記第２の撮像可能範囲に進入する進入時間を算出し、
    　前記対象車両が前記第１の撮像可能範囲と前記第２の撮像可能範囲との間を走行しているときは、前記進入時間を示す情報を含む前記仮想画像を前記ディスプレイに表示する、請求項１に記載の情報処理方法。
  3. 　前記コントローラは、
    　前記対象車両が前記第１の撮像可能範囲を退出してから前記第２の撮像可能範囲に進入するまでの死角走行時間を算出し、
    　前記第２の撮像方向の前記第１の撮像方向に対する撮像方向角度差を算出し、
    　前記撮像方向角度差を前記死角走行時間で除した表示角度変更速度を算出し、
    　前記表示角度変更速度に基づくタイミングで前記表示方向を変更する、請求項１又は２に記載の情報処理方法。
  4. 　前記仮想画像は、前記対象車両の前記車両位置、向き、ウィンカーの状態及び停止ランプの状態の少なくともいずれか１つを示す情報を含む、請求項１～３のいずれか一項に記載の情報処理方法。
  5. 　前記コントローラは、
    　前記対象車両の車載センサの検出結果を取得し、
    　前記検出結果に基づき、前記対象車両の周囲に移動物が存在するか否かを判定し、
    　前記移動物が存在する場合は、前記移動物の位置及び形状のうちいずれか一方又は両方を示す車両周囲情報を前記仮想画像に表示する、請求項１～４のいずれか一項に記載の情報処理方法。
  6. 　前記コントローラは、前記撮像画像及び前記仮想画像のいずれか一方又は両方に含まれる前記対象車両を枠線で囲んで表示する、又は、ハイライト表示することにより、前記対象車両を他車両と区別可能な態様で表示する、請求項１～５のいずれか一項に記載の情報処理方法。
  7. 　前記コントローラは、
    　前記撮像画像及び前記仮想画像のいずれか一方又は両方に前記対象車両の走行経路を重畳して表示する、請求項１～６のいずれか一項に記載の情報処理方法。
  8. 　前記コントローラは、前記撮像画像及び前記仮想画像を前記対象車両の外部の前記ディスプレイに表示する、請求項１～７のいずれか一項に記載の情報処理方法。
  9. 　前記コントローラは、前記撮像画像及び前記仮想画像を前記対象車両に設けられた前記ディスプレイに表示する、請求項１～７のいずれか一項に記載の情報処理方法。
  10. 　道路を走行する対象車両を含む画像を表示するディスプレイと、
    　前記道路に沿って設置された複数の路側カメラと、
    　前記ディスプレイ及び複数の前記路側カメラの各々と通信可能なサーバとを備え、
    　前記サーバは、
    　複数の前記路側カメラの各々が撮像した撮像画像を取得する撮像画像取得部と、
    　複数の前記路側カメラの各々の撮像方向及び撮像可能範囲を含む路側カメラ情報を取得する路側カメラ情報取得部と、
    　前記対象車両の車両情報に基づいて前記対象車両の車両位置を取得する車両位置取得部と、
    　前記道路に対する前記路側カメラの前記撮像可能範囲及び前記車両位置に基づいて、前記対象車両が前記撮像可能範囲を走行しているか否かを判定する車両位置判定部と、
    　前記対象車両が前記撮像可能範囲を走行している場合は、前記対象車両を含む前記撮像画像を前記ディスプレイに表示する撮像画像表示制御部と、
    　前記対象車両が前記撮像可能範囲以外を走行している場合は、前記対象車両が第１の路側カメラの第１の撮像可能範囲を退出した後、前記第１の路側カメラと前記第１の路側カメラの前記対象車両の進行方向の前方側に位置する第２の路側カメラとの間の所定の位置から見て、前記道路に対して所定の表示方向で表示した前記対象車両及び前記道路の仮想画像を前記ディスプレイに表示する仮想画像表示制御部とを有し、
    　前記仮想画像表示制御部は、
    　前記対象車両が前記第１の路側カメラの第１の撮像可能範囲を退出したときの前記道路に対する前記第１の路側カメラの第１の撮像方向と、前記対象車両が前記第２の路側カメラの第２の撮像可能範囲に進入するときの前記第２の路側カメラの第２の撮像方向とが異なるか否かを判定し、
    　前記第１の撮像方向と前記第２の撮像方向とが異なるときは、前記対象車両が前記第１の路側カメラの位置付近の第１の車両位置にいるときの第１の表示方向よりも、前記対象車両が前記第１の車両位置の前方側の、前記第２の路側カメラの位置付近の第２の車両位置にいるときの第２の表示方向の方が前記第２の撮像方向に近づくように、前記対象車両の位置に合わせて、前記仮想画像の前記所定の表示方向を変更する、情報処理システム。
  11. 　道路を走行する対象車両を含む画像をディスプレイに表示する情報処理装置であって、
    　前記道路に沿って設置された複数の路側カメラの各々が撮像した撮像画像を取得する撮像画像取得部と、
    　複数の前記路側カメラの各々の撮像方向及び撮像可能範囲を含む路側カメラ情報を取得する路側カメラ情報取得部と、
    　前記対象車両の車両情報に基づいて前記対象車両の車両位置を取得する車両位置取得部と、
    　前記道路に対する前記路側カメラ情報の前記撮像可能範囲及び前記車両位置に基づいて、前記対象車両が前記撮像可能範囲を走行しているか否かを判定する車両位置判定部と、
    　前記対象車両が前記撮像可能範囲を走行している場合は、前記対象車両を含む前記撮像画像を前記ディスプレイに表示する撮像画像表示制御部と、
    　前記対象車両が前記撮像可能範囲以外を走行している場合は、前記対象車両が第１の路側カメラの第１の撮像可能範囲を退出した後、前記第１の路側カメラと前記第１の路側カメラの前記対象車両の進行方向の前方側に位置する第２の路側カメラとの間の所定の位置から見て、前記道路に対して所定の表示方向で表示した前記対象車両及び前記道路の仮想画像を前記ディスプレイに表示する仮想画像表示制御部とを備え、
    　前記仮想画像表示制御部は、
    　前記対象車両が前記第１の路側カメラの第１の撮像可能範囲を退出したときの前記道路に対する前記第１の路側カメラの第１の撮像方向と、前記対象車両が前記第２の路側カメラの第２の撮像可能範囲に進入するときの前記第２の路側カメラの第２の撮像方向とが異なるか否かを判定し、
    　前記第１の撮像方向と前記第２の撮像方向とが異なるときは、前記対象車両が前記第１の路側カメラの位置付近の第１の車両位置にいるときの第１の表示方向よりも、前記対象車両が前記第１の車両位置の前方側の、前記第２の路側カメラの位置付近の第２の車両位置にいるときの第２の表示方向の方が前記第２の撮像方向に近づくように、前記対象車両の位置に合わせて、前記仮想画像の前記所定の表示方向を変更する、情報処理装置。
PCT/JP2023/047034 2023-07-04 2023-12-27 情報処理方法、情報処理システム及び情報処理装置 Ceased WO2025009192A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2025530967A JPWO2025009192A1 (ja) 2023-07-04 2023-12-27

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPPCT/JP2023/024801 2023-07-04
JP2023024801 2023-07-04

Publications (1)

Publication Number Publication Date
WO2025009192A1 true WO2025009192A1 (ja) 2025-01-09

Family

ID=94172202

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/047034 Ceased WO2025009192A1 (ja) 2023-07-04 2023-12-27 情報処理方法、情報処理システム及び情報処理装置

Country Status (2)

Country Link
JP (1) JPWO2025009192A1 (ja)
WO (1) WO2025009192A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021234A (ja) * 2006-07-14 2008-01-31 Denso Corp 運転支援画像表示システム及び車載装置
WO2008068837A1 (ja) * 2006-12-05 2008-06-12 Fujitsu Limited 交通状況表示方法、交通状況表示システム、車載装置及びコンピュータプログラム
JP2019036826A (ja) * 2017-08-14 2019-03-07 日産自動車株式会社 車両用表示方法及び車両用表示装置
JP2020201544A (ja) * 2019-06-06 2020-12-17 株式会社デンソー インフラセンサ管理装置、運転支援装置、及びインフラセンサ管理方法
WO2021024798A1 (ja) * 2019-08-06 2021-02-11 パナソニックＩｐマネジメント株式会社 走行支援方法、道路撮影画像収集方法、および路側装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021234A (ja) * 2006-07-14 2008-01-31 Denso Corp 運転支援画像表示システム及び車載装置
WO2008068837A1 (ja) * 2006-12-05 2008-06-12 Fujitsu Limited 交通状況表示方法、交通状況表示システム、車載装置及びコンピュータプログラム
JP2019036826A (ja) * 2017-08-14 2019-03-07 日産自動車株式会社 車両用表示方法及び車両用表示装置
JP2020201544A (ja) * 2019-06-06 2020-12-17 株式会社デンソー インフラセンサ管理装置、運転支援装置、及びインフラセンサ管理方法
WO2021024798A1 (ja) * 2019-08-06 2021-02-11 パナソニックＩｐマネジメント株式会社 走行支援方法、道路撮影画像収集方法、および路側装置

Also Published As

Publication number Publication date
JPWO2025009192A1 (ja) 2025-01-09

Similar Documents

Publication Publication Date Title
JP7645321B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP4752486B2 (ja) 撮像装置、映像信号の選択装置、運転支援装置、自動車
US9507345B2 (en) Vehicle control system and method
JP4855158B2 (ja) 運転支援装置
US10198950B2 (en) Parking support method and parking support device
JP5421072B2 (ja) 接近物体検知システム
EP2500890B1 (en) Image processing device, method thereof, and moving body anti-collision device
US8461976B2 (en) On-vehicle device and recognition support system
CN107615757B (zh) 信息呈现系统
US10232772B2 (en) Driver assistance system
US20110128136A1 (en) On-vehicle device and recognition support system
JP2001233150A (ja) 車両用危険判断装置及び、車両用周辺監視装置
JP2009231938A (ja) 車両用周囲監視装置
JP2015225366A (ja) 事故防止システム、事故防止装置、事故防止方法
KR20030087960A (ko) 감시장치, 감시방법 및 감시용 프로그램
JP2018537329A (ja) 車両の車両周辺部における覆い隠された領域を割り出すための方法と装置
JP2008250503A (ja) 運転支援装置
JP2012195793A (ja) 車両周辺監視装置
JP2013161440A (ja) 車両周辺監視装置
JP2019104336A (ja) 画像表示装置及び運転支援システム
WO2017013692A1 (ja) 走行車線判定装置及び走行車線判定方法
JP4930432B2 (ja) 車両用周辺監視装置
WO2013111494A1 (ja) 監視システム
WO2022202780A1 (ja) 表示制御装置
JP4848644B2 (ja) 障害物認識システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23944439

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025530967

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025530967

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE