WO2021112030A1 - 表示制御システム、表示制御方法及びプログラム - Google Patents

表示制御システム、表示制御方法及びプログラム Download PDF

Info

Publication number
WO2021112030A1
WO2021112030A1 PCT/JP2020/044464 JP2020044464W WO2021112030A1 WO 2021112030 A1 WO2021112030 A1 WO 2021112030A1 JP 2020044464 W JP2020044464 W JP 2020044464W WO 2021112030 A1 WO2021112030 A1 WO 2021112030A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
display unit
monitored object
outside
Prior art date
Application number
PCT/JP2020/044464
Other languages
English (en)
French (fr)
Inventor
実 向谷
利之 東田
Original Assignee
株式会社音楽館
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社音楽館 filed Critical 株式会社音楽館
Publication of WO2021112030A1 publication Critical patent/WO2021112030A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60L—PROPULSION OF ELECTRICALLY-PROPELLED VEHICLES; SUPPLYING ELECTRIC POWER FOR AUXILIARY EQUIPMENT OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRODYNAMIC BRAKE SYSTEMS FOR VEHICLES IN GENERAL; MAGNETIC SUSPENSION OR LEVITATION FOR VEHICLES; MONITORING OPERATING VARIABLES OF ELECTRICALLY-PROPELLED VEHICLES; ELECTRIC SAFETY DEVICES FOR ELECTRICALLY-PROPELLED VEHICLES
    • B60L3/00—Electric devices on electrically-propelled vehicles for safety purposes; Monitoring operating variables, e.g. speed, deceleration or energy consumption
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00—Control, warning or like safety means along the route or between vehicles or trains
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02T90/10—Technologies relating to charging of electric vehicles
    • Y02T90/16—Information or communication technologies improving the operation of electric vehicles

Definitions

  • the present invention relates to a display control system, a display control method, and a program.
  • Patent Document 1 when the existence of a pedestrian is recognized by the camera image information obtained from a camera that captures the situation around the vehicle, a mark is placed on the head-up display (HUD) by a virtual image superimposed on the pedestrian.
  • HUD head-up display
  • Patent Document 1 describes that road markings such as a pedestrian crossing in front, which cannot be recognized by video information, are displayed as virtual images at positions grasped from map information, travel logs, etc. as being present. ..
  • the inventor displays a mark image such as a mark at the appearance position of the monitored object in the display unit such as the HUD placed in front of the crew of the vehicle. We are considering having the crew accurately grasp the position of the monitored object.
  • Patent Document 1 Even if the technique described in Patent Document 1 is used, it is not possible to display a mark image at the appearance position of the monitored object that cannot be recognized by the camera that captures the situation around the vehicle. Further, since such a monitored object appears suddenly, its position cannot be grasped in advance from the map information, the traveling log, or the like described in Patent Document 1.
  • the present invention has been made in view of the above problems, and one of the objects thereof is a display capable of accurately grasping the position of a monitored object that cannot be recognized by a camera that captures the surrounding situation of the vehicle.
  • the purpose is to provide a control system, a display control method and a program.
  • the display control system is a position inside the vehicle outside image that specifies the position inside the vehicle outside image, which is a position in the outside image of the monitored object reflected in the outside image taken by the vehicle outside photographing device provided outside the vehicle.
  • the position inside the display unit which is the position of the monitored object in the display unit, is specified based on the specific means, the position inside the image outside the vehicle, and the position and orientation of the display unit arranged in front of the crew of the vehicle.
  • the display unit internal position specifying means and the display control means for displaying the mark image at the specified display unit internal position are included.
  • the display unit position specifying means identifies the display unit position based on the travel path position.
  • a determination means for determining whether or not the monitored object has been photographed by the vehicle-mounted photographing device provided in the vehicle, and the monitoring captured in the vehicle-mounted image captured by the vehicle-mounted photographing device.
  • the in-vehicle photographing device further including an in-vehicle image position specifying means for specifying the position in the in-vehicle image which is a position in the in-vehicle image of the object.
  • the display unit position specifying means identifies the display unit position based on the vehicle-mounted image position.
  • the display unit internal position specifying means sets the display unit internal position as the vehicle external image. It may be changed from the one based on the internal position to the one based on the internal position in the vehicle-mounted image.
  • the display control means when the position of the monitored object is outside the display range of the display unit, the display control means is attached to the edge of the display unit according to the position of the monitored object. Display the landmark image.
  • the display unit is a head-up display provided on the vehicle.
  • the display unit is a head-mounted display worn by the crew member.
  • the display control method includes a step of specifying the position inside the vehicle exterior image, which is the position of the monitored object in the vehicle exterior image taken by the vehicle exterior imaging device provided outside the vehicle. , A step of specifying the position inside the display unit, which is the position of the monitored object in the display unit, based on the position inside the image outside the vehicle and the position and orientation of the display unit arranged in front of the crew of the vehicle. The step of displaying the mark image at the specified position in the display unit is included.
  • the program according to the present invention is a procedure for specifying the position inside the vehicle exterior image, which is the position of the monitored object in the vehicle exterior image taken by the vehicle exterior imaging device provided outside the vehicle, the vehicle outside.
  • a procedure for specifying the position in the display unit, which is the position of the monitored object in the display unit, is specified based on the position in the image and the position and orientation of the display unit arranged in front of the crew of the vehicle.
  • the computer is made to execute the procedure of displaying the mark image at the position in the display unit.
  • FIG. 1 is a diagram showing an example of the configuration of the display control system 1 according to the embodiment of the present invention.
  • the display control system 1 according to the present embodiment includes a vehicle 10 operating on a route, a plurality of monitoring systems 12, and an operation management system 14 for managing the operation of the vehicle 10.
  • Each of the plurality of monitoring systems 12 is provided, for example, at different locations on the route on which the vehicle 10 operates.
  • each station on the line may be provided with a monitoring system 12 for monitoring the platform of the station.
  • a monitoring system 12 may be provided on each of a plurality of platforms provided at one station.
  • a plurality of monitoring systems 12 may be provided on one platform.
  • the vehicle 10, the monitoring system 12, and the operation management system 14 are connected to a computer network 16 such as the Internet. Therefore, the vehicle 10, the monitoring system 12, and the operation management system 14 can communicate with each other via the computer network 16.
  • a computer network 16 such as the Internet. Therefore, the vehicle 10, the monitoring system 12, and the operation management system 14 can communicate with each other via the computer network 16.
  • the vehicle 10 includes a processor 10a, a storage unit 10b, a communication unit 10c, an in-vehicle photographing device 10d, and a head-up display (HUD) 10e.
  • a processor 10a the vehicle 10 includes a processor 10a, a storage unit 10b, a communication unit 10c, an in-vehicle photographing device 10d, and a head-up display (HUD) 10e.
  • HUD head-up display
  • the processor 10a is, for example, a program control device such as a CPU that operates according to a program stored in the storage unit 10b.
  • the storage unit 10b is a storage element such as a ROM or RAM, a hard disk drive, or the like.
  • the storage unit 10b stores a program or the like executed by the processor 10a.
  • the communication unit 10c is a communication interface such as a network board.
  • the in-vehicle photographing device 10d is, for example, a photographing device such as a digital camera that photographs the front of the vehicle 10.
  • the in-vehicle photographing device 10d may be a camera (for example, a stereo camera) capable of photographing a three-dimensional image or a depth image.
  • the image taken by the in-vehicle photographing device 10d will be referred to as an in-vehicle image.
  • the vehicle-mounted photographing device 10d photographs the front of the vehicle 10 at a predetermined frame rate.
  • the HUD10e is a display device that displays an image in front of a crew member such as a driver.
  • the mounting method of the HUD 10e according to the present embodiment is not particularly limited.
  • the HUD 10e according to the present embodiment may be of a type that projects an image on a windshield provided on the front surface of the vehicle 10.
  • the HUD10e according to the present embodiment may be of a type that projects an image onto a combiner arranged in front of the crew.
  • the crew member can visually recognize both the image displayed by the HUD 10e and the state of the real space in front of the vehicle 10 at a glance.
  • the HUD 10e may show the crew a virtual image floating in the space in front of the windshield provided on the front surface of the vehicle 10.
  • the monitoring system 12 includes a processor 12a, a storage unit 12b, a communication unit 12c, an out-of-vehicle photographing device 12d, and a display 12e.
  • the processor 12a is, for example, a program control device such as a CPU that operates according to a program stored in the storage unit 12b.
  • the storage unit 12b is a storage element such as a ROM or RAM, a hard disk drive, or the like.
  • the storage unit 12b stores a program or the like executed by the processor 12a.
  • the communication unit 12c is a communication interface such as a network board.
  • the outside vehicle photographing device 12d is, for example, a photographing device such as a digital camera that captures an image of a platform of a station or the like.
  • the vehicle exterior photographing device 12d according to the present embodiment photographs a fixed point at a predetermined frame rate.
  • the vehicle exterior photographing device 12d may be a camera (for example, a stereo camera) capable of photographing a three-dimensional image or a depth image.
  • the image taken by the vehicle outside photographing device 12d will be referred to as an outside vehicle image.
  • the display 12e is, for example, a display device such as a liquid crystal display or an organic EL display that displays an image of the outside of the vehicle taken by the outside photography device 12d.
  • FIG. 2 shows an image 20 outside the vehicle.
  • four regions a safety region 22a, an approach region 22b, a fall region 22c, and a track maintenance evacuation region 22d, are set in the vehicle exterior image 20.
  • the above-mentioned four regions set in the vehicle exterior image 20 may be preset using the vehicle limit frame model 24, for example, as shown in FIG.
  • the vehicle limit frame model 24 for example, first, the position of the railroad track in the vehicle exterior image 20 is identified. Then, a plurality of vehicle limit frame models 24 are arranged along the identified railroad track. The size of each vehicle limit frame model 24 is, for example, proportional to the width of the track on which the vehicle limit frame model 24 is arranged.
  • a line connecting the positions corresponding to the diagonal lower ends on the opposite side of the platform of the plurality of vehicle limit frame models 24, a line extending from the upper end of the line to the side opposite to the platform (left in the example of FIG. 4), and The area surrounded by the side (left side in the example of FIG. 4) opposite to the platform of the vehicle exterior image 20 may be set as the track maintenance evacuation area 22d.
  • the fall area 22c may be set.
  • the end opposite to (the left end in the example of FIG. 4) and the region surrounded by the lower side of the vehicle exterior image 20 may be set as the approach region 22b.
  • a line extending from the upper end of the line connecting the positions corresponding to the lower ends of the side postures on the home side of the plurality of vehicle limit frame models 24 to the home side (right in the example of FIG. 4), the side on the home side of the outside image 20 (the side of the vehicle outside image 20).
  • the safety area 22a Even if the area surrounded by the right side in the example of FIG. 4, the lower side of the outside image 20 and the end opposite to the platform of the Braille block or the white line (the left end in the example of FIG. 4) is set as the safety area 22a. Good.
  • the safety area 22a, the approach area 22b, the fall area 22c, and the track maintenance evacuation area 22d are set in the vehicle exterior image 20.
  • the settings of the safety area 22a, the approach area 22b, the fall area 22c, and the track maintenance evacuation area 22d are not limited to the above-mentioned settings, and these four areas are set by another predetermined method. May be set in the vehicle exterior image 20. Further, the fall area 22c may be set with a margin with respect to the vehicle limit frame indicated by the vehicle limit frame model 24.
  • the vehicle exterior imaging device 12d captures a fixed point, the above-mentioned regions in the series of vehicle exterior image 20 captured by the vehicle exterior imaging device 12d at a predetermined frame rate are common.
  • the monitoring system 12 detects a predetermined monitoring object reflected in the monitoring target area in the photographed outside image 20 by using a known image recognition technique or the like.
  • FIG. 4 shows an outside image 26 which is an outside image different from the outside image 20 shown in FIGS. 2 and 3.
  • the vehicle exterior image 26 shown in FIG. 4 shows a fallen person 28 who has fallen from the platform, which is an example of a predetermined monitoring object.
  • a safety area 22a, an approach area 22b, and a fall area 22c are set.
  • the track maintenance evacuation region 22d may not be set in the vehicle exterior image 26.
  • the fallen person 28 is shown in the fall area 22c which is a part of the monitored area of the vehicle exterior image 26 shown in FIG. Further, FIG. 4 shows the position P1 at the center of the fallen person 28.
  • a marker image 30 corresponding to the detected monitored object is displayed on the display 12e outside the vehicle as shown in FIG.
  • the image 32 illustrated in FIG. 5 superimposed on the image 26 is displayed.
  • the mark image 30 is, for example, an image showing the position of the fallen person 28 in the vehicle exterior image 26.
  • the mark image 30 is a frame-shaped image centered on the position P1.
  • the marker image 30 may be an image of an aspect (for example, color) corresponding to the type of the region in which the detected monitoring object exists. For example, when the detected monitoring object exists in the track maintenance evacuation area 22d, the mark image 30 may be an image with a purple frame. When the detected monitoring object is present in the fall area 22c, the marker image 30 may be an image with a red frame. When the detected monitoring object exists in the approach region 22b, the marker image 30 may be an image with a yellow frame. In the example of FIG. 4, since the fallen person 28 exists in the fall area 22c, the mark image 30 shown in FIG. 5 may be, for example, an image of a red frame.
  • an aspect for example, color
  • FIG. 6 is a diagram showing an example of a state in which the crew member of the vehicle 10 looks ahead when the situation in which a predetermined monitored object is shown in the monitored area continues for a predetermined time.
  • the position P2 of the monitored object in the HUD10e of the vehicle 10 is marked.
  • Image 34 is displayed.
  • the position P2 is the position of the monitored object associated with the position P1 shown in FIG.
  • the mark image 34 is a frame-shaped image centered on the position P2.
  • the aspect ratio of the mark image 34 may be the same as the aspect ratio of the mark image 30.
  • the larger the distance between the vehicle 10 and the monitored object the smaller the size of the mark image 34 may be.
  • the mark image 34 may be an image of an aspect (for example, color) corresponding to the type of the region in which the detected monitoring object exists.
  • the mark image 34 may be, for example, an image with a red frame.
  • the marker image 34 is displayed at the position of the detected monitoring object. Is displayed. Therefore, according to the present embodiment, it is possible for the crew member to accurately grasp the position of the monitored object that cannot be recognized by the in-vehicle photographing device 10d.
  • the mark image 34 may be displayed at the position P2 of the monitored object in the HUD 10e as soon as the predetermined monitored object appears in the monitored area.
  • the vehicle 10 uses a known image recognition technology or the like to detect a predetermined monitoring object to be captured in the vehicle-mounted image captured by the vehicle-mounted photographing device 10d.
  • FIG. 7 is a diagram showing an example of how the crew of the vehicle 10 looks ahead when the vehicle 10 advances from the situation shown in FIG.
  • the fallen person 28 which is the object to be monitored, is captured in the vehicle-mounted image taken by the vehicle-mounted photographing device 10d in the situation shown in FIG. 7.
  • the mark image 34 is displayed at the position P3 of the monitored object detected based on the in-vehicle image, not at the position associated with the position P1 shown in FIG.
  • the mark image 34 is a frame-shaped image centered on the position P3.
  • the position and orientation of the HUD 10e with respect to the position and orientation of the in-vehicle photographing device 10d are always constant.
  • the position and orientation of the in-vehicle imaging device 10d and the position and orientation of the HUD 10e are associated in advance. Therefore, the position P3 of the monitored object in the HUD10e can be uniquely specified based on the position of the monitored object in the vehicle-mounted image.
  • the crew member can accurately grasp the position of the monitored object. Is possible.
  • FIG. 8 is a functional block diagram showing an example of the functions implemented in the vehicle 10 and the monitoring system 12 according to the present embodiment. It should be noted that the vehicle 10 and the monitoring system 12 according to the present embodiment do not need to have all the functions shown in FIG. 8, and may have functions other than the functions shown in FIG.
  • the monitoring system 12 functionally includes, for example, a detection unit 40, a position identification unit 42 in an image outside the vehicle, and a detection notification unit 44.
  • the detection unit 40 mainly mounts the processor 12a and the vehicle exterior imaging device 12d.
  • the processor 12a is mainly mounted on the position specifying unit 42 in the vehicle exterior image.
  • the detection notification unit 44 is mainly implemented with the communication unit 12c.
  • the above functions may be implemented by executing the program including the instructions corresponding to the above functions installed in the monitoring system 12 which is a computer on the processor 12a.
  • This program is supplied to a computer mounted on the monitoring system 12 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like. May be done.
  • the vehicle 10 includes a notification receiving unit 50, a detection data storage unit 52, a traveling route position specifying unit 54, and a display unit internal position specifying unit 56. , Display control unit 58, determination unit 60, and vehicle-mounted image position identification unit 62.
  • the notification receiving unit 50 is mainly implemented with the communication unit 10c.
  • the detection data storage unit 52 is mainly mounted with the storage unit 10b.
  • the position specifying unit 54 on the travel path is mainly mounted with the processor 10a and the storage unit 10b.
  • the position specifying unit 56 in the display unit mainly mounts the processor 10a, the storage unit 10b, and the communication unit 10c.
  • the display control unit 58 mainly mounts the processor 10a and the HUD10e.
  • the determination unit 60 mainly mounts the processor 10a and the in-vehicle photographing device 10d.
  • the in-vehicle image positioning unit 62 mainly mounts the processor 10a.
  • the above functions may be implemented by executing the program including the instructions corresponding to the above functions installed in the computer mounted on the vehicle 10 on the processor 10a.
  • This program is supplied to a computer mounted on the vehicle 10 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet or the like. You may.
  • the detection unit 40 uses a known image recognition technique or the like to detect a monitored object to be captured in the vehicle exterior image taken by the vehicle exterior imaging device 12d provided outside the vehicle 10.
  • the detection unit 40 may detect, for example, a monitored object that appears in the monitored area.
  • the position identification unit 42 inside the vehicle outside image specifies the position inside the vehicle outside image, which is the position of the object to be monitored, in the image outside the vehicle where the object to be monitored is detected.
  • the two-dimensional coordinate value of the center position P1 of the fallen person 28, which is the monitoring target is specified in the image plane of the vehicle exterior image 26.
  • the detection notification unit 44 transmits, for example, a detection notification indicating that the monitoring target object has been detected to the vehicle 10 when the monitoring target object is detected by the detection unit 40.
  • the detection notification unit 44 may transmit a detection notification to the vehicle 10 when the situation in which the monitored object reflected in the monitored area is captured continues for a predetermined time.
  • the detection notification unit 44 may send a detection notification to the vehicle 10 that satisfies a predetermined condition. For example, the detection notification unit 44 may transmit the detection notification to the vehicle 10 heading for the station where the monitoring system 12 is provided and whose distance from the station is equal to or less than a predetermined distance. Further, for example, the detection notification unit 44 may transmit the detection notification to the vehicle 10 between the station and the station in front of the station toward the station where the monitoring system 12 is provided.
  • the detection notification includes, for example, identification information of the monitoring system 12 for transmitting the detection notification or the station where the monitoring system 12 is provided, monitoring object position data indicating the position of the detected monitoring object, and the like.
  • the data is associated.
  • the monitored object position data may be, for example, data indicating the above-mentioned two-dimensional coordinate value of the position P1.
  • the notification receiving unit 50 receives the above-mentioned detection notification from, for example, the monitoring system 12 that has detected the monitored object. Then, the notification receiving unit 50 stores the detection data associated with the received detection notification in the detection data storage unit 52.
  • the detection data storage unit 52 stores, for example, the detection data.
  • the position specifying unit 54 on the traveling path specifies, for example, the position of the monitored object on the linear traveling path of the vehicle 10 (hereinafter, referred to as the position on the traveling path).
  • the travel route data indicating the linear travel route of the vehicle 10 is stored in advance in the position identification unit 54 on the travel route.
  • the travel route data shows, for example, three-dimensional coordinate values in real space of a plurality of positions along the linear travel route of the vehicle 10.
  • the three-dimensional coordinate value may be expressed by, for example, latitude, longitude, and altitude.
  • the vehicle exterior image / travel route correspondence data for each of the plurality of monitoring systems 12 is stored in advance in the travel route position identification unit 54.
  • the vehicle exterior image / travel route correspondence data is, for example, data showing a given correspondence between a position in the vehicle exterior image taken by the monitoring system 12 and a position on the travel route indicated by the travel route data.
  • the position in the vehicle exterior image is associated with the position in the vehicle exterior image, the travel route data, and the vehicle exterior image / travel route correspondence data indicated by the monitored object position data included in the detection data.
  • the position on the travel path (the above-mentioned position on the travel route) is specified.
  • the display unit internal position specifying unit 56 is located in the display unit based on, for example, the position in the vehicle exterior image and the position and orientation of the display unit (for example, HUD10e) arranged in front of the crew of the vehicle 10.
  • the position of the object to be monitored (hereinafter referred to as the position in the display unit) is specified.
  • FIG. 9 is a diagram showing an example of a virtual space associated with a real space.
  • the position in the real space is associated with the position in the virtual space shown in FIG. 9 on a one-to-one basis.
  • the data indicating the virtual space is stored in, for example, the position specifying unit 56 in the display unit.
  • the operation management system 14 manages the position and the traveling direction of the vehicle 10 on the traveling route R in real time. Then, operation data indicating the current position and traveling direction of the vehicle 10 on the travel route R is transmitted from the operation management system 14 to the vehicle 10 at predetermined time intervals, for example.
  • the vehicle / HUD correspondence relationship data indicating a given correspondence relationship between the position and orientation of the vehicle 10 indicated by the operation data and the position and orientation of the HUD 10e is stored in the position identification unit 56 in the display unit in advance. It is remembered. Then, the position specifying unit 56 in the display unit specifies the current position and orientation of the HUD 10e based on the vehicle / HUD correspondence data and the operation data indicating the current position and the traveling direction of the vehicle 10.
  • FIG. 9 shows a plate-shaped virtual HUD object 70 associated with the HUD 10e in the real space.
  • the virtual HUD object 70 shown in FIG. 9 is arranged at a position in the virtual space associated with the position of the HUD 10e in the real space in the orientation in the virtual space associated with the orientation of the HUD 10e in the real space.
  • FIG. 9 shows a position P4 in the virtual space associated with the current position of the crew's viewpoint in the real space specified as described above. Further, FIG. 9 shows the line-of-sight direction D in the virtual space associated with the current line-of-sight direction of the crew member in the real space specified as described above.
  • FIG. 9 shows a position P5 in the virtual space associated with a position on the traveling path in the real space specified based on the position in the image outside the vehicle (for example, the position P1 shown in FIG. 4).
  • the position specifying unit 56 in the display unit specifies the position P6 at the intersection of the line connecting the position P4 and the position P5 and the virtual HUD object 70.
  • the two-dimensional coordinate value of the position P6 in the plane represented by the plate-shaped virtual HUD object 70 is specified.
  • the position specifying unit 56 in the display unit specifies the position in the display unit (for example, the position P2 shown in FIG. 6) which is the position of the monitored object in the HUD10e, which is associated with the position P6 shown in FIG.
  • the position in the plane represented by the virtual HUD object 70 and the position in the display unit are associated in advance on a one-to-one basis. Therefore, the position in the display unit can be specified based on the two-dimensional coordinate value of the position P6.
  • the display unit internal position specifying unit 56 may specify the display unit internal position based on the position on the traveling path.
  • the display control unit 58 displays the mark image 34 at the position in the display unit specified by the position identification unit 56 in the display unit, for example.
  • the display control unit 58 may display the mark image 34 at a position in the display unit of the monitored object that satisfies a predetermined condition.
  • the mark image 34 may be displayed at a position in the display unit of the monitored object detected by the monitoring system 12 which exists in the traveling direction of the vehicle 10 and whose distance from the vehicle 10 is equal to or less than a predetermined distance.
  • the mark image 34 may be displayed at a position in the display unit of the monitored object detected by the monitoring system 12 provided at a predetermined number of stations in the traveling direction of the vehicle 10.
  • the mark image 34 may be displayed at a position in the display unit of the monitored object detected by the monitoring system 12 provided at the station where the vehicle 10 stops or passes next.
  • the determination unit 60 determines, for example, whether or not the monitored object has been photographed by the vehicle-mounted photographing device 10d provided in the vehicle 10. Here, for example, it is determined whether or not the monitored object is reflected in the vehicle-mounted image.
  • the in-vehicle image position specifying unit 62 specifies the position in the in-vehicle image, which is the position in the in-vehicle image of the monitored object reflected in the in-vehicle image captured by the in-vehicle image capturing device 10d.
  • the display unit internal position specifying unit 56 may specify the display unit internal position based on the vehicle-mounted image internal position.
  • the display control unit 58 may display the mark image 34 at the position in the display unit specified based on the position in the vehicle-mounted image.
  • the position in the vehicle-mounted image and the position in the display unit are associated in advance. Therefore, the position in the display unit 56 can uniquely specify the position in the display unit based on the position in the vehicle-mounted image.
  • the situation may change from a situation in which it is not determined that the monitored object has been photographed by the in-vehicle photographing device 10d to a situation in which it is determined.
  • the display unit internal position specifying unit 56 may change the display unit internal position from the one based on the vehicle exterior image internal position to the one based on the in-vehicle image internal position.
  • the determination unit 60 acquires an in-vehicle image taken in the frame (S101).
  • the position specifying unit 54 on the traveling route identifies the detection data stored in the detection data storage unit 52 that satisfies a predetermined condition (S102).
  • a predetermined condition for example, based on the identification information included in the detection data, the detection data transmitted from the monitoring system 12 existing in the traveling direction of the vehicle 10 and having a distance from the vehicle 10 of a predetermined distance or less may be specified. ..
  • the detection data transmitted from the monitoring system 12 provided at a predetermined number of stations up to a predetermined number in the traveling direction of the vehicle 10 may be specified.
  • the detection data transmitted from the monitoring system 12 provided at the station where the vehicle 10 next stops or passes may be specified based on the identification information included in the detection data.
  • the position specifying unit 54 on the traveling path specifies the position on the traveling route corresponding to the position in the image outside the vehicle indicated by the monitoring target object position data included in the detection data specified by the process shown in S102 (S103).
  • the position specifying unit 56 in the display unit specifies the current position and orientation of the HUD10e, and the position and line-of-sight direction of the crew's viewpoint based on the latest operation data (S104).
  • the position specifying unit 56 in the display unit indicates the position on the traveling path specified by the process shown in S103, the current position and orientation of the HUD10e specified by the process shown in S104, and the position and line-of-sight direction of the viewpoint of the crew member.
  • the position in the display unit is specified based on (S105).
  • the determination unit 60 determines whether or not the monitored object is captured in the range corresponding to the position in the display unit specified by the process shown in S105 in the vehicle-mounted image acquired by the process shown in S101 (S106). ..
  • the display control unit 58 causes the mark image 34 to be displayed at the position in the display unit specified by the process shown in S105 (S107). The process returns to the process shown in S101.
  • the position identification unit 62 in the vehicle-mounted image is in the vehicle-mounted image of the monitored object determined to be captured by the process shown in S106.
  • the position is specified (S108).
  • the position in the display unit 56 specifies the position in the display unit corresponding to the position in the vehicle-mounted image specified by the process shown in S108 (S109).
  • the display control unit 58 displays the mark image 34 at the position in the display unit specified by the process shown in S109 (S110), and returns to the process shown in S101.
  • the position inside the display unit is based on the position inside the image outside the vehicle when the situation changes from the situation where it is not determined that the object to be monitored has been photographed by the in-vehicle imaging device 10d to the situation where it is determined. It will change from the one based on the position in the in-vehicle image.
  • the process shown in S102 to S107 is not executed for the monitored object so that the vehicle-mounted image is not executed.
  • the position inside the display unit may be specified based on the inside position.
  • the display control unit 58 marks the edge of the HUD10e according to the position of the monitored object, as shown in FIG.
  • the image 72 may be displayed.
  • the position on the side of the virtual HUD object 70 which is the closest to the line connecting the position P4 and the position P5, may be specified.
  • the mark image 72 may be displayed on the edge of the HUD 10e associated with the specified position.
  • the warning image 74 may be displayed together with the mark image 34 in a place where the view of the crew is not obstructed.
  • the warning image 74 may be displayed instead of the mark image 34.
  • the vehicle exterior photographing device 12d is a camera capable of photographing a three-dimensional image or a depth image
  • the monitoring system 12 specifies the three-dimensional coordinate value of the monitored object in the camera coordinate system. Good.
  • the position of the monitored object in the real space and the position in the display unit may be specified based on the three-dimensional coordinate values.
  • the detection notification associated with the detection data including the monitoring target position data indicating the three-dimensional coordinate value may be transmitted.
  • the vehicle 10 may specify the three-dimensional coordinate value of the monitored object in the camera coordinate system. Then, the position in the display unit may be specified based on the three-dimensional coordinate value.
  • the division of roles between the vehicle 10 and the monitoring system 12 is not limited to the above.
  • the image outside the vehicle may be transmitted from the monitoring system 12 to the vehicle 10.
  • the vehicle 10 may specify the position in the vehicle exterior image based on the vehicle exterior image.
  • the monitoring system 12 may specify the position of the monitored object in the real space, such as the position on the traveling path.
  • an image showing that is the vehicle may be displayed on 10 HUD10e.
  • the determination may be executed based on, for example, the output of the operation sensor of the special light emitting signal or the recognition result of the image of the special light emitting signal.
  • an image showing that fact may be displayed on the HUD 10e of the vehicle 10.
  • the mark image may be displayed at a position in the display unit associated with the obstacle by the same method as described above.
  • the present invention is not limited to the above-described embodiment.
  • the method of specifying the position in the display unit is not limited to the above method.
  • image recognition may be performed on the vehicle-mounted image, and the position of the track not shown in the vehicle-mounted image may be estimated by extrapolation. Then, the position in the display unit on the estimated line position may be determined.
  • the position of the monitored object in the real space and the position in the display unit can be estimated by using a machine learning model that learns the image taken by the in-vehicle photographing device 10d in the past running of the vehicle 10. Good.
  • the display unit arranged in front of the crew member of the vehicle 10 may be a head-mounted display (HMD) worn by the crew member instead of the HUD10e. Then, the landmark image may be displayed on the HMD.
  • the position and orientation of the HMD may be specified based on the outputs of various sensors such as an acceleration sensor provided on the HMD. Then, the position in the display unit may be specified based on the position and orientation of the specified HMD.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Sustainable Development (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Sustainable Energy (AREA)
  • Power Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Digital Computer Display Output (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

車両の周囲の状況を撮影するカメラで認識できない監視対象物の位置を乗務員に的確に把握させることができる表示制御システム、表示制御方法及びプログラムを提供する。車外画像内位置特定部（４２）は、車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定する。表示部内位置特定部（５６）は、車外画像内位置と、車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における監視対象物の位置である表示部内位置を特定する。表示制御部（５８）は、特定される表示部内位置に目印画像を表示させる。

Description

表示制御システム、表示制御方法及びプログラム
　本発明は、表示制御システム、表示制御方法及びプログラムに関する。
　特許文献１には、車両の周囲の状況を撮影するカメラから得られたカメラ映像情報により歩行者の存在を認識した場合に、歩行者に重畳させて虚像によりヘッドアップディスプレイ（ＨＵＤ）にマークをアラート表示する技術が記載されている。
　また、特許文献１には、映像情報では認識できない前方の横断歩道等の路面標識を、地図情報や走行ログ等からそれらが存在するとして把握された位置に虚像として表示することが記載されている。
特開２０１９－５９２４７号公報
　発明者は、プラットホームからの転落者等の監視対象物が出現した際に、車両の乗務員の眼前に配置されるＨＵＤ等の表示部内における当該監視対象物の出現位置にマーク等の目印画像を表示させて、乗務員に監視対象物の位置を的確に把握させることを検討している。
　ここで、特許文献１に記載の技術を用いても、車両の周囲の状況を撮影するカメラによって認識できない監視対象物についてはその出現位置に目印画像を表示させることができない。また、このような監視対象物は突発的に出現するので、特許文献１に記載されているような地図情報や走行ログ等からその位置を予め把握することができない。
　本発明は上記課題に鑑みてなされたものであって、その目的の１つは、車両の周囲の状況を撮影するカメラで認識できない監視対象物の位置を乗務員に的確に把握させることができる表示制御システム、表示制御方法及びプログラムを提供することにある。
　本発明に係る表示制御システムは、車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定する車外画像内位置特定手段と、前記車外画像内位置と、前記車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における前記監視対象物の位置である表示部内位置を特定する表示部内位置特定手段と、特定される前記表示部内位置に目印画像を表示させる表示制御手段と、を含む。
　本発明の一態様では、前記車両の線状の走行経路を示す走行経路データと、前記車外画像内位置と、に基づいて、前記走行経路データが示す走行経路上における前記監視対象物の位置である走行経路上位置を特定する走行経路上位置特定手段、をさらに含み、前記表示部内位置特定手段は、前記走行経路上位置に基づいて、前記表示部内位置を特定する。
　また、本発明の一態様では、前記車両に設けられた車載撮影装置により前記監視対象物が撮影されたか否かを判定する判定手段と、前記車載撮影装置により撮影される車載画像に写る前記監視対象物の当該車載画像内における位置である車載画像内位置を特定する車載画像内位置特定手段と、をさらに含み、前記車載撮影装置により前記監視対象物が撮影されたことが判定された場合は、前記表示部内位置特定手段は、前記車載画像内位置に基づいて、前記表示部内位置を特定する。
　この態様では、前記車載撮影装置により前記監視対象物が撮影されたことが判定されない状況から判定された状況に変化した際に、前記表示部内位置特定手段は、前記表示部内位置を、前記車外画像内位置に基づくものから、前記車載画像内位置に基づくものに変化させてもよい。
　また、本発明の一態様では、前記表示制御手段は、前記監視対象物の位置が前記表示部の表示範囲外である場合に、前記監視対象物の位置に応じた前記表示部の縁部に目印画像を表示させる。
　また、本発明の一態様では、前記表示部は、前記車両に設けられたヘッドアップディスプレイである。
　あるいは、前記表示部は、前記乗務員が装着するヘッドマウントディスプレイである。
　また、本発明に係る表示制御方法は、車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定するステップと、前記車外画像内位置と、前記車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における前記監視対象物の位置である表示部内位置を特定するステップと、特定される前記表示部内位置に目印画像を表示させるステップと、を含む。
　また、本発明に係るプログラムは、車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定する手順、前記車外画像内位置と、前記車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における前記監視対象物の位置である表示部内位置を特定する手順、特定される前記表示部内位置に目印画像を表示させる手順、をコンピュータに実行させる。
本発明の一実施形態に係る表示制御システムの構成の一例を示す図である。 車外画像の一例を示す図である。 車外画像の一例を示す図である。 車外画像の一例を示す図である。 監視システムのディスプレイに表示される画像の一例を示す図である。 車両の乗務員が前方を見た様子の一例を示す図である。 車両の乗務員が前方を見た様子の一例を示す図である。 本発明の一実施形態に係る車両及び監視システムで実装される機能の一例を示す機能ブロック図である。 仮想空間の一例を示す図である。 本発明の一実施形態に係る車両で行われる処理の流れの一例を示すフロー図である。 車両の乗務員が前方を見た様子の一例を示す図である。 車両の乗務員が前方を見た様子の一例を示す図である。
　以下、本発明の一実施形態について図面に基づき詳細に説明する。
　図１は、本発明の一実施形態に係る表示制御システム１の構成の一例を示す図である。図１に示すように、本実施形態に係る表示制御システム１には、路線上を運行する車両１０、複数の監視システム１２、及び、車両１０の運行を管理する運行管理システム１４が含まれる。
　複数の監視システム１２のそれぞれは、例えば、車両１０が運行する路線上の互いに異なる場所に設けられている。ここで例えば、路線上の各駅に、当該駅のプラットホームを監視する監視システム１２が設けられていてもよい。また例えば、１つの駅に設けられた複数のプラットホームのそれぞれに、監視システム１２が設けられていてもよい。また、１つのプラットホームに複数の監視システム１２が設けられていてもよい。
　車両１０、監視システム１２、運行管理システム１４は、インターネット等のコンピュータネットワーク１６に接続されている。そのため、車両１０、監視システム１２、運行管理システム１４は、コンピュータネットワーク１６を介して互いに通信可能となっている。
　図１に示すように、車両１０には、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ、車載撮影装置１０ｄ、ヘッドアップディスプレイ（ＨＵＤ）１０ｅ、が含まれている。
　プロセッサ１０ａは、例えば記憶部１０ｂに記憶されるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。
　記憶部１０ｂは、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１０ｂには、プロセッサ１０ａによって実行されるプログラムなどが記憶される。
　通信部１０ｃは、例えばネットワークボードなどの通信インタフェースである。
　車載撮影装置１０ｄは、例えば、車両１０の前方を撮影するデジタルカメラなどの撮影装置である。なお、車載撮影装置１０ｄが、三次元画像やデプス画像の撮影が可能なカメラ（例えばステレオカメラ）であってもよい。以下、車載撮影装置１０ｄによって撮影される画像を、車載画像と呼ぶこととする。本実施形態に係る車載撮影装置１０ｄは、所定のフレームレートで車両１０の前方を撮影する。
　ＨＵＤ１０ｅは、運転士等の乗務員の眼前に画像を表示させる表示装置である。本実施形態に係るＨＵＤ１０ｅの実装方式は特に問わない。例えば、本実施形態に係るＨＵＤ１０ｅが、車両１０の前面に設けられたフロントガラスに画像を投影するタイプのものであってもよい。また、本実施形態に係るＨＵＤ１０ｅが、乗務員の眼前に配置されたコンバイナに画像を投影するタイプのものであってもよい。本実施形態では、ＨＵＤ１０ｅによって画像が表示されることで、乗務員は、ＨＵＤ１０ｅによって表示される画像と車両１０の前方の実空間の様子の両方を一目で視認できるようになっている。ＨＵＤ１０ｅは、車両１０の前面に設けられたフロントガラスの前方の空間に浮かんだ虚像を乗務員に見せるものであってもよい。
　図１に示すように、監視システム１２には、プロセッサ１２ａ、記憶部１２ｂ、通信部１２ｃ、車外撮影装置１２ｄ、ディスプレイ１２ｅ、が含まれている。
　プロセッサ１２ａは、例えば記憶部１２ｂに記憶されるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。
　記憶部１２ｂは、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１２ｂには、プロセッサ１２ａによって実行されるプログラムなどが記憶される。
　通信部１２ｃは、例えばネットワークボードなどの通信インタフェースである。
　車外撮影装置１２ｄは、例えば、駅のプラットホーム等の画像を撮影するデジタルカメラなどの撮影装置である。本実施形態に係る車外撮影装置１２ｄは、所定のフレームレートで定点を撮影する。なお、車外撮影装置１２ｄが、三次元画像やデプス画像の撮影が可能なカメラ（例えばステレオカメラ）であってもよい。以下、車外撮影装置１２ｄによって撮影される画像を、車外画像と呼ぶこととする。
　ディスプレイ１２ｅは、例えば、車外撮影装置１２ｄによって撮影される車外画像が表示される液晶ディスプレイや有機ＥＬディスプレイなどの表示装置である。
　図２には、車外画像２０が示されている。本実施形態では、図２に示すように、車外画像２０内に、安全領域２２ａ、接近領域２２ｂ、転落領域２２ｃ、及び、保線退避領域２２ｄの４つの領域が設定される。
　車外画像２０に設定される上述の４つの領域は、例えば、図３に示すように、車両限界枠モデル２４を用いて予め設定されてもよい。当該設定においては例えば、まず、車外画像２０内における線路の位置が識別される。そして、識別された線路に沿って、複数の車両限界枠モデル２４が配置される。それぞれの車両限界枠モデル２４のサイズは、例えば、当該車両限界枠モデル２４が配置される線路の幅に比例している。
　そして、複数の車両限界枠モデル２４のホームとは反対側の斜め下端に相当する位置を結ぶ線、当該線の上端からホームとは反対側（図４の例では左）に伸びる線、及び、車外画像２０のホームとは反対側の辺（図４の例では左辺）によって囲まれる領域が、保線退避領域２２ｄに設定されてもよい。
　そして、複数の車両限界枠モデル２４のホームとは反対側の斜め下端に相当する位置を結ぶ線、当該線の上端からホーム側（図４の例では右）に伸びる線、複数の車両限界枠モデル２４のホーム側の側構えの下端に相当する位置を結ぶ線、車外画像２０の下辺、及び、車外画像２０のホームとは反対側の辺（図４の例では左辺）によって囲まれる領域が、転落領域２２ｃに設定されてもよい。
　そして、複数の車両限界枠モデル２４のホーム側の側構えの下端に相当する位置を結ぶ線、当該線の上端からホーム側（図４の例では右）に伸びる線、点字ブロック又は白線のホームとは反対側の端（図４の例では左端）、及び、車外画像２０の下辺によって囲まれる領域が、接近領域２２ｂに設定されてもよい。
　そして、複数の車両限界枠モデル２４のホーム側の側構えの下端に相当する位置を結ぶ線の上端からホーム側（図４の例では右）に伸びる線、車外画像２０のホーム側の辺（図４の例では右辺）、車外画像２０の下辺、及び、点字ブロック又は白線のホームとは反対側の端（図４の例では左端）によって囲まれる領域が、安全領域２２ａに設定されてもよい。
　以上のようにして、車外画像２０に、安全領域２２ａ、接近領域２２ｂ、転落領域２２ｃ、及び、保線退避領域２２ｄが設定される。なお、安全領域２２ａ、接近領域２２ｂ、転落領域２２ｃ、及び、保線退避領域２２ｄの設定は、上述の設定には限定されるものではなく、予め定められた別の方法によって、これらの４つの領域が車外画像２０に設定されてもよい。また、転落領域２２ｃが、車両限界枠モデル２４が示す車両限界枠に対して余裕をもって設定されてもよい。
　上述のように、車外撮影装置１２ｄは定点を撮影するため、車外撮影装置１２ｄによって所定のフレームレートで撮影される一連の車外画像２０における上述の領域は共通となる。
　以下、接近領域２２ｂ、転落領域２２ｃ、及び、保線退避領域２２ｄを含む領域を、監視対象領域と呼ぶこととする。そして、本実施形態に係る監視システム１２は、公知の画像認識技術などを用いることで、撮影された車外画像２０内の監視対象領域に写る所定の監視対象物を検出する。
　図４には、図２及び図３に示す車外画像２０とは異なる車外画像である車外画像２６が示されている。図４に示す車外画像２６には、所定の監視対象物の一例である、プラットホームから転落した転落者２８が写っている。
　図４に示す車外画像２６には、安全領域２２ａ、接近領域２２ｂ、及び、転落領域２２ｃが設定されている。図４に示す車外画像２６のように、車外画像２６に保線退避領域２２ｄが設定されていなくてもよい。そして、図４に示す車外画像２６の監視対象領域の一部である転落領域２２ｃ内に転落者２８が写っている。また、図４には、転落者２８の中心の位置Ｐ１が示されている。
　このように監視対象領域に所定の監視対象物が写っていることが検出された際には、ディスプレイ１２ｅには、例えば、検出された監視対象物に対応する目印画像３０が図４に示す車外画像２６に重畳された、図５に例示する画像３２が表示される。
　目印画像３０は、例えば、車外画像２６内における転落者２８の位置を示す画像である。図５の例では、目印画像３０は、位置Ｐ１を中心とした枠状の画像である。
　また、目印画像３０は、検出された監視対象物が存在する領域の種類に対応する態様（例えば色）の画像であってもよい。例えば、検出された監視対象物が保線退避領域２２ｄに存在する場合は、目印画像３０は、紫色の枠の画像であってもよい。検出された監視対象物が転落領域２２ｃに存在する場合は、目印画像３０は、赤色の枠の画像であってもよい。検出された監視対象物が接近領域２２ｂに存在する場合は、目印画像３０は、黄色の枠の画像であってもよい。図４の例では転落者２８が転落領域２２ｃに存在するので、図５に示す目印画像３０が、例えば、赤色の枠の画像であってもよい。
　図６は、監視対象領域に所定の監視対象物が写っている状況が所定の時間継続した際に、車両１０の乗務員が前方を見た様子の一例を示す図である。本実施形態では、監視対象領域に所定の監視対象物が写っている状況が所定の時間継続した際には、図６に示すように、車両１０のＨＵＤ１０ｅ内における監視対象物の位置Ｐ２に目印画像３４が表示される。
　位置Ｐ２は、図４に示す位置Ｐ１に対応付けられる監視対象物の位置である。そして、図６の例では、目印画像３４は、位置Ｐ２を中心とした枠状の画像である。ここで目印画像３４の縦横比は、目印画像３０の縦横比と同じであってもよい。また、車両１０と監視対象物との間の距離が長いほど、目印画像３４の大きさが小さくなるようにしてもよい。また、目印画像３０と同様に、目印画像３４は、検出された監視対象物が存在する領域の種類に対応する態様（例えば色）の画像であってもよい。図６の例では、目印画像３４は、例えば、赤色の枠の画像であってもよい。
　このように、本実施形態では、車載撮影装置１０ｄによって撮影される車載画像に転落者２８等の所定の監視対象物が写っていなくても、検出された監視対象物の位置に目印画像３４が表示される。そのため、本実施形態によれば、車載撮影装置１０ｄで認識できない監視対象物の位置を乗務員に的確に把握させることが可能となる。なお本実施形態において、監視対象領域に所定の監視対象物が写ると直ちに、ＨＵＤ１０ｅ内における監視対象物の位置Ｐ２に目印画像３４が表示されるようにしてもよい。
　また、本実施形態に係る車両１０は、公知の画像認識技術などを用いることで、車載撮影装置１０ｄによって撮影された車載画像に写る所定の監視対象物を検出する。
　図７は、図６に示す状況から車両１０が進行した際における、車両１０の乗務員が前方を見た様子の一例を示す図である。ここで、図７に示す状況において車載撮影装置１０ｄによって撮影される車載画像に、監視対象物である転落者２８が写っていることとする。
　この状況では、図４に示す位置Ｐ１に対応付けられる位置ではなく、車載画像に基づいて検出された監視対象物の位置Ｐ３に目印画像３４が表示される。図７の例では、目印画像３４は、位置Ｐ３を中心とした枠状の画像である。
　車載撮影装置１０ｄもＨＵＤ１０ｅも車両１０に対して固定されているため、車載撮影装置１０ｄの位置及び向きを基準としたＨＵＤ１０ｅの位置及び向きは、常に一定である。そして本実施形態では、車載撮影装置１０ｄの位置及び向きとＨＵＤ１０ｅの位置及び向きとが予め対応付けられている。そのため、車載画像内における監視対象物の位置に基づいて、ＨＵＤ１０ｅ内における監視対象物の位置Ｐ３は一意に特定可能である。
　以上のようにすることで、車載撮影装置１０ｄによって撮影される車載画像に所定の監視対象物が写っていることが検出可能な際には、監視対象物の位置を乗務員により的確に把握させることが可能となる。
　以下、本実施形態に係る車両１０及び監視システム１２の機能、並びに、本実施形態に係る車両１０で実行される処理についてさらに説明する。
　図８は、本実施形態に係る車両１０及び監視システム１２で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係る車両１０及び監視システム１２で、図８に示す機能のすべてが実装される必要はなく、また、図８に示す機能以外の機能が実装されていても構わない。
　図８に示すように、本実施形態に係る監視システム１２には、機能的には例えば、検出部４０、車外画像内位置特定部４２、検出通知部４４、が含まれる。検出部４０は、プロセッサ１２ａ及び車外撮影装置１２ｄを主として実装される。車外画像内位置特定部４２は、プロセッサ１２ａを主として実装される。検出通知部４４は、通信部１２ｃを主として実装される。
　以上の機能は、コンピュータである監視システム１２にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２ａで実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して監視システム１２に搭載されたコンピュータに供給されてもよい。
　また、図８に示すように、本実施形態に係る車両１０には、機能的には例えば、通知受信部５０、検出データ記憶部５２、走行経路上位置特定部５４、表示部内位置特定部５６、表示制御部５８、判定部６０、車載画像内位置特定部６２、が含まれる。通知受信部５０は、通信部１０ｃを主として実装される。検出データ記憶部５２は、記憶部１０ｂを主として実装される。走行経路上位置特定部５４は、プロセッサ１０ａ及び記憶部１０ｂを主として実装される。表示部内位置特定部５６は、プロセッサ１０ａ、記憶部１０ｂ、及び、通信部１０ｃを主として実装される。表示制御部５８は、プロセッサ１０ａ及びＨＵＤ１０ｅを主として実装される。判定部６０は、プロセッサ１０ａ及び車載撮影装置１０ｄを主として実装される。車載画像内位置特定部６２は、プロセッサ１０ａを主として実装される。
　以上の機能は、車両１０に搭載されたコンピュータにインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１０ａで実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して車両１０に搭載されたコンピュータに供給されてもよい。
　検出部４０は、本実施形態では例えば、公知の画像認識技術などを用いることで、車両１０の外に設けられた車外撮影装置１２ｄにより撮影される車外画像に写る監視対象物を検出する。検出部４０は、例えば、監視対象領域に写る監視対象物を検出してもよい。
　車外画像内位置特定部４２は、監視対象物が検出された車外画像内における、当該監視対象物の位置である車外画像内位置を特定する。ここでは、例えば、図４に示す車外画像２６に基づいて、当該車外画像２６の画像平面内における、監視対象物である転落者２８の中心の位置Ｐ１の二次元座標値が特定される。
　検出通知部４４は、本実施形態では例えば、検出部４０によって監視対象物が検出された際に、監視対象物が検出されたことを示す検出通知を車両１０に送信する。ここで検出通知部４４は、監視対象領域に写る監視対象物が写っている状況が所定の時間継続した際に、検出通知を車両１０に送信してもよい。
　また、検出通知部４４は、所定の条件を満たす車両１０に検出通知を送信してもよい。例えば、検出通知部４４は、監視システム１２が設けられている駅に向かう、当該駅からの距離が所定の距離以下である車両１０に検出通知を送信してもよい。また例えば、検出通知部４４は、監視システム１２が設けられている駅に向かう、当該駅とその手前の駅の間にある車両１０に検出通知を送信してもよい。
　検出通知には、例えば、検出通知を送信する監視システム１２あるいは当該監視システム１２が設けられている駅の識別情報や、検出された監視対象物の位置を示す監視対象物位置データなどを含む検出データが関連付けられている。監視対象物位置データは、例えば、上述の位置Ｐ１の二次元座標値を示すデータであってもよい。
　通知受信部５０は、本実施形態では例えば、監視対象物を検出した監視システム１２から、上述の検出通知を受信する。そして通知受信部５０は、受信した検出通知に関連付けられている検出データを検出データ記憶部５２に記憶させる。
　検出データ記憶部５２は、本実施形態では例えば、検出データを記憶する。
　走行経路上位置特定部５４は、本実施形態では例えば、車両１０の線状の走行経路上における監視対象物の位置（以下、走行経路上位置と呼ぶ。）を特定する。
　本実施形態では例えば、走行経路上位置特定部５４には、予め、車両１０の線状の走行経路を示す走行経路データが記憶されている。走行経路データには、例えば、車両１０の線状の走行経路に沿った複数の位置の、実空間における三次元座標値が示されている。ここで当該三次元座標値は、例えば、緯度、経度、及び、標高によって表現されていてもよい。
　また、本実施形態では例えば、走行経路上位置特定部５４に、予め、複数の監視システム１２のそれぞれについての車外画像・走行経路対応関係データが記憶されている。車外画像・走行経路対応関係データは、例えば、監視システム１２で撮影される車外画像内における位置と走行経路データが示す走行経路上の位置との所与の対応関係を示すデータである。
　そして本実施形態では、検出データに含まれる監視対象物位置データが示す車外画像内位置、走行経路データ、及び、車外画像・走行経路対応関係データに基づいて、当該車外画像内位置に対応付けられる走行経路上の位置（上述の走行経路上位置）が特定される。
　表示部内位置特定部５６は、本実施形態では例えば、車外画像内位置と、車両１０の乗務員の眼前に配置される表示部（例えばＨＵＤ１０ｅ）の位置及び向きと、に基づいて、当該表示部内における監視対象物の位置（以下、表示部内位置と呼ぶ。）を特定する。
　以下、表示部内位置特定部５６による表示部内位置の特定について、図９を参照しながら説明する。
　図９は、実空間に対応付けられる仮想空間の一例を示す図である。実空間内における位置は、図９に示す仮想空間内における位置と１対１で対応付けられる。当該仮想空間を示すデータは、例えば、表示部内位置特定部５６に記憶される。
　本実施形態では例えば、運行管理システム１４によって、車両１０の走行経路Ｒ上における位置及び進行方向がリアルタイムで管理されている。そして、走行経路Ｒ上における車両１０の現在の位置及び進行方向を示す運行データが、例えば所定の時間間隔で運行管理システム１４から車両１０に送信される。
　そして、本実施形態では例えば、表示部内位置特定部５６に、予め、運行データが示す車両１０の位置及び向きとＨＵＤ１０ｅの位置及び向きとの所与の対応関係を示す車両・ＨＵＤ対応関係データが記憶されている。そして、表示部内位置特定部５６は、車両・ＨＵＤ対応関係データと、車両１０の現在の位置及び進行方向を示す運行データと、に基づいて、現在におけるＨＵＤ１０ｅの位置及び向きを特定する。
　また、本実施形態では例えば、表示部内位置特定部５６に、予め、運行データが示す車両１０の位置及び向きと乗務員の視点の位置及び視線方向との所与の対応関係を示す車両・視点対応関係データが記憶されている。そして、表示部内位置特定部５６は、車両・視点対応関係データと、車両１０の現在の位置及び進行方向を示す運行データと、に基づいて、現在における乗務員の視点の位置及び視線方向を特定する。
　図９には、実空間におけるＨＵＤ１０ｅに対応付けられる板状の仮想ＨＵＤオブジェクト７０が示されている。図９に示す仮想ＨＵＤオブジェクト７０は、実空間におけるＨＵＤ１０ｅの位置に対応付けられる仮想空間における位置に、実空間におけるＨＵＤ１０ｅの向きに対応付けられる仮想空間における向きで配置される。
　また、図９には、上述のようにして特定される実空間における乗務員の視点の現在の位置に対応付けられる仮想空間内における位置Ｐ４が示されている。また、図９には、上述のようにして特定される実空間における乗務員の現在の視線方向に対応付けられる仮想空間における視線方向Ｄが示されている。
　また、図９には、車外画像内位置（例えば、図４に示す位置Ｐ１）に基づいて特定される実空間における走行経路上位置に対応付けられる仮想空間内の位置Ｐ５が示されている。
　そして、表示部内位置特定部５６は、位置Ｐ４と位置Ｐ５とを結ぶ線と仮想ＨＵＤオブジェクト７０との交点の位置Ｐ６を特定する。ここでは例えば、板状の仮想ＨＵＤオブジェクト７０が表す平面内における位置Ｐ６の二次元座標値が特定される。
　そして、表示部内位置特定部５６は、図９に示す位置Ｐ６に対応付けられる、ＨＵＤ１０ｅ内における監視対象物の位置である表示部内位置（例えば、図６に示す位置Ｐ２）を特定する。本実施形態では、仮想ＨＵＤオブジェクト７０が表す平面内における位置と表示部内位置とが１対１で予め対応付けられている。そのため、位置Ｐ６の二次元座標値に基づいて表示部内位置は特定可能である。以上で説明したように、表示部内位置特定部５６は、走行経路上位置に基づいて、表示部内位置を特定してもよい。
　表示制御部５８は、本実施形態では例えば、表示部内位置特定部５６により特定される表示部内位置に目印画像３４を表示させる。ここで表示制御部５８は、所定の条件を満足する監視対象物の表示部内位置に目印画像３４を表示させてもよい。例えば、車両１０の進行方向に存在する、車両１０からの距離が所定の距離以下の監視システム１２によって検出された監視対象物の表示部内位置に目印画像３４が表示されるようにしてもよい。あるいは、車両１０の進行方向に存在する、所定数個先までの駅に設けられた監視システム１２によって検出された監視対象物の表示部内位置に目印画像３４が表示されるようにしてもよい。あるいは、車両１０が次に停車又は通過する駅に設けられた監視システム１２によって検出された監視対象物の表示部内位置に目印画像３４が表示されるようにしてもよい。
　判定部６０は、本実施形態では例えば、車両１０に設けられた車載撮影装置１０ｄにより監視対象物が撮影されたか否かを判定する。ここでは、例えば、車載画像に監視対象物が写っているか否かが判定される。
　車載画像内位置特定部６２は、本実施形態では例えば、車載撮影装置１０ｄにより撮影される車載画像に写る監視対象物の当該車載画像内における位置である車載画像内位置を特定する。
　車載撮影装置１０ｄにより監視対象物が撮影されたことが判定部６０によって判定された場合は、表示部内位置特定部５６は、車載画像内位置に基づいて、表示部内位置を特定してもよい。そしてこの場合、表示制御部５８は、車載画像内位置に基づいて特定される表示部内位置に目印画像３４を表示させてもよい。
　本実施形態では、車載画像内位置と表示部内位置とは予め対応付けられている。そのため、表示部内位置特定部５６は、車載画像内位置に基づいて、表示部内位置を一意に特定可能である。
　また、本実施形態において、車載撮影装置１０ｄにより監視対象物が撮影されたことが判定されない状況から判定された状況に変化することがある。この場合に、表示部内位置特定部５６が、表示部内位置を、車外画像内位置に基づくものから、車載画像内位置に基づくものに変化させてもよい。
　以下、本実施形態に係る車両１０において所定のフレームレートで繰り返し行われる処理の流れの一例を、図１０に例示するフロー図を参照しながら説明する。
　まず、判定部６０が、当該フレームにおいて撮影された車載画像を取得する（Ｓ１０１）。
　そして、走行経路上位置特定部５４が、検出データ記憶部５２に記憶されている検出データのうちから、所定の条件を満足するものを特定する（Ｓ１０２）。ここで例えば、検出データに含まれる識別情報に基づいて、車両１０の進行方向に存在する、車両１０からの距離が所定の距離以下の監視システム１２から送信された検出データが特定されてもよい。あるいは、検出データに含まれる識別情報に基づいて、車両１０の進行方向に存在する、所定数個先までの駅に設けられた監視システム１２から送信された検出データが特定されてもよい。あるいは、検出データに含まれる識別情報に基づいて、車両１０が次に停車又は通過する駅に設けられた監視システム１２から送信された検出データが特定されてもよい。
　そして、走行経路上位置特定部５４が、Ｓ１０２に示す処理で特定された検出データに含まれる監視対象物位置データが示す車外画像内位置に対応する走行経路上位置を特定する（Ｓ１０３）。
　そして、表示部内位置特定部５６が、最新の運行データに基づいて、ＨＵＤ１０ｅの現在の位置及び向き、並びに、乗務員の視点の位置及び視線方向を特定する（Ｓ１０４）。
　そして、表示部内位置特定部５６が、Ｓ１０３に示す処理で特定された走行経路上位置と、Ｓ１０４に示す処理で特定されたＨＵＤ１０ｅの現在の位置及び向き、並びに、乗務員の視点の位置及び視線方向に基づいて、表示部内位置を特定する（Ｓ１０５）。
　そして、判定部６０が、Ｓ１０１に示す処理で取得された車載画像内のＳ１０５に示す処理で特定された表示部内位置に応じた範囲に監視対象物が写っているか否かを判定する（Ｓ１０６）。ここでは例えば、Ｓ１０５に示す処理で特定された表示部内位置に対応する車載画像内における位置からの距離が所定の距離以下である範囲に監視対象物が写っているか否かが判定される。
　Ｓ１０６に示す処理で写っていないことが判定された場合は（Ｓ１０６：Ｎ）、表示制御部５８が、Ｓ１０５に示す処理で特定された表示部内位置に目印画像３４を表示させて（Ｓ１０７）、Ｓ１０１に示す処理に戻る。
　Ｓ１０６に示す処理で写っていることが判定された場合は（Ｓ１０６：Ｙ）、車載画像内位置特定部６２は、Ｓ１０６に示す処理で写っていることが判定された監視対象物の車載画像内位置を特定する（Ｓ１０８）。
　そして、表示部内位置特定部５６が、Ｓ１０８に示す処理で特定された車載画像内位置に対応する表示部内位置を特定する（Ｓ１０９）。
　そして、表示制御部５８が、Ｓ１０９に示す処理で特定された表示部内位置に目印画像３４を表示させて（Ｓ１１０）、Ｓ１０１に示す処理に戻る。
　図１０に示す処理を実行することで、車載撮影装置１０ｄにより監視対象物が撮影されたことが判定されない状況から判定された状況に変化した際に、表示部内位置が、車外画像内位置に基づくものから、車載画像内位置に基づくものに変化することとなる。
　なお図１０に示す処理において、一度、車載画像に監視対象物が写っていることが判定された以後は、当該監視対象物については、Ｓ１０２～Ｓ１０７に示す処理が実行されないようにして、車載画像内位置に基づいて表示部内位置が特定されるようにしてもよい。
　また、本実施形態において、表示制御部５８は、監視対象物の位置がＨＵＤ１０ｅの表示範囲外である場合に、図１１に示すように、監視対象物の位置に応じたＨＵＤ１０ｅの縁部に目印画像７２を表示させてもよい。
　例えば、図９に示す位置Ｐ４と位置Ｐ５とを結ぶ線と仮想ＨＵＤオブジェクト７０との交点が存在しないとする。この場合は、位置Ｐ４と位置Ｐ５とを結ぶ線に最も近い、仮想ＨＵＤオブジェクト７０の辺上の位置が特定されてもよい。そして、特定された位置に対応付けられるＨＵＤ１０ｅの縁部に目印画像７２が表示されるようにしてもよい。
　また、本実施形態において、図１２に示すように、目印画像３４とともに、乗務員の視界の妨げのならない場所に警告画像７４が表示されるようにしてもよい。あるいは、目印画像３４の代わりに警告画像７４が表示されるようにしてもよい。
　また、本実施形態において、車外撮影装置１２ｄが三次元画像やデプス画像の撮影が可能なカメラである場合に、監視システム１２がカメラ座標系における監視対象物の三次元座標値を特定してもよい。そして、当該三次元座標値に基づいて、監視対象物の実空間内における位置や表示部内位置が特定されるようにしてもよい。なおこの場合に、当該三次元座標値を示す監視対象物位置データを含む検出データが関連付けられた検出通知が送信されるようにしてもよい。
　また、車載撮影装置１０ｄが三次元画像やデプス画像の撮影が可能なカメラである場合に、車両１０がカメラ座標系における監視対象物の三次元座標値を特定してもよい。そして、当該三次元座標値に基づいて、表示部内位置が特定されるようにしてもよい。
　なお、車両１０と監視システム１２の役割分担は上述のものには限定されない。例えば、監視システム１２から車両１０に車外画像が送信されるようにしてもよい。そして、車両１０が、車外画像に基づいて車外画像内位置を特定してもよい。また、監視システム１２が、走行経路上位置などの、監視対象物の実空間内における位置を特定してもよい。
　また、本実施形態において、白杖を持った人物、補助犬、車いすを利用している人物、酔客等が、車外画像に写っていることが検出された際に、そのことを表す画像が車両１０のＨＵＤ１０ｅに表示されるようにしてもよい。
　また、本実施形態において、踏切を監視するカメラが撮影する画像に基づいて、踏切内に支障物があるか否かが判定されてもよい。当該判定は、例えば、特殊発光信号機の動作センサの出力や特殊発光信号機の映像の認識結果に基づいて実行されてもよい。そして、踏切内に支障物があるか否かが判定された際に、そのことを表す画像が車両１０のＨＵＤ１０ｅに表示されるようにしてもよい。ここで例えば上述と同様の方法によって、当該支障物に対応付けられる表示部内位置に目印画像が表示されるようにしてもよい。
　なお、本発明は上述の実施形態に限定されるものではない。
　例えば、表示部内位置の特定方法は上述の方法には限定されない。例えば、車載画像に対して画像認識を実行し、車載画像に写っていない線路の位置が外挿によって推定されてもよい。そして推定された線路の位置上の表示部内位置が決定されるようにしてもよい。あるいは、過去の車両１０の走行において車載撮影装置１０ｄによって撮影された映像を学習した機械学習モデルを用いて、監視対象物の実空間内における位置や、表示部内位置が推定されるようにしてもよい。
　また、例えば、車両１０の乗務員の眼前に配置される表示部が、ＨＵＤ１０ｅではなく、乗務員が装着するヘッドマウントディスプレイ（ＨＭＤ）であってもよい。そして、目印画像が、ＨＭＤに表示されるようにしてもよい。この場合、例えば、ＨＭＤに設けられた加速度センサ等の各種センサの出力に基づいてＨＭＤの位置及び向きが特定されてもよい。そして、特定されるＨＭＤの位置及び向きに基づいて、表示部内位置が特定されるようにしてもよい。
　また、上述の具体的な文字列や数値、並びに、図面中の具体的な文字列は例示であり、これらの文字列や数値には限定されない。

Claims (9)

  1. 　車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定する車外画像内位置特定手段と、
    　前記車外画像内位置と、前記車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における前記監視対象物の位置である表示部内位置を特定する表示部内位置特定手段と、
    　特定される前記表示部内位置に目印画像を表示させる表示制御手段と、
    　を含むことを特徴とする表示制御システム。
  2. 　前記車両の線状の走行経路を示す走行経路データと、前記車外画像内位置と、に基づいて、前記走行経路データが示す走行経路上における前記監視対象物の位置である走行経路上位置を特定する走行経路上位置特定手段、をさらに含み、
    　前記表示部内位置特定手段は、前記走行経路上位置に基づいて、前記表示部内位置を特定する、
    　ことを特徴とする請求項１に記載の表示制御システム。
  3. 　前記車両に設けられた車載撮影装置により前記監視対象物が撮影されたか否かを判定する判定手段と、
    　前記車載撮影装置により撮影される車載画像に写る前記監視対象物の当該車載画像内における位置である車載画像内位置を特定する車載画像内位置特定手段と、をさらに含み、
    　前記車載撮影装置により前記監視対象物が撮影されたことが判定された場合は、前記表示部内位置特定手段は、前記車載画像内位置に基づいて、前記表示部内位置を特定する、
    　ことを特徴とする請求項１又は２に記載の表示制御システム。
  4. 　前記車載撮影装置により前記監視対象物が撮影されたことが判定されない状況から判定された状況に変化した際に、前記表示部内位置特定手段は、前記表示部内位置を、前記車外画像内位置に基づくものから、前記車載画像内位置に基づくものに変化させる、
    　ことを特徴とする請求項３に記載の表示制御システム。
  5. 　前記表示制御手段は、前記監視対象物の位置が前記表示部の表示範囲外である場合に、前記監視対象物の位置に応じた前記表示部の縁部に目印画像を表示させる、
    　ことを特徴とする請求項１から４のいずれか一項に記載の表示制御システム。
  6. 　前記表示部は、前記車両に設けられたヘッドアップディスプレイである、
    　ことを特徴とする請求項１から５のいずれか一項に記載の表示制御システム。
  7. 　前記表示部は、前記乗務員が装着するヘッドマウントディスプレイである、
    　ことを特徴とする請求項１から５のいずれか一項に記載の表示制御システム。
  8. 　車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定するステップと、
    　前記車外画像内位置と、前記車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における前記監視対象物の位置である表示部内位置を特定するステップと、
    　特定される前記表示部内位置に目印画像を表示させるステップと、
    　を含むことを特徴とする表示制御方法。
  9. 　車両の外に設けられた車外撮影装置により撮影される車外画像に写る監視対象物の当該車外画像内における位置である車外画像内位置を特定する手順、
    　前記車外画像内位置と、前記車両の乗務員の眼前に配置される表示部の位置及び向きと、に基づいて、当該表示部内における前記監視対象物の位置である表示部内位置を特定する手順、
    　特定される前記表示部内位置に目印画像を表示させる手順、
    　をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2020/044464 2019-12-06 2020-11-30 表示制御システム、表示制御方法及びプログラム WO2021112030A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019221232A JP6729958B1 (ja) 2019-12-06 2019-12-06 表示制御システム、表示制御方法及びプログラム
JP2019-221232 2019-12-06

Publications (1)

Publication Number Publication Date
WO2021112030A1 true WO2021112030A1 (ja) 2021-06-10

Family

ID=71738443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044464 WO2021112030A1 (ja) 2019-12-06 2020-11-30 表示制御システム、表示制御方法及びプログラム

Country Status (2)

Country Link
JP (1) JP6729958B1 (ja)
WO (1) WO2021112030A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012227699A (ja) * 2011-04-19 2012-11-15 Toyota Motor Corp 画像表示装置、及び、画像表示方法
US20160318530A1 (en) * 2015-04-30 2016-11-03 Roger Laverne Johnson System, method and apparatus for managing railroad operations and assets using frequently acquired, path oriented, geospatial and time registered, sensor mapped data
JP2019109707A (ja) * 2017-12-18 2019-07-04 トヨタ自動車株式会社 表示制御装置、表示制御方法および車両
JP2019182260A (ja) * 2018-04-12 2019-10-24 日本信号株式会社 物体検知システム
JP2019191961A (ja) * 2018-04-25 2019-10-31 株式会社東芝 走行状況提示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012227699A (ja) * 2011-04-19 2012-11-15 Toyota Motor Corp 画像表示装置、及び、画像表示方法
US20160318530A1 (en) * 2015-04-30 2016-11-03 Roger Laverne Johnson System, method and apparatus for managing railroad operations and assets using frequently acquired, path oriented, geospatial and time registered, sensor mapped data
JP2019109707A (ja) * 2017-12-18 2019-07-04 トヨタ自動車株式会社 表示制御装置、表示制御方法および車両
JP2019182260A (ja) * 2018-04-12 2019-10-24 日本信号株式会社 物体検知システム
JP2019191961A (ja) * 2018-04-25 2019-10-31 株式会社東芝 走行状況提示装置

Also Published As

Publication number Publication date
JP2021093565A (ja) 2021-06-17
JP6729958B1 (ja) 2020-07-29

Similar Documents

Publication Publication Date Title
US10347130B2 (en) Vehicle and control method thereof
US11092456B2 (en) Object location indicator system and method
JP6944308B2 (ja) 制御装置、制御システム、および制御方法
TWI633524B (zh) 交通監控系統
US9507345B2 (en) Vehicle control system and method
US9062979B1 (en) Pose estimation using long range features
US7363156B2 (en) Method and device for assisting in the piloting of an aircraft
US7605773B2 (en) Head-up display system and method for carrying out the location-correct display of an object situated outside a vehicle with regard to the position of the driver
US20190108757A1 (en) Vehicle dispatch system, autonomous driving vehicle, and vehicle dispatch method
US10747221B2 (en) Moving body, moving body control system, and moving body control method
US20230047404A1 (en) Driver assistance system and method
CN108545019A (zh) 一种基于图像识别技术的安全辅助驾驶系统和方法
CN110462702B (zh) 行驶路径提供系统及其控制方法、以及介质
TW201333896A (zh) 使用視訊雷達的遠距交通管理系統
KR20180040012A (ko) 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
JP2020027325A (ja) 船舶または車両のナビゲーションシステム
US10249192B2 (en) Notification regarding an estimated movement path of a vehicle
US11600181B2 (en) Saddle-riding type vehicle
WO2021112030A1 (ja) 表示制御システム、表示制御方法及びプログラム
CN112987053A (zh) 监测偏航传感器的方法和设备
US8681219B2 (en) System and method for driving assistance at road intersections
JP2021091387A (ja) 表示制御システム、表示制御方法及びプログラム
US20230098314A1 (en) Localizing and updating a map using interpolated lane edge data
CN112440741A (zh) 车辆时间多路复用显示器
CN112204351A (zh) 飞行路径引导系统、飞行路径引导装置及飞行路径引导方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20895184

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20895184

Country of ref document: EP

Kind code of ref document: A1