WO2021161840A1 - 描画システム、表示システム、移動体、描画方法及びプログラム - Google Patents

描画システム、表示システム、移動体、描画方法及びプログラム Download PDF

Info

Publication number
WO2021161840A1
WO2021161840A1 PCT/JP2021/003570 JP2021003570W WO2021161840A1 WO 2021161840 A1 WO2021161840 A1 WO 2021161840A1 JP 2021003570 W JP2021003570 W JP 2021003570W WO 2021161840 A1 WO2021161840 A1 WO 2021161840A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
unit
correction
moving body
interpolation
Prior art date
Application number
PCT/JP2021/003570
Other languages
English (en)
French (fr)
Inventor
祥平 林
輝光 末永
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to DE112021000344.5T priority Critical patent/DE112021000344T5/de
Priority to CN202180014145.5A priority patent/CN115088028B/zh
Publication of WO2021161840A1 publication Critical patent/WO2021161840A1/ja
Priority to US17/885,943 priority patent/US20220383645A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/191Highlight information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Definitions

  • the present disclosure generally relates to a drawing system, a display system, a moving body, a drawing method, and a program, and more specifically, a drawing system, a display system, and a movement that draw an image based on the detection result of a detection system that detects an object.
  • a drawing system a display system
  • a movement that draw an image based on the detection result of a detection system that detects an object.
  • Patent Document 1 describes an approaching moving object display device for displaying an approaching moving object on a screen inside the vehicle.
  • This approaching moving object display device recognizes an approaching moving object (moving object) moving on the road in front of the camera based on an image captured by a camera arranged at an intersection or the like, and recognizes the approaching moving object.
  • the virtual display position on the screen of the moving object is calculated from the position information.
  • the approaching mobile object display device described in Patent Document 1 has a correction function of correcting the virtual display position of the approaching mobile object based on the time delay of the display time at the display unit with respect to the image capturing time. .. Specifically, in the correction function, the distance between the camera and the approaching moving body, the moving speed of the approaching moving body, and the like are calculated from the captured image, and the virtual approaching moving body is virtualized based on the time delay from the calculation result. Correct the display position.
  • the camera is basically installed at a fixed point at an intersection or the like, and accompanies the movement of the detection system (camera) itself for detecting an object (approaching moving body). The deviation of the display position cannot be resolved.
  • An object of the present disclosure is to provide a drawing system, a display system, a moving body, a drawing method, and a program that can reduce the deviation of the display position due to the movement of the detection system itself.
  • the drawing system includes a drawing unit and a correction unit.
  • the drawing unit draws a marker according to the position of the object based on the detection result of the detection system.
  • the detection system is mounted on a moving body to detect the object.
  • the correction unit determines the drawing position of the marker in the drawing unit by performing correction based on the correction data with respect to the position of the object based on the detection result of the detection system.
  • the correction data is obtained at least based on the movement information regarding the movement status of the moving body.
  • the display system includes the drawing system and a display device for displaying the marker drawn by the drawing system.
  • the mobile body includes a display system and a mobile body main body on which the display system is mounted.
  • the drawing method includes a drawing process and a correction process.
  • the drawing process is a process of drawing a marker according to the position of an object based on the detection result of the detection system.
  • the detection system is mounted on a moving body to detect the object.
  • the correction process is a process of determining the drawing position of the marker in the drawing process by performing correction based on the correction data on the position of the object based on the detection result of the detection system.
  • the correction data is obtained at least based on the movement information regarding the movement status of the moving body.
  • the program according to one aspect of the present disclosure is a program for causing one or more processors to execute the drawing method.
  • FIG. 1 is a schematic block diagram showing a configuration of a drawing system and a display system according to the first embodiment.
  • FIG. 2 is an explanatory diagram showing a user's field of view for explaining an operation example of the display system of the above.
  • FIG. 3 is a bird's-eye view for explaining the situation of FIG.
  • FIG. 4 is a schematic diagram conceptually showing how a delay occurs in the same drawing system.
  • FIG. 5 is a conceptual diagram showing a first scene for explaining an operation example of the display system of the above.
  • FIG. 6A is an explanatory diagram showing a part of the user's field of view for explaining an operation example of the display system of the above, and drawing a marker at a position before correction.
  • FIG. 1 is a schematic block diagram showing a configuration of a drawing system and a display system according to the first embodiment.
  • FIG. 2 is an explanatory diagram showing a user's field of view for explaining an operation example of the display system of the above.
  • FIG. 3 is
  • FIG. 6B is an explanatory diagram showing a part of the user's field of view for explaining an operation example of the display system of the above, and drawing a marker at the corrected position.
  • FIG. 7 is a conceptual diagram for explaining an operation example of the drawing system of the above.
  • FIG. 8 is an explanatory diagram showing a user's field of view for explaining an operation example in the second scene of the same display system.
  • FIG. 9 is a conceptual diagram showing a second scene for explaining an operation example of the display system of the above.
  • FIG. 10 is a flowchart illustrating the overall operation of the drawing system and the display system according to the first embodiment.
  • FIG. 11 is a schematic block diagram showing a configuration of a drawing system and a display system according to the second embodiment.
  • the drawing system 1 is a system that draws the marker M1 (see FIG. 2) based on the detection result D1 of the detection system 3.
  • the detection system 3 is a system for detecting an object 50 (see FIG. 2).
  • the detection system 3 is mounted on the moving body 6 (see FIG. 2).
  • the drawing system 1 constitutes the display system 10 together with the display device 2.
  • the display system 10 according to the present embodiment includes a drawing system 1 and a display device 2.
  • the display device 2 is a device that displays the marker M1 drawn by the drawing system 1.
  • this drawing system for example, as shown in FIGS. 2 and 3, when a pedestrian or the like is detected as an object 50 by the detection system 3 that detects a "pedestrian” or the like in front of the moving body 6. , The marker M1 is drawn according to the position of the object 50. Then, by displaying the marker M1 drawn by the drawing system 1 on the display device 2, for example, as shown in FIG. 2, a marker shape is formed at the feet of the object 50 (pedestrian) as viewed from the user 62. It is possible to display the marker M1 of.
  • the display system 10 according to the present embodiment is mounted on the moving body main body 61 (see FIG. 2), and constitutes the moving body 6 (see FIG. 2) together with the moving body main body 61. That is, the moving body 6 according to the present embodiment includes a display system 10 and a moving body main body 61.
  • the display system 10 is mounted on the mobile body 61.
  • the drawing system 1 includes a drawing unit 11 and a correction unit 12.
  • the drawing unit 11 draws the marker M1 according to the position of the object 50 based on the detection result D1 of the detection system 3.
  • the detection system 3 is mounted on the moving body 6 to detect the object 50.
  • the correction unit 12 determines the drawing position of the marker M1 in the drawing unit 11 by performing correction based on the correction data D2 with respect to the position of the object 50 based on the detection result D1 of the detection system 3.
  • the correction data D2 is obtained at least based on the movement information regarding the movement status of the moving body 6.
  • the drawing unit 11 does not draw the marker M1 at the position of the object 50 based on the detection result D1 of the detection system 3, but the correction unit 12 makes a correction based on the correction data D2.
  • the marker M1 is drawn at the later drawing position. Therefore, for example, even if a delay due to processing in the detection system 3 or a delay due to transmission of the detection result D1 from the detection system 3 to the drawing system 1 occurs, the marker M1 finally displayed is displayed. Regarding the display position, the influence of these delays can be reduced.
  • the correction unit 12 makes corrections based on the movement status of the moving body 6 on which the detection system 3 is mounted, the detection system 3 itself can be moved within the delay period (delay period) as described above. It is possible to reduce the accompanying deviation of the display position.
  • the drawing system 1 includes a drawing unit 11 and an interpolation unit 13.
  • the drawing unit 11 draws the marker M1 according to the position of the object 50 at least every first cycle T1 (see FIG. 7) based on the detection result D1 of the detection system 3.
  • the detection system 3 referred to here detects the object 50 and outputs the detection result D1 for each first cycle T1.
  • the interpolation unit 13 uses the interpolation marker M11 (see FIG. 7) as the updated marker M1. Interpolation is performed based on the interpolation data D3.
  • the updated marker M1 (interpolation).
  • the marker M11) is interpolated based on the interpolated data D3. Therefore, for example, even during the first cycle T1 from the time when the detection system 3 outputs the detection result D1 to the time when the detection result D1 is output, the marker M1 can be changed every time the marker M1 is updated. Yes, the marker M1 will move relatively smoothly. As a result, unnatural behavior of the marker M1 is unlikely to occur.
  • the “moving body” referred to in the present disclosure includes a display system 10 and a moving body main body 61 as described above.
  • the moving body 6 is a vehicle (passenger car) driven by a person.
  • the "marker” referred to in the present disclosure means an image displayed by the display device 2 in a manner visible to the user 62 (see FIG. 2).
  • the marker M1 may be a figure, a symbol, a character, a number, a pattern, a photograph, or the like, or a combination thereof.
  • This type of marker M1 includes moving images (moving images) and still images (still images).
  • the "moving image” includes an image composed of a plurality of still images obtained by time-lapse photography or the like.
  • the marker M1 drawn by the drawing system 1 is a moving image that is updated (that is, rewritten) at a predetermined refresh rate.
  • the marker M1 drawn by the drawing system 1 is a three-dimensional image displayed on a three-dimensional space composed of three axes of the X-axis, the Y-axis, and the Z-axis that are orthogonal to each other. do. That is, the marker M1 drawn by the drawing system 1 is a three-dimensional image having position information in the depth direction according to the distance from the detection system 3 to the object 50 in addition to the position information in the vertical direction and the horizontal direction. ..
  • the "user” referred to in the present disclosure means a marker M1 drawn by the drawing system 1, that is, a person who sees the marker M1 displayed by the display system 10.
  • a marker M1 drawn by the drawing system 1 that is, a person who sees the marker M1 displayed by the display system 10.
  • the driver of the automobile as the moving body 6 is the user 62.
  • the "object” referred to in the present disclosure is a target to be detected by the detection system 3, and includes an organism such as a human or a small animal, or another moving object, a wall, a guardrail, a structure such as a traffic light, or the like.
  • the term "person” as used herein includes a person who is pedestrian, a person who is running, a person who is standing still, a person who is sitting, a person who is lying down, a person who is riding a bicycle, and the like.
  • the object 50 may include not only a three-dimensional target but also a two-dimensional target such as a white line or a character drawn on a road.
  • the target located around the moving body 6, particularly in front of the moving body 6 in the traveling direction, and the target that the user 62 driving the moving body 6 wants to pay attention to is the target of the object 50.
  • the target of the object 50 Take as an example. Specifically, except for the examples of FIGS. 8 and 9, the case where the object 50 is a pedestrian 51 located in front of the moving body 6 in the traveling direction will be described. In the examples of FIGS. 8 and 9, the object 50 is a traffic light 55 located in front of the moving body 6 in the traveling direction.
  • the "movement situation" referred to in the present disclosure means a situation related to movement, and includes, for example, movement speed, movement amount (including movement distance and movement angle), movement direction, acceleration, movement time, posture at the time of movement, and the like.
  • movement speed movement amount
  • movement direction acceleration
  • movement time movement time
  • posture at the time of movement
  • the moving speed, the moving amount, the moving direction, the acceleration, and the like of the moving body 6 are included.
  • Such a movement situation includes, for example, a vehicle speed pulse, an acceleration applied to the moving body main body 61, an accelerator pedal depression amount (accelerator opening), a brake pedal depression amount or a steering angle, and other sensors mounted on the moving body main body 61. It can be detected at. Further, the moving state of the moving body 6 can also be detected from the position information of the moving body main body 61 which can be detected by using GPS (Global Positioning System) or the like.
  • GPS Global Positioning System
  • the "first cycle” referred to in the present disclosure is a cycle in which the detection system 3 outputs the detection result D1. That is, the detection system 3 outputs the detection result D1 for each first cycle T1.
  • the "second cycle” referred to in the present disclosure is a cycle in which the drawing unit 11 updates the marker M1. That is, the drawing unit 11 updates (that is, rewrites) the marker M1 every second cycle T2. Comparing the first cycle T1 and the second cycle T2, the second cycle T2 is relatively short and the first cycle T1 is relatively long (T1> T2).
  • the drawing unit 11 since the cycle in which the drawing unit 11 updates the marker M1 (second cycle T2) is shorter than the cycle in which the detection system 3 outputs the detection result D1 (first cycle T1), the detection system 3 outputs the detection result D1. During the output once, the drawing unit 11 updates the marker M1 one or more times.
  • the first cycle T1 is 600 ms and the second cycle T2 is 100 ms.
  • the display device 2 and the detection system 3 are connected to the drawing system 1.
  • the display device 2 and the detection system 3 are mounted on the moving body main body 61 of the moving body 6 together with the drawing system 1. That is, the mobile body 6 according to the present embodiment further includes a display device 2 and a detection system 3 in addition to the drawing system 1 and the mobile body main body 61.
  • the drawing system 1 is connected to the ECU (Electronic Control Unit) 4 of the mobile body 61.
  • the ECU 4 is not included in the components of the drawing system 1, but the ECU 4 may be included in the components of the drawing system 1.
  • the display device 2 displays the marker M1 drawn by the drawing system 1.
  • the image data D4 is input to the display device 2 from the drawing system 1.
  • the image data D4 includes a marker M1 drawn by the drawing system 1. Therefore, the display device 2 displays the marker M1 drawn by the drawing system 1 by displaying the image data D4.
  • the display device 2 is a head-up display (HUD: Head-Up Display).
  • HUD Head-Up Display
  • the display device 2 projects the marker M1 onto the windshield 611 (see FIG. 2) of the mobile body 61 from below, so that the marker M1 reflected by the windshield 611 is displayed by the user 62 (driver of the mobile body 6). Make it visible to.
  • the user 62 perceives the virtual image projected in the space in front of the moving body 6 (outside the vehicle) as if it were visually recognized through the windshield 611.
  • the "imaginary image” referred to in the present disclosure means an image in which when the light emitted from the display device 2 is diverged by a reflecting object such as the windshield 611, the diverging light rays are connected as if an object were actually present. Therefore, the user 62 who is driving the moving body 6 visually recognizes the marker M1 as a virtual image projected by the display device 2 by superimposing it on the real space spreading in front of the moving body 6.
  • the marker M1 is a three-dimensional image having position information in the depth direction according to the distance from the detection system 3 to the object 50. Therefore, the display device 2 can project the marker M1 visually recognized with depth on the road surface 54 in front of the moving body 6.
  • the display device 2 is a view of the object 50 (here, the pedestrian 51) detected by the detection system 3 in the field of view of the user 62 (the driver of the moving body 6).
  • the marker M1 is displayed at a peripheral position.
  • an augmented reality (AR) display in which the marker M1 displayed by the display device 2 is synthesized in the real space is realized.
  • the display device 2 is integrated with the drawing system 1, and the drawing system 1 and the display device 2 constituting the display system 10 are housed in one housing.
  • the display system 10 (drawing system 1 and display device 2) is installed in the dashboard 612 of the mobile body 61.
  • the detection system 3 is mounted on the moving body 6 (moving body main body 61) as described above.
  • a detection system 3 such as an advanced driver assistance system (ADAS) of the moving body 6 or an automatic driving system is used.
  • ADAS advanced driver assistance system
  • the detection system 3 can detect, for example, the presence of an object 50 around the moving body 6.
  • the detection system 3 has, for example, a camera 31 (see FIG. 4), a sonar sensor, a radar, and sensing means such as LiDAR (Light Detection and Ranging).
  • the detection system 3 uses these sensing means to detect an object 50 located around the moving body 6, particularly in front of the moving body 6 in the traveling direction.
  • the detection system 3 outputs the detection result D1 to the drawing system 1 every first cycle T1.
  • the detection system 3 has a processing unit 32 and a communication unit 33 in addition to sensing means such as a camera 31.
  • the processing unit 32 performs appropriate signal processing on the output signal of the camera 31 or the like, and detects the object 50.
  • the communication unit 33 outputs (transmits) the detection result D1 to the drawing system 1 by communicating with the drawing system 1.
  • the detection result D1 of the detection system 3 includes information on the presence or absence of the object 50 in the monitoring area (a predetermined area in front of the moving body 6 in the traveling direction). Further, when the object 50 is present, the detection result D1 of the detection system 3 includes information on the relative position of the object 50 as seen from the detection system 3 (moving body 6) and information on the attributes of the object 50. There is.
  • the "relative position” referred to in the present disclosure is the representative point P2 (FIG. 5) of the object 50 as seen from the representative point P1 when the representative point P1 (see FIG. 5) of the detection system 3 (moving body 6) is used as a reference.
  • the "relative position” is represented by the coordinate position in the XY coordinate system with the representative point P1 as the origin in the plan view (overhead view).
  • the X-axis is an axis extending in the lateral direction (horizontal direction) of the moving body 6, and the Y-axis is an axis extending in the vertical direction (front-back direction) of the moving body 6. According to such a relative position, for example, the distance from the detection system 3 (moving body 6) to the object 50 can be specified.
  • the "attribute" referred to in the present disclosure is, for example, whether or not the object 50 is moving, and if the object 50 is moving, its movement status (for example, movement speed, movement amount, movement direction). , Acceleration, movement time, posture during movement, etc.).
  • the attribute of the object 50 is the type of the object 50, that is, whether it is a person, whether it is a moving object (person, automobile, bicycle, etc.) or a fixed object, or a roadside tree, a traffic light, a guardrail, etc. Including the distinction between.
  • the attributes of the object 50 also include the size or color of the object 50. Further, if the object 50 is a person, its gender, height, body shape, age group, and the like can also be included in the attributes of the object 50.
  • the ECU 4 outputs the vehicle information D5 to the drawing system 1.
  • the vehicle information D5 is information representing the local state of the moving body 6, and is information that can be detected by a sensor mounted on the moving body main body 61.
  • the vehicle information D5 includes a vehicle speed pulse (moving speed of the moving body main body 61), acceleration applied to the moving body main body 61, accelerator pedal depression amount (accelerator opening), brake pedal depression amount or steering angle, and the like. Contains information about. That is, the vehicle information D5 includes information that can identify the movement status of the moving body 6.
  • the vehicle information D5 may include information unique to the mobile body 61 such as the pulse, facial expression, line of sight, etc. of the user 62 detected by the driver monitor, as well as the vehicle width, vehicle height, total length, eye point, and the like.
  • the vehicle information D5 may include position information based on the position of the moving body 6, for example, information that can be detected by GPS or the like, such as road information at the current position of the moving body 6. Specific examples of the position information include the number of lanes of the road at the position of the own vehicle, whether it is an intersection, whether it is a junction, whether it is a one-way street, the width of the road, the presence or absence of a sidewalk, the curvature of a slope or a curve, and the like.
  • the drawing system 1 realizes, for example, the display of the marker M1 as shown in FIG. That is, the drawing system 1 draws the marker M1 according to the position of the object 50, at least based on the detection result D1 of the detection system 3.
  • the drawing system 1 acquires the detection result D1 from the detection system 3 and the vehicle information D5 from the ECU 4, and draws the marker M1 based on the information.
  • the drawing system 1 generates image data D4 for displaying the drawn marker M1 on the display device 2, and outputs the image data D4 to the display device 2 to cause the display device 2 to display the marker M1. ..
  • FIG. 2 shows the field of view of the user 62 who is driving the moving body 6 in the state shown in FIG.
  • reference numerals, leader lines, and the like are shown only for the sake of explanation, and they are not actually visually recognized by the user 62.
  • the pedestrian 51 detected as the object 50 by the detection system 3 is in front of the moving body 6 and on the road surface 54 on which the moving body 6 is traveling, as shown in FIGS. 2 and 3. It crosses the provided pedestrian crossing 541.
  • the marker M1 corresponding to the position of the pedestrian 51, which is the object 50 is drawn. Specifically, an annular marker M1 is drawn at the foot of the pedestrian 51, which is the object 50, so as to surround the pedestrian 51. That is, the marker M1 is superimposed on the road surface 54 at a position corresponding to the pedestrian 51, which is the object 50 (here, the same position as the pedestrian 51, which is the object 50) in a plan view (overhead view). Is displayed. As a result, to the eyes of the user 62, the pedestrian 51 (object 50) appears as if it were standing in the circular marker M1.
  • the drawing system 1 draws the marker M1 only after the object 50 is detected by the detection system 3. In other words, if the detection result D1 of the detection system 3 is "no object", the drawing system 1 does not draw the marker M1, and if the detection result D1 of the detection system 3 is "there is an object", the drawing system 1 does not draw. Draws the marker M1. Therefore, in a state where the object 50 does not exist in the monitoring area of the detection system 3 (a predetermined area in front of the moving body 6 in the traveling direction), the drawing system 1 does not draw the marker M1, and as a result, the display device. The marker M1 in 2 is not displayed.
  • the drawing system 1 when the object 50 moves relatively with respect to the moving body 6, the marker M1 changes the drawing position of the marker M1 so that the marker M1 tracks the object 50.
  • the relative movement of the object 50 with respect to the moving body 6 can occur when at least one of the moving body 6 and the object 50 moves. That is, even when the moving body 6 is in a fixed position, if the object 50 is a moving target like a pedestrian 51, the target object 50 moves relatively from the moving body 6. Further, even when the object 50 is in a fixed position, the moving body 6 moves, so that the target object 50 moves relatively with respect to the moving body 6. In either case, as shown in FIG. 2, the drawing system 1 draws the marker M1 while changing the drawing position of the marker M1 so that the marker M1 tracks the object 50.
  • the marker M1 drawn by the drawing system 1 is not limited to the mode shown in FIG.
  • the marker M1 may be a frame that surrounds the object 50 in front view, may be a simple figure, an arrow or a balloon pointing to the object 50, or an icon imitating the object 50. (Icon) or the like.
  • the display position of the marker M1 may be any position corresponding to the object 50, and may be displayed so as to overlap the object 50 in front of the object 50, or above the object 50 or. It may be displayed on the side.
  • the marker M1 may be, for example, a marker M1 having a movement (that is, changing) such that it blinks, discolors, deforms, or moves (including rotation) with the passage of time. In this case, it is preferable to synchronize the movement of the marker M1 with the movement of the object 50, for example, the marker M1 bounces in synchronization with the pace of the pedestrian 51, which is the object 50.
  • the drawing system 1 in addition to the drawing unit 11, the correction unit 12, and the interpolation unit 13, the drawing system 1 includes a correction adjustment unit 121, an interpolation adjustment unit 131, an input information processing unit 14, and a prediction unit. It further includes 15, a storage unit 16, a sensor 17, and a filter 18.
  • the drawing system 1 mainly includes a computer system (including a server and cloud computing) having one or more processors and one or more memories.
  • the processor realizes the function of the drawing system 1 by executing the program recorded in the memory.
  • the program may be pre-recorded in memory, provided by being recorded on a non-temporary recording medium such as a memory card, or provided through a telecommunication line.
  • the above program is a program for making one or more processors function as the drawing system 1.
  • at least the drawing unit 11, the correction unit 12, the interpolation unit 13, the correction adjustment unit 121, the interpolation adjustment unit 131, the input information processing unit 14, and the prediction unit 15 can be realized by a computer system.
  • the drawing unit 11 draws the marker M1 according to the position of the object 50 based on the detection result D1 of the detection system 3.
  • the drawing unit 11 draws the marker M1 according to the position of the object 50 based on the detection result D1 of the detection system 3 at least every first cycle T1.
  • the first cycle T1 is a cycle in which the detection system 3 outputs the detection result D1 as described above.
  • the drawing unit 11 updates the marker M1 every second cycle T2, which is shorter than the first cycle T1. That is, the drawing unit 11 draws the marker M1 based on the detection result D1 of the detection system 3 at least every first cycle T1, and updates the marker M1 every second cycle T2 shorter than the first cycle T1. ..
  • the drawing unit 11 is realized by a GPU (Graphics Processing Unit) or the like, and as an example, executes drawing calculation processing conforming to OpenGL (Open Graphics Library).
  • the drawing unit 11 stores the drawn marker M1 in the frame memory.
  • the "frame memory” referred to here is a memory (frame buffer) for storing the display contents of one screen (one frame) displayed on the display device 2.
  • the frame memory may be a dedicated memory or may be composed of a part of the memory of the computer system.
  • the correction unit 12 determines the drawing position of the marker M1 in the drawing unit 11 by performing correction based on the correction data D2 with respect to the position of the object 50 based on the detection result D1 of the detection system 3.
  • the correction data D2 is data obtained at least based on the movement information regarding the movement status of the moving body 6. That is, the correction unit 12 corrects the drawing position of the marker M1 on the drawing unit 11 based on at least the correction data D2 that reflects the moving state of the moving body 6.
  • the drawing unit 11 does not directly determine the drawing position of the marker M1 from the position of the object 50 based on the detection result D1 of the detection system 3, but the correction unit 12 corrects the position.
  • the drawing position of the marker M1 is determined from the performed position.
  • the drawing position of the marker M1 before correction by the correction unit 12 is also referred to as a “pre-correction position”, and the drawing position of the corrected marker M1 is also referred to as a “post-correction position”.
  • the pre-correction position is a position obtained based on the detection result D1 of the detection system 3
  • the post-correction position is a position obtained by performing correction based on the correction data D2 for the pre-correction position.
  • the drawing of the marker M1 by the drawing unit 11 is performed according to the post-correction position, not the pre-correction position.
  • the correction unit 12 acquires the position of the object 50 based on the detection result D1 of the detection system 3 as the pre-correction position from the input information processing unit 14, and acquires the correction data D2 from the prediction unit 15.
  • the correction unit 12 corrects the drawing position using these information (position before correction and correction data D2), and outputs the corrected position to the drawing unit 11.
  • the correction unit 12 determines the content of the marker M1 based on the correction data D2. That is, in the present embodiment, the correction unit 12 corrects not only the drawing position of the marker M1 in the drawing unit 11 but also the content of the marker M1 drawn by the drawing unit 11 based on the correction data D2.
  • the "contents of the marker M1" as used in the present disclosure means the contents (contents) of a figure, a symbol, a character, a number, a design, a photograph, etc., or a combination thereof as the marker M1.
  • the correction unit 12 corrects the contents of the marker M1 to change the characters included in the marker M1.
  • the content of the marker M1 may include an aspect of the marker M1 (circle, frame, figure, arrow, balloon, icon, etc.).
  • correction unit 12 The operation of the correction unit 12 will be described in detail in the column of "(2.4.1) Correction operation".
  • the interpolation unit 13 interpolates the interpolation marker M11 as the updated marker M1 based on the interpolation data D3. That is, the interpolation unit 13 interpolates the updated marker M1 (interpolation marker M11) in the drawing unit 11 based on at least the interpolation data D3.
  • the interpolated data D3 is data obtained at least based on the movement information regarding the movement status of the moving body 6.
  • the drawing position of the marker M1 before interpolation in the interpolation unit 13 is also referred to as a "reference position", and the drawing position of the marker M1 (interpolation marker M11) after interpolation is also referred to as an "interpolation position”.
  • the reference position is a position obtained based on the detection result D1 of the detection system 3
  • the interpolation position is a position obtained by performing interpolation based on the interpolation data D3 for the reference position.
  • the drawing of the interpolation marker M11 by the drawing unit 11 is performed according to the interpolation position, not the reference position.
  • the correction unit 12 since the correction unit 12 is provided in the front stage of the drawing unit 11, the reference position is not the position before correction but the position after correction after correction by the correction unit 12.
  • the interpolation unit 13 acquires the corrected position as a reference position from the correction unit 12, and acquires the interpolation data D3 from the prediction unit 15. The interpolation unit 13 obtains the interpolation position using these information (reference position and interpolation data D3), and outputs the interpolation position to the drawing unit 11. As a result, the drawing unit 11 can draw the marker M1 (interpolation marker M11) at the interpolation position, and the interpolation unit 13 interpolates the interpolation marker M11. In short, in the present embodiment, the drawing position of the marker M1 (interpolation marker M11) is changed from the reference position to the interpolation position by the interpolation of the interpolation marker M11 in the interpolation unit 13. That is, in the present embodiment, the interpolation unit 13 determines the drawing position of the interpolation marker M11 based on the interpolation data D3.
  • the interpolation unit 13 determines the content of the interpolation marker M11 based on the interpolation data D3. That is, in the present embodiment, the interpolation unit 13 interpolates not only the drawing position of the interpolation marker M11 in the drawing unit 11 but also the content of the interpolation marker M11 drawn by the drawing unit 11 based on the interpolation data D3. ..
  • the "contents of the interpolation marker M11" referred to in the present disclosure means the contents (contents) of figures, symbols, characters, numbers, symbols, photographs, etc., or a combination thereof as the interpolation marker M11.
  • the interpolation unit 13 corrects the contents of the interpolation marker M11, so that the characters included in the interpolation marker M11 change.
  • the content of the interpolation marker M11 may include aspects of the interpolation marker M11 (circle, frame, figure, arrow, balloon, icon, etc.).
  • the correction adjustment unit 121 adjusts the strength of the correction by the correction unit 12.
  • the "intensity of correction” referred to in the present disclosure means the degree to which the correction by the correction unit 12 acts, that is, the degree of effectiveness of the correction, and the greater the intensity, the higher the effect of the correction by the correction unit 12.
  • the strength of the correction increases, the upper limit of the amount of displacement from the pre-correction position to the post-correction position increases.
  • the correction strength can be adjusted between "0" and "1”
  • the correction function by the correction unit 12 is invalidated when the correction strength is "0", and the correction strength becomes "0".
  • the correction adjustment unit 121 may select one intensity from a plurality of levels of intensity, or may continuously change the intensity.
  • the interpolation adjustment unit 131 adjusts the strength of interpolation by the interpolation unit 13.
  • the "interpolation intensity" referred to in the present disclosure means the degree to which the interpolation by the interpolation unit 13 acts, that is, the effectiveness of the interpolation, and the greater the intensity, the higher the effect of the interpolation by the interpolation unit 13. As an example, as the strength of interpolation increases, the upper limit of the amount of displacement from the reference position to the interpolation position increases. Further, for example, if the interpolation intensity can be adjusted between "0" and "1", the interpolation function by the interpolation unit 13 is invalidated when the interpolation intensity is "0", and the interpolation intensity is "0". When it is "1", the interpolation function by the interpolation unit 13 is effective.
  • the interpolation adjustment unit 131 may select one intensity from a plurality of levels of intensity, or may continuously change the intensity.
  • the input information processing unit 14 is an input interface for the detection result D1 and the vehicle information D5.
  • the input information processing unit 14 acquires the detection result D1 from the detection system 3 every first cycle T1.
  • the input information processing unit 14 acquires the vehicle information D5 from the ECU 4 at any time.
  • Communication between the input information processing unit 14 and the detection system 3 (communication unit 33) or the ECU 4 is realized by, for example, a communication method compliant with Ethernet (registered trademark) or CAN (Controller Area Network).
  • the input information processing unit 14 outputs the detection result D1 and the vehicle information D5 to each of the correction unit 12, the prediction unit 15, and the storage unit 16.
  • the prediction unit 15 generates correction data D2 and interpolation data D3.
  • the correction data D2 is data obtained at least based on the movement information regarding the movement status of the moving body 6.
  • the interpolated data D3 is data obtained based on at least movement information regarding the movement status of the moving body 6.
  • the movement information is predicted from at least the past behavior of the moving body 6.
  • the "behavior" referred to in the present disclosure includes a posture (direction), a moving speed, a moving amount (including a moving distance and a moving angle), a moving direction, an acceleration, a moving time, a posture or a locus at the time of moving, and the like. That is, the prediction unit 15 predicts the movement information regarding the current movement status of the moving body 6 from the past behavior of the moving body 6, and obtains the correction data D2 and the interpolation data D3 based on the movement information.
  • the correction data D2 is obtained based on the object information regarding the movement status of the object 50 in addition to the movement information.
  • the interpolated data D3 is obtained based on at least the object information regarding the movement status of the object 50. That is, in the present embodiment, both the correction data D2 and the interpolation data D3 are data obtained based on both the movement information regarding the movement status of the moving body 6 and the object information regarding the movement status of the object 50.
  • the object information is predicted from at least the past behavior of the object 50. That is, the prediction unit 15 predicts the object information regarding the current movement state of the object 50 from the past behavior of the object 50, and obtains the correction data D2 and the interpolation data D3 based on the object information.
  • prediction unit 15 The operation of the prediction unit 15 will be described in detail in the column of "(2.4.1) correction operation” or "(2.4.2) interpolation operation".
  • the storage unit 16 includes a rewritable non-volatile memory such as an EEPROM (Electrically Erasable Programmable Read-Only Memory).
  • the storage unit 16 stores at least the past behavior of the moving body 6 and the past behavior of the object 50. Therefore, the prediction unit 15 reads the past behavior of the moving body 6 and the past behavior of the object 50 from the storage unit 16 and uses them for the prediction of the movement information and the object information.
  • EEPROM Electrical Erasable Programmable Read-Only Memory
  • the sensor 17 is mounted on the moving body main body 61 and is a sensor for detecting the moving state of the moving body 6.
  • the sensor 17 is a gyro sensor (angular velocity sensor) whose detection target is “angular velocity”.
  • the sensor 17 uses each of the three axes of the X-axis (horizontal direction of the moving body 6), the Y-axis (front-back direction of the moving body 6), and the Z-axis (vertical direction) orthogonal to each other as detection axes, and each detection The angular velocity around the axis is the detection target. That is, according to the sensor 17, it is possible to detect the angular velocities of the moving body 6 in the pitching direction, the rolling direction, and the yawing direction.
  • the filter 18 is provided after the sensor 17, and appropriately filters the output signal of the sensor 17.
  • the output signal of the sensor 17 filtered by the filter 18 is input to the prediction unit 15.
  • first scene in which the pedestrian 51 is detected as the object 50 by the detection system 3
  • second scene in which the traffic light 55 is detected as the object 50 by the detection system 3.
  • the operation of the drawing system 1 will be described. Basically, the operation of the drawing system 1 in the first scene will be described, and the operation of the drawing system 1 in the second scene will be described in the column of "(2.4.3) Second scene”.
  • FIGS. 4 to 6B show a part of the field of view of the user 62 including the marker M1 displayed by the display system 10.
  • FIG. 6A it is assumed that the marker M1 is drawn at the position before correction (the drawing position of the marker M1 before correction by the correction unit 12), and in FIG. 6B, the position after correction (the marker after correction by the correction unit 12) is assumed. It is assumed that the marker M1 is drawn at the drawing position of M1).
  • FIGS. 6A and 6B reference numerals, leader lines, and the like are shown for illustration purposes only, and are not actually visually recognized by the user 62.
  • FIG. 4 is a schematic diagram conceptually showing how a delay occurs from the time when the object 50 is detected by the detection system 3 to the time when the marker M1 is drawn by the drawing unit 11 in the drawing system 1. That is, as shown in FIG. 4, after the event that the object 50 (pedestrian 51) appears, the drawing unit 11 draws the marker M1 based on the detection result D1 of the detection system 3 for this event.
  • delays can occur due to various factors. For example, in the detection system 3, there may be a delay (acquisition delay) of about several tens of ms from the imaging (exposure) by the camera 31 to the output of the captured image by the camera 31.
  • a delay (transmission delay) of about several tens to several hundreds ms may occur.
  • an inter-frame delay due to the frame rate of the camera 31 may occur.
  • a delay period of Td1 occurs from the time when the object 50 is detected by the detection system 3 to the time when the marker M1 is drawn by the drawing unit 11 in the drawing system 1.
  • the start point of the delay period Td1 is the time when the object 50 is detected by the detection system 3
  • the end point of the delay period Td1 is the time when the marker M1 is drawn by the drawing unit 11.
  • the delay period Td1 has a length of 500 ms.
  • V1 indicates the field of view of the user 62 at the start point of the delay period Td1
  • V2 indicates the field of view of the user 62 at the end point of the delay period Td1. That is, since both the moving body 6 and the object 50 can move during the delay period Td1, the position of the target object 50 (pedestrian 51) in the field of view of the user 62 (driver of the moving body 6) changes. Can be.
  • the positional relationship between the representative point P1 of the detection system 3 (moving body 6) and the representative point P2 of the object 50 can change during the delay period Td1.
  • the drawing time of the marker M1 on the drawing unit 11 (that is, the end point of the delay period Td1) is set as the current time, and in addition to the representative points P1 and P2 at the present time, the detection time of the object 50 by the detection system 3 (that is, the end point of the object 50). That is, the representative points P1 and P2 at the start point of the delay period Td1) are shown.
  • the drawing time of the marker M1 on the drawing unit 11 that is, the end point of the delay period Td1
  • the detection time of the object 50 by the detection system 3 that is, the end point of the object 50. That is, the representative points P1 and P2 at the start point of the delay period Td1) are shown.
  • the current representative points P1 and P2 are expressed as “P1 (t)” and “P2 (t)”, respectively, and are representative of the time when the object 50 is detected by the detection system 3 (the starting point of the delay period Td1).
  • the points P1 and P2 are referred to as "P1 (t-Td1)” and “P2 (t-Td1)", respectively.
  • the relative position of the object 50 as seen from the detection system 3 (moving body 6) at the present time (t) is represented by the coordinate position of the following “Equation 1”.
  • the relative position of the object 50 as seen from the detection system 3 (moving body 6) at the time of detection of the object 50 by the detection system 3 (starting point of the delay period Td1) is the following “Equation 2”. It is represented by the coordinate position of.
  • the misalignment of the marker M1 is corrected by the correction in the correction unit 12, and the position corresponding to the object 50 (pedestrian 51) is set as shown in FIG. 6B.
  • Marker M1 can be displayed. That is, the correction unit 12 corrects the drawing position of the marker M1 on the drawing unit 11 based on the correction data D2 in which at least the movement information (information regarding the movement status of the moving body 6) is reflected.
  • the correction data D2 is data obtained based on the object information regarding the movement status of the object 50 in addition to the movement information. That is, the correction of the correction unit 12 reflects the movement status of the moving body 6 and the movement status of the object 50.
  • the marker M1 corresponding to the position of the pedestrian 51, which is the object 50 is drawn.
  • an annular marker M1 is drawn at the feet of the pedestrian 51, which is the object 50, so as to surround the pedestrian 51.
  • the movement information reflected in the correction data D2 is the moving body 6 in the delay period Td1 including at least the period from the detection time of the object 50 in the detection system 3 to the drawing time in the drawing unit 11. Information about the movement status of.
  • the movement status of the moving body 6 and the object 50 in the delay period Td1 is reflected in the correction by the correction unit 12, and it becomes easy to reduce the deviation of the display position of the marker M1 due to the delay period Td1.
  • the correction unit 12 corrects the drawing position of the marker M1 on the drawing unit 11 based on the correction data D2 generated by the prediction unit 15.
  • the prediction unit 15 predicts the movement status (movement information) of the moving body 6 in the delay period Td1 from at least the past behavior of the moving body 6.
  • the prediction unit 15 can predict the movement status of the moving body 6 in the delay period Td1 by using the output signal of the sensor 17 acquired during the delay period Td1. That is, since the output signal of the sensor 17 reflects the moving state of the moving body 6 in real time, the prediction unit 15 predicts the moving state of the moving body 6 in the delay period Td1 from the output signal of the sensor 17. It is possible.
  • the prediction unit 15 predicts the movement status (object information) of the object 50 in the delay period Td1 from at least the past behavior of the object 50. Specifically, the prediction unit 15 can predict the movement status of the object 50 in the delay period Td1 by using the detection result D1 of the detection system 3 acquired at least immediately before the delay period Td1. That is, in the detection result D1 of the detection system 3, when the object 50 is moving, the movement status (for example, movement speed, movement amount, movement direction, acceleration, movement time) of the object 50 is described as an attribute of the object 50. Or, it contains information indicating the posture when moving, etc.).
  • the prediction unit 15 can predict the movement status of the object 50 in the delay period Td1 from at least the movement status of the object 50 immediately before the delay period Td1.
  • the prediction unit 15 also predicts the movement status of the object 50 in the delay period Td1 with respect to the type of the object 50 as an attribute of the object 50 included in the detection result D1 of the detection system 3. You may use it.
  • the prediction unit 15 sets the amount of change ⁇ X1 and ⁇ Y1 in the relative position of the object 50 as seen from the detection system 3 (moving body 6) in the delay period Td1, for example. , Calculated by the following "Equation 3".
  • ⁇ X (t-Td1) in “Equation 3” is the relative acceleration of the moving body 6 and the object 50 in the X-axis direction at the time point (t-Td1), “ ⁇ Y (t-Td1)". ) ”Is the relative acceleration of the moving body 6 and the object 50 in the Y-axis direction at the time point (t—Td1).
  • V X (t-Td1) in “Equation 3” is the relative velocity of the moving body 6 and the object 50 in the X-axis direction at the time point (t-Td1)
  • VY (t) is It is the relative velocity of the moving body 6 and the object 50 in the Y-axis direction at the time point (t-Td1).
  • the prediction unit 15 includes the calculated changes ⁇ X1 and ⁇ Y1 in the correction data D2 and outputs them to the correction unit 12.
  • the correction unit 12 can correct the drawing position of the marker M1 on the drawing unit 11 based on the changes ⁇ X1 and ⁇ Y1.
  • FIG. 7 is an explanatory diagram conceptually showing the operation of the detection system 3 and the drawing system 1.
  • the vertical axis is the time axis, and the timing at which the drawing system 1 acquires the detection result D1 from the detection system 3 and the timing at which the drawing system 1 draws or updates the marker M1 are shown.
  • FIG. 7 schematically shows the fields of view V1 to V7 of the user 62 when the drawing system 1 draws or updates the marker M1. Each of these fields of view V1 to V7 shows a part of the field of view of the user 62 including the marker M1 displayed by the display system 10.
  • reference numerals, leader lines, and the like are shown only for the sake of explanation, and they are not actually visually recognized by the user 62.
  • the drawing system 1 acquires the detection result D1 of the detection system 3 for each first cycle T1. Then, the drawing unit 11 draws the marker M1 according to the position of the object 50 based on the detection result D1 of the detection system 3 at least every first cycle T1.
  • the drawing position of the marker M1 described in the column of “(2.4.1) Correction operation” has been corrected. Therefore, at the timing when the drawing unit 11 draws the marker M1 based on the detection result D1 of the detection system 3 every first cycle T1, the marker M1 is displayed at a position corresponding to the object 50 (pedestrian 51). It is possible. That is, in the field of view of the user 62 shown by “V1” and “V7” in FIG. 7, the marker M1 is drawn at a position corresponding to the object 50 (pedestrian 51).
  • the drawing unit 11 updates the marker M1 every second cycle T2, which is shorter than the first cycle T1. That is, the drawing unit 11 receives each time the second cycle T2 elapses during the first cycle T1 from the acquisition of the detection result D1 of the detection system 3 to the next acquisition of the detection result D1 by the drawing system 1.
  • the marker M1 will be updated. Since both the moving body 6 and the object 50 can move during the second cycle T2, the position of the object 50 (pedestrian 51) in the field of view of the user 62 can change.
  • the positional relationship between the representative point P1 of the detection system 3 (moving body 6) and the representative point P2 of the object 50 can change during the second cycle T2.
  • the drawing time of the marker M1 based on the detection result D1 of the detection system 3 is set as the current time, and in addition to the representative points P1 and P2 at the current time, the time when the second cycle T2 has elapsed from the current time (that is, the update of the marker M1).
  • the representative points P1 and P2 at the time point are shown.
  • the current representative points P1 and P2 are referred to as “P1 (t)” and “P2 (t)”, respectively, and the representative points P1 and P2 at the time when the second cycle T2 has elapsed from the current time (update time). Are expressed as “P1 (t + T2)” and “P2 (t + T2)", respectively.
  • the relative position of the object 50 as seen from the detection system 3 (moving body 6) at the present time (t) is represented by the coordinate position of the above "Equation 1".
  • the relative position of the object 50 as seen from the detection system 3 (moving body 6) at the time when the second period T2 elapses from the present time (update time) is the coordinate position of the following “Equation 4”. It is represented by.
  • the drawing unit 11 updates the marker M1 every second cycle T2 by interpolation by the interpolation unit 13, the position corresponding to the object 50 (pedestrian 51) is set.
  • the interpolation marker M11 can be displayed. That is, the interpolation unit 13 determines the drawing position of the interpolation marker M11 based on the interpolation data D3 in which at least the movement information (information regarding the movement status of the moving body 6) is reflected.
  • the interpolation data D3 is data obtained based on the object information regarding the movement status of the object 50 in addition to the movement information.
  • the movement status of the moving body 6 and the movement status of the object 50 are reflected in the interpolation marker M11 interpolated by the interpolation unit 13.
  • the interpolation marker M11 corresponding to the position of the pedestrian 51, which is the object 50 is drawn even in the field of view of the user 62 shown by “V2” to “V6”.
  • an annular interpolation marker M11 is drawn at the foot of the pedestrian 51, which is the object 50, so as to surround the pedestrian 51.
  • the interpolation unit 13 interpolates the interpolation marker M11 as the updated marker M1 in the drawing unit 11 based on the interpolation data D3 generated by the prediction unit 15.
  • the prediction unit 15 predicts the movement status (movement information) of the moving body 6 in the second cycle T2 from at least the past behavior of the moving body 6.
  • the prediction unit 15 can predict the movement status of the moving body 6 in the second cycle T2 by using the output signal of the sensor 17 acquired during the second cycle T2. That is, since the output signal of the sensor 17 reflects the moving state of the moving body 6 in real time, the prediction unit 15 predicts the moving state of the moving body 6 in the second cycle T2 from the output signal of the sensor 17. It is possible to do.
  • the prediction unit 15 predicts the movement status (object information) of the object 50 in the second cycle T2 from at least the past behavior of the object 50. Specifically, the prediction unit 15 can predict the movement status of the object 50 in the second cycle T2 by using the detection result D1 of the detection system 3 acquired at least immediately before the second cycle T2. That is, in the detection result D1 of the detection system 3, when the object 50 is moving, the movement status (for example, movement speed, movement amount, movement direction, acceleration, movement time) of the object 50 is described as an attribute of the object 50. Or, it contains information indicating the posture when moving, etc.). Therefore, the prediction unit 15 can predict the movement status of the object 50 in the second cycle T2 from at least the movement status of the object 50 immediately before the second cycle T2. Here, the prediction unit 15 also predicts the movement status of the object 50 in the second cycle T2 with respect to the type of the object 50 as an attribute of the object 50 included in the detection result D1 of the detection system 3. It may be used for.
  • the prediction unit 15 determines the relative position of the object 50 as seen from the detection system 3 (moving body 6) at the elapsed time (update time) of the second cycle T2.
  • the amount of change ⁇ X2 and ⁇ Y2 of is calculated by, for example, the following “Equation 5”.
  • ⁇ X (t) in “Equation 5" is the relative acceleration of the moving body 6 and the object 50 in the X-axis direction at the present time (t)
  • ⁇ Y (t) is the current time (t).
  • V X (t) in “Equation 5" is the relative velocity of the moving body 6 and the object 50 in the X-axis direction at the present time (t)
  • V Y (t) is the current time (t). Is the relative velocity of the moving body 6 and the object 50 in the Y-axis direction.
  • the prediction unit 15 includes the calculated change amounts ⁇ X2 and ⁇ Y2 in the interpolation data D3 and outputs them to the interpolation unit 13. As a result, the interpolation unit 13 can determine the drawing position of the interpolation marker M11 based on the changes ⁇ X2 and ⁇ Y2.
  • the drawing system 1 performs interpolation by the interpolation unit 13 as described above every time the drawing unit 11 updates the marker M1. That is, the interpolation by the interpolation unit 13 is performed every second period T2. Therefore, as shown in FIG. 7, in any of "V2" to "V6", the interpolation marker M11 corresponding to the position of the pedestrian 51, which is the object 50, is drawn in the field of view of the user 62. Become.
  • FIG. 8 shows the field of view of the user 62 who is driving the moving body 6.
  • reference numerals, leader lines, and the like are shown only for the sake of explanation, and they are not actually visually recognized by the user 62.
  • the traffic light 55 detected as the object 50 by the detection system 3 is installed in front of the moving body 6 as shown in FIG.
  • the marker M1 corresponding to the position of the traffic light 55, which is the object 50 is drawn. Specifically, a marker M1 composed of a blowout pointing to the object 50 is drawn below the traffic light 55 which is the object 50. That is, the marker M1 is displayed at a position corresponding to the traffic light 55 which is the object 50 (here, the same position as the traffic light 55 which is the object 50) in a plan view (overhead view). Further, in the example of FIG. 8, since the traffic light 55, which is the object 50, is “red”, the marker M1 displays a character string “STOP” in the outlet, which urges the vehicle to stop. As a result, to the eyes of the user 62, it appears as if a blowout (marker M1) is emitted from the traffic light 55 (object 50).
  • the moving body 6 moves, so that the target object 50 moves relatively from the moving body 6. That is, if the moving body 6 is moving, as shown in FIG. 9, the positional relationship between the representative point P1 of the detection system 3 (moving body 6) and the representative point P2 of the object 50 is the delay period Td1 and It may change during the second period T2.
  • the representative points P1 and P2 at the present time in addition to the representative points P1 and P2 at the present time, the representative points P1 and P2 at the time when the object 50 is detected by the detection system 3, and further, the representative points at the time when the second cycle T2 elapses from the present time. Points P1 and P2 are shown. In FIG.
  • the current representative points P1 and P2 are referred to as “P1 (t)” and “P2 (t)”, respectively, and the representative point P1 at the time of detection of the object 50 by the detection system 3 is “P1 (t)”.
  • -Td1) is written.
  • the representative point P1 at the time when the second cycle T2 has elapsed from the present time is referred to as "P1 (t + T2)".
  • FIG. 10 is a flowchart showing an example of the overall operation of the drawing system 1, that is, the overall flow of the drawing method.
  • the drawing system 1 acquires the detection result D1 of the detection system 3 from the detection system 3 by the input information processing unit 14 (S1).
  • the drawing system 1 confirms the information on the presence / absence of the object 50 included in the detection result D1 of the detection system 3 (S2).
  • the drawing system 1 If there is an object 50 (S2: Yes), the drawing system 1 generates correction data D2 by the prediction unit 15 based on at least the movement information regarding the movement status of the moving body 6 (S3). Then, the drawing system 1 executes a correction process for correcting the drawing position of the marker M1 by the correction unit 12 based on the generated correction data D2 (S4). Further, the drawing system 1 executes a drawing process in which the drawing unit 11 draws the marker M1 at the corrected drawing position (corrected position) (S5).
  • the drawing system 1 determines whether or not the second cycle T2 has passed (S6), and if the second cycle T2 has not passed (S6: No), waits.
  • the drawing system 1 generates the interpolation data D3 by the prediction unit 15 based on at least the movement information regarding the movement status of the moving body 6 (S7).
  • the drawing system 1 executes an interpolation process of interpolating the interpolation marker M11 by the interpolation unit 13 based on the generated interpolation data D3 (S8).
  • the interpolation marker M11 interpolated by the interpolation process is drawn when the drawing unit 11 updates.
  • the drawing system 1 determines whether or not the first cycle T1 has passed (S9), and if the first cycle T1 has not passed (S9: No), returns to the process S6. When the first cycle T1 elapses (S9: Yes), the drawing system 1 returns to the process S1.
  • the drawing system 1 determines whether or not the first cycle T1 has passed (S10), and if the first cycle T1 has not passed, (S10: No), wait. When the first cycle T1 elapses (S10: Yes), the drawing system 1 returns to the process S1.
  • the drawing system 1 repeatedly executes the processes S1 to S10 as described above.
  • the flowchart of FIG. 10 is merely an example of the operation of the drawing system 1, and the processing may be omitted or added as appropriate, or the order of the processing may be changed as appropriate.
  • the first embodiment is only one of the various embodiments of the present disclosure.
  • the first embodiment can be changed in various ways depending on the design and the like as long as the object of the present disclosure can be achieved.
  • Each figure described in the present disclosure is a schematic view, and the ratio of the size and the thickness of each component in each figure does not necessarily reflect the actual dimensional ratio.
  • the same function as the drawing system 1 according to the first embodiment may be realized by a drawing method, a program, a non-temporary recording medium on which the program is recorded, or the like.
  • the drawing method includes a drawing process (corresponding to "S5" in FIG. 10) and a correction process (corresponding to "S4" in FIG. 10).
  • the drawing process is a process of drawing the marker M1 according to the position of the object 50 based on the detection result D1 of the detection system 3.
  • the detection system 3 is mounted on the moving body 6 to detect the object 50.
  • the correction process is a process of determining the drawing position of the marker M1 in the drawing process by performing a correction based on the correction data D2 on the position of the object 50 based on the detection result D1 of the detection system 3.
  • the correction data D2 is obtained at least based on the movement information regarding the movement status of the moving body 6.
  • the program according to one aspect is a program for causing one or more processors to execute the above drawing method.
  • the drawing method includes a drawing process (corresponding to "S5" in FIG. 10) and an interpolation process (corresponding to "S8" in FIG. 10).
  • the drawing process is a process of drawing the marker M1 according to the position of the object 50 at least every first cycle T1 based on the detection result D1 of the detection system 3.
  • the detection system 3 detects the object 50 and outputs the detection result D1 for each first cycle T1.
  • the interpolation process is a process of interpolating the interpolation marker M11 as the updated marker M1 based on the interpolation data D3 when the marker M1 is updated every second cycle T2 shorter than the first cycle T1.
  • the program according to the other aspect is a program for causing one or more processors to execute the above drawing method.
  • the drawing system 1 in the present disclosure includes a computer system.
  • a computer system mainly consists of a processor and a memory as hardware.
  • the program may be pre-recorded in the memory of the computer system, may be provided through a telecommunications line, and may be recorded on a non-temporary recording medium such as a memory card, optical disk, hard disk drive, etc. that can be read by the computer system. May be provided.
  • a processor in a computer system is composed of one or more electronic circuits including a semiconductor integrated circuit (IC) or a large scale integrated circuit (LSI).
  • IC semiconductor integrated circuit
  • LSI large scale integrated circuit
  • the integrated circuit such as IC or LSI referred to here has a different name depending on the degree of integration, and includes an integrated circuit called a system LSI, VLSI (Very Large Scale Integration), or ULSI (Ultra Large Scale Integration).
  • an FPGA Field-Programmable Gate Array
  • a plurality of electronic circuits may be integrated on one chip, or may be distributed on a plurality of chips.
  • the plurality of chips may be integrated in one device, or may be distributed in a plurality of devices.
  • the computer system referred to here includes a microprocessor having one or more processors and one or more memories. Therefore, the microprocessor is also composed of one or a plurality of electronic circuits including a semiconductor integrated circuit or a large-scale integrated circuit.
  • the drawing system 1 it is not an essential configuration for the drawing system 1 that at least a part of the functions of the drawing system 1 are integrated in one housing, and the components of the drawing system 1 are dispersed in a plurality of housings. It may be provided.
  • the correction unit 12 or the interpolation unit 13 of the drawing system 1 may be provided in a housing different from the drawing unit 11.
  • at least a part of the functions of the drawing system 1 may be realized by a cloud (cloud computing) or the like.
  • At least a part of the plurality of functions distributed in the plurality of devices may be integrated in one housing.
  • the functions distributed in the drawing system 1 and the detection system 3 may be integrated in one housing.
  • the display device 2 does not have to be integrated with the drawing system 1, and the drawing system 1 and the display device 2 constituting the display system 10 may be housed in separate housings.
  • the moving body 6 on which the display system 10 is mounted is not limited to an automobile (passenger car), but may be, for example, a large vehicle such as a truck or a bus, a motorcycle, a train, an electric cart, a construction machine, an aircraft, a ship, or the like. good.
  • the drawing system 1 may draw the marker M1 according to the position of the object 50, and various driving support information such as vehicle speed information, navigation information, vehicle ahead vehicle information, lane deviation information, or vehicle condition information, for example. May be drawn as the marker M1.
  • various driving support information such as vehicle speed information, navigation information, vehicle ahead vehicle information, lane deviation information, or vehicle condition information, for example. May be drawn as the marker M1.
  • the display device 2 is not limited to a configuration for displaying a virtual image like a head-up display.
  • the display device 2 may be a liquid crystal display, an organic EL (Electro Luminescence) display, or a projector device.
  • the display device 2 may be a display device of a car navigation system, an electronic mirror system, or a multi-information display mounted on the mobile body main body 61.
  • the values of the first cycle T1 and the second cycle T2 shown in the first embodiment are merely examples, the first cycle T1 may be other than 600 ms, and the second cycle T2 may be other than 100 ms.
  • the first cycle T1 may be 100 ms
  • the second cycle T2 may be 16.7 ms
  • the first cycle T1 may be 100 ms
  • the second cycle T2 may be 20 ms
  • the first cycle T1 may be 80 ms
  • the second cycle T1 may be 80 ms.
  • the period T2 may be 50 ms.
  • the length of the delay period Td1 shown in the first embodiment is only an example, and the length of the delay period Td1 may be other than 500 ms.
  • the length of the delay period Td1 is appropriately determined according to the system configuration and the like in the range of, for example, 10 ms or more and 1 s or less.
  • the length of the delay period Td1 may be 50 ms, 150 ms, or 300 ms.
  • the senor 17 targets the angular velocity of three axes, and the sensor 17 may detect the angular velocity of one axis, two axes, or four or more axes.
  • the sensor 17 is not limited to the gyro sensor whose detection target is the angular velocity, and may be, for example, a sensor whose detection target is acceleration, angular acceleration, speed, or the like in addition to or in place of the angular velocity.
  • the prediction unit 15 does not have to be included in the drawing system 1, and for example, the function of the prediction unit 15 may be provided in the detection system 3 or the ECU 4.
  • the drawing system 1 acquires the correction data D2 and the interpolation data D3 obtained by the prediction unit 15 of the detection system 3 or the ECU 4 from the detection system 3 or the ECU 4.
  • the prediction unit 15 may predict the movement information regarding the movement status of the moving body 6 and the object information regarding the movement status of the object 50 by using, for example, a machine-learned classifier.
  • the classifier may be capable of performing relearning while the drawing system 1 is in use.
  • the classifier may include, for example, a linear classifier such as SVM (Support Vector Machine), a classifier using a neural network, or a classifier generated by deep learning using a multi-layer neural network. ..
  • the trained neural network includes, for example, CNN (Convolutional Neural Network) or BNN (Bayesian Neural Network). obtain.
  • the prediction unit 15 is realized by mounting a trained neural network on an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array).
  • the drawing system 1A according to the present embodiment is a drawing system according to the first embodiment in that the interpolation unit 13 (see FIG. 1) and the interpolation adjustment unit 131 (see FIG. 1) are omitted. Different from 1.
  • the same configurations as those in the first embodiment will be designated by a common reference numeral and description thereof will be omitted as appropriate.
  • the prediction unit 15 since the interpolation unit 13 is omitted, the prediction unit 15 does not generate the interpolation data D3 (see FIG. 1).
  • the operation of the correction unit 12 is the same as that of the first embodiment, and the correction unit 12 corrects the drawing position of the marker M1 on the drawing unit 11 based on the correction data D2.
  • the second cycle T2 in which the drawing unit 11 updates the marker M1 is the same as the first cycle T1 in which the drawing system 1A acquires the detection result D1 of the detection system 3, or is from the first cycle T1. Will be long. Therefore, in the drawing system 1A according to the present embodiment, it is possible to draw the marker M1 based on the detection result D1 of the detection system 3 every second cycle T2, and the interpolation by the interpolation unit 13 is unnecessary. be.
  • the drawing system (1,1A) includes a drawing unit (11) and a correction unit (12).
  • the drawing unit (11) draws a marker (M1) according to the position of the object (50) based on the detection result (D1) of the detection system (3).
  • the detection system (3) is mounted on the moving body (6) to detect the object (50).
  • the correction unit (12) corrects the position of the object (50) based on the detection result (D1) of the detection system (3) based on the correction data (D2), thereby causing the drawing unit (11) to correct the position.
  • the drawing position of the marker (M1) is determined.
  • the correction data (D2) is obtained at least based on the movement information regarding the movement status of the moving body (6).
  • the correction based on the correction data (D2) is performed instead of drawing the marker (M1) at the position of the object (50) based on the detection result (D1) of the detection system (3).
  • a marker (M1) is drawn at the later drawing position. Therefore, for example, even if delays due to processing in the detection system (3) occur, the influence of these delays can be reduced with respect to the display position of the marker (M1) that is finally displayed.
  • the correction since the correction is performed based on the movement status of the moving body (6) on which the detection system (3) is mounted, the detection system (3) itself within the delay period (delay period Td1) as described above It is possible to reduce the deviation of the display position due to the movement.
  • the movement information is predicted from at least the past behavior of the moving body (6).
  • the correction data (D2) is not only the movement information but also the object information regarding the movement status of the object (50). Obtained based on.
  • the object information is predicted from at least the past behavior of the object (50).
  • the marker (M1) has a depth according to the distance from the detection system (3) to the object (50). It is a three-dimensional image having position information of a direction.
  • the distance from the detection system (3) to the object (50) can also be reflected in the display of the marker (M1).
  • the drawing system (1, 1A) further includes an interpolation unit (13) in any one of the first to fifth aspects.
  • the detection system (3) outputs a detection result (D1) for each first cycle (T1).
  • the drawing unit (11) draws the marker (M1) based on the detection result (D1) of the detection system (3) at least every first cycle (T1), and is shorter than the first cycle (T1).
  • the marker (M1) is updated every two cycles (T2).
  • the interpolation unit (13) uses the interpolation marker (M11) as the updated marker (M1) as the interpolation data (D3). Interpolate based on.
  • the update is performed.
  • the latter marker (M1) is interpolated based on the interpolated data (D3). Therefore, even during the first cycle (T1), the marker (M1) can be changed each time the marker (M1) is updated, and the marker (M1) moves relatively smoothly. As a result, unnatural behavior of the marker (M1) is unlikely to occur.
  • the correction unit (12) determines the content of the marker (M1) based on the correction data (D2). ..
  • the content of the marker (M1) can be appropriately corrected.
  • the drawing system (1,1A) according to the eighth aspect further includes a correction adjustment unit (121) for adjusting the strength of the correction by the correction unit (12) in any one of the first to seventh aspects.
  • the movement information is information regarding the movement status of the moving body (6) at least in the delay period (Td1).
  • the delay period (Td1) is a period including a period from the detection time of the object (50) by the detection system (3) to the drawing time by the drawing unit (11).
  • the display system (10) according to the tenth aspect displays the drawing system (1,1A) according to any one of the first to ninth aspects and the marker (M1) drawn by the drawing system (1,1A).
  • the display device (2) is provided.
  • the correction based on the correction data (D2) is performed instead of drawing the marker (M1) at the position of the object (50) based on the detection result (D1) of the detection system (3).
  • a marker (M1) is drawn at the later drawing position. Therefore, for example, even if delays due to processing in the detection system (3) occur, the influence of these delays can be reduced with respect to the display position of the marker (M1) that is finally displayed.
  • the correction since the correction is performed based on the movement status of the moving body (6) on which the detection system (3) is mounted, the detection system (3) itself within the delay period (delay period Td1) as described above It is possible to reduce the deviation of the display position due to the movement.
  • the mobile body (6) according to the eleventh aspect includes a display system (10) according to the tenth aspect and a mobile body main body (61) on which the display system (10) is mounted.
  • the correction based on the correction data (D2) is performed instead of drawing the marker (M1) at the position of the object (50) based on the detection result (D1) of the detection system (3).
  • a marker (M1) is drawn at the later drawing position. Therefore, for example, even if delays due to processing in the detection system (3) occur, the influence of these delays can be reduced with respect to the display position of the marker (M1) that is finally displayed.
  • the correction since the correction is performed based on the movement status of the moving body (6) on which the detection system (3) is mounted, the detection system (3) itself within the delay period (delay period Td1) as described above It is possible to reduce the deviation of the display position due to the movement.
  • the drawing method includes a drawing process and a correction process.
  • the drawing process is a process of drawing a marker (M1) according to the position of the object (50) based on the detection result (D1) of the detection system (3).
  • the detection system (3) is mounted on the moving body (6) to detect the object (50).
  • the correction process the position of the object (50) based on the detection result (D1) of the detection system (3) is corrected based on the correction data (D2), so that the marker (M1) is drawn in the drawing process.
  • This is the process of determining the position.
  • the correction data (D2) is obtained at least based on the movement information regarding the movement status of the moving body (6).
  • the correction based on the correction data (D2) is performed instead of drawing the marker (M1) at the position of the object (50) based on the detection result (D1) of the detection system (3).
  • a marker (M1) is drawn at the later drawing position. Therefore, for example, even if delays due to processing in the detection system (3) occur, the influence of these delays can be reduced with respect to the display position of the marker (M1) that is finally displayed.
  • the correction since the correction is performed based on the movement status of the moving body (6) on which the detection system (3) is mounted, the detection system (3) itself within the delay period (delay period Td1) as described above It is possible to reduce the deviation of the display position due to the movement.
  • the program according to the thirteenth aspect is a program for causing one or more processors to execute the drawing method according to the twelfth aspect.
  • the correction based on the correction data (D2) is performed instead of drawing the marker (M1) at the position of the object (50) based on the detection result (D1) of the detection system (3).
  • a marker (M1) is drawn at the later drawing position. Therefore, for example, even if delays due to processing in the detection system (3) occur, the influence of these delays can be reduced with respect to the display position of the marker (M1) that is finally displayed.
  • the correction since the correction is performed based on the movement status of the moving body (6) on which the detection system (3) is mounted, the detection system (3) itself within the delay period (delay period Td1) as described above It is possible to reduce the deviation of the display position due to the movement.
  • various configurations (including modified examples) of the drawing system (1,1A) according to the first and second embodiments can be embodied by a drawing method or a program.
  • the configurations according to the second to ninth aspects are not essential configurations for the drawing system (1,1A) and can be omitted as appropriate.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示の目的は、検知システム自体の移動に伴う表示位置のずれを低減することである。描画システム(1)は、描画部(11)と、補正部(12)と、を備える。描画部(11)は、検知システム(3)の検知結果(D1)に基づいて、対象物の位置に応じたマーカの描画を行う。検知システム(3)は、移動体に搭載されて対象物を検知する。補正部(12)は、検知システム(3)の検知結果(D1)に基づく対象物の位置に対し、補正データ(D2)に基づく補正を行うことにより、描画部(11)でのマーカの描画位置を決定する。補正データ(D2)は、少なくとも移動体の移動状況に関する移動情報に基づいて求まる。

Description

描画システム、表示システム、移動体、描画方法及びプログラム
 本開示は、一般に描画システム、表示システム、移動体、描画方法及びプログラムに関し、より詳細には、対象物を検知する検知システムの検知結果に基づいて画像の描画を行う描画システム、表示システム、移動体、描画方法及びプログラムに関する。
 特許文献1には、接近移動体を車両内の画面に表示するための接近移動体表示装置が記載されている。この接近移動体表示装置では、交差点等に配置されたカメラで撮像された画像に基づいて、カメラの前方の道路を移動する接近移動体(移動体)を認識し、認識された接近移動体の位置情報から同移動体の画面上の仮想表示位置を算出する。
 さらに、特許文献1に記載の接近移動体表示装置は、画像の撮像時点に対する表示部での表示時点の時間遅れに基づいて、接近移動体の仮想表示位置を補正する補正機能を有している。具体的には、補正機能では、撮像画像から、カメラと接近移動体との間の距離及び接近移動体の移動速度等を算出し、算出結果より、時間遅れに基づいて、接近移動体の仮想表示位置を補正する。
 しかし、特許文献1に記載の構成では、基本的に、カメラは交差点等に定点設置されるのであって、対象物(接近移動体)を検知するための検知システム(カメラ)自体の移動に伴う表示位置のずれについては解消されない。
特開2008-46744号公報
 本開示の目的は、検知システム自体の移動に伴う表示位置のずれを低減し得る描画システム、表示システム、移動体、描画方法及びプログラムを提供することである。
 本開示の一態様に係る描画システムは、描画部と、補正部と、を備える。前記描画部は、検知システムの検知結果に基づいて、対象物の位置に応じたマーカの描画を行う。前記検知システムは、移動体に搭載されて前記対象物を検知する。前記補正部は、前記検知システムの検知結果に基づく前記対象物の位置に対し、補正データに基づく補正を行うことにより、前記描画部での前記マーカの描画位置を決定する。前記補正データは、少なくとも前記移動体の移動状況に関する移動情報に基づいて求まる。
 本開示の一態様に係る表示システムは、前記描画システムと、前記描画システムで描画された前記マーカを表示する表示装置と、を備える。
 本開示の一態様に係る移動体は、表示システムと、前記表示システムが搭載される移動体本体と、を備える。
 本開示の一態様に係る描画方法は、描画処理と、補正処理と、を有する。前記描画処理は、検知システムの検知結果に基づいて、対象物の位置に応じたマーカの描画を行う処理である。前記検知システムは、移動体に搭載されて前記対象物を検知する。前記補正処理は、前記検知システムの検知結果に基づく前記対象物の位置に対し、補正データに基づく補正を行うことにより、前記描画処理での前記マーカの描画位置を決定する処理である。前記補正データは、少なくとも前記移動体の移動状況に関する移動情報に基づいて求まる。
 本開示の一態様に係るプログラムは、前記描画方法を、1以上のプロセッサに実行させるためのプログラムである。
図1は、実施形態1に係る描画システム及び表示システムの構成を示す概略ブロック図である。 図2は、同上の表示システムの動作例を説明するためのユーザの視界を表す説明図である。 図3は、図2のシチュエーションを説明するための俯瞰図である。 図4は、同上の描画システムにおいて、遅延が生じる様子を、概念的に表す模式図である。 図5は、同上の表示システムの動作例を説明するための第1のシーンを表す概念図である。 図6Aは、同上の表示システムの動作例を説明するためのユーザの視界の一部を示し、補正前位置にマーカを描画した場合の説明図である。図6Bは、同上の表示システムの動作例を説明するためのユーザの視界の一部を示し、補正後位置にマーカを描画した場合の説明図である。 図7は、同上の描画システムの動作例を説明するための概念図である。 図8は、同上の表示システムの第2のシーンにおける動作例を説明するためのユーザの視界を表す説明図である。 図9は、同上の表示システムの動作例を説明するための第2のシーンを表す概念図である。 図10は、実施形態1に係る描画システム及び表示システムの全体動作を説明するフローチャートである。 図11は、実施形態2に係る描画システム及び表示システムの構成を示す概略ブロック図である。
 (実施形態1)
 (1)概要
 まず、本実施形態に係る描画システム1の概要について、図1~図3を参照して説明する。
 本実施形態に係る描画システム1は、検知システム3の検知結果D1に基づいてマーカM1(図2参照)の描画を行うシステムである。検知システム3は、対象物50(図2参照)を検知するためのシステムである。本実施形態では、検知システム3は、移動体6(図2参照)に搭載されている。
 本実施形態では、描画システム1は、表示装置2と共に表示システム10を構成する。言い換えれば、本実施形態に係る表示システム10は、描画システム1と、表示装置2と、を備えている。表示装置2は、描画システム1で描画されたマーカM1を表示する装置である。
 この描画システム1は、例えば、図2及び図3に示すように、移動体6の前方の「歩行者」等を検知する検知システム3にて歩行者等が対象物50として検知された場合に、この対象物50の位置に応じたマーカM1の描画を行う。そして、描画システム1で描画されたマーカM1が表示装置2にて表示されることにより、例えば、図2に示すように、ユーザ62から見て対象物50(歩行者)の足元に、マーカ状のマーカM1を表示することが可能である。
 本実施形態に係る表示システム10は、移動体本体61(図2参照)に搭載され、移動体本体61と共に移動体6(図2参照)を構成する。すなわち、本実施形態に係る移動体6は、表示システム10と、移動体本体61と、を備えている。移動体本体61には、表示システム10が搭載されている。
 ここにおいて、本実施形態に係る描画システム1は、描画部11と、補正部12と、を備えている。描画部11は、検知システム3の検知結果D1に基づいて、対象物50の位置に応じたマーカM1の描画を行う。検知システム3は、移動体6に搭載されて対象物50を検知する。補正部12は、検知システム3の検知結果D1に基づく対象物50の位置に対し、補正データD2に基づく補正を行うことにより、描画部11でのマーカM1の描画位置を決定する。ここで、補正データD2は、少なくとも移動体6の移動状況に関する移動情報に基づいて求まる。
 この構成によれば、描画部11は、検知システム3の検知結果D1に基づく対象物50の位置にマーカM1を描画するのではなく、補正部12にて補正データD2に基づく補正が行われた後の描画位置にマーカM1を描画する。そのため、例えば、検知システム3内での処理に起因した遅延、又は検知システム3から描画システム1への検知結果D1の伝送に起因した遅延等が生じても、最終的に表示されるマーカM1の表示位置に関しては、これらの遅延の影響を低減できる。特に、補正部12は、検知システム3が搭載されている移動体6の移動状況に基づいて補正を行うので、上述したような遅延の期間(遅延期間)内での検知システム3自体の移動に伴う表示位置のずれを低減し得る。
 また、本実施形態に係る描画システム1は、描画部11と、補間部13と、を備えている。描画部11は、検知システム3の検知結果D1に基づいて、少なくとも第1周期T1(図7参照)ごとに、対象物50の位置に応じたマーカM1の描画を行う。ここでいう検知システム3は、対象物50を検知して検知結果D1を第1周期T1ごとに出力する。補間部13は、描画部11が第1周期T1よりも短い第2周期T2(図7参照)ごとにマーカM1を更新するに際して、更新後のマーカM1としての補間マーカM11(図7参照)を補間データD3に基づいて補間する。
 この構成によれば、検知システム3が検知結果D1を出力する第1周期T1よりも、描画部11がマーカM1を更新する第2周期T2の方が短い場合において、更新後のマーカM1(補間マーカM11)が補間データD3に基づいて補間される。したがって、例えば、検知システム3が検知結果D1を出力してから次に検知結果D1を出力するまでの第1周期T1の間においても、マーカM1が更新される度にマーカM1を変化させることができ、マーカM1は比較的スムーズに動くことになる。その結果、不自然なマーカM1の挙動が生じにくい。
 (2)詳細
 以下、本実施形態に係る描画システム1、表示システム10及び移動体6について、図1~図10を参照して詳細に説明する。
 (2.1)前提
 本開示でいう「移動体」は、上述したように表示システム10と、移動体本体61と、を備えている。本実施形態では一例として、移動体6は、人が運転する自動車(乗用車)であることとする。
 本開示でいう「マーカ」は、ユーザ62(図2参照)が視認可能な態様で表示装置2により表示される画像を意味する。マーカM1は、図形、記号、文字、数字、図柄若しくは写真等、又はこれらの組み合わせであってもよい。この種のマーカM1は、動画(動画像)及び静止画(静止画像)を含む。さらに、「動画」は、コマ撮り等により得られる複数の静止画にて構成される画像を含む。本実施形態では一例として、描画システム1が描画するマーカM1は、所定のリフレッシュレートにて更新される(つまり書き換えられる)動画であると仮定する。さらに、本実施形態では一例として、描画システム1が描画するマーカM1は、互いに直交するX軸,Y軸,Z軸の3軸からなる三次元空間上に表示される三次元画像であると仮定する。つまり、描画システム1によって描画されるマーカM1は、縦方向及び横方向の位置情報に加えて、検知システム3から対象物50までの距離に応じた奥行方向の位置情報を持つ三次元画像である。
 本開示でいう「ユーザ」は、描画システム1にて描画されるマーカM1、つまり表示システム10にて表示されるマーカM1を見る人を意味する。本実施形態では一例として、移動体6としての自動車の運転者(driver)がユーザ62であると仮定する。
 本開示でいう「対象物」は、検知システム3での検知の対象となる物標であって、人若しくは小動物等の生物、又は別の移動体、壁、ガードレール若しくは信号機等の構造物等がある。ここでいう「人」には、歩行者、走っている人、立ち止まっている人、座っている人、寝転んでいる人及び自転車に乗っている人等を含む。さらに、三次元の物標に限らず、例えば、道路に描かれた白線又は文字等の二次元の物標についても、対象物50に含まれ得る。本実施形態では、移動体6の周辺、特に移動体6の進行方向の前方に位置する物標であって、さらに移動体6を運転するユーザ62に注目させたい物標を、対象物50の例とする。具体的には、図8及び図9の例を除き、対象物50は、移動体6の進行方向の前方に位置する歩行者51である場合について説明する。図8及び図9の例では、対象物50は移動体6の進行方向の前方に位置する信号機55である。
 本開示でいう「移動状況」は、移動に関する状況を意味し、例えば、移動速度、移動量(移動距離及び移動角度を含む)、移動方向、加速度、移動時間又は移動時の姿勢等を含む。例えば、移動体6の移動状況であれば、移動体6の移動速度、移動量、移動方向又は加速度等を含む。このような移動状況は、例えば、車速パルス、移動体本体61にかかる加速度、アクセルペダルの踏込量(アクセル開度)、ブレーキペダルの踏込量又は舵角等、移動体本体61に搭載されたセンサにて検出可能である。さらに、移動体6の移動状況は、GPS(Global Positioning System)等を用いて検出可能な移動体本体61の位置情報からも検出可能である。
 本開示でいう「第1周期」は、検知システム3が検知結果D1を出力する周期である。つまり、検知システム3は、第1周期T1ごとに検知結果D1を出力する。また、本開示でいう「第2周期」は、描画部11がマーカM1を更新する周期である。つまり、描画部11は、第2周期T2ごとにマーカM1を更新する(つまり書き換える)。そして、第1周期T1と第2周期T2とを比較すると、第2周期T2の方が相対的に短く、第1周期T1の方が相対的に長い(T1>T2)。要するに、描画部11がマーカM1を更新する周期(第2周期T2)は、検知システム3が検知結果D1を出力する周期(第1周期T1)よりも短いため、検知システム3が検知結果D1を1回出力する間に、描画部11はマーカM1を1回以上更新する。本実施形態では一例として、第1周期T1が600msで、第2周期T2が100msであると仮定する。
 (2.2)全体構成
 次に、本実施形態に係る描画システム1、表示システム10及び移動体6の全体構成について説明する。
 描画システム1には、図1に示すように、表示装置2及び検知システム3が接続される。表示装置2及び検知システム3は、描画システム1と共に、移動体6の移動体本体61に搭載されている。つまり、本実施形態に係る移動体6は、描画システム1及び移動体本体61に加えて、表示装置2及び検知システム3を更に備えている。
 さらに、描画システム1には、移動体本体61のECU(Electronic Control Unit)4が接続されている。本実施形態では、ECU4は、描画システム1の構成要素には含まれないこととするが、ECU4は、描画システム1の構成要素に含まれてもよい。
 表示装置2は、描画システム1で描画されたマーカM1を表示する。ここでは、表示装置2には、描画システム1から画像データD4が入力されている。画像データD4は、描画システム1で描画されたマーカM1が含まれている。そのため、表示装置2は、画像データD4の表示を行うことにより、描画システム1で描画されたマーカM1を表示する。
 本実施形態では一例として、表示装置2は、ヘッドアップディスプレイ(HUD:Head-Up Display)である。この表示装置2は、移動体本体61のウインドシールド611(図2参照)に下方からマーカM1を投影することで、ウインドシールド611で反射されたマーカM1をユーザ62(移動体6の運転者)に視認させる。
 このような表示装置2によれば、移動体6の前方(車外)の空間に投影された虚像を、ウインドシールド611越しに視認しているように、ユーザ62が知覚することになる。本開示でいう「虚像」は、表示装置2から出射される光がウインドシールド611等の反射物にて発散するとき、その発散光線によって、実際に物体があるように結ばれる像を意味する。そのため、移動体6を運転しているユーザ62は、移動体6の前方に広がる実空間に重ねて、表示装置2にて投影される虚像としてのマーカM1を視認する。
 特に、本実施形態では、マーカM1は、検知システム3から対象物50までの距離に応じた奥行方向の位置情報を持つ三次元画像である。そのため、表示装置2は、移動体6の前方の路面54上に奥行きをもって視認されるマーカM1を投影可能である。
 具体的には、表示装置2は、図2に示すように、ユーザ62(移動体6の運転者)の視界において、検知システム3にて検知された対象物50(ここでは歩行者51)の周辺となる位置に、マーカM1を表示する。これにより、ユーザ62においては、対象物50の周辺に、立体的なマーカM1が重ねて表示されて見えるため、対象物50への注意が喚起される。すなわち、ユーザ62の視界においては、実空間上に表示装置2が表示するマーカM1が合成された、拡張現実(AR:Augmented Reality)表示が実現される。
 さらに、表示装置2は、描画システム1と一体化されており、表示システム10を構成する描画システム1及び表示装置2は、1つの筐体内に収容されている。そして、表示システム10(描画システム1及び表示装置2)は、移動体本体61のダッシュボード612内に設置されている。
 検知システム3は、上述したように移動体6(移動体本体61)に搭載されている。検知システム3としては、例えば、移動体6の先進運転支援システム(ADAS:Advanced Driver Assistance System)、又は自動運転システム等の検知システム3が利用される。先進運転支援システム又は自動運転技術においては、検知システム3にて、例えば、移動体6の周辺の対象物50の存在を検知することが可能である。
 検知システム3は、例えば、カメラ31(図4参照)、ソナーセンサ、レーダ及びLiDAR(Light Detection and Ranging)等のセンシング手段を有している。検知システム3は、これらのセンシング手段にて、移動体6の周辺、特に移動体6の進行方向の前方に位置する対象物50を検知する。検知システム3は、検知結果D1を第1周期T1ごとに描画システム1に出力する。
 本実施形態では、検知システム3は、例えば、図4に示すように、カメラ31等のセンシング手段に加えて、処理部32及び通信部33を有している。処理部32は、カメラ31等の出力信号について適宜の信号処理を行い、対象物50を検知する。通信部33は、描画システム1と通信することで、検知結果D1を描画システム1に出力(送信)する。
 検知システム3の検知結果D1は、監視領域(移動体6の進行方向の前方の所定領域)における対象物50の有無の情報を含んでいる。さらに、対象物50が存在する場合、検知システム3の検知結果D1は、検知システム3(移動体6)から見た対象物50の相対位置に関する情報、及び対象物50の属性に関する情報を含んでいる。
 本開示でいう「相対位置」は、検知システム3(移動体6)の代表点P1(図5参照)を基準とした場合の、代表点P1から見た対象物50の代表点P2(図5参照)の位置を意味する。特に本実施形態では、「相対位置」は、平面視(俯瞰視)において代表点P1を原点とするX-Y座標系での座標位置にて表される。ここで、X軸は移動体6の横方向(左右方向)に延びる軸であって、Y軸は移動体6の縦方向(前後方向)に延びる軸である。このような相対位置によれば、例えば、検知システム3(移動体6)から対象物50までの距離等も特定可能である。
 また、本開示でいう「属性」は、例えば、対象物50が移動しているか否か、対象物50が移動している場合には、その移動状況(例えば、移動速度、移動量、移動方向、加速度、移動時間又は移動時の姿勢等)を表す情報を意味する。さらに、本実施形態では、対象物50の属性は、対象物50の種別、つまり、人か否か、移動体(人、自動車若しくは自転車等)か固定物か、又は街路樹、信号機、ガードレール等の区別を含む。また、対象物50の属性には、対象物50の大きさ又は色等も含む。さらに、対象物50が人であれば、その性別、身長、体型又は年齢層等も、対象物50の属性に含み得る。
 ECU4は、描画システム1に対して車両情報D5を出力する。車両情報D5は、移動体6のローカルな状態を表す情報であって、移動体本体61に搭載されたセンサにて検出可能な情報である。具体例としては、車両情報D5は、車速パルス(移動体本体61の移動速度)、移動体本体61にかかる加速度、アクセルペダルの踏込量(アクセル開度)、ブレーキペダルの踏込量又は舵角等の情報を含んでいる。つまり、車両情報D5は、移動体6の移動状況を特定可能な情報を含んでいる。
 さらに、ドライバモニタで検出されるユーザ62の脈拍、表情及び視線等、並びに、車幅、車高、全長及びアイポイント等の移動体本体61に固有の情報も、車両情報D5に含まれ得る。また、車両情報D5は、移動体6の位置に基づく位置情報、例えば、移動体6の現在位置における道路情報等、GPS等を用いて検出可能な情報も含み得る。位置情報の具体例としては、自車位置における道路の車線数、交差点か否か、丁字路か否か、一方通行か否か、車道幅、歩道の有無、勾配又はカーブの曲率等がある。
 上述したような表示装置2、検知システム3及びECU4が接続されることにより、描画システム1は、例えば、図2に示すようなマーカM1の表示を実現する。すなわち、描画システム1は、少なくとも検知システム3の検知結果D1に基づいて、対象物50の位置に応じたマーカM1の描画を行う。本実施形態では、描画システム1は、検知システム3からは検知結果D1を、ECU4からは車両情報D5をそれぞれ取得し、これらの情報に基づいてマーカM1を描画する。描画システム1は、描画したマーカM1を表示装置2に表示させるための画像データD4を生成し、この画像データD4を表示装置2に出力することで、表示装置2にマーカM1の表示を行わせる。
 図2は、図3に示す状態の移動体6を運転中であるユーザ62の視界を示している。図2において、参照符号及び引き出し線等は、説明のために表記しているに過ぎず、これらが実際にユーザ62に視認される訳ではない。ここでは、検知システム3にて対象物50として検知される歩行者51は、図2及び図3に示すように、移動体6の前方であって、移動体6が走行中の路面54上に設けられた横断歩道541を横断している。
 図2の例では、対象物50である歩行者51の位置に応じたマーカM1が描画されている。具体的には、対象物50である歩行者51の足元に、歩行者51を囲むように円環状のマーカM1が描画されている。すなわち、マーカM1は、平面視(俯瞰視)において、対象物50である歩行者51に対応する位置(ここでは対象物50である歩行者51と同じ位置)に、路面54に重畳するように表示される。これにより、ユーザ62の目には、あたかも円環状のマーカM1内に歩行者51(対象物50)が立っているかのように映ることになる。
 本実施形態では、描画システム1は、検知システム3にて対象物50が検知されて初めて、マーカM1の描画を行う。言い換えれば、検知システム3の検知結果D1が「対象物なし」であれば描画システム1はマーカM1の描画を行わず、検知システム3の検知結果D1が「対象物あり」であれば描画システム1はマーカM1の描画を行う。そのため、検知システム3の監視領域(移動体6の進行方向の前方の所定領域)に対象物50が存在しない状態では、描画システム1は、マーカM1の描画を行わず、結果的に、表示装置2でのマーカM1の表示は行われない。
 また、描画システム1は、移動体6から見て対象物50が相対的に移動する場合には、マーカM1にて対象物50を追跡するように、マーカM1の描画位置を変化させつつマーカM1の描画を行う。ここで、移動体6に対する対象物50の相対的な移動は、移動体6と対象物50との少なくとも一方が移動することで生じ得る。つまり、移動体6が定位置にある場合でも、対象物50が歩行者51のように移動する物標であれば、移動体6から見て対象物50が相対的に移動する。また、対象物50が定位置にある場合でも、移動体6が移動することで、移動体6から見て対象物50が相対的に移動する。いずれの場合でも、描画システム1は、図2に示すように、マーカM1にて対象物50を追跡するように、マーカM1の描画位置を変化させつつマーカM1の描画を行う。
 ところで、描画システム1にて描画されるマーカM1は、図2に示す態様に限らない。例えば、マーカM1は、正面視において対象物50を囲むような枠であってもよいし、単なる図形であってもよいし、対象物50を指し示す矢印若しくは吹出し、又は対象物50を模したアイコン(図像)等であってもよい。さらに、マーカM1の表示位置についても、対象物50に対応する位置であればよく、例えば、対象物50の手前に対象物50と重なるように表示されてもよいし、対象物50の上方又は側方に表示されてもよい。また、マーカM1は、例えば、時間経過に伴って明滅、変色、変形又は移動(回転等を含む)するような、動きを持った(つまり変化する)マーカM1であってもよい。この場合に、例えば、対象物50である歩行者51の歩調に同期してマーカM1が跳ねる等、マーカM1の動きを対象物50の動きに同期させることが好ましい。
 (2.3)描画システムの構成
 次に、本実施形態に係る描画システム1の構成について、より詳しく説明する。
 本実施形態では、描画システム1は、図1に示すように、描画部11、補正部12及び補間部13に加えて、補正調整部121、補間調整部131、入力情報処理部14、予測部15、記憶部16、センサ17及びフィルタ18を更に備えている。
 本実施形態では一例として、描画システム1は、1以上のプロセッサ及び1以上のメモリを有するコンピュータシステム(サーバ、クラウドコンピューティングを含む)を主構成とする。プロセッサは、メモリに記録されているプログラムを実行することにより、描画システム1の機能を実現する。プログラムは、予めメモリに記録されていてもよいし、メモリカードのような非一時的記録媒体に記録されて提供されたり、電気通信回線を通して提供されたりしてもよい。言い換えれば、上記プログラムは、1以上のプロセッサを、描画システム1として機能させるためのプログラムである。例えば、少なくとも描画部11、補正部12、補間部13、補正調整部121、補間調整部131、入力情報処理部14及び予測部15については、コンピュータシステムにて実現可能である。
 描画部11は、検知システム3の検知結果D1に基づいて、対象物50の位置に応じたマーカM1の描画を行う。本実施形態では、描画部11は、少なくとも第1周期T1ごとに、検知システム3の検知結果D1に基づいて、対象物50の位置に応じたマーカM1の描画を行う。第1周期T1は、上述したように検知システム3が検知結果D1を出力する周期である。さらに、描画部11は、第1周期T1よりも短い第2周期T2ごとにマーカM1を更新する。すなわち、描画部11は、少なくとも第1周期T1ごとに検知システム3の検知結果D1に基づいてマーカM1の描画を行い、かつ第1周期T1よりも短い第2周期T2ごとにマーカM1を更新する。
 描画部11は、GPU(Graphics Processing Unit)等で実現され、一例として、OpenGL(Open Graphics Library)に準拠した描画演算処理を実行する。描画部11は、描画したマーカM1を、フレームメモリ(frame memory)に記憶する。ここでいう「フレームメモリ」は、表示装置2に表示される1画面(1フレーム)分の表示内容を記憶するためのメモリ(フレームバッファ(framebuffer))である。フレームメモリは、専用のメモリであってもよいし、コンピュータシステムのメモリのうちの一部の領域で構成されていてもよい。
 補正部12は、検知システム3の検知結果D1に基づく対象物50の位置に対し、補正データD2に基づく補正を行うことにより、描画部11でのマーカM1の描画位置を決定する。ここにおいて、補正データD2は、少なくとも移動体6の移動状況に関する移動情報に基づいて求まるデータである。すなわち、補正部12は、少なくとも移動体6の移動状況が反映された補正データD2に基づいて、描画部11でのマーカM1の描画位置を補正している。これにより、描画部11は、検知システム3の検知結果D1に基づく対象物50の位置から直接的にマーカM1の描画位置を決定するのではなく、当該位置に対して補正部12での補正が行われた位置からマーカM1の描画位置を決定する。
 ここで、補正部12での補正前のマーカM1の描画位置を「補正前位置」とも呼び、補正後のマーカM1の描画位置を「補正後位置」とも呼ぶ。そうすると、補正前位置は、検知システム3の検知結果D1に基づいて求まる位置であり、補正後位置は、補正前位置について補正データD2に基づく補正が行われることで求まる位置である。そして、描画部11でのマーカM1の描画は、補正前位置ではなく、補正後位置に応じて行われる。
 本実施形態では、補正部12は、検知システム3の検知結果D1に基づく対象物50の位置を補正前位置として入力情報処理部14から取得し、補正データD2を予測部15から取得する。補正部12は、これらの情報(補正前位置及び補正データD2)を用いて描画位置の補正を行い、補正後位置を描画部11に出力する。
 また、補正部12は、補正データD2に基づいてマーカM1の内容を決定する。すなわち、本実施形態では、補正部12は、補正データD2に基づいて、描画部11でのマーカM1の描画位置だけでなく、描画部11で描画されるマーカM1の内容についても補正する。本開示でいう「マーカM1の内容」は、マーカM1としての図形、記号、文字、数字、図柄若しくは写真等、又はこれらの組み合わせの内容(コンテンツ)を意味する。例えば、マーカM1が文字を含む場合には、補正部12がマーカM1の内容を補正することで、マーカM1に含まれる文字が変化する。さらに、マーカM1の内容には、マーカM1の態様(円環、枠、図形、矢印、吹出し又はアイコン等)も含み得る。
 補正部12の動作について詳しくは、「(2.4.1)補正動作」の欄で説明する。
 補間部13は、描画部11が第2周期T2ごとにマーカM1を更新するに際して、更新後のマーカM1としての補間マーカM11を補間データD3に基づいて補間する。すなわち、補間部13は、少なくとも補間データD3に基づいて、描画部11での更新後のマーカM1(補間マーカM11)を補間している。本実施形態では、補間データD3は、少なくとも移動体6の移動状況に関する移動情報に基づいて求まるデータである。これにより、検知システム3が検知結果D1を出力してから次に検知結果D1を出力するまでの第1周期T1の間においても、描画部11は、第2周期T2ごとに新たなマーカM1(補間マーカM11)を描画することが可能となる。
 ここで、補間部13での補間前のマーカM1の描画位置を「基準位置」とも呼び、補間後のマーカM1(補間マーカM11)の描画位置を「補間位置」とも呼ぶ。そうすると、基準位置は、検知システム3の検知結果D1に基づいて求まる位置であり、補間位置は、基準位置について補間データD3に基づく補間が行われることで求まる位置である。そして、描画部11での補間マーカM11の描画は、基準位置ではなく、補間位置に応じて行われる。ただし、本実施形態では、描画部11の前段に補正部12が設けられているため、基準位置は、補正前位置ではなく補正部12での補正後の補正後位置である。
 本実施形態では、補間部13は、補正後位置を基準位置として補正部12から取得し、補間データD3を予測部15から取得する。補間部13は、これらの情報(基準位置及び補間データD3)を用いて補間位置を求め、補間位置を描画部11に出力する。これにより、描画部11では、補間位置へのマーカM1(補間マーカM11)の描画が可能となり、補間部13にて補間マーカM11が補間されることになる。要するに、本実施形態では、補間部13での補間マーカM11の補間により、マーカM1(補間マーカM11)の描画位置が基準位置から補間位置に変化する。つまり、本実施形態では、補間部13は、補間データD3に基づいて補間マーカM11の描画位置を決定する。
 また、補間部13は、補間データD3に基づいて補間マーカM11の内容を決定する。すなわち、本実施形態では、補間部13は、補間データD3に基づいて、描画部11での補間マーカM11の描画位置だけでなく、描画部11で描画される補間マーカM11の内容についても補間する。本開示でいう「補間マーカM11の内容」は、補間マーカM11としての図形、記号、文字、数字、図柄若しくは写真等、又はこれらの組み合わせの内容(コンテンツ)を意味する。例えば、補間マーカM11が文字を含む場合には、補間部13が補間マーカM11の内容を補正することで、補間マーカM11に含まれる文字が変化する。さらに、補間マーカM11の内容には、補間マーカM11の態様(円環、枠、図形、矢印、吹出し又はアイコン等)も含み得る。
 補間部13の動作について詳しくは、「(2.4.2)補間動作」の欄で説明する。
 補正調整部121は、補正部12による補正の強度を調整する。本開示でいう「補正の強度」は、補正部12による補正が作用する度合い、つまり補正の効き具合を意味し、強度が大きくなるほどに、補正部12による補正の効果が高くなる。一例として、補正の強度が大きくなれば、補正前位置から補正後位置への変位量の上限値が大きくなる。また、例えば、補正の強度が「0」と「1」との間で調整可能であれば、補正の強度が「0」のときには補正部12による補正機能が無効になり、補正の強度が「1」のときには補正部12による補正機能が有効になる。補正調整部121は、複数段階の強度の中から1つの強度を選択してもよいし、強度を連続的に変化させてもよい。
 補間調整部131は、補間部13による補間の強度を調整する。本開示でいう「補間の強度」は、補間部13による補間が作用する度合い、つまり補間の効き具合を意味し、強度が大きくなるほどに、補間部13による補間の効果が高くなる。一例として、補間の強度が大きくなれば、基準位置から補間位置への変位量の上限値が大きくなる。また、例えば、補間の強度が「0」と「1」との間で調整可能であれば、補間の強度が「0」のときには補間部13による補間機能が無効になり、補間の強度が「1」のときには補間部13による補間機能が有効になる。補間調整部131は、複数段階の強度の中から1つの強度を選択してもよいし、強度を連続的に変化させてもよい。
 入力情報処理部14は、検知結果D1及び車両情報D5の入力インタフェースである。入力情報処理部14は、検知結果D1については、検知システム3から第1周期T1ごとに取得する。入力情報処理部14は、車両情報D5については、ECU4から随時取得する。ここでは、入力情報処理部14が車両情報D5を取得する周期は、第1周期T1に比べて十分に短いこととする。入力情報処理部14と検知システム3(通信部33)又はECU4の間の通信は、例えば、イーサネット(登録商標)又はCAN(Controller Area Network)等に準拠した通信方式により実現される。入力情報処理部14は、検知結果D1及び車両情報D5を、補正部12、予測部15及び記憶部16の各々に出力する。
 予測部15は、補正データD2及び補間データD3を生成する。上述したように、補正データD2は、少なくとも移動体6の移動状況に関する移動情報に基づいて求まるデータである。補間データD3も同様に、少なくとも移動体6の移動状況に関する移動情報に基づいて求まるデータである。ここで、移動情報は、少なくとも移動体6の過去の挙動から予測される。本開示でいう「挙動」は、姿勢(向き)、移動速度、移動量(移動距離及び移動角度を含む)、移動方向、加速度、移動時間、移動時の姿勢又は軌跡等を含む。つまり、予測部15では、移動体6の過去の挙動から、現在の移動体6の移動状況に関する移動情報を予測し、この移動情報に基づいて、補正データD2及び補間データD3を求める。
 また、本実施形態では、補正データD2は、移動情報に加えて、対象物50の移動状況に関する対象物情報にも基づいて求まる。同様に、補間データD3は、少なくとも対象物50の移動状況に関する対象物情報に基づいて求まる。すなわち、本実施形態では、補正データD2及び補間データD3はいずれも、移動体6の移動状況に関する移動情報と、対象物50の移動状況に関する対象物情報との両方に基づいて求まるデータである。ここで、対象物情報は、少なくとも対象物50の過去の挙動から予測される。つまり、予測部15では、対象物50の過去の挙動から、現在の対象物50の移動状況に関する対象物情報を予測し、この対象物情報に基づいて、補正データD2及び補間データD3を求める。
 予測部15の動作について詳しくは、「(2.4.1)補正動作」又は「(2.4.2)補間動作」の欄で説明する。
 記憶部16は、EEPROM(Electrically Erasable Programmable Read-Only Memory)のような書き換え可能な不揮発性メモリを含む。記憶部16は、少なくとも移動体6の過去の挙動及び対象物50の過去の挙動を記憶する。したがって、予測部15は、移動体6の過去の挙動及び対象物50の過去の挙動を、記憶部16から読み出して、移動情報及び対象物情報の予測に利用する。
 センサ17は、移動体本体61に搭載され、移動体6の移動状況を検出するためのセンサである。本実施形態では一例として、センサ17は、「角速度」を検出対象とするジャイロセンサ(角速度センサ)である。ここでは、センサ17は、互いに直交するX軸(移動体6の左右方向),Y軸(移動体6の前後方向),Z軸(鉛直方向)の3軸の各々を検知軸とし、各検知軸周りの角速度を検出対象とする。つまり、センサ17によれば、移動体6のピッチング(pitching)方向、ローリング(rolling)方向及びヨーイング(yawing)方向の角速度を検出可能である。
 フィルタ18は、センサ17の後段に設けられ、センサ17の出力信号に適宜のフィルタリング処理を施す。フィルタ18でフィルタリングされたセンサ17の出力信号は、予測部15に入力される。
 (2.4)動作
 次に、本実施形態に係る描画システム1の動作、つまり本実施形態に係る描画方法について説明する。
 以下では、検知システム3にて歩行者51が対象物50として検知される「第1のシーン」、及び検知システム3にて信号機55が対象物50として検知される「第2のシーン」を例に、描画システム1の動作を説明する。基本的には、第1のシーンにおける描画システム1の動作について説明し、第2のシーンにおける描画システム1の動作については「(2.4.3)第2のシーン」の欄で説明する。
 第1のシーンでは、図2及び図3に示すように、移動中(走行中)の移動体6の前方に、路面54上に設けられた横断歩道541を横断中の歩行者51が存在することと仮定する。第1のシーンにおいて、移動体6の前方には、歩行者51以外にも、停車中の他車両52,53及び信号機55等の物標が存在する。ただし、第1のシーンでは、検知システム3にて歩行者51のみが対象物50として検知されることを想定している。
 一方、第2のシーンでは、図8及び図9に示すように、移動中(走行中)の移動体6の前方に歩行者が存在しないことと仮定する。第2のシーンにおいて、移動体6の前方には、停車中の他車両52,53及び信号機55等の物標が存在する。第2のシーンでは、検知システム3にて信号機55のみが対象物50として検知されることを想定している。
 (2.4.1)補正動作
 まず、補正部12を中心とした補正動作について、図4~図6Bを参照して説明する。図6A及び図6Bは、いずれも表示システム10により表示されたマーカM1を含むユーザ62の視界の一部を示している。図6Aでは、補正前位置(補正部12での補正前のマーカM1の描画位置)にマーカM1を描画した場合を想定し、図6Bでは、補正後位置(補正部12での補正後のマーカM1の描画位置)にマーカM1を描画した場合を想定する。図6A及び図6Bにおいて、参照符号及び引き出し線等は、説明のために表記しているに過ぎず、これらが実際にユーザ62に視認される訳ではない。
 図4は、検知システム3での対象物50の検知時点から、描画システム1における描画部11でのマーカM1の描画時点にかけて、遅延が生じる様子を、概念的に表す模式図である。すなわち、図4に示すように、対象物50(歩行者51)が出現するというイベントが発生してから、このイベントについての検知システム3の検知結果D1に基づいて描画部11がマーカM1を描画するまでには、様々な要因により遅延が生じ得る。例えば、検知システム3内においては、カメラ31での撮像(露光)からカメラ31が撮像画像を出力するまでに、数十ms程度の遅延(取得遅延)が生じ得る。さらに、検知システム3の検知結果D1が検知システム3から描画システム1に伝送されるに際しても、数十~数百ms程度の遅延(伝送遅延)が生じ得る。他にも、例えば、カメラ31のフレームレートに起因したフレーム間遅延等が生じ得る。
 これらの遅延により、検知システム3での対象物50の検知時点から、描画システム1における描画部11でのマーカM1の描画時点までには、遅延期間Td1という遅延が生じる。本実施形態では、遅延期間Td1の始点は検知システム3での対象物50の検知時点であって、遅延期間Td1の終点は描画部11でのマーカM1の描画時点であることとする。本実施形態では一例として、遅延期間Td1の長さは500msであると仮定する。
 図4では、「V1」が遅延期間Td1の始点におけるユーザ62の視界を示し、「V2」が遅延期間Td1の終点におけるユーザ62の視界を示している。すなわち、遅延期間Td1の間にも、移動体6及び対象物50はいずれも移動し得るため、ユーザ62(移動体6の運転者)の視界における対象物50(歩行者51)の位置は変化し得る。
 要するに、図5に示すように、検知システム3(移動体6)の代表点P1と、対象物50の代表点P2との位置関係は、遅延期間Td1の間に変化し得る。図5では、描画部11でのマーカM1の描画時点(つまり遅延期間Td1の終点)を現時点とし、現時点での代表点P1,P2に加えて、検知システム3での対象物50の検知時点(つまり遅延期間Td1の始点)での代表点P1,P2を示している。図5では、現時点の代表点P1,P2をそれぞれ「P1(t)」、「P2(t)」と表記し、検知システム3での対象物50の検知時点(遅延期間Td1の始点)の代表点P1,P2をそれぞれ「P1(t-Td1)」、「P2(t-Td1)」と表記する。
 すなわち、図5の例において、現時点(t)における検知システム3(移動体6)から見た対象物50の相対位置は、下記「式1」の座標位置で表される。一方、図5の例において、検知システム3での対象物50の検知時点(遅延期間Td1の始点)における検知システム3(移動体6)から見た対象物50の相対位置は、下記「式2」の座標位置で表される。
 (X,Y)=(X(t),Y(t))・・・(式1)
 (X,Y)=(X(t-Td1),Y(t-Td1))・・・(式2)
 このように、検知システム3(移動体6)から見た対象物50の相対位置が、遅延期間Td1の間に変化することで、マーカM1の補正前位置は、図6Aに示すように、対象物50(歩行者51)からずれることになる。すなわち、描画部11でのマーカM1の描画時点(つまり遅延期間Td1の終点)においては、上記式1で表される相対位置に対象物50が存在するところ、検知システム3の検知結果D1は、上記式2で表される相対位置を示している。そのため、補正部12での補正前のマーカM1の描画位置(補正前位置)であれば、図6Aに示すように、実際の対象物50(歩行者51)に対応する位置からずれて、マーカM1が表示されることになる。
 本実施形態に係る描画システム1では、補正部12での補正により、このようなマーカM1の位置ずれを補正し、図6Bに示すように、対象物50(歩行者51)に対応する位置に、マーカM1を表示可能とする。すなわち、補正部12は、少なくとも移動情報(移動体6の移動状況に関する情報)が反映された補正データD2に基づいて、描画部11でのマーカM1の描画位置を補正している。しかも、本実施形態では、補正データD2は、移動情報に加えて、対象物50の移動状況に関する対象物情報にも基づいて求まるデータである。つまり、補正部12の補正には、移動体6の移動状況及び対象物50の移動状況が反映される。その結果、図6Bに示すように、対象物50である歩行者51の位置に応じたマーカM1が描画されることになる。具体的には、対象物50である歩行者51の足元に、歩行者51を囲むように円環状のマーカM1が描画されることになる。
 本実施形態では特に、補正データD2に反映される移動情報は、少なくとも検知システム3での対象物50の検知時点から描画部11での描画時点までの期間を含む遅延期間Td1における、移動体6の移動状況に関する情報である。これにより、遅延期間Td1における移動体6及び対象物50の移動状況が補正部12での補正に反映され、遅延期間Td1に起因したマーカM1の表示位置のずれを低減しやすくなる。
 より詳細には、補正部12は、予測部15にて生成される補正データD2に基づいて、描画部11でのマーカM1の描画位置を補正している。ここで、予測部15は、少なくとも移動体6の過去の挙動から、遅延期間Td1における移動体6の移動状況(移動情報)を予測する。具体的には、予測部15は、遅延期間Td1の間に取得したセンサ17の出力信号を用いることで、遅延期間Td1における移動体6の移動状況を予測することができる。すなわち、センサ17の出力信号は、リアルタイムに、移動体6の移動状況を反映しているので、予測部15では、センサ17の出力信号から、遅延期間Td1における移動体6の移動状況を予測することが可能である。
 さらに、予測部15は、少なくとも対象物50の過去の挙動から、遅延期間Td1における対象物50の移動状況(対象物情報)を予測する。具体的には、予測部15は、少なくとも遅延期間Td1の直前に取得した検知システム3の検知結果D1を用いることで、遅延期間Td1における対象物50の移動状況を予測することができる。すなわち、検知システム3の検知結果D1には、対象物50の属性として、対象物50が移動している場合には、その移動状況(例えば、移動速度、移動量、移動方向、加速度、移動時間又は移動時の姿勢等)を表す情報が含まれている。そのため、予測部15は、少なくとも遅延期間Td1の直前の対象物50の移動状況から、遅延期間Td1における対象物50の移動状況を予測することが可能である。ここで、予測部15は、検知システム3の検知結果D1に含まれている対象物50の属性としての、対象物50の種別等についても、遅延期間Td1における対象物50の移動状況の予測に用いてもよい。
 そして、予測部15は、これらの移動情報及び対象物情報に基づいて、遅延期間Td1における、検知システム3(移動体6)から見た対象物50の相対位置の変化量ΔX1,ΔY1を、例えば、下記「式3」にて算出する。
Figure JPOXMLDOC01-appb-M000001
 ただし、「式3」中の「α(t-Td1)」は、時点(t-Td1)における移動体6と対象物50とのX軸の方向の相対加速度、「α(t-Td1)」は、時点(t-Td1)における移動体6と対象物50とのY軸の方向の相対加速度である。「式3」中の「V(t-Td1)」は、時点(t-Td1)における移動体6と対象物50とのX軸の方向の相対速度、「V(t)」は、時点(t-Td1)における移動体6と対象物50とのY軸の方向の相対速度である。
 予測部15は、算出した変化量ΔX1,ΔY1を、補正データD2に含めて補正部12に出力する。これにより、補正部12では、上記変化量ΔX1,ΔY1に基づいて、描画部11でのマーカM1の描画位置を補正することができる。
 (2.4.2)補間動作
 次に、補間部13を中心とした補間動作について、図5及び図7を参照して説明する。図7は、検知システム3及び描画システム1の動作を概念的に示す説明図である。図7では、縦軸を時間軸として、描画システム1が検知システム3から検知結果D1を取得するタイミング、さらに描画システム1がマーカM1を描画又は更新するタイミングを示している。図7では、描画システム1がマーカM1を描画又は更新したときのユーザ62の視界V1~V7を模式的に示している。これらの視界V1~V7は、いずれも表示システム10により表示されたマーカM1を含むユーザ62の視界の一部を示している。図7において、参照符号及び引き出し線等は、説明のために表記しているに過ぎず、これらが実際にユーザ62に視認される訳ではない。
 図7に示すように、描画システム1は、検知システム3の検知結果D1を第1周期T1ごとに取得する。そして、描画部11は、少なくとも第1周期T1ごとに、検知システム3の検知結果D1に基づいて、対象物50の位置に応じたマーカM1の描画を行う。ここで、図7の例においては、「(2.4.1)補正動作」の欄で説明したマーカM1の描画位置の補正は行われていることと仮定する。そのため、描画部11が、第1周期T1ごとに検知システム3の検知結果D1に基づいてマーカM1の描画を行うタイミングでは、対象物50(歩行者51)に対応する位置に、マーカM1を表示可能である。つまり、図7に「V1」及び「V7」で示すユーザ62の視界においては、対象物50(歩行者51)に対応する位置にマーカM1が描画されることになる。
 さらに、描画部11は、第1周期T1よりも短い第2周期T2ごとにマーカM1を更新する。つまり、描画部11は、描画システム1が検知システム3の検知結果D1を取得してから次に検知結果D1を取得するまでの第1周期T1の間において、第2周期T2が経過するごとにマーカM1の更新を行うことになる。そして、第2周期T2の間にも、移動体6及び対象物50はいずれも移動し得るため、ユーザ62の視界における対象物50(歩行者51)の位置は変化し得る。
 要するに、図5に示すように、検知システム3(移動体6)の代表点P1と、対象物50の代表点P2との位置関係は、第2周期T2の間に変化し得る。図5では、検知システム3の検知結果D1に基づくマーカM1の描画時点を現時点とし、現時点での代表点P1,P2に加えて、現時点から第2周期T2が経過した時点(つまりマーカM1の更新時点)での代表点P1,P2を示している。図5では、現時点の代表点P1,P2をそれぞれ「P1(t)」、「P2(t)」と表記し、現時点から第2周期T2が経過した時点(更新時点)の代表点P1,P2をそれぞれ「P1(t+T2)」、「P2(t+T2)」と表記する。
 すなわち、図5の例において、現時点(t)における検知システム3(移動体6)から見た対象物50の相対位置は、上記「式1」の座標位置で表される。一方、図5の例において、現時点から第2周期T2が経過した時点(更新時点)における検知システム3(移動体6)から見た対象物50の相対位置は、下記「式4」の座標位置で表される。
 (X,Y)=(X(t+T2),Y(t+T2))・・・(式4)
 このように、検知システム3(移動体6)から見た対象物50の相対位置が、第2周期T2の間に変化することで、描画部11でのマーカM1の更新時点においては、対象物50(歩行者51)は、マーカM1の基準位置からずれることになる。すなわち、描画部11でのマーカM1の更新時点においては、上記式4で表される相対位置に対象物50が存在するところ、検知システム3の検知結果D1は、上記式1で表される相対位置を示している。そのため、検知システム3の検知結果D1に基づくマーカM1の描画位置(基準位置)であれば、実際の対象物50(歩行者51)に対応する位置からずれて、マーカM1が表示されることになる。
 本実施形態に係る描画システム1では、補間部13での補間により、描画部11が第2周期T2ごとにマーカM1を更新するに際しても、対象物50(歩行者51)に対応する位置に、補間マーカM11を表示可能とする。すなわち、補間部13は、少なくとも移動情報(移動体6の移動状況に関する情報)が反映された補間データD3に基づいて、補間マーカM11の描画位置を決定している。しかも、本実施形態では、補間データD3は、移動情報に加えて、対象物50の移動状況に関する対象物情報にも基づいて求まるデータである。つまり、補間部13で補間される補間マーカM11には、移動体6の移動状況及び対象物50の移動状況が反映される。その結果、図7に示すように、「V2」~「V6」で示すユーザ62の視界においても、対象物50である歩行者51の位置に応じた補間マーカM11が描画されることになる。具体的には、対象物50である歩行者51の足元に、歩行者51を囲むように円環状の補間マーカM11が描画されることになる。
 より詳細には、補間部13は、予測部15にて生成される補間データD3に基づいて、描画部11での更新後のマーカM1としての補間マーカM11を補間している。ここで、予測部15は、少なくとも移動体6の過去の挙動から、第2周期T2における移動体6の移動状況(移動情報)を予測する。具体的には、予測部15は、第2周期T2の間に取得したセンサ17の出力信号を用いることで、第2周期T2における移動体6の移動状況を予測することができる。すなわち、センサ17の出力信号は、リアルタイムに、移動体6の移動状況を反映しているので、予測部15では、センサ17の出力信号から、第2周期T2における移動体6の移動状況を予測することが可能である。
 さらに、予測部15は、少なくとも対象物50の過去の挙動から、第2周期T2における対象物50の移動状況(対象物情報)を予測する。具体的には、予測部15は、少なくとも第2周期T2の直前に取得した検知システム3の検知結果D1を用いることで、第2周期T2における対象物50の移動状況を予測することができる。すなわち、検知システム3の検知結果D1には、対象物50の属性として、対象物50が移動している場合には、その移動状況(例えば、移動速度、移動量、移動方向、加速度、移動時間又は移動時の姿勢等)を表す情報が含まれている。そのため、予測部15は、少なくとも第2周期T2の直前の対象物50の移動状況から、第2周期T2における対象物50の移動状況を予測することが可能である。ここで、予測部15は、検知システム3の検知結果D1に含まれている対象物50の属性としての、対象物50の種別等についても、第2周期T2における対象物50の移動状況の予測に用いてもよい。
 そして、予測部15は、これらの移動情報及び対象物情報に基づいて、第2周期T2の経過時点(更新時点)での、検知システム3(移動体6)から見た対象物50の相対位置の変化量ΔX2,ΔY2を、例えば、下記「式5」にて算出する。
Figure JPOXMLDOC01-appb-M000002
 ただし、「式5」中の「α(t)」は、現時点(t)における移動体6と対象物50とのX軸の方向の相対加速度、「α(t)」は、現時点(t)における移動体6と対象物50とのY軸の方向の相対加速度である。「式5」中の「V(t)」は、現時点(t)における移動体6と対象物50とのX軸の方向の相対速度、「V(t)」は、現時点(t)における移動体6と対象物50とのY軸の方向の相対速度である。
 予測部15は、算出した変化量ΔX2,ΔY2を、補間データD3に含めて補間部13に出力する。これにより、補間部13では、上記変化量ΔX2,ΔY2に基づいて、補間マーカM11の描画位置を決定することができる。
 描画システム1は、上述したような補間部13による補間を、描画部11がマーカM1を更新する度に行う。つまり、補間部13による補間は、第2周期T2ごとに行われる。したがって、図7に示すように、「V2」~「V6」のいずれにおいても、ユーザ62の視界においては、対象物50である歩行者51の位置に応じた補間マーカM11が描画されることになる。
 (2.4.3)第2のシーン
 次に、検知システム3にて信号機55が対象物50として検知される第2のシーンにおける描画システム1の動作について、図8及び図9を参照して説明する。
 図8は、移動体6を運転中であるユーザ62の視界を示している。図8において、参照符号及び引き出し線等は、説明のために表記しているに過ぎず、これらが実際にユーザ62に視認される訳ではない。ここでは、検知システム3にて対象物50として検知される信号機55は、図8に示すように、移動体6の前方に設置されている。
 図8の例では、対象物50である信号機55の位置に応じたマーカM1が描画されている。具体的には、対象物50である信号機55の下方に、対象物50を指し示す吹出しからなるマーカM1が描画されている。すなわち、マーカM1は、平面視(俯瞰視)において、対象物50である信号機55に対応する位置(ここでは対象物50である信号機55と同じ位置)に表示される。さらに、図8の例では、対象物50である信号機55が「赤」であるため、マーカM1は、吹出し内に「STOP」という、停車を促す文字列を表示している。これにより、ユーザ62の目には、あたかも信号機55(対象物50)から吹出し(マーカM1)が出ているかのように映ることになる。
 このように、対象物50が定位置にある場合でも、移動体6が移動することで、移動体6から見て対象物50が相対的に移動する。すなわち、移動体6が移動していれば、図9に示すように、検知システム3(移動体6)の代表点P1と、対象物50の代表点P2との位置関係は、遅延期間Td1及び第2周期T2の間に変化し得る。図9では、現時点での代表点P1,P2に加えて、検知システム3での対象物50の検知時点での代表点P1,P2、さらには現時点から第2周期T2が経過した時点での代表点P1,P2を示している。図9では、現時点の代表点P1,P2をそれぞれ「P1(t)」、「P2(t)」と表記し、検知システム3での対象物50の検知時点の代表点P1を「P1(t-Td1)」と表記している。さらに、現時点から第2周期T2が経過した時点の代表点P1を「P1(t+T2)」と表記する。
 要するに、対象物50が定位置にある場合でも、検知システム3(移動体6)から見た対象物50の相対位置は変化し得る。そのため、「(2.4.1)補正動作」及び「(2.4.2)補間動作」で説明したような描画システム1の動作は、第2のシーンにおいても有用である。
 (2.4.4)フローチャート
 図10は、描画システム1の全体動作、つまり描画方法の全体的な流れの一例を示すフローチャートである。
 描画システム1は、まずは入力情報処理部14にて、検知システム3の検知結果D1を検知システム3から取得する(S1)。ここで、描画システム1は、検知システム3の検知結果D1に含まれている、対象物50の有無の情報を確認する(S2)。
 対象物50があれば(S2:Yes)、描画システム1は、予測部15にて、少なくとも移動体6の移動状況に関する移動情報に基づいて補正データD2を生成する(S3)。そして、描画システム1は、生成した補正データD2に基づいて、補正部12にてマーカM1の描画位置を補正する補正処理を実行する(S4)。さらに、描画システム1は、描画部11にて、補正後の描画位置(補正後位置)にマーカM1を描画する描画処理を実行する(S5)。
 その後、描画システム1は、第2周期T2が経過したか否かを判断し(S6)、第2周期T2が経過していなければ(S6:No)、待機する。第2周期T2が経過すると(S6:Yes)、描画システム1は、予測部15にて、少なくとも移動体6の移動状況に関する移動情報に基づいて補間データD3を生成する(S7)。そして、描画システム1は、生成した補間データD3に基づいて、補間部13にて補間マーカM11を補間する補間処理を実行する(S8)。補間処理により補間された補間マーカM11は、描画部11での更新に際して描画される。
 その後、描画システム1は、第1周期T1が経過したか否かを判断し(S9)、第1周期T1が経過していなければ(S9:No)、処理S6に戻る。第1周期T1が経過すると(S9:Yes)、描画システム1は、処理S1に戻る。
 また、処理S2にて対象物50が無ければ(S2:No)、描画システム1は、第1周期T1が経過したか否かを判断し(S10)、第1周期T1が経過していなければ(S10:No)、待機する。第1周期T1が経過すると(S10:Yes)、描画システム1は、処理S1に戻る。
 描画システム1は、上述したような処理S1~S10を繰り返し実行する。図10のフローチャートは、描画システム1の動作の一例に過ぎず、処理を適宜省略又は追加してもよいし、処理の順番が適宜変更されていてもよい。
 (3)変形例
 実施形態1は、本開示の様々な実施形態の一つに過ぎない。実施形態1は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。本開示において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。また、実施形態1に係る描画システム1と同様の機能は、描画方法、プログラム又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。
 一態様に係る描画方法は、描画処理(図10の「S5」に相当)と、補正処理(図10の「S4」に相当)と、を有する。描画処理は、検知システム3の検知結果D1に基づいて、対象物50の位置に応じたマーカM1の描画を行う処理である。検知システム3は、移動体6に搭載されて対象物50を検知する。補正処理は、検知システム3の検知結果D1に基づく対象物50の位置に対し、補正データD2に基づく補正を行うことにより、描画処理でのマーカM1の描画位置を決定する処理である。補正データD2は、少なくとも移動体6の移動状況に関する移動情報に基づいて求まる。一態様に係るプログラムは、上記の描画方法を、1以上のプロセッサに実行させるためのプログラムである。
 他の一態様に係る描画方法は、描画処理(図10の「S5」に相当)と、補間処理(図10の「S8」に相当)と、を有する。描画処理は、検知システム3の検知結果D1に基づいて、少なくとも第1周期T1ごとに、対象物50の位置に応じたマーカM1の描画を行う処理である。検知システム3は、対象物50を検知して検知結果D1を第1周期T1ごとに出力する。補間処理は、第1周期T1よりも短い第2周期T2ごとにマーカM1を更新するに際して、更新後のマーカM1としての補間マーカM11を補間データD3に基づいて補間する処理である。他の一態様に係るプログラムは、上記の描画方法を、1以上のプロセッサに実行させるためのプログラムである。
 以下、実施形態1の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
 本開示における描画システム1は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における描画システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
 また、描画システム1の少なくとも一部の機能が、1つの筐体内に集約されていることは描画システム1に必須の構成ではなく、描画システム1の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、描画システム1のうちの補正部12又は補間部13が、描画部11とは別の筐体に設けられていてもよい。さらに、描画システム1の少なくとも一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
 反対に、実施形態1において、複数の装置に分散されている複数の機能の少なくとも一部が、1つの筐体内に集約されていてもよい。例えば、描画システム1と検知システム3とに分散されている機能が、1つの筐体内に集約されていてもよい。
 また、表示装置2は、描画システム1と一体化されていなくてもよく、表示システム10を構成する描画システム1と表示装置2とは、別々の筐体内に収容されていてもよい。
 また、表示システム10が搭載される移動体6は、自動車(乗用車)に限らず、例えば、トラック若しくはバス等の大型車両、二輪車、電車、電動カート、建設機械、航空機又は船舶等であってもよい。
 また、描画システム1は、対象物50の位置に応じたマーカM1を描画すればよく、例えば、車速情報、ナビゲーション情報、前方車両情報、車線逸脱情報又は車両コンディション情報等の、種々の運転支援情報を、マーカM1として描画してもよい。
 また、表示装置2は、ヘッドアップディスプレイのように虚像を表示する構成に限らない。例えば、表示装置2は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ又はプロジェクタ装置であってもよい。また、表示装置2は、移動体本体61に搭載されているカーナビゲーションシステム、電子ミラーシステム又はマルチインフォメーションディスプレイの表示器であってもよい。
 また、実施形態1で示した第1周期T1及び第2周期T2の値は一例に過ぎず、第1周期T1は600ms以外でもよく、第2周期T2は100ms以外でもよい。例えば、第1周期T1が100msで、第2周期T2が16.7msでもよいし、第1周期T1が100msで、第2周期T2が20msでもよいし、第1周期T1が80msで、第2周期T2が50msでもよい。
 また、実施形態1で示した遅延期間Td1の長さは一例に過ぎず、遅延期間Td1の長さは500ms以外でもよい。遅延期間Td1の長さは、例えば、10ms以上、1s以下の範囲において、システム構成等に応じて適宜決定される。一例として、遅延期間Td1の長さは50msであってもよいし、150msであってもよいし、300msであってもよい。
 また、センサ17が3軸の角速度を検出対象とすることは必須ではなく、センサ17は、1軸、2軸、又は4軸以上の角速度を検出対象としてもよい。さらに、センサ17は、角速度を検出対象とするジャイロセンサに限らず、例えば、角速度に加えて又は代えて、加速度、角加速度又は速度等を検出対象とするセンサであってもよい。
 また、予測部15は、描画システム1に含まれていなくてもよく、例えば、予測部15の機能が検知システム3又はECU4に設けられていてもよい。この場合、描画システム1は、検知システム3又はECU4の予測部15で求められた補正データD2及び補間データD3を、検知システム3又はECU4から取得することになる。
 また、予測部15は、例えば、機械学習された分類器を用いて、移動体6の移動状況に関する移動情報、及び対象物50の移動状況に関する対象物情報を予測してもよい。分類器は、描画システム1の使用中において、再学習を実行可能であってもよい。分類器は、例えば、SVM(Support Vector Machine)等の線形分類器の他、ニューラルネットワークを用いた分類器、又は多層ニューラルネットワークを用いた深層学習(ディープラーニング)により生成される分類器を含み得る。分類器が学習済みのニューラルネットワークを用いた分類器である場合、学習済みのニューラルネットワークは、例えばCNN(Convolutional Neural Network:畳み込みニューラルネットワーク)、又はBNN(Bayesian Neural Network:ベイズニューラルネットワーク)等を含み得る。この場合、予測部15は、ASIC(Application Specific Integrated Circuit)又はFPGA(Field-Programmable Gate Array)等の集積回路に、学習済みのニューラルネットワークを実装することで実現される。
 (実施形態2)
 本実施形態に係る描画システム1Aは、図11に示すように、補間部13(図1参照)及び補間調整部131(図1参照)が省略されている点で、実施形態1に係る描画システム1と相違する。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。
 本実施形態では、補間部13が省略されているので、予測部15での補間データD3(図1参照)の生成も行われない。補正部12の動作は、実施形態1と同様であって、補正部12は、補正データD2に基づいて、描画部11でのマーカM1の描画位置を補正する。
 本実施形態では、描画部11がマーカM1を更新する第2周期T2は、描画システム1Aが検知システム3の検知結果D1を取得する第1周期T1と同じであるか、又は第1周期T1よりも長いこととする。そのため、本実施形態に係る描画システム1Aでは、第2周期T2ごとに、検知システム3の検知結果D1に基づいてマーカM1の描画を行うことが可能であって、補間部13による補間が不要である。
 実施形態2で説明した種々の構成は、実施形態1で説明した種々の構成(変形例を含む)と適宜組み合わせて採用可能である。
 (まとめ)
 以上説明したように、第1の態様に係る描画システム(1,1A)は、描画部(11)と、補正部(12)と、を備える。描画部(11)は、検知システム(3)の検知結果(D1)に基づいて、対象物(50)の位置に応じたマーカ(M1)の描画を行う。検知システム(3)は、移動体(6)に搭載されて対象物(50)を検知する。補正部(12)は、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置に対し、補正データ(D2)に基づく補正を行うことにより、描画部(11)でのマーカ(M1)の描画位置を決定する。補正データ(D2)は、少なくとも移動体(6)の移動状況に関する移動情報に基づいて求まる。
 この態様によれば、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置にマーカ(M1)を描画するのではなく、補正データ(D2)に基づく補正が行われた後の描画位置にマーカ(M1)を描画する。そのため、例えば、検知システム(3)内での処理に起因した遅延等が生じても、最終的に表示されるマーカ(M1)の表示位置に関しては、これらの遅延の影響を低減できる。特に、検知システム(3)が搭載されている移動体(6)の移動状況に基づいて補正を行うので、上述したような遅延の期間(遅延期間Td1)内での検知システム(3)自体の移動に伴う表示位置のずれを低減し得る。
 第2の態様に係る描画システム(1,1A)では、第1の態様において、移動情報は、少なくとも移動体(6)の過去の挙動から予測される。
 この態様によれば、マーカ(M1)の描画位置の補正に用いられる移動体(6)の移動状況を、比較的精度よく、予測することが可能である。
 第3の態様に係る描画システム(1,1A)では、第1又は2の態様において、補正データ(D2)は、移動情報に加えて、対象物(50)の移動状況に関する対象物情報にも基づいて求まる。
 この態様によれば、対象物(50)が移動している場合でも、比較的精度よく、マーカ(M1)の描画位置を補正することが可能である。
 第4の態様に係る描画システム(1,1A)では、第3の態様において、対象物情報は、少なくとも対象物(50)の過去の挙動から予測される。
 この態様によれば、マーカ(M1)の描画位置の補正に用いられる対象物(50)の移動状況を、比較的精度よく、予測することが可能である。
 第5の態様に係る描画システム(1,1A)では、第1~4のいずれかの態様において、マーカ(M1)は、検知システム(3)から対象物(50)までの距離に応じた奥行方向の位置情報を持つ三次元画像である。
 この態様によれば、検知システム(3)から対象物(50)までの距離についても、マーカ(M1)の表示に反映することができる。
 第6の態様に係る描画システム(1,1A)は、第1~5のいずれかの態様において、補間部(13)を更に備える。検知システム(3)は、検知結果(D1)を第1周期(T1)ごとに出力する。描画部(11)は、少なくとも第1周期(T1)ごとに検知システム(3)の検知結果(D1)に基づいてマーカ(M1)の描画を行い、かつ第1周期(T1)よりも短い第2周期(T2)ごとにマーカ(M1)を更新する。補間部(13)は、描画部(11)が第2周期(T2)ごとにマーカ(M1)を更新するに際して、更新後のマーカ(M1)としての補間マーカ(M11)を補間データ(D3)に基づいて補間する。
 この態様によれば、検知システム(3)が検知結果(D1)を出力する第1周期(T1)よりも、マーカ(M1)を更新する第2周期(T2)の方が短い場合において、更新後のマーカ(M1)が補間データ(D3)に基づいて補間される。したがって、第1周期(T1)の間においても、マーカ(M1)が更新される度にマーカ(M1)を変化させることができ、マーカ(M1)は比較的スムーズに動くことになる。その結果、不自然なマーカ(M1)の挙動が生じにくい。
 第7の態様に係る描画システム(1,1A)では、第1~6のいずれかの態様において、補正部(12)は、補正データ(D2)に基づいてマーカ(M1)の内容を決定する。
 この態様によれば、マーカ(M1)の内容を適切に補正可能である。
 第8の態様に係る描画システム(1,1A)は、第1~7のいずれかの態様において、補正部(12)による補正の強度を調整する補正調整部(121)を更に備える。
 この態様によれば、例えば、補正部(12)による補正の強度を小さくすることで、補正にかかる処理負荷を低減することが可能である。
 第9の態様に係る描画システム(1,1A)では、第1~8のいずれかの態様において、移動情報は、少なくとも遅延期間(Td1)における移動体(6)の移動状況に関する情報である。遅延期間(Td1)は、検知システム(3)での対象物(50)の検知時点から描画部(11)での描画時点までの期間を含む期間である。
 この態様によれば、遅延期間(Td1)に起因したマーカ(M1)の表示位置のずれを低減しやすくなる。
 第10の態様に係る表示システム(10)は、第1~9のいずれかの態様に係る描画システム(1,1A)と、描画システム(1,1A)で描画されたマーカ(M1)を表示する表示装置(2)と、を備える。
 この態様によれば、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置にマーカ(M1)を描画するのではなく、補正データ(D2)に基づく補正が行われた後の描画位置にマーカ(M1)を描画する。そのため、例えば、検知システム(3)内での処理に起因した遅延等が生じても、最終的に表示されるマーカ(M1)の表示位置に関しては、これらの遅延の影響を低減できる。特に、検知システム(3)が搭載されている移動体(6)の移動状況に基づいて補正を行うので、上述したような遅延の期間(遅延期間Td1)内での検知システム(3)自体の移動に伴う表示位置のずれを低減し得る。
 第11の態様に係る移動体(6)は、第10の態様に係る表示システム(10)と、表示システム(10)が搭載される移動体本体(61)と、を備える。
 この態様によれば、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置にマーカ(M1)を描画するのではなく、補正データ(D2)に基づく補正が行われた後の描画位置にマーカ(M1)を描画する。そのため、例えば、検知システム(3)内での処理に起因した遅延等が生じても、最終的に表示されるマーカ(M1)の表示位置に関しては、これらの遅延の影響を低減できる。特に、検知システム(3)が搭載されている移動体(6)の移動状況に基づいて補正を行うので、上述したような遅延の期間(遅延期間Td1)内での検知システム(3)自体の移動に伴う表示位置のずれを低減し得る。
 第12の態様に係る描画方法は、描画処理と、補正処理と、を有する。描画処理は、検知システム(3)の検知結果(D1)に基づいて、対象物(50)の位置に応じたマーカ(M1)の描画を行う処理である。検知システム(3)は、移動体(6)に搭載されて対象物(50)を検知する。補正処理は、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置に対し、補正データ(D2)に基づく補正を行うことにより、描画処理でのマーカ(M1)の描画位置を決定する処理である。補正データ(D2)は、少なくとも移動体(6)の移動状況に関する移動情報に基づいて求まる。
 この態様によれば、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置にマーカ(M1)を描画するのではなく、補正データ(D2)に基づく補正が行われた後の描画位置にマーカ(M1)を描画する。そのため、例えば、検知システム(3)内での処理に起因した遅延等が生じても、最終的に表示されるマーカ(M1)の表示位置に関しては、これらの遅延の影響を低減できる。特に、検知システム(3)が搭載されている移動体(6)の移動状況に基づいて補正を行うので、上述したような遅延の期間(遅延期間Td1)内での検知システム(3)自体の移動に伴う表示位置のずれを低減し得る。
 第13の態様に係るプログラムは、第12の態様に係る描画方法を、1以上のプロセッサに実行させるためのプログラムである。
 この態様によれば、検知システム(3)の検知結果(D1)に基づく対象物(50)の位置にマーカ(M1)を描画するのではなく、補正データ(D2)に基づく補正が行われた後の描画位置にマーカ(M1)を描画する。そのため、例えば、検知システム(3)内での処理に起因した遅延等が生じても、最終的に表示されるマーカ(M1)の表示位置に関しては、これらの遅延の影響を低減できる。特に、検知システム(3)が搭載されている移動体(6)の移動状況に基づいて補正を行うので、上述したような遅延の期間(遅延期間Td1)内での検知システム(3)自体の移動に伴う表示位置のずれを低減し得る。
 上記態様に限らず、実施形態1及び実施形態2に係る描画システム(1,1A)の種々の構成(変形例を含む)は、描画方法又はプログラムにて具現化可能である。
 第2~9の態様に係る構成については、描画システム(1,1A)に必須の構成ではなく、適宜省略可能である。
 1,1A 描画システム
 2 表示装置
 3 検知システム
 6 移動体
 10 表示システム
 11 描画部
 12 補正部
 13 補間部
 61 移動体本体
 121 補正調整部
 D1 検知結果
 D2 補正データ
 D3 補間データ
 M1 マーカ
 T1 第1周期
 T2 第2周期
 Td1 遅延期間

Claims (13)

  1.  移動体に搭載されて対象物を検知する検知システムの検知結果に基づいて、前記対象物の位置に応じたマーカの描画を行う描画部と、
     前記検知システムの検知結果に基づく前記対象物の位置に対し、補正データに基づく補正を行うことにより、前記描画部での前記マーカの描画位置を決定する補正部と、を備え、
     前記補正データは、少なくとも前記移動体の移動状況に関する移動情報に基づいて求まる、
     描画システム。
  2.  前記移動情報は、少なくとも前記移動体の過去の挙動から予測される、
     請求項1に記載の描画システム。
  3.  前記補正データは、前記移動情報に加えて、前記対象物の移動状況に関する対象物情報にも基づいて求められる、
     請求項1又は2に記載の描画システム。
  4.  前記対象物情報は、少なくとも前記対象物の過去の挙動から予測される、
     請求項3に記載の描画システム。
  5.  前記マーカは、前記検知システムから前記対象物までの距離に応じた奥行方向の位置情報を持つ三次元画像である、
     請求項1~4のいずれか1項に記載の描画システム。
  6.  補間部を更に備え、
     前記検知システムは、検知結果を第1周期ごとに出力し、
     前記描画部は、少なくとも前記第1周期ごとに前記検知システムの検知結果に基づいて前記マーカの描画を行い、かつ前記第1周期よりも短い第2周期ごとに前記マーカを更新し、
     前記補間部は、前記描画部が前記第2周期ごとに前記マーカを更新するに際して、更新後の前記マーカとしての補間マーカを補間データに基づいて補間する、
     請求項1~5のいずれか1項に記載の描画システム。
  7.  前記補正部は、前記補正データに基づいて前記マーカの内容を決定する、
     請求項1~6のいずれか1項に記載の描画システム。
  8.  前記補正部による補正の強度を調整する補正調整部を更に備える、
     請求項1~7のいずれか1項に記載の描画システム。
  9.  前記移動情報は、少なくとも前記検知システムでの前記対象物の検知時点から前記描画部での描画時点までの期間を含む遅延期間における前記移動体の移動状況に関する情報である、
     請求項1~8のいずれか1項に記載の描画システム。
  10.  請求項1~9のいずれか1項に記載の描画システムと、
     前記描画システムで描画された前記マーカを表示する表示装置と、を備える、
     表示システム。
  11.  請求項10に記載の表示システムと、
     前記表示システムが搭載される移動体本体と、を備える、
     移動体。
  12.  移動体に搭載されて対象物を検知する検知システムの検知結果に基づいて、前記対象物の位置に応じたマーカの描画を行う描画処理と、
     前記検知システムの検知結果に基づく前記対象物の位置に対し、補正データに基づく補正を行うことにより、前記描画処理での前記マーカの描画位置を決定する補正処理と、を有し、
     前記補正データは、少なくとも前記移動体の移動状況に関する移動情報に基づいて求まる、
     描画方法。
  13.  請求項12に記載の描画方法を、1以上のプロセッサに実行させるためのプログラム。
PCT/JP2021/003570 2020-02-12 2021-02-01 描画システム、表示システム、移動体、描画方法及びプログラム WO2021161840A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112021000344.5T DE112021000344T5 (de) 2020-02-12 2021-02-01 Rendering-System, Anzeigesystem, Fahrzeug, Rendering-Verfahren und Programm
CN202180014145.5A CN115088028B (zh) 2020-02-12 2021-02-01 绘制系统、显示系统、移动体、绘制方法以及程序
US17/885,943 US20220383645A1 (en) 2020-02-12 2022-08-11 Rendering system, display system, moving vehicle, rendering method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-021887 2020-02-12
JP2020021887A JP7357284B2 (ja) 2020-02-12 2020-02-12 描画システム、表示システム、移動体、描画方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/885,943 Continuation US20220383645A1 (en) 2020-02-12 2022-08-11 Rendering system, display system, moving vehicle, rendering method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2021161840A1 true WO2021161840A1 (ja) 2021-08-19

Family

ID=77291801

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/003570 WO2021161840A1 (ja) 2020-02-12 2021-02-01 描画システム、表示システム、移動体、描画方法及びプログラム

Country Status (5)

Country Link
US (1) US20220383645A1 (ja)
JP (1) JP7357284B2 (ja)
CN (1) CN115088028B (ja)
DE (1) DE112021000344T5 (ja)
WO (1) WO2021161840A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922836B2 (en) 2021-03-29 2024-03-05 Panasonic Intellectual Property Management Co., Ltd. Rendering system, display system, display control system, and rendering method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056157A1 (ja) * 2015-09-28 2017-04-06 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2017076324A (ja) * 2015-10-16 2017-04-20 株式会社デンソー 表示制御装置および車両制御装置
WO2017068692A1 (ja) * 2015-10-22 2017-04-27 日産自動車株式会社 表示制御方法および表示制御装置
JP2019202698A (ja) * 2018-05-25 2019-11-28 アルパイン株式会社 画像処理装置、画像処理方法及びヘッドアップディスプレイシステム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249364A (ja) * 2006-03-14 2007-09-27 Denso Corp 安全運転支援システム及び安全運転支援装置
JP4311420B2 (ja) 2006-08-11 2009-08-12 住友電気工業株式会社 接近移動体表示装置、システム及び方法
JP4286876B2 (ja) * 2007-03-01 2009-07-01 富士通テン株式会社 画像表示制御装置
US8564502B2 (en) * 2009-04-02 2013-10-22 GM Global Technology Operations LLC Distortion and perspective correction of vector projection display
CN102910130B (zh) * 2012-10-24 2015-08-05 浙江工业大学 一种现实增强型的驾驶辅助预警系统
US9873355B2 (en) * 2014-04-25 2018-01-23 Mitsubishi Electric Corporation Automatic adjuster, automatic adjusting system and automatic adjusting method
JP6278222B2 (ja) * 2014-07-01 2018-02-14 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP6746270B2 (ja) * 2014-09-08 2020-08-26 株式会社小糸製作所 車両用表示システム
JP6635428B2 (ja) * 2015-05-20 2020-01-22 修一 田山 自動車周辺情報表示システム
JP2017021546A (ja) * 2015-07-10 2017-01-26 田山 修一 車輌用画像表示システム及び方法
WO2017022047A1 (ja) * 2015-08-03 2017-02-09 三菱電機株式会社 表示制御装置、表示装置及び表示制御方法
US20190031102A1 (en) * 2016-01-28 2019-01-31 Hon Hai Precision Industry Co., Ltd. Image display system for vehicle use and vehicle equipped with the image display system
DE112016007380T5 (de) * 2016-10-26 2019-07-25 Mitsubishi Electric Corporation Anzeigekontrollvorrichtung, Anzeigevorrichtung und Anzeigekontrollverfahren
JP6445607B2 (ja) * 2017-03-15 2018-12-26 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
JP6809763B2 (ja) * 2017-06-21 2021-01-06 アルパイン株式会社 表示システム
JP6945933B2 (ja) * 2017-12-27 2021-10-06 アルパイン株式会社 表示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056157A1 (ja) * 2015-09-28 2017-04-06 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2017076324A (ja) * 2015-10-16 2017-04-20 株式会社デンソー 表示制御装置および車両制御装置
WO2017068692A1 (ja) * 2015-10-22 2017-04-27 日産自動車株式会社 表示制御方法および表示制御装置
JP2019202698A (ja) * 2018-05-25 2019-11-28 アルパイン株式会社 画像処理装置、画像処理方法及びヘッドアップディスプレイシステム

Also Published As

Publication number Publication date
JP7357284B2 (ja) 2023-10-06
CN115088028A (zh) 2022-09-20
DE112021000344T5 (de) 2022-10-27
CN115088028B (zh) 2023-12-08
US20220383645A1 (en) 2022-12-01
JP2021128471A (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US20210341305A1 (en) Content visualizing method and apparatus
US11842447B2 (en) Localization method and apparatus of displaying virtual object in augmented reality
JP6878493B2 (ja) 自動運転車両(adv)に用いるピッチ角の補正方法
JP2023531330A (ja) マシン学習を使用した自律マシン・アプリケーションのためのセンサ融合
JP2021095117A (ja) 顔のランドマーク及び関連する信頼値を使用したニューラルネットワークベースの顔分析
CN114902295A (zh) 用于自主驾驶应用的三维路口结构预测
CN112347829A (zh) 利用障碍物和车道检测来确定环境中对象的车道分配
CN107554425A (zh) 一种增强现实车载平视显示器ar‑hud
JP6695049B2 (ja) 表示装置及び表示制御方法
CN112904370A (zh) 用于激光雷达感知的多视图深度神经网络
CN114764782A (zh) 多视图汽车和机器人系统中的图像合成
JP2019206256A (ja) 表示制御装置、及び表示制御プログラム
JP2022132075A (ja) 自律運転アプリケーションにおけるディープ・ニューラル・ネットワーク知覚のためのグラウンド・トゥルース・データ生成
WO2021161840A1 (ja) 描画システム、表示システム、移動体、描画方法及びプログラム
CN116257205A (zh) 图像抖动补偿方法、装置、抬头显示设备、载具及介质
JP2023133049A (ja) 自律マシンシステム及びアプリケーションのための認知ベースの駐車支援
JP6385621B2 (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP7434894B2 (ja) 車両用表示装置
US20240042857A1 (en) Vehicle display system, vehicle display method, and computer-readable non-transitory storage medium storing vehicle display program
US11893812B2 (en) Vehicle display device, vehicle display system, vehicle display method, and non-transitory storage medium stored with program
US20240042855A1 (en) Information processing device and information processing method
JP2021104794A (ja) 車両用表示装置
JP2023133062A (ja) 自律システム及びアプリケーションにおける世界モデル表現のキーフレームベースの圧縮
JP2022077138A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
CN117036403A (zh) 图像处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21752970

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21752970

Country of ref document: EP

Kind code of ref document: A1