WO2020261696A1 - 映像制御装置、映像制御方法及びプログラム - Google Patents

映像制御装置、映像制御方法及びプログラム Download PDF

Info

Publication number
WO2020261696A1
WO2020261696A1 PCT/JP2020/015238 JP2020015238W WO2020261696A1 WO 2020261696 A1 WO2020261696 A1 WO 2020261696A1 JP 2020015238 W JP2020015238 W JP 2020015238W WO 2020261696 A1 WO2020261696 A1 WO 2020261696A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
estimated
orientation
deviation
video control
Prior art date
Application number
PCT/JP2020/015238
Other languages
English (en)
French (fr)
Inventor
田中 彰
文人 犬飼
森 俊也
研一 笠澄
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to DE112020003021.0T priority Critical patent/DE112020003021T5/de
Priority to CN202080043548.8A priority patent/CN114041069A/zh
Priority to JP2021527393A priority patent/JP7361348B2/ja
Publication of WO2020261696A1 publication Critical patent/WO2020261696A1/ja
Priority to US17/556,552 priority patent/US20220113138A1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18Stabilised platforms, e.g. by gyroscope
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/49Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an inertial position system, e.g. loosely-coupled
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53Determining attitude
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/025Services making use of location information using location based information parameters
    • H04W4/027Services making use of location information using location based information parameters using movement velocity, acceleration information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/396Determining accuracy or reliability of position or pseudorange measurements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Definitions

  • the present disclosure relates to a video control device, a video control method, and a program.
  • Patent Documents 1 and 2 the position of the own vehicle is detected by using map data and GPS (Global Positioning System), and the head-up display (Head-Up Display, hereinafter also referred to as HUD) is used in the human field of view.
  • GPS Global Positioning System
  • HUD Head-Up Display
  • the route information to the destination displayed by a video display device such as a HUD may include, for example, information based on the direction of the vehicle (direction of the vehicle itself) for guiding the vehicle to the destination.
  • the information based on the orientation of the vehicle is, for example, an arrow extending in the traveling direction starting from the own vehicle (see FIG. 9 described later).
  • an arrow extending in the direction of travel starting from the own vehicle may be displayed so as to protrude from the road because the direction of the own vehicle is estimated to be misaligned.
  • the present disclosure provides a video control device or the like that can improve the accuracy of estimating the direction of the vehicle.
  • the video control device includes a first acquisition unit that acquires the position of the vehicle positioned by the satellite positioning system, and a second acquisition unit that acquires the estimated position of the vehicle estimated based on dead reckoning.
  • a directional deviation estimation unit that estimates the directional deviation of the vehicle based on the position of the vehicle determined by the satellite positioning system and the estimated position of the vehicle estimated based on dead reckoning.
  • Output to an orientation calculation unit that calculates the estimated orientation of the vehicle based on the deviation of the orientation of the vehicle and an image display device that displays the estimated orientation of the vehicle to an image display device that displays information based on the orientation of the vehicle. It has a part and.
  • the position of the vehicle to be positioned by the satellite positioning system is acquired, the estimated position of the vehicle estimated based on dead reckoning is acquired, and the positioning is performed by the satellite positioning system.
  • the deviation of the orientation of the vehicle is estimated based on the position of the vehicle and the estimated position of the vehicle estimated based on dead reckoning, and the deviation of the orientation of the vehicle is estimated based on the deviation of the orientation of the vehicle.
  • the estimated direction of the vehicle is calculated, and the estimated direction of the vehicle is output to a video display device that displays information based on the direction of the vehicle.
  • the program according to one aspect of the present disclosure is a program for causing a computer to execute the above-mentioned video control method.
  • the accuracy of estimating the direction of the vehicle can be improved.
  • FIG. 1 is a block diagram showing an example of the configuration of the video control device and the peripheral devices according to the embodiment.
  • FIG. 2 is a diagram for explaining a method of calculating the direction of the vehicle using the gyro sensor.
  • FIG. 3 is a diagram for explaining the update of the zero point of the gyro sensor.
  • FIG. 4 is a flowchart showing an example of the operation of the video control device according to the embodiment.
  • FIG. 5 is a diagram showing an example of a method for estimating the deviation of the orientation of the vehicle according to the embodiment.
  • FIG. 6 is a diagram showing another example of the method of estimating the deviation of the orientation of the vehicle according to the embodiment.
  • FIG. 7 is a diagram for explaining a method of eliminating the drawing delay according to the embodiment.
  • FIG. 8 is a diagram showing a transition of the directional deviation when the video control device according to the embodiment is applied.
  • FIG. 9 is a diagram showing an example of the display of the video display device.
  • FIG. 1 is a block diagram showing an example of the configuration of the image control device 10 and its peripheral devices according to the embodiment.
  • FIG. 1 shows an information processing device 20, an ECU 30, a gyro sensor 40, an acceleration sensor 50, and a video display device 60. These devices are mounted on, for example, a vehicle (eg, an automobile).
  • the information processing device 20 uses a vehicle position and vehicle orientation determined by a satellite positioning system such as GPS (Global Positioning System), and a route to the vehicle's destination (for example, the shortest route to the destination or traffic congestion). It is a device capable of acquiring information such as a route to avoid), for example, a car navigation system.
  • a satellite positioning system such as GPS (Global Positioning System)
  • GPS Global Positioning System
  • a route to the vehicle's destination for example, the shortest route to the destination or traffic congestion.
  • It is a device capable of acquiring information such as a route to avoid), for example, a car navigation system.
  • the ECU 30 is, for example, an ECU that handles vehicle speed signals and the like, and is a device that can output the current vehicle speed to a CAN (Control Area Network) bus.
  • CAN Controller Area Network
  • the gyro sensor 40 is a sensor that detects the yaw angular velocity information of the vehicle and outputs the detection result.
  • the direction of the vehicle can be calculated by integrating the above detection results.
  • the acceleration sensor 50 is a sensor that detects the acceleration of the vehicle and outputs the detection result. Based on the above detection result, it can be determined whether or not the vehicle is stopped.
  • the video display device 60 is a device that displays information based on the orientation of the vehicle, and is, for example, a HUD, an electronic mirror, a car navigation system, or the like.
  • the image display device 60 is a HUD.
  • the information based on the orientation of the vehicle is, for example, an arrow extending in the traveling direction starting from the vehicle (see FIG. 9 described later).
  • the video display device 60 displays information based on the vehicle orientation based on the route information to the vehicle destination acquired from the information processing device 20 and the estimated vehicle orientation acquired from the video control device 10. ..
  • the information based on the vehicle orientation may be the vehicle orientation itself. That is, the direction of the vehicle may be displayed on the image display device 60.
  • the video control device 10 is a device that calculates the estimated direction of the vehicle and outputs the estimated direction to the video display device 60. Since the display content (information based on the vehicle orientation) of the video display device 60 changes according to the estimated orientation calculated by the video control device 10, the video control device 10 displays the display content of the video display device 60. It can be said that it is a device to control.
  • the video control device 10 includes a first acquisition unit 11, a second acquisition unit 12, an orientation deviation estimation unit 13, an orientation calculation unit 14, and an output unit 15.
  • the video control device 10 is a computer including a processor, a memory, a communication circuit, and the like.
  • the memory is a ROM (Read Only Memory), a RAM (Random Access Memory), or the like, and can store a program executed by the processor. Further, the information acquired by the video control device 10 is stored in the memory. For example, when the processor operates according to the program, the functions of the first acquisition unit 11, the second acquisition unit 12, the directional deviation estimation unit 13, the directional calculation unit 14, and the output
  • the first acquisition unit 11 acquires the position of the vehicle positioned by the satellite positioning system. Specifically, the first acquisition unit 11 acquires the position of the vehicle positioned by the satellite positioning system from the information processing device 20. The first acquisition unit 11 acquires the first position of the vehicle positioned by the satellite positioning system and the second position of the vehicle positioned by the satellite positioning system when the vehicle moves from the first position. The first acquisition unit 11 can estimate the traveling locus of the vehicle from the first position to the second position by sequentially acquiring the positions of the vehicles positioned by the satellite positioning system.
  • the second acquisition unit 12 acquires the estimated position of the vehicle estimated based on the dead reckoning.
  • the second acquisition unit 12 is based on dead reckoning using the first position, the orientation of the vehicle at the first position, the detection result of the gyro sensor 40 provided in the vehicle, and the speed information of the vehicle.
  • the estimated position of the vehicle is acquired by estimating the estimated position of the vehicle when the second position is positioned (specifically, at the timing when the second position is positioned).
  • Dead reckoning does not directly position the position as in the satellite positioning system, but uses the orientation of the moving object at a certain point, the detection result of the gyro sensor from that point, the speed information of the moving object, and the like. It is a technology for relatively positioning the position of.
  • the second acquisition unit 12 can estimate the traveling locus of the vehicle from the first position to the estimated position by dead reckoning.
  • the second acquisition unit 12 acquires the first position from the information processing device 20.
  • the first position may be acquired from the first acquisition unit 11.
  • the second acquisition unit 12 acquires, for example, the orientation of the vehicle at the first position from the information processing device 20 when the vehicle is started (at the start of traveling). That is, the direction of the vehicle at the first position acquired by the second acquisition unit 12 at the start of traveling of the vehicle is the direction of the vehicle determined by the satellite positioning system. Further, the second acquisition unit 12 acquires the direction of the vehicle at the first position from the direction calculation unit 14, for example, after the vehicle starts traveling.
  • the second acquisition unit 12 acquires the detection result of the gyro sensor 40 from the gyro sensor 40, and acquires the speed information of the vehicle from the ECU 30 via the CAN bus or the like. Further, the second acquisition unit 12 is notified by the first acquisition unit 11, for example, of the timing at which the second position is positioned.
  • FIG. 2 is a diagram for explaining a method of calculating the direction of the vehicle using the gyro sensor 40.
  • the direction of the vehicle can be accurately calculated by using the direction of the vehicle at that moment and the integrated value of the detection result of the gyro sensor 40.
  • the initial direction includes a deviation
  • the subsequent direction of the vehicle calculated using the initial direction will also be accurately shifted by the deviation.
  • the zero point of the gyro sensor 40 (the output of the gyro sensor 40 when the vehicle is stopped) may not become zero due to gyro drift even though the vehicle is stopped. In this case, the integrated value of the gyro sensor 40 also deviates. Therefore, at such a time, the zero point of the gyro sensor 40 is updated. This will be described with reference to FIG.
  • FIG. 3 is a diagram for explaining the update of the zero point of the gyro sensor 40.
  • the zero point of the gyro sensor 40 fluctuates from zero due to the gyro drift from a certain point. Since the fluctuation of the zero point of the gyro sensor 40 changes the integrated value of the detection result of the gyro sensor 40, the vehicle calculated by using the gyro sensor 40 by the fluctuation of the zero point of the gyro sensor 40 (that is, by the gyro drift). There is a shift in the orientation of. Therefore, for example, the second acquisition unit 12 updates the zero point.
  • the second acquisition unit 12 when the vehicle is stopped (for example, when the vehicle speed is 0 for the past 3 seconds and the amount of change in the acceleration of the vehicle is equal to or less than a predetermined threshold value), the second acquisition unit 12 is in the past.
  • the zero point is updated by setting the average value of the detection results of the gyro sensor 40 for 3 seconds to zero.
  • the second acquisition unit 12 acquires the acceleration of the vehicle from the acceleration sensor 50. For example, if the average value of the detection results of the gyro sensor 40 for the past 3 seconds is zero (that is, if the zero point does not fluctuate) when the vehicle is stopped, the second acquisition unit 12 has a zero point. Do not update. In other words, the second acquisition unit 12 updates the zero point when the fluctuation of the zero point can be confirmed.
  • the orientation deviation estimation unit 13 determines the deviation of the vehicle orientation based on the position of the vehicle positioned by the satellite positioning system and the estimated position of the vehicle estimated based on dead reckoning. presume. The details of the operation of the directional deviation estimation unit 13 will be described later.
  • the direction calculation unit 14 calculates the estimated direction of the vehicle based on the deviation of the vehicle direction estimated by the direction deviation estimation unit 13. The details of the operation of the direction calculation unit 14 will be described later.
  • the output unit 15 outputs the estimated direction of the vehicle to the video display device 60.
  • FIG. 4 is a flowchart showing an example of the operation of the video control device 10 according to the embodiment.
  • the first acquisition unit 11 acquires the position of the vehicle to be positioned by the satellite positioning system (step S11). Specifically, the first acquisition unit 11 includes a first position of the vehicle positioned by the satellite positioning system and a second position of the vehicle positioned by the satellite positioning system when the vehicle moves from the first position. To get.
  • the second acquisition unit 12 acquires the estimated position of the vehicle estimated based on the dead reckoning (step S12).
  • the estimated position of the vehicle is estimated based on the first position, the orientation of the vehicle at the first position, the detection result of the gyro sensor 40 provided in the vehicle, and the dead reckoning using the speed information of the vehicle. This is the position of the vehicle when the second position is positioned.
  • the directional deviation estimation unit 13 estimates the directional deviation of the vehicle based on the position of the vehicle positioned by the satellite positioning system and the estimated position of the vehicle estimated based on dead reckoning (step S13). Specifically, the directional deviation estimation unit 13 includes a first position of the vehicle positioned by the satellite positioning system and a second position of the vehicle positioned by the satellite positioning system when the vehicle moves from the first position. , Estimated based on dead reckoning using the direction of the vehicle at the first position and the first position, the detection result of the gyro sensor provided on the vehicle, and the speed information of the vehicle, when the second position is positioned. Based on the estimated position of the vehicle, the deviation of the direction of the vehicle is estimated. The method of estimating the deviation of the orientation of the vehicle will be described in detail with reference to FIG.
  • FIG. 5 is a diagram showing an example of a method for estimating the deviation of the orientation of the vehicle according to the embodiment.
  • FIG. 5 schematically shows the traveling locus of the vehicle on the horizontal plane, and it is assumed that the vehicle moves from the lower left side (origin side) to the upper right side (X-axis and Y-axis plus side).
  • the solid line in FIG. 5 is an actual traveling locus and cannot be recognized by the image control device 10 or the like, but is shown for comparison with the traveling locus by the satellite positioning system and the traveling locus by dead reckoning.
  • the broken line in FIG. 5 is a traveling locus by the satellite positioning system.
  • the alternate long and short dash line in FIG. 5 is a traveling locus due to dead reckoning.
  • Position A1 in FIG. 5 indicates a first position positioned by the satellite positioning system
  • position A2 indicates a second position positioned by the satellite positioning system when the vehicle moves from position A1.
  • the image control device 10 can recognize the traveling locus by the satellite positioning system by sequentially acquiring the position of the vehicle positioned by the satellite positioning system.
  • the position of the vehicle positioned by the satellite positioning system includes an error, and may be positioned with a deviation of about 10 meters from the actual traveling position.
  • Position B1 in FIG. 5 indicates an estimated position estimated by dead reckoning when position A2 is positioned.
  • the image control device 10 acquires the direction (initial direction) of the vehicle at the position A1 and sequentially acquires the detection result of the gyro sensor 40 from the position A1 and the speed information of the vehicle from the position A1. It is possible to recognize the traveling trajectory due to dead reckoning.
  • dead reckoning is performed accurately, the change in the direction of the vehicle and the change in the speed of the vehicle from a certain point can be accurately reflected in the travel locus. Therefore, as shown in FIG. 5, the travel locus due to the dead reckoning It can be seen that the shape is similar to the actual traveling locus.
  • the position A1 is a position where the process of estimating the deviation of the orientation of the vehicle is started, and is, for example, a start position of the vehicle running (starting position of the vehicle) or an update position of the zero point of the gyro sensor 40.
  • the initial direction is, for example, the direction of the vehicle determined by the satellite positioning system. Since the accuracy of the vehicle orientation determined by the satellite positioning system is low, the initial orientation is likely to deviate from the actual vehicle orientation.
  • the initial direction is, for example, the direction of the vehicle calculated based on the detection result of the gyro sensor 40. Since the zero point of the gyro sensor 40 is updated when the zero point of the gyro sensor 40 fluctuates, the direction of the vehicle calculated based on the detection result of the gyro sensor 40 when the zero point of the gyro sensor 40 is updated ( That is, the initial direction) is likely to deviate from the actual vehicle direction.
  • the zero point of the gyro sensor 40 is updated at the start position of the vehicle running or the zero point update position of the gyro sensor 40, and the zero point of the gyro sensor 40 does not change. Further, it is assumed that the vehicle is stopped at these positions and the zero point of the gyro sensor 40 does not change due to the gyro drift for a while after the vehicle starts moving from these positions. In this way, while the vehicle moves from the position A1 to the position A2, which is positioned by the satellite positioning system, the deviation of the vehicle orientation does not change from the deviation occurring at the position A1.
  • the straight line connecting the position A1 and the position A2 and the position The angle formed by the straight line connecting A1 and the position B1 can be regarded as the deviation of the direction of the vehicle. That is, the directional deviation estimation unit 13 can estimate the directional deviation of the vehicle determined by the satellite positioning system, the directional deviation of the vehicle due to gyro drift, and the like.
  • the direction calculation unit 14 calculates the estimated direction of the vehicle based on the deviation of the direction of the vehicle estimated by the direction deviation estimation unit 13 (step S14). For example, the direction calculation unit 14 corrects the vehicle direction calculated based on the detection result of the gyro sensor 40 in the movement after the position A2 by using the estimated deviation of the vehicle direction (for example, the direction of the vehicle). By adding or subtracting the deviation), the estimated direction of the vehicle is calculated. As a result, the accuracy of estimating the direction of the vehicle can be improved.
  • the output unit 15 outputs the estimated direction of the vehicle to the video display device 60 (step S15).
  • the image display device 60 can display information based on the direction of the vehicle based on the direction of the vehicle with little deviation.
  • the directional deviation estimation unit 13 may estimate the directional deviation of the vehicle, and even after the estimated directional orientation of the vehicle is calculated, the directional deviation of the vehicle may be sequentially estimated starting from the position A1.
  • the details will be described later with reference to FIG. 6, because the longer the distance traveled by the vehicle for estimating the deviation of the vehicle orientation, the higher the accuracy of estimating the deviation of the vehicle orientation.
  • the orientation of the vehicle shifts due to gyro drift (that is, the zero point of the gyro sensor 40 fluctuates), so that the zero point of the gyro sensor 40 fluctuates to zero.
  • the process of estimating the deviation of the direction of the vehicle is performed starting from the new first position instead of the position A1.
  • the position of the vehicle positioned by the satellite positioning system includes an error, and the larger the error, the more the straight line connecting the position A1 and the position A2 will be blurred.
  • the accuracy of estimating the deviation of the orientation of is low.
  • the longer the distance between the position A1 and the position A2 the distance the vehicle moves to estimate the deviation of the vehicle orientation
  • the less the above error affects the estimation of the deviation of the vehicle orientation.
  • the deviation of the vehicle orientation is calculated on the assumption that dead reckoning is performed accurately and the deviation of the vehicle orientation does not fluctuate during movement for estimating the deviation of the vehicle orientation.
  • the accuracy of dead reckoning may decrease or the vehicle may be affected by gyro drift. Therefore, in order to maintain the above premise, it is necessary to shorten the distance traveled by the vehicle as much as possible.
  • the directional deviation estimation unit 13 performs processing for estimating the vehicle orientation for each short section of, for example, about 10 m, and the directional calculation unit 14 calculates the estimated vehicle orientation from the estimation result of the vehicle orientation in each section. You may. Specifically, the directional deviation estimation unit 13 determines the orientation of the vehicle for each of the plurality of continuous sections based on the first position, the second position, and the estimated position in each of the plurality of continuous sections. The deviation may be estimated. Further, the direction calculation unit 14 may calculate the estimated direction of the vehicle based on the deviation of the direction of the vehicle for two or more sections among the plurality of continuous sections. This will be described with reference to FIG.
  • FIG. 6 is a diagram showing another example of the method of estimating the deviation of the orientation of the vehicle according to the embodiment.
  • FIG. 6 schematically shows the traveling locus of the vehicle on the horizontal plane as in FIG. 5, and it is assumed that the vehicle moves from the lower left side (origin side) to the upper right side (X-axis and Y-axis plus side). ..
  • there are a first position, a second position, and an estimated position for each of a plurality of continuous sections here, as an example, three sections, the first section to the third section).
  • the position A1 indicates the first position positioned by the satellite positioning system
  • the position A2 indicates the second position positioned by the satellite positioning system when the vehicle moves from the position A1.
  • B1 indicates an estimated position estimated by dead reckoning when the position A2 is positioned.
  • the position A2 indicates the first position positioned by the satellite positioning system
  • the position A3 indicates the second position positioned by the satellite positioning system when the vehicle moves from the position A2.
  • Position B2 indicates an estimated position estimated by dead reckoning when position A3 is positioned.
  • the position A3 indicates the first position positioned by the satellite positioning system
  • the position A4 indicates the second position positioned by the satellite positioning system when the vehicle moves from the position A3.
  • Position B3 indicates an estimated position estimated by dead reckoning when position A4 is positioned.
  • the deviation of the vehicle orientation is estimated for three sections. For example, a distance of several hundred meters is divided into short sections of about 10 m, and the vehicle orientation is calculated for each section. The deviation is estimated. In a short section of about 10 m, it is easy to ensure that dead reckoning is performed accurately and that the deviation of the vehicle's orientation does not fluctuate during movement for estimating the deviation of the vehicle's orientation. However, since each section is short, the deviation of the vehicle orientation estimated in each section is likely to be large due to the influence of the error of the vehicle position positioned by the satellite positioning system.
  • the distance of each section is not limited to 10 m, and may be about 20 m or 30 m.
  • the direction calculation unit 14 uses the deviation of the direction of the vehicle for two or more sections among the plurality of continuous sections, so that the influence of the error of the position of the vehicle determined by the satellite positioning system To make it smaller. For example, by calculating the average value or the median value of the vehicle orientations for two or more sections, even if the deviation of the vehicle orientations estimated in each section is large, the vehicle orientations can be estimated. The accuracy can be further improved.
  • the direction calculation unit 14 calculates the direction of the vehicle calculated based on the detection result of the gyro sensor 40 in the adjacent preceding section among the plurality of continuous sections based on the detection result of the gyro sensor 40.
  • the estimated directional of the vehicle may be calculated based on the average value of the deviation of the directional of the vehicle for each of the plurality of continuous sections excluding the section in which the directional of the vehicle is fluctuating by the first threshold value or more.
  • the first section is the preceding section adjacent to the second section
  • the second section is adjacent to the second section and the third section. It is the previous section adjacent to the third section.
  • the direction of the vehicle calculated based on the detection result of the gyro sensor 40 in the first section is north for the adjacent first section and the second section.
  • the direction of the vehicle calculated based on the detection result of the gyro sensor 40 in the second section is east.
  • the direction of the vehicle changes by about 90 degrees at a distance of about 10 m, there is a high possibility that a sharp curve or a right-left turn road exists around the second section, and the accuracy of positioning of the satellite positioning system or It is highly possible that the accuracy of dead reckoning is not sufficient. Therefore, among the plurality of continuous sections, the direction of the vehicle calculated based on the detection result of the gyro sensor 40 is different from the direction of the vehicle calculated based on the detection result of the gyro sensor 40 in the adjacent previous section. The average value of the deviation of the vehicle orientation for each of the plurality of continuous sections excluding the section fluctuating by the first threshold value or more is calculated.
  • the accuracy of the vehicle orientation estimation is further improved. Can be enhanced.
  • the first threshold value is, for example, 90 degrees.
  • the directional calculation unit 14 determines that the directional deviation of the vehicle for each of the plurality of continuous sections excluding the section in which the directional deviation of the vehicle is equal to or higher than the second threshold value among the plurality of continuous sections.
  • the estimated direction of the vehicle may be calculated based on the average value of.
  • the estimated deviation of the vehicle direction may be large (for example, 20 degrees).
  • the operation of the satellite positioning system is unstable, and there is a high possibility that the second position of the vehicle positioned by the satellite positioning system deviates significantly from the actual position. Therefore, among the plurality of continuous sections, the average value of the deviation of the vehicle orientation for each of the plurality of continuous sections excluding the section in which the deviation of the vehicle orientation is equal to or higher than the second threshold value is calculated. Since the estimated deviation of the vehicle direction is excluded in the section where the operation of the satellite positioning system is likely to be unstable and the average value is calculated, the accuracy of the vehicle direction estimation can be further improved. it can.
  • the second threshold value is, for example, 20 degrees
  • the second threshold value is not particularly limited and is appropriately set.
  • the direction of the vehicle calculated based on the detection result of the gyro sensor 40 is the first with respect to the direction of the vehicle calculated based on the detection result of the gyro sensor 40 in the adjacent previous section. Based on the average value of the deviation of the vehicle's direction for each of a plurality of consecutive sections excluding both the section where the deviation is above the threshold value and the section where the deviation of the direction of the vehicle is equal to or more than the second threshold value. , The estimated direction of the vehicle may be calculated.
  • the direction calculation unit 14 may calculate the estimated direction of the vehicle based on the median value of the deviation of the direction of the vehicle for each of the plurality of continuous sections.
  • the deviation of the vehicle orientation in the section where the positioning accuracy of the satellite positioning system or the dead reckoning accuracy is not sufficient is the orientation of the vehicle in other sections. It may be an abnormal value for the deviation of. If the average value is calculated including such an abnormal value, the average value may be greatly affected by the abnormal value and may not become a normal value. Therefore, by calculating the median value, the accuracy of estimating the direction of the vehicle can be further improved.
  • the direction calculation unit 14 may calculate the estimated direction of the vehicle based on the weighted average value of the deviation of the direction of the vehicle for each of the plurality of continuous sections.
  • the weight for the deviation of the vehicle orientation in the section where the positioning accuracy of the satellite positioning system or the dead reckoning accuracy is not sufficient is reduced (for example).
  • the weighted average value for example, 0.5 or the like
  • the output unit 15 outputs the estimated vehicle orientation calculated in this way to the image display device 60, and the image display device 60 outputs information based on the vehicle orientation based on the estimated vehicle orientation to the image display device 60.
  • a drawing delay of about 33.3 ms occurs when displaying the image. That is, even if the image control device 10 accurately calculates the estimated direction, the image display device 60 displays information based on the direction of the vehicle based on the estimated direction of the vehicle about 33.3 ms ago. .. Therefore, the output unit 15 may output to the video display device 60 the estimated future vehicle orientation predicted based on the past fluctuation amount of the estimated vehicle orientation. This will be described with reference to FIG.
  • FIG. 7 is a diagram for explaining a method of eliminating the drawing delay according to the embodiment.
  • the current estimated direction (dashed line in FIG. 7) is output to the video display device 60, it is based on the direction of the vehicle based on the current estimated direction after about 33.3 ms.
  • the information is displayed on the video display device 60.
  • the direction at the time of drawing (that is, about 33.3 ms after the present) may be different from the current direction (two-dot chain line in FIG. 7).
  • the orientation of the vehicle may shift due to drawing delay.
  • the output unit 15 does not output the estimated vehicle orientation as it is to the image display device 60, but instead uses the past variation amount of the estimated vehicle orientation calculated so far. Based on this, the estimated direction of the vehicle in the future (solid line in FIG. 7) is predicted and output to the image display device 60. For example, the output unit 15 predicts the estimated direction of the vehicle after about 33.3 ms based on the amount of fluctuation from about 16.6 ms before to the present. As a result, the difference between the predicted orientation used for drawing and the estimated orientation at the time of drawing becomes small, so that the deviation of the vehicle orientation due to the drawing delay becomes small. That is, the information based on the orientation of the vehicle is accurately displayed on the video display device 60.
  • FIG. 8 is a diagram showing the transition of the directional deviation when the video control device 10 according to the embodiment is applied.
  • the deviation of the vehicle orientation is estimated and the vehicle orientation is corrected, so that the error in the vehicle orientation can be reduced as a whole.
  • the detection results of the gyro sensor 40 are integrated at the same frequency as the 60 Hz drawing rate to predict the direction of the vehicle.
  • the orientation of the vehicle determined by the satellite positioning system is used as the initial orientation when the vehicle is started.
  • the accuracy of the vehicle orientation determined by the satellite positioning system is low, and the vehicle orientation is calculated based on the detection result of the gyro sensor 40 until the deviation of the vehicle orientation is estimated and the vehicle orientation is corrected. Includes an error in the initial orientation.
  • the deviation of the vehicle orientation is estimated based on the position of the vehicle determined by the satellite positioning system and the estimated position of the vehicle estimated based on dead reckoning. Then, the orientation of the vehicle is corrected based on the estimated deviation of the orientation of the vehicle.
  • the error in the orientation of the vehicle can be set to, for example, 0.8 degrees or less.
  • the vehicle is temporarily stopped, and the zero point of the gyro sensor 40 is corrected so that the deviation of the orientation of the vehicle does not become larger than this.
  • the deviation of the vehicle orientation is estimated based on the position of the vehicle positioned by the satellite positioning system and the estimated position of the vehicle estimated based on the dead reckoning, and the estimated deviation of the vehicle orientation is obtained.
  • the orientation of the vehicle is corrected based on this. As a result, the error in the orientation of the vehicle can be reduced to 0.8 degrees or less again.
  • the process of estimating the deviation of the vehicle orientation is performed so that the error of the vehicle orientation is reduced. Will be done.
  • FIG. 9 is a diagram showing an example of the display of the video display device 60.
  • the image display device 60 is, for example, a HUD
  • FIG. 9 shows a display area D on the front windshield glass of the vehicle as a display area of the image display device 60.
  • the information based on the direction of the vehicle is, for example, an arrow C extending in the direction of travel starting from the own vehicle.
  • the arrow C may be displayed so as to protrude from the road (for example, the vehicle heads for a sidewalk, a building, or the like).
  • the accuracy of estimating the direction of the vehicle can be improved, so that the arrow C can be displayed so as to face the traveling direction of the vehicle.
  • the video control device 10 has a first acquisition unit 11 that acquires the position of the vehicle positioned by the satellite positioning system, and an estimation of the vehicle estimated based on dead reckoning.
  • Direction deviation that estimates the directional deviation of the vehicle based on the second acquisition unit 12 that acquires the position, the position of the vehicle that is positioned by the satellite positioning system, and the estimated position of the vehicle that is estimated based on dead reckoning.
  • An estimation unit 13 an orientation calculation unit 14 that calculates an estimated vehicle orientation based on the estimated deviation of the vehicle orientation, and a video display device 60 that displays information on the estimated vehicle orientation based on the vehicle orientation.
  • An output unit 15 for outputting to is provided.
  • the satellite positioning system not only the position of the vehicle but also the direction of the vehicle can be determined from the time change of the position of the vehicle.
  • positioning by the satellite positioning system is performed only at a frequency of 1 Hz (about once every 1 s), and there is a communication delay when acquiring the direction of the positioned vehicle. Therefore, while the vehicle is moving, While the orientation of the vehicle changes from moment to moment, information based on the orientation of the vehicle is displayed on the video display device based on the orientation of the vehicle that is significantly delayed.
  • the deviation of the vehicle orientation is estimated based on the position of the vehicle positioned by the satellite positioning system and the estimated position of the vehicle estimated based on dead reckoning.
  • the position of the vehicle positioned by the satellite positioning system is close to the actual position of the vehicle, although some errors occur.
  • the estimated position of the vehicle estimated based on the dead reckoning will be reflected in the estimated position to some extent accurately when the orientation of the vehicle used for the dead reckoning is deviated. That is, the deviation between the position of the vehicle positioned by the satellite positioning system and the estimated position of the vehicle estimated based on dead reckoning correlates with the deviation of the orientation of the vehicle, and thus is positioned by the satellite positioning system.
  • the deviation of the vehicle direction can be estimated from the deviation between the position of the vehicle and the estimated position of the vehicle estimated based on dead reckoning. As a result, the accuracy of estimating the direction of the vehicle can be improved.
  • the directional deviation estimation unit 13 includes a first position of the vehicle positioned by the satellite positioning system, a second position of the vehicle positioned by the satellite positioning system when the vehicle moves from the first position, and a first position. Estimated based on dead reckoning using the position, the orientation of the vehicle at the first position, the detection result of the gyro sensor 40 provided in the vehicle, and the speed information of the vehicle, the vehicle when the second position is positioned. The deviation of the direction of the vehicle may be estimated based on the estimated position. Specifically, even if the directional deviation estimation unit 13 estimates the angle formed by the straight line connecting the first position and the second position and the straight line connecting the first position and the estimated position as the directional deviation of the vehicle. Good.
  • the first and second positions are close to the actual position of the vehicle.
  • the estimated position is a position estimated based on dead reckoning using the detection result of the gyro sensor based on the direction of the vehicle at the first position.
  • the traveling locus of the vehicle based on dead reckoning is the deviation of the direction of the vehicle at the first position, and the second position from the first position of the vehicle determined by the satellite positioning system. It deviates from the running trajectory to the position. In this way, the deviation between the second position of the vehicle positioned by the satellite positioning system and the estimated position of the vehicle estimated based on dead reckoning corresponds to the deviation of the orientation of the vehicle at the first position.
  • the deviation of the vehicle direction can be estimated from the deviation between the second position and the estimated position.
  • the angle formed by the straight line connecting the first position and the second position and the straight line connecting the first position and the estimated position can be regarded as a deviation in the direction of the vehicle at the first position.
  • the directional deviation estimation unit 13 estimates the directional deviation of the vehicle for each of the plurality of continuous sections based on the first position, the second position, and the estimated position in each of the plurality of continuous sections. Then, the direction calculation unit 14 may calculate the estimated direction of the vehicle based on the deviation of the direction of the vehicle for two or more sections among the plurality of continuous sections.
  • the accuracy of estimating the vehicle orientation by calculating the average value or the median value of the vehicle orientation deviation for two or more sections among the vehicle orientation deviations for each of a plurality of consecutive sections. Can be further enhanced.
  • the direction calculation unit 14 calculates the direction of the vehicle calculated based on the detection result of the gyro sensor 40 in the adjacent preceding section among the plurality of continuous sections based on the detection result of the gyro sensor 40.
  • the estimated directional of the vehicle may be calculated based on the average value of the deviation of the directional of the vehicle for each of the plurality of continuous sections excluding the section in which the directional of the vehicle is fluctuating by the first threshold value or more.
  • the accuracy of estimating the direction of the vehicle can be further improved by calculating the average value of the deviation of the direction of the vehicle for each of the plurality of continuous sections excluding such a section.
  • the directional calculation unit 14 averages the deviations of the vehicle directions for each of the plurality of consecutive sections excluding the sections in which the deviation of the vehicle directions is equal to or greater than the second threshold value among the plurality of consecutive sections.
  • the estimated direction of the vehicle may be calculated based on the value.
  • the operation of the satellite positioning system is unstable in the section where the estimated deviation of the vehicle orientation is equal to or greater than the second threshold value, and the second position of the vehicle positioned by the satellite positioning system is from the actual position. There is a high possibility that there is a large deviation. Therefore, the accuracy of estimating the direction of the vehicle can be further improved by calculating the average value of the deviation of the direction of the vehicle for each of the plurality of continuous sections excluding such a section.
  • the direction calculation unit 14 may calculate the estimated direction of the vehicle based on the median value of the deviation of the direction of the vehicle for each of the plurality of continuous sections.
  • the deviation of the vehicle orientation in the section where the positioning accuracy of the satellite positioning system or the dead reckoning accuracy is not sufficient. Since the influence can be suppressed, the accuracy of estimating the direction of the vehicle can be further improved.
  • the direction calculation unit 14 may calculate the estimated direction of the vehicle based on the weighted average value of the deviation of the direction of the vehicle for each of the plurality of continuous sections.
  • the weight for the deviation of the vehicle orientation in the section where the positioning accuracy of the satellite positioning system or the dead reckoning accuracy is not sufficient is reduced.
  • the influence of the deviation of the direction of the vehicle in the section can be suppressed, so that the accuracy of estimating the direction of the vehicle can be further improved.
  • the output unit 15 may output to the video display device 60 the estimated future vehicle orientation predicted based on the past fluctuation amount of the estimated vehicle orientation.
  • the video control device 10 may be provided integrally with the information processing device 20, or may be provided integrally with the video display device 60, or the video control device 10, the information processing device 20, and the video display.
  • the device 60 may be provided integrally.
  • the vehicle is described as an automobile, but the vehicle is not limited to the automobile, and may be a two-wheeled vehicle, a construction machine, an agricultural machine, or the like.
  • the present disclosure can be realized not only as a video control device 10, but also as a video control method including steps (processes) performed by each component constituting the video control device 10.
  • the position of the vehicle positioned by the satellite positioning system is acquired (step S11), and the estimated position of the vehicle estimated based on dead reckoning is acquired.
  • Step S12 the deviation of the vehicle orientation is estimated and estimated based on the position of the vehicle positioned by the satellite positioning system and the estimated position of the vehicle estimated based on dead reckoning (step S13).
  • the estimated vehicle orientation is calculated based on the deviation of the vehicle orientation (step S14), and the estimated vehicle orientation is output to the image display device 60 that displays information based on the vehicle orientation (step S15).
  • the steps in the video control method may be executed by a computer (computer system).
  • the present disclosure can be realized as a program for causing a computer to execute the steps included in the video control method.
  • the present disclosure can be realized as a non-temporary computer-readable recording medium such as a CD-ROM on which the program is recorded.
  • each step is executed by executing the program using hardware resources such as a computer CPU, memory, and input / output circuits. .. That is, each step is executed by the CPU acquiring data from the memory or the input / output circuit or the like and performing an operation, or outputting the operation result to the memory or the input / output circuit or the like.
  • hardware resources such as a computer CPU, memory, and input / output circuits. .. That is, each step is executed by the CPU acquiring data from the memory or the input / output circuit or the like and performing an operation, or outputting the operation result to the memory or the input / output circuit or the like.
  • each component included in the video control device 10 of the above embodiment may be realized as a dedicated or general-purpose circuit.
  • each component included in the video control device 10 of the above embodiment may be realized as an LSI (Large Scale Integration) which is an integrated circuit (IC: Integrated Circuit).
  • LSI Large Scale Integration
  • IC integrated circuit
  • the integrated circuit is not limited to the LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • a programmable FPGA (Field Programmable Gate Array) or a reconfigurable processor in which the connection and settings of circuit cells inside the LSI can be reconfigured may be used.
  • the present disclosure can be applied to, for example, a device that displays information based on the orientation of a vehicle.
  • Video control device 11 1st acquisition unit 12 2nd acquisition unit 13 Direction deviation estimation unit 14 Direction calculation unit 15 Output unit 20

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)

Abstract

映像制御装置(10)は、衛星測位システムにより測位される車両の位置を取得する第1取得部(11)と、デッドレコニングに基づいて推定される車両の推定位置を取得する第2取得部(12)と、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて、車両の方位のずれを推定する方位ずれ推定部(13)と、推定された車両の方位のずれに基づいて、車両の推定方位を算出する方位算出部(14)と、車両の推定方位を、車両の方位に基づいた情報を表示する映像表示装置(60)に出力する出力部(15)と、を備える。

Description

映像制御装置、映像制御方法及びプログラム
 本開示は、映像制御装置、映像制御方法及びプログラムに関する。
 特許文献1及び2には、地図データとGPS(Global Positioning System)等を用いて自車の位置を検出し、ヘッドアップディスプレイ(Head-Up Display、以下、HUDとも表記する)によって人の視野に目的地への経路情報を映し出す技術が開示されている。
特開平7-257228号公報 特開2018-045103号公報
 HUD等の映像表示装置によって表示される目的地への経路情報には、例えば、車両を目的地へ誘導するための車両の方位(車両自身の向き)に基づいた情報が含まれる場合がある。車両の方位に基づいた情報は、例えば、自車を起点として進行方向へ延びる矢印(後述する図9参照)等である。車両の方位に基づいた情報を生成するためには、車両の方位を推定する必要があるが、推定された車両の方位が実際の方位からずれていると、車両の方位に基づいた情報を見た車両の乗員に違和感を与えるおそれがある。例えば、自車を起点として進行方向へ延びる矢印が、自車の方位がずれて推定されてしまったことで、道路からはみ出るように表示される場合がある。
 そこで、本開示は、車両の方位の推定の精度を高めることができる映像制御装置等を提供する。
 本開示の一態様に係る映像制御装置は、衛星測位システムにより測位される車両の位置を取得する第1取得部と、デッドレコニングに基づいて推定される前記車両の推定位置を取得する第2取得部と、衛星測位システムにより測位される前記車両の位置と、デッドレコニングに基づいて推定される前記車両の推定位置とに基づいて、前記車両の方位のずれを推定する方位ずれ推定部と、推定された前記車両の方位のずれに基づいて、前記車両の推定方位を算出する方位算出部と、前記車両の推定方位を、前記車両の方位に基づいた情報を表示する映像表示装置に出力する出力部と、を備える。
 また、本開示の一態様に係る映像制御方法は、衛星測位システムにより測位される車両の位置を取得し、デッドレコニングに基づいて推定される前記車両の推定位置を取得し、衛星測位システムにより測位される前記車両の位置と、デッドレコニングに基づいて推定される前記車両の推定位置とに基づいて、前記車両の方位のずれを推定し、推定された前記車両の方位のずれに基づいて、前記車両の推定方位を算出し、前記車両の推定方位を、前記車両の方位に基づいた情報を表示する映像表示装置に出力する。
 また、本開示の一態様に係るプログラムは、上記の映像制御方法をコンピュータに実行させるためのプログラムである。
 本開示の映像制御装置等によれば、車両の方位の推定の精度を高めることができる。
図1は、実施の形態に係る映像制御装置及びその周辺の装置の構成の一例を示すブロック図である。 図2は、ジャイロセンサを用いた車両の方位の算出方法を説明するための図である。 図3は、ジャイロセンサのゼロ点の更新を説明するための図である。 図4は、実施の形態に係る映像制御装置の動作の一例を示すフローチャートである。 図5は、実施の形態に係る車両の方位のずれの推定方法の一例を示す図である。 図6は、実施の形態に係る車両の方位のずれの推定方法の他の一例を示す図である。 図7は、実施の形態に係る描画遅延の解消方法を説明するための図である。 図8は、実施の形態に係る映像制御装置を適用したときの方位のずれの推移を示す図である。 図9は、映像表示装置の表示の一例を示す図である。
 (実施の形態)
 以下、実施の形態に係る映像制御装置について、図面を参照しながら説明する。
 図1は、実施の形態に係る映像制御装置10及びその周辺の装置の構成の一例を示すブロック図である。図1には、映像制御装置10の他に、情報処理装置20、ECU30、ジャイロセンサ40、加速度センサ50及び映像表示装置60が示されている。これらの装置は、例えば、車両(例えば自動車)に搭載される。
 情報処理装置20は、GPS(Global Positioning System)等の衛星測位システムにより測位される車両の位置及び車両の方位、並びに、車両の目的地までの経路(例えば、目的地までの最短の経路又は渋滞を避ける経路等)の情報等を取得可能な装置であり、例えば、カーナビゲーションシステムである。
 ECU30は、例えば、車速信号等を取り扱うECUであり、現在の車両の速度をCAN(Controller Area Network)バスに出力可能な装置である。
 ジャイロセンサ40は、車両のヨー角速度情報を検出し、検出結果を出力するセンサである。上記検出結果を積算することで車両の方位を算出することができる。
 加速度センサ50は、車両の加速度を検出し、検出結果を出力するセンサである。上記検出結果に基づいて、車両が停止しているか否かを判定できる。
 映像表示装置60は、車両の方位に基づいた情報を表示する装置であり、例えば、HUD、電子ミラー又はカーナビゲーションシステム等である。本実施の形態では、映像表示装置60をHUDとする。車両の方位に基づいた情報は、例えば、車両を起点として進行方向へ延びる矢印等である(後述する図9参照)。映像表示装置60は、情報処理装置20から取得する車両の目的地までの経路の情報と、映像制御装置10から取得する車両の推定方位とに基づいて、車両の方位に基づいた情報を表示する。なお、車両の方位に基づいた情報は、車両の方位自体であってもよい。つまり、映像表示装置60に、車両の方位が表示されてもよい。
 映像制御装置10は、車両の推定方位を算出し、推定方位を映像表示装置60に出力する装置である。映像制御装置10により算出された推定方位に応じて映像表示装置60の表示内容(車両の方位に基づいた情報)が変わることになるため、映像制御装置10は、映像表示装置60の表示内容を制御する装置であるともいえる。映像制御装置10は、第1取得部11、第2取得部12、方位ずれ推定部13、方位算出部14及び出力部15を備える。映像制御装置10は、プロセッサ、メモリ及び通信回路等を含むコンピュータである。メモリは、ROM(Read Only Memory)、RAM(Random Access Memory)等であり、プロセッサにより実行されるプログラムを記憶することができる。また、メモリには、映像制御装置10が取得した情報が格納される。例えばプロセッサが、プログラムに従って動作することにより、第1取得部11、第2取得部12、方位ずれ推定部13、方位算出部14及び出力部15の機能が実現される。
 第1取得部11は、衛星測位システムにより測位される車両の位置を取得する。具体的には、第1取得部11は、情報処理装置20から衛星測位システムにより測位される車両の位置を取得する。第1取得部11は、衛星測位システムにより測位される車両の第1位置と、車両が第1位置から移動したときの、衛星測位システムにより測位される車両の第2位置とを取得する。第1取得部11は、衛星測位システムにより測位される車両の位置を逐次取得することで、第1位置から第2位置までの車両の走行軌跡を推定できる。
 第2取得部12は、デッドレコニングに基づいて推定される車両の推定位置を取得する。例えば、第2取得部12は、第1位置と、第1位置における車両の方位と、車両に備えられたジャイロセンサ40の検出結果と、車両の速度情報とを用いたデッドレコニングに基づいて、第2位置が測位されたときの(具体的には第2位置が測位されたタイミングでの)車両の推定位置を推定することで、車両の推定位置を取得する。デッドレコニングとは、衛星測位システムのように位置を直接測位するのではなく、ある地点における移動体の方位、その地点からのジャイロセンサの検出結果及び移動体の速度情報等を用いて、移動体の位置を相対的に測位する技術である。第2取得部12は、デッドレコニングにより、第1位置から推定位置までの車両の走行軌跡を推定できる。
 第1取得部11が取得する第1位置と、第2取得部が取得する第1位置とが同じ位置であれば、第2取得部12は、情報処理装置20から第1位置を取得してもよいし、第1取得部11から第1位置を取得してもよい。また、第2取得部12は、例えば、車両の起動時(走行開始時)には、第1位置における車両の方位を情報処理装置20から取得する。つまり、車両の走行開始時に第2取得部12が取得する第1位置における車両の方位は、衛星測位システムにより測位された車両の方位となる。また、第2取得部12は、例えば、車両の走行開始後には、第1位置における車両の方位を方位算出部14から取得する。また、第2取得部12は、ジャイロセンサ40の検出結果をジャイロセンサ40から取得し、車両の速度情報をECU30からCANバス等を介して取得する。また、第2取得部12は、例えば、第2位置が測位されたタイミングを第1取得部11から通知される。
 ここで、ジャイロセンサ40の検出結果によって、車両の方位を算出する方法について図2を用いて説明する。
 図2は、ジャイロセンサ40を用いた車両の方位の算出方法を説明するための図である。
 例えば、時刻T=0での車両の方位(初期方位)が既知であるとする。時刻T=1での車両の方位は、時刻T=0から時刻T=1間のジャイロセンサ40の検出結果(つまりヨー角速度)の積算値を初期方位に加算することで算出できる。時刻T=2での車両の方位は、時刻T=1から時刻T=2間のジャイロセンサ40の検出結果の積算値を時刻T1での車両の方位に加算することで算出できる。このように、ある瞬間の車両の方位が既知であれば、その瞬間の車両の方位と、ジャイロセンサ40の検出結果の積算値とを用いて車両の方位を正確に算出することができる。ただし、初期方位にずれが含まれている場合には、初期方位を用いて算出されるその後の車両の方位についても、そのずれ分正確にずれてくることになる。
 また、車両が停止している状態であるにもかかわらず、ジャイロセンサ40のゼロ点(車両が停止している状態のときのジャイロセンサ40の出力)がジャイロドリフトによってゼロとならない場合がある。この場合、ジャイロセンサ40の積算値もずれていってしまう。そこで、このようなときに、ジャイロセンサ40のゼロ点が更新される。これについて、図3を用いて説明する。
 図3は、ジャイロセンサ40のゼロ点の更新を説明するための図である。
 図3に示されるように、車両が走行を継続すると、ある時点からジャイロセンサ40のゼロ点がジャイロドリフトによってゼロから変動する。ジャイロセンサ40のゼロ点の変動は、ジャイロセンサ40の検出結果の積算値を変化させるため、ジャイロセンサ40のゼロ点の変動によって(つまりジャイロドリフトによって)、ジャイロセンサ40を用いて算出される車両の方位にずれが生じる。そこで、例えば、第2取得部12は、ゼロ点の更新を行う。具体的には、第2取得部12は、車両が停止しているとき(例えば、過去3秒間車速が0であり、かつ、車両の加速度の変化量が所定の閾値以下であるとき)、過去3秒間のジャイロセンサ40の検出結果の平均値をゼロとすることで、ゼロ点の更新を行う。これにより、車両の方位がこれ以上ずれないようにすることができる。第2取得部12は、車両の加速度を加速度センサ50から取得する。例えば、第2取得部12は、車両が停止しているときに、過去3秒間のジャイロセンサ40の検出結果の平均値がゼロであれば(つまりゼロ点が変動していなければ)、ゼロ点の更新を行わない。言い換えると、第2取得部12は、ゼロ点の変動が確認できたときに、ゼロ点の更新を行う。
 図1での説明に戻り、方位ずれ推定部13は、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて、車両の方位のずれを推定する。方位ずれ推定部13の動作の詳細については後述する。
 方位算出部14は、方位ずれ推定部13により推定された車両の方位のずれに基づいて、車両の推定方位を算出する。方位算出部14の動作の詳細については後述する。
 出力部15は、車両の推定方位を映像表示装置60に出力する。
 次に、映像制御装置10の動作について説明する。
 図4は、実施の形態に係る映像制御装置10の動作の一例を示すフローチャートである。
 第1取得部11は、衛星測位システムにより測位される車両の位置を取得する(ステップS11)。具体的には、第1取得部11は、衛星測位システムにより測位される車両の第1位置と、車両が第1位置から移動したときの、衛星測位システムにより測位される車両の第2位置とを取得する。
 第2取得部12は、デッドレコニングに基づいて推定される車両の推定位置を取得する(ステップS12)。車両の推定位置は、第1位置と、第1位置における車両の方位と、車両に備えられたジャイロセンサ40の検出結果と、車両の速度情報とを用いたデッドレコニングに基づいて推定される、第2位置が測位されたときの車両の位置である。
 方位ずれ推定部13は、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される前記車両の推定位置とに基づいて、車両の方位のずれを推定する(ステップS13)。具体的には、方位ずれ推定部13は、衛星測位システムにより測位される車両の第1位置と、車両が第1位置から移動したときの、衛星測位システムにより測位される車両の第2位置と、第1位置と第1位置における車両の方位と車両に備えられたジャイロセンサの検出結果と車両の速度情報とを用いたデッドレコニングに基づいて推定される、第2位置が測位されたときの車両の推定位置と、に基づいて、車両の方位のずれを推定する。車両の方位のずれの推定方法について、図5を用いて詳細に説明する。
 図5は、実施の形態に係る車両の方位のずれの推定方法の一例を示す図である。図5は、水平面上の車両の走行軌跡を模式的に示しており、車両が左下側(原点側)から右上側(X軸及びY軸プラス側)に移動するとする。図5における実線は、実際の走行軌跡であり、映像制御装置10等が認識できないものであるが、衛星測位システムによる走行軌跡及びデッドレコニングによる走行軌跡との比較のために図示している。図5における破線は、衛星測位システムによる走行軌跡である。図5における一点鎖線は、デッドレコニングによる走行軌跡である。
 図5における位置A1は、衛星測位システムにより測位される第1位置を示し、位置A2は、車両が位置A1から移動したときの、衛星測位システムにより測位される第2位置を示す。映像制御装置10は、衛星測位システムにより測位される車両の位置を逐次取得することで、衛星測位システムによる走行軌跡を認識できる。ただ、衛星測位システムにより測位される車両の位置には、誤差が含まれており、実際の走行位置から10メートル程度ずれて測位される場合もある。
 図5における位置B1は、位置A2が測位されたときの、デッドレコニングにより推定される推定位置を示す。映像制御装置10は、位置A1における車両の方位(初期方位)を取得し、また、位置A1からのジャイロセンサ40の検出結果、及び、位置A1からの車両の速度情報を逐次取得することで、デッドレコニングによる走行軌跡を認識できる。デッドレコニングが精度よく行われる場合、ある地点からの車両の方位の変化及び車両の速度の変化を正確に走行軌跡に反映することができるため、図5に示されるように、デッドレコニングによる走行軌跡は、実際の走行軌跡と形状が類似していることがわかる。しかし、デッドレコニングにより用いられる車両の初期方位が、実際の車両の方位とずれている場合、そのずれ分、デッドレコニングによる走行軌跡の位置も、実際の走行軌跡の位置からずれる。位置A1は、車両の方位のずれの推定の処理を開始する位置であり、例えば、車両の走行の開始位置(車両の起動位置)又はジャイロセンサ40のゼロ点の更新位置である。位置A1が車両の走行の開始位置である場合、初期方位は、例えば衛星測位システムにより測位される車両の方位である。衛星測位システムにより測位される車両の方位の精度が低いため、初期方位は、実際の車両の方位とずれている可能性が高い。また、位置A1がジャイロセンサ40のゼロ点の更新位置である場合、初期方位は、例えばジャイロセンサ40の検出結果に基づいて算出される車両の方位である。ジャイロセンサ40のゼロ点の更新は、ジャイロセンサ40のゼロ点が変動したときに行われるため、ジャイロセンサ40のゼロ点の更新時にジャイロセンサ40の検出結果に基づいて算出される車両の方位(つまり初期方位)は、実際の車両の方位とずれている可能性が高い。
 車両の走行の開始位置又はジャイロセンサ40のゼロ点の更新位置では、ジャイロセンサ40のゼロ点の更新が行われ、ジャイロセンサ40のゼロ点は変動していないとする。また、これらの位置では、車両が停止しており、これらの位置から車両が移動を開始してからしばらくはジャイロドリフトによるジャイロセンサ40のゼロ点の変動はないとする。このように、衛星測位システムにより測位される位置A1から位置A2まで車両が移動する間、車両の方位のずれは、位置A1において生じているずれから変動しないとする。
 デッドレコニングが精度よく行われ、かつ、車両の方位のずれの推定のための移動中に車両の方位のずれが変動しないという前提のもとでは、位置A1と位置A2とを結ぶ直線と、位置A1と位置B1とを結ぶ直線とのなす角度を車両の方位のずれとみなすことができる。つまり、方位ずれ推定部13は、衛星測位システムにより測位される車両の方位のずれ、又は、ジャイロドリフトによる車両の方位のずれ等を推定することができる。
 図4での説明に戻り、方位算出部14は、方位ずれ推定部13により推定された車両の方位のずれに基づいて、車両の推定方位を算出する(ステップS14)。例えば、方位算出部14は、推定された車両の方位のずれを用いて、位置A2以降の移動においてジャイロセンサ40の検出結果に基づいて算出される車両の方位を補正する(例えば車両の方位のずれを加算又は減算する)ことで、車両の推定方位を算出する。これにより、車両の方位の推定の精度を高めることができる。
 そして、出力部15は、車両の推定方位を映像表示装置60に出力する(ステップS15)。これにより、映像表示装置60は、ずれの少ない車両の方位に基づいて、車両の方位に基づいた情報を表示することができる。
 なお、方位ずれ推定部13は、車両の方位のずれを推定し、車両の推定方位が算出された後も、引き続き位置A1を起点として、逐次車両の方位のずれを推定してもよい。詳細は後述する図6で説明するが、車両の方位のずれを推定するために車両が移動する距離が長くなるほど車両の方位のずれの推定の精度が高まるためである。ただし、車両が停止せずに移動する距離が長くなると、ジャイロドリフトによる車両の方位のずれ(つまりジャイロセンサ40のゼロ点の変動)が発生するため、ジャイロセンサ40のゼロ点が変動してゼロ点の更新が行われた場合には、位置A1に代わる新たな第1位置を起点として車両の方位のずれの推定の処理が行われる。
 図5に示されるように、衛星測位システムにより測位される車両の位置には、誤差が含まれており、当該誤差が大きいほど位置A1と位置A2とを結ぶ直線がぶれることになるため、車両の方位のずれの推定の精度が低くなる。一方で、位置A1と位置A2との距離(車両の方位のずれを推定するために車両が移動する距離)が長いほど上記誤差が車両の方位のずれの推定に影響しにくくなる。ただし、車両の方位のずれは、デッドレコニングが精度よく行われ、かつ、車両の方位のずれの推定のための移動中に車両の方位のずれが変動しないという前提のもとで計算されたものであり、実際には、車両が移動する距離が長くなると、デッドレコニングの精度が落ちたり、ジャイロドリフトの影響を受けたりすることがある。このため、上記前提を維持するためには、車両が移動する距離をなるべく短くする必要がある。
 そこで、方位ずれ推定部13は、例えば10m程度の短い区間ごとに車両の方位の推定の処理を行い、方位算出部14は、各区間での車両の方位の推定結果から車両の推定方位を算出してもよい。具体的には、方位ずれ推定部13は、複数の連続する区間のそれぞれにおける第1位置と、第2位置と、推定位置とに基づいて、複数の連続する区間のそれぞれについての車両の方位のずれを推定してもよい。また、方位算出部14は、複数の連続する区間のうちの2つ以上の区間についての車両の方位のずれに基づいて、車両の推定方位を算出してもよい。これについて、図6を用いて説明する。
 図6は、実施の形態に係る車両の方位のずれの推定方法の他の一例を示す図である。図6は、図5と同じように、水平面上の車両の走行軌跡を模式的に示しており、車両が左下側(原点側)から右上側(X軸及びY軸プラス側)に移動するとする。ただし、図6では、複数の連続する区間(ここでは、一例として3つの区間である第1区間から第3区間を示している)のそれぞれごとに第1位置、第2位置及び推定位置が存在する。つまり、図5における第1位置(位置A1)、第2位置(位置A2)及び推定位置(位置B1)を用いた車両の方位のずれの推定の処理が第1区間から第3区間のそれぞれで行われる。第1区間において、位置A1は、衛星測位システムにより測位される第1位置を示し、位置A2は、車両が位置A1から移動したときの、衛星測位システムにより測位される第2位置を示し、位置B1は、位置A2が測位されたときの、デッドレコニングにより推定される推定位置を示す。また、第2区間において、位置A2は、衛星測位システムにより測位される第1位置を示し、位置A3は、車両が位置A2から移動したときの、衛星測位システムにより測位される第2位置を示し、位置B2は、位置A3が測位されたときの、デッドレコニングにより推定される推定位置を示す。また、第3区間において、位置A3は、衛星測位システムにより測位される第1位置を示し、位置A4は、車両が位置A3から移動したときの、衛星測位システムにより測位される第2位置を示し、位置B3は、位置A4が測位されたときの、デッドレコニングにより推定される推定位置を示す。
 ここでは、一例として3つの区間について、車両の方位のずれの推定が行われる例を示しているが、例えば、数100mの距離を10m程度の短い区間で分割して各区間について車両の方位のずれが推定される。10m程度の短い区間では、デッドレコニングが精度よく行われ、かつ、車両の方位のずれの推定のための移動中に車両の方位のずれが変動しないという前提を確保しやすくなる。ただし、各区間が短いため、衛星測位システムにより測位される車両の位置の誤差の影響を大きく受けて、各区間で推定される車両の方位のずれは大きくなりやすい。なお、各区間の距離は、10mに限らず、20m又は30m程度であってもよい。
 これに対して、方位算出部14は、複数の連続する区間のうちの2つ以上の区間についての車両の方位のずれを用いることで、衛星測位システムにより測位される車両の位置の誤差の影響を小さくする。例えば、2つ以上の区間についての車両の方位の平均値又は中央値等を算出することで、各区間で推定される車両の方位のずれが大きい場合であっても、車両の方位の推定の精度をさらに高めることができる。
 例えば、方位算出部14は、複数の連続する区間のうち、隣り合う前区間におけるジャイロセンサ40の検出結果に基づいて算出される車両の方位に対して、ジャイロセンサ40の検出結果に基づいて算出される車両の方位が第1閾値以上変動している区間を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値に基づいて、車両の推定方位を算出してもよい。
 例えば、図6の例では、隣り合う第1区間及び第2区間について、第1区間が第2区間に対して隣り合う前区間となり、隣り合う第2区間及び第3区間について、第2区間が第3区間に対して隣り合う前区間となる。例えば、隣り合う第1区間及び第2区間について、第1区間(前区間)におけるジャイロセンサ40の検出結果に基づいて算出される車両の方位が北であったとする。また、第2区間(後区間)におけるジャイロセンサ40の検出結果に基づいて算出される車両の方位が東であったとする。この場合、例えば10m程度の距離で車両の方位が90度程度変化しているため、第2区間周辺で急なカーブ又は右左折路が存在する可能性が高く、衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない可能性が高い。そこで、複数の連続する区間のうち、隣り合う前区間におけるジャイロセンサ40の検出結果に基づいて算出される車両の方位に対して、ジャイロセンサ40の検出結果に基づいて算出される車両の方位が第1閾値以上変動している区間を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値が算出される。衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない可能性が高い区間において推定された車両の方位のずれが除外されて平均値が算出されるため、車両の方位の推定の精度をさらに高めることができる。なお、第1閾値が例えば90度である例について説明したが、第1閾値は特に限定されず、適宜設定される。
 また、例えば、方位算出部14は、複数の連続する区間のうち、車両の方位のずれが第2閾値以上となっている区間を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値に基づいて、車両の推定方位を算出してもよい。
 例えば、複数の連続する区間のうちのある区間において、推定された車両の方位のずれが大きい(例えば20度等)場合がある。このような区間は、衛星測位システムの動作が不安定となっており、衛星測位システムにより測位された車両の第2位置が実際の位置から大きくずれている可能性が高い。そこで、複数の連続する区間のうち、車両の方位のずれが第2閾値以上となっている区間を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値が算出される。衛星測位システムの動作が不安定となっている可能性の高い区間において推定された車両の方位のずれが除外されて平均値が算出されるため、車両の方位の推定の精度をさらに高めることができる。なお、第2閾値が例えば20度である例について説明したが、第2閾値は特に限定されず、適宜設定される。
 なお、方位算出部14は、隣り合う前区間におけるジャイロセンサ40の検出結果に基づいて算出される車両の方位に対して、ジャイロセンサ40の検出結果に基づいて算出される車両の方位が第1閾値以上変動している区間、及び、車両の方位のずれが第2閾値以上となっている区間の両方を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値に基づいて、車両の推定方位を算出してもよい。
 また、例えば、方位算出部14は、複数の連続する区間のそれぞれについての車両の方位のずれの中央値に基づいて、車両の推定方位を算出してもよい。
 衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない区間(例えば、上記説明において、平均値を算出する際に除外するとした区間)における車両の方位のずれは、他の区間における車両の方位のずれに対して、異常な値となっている場合がある。このような異常な値も含めて平均値が算出されると、平均値が異常な値の影響を大きく受けて正常な値とならないおそれがある。そこで、中央値が算出されることで、車両の方位の推定の精度をさらに高めることができる。
 また、例えば、方位算出部14は、複数の連続する区間のそれぞれについての車両の方位のずれの加重平均値に基づいて、車両の推定方位を算出してもよい。
 例えば、衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない区間(例えば、上記説明において、平均値を算出する際に除外するとした区間)における車両の方位のずれに対する重みを小さくして(例えば0.5等にして)、加重平均値を算出することで、車両の方位の推定の精度をさらに高めることができる。
 出力部15は、このようにして算出された車両の推定方位を映像表示装置60に出力するが、映像表示装置60では、車両の推定方位に基づく車両の方位に基づいた情報を映像表示装置60に表示する際に、例えば約33.3ms程度の描画遅延が生じる。つまり、映像制御装置10において、精度よく推定方位を算出したとしても、約33.3ms前の車両の推定方位に基づいて車両の方位に基づいた情報が映像表示装置60に表示されることとなる。そこで、出力部15は、車両の推定方位の過去の変動量に基づいて予測される将来の車両の推定方位を映像表示装置60に出力してもよい。これについて、図7を用いて説明する。
 図7は、実施の形態に係る描画遅延の解消方法を説明するための図である。
 図7の上側に示されるように、現在の推定方位(図7中の一点鎖線)が映像表示装置60に出力されると、約33.3ms後に現在の推定方位に基づく車両の方位に基づいた情報が映像表示装置60に表示される。しかし、車両の方位は時々刻々と変化するため、描画時点(つまり現在から約33.3ms後)には、現在とは異なる方位(図7中の二点鎖線)となっている場合があり、描画遅延による車両の方位のずれが生じる場合がある。
 そこで、図7の下側に示されるように、出力部15は、車両の推定方位をそのまま映像表示装置60に出力せずに、これまでに算出された車両の推定方位の過去の変動量に基づいて将来の車両の推定方位(図7中の実線)を予測して映像表示装置60に出力する。例えば、出力部15は、約16.6ms前から現在までの変動量に基づいて約33.3ms後の車両の推定方位を予測する。これにより、描画に使用される予測された推定方位と、描画時点の推定方位との差が小さくなるため、描画遅延による車両の方位のずれが小さくなる。すなわち、車両の方位に基づいた情報が映像表示装置60に正確に表示されるようになる。
 次に、本実施の形態に係る映像制御装置10を適用したときの方位のずれの推移について図8を用いて説明する。
 図8は、実施の形態に係る映像制御装置10を適用したときの方位のずれの推移を示す図である。例えば、本実施の形態では、車両の方位のずれが推定され、車両の方位の補正が行われることで、車両の方位の誤差を全体的に低下させることができる。
 図8に示されるように、例えば、60Hz描画レートと同じ頻度でジャイロセンサ40の検出結果の積算が行われ車両の方位が予測されるとする。例えば、車両の起動時における初期方位として、衛星測位システムにより測位される車両の方位が用いられる。衛星測位システムにより測位される車両の方位の精度は低く、車両の方位のずれの推定が行われ車両の方位が補正されるまでは、ジャイロセンサ40の検出結果に基づいて算出される車両の方位には、初期方位の誤差が含まれる。
 車両が移動を開始した後、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて車両の方位のずれが推定される。そして、推定された車両の方位のずれに基づいて車両の方位が補正される。これにより、車両の方位の誤差を例えば0.8度以下とすることができる。
 その後、車両がある程度走行を継続すると、ジャイロドリフトにより車両の方位のずれが大きくなる場合がある。そこで、車両はいったん停止し、ジャイロセンサ40のゼロ点の補正が行われ、車両の方位のずれがこれ以上大きくならないようにする。そして、再度、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて車両の方位のずれが推定され、推定された車両の方位のずれに基づいて車両の方位が補正される。これにより、車両の方位の誤差を再度0.8度以下とすることができる。以降も、例えば、ジャイロセンサ40のゼロ点が変動してジャイロセンサ40のゼロ点の補正が行われたときに、車両の方位の誤差が小さくなるように車両の方位のずれの推定の処理が行われる。
 以上のようにして、車両の方位の推定の精度が高められることで、車両の方位に基づいた情報を映像表示装置60に正確に表示することができる。
 図9は、映像表示装置60の表示の一例を示す図である。上述したように、映像表示装置60は、例えばHUDであり、図9には、映像表示装置60の表示領域として、車両のフロントウインドシールドガラス上の表示領域Dが示されている。
 車両の方位に基づいた情報は、例えば、自車を起点として進行方向へ延びる矢印Cである。自車を起点として進行方向へ延びる矢印Cを表示領域D上に表示するためには、車両の方位を推定する必要がある。推定された車両の方位が実際の方位からずれていると、矢印Cが道路からはみ出るように(例えば、車両が歩道又は建物等に向かうように)表示される場合がある。本実施の形態に係る映像制御装置10では、車両の方位の推定の精度を高めることができるため、矢印Cが車両の進行方向を向くように表示させることができる。
 以上説明したように、本実施の形態に係る映像制御装置10は、衛星測位システムにより測位される車両の位置を取得する第1取得部11と、デッドレコニングに基づいて推定される前記車両の推定位置を取得する第2取得部12と、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて、車両の方位のずれを推定する方位ずれ推定部13と、推定された車両の方位のずれに基づいて、車両の推定方位を算出する方位算出部14と、車両の推定方位を、車両の方位に基づいた情報を表示する映像表示装置60に出力する出力部15と、を備える。
 衛星測位システムによれば、車両の位置だけでなく、車両の位置の時間変化から車両の方位も測位できる。しかし、衛星測位システムによる測位は1Hz(約1sに1回)の頻度でしか行われず、また測位された車両の方位を取得する際に、通信遅延も存在するため、車両の移動中には、車両の方位は時々刻々と変化するのに対して、大きく遅延した車両の方位に基づいて車両の方位に基づいた情報が映像表示装置に表示されることとなる。
 そこで、本態様では、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて、車両の方位のずれが推定される。衛星測位システムにより測位される車両の位置は、ある程度の誤差は生じるが車両の実際の位置に近い位置となる。一方で、デッドレコニングに基づいて推定される車両の推定位置は、デッドレコニングに用いられる車両の方位にずれが生じている場合、そのずれが推定位置にある程度正確に反映されることになる。すなわち、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とのずれは、車両の方位のずれと相関があることから、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とのずれから車両の方位のずれを推定することができる。これにより、車両の方位の推定の精度を高めることができる。
 また、方位ずれ推定部13は、衛星測位システムにより測位される車両の第1位置と、車両が第1位置から移動したときの、衛星測位システムにより測位される車両の第2位置と、第1位置と第1位置における車両の方位と車両に備えられたジャイロセンサ40の検出結果と車両の速度情報とを用いたデッドレコニングに基づいて推定される、第2位置が測位されたときの車両の推定位置と、に基づいて、車両の方位のずれを推定するとしてもよい。具体的には、方位ずれ推定部13は、第1位置と第2位置とを結ぶ直線と、第1位置と推定位置とを結ぶ直線とのなす角度を車両の方位のずれとして推定するとしてもよい。
 第1位置及び第2位置は、車両の実際の位置に近い位置となる。推定位置は、第1位置における車両の方位を基準としたジャイロセンサの検出結果等を用いたデッドレコニングに基づいて推定される位置である。車両が第1位置から第2位置に移動するにつれて、デッドレコニングに基づく車両の走行軌跡は、第1位置における車両の方位のずれ分、衛星測位システムにより測位される車両の第1位置から第2位置への走行軌跡からずれていく。このように、衛星測位システムにより測位される車両の第2位置と、デッドレコニングに基づいて推定される車両の推定位置とのずれは、第1位置における車両の方位のずれに応じたものとなることから、第2位置と推定位置とのずれから車両の方位のずれを推定することができる。具体的には、第1位置と第2位置とを結ぶ直線と、第1位置と推定位置とを結ぶ直線とのなす角度が、第1位置における車両の方位のずれとみなすことができるため、当該角度を算出することで、容易に車両の方位のずれを推定することができる。
 また、方位ずれ推定部13は、複数の連続する区間のそれぞれにおける第1位置と、第2位置と、推定位置とに基づいて、複数の連続する区間のそれぞれについての車両の方位のずれを推定し、方位算出部14は、複数の連続する区間のうちの2つ以上の区間についての車両の方位のずれに基づいて、車両の推定方位を算出するとしてもよい。
 例えば、複数の連続する区間のそれぞれについての車両の方位のずれのうち2つ以上の区間についての車両の方位のずれの平均値又は中央値等を算出することで、車両の方位の推定の精度をさらに高めることができる。
 また、方位算出部14は、複数の連続する区間のうち、隣り合う前区間におけるジャイロセンサ40の検出結果に基づいて算出される車両の方位に対して、ジャイロセンサ40の検出結果に基づいて算出される車両の方位が第1閾値以上変動している区間を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値に基づいて、車両の推定方位を算出するとしてもよい。
 隣り合う前区間に対して車両の方位が第1閾値以上変動している区間は、急なカーブ又は右左折路が存在する可能性が高く、衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない可能性が高い。このため、このような区間を除外して複数の連続する区間のそれぞれについての車両の方位のずれの平均値を算出することで、車両の方位の推定の精度をさらに高めることができる。
 また、方位算出部14は、複数の連続する区間のうち、車両の方位のずれが第2閾値以上となっている区間を除外した複数の連続する区間のそれぞれについての車両の方位のずれの平均値に基づいて、車両の推定方位を算出するとしてもよい。
 推定された車両の方位のずれが第2閾値以上となっている区間は、衛星測位システムの動作が不安定となっており、衛星測位システムにより測位された車両の第2位置が実際の位置から大きくずれている可能性が高い。このため、このような区間を除外して複数の連続する区間のそれぞれについての車両の方位のずれの平均値を算出することで、車両の方位の推定の精度をさらに高めることができる。
 また、方位算出部14は、複数の連続する区間のそれぞれについての車両の方位のずれの中央値に基づいて、車両の推定方位を算出するとしてもよい。
 これによれば、複数の連続する区間のそれぞれについての車両の方位のずれのうち、衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない区間における車両の方位のずれ(いわゆる外れ値)の影響を抑制できるため、車両の方位の推定の精度をさらに高めることができる。
 また、方位算出部14は、複数の連続する区間のそれぞれについての車両の方位のずれの加重平均値に基づいて、車両の推定方位を算出するとしてもよい。
 これによれば、複数の連続する区間のそれぞれについての車両の方位のずれのうち、衛星測位システムの測位の精度又はデッドレコニングの精度が十分でない区間における車両の方位のずれに対する重みを小さくして加重平均値を算出することで、当該区間における車両の方位のずれの影響を抑制できるため、車両の方位の推定の精度をさらに高めることができる。
 また、出力部15は、車両の推定方位の過去の変動量に基づいて予測される将来の車両の推定方位を映像表示装置60に出力するとしてもよい。
 車両の方位に基づいた情報を映像表示装置60に表示する際に、33.3ms程度の描画遅延が生じる。このため、車両の推定方位がそのまま映像表示装置60に出力される場合、車両の方位は時々刻々と変化するのに対して、約33.3ms前の車両の推定方位に基づいて車両の方位に基づいた情報が映像表示装置60に表示されることとなる。そこで、これまでに算出された車両の推定方位の過去の変動量(例えば約16.6ms前から現在までの変動量)に基づいて将来の(約33.3ms後の)車両の推定方位を予測して映像表示装置60に出力することで、描画遅延の影響を抑制でき、映像表示装置60に正確な車両の方位に基づいた情報を表示することができる。
 (その他の実施の形態)
 以上のように、本開示に係る技術の例示として実施の形態を説明した。しかしながら、本開示に係る技術は、これに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。例えば、以下のような変形例も本開示の一実施の形態に含まれる。
 例えば、上記実施の形態では、映像制御装置10は、情報処理装置20及び映像表示装置60と別体に設けられている例について説明したが、これに限らない。例えば、映像制御装置10は、情報処理装置20と一体に設けられていてもよいし、映像表示装置60と一体に設けられていてもよいし、映像制御装置10、情報処理装置20及び映像表示装置60が一体に設けられていてもよい。
 例えば、上記実施の形態では、車両は自動車であると説明したが、自動車に限らず、二輪車、建機又は農機等であってもよい。
 なお、本開示は、映像制御装置10として実現できるだけでなく、映像制御装置10を構成する各構成要素が行うステップ(処理)を含む映像制御方法として実現できる。
 具体的には、図4に示されるように、映像制御方法では、衛星測位システムにより測位される車両の位置を取得し(ステップS11)、デッドレコニングに基づいて推定される車両の推定位置を取得し(ステップS12)、衛星測位システムにより測位される車両の位置と、デッドレコニングに基づいて推定される車両の推定位置とに基づいて、車両の方位のずれを推定し(ステップS13)、推定された車両の方位のずれに基づいて、車両の推定方位を算出し(ステップS14)、車両の推定方位を、車両の方位に基づいた情報を表示する映像表示装置60に出力する(ステップS15)。
 例えば、映像制御方法におけるステップは、コンピュータ(コンピュータシステム)によって実行されてもよい。そして、本開示は、映像制御方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本開示は、そのプログラムを記録したCD-ROM等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。
 例えば、本開示が、プログラム(ソフトウェア)で実現される場合には、コンピュータのCPU、メモリ及び入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、CPUがデータをメモリ又は入出力回路等から取得して演算したり、演算結果をメモリ又は入出力回路等に出力したりすることによって、各ステップが実行される。
 また、上記実施の形態の映像制御装置10に含まれる各構成要素は、専用又は汎用の回路として実現されてもよい。
 また、上記実施の形態の映像制御装置10に含まれる各構成要素は、集積回路(IC:Integrated Circuit)であるLSI(Large Scale Integration)として実現されてもよい。
 また、集積回路はLSIに限られず、専用回路又は汎用プロセッサで実現されてもよい。プログラム可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続及び設定が再構成可能なリコンフィギュラブル・プロセッサが、利用されてもよい。
 さらに、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、映像制御装置10に含まれる各構成要素の集積回路化が行われてもよい。
 その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
 本開示は、例えば、車両の方位に基づいた情報を表示する装置に適用できる。
 10 映像制御装置
 11 第1取得部
 12 第2取得部
 13 方位ずれ推定部
 14 方位算出部
 15 出力部
 20 情報処理装置
 30 ECU
 40 ジャイロセンサ
 50 加速度センサ
 60 映像表示装置

Claims (11)

  1.  衛星測位システムにより測位される車両の位置を取得する第1取得部と、
     デッドレコニングに基づいて推定される前記車両の推定位置を取得する第2取得部と、
     衛星測位システムにより測位される前記車両の位置と、デッドレコニングに基づいて推定される前記車両の推定位置とに基づいて、前記車両の方位のずれを推定する方位ずれ推定部と、
     推定された前記車両の方位のずれに基づいて、前記車両の推定方位を算出する方位算出部と、
     前記車両の推定方位を、前記車両の方位に基づいた情報を表示する映像表示装置に出力する出力部と、を備える、
     映像制御装置。
  2.  前記方位ずれ推定部は、
     衛星測位システムにより測位される前記車両の第1位置と、
     前記車両が前記第1位置から移動したときの、衛星測位システムにより測位される前記車両の第2位置と、
     前記第1位置と、前記第1位置における前記車両の方位と、前記車両に備えられたジャイロセンサの検出結果と、前記車両の速度情報とを用いた前記デッドレコニングに基づいて推定される、前記第2位置が測位されたときの前記車両の推定位置と、
     に基づいて、前記車両の方位のずれを推定する、
     請求項1に記載の映像制御装置。
  3.  前記方位ずれ推定部は、前記第1位置と前記第2位置とを結ぶ直線と、前記第1位置と前記推定位置とを結ぶ直線とのなす角度を前記車両の方位のずれとして推定する、
     請求項2に記載の映像制御装置。
  4.  前記方位ずれ推定部は、複数の連続する区間のそれぞれにおける前記第1位置と、前記第2位置と、前記推定位置とに基づいて、前記複数の連続する区間のそれぞれについての前記車両の方位のずれを推定し、
     前記方位算出部は、前記複数の連続する区間のうちの2つ以上の区間についての前記車両の方位のずれに基づいて、前記車両の推定方位を算出する、
     請求項2又は3に記載の映像制御装置。
  5.  前記方位算出部は、前記複数の連続する区間のうち、隣り合う前区間における前記ジャイロセンサの検出結果に基づいて算出される前記車両の方位に対して、前記ジャイロセンサの検出結果に基づいて算出される前記車両の方位が第1閾値以上変動している区間を除外した前記複数の連続する区間のそれぞれについての前記車両の方位のずれの平均値に基づいて、前記車両の推定方位を算出する、
     請求項4に記載の映像制御装置。
  6.  前記方位算出部は、前記複数の連続する区間のうち、前記車両の方位のずれが第2閾値以上となっている区間を除外した前記複数の連続する区間のそれぞれについての前記車両の方位のずれの平均値に基づいて、前記車両の推定方位を算出する、
     請求項4又は5に記載の映像制御装置。
  7.  前記方位算出部は、前記複数の連続する区間のそれぞれについての前記車両の方位のずれの中央値に基づいて、前記車両の推定方位を算出する、
     請求項4に記載の映像制御装置。
  8.  前記方位算出部は、前記複数の連続する区間のそれぞれについての前記車両の方位のずれの加重平均値に基づいて、前記車両の推定方位を算出する、
     請求項4に記載の映像制御装置。
  9.  前記出力部は、前記車両の推定方位の過去の変動量に基づいて予測される将来の前記車両の推定方位を前記映像表示装置に出力する、
     請求項1~8のいずれか1項に記載の映像制御装置。
  10.  衛星測位システムにより測位される車両の位置を取得し、
     デッドレコニングに基づいて推定される前記車両の推定位置を取得し、
     衛星測位システムにより測位される前記車両の位置と、デッドレコニングに基づいて推定される前記車両の推定位置とに基づいて、前記車両の方位のずれを推定し、
     推定された前記車両の方位のずれに基づいて、前記車両の推定方位を算出し、
     前記車両の推定方位を、前記車両の方位に基づいた情報を表示する映像表示装置に出力する、
     映像制御方法。
  11.  請求項10に記載の映像制御方法をコンピュータに実行させるためのプログラム。
PCT/JP2020/015238 2019-06-24 2020-04-02 映像制御装置、映像制御方法及びプログラム WO2020261696A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112020003021.0T DE112020003021T5 (de) 2019-06-24 2020-04-02 Videosteuervorrichtung, Videosteuerverfahren und Programm
CN202080043548.8A CN114041069A (zh) 2019-06-24 2020-04-02 影像控制装置、影像控制方法以及程序
JP2021527393A JP7361348B2 (ja) 2019-06-24 2020-04-02 映像制御装置、映像制御方法及びプログラム
US17/556,552 US20220113138A1 (en) 2019-06-24 2021-12-20 Video control device, video control method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-116243 2019-06-24
JP2019116243 2019-06-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/556,552 Continuation US20220113138A1 (en) 2019-06-24 2021-12-20 Video control device, video control method, and recording medium

Publications (1)

Publication Number Publication Date
WO2020261696A1 true WO2020261696A1 (ja) 2020-12-30

Family

ID=74061592

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/015238 WO2020261696A1 (ja) 2019-06-24 2020-04-02 映像制御装置、映像制御方法及びプログラム

Country Status (5)

Country Link
US (1) US20220113138A1 (ja)
JP (1) JP7361348B2 (ja)
CN (1) CN114041069A (ja)
DE (1) DE112020003021T5 (ja)
WO (1) WO2020261696A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63108285A (ja) * 1986-10-24 1988-05-13 Nissan Motor Co Ltd ハイブリツド式位置計測装置
JP2008002906A (ja) * 2006-06-21 2008-01-10 Toyota Motor Corp 測位装置
JP2008157705A (ja) * 2006-12-22 2008-07-10 Clarion Co Ltd ナビゲーションシステム、およびgps測位解精度判定方法
JP2008215923A (ja) * 2007-03-01 2008-09-18 Denso Corp 車両用ナビゲーション装置
JP2009058242A (ja) * 2007-08-30 2009-03-19 Alpine Electronics Inc 車両位置・方位修正方法及び車両位置・方位修正装置
US20140195151A1 (en) * 2013-01-04 2014-07-10 General Motors Llc High fidelity horizontal position error estimation for vehicular gps/dr navigation

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000055678A (ja) 1998-08-04 2000-02-25 Denso Corp 車両用現在位置検出装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63108285A (ja) * 1986-10-24 1988-05-13 Nissan Motor Co Ltd ハイブリツド式位置計測装置
JP2008002906A (ja) * 2006-06-21 2008-01-10 Toyota Motor Corp 測位装置
JP2008157705A (ja) * 2006-12-22 2008-07-10 Clarion Co Ltd ナビゲーションシステム、およびgps測位解精度判定方法
JP2008215923A (ja) * 2007-03-01 2008-09-18 Denso Corp 車両用ナビゲーション装置
JP2009058242A (ja) * 2007-08-30 2009-03-19 Alpine Electronics Inc 車両位置・方位修正方法及び車両位置・方位修正装置
US20140195151A1 (en) * 2013-01-04 2014-07-10 General Motors Llc High fidelity horizontal position error estimation for vehicular gps/dr navigation

Also Published As

Publication number Publication date
US20220113138A1 (en) 2022-04-14
DE112020003021T5 (de) 2022-03-24
JP7361348B2 (ja) 2023-10-16
JPWO2020261696A1 (ja) 2020-12-30
CN114041069A (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
US10990101B2 (en) Method for drifting correction for planning a path for autonomous driving vehicles
EP3659004B1 (en) Drifting correction between planning stage and controlling stage of operating autonomous driving vehicles
US8140210B2 (en) Method and device for object tracking in a driver assistance system of a motor vehicle
US20160299234A1 (en) Fail operational vehicle speed estimation through data fusion of 6-dof imu, gps, and radar
JP6451857B2 (ja) 走行制御装置の制御方法および走行制御装置
JP6567936B2 (ja) 操舵支援制御装置
JP5946420B2 (ja) ナビゲーション装置、自車位置補正プログラムおよび自車位置補正方法
KR20190109645A (ko) 차량의 측위 장치 및 그 방법
JP7196876B2 (ja) センサ遅延時間推定装置
EP2546608B1 (en) Map display system, method, and program
US20220028307A1 (en) Gradient change detection system, display system using same, and storage medium that stores program for moving body
KR102336071B1 (ko) 차량의 측위 장치 및 방법
JP2022081396A (ja) 車両側位方法及び装置
WO2020261696A1 (ja) 映像制御装置、映像制御方法及びプログラム
US11754403B2 (en) Self-position correction method and self-position correction device
JP6333437B1 (ja) 物体認識処理装置、物体認識処理方法および車両制御システム
JP2006224904A (ja) 車両制御装置
KR20210082422A (ko) 차량의 측위 장치 및 방법
JP5895815B2 (ja) 残距離算出装置、残距離算出方法及び運転支援装置
EP3985641A1 (en) Travel assistance method and travel assistance device
JP7313325B2 (ja) 自己位置推定装置
JP6500844B2 (ja) 車両位置姿勢算出装置及び車両位置姿勢算出プログラム
JP6413816B2 (ja) 漫然運転判定装置
US11945310B2 (en) Display system
JP2020003458A (ja) 自車位置検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20833462

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021527393

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20833462

Country of ref document: EP

Kind code of ref document: A1