WO2020050171A1 - 方位検出システム、方位検出方法、及び方位検出プログラム - Google Patents

方位検出システム、方位検出方法、及び方位検出プログラム Download PDF

Info

Publication number
WO2020050171A1
WO2020050171A1 PCT/JP2019/034148 JP2019034148W WO2020050171A1 WO 2020050171 A1 WO2020050171 A1 WO 2020050171A1 JP 2019034148 W JP2019034148 W JP 2019034148W WO 2020050171 A1 WO2020050171 A1 WO 2020050171A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
vehicle
target
point
azimuth
Prior art date
Application number
PCT/JP2019/034148
Other languages
English (en)
French (fr)
Inventor
小川啓太
Original Assignee
アイシン・エィ・ダブリュ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン・エィ・ダブリュ株式会社 filed Critical アイシン・エィ・ダブリュ株式会社
Priority to JP2020541189A priority Critical patent/JP7006797B2/ja
Publication of WO2020050171A1 publication Critical patent/WO2020050171A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R99/00Subject matter not provided for in other groups of this subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas

Definitions

  • the present invention relates to a technology for detecting a direction of a vehicle in a target area.
  • JP-A-2017-117188 discloses a vehicle guidance system for accurately guiding a vehicle in a parking lot.
  • the reference numerals in parentheses in the background art are the reference numerals in the references to be referred to.
  • the vehicle (1) recognizes the position information by photographing the marker (20) existing in the traveling direction with the vehicle-mounted camera (3).
  • the vehicle (1) calculates the relative position with respect to the marker (20), and specifies the current position in the parking lot (10) using the standby frame (15), which is the guidance start position, as the origin.
  • the traveling direction of the vehicle (1) does not always travel along the virtual traveling line (14).
  • the vehicle (1) If the azimuth of the vehicle and the traveling route of the vehicle (1) are not taken into consideration, the position error may increase. Accordingly, there is a need for a technique for more accurately detecting the azimuth of a vehicle based on a peripheral image in which a recognition target such as a marker (20) is captured.
  • the direction detection system that detects the direction of the vehicle in the target area
  • a peripheral image acquisition unit that acquires a peripheral image that is an image of the periphery of the vehicle taken by a camera mounted on the vehicle, An image for recognizing a recognition target in which the position information in the target area is specified as the target absolute position information from the peripheral image, and calculating a relative position and a relative orientation between the recognized recognition target and the vehicle.
  • a processing unit An object information storage unit that stores the object absolute position information of the recognition object, An orientation detection unit that calculates absolute orientation information that is information including an absolute orientation indicating the orientation of the vehicle in the target area, The azimuth detection unit, First relative relationship information indicating the relative position and the relative azimuth between a first recognition target that is one of the recognition targets recognized by the image processing unit and the vehicle; Second relative relationship information indicating the relative position and the relative orientation between the vehicle and a second recognition object that is one of the recognition objects recognized by the image processing unit and is different from the first recognition object.
  • the technical features of the azimuth detection system can be applied to the azimuth detection method and the azimuth detection program, including various additional features exemplified in the description of the embodiments described below.
  • the bearing detection method can include various steps having the features of the bearing detection system described above.
  • the azimuth detection program can cause a computer to realize various functions having the features of the azimuth detection system described above.
  • these azimuth detection methods and azimuth detection programs can also provide the same effects as the azimuth detection system.
  • the azimuth detecting method for detecting the azimuth of the vehicle in the target area includes: A peripheral image acquisition step of acquiring a peripheral image that is an image of the periphery of the vehicle taken by a camera mounted on the vehicle; An image for recognizing a recognition target in which the position information in the target area is specified as the target absolute position information from the peripheral image, and calculating a relative position and a relative orientation between the recognized recognition target and the vehicle.
  • a direction detection step of calculating absolute direction information that is information including an absolute direction indicating the direction of the vehicle in the target area,
  • First relative relationship information indicating the relative position and the relative azimuth between the first recognition target object, which is one of the recognition target objects recognized by the image processing step, and the vehicle
  • Second relative relationship information indicating the relative position and the relative orientation between the vehicle and a second recognition object that is one of the recognition objects recognized in the image processing step and is different from the first recognition object.
  • the target absolute position information of the first recognition target obtained from the target information storage unit that stores the target absolute position information of the recognition target
  • the absolute azimuth information of the vehicle at a first point that is a point where the first recognition target is recognized, and the absolute azimuth information of the vehicle at a second point that is a point where the second recognition target is recognized Is calculated.
  • a direction detection function for calculating absolute direction information that is information including an absolute direction indicating the direction of the vehicle in the target area,
  • First relative relationship information indicating the relative position and the relative orientation between the first recognition target object, which is one of the recognition target objects recognized by the image processing function, and the vehicle
  • Second relative relationship information indicating the relative position and the relative orientation between the vehicle and a second recognition object that is one of the recognition objects recognized by the image processing function and is different from the first recognition object.
  • the target absolute position information of the first recognition target obtained from the target information storage unit that stores the target absolute position information of the recognition target
  • the absolute azimuth information of the vehicle at a first point that is a point where the first recognition target is recognized, and the absolute azimuth information of the vehicle at a second point that is a point where the second recognition target is recognized Is calculated.
  • the azimuth of the vehicle is determined based on the phase relationship (first relative relationship information, second relative relationship information) between the plurality of recognition targets (first recognition target, second recognition target) and the vehicle.
  • the angle (direction) is detected by performing image processing in consideration of the shape of the recognition target, such as the extending direction of the recognition target. There is a need. For this reason, the load of image processing may increase, or the accuracy of the azimuth of the vehicle may decrease due to an error in calculating the angle (direction) of the recognition target object.
  • the azimuth of the vehicle is detected using the correlation between the plurality of recognition targets and the vehicle, so that errors can be reduced and accuracy can be improved. Further, since it is not necessary to detect the direction of the vehicle from a single recognition target, for example, a point-like recognition target can be set, and the load of image processing can be reduced. Further, the object information storage unit only needs to store the information on the position of the recognition object as the object absolute position information, and does not need to store the azimuth information. Therefore, the capacity of a database such as the object information storage unit is also reduced.
  • the correlation between a plurality of recognition targets that can be accurately recognized with a light calculation load and the vehicle, the target absolute position information of the first recognition target, and the second recognition target Based on the target absolute position information, the absolute azimuth information of the vehicle can be accurately calculated.
  • direction detection system typically Plan view showing an example of a vehicle in a parking lot Diagram for explaining the procedure for detecting the vehicle direction Diagram for explaining the procedure for detecting the vehicle direction Diagram for explaining the procedure for detecting the vehicle direction Diagram for explaining the procedure for detecting the vehicle direction Diagram for explaining the procedure for detecting the vehicle direction Diagram for explaining the procedure for detecting the vehicle direction Diagram for explaining the procedure for detecting the vehicle direction Diagram for explaining the procedure for detecting the vehicle direction Flowchart showing an example of a procedure for detecting a vehicle direction Plan view showing another example of the positional relationship between the camera and the recognition target Plan view showing another example of the recognition target object
  • a bearing detection system for detecting a bearing of a vehicle in a target area
  • a parking area 200 having a large number of parking sections 205 provided on the ground surface is exemplified as a target area.
  • An example in which absolute azimuth information is detected will be described.
  • the absolute azimuth information includes at least information on the absolute azimuth of the vehicle 100, and may further include information on the absolute position.
  • the absolute azimuth information is an absolute azimuth and an absolute coordinate based on a reference coordinate system (including an azimuth) in each parking lot.
  • the target area may cover the entire earth.
  • the absolute coordinates may be based on latitude and longitude, and the absolute directions may be based on geomagnetism.
  • the azimuth detection system 1 includes a peripheral image acquisition unit 3, an image processing unit 4, a traveling locus storage unit 5, an object information storage unit 6, and an azimuth detection unit 7.
  • the peripheral image acquisition unit 3 is connected to a camera 2 (vehicle-mounted camera) mounted on the vehicle 100, and acquires a peripheral image IM (see FIG. 2 and the like) which is an image of the periphery of the vehicle 100 captured by the camera 2.
  • the azimuth detecting unit 7 is connected to the in-vehicle system 8 and provides the absolute azimuth information of the specified vehicle 100 to the in-vehicle system 8.
  • the absolute azimuth information (absolute azimuth, absolute position) of the vehicle detected by the azimuth detection system 1 is used for the navigation system 81 and the parking assistance system 82.
  • the azimuth detection system 1 is configured with a processor such as a microcomputer or a DSP (Digital Signal Processor) as a core, for example, and cooperates with hardware including peripheral circuits such as these processors and memories and software such as programs and parameters. It is realized by working.
  • the image processing unit 4 recognizes, from the surrounding image IM, the recognition target OBJ whose position information in the target area (here, the parking lot 200) is specified as the target absolute position information, and recognizes the recognized recognition target OBJ with the recognition target object OBJ.
  • the relative position and relative azimuth with respect to the vehicle 100 are calculated.
  • the target information storage unit 6 is a database (DB) in which target absolute position information of the recognition target OBJ is stored.
  • the traveling locus storage unit 5 stores a traveling locus K of the vehicle 100 (see FIG. 2 and the like).
  • the azimuth detecting unit 7 includes information including the absolute azimuth indicating the azimuth of the vehicle 100 in the target area (here, the parking lot 200), or the absolute azimuth and the absolute position indicating the position of the vehicle 100 in the target area (here, the parking lot 200).
  • the information including the position, that is, the absolute azimuth information is calculated.
  • the azimuth detecting unit 7 recognizes the recognition target objects (the first recognition target object and the second recognition target object) recognized by the image processing unit 4.
  • the first relative relationship information, the second relative relationship information the target absolute position information of the first recognition target, the target absolute position information of the second recognition target, and the point-to-point running.
  • the absolute azimuth information is calculated based on the trajectory KT, and at least the azimuth of the vehicle 100 in the target area is specified (detected).
  • the first recognition target TP1 is one of the recognition targets OBJ recognized by the image processing unit 4.
  • the second recognition target TP2 is one of the recognition targets OBJ recognized by the image processing unit 4, and is a different recognition target OBJ from the first recognition target TP1.
  • the first relative relationship information is information indicating a relative position and a relative orientation between the first recognition target TP1 and the vehicle 100.
  • the second relative relationship information is information indicating a relative position and a relative orientation between the second recognition target TP2 and the vehicle 100. Note that the first relative relationship information and the second relative relationship information are acquired at different points.
  • the point-to-point travel locus KT is a point in the travel locus K stored in the travel locus storage unit 5 where the first point P1 and the second recognition target TP2, which are points at which the first recognition target TP1 is recognized, are recognized. It is a traveling locus K between a certain second point P2.
  • the azimuth detection system 1 includes the absolute azimuth information of the vehicle 100 at the first point P1, the absolute azimuth information of the vehicle 100 at the second point P2, and the absolute azimuth of the vehicle 100 at an arbitrary point on the point-to-point travel locus KT. Computing at least one of the information. Since the first point P1 and the second point P2 are included in the point-to-point traveling locus KT, any points on the point-to-point traveling locus KT include the first point P1 and the second point P2.
  • the azimuth detection system 1 performs autonomous navigation of the vehicle 100 based on information received by the GPS receiver 91 and information detected by an azimuth sensor 92, a rotation sensor 93 (a sensor that detects a rotation speed and a rotation amount of a wheel, and the like). It cooperates with the autonomous navigation control unit 9 which performs control.
  • the image processing unit 4 can also acquire the position information of the vehicle 100 from the autonomous navigation control unit 9.
  • the travel locus storage unit 5 stores the travel locus K of the vehicle 100 based on information from the autonomous navigation control unit 9.
  • the travel locus storage unit 5 may correct and update the travel locus K based on the recognition result of the recognition target OBJ by the image processing unit 4 in addition to the information from the autonomous navigation control unit 9.
  • FIG. 2 shows an example of the vehicle 100 existing in the parking lot 200.
  • the camera 2 is a side camera that photographs the side of the vehicle 100.
  • the vehicle 100 may also include a front camera for photographing the front, a back camera for photographing the rear, and the like, and these may be used as the camera 2.
  • the side camera is used, but the side camera is installed substantially horizontally with a smaller angle of depression and elevation of the optical axis with respect to the ground surface as compared with the front camera and the back camera. Therefore, the distortion in the peripheral image IM is small and suitable for various image processing.
  • a point Q indicates a reference position of the camera 2.
  • the reference camera 2 is a left side camera that photographs the left side of the vehicle 100.
  • a point P in the figure indicates a reference position of the vehicle 100. Since the installation position of the camera 2 in the vehicle 100 is known, the relationship between the reference position (P) of the vehicle 100 and the recognition target OBJ in the image coordinate system of the peripheral image IM of the camera 2 can be obtained.
  • the recognition target object OBJ is an end of the section line 210 that forms the parking section 205 in the parking lot 200.
  • the image processing unit 4 recognizes the first recognition target TP1 from the peripheral image IM acquired at the first point P1, and performs second recognition from the peripheral image IM acquired at the second point P2. Recognize the object TP2.
  • the vehicle 100 is moving along the traveling locus K from the first point P1 to the second point P2.
  • the image processing unit 4 calculates the relative position and relative orientation between the recognition target object OBJ (TP1, TP2) and the vehicle 100 (P1, P2) at each of the first point P1 and the second point P2.
  • the target area is the specific parking lot 200
  • it is determined whether or not the target area is within the target area (FIG. 8: # 1).
  • Peripheral image IM is acquired (FIG. 8: # 2 (peripheral image acquisition step / function)), image processing (FIG. 8: # 3 (image processing step / function)), and processing for detecting the direction of the vehicle (FIG. 8) : # 4 to # 11 (azimuth detection step / function)).
  • the image processing unit 4 recognizes the recognition target OBJ from the peripheral image IM (FIG. 8: # 3).
  • the recognition target object OBJ is an end of the section line 210 that forms the parking section 205 in the parking lot 200.
  • the image processing unit 4 detects the end of the lane marking 210 using a known image processing algorithm such as edge detection.
  • the position information of the end of the division line 210 is stored in the target information storage unit 6 as target absolute position information, and is used by the azimuth detecting unit 7 as described later.
  • the image processing unit 4 further calculates the relative position and relative orientation between the recognized object OBJ and the vehicle 100 (FIG. 8: # 3).
  • the absolute position and the absolute direction are specified based on the reference position and the reference direction set for the parking lot 200.
  • the coordinates specified for the recognition target object OBJ are coordinates in a coordinate system based on the reference position (P) of the vehicle 100. This coordinate system is a so-called local coordinate system of the vehicle 100 (a state not corrected by the absolute coordinates).
  • the coordinates (plane coordinates) of the first point P1 are (LX1, LY1), and the azimuth (first local azimuth LD1) is ( ⁇ 1 ′).
  • the coordinates of the second point P2 are (LX2, LY2), and the azimuth (second local azimuth LD2) is ( ⁇ 2 ′).
  • the camera 2 is mounted on the vehicle 100, and the reference position (P) of the vehicle 100 is known in the image coordinate system of the peripheral image IM captured by the camera 2. Therefore, the image processing unit 4 uses the image coordinate system to determine the relative position and relative orientation of the first recognition target TP1 at the first point P1 with respect to the vehicle 100, and the vehicle 100 of the second recognition target TP2 at the second point P2. The relative position and relative azimuth with respect to are calculated. These relative positions are specified in a local coordinate system.
  • the local coordinates of the first recognition target TP1 are (LXT1, LYT1)
  • the local coordinates of the second recognition target TP2 are (LXT2, LYT2).
  • the relative orientation can be derived, for example, from the relationship between the coordinates (LX2, LY2) of the second point P2 and the coordinates (LXT2, LYT2) of the second recognition target TP2.
  • the relative angle ⁇ (second relative angle ⁇ 2) between the vehicle 100 and the second recognition target object TP2 at the second point P2 can be calculated by the arctangent of “(LY2-LY1) / (LX2-LX1)”. it can.
  • the relative angle may be determined in consideration of the azimuth ( ⁇ 2 ′) of the vehicle 100 at the second point P2. The same applies to the first relative angle (not shown) at the first point P1.
  • the autonomous navigation control unit 9 specifies the absolute coordinates of the vehicle 100 in the target area within the range of, for example, the accuracy of the GPS and the accuracy of the azimuth sensor 92 and the rotation sensor 93. Information can be obtained. These absolute coordinates are called temporary absolute coordinates.
  • the azimuth detecting unit 7 applies the local coordinates to the provisional absolute coordinates.
  • the local coordinates (LXT1, LYT1) at the first point P1 are applied to the provisional absolute coordinates (WX1 ′, WY1 ′).
  • the local coordinates of the first recognition target TP1 are derived from the local coordinates of the vehicle 100 at the first point P1. Therefore, the provisional absolute coordinates of the first recognition target TP1 can be derived from the provisional absolute coordinates (WX1 ′, WY1 ′) of the vehicle 100, and the provisional absolute coordinates of the first recognition target TP1 are (WXT1 ′, WYT1 ′). Is applied.
  • the temporary absolute coordinates (WX1 ', WY1') of the vehicle 100 at the second point P2 and the temporary absolute coordinates (WXT2 ', WYT2') of the second recognition target TP2 are similarly applied.
  • the local coordinates, the provisional absolute coordinates, the first local orientation LD1, the local coordinates, the provisional absolute coordinates, and the relative angle of the vehicle 100 at the first point P1 described above are the same as the first recognition target TP1 and the vehicle 100.
  • first relative relationship information indicating a relative position and a relative azimuth corresponds to first relative relationship information indicating a relative position and a relative azimuth.
  • the local coordinates, the provisional absolute coordinates, the second local orientation LD2, the local coordinates, the provisional absolute coordinates, and the relative angle of the vehicle 100 at the second point P2 are the same as those of the vehicle 100 and the second recognition target TP2.
  • second relative relationship information indicating a relative position and a relative azimuth.
  • the image processing unit 4 determines whether or not the recognition target object OBJ is included in the peripheral image IM (whether or not the recognition target object OBJ has been recognized) (FIG. 8: # 4). In this case, the above-described relative position and relative orientation are stored in a temporary storage unit (not shown) such as a memory or a register (FIG. 8: # 5).
  • the image processing unit 4 acquires the traveling locus K from the traveling locus storage unit 5 (FIG. 8: # 6), and updates the traveling locus K based on the relative position and the relative orientation (FIG. 8: # 7). After passing through the first point P1, the vehicle 100 passes through the second point P2. Therefore, at the first point P1, the traveling locus K to the first point P1 is updated based on the relative position and the relative orientation at the first point P1. At the second point P2, the traveling locus K up to the second point P2 via the first point P1 is updated based on the relative position and the relative orientation at the second point P2.
  • the azimuth detecting unit 7 determines whether or not the recognition target object OBJ is detected for the second time or more (FIG. 8: # 8). For example, when the second recognition target TP2 is detected at the second point P2, the first recognition target TP1 has already been detected. Therefore, when the second recognition target TP2 is detected, the detection of the recognition target OBJ is performed for the second time or more.
  • the azimuth detecting unit 7 compares the information (first relative relationship information) of the recognition target OBJ (here, the first recognition target TP1) detected last time ((n-1) th time) with the current time (n-th time).
  • Information on the detected recognition target object OBJ (here, the second recognition target object TP2) (second relative relationship information), a traveling locus K from the first point P1 to the second point P2 (inter-point traveling locus KT), and Are linked (FIG. 8: # 9). That is, as shown in FIG. 4, first relative relationship information (information indicating the relative relationship between the vehicle 100 and the first recognition target TP1 at the first point P1) and second relative relationship information (at the second point P2). The information indicating the relative relationship between the vehicle 100 and the second recognition target object TP2) and the inter-point relative information based on the inter-point travel locus KT (information indicating the inter-relationship between the first point P1 and the second point P2). Are linked on the provisional absolute coordinates. Then, based on the linked information, the inter-object relative relationship information (information indicating the relative relationship between the first recognition object TP1 and the second recognition object TP2) is calculated.
  • the azimuth detecting unit 7 checks the tentative absolute coordinates of the recognition target OBJ with information stored in the target information storage unit 6, which is a database of target absolute position information of the recognition target OBJ (FIG. 8). : # 10). Then, the azimuth detecting unit 7 calculates the absolute azimuth information of the vehicle 100 at an arbitrary point (a point including the first point P1 and the second point) on the point-to-point traveling locus KT based on the collation result (FIG. 8). : # 11).
  • the azimuth detecting unit 7 reads the recognition target OBJ having the coordinate value closest to the provisional absolute coordinates of the first recognition target TP1 from the target information storage unit 6. , The tentative absolute coordinates (WXT1 ′, WYT1 ′) of the first recognition target TP1 are replaced with the absolute coordinates (WXT1, WYT1) included in the elephant absolute position information.
  • the first point P1 where the first recognition target TP1 is detected and the second point P2 where the second recognition target TP2 is detected are linked via the traveling locus K. If the travel trajectory K is accurate, the coordinates of the first recognition target TP1 are replaced with the absolute coordinates collated with the database, and the coordinates of the second recognition target TP2 also match the absolute coordinates on the database. However, due to the influence of the accuracy of the autonomous navigation control unit 9 and the like, as shown in FIG. 6, when the coordinates of the first recognition target TP1 are replaced with the absolute coordinates collated with the database, the coordinates of the second recognition target TP2 are obtained. May not match the absolute coordinates on the database.
  • the azimuth detecting unit 7 reads the object absolute position information of the recognition target OBJ having the coordinate value closest to the provisional absolute coordinates of the second recognition target TP2 from the target information storage unit 6. Is obtained, and the tentative absolute coordinates (WXT2 ′, WYT2 ′) of the second recognition target object TP2 are replaced with the absolute coordinates (WXT2, WYT2) included in the elephant absolute position information. As shown in FIG.
  • the azimuths ( ⁇ 1 ′, ⁇ 2 ′) of the vehicle 100 at the first point P1 and the second point P2 are: ,
  • the local azimuth (LD1, LD2) (the deflection angle with respect to the reference azimuth of the temporary absolute coordinate system is ( ⁇ 1 ′, ⁇ 2 ′)).
  • the traveling locus K is also corrected.
  • the absolute azimuths (WD1, WD2) of the vehicle 100 at the first point P1 and the second point P2 are calculated according to the corrected travel locus K (the deflection angles ( ⁇ 1, ⁇ 2) with respect to the reference azimuth in the absolute coordinate system. Is calculated.)).
  • the azimuth detecting unit 7 is the first relative relationship information, the second relative relationship information, the information indicating the relative relationship between the first point P1 and the second point P2, and is based on the point-to-point travel locus KT.
  • inter-object relative relationship information indicating a relative relationship between the first recognition object and the second recognition object is calculated. That is, as shown in FIG. 4, the first point P1, the second point P2, the point-to-point traveling locus KT, the first recognition target TP1, and the second recognition target TP2 are associated with each other in the provisional absolute coordinate system.
  • information in which the first point P1, the second point P2, and the point-to-point traveling locus KT, which are information on the side of the vehicle 100, are linked is the first recognition target TP1 and the second recognition target TP2. Is associated with Then, by matching the inter-object relative relationship information with the object absolute position information of the first recognition object and the second recognition object, in the provisional absolute coordinate system of the vehicle 100 at the first point P1 and the second point P2. Is corrected, and the absolute azimuth information in the absolute coordinate system is calculated.
  • the first recognition target TP1 is first adapted to the target absolute position information of the first recognition target TP1, and then the second recognition target TP2 is set to the second recognition target TP2.
  • An example in which the two recognition targets TP2 are adapted to the target absolute position information has been illustrated.
  • the present invention is not limited to this.
  • the second recognition target TP2 is adapted to the target absolute position information of the second recognition target TP2, and thereafter, the first recognition target TP1 is changed to the target of the first recognition target TP1. It may be adapted to the absolute position information.
  • the form in which the absolute azimuth information of the vehicle 100 is calculated at the two points of the first point P1 and the second point P2 has been described.
  • P1 the (n-1) th point
  • P2 the nth point
  • the absolute azimuth information of the vehicle 100 is accurately obtained, so that, for example, automatic parking in the parking section 205 and parking assistance in the parking section 205 are appropriately performed. can do.
  • the traveling locus K of the vehicle 100 is stored in the traveling locus storage unit 5, and the azimuth detecting unit 7 determines whether or not the stored traveling locus K is between the first point P1 and the second point P2.
  • the absolute azimuth information at the first point P1, the second point P2, and any point on the point-to-point travel path KT is calculated using the point-to-point travel path KT.
  • the azimuth detection system 1 may not include the traveling locus storage unit 5 that stores the traveling locus K.
  • the procedure of recognizing the recognition target OBJ on the left side of the vehicle 100 and detecting the direction of the vehicle 100 based on the peripheral image IM captured by the left side camera has been described.
  • the left and right recognition target objects OBJ of the vehicle 100 are based on the peripheral image IM captured by the left side camera (reference position “Q1”) and the right side camera (reference position “Q2”).
  • the position of the vehicle 100 may be identified.
  • a peripheral image IM taken by a camera other than the side camera, for example, a front camera or a back camera may be used.
  • the ends (TP1, TP2) of the section lines 210 indicating the parking sections 205 are illustrated as the recognition target objects OBJ.
  • the marker MK installed in the parking section 205 may be used as the recognition target OBJ.
  • the form in which the parking area 200 having the plurality of parking sections 205 is the target area has been described as an example.
  • the target area is not limited to a parking lot, but may be any place.
  • the recognition target object is not limited to the one that distinguishes the parking section 205, and may be a feature installed on a road surface such as a pedestrian crossing.
  • the recognition target object OBJ a marked feature installed on the road surface, such as an end of the lane marking 210 of the parking space 205, a marker MK installed in the parking space 205, and a pedestrian crossing, has been illustrated.
  • the object to be recognized OBJ may be a three-dimensional object such as a sign or a traffic light as long as it is fixed to the ground surface.
  • the recognition target OBJ may be a marker MK other than the end of the section line 210 of the parking section 205, a road, or the like.
  • the target information storage unit 6 stores the target absolute position information and at least one of type information indicating the type of the recognition target OBJ and shape information specifying the shape.
  • the image processing unit 4 recognizes the type of the recognition target object OBJ in addition to the recognition of the position and the like of the recognition target object OBJ.
  • the azimuth detecting unit 7 acquires the target absolute position information of the corresponding recognition target OBJ from the target information storage unit 6 according to the type of the recognition target OBJ recognized by the image processing unit 4. is there.
  • the form in which the absolute azimuth information includes the information of the absolute azimuth and the absolute position at the same point has been exemplified. That is, the form in which the absolute azimuth is information indicating the azimuth of the vehicle 100 at the absolute position and the absolute position is information indicating the position of the vehicle 100 at the point where the absolute azimuth is detected is illustrated.
  • the absolute azimuth information only needs to include at least information on the absolute azimuth. For example, when the target area is a parking lot and absolute azimuth information is used in a parking assist system, a position error has a greater effect on the system than an azimuth error.
  • the parking section 205 is set with a certain margin compared to the size of the vehicle 100.
  • the absolute azimuth information only needs to include at least information on the absolute azimuth. Needless to say, it is preferable that both the absolute azimuth information and the absolute position information be included. However, information included in the absolute azimuth information can be set in consideration of cost, processing time, and the like.
  • an azimuth detection system (1) for detecting an azimuth of a vehicle (100) in a target area includes: A peripheral image acquisition unit (3) that acquires a peripheral image (IM) that is an image around the vehicle (100) captured by a camera (2) mounted on the vehicle (100); A recognition target (OBJ) whose position information in the target area is specified as target absolute position information is recognized from the peripheral image (IM), and the recognized recognition target (OBJ) and the vehicle (100) are recognized.
  • IM peripheral image
  • OBJ recognition target whose position information in the target area is specified as target absolute position information is recognized from the peripheral image (IM), and the recognized recognition target (OBJ) and the vehicle (100) are recognized.
  • the azimuth detecting unit (7) includes: A first indicating the relative position and the relative orientation between the vehicle (100) and a first recognition object (TP1), which is one of the recognition objects (OBJ) recognized by the image processing unit (4); Relative relationship information, A second recognition object (TP2) that is one of the recognition objects (OBJ) recognized by the image processing unit (4) and is different from the first recognition object (TP1); Second relative relationship information indicating the relative position and the relative orientation of Said object absolute position information of said first recognition object (TP1); Based on the target absolute position information of the second recognition target (TP2), The absolute position information of the vehicle (100) at the first point (P1), which is the point where the first recognition target (
  • the aspect of the azimuth detection system (1) is applicable to an azimuth detection method and an azimuth detection program, including aspects having various additional features exemplified below.
  • the azimuth detecting method can include various steps having the characteristic aspects of the azimuth detecting system (1) described above.
  • the azimuth detection program can cause a computer to realize various functions having the characteristic aspects of the azimuth detection system (1) described above. Needless to say, these azimuth detecting methods and azimuth detecting programs can also provide the same effects as the azimuth detecting system (1).
  • the direction detection method for detecting the direction of the vehicle (100) in the target area includes: A peripheral image obtaining step (# 2) of obtaining a peripheral image (IM) which is an image of the periphery of the vehicle (100) taken by a camera (2) mounted on the vehicle (100); A recognition target (OBJ) whose position information in the target area is specified as target absolute position information is recognized from the peripheral image (IM), and the recognized recognition target (OBJ) and the vehicle (100) are recognized. ), An image processing step (# 3) of calculating a relative position and a relative azimuth; A direction detecting step (# 4 to # 11) of calculating absolute direction information which is information including an absolute direction indicating the direction of the vehicle (100) in the target area.
  • a peripheral image acquisition function (# 2) for acquiring a peripheral image (IM) that is an image of the periphery of the vehicle (100) taken by a camera (2) mounted on the vehicle (100)
  • a recognition target (OBJ) whose position information in the target area is specified as target absolute position information is recognized from the peripheral image (IM), and the recognized recognition target (OBJ) and the vehicle (100) are recognized.
  • an image processing function (# 3) for calculating the relative position and relative azimuth A direction detection function (# 4 to # 11) for calculating absolute direction information that is information including an absolute direction indicating the direction of the vehicle (100) in the target area; In the bearing detection function (# 4 to # 11), A second indicating the relative position and the relative orientation between the vehicle (100) and a first recognition object (TP1), which is one of the recognition objects (OBJ) recognized by the image processing function (# 3).
  • the phase relationship (first relative relationship information, between the plurality of recognition objects (OBJ) (first recognition object (TP1), second recognition object (TP2)) and the vehicle (100)
  • the azimuth of the vehicle (100) can be specified with high accuracy based on the (second relative relationship information).
  • the shape of the recognition target (OBJ) such as the extending direction of the recognition target (OBJ) is also considered. It is necessary to detect the angle (direction) by performing image processing.
  • the load of image processing may increase, or the accuracy of the azimuth of the vehicle (100) may decrease due to an error in calculating the angle (direction) of the recognition target object (OBJ).
  • the azimuth of the vehicle (100) is detected using the correlation between the plurality of recognition objects (OBJ) and the vehicle (100), so that the error is reduced and the accuracy is improved. Can be.
  • OBJ point-like recognition target
  • the object information storage unit (6) only needs to store the information on the position of the recognition object (OBJ) as the object absolute position information, and does not need to store the azimuth information. Therefore, the capacity of a database such as the object information storage unit (6) is also reduced.
  • the absolute azimuth information of the vehicle (100) can be accurately calculated.
  • the azimuth detecting unit (7) may include the first relative relationship information, the second relative relationship information, the target absolute position information of the first recognition target (TP1), and the second recognition. Based on the target object absolute position information of the target object (TP2) and the point-to-point relative information indicating the relative relationship between the first point (P1) and the second point (P2), the vehicle ( It is preferable to calculate the absolute azimuth information of 100).
  • the azimuth detecting unit (7) is based on the first relative relationship information, the second relative relationship information, and the point-to-point relative information, which is a local coordinate system different from the absolute coordinate system.
  • the relative relationship between the object (TP1) and the second recognition target (TP2) can be calculated.
  • the azimuth detecting unit (7) adapts this relative relationship to the target absolute position information of the first recognition target (TP1) and the second recognition target (TP2), thereby obtaining the absolute azimuth in the absolute coordinate system. Information can be calculated.
  • the azimuth detecting unit (7) may be configured to determine the first relative relationship information, the second relative relationship information, the target absolute position information of the first recognition target (TP1), and the second recognition target.
  • the vehicle (100) based on the target object absolute position information of the object (TP2) and point-to-point relative information indicating a relative relationship between the first point (P1) and the second point (P2).
  • the azimuth detecting unit (7) may determine the first azimuth information based on the first relative relationship information, the second relative relationship information, and the point-to-point relative information.
  • the azimuth detecting unit (7) is a local coordinate system different from the absolute coordinate system, but is a target indicating the relative relationship between the first recognition target (TP1) and the second recognition target (TP2). Object relative relationship information can be calculated with high accuracy. Further, the azimuth detecting unit (7) adapts the relative relationship information between the target objects to the target absolute position information of the first recognition target object (TP1) and the second recognition target object (TP2), thereby obtaining the absolute coordinates. The system can accurately calculate absolute azimuth information.
  • a travel locus storage unit (5) for storing a travel locus (K) of the vehicle (100) is provided, and the inter-point relative information is stored in the travel locus (K) stored in the travel locus storage unit (5).
  • ) Is obtained based on the point-to-point travel locus (KT) between the first point (P1) and the second point (P1).
  • the absolute azimuth information of the vehicle (100) at P1), the absolute azimuth information of the vehicle (100) at the second point (P2), and an arbitrary point on the point-to-point travel locus (KT) It is preferable to calculate at least one of the absolute azimuth information of the vehicle (100).
  • first relative relationship information, 2 relative relationship information the trajectory of the vehicle (100) between the points at which the respective recognition objects (OBJ) have been recognized
  • the trajectory (KT) between points to accurately determine the direction of the vehicle (100).
  • the azimuth detecting unit (7) calculates the inter-object relative relationship information
  • the first relative relationship information, the second relative relationship information, and the point-to-point travel locus (KT) are used.
  • the inter-point relative information By associating the inter-point relative information based on the information, it is possible to appropriately obtain the inter-object relative relationship information in which these three pieces of information are linked via the travel locus (K).
  • the point-to-point travel locus includes both locus of the position and the direction of the vehicle (100).
  • the point-to-point travel locus (KT) includes information on the position and orientation of the vehicle (100) at any point on the point-to-point travel route (KT) from the first point (P1) to the second point (P2).
  • the azimuth detecting unit (7) accurately calculates the absolute azimuth information of the vehicle (100) at an arbitrary point on the point-to-point travel route (KT) from the first point (P1) to the second point (P2). Can be.
  • the azimuth detecting unit (7) calculates the absolute azimuth information as information including an absolute position indicating the position of the vehicle (100) at the point where the absolute azimuth is detected.
  • the absolute azimuth information includes the information on the absolute position in addition to the information on the absolute azimuth, the absolute azimuth information becomes more accurate information. For example, when the absolute azimuth information is used for a navigation system or a parking assistance system, it is useful information.
  • the recognition target object is a feature fixed on the ground surface.
  • the image coordinate system of the peripheral image (IM) is a plane coordinate system (projective coordinate system with respect to a projective plane), and is more suitable for specifying coordinates on a predetermined horizontal plane than for specifying three-dimensional coordinates.
  • the ground surface is a horizontal plane that can be easily specified when the camera (2) is installed on the vehicle (100). Therefore, the recognition accuracy of the recognition target (OBJ) by the image processing unit (4) is kept high by using the land fixed on the ground surface as the recognition target (OBJ), and the accuracy of the azimuth detection unit (7) is also improved.
  • the absolute azimuth information of the vehicle (100) can be calculated well.
  • the target area is a parking lot (200) having a plurality of parking sections (205), and the camera (2) is a side camera that photographs a side of the vehicle (100).
  • the object to be recognized (OBJ) is preferably an end of a section line (210) indicating the parking section (205).
  • the parking lot (200) is usually provided with a plurality of parking sections (205), and each of the parking sections (205) is sectioned by, for example, a section line (210) set on the ground surface. . Therefore, the recognition target (OBJ) can be appropriately set by setting at least a part of the division line (210) as the recognition target (OBJ). Further, since the end of the division line (210) can be detected by relatively simple image processing such as edge extraction, the load of image processing can be reduced. In addition, when the vehicle (100) travels in the parking lot (200), a parking section (205) is often present beside the vehicle (100). When the camera (2) is a side camera, when the vehicle (100) moves in the parking lot (200), the surrounding image (IM) including the division line (210) as the recognition target (OBJ) is obtained. It is easy to shoot properly.
  • the target information storage unit (6) stores the target absolute position information and the recognition target (OBJ). It is preferable to store at least one of the type information indicating the type and the shape information specifying the shape.
  • the recognition target (OBJ) is not limited to a single type, and a plurality of types may be set.
  • the image processing unit (4) appropriately stores the object information storage unit (6) in addition to the object absolute position information and at least one of the type information and the shape.
  • the object (OBJ) can be recognized.
  • Direction detection system 2 Camera 3: Peripheral image acquisition unit 4: Image processing unit 5: Travel locus storage unit 6: Object information storage unit 7: Direction detection unit 100: Vehicle 200: Parking lot 205: Parking section 210: Mark line IM: Peripheral image K: Travel locus KT: Point-to-point travel locus MK: Marker (recognition target) OBJ: Recognition target P1: First point P2: Second point TP1: First recognition target TP2: Second recognition target

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両に搭載されたカメラにより撮影された周辺画像に基づいて、精度良く車両の方位を検出する技術を提供する。方位検出システム(1)は、対象エリアにおける車両(100)の絶対方位を含む情報である絶対方位情報を演算する方位検出部(7)を備える。方位検出部(7)は、第1認識対象物(TP1)と車両(100)との第1相対関係情報と、第2認識対象物(TP2)と車両(100)との第2相対関係情報と、第1認識対象物(TP1)及び第2認識対象物(TP2)の対象物絶対位置情報と、に基づいて、第1地点(P1)における絶対方位情報、及び、第2地点(P2)における絶対方位情報、の少なくとも1つを演算する。

Description

方位検出システム、方位検出方法、及び方位検出プログラム
 本発明は、対象エリアにおける車両の方位を検出する技術に関する。
 特開2017-117188号公報には、駐車場内において車両を精度良く誘導する車両誘導システムが開示されている。以下、背景技術において括弧内に付す符号は、参照する文献における参照符号である。駐車場(10)の床面(地表面)には、駐車場(10)内の位置を示すマーカー(20)が複数箇所に設けられている(描かれている)。車両(1)は、進行方向に存在するマーカー(20)を車載のカメラ(3)によって撮影して位置情報を認識する。車両(1)は、マーカー(20)との相対位置を算出し、誘導の開始位置である待機枠(15)を原点として駐車場(10)内の現在位置を特定する。
 マーカー(20)は、仮想走行ライン(14)に沿って設けられているが、車両(1)の進行方向が常に仮想走行ライン(14)に沿って走行するとは限らず、例えば車両(1)の方位や、車両(1)の進行経路なども考慮しなければ、位置の誤差が大きくなる可能性がある。従って、マーカー(20)などの認識対象物が写った周辺画像に基づいて車両の方位をより精度よく検出する技術が求められる。
特開2017-117188号公報
 上記背景に鑑みて、車両に搭載されたカメラにより撮影された周辺画像に基づいて、精度良く車両の方位を検出する技術を提供することが望まれる。
 上記に鑑みた、対象エリアにおける車両の方位を検出する方位検出システムは、1つの態様として、
 前記車両に搭載されたカメラにより撮影された前記車両の周辺の画像である周辺画像を取得する周辺画像取得部と、
 前記対象エリアにおける位置情報が対象物絶対位置情報として特定されている認識対象物を前記周辺画像から認識すると共に、認識された前記認識対象物と前記車両との相対位置及び相対方位を演算する画像処理部と、
 前記認識対象物の前記対象物絶対位置情報を記憶する対象物情報記憶部と、
 前記対象エリアにおける前記車両の方位を示す絶対方位を含む情報である絶対方位情報を演算する方位検出部と、を備え、
 前記方位検出部は、
 前記画像処理部により認識された前記認識対象物の1つである第1認識対象物と前記車両との前記相対位置及び前記相対方位を示す第1相対関係情報と、
 前記画像処理部により認識された前記認識対象物の1つであり前記第1認識対象物とは異なる第2認識対象物と前記車両との前記相対位置及び前記相対方位を示す第2相対関係情報と、
 前記第1認識対象物の前記対象物絶対位置情報と、
 前記第2認識対象物の前記対象物絶対位置情報と、に基づいて、
 前記第1認識対象物を認識した地点である第1地点における前記車両の前記絶対方位情報、及び、前記第2認識対象物を認識した地点である第2地点における前記車両の前記絶対方位情報、の少なくとも1つを演算する。
 方位検出システムの技術的特徴は、後述する実施形態の説明において例示する種々の付加的特徴も含めて、方位検出方法や方位検出プログラムにも適用可能である。例えば、方位検出方法は、上述した方位検出システムの特徴を備えた各種のステップを有することができる。また、方位検出プログラムは、上述した方位検出システムの特徴を備えた各種の機能をコンピュータに実現させることが可能である。当然ながらこれらの方位検出方法及び方位検出プログラムも、方位検出システムと同様の作用効果を奏することができる。
 1つの好適な態様として、対象エリアにおける車両の方位を検出する方位検出方法は、
 前記車両に搭載されたカメラにより撮影された前記車両の周辺の画像である周辺画像を取得する周辺画像取得ステップと、
 前記対象エリアにおける位置情報が対象物絶対位置情報として特定されている認識対象物を前記周辺画像から認識すると共に、認識された前記認識対象物と前記車両との相対位置及び相対方位を演算する画像処理ステップと、
 前記対象エリアにおける前記車両の方位を示す絶対方位を含む情報である絶対方位情報を演算する方位検出ステップと、を備え、
 前記方位検出ステップでは、
 前記画像処理ステップにより認識された前記認識対象物の1つである第1認識対象物と前記車両との前記相対位置及び前記相対方位を示す第1相対関係情報と、
 前記画像処理ステップにより認識された前記認識対象物の1つであり前記第1認識対象物とは異なる第2認識対象物と前記車両との前記相対位置及び前記相対方位を示す第2相対関係情報と、
 前記認識対象物の前記対象物絶対位置情報を記憶する対象物情報記憶部から取得した、前記第1認識対象物の前記対象物絶対位置情報と、
 前記対象物情報記憶部から取得した、前記第2認識対象物の前記対象物絶対位置情報と、に基づいて、
 前記第1認識対象物を認識した地点である第1地点における前記車両の前記絶対方位情報、及び、前記第2認識対象物を認識した地点である第2地点における前記車両の前記絶対方位情報、の少なくとも1つを演算する。
 また、1つの好適な態様として、対象エリアにおける車両の方位を検出する機能をコンピュータに実現させる方位検出プログラムは、
 前記車両に搭載されたカメラにより撮影された前記車両の周辺の画像である周辺画像を取得する周辺画像取得機能と、
 前記対象エリアにおける位置情報が対象物絶対位置情報として特定されている認識対象物を前記周辺画像から認識すると共に、認識された前記認識対象物と前記車両との相対位置及び相対方位を演算する画像処理機能と、
 前記対象エリアにおける前記車両の方位を示す絶対方位を含む情報である絶対方位情報を演算する方位検出機能と、を備え、
 前記方位検出機能では、
 前記画像処理機能により認識された前記認識対象物の1つである第1認識対象物と前記車両との前記相対位置及び前記相対方位を示す第1相対関係情報と、
 前記画像処理機能により認識された前記認識対象物の1つであり前記第1認識対象物とは異なる第2認識対象物と前記車両との前記相対位置及び前記相対方位を示す第2相対関係情報と、
 前記認識対象物の前記対象物絶対位置情報を記憶する対象物情報記憶部から取得した、前記第1認識対象物の前記対象物絶対位置情報と、
 前記対象物情報記憶部から取得した、前記第2認識対象物の前記対象物絶対位置情報と、に基づいて、
 前記第1認識対象物を認識した地点である第1地点における前記車両の前記絶対方位情報、及び、前記第2認識対象物を認識した地点である第2地点における前記車両の前記絶対方位情報、の少なくとも1つを演算する。
 これらの構成によれば、複数の認識対象物(第1認識対象物,第2認識対象物)と車両との相間関係(第1相対関係情報、第2相対関係情報)に基づき、車両の方位を精度良く特定することができる。例えば、単一の認識対象物に基づいて車両の方位を検出する場合には、当該認識対象物の延伸方向など、認識対象物の形状も考慮した画像処理を行って角度(方向)を検出する必要がある。このため、画像処理の負荷が増大したり、認識対象物の角度(方向)を演算する際の誤差によって、車両の方位の精度が低下したりする可能性がある。しかし本構成によれば、複数の認識対象物と車両との相間関係を用いて、車両の方位を検出するので、誤差が少なくなり、精度を向上させることができる。また、単一の認識対象物から車両の方位を検出する必要がないため、例えば、認識対象物として点状のものも設定可能であり、画像処理の負荷を低減することもできる。また、対象物情報記憶部も、対象物絶対位置情報として認識対象物の位置の情報を記憶すれば足り、方位の情報を記憶する必要がない。従って、対象物情報記憶部のようなデータベースの容量も低減される。本構成によれば、このように軽い演算負荷で精度良く認識可能な複数の認識対象物と車両との相関関係と、第1認識対象物の対象物絶対位置情報と、第2認識対象物の対象物絶対位置情報とに基づくことにより、精度良く車両の絶対方位情報を演算することができる。以上、本構成によれば、車両に搭載されたカメラにより撮影された周辺画像に基づいて、精度良く車両の方位を検出する技術を提供することができる。
 方位検出システム、方法、プログラムのさらなる特徴と利点は、図面を参照して説明する実施形態についての以下の記載から明確となる。
方位検出システムの構成を模式的に示すブロック図 駐車場内における車両の一例を示す平面図 車両方位を検出する手順を説明する図 車両方位を検出する手順を説明する図 車両方位を検出する手順を説明する図 車両方位を検出する手順を説明する図 車両方位を検出する手順を説明する図 車両方位を検出する手順の一例を示すフローチャート カメラと認識対象物との位置関係の他の例を示す平面図 認識対象物の他の例を示す平面図
 以下、対象エリアにおける車両の方位を検出する方位検出システム、方位検出方法、及び方位方位検出プログラムの実施形態を、図面を参照して説明する。本明細書では、図2等に示すように、対象エリアとして、ショッピングセンターやアミューズメントパークなど、多数の駐車区画205が地表面に設けられた駐車場200を例示し、当該駐車場200において車両100の絶対方位情報を検出する形態を例として説明する。絶対方位情報には、少なくとも車両100の絶対方位の情報を含み、さらに絶対位置の情報を含んでいてもよい。尚、ここでは、対象エリアとして、限られた領域である駐車場を例示し、絶対方位情報は、それぞれの駐車場における基準座標系(方位を含む)に基づく絶対方位や絶対座標である。しかし、対象エリアは、全地球を対象としてもよく、例えば絶対座標は緯度・経度、絶対方位は地磁気に基づくものであってもよい。
 図1のブロック図は、方位検出システム1の構成を模式的に示している。図1に示すように、方位検出システム1は、周辺画像取得部3と、画像処理部4と、走行軌跡記憶部5と、対象物情報記憶部6と、方位検出部7とを有している。周辺画像取得部3は、車両100に搭載されたカメラ2(車載カメラ)に接続され、カメラ2により撮影された車両100の周辺の画像である周辺画像IM(図2等参照)を取得する。方位検出部7は、車載システム8に接続され、特定した車両100の絶対方位情報を車載システム8に提供する。方位検出システム1によって検出された車両の絶対方位情報(絶対方位、絶対位置)は、ナビゲーションシステム81や駐車支援システム82に利用される。方位検出システム1は、例えば、マイクロコンピュータやDSP(Digital Signal Processor)などのプロセッサを中核として構成され、これらのプロセッサやメモリなどの周辺回路を含むハードウェアと、プログラムやパラメータなどのソフトウェアとの協働によって実現される。
 画像処理部4は、対象エリア(ここでは駐車場200)における位置情報が対象物絶対位置情報として特定されている認識対象物OBJを周辺画像IMから認識すると共に、認識された認識対象物OBJと車両100との相対位置及び相対方位を演算する。対象物情報記憶部6は、認識対象物OBJの対象物絶対位置情報が記憶されたデータベース(DB)である。走行軌跡記憶部5は、車両100の走行軌跡K(図2等参照)を記憶する。方位検出部7は、対象エリア(ここでは駐車場200)における車両100の方位を示す絶対方位を含む情報、又は、絶対方位及び対象エリア(ここでは駐車場200)における車両100の位置を示す絶対位置を含む情報、である絶対方位情報を演算する。
 詳細は、図3~図7の説明図、図8のフローチャートも参照して後述するが、方位検出部7は、画像処理部4により認識された認識対象物(第1認識対象物、第2認識対象物)に関する情報(第1相対関係情報、第2相対関係情報)と、第1認識対象物の対象物絶対位置情報と、第2認識対象物の対象物絶対位置情報と、地点間走行軌跡KTとに基づいて、絶対方位情報を演算して、対象エリアにおける車両100の方位を少なくとも特定する(検出する)。ここで、第1認識対象物TP1(図2参照)は、画像処理部4により認識された認識対象物OBJの1つである。第2認識対象物TP2(図2参照)は、画像処理部4により認識された認識対象物OBJの1つであり、第1認識対象物TP1とは異なる認識対象物OBJである。
 第1相対関係情報は、第1認識対象物TP1と車両100との相対位置及び相対方位を示す情報である。第2相対関係情報は、第2認識対象物TP2と車両100との相対位置及び相対方位を示す情報である。なお、第1相対関係情報と第2相対関係情報とは、異なる地点で取得される。地点間走行軌跡KTは、走行軌跡記憶部5に記憶された走行軌跡Kの内、第1認識対象物TP1を認識した地点である第1地点P1と第2認識対象物TP2を認識した地点である第2地点P2との間の走行軌跡Kである。方位検出システム1は、第1地点P1における車両100の絶対方位情報、及び、第2地点P2における車両100の絶対方位情報、及び、地点間走行軌跡KT上の任意の地点における車両100の絶対方位情報、の少なくとも1つを演算する。尚、第1地点P1及び第2地点P2は、地点間走行軌跡KTに含まれるため、地点間走行軌跡KT上の任意の地点には、第1地点P1及び第2地点P2も含まれる。
 方位検出システム1は、GPS受信機91が受信した情報や、方位センサ92、回転センサ93(車輪の回転速度や回転量などを検出するセンサ)などが検出した情報に基づいて車両100の自律航行制御を行う自律航行制御部9と協働している。画像処理部4は、自律航行制御部9から車両100の位置情報を取得することもできる。走行軌跡記憶部5は、自律航行制御部9からの情報に基づき、車両100の走行軌跡Kを記憶する。また、走行軌跡記憶部5は、自律航行制御部9からの情報の他、画像処理部4による認識対象物OBJの認識結果に基づいて走行軌跡Kを補正して更新してもよい。
 以下、駐車場200において車両100の方位を検出する手順について説明する。図2は、駐車場200内に存在する車両100の一例を示している。カメラ2は、車両100の側方を撮影するサイドカメラである。車両100には、前方を撮影するフロントカメラ、後方を撮影するバックカメラ等も搭載されている場合があり、これらをカメラ2として利用してもよい。本実施形態では、サイドカメラを用いているが、サイドカメラは、フロントカメラやバックカメラと比較して、地表面に対する光軸の俯角や仰角が小さい状態でほぼ水平に設置される。従って、周辺画像IMにおける歪みが少なく、種々の画像処理に適している。
 図2において、点Qは、カメラ2の基準位置を示している。図2~図7を参照して説明する例では、基準となるカメラ2は、車両100の左方を撮影する左サイドカメラである。図中の点Pは、車両100の基準位置を示している。車両100におけるカメラ2の設置位置は既知であるから、カメラ2の周辺画像IMにおける画像座標系において車両100の基準位置(P)と、認識対象物OBJとの関係を求めることができる。本実施形態では、認識対象物OBJは、駐車場200において駐車区画205を形成する区画線210の端部である。
 図2に示すように、画像処理部4は、第1地点P1において取得された周辺画像IMから第1認識対象物TP1を認識し、第2地点P2において取得された周辺画像IMから第2認識対象物TP2を認識する。車両100は、第1地点P1から第2地点P2まで、走行軌跡Kに沿って移動している。画像処理部4は、第1地点P1及び第2地点P2のそれぞれにおいて、認識対象物OBJ(TP1,TP2)と車両100(P1,P2)との相対位置及び相対方位を演算する。
 本実施形態のように、対象エリアが特定の駐車場200である場合には、まず、対象エリア内であるか否かが判定され(図8:#1)、対象エリア内である場合には、周辺画像IMが取得され(図8:#2(周辺画像取得ステップ/機能))、画像処理(図8:#3(画像処理ステップ/機能))及び車両の方位を検出する処理(図8:#4~#11(方位検出ステップ/機能))が行われる。
 周辺画像IMが取得されると、画像処理部4は、周辺画像IMから認識対象物OBJを認識する(図8:#3)。上述したように、認識対象物OBJは、駐車場200において駐車区画205を形成する区画線210の端部である。画像処理部4は、エッジ検出などの公知の画像処理アルゴリズムを用いて、区画線210の端部を検出する。尚、区画線210の端部の位置情報は、対象物絶対位置情報として対象物情報記憶部6に記憶されており、後述するように、方位検出部7により利用される。
 画像処理部4は、さらに、認識された認識対象物OBJと車両100との相対位置及び相対方位を演算する(図8:#3)。対象エリアが特定の駐車場200である場合、絶対位置、絶対方位は当該駐車場200に対して設定された基準位置及び基準方位に基づいて特定される。一方、画像処理部4が、認識対象物OBJを認識した際に当該認識対象物OBJに対して特定される座標は、車両100の基準位置(P)に基づく座標系における座標である。この座標系は、車両100におけるいわゆるローカル座標系(絶対座標によって補正されていない状態)である。ローカル座標系において第1地点P1の座標(平面座標)は(LX1,LY1)であり、方位(第1ローカル方位LD1)は、(θ1’)である。また、第2地点P2の座標は(LX2,LY2)であり、方位(第2ローカル方位LD2)は(θ2’)である。
 上述したように、カメラ2は車両100に搭載されており、カメラ2により撮影された周辺画像IMの画像座標系において車両100の基準位置(P)は既知である。従って、画像処理部4は、画像座標系を用いて、第1地点P1における第1認識対象物TP1の車両100に対する相対位置及び相対方位、第2地点P2における第2認識対象物TP2の車両100に対する相対位置及び相対方位を演算する。これらの相対位置は、ローカル座標系において特定される。
 図3に示すように、第1認識対象物TP1のローカル座標は、(LXT1,LYT1)であり、第2認識対象物TP2のローカル座標は、(LXT2,LYT2)である。尚、相対方位は、例えば第2地点P2の座標(LX2,LY2)と第2認識対象物TP2の座標(LXT2,LYT2)との関係から導くことができる。例えば、第2地点P2における車両100と第2認識対象物TP2との相対角φ(第2相対角φ2)は“(LY2-LY1)/(LX2-LX1)”のアークタンジェントにより演算することができる。さらに、第2地点P2における車両100の方位(θ2’)も考慮して、相対角を求めてもよい。第1地点P1における第1相対角(不図示)も同様である。
 自律航行制御部9は、対象エリアにおける車両100の絶対座標を例えばGPSの精度、及び、方位センサ92や回転センサ93の精度の範囲内で特定しており、方位検出部7は、その絶対座標の情報を取得することができる。この絶対座標を仮絶対座標と称する。
方位検出部7は、ローカル座標を仮絶対座標に当てはめる。
 図4に示すように、第1地点P1におけるローカル座標(LXT1,LYT1)は仮絶対座標(WX1’,WY1’)に当てはめられる。上述したように、第1認識対象物TP1のローカル座標は、第1地点P1における車両100のローカル座標から導かれる。従って、第1認識対象物TP1の仮絶対座標は車両100の仮絶対座標(WX1’,WY1’)から導く事ができ、第1認識対象物TP1の仮絶対座標は(WXT1’,WYT1’)と当てはめられる。第2地点P2における車両100の仮絶対座標(WX1’,WY1’)、及び第2認識対象物TP2の仮絶対座標は(WXT2’,WYT2’)も同様に当てはめられる。
 上述した第1地点P1における車両100のローカル座標、仮絶対座標、第1ローカル方位LD1、第1認識対象物TP1のローカル座標、仮絶対座標、相対角は、第1認識対象物TP1と車両100との相対位置及び相対方位を示す第1相対関係情報に相当する。また、第2地点P2における車両100のローカル座標、仮絶対座標、第2ローカル方位LD2、第2認識対象物TP2のローカル座標、仮絶対座標、相対角は、第2認識対象物TP2と車両100との相対位置及び相対方位を示す第2相対関係情報に相当する。
 画像処理部4は、認識対象物OBJが周辺画像IMに含まれていたか否か(認識対象物OBJを認識したか否か)を判定し(図8:#4)、認識対象物OBJがあった場合には、上述した相対位置、相対方位をメモリやレジスタなどの一時記憶部(不図示)に記憶させる(図8:#5)。
 画像処理部4は、走行軌跡記憶部5から走行軌跡Kを取得し(図8:#6)、相対位置及び相対方位に基づいて走行軌跡Kを更新する(図8:#7)。車両100は、第1地点P1を通った後、第2地点P2を通る。従って、第1地点P1においては、第1地点P1における相対位置及び相対方位に基づいて、第1地点P1までの走行軌跡Kが更新される。第2地点P2においては、第1地点P1を経由して、第2地点P2に至るまでの走行軌跡Kが第2地点P2における相対位置及び相対方位によって更新される。
 方位検出部7は、認識対象物OBJの検出が2回目以上であるか否かを判定する(図8:#8)。例えば、第2地点P2において第2認識対象物TP2が検出された場合、既に第1認識対象物TP1が検出されている。従って、第2認識対象物TP2が検出された時には、認識対象物OBJの検出が2回目以上である。方位検出部7は、前回((n-1)回目)に検出された認識対象物OBJ(ここでは第1認識対象物TP1)の情報(第1相対関係情報)と、今回(n回目)に検出された認識対象物OBJ(ここでは第2認識対象物TP2)の情報(第2相対関係情報)と、第1地点P1から第2地点P2までの走行軌跡K(地点間走行軌跡KT)とをリンクさせる(図8:#9)。即ち、図4に示すように、第1相対関係情報(第1地点P1における車両100と第1認識対象物TP1との相対関係を示す情報)と、第2相対関係情報(第2地点P2における車両100と第2認識対象物TP2との相対関係を示す情報)と、地点間走行軌跡KTに基づく地点間相対情報(第1地点P1と第2地点P2との相間関係を示す情報)とが、仮絶対座標上においてリンクされる。そして、これらリンクされる情報に基づいて、対象物間相対関係情報(第1認識対象物TP1と第2認識対象物TP2との相対関係を示す情報)が演算される。
 次に、方位検出部7は、認識対象物OBJの仮絶対座標を、認識対象物OBJの対象物絶対位置情報のデータベースである対象物情報記憶部6に記憶された情報と照合する(図8:#10)。そして、方位検出部7は、照合結果に基づいて、地点間走行軌跡KT上の任意の地点(第1地点P1及び第2地点を含む地点)における車両100の絶対方位情報を算出する(図8:#11)。
 具体的には、図5及び図6に示すように、方位検出部7は、対象物情報記憶部6から、第1認識対象物TP1の仮絶対座標に最も近い座標値を有する認識対象物OBJの対象物絶対位置情報を取得して、第1認識対象物TP1の仮絶対座標(WXT1’,WYT1’)を当該象物絶対位置情報に含まれる絶対座標(WXT1,WYT1)に置き換える。
 上述したように、第1認識対象物TP1を検出した第1地点P1と、第2認識対象物TP2を検出した第2地点P2とは、走行軌跡Kを介してリンクされている。走行軌跡Kが正確であれば、第1認識対象物TP1の座標をデータベースと照合した絶対座標に置き換えると、第2認識対象物TP2の座標もデータベース上の絶対座標に一致する。しかし、自律航行制御部9の精度等の影響で、図6に示すように、第1認識対象物TP1の座標をデータベースと照合した絶対座標に置き換えた時点では、第2認識対象物TP2の座標がデータベース上の絶対座標に一致しない場合がある。
 そこで、図7に示すように、方位検出部7は、対象物情報記憶部6から、第2認識対象物TP2の仮絶対座標に最も近い座標値を有する認識対象物OBJの対象物絶対位置情報を取得して、第2認識対象物TP2の仮絶対座標(WXT2’,WYT2’)を当該象物絶対位置情報に含まれる絶対座標(WXT2,WYT2)に置き換える。図6に示すように、第1認識対象物TP1の座標をデータベースと照合した絶対座標に置き換えた時点では、第1地点P1及び第2地点P2における車両100の方位(θ1’,θ2’)は、ローカル方位(LD1,LD2)のままである(仮絶対座標系の基準方位に対する偏向角が(θ1’,θ2’)である)。図7に示すように、第2認識対象物TP2の座標もデータベースと照合した絶対座標に置き換えると、走行軌跡Kも補正される。そして、補正された走行軌跡Kに応じて、第1地点P1及び第2地点P2における車両100の絶対方位(WD1,WD2)が算出される(絶対座標系の基準方位に対する偏向角(θ1,θ2)が算出される。)。
 上述したように、方位検出部7は、第1相対関係情報と、第2相対関係情報と、第1地点P1と第2地点P2との相対関係を示す情報であり地点間走行軌跡KTに基づく地点間相対情報とに基づいて、第1認識対象物と第2認識対象物との相対関係を示す対象物間相対関係情報を演算する。つまり、図4に示すように、仮絶対座標系において第1地点P1と、第2地点P2と、地点間走行軌跡KTと、第1認識対象物TP1と、第2認識対象物TP2とが関連付けられる。換言すれば、車両100の側の情報である第1地点P1と、第2地点P2と、地点間走行軌跡KTとがリンクされた情報が、第1認識対象物TP1及び第2認識対象物TP2に関連付けられる。そして、対象物間相対関係情報を第1認識対象物及び第2認識対象物の対象物絶対位置情報に適合させることにより、第1地点P1及び第2地点P2における車両100の仮絶対座標系での情報が補正され、絶対座標系における絶対方位情報が演算される。
 尚、図5~図7を参照し上述した形態では、先に第1認識対象物TP1を第1認識対象物TP1の対象物絶対位置情報に適合させ、その後、第2認識対象物TP2を第2認識対象物TP2の対象物絶対位置情報に適合させる形態を例示した。しかし、これに限らず、先に第2認識対象物TP2を第2認識対象物TP2の対象物絶対位置情報に適合させ、その後、第1認識対象物TP1を第1認識対象物TP1の対象物絶対位置情報に適合させてもよい。
 また、上記においては、第1地点P1と第2地点P2との2箇所において車両100の絶対方位情報を演算する形態について説明したが、車両100の進行に合わせて、順次このような第1地点P1((n-1)番目の地点)と第2地点P2(n番目の地点)とを設定することで、走行軌跡Kに沿って高い精度の絶対方位情報を求め続けることができる。そして、対象エリアが駐車場200のような場合には、車両100の絶対方位情報が精度良く求められることによって、例えば、駐車区画205に対する自動駐車や、駐車区画205に対する駐車支援などを適切に実施することができる。
〔その他の実施形態〕
 以下、その他の実施形態について説明する。尚、以下に説明する各実施形態の構成は、それぞれ単独で適用されるものに限られず、矛盾が生じない限り、他の実施形態の構成と組み合わせて適用することも可能である。
(1)上記においては、走行軌跡記憶部5に車両100の走行軌跡Kが記憶され、方位検出部7が、記憶された走行軌跡Kの内、第1地点P1と第2地点P2との間の地点間走行軌跡KTも用いて第1地点P1、第2地点P2、地点間走行軌跡KT上の任意の点、における絶対方位情報を演算する形態を例示した。しかし、精度が低下する可能性はあるが、走行軌跡K(地点間走行軌跡KT)を用いずに、第1地点P1及び第2地点P2における絶対方位情報が演算される形態であってもよい。この場合、方位検出システム1は、走行軌跡Kを記憶する走行軌跡記憶部5を備えていなくてもよい。
(2)上記においては、左サイドカメラにより撮影された周辺画像IMに基づいて、車両100の左側の認識対象物OBJを認識して車両100の方位を検出する手順について説明した。しかし、図9に示すように、左サイドカメラ(基準位置“Q1”)及び右サイドカメラ(基準位置“Q2”)により撮影された周辺画像IMに基づいて、車両100の左右の認識対象物OBJを認識して車両100の位置を特定してもよい。当然ながら、サイドカメラ以外のカメラ、例えばフロントカメラやバックカメラにより撮影された周辺画像IMを利用してもよい。
(3)上記においては、認識対象物OBJとして、駐車区画205を示す区画線210の端部(TP1,TP2)を例示した。しかし、例えば図10に示すように、駐車区画205に設置されたマーカーMKを認識対象物OBJとしてもよい。
(4)上記においては、複数台の駐車区画205を有する駐車場200を対象エリアとする形態を例示した。しかし、対象エリアは、駐車場に限らず任意の場所とすることができる。また、認識対象物についても、駐車区画205を区別するものに限らず、横断歩道などの路面に設置された地物とすることができる。
(5)上記においては、認識対象物OBJとして、駐車区画205の区画線210の端部、駐車区画205に設置されたマーカーMK、横断歩道など、路面に設置された標示地物を例示した。しかし、認識対象物OBJは、地表面に固定されていれば、標識や信号機など、立体地物であってもよい。
(6)認識対象物OBJが、画像処理部4が複数種の認識対象物OBJを認識する場合、例えば、認識対象物OBJが、駐車区画205の区画線210の端部以外のマーカーMK、道路標示などを含む場合、対象物情報記憶部6は、対象物絶対位置情報と、認識対象物OBJの種別を示す種別情報及び形状を特定する形状情報の少なくとも一方とを記憶すると好適である。この場合、画像処理部4は、認識対象物OBJの位置等の認識に加えて、認識対象物OBJの種別の認識も行う。そして、方位検出部7は、画像処理部4で認識された認識対象物OBJの種別に応じて、対象物情報記憶部6から対応する認識対象物OBJの対象物絶対位置情報を取得すると好適である。
(7)上記においては、絶対方位情報が、同一地点における絶対方位及び絶対位置の情報を有する形態を例示した。つまり、絶対方位は絶対位置における車両100の方位を示す情報であり、絶対位置は絶対方位が検出される地点での車両100の位置を示す情報である形態を例示した。しかし、絶対方位情報は、絶対方位の情報を少なくとも含んでいればよい。例えば、対象エリアが駐車場であり、絶対方位情報が駐車支援システムに用いられる場合、方位の誤差に比べて位置の誤差の方が、システムに与える影響が大きい。駐車区画205は、車両100の大きさに比べて、ある程度の余裕を持って設定されている。従って、車両100の位置に多少の誤差があっても、駐車区画205における車両100の左右の空き方のバランスが崩れたり、車両100の前後の空き方のバランスがくずれたりする程度である。しかし、車両100の方位に誤差があった場合には、車両100の進行(前進及び後退を含む)に伴って車両100の位置が大きくずれることになる。このため、駐車区画205の外(例えば通路)から駐車区画205に車両100を入庫させる際に、誤差が大きくなって車両100が駐車区画205に対して斜めに駐車されてしまう可能性もある。従って、絶対方位情報は、絶対方位の情報を少なくとも含んでいればよい。当然ながら、好ましくは、絶対方位の情報及び絶対位置の情報を共に含んでいるとよいが、コストや処理時間等も考慮して絶対方位情報に含まれる情報を設定することができる。
〔実施形態の概要〕
 以下、上記において説明した方位検出システム(1)、方位検出方法、方位検出プログラムの概要について簡単に説明する。
 1つの態様として、対象エリアにおける車両(100)の方位を検出する方位検出システム(1)は、
 前記車両(100)に搭載されたカメラ(2)により撮影された前記車両(100)の周辺の画像である周辺画像(IM)を取得する周辺画像取得部(3)と、
 前記対象エリアにおける位置情報が対象物絶対位置情報として特定されている認識対象物(OBJ)を前記周辺画像(IM)から認識すると共に、認識された前記認識対象物(OBJ)と前記車両(100)との相対位置及び相対方位を演算する画像処理部(4)と、
 前記認識対象物(OBJ)の前記対象物絶対位置情報を記憶する対象物情報記憶部(6)と、
 前記対象エリアにおける前記車両(100)の方位を示す絶対方位を含む情報である絶対方位情報を演算する方位検出部(7)と、を備え、
 前記方位検出部(7)は、
 前記画像処理部(4)により認識された前記認識対象物(OBJ)の1つである第1認識対象物(TP1)と前記車両(100)との前記相対位置及び前記相対方位を示す第1相対関係情報と、
 前記画像処理部(4)により認識された前記認識対象物(OBJ)の1つであり前記第1認識対象物(TP1)とは異なる第2認識対象物(TP2)と前記車両(100)との前記相対位置及び前記相対方位を示す第2相対関係情報と、
 前記第1認識対象物(TP1)の前記対象物絶対位置情報と、
 前記第2認識対象物(TP2)の前記対象物絶対位置情報と、に基づいて、
 前記第1認識対象物(TP1)を認識した地点である第1地点(P1)における前記車両(100)の前記絶対方位情報、及び、前記第2認識対象物(TP2)を認識した地点である第2地点(P2)における前記車両(100)の前記絶対方位情報、の少なくとも1つを演算する。
 方位検出システム(1)の態様は、以下に例示する種々の付加的特徴を有する態様も含めて、方位検出方法や方位検出プログラムにも適用可能である。例えば、方位検出方法は、上述した方位検出システム(1)の特徴的な態様を備えた各種のステップを有することができる。また、方位検出プログラムは、上述した方位検出システム(1)の特徴的な態様を備えた各種の機能をコンピュータに実現させることが可能である。当然ながらこれらの方位検出方法及び方位検出プログラムも、方位検出システム(1)と同様の作用効果を奏することができる。
 1つの好適な態様として、対象エリアにおける車両(100)の方位を検出する方位検出方法は、
 前記車両(100)に搭載されたカメラ(2)により撮影された前記車両(100)の周辺の画像である周辺画像(IM)を取得する周辺画像取得ステップ(#2)と、
 前記対象エリアにおける位置情報が対象物絶対位置情報として特定されている認識対象物(OBJ)を前記周辺画像(IM)から認識すると共に、認識された前記認識対象物(OBJ)と前記車両(100)との相対位置及び相対方位を演算する画像処理ステップ(#3)と、
 前記対象エリアにおける前記車両(100)の方位を示す絶対方位を含む情報である絶対方位情報を演算する方位検出ステップ(#4~#11)と、を備え、
 前記方位検出ステップ(#4~#11)では、
 前記画像処理ステップ(#3)により認識された前記認識対象物(OBJ)の1つである第1認識対象物(TP1)と前記車両(100)との前記相対位置及び前記相対方位を示す第1相対関係情報と、
 前記画像処理ステップ(#3)により認識された前記認識対象物(OBJ)の1つであり前記第1認識対象物(TP1)とは異なる第2認識対象物(TP2)と前記車両(100)との前記相対位置及び前記相対方位を示す第2相対関係情報と、
 前記認識対象物(OBJ)の前記対象物絶対位置情報を記憶する対象物情報記憶部(6)から取得した、前記第1認識対象物(TP1)の前記対象物絶対位置情報と、
 前記対象物情報記憶部(6)から取得した、前記第2認識対象物(TP2)の前記対象物絶対位置情報と、に基づいて、
 前記第1認識対象物(TP1)を認識した地点である第1地点(P1)における前記車両(100)の前記絶対方位情報、及び、前記第2認識対象物(TP2)を認識した地点である第2地点(P2)における前記車両(100)の前記絶対方位情報、の少なくとも1つを演算する。
 また、1つの好適な態様として、対象エリアにおける車両(100)の方位を検出する機能をコンピュータに実現させる方位検出プログラムは、
 前記車両(100)に搭載されたカメラ(2)により撮影された前記車両(100)の周辺の画像である周辺画像(IM)を取得する周辺画像取得機能(#2)と、
 前記対象エリアにおける位置情報が対象物絶対位置情報として特定されている認識対象物(OBJ)を前記周辺画像(IM)から認識すると共に、認識された前記認識対象物(OBJ)と前記車両(100)との相対位置及び相対方位を演算する画像処理機能(#3)と、
 前記対象エリアにおける前記車両(100)の方位を示す絶対方位を含む情報である絶対方位情報を演算する方位検出機能(#4~#11)と、を備え、
 前記方位検出機能(#4~#11)では、
 前記画像処理機能(#3)により認識された前記認識対象物(OBJ)の1つである第1認識対象物(TP1)と前記車両(100)との前記相対位置及び前記相対方位を示す第1相対関係情報と、
 前記画像処理機能(#3)により認識された前記認識対象物(OBJ)の1つであり前記第1認識対象物(TP1)とは異なる第2認識対象物(TP2)と前記車両(100)との前記相対位置及び前記相対方位を示す第2相対関係情報と、
 前記認識対象物(OBJ)の前記対象物絶対位置情報を記憶する対象物情報記憶部(6)から取得した、前記第1認識対象物(TP1)の前記対象物絶対位置情報と、
 前記対象物情報記憶部(6)から取得した、前記第2認識対象物(TP2)の前記対象物絶対位置情報と、に基づいて、
 前記第1認識対象物(TP1)を認識した地点である第1地点(P1)における前記車両(100)の前記絶対方位情報、及び、前記第2認識対象物(TP2)を認識した地点である第2地点(P2)における前記車両(100)の前記絶対方位情報、の少なくとも1つを演算する。
 これらの構成によれば、複数の認識対象物(OBJ)(第1認識対象物(TP1),第2認識対象物(TP2))と車両(100)との相間関係(第1相対関係情報、第2相対関係情報)に基づき、車両(100)の方位を精度良く特定することができる。例えば、単一の認識対象物(OBJ)に基づいて車両(100)の方位を検出する場合には、当該認識対象物(OBJ)の延伸方向など、認識対象物(OBJ)の形状も考慮した画像処理を行って角度(方向)を検出する必要がある。このため、画像処理の負荷が増大したり、認識対象物(OBJ)の角度(方向)を演算する際の誤差によって、車両(100)の方位の精度が低下したりする可能性がある。しかし、本構成によれば、複数の認識対象物(OBJ)と車両(100)との相関関係を用いて、車両(100)の方位を検出するので、誤差が少なくなり、精度を向上させることができる。また、単一の認識対象物(OBJ)から車両(100)の方位を検出する必要がないため、例えば、認識対象物(OBJ)として点状のものも設定可能であり、画像処理の負荷を低減することもできる。また、対象物情報記憶部(6)も、対象物絶対位置情報として認識対象物(OBJ)の位置の情報を記憶すれば足り、方位の情報を記憶する必要がない。従って、対象物情報記憶部(6)のようなデータベースの容量も低減される。本構成によれば、このように軽い演算負荷で精度良く認識可能な複数の認識対象物(OBJ)と車両(100)との相関関係と、第1認識対象物(TP1)の対象物絶対位置情報と、第2認識対象物(TP2)の対象物絶対位置情報とに基づくことにより、精度良く車両(100)の絶対方位情報を演算することができる。以上、本構成によれば、車両(100)に搭載されたカメラ(2)により撮影された周辺画像(IM)に基づいて、精度良く車両(100)の方位を検出する技術を提供することができる。
 ここで、前記方位検出部(7)は、前記第1相対関係情報と、前記第2相対関係情報と、前記第1認識対象物(TP1)の前記対象物絶対位置情報と、前記第2認識対象物(TP2)の前記対象物絶対位置情報と、さらに、前記第1地点(P1)と前記第2地点(P2)との相対関係を示す地点間相対情報と、に基づいて、前記車両(100)の前記絶対方位情報を演算すると好適である。
 方位検出部(7)は、絶対座標系とは別のローカルな座標系ではあるが、第1相対関係情報と、第2相対関係情報と、地点間相対情報とに基づいて、第1認識対象物(TP1)と第2認識対象物(TP2)との相対関係を演算することができる。そして、方位検出部(7)は、この相対関係を、第1認識対象物(TP1)及び第2認識対象物(TP2)の対象物絶対位置情報に適合させることにより、絶対座標系において絶対方位情報を演算することができる。
 また、前記方位検出部(7)が、前記第1相対関係情報と、前記第2相対関係情報と、前記第1認識対象物(TP1)の前記対象物絶対位置情報と、前記第2認識対象物(TP2)の前記対象物絶対位置情報と、さらに、前記第1地点(P1)と前記第2地点(P2)との相対関係を示す地点間相対情報と、に基づいて、前記車両(100)の前記絶対方位情報を演算する場合、前記方位検出部(7)は、前記第1相対関係情報と、前記第2相対関係情報と、前記地点間相対情報と、に基づいて、前記第1認識対象物(TP1)と前記第2認識対象物(TP2)との相対関係を示す対象物間相対関係情報を演算し、前記対象物間相対関係情報を前記第1認識対象物(TP1)及び前記第2認識対象物(TP2)の前記対象物絶対位置情報に適合させることにより、前記車両(100)の前記絶対方位情報を演算すると好適である。
 第1相対関係情報と、第2相対関係情報と、地点間相対情報とを関連付けることにより、これら3つの情報が結びつけられた対象物間相対関係情報を得ることができる。このため、方位検出部(7)は、絶対座標系とは別のローカルな座標系ではあるが、第1認識対象物(TP1)と第2認識対象物(TP2)との相対関係を示す対象物間相対関係情報を精度良く演算することができる。さらに、方位検出部(7)は、この対象物間相対関係情報を、第1認識対象物(TP1)及び第2認識対象物(TP2)の対象物絶対位置情報に適合させることにより、絶対座標系において精度良く絶対方位情報を演算することができる。
 また、前記車両(100)の走行軌跡(K)を記憶する走行軌跡記憶部(5)を備え、前記地点間相対情報は、前記走行軌跡記憶部(5)に記憶された前記走行軌跡(K)の内、前記第1地点(P1)と前記第2地点(P1)との間の地点間走行軌跡(KT)に基づいて取得され、 前記方位検出部(7)は、前記第1地点(P1)における前記車両(100)の前記絶対方位情報、及び、前記第2地点(P2)における前記車両(100)の前記絶対方位情報、及び、前記地点間走行軌跡(KT)上の任意の地点における前記車両(100)の前記絶対方位情報、の少なくとも1つを演算すると好適である。
 この構成によれば、複数の認識対象物(OBJ)(第1認識対象物(TP1),第2認識対象物(TP2))と車両(100)との相間関係(第1相対関係情報、第2相対関係情報)、及び、それぞれの認識対象物(OBJ)を認識した地点間の車両(100)の走行軌跡(地点間走行軌跡(KT))に基づき、車両(100)の方位を精度良く特定することができる。また、第1地点(P1)及び第2地点(P2)に加えて、地点間走行軌跡(KT)上の任意の地点における絶対方位情報も特定することができる。また、方位検出部(7)が、上述したように、対象物間相対関係情報を演算する場合には、第1相対関係情報と、第2相対関係情報と、地点間走行軌跡(KT)に基づく地点間相対情報とを関連付けることにより、走行軌跡(K)を介して、これら3つの情報が結びつけられた対象物間相対関係情報を適切に得ることができる。
 ここで、地点間走行軌跡(KT)は、前記車両(100)の位置及び方位の双方の軌跡を含むと好適である。
 地点間走行軌跡(KT)が、第1地点(P1)から第2地点(P2)までの地点間走行経路(KT)の任意の点における車両(100)の位置及び方位の情報を含むことにより、方位検出部(7)は、第1地点(P1)から第2地点(P2)までの地点間走行経路(KT)の任意の点における車両(100)の絶対方位情報を精度良く演算することができる。
 また、前記方位検出部(7)は、前記絶対方位を検出した地点での前記車両(100)の位置を示す絶対位置を含む情報として、前記絶対方位情報を演算すると好適である。
 絶対方位情報が、絶対方位の情報に加えて絶対位置の情報も含むことで、絶対方位情報がより精度の高い情報となる。例えば、絶対方位情報がナビゲーションシステムや駐車支援システムに利用される場合に、有用な情報となる。
 また、前記認識対象物(OBJ)は、地表面に固定された地物であると好適である。
 周辺画像(IM)の画像座標系は、平面座標系(射影平面に対する射影座標系)であり、立体的な座標を特定する場合に比べて、予め規定された水平面における座標を特定する場合の方が高い精度を有する。地表面は、車両(100)にカメラ(2)を設置した際に、特定することが容易な水平面である。従って、地表面に固定された地物を認識対象物(OBJ)とすることによって、画像処理部(4)による認識対象物(OBJ)の認識精度を高く保ち、方位検出部(7)も精度良く車両(100)の絶対方位情報を演算することができる。
 また、1つの態様として、前記対象エリアは、複数台の駐車区画(205)を有する駐車場(200)であり、前記カメラ(2)は前記車両(100)の側方を撮影するサイドカメラであり、前記認識対象物(OBJ)は、前記駐車区画(205)を示す区画線(210)の端部であると好適である。
 対象エリアをある程度の領域に絞ることによって、対象エリアの中で精度良く車両(100)の絶対方位情報を演算することができる。また、駐車場(200)には、通常、複数台の駐車区画(205)が設けられ、それぞれの駐車区画(205)は例えば地表面に設定された区画線(210)などによって区画されている。従って、区画線(210)の少なくとも一部を認識対象物(OBJ)とすることで適切に認識対象物(OBJ)を設定することができる。また、区画線(210)の端部は、エッジ抽出などの比較的簡単な画像処理によって検出することができるので、画像処理の負荷を低減することもできる。また、駐車場(200)の中を車両(100)が走行する際には、多くの場合、車両(100)の側方に駐車区画(205)が存在する。カメラ(2)がサイドカメラであると、車両(100)が駐車場(200)の中を移動する際に、認識対象物(OBJ)としての区画線(210)を含む周辺画像(IM)を適切に撮影することが容易となる。
 また、前記画像処理部(4)が複数種の前記認識対象物(OBJ)を認識する場合、前記対象物情報記憶部(6)は、前記対象物絶対位置情報と、前記認識対象物(OBJ)の種別を示す種別情報及び形状を特定する形状情報の少なくとも一方とを記憶すると好適である。
 認識対象物(OBJ)は、単一の種類に限らず、複数の種類が設定されていてもよい。その場合には、対象物情報記憶部(6)が、対象物絶対位置情報の他、種別情報及び形状の少なくとも一方を記憶していることで、画像処理部(4)は、適切に認識対象物(OBJ)を認識することができる。
1   :方位検出システム
2   :カメラ
3   :周辺画像取得部
4   :画像処理部
5   :走行軌跡記憶部
6   :対象物情報記憶部
7   :方位検出部
100 :車両
200 :駐車場
205 :駐車区画
210 :区画線
IM  :周辺画像
K   :走行軌跡
KT  :地点間走行軌跡
MK  :マーカー(認識対象物)
OBJ :認識対象物
P1  :第1地点
P2  :第2地点
TP1 :第1認識対象物
TP2 :第2認識対象物

Claims (11)

  1.  対象エリアにおける車両の方位を検出する方位検出システムであって、
     前記車両に搭載されたカメラにより撮影された前記車両の周辺の画像である周辺画像を取得する周辺画像取得部と、
     前記対象エリアにおける位置情報が対象物絶対位置情報として特定されている認識対象物を前記周辺画像から認識すると共に、認識された前記認識対象物と前記車両との相対位置及び相対方位を演算する画像処理部と、
     前記認識対象物の前記対象物絶対位置情報を記憶する対象物情報記憶部と、
     前記対象エリアにおける前記車両の方位を示す絶対方位を含む情報である絶対方位情報を演算する方位検出部と、を備え、
     前記方位検出部は、
     前記画像処理部により認識された前記認識対象物の1つである第1認識対象物と前記車両との前記相対位置及び前記相対方位を示す第1相対関係情報と、
     前記画像処理部により認識された前記認識対象物の1つであり前記第1認識対象物とは異なる第2認識対象物と前記車両との前記相対位置及び前記相対方位を示す第2相対関係情報と、
     前記第1認識対象物の前記対象物絶対位置情報と、
     前記第2認識対象物の前記対象物絶対位置情報と、に基づいて、
     前記第1認識対象物を認識した地点である第1地点における前記車両の前記絶対方位情報、及び、前記第2認識対象物を認識した地点である第2地点における前記車両の前記絶対方位情報、の少なくとも1つを演算する、方位検出システム。
  2.  前記方位検出部は、前記第1相対関係情報と、前記第2相対関係情報と、前記第1認識対象物の前記対象物絶対位置情報と、前記第2認識対象物の前記対象物絶対位置情報と、さらに、前記第1地点と前記第2地点との相対関係を示す地点間相対情報と、に基づいて、前記車両の前記絶対方位情報を演算する、請求項1に記載の方位検出システム。
  3.  前記方位検出部は、前記第1相対関係情報と、前記第2相対関係情報と、前記地点間相対情報と、に基づいて、前記第1認識対象物と前記第2認識対象物との相対関係を示す対象物間相対関係情報を演算し、前記対象物間相対関係情報を前記第1認識対象物及び前記第2認識対象物の前記対象物絶対位置情報に適合させることにより、前記車両の前記絶対方位情報を演算する、請求項2に記載の方位検出システム。
  4.  前記車両の走行軌跡を記憶する走行軌跡記憶部を備え、
     前記地点間相対情報は、前記走行軌跡記憶部に記憶された前記走行軌跡の内、前記第1地点と前記第2地点との間の地点間走行軌跡に基づいて取得され、
     前記方位検出部は、前記第1地点における前記車両の前記絶対方位情報、及び、前記第2地点における前記車両の前記絶対方位情報、及び、前記地点間走行軌跡上の任意の地点における前記車両の前記絶対方位情報、の少なくとも1つを演算する、請求項2又は3に記載の方位検出システム。
  5.  前記地点間走行軌跡は、前記車両の位置及び方位の双方の軌跡を含む、請求項4に記載の方位検出システム。
  6.  前記方位検出部は、前記絶対方位を検出した地点での前記車両の位置を示す絶対位置を含む情報として、前記絶対方位情報を演算する、請求項1から5の何れか一項に記載の方位検出システム。
  7.  前記認識対象物は、地表面に固定された地物である、請求項1から6の何れか一項に記載の方位検出システム。
  8.  前記対象エリアは、複数台の駐車区画を有する駐車場であり、前記カメラは前記車両の側方を撮影するサイドカメラであり、前記認識対象物は、前記駐車区画を示す区画線の端部である、請求項1から7の何れか一項に記載の方位検出システム。
  9.  前記画像処理部が複数種の前記認識対象物を認識する場合、前記対象物情報記憶部は、前記対象物絶対位置情報と、前記認識対象物の種別を示す種別情報及び形状を特定する形状情報の少なくとも一方と、を記憶する、請求項1から8の何れか一項に記載の方位検出システム。
  10.  対象エリアにおける車両の方位を検出する方位検出方法であって、
     前記車両に搭載されたカメラにより撮影された前記車両の周辺の画像である周辺画像を取得する周辺画像取得ステップと、
     前記対象エリアにおける位置情報が対象物絶対位置情報として特定されている認識対象物を前記周辺画像から認識すると共に、認識された前記認識対象物と前記車両との相対位置及び相対方位を演算する画像処理ステップと、
     前記対象エリアにおける前記車両の方位を示す絶対方位を含む情報である絶対方位情報を演算する方位検出ステップと、を備え、
     前記方位検出ステップでは、
     前記画像処理ステップにより認識された前記認識対象物の1つである第1認識対象物と前記車両との前記相対位置及び前記相対方位を示す第1相対関係情報と、
     前記画像処理ステップにより認識された前記認識対象物の1つであり前記第1認識対象物とは異なる第2認識対象物と前記車両との前記相対位置及び前記相対方位を示す第2相対関係情報と、
     前記認識対象物の前記対象物絶対位置情報を記憶する対象物情報記憶部から取得した、前記第1認識対象物の前記対象物絶対位置情報と、
     前記対象物情報記憶部から取得した、前記第2認識対象物の前記対象物絶対位置情報と、に基づいて、
     前記第1認識対象物を認識した地点である第1地点における前記車両の前記絶対方位情報、及び、前記第2認識対象物を認識した地点である第2地点における前記車両の前記絶対方位情報、の少なくとも1つを演算する、方位検出方法。
  11.  対象エリアにおける車両の方位を検出する機能をコンピュータに実現させる方位検出プログラムであって、
     前記車両に搭載されたカメラにより撮影された前記車両の周辺の画像である周辺画像を取得する周辺画像取得機能と、
     前記対象エリアにおける位置情報が対象物絶対位置情報として特定されている認識対象物を前記周辺画像から認識すると共に、認識された前記認識対象物と前記車両との相対位置及び相対方位を演算する画像処理機能と、
     前記対象エリアにおける前記車両の方位を示す絶対方位を含む情報である絶対方位情報を演算する方位検出機能と、を備え、
     前記方位検出機能では、
     前記画像処理機能により認識された前記認識対象物の1つである第1認識対象物と前記車両との前記相対位置及び前記相対方位を示す第1相対関係情報と、
     前記画像処理機能により認識された前記認識対象物の1つであり前記第1認識対象物とは異なる第2認識対象物と前記車両との前記相対位置及び前記相対方位を示す第2相対関係情報と、
     前記認識対象物の前記対象物絶対位置情報を記憶する対象物情報記憶部から取得した、前記第1認識対象物の前記対象物絶対位置情報と、
     前記対象物情報記憶部から取得した、前記第2認識対象物の前記対象物絶対位置情報と、に基づいて、
     前記第1認識対象物を認識した地点である第1地点における前記車両の前記絶対方位情報、及び、前記第2認識対象物を認識した地点である第2地点における前記車両の前記絶対方位情報、の少なくとも1つを演算する、方位検出プログラム。
PCT/JP2019/034148 2018-09-06 2019-08-30 方位検出システム、方位検出方法、及び方位検出プログラム WO2020050171A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020541189A JP7006797B2 (ja) 2018-09-06 2019-08-30 方位検出システム、方位検出方法、及び方位検出プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-167303 2018-09-06
JP2018167303 2018-09-06

Publications (1)

Publication Number Publication Date
WO2020050171A1 true WO2020050171A1 (ja) 2020-03-12

Family

ID=69721632

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034148 WO2020050171A1 (ja) 2018-09-06 2019-08-30 方位検出システム、方位検出方法、及び方位検出プログラム

Country Status (2)

Country Link
JP (1) JP7006797B2 (ja)
WO (1) WO2020050171A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01302408A (ja) * 1988-05-31 1989-12-06 Hara Ee I Sekkei:Kk パレット搬送車両の絶対位置及び方向認識方法
JP2007164441A (ja) * 2005-12-13 2007-06-28 Denso Corp 移動体方位決定装置、移動体方位決定方法、ナビゲーション装置、および移動可能端末装置
JP2009015684A (ja) * 2007-07-06 2009-01-22 Komatsu Utility Co Ltd 配車システム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01302408A (ja) * 1988-05-31 1989-12-06 Hara Ee I Sekkei:Kk パレット搬送車両の絶対位置及び方向認識方法
JP2007164441A (ja) * 2005-12-13 2007-06-28 Denso Corp 移動体方位決定装置、移動体方位決定方法、ナビゲーション装置、および移動可能端末装置
JP2009015684A (ja) * 2007-07-06 2009-01-22 Komatsu Utility Co Ltd 配車システム及び方法

Also Published As

Publication number Publication date
JPWO2020050171A1 (ja) 2021-08-26
JP7006797B2 (ja) 2022-01-24

Similar Documents

Publication Publication Date Title
KR102696094B1 (ko) 자동 발렛 파킹 시스템의 위치 추정 장치 및 방법
EP3343172B1 (en) Creation and use of enhanced maps
JP5747787B2 (ja) 車線認識装置
CN114034307B (zh) 基于车道线的车辆位姿校准方法、装置和电子设备
CN107836017B (zh) 信号机识别装置及信号机识别方法
WO2020232648A1 (zh) 车道线的检测方法、电子设备与存储介质
US11281228B2 (en) Method and device for determining a position of a transportation vehicle
JP2001331787A (ja) 道路形状推定装置
KR20180123558A (ko) 제1 랜드마크의 글로벌 위치를 결정하는 방법 및 시스템
CN111507130B (zh) 车道级定位方法及系统、计算机设备、车辆、存储介质
US7408629B2 (en) Passive measurement of terrain parameters
WO2021238026A1 (zh) 一种车辆定位方法及装置、车辆、存储介质
US20170177958A1 (en) Target Detection Apparatus and Target Detection Method
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
US20190331496A1 (en) Locating a vehicle
CN108885113A (zh) 用于借助地标确定周围环境中的至少部分自动化行驶的车辆的姿态的方法
CN114088114B (zh) 车辆位姿校准方法、装置和电子设备
CN113566817B (zh) 一种车辆定位方法及装置
JP2011112556A (ja) 捜索目標位置特定装置及び捜索目標位置特定方法並びにコンピュータプログラム
JP2019120629A (ja) 位置計算装置、位置計算プログラム及び座標マーカ
JP2021092508A (ja) 走行軌跡推定方法及び走行軌跡推定装置
WO2020050171A1 (ja) 方位検出システム、方位検出方法、及び方位検出プログラム
US20230079899A1 (en) Determination of an absolute initial position of a vehicle
JP6819441B2 (ja) 物標位置推定方法及び物標位置推定装置
JP7422248B2 (ja) 走行制御方法及び走行制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19857071

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020541189

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19857071

Country of ref document: EP

Kind code of ref document: A1