WO2019230474A1 - 道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム - Google Patents

道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム Download PDF

Info

Publication number
WO2019230474A1
WO2019230474A1 PCT/JP2019/019884 JP2019019884W WO2019230474A1 WO 2019230474 A1 WO2019230474 A1 WO 2019230474A1 JP 2019019884 W JP2019019884 W JP 2019019884W WO 2019230474 A1 WO2019230474 A1 WO 2019230474A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
signs
mode
autonomous
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/019884
Other languages
English (en)
French (fr)
Inventor
マッタ ユクテイ
耕太 入江
太雪 谷道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2020522109A priority Critical patent/JP6997868B2/ja
Priority to DE112019001832.9T priority patent/DE112019001832T5/de
Publication of WO2019230474A1 publication Critical patent/WO2019230474A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Definitions

  • the present disclosure relates to an autonomous vehicle system, and more specifically to a system and method with road sign detection.
  • map matching uses sensors such as radar, sonar, LIDAR (Light Detection and Ranging) or stereo cameras to identify certain features in the environment, and then GPS (Global Positioning) Compare to a map that can be generally obtained from the Satellite unit.
  • GPS Global Positioning
  • a parking assistance system that utilizes signs.
  • Such a system uses symmetrical signs that are recognized by a front camera mounted on the car for garage entry and exit.
  • the problem with this approach is that since the camera is facing forward, the vehicle can only be parked into the parking space.
  • the signs used are symmetric, at least three feature points need to be detected for the system to successfully recognize the signs.
  • a calibration of the camera system to determine the position of the vehicle there is a calibration of the camera system to determine the position of the vehicle.
  • Such related art implementations utilize a predetermined indicator whose shape parameters are stored in a computer readable memory. A shape is extracted from the camera frame and then compared to the stored shape. Rotation and translation can be used to determine the position of the vehicle. The problem with such an approach is that additional resources are required for the random access memory (RAM) of the computer.
  • RAM random access memory
  • the present invention involves an approach in which a sign is placed along the track at the entrance to the parking lot, and then the vehicle ensures vehicle positioning and track correction throughout the parking lot.
  • the exemplary embodiments described herein involve the use of asymmetric signs that are recognized by multiple cameras and are therefore not limited to recognition only in front of the vehicle.
  • the use of a map positioning unit can reduce costs because the system of the exemplary embodiment does not depend on any vehicle guidance system.
  • the exemplary embodiment described herein recognizes the sign using a template matching method.
  • the template can be created in real time and need not be stored in advance.
  • the sign is placed along the track at the entrance of the parking lot.
  • the location of the sign recognized by the camera is compared with the location on the map provided by the offline map positioning unit.
  • the camera uses image processing functions to calculate the position and orientation of the vehicle relative to these signs.
  • This information is provided to an autonomous driving electronic control unit (AD ECU) of the vehicle via a CAN (Controller Area Network).
  • AD ECU autonomous driving electronic control unit
  • the electronic control unit ECU
  • the difference between the predicted coordinates of the vehicle and the current coordinates is calculated by the ECU and used for the trajectory correction.
  • This technique is useful for locating one independent vehicle, but in the presence of another preceding vehicle, a common control that controls the movement of all vehicles in the parking lot to avoid a collision.
  • a center is needed.
  • Such an exemplary embodiment involves the use of a telematics control unit that communicates the position of the vehicle to the control center in real time. The control center prevents the two vehicles from approaching by sending a command to the following vehicle to stop when there is a potential collision.
  • An aspect of the present disclosure is to detect one or more signs having an asymmetric shape from a plurality of cameras, and to change a vehicle operation mode from a human operation mode to an autonomous mode. Configured to adjust at least one of vehicle position, orientation, and speed based on the detected one or more signs.
  • An aspect of the present disclosure is to detect one or more signs having an asymmetric shape from a plurality of cameras, and to change a vehicle operation mode from a human operation mode to an autonomous mode. And a computer program that is configured to adjust at least one of the position, orientation, and speed of the vehicle based on the detected one or more signs.
  • the computer program may be stored on a non-transitory computer readable medium and executed by one or more hardware processors.
  • aspects of the present disclosure are means for detecting one or more signs having an asymmetric shape from a plurality of cameras, and means for changing a vehicle operation mode from a human operation mode to an autonomous mode.
  • the autonomous mode can include a system with means configured to adjust at least one of the position, orientation, and speed of the vehicle based on the detected one or more signs.
  • aspects of the present disclosure are configured to detect a plurality of cameras and one or more signs having an asymmetric shape from the plurality of cameras, and change the operation mode of the vehicle from the human operation mode to the autonomous mode.
  • the autonomous mode can include a system with a processor configured to adjust at least one of the position, orientation, and speed of the vehicle based on the detected one or more signs.
  • FIG. 1 illustrates a vehicle system according to an exemplary embodiment.
  • FIG. 2 illustrates a plurality of vehicle systems and management devices according to an exemplary implementation.
  • FIG. 3 illustrates an example of an asymmetric label, according to an exemplary embodiment.
  • FIG. 3 illustrates an example of an asymmetric label, according to an exemplary embodiment.
  • FIG. 3 illustrates an example of an asymmetric label, according to an exemplary embodiment.
  • FIG. 3 illustrates an example of an asymmetric label, according to an exemplary embodiment.
  • FIG. 3 illustrates an example of an asymmetric label, according to an exemplary embodiment.
  • FIG. 5 shows a comparison between asymmetric and symmetric labels.
  • FIG. 5 shows a comparison between asymmetric and symmetric labels.
  • FIG. 5 shows a comparison between asymmetric and symmetric labels.
  • FIG. 6 illustrates an example use case for an asymmetric sign, according to an example implementation.
  • FIG. 6 illustrates an example use case for an asymmetric sign, according to an example implementation.
  • FIG. 3 illustrates an example use case for an asymmetric sign, according to an example implementation.
  • FIG. 6 illustrates an example use case for an asymmetric sign, according to an example implementation.
  • 6 is an exemplary flowchart that may be implemented by a vehicle system or management device.
  • 6 is an exemplary flowchart that may be implemented by a vehicle system or management device.
  • 6 is an exemplary flowchart that may be implemented by a vehicle system or management device.
  • 6 is an exemplary flowchart that may be implemented by a vehicle system or management device.
  • FIG. 6 illustrates an example use case for an asymmetric sign, according to an example implementation.
  • FIG. 6 illustrates an example use case for an asymmetric sign, according to an example implementation.
  • FIG. 3 is a diagram illustrating exemplary management information that may be utilized by a management device and / or a vehicle system.
  • FIG. 11 illustrates an example computing environment with an example computing device suitable for use with some example implementations.
  • FIG. 1 (a) shows a vehicle system according to an exemplary embodiment.
  • FIG. 1 (a) shows an exemplary human-operated vehicle system configured to operate in a human operation mode and an autonomous mode.
  • the AD ECU 1 is connected to the map positioning unit 6 and receives a signal from the map positioning unit 6.
  • These signals include configured routes, map data, vehicle location on the map, vehicle direction, lane information such as number of lanes, speed limits, and road / vehicle location type (eg, highways and general Express motorway, branch road, toll collection, parking lot or garage).
  • the vehicle is provided with an operation parameter measurement unit for measuring a parameter value indicating the operation state of the vehicle, which can include a wheel speed measurement device 7 and a vehicle behavior measurement device 8. Signals provided by these devices are sent to the AD ECU 1.
  • the vehicle behavior measuring device 8 measures longitudinal acceleration, lateral acceleration, and yaw rate.
  • the vehicle includes a front camera 10f, a front radar 11f, a rear camera 10r, a rear radar 11r, a left front camera 12L, a right front camera 12R, a left rear camera 13L, and a right rear camera 13R.
  • An environmental condition measuring device is provided. These environmental condition measurement devices send information about lane marks, obstacles, and asymmetric signs around the vehicle to the AD ECU 1.
  • the vehicle camera may be in the form of a surround view camera, or other camera, depending on the desired implementation.
  • the front camera 10f includes an imaging unit for acquiring an image of one or more asymmetric signs around the vehicle, and a position between the vehicle and the one or more asymmetric signs. And an output unit for providing a signal representative of the relationship.
  • the forward radar 11f detects other vehicles and pedestrians, identifies the position, and provides a signal representing the positional relationship between the vehicle and those objects.
  • the rear camera 10r, the left front camera 12L, the right front camera 12R, the left rear camera 13L, and the right rear camera 13R have the same functionality as the front camera 10f, the front radar 11f, and the rear radar 11r.
  • the vehicle is provided with an engine 21, an electronically controlled brake system 22, an electronically controlled differential mechanism 23, and an electronically controlled steering system 24.
  • the AD ECU 1 is based on the values of the operational variables given by the driver and / or environmental conditions such as the detection of asymmetric signs of the vehicle system described herein or the operation of various autonomous modes. , 23 and 24 are given drive signals.
  • the controller 1 gives an acceleration signal to the engine 21.
  • the controller provides a deceleration signal to the electronically controlled brake system 22 when the vehicle needs to be decelerated.
  • the AD ECU 1 provides a turning signal to at least one of the electronic control brake system 22, the electronic control differential mechanism 23, and the electronic control steering system 24.
  • the electronically controlled brake system 22 is a hydraulic brake system that can control individual braking forces applied to the wheels.
  • the electronically controlled brake system applies a braking force to either the right wheel or the left wheel in response to a turning request and applies a yaw moment to the vehicle.
  • the electronically controlled differential mechanism 23 drives a motor or a clutch in response to a turning request to generate a torque difference between the right axle and the left axle, and applies a yaw moment to the vehicle.
  • the electronic control steering system 24 is, for example, a steer-by-wire steering system that can apply a yaw moment to a vehicle by correcting the steering angle independently of the turning angle of the steering wheel in response to a turning request. .
  • the vehicle is provided with an information output unit 26.
  • the information output unit 26 displays an image according to the type of driving support operation, generates sound, and turns on a warning lamp that represents information related to the support operation.
  • the information output unit 26 is, for example, a monitor with a built-in speaker. A plurality of information output units may be provided in the vehicle.
  • FIG. 1 (a) is an exemplary embodiment of the vehicle system described herein, but other configurations are possible and are included within the scope of the exemplary embodiment and disclosed herein. Is not limited to the configuration shown in FIG.
  • the camera can be installed on the top of the vehicle or on the roof for the purpose of detecting asymmetric signs placed on walls, road signs, billboards and the like.
  • FIG. 1 (b) shows a plurality of vehicle systems and management devices according to an exemplary embodiment.
  • vehicle systems 101-1, 101-2, 101-3, and 101-4 described with reference to FIG. 1A are communicatively coupled to a network 100 that is connected to the management device 102.
  • the management apparatus 102 manages the database 103 including data feedback aggregated from the vehicle system of the network 100.
  • data feedback from vehicle systems 101-1, 101-2, 101-3, and 101-4 may be a proprietary database that aggregates data from systems such as enterprise resource planning systems. It can be aggregated into a central repository or central database, and the management device 102 can access or retrieve data from the central repository or central database.
  • vehicle systems can include human-operated vehicles such as cars, trucks, tractors, vans, etc., depending on the desired implementation.
  • the management device 102 receives position information from the vehicle systems 101-1, 101-2, 101-3, and 101-4 that transmit the position of the corresponding vehicle system with respect to the sign, as illustrated in FIG. 4 (a). And / or to send instructions to the vehicle systems 101-1, 101-2, 101-3, 101-4 that indicate the trajectory of the vehicle up to the next sign and / or operation It can be configured to adjust mode, position, speed, and / or orientation.
  • FIG. 2 (a) to 2 (d) show examples of asymmetric signs according to an exemplary embodiment.
  • the unique features of the selected checker pattern indicators are made useful for recognition using a vehicle system camera as shown in FIG. 1 (a).
  • the difference in intensity between the white and black squares not only makes it easy to detect the transition point as a corner using a detection algorithm such as a Harris Corner Detector, but also a very variable light It is also possible to detect the sign in the situation.
  • the sign may be physically painted or may be placed on a road, sign or wall, or projected / displayed by a projection system, monitor, etc. to modify depending on the desired embodiment. .
  • an asymmetric sign such as a T-shaped sign as shown in FIG. 2 (a)
  • a T-shaped sign is driving the vehicle in the expected direction (ie, the vehicle is typed from FIG. 2 (b)). It is used to determine whether or not the vehicle travels in the reverse T direction of ID1.
  • Each of the T-shaped indicators may also be associated with an identifier or an ID representing a different functionality.
  • the present disclosure is not limited to the use of T-shaped labels, and other asymmetric labels such as L-shaped labels as shown in FIG.
  • FIGS. 2 (a) -2 (c) such labels can also be resized according to the desired embodiment.
  • any asymmetric checker pattern indicator can be used in the exemplary embodiment.
  • the AD ECU corrects the trajectory as necessary.
  • Current systems take advantage of local coordinates detected by the camera and convert them to global coordinates by comparing them to a location (or parking lot) map.
  • the system can also function with a QR (Quick Response) code (registered trademark) located on a sign as shown in FIG. 2 (d).
  • QR code registered trademark
  • the QR code can include the latitude and longitude information of the sign.
  • FIG. 2 (e) shows an exemplary embodiment of a sign for use at a parking lot entrance, according to an exemplary embodiment.
  • four signs are arranged one by one along each side of the car, and each of them gradually rotates 90 degrees clockwise.
  • the position of the sign is such that the sign axis and the optical axis of the camera are aligned under a 0 degree rotation condition.
  • the peripheral coverage of the camera view may be less sharp than the center of the camera image.
  • the location of the signage makes sure to take advantage of such sharpness.
  • each sign is assigned an ID, which allows the ECU to determine which camera has identified the sign, thereby establishing its legitimacy. be able to. Signs are also placed along the route, followed by the car moving to the parking space.
  • FIG. 2 (f) and FIG. 2 (g) show a comparison between asymmetric and symmetric signs.
  • FIG. 2 (f) shows an example of an asymmetric sign
  • FIG. 2 (g) shows an example of a symmetric sign.
  • an asymmetric sign is utilized because the approach direction can distinguish between a 0 degree orientation and a 180 degree orientation.
  • the sign is symmetric as shown in FIG. 2 (g)
  • the approach direction cannot distinguish between a 0 degree orientation and a 180 degree orientation.
  • asymmetric signs are utilized to facilitate detection as well as to determine the orientation of the vehicle relative to the signs.
  • a checker pattern is utilized in the exemplary embodiment, the present disclosure is not so limited and any other pattern can be utilized in accordance with the desired embodiment as long as the sign is asymmetric.
  • a zigzag pattern a sign with a circle or other shape indicating the center of the sign, a QR code (registered trademark) or a bar code embedded in the sign can also be used.
  • FIG. 3 (a) shows an exemplary embodiment with a parking lot. These signs are also assigned IDs and compared with those stored in the map positioning unit. These signs help the car continually correct the track so that the deviation from the desired route does not exceed a certain threshold. Not only does the map positioning unit receive these coordinates, but then the control center will also be safe for the vehicle to proceed based on a comparison with coordinates received from other vehicles in the parking lot shown in FIG. Decide if.
  • the parking lot can be divided into several sections by the map positioning unit based on the location of the sign.
  • the parking lot is considered to have sections 300-1, 300-2, 300-3, 300-4, and 300-5.
  • Section 300-1 is the entrance to the parking lot where the AVP mode can be activated after getting off the vehicle.
  • the AVP mode can be activated upon receipt of a command from the management device or a command stored in the vehicle system after the vehicle system detects the first sign.
  • a human operator of the vehicle system can manually activate the AVP mode, which causes the vehicle to operate autonomously through the parking lot. As shown in FIG.
  • the vehicle instructs the vehicle to adjust the track as shown in sections 300-2 and 300-3, or to activate automatic parking as shown in section 300-4.
  • the sign is encountered, it is navigated along the trajectory based on commands through various sections of the parking lot.
  • the command from the management device 102 in FIG. 1B can be transmitted to the parked vehicle, whereby the vehicle is changed to the take-out mode, and the vehicle is moved to the section 300-.
  • FIG. 3B shows an example of the vehicle system in the section 300-1 in FIG.
  • the vehicle has a surround view installed with four monocular cameras, one for each bumper and one for each side mirror.
  • Each frame of live video captured by the camera is stitched together by the microprocessor of the surround view ECU to provide a 360 degree top view image of the car as shown in FIG.
  • the center point of the vehicle is already known by the AD ECU, which is treated as the origin of the coordinate system used to find the distance from the vehicle to the center of the sign.
  • FIGS. 4 (a) to 4 (d) show exemplary flow charts that can be implemented by the vehicle system or the management device.
  • the described flowchart can be performed by the AD ECU of the vehicle system or in conjunction with a management device, depending on the desired embodiment.
  • FIG. 4 (a) shows an exemplary flow of a vehicle system, according to an exemplary embodiment.
  • FIG. 4 (a) shows an exemplary flow for road sign detection
  • the flow process 401-405 shows an exemplary process for finding signs
  • the flow 407-409 Shows an exemplary flow for finding the center of the sign
  • the flow at 410 shows an exemplary process for finding the distance from the vehicle system to the sign.
  • all four monocular cameras follow a recognition process continuously to communicate position and orientation as the final output via CAN.
  • the following flow may be implemented for any desired configuration of the vehicle system as described in 1 (a).
  • the flow proceeds at 400 to provide a top view image by a camera system (eg, a surround view camera system) and the process at 401 in a given frame by extracting regions from the frame for processing. Try to find the sign.
  • a camera system eg, a surround view camera system
  • Each image frame acquired from the surround view ECU uses a low pass kernel filter ⁇ 7,7,7,7,8,7,7,7,7 ⁇ that helps reduce image noise at 402. Smoothed.
  • This smoothed image is then converted into a binary image at 403 using any technique according to the desired implementation (eg, Bradley adaptive thresholding, etc.) for further processing. Is done.
  • template matching is performed on the binary image using the template images created in parallel. Matching obtained from template matching is either treated as a potential marker candidate in the frame or is not based on a predetermined threshold.
  • a desired corner detection algorithm such as a Harris corner detection method is utilized to find all corners.
  • a Harris corner detection method is utilized so that transition points are identified as corners based on how they are evaluated against a predetermined threshold.
  • the number of corners acquired in the binary object is compared to the threshold number of corners expected in a T-shaped sign (ie 27). In an exemplary embodiment, if the number of corners is found to be greater than 23 but less than 27, the binary object is qualified as a sign.
  • other thresholds can be utilized depending on the shape of the asymmetric sign (eg, L-shaped, Z-shaped, etc.), and the present disclosure is not limited thereto. If the number of corners does not meet the desired threshold (No), then the process proceeds to the next frame at 406 and returns to 401. If not (Yes), the process proceeds to 409 to find the center of the sign.
  • the process finds the center of the sign where the template region and corner coordinates obtained from template matching and Harris detection, respectively, are used.
  • the four points surrounding the center are obtained by mathematical operations on the dimensions of the template region window, defining a square search window for the center.
  • the corner coordinates output from Harris detection are within this search window and are iterated to find the coordinates where the acquired point is the center of the sign.
  • the process finds the distance of the car from the center obtained by applying the distance formula to this corner coordinates and the car origin coordinates.
  • the distance is compared to the map, the difference is determined, and the position is derived.
  • the AD ECU receives feedback to proceed to the next frame. Therefore, if the label is not detected with the desired accuracy, the non-detection result has priority over the false detection.
  • the vehicle position coordinates obtained from the road sign detection method are first used by the AD ECU, and are used for trajectory correction after determining the direction of the vehicle.
  • the AD ECU is provided with the default global coordinates of the sign by the map positioning unit. If the vehicle follows a trajectory along a point other than the predetermined coordinates, the difference can be identified using a road sign detection method. Based on this difference in orientation as well as the difference in orientation, the actuator is commanded by the ECU to compensate for the difference during navigation by adjusting the position, orientation, and / or speed of the vehicle as needed.
  • This method also allows the control center to ensure that the two vehicles never collide in a parking lot or in other scenarios such as where a toll booth or autonomous driving is activated. Accordingly, through FIG.
  • the vehicle system can adjust at least one of position, orientation, and speed from the command associated with the calculated distance and / or detected sign.
  • the command may be stored in advance in the vehicle system of FIG. 1A or may be transmitted from the management device 102 illustrated in FIG.
  • FIG. 4 (b) shows an exemplary flow for handling the non-detection of a sign after the autonomous system is activated by detecting the sign.
  • the autonomous system is activated at 420 either automatically when a sign is detected or through a manual command in the vehicle system to activate the autonomous system in response to the sign detection.
  • the vehicle system proceeds along the trajectory and speed indicated by the first detected sign while attempting to detect the sign along the trajectory. Detection can be based on traveling along the provided trajectory until another sign is expected. If the sign is detected (Yes), then the vehicle continues at 425 or adjusts the track based on the instructions associated with the detected sign.
  • the process proceeds to 422 and uses the result of the dead reckoning to locate and determines the error in the result from the dead reckoning relative to the expected location of the sign.
  • the vehicle system interpolates the current position of the vehicle based on the current speed and orientation of the vehicle system.
  • a determination is made as to whether the error is less than a certain threshold (eg, within a certain expected distance of the expected sign). If so (Yes), then the vehicle continues to follow the track at 425 or adjusts the vehicle direction / speed to correct the error, otherwise (No), the flow is 424. Proceed to, and stop the autonomous mode.
  • the system can be halted by switching the vehicle to an emergency mode that causes the vehicle to go to a safe location and send a status command to the management device 102, or the desired implementation.
  • an emergency mode that causes the vehicle to go to a safe location and send a status command to the management device 102, or the desired implementation.
  • FIG. 4 (c) shows an exemplary flow for applying a marker for tracking detection, according to an exemplary embodiment. If a vehicle chasing another vehicle can identify the sign at the rear end of the preceding vehicle, the vehicle is too close to the preceding vehicle and the distance between the vehicles needs to be increased. Such a function can be useful for stopping or passing traffic.
  • the vehicle detects at least one sign associated with the trailing edge of the preceding vehicle. For example, in the example of FIG. 3A, the vehicle in the section 300-2 is a vehicle preceding the vehicle in the section 300-1. Since both vehicles are navigated on the same track, there is a possibility that the vehicle in section 300-1 may track the vehicle in section 300-2.
  • clarity is derived from the resolution of the detected label (eg, triggering at the pixel resolution of the label that has reached the determined threshold), or from the size of the label (eg, exceeding the determined threshold). Trigger on the size of the label), or other methods according to the desired implementation.
  • this determination process can be the same as the flow at 431 and can be omitted.
  • the distance may be from a radar system as described with respect to FIG. 1 (a), from instructions received from the management device 102 regarding the distance between vehicles, or other depending on the desired implementation. It can be determined through implementation.
  • FIG. 4 (d) shows an exemplary flow chart of AVP, according to an exemplary implementation.
  • the AVP mode can be activated by the vehicle system, after which the vehicle receives commands received by the management device 102, or AD Proceed along a trajectory associated with the sign based on pre-programmed instructions in the ECU.
  • the vehicle travels along the track and detects subsequent signs while in AVP mode.
  • a determination is made as to whether the sign indicates a change of the vehicle from AVP mode to automatic parking mode. The determination may be made based on pre-programmed instructions associated with the referenced indicator or provided by the management device 102.
  • the vehicle is changed to the automatic parking mode at 443, and the AD ECU sets the parking space where the vehicle can be used as shown in the section 300-4 of FIG. 3 (a). Configured to park automatically. If not (No), the vehicle proceeds to the next sign at 442.
  • the AD ECU can automatically park the vehicle based on the command received from the management device 102, determine which parking space is available, and navigate to an empty parking space with the corresponding command. .
  • FIG. 5 (a) shows an exemplary embodiment with a sign used as a sign.
  • the sign is placed on a 2D road surface and recognized by multiple cameras, such as a surround view camera.
  • FIG. 5 (a) shows another exemplary embodiment with a 3D road marking that can be used independently or in conjunction with the exemplary embodiments described herein.
  • Such an implementation can assist in locating the vehicle and can also indicate coordinates representing a stop sign or other sign associated with the map.
  • any suitable camera system that also incorporates depth information can be utilized for recognition and detection of such 3D road markings.
  • Such a camera system may include a stereo camera or other camera according to the desired implementation.
  • a stereo camera 501 is included in a vehicle rearview mirror to detect an asymmetric sign 502 used as or on a road sign or wall or on a monitor or sign.
  • the sign can be changed by changing the sign as needed or by a method of displaying the sign on the monitor.
  • FIG. 5 (b) shows an exemplary embodiment with a toll gate.
  • the vehicle system When the vehicle system is about to pass through the toll booth, its orientation needs to be accurate to avoid rubbing the sides of the vehicle system. If signs are placed in the areas before and after the gate, the vehicle can navigate accurately by entering autonomous mode, calculating its position and performing trajectory correction as needed.
  • the autonomous mode is started when the mark 511 is detected.
  • the vehicle system then follows a trajectory through the toll gate and proceeds according to a set of instructions provided by the management device 102 or by instructions stored in the vehicle system regarding how to proceed through the toll gate.
  • the operation mode switches to the human operation mode, and the human operator resumes operation of the vehicle system. Signs can be painted on the road or projected from the toll lighting system so that they can be modified as needed.
  • FIG. 6 shows exemplary management information according to an exemplary embodiment. Specifically, FIG. 6 shows an exemplary index of signs that are placed against one or more locations to assist the functionality of the vehicle's autonomous mode.
  • the management information can be maintained on the map positioning unit 6 or on the vehicle system side of the management device 102, depending on the desired implementation.
  • the management information can include a sign ID, a sign type, map information, an operation mode, and a command.
  • the label ID is a unique identifier corresponding to the detected label.
  • the sign type indicates the template type to which the sign belongs (for example, T-shaped, Z-shaped, L-shaped as shown in FIG. 2B), and the template type indicates whether the first sign is detected. Used to make decisions.
  • the map information indicates a corresponding location (for example, geographic coordinates, latitude / longitude coordinates, coordinates via the geographic information system, etc.) on the map for the sign ID.
  • the operation mode indicates a vehicle operation mode such as a human operation mode and various autonomous modes (for example, an AVP mode, an automatic parking mode, a toll gate mode, a tracking detection mode, etc.).
  • the instruction is an instruction associated with the sign ID, and according to a desired embodiment, the trajectory information for proceeding to the next sign, the instruction for transmitting to the management device to receive the navigation instruction, the vehicle position, the direction, And / or instructions for adjusting the speed and the like.
  • FIG. 7 shows some of the functions for promoting the functionality of the AD ECU 1 and the map positioning unit 6 of the vehicle system as shown in FIG. 1A or the management device 102 as shown in FIG. 1 illustrates an exemplary computing environment with an exemplary computing device suitable for use with the exemplary embodiments of FIG. All functions described herein may be implemented in the management device 102, in the vehicle system, or through a system based on some combination of such elements, depending on the desired implementation.
  • the computing device 705 of the computing environment 700 includes one or more processing units, cores, or processors 710, memory 715 (eg, RAM, ROM, and / or the like), internal storage 720 (eg, magnetic, optical, Solid state storage, and / or organic), and / or I / O interface 725, any of which can be coupled to a communication mechanism or bus 730 to communicate information, or a computer It can be embedded in the device 705.
  • the I / O interface 725 is also configured to receive an image from a camera or provide an image to a projector or display, depending on the desired implementation.
  • Computer device 705 can be communicatively coupled to input / user interface 735 and output device / interface 740.
  • One or both of the input / user interface 735 and the output device / interface 740 can be wired or wireless interfaces and can be removable.
  • the input / user interface 735 can be any physical or virtual device, component, sensor, or interface (eg, button, touch screen interface, keyboard, pointing / cursor control, etc.) that can be used to provide input. Microphone, camera, braille, motion sensor, optical reader, and / or the like).
  • the output device / interface 740 may include a display, television, monitor, printer, speaker, braille, and the like.
  • the input / user interface 735 and the output device / interface 740 can be embedded or physically coupled to the computing device 705.
  • other computing devices may function or provide functions of input / user interface 735 and output device / interface 740 for computing device 705.
  • Examples of computing device 705 include, but are not limited to, advanced mobile devices (eg, smartphones, vehicles and other mechanical devices, devices carried by humans and animals, etc.), mobile devices (eg, tablets, notebooks, Laptops, personal computers, portable televisions, radios, etc.) and devices that are not designed for mobility (eg, desktop computers, other computers, information kiosks, televisions with built-in and / or combination of one or more processors, Radio etc.).
  • advanced mobile devices eg, smartphones, vehicles and other mechanical devices, devices carried by humans and animals, etc.
  • mobile devices eg, tablets, notebooks, Laptops, personal computers, portable televisions, radios, etc.
  • devices that are not designed for mobility eg, desktop computers, other computers, information kiosks, televisions with built-in and / or combination of one or more processors, Radio etc.
  • Computer device 705 may communicate with external storage device 745 and network 750 (eg, I-I) to communicate with any number of network components, devices, and systems, including one or more computer devices of the same or different configuration. (Via the / O interface 725).
  • the computing device 705 or any connected computing device can function as a server, client, thin server, general purpose machine, special purpose machine, or another category, provide their services, or be called them. .
  • I / O interface 725 includes, but is not limited to, any communication or I / O protocol or standard for communicating information with at least all connected components, devices, and networks of computing environment 700.
  • Wired and / or wireless interfaces using eg, Ethernet, 802.11x, universal system bus, WiMax, modem, cellular network protocol, etc.
  • Network 750 may be any network or combination of networks (eg, the Internet, a local area network, a wide area network, a telephone network, a cellular network, a satellite network, etc.).
  • the computing device 705 may use and / or communicate using computer-usable or computer-readable media, including temporary and non-transitory media.
  • Temporary media include transmission media (eg, metal cables, optical fibers), signals, carrier waves, and the like.
  • Non-transitory media include magnetic media (eg, discs and tapes), optical media (eg, CD ROM, digital video disc, Blu-ray disc), solid state media (eg, RAM, ROM, flash memory, solid state storage device) , And other non-volatile storage devices or memories.
  • the computing device 705 can be used to implement techniques, methods, applications, processes, or computer-executable instructions in some exemplary computing environments.
  • Computer-executable instructions are retrieved from a temporary medium, stored on a non-transitory medium, and retrieved therefrom.
  • Executable instructions may arise from one or more of programming, scripts, and machine language (eg, C, C ++, C #, Java, Visual Basic, Python, Perl, JavaScript, etc.) .
  • the processor (s) 710 can be implemented under any operating system (OS) (not shown) in a native or virtual environment.
  • OS operating system
  • One or more applications can be deployed, including a logical unit 760, an application programming interface (API) unit 765, an input unit 770, an output unit 775, and different units that interact with the OS and other applications (not shown).
  • API application programming interface
  • An inter-unit communication mechanism 795 for communicating is included.
  • the units and elements described may vary in design, function, configuration, or implementation and are not limited to the descriptions provided.
  • the API unit 765 when information or enforcement instructions are received by the API unit 765, it communicates to one or more other units (eg, logical unit 760, input unit 770, output unit 775). Can be done.
  • the logical unit 760 controls the flow of information between units, and in some exemplary implementations described above, services provided by the API unit 765, the input unit 770, and the output unit 775. It may be configured to indicate. For example, the flow of one or more processes or implementations can be controlled by logic unit 760 alone or in conjunction with API unit 765.
  • Input unit 770 may be configured to obtain input for the calculations described in the exemplary implementation, and output unit 775 provides output based on the calculations described in the exemplary implementation. Can be configured as follows.
  • the memory 715 is used together with the external storage device 745 to function as the map positioning unit 6 and can be configured to manage management information as shown in FIG. With such an embodiment, the AD ECU 1 can manage various operation modes of the vehicle system as shown in FIG.
  • the processor (s) 710 can be configured to implement the flowcharts of FIGS. 4 (a) to 4 (d) and refer to the management information of FIG.
  • processor (s) 710 detects one or more signs having an asymmetric shape from a plurality of cameras and changes the vehicle operating mode from human operating mode to autonomous mode.
  • the autonomous mode adjusts at least one of the position, orientation, and speed of the vehicle based on the detected one or more signs as described in FIG. 4 (a) Configured to do.
  • processor (s) 710 may determine vehicle position, orientation, and vehicle according to a trajectory associated with the detected one or more signs when the autonomous mode is fully autonomous parking (AVP) mode. For another one or more signs that adjust at least one of the speeds, navigate the vehicle along the trajectory until a second one or more signs are detected, and indicate a change in the trajectory, for example As described in FIGS. 3A to 3D and FIGS. 4A to 4D, at least one of the position, direction, and speed of the vehicle is changed according to the change of the track. Can be configured. For the second one or more signs indicating a command to park the vehicle, the processor (s) 710 sends the position of the vehicle to the management device and the operation mode from the management device automatically from the AVP mode. When an instruction to change to the parking mode is received, the operation mode can be configured to be switched from the AVP mode to the automatic parking mode.
  • the automatic parking mode is a vehicle to the parking space as described with reference to FIG. Configured to perform automatic parking.
  • the processor (s) 710 when the processor (s) 710 facilitates the functionality of the AD ECU, the processor (s) 710 manages the operating mode and the vehicle system of FIG. As described with respect to, the vehicle is configured to adjust at least one of position, orientation, and speed of the vehicle by controlling one or more actuators of the vehicle.
  • processor (s) 710 performs template matching on one or more images received from multiple cameras and one or more of the one or more images.
  • template matching indicating that there is a sign of the number
  • corner detection of one or a plurality of images and corner detection indicating the number of corners satisfying the determined threshold will be described with reference to FIG.
  • detecting one or more signs having an asymmetric shape from a plurality of cameras through calculating a distance from the vehicle to one or more signs from one or more images Can be configured.
  • processor (s) 710 determines the current position of the vehicle if the expected sign based on the vehicle's trajectory cannot be detected while the vehicle's operation is in autonomous mode. Interpolate to determine the error between the current position of the vehicle and the expected sign position, and if the error is greater than the threshold, exit the vehicle's autonomous mode as described in FIG. It can be constituted as follows.
  • processor (s) 710 can be configured to manage the relationship between the plurality of signs and maps as shown in FIG.
  • a vehicle trajectory is shown and can be configured to adjust at least one of the position, orientation, and speed of the vehicle in accordance with the trajectory information as described with respect to FIG.
  • Exemplary embodiments can also relate to an apparatus for performing the operations herein.
  • the apparatus can be specially constructed for the required purposes, or it can include one or more general purpose computers selectively activated or reconfigured by one or more computer programs.
  • Such a computer program may be stored on a computer readable medium, such as a computer readable storage medium or a computer readable signal medium.
  • the computer readable storage medium is a tangible medium such as, but not limited to, an optical disk, magnetic disk, read only memory, random access memory, solid state device and drive, or any other type suitable for storing electronic information. Of tangible or non-transitory media.
  • the computer readable signal medium may include a medium such as a carrier wave.
  • the algorithms and displays presented herein are not inherently related to any particular computer or other apparatus.
  • the computer program may involve a pure software implementation with instructions to perform the operations of the desired implementation.
  • the operations described above may be performed by hardware, software, or some combination of software and hardware.
  • Various aspects of the exemplary implementations are implemented using circuitry and logic devices (hardware), and other aspects for implementing the embodiments of the present application on a processor when implemented by the processor.
  • the method can be implemented using instructions (software) stored on a machine-readable medium.
  • some exemplary implementations of the present application can be performed in hardware only, and other exemplary implementations can be performed in software only.
  • the various functions described can be performed in a single unit or can be distributed across several components in any number of ways.
  • the method can be implemented by a processor such as a general purpose computer based on instructions stored on a computer-readable medium. If desired, the instructions can be stored on the medium in a compressed and / or encrypted format.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

本明細書に記載の例示的な実施態様は、人間が操作する車両システムのための自律モードと併せた非対称の標識の使用および検出を対象とする。例示的な実施態様では、車両システムは、車両ナビゲーションならびに完全自律駐車に利用することができる非対称の標識の検出に基づいて位置、向き、および速度の少なくとも１つを調整する。

Description

道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム
　本開示は、自律車両システムに関し、より具体的には、道路標識検出を伴うシステムおよび方法に関する。
　自律車両の位置特定には、２つの大きな課題がある。１つ目は、コストが急騰しないようにしながら、マップマッチングのための適切かつ確実なセンサを決定することである。２つ目は、衛星情報など、マップ生成のための無線通信への依存である。一般に、マップマッチングには、レーダ、ソナー、ＬＩＤＡＲ（Light Detection and Ranging：光検出と測距）またはステレオカメラなどのセンサを使用して環境内の所定の特徴を識別し、次にＧＰＳ（Global Positioning Satellite：全地球測位システム）ユニットから一般的に取得することができるマップと比較する。しかしながら、そのようなセンサを使用することは、環境において最も一般的に見られる二次元の着色された特徴を検出する可能性を排除する。また、衛星通信は、高層ビルの存在下では不一致となる可能性があり、車両の場所が不安定かつ不正確な結果となる。前述の問題を解決するために、いくつかの関連技術の実施態様が提案されている。
　１つの例示的な関連技術の実施態様では、標識を利用する駐車支援システムがある。そのようなシステムは、車庫入れおよび車庫出しのために車に搭載された正面カメラによって認識される対称の標識を使用する。しかしながら、このアプローチの問題点は、カメラが前方を向いているので車両が駐車スペースに頭から入れる駐車しかできないことである。また、使用される標識は対称的であるので、システムが標識をうまく認識するためには少なくとも３つの特徴点が検出される必要がある。
　別の例示的な関連技術の実施態様では、車両の位置を決定するためのカメラシステムの較正がある。そのような関連技術の実施態様は、その形状パラメータがコンピュータ可読メモリに記憶されている所定の標識を利用する。カメラフレームから形状が抽出され、次に記憶された形状と比較される。回転および並進を使用して、車両の位置を決定することができる。そのようなアプローチの問題点は、コンピュータのランダムアクセスメモリ（ＲＡＭ）に関して追加のリソースが必要となることである。
　別の関連技術の実施態様では、標識を指定の駐車スペースの四隅に配置するというアプローチがある。標識は、標識のパターンからの特徴を使用して車両がスペースに駐車するのを助けるために使用される。しかしながら、このアプローチは、任意のカメラの検出距離能力のために、車両が駐車スペースの近くにあるときのみに車両の位置特定を制限する。本発明は、標識が駐車場の入り口に軌道に沿って配置され、続いて車が駐車場全体における車両の位置特定および軌道修正を確実にするアプローチを伴う。
　本明細書に記載の例示的な実施態様は、複数のカメラによって認識される非対称の標識を使用することを伴い、したがって車両の前方のみでの認識に限定されない。加えて、マップ測位ユニットの使用により、例示的な実施態様のシステムはいかなる車両案内システムにも依存しないので、コストを削減することができる。
　本明細書に記載の例示的な実施態様は、テンプレートマッチング方法を利用して標識を認識する。例示的な実施態様では、テンプレートは、リアルタイムで作成することができ、事前に記憶する必要はない。
　完全自律駐車（Autonomous Valet Parking：ＡＶＰ）では、ナビゲーション中の車両軌道は、位置特定の効率に依存する。上述した方法における問題に対処するために、駐車場の自律車両を位置特定するための標識検出方法が提案されている。これは、サラウンドビューカメラシステムによって認識される非対称の標識を利用し、ＧＰＳを使用せずに位置特定を達成する。
　ＡＶＰを伴う例示的な実施態様では、標識は、駐車場の入り口に軌道に沿って配置される。カメラによって認識された標識の場所は、オフラインのマップ測位ユニットによって提供されたマップ上の場所と比較される。カメラは画像処理機能を利用し、これらの標識に対する車両の位置および向きを計算する。この情報は、ＣＡＮ（Controller Area Network：コントローラ・エリア・ネットワーク）を介して車両の自律運転電子制御ユニット（Autonomous Driving Electronic Control Unit：ＡＤ　ＥＣＵ）に提供される。これに先立って、電子制御ユニット（ＥＣＵ）はまた、マップ測位ユニットから車両の予想される初期位置および向きを受信する。次に、車両の予想座標と現在座標との差がＥＣＵによって計算され、軌道修正に使用される。この技法は、１台の独立した車両を位置特定するのに有用であるが、別の先行車両の存在下では、衝突を回避するために駐車場のすべての車両の移動を制御する共通の制御センタが必要である。そのような例示的な実施態様は、リアルタイムで車両の位置を制御センタに通信するテレマティクス制御ユニットの使用を伴う。制御センタは、衝突の可能性がある場合に停止するように後続の車両にコマンドを送ることによって、２台の車両が接近しないようにする。
　本開示の態様は、複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出することと、車両の操作モードを人間操作モードから自律モードに変更することであって、自律モードは、検出された１つまたは複数の標識に基づいて車両の位置、向き、および速度の少なくとも１つを調整するように構成されることとを伴う方法を含む。
　本開示の態様は、複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出することと、車両の操作モードを人間操作モードから自律モードに変更することであって、自律モードは、検出された１つまたは複数の標識に基づいて車両の位置、向き、および速度の少なくとも１つを調整するように構成されることとを伴うコンピュータプログラムをさらに含む。コンピュータプログラムは、非一時的コンピュータ可読媒体に記憶され、１つまたは複数のハードウェアプロセッサによって実施されてもよい。
　本開示の態様は、複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出するための手段と、車両の操作モードを人間操作モードから自律モードに変更するための手段であって、自律モードは、検出された１つまたは複数の標識に基づいて車両の位置、向き、および速度の少なくとも１つを調整するように構成される手段とを伴うシステムを含むことができる。
　本開示の態様は、複数のカメラと、複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出し、かつ車両の操作モードを人間操作モードから自律モードに変更するように構成され、自律モードは、検出された１つまたは複数の標識に基づいて車両の位置、向き、および速度の少なくとも１つを調整するように構成されるプロセッサとを伴うシステムを含むことができる。
例示的な実施態様による、車両システムを示す図である。 例示的な実施態様による、複数の車両システムおよび管理装置を示す図である。 例示的な実施態様による、非対称の標識の例を示す図である。 例示的な実施態様による、非対称の標識の例を示す図である。 例示的な実施態様による、非対称の標識の例を示す図である。 例示的な実施態様による、非対称の標識の例を示す図である。 例示的な実施態様による、非対称の標識の例を示す図である。 非対称の標識と対称の標識との間の比較を示す図である。 非対称の標識と対称の標識との間の比較を示す図である。 例示的な実施態様による、非対称の標識の例示的な使用事例を示す図である。 例示的な実施態様による、非対称の標識の例示的な使用事例を示す図である。 例例示的な実施態様による、非対称の標識の例示的な使用事例を示す図である。 例示的な実施態様による、非対称の標識の例示的な使用事例を示す図である。 車両システムまたは管理装置によって実施され得る例示的な流れ図である。 車両システムまたは管理装置によって実施され得る例示的な流れ図である。 車両システムまたは管理装置によって実施され得る例示的な流れ図である。 車両システムまたは管理装置によって実施され得る例示的な流れ図である。 例示的な実施態様による、非対称の標識の例示的な使用事例を示す図である。 例示的な実施態様による、非対称の標識の例示的な使用事例を示す図である。 管理装置および／または車両システムによって利用され得る例示的な管理情報を示す図である。 いくつかの例示的な実施態様での使用に適した例示的なコンピュータデバイスを伴う例示的なコンピューティング環境を示す図である。
　以下の詳細な説明は、本出願の図および例示的な実施態様のさらなる詳細を提供する。明確にするために、図間の参照番号および重複する要素の説明は省略する。説明を通して使用される用語は例として提供されており、限定することを意図していない。例えば、「自動」という用語の使用は、本出願の実施態様を実践する当業者の所望の実施態様に応じて、実施態様のある特定の態様に対するユーザまたは管理者による制御を伴う全自動または半自動の実施態様を伴い得る。選択は、ユーザインターフェースまたは他の入力手段を介してユーザによって行われ得るか、または所望のアルゴリズムを介して実装され得る。本明細書に記載の例示的な実施態様は、単独でまたは組み合わせてのいずれかで利用することができ、例示的な実施態様の機能性は、所望の実施態様に従って任意の手段を介して実装することができる。「車両」および「車両システム」という用語はまた、互換的に利用することができる。
　図１（ａ）は、例示的な実施態様による、車両システムを示す。具体的には、図１（ａ）は、人間操作モードおよび自律モードで操作するように構成された例示的な人間操作車両システムを示す。ＡＤ　ＥＣＵ１は、マップ測位ユニット６に接続されてマップ測位ユニット６からの信号を受信する。これらの信号は、設定されたルート、マップデータ、マップ上の車両の位置、車両の方向、車線数などの車線情報、制限速度、および道路／車両の場所のタイプ（例えば、高速道路および一般的な自動車道路、分岐路、料金徴収所、駐車場または車庫など）を表す。
　車両には、車輪速度測定デバイス７と、車両挙動測定デバイス８とを含むことができる、車両の操作状況を示すパラメータの値を測定するための操作パラメータ測定ユニットが設けられる。これらのデバイスによって提供された信号は、ＡＤ　ＥＣＵ１に送られる。車両挙動測定デバイス８は、前後加速度、左右加速度およびヨーレートを測定する。
　車両には、前方カメラ１０ｆ、前方レーダ１１ｆ、後方カメラ１０ｒ、後方レーダ１１ｒ、左前方カメラ１２Ｌ、右前方カメラ１２Ｒ、左後方カメラ１３Ｌおよび右後方カメラ１３Ｒを含む、車両の周辺の環境状況を測定するための環境状況測定デバイスが設けられる。これらの環境状況測定デバイスは、車両の周辺の車線マーク、障害物、および非対称の標識に関する情報をＡＤ　ＥＣＵ１に送る。
　車両のカメラは、所望の実施態様に応じてサラウンドビューカメラ、または他のカメラの形態であり得る。車両のカメラシステムにおいて、前方カメラ１０ｆには、車両の周辺の１つまたは複数の非対称の標識の画像を取得するための撮像ユニットと、車両と１つまたは複数の非対称の標識との間の位置関係を表す信号を提供する出力ユニットとが設けられる。前方レーダ１１ｆは、他の車両および歩行者を検出して位置を特定し、車両とそれらの物体との間の位置関係を表す信号を提供する。後方カメラ１０ｒ、左前方カメラ１２Ｌ、右前方カメラ１２Ｒ、左後方カメラ１３Ｌおよび右後方カメラ１３Ｒは、前方カメラ１０ｆ、前方レーダ１１ｆおよび後方レーダ１１ｒと同様の機能性である。
　車両には、エンジン２１と、電子制御ブレーキシステム２２と、電子制御差動機構２３と、電子制御ステアリングシステム２４とが設けられる。ＡＤ　ＥＣＵ１は、運転者によって与えられた操作変数の値および／または本明細書に記載の車両システムの非対称の標識の検出または様々な自律モードの作動などの環境状況に基づいて、これらのシステム２２、２３および２４に含まれるアクチュエータに駆動信号を与える。車両を加速させる必要があるとき、コントローラ１は、加速信号をエンジン２１に与える。車両を減速させる必要があるとき、コントローラは、減速信号を電子制御ブレーキシステム２２に与える。車両を旋回させる必要があるとき、ＡＤ　ＥＣＵ１は、旋回信号を電子制御ブレーキシステム２２、電子制御差動機構２３および電子制御ステアリングシステム２４の少なくとも１つに与える。
　電子制御ブレーキシステム２２は、車輪にそれぞれ適用される個々の制動力を制御することが可能な液圧ブレーキシステムである。電子制御ブレーキシステムは、旋回要求に応じて制動力を右車輪または左車輪のいずれかに適用し、ヨーモーメントを車両に加える。電子制御差動機構２３は、旋回要求に応じて電動機またはクラッチを駆動して右車軸と左車軸との間にトルク差を生じさせ、ヨーモーメントを車両に適用する。電子制御ステアリングシステム２４は、例えば、旋回要求に応じてステアリング車輪の旋回角とは独立してステアリング角を修正してヨーモーメントを車両に適用することが可能な、ステアバイワイヤ式のステアリングシステムである。
　車両には、情報出力ユニット２６が設けられる。情報出力ユニット２６は、運転支援操作のタイプに従って画像を表示し、音声を生成し、支援操作に関する情報を表す警告灯を点灯させる。情報出力ユニット２６は、例えば、スピーカを内蔵したモニタである。複数の情報出力ユニットが、車両に設けられてもよい。
　図１（ａ）に示すシステムは、本明細書に記載の車両システムの例示的な実施態様であるが、他の構成も可能であり、例示的な実施態様の範囲内に含まれ、本開示は、図１（ａ）に示す構成に限定されない。例えば、カメラは、壁、道路標示、看板などに配置される非対称の標識を検出する目的で車両の上部または屋根に設置することができる。
　図１（ｂ）は、例示的な実施態様による、複数の車両システムおよび管理装置を示す。図１（ａ）に関して説明した１つまたは複数の車両システム１０１－１、１０１－２、１０１－３、および１０１－４は、管理装置１０２に接続されるネットワーク１００に通信可能に結合される。管理装置１０２は、ネットワーク１００の車両システムから集約されたデータフィードバックを含むデータベース１０３を管理する。代替の例示的な実施態様では、車両システム１０１－１、１０１－２、１０１－３、および１０１－４からのデータフィードバックは、企業資源計画システムなどのシステムからのデータを集約する独自データベースなどの中央リポジトリまたは中央データベースに集約することができ、管理装置１０２は、中央リポジトリまたは中央データベースからのデータにアクセスしたり、またはデータを取り出すことができる。そのような車両システムは、所望の実施態様に応じて、車、トラック、トラクタ、バンなどのような人間が操作する車両を含むことができる。
　管理装置１０２は、図４（ａ）に説明するように、標識に対する対応する車両システムの位置を送信する車両システム１０１－１、１０１－２、１０１－３、および１０１－４から位置情報を受信するように構成することができ、さらに、次の標識までの車両の軌道を示す命令を車両システム１０１－１、１０１－２、１０１－３、１０１－４に送信するように、かつ／または操作モード、位置、速度、および／もしくは向きを調整するように構成することができる。
　図２（ａ）～図２（ｄ）は、例示的な実施態様による、非対称の標識の例を示す。選択されたチェッカパターン標識の固有の特徴を、図１（ａ）に示すように車両システムのカメラを使用して認識するのに役立つようにする。白と黒の正方形の強度の差により、ハリスコーナ検出器（Ｈａｒｒｉｓ　Ｃｏｒｎｅｒ　Ｄｅｔｅｃｔｏｒ）などの検出アルゴリズムを使用してコーナとしての遷移点を検出することが容易になるだけでなく、非常に可変的な光状況において標識を検出することも可能になる。標識は、物理的に塗装されてもよく、あるいは道、標示もしくは壁に配置されてもよく、または所望の実施態様に応じて修正するために投影システム、モニタなどによって投影／表示することができる。
　例示的な実施態様では、図２（ａ）に示すようなＴ字型標識などの非対称の標識は、車両が予想される方向に走行している（すなわち、車両が図２（ｂ）からタイプＩＤ１の逆Ｔの方向に走行する）かどうかを決定するのに利用される。Ｔ字型標識の各々はまた、識別子、または異なる機能性を表すＩＤと関連付けられてもよい。しかしながら、本開示は、Ｔ字型標識の使用に限定されず、図２（ｃ）に示すようなＬ字型標識などの他の非対称の標識も利用され得る。さらに、例示的な寸法が図２（ａ）～図２（ｃ）に示されているが、そのような標識はまた、所望の実施態様に従ってサイズ変更することができる。したがって、任意の非対称のチェッカパターン標識を、例示的な実施態様で使用することができる。
　カメラから取得された認識情報が、車両が標識に対して誤った方向を向いていることを示唆する場合、ＡＤ　ＥＣＵは、必要に応じて軌道を修正する。現在のシステムは、カメラによって検出されたローカル座標を利用し、場所（または駐車場）のマップと比較することによってそれらをグローバル座標に変換する。所望の実施態様に応じて、システムはまた、図２（ｄ）に示すような標識に配置されたＱＲ（クイックレスポンス）コード（登録商標）と共に機能することができる。例えば、ＱＲコード（登録商標）は、標識の緯度および経度情報を含むことができる。カメラによって検出されると、車両のグローバル座標は、即座に利用可能となり得る。
　図２（ｅ）は、例示的な実施態様による、駐車場の入り口で利用するための標識の例示的な実施態様を示す。駐車場の入り口には、図２（ｅ）に示すように、４つの標識が車の各側に沿って１つずつ配置され、各々が時計回りに９０度ずつ徐々に回転する。標識の位置は、０度の回転条件下で、標識の軸とカメラの光軸が位置合わせされるようになっている。カメラビューの周辺カバレッジは、カメラ画像の中央に比べてシャープではない場合がある。標識の場所は、そのようなシャープさを確実に利用する。図２（ｂ）に示すように、各標識にはＩＤが割り当てられており、これによりＥＣＵはどのカメラが標識を識別したかを決定することが可能になり、それによってその正当性を確立することができる。標識はまた、ルートに沿って配置され、それに続いて車が駐車スペースに移動する。
　図２（ｆ）および図２（ｇ）は、非対称の標識と対称の標識との間の比較を示す。具体的には、図２（ｆ）は、非対称の標識の例を示し、図２（ｇ）は、対称の標識の例を示す。例示的な実施態様では、図２（ｆ）に示すように、接近方向が０度の向きと１８０度の向きを区別することができるので、非対称の標識が利用される。対照的に、標識が図２（ｇ）に示すように対称的である場合、接近方向は、０度の向きと１８０度の向きを区別することができない。したがって、例示的な実施態様では、非対称の標識は、検出を容易にするため、ならびに標識に対する車両の向きを決定するために利用される。
　さらに、チェッカパターンが例示的な実施態様で利用されているが、本開示はそれに限定されず、標識が非対称である限り所望の実施態様に従って任意の他のパターンを利用することができる。例えば、ジグザグパターン、標識の中心を示す円または他の形状を伴う標識、標識内に埋め込まれたＱＲコード（登録商標）またはバーコードも利用することができる。
　図３（ａ）は、駐車場を伴う例示的な実施態様を示す。これらの標識にもＩＤが割り当てられ、マップ測位ユニットに記憶されているものと比較される。これらの標識は、所望の経路からの偏差がある特定の閾値を超えないように、車が軌道を継続的に修正するのに役立つ。マップ測位ユニットがこれらの座標を受信するだけでなく、次に制御センタもまた、図３（ａ）に示す駐車場の他の車両から受信した座標との比較に基づいて車両が進んでも安全かどうかを決定する。
　図３（ａ）に示すように、駐車場は、標識の場所に基づいて、マップ測位ユニットによっていくつかの区画に分割することができる。図３（ａ）の例では、駐車場は、区画３００－１、３００－２、３００－３、３００－４、および３００－５を有すると考えられる。区画３００－１は、車両を降りてＡＶＰモードを作動させることができる駐車場への入り口である。例示的な実施態様では、ＡＶＰモードは、車両システムが最初の標識を検出した後に管理装置からの命令、または車両システムに記憶された命令からの命令を受信すると作動させることができる。別の例示的な実施態様では、車両システムの人間オペレータは、ＡＶＰモードを手動で作動させることができ、それにより車両は自律的に駐車場を通って操作することになる。図３（ａ）に示すように、車両は、区画３００－２および３００－３に示すように軌道を調整する、または区画３００－４に示すように自動駐車を作動させるように車両に指示する標識に遭遇するまで、駐車場の様々な区画を通る命令に基づいて軌道に沿ってナビゲートされる。駐車中の車両を取り出す必要があるとき、図１（ｂ）の管理装置１０２からの命令を駐車中の車両に送信することができ、これにより車両は取出モードに変更され、車両が区画３００－５に示すようなピックアップ場所を示す標識に案内される。次に車両は、ピックアップ場所を示す標識の近くで停止し、そこで人間オペレータは車両を取り出すことができる。
　図３（ｂ）は、図３（ａ）の区画３００－１の車両システムの例を示す。図１（ａ）に示すような車両システムのこの例示的な構成では、車両には、各バンパに１つ、各サイドミラーに１つ、計４つの単眼カメラを伴うように設置されたサラウンドビューカメラシステムを有する。カメラによってキャプチャされたライブビデオの各フレームは、サラウンドビューＥＣＵのマイクロプロセッサによって共にステッチされ、図３（ｂ）に示すような車の３６０度のトップビュー画像を提供する。車両の中心点は、ＡＤ　ＥＣＵによってすでに知られており、これは車両から標識の中心までの距離を見つけるために使用される座標系の原点として扱われる。
　図４（ａ）～図４（ｄ）は、車両システムまたは管理装置によって実施され得る例示的な流れ図を示す。説明した流れ図は、所望の実施態様に応じて、車両システムのＡＤ　ＥＣＵによって、または管理装置と併せて行うことができる。
　図４（ａ）は、例示的な実施態様による、車両システムの例示的な流れを示す。具体的には、図４（ａ）は、道路標識検出のための例示的な流れを示し、４０１～４０５の流れプロセスは、標識を見つけるための例示的なプロセスを示し、４０７～４０９の流れは、標識の中心を見つけるための例示的な流れを示し、４１０における流れは、車両システムから標識までの距離を見つけるための例示的なプロセスを示す。図３（ｂ）に関して説明した例示的な実施態様では、４つすべての単眼カメラは、ＣＡＮを介して最終的な出力として位置および向きを伝達するために連続的に認識プロセスをたどるが、図１（ａ）で説明したような車両システムの任意の所望の構成に対して以下の流れが実施され得る。
　流れは、４００において、カメラシステム（例えば、サラウンドビューカメラシステム）がトップビュー画像を提供することに進み、プロセスは、４０１において、処理のためにフレームから領域を抽出することにより所与のフレーム内の標識を見つけようと試みる。サラウンドビューＥＣＵから取得された各画像フレームは、４０２において、画像のノイズを減少させるのに役立つローパスカーネルフィルタ｛７，７，７，７，８，７，７，７，７｝を使用して平滑化される。次に、この平滑化された画像は、４０３において、さらなる処理のために所望の実施態様（例えば、ブラッドリーの適応的閾値処理など）に従った任意の技法を使用して二値画像に変換される。その結果、４０４において、並行して作成されたテンプレート画像を使用してこの二値画像に対してテンプレートマッチングが実行される。テンプレートマッチングから取得されたマッチングは、フレーム内の潜在的な標識候補として扱われるか、または所定の閾値に基づいていない。
　４０５において、潜在的な標識候補が見つかったかどうかに関する決定が行われる。標識が見つからなかった場合（Ｎｏ）、プロセスは、４０６において、次のフレームに進み、４０１におけるプロセスに戻る。潜在的な標識候補がフレーム内に見つかった場合（Ｙｅｓ）、次にプロセスは４０７に進み、図３（ｃ）に示すようにフレーム内の流れ検出領域（テンプレート領域）を絞り込んで誤検出の可能性を制限する。
　この絞り込まれた検出領域では、４０８において、ハリスコーナ検出方法などの所望のコーナ検出アルゴリズムがすべてのコーナを見つけるために利用される。例示的な実施態様では、ハリスコーナ検出方法を利用することで、所定の閾値に対してどのように評価されるかに基づいて遷移点をコーナとして認定されるようにする。二値物体において取得されたコーナの数は、Ｔ字型標識において予想されるコーナの閾値数（すなわち２７）と比較される。例示的な実施態様では、コーナの数が２３より多いが２７以下であることが判明した場合、二値物体は、標識として認定される。しかしながら、他の閾値を非対称の標識の形状（例えば、Ｌ字型、Ｚ字型など）に応じて利用することができ、本開示はそれに限定されない。コーナの数が所望の閾値を満たさない場合（Ｎｏ）、次にプロセスは、４０６において、次のフレームに進み、４０１に戻る。そうでない場合（Ｙｅｓ）、プロセスは、標識の中心を見つけるために４０９に進む。
　４０９において、プロセスは、テンプレートマッチングおよびハリス検出からそれぞれ取得されたテンプレート領域およびコーナの座標が使用される標識の中心を見つける。図３（ｄ）に示すように、中心を囲む４つの点が、テンプレート領域ウィンドウの寸法に対する数学的演算によって取得され、中心について正方形の検索ウィンドウを定義する。ハリス検出から出力されたコーナ座標は、この検索ウィンドウ内にあり、取得された点が標識の中心である座標を見つけるために反復される。
　４１０において、プロセスは、距離の公式をこのコーナ座標および車の原点座標に適用することによって取得される中心からの車の距離を見つける。次に、４１１において、距離がマップと比較され、差が決定されて位置が導出される。
　図４（ａ）の流れを通じて、テンプレートマッチングが正確な候補を見つけられなかった場合、またはコーナ検出によって検出されたコーナの数が予想されるコーナの数よりも多い場合、現在のビデオフレームは不適切とみなされ、ＡＤ　ＥＣＵは、次のフレームに進むためにフィードバックを受け取る。したがって、標識が所望の精度で検出されない場合には、非検出結果が誤検出よりも優先される。
　道路標識検出方法から取得された車両位置座標は、最初にＡＤ　ＥＣＵによって使用され、車両の向きを決定した後に軌道修正に使用される。ＡＤ　ＥＣＵには、マップ測位ユニットによって標識のデフォルトのグローバル座標が提供される。車両が所定の座標以外の点に沿って軌道をたどる場合、道路標識検出方法を使用して差を識別することができる。向きの差と共にこの位置の差に基づいて、アクチュエータは、必要に応じて車両の位置、向き、および／または速度を調整することによってナビゲーション中の差を埋め合わせるようにＥＣＵによって命令される。この方法はまた、２つの車両が駐車場で、または料金所もしくは自律運転が作動されている場所などの他のシナリオで決して衝突しないようにすることを制御センタに可能にさせる。したがって、図４（ａ）を通じて、車両システムは、計算された距離および／または検出された標識と関連付けられる命令から位置、向き、および速度の少なくとも１つを調整することができる。命令は、図１（ａ）の車両システムに予め記憶されるか、または図１（ｂ）に示す管理装置１０２から送信され得る。
　図４（ｂ）は、自律システムが標識を検出することにより作動された後の標識の非検出を処理するための例示的な流れを示す。この例示的な流れでは、自律システムは、４２０において、標識が検出されると自動で、または車両システム内の手動命令を通じて作動され、標識検出に応じて自律システムを作動させる。４２１において、車両システムは、軌道に沿って標識を検出しようと試みながら、最初の検出標識によって示された軌道および速度に沿って進む。検出は、別の標識が予想されるまで提供された軌道に沿って進むことに基づいて行われ得る。標識が検出された場合（Ｙｅｓ）、次に車両は、４２５において、軌道に沿って進み続けるか、または検出された標識と関連付けられる命令に基づいて軌道を調整する。そうでない場合（Ｎｏ）、プロセスは４２２に進み、デッドレコニングの結果を位置特定を行うために利用し、標識の予想される場所に対するデッドレコニングからの結果の誤差を決定する。そのような例示的な実施態様では、車両システムは、車両システムの現在の速度および向きに基づいて車両の現在位置を補間する。４２３において、誤差がある特定の閾値よりも小さいかどうか（例えば、予想される標識のある特定の予想される距離内）に関する決定が行われる。もしそうであれば（Ｙｅｓ）、次に車両は、４２５において、軌道に沿って進み続けるか、または車両の向き／速度を調整して誤差を修正し、そうでない場合（Ｎｏ）、流れは４２４に進み、自律モードを停止する。そのような例示的な実施態様では、システムは、車両を安全な場所に進ませて状況に関する命令を管理装置１０２に送信させる緊急モードに車両を切り替えることによって停止することができ、または所望の実施態様に応じて人間オペレータへの警告により人間操作モードに切り替えることができる。
　図４（ｃ）は、例示的な実施態様による、追尾検出のために標識を適用するための例示的な流れを示す。別の車両を追いかけている車両が先行車両の後端にある標識を識別することができる場合、車両は先行車両に近すぎるということであり、車両間の距離を広げる必要がある。そのような機能は、交通の停止や通過に有用であり得る。４３０において、車両は、先行車両の後端と関連付けられる少なくとも１つの標識を検出する。例えば、図３（ａ）の例では、区画３００－２の車両は、区画３００－１の車両に先行する車両である。両方の車両が同じ軌道でナビゲートされているので、区画３００－１の車両が区画３００－２の車両を追尾し得る可能性がある。
　４３１において、車両が別の車両を追尾していることを示すのに十分な明瞭さで標識が検出されたかどうかに関する決定が行われる。もしそうであれば（Ｙｅｓ）、次に流れは４３２に進み、そうでない場合（Ｎｏ）、流れは４３５に進み、車両は、同じ速度に沿って進み続ける。例示的な実施態様では、明瞭さは、検出された標識の解像度から（例えば、決定された閾値に達した標識のピクセル解像度でのトリガ）、標識のサイズから（例えば、決定された閾値を超える標識のサイズでのトリガ）、または所望の実施態様による他の方法を通じて決定することができる。
　４３２において、次の車両までの距離が近すぎるかどうか（例えば、距離が閾値の予め設定された安全距離内にある）に関する決定が行われる。もしそうであれば（Ｙｅｓ）、次に流れは４３３に進み、ＡＤ　ＥＣＵは、車両間の距離を変更するためにアクチュエータを作動させて車両を調整する。そうでない場合（Ｎｏ）、流れは、４３５に進む。所望の実施態様に応じて、この決定プロセスは、４３１における流れと同じにすることができ、省略することができる。他の例示的な実施態様では、距離は、図１（ａ）に関して説明したようにレーダシステムから、車両間の距離に関して管理装置１０２から受信した命令から、または所望の実施態様に応じて他の実施態様を通じて決定することができる。
　図４（ｄ）は、例示的な実施態様による、ＡＶＰの例示的な流れ図を示す。図３（ａ）に示すように、区画３００－１で駐車場に入ると、ＡＶＰモードは、車両システムによって作動させることができ、その後、車両は、管理装置１０２によって受信された命令、またはＡＤ　ＥＣＵに予めプログラムされた命令に基づいて標識と関連付けられる軌道に沿って進む。４４０において、車両は、軌道に沿って進み、ＡＶＰモードにある間に後続の標識を検出する。４４１において、標識が車両のＡＶＰモードから自動駐車モードへの変更を示しているかどうかに関する決定が行われる。決定は、参照された標識と関連付けられる予めプログラムされた命令に基づいて行われるか、または管理装置１０２によって提供することができる。もしそうであれば（Ｙｅｓ）、次に車両は、４４３において、自動駐車モードに変更され、ＡＤ　ＥＣＵは、図３（ａ）の区画３００－４に示すように車両を利用可能な駐車スペースに自動的に駐車するように構成される。そうでない場合（Ｎｏ）、車両は、４４２において、次の標識に進む。ＡＤ　ＥＣＵは、管理装置１０２から受信した命令に基づいて車両を自動的に駐車し、どの駐車スペースが利用可能であるかを決定し、対応する命令と共に空の駐車スペースにナビゲートすることができる。
　図５（ａ）は、標示として利用される標識を伴う例示的な実施態様を示す。上述の例示的な実施態様では、標識は、２Ｄ路面上に配置され、サラウンドビューカメラなどの複数のカメラによって認識される。しかしながら、他の例示的な実施態様も可能であり、本開示はそれに限定されない。図５（ａ）は、独立してまたは本明細書に記載の例示的な実施態様と併せて使用することができる３Ｄ道路標示を伴う別の例示的な実施態様を示す。そのような実施態様は、車両の位置特定を支援することができ、停止標示またはマップと関連付けられる他の標示を表す座標を示すこともできる。そのような例示的な実施態様では、深度情報も組み込んでいる任意の適切なカメラシステムを、そのような３Ｄ道路標示の認識および検出に利用することができる。そのようなカメラシステムは、所望の実施態様に従ってステレオカメラまたは他のカメラを含むことができる。本明細書に記載の例では、ステレオカメラ５０１が車両のバックミラーに含まれ、道路標示もしくは壁として、またはその上に、またはモニタもしくは看板に使用される非対称の標識５０２を検出する。このようにして、標識は、必要に応じて標示を変更することにより、または標識をモニタに表示する方法により変更することができる。
　図５（ｂ）は、料金所を伴う例示的な実施態様を示す。車両システムが料金所を通過しようとしているとき、その向きは、車両システムの側面をこすらないようにするために正確である必要がある。ゲートの前後のエリアに標識が配置されている場合、車両は、自律モードに入り、必要に応じてその位置を計算して軌道修正を実行することによって正確にナビゲートすることができる。図５（ｂ）の例では、５１１の標識が検出されると自律モードが開始される。次に車両システムは、料金所を通る軌道をたどり、管理装置１０２によって提供される一組の命令に従って、または料金所をどのように進むかに関する車両システムに記憶された命令によって進む。車両システムが標識５１０に達すると、操作モードは、人間操作モードに切り替わり、人間オペレータは、車両システムの操作を再開する。標識は、必要に応じて修正することができるように道路上に塗装するかまたは料金所の照明システムから投影することができる。
　図６は、例示的な実施態様による、例示的な管理情報を示す。具体的には、図６は、車両の自律モードの機能性を支援するために１つまたは複数の場所に対して配置される標識の例示的なインデックスを示す。管理情報は、所望の実施態様に応じて、マップ測位ユニット６または管理装置１０２の車両システム側で維持することができる。図６の例では、管理情報は、標識ＩＤ、標識タイプ、マップ情報、操作モード、および命令を含むことができる。標識ＩＤは、検出された標識に対応する固有の識別子である。標識タイプは、標識が属するテンプレートタイプ（例えば、図２（ｂ）に示すようなＴ字型、Ｚ字型、Ｌ字型など）を示し、テンプレートタイプは、最初の標識が検出されたかどうかを決定するために利用される。マップ情報は、標識ＩＤに対するマップ上の対応する場所（例えば、地理座標、緯度／経度座標、地理情報システム経由点座標など）を示す。操作モードは、人間操作モードおよび様々な自律モード（例えば、ＡＶＰモード、自動駐車モード、料金所モード、追尾検出モードなど）などの車両の操作のモードを示す。命令は、標識ＩＤと関連付けられる命令であり、所望の実施態様に従って、次の標識に進むための軌道情報、管理装置に送信してナビゲーションに関する指示を受信するための指示、車両の位置、向き、および／または速度を調整するための指示などを含むことができる。
　図７は、図１（ａ）に示すような車両システムのＡＤ　ＥＣＵ１およびマップ測位ユニット６、または図１（ｂ）に示すような管理装置１０２への機能性を促進するためなどの、いくつかの例示的な実施態様での使用に適した例示的なコンピュータデバイスを伴う例示的なコンピューティング環境を示す。本明細書に記載のすべての機能は、所望の実施態様に応じて、管理装置１０２で、車両システムで、またはそのような要素のいくつかの組合せに基づくシステムを通じて実装することができる。
　コンピューティング環境７００のコンピュータデバイス７０５は、１つまたは複数の処理ユニット、コア、またはプロセッサ７１０、メモリ７１５（例えば、ＲＡＭ、ＲＯＭ、および／またはなど）、内部記憶装置７２０（例えば、磁気、光学、ソリッドステート記憶装置、および／または有機）、および／またはＩ／Ｏインターフェース７２５を含むことができ、これらのいずれも、情報を通信するために通信機構またはバス７３０に結合することができ、またはコンピュータデバイス７０５に埋め込むことができる。Ｉ／Ｏインターフェース７２５はまた、所望の実施態様に応じて、カメラから画像を受信し、または画像をプロジェクタまたはディスプレイに提供するように構成される。
　コンピュータデバイス７０５は、入力／ユーザインターフェース７３５および出力デバイス／インターフェース７４０に通信可能に結合することができる。入力／ユーザインターフェース７３５および出力デバイス／インターフェース７４０の一方または両方は、有線または無線インターフェースとすることができ、取り外し可能とすることができる。入力／ユーザインターフェース７３５は、入力を提供するために使用され得る、物理的または仮想的な任意のデバイス、構成要素、センサ、またはインターフェース（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサ、光学式リーダ、および／またはなど）を含んでもよい。出力デバイス／インターフェース７４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでもよい。いくつかの例示的な実施態様では、入力／ユーザインターフェース７３５および出力デバイス／インターフェース７４０は、コンピュータデバイス７０５に埋め込むかまたは物理的に結合することができる。他の例示的な実施態様では、他のコンピュータデバイスは、コンピュータデバイス７０５のための入力／ユーザインターフェース７３５および出力デバイス／インターフェース７４０の機能として機能するかまたはそれらの機能を提供することができる。
　コンピュータデバイス７０５の例は、限定はしないが、高度なモバイルデバイス（例えば、スマートフォン、車両および他の機械のデバイス、人間および動物によって持ち運ばれるデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、および移動用に設計されていないデバイス（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、１つまたは複数のプロセッサを内蔵および／または結合したテレビ、ラジオなど）を含むことができる。
　コンピュータデバイス７０５は、同じまたは異なる構成の１つまたは複数のコンピュータデバイスを含む、任意の数のネットワーク構成要素、デバイス、およびシステムと通信するために、外部記憶装置７４５およびネットワーク７５０に（例えば、Ｉ／Ｏインターフェース７２５を介して）通信可能に結合することができる。コンピュータデバイス７０５または任意の接続されたコンピュータデバイスは、サーバ、クライアント、シンサーバ、汎用機、専用機、または別の分類として機能するか、それらのサービスを提供するか、またはそれらと呼ぶことができる。
　Ｉ／Ｏインターフェース７２５は、限定はしないが、コンピューティング環境７００の少なくともすべての接続された構成要素、デバイス、およびネットワークとの間で情報を通信するための任意の通信またはＩ／Ｏプロトコルまたは規格（例えば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラネットワークプロトコルなど）を使用する有線および／または無線インターフェースを含むことができる。ネットワーク７５０は、任意のネットワークまたはネットワークの組合せ（例えば、インターネット、ローカル・エリアネットワーク、ワイド・エリアネットワーク、電話ネットワーク、セルラネットワーク、衛星ネットワークなど）であり得る。
　コンピュータデバイス７０５は、一時的媒体および非一時的媒体を含む、コンピュータ使用可能またはコンピュータ可読媒体を使用し、かつ／またはそれを使用して通信することができる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスクおよびテープ）、光学媒体（例えば、ＣＤ　ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステート記憶装置）、および他の不揮発性記憶装置またはメモリを含む。
　コンピュータデバイス７０５は、いくつかの例示的なコンピューティング環境において技法、方法、アプリケーション、プロセス、またはコンピュータ実施可能命令を実装するために使用することができる。コンピュータ実施可能命令は、一時的媒体から取り出され、非一時的媒体に記憶され、そこから取り出される。実施可能命令は、プログラミング、スクリプト、および機械語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Java（登録商標）、Visual Basic、Python、Perl、JavaScript（登録商標）など）の１つまたは複数から生じ得る。
　プロセッサ（単数または複数）７１０は、ネイティブまたは仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実施することができる。１つまたは複数のアプリケーションを展開することができ、論理ユニット７６０、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット７６５、入力ユニット７７０、出力ユニット７７５、ならびに異なるユニットがＯＳおよび他のアプリケーション（図示せず）と互いに通信するためのユニット間通信機構７９５を含む。記載のユニットおよび要素は、設計、機能、構成、または実施態様において変化する可能性があり、提供された記載に限定されない。
　いくつかの例示的な実施態様では、情報または実施命令がＡＰＩユニット７６５によって受信されると、それは１つまたは複数の他のユニット（例えば、論理ユニット７６０、入力ユニット７７０、出力ユニット７７５）に通信され得る。いくつかの事例では、論理ユニット７６０は、ユニット間の情報の流れを制御し、上述のいくつかの例示的な実施態様では、ＡＰＩユニット７６５、入力ユニット７７０、出力ユニット７７５によって提供されるサービスを指示するように構成されてもよい。例えば、１つまたは複数のプロセスまたは実施態様の流れは、論理ユニット７６０によって単独で、またはＡＰＩユニット７６５と共に制御することができる。入力ユニット７７０は、例示的な実施態様で説明された計算のための入力を取得するように構成され得、出力ユニット７７５は、例示的な実施態様で説明された計算に基づいて出力を提供するように構成され得る。
　メモリ７１５は、マップ測位ユニット６として機能するために外部記憶装置７４５と共に使用され、図６に示すように管理情報を管理するように構成され得る。そのような実施態様により、ＡＤ　ＥＣＵ１は、図１（ａ）に示すような車両システムの様々な操作モードを管理することができる。
　プロセッサ（単数または複数）７１０は、図４（ａ）～図４（ｄ）の流れ図を実施し、図６の管理情報を参照するように構成することができる。例示的な実施態様では、プロセッサ（単数または複数）７１０は、複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出し、かつ車両の操作モードを人間操作モードから自律モードに変更するように構成することができ、自律モードは、図４（ａ）で説明したように、検出された１つまたは複数の標識に基づいて車両の位置、向き、および速度の少なくとも１つを調整するように構成される。
　例示的な実施態様では、プロセッサ（単数または複数）７１０は、自律モードが完全自律駐車（ＡＶＰ）モードである場合、検出された１つまたは複数の標識と関連付けられる軌道に従って車両の位置、向きおよび速度の少なくとも１つを調整し、第２の１つまたは複数の標識が検出されるまで軌道に沿って車両をナビゲートし、かつ軌道の変更を示す別の１つまたは複数の標識について、例えば、図３（ａ）～図３（ｄ）および図４（ａ）～図４（ｄ）で説明したように、軌道の変更に従って車両の位置、向き、および速度の少なくとも１つを変更するように構成することができる。車両を駐車させるための命令を示す第２の１つまたは複数の標識について、プロセッサ（単数または複数）７１０は、車両の位置を管理装置に送信し、かつ管理装置から操作モードをＡＶＰモードから自動駐車モードに変更する指示を受信すると、操作モードをＡＶＰモードから自動駐車モードに切り替えるように構成することができ、自動駐車モードは、図４（ｄ）に関して説明したように、駐車スペースへの車両の自動駐車を行うように構成される。
　例示的な実施態様では、プロセッサ（単数または複数）７１０がＡＤ　ＥＣＵの機能性を促進しているとき、プロセッサ（単数または複数）７１０は、操作モードを管理し、図１（ａ）の車両システムに関して説明したように、車両の１つまたは複数のアクチュエータを制御することにより車両の位置、向き、および速度の少なくとも１つを調整するように構成される。
　例示的な実施態様では、プロセッサ（単数または複数）７１０は、複数のカメラから受信した１つまたは複数の画像に対してテンプレートマッチングを実行することと、１つまたは複数の画像に１つまたは複数の標識が存在することを示すテンプレートマッチングの場合、１つまたは複数の画像のコーナ検出を行うことと、決定された閾値を満たすコーナの数を示すコーナ検出の場合、図４（ａ）に関して説明したように、１つまたは複数の画像から、車両から１つまたは複数の標識までの距離を計算することとを通じて、複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出するように構成することができる。
　例示的な実施態様では、プロセッサ（単数または複数）７１０は、車両の操作が自律モードにある間、車両の軌道に基づいて予想される標識を検出することができない場合に、車両の現在位置を補間して車両の現在位置と予想される標識の位置との間の誤差を決定し、かつ誤差が閾値よりも大きい場合、図４（ｂ）で説明したように、車両の自律モードを終了するように構成することができる。
　例示的な実施態様では、プロセッサ（単数または複数）７１０は、図６に示すように複数の標識とマップとの間の関係を管理するように構成することができ、さらに、自律モードの操作モードを有する車両について、検出された１つまたは複数の標識とマップとの間の関係に基づいて計算される車両の位置を管理装置に送信し、かつ管理装置から軌道情報を受信すると、命令が、車両の軌道を示し、図１（ｂ）に関して説明したように、軌道情報に従って車両の位置、向き、および速度の少なくとも１つを調整するように構成することができる。
　詳細な説明の一部は、アルゴリズムと、コンピュータ内の操作の記号的表現との観点で提示されている。これらのアルゴリズム的記述および記号的表現は、データ処理技術の当業者によって、彼らの革新の本質を他の当業者に伝えるために使用される手段である。アルゴリズムは、所望の終了状態または結果をもたらす一連の定義されたステップである。例示的な実施態様では、実施されるステップは、有形の結果を実現するために有形の量の物理的操作を必要とする。
　特に断りのない限り、説明から明らかなように、説明全体にわたって、「処理」、「コンピューティング」、「計算」、「決定」、「表示」などの用語を使用する説明が、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表現されるデータを、コンピュータシステムのメモリもしくはレジスタまたは他の情報記憶装置、伝送もしくはディスプレイデバイス内の物理量として同様に表現される他のデータに操作および変換するコンピュータシステムまたは他の情報処理デバイスの動作および処理を含むことができることを理解されたい。
　例示的な実施態様はまた、本明細書の操作を実行するための装置に関することができる。この装置は、必要な目的のために特別に構築することができ、あるいは１つまたは複数のコンピュータプログラムによって選択的にアクティブ化または再構成される１つまたは複数の汎用コンピュータを含むことができる。そのようなコンピュータプログラムは、コンピュータ可読媒体、例えば、コンピュータ可読記憶媒体またはコンピュータ可読信号媒体に記憶され得る。コンピュータ可読記憶媒体は、有形媒体、例えば、限定はしないが、光ディスク、磁気ディスク、読み出し専用メモリ、ランダムアクセスメモリ、ソリッドステートデバイスおよびドライブ、または電子情報を記憶するのに適した任意の他のタイプの有形もしくは非一時的媒体を伴うことができる。コンピュータ可読信号媒体は、搬送波などの媒体を含むことができる。本明細書で提示されたアルゴリズムおよびディスプレイは、任意の特定のコンピュータまたは他の装置に本質的に関連するものではない。コンピュータプログラムは、所望の実施態様の操作を実行する命令を伴う純粋なソフトウェア実施態様を伴うことができる。
　様々な汎用システムは、本明細書の例に従うプログラムおよびモジュールと共に使用され、または所望の方法ステップを実行するためのより特化した装置を構築することが好都合であると分かる場合がある。また、例示的な実施態様は、任意の特定のプログラミング言語に関して記載されていない。種々のプログラミング言語が本明細書に記載の例示的な実施態様の教示を実装するために使用され得ることを理解されたい。プログラミング言語（単数または複数）の命令は、１つまたは複数の処理デバイス、例えば、中央処理ユニット（ＣＰＵ）、プロセッサ、またはコントローラによって実施され得る。
　当技術分野で知られているように、上述の操作は、ハードウェア、ソフトウェア、またはソフトウェアおよびハードウェアの何らかの組合せによって実行され得る。例示的な実施態様の様々な態様は、回路および論理デバイス（ハードウェア）を使用して実装され、他の態様は、プロセッサによって実施された場合に、プロセッサに本出願の実施態様を実施するための方法を実行させる、機械可読媒体に記憶された命令（ソフトウェア）を使用して実装することができる。さらに、さらに、本出願のいくつかの例示的な実施態様はハードウェアのみで実行することができ、他の例示的な実施態様は、ソフトウェアのみで実行することができる。さらに、記載の様々な機能は、単一のユニットで実行することができ、または任意の数の方法でいくつかの構成要素にわたって分散することができる。ソフトウェアによって実行される場合、方法は、コンピュータ可読媒体に記憶された命令に基づいて、汎用コンピュータなどのプロセッサによって実施することができる。所望であれば、命令は、媒体に、圧縮および／または暗号化された形式で記憶することができる。
　さらに、本出願の他の実施態様は、本明細書を考察し、本出願の教示を実践することから当業者に明らかである。記載の例示的な実施態様の様々な態様および／または構成要素は、単一でまたは任意の組合せで使用することができる。本明細書および例示的な実施態様は、例としてのみ考慮されることを意図しており、本出願の真の範囲および精神が特許請求の範囲によって示される。

Claims (20)

  1. 　複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出することと、
    　車両の操作モードを人間操作モードから自律モードに変更することであって、前記自律モードは、前記検出された１つまたは複数の標識に基づいて前記車両の位置、向き、および速度の少なくとも１つを調整するように構成されることとを含む、
    　道路標識検出方法。
  2. 　前記自律モードが完全自律駐車モードである場合、
    　前記検出された１つまたは複数の標識と関連付けられる軌道に従って前記車両の前記位置、向きおよび速度の前記少なくとも１つを調整することと、
    　第２の１つまたは複数の標識が検出されるまで前記軌道に沿って前記車両をナビゲートすることと、
    　前記軌道の変更を示す別の１つまたは複数の標識について、前記軌道の前記変更に従って前記車両の前記位置、向き、および速度の前記少なくとも１つを変更することと
    　をさらに含む、請求項１に記載の道路標識検出方法。
  3. 　前記車両を駐車させるための命令を示す前記第２の１つまたは複数の標識について、
    　前記車両の位置を管理装置に送信することと、
    　前記管理装置から前記操作モードを前記完全自律駐車モードから自動駐車モードに変更する指示を受信すると、前記操作モードを前記完全自律駐車モードから前記自動駐車モードに切り替えることであって、前記自動駐車モードが、駐車スペースへの前記車両の自動駐車を行うように構成されることと
    　を含む、請求項２に記載の道路標識検出方法。
  4. 　前記操作モードが、前記車両の１つまたは複数のアクチュエータを制御することにより前記車両の位置、向き、および速度の前記少なくとも１つを調整するように構成された自律運転電子制御ユニット（ＡＤ　ＥＣＵ）によって管理される、請求項１に記載の道路標識検出方法。
  5. 　前記複数のカメラから、前記非対称の形状を有する１つまたは複数の標識を前記検出することが、
    　前記複数のカメラから受信した１つまたは複数の画像に対してテンプレートマッチングを実行することと、
    　前記１つまたは複数の画像に前記１つまたは複数の標識が存在することを示す前記テンプレートマッチングの場合、前記１つまたは複数の画像のコーナ検出を行うことと、
    　決定された閾値を満たすコーナの数を示す前記コーナ検出の場合、前記１つまたは複数の画像から、前記車両から前記１つまたは複数の標識までの距離を計算することと
    　を含む、請求項１に記載の道路標識検出方法。
  6. 　前記車両の前記操作モードが前記自律モードにある間、
    　前記車両の前記軌道に基づいて予想される標識を検出することができない場合に、
    　前記車両の現在位置を補間して前記車両の前記現在位置と前記予想される標識の位置との間の誤差を決定することと、
    　前記誤差が閾値よりも大きい場合、前記車両の前記自律モードを終了することと
    　をさらに含む、請求項２に記載の道路標識検出方法。
  7. 　前記車両が、複数の標識とマップとの間の関係を管理するように構成され、
    　前記自律モードの操作モードを有する前記車両について、前記検出された１つまたは複数の標識と前記マップとの間の前記関係に基づいて計算される前記車両の位置を前記管理装置に送信することと、
    　前記管理装置から軌道情報を受信すると、前記命令が、前記車両の軌道を示し、前記軌道情報に従って前記車両の前記位置、向き、および速度の少なくとも１つを調整することと
    　をさらに含む、請求項３に記載の道路標識検出方法。
  8. 　１つまたは複数のハードウェアプロセッサによる実施のための命令を記憶する、非一時的コンピュータ可読媒体であって、
    　複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出することと、
    　車両の操作モードを人間操作モードから自律モードに変更することであって、前記自律モードは、前記検出された１つまたは複数の標識に基づいて前記車両の位置、向き、および速度の少なくとも１つを調整するように構成されることとを含む、
    　非一時的コンピュータ可読媒体。
  9. 　前記命令が、
    　前記自律モードが完全自律駐車モードである場合、
    　前記検出された１つまたは複数の標識と関連付けられる軌道に従って前記車両の前記位置、向きおよび速度の前記少なくとも１つを調整することと、
    　第２の１つまたは複数の標識が検出されるまで前記軌道に沿って前記車両をナビゲートすることと、
    　前記軌道の変更を示す別の１つまたは複数の標識について、前記軌道の前記変更に従って前記車両の前記位置、向き、および速度の前記少なくとも１つを変更することと
    　をさらに含む、請求項８に記載の非一時的コンピュータ可読媒体。
  10. 　前記車両を駐車させるための命令を示す前記第２の１つまたは複数の標識について、
    　前記車両の位置を管理装置に送信することと、
    　前記管理装置から前記操作モードを前記完全自律駐車モードから自動駐車モードに変更する指示を受信すると、前記操作モードを前記完全自律駐車モードから前記自動駐車モードに切り替えることであって、前記自動駐車モードが、駐車スペースへの前記車両の自動駐車を行うように構成されることと
    　を含む、請求項９に記載の非一時的コンピュータ可読媒体。
  11. 　前記操作モードが、前記車両の１つまたは複数のアクチュエータを制御することにより前記車両の位置、向き、および速度の前記少なくとも１つを調整するように構成された自律運転電子制御ユニット（ＡＤ　ＥＣＵ）によって管理される、請求項８に記載の非一時的コンピュータ可読媒体。
  12. 　前記複数のカメラから、前記非対称の形状を有する１つまたは複数の標識を前記検出することが、
    　前記複数のカメラから受信した１つまたは複数の画像に対してテンプレートマッチングを実行することと、
    　前記１つまたは複数の画像に前記１つまたは複数の標識が存在することを示す前記テンプレートマッチングの場合、前記１つまたは複数の画像のコーナ検出を行うことと、
    　決定された閾値を満たすコーナの数を示す前記コーナ検出の場合、前記１つまたは複数の画像から、前記車両から前記１つまたは複数の標識までの距離を計算することと
    　を含む、請求項８に記載の非一時的コンピュータ可読媒体。
  13. 　前記命令が、前記車両の前記操作モードが前記自律モードにある間、
    　前記車両の前記軌道に基づいて予想される標識を検出することができない場合に、
    　前記車両の現在位置を補間して前記車両の前記現在位置と前記予想される標識の位置との間の誤差を決定することと、
    　前記誤差が閾値よりも大きい場合、前記車両の前記自律モードを終了することと
    　をさらに含む、請求項９に記載の非一時的コンピュータ可読媒体。
  14. 　前記車両が、複数の標識とマップとの間の関係を管理するように構成され、前記命令が、
    　前記自律モードの操作モードを有する前記車両について、前記検出された１つまたは複数の標識と前記マップとの間の前記関係に基づいて計算される前記車両の位置を前記管理装置に送信することと、
    　前記管理装置から軌道情報を受信すると、前記命令が、前記車両の軌道を示し、前記軌道情報に従って前記車両の前記位置、向き、および速度の少なくとも１つを調整することと
    　をさらに含む、請求項１０に記載の非一時的コンピュータ可読媒体。
  15. 　複数のカメラと、
    　前記複数のカメラから、非対称の形状を有する１つまたは複数の標識を検出し、かつ
    　車両の操作モードを人間操作モードから自律モードに変更するように構成され、前記自律モードは、前記検出された１つまたは複数の標識に基づいて前記車両の位置、向き、および速度の少なくとも１つを調整するように構成される
    　プロセッサと
    　を備える、道路標識検出システム。
  16. 　前記プロセッサが、
    　前記自律モードが完全自律駐車モードである場合、
    　前記検出された１つまたは複数の標識と関連付けられる軌道に従って前記車両の前記位置、向きおよび速度の前記少なくとも１つを調整し、
    　第２の１つまたは複数の標識が検出されるまで前記軌道に沿って前記車両をナビゲートし、かつ
    　前記軌道の変更を示す別の１つまたは複数の標識について、前記軌道の前記変更に従って前記車両の前記位置、向き、および速度の前記少なくとも１つを変更する
    　ように構成される、請求項１５に記載の道路標識検出システム。
  17. 　前記車両を駐車させるための命令を示す前記第２の１つまたは複数の標識について、前記プロセッサが、
    　前記車両の位置を管理装置に送信し、かつ
    　前記管理装置から前記操作モードを前記完全自律駐車モードから自動駐車モードに変更する指示を受信すると、前記操作モードを前記完全自律駐車モードから前記自動駐車モードに切り替えるように構成され、前記自動駐車モードが、駐車スペースへの前記車両の自動駐車を行うように構成される、
    　請求項１６に記載の道路標識検出システム。
  18. 　前記プロセッサが、前記車両の前記操作モードを管理し、かつ前記車両の１つまたは複数のアクチュエータを制御することにより前記車両の位置、向き、および速度の前記少なくとも１つを調整するように構成される自律運転電子制御ユニット（ＡＤ　ＥＣＵ）である、請求項１５に記載の道路標識検出システム。
  19. 　前記プロセッサが、
    　前記複数のカメラから受信した１つまたは複数の画像に対してテンプレートマッチングを実行することと、
    　前記１つまたは複数の画像に前記１つまたは複数の標識が存在することを示す前記テンプレートマッチングの場合、前記１つまたは複数の画像のコーナ検出を行うことと、
    　決定された閾値を満たすコーナの数を示す前記コーナ検出の場合、前記１つまたは複数の画像から、前記車両から前記１つまたは複数の標識までの距離を計算することと
    　によって前記複数のカメラから、前記非対称の形状を有する１つまたは複数の標識を検出するように構成される、請求項１５に記載の道路標識検出システム。
  20. 　前記プロセッサが、前記車両の前記操作モードが前記自律モードにある間、
    　前記車両の前記軌道に基づいて予想される標識を検出することができない場合に、
    　前記車両の現在位置を補間して前記車両の前記現在位置と前記予想される標識の位置との間の誤差を決定し、かつ
    　前記誤差が閾値よりも大きい場合、前記車両の前記自律モードを終了する
    　ように構成される、請求項１６に記載の道路標識検出システム。
PCT/JP2019/019884 2018-05-29 2019-05-20 道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム Ceased WO2019230474A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020522109A JP6997868B2 (ja) 2018-05-29 2019-05-20 道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム
DE112019001832.9T DE112019001832T5 (de) 2018-05-29 2019-05-20 Strassenmarkierungsdetektionsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/991,421 2018-05-29
US15/991,421 US11136022B2 (en) 2018-05-29 2018-05-29 Road marker detection method

Publications (1)

Publication Number Publication Date
WO2019230474A1 true WO2019230474A1 (ja) 2019-12-05

Family

ID=68695040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/019884 Ceased WO2019230474A1 (ja) 2018-05-29 2019-05-20 道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム

Country Status (4)

Country Link
US (1) US11136022B2 (ja)
JP (1) JP6997868B2 (ja)
DE (1) DE112019001832T5 (ja)
WO (1) WO2019230474A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021187343A (ja) * 2020-06-01 2021-12-13 トヨタ自動車株式会社 制動制御装置及び制動制御方法

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11043124B2 (en) 2018-01-31 2021-06-22 Peter Yeung Roadway information detection system consists of sensors on the autonomous vehicles and devices for the road
CA3130361A1 (en) * 2016-10-18 2018-03-01 Peter Yeung Roadway information detection sensor device/system for autonomous vehicles
US11427211B2 (en) * 2018-06-18 2022-08-30 Baidu Usa Llc Methods for handling sensor failures in autonomous driving vehicles
US10877473B2 (en) * 2018-08-09 2020-12-29 Here Global B.V. Method, apparatus and computer program product for differential policy enforcement for roadways
US20200108824A1 (en) * 2018-10-04 2020-04-09 Ford Global Technologies, Llc Monitoring and adjustment of vehicle parking positions
US11604476B1 (en) * 2018-10-05 2023-03-14 Glydways Inc. Road-based vehicle guidance system
WO2020102554A1 (en) * 2018-11-15 2020-05-22 Magic Leap, Inc. Deep neural network pose estimation system
DE102018221142A1 (de) * 2018-12-06 2020-06-10 Robert Bosch Gmbh Lokalisierung in komplexen Verkehrsszenarien durch Markierungen
US10931374B1 (en) 2018-12-13 2021-02-23 Waymo Llc Vehicle with free-space optical link for log data uploading
KR102696094B1 (ko) * 2019-03-19 2024-08-20 현대모비스 주식회사 자동 발렛 파킹 시스템의 위치 추정 장치 및 방법
US11209824B1 (en) * 2019-06-12 2021-12-28 Kingman Ag, Llc Navigation system and method for guiding an autonomous vehicle through rows of plants or markers
US11537137B2 (en) * 2019-06-18 2022-12-27 Lg Electronics Inc. Marker for space recognition, method of moving and lining up robot based on space recognition and robot of implementing thereof
US11904871B2 (en) * 2019-10-30 2024-02-20 Deere & Company Predictive machine control
US11367212B2 (en) * 2019-11-21 2022-06-21 Ford Global Technologies, Llc Vehicle pose detection with fiducial marker
CN111196271A (zh) * 2020-01-21 2020-05-26 北京百度网讯科技有限公司 自动泊车方法、装置、设备及存储介质
JP7318545B2 (ja) * 2020-01-27 2023-08-01 株式会社デンソー 自動駐車システム、マーカ不具合判定方法、及びマーカ不具合判定プログラム
JP7316612B2 (ja) * 2020-02-04 2023-07-28 パナソニックＩｐマネジメント株式会社 運転支援装置、車両、及び、運転支援方法
CN112129297B (zh) * 2020-09-25 2024-04-30 重庆大学 一种多传感器信息融合的自适应校正室内定位方法
US11827244B2 (en) * 2020-12-04 2023-11-28 Ford Global Technologies, Llc Enhanced vehicle operation
US12233910B2 (en) * 2021-02-22 2025-02-25 Volkswagen Group of America Investments, LLC Indoor localization of autonomous vehicles
CN113012441B (zh) * 2021-03-25 2023-01-13 北京百度网讯科技有限公司 车辆停车检测方法、系统、电子设备以及存储介质
CN113112847B (zh) * 2021-04-12 2025-09-30 蔚来汽车科技(安徽)有限公司 用于固定泊车场景的车辆定位方法及其系统
DE102021111736A1 (de) 2021-05-06 2022-11-10 Valeo Schalter Und Sensoren Gmbh Verfahren, computerprogrammprodukt, parkassistenzsystem und fahrzeug
IT202100023084A1 (it) * 2021-09-07 2023-03-07 Univ Bologna Alma Mater Studiorum Metodo e sistema per la navigazione autonoma di un veicolo agricolo
US20230286584A1 (en) * 2022-03-08 2023-09-14 Ford Global Technologies, Llc Method for operating a motor vehicle with a parking assistant
JP7408740B1 (ja) * 2022-08-03 2024-01-05 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム
JP7743386B2 (ja) 2022-10-28 2025-09-24 本田技研工業株式会社 移動体制御装置、移動体制御方法、及び移動体制御プログラム
US20240177348A1 (en) * 2022-11-23 2024-05-30 10X Genomics, Inc. Systems and methods for machine vision calibration
CN116394924A (zh) * 2023-04-18 2023-07-07 东风汽车集团股份有限公司 自动泊车规划方法、装置、电子设备及存储介质
KR20250031592A (ko) * 2023-08-29 2025-03-07 현대모비스 주식회사 Avps 마커를 이용한 측위방법 및 장치
US12337830B2 (en) * 2023-09-21 2025-06-24 Ford Global Technologies, Llc Parking assist systems and methods
JP2025105486A (ja) * 2023-12-29 2025-07-10 現代自動車株式会社 自動バレーパーキングを支援するシステム及びその方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122744A (ja) * 2007-11-12 2009-06-04 Toyota Motor Corp 車両用逆走検出装置
JP2009199572A (ja) * 2008-01-25 2009-09-03 Kazuo Iwane 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3736386A1 (de) * 1986-10-27 1988-07-14 Pioneer Electronic Corp Fahrzeugpeilverfahren
US8542906B1 (en) * 2008-05-21 2013-09-24 Sprint Communications Company L.P. Augmented reality image offset and overlay
US8301325B2 (en) 2008-07-28 2012-10-30 Precise Path Robotics, Inc. System and method for autonomous vehicle localization
JP2010064546A (ja) 2008-09-09 2010-03-25 Toyota Industries Corp 駐車支援装置
US9581997B1 (en) * 2011-04-22 2017-02-28 Angel A. Penilla Method and system for cloud-based communication for automatic driverless movement
WO2014065856A1 (en) 2012-10-25 2014-05-01 Massachusetts Institute Of Technology Vehicle localization using surface penetrating radar
DE102014221777A1 (de) * 2014-10-27 2016-04-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs
US10504230B1 (en) * 2014-12-19 2019-12-10 Amazon Technologies, Inc. Machine vision calibration system with marker
EP3125196B1 (en) 2015-07-29 2018-02-21 Continental Automotive GmbH Drive-by calibration from static targets
US10082797B2 (en) 2015-09-16 2018-09-25 Ford Global Technologies, Llc Vehicle radar perception and localization
US20170267233A1 (en) * 2016-03-15 2017-09-21 Cruise Automation, Inc. Method for autonomous vehicle parking
EP4060288A3 (en) * 2016-08-31 2023-02-01 Topcon Positioning Systems, Inc. Apparatus and method for providing vehicular positioning
US20190080612A1 (en) * 2017-09-14 2019-03-14 Qualcomm Incorporated Navigation techniques for autonomous and semi-autonomous vehicles
US10706525B2 (en) * 2018-05-22 2020-07-07 Midea Group Co. Ltd. Methods and systems for improved quality inspection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009122744A (ja) * 2007-11-12 2009-06-04 Toyota Motor Corp 車両用逆走検出装置
JP2009199572A (ja) * 2008-01-25 2009-09-03 Kazuo Iwane 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021187343A (ja) * 2020-06-01 2021-12-13 トヨタ自動車株式会社 制動制御装置及び制動制御方法
JP7327285B2 (ja) 2020-06-01 2023-08-16 トヨタ自動車株式会社 制動制御装置及び制動制御方法

Also Published As

Publication number Publication date
JP6997868B2 (ja) 2022-01-18
DE112019001832T5 (de) 2021-02-04
US20190367012A1 (en) 2019-12-05
US11136022B2 (en) 2021-10-05
JPWO2019230474A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
JP6997868B2 (ja) 道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム
US11703883B2 (en) Autonomous driving device
US11427211B2 (en) Methods for handling sensor failures in autonomous driving vehicles
US11230297B2 (en) Pedestrian probability prediction system for autonomous vehicles
US10019017B2 (en) Autonomous driving system
US11521329B2 (en) Updated point cloud registration pipeline based on ADMM algorithm for autonomous vehicles
US20200209857A1 (en) Multimodal control system for self driving vehicle
US20190071091A1 (en) Driver intention-based lane assistant system for autonomous driving vehicles
EP3088280A1 (en) Autonomous driving vehicle system
US10860868B2 (en) Lane post-processing in an autonomous driving vehicle
WO2019176083A1 (ja) 移動体制御装置
US11161516B2 (en) Vehicle control device
US10438074B2 (en) Method and system for controlling door locks of autonomous driving vehicles based on lane information
US11544868B2 (en) Object location coordinate determination
EP4024365B1 (en) Audio logging for model training and onboard validation utilizing autonomous driving vehicle
US20210197865A1 (en) Autonomous driving vehicle three-point turn
CN112985435A (zh) 用于操作自主驾驶车辆的方法及系统
JP6610601B2 (ja) 車両識別装置
US12085945B2 (en) Random shift based path centering system for autonomous vehicles
JP2020087191A (ja) 車線境界設定装置、車線境界設定方法
CN112837209B (zh) 对鱼眼镜头生成具有畸变的图像的新方法
US11407419B2 (en) Central line shifting based pre-change lane path planning
US11288528B2 (en) Differentiation-based traffic light detection
US12277732B2 (en) Video camera calibration refinement for autonomous driving vehicles
US20210200211A1 (en) Method of generating back-up trajectories for self-driving vehicles during emergency

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19810320

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2020522109

Country of ref document: JP

122 Ep: pct application non-entry in european phase

Ref document number: 19810320

Country of ref document: EP

Kind code of ref document: A1