WO2020194570A1 - 標識位置特定システム及びプログラム - Google Patents

標識位置特定システム及びプログラム Download PDF

Info

Publication number
WO2020194570A1
WO2020194570A1 PCT/JP2019/013133 JP2019013133W WO2020194570A1 WO 2020194570 A1 WO2020194570 A1 WO 2020194570A1 JP 2019013133 W JP2019013133 W JP 2019013133W WO 2020194570 A1 WO2020194570 A1 WO 2020194570A1
Authority
WO
WIPO (PCT)
Prior art keywords
sign
image
distance
size
unit
Prior art date
Application number
PCT/JP2019/013133
Other languages
English (en)
French (fr)
Inventor
純一 富樫
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to US17/431,952 priority Critical patent/US20210383141A1/en
Priority to JP2021508524A priority patent/JP6916975B2/ja
Priority to PCT/JP2019/013133 priority patent/WO2020194570A1/ja
Priority to EP19922154.0A priority patent/EP3913599A4/en
Publication of WO2020194570A1 publication Critical patent/WO2020194570A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Definitions

  • the present invention relates to a sign position specifying system that specifies the position of a sign based on an image taken by an imaging device.
  • the main method for collecting information to create a database of such road signs is to manually confirm the actual item on site.
  • due to the recent labor shortage, such a method is inefficient, and it takes a considerable amount of time to collect information, and the cost tends to be high.
  • Patent Document 1 a function of recognizing a sign and measuring and calculating its position is configured so that it can be started from a menu of an interactive recognition editing system, and recognition processing is performed before editing to perform the sign candidate.
  • An invention is disclosed in which the evaluation of is displayed on a map in the size of an icon.
  • the image processing device stores map information to which object information indicating an object and its position is added, and a plurality of different classifiers for identifying an object in the image, and in the target image. Detects an object in, selects one of the classifiers based on the shooting position, which is the position where the target image was shot, and the object information added to the map information, and recognizes the detected object using the selected classifier.
  • the invention to be used is disclosed.
  • the type of sign can be visually identified, but the position (latitude and longitude) of the sign can be determined by GPS (Global Positioning System) while at the place where the sign is installed. ) It was necessary to acquire location information using equipment.
  • GPS Global Positioning System
  • the type of sign and the content of the auxiliary sign had to be manually input to some extent. In this way, there is a limit to improving the work efficiency of manually collecting sign information, and no significant improvement can be expected.
  • the present invention has been made in view of the above-mentioned conventional circumstances, and provides a sign position identification system capable of automatically specifying a sign installation position and collecting sign information. The purpose.
  • the marker position identification system is configured as follows. That is, the image processing in the sign position specifying system including an image pickup device mounted on the moving body, a positioning device for positioning the position of the moving body, and an image processing device for processing an image captured by the image pickup device.
  • the device includes a sign detection unit that detects a sign from the image, an angle of view of the imaging device when the sign is detected from the image by the sign detection unit, the resolution of the image, and a label in the image. The first distance from the moving body to the label in the optical axis direction of the imaging device and the direction perpendicular to the optical axis direction of the imaging device, based on the position and size of the marker and the actual size of the label.
  • a distance calculation unit that calculates a second distance from a moving body to the sign, a moving direction and position of the moving body when the image is taken, and the first distance and the second distance calculated by the distance calculation unit. It is characterized by including a sign position estimation unit that estimates the installation position of the sign based on the distance.
  • the installation position of the sign may be estimated based on the amount of deviation in the optical axis direction of the imaging device with respect to the moving direction of the moving body.
  • the width or height of the sign may be used as the size of the sign in the image and the actual size of the sign.
  • the width of the sign in the image is longer than the height
  • the width of the sign is used as the size of the sign in the image and the actual size of the sign
  • the width of the sign in the image is used.
  • the vertical width is longer than the horizontal width
  • the vertical width of the sign may be used as the size of the sign in the image and the actual size of the sign.
  • the dimensions may be specified. Specifically, the size of the sign may be specified according to the type of road. Alternatively, the size of the sign may be specified according to the positional relationship between the road and the sign. Alternatively, the size of the sign may be specified according to the amount of change in the size of the sign in the image as the vehicle travels.
  • the image processing device further includes a sign position consolidating unit that aggregates the installation positions of the signs estimated by the sign position estimation unit for each of a plurality of images of the same sign taken at one point. It may be configured.
  • a sign position specifying system capable of automatically specifying a sign installation position and collecting sign information.
  • FIG. 1 It is a figure which shows the schematic structure example of the sign registration system which concerns on one Embodiment of this invention. It is a figure which shows the configuration example of the image pickup apparatus and GPS receiver in the sign registration system of FIG. It is a figure which shows the configuration example of the image processing apparatus in the sign registration system of FIG. It is a figure which shows the flowchart example of the sign registration process by the sign registration system of FIG. It is a figure which shows the display example of the detection result of a sign. It is a figure explaining the shape, color, and dimension of a sign. It is a figure which shows the example which plotted the sign information on a map. It is a figure explaining the method of calculating the distance from a vehicle to a sign and estimating the installation position of a sign. It is a figure explaining the positional relationship between a vehicle and a sign. It is a figure which shows the example which shifted the traveling direction of a vehicle and the optical axis direction of an image pickup apparatus.
  • FIG. 1 illustrates a schematic configuration of a sign registration system, which is an embodiment of a sign position specifying system according to the present invention.
  • the sign registration system of this example includes an image pickup device 100, a GPS receiver 200, an image processing device 300, a recording device 400, and an operation terminal 500. In this example, all of these are mounted on the vehicle, but it is not always necessary to mount them on the vehicle except for the image pickup device 100 and the GPS receiver 200.
  • the image pickup device 100 corresponds to the image pickup device according to the present invention
  • the GPS receiver 200 corresponds to the positioning device according to the present invention
  • the image processing device 300 corresponds to the image processing device according to the present invention.
  • the image pickup device 100 is a device for photographing a sign installed along the road and is mounted on a vehicle.
  • the image pickup device 100 may be an in-vehicle installation type such as a drive recorder, or an external installation type typified by MMS (Mobile Mapping System).
  • the image pickup apparatus 100 preferably has a wide horizontal angle of view, a high resolution, and a high frame rate.
  • the vehicle is equipped with a front camera that captures the front direction of the vehicle, but a camera that captures the other direction may be added.
  • the GPS receiver 200 is a device for positioning a position (latitude and longitude) based on radio waves from GPS satellites, and is mounted on a vehicle.
  • the GPS receiver 200 may be built in the image pickup device 100, or may be configured as a device separate from the image pickup device 100. Further, instead of the GPS receiver 200, a positioning device that performs positioning by another method may be used.
  • the image processing device 300 is a device that processes video data captured by the image pickup device 100.
  • the image processing device 300 may process the video data obtained in real time from the image pickup device 100, or may process the video data captured in advance and recorded in the recording device 400.
  • the image processing device 300 sequentially analyzes the input video data and outputs the detection result of the sign.
  • the detection result is written out as a log in a format such as CSV (Comma-Separated Values) and is also superimposed on the video data.
  • the information of the detection result is, for example, the coordinates of the detection position of the sign on the image, the size of the sign on the image (length and width), the type of the sign, the reliability of the sign detection, and the vehicle (to be exact, the image pickup device 100).
  • the image processing device 300 also performs processing such as aggregating a plurality of detection results to generate marker information and plotting the marking information at a corresponding position on the map.
  • the recording device 400 is a device that stores various data including images taken by the image pickup device 100 and processing results by the image processing device 300.
  • the recording device 400 provides the corresponding data in response to a request from an external device including the image processing device 300, the operation terminal 500, and the like.
  • the operation terminal 500 is a terminal operated by an operator who uses this system.
  • the operation terminal 500 may be a stationary device or a portable device such as a smart phone or a tablet terminal, and various devices can be used.
  • the operation terminal 500 can display various information including an image taken by the image pickup apparatus 100 and a processing result by the image processing apparatus 300. Further, the operation terminal 500 can receive various instructions from the user through input devices such as a touch panel, a keyboard, and a mouse.
  • FIG. 2 shows a configuration example of the image pickup device 100 and the GPS receiver 200.
  • the image pickup device 100 includes a video image pickup unit 101, an image quality adjustment unit 102, an image frame position information synthesis unit 103, and an image output unit 104.
  • the GPS receiver 200 includes a GPS receiving unit 201 and a GPS information generating unit 202.
  • the GPS receiver 201 receives radio waves received from GPS satellites.
  • the GPS information generation unit 202 positions the position of the vehicle (to be exact, the position of the antenna of the GPS receiver 200) based on the radio waves received by the GPS reception unit 201, and generates GPS information indicating the position of the positioning result. And output.
  • the image capturing unit 101 photographs the front direction of the vehicle while the vehicle is traveling.
  • the image quality adjusting unit 102 adjusts the image quality of the image data obtained by the image capturing unit 101.
  • the position information synthesizing unit 103 in the image frame performs a process of adding the GPS information input from the GPS receiver 200 to the image of each frame on the video data whose quality has been adjusted by the image quality adjusting unit 102, and outputs the video.
  • Output to unit 104 The GPS information is preferably updated every frame, but may be updated every fixed number of frames (for example, every 5 frames).
  • the video output unit 104 outputs video data to which GPS information is added.
  • the video data includes mp3, avi, H. Various types such as 264 can be used.
  • FIG. 3 shows a configuration example of the image processing device 300.
  • the image processing device 300 includes an image receiving unit 301, an image decomposition unit 302, a sign detection unit 303, a sign identification unit 304, an auxiliary sign detection unit 305, an auxiliary sign identification unit 306, and a sign distance calculation unit 307.
  • a GPS information extraction unit 308, a sign position estimation unit 309, a sign information aggregation unit 310, and a map plot unit 311 are provided.
  • the image receiving unit 301 receives the image data output from the image capturing device 100.
  • the image decomposition unit 302 decomposes the image data received by the image reception unit 301 into images of each frame (for example, a JPEG image) and outputs the image data to the sign detection unit 303 and the GPS information extraction unit 308.
  • the sign detection unit 303 performs a sign detection process on the image input from the image decomposition unit 302.
  • the sign identification unit 304 identifies the type of the sign detected by the sign detection unit 303.
  • the auxiliary sign detection unit 305 performs detection processing of the auxiliary sign accompanying the sign detected by the sign detection unit 303.
  • the auxiliary sign identification unit 306 identifies the type of auxiliary sign detected by the auxiliary sign detection unit 305.
  • the sign detection unit 303, the sign identification unit 304, the auxiliary sign detection unit 305, and the auxiliary sign identification unit 306 may be realized by AI (Artificial Intelligence) utilizing a model trained in advance.
  • AI Artificial Intelligence
  • an inference model may be generated by deep learning using image recognition processing represented by CNN (Convolutional Neural Network) and used for detection / identification of markers / auxiliary markers.
  • CNN Convolutional Neural Network
  • the sign distance calculation unit 307 calculates the distance from the vehicle to the sign detected by the sign detection unit 303.
  • the GPS information extraction unit 308 extracts GPS information from the image input from the image decomposition unit 302.
  • the sign position estimation unit 309 uses the distance calculated by the sign distance calculation unit 307 and the GPS information (vehicle position) obtained by the GPS information extraction unit 308 to display the sign detected by the sign detection unit 303. Estimate the installation position.
  • the sign information aggregation unit 310 tracks the sign for a plurality of frames of images based on the type of the sign, the distance to the sign, and the like. Then, a plurality of detection results obtained by the above-mentioned processing units 303 to 309 for the same label are aggregated to generate label information.
  • the sign information includes the type of sign (and the type of auxiliary sign) and the position information of one point that is most likely to be the installation position of the sign.
  • the map plotting unit 311 plots the sign information generated by the sign information collecting unit 310 on the map.
  • the image pickup device 100 and the GPS receiver 200 are correctly installed in the vehicle.
  • the image pickup apparatus 100 may be started in conjunction with the start of the engine of the vehicle, or may be started manually.
  • the operation of the GPS receiver 200 is confirmed (steps S100 and S102), and when the radio waves from the GPS satellites can be correctly received, the vehicle starts traveling (step S104).
  • the image pickup device 100 takes a picture in the front direction of the vehicle.
  • the GPS receiver 200 linked to the image pickup device 100 operates in synchronization with the shooting timing of the image pickup device 100, generates GPS information, and outputs the GPS information to the image pickup device 100.
  • the image pickup apparatus 100 adds GPS information to the captured image, outputs the GPS information to the recording apparatus 400, and records the captured image (step S106).
  • the video data output from the image pickup apparatus 100 is also input to the image processing apparatus 300, and the following processing is performed in real time by the image processing apparatus 300.
  • the image processing device 300 may read the video data from the recording device 400 and perform the following processing.
  • the video decomposition unit 302 decomposes the video data received by the video reception unit 301 into images of each frame.
  • the sign detection unit 303 performs a sign detection process on the image of each frame decomposed from the video data by the video decomposition unit 302 (step S108).
  • the marker detection process an image region that may be labeled is detected from the image, the reliability of the detection result is calculated, and it is determined whether or not the reliability is equal to or higher than a predetermined threshold value (step S110). Then, when the reliability is equal to or higher than the threshold value, it is determined that what is projected in the image area is a sign. This is to reduce false detection of signs as much as possible.
  • FIG. 5 shows a display example of the detection result of the sign. In the figure, the character string "no_parking" indicating that the parking prohibition sign has been detected and the numerical value "78%" indicating the reliability of the detection result are superimposed in the vicinity of the image area determined to be the sign in the image. Is displayed.
  • the sign identification unit 304 When the sign detection unit 303 detects a sign from the image, the sign identification unit 304 performs a sign type identification process (step S112). As shown in FIG. 6, since the shape, color, pattern, etc. of the sign differ depending on the type of the sign, the type of the sign can be identified by analyzing the shape, color, pattern, etc. of the sign detected from the image. Can be done.
  • the auxiliary sign detection unit 305 performs the detection process of the auxiliary sign attached to the sign (step S114).
  • the detection process of the auxiliary sign is performed focusing on the image region above or below the sign. Since the auxiliary sign is always installed as a set with the sign, it is possible to improve the detection accuracy of the auxiliary sign by performing the detection process in a narrowed area after the sign can be detected.
  • the auxiliary sign identification unit 306 When the auxiliary sign is detected by the auxiliary sign detection unit 305, the auxiliary sign identification unit 306 also performs the auxiliary sign identification process.
  • the auxiliary sign is composed of a design, a standard character string, or an arbitrary character string. Designs and standard character strings can be identified by AI by utilizing a model trained in advance. Further, for an arbitrary character string, OCR (Optical Character Reader) processing may be performed on the area of the auxiliary sign to recognize the content of the character string.
  • OCR Optical Character Reader
  • the sign distance calculation unit 307 calculates the distance from the vehicle to the sign detected by the sign detection unit 303 (step S116).
  • the sign position estimation unit 309 estimates the sign installation position (step S118). Details of the calculation of the distance to the sign and the estimation of the installation position of the sign will be described later.
  • the sign information aggregation unit 310 aggregates a plurality of installation positions obtained for the same sign, identifies the position of one most probable installation position of the sign, and identifies the type of the sign (and the auxiliary sign). Marking information including the type) and the position information aggregated at one point is generated (step S120).
  • the process of aggregating a plurality of installation positions can be performed, for example, by a method of taking a simple average of a plurality of installation positions.
  • a method of averaging weighted values according to the distance (multiplying a larger value as the distance is shorter) and a method of averaging weighted values according to the reliability of marker detection (multiplying a larger value as the reliability is higher). It can be performed by various methods such as a method of averaging the items selected in the order of close distance or the order of high reliability, and a combination thereof.
  • an apparently abnormal installation position may be excluded based on the map information.
  • abnormal installation positions include, for example, when the sign installation position is on a building and when the sign installation position is on a road (excluding enlarged size signs).
  • the vehicle's travel route can be expressed in a trajectory by mapping GPS information such as latitude, longitude, and direction.
  • GPS information such as latitude, longitude, and direction.
  • the speed of the vehicle decreases, such as when turning, the GPS information and the position of the vehicle tend to deviate from each other.
  • the vehicle slows down. For example, when an image pickup device captures a certain sign, the position of the sign on the screen does not move much, but the time for the sign to be reflected on the screen becomes long. Then, erroneous estimation that the sign is suddenly located in the direction opposite to the traveling direction up to now and erroneous estimation due to the deviation of the GPS direction are likely to occur.
  • the update interval of GPS information is long, erroneous estimation is more likely to occur in a scene where the direction of the vehicle changes.
  • the sign information collecting unit 310 does not calculate the position in frame units, but accumulates it to some extent, assuming that the vehicle turns or stops, especially when it detects that the speed of the vehicle decreases.
  • the reliability of GPS information is verified by utilizing the image frame of the video data and GPS information. That is, the sign information aggregation unit 310 performs the position estimation process in a state where the GPS information at the timing when the position clearly deviates from the accumulated GPS information is omitted.
  • the sign information aggregation unit 310 excludes the position information of the sign calculated by the sign position estimation unit 309 when the GPS information indicates a position clearly deviating from the traveling route of the vehicle.
  • the deviation of the position includes a pattern in which the position is reversed when traced from the time axis and the direction, and a pattern in which the direction differs by, for example, 180 degrees.
  • the map plotting unit 311 plots the sign information generated by the sign information collecting unit 310 on the map (step S122).
  • FIG. 7 shows an example in which the sign information is plotted on a map.
  • the installation position of the sign specified at one point is plotted on the map with a ⁇ mark.
  • other estimated positions obtained for the sign are plotted on the map with ⁇ marks. From the above, a map-based sign database can be created.
  • the method of calculating the distance from the vehicle to the sign and estimating the installation position of the sign will be described with reference to FIGS. 8 and 9.
  • FIG. 6 even if the same label has different dimensions (for example, magnification 2/3, 1.0, 1.5, 2.0), when the label is detected, Its dimensions also need to be specified.
  • a case where a sign having a standard dimension is detected will be described as an example, and a method for specifying the dimension of the sign will be described later.
  • the optical axis direction of the image pickup device 100 is aligned with the traveling direction of the vehicle (that is, the amount of deviation of the image pickup device 100 in the optical axis direction with respect to the moving direction of the vehicle is 0 degree).
  • the position of the vehicle is P 1
  • the position of the sign is P 2
  • the straight line extending in the traveling direction of the vehicle (optical axis of the imaging device 100) is L 1
  • the straight line orthogonal to the straight line L 1 and passing through the position P 2 of the sign is L. 2.
  • P 3 be the intersection of the straight line L 1 and the straight line L 2 (see FIG. 9).
  • the upper left is the origin O (0,0)
  • the horizontal axis is the X axis
  • the vertical axis is the Y axis (see FIG. 8).
  • the shooting range length D in the horizontal direction at the sign installation position H [m] (that is, the length of the straight line L 2 that can be photographed) can be calculated by the following (Equation 1).
  • D H H ⁇ W / w ⁇ ⁇ ⁇ (Equation 1)
  • the distance D 1 from the position P 1 of the vehicle to the intersection P 3 (that is, the distance from the vehicle to the sign in the optical axis direction of the imaging device 100) is It can be calculated by the following (Equation 2).
  • D 1 ( DH / 2) / tan ( ⁇ / 2) ... (Equation 2)
  • the center coordinates of the sign in the image are (x, y), that is, the horizontal coordinates of the sign center are x, the vertical center line C of the image (corresponding to the straight line L 1 ) to the sign center.
  • the distance d can be calculated by the following (Equation 3).
  • d H / 2-x ... (Equation 3)
  • D 2 from the intersection point P 3 to the sign position P 2 that is, the distance from the vehicle to the sign in the direction orthogonal to the optical axis direction of the imaging device 100
  • D 2 can be calculated by the following (Equation 4). It can.
  • D 2 D H ⁇ d / H ⁇ ⁇ ⁇ (Equation 4)
  • the horizontal angle of view ⁇ of the image pickup device the horizontal resolution H of the image, the lateral coordinates x of the center of the sign in the image, the width w of the sign in the image, and the width W of the actual sign are set.
  • the distance D 1 of the from the position P 1 of the vehicle to the intersection P 3 the distance D 2 from the intersection P 3 to the position P 2 of the label, linear direction from the position P 1 of the vehicle to the position P 2 of the label Distance D 3 can be calculated.
  • the position P 1 of the vehicle is shifted in the optical axis direction (direction of the straight line L 1 ) of the imaging device 100 that coincides with the traveling direction of the vehicle by a distance D 1 minute, and further, in a direction orthogonal to the optical axis direction (direction of the straight line L 1 ).
  • the position P 2 of the marker can be obtained.
  • the position P 2 of the sign can also be obtained by shifting the position P 1 of the vehicle by a distance D 3 minutes in the direction in which ⁇ degrees are tilted with respect to the optical axis direction.
  • the traveling direction of the vehicle and the optical axis direction of the imaging device 100 are matched with each other.
  • the traveling direction of the vehicle and the light of the imaging device 100 are matched.
  • the configuration may be offset from the axial direction.
  • the width of the sign is used to calculate the distance, but another element representing the size of the sign (for example, the vertical width) may be used to calculate the distance. ..
  • the horizontal widths w and W in the above Equation 1 may be replaced with the vertical width of the sign in the image and the vertical width of the actual sign.
  • the width and height of the sign shown in the image may differ greatly depending on the installation mode of the sign. In this case, the longer of the width and height of the sign can be used for calculation. The distance can be calculated more accurately. Basically, the width and height of the sign can be simply compared, but for those with a pentagonal shape (such as a sign representing a pedestrian crossing), the width and height of the upper triangular part Just make a comparison.
  • the sign distance calculation unit 307 may specify the dimensions of the sign by using a map database having road data associated with the road type. In this case, the sign distance calculation unit 307 holds in advance a correspondence table between the type of road and the size of the sign.
  • the sign distance calculation unit 307 may specify the number of lanes on the road by image analysis and specify the size of the sign according to the number of lanes. In this case, the sign distance calculation unit 307 holds in advance a correspondence table between the number of lanes and the size of the sign.
  • the sign distance calculation unit 307 determines that the sign is of standard size when the position of the sign in the image is on the left side of the image, and when the position of the sign in the image is in the center of the image, the enlarged size is used. You may decide that it is a sign.
  • the sign is far from the vehicle, the sign is located in the center of the image, so the positional relationship between the sign and the road is determined using the image in which the sign appears to some extent (preferably the image in which the sign appears to be the largest). There is a need.
  • the trajectory of the sign in the video data is analyzed and the sign draws a trajectory that moves toward the left of the image, it is determined that the sign is a standard size sign and the sign moves upward in the image.
  • drawing a locus it may be determined that the sign is an enlarged dimension.
  • the sign size in the image gradually increases as the vehicle travels, but the amount of change (increase) depends on the size of the sign. Is different. That is, the distance between the vehicle and the sign when the sign is first detected is greater for the magnified dimensional sign than for the standard dimensional sign (that is, the magnified dimensional sign is detected farther). However, the amount of change in the marker size in the image thereafter is larger for the standard-sized marker than for the enlarged-dimensional indicator. Therefore, before operating the system, the amount of change in the sign size in the image due to the running of the vehicle is measured for each size of the sign and converted into data, and the sign distance calculation unit 307 obtains it while the vehicle is running during the system operation.
  • the size of the sign may be specified by calculating the amount of change in the sign size in the image based on the plurality of images and comparing it with the data.
  • the above-mentioned method for specifying the size of the sign is merely an example, and the size of the sign may be specified by another method.
  • the majority of the signs are actually standard dimensions (magnification 1.0 times), even if they are treated as standard size signs, the sign installation position can be determined with a certain degree of accuracy. It is possible to identify.
  • the sign registration system of this example includes an image pickup device 100 mounted on the vehicle, a GPS receiver 200 for positioning the position of the vehicle, and an image processing device for processing an image captured by the image pickup device 100. It has 300 and. Then, in the image processing device 300 of this example, when the sign detection unit 303 detects the sign from the image and the sign distance calculation unit 307 detects the sign from the image by the sign detection unit 303, the image pickup device 100 Based on the angle of view, the resolution of the image, the position and size of the sign in the image, and the actual size of the sign, the distance D 1 from the vehicle to the sign in the optical axis direction of the image pickup device 100 and the image pickup device 100.
  • the distance D 2 from the vehicle to the sign in the direction orthogonal to the optical axis direction of is calculated, and the sign position estimation unit 309 determines the amount of deviation of the image pickup device 100 in the optical axis direction with respect to the traveling direction of the vehicle and the time when the image is taken. It is configured to estimate the installation position of the sign based on the traveling direction and position of the vehicle and the distance D 1 and the distance D 2 calculated by the sign distance calculation unit 307.
  • the sign information aggregation unit 310 aggregates the sign installation positions estimated by the sign position estimation unit 309 for each of a plurality of images of the same sign taken at one point. It is configured to do. Therefore, the installation position of the sign can be specified more accurately.
  • the image processing device 300 of this example is configured by a computer having a processor such as a CPU (Central Processing Unit) and hardware resources including a memory, and executes a program stored in the memory in advance by the processor.
  • a processor such as a CPU (Central Processing Unit) and hardware resources including a memory
  • Each function is realized. That is, by executing the programs related to the functions of the sign detection unit, the distance calculation unit, the sign position estimation unit, and the sign position aggregation unit according to the present invention, the sign detection unit 303, the sign distance calculation unit 307, and the sign position estimation unit 309 ,
  • the sign information aggregation unit 310 is realized.
  • the sign installed for the traveling direction of the vehicle is photographed by using the front camera that photographs the front side of the vehicle, but the rear camera that photographs the rear side of the vehicle is used.
  • the sign installed for the oncoming lane may be photographed, and the sign may be recognized and positioned.
  • the sign (road sign) installed along the road is photographed while the vehicle is running, but the sign (railway sign) installed along the track is photographed while the train is running.
  • the sign may be recognized and the position may be specified.
  • the present invention has been described above by taking the case where the present invention is used in a label registration system as an example, but it goes without saying that the present invention is not limited to such an example and can be widely applied to other than the above. Further, the present invention stores, for example, a method or method for executing the process according to the present invention, a program for realizing such a method or method by a computer having hardware resources such as a processor or memory, and the program. It can also be provided as a storage medium or the like.
  • the present invention can be used in a sign position specifying system that specifies the position of a sign based on an image taken by an imaging device.
  • Imaging device 100: Imaging device, 200: GPS receiver, 300: Image processing device, 400: Recording device, 500: Operation terminal, 101: Image imaging unit, 102: Image quality adjustment unit, 103: Image frame position information aggregation unit, 104: Image output unit, 201: GPS receiver, 202: GPS information generator, 301: Video receiving unit, 302: Image decomposition unit, 303: Sign detection unit, 304: Sign identification unit, 305: Auxiliary sign detection unit, 306: Auxiliary sign identification unit, 307: Mark distance calculation unit, 308: GPS information extraction Part, 309: Marking position estimation part, 310: Marking information aggregation part, 311: Map plotting part

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Abstract

標識情報を自動的に収集することが可能な標識位置特定システムを提供する。　画像処理装置３００において、標識検出部３０３が、画像から標識を検出し、標識距離計算部３０７が、標識検出部３０３により画像から標識が検出された場合に、撮像装置１００の画角と、画像の解像度と、画像内の標識の位置及びサイズと、実際の標識のサイズとに基づいて、撮像装置１００の光軸方向における車両から標識までの距離Ｄ1 と、撮像装置１００の光軸方向に直交する方向における車両から標識までの距離Ｄ2 を計算し、標識位置推定部３０９が、画像の撮影時の車両の移動方向及び位置と、標識距離計算部３０７により計算された距離Ｄ1 及び距離Ｄ2 とに基づいて、標識の設置位置を推定する。

Description

標識位置特定システム及びプログラム
　本発明は、撮像装置により撮影された画像に基づいて標識の位置を特定する標識位置特定システムに関する。
　近年、日本を含む世界の主要自動車メーカーが、自動運転システムを搭載した車両の発表や発売を活性化させつつある。自動運転システムの実用化に向けて、道路環境や道路インフラ設備の管理、整備が重要になってくる。特に、道路標識については、自動運転する際に重要な情報となるため、各自治体では標識の種別や位置のデータベース化およびインフラ設備の整備を推し進める動きが活発化している。
　このような道路標識をデータベース化するための情報収集には、人手による現地での現物確認が主な方法である。しかしながら、昨今の人手不足からこのような方法は非効率であるとともに、情報収集には相当の時間を要し、費用としても高額になりがちである。
　道路標識のデータベース化に関し、従前より種々の発明が提案されている。例えば、特許文献１には、標識の認識とその位置を測量計算する機能とを、対話型認識編集システムのメニューから起動できるように構成し、認識処理を編集の前に実施してその標識候補の評価をアイコンの大きさで地図上に表示する発明が開示されている。また、特許文献２には、画像処理装置が、物体およびその位置を示す物体情報が付加される地図情報と、画像内の物体を識別するための複数の異なる識別器を記憶し、対象画像内における物体を検出し、対象画像を撮影した位置である撮影位置と地図情報に付加された物体情報とに基づいていずれかの識別器を選択し、選択した識別器を用いて検出した物体を認識する発明が開示されている。
特開２００８－２８７３７９号公報 特開２０１８－９７７３８号公報
　従来の人手による標識情報の収集では、例えば、標識の種別については目視確認で識別可能であるが、標識の位置（緯度及び経度）については、標識の設置場所に居る状態でＧＰＳ（Global Positioning System）機器等を活用して位置情報を取得する必要があった。また、標識の種別や補助標識の内容などは、仮に情報入力ツールを準備していたとしても、ある程度の手作業による入力をせざるを得なかった。このように、人手による標識情報の収集の作業効率化には限界があり、大幅な改善は期待できない。
　本発明は、上記のような従来の事情に鑑みて為されたものであり、標識の設置位置を自動的に特定して標識情報を収集することが可能な標識位置特定システムを提供することを目的とする。
　上記目的を達成するために、本発明では、標識位置特定システムを以下のように構成した。
　すなわち、移動体に搭載された撮像装置と、移動体の位置を測位する測位装置と、前記撮像装置により撮影された画像を処理する画像処理装置とを備えた標識位置特定システムにおいて、前記画像処理装置は、前記画像から標識を検出する標識検出部と、前記標識検出部により前記画像から標識が検出された場合に、前記撮像装置の画角と、前記画像の解像度と、前記画像内の標識の位置及びサイズと、実際の標識のサイズとに基づいて、前記撮像装置の光軸方向における前記移動体から前記標識までの第１距離と、前記撮像装置の光軸方向に直交する方向における前記移動体から前記標識までの第２距離を計算する距離計算部と、前記画像の撮影時の前記移動体の移動方向及び位置と、前記距離計算部により計算された前記第１距離及び前記第２距離とに基づいて、前記標識の設置位置を推定する標識位置推定部とを備えたことを特徴とする。
　このような構成によれば、移動体の走行中に撮影された画像に基づいて、画像に映された標識の実際の設置位置を推定することができる。したがって、標識情報の収集対象となるエリアを移動体で走行し、その際に撮影された画像を処理するだけで、標識の設置位置を自動的に特定して標識情報を収集することが可能となる。
　なお、前記移動体の移動方向に対する前記撮像装置の光軸方向のズレ量に基づいて前記標識の設置位置を推定してもよい。
　ここで、前記画像内の標識のサイズ及び実際の標識のサイズとして、標識の横幅又は縦幅を用いる構成としてもよい。この場合において、前記画像内の標識の横幅の方が縦幅より長い場合には、前記画像内の標識のサイズ及び実際の標識のサイズとして、標識の横幅を使用し、前記画像内の標識の縦幅の方が横幅より長い場合には、前記画像内の標識のサイズ及び実際の標識のサイズとして、標識の縦幅を使用する構成としてもよい。
　また、前記標識には複数の寸法のものがあるので、寸法の特定を行うようにしてもよい。具体的には、道路の種別に応じて標識の寸法を特定する構成としてもよい。または、道路と標識の位置関係に応じて標識の寸法を特定する構成としてもよい。または、車両の走行に伴う画像内の標識サイズの変化量に応じて標識の寸法を特定する構成としてもよい。
　また、前記画像処理装置は、同一の標識を撮影した複数枚の画像のそれぞれについて前記標識位置推定部により推定された前記標識の設置位置を１地点に集約する標識位置集約部を、更に備えた構成としてもよい。
　本発明によれば、標識の設置位置を自動的に特定して標識情報を収集することが可能な標識位置特定システムを提供することができる。
本発明の一実施形態に係る標識登録システムの概略的な構成例を示す図である。 図１の標識登録システムにおける撮像装置及びＧＰＳ受信機の構成例を示す図である。 図１の標識登録システムにおける画像処理装置の構成例を示す図である。 図１の標識登録システムによる標識登録処理のフローチャート例を示す図である。 標識の検出結果の表示例を示す図である。 標識の形状、色彩、寸法について説明する図である。 標識情報を地図上にプロットした例を示す図である。 車両から標識までの距離の計算及び標識の設置位置の推定の方法について説明する図である。 車両と標識の位置関係について説明する図である。 車両の進行方向と撮像装置の光軸方向とをズラした例を示す図である。
　本発明の一実施形態について、図面を参照して説明する。
　図１には、本発明に係る標識位置特定システムの一実施形態である標識登録システムの概略的な構成を例示してある。本例の標識登録システムは、撮像装置１００と、ＧＰＳ受信機２００と、画像処理装置３００と、記録装置４００と、操作端末５００とを備えている。本例では、これら全てを車両に搭載しているが、撮像装置１００とＧＰＳ受信機２００を除いて、必ずしも車両に搭載する必要はない。撮像装置１００は、本発明に係る撮像装置に対応し、ＧＰＳ受信機２００は、本発明に係る測位装置に対応し、画像処理装置３００は、本発明に係る画像処理装置に対応している。
　撮像装置１００は、道路に沿って設置された標識の撮影を行う装置であり、車両に搭載される。撮像装置１００は、ドライブレコーダーのような車内設置型でもよいし、ＭＭＳ（Mobile Mapping System）に代表される車外設置型でもよい。撮像装置１００としては、水平画角が広いものがよく、解像度も高いものがよく、またフレームレートも高いものがよい。本例では、車両の前方方向を撮影する前方カメラを車両に搭載しているが、他の方向を撮影するカメラを追加しても構わない。
　ＧＰＳ受信機２００は、ＧＰＳ衛星からの電波に基づいて位置（緯度及び経度）を測位する装置であり、車両に搭載される。ＧＰＳ受信機２００は、撮像装置１００に内蔵されてもよいし、撮像装置１００とは別装置として構成されてもよい。また、ＧＰＳ受信機２００に代えて、他の方式で測位を行う測位装置を用いても構わない。
　画像処理装置３００は、撮像装置１００により撮影される映像データを処理する装置である。画像処理装置３００は、撮像装置１００からリアルタイムに得られる映像データを処理してもよいし、事前に撮影されて記録装置４００に記録されている映像データを処理してもよい。画像処理装置３００は、入力された映像データを順次解析し、標識の検出結果を出力する。検出結果は、ＣＳＶ（Comma-Separated Values）等の形式のログとして書き出されるとともに、映像データにも重畳される。検出結果の情報は、例えば、画像上の標識の検出位置の座標、画像上の標識のサイズ（縦幅及び横幅）、標識の種別、標識検出の信頼度、車両（正確には撮像装置１００）から標識までの距離、画像の撮影日時、撮影時の車両位置（緯度及び経度）などがある。また画像処理装置３００は、後述するように、複数の検出結果を集約して標識情報を生成し、マップ上の該当位置にプロットする処理なども行う。
　記録装置４００は、撮像装置１００により撮影された画像や画像処理装置３００による処理結果などを含む各種のデータを記憶する装置である。記録装置４００は、画像処理装置３００や操作端末５００などを含む外部装置からの要求に応じて、該当するデータを提供する。
　操作端末５００は、本システムを使用するオペレータにより操作される端末である。操作端末５００は、据置型の装置であってもよく、スマートホンやタブレット端末などの携帯可能な装置であってもよく、種々の装置を使用することができる。操作端末５００は、撮像装置１００により撮影された画像や画像処理装置３００による処理結果などを含む各種の情報を表示することができる。また、操作端末５００は、タッチパネル、キーボード、マウスなどの入力機器を通じて各種の指示をユーザから受け付けることができる。
　図２には、撮像装置１００及びＧＰＳ受信機２００の構成例を示してある。
　撮像装置１００は、映像撮像部１０１と、画像品質調整部１０２と、画像フレーム内位置情報合成部１０３と、映像出力部１０４とを備えている。ＧＰＳ受信機２００は、ＧＰＳ受信部２０１と、ＧＰＳ情報生成部２０２とを備えている。
　ＧＰＳ受信機２００において、ＧＰＳ受信部２０１は、ＧＰＳ衛星から受信された電波を受信する。ＧＰＳ情報生成部２０２は、ＧＰＳ受信部２０１により受信された電波に基づいて車両の位置（正確にはＧＰＳ受信機２００のアンテナの位置）を測位し、測位結果の位置を示すＧＰＳ情報を生成して出力する。
　撮像装置１００において、映像撮像部１０１は、車両の走行中に車両の前方方向を撮影する。画像品質調整部１０２は、映像撮像部１０１により得られた映像データの画像品質を調整する。画像フレーム内位置情報合成部１０３は、画像品質調整部１０２により品質調整された映像データに対し、ＧＰＳ受信機２００から入力されたＧＰＳ情報を各フレームの画像に付加する処理を施して、映像出力部１０４に出力する。ＧＰＳ情報は、フレーム毎に更新することが好ましいが、一定数のフレーム毎（例えば、５フレーム毎）に更新しても構わない。映像出力部１０４は、ＧＰＳ情報が付加された映像データを出力する。映像データとしては、ｍｐ３、ａｖｉ、Ｈ．２６４など、種々のタイプのものを使用することができる。
　図３には、画像処理装置３００の構成例を示してある。
　画像処理装置３００は、映像受信部３０１と、映像分解部３０２と、標識検出部３０３と、標識識別部３０４と、補助標識検出部３０５と、補助標識識別部３０６と、標識距離計算部３０７と、ＧＰＳ情報抜き出し部３０８と、標識位置推定部３０９と、標識情報集約部３１０と、地図プロット部３１１とを備えている。
　画像処理装置３００において、映像受信部３０１は、撮像装置１００から出力される映像データを受信する。映像分解部３０２は、映像受信部３０１で受信された映像データを各フレームの画像（例えば、ＪＰＥＧ画像）に分解し、標識検出部３０３及びＧＰＳ情報抜き出し部３０８に出力する。標識検出部３０３は、映像分解部３０２から入力された画像に対して標識の検出処理を行う。標識識別部３０４は、標識検出部３０３で検出された標識の種別を識別する。補助標識検出部３０５は、標識検出部３０３で検出された標識に付随する補助標識の検出処理を行う。補助標識識別部３０６は、補助標識検出部３０５で検出された補助標識の種別を識別する。
　標識検出部３０３、標識識別部３０４、補助標識検出部３０５、補助標識識別部３０６は、事前に学習させたモデルを活用するＡＩ（Artificial Intelligence）により実現してもよい。例えば、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）に代表される画像認識処理を用いた深層学習（ディープラーニング）により推論モデルを生成し、標識／補助標識の検出／識別に用いてもよい。なお、補助標識については、定型部分の内容を学習させるだけでもよい。
　標識距離計算部３０７は、車両から標識検出部３０３で検出された標識までの距離を計算する。ＧＰＳ情報抜き出し部３０８は、映像分解部３０２から入力された画像からＧＰＳ情報を抜き出す。標識位置推定部３０９は、標識距離計算部３０７で計算された距離と、ＧＰＳ情報抜き出し部３０８で得られたＧＰＳ情報（車両の位置）とを用いて、標識検出部３０３で検出された標識の設置位置を推定する。
　ここで、車両が標識に近づいて通り過ぎるまでに複数フレームの画像が得られるので、１つの標識に関して複数の検出結果が得られることになる。そこで、標識情報集約部３１０は、標識の種別、標識までの距離などを元にして、複数フレームの画像について標識を追跡する。そして、同一の標識について上記の各処理部３０３～３０９によって得られた複数の検出結果を集約し、標識情報を生成する。標識情報には、標識の種別（及び補助標識の種別）と、その標識の設置位置として最も確からしい１地点の位置情報とが含まれる。地図プロット部３１１は、標識情報集約部３１０で生成された標識情報を地図上にプロットする。
　本例の標識認識システムによる標識登録処理の手順について、図４に示すフローチャートを用いて説明する。
　まず、撮像装置１００及びＧＰＳ受信機２００を車両に正しく設置する。また、撮像装置１００の映像が正しい画角に収まっていることを事前に確認しておく。撮像装置１００は、車両のエンジンの起動に連動して起動してもよいし、手動で起動してもよい。また、ＧＰＳ受信機２００の動作を確認（ステップＳ１００，Ｓ１０２）し、ＧＰＳ衛星からの電波を正しく受信できている場合に、車両の走行を開始する（ステップＳ１０４）。
　車両の走行中、撮像装置１００によって車両の前方方向の撮影が行われる。このとき、撮像装置１００に連動したＧＰＳ受信機２００が、撮像装置１００の撮影タイミングと同期して動作し、ＧＰＳ情報を生成して撮像装置１００に出力する。撮像装置１００は、撮影した映像にＧＰＳ情報を付加し、記録装置４００に出力して記録させる（ステップＳ１０６）。
　撮像装置１００から出力される映像データは画像処理装置３００にも入力され、画像処理装置３００で以下の処理がリアルタイムに行われる。なお、走行の終了後に、画像処理装置３００が記録装置４００から映像データを読み出して、以下の処理を行うようにしてもよい。
　まず、映像分解部３０２で、映像受信部３０１により受信された映像データが各フレームの画像に分解される。
　次いで、標識検出部３０３で、映像分解部３０２により映像データから分解された各フレームの画像に対し、標識の検出処理が行われる（ステップＳ１０８）。標識の検出処理では、画像から標識の可能性がある画像領域を検出すると共に検出結果の信頼度を算出し、信頼度が所定の閾値以上か否かを判定する（ステップＳ１１０）。そして、信頼度が閾値以上の場合に、その画像領域に映されているものが標識であると判断する。これは、標識の誤検出をなるべく少なくするためである。図５には、標識の検出結果の表示例を示してある。同図では、駐車禁止の標識が検出されたことを示す文字列「ｎｏ＿ｐａｒｋｉｎｇ」と、検出結果の信頼度を示す数値「７８％」が、画像内の標識と判断された画像領域の付近に重畳して表示されている。
　標識検出部３０３により画像から標識が検出されると、標識識別部３０４で、標識の種別の識別処理が行われる（ステップＳ１１２）。図６に示すように、標識の種別に応じて標識の形状、色彩、図柄などが異なるので、画像から検出した標識の形状、色彩、図柄などを解析することで、標識の種別を識別することができる。
　また更に、補助標識検出部３０５で、標識に付随する補助標識の検出処理が行われる（ステップＳ１１４）。補助標識の検出処理は、標識の上部又は下部の画像領域に着目して行われる。補助標識は必ず標識とセットで設置されるので、標識を検出できた後に領域を絞って検出処理を行うことで、補助標識の検出精度の向上を図ることができる。
　補助標識検出部３０５により補助標識が検出されると、補助標識識別部３０６で、補助標識の識別処理も行われる。補助標識は、図柄、定型の文字列もしくは任意の文字列で構成されている。図柄及び定型の文字列については、予め学習させたモデルを活用してＡＩにて識別することができる。また、任意の文字列については、補助標識の領域に対してＯＣＲ（Optical Character Reader）処理を行い、文字列の内容を認識すればよい。
　次いで、標識距離計算部３０７で、車両から標識検出部３０３で検出された標識までの距離が計算される（ステップＳ１１６）。また、標識位置推定部３０９で、標識の設置位置が推定される（ステップＳ１１８）。標識までの距離の計算及び標識の設置位置の推定の詳細については後述する。
　次いで、標識情報集約部３１０で、同一の標識について得られた複数の設置位置を集約して、その標識の設置位置として最も確からしい１地点の位置を特定し、標識の種別（及び補助標識の種別）と１地点に集約した位置情報とを含む標識情報が生成される（ステップＳ１２０）。
　複数の設置位置を集約する処理は、例えば、複数の設置位置の単純平均を取る手法により行うことができる。また、距離に応じて重み付け（距離が近いほど大きい値を乗算）したものを平均する手法、標識検出の信頼度に応じた重み付け（信頼度が高いほど大きい値を乗算）したものを平均する手法、距離が近い順や信頼度が高い順に選び出したものを平均する手法、これらの組み合わせなど、種々の手法により行うことができる。
　なお、複数の設置位置を集約する際に、地図情報に基づいて、明らかに異常な設置位置を除外してもよい。明らかに異常な設置位置としては、例えば、標識の設置位置が建物上の場合、標識の設置位置が道路上の場合（拡大寸法の標識は除く）が挙げられる。
　また、車速が一定して安定した走行をしている場合には、緯度・経度・方向などのＧＰＳ情報をマッピングすることで、軌跡を描くように車両の走行ルートを表現できる。しかしながら、曲がる場合などのように車両の速度が低下するに伴って、実際にはＧＰＳ情報と車両の位置とがずれやすくなる傾向にある。さらに、一定のフレームレートで撮影している一方で、車両は低速になっていく。例えば、ある標識を撮像装置が捉えている場合、当該標識の画面上の位置があまり移動しない一方、当該標識が画面に映りこむ時間が長くなる。すると、突然これまでの走行方向とは逆方向に標識が位置するといった誤推定や、ＧＰＳの方向のずれによる誤推定が発生しやすくなる。特にＧＰＳ情報の更新間隔が長い場合、車両の方向が変わるシーンでの誤推定はより発生しやすくなる。
　そこで、標識情報集約部３１０は、特に車両の速度が低下することを検知した場合には、車両が曲がることや停止することを想定し、フレーム単位で位置を算出するのではなく、ある程度蓄積した映像データの画像フレームとＧＰＳ情報を活用して、ＧＰＳ情報の信頼性を検証する。つまり、標識情報集約部３１０は、蓄積したＧＰＳ情報から、明らかに位置が逸脱しているタイミングのＧＰＳ情報を省いた状態で位置推定処理を行うようにする。換言すると、標識情報集約部３１０は、ＧＰＳ情報が車両の走行ルートから明らかに逸脱した位置を示している際に標識位置推定部３０９によって算出された標識の位置情報は除外する。なお、位置の逸脱は、時間軸と方向から追跡した場合、位置が逆転しているパターンや、方向が例えば１８０度異なるパターンなどがある。
　次いで、地図プロット部３１１で、標識情報集約部３１０で生成された標識情報が地図上にプロットされる（ステップＳ１２２）。図７には、標識情報を地図上にプロットした例を示してある。同図では、１地点に特定した標識の設置位置を▼印で地図上にプロットしてある。また、参考として、その標識について得られた他の推定位置を▽印で地図上にプロットしてある。
　以上により、地図をベースにした標識データベースを作成することができる。
　車両から標識までの距離の計算及び標識の設置位置の推定の方法について、図８、図９を参照して説明する。なお、図６に示すように、同一の標識でも異なる寸法（例えば、倍率２／３、１．０、１．５、２．０）のものが存在しているので、標識を検出した際にその寸法も特定する必要がある。ここでは、標準寸法の標識が検出された場合を例にして説明し、標識の寸法の特定の方法については後述する。また、撮像装置１００は、その光軸方向を車両の進行方向に一致させてあるものとする（すなわち、車両の移動方向に対する撮像装置１００の光軸方向のズレ量が０度）。
　車両の位置をＰ1 、標識の位置をＰ2 、車両の進行方向に延びる直線（撮像装置１００の光軸）をＬ1 、直線Ｌ1 に直交して標識の位置Ｐ2 を通る直線をＬ2 、直線Ｌ1 と直線Ｌ2 との交点をＰ3 とする（図９参照）。また、画像は、左上を原点Ｏ（０，０）とし、横方向の軸をＸ軸、縦方向の軸をＹ軸とする（図８参照）。
　ここで、画像の水平解像度をＨ［ｐｉｘ］、画像内の標識の横幅をｗ［ｐｉｘ］、実際の標識の横幅をＷ［ｍ］とすると、標識の設置位置における水平方向の撮影範囲長ＤH ［ｍ］（すなわち、撮影できる直線Ｌ2 の長さ）は、下記（式１）により算出することができる。
　ＤH ＝Ｈ×Ｗ／ｗ　　・・・（式１）
　また、撮像装置の水平画角をθ［°］とすると、車両の位置Ｐ1 から交点Ｐ3 までの距離（すなわち、撮像装置１００の光軸方向における車両から標識までの距離）Ｄ1 は、下記（式２）により算出することができる。
　Ｄ1 ＝（ＤH ／２）／ｔａｎ（θ／２）　　・・・（式２）
　また、画像内の標識の中心座標を（ｘ，ｙ）、すなわち、標識中心の横方向の座標をｘとすると、画像の縦方向の中心線Ｃ（直線Ｌ1 に一致する）から標識中心までの距離ｄは、下記（式３）により算出することができる。
　ｄ＝Ｈ／２－ｘ　　・・・（式３）
　そして、交点Ｐ3 から標識の位置Ｐ2 までの距離（すなわち、撮像装置１００の光軸方向に直交する方向における車両から標識までの距離）Ｄ2 は、下記（式４）により算出することができる。
　Ｄ2 ＝ＤH×ｄ／Ｈ　　・・・（式４）
　したがって、車両から標識までの直線方向の距離Ｄ3 は、下記（式５）により算出することができる。
　Ｄ3 ＝√（ＤA 2＋ＤB 2）　　・・・（式５）
　例えば、撮像装置の水平画角θ＝１００［°］、画像の水平解像度Ｈ＝１９２０［ｐｉｘ］、画像内の標識中心の横方向の座標ｘ＝７２４［ｐｉｘ］、画像内の標識の横幅ｗ＝３２［ｐｉｘ］、実際の標識の横幅Ｗ＝０．６［ｍ］とすると、Ｄ1 ≒１６．４［ｍ］、Ｄ2 ≒４．５［ｍ］となり、Ｄ3 ≒１７．０［ｍ］となる。したがって、標識の位置Ｐ2 は、車両の位置Ｐ1 から車両の進行方向に１６．４ｍ、左方向に４．５ｍの位置にあると推定できる。
　このように、撮像装置の水平画角θと、画像の水平解像度Ｈと、画像内の標識中心の横方向の座標ｘと、画像内の標識の横幅ｗと、実際の標識の横幅Ｗとに基づいて、車両の位置Ｐ1 から交点Ｐ3 までの距離Ｄ1 と、交点Ｐ3 から標識の位置Ｐ2 までの距離Ｄ2 と、車両の位置Ｐ1 から標識の位置Ｐ2 までの直線方向の距離Ｄ3 を算出することができる。また、車両の位置Ｐ1 を、車両の進行方向に一致する撮像装置１００の光軸方向（直線Ｌ1 の方向）に距離Ｄ1 分だけシフトさせ、更に、前記光軸方向に直交する方向（直線Ｌ2 の方向）に距離Ｄ2 分だけシフトさせることで、標識の位置Ｐ2 を得ることができる。あるいは、車両の位置Ｐ1 を、前記光軸方向に対してα度を傾けた方向に距離Ｄ3 分だけシフトさせることによっても、標識の位置Ｐ2 を得ることができる。
　ここで、上記の説明では、車両の進行方向と撮像装置１００の光軸方向とを一致させた構成となっているが、図１０に例示するように、車両の進行方向と撮像装置１００の光軸方向とをズラした構成とすることもできる。この場合には、例えば、車両の移動方向Ａ1 に対する撮像装置１００の光軸方向Ａ2 のズレ量（＝β度）を予め測定して保持しておき、上記で算出した標識の位置Ｐ2 を、車両の位置Ｐ1 を中心にしてβ度回転させる座標回転により補正すればよい。
　また、上記の説明では、標識の横幅を使用して距離の算出を行っているが、標識のサイズを表す他の要素（例えば、縦幅）を使用して距離の算出を行っても構わない。一例として、標識の縦幅を使用する場合には、上記（式１）における横幅ｗ及びＷを、画像内の標識の縦幅と実際の標識の縦幅に置き換えて計算すればよい。
　また、標識の設置態様によっては画像に映った標識の横幅と縦幅が大きく異なることがあるが、この場合は、標識の横幅と縦幅のうちの長い方を使用して計算することで、より正確に距離の算出を行うことができる。なお、標識の横幅と縦幅は、基本的には単純に比較すればよいが、標識の形状が五角形のもの（横断歩道を表す標識など）については、上側の三角部分について横幅と縦幅の比較を行えばよい。
　次に、標識の寸法の特定の方法について幾つか説明する。
（１）道路の種別による特定
　標識の寸法は、道路の種別（道路の設計速度や車線数など）に応じて決定されることが多い。したがって、道路の種別が分かれば、標識の寸法をある程度特定することが可能である。そこで、標識距離計算部３０７は、道路の種別が紐づけられた道路データを持つ地図データベースを利用して、標識の寸法を特定するようにしてもよい。この場合、標識距離計算部３０７は道路の種別と標識の寸法との対応テーブルを予め保持する。または、標識距離計算部３０７は、道路の車線数を画像解析により特定し、車線数に応じて標識の寸法を特定するようにしてもよい。この場合、標識距離計算部３０７は車線数と標識の寸法との対応テーブルを予め保持する。
（２）道路と標識の位置関係による特定
　車線数が少ない道路の場合は、道路の左側に標準寸法の標識が設置されるが、車線数が多い道路の場合は、道路の上に拡大寸法（主に１．５倍）の標識が設置されることが多い。したがって、道路と標識の位置関係が分かれば、標識の寸法をある程度特定することが可能である。そこで、標識距離計算部３０７は、画像内での標識の位置が画像左側の場合は、標準寸法の標識であると判断し、画像内での標識の位置が画像中央の場合は、拡大寸法の標識であると判断するようにしてもよい。ただし、標識が車両から遠い場合は画像中央に標識が位置するので、標識がある程度大きく映った画像（好ましくは、標識が最も大きく映った画像）を用いて、標識と道路の位置関係を判断する必要がある。または、映像データにおける標識の軌跡を分析し、標識が画像の左方向に向かって移動する軌跡を描く場合は、標準寸法の標識であると判断し、標識が画像の上方向に向かって移動する軌跡を描く場合は、拡大寸法の標識であると判断してもよい。
（３）車両の走行に伴う画像内の標識サイズの変化量による特定
　車両の走行に伴って画像内の標識サイズが次第に増加していくが、その変化量（増加量）は標識の寸法に応じて異なる。すなわち、標識が最初に検出された時点での車両と標識の距離は、標準寸法の標識よりも拡大寸法の標識の方が大きい（つまり、拡大寸法の標識の方がより遠くで検出される）が、その後の画像内の標識サイズの変化量は、拡大寸法の標識よりも標準寸法の標識の方が大きい。そこで、システム運用前に、車両の走行に伴う画像内の標識サイズの変化量を標識の寸法毎に測定してデータ化しておき、標識距離計算部３０７は、システム運用時に車両の走行中に得られた複数枚の画像に基づいて画像内の標識サイズの変化量を算出し、データ化しておいたものと照らし合わせることで、標識の寸法を特定するようにしてもよい。
　なお、上述した標識の寸法の特定の方法は例示にすぎず、他の方法により標識の寸法を特定しても構わない。また、標識は、実際には標準寸法（倍率１．０倍）のものが過半数を占めているので、一律に標準寸法の標識とみなして処理しても、ある程度の精度で標識の設置位置を特定することが可能である。
　以上説明したように、本例の標識登録システムは、車両に搭載された撮像装置１００と、車両の位置を測位するＧＰＳ受信機２００と、撮像装置１００により撮影された画像を処理する画像処理装置３００とを備えている。そして、本例の画像処理装置３００では、標識検出部３０３が、画像から標識を検出し、標識距離計算部３０７が、標識検出部３０３により画像から標識が検出された場合に、撮像装置１００の画角と、画像の解像度と、画像内の標識の位置及びサイズと、実際の標識のサイズとに基づいて、撮像装置１００の光軸方向における車両から標識までの距離Ｄ1 と、撮像装置１００の光軸方向に直交する方向における車両から標識までの距離Ｄ2 を計算し、標識位置推定部３０９が、車両の進行方向に対する撮像装置１００の光軸方向のズレ量と、画像の撮影時の車両の進行方向及び位置と、標識距離計算部３０７により計算された距離Ｄ1 及び距離Ｄ2 とに基づいて、標識の設置位置を推定するように構成されている。
　このような構成により、車両の走行中に撮影された画像に基づいて、画像に映された標識の実際の設置位置を推定することができる。したがって、標識情報の収集対象となるエリアを車両で走行し、その際に撮影された画像を処理するだけで、標識の設置位置を自動的に特定して標識情報を収集することが可能となる。
　また、本例の画像処理装置３００では、標識情報集約部３１０が、同一の標識を撮影した複数枚の画像のそれぞれについて標識位置推定部３０９により推定された標識の設置位置を、１地点に集約するように構成されている。したがって、標識の設置位置を、より精度よく特定することが可能となる。
　なお、本例の画像処理装置３００は、ＣＰＵ（Central Processing Unit）などのプロセッサやメモリを含むハードウェア資源を備えたコンピュータにより構成され、メモリに予め格納されたプログラムをプロセッサで実行することで、それぞれの機能が実現される構成となっている。すなわち、本発明に係る標識検出部、距離計算部、標識位置推定部、標識位置集約部の各機能に関するプログラムを実行することで、標識検出部３０３、標識距離計算部３０７、標識位置推定部３０９、標識情報集約部３１０を実現している。
　ここで、上記の説明では、車両の前方側を撮影する前方カメラを用いて、車両の進行方向用に設置された標識を撮影しているが、車両の後方側を撮影する後方カメラを用いて、対向車線用に設置された標識を撮影し、標識を認識して位置特定するようにしてもよい。
　また、上記の説明では、道路に沿って設置された標識（道路標識）を車両の走行中に撮影しているが、線路に沿って設置された標識（線路標識）を列車の走行中に撮影し、標識を認識して位置特定するようにしてもよい。
　以上、本発明を標識登録システムに利用する場合を例にして説明したが、本発明はこのような例に限定されるものではなく、上記以外にも広く適用することができることは言うまでもない。
　また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式をプロセッサやメモリ等のハードウェア資源を有するコンピュータにより実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。
　本発明は、撮像装置により撮影された画像に基づいて標識の位置を特定する標識位置特定システムに利用することができる。
　１００：撮像装置、　２００：ＧＰＳ受信機、　３００：画像処理装置、　４００：記録装置、　５００：操作端末、
　１０１：映像撮像部、　１０２：画像品質調整部、　１０３：画像フレーム内位置情報集約部、　１０４：映像出力部、
　２０１：ＧＰＳ受信部、　２０２：ＧＰＳ情報生成部、
　３０１：映像受信部、　３０２：映像分解部、　３０３：標識検出部、　３０４：標識識別部、　３０５：補助標識検出部、　３０６：補助標識識別部、　３０７：標識距離計算部、　３０８：ＧＰＳ情報抜き出し部、　３０９：標識位置推定部、　３１０：標識情報集約部、　３１１：地図プロット部

 

Claims (9)

  1. 　移動体に搭載された撮像装置と、移動体の位置を測位する測位装置と、前記撮像装置により撮影された画像を処理する画像処理装置とを備えた標識位置特定システムにおいて、
    　前記画像処理装置は、
    　前記画像から標識を検出する標識検出部と、
    　前記標識検出部により前記画像から標識が検出された場合に、前記撮像装置の画角と、前記画像の解像度と、前記画像内の標識の位置及びサイズと、実際の標識のサイズとに基づいて、前記撮像装置の光軸方向における前記移動体から前記標識までの第１距離と、前記撮像装置の光軸方向に直交する方向における前記移動体から前記標識までの第２距離を計算する距離計算部と、
    　前記画像の撮影時の前記移動体の移動方向及び位置と、前記距離計算部により計算された前記第１距離及び前記第２距離とに基づいて、前記標識の設置位置を推定する標識位置推定部とを備えたことを特徴とする標識位置特定システム。
  2. 　請求項１に記載の標識位置特定システムにおいて、
    　前記標識位置推定部は、前記移動体の移動方向に対する前記撮像装置の光軸方向のズレ量に基づいて、前記標識の設置位置を推定することを特徴とする標識位置特定システム。
  3. 　請求項１に記載の標識位置特定システムにおいて、
    　前記画像内の標識のサイズ及び実際の標識のサイズとして、標識の横幅又は縦幅を用いることを特徴とする標識位置特定システム。
  4. 　請求項３に記載の標識位置特定システムにおいて、
    　前記画像内の標識の横幅の方が縦幅より長い場合には、前記画像内の標識のサイズ及び実際の標識のサイズとして、標識の横幅を使用し、
    　前記画像内の標識の縦幅の方が横幅より長い場合には、前記画像内の標識のサイズ及び実際の標識のサイズとして、標識の縦幅を使用することを特徴とする標識位置特定システム。
  5. 　請求項１に記載の標識位置特定システムにおいて、
    　前記標識には複数の寸法のものがあり、
    　道路の種別に応じて標識の寸法を特定することを特徴とする標識位置特定システム。
  6. 　請求項１に記載の標識位置特定システムにおいて、
    　前記標識には複数の寸法のものがあり、
    　道路と標識の位置関係に応じて標識の寸法を特定することを特徴とする標識位置特定システム。
  7. 　請求項１に記載の標識位置特定システムにおいて、
    　前記標識には複数の寸法のものがあり、
    　車両の走行に伴う画像内の標識サイズの変化量に応じて標識の寸法を特定することを特徴とする標識位置特定システム。
  8. 　請求項１に記載の標識位置特定システムにおいて、
    　前記画像処理装置は、同一の標識を撮影した複数枚の画像のそれぞれについて前記標識位置推定部により推定された前記標識の設置位置を１地点に集約する標識位置集約部を、更に備えたことを特徴とする標識位置特定システム。
  9. 　移動体に搭載された撮像装置によって撮影された画像を処理するコンピュータに、
    　前記画像から標識を検出する標識検出機能と、
    　前記標識検出機能により前記画像から標識が検出された場合に、前記撮像装置の画角と、前記画像の解像度と、前記画像内の標識の位置及びサイズと、実際の標識のサイズとに基づいて、前記撮像装置の光軸方向における前記移動体から前記標識までの第１距離と、前記撮像装置の光軸方向に直交する方向における前記移動体から前記標識までの第２距離を計算する距離計算機能と、
    　前記画像の撮影時の前記移動体の移動方向及び位置と、前記距離計算機能により計算された前記第１距離及び前記第２距離とに基づいて、前記標識の設置位置を推定する標識位置推定機能とを実現させるためのプログラム。
PCT/JP2019/013133 2019-03-27 2019-03-27 標識位置特定システム及びプログラム WO2020194570A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/431,952 US20210383141A1 (en) 2019-03-27 2019-03-27 Sign position identification system and program
JP2021508524A JP6916975B2 (ja) 2019-03-27 2019-03-27 標識位置特定システム及びプログラム
PCT/JP2019/013133 WO2020194570A1 (ja) 2019-03-27 2019-03-27 標識位置特定システム及びプログラム
EP19922154.0A EP3913599A4 (en) 2019-03-27 2019-03-27 SYSTEM AND PROGRAM FOR IDENTIFYING SIGN POSITIONS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/013133 WO2020194570A1 (ja) 2019-03-27 2019-03-27 標識位置特定システム及びプログラム

Publications (1)

Publication Number Publication Date
WO2020194570A1 true WO2020194570A1 (ja) 2020-10-01

Family

ID=72609691

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/013133 WO2020194570A1 (ja) 2019-03-27 2019-03-27 標識位置特定システム及びプログラム

Country Status (4)

Country Link
US (1) US20210383141A1 (ja)
EP (1) EP3913599A4 (ja)
JP (1) JP6916975B2 (ja)
WO (1) WO2020194570A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230360258A1 (en) * 2022-05-04 2023-11-09 Qualcomm Incorporated Estimating and transmitting objects captured by a camera
CN117109599B (zh) * 2023-10-24 2024-01-02 交通运输部公路科学研究所 基于路侧二维码的车辆辅助定位方法、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07220194A (ja) * 1994-02-07 1995-08-18 Fujitsu Ltd 道路環境認識装置
JP2008287379A (ja) 2007-05-16 2008-11-27 Hitachi Ltd 道路標識データ入力システム
JP2018036225A (ja) * 2016-09-02 2018-03-08 株式会社Ｓｏｋｅｎ 状態推定装置
JP2018097738A (ja) 2016-12-15 2018-06-21 株式会社日立製作所 画像処理装置、画像処理システム、および画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP4762026B2 (ja) * 2006-03-29 2011-08-31 株式会社ディーイーテック 道路標識データベース構築装置
DE102016118538A1 (de) * 2016-09-29 2018-03-29 Valeo Schalter Und Sensoren Gmbh Verfahren zum Klassifizieren eines Verkehrszeichens in einem Umgebungsbereich eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07220194A (ja) * 1994-02-07 1995-08-18 Fujitsu Ltd 道路環境認識装置
JP2008287379A (ja) 2007-05-16 2008-11-27 Hitachi Ltd 道路標識データ入力システム
JP2018036225A (ja) * 2016-09-02 2018-03-08 株式会社Ｓｏｋｅｎ 状態推定装置
JP2018097738A (ja) 2016-12-15 2018-06-21 株式会社日立製作所 画像処理装置、画像処理システム、および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3913599A4

Also Published As

Publication number Publication date
JP6916975B2 (ja) 2021-08-11
EP3913599A1 (en) 2021-11-24
US20210383141A1 (en) 2021-12-09
JPWO2020194570A1 (ja) 2021-09-13
EP3913599A4 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
Grassi et al. Parkmaster: An in-vehicle, edge-based video analytics service for detecting open parking spaces in urban environments
US11094112B2 (en) Intelligent capturing of a dynamic physical environment
CN107563419B (zh) 图像匹配和二维码相结合的列车定位方法
US10303960B2 (en) Image processing device, alarming apparatus, image processing system, and image processing method
WO2018153304A1 (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
US8781732B2 (en) Apparatus and method for recognizing position of moving object
JP4380838B2 (ja) ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識プログラム
JP5404861B2 (ja) 静止物地図生成装置
JP5388082B2 (ja) 静止物地図生成装置
KR101261409B1 (ko) 영상 내 노면표시 인식시스템
JP2018018461A (ja) 情報処理装置、表示装置、情報処理方法、及びプログラム
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
CN108364466A (zh) 一种基于无人机交通视频的车流量统计方法
KR20210081983A (ko) 카메라 기반의 자동화된 정밀도로지도 생성 시스템 및 방법
CN107421540A (zh) 一种基于视觉的移动机器人导航方法及系统
JP6647171B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6916975B2 (ja) 標識位置特定システム及びプログラム
JP2009217832A (ja) ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識のプログラムを記憶した記憶媒体
JP2012215442A (ja) 自位置特定システム、自位置特定プログラム及び自位置特定方法
JP5435294B2 (ja) 画像処理装置及び画像処理プログラム
CN110764526B (zh) 一种无人机飞行控制方法及装置
JP2022124993A (ja) 識別装置、識別プログラム、および識別方法
Suganuma et al. Current status and issues of traffic light recognition technology in Autonomous Driving System
Novais et al. Community based repository for georeferenced traffic signs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19922154

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021508524

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019922154

Country of ref document: EP

Effective date: 20210817

NENP Non-entry into the national phase

Ref country code: DE