WO2009131210A1 - 物体認識装置、および物体認識方法 - Google Patents

物体認識装置、および物体認識方法 Download PDF

Info

Publication number
WO2009131210A1
WO2009131210A1 PCT/JP2009/058161 JP2009058161W WO2009131210A1 WO 2009131210 A1 WO2009131210 A1 WO 2009131210A1 JP 2009058161 W JP2009058161 W JP 2009058161W WO 2009131210 A1 WO2009131210 A1 WO 2009131210A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
object recognition
unit
images
manhole
Prior art date
Application number
PCT/JP2009/058161
Other languages
English (en)
French (fr)
Inventor
將裕 清原
耕太 入江
直樹 興梠
門司　竜彦
宜孝 高橋
彰二 村松
Original Assignee
株式会社 日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 日立製作所 filed Critical 株式会社 日立製作所
Priority to US12/918,042 priority Critical patent/US8818026B2/en
Priority to EP09734385.9A priority patent/EP2282295B1/en
Publication of WO2009131210A1 publication Critical patent/WO2009131210A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees

Definitions

  • the present invention relates to a technique for detecting an object using an image.
  • a technique is known in which an object on a road surface is detected from a captured image from an imaging device mounted on the own vehicle, and a relative position of the own vehicle is determined.
  • a light reflecting sign is obtained by capturing images of when the strobe is lit and when not lit using an imaging device mounted on the host vehicle, and comparing these images. Techniques for detecting are described. Japanese Patent Laid-Open No. 7-152434
  • the present invention provides a technique that does not require a strobe and can detect an object on the road surface with a simple configuration.
  • an object recognition device includes: an imaging unit mounted on a moving body; an image generation unit that converts images captured at different times of the imaging unit into composite images looking down from the vertical direction; A detection unit that detects a corresponding region by comparing a plurality of synthesized images and a recognition unit that recognizes an object existing on the road surface from a difference between the corresponding regions.
  • the detection unit detects a region from a moving amount of the moving body between a plurality of composite images.
  • the detection unit includes a sensor that detects at least one of the vehicle speed, the acceleration, and the angular velocity, and at least one of the sensors is included. It is preferable to calculate the amount of movement of the moving body by using it.
  • the detection unit detects a feature point included in the plurality of composite images, and calculates the movement amount of the moving object from the movement amount of the feature point.
  • the recognition unit adds the corresponding regions to generate an added image, and recognizes an object existing on the road surface from the added image. Is preferred.
  • the object recognized by the recognition unit is preferably a manhole.
  • the object recognized by the recognition unit is preferably a road marking.
  • a step of converting images captured at different time points into a composite image looking down from the vertical direction and a plurality of composite images are compared, and a corresponding region is determined.
  • a step of detecting, and a step of recognizing an object existing on the road surface from a difference between corresponding regions are compared.
  • the object recognition device of the present invention can provide a technology that does not require a strobe and can recognize an object on a road surface with a simple configuration.
  • FIG. 3 is a block diagram showing an electrical configuration of the object recognition apparatus 10.
  • FIG. 1 is a block diagram showing a functional configuration of an object recognition system 1 according to the first embodiment of the present application.
  • the object recognition system 1 includes an object recognition device 10, a car navigation device 20, a vehicle speed pulse sensor 30, and an in-vehicle camera 40.
  • the car navigation device 20 will be described. Note that the object recognition device 10 and the car navigation device 20 may be integrated into the same device.
  • the car navigation device 20 detects the position of the host vehicle using, for example, a GPS (Global Positioning System), a self-contained navigation device such as a vehicle speed pulse and a gyro, and provides a route guidance to the destination. It is a device to perform.
  • GPS Global Positioning System
  • a self-contained navigation device such as a vehicle speed pulse and a gyro
  • the car navigation device 20 includes a storage unit 21, a control unit 22, a GPS reception unit 23, and an interface unit 24 (hereinafter referred to as an I / F unit).
  • the storage unit 21 stores in advance map data 210 that is a road map of the whole country.
  • the map data 210 is a database configured as shown in FIG. 2, for example.
  • FIG. 2 is a schematic diagram of the map data 210.
  • the map data 210 is a set of regional map information 211 divided into meshes.
  • the map information 211 is information representing a connection relationship between a node which is a point where the intersection, the number of lanes, and the width change within a predetermined area and a link which is a vector connecting adjacent nodes.
  • Each link is managed by a link table 212.
  • the information stored in the link table 212 generally includes the following information. For example, link ID; coordinates of link both ends (start node / end node); feature information such as distance, direction, width, and the like.
  • the link table 212 further has manhole information 213 in addition to the above.
  • the manhole information 213 includes a manhole ID 214a that is an identifier of a manhole existing in the link, coordinate information 214b that specifies the position of the manhole, type information 214c that specifies the type of manhole, and size information that specifies the size of the manhole. 214d.
  • the manhole information 213 as described above is output to the object recognition apparatus 10 by the control unit 22.
  • the control unit 22 specifies manhole information 213 of manholes existing around the host vehicle, and outputs the manhole information 213 to the object recognition device 10 via the I / F unit 24.
  • control unit 22 detects manhole information 213 that is present within a predetermined range centered on the current position of the host vehicle at regular intervals and on a continuous road connected from the link at the current position. This is output to the condition setting unit 121 of the object recognition apparatus 10. If no manhole information is detected, a non-detection signal is output.
  • control unit 22 may determine the traveling direction of the host vehicle and extract and output only the manhole information 213 of the manhole that exists within a certain range of the traveling destination. In addition, when the car navigation device 20 is executing route guidance, the control unit 22 may extract only manhole information 213 of manholes existing within a certain range on the guidance destination route.
  • control unit 22 corrects the vehicle position in cooperation with the position information output from the object recognition device 10.
  • the GPS receiver 23 receives a signal from a GPS (Global Positioning System) satellite.
  • GPS Global Positioning System
  • the car navigation device 20 also receives a road traffic information distributed from a VICS (Vehicle Information and Communication System) center via beacons laid on the road or FM broadcast stations in various places. Etc. may be provided.
  • VICS Vehicle Information and Communication System
  • the I / F unit 24 is an interface for communicating with the object recognition apparatus 10 and may use any communication method.
  • the object recognition device 10 includes a storage unit 11, a control unit 12, and an I / F unit 13.
  • the storage unit 11 includes an image storage area 111 and a conversion table storage area 112.
  • the image storage area 111 stores a frame image output from the in-vehicle camera 40 and a bird's-eye view image generated from the frame image.
  • 3A and 3B are schematic diagrams of a frame image and an overhead image.
  • the frame image is a captured image output according to the frame rate from the in-vehicle camera 40 (see 90A and 90B in FIG. 3A), and the bird's-eye view image looks down on the frame image generated by the image generation unit 122 in the vertical direction.
  • FIG. 4 is a plan view (when viewed from the sky perpendicularly to the ground, a plan view; see FIGS. 3B and 91A and 91B). These are acquired and generated by the image generation unit 122 and stored in the image storage area 111.
  • the conversion table storage area 112 stores a conversion table (not shown) necessary for generating an overhead image from a captured image (frame image).
  • the conversion table for example, the coordinate position of each pixel of the frame image is associated with the coordinate position of each pixel of the overhead image, and correction parameters for correcting the angle difference and lens distortion are arranged here. Is.
  • the correction parameters are, for example, the camera installation position, installation angle, lens distortion, CCD size, and the like, and are uniquely determined based on the optical characteristics of the lens, camera settings, and the like. Note that the conversion table may be acquired from another apparatus via the I / F unit 13.
  • the control unit 12 includes a condition setting unit 121 that sets digital image processing conditions, an image generation unit 122 that converts an image from a vehicle-mounted camera into an overhead image, and an object recognition unit 123 that detects a metal object included in the overhead image. And a position information generation unit 124 that specifies the position of the host vehicle relative to the metal object.
  • the condition setting unit 121 sets the content of preprocessing executed by the image generation unit 122 based on the frame image accumulated in the image storage area 111 and the imaging environment of the image. Specifically, upon receiving the manhole information 213 from the car navigation device 20, the condition setting unit 121 first requests the image generation unit 122 to start processing.
  • condition setting part 121 requests
  • the condition setting unit 121 detects the current vehicle speed based on the pulse signal from the vehicle speed pulse sensor 30. Furthermore, the condition setting unit 121 acquires environmental information such as weather and time from a server using a wireless communication network such as a mobile phone network. Then, settings relating to preprocessing conditions executed by the image generation unit 122 and image processing executed by the object recognition unit 123 are performed.
  • the preprocessing executed by the image generation unit 122 is a part of digital image processing such as filtering and gamma correction.
  • condition setting unit 121 calculates the amount of noise on the screen, and if the amount of noise is large, the necessity of noise removal processing (filtering with various smoothing filters) at the preprocessing stage executed by the image generation unit 122 Is determined, and it is determined whether or not the image generation unit 122 is to execute it.
  • condition setting unit 121 sets a parameter for determining the gamma correction strength.
  • condition setting unit 121 determines an area where halation is generated due to ambient light.
  • the condition setting unit 121 Since halation is caused in a certain region of the captured image by a headlight of a subsequent vehicle, the condition setting unit 121 has a pixel that shows a value equal to or higher than a predetermined luminance value for a certain time at night. This is specified as a halation region.
  • condition setting unit 121 compares the luminance value of the latest frame image with the luminance value of the frame image for a certain period in the past, and an area having a luminance value equal to or greater than a predetermined value continuously. Detect if it exists. When the region as described above exists in the frame image, the condition setting unit 121 performs a mask process on the region.
  • the mask process is to set a mask area that is not a target of the recognition process executed by the object recognition unit 123 in the subsequent stage. For example, a frame image is divided into blocks, and 1-bit mask data is provided for each block. Then, a flag is given to the mask data of the block where it is determined that halation has occurred, and the block is labeled as a mask area.
  • the environment information may be obtained by acquiring the current location from the car navigation device 20 and only the surrounding information, or the car navigation device 20 directly acquires the surrounding information from the server, and the condition setting unit It is good also as a structure which outputs to 121.
  • FIG. 1 A structure which outputs to 121.
  • the image generation unit 122 generates a bird's-eye view image from a frame image when requested to start processing by the condition setting unit 121. Specifically, the image generation unit 122 first acquires frame images output from the in-vehicle camera 40 and accumulates them in the image storage area 111 in chronological order. Then, after pre-processing the frame image, a bird's-eye view image (plan view when the ground surface is viewed from the sky) is generated using a conversion table. The generated overhead image is stored in the image storage area 111 in chronological order.
  • a target region 900 (see the frame image 90A in FIG. 3A) that is a region that is less likely to be concealed by another vehicle and that is likely to be imaged with an appropriate size is set in advance. In addition, it is possible to set only the area as a target of subsequent processing.
  • the object recognizing unit 123 compares the overhead images and recognizes the manhole included in the overhead image.
  • FIG. 4 is an explanatory diagram of a captured image of the in-vehicle camera 40 when the vehicle travels on a road where the streetlight 60 is lit at night.
  • the manhole 50 when the incident angle ⁇ 1 of light from the street lamp 60 to the manhole 50 is substantially equal to the imaging angle ⁇ 2 of the manhole 50 from the in-vehicle camera 40, the manhole 50 reflects the light from the street lamp 60. The reflected light is incident on the in-vehicle camera 40. Therefore, a metal object such as the manhole 50 having a larger specular reflection component than other road markings is observed brighter than the surrounding road in the captured image of the in-vehicle camera 40. On the other hand, when ⁇ 1 and ⁇ 2 are significantly different, the in-vehicle camera 40 does not receive reflected light, and therefore the manhole 50 is observed as dark as the surrounding road surface and road markings.
  • the frame image 90A and the bird's-eye view image 91A at the time t 0 is theta 1 and theta 2 and is substantially equal
  • the frame image 90B at the time t 1 and its overhead image 91B is a theta 1 and theta 2 is different significantly.
  • the difference in the imaging timing of the time point t 0 and time t 1 a large difference occurs in the luminance value of the manhole 50 in both images.
  • the object recognizing unit 123 can detect whether or not a manhole exists using such a luminance difference.
  • the object recognizing unit 123 compares a plurality of overhead images, specifies the moving region P that is the amount of movement of the vehicle and the overlapping region D that is the overlapping region, and determines the luminance value in the overlapping region D. difference is determined thresholds T 1 or more regions, detects the shape of the region.
  • the number of overhead images used for the recognition process may be set in advance, or may be arbitrarily set by the user.
  • the identification of the own vehicle movement amount can be calculated by extracting the feature amount between the overhead images and detecting the association between the images. Further, it may be calculated from the pulse signal from the vehicle speed pulse sensor 30 or the input signals from the steering angle sensor and the angular velocity sensor (not shown) by using the self-contained navigation, or the front, side, rear, etc. of the own vehicle. Stereo cameras may be further provided at a plurality of positions, and movement and image flow of a specific object may be monitored and estimated.
  • the moving amount of the own vehicle is detected by detecting a feature amount (edge, geometric feature amount, texture, etc.) for a certain region in the frame image of the rear monocular camera used for parking assistance or the like. It is also possible to detect whether or not a region having a feature point similar to is present in another frame image, and to set the distance between the regions as the amount of movement of the vehicle.
  • a feature amount edge, geometric feature amount, texture, etc.
  • the metal object since the metal object is imaged with different luminance values depending on the angle even during daytime running, the metal object can be recognized even in daytime. Also, in day and night, it may change the values of thresholds T 1 relating to the difference of the luminance values.
  • the position information generation unit 124 generates position information and outputs it to the car navigation device 20. Specifically, the position information generation unit 124 detects the manhole information 213 having the type information 214c that matches the manhole recognized by the object recognition unit 123, and specifies the manhole ID 214a and the distance / angle to the manhole. Information is generated and output to the car navigation device 20.
  • the I / F unit 13 is an interface for communicating with each device, and includes a wireless communication module. Of course, any other means may be used for the communication method.
  • the vehicle speed pulse sensor 30 outputs a pulse signal in response to a constant rotation of the wheel. Based on this pulse signal, the speed and travel distance of the host vehicle are calculated.
  • the in-vehicle camera 40 is installed at the rear of the vehicle, and images a predetermined shooting range on the rear side of the vehicle in a direction looking down obliquely with respect to the ground.
  • the installation position is not limited to the rear of the vehicle, but can be installed at the front or side of the vehicle, below the vehicle body, or the like.
  • it is good also as a structure which installs multiple cameras and collates the image of each camera mutually.
  • FIG. 12 is a block diagram illustrating an electrical configuration of the object recognition apparatus 10.
  • the object recognition device 10 is a main part of a computer, and includes a CPU (Central Processing Unit) 41 that centrally controls each device, a memory 42 that stores various data in a rewritable manner, Is provided. Further, the object recognition apparatus 10 includes an external storage device 43 that stores various programs, data generated by the program, and a communication device 44 that includes a wireless LAN module and communicates with an external device or the like. Each of these devices is connected to the CPU 1 via a signal line 45 such as a bus.
  • a signal line 45 such as a bus.
  • the CPU 41 executes various processes by, for example, loading a program stored on the external storage device 43 onto the memory 42 and executing it.
  • the external storage device 43 includes, for example, an HDD (Hard Disk Disk Drive), but is not limited to the HDD.
  • HDD Hard Disk Disk Drive
  • the computer software that is a distributed program, a CD-ROM, a mechanism for reading data, A drive such as a DVD-ROM may be further provided.
  • FIG. 5 is a flowchart showing the flow of processing when the object recognition apparatus 10 generates position information from a captured image.
  • the object recognition device 10 starts the following flow when the condition setting unit 121 receives the manhole information 213 of the manhole existing in the surroundings from the car navigation device 20 and requests the image generation unit 122 to start processing.
  • the image generation unit 122 first acquires a frame image from the in-vehicle camera 40 and accumulates it in the image storage area 111 (S11). Specifically, when the image generation unit 122 acquires an image signal from the in-vehicle camera 40, the image generation unit 122 stores the frames constituting the image in the image storage area 111 as a frame image in chronological order, and outputs a condition setting request to the condition setting unit 121 To do.
  • the condition setting unit 121 sets conditions for preprocessing executed by the image generation unit 122 (S12). Specifically, the condition setting unit 121 acquires a pulse signal from the vehicle speed pulse sensor 30 and environmental information such as weather and time at the current position from the server. Then, the brightness value and noise of the latest frame image stored in the image storage area 111 are detected, and preprocessing conditions such as the necessity of filtering and parameters relating to correction are set.
  • condition setting unit 121 detects an area where halation is occurring (S13).
  • halation region detection processing will be described in detail with reference to FIG.
  • the condition setting unit 121 reads a predetermined number of the latest frame images and past frame images continuously accumulated from the image storage area 111, and divides each image into arbitrary blocks (S131). If a predetermined number of frame images are not yet stored in the image storage area 111, the processing is skipped and the process proceeds to step 14.
  • the condition setting unit 121 compares the luminance values of the latest frame image and the past series of frame images for each block, and identifies the halation region (S132). Specifically, the condition setting unit 121 determines whether or not there is a block in which pixels having a predetermined luminance value or more are included in a certain block in a corresponding block continuously over a plurality of frame images. to decide. If it exists (YES in S132), the process proceeds to step 133. If it does not exist (NO in S132), the process proceeds to step 14.
  • condition setting unit 121 If there is a block specified as a halation area in a series of frame images (YES in S132), the condition setting unit 121 performs a mask process on the block (S133). Specifically, the condition setting unit 121 labels the block identified as the halation area with a mask area flag (for example, “1”).
  • condition setting unit 121 outputs an image processing request together with the preprocessing conditions set in step 12 to the image generation unit 122 (S134).
  • the image generation unit 122 upon receiving the preprocessing condition and the image processing request, executes preprocessing for the latest frame image (S14). Specifically, the image generation unit 122 performs digital image processing such as filtering and correction based on the preprocessing conditions. Note that the mask region labeled by the condition setting unit 121 is ignored without being subjected to the processing.
  • the image generation unit 122 performs overhead conversion processing on the latest frame image to generate an overhead image (S15). Specifically, the image generation unit 122 performs coordinate conversion and correction on each pixel of the frame image based on the above-described conversion table, and draws an overhead image. Then, the image generation unit 122 stores the generated overhead image in the image storage area 111 in chronological order, and outputs a recognition processing request to the object recognition unit 123.
  • the object recognition unit 123 compares a predetermined number of overhead images and determines whether or not there is a manhole in the latest overhead image (S16).
  • the recognition process executed by the object recognition unit 123 according to the present embodiment will be specifically described below with reference to FIG. 3A, FIG. 3B, and FIG.
  • overhead images 91A and 91B as shown in FIG. 3B are generated from frame images 90A and 90B as shown in FIG.
  • the overhead images 91A and 91B include an overlapping region D that is an overlapping region and a moving region P that is newly captured (or captured in the past) and that is the amount of deviation between the overhead images. ing.
  • FIG. 7 is a flowchart showing an outline of the flow of recognition processing executed by the object recognition unit 123.
  • the object recognizing unit 123 first detects whether or not the overhead image has reached the number necessary for executing the recognition process (S161). Specifically, the object recognizing unit 123 detects whether or not the number of overhead images accumulated in the image storage area 111 has reached a predetermined number since the current flow was started last. If it has reached (YES in S161), the process proceeds to step 162. If it has not reached (NO in S161), the process returns to step 11 to repeat the process.
  • the object recognizing unit 123 reads the latest frame image and the bird's-eye view image to be subjected to recognition processing, and executes alignment processing (S162). Specifically, the alignment process is identification of the overlapping region D and the moving region P.
  • the overlapping region D and the moving region P can be specified by, for example, extracting feature values such as luminance values and edge components of each overhead view image and detecting a region having a high degree of similarity.
  • the overlapping area D and the moving area P can be calculated from the frame rate and the moving distance per unit time.
  • the travel distance may be calculated by obtaining a detection signal from the vehicle speed pulse sensor 30.
  • the object recognition unit 123, the overhead image 91A and 91B and shifted by the number of pixels moving region P in the moving direction calculates the difference of the overlapping area D, the area (pixel luminance difference is a predetermined threshold value above T 1 ) Is detected (S163). If the area exists (YES in S163), the process proceeds to step 164. If not (NO in S163), the process returns to step 11 to repeat the process. Note that the mask region labeled by the condition setting unit 121 is ignored without being subjected to the processing.
  • the object recognition unit 123 recognizes a manhole (S164). Specifically, the object recognition unit 123, the luminance difference identified at step 163 for the region a predetermined threshold above T 1, performs shape detection.
  • the circular detection process is executed.
  • the circle detection process is to determine the validity of the detection circle.
  • the object recognizing unit 123 extracts the area specified in step 163, takes the XY average value of all the pixels in the area, and determines its center of gravity. Further, the outer periphery of the region is determined from the coordinates, the distance from the center of gravity is calculated for each outer peripheral point, and the average value is determined as the radius. Then, a reference circle having this radius is overlaid on the region, and a ratio (similarity) overlapping with the outer peripheral point is calculated to determine the validity of the circle. Since there is a possibility that it is not purely circular due to noise or the like, a reference circle having a certain width is used.
  • circular detection is not limited to the above-described method, and any method may be used.
  • a boundary line is detected by extracting an edge component of a region, two sets of two arbitrary points are obtained on the edge boundary line, a center point and a radius are obtained by their perpendicular bisectors, and a circular validity May be judged.
  • the object recognition unit 123 refers to the surrounding manhole information 213 acquired by the condition setting unit 121 at the start of the flow, predicts the shape of the surrounding manhole from the type information 214c, and only detects the shape. May be executed. Moreover, it is good also as a structure which the condition setting part 121 presets the shape which needs a detection in step 12.
  • FIG. 1
  • the object recognition unit 123 outputs a position information generation request to the position information generation unit 124.
  • the position information generation unit 124 when receiving the position information generation request, detects the type of manhole included in the overhead image and the distance / angle from the host vehicle to the manhole to generate position information ( S17). Specifically, the position information generation unit 124 compares the shape and size of the manhole area recognized by the object recognition unit 123 with the type information 214c of the manhole information 213 received by the condition setting unit 121 at the start of the flow. , The most similar content is detected, and its manhole ID 214a is acquired.
  • the position information generation unit 124 detects the distance S and the angle ⁇ 3 (see FIG. 3B) from the own vehicle to the nearest manhole among the manholes included in the overhead image, and generates position information. .
  • Any method may be used to detect the distance S and the angle ⁇ 2. For example, an edge extraction process is performed on the overhead view image, and the vehicle is detected from a point closest to the vehicle on the boundary line. It is possible to calculate the distance S and the angle ⁇ 3 from the connection up to the quantity and the connection from the center of gravity of the circle to the host vehicle.
  • the position information generation unit 124 outputs the generated position information to the car navigation device 20 via the I / F unit 13 and ends the process.
  • the process in which the object recognition device 10 generates the position information of the manhole included in the frame image has been described. According to the above, it is possible to detect a metal object having a large specular reflection even if the host vehicle does not have a light emitting means by using disturbance light from a streetlight or an oncoming vehicle.
  • the metal object to be detected is a manhole, but for example, other metal objects such as metal joints present on highways and bridges and square fire hydrant lids with rounded corners. Applicable.
  • a puddle can be detected in a region having a large specular reflection component.
  • the overhead image is generated from the frame image, but instead of this, a feature amount may be extracted from the frame image and the coordinates of the feature amount may be converted.
  • the feature amount uses all image features such as pixel features such as luminance values, edge components, and color information, graphic elements such as corner points and paint, textures of predetermined areas, and statistical features such as HLAC. Is possible.
  • FIG. 8 is a flowchart for explaining the flow of the alignment process executed by the object recognition unit 123.
  • the object recognizing unit 123 detects whether or not the bird's-eye view image has reached the number necessary for executing the recognition process in step 161 in FIG. Or it is arbitrarily set by the user. Here, for example, when this value is 3 or more, the object recognizing unit 123 executes alignment processing as shown in FIG.
  • the object recognizing unit 123 executes alignment processing for each bird's-eye view image between predetermined combinations ( S1621). Specifically, the object recognizing unit 123 specifies the overlapping area D and the moving area P between the combination of the latest bird's-eye view image and each other bird's-eye view image. Any means described above may be used to specify the overlapping region D and the moving region P.
  • the object recognizing unit 123 generates a difference image for each overlapping region D of each combination identified in step 1621 (S1622). Specifically, the object recognizing unit 123 detects a difference in luminance value for each pixel of the overlapping region D specified for each combination of overhead images, and generates a difference image for each combination.
  • the object recognition unit 123 generates an integrated image from the difference image (S1623). Specifically, the object recognizing unit 123 compares the corresponding pixels of the plurality of difference images generated in step 1622 to extract the maximum pixel value, and aggregates them as one integrated image.
  • the object recognizing unit 123 executes shape detection in step 164 for the integrated image. For example, an area having a pixel value equal to or greater than a predetermined threshold is extracted from the integrated image, and shape detection is performed.
  • the integrated image is generated by aggregating the maximum values of the pixels, but other aggregation methods such as adding / subtracting / averaging pixel values may be used.
  • FIG. 9 is a block diagram showing a functional configuration of the object recognition system 2.
  • the car navigation device 80 is a device that detects the position of the host vehicle and guides the travel route to the destination by using a self-contained navigation device such as a GPS (Global Positioning System), a vehicle speed pulse, and a gyro. is there.
  • a self-contained navigation device such as a GPS (Global Positioning System), a vehicle speed pulse, and a gyro. is there.
  • the object recognition device 70 includes a storage unit 11, a control unit 72, and an I / F unit 13.
  • the control unit 72 includes a condition setting unit 721 that sets digital image processing conditions, an image generation unit 722 that acquires images output from the vehicle-mounted camera at regular intervals and converts them into overhead images, and a road included in the overhead images.
  • An object recognition unit 723 that detects a sign.
  • the condition setting unit 721 has substantially the same configuration as the condition setting unit 121 according to the first embodiment, but differs in that manhole information is not acquired from the car navigation device. Upon receiving the condition setting request from the image generation unit 722, the condition setting unit 721 sets the contents of preprocessing and halation based on the latest frame image stored in the image storage area 111 and the imaging environment of the image. Identify and execute the area. Then, an image processing request is output to the image generation unit 722.
  • the image generation unit 722 acquires frame images output from the in-vehicle camera 40 at predetermined intervals, accumulates them in the image storage area 111 in time series, and outputs a condition setting request to the condition setting unit 721.
  • the image generation unit 722 receives an image processing request from the condition setting unit 721, the image generation unit 722 performs preprocessing on the latest frame image based on the setting conditions. Then, the frame image is converted into an overhead image, and a recognition processing request is output to the object recognition unit 723.
  • the object recognition unit 723 When the object recognition unit 723 receives a recognition processing request from the image generation unit 722, the object recognition unit 723 detects whether or not a road marking is included in the latest bird's-eye view image.
  • Object recognition unit 723 when the brightness difference in the overlapping area D is present thresholds T 1 or more areas, which is determined to be metal objects, according to the second embodiment The object recognition unit 723 determines that this is a road sign.
  • a road sign here, a pedestrian crossing and a roadside line that does not have a reflective component as much as a metal object. Even if there is a large luminance difference than the road surface. Therefore, the object recognizing unit 123 executes the following process for the region having such a luminance difference.
  • FIG. 11 is a flowchart for explaining road marking recognition processing executed by the object recognition unit 723 according to the second embodiment.
  • the object recognition unit 723 receives a recognition processing request from the image generation unit 722, the object recognition unit 723 starts this flow.
  • the object recognizing unit 723 detects whether or not the bird's-eye view image has reached the number necessary for executing the recognition process (S701). If it has reached (YES in S701), the process proceeds to step 702, and if not, the process is terminated.
  • the object recognition unit 723 executes alignment processing (S702). Specifically, the object recognition unit 723 includes a frame rate (number / s), a moving distance per unit time (m / s), a number of pixels in the moving direction of the overhead image, and a number of pixels per unit distance in the moving direction ( The overlap area D and the movement area P between the latest bird's-eye view image and the past bird's-eye view image are calculated from (number / m). The travel distance may be calculated from the detection signal of the vehicle speed pulse sensor 30 acquired by the condition setting unit 721 during the condition setting process.
  • the object recognizing unit 723 shifts the latest bird's-eye view image and the past bird's-eye view image by the amount of movement of the own vehicle, and calculates the difference between the luminance values of the overlapping region D. Then, the luminance difference is detected whether an area is a predetermined threshold value T 2 or more (pixels) exists (S703). If the area exists (YES in S703), the process proceeds to step 704. If the area does not exist (NO in S703), the process ends.
  • the predetermined threshold value T 2 are, because it is a value that is provided to detect a road sign reflects disturbance exchange is provided to detect a large metal product of the specular reflection component according to a first embodiment than the threshold value T 1, it is desirable that a small value.
  • the object recognition unit 723 If either the brightness difference is there is a region a predetermined threshold T 2 or more (YES in S703), the object recognition unit 723 generates an addition image (S704). Specifically, the object recognizing unit 723 adds the overlapping region D to generate an added image with further increased contrast intensity. In addition, the addition synthesis may perform an operation that validates the maximum value among the corresponding pixels.
  • the object recognition part 723 detects the presence or absence of a road marking (S705). Specifically, the object recognition unit 723, the luminance difference identified at step 703 on the added image is the region a predetermined threshold T 2 or more, performs shape detection processing.
  • the object recognition unit 723 receives the information from the car navigation device 80.
  • Information regarding road markings existing in the vicinity may be acquired to determine the shape to be detected.
  • road markings may be recognized by template matching based on feature values.
  • the type of road marking can be specified by matching the feature amount of the added image (cumulative luminance values and edge components in the vertical and horizontal directions) with a template that stores the feature amount of the reference road marking. Is possible.
  • the relative position of the detected road marking with the host vehicle may be calculated and output to the car navigation device 80.
  • the car navigation device 80 may be configured to correct the position of the host vehicle in cooperation with this.
  • the object recognition device 70 can detect road markings in captured images using ambient light. In addition, by generating the added image, it is possible to recognize the road marking with high accuracy even when the road marking is blurred.

Abstract

　物体認識装置は、移動体に搭載される撮像部と、撮像部が異なる時点で撮像した画像を、垂直方向から見下ろす合成画像にそれぞれ変換する画像生成部と、複数の合成画像を比較して、対応する領域を検出する検出部と、対応する領域間の差分から、路面に存在する物体を認識する認識部とを備える。

Description

物体認識装置、および物体認識方法
　本発明は、画像を用いて物体を検出する技術に関する。
　自車両に搭載された撮像装置からの撮像画像から、路面上の物体を検出し、相対的な自車位置を判断するような技術が知られている。
　例えば、引用文献１に記載された発明では、自車両に搭載された撮像装置を用いて、ストロボが点灯時と非点灯時との画像を撮像し、これらの画像を比較することにより光反射標識を検出するような技術が記載されている。
特開平７－１５２４３４号公報
　しかしながら、特許文献１に記載の技術では、ストロボを車両に搭載しなければならないため、車両の機材積載量が増加してしまう。また、ストロボ点灯時および非点灯時の撮像タイミングにおいて自車位置が大きく異なる場合には、画像の比較が困難となる可能性があった。
　そこで本発明では、ストロボが不要でかつ簡易な構成で路面上の物体を検出することが可能な技術を提供する。
　前記課題を解決するために、本発明の物体認識装置は、外部からの光によって生じる画像間の差分を用いて、路面の物体を検出する技術を提供する。
　本発明の第１の態様によると、物体認識装置は、移動体に搭載される撮像部と、撮像部が異なる時点で撮像した画像を、垂直方向から見下ろす合成画像にそれぞれ変換する画像生成部と、複数の合成画像を比較して、対応する領域を検出する検出部と、対応する領域間の差分から、路面に存在する物体を認識する認識部とを備える。
　本発明の第２の態様によると、第１の態様の物体認識装置において、検出部は、複数の合成画像間における移動体の移動量から、領域を検出するのが好ましい。
　本発明の第３の態様によると、第２の態様の物体認識装置において、検出部は、車速、加速度、角速度のうち、少なくとも１つを検出するセンサを備え、センサのうち、少なくとも１つを用いて移動体の移動量を算出するのが好ましい。
　本発明の第４の態様によると、第２の態様の物体認識装置において、検出部は、複数の合成画像に含まれる特徴点を検出し、特徴点の移動量から、移動体の移動量を算出するのが好ましい。
　本発明の第５の態様によると、第１の態様の物体認識装置において、認識部は、対応する領域を加算して加算画像を生成し、加算画像から、路面に存在する物体を認識するのが好ましい。
　本発明の第６の態様によると、第１の態様の物体認識装置において、認識部の認識する物体は、マンホールであるのが好ましい。
　本発明の第７の態様によると、第１の態様の物体認識装置において、認識部の認識する物体は、道路標示であるのが好ましい。
　本発明の第８の態様によると、物体認識方法は、異なる時点で撮像された画像を、垂直方向から見下ろす合成画像にそれぞれ変換するステップと、複数の合成画像を比較して、対応する領域を検出するステップと、対応する領域間の差分から、路面に存在する物体を認識するステップと、を有する。
　以上のように、本発明の物体認識装置は、ストロボが不要でかつ簡易な構成で路面上の物体を認識することが可能な技術を提供することができる。
本発明の第一の実施形態にかかる物体認識システム１の、機能的な構成を示すブロック図。 地図データの概略図。 （ａ）（ｂ）フレーム画像と、俯瞰画像と、の概略図。 車載カメラ４０の撮像画像についての説明図。 撮像画像から位置情報を生成する際の処理の流れを示すフロー図。 条件設定部１２１の実行するハレーション領域の検出処理の流れを示すフロー図。 物体認識部１２３の実行する認識処理の流れの概略を示すフロー図。 物体認識部１２３の実行する位置あわせ処理の流れを説明するフロー図。 本発明の第二の実施形態にかかる物体認識システム２の、機能的な構成を示すブロック図。 道路標示を含む俯瞰画像の概略図。 物体認識部７２３の実行する認識処理の流れを示すフロー図。 物体認識装置１０の電気的な構成を示すブロック図。
　以下、本発明を実施するための最良の形態について、図面を参照して説明する。
＜第一の実施形態＞
　図１は、本願の第一の実施形態にかかる物体認識システム１の機能構成を示すブロック図である。
　図示するように、物体認識システム１は、物体認識装置１０と、カーナビゲーション装置２０と、車速パルスセンサ３０と、車載カメラ４０と、を含んでいる。
　まず、カーナビゲーション装置２０について説明する。なお、物体認識装置１０とカーナビゲーション装置２０とは、同一機器である一体型としてもよい。
　カーナビゲーション装置２０は、例えば、ＧＰＳ（Global Positioning System；全地球測位システム）や、車速パルスおよびジャイロ等の自立航法装置を利用して自車両の位置を検出し、目的地への走行経路案内を行う装置である。
　カーナビゲーション装置２０は、記憶部２１と、制御部２２と、ＧＰＳ受信部２３と、インターフェース部２４（以下、Ｉ／Ｆ部と称する）と、を備えている。
　記憶部２１は、全国の道路地図である地図データ２１０を予め記憶する。地図データ２１０は、例えば、図２に示すような構成のデータベースである。
　図２は、地図データ２１０の概略図である。地図データ２１０は、メッシュ状に区分された地域単位の地図情報２１１の集合である。
　地図情報２１１とは、所定の地域内における、交差点および車線数や幅員が変更する点であるノードと、隣接するノードを連結するベクトルであるリンクと、の接続関係を表す情報である。各リンクは、リンクテーブル２１２によって管理される。
　リンクテーブル２１２に格納される情報としては、一般的に次のようなものが挙げられる。例えば、リンクＩＤ；リンク両端（開始ノード・終了ノード）の座標；距離・方向・幅員等の特徴情報等である。
　ここで、本実施形態にかかるリンクテーブル２１２は、上記に加えて、さらにマンホール情報２１３を有する。マンホール情報２１３とは、リンク内に存在するマンホールの識別子であるマンホールＩＤ２１４ａと、マンホールの位置を特定する座標情報２１４ｂと、マンホールの種別を特定する種別情報２１４ｃと、マンホールのサイズを特定するサイズ情報２１４ｄと、を格納する情報である。
　具体的に、座標情報２１４ｂは、道路上に存在するマンホールの位置座標を、緯度および経度によって示す。種別情報２１４ｃは、例えば、マンホールの規格や形状、模様等を示す情報である。サイズ情報２１４ｄとは、例えば、円形のマンホールであれば直径や円周等、四角形のものであれば各辺の長さ等を示す情報である。
　以上に説明したようなマンホール情報２１３は、制御部２２によって、物体認識装置１０へと出力される。
　制御部２２は、自車両の周辺に存在するマンホールのマンホール情報２１３を特定し、Ｉ／Ｆ部２４を介して物体認識装置１０へと出力する。
　具体的に、制御部２２は、一定時間ごとに自車両の現在位置を中心として所定の範囲内、かつ、現在位置するリンクから接続される一繋がりの道路上に存在するマンホール情報２１３を検出して、これを物体認識装置１０の条件設定部１２１へと出力する。マンホール情報が検出されなかった場合には、非検出信号を出力する。
　なお、制御部２２は、自車両の進行方向を判断して、進行先の一定範囲内に存在するマンホールのマンホール情報２１３のみを抽出し、出力してもよい。また、カーナビゲーション装置２０が経路案内を実行中の場合には、制御部２２は、誘導先の経路上で一定範囲内に存在するマンホールのマンホール情報２１３のみを抽出してもよい。
　また、制御部２２は、物体認識装置１０から出力される位置情報に協調して、自車位置を補正する。
　ＧＰＳ受信部２３は、ＧＰＳ（Global Positioning System）衛星からの信号を受信する。
　また、カーナビゲーション装置２０は、この他に、道路に敷設されたビーコンや各地のＦＭ放送局を介して、ＶＩＣＳ（Vehicle Information and Communication System）センタから配信される道路交通情報を受信するＶＩＣＳ受信部等を備えていてもよい。
　Ｉ／Ｆ部２４は、物体認識装置１０と通信を行うためのインターフェースであり、どのような通信方式を利用するものであってもよい。
　物体認識装置１０は、記憶部１１と、制御部１２と、Ｉ／Ｆ部１３と、を備える。
　記憶部１１は、画像記憶領域１１１と、変換テーブル記憶領域１１２と、を有する。
　画像記憶領域１１１は、車載カメラ４０より出力されるフレーム画像と、フレーム画像より生成される俯瞰画像と、を記憶する。図３（ａ）および（ｂ）に、フレーム画像および俯瞰画像の概略図を示す。
　フレーム画像とは、車載カメラ４０よりフレームレートに従って出力される撮像画像であり（図３（ａ）９０Ａ・９０Ｂ参照）、俯瞰画像とは、画像生成部１２２が生成するフレーム画像を垂直方向に見下ろした画像（天空から垂直に地上面を見た場合の平面図；図３（ｂ）９１Ａ・９１Ｂ参照）である。これらは、画像生成部１２２により取得および生成され、画像記憶領域１１１に格納される。
　変換テーブル記憶領域１１２は、撮像画像（フレーム画像）から俯瞰画像を生成するために必要な変換テーブル（図示しない）を記憶する。変換テーブルとは、例えば、フレーム画像の各画素の座標位置と、俯瞰画像の各画素の座標位置と、を対応付け、ここに角度差やレンズの歪曲収差を補正するための補正パラメータを配したものである。補正パラメータとは、例えば、カメラの設置位置、設置角度、レンズ歪み、ＣＣＤサイズ等であり、レンズの光学特性やカメラの設定等に基づいて一意に決定される。なお、変換テーブルは、Ｉ／Ｆ部１３を介して、他の装置から取得してもよい。
　制御部１２は、デジタル画像処理条件を設定する条件設定部１２１と、車載カメラからの画像を俯瞰画像に変換する画像生成部１２２と、俯瞰画像に含まれる金属物を検出する物体認識部１２３と、金属物からの相対的な自車両の位置を特定する位置情報生成部１２４と、を有する。
　条件設定部１２１は、画像記憶領域１１１に蓄積されたフレーム画像および当該画像の撮像環境に基づいて、画像生成部１２２の実行する前処理の内容を設定する。具体的に、条件設定部１２１は、カーナビゲーション装置２０からマンホール情報２１３を受け付けると、まず、画像生成部１２２に処理の開始を要求する。
　なお、条件設定部１２１は、カーナビゲーション装置２０から周囲に存在するマンホール情報２１３の非検出信号を受信した場合には、画像生成部１２２へ処理の終了を要求する。
　さらに、画像生成部１２２が処理を開始して新たなフレーム画像を取得すると、条件設定部１２１は、車速パルスセンサ３０からのパルス信号に基づいて、現時点の車速を検出する。さらに、条件設定部１２１は、携帯電話ネットワーク等の無線通信網を利用し、サーバから天候・時刻等の環境情報を取得する。そして、画像生成部１２２の実行する前処理条件や、物体認識部１２３の実行する画像処理に関する設定を行う。
　ここで、画像生成部１２２の実行する前処理とは、フィルタリングやガンマ補正等、デジタル画像処理の一環である。
　例えば、条件設定部１２１は、画面上のノイズ量を算出し、ノイズ量が多い場合には、画像生成部１２２の実行する前処理段階でノイズ除去処理（各種平滑化フィルタによるフィルタリング）の必要性を判断し、画像生成部１２２に実行させるか否かを決定する。
　また例えば、撮像環境が悪天候や夜間等で、フレーム画像の輝度値が全体的に低い場合には、条件設定部１２１は、ガンマ補正強度を決定するパラメータの設定を行う。
　さらに、条件設定部１２１は、外乱光のためハレーションが発生している領域を判断する。
　ハレーションは、後続車のヘッドライト等によって撮像画像の一定の領域に引き起こされるものであるため、条件設定部１２１は、夜間に一定時間、所定の輝度値以上の値を示す画素が存在する場合、これをハレーション領域として特定する。
　具体的に、条件設定部１２１は、最新のフレーム画像の輝度値と、過去の一定期間のフレーム画像の輝度値と、を比較して、連続的に所定の値以上の輝度値を有する領域が存在するか否かを検出する。上記のような領域がフレーム画像に存在する場合には、条件設定部１２１は、当該領域にマスク処理を施す。
　ここで、マスク処理とは、後段の物体認識部１２３の実行する認識処理の対象とならないマスク領域を設定するものである。例えば、フレーム画像をブロックに分割し、ブロックごとに１ビット長のマスクデータを設ける。そして、ハレーションが発生していると判断されるブロックのマスクデータにフラグを付与し、マスク領域としてラベリングする。
　なお、環境情報は、カーナビゲーション装置２０から現在地点を取得して、その周辺の情報のみを取得してもよいし、カーナビゲーション装置２０が直接サーバから周辺の情報を取得して、条件設定部１２１へ出力するような構成としてもよい。
　画像生成部１２２は、条件設定部１２１から処理の開始を要求されると、フレーム画像から俯瞰画像を生成する。具体的に、画像生成部１２２はまず、車載カメラ４０より出力されるフレーム画像を取得して、画像記憶領域１１１に時系列順に蓄積する。そして、フレーム画像に前処理を施した後、変換テーブルを利用して垂直方向から見下ろした俯瞰画像（天空から地上面を見た場合の平面図）を生成する。生成した俯瞰画像は、時系列順に画像記憶領域１１１へと格納される。
　なお、フレーム画像は、車載カメラ４０のフレームレートに従って出力されるが、例えば、フレームレートが車速によって変化し、画像生成部１２２が常に一定の距離範囲を撮像したフレーム画像を得られるような構成としてもよい。また、フレームレートに関わらず、一定の距離間隔ごとにこれを取得してもよい。
　また、フレーム画像に施される前処理は、必ずしも全画面に実行する必要はない。例えば、他車により隠蔽されることが少なく、かつ、マンホールが適切な大きさで撮像される可能性が大きい領域である対象領域９００（図３（ａ）のフレーム画像９０Ａ参照）を予め設定しておき、当該領域のみを以降の処理の対象とすることも可能である。
　物体認識部１２３は、俯瞰画像どうしを比較して、俯瞰画像中に含まれるマンホールを認識する。
　ここで、マンホールの認識手法について、図３（ａ）、図３（ｂ）および図４を参照しながら説明する。図４は、夜間に街灯６０が点灯する道路を自車両が走行する場合の、車載カメラ４０の撮像画像についての説明図である。
　図４に示すように、街灯６０からマンホール５０への光の入射角θ１と、車載カメラ４０からマンホール５０の撮像角θ２とがほぼ等しい場合、マンホール５０は街灯６０からの光線を反射し、その反射光は車載カメラ４０へと入射する。従って、他の道路標示と比較して鏡面反射成分が大きいマンホール５０のような金属物は、車載カメラ４０の撮像画像において周囲の道路よりも明るく観測される。一方、θ１とθ２とが大きく異なる場合、車載カメラ４０は反射光を受けないため、マンホール５０は周囲の路面や道路標示等と同様に暗く観測される。
　ここで、図３（ａ）および図３（ｂ）に示すように、時点ｔ０のフレーム画像９０Ａおよびその俯瞰画像９１Ａはθ１とθ２とがほぼ等しく、時点ｔ１のフレーム画像９０Ｂおよびその俯瞰画像９１Ｂはθ１とθ２とが大きく異なるとする。このような場合、時点ｔ０と時点ｔ１との撮像タイミングの違いによって、両画像におけるマンホール５０の輝度値には大きな差異が生じる。物体認識部１２３は、このような輝度差を利用してマンホールが存在するか否かを検出することが可能である。
　具体的に、物体認識部１２３は、複数枚の俯瞰画像を比較し、自車の移動量である移動領域Ｐおよび重畳する領域である重複領域Ｄを特定して、重複領域Ｄにおける輝度値の差分が閾値Ｔ１以上の領域を判断し、当該領域の形状を検出する。
　なお、当該認識処理に使用する俯瞰画像の数は、予め設定しておしてもよいし、利用者が任意で設定することも可能である。
　自車移動量（俯瞰画像間のずれ量）の特定は、俯瞰画像どうしの特徴量を抽出し、画像間の対応付けを検出することで算出可能である。また、車速パルスセンサ３０からのパルス信号や、図示しない操舵角センサおよび角速度センサからの入力信号から、自立航法を利用して算出してもよいし、自車両の前方・側方・後方等の複数の位置にステレオカメラをさらに設け、特定物体の移動および画像流を監視して推定してもよい。
　また、例えば、自車移動量は、駐車支援用等に用いられるような後方単眼カメラのフレーム画像中の一定領域について、特徴量（エッジ・幾何的特長量・テクスチャ等）を検出し、当該領域と類似する特徴点を有する領域が他のフレーム画像に存在か否かを検出し、領域間の距離を自車移動量とすることもできる。
　なお、ここでは夜間走行時を例にあげて説明したが、昼間走行時においても角度によって金属物は異なる輝度値で撮像されるため、昼間でも金属物を認識することが可能である。また、昼間と夜間で、輝度値の差分に関する閾値Ｔ１の値を変更してもよい。
　位置情報生成部１２４は、位置情報を生成してカーナビゲーション装置２０へと出力する。具体的に、位置情報生成部１２４は、物体認識部１２３によって認識されたマンホールと一致する種別情報２１４ｃを有するマンホール情報２１３を検出し、そのマンホールＩＤ２１４ａおよびマンホールまでの距離・角度等を特定する位置情報を生成して、をカーナビゲーション装置２０へと出力する。
　Ｉ／Ｆ部１３は、各デバイスと通信を行うためのインターフェースであり、無線通信モジュールを備える。もちろん、通信方式には、その他どのような手段を利用してもよい。
　車速パルスセンサ３０は、車輪の一定の回転に応答してパルス信号を出力する。このパルス信号に基づいて、自車両の速度や走行距離が算出される。
　車載カメラ４０は、車両の後方に設置され、車両後方側の所定の撮影範囲を、地面に対して斜めに見下ろす方向で撮像する。もちろん、設置位置は車両の後方に限らず、車両の前方や側方、車体下等に設置することも可能である。また、カメラを複数設置して、それぞれのカメラの画像を相互に照合するような構成としてもよい。
　ここで、物体認識装置１０のハードウェア構成について説明する。図１２は、物体認識装置１０の電気的な構成を示すブロック図である。
　図１２に示すように、物体認識装置１０は、コンピュータの主要部であって、各装置を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）４１と、各種データを書換え可能に記憶するメモリ４２と、を備える。さらに、物体認識装置１０は、各種のプログラム、プログラムが生成するデータ等を格納する外部記憶装置４３と、無線ＬＡＮモジュールを備え、外部の装置等と通信を行う通信装置４４と、を備える。これらの各装置は、バスなどの信号線４５を介してＣＰＵ１と接続される。
　ＣＰＵ４１は、例えば、外部記憶装置４３上に格納されたプログラムをメモリ４２上にロードして実行することにより、各種処理を実行する。
　外部記憶装置４３は、例えばＨＤＤ（Hard Disk Drive）を備えているが、もちろん、ＨＤＤのみに限定されず、配布されたプログラムであるコンピュータソフトウェアや、データを読み取るための機構として、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のドライブをさらに備えてもよい。
　以上のように構成される物体認識装置１０で実行される処理について、図５に示すフロー図を用いて説明する。図５は、物体認識装置１０が、撮像画像から位置情報を生成する際の処理の流れを示すフロー図である。
　物体認識装置１０は、条件設定部１２１がカーナビゲーション装置２０から周囲に存在するマンホールのマンホール情報２１３を受信し、画像生成部１２２に処理の開始を要求することで以下のフローを開始する。
　画像生成部１２２は、まず、車載カメラ４０からフレーム画像を取得して、画像記憶領域１１１に蓄積する（Ｓ１１）。具体的に、画像生成部１２２は、車載カメラ４０から画像信号を取得すると、画像を構成するフレームをフレーム画像として画像記憶領域１１１に時系列順に格納し、条件設定部１２１へ条件設定要求を出力する。
　条件設定部１２１は、条件設定要求を受け付けると、画像生成部１２２の実行する前処理の条件を設定する（Ｓ１２）。具体的に、条件設定部１２１は、車速パルスセンサ３０からパルス信号を、サーバから現在位置の天候・時刻等の環境情報を取得する。そして、画像記憶領域１１１に格納される最新のフレーム画像の輝度値およびノイズを検出して、フィルタリングの必要性や補正に関するパラメータ等の、前処理条件を設定する。
　次に、条件設定部１２１は、ハレーションが発生している領域を検出する（Ｓ１３）。ここで、ハレーション領域の検出処理について、図６を参照して詳細に説明する。
　条件設定部１２１は、最新のフレーム画像と、連続して蓄積される過去のフレーム画像と、を画像記憶領域１１１から所定の数読み出して、各々の画像を任意のブロックに分割する（Ｓ１３１）。なお、画像記憶領域１１１に未だ所定の数のフレーム画像が蓄積されていない場合には、当該処理をスキップし、ステップ１４へと進む。
　次に、条件設定部１２１は、最新のフレーム画像と、過去の一連のフレーム画像と、の輝度値をブロックごとに比較して、ハレーション領域を特定する（Ｓ１３２）。具体的に、条件設定部１２１は、複数のフレーム画像に渡って連続して、対応するブロック内に所定の輝度値以上の画素が一定以上の割合含まれているブロックが存在するか否かを判断する。存在する場合には（Ｓ１３２でＹＥＳ）、ステップ１３３へと進み、存在しない場合には（Ｓ１３２でＮＯ）、ステップ１４へと進む。
　一連のフレーム画像に、ハレーション領域として特定されたブロックが存在する場合には（Ｓ１３２でＹＥＳ）、条件設定部１２１は、当該ブロックに対してマスク処理を実行する（Ｓ１３３）。具体的に、条件設定部１２１は、ハレーション領域として特定されたブロックに、マスク領域フラグ（例えば、「１」）を付与してラベリングする。
　そして、条件設定部１２１は、画像生成部１２２へ、ステップ１２で設定した前処理条件と共に画像処理要求を出力する（Ｓ１３４）。
　図５に戻って、画像生成部１２２は、前処理条件および画像処理要求を受け付けると、最新のフレーム画像について前処理を実行する（Ｓ１４）。具体的に、画像生成部１２２は、前処理条件に基づいて、フィルタリングおよび補正等のデジタル画像処理を実行する。なお、条件設定部１２１によってラベリングされたマスク領域については、当該処理の対象とせずに無視する。
　次に、画像生成部１２２は、最新のフレーム画像に俯瞰変換処理を施して、俯瞰画像を生成する（Ｓ１５）。具体的には、画像生成部１２２は、上述の変換テーブルに基づいて、フレーム画像の各画素に対して座標変換および補正を施し、俯瞰画像を描画する。そして、画像生成部１２２は、生成した俯瞰画像を画像記憶領域１１１へと時系列順に格納し、物体認識部１２３へ認識処理要求を出力する。
　物体認識部１２３は、認識処理要求を受け付けると、所定の数の俯瞰画像を比較して、最新の俯瞰画像内におけるマンホールの有無を判断する（Ｓ１６）。ここで、本実施形態にかかる物体認識部１２３の実行する認識処理について、以下、図３（ａ）、図３（ｂ）および図７を参照して、具体的に説明する。
　図３（ａ）に示すようなフレーム画像９０Ａおよび９０Ｂから、図３（ｂ）に示すような俯瞰画像９１Ａおよび９１Ｂを生成する場合について説明する。ここで、俯瞰画像９１Ａおよび９１Ｂには、重畳する領域である重複領域Ｄと、新規に撮像され（もしくは、過去に撮像され）、俯瞰画像間のずれ量である移動領域Ｐと、が含まれている。
　図７は、物体認識部１２３の実行する認識処理の流れの概略を示すフロー図である。
　物体認識部１２３はまず、俯瞰画像が認識処理を実行する際に必要な数に達しているか否かを検出する（Ｓ１６１）。具体的に、物体認識部１２３は、最新に本フローが開始されてから、画像記憶領域１１１に蓄積された俯瞰画像の数が予め定められた数に達しているか否かを検出する。達している場合には（Ｓ１６１でＹＥＳ）、ステップ１６２へと進み、達していない場合には（Ｓ１６１でＮＯ）、ステップ１１へと戻って、処理を繰り返す。
　次に、物体認識部１２３は、最新のフレーム画像および認識処理の対象となる俯瞰画像を読み出して、位置合わせ処理を実行する（Ｓ１６２）。具体的に、位置合わせ処理とは、重複領域Ｄおよび移動領域Ｐの特定である。重複領域Ｄおよび移動領域Ｐは、例えば、各俯瞰画像の輝度値やエッジ成分等の特徴量を抽出し、類似度が高い領域を検出することで特定できる。
　また例えば、フレームレート、単位時間あたりの移動距離から、重複領域Ｄおよび移動領域Ｐを算出することも可能である。なお、移動距離は、車速パルスセンサ３０の検出信号を取得して算出すればよい。
　認識処理の対象となる俯瞰画像は、どのように選択してもよい。例えば、最新のフレーム画像から一定間隔の距離や時間等で撮像された画像を選択することが可能である。
　そして、物体認識部１２３は、俯瞰画像９１Ａおよび９１Ｂを移動方向に移動領域Ｐの画素数だけずらして重複領域Ｄの差分を算出し、その輝度差が所定の閾値Ｔ１以上である領域（画素）が存在するか否かを検出する（Ｓ１６３）。当該領域が存在する場合には（Ｓ１６３でＹＥＳ）、ステップ１６４へと進み、存在しない場合には（Ｓ１６３でＮＯ）、ステップ１１へと戻って、処理を繰り返す。なお、条件設定部１２１によってラベリングされたマスク領域については、当該処理の対象とせずに無視する。
　さらに、物体認識部１２３は、マンホールを認識する（Ｓ１６４）。具体的に、物体認識部１２３は、ステップ１６３で特定された輝度差が所定の閾値Ｔ１以上である領域について、形状検出を実行する。
　例えば、マンホールが円形であるという前提に則って処理を実行する場合、円形検出処理が実行される。円形検出処理とは、検出円の正当性を判断するものである。
　例えば、物体認識部１２３は、ステップ１６３で特定された領域を抽出し、領域内の全ての画素のＸＹ平均値を取って、その重心を定める。さらに、座標から領域の外周を判断して、外周点ごとに重心との距離を算出し、その平均値を半径と定める。そして、この半径を有する基準円を領域に重ねて、外周点と重なる比率（類似度）を算出し、円形の正当性を判断する。なお、ノイズ等によって純粋に円形でない可能性があるため、基準円はある程度の幅をもたせたものを使用する。
　なお、円形検出は上述の手法に限定されず、どのような手法を用いてもよい。例えば、領域のエッジ成分を抽出して境界線を検出し、エッジ境界線上で任意の２点を２組取得して、それらの垂直二等分線により中心点および半径を求め、円形の正当性を判断してもよい。
　もちろん、形状検出処理において、四角形を検出することも可能である。例えば、外周点の中から、重心との距離が最も大きい４点と、上下左右方向の最端に存在する４点と、を抽出して、基準四角形との類似度が所定の閾値以上となる組み合わせの存在の有無から、四角形の正当性を判断することが可能である。
　また、物体認識部１２３は、フロー開始時に条件設定部１２１が取得した周囲のマンホール情報２１３を参照して、種別情報２１４ｃから周囲に存在するマンホールの形状を予め予測し、当該形状の検出のみを実行してもよい。また、ステップ１２において、検出を要する形状を、条件設定部１２１が予め設定するような構成としてもよい。
　その後、物体認識部１２３は、位置情報生成部１２４へと位置情報生成要求を出力する。
　図５に戻って、位置情報生成部１２４は、位置情報生成要求を受け付けると、俯瞰画像に含まれるマンホールの種別および自車両からマンホールまでの距離・角度を検出して、位置情報を生成する（Ｓ１７）。具体的に、位置情報生成部１２４は、物体認識部１２３の認識したマンホール領域の形状やサイズ等と、フロー開始時に条件設定部１２１が受信したマンホール情報２１３の種別情報２１４ｃと、を比較して、内容が最も一致するものを検出し、そのマンホールＩＤ２１４ａを取得する。
　さらに、位置情報生成部１２４は、俯瞰画像に含まれるマンホールのうち、自車両から最も近いマンホールまでの距離Ｓおよび角度θ３（図３（ｂ）参照）を検出して、位置情報を生成する。
　かかる距離Ｓおよび角度θ２の検出には、どのような手法を用いてもよいが、例えば、俯瞰画像に対してエッジ抽出処理を実行し、その境界線上で自車両から最も近い点から自車量までの結線と、円の重心から自車両までの結線とから、距離Ｓおよび角度θ３を算出することが可能である。
　そして、位置情報生成部１２４は、生成した位置情報を、Ｉ／Ｆ部１３を介してカーナビゲーション装置２０へと出力し、処理を終了する。
　以上、物体認識装置１０が、フレーム画像に含まれるマンホールの位置情報を生成する処理について説明した。上記によれば、街灯や対向車等による外乱光を利用することによって、自車両が発光手段を有していなくとも、鏡面反射の大きな金属物を検出することが可能である。
　なお、本実施形態においては検出対象となる金属物はマンホールとしているが、例えば、高速道路や橋上に存在する金属ジョイントや角の丸められた四角形の消火栓蓋等、その他の金属物に対しても応用可能である。
　例えば、ジョイントは道路の端から端までを結ぶ直線状の金属物であるため、抽出されたジョイント領域の境界線の直線成分について、エッジの方向成分を投票することによって認識することができる。また、消火栓蓋の場合には、境界のエッジ成分を一般化ハフ（Hough）変換を用いて検出することが可能である。
　また、金属物以外にも、鏡面反射成分の大きい領域であれば、例えば、水溜り等についても検出することができる。
　なお、本実施形態においては、フレーム画像から俯瞰画像を生成しているが、これに代わって、フレーム画像から特徴量を抽出して、この特徴量の座標を変換してもよい。特徴量とは、例えば、輝度値やエッジ成分、色情報といった各画素の特徴や、コーナー点およびペイントのような図形要素、所定の領域のテクスチャおよびＨＬＡＣといった統計的特長等、あらゆる画像特徴を利用することが可能である。
　なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で様々な変形が可能である。
＜変形例＞
　例えば、上記実施形態は、物体認識部１２３の実行する認識処理で使用される俯瞰画像は２枚であるが、本変形例では、認識処理に使用する俯瞰画像の数が３以上に設定されている場合について、説明する。図８は、物体認識部１２３の実行する位置あわせ処理の流れを説明するフロー図である。
　物体認識部１２３は、図７のステップ１６１において、俯瞰画像が認識処理を実行する際に必要な数に達しているか否かを検出するが、この値は予め所定の数値が設定されているか、または、利用者によって任意で設定される。ここで例えば、この値が３以上であった場合、物体認識部１２３は、図８に示すような位置合わせ処理を実行する。
　図８に示すように、俯瞰画像が予め定められた数に達している場合には（Ｓ１６１でＹＥＳ）、物体認識部１２３は、各俯瞰画像を所定の組み合わせ間で位置合わせ処理を実行する（Ｓ１６２１）。具体的に、物体認識部１２３は、最新の俯瞰画像と、その他の各俯瞰画像との組み合わせの間で、それぞれ重複領域Ｄおよび移動領域Ｐを特定する。重複領域Ｄおよび移動領域Ｐの特定には、上記のどのような手段を用いても構わない。
　次に、物体認識部１２３は、ステップ１６２１で特定した各組み合わせの重複領域Ｄについて、それぞれ差分画像を生成する（Ｓ１６２２）。具体的に、物体認識部１２３は、俯瞰画像の組み合わせごとに特定された重複領域Ｄについて、その画素ごとに輝度値の差分を検出して、各組み合わせの差分画像を生成する。
　さらに、物体認識部１２３は、差分画像から統合画像を生成する（Ｓ１６２３）。具体的に、物体認識部１２３は、ステップ１６２２で生成した複数の差分画像について、対応する画素を比較してその最大画素値を抽出し、１枚の統合画像として集約する。
　その後、物体認識部１２３は、当該統合画像についてステップ１６４の形状検出を実行する。例えば、当該統合画像のうち、所定の閾値以上の画素値を有する領域を抽出して、形状検出を実行する。
　なお、本変形例において統合画像の生成は、画素の最大値を集約することで行う構成であるが、その他にも、画素値を加減算・平均化するような集約手法を用いてもよい。
　このような構成によれば、認識処理に多くの俯瞰画像を使用することによって、より細分化された撮像タイミングの画像について、認識処理を実行し、高確率でマンホールを検出することが可能である。
＜第二の実施形態＞
　次に、本発明の第二の実施形態にかかる物体認識装置７０について説明する。第二の実施形態にかかる物体認識装置７０によれば、非金属である道路標示についても、外乱光を利用した検出が可能となる。以下、第一の実施形態と比較して、異なっている点について主に説明する。
　図９は、物体認識システム２の、機能的な構成を示すブロック図である。
　図示するように、物体認識システム２は、物体認識装置７０と、カーナビゲーション装置８０と、車速パルスセンサ３０と、車載カメラ４０と、を含んでいる。
　カーナビゲーション装置８０は、例えば、ＧＰＳ（全地球測位システム）や車速パルス、ジャイロなどの自立航法装置を利用して、自車両の位置の検出や、目的地への走行経路案内を実行する装置である。
　物体認識装置７０は、記憶部１１と、制御部７２と、Ｉ／Ｆ部１３と、を有する。
　記憶部１１およびＩ／Ｆ部１３は、第一の実施形態と同様の構成であるため、ここでは詳細な説明を省略する。
　制御部７２は、デジタル画像処理条件を設定する条件設定部７２１と、車載カメラから一定周期ごとに出力される画像を取得して俯瞰画像に変換する画像生成部７２２と、俯瞰画像に含まれる道路標示を検出する物体認識部７２３と、を有する。
　条件設定部７２１は、第一の実施形態にかかる条件設定部１２１とほぼ同様の構成であるが、カーナビゲーション装置からマンホール情報を取得しない点において異なる。条件設定部７２１は、画像生成部７２２からの条件設定要求を受け付けると、画像記憶領域１１１に蓄積された最新のフレーム画像および当該画像の撮像環境に基づいて、前処理の内容の設定と、ハレーション領域の特定と、を実行する。そして、画像生成部７２２へと画像処理要求を出力する。
　画像生成部７２２は、車載カメラ４０から所定の周期毎に出力されるフレーム画像を取得して、画像記憶領域１１１に時系列順に蓄積し、条件設定部７２１へ条件設定要求を出力する。
　また、画像生成部７２２は、条件設定部７２１からの画像処理要求を受け付けると、設定条件に基づいて最新のフレーム画像に前処理を施す。そして、フレーム画像を俯瞰画像へと変換し、物体認識部７２３へ認識処理要求を出力する。
　物体認識部７２３は、画像生成部７２２からの認識処理要求を受け付けると、最新の俯瞰画像中に道路標示が含まれるか否かを検出する。
　第一の実施形態にかかる物体認識部７２３は、重複領域Ｄにおける輝度差が閾値Ｔ１以上の領域が存在する場合に、これを金属物であると判断するが、第二の実施形態にかかる物体認識部７２３は、これを道路標示であると判断する。
　例えば、図１０に示すように、外乱光が存在する場合（時点ｔ０）としない場合（時点ｔ１）では、金属物ほどに反射成分を有しない道路標示（ここでは、横断歩道と路側線の一部）であっても、路面よりも大きな輝度差が存在する。そこで、物体認識部１２３は、このような輝度差を有する領域について、次のような処理を実行する。
　図１１は、第二の実施形態にかかる物体認識部７２３の実行する道路標示認識処理を説明するフローチャートである。物体認識部７２３は、画像生成部７２２からの認識処理要求を受け付けると、本フローを開始する。
　まず、物体認識部７２３は、俯瞰画像が認識処理を実行する際に必要な数に達しているか否かを検出する（Ｓ７０１）。達している場合には（Ｓ７０１でＹＥＳ）、ステップ７０２へと進み、達していない場合には、処理を終了する。
　次に、物体認識部７２３は位置合わせ処理を実行する（Ｓ７０２）。具体的に、物体認識部７２３は、フレームレート（数／ｓ）、単位時間あたりの移動距離（ｍ／ｓ）、俯瞰画像の移動方向の画素数、移動方向への単位距離あたりの画素数（数／ｍ）から、最新の俯瞰画像と過去の俯瞰画像との重複領域Ｄおよび移動領域Ｐを算出する。なお移動距離は、条件設定部７２１が条件設定処理時に取得する、車速パルスセンサ３０の検出信号から算出すればよい。
　そして、物体認識部７２３は、最新の俯瞰画像と過去の俯瞰画像とを自車移動量だけずらして、重複領域Ｄの輝度値の差分を算出する。そして、その輝度差が所定の閾値Ｔ２以上である領域（画素）が存在するか否かを検出する（Ｓ７０３）。当該領域が存在する場合には（Ｓ７０３でＹＥＳ）、ステップ７０４へと進み、存在しない場合には（Ｓ７０３でＮＯ）、処理を終了する。
　ここで、所定の閾値Ｔ２は、外乱交を反射する道路標示を検出するために設けられる値であるため、第一の実施形態にかかる鏡面反射成分の大きな金属物を検出するために設けられる閾値Ｔ１よりも、小さな値であることが望ましい。
　輝度差が所定の閾値Ｔ２以上である領域が存在するか場合（Ｓ７０３でＹＥＳ）、物体認識部７２３は、加算画像を生成する（Ｓ７０４）。具体的に、物体認識部７２３は、重複領域Ｄを加算して、よりコントラスト強度を増した加算画像を生成する。なお、加算合成は、対応する画素のうち最大値を有効とする演算を実行してもよい。
　次に、物体認識部７２３は、道路標示の有無を検出する（Ｓ７０５）。具体的に、物体認識部７２３は、加算画像上のステップ７０３で特定された輝度差が所定の閾値Ｔ２以上である領域について、形状検出処理を実行する。
　なお、道路標示の種別ごとに検出される形状が異なるため、カーナビゲーション装置８０の地図データに道路標示とその種別（形状）に関する情報を予め格納し、物体認識部７２３は、カーナビゲーション装置８０から周辺に存在する道路標示に関する情報を取得して、検出対象となる形状を決定してもよい。
　また、形状検出の代わりに、特徴量によるテンプレートマッチングによって、道路標示を認識してもよい。例えば、加算画像の特徴量（縦方向および横方向の累積輝度値やエッジ成分等）と、基準となる道路標示の特徴量を記憶するテンプレートとのマッチングによって、道路標示の種別を特定することが可能である。
　さらに、検出した道路標示について、自車両との相対位置を算出し、カーナビゲーション装置８０へと出力してもよい。カーナビゲーション装置８０は、これに協調して自車両の位置を補正する構成とすることも可能である。
　以上のような構成により、本実施形態にかかる物体認識装置７０は、外乱光を利用して、撮像画像内における道路標示を検出することができる。また、加算画像を生成することによって、道路標示にかすれ等が生じている場合でも、精度よく道路標示を認識することが可能である。
　次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
　日本国特許出願２００８年第１１５６８１号（２００８年４月２５日出願）

Claims (8)

  1. 　移動体に搭載される撮像部と、
    　前記撮像部が異なる時点で撮像した画像を、垂直方向から見下ろす合成画像にそれぞれ変換する画像生成部と、
    　複数の前記合成画像を比較して、対応する領域を検出する検出部と、
    　前記対応する領域間の差分から、路面に存在する物体を認識する認識部と、を備える物体認識装置。
  2. 　請求項１に記載の物体認識装置であって、
    　前記検出部は、前記複数の合成画像間における前記移動体の移動量から、前記領域を検出する物体認識装置。
  3. 　請求項２に記載の物体認識装置であって、
    　前記検出部は、
    　車速、加速度、角速度のうち、少なくとも１つを検出するセンサを備え、
    　前記センサのうち、少なくとも１つを用いて前記移動体の移動量を算出する物体認識装置。
  4. 　請求項２に記載の物体認識装置であって、
    　前記検出部は、
    　前記複数の合成画像に含まれる特徴点を検出し、
    　前記特徴点の移動量から、前記移動体の移動量を算出する物体認識装置。
  5. 　請求項１に記載の物体認識装置であって、
    　前記認識部は、
    　前記対応する領域を加算して加算画像を生成し、
    　前記加算画像から、路面に存在する物体を認識する物体認識装置。
  6. 　請求項１に記載の物体認識装置であって、
    　前記認識部の認識する物体は、マンホールである物体認識装置。
  7. 　請求項１に記載の物体認識装置であって、
    　前記認識部の認識する物体は、道路標示である物体認識装置。
  8. 　異なる時点で撮像された画像を、垂直方向から見下ろす合成画像にそれぞれ変換するステップと、
    　複数の前記合成画像を比較して、対応する領域を検出するステップと、
    　前記対応する領域間の差分から、路面に存在する物体を認識するステップと、を有する
    物体認識方法。
PCT/JP2009/058161 2008-04-25 2009-04-24 物体認識装置、および物体認識方法 WO2009131210A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/918,042 US8818026B2 (en) 2008-04-25 2009-04-24 Object recognition device and object recognition method
EP09734385.9A EP2282295B1 (en) 2008-04-25 2009-04-24 Object recognizing device and object recognizing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-115681 2008-04-25
JP2008115681A JP4871909B2 (ja) 2008-04-25 2008-04-25 物体認識装置、および物体認識方法

Publications (1)

Publication Number Publication Date
WO2009131210A1 true WO2009131210A1 (ja) 2009-10-29

Family

ID=41216936

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/058161 WO2009131210A1 (ja) 2008-04-25 2009-04-24 物体認識装置、および物体認識方法

Country Status (4)

Country Link
US (1) US8818026B2 (ja)
EP (1) EP2282295B1 (ja)
JP (1) JP4871909B2 (ja)
WO (1) WO2009131210A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150156471A1 (en) * 2012-06-01 2015-06-04 Robert Bosch Gmbh Method and device for processing stereoscopic data

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5569042B2 (ja) 2010-03-02 2014-08-13 株式会社リコー 画像処理装置、撮像装置及び画像処理方法
US8625902B2 (en) * 2010-07-30 2014-01-07 Qualcomm Incorporated Object recognition using incremental feature extraction
JP5830876B2 (ja) * 2011-02-18 2015-12-09 富士通株式会社 距離算出プログラム、距離算出方法及び距離算出装置
WO2013044245A1 (en) 2011-09-23 2013-03-28 Manufacturing Resources International, Inc. System and method for environmental adaptation of display characteristics
CN103164851B (zh) * 2011-12-09 2016-04-20 株式会社理光 道路分割物检测方法和装置
JP6051608B2 (ja) * 2012-06-19 2016-12-27 市光工業株式会社 車両周辺対象物検出装置
DE102012012501B4 (de) * 2012-06-21 2019-10-24 Volkswagen Aktiengesellschaft Kamerasystem für ein Kraftfahrzeug
JP2014089630A (ja) * 2012-10-31 2014-05-15 Nippon Lock:Kk 車両用警報デバイス制御装置
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
US9335766B1 (en) 2013-12-06 2016-05-10 Google Inc. Static obstacle detection
WO2015106114A1 (en) 2014-01-13 2015-07-16 T1visions, Inc. Display capable of object recognition
JP6313063B2 (ja) * 2014-02-17 2018-04-18 日立オートモティブシステムズ株式会社 車載用認識装置
EP2918974B1 (en) * 2014-03-11 2019-01-16 Volvo Car Corporation Method and system for determining a position of a vehicle
JP2015191572A (ja) * 2014-03-28 2015-11-02 株式会社パスコ マンホール検出装置、マンホール検出方法及びプログラム
JP6223256B2 (ja) * 2014-03-28 2017-11-01 株式会社パスコ マンホール蓋管理装置、マンホール蓋管理方法及びプログラム
JP6348020B2 (ja) * 2014-08-29 2018-06-27 株式会社日立製作所 画像処理装置、画像処理方法およびそれを用いた検査方法。
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
JP6234349B2 (ja) 2014-09-16 2017-11-22 株式会社東芝 移動体位置推定装置、移動体位置推定方法及び移動体位置推定プログラム
US9990550B2 (en) 2014-09-19 2018-06-05 Bendix Commercial Vehicle Systems Llc Wide baseline object detection stereo system
JP6619927B2 (ja) 2014-10-24 2019-12-11 株式会社日立製作所 キャリブレーション装置
CN111351495A (zh) * 2015-02-10 2020-06-30 御眼视觉技术有限公司 服务器系统、方法及机器可读介质
US10593255B2 (en) * 2015-05-14 2020-03-17 Manufacturing Resources International, Inc. Electronic display with environmental adaptation of display characteristics based on location
US10321549B2 (en) 2015-05-14 2019-06-11 Manufacturing Resources International, Inc. Display brightness control based on location data
US10607520B2 (en) 2015-05-14 2020-03-31 Manufacturing Resources International, Inc. Method for environmental adaptation of display characteristics based on location
EP3136291A1 (de) * 2015-08-31 2017-03-01 Continental Automotive GmbH Verfahren und vorrichtung zur erkennung von objekten bei dunkelheit mittels einer fahrzeugkamera und einer fahrzeugbeleuchtung
DE102015219496A1 (de) * 2015-10-08 2017-04-13 Robert Bosch Gmbh Verfahren zum Bestimmen der Funktionsfähigkeit eines Fahrerassistenzsystems eines Fahrzeugs, Vorrichtung, Fahrerassistenzsystem, Kraftfahrzeug
KR102522611B1 (ko) * 2015-12-10 2023-04-19 현대모비스 주식회사 기상 환경에 따른 초음파 센서의 신호 보정 시스템 및 그 동작 방법
CN105719284B (zh) * 2016-01-18 2018-11-06 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
DE102016204319A1 (de) * 2016-03-16 2017-09-21 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung für ein Fahrzeug zum Erkennen von Bodensymbolen
US10576892B2 (en) * 2016-03-24 2020-03-03 Ford Global Technologies, Llc System and method for generating a hybrid camera view in a vehicle
US9866927B2 (en) 2016-04-22 2018-01-09 Microsoft Technology Licensing, Llc Identifying entities based on sensor data
JP2017199130A (ja) * 2016-04-26 2017-11-02 株式会社デンソー 画像処理装置、画像処理方法、及びプログラム
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
JP6727032B2 (ja) * 2016-05-26 2020-07-22 三菱電機株式会社 モバイル端末およびこれを用いた自己位置推定システム並びにサーバおよび自己位置推定方法
EP3263405B1 (en) * 2016-06-27 2019-08-07 Volvo Car Corporation Around view monitoring system and method for vehicles
JP6622664B2 (ja) * 2016-07-12 2019-12-18 株式会社Ｓｏｋｅｎ 自車位置特定装置、及び自車位置特定方法
GB2556328A (en) * 2016-09-05 2018-05-30 Xihelm Ltd Street asset mapping
US10710579B2 (en) * 2017-06-01 2020-07-14 Waymo Llc Collision prediction system
US10579067B2 (en) * 2017-07-20 2020-03-03 Huawei Technologies Co., Ltd. Method and system for vehicle localization
US10578658B2 (en) 2018-05-07 2020-03-03 Manufacturing Resources International, Inc. System and method for measuring power consumption of an electronic display assembly
WO2019241546A1 (en) 2018-06-14 2019-12-19 Manufacturing Resources International, Inc. System and method for detecting gas recirculation or airway occlusion
JP7223629B2 (ja) * 2019-05-13 2023-02-16 日立Astemo株式会社 車載システム、外界認識センサ、電子制御装置
US11834082B2 (en) * 2019-09-18 2023-12-05 Progress Rail Services Corporation Rail buckle detection and risk prediction
US11526044B2 (en) 2020-03-27 2022-12-13 Manufacturing Resources International, Inc. Display unit with orientation based operation
JP7347302B2 (ja) 2020-03-31 2023-09-20 株式会社デンソー リモート駐車システム
US11472402B2 (en) 2020-04-23 2022-10-18 Deere & Company Work tool collision avoidance method and system for a work machine
JP7138157B2 (ja) * 2020-12-25 2022-09-15 エヌ・ティ・ティ・コムウェア株式会社 物体検出装置、物体検出方法、およびプログラム
JP2022132882A (ja) * 2021-03-01 2022-09-13 キヤノン株式会社 ナビゲーションシステム、ナビゲーション方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152434A (ja) 1993-12-01 1995-06-16 Fuji Heavy Ind Ltd 自律走行作業車の自己位置検出方法
JPH07210784A (ja) * 1994-01-20 1995-08-11 Hitachi Ltd 監視装置
JPH11203446A (ja) * 1998-01-12 1999-07-30 Toyota Motor Corp 撮影対象認識装置
JP2007066305A (ja) * 2005-08-05 2007-03-15 Aisin Aw Co Ltd 路面標示認識システム
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04171586A (ja) * 1990-11-06 1992-06-18 Nippon Telegr & Teleph Corp <Ntt> パターン探索方法
US6266442B1 (en) 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP3584194B2 (ja) 2000-02-22 2004-11-04 株式会社ホンダエレシス 白線検出方法および白線検出装置
AU2002324865A1 (en) * 2001-09-06 2003-03-24 Wtd Technologies, Inc. Accident evidence recording method
JP4956915B2 (ja) 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP4365350B2 (ja) * 2005-06-27 2009-11-18 本田技研工業株式会社 車両及び車線認識装置
JP4295298B2 (ja) * 2006-08-07 2009-07-15 株式会社日立製作所 車両の運転支援制御装置
JP4309920B2 (ja) * 2007-01-29 2009-08-05 株式会社東芝 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
US7714704B1 (en) * 2007-08-24 2010-05-11 Joshua Mellen Removable video safety system for a moving vehicle
JP4521642B2 (ja) * 2008-02-13 2010-08-11 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視プログラム
JP2010016805A (ja) * 2008-06-04 2010-01-21 Sanyo Electric Co Ltd 画像処理装置、運転支援システム、及び画像処理方法
KR101067424B1 (ko) * 2008-07-28 2011-09-27 삼성전자주식회사 휴대단말기의 위젯을 이용한 교통정보 표시 방법 및 장치
US8699755B2 (en) * 2009-02-20 2014-04-15 Navteq B.V. Determining travel path features based on retroreflectivity
US9047672B2 (en) * 2009-12-14 2015-06-02 Nec Corporation Image generation apparatus, image generation method and image generation program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152434A (ja) 1993-12-01 1995-06-16 Fuji Heavy Ind Ltd 自律走行作業車の自己位置検出方法
JPH07210784A (ja) * 1994-01-20 1995-08-11 Hitachi Ltd 監視装置
JPH11203446A (ja) * 1998-01-12 1999-07-30 Toyota Motor Corp 撮影対象認識装置
JP2007066305A (ja) * 2005-08-05 2007-03-15 Aisin Aw Co Ltd 路面標示認識システム
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2282295A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150156471A1 (en) * 2012-06-01 2015-06-04 Robert Bosch Gmbh Method and device for processing stereoscopic data
US10165246B2 (en) * 2012-06-01 2018-12-25 Robert Bosch Gmbh Method and device for processing stereoscopic data

Also Published As

Publication number Publication date
JP4871909B2 (ja) 2012-02-08
US8818026B2 (en) 2014-08-26
EP2282295A4 (en) 2013-10-30
EP2282295B1 (en) 2014-12-31
EP2282295A1 (en) 2011-02-09
JP2009266003A (ja) 2009-11-12
US20120269382A1 (en) 2012-10-25

Similar Documents

Publication Publication Date Title
JP4871909B2 (ja) 物体認識装置、および物体認識方法
CN113034960B (zh) 用于更新精密路线地图的对象变化检测系统及其方法
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
JP4970516B2 (ja) 周囲確認支援装置
US9713983B2 (en) Lane boundary line recognition apparatus and program for recognizing lane boundary line on roadway
JP4557288B2 (ja) 画像認識装置及び画像認識方法、並びにそれを用いた位置特定装置、車両制御装置及びナビゲーション装置
JP6626410B2 (ja) 自車位置特定装置、自車位置特定方法
US9659497B2 (en) Lane departure warning system and lane departure warning method
TWI534764B (zh) 車輛定位裝置與方法
US20100100268A1 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
WO2015087502A1 (ja) 自車位置検出装置
JP2007235642A (ja) 障害物検知システム
CN113160594B (zh) 变化点检测装置以及地图信息发布系统
WO2015177864A1 (ja) 信号機認識装置及び信号機認識方法
JP6278791B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP2008158958A (ja) 路面判別方法および路面判別装置。
JP5365792B2 (ja) 車両用位置測定装置
WO2020004231A1 (ja) レーン推定装置、方法およびプログラム
JP5062091B2 (ja) 移動体識別装置、コンピュータプログラム及び光軸方向特定方法
JP2002190023A (ja) 車種判別装置及び車種判別方法及び車種判別方法を行うプログラムをコンピュータ読み取り可能なように記憶させた記憶媒体
JP2019146012A (ja) 撮像装置
JP2007018451A (ja) 道路区画線検出装置
JP2011103058A (ja) 誤認識防止装置
US11741718B2 (en) Light interference detection during vehicle navigation
JP2018073049A (ja) 画像認識装置、画像認識システム、及び画像認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09734385

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009734385

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12918042

Country of ref document: US