WO2020235462A1 - 物体認識装置 - Google Patents

物体認識装置 Download PDF

Info

Publication number
WO2020235462A1
WO2020235462A1 PCT/JP2020/019399 JP2020019399W WO2020235462A1 WO 2020235462 A1 WO2020235462 A1 WO 2020235462A1 JP 2020019399 W JP2020019399 W JP 2020019399W WO 2020235462 A1 WO2020235462 A1 WO 2020235462A1
Authority
WO
WIPO (PCT)
Prior art keywords
recognition
unit
exposure amount
size
image
Prior art date
Application number
PCT/JP2020/019399
Other languages
English (en)
French (fr)
Inventor
遠藤　健
永崎　健
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to CN202080036066.XA priority Critical patent/CN113826107A/zh
Priority to EP20808827.8A priority patent/EP3975151A4/en
Publication of WO2020235462A1 publication Critical patent/WO2020235462A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Definitions

  • the present invention relates to an object recognition device.
  • object recognition technology that recognizes objects such as road signs in running vehicles and uses regulatory information based on the recognition results to notify drivers and control vehicles.
  • object recognition technology that recognizes objects such as road signs in running vehicles and uses regulatory information based on the recognition results to notify drivers and control vehicles.
  • road signs There are various types of road signs, and among them, there is an electric sign that is installed on a highway or a construction section and emits light in the character part.
  • the object recognition device used for recognizing road signs needs to correctly recognize such lightning-type signs as well.
  • Patent Document 1 states that when a VMS label using a light-emitting body, which is a type of lightning-type label, is imaged in a short exposure time, a part of the VMS label is lost and imaged.
  • the ones of interest are known.
  • the object recognition device disclosed in Patent Document 1 detects an image region in which a VMS label is captured from a first image captured in the first exposure time, and does not cause a defect in the VMS label for longer than the first exposure time.
  • the second image is imaged at the second exposure time, and the display content of the VMS label is recognized using the second image of the region corresponding to the image region detected from the first image.
  • an object of the present invention is to provide a technique capable of accurately recognizing an object such as a road sign in a short processing time.
  • the object recognition device is imaged with an exposure amount determining unit capable of determining a first exposure amount and a second exposure amount smaller than the first exposure amount, and the first exposure amount.
  • An image acquisition unit that acquires a first exposure image and a second exposure image captured by the second exposure amount, a light source detection unit that detects a light source region from the first exposure image, and the light source.
  • the size identification unit that specifies the size of the object to be recognized based on the light source region detected by the detection unit, the position of the light source region detected by the light source detection unit, and the size of the object specified by the size identification unit.
  • a recognition candidate extraction unit that extracts recognition candidates that are candidates for the region in which the object exists from the second exposure image, and a recognition process for the object with respect to the recognition candidates extracted by the recognition candidate extraction unit. It is provided with a recognition processing unit for carrying out.
  • an object can be accurately recognized in a short processing time.
  • FIG. 1 is a functional block diagram showing a configuration of an object recognition device according to the first embodiment of the present invention.
  • the object recognition device 10 of the present embodiment is connected to the image pickup device 20 and the vehicle control device 30, and is an exposure amount determination unit 101, an image acquisition unit 102, a light source detection unit 103, and a size identification unit. It includes 104, a recognition candidate extraction unit 105, and a recognition processing unit 106.
  • the object recognition device 10 is configured by using, for example, a computer having an arithmetic unit such as a CPU or a storage device such as a ROM, RAM, or a flash memory, and by executing a control program stored in the storage device in the arithmetic unit. , Operates as each of the above functional blocks.
  • a part or all of the functions of the object recognition device 10 may be configured by using hardware such as FPGA.
  • the image pickup device 20 is a camera mounted on the vehicle, and images the surroundings of the vehicle, for example, the scenery in front of the vehicle.
  • the vehicle on which the image pickup device 20 is mounted is referred to as "own vehicle”.
  • the image pickup device 20 outputs the captured image to the object recognition device 10 at predetermined frame rates, for example.
  • the image output from the image pickup device 20 is input to the image acquisition unit 102 in the object recognition device 10.
  • the exposure amount determination unit 101 calculates and determines the exposure amount when the image pickup apparatus 20 captures an image, and outputs the exposure amount to the image pickup apparatus 20.
  • the exposure amount determined by the exposure amount determining unit 101 is a physical quantity for adjusting the brightness of the image captured by the image pickup apparatus 20, and corresponds to, for example, an exposure time, an analog gain value, an F value of a lens, and the like.
  • the exposure amount determination unit 101 can determine two types of exposure amounts for the image pickup apparatus 20.
  • two types of exposure amounts determined by the exposure amount determination unit 101 are shown as a first exposure amount F101 and a second exposure amount C101, respectively.
  • the first exposure amount F101 represents an exposure amount capable of capturing a brighter image by the image pickup apparatus 20 as compared with the second exposure amount C101. That is, assuming that the first exposure amount F101 is larger than the second exposure amount C101 and conversely the second exposure amount C101 is smaller than the first exposure amount F101, these exposure amounts are determined by the exposure amount determination unit 101. ..
  • the object to be recognized by the object recognition device 10 is an electric sign.
  • the electric sign is a road sign having a light emitting portion using a light emitting element in a character part or the like, and is installed on, for example, an expressway or a construction section.
  • the exposure amount determination unit 101 is based on the exposure amount at which at least a part of the light emitting portion of the electric sign is pixel-saturated when the image pickup apparatus 20 images the electric sign which is the object to be recognized.
  • the first exposure amount F101 and the second exposure amount C101 are determined.
  • the first exposure amount is an exposure amount in which a part or all of the pixels corresponding to the light emitting portion are saturated at the time of imaging and the brightness value shows the maximum value, that is, an exposure amount in which overexposure occurs. Determined as F101. Further, the exposure amount such that all the pixels corresponding to the light emitting portion are not saturated and a part or all of them are not lost (blackout) is determined as the second exposure amount C101.
  • These exposure amounts can be calculated based on, for example, the brightness of the road surface.
  • the object to be recognized by the object recognition device 10 is a lightning-type sign
  • another object may be a recognition target.
  • various objects having a high-intensity light-emitting portion such as a preceding vehicle having a light-emitting portion such as a brake lamp, a following vehicle having a light-emitting portion such as a headlight, a traffic light, and various electric bulletin boards, are recognized by the object recognition device 10. It is possible to do.
  • the image acquisition unit 102 acquires two types of images captured by the image pickup device 20 with the first exposure amount F101 and the second exposure amount C101 determined by the exposure amount determination unit 101 from the image pickup device 20. Then, the image captured by the first exposure amount F101 is output to the light source detection unit 103 as the first exposure image, and the image captured by the second exposure amount C101 is output to the recognition candidate extraction unit 105 as the second exposure image. To do.
  • the light source detection unit 103 detects the light source region corresponding to the light emitting portion of the electric sign from the first exposure image captured by the image pickup device 20 with the first exposure amount F101 and acquired by the image acquisition unit 102.
  • the first exposure amount F101 is set as the exposure amount at which pixel saturation occurs at the time of imaging as described above, the region of pixels having a brightness value equal to or higher than a predetermined value in the first exposure image is detected as the light source region.
  • regions such as a circle shape, an ellipse shape, and a rectangular shape existing in the first exposure image can be extracted from other background regions. To separate.
  • the light source detection unit 103 acquires information such as the center position, width, and height of the light source region, and outputs the information to the size specifying unit 104.
  • the size specifying unit 104 specifies the size of the object to be recognized by the object recognition device 10 based on the light source area detected by the light source detecting unit 103. Specifically, by estimating the size of the object including the light emitting portion on the image based on each information of the center position, width, and height of the light source region output from the light source detection unit 103, the object is Identify the size. At this time, the size of the object may be specified by applying a predetermined magnification to the width and height of the light source region according to the type of the object to be recognized.
  • the size relationship between the light emitting portion and the entire electric sign is known, so that the light source region detected from the first exposed image Based on the size, it is possible to easily and accurately identify the size of the lightning indicator in the image.
  • the recognition candidate extraction unit 105 is imaged by the image pickup apparatus 20 with the second exposure amount C101 based on the position of the light source region detected by the light source detection unit 103 and the size of the object specified by the size identification unit 104, and is an image acquisition unit. From the second exposure image acquired by 102, recognition candidates that are candidates for the region in which the object exists are extracted. Specifically, for example, using the center position of the light source region detected by the light source detection unit 103 and the size of the object on the image specified by the size identification unit 104, the region corresponding to these on the second exposure image. Is extracted as a recognition candidate.
  • a scanning area expanded by multiplying the size calculated by the size specifying unit 104 by a predetermined magnification is set around the light source position detected by the light source detecting unit 103, and the size is specified for this scanning area.
  • Each region when the frame of the size calculated by the unit 104 is scanned at predetermined intervals in the horizontal direction and the vertical direction may be extracted as recognition candidates.
  • the recognition candidate extraction unit 105 can extract an arbitrary number of recognition candidates from the second exposed image and output them.
  • the recognition processing unit 106 performs a predetermined recognition process on the object to be recognized with respect to the recognition candidates extracted from the second exposed image by the recognition candidate extraction unit 105.
  • the recognition process for recognizing the type of the object and the display content in the object is performed on the recognition candidate.
  • this recognition process for example, when the object to be recognized is an electric sign, template matching processing is performed using the template image of the electric sign, and the type of the electric sign associated with the template image having the highest correlation is used.
  • the displayed contents can be acquired as the recognition result.
  • the type of the object and the display content may be determined by a statistical method using machine learning based on a large number of images of the object to be recognized and acquired as a recognition result. In addition to this, if an appropriate recognition result can be obtained for the object to be recognized, it is possible to carry out the recognition process by using an arbitrary processing method.
  • the vehicle control device 30 controls its own vehicle based on the object recognition result output from the object recognition device 10. For example, when the object to be recognized is an electric sign, the traffic regulation contents instructed by the electric sign are displayed on the display installed in the own vehicle and presented to the driver, or the traveling speed of the own vehicle is controlled. can do.
  • FIG. 2 shows a scene in which an electric sign is installed in front of the own vehicle.
  • the electric sign T101 is a sign whose maximum speed limit is 100 km / h.
  • FIG. 3 is a flowchart showing a processing flow of the object recognition device 10 according to the first embodiment of the present invention.
  • the object recognition device 10 of the present embodiment is mounted on a vehicle, and the processing shown in the flowchart of FIG. 3 is executed at predetermined processing cycles by, for example, an arithmetic unit such as a CPU.
  • an arithmetic unit such as a CPU.
  • the object recognition device 10 has a first exposure amount calculation process (S101), an image acquisition process (S102), a light source detection process (S103), a size identification process (S104), and a second exposure amount calculation process (S104) according to the flowchart of FIG.
  • S101 first exposure amount calculation process
  • S102 image acquisition process
  • S103 light source detection process
  • S104 size identification process
  • S104 second exposure amount calculation process
  • step S101 the exposure amount determination unit 101 calculates the first exposure amount F101.
  • the exposure amount at which at least a part of the light emitting portion of the electric sign, which is the object to be recognized, is pixel-saturated at the time of imaging by the image pickup apparatus 20 is calculated as the first exposure amount F101.
  • step S102 the image acquisition unit 102 acquires an image captured by the image pickup apparatus 20 with the first exposure amount F101 determined in step S101 from the image pickup apparatus 20 and sets it as the first exposure image.
  • FIG. 4 is a diagram showing an example of the first exposure image acquired in step S102.
  • the first exposed image T111 shown in FIG. 4 includes an image region T112 corresponding to the electric sign T101 of FIG. In the image area T112 corresponding to the light emitting portion of the electric sign T101, overexposure occurs due to pixel saturation in the image area T112.
  • step S103 the light source detection unit 103 detects the light source region from the first exposed image acquired in step S102.
  • the image region T113 in the first exposed image T111 of FIG. 4 is detected as a light source region, and information such as the center position, width, and height thereof is calculated.
  • the size specifying unit 104 specifies the size of the electric sign, which is an object to be recognized by the object recognition device 10, based on the light source region detected in step S103.
  • the size of the object is specified from the light source region by multiplying the height and width of the image region T113 detected as the light source region by predetermined magnifications. The magnification at this time can be set in advance according to the type of the object to be recognized.
  • step S105 the exposure amount determination unit 101 calculates the second exposure amount C101.
  • the exposure amount at which pixel saturation does not occur in the light emitting portion of the electric sign which is the object to be recognized at the time of imaging by the image pickup apparatus 20 is calculated as the second exposure amount C101.
  • step S106 the image acquisition unit 102 acquires an image captured by the image pickup apparatus 20 with the second exposure amount C101 determined in step S105 from the image pickup apparatus 20 and sets it as a second exposure image.
  • FIG. 5 is a diagram showing an example of the second exposed image acquired in step S106.
  • the second exposed image T121 shown in FIG. 5 includes an image region T122 corresponding to the lightning-type marker T101 of FIG.
  • the image region T123 corresponding to the light emitting portion of the electric sign T101 in the image region T122 unlike the image region T113 of FIG. 4, whiteout due to pixel saturation does not occur.
  • the recognition candidate extraction unit 105 extracts recognition candidates for performing the recognition process from the second exposure image acquired in step S106.
  • the region to be extracted as a recognition candidate in the second exposure image is determined based on the center position of the light source region detected in step S103 and the size (height, width) of the lightning-type marker specified in step S104. ..
  • FIG. 6 is a diagram showing an example of recognition candidates extracted in step S107.
  • the second exposure image T121 shown in FIG. 6 is the same as that in FIG.
  • the recognition candidate T132 is set and extracted around the image region T122 corresponding to the electric sign T101 in the second exposure image T121.
  • the center position of the recognition candidate T132 is set from the center position of the light source region detected in step S103.
  • the height and width of the recognition candidate T132 are set from the height and width representing the size of the electric sign specified in step S104, respectively.
  • step S108 the recognition processing unit 106 executes recognition processing for the recognition candidates extracted in step S107.
  • the above-mentioned template matching process is performed using a template image having the same size as the extracted recognition candidate, and the template image having the highest correlation is specified among the plurality of template images.
  • the image area extracted as the recognition candidate T132 is an image of the electric sign T101
  • the type of the electric sign T101 is the maximum speed limit road sign
  • the displayed content is the highest. Recognize that the speed represents 100 km / h.
  • an image is taken using an exposure amount at which at least a part of the light emitting portion is pixel-saturated for an object having a high-luminance light emitting portion such as a lightning-type marker.
  • the size of the object is estimated from the image and the recognition process is performed.
  • the size of the template image used for the recognition process can be narrowed down according to the size of the object, so that the processing time can be reduced.
  • the object can be recognized accurately even with a short processing time.
  • the object recognition device 10 includes an exposure amount determination unit 101, an image acquisition unit 102, a light source detection unit 103, a size identification unit 104, a recognition candidate extraction unit 105, and a recognition processing unit 106.
  • the exposure amount determination unit 101 can determine the first exposure amount F101 and the second exposure amount C101 which is smaller than the first exposure amount F101 (steps S101 and S105), and the image acquisition unit 102 can determine the first exposure amount.
  • the first exposure image T111 captured by F101 and the second exposure image T121 captured by the second exposure amount C101 are acquired (steps S102 and S106).
  • the light source detection unit 103 detects the light source region (image region T113) from the first exposure image T111 (step S103).
  • the size specifying unit 104 specifies the size of the object to be recognized (lightning type marker T101) based on the light source region detected by the light source detecting unit 103 (step S104).
  • the recognition candidate extraction unit 105 is a recognition candidate that is a candidate for an area in which an object exists from the second exposure image T121 based on the position of the light source region detected by the light source detection unit 103 and the size of the object specified by the size identification unit 104. Extract T132 (step S107).
  • the recognition processing unit 106 performs recognition processing on an object on the recognition candidate T132 extracted by the recognition candidate extraction unit 105 (step S108). Since this is done, recognition candidates corresponding to the size of the object to be recognized can be extracted from the image captured by the camera and the recognition process can be performed, so that the object can be accurately recognized in a short processing time.
  • the exposure amount determination unit 101 determines the first exposure amount F101 and the second exposure amount C101 based on the exposure amount at which at least a part of the light emitting portion of the object to be recognized at the time of imaging is pixel-saturated. Specifically, in step S101, the exposure amount at which at least a part of the light emitting portion is pixel-saturated during imaging by the imaging device 20 is determined as the first exposure amount F101, and in step S105, the light emission is emitted when imaging by the imaging device 20. The exposure amount at which pixel saturation does not occur in the portion is determined as the second exposure amount C101.
  • an appropriate exposure amount for capturing an image in which the light source region can be easily detected is determined as the first exposure amount F101, and an appropriate exposure amount for capturing an image in which the recognition process is easy to be performed is determined. It can be determined as the second exposure amount C101.
  • FIG. 7 is a functional block diagram showing a configuration of an object recognition device according to a second embodiment of the present invention.
  • the object recognition device 10A of the present embodiment is connected to the image pickup device 20 and the vehicle control device 30 in the same manner as the object recognition device 10 according to the first embodiment described with reference to FIG. ..
  • the object recognition device 10A of the present embodiment includes an exposure amount determination unit 201, an image acquisition unit 202, a light source detection unit 203, a size identification unit 204, a recognition candidate extraction unit 205, a recognition processing unit 206, and a size information storage unit 207. ..
  • the object recognition device 10A is configured by using, for example, a computer having an arithmetic unit such as a CPU or a storage device such as a ROM, RAM, or a flash memory, and by executing a control program stored in the storage device by the arithmetic unit. , Operates as each of the above functional blocks.
  • a part or all of the functions of the object recognition device 10A may be configured by using hardware such as FPGA.
  • the exposure amount determination unit 201 calculates two types of exposure amounts that control the brightness of the image pickup apparatus 20, that is, the first exposure amount F201 and the second exposure amount C201. The calculated exposure amounts are output to the image pickup apparatus 20.
  • the image acquisition unit 202 captures two types of images captured by the image pickup apparatus 20 with the first exposure amount F201 and the second exposure amount C201 determined by the exposure amount determination unit 201. It is acquired as a first exposure image and a second exposure image.
  • the light source detection unit 203 detects the light source region from the first exposed image and outputs the detection result to the size identification unit 204 and the recognition candidate extraction unit 205.
  • the size identification unit 204 identifies the size of the object to be recognized by the object recognition device 10A from each information of the center position, width, and height of the light source region represented by the output of the light source detection unit 203, and the recognition candidate extraction unit 205. Output to.
  • the light source detection unit 203 estimates the size of the object on the image and specifies the size by referring to the size information stored in the size information storage unit 207. The details of the size information stored in the size information storage unit 207 will be described later.
  • the recognition candidate extraction unit 205 is a second exposure image based on the position of the light source region detected by the light source detection unit 203 and the size of the object specified by the size identification unit 204. Extract recognition candidates from. Similar to the recognition processing unit 106 of FIG. 1, the recognition processing unit 206 performs recognition processing on the recognition candidates extracted from the second exposed image by the recognition candidate extraction unit 205, and the type of the object and the object. Recognize the displayed contents.
  • the size information storage unit 207 stores size information indicating the relationship between the light emitting portion of the object to be recognized and the size of the object.
  • This size information can be expressed, for example, as a magnification of the size of the object with respect to the light emitting portion for each of the width and height of the object.
  • the size information is not limited to the width and height of the object.
  • the magnification with respect to the radius can be stored in the size information storage unit 207 as size information.
  • any information as size information can be stored in the size information storage unit 207 as long as the information is related to the relationship between the light emitting portion and the size of the object.
  • the size information stored in the size information storage unit 207 may be rewritable at the pre-shipment stage of the production line of the factory or the like when the destination of the object recognition device 10A is determined.
  • the size information regarding the light emitting portion and the size of the object such as an electric sign placed in the country is stored in the size information storage unit 207. ..
  • size information according to the destination is stored.
  • FIG. 8 is a flowchart showing a processing flow of the object recognition device 10A according to the second embodiment of the present invention.
  • the object recognition device 10A of the present embodiment is mounted on a vehicle, and the processing shown in the flowchart of FIG. 8 is performed at predetermined processing cycles by, for example, an arithmetic unit such as a CPU.
  • an arithmetic unit such as a CPU.
  • the object recognition device 10A has a first exposure amount calculation process (S201), an image acquisition process (S202), a light source detection process (S203), an object type determination process (S204), and an object size calculation process (S205) according to the flowchart of FIG. ),
  • each processing content will be described.
  • steps S201 to S203 the exposure amount determination unit 201, the image acquisition unit 202, and the light source detection unit 203 perform the same processing as in steps S101 to S103 of FIG. 3, respectively.
  • step S204 the size specifying unit 104 determines which object type size information is referred to in the size information stored in the size information storage unit 207 based on the light source area detected in step S203.
  • the size information storage unit 207 determines which type of object the size information is stored for each type. ..
  • the object type determination process in step S204 gives the result that the object type is an electric sign.
  • step S205 the size specifying unit 104 calculates the size of the object to be recognized by the object recognition device 10A with reference to the size information stored in the size information storage unit 207 based on the determination result in step S204.
  • the size of the object is calculated by referring to the size information shown in the table of FIG. 9, for example.
  • FIG. 9 is a diagram showing an example of size information stored in the size information storage unit 207.
  • the magnification of the height and the width with respect to the object including the light emitting portion is described in a table format for each type of the object.
  • the second line contains road signs
  • the third line contains size information related to the vehicle.
  • step S205 by referring to the road sign portion in the size information of FIG. 9, the magnification of the lightning type sign with respect to the width and height of the light emitting portion detected as the light source region is 1.2 times. It turns out that there is. Therefore, the size of the lightning-type sign in the captured image can be specified by multiplying the width and height of the light source region acquired in the light source detection process (S203) by the magnifications shown in FIG. ..
  • steps S206 to S209 the exposure amount determination unit 201, the image acquisition unit 202, the recognition candidate extraction unit 205, and the recognition processing unit 206 perform the same processing as in steps S105 to S108 of FIG. 3, respectively.
  • the size of the object to be recognized can be estimated more accurately by using the size relationship with the light emitting portion created in advance. ing. As a result, the area where the recognition process is performed can be selected more accurately, and the recognition accuracy can be improved.
  • the object recognition device 10A further includes a size information storage unit 207 in which size information indicating the relationship between the light emitting portion of the object and the size of the object is stored for each type of the object.
  • the size specifying unit 24 refers to the size information stored in the size information storage unit 207 based on the size of the light source area detected by the light source detecting unit 203, and specifies the size of the object. Since this is done, the size of the object to be recognized can be estimated more accurately, and the recognition accuracy of the object can be improved.
  • FIG. 10 is a functional block diagram showing a configuration of an object recognition device according to a third embodiment of the present invention.
  • the object recognition device 10B of the present embodiment is connected to the image pickup device 20 and the vehicle control device 30 in the same manner as the object recognition device 10 according to the first embodiment described with reference to FIG. .
  • the object recognition device 10B of the present embodiment includes an exposure amount determination unit 301, an image acquisition unit 302, a light source detection unit 303, a size identification unit 304, a recognition candidate extraction unit 305, a recognition processing unit 306, an environment information acquisition unit 307, and brightness.
  • the information storage unit 308 is provided.
  • the object recognition device 10B is configured by using, for example, a computer having an arithmetic unit such as a CPU or a storage device such as a ROM, RAM, or a flash memory, and by executing a control program stored in the storage device by the arithmetic unit. , Operates as each of the above functional blocks.
  • a part or all of the functions of the object recognition device 10B may be configured by using hardware such as FPGA.
  • the environmental information acquisition unit 307 acquires the environmental information around the object recognition device 10B and outputs it to the exposure amount determination unit 301.
  • the environmental information acquired by the environmental information acquisition unit 307 is, for example, information such as a place (country, region, etc.) and time zone in which the object recognition device 10B is operating, which is mounted on the object recognition device 10B. It corresponds to the information indicating the driving environment of the own vehicle.
  • the environment information acquisition unit 307 is connected to a navigation system (not shown), and the environment information can be acquired by acquiring the location and time zone information from this navigation system.
  • the navigation system can identify a location corresponding to its own current position by, for example, receiving a GPS (Global Positioning System) signal and comparing the position represented by the received GPS signal with a map.
  • the current time can be detected from the received GPS signal and the time zone can be specified.
  • the environmental information acquisition unit 307 can acquire environmental information by using any other means.
  • the brightness information storage unit 308 stores brightness information regarding the brightness of the light emitting portion of the object to be recognized.
  • this luminance information for example, the brightness of the light emitting portion is set for each place and time zone.
  • the brightness information can be represented by various physical quantities such as brightness [cd / m 2 ] and illuminance [lux].
  • the exposure amount determination unit 301 determines the first exposure amount F301 and the second exposure amount C301 with reference to the brightness information stored in the brightness information storage unit 308 based on the environmental information acquired by the environment information acquisition unit 307. .. Specifically, the exposure amount determination unit 301 determines the brightness of the light emitting portion of the object to be recognized corresponding to the environmental information acquired by the environmental information acquisition unit 307 from the luminance information stored in the luminance information storage unit 308. get. Then, the first exposure amount F301 and the second exposure amount C301 are set based on the acquired brightness of the light emitting portion.
  • the first exposure amount F301 is set so that the pixel value of the light emitting portion in the captured image is equal to or more than a predetermined reference value
  • the second exposure amount F301 is set so that the pixel value of the light emitting portion in the captured image is equal to or less than the predetermined reference value.
  • the exposure amount C301 is set.
  • the reference values in these settings may be the same value or different values.
  • the image acquisition unit 302 captures two types of images captured by the image pickup apparatus 20 with the first exposure amount F301 and the second exposure amount C301 determined by the exposure amount determination unit 301. It is acquired as a first exposure image and a second exposure image.
  • the light source detection unit 303 detects the light source region from the first exposed image and outputs the detection result to the size identification unit 304 and the recognition candidate extraction unit 305.
  • the size specifying unit 304 is an object to be recognized by the object recognition device 10B from the information of the center position, width, and height of the light source region represented by the output of the light source detecting unit 303. Is specified and output to the recognition candidate extraction unit 305.
  • the recognition candidate extraction unit 305 is a second exposure image based on the position of the light source region detected by the light source detection unit 303 and the size of the object specified by the size identification unit 304. Extract recognition candidates from. Similar to the recognition processing unit 106 of FIG. 1, the recognition processing unit 306 performs recognition processing on the recognition candidates extracted from the second exposed image by the recognition candidate extraction unit 305, and performs recognition processing on the type of the object and the object. Recognize the displayed contents.
  • FIG. 11 is a flowchart showing a processing flow of the object recognition device 10B according to the third embodiment of the present invention.
  • the object recognition device 10B of the present embodiment is mounted on a vehicle, and the processing shown in the flowchart of FIG. 11 is performed at predetermined processing cycles by, for example, an arithmetic unit such as a CPU.
  • an arithmetic unit such as a CPU.
  • the object recognition device 10B has an environment information acquisition process (S300), a first exposure amount setting process (S301), an image acquisition process (S302), a light source detection process (S303), and a size identification process (S304) according to the flowchart of FIG.
  • S300 environment information acquisition process
  • S301 first exposure amount setting process
  • S302 image acquisition process
  • S303 light source detection process
  • S304 size identification process
  • step S300 the environmental information acquisition unit 307 acquires the environmental information around the object recognition device 10B.
  • the environmental information around the object recognition device 10B the current time and the information of the traveling country of the own vehicle are acquired.
  • the exposure amount determination unit 301 sets the first exposure amount F301 with reference to the luminance information stored in the luminance information storage unit 308 based on the environmental information acquired in step S300.
  • the brightness of the light emitting portion of the lightning-type marker which is the object to be recognized by the object recognition device 10B, is specified, and the brightness corresponding to the brightness is specified.
  • One exposure amount F301 is set.
  • FIG. 12 is a diagram showing an example of luminance information stored in the luminance information storage unit 308.
  • the brightness of the light emitting portion of the electric sign is described in a table format for each time zone and traveling country. Specifically, each row of the table corresponds to the time zone, and each column corresponds to the traveling country (Japan, Germany), and the brightness information of the light emitting part of the electric sign is stored for each combination of these. ..
  • the traveling country is Japan
  • the brightness of the light emitting part of the lightning-type sign in the time zone from 6:00 to 9:00 is 50 [cd / m 2 ], and in the time zone from 9:00 to 15:00.
  • the brightness of the light emitting part of the lightning-type sign is 100 [cd / m 2 ], and the brightness of the light-emitting part of the lightning-type sign during the time period from 15:00 to 19:00 is 70 [cd / m 2 ]. It is shown that the brightness of the light emitting portion of the lightning-type sign in the time zone from 19:00 to 6:00 is 60 [cd / m 2 ].
  • the exposure amount at which pixel saturation occurs during imaging can be set as the first exposure amount F301.
  • steps S302 to S304 the image acquisition unit 302, the light source detection unit 303, and the size identification unit 304 perform the same processing as in steps S102 to S104 of FIG. 3, respectively.
  • step S305 the exposure amount determination unit 301 sets the second exposure amount C301 with reference to the luminance information stored in the luminance information storage unit 308 based on the environmental information acquired in step S300.
  • step S301 for example, by referring to the brightness information shown in the table of FIG. 12, the brightness of the light emitting portion of the lightning-type marker, which is the object to be recognized by the object recognition device 10B, is specified, and the brightness thereof.
  • the second exposure amount C301 corresponding to this is set.
  • the brightness information of FIG. 12 as described above, in Japan, which is the country of travel of the own vehicle, the brightness of the light emitting portion of the electric sign is 60 [cd / m] at 20:00 of the current time. 2 ]. Therefore, based on this brightness, an exposure amount that does not cause pixel saturation during imaging can be set as the second exposure amount C301.
  • steps S306 to S308 the image acquisition unit 302, the recognition candidate extraction unit 305, and the recognition processing unit 306 perform the same processing as in steps S106 to S108 of FIG. 3, respectively.
  • the exposure amount at the time of imaging is adaptively obtained by acquiring the brightness information regarding the brightness of the light emitting portion corresponding to the surrounding environment of the current object recognition device 10B. I am trying to change it to. This makes it possible to appropriately set the exposure amount at the time of imaging for an object whose brightness changes according to the place and time zone, such as the light emitting part of an electric sign, and the detection accuracy of the object. And recognition accuracy can be improved.
  • the object recognition device 10B further includes an environment information acquisition unit 307 that acquires environmental information around the object recognition device 10B, and a luminance information storage unit 308 that stores the luminance information of the light emitting portion of the object for each environment. Be prepared.
  • the exposure amount determination unit 301 determines the first exposure amount F301 and the second exposure amount C301 by referring to the brightness information stored in the brightness information storage unit 308 based on the environmental information acquired by the environment information acquisition unit 307. Since this is done, the exposure amount at the time of imaging can be set more appropriately, so that the detection accuracy and the recognition accuracy of the object can be improved.
  • the environmental information acquisition unit 307 can acquire information including at least one of the place and time zone in which the object recognition device 10B is operating as environmental information. Since this is done, the information necessary for setting the exposure amount at the time of imaging can be reliably and easily acquired as environmental information.
  • FIG. 13 is a functional block diagram showing a configuration of an object recognition device according to a fourth embodiment of the present invention.
  • the object recognition device 10C of the present embodiment is connected to the image pickup device 20 and the vehicle control device 30 in the same manner as the object recognition device 10 according to the first embodiment described with reference to FIG. .
  • the object recognition device 10C of the present embodiment includes an exposure amount determination unit 401, an image acquisition unit 402, a light source detection unit 403, a size identification unit 404, a recognition candidate extraction unit 405, a recognition processing unit 406, a three-dimensional position calculation unit 407, and A behavior information acquisition unit 408 is provided.
  • the object recognition device 10C is configured by using, for example, a computer having an arithmetic unit such as a CPU or a storage device such as a ROM, RAM, or a flash memory, and by executing a control program stored in the storage device by the arithmetic unit. , Operates as each of the above functional blocks.
  • a part or all of the functions of the object recognition device 10C may be configured by using hardware such as FPGA.
  • the exposure amount determination unit 401 calculates two types of exposure amounts for controlling the brightness of the image pickup apparatus 20, that is, the first exposure amount F401 and the second exposure amount C401. The calculated exposure amounts are output to the image pickup apparatus 20.
  • the image acquisition unit 402 captures two types of images captured by the image pickup apparatus 20 with the first exposure amount F401 and the second exposure amount C401 determined by the exposure amount determination unit 401. It is acquired as a first exposure image and a second exposure image.
  • the light source detection unit 403 detects the light source region from the first exposure image, and outputs the detection result to the size identification unit 404, the recognition candidate extraction unit 405, and the three-dimensional position calculation unit 407.
  • the size specifying unit 404 identifies the size of the object to be recognized by the object recognition device 10C from the width and height information of the light source area represented by the output of the light source detection unit 403, and recognizes the recognition candidate extraction unit 405 and three-dimensionally. Output to the position calculation unit 407.
  • the three-dimensional position calculation unit 407 calculates the three-dimensional position of the object to be recognized from the outputs of the light source detection unit 403 and the size identification unit 404, and outputs the calculated three-dimensional position to the recognition candidate extraction unit 405.
  • the three-dimensional position calculation unit 407 possesses, for example, information on the actual size of an object in the real world and information on optical parameters of the image pickup apparatus 20.
  • the optical parameters are parameters related to the lens and the image sensor of the image pickup apparatus 20, such as the focal length and the actual size of the pixels.
  • the three-dimensional position calculation unit 407 is an object recognition device using the size information of the object on the captured image output by the size identification unit 404, the actual size information of the object possessed by the three-dimensional position calculation unit 407, and the optical parameters.
  • the distance in the depth direction from 10C to the object is estimated.
  • the center position of the light source region detected by the light source detection unit 403, and the optical parameters possessed by the three-dimensional position calculation unit 407 the horizontal and vertical directions orthogonal to the depth direction are used.
  • the position of the object with respect to the object recognition device 10C is estimated for each of the directions.
  • the three-dimensional position calculation unit 407 calculates the three-dimensional position of the object.
  • the three-dimensional position of the object calculated by the three-dimensional position calculation unit 407 is output to the recognition candidate extraction unit 405.
  • the behavior information acquisition unit 408 acquires behavior information regarding the behavior of the moving object on which the object recognition device 10C is mounted. Specifically, for example, when the moving body is a vehicle, information such as the traveling speed, steering angle, and yaw rate of the vehicle is transmitted to the vehicle via a network such as CAN (Controller Area Network) provided in the vehicle. It can be acquired as behavior information.
  • the behavior information acquisition unit 408 may acquire other information as behavior information. Further, the behavior information may be acquired via a network other than CAN, or the behavior information may be acquired by another method. As long as the information is related to the behavior of the moving object on which the object recognition device 10C is mounted, the behavior information acquisition unit 408 can use any information acquired by any method as the behavior information.
  • the recognition candidate extraction unit 405 extracts recognition candidates from the second exposure image based on the outputs of the light source detection unit 403, the size identification unit 404, the three-dimensional position calculation unit 407, and the behavior information acquisition unit 408. Specifically, first, based on the behavior information acquired by the behavior information acquisition unit 408, the amount of movement of the moving body in the period from the acquisition of the first exposure image by the imaging device 20 to the acquisition of the second exposure image is determined. calculate. Next, by applying the calculated movement amount to the three-dimensional position of the object at the time of imaging of the first exposure image calculated by the three-dimensional position calculation unit 407, the object 3 at the time of imaging of the second exposure image is applied. Estimate the dimensional position.
  • recognition candidates are extracted by extracting a region corresponding to the size of the object specified by the size specifying unit 204 at the estimated three-dimensional position from the second exposed image.
  • the recognition candidate extraction unit 405 can extract the recognition candidates corresponding to the three-dimensional positions of the object from the second exposed image, for example.
  • the recognition processing unit 406 performs recognition processing on the recognition candidates extracted from the second exposed image by the recognition candidate extraction unit 405, and the type of the object and the object. Recognize the displayed contents.
  • FIG. 14 is a flowchart showing a processing flow of the object recognition device 10C according to the fourth embodiment of the present invention.
  • the object recognition device 10C of the present embodiment is mounted on a vehicle, and the processing shown in the flowchart of FIG. 14 is executed at predetermined processing cycles by, for example, an arithmetic unit such as a CPU.
  • an arithmetic unit such as a CPU.
  • the object recognition device 10C has a first exposure amount calculation process (S400), an image acquisition process (S401), a light source detection process (S402), a size identification process (S403), and a three-dimensional position calculation process (S404) according to the flowchart of FIG. ), Second exposure amount calculation process (S405), image acquisition process (S406), vehicle information acquisition process (S407), object position prediction process (S408), recognition candidate extraction process (S409), recognition process (S410) in that order.
  • S400 First exposure amount calculation process
  • S401 image acquisition process
  • S402 light source detection process
  • S403 size identification process
  • S404 three-dimensional position calculation process
  • steps S400 to S403 the exposure amount determination unit 401, the image acquisition unit 402, the light source detection unit 403, and the size identification unit 404 perform the same processing as in steps S101 to S104 of FIG.
  • step S404 the three-dimensional position calculation unit 407 calculates the three-dimensional position of the object based on the position of the light source region detected in step S402 and the size of the object to be recognized identified in step S403.
  • the three-dimensional position of the object is calculated according to the processing flow shown in FIG. 15 described below.
  • FIG. 15 is a flowchart of the three-dimensional position calculation process.
  • the three-dimensional position calculation unit 407 executes the depth distance calculation process (S411), the lateral distance calculation process (S412), and the vertical distance calculation process (S413) in this order to form the object 3 Acquires 3D position information.
  • the depth distance Z is obtained using the following equation (1).
  • Z f / w * R / O ⁇ ⁇ ⁇ (1)
  • f is the focal length of the image pickup device 20
  • w is the size of the image sensor of the image pickup device 20
  • R is the actual size of the object to be recognized
  • O is the object on the captured image specified in step S403. Represents the size of each.
  • R and O may use either the width direction or the height direction as long as they are in the same direction. That is, the actual size width of the object to be recognized and the width on the captured image may be used as R and O, respectively, and the actual size height of the object to be recognized and the height on the captured image may be used as R and O, respectively. You may.
  • the lateral distance X is obtained using the following equation (2).
  • X wx / f * Z * (cx --ox) ⁇ ⁇ ⁇ (2)
  • wx is the width of the image sensor of the image sensor 20
  • f is the focal length of the image sensor 20
  • Z is the depth distance of the object obtained by the formula (1) in the depth distance calculation process of step S411.
  • cx represents the lateral position of the light source region detected in step S402 on the captured image
  • ox represents the horizontal center position of the captured image.
  • wy is the vertical width of the image sensor of the image pickup device 20
  • f is the focal length of the image pickup device 20
  • Z is the depth distance of the object obtained by the formula (1) in the depth distance calculation process of step S411.
  • Cy represent the vertical position of the light source region detected in step S402 on the captured image
  • oy represents the vertical center position of the captured image.
  • step S404 the three-dimensional position of the object to be recognized is acquired by the above calculation.
  • steps S405 to S406 the exposure amount determination unit 401 and the image acquisition unit 402 perform the same processing as in steps S105 to S106 of FIG. 3, respectively.
  • the behavior information acquisition unit 408 acquires the behavior information of the moving body.
  • information such as the traveling speed, steering angle, and yaw rate of a moving vehicle is acquired as behavior information.
  • step S408 the recognition candidate extraction unit 405 predicts the position of the object in the second exposure image based on the three-dimensional position of the object calculated in step S404 and the behavior information acquired in step S407.
  • the position of the object is predicted according to the processing flow shown in FIG. 16 described below.
  • FIG. 16 is a flowchart of the object position prediction process.
  • the recognition candidate extraction unit 405 predicts the position of the object by sequentially performing the three-dimensional position update process (S421) and the image projection process (S422).
  • the three-dimensional position of the object calculated in step S404 is updated to the three-dimensional position at the time of capturing the second exposure image by using the behavior information acquired in step S407. That is, since the three-dimensional position of the object calculated in step S407 is the position of the object at the time of capturing the first exposure image, the imaging device 20 captures the first exposure image and then captures the second exposure image.
  • the three-dimensional position of the object is updated based on the amount of movement of the moving body in the period up to. Specifically, the amount of movement of the moving vehicle is calculated in each of the depth direction, the horizontal direction, and the vertical direction by using the information such as the speed, the steering angle, and the yaw rate included in the behavior information. After that, by subtracting the movement amount of the vehicle from the three-dimensional position calculated in step S407, the position is updated to the three-dimensional position at the time of capturing the second exposure image.
  • the position of the object in the second exposure image is predicted by projecting the three-dimensional position of the object updated in step S421 onto the second exposure image.
  • step S408 the position of the object in the second exposed image is predicted by the above process.
  • the recognition candidate extraction unit 405 extracts recognition candidates for performing the recognition process from the second exposed image based on the position of the object predicted in step S408.
  • the size (height, width) of the object specified in step S403 to the position of the object on the second exposed image obtained in step S422, it is extracted as a recognition candidate in the second exposed image. Determine the area to be used.
  • the width and height of the region to be extracted as recognition candidates may be determined in consideration of the movement amount of the vehicle calculated in step S421 and the actual size of the object.
  • step S410 the recognition processing unit 406 performs the same recognition processing as in step S107 of FIG. 3 on the recognition candidates extracted in step S409.
  • the amount of movement of the moving body in the period from the acquisition of the first exposure image to the acquisition of the second exposure image by the image pickup device 20 is taken into consideration.
  • the area to be extracted as a recognition candidate from the second exposed image is determined.
  • the object recognition device 10C includes a three-dimensional position calculation unit 407 that calculates a three-dimensional position of an object, and a behavior information acquisition unit 408 that acquires behavior information related to the behavior of a moving object on which the object recognition device 10C is mounted. Further prepare.
  • the recognition candidate extraction unit 405 extracts recognition candidates based on the position of the light source region, the size of the object, the three-dimensional position of the object, and the behavior information. Since this is done, the recognition candidate can be determined in consideration of the movement amount of the moving body, so that the recognition performance of the object can be improved.
  • FIG. 17 is a functional block diagram showing a configuration of an object recognition device according to a fifth embodiment of the present invention.
  • the object recognition device 10D of the present embodiment is connected to the image pickup device 20 and the vehicle control device 30 in the same manner as the object recognition device 10 according to the first embodiment described with reference to FIG. ..
  • the object recognition device 10D of the present embodiment includes an exposure amount determination unit 501, an image acquisition unit 502, a light source detection unit 503, a size identification unit 504, a recognition candidate extraction unit 505, a recognition processing unit 506, an environment information acquisition unit 507, and brightness information. It includes a storage unit 508 and a recognition candidate correction unit 509.
  • the object recognition device 10D is configured by using, for example, a computer having an arithmetic unit such as a CPU or a storage device such as a ROM, RAM, or a flash memory, and by executing a control program stored in the storage device on the arithmetic unit. , Operates as each of the above functional blocks.
  • a part or all of the functions of the object recognition device 10D may be configured by using hardware such as FPGA.
  • the environmental information acquisition unit 507 acquires the environmental information around the object recognition device 10D and outputs it to the exposure amount determination unit 501, similarly to the environmental information acquisition unit 307 of FIG. 10 described in the third embodiment.
  • the luminance information storage unit 508 stores the luminance information regarding the brightness of the light emitting portion of the object to be recognized, similarly to the luminance information storage unit 308 of FIG. 10 described in the third embodiment.
  • the exposure amount determination unit 501 is the brightness stored in the brightness information storage unit 508 based on the environmental information acquired by the environment information acquisition unit 507, similarly to the exposure amount determination unit 301 of FIG. 10 described in the third embodiment. With reference to the information, the first exposure amount F501 and the second exposure amount C501 are determined.
  • the image acquisition unit 502 captures two types of images captured by the image pickup apparatus 20 with the first exposure amount F501 and the second exposure amount C501 determined by the exposure amount determination unit 501. It is acquired as a first exposure image and a second exposure image.
  • the light source detection unit 503 detects the light source region from the first exposed image and outputs the detection result to the size identification unit 504 and the recognition candidate extraction unit 505.
  • the size specifying unit 504 is an object to be recognized by the object recognition device 10D from each information of the center position, width, and height of the light source region represented by the output of the light source detecting unit 503. Is specified and output to the recognition candidate extraction unit 505.
  • the recognition candidate extraction unit 505 is a second exposed image based on the position of the light source region detected by the light source detection unit 503 and the size of the object specified by the size identification unit 504. Extract recognition candidates from.
  • the recognition candidate correction unit 509 corrects at least one of the positions, sizes, and shapes of the recognition candidates extracted by the recognition candidate extraction unit 505 on the second exposed image, extracts the corrected recognition candidates, and extracts the correction processing unit 506. Output to.
  • the recognition candidate correction unit 509 for example, expands the area output as a recognition candidate in the second exposure image by the recognition candidate extraction unit 505 once, and reduces the area based on the luminance information of the enlarged area.
  • the position, size, and shape of recognition candidates can be corrected. Specifically, for example, the brightness of the light emitting portion of the object in the second exposure image is estimated based on the brightness information stored in the brightness information storage unit 508, and a brightness value similar to the estimated brightness of the light emitting portion is obtained.
  • Each of the included pixels that is, each pixel whose brightness difference from the light emitting portion is less than a predetermined threshold value is extracted from the region of the recognition candidate after enlargement. Then, based on the distribution of each extracted pixel, the recognition candidate area is reduced so that the pixel density in the area becomes, for example, a predetermined value or more.
  • the recognition candidate can be corrected by setting the position, size, and shape of the recognition candidate whose region is reduced on the second exposed image as the position, size, and shape of the corrected recognition candidate.
  • the brightness information of the enlarged area may be binarized to correct the recognition candidates.
  • the brightness information can be binarized by setting the brightness value of a pixel whose difference from the brightness of the light emitting portion is less than a predetermined threshold value to 255 and setting the brightness value of a pixel whose difference from the brightness of the light emitting portion is less than the threshold value to 0.
  • the projection histograms are calculated in the vertical and horizontal directions, and the peaks of each histogram are detected to determine the position, size, and shape of the corrected recognition candidates. Can be decided.
  • a model capable of estimating the regression coefficient with respect to the position of the object is learned for each brightness of the light emitting portion, and the brightness of the light emitting portion of the object in the second exposed image estimated from the luminance information.
  • the position, size, and shape of the recognition candidate after correction may be determined by switching the model to be used according to the above. In addition to this, it is possible to correct the recognition candidates on the second exposed image by using an arbitrary method.
  • the recognition processing unit 506 performs the same recognition processing as the recognition processing unit 106 of FIG. 1 on the recognition candidate corrected by the recognition candidate correction unit 509 on the second exposed image, thereby determining the type of the object and the recognition candidate. Recognize the display content of the object.
  • FIG. 18 is a flowchart showing a processing flow of the object recognition device 10D according to the fifth embodiment of the present invention.
  • the object recognition device 10D of the present embodiment is mounted on a vehicle, and the processing shown in the flowchart of FIG. 18 is executed at predetermined processing cycles by, for example, an arithmetic unit such as a CPU.
  • an arithmetic unit such as a CPU.
  • the object recognition device 10D has an environment information acquisition process (S500), a first exposure amount setting process (S501), an image acquisition process (S502), a light source detection process (S503), and a size identification process (S504) according to the flowchart of FIG. , Second exposure amount setting process (S505), image acquisition process (S506), recognition candidate extraction process (S507), recognition candidate enlargement process (S508), light emitting unit brightness estimation process (S509), recognition candidate re-extraction process (S509).
  • each processing content will be described.
  • step S500 the environmental information acquisition unit 507 acquires the environmental information around the object recognition device 10D in the same manner as in step S300 of FIG.
  • the exposure amount determination unit 501 refers to the brightness information stored in the brightness information storage unit 508 based on the environmental information acquired in step S500, as in step S301 of FIG. 11, and the first exposure amount. Set F501.
  • steps S502 to S504 the image acquisition unit 502, the light source detection unit 503, and the size identification unit 504 perform the same processing as in steps S102 to S104 of FIG. 3, respectively.
  • the exposure amount determination unit 501 refers to the brightness information stored in the brightness information storage unit 508 based on the environmental information acquired in step S500, as in step S305 of FIG. 11, and the second exposure amount. Set C501.
  • steps S506 to S507 the image acquisition unit 502 and the recognition candidate extraction unit 505 carry out the same processing as in steps S106 to S107 of FIG. 3, respectively.
  • the recognition candidate correction unit 509 enlarges the recognition candidates extracted in step S507 on the second exposed image.
  • the recognition candidate is expanded by applying a predetermined magnification in the width direction and the height direction to the region of the second exposed image extracted as the recognition candidate.
  • the magnifications applied in the width direction and the height direction may be the same value or different values.
  • the recognition candidate correction unit 509 estimates the brightness of the light emitting portion of the object in the second exposure image by referring to the brightness information stored in the brightness information storage unit 508.
  • the brightness of the light emitting portion in the second exposure image is calculated by calculating the brightness value of the second exposed image corresponding to the brightness of the light emitting portion represented by the luminance information based on the second exposure amount C501 set in step S505. Can be estimated.
  • step S510 the recognition candidate correction unit 509 resets the recognition candidates by reducing the recognition candidates enlarged in step S508 based on the brightness of the light emitting portion in the second exposed image estimated in step S509. .. Then, the reset recognition candidate is re-extracted as the corrected recognition candidate.
  • recognition candidates are re-extracted according to the processing flow shown in FIG. 19 described below.
  • FIG. 19 is a flowchart of the recognition candidate re-extraction process.
  • the recognition candidate correction unit 509 executes the image binarization process (S520), the projection histogram calculation (S521), the width estimation process (S522), and the height estimation process (S523) in this order. , Re-extract recognition candidates.
  • the second exposed image T501 shown in FIG. 20 is acquired in step S506, and the image region T502 is extracted as a recognition candidate in step S507 with respect to the second exposed image T501. It is assumed that the image area T503 is obtained as a recognition candidate after enlargement in step S508.
  • the brightness value of each pixel in the image area T503 of FIG. 20 is binarized based on the brightness of the light emitting portion estimated in step S509. Specifically, for example, as described above, the brightness value of a pixel whose difference from the brightness of the light emitting portion is less than a predetermined threshold value is set to 255, and the brightness value of a pixel whose difference from the brightness of the light emitting portion is equal to or more than the threshold value is set to 0.
  • FIG. 21 is a diagram showing an example of a recognition candidate and a projection histogram after the binarization process.
  • the binarized image T511 shows the result of binarizing each pixel of the image region T503 which is a recognition candidate after enlargement shown in FIG. 20.
  • each pixel whose luminance value is set to 255 by the binarization process is shown in white, and each pixel whose luminance value is set to 0 is shown in black.
  • Each pixel shown in white corresponds to the light emitting portion of the electric sign which is the object to be recognized, and each pixel shown in black corresponds to the other portion.
  • the projection histogram for the column direction and the row direction of the binarized image T511 obtained by the image binarization process in step S520 is calculated.
  • the projection histogram is calculated by adding the number of pixels having a brightness value of 255 in the binarized image T511 in the column direction and the row direction, respectively.
  • the histogram T512 is an example of a projection histogram calculated in the column direction of the binarized image T511, and the histogram T513 is a projection histogram calculated in the row direction of the binarized image T511. This is an example. As shown by these histograms T512 and T513, by performing the projection histogram calculation on the binarized image T511, a histogram having a peak at a position corresponding to the light emitting portion in each of the horizontal direction and the vertical direction. Can be obtained.
  • the width of the corrected recognition candidate is estimated based on the histogram obtained by the projection histogram calculation of step S521.
  • the width of the corrected recognition candidate is estimated by using the histogram T512 calculated for the column direction of the binarized image T511, that is, the histogram T512 indicating the peak position in the horizontal direction. Specifically, for example, as shown in FIG. 21, rise points and fall points located at both ends of the peak portion having a value of the threshold value T514 or more in the histogram T512 are acquired as the minimum point P1 and the maximum point P2, respectively. Then, the number of columns between the acquired points P1 and P2 is estimated as the width of the recognition candidates after correction.
  • the height of the corrected recognition candidate is estimated based on the histogram obtained by the projection histogram calculation of step S521.
  • the height of the corrected recognition candidate is estimated by using the histogram T513 calculated with respect to the row direction of the binarized image T511, that is, the histogram T513 indicating the peak position in the vertical direction.
  • rise points and fall points located at both ends of the peak portion having a value of the threshold value T515 or more in the histogram T513 are acquired as the minimum point P3 and the maximum point P4, respectively.
  • the number of rows between the acquired points P3 and P4 is estimated as the height of the recognition candidate after correction.
  • the width and height of the corrected recognition candidate are estimated by the above process. Then, the recognition candidates are re-extracted by resetting the recognition candidates on the second exposed image with the estimated width and height.
  • step S511 the recognition processing unit 506 performs the same recognition processing as in step S107 of FIG. 3 on the recognition candidates re-extracted in step S510.
  • recognition candidates once extracted from the second exposed image are obtained by performing image processing in consideration of the brightness of the light emitting portion on the second exposed image. I am trying to correct it. As a result, even when it is difficult for the recognition candidate extraction unit 505 to extract an appropriate recognition candidate from the second exposed image, high recognition accuracy can be maintained.
  • the object recognition device 10D further includes a recognition candidate correction unit 509 that corrects at least one of the positions, sizes, and shapes of the recognition candidates extracted by the recognition candidate extraction unit 505.
  • the recognition processing unit 506 performs recognition processing on the recognition candidates corrected by the recognition candidate correction unit 509. Since this is done, the recognition candidates once extracted from the second exposed image can be corrected, so that the recognition accuracy of the object can be maintained with high accuracy.
  • the recognition candidate correction unit 509 corrects the recognition candidates by enlarging the recognition candidates extracted by the recognition candidate extraction unit 505 and reducing the recognition candidates based on the information on the brightness value of the enlarged recognition candidates. Specifically, the recognition candidate correction unit 509 estimates the brightness of the light emitting portion of the object in the second exposure image, and is based on the distribution of pixels having a brightness value similar to the brightness of the light emitting portion in the enlarged recognition candidate. To reduce the recognition candidates. Since this is done, the recognition candidates can be appropriately corrected in consideration of the brightness of the light emitting portion of the object in the second exposed image.
  • an example in which the electric sign is used as the object to be recognized is described, but other objects may be used as the recognition target.
  • an object having a high-intensity light-emitting part such as a preceding vehicle having a light-emitting part such as a brake lamp, a following vehicle having a light-emitting part such as a headlight, a traffic light, a signboard indicating a destination, and various electric bulletin boards is targeted for recognition. If so, the present invention can be applied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

短い処理時間で正確に物体を認識する。物体認識装置１０は、露光量決定部１０１と、画像取得部１０２と、光源検出部１０３と、サイズ特定部１０４と、認識候補抽出部１０５と、認識処理部１０６とを備える。画像取得部１０２は、第一露光量Ｆ１０１で撮像された第一露光画像と、第一露光量Ｆ１０１よりも少ない第二露光量Ｃ１０１で撮像された第二露光画像とを取得する。認識候補抽出部１０５は、光源検出部１０３が検出した光源領域の位置およびサイズ特定部１０４が特定した物体のサイズに基づいて、第二露光画像から物体が存在する領域の候補である認識候補を抽出する。認識処理部１０６は、認識候補抽出部１０５が抽出した認識候補に対して物体に関する認識処理を実施する。

Description

物体認識装置
　本発明は、物体認識装置に関する。
　自動運転の実現や交通事故の防止のために、走行中の車両において道路標識等の物体を認識し、その認識結果に基づく規制情報をドライバへの通知や車両の制御に利用する物体認識技術に大きな関心が寄せられている。道路標識には様々な種類のものがあり、その中には、高速道路や工事区間等に設置されて文字部が発光する電光式標識がある。道路標識の認識に用いられる物体認識装置では、こうした電光式標識についても正しく認識することが必要となる。
　電光式標識の認識に関して、例えば特許文献１には、電光式標識の一種である発光体を用いたＶＭＳ標識を短い露光時間で撮像した際に、その一部が欠損して撮像される性質に着目したものが知られている。特許文献１に開示された物体認識装置は、第１露光時間で撮像した第１画像からＶＭＳ標識が撮像された画像領域を検出するとともに、第１露光時間よりも長くＶＭＳ標識の欠損が発生しない第２露光時間で第２画像を撮像し、第１画像から検出された画像領域に対応する領域の第２画像を用いてＶＭＳ標識の表示内容を認識する。
特開２０１４－１５３１６７号公報
　特許文献１の物体認識装置では、第１画像の文字部が欠損した情報に基づいてＶＭＳ標識の検出処理を実施しているため、標識の大きさを正確に特定することができない。そのため、第２画像を用いたＶＭＳ標識の認識処理では、サイズの異なる多数のテンプレートを利用する必要があり、認識に要する処理時間が増加するとともに認識精度が低下するという課題がある。
　本発明は、このような課題に鑑み、短い処理時間で正確に道路標識等の物体を認識可能な技術の提供を目的とする。
　本発明による物体認識装置は、第一の露光量と、前記第一の露光量よりも少ない第二の露光量とを決定可能な露光量決定部と、前記第一の露光量で撮像された第一の露光画像と、前記第二の露光量で撮像された第二の露光画像とを取得する画像取得部と、前記第一の露光画像から光源領域を検出する光源検出部と、前記光源検出部が検出した前記光源領域に基づいて認識対象の物体のサイズを特定するサイズ特定部と、前記光源検出部が検出した前記光源領域の位置および前記サイズ特定部が特定した前記物体のサイズに基づいて、前記第二の露光画像から前記物体が存在する領域の候補である認識候補を抽出する認識候補抽出部と、前記認識候補抽出部が抽出した前記認識候補に対して前記物体に関する認識処理を実施する認識処理部と、を備える。
　本発明によれば、短い処理時間で正確に物体を認識することができる。
本発明の第１の実施形態に係る物体認識装置の構成を示す機能ブロック図である。 本発明の第１の実施形態に係る物体認識装置の動作を説明するためのシーンを示す図である。 本発明の第１の実施形態に係る物体認識装置の処理の流れを示すフローチャートである。 第一露光画像の例を示す図である。 第二露光画像の例を示す図である。 認識候補の例を示す図である。 本発明の第２の実施形態に係る物体認識装置の構成を示す機能ブロック図である。 本発明の第２の実施形態に係る物体認識装置の処理の流れを示すフローチャートである。 サイズ情報の例を示す図である。 本発明の第３の実施形態に係る物体認識装置の構成を示す機能ブロック図である。 本発明の第３の実施形態に係る物体認識装置の処理の流れを示すフローチャートである。 輝度情報の例を示す図である。 本発明の第４の実施形態に係る物体認識装置の構成を示す機能ブロック図である。 本発明の第４の実施形態に係る物体認識装置の処理の流れを示すフローチャートである。 ３次元位置算出処理のフローチャートである。 物体位置予測処理のフローチャートである。 本発明の第５の実施形態に係る物体認識装置の構成を示す機能ブロック図である。 本発明の第５の実施形態に係る物体認識装置の処理の流れを示すフローチャートである。 認識候補再抽出処理のフローチャートである。 第二露光画像および拡大後の認識候補の例を示す図である。 ２値化処理後の認識候補および投影ヒストグラムの例を示す図である。
　以下に、本発明の実施形態について詳細に説明する。
［第１の実施形態］
　図１は、本発明の第１の実施形態に係る物体認識装置の構成を示す機能ブロック図である。図１に示すように、本実施形態の物体認識装置１０は、撮像装置２０および車両制御装置３０と接続されており、露光量決定部１０１、画像取得部１０２、光源検出部１０３、サイズ特定部１０４、認識候補抽出部１０５、および認識処理部１０６を備える。物体認識装置１０は、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。なお、物体認識装置１０が有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。
　撮像装置２０は、車両に搭載されたカメラであり、当該車両の周囲、例えば前方の風景を撮像する。以下では、撮像装置２０が搭載されている車両を「自車両」と称する。撮像装置２０は、例えば所定のフレームレートごとに、撮像した画像を物体認識装置１０に出力する。撮像装置２０から出力された画像は、物体認識装置１０において画像取得部１０２に入力される。
　露光量決定部１０１は、撮像装置２０が画像を撮像する際の露光量を計算して決定し、撮像装置２０に出力する。露光量決定部１０１が決定する露光量とは、撮像装置２０が撮像する画像の明るさを調整するための物理量であり、例えば露光時間、アナログゲイン値、レンズのＦ値等が該当する。
　本実施形態において、露光量決定部１０１は、撮像装置２０に対して２種類の露光量を決定することができる。図１では、露光量決定部１０１により決定される２種類の露光量を、第一露光量Ｆ１０１、第二露光量Ｃ１０１としてそれぞれ示している。ここで、第一露光量Ｆ１０１は、第二露光量Ｃ１０１と比べて、撮像装置２０がより明るい画像を撮像可能な露光量を表すものとする。すなわち、第一露光量Ｆ１０１は第二露光量Ｃ１０１よりも多く、反対に第二露光量Ｃ１０１は第一露光量Ｆ１０１よりも少ないものとして、これらの露光量が露光量決定部１０１により決定される。
　なお、本実施形態では、物体認識装置１０が認識対象とする物体が電光式標識である場合の例を説明する。電光式標識とは、文字部等に発光素子を用いた発光部分を有する道路標識のことであり、例えば高速道路や工事区間等に設置される。この場合、露光量決定部１０１は、撮像装置２０が認識対象の物体である電光式標識を撮像した際に、電光式標識の発光部分の少なくとも一部が画素飽和する露光量に基づいて、第一露光量Ｆ１０１および第二露光量Ｃ１０１を決定する。具体的には、例えば、撮像時に発光部分に対応する画素の一部または全部が飽和して輝度値が最大値を示すような露光量、すなわち白とびが生じるような露光量を第一露光量Ｆ１０１として決定する。また、発光部分に対応する全ての画素が飽和せず、かつその一部または全部が欠損（黒つぶれ）しないような露光量を、第二露光量Ｃ１０１として決定する。これらの露光量は、例えば路面の明るさを基準にして算出することができる。
　なお、以下では物体認識装置１０が認識対象とする物体が電光式標識である場合を説明するが、他の物体を認識対象としてもよい。例えば、ブレーキランプ等の発光部分を有する先行車両、ヘッドライト等の発光部分を有する後続車両、信号機、各種電光掲示板等、高輝度の発光部分を有する様々な物体を物体認識装置１０の認識対象とすることが可能である。
　画像取得部１０２は、露光量決定部１０１により決定された第一露光量Ｆ１０１、第二露光量Ｃ１０１で撮像装置２０がそれぞれ撮像した２種類の画像を撮像装置２０から取得する。そして、第一露光量Ｆ１０１で撮像された画像を第一露光画像として光源検出部１０３に出力するとともに、第二露光量Ｃ１０１で撮像された画像を第二露光画像として認識候補抽出部１０５に出力する。
　光源検出部１０３は、撮像装置２０により第一露光量Ｆ１０１で撮像されて画像取得部１０２が取得した第一露光画像から、電光式標識の発光部分に対応する光源領域を検出する。ここでは、前述のように第一露光量Ｆ１０１は撮像時に画素飽和が生じる露光量として設定されることから、第一露光画像において所定値以上の輝度値を有する画素の領域を光源領域として検出することができる。具体的には、例えばハフ変換やＭＳＥＲ（Maximally Stable Extremal Regions）等の公知技術を利用して、第一露光画像中に存在する円形状、楕円形状、矩形形状等の領域を他の背景領域から分離する。そして、分離した領域内に所定の明るさ以上の画素が所定数以上存在するか否かを判定し、存在する場合は当該領域を光源領域として検出する。こうして光源領域を検出したら、光源検出部１０３は、その光源領域の中心位置、幅、高さ等の情報を取得し、サイズ特定部１０４へ出力する。
　サイズ特定部１０４は、光源検出部１０３が検出した光源領域に基づいて、物体認識装置１０が認識対象とする物体のサイズを特定する。具体的には、光源検出部１０３から出力される光源領域の中心位置、幅、高さの各情報に基づき、発光部分を含む物体の画像上での大きさを推定することで、当該物体のサイズを特定する。このとき、認識対象とする物体の種類に応じて所定の倍率を光源領域の幅や高さにそれぞれ適用することで、当該物体のサイズを特定してもよい。前述のように認識対象とする物体が電光式標識である場合、発光部分と電光式標識全体との間でのサイズの関係性は既知であるため、第一露光画像から検出された光源領域の大きさに基づいて、画像中での電光式標識のサイズを容易かつ正確に特定することが可能である。
　認識候補抽出部１０５は、光源検出部１０３が検出した光源領域の位置と、サイズ特定部１０４が特定した物体のサイズとに基づき、撮像装置２０により第二露光量Ｃ１０１で撮像されて画像取得部１０２が取得した第二露光画像から、当該物体が存在する領域の候補である認識候補を抽出する。具体的には、例えば、光源検出部１０３が検出した光源領域の中心位置と、サイズ特定部１０４が特定した画像上の物体のサイズとを用いて、第二露光画像上でこれらに対応する領域を認識候補として抽出する。また、光源検出部１０３が検出した光源位置を中心に、サイズ特定部１０４で計算したサイズに対して所定の倍率をかけることで拡張した走査領域を設定し、この走査領域に対して、サイズ特定部１０４で計算したサイズの枠を横方向、縦方向に所定の間隔でそれぞれ走査したときの各領域を認識候補として抽出してもよい。このように、認識候補抽出部１０５は、第二露光画像から任意の数の認識候補を抽出して出力することができる。
　認識処理部１０６は、認識候補抽出部１０５が第二露光画像から抽出した認識候補に対して、認識対象とする物体に関する所定の認識処理を実施する。ここでは、当該物体の種別や、当該物体における表示内容を認識するための認識処理を、認識候補に対して実施する。この認識処理では、例えば、認識対象の物体が電光式標識である場合、電光式標識のテンプレート画像を用いたテンプレートマッチング処理を行い、相関性の最も高いテンプレート画像に紐付いた電光式標識の種別や表示内容を認識結果として取得することができる。また、認識対象の物体を撮影した多数の画像に基づく機械学習を用いた統計的な方法により、物体の種別や表示内容を判定し、認識結果として取得してもよい。これ以外にも、認識対象の物体に対して適切な認識結果が得られるのであれば、任意の処理手法を用いて認識処理を実施することが可能である。
　車両制御装置３０は、物体認識装置１０から出力された物体の認識結果に基づいて、自車両の制御を実施する。例えば、認識対象の物体が電光式標識の場合、電光式標識によって指示された交通規制内容を自車両に設置されたディスプレイに表示してドライバに提示したり、自車両の走行速度を制御したりすることができる。
（動作例）
　次に、以上説明した本実施形態の物体認識装置１０の動作について、図２に示すシーンにおける動作を例として説明する。図２は、自車両の前方に電光式標識が設置されているシーンを示している。図２において、電光式標識Ｔ１０１は最高速度制限が時速１００ｋｍを表す標識である。
　図３は、本発明の第１の実施形態に係る物体認識装置１０の処理の流れを示すフローチャートである。本実施形態の物体認識装置１０は、車両に搭載されており、例えばＣＰＵ等の演算装置により、図３のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図３のフローチャートに従って、図２のシーンにおける物体認識装置１０の具体的な動作例を説明する。
　物体認識装置１０は、図３のフローチャートに従い、第一露光量算出処理（Ｓ１０１）、画像取得処理（Ｓ１０２）、光源検出処理（Ｓ１０３）、サイズ特定処理（Ｓ１０４）、第二露光量算出処理（Ｓ１０５）、画像取得処理（Ｓ１０６）、認識候補抽出処理（Ｓ１０７）、認識処理（Ｓ１０８）を順に実施することで、認識対象の物体である電光式標識の種別や表示内容を認識する。以降では、各処理内容に関して説明する。
　ステップＳ１０１では、露光量決定部１０１により、第一露光量Ｆ１０１を算出する。ここでは前述のように、撮像装置２０による撮像時に、認識対象の物体である電光式標識の発光部分の少なくとも一部が画素飽和する露光量を、第一露光量Ｆ１０１として算出する。
　ステップＳ１０２では、画像取得部１０２により、ステップＳ１０１で決定された第一露光量Ｆ１０１で撮像装置２０が撮像した画像を撮像装置２０から取得し、第一露光画像とする。
　図４は、ステップＳ１０２で取得される第一露光画像の例を示す図である。図４に示す第一露光画像Ｔ１１１には、図２の電光式標識Ｔ１０１に対応する画像領域Ｔ１１２が含まれている。この画像領域Ｔ１１２のうち、電光式標識Ｔ１０１の発光部分に対応する画像領域Ｔ１１３では、画素飽和による白とびが生じている。
　ステップＳ１０３では、光源検出部１０３により、ステップＳ１０２で取得した第一露光画像から光源領域を検出する。ここでは、図４の第一露光画像Ｔ１１１における画像領域Ｔ１１３を光源領域として検出し、その中心位置、幅、高さ等の情報を計算する。
　ステップＳ１０４では、サイズ特定部１０４により、ステップＳ１０３で検出した光源領域に基づいて、物体認識装置１０が認識対象とする物体である電光式標識のサイズを特定する。ここでは、例えば光源領域として検出した画像領域Ｔ１１３の高さと幅に対してそれぞれ所定の倍率をかけることにより、光源領域から当該物体のサイズを特定する。なお、このときの倍率は、認識対象の物体の種類に応じて予め設定しておくことができる。
　ステップＳ１０５では、露光量決定部１０１により、第二露光量Ｃ１０１を算出する。ここでは前述のように、撮像装置２０による撮像時に、認識対象の物体である電光式標識の発光部分において画素飽和が生じない露光量を、第二露光量Ｃ１０１として算出する。
　ステップＳ１０６では、画像取得部１０２により、ステップＳ１０５で決定された第二露光量Ｃ１０１で撮像装置２０が撮像した画像を撮像装置２０から取得し、第二露光画像とする。
　図５は、ステップＳ１０６で取得される第二露光画像の例を示す図である。図５に示す第二露光画像Ｔ１２１には、図２の電光式標識Ｔ１０１に対応する画像領域Ｔ１２２が含まれている。この画像領域Ｔ１２２のうち、電光式標識Ｔ１０１の発光部分に対応する画像領域Ｔ１２３では、図４の画像領域Ｔ１１３とは異なり、画素飽和による白とびが生じていない。
　ステップＳ１０７では、認識候補抽出部１０５により、ステップＳ１０６で取得した第二露光画像から、認識処理を実施するための認識候補を抽出する。ここでは、ステップＳ１０３で検出した光源領域の中心位置と、ステップＳ１０４で特定した電光式標識のサイズ（高さ、幅）とに基づいて、第二露光画像において認識候補として抽出する領域を決定する。
　図６は、ステップＳ１０７で抽出される認識候補の例を示す図である。図６に示す第二露光画像Ｔ１２１は、図５と同じものである。ステップＳ１０７の認識候補抽出処理では、この第二露光画像Ｔ１２１のうち電光式標識Ｔ１０１に対応する画像領域Ｔ１２２の周囲に、認識候補Ｔ１３２が設定されて抽出される。ここで、認識候補Ｔ１３２の中心位置は、ステップＳ１０３で検出した光源領域の中心位置から設定される。また、認識候補Ｔ１３２の高さと幅は、ステップＳ１０４で特定した電光式標識のサイズを表す高さと幅からそれぞれ設定される。
　ステップＳ１０８では、認識処理部１０６により、ステップＳ１０７で抽出した認識候補に対する認識処理を実施する。ここでは、例えば抽出した認識候補と同じ大きさのテンプレート画像を用いて前述のテンプレートマッチング処理を行い、複数のテンプレート画像の中で相関性の最も高いテンプレート画像を特定する。これにより、認識候補Ｔ１３２として抽出した画像領域が電光式標識Ｔ１０１を撮像したものであることを認識するとともに、この電光式標識Ｔ１０１の種別が最高速度制限の道路標識であり、その表示内容が最高速度は時速１００ｋｍであることを表していることを認識する。
　以上説明したように、本実施形態の物体認識装置１０では、電光式標識のような高輝度の発光部分を有する物体に対して、発光部分の少なくとも一部が画素飽和する露光量を用いて撮像された画像から、その物体の大きさを推定して認識処理を実施するようにしている。これにより、認識処理に利用するテンプレート画像のサイズを物体の大きさに合わせて絞り込むことができるようになるため、処理時間の削減が可能となる。その結果、短い処理時間でも正確に物体を認識することができる。
　以上説明した本発明の第１の実施形態によれば、以下の作用効果を奏する。
（１）物体認識装置１０は、露光量決定部１０１と、画像取得部１０２と、光源検出部１０３と、サイズ特定部１０４と、認識候補抽出部１０５と、認識処理部１０６とを備える。露光量決定部１０１は、第一露光量Ｆ１０１と、第一露光量Ｆ１０１よりも少ない第二露光量Ｃ１０１とを決定可能であり（ステップＳ１０１、Ｓ１０５）、画像取得部１０２は、第一露光量Ｆ１０１で撮像された第一露光画像Ｔ１１１と、第二露光量Ｃ１０１で撮像された第二露光画像Ｔ１２１とを取得する(ステップＳ１０２、Ｓ１０６)。光源検出部１０３は、第一露光画像Ｔ１１１から光源領域（画像領域Ｔ１１３）を検出する（ステップＳ１０３）。サイズ特定部１０４は、光源検出部１０３が検出した光源領域に基づいて認識対象の物体（電光式標識Ｔ１０１）のサイズを特定する（ステップＳ１０４）。認識候補抽出部１０５は、光源検出部１０３が検出した光源領域の位置およびサイズ特定部１０４が特定した物体のサイズに基づいて、第二露光画像Ｔ１２１から物体が存在する領域の候補である認識候補Ｔ１３２を抽出する（ステップＳ１０７）。認識処理部１０６は、認識候補抽出部１０５が抽出した認識候補Ｔ１３２に対して物体に関する認識処理を実施する（ステップＳ１０８）。このようにしたので、カメラの撮像画像から認識対象の物体のサイズに応じた認識候補を抽出して認識処理を実施できるため、短い処理時間で正確に物体を認識することができる。
（２）露光量決定部１０１は、撮像時に認識対象の物体の発光部分の少なくとも一部が画素飽和する露光量に基づいて、第一露光量Ｆ１０１および第二露光量Ｃ１０１を決定する。具体的には、ステップＳ１０１では、撮像装置２０による撮像時に当該発光部分の少なくとも一部が画素飽和する露光量を第一露光量Ｆ１０１として決定し、ステップＳ１０５では、撮像装置２０による撮像時に当該発光部分において画素飽和が生じない露光量を第二露光量Ｃ１０１として決定する。このようにしたので、光源領域を検出しやすい画像を撮像するのに適切な露光量を第一露光量Ｆ１０１として決定するとともに、認識処理を実施しやすい画像を撮像するのに適切な露光量を第二露光量Ｃ１０１として決定することができる。
［第２の実施形態］
　次に、本発明の第２の実施形態について説明する。図７は、本発明の第２の実施形態に係る物体認識装置の構成を示す機能ブロック図である。図７に示すように、本実施形態の物体認識装置１０Ａは、図１で説明した第１の実施形態に係る物体認識装置１０と同様に、撮像装置２０および車両制御装置３０と接続されている。本実施形態の物体認識装置１０Ａは、露光量決定部２０１、画像取得部２０２、光源検出部２０３、サイズ特定部２０４、認識候補抽出部２０５、認識処理部２０６、およびサイズ情報格納部２０７を備える。物体認識装置１０Ａは、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。なお、物体認識装置１０Ａが有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。
　露光量決定部２０１は、図１の露光量決定部１０１と同様に、撮像装置２０の明るさを制御する２種類の露光量、すなわち第一露光量Ｆ２０１および第二露光量Ｃ２０１を算出し、算出したこれらの露光量を撮像装置２０に出力する。
　画像取得部２０２は、図１の画像取得部１０２と同様に、露光量決定部２０１が決定した第一露光量Ｆ２０１および第二露光量Ｃ２０１で撮像装置２０がそれぞれ撮像した２種類の画像を、第一露光画像および第二露光画像として取得する。
　光源検出部２０３は、第一露光画像から光源領域を検出し、検出結果をサイズ特定部２０４および認識候補抽出部２０５に出力する。サイズ特定部２０４は、光源検出部２０３の出力が表す光源領域の中心位置、幅、高さの各情報から、物体認識装置１０Ａが認識対象とする物体のサイズを特定し、認識候補抽出部２０５に出力する。このとき光源検出部２０３は、サイズ情報格納部２０７に格納されているサイズ情報を参照することで、当該物体の画像上での大きさを推定し、サイズを特定する。なお、サイズ情報格納部２０７に格納されるサイズ情報の詳細については後述する。
　認識候補抽出部２０５は、図１の認識候補抽出部１０５と同様に、光源検出部２０３が検出した光源領域の位置と、サイズ特定部２０４が特定した物体のサイズとに基づき、第二露光画像から認識候補を抽出する。認識処理部２０６は、図１の認識処理部１０６と同様に、認識候補抽出部２０５が第二露光画像から抽出した認識候補に対して認識処理を実施し、当該物体の種別や、当該物体における表示内容を認識する。
　サイズ情報格納部２０７は、認識対象の物体の発光部分と当該物体の大きさとの関係性を表すサイズ情報を格納している。このサイズ情報は、例えば、物体の幅と高さのそれぞれについて、発光部分に対する物体の大きさの倍率として表すことができる。ただし、サイズ情報は物体の幅と高さに限定されるものではない。例えば、中心位置からの半径として物体サイズが定義されている場合、半径に対する倍率をサイズ情報としてサイズ情報格納部２０７に格納することができる。これ以外にも、発光部分と物体の大きさとの関係性に関する情報であれば、サイズ情報として如何なる情報もサイズ情報格納部２０７に格納できる。
　なお、サイズ情報格納部２０７に格納されるサイズ情報は、物体認識装置１０Ａの仕向け地が決まっていた場合に、工場の生産ライン等の出荷前段階において書き換え可能としてもよい。例えば、国内向けに出荷される物体認識装置１０Ａの場合は、国内で配置される電光式標識等の物体に関して、当該物体の発光部分と大きさに関するサイズ情報がサイズ情報格納部２０７に格納される。一方、他の地域に出荷される物体認識装置１０Ａの場合は、仕向け地に応じたサイズ情報が格納される。
（動作例）
　次に、以上説明した本実施形態の物体認識装置１０Ａの動作例について説明する。図８は、本発明の第２の実施形態に係る物体認識装置１０Ａの処理の流れを示すフローチャートである。本実施形態の物体認識装置１０Ａは、車両に搭載されており、例えばＣＰＵ等の演算装置により、図８のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図８のフローチャートに従って、物体認識装置１０Ａの具体的な動作例を説明する。
　物体認識装置１０Ａは、図８のフローチャートに従い、第一露光量算出処理（Ｓ２０１）、画像取得処理（Ｓ２０２）、光源検出処理（Ｓ２０３）、物体種別判定処理（Ｓ２０４）、物体サイズ計算処理（Ｓ２０５）、第二露光量算出処理（Ｓ２０６）、画像取得処理（Ｓ２０７）、認識候補抽出処理（Ｓ２０８）、認識処理（Ｓ２０９）を順に実施することで、認識対象の物体である電光式標識の種別や表示内容を認識する。以降では、各処理内容に関して説明する。
　ステップＳ２０１～Ｓ２０３では、露光量決定部２０１、画像取得部２０２および光源検出部２０３により、図３のステップＳ１０１～Ｓ１０３と同様の処理をそれぞれ実施する。
　ステップＳ２０４では、サイズ特定部１０４により、ステップＳ２０３で検出した光源領域に基づき、サイズ情報格納部２０７に格納されたサイズ情報においてどの物体種別のサイズ情報を参照するかを決定する。ここでは、例えば光源領域の大きさ、明るさ、色、形状等に基づき、サイズ情報格納部２０７において種別ごとにサイズ情報が格納された物体のうち、どの種別の物体に該当するかを判定する。本動作例では、認識対象とする物体が電光式標識であるため、ステップＳ２０４の物体種別判定処理により、物体種別が電光式標識であるとの結果が得られる。
　ステップＳ２０５では、サイズ特定部１０４により、ステップＳ２０４の判定結果に基づき、サイズ情報格納部２０７に格納されたサイズ情報を参照して、物体認識装置１０Ａが認識対象とする物体のサイズを計算する。ここでは、例えば図９の表に示すサイズ情報を参照することで、物体の大きさを計算する。
　図９は、サイズ情報格納部２０７に格納されるサイズ情報の例を示す図である。図９のサイズ情報では、発光部分を含む物体に対する高さと幅の倍率が、物体の種別ごとに表形式で記載されている。具体的には、２行目には道路標識、３行目には車両に関するサイズ情報がそれぞれ記載されている。
　本動作例では、物体種別判定処理（Ｓ２０４）において、上記のように認識対象とする物体の種別が電光式標識であるとの判定結果が得られている。そのため、ステップＳ２０５では、図９のサイズ情報のうち道路標識の部分を参照することで、光源領域として検出される発光部分の幅と高さに対する電光式標識の倍率は、ともに１．２倍であることが分かる。したがって、光源検出処理（Ｓ２０３）で取得した光源領域の幅と高さに対して、図９に記載の倍率をそれぞれかけることにより、撮像画像中での電光式標識のサイズを特定することができる。
　ステップＳ２０６～Ｓ２０９では、露光量決定部２０１、画像取得部２０２、認識候補抽出部２０５および認識処理部２０６により、図３のステップＳ１０５～Ｓ１０８と同様の処理をそれぞれ実施する。
　以上説明したように、本実施形態の物体認識装置１０Ａでは、事前に作成した発光部分との大きさの関係性を利用することで、より正確に認識対象の物体の大きさを推定できるようにしている。これにより、認識処理を実施する領域をより正確に選択することが可能となり、認識精度を向上させることができる。
　以上説明した本発明の第２の実施形態によれば、第１の実施形態で説明した（１）、（２）の各作用効果に加えて、さらに以下（３）の作用効果を奏する。
（３）物体認識装置１０Ａは、物体の発光部分と物体の大きさとの関係性を表すサイズ情報が物体の種類毎に格納されたサイズ情報格納部２０７をさらに備える。サイズ特定部２４は、光源検出部２０３が検出した光源領域のサイズに基づいてサイズ情報格納部２０７に格納されたサイズ情報を参照し、物体のサイズを特定する。このようにしたので、認識対象の物体のサイズをより正確に推定できるため、物体の認識精度を向上させることができる。
［第３の実施形態］
　次に、本発明の第３の実施形態について説明する。図１０は、本発明の第３の実施形態に係る物体認識装置の構成を示す機能ブロック図である。図１０に示すように、本実施形態の物体認識装置１０Ｂは、図１で説明した第１の実施形態に係る物体認識装置１０と同様に、撮像装置２０および車両制御装置３０と接続されている。本実施形態の物体認識装置１０Ｂは、露光量決定部３０１、画像取得部３０２、光源検出部３０３、サイズ特定部３０４、認識候補抽出部３０５、認識処理部３０６、環境情報取得部３０７、および輝度情報格納部３０８を備える。物体認識装置１０Ｂは、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。なお、物体認識装置１０Ｂが有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。
　環境情報取得部３０７は、物体認識装置１０Ｂの周辺の環境情報を取得し、露光量決定部３０１に出力する。ここで、環境情報取得部３０７が取得する環境情報とは、例えば物体認識装置１０Ｂが動作している場所（国、地域など）や時間帯等の情報であり、これは物体認識装置１０Ｂが搭載されている自車両の走行環境を表す情報に相当する。例えば、環境情報取得部３０７は図示しないナビゲーションシステムと接続されており、このナビゲーションシステムから場所や時間帯の情報を取得することで、環境情報を取得することができる。ナビゲーションシステムは、例えばＧＰＳ（Global Positioning System）信号を受信し、受信したＧＰＳ信号が表す位置とマップを照らし合わせることにより、自身の現在位置に対応する場所を特定することができる。また、受信したＧＰＳ信号から現在の時刻を検出し、時間帯を特定することができる。なお、環境情報取得部３０７は、これ以外にも任意の手段を利用して、環境情報を取得することができる。
　輝度情報格納部３０８には、認識対象の物体の発光部分の明るさに関する輝度情報が格納されている。この輝度情報には、例えば、場所や時間帯ごとに発光部分の明るさが設定されている。なお、輝度情報は、例えば輝度［ｃｄ／ｍ２］や照度［ｌｘ］など、様々な物理量により表すことができる。
　露光量決定部３０１は、環境情報取得部３０７が取得した環境情報に基づき、輝度情報格納部３０８に格納された輝度情報を参照して、第一露光量Ｆ３０１および第二露光量Ｃ３０１を決定する。具体的には、露光量決定部３０１は、輝度情報格納部３０８に格納されている輝度情報から、環境情報取得部３０７が取得した環境情報に対応する認識対象の物体の発光部分の明るさを取得する。そして、取得した発光部分の明るさに基づいて、第一露光量Ｆ３０１および第二露光量Ｃ３０１を設定する。例えば、撮像画像における発光部分の画素値が所定の基準値以上となるように第一露光量Ｆ３０１を設定するとともに、撮像画像における発光部分の画素値が所定の基準値以下となるように第二露光量Ｃ３０１を設定する。なお、これらの設定における基準値は、同一の値であってもよいし、異なる値であってもよい。
　画像取得部３０２は、図１の画像取得部１０２と同様に、露光量決定部３０１が決定した第一露光量Ｆ３０１および第二露光量Ｃ３０１で撮像装置２０がそれぞれ撮像した２種類の画像を、第一露光画像および第二露光画像として取得する。
　光源検出部３０３は、図１の光源検出部１０３と同様に、第一露光画像から光源領域を検出し、検出結果をサイズ特定部３０４および認識候補抽出部３０５に出力する。サイズ特定部３０４は、図１のサイズ特定部１０４と同様に、光源検出部３０３の出力が表す光源領域の中心位置、幅、高さの各情報から、物体認識装置１０Ｂが認識対象とする物体のサイズを特定し、認識候補抽出部３０５に出力する。
　認識候補抽出部３０５は、図１の認識候補抽出部１０５と同様に、光源検出部３０３が検出した光源領域の位置と、サイズ特定部３０４が特定した物体のサイズとに基づき、第二露光画像から認識候補を抽出する。認識処理部３０６は、図１の認識処理部１０６と同様に、認識候補抽出部３０５が第二露光画像から抽出した認識候補に対して認識処理を実施し、当該物体の種別や、当該物体における表示内容を認識する。
（動作例）
　次に、以上説明した本実施形態の物体認識装置１０Ｂの動作例について説明する。以下では、自車両の走行国が日本であり、現在時刻が２０時である場合の例を説明する。
　図１１は、本発明の第３の実施形態に係る物体認識装置１０Ｂの処理の流れを示すフローチャートである。本実施形態の物体認識装置１０Ｂは、車両に搭載されており、例えばＣＰＵ等の演算装置により、図１１のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図１１のフローチャートに従って、物体認識装置１０Ｂの具体的な動作例を説明する。
　物体認識装置１０Ｂは、図１１のフローチャートに従い、環境情報取得処理（Ｓ３００）、第一露光量設定処理（Ｓ３０１）、画像取得処理（Ｓ３０２）、光源検出処理（Ｓ３０３）、サイズ特定処理（Ｓ３０４）、第二露光量設定処理（Ｓ３０５）、画像取得処理（Ｓ３０６）、認識候補抽出処理（Ｓ３０７）、認識処理（Ｓ３０８）を順に実施することで、認識対象の物体である電光式標識の種別や表示内容を認識する。以降では、各処理内容に関して説明する。
　ステップＳ３００では、環境情報取得部３０７により、物体認識装置１０Ｂの周辺の環境情報を取得する。ここでは、物体認識装置１０Ｂの周辺の環境情報として、現在の時刻および自車両の走行国の情報を取得する。
　ステップＳ３０１では、露光量決定部３０１により、ステップＳ３００で取得した環境情報に基づき、輝度情報格納部３０８に格納された輝度情報を参照して、第一露光量Ｆ３０１を設定する。ここでは、例えば図１２の表に示す輝度情報を参照することで、物体認識装置１０Ｂが認識対象とする物体である電光式標識の発光部分の明るさを特定し、その明るさに応じた第一露光量Ｆ３０１を設定する。
　図１２は、輝度情報格納部３０８に格納される輝度情報の例を示す図である。図１２の輝度情報では、電光式標識の発光部分の明るさが、時間帯および走行国ごとに表形式で記載されている。具体的には、表の各行が時間帯に、各列が走行国（日本、ドイツ）にそれぞれ対応しており、これらの組み合わせごとに電光式標識の発光部分の明るさ情報が格納されている。例えば、走行国が日本である場合、６時から９時までの時間帯における電光式標識の発光部分の明るさは５０［ｃｄ／ｍ２］であり、９時から１５時までの時間帯における電光式標識の発光部分の明るさは１００［ｃｄ／ｍ２］であり、１５時から１９時までの時間帯における電光式標識の発光部分の明るさは７０［ｃｄ／ｍ２］であり、１９時から６時までの時間帯における電光式標識の発光部分の明るさは６０［ｃｄ／ｍ２］であることを示している。
　ステップＳ３０１の第一露光量設定処理では、図１２の輝度情報を参照することで、自車両の走行国である日本において、現在時刻の２０時では電光式標識の発光部分の明るさが６０［ｃｄ／ｍ２］であることが分かる。したがって、この明るさを基に、撮像時に画素飽和が生じる露光量を第一露光量Ｆ３０１として設定することができる。
　ステップＳ３０２～Ｓ３０４では、画像取得部３０２、光源検出部３０３およびサイズ特定部３０４により、図３のステップＳ１０２～Ｓ１０４と同様の処理をそれぞれ実施する。
　ステップＳ３０５では、露光量決定部３０１により、ステップＳ３００で取得した環境情報に基づき、輝度情報格納部３０８に格納された輝度情報を参照して、第二露光量Ｃ３０１を設定する。ここではステップＳ３０１と同様に、例えば図１２の表に示す輝度情報を参照することで、物体認識装置１０Ｂが認識対象とする物体である電光式標識の発光部分の明るさを特定し、その明るさに応じた第二露光量Ｃ３０１を設定する。具体的には、図１２の輝度情報を参照すると、前述のように、自車両の走行国である日本において、現在時刻の２０時では電光式標識の発光部分の明るさが６０［ｃｄ／ｍ２］であることが分かる。したがって、この明るさを基に、撮像時に画素飽和が生じない露光量を第二露光量Ｃ３０１として設定することができる。
　ステップＳ３０６～Ｓ３０８では、画像取得部３０２、認識候補抽出部３０５および認識処理部３０６により、図３のステップＳ１０６～Ｓ１０８と同様の処理をそれぞれ実施する。
　以上説明したように、本実施形態の物体認識装置１０Ｂでは、現在の物体認識装置１０Ｂの周辺環境に対応した発光部分の明るさに関する輝度情報を取得することで、撮像時の露光量を適応的に変化させるようにしている。これにより、電光式標識の発光部分のように、場所や時間帯に応じて明るさが変化する物体に対して、撮像時の露光量を適切に設定することが可能となり、当該物体の検出精度や認識精度を向上させることができる。
　以上説明した本発明の第３の実施形態によれば、第１の実施形態で説明した（１）、（２）の各作用効果に加えて、さらに以下（４）、（５）の作用効果を奏する。
（４）物体認識装置１０Ｂは、物体認識装置１０Ｂの周辺の環境情報を取得する環境情報取得部３０７と、物体の発光部分の輝度情報が環境毎に格納された輝度情報格納部３０８とをさらに備える。露光量決定部３０１は、環境情報取得部３０７が取得した環境情報に基づいて輝度情報格納部３０８に格納された輝度情報を参照し、第一露光量Ｆ３０１および第二露光量Ｃ３０１を決定する。このようにしたので、撮像時の露光量をより適切に設定できるため、物体の検出精度や認識精度を向上させることができる。
（５）環境情報取得部３０７は、物体認識装置１０Ｂが動作している場所および時間帯の少なくともいずれかを含む情報を環境情報として取得することができる。このようにしたので、撮像時の露光量の設定に用いるために必要な情報を、確実かつ容易に環境情報として取得することができる。
［第４の実施形態］
　次に、本発明の第４の実施形態について説明する。図１３は、本発明の第４の実施形態に係る物体認識装置の構成を示す機能ブロック図である。図１３に示すように、本実施形態の物体認識装置１０Ｃは、図１で説明した第１の実施形態に係る物体認識装置１０と同様に、撮像装置２０および車両制御装置３０と接続されている。本実施形態の物体認識装置１０Ｃは、露光量決定部４０１、画像取得部４０２、光源検出部４０３、サイズ特定部４０４、認識候補抽出部４０５、認識処理部４０６、３次元位置算出部４０７、および挙動情報取得部４０８を備える。物体認識装置１０Ｃは、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。なお、物体認識装置１０Ｃが有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。
　露光量決定部４０１は、図１の露光量決定部１０１と同様に、撮像装置２０の明るさを制御する２種類の露光量、すなわち第一露光量Ｆ４０１および第二露光量Ｃ４０１を算出し、算出したこれらの露光量を撮像装置２０に出力する。
　画像取得部４０２は、図１の画像取得部１０２と同様に、露光量決定部４０１が決定した第一露光量Ｆ４０１および第二露光量Ｃ４０１で撮像装置２０がそれぞれ撮像した２種類の画像を、第一露光画像および第二露光画像として取得する。
　光源検出部４０３は、第一露光画像から光源領域を検出し、検出結果をサイズ特定部４０４、認識候補抽出部４０５および３次元位置算出部４０７に出力する。サイズ特定部４０４は、光源検出部４０３の出力が表す光源領域の幅、高さの各情報から、物体認識装置１０Ｃが認識対象とする物体のサイズを特定し、認識候補抽出部４０５および３次元位置算出部４０７に出力する。
　３次元位置算出部４０７は、光源検出部４０３とサイズ特定部４０４の出力から、認識対象の物体の３次元位置を算出し、算出した３次元位置を認識候補抽出部４０５に出力する。３次元位置算出部４０７は、例えば実世界における物体の実寸情報や、撮像装置２０の光学パラメータに関する情報を所持している。ここで、光学パラメータとは、焦点距離や画素の実寸サイズなど、撮像装置２０が有するレンズや撮像素子に関するパラメータである。
　３次元位置算出部４０７は、サイズ特定部４０４が出力した撮像画像上の物体のサイズ情報と、３次元位置算出部４０７が所持する物体の実寸情報および光学パラメータとを利用して、物体認識装置１０Ｃから物体までの奥行き方向の距離を推定する。そして、推定した奥行き方向の距離と、光源検出部４０３が検出した光源領域の中心位置と、３次元位置算出部４０７が所持する光学パラメータとを利用して、奥行き方向と直交する横方向および縦方向のそれぞれについて、物体認識装置１０Ｃに対する物体の位置を推定する。こうして奥行き方向、横方向および縦方向の各方向に対して、物体認識装置１０Ｃを基準とした物体の位置を推定することにより、３次元位置算出部４０７において物体の３次元位置が算出される。３次元位置算出部４０７が算出した物体の３次元位置は、認識候補抽出部４０５に出力される。
　挙動情報取得部４０８は、物体認識装置１０Ｃが搭載されている移動体の挙動に関する挙動情報を取得する。具体的には、例えば移動体が車両の場合には、当該車両内に設けられたＣＡＮ（Controller Area Network）等のネットワークを介して、車両の走行速度、舵角、ヨーレートなどの情報を車両の挙動情報として取得することができる。なお、挙動情報取得部４０８は、他の情報を挙動情報として取得してもよい。また、ＣＡＮ以外のネットワークを介して挙動情報を取得してもよいし、他の方法で挙動情報を取得してもよい。物体認識装置１０Ｃが搭載されている移動体の挙動に関する情報であれば、挙動情報取得部４０８は、任意の方法により取得した任意の情報を挙動情報として利用することができる。
　認識候補抽出部４０５は、光源検出部４０３、サイズ特定部４０４、３次元位置算出部４０７、挙動情報取得部４０８の各出力に基づき、第二露光画像から認識候補を抽出する。具体的には、まず、挙動情報取得部４０８が取得した挙動情報に基づき、撮像装置２０が第一露光画像を撮像してから第二露光画像を撮像するまでの期間における移動体の移動量を算出する。次に、３次元位置算出部４０７が算出した第一露光画像の撮像時点における物体の３次元位置に対して、算出した移動量を適用することで、第二露光画像の撮像時点における物体の３次元位置を推定する。最後に、推定した３次元位置においてサイズ特定部２０４が特定した物体のサイズに対応する領域を第二露光画像から抽出することで、認識候補を抽出する。認識候補抽出部４０５は、例えばこのようにして、物体の３次元位置に対応する認識候補を第二露光画像から抽出することができる。
　認識処理部４０６は、図１の認識処理部１０６と同様に、認識候補抽出部４０５が第二露光画像から抽出した認識候補に対して認識処理を実施し、当該物体の種別や、当該物体における表示内容を認識する。
（動作例）
　次に、以上説明した本実施形態の物体認識装置１０Ｃの動作例について説明する。以下では、第１の実施形態で説明した動作例と同様に、電光式標識を認識対象とする場合の動作例を説明する。
　図１４は、本発明の第４の実施形態に係る物体認識装置１０Ｃの処理の流れを示すフローチャートである。本実施形態の物体認識装置１０Ｃは、車両に搭載されており、例えばＣＰＵ等の演算装置により、図１４のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図１４のフローチャートに従って、物体認識装置１０Ｃの具体的な動作例を説明する。
　物体認識装置１０Ｃは、図１４のフローチャートに従い、第一露光量算出処理（Ｓ４００）、画像取得処理（Ｓ４０１）、光源検出処理（Ｓ４０２）、サイズ特定処理（Ｓ４０３）、３次元位置算出処理（Ｓ４０４）、第二露光量算出処理（Ｓ４０５）、画像取得処理（Ｓ４０６）、車両情報取得処理（Ｓ４０７）、物体位置予測処理（Ｓ４０８）、認識候補抽出処理（Ｓ４０９）、認識処理（Ｓ４１０）を順に実施することで、認識対象の物体である電光式標識の種別や表示内容を認識する。以降では、各処理内容に関して説明する。
　ステップＳ４００～Ｓ４０３では、露光量決定部４０１、画像取得部４０２、光源検出部４０３およびサイズ特定部４０４により、図３のステップＳ１０１～Ｓ１０４と同様の処理をそれぞれ実施する。
　ステップＳ４０４では、３次元位置算出部４０７により、ステップＳ４０２で検出した光源領域の位置と、ステップＳ４０３で特定した認識対象の物体のサイズとに基づき、物体の３次元位置を算出する。ここでは、例えば以下で説明する図１５に示す処理フローに従って、物体の３次元位置を算出する。
　図１５は、３次元位置算出処理のフローチャートである。３次元位置算出処理では、３次元位置算出部４０７により、奥行き距離算出処理（Ｓ４１１）、横方向距離算出処理（Ｓ４１２）、縦方向距離算出処理（Ｓ４１３）を順に実施することで、物体の３次元位置情報を取得する。
　ステップＳ４１１の奥行き距離算出処理では、以下の式（１）を用いて奥行き距離Ｚを求める。
　Z = f/w * R/O　・・・（１）
　式（１）において、fは撮像装置２０の焦点距離、wは撮像装置２０が有する撮像素子の大きさ、Rは認識対象の物体の実寸サイズ、OはステップＳ４０３で特定した撮像画像上における物体の大きさをそれぞれ表している。なお、RとOは、同じ方向であれば幅方向、高さ方向のどちらの大きさを利用しても構わない。すなわち、認識対象の物体の実寸幅と撮像画像上の幅をR、Oとしてそれぞれ利用してもよいし、認識対象の物体の実寸高さと撮像画像上の高さをR、Oとしてそれぞれ利用してもよい。
　次に、ステップＳ４１２の横方向距離算出処理では、以下の式（２）を用いて横方向距離Ｘを求める。
　X = wx/f * Z * (cx - ox)　・・・（２）
　式（２）において、wxは撮像装置２０が有する撮像素子の横幅、fは撮像装置２０の焦点距離、ZはステップＳ４１１の奥行き距離算出処理において式（１）で求められた物体の奥行き距離、cxはステップＳ４０２で検出した光源領域の撮像画像上における横方向位置、oxは撮像画像の横方向の中央位置をそれぞれ表している。
　次に、ステップＳ４１３の縦方向距離算出処理では、以下の式（３）を用いて縦方向距離Ｙを求める。
　Y = wy/f * Z * (cy - oy)　・・・（３）
　式（３）において、wyは撮像装置２０が有する撮像素子の縦幅、fは撮像装置２０の焦点距離、ZはステップＳ４１１の奥行き距離算出処理において式（１）で求められた物体の奥行き距離、cyはステップＳ４０２で検出した光源領域の撮像画像上における縦方向位置、oyは撮像画像の縦方向の中央位置をそれぞれ表している。
　ステップＳ４０４の３次元位置算出処理では、以上のような計算により、認識対象の物体の３次元位置を取得する。
　ステップＳ４０５～Ｓ４０６では、露光量決定部４０１および画像取得部４０２により、図３のステップＳ１０５～Ｓ１０６と同様の処理をそれぞれ実施する。
　ステップＳ４０７では、挙動情報取得部４０８により、移動体の挙動情報を取得する。ここでは、例えば移動体である車両の走行速度、舵角、ヨーレート等の情報を挙動情報として取得する。
　ステップＳ４０８では、認識候補抽出部４０５により、ステップＳ４０４で算出した物体の３次元位置と、ステップＳ４０７で取得した挙動情報とに基づき、第二露光画像における物体の位置を予測する。ここでは、例えば以下で説明する図１６に示す処理フローに従って、物体の位置を予測する。
　図１６は、物体位置予測処理のフローチャートである。物体位置予測処理では、認識候補抽出部４０５により、３次元位置更新処理（Ｓ４２１）、画像投影処理（Ｓ４２２）を順に実施することで、物体の位置を予測する。
　ステップＳ４２１の３次元位置更新処理では、ステップＳ４０７で取得した挙動情報を用いて、ステップＳ４０４で算出した物体の３次元位置を、第二露光画像の撮像時点における３次元位置に更新する。すなわち、ステップＳ４０７で算出した物体の３次元位置は、第一露光画像の撮像時点における物体の位置であることから、撮像装置２０が第一露光画像を撮像してから第二露光画像を撮像するまでの期間における移動体の移動量に基づき、物体の３次元位置を更新する。具体的には、挙動情報に含まれる速度、舵角、ヨーレート等の情報を利用して、奥行き方向、横方向、縦方向のそれぞれに対して、移動体である車両の移動量を計算する。その後、ステップＳ４０７で計算した３次元位置から車両の移動量を差し引くことにより、第二露光画像の撮像時点における３次元位置に更新する。
　ステップＳ４２２の画像投影処理では、ステップＳ４２１で更新した物体の３次元位置を第二露光画像上に投影することで、第二露光画像における物体の位置を予測する。
　ステップＳ４０８の物体位置予測処理では、以上のような処理により、第二露光画像における物体の位置を予測する。
　ステップＳ４０９では、認識候補抽出部４０５により、ステップＳ４０８で予測した物体の位置に基づき、第二露光画像から認識処理を実施するための認識候補を抽出する。ここでは、ステップＳ４２２で求めた第二露光画像上の物体の位置に対して、ステップＳ４０３で特定した物体のサイズ（高さ、幅）を適用することで、第二露光画像において認識候補として抽出する領域を決定する。このとき、ステップＳ４２１で計算した車両の移動量および物体の実寸サイズを考慮して、認識候補として抽出する領域の幅や高さを決定してもよい。
　ステップＳ４１０では、認識処理部４０６により、ステップＳ４０９で抽出した認識候補に対して、図３のステップＳ１０７と同様の認識処理を実施する。
　以上説明したように、本実施形態の物体認識装置１０Ｃでは、撮像装置２０が第一露光画像を撮像してから第二露光画像を撮像するまでの期間における移動体の移動量を考慮して、第二露光画像から認識候補として抽出する領域を決定するようにしている。これにより、物体認識装置１０Ｃが移動体に設置される場合においても、高精度に認識候補を抽出することが可能となり、認識性能を向上させることができる。
　以上説明した本発明の第４の実施形態によれば、第１の実施形態で説明した（１）、（２）の各作用効果に加えて、さらに以下（６）の作用効果を奏する。
（６）物体認識装置１０Ｃは、物体の３次元位置を算出する３次元位置算出部４０７と、物体認識装置１０Ｃが搭載されている移動体の挙動に関する挙動情報を取得する挙動情報取得部４０８とをさらに備える。認識候補抽出部４０５は、光源領域の位置、物体のサイズ、物体の３次元位置および挙動情報に基づいて、認識候補を抽出する。このようにしたので、移動体の移動量を考慮して認識候補を決定できるため、物体の認識性能を向上させることができる。
［第５の実施形態］
　次に、本発明の第５の実施形態について説明する。図１７は、本発明の第５の実施形態に係る物体認識装置の構成を示す機能ブロック図である。図１７に示すように、本実施形態の物体認識装置１０Ｄは、図１で説明した第１の実施形態に係る物体認識装置１０と同様に、撮像装置２０および車両制御装置３０と接続されている。本実施形態の物体認識装置１０Ｄは、露光量決定部５０１、画像取得部５０２、光源検出部５０３、サイズ特定部５０４、認識候補抽出部５０５、認識処理部５０６、環境情報取得部５０７、輝度情報格納部５０８、および認識候補補正部５０９を備える。物体認識装置１０Ｄは、例えばＣＰＵ等の演算装置やＲＯＭ、ＲＡＭ、フラッシュメモリ等の記憶装置を有するコンピュータを用いて構成されており、記憶装置に格納された制御プログラムを演算装置で実行することにより、上記の各機能ブロックとして動作する。なお、物体認識装置１０Ｄが有する機能の一部または全部を、ＦＰＧＡ等のハードウェアを用いて構成してもよい。
　環境情報取得部５０７は、第３の実施形態で説明した図１０の環境情報取得部３０７と同様に、物体認識装置１０Ｄの周辺の環境情報を取得し、露光量決定部５０１に出力する。輝度情報格納部５０８には、第３の実施形態で説明した図１０の輝度情報格納部３０８と同様に、認識対象の物体の発光部分の明るさに関する輝度情報が格納されている。
　露光量決定部５０１は、第３の実施形態で説明した図１０の露光量決定部３０１と同様に、環境情報取得部５０７が取得した環境情報に基づき、輝度情報格納部５０８に格納された輝度情報を参照して、第一露光量Ｆ５０１および第二露光量Ｃ５０１を決定する。
　画像取得部５０２は、図１の画像取得部１０２と同様に、露光量決定部５０１が決定した第一露光量Ｆ５０１および第二露光量Ｃ５０１で撮像装置２０がそれぞれ撮像した２種類の画像を、第一露光画像および第二露光画像として取得する。
　光源検出部５０３は、図１の光源検出部１０３と同様に、第一露光画像から光源領域を検出し、検出結果をサイズ特定部５０４および認識候補抽出部５０５に出力する。サイズ特定部５０４は、図１のサイズ特定部１０４と同様に、光源検出部５０３の出力が表す光源領域の中心位置、幅、高さの各情報から、物体認識装置１０Ｄが認識対象とする物体のサイズを特定し、認識候補抽出部５０５に出力する。
　認識候補抽出部５０５は、図１の認識候補抽出部１０５と同様に、光源検出部５０３が検出した光源領域の位置と、サイズ特定部５０４が特定した物体のサイズとに基づき、第二露光画像から認識候補を抽出する。
　認識候補補正部５０９は、認識候補抽出部５０５が抽出した認識候補の位置、サイズおよび形状の少なくともいずれかを第二露光画像上で補正し、補正後の認識候補を抽出して認識処理部５０６に出力する。認識候補補正部５０９は、例えば、認識候補抽出部５０５が第二露光画像内で認識候補として出力した領域を一度拡大し、拡大後の領域の輝度情報に基づいてその領域を縮小することにより、認識候補の位置、サイズ、形状を補正することができる。具体的には、例えば、輝度情報格納部５０８に格納された輝度情報に基づいて、第二露光画像における物体の発光部分の明るさを推定し、推定した発光部分の明るさと類似する輝度値を有する各画素、すなわち発光部分との輝度差が所定の閾値未満である各画素を、拡大後の認識候補の領域内から抽出する。そして、抽出した各画素の分布に基づき、例えば領域内の画素密度が所定値以上となるように、認識候補の領域を縮小する。こうして領域が縮小された認識候補の第二露光画像上での位置、サイズおよび形状を、補正後の認識候補の位置、サイズおよび形状とすることで、認識候補の補正を行うことができる。
　あるいは、拡大後の領域の輝度情報を２値化して、認識候補の補正を行ってもよい。例えば、発光部分の明るさとの差が所定の閾値未満である画素の輝度値を２５５とし、閾値以上である画素の輝度値を０とすることで、輝度情報の２値化が可能である。このような輝度情報の２値化を行った上で、縦方向と横方向に関して投影ヒストグラムをそれぞれ計算し、各ヒストグラムのピーク検出を行うことにより、補正後の認識候補の位置、サイズおよび形状を決定することができる。さらに、統計的な機械学習として、物体の位置に対する回帰係数を推定可能なモデルを発光部分の明るさ毎に学習しておき、輝度情報から推定した第二露光画像における物体の発光部分の明るさに応じて利用するモデルを切り替えることで、補正後の認識候補の位置、サイズおよび形状を決定してもよい。これ以外にも任意の方法を用いて、第二露光画像上で認識候補を補正することが可能である。
　認識処理部５０６は、認識候補補正部５０９が第二露光画像上で補正した認識候補に対して、図１の認識処理部１０６と同様の認識処理を実施することで、当該物体の種別や、当該物体における表示内容を認識する。
（動作例）
　次に、以上説明した本実施形態の物体認識装置１０Ｄの動作例について説明する。以下では、第１の実施形態で説明した動作例と同様に、電光式標識を認識対象とする場合の動作例を説明する。
　図１８は、本発明の第５の実施形態に係る物体認識装置１０Ｄの処理の流れを示すフローチャートである。本実施形態の物体認識装置１０Ｄは、車両に搭載されており、例えばＣＰＵ等の演算装置により、図１８のフローチャートに示す処理を所定の処理周期ごとに実施する。以下では、この図１８のフローチャートに従って、物体認識装置１０Ｄの具体的な動作例を説明する。
　物体認識装置１０Ｄは、図１８のフローチャートに従い、環境情報取得処理（Ｓ５００）、第一露光量設定処理（Ｓ５０１）、画像取得処理（Ｓ５０２）、光源検出処理（Ｓ５０３）、サイズ特定処理（Ｓ５０４）、第二露光量設定処理（Ｓ５０５）、画像取得処理（Ｓ５０６）、認識候補抽出処理（Ｓ５０７）、認識候補拡大処理（Ｓ５０８）、発光部明るさ推定処理（Ｓ５０９）、認識候補再抽出処理（Ｓ５１０）、認識処理（Ｓ５１１）を順に実施することで、認識対象の物体である電光式標識の種別や表示内容を認識する。以降では、各処理内容に関して説明する。
　ステップＳ５００では、環境情報取得部５０７により、図１１のステップＳ３００と同様に、物体認識装置１０Ｄの周辺の環境情報を取得する。
　ステップＳ５０１では、露光量決定部５０１により、図１１のステップＳ３０１と同様に、ステップＳ５００で取得した環境情報に基づき、輝度情報格納部５０８に格納された輝度情報を参照して、第一露光量Ｆ５０１を設定する。
　ステップＳ５０２～Ｓ５０４では、画像取得部５０２、光源検出部５０３およびサイズ特定部５０４により、図３のステップＳ１０２～Ｓ１０４と同様の処理をそれぞれ実施する。
　ステップＳ５０５では、露光量決定部５０１により、図１１のステップＳ３０５と同様に、ステップＳ５００で取得した環境情報に基づき、輝度情報格納部５０８に格納された輝度情報を参照して、第二露光量Ｃ５０１を設定する。
　ステップＳ５０６～Ｓ５０７では、画像取得部５０２および認識候補抽出部５０５により、図３のステップＳ１０６～Ｓ１０７と同様の処理をそれぞれ実施する。
　ステップＳ５０８では、認識候補補正部５０９により、ステップＳ５０７で抽出した認識候補を第二露光画像上で拡大する。ここでは、例えば認識候補として抽出した第二露光画像の領域に対して、所定の倍率を幅方向と高さ方向にそれぞれかけることにより、認識候補を拡大する。なお、幅方向と高さ方向に対してそれぞれかける倍率は、同じ値であってもよいし、異なる値としてもよい。
　ステップＳ５０９では、認識候補補正部５０９により、輝度情報格納部５０８に格納された輝度情報を参照して、第二露光画像における物体の発光部分の明るさを推定する。ここでは、ステップＳ５０５で設定した第二露光量Ｃ５０１に基づき、輝度情報が表す発光部分の明るさに対応する第二露光画像の輝度値を算出することで、第二露光画像における発光部分の明るさを推定することができる。
　ステップＳ５１０では、認識候補補正部５０９により、ステップＳ５０９で推定した第二露光画像における発光部分の明るさに基づいて、ステップＳ５０８で拡大された認識候補を縮小することで、認識候補を再設定する。そして、再設定された認識候補を、補正後の認識候補として再抽出する。ここでは、例えば以下で説明する図１９に示す処理フローに従って、認識候補を再抽出する。
　図１９は、認識候補再抽出処理のフローチャートである。認識候補再抽出処理では、認識候補補正部５０９により、画像２値化処理（Ｓ５２０）、投影ヒストグラム計算（Ｓ５２１）、幅推定処理（Ｓ５２２）、高さ推定処理（Ｓ５２３）を順に実施することで、認識候補を再抽出する。
　なお、以下の説明では、図２０に示す第二露光画像Ｔ５０１がステップＳ５０６で取得されており、この第二露光画像Ｔ５０１に対して、画像領域Ｔ５０２がステップＳ５０７で認識候補として抽出されるとともに、画像領域Ｔ５０３がステップＳ５０８で拡大後の認識候補として得られたものとする。
　ステップＳ５２０の画像２値化処理では、ステップＳ５０９で推定した発光部分の明るさに基づき、図２０の画像領域Ｔ５０３内の各画素の輝度値を２値化する。具体的には、例えば前述のように、発光部分の明るさとの差が所定の閾値未満である画素の輝度値を２５５に設定し、閾値以上である画素の輝度値を０に設定する。
　図２１は、２値化処理後の認識候補および投影ヒストグラムの例を示す図である。図２１において、２値化画像Ｔ５１１は、図２０に示した拡大後の認識候補である画像領域Ｔ５０３の各画素を２値化処理した結果を示している。この２値化画像Ｔ５１１では、２値化処理によって輝度値が２５５に設定された各画素を白色で示すとともに、輝度値が０に設定された各画素を黒色で示している。白色で示した各画素は、認識対象の物体である電光式標識の発光部分に対応しており、黒色で示した各画素はそれ以外の部分に対応している。
　ステップＳ５２１の投影ヒストグラム計算では、ステップＳ５２０の画像２値化処理によって得られた２値化画像Ｔ５１１の列方向および行方向に対する投影ヒストグラムを計算する。ここでは、２値化画像Ｔ５１１において輝度値が２５５である画素の個数を列方向と行方向でそれぞれ加算することにより、投影ヒストグラムを計算する。
　図２１において、ヒストグラムＴ５１２は、２値化画像Ｔ５１１の列方向に対して計算された投影ヒストグラムの例であり、ヒストグラムＴ５１３は、２値化画像Ｔ５１１の行方向に対して計算された投影ヒストグラムの例である。これらのヒストグラムＴ５１２、Ｔ５１３で示されるように、２値化画像Ｔ５１１に対して投影ヒストグラム計算を行うことで、横方向と縦方向のそれぞれに対して、発光部分に対応する位置にピークを持つヒストグラムを得ることができる。
　ステップＳ５２２の幅推定処理では、ステップＳ５２１の投影ヒストグラム計算によって得られたヒストグラムに基づいて、補正後の認識候補の幅を推定する。ここでは、２値化画像Ｔ５１１の列方向に対して計算されたヒストグラムＴ５１２、すなわち横方向のピーク位置を示すヒストグラムＴ５１２を利用して、補正後の認識候補の幅を推定する。具体的には、例えば図２１に示すように、ヒストグラムＴ５１２において閾値Ｔ５１４以上の値を持つピーク部分の両端に位置する立上り点および立下り点を、最小点Ｐ１および最大点Ｐ２としてそれぞれ取得する。そして、取得した点Ｐ１、Ｐ２間の列数を、補正後の認識候補の幅として推定する。
　ステップＳ５２３の高さ推定処理では、ステップＳ５２１の投影ヒストグラム計算によって得られたヒストグラムに基づいて、補正後の認識候補の高さを推定する。ここでは、２値化画像Ｔ５１１の行方向に対して計算されたヒストグラムＴ５１３、すなわち縦方向のピーク位置を示すヒストグラムＴ５１３を利用して、補正後の認識候補の高さを推定する。具体的には、例えば図２１に示すように、ヒストグラムＴ５１３において閾値Ｔ５１５以上の値を持つピーク部分の両端に位置する立上り点および立下り点を、最小点Ｐ３および最大点Ｐ４としてそれぞれ取得する。そして、取得した点Ｐ３、Ｐ４間の行数を、補正後の認識候補の高さとして推定する。
　ステップＳ５１０の認識候補再抽出処理では、以上のような処理により、補正後の認識候補の幅および高さを推定する。そして、推定された幅と高さで第二露光画像上に認識候補を再設定することにより、認識候補を再抽出する。
　ステップＳ５１１では、認識処理部５０６により、ステップＳ５１０で再抽出した認識候補に対して、図３のステップＳ１０７と同様の認識処理を実施する。
　以上説明したように、本実施形態の物体認識装置１０Ｄでは、第二露光画像に対して発光部分の明るさを考慮した画像処理を実施することで、第二露光画像から一旦抽出した認識候補を補正するようにしている。これにより、認識候補抽出部５０５において第二露光画像から適切な認識候補を抽出するのが困難な場合でも、高い認識精度を維持することができる。
　以上説明した本発明の第５の実施形態によれば、第１の実施形態で説明した（１）、（２）の各作用効果に加えて、さらに以下（７）、（８）の作用効果を奏する。
（７）物体認識装置１０Ｄは、認識候補抽出部５０５が抽出した認識候補の位置、サイズおよび形状の少なくともいずれかを補正する認識候補補正部５０９をさらに備える。認識処理部５０６は、認識候補補正部５０９により補正された認識候補に対して認識処理を実施する。このようにしたので、第二露光画像から一旦抽出した認識候補を補正できるため、物体の認識精度を高精度に維持することができる。
（８）認識候補補正部５０９は、認識候補抽出部５０５が抽出した認識候補を拡大し、拡大した認識候補の輝度値の情報に基づき認識候補を縮小することで、認識候補を補正する。具体的には、認識候補補正部５０９は、第二露光画像における物体の発光部分の明るさを推定し、拡大した認識候補内で発光部分の明るさと類似する輝度値を有する画素の分布に基づいて、認識候補を縮小する。このようにしたので、第二露光画像における物体の発光部分の明るさを考慮して、認識候補の補正を適切に実施することができる。
　なお、以上説明した第１～第５の各実施形態では、電光式標識を認識対象の物体とした例を記載したが、他の物体を認識対象としてもよい。例えば、ブレーキランプ等の発光部分を有する先行車両、ヘッドライト等の発光部分を有する後続車両、信号機、行先を示す看板、各種電光掲示板など、高輝度の発光部分を有する物体を認識対象とするものであれば、本発明を適用可能である。
　以上説明した実施形態や各種の変化例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。本発明は、上述した実施形態や変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。本発明の構成や詳細には、本発明のスコープ内で当事者が理解し得る様々な変更を加えることができる。
　１０，１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ　物体認識装置
　２０　撮像装置
　３０　車両制御装置
　１０１，２０１，３０１，４０１，５０１　露光量決定部
　１０２，２０２，３０２，４０２，５０２　画像取得部
　１０３，２０３，３０３，４０３，５０３　光源検出部
　１０４，２０４，３０４，４０４，５０４　サイズ特定部
　１０５，２０５，３０５，４０５，５０５　認識候補抽出部
　１０６，２０６，３０６，４０６，５０６　認識処理部
　２０７　サイズ情報格納部
　３０７，５０７　環境情報取得部
　３０８，５０８　輝度情報格納部
　４０７　３次元位置算出部
　４０８　挙動情報取得部
　５０９　認識候補補正部

Claims (9)

  1. 　第一の露光量と、前記第一の露光量よりも少ない第二の露光量とを決定可能な露光量決定部と、
    　前記第一の露光量で撮像された第一の露光画像と、前記第二の露光量で撮像された第二の露光画像とを取得する画像取得部と、
    　前記第一の露光画像から光源領域を検出する光源検出部と、
    　前記光源検出部が検出した前記光源領域に基づいて認識対象の物体のサイズを特定するサイズ特定部と、
    　前記光源検出部が検出した前記光源領域の位置および前記サイズ特定部が特定した前記物体のサイズに基づいて、前記第二の露光画像から前記物体が存在する領域の候補である認識候補を抽出する認識候補抽出部と、
    　前記認識候補抽出部が抽出した前記認識候補に対して前記物体に関する認識処理を実施する認識処理部と、を備える物体認識装置。
  2. 　請求項１に記載の物体認識装置において、
    　前記露光量決定部は、撮像時に前記物体の発光部分の少なくとも一部が画素飽和する露光量に基づいて、前記第一の露光量および前記第二の露光量を決定する物体認識装置。
  3. 　請求項１または２に記載の物体認識装置において、
    　前記物体認識装置の周辺の環境情報を取得する環境情報取得部と、
    　前記物体の発光部分の輝度情報が環境毎に格納された輝度情報格納部と、をさらに備え、
    　前記露光量決定部は、前記環境情報取得部が取得した前記環境情報に基づいて前記輝度情報格納部に格納された前記輝度情報を参照し、前記第一の露光量および前記第二の露光量を決定する物体認識装置。
  4. 　請求項３に記載の物体認識装置において、
    　前記環境情報取得部は、前記物体認識装置が動作している場所および時間帯の少なくともいずれかを含む情報を前記環境情報として取得する物体認識装置。
  5. 　請求項１または２に記載の物体認識装置において、
    　前記物体の３次元位置を算出する３次元位置算出部と、
    　前記物体認識装置が搭載されている移動体の挙動に関する挙動情報を取得する挙動情報取得部と、をさらに備え、
    　前記認識候補抽出部は、前記光源領域の位置、前記物体のサイズ、前記物体の３次元位置および前記挙動情報に基づいて、前記認識候補を抽出する物体認識装置。
  6. 　請求項１または２に記載の物体認識装置において、
    　前記認識候補抽出部が抽出した前記認識候補の位置、サイズおよび形状の少なくともいずれかを補正する認識候補補正部をさらに備え、
    　前記認識処理部は、前記認識候補補正部により補正された前記認識候補に対して前記認識処理を実施する物体認識装置。
  7. 　請求項６に記載の物体認識装置において、
    　前記認識候補補正部は、前記認識候補抽出部が抽出した前記認識候補を拡大し、拡大した前記認識候補の輝度値の情報に基づき前記認識候補を縮小することで、前記認識候補を補正する物体認識装置。
  8. 　請求項７に記載の物体認識装置において、
    　前記認識候補補正部は、前記第二の露光画像における前記物体の発光部分の明るさを推定し、拡大した前記認識候補内で前記発光部分の明るさと類似する輝度値を有する画素の分布に基づいて、前記認識候補を縮小する物体認識装置。
  9. 　請求項１または２に記載の物体認識装置において、
    　前記物体の発光部分と前記物体の大きさとの関係性を表すサイズ情報が前記物体の種類毎に格納されたサイズ情報格納部をさらに備え、
    　前記サイズ特定部は、前記光源検出部が検出した前記光源領域のサイズに基づいて前記サイズ情報格納部に格納された前記サイズ情報を参照し、前記物体のサイズを特定する物体認識装置。
PCT/JP2020/019399 2019-05-23 2020-05-15 物体認識装置 WO2020235462A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080036066.XA CN113826107A (zh) 2019-05-23 2020-05-15 物体识别装置
EP20808827.8A EP3975151A4 (en) 2019-05-23 2020-05-15 OBJECT RECOGNITION DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019097048A JP7289723B2 (ja) 2019-05-23 2019-05-23 物体認識装置
JP2019-097048 2019-05-23

Publications (1)

Publication Number Publication Date
WO2020235462A1 true WO2020235462A1 (ja) 2020-11-26

Family

ID=73454030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019399 WO2020235462A1 (ja) 2019-05-23 2020-05-15 物体認識装置

Country Status (4)

Country Link
EP (1) EP3975151A4 (ja)
JP (1) JP7289723B2 (ja)
CN (1) CN113826107A (ja)
WO (1) WO2020235462A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511749A (zh) * 2020-11-30 2021-03-16 上海摩象网络科技有限公司 目标对象的自动曝光量控制方法、装置及电子设备
CN113179375A (zh) * 2021-06-09 2021-07-27 北京澎思科技有限公司 曝光处理方法、装置、电子设备、存储介质及程序产品
CN115546837A (zh) * 2022-10-16 2022-12-30 三峡大学 变电站进出综合管理系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092861A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 車両制御システム
JP2005092857A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 画像処理システム及び車両制御システム
JP2014203114A (ja) * 2013-04-01 2014-10-27 株式会社デンソー 物体認識装置
JP2015192430A (ja) * 2014-03-28 2015-11-02 富士重工業株式会社 車外環境認識装置
JP2017027220A (ja) * 2015-07-17 2017-02-02 日立オートモティブシステムズ株式会社 車載環境認識装置
JP2018125585A (ja) * 2017-01-30 2018-08-09 アルパイン株式会社 周辺状況把握支援システム
JP2019146012A (ja) * 2018-02-20 2019-08-29 日立オートモティブシステムズ株式会社 撮像装置
JP2020038629A (ja) * 2018-08-31 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド インテリジェント路側ユニットおよびその情報処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4867365B2 (ja) * 2006-01-30 2012-02-01 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
JP5320331B2 (ja) * 2010-03-17 2013-10-23 日立オートモティブシステムズ株式会社 車載用環境認識装置及び車載用環境認識システム
JP2013040996A (ja) * 2011-08-11 2013-02-28 Nikon Corp 露出演算装置およびカメラ
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
JP5961207B2 (ja) * 2014-03-28 2016-08-02 富士重工業株式会社 車外環境認識装置
JP6396840B2 (ja) * 2015-04-10 2018-09-26 日立オートモティブシステムズ株式会社 物体検出装置
CN106709412B (zh) * 2015-11-17 2021-05-11 腾讯科技（深圳）有限公司 交通标志检测方法和装置
CN105825203B (zh) * 2016-03-30 2018-12-18 大连理工大学 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
JP6786279B2 (ja) * 2016-07-05 2020-11-18 日立オートモティブシステムズ株式会社 画像処理装置
CN107688811B (zh) * 2017-09-12 2020-11-03 北京文安智能技术股份有限公司 车牌识别方法及装置
JP2019053619A (ja) * 2017-09-15 2019-04-04 株式会社東芝 信号識別装置、信号識別方法、及び運転支援システム
CN109598244B (zh) * 2018-12-07 2023-08-22 吉林大学 一种交通信号灯识别系统及其识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005092861A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 車両制御システム
JP2005092857A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 画像処理システム及び車両制御システム
JP2014203114A (ja) * 2013-04-01 2014-10-27 株式会社デンソー 物体認識装置
JP2015192430A (ja) * 2014-03-28 2015-11-02 富士重工業株式会社 車外環境認識装置
JP2017027220A (ja) * 2015-07-17 2017-02-02 日立オートモティブシステムズ株式会社 車載環境認識装置
JP2018125585A (ja) * 2017-01-30 2018-08-09 アルパイン株式会社 周辺状況把握支援システム
JP2019146012A (ja) * 2018-02-20 2019-08-29 日立オートモティブシステムズ株式会社 撮像装置
JP2020038629A (ja) * 2018-08-31 2020-03-12 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド インテリジェント路側ユニットおよびその情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3975151A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511749A (zh) * 2020-11-30 2021-03-16 上海摩象网络科技有限公司 目标对象的自动曝光量控制方法、装置及电子设备
CN113179375A (zh) * 2021-06-09 2021-07-27 北京澎思科技有限公司 曝光处理方法、装置、电子设备、存储介质及程序产品
CN115546837A (zh) * 2022-10-16 2022-12-30 三峡大学 变电站进出综合管理系统
CN115546837B (zh) * 2022-10-16 2023-06-23 三峡大学 变电站进出综合管理系统

Also Published As

Publication number Publication date
CN113826107A (zh) 2021-12-21
EP3975151A1 (en) 2022-03-30
JP7289723B2 (ja) 2023-06-12
EP3975151A4 (en) 2023-01-25
JP2020191010A (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
WO2020235462A1 (ja) 物体認識装置
JP4654163B2 (ja) 車両の周囲環境認識装置及びシステム
KR101737791B1 (ko) 교통 표지판 인식 장치 및 그 동작 방법
US9536155B2 (en) Marking line detection system and marking line detection method of a distant road surface area
JP5747549B2 (ja) 信号機検出装置及びプログラム
JP5499011B2 (ja) 車外環境認識装置および車外環境認識方法
US8175806B2 (en) Car navigation system
JP4973736B2 (ja) 路面標示認識装置，路面標示認識方法及び路面標示認識プログラム
JP6082802B2 (ja) 物体検知装置
US11341754B2 (en) Method and apparatus for auto calibration
EP2933790A1 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
JP5115792B2 (ja) 画像処理装置および方法、並びに、プログラム
CN106295494B (zh) 车外环境识别装置
CN109635737B (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
JP5065172B2 (ja) 車両灯火判定装置及びプログラム
EP3113145B1 (en) Local location computation device and local location computation method
JP2007265277A (ja) 車両用視程測定装置、及び運転支援装置
JP5501477B2 (ja) 環境推定装置及び車両制御装置
CN112036210A (zh) 一种检测障碍物的方法、装置、存储介质和移动机器人
JP5353531B2 (ja) 車両灯火認識装置及びプログラム
JP2007265292A (ja) 道路標識データベース構築装置
JP2018073275A (ja) 画像認識装置
JP2018117204A (ja) 撮像装置
JP3914447B2 (ja) 画像式車両感知システム及び画像式車両感知方法
WO2019138827A1 (ja) 物体認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20808827

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020808827

Country of ref document: EP

Effective date: 20211223