WO2018008461A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2018008461A1
WO2018008461A1 PCT/JP2017/023504 JP2017023504W WO2018008461A1 WO 2018008461 A1 WO2018008461 A1 WO 2018008461A1 JP 2017023504 W JP2017023504 W JP 2017023504W WO 2018008461 A1 WO2018008461 A1 WO 2018008461A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
candidate
object candidate
luminance
unit
Prior art date
Application number
PCT/JP2017/023504
Other languages
English (en)
French (fr)
Inventor
雅幸 竹村
健 志磨
永崎　健
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP17824067.7A priority Critical patent/EP3483832B1/en
Publication of WO2018008461A1 publication Critical patent/WO2018008461A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an image processing apparatus that performs image processing on an image captured by, for example, a camera installed in a vehicle.
  • Patent Document 1 In order to recognize an object from images captured in time division under different exposure conditions, there is an object identification device that selects an optimum exposure image and recognizes the object (Patent Document 1). Further, there is an object detection device that performs pattern matching that weights each divided region of the recognition target object based on the irradiation range of the headlight and performs comparison with a learning result according to the weight (Patent Document 2).
  • Patent Document 1 describes a technique for dealing with bright and dark objects by capturing images with different exposure conditions in time series.
  • Patent Document 2 there is a proposal of a method of matching the lower body of a pedestrian by reducing the weight of a darkly captured pedestrian head that is difficult to view under one exposure condition.
  • Patent Document 1 extracts half of each other object. Identification as a pedestrian is difficult. Also in Patent Document 2, as compared with the normal time, pedestrian identification is attempted only with the lower body of the pedestrian, and a decrease in identification accuracy as a pedestrian is expected. In the technique of Patent Document 2, even if an object can be detected as a three-dimensional object, it is difficult to specify the type with high reliability and accuracy, such as whether it is a person or a car, only by partial visual recognition. There is a problem.
  • the present invention has been made in view of the above points, and an object of the present invention is to appropriately classify a type as a three-dimensional object such as a pedestrian or a vehicle even if the image has a lower contrast than conventional images.
  • An object of the present invention is to provide an image processing apparatus that can be highly recognized.
  • An image processing apparatus of the present invention that solves the above problems includes an image acquisition unit 100 that acquires a plurality of images with different exposure conditions, an object candidate detection unit 200 that detects an object candidate from the image, and an image region corresponding to the object candidate. And an object recognition unit 300 for recognizing an object using a plurality of images 110 and 120 having different exposure conditions according to a plurality of partial areas.
  • FIG. The figure explaining the structure of the vehicle-mounted environment recognition apparatus in Example 1.
  • FIG. The figure explaining the structure of an object candidate detection part.
  • the schematic diagram of the situation and picked-up image which imaged the pedestrian at night.
  • FIG. 1 The figure explaining the determination method of the presence or absence of an invisible area
  • FIG. 1 The figure explaining the structure of a normal object candidate detection part.
  • FIG. 1 shows a configuration diagram of the in-vehicle environment recognition device.
  • the in-vehicle environment recognition device recognizes the surrounding environment such as an obstacle by performing image processing on the surrounding image captured by the camera installed in the host vehicle, and cooperates with hardware such as a microcomputer and a software program. Realized by work.
  • the in-vehicle environment recognition apparatus includes a multiple exposure camera 100, an object candidate detection unit 200, an object recognition unit 300, and an alarm control unit 400.
  • the multiple exposure camera 100 is attached to the vehicle so as to image the front of the host vehicle.
  • the multiple exposure camera 100 can appropriately pick up and capture a normal image (first image) and a dark object image (second image) as images having different exposure conditions.
  • the normal image and the dark object image are acquired using the multiple exposure camera 100.
  • the multiple exposure camera 100 uses the same camera imaging device to capture images with different exposure conditions alternately in a time-division manner.
  • the front of the host vehicle is imaged by the multiple exposure camera 100 during night driving, and the normal image 110 and the dark object image 120 are alternately acquired in time division (image acquisition unit).
  • the normal image 110 is captured under the first exposure condition, and is set to exposure that makes it easy to see the host vehicle traveling path captured in the center area of the image.
  • the dark object image 120 is an image captured under the second exposure condition, and is a long-time exposure image or an image with an increased gain for viewing a dark region as compared with the normal image 110. Set to exposure.
  • the multiple exposure camera 100 can capture a normal image 110 (first image) and a dark object image 120 (second image) having different exposure conditions by adjusting the shutter time or gain.
  • imaging under multiple exposure conditions may be performed in a time division manner. For example, by switching five exposure conditions alternately in a short moment, and changing the normal exposure condition to five levels from the brightest to the darkest, the image is captured at various brightness levels. An image that can visually recognize the object region is acquired.
  • the object candidate detection unit 200 and the object recognition unit 300 cooperate with each other to constitute an image processing apparatus.
  • the object candidate detection unit 200 extracts a feature amount for object candidate detection from the normal image captured by the multiple exposure camera 100, and detects the object candidate.
  • the object recognizing unit 300 determines whether or not the object candidate detected by the object candidate detecting unit 200 is a recognition target for confirming the dark object image 120 having different exposure conditions. Then, when the dark object image 120 is a recognition target to be confirmed, feature amounts for identification are extracted from the normal image 110 and the dark object image 120, respectively. Then, the object types are identified by integrating the identification feature amounts.
  • an image captured with a wide dynamic range and high gradation such as 16 bits is processed with a normal gradation such as 8 bits in order to reduce the processing load, it is darker than a normal 8-bit image.
  • this embodiment may be implemented by regarding this as a multiple exposure image.
  • an image adjusted to normal brightness and an image tuned for a dark object are generated by applying a gain or the like at the analog value stage, these images are subjected to double exposure. By using it as an image, the effect of the present embodiment can be obtained.
  • two images are generated from the data captured at the same time and recognized, the two objects are captured at the same time. There is no need to perform the correction.
  • the alarm control unit 400 performs alarm and control based on the recognition result of the object type by the object recognition unit 300 and the own vehicle behavior.
  • the object type is a moving body such as a pedestrian
  • a warning and control different from those of a stationary three-dimensional object such as a road sign or a telephone pole are performed. If the object is a stationary three-dimensional object, it is assumed that the vehicle will quickly pass through the vehicle. Therefore, the alarm and control are set to the limit.
  • a moving body such as a pedestrian, it is possible to assume a case where it starts moving suddenly even when it is stationary, or a case where the moving direction changes, and therefore, the vehicle often passes at a low speed or avoids it. Therefore, appropriate warnings and controls according to the object type are implemented, such as a relatively early warning or control for suppressing the speed.
  • FIG. 2 is a diagram illustrating the configuration of the object candidate detection unit.
  • the object candidate detection unit 200 performs preprocessing of feature amount extraction for detecting an object candidate from a normal image.
  • the object candidate detection unit 200 includes an edge extraction unit 210, a flow generation unit 220, an object candidate extraction unit 230, and a geometric calculation unit 240.
  • the edge extraction unit 210 a Sobel filter that reacts to a change in luminance in the horizontal direction on the image is performed, and a vertical edge and its edge strength are calculated from the normal image.
  • the flow generation unit 220 extracts a flow from the entire screen of the normal image, and generates a flow image for moving object detection in which the background movement that changes according to the vehicle behavior is deleted. And the flow image presumed not to contain a moving body is also produced
  • the object candidate extraction unit 230 uses the vertical edge image generated by the edge extraction unit 210 to extract a three-dimensional object that often exists perpendicular to the road surface as an object candidate. In many cases, a change in color occurs at the boundary between the background and the three-dimensional object. Therefore, when the three-dimensional object is viewed in the horizontal direction on the image, a luminance change with the background occurs twice. For this reason, it is searched whether or not there is an edge in the horizontal direction. If there is an edge, a pair of vertical edges that are paired with the vertical edge is searched.
  • a three-dimensional object is a moving object
  • the flow image for moving object detection in which the background motion is deleted for the moving object an area where the flows are densely gathered as an aggregate Explore. If the flow is in a dense area and the flow direction and speed are the same, the aggregate is extracted as one moving body. Furthermore, since the flow image generated so as not to include the moving object includes a flow that is supposed to change according to the amount of movement of the own vehicle, a rough three-dimensional shape is restored from the amount of movement of the own vehicle and the movement of the flow. Then, a mass as a three-dimensional object is extracted as an object candidate.
  • the geometric calculation unit 240 calculates a three-dimensional position, posture, size, and the like for the object candidates extracted by the respective methods.
  • the object candidate extraction unit 230 of the flow may have already obtained the posture and size of the three-dimensional object candidate, but the three-dimensional position, posture, size, and the like are calculated by focusing on each recognition target.
  • a three-dimensional position calculated based on the lower end position on the road surface of the extracted three-dimensional object may be used.
  • FIG. 3 is a diagram illustrating the configuration of the object recognition unit.
  • the object recognition unit 300 includes an invisible region determination unit 310, a feature amount extraction unit 320, a feature amount integration unit 330, and a pattern matching unit 340.
  • the invisible region determination unit 310 analyzes the luminance of the normal image 110 and determines whether or not the object candidate detected by the object candidate detection unit 200 is a recognition target for confirming the dark object image 120.
  • the invisible region determination unit 310 determines whether there is an object candidate that partially spans the irradiation range of the headlight of the host vehicle.
  • the invisible region determination unit 310 is in a situation where a part of an object that is too dark in the normal image 110 cannot be recognized, that is, only a part of the object is visible on the normal image 110, When only a part is extracted as an object candidate, it is determined that the object candidate is a recognition target for confirming the dark object image 120.
  • a configuration may be adopted in which an area that is too bright and too bright in a dark object image is determined to be a recognition target that needs to be supplemented with information by a normal image.
  • the feature amount extraction unit 320 uses the dark object image 120 and the normal image 110 in combination to extract the entire shape of the object candidate and the feature amount for identifying whether it is a person or a vehicle. . That is, the feature amount extraction unit 320, when the invisible region determination unit 310 determines that the object candidate is a recognition target for confirming the dark object image 120, the normal image 110 and the dark object image 120 respectively Extract feature quantities for identification. For example, when it is determined by the invisible region determination unit 310 that there is a dark portion (invisible region) of an object that is blacked out and difficult to view in the normal image 110, the dark object image 120 is used to determine the dark portion of the dark portion. Extract features.
  • the feature amount of the portion is extracted by using the normal image 110.
  • it may be configured to use a normal image obtained by imaging a brighter object.
  • the feature amount integration unit 330 uses the feature amount extracted from each of the normal image 110 and the dark object image 120 by the feature amount extraction unit 320 to select the feature amount of the image that is viewed with higher visibility.
  • the feature amounts from both the normal image 110 and the dark object image 120 are combined. This makes it difficult to see part of an object because it is dark and it is difficult to see part of the object by combining the feature values obtained using two images captured under different exposure conditions and performing pattern matching in the pattern matching unit 340. Even a simple object can be recognized with higher reliability and accuracy. Similarly, even in a situation where it is difficult to see part of an object due to whiteout, a similar effect can be obtained by acquiring and combining feature amounts from a dark image.
  • the two exposure images of the normal image 110 and the dark object image 120 are taken alternately and periodically as shown in FIG.
  • a configuration that acquires a bright object image for viewing an object brighter than the normal image may be added.
  • the configuration may be such that a bright object image, a normal image 110, and a dark object image 120 are captured in order.
  • the bright object image is an image in which a bright place is darkened and a dark place is darkened. Therefore, when there is a bright partial region of an object that is white and difficult to view in a normal image, the feature amount of that portion can be extracted by using the bright object image. Therefore, it is possible to improve recognition accuracy by using a combination of feature amounts extracted from an image under appropriate exposure conditions for each partial region of the object.
  • FIG. 4 is a diagram illustrating the configuration of the invisible region determination unit.
  • the invisible region determination unit 310 confirms whether a part of the object is too bright and not overexposed, or too dark and not overshadowed with respect to the object candidate detected by the object candidate detection unit 200. . In other words, only a part of the object is considered as an object candidate due to the influence of the light source environment, and it is confirmed whether the remaining part of the object is too bright and not overexposed on the image, or too dark and not overcast. To do.
  • the invisible region determination unit 310 includes a luminance upper / lower limit determination unit 311, a recognition type prior determination unit 312, and a region candidate extraction unit 313.
  • the luminance upper / lower limit determination unit 311 analyzes luminance information around the image of the object candidate, and confirms whether the luminance around the object candidate has not reached the upper / lower limit in the image.
  • the brightness around the object candidate is close to the upper and lower limits. More specifically, the brightness is within the upper and lower limits of brightness. More specifically, the brightness is within the predetermined brightness lower limit range or the predetermined brightness upper limit range. is there.
  • the luminance lower limit range can be a fixed luminance value (0 to 10) of 10 or less in an 8-bit luminance value
  • the luminance upper limit range can be a fixed luminance value (245 to 255) of 245 or more in an 8-bit luminance value.
  • FIG. 9A is a diagram for explaining a situation where a pedestrian is imaged at night
  • FIG. 9B is a schematic diagram of a captured image in the situation of FIG. 9A.
  • an invisible region is generated outside the headlight irradiation region 911 relatively frequently.
  • the headlight strongly illuminates the feet of the pedestrian 921, and the light of the headlight does not hit the upper body of the pedestrian 921 It often occurs.
  • the headlight irradiation area 911 which is an area where there is a high risk of collision, so in the normal image 900, if there is a pedestrian 921, a bright foot is visible 9B, the lower body of the pedestrian 921 is detected as a three-dimensional object.
  • headlight light distribution patterns that can be adjusted manually by adjusting the vertical illumination angle.
  • the light distribution pattern can be dynamically changed.
  • the tendency of the depth and the height of the object candidate from the road surface may be analyzed from learning from the learning result during night driving.
  • the surrounding environment is dark and is not affected by other light source environments, it is possible to make a determination with higher accuracy by learning the depth, angle, and height from the road surface of the host vehicle.
  • the luminance upper / lower limit determination unit 311 detects this object in the headlight irradiation range at the time of headlight irradiation of the host vehicle when there is an object candidate (lower body of the pedestrian 921) at night. It is determined whether the upper side of the candidate is near the lower limit of luminance.
  • a luminance histogram is generated in the vertical direction, and in the luminance histogram, the luminance above the object candidate is near the lower limit, and a luminance distribution in which the luminance gradually decreases as the object candidate moves upward is recognized.
  • the upper side of the object candidate does not appear to be blacked out on the normal image 110, but actually, it is determined that there is a high possibility that an object exists continuously on the upper side.
  • the recognition type pre-determination unit 312 next narrows down the recognition type on the assumption that an object exists above the three-dimensional object. There is an assumed range of objects whose type is recognized by the pattern matching unit 340. On the other hand, obviously small object candidates and clearly large object candidates are excluded and excluded from pattern matching candidates for recognizing the type. .
  • the area candidate extraction unit 313 estimates the moving speed of the host vehicle to the object candidate, the estimation of the three-dimensional position of the object candidate at the time of capturing the dark object image from the moving speed of the object candidate, and how it is displayed on the image. Estimate whether the area is With respect to an object whose possibility remains in the recognition type prior determination unit 312, the region candidate extraction unit 313 performs region candidate extraction in the same manner as the pedestrian example.
  • detection of object candidates is performed not only on the normal image 110 but also on the dark object image 120, and the object recognition unit 300 indicates that these extracted object candidates may be the same object. This may be determined by the invisible region determination unit 310.
  • a case where it is difficult to determine which part of the object is an invisible region as in the case of FIG. 10 is a captured image in a state where the upper body of the pedestrian is in the sun and the lower body is in the shade.
  • FIG. 10 shows a case where the shadow 1011 formed by the wall 1010 standing along the right lane in the daytime casts a shadow only on the feet of the pedestrian 1012.
  • the upper body of the pedestrian 1012 is bright and the lower body is dark in the shadow 1011.
  • only the upper body of the pedestrian 1012 appears to be highly visible on the normal image, while the lower body is crushed black and difficult to view.
  • an object candidate is extracted from the normal image 110 by the object candidate detection unit 200. Therefore, the upper body of Hinata can be detected as a three-dimensional object.
  • the invisible region determination unit 310 of the object recognition unit 300 it is determined whether or not the object candidate is in a situation where a part of the object is difficult to view.
  • the luminance upper / lower limit determination unit 311 of the invisible region determination unit 310 analyzes the luminance distribution around the object candidate and determines whether the luminance distribution is close to the luminance upper / lower limit.
  • the left direction of the pedestrian 1012 is bright and easy to see on the image, and the three directions on the top and bottom and right of the pedestrian 1012 are dark. It can be analyzed that it is difficult to see above.
  • FIG. 14 is a diagram for explaining a method for determining an invisible region around an object candidate.
  • the luminance upper / lower limit determination unit 311 analyzes the vertical / horizontal luminance distribution of the object candidate in the normal image 110 and determines whether the luminance distribution is close to the luminance upper / lower limit.
  • the vertical luminance analysis is performed even when the vehicle headlight is illuminated at night to confirm that an invisible region exists in the vertical direction of the object candidate. May be.
  • the light source environment may change in the left-right direction of the object candidate due to the influence of the vehicle light, etc., so using this together makes the object candidate invisible
  • the accuracy of determining whether an object has a region may be improved.
  • the luminance distribution is extremely dark or bright in the four directions of the left, right, up and down with the object candidate as the center. It is extremely bright or dark, and almost no information that can be obtained as an edge or shape feature is obtained. For example, the darker one has a fixed luminance value of 10 or less in the 8-bit luminance value, and the brighter one has a fixed luminance of 245 or more in the 8-bit luminance value Using the luminance value as a threshold value, the number of pixels exceeding the threshold value is analyzed. In the example shown in FIG. 14, only the change on the dark side is observed. However, in the case of a configuration in which an image for a bright object is also captured, the analysis is performed here and the change on the bright side is also observed.
  • the object candidate area is expanded in four directions, up, down, left, and right, and first, it is analyzed whether the luminance changes like a gradation with respect to the expanded area in the upward direction.
  • the luminance analysis (1) shown in FIG. 14B paying attention only to the object candidate region and the extended region above it, the number of pixels with a fixed luminance threshold value of 10 or less is counted for each horizontal direction, and the count value Are arranged for each Y coordinate to form a histogram.
  • the number of pixels with a luminance value of 10 or less on the image increases as it moves to the upper part of the image in the upper extended area, and gradation is gradually applied to the upper part of the image. Can be seen. For this reason, an invisible region due to blackout exists above the object candidate, and the upper part of the object is dark and not visible in the normal image, but the object may be recognized in the dark object image. Determine that there is.
  • the number of pixels with a luminance value of 10 or less on the image increases as the transition to the lower part of the image in the lower extended region based on the upper body that can be visually recognized, and the lower part of the image gradually It can be judged that the gradation is visible. Although it is dark in the diagonal direction, there is an invisible region due to blackout below the object candidate, and the lower part of the object is dark and not visible in the normal image, but the object for dark object is recognized Determine what might be possible.
  • the object candidate in the horizontal direction of the object candidate, it indicates that there is no invisible region that cannot be visually recognized depending on the exposure conditions, and that the shape of the object candidate does not change even when viewed in the dark object image etc. Show.
  • the same processing is applied to the lower and left extension regions of the object candidate shown in FIG. 14A, and luminance analysis (3) and (4) is performed. If there is an image for a bright object, another process for counting the number of pixels having a fixed luminance of 245 or more is performed again.
  • the region candidate extraction unit 313 extracts regions assuming each candidate. For example, when there is a possibility that the object is either a vehicle or a pedestrian, extraction of a region corresponding to each is performed.
  • FIG. 5 is a diagram illustrating the configuration of the feature amount extraction unit.
  • the feature amount extraction unit 320 extracts feature amounts for object recognition from both the normal image 110 and the dark object image 120. It has already been found that, in the normal image 110, a part of the object candidate is blacked out, and it is highly likely that a part of the object candidate can be seen by checking with the dark object image 120.
  • the feature amount preprocessing unit 321 performs preprocessing for extracting the feature amount in the region candidate on the dark object image 120 set in the region candidate extraction unit 313 of the invisible region determination unit 310.
  • the feature amount preprocessing unit 321 first, in order to confirm whether or not an object candidate exists in the region candidate of the dark object image 120, the same as the edge extraction unit 210 and the flow generation unit 220 of the object candidate detection unit 200 , Feature amount extraction is performed.
  • the area candidate extraction unit 313 confirms that it is during nighttime headlight irradiation as shown in FIG. 9B, and sets the position of the object candidate in the area candidate and passes it to the area candidate.
  • the feature amount preprocessing unit 321 performs feature amount extraction for confirming in which portion of the region candidate a part of the object candidate exists. After edge extraction and flow generation, based on these feature amounts, the size of the region candidate is corrected or the feature amount does not exist in the region candidate and the object is not visible, but part of the object itself Return the result of confirming that no exists, delete the existence of the region candidate.
  • the object candidates of the normal image 110 and the object candidates of the dark object image 120 that have been extracted from the past are now aligned.
  • the lower body is detected as a three-dimensional object from the normal image 110
  • the upper body is detected as a three-dimensional object from the dark object image 120.
  • the object candidate area 111 is set with the upper side of the lower body as the invisible area
  • the object candidate area 121 is set with the lower side of the upper body as the invisible area.
  • the problem here is that, as shown in the example of FIG. 8, images of different exposure conditions are periodically taken in time series, so that two normal images 110 and dark object images 120
  • the imaging timing is different.
  • the target object on the image is not a little moved or deformed even in a short period.
  • the movement of the host vehicle is often larger than the movement of the target object, and if the change in the movement on the image is ignored, the recognition performance may be degraded.
  • the behavior of the host vehicle is always predicted and calculated from CAN information or the like. Further, the position and motion of the object candidate are corrected based on the three-dimensional position and moving speed of the object candidate calculated by the geometric calculation unit 240 of the object candidate detection unit 200.
  • the object candidate on the normal image 110 and the object for the dark object are obtained from the lateral movement amount on the image of the object candidate on the image 120 for the dark object and the three-dimensional position.
  • the lateral movement correction unit 322 and the scale correction unit 323 align the lateral movement amount of the object candidate and the change in the size in the scale direction. That is, the lateral movement correction unit 322 and the scale correction unit 323 correct the amount of movement in the horizontal direction and the change in the size in the scale direction of the object candidate of the normal image 110 and the object candidate of the dark object image 120 to match each other. . Even in the case of an object captured on a large image, the pattern matching is performed in a fixed pattern. Therefore, it is determined which area is formed to what size and preparation for pattern matching is performed.
  • FIG. 12 is a diagram for explaining a feature amount integration method, and shows an example of how a pedestrian looks at night.
  • the feature amount is extracted while correcting the lateral movement amount and the scale change. Histogram total amount is large, average edge strength is strong, horizontal edge strength, horizontal edge total amount (excluding gradation direction by headlight), edge total amount, and edge position standard deviation are large.
  • Histogram total amount is large, average edge strength is strong, horizontal edge strength, horizontal edge total amount (excluding gradation direction by headlight), edge total amount, and edge position standard deviation are large.
  • it is determined which of the normal image 110 and the dark object image 120 is used for each local region. Whether to use the normal image 110 or the dark object image 120 is determined according to the result of the adjacent local region. In this way, the feature amounts are compared and determined, an exposure image having a large feature amount is selected for each local region, and these feature amounts are integrated (FIG. 12C).
  • the feature amount calculation unit 324 divides the block into the number of blocks having a predetermined molding size determined for each pattern matching identification candidate, and then uses the normal image 110 and the dark object image 120 respectively for pattern matching. Perform extraction. As shown in FIG. 11, object candidate regions 111 and 121 are set for the normal image 110 and the dark object image 120, respectively. Then, the set object candidate areas 111 and 121 are divided into fixed-size square areas as shown in FIGS. Although the figure is divided into 4 ⁇ 9 square areas for pedestrian identification in the figure, the division size may be defined in consideration of the size of the farthest pedestrian to be recognized and the recognition performance.
  • an edge direction histogram of each pixel corresponding to the local area of the fixed divided area is created.
  • the histogram is not voted as an invalid edge.
  • the histogram is normalized by performing histogram normalization according to the image size of the local region. As a result, it can be seen that a constant feature amount is extracted regardless of the size of the image.
  • the brightness is basically different between the top and bottom of the object. For example, in the case shown in FIG. Because it is exposed to light, it becomes slightly brighter. Therefore, it is possible to more appropriately determine which exposure image should be selected when it is individually determined which image is used for each of the upper, lower, left, and right local regions, which leads to stable pattern matching.
  • the feature amount selection unit 331 compares the sum totals of the histograms of the corresponding local regions.
  • the feature selection unit 331 considers that the region where the edge intensity threshold exceeds a certain fixed threshold, that is, the local region where the edge is visible, captures the shape feature of the object candidate on the image. By performing this determination for each region, the feature quantity that allows the object shape to be visually recognized is selected from the feature quantities of the normal image 110 and the dark object image 120.
  • the feature amount integration unit 332 integrates the feature amounts (FIG. 12C).
  • FIG. 7 is a diagram illustrating the configuration of the pattern matching unit.
  • pattern matching is performed using the integrated feature amount.
  • the pattern matching unit 340 integrates the mutual identification feature amounts extracted from the normal image 110 and the dark object image 120, respectively, and performs object type identification (object identification unit).
  • the pattern matching unit 340 performs pattern matching on the candidates already narrowed down by the recognition type prior determination unit 312.
  • the pedestrian identification unit 341 identifies whether or not it is a pedestrian compared to the already learned pedestrian feature amount. carry out.
  • vehicle identification is performed in the vehicle identification unit 342, motorcycle identification is performed in the motorcycle identification unit 343, and animal identification is performed. This is performed in the animal identification unit 344.
  • the pattern matching unit determines whether or not the object has been learned in advance.
  • patterns such as a sign, a lightning sign, a signal, and a road marking may be prepared for specifying the type.
  • FIG. 13 is a flowchart for explaining the processing contents.
  • an image of a normal exposure condition (normal image) is captured by the camera (S01).
  • an object candidate is detected from the acquired normal image (S02).
  • an invisible area exists (S03).
  • the luminance around the object candidate By analyzing the luminance around the object candidate, it is checked whether the luminance of a part of the object candidate is white or blacked out. Here, it is analyzed whether or not the brightness around the object candidate is dark and blacked out.
  • whiteout in the system that captures the image for the bright object, the object identification accuracy is obtained by extracting the feature quantity from the image for the bright object as in the case of the dark object. And improve reliability.
  • the object candidate is blacked out because part of the object candidate is too dark on the normal image. This shows that there is a possibility that the whole object cannot be seen only with the normal image.
  • the process from S01 to S04 and the pattern matching of the object candidate in S08 using only the normal image are performed.
  • the processes from S05 to the subsequent S09 are performed. In this way, according to the imaging timing, the processing load is distributed and the processing is performed, so that the processing load is efficiently distributed and the recognition with high accuracy and high reliability is performed.
  • a dark object image is picked up (S05), and recognition processing using this image is started thereafter.
  • recognition processing using this image is started thereafter.
  • a feature amount for pattern matching is extracted (S06).
  • the feature amount of the normal image 110 and the feature amount of the dark object image 120 are integrated (S07).
  • the lower body that can be visually recognized in the normal image 110 and from which many feature values have been extracted and the upper body that is dark and difficult to see in the normal image 110 are captured in the dark object image 120.
  • the upper body and lower body are extracted from the images that are easy to see, and integrated.
  • the dark object image 120 and the normal image 110 are mainly described.
  • an image for a bright object that targets a high-brightness object is shot, and an optimal image including this is selected.
  • a method that integrates feature quantities may be used.
  • pattern matching is performed using the feature values integrated in the feature value integration (S07) (S08). Therefore, highly reliable and accurate pattern matching can be performed by using abundant feature values obtained by feature amount integration that cannot be obtained only with an image captured under one exposure condition. Can do.
  • an alarm / control process is performed (S09).
  • the position, speed, and the like of the target object are updated in order to perform warning and control.
  • an object is detected only from an image of one exposure condition such as a normal image
  • the position and speed of the object are calculated using the information of the image, and warning and control are performed.
  • warning and control are performed.
  • feature quantities are used to calculate the position and speed, Based on the calculation result of position and speed with higher accuracy, warning and control are implemented.
  • Example 2 ⁇ For stereo cameras> Although an effective example is described in the same manner whether the processing is monocular processing or stereo processing, there is a utilization method unique to some stereo cameras, and therefore, it is described as Example 2.
  • FIG. 15 shows an embodiment in the case of a stereo camera.
  • FIG. 15 is a diagram illustrating the configuration of the in-vehicle stereo camera environment recognition apparatus according to the second embodiment.
  • a camera configuration may be used in which only the normal image is captured in the stereo left and right images and only the right image is captured in the dark object right image, but this configuration is basically a parallax image. Only the mechanism for detecting object candidates from the system changes, and the latter method is similar.
  • a normal image and a dark object image are respectively captured by left and right cameras of a stereo camera will be described as a different system configuration.
  • the left camera 1101 alternately captures the normal left image 1111 and the dark object left image 1121 in time series.
  • the right camera 1100 also captures the normal right image 1110 and the dark object right image 1120 alternately in time series.
  • the left and right camera images are synchronized, and the normal images 1111 and 1110 are imaged at the same timing, and similarly dark objects
  • the work images 1121 and 1120 are also taken in synchronization with the left and right. Using these images, stereo matching is performed to generate a parallax image.
  • the normal left image 1111 and the normal right image 1110 are captured at the same timing, and stereo matching is performed from this image to generate a normal parallax image 1150.
  • the dark object left image 1121 and the dark object right image 1120 are captured at the same timing, and stereo matching is performed from the images to generate a dark object parallax image 1151.
  • the normal object candidate detection using the normal parallax image 1150 is performed by the normal object candidate detection unit 1200, and similarly the dark object candidate detection using the dark object parallax image 1151 is performed by the dark object candidate detection unit 1201. To do.
  • the stereo object recognition unit 1300 determines objects that may be the same object from the respective object candidates extracted under different exposure conditions. Details will be described with reference to FIGS.
  • the stereo object recognition unit 1300 determines that there is a possibility that each of them is the same object, and further performs identification based on the integrated feature amount, so that two candidate objects are pedestrians for the first time. It can be specified that there is a single object.
  • the stereo alarm control 1400 implements alarm control considering the vehicle behavior from the type of candidate object and the three-dimensional position, posture, and speed.
  • FIG. 16 shows the normal object candidate detection unit 1200.
  • An object candidate is detected by the normal object candidate detection unit 1200 from the normal parallax image 1150.
  • a normal parallax image is generated from the left and right normal images, and only the lower half of the normal parallax image is extracted as an object candidate by the normal object candidate extraction unit 1210.
  • an accurate three-dimensional position is estimated using the depth calculated from the parallax image and the lateral position, and the moving speed is also estimated from time-series information.
  • the light irradiation range determination unit 1220 By determining whether or not the height of the object candidate visible from the road surface is near the boundary of the headlight irradiation range with respect to the object depth as shown in FIG. Is confirmed by the light irradiation range determination unit 1220.
  • FIG. 17 shows the dark object candidate detection unit 1201.
  • An object candidate is detected by the dark object candidate detection unit 1201 from the parallax image 1151 for dark object.
  • the dark object image is an image as shown in the right of FIG. 8, in which the headlight irradiation area is blown out and the object shape is relatively bright outside the headlight irradiation area.
  • a dark object parallax image generated from the left and right dark object images is generated, and the dark object candidate extraction unit 1211 extracts only the upper body from the dark object parallax image as an object candidate.
  • the extracted three-dimensional dark object geometric calculation unit 1241 estimates the three-dimensional depth, lateral position, and moving speed from the dark object parallax image.
  • the foot In a normal image of normal exposure, the foot is detected as a three-dimensional object from a stereo view, and the invisible region is located above the object candidate.
  • the dark object image of the dark object exposure the upper body is detected as a three-dimensional object from a stereo view, and the lower side of the object candidate is determined to be an invisible region.
  • the dark object candidates extracted from the left and right dark object images exist in the invisible regions of the normal object candidates extracted from the right and left normal images, and conversely, the dark object candidates are extracted from the left and right normal images in the invisible regions of the dark object candidates. There are normal object candidates. This increases the possibility that the two candidates are one solid object.
  • the feature extraction unit 1320 performs the normal image and dark object similarly to the monocular.
  • the feature amount is extracted from the right image of the object image, and the feature amount is integrated by the feature amount integration unit 1330, and the pattern matching is performed by the pattern matching unit 1340. This is used as a criterion for warnings and vehicle control.
  • separate processing may be performed for each candidate object, but for example, based on the normal object image, it is synthesized by assuming how the object appears in the frame of the normal object image from the dark object image. Also good. For example, if the object is basically facing the front of the host vehicle, such as sign detection, and if the host vehicle is limited to going straight ahead, the sign can be expected to grow with the vanishing point at the center. It is.
  • the present invention is not limited to the above-described embodiments, and various designs can be made without departing from the spirit of the present invention described in the claims. It can be changed.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to one having all the configurations described.
  • a part of the configuration of an embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of an embodiment.
  • 100 multiple exposure camera 110 normal image (first image), 120 dark object image (second image), 200 object candidate detection unit, 210 edge extraction unit, 220 flow generation unit, 230 object candidate extraction unit, 240 geometric calculation Unit, 300 object recognition unit, 310 invisible region determination unit, 311 brightness upper / lower limit determination unit, 312 recognition type prior determination unit, 313 region candidate extraction unit, 320 feature amount extraction unit, 321 feature amount preprocessing unit, 322 lateral movement correction Part (lateral movement correction means), 323 scale correction part (scale correction means), 324 feature quantity calculation part, 330 feature quantity integration part, 331 feature quantity selection part, 332 feature quantity integration part, 340 pattern matching part, 341 walking Identification, 342 vehicle identification, 343 motorcycle identification, 344 animal identification, 400 alarm control, 1101 left camera, 1100 right camera, 1111 normal left image, 1110 normal right image, 1121 dark object left image, 1120 dark object right image , 1150 Normal parallax image, 1151 Dark object parallax image, 1200 Normal object candidate detection unit, 1201 Dark object candidate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

本発明は、従来よりも低コントラストな画像であっても、歩行者や車両といった立体物としての種別を適切に信頼度高く認識することができる画像処理装置を得る。本発明の画像処理装置は、露光条件の異なる複数の画像を取得する画像取得部１００と、画像から物体候補を検知する物体候補検知部２００と、物体候補に対応する画像領域内の複数の部分領域に応じて露光条件の異なる複数の画像１１０、１２０を用いて物体を認識する物体認識部３００とを備えることを特徴とする。

Description

画像処理装置
　本発明は、例えば車両に設置されたカメラで撮像した画像を画像処理する画像処理装置に関する。
　車両に設置されたカメラにより車両周囲環境を認識するアプリケーションの製品化が増加傾向にある。その中でも、認識した物体を利用し、未然に事故を防止する予防安全技術や、自律走行を目指した車両制御技術への応用が期待されている。車両制御に利用される認識技術は、失敗すれば事故にもつながりかねないため高い信頼性が必要とされる。
　異なる露光条件において時分割に撮像した画像の中から対象物を認識するために、最適な露光画像の1枚を選択し、対象物を認識する対象物識別装置がある（特許文献１）。また、ヘッドライトの照射範囲に基づいて、認識対象物の分割領域ごとに重み付けし、重みに応じて学習結果との比較を行うパターンマッチングを実施する物体検出装置がある（特許文献２）。
特開2012-088785号公報 特開2011-90450号公報
　車両に設置されたカメラを利用して自車両の周囲環境を撮像し、カメラによって得られた物体候補の中から物体の種別の認識を実施し、歩行者や車両などの特定を実施し、物体の種別に応じた予測結果と自車両の進行路推定結果に基づいて、警報、制御の出力を実施する。
　しかしながら、カメラの認識においては、明るい領域と暗い領域を同時に撮像するような状況、例えば、夜間ヘッドライト照射領域とそれ以外の領域、または、昼間の日照領域と日陰領域を同時に撮像するような状況においては、露光条件が適合している領域は画像上で視認できるものの、露光条件が適合していない領域では、認識対象物の形状を視認しづらい。
　特許文献１では、異なる露光条件の画像を、時系列に撮像することで明るい物体と暗い物体に対応する手法が述べられている。特許文献２では、１つの露光条件では視認困難な暗く撮像された歩行者頭部の重みを減らして歩行者の下半身でマッチングする方式の提案がある。
　これらの従来方法は、それぞれ効果はあるものの、１つの物体の半分が暗く、残り半分が明るいような状況においては、特許文献１では、それぞれ別物体が半分ずつ抽出されることとなるうえに、歩行者として識別が困難である。また、特許文献２においても、通常時と比較すると歩行者の下半身のみで歩行者識別しようとしており、歩行者としての識別精度の低下が予想される。特許文献２の技術では、立体物として物体は検知できたとしても、部分的な視認のみでは、それが人であるか車であるかなど、信頼度、精度高く種別を特定することが困難である課題が存在する。
　本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、従来よりも低コントラストな画像であっても、歩行者や車両といった立体物としての種別を適切に信頼度高く認識することができる画像処理装置を提供することにある。
　上記課題を解決する本発明の画像処理装置は、露光条件の異なる複数の画像を取得する画像取得部１００と、画像から物体候補を検知する物体候補検知部２００と、物体候補に対応する画像領域内の複数の部分領域に応じて露光条件の異なる複数の画像１１０、１２０を用いて物体を認識する物体認識部３００とを備えることを特徴とする。
　本発明によれば、従来よりも低コントラストな画像であっても、歩行者や車両といった立体物としての種別を適切に信頼度高く認識することが可能となる。
  本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
実施例１における車載環境認識装置の構成を説明する図。 物体候補検知部の構成を説明する図。 物体認識部の構成を説明する図。 不可視領域判定部の構成を説明する図。 特徴量抽出部の構成を説明する図。 特徴量統合部の構成を説明する図。 パターンマッチング部の構成を説明する図。 ２重露光の撮像方法の一例を説明する図。 夜間歩行者を撮像した状況と撮像画像の模式図。 歩行者の上半身が日向にあり下半身が日陰にある状態の撮像画像。 特徴量の統合について概念的に示す図。 特徴量の統合方法を説明する図。 処理内容を説明するフローチャート。 物体候補の周囲における不可視領域の有無の判定方法を説明する図。 実施例２における車載ステレオカメラ環境認識装置の構成を説明する図。 通常物体候補検知部の構成を説明する図。 暗物体候補検知部の構成を説明する図。 ステレオ物体認識部の構成を説明する図。
　以下、本発明の実施例について図面を用いて説明する。
　［実施例１］
  ＜図１　車載環境認識装置　概要＞
  図１に車載環境認識装置の構成図を示す。
  車載環境認識装置は、自車両に設置されたカメラで撮像した周囲の画像を画像処理して障害物などの周囲環境を認識するものであり、マイクロコンピュータなどのハードウエアとソフトウエアプログラムとの協働により実現される。
　車載環境認識装置は、図１に示すように、多重露光カメラ100と、物体候補検知部200と、物体認識部300と、警報制御部400を備えている。多重露光カメラ100は、自車両前方を撮像するように車両に取り付けられている。多重露光カメラ100は、互いに露光条件が異なる画像として、通常画像（第１画像）と暗物体用画像（第２画像）を適宜選択して撮像することができる。
　通常画像と暗物体用画像は、多重露光カメラ100を利用して取得される。多重露光カメラ100は、図８に示すように、同一のカメラの撮像素子を利用し、時分割に交互に露光条件の異なる画像を撮像する。図８の例は、夜間走行中に多重露光カメラ100で自車両前方を撮像したものであり、通常画像110と暗物体用画像120とを時分割に交互に取得している（画像取得部）。通常画像110は、第１の露光条件により撮像されたものであり、画像中央領域に撮像された自車両走行路が見えやすいような露光に設定されている。暗物体用画像120は、第２の露光条件により撮像されたものであり、長時間の露光画像、もしくはゲインを上げた画像であって、通常画像110と比較して、暗い領域を見るための露光に設定されている。多重露光カメラ100は、シャッター時間若しくはゲインの調整により、互いに露光条件の異なる通常画像110（第１画像）と暗物体用画像120（第２画像）を撮像することができる。
　実際には、高フレームレートのカメラであれば、更に多重の露光条件の撮像を時分割に行っても良い。例えば、5重の露光条件を短い瞬間に交互に切り替えて実施し、通常の露光条件を中央により明るいものから暗いものを見るための露光条件を5段階に切り替えて撮像することで、さまざまな明るさの物体領域を視認できる画像を取得する。
　物体候補検知部200と物体認識部300は、互いに協働して画像処理装置を構成する。物体候補検知部200は、多重露光カメラ100で撮像された通常画像から、物体候補検知用の特徴量を抽出して、物体候補を検知する。物体認識部300は、物体候補検知部200にて検知された物体候補に対して、露光条件の異なる暗物体用画像120を確認すべき認識対象であるかどうかを判定する。そして、暗物体用画像120が確認すべき認識対象であった場合には、通常画像110と暗物体用画像120からそれぞれ識別用の特徴量を抽出する。そして、互いの識別用特徴量を統合して物体種別の識別を実施する。
　また、多重露光画像でなくとも、広ダイナミックレンジでかつ16bitなどの高階調で撮像した画像を、処理負荷低減のために8bitなどの通常階調で処理する場合に、通常用の8bit画像と暗物体用の8bit画像などを生成して画像処理するような場合には、これを多重露光の画像と見立てて本実施例を実施しても良い。また、同様にアナログ値の段階で、ゲインなどをかけることにより、通常の明るさに調整した画像と、暗物体用にチューニングした画像を生成するような場合には、これら画像を２重露光の画像として活用することで、本実施例の効果を得ることができる。また、これら同時刻に撮影されたデータから２つの画像を生成して画像認識する場合には、同時刻に撮像された２枚の画像であるため、異なる時間で撮像されたことによる物体の移動の補正を実施する必要はなくなる。
　警報制御部400では、物体認識部300による物体種別の認識結果と、自車挙動に基づいて、警報と制御を実施する。特に、物体種別が歩行者などの移動体であると判定できた場合には、道路標識や電柱などの静止した立体物とは異なる警報、制御を実施する。静止した立体物であれば、その近くを車両で素早く通り抜けることも想定されるため、警報や制御はぎりぎりまで実施しないような設定とする。一方、歩行者などの移動体の場合、静止していてもいきなり動き始める場合や、動いている方向が変化する場合なども想定できるため、車両は低速で通り過ぎる、もしくは避けて通る場合が多い。したがって、比較的早めの警報もしくはスピードを抑制する制御を実施するなど、物体種別に応じた適切な警報、制御を実施する。
　＜図２　物体候補検知部　概要＞
  図２は、物体候補検知部の構成を説明する図である。
  物体候補検知部200では、通常画像から物体候補を検知するための特徴量抽出の前処理を実施する。物体候補検知部200は、エッジ抽出部210と、フロー生成部220と、物体候補抽出部230と、幾何計算部240を有している。エッジ抽出部210においては、画像上の横方向の輝度変化に反応するSobelフィルタを実施し、通常画像から縦エッジとそのエッジ強度を算出する。次に、フロー生成部220においては、通常画像の画面全体からのフローを抽出し、自車挙動に応じて変化する背景の移動分を削除した移動体検出用のフロー画像を生成する。そして、更に移動体を含まないと推測されるフロー画像も生成する。
　物体候補抽出部230は、エッジ抽出部210で生成された縦エッジ画像を利用して、路面に垂直に存在することの多い立体物を物体候補として抽出する。多くの場合、背景と立体物の境界で色合いの変化が生じることから、画像上で横方向に立体物を見た場合、背景との輝度変化が２回生じる。このため横方向にエッジがあるかどうかを探索し、エッジが存在する場合に、その縦エッジと対となる縦エッジのペアを探索する。
　たとえば、人や電柱といった立体物が存在する場合には、縦エッジを横方向にスキャンして見つけたところで、それと対となるペアが存在するかどうか更に探索する。この横方向のスキャンを、縦方向に全て処理することで、立体物であれば、同じような画像上の横位置に、縦エッジのペアが存在していたことが明らかとなるため、これを活用して、立体物を検出し、物体候補として抽出する。
　次に、立体物が移動体であるか否かを判断するために、移動体用に背景の動きを削除した移動体検出用のフロー画像では、フローが集合体として密集しているような領域を探索する。フローが密集している領域でかつフローの方向や速度が同等であれば、その集合体を一つの移動体として抽出する。更に、移動体を含まないように生成されたフロー画像は、自車移動量に応じて変化したとされるフローを含むため、自車移動量とフローの動きから大まかな３次元形状を復元し、その中から立体物としての塊を物体候補として抽出する。
　次に、幾何計算部240では、それぞれの手法で抽出された物体候補に対して、３次元的な位置、姿勢、サイズなどを計算する。すでにフローの物体候補抽出部230において立体物候補の姿勢、サイズなどが求められているかもしれないが、認識対象個々に絞って３次元的な位置、姿勢、サイズなどを計算する。３次元位置の再計算では、抽出した立体物の路面上の下端位置を基準に計算した３次元位置であっても良い。
　＜図３　物体認識部　概要＞
  図３は、物体認識部の構成を説明する図である。
  物体認識部300は、不可視領域判定部310と、特徴量抽出部320と、特徴量統合部330と、パターンマッチング部340を有する。
　不可視領域判定部310は、通常画像110の輝度を分析して、物体候補検知部200にて検知された物体候補が暗物体用画像120を確認する認識対象であるか否かを判定する。不可視領域判定部310は、自車両のヘッドライトの照射範囲に一部跨る物体候補が存在するか否かを判定する。不可視領域判定部310は、通常画像110では暗すぎてある物体の一部が認識できないような状況である場合、すなわち、通常画像110上ではある物体の一部のみが視認可能であり、物体の一部のみが物体候補として抽出されている状況である場合に、物体候補が暗物体用画像120を確認する認識対象であると判定する。
　また、光源環境や認識対象によっては、暗物体用では明るすぎて物体の一部が認識できないような状況である場合、暗物体用の一部のみを物体候補として抽出するような構成であっても良く、このような場合には、暗物体用の画像では白飛びし明るすぎる領域を通常画像で情報を補完する必要のある認識対象であると判断する構成であっても良い。
　特徴量抽出部320では、暗物体用画像120と通常画像110とを組み合わせて利用して、物体候補の全形状、及び、それが人なのか車両なのかを識別するための特徴量を抽出する。
  すなわち、特徴量抽出部320は、不可視領域判定部310により物体候補が暗物体用画像120を確認する認識対象であると判定された場合に、通常画像110及び暗物体用画像120からそれぞれ物体の識別用の特徴量を抽出する。例えば、通常画像110では黒つぶれして視認困難な物体の暗い部分（不可視領域）があると不可視領域判定部310により判定された場合に、暗物体用画像120を用いることで、その暗い部分の特徴量を抽出する。一方、通常画像110で視認可能な物体の部分（可視領域）については、通常画像110を用いることでその部分の特徴量を抽出する。
  同様に、暗物体用画像では白飛びして認識しづらいような状況においては、それよりも明るい物体を対象に撮像した通常画像を活用する構成であっても良い。
　特徴量統合部330は、特徴量抽出部320によって通常画像110と暗物体用画像120のそれぞれから抽出した特徴量を利用して、より視認性高く見えている方の画像の特徴量を選定し、通常画像110と暗物体用画像120の両画像からの特徴量を組み合わせる。これにより、異なる露光条件で撮像された2つの画像を活用して得られた特徴量を組み合わせて、パターンマッチング部340にてパターンマッチングを実施することで、暗くて物体の一部が見えづらいような物体であっても、より信頼度高く、精度よく認識することができる。同様に、白飛びして物体の一部が見えづらい状況においても、逆により暗い画像からの特徴量を取得し、組み合わせることで同様の効果が得られる。
　図１に示す実施例においては、通常画像110と暗物体用画像120の、２つの露光画像を、図８に示すように周期的に交互に撮影した場合の実施例であるが、この周期に通常画像よりも明るい物体を見るための明物体用画像を取得するような構成が追加されていてもよい。例えば、明物体用画像と、通常画像110と、暗物体用画像120とを順番に撮像する構成としてもよい。明物体用画像は、明るいところを暗く、暗いところはもっと暗くした画像である。したがって、通常画像では白飛びして視認困難な物体の明るい部分領域がある場合には、明物体用画像を用いることで、その部分の特徴量を抽出することができる。したがって、物体の部分領域ごとに、適切な露光条件の画像から抽出された特徴量を組み合わせて利用することにより認識精度の向上を図ることができる。
　＜図４　不可視領域判定部　概要＞
  図４は、不可視領域判定部の構成を説明する図である。
  不可視領域判定部310は、物体候補検知部200にて検知された物体候補に対して、物体の一部が明るすぎて白飛びしていないか、暗すぎて黒つぶれしていないかを確認する。つまり、光源環境の影響により物体の一部のみを物体候補としてとらえており、物体の残る一部は画像上では明るすぎて白飛びしていないか、暗すぎて黒つぶれしていないかを確認する。不可視領域判定部310は、輝度上下限判定部311と、認識種別事前判定部312と、領域候補抽出部313を有している。
　輝度上下限判定部311は、物体候補の画像上周囲の輝度情報を解析し、画像上で物体候補の周囲の輝度が上下限付近に達していないかどうかを確認する。物体候補の周囲の輝度が上下限付近に達しているとは、輝度が輝度上下限範囲に入っていること、より詳しくは、所定の輝度下限範囲若しくは所定の輝度上限範囲に入っていることである。例えば、輝度下限範囲は、8bit輝度値における10以下の固定輝度値(0～10)とし、輝度上限範囲は、8bit輝度値における245以上の固定輝度値(245～255)とすることができる。
　図９（ａ）は、夜間歩行者を撮像した状況を説明する図、図９（ｂ）は、図９（ａ）の状況における撮像画像の模式図である。夜間においては、図９（ｂ）の撮像画像900にその一例を示すように、比較的頻繁にヘッドライト照射領域911の外に不可視領域が発生する。
　例えば自車両901の前進によりヘッドライト照射領域911内に歩行者921が差し掛かった場合、ヘッドライトは歩行者921の足元を強く照らし、歩行者921の上半身にはヘッドライトの光があたらない状況が多々発生する。車載フロントカメラの場合には、当然、衝突危険性の高い領域であるヘッドライト照射領域911に合わせた露光を基本とするため、通常画像900では、歩行者921が存在した場合、明るい足元が視認性高く、頭部が暗い図９（ｂ）のような見え方になり、歩行者921の下半身が立体物として検知される。
　夜間自車両のヘッドライト照射時には、更に確認として、ヘッドライト照射範囲と垂直立体物の位置関係に応じた照射範囲内外の境界が適切かどうかを判定する。物体候補の3次元位置と自車両のヘッドライトの照射範囲の関係を解析することで、例えば20ｍ遠方にいる歩行者の場合は、事前情報もしくは学習された自車両の配光パターンでは、路面からの高さが0.8mより上はヘッドライトの照射が弱くなり暗くなるとの推定と画像上の実際の解析結果を比較することで、再確認する。
　ヘッドライトの配光パターンなどは、最近、手動で上下の照射角度を調整できるものも存在する。例えば調整結果の情報がCANなどに流れるような場合には、配光パターンを動的に変更できる。調整結果の情報がCANなどに流れていない場合には、夜間走行時の学習結果から奥行きと物体候補の路面からの高さの傾向を学習から解析しても良い。周囲環境が暗く、他光源環境からの影響を受けない場合に、自車両の奥行き、角度、路面からの高さを学習することで、より精度高い判定が可能となる。
　輝度上下限判定部311は、夜間、自車両のヘッドライト照射時にヘッドライト照射範囲内において、図９（ｂ）に示すように、物体候補（歩行者921の下半身）が存在する場合、この物体候補の上側が輝度の下限付近かどうかを判断する。ここでは、鉛直方向に輝度のヒストグラムを生成し、輝度のヒストグラムにおいて、物体候補の上側の輝度が下限付近であり、物体候補から上側に移行するにしたがって漸次輝度が低下する輝度の分布が認められる場合に、物体候補の上側は通常画像110上では黒つぶれして見えていないが、実際には上側に連続して物体が存在している可能性が高いと判定する。
　このように、例えば夜間のヘッドライト点灯時に、輝度上下限判定部311において、路面に垂直に立つ立体物の下部が物体候補として通常画像において視認可能であり、立体物の上部はヘッドライト照射範囲外のため暗くて視認不可の可能性が高いと判定された場合は、次に認識種別事前判定部312において、立体物の上部に物体が存在すると仮定して、認識種別の絞り込みを行う。パターンマッチング部340で種別を認識する物体の想定幅が存在し、これに対して明らかに小さな物体候補や、明らかに大きな物体候補は対象外とし、種別を認識するためのパターンマッチング候補から除外する。
　ここでは、たとえば、図９（ｂ）に示すように、幅0.7m高さ0.8mほどの立体物が20ｍ遠方に見えた場合の処理を仮定すると、パターンマッチングの種別である車両と比較すると明らかに細いため、車両候補ではないと判断し、他、歩行者、二輪車、動物の可能性を残して、処理を実施する。そして、歩行者921の下半身が見えるのでは、と仮定した場合には、領域候補抽出部３１３によって、歩行者921の標準サイズ170cmを基準に、少し大きい範囲で、歩行者用候補枠931が画像上に設置される。
　この場合、自車両も物体候補も静止状態であれば、物体候補の上部、画像上でも上部に枠を設置するだけで良いが、自車両が動いている場合や物体候補も移動している場合には、図８に示すような異なる時間タイミングで撮影した画像上での位置を推定するために、異なる露光条件で撮像するフレーム間隔の時間と自車両と物体候補の移動予測が必要となる。そのため、今回は1frameあとの処理時間33msecの物体の位置を予想する。
　領域候補抽出部313は、自車両の物体候補への移動速度と、物体候補の移動速度から暗物体用画像撮像時の物体候補の3次元位置の推定、更には、それが画像上でどのような領域となるかを推定する。認識種別事前判定部312にて可能性が残っている対象物に関しては、歩行者の例と同様に領域候補の抽出を領域候補抽出部313にて実施する。
　場合によっては、物体候補の検知を通常画像110に対してだけでなく、暗物体用画像120に対しても実施し、これら抽出された物体候補同士が同一物体である可能性を物体認識部300の不可視領域判定部310にて判断しても良い。
　＜図１０の場合＞
  次に、図１０の場合のように、物体のどの部分が不可視な領域となっているか判断が困難な場合について説明する。図１０は、歩行者の上半身が日向にあり下半身が日陰にある状態の撮像画像である。
　図１０に示す例は、昼間に右側の車線に沿って立つ壁1010によってできた影1011が歩行者1012の足元にのみ影を落としている場合を示す。歩行者1012の上半身は明るく、下半身は影1011の中で暗い状況となる。露光の調整状況にもよるが、このような場合には、歩行者1012の上半身のみが通常画像上で視認性高く見えて、反対に下半身は黒くつぶれて視認困難となる。
　このような場合には、まず、物体候補検知部200において、通常画像110から物体候補が抽出される。したがって、日向の上半身を立体物として検知することができる。次に、物体認識部300の不可視領域判定部310において、物体候補は物体の一部分が視認困難な状況でないかどうかを判定する。不可視領域判定部310の輝度上下限判定部311において、物体候補の周囲の輝度分布を解析し、輝度上下限に近い輝度分布となるかどうかを判定する。
　図１０に示す例でいうと、解析する範囲にもよるが、歩行者1012の左の方向は明るく、画像上で見えやすい状況にあり、歩行者1012の上下、右の３方向は暗く、画像上で見えづらい状況にあると解析できる。
　図１４は、物体候補の周囲における不可視領域の判定方法を説明する図である。輝度上下限判定部311は、通常画像110における物体候補の上下左右の輝度分布を解析し、輝度上下限に近い輝度分布となるかどうかを判定する。図１４の輝度解析（１）案に示すように、上下の輝度解析については、夜間自車両ヘッドライト照射時においても実施することで、物体候補の上下方向に不可視領域が存在することを確認してもよい。また、夜間自車両ヘッドライト照射時においても、車両のライトなどの影響により、物体候補の左右方向に光源環境が変化する場合も十分にありうるので、これを併用することで、物体候補が不可視領域を抱える物体であるか否かの判断精度を向上させてもよい。
　図１４に示すように、物体候補周囲の輝度分布の解析には、物体候補を中心に左右上下の４方向について極端に暗いもしくは明るい輝度分布へ変化していないかどうかを解析する。極端に明るいもしくは暗く、エッジや形状特徴量となる情報がほぼ得られないとされる、例えば、暗い方は8bit輝度値における10以下の固定輝度値、明るい方は8bit輝度値における245以上の固定輝度値を閾値として、これを超える画素数の解析を実施する。図１４に示す例では、暗い側の変化だけ観測をしているが、明物体用画像も撮像するような構成の場合には、ここで解析を実施し、明るい側の変化も観測する。
　図１４（ａ）に示すように、物体候補の領域を上下左右の４方向に拡張し、まず上方向の拡張領域に対して輝度がグラデーションのように変化しているか解析する。図１４（ｂ）に示す輝度解析（１）のように、物体候補の領域とその上側の拡張領域だけに着目し、固定輝度閾値10以下のpixel数を横方向ごとにカウントし、そのカウント値をＹ座標ごとに並べてヒストグラム化する。
　輝度解析（１）の例でいうと、上側の拡張領域において画像の上部に移行するほどに、画像上の輝度値10以下のピクセル数が増加しており、画像の上部が徐々にグラデーションがかかって見えていることが判断できる。このため、物体候補の上方には、黒つぶれによる不可視領域が存在しており、物体の上部は暗くて通常画像では見えていないが、暗物体用画像では物体を認識できるかもしれない可能性があることを判定する。
　図10の例で示すと、視認できた上半身をベースに下側の拡張領域において画像の下部に移行するほどに画像上の輝度値10以下のピクセル数が増加しており、画像の下部が徐々にグラデーションがかかって見えていることが判断できる。斜め方向に暗くなってはいるものの、物体候補の下方には、黒つぶれによる不可視領域が存在しており、物体の下部は暗くて通常画像では見えていないが、暗物体用画像では物体を認識できるかもしれない可能性があることを判定する。
　同様に、物体候補の領域とその右側の拡張領域についても解析する。図１４（ｃ）に示す輝度解析（２）については、今度は縦方向に輝度値10以下となった画素数をカウントする。しかしながら、横方向には光源環境が変化せず、図１４（ｃ）に示すように、固定輝度値以下のピクセル数は、Ｘ方向に応じての変化を確認できない。
　このため、物体候補の横方向には、露光条件によって視認できないような不可視領域が存在しないことを示し、暗物体用画像などで見ても、その物体候補の形状が変化することはないことを示している。同様に、図１４（ａ）に示す物体候補の下側や左側の拡張領域についても同様の処理を施し、輝度解析（３）及び（４）を行う。明物体用の画像があれば、同様にこれを固定輝度245以上の画素数をカウントする別処理を再度実施することとなる。
　不可視領域を抱えた物体がある場合、認識種別事前判定部312において、パターンマッチングの候補を絞ることが困難となるため、全てのケースを想定した処理を実施する必要がある。領域候補抽出部313においては、それぞれの候補を想定した領域の抽出を実施する。例えば、物体が車両と歩行者のいずれの可能性もある場合には、それぞれに応じた領域の抽出を実施する。
　＜図５　特徴量抽出部　概要＞
  図５は、特徴量抽出部の構成を説明する図である。
  特徴量抽出部320では、通常画像110と暗物体用画像120の両画像から物体認識用の特徴量を抽出する。既に、通常画像110では、物体候補の一部が、黒つぶれしており、暗物体用画像120で確認することで、物体候補の一部が見える可能性が高いことがわかっている。
　そこで、不可視領域判定部310の領域候補抽出部313において設定された暗物体用画像120上の領域候補内の特徴量を抽出するための前処理を、特徴量前処理部321にて実施する。
  特徴量前処理部321では、まず、暗物体用画像120の領域候補内に物体候補が存在するかを確認するために、物体候補検知部200のエッジ抽出部210とフロー生成部220と同様に、特徴量抽出を実施する。
　領域候補抽出部313では、図９（ｂ）で示すような夜間ヘッドライト照射時であることを確認した上で、領域候補内に物体候補の位置が設定されて渡された領域候補と、図１０に示すように、どの物体候補のどの部分が視認できずに黒つぶれしているか不明の状況で渡された領域候補とが存在する。このため、特徴量前処理部321では、この領域候補内のどの部分に物体候補の一部が存在するかを確認するための特徴量抽出を実施する。エッジ抽出とフロー生成後、これらの特徴量に基づいて、領域候補の領域の大きさの修正もしくは、領域候補内に特徴量が存在せず、物体が見えないのではなく、物体の一部自体が存在しないことの確認結果を返すことで領域候補の存在を削除する。
　暗物体用画像上の領域候補の中から物体が存在しそうな特徴量が存在する領域が抽出できた。これにより従来から抽出してあった通常画像110の物体候補と、暗物体用画像120の物体候補が、そろったことになる。図１１に示す例では、通常画像110により下半身を立体物として検知し、暗物体用画像120により上半身を立体物として検知する。そして、通常画像110では、下半身の上側を不可視領域として物体候補の領域111を設定し、暗物体用画像120では、上半身の下側を不可視領域として物体候補の領域121を設定する。
　しかしながら、ここで課題となることは、図８の例に示すように、異なる露光条件の画像を時系列に周期的に撮影しているために、二つの通常画像110と暗物体用画像120の撮像タイミングが異なる。このため短い期間とはいえ、撮像物体と自車両が静止状態にない限り、画像上の対象物体は少なからず移動、もしくは変形していることとなる。特に車載カメラの場合には、対象物体の移動よりも自車両の移動が大きい場合も多く、画像上での移りの変化を無視したままでは、認識性能低下につながるおそれがある。
　本実施例では、自車両の挙動をＣＡＮ情報などから常に予測計算しておく。更に物体候補の位置と動きに関しては、物体候補検知部200の幾何計算部240において計算された物体候補の3次元位置と移動速度に基づいた補正を行う。当然、特徴量前処理部321で抽出されたフロー結果から、暗物体用画像120上の物体候補の画像上の横移動量と、3次元位置から、通常画像110上の物体候補と暗物体用画像120上で見つけた候補の移動量、3次元位置を類似していることの確認をとることで、まず同一物体の可能性が高いことを確認する。
　そして、類似していることを確認したうえで、物体候補の横移動量と、スケール方向の大きさの変化を、横移動補正部322とスケール補正部323において揃える。すなわち、横移動補正部322とスケール補正部323は、通常画像110の物体候補と暗物体用画像120の物体候補の、横方向移動量及びスケール方向の大きさの変化を補正して互いに一致させる。画像上で大きく撮像された物体であっても、パターンマッチングのサイズは固定パターンで実施するため、どの領域をどの程度の大きさに成型してパターンマッチングの前準備を実施するかを確定する。
　図１２は、特徴量の統合方法を説明する図であり、夜間における歩行者の見え方の場合を例に示す。ここでは、横移動量とスケール変化を補正しながら特徴量を抽出する。ヒストグラム総量が多く、平均エッジ強度が強い、横エッジ強度、横エッジ総量（ヘッドライトによるグラデーション方向を省く）、エッジ総量、エッジ位置標準偏差が大きい。これらの条件を用いて、局所領域毎に、通常画像110と暗物体用画像120のいずれを使用するか判定する。隣接の局所領域の結果に合わせて、通常画像110と暗物体用画像120のいずれを使用するか判定する。このように特徴量を比較して判定し、局所領域毎に特徴量の多い露光画像を選択し、これらの特徴量を統合する（図１２（ｃ））。
　特徴量計算部324においては、パターンマッチングの識別候補別に定められた決められた成型サイズのブロック数に分割した上で、それぞれ通常画像110と暗物体用画像120のそれぞれからパターンマッチング用の特徴量抽出を実施する。図１１に示すように、通常画像110と暗物体用画像120のそれぞれについて、物体候補の領域111、121を設定する。そして、設定された物体候補の領域111、121を、図１２（ａ）、（ｂ）に示すように、固定サイズの正方領域に分割する。図では歩行者識別用として、4x9のサイズの正方領域に分割されているが、認識対象とする最も遠距離の歩行者のサイズと認識性能を考慮して分割サイズを定義すればよい。
　そして、固定された分割領域の局所領域内に相当するそれぞれの画素のエッジ方向ヒストグラムを作成する。ただし、図１２（ａ）、（ｂ）に示すように、エッジ強度が固定強度以下の場合には、無効なエッジとしてヒストグラムに投票しない。しかしながら、物体の画像上での大きさが異なるだけでなく、通常画像と暗物体用画像でも異なる。そこで、局所領域の画像サイズに応じたヒストグラム正規化を実施したヒストグラムにする。これにより、画像上に映るサイズに関わらず一定の特徴量を抽出することがわかる。
　しかし、図９に示すように夜間ヘッドライト照射時においては、大まかには通常画像110上で視認可能な領域と、暗物体用画像120上で見やすい領域とが既知の状態にある。このため候補物体の奥行きとヘッドライト照射範囲の関係から、異なる露光条件の画像のうちどちらの画像を、物体の認識に活用するかを決めても良い。しかしながら、図９に示すような場合においても詳細な領域や境界上にある場合に、どちらの画像上でより視認性が高いかなど局所領域ごとの判断が困難である。
　また、自車両ヘッドライト以外の光源があるような場合には、基本的には物体上下で明るさが異なるが、例えば、図１０に示すような場合においては、物体右側には別光源からの光が当たるために、若干明るくなる。したがって、上下左右の局所領域別にどの画像を活用することが、安定したパターンマッチングにつながるかを個別に判断した方が、どちらの露光画像からの特徴量を選択すべきかがより適切に判定できる。
　＜図６　特徴量統合部＞
  そこで、特徴量選定部331は、図１２（ａ）、（ｂ）に示すように、対応する局所領域同士のヒストグラムの総和を比較する。エッジ強度閾値がある固定閾値を超えたパーセンテージが高い領域、つまりエッジが良く見える局所領域のほうが、画像上で物体候補の形状特徴量を捉えていると考えて、特徴量選定部331では、局所領域毎に、この判定を実施することで、通常画像110と暗物体用画像120の特徴量から、より物体形状を視認可能な方の特徴量を選定する。
　通常画像110と、暗物体用画像120に映る物体候補のスケールは、自車挙動などの要因から変化している可能性があるため、それぞれ大きさを正規化した局所領域内のエッジ量の割合にて判断する。この局所領域ごとの選定条件を基にして、特徴量統合部332において、特徴量を統合する（図１２（ｃ））。
　＜図７　パターンマッチング部＞
  図７は、パターンマッチング部の構成を説明する図である。
  次に、統合した特徴量を利用してパターンマッチングを実施する。パターンマッチング部340は、通常画像110及び暗物体用画像120からそれぞれ抽出した互いの識別用の特徴量を統合して物体種別の識別を実施する（物体識別部）。パターンマッチング部340では、既に認識種別事前判定部312において絞り込まれた候補に対してパターンマッチングを実施する。物体候補が認識種別事前判定部312において歩行者の可能性があるとされた場合には、歩行者識別部341において、既に学習された歩行者特徴量と比較して、歩行者かどうか識別を実施する。他の種別に関しても同様に、物体候補の種別の可能性が残っている場合には、それぞれ、車両識別を車両識別部342において実施し、二輪車識別を二輪車識別部343において実施し、動物識別を動物識別部344において実施する。このように、パターンマッチング部においては、事前に学習された物体であるか否かを判別する。この他、種別の特定は、標識、電光標識や、信号、路面標示などのパターンが準備されていても良い。
　＜図１３　処理フロー概要＞
  次に、周囲環境認識処理の全体の流れについて説明する。図１３は、処理内容を説明するフローチャートである。まず、カメラで通常露光条件の画像（通常画像）を撮像する(S01)。そして、取得した通常画像から物体候補を検出する(S02)。
　次いで、不可視領域が存在するか否かを判定する(S03)。物体候補の周囲の輝度を解析することで、物体候補の一部の輝度が白飛び、もしくは黒つぶれしていないかチェックを実施する。ここでは、物体候補の周囲の輝度が暗く黒つぶれしていないかどうかを解析する。白飛びしていた場合には、明物体用画像を撮像しているシステムにおいて、暗物体と同じように、明物体用画像から特徴量を抽出するような手法をとることで、物体の識別精度や信頼度を向上させる。
　物体候補の周囲の輝度が暗くない、すなわち、不可視領域が存在しないと判定された場合（S03でNO)には、通常画像上で物体候補が暗すぎて見えづらいことはないと判別されたこととなる。このため、通常画像のみを利用して物体が何であるか種別の特定処理を実施する。このため、通常画像のみを利用してパターンマッチング用の特徴量抽出を実施する(S04)。
　一方、物体候補の周囲の輝度が暗い、すなわち、不可視領域が存在すると判定された場合（S03でYES)には、物体候補は、物体候補の一部が通常画像上では暗すぎて黒つぶれしており、通常画像だけでは物体全体が見えていない可能性があることを示している。
　本実施例では、図８に示すように、通常画像の撮像後に、S01からS04と通常画像のみを利用したS08の物体候補のパターンマッチングまでを実施する。そして、S03において不可視領域が存在すると判定された物体に対しては、図８に示すように、暗物体用画像の撮像後に、S05から以降のS09の処理までを実施する。このように撮像タイミングに合わせて、処理負荷を分散して処理を実施することで効率的に処理負荷を分散して、高精度で信頼度の高い認識を実施する。
　暗物体用画像を撮像し(S05)、この画像を利用した認識の処理を、この後から開始する。物体候補の一部が暗すぎて、通常画像では、見えづらい状況であることが確認できた場合には、通常画像110の撮像結果と暗物体用画像120の撮像結果の両方を利用して、パターンマッチング用の特徴量を抽出する(S06)。
　そして、通常画像110の特徴量と暗物体用画像120の特徴量を統合する(S07)。図１１に示す例で説明すると、通常画像110で視認可能であり、特徴量が多く抽出されていた下半身と、通常画像110では暗くて見えづらかった上半身については、暗物体用画像120に撮像されている上半身を利用して、上半身、下半身がそれぞれ見やすい画像から特徴量を抽出し、統合する。
　図１１に示すような歩行者でない場合にも画像上において良く形状特徴を示すエッジ特徴量が多く存在するかどうかによって、どちらの画像を使うべきかを選択する。本実施例では、暗物体用画像120と通常画像110をメインに述べているが、高輝度物体を対象とするような明物体用画像の撮影を行って、これを含めて最適な画像を選択、特徴量を統合するような方法でも良い。
  そして、特徴量統合(S07)で統合した特徴量を用いてパターンマッチングを実施する(S08)。したがって、特徴量統合によって得られた、1つの露光条件で撮像された画像だけでは得られないような豊富な特徴量を利用することで、信頼性の高い、精度の高いパターンマッチングを実施することができる。
　そして、警報・制御処理が行われる(S09)。ここでは、警報や制御を実施するために、対象物体の位置、速度などを更新する。通常画像など１つの露光条件の画像のみから物体が検出された場合には、その画像の情報を活用して物体の位置、速度などを算出し、警報、制御などを実施する。そして、通常画像110と暗物体用画像120など複数の露光条件の画像から特徴量を取得してパターンマッチングを実施した場合には、これら特徴量を活用して、位置、速度計算も実施し、より精度の高い位置、速度の算出結果を基に、警報や制御を実施する。
　このように、夜間ヘッドライト照射環境や、日中の明るい領域と影領域などダイナミックレンジの広さが要求されるような撮像環境において、ダイナミックレンジに限界のある廉価なカメラで撮像された露光条件の異なる複数の画像を組み合わせて認識を行うことで、物体形状全体を見ながらより信頼性の高い認識を実施する。したがって、１つの物体の一部が暗く、残りの部分が明るく撮像された場合でも、一つの物体として正確に認識することができ、従来の例えば、上半身が見えない場合においては、足元のみで歩行者を認識することと比較すると、より精度が高く信頼度の高い識別を実現できる。
　［実施例２］
  ＜ステレオカメラの場合＞
  基本は単眼処理であってもステレオ処理であっても同様に、効果のある実施例を記載したが、一部ステレオカメラならではの活用方法などもあるため、実施例２として記載する。
　＜図１５　車載ステレオカメラ環境認識装置概要＞
  図１５にステレオカメラの場合の実施例を記載する。図１５は、実施例２における車載ステレオカメラ環境認識装置の構成を説明する図である。また、今回の処理方法においては、通常画像のみステレオ視の左右画像を撮像し、右画像のみ暗物体用右画像を撮像するようなカメラ構成でも良いが、この構成は基本的には、視差画像から物体候補を検知する仕組みが変化するだけであり、後段の活用方法が類似している。今回は、ステレオならではの処理を記載するために、より異なるシステム構成として、ステレオカメラの左右カメラにて、それぞれ通常画像、及び暗物体用画像を撮像する例を記載する。
　図１５に示すように、左カメラ1101で、通常左画像1111と暗物体用左画像1121を時系列に交互に撮像する。同様に、右カメラ1100でも通常右画像1110と暗物体用右画像1120を時系列に交互に撮像する。それぞれの左右の通常画像同士、及び左右の暗物体用画像同士にてステレオマッチングを実施するため、左右カメラの撮像は同期され通常画像1111、1110同士は同タイミングにて撮像され、同様に暗物体用画像1121、1120も左右同期して撮像される。これら画像を利用して、ステレオマッチングを実施し、視差画像を生成する。
  通常左画像1111と通常右画像1110は同タイミングで撮像され、この画像からステレオマッチングを実施し通常視差画像1150を生成する。同様に、暗物体用左画像1121と暗物体用右画像1120は同タイミングで撮像され、この画像からステレオマッチングを実施し暗物体用視差画像1151を生成する。
　通常視差画像1150を活用した通常物体候補検知を通常物体候補検知部1200で実施し、同様に暗物体用視差画像1151を活用した暗物体用物体候補検知を暗物体用物体候補検知部1201で実施する。ステレオ物体認識部1300において、異なる露光条件にて抽出されたそれぞれ物体候補同士から、本来は同一物体である可能性がある物体同士を判定する。詳細は、図１６から図１８を使って説明する。
　これによって例えば歩行者を例として考えると、通常視差画像では下半身だけが立体物として抽出され、反対に上半身だけが暗物体用視差画像から立体物として抽出されるような場合において、このままであれば、それぞれが別物体の立体物であり、かつ半身のみであるために、歩行者としての識別がうまくいかない。それをステレオ物体認識部1300において、それぞれが同一物体の可能性があると判断した上に、更に統合した特徴量を基に識別を実施することで、初めて、２つの候補物体が、歩行者でありかつ１つの物体であることが特定できる。
　この結果を基にして、ステレオ警報制御1400では、候補物体の種別及び、３次元的な位置、姿勢、速度から、自車挙動を考慮した警報制御を実施する。
　図１６に、通常物体候補検知部1200を示す。通常視差画像1150から、物体候補を通常物体候補検知部1200にて検知する。図９（ａ）に示すような状況において、ステレオカメラの場合には、左右通常画像から通常視差画像を生成し、この通常視差画像から下半身のみを通常物体候補抽出部1210にて物体候補として抽出する。次に、通常物体幾何計算部1240において、視差画像から計算された奥行きと、横位置を利用して正確な3次元位置を推定し、時系列の情報から移動速度も推定する。物体候補の路面から見える高さが、図９（ａ）に示すように物体奥行きに対するヘッドライト照射範囲の境界付近かどうかを判定することで、物体候補の上側が暗すぎて見えていない可能性をライト照射範囲判定部1220にて確かめる。
　図１７に、暗物体候補検知部1201を示す。暗物体用視差画像1151から、物体候補を暗物体候補検知部1201にて検知する。図９に示すような状況において暗物体用画像は、図８右に示すような、ヘッドライト照射領域が白飛びし、反対にヘッドライト照射範囲外は比較的明るく物体形状が確認しやすい画像となる。これら左右暗物体用画像から生成された暗物体用視差画像を生成し、この暗物体用視差画像から上半身のみを物体候補として、暗物体候補抽出部1211にて抽出する。抽出した立体物の暗物体幾何計算部1241では、同様に、3次元奥行きと横位置、移動速度を暗物体用視差画像から推定する。
　図１８に示すステレオ物体認識部1300では、それぞれの視差画像から抽出された物体候補の周囲を輝度解析することで、物体候補周辺の不可視領域を確認する。図１１に示すようなシーンで説明するとステレオカメラの場合にも同様な見え方となる。
　通常露光の通常画像ではステレオ視から、足を立体物として検知して、不可視領域が物体候補上側となる。反対に、暗物体用露光の暗物体用画像ではステレオ視から、上半身を立体物として検知し、物体候補下側が不可視領域と判定される。左右通常画像から抽出された通常物体候補の不可視領域には、左右暗物体用画像から抽出された暗物体候補が存在し、暗物体候補の不可視領域には、逆に左右通常画像から抽出された通常物体候補が存在する。これにより、2つの候補が1つの立体物である可能性が高くなる。
　しかしながら、たまたま画像上の近くに2つの物体が存在するだけの可能性もある。そこで、奥行き、横位置だけでなく、物体の移動速度も同程度であるかをチェックすることで、これらが同一物体であるかどうかを判定する。自車両も対象物体も静止状態でない場合には、異なる撮像タイミングの画像から物体候補を抽出しているために、撮像タイミングの時間差と、物体の移動速度と自車挙動を考慮したうえで、同一物体かどうかを確認する。これによって不可視領域判定部1310において、暗物体候補と通常物体候補の両物体候補が1つの立体物であると判定されたあとには、特徴量抽出部1320において単眼と同様に、通常画像と暗物体用画像の右画像から特徴量を抽出し、これを特徴量統合部1330にて統合し、パターンマッチング部1340にてパターンマッチングを実施することで、種別を特定することで、種別に合わせた警報や車両制御の判断基準に活用する。
　上記のように、候補物体ごとに別々の処理を実施しても良いが、例えば通常物体画像をベースとして、暗物体用画像から通常物体画像のフレームにおける物体の映り方を想定して合成しても良い。たとえば、標識検知のように基本的に自車両に正面を向いているような物体で、なおかつ自車両が直進であることに限定すると、消失点を中心としながら標識が大きくなっていく予想が可能である。
　単一露光条件だけは１つの物体全体の形状を捉えることのできないような光源環境下において、ダイナミックレンジに限界のあるカメラであっても、時系列に異なる露光条件にて撮影した画像を合わせて利用することで、物体形状を補い合うことで全体の形状を抽出し、物体種別の識別性能を高める。これにより、物体の種別に応じて調整されている予防安全や自動運転へ向けた警報や車両制御を、より適切に動作させることを可能とする。
　上述の実施例では、左右のカメラを有するステレオカメラの場合について説明したが、上下に一対のカメラを有するステレオカメラに適用することもできる。
　以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
100　多重露光カメラ、110　通常画像（第１画像）、120　暗物体用画像（第２画像）、200　物体候補検知部、210　エッジ抽出部、220　フロー生成部、230　物体候補抽出部、240　幾何計算部、300　物体認識部、310　不可視領域判定部、311　輝度上下限判定部、312　認識種別事前判定部、313　領域候補抽出部、320　特徴量抽出部、321　特徴量前処理部、322　横移動補正部（横移動量補正手段）、323　スケール補正部（スケール補正手段）、324　特徴量計算部、330　特徴量統合部、331　特徴量選定部、332　特徴量統合部、340　パターンマッチング部、341　歩行者識別、342　車両識別、343　二輪車識別、344　動物識別、400　警報制御、1101　左カメラ、1100　右カメラ、1111　通常左画像、1110　通常右画像、1121　暗物体用左画像、1120　暗物体用右画像、1150　通常視差画像、1151　暗物体用視差画像、1200　通常物体候補検知部、1201　暗物体候補検知部、1300　テレオ物体認識部、1400　ステレオ警報制御部

Claims (13)

  1. 　露光条件の異なる複数の画像を取得する画像取得部と、
    　前記画像から物体候補を検知する物体候補検知部と、
    　前記物体候補に対応する画像領域内の複数の部分領域に応じて前記露光条件の異なる複数の画像を用いて物体を認識する物体認識部と、
    　を備えることを特徴とする画像処理装置。
  2. 　自車のヘッドライトの照射範囲に基づいて、前記各部分領域に対して用いる画像を決定することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記自車のヘッドライトの照射範囲に一部跨って存在する物体候補が存在するか否かを判定する判定部を備え、
    　前記物体候補検知部は、前記物体候補が自車のヘッドライトの照射範囲に一部跨って存在する場合に、前記露光条件の異なる複数の画像を用いて前記物体候補を認識することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記判定部は、画像ヒストグラムにより輝度のグラデーションを検知した場合に、前記物体候補が自車のヘッドライトの照射範囲に一部跨って存在すると判定することを特徴とする請求項３に記載の画像処理装置。
  5. 　異なる複数の画像から特徴量をそれぞれ抽出し、
    　局所領域ごとに、抽出した特徴量を統合し、
    　該統合した特徴量の数の多さで、どちらの画像の方が、物体候補の視認性が良いかどうかを判定し、
    　視認性が良いと判定された画像の特徴量を組み合わせて利用し、
    　パターンマッチングにより物体の種別を識別することを特徴とする画像処理装置。
  6. 　露光条件の異なる画像を時系列に撮像するステレオカメラにおいて、
    　左右カメラにより第１の露光条件で同時に撮像された左右画像から物体候補を抽出し、
    　前記左右カメラにより第２の露光条件で同時に撮像された左右画像から物体候補を抽出し、
    　これら異なる露光条件を基に抽出された物体候補が同一の物体であるか否かを判定し、
    　同一の物体であると判定された場合に、該物体の種別を特定することを特徴とする画像処理装置。
  7. 　前記物体候補の輝度情報及び、前記物体候補の奥行き、移動速度、物体サイズのいずれか１つ以上が類似していることを基に、前記同一の物体であるかどうかを判定することを特徴とする請求項６に記載の画像処理装置。
  8. 　互いに露光条件の異なる第１画像と第２画像を取得する画像取得部と、
    　前記第１画像から物体候補を検知する物体候補検知部と、
    　該物体候補が前記第２画像を確認する認識対象であるか否かを判定する判定部と、
    　前記物体候補が前記第２画像を確認すべき認識対象であると判定された場合に、前記第１画像及び前記第２画像からそれぞれ識別用の特徴量を抽出する特徴量抽出部と、
    　前記第１画像及び前記第２画像からそれぞれ抽出した互いの識別用の特徴量を統合して前記物体候補の物体種別の識別を実施する物体識別部と、
    　を有することを特徴とする画像処理装置。
  9. 　前記判定部は、
    　前記第１画像における前記物体候補の周囲の輝度分布を解析して予め設定された輝度分布となっている場合に、前記物体候補が前記第２画像を確認する認識対象であると判定することを特徴とする請求項８に記載の画像処理装置。
  10. 　前記判定部は、
    　前記第１画像において前記物体候補の周囲の輝度が予め設定された上下限範囲に入っているか否かを判定する輝度上下限判定部と、
    　前記物体候補の周囲の輝度が予め設定された上下限範囲に入っていると判定された場合に、前記物体候補の物体種別の絞り込みを行う認識種別事前判定部と、
    　前記物体候補の物体種別の絞り込みの結果に基づいて領域候補の抽出を実施する領域候補抽出部と、
    　を有することを特徴とする請求項９に記載の画像処理装置。
  11. 　前記特徴量抽出部は、
    　前記第１画像と前記第２画像における前記物体候補の横移動量を補正する横移動量補正手段と、
    　前記第１画像と前記第２画像における前記物体候補のスケール方向の大きさを補正するスケール補正手段と、
    　を有することを特徴とする請求項１０に記載の画像処理装置。
  12. 　前記画像取得部は、前記第１画像と前記第２画像として夜間ヘッドライト照射時における通常画像と暗物体用画像を取得し、
    　前記輝度上下限判定部は、前記通常画像において前記物体候補の上側が予め設定された輝度下限範囲に入っており、かつ、前記物体候補から上側に移行するにしたがって輝度が漸次低下する場合に、前記物体候補の上側に連続して物体が存在していると判定することを特徴とする請求項１０に記載の画像処理装置。
  13. 　前記輝度上下限判定部は、前記第１画像において前記物体候補の領域を上下左右の４方向に拡張し、該４方向の拡張領域のうち輝度が予め設定された輝度下限範囲に入っており、かつ、前記物体候補から離れるにしたがって輝度が漸次低下する拡張領域がある場合に、該拡張領域に連続して物体が存在していると判定することを特徴とする請求項１０に記載の画像処理装置。
PCT/JP2017/023504 2016-07-05 2017-06-27 画像処理装置 WO2018008461A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP17824067.7A EP3483832B1 (en) 2016-07-05 2017-06-27 Image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-133584 2016-07-05
JP2016133584A JP6786279B2 (ja) 2016-07-05 2016-07-05 画像処理装置

Publications (1)

Publication Number Publication Date
WO2018008461A1 true WO2018008461A1 (ja) 2018-01-11

Family

ID=60912628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023504 WO2018008461A1 (ja) 2016-07-05 2017-06-27 画像処理装置

Country Status (3)

Country Link
EP (1) EP3483832B1 (ja)
JP (1) JP6786279B2 (ja)
WO (1) WO2018008461A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020004074A1 (ja) * 2018-06-29 2020-01-02 ソニー株式会社 画像処理装置、画像処理方法、移動機器、並びにプログラム
CN111738106A (zh) * 2020-06-04 2020-10-02 东莞市度润光电科技有限公司 一种红外灯罩的检测方法、检测装置及存储介质
CN113228130A (zh) * 2018-12-18 2021-08-06 日立安斯泰莫株式会社 图像处理装置
CN113826107A (zh) * 2019-05-23 2021-12-21 日立安斯泰莫株式会社 物体识别装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020085028A1 (ja) * 2018-10-26 2020-04-30 パナソニックＩｐマネジメント株式会社 画像認識装置および画像認識方法
CN113615152B (zh) 2019-03-27 2024-05-28 索尼集团公司 成像设备和成像系统
JP7230896B2 (ja) * 2020-03-12 2023-03-01 株式会社豊田中央研究所 車載センシング装置及びセンサパラメータ最適化装置。
WO2021229754A1 (ja) * 2020-05-14 2021-11-18 日本電気株式会社 商品特定装置、商品特定方法、及びプログラム
JP2021182298A (ja) * 2020-05-20 2021-11-25 株式会社デンソー パターン学習装置、物体認識装置、及び車両用運転支援装置
CN113313071A (zh) * 2021-06-28 2021-08-27 浙江同善人工智能技术有限公司 一种道路区域识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096684A (ja) * 2005-09-28 2007-04-12 Fuji Heavy Ind Ltd 車外環境認識装置
JP2012088785A (ja) * 2010-10-15 2012-05-10 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
JP2012240530A (ja) * 2011-05-18 2012-12-10 Koito Mfg Co Ltd 画像処理装置
JP2014146164A (ja) * 2013-01-29 2014-08-14 Toyota Motor Corp 物体検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5680573B2 (ja) * 2012-01-18 2015-03-04 富士重工業株式会社 車両の走行環境認識装置
JP6013884B2 (ja) * 2012-11-08 2016-10-25 日立オートモティブシステムズ株式会社 物体検出装置及び物体検出方法
JP6401922B2 (ja) * 2014-03-13 2018-10-10 株式会社メガチップス 物体検出装置
JP6313646B2 (ja) * 2014-04-24 2018-04-18 日立オートモティブシステムズ株式会社 外界認識装置
KR101631439B1 (ko) * 2014-05-29 2016-06-17 엘지전자 주식회사 카메라, 및 이를 구비한 차량

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096684A (ja) * 2005-09-28 2007-04-12 Fuji Heavy Ind Ltd 車外環境認識装置
JP2012088785A (ja) * 2010-10-15 2012-05-10 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
JP2012240530A (ja) * 2011-05-18 2012-12-10 Koito Mfg Co Ltd 画像処理装置
JP2014146164A (ja) * 2013-01-29 2014-08-14 Toyota Motor Corp 物体検出装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020004074A1 (ja) * 2018-06-29 2020-01-02 ソニー株式会社 画像処理装置、画像処理方法、移動機器、並びにプログラム
US11514598B2 (en) 2018-06-29 2022-11-29 Sony Corporation Image processing apparatus, image processing method, and mobile device
CN113228130A (zh) * 2018-12-18 2021-08-06 日立安斯泰莫株式会社 图像处理装置
CN113228130B (zh) * 2018-12-18 2023-01-17 日立安斯泰莫株式会社 图像处理装置
CN113826107A (zh) * 2019-05-23 2021-12-21 日立安斯泰莫株式会社 物体识别装置
CN111738106A (zh) * 2020-06-04 2020-10-02 东莞市度润光电科技有限公司 一种红外灯罩的检测方法、检测装置及存储介质
CN111738106B (zh) * 2020-06-04 2023-09-19 东莞市度润光电科技有限公司 一种红外灯罩的检测方法、检测装置及存储介质

Also Published As

Publication number Publication date
EP3483832A4 (en) 2020-07-22
EP3483832B1 (en) 2023-08-23
JP2018005682A (ja) 2018-01-11
JP6786279B2 (ja) 2020-11-18
EP3483832A1 (en) 2019-05-15

Similar Documents

Publication Publication Date Title
WO2018008461A1 (ja) 画像処理装置
US10509973B2 (en) Onboard environment recognition device
EP2919197B1 (en) Object detection device and object detection method
US9536155B2 (en) Marking line detection system and marking line detection method of a distant road surface area
US7566851B2 (en) Headlight, taillight and streetlight detection
US10127448B2 (en) Method and system for dismount detection in low-resolution UAV imagery
CN105005758B (zh) 图像处理装置
US8903603B2 (en) Environment recognizing device for a vehicle and vehicle control system using the same
JP6054777B2 (ja) ステレオカメラ装置
CN106096512B (zh) 利用深度摄像头对车辆或行人进行识别的检测装置及方法
JP2018516799A (ja) 路面反射を認識し評価するための方法及び装置
KR101026778B1 (ko) 차량 영상 검지 장치
CN104156727A (zh) 一种基于单目视觉的灯光倒影检测的方法
JP2019020956A (ja) 車両周囲認識装置
US9727780B2 (en) Pedestrian detecting system
WO2020054260A1 (ja) 画像認識装置
JP4969359B2 (ja) 移動物認識装置
TWI589468B (zh) 行人偵測系統
Gumpp et al. Recognition and tracking of temporary lanes in motorway construction sites
KR101765568B1 (ko) 보행자 인식 시스템 및 그 제어 방법
KR102646288B1 (ko) 관제용 카메라를 활용한 주야간 주행 검지시스템
JP2006012013A (ja) 移動物体追跡装置
JP3931885B2 (ja) 障害物検知装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17824067

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017824067

Country of ref document: EP

Effective date: 20190205