WO2015146728A1 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
WO2015146728A1
WO2015146728A1 PCT/JP2015/057957 JP2015057957W WO2015146728A1 WO 2015146728 A1 WO2015146728 A1 WO 2015146728A1 JP 2015057957 W JP2015057957 W JP 2015057957W WO 2015146728 A1 WO2015146728 A1 WO 2015146728A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
learning
window
color
data
Prior art date
Application number
PCT/JP2015/057957
Other languages
English (en)
French (fr)
Inventor
雄基 原口
長谷川　弘
Original Assignee
株式会社メガチップス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メガチップス filed Critical 株式会社メガチップス
Publication of WO2015146728A1 publication Critical patent/WO2015146728A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an object detection device, and more particularly to an object detection device that detects an object from a captured image captured by a camera.
  • the object detection device determines whether or not a detection target exists in an image taken by a camera.
  • the object detection device is mounted on a vehicle together with a camera.
  • the camera captures the traveling direction of the host vehicle and generates a captured image.
  • the object detection device detects another vehicle traveling in front of the host vehicle from a photographed image photographed by the camera.
  • Patent Document 1 discloses a vehicle detection device that detects a vehicle from a captured image captured by a camera.
  • the vehicle detection device disclosed in Patent Literature 1 detects an edge (vertical edge) extending in the vertical direction from an image captured by a monocular camera that captures a scene in front of the vehicle. Whether or not a vehicle is present in the photographed image is determined based on the center position and width of the detected pair of vertical edges.
  • Patent Document 2 discloses a vehicle external environment recognition device (recognition device) that monitors the front of a vehicle using an image photographed by a camera.
  • This recognition device detects a plurality of vertical edges from an image photographed by a camera, and identifies a vehicle candidate region based on the center position and width of two pairs of vertical edges arranged in the horizontal direction.
  • the recognizing device calculates an HOG (Histograms of Oriented Gradients) feature value and HOF (Histograms of Flow) indicating the likelihood of a vehicle for each identified vehicle candidate area. Based on these feature amounts, it is determined whether or not a vehicle exists in the vehicle candidate area.
  • HOG Histograms of Oriented Gradients
  • HOF Heistograms of Flow
  • the conventional object detection device uses the edge feature amount extracted from the image (captured image) captured by the camera, and the vehicle exists in the captured image. Judgment.
  • the captured image includes other objects such as a telephone pole and a road sign in addition to the vehicle.
  • Other objects may be composed of edges that extend in the vertical direction in the same manner as a vehicle.
  • the conventional vehicle detection device erroneously determines that a vehicle is present in the photographed image based on the pair of edges, even though the pair of two edges extending in the vertical direction indicates the shape of another object. There is a case.
  • the present invention is an object detection device that detects an object from a frame image.
  • An object detection device generates a shape feature data by extracting a detection window setting unit that sets a detection window for a color frame image and a feature amount indicating a shape of an object included in the detection window from the frame image.
  • the detection window includes an object from a shape extraction unit, a color extraction unit that extracts predetermined color components from the detection window to generate color feature data, and the shape feature data and the color feature data.
  • a likelihood calculating unit that calculates a waxy likelihood.
  • This object detection device generates feature data by extracting a feature quantity indicating the shape of an object included in the detection window, and generates color feature data by extracting a predetermined color component included in the detection window.
  • the object detection device calculates the likelihood indicating the degree to which the object is present in the detection window using the shape feature data and the color feature data.
  • the occurrence of false detection can be suppressed by using not only the shape feature data but also the color feature data for calculating the likelihood.
  • an object of the present invention is to provide an object detection apparatus that can suppress erroneous detection.
  • FIG. 1 It is a functional block diagram which shows the structure of the object detection apparatus which concerns on the 1st Embodiment of this invention. It is a flowchart of the learning process performed by the object detection apparatus shown in FIG. It is a figure which shows the change of the image in the learning process shown in FIG. It is a flowchart of the vehicle detection process performed by the object detection apparatus shown in FIG. It is a figure which shows an example of the picked-up image input into the object detection apparatus shown in FIG. It is a figure which shows an example of the transition of the image in the vehicle detection process shown in FIG. It is a figure which shows the other example of the transition of the image in the vehicle detection process shown in FIG.
  • FIG. 1 It is a functional block diagram which shows the structure of the object detection apparatus which concerns on the 2nd Embodiment of this invention. It is a flowchart of the learning process performed by the object detection apparatus shown in FIG. It is a figure which shows the transition of the image in the learning process shown in FIG. It is a figure which shows the structure of the connection learning data produced
  • FIG. 1 is a functional block diagram showing the configuration of the object detection apparatus 1 according to the first embodiment of the present invention.
  • the object detection device 1 detects an image of a car viewed from the rear from an image captured by the camera 100.
  • the object detection device 1 is mounted on a vehicle such as an automobile together with the camera 100.
  • the camera 100 is installed on the dashboard of the car and shoots the scenery in front to generate the image data 20.
  • the image data 20 is a moving image composed of a plurality of frames, and is input to the object detection apparatus 1 in units of frames.
  • Each frame is a color image having an RGB color space.
  • the object detection device 1 is an image (rear surface) of a vehicle traveling in front of a vehicle (own vehicle) on which the object detection device 1 is mounted from one frame (hereinafter referred to as “captured image 21”). Image).
  • the object detection device 1 includes a detection window setting unit 11, an image conversion unit 12, a shape extraction unit 13, a color extraction unit 14, an image synthesis unit 15, and a likelihood calculation unit 16.
  • the determination unit 17, the learning unit 18, and the storage unit 19 are provided.
  • the detection window setting unit 11 sets a detection window for the captured image 21.
  • the detection window is a unit area for detecting a rear image from the captured image 21.
  • the detection window setting unit 11 cuts out a detection window from the captured image 21 and generates a window image 22. Since the captured image 21 has an RGB color space, the window image 22 also has an RGB color space.
  • the image conversion unit 12 generates a grayscale window image 23 by converting the window image 22 to grayscale.
  • the shape extraction unit 13 generates an edge window image 24 by executing processing for emphasizing edges on the grayscale window image 23.
  • the edge window image 24 is data obtained by extracting a feature amount indicating the shape of an object included in the detection window from the window image 22.
  • the color extraction unit 14 generates an R component window image 25 by extracting an R (red) component from the window image 22 having an RGB color space.
  • the R component window image 25 is data obtained by extracting the R component of each pixel included in the detection window.
  • the image composition unit 15 synthesizes the edge window image 24 generated by the shape extraction unit 13 and the R component window image 25 generated by the color extraction unit 14 to generate a composite window image 26.
  • the combined window image 26 is data used for calculating the vehicle likelihood 27 in the likelihood calculating unit 16.
  • the likelihood calculating unit 16 calculates a likelihood (vehicle likelihood 27) from which the rear surface of the automobile is present in the detection window from the synthesized window image 26 using a neural network.
  • a likelihood vehicle likelihood 27
  • One vehicle likelihood 27 is calculated for one detection window.
  • the likelihood calculating unit 16 refers to the pattern data 50A in which the pattern on the rear surface of the automobile is recorded.
  • the determination unit 17 determines whether or not a rear image exists in the captured image 21 based on the vehicle likelihood 27 for each detection window calculated by the likelihood calculation unit 16.
  • the learning unit 18 learns the pattern of the rear surface of the automobile using the composite learning image 36 generated from the learning image input to the object detection device 1.
  • the learning unit 18 is implemented with a neural network algorithm for learning.
  • the learning unit 18 generates pattern data 50A as a learning result. Details of the composite learning image 36 will be described later.
  • the storage unit 19 is a flash memory or a hard disk device, and stores the pattern data 50A.
  • the object detection device 1 executes a process (learning process) for generating the pattern data 50A before starting a process (vehicle detection process) for detecting a rear image from the captured image 21.
  • learning process for generating the pattern data 50A before starting a process (vehicle detection process) for detecting a rear image from the captured image 21.
  • vehicle detection process for detecting a rear image from the captured image 21.
  • FIG. 2 is a flowchart of the learning process executed by the object detection device 1.
  • FIG. 3 is a diagram illustrating image transition used in the learning process. The operation of the object detection apparatus 1 that executes the learning process will be described with reference to FIGS. 2 and 3.
  • the object detection apparatus 1 uses a plurality of learning images 32 to generate the pattern data 50A.
  • FIG. 2 shows processing executed for one learning image 32.
  • the object detection device 1 starts the process illustrated in FIG.
  • the learning image 32 is a color image including a rear image of the automobile that is a detection target, and has an RGB color space.
  • the size (height and width) of the learning image 32 is the same as the size of the window image 22. For this reason, the detection window setting unit 11 does not participate in the learning process and does not set a detection window for the learning image 32.
  • the object detection apparatus 1 extracts the feature amount indicating the shape of the rear surface of the automobile included in the learning image 32 from the learning image 32 by executing steps S11 and S12. Specifically, the image conversion unit 12 converts the learning image 32 into a gray scale, and generates a gray scale learning image 33 (step S11).
  • the shape extraction unit 13 executes an edge enhancement process on the grayscale learning image 33 to generate an edge learning image 34 (step S12).
  • Step S ⁇ b> 12 is executed to extract a feature amount indicating the shape of the rear surface of the automobile from the grayscale learning image 33.
  • the shape extraction unit 13 performs a process of enhancing the edge extending in the horizontal direction on the grayscale learning image 33, and the grayscale learning image in which the edge extending in the horizontal direction is emphasized.
  • processing for emphasizing edges extending in the vertical direction is executed. For example, a Sobel filter is used for emphasizing an edge extending in each direction.
  • the shape extraction unit 13 weights the edge learning image 34 (step S13). Specifically, the shape extraction unit 13 multiplies the pixel value of each pixel included in the edge learning image 34 by a coefficient smaller than 1.
  • the pixel value of the weighted edge learning image 34 is described as Ew (x, y). In FIG. 3, the display of the weighted edge learning image 34 is omitted. The reason for executing step S13 will be described later.
  • the maximum value of the pixel value of the edge learning image 34 is 255, and the minimum value is 0.
  • a pixel having a pixel value close to 255 is displayed in black, and a pixel having a pixel value close to 0 is displayed in white.
  • Each pixel of the R component learning image 35 and the composite learning image 36 described later is also displayed in the same manner in FIG.
  • the color extraction unit 14 extracts an R component from each pixel included in the learning image 32 (step S14), and generates an R component learning image 35. Specifically, the color extraction unit 14 determines the pixel value of each pixel included in the R component learning image 35 by executing the following equation (1).
  • R (x, y) is an R component value that the pixel of the learning image 32 located at the coordinates (x, y) has.
  • RED (x, y) is a pixel value of a pixel of the R component learning image 35 located at the coordinates (x, y).
  • the color extraction unit 14 sets RED (x, y) to R (x, y).
  • the color extraction unit 14 sets RED (x, y) to 0. That is, the color extracting unit 14 generates the R component learning image 35 by extracting the pixels having the R component value larger than the threshold value Th RED from the learning image 32.
  • the size of the R component learning image 35 is the same as the size of the learning image 32.
  • the areas 351 and 352 are displayed in black.
  • the two areas 351 correspond to the tail lamps of the automobile included in the learning image 32.
  • the two areas 352 correspond to direction indicators. Since the color of the direction indicator is yellow, the pixels in the area 352 have an R component value larger than the threshold value Th RED, and thus are displayed in black as in the area 351.
  • the color extraction unit 14 may determine whether or not other conditions are satisfied in addition to determining whether RED (x, y) is greater than the threshold value Th RED . For example, the color extraction unit 14 determines whether or not both of the following two conditions are satisfied.
  • the first condition is that the absolute difference value between the R component value and the G component value of the pixels of the learning image 32 is larger than a predetermined threshold value (different from Th RED ).
  • the second condition is that the difference absolute value between the R component value and the B component value of the pixels included in the learning image 32 is larger than the predetermined threshold value different from Th RED .
  • the color extraction unit 14 determines that the display color of the pixel of the learning image 32 at the coordinates (x, y) is red, and uses the R component value of this pixel as the R component learning image 35. Is set to the pixel value of the pixel included in. As a result, display colors other than red can be prevented from being reflected in the R component learning image 35.
  • the color extraction unit 14 may use one of the first condition and the second condition when setting RED (x, y). The threshold value used in the second condition may be different from the threshold value used in the first condition.
  • the color extraction unit 14 determines whether the following expressions (2) and (3) are satisfied. You may judge.
  • G (x, y) is the coordinates (x, y) is a G component value pixel has learning images 32 positioned, C G is a predetermined coefficient.
  • B (x, y) are the coordinates (x, y) B component value pixel has learning images 32 positioned, C B is a predetermined coefficient.
  • the coefficients C G and C B are set to 2, for example.
  • the coefficients C G and C B may be different values.
  • the color extraction unit 14 determines that the display color of the pixel of the learning image 32 at the coordinates (x, y) is red, and determines the R component value of this pixel.
  • the pixel value of the pixel included in the R component learning image 35 is set.
  • the color extraction unit 14 may use only one of Expression (2) and Expression (3) when setting RED (x, y).
  • the image synthesis unit 15 synthesizes the edge learning image 34 weighted by the shape extraction unit 13 and the R component learning image 35 generated by the color extraction unit 14 to generate a synthesis learning image 36 (step S15). .
  • the image composition unit 15 adds Ew (x, y) to RED (x, y).
  • the image synthesizing unit 15 generates the synthesized learning image 36 by normalizing the added value so that the maximum value becomes 255.
  • the composite learning image 36 is data reflecting both the feature indicating the shape of the vehicle extracted from the learning image 32 and the feature of the distribution of the R component in the learning image 32.
  • the image composition unit 15 outputs the generated composite learning image 36 to the learning unit 18.
  • the learning unit 18 learns the pattern on the rear surface of the car included in the composite learning image 36 using a neural network (step S16).
  • the learning unit 18 reflects the learning result in the pattern data 50A.
  • the pattern data 50A reflects not only the shape of the rear surface of the automobile to be detected but also the arrangement pattern of the red portions (tail lamps and direction indicators) on the rear face of the automobile.
  • the object detection apparatus 1 executes the process shown in FIG. 2 for one learning image 32.
  • Various learning images 32 having different patterns on the rear surface of the automobile are input to the object detection apparatus 1.
  • the learning process is repeated according to the number of learning images 32 input to the object detection device 1.
  • the pattern of the rear surface of the automobile included in each learning image 32 is reflected in the pattern data 50A.
  • FIG. 4 is a flowchart of the vehicle detection process executed by the object detection device 1. Each time the captured image 21 is input from the camera 100, the object detection device 1 executes the process illustrated in FIG. 4 and determines whether or not a rear image exists in the captured image 21.
  • FIG. 5 is a diagram illustrating an example of the captured image 21 input to the object detection apparatus 1.
  • the captured image 21 is a color image having an RGB space, but in FIG. 5, the captured image 21 is represented in gray scale.
  • the detection window setting unit 11 sets one detection window 40 for detecting the rear image with respect to the captured image 21 (step S21).
  • a plurality of detection windows 40 are set for the captured image 21 by repeating steps S21 to S28.
  • the detection window 40 located at the upper left vertex of the captured image 21 is set first.
  • the detection window setting unit 11 sets a plurality of detection windows so as to scan the captured image 21 from the upper left to the lower right. When a new detection window 40 is set, it is desirable that the detection window setting unit 11 sets a new detection window 40 so as to overlap a part of the detection window 40 that has already been set.
  • the detection window setting unit 11 may limit an area where the detection window 40 is set in the captured image 21.
  • the detection window setting unit 11 may exclude the upper third region of the captured image 21 from the setting range of the detection window 40.
  • the object detection device 1 executes the processes shown in steps S22 to S26 to generate the composite window image 26 from the window image 22.
  • the composite window image 26 is generated in the same procedure as the generation procedure of the composite learning image 36 learned by the learning unit 18.
  • the processes in steps S22 to S26 are the same as the processes in steps S11 to S15 shown in FIG. For this reason, a part of the description regarding steps S22 to S26 is omitted.
  • FIG. 6 is a diagram illustrating an example of image transition when the vehicle detection process is executed.
  • a window image 42 illustrated in FIG. 6 is an image cut out from the detection window 40 set for the captured image 21 different from the captured image 21 illustrated in FIG. 5.
  • the image conversion unit 12 generates the grayscale window image 43 by converting the window image 42 to grayscale (step S22).
  • the shape extraction unit 13 executes the process of enhancing the edge on the grayscale window image 43 to generate the edge window image 44 (step S23).
  • the Sobel filter used in step S ⁇ b> 12 is used to generate the edge window image 44.
  • a feature amount indicating the shape of the object included in the grayscale window image 43 is extracted from the grayscale window image 43.
  • the shape extraction unit 13 multiplies the pixel value of each pixel included in the edge window image 44 by the coefficient used in step S13 (step S24). In FIG. 6, the display of the edge window image 44 that has been subjected to the weighting process is omitted.
  • the color extraction unit 14 extracts the R component from each pixel of the window image 42 having the RGB color space using the above formula (1), and generates the R component window image 45 (step S25).
  • the image composition unit 15 synthesizes the R component window image 45 and the edge window image 44 subjected to the weighting process to generate a composite window image 46 (step S26).
  • the composite window image 46 is data in which the feature amount indicating the shape of the object included in the window image 42 and the distribution of the R component in the window image 42 are reflected.
  • the likelihood calculation unit 16 calculates the vehicle likelihood 27 from the composite window image 46 using a neural network (step S27).
  • the pattern data 50A is referred to.
  • the vehicle likelihood 27 indicates the degree that the detection window 40 includes the rear image, and is a numerical value of 0 or more and 1 or less.
  • the vehicle likelihood 27 approaches 1 as the possibility that a rear image exists in the detection window 40 is higher.
  • the vehicle likelihood 27 approaches 0, so that the possibility that a rear image exists in the detection window 40 is low.
  • the object detection device 1 checks whether or not the setting of the detection window 40 for the captured image 21 is completed after the calculation of the vehicle likelihood 27 (step S27) is completed (step S28). If the setting of the detection window 40 has not been completed (No in step S28), the object detection device 1 returns to step S21 in order to set a new detection window 40. On the other hand, when the setting of all the detection windows 40 is completed (Yes in step S28), the determination unit 17 uses the plurality of vehicle likelihoods 27 calculated for each detection window 40 to include the rear image in the captured image 21. It is determined whether or not there exists (step S29).
  • the determination unit 17 creates a spatial distribution map of the plurality of vehicle likelihoods 27 based on the center coordinates of each detection window 40.
  • the determination unit 17 determines whether the captured image 21 includes a rear image based on the created distribution map.
  • the determination unit 17 specifies the size of the rear surface of the vehicle using the distribution map, and based on the specified size, the determination unit 17 determines the vehicle up to the detected vehicle from the captured image 21.
  • the distance may be specified.
  • the weighting process (steps S13 and S24) is executed in the learning process and the vehicle detection process will be described.
  • the region of the pixel having an R component value larger than the threshold value Th RED is a range corresponding to the tail lamp and the direction indicator.
  • the R component learning image 35 is a simpler image than the edge learning image 34.
  • the R component learning image 35 since the region other than the region corresponding to the tail lamp and the direction indicator is white, the R component is conspicuous. However, in the synthetic learning image 36, since the area other than the area corresponding to the tail lamp and the direction indicator is represented by black, the R component is less conspicuous than the edge in the synthetic learning image 36.
  • the composite learning image 36 is generated by simply combining the R component learning image 35 and the edge learning image 34, the contribution of the pixel value of the R component learning image 35 is the pixel value of the edge learning image 34 in the composite learning image 36. Is the same as the contribution. However, since the R component is less conspicuous than the edge, the learning result of the R component pattern is difficult to be reflected in the pattern data 50 ⁇ / b> A when the learning unit 18 learns the composite learning image 36.
  • the accuracy of the vehicle likelihood 27 calculated in the vehicle detection process may be reduced.
  • a trapezoidal edge exists in the window image 22 even though the window image 22 does not include the rear surface of the automobile
  • a vehicle likelihood 27 close to 1 is calculated from the window image 22. Probability is high. That is, when step S ⁇ b> 13 is not executed, the pattern data 50 ⁇ / b> A has a greater influence on the pattern of the edge learning image 35 than on the R component learning image 34.
  • the shape extraction unit 13 performs the weighting process (step S13) on the edge learning image 34, thereby the edge learning image 34 in the pattern data 50A. Reduce the impact. Step S24 is also executed for the same reason.
  • the window image 42 includes a rear image. Therefore, the edge window image 44 generated from the window image 42 has a geometric shape (rectangular shape, trapezoidal shape, etc.) corresponding to the shape of the rear surface of the automobile.
  • the composite window image 46 has a pattern similar to the pattern on the rear surface of the automobile recorded in the pattern data 50A.
  • the likelihood calculating unit 16 calculates, as the vehicle likelihood 27 of the detection window 40 corresponding to the window image 42, a value (0.91) indicating that there is a high possibility that a rear image exists.
  • FIG. 7 is a diagram showing image transitions from the window image 52 not including the rear surface of the automobile to the generation of the composite window image 56.
  • the window image 52 includes a pedestrian image and does not include a rear image.
  • a grayscale image 53 is generated from the window image 52, and an edge window image 54 is generated from the grayscale image 53.
  • the edge window image 54 does not have a geometric shape similar to the shape of the rear surface of the automobile.
  • the R component window image 55 the lower pixel is displayed in black. This indicates that a red region exists below the window image 52.
  • the arrangement pattern of the red region in the R component window image 55 is significantly different from the arrangement pattern of the red region in the R component learning image 35.
  • the composite window image 56 generated from the edge window image 54 and the R component window image 55 does not have the pattern of the rear surface of the automobile recorded in the pattern data 50A.
  • the likelihood calculating unit 16 calculates a value (0.23) close to 0 as the vehicle likelihood 27 of the detection window 40 corresponding to the window image 52.
  • the object detection device 1 calculates the vehicle likelihood 27 using not only the feature amount (edge) indicating the shape of the object included in the window image 22 but also the color component information of the window image 22. To do. Thereby, even if the detection window 40 includes an object similar to the shape of the rear surface of the automobile, the vehicle likelihood 27 for the object can be made close to zero. The reliability of the vehicle likelihood 27 corresponding to the detection window 40 can be improved, and erroneous detection can be suppressed.
  • FIG. 8 is a functional block diagram showing the configuration of the object detection apparatus 2 according to the second embodiment of the present invention.
  • the object detection device 2 includes a connection unit 70 instead of the image synthesis unit 15 included in the object detection device 1.
  • connection unit 70 generates the connection window data 28 by connecting the data string of the edge window image 24 and the data string of the R component window image 25.
  • the likelihood calculating unit 16 uses the connection window data 28 to calculate the vehicle likelihood 27 that the detection window 40 will include the rear image.
  • the connecting unit 70 generates a connected learning data 38 by connecting the data sequence of the edge learning image 34 and the data sequence of the R component learning image 35.
  • FIG. 9 is a flowchart showing the operation of the object detection apparatus 2 that executes the learning process.
  • FIG. 10 is a diagram illustrating image transitions until the connected learning data 38 is generated from the learning image 32 in the object detection device 2.
  • the shape extraction unit 13 executes steps S ⁇ b> 11 and S ⁇ b> 12 to generate an edge learning image 34 from the learning image 32. However, the shape extraction unit 13 does not perform weighting processing (step S13) on the edge learning image 34.
  • the color extraction unit 14 executes Step S14 and generates an R component learning image 35 from the learning image 32 (Step S14).
  • the color extraction unit 14 performs a weighting process (step S51) on the R component learning image 35.
  • the color extraction unit 14 reduces the size of the R component learning image 35 as a weighting process (step S51). Thereby, the reduced learning image 35 a is generated from the R component learning image 35.
  • the reduction ratio is 60%, for example, and corresponds to the weighting coefficient used in step S14.
  • the size of the edge learning image 34 is not changed.
  • the connecting unit 70 connects the data sequence of the edge learning image 34 and the data sequence of the reduced learning image 35a to generate the connected learning data 38 (step S52).
  • the data string of the edge learning image 34 is generated by raster scanning the edge learning image 34.
  • the data string of the reduced learning image 35a is generated by raster scanning the reduced learning image 35a.
  • Concatenated learning data 38 is generated by connecting the head of the data sequence of the reduced learning image 35 a to the end of the data sequence of the edge learning image 34.
  • FIG. 11 is a diagram showing a data structure of the connected learning data 38.
  • E (x, y) is the pixel value of the pixel of the edge learning image 34 located at the coordinate (x, y)
  • D (x, y) is the coordinate (x, y).
  • the connected learning data 38 is a one-dimensional array composed of pixel values of each pixel included in the edge learning image 34 and pixel values of each pixel included in the reduced learning image 35a. In the connected learning data 38 shown in FIG.
  • the reduced learning image 35 a is arranged below the edge learning image 34 in order to show the relationship between the size of the edge learning image 34 and the size of the reduced learning image 35 a.
  • the connected learning data 38 is a one-dimensional array of pixel values, and is not a single image composed of the edge learning image 34 and the reduced learning image 35a.
  • the learning unit 18 learns the pattern of the shape of the rear surface of the vehicle and the distribution pattern of the R component on the rear surface of the vehicle using the connection learning data 38 (step S53), and reflects the learning result in the pattern data 50A.
  • step S51 the process of reducing the size of the R component learning image 35 (step S51) corresponds to the weighting process.
  • the edge learning image 34 and the R component learning image 35 are images each including only one component value (edge strength, R component value). Moreover, the size of each image is the same. Therefore, the data amount of the edge learning image 34 is the same as the data amount of the R component learning image 35.
  • the ratio between the edge learning image 34 and the R component learning image 35 in the connection learning data 38 is 1: 1.
  • the R component learning image 35 is a simple image compared to the edge learning image 34 as described above. In the connected learning data 38, the data of the edge learning image 34 and the data of the R component learning image 35 are distinguished from each other.
  • the learning unit 18 is more than the feature of the complex pattern of the edges included in the edge learning image 34. It is easy to detect features of a simple pattern in a region with a high pixel value included in the R component learning image 35. As a result, contrary to the first embodiment, the influence of the pattern of the R component learning image 35 is larger than the influence of the pattern of the edge learning image 34 in the pattern data 50A.
  • the reduced learning image 35a is generated by reducing the size (height and width) of the R component learning image 35.
  • the data amount of the reduced learning image 35a is smaller than the data amount of the edge learning image 34.
  • the ratio of the reduced learning image 35a in the connected learning data 38 decreases as the reduction ratio increases.
  • the process of reducing the size of the R component learning image 35 corresponds to a process of weighting the pixel values of the pixels included in the R component learning image 35.
  • FIG. 12 is a flowchart showing the operation of the object detection apparatus 2 that executes the vehicle detection process.
  • FIG. 13 is a diagram illustrating an example of image transition when the object detection device 2 executes a vehicle detection process.
  • a window image 42, a grayscale window image 43, an edge window image 44, and an R component window image 45 shown in FIG. 13 are the same as the images shown in FIG.
  • the operation of the object detection apparatus 2 that executes the vehicle detection process will be described with reference to FIGS.
  • Step S61 a weighting process (step S61) and a connection process (step S62) by changing the size are executed.
  • Step S61 and S62 are the same processes as steps S51 and S52. For this reason, detailed description of steps S61 and S62 is omitted.
  • the color extraction unit 14 executes a process of reducing the size of the R component window image 45 as a weighting process (step S61). Thereby, the reduced window image 45 a is generated from the R component window image 45.
  • the reduction rate is the same (60%) as the reduction rate used in the learning process.
  • the connecting unit 70 connects the data string of the reduced window image 45a to the end of the data string of the edge window image 44 to generate the connecting window data 48 (step S62).
  • the connection window data 48 is a one-dimensional array composed of pixel values of each pixel included in the edge window image 44 and pixel values of each pixel included in the reduced window image 45a.
  • the likelihood calculating unit 16 calculates the vehicle likelihood 27 of the detection window 40 corresponding to the window image 42 using the connection window data 48 (step S27). As shown in FIG. 13, the window image 42 includes a rear image. Therefore, the vehicle likelihood 27 calculated from the window image 42 has a value close to 1 (0.89).
  • FIG. 14 is a diagram illustrating another example of image transition when the object detection device 2 executes a vehicle detection process.
  • the window image 52, the grayscale window image 53, the edge window image 54, and the R component window image 55 shown in FIG. 14 are the same as the images shown in FIG.
  • the color extraction unit 14 reduces the R component window image 55 to generate a reduced window image 55a.
  • the connection window data 58 is generated. Similar to the connection learning data 38, the connection window data 58 is a one-dimensional array composed of pixel values of each pixel included in the edge window image 54 and pixel values of each pixel included in the reduced window image 55a.
  • the window image 52 does not include a rear image. Therefore, the vehicle likelihood 27 calculated from the window image 52 has a value close to 0 (0.13).
  • the object detection device 2 uses not only the feature amount (edge) indicating the shape of the object included in the window image 22 but also the information on the color components of the window image 22 as in the object detection device 1. Thus, the vehicle likelihood 27 is calculated. Thereby, erroneous detection can be suppressed.
  • the object detection devices 1 and 2 have described the example in which the rear surface of the automobile is detected from the captured image 21, but the present invention is not limited to this.
  • the detection target may be other objects such as a road sign instead of an automobile.
  • the learning unit 18 may individually learn the edge learning image and the R component learning image.
  • the likelihood calculating unit calculates the first vehicle likelihood from the edge window image with reference to the pattern data generated by learning the edge learning image.
  • the likelihood calculating unit calculates the second vehicle likelihood from the R component window image with reference to pattern data generated by learning the R component learning image.
  • the color extraction unit 14 has described an example in which the R component is extracted from the learning image 32.
  • the color extraction unit 14 may extract the G component or the B component from the learning image 32 according to the detection target object. In this case, the color component extracted from the window image 22 changes according to the color component extracted from the learning image 32.
  • the present invention is not limited to this.
  • the color extraction unit 14 may weight the edge learning image 34 and the edge window image 24 instead of the R component window image 25 and the R component learning image 35.
  • each pixel value of the edge window image 24 and the edge learning image 34 is multiplied by one or more coefficients.
  • the edge window image 24 and the edge learning image 34 are enlarged at a magnification larger than 100%. That is, the object detection device according to the above embodiment may weight at least one of the edge learning image 34 and the R component learning image 35 and weight at least one of the edge window image 24 and the R component window image 25.
  • the present invention is not limited to this. If the aspect ratio of the learning image 32 input to the object detection devices 1 and 2 matches the aspect ratio of the window image 22, the size of the learning image 32 input to the object detection devices 1 and 2 is the size of the window image 22. It does not have to be the same as the size. In this case, the size of the window image 22 is changed to match the size of the learning image before the likelihood is calculated from the window image 22 or before the process of extracting the feature amount from the window image 22 is executed. do it.
  • the likelihood calculating unit 16 and the learning unit 18 use a neural network.
  • the learning unit 18 may use a pattern matching program (for example, a support vector machine) other than the neural network.
  • the algorithm implemented in the likelihood calculation unit 16 is changed according to the algorithm implemented in the learning unit 18.
  • each functional unit may be individually made into one chip by a semiconductor device such as an LSI, or may be made into one chip so as to include a part or the whole. Also good.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • part or all of the processing of each functional block in the above embodiment may be realized by a program.
  • a part or all of the processing of each functional block in the above embodiment is performed by a central processing unit (CPU) in the computer.
  • a program for performing each processing is stored in a storage device such as a hard disk or a ROM, and is read out and executed in the ROM or the RAM.
  • each process of the above embodiment may be realized by hardware, or may be realized by software (including a case where it is realized together with an OS (operating system), middleware, or a predetermined library). Further, it may be realized by mixed processing of software and hardware.
  • OS operating system
  • middleware middleware
  • predetermined library predetermined library
  • a computer program that causes a computer to execute the above-described method and a computer-readable recording medium that records the program are included in the scope of the present invention.
  • the computer-readable recording medium include a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray Disc), and a semiconductor memory. .
  • the computer program is not limited to the one recorded on the recording medium, but may be transmitted via a telecommunication line, a wireless or wired communication line, a network represented by the Internet, or the like.
  • circuit may be realized in whole or in part by hardware, software, or a mixture of hardware and software.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　誤検出を抑制することができる物体検出装置を提供することを課題とする。物体検出装置１において、検出窓設定部１１は、ＲＧＢ空間を有する撮影画像に対して検出窓を設定する。検出窓が撮影画像２１から切り出されることにより、窓画像２２が生成される。形状抽出部１３は、グレースケールに変換された窓画像２２に対してエッジを強調する処理を実行して、エッジ窓画像２４を生成する。色抽出部１４は、窓画像２２からＲ成分を抽出して、Ｒ成分窓画像２５を生成する。尤度算出部１６は、エッジ窓画像２４とＲ成分窓画像２５とを合成した合成窓画像を用いて、検出窓が自動車の後面を含むであろう車両尤度２７を算出する。

Description

物体検出装置
　本発明は、物体検出装置に関し、さらに詳しくは、カメラにより撮影された撮影画像から対象物を検出する物体検出装置に関する。
　カメラが撮影した画像などに検出対象が存在するか否かを判定する物体検出装置が存在する。物体検出装置は、たとえば、カメラとともに車両に搭載される。カメラは、自車両の進行方向を撮影して撮影画像を生成する。物体検出装置は、カメラにより撮影された撮影画像から、自車両の前を走行する他の車両を検出する。
　カメラにより撮影された撮影画像から車両を検知する車両検知装置が、特許文献１に開示されている。特許文献１に開示された車両検知装置は、車両の前方の景色を撮影する単眼カメラにより撮影された画像から縦方向に延びるエッジ（縦エッジ）を検出する。撮影された画像に車両が存在するか否かが、検出された縦方向のエッジのペアの中心位置と幅に基づいて判断される。
　また、カメラにより撮影された画像を用いて車両前方を監視する車両用外界認識装置（認識装置）が、特許文献２に開示されている。この認識装置は、カメラにより撮影された画像から複数の縦エッジを検出し、水平方向に並ぶ２本の縦エッジのペアの中心位置及び幅に基づいて、車両候補領域を特定する。認識装置は、特定された車両候補領域ごとに、車両らしさを示すＨＯＧ（Histograms of Oriented Gradients）特徴量及びＨＯＦ（Histograms of Flow）を算出する。これらの特徴量に基づいて、車両候補領域に車両が存在するか否かが判断される。
特開２００５－１５６１９９号公報 特開２０１３－２０５４１０号公報
　上記特許文献１，２に開示されているように、従来の物体検出装置は、カメラにより撮影された画像（撮影画像）から抽出されたエッジ特徴量を用いて、車両が撮影画像内に存在するかを判断している。しかし、撮影画像は、車両の他に、電信柱、道路標識などの他の物体を含む。他の物体は、車両と同様に縦方向に延びるエッジで構成される場合がある。従来の車両検出装置は、縦方向に伸びる２本のエッジのペアが他の物体の形状を示しているにも関わらず、このエッジのペアに基づいて、撮影画像に車両が存在すると誤って判断する場合がある。
　本発明は、フレーム画像から物体を検出する物体検出装置である。物体検出装置は、カラーのフレーム画像に対して検出窓を設定する検出窓設定部と、前記検出窓に含まれる物体の形状を示す特徴量を前記フレーム画像から抽出して形状特徴データを生成する形状抽出部と、前記検出窓から所定の色成分を抽出して色特徴データを生成する色抽出部と、前記形状特徴データと前記色特徴データとから、前記検出窓が対象物を含むであろう尤度を算出する尤度算出部と、を備える。
　この物体検出装置は、検出窓に含まれる物体の形状を示す特徴量を抽出して形状特徴データを生成し、検出窓に含まれる所定の色成分を抽出して色特徴データを生成する。物体検出装置は、形状特徴データ及び色特徴データを用いて、検出窓に対象物が存在する度合いを示す尤度を算出する。このように、尤度の算出に形状特徴データだけでなく、色特徴データを用いることにより、誤検出の発生を抑制することができる。
　それ故にこの発明の目的は、誤検出を抑制することができる物体検出装置を提供することである。
　この発明の目的、特徴、局面、及び利点は、以下の詳細な説明と添付図面によって明白となる。
本発明の第１の実施の形態に係る物体検出装置の構成を示す機能ブロック図である。 図１に示す物体検出装置により実行される学習処理のフローチャートである。 図２に示す学習処理における画像の変化を示す図である。 図１に示す物体検出装置により実行される車両検出処理のフローチャートである。 図１に示す物体検出装置に入力される撮影画像の一例を示す図である。 図４に示す車両検出処理における画像の遷移の一例を示す図である。 図４に示す車両検出処理における画像の遷移の他の例を示す図である。 本発明の第２の実施の形態に係る物体検出装置の構成を示す機能ブロック図である。 図８に示す物体検出装置により実行される学習処理のフローチャートである。 図９に示す学習処理における画像の遷移を示す図である。 図８に示す連結部により生成される連結学習データの構造を示す図である。 図８に示す物体検出装置により実行される車両検出処理のフローチャートである。 図１２に示す車両検出処理における画像の遷移の一例を示す図である。 図１２に示す車両検出処理における画像の遷移の他の例を示す図である。
　以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。
　［第１の実施の形態］
　｛１．全体構成｝
　図１は、本発明の第１の実施の形態に係る物体検出装置１の構成を示す機能ブロック図である。物体検出装置１は、カメラ１００が撮影した画像から、自動車を後方から見た画像を検出する。物体検出装置１は、カメラ１００とともに自動車などの車両に搭載される。
　カメラ１００は、自動車のダッシュボード上に設置され、前方の景色を撮影して画像データ２０を生成する。画像データ２０は、複数のフレームにより構成される動画像であり、フレーム単位で物体検出装置１に入力される。各フレームは、ＲＧＢ色空間を有するカラー画像である。物体検出装置１は、１つのフレーム（以下、「撮影画像２１」と呼ぶ。）から、物体検出装置１が搭載された自動車（自車両）の前を走行する自動車を後方から見た画像（後面画像）を検出する。
　図１に示すように、物体検出装置１は、検出窓設定部１１と、画像変換部１２と、形状抽出部１３と、色抽出部１４と、画像合成部１５と、尤度算出部１６と、判断部１７と、学習部１８と、記憶部１９とを備える。
　検出窓設定部１１は、撮影画像２１に対して検出窓を設定する。検出窓は、撮影画像２１から後面画像を検出するための単位領域である。検出窓設定部１１は、撮影画像２１から検出窓を切り出して、窓画像２２を生成する。撮影画像２１がＲＧＢ色空間を有するため、窓画像２２もＲＧＢ色空間を有する。
　画像変換部１２は、窓画像２２をグレースケールに変換することにより、グレースケール窓画像２３を生成する。形状抽出部１３は、グレースケール窓画像２３に対してエッジを強調する処理を実行することにより、エッジ窓画像２４を生成する。エッジ窓画像２４は、検出窓に含まれる物体の形状を示す特徴量を窓画像２２から抽出したデータである。
　色抽出部１４は、ＲＧＢ色空間を有する窓画像２２からＲ（赤）成分を抽出することによりＲ成分窓画像２５を生成する。Ｒ成分窓画像２５は、検出窓が有する各画素のＲ成分を抽出したデータである。
　画像合成部１５は、形状抽出部１３により生成されたエッジ窓画像２４と、色抽出部１４とにより生成されたＲ成分窓画像２５とを合成して、合成窓画像２６を生成する。合成窓画像２６は、尤度算出部１６において、車両尤度２７の算出に用いられるデータである。
　尤度算出部１６は、ニューラルネットワークを用いて、検出窓に自動車の後面が存在するであろう尤度（車両尤度２７）を合成窓画像２６から算出する。１つの検出窓に対して、１つの車両尤度２７が算出される。尤度算出部１６は、車両尤度２７の算出の際に、自動車の後面のパターンが記録されたパターンデータ５０Ａを参照する。
　判断部１７は、尤度算出部１６により算出された検出窓ごとの車両尤度２７に基づいて、撮影画像２１内に後面画像が存在するか否かを判断する。
　学習部１８は、物体検出装置１に入力される学習画像から生成される合成学習画像３６を用いて、自動車の後面のパターンを学習する。学習部１８には、学習用のニューラルネットワークのアルゴリズムが実装される。学習部１８は、学習の結果として、パターンデータ５０Ａを生成する。合成学習画像３６の詳細については、後述する。
　記憶部１９は、フラッシュメモリやハードディスク装置などであり、パターンデータ５０Ａを記憶する。
　｛２．物体検出装置１の動作｝
　物体検出装置１は、撮影画像２１から後面画像を検出する処理（車両検出処理）を開始する前に、パターンデータ５０Ａを生成する処理（学習処理）を実行する。以下、学習処理と車両検出処理とをそれぞれ説明する。
　｛２．１．学習処理｝
　図２は、物体検出装置１により実行される学習処理のフローチャートである。図３は、学習処理の際に用いられる画像の遷移を示す図である。図２及び図３を参照しながら、学習処理を実行する物体検出装置１の動作を説明する。
　物体検出装置１は、パターンデータ５０Ａを生成するために、複数の学習画像３２を使用する。図２は、１つの学習画像３２に対して実行される処理を示している。物体検出装置１は、１つの学習画像３２が入力された場合、図２に示す処理を開始する。
　学習画像３２は、検出対象である自動車の後面画像を含むカラー画像であり、ＲＧＢ色空間を有する。学習画像３２のサイズ（高さ及び幅）は、窓画像２２のサイズと同じである。このため、検出窓設定部１１は、学習処理に関与せず、学習画像３２に対して検出窓を設定しない。
　物体検出装置１は、ステップＳ１１，Ｓ１２を実行することにより、学習画像３２に含まれる自動車の後面の形状を示す特徴量を、学習画像３２から抽出する。具体的には、画像変換部１２が、学習画像３２をグレースケールに変換して、グレースケール学習画像３３を生成する（ステップＳ１１）。
　形状抽出部１３は、グレースケール学習画像３３に対して、エッジを強調する処理を実行して、エッジ学習画像３４を生成する（ステップＳ１２）。ステップＳ１２は、グレースケール学習画像３３から自動車の後面の形状を示す特徴量を抽出するために実行される。学習画像３２おいて、自動車の後面は、台形に近い形状をしている。このため、ステップＳ１２では、形状抽出部１３は、グレースケール学習画像３３に対して、横方向に延びるエッジを強調する処理を実行し、横方向に延びるエッジが強調されたグレースケール学習画像に対して、縦方向に延びるエッジを強調する処理を実行する。各方向に伸びるエッジの強調処理には、例えば、Ｓｏｂｅｌフィルタが用いられる。
　次に、形状抽出部１３は、エッジ学習画像３４に対して重み付けを行う（ステップＳ１３）。具体的には、形状抽出部１３は、エッジ学習画像３４が有する各画素の画素値に対して１よりも小さい係数を乗算する。以下、重み付けされたエッジ学習画像３４の画素値を、Ｅｗ（ｘ，ｙ）と記載する。図３では、重み付けされたエッジ学習画像３４の表示を省略している。ステップＳ１３を実行する理由については、後述する。
　エッジ学習画像３４が有する画素の画素値の最大値は２５５であり、最小値は０である。図３に示すエッジ学習画像３４において、２５５に近い画素値を有する画素ほど黒く表示され、０に近い画素値を有する画素ほど白く表示される。後述するＲ成分学習画像３５及び合成学習画像３６の各画素も、図３において同様に表示される。
　色抽出部１４は、学習画像３２が有する各画素からＲ成分を抽出し（ステップＳ１４）、Ｒ成分学習画像３５を生成する。具体的には、色抽出部１４は、下記式（１）を実行することにより、Ｒ成分学習画像３５が有する各画素の画素値を決定する。
Figure JPOXMLDOC01-appb-M000001
　図３に示すように、学習画像３２の左上頂点を原点とした場合において、右向きの軸をｘ軸、下向きの軸をｙ軸として定義する。式（１）において、Ｒ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置する学習画像３２の画素が有するＲ成分値である。ＲＥＤ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置するＲ成分学習画像３５の画素の画素値である。
　Ｒ（ｘ，ｙ）がしきい値ＴｈＲＥＤよりも大きい場合、色抽出部１４は、ＲＥＤ（ｘ，ｙ）をＲ（ｘ，ｙ）に設定する。Ｒ（ｘ，ｙ）がしきい値ＴｈＲＥＤ以下である場合、色抽出部１４は、ＲＥＤ（ｘ，ｙ）を０に設定する。つまり、色抽出部１４は、しきい値ＴｈＲＥＤよりも大きいＲ成分値を有する画素を学習画像３２から抽出することにより、Ｒ成分学習画像３５を生成する。Ｒ成分学習画像３５のサイズは、学習画像３２のサイズと同じである。
　図３に示すように、Ｒ成分学習画像３５において、領域３５１，３５２が黒く表示されている。２つの領域３５１は、学習画像３２に含まれる自動車のテールランプに対応する。２つの領域３５２は、方向指示器に相当する。方向指示器の色は黄色であるため、領域３５２内の画素は、しきい値ＴｈＲＥＤよりも大きいＲ成分値を有するため、領域３５１と同様に黒く表示される。
　なお、色抽出部１４は、ＲＥＤ（ｘ，ｙ）がしきい値ＴｈＲＥＤよりも大きいか否かの判断に加えて、他の条件が満たされているか否かを判断してもよい。例えば、色抽出部１４は、下記の２つの条件が両者ともに満たされているか否かを判断する。第１の条件は、学習画像３２が有する画素のＲ成分値とＧ成分値との差分絶対値が所定のしきい値（ＴｈＲＥＤと異なる）よりも大きいことである。第２の条件は、学習画像３２が有する画素のＲ成分値とＢ成分値との差分絶対値がＴｈＲＥＤと異なる上記の所定のしきい値よりも大きいことである。これら２つの条件が満たされる場合、色抽出部１４は、座標（ｘ，ｙ）における学習画像３２の画素の表示色が赤であると判断し、この画素のＲ成分値をＲ成分学習画像３５が有する画素の画素値に設定する。これにより、赤以外の表示色がＲ成分学習画像３５に反映されることを防ぐことができる。あるいは、色抽出部１４は、ＲＥＤ（ｘ，ｙ）を設定する際に、第１の条件及び第２の条件のいずれか一方の条件を用いてもよい。第２の条件で用いられるしきい値は、第１の条件で用いられるしきい値と異なっていてもよい。
　また、色抽出部１４は、ＲＥＤ（ｘ，ｙ）がしきい値ＴｈＲＥＤよりも大きいか否かの判断に加えて、下記式（２）及び式（３）が満たされているか否かを判断してもよい。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　式（２）において、Ｇ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置する学習画像３２の画素が有するＧ成分値であり、ＣＧは、予め設定された係数である。式（３）において、Ｂ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置する学習画像３２の画素が有するＢ成分値であり、ＣＢは、予め設定された係数である。係数ＣＧ，ＣＢは、例えば、２に設定される。係数ＣＧ，ＣＢは、互いに異なる値であってもよい。色抽出部１４は、式（２）及び式（３）が満たされる場合、座標（ｘ，ｙ）における学習画像３２の画素の表示色が赤であると判断し、この画素のＲ成分値をＲ成分学習画像３５が有する画素の画素値に設定する。あるいは、色抽出部１４は、ＲＥＤ（ｘ，ｙ）を設定する際に、式（２）及び式（３）のいずれか一方のみを用いてもよい。
　画像合成部１５は、形状抽出部１３により重み付けされたエッジ学習画像３４と、色抽出部１４により生成されたＲ成分学習画像３５とを合成して、合成学習画像３６を生成する（ステップＳ１５）。画像合成部１５は、Ｅｗ（ｘ，ｙ）をＲＥＤ（ｘ，ｙ）に加算する。画像合成部１５は、最大値が２５５となるように加算値を正規化することにより、合成学習画像３６を生成する。
　この結果、合成学習画像３６は、学習画像３２から抽出された車両の形状を示す特徴と、学習画像３２におけるＲ成分の分布の特徴との両者を反映したデータとなる。画像合成部１５は、生成した合成学習画像３６を学習部１８に出力する。
　学習部１８は、合成学習画像３６に含まれる自動車の後面のパターンを、ニューラルネットワークを用いて学習する（ステップＳ１６）。学習部１８は、学習の結果をパターンデータ５０Ａに反映させる。パターンデータ５０Ａには、検出対象である自動車の後面の形状だけでなく、自動車の後面における赤色部分（テールランプ及び方向指示器）の配置のパターンが反映される。
　このように、物体検出装置１は、１つの学習画像３２に対して図２に示す処理を実行する。自動車の後面のパターン（車種、自動車までの距離など）が異なる様々な学習画像３２が、物体検出装置１に入力される。学習処理は、物体検出装置１に入力される学習画像３２の数に応じて繰り返される。これにより、パターンデータ５０Ａには、各々の学習画像３２に含まれる自動車の後面のパターンが反映される。
　｛２．２．車両検出処理｝
　図４は、物体検出装置１により実行される車両検出処理のフローチャートである。物体検出装置１は、カメラ１００から撮影画像２１が入力されるたびに、図４に示す処理を実行して、撮影画像２１内に後面画像が存在するか否かを判断する。
　図５は、物体検出装置１に入力される撮影画像２１の一例を示す図である。上述したように、撮影画像２１は、ＲＧＢ空間を有するカラー画像であるが、図５では、撮影画像２１をグレースケールで表している。
　図４及び図５を参照しながら、車両検出処理を実行する物体検出装置１の動作を説明する。検出窓設定部１１は、撮影画像２１に対して、後面画像を検出するための検出窓４０を１つ設定する（ステップＳ２１）。
　ステップＳ２１～Ｓ２８が繰り返されることにより、撮影画像２１に対して複数の検出窓４０が設定される。撮影画像２１の左上頂点に位置する検出窓４０が、最初に設定される。検出窓設定部１１は、撮影画像２１を左上から右下にかけてスキャンするように複数の検出窓を設定する。新たに検出窓４０が設定される場合、検出窓設定部１１は、既に設定された検出窓４０の一部と重複するように新しい検出窓４０を設定することが望ましい。
　検出窓設定部１１は、撮影画像２１において、検出窓４０を設定する領域を限定してもよい。物体検出装置１が自車両よりも前を走行する自動車を検出する場合、撮影画像２１の上側の領域に、前を走行する自動車が存在する可能性は低い。検出窓設定部１１は、例えば、撮影画像２１の上方３分の１の領域を検出窓４０の設定範囲から除外してもよい。
　物体検出装置１は、ステップＳ２２～Ｓ２６に示す処理を実行して、窓画像２２から合成窓画像２６を生成する。合成窓画像２６は、学習部１８により学習される合成学習画像３６の生成手順と同じ手順で生成される。図４に示す処理のうち、ステップＳ２２～Ｓ２６の処理は、図２に示すステップＳ１１～Ｓ１５の処理と同じである。このため、ステップＳ２２～Ｓ２６に関する説明を一部省略する。
　図６は、車両検出処理を実行するときの画像の遷移の一例を示す図である。図６に示す窓画像４２は、図５に示す撮影画像２１と別の撮影画像２１に対して設定された検出窓４０から切り出された画像である。
　画像変換部１２は、窓画像４２をグレースケールに変換することにより、グレースケール窓画像４３を生成する（ステップＳ２２）。形状抽出部１３は、グレースケール窓画像４３に対してエッジを強調する処理を実行して、エッジ窓画像４４を生成する（ステップＳ２３）。ステップＳ１２で用いられたＳｏｂｅｌフィルタが、エッジ窓画像４４の生成に用いられる。これにより、グレースケール窓画像４３に含まれる物体の形状を示す特徴量が、グレースケール窓画像４３から抽出される。形状抽出部１３は、エッジ窓画像４４が有する各画素の画素値に対して、ステップＳ１３で用いた係数を乗算する（ステップＳ２４）。図６において、重み付け処理が施されたエッジ窓画像４４の表示を省略している。
　色抽出部１４は、上記式（１）を用いて、ＲＧＢ色空間を有する窓画像４２の各画素からＲ成分を抽出して、Ｒ成分窓画像４５を生成する（ステップＳ２５）。
　画像合成部１５は、Ｒ成分窓画像４５と、重み付け処理が施されたエッジ窓画像４４とを合成して合成窓画像４６を生成する（ステップＳ２６）。これにより、合成窓画像４６は、窓画像４２に含まれる物体の形状を示す特徴量と、窓画像４２におけるＲ成分の分布とが反映されたデータとなる。
　尤度算出部１６は、ニューラルネットワークを用いて、合成窓画像４６から車両尤度２７を算出する（ステップＳ２７）。車両尤度２７の算出の際には、パターンデータ５０Ａが参照される。車両尤度２７は、検出窓４０が後面画像を含む度合いを示し、０以上１以下の数値である。検出窓４０に後面画像が存在する可能性が高いほど、車両尤度２７は、１に近づく。検出窓４０に後面画像が存在する可能性が低いほど、車両尤度２７は、０に近づく。
　物体検出装置１は、車両尤度２７の算出（ステップＳ２７）が終了した後に、撮影画像２１に対する検出窓４０の設定が終了したか否かを確認する（ステップＳ２８）。検出窓４０の設定が終了していない場合（ステップＳ２８においてＮｏ）、物体検出装置１は、新たな検出窓４０を設定するために、ステップＳ２１に戻る。一方、全ての検出窓４０の設定が終了した場合（ステップＳ２８においてＹｅｓ）、判断部１７は、検出窓４０ごとに算出された複数の車両尤度２７を用いて、撮影画像２１内に後面画像が存在するか否かを判断する（ステップＳ２９）。
　判断部１７は、各検出窓４０の中心座標に基づいて、複数の車両尤度２７の空間的な分布図を作成する。判断部１７は、作成した分布図に基づいて、撮影画像２１が後面画像を含むか否かを判断する。後面画像が撮影画像２１から検出された場合、判断部１７は、分布図を用いて自動車の後面の大きさを特定し、特定した大きさに基づいて、撮影画像２１から検出された自動車までの距離を特定してもよい。
　以下、学習処理及び車両検出処理において、重み付け処理（ステップＳ１３，Ｓ２４）が実行される理由を説明する。図３に示すように、学習画像３２において、しきい値ＴｈＲＥＤよりも大きいＲ成分値を有する画素の領域は、テールランプ及び方向指示器に対応する範囲である。このため、Ｒ成分学習画像３５は、エッジ学習画像３４に比べて単純な画像となる。
　Ｒ成分学習画像３５では、テールランプ及び方向指示器に対応する領域以外の領域が白であるため、Ｒ成分が目立っている。しかし、合成学習画像３６では、テールランプ及び方向指示器に対応する領域以外の領域が、エッジにより黒く表されているため、合成学習画像３６では、Ｒ成分がエッジよりも目立たなくなる。Ｒ成分学習画像３５とエッジ学習画像３４とを単に合成して合成学習画像３６を生成した場合、合成学習画像３６において、Ｒ成分学習画像３５の画素値の寄与が、エッジ学習画像３４の画素値の寄与と同じとなる。しかし、Ｒ成分がエッジよりも目立たないため、学習部１８による合成学習画像３６の学習の際に、Ｒ成分のパターンの学習結果がパターンデータ５０Ａに反映されづらくなる。
　この結果、車両検出処理において算出される車両尤度２７の精度が低下するおそれがある。具体的には、窓画像２２が自動車の後面を含まないにもかかわらず、窓画像２２内に台形状のエッジが存在する場合、この窓画像２２から１に近い車両尤度２７が算出される可能性が高い。つまり、ステップＳ１３を実行しない場合、パターンデータ５０Ａにおいて、エッジ学習画像３５のパターンの影響が、Ｒ成分学習画像３４のパターンの影響よりも大きくなる。
　このように、車両尤度２７の精度の低下を防ぐために、形状抽出部１３は、エッジ学習画像３４に対して重み付け処理（ステップＳ１３）を実行することにより、パターンデータ５０Ａにおけるエッジ学習画像３４の影響を小さくする。ステップＳ２４も、同様の理由により実行される。
　以下、窓画像２２から算出される車両尤度２７の具体例を説明する。図６に示すように、窓画像４２は、後面画像を含む。このため、窓画像４２から生成されるエッジ窓画像４４は、自動車の後面の形状に応じた幾何学的な形状（長方形、台形など）を有する。窓画像４２において、自動車の後面がテールランプ及び方向指示器を含むため、Ｒ成分窓画像４５の左右には、画素値の大きい領域が存在する。従って、合成窓画像４６は、パターンデータ５０Ａに記録された自動車の後面のパターンに類似するパターンを有する。尤度算出部１６は、窓画像４２に対応する検出窓４０の車両尤度２７として、後面画像が存在する可能性が高いことを示す値（０．９１）を算出する。
　図７は、自動車の後面を含まない窓画像５２から合成窓画像５６が生成されるまでの画像の遷移を示す図である。
　窓画像５２は、歩行者の画像を含み、後面画像を含まない。窓画像５２からグレースケール画像５３が生成され、グレースケール画像５３からエッジ窓画像５４が生成される。エッジ窓画像５４は、自動車の後面の形状に似た幾何学的な形状を有しない。Ｒ成分窓画像５５において、下に位置する画素が黒く表示されている。これは、窓画像５２の下方に赤色の領域が存在することを示す。Ｒ成分窓画像５５における赤色の領域の配置パターンは、Ｒ成分学習画像３５における赤色の領域の配置パターンと大きく異なる。
　エッジ窓画像５４とＲ成分窓画像５５とから生成される合成窓画像５６は、パターンデータ５０Ａに記録された自動車の後面のパターンを有しない。この結果、尤度算出部１６は、窓画像５２に対応する検出窓４０の車両尤度２７として、０に近い値（０．２３）を算出する。
　以上説明したように、物体検出装置１は、窓画像２２に含まれる物体の形状を示す特徴量（エッジ）だけでなく、窓画像２２の色成分の情報を用いて、車両尤度２７を算出する。これにより、検出窓４０が、自動車の後面の形状に似た物体を含む場合であっても、この物体に対する車両尤度２７を０に近づけることができる。検出窓４０に対応する車両尤度２７の信頼性を向上させることができ、誤検出を抑制することができる。
　［第２の実施の形態］
　本発明に係る第２の実施の形態について説明する。図８は、本発明の第２の実施の形態に係る物体検出装置２の構成を示す機能ブロック図である。図８に示すように、物体検出装置２は、物体検出装置１が備える画像合成部１５に代えて、連結部７０を有する。
　連結部７０は、エッジ窓画像２４のデータ列と、Ｒ成分窓画像２５のデータ列とを連結することにより、連結窓データ２８を生成する。尤度算出部１６は、連結窓データ２８を用いて、検出窓４０が後面画像を含むであろう車両尤度２７を算出する。また、連結部７０は、エッジ学習画像３４のデータ列とＲ成分学習画像３５のデータ列とを連結して、連結学習データ３８を生成する。
　以下、上記実施の形態と異なる点を中心に、物体検出装置２の動作について説明する。
　｛１．学習処理｝
　図９は、学習処理を実行する物体検出装置２の動作を示すフローチャートである。図１０は、物体検出装置２において、学習画像３２から連結学習データ３８が生成されるまでの画像の遷移を示す図である。
　図９に示すように、形状抽出部１３は、ステップＳ１１，Ｓ１２を実行して、学習画像３２からエッジ学習画像３４を生成する。しかし、形状抽出部１３は、エッジ学習画像３４に対して重み付け処理（ステップＳ１３）を実行しない。色抽出部１４は、ステップＳ１４を実行して、学習画像３２からＲ成分学習画像３５を生成する（ステップＳ１４）。色抽出部１４は、Ｒ成分学習画像３５に対して、重み付け処理（ステップＳ５１）を実行する。
　色抽出部１４は、重み付け処理（ステップＳ５１）として、Ｒ成分学習画像３５のサイズを縮小する。これにより、縮小学習画像３５ａが、Ｒ成分学習画像３５から生成される。縮小率は、例えば、６０％であり、ステップＳ１４で用いられる重み付けの係数に相当する。エッジ学習画像３４のサイズは、変更されない。
　連結部７０は、エッジ学習画像３４のデータ列と、縮小学習画像３５ａのデータ列とを連結して、連結学習データ３８を生成する（ステップＳ５２）。エッジ学習画像３４のデータ列は、エッジ学習画像３４をラスタスキャンすることにより生成される。同様に、縮小学習画像３５ａのデータ列は、縮小学習画像３５ａをラスタスキャンすることにより生成される。エッジ学習画像３４のデータ列の末尾に、縮小学習画像３５ａのデータ列の先頭が連結されることにより、連結学習データ３８が生成される。
　図１１は、連結学習データ３８のデータ構造を示す図である。図１１に示すように、Ｅ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置するエッジ学習画像３４の画素の画素値であり、Ｄ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置する縮小学習画像３５ａの画素の画素値である。連結学習データ３８は、エッジ学習画像３４が有する各画素の画素値と、縮小学習画像３５ａが有する各画素の画素値とにより構成される１次元の配列である。図１０に示す連結学習データ３８において、エッジ学習画像３４のサイズと縮小学習画像３５ａのサイズとの関係を示すために、縮小学習画像３５ａをエッジ学習画像３４の下に配置している。連結学習データ３８は、上述のように、画素値の１次元配列であり、エッジ学習画像３４と縮小学習画像３５ａとにより構成される１つの画像ではない。
　学習部１８は、連結学習データ３８を用いて、自動車の後面の形状のパターンと、自動車の後面におけるＲ成分の分布のパターンとを学習し（ステップＳ５３）、学習の結果をパターンデータ５０Ａに反映させる。
　ここで、Ｒ成分学習画像３５のサイズを縮小する処理（ステップＳ５１）が重み付け処理に相当する理由を説明する。
　エッジ学習画像３４及びＲ成分学習画像３５は、それぞれ、１つの成分値（エッジ強度、Ｒ成分値）のみを含む画像である。また、各画像のサイズは同じである。従って、エッジ学習画像３４のデータ量は、Ｒ成分学習画像３５のデータ量と同じである。Ｒ成分学習画像３５のデータ列をエッジ学習画像３４に連結した場合、連結学習データ３８におけるエッジ学習画像３４とＲ成分学習画像３５との比は、１対１となる。しかし、Ｒ成分学習画像３５は、上述のように、エッジ学習画像３４に比べて単純な画像である。連結学習データ３８では、エッジ学習画像３４のデータと、Ｒ成分学習画像３５のデータとが区別されているため、学習部１８は、エッジ学習画像３４に含まれるエッジの複雑なパターンの特徴よりも、Ｒ成分学習画像３５に含まれる画素値の高い領域の単純なパターンの特徴を検出することが容易である。この結果、上記第１の実施の形態とは逆に、パターンデータ５０Ａにおいて、Ｒ成分学習画像３５のパターンの影響が、エッジ学習画像３４のパターンの影響よりも大きくなる。
　縮小学習画像３５ａは、Ｒ成分学習画像３５のサイズ（高さ及び幅）を縮小することにより生成される。縮小学習画像３５ａのデータ量は、エッジ学習画像３４のデータ量よりも小さい。連結学習データ３８において縮小学習画像３５ａが占める比率は、縮小率が大きくなるにつれて低下する。連結学習データ３８における縮小学習画像３５ａの比率を小さくすることにより、パターンデータ５０ＡにおいてＲ成分学習画像３５の影響を小さくすることができる。従って、Ｒ成分学習画像３５のサイズを縮小する処理は、Ｒ成分学習画像３５が有する画素の画素値を重み付けする処理に相当する。
　｛２．車両検出処理｝
　図１２は、車両検出処理を実行する物体検出装置２の動作を示すフローチャートである。図１３は、物体検出装置２が車両検出処理を実行するときにおける画像の遷移の一例を示す図である。図１３に示す窓画像４２、グレースケール窓画像４３、エッジ窓画像４４、及びＲ成分窓画像４５は、図６に示す各画像と同じである。図１２及び図１３を参照しながら、車両検出処理を実行する物体検出装置２の動作を説明する。
　図１２に示す車両検出処理において、図４に示すステップＳ２４及びＳ２６に代えて、サイズ変更による重み付け処理（ステップＳ６１）と連結処理（ステップＳ６２）が実行される。ステップＳ６１及びＳ６２は、ステップＳ５１及びＳ５２と同様の処理である。このため、ステップＳ６１及びＳ６２の詳細な説明を省略する。
　色抽出部１４は、重み付け処理（ステップＳ６１）として、Ｒ成分窓画像４５のサイズを縮小する処理を実行する。これにより、縮小窓画像４５ａが、Ｒ成分窓画像４５から生成される。縮小率は、学習処理で用いられた縮小率と同じ（６０％）である。連結部７０は、エッジ窓画像４４のデータ列の末尾に、縮小窓画像４５ａのデータ列を連結して、連結窓データ４８を生成する（ステップＳ６２）。連結窓データ４８は、連結学習データ３８と同様に、エッジ窓画像４４が有する各画素の画素値と、縮小窓画像４５ａが有する各画素の画素値とにより構成される１次元の配列である。尤度算出部１６は、連結窓データ４８を用いて、窓画像４２に対応する検出窓４０の車両尤度２７を算出する（ステップＳ２７）。図１３に示すように、窓画像４２は、後面画像を含む。従って、窓画像４２から算出される車両尤度２７は、１に近い値（０．８９）を有する。
　図１４は、物体検出装置２が車両検出処理を実行するときにおける画像の遷移の他の例を示す図である。図１４に示す窓画像５２、グレースケール窓画像５３、エッジ窓画像５４、及びＲ成分窓画像５５は、図７に示す各画像と同じである。色抽出部１４は、Ｒ成分窓画像５５を縮小して縮小窓画像５５ａを生成する。エッジ窓画像５４のデータ列に縮小窓画像５５ａのデータ列を連結することにより、連結窓データ５８が生成される。連結窓データ５８は、連結学習データ３８と同様に、エッジ窓画像５４が有する各画素の画素値と、縮小窓画像５５ａが有する各画素の画素値とにより構成される１次元の配列である。
　図１４に示すように、窓画像５２は、後面画像を含まない。従って、窓画像５２から算出される車両尤度２７は、０に近い値（０．１３）を有する。
　以上説明したように、物体検出装置２は、物体検出装置１と同様に、窓画像２２に含まれる物体の形状を示す特徴量（エッジ）だけでなく、窓画像２２の色成分の情報を用いて、車両尤度２７を算出する。これにより、誤検出を抑制することができる。
　上記実施の形態において、物体検出装置１，２は、撮影画像２１から自動車の後面を検出する例を説明したが、これに限られない。検出対象は、自動車ではなく、道路標識などの他の物体であってもよい。
　上記実施の形態において、エッジ学習画像及びＲ成分学習画像から合成学習画像を生成する例、エッジ学習画像及びＲ成分学習画像から連結学習データを生成する例を説明したが、これに限られない。学習部１８は、エッジ学習画像とＲ成分学習画像とを個別に学習してもよい。この場合、尤度算出部は、エッジ学習画像の学習により生成されたパターンデータを参照して、エッジ窓画像から第１の車両尤度を算出する。また、尤度算出部は、Ｒ成分学習画像の学習により生成されたパターンデータを参照して、Ｒ成分窓画像から第２の車両尤度を算出する。
　また、上記実施の形態において、色抽出部１４は、学習画像３２からＲ成分を抽出する例を説明したが、これに限られない。色抽出部１４は、検出対象の物体に応じて、Ｇ成分あるいはＢ成分を学習画像３２から抽出してもよい。この場合、窓画像２２から抽出される色成分は、学習画像３２から抽出される色成分に応じて変化する。
　また、上記実施の形態において、Ｒ成分窓画像２５及びＲ成分学習画像３５の各々の画素値に重み付けを行う例を説明したが、これに限られない。色抽出部１４は、Ｒ成分窓画像２５及びＲ成分学習画像３５に代えて、エッジ学習画像３４及びエッジ窓画像２４に対して重み付けを行ってもよい。
　この場合、エッジ窓画像２４及びエッジ学習画像３４の各画素値に対して１以上の係数が乗算される。あるいは、エッジ窓画像２４及びエッジ学習画像３４が１００％よりも大きい倍率で拡大される。つまり、上記実施の形態に係る物体検出装置は、エッジ学習画像３４及びＲ成分学習画像３５の少なくとも一方を重み付けし、エッジ窓画像２４及びＲ成分窓画像２５の少なくとも一方を重み付けすればよい。
　また、上記実施の形態において、物体検出装置１,２に入力される学習画像３２のサイズが窓画像２２のサイズと同じである例を説明したが、これに限られない。物体検出装置１，２に入力される学習画像３２のアスペクト比が窓画像２２のアスペクト比に一致していれば、物体検出装置１,２に入力される学習画像３２のサイズが窓画像２２のサイズと同じでなくてもよい。この場合、窓画像２２から尤度を算出する前、又は、窓画像２２に対して特徴量を抽出する処理を実行する前に、窓画像２２のサイズを学習画像のサイズに一致するように変更すればよい。
　また、上記実施の形態において、尤度算出部１６及び学習部１８がニューラルネットワークを用いる例を説明したが、これに限られない。学習部１８は、ニューラルネットワーク以外のパターンマッチングのプログラム（例えば、サポートベクターマシン）を用いてもよい。尤度算出部１６に実装されるアルゴリズムは、学習部１８に実装されるアルゴリズムに応じて変更される。
　上記実施の形態で説明した物体検出装置１，２において、各機能部は、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されてもよい。集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
　また、上記実施の形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
　また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
　前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリを挙げることができる。
　上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
　また、文言「部」は、「サーキトリー（ｃｉｒｃｕｉｔｒｙ）」を含む概念であってもよい。サーキトリーは、ハードウェア、ソフトウェア、あるいは、ハードウェアおよびソフトウェアの混在により、その全部または一部が、実現されるものであってもよい。
　この発明を添付図面に示す実施態様について説明したが、この発明は、その詳細な説明の記載をもって制約されるものではなく、請求の範囲に記載する範囲において広く構成される。 

Claims (9)

  1. 　物体検出装置であって、
    　カラーのフレーム画像に対して検出窓を設定する検出窓設定部と、
    　前記検出窓に含まれる物体の形状を示す特徴量を前記フレーム画像から抽出して形状特徴データを生成する形状抽出部と、
    　前記検出窓から所定の色成分を抽出して色特徴データを生成する色抽出部と、
    　前記形状特徴データと前記色特徴データとから、前記検出窓が対象物を含むであろう尤度を算出する尤度算出部と、
    を備える。
  2. 　請求項１に記載の物体検出装置であって、さらに、
    　前記形状特徴データと前記色特徴データとから、前記尤度の算出対象となる算出対象データを生成する生成部、
    を備え、
    　前記尤度算出部は、前記生成部により生成された算出対象データから前記尤度を算出する。
  3. 　請求項２に記載の物体検出装置であって、
    　前記形状特徴データは、前記検出窓のエッジを強調したエッジ画像であり、
    　前記色特徴データは、前記検出窓が有する複数の色成分から前記所定の色成分を抽出した色成分画像であり、
    　前記生成部は、前記エッジ画像と前記色成分画像とを合成して前記算出対象データを生成する。
  4. 　請求項３に記載の物体検出装置であって、
    　前記生成部は、前記エッジ画像の各画素が有する画素値と、前記色成分画像の各画素が有する画素値の少なくとも一方を重み付けする。
  5. 　請求項２に記載の物体検出装置であって、
    　前記形状特徴データは、前記フレーム画像のエッジを強調したエッジ画像であり、
    　前記色特徴データは、前記フレーム画像が有する複数の色成分から前記所定の色成分を抽出した色成分画像であり、
    　前記生成部は、前記エッジ画像の各画素が有する画素値を配列したデータ列と、前記色成分画像の各画素が有する画素値を配列したデータ列とを連結することにより、前記算出対象データを生成する。
  6. 　請求項５に記載の物体検出装置であって、
    　前記生成部は、前記エッジ画像のサイズを変更し、サイズが変更されたエッジ画像の各画素が有する画素値を配列したデータ列と、前記色成分画像の各画素が有する画素値を配列したデータ列とを連結する。
  7. 　請求項５に記載の物体検出装置であって、
    　前記生成部は、前記色成分画像のサイズを変更し、前記エッジ画像の各画素が有する画素値を配列したデータ列と、サイズが変更された色成分画像の各画素が有する画素値を配列したデータ列とを連結する。
  8. 　請求項１に記載の物体検出装置であって、
    　前記形状抽出部は、対象物を含む学習画像から学習用の形状特徴データを生成し、
    　前記色抽出部は、前記学習画像から前記学習用の色特徴データを生成し、
    　前記物体検出装置は、
    　前記学習用の形状特徴データ及び前記学習用の色特徴データを用いて、前記対象物のパターンデータを生成する学習部、
    を含み、
    　前記尤度算出部は、前記パターンデータを用いて、前記尤度を算出する。
  9. 　物体検出装置に搭載されるコンピュータに、
    　カラーのフレーム画像に対して検出窓を設定するステップと、
    　前記検出窓に含まれる物体の形状を示す特徴量を前記フレーム画像から抽出して形状特徴データを生成するステップと、
    　前記検出窓から所定の色成分を抽出して色特徴データを生成するステップと、
    　前記形状特徴データと前記色特徴データとから、前記検出窓が対象物を含むであろう尤度を算出するステップと、
    を実行させるための物体検出プログラム。
PCT/JP2015/057957 2014-03-27 2015-03-17 物体検出装置 WO2015146728A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-067124 2014-03-27
JP2014067124A JP6340228B2 (ja) 2014-03-27 2014-03-27 物体検出装置

Publications (1)

Publication Number Publication Date
WO2015146728A1 true WO2015146728A1 (ja) 2015-10-01

Family

ID=54195250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/057957 WO2015146728A1 (ja) 2014-03-27 2015-03-17 物体検出装置

Country Status (2)

Country Link
JP (1) JP6340228B2 (ja)
WO (1) WO2015146728A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018014064A (ja) * 2016-07-19 2018-01-25 Ｇｆｔ株式会社 室内用自走式ロボットの位置測定システム
US10423860B1 (en) * 2019-01-22 2019-09-24 StradVision, Inc. Learning method and learning device for object detector based on CNN to be used for multi-camera or surround view monitoring using image concatenation and target object merging network, and testing method and testing device using the same
US10430691B1 (en) * 2019-01-22 2019-10-01 StradVision, Inc. Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring
CN111695491B (zh) * 2020-06-10 2023-12-19 阿波罗智联(北京)科技有限公司 用于检测行人的方法和装置
JP2022123235A (ja) * 2021-02-12 2022-08-24 オムロン株式会社 画像検査装置、画像検査方法及び学習済みモデル生成装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007180930A (ja) * 2005-12-28 2007-07-12 Canon Marketing Japan Inc 画像結合装置および画像結合方法およびプログラムおよび記録媒体
JP2008533892A (ja) * 2005-03-17 2008-08-21 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ビデオシーケンスにおけるオブジェクト追跡の方法
JP2012221070A (ja) * 2011-04-05 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 特徴選択情報作成装置、画像識別装置、特徴選択情報作成方法、および特徴選択情報作成プログラム
JP2013254262A (ja) * 2012-06-05 2013-12-19 Toshiba Corp 移動体検出装置、移動体検出システム、および、移動体検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008533892A (ja) * 2005-03-17 2008-08-21 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー ビデオシーケンスにおけるオブジェクト追跡の方法
JP2007180930A (ja) * 2005-12-28 2007-07-12 Canon Marketing Japan Inc 画像結合装置および画像結合方法およびプログラムおよび記録媒体
JP2012221070A (ja) * 2011-04-05 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 特徴選択情報作成装置、画像識別装置、特徴選択情報作成方法、および特徴選択情報作成プログラム
JP2013254262A (ja) * 2012-06-05 2013-12-19 Toshiba Corp 移動体検出装置、移動体検出システム、および、移動体検出方法

Also Published As

Publication number Publication date
JP2015191369A (ja) 2015-11-02
JP6340228B2 (ja) 2018-06-06

Similar Documents

Publication Publication Date Title
JP6088792B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP4952625B2 (ja) 透視変換歪み発生文書画像補正装置および方法
WO2015146728A1 (ja) 物体検出装置
JP6371553B2 (ja) 映像表示装置および映像表示システム
JP2014115978A (ja) 移動物体認識装置及びこれを用いた報知装置及びその移動物体認識装置に用いる移動物体認識用プログラム及び移動物体認識装置を備えた移動体
JPWO2018147059A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2011165170A (ja) 対象物検出装置及びプログラム
JP5100688B2 (ja) 対象物検出装置及びプログラム
JP5201184B2 (ja) 画像処理装置及びプログラム
JP5911062B2 (ja) 物体検出装置およびプログラム
JP6340227B2 (ja) 人物検出装置
JP2014010633A (ja) 画像認識装置、画像認識方法、及び画像認識プログラム
US9607398B2 (en) Image processing apparatus and method of controlling the same
JP7136721B2 (ja) 演算装置、視差算出方法
JP5020920B2 (ja) 歩行者検出装置及びプログラム
JP2010237976A (ja) 光源情報取得装置、陰影検出装置、陰影除去装置、それらの方法、及びプログラム
JP5911063B2 (ja) 物体検出装置およびプログラム
JP6280412B2 (ja) 物体検出装置
JP2019100937A (ja) 欠陥検査装置及び欠陥検査方法
JP6276504B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP2011155365A (ja) 画像処理装置および画像処理方法
JP2008040724A (ja) 画像処理装置、及び画像処理方法
JP2007043285A (ja) 振れベクトル検出装置、カメラシステム、振れベクトル検出方法、及び振れベクトル検出プログラム
JP2016062447A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6121768B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15769517

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15769517

Country of ref document: EP

Kind code of ref document: A1