WO2013035445A1 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
WO2013035445A1
WO2013035445A1 PCT/JP2012/068440 JP2012068440W WO2013035445A1 WO 2013035445 A1 WO2013035445 A1 WO 2013035445A1 JP 2012068440 W JP2012068440 W JP 2012068440W WO 2013035445 A1 WO2013035445 A1 WO 2013035445A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
window
detection
degree
image processing
Prior art date
Application number
PCT/JP2012/068440
Other languages
English (en)
French (fr)
Inventor
雄基 原口
長谷川　弘
Original Assignee
株式会社メガチップス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社メガチップス filed Critical 株式会社メガチップス
Priority to US14/343,182 priority Critical patent/US9373027B2/en
Priority to EP12830080.3A priority patent/EP2755184A4/en
Publication of WO2013035445A1 publication Critical patent/WO2013035445A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Definitions

  • the present invention relates to an object detection apparatus that determines whether or not a detection target exists in an image.
  • an object detection device that determines whether or not a detection target exists in an image taken by a camera.
  • the object detection device is mounted on a vehicle together with a camera.
  • the object detection device can notify the driver of the presence of a pedestrian by determining whether or not a person is present in an image captured by the camera.
  • the driver of the vehicle can easily grasp the situation outside the vehicle.
  • the object detection device uses an algorithm such as a neural network having a learning function or a support vector machine in order to determine whether or not a detection target exists in an image.
  • the object detection device sets an area (detection window area) for detecting an object for the input image.
  • the object detection device determines whether or not the detection target is included in the image of the detection window region using a program in which the above algorithm is implemented.
  • the object detection device of Patent Document 1 creates a similarity histogram using an image including a person and an image including a person other than the person, and the detection target object is included in the image in the detection window region using the similarity histogram. Determine if it exists.
  • the image recognition device of Patent Document 2 detects a pedestrian from an image taken by an in-vehicle camera. Specifically, the image recognition apparatus of Patent Document 2 compares a candidate object with a head, a limb, and the like constituting the pedestrian when a candidate object that may be a pedestrian is detected from an image using a neural network. Thus, it is determined whether or not the candidate object is a pedestrian.
  • the image recognition apparatus of Patent Document 3 sets a plurality of detection windows in which detection target areas partially overlap, and executes pattern matching for each detection window using a reference pattern of a recognition target (pedestrian or the like).
  • the image recognition apparatus of Patent Document 3 integrates the results of each pattern matching for an area where pattern matching has been executed a plurality of times. Based on the integration result, the position of the pedestrian is specified.
  • the conventional apparatuses described in Patent Documents 1 to 3 determine the detection target when determining whether the detection target exists in the search window set in the image captured by the camera.
  • Feature data indicating features is used. For example, when the presence or absence of a detection target is determined using a neural network, a conventional device learns the characteristics of the object to be detected based on a sample image including the detection target and generates feature data.
  • An object detection apparatus for detecting a detection target object from an input image includes a detection window setting unit that sets a detection window area for detecting a detection target object from the input image, and a normal window image from the detection window area of the input image.
  • An image processing unit that generates a changed input image by performing predetermined image processing on the input image, and cuts out the changed window image from the detection window area of the changed input image, and features that indicate the characteristics of the detection target
  • a degree calculating unit that calculates a first degree indicating the possibility that the detection target exists in the normal window image and a second degree indicating the possibility that the detection target exists in the changed window image based on the data.
  • a determination unit that determines whether or not a detection target exists in the detection window region based on the first degree and the second degree.
  • An object detection method for detecting a detection object from an input image includes a step of setting a detection window area for detecting a detection object from the input image, and a normal window image is cut out from the detection window area of the input image. , Generating a changed input image by performing predetermined image processing on the input image, cutting out the changed window image from the detection window area of the changed input image, and based on the feature data indicating the characteristics of the detection object, Calculating a first degree indicating the possibility that the detection object exists in the normal window image and a second degree indicating the possibility that the detection object exists in the changed window image; and the first degree Determining whether or not a detection object exists in the detection window region based on the second degree.
  • the object detection apparatus cuts out a normal window image from the detection window area of the input image and generates a modified window image by performing predetermined image processing on the detection window area of the input image.
  • the object detection device calculates a first degree indicating the possibility that the detection target exists in the normal window image, and calculates a second degree indicating the possibility that the detection target exists in the changed window image. Based on the first degree and the second degree, it is determined whether or not the detection target exists in the detection window region.
  • the object detection apparatus since the object detection apparatus generates a plurality of window images from one detection window area, it can determine with high accuracy whether or not a detection target exists in the detection window area.
  • An object of the present invention is to provide an object detection apparatus capable of detecting a detection target object with high accuracy from an input image.
  • FIG. 1 It is a functional block diagram which shows the structure of the object detection apparatus by the 1st Embodiment of this invention. It is a flowchart which shows operation
  • FIG. It is a flowchart which shows the detail of the determination process shown in FIG. It is a figure which shows the coefficient table stored in the memory
  • FIG. 1 is a functional block diagram of an object detection apparatus 1 according to the first embodiment of the present invention.
  • the object detection device 1 is a device that determines whether or not a detection target exists from a captured image captured by a camera (not shown).
  • the object detection device 1 is mounted on a vehicle together with a camera.
  • the detection target is a person (pedestrian).
  • the object detection apparatus 1 includes a detection window setting unit 11, an image processing unit 12, a degree calculation unit 13, and a determination unit 14.
  • the detection window setting unit 11 inputs image data 20 from the camera.
  • the image data 20 is an image captured by the camera and is input in units of frames.
  • the detection window setting unit 11 sets a detection window region for a frame (hereinafter referred to as a captured image 21) input from the camera.
  • the detection window area is a unit area for determining whether or not there is a pedestrian in the captured image 21.
  • the normal window image 22 is generated by cutting out the image in the detection window area from the captured image 21.
  • the image processing unit 12 generates a modified captured image by performing image processing of preset contents on the captured image 21. For example, the image processing unit 12 enlarges the captured image 21 at a predetermined magnification. The image processing unit 12 creates a modified window image 23 by cutting out an image of the detection window area from the enlarged captured image 21 (modified captured image). Since the size of the detection window area is not changed when the captured image 21 is enlarged, the size of the normal window image 22 and the size of the change window image 23 are the same.
  • the number of change window images 23 may be one or plural.
  • the image processing unit 12 executes a plurality of types of image processing according to the number of changed window images 23.
  • the image processing unit 12 When three modified window images 23 are created, the image processing unit 12 generates, for example, three modified captured images by executing an enlargement process, a reduction process, and a rotation process on the captured image 21, for example. To do.
  • the image processing unit 12 cuts out the image of the detection window region from the three changed images, thereby creating three changed window images 23, 23,... According to the contents of the respective image processes.
  • the degree calculation unit 13 Based on the feature data 51 stored in the storage unit 15, the degree calculation unit 13 indicates a degree indicating the possibility that a pedestrian exists in each of the normal window image 22 and the modified window image 23 (hereinafter referred to as “match rate”). Calculated). When there are a plurality of change window images 23, the degree calculation unit 13 calculates the matching rate of the respective change window images. For example, an algorithm such as a neural network or a support vector machine is used for calculating the coincidence rate. When these algorithms are used, the degree calculation unit 13 needs to extract the features of the pedestrian from the image where the pedestrian is present and create the feature data 51 in advance.
  • the determination unit 14 determines whether there is a pedestrian in the detection window area based on the matching rate of the normal window image 22 and the matching rate of the changed window image 23. Specifically, the determination unit 14 multiplies the matching rate of the normal window image 22 and the matching rate of the changed window image 23 by a weighting coefficient 52.
  • the weighting coefficient 52 is set to the same value for each of the normal window image 22 and the modified window image 23 regardless of the position of the detection window region. When there are a plurality of change window images 23, the weighting coefficient 52 is set according to the contents of the image processing performed to generate each change window image 23.
  • the determination unit 14 determines whether or not a pedestrian exists in the detection window region based on a value obtained by summing the multiplication values of the window images. The determination result is output from the determination unit 14 as result data 25.
  • the storage unit 15 is, for example, a hard disk device or a flash memory.
  • the storage unit 15 stores the feature data 51 and the weighting coefficient 52 of each window image.
  • FIG. 2 is a flowchart showing the operation of the object detection apparatus 1.
  • the object detection device 1 executes the process shown in FIG. 2 every time a frame (captured image 21) is input from the camera.
  • the detection window setting unit 11 sets one detection window area for the captured image 21 (step S1).
  • the detection window area is set so as to scan the captured image 21 from the upper left to the lower right. It is desirable that a part of the detection window area overlaps with another detection window area. Thereby, when a pedestrian exists in the captured image 21, it becomes possible to detect the pedestrian without omission.
  • FIG. 3 is a diagram illustrating an example of the captured image 21. Since the pedestrian is long in the vertical direction, the detection window areas 41 to 43 are vertically long rectangles. Hereinafter, unless otherwise specified, the operation of the object detection apparatus 1 will be described using the case where the detection window region 41 is set in step S1 as an example.
  • FIG. 4 is a diagram showing a window image cut out from the captured image 21 shown in FIG.
  • the detection window setting unit 11 cuts out an image in the area set as the detection window area 41 from the captured image 21 as a normal window image 32 (step S2).
  • FIG. 5 is a diagram illustrating an example of a change window image created by the image processing unit 12.
  • the image processing unit 12 performs image processing for enlargement, reduction, and rotation on the captured image 21 (step S3).
  • the image processing unit 12 cuts out the enlarged window image 33A, the reduced window image 33B, and the rotating window image 33C from each of the enlarged, reduced, and rotated captured images 21 (step S4).
  • the enlarged window image 33A, the reduced window image 33B, and the rotating window image 33C are collectively referred to as a “changed window image 33”.
  • the image processing unit 12 specifies the position of the pixel of the captured image 21 and the position of the detection window region 41 using absolute coordinates with the center O of the captured image 21 as the origin.
  • the image processing unit 12 rotates each pixel of the captured image 21 by 30 degrees in the right direction around the point 41 ⁇ / b> P that is the center of the detection window region 41.
  • the image processing unit 12 does not rotate the coordinates of each vertex of the detection window region 41.
  • the region cut out as the rotation window image 33 ⁇ / b> C is different from the region cut out as the normal window image 32.
  • the image processing unit 12 When generating the enlarged window image 33A, the image processing unit 12 performs the enlargement process of the captured image 21 around the point 41P.
  • the image processing unit 12 generates an enlarged window image 33A by cutting out the image of the detection window area 41 from the enlarged photographed image 21.
  • the image processing unit 12 When generating the reduced window image 33B, the image processing unit 12 performs a reduction process on the captured image 21 around the point 41P.
  • the image processing unit 12 generates a reduced window image 33B by cutting out the image of the detection window region 41 from the reduced captured image 21.
  • the image processing unit 12 may generate the changed window image 33 by performing enlargement, reduction, and rotation processing on the normal window image 32.
  • the degree calculation unit 13 calculates a degree (coincidence rate) indicating the possibility that a pedestrian exists in each window image (step S5).
  • the coincidence rate is calculated by performing neural network processing on each window image.
  • the matching rate is a numerical value of 0 or more and 1 or less. The coincidence rate approaches 1 as the pedestrian is more likely to be present in the window image.
  • the degree calculation unit 13 needs to generate the feature data 51 in advance when calculating the coincidence rate using the neural network. Here, generation of the feature data 51 will be described.
  • the degree detection unit 13 is the same size as the detection window region 41 and includes sample image data 55, 55,... Including pedestrians (persons) (FIGS. 6 and 6). 7).
  • sample image data 55 either a normalized image data group or an unnormalized image data group is input.
  • the degree calculation unit 13 learns a person pattern in an image having the same size as the detection window region 41 based on the input sample image data 55.
  • the degree calculation unit 13 stores a learning result based on the plurality of sample image data 55, 55,... As one feature data 51 in the storage unit 15.
  • FIG. 6 is a diagram showing the sample image data 55 that has been normalized.
  • the sample image data 55 shown in FIG. 6 has almost the same size, head position, foot position, and the like.
  • the degree calculation unit 13 When the feature data 51 is generated based on the sampled image data 55 that has been normalized, it is possible to prevent the degree calculation unit 13 from calculating a matching rate close to 1 for a window image that does not include a person. it can.
  • FIG. 7 shows sample image data 55 that has not been normalized.
  • the size of the pedestrian and the position of the pedestrian in the image vary.
  • the degree calculation unit 13 matches the normal window image 32 with the matching rate regardless of the position and size of the pedestrian in the normal window image 32. As a result, a value close to 1 can be calculated.
  • the degree calculation unit 13 cannot calculate a matching rate close to 1 for a window image including a pedestrian located far away.
  • the degree determination unit 13 has a matching rate close to 1 for a window image including a pedestrian located far away. Can be calculated.
  • the non-normalized sample image data 55 includes various person patterns. For this reason, the degree determination unit 13 may calculate a matching rate close to 1 for a window image that does not include a person.
  • the object detection apparatus 1 can determine with high accuracy whether or not there is a pedestrian in the detection window region 41 by using the matching rate of the modified window image 33 in addition to the matching rate of the normal window image 32. It can. The reason for this will be described later.
  • the determination unit 14 determines whether or not there is a pedestrian in the detection window region 41 based on the matching rates of the normal window image 32 and the changed window image 33 (step S6). Details of step S6 will be described later.
  • the detection window setting unit 11 confirms whether or not the setting of the detection window area for the captured image 21 has been completed (step S7). If the setting of the detection window area has not ended (No in step S7), the detection window setting unit 11 returns to step S1 in order to set a new detection window area. On the other hand, when the setting of the detection window region is completed (Yes in step S7), the object detection device 1 ends the process shown in FIG. When a new frame (captured image 21) is input, the object detection device 1 executes the process illustrated in FIG. 2 again.
  • FIG. 8 is a flowchart of the determination process (step S6).
  • FIG. 9 is a diagram illustrating an example of the coefficient table 53 in which the weighting coefficient 52 is set.
  • the coefficient table 53 is set with weighting coefficients 52, 52,... According to the contents of image processing (enlargement, reduction, and rotation).
  • the weighting coefficient 52 is a coefficient that is multiplied by the matching rate calculated from each window image.
  • the weighting coefficient 52 set for the window image without image processing (normal window image 32) is 1.8.
  • the weighting coefficients set for the enlarged window image 33A, the reduced window image 33B, and the rotating window image 33C are 1.4, 1.4, and 1.2, respectively.
  • the weighting coefficient of the matching rate of the normal window image 32 is the maximum, but each weighting coefficient may be changed as appropriate.
  • the determination unit 14 multiplies the matching rate of each window image by a weighting coefficient to calculate a multiplication value (step S612).
  • FIG. 10 shows a specific example of the coincidence rate and the multiplication value calculated from the window images corresponding to the detection window regions 41 to 43.
  • the numerical value (without parentheses) of each window image is a multiplication value of each window image.
  • the numerical value in the parentheses of the window image is the matching rate of each window image.
  • the determination unit 14 adds up the multiplication values calculated for each window image in the detection window region 41 (step S613).
  • the total value shown in FIG. 10 is the total value of the multiplication values of the window images.
  • the determination unit 14 compares a preset threshold value with a total value (4.63) obtained by summing the multiplication values of the window images (4.63). Step S614). It is assumed that the threshold set in the determination unit 14 is 3.5. In this case, since the total value (4.63) of the detection window area 41 is larger than the threshold value (Yes in step S614), the determination unit 14 determines that the detection object (pedestrian) exists in the detection window area 41. (Step S615).
  • the determination unit 14 determines that there is no pedestrian in the detection window region 43 (step S616).
  • the reason why the object detection apparatus 1 can determine with high accuracy whether or not a pedestrian exists in the detection window area will be described using the detection window area 42 as an example.
  • FIG. 11 shows a window image 34 and an enlarged window image 35A in the detection window region 42.
  • the size of the pedestrian 42A in the enlarged window image 35A is substantially the same as the size of the person in the normalized sample image data 55 (see FIG. 6). For this reason, in the coincidence rate of the detection window region 42 (see FIG. 10), it can be seen that the coincidence rate of the enlarged window image 35A is the maximum (0.95).
  • the coincidence rate of the window image 34 is an intermediate value (0.55).
  • the object detection apparatus 1 determines whether or not a pedestrian exists in the detection window region 42 using not only the window image 34 but also the enlarged window image 35A. This makes it possible to determine with high accuracy whether or not there is a pedestrian in the detection window region 42.
  • the object detection apparatus 1 cannot calculate a coincidence rate close to 1 from the window image.
  • the reduced window image generated by reducing the captured image 21 may include the whole body of the pedestrian.
  • the object detection apparatus 1 can obtain a matching rate close to 1 from the reduced window image. Therefore, even if it is a case where a pedestrian cannot be detected only from the window image 34, it can be detected with high precision whether a pedestrian exists in a detection window area
  • the sample image data 55, 55,... That is not normalized does not have a constant human pattern as shown in FIG.
  • the coincidence rate of window images including pedestrians is an intermediate value (for example, about 0.4 to 0.6).
  • the object detection apparatus 1 can determine with high accuracy whether or not there is a pedestrian in the detection window region by using the coincidence rate of the plurality of window images.
  • the contents of the determination process are different.
  • the determination process step S6
  • the determination unit 14 determines whether there is a pedestrian for each window image, and determines whether there is a pedestrian in the detection window area based on the determination result of each window image. Judgment finally.
  • FIG. 12 is a diagram showing the matching rate of each window image and the determination result of each detection window area in the present embodiment.
  • the matching rate of each window image shown in FIG. 12 is the same as the value shown in FIG.
  • the object detection apparatus 1 executes the processing of steps S1 to S5 shown in FIG. 2 to calculate the coincidence rate of each window image (the normal window image 32 and the changed window image 33) in the detection window area 41. And the determination part 14 performs the process shown in FIG. 13 as a determination process (step S6).
  • FIG. 13 is a flowchart showing the contents of the determination process in the second embodiment.
  • the determination unit 14 specifies a window image to be determined from the normal window image 32 and the changed window image 33 (step S621), and determines whether a pedestrian exists in the specified window image (step S622). ).
  • the determination unit 14 is preset with a threshold value for determining whether there is a pedestrian for each window image.
  • the determination unit 14 compares the threshold value with the matching rate of the designated window image to determine whether or not there is a pedestrian in each window image.
  • the determination unit 14 determines that a pedestrian exists in the normal window image 32 because the matching rate (0 ⁇ 95) of the normal window image 32 exceeds the threshold (Yes in Step S622) (Step S623).
  • the determination unit 14 confirms whether or not all of the window images (the normal window image 32 and the changed window image 33) generated for determining the presence or absence of a pedestrian in the detection window area 41 are specified (step S625). . If not all window images have been designated (No in step S625), the determination unit 14 returns to the process of step S621. Thereby, the process of step S622 is performed with respect to all the window images. As shown in FIG. 12, the coincidence rates of the enlarged window image 33A, the reduced window image 33B, and the rotating window image 33C are 0.75, 0.65, and 0.80, respectively, which are below the threshold value (step) No in S622). For this reason, the determination unit 14 determines that the pedestrian does not exist in the enlarged window image 33A, the reduced window image 33B, and the rotating window image 33C (step S624).
  • the determination unit 14 determines whether or not there is a pedestrian in the detection window region 41 based on the determination results of the normal window image 32 and the changed window image 33. Determine whether. Specifically, the determination unit 14 determines that a pedestrian exists in the detection window region 41 when there is one or more window images determined to have a pedestrian (Yes in step S626) (step S627). If there is no window image at which it is determined that there is a pedestrian (No in step S626), the determination unit 14 determines that there is no pedestrian in the detection window region 41 (step S628).
  • the determination part 14 may determine whether a pedestrian exists in the detection window area
  • the determination unit 14 performs the process of determining whether or not there is a pedestrian for each window image, and based on the determination result of each window image, the detection window It is finally determined whether or not there are pedestrians in the area.
  • the object detection apparatus 1 according to the second embodiment can determine whether or not there is a pedestrian in the detection window region without multiplying the matching rate of each window image by a weighting coefficient.
  • the image processing unit 12 may generate a plurality of changed window images 33 having different enlargement ratios in the process of step S3 (see FIG. 2).
  • the determination unit 14 may set different weighting factors 52 according to the enlargement ratio when executing the determination process (step S6) of the first embodiment. The same applies to the reduction and rotation processing.
  • the enlargement, reduction, and rotation processes have been described as examples of the image processing in step S3.
  • the object detection apparatus 1 may execute various image processing in addition to the above image processing.
  • image processing unit 12 on the captured image 21 will be described.
  • the image processing unit 12 may generate a changed window image by adding white noise to the captured image 21. Further, the image processing unit 12 may generate not only white noise but also various noises such as Gaussian noise, and generate the modified window image 23 according to the type of noise. Alternatively, the image processing unit 12 may set a plurality of intensity noises in the captured image 21 and generate a plurality of change window images 23 corresponding to the respective intensities.
  • the image processing unit 12 may perform trapezoid conversion processing on the captured image 21.
  • the trapezoid conversion process is a kind of process for converting the size of the captured image, and is a process for changing the reduction ratio (or enlargement ratio) of the captured image 21 along the vertical axis direction. Also in the trapezoid conversion process, a plurality of change window images having different rates of change in the reduction rate may be generated.
  • the image processing unit 12 may invert the captured image 21 around the vertical axis (or horizontal axis) passing through the center of the captured image 21. That is, the image processing unit 12 may perform a process of inverting the captured image 21 around an arbitrary straight line passing through the captured image 21.
  • the image processing unit 12 may perform image processing for changing the contrast of the captured image 21. Specifically, the image processing unit 12 deforms the luminance distribution (histogram) of the pixels of the captured image 21 and adjusts the average value and variance value of the pixels. Thereby, even if it is the image image
  • the object detection device 1 executes a process for detecting a pedestrian from a captured image 21 captured by a camera (not shown) in real time.
  • the object detection apparatus 1 may perform the above-described object detection process on an image stored in a storage device such as a hard disk device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

入力された画像から、検出対象物を高い精度で検出することができる物体検出装置を提供することを課題とする。物体検出装置１において、検出窓設定部１１は、カメラが撮影した撮影画像２１を入力する。検出窓設定部１１は、撮影画像２１に対して検出窓領域を設定し、撮影画像２１から、検出窓領域の画像を通常窓画像２２として切り出す。画像処理部１２は、撮影画像２１に対して拡大、縮小などの画像処理を行う。拡大された撮影画像２１と、縮小された撮影画像２１から、変更窓画像２３がそれぞれ切り出される。度合い算出部１３は、検出対象物の特徴を示す特徴データ５１に基づいて、検出対象物が窓画像に存在する可能性を示す一致率を窓画像ごとに算出する。判定部１４は、各窓画像の一致率に基づいて、検出窓領域に検出対象物が存在するか否かを判定する。

Description

物体検出装置
　本発明は、検出対象物が画像に存在するか否かを判定する物体検出装置に関する。
　カメラが撮影した画像などに検出対象物が存在するか否かを判定する物体検出装置が存在する。物体検出装置は、たとえば、カメラとともに車両に搭載される。物体検出装置は、カメラが撮影した画像に人物が存在するか否かを判定することにより、運転手に歩行者の存在を知らせることができる。物体検出装置を利用することにより、車両の運転手は、車両の外部の状況を容易に把握することができる。
　物体検出装置は、検出対象物が画像に存在するか否かを判定するために、学習機能を有するニューラルネットワークや、サポートベクターマシンなどのアルゴリズムを使用する。物体検出装置は、入力された画像に対して、物体を検出する領域（検出窓領域）を設定する。物体検出装置は、上記のアルゴリズムが実装されたプログラムを用いて、検出対象物が検出窓領域の画像に含まれているか否かを判定する。
　たとえば、特許文献１の物体検出装置は、人を含む画像と、人以外を含む画像とを用いて類似度ヒストグラムを作成し、類似度ヒストグラムを用いて、検出窓領域の画像に検出対象物が存在しているか否かを判定する。
　特許文献２の画像認識装置は、車載カメラが撮影した画像から歩行者を検出する。具体的には、特許文献２の画像認識装置は、ニューラルネットワークを用いて画像から歩行者の可能性がある候補物体を検出した場合、候補物体と歩行者を構成する頭及び手足などと比較することにより、候補物体が歩行者であるか否かを判定する。
　特許文献３の画像認識装置は、検出対象の領域が一部重複する複数の検出窓を設定し、認識対象（歩行者など）の基準パターンを用いて、各検出窓に対するパターンマッチングを実行する。特許文献３の画像認識装置は、パターンマッチングが複数回実行された領域については、各パターンマッチングの結果を積分する。積分結果に基づいて、歩行者の位置が特定される。
特開２０１０－１７０２０１号公報 特開２００８－２１０３４号公報 特開２００９－７０３４４号公報
　上述のように、特許文献１～３に記載された従来の装置は、カメラが撮影した画像に設定された探索窓に検出対象物が存在するか否かを判定する際に、検出対象物の特徴を示す特徴データを用いる。たとえば、ニューラルネットワークを用いて検出対象物の有無を判定する場合、従来の装置は、検出対象物を含むサンプル画像に基づいて検出対象の物体の特徴を学習して、特徴データを生成する。
　しかし、従来の装置が様々なサンプル画像を用いて学習しても、検出窓領域内に存在する検出対象物を検出できないことがある。たとえば、検出対象物が大きすぎて検出窓領域の範囲に収まらない場合、従来の装置は、検出対象物が検出窓領域に存在すると判定することができない。
　本発明の入力画像から検出対象物を検出する物体検出装置は、入力画像に対して検出対象物を検出する検出窓領域を設定する検出窓設定部と、入力画像の検出窓領域から通常窓画像を切り出すとともに、入力画像に対して所定の画像処理を行うことにより変更入力画像を生成し、変更入力画像の検出窓領域から変更窓画像を切り出す画像処理部と、検出対象物の特徴を示す特徴データに基づいて、検出対象物が通常窓画像に存在する可能性を示す第１の度合いと、検出対象物が変更窓画像に存在する可能性を示す第２の度合いとを算出する度合い算出部と、第１の度合いと第２の度合いとに基づいて、検出窓領域に検出対象物が存在するか否かを判定する判定部と、を備える。
　本発明の入力画像から検出対象物を検出する物体検出方法は、入力画像に対して検出対象物を検出する検出窓領域を設定するステップと、入力画像の検出窓領域から通常窓画像を切り出すとともに、入力画像に対して所定の画像処理を行うことにより変更入力画像を生成し、変更入力画像の検出窓領域から変更窓画像を切り出すステップと、検出対象物の特徴を示す特徴データに基づいて、検出対象物が通常窓画像に存在する可能性を示す第１の度合いと、検出対象物が変更窓画像に存在する可能性を示す第２の度合いとを算出するステップと、第１の度合いと第２の度合いとに基づいて、検出窓領域に検出対象物が存在するか否かを判定するステップと、を備える。
　本発明の上記物体検出装置は、入力画像の検出窓領域から通常窓画像を切り出すとともに、入力画像の検出窓領域に対して所定の画像処理を行って変更窓画像を生成する。物体検出装置は、通常窓画像に検出対象物が存在する可能性を示す第１の度合いを算出し、変更窓画像に検出対象物が存在する可能性を示す第２の度合いを算出する。第１の度合いと第２の度合いとに基づいて、検出対象物が検出窓領域に存在するか否かが判定される。このように、物体検出装置は、一つの検出窓領域から複数の窓画像を生成するため、検出窓領域に検出対象物が存在するか否かを高精度で判定することができる。
　本発明の目的は、入力された画像から、検出対象物を高い精度で検出することができる物体検出装置を提供することである。
　この発明の目的、特徴、局面および利点は、以下の詳細な説明と添付図面によって、明白となる。
本発明の第１の実施の形態による物体検出装置の構成を示す機能ブロック図である。 図１に示す物体検出装置の動作を示すフローチャートである。 図１に示す物体検出装置に入力される撮影画像の一例を示す図である。 図３に示す撮影画像から切り出される窓画像を示す図である。 図３に示す撮影画像から生成される変更窓画像を示す図である。 図１に示す記憶部に格納される特徴データの生成に用いられるサンプル画像データの一例を示す図である。 図１に示す記憶部に格納される特徴データの生成に用いられるサンプル画像データの一例を示す図である。 図２に示す判定処理の詳細を示すフローチャートである 図１に示す記憶部に格納される係数テーブルを示す図である。 図３に示す検出窓領域の窓画像及び変更窓画像の一致率と乗算値とを示す表である。 図３に示す検出窓領域の窓画像及び変更窓画像を示す図である。 本発明の第２の実施の形態による物体検出装置が実行する判定処理の結果を示す図である。 本発明の第２の実施の形態による物体検出装置が実行する判定処理のフローチャートである。
　以下、図面を参照しつつ、本発明の実施の形態について説明する。
　［第１の実施の形態］
　｛全体構成｝
　図１は、本発明の第１の実施の形態に係る物体検出装置１の機能ブロック図である。物体検出装置１は、カメラ（図示省略）が撮影した撮影画像から、検出対象物が存在するか否かを判定する装置である。物体検出装置１は、カメラとともに車両に搭載される。本実施の形態では、検出対象物は、人物（歩行者）である。図１に示すように、物体検出装置１は、検出窓設定部１１と、画像処理部１２と、度合い算出部１３と、判定部１４とを備える。
　検出窓設定部１１は、カメラから画像データ２０を入力する。画像データ２０は、カメラが撮影した画像であり、フレーム単位で入力される。検出窓設定部１１は、カメラから入力されたフレーム（以下、撮影画像２１と呼ぶ。）に対して検出窓領域を設定する。検出窓領域は、撮影画像２１に歩行者が存在するか否かを判定する単位領域である。検出窓領域内の画像が撮影画像２１から切り出されることによって、通常窓画像２２が生成される。
　画像処理部１２は、撮影画像２１に対して、予め設定されている内容の画像処理を行うことにより、変更撮影画像を生成する。たとえば、画像処理部１２は、撮影画像２１を所定の倍率で拡大する。画像処理部１２は、拡大された撮影画像２１（変更撮影画像）から検出窓領域の画像を切り出すことにより、変更窓画像２３を作成する。検出窓領域のサイズは、撮影画像２１が拡大される際に、変更されないため、通常窓画像２２のサイズと、変更窓画像２３のサイズは同じである。
　なお、変更窓画像２３の数は、一つであってもよいし、複数であってもよい。複数の変更窓画像２３，２３，・・・が生成される場合、画像処理部１２は、変更窓画像２３の数に応じた複数種類の画像処理を実行する。３つの変更窓画像２３が作成される場合、画像処理部１２は、たとえば、撮影画像２１に対して、拡大処理、縮小処理、及び回転処理をそれぞれ実行することにより、３つの変更撮影画像を生成する。画像処理部１２は、３つの変更画像から検出窓領域の画像を切り出すことにより、それぞれの画像処理の内容に応じた３つの変更窓画像２３，２３，・・・を作成する。
　度合い算出部１３は、記憶部１５に格納されている特徴データ５１に基づいて、通常窓画像２２及び変更窓画像２３に歩行者がそれぞれ存在する可能性を示す度合い（以下、「一致率」と呼ぶ。）を算出する。変更窓画像２３が複数である場合、度合い算出部１３は、それぞれの変更窓画像の一致率を算出する。一致率の算出には、たとえば、ニューラルネットワークや、サポートベクターマシンなどのアルゴリズムが用いられる。これらのアルゴリズムを用いる場合、度合い算出部１３は、歩行者が存在する画像から歩行者の特徴を抽出して、特徴データ５１を予め作成しておく必要がある。
　判定部１４は、通常窓画像２２の一致率及び変更窓画像２３の一致率に基づいて、検出窓領域に歩行者が存在するか否かを判定する。具体的は、判定部１４は、通常窓画像２２の一致率と、変更窓画像２３の一致率に対して重み付け係数５２を乗算する。重み付け係数５２は、検出窓領域の位置に関係なく、通常窓画像２２と変更窓画像２３のそれぞれに対して同じ値が設定される。変更窓画像２３が複数である場合、重み付け係数５２は、それぞれの変更窓画像２３を生成するために行われた画像処理の内容に応じて設定される。判定部１４は、各窓画像の乗算値を合計した値に基づいて、検出窓領域に歩行者が存在するか否かを判定する。判定結果は、結果データ２５として判定部１４から出力される。
　記憶部１５は、たとえば、ハードディスク装置やフラッシュメモリなどである。記憶部１５は、特徴データ５１及び各窓画像の重み付け係数５２を格納する。
　｛物体検出装置１の動作｝
　以下、物体検出装置１の動作について、３種類の変更窓画像が生成される場合を例にして説明する。図２は、物体検出装置１の動作を示すフローチャートである。物体検出装置１は、カメラからフレーム（撮影画像２１）が入力されるたびに、図２に示す処理を実行する。
　検出窓設定部１１は、撮影画像２１に対して、検出窓領域を一つ設定する（ステップＳ１）。検出窓領域は、撮影画像２１を左上から右下へ走査するように設定される。検出窓領域は、他の検出窓領域と一部の領域が重複することが望ましい。これにより、歩行者が撮影画像２１に存在する場合、歩行者を漏れなく検出することが可能となる。
　図３は、撮影画像２１の一例を示す図である。歩行者が縦に長いため、検出窓領域４１～４３は、縦長の長方形となる。以下、特に説明のない限り、ステップＳ１において、検出窓領域４１が設定された場合を例にして、物体検出装置１の動作を説明する。
　図４は、図３に示す撮影画像２１から切り出された窓画像を示す図である。検出窓設定部１１は、撮影画像２１から検出窓領域４１に設定された領域内の画像を通常窓画像３２として切り出す（ステップＳ２）。
　図５は、画像処理部１２によって作成される変更窓画像の一例を示す図である。画像処理部１２は、撮影画像２１に対して、拡大、縮小及び回転の画像処理を行う（ステップＳ３）。画像処理部１２は、拡大、縮小及び回転されたそれぞれの撮影画像２１から、拡大窓画像３３Ａ、縮小窓画像３３Ｂ及び回転窓画像３３Ｃを切り出す（ステップＳ４）。以下、拡大窓画像３３Ａ、縮小窓画像３３Ｂ、及び回転窓画像３３Ｃを総称して、「変更窓画像３３」と呼ぶ。
　ステップＳ３，Ｓ４の処理について具体的に説明する。画像処理部１２は、撮影画像２１の中心Ｏを原点とした絶対座標を用いて、撮影画像２１の画素の位置と、検出窓領域４１の位置とを特定している。画像処理部１２は、回転窓画像３３Ｃを生成する場合、検出窓領域４１の中心である点４１Ｐを中心にして、撮影画像２１の各画素を右方向に３０度回転させる。回転処理が行われた撮影画像２１の画素の位置は変化するが、画像処理部１２は、検出窓領域４１の各頂点の座標を回転させない。この結果、図４及び図５に示すように、回転窓画像３３Ｃとして切り出される領域は、通常窓画像３２として切り出される領域と異なることになる。
　拡大窓画像３３Ａを生成する場合、画像処理部１２は、点４１Ｐを中心にして、撮影画像２１の拡大処理を行う。画像処理部１２は、拡大された撮影画像２１から検出窓領域４１の画像を切り出すことにより、拡大窓画像３３Ａを生成する。縮小窓画像３３Ｂを生成する場合、画像処理部１２は、点４１Ｐを中心にして、撮影画像２１の縮小処理を行う。画像処理部１２は、縮小された撮影画像２１から検出窓領域４１の画像を切り出すことにより、縮小窓画像３３Ｂを生成する。この結果、図４及び図５に示すように、拡大窓画像３３Ａとして切り出される領域は、検出窓領域４１よりも狭くなる。逆に、縮小窓画像３３Ｂとして切り出される領域は、検出窓領域４１よりも広くなる。なお、画像処理部１２は、通常窓画像３２に対して拡大、縮小及び回転処理を行うことにより、変更窓画像３３を生成してもよい。
　次に、度合い算出部１３は、それぞれの窓画像内に歩行者が存在する可能性を示す度合い（一致率）を算出する（ステップＳ５）。一致率は、各窓画像に対してニューラルネットワーク処理を行うことにより算出される。本実施の形態において、一致率は、０以上１以下の数値である。一致率は、歩行者が窓画像に存在する可能性が高いほど、１に近づく。
　度合い算出部１３は、ニューラルネットワークを用いて一致率を算出するにあたり、特徴データ５１を前もって生成しておく必要がある。ここで、特徴データ５１の生成について説明する。
　度合い検出部１３は、図２に示す処理を開始する前に、検出窓領域４１と同一のサイズであり、歩行者（人物）を含むサンプル画像データ５５，５５，・・・（図６及び図７参照）を入力する。サンプル画像データ５５として、正規化された画像データのグループか、正規化されていない画像データのグループのいずれかが入力される。度合い算出部１３は、入力されたサンプル画像データ５５に基づいて、検出窓領域４１と同サイズの画像における人物のパターンを学習する。度合い算出部１３は、複数のサンプル画像データ５５，５５，・・・に基づく学習結果を、一つの特徴データ５１として記憶部１５に格納する。
　図６は、正規化されているサンプル画像データ５５を示す図である。図６に示すサンプル画像データ５５は、人物の大きさ、頭の位置、足の位置などがほぼ同じである。正規化されているサンプル画像データ５５に基づいて特徴データ５１が生成されていた場合、度合い算出部１３が、人物を含まない窓画像に対して、１に近い一致率を算出すること防ぐことができる。
　図７は、正規化されていないサンプル画像データ５５を示す図である。図７に示すサンプル画像データ５５では、歩行者の大きさや、画像内における歩行者の位置がばらついている。このようなサンプル画像データ５５に基づいて特徴データ５１が生成されていた場合、度合い算出部１３は、通常窓画像３２内における歩行者の位置や大きさに関係なく、通常窓画像３２に対する一致率として、１に近い値を算出することができる。
　しかし、正規化されているサンプル画像データ５５と、正規化されていないサンプル画像データ５５とのいずれを用いて特徴データ５１を生成しても、誤検出を完全に防ぐことは困難である。たとえば、撮影画像２１の撮影場所から遠い位置にいる歩行者は、小さく撮影される。正規化されているサンプル画像データ５５に基づく特徴データ５１を用いた場合、度合い算出部１３は、遠くに位置する歩行者を含む窓画像に対して、１に近い一致率を算出することができない。これに対して、正規化されていないサンプル画像データ５５に基づく特徴データ５１を用いた場合、度合い判定部１３は、遠くに位置する歩行者を含む窓画像に対して、１に近い一致率を算出することができる。しかし、正規化されていないサンプル画像データ５５は、様々な人物のパターンを含んでいる。このため、度合い判定部１３は、人物を含まない窓画像に対して、１に近い一致率を算出する可能性がある。
　したがって、通常窓画像３２のみを用いて検出窓領域４１における歩行者の有無を判定した場合、サンプル画像データ５５が正規化されているか否かに関わらず、歩行者の誤検出が発生する場合がある。物体検出装置１は、通常窓画像３２の一致率に加えて、変更窓画像３３の一致率を用いることにより、検出窓領域４１に歩行者が存在するか否かを高い精度で判定することができる。この理由については、後述する。
　判定部１４は、通常窓画像３２及び変更窓画像３３のそれぞれの一致率に基づいて、検出窓領域４１に歩行者が存在するか否かを判定する（ステップＳ６）。ステップＳ６の詳細は、後述する。
　次に、検出窓設定部１１は、撮影画像２１に対する検出窓領域の設定が終了したか否かを確認する（ステップＳ７）。検出窓領域の設定が終了していない場合（ステップＳ７においてＮｏ）、検出窓設定部１１は、新たな検出窓領域を設定するために、ステップＳ１に戻る。一方、検出窓領域の設定が終了した場合（ステップＳ７においてＹｅｓ）、物体検出装置１は、図２に示す処理を終了する。物体検出装置１は、新たなフレーム（撮影画像２１）が入力された場合、図２に示す処理を再び実行する。
　｛判定処理（ステップＳ６）｝
　以下、判定処理（ステップＳ６）の詳細を説明する。図８は、判定処理（ステップＳ６）のフローチャートである。
　判定部１４は、記憶部１５から重み付け係数５２を取得する（ステップＳ６１１）。図９は、重み付け係数５２が設定された係数テーブル５３の一例を示す図である。図９に示すように、係数テーブル５３には、画像処理の内容（拡大、縮小及び回転）に応じた重み付け係数５２，５２，・・・が設定されている。重み付け係数５２は、各窓画像から算出された一致率に乗算される係数である。画像処理なしの窓画像（通常窓画像３２）に対して設定された重み付け係数５２は、１．８である。拡大窓画像３３Ａ、縮小窓画像３３Ｂ及び回転窓画像３３Ｃに対して設定された重み付け係数は、それぞれ、１．４、１．４及び１．２である。図９に示す例では、通常窓画像３２の一致率の重み付け係数が最大となっているが、それぞれの重み付け係数を適宜変更してもよい。
　判定部１４は、各窓画像の一致率に対して重み付け係数を乗算して、乗算値を算出する（ステップＳ６１２）。図１０に、検出窓領域４１～４３に対応する窓画像から算出された一致率と乗算値の具体例を示す。各窓画像の数値（カッコなし）は、各窓画像の乗算値である。窓画像のカッコ内の数値は、各窓画像の一致率である。判定部１４は、検出窓領域４１の窓画像ごとに算出された乗算値を合計する（ステップＳ６１３）。図１０に示す合計値は、各窓画像の乗算値の合計値である。
　判定部１４は、検出窓領域４１における歩行者の有無を判定するために、予め設定されたしきい値と、各窓画像の乗算値を合計した合計値（４．６３）とを比較する（ステップＳ６１４）。判定部１４に設定されたしきい値が、３．５であるとする。この場合、検出窓領域４１の合計値（４．６３）が閾値よりも大きいため（ステップＳ６１４においてＹｅｓ）、判定部１４は、検出窓領域４１に検出対象物（歩行者）が存在すると判定する（ステップＳ６１５）。
　一方、歩行者を含まない検出窓領域４３に対して判定処理を行った場合、合計値は、しきい値（３．５）よりも小さくなる（ステップＳ６１４においてＮｏ）。この場合、判定部１４は、検出窓領域４３に歩行者が存在しないと判定する（ステップＳ６１６）。
　次に、検出窓領域４２を例にして、物体検出装置１が、検出窓領域に歩行者が存在するか否かを高精度で判定できる理由を説明する。
　図１１に、検出窓領域４２における窓画像３４と、拡大窓画像３５Ａとを示す。拡大窓画像３５Ａにおける歩行者４２Ａのサイズは、正規化されたサンプル画像データ５５（図６参照）内の人物のサイズとほぼ同じである。このため、検出窓領域４２の一致率（図１０参照）において、拡大窓画像３５Ａの一致率が最大（０．９５）となっていることが分かる。一方、窓画像３４において、歩行者４２Ａは、正規化されたサンプル画像データ５５（図６参照）内の人物よりも小さい。このため、窓画像３４の一致率は、中間的な値（０．５５）となっている。これは、検出窓領域４２に歩行者が存在するか否かを窓画像３４のみを用いて判断した場合、検出窓領域４２に歩行者が存在しないと判定されるおそれがある。しかし、物体検出装置１は、窓画像３４だけでなく、拡大窓画像３５Ａを用いて、歩行者が検出窓領域４２に存在するか否かを判定する。これにより、検出窓領域４２に歩行者が存在するか否かを高精度で判定することが可能となる。
　図３に示していないが、撮影画像２１において、検出窓領域４２よりも大きいサイズの歩行者が存在する場合がある。この場合、物体検出装置１は、１に近い一致率を窓画像から算出することはできない。しかし、撮影画像２１を縮小することにより生成された縮小窓画像は、歩行者の全身を含む可能性がある。この場合、物体検出装置１は、縮小窓画像から、１に近い一致率を得ることができる。したがって、窓画像３４のみからでは歩行者を検出できない場合であっても、歩行者が検出窓領域に存在するか否かを高精度で検出できる。
　また、正規化されていないサンプル画像データ５５，５５，・・・は、図７に示すように、人物のパターンが一定でない。このため、正規化されていないサンプル画像データ５５に基づく特徴データ５１により算出された場合、歩行者を含む窓画像の一致率が中間的な値（たとえば、０．４～０．６程度）となる可能性がある。この場合、一つの窓画像だけでは、歩行者が存在するか否かを判定することが困難である。しかし、物体検出装置１は、複数の窓画像の一致率を用いることにより、検出窓領域に歩行者が存在するか否かを高精度で判定できる。
　［第２の実施の形態］
　以下、本発明の第２の実施の形態について説明する。第２の実施の形態については、第１の実施の形態と異なる部分を中心に説明する。
　第２の実施の形態では、判定処理（ステップＳ６、図２参照）の内容が異なる。判定部１４は、判定処理（ステップＳ６）において、歩行者が存在するか否かを窓画像ごとに判定し、各窓画像の判定結果に基づいて、検出窓領域に歩行者がいるか否かを最終的に判断する。
　以下、検出窓領域４１における歩行者の有無を判定する場合を例にして、本実施の形態について詳しく説明する。図１２は、本実施の形態における、各窓画像の一致率と、各検出窓領域の判定結果とを示す図である。図１２に示す各窓画像の一致率は、図１０に示す値と同じである。
　物体検出装置１は、図２に示すステップＳ１～Ｓ５の処理を実行して、検出窓領域４１の各窓画像（通常窓画像３２及び変更窓画像３３）の一致率を算出する。そして、判定部１４は、判定処理（ステップＳ６）として、図１３に示す処理を実行する。
　図１３は、第２の実施の形態における判定処理の内容を示すフローチャートである。以下、検出窓領域４１における歩行者の有無を判定する場合を例に説明する。判定部１４は、通常窓画像３２及び変更窓画像３３の中から、判定対象の窓画像を指定し（ステップＳ６２１）、指定した窓画像に歩行者が存在するか否かを判定する（ステップＳ６２２）。判定部１４には、歩行者が存在するか否かを窓画像ごとに判定するためのしきい値が予め設定されている。判定部１４は、しきい値と、指定した窓画像の一致率とを比較して、各窓画像に歩行者が存在するか否かを判定する。
　ここで、しきい値が０．８に設定され、通常窓画像３２が判定対象に指定されている場合を考える。判定部１４は、通常窓画像３２の一致率（０・９５）がしきい値を超えているため（ステップＳ６２２においてＹｅｓ）、歩行者が通常窓画像３２に存在すると判定する（ステップＳ６２３）。
　判定部１４は、検出窓領域４１における歩行者の有無を判定するために生成された窓画像（通常窓画像３２及び変更窓画像３３）の全てを指定したか否かを確認する（ステップＳ６２５）。全ての窓画像を指定していない場合（ステップＳ６２５においてＮｏ）、判定部１４は、ステップＳ６２１の処理に戻る。これにより、ステップＳ６２２の処理が、全ての窓画像に対して行われる。図１２に示すように、拡大窓画像３３Ａ、縮小窓画像３３Ｂ及び回転窓画像３３Ｃの一致率は、それぞれ、０．７５、０．６５及び０．８０であり、しきい値以下である（ステップＳ６２２においてＮｏ）。このため、判定部１４は、歩行者が拡大窓画像３３Ａ、縮小窓画像３３Ｂ及び回転窓画像３３Ｃに存在しないと判定する（ステップＳ６２４）。
　全ての窓画像が指定されていた場合（ステップＳ６２５においてＹｅｓ）、判定部１４は、通常窓画像３２及び変更窓画像３３の判定結果に基づいて、検出窓領域４１に歩行者が存在するか否かを判定する。具体的には、判定部１４は、歩行者が存在すると判定された窓画像が一つ以上ある場合（ステップＳ６２６においてＹｅｓ）、歩行者が検出窓領域４１に存在すると判定する（ステップＳ６２７）。歩行者が存在すると判定された窓画像が一つもない場合（ステップＳ６２６においてＮｏ）、判定部１４は、検出窓領域４１に歩行者が存在しないと判定する（ステップＳ６２８）。
　なお、判定部１４は、ステップＳ６２６において、他の判定基準を用いて、検出窓領域４１に歩行者が存在するか否かを判定してもよい。たとえば、歩行者が存在すると判定された窓画像の数が過半数以上である場合、判定部１４は、検出窓領域４１に歩行者が存在すると判定してもよい。あるいは、歩行者が存在しないと判定された窓画像が一つでも存在する場合、判定部１４は、歩行者が検出窓領域４１に存在しないと判定してもよい。また、判定部１４は、ステップＳ６２２の処理において、画像処理の内容に応じたしきい値を設定していてもよい。また、判定部１４は、Ｓ６２２において、検出窓領域４１の通常窓画像２２及び変更窓画像２３の一致率に重み付け係数５２を乗算してもよい。この場合、乗算値が１以上の値となる場合があるため、乗算値に応じたしきい値が設定される。
　以上説明したように、第２の実施の形態において、判定部１４は、歩行者が存在するか否かを判定する処理を窓画像ごとに行い、各窓画像の判定結果に基づいて、検出窓領域に歩行者が存在するか否かを最終的に判定する。第２の実施の形態の物体検出装置１は、各窓画像の一致率に重み付け係数を乗算することなく、検出窓領域に歩行者が存在するか否かを判定することが可能となる。
　上記第１及び第２の実施の形態において、画像処理部１２は、ステップＳ３（図２参照）の処理で、拡大率の異なる複数の変更窓画像３３を生成してもよい。判定部１４は、第１の実施の形態の判定処理（ステップＳ６）を実行する場合、拡大率に応じて異なる重み付け係数５２を設定してもよい。縮小及び回転処理についても同様である。
　上記第１及び第２の実施の形態では、ステップＳ３の画像処理の例として、拡大、縮小、及び回転処理を説明した。物体検出装置１は、上記の画像処理の他にも、様々な画像処理を実行してもよい。以下、画像処理部１２が撮影画像２１に対して実行する画像処理の具体例を説明する。
　画像処理部１２は、撮影画像２１に対してホワイトノイズを付与して変更窓画像を生成してもよい。また、画像処理部１２は、ホワイトノイズだけでなく、ガウスノイズなど様々なノイズを付与し、ノイズの種類に応じた変更窓画像２３を生成してもよい。あるいは、画像処理部１２は、複数の強度のノイズを撮影画像２１に設定し、各強度に対応する複数の変更窓画像２３を生成してもよい。
　画像処理部１２は、撮影画像２１に対して、台形変換処理を実行してもよい。台形変換処理は、撮影画像のサイズを変換する処理の一種であり、撮影画像２１の縮小率（または拡大率）を縦軸方向に沿って変化させる処理である。台形変換処理においても、縮小率の変化率が異なる複数の変更窓画像を生成してもよい。
　画像処理部１２は、撮影画像２１の中心を通る縦軸（または横軸）を中心にして、撮影画像２１を反転させてもよい。つまり、画像処理部１２は、撮影画像２１を通る任意の直線を中心にして、撮影画像２１を反転する処理を行ってもよい。
　画像処理部１２は、撮影画像２１のコントラストを変更する画像処理を行ってもよい。具体的には、画像処理部１２は、撮影画像２１の画素の輝度分布（ヒストグラム）を変形して、画素の平均値や分散値を調整する。これにより、夜間に撮影された画像であっても、歩行者が存在するか否かを高精度で検出することができる。
　上記第１及び第２の実施の形態では、物体検出装置１が、カメラ（図示省略）が撮影した撮影画像２１から歩行者を検出する処理をリアルタイムで実行する例を説明した。しかし、物体検出装置１は、ハードディスク装置などの記憶装置に格納されている画像に対して、上記の物体検出処理を行ってもよい。
　この発明を添付図面に示す実施態様について説明したが、この発明は、特に明記した部分を除いては、その詳細な説明の記載をもって制約しようとするものではなく、特許請求の範囲に記載する範囲において広く構成しようとするものである。

Claims (7)

  1. 　入力画像から検出対象物を検出する物体検出装置であって、
    　前記入力画像に対して前記検出対象物を検出する検出窓領域を設定する検出窓設定部と、
    　前記入力画像の検出窓領域から通常窓画像を切り出すとともに、前記入力画像に対して所定の画像処理を行うことにより変更入力画像を生成し、前記変更入力画像の検出窓領域から変更窓画像を切り出す画像処理部と、
    　前記検出対象物の特徴を示す特徴データに基づいて、前記検出対象物が前記通常窓画像に存在する可能性を示す第１の度合いと、前記検出対象物が前記変更窓画像に存在する可能性を示す第２の度合いとを算出する度合い算出部と、
    　前記第１の度合いと前記第２の度合いとに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する判定部と、
    を備える。
  2. 　請求項１に記載の物体検出装置であって、
    　前記所定の画像処理は、
    　画像処理の内容が相互に異なる第１の画像処理及び第２の画像処理、
    を含み、
    　前記画像処理部は、前記入力画像に対して前記第１の画像処理を行うことにより第１変更窓画像を生成し、前記入力画像に対して前記第２の画像処理を行うことにより第２変更窓画像を生成し、
    　前記度合い算出部は、前記第１変更窓画像に前記検出対象物が存在する可能性を示す第２の度合いと、前記第２変更窓画像に前記検出対象物が存在する可能性を示す第２の度合いとを算出する。
  3. 　請求項１に記載の物体検出装置であって、
    　前記判定部は、
    　前記第１の度合いに基づいて前記通常窓画像に前記検出対象物が存在するか否かを判定し、前記第２の度合いに基づいて前記変更窓画像に前記検出対象物が存在するか否かを判定する個別画像判定部と、
    　前記通常窓画像に対する判定結果と、前記変更窓画像に対する判定結果とに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する最終判定部と、
    を含む。
  4. 　請求項１に記載の物体検出装置であって、
    　前記判定部は、
    　前記第１の度合いと前記第２の度合いとの合計値を算出する合計値算出部と、
    　前記合計値に基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定する最終判定部と、
    を備える。
  5. 　請求項４に記載の物体検出装置であって、
    　前記合計値算出部は、前記通常窓画像に対して設定された重み付け係数を前記第１の度合いに乗算した乗算値と、前記変更窓画像に対して設定された重み付け係数を前記第２の度合いに乗算した乗算値とを合計する。
  6. 　請求項５に記載の物体検出装置であって、
    　前記所定の画像処理は、
    　画像処理の内容が相互に異なる第１の画像処理及び第２の画像処理、
    を含み、
    　前記画像処理部は、前記入力画像に対して前記第１の画像処理を行うことにより第１変更窓画像を生成し、前記入力画像に対して前記第２の画像処理を行うことにより第２変更窓画像を生成し、
    　前記度合い算出部は、前記第１変更窓画像に前記検出対象物が存在する可能性を示す第２の度合いと、前記第２変更窓画像に前記検出対象物が存在する可能性を示す第２の度合いとを算出し、
    　前記重み付け係数は、前記第１変更窓画像及び前記第２変更窓画像のそれぞれに対して設定される。
  7. 　入力画像から検出対象物を検出する物体検出方法であって、
    　前記入力画像に対して前記検出対象物を検出する検出窓領域を設定するステップと、
    　前記入力画像の検出窓領域から通常窓画像を切り出すとともに、前記入力画像に対して所定の画像処理を行うことにより変更入力画像を生成し、前記変更入力画像の検出窓領域から変更窓画像を切り出すステップと、
    　前記検出対象物の特徴を示す特徴データに基づいて、前記検出対象物が前記通常窓画像に存在する可能性を示す第１の度合いと、前記検出対象物が前記変更窓画像に存在する可能性を示す第２の度合いとを算出するステップと、
    　前記第１の度合いと前記第２の度合いとに基づいて、前記検出窓領域に前記検出対象物が存在するか否かを判定するステップと、
    を備える。
PCT/JP2012/068440 2011-09-09 2012-07-20 物体検出装置 WO2013035445A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/343,182 US9373027B2 (en) 2011-09-09 2012-07-20 Object detection device
EP12830080.3A EP2755184A4 (en) 2011-09-09 2012-07-20 OBJECT DETECTION DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-197405 2011-09-09
JP2011197405A JP6242563B2 (ja) 2011-09-09 2011-09-09 物体検出装置

Publications (1)

Publication Number Publication Date
WO2013035445A1 true WO2013035445A1 (ja) 2013-03-14

Family

ID=47831897

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/068440 WO2013035445A1 (ja) 2011-09-09 2012-07-20 物体検出装置

Country Status (4)

Country Link
US (1) US9373027B2 (ja)
EP (1) EP2755184A4 (ja)
JP (1) JP6242563B2 (ja)
WO (1) WO2013035445A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191470A (ja) * 2013-03-26 2014-10-06 Mega Chips Corp 物体検出装置
EP2930654A3 (en) * 2014-04-09 2015-12-16 Panasonic Intellectual Property Management Co., Ltd. Display control device, display control method, and program

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5919665B2 (ja) * 2011-07-19 2016-05-18 日本電気株式会社 情報処理装置、物体追跡方法および情報処理プログラム
US9536137B2 (en) * 2013-03-26 2017-01-03 Megachips Corporation Object detection apparatus
JP6396638B2 (ja) 2013-03-29 2018-09-26 マクセル株式会社 位相フィルタ、撮像光学系、及び撮像システム
WO2015083199A1 (en) * 2013-12-04 2015-06-11 J Tech Solutions, Inc. Computer device and method executed by the computer device
JP6423594B2 (ja) * 2014-02-18 2018-11-14 株式会社メガチップス 物体検出装置
JP6401922B2 (ja) 2014-03-13 2018-10-10 株式会社メガチップス 物体検出装置
JP6360802B2 (ja) * 2015-02-20 2018-07-18 株式会社デンソーアイティーラボラトリ ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、検出装置、検出方法、および、車両
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
CN106504266B (zh) * 2016-09-29 2019-06-14 北京市商汤科技开发有限公司 行走行为的预测方法和装置、数据处理装置和电子设备
US11031044B1 (en) * 2020-03-16 2021-06-08 Motorola Solutions, Inc. Method, system and computer program product for self-learned and probabilistic-based prediction of inter-camera object movement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293720A (ja) * 2005-04-12 2006-10-26 Nippon Telegr & Teleph Corp <Ntt> 顔検出装置、顔検出方法、及び顔検出プログラム
JP2008021034A (ja) 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
JP2009070344A (ja) 2007-09-18 2009-04-02 Fujitsu Ten Ltd 画像認識装置、画像認識方法および電子制御装置
JP2010170201A (ja) 2009-01-20 2010-08-05 Secom Co Ltd 物体検出装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218817B2 (en) * 2007-12-21 2012-07-10 Honda Motor Co. Ltd. Online articulate object tracking with appearance and shape
JP5709410B2 (ja) * 2009-06-16 2015-04-30 キヤノン株式会社 パターン処理装置及びその方法、プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293720A (ja) * 2005-04-12 2006-10-26 Nippon Telegr & Teleph Corp <Ntt> 顔検出装置、顔検出方法、及び顔検出プログラム
JP2008021034A (ja) 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
JP2009070344A (ja) 2007-09-18 2009-04-02 Fujitsu Ten Ltd 画像認識装置、画像認識方法および電子制御装置
JP2010170201A (ja) 2009-01-20 2010-08-05 Secom Co Ltd 物体検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2755184A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014191470A (ja) * 2013-03-26 2014-10-06 Mega Chips Corp 物体検出装置
EP2930654A3 (en) * 2014-04-09 2015-12-16 Panasonic Intellectual Property Management Co., Ltd. Display control device, display control method, and program
US9652988B2 (en) 2014-04-09 2017-05-16 Panasonic Intellectual Property Management Co., Ltd. Display control device, display control method, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
US9373027B2 (en) 2016-06-21
JP2013058160A (ja) 2013-03-28
EP2755184A1 (en) 2014-07-16
JP6242563B2 (ja) 2017-12-06
EP2755184A4 (en) 2015-06-03
US20140219504A1 (en) 2014-08-07

Similar Documents

Publication Publication Date Title
WO2013035445A1 (ja) 物体検出装置
US10234957B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
WO2020107717A1 (zh) 视觉显著性区域检测方法及装置
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
JP2008286725A (ja) 人物検出装置および方法
JP2011165188A (ja) 多角度の特定物体の判断装置及び多角度の特定物体の判断方法
JP2006072770A (ja) 顔検出装置および顔向き推定装置
KR20150053438A (ko) 스테레오 매칭 시스템과 이를 이용한 시차 맵 생성 방법
JP2010262576A (ja) 対象物検出装置及びプログラム
US8903124B2 (en) Object learning method, object tracking method using the same, and object learning and tracking system
JP5435221B2 (ja) 音源信号分離装置、音源信号分離方法及びプログラム
JP5020920B2 (ja) 歩行者検出装置及びプログラム
US10223583B2 (en) Object detection apparatus
JP2008293446A (ja) 移動体識別装置、移動体識別プログラム
JP6280412B2 (ja) 物体検出装置
JP2010113466A (ja) 対象追跡装置、対象追跡プログラム及び方法
WO2010022534A1 (en) A polynomial fitting based segmentation algorithm for pulmonary nodule in chest radiograph
CN112800820A (zh) 面部检测方法和设备
JP2009289189A (ja) 学習モデル生成装置及びプログラム並びに対象物検出装置及びプログラム
WO2015125681A1 (ja) 物体検出装置
JP2015215235A (ja) 物体検出装置及び物体検出方法
JP2007272421A (ja) 対象物検出装置、方法及びプログラム
JP6116959B2 (ja) 物体検出装置
CN113963023B (zh) 一种用于长期跟踪的可靠性重检测方法
JP6161931B2 (ja) 物体検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12830080

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2012830080

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14343182

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE