WO2010032294A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2010032294A1
WO2010032294A1 PCT/JP2008/066787 JP2008066787W WO2010032294A1 WO 2010032294 A1 WO2010032294 A1 WO 2010032294A1 JP 2008066787 W JP2008066787 W JP 2008066787W WO 2010032294 A1 WO2010032294 A1 WO 2010032294A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
reduction
face
level
reduced
Prior art date
Application number
PCT/JP2008/066787
Other languages
English (en)
French (fr)
Inventor
悟 牛嶋
雅芳 清水
君孝 村下
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2010529526A priority Critical patent/JP4719825B2/ja
Priority to PCT/JP2008/066787 priority patent/WO2010032294A1/ja
Publication of WO2010032294A1 publication Critical patent/WO2010032294A1/ja
Priority to US13/064,298 priority patent/US8358849B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program for detecting an object from image data.
  • JP 2004-171490 A H. Schneiderman and T. Kanade, Object Detection Using the Statistics of Parts To appearance in International Journal of Computer Vision, 2002.
  • the object detection when object detection is performed by providing all search frames and non-search frames, the total amount of frames will lead to a reduction in the amount of computation. In all the search frames, the object detection cannot be shortened.
  • the present invention has been made to solve the above-described problems caused by the prior art, and provides an image processing apparatus, an image processing method, and an image processing program capable of reducing the time required for object detection. With the goal.
  • the image processing apparatus includes a storage unit that stores learning data including features of a facial image, an input unit that receives an input of a moving image, and the input unit that receives the input.
  • One of the frames included in the moving image is set as a processing target frame, and the processing target frame is reduced by reducing the image of the processing target frame to the first level among several reduction levels.
  • a reduction unit that generates an image an extraction unit that extracts a face image from the reduced image by comparing the reduced image generated by the reduction unit and the learning data, and outputs a result of extracting the face image
  • the reduction means continues the processing target frame to the processing target frame after the extraction of the face image for the processing target frame is completed.
  • the object detection process is executed by changing the reduction level so that the reduction level before the change and the reduction level after the change are not continuous, so the time required for object detection is shortened. be able to.
  • FIG. 1 is a diagram (1) for explaining a conventional object detection method.
  • FIG. 2 is a diagram (2) for explaining the conventional object detection method.
  • FIG. 3 is a schematic diagram (1) illustrating the outline and features of the image processing apparatus according to the first embodiment.
  • FIG. 4 is a schematic diagram (2) illustrating the outline and features of the image processing apparatus according to the first embodiment.
  • FIG. 5 is a functional block diagram of the configuration of the image processing apparatus according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of the data structure of the face learning data.
  • FIG. 7 is a diagram illustrating an example of the data structure of non-face learning data.
  • FIG. 8 is a diagram illustrating an example of a data structure of comparison target data.
  • FIG. 9 is a diagram for explaining an example of processing of the face detection processing unit.
  • FIG. 10 is a diagram illustrating an example of the data structure of the comparison result table.
  • FIG. 11 is a diagram for explaining how the detection range moves.
  • FIG. 12 is a flowchart of the process procedure of the image processing apparatus according to the first embodiment.
  • FIG. 13 is a diagram for explaining a simple reduction method.
  • FIG. 14 is a diagram for explaining a complicated reduction method.
  • FIG. 15 is a diagram for explaining the outline and features of the image processing apparatus according to the second embodiment.
  • FIG. 16 is a functional block diagram of the configuration of the image processing apparatus according to the second embodiment.
  • FIG. 17 is a diagram illustrating an example of the data structure of the reduction level management data.
  • FIG. 18 is a flowchart of a process procedure of the image processing apparatus according to the second embodiment.
  • FIG. 19 is a diagram illustrating a hardware configuration of a computer constituting the image processing apparatus according to the present embodiment.
  • 1 and 2 are diagrams for explaining a conventional object detection method.
  • learning data is created in the conventional object detection method.
  • the face image collection data and the non-face image collection data are subjected to frequency conversion (for example, wavelet conversion) to thereby include feature data including the features of the face image and the non-face image. And feature data including the features.
  • the face image collection data is image data obtained by collecting face images of various persons.
  • the image data included in the face image collection data is composed of a group of images in which the face is shown on the entire surface, with a vertical width substantially including the head from the jaw and a horizontal width substantially including both ears.
  • Non-face image collection data is image data obtained by collecting various images other than face images. Then, the image processing apparatus analyzes each feature data and creates learning data by quantizing each feature data.
  • the image processing apparatus determines whether or not a face image is included in the moving image
  • the input image data image data of each frame included in the moving image
  • the feature data including the features of is created.
  • the image processing apparatus sets a search range from the feature data (an area to be detected as a feature of the face image data extracted by shifting the cutout position within the input frame so as to scan), and then sets the search range. Analyze and quantize the data in the search range, and compare the quantized data with the learning data created in advance to determine whether a face image is included in the search range .
  • the image processing apparatus sequentially moves the search range within the input image, and repeats the above processing to detect each face image included in the input image.
  • the input image may include face images of various sizes. Therefore, in order to cope with various face image sizes, the conventional image processing apparatus reduces the input image to various sizes and performs object detection processing from the reduced input image (see FIG. 2). If the face image included in the input image protrudes from the above detection range, the face image cannot be detected even though the face image exists. However, if the input image is reduced, the face image is within the detection range. Therefore, the face image can be detected appropriately.
  • the image processing apparatus when reducing to reduction levels 1 to 4, the image processing apparatus reduces the input image for each frame in the order of reduction levels 1, 2, 3, and 4, and sequentially Perform detection processing.
  • the size of the image at the reduction level 4 ⁇ the size of the image at the reduction level 3 ⁇ the size of the image at the reduction level 2 ⁇ the size of the image at the reduction level 1.
  • the face image collection data used when creating learning data includes face images of various sizes, so the face area occupied in the image area is slightly larger to smaller. Exists. For this reason, when object detection is performed by reducing an image to a specific reduction level, a face image that is slightly larger or slightly smaller than the original size is detected in addition to the face image that is the original size being detected. Often.
  • 3 and 4 are diagrams for explaining the outline and features of the image processing apparatus according to the first embodiment.
  • the reduction level is the reduction level 0 to 7
  • the reduction level 0 is the smallest
  • the size of the image increases in the order of the reduction levels 0 to 7.
  • the image processing apparatus reduces the reduction level so that the reduction level before the change and the reduction level after the change are not adjacent to each other when the object detection is performed by sequentially changing the reduction level.
  • the reduction level is not changed to the reduction levels 0, 1, 2, 3, 4, 5, 6, 7, and the reduction level is changed to the reduction levels 0, 4, 2, 6, 1, 5, 3, 7 Change in order and execute object detection.
  • the reduction level is changed when the frame of the moving image to be searched is switched.
  • the black circle indicates that the face is likely to be found in the exact size
  • the upward-sloping diagonal circle indicates that the face is likely to be found in the neighborhood size.
  • the circle of “No” indicates that the face is “actually found” at the exact size
  • the rounded circle indicates that the face is “actually found” at the size of the neighborhood.
  • faces 1 to 3 exist in a moving image, and the reduction level is set to reduction levels 0, 4, 2, 6, 1, 5, 3, and 7 for such a moving image.
  • the reduction level is set to reduction levels 0, 4, 2, 6, 1, 5, 3, and 7 for such a moving image.
  • face 1 is a face image corresponding to reduction level 2
  • face 2 is a face image corresponding to reduction level 1
  • face 3 is a face image corresponding to reduction level 4.
  • the image processing apparatus detects the face 2 corresponding to the reduction level 1 when the object is detected by reducing the image to the reduction level 0 in the first frame in the moving image.
  • the image processing apparatus detects the face 3 corresponding to the reduction level 4.
  • the image processing apparatus detects the face 1 corresponding to the reduction level 1 and the face 2 corresponding to the reduction level 2. Then, the detection of the faces 1 to 3 included in the moving image ends. That is, the detection of the faces 1 to 3 ends when the three levels 0, 4 and 2 are processed.
  • face detection is performed by changing the reduction level from the largest to the smallest, or from the smallest to the largest, in the example of FIG. 4, in the example of FIG.
  • the detection of faces 1 to 3 is completed. Therefore, according to the image processing apparatus shown in the present embodiment, faces of various sizes can be detected faster than changing the reduction level in order.
  • the image processing apparatus executes the object detection process by changing the reduction level so that the reduction level before the change and the reduction level after the change are not continuous.
  • the time required for detection can be shortened. Since it is not known what size face is included in the input frame, it is faster to change the reduction level so that the reduction level before the change and the reduction level after the change are not continuous. Multiple reduction levels can be covered evenly.
  • the image in the frame is reduced at all reduction levels and the object detection is executed.
  • the image processing apparatus according to the first embodiment is a moving image. In each of the frames, the image in the frame is reduced at a single reduction level and object detection is executed, so the load on the image processing apparatus can be reduced.
  • FIG. 5 is a functional block diagram of the configuration of the image processing apparatus according to the first embodiment.
  • the image processing apparatus 100 includes a conversion processing unit 110, an analysis processing unit 120, a storage unit 130, and a face detection processing unit 140.
  • the conversion processing unit 110 is a processing unit that acquires face image collection data and non-face image collection data, and performs frequency conversion processing (for example, wavelet conversion) on the acquired face image collection data and non-face image collection data. is there.
  • the frequency conversion process for the image data is the same as the known technique.
  • the conversion processing unit 110 acquires face image collection data and non-face image collection data from an input device, a storage device (not shown), or the like.
  • the conversion processing unit 110 outputs the face image collection data and non-face image collection data subjected to frequency conversion to the analysis processing unit 120.
  • frequency-converted face image collection data is referred to as converted face image collection data
  • frequency-converted non-face image collection data is referred to as converted non-face image collection data.
  • the analysis processing unit 120 creates face learning data based on the converted image collection data, and generates non-face based on the converted non-face image collection data. It is a processing unit that creates face learning data.
  • the analysis processing unit 120 extracts single image data from the image data included in the converted face image collection data. Then, the analysis processing unit 120 quantizes the corresponding transform coefficient value by comparing each transform coefficient with a quantization threshold. It is assumed that the quantization threshold is set in the analysis processing unit 120 in advance.
  • the analysis processing unit 120 also quantizes the remaining image data included in the converted face image collection data by the above method. Then, the analysis processing unit 120 compares the transform coefficient values of the quantized image data (transform coefficient values corresponding to the same position of the image data), and determines the face learning data based on the frequency of the transform coefficient values. create. For example, when each image data is compared with respect to the conversion coefficient value at the position (x1, y1) in the image data, and the frequency of the conversion coefficient value “1” is greater than the frequency of the other conversion coefficient values, The conversion coefficient value at the position (x1, y1) in the face learning data is set to “1”.
  • FIG. 6 is a diagram showing an example of the data structure of face learning data. As shown in FIG. 6, this face learning data stores positional information and conversion coefficient values in association with each other. Note that the data structure of the face learning data is not limited to that shown in FIG. 6. For example, conversion coefficient values may be stored in association with each block of conversion coefficients (for example, 8 coefficients) to be compared at the time of object detection. good.
  • the analysis processing unit 120 extracts single image data from the image data included in the converted non-face image collection data. Then, the analysis processing unit 120 quantizes the corresponding transform coefficient value by comparing each transform coefficient with a quantization threshold.
  • the analysis processing unit 120 also quantizes the remaining image data included in the converted non-face image collection data by the above method. Then, the analysis processing unit 120 compares the transform coefficient values of the quantized image data (transform coefficient values corresponding to the same position of the image data), and calculates the non-face learning data based on the frequency of the transform coefficient values. create. For example, when each image data is compared with respect to the conversion coefficient value at the position (x1, y1) in the image data, the frequency of the conversion coefficient value “1” is greater than the frequency of the other conversion coefficient values. The conversion coefficient value at the position (x1, y1) in the non-face learning data is set to “1”.
  • FIG. 7 is a diagram showing an example of the data structure of non-face learning data. As shown in FIG. 7, this non-face learning data stores positional information and conversion coefficient values in association with each other.
  • the data structure of the non-face learning data is not limited to that shown in FIG. 7. For example, pixel values may be stored in association with each block of transform coefficients (for example, 8 coefficients) to be compared at the time of object detection. good.
  • the storage unit 130 is a storage unit that stores face learning data 130a, non-face learning data 130b output from the analysis processing unit 120, comparison target data 130c output from the face detection processing unit 140, and reduction level management data 130d. . Among these, the comparison target data 130c and the reduction level data 130d will be described later.
  • the face detection processing unit 140 is a processing unit that detects a face image from image data included in each frame of moving image data when moving image data is acquired.
  • the face detection processing unit 140 outputs the detection result to a higher-level device (not shown).
  • a higher-level device not shown.
  • the face detection processing unit 140 refers to the reduction level management data 130d and determines the reduction level.
  • the reduction level management data 130d is data storing a reduction level. For example, when the reduction level 0 is stored in the reduction level management data 130d, the face detection processing unit 140 reduces the image data to a reduction level other than the reduction level 0.
  • the reduction level management data 130d is sequentially updated by the face detection processing unit 140.
  • the face detection processing unit 140 After determining the reduction level, the face detection processing unit 140 reduces the image data (image data included in the frame of the moving image data) based on the determination result. For example, if the reduction level is the reduction level 1, the face detection processing unit 140 reduces the image data to the reduction level 1. Then, the face detection processing unit 140 changes the reduction level stored in the reduction level management data 130d so that the reduction level before the change and the reduction level after the change are not adjacent to each other. For example, when the reduction level is 2, the reduction levels adjacent to each other are level 1 and level 3, so the face detection processing unit 140 is not level 1 or level 3 so that the changed reduction levels are not adjacent. Change the reduction level to level.
  • the face detection processing unit 140 performs frequency conversion processing (for example, wavelet conversion) on the reduced image data. Then, after performing the frequency conversion, the face detection processing unit 140 quantizes the image data subjected to the frequency conversion, thereby creating the comparison target data 130c.
  • frequency conversion processing for example, wavelet conversion
  • the face detection processing unit 140 quantizes the pixel value of the corresponding block by comparing each conversion coefficient obtained as a result of performing the frequency conversion process on the image data and the quantization threshold, and generates the comparison target data 130c. create.
  • FIG. 8 is a diagram illustrating an example of the data structure of the comparison target data 130c.
  • the comparison target data 130c stores position information and conversion coefficient values in association with each other.
  • the data structure of the comparison target data 130c is not limited to that shown in FIG. 8, and is stored in association with a conversion coefficient value for each block (for example, 8 coefficients) of conversion coefficients to be compared at the time of object detection. Also good.
  • the face detection processing unit 140 compares the face learning data 130a, the non-face learning data 130b, and the comparison target data 130c stored in the storage unit 130, and whether or not a face image is included in the image data. Determine whether.
  • FIG. 9 is a diagram for explaining an example of processing of the face detection processing unit 140.
  • the face detection processing unit 140 sets a detection range, and compares each conversion coefficient value included in the detection range at the same position in the face learning data 130a, the non-face learning data 130b, and the comparison target data 130c. Then, as a result of the comparison, the face detection processing unit 140 determines whether the detection range of the comparison target data is similar to the face learning data or the non-face learning data, and the determination result is compared with the comparison result table. Register with. Assume that the comparison result table is held by the face detection processing unit 140.
  • the comparison target data 130c since the comparison target data 130c hits 7 for the face learning data 130a and hits 1 for the non-face learning data 130b, the comparison target data 130c is more than the non-face learning data 130b. It is determined that it is similar to the face learning data 130a.
  • FIG. 10 is a diagram illustrating an example of the data structure of the comparison result table.
  • this comparison result table stores detection range identification information for identifying a detection range and a comparison result in association with each other.
  • the face detection processing unit 140 compares the detection ranges of the face learning data 130a, the non-face learning data 130b, and the comparison target data 130c and determines that they are similar to the face learning data 130a, "Maru" is registered, and if it is determined that the non-face learning data 130b is similar, "X" is registered in the comparison result.
  • the detection range identification information of the detection range currently set in each of the image data 130a to 130c is “1001”.
  • the face detection processing unit 140 compares each pixel value in the detection range of the comparison target data 130c with each pixel value in the detection range of the face learning data 130a, seven hits are found.
  • the face detection processing unit 140 compares each pixel value in the detection range of the comparison target data 130c with each pixel value in the non-face learning data 130b, one hit occurs.
  • the face detection processing unit 140 sets the comparison result corresponding to the detection range identification information “1001” to “maru” because the face learning data 130a has more hits than the non-face learning data 130b. .
  • “X” is set. If the number is the same, neither is set here.
  • the face detection processing unit 140 sequentially registers “maru” or “cross” in the comparison result of the comparison result table while moving the detection range.
  • FIG. 11 is a diagram for explaining how the detection range moves.
  • the face detection processing unit 140 compares the pixel values in the detection range, the positions of the detection ranges arranged on the face learning data 130a, the non-face learning data 130b, and the comparison target data 130c are unified. It shall be.
  • the face detection processing unit 140 refers to the comparison result table and determines the number of “maru” rather than the number of “X”. If there are more, it is determined that a face image is included in the input image. On the other hand, when the number of “maru” is smaller than the number of “X”, it is determined that the face image is not included in the input image. If the number of “X” is equal to the number of “Maru”, it may be determined that the face image is included or not determined according to the administrator setting. May be.
  • the face detection processing unit 140 compares the conversion coefficient values every 8 conversion coefficients.
  • conversion coefficient values can be compared for each n (n is a natural number) conversion coefficient.
  • FIG. 10 it is not always necessary to store the comparison result for each detection range. For example, the number of “maru” and the number of “X” are totaled, and only the total result is stored in the comparison result table. May be.
  • a face detection technique described in [Non-patent Document 1] H. Schneiderman and T. Kanade, Object Detection Using the Statistics of Parts To appear in International Journal of Computer Vision, 2002. may be used. Since this technology also detects face learning data and non-face learning data on the Wavelet transform coefficient, it is consistent with the present invention, and the whole procedure can be configured by fusing the following procedures. it can.
  • the face detection processing unit 140 acquires the next frame from the moving image data when the object detection processing for the reduced image data is completed. Then, the face detection processing unit 140 reduces the image data included in the next frame based on the reduction level management data 130d, and repeatedly executes the above-described processing.
  • FIG. 12 is a flowchart of the process procedure of the image processing apparatus 100 according to the first embodiment.
  • the image processing apparatus 100 acquires the reduction level management data 130d (step S101), and acquires the image data in the frame (step S102).
  • the image processing apparatus 100 creates a reduction level image corresponding to the reduction level management data 130d (step S103), and executes object detection processing on the reduced image (step S104).
  • the image processing apparatus 100 outputs the detection result of the object detection process (step S105), and updates the reduction level management data 130d (step S106).
  • the image processing apparatus 100 repeatedly executes the processes shown in steps S101 to S106.
  • the image processing apparatus 100 sequentially changes the reduction level and executes object detection
  • the reduction level before the change and the reduction level after the change are adjacent to each other. Since the object detection is executed by changing the reduction level so as not to reach the level, the time required for object detection can be shortened.
  • the reduction level when the reduction level is sequentially changed and object detection is performed, the reduction level is changed so that the reduction level before the change and the reduction level after the change are not adjacent to each other.
  • the object detection is performed, but the reduction levels are arranged in order (reduction levels 0, 1, 2, 3, 4, 5, 6, 7 or reduction levels 7, 6, 5, 4, 3, 2 , 1, 0), and object detection may be performed.
  • an image processing apparatus when the image processing apparatus reduces the image data, a simple reduction method for obtaining a reduction size of a power of 2 and a complicated reduction method for obtaining a finer reduction size are provided. Is combined to reduce the image data.
  • level 0 to level 15 are combined by combining a simple reduction method and a complicated reduction method. Up to 16 levels of reduction will be performed.
  • Level n means that the reduction is repeated n times.
  • level 2 of the simple reduction method repeats the simple reduction method twice for the original image data.
  • the combination of level 0 of the simple reduction method and level 0 of the complicated reduction method is referred to as reduction level 0, and the combination of level 0 of the simple reduction method and level 1 of the complicated reduction method Is a reduction level 1, a combination of level 0 of a simple reduction method and level 2 of a complicated reduction method is a reduction level 2, and level 0 of a simple reduction method and level 3 of a complicated reduction method Is defined as a reduction level 3.
  • level 1 of the simple reduction method and level 0 of the complicated reduction method is set to reduction level 4, and the combination of level 1 of the simple reduction method and level 1 of the complicated reduction method is reduced.
  • Level 5 is a combination of level 1 of a simple reduction method and level 2 of a complicated reduction method
  • level 6 is a combination of level 1 of a simple reduction method and level 3 of a complicated reduction method. , Defined as reduction level 7.
  • level 2 of the simple reduction method and level 0 of the complicated reduction method is reduced to level 8
  • level 2 of the simple reduction method and level 1 of the complicated reduction method is reduced.
  • Level 9 is a combination of level 2 of a simple reduction method and level 2 of a complicated reduction method
  • level 10 is a combination of level 2 of a simple reduction method and level 3 of a complicated reduction method. , Defined as a reduction level 11.
  • level 3 of the simple reduction method and level 0 of the complicated reduction method is set to reduction level 12, and the combination of level 3 of the simple reduction method and level 1 of the complicated reduction method is reduced.
  • Level 13 is a combination of level 3 of a simple reduction method and level 2 of a complicated reduction method
  • level 14 is a combination of level 3 of a simple reduction method and level 3 of a complicated reduction method. , Defined as a reduction level 15.
  • FIG. 13 is a diagram for explaining a simple reduction method
  • FIG. 14 is a diagram for explaining a complicated reduction method.
  • the image data is reduced by dividing the image data into a plurality of blocks and obtaining an average value of the pixel values of the four blocks. .
  • the image data is reduced to 1 ⁇ 4.
  • the reduced pixel of P [1,1] is (P [2,2] + P [3,2] + P [2,3] + P [3,3]) / 4 Can be calculated.
  • the other coordinates after reduction can be calculated in the same manner.
  • FIG. 14 when the image data is reduced to a power other than one that is a power of 2, the calculation is complicated as compared with the method shown in FIG.
  • the example shown in FIG. 14 shows a case where the image data is reduced to 5/8. In such a reduction method, it is necessary not only to obtain the average value of each pixel but also to calculate the reduced pixel while calculating the weight of each pixel.
  • the reduced pixel of P [1,1] is (P [1,1] ⁇ 0.16 + P [2,1] ⁇ 0.4 + P [3,1] ⁇ 0.08 + P [1,2] ⁇ 0.4 + P [2,2] ⁇ 1 + P [3,2] ⁇ 0.2 + P [1,3] ⁇ 0.08 + P [2,3] ⁇ 0.2 + P [3,3] ⁇ 0.04) /2.56 Can be calculated.
  • the other coordinates after reduction can be calculated in the same manner.
  • the reduction level 15 is a combination of the level 3 of the simple reduction method and the level 3 of the complicated reduction method
  • the simple reduction (see FIG. 13) is performed on the original image data.
  • complicated reduction (see FIG. 14) is performed three times.
  • the face image collection data used when creating the learning data includes face images of various sizes. There are large to small ones. For this reason, when an object is detected with the image reduced to a specific reduction level, the original size can be detected, and a face image that is slightly larger or slightly smaller than the original size can also be detected. There are many.
  • a face image slightly smaller than the original size (the size of the face image reduced to reduction level 2) (a face image reduced to reduction level 1).
  • Equivalent face images) and slightly smaller face images (face images corresponding to face images reduced to reduction level 3) are often found.
  • FIG. 15 is a diagram for explaining the outline and features of the image processing apparatus according to the second embodiment.
  • a black circle indicates that a face can be found with the exact size
  • a circle with a right-up diagonal line indicates that there is a possibility that a face can be found with a nearby size.
  • the circle of “No” indicates that the face is “actually found” with the exact size
  • the rounded circle indicates that the face is “actually found” with the size of the neighborhood.
  • the image processing apparatus reduces the image data at the reduction levels 0 and 4 in the first object detection process, and the image data at the reduction levels 8 and 12 in the second object detection process.
  • the image data is reduced at the reduction levels 2 and 6, and in the fourth object detection process, the image data is reduced at the reduction levels 10 and 14, and the object detection process 5 is performed.
  • the image data is reduced at the reduction levels 1 and 5
  • the image data is reduced at the reduction levels 9 and 13 at the sixth object detection process, and the reduction levels 3 and 7 at the seventh object detection process. It is assumed that the image data is reduced and the object detection is executed by reducing the image data at the reduction levels 11 and 15 in the eighth object detection process.
  • face 1 is a face image corresponding to the reduction level 5
  • face 2 is a face image corresponding to the reduction level 2
  • face 3 is a face image corresponding to the reduction level 9.
  • the image processing apparatus detects the face 1 corresponding to the reduction level 5 when the object is detected by reducing the image to the reduction levels 0 and 4 in the first frame in the moving image.
  • the image processing apparatus detects the face 3 corresponding to the reduction level 9.
  • the image processing apparatus reduces the image to the reduction levels 2 and 6 and performs object detection in the third frame, the face 1 corresponding to the reduction level 5 and the face 2 corresponding to the reduction level 2 are obtained. And the detection of the faces 1 to 3 included in the moving image is completed.
  • the image processing apparatus performs the object detection process by preferentially selecting the reduction level that does not execute the complicated reduction process, and performs the reduction level that belongs to the same complicated reduction level. Therefore, it is possible to reduce the frequency with which complex reduction processing should be executed and to shorten the time required for object detection.
  • the image processing apparatus executes the object detection process by changing the reduction level so that the reduction level before the change and the reduction level after the change are not continuous. The time required can be shortened.
  • FIG. 16 is a functional block diagram of the configuration of the image processing apparatus 200 according to the second embodiment.
  • the image processing apparatus 200 includes a conversion processing unit 210, an analysis processing unit 220, a storage unit 230, and a face detection processing unit 240.
  • the storage unit 230 is a storage unit that stores face learning data 230a, non-face learning data 230b, comparison target data 230c, and reduction level management data 230d.
  • the data structure of the face learning data 230a is the same as the face learning data 130a shown in FIG.
  • the data structure of the non-face learning data 230b is the same as the non-face learning data 130b shown in FIG.
  • the data structure of the comparison target data 230c is the same as that of the comparison target data 130c shown in FIG.
  • the reduction level management data 230d is data for managing the order of reduction levels when reduction is performed.
  • FIG. 17 is a diagram illustrating an example of a data structure of the reduction level management data 230d. As shown in FIG. 17, the reduction level management data 230d stores an order and a reduction level in association with each other.
  • the face detection processing unit 240 is a processing unit that detects a face image from image data included in each frame of moving image data when moving image data is acquired.
  • the face detection processing unit 240 outputs the detection result to a higher-level device (not shown). Below, the process of the face detection process part 240 is demonstrated concretely.
  • the face detection processing unit 240 refers to the reduction level management data 230d and determines the reduction level.
  • the face detection processing unit 240 manages the order with a counter or the like, and compares the value of the counter with the reduction level management data 230d to determine the reduction level.
  • the reduction levels are the reduction level 0 and the reduction level 4.
  • the face detection processing unit 140 increments the counter by 1 after determining the reduction level. Note that the initial value of the counter is 1.
  • the face detection processing unit 240 determines the reduction level using a counter, but the reduction level determination method is not limited to this.
  • the face detection processing unit 240 After determining the reduction level, the face detection processing unit 240 reduces the image data (image data included in the frame of the moving image data) based on the determination result. For example, if the reduction level is 0 or 4, the face detection processing unit 240 reduces the image data to the reduction level 0 and the reduction level 4.
  • the face detection processing unit 240 performs frequency conversion processing (for example, wavelet conversion) on the reduced image data. Then, after performing the frequency conversion, the face detection processing unit 240 quantizes the frequency-converted image data to create the comparison target data 230c (if two types of reduction are performed, the comparison is performed) Two pieces of target data 230c are generated).
  • frequency conversion processing for example, wavelet conversion
  • the face detection processing unit 240 compares the face learning data 230a stored in the storage unit 230, the non-face learning data 230b, and the comparison target data 230c, and determines whether or not a face image is included in the image data. Determine whether.
  • the processing when the face detection processing unit 240 performs face detection is the same as in FIG. However, when there are two pieces of comparison target data 230c, face detection is executed for each piece of comparison target data 230c.
  • the face detection processing unit 240 registers the detection result in the comparison result table in the same manner as the face detection processing unit 140 shown in FIG.
  • the data structure of the comparison result table is the same as the data structure of the comparison result table shown in FIG.
  • the face detection processing unit 240 acquires the next frame from the moving image data when the object detection processing for the reduced image data is completed. Then, the face detection processing unit 240 reduces the image data included in the next frame based on the reduction level management data 230d, and repeatedly executes the above-described processing.
  • FIG. 18 is a flowchart of a process procedure of the image processing apparatus 200 according to the second embodiment.
  • the image processing apparatus 200 acquires the reduction level management data 230d (step S201), and acquires the image data in the frame (step S202).
  • the image processing apparatus 200 generates image data of a complex reduction level (complex reduction method level) corresponding to the reduction level management data 230d (step S203), and a simple reduction level (corresponding to the reduction level management data 230d).
  • Image data of a simple reduction method level is generated (step S204).
  • the image processing apparatus 200 performs object detection processing on the reduced image data (step S205), and determines whether all the simple reduction levels have been completed (step S206). If all the simple reduction levels have not been completed (No at Step S207), unprocessed simple reduction level image data is generated (Step S208), and the process proceeds to Step S205. On the other hand, when all the simple reduction levels have been completed (step S207, Yes), the detection result is output (step S209). The image processing apparatus 200 repeatedly executes the process shown in FIG.
  • the image processing apparatus 200 obtains moving image data and sets other reduction levels that do not perform complicated reduction processing when reducing image data included in each frame.
  • selecting and executing reduction levels belonging to the same complex reduction level reduces the load on reduction processing and speeds up object detection processing. can do.
  • the image processing apparatus 200 according to the second embodiment has been described as an example in which image data is reduced at two reduction levels per frame, but the present invention is not limited to this, and the above-described implementation is performed.
  • object detection may be executed by reducing the image data by one reduction level per frame.
  • each component of the image processing apparatuses 100 and 200 shown in FIGS. 5 and 16 is functionally conceptual and does not necessarily need to be physically configured as illustrated.
  • the various processing procedures described in this embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation.
  • FIG. 19 is a diagram illustrating a hardware configuration of a computer constituting the image processing apparatus 100 (image processing apparatus 200) according to the present embodiment.
  • this computer (image processing device) 30 communicates with other devices via an input device 31, a monitor 32, a RAM (Random Access Memory) 33, a ROM (Read Only Memory) 34, and a network.
  • a communication control device 35, a medium reading device 36 that reads data from a storage medium, a camera 37, a CPU (Central Processing Unit) 38, and an HDD (Hard Disk Drive) 39 are connected by a bus 40.
  • the HDD 39 stores an image processing program 39b that exhibits the same function as that of the image processing apparatus 100 described above.
  • the image processing process 38a is activated.
  • the image processing process 38a corresponds to the conversion processing unit 110, the analysis processing unit 120, and the face detection processing unit 140 of FIG.
  • the HDD 39 also stores various data 39a corresponding to information stored in the storage unit 130 of the image processing apparatus 100.
  • the CPU 38 reads out various data 39 a stored in the HDD 39, stores it in the RAM 33, and executes image data reduction processing and object detection using the various data 33 a stored in the RAM 33.
  • the image processing program 39b shown in FIG. 19 is not necessarily stored in the HDD 39 from the beginning.
  • a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, or an IC card inserted into a computer, or a hard disk drive (HDD) provided inside or outside the computer.
  • the image processing program 39b is stored in the “fixed physical medium” of “the computer”, and “another computer (or server)” connected to the computer via the public line, the Internet, LAN, WAN, etc.
  • the computer may read and execute the image processing program 39b from these.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　本発明にかかる画像処理装置（１００）は、縮小レベルを順次変更して、物体検出を実行する場合に、変更前の縮小レベルと変更後の縮小レベルとが隣り合う縮小レベルにならないように縮小レベルを変更して、物体検出を実行する。画像処理装置（１００）は、例えば、縮小レベルを縮小レベル０，１，２，３，４，５，６，７のように変更しないで、縮小レベルを縮小レベル０，４，２，６，１，５，３，７の順に変更し、物体検出を実行する。

Description

画像処理装置、画像処理方法および画像処理プログラム
　本発明は、画像データから物体を検出する画像処理装置、画像処理方法および画像処理プログラムに関するものである。
　近年、カメラ等によって撮影された画像中から、各種の物体（例えば、人物の顔、車等）を検出する物体検出の研究が行われている。物体検出の技術は、予め、検出対象となる物体の特徴を学習して学習データを作成し、作成した学習データと、画像データとを比較することで、画像中に検出対象となる物体が存在するか否かを判定する技術である。
　また、かかる物体検出の技術では、物体検出にかかる処理負荷を軽減することが重要であるため、処理負荷を軽減するための各種の技術も考案されている。例えば、連続したフレームの中で、対象物をフレーム全領域に対して検索する全検索フレームと、検索を行わない非検索フレームとを設け、対象物が見つかった後のフレームでは、見つかった位置の近傍について検索を行うことで、処理負荷を軽減するという技術が知られている（例えば、特許文献１参照）。
　また、画像情報の量子化技術には、画像データを周波数変換（ウェーブレット＜Wavelet＞変換）し、変換結果となる変換係数の大小（または、隣り合う画素同士の画素値の差分の大小）から量子化処理を行う技術がある（例えば、非特許文献１参照）。
特開２００４－１７１４９０号公報 H.Schneiderman　and　T.　Kanade,　Object　Detection　Using　the　Statistics　of　Parts　To　appear　in　International　Journal　of　Computer　Vision,2002.
　しかしながら、上述した従来の技術では、物体検出に要する時間の短縮化を図ることができないという問題があった。
　例えば、全検索フレームと非検索フレームを設けて物体検出を行う場合には、複数フレームをトータルで見れば演算量の削減につながっているが、対象物を定期的に全検索するフレームが断続的に存在しており、かかる全検索フレームでは物体検出の短縮化を図ることができていない。
　この発明は、上述した従来技術による問題点を解消するためになされたものであり、物体検出に要する時間の短縮化を図ることができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、この画像処理装置は、顔画像の特徴を含む学習データを記憶する記憶手段と、動画像の入力を受け付ける入力手段と、前記入力手段が受け付けた動画像に含まれる各フレームのうち一のフレームを処理対象フレームとし、前記処理対象フレームの画像を、数段階の縮小レベルのうち第一のレベルに縮小することで、前記処理対象フレームの縮小画像を生成する縮小手段と、前記縮小手段により生成された縮小画像と前記学習データとを比較することで、該縮小画像から顔画像を抽出する抽出手段と、前記顔画像を抽出した結果を出力する出力手段とを有し、前記縮小手段は、前記処理対象フレームに対する顔画像の抽出が終了した後に、前記処理対象フレームを、該処理対象フレームに続く次のフレームに更新し、前記第一のレベルと隣り合う縮小レベルにならない他のレベルに縮小した縮小画像を生成することを要件とする。
　この画像処理装置によれば、変更前の縮小レベルと変更後の縮小レベルとが連続しないように、縮小レベルを変更して物体検出処理を実行するので、物体検出に要する時間の短縮化を図ることができる。
図１は、従来の物体検出方法を説明するための図（１）である。 図２は、従来の物体検出方法を説明するための図（２）である。 図３は、本実施例１にかかる画像処理装置の概要および特徴を説明するための図（１）である。 図４は、本実施例１にかかる画像処理装置の概要および特徴を説明するための図（２）である。 図５は、本実施例１にかかる画像処理装置の構成を示す機能ブロック図である。 図６は、顔学習データのデータ構造の一例を示す図である。 図７は、非顔学習データのデータ構造の一例を示す図である。 図８は、比較対象データのデータ構造の一例を示す図である。 図９は、顔検出処理部の処理の一例を説明するための図である。 図１０は、比較結果テーブルのデータ構造の一例を示す図である。 図１１は、検出範囲の移動の様子を説明するための図である。 図１２は、本実施例１にかかる画像処理装置の処理手順を示すフローチャートである。 図１３は、簡単な縮小方法を説明するための図である。 図１４は、複雑な縮小方法を説明するための図である。 図１５は、本実施例２にかかる画像処理装置の概要および特徴を説明するための図である。 図１６は、本実施例２にかかる画像処理装置の構成を示す機能ブロック図である。 図１７は、縮小レベル管理データのデータ構造の一例を示す図である。 図１８は、本実施例２にかかる画像処理装置の処理手順を示すフローチャートである。 図１９は、本実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。
符号の説明
　３０　　コンピュータ
　３１　　入力装置
　３２　　モニタ
　３３　　ＲＡＭ
　３３ａ，３９ａ　各種データ
　３４　　ＲＯＭ
　３５　　通信制御装置
　３６　　媒体読取装置
　３７　　カメラ
　３８　　ＣＰＵ
　３８ａ　画像処理プロセス
　３９　　ＨＤＤ
　３９ｂ　画像処理プログラム
　４０　　バス
１００，２００　　画像処理装置
１１０，２１０　　変換処理部
１２０，２２０　　分析処理部
１３０，２３０　　記憶部
１３０ａ，２３０ａ　顔学習データ
１３０ｂ，２３０ｂ　非顔学習データ
１３０ｃ，２３０ｃ　比較対象データ
１３０ｄ，２３０ｄ　縮小レベル管理データ
１４０，２４０　　顔検出処理部
　以下に、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
　本実施例にかかる画像処理装置の説明を行う前に、従来の画像処理装置が実行する物体検出方法について説明する。図１、２は、従来の物体検出方法を説明するための図である。まず、前準備として、従来の物体検出方法では学習データを作成する。
　画像処理装置が学習データを作成する場合には、顔画像集データと、非顔画像集データを周波数変換（例えば、ウェーブレット変換）することにより、顔画像の特徴を含んだ特徴データと非顔画像の特徴を含んだ特徴データとを作成する。ここで、顔画像集データは、様々な人物の顔画像を集めた画像データである。顔画像集データに含まれる画像データは、顎から頭をほぼ含む上下幅、両耳をほぼ含む左右幅で、顔を全面に写した画像群で構成されている。もちろん、多様な顔を検出するための学習データであるので、真正面から顔を写したデータのほかに、斜め上や下や左や右を向いたデータや、帽子や眼鏡を掛けた顔のデータ、様々な年齢や性別の人のデータが含まれていても良い。非顔画像集データは、顔画像以外の各種の画像を集めた画像データである。そして、画像処理装置は、各特徴データを分析して、各特徴データを量子化することにより学習データを作成する。
　続いて、画像処理装置が、動画像に顔画像が含まれているか否かを判定する場合には、入力画像データ（動画像に含まれる各フレームの画像データ）を周波数変換して、入力画像の特徴を含んだ特徴データを作成する。そして、画像処理装置は、特徴データから検索範囲（入力フレーム内で切り出し位置を走査するようにずらしながら切り出した、顔画像集データの特徴の検出対象とする領域）を設定した後、検索範囲を分析して、検索範囲内のデータを量子化し、量子化したデータと、予め作成しておいた学習データとを比較することで、検索範囲内に顔画像が含まれているか否かを判定する。画像処理装置は、検索範囲内の比較が終了した後に、検索範囲を入力画像内で順次移動させ、上記の処理を繰り返すことで、入力画像中に含まれる各顔画像を検出する。
　なお、入力画像には、様々なサイズの顔画像が含まれる可能性がある。そこで、従来の画像処理装置は、様々な顔画像の大きさに対応するために、入力画像を様々なサイズに縮小し、縮小した入力画像から物体検出処理を行っている（図２参照）。入力画像に含まれる顔画像が、上記の検出範囲からはみ出ると、顔画像が存在するにも関わらず、顔画像を検出することが出来ないが、入力画像を縮小してやれば、検出範囲に顔画像が含まれるので、適切に顔画像を検出することができる。
　例えば、図２に示すように、縮小レベル１～４に縮小する場合には、画像処理装置は、フレーム毎に画像を縮小レベル１，２，３，４の順に入力画像を縮小し、順次物体検出処理を実行する。ただし、縮小レベル４の画像のサイズ＜縮小レベル３の画像のサイズ＜縮小レベル２の画像のサイズ＜縮小レベル１の画像のサイズとする。
　ところで、学習データを作成する際に利用する顔画像集データには、様々なサイズの顔画像が含まれているため、画像領域に占める顔領域のサイズがやや大きめのものから、小さめのものまで存在する。このため、特定の縮小レベルに画像を縮小して物体検出を行うと、本来のサイズの顔画像が検出されるのと併せて、本来のサイズよりも少し大きめあるいは少し小さめの顔画像も検出されることが多い。
　例えば、縮小レベル２に顔画像を縮小して物体検出を行うと、本来のサイズ（縮小レベル２に縮小した顔画像のサイズ）よりも少し大きめの顔画像（縮小レベル１に縮小した顔画像に相当する顔画像）や、少し小さめの顔画像（縮小レベル３に縮小した顔画像に相当する顔画像）が見つかることが多い。本発明にかかる画像処理装置は、これらに着目して、物体検出に要する時間の短縮化を図る。
　次に、本実施例１にかかる画像処理装置の概要および特徴について説明する。図３、４は、本実施例１にかかる画像処理装置の概要および特徴を説明するための図である。本実施例１では一例として、縮小レベルを縮小レベル０～７とし、縮小レベル０が一番小さく、縮小レベル０～７の順に、画像のサイズが大きくなるものとする。
　本実施例１にかかる画像処理装置は、縮小レベルを順次変更して、物体検出を実行する場合に、変更前の縮小レベルと変更後の縮小レベルとが隣り合う縮小レベルにならないように縮小レベルを変更して、物体検出を実行する。例えば、縮小レベルを縮小レベル０，１，２，３，４，５，６，７のように変更しないで、縮小レベルを縮小レベル０，４，２，６，１，５，３，７の順に変更し、物体検出を実行する。なお、縮小レベルは、検索対象となる動画像のフレームが切り替わる時点で変更される。
　図３では、黒丸は、ちょうどの大きさで顔が見つかる「可能性がある」ことを、右上がり斜線の丸は、近傍の大きさで顔が見つかる「可能性がある」ことを、チェック模様の丸は、ちょうどの大きさで顔が「実際に見つかった」ことを、つぶつぶ模様の丸は、近傍の大きさで顔が「実際に見つかった」ことをそれぞれ現している。
　例えば、図４に示すように、動画像中に顔１～３が存在しており、かかる動画像に対して、縮小レベルを縮小レベル０，４，２，６，１，５，３，７の順に変更して物体検出を実行した場合について説明を行う。ここで、顔１は、縮小レベル２に相当する顔画像であり、顔２は、縮小レベル１に相当する顔画像であり、顔３は、縮小レベル４に相当する顔画像とする。
　まず、画像処理装置は、動画像中の第１フレームにて、画像を縮小レベル０に縮小して物体検出を実行すると、縮小レベル１に相当する顔２を検出する。次に、画像処理装置は、第２フレームにて、画像を縮小レベル４に縮小して物体検出を実行すると、縮小レベル４に相当する顔３を検出する。次に、画像処理装置は、第３フレームにて、画像を縮小レベル２に縮小して物体検出を実行すると、縮小レベル１に相当する顔１と、縮小レベル２に相当する顔２とを検出し、動画像中に含まれる顔１～３の検出が終了する。すなわち、レベル０，４，２の３個分のレベルを処理したところで、顔１～３の検出が終了することになる。
　もし、縮小レベルを大きい方から小さい方に、もしくは小さい方から大きい方に順に変化させて顔検出を行ったとすると、図４の例では、レベル０から始まってレベル１，２，３の４個分のレベルを処理したところで、顔１～３の検出が終了することになる。従って、本実施例に示す画像処理装置によれば、順に縮小レベルを変化させるよりも、早く、多様なレベルの大きさの顔を検出できる。
　このように、本実施例１にかかる画像処理装置は、変更前の縮小レベルと変更後の縮小レベルとが連続しないように、縮小レベルを変更することで、物体検出処理を実行するので、物体検出に要する時間の短縮化を図ることができる。入力されるフレームにどのような大きさの顔が含まれているかはわからないので、このように変更前の縮小レベルと変更後の縮小レベルとが連続しないように、縮小レベルを変更したほうが、早く万遍なく複数の縮小レベルをカバーできる。
　また、従来の物体検出では、動画像の各フレームにおいて、フレーム中の画像を全ての縮小レベルで縮小して物体検出を実行していたが、本実施例１にかかる画像処理装置は、動画像の各フレームにおいて、フレーム中の画像を単一の縮小レベルで縮小して物体検出を実行するので、画像処理装置にかかる負荷を軽減することができる。
　次に、本実施例１にかかる画像処理装置の構成について説明する。図５は、本実施例１にかかる画像処理装置の構成を示す機能ブロック図である。図５に示すように、この画像処理装置１００は、変換処理部１１０と、分析処理部１２０と、記憶部１３０と、顔検出処理部１４０とを有する。
　変換処理部１１０は、顔画像集データおよび非顔画像集データを取得し、取得した顔画像集データおよび非顔画像集データに対して周波数変換処理（例えば、ウェーブレット変換）を実行する処理部である。画像データに対する周波数変換処理は、周知技術と同様である。
　変換処理部１１０は、入力装置、記憶装置（図示略）等から顔画像集データおよび非顔画像集データを取得する。変換処理部１１０は、周波数変換した顔画像集データおよび非顔画像集データを分析処理部１２０に出力する。以下の説明において、周波数変換した顔画像集データを変換顔画像集データと表記し、周波数変換した非顔画像集データを変換非顔画像集データと表記する。
　分析処理部１２０は、変換顔画像集データおよび変換非顔画像集データを取得した場合に、変換画像集データを基にして顔学習データを作成し、変換非顔画像集データを基にして非顔学習データを作成する処理部である。
　まず、分析処理部１２０が、顔学習データを作成する処理について説明する。分析処理部１２０は、変換顔画像集データに含まれる画像データから単一の画像データを抽出する。そして、分析処理部１２０は、各変換係数と、量子化閾値とを比較することにより、該当変換係数値を量子化する。量子化閾値は、予め、分析処理部１２０に設定されているものとする。
　同様に、分析処理部１２０は、変換顔画像集データに含まれる残りの画像データも、上記の手法により量子化する。そして、分析処理部１２０は、量子化した各画像データの各変換係数値（各画像データの同一位置に対応する変換係数値）を比較し、変換係数値の頻度に基づいて、顔学習データを作成する。例えば、画像データ中の位置（ｘ１、ｙ１）の変換係数値について、各画像データを比較したところ、他の変換係数値の頻度よりも変換係数値「１」の頻度のほうが大きい場合には、顔学習データ中の位置（ｘ１、ｙ１）の変換係数値を「１」に設定する。
　図６は、顔学習データのデータ構造の一例を示す図である。図６に示すように、この顔学習データは、位置情報と変換係数値とを対応付けて記憶している。なお、顔学習データのデータ構造は、図６に示したものに限らず、例えば、物体検出時に比較する変換係数の塊（例えば、８係数）毎に変換係数値を対応付けて記憶させても良い。
　次に、分析処理部１２０が、非顔学習データを作成する処理について説明する。分析処理部１２０は、変換非顔画像集データに含まれる画像データから単一の画像データを抽出する。そして、分析処理部１２０は、各変換係数と、量子化閾値とを比較することにより、該当変換係数値を量子化する。
　同様に、分析処理部１２０は、変換非顔画像集データに含まれる残りの画像データも、上記の手法により量子化する。そして、分析処理部１２０は、量子化した各画像データの各変換係数値（各画像データの同一位置に対応する変換係数値）を比較し、変換係数値の頻度に基づいて非顔学習データを作成する。例えば、画像データ中の位置（ｘ１、ｙ１）の変換係数値について、各画像データを比較したところ、他の変換係数値の頻度よりも、変換係数値「１」の頻度のほうが大きい場合には、非顔学習データ中の位置（ｘ１、ｙ１）の変換係数値を「１」に設定する。
　図７は、非顔学習データのデータ構造の一例を示す図である。図７に示すように、この非顔学習データは、位置情報と変換係数値とを対応付けて記憶している。なお、非顔学習データのデータ構造は、図７に示したものに限らず、例えば、物体検出時に比較する変換係数の塊（例えば、８係数）毎に画素値を対応付けて記憶させても良い。
　記憶部１３０は、分析処理部１２０から出力される顔学習データ１３０ａ、非顔学習データ１３０ｂ、顔検出処理部１４０から出力される比較対象データ１３０ｃ、縮小レベル管理データ１３０ｄを記憶する記憶部である。このうち、比較対象データ１３０ｃおよび縮小レベルデータ１３０ｄの説明は後述する。
　顔検出処理部１４０は、動画像データを取得した場合に、動画像データの各フレームに含まれる画像データから顔画像を検出する処理部である。顔検出処理部１４０は、検出結果を上位の装置（図示略）に出力する。以下において、顔検出処理部１４０の処理を具体的に説明する。
　まず、顔検出処理部１４０は、縮小レベル管理データ１３０ｄを参照し、縮小レベルを判定する。この縮小レベル管理データ１３０ｄは、縮小レベルを記憶したデータである。例えば、縮小レベル管理データ１３０ｄに縮小レベル０が記憶されている場合には、顔検出処理部１４０は、画像データを縮小レベル０以外の縮小レベルに縮小する。縮小レベル管理データ１３０ｄは、顔検出処理部１４０のよって順次更新されていく。
　顔検出処理部１４０は、縮小レベルを判定した後に、判定結果に基づいて画像データ（動画像データのフレームに含まれる画像データ）を縮小する。例えば、縮小レベルが縮小レベル１ならば、顔検出処理部１４０は、画像データを縮小レベル１に縮小する。そして、顔検出処理部１４０は、変更前の縮小レベルと変更後の縮小レベルが隣り合わないように、縮小レベル管理データ１３０ｄに記憶された縮小レベルを変更する。例えば、縮小レベルが２であった場合に、隣り合う縮小レベルはレベル１とレベル３なので、顔検出処理部１４０は、変更後の縮小レベルが隣り合わないように、レベル１、レベル３以外のレベルに縮小レベルを変更する。
　次に、顔検出処理部１４０は、縮小した画像データに対して周波数変換処理（例えば、ウェーブレット変換）を実行する。そして、顔検出処理部１４０は、周波数変換を行った後に、周波数変換を行った画像データを量子化することにより、比較対象データ１３０ｃを作成する。
　ここで、比較対象データ１３０ｃを作成する処理について具体的に説明する。顔検出処理部１４０は、画像データに対して周波数変換処理を行った結果として得られる各変換係数と、量子化閾値とを比較することにより、該当ブロックの画素値を量子化し比較対象データ１３０ｃを作成する。
　図８は、比較対象データ１３０ｃのデータ構造の一例を示す図である。図８に示すように、この比較対象データ１３０ｃは、位置情報と変換係数値とを対応付けて記憶している。なお、比較対象データ１３０ｃのデータ構造は、図８に示したものに限らず、例えば、物体検出時に比較する変換係数の塊（例えば、８係数）毎に変換係数値と対応付けて記憶させても良い。
　そして、顔検出処理部１４０は、記憶部１３０に記憶された顔学習データ１３０ａと、非顔学習データ１３０ｂと、比較対象データ１３０ｃとを比較して、画像データに顔画像が含まれているか否かを判定する。
　図９は、顔検出処理部１４０の処理の一例を説明するための図である。具体的に、顔検出処理部１４０は、検出範囲を設定し、顔学習データ１３０ａ、非顔学習データ１３０ｂ、比較対象データ１３０ｃの同一位置の検出範囲に含まれる各変換係数値をそれぞれ比較する。そして、顔検出処理部１４０は、比較した結果、比較対象データの検出範囲が顔学習データに類似しているのか、非顔学習データに類似しているのかを判定し、判定結果を比較結果テーブルに登録する。かかる比較結果テーブルは、顔検出処理部１４０が、保持しているものとする。
　図９に示す例では、比較対象データ１３０ｃは、顔学習データ１３０ａに対して、７つヒットし、非顔学習データ１３０ｂに対して、１つヒットしているので、非顔学習データ１３０ｂよりも、顔学習データ１３０ａに類似していると判定する。
　図１０は、比較結果テーブルのデータ構造の一例を示す図である。図１０に示すように、この比較結果テーブルは、検出範囲を識別する検出範囲識別情報と、比較結果とを対応付けて記憶している。顔検出処理部１４０は、顔学習データ１３０ａ、非顔学習データ１３０ｂ、比較対象データ１３０ｃの検出範囲を比較した結果、顔学習データ１３０ａに類似していると判定した場合には、比較結果に「マル」を登録し、非顔学習データ１３０ｂに類似していると判定した場合には、比較結果に「バツ」を登録する。
　具体的に、図９を用いて説明する。ここでは一例として、現在、各画像データ１３０ａ～１３０ｃに設定されている検出範囲の検出範囲識別情報を「１００１」とする。顔検出処理部１４０が、比較対象データ１３０ｃの検出範囲の各画素値と、顔学習データ１３０ａの検出範囲の各画素値とを比較すると、７つヒットする。
　一方、顔検出処理部１４０が、比較対象データ１３０ｃの検出範囲の各画素値と、非顔学習データ１３０ｂの各画素値とを比較すると、１つヒットする。この場合、顔検出処理部１４０は、顔学習データ１３０ａの方が、非顔学習データ１３０ｂよりもヒット数が多いので、検出範囲識別情報「１００１」に対応する比較結果を「マル」に設定する。逆に非顔学習データ１３０ｂのほうがヒット数が多い場合は「バツ」を設定する。同数の場合には，ここでは，どちらにも設定しないこととする。
　顔検出処理部１４０は、図１１に示すように、検出範囲を移動させながら、比較結果テーブルの比較結果に「マル」または「バツ」を順次登録していく。図１１は、検出範囲の移動の様子を説明するための図である。なお、顔検出処理部１４０が、検出範囲内の各画素値を比較する際には、顔学習データ１３０ａ、非顔学習データ１３０ｂ、比較対象データ１３０ｃ上に配置される検出範囲の位置が統一されているものとする。
　そして、顔検出処理部１４０は、比較対象データ１３０ｃ、顔学習データ１３０ａ、非顔学習データ１３０ｂの比較が終了した後に、比較結果テーブルを参照し、「バツ」の数よりも「マル」の数の方が多い場合には、入力画像に顔画像が含まれていると判定する。一方、「バツ」の数よりも「マル」の数のほうが少ない場合には、入力画像に顔画像が含まれていないと判定する。なお、「バツ」の数と「マル」の数が等しい場合には、管理者の設定により、顔画像が含まれていると判定しても良いし、顔画像が含まれていないと判定しても良い。
　なお、図９に示す例では、顔検出処理部１４０は、８変換係数毎に変換係数値を比較する例を示しているが、これに限定されるものではない。例えば、ｎ（ｎは、自然数）変換係数毎に変換係数値を比較することも出来る。また、図１０に示すように、必ずしも検出範囲毎に比較結果を保存する必要はなく、例えば、「マル」の数および「バツ」の数を集計し、集計結果のみを比較結果テーブルに保存しても良い。
　また、［非特許文献１］H.Schneiderman　and　T.　Kanade,　Object　Detection　Using　the　Statistics　of　Parts　To　appear　in　International　Journal　of　Computer　Vision,2002.　に記述されている顔検出技術を用いてもよい。本技術も、Wavelet変換係数上にて、顔学習データ、非顔学習データを用いて検出するので、本発明との整合性はよく、以降の手続きを融合して全体の処理を構成することもできる。
　顔検出処理部１４０は、縮小した画像データに対する物体検出処理が終了した場合には、動画像データから次のフレームを取得する。そして、顔検出処理部１４０は、縮小レベル管理データ１３０ｄに基づいて、次のフレームに含まれる画像データを縮小し、上述した処理を繰り返し実行する。
　次に、本実施例１にかかる画像処理装置１００の処理手順について説明する。図１２は、本実施例１にかかる画像処理装置１００の処理手順を示すフローチャートである。図１２に示すように、画像処理装置１００は、縮小レベル管理データ１３０ｄを取得し（ステップＳ１０１）、フレーム中の画像データを取得する（ステップＳ１０２）。
　そして、画像処理装置１００は、縮小レベル管理データ１３０ｄに対応する縮小レベルの画像を作成し（ステップＳ１０３）、縮小した画像に対して物体検出処理を実行する（ステップＳ１０４）。
　画像処理装置１００は、物体検出処理の検出結果を出力し（ステップＳ１０５）、縮小レベル管理データ１３０ｄを更新する（ステップＳ１０６）。画像処理装置１００は、ステップＳ１０１～１０６に示した処理を繰り返し実行する。
　上述してきたように、本実施例１にかかる画像処理装置１００は、縮小レベルを順次変更して、物体検出を実行する場合に、変更前の縮小レベルと変更後の縮小レベルとが隣り合う縮小レベルにならないように縮小レベルを変更して、物体検出を実行するので、物体検出に要する時間の短縮化を図ることができる。
　なお、本実施例１では、縮小レベルを順次変更して、物体検出を実行する場合に、変更前の縮小レベルと変更後の縮小レベルとが隣り合う縮小レベルにならないように縮小レベルを変更して、物体検出を実行していたが、縮小レベルを順（縮小レベル０，１，２，３，４，５，６，７の順又は、縮小レベル７，６，５，４，３，２，１，０の順）に変更して物体検出を行っても良い。
　次に、本実施例２にかかる画像処理装置について説明する。通常、画像処理装置が、画像データを縮小する場合には、２のべき乗分の１の縮小サイズが得られるような簡単な縮小方法と、より細かな縮小サイズを得るための複雑な縮小方法とを組合せて画像データを縮小している。
　例えば、簡単な縮小方法、複雑な縮小方法ともにレベル０～３までの４レベルで構成されている場合には、簡単な縮小方法と複雑な縮小方法とを組合せることにより、レベル０～レベル１５までの１６レベルの縮小を行うことになる。なお、レベルｎは、ｎ回縮小を繰り返すことを意味する。例えば、簡単な縮小方法のレベル２は、元の画像データに対して、２回簡単な縮小方法を繰り返す。
　以下の説明において、簡単な縮小方法のレベル０と、複雑な縮小方法のレベル０との組合せを、縮小レベル０とし、簡単な縮小方法のレベル０と、複雑な縮小方法のレベル１との組合せを、縮小レベル１とし、簡単な縮小方法のレベル０と、複雑な縮小方法のレベル２との組合せを、縮小レベル２とし、簡単な縮小方法のレベル０と、複雑な縮小方法のレベル３との組合せを、縮小レベル３と定義する。
　また、簡単な縮小方法のレベル１と、複雑な縮小方法のレベル０との組合せを、縮小レベル４とし、簡単な縮小方法のレベル１と、複雑な縮小方法のレベル１との組合せを、縮小レベル５とし、簡単な縮小方法のレベル１と、複雑な縮小方法のレベル２との組合せを、縮小レベル６とし、簡単な縮小方法のレベル１と、複雑な縮小方法のレベル３との組合せを、縮小レベル７と定義する。
　また、簡単な縮小方法のレベル２と、複雑な縮小方法のレベル０との組合せを、縮小レベル８とし、簡単な縮小方法のレベル２と、複雑な縮小方法のレベル１との組合せを、縮小レベル９とし、簡単な縮小方法のレベル２と、複雑な縮小方法のレベル２との組合せを、縮小レベル１０とし、簡単な縮小方法のレベル２と、複雑な縮小方法のレベル３との組合せを、縮小レベル１１と定義する。
　また、簡単な縮小方法のレベル３と、複雑な縮小方法のレベル０との組合せを、縮小レベル１２とし、簡単な縮小方法のレベル３と、複雑な縮小方法のレベル１との組合せを、縮小レベル１３とし、簡単な縮小方法のレベル３と、複雑な縮小方法のレベル２との組合せを、縮小レベル１４とし、簡単な縮小方法のレベル３と、複雑な縮小方法のレベル３との組合せを、縮小レベル１５と定義する。
　ここで、２のべき乗分の１に縮小する場合の簡単な縮小方法と、より細かな縮小サイズを得るための複雑な縮小方法について説明する。図１３は、簡単な縮小方法を説明するための図であり、図１４は、複雑な縮小方法を説明するための図である。
　図１３に示すように、２のべき乗分の１の縮小を行う場合には、画像データを複数のブロックに分割し、４つのブロックのピクセル値の平均値を求めることで、画像データを縮小する。図１３に示す例では、１／４に画像データを縮小している。
　例えば、縮小後のＰ[１，１]のピクセルは、
（Ｐ[２，２]＋Ｐ[３，２]＋Ｐ[２，３]＋Ｐ[３，３]）／４
によって算出することができる。縮小後のその他の座標に関しても、同様に算出することができる。
　一方、図１４に示すように、画像データを２のべき乗分の１以外に縮小する場合には、図１３に示した方法と比較して、計算が複雑となる。図１４に示す例では、画像データを５／８に縮小する場合を示している。かかる縮小方法では、各ピクセルの平均値を求めるだけではなく、各ピクセルの重み付けを算出しながら、縮小後のピクセルを算出する必要がある。
　例えば、縮小後のＰ[１，１]のピクセルは、
（Ｐ[１，１]×０．１６＋Ｐ[２，１]×０．４＋Ｐ[３，１]×０．０８＋Ｐ[１，２]×０．４＋Ｐ[２，２]×１＋Ｐ[３，２]×０．２＋Ｐ[１，３]×０．０８＋Ｐ[２，３]×０．２＋Ｐ[３，３]×０．０４）／２．５６
によって算出することができる。縮小後のその他の座標に関しても、同様に算出することができる。
　例えば、縮小レベル１５では、簡単な縮小方法のレベル３と、複雑な縮小方法のレベル３との組合せであるため、元の画像データに対して、３回簡単な縮小（図１３参照）を実行し、更に、３回複雑な縮小（図１４参照）を実行することになる。
　ところで、実施例１でも説明したように、学習データを作成する際に利用する顔画像集データには、様々なサイズの顔画像が含まれているため、画像領域に占める顔領域のサイズがやや大きめのものから、小さめのものまで存在する。このため、特定の縮小レベルに画像を縮小して物体検出を行うと、本来のサイズが検出できるのはもちろんのこと、本来のサイズよりも少し大きめ、あるいは少し小さめの顔画像も併せて検出できることが多い。
　例えば、縮小レベル２に顔画像を縮小して物体検出を行うと、本来のサイズ（縮小レベル２に縮小した顔画像のサイズ）よりも少し大きめの顔画像（縮小レベル１に縮小した顔画像に相当する顔画像）や、少し小さめの顔画像（縮小レベル３に縮小した顔画像に相当する顔画像）が見つかることが多い。
　例えば、上述の縮小レベル０、４、８、１２を実行して物体を検出することが出来れば、複雑な縮小処理を実行する必要がない他、同一の複雑な縮小レベルに属する縮小レベルを選択して実行することで複雑な縮小処理を最小限に抑えつつ複数の縮小レベルを処理できるため、画像縮小の負荷を抑えつつ、様々な大きさの顔を効率よく早期に検出することが可能となる。
　本実施例２にかかる画像処理装置は、上述した点に着目し、複雑な縮小処理を実行しない縮小レベル０，４，８，１２を他の縮小レベルよりも優先して選択して物体検出を実行する。図１５は、本実施例２にかかる画像処理装置の概要および特徴を説明するための図である。図１５では、黒丸は、ちょうどの大きさで顔が見つかる「可能性がある」ことを、右上がり斜線の丸は、近傍の大きさで顔が見つかる「可能性がある」ことを、チェック模様の丸は、ちょうどの大きさで顔が「実際に見つかった」ことを、つぶつぶ模様の丸は、近傍の大きさで顔が「実際に見つかった」ことをそれぞれ現している。
　ここでは、一例として、画像処理装置が、物体検出処理の１回目において、縮小レベル０、４にて画像データを縮小し、物体検出処理の２回目において、縮小レベル８、１２にて画像データを縮小し、物体検出処理の３回目において、縮小レベル２、６にて画像データを縮小し、物体検出処理の４回目において、縮小レベル１０、１４にて画像データを縮小し、物体検出処理の５回目において、縮小レベル１、５にて画像データを縮小し、物体検出処理の６回目において、縮小レベル９、１３にて画像データを縮小し、物体検出処理の７回目において、縮小レベル３、７にて画像データを縮小し、物体検出処理の８回目において、縮小レベル１１、１５にて画像データを縮小して物体検出を実行するものとする。
　例えば、図４に示すように、動画像中に顔１～３が存在しており、かかる動画像に対して、縮小レベルを図１５に示す順に変更して物体検出を実行した場合について説明を行う。ここで、顔１は、縮小レベル５に相当する顔画像であり、顔２は、縮小レベル２に相当する顔画像であり、顔３は、縮小レベル９に相当する顔画像とする。
　まず、画像処理装置は、動画像中の第１フレームにて、画像を縮小レベル０、４に縮小して物体検出を実行すると、縮小レベル５に相当する顔１を検出する。次に、画像処理装置は、第２フレームにて、画像を縮小レベル８、１２に縮小して物体検出を実行すると、縮小レベル９に相当する顔３を検出する。次に、画像処理装置は、第３フレームにて、画像を縮小レベル２、６に縮小して物体検出を実行すると、縮小レベル５に相当する顔１と、縮小レベル２に相当する顔２とを検出し、動画像中に含まれる顔１～３の検出が終了する。
　このように、本実施例２にかかる画像処理装置は、複雑な縮小処理を実行しない縮小レベルを優先して選択して、物体検出処理を実行する他、同一の複雑な縮小レベルに属する縮小レベルを選択して実行するため、複雑な縮小処理を実行すべき頻度を減らし、物体検出に要する時間の短縮化を図ることができる。
　また、本実施例２にかかる画像処理装置は、変更前の縮小レベルと変更後の縮小レベルとが連続しないように、縮小レベルを変更することで、物体検出処理を実行するので、物体検出に要する時間の短縮化を図ることができる。
　次に、本実施例にかかる画像処理装置の構成について説明する。図１６は、本実施例２にかかる画像処理装置２００の構成を示す機能ブロック図である。図１６に示すように、この画像処理装置２００は、変換処理部２１０と、分析処理部２２０と、記憶部２３０と、顔検出処理部２４０とを有する。
　このうち、変換処理部２１０と、分析処理部２２０の説明は、図５に示した変換処理部１１０と、分析処理部１２０と同様である。記憶部２３０は、顔学習データ２３０ａと、非顔学習データ２３０ｂと、比較対象データ２３０ｃと、縮小レベル管理データ２３０ｄとを記憶する記憶部である。
　このうち、顔学習データ２３０ａのデータ構造は、図６に示した顔学習データ１３０ａと同様である。また、非顔学習データ２３０ｂのデータ構造は、図７に示した非顔学習データ１３０ｂと同様である。また、比較対象データ２３０ｃのデータ構造は、図８に示した比較対象データ１３０ｃと同様である。
　縮小レベル管理データ２３０ｄは、縮小を行う際の縮小レベルの順序を管理するデータである。図１７は、縮小レベル管理データ２３０ｄのデータ構造の一例を示す図である。図１７に示すように、かかる縮小レベル管理データ２３０ｄは、順序と縮小レベルとを対応付けて記憶している。
　顔検出処理部２４０は、動画像データを取得した場合に、動画像データの各フレームに含まれる画像データから顔画像を検出する処理部である。顔検出処理部２４０は、検出結果を上位の装置（図示略）に出力する。以下において、顔検出処理部２４０の処理を具体的に説明する。
　まず、顔検出処理部２４０は、縮小レベル管理データ２３０ｄを参照し、縮小レベルを判定する。例えば、顔検出処理部２４０は、順序をカウンタなどで管理しており、カウンタの値と、縮小レベル管理データ２３０ｄとを比較して、縮小レベルを判定する。
　例えば、カウンタの値が「１」の場合には、縮小レベルは、縮小レベル０と縮小レベル４となる。顔検出処理部１４０は、縮小レベルを判定した後に、カウンタに１をインクリメントする。なお、カウンタの初期値を１とする。ここでは、一例として、顔検出処理部２４０が、カウンタを用いて縮小レベルを判定していたが、縮小レベルの判定方法はこれに限定されるものではない。
　顔検出処理部２４０は、縮小レベルを判定した後に、判定結果に基づいて画像データ（動画像データのフレームに含まれる画像データ）を縮小する。例えば、縮小レベルが縮小レベル０、４ならば、顔検出処理部２４０は、画像データを縮小レベル０および縮小レベル４に縮小する。
　次に、顔検出処理部２４０は、縮小した画像データに対して周波数変換処理（例えば、ウェーブレット変換）を実行する。そして、顔検出処理部２４０は、周波数変換を行った後に、周波数変換を行った画像データを量子化することにより、比較対象データ２３０ｃを作成する（２種類の縮小を行った場合には、比較対象データ２３０ｃは２つ生成される）。
　そして、顔検出処理部２４０は、記憶部２３０に記憶された顔学習データ２３０ａと、非顔学習データ２３０ｂと、比較対象データ２３０ｃとを比較して、画像データに顔画像が含まれているか否かを判定する。顔検出処理部２４０が、顔検出を行う際の処理は、図９と同様である。ただし、２つの比較対象データ２３０ｃが存在する場合には、それぞれの比較対象データ２３０ｃに対して、顔検出を実行する。
　そして、顔検出処理部２４０は、図５に示した顔検出処理部１４０と同様にして、検出結果を比較結果テーブルに登録する。比較結果テーブルのデータ構造は、図１０に示した比較結果テーブルのデータ構造と同様である。
　顔検出処理部２４０は、縮小した画像データに対する物体検出処理が終了した場合には、動画像データから次のフレームを取得する。そして、顔検出処理部２４０は、縮小レベル管理データ２３０ｄに基づいて、次のフレームに含まれる画像データを縮小し、上述した処理を繰り返し実行する。
　次に、本実施例２にかかる画像処理装置２００の処理手順について説明する。図１８は、本実施例２にかかる画像処理装置２００の処理手順を示すフローチャートである。図１８に示すように、画像処理装置２００は、縮小レベル管理データ２３０ｄを取得し（ステップＳ２０１）、フレーム中の画像データを取得する（ステップＳ２０２）。
　そして、画像処理装置２００は、縮小レベル管理データ２３０ｄに対応する複雑縮小レベル（複雑な縮小方法のレベル）の画像データを生成し（ステップＳ２０３）、縮小レベル管理データ２３０ｄに対応する簡単縮小レベル（簡単な縮小方法のレベル）の画像データを生成する（ステップＳ２０４）。
　画像処理装置２００は、縮小した画像データに対して物体検出処理を実行し（ステップＳ２０５）、全ての簡単縮小レベルが終了したか否かを判定する（ステップＳ２０６）。全ての簡単縮小レベルが終了していない場合には（ステップＳ２０７，Ｎｏ）、未処理の簡単縮小レベルの画像データを生成し（ステップＳ２０８）、ステップＳ２０５に移行する。一方、全ての簡単縮小レベルが終了している場合には（ステップＳ２０７，Ｙｅｓ）、検出結果を出力する（ステップＳ２０９）。画像処理装置２００は、図１８に示した処理を繰り返し実行する。
　上述してきたように、本実施例２にかかる画像処理装置２００は、動画像データを取得して、各フレームに含まれる画像データを縮小する場合に複雑な縮小処理を実行しない縮小レベルを他の縮小レベルよりも優先して選択して物体検出を実行する他、同一の複雑な縮小レベルに属する縮小レベルを選択して実行するため、縮小処理にかかる負荷を軽減し、物体検出処理を高速化することができる。
　なお、本実施例２にかかる画像処理装置２００は、一例として、１フレームにつき、２つの縮小レベルによって画像データを縮小する場合について説明したが、これに限定されるものではなく、上述して実施例１のように、１フレームにつき、１つの縮小レベルによって画像データを縮小し、物体検出を実行しても良い。
　ところで、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
　また、図５および図１６に示した画像処理装置１００，２００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。なお、本実施例で説明した各種の処理手順は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。
　図１９は、本実施例にかかる画像処理装置１００（画像処理装置２００）を構成するコンピュータのハードウェア構成を示す図である。図１９に示すように、このコンピュータ（画像処理装置）３０は、入力装置３１、モニタ３２、ＲＡＭ（Random　Access　Memory）３３、ＲＯＭ（Read　Only　Memory）３４、ネットワークを介して他の装置と通信を行う通信制御装置３５、記憶媒体からデータを読み出す媒体読取装置３６、カメラ３７、ＣＰＵ（Central　Processing　Unit）３８、ＨＤＤ（Hard　Disk　Drive）３９をバス４０で接続している。
　そして、ＨＤＤ３９には、上述した画像処理装置１００の機能と同様の機能を発揮する画像処理プログラム３９ｂが記憶されている。ＣＰＵ３８が、画像処理プログラム３９ｂを読み出して実行することにより、画像処理プロセス３８ａが起動される。
　ここで、画像処理プロセス３８ａは、図５の変換処理部１１０、分析処理部１２０、顔検出処理部１４０に対応する。また、ＨＤＤ３９は、画像処理装置１００の記憶部１３０に記憶される情報に対応する各種データ３９ａを記憶する。ＣＰＵ３８は、ＨＤＤ３９に格納された各種データ３９ａを読み出して、ＲＡＭ３３に格納し、ＲＡＭ３３に格納された各種データ３３ａを利用して、画像データの縮小処理、物体検出を実行する。
　ところで、図１９に示した画像処理プログラム３９ｂは、必ずしも最初からＨＤＤ３９に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などに画像処理プログラム３９ｂを記憶しておき、コンピュータがこれらから画像処理プログラム３９ｂを読み出して実行するようにしてもよい。

Claims (6)

  1. 　顔画像の特徴を含む学習データを記憶する記憶手段と、
    　動画像の入力を受け付ける入力手段と、
    　前記入力手段が受け付けた動画像に含まれる各フレームのうち一のフレームを処理対象フレームとし、前記処理対象フレームの画像を、数段階の縮小レベルのうち第一のレベルに縮小することで、前記処理対象フレームの縮小画像を生成する縮小手段と、
    　前記縮小手段により生成された縮小画像と前記学習データとを比較することで、該縮小画像から顔画像を抽出する抽出手段と、
    　前記顔画像を抽出した結果を出力する出力手段とを有し、
    　前記縮小手段は、前記処理対象フレームに対する顔画像の抽出が終了した後に、前記処理対象フレームを、該処理対象フレームに続く次のフレームに更新し、前記第一のレベルと隣り合う縮小レベルにならない他のレベルに縮小した縮小画像を生成することを特徴とする画像処理装置。
  2. 　前記縮小手段は、前記画像を縮小する手段として第一の縮小手段と、第二の縮小手段とを有し、前記抽出手段は、前記第一の縮小手段および／または前記第二の縮小手段によって縮小された縮小画像と、前記学習データとを比較することで、該縮小画像から顔画像を抽出することを特徴とする請求項１に記載の画像処理装置。
  3. 　画像処理装置が、
    　顔画像の特徴を含む学習データを記憶装置に記憶する記憶ステップと、
    　動画像の入力を受け付ける入力ステップと、
    　前記動画像に含まれる各フレームのうち一のフレームを処理対象フレームとし、前記処理対象フレームの画像を、数段階の縮小レベルのうち第一のレベルに縮小することで、前記処理対象フレームの縮小画像を生成する縮小ステップと、
    　前記縮小ステップにより生成された縮小画像と前記学習データとを比較することで、該縮小画像から顔画像を抽出する抽出ステップと、
    　前記顔画像を抽出した結果を出力する出力ステップと、
    　前記処理対象フレームに対する顔画像の抽出が終了した後に、前記処理対象フレームを、該処理対象フレームに続く次のフレームに更新し、前記第一のレベルと隣り合う縮小レベルにならない他のレベルに縮小した縮小画像を生成して、再度、前記縮小画像から顔画像を検出する再抽出ステップと、
    　を含んでいることを特徴とする画像処理方法。
  4. 　前記縮小ステップは、前記画像を縮小する第一の縮小ステップと、第二の縮小ステップとを含み、前記抽出ステップは、前記第一の縮小ステップおよび／または前記第二の縮小ステップによって縮小された縮小画像と、前記学習データとを比較することで、該縮小画像から顔画像を抽出することを特徴とする請求項３に記載の画像処理方法。
  5. 　コンピュータに、
    　顔画像の特徴を含む学習データを記憶装置に記憶する記憶手順と、
    　動画像の入力を受け付ける入力手順と、
    　前記動画像に含まれる各フレームのうち一のフレームを処理対象フレームとし、前記処理対象フレームの画像を、数段階の縮小レベルのうち第一のレベルに縮小することで、前記処理対象フレームの縮小画像を生成する縮小手順と、
    　前記縮小手順により生成された縮小画像と前記学習データとを比較することで、該縮小画像から顔画像を抽出する抽出手順と、
    　前記顔画像を抽出した結果を出力する出力手順とを実行させ、
    　前記縮小手順は、前記処理対象フレームに対する顔画像の抽出が終了した後に、前記処理対象フレームを、該処理対象フレームに続く次のフレームに更新し、前記第一のレベルと隣り合う縮小レベルにならない他のレベルに縮小した縮小画像を生成することを特徴とする画像処理プログラム。
  6. 　前記縮小手順は、前記画像を縮小する第一の縮小手順と、第二の縮小手順とを有し、前記抽出手順は、前記第一の縮小手順および／または前記第二の縮小手順によって縮小された縮小画像と、前記学習データとを比較することで、該縮小画像から顔画像を抽出することを特徴とする請求項５に記載の画像処理プログラム。
PCT/JP2008/066787 2008-09-17 2008-09-17 画像処理装置、画像処理方法および画像処理プログラム WO2010032294A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010529526A JP4719825B2 (ja) 2008-09-17 2008-09-17 画像処理装置、画像処理方法および画像処理プログラム
PCT/JP2008/066787 WO2010032294A1 (ja) 2008-09-17 2008-09-17 画像処理装置、画像処理方法および画像処理プログラム
US13/064,298 US8358849B2 (en) 2008-09-17 2011-03-16 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/066787 WO2010032294A1 (ja) 2008-09-17 2008-09-17 画像処理装置、画像処理方法および画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/064,298 Continuation US8358849B2 (en) 2008-09-17 2011-03-16 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
WO2010032294A1 true WO2010032294A1 (ja) 2010-03-25

Family

ID=42039148

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/066787 WO2010032294A1 (ja) 2008-09-17 2008-09-17 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US8358849B2 (ja)
JP (1) JP4719825B2 (ja)
WO (1) WO2010032294A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016147653A1 (ja) * 2015-03-19 2016-09-22 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法および記録媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013001885A1 (ja) * 2011-06-27 2013-01-03 コニカミノルタホールディングス株式会社 画像処理装置、画像処理方法、およびプログラム
JP2013055424A (ja) * 2011-09-01 2013-03-21 Sony Corp 撮影装置、パターン検出装置、および電子機器
JP6098133B2 (ja) * 2012-11-21 2017-03-22 カシオ計算機株式会社 顔構成部抽出装置、顔構成部抽出方法及びプログラム
CN103617434A (zh) * 2013-12-16 2014-03-05 东南大学 基于幂平均半脸的人脸图像识别方法
US11238304B2 (en) * 2017-03-08 2022-02-01 Quantum Rgb Ltd. System and method for biometric identification
KR102234364B1 (ko) * 2018-11-28 2021-04-01 주식회사 지노바이오 딥러닝 학습이미지 저장 및 처리방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123185A (ja) * 1998-10-14 2000-04-28 Canon Inc 被写体認識装置
JP2006323779A (ja) * 2005-05-20 2006-11-30 Canon Inc 画像処理方法、画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711587B1 (en) * 2000-09-05 2004-03-23 Hewlett-Packard Development Company, L.P. Keyframe selection to represent a video
JP4281338B2 (ja) 2002-11-22 2009-06-17 ソニー株式会社 画像検出装置及び画像検出方法
JP4994311B2 (ja) * 2007-06-18 2012-08-08 富士フイルム株式会社 顔検出方法、顔検出装置及びデジタルカメラ
JP4645707B2 (ja) * 2008-09-01 2011-03-09 ソニー株式会社 コンテンツデータ処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123185A (ja) * 1998-10-14 2000-04-28 Canon Inc 被写体認識装置
JP2006323779A (ja) * 2005-05-20 2006-11-30 Canon Inc 画像処理方法、画像処理装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016147653A1 (ja) * 2015-03-19 2016-09-22 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法および記録媒体
JPWO2016147653A1 (ja) * 2015-03-19 2018-02-01 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法およびプログラム
US10373021B2 (en) 2015-03-19 2019-08-06 Nec Corporation Object detection device, object detection method, and recording medium
US10572772B2 (en) 2015-03-19 2020-02-25 Nec Corporation Object detection device, object detection method, and recording medium, and recording medium
US10867213B2 (en) 2015-03-19 2020-12-15 Nec Corporation Object detection device, object detection method, and recording medium
JP2022153453A (ja) * 2015-03-19 2022-10-12 日本電気株式会社 情報処理システム、情報処理方法、およびプログラム
JP7248177B2 (ja) 2015-03-19 2023-03-29 日本電気株式会社 情報処理システム、情報処理方法、およびプログラム
US11734920B2 (en) 2015-03-19 2023-08-22 Nec Corporation Object detection device, object detection method, and recording medium
JP7460001B2 (ja) 2015-03-19 2024-04-02 日本電気株式会社 情報処理システム、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP4719825B2 (ja) 2011-07-06
JPWO2010032294A1 (ja) 2012-02-02
US20110170785A1 (en) 2011-07-14
US8358849B2 (en) 2013-01-22

Similar Documents

Publication Publication Date Title
JP4719825B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5213486B2 (ja) 対象物追跡装置および対象物追跡方法
EP2605169B1 (en) User detecting apparatus, user detecting method, and a user detecting program
US8818104B2 (en) Image processing apparatus and image processing method
WO2009113231A1 (ja) 画像処理装置および画像処理方法
CN109740589B (zh) 视频模式中的异步对象roi检测方法及系统
KR20100072772A (ko) 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법
JP2004280633A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US20150281570A1 (en) Image processing apparatus, image processing method, and program
JP5087037B2 (ja) 画像処理装置、方法及びプログラム
WO2010043771A1 (en) Detecting and tracking objects in digital images
JP5578816B2 (ja) 画像処理装置
JP4947216B2 (ja) 画像処理装置および画像処理方法
JP4779057B2 (ja) 画像処理装置および画像処理方法
JP4802297B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Fonseca et al. Face detection in the compressed domain
JP2020181402A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2010166263A (ja) 画像処理装置および画像処理方法、ならびにプログラム
JP4449483B2 (ja) 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム
JP5103436B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
Jang et al. Realtime coarse pose recognition using a multi-scaled local integral histograms
FR3137517A1 (fr) Procede de selection de portions d’images dans un flux video et systeme executant le procede.
JP2019036848A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2007257471A (ja) 類似判別装置および方法並びにプログラム
JP2009169832A (ja) 画像処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08810833

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010529526

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08810833

Country of ref document: EP

Kind code of ref document: A1