WO2011067906A1 - 認識用撮像装置及びその制御方法 - Google Patents

認識用撮像装置及びその制御方法 Download PDF

Info

Publication number
WO2011067906A1
WO2011067906A1 PCT/JP2010/006900 JP2010006900W WO2011067906A1 WO 2011067906 A1 WO2011067906 A1 WO 2011067906A1 JP 2010006900 W JP2010006900 W JP 2010006900W WO 2011067906 A1 WO2011067906 A1 WO 2011067906A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
recognition
unit
face
threshold
Prior art date
Application number
PCT/JP2010/006900
Other languages
English (en)
French (fr)
Inventor
藤井　隆志
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2011544185A priority Critical patent/JP5400171B2/ja
Priority to CN201080006206.5A priority patent/CN102301693B/zh
Priority to US13/147,207 priority patent/US8860875B2/en
Publication of WO2011067906A1 publication Critical patent/WO2011067906A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components

Definitions

  • the present invention relates to an imaging device for recognition that recognizes an object in an image and a control method thereof.
  • Patent Document 1 introduces a technique for performing camera focus adjustment, exposure adjustment, illumination adjustment, zoom adjustment, and the like using the result of determining the quality of captured image data.
  • camera adjustment parameters are controlled based on a face recognition result.
  • the aperture of the camera is controlled by the position, size, and orientation of the face. Specifically, this technique opens the throttle opening when the face is large, and vice versa.
  • the illumination adjustment cannot always be operated as in Patent Document 1. For example, it is not possible to adjust the lighting in a place where flash is prohibited. There is also a problem that power consumption increases when the illumination adjustment is activated.
  • the aperture opening is reduced for a small face, so that there is a problem that the amount of light hitting the face is insufficient and the recognition accuracy is lowered.
  • an object of the present invention is to provide a recognition imaging apparatus capable of stably performing continuous recognition over time and a control method thereof.
  • an imaging apparatus for recognition includes: an imaging unit that sequentially generates a plurality of images by imaging a target; and each of the plurality of images.
  • An object recognition unit that recognizes an object region that is an area in which an object is imaged and a tracking unit that tracks the object region between the plurality of images.
  • An area calculation unit for calculating an area of the object region; and, when the area is less than a first threshold value, an exposure time in the imaging unit is set to a first exposure time, and when the area is equal to or greater than the first threshold value,
  • An exposure controller configured to set an exposure time to a second exposure time longer than the first exposure time.
  • the imaging apparatus for recognition extends the exposure time when the area of the object region is sufficiently large.
  • region can be increased.
  • the exposure time is lengthened, blurring tends to occur in the object region.
  • the area of the object area is sufficiently large, the resolution necessary for the object recognition process and the object tracking process can be ensured even if blurring increases, so that the object recognition process and the object tracking process are provided. There are few adverse effects.
  • the S / N ratio of the object region increases as the incident light amount increases, the accuracy of the object recognition process and the object tracking process increases.
  • the imaging apparatus for recognition can increase the incident light amount when the area of the object region is sufficiently large, so that the target object can be obtained even when the incident light amount is reduced over time. It is possible to easily secure the amount of incident light necessary for the recognition process.
  • the recognition imaging apparatus shortens the exposure time when the area of the object region is small. As a result, blurring in the object region is reduced, so that the accuracy of the object recognition process and the object tracking process is improved.
  • the recognition imaging apparatus does not have to perform illumination adjustment such as a flash, so that the amount of incident light can be increased and power consumption can be reduced even in places where flash is prohibited.
  • the imaging device for recognition can stably perform continuous recognition in time.
  • the recognition imaging apparatus further includes a movement speed calculation unit that calculates a movement speed of the object region, and the exposure control unit further includes the exposure time when the movement speed is less than a second threshold. May be set to a third exposure time, and when the moving speed is equal to or greater than the second threshold, the exposure time may be set to a fourth exposure time shorter than the third exposure time.
  • the recognition imaging apparatus shortens the exposure time when the moving speed of the object region is high. As a result, blurring is less likely to occur in the object area, so that the resolution of the object area is increased. Therefore, the accuracy of the object recognition process and the object tracking process is improved.
  • the recognition imaging apparatus increases the exposure time when the moving speed of the object region is slow.
  • region can be increased.
  • the resolution necessary for the object recognition process can be ensured even if the exposure time is lengthened, so that there is little adverse effect on the object recognition process and the object tracking process.
  • the accuracy of the object recognition process and the object tracking process can be improved by increasing the incident light amount.
  • the recognition imaging apparatus further includes an incident light amount calculation unit that calculates an incident light amount in the object area, and the exposure control unit is proportional to the area and is proportional to the incident light amount.
  • the exposure time in the imaging unit is set to the fifth exposure time, and when the recognition incident light amount is less than the third threshold, the exposure time is longer than the fifth exposure time.
  • the sixth exposure time may be set.
  • the imaging device for recognition extends the exposure time when the amount of incoming light for recognition is small. Thereby, the incident light quantity of a target object area
  • the recognition imaging apparatus shortens the exposure time when the amount of incident light for recognition is sufficiently large. As a result, blurring in the object region is reduced, so that the accuracy of the object recognition process and the object tracking process is improved.
  • the exposure control unit sets the exposure time to the first exposure time when the recognition resolution that is proportional to the area and inversely proportional to the amount of blur in the object region is less than a fourth threshold; If the recognition resolution is equal to or greater than the fourth threshold, the exposure time may be set to the second exposure time.
  • the recognition imaging apparatus can control the exposure time more accurately by using the recognition resolution in consideration of the blur amount.
  • the recognition imaging apparatus includes an imaging unit that sequentially generates a plurality of images by imaging a target object, and the target object is captured in each of the plurality of images.
  • a recognition imaging apparatus having a target recognition unit that recognizes a target region that is a target region and a tracking unit that tracks the target region between the plurality of images, wherein the area of the target region is If the area is less than the first threshold and the area is less than the first threshold, the in-focus position of the imaging device for recognition is set to the first position, and if the area is greater than or equal to the first threshold, the in-focus position is And an in-focus position control unit that sets the second position farther from the object than the first position.
  • the recognition imaging apparatus can recognize an object that can be recognized by setting the in-focus position far from the object recognition distance when the area of the object region is sufficiently large.
  • the depth of field can be expanded. In this way, when the area of the object area is sufficiently large, it is easy to ensure the resolution required for the object recognition process even if the object moves suddenly by widening the depth of field. it can.
  • the recognition imaging apparatus sets the in-focus position close to the object recognition distance when the resolution of the object region is insufficient. Accordingly, the recognition imaging device according to one embodiment of the present invention can increase the resolution of the object region.
  • the recognition imaging apparatus can perform continuous recognition in a stable manner by changing the focus position in accordance with the area of the object region.
  • the in-focus position control unit sets the in-focus position to the first position when a recognition resolution that is proportional to the area and inversely proportional to the amount of blur in the object region is less than a second threshold. If the recognition resolution is greater than or equal to the second threshold, the in-focus position may be set to the second position.
  • the imaging apparatus for recognition can control the in-focus position with higher accuracy by using the resolution for recognition in consideration of the amount of blur.
  • the recognition imaging apparatus includes an imaging unit that sequentially generates a plurality of images by imaging a target object, and the target object is captured in each of the plurality of images.
  • a recognition imaging apparatus comprising: a target recognition unit that recognizes a target region that is a region that is a target; and a tracking unit that tracks and calculates the target region between the plurality of images, the area of the target region
  • An aperture calculation unit that calculates the aperture value when the area is less than the first threshold value, and the aperture value is set to the first aperture value, and when the area is greater than or equal to the first threshold value, the aperture value is greater than the first aperture value. You may provide the aperture control part which sets to a big 2nd aperture value.
  • the imaging device for recognition increases the aperture value when the area of the object region is sufficiently large.
  • the area of the object region is sufficiently large, noise in each pixel is averaged, so that the influence of noise is reduced. Therefore, since the signal amount of each pixel in the object area is relatively large, the amount of light required for recognition can be secured even if the aperture value is increased.
  • the recognition imaging apparatus can widen the recognition range while securing the light amount necessary for recognition. In addition, by increasing the depth of field, it is possible to easily ensure the resolution necessary for the object recognition process even when the object moves suddenly.
  • the recognition imaging apparatus reduces the aperture value when the area of the object region is small.
  • the imaging device for recognition according to an embodiment of the present invention can secure the light amount necessary for recognition by reducing the aperture value.
  • the recognition imaging device does not need to perform illumination adjustment such as a flash, so that it is possible to secure a light amount even in a place where flash is prohibited and reduce power consumption.
  • the recognition imaging apparatus further includes an incident light amount calculation unit that calculates an incident light amount in the object region, and the aperture controller further determines an aperture value when the incident light amount is less than a second threshold.
  • the aperture value may be set to a third aperture value, and the aperture value may be set to a fourth aperture value that is greater than the third aperture value when the incident light amount is greater than or equal to the second threshold value.
  • the imaging device for recognition increases the aperture value when the amount of incident light is sufficiently large.
  • the signal amount of each pixel in the object area increases, so that the amount of light required for recognition can be secured even if the aperture value is increased.
  • the recognition imaging apparatus can widen the recognition range while securing the light amount necessary for recognition. Further, when the amount of incident light is sufficiently large, the resolution required for the object recognition process can be easily ensured even if the object moves suddenly by widening the depth of field.
  • the recognition imaging apparatus can secure the light amount required for recognition by reducing the aperture value when the incident light amount is small.
  • the aperture control unit sets the aperture value to the first aperture value when the recognition incident light amount that is proportional to the area and proportional to the incident light amount is less than a third threshold value.
  • the aperture value may be set to the second aperture value.
  • the imaging device for recognition can control the aperture value with higher accuracy by using the incident light amount for recognition in consideration of the area.
  • the present invention can be realized not only as such a recognition imaging apparatus, but also as a recognition imaging apparatus control method using a characteristic means included in the recognition imaging apparatus as a step, or such a characteristic. It can also be realized as a program that causes a computer to execute typical steps. Needless to say, such a program can be distributed via a non-transitory computer-readable recording medium such as a CD-ROM and a transmission medium such as the Internet.
  • the present invention can be realized as a semiconductor integrated circuit (LSI) that realizes part or all of the functions of such a recognition imaging apparatus, or can be realized as a camera including such a recognition imaging apparatus.
  • LSI semiconductor integrated circuit
  • FIG. 1 is a block diagram of a recognition imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a detailed block diagram of the recognition imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart of face tracking processing according to Embodiment 1 of the present invention.
  • FIG. 4 is a flowchart of a shutter speed control process corresponding to the area of the face area by the recognition imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a flowchart of the shutter speed control process corresponding to the moving speed of the face area by the recognition imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 1 is a block diagram of a recognition imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a detailed block diagram of the recognition imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a flowchart of face tracking processing according to Embodiment 1 of the present invention.
  • FIG. 6 is a flowchart of the shutter speed control process according to the amount of incident light in the face area by the recognition imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 7 is a flowchart of a shutter speed control process corresponding to the area of the face region and the amount of incident light by the recognition imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 8 is a block diagram of a recognition imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 9 is a detailed block diagram of a recognition imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 10 is a flowchart of focus position control processing by the recognition imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 11 is a diagram showing the relationship between the hyperfocal distance and the depth of field according to Embodiment 2 of the present invention.
  • FIG. 12 is a block diagram of a recognition imaging apparatus according to Embodiment 3 of the present invention.
  • FIG. 13 is a detailed block diagram of a recognition imaging apparatus according to Embodiment 3 of the present invention.
  • FIG. 14 is a flowchart of aperture value control processing according to the area of the face region by the recognition imaging apparatus according to Embodiment 3 of the present invention.
  • FIG. 15 is a flowchart of the aperture value control process according to the amount of incident light in the face area by the recognition imaging apparatus according to Embodiment 3 of the present invention.
  • the imaging device for recognition according to Embodiment 1 of the present invention changes the shutter speed according to the area of the face region, the moving speed, and the incident light amount. Specifically, the recognition imaging apparatus according to Embodiment 1 of the present invention slows the shutter speed when the area of the face region is large.
  • Embodiment 1 of the present invention can stably perform face recognition.
  • Embodiment 1 of the present invention will be described with reference to the drawings.
  • FIG. 1 is a block diagram of a recognition imaging apparatus 100 according to Embodiment 1 of the present invention.
  • the recognition imaging apparatus 100 shown in FIG. 1 is, for example, a digital still camera, a digital video camera, a network camera, or a security camera.
  • the recognition imaging apparatus 100 includes an imaging unit 101, an exposure control unit 102, a face recognition unit 105, a face tracking unit 106, and an area calculation unit 109.
  • the imaging unit 101 receives a subject image from the imaging optical system and generates an electrical signal. In other words, the imaging unit 101 sequentially generates a plurality of images by imaging the target object.
  • the face recognition unit 105 corresponds to the object recognition unit of the present invention.
  • the face recognition unit 105 recognizes, for each of a plurality of images generated by the imaging unit 101, a target object region that is a region in which the target object is captured.
  • the face tracking unit 106 corresponds to the tracking unit of the present invention.
  • the face tracking unit 106 tracks a target area between a plurality of images generated by the imaging unit 101.
  • the area calculation unit 109 calculates the area of the object region.
  • the exposure control unit 102 sets the exposure time in the imaging unit 101 to the first exposure time, and when the area of the object region is equal to or larger than the area threshold, The exposure time in the imaging unit 101 is set to a second exposure time that is longer than the first exposure time.
  • FIG. 2 is a block diagram showing a detailed configuration of the recognition imaging apparatus 100. As shown in FIG. 2, the recognition imaging apparatus 100 further includes a face recognition result storage unit 107, a moving speed calculation unit 108, and an incident light amount calculation unit 110.
  • the imaging unit 101 includes a lens 112, a lens driving device 113 that changes the in-focus position of the lens 112, a diaphragm device 114 that adjusts the amount of light that passes through the lens 112, and a shutter device that adjusts the exposure time of the imaging element 116.
  • an image sensor 116 that converts an image formed by the lens 112 into an electric signal
  • an AD converter 117 that converts an electric signal (analog signal) generated by the image sensor 116 into a digital signal.
  • the recognition imaging apparatus 100 performs signal processing such as gain correction, gamma correction, color conversion, and enlargement / reduction on the digital signal generated by the AD converter 117, thereby the face recognition unit 105 described later.
  • An input image 120 to be used is created for each frame.
  • the exposure control unit 102 controls the shutter speed in the shutter device 115 of the imaging unit 101.
  • the shutter speed is decreased, the exposure time during which light strikes the image sensor 116 becomes longer.
  • many electric signals of the subject can be obtained, so that the amount of incident light of the input image increases.
  • the shutter speed is increased, the exposure time during which the image sensor 116 is exposed to light is shortened. Thereby, since the electrical signal of the subject is reduced, the incident light amount of the input image is reduced.
  • the face recognition unit 105 recognizes a face area on the input image 120 using the input image 120 generated by the imaging unit 101.
  • the face recognition unit 105 stores the generated face recognition result 121 in the face recognition result storage unit 107 for each frame.
  • a recognition target a face area of an unspecified person or a face area of a specific person is assumed.
  • the recognition of the face area of an unspecified person recognizes an image area including general facial features.
  • a detailed recognition algorithm is realized by using the AdaBoost algorithm disclosed in Patent Document 3 and the like, and configuring a discriminator that detects a dedicated face orientation for each face orientation.
  • the method for recognizing the face area of an unspecified person is not limited to this algorithm.
  • the recognition of the face area of the specific person is performed by determining the consistency between the detailed face feature information in the face area of the unspecified person and the face feature information 123 of the specific person registered in the face recognition result storage unit 107. Identify individuals with
  • recognition is performed on a recognition image obtained by resizing the input image 120 to a certain size.
  • a face is recognized using a recognition image obtained by reducing an input image.
  • eye recognition is performed on a recognized face area of an unspecified person and the face area of the specified person is recognized using a recognition image resized so that the distance between both eyes becomes a predetermined value. Is going.
  • the recognition of the face area of a specific person uses more detailed feature information than the recognition of the face area of an unspecified person, so a higher resolution is required than the recognition of the face area of an unspecified person.
  • the face tracking unit 106 tracks a face between successive input images 120 (frames) based on the past face recognition result 121 held by the face recognition result storage unit 107.
  • the face recognition result 121 used for face tracking is the center coordinates of the face area on the input image 120.
  • the face once recognized is recognized in the vicinity of the position recognized in the previous frame in the next frame.
  • the face tracking unit 106 implements the face tracking process using the continuity of the recognition positions.
  • FIG. 3 is a flowchart of face tracking processing by the face tracking unit 106.
  • the face tracking unit 106 determines whether or not there is a face area to which a label is attached one frame before in the vicinity of the center coordinates of the face area recognized in the current frame ( S101).
  • the face tracking unit 106 has been assigned to the face area one frame before the face area recognized in the current frame.
  • the same label as the label is assigned (S102).
  • the face tracking unit 106 recognizes a unique label different from the face recognized so far in the current frame. (S103).
  • the face tracking unit 106 selects a face label for controlling the camera adjustment parameters. As a selection method, if a specific person registered in the face recognition unit 105 is recognized, a label of the face is selected. In addition, the face to be controlled may be selected according to the size and position of the recognized face as disclosed in Patent Document 2 and the like. In addition, the face tracking unit 106 stores the generated face tracking result 122 in the face recognition result storage unit 107 for each frame.
  • the face recognition result storage unit 107 holds the face recognition result 121 generated by the face recognition unit 105 and the face tracking result 122 generated by the face tracking unit 106 for each frame.
  • the face recognition result 121 includes the coordinates of the face area on the input image, the number of vertical and horizontal pixels of the face area, the recognition status of the registered specific person, and the like.
  • the face tracking result 122 includes a label for distinguishing a face area, a label for a camera control target, and the like.
  • the face recognition result storage unit 107 holds face feature information 123 that is detailed information of the face of the specific person used in the recognition of the specific person by the face recognition unit 105.
  • the recognition imaging apparatus 100 always refers to the latest history by deleting from the oldest data when the memory capacity reaches the limit as a result of data being stored in the face recognition result storage unit 107 for each frame. can do.
  • the moving speed calculation unit 108 uses the face recognition result 121 and the face tracking result 122 held in the face recognition result storage unit 107 to calculate the moving speed of the face of the label to be controlled by the camera. Specifically, the moving speed calculation unit 108 calculates the number of moving pixels from the center coordinate of the face area of the previous frame to the center coordinate of the face area of the current frame in the face having the same label in the current frame and the previous frame. calculate. Then, the moving speed calculation unit 108 calculates the moving speed in the plane direction based on the calculated number of moving pixels.
  • the moving speed calculation unit 108 calculates, for a face having the same label in the current frame and the previous frame, the number of vertical and horizontal pixels in the face area of the previous frame and the vertical and horizontal number of pixels in the face area of the current frame. Calculate the difference. Then, the moving speed calculation unit 108 calculates the moving speed in the depth direction based on the calculated difference.
  • the method for obtaining the moving speed is not limited to these methods.
  • the area calculation unit 109 obtains the area of the face area in the face of the label to be controlled by the camera based on the face recognition result 121 and the face tracking result 122 held in the face recognition result storage unit 107.
  • the resolution of the face of the image for recognition hereinafter, the resolution for recognition
  • the recognition resolution is the density of pixels in an image, and the larger the value, the clearer the facial features.
  • the resolution for recognition is a value that is proportional to the area (number of pixels) of the face region and inversely proportional to the amount of blur (or amount of blur) in the face region.
  • an AF evaluation value (a value corresponding to the contrast amount) of the recognition image area
  • the recognition resolution may be a value obtained by normalizing the AF evaluation value of the face area on the input image 120 by the area of the recognition image.
  • the method of obtaining the area in the face region is not limited to this method.
  • the incident light amount calculation unit 110 calculates the incident light amount in the face area of the camera control target label based on the face recognition result 121 and the face tracking result 122 held in the face recognition result storage unit 107. Specifically, the incident light amount calculation unit 110 calculates the average value of the luminance values of a plurality of pixels included in the face area of the recognition image or the average of the luminance values of a plurality of pixels included in the face area on the input image 120. A value is calculated, and an incident light amount is calculated using the calculated average value. Further, when luminance correction such as gain or gamma correction is applied to the input image 120, the incident light amount calculation unit 110 performs reverse correction of those corrections on the input image 120, and the image after the reverse correction is performed. Is used to calculate the incident light amount. However, the method of obtaining the incident light amount in the face area is not limited to this method.
  • the exposure control unit 102 determines the shutter speed using the area of the face area, the moving speed, and the incident light amount calculated by the moving speed calculating unit 108, the area calculating unit 109, and the incident light amount calculating unit 110.
  • the exposure control unit 102 calculates the shutter speed using information generated by the moving speed calculation unit 108, the area calculation unit 109, and the incident light amount calculation unit 110 will be described. Further, as a precondition, the face to be processed is a face to be controlled by the camera whose face is tracked (the face history is one frame before).
  • FIG. 4 is a flowchart of a shutter speed control process based on the area of the face area.
  • a series of processing shown in each of FIGS. 4 to 7 is performed for each frame.
  • the series of processes shown in each of FIGS. 4 to 7 may be performed for each of a plurality of predetermined frames.
  • the area calculation unit 109 calculates the area of the face area to be processed.
  • the area is the AF evaluation value in the recognition image (S201).
  • the exposure control unit 102 determines whether or not the area of the face region has reached the area threshold (area sufficient for recognition) (S202).
  • the area threshold varies depending on the recognition method. For example, the area threshold value for the face recognition of a specific person is higher than the area threshold value for the face recognition of an unspecified person.
  • the exposure control unit 102 sets the shutter speed of the imaging unit 101 to a shutter speed slower than the current shutter speed (S203). In other words, the exposure control unit 102 sets the exposure time of the imaging unit 101 to an exposure time longer than the current exposure time.
  • the exposure control unit 102 calculates the upper limit value of the shutter speed at which the recognition resolution does not fall below the resolution threshold, based on the relationship between the current face area area and the current shutter speed. Then, the exposure control unit 102 sets the shutter speed to a value equal to or less than the calculated upper limit value.
  • the exposure control unit 102 lengthens the exposure time of the imaging unit 101. Thereby, the amount of incident light in the face area can be increased.
  • the exposure time is lengthened, blurring tends to occur in the face area.
  • the area of the face area is sufficiently large, the resolution necessary for the face recognition process can be ensured even if the blurring increases, so that there is little adverse effect on the face recognition process and the face tracking process.
  • the S / N ratio of the face area increases as the incident light amount increases, the accuracy of the face recognition process and the face tracking process increases.
  • the exposure control unit 102 sets the shutter speed of the imaging unit 101 to a shutter speed faster than the current shutter speed (S204). In other words, the exposure control unit 102 sets the exposure time of the imaging unit 101 to an exposure time longer than the current exposure time.
  • the exposure control unit 102 shortens the exposure time of the imaging unit 101. As a result, blurring in the face area is reduced, and the accuracy of the face recognition process and the face tracking process is improved.
  • the exposure control unit 102 may increase or decrease the shutter speed by a predetermined fixed value, or change the amount of change in the shutter speed according to the area of the face area. May be. For example, in step S203, the exposure control unit 102 may set a slower shutter speed as the face area is larger. Similarly, in step S204, the exposure control unit 102 may set a faster shutter speed as the face area is smaller.
  • the exposure control unit 102 may set a shutter speed that is faster than at least the shutter speed set in step S203 in step S204. In other words, the exposure control unit 102 may set the exposure time of the imaging unit 101 to an exposure time longer than the exposure time set in step S203 in step S204.
  • the exposure control unit 102 slows the shutter speed when the area of the face region is equal to or larger than the first area threshold, and reduces the shutter speed when the area of the face region is smaller than the second area threshold smaller than the first area threshold. It is not necessary to change the shutter speed when the face area is between the first area threshold and the second area threshold. Further, the exposure control unit 102 may change the amount of change in the shutter speed according to the size of the area of the face region and the plurality of area threshold values.
  • FIG. 5 is a flowchart of a shutter speed control process based on the moving speed of the face area.
  • similar processing may be denoted by the same reference numeral, and description thereof may be omitted.
  • the moving speed calculation unit 108 calculates the moving speed in the plane direction of the face to be processed (S211).
  • the exposure control unit 102 determines whether or not the moving speed of the face area is equal to or higher than the speed threshold (S212).
  • the exposure control unit 102 sets the shutter speed of the imaging unit 101 to a shutter speed slower than the current shutter speed (S203).
  • the resolution necessary for the face recognition process can be ensured even if the exposure time is lengthened, so that the adverse effect on the face recognition process and the face tracking process is small.
  • the accuracy of face recognition processing and face tracking processing can be improved by increasing the amount of incident light.
  • the exposure control unit 102 sets the shutter speed of the imaging unit 101 to a shutter speed faster than the current shutter speed (S204).
  • the exposure control unit 102 shortens the exposure time of the imaging unit 101.
  • the shutter speed By increasing the shutter speed, blurring hardly occurs in the face area, so the resolution of the face area increases. Thereby, the precision of face recognition processing and face tracking processing is improved.
  • the exposure control unit 102 may increase or decrease the shutter speed by a predetermined fixed value, or change the amount of change in the shutter speed according to the moving speed of the face area. May be. For example, in step S203, the exposure control unit 102 may set a slower shutter speed as the moving speed of the face area is slower. Similarly, in step S204, the exposure control unit 102 may set a faster shutter speed as the moving speed of the face area increases.
  • the exposure control unit 102 may set a shutter speed that is faster than at least the shutter speed set in step S203 in step S204. In other words, the exposure control unit 102 may set the exposure time of the imaging unit 101 to an exposure time longer than the exposure time set in step S203 in step S204.
  • the exposure control unit 102 increases the shutter speed when the moving speed of the face area is equal to or higher than the first speed threshold, and releases the shutter when the moving speed of the face area is lower than the second speed threshold smaller than the first speed threshold.
  • the shutter speed may not be changed when the speed is decreased and the moving speed of the face area is between the first speed threshold and the second speed threshold.
  • the exposure control unit 102 may change the amount of change in the shutter speed in accordance with the size of the moving speed of the face area and the plurality of speed thresholds.
  • FIG. 6 is a flowchart of the shutter speed control process based on the incident light amount of the face area.
  • the incident light amount calculation unit 110 calculates the incident light amount of the face area to be processed (S221).
  • the incident light amount is an average value of luminance values of a plurality of pixels included in the face area of the recognition image.
  • the exposure control unit 102 determines whether or not the incident light amount of the face area has reached the incident light amount threshold value (incident light amount sufficient for recognition) (S222).
  • the threshold for the amount of incident light varies depending on the recognition method. For example, the incident light amount threshold value for face recognition of a specific person is higher than the incident light amount threshold value for face recognition of an unspecified person.
  • the exposure control unit 102 may use the incident light amount itself calculated by the incident light amount calculation unit 110 as the incident light amount used for this determination, is proportional to the area calculated by the area calculation unit 109, and The recognition incident light quantity proportional to the incident light quantity calculated by the incident light quantity calculation unit 110 may be calculated, and the recognition incident light quantity may be compared with the incident light intensity threshold value.
  • the exposure control unit 102 sets the shutter speed of the imaging unit 101 to a shutter speed slower than the current shutter speed (S203).
  • the exposure control unit 102 can increase the incident light amount by delaying the exposure time of the imaging unit 101. As a result, the SN ratio of the face area is increased, and the accuracy of the face recognition process and the face tracking process is improved.
  • the exposure control unit 102 sets the shutter speed of the imaging unit 101 to a shutter speed faster than the current shutter speed (S204).
  • the exposure control unit 102 calculates the lower limit value of the shutter speed that does not fall below the threshold value of the incident light amount from the relationship between the incident light amount of the current face and the current shutter speed. Then, the exposure control unit 102 sets the shutter speed to a value equal to or greater than the calculated lower limit value.
  • the exposure control unit 102 shortens the exposure time of the imaging unit 101. As a result, it is possible to reduce the blurring of the face area while ensuring the amount of incident light necessary for the face recognition process.
  • the shutter speed can be increased so that blurring can be suppressed even when the moving speed of the object suddenly increases. It is easy to secure the necessary resolution.
  • the exposure control unit 102 may increase or decrease the shutter speed by a predetermined fixed value, or change the amount of change in the shutter speed according to the amount of incident light in the face area. May be. For example, in step S203, the exposure control unit 102 may set a slower shutter speed as the amount of incident light in the face area is smaller. Similarly, in step S204, the exposure control unit 102 may set a faster shutter speed as the amount of incident light in the face area increases.
  • the exposure control unit 102 may set a shutter speed that is faster than at least the shutter speed set in step S203 in step S204. In other words, the exposure control unit 102 may set the exposure time of the imaging unit 101 to an exposure time longer than the exposure time set in step S203 in step S204.
  • the exposure control unit 102 increases the shutter speed when the incident light amount of the face area is equal to or greater than the first incident light intensity threshold value, and the incident light amount of the face area is less than the second incident light intensity value smaller than the first incident light intensity threshold value. In this case, the shutter speed is slowed down, and the shutter speed may not be changed when the incident light amount of the face region is between the first incident light amount threshold value and the second incident light amount threshold value. Further, the exposure control unit 102 may change the amount of change in the shutter speed according to the magnitude of the incident light amount of the face area and the plurality of incident light amount threshold values.
  • the exposure control unit 102 may change the shutter speed according to at least one of the area of the face area, the moving speed, and the incident light amount.
  • FIG. 7 is a flowchart of a modification of the shutter speed control process performed by the exposure control unit 102.
  • the exposure control unit 102 may be set to a shutter speed slower than the current shutter speed (S203).
  • the exposure control unit 102 sets the shutter speed of the imaging unit 101 to the current shutter speed.
  • a shutter speed faster than the shutter speed may be set (S204).
  • the exposure control unit 102 does not change the shutter speed.
  • the exposure control unit 102 changes the change amount of the shutter speed according to at least one of the area of the face area, the moving speed, and the incident light amount. May be.
  • a specific method for controlling the change amount may be the same as described above.
  • the recognition imaging apparatus 100 increases or decreases the shutter speed in accordance with the area of the face region, the moving speed, and the incident light amount, thereby resolving the facial resolution necessary for the face recognition process. And the SN ratio can be improved. As a result, the recognition imaging apparatus 100 can stably perform continuous temporal recognition.
  • the exposure control unit 102 changes the exposure time by changing the shutter speed.
  • the exposure time may be changed by other methods.
  • the recognition imaging apparatus according to Embodiment 2 of the present invention changes the focus position of the recognition imaging apparatus according to the area of the face region. Specifically, the recognition imaging apparatus according to Embodiment 2 of the present invention sets the in-focus position far from the face when the area of the face region is large.
  • the recognition imaging apparatus can stably perform face recognition.
  • FIG. 8 is a block diagram of a recognition imaging apparatus 100A according to Embodiment 2 of the present invention.
  • 8A and 8B includes a focusing position control unit 103 instead of the exposure control unit 102 in contrast to the configuration of the recognition imaging device 100 according to the first embodiment.
  • FIG. 9 is a block diagram showing a detailed configuration of the recognition imaging apparatus 100A.
  • the focus position control unit 103 controls the focus position in the lens driving device 113 of the imaging unit 101. If the in-focus position is close to the object, the object is in focus and the resolution of the object in the input image is increased. On the other hand, if the in-focus position is far from the object, the object is not in focus, so the resolution of the object in the input image decreases.
  • the focus position control unit 103 sets the focus position to the first position when the area of the face region is less than the area threshold, and sets the focus position when the area of the face region is equal to or larger than the area threshold.
  • the second position is set farther from the object than the first position.
  • FIG. 10 is a flowchart of the focus position control process performed by the recognition imaging apparatus 100A.
  • the face to be processed is the face to be controlled by the camera.
  • a series of processing shown in FIG. 10 is performed for each frame. Note that the series of processes shown in FIG. 10 may be performed for each of a plurality of predetermined frames.
  • the area calculation unit 109 calculates the area of the face area to be processed (S201).
  • the area is an AF evaluation value in the recognition image.
  • the focus position control unit 103 determines whether the area of the face region has reached the area threshold (S202).
  • the focus position control unit 103 sets the focus position so that the focus position is farther from the face position than the current focus position. Set (S303).
  • the focus position control unit 103 makes the focus position closer to the face position than the current focus position.
  • An in-focus position is set (S304).
  • the focus position control unit 103 may set the focus position closer to the face than at least the position set in step S303 in step S304.
  • the in-focus position control unit 103 separates the in-focus position from the face when the area of the face area is equal to or greater than the first area threshold, and the area of the face area is less than the second area value smaller than the first area threshold.
  • the focus position may not be changed.
  • the focus position control unit 103 may change the amount of change in the focus position according to the size of the area of the face region and the plurality of area threshold values.
  • step S303 and step S304 will be described in detail with reference to FIG. First, a general focus position control method that does not consider the face area will be described with reference to FIG.
  • the depth of field is obtained by the following (Expression 1), (Expression 2), and (Expression 3).
  • DN is the front end of the depth of field
  • DF is the rear end of the depth of field.
  • the total depth of field is the sum of DF and DN.
  • s is a focus position
  • H is a hyperfocal distance (a focus position where infinity enters the back end of the depth of field)
  • N is an aperture value
  • c is an allowable circle of confusion. (The allowable blur diameter)
  • f is the focal length of the lens.
  • the diameter of the permissible circle of confusion within which the blur amount is within 1 pixel is set as c
  • the depth of field when the focus position is controlled at the distance S where the face is recognized is set as W0.
  • the in-focus position control unit 103 determines the depth of field W1 that can ensure the resolution with which the face can be recognized when the in-focus position is S in consideration of the area of the face region. As an example, it is assumed that the face area to be recognized is twice as long as the area necessary for recognition. In such a case, the resolution required for recognition can be satisfied even if the diameter of the permissible circle of confusion required for recognition is increased to 2c.
  • the focus position control unit 103 sets the focus position at the position of the hyperfocal distance H1 as shown in FIG. Thereby, the recognizable depth of field W2 can be further increased. As described above, the focus position control unit 103 can widen the recognizable depth of field by appropriately controlling the focus position according to the area of the face region.
  • the focus position control unit 103 widens the recognizable depth of field by setting the focus position far from the face recognition distance in step S303. As described above, when the area of the face region is sufficiently large, the resolution necessary for the face recognition process can be easily ensured even if the object moves suddenly by increasing the depth of field.
  • the focus position control unit 103 sets the focus position near the face recognition distance in step S304. Thereby, the focus position control unit 103 can increase the resolution of the face area.
  • the recognition imaging apparatus 100A according to Embodiment 2 of the present invention can stably perform continuous temporal recognition by changing the focus position according to the area of the face region.
  • the recognition imaging apparatus changes the aperture value according to the area of the face region and the amount of incident light. Specifically, the recognition imaging apparatus according to Embodiment 3 of the present invention increases the aperture value when the area of the face region is large.
  • the recognition imaging apparatus can stably perform face recognition.
  • FIG. 12 is a block diagram of a recognition imaging apparatus 100B according to Embodiment 3 of the present invention.
  • the recognition imaging apparatus 100B shown in FIG. 12 includes an aperture control unit 104 instead of the exposure control unit 102 with respect to the configuration of the recognition imaging apparatus 100 according to the first embodiment.
  • FIG. 13 is a block diagram showing a detailed configuration of the recognition imaging apparatus 100B.
  • the aperture control unit 104 controls the aperture value in the aperture device 114 of the imaging unit 101. If the aperture value is decreased, the amount of light passing through the lens 112 increases, so that many electrical signals of the object can be obtained. Thereby, the incident light amount of the input image increases. In addition, the depth of field is shallow (the focused area is narrow). On the other hand, when the aperture value is increased, the amount of light passing through the lens is reduced, so that the electrical signal of the subject is reduced. Thereby, the incident light amount of the input image is reduced. Also, the depth of field is deep (the in-focus area is wide).
  • the aperture control unit 104 sets the aperture value to the first aperture value when the area of the face region is less than the area threshold value, and sets the aperture value to the first aperture value when the area of the face region is equal to or greater than the area threshold value.
  • the second aperture value is set larger than the value.
  • the aperture control unit 104 calculates the aperture value using information generated by the area calculation unit 109 and the incident light amount calculation unit 110 will be described.
  • the face to be processed is the face to be controlled by the camera.
  • FIG. 14 is a flowchart of aperture value control processing based on the area of the face region.
  • FIGS. 14 and 15 are performed for each frame. Note that the series of processes shown in each of FIGS. 14 and 15 may be performed for a plurality of predetermined frames.
  • the area calculating unit 109 calculates the area of the face area to be processed (S201).
  • the area is the number of pixels in the face area in the input image.
  • the aperture control unit 104 determines whether the area of the face area has reached the area threshold (S202).
  • the aperture control unit 104 sets an aperture value larger than the current aperture value (S403).
  • the larger the aperture value the deeper the depth of field, so that the recognition range can be expanded.
  • the aperture control unit 104 can widen the recognition range while ensuring the amount of light necessary for recognition.
  • the depth of field it is possible to easily ensure the resolution necessary for the face recognition process even when the object moves suddenly.
  • the aperture control unit 104 increases the aperture value until it is close to the incident light intensity threshold value. That is, the aperture control unit 104 increases the aperture value as the area increases.
  • the aperture control unit 104 sets an aperture value smaller than the current aperture value (S404). In addition, the aperture control unit 104 decreases the aperture value as the face area is smaller.
  • the aperture control unit 104 can secure the amount of light required for recognition by reducing the aperture value.
  • the aperture control unit 104 may set an aperture value smaller than at least the aperture value set in step S403 in step S404.
  • the aperture control unit 104 increases the aperture value when the area of the face region is equal to or larger than the first area threshold, and sets the aperture value when the area of the face region is smaller than the second area value smaller than the first area threshold.
  • the aperture value may not be changed when the area of the face region is between the first area threshold and the second area threshold.
  • the aperture control unit 104 may change the amount of change in the aperture value according to the size of the area of the face region and the plurality of area threshold values.
  • FIG. 15 is a flowchart of the aperture value control process based on the incident light amount of the face area.
  • the incident light amount calculation unit 110 calculates the incident light amount of the face area to be processed (S221).
  • the incident light amount is an average value of luminance values of a plurality of pixels included in the face area of the input image.
  • the aperture controller 104 determines whether or not the incident light amount in the face area has reached the incident light amount threshold value (S222).
  • the aperture control unit 104 sets an aperture value larger than the current aperture value (S403).
  • the aperture control unit 104 increases the aperture value until it is close to the incident light intensity threshold value. That is, the aperture control unit 104 increases the aperture value as the incident light amount increases.
  • the aperture control unit 104 can widen the recognition range while ensuring the amount of light necessary for recognition. As described above, by expanding the depth of field, it is possible to easily ensure the resolution necessary for the face recognition process even when the object moves suddenly.
  • the aperture control unit 104 sets an aperture value smaller than the current aperture value (S404). The smaller the aperture value, the narrower the recognition range, so it is desirable to increase the aperture value until it is close to the incident light intensity threshold. That is, the aperture control unit 104 decreases the aperture value as the incident light amount decreases.
  • the aperture control unit 104 can secure the amount of light required for recognition by reducing the aperture value.
  • the aperture control unit 104 may set an aperture value smaller than at least the aperture value set in step S403 in step S404.
  • the aperture control unit 104 increases the aperture value when the incident light amount of the face area is equal to or greater than the first incident light amount threshold value, and the incident light amount of the face area is less than the second incident light amount value smaller than the first incident light amount threshold value.
  • the aperture value may be decreased, and the aperture value may not be changed when the incident light amount of the face region is between the first incident light amount threshold value and the second incident light amount threshold value.
  • the aperture control unit 104 may change the amount of change in the aperture value according to the magnitude of the incident light amount of the face area and the plurality of incident light amount threshold values.
  • the recognition imaging apparatus 100B recognizes the light amount necessary for recognition by controlling the aperture value according to the area of the face region and the incident light amount. Can be made as deep as possible. Accordingly, the recognition imaging apparatus 100B can perform more stable recognition.
  • the aperture control unit 104 may change the aperture value according to at least one of the area of the face area and the incident light amount.
  • the aperture controller 104 may change the aperture value change amount according to at least one of the area of the face area and the amount of incident light. Good.
  • a specific method for controlling the change amount may be the same as described above.
  • the present invention can also be applied to the case of recognizing an arbitrary object in an image.
  • the recognition imaging apparatus may include two or more of the exposure control unit 102, the focus position control unit 103, and the aperture control unit 104 described above.
  • the focus position or the aperture value may be changed.
  • the area threshold value used for the exposure time, the focus position, and the aperture value may be different.
  • the speed threshold values used for the exposure time, the focus position, and the aperture value may be different, and the incident light intensity threshold values used for the exposure time, the focus position, and the aperture value may be different.
  • Each processing unit included in the recognition imaging apparatus according to the above embodiment is typically realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • part or all of the functions of the recognition imaging apparatus according to the embodiment of the present invention may be realized by a processor such as a CPU executing a program.
  • functions other than the imaging unit 101 can be realized by a processor such as a CPU executing a program.
  • the present invention may be the above program or a non-transitory computer-readable recording medium on which the above program is recorded.
  • the program can be distributed via a transmission medium such as the Internet.
  • steps S201 and S221 may be any order.
  • the order of steps S231 and S232 may be any order.
  • the present invention can be applied to a recognition imaging apparatus and its control method.
  • the present invention can be applied to cameras such as a digital still camera, a digital video camera, a network camera, and a security camera provided with a recognition imaging device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

　本発明に係る認識用撮像装置（１００）は、対象物を撮像することにより順次複数の画像を生成する撮像部（１０１）と、前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する顔認識部（１０５）と、複数の画像間において対象物領域を追跡する顔追跡部（１０６）と、対象物領域の面積を算出する面積算出部（１０９）と、前記面積が第１閾値未満の場合、撮像部（１０１）における露出時間を第１露出時間に設定し、前記面積が第１閾値以上の場合、露出時間を第１露出時間より長い第２露出時間に設定する露出制御部（１０２）とを備える。

Description

認識用撮像装置及びその制御方法
　本発明は、画像内の対象物を認識する認識用撮像装置及びその制御方法に関する。
　近年、デジタルカメラの高機能化には目を見張るものがある。最近では、不特定人物の顔の認識、又は特定人物の顔を認識する機能を有するデジタルカメラが普及している。また、デジタルカメラのスルー画像において、移動している顔に対して時間的に連続な認識をすることで、撮影画像上の顔を追跡することが可能になってきている。このように、デジタルカメラに対して、更に高機能化が図られている。
　このような顔の認識技術において、顔の解像度とＳＮ（Ｓｉｇｎａｌ／Ｎｏｉｓｅ）比とが認識精度に大きく関わることが知られている。例えば、顔の解像度が不足した場合、又は、顔のＳＮ比が悪い場合、顔の特徴が不鮮明になり認識精度が下がってしまう。このような顔の解像度及びＳＮ比はカメラで撮影された状況で決まる。つまり、カメラの調整パラメータが認識精度に大きな影響を与える。
　従来の顔認識技術として、顔を認識しやすいようにカメラの調整パラメータを制御する技術が開示されている。例えば、特許文献１では、撮影された画像データの品質を判定した結果を用いて、カメラの合焦調整、露出調整、照明調整、及びズーム調整などを行う技術が紹介されている。また、特許文献２では顔の認識結果に基づいてカメラの調整パラメータを制御している。この技術は、顔の位置、大きさ、及び向き等でカメラの絞りを制御するものである。具体的には、この技術は、顔が大きい場合は絞り開度を開き、その逆では絞り開度を絞っている。
特開２００７－９４５３５号公報 特開２００８－２３３４７０号公報 特開２００６－３５０６４５号公報
　ところで、デジタルカメラ等で人物の顔を認識する場合、入力画像において認識対象である顔が時間的に動くため、顔認識に適した被写界深度（ピントの合う領域）が時間的に変化することが考えられる。そのため、特許文献１のように直前に撮影された画像データに適した合焦位置調整及び絞り調整を行うと、顔が被写界深度外に出る可能性が高くなる。このように被写界深度外に顔が出た場合、ボケの影響で顔の解像度が低下してしまう。これにより、時間的に連続な認識ができなくなることにより顔追跡に失敗する可能性が高くなる。
　また、認識に必要な光量が足りない場合に特許文献１のように照明調整を常に作動させることができるとは限らない。例えば、フラッシュ禁止の場所では照明調整をすることができない。また、照明調整を作動させると消費電力が多くなってしまう課題もある。また、特許文献２のように絞りを調整した場合、小さな顔では絞り開度を絞るため、顔に当たる光量が不足して認識精度が下がってしまうという課題もある。
　そこで本発明は、時間的に連続な認識を安定して行える認識用撮像装置及びその制御方法を提供することを目的とする。
　上記目的を達成するために、本発明の一形態に係る認識用撮像装置は、対象物を撮像することにより順次複数の画像を生成する撮像部と、前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、前記複数の画像間において前記対象物領域を追跡する追跡部とを有する認識用撮像装置であって、前記対象物領域の面積を算出する面積算出部と、前記面積が第１閾値未満の場合、前記撮像部における露出時間を第１露出時間に設定し、前記面積が前記第１閾値以上の場合、前記露出時間を前記第１露出時間より長い第２露出時間に設定する露出制御部とを備える。
　この構成によれば、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が十分に大きい場合には、露出時間を長くする。これにより、対象物領域の入光量を増加できる。ここで、露出時間を長くすると、対象物領域においてブレが起こりやすくなる。しかしながら、対象物領域の面積が十分に大きい場合には、ブレが増加しても対象物認識処理及び対象物追跡処理に必要な解像度を確保できるので、対象物認識処理及び対象物追跡処理に与える悪影響は少ない。一方で、入光量が増加することにより、対象物領域のＳＮ比が上がるので、対象物認識処理及び対象物追跡処理の精度が増加する。
　さらに、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が十分に大きい場合には、入光量を増やしておくことで、入光量が時間的に減少した場合でも、対象物認識処理に必要な入光量を確保しやすくできる。
　さらに、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が小さい場合には、露出時間を短くする。これにより、対象物領域におけるブレが低減されるので、対象物認識処理及び対象物追跡処理の精度が向上される。また、本発明の一形態に係る認識用撮像装置は、フラッシュ等の照明調整を行わなくてもよいので、フラッシュ禁止の場所でも入光量を増加できるとともに、消費電力を低減できる。
　このように、本発明の一形態に係る認識用撮像装置は、時間的に連続な認識を安定して行える。
　また、前記認識用撮像装置は、さらに、前記対象物領域の移動速度を算出する移動速度算出部を備え、前記露出制御部は、さらに、前記移動速度が第２閾値未満の場合、前記露出時間を第３露出時間に設定し、前記移動速度が前記第２閾値以上の場合、前記露出時間を前記第３露出時間より短い第４露出時間に設定してもよい。
　この構成によれば、本発明の一形態に係る認識用撮像装置は、対象物領域の移動速度が速い場合には、露出時間を短くする。これにより、対象物領域においてブレが起こりにくくなるので、対象物領域の解像度が上がる。よって、対象物認識処理及び対象物追跡処理の精度が向上される。
　さらに、本発明の一形態に係る認識用撮像装置は、対象物領域の移動速度が遅い場合、露出時間を長くする。これにより、対象物領域の入光量を増加させることができる。ここで、移動速度が遅い場合には、露出時間を長くしても対象物認識処理に必要な解像度を確保できるので、対象物認識処理及び対象物追跡処理に与える悪影響は少ない。一方で、入光量が増加することにより、対象物認識処理及び対象物追跡処理の精度を向上できる。
　また、前記認識用撮像装置は、さらに、前記対象物領域における入光量を算出する入光量算出部を備え、前記露出制御部は、前記面積に比例し、かつ、前記入光量に比例する認識用入光量が第３閾値以上の場合、前記撮像部における露出時間を第５露出時間に設定し、前記認識用入光量が前記第３閾値未満の場合、前記露出時間を前記第５露出時間より長い第６露出時間に設定してもよい。
　この構成によれば、本発明の一形態に係る認識用撮像装置は、認識用入光量が少ない場合に、露出時間を長くする。これにより、対象物領域の入光量を増加できる。
　さらに、本発明の一形態に係る認識用撮像装置は、認識用入光量が十分に多い場合には、露出時間を短くする。これにより、対象物領域におけるブレが低減されるので、対象物認識処理及び対象物追跡処理の精度が向上される。
　また、前記露出制御部は、前記面積に比例し、かつ、前記対象物領域におけるブレ量に反比例する認識用解像度が第４閾値未満の場合、前記露出時間を前記第１露出時間に設定し、前記認識用解像度が前記第４閾値以上の場合、前記露出時間を前記第２露出時間に設定してもよい。
　この構成によれば、本発明の一形態に係る認識用撮像装置は、ブレ量を考慮した認識用解像度を用いることで、より精度よく露出時間を制御できる。
　また、本発明の一形態に係る認識用撮像装置は、対象物を撮像することにより順次複数の画像を生成する撮像部と、前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、前記複数の画像間において前記対象物領域を追跡する追跡部とを有する認識用撮像装置であって、前記対象物領域の面積を算出する面積算出部と、前記面積が第１閾値未満の場合、当該認識用撮像装置の合焦位置を第１位置に設定し、前記面積が前記第１閾値以上の場合、前記合焦位置を、前記第１位置より前記対象物から離れた第２位置に設定する合焦位置制御部とを備えてもよい。
　この構成によれば、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が十分に大きい場合、合焦位置を対象物認識距離から遠くに設定することで認識可能な被写界深度を広げることができる。このように、対象物領域の面積が十分に大きい場合には、被写界深度を広げておくことで、対象物が急に移動した場合でも、対象物認識処理に必要な解像度を確保しやすくできる。
　さらに、発明の本発明の一形態に係る認識用撮像装置は、対象物領域の解像度が不十分である場合、合焦位置を対象物認識距離の近くに設定する。これにより、本発明の一形態に係る認識用撮像装置は、対象物領域の解像度を高くできる。
　このように、本発明の一形態に係る認識用撮像装置は、対象物領域の面積に応じて合焦位置を変更することで、時間的に連続な認識を安定して行える。
　また、前記合焦位置制御部は、前記面積に比例し、かつ、前記対象物領域におけるボケ量に反比例する認識用解像度が第２閾値未満の場合、前記合焦位置を前記第１位置に設定し、前記認識用解像度が前記第２閾値以上の場合、前記合焦位置を前記第２位置に設定してもよい。
　この構成によれば、本発明の一形態に係る認識用撮像装置は、ボケ量を考慮した認識用解像度を用いることで、より精度よく合焦位置を制御できる。
　また、本発明の一形態に係る認識用撮像装置は、対象物を撮像することにより順次複数の画像を生成する撮像部と、前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、前記複数の画像間において前記対象物領域を追跡算出する追跡部とを有する認識用撮像装置であって、前記対象物領域の面積を算出する面積算出部と、前記面積が第１閾値未満の場合、絞り値を第１絞り値に設定し、前記面積が前記第１閾値以上の場合、前記絞り値を前記第１絞り値より大きい第２絞り値に設定する絞り制御部とを備えてもよい。
　この構成によれば、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が十分に大きい場合、絞り値を大きくする。ここで、対象物領域の面積が十分に大きい場合、各画素におけるノイズが平均化されるのでノイズの影響が少なくなる。よって、対象物領域の各画素の信号量が相対的に大きくなるので、絞り値を大きくしても、認識に必要とされる光量が確保できる。このように、本発明の一形態に係る認識用撮像装置は、認識に必要な光量を確保しつつ、認識範囲を広げることができる。また、被写界深度を広げておくことで、対象物が急に移動した場合でも、対象物認識処理に必要な解像度を確保しやすくできる。
　さらに、本発明の一形態に係る認識用撮像装置は、対象物領域の面積が小さい場合、絞り値を小さくする。ここで、対象物領域の面積が少ない場合、ノイズの影響が大きくなる。これに対して、本発明の一形態に係る認識用撮像装置は、このような場合に、絞り値を小さくすることにより、認識に必要とされる光量を確保できる。また、本発明の一形態に係る認識用撮像装置は、フラッシュ等の照明調整を行わなくてもよいので、フラッシュ禁止の場所でも光量を確保できるとともに、消費電力を低減できる。
　また、前記認識用撮像装置は、さらに、前記対象物領域における入光量を算出する入光量算出部を備え、前記絞り制御部は、さらに、前記入光量が第２閾値未満の場合、絞り値を第３絞り値に設定し、前記入光量が前記第２閾値以上の場合、前記絞り値を前記第３絞り値より大きい第４絞り値に設定してもよい。
　この構成によれば、本発明の一形態に係る認識用撮像装置は、入光量が十分に多い場合、絞り値を大きくする。ここで、入光量が十分に多い場合、対象物領域の各画素の信号量が大きくなるので、絞り値を大きくしても、認識に必要とされる光量が確保できる。このように、本発明の一形態に係る認識用撮像装置は、認識に必要な光量を確保しつつ、認識範囲を広げることができる。また、入光量が十分に多い場合には、被写界深度を広げておくことで、対象物が急に移動した場合でも、対象物認識処理に必要な解像度を確保しやすくできる。
　さらに、本発明の一形態に係る認識用撮像装置は、入光量が少ない場合、絞り値を小さくすることで、認識に必要とされる光量を確保できる。
　また、前記絞り制御部は、前記面積に比例し、かつ、前記入光量に比例する認識用入光量が第３閾値未満の場合、前記絞り値を前記第１絞り値に設定し、前記認識用入光量が前記第２閾値以上の場合、前記絞り値を前記第２絞り値に設定してもよい。
　この構成によれば、本発明の一形態に係る認識用撮像装置は、面積を考慮した認識用入光量を用いることで、より精度よく絞り値を制御できる。
　なお、本発明は、このような認識用撮像装置として実現できるだけでなく、認識用撮像装置に含まれる特徴的な手段をステップとする認識用撮像装置の制御方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　さらに、本発明は、このような認識用撮像装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような認識用撮像装置を備えるカメラとして実現したりできる。
　本発明によれば、時間的に連続な認識を安定して行える認識用撮像装置及びその制御方法を提供できる。
図１は、本発明の実施の形態１に係る認識用撮像装置のブロック図である。 図２は、本発明の実施の形態１に係る認識用撮像装置の詳細なブロック図である。 図３は、本発明の実施の形態１に係る顔追跡処理のフローチャートである。 図４は、本発明の実施の形態１に係る認識用撮像装置による、顔領域の面積に応じたシャッタースピード制御処理のフローチャートである。 図５は、本発明の実施の形態１に係る認識用撮像装置による、顔領域の移動速度に応じたシャッタースピード制御処理のフローチャートである。 図６は、本発明の実施の形態１に係る認識用撮像装置による、顔領域の入光量に応じたシャッタースピード制御処理のフローチャートである。 図７は、本発明の実施の形態１に係る認識用撮像装置による、顔領域の面積及び入光量に応じたシャッタースピード制御処理のフローチャートである。 図８は、本発明の実施の形態２に係る認識用撮像装置のブロック図である。 図９は、本発明の実施の形態２に係る認識用撮像装置の詳細なブロック図である。 図１０は、本発明の実施の形態２に係る認識用撮像装置による合焦位置制御処理のフローチャートである。 図１１は、本発明の実施の形態２に係る、過焦点距離と被写界深度との関係を示す図である。 図１２は、本発明の実施の形態３に係る認識用撮像装置のブロック図である。 図１３は、本発明の実施の形態３に係る認識用撮像装置の詳細なブロック図である。 図１４は、本発明の実施の形態３に係る認識用撮像装置による、顔領域の面積に応じた絞り値制御処理のフローチャートである。 図１５は、本発明の実施の形態３に係る認識用撮像装置による、顔領域の入光量に応じた絞り値制御処理のフローチャートである。
　（実施の形態１）
　本発明の実施の形態１に係る認識用撮像装置は、顔領域の面積、移動速度及び入光量に応じて、シャッタースピードを変更する。具体的には、本発明の実施の形態１に係る認識用撮像装置は、顔領域の面積が大きい場合、シャッタースピードを遅くする。
　これにより、本発明の実施の形態１に係る認識用撮像装置は、顔認識を安定して行える。　以下、本発明の実施の形態１について図面を参照しながら説明する。
　まず、本発明の実施の形態１に係る認識用撮像装置１００の構成を説明する。
　図１は、本発明の実施の形態１に係る認識用撮像装置１００のブロック図である。
　図１に示す認識用撮像装置１００は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、ネットワークカメラ、又はセキュリティカメラである。この認識用撮像装置１００は、撮像部１０１と、露出制御部１０２と、顔認識部１０５と、顔追跡部１０６と、面積算出部１０９とを備える。
　撮像部１０１は、撮像光学系による被写体像を受光して電気信号を生成する。言い換えると、撮像部１０１は、対象物を撮像することにより順次複数の画像を生成する。
　顔認識部１０５は、本発明の対象物認識部に相当する。この顔認識部１０５は、撮像部１０１で生成された複数の画像の各々に対して、当該画像内で対象物が撮像されている領域である対象物領域を認識する。
　顔追跡部１０６は、本発明の追跡部に相当する。この顔追跡部１０６は、撮像部１０１で生成された複数の画像間において対象物領域を追跡する。
　面積算出部１０９は、対象物領域の面積を算出する。
　露出制御部１０２は、対象物領域の面積が面積閾値（第１閾値）未満の場合、撮像部１０１における露出時間を第１露出時間に設定し、対象物領域の面積が面積閾値以上の場合、撮像部１０１における露出時間を第１露出時間より長い第２露出時間に設定する。
　図２は、認識用撮像装置１００の詳細な構成を示すブロック図である。図２に示すように、認識用撮像装置１００は、さらに、顔認識結果記憶部１０７と、移動速度算出部１０８と、入光量算出部１１０とを備える。
　撮像部１０１は、レンズ１１２と、レンズ１１２の合焦位置等を変更するレンズ駆動装置１１３と、レンズ１１２を通過する光量を調整する絞り装置１１４と、撮像素子１１６の露出時間を調整するシャッター装置１１５と、レンズ１１２により結像された像を電気信号に変換する撮像素子１１６と、撮像素子１１６により生成された電気信号（アナログ信号）をデジタル信号に変換するＡＤ変換器１１７とを備える。また、認識用撮像装置１００は、ＡＤ変換器１１７によって生成されたデジタル信号に対してゲイン補正、ガンマ補正、色変換、及び拡大縮小等の信号処理を行うことにより、後述する顔認識部１０５で用いられる入力画像１２０を毎フレーム作成する。
　露出制御部１０２は、撮像部１０１のシャッター装置１１５におけるシャッタースピードを制御する。シャッタースピードを遅くすると、撮像素子１１６に光が当たる露出時間が長くなる。これにより、被写体の電気信号が多く得られるので、入力画像の入光量が多くなる。また、シャッタースピードを速くすると、撮像素子１１６に光が当たる露出時間が短くなる。これにより、被写体の電気信号が少なくなるので、入力画像の入光量が少なくなる。
　顔認識部１０５は、撮像部１０１により生成された入力画像１２０を用いて、入力画像１２０上にある顔領域を認識する。顔認識部１０５は、生成した顔認識結果１２１を１フレームごとに顔認識結果記憶部１０７に記憶する。一般的に認識対象としては、不特定人物の顔領域、又は特定人物の顔領域が想定される。不特定人物の顔領域の認識は、一般的な顔の特徴を含んだ画像領域を認識する。詳細な認識アルゴリズムは特許文献３等で公開されているＡｄａＢｏｏｓｔアルゴリズムを用い、顔向き毎に専用の顔向きを検出する識別器を構成することで実現する。しかし、不特定人物の顔領域の認識方法はこのアルゴリズムに限ったものではない。また、特定人物の顔領域の認識は、不特定人物の顔領域における詳細な顔特徴情報と顔認識結果記憶部１０７において登録されている特定人物の顔特徴情報１２３との整合性を判定することで個人を特定する。
　一般的に顔認識では入力画像１２０をある一定のサイズにリサイズした認識用画像に対して認識が行われる。例えば、不特定人物の顔領域の認識では、特許文献２に記載のように、入力画像を縮小した認識用画像を用いて顔を認識している。また、特許文献１では、認識された不特定人物の顔領域に対して、目検出を行い両目の間隔が所定値になるようにリサイズした認識用画像を用いて特定人物の顔領域の認識を行っている。一般的に特定人物の顔領域の認識は、不特定人物の顔領域の認識より詳細な特徴情報を用いるため、不特定人物の顔領域の認識より高い解像度が求められる。
　顔追跡部１０６は、顔認識結果記憶部１０７が保持している過去の顔認識結果１２１に基づいて、連続する入力画像１２０（フレーム）間で顔を追跡する。例えば、顔追跡に用いられる顔認識結果１２１は、入力画像１２０上の顔領域の中心座標等である。一度認識された顔は、次フレームでは、前フレームで認識された位置の近傍で認識される。このように顔追跡部１０６は、認識位置の連続性を用いて顔追跡処理を実現する。図３は、顔追跡部１０６による顔追跡処理のフローチャートである。
　図３における顔追跡処理において、まず、顔追跡部１０６は、現フレームで認識された顔領域の中心座標近傍において、１フレーム前にラベルが付与された顔領域が存在したか否を判定する（Ｓ１０１）。
　１フレーム前にラベルが付与された顔領域が存在していた場合（Ｓ１０１でＹｅｓ）、顔追跡部１０６は、現フレームで認識された顔領域に、１フレーム前の顔領域に付与されていたラベルと同じラベルを付与する（Ｓ１０２）。
　一方、１フレーム前にラベルが付与された顔領域が存在していない場合（Ｓ１０１でＮｏ）、顔追跡部１０６は、これまでに認識された顔とは異なる固有のラベルを現フレームで認識された顔領域に付与する（Ｓ１０３）。
　なお、ここでの説明では、位置の連続性を用いた追跡方法を用いる場合を述べたが、色を用いた追跡方法を用いてもよい。また追跡対象の顔が複数あった場合、顔追跡部１０６は、カメラの調整パラメータを制御する顔のラベルを選択する。選択方法としては、顔認識部１０５において登録されている特定人物が認識されているならば、その顔のラベルを選択する。他にも特許文献２等で開示されているように認識された顔のサイズ及び位置などによって制御する顔を選択してもよい。また、顔追跡部１０６は、生成した顔追跡結果１２２を１フレームごとに顔認識結果記憶部１０７に記憶する。
　顔認識結果記憶部１０７は、顔認識部１０５で生成された顔認識結果１２１と、顔追跡部１０６で生成された顔追跡結果１２２とを１フレーム毎に保持する。ここで、顔認識結果１２１は、入力画像上の顔領域の座標、顔領域の縦横の画素数、及び登録されている特定人物の認識状況等である。また、顔追跡結果１２２は、顔領域を区別するためのラベル、及びカメラ制御対象のラベル等である。また、顔認識結果記憶部１０７は、顔認識部１０５による特定人物の認識で用いられる特定人物の顔の詳細情報である顔特徴情報１２３を保持する。また、認識用撮像装置１００は、顔認識結果記憶部１０７に１フレームごとにデータが蓄積された結果、メモリ容量が限界に達した場合、最も古いデータから消去することで常に最新の履歴を参照することができる。
　移動速度算出部１０８は、顔認識結果記憶部１０７に保持されている顔認識結果１２１と顔追跡結果１２２とを用いて、カメラ制御対象のラベルの顔における移動速度を算出する。具体的には、移動速度算出部１０８は、現フレームと１フレーム前とにおいて同じラベルを持つ顔において１フレーム前の顔領域の中心座標から現フレームの顔領域の中心座標までの移動画素数を算出する。そして移動速度算出部１０８は、算出した移動画素数に基づいて、平面方向の移動速度を算出する。また、移動速度算出部１０８は、現フレームと１フレーム前とにおいて同じラベルを持つ顔に対して、１フレーム前の顔領域における縦横の画素数と現フレームの顔領域における縦横の画素数との差分を算出する。そして移動速度算出部１０８は、算出した差分に基づいて、深さ方向の移動速度を計算する。ただし、移動速度の求め方はこれらの方法に限ったものではない。
　面積算出部１０９は、顔認識結果記憶部１０７に保持されている顔認識結果１２１と顔追跡結果１２２とに基づいて、カメラ制御対象のラベルの顔における顔領域の面積を求める。面積としては認識用画像の顔の解像度（以下、認識用解像度）、又は入力画像１２０上における顔の画素数が考えられる。ここで認識用解像度とは、画像における画素の密度であり、この値が大きいほど顔の特徴が鮮明になる。例えば、この認識用解像度は、顔領域の面積（画素数）に比例し、かつ、顔領域におけるブレ量（又はボケ量）に反比例する値である。具体的には、認識用解像度としては、認識用画像領域のＡＦ評価値（コントラスト量に応じた値）等を用いることができる。または、認識解像度は、入力画像１２０上の顔領域のＡＦ評価値を認識用画像の面積で正規化した値でもよい。ただし、顔領域における面積の求め方はこの方法に限ったものではない。
　入光量算出部１１０では、顔認識結果記憶部１０７に保持されている顔認識結果１２１と顔追跡結果１２２とに基づいて、カメラ制御対象のラベルの顔領域における入光量を算出する。具体的には、入光量算出部１１０は、認識用画像の顔領域に含まれる複数の画素の輝度値の平均値、又は入力画像１２０上の顔領域に含まれる複数の画素の輝度値の平均値を算出し、算出した平均値を用いて入光量を算出する。また、入光量算出部１１０は、ゲイン又はガンマ補正等の輝度補正が入力画像１２０に施されている場合は、それらの補正の逆補正を入力画像１２０に行い、逆補正を行ったあとの画像を用いて入光量を算出する。ただし、顔領域における入光量の求め方はこの方法に限ったものではない。
　露出制御部１０２は、移動速度算出部１０８、面積算出部１０９及び入光量算出部１１０で算出された、顔領域の面積、移動速度及び入光量を用いて、シャッタースピードを決定する。
　以下に、露出制御部１０２が、移動速度算出部１０８、面積算出部１０９及び入光量算出部１１０で生成された情報を用いてシャッタースピードを算出する方法を述べる。また、前提条件として、処理対象の顔は顔追跡されている（１フレーム前の顔の履歴がある）カメラ制御対象の顔とする。
　まず、露出制御部１０２による顔領域の面積に基づく、シャッタースピードの制御処理について説明する。図４は、顔領域の面積に基づく、シャッタースピードの制御処理のフローチャートである。
　また、例えば、図４～図７の各々に示す一連の処理は、１フレームごとに行われる。なお、図４～図７の各々に示す一連の処理は、予め定められた複数フレームごとに行なわれてもよい。
　まず、面積算出部１０９は、処理対象の顔領域の面積を算出する。ここでは面積は認識用画像におけるＡＦ評価値とする（Ｓ２０１）。
　次に、露出制御部１０２は、顔領域の面積が面積閾値（認識に十分な面積）に達しているかどうかを判定する（Ｓ２０２）。なお、認識方法によって面積閾値は変わる。例えば、特定人物の顔認識における面積閾値は、不特定人物の顔認識における面積閾値より高い。
　顔領域の面積が面積閾値以上の場合（Ｓ２０２でＹｅｓ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより遅いシャッタースピードに設定する（Ｓ２０３）。言い換えると、露出制御部１０２は、撮像部１０１の露出時間を、現在の露出時間より長い露出時間に設定する。ここで、露出制御部１０２は、現在の顔領域の面積と現在のシャッタースピードとの関係から、認識用解像度が解像度閾値を下回らないシャッタースピードの上限値を算出する。そして、露出制御部１０２は、シャッタースピードを算出した上限値以下の値に設定する。
　このように、顔領域の面積が十分に大きい場合には、露出制御部１０２は、撮像部１０１の露出時間を長くする。これにより、顔領域の入光量を増加できる。ここで、露出時間を長くすると、顔領域においてブレが起こりやすくなる。しかしながら、顔領域の面積が十分に大きい場合には、ブレが増加しても顔認識処理に必要な解像度を確保できるので、顔認識処理及び顔追跡処理に与える悪影響は少ない。一方で、入光量が増加することにより、顔領域のＳＮ比が上がるので、顔認識処理及び顔追跡処理の精度が増加する。
　また、顔領域の面積が十分に大きい場合には、入光量を増やしておくことで、入光量が時間的に減少した場合でも、顔認識処理に必要な入光量を確保しやすくできる。
　一方、顔領域の面積が面積閾値未満の場合（Ｓ２０２でＮｏ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより速いシャッタースピードに設定する（Ｓ２０４）。言い換えると、露出制御部１０２は、撮像部１０１の露出時間を、現在の露出時間より長い露出時間に設定する。
　このように、顔領域の面積が小さい場合には、露出制御部１０２は、撮像部１０１の露出時間を短くする。これにより、顔領域におけるブレが低減されるので、顔認識処理及び顔追跡処理の精度が向上される。
　なお、露出制御部１０２は、ステップＳ２０３及びＳ２０４において、予め定められた固定値分だけ、シャッタースピードを増加又は減少させてもよいし、顔領域の面積に応じてシャッタースピードの変化量を変更してもよい。例えば、ステップＳ２０３において、露出制御部１０２は、顔領域の面積が大きいほど、より遅いシャッタースピードを設定してもよい。同様に、ステップＳ２０４において、露出制御部１０２は、顔領域の面積が小さいほど、より速いシャッタースピードを設定してもよい。
　また、露出制御部１０２は、ステップＳ２０４において、少なくともステップＳ２０３で設定されるシャッタースピードより速いシャッタースピードを設定すればよい。言い換えると、露出制御部１０２は、ステップＳ２０４において、撮像部１０１の露出時間を、ステップＳ２０３で設定される露出時間より長い露出時間に設定すればよい。
　また、ここでは一つの閾値を用いて、シャッタースピードを変更する例を述べたが、複数の閾値を用いてもよい。例えば、露出制御部１０２は、顔領域の面積が第１面積閾値以上の場合にシャッタースピードを遅くし、顔領域の面積が、第１面積閾値より小さい第２面積閾値未満の場合にシャッタースピードを速くし、顔領域の面積が第１面積閾値と第２面積閾値との間の場合にシャッタースピードを変更しなくてもよい。また、露出制御部１０２は、顔領域の面積と複数の面積閾値との大小に応じて、シャッタースピードの変化量を変更してもよい。
　次に、露出制御部１０２による顔領域の移動速度に基づく、シャッタースピードの制御処理について説明する。図５は、顔領域の移動速度に基づく、シャッタースピードの制御処理のフローチャートである。なお、以下では、同様の処理に対しては同様の符号を付し、説明を省略する場合がある。
　まず、移動速度算出部１０８は、処理対象の顔の平面方向の移動速度を算出する（Ｓ２１１）。
　次に、露出制御部１０２は、顔領域の移動速度が速度閾値以上であるか否かを判定する（Ｓ２１２）。
　顔領域の移動速度が速度閾値未満の場合（Ｓ２１２でＮｏ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより遅いシャッタースピードに設定する（Ｓ２０３）。
　これにより、顔領域の入光量を増加させることができる。ここで、移動速度が遅い場合には、露出時間を長くしても顔認識処理に必要な解像度を確保できるので、顔認識処理及び顔追跡処理に与える悪影響は少ない。一方で、入光量が増加することにより、顔認識処理及び顔追跡処理の精度を向上できる。
　一方、顔領域の移動速度が速度閾値以上の場合（Ｓ２１２でＹｅｓ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより速いシャッタースピードに設定する（Ｓ２０４）。
　このように、顔領域の移動速度が大きい場合には、露出制御部１０２は、撮像部１０１の露出時間を短くする。シャッタースピードを速くすることで、顔領域においてブレが起こりにくくなるので、顔領域の解像度が上がる。これにより、顔認識処理及び顔追跡処理の精度が向上される。
　なお、露出制御部１０２は、ステップＳ２０３及びＳ２０４において、予め定められた固定値分だけ、シャッタースピードを増加又は減少させてもよいし、顔領域の移動速度に応じてシャッタースピードの変化量を変更してもよい。例えば、ステップＳ２０３において、露出制御部１０２は、顔領域の移動速度が遅いほど、より遅いシャッタースピードを設定してもよい。同様に、ステップＳ２０４において、露出制御部１０２は、顔領域の移動速度が速いほど、より速いシャッタースピードを設定してもよい。
　また、露出制御部１０２は、ステップＳ２０４において、少なくともステップＳ２０３で設定されるシャッタースピードより速いシャッタースピードを設定すればよい。言い換えると、露出制御部１０２は、ステップＳ２０４において、撮像部１０１の露出時間を、ステップＳ２０３で設定される露出時間より長い露出時間に設定すればよい。
　また、ここでは一つの閾値を用いて、シャッタースピードを変更する例を述べたが、複数の閾値を用いてもよい。例えば、露出制御部１０２は、顔領域の移動速度が第１速度閾値以上の場合にシャッタースピードを速くし、顔領域の移動速度が、第１速度閾値より小さい第２速度閾値未満の場合にシャッタースピードを遅くし、顔領域の移動速度が第１速度閾値と第２速度閾値との間の場合にシャッタースピードを変更しなくてもよい。また、露出制御部１０２は、顔領域の移動速度と複数の速度閾値との大小に応じて、シャッタースピードの変化量を変更してもよい。
　次に、露出制御部１０２による顔領域の入光量に基づく、シャッタースピードの制御処理について説明する。図６は、顔領域の入光量に基づく、シャッタースピードの制御処理のフローチャートである。
　まず、入光量算出部１１０は、処理対象の顔領域の入光量を算出する（Ｓ２２１）。ここでは、入光量は認識用画像の顔領域に含まれる複数の画素の輝度値の平均値とする。
　次に、露出制御部１０２は、顔領域の入光量が入光量閾値（認識に十分な入光量）に達しているかどうかを判定する（Ｓ２２２）。ここで、認識方法によって入光量閾値は変わる。例えば、特定人物の顔認識における入光量閾値は、不特定人物の顔認識における入光量閾値とより高い。また、露出制御部１０２は、この判定に用いる入光量として、入光量算出部１１０で算出された入光量そのものを用いてもよいし、面積算出部１０９で算出された面積に比例し、かつ、入光量算出部１１０で算出された入光量に比例する認識用入光量を算出し、当該認識用入光量と、入光量閾値とを比較してもよい。
　顔領域の入光量が入光量閾値未満の場合（Ｓ２２２でＮｏ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより遅いシャッタースピードに設定する（Ｓ２０３）。
　このように、顔領域の入光量が入光量閾値未満の場合には、露出制御部１０２は、撮像部１０１の露出時間を遅くすることで、入光量を増加できる。これにより、顔領域のＳＮ比が上がるので、顔認識処理及び顔追跡処理の精度が向上される。
　一方、顔領域の入光量が入光量以上の場合（Ｓ２２２でＹｅｓ）、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより速いシャッタースピードに設定する（Ｓ２０４）。ここで、露出制御部１０２は、現在の顔の入光量と現在のシャッタースピードとの関係から、入光量閾値を下回らないシャッタースピードの下限値を算出する。そして、露出制御部１０２は、シャッタースピードを算出した下限値以上の値に設定する。
　このように、顔領域の入光量が十分に多い場合には、露出制御部１０２は、撮像部１０１の露出時間を短くする。これにより、顔認識処理に必要な入光量を確保しつつ顔領域のブレを低減できる。
　また、顔領域の入光量が十分に大きい場合には、シャッタースピードを速くしておくことで、対象物の移動速度が急に増加した場合でも、ブレを抑えることができるので、顔認識処理に必要な解像度を確保しやすくできる。
　なお、露出制御部１０２は、ステップＳ２０３及びＳ２０４において、予め定められた固定値分だけ、シャッタースピードを増加又は減少させてもよいし、顔領域の入光量に応じてシャッタースピードの変化量を変更してもよい。例えば、ステップＳ２０３において、露出制御部１０２は、顔領域の入光量が少ないほど、より遅いシャッタースピードを設定してもよい。同様に、ステップＳ２０４において、露出制御部１０２は、顔領域の入光量が多いほど、より速いシャッタースピードを設定してもよい。
　また、露出制御部１０２は、ステップＳ２０４において、少なくともステップＳ２０３で設定されるシャッタースピードより速いシャッタースピードを設定すればよい。言い換えると、露出制御部１０２は、ステップＳ２０４において、撮像部１０１の露出時間を、ステップＳ２０３で設定される露出時間より長い露出時間に設定すればよい。
　また、ここでは一つの閾値を用いて、シャッタースピードを変更する例を述べたが、複数の閾値を用いてもよい。例えば、露出制御部１０２は、顔領域の入光量が第１入光量閾値以上の場合にシャッタースピードを速くし、顔領域の入光量が、第１入光量閾値より小さい第２入光量値未満の場合にシャッタースピードを遅くし、顔領域の入光量が第１入光量閾値と第２入光量閾値との間の場合にシャッタースピードを変更しなくてもよい。また、露出制御部１０２は、顔領域の入光量と複数の入光量閾値との大小に応じて、シャッタースピードの変化量を変更してもよい。
　また、上記説明では、顔領域の面積、移動速度及び入光量の各々に応じて処理を行う例を述べたが、これらを組み合わせてもよい。つまり、露出制御部１０２は、顔領域の面積、移動速度及び入光量のうち少なくとも一つに応じて、シャッタースピードを変更すればよい。
　図７は、露出制御部１０２によるシャッタースピードの制御処理の変形例のフローチャートである。
　図７に示すように、顔領域の入光量が入光量閾値未満であり、かつ、顔領域の面積が面積閾値以上の場合（Ｓ２３１でＹｅｓ）に、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより遅いシャッタースピードに設定してもよい（Ｓ２０３）。
　また、顔領域の入光量が入光量閾値以上であり、かつ、顔領域の面積が面積閾値未満の場合（Ｓ２３２でＹｅｓ）に、露出制御部１０２は、撮像部１０１のシャッタースピードを、現在のシャッタースピードより速いシャッタースピードに設定してもよい（Ｓ２０４）。
　また、上記以外の場合（Ｓ２３１でＮｏ、かつ、Ｓ２３２でＮｏ）、露出制御部１０２は、シャッタースピードを変更しない。
　なお、上述した図４～図７における、ステップＳ２０３及びＳ２０４において、露出制御部１０２は、顔領域の面積、移動速度及び入光量のうち少なくとも一つの値に応じて、シャッタースピードの変更量を変更してもよい。なお、具体的な変更量の制御方法は、上述した説明と同様であればよい。
　このように、本発明の実施の形態１に係る認識用撮像装置１００は、顔領域の面積、移動速度及び入光量に応じてシャッタースピードを増減することで、顔認識処理に必要な顔の解像度、及びＳＮ比を向上できる。これにより、認識用撮像装置１００は、時間的に連続な認識を安定して行える。
　なお、上記説明では、露出制御部１０２は、シャッタースピードを変更することで露出時間を変更しているが、これ以外の方法で露出時間を変更してもよい。
　（実施の形態２）
　本発明の実施の形態２に係る認識用撮像装置は、顔領域の面積に応じて、当該認識用撮像装置の合焦位置を変更する。具体的には、本発明の実施の形態２に係る認識用撮像装置は、顔領域の面積が大きい場合、合焦位置を顔から遠くに設定する。
　これにより、本発明の実施の形態２に係る認識用撮像装置は、顔認識を安定して行える。
　なお、以下では、実施の形態１との相違点を主に説明し、重複する説明は省略する。また、各図において、同様の要素には同一の符号を付している。
　図８は、本発明の実施の形態２に係る認識用撮像装置１００Ａのブロック図である。
　図８に示す認識用撮像装置１００Ａは、実施の形態１に係る認識用撮像装置１００の構成に対して、露出制御部１０２の代わりに合焦位置制御部１０３を備える。
　また、図９は、認識用撮像装置１００Ａの詳細な構成を示すブロック図である。
　合焦位置制御部１０３は、撮像部１０１のレンズ駆動装置１１３における合焦位置を制御する。合焦位置が対象物に近ければ、対象物にピントが合っている状態になるので、入力画像における対象物の解像度が上がる。一方、合焦位置が対象物から遠ければ、対象物にピントが合っていない状態になるので、入力画像における対象物の解像度が下がる。
　具体的には、合焦位置制御部１０３は、顔領域の面積が面積閾値未満の場合、合焦位置を第１位置に設定し、顔領域の面積が面積閾値以上の場合、合焦位置を、第１位置より対象物から離れた第２位置に設定する。
　図１０は、認識用撮像装置１００Ａによる合焦位置の制御処理のフローチャートである。また、処理対象の顔はカメラ制御対象の顔とする。
　また、例えば、図１０に示す一連の処理は、１フレームごとに行われる。なお、図１０に示す一連の処理は、予め定められた複数フレームごとに行なわれてもよい。
　図１０に示すように、まず、面積算出部１０９は、処理対象の顔領域の面積を算出する（Ｓ２０１）。ここでは、面積は認識用画像におけるＡＦ評価値とする。
　次に、合焦位置制御部１０３は、顔領域の面積が面積閾値に達しているかどうかを判定する（Ｓ２０２）。
　顔領域の面積が面積閾値を超えている場合（Ｓ２０２でＹｅｓ）、合焦位置制御部１０３は、現在の合焦位置より、合焦位置が顔の位置からより遠くなるように合焦位置を設定する（Ｓ３０３）。
　一方、顔領域の面積が面積閾値を超えていないと判定した場合（Ｓ２０２でＮｏ）、合焦位置制御部１０３は、現在の合焦位置より、合焦位置が顔の位置に近くなるように合焦位置を設定する（Ｓ３０４）。
　なお、合焦位置制御部１０３は、ステップＳ３０４において、少なくともステップＳ３０３で設定される位置より、顔に近い位置に合焦位置を設定すればよい。
　また、ここでは一つの閾値を用いて、合焦位置を変更する例を述べたが、複数の閾値を用いてもよい。例えば、合焦位置制御部１０３は、顔領域の面積が第１面積閾値以上の場合に合焦位置を顔から離し、顔領域の面積が、第１面積閾値より小さい第２面積値未満の場合に合焦位置を顔に近づけ、顔領域の面積が第１面積閾値と第２面積閾値との間の場合に合焦位置を変更しなくてもよい。また、合焦位置制御部１０３は、顔領域の面積と複数の面積閾値との大小に応じて、合焦位置の変化量を変更してもよい。
　ステップＳ３０３及びステップＳ３０４における合焦位置の位置算出方法について図１１を用いて詳細に説明する。まず顔の面積を考慮しない一般的な合焦位置の制御方法を、図１１（ａ）を用いて説明する。
　まず、被写界深度について詳細に説明する。一般的に被写界深度は以下の（式１）、（式２）及び（式３）で求められる。ここで、ＤＮは被写界深度の前端であり、ＤＦは被写界深度の後端である。また、全体の被写界深度はＤＦとＤＮとを合わせたものである。また、ｓは合焦位置であり、Ｈは過焦点距離（無限遠が被写界深度の後端ぎりぎりに入るような合焦位置）であり、Ｎは絞り値であり、ｃは許容錯乱円の直径（許容されるボケの直径）であり、ｆはレンズの焦点距離である。
　　Ｈ＝ｆ２／（ｃ×Ｎ）・・・（式１）
　　ＤＮ＝｛ｓ×（Ｈ－ｆ）｝／（Ｈ＋ｓ－２ｆ）・・・（式２）
　　ＤＦ＝｛ｓ×（Ｈ－ｆ）｝／（Ｈ－ｓ）・・・（式３）
　以下では、ボケ量が１ｐｉｘｅｌ以内に収まる許容錯乱円の直径をｃとして、顔が認識されている距離Ｓに合焦位置を制御した場合の被写界深度をＷ０とする。
　図１１（ａ）に示すように合焦位置Ｓが過焦点距離Ｈ０より手前にある場合、被写界深度の後端が有限の位置になる。ここで、合焦位置制御部１０３は、顔領域の面積を考慮して、合焦位置がＳの場合において顔の認識が可能な解像度を確保できる被写界深度Ｗ１を求める。例として認識対象の顔の面積が認識に必要な面積の縦横２倍あった場合を仮定する。このような場合、認識に必要とされる許容錯乱円の直径を２ｃまで拡大しても認識に必要な解像度を満たすことができる。
　よって、許容錯乱円の直径を２ｃとして再設定する過焦点距離をＨ１とした場合、合焦位置制御部１０３は、式（１）を用いてＨ１＝Ｈ０／２を算出する。つまり、過焦点距離Ｈ１は過焦点距離Ｈ０よりも手前に位置することになる。具体的には、図１１（ｂ）に示すように過焦点距離Ｈ１が合焦位置Ｓよりも手前にある場合、被写界深度Ｗ１の後端は無限遠になる。また、被写界深度Ｗ１の前端も被写界深度Ｗ０に比べて手前になる。このように、顔領域の面積が広いほど認識可能な被写界深度Ｗ１は広くなる。
　さらに、合焦位置制御部１０３は、過焦点距離Ｈ１が顔認識距離Ｓの手前にある場合、図１１（ｃ）に示すように過焦点距離Ｈ１の位置に合焦位置を設定する。これにより、更に認識可能な被写界深度Ｗ２を広くすることができる。このように、合焦位置制御部１０３は、顔領域の面積に応じて合焦位置を適切に制御することで認識可能な被写界深度を広げることができる。
　つまり、顔領域の面積が十分に大きい場合、合焦位置制御部１０３は、ステップＳ３０３で、合焦位置を顔認識距離から遠くに設定することで認識可能な被写界深度を広げる。このように、顔領域の面積が十分に大きい場合には、被写界深度を広げておくことで、対象物が急に移動した場合でも、顔認識処理に必要な解像度を確保しやすくできる。
　また、顔領域の面積が不十分である場合、合焦位置制御部１０３は、ステップＳ３０４で、合焦位置を顔認識距離の近くに設定する。これにより、合焦位置制御部１０３は、顔領域の解像度を高くできる。
　このように、本発明の実施の形態２に係る認識用撮像装置１００Ａは、顔領域の面積に応じて合焦位置を変更することで、時間的に連続な認識を安定して行える。
　（実施の形態３）
　本発明の実施の形態３に係る認識用撮像装置は、顔領域の面積及び入光量に応じて、絞り値を変更する。具体的には、本発明の実施の形態３に係る認識用撮像装置は、顔領域の面積が大きい場合、絞り値を大きくする。
　これにより、本発明の実施の形態３に係る認識用撮像装置は、顔認識を安定して行える。
　なお、以下では、実施の形態１及び２との相違点を主に説明し、重複する説明は省略する。また、各図において、同様の要素には同一の符号を付している。
　図１２は、本発明の実施の形態３に係る認識用撮像装置１００Ｂのブロック図である。
　図１２に示す認識用撮像装置１００Ｂは、実施の形態１に係る認識用撮像装置１００の構成に対して、露出制御部１０２の代わりに絞り制御部１０４を備える。
　また、図１３は、認識用撮像装置１００Ｂの詳細な構成を示すブロック図である。
　絞り制御部１０４は、撮像部１０１の絞り装置１１４における絞り値を制御する。絞り値を小さくすると、レンズ１１２を通過する光量が多くなるので対象物の電気信号が多く得られる。これにより、入力画像の入光量が多くなる。また、被写界深度が浅く（ピントの合う領域が狭く）なる。一方、絞り値を大きくすると、レンズを通過する光量が少なくなるので、被写体の電気信号が少なくなる。これにより、入力画像の入光量が少なくなる。また、被写界深度が深く（ピントの合う領域が広く）なる。
　具体的には、絞り制御部１０４は、顔領域の面積が面積閾値未満の場合、絞り値を第１絞り値に設定し、顔領域の面積が面積閾値以上の場合、絞り値を第１絞り値より大きい第２絞り値に設定する。
　以下に、絞り制御部１０４が、面積算出部１０９及び入光量算出部１１０により生成さされた情報を用いて絞り値を算出する方法を述べる。また、処理対象の顔はカメラ制御対象の顔とする。
　まず、絞り制御部１０４による顔領域の面積に基づく、絞り値の制御処理について説明する。図１４は、顔領域の面積に基づく、絞り値の制御処理のフローチャートである。
　また、例えば、図１４及び図１５の各々に示す一連の処理は、１フレームごとに行われる。なお、図１４及び図１５の各々に示す一連の処理は、予め定められた複数フレームごとに行なわれてもよい。
　図１４に示すように、まず、面積算出部１０９は、処理対象の顔領域の面積を算出する（Ｓ２０１）。ここで、面積は入力画像における顔領域の画素数とする。
　次に、絞り制御部１０４は、顔領域の面積が面積閾値に達しているかどうかを判定する（Ｓ２０２）。
　顔領域の面積が面積閾値を超えている場合（Ｓ２０２でＹｅｓ）、絞り制御部１０４は、現在の絞り値より大きい絞り値を設定する（Ｓ４０３）。
　ここで、絞り値が大きければ大きいほど被写界深度は深くなるため、認識範囲を広げることができる。
　また、入力画像上の顔領域の画素数が多い場合、認識用画像のサイズに縮小する際に各画素におけるノイズが平均化されるのでノイズの影響が少なくなる。よって、顔領域の各画素の信号量が相対的に大きくなるので、絞り値を大きくしても、認識に必要とされる光量が確保できる。このように、絞り制御部１０４は、認識に必要な光量を確保しつつ、認識範囲を広げることができる。また、被写界深度を広げておくことで、対象物が急に移動した場合でも、顔認識処理に必要な解像度を確保しやすくできる。
　また、絞り制御部１０４は、入光量閾値近くになるまで絞り値を大きくすることが望ましい。つまり、絞り制御部１０４は、面積が大きいほど絞り値を大きくする。
　一方、顔領域の面積が面積閾値を超えていない場合（Ｓ２０２でＮｏ）、絞り制御部１０４は、現在の絞り値より小さい絞り値を設定する（Ｓ４０４）。また、絞り制御部１０４は、顔領域の面積が小さいほど絞り値を小さくする。
　また、入力画像上の顔領域の画素数が少ない場合、認識用画像のサイズに縮小する際にノイズが平均化されにくくなるので、ノイズの影響が大きくなる。これに対して、絞り制御部１０４は、このような場合に、絞り値を小さくすることにより、認識に必要とされる光量を確保できる。
　また、絞り制御部１０４は、ステップＳ４０４において、少なくともステップＳ４０３で設定される絞り値より小さい絞り値を設定すればよい。
　また、ここでは一つの閾値を用いて、絞り値を変更する例を述べたが、複数の閾値を用いてもよい。例えば、絞り制御部１０４は、顔領域の面積が第１面積閾値以上の場合に絞り値を大きくし、顔領域の面積が、第１面積閾値より小さい第２面積値未満の場合に絞り値を小さくし、顔領域の面積が第１面積閾値と第２面積閾値との間の場合に絞り値を変更しなくてもよい。また、絞り制御部１０４は、顔領域の面積と複数の面積閾値との大小に応じて、絞り値の変化量を変更してもよい。
　次に、絞り制御部１０４による顔領域の入光量に基づく、絞り値の制御処理について説明する。図１５は、顔領域の入光量に基づく、絞り値の制御処理のフローチャートである。
　図１５に示すように、まず、入光量算出部１１０は、処理対象の顔領域の入光量を算出する（Ｓ２２１）。ここで、入光量は入力画像の顔領域に含まれる複数の画素の輝度値の平均値とする。
　次に、絞り制御部１０４は、顔領域における入光量が入光量閾値に達しているかどうかを判定する（Ｓ２２２）。
　顔領域の入光量が入光量閾値を超えている場合（Ｓ２２２でＹｅｓ）、絞り制御部１０４は、現在の絞り値より大きい絞り値を設定する（Ｓ４０３）。
　ここで、絞り値が大きければ大きいほど被写界深度は深くなるため、認識範囲を広げることができる。よって、絞り制御部１０４は、入光量閾値近くになるまで絞り値を大きくすることが望ましい。つまり、絞り制御部１０４は、入光量が大きいほど絞り値を大きくする。
　例えば、入力画像上の顔領域の入光量が大きい場合、撮像部１０１において発生するノイズの量に比べ、顔領域の各画素の信号量が大きくなる。よって、絞り値を大きくしても、認識に必要とされる光量が確保できる。このように、絞り制御部１０４は、認識に必要な光量を確保しつつ、認識範囲を広げることができる。このように、被写界深度を広げておくことで、対象物が急に移動した場合でも、顔認識処理に必要な解像度を確保しやすくできる。
　一方、顔領域の入光量が入光量閾値を超えていない場合（Ｓ２２２でＮｏ）、絞り制御部１０４は、現在の絞り値より小さい絞り値を設定する（Ｓ４０４）。絞り値が小さければ小さいほど、認識範囲を狭めるため、入光量閾値近くになるまで絞り値を大きくすることが望ましい。つまり、絞り制御部１０４は、入光量が小さいほど絞り値を小さくする。
　例えば、入力画像上の顔領域の入光量が小さい場合、撮像部１０１において発生するノイズの量に比べ、顔領域の各画素の信号量が小さくなる。よって、絞り制御部１０４は、絞り値を小さくすることで、認識に必要とされる光量を確保できる。
　また、絞り制御部１０４は、ステップＳ４０４において、少なくともステップＳ４０３で設定される絞り値より小さい絞り値を設定すればよい。
　また、ここでは一つの閾値を用いて、絞り値を変更する例を述べたが、複数の閾値を用いてもよい。例えば、絞り制御部１０４は、顔領域の入光量が第１入光量閾値以上の場合に絞り値を大きくし、顔領域の入光量が、第１入光量閾値より小さい第２入光量値未満の場合に絞り値を小さくし、顔領域の入光量が第１入光量閾値と第２入光量閾値との間の場合に絞り値を変更しなくてもよい。また、絞り制御部１０４は、顔領域の入光量と複数の入光量閾値との大小に応じて、絞り値の変化量を変更してもよい。
　以上より、本発明の実施の形態３に係る認識用撮像装置１００Ｂは、顔領域の面積及び入光量に応じて絞り値を制御することで、認識に必要とされる光量を確保しつつ、認識が可能となる被写界深度をできるだけ深くすることができる。よって、認識用撮像装置１００Ｂは、より安定した認識が可能になる。
　また、上記説明では、顔領域の面積及び入光量の各々に応じて処理を行う例を述べたが、これらを組み合わせてもよい。つまり、絞り制御部１０４は、顔領域の面積及び入光量のうち少なくとも一つに応じて、絞り値を変更すればよい。
　また、上述した図１４及び図１５における、ステップＳ４０３及びＳ４０４において、絞り制御部１０４は、顔領域の面積及び入光量のうち少なくとも一つの値に応じて、絞り値の変更量を変更してもよい。なお、具体的な変更量の制御方法は、上述した説明と同様であればよい。
　以上、本発明の実施の形態に係る認識用撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。
　例えば、上記実施の形態では、顔を認識する場合を例に説明したが、本発明は、画像内の任意の対象物を認識する場合にも適用できる。
　また、上記実施の形態１～実施の形態３において、露出時間、合焦位置及び絞り値を制御する例を個別に説明したが、これらを組み合わせたものも本発明に含まれる。つまり、本発明に係る認識撮像装置は、上述した露出制御部１０２、合焦位置制御部１０３及び絞り制御部１０４のうち２以上を備えてもよい。
　例えば、図７に示す処理において、シャッタースピードを変更しない場合（Ｓ２３１でＮｏかつＳ２３２でＮｏ）に、合焦位置又は絞り値を変更してもよい。
　また、この場合、露出時間、合焦位置及び絞り値に用いる面積閾値は、それぞれ異なってもよい。同様に、露出時間、合焦位置及び絞り値に用いる速度閾値も、それぞれ異なってもよいし、露出時間、合焦位置及び絞り値に用いる入光量閾値も、それぞれ異なってもよい。
　また、上記実施の形態に係る認識用撮像装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、本発明の実施の形態に係る、認識用撮像装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
　例えば、上記認識用撮像装置１００、１００Ａ及び１００Ｂに含まれる処理部のうち、撮像部１０１以外の機能を、ＣＰＵ等のプロセッサがプログラムを実行することにより実現できる。
　さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、上記実施の形態１～３に係る、認識用撮像装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。
　また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
　また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　例えば、図７に示す処理では、ステップＳ２０１及びＳ２２１の順序は任意の順序でよい。また、ステップＳ２３１及びＳ２３２の順序は任意の順序でよい。
　更に、本発明の主旨を逸脱しない限り、上記実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
　本発明は、認識用撮像装置及びその制御方法に適用できる。また、本発明は、認識用撮像装置を備える、デジタルスチルカメラ、デジタルビデオカメラ、ネットワークカメラ、及びセキュリティカメラ等のカメラに適用できる。
　１００、１００Ａ、１００Ｂ　　認識用撮像装置
　１０１　　撮像部
　１０２　　露出制御部
　１０３　　合焦位置制御部
　１０４　　絞り制御部
　１０５　　顔認識部
　１０６　　顔追跡部
　１０７　　顔認識結果記憶部
　１０８　　移動速度算出部
　１０９　　面積算出部
　１１０　　入光量算出部
　１１２　　レンズ
　１１３　　レンズ駆動装置
　１１４　　絞り装置
　１１５　　シャッター装置
　１１６　　撮像素子
　１１７　　ＡＤ変換器
　１２０　　入力画像
　１２１　　顔認識結果
　１２２　　顔追跡結果
　１２３　　顔特徴情報

Claims (18)

  1. 　対象物を撮像することにより順次複数の画像を生成する撮像部と、
    　前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、
    　前記複数の画像間において前記対象物領域を追跡する追跡部とを有する認識用撮像装置であって、
    　前記対象物領域の面積を算出する面積算出部と、
    　前記面積が第１閾値未満の場合、前記撮像部における露出時間を第１露出時間に設定し、前記面積が前記第１閾値以上の場合、前記露出時間を前記第１露出時間より長い第２露出時間に設定する露出制御部とを備える
    　認識用撮像装置。
  2. 　前記認識用撮像装置は、さらに、
    　前記対象物領域の移動速度を算出する移動速度算出部を備え、
    　前記露出制御部は、さらに、前記移動速度が第２閾値未満の場合、前記露出時間を第３露出時間に設定し、前記移動速度が前記第２閾値以上の場合、前記露出時間を前記第３露出時間より短い第４露出時間に設定する
    　請求項１に記載の認識用撮像装置。
  3. 　前記認識用撮像装置は、さらに、
    　前記対象物領域における入光量を算出する入光量算出部を備え、
    　前記露出制御部は、前記面積に比例し、かつ、前記入光量に比例する認識用入光量が第３閾値以上の場合、前記撮像部における露出時間を第５露出時間に設定し、前記認識用入光量が前記第３閾値未満の場合、前記露出時間を前記第５露出時間より長い第６露出時間に設定する
    　請求項１に記載の認識用撮像装置。
  4. 　前記露出制御部は、前記面積に比例し、かつ、前記対象物領域におけるブレ量に反比例する認識用解像度が第４閾値未満の場合、前記露出時間を前記第１露出時間に設定し、前記認識用解像度が前記第４閾値以上の場合、前記露出時間を前記第２露出時間に設定する
    　請求項１に記載の認識用撮像装置。
  5. 　対象物を撮像することにより順次複数の画像を生成する撮像部と、
    　前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、
    　前記複数の画像間において前記対象物領域を追跡する追跡部とを有する認識用撮像装置であって、
    　前記対象物領域の面積を算出する面積算出部と、
    　前記面積が第１閾値未満の場合、当該認識用撮像装置の合焦位置を第１位置に設定し、前記面積が前記第１閾値以上の場合、前記合焦位置を、前記第１位置より前記対象物から離れた第２位置に設定する合焦位置制御部とを備える
    　認識用撮像装置。
  6. 　前記合焦位置制御部は、前記面積に比例し、かつ、前記対象物領域におけるボケ量に反比例する認識用解像度が第２閾値未満の場合、前記合焦位置を前記第１位置に設定し、前記認識用解像度が前記第２閾値以上の場合、前記合焦位置を前記第２位置に設定する
    　請求項５に記載の認識用撮像装置。
  7. 　対象物を撮像することにより順次複数の画像を生成する撮像部と、
    　前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識部と、
    　前記複数の画像間において前記対象物領域を追跡算出する追跡部とを有する認識用撮像装置であって、
    　前記対象物領域の面積を算出する面積算出部と、
    　前記面積が第１閾値未満の場合、絞り値を第１絞り値に設定し、前記面積が前記第１閾値以上の場合、前記絞り値を前記第１絞り値より大きい第２絞り値に設定する絞り制御部とを備える
    　認識用撮像装置。
  8. 　前記認識用撮像装置は、さらに、
    　前記対象物領域における入光量を算出する入光量算出部を備え、
    　前記絞り制御部は、さらに、前記入光量が第２閾値未満の場合、絞り値を第３絞り値に設定し、前記入光量が前記第２閾値以上の場合、前記絞り値を前記第３絞り値より大きい第４絞り値に設定する
    　請求項７に記載の認識用撮像装置。
  9. 　前記絞り制御部は、前記面積に比例し、かつ、前記入光量に比例する認識用入光量が第３閾値未満の場合、前記絞り値を前記第１絞り値に設定し、前記認識用入光量が前記第２閾値以上の場合、前記絞り値を前記第２絞り値に設定する
    　請求項８に記載の認識用撮像装置。
  10. 　対象物を撮像することにより順次複数の画像を生成する撮像部を備える認識用撮像装置の制御方法であって、
    　前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識ステップと、
    　前記複数の画像間において前記対象物領域を追跡する追跡ステップと、
    　前記対象物領域の面積を算出する面積算出ステップと、
    　前記面積が第１閾値未満の場合、前記撮像部における露出時間を第１露出時間に設定し、前記面積が前記第１閾値以上の場合、前記露出時間を前記第１露出時間より長い第２露出時間に設定する露出制御ステップとを含む
    　認識用撮像装置の制御方法。
  11. 　対象物を撮像することにより順次複数の画像を生成する撮像部を備える認識用撮像装置の制御方法であって、
    　前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識ステップと、
    　前記複数の画像間において前記対象物領域を追跡する追跡ステップと、
    　前記対象物領域の面積を算出する面積算出ステップと、
    　前記面積が第１閾値未満の場合、前記認識用撮像装置の合焦位置を第１位置に設定し、前記面積が前記第１閾値以上の場合、前記合焦位置を、前記第１位置より前記対象物から離れた第２位置に設定する合焦位置制御ステップとを含む
    　認識用撮像装置の制御方法。
  12. 　対象物を撮像することにより順次複数の画像を生成する撮像部を備える認識用撮像装置の制御方法であって、
    　前記複数の画像の各々において、当該画像内で対象物が撮像されている領域である対象物領域を認識する対象物認識ステップと、
    　前記複数の画像間において前記対象物領域を追跡する追跡ステップと、
    　前記対象物領域の面積を算出する面積算出ステップと、
    　前記面積が第１閾値未満の場合、絞り値を第１絞り値に設定し、前記面積が前記第１閾値以上の場合、前記絞り値を前記第１絞り値より大きい第２絞り値に設定する絞り制御ステップとを含む
    　認識用撮像装置の制御方法。
  13. 　請求項１０記載の認識用撮像装置の制御方法をコンピュータに実行させるための
    　プログラム。
  14. 　請求項１１記載の認識用撮像装置の制御方法をコンピュータに実行させるための
    　プログラム。
  15. 　請求項１２記載の認識用撮像装置の制御方法をコンピュータに実行させるための
    　プログラム。
  16. 　請求項１記載の前記撮像部と、前記対象物認識部と、前記追跡部と、前記面積算出部と、前記露出制御部とを備える
    　半導体集積回路。
  17. 　請求項５記載の前記撮像部と、前記対象物認識部と、前記追跡部と、前記面積算出部と、前記合焦位置制御部とを備える
    　半導体集積回路。
  18. 　請求項７記載の前記撮像部と、前記対象物認識部と、前記追跡部と、前記面積算出部と、前記絞り制御部とを備える
    　半導体集積回路。
PCT/JP2010/006900 2009-12-01 2010-11-26 認識用撮像装置及びその制御方法 WO2011067906A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011544185A JP5400171B2 (ja) 2009-12-01 2010-11-26 認識用撮像装置及びその制御方法
CN201080006206.5A CN102301693B (zh) 2009-12-01 2010-11-26 识别用摄像装置以及其控制方法
US13/147,207 US8860875B2 (en) 2009-12-01 2010-11-26 Imaging device for recognition and method of controlling the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-273070 2009-12-01
JP2009273070 2009-12-01

Publications (1)

Publication Number Publication Date
WO2011067906A1 true WO2011067906A1 (ja) 2011-06-09

Family

ID=44114769

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006900 WO2011067906A1 (ja) 2009-12-01 2010-11-26 認識用撮像装置及びその制御方法

Country Status (4)

Country Link
US (1) US8860875B2 (ja)
JP (1) JP5400171B2 (ja)
CN (1) CN102301693B (ja)
WO (1) WO2011067906A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170131657A (ko) * 2015-08-19 2017-11-29 구글 엘엘씨 통합 메모리 및 프로세서를 갖는 스마트 이미지 센서
JP2019102847A (ja) * 2017-11-28 2019-06-24 株式会社ザクティ 画像処理装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5412953B2 (ja) * 2009-05-20 2014-02-12 リコーイメージング株式会社 撮像装置
US8854397B2 (en) * 2011-12-13 2014-10-07 Facebook, Inc. Photo selection for mobile devices
US9724597B2 (en) * 2012-06-04 2017-08-08 Sony Interactive Entertainment Inc. Multi-image interactive gaming device
CN103024165B (zh) * 2012-12-04 2015-01-28 华为终端有限公司 一种自动设置拍摄模式的方法和装置
US10306125B2 (en) 2014-10-09 2019-05-28 Belkin International, Inc. Video camera with privacy
US9179105B1 (en) 2014-09-15 2015-11-03 Belkin International, Inc. Control of video camera with privacy feedback
US9628720B2 (en) * 2015-08-12 2017-04-18 Qualcomm Incorporated System and method to control an imaging process
US10713501B2 (en) * 2015-08-13 2020-07-14 Ford Global Technologies, Llc Focus system to enhance vehicle vision performance
JP6800871B2 (ja) * 2015-10-16 2020-12-16 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、および記録媒体
JP6839089B2 (ja) * 2015-10-16 2021-03-03 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法、および記録媒体
CN106131518A (zh) * 2016-06-30 2016-11-16 东莞市中控电子技术有限公司 一种图像处理的方法以及图像处理装置
JP6364698B2 (ja) * 2016-09-30 2018-08-01 三菱重工機械システム株式会社 合焦位置調整装置、合焦位置調整システム、プログラム、および合焦位置調整方法
WO2019069905A1 (ja) * 2017-10-04 2019-04-11 Ｎｅｃソリューションイノベータ株式会社 情報処理装置、制御方法、及びプログラム
CN110786001B (zh) * 2018-11-28 2022-06-10 深圳市大疆创新科技有限公司 拍摄方法和拍摄系统
JP7331483B2 (ja) * 2019-06-18 2023-08-23 株式会社アイシン 撮像制御装置
CN117544851A (zh) * 2021-07-31 2024-02-09 华为技术有限公司 拍摄方法及相关装置
CN114596597A (zh) * 2022-04-12 2022-06-07 深圳市汇顶科技股份有限公司 指纹识别的方法、装置和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2006208626A (ja) * 2005-01-27 2006-08-10 Sony Corp オートフォーカス制御装置、オートフォーカス制御方法および撮像装置
JP2008233470A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 絞り制御装置及び画像処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040207743A1 (en) * 2003-04-15 2004-10-21 Nikon Corporation Digital camera system
WO2005006072A1 (ja) * 2003-07-15 2005-01-20 Omron Corporation 対象決定装置及び撮像装置
JP4434939B2 (ja) * 2004-12-27 2010-03-17 キヤノン株式会社 撮像装置及びその制御方法
JP4767595B2 (ja) 2005-06-15 2011-09-07 パナソニック株式会社 対象物検出装置及びその学習装置
JP2007094535A (ja) 2005-09-27 2007-04-12 Konica Minolta Photo Imaging Inc 認証システム及び認証方法
JP4172507B2 (ja) * 2006-07-13 2008-10-29 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US20080136958A1 (en) * 2006-12-11 2008-06-12 Pentax Corporation Camera having a focus adjusting system and a face recognition function
JP5053731B2 (ja) * 2007-07-03 2012-10-17 キヤノン株式会社 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体
JP4518157B2 (ja) * 2008-01-31 2010-08-04 カシオ計算機株式会社 撮像装置及びそのプログラム
JP4539729B2 (ja) * 2008-02-15 2010-09-08 ソニー株式会社 画像処理装置、カメラ装置、画像処理方法、およびプログラム
US8300117B2 (en) * 2008-03-28 2012-10-30 Fuji Xerox Co., Ltd. System and method for exposing video-taking heuristics at point of capture
JP4582212B2 (ja) * 2008-06-24 2010-11-17 カシオ計算機株式会社 撮像装置及びプログラム
KR101539043B1 (ko) * 2008-10-31 2015-07-24 삼성전자주식회사 인물 구도 제안 영상 촬영 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004320287A (ja) * 2003-04-15 2004-11-11 Nikon Gijutsu Kobo:Kk デジタルカメラ
JP2006208626A (ja) * 2005-01-27 2006-08-10 Sony Corp オートフォーカス制御装置、オートフォーカス制御方法および撮像装置
JP2008233470A (ja) * 2007-03-20 2008-10-02 Sanyo Electric Co Ltd 絞り制御装置及び画像処理装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170131657A (ko) * 2015-08-19 2017-11-29 구글 엘엘씨 통합 메모리 및 프로세서를 갖는 스마트 이미지 센서
JP2018525853A (ja) * 2015-08-19 2018-09-06 グーグル エルエルシー 一体化されたメモリおよびプロセッサを有するスマートイメージセンサ
US10129477B2 (en) 2015-08-19 2018-11-13 Google Llc Smart image sensor having integrated memory and processor
KR101953813B1 (ko) * 2015-08-19 2019-03-04 구글 엘엘씨 통합 메모리 및 프로세서를 갖는 스마트 이미지 센서
US10547779B2 (en) 2015-08-19 2020-01-28 Google Llc Smart image sensor having integrated memory and processor
JP2019102847A (ja) * 2017-11-28 2019-06-24 株式会社ザクティ 画像処理装置
JP6992947B2 (ja) 2017-11-28 2022-01-13 株式会社ザクティ 画像処理装置

Also Published As

Publication number Publication date
CN102301693A (zh) 2011-12-28
JP5400171B2 (ja) 2014-01-29
US20110285897A1 (en) 2011-11-24
US8860875B2 (en) 2014-10-14
JPWO2011067906A1 (ja) 2013-04-18
CN102301693B (zh) 2014-09-24

Similar Documents

Publication Publication Date Title
JP5400171B2 (ja) 認識用撮像装置及びその制御方法
JP5335302B2 (ja) 焦点検出装置及びその制御方法
US10650526B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
US9131145B2 (en) Image pickup apparatus and control method therefor
US10511781B2 (en) Image pickup apparatus, control method for image pickup apparatus
JP5446076B2 (ja) デジタルカメラ
JP6202860B2 (ja) 撮像装置及び撮像方法
US11159711B2 (en) Image-capturing apparatus
JP2010122301A (ja) フォーカス制御装置、およびフォーカス制御方法
US11277554B2 (en) Control apparatus, imaging apparatus, control method, and storage medium
US20100171836A1 (en) Image capturing apparatus, control method thereof, and program
JP6139960B2 (ja) 撮像装置およびその制御方法
JP5873336B2 (ja) 焦点調節装置
US10747089B2 (en) Imaging apparatus and control method of the same
JP5698499B2 (ja) フォーカス調整装置及び撮像装置
JP4981758B2 (ja) 焦点調節装置及び方法
JP2013160925A (ja) 撮像装置およびフォーカス制御方法
WO2014189047A1 (ja) 撮像装置およびオートフォーカス制御方法
CN114762313B (zh) 图像处理方法、装置、存储介质及电子设备
US11012609B2 (en) Image pickup apparatus and its control method, and storage medium
US12063437B2 (en) Control apparatus, image capturing apparatus, control method, and memory medium
JP2013142728A (ja) 焦点調節装置
US11595562B2 (en) Image processing apparatus, control method thereof, and storage medium
US20240070877A1 (en) Image processing apparatus, method for controlling the same, imaging apparatus, and storage medium
US20240098366A1 (en) Focus control apparatus, image pickup apparatus, and focus control method

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080006206.5

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2011544185

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10834362

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13147207

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10834362

Country of ref document: EP

Kind code of ref document: A1