WO2015156045A1 - 画像処理装置、撮像装置および撮像方法 - Google Patents

画像処理装置、撮像装置および撮像方法 Download PDF

Info

Publication number
WO2015156045A1
WO2015156045A1 PCT/JP2015/055376 JP2015055376W WO2015156045A1 WO 2015156045 A1 WO2015156045 A1 WO 2015156045A1 JP 2015055376 W JP2015055376 W JP 2015055376W WO 2015156045 A1 WO2015156045 A1 WO 2015156045A1
Authority
WO
WIPO (PCT)
Prior art keywords
image signal
image
signal corresponding
face area
region
Prior art date
Application number
PCT/JP2015/055376
Other languages
English (en)
French (fr)
Inventor
星野　和弘
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2015156045A1 publication Critical patent/WO2015156045A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals

Definitions

  • the present technology relates to an image processing device, an imaging device, and an imaging method.
  • the present invention relates to an imaging device used for a surveillance camera, a processing method in these, and a program for causing a computer to execute the method.
  • An imaging device used for a surveillance camera is required to have sufficient ability to collect information because it is necessary to identify a person by finding a suspicious person.
  • the face and the torso are required to collect different information.
  • information regarding facial features is required. This is for specifying a person.
  • the body region information on the color of clothes is required. This is to identify the suspicious person.
  • the characteristics of the body part are not so important information.
  • different information is required for the face and the body, and different processes are required.
  • the same processing is performed on the face region and the body region, and there is a problem in that necessary information cannot be collected in a low illumination environment.
  • This technology was created in view of such a situation, and aims to enhance the ability to collect information for suspicious persons, etc. even in a low light environment.
  • the present technology has been made to solve the above-described problems.
  • the first aspect of the present technology includes a face area detection unit that detects a human face area from an image signal, and a human torso area from the image signal.
  • a body region detection unit that detects an image signal corresponding to the detected face signal, a face region image processing unit that processes the image signal corresponding to the detected face region, and the image signal corresponding to the detected body region
  • Corresponding to the torso area image processing unit that performs processing different from the processing of the image signal corresponding to the face area, and the image signal corresponding to the processed face area and the processed torso area
  • An image processing apparatus including a combining unit that combines the image signal. This brings about the effect that the face area and the body area are processed differently.
  • the face area image processing unit includes a luminance signal conversion unit that converts the image signal corresponding to the face area into a luminance signal corresponding to the face area, and the combining unit converts The luminance signal corresponding to the face region thus processed may be combined with the image signal corresponding to the processed body region.
  • the face area image processing unit removes noise by attenuating a high frequency component of the image signal belonging to the same frame from the image signal corresponding to the face area.
  • a processing unit may be provided. As a result, the noise is removed by the two-dimensional noise reduction processing unit.
  • the body region image processing unit includes a luminance and color signal conversion unit that converts the image signal corresponding to the body region into a luminance signal and a color signal, and the combining unit
  • the luminance signal and the color signal corresponding to the converted body region may be combined with the converted image signal corresponding to the face region.
  • the image signal corresponding to the body region is converted into a luminance signal and a color signal.
  • the body region image processing unit removes noise using the image signals belonging to a plurality of continuous frames from the image signal corresponding to the body region. May be provided. As a result, the noise is removed by the three-dimensional noise reduction processing unit.
  • the image processing apparatus further includes a motion image detection unit that detects an image signal corresponding to a region where there is motion from the image signal, and the detection in the face region detection unit is performed by the motion image detection unit.
  • the face region further includes a person region detection unit that detects an image signal corresponding to a person from the image signal corresponding to a region having a motion detected by the motion image detection unit.
  • the detection in the detection unit is detection of an image signal corresponding to a human face region from the image signal corresponding to the person detected by the person region detection unit, and the detection in the trunk region detection unit is performed by the person
  • the image signal corresponding to the human body region may be detected from the image signal corresponding to the person detected by the region detection unit. This brings about the effect that the face area and the body area are detected from the image signal corresponding to the person.
  • the image signal includes an image signal generated from infrared light
  • the detection in the face area detection unit is performed from the image signal generated from infrared light. Detection of an image signal corresponding to the above may be used. This brings about the effect
  • the image signal further includes the image signal generated from white light
  • the detection in the face area detection unit includes the image signal generated from infrared light and white light.
  • the image signal corresponding to the face area may be detected from the image signal generated from. This brings about the effect
  • a second aspect of the present technology provides an image sensor in which pixels that generate an image signal of a subject are two-dimensionally arranged, and a face area detection unit that detects an image signal corresponding to a person's face area from the image signal.
  • a torso area detecting unit for detecting an image signal corresponding to a torso area of a person from the image signal, a face area image processing unit for processing the image signal corresponding to the detected face area, and
  • a body region image processing unit that performs processing different from the processing of the image signal corresponding to the face region on the image signal corresponding to the body region; and the image signal corresponding to the processed face region;
  • An image processing apparatus including: an image processing apparatus including a combining unit that combines the image signal corresponding to the processed body region. This brings about the effect that the face area and the body area are processed differently.
  • the second aspect further includes an autofocus control unit that detects a peak of the contrast evaluation value separated from the image signal corresponding to the detected face region and performs autofocus control on the subject. Also good. This brings about the effect that autofocus control is performed by the image signal corresponding to the detected face area.
  • the second aspect further includes an autofocus control unit that detects a peak of a contrast evaluation value separated from the image signal corresponding to the processed face area and performs autofocus control on the subject. Also good. This brings about the effect that autofocus control is performed by the image signal corresponding to the processed face area.
  • a face area detection procedure for detecting an image signal corresponding to a human face area from an image signal of a subject, and an image signal corresponding to a human torso area from the image signal are detected.
  • a body region detection procedure, a face region image processing procedure for processing the image signal corresponding to the detected face region, and a face region corresponding to the detected image signal corresponding to the body region A body region image processing procedure for performing processing different from the processing of the image signal, and a combining procedure for combining the image signal corresponding to the processed face region and the image signal corresponding to the processed body region
  • An imaging method comprising: This brings about the effect that the face area and the body area are processed differently.
  • First embodiment an example using an image sensor having RGB pixels that also output an image signal corresponding to infrared light
  • Second embodiment an example using an image sensor provided with IR pixels corresponding to infrared light
  • FIG. 1 is a diagram illustrating a configuration example of the imaging device according to the first embodiment of the present technology.
  • the imaging apparatus 100 in FIG. 1 includes a lens 101, a lens driving unit 102, an AF control unit 103, an image output unit 104, an infrared light irradiation unit 105, an image processing device 110, and an imaging element 200. .
  • the lens 101 optically forms a subject on the image sensor 200.
  • the lens driving unit 102 adjusts the focus by moving the lens 101 in the optical axis direction.
  • the image sensor 200 converts an optical image formed by the lens 101 into an image signal and outputs the image signal.
  • pixels that generate image signals are two-dimensionally arranged on a surface on which an optical image is formed. This pixel includes three types of pixels corresponding to red light, green light, and blue light (hereinafter referred to as R pixel, G pixel, and B pixel, respectively). These pixels are arranged in a general Bayer array type.
  • the image sensor 200 includes an A / D converter and outputs an image signal converted into a digital signal. This image signal includes signals corresponding to R, G, and B pixels, and an image signal for one screen is output according to a predetermined frame frequency.
  • the imaging device 200 is assumed to be an imaging device including pixels including a color filter that transmits infrared light. This is because the R, G, and B pixels of the image sensor 200 can also detect infrared light.
  • R, G, and B pixels in a general image sensor include color filters that transmit only red light, green light, and blue light and block infrared light, respectively, as color filters.
  • the monitoring device uses an image sensor that includes a color filter that transmits infrared light and can detect infrared light. This is to perform photographing with infrared light at night.
  • the infrared cut filter can be mounted on the front surface of the image sensor, and the infrared cut filter is mounted and used during daytime shooting.
  • an image sensor including pixels having a color filter that transmits infrared light is used, and an infrared cut filter is used as the image sensor.
  • the image signals corresponding to the R, G, and B pixels of the image sensor 200 include image signals generated from infrared light.
  • the image processing apparatus 110 processes and outputs the image signal output from the image sensor 200.
  • the image processing apparatus 110 controls the overall operation of the imaging apparatus 100.
  • the image output unit 104 outputs the image signal output from the image processing apparatus 110 to the outside of the imaging apparatus 100.
  • the AF control unit 103 moves the lens 101 in the optical axis direction via the lens driving unit 102 to perform auto focus (AF) control.
  • the AF control unit 103 can use, for example, a contrast autofocus (contrast AF) method as an AF control method.
  • a contrast autofocus (contrast AF) method a high-frequency component is extracted from an image signal and used as a contrast evaluation value.
  • the contrast evaluation value is sampled while moving the lens 101, and the position of the lens 101 where the maximum value is obtained is set as the focus position.
  • contrast AF control is performed based on a face area image signal output from a face area image processing unit 120 described later.
  • the AF control unit 103 may perform contrast AF control based on the image signal of the face area output from the face area detection unit 113 described later.
  • the infrared light irradiation unit 105 irradiates the subject with infrared light.
  • the infrared light irradiation unit 105 is controlled by the image processing apparatus 110. By irradiating infrared light at the time of dark place photography and detecting the infrared light in the image sensor 200 and generating an image signal, it is possible to perform imaging without the suspicious person being aware of the presence of the surveillance camera. .
  • the image processing apparatus 110, the AF control unit 103, and the image output unit 104 can be configured by a CPU or DSP, a memory such as a ROM and a RAM, and hardware including these peripheral circuits. .
  • the image processing apparatus 110 is an example of an image processing apparatus described in the claims.
  • the image sensor 200 is an example of an image sensor described in the claims.
  • the AF control unit 103 is an example of an autofocus control unit described in the claims.
  • FIG. 2 is a diagram illustrating a configuration example of the image processing apparatus 110 according to the first embodiment of the present technology.
  • the image processing apparatus 110 includes a motion image detection unit 111, a person region detection unit 112, a face region detection unit 113, a face region image processing unit 120, a body region detection unit 114, a body region image processing unit 140, And a combining unit 117.
  • the motion image detection unit 111 detects a region where there is motion from the image signal output from the image sensor 200 and outputs an image signal of the region.
  • the motion image detection unit 111 starts detecting a region with motion.
  • a background subtraction method can be used to detect the region where the motion exists.
  • the background difference method is a method in which a background image without an object to be detected is prepared in advance and is detected by taking the difference between the current image and the background image. Normally, when a suspicious person or the like enters the monitoring area, it involves movement. For this reason, the detection capability of a suspicious person etc. can be improved by providing the motion image detection part 111 and detecting the area
  • the person area detection unit 112 detects whether or not the area with motion output from the motion image detection unit 111 is a person image, and outputs an image signal of the area.
  • the person image can be detected by, for example, using a method of holding a person's silhouette as a database and determining whether or not the person is a person by comparing the silhouette and the current image.
  • the image signal corresponding to the region with motion output from the motion image detection unit 111 includes animals and the like.
  • the person area detection unit 112 can determine whether the person is a person and can exclude image signals other than the person. Thereby, the burden in the subsequent process can be reduced.
  • the face area detection unit 113 detects a face area from the image signal corresponding to the area of the person image output from the person area detection unit 112, and outputs the image signal of the area.
  • the detection of the face area can be performed using various methods such as a support vector method and a template matching method.
  • the body region detection unit 114 detects the body region from the image signal corresponding to the region of the person image output from the person region detection unit 112, and outputs the image signal of the region.
  • the body region is detected as follows, for example.
  • the face area detected by the face area detection unit 113 is analyzed, and the area where the body exists is estimated from the inclination of the face. Thereafter, assuming the ratio of the area of the face area and the body area to be 20% and 80%, respectively, the size of the body area is estimated.
  • FIG. 3 is a diagram illustrating a configuration example of the face area image processing unit according to the first embodiment of the present technology.
  • the face area image processing unit 120 performs image processing of the face area.
  • the face area image processing unit 120 includes a Y conversion processing unit 121 and a two-dimensional noise reduction processing unit 122.
  • the Y conversion processing unit 121 converts the face area image signal output from the face area detection unit 113 into a luminance signal.
  • the image signal corresponding to the R, G, and B pixels includes a signal corresponding to infrared light. Therefore, these image signals can be used as luminance signals.
  • the two-dimensional noise reduction processing unit 122 removes superimposed noise from the luminance signal output from the Y conversion processing unit 121.
  • the two-dimensional noise reduction processing unit removes noise by attenuating high-frequency components of image signals belonging to the same frame.
  • FIG. 4 is a diagram illustrating a two-dimensional noise reduction process according to the first embodiment of the present technology.
  • a case where an epsilon filter is used as a two-dimensional noise reduction process is illustrated.
  • a luminance signal is input as an input signal.
  • the subtractor 132 subtracts this high frequency component from the input signal. Thereby, noise is removed.
  • other two-dimensional noise reduction processing for example, processing using a bilateral filter or processing using smoothing may be used.
  • the face area image processing unit 120 can add edge detection and edge enhancement processing to increase the resolution of the face area.
  • the face area image processing unit 120 performs Y conversion processing and two-dimensional noise reduction processing using an image signal corresponding to infrared light. Thereby, even in a low illumination environment, an image with a high resolution can be obtained for the face region.
  • FIG. 5 is a diagram illustrating a configuration example of the trunk region image processing unit according to the first embodiment of the present technology.
  • the body region image processing unit 140 performs image processing of the body region.
  • the body region image processing unit 140 includes a correction processing unit 141, an interpolation processing unit 142, a YC conversion processing unit 143, a two-dimensional noise reduction processing unit 144, and a three-dimensional noise reduction processing unit 145.
  • the correction processing unit 141 performs correction processing on the image signal.
  • This correction processing includes white balance adjustment and gamma correction.
  • the white balance adjustment is a process for adjusting the image signals corresponding to the R, G, and B pixels for the white subject to have the same signal level.
  • image signals corresponding to R, G, and B pixels are corrected along a gamma curve.
  • the interpolation processing unit 142 performs interpolation processing on the image signal output from the correction processing unit 141.
  • This interpolation process is a process of generating image signals for other colors that the respective pixels do not have for the R, G, and B pixels. With this process, the resolution of the image signal in the body region can be made equal to the resolution of the pixel in the image sensor 200.
  • the interpolation process will be described with reference to FIG.
  • FIG. 6 is a diagram illustrating an example of the interpolation processing according to the first embodiment of the present technology.
  • This figure shows the arrangement of pixels in the Bayer array format in the image sensor 200, and the symbols R, G, and B in the figure represent R, G, and B pixels, respectively.
  • “a” is an example in the case of interpolating an image signal corresponding to green for the B pixel 201.
  • the average value of the image signals of the upper, lower, left, and right G pixels of the B pixel 201 is defined as an image signal corresponding to green in the B pixel 201.
  • FIG. 6B shows an example in the case of interpolating an image signal corresponding to red for the B pixel 201.
  • An average value of image signals of R pixels adjacent to the B pixel 201 in the oblique direction is set as an image signal corresponding to red in the B pixel 201.
  • FIG. 6C shows an example in the case of interpolating an image signal corresponding to red for the G pixel 202.
  • the average value of the image signals of the right and left R pixels of the G pixel 202 is set as an image signal corresponding to green in the G pixel 202.
  • d is an example in the case of interpolating an image signal corresponding to blue with respect to the G pixel 202.
  • the average value of the image signals of the B pixels above and below the G pixel 202 is set as an image signal corresponding to blue in the G pixel 202. In this way, the interpolation process is performed on the image signal of the body region.
  • the YC conversion processing unit 143 converts the image signal corresponding to the R, G, and B pixels from the image signal of the body region output from the interpolation processing unit 142 into a luminance signal and a color signal.
  • the conversion is performed by calculating image signals corresponding to R, G, and B pixels. This calculation is performed as follows.
  • Y 0.29891 ⁇ R + 0.58661 ⁇ G + 10.1448 ⁇ B
  • Cb and Cr represent color difference signals (color signals).
  • R, G, and B represent image signals corresponding to the R pixel, G pixel, and B pixel, respectively.
  • the body region image processing unit 140 is different from the face region image processing unit 120 in that color signal conversion is performed. This is for specifying the color and pattern of clothes such as suspicious persons. Since the image signals corresponding to the R, G, and B pixels include image signals for infrared light, the color signal described above is a signal whose hue is shifted in the red direction.
  • the two-dimensional noise reduction processing unit 144 removes superimposed noise from the luminance signal and color signal output from the YC conversion processing unit 143.
  • the configuration of the two-dimensional noise reduction processing unit 144 can be the same as that of the two-dimensional noise reduction processing unit 122 described with reference to FIG.
  • the three-dimensional noise reduction processing unit 145 further performs noise removal on the luminance signal and the color signal output from the two-dimensional noise reduction processing unit 144. In this three-dimensional noise reduction process, noise is removed using image signals belonging to a plurality of consecutive frames.
  • FIG. 7 is a diagram illustrating the three-dimensional noise reduction process according to the first embodiment of the present technology.
  • An image signal 146 in the figure is an image signal corresponding to the body region. Image signals corresponding to the body regions of successive frames are added by an adder 147. Thereafter, the divider 148 divides by K which is the number of added image signals. Thereby, noise components generated at random are averaged to remove noise.
  • the three-dimensional noise reduction process has a property that the effect of noise removal increases as the number K of images to be added increases, and has a higher noise removal capability than the two-dimensional noise reduction process.
  • the three-dimensional noise reduction process is performed on a moving image, there is a problem that the image quality is deteriorated, for example, the image is blurred. However, with respect to the fuselage area, if color reproduction is possible, a slight deterioration in quality can be tolerated, which is not a problem.
  • the body region image processing unit 140 performs processing such as YC conversion processing and three-dimensional noise reduction processing on the image signal. Thereby, even in a low illumination environment, colors can be reproduced for the body region.
  • the synthesizing unit 117 synthesizes the image of the face area and the image of the torso area that are separately processed.
  • the synthesizing unit 117 superimposes the face area image output from the face area image processing unit 120 and the torso area image output from the torso area image processing unit 140 on the face and torso positions of the background image.
  • the background image is an image composed of image signals that are not subjected to processing specialized for the face region and the body region described above. That is, the background image is configured by image signals (luminance signal and color signal) obtained by performing correction (white balance adjustment, gamma correction) and YC conversion processing on the image signal output from the image sensor 200.
  • the face area image output by the face area image processing unit 120 is superimposed on the face portion of the background image.
  • the body region image output from the body region image processing unit 140 is superimposed on the body portion of the background image.
  • the motion image detection unit 111 is an example of the motion image detection unit described in the claims.
  • the person area detection unit 112 is an example of a person area detection unit described in the claims.
  • the face area detection unit 113 is an example of a face area detection unit described in the claims.
  • the face area image processing unit 120 is an example of a face area image processing unit described in the claims.
  • the body region detection unit 114 is an example of a body region detection unit described in the claims.
  • the body region image processing unit 140 is an example of a body region image processing unit described in the claims.
  • the synthesizing unit 117 is an example of a synthesizing unit described in the claims.
  • the Y conversion processing unit 121 is an example of a luminance signal conversion unit described in the claims.
  • the two-dimensional noise reduction processing unit 122 is an example of a two-dimensional noise reduction processing unit described in the claims.
  • the YC conversion processing unit 143 is an example of a luminance and color signal conversion unit described in the claims.
  • the three-dimensional noise reduction processing unit 145 is an example of a three-dimensional noise reduction processing unit described in the claims.
  • the image signals corresponding to the R, G, and B pixels are an example of an image signal generated from infrared light described in the claims.
  • FIG. 8 is a diagram illustrating an example of an image processing procedure according to the first embodiment of the present technology.
  • the image processing apparatus 110 starts processing.
  • the motion image detection unit 111 detects a region with motion (step S901).
  • an area with motion is not detected (step S902: No)
  • an image signal corresponding to the background image is output (step S905), and the process ends.
  • the person area detection unit 112 detects a person area (step S903).
  • step S904 when a person area is not detected (step S904: No), an image signal corresponding to the background image is output (step S905), and the process ends.
  • step S904: Yes the face and body area processing is performed (step S910).
  • step S910 the image signal after the face and torso area processing is output (step S905).
  • FIG. 9 is a diagram illustrating an example of a face / torso region processing procedure according to the first embodiment of the present technology.
  • the face area detection unit 113 detects a face area (step S911). As a result, when the face area is not detected (step S912: No), the process proceeds to step S914.
  • the face area image processing unit 120 performs image processing of the face area (step S913).
  • the trunk region detection unit 114 detects the trunk region (step S914). As a result, when the body region is not detected (step S915: No), the process proceeds to step S917.
  • step S915 When the trunk region is detected (step S915: Yes), the trunk region image processing unit 140 performs image processing of the trunk region (step S916). Next, the composition unit 117 performs image composition (step S917). That is, the face region image processed by the face region image processing unit 120 and the body region image processed by the body region image processing unit 140 are superimposed on the background image. Thereafter, the face / torso region process S910 is terminated, and the process returns to the original process.
  • FIG. 10 is a diagram illustrating an example of image processing according to the first embodiment of the present technology.
  • the motion image detection unit 111 performs a motion region detection process on the image signal input from the image sensor 200.
  • the person area detection unit 112 performs a person area detection process.
  • a is a diagram showing a detected person area 150.
  • the face area detection unit 113 detects the face area.
  • B in the figure is a diagram showing the detected face area 151.
  • the torso area detection unit 114 detects the torso area of the person area 150.
  • C in the figure is a diagram showing the detected body region 152.
  • the face area 151 and the torso area 152 are processed by the face area image processing unit 120 and the torso area image processing unit 140, respectively. Then, the combining unit 117 superimposes the processed face area 151 and torso area 152 on the face position and torso position of the background image 153. D in the figure shows this state.
  • an image sensor including R, G, and B pixels including a color filter that transmits infrared light is used.
  • an imaging device further including a pixel corresponding to only infrared light hereinafter referred to as an IR pixel is used.
  • FIG. 11 is a diagram illustrating an arrangement example of pixels of the imaging element according to the second embodiment of the present technology.
  • the symbols R, G and B are the same as those in FIG.
  • the IR symbol represents an IR pixel.
  • “a” is obtained by replacing one of the G pixels in the Bayer arrayed pixels with an IR pixel.
  • B in the figure is a G pixel arranged in a checkered pattern, and other pixels arranged between them.
  • C in the figure shows IR pixels arranged in a checkered pattern, and other pixels arranged therebetween.
  • d is a pixel corresponding to white light (hereinafter referred to as a W pixel, and this W pixel is represented by the symbol W in FIG.
  • This W pixel has sensitivity to light from visible light to infrared light.
  • the R, G, and B pixels in the second embodiment of the present technology include color filters that transmit infrared light, and each image signal is an image signal corresponding to infrared light. Contains.
  • the IR pixel outputs an image signal corresponding to only infrared light. Similar to the first embodiment of the present technology, the infrared cut filter is not used.
  • the other configuration of the imaging apparatus in the present embodiment is the same as that of the imaging apparatus 100 of the first embodiment described in FIG.
  • FIG. 12 is a diagram illustrating a configuration example of the face area image processing unit in the second embodiment of the present technology.
  • the face area image processing unit 120 in the figure includes an interpolation processing unit 161, a Y conversion processing unit 162, and a two-dimensional noise reduction processing unit 122.
  • the interpolation processing unit 161 performs an interpolation process on the image signal output from the image sensor 200. This interpolation processing is performed on the image signal corresponding to the IR pixel. Note that, in the second embodiment of the present technology, face area image processing is performed on an image signal corresponding to an IR pixel. Therefore, the image signal of the IR pixel is interpolated with respect to the R, G, and B pixels described in FIG.
  • the interpolation method is the same as that of the interpolation processing unit 142 according to the first embodiment of the present technology described in FIG. In the case of an image sensor having W pixels (d in FIG. 11), an image signal corresponding to the W pixel is converted into a luminance signal by a YC conversion processing unit 162 described below. Therefore, interpolation processing for the W pixel portion is unnecessary.
  • the image signal corresponding to the W pixel is an example of an image signal generated from the white light described in the claims.
  • the Y conversion processing unit 162 converts the face region image signal output from the interpolation processing unit 161 into a luminance signal.
  • the conversion is performed as follows.
  • Y IR
  • IR represents an image signal corresponding to the IR pixel.
  • the conversion is performed as follows.
  • For image signals corresponding to IR pixels: Y IR
  • For an image signal corresponding to a W pixel: Y W ⁇ (R + G + B)
  • W represents an image signal corresponding to the W pixel.
  • R, G, and B are image signals corresponding to R, G, and B pixels around the W pixel.
  • the image signal corresponding to the W pixel includes image signals corresponding to the R, G, and B pixels.
  • an image signal corresponding to infrared light can be obtained by subtracting image signals corresponding to R, G, and B pixels around the W pixel. Thereafter, the luminance signal is input to the two-dimensional noise reduction processing unit 122, and two-dimensional noise reduction processing is performed.
  • FIG. 13 is a diagram illustrating a configuration example of the trunk region image processing unit according to the second embodiment of the present technology.
  • the torso region processing unit 140 in the figure includes a correction processing unit 141, an interpolation processing unit 163, a YC conversion processing unit 164, a two-dimensional noise reduction processing unit 144, and a three-dimensional noise reduction processing unit 145.
  • Interpolation processing unit 163 performs interpolation on IR pixels in addition to R, G, and B pixels. Further, when an image sensor including W pixels is used, interpolation is also performed for W pixels. This interpolation operation is the same as that of the interpolation processing unit 142 of the first embodiment of the present technology described in FIG.
  • the YC conversion processing unit 164 converts the image signal of the body region output from the interpolation processing unit 163 into a luminance signal and a color signal.
  • the conversion is performed as follows.
  • Image signals corresponding to R, G, and B pixels include image signals corresponding to infrared light.
  • This image signal IR is an image signal corresponding to IR pixels around R, G, and B pixels. Thereafter, it is converted into a luminance signal (Y) and color signals (Cb and Cr). Since the configuration of the body region processing unit other than this in the present embodiment is the same as the configuration of the body region processing unit of the first embodiment described in FIG.
  • each of the face area and the body area Different processing can be performed.
  • the image signal corresponding to the IR pixel that is, the image signal corresponding to the infrared light
  • high color reproducibility can be obtained for the body region.
  • FIG. 14 is a diagram illustrating a configuration example of a face area image processing unit in a modification of the embodiment of the present technology.
  • the face area image processing unit 120 in the figure includes an interpolation processing unit 142, a Y conversion processing unit 166, and a two-dimensional noise reduction processing unit 122.
  • the Y conversion processing unit 166 converts the face region image signal output from the interpolation processing unit 142 into a luminance signal.
  • the image signal corresponding to the R, G, and B pixels interpolated by the interpolation processing unit 142 described in FIG. 5 is converted into a luminance signal. The conversion is performed as follows.
  • different processes can be performed on the face area and the body area.
  • a color reproduction process can be performed on the body region, and the color of the suspicious person's clothes can be acquired.
  • the ability to collect information for a suspicious person or the like can be enhanced even in a low illumination environment.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
  • this technique can also take the following structures.
  • a face area detection unit for detecting a human face area from an image signal;
  • a torso region detection unit that detects an image signal corresponding to a torso region of a person from the image signal;
  • a face area image processing unit for processing the image signal corresponding to the detected face area;
  • a torso region image processing unit that performs processing different from the processing of the image signal corresponding to the face region on the image signal corresponding to the detected torso region;
  • An image processing apparatus comprising: a combining unit that combines the image signal corresponding to the processed face area and the image signal corresponding to the processed body area.
  • the face area image processing unit includes a luminance signal conversion unit that converts the image signal corresponding to the face area into a luminance signal corresponding to the face area, The image processing apparatus according to (1), wherein the combining unit combines the luminance signal corresponding to the converted face area and the image signal corresponding to the processed body area.
  • the face region image processing unit includes a two-dimensional noise reduction processing unit that removes noise by attenuating a high-frequency component of the image signal belonging to the same frame from the image signal corresponding to the face region.
  • the image processing apparatus according to 1) or (2).
  • the body region image processing unit includes a luminance and color signal conversion unit that converts the image signal corresponding to the body region into a luminance signal and a color signal, The synthesizing unit synthesizes the image signal corresponding to the processed face area and the luminance signal and color signal corresponding to the converted body area according to any one of (1) to (3).
  • the body region image processing unit includes a three-dimensional noise reduction processing unit that removes noise using the image signals belonging to a plurality of continuous frames from the image signal corresponding to the body region. To (4).
  • (6) further comprising a motion image detection unit for detecting an image signal corresponding to a region where there is motion from the image signal;
  • the detection in the face area detection unit is detection of an image signal corresponding to a person's face area from the image signal corresponding to an area having a motion detected by the motion image detection unit,
  • the detection in the torso region detection unit is detection of an image signal corresponding to a human torso region from the image signal corresponding to a region where there is a motion detected by the motion image detection unit.
  • the detection in the face area detection unit is detection of an image signal corresponding to a person's face area from the image signal corresponding to the person detected by the person area detection unit,
  • the image processing device according to (6), wherein the detection in the torso area detecting unit is detection of an image signal corresponding to a torso area of a person from the image signal corresponding to the person detected by the person area detecting unit.
  • the image signal includes an image signal generated from infrared light
  • the image processing apparatus according to any one of (1) to (7), wherein the detection in the face area detection unit is detection of an image signal corresponding to the face area from the image signal generated from infrared light. .
  • the image signal further includes an image signal generated from white light
  • the detection in the face area detection unit is detection of an image signal corresponding to the face area from the image signal generated from infrared light and the image signal generated from white light.
  • an image sensor in which pixels for generating an image signal of a subject are two-dimensionally arranged;
  • a face area detection unit for detecting an image signal corresponding to a human face area from the image signal;
  • a torso region detection unit for detecting an image signal corresponding to a torso region of a person from the image signal;
  • a face area image processing unit for processing the image signal corresponding to the detected face area;
  • a torso region image processing unit that performs processing different from the processing of the image signal corresponding to the face region on the image signal corresponding to the detected torso region;
  • An image processing apparatus comprising: a combining unit that combines the image signal corresponding to the processed face region and the image signal corresponding to the processed body region;
  • An imaging apparatus comprising: (11) The autofocus control unit according to (10), further including an autofocus control unit that detects a peak of a contrast evaluation value separated from the image signal corresponding to the detected face area and performs autofocus control on the subject.
  • Imaging device (12) The autofocus control unit according to (10), further including an autofocus control unit that detects a peak of a contrast evaluation value separated from the image signal corresponding to the processed face area and performs autofocus control on the subject.
  • Imaging device (13) a face area detection procedure for detecting an image signal corresponding to a face area of a person from an image signal of a subject; A torso region detection procedure for detecting an image signal corresponding to a torso region of a person from the image signal; A face area image processing procedure for processing the image signal corresponding to the detected face area; A body region image processing procedure for performing processing different from the processing of the image signal corresponding to the face region on the image signal corresponding to the detected body region; An imaging method comprising: a synthesis procedure for synthesizing the image signal corresponding to the processed face area and the image signal corresponding to the processed body area.
  • Imaging device 101 Lens 102 Lens drive part 103 AF control part 104 Image output part 105 Infrared light irradiation part 110 Image processing apparatus 111 Motion image detection part 112 Human area
  • combination part 120 face region image processing unit 121, 162, 166 Y conversion processing unit 122, 144 two-dimensional noise reduction processing unit 130 high-pass filter 131 epsilon filter 132 subtractor 140 body region image processing unit 141 correction processing unit 142, 161, 163 interpolation processing Unit 143, 164 YC conversion processing unit 145 three-dimensional noise reduction processing unit 146 image signal 147 adder 148 divider 150 human region 151 face region 152 body region 153 background image 200 image sensor 201, 202 pixel

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

　低照度環境下であっても不審者等に対する情報収集能力を高める。　画像信号から人物の顔領域を検出する顔領域検出部と、画像信号から人物の胴体領域に対応する画像信号の検出を行う胴体領域検出部と、検出された顔領域に対応する画像信号の処理を行う顔領域画像処理部と、検出された胴体領域に対応する画像信号に対して顔領域に対応する画像信号の処理とは異なる処理を行う胴体領域画像処理部と、処理された顔領域に対応する画像信号と処理された胴体領域に対応する画像信号とを合成する合成部とを具備する。

Description

画像処理装置、撮像装置および撮像方法
　本技術は、画像処理装置、撮像装置および撮像方法に関する。詳しくは、監視カメラに使用される撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
　従来、撮像装置において、人物の顔領域と胴体領域の量子化処理における量子化ステップサイズを他の領域よりも相対的に小さくすることにより、顔領域と胴体領域とが高画質になるように処理する撮像装置が提案されている（例えば、特許文献１参照。）。
特開２０１１－４５０１４号公報
　監視カメラに使用する撮像装置においては、不審者等を発見して人物を特定する必要から、十分な情報の収集能力が要求される。しかし、夜間等低照度環境下においては、鮮明な画像を得ることは困難である。このような場合、顔と胴体はそれぞれ異なる情報の収集を要求される。例えば、顔領域においては、顔の特徴に関する情報が必要となる。人物を特定するためである。この場合、カラー画像である必要はない。一方、胴体領域においては、衣服の色の情報が必要となる。不審者を識別するためである。この場合、胴体部分の特徴はそれ程重要な情報ではない。このように、顔と胴体とは異なる情報が必要となり、それぞれ異なる処理が必要である。しかし、上述の従来技術では、顔領域と胴体領域とに対して同じ処理を行っており、低照度環境下において必要な情報を収集できないという問題があった。
　本技術はこのような状況に鑑みて生み出されたものであり、低照度環境下であっても不審者等に対する情報収集能力を高めることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、画像信号から人物の顔領域を検出する顔領域検出部と、上記画像信号から人物の胴体領域に対応する画像信号の検出を行う胴体領域検出部と、検出された上記顔領域に対応する上記画像信号の処理を行う顔領域画像処理部と、検出された上記胴体領域に対応する上記画像信号に対して上記顔領域に対応する上記画像信号の上記処理とは異なる処理を行う胴体領域画像処理部と、処理された上記顔領域に対応する上記画像信号と処理された上記胴体領域に対応する上記画像信号とを合成する合成部とを具備する画像処理装置である。これにより、顔領域と胴体領域とは異なる処理を行うという作用をもたらす。
　また、この第１の側面において、上記顔領域画像処理部は、上記顔領域に対応する上記画像信号から顔領域に対応する輝度信号に変換する輝度信号変換部を備え、上記合成部は、変換された上記顔領域に対応する上記輝度信号と処理された上記胴体領域に対応する上記画像信号とを合成しても良い。これにより。顔領域に対応する画像信号から顔領域に対応する輝度信号に変換するという作用をもたらす。
　また、この第１の側面において、上記顔領域画像処理部は、上記顔領域に対応する上記画像信号から同一フレームに属する上記画像信号の高周波成分を減衰させることによりノイズを除去する２次元ノイズリダクション処理部を備えても良い。これにより、２次元ノイズリダクション処理部によりノイズを除去するという作用をもたらす。
　また、この第１の側面において、上記胴体領域画像処理部は、上記胴体領域に対応する上記画像信号から輝度信号および色信号に変換する輝度および色信号変換部を備え、上記合成部は、処理された上記顔領域に対応する上記画像信号と変換された上記胴体領域に対応する上記輝度信号および上記色信号とを合成しても良い。これにより、胴体領域に対応する画像信号から輝度信号および色信号に変換するという作用をもたらす。
　また、この第１の側面において、上記胴体領域画像処理部は、上記胴体領域に対応する上記画像信号から連続する複数のフレームに属する上記画像信号を用いてノイズを除去する３次元ノイズリダクション処理部を備えてもよい。これにより３次元ノイズリダクション処理部によりノイズを除去するという作用をもたらす。
　また、この第１の側面において、上記画像信号から動きがある領域に対応する画像信号を検出する動き画像検出部をさらに具備し、上記顔領域検出部における上記検出は、上記動き画像検出部によって検出された動きがある領域に対応する上記画像信号から人物の顔領域に対応する画像信号の検出であり、上記胴体領域検出部における上記検出は、上記動き画像検出部によって検出された動きがある領域に対応する上記画像信号から人物の胴体領域に対応する画像信号の検出であっても良い。これにより、動きがある領域に対応する画像信号から顔領域および胴体領域が検出されるという作用をもたらす。
　また、この第１の側面において、上記動き画像検出部によって検出された動きがある領域に対応する上記画像信号から人物に対応する画像信号を検出する人物領域検出部をさらに具備し、上記顔領域検出部における上記検出は、上記人物領域検出部によって検出された人物に対応する上記画像信号から人物の顔領域に対応する画像信号の検出であり、上記胴体領域検出部における上記検出は、上記人物領域検出部によって検出された人物に対応する上記画像信号から人物の胴体領域に対応する画像信号の検出であっても良い。これにより、人物に対応する画像信号から顔領域および胴体領域が検出されるという作用をもたらす。
　また、この第１の側面において、上記画像信号は、赤外光から生成された画像信号を備え、上記顔領域検出部における上記検出は、赤外光から生成された上記画像信号から上記顔領域に対応する画像信号の検出であっても良い。これにより、赤外光から生成された画像信号から顔領域に対応する画像信号を検出するという作用をもたらす。
　また、この第１の側面において、上記画像信号は、白色光から生成された上記画像信号をさらに備え、上記顔領域検出部における上記検出は、赤外光から生成された上記画像信号と白色光から生成された上記画像信号とから上記顔領域に対応する画像信号の検出であっても良い。これにより、赤外光および白色光から生成された画像信号から顔領域に対応する画像信号を検出するという作用をもたらす。
　また、本技術の第２の側面は、被写体の画像信号を生成する画素が２次元に配置された撮像素子と、上記画像信号から人物の顔領域に対応する画像信号を検出する顔領域検出部と、上記画像信号から人物の胴体領域に対応する画像信号を検出する胴体領域検出部と、検出された上記顔領域に対応する上記画像信号の処理を行う顔領域画像処理部と、検出された上記胴体領域に対応する上記画像信号に対して上記顔領域に対応する上記画像信号の上記処理とは異なる処理を行う胴体領域画像処理部と、処理された上記顔領域に対応する上記画像信号と処理された上記胴体領域に対応する上記画像信号とを合成する合成部と
を備える画像処理装置と、を具備する撮像装置である。これにより、顔領域と胴体領域とは異なる処理を行うという作用をもたらす。
　また、この第２の側面において、検出された上記顔領域に対応する上記画像信号より分離したコントラスト評価値のピークを検出して上記被写体に対するオートフォーカス制御を行うオートフォーカス制御部をさらに具備しても良い。これにより、検出された顔領域に対応する画像信号によりオートフォーカス制御を行うという作用をもたらす。
　また、この第２の側面において、処理された上記顔領域に対応する上記画像信号より分離したコントラスト評価値のピークを検出して上記被写体に対するオートフォーカス制御を行うオートフォーカス制御部をさらに具備しても良い。これにより、処理された顔領域に対応する画像信号によりオートフォーカス制御を行うという作用をもたらす。
　また、本技術の第３の側面は、被写体の画像信号から人物の顔領域に対応する画像信号を検出する顔領域検出手順と、上記画像信号から人物の胴体領域に対応する画像信号を検出する胴体領域検出手順と、検出された上記顔領域に対応する上記画像信号の処理を行う顔領域画像処理手順と、検出された上記胴体領域に対応する上記画像信号に対して上記顔領域に対応する上記画像信号の上記処理とは異なる処理を行う胴体領域画像処理手順と、処理された上記顔領域に対応する上記画像信号と処理された上記胴体領域に対応する上記画像信号とを合成する合成手順とを具備する撮像方法である。これにより、顔領域と胴体領域とは異なる処理を行うという作用をもたらす。
　本技術によれば、低照度環境下であっても不審者等に対する情報収集能力を高めるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施の形態における撮像装置の構成例を示す図である。 本技術の第１の実施の形態における画像処理装置１１０の構成例を示す図である。 本技術の第１の実施の形態における顔領域画像処理部の構成例を示す図である。 本技術の第１の実施の形態における２次元ノイズリダクション処理を説明する図である。 本技術の第１の実施の形態における胴体領域画像処理部の構成例を示す図である。 本技術の第１の実施の形態における補間処理を例示す図である。 本技術の第１の実施の形態における３次元ノイズリダクション処理を説明する図である。 本技術の第１の実施の形態における画像処理手順の一例を示す図である。 本技術の第１の実施の形態における顔、胴体領域処理手順の一例を示す図である。 本技術の第１の実施の形態における画像処理例を示す図である。 本技術の第２の実施の形態における撮像素子の画素の配置例を示す図である。 本技術の第２の実施の形態における顔領域画像処理部の構成例を示す図である。 本技術の第２の実施の形態における胴体領域画像処理部の構成例を示す図である。 本技術の実施の形態の変形例における顔領域画像処理部の構成例を示す図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（赤外光に対応する画像信号も出力するＲＧＢ画素を備えた撮像素子を用いた例）
　２．第２の実施の形態（赤外光に対応したＩＲ画素を備えた撮像素子を用いた例）
　３．変形例
　＜１．第１の実施の形態＞
　図１は、本技術の第1の実施の形態における撮像装置の構成例を示す図である。同図における撮像装置１００は、レンズ１０１と、レンズ駆動部１０２と、ＡＦ制御部１０３と、画像出力部１０４と、赤外光照射部１０５と、画像処理装置１１０と、撮像素子２００とを備える。
　レンズ１０１は、撮像素子２００に対し光学的に被写体を結像するものである。レンズ駆動部１０２は、レンズ１０１を光軸方向に移動してフォーカスを調整するものである。撮像素子２００は、レンズ１０１によって結像された光学画像を画像信号に変換し、出力するものである。この撮像素子２００は、光学画像が結像される面に画像信号を生成する画素が２次元に配置されている。この画素には、赤色光、緑色光および青色光に対応する３種類の画素（以下、それぞれＲ画素、Ｇ画素、Ｂ画素と称する。）が含まれる。これらの画素は一般的なベイヤー配列型に配置されている。撮像素子２００は、Ａ／Ｄ変換器を内蔵しており、デジタル信号に変換した画像信号を出力する。この画像信号には、Ｒ、ＧおよびＢ画素に対応した信号が含まれ、所定のフレーム周波数に従って１画面分の画像信号が出力される。
　なお、本技術の第１の実施の形態における撮像素子２００は、赤外光を透過させる形式のカラーフィルタを備えた画素により構成された撮像素子を想定する。撮像素子２００のＲ、ＧおよびＢ画素が赤外光も検出できるようにするためである。一般の撮像素子における、Ｒ、ＧおよびＢ画素は、カラーフィルタとしてそれぞれ赤色光、緑色光および青色光のみを透過し、赤外光を遮断する形式のカラーフィルタを備える。しかし、監視装置においては、赤外光を透過させる形式のカラーフィルタを備え、赤外光も検出可能な撮像素子を使用する。夜間における赤外光による撮影を行うためである。さらに、赤外線カットフィルタを撮像素子の前面に装着できる形態とし、日中の撮影時においては、この赤外線カットフィルタを装着して使用する。色再現性に対する赤外光の影響を除くためである。本技術の第１の実施の形態において、以降の説明は、このような赤外光を透過させる型のカラーフィルタを備えた画素により構成された撮像素子を使用し、赤外線カットフィルタを撮像素子の前面に装着しない状態を前提に行う。このため、撮像素子２００のＲ、ＧおよびＢ画素に対応する画像信号は、赤外光から生成された画像信号を含んだものとなる。
　画像処理装置１１０は、撮像素子２００から出力された画像信号を処理し、出力するものである。このほか、画像処理装置１１０は、撮像装置１００の全体の動作を制御する。画像出力部１０４は、画像処理装置１１０により出力された画像信号を撮像装置１００の外部に出力するものである。
　ＡＦ制御部１０３は、レンズ駆動部１０２を介してレンズ１０１を光軸方向に移動させ、オートフォーカス（ＡＦ）制御を行うものである。このＡＦ制御部１０３は、ＡＦ制御方法として、例えば、コントラストオートフォーカス（コントラストＡＦ）方式を使用することができる。このコントラストＡＦ方式は、画像信号から高周波成分を取り出し、これをコントラスト評価値とする。次に、レンズ１０１を動かしながら、コントラスト評価値を採取し、最大値が得られるレンズ１０１の位置をフォーカス位置とする方式である。本技術の第１の実施の形態においては、後述する顔領域画像処理部１２０から出力された顔領域の画像信号に基づいてコントラストＡＦ制御を行う。つまり、顔領域画像処理部１２０によって処理された顔領域の画像信号に基づくオートフォーカス制御を行う。これによりオートフォーカスの精度を高めることができる。なお、ＡＦ制御部１０３は、後述する顔領域検出部１１３から出力された顔領域の画像信号に基づいてコントラストＡＦ制御を行っても良い。
　赤外光照射部１０５は、被写体に赤外線を照射するものである。この赤外光照射部１０５は、画像処理装置１１０により制御される。暗所撮影時に赤外光を照射しながら、撮像素子２００において赤外光を検知して画像信号を生成することにより、不審者に監視カメラの存在について気付かれることなく、撮像を行うことができる。
　なお、画像処理装置１１０と、ＡＦ制御部１０３と、画像出力部１０４とは、ＣＰＵまたはＤＳＰと、ＲＯＭおよびＲＡＭ等のメモリと、これらの周辺回路とを含むハードウェアとにより構成することができる。
　なお、画像処理装置１１０は、特許請求の範囲に記載の画像処理装置の一例である。撮像素子２００は、特許請求の範囲に記載の撮像素子の一例である。ＡＦ制御部１０３は、特許請求の範囲に記載のオートフォーカス制御部の一例である。
　図２は、本技術の第１の実施の形態における画像処理装置１１０の構成例を示す図である。画像処理装置１１０は、動き画像検出部１１１と、人物領域検出部１１２と、顔領域検出部１１３と、顔領域画像処理部１２０と、胴体領域検出部１１４と、胴体領域画像処理部１４０と、合成部１１７とを備える。
　動き画像検出部１１１は、撮像素子２００が出力した画像信号から動きがある領域を検出し、当該領域の画像信号を出力するものである。１フレームの画像信号が撮像素子２００から出力されると、動き画像検出部１１１は、動きがある領域の検出を開始する。この動きがある領域の検出は、例えば、背景差分法を使用することができる。背景差分法とは、検出すべき物体が存在しない背景画像を予め用意しておき、現画像と背景画像との差分をとることにより検出する方法である。通常、不審者等が監視領域に侵入する際には動きを伴う。このため、動き画像検出部１１１を備えて、動きがある領域を検出することにより、不審者等の検出能力を高めることができる。
　人物領域検出部１１２は、動き画像検出部１１１により出力された動きがある領域が人物画像か否かを検出し、当該領域の画像信号を出力するものである。この人物画像の検出は、例えば、人物のシルエットをデータベースとして保有し、このシルエットと現画像との比較により人物であるか否かを判定し検出する方法を用いることができる。動き画像検出部１１１が出力した動きがある領域に該当する画像信号には、動物等も含まれている。人物領域検出部１１２により、人物であるか否かを判断し、人物以外の画像信号を除外することができる。これにより、後に続く処理における負担を軽減することができる。
　顔領域検出部１１３は、人物領域検出部１１２が出力した人物画像の領域に対応する画像信号から顔領域を検出し、当該領域の画像信号を出力するものである。顔領域の検出は、サポートベクター法、テンプレートマッチング法など各種の方式を使用して行うことができる。
　胴体領域検出部１１４は、人物領域検出部１１２が出力した人物画像の領域に対応する画像信号から胴体領域を検出し、当該領域の画像信号を出力するものである。胴体領域の検出は、例えば、次のように行う。顔領域検出部１１３が検出した顔領域を解析し、顔の傾きから胴体の存在する領域を推定する。その後、顔領域と胴体領域の面積の割合をそれぞれ２０％および８０％と想定し、胴体領域の大きさを推定する。
　［顔領域画像処理部の構成］
　図３は、本技術の第１の実施の形態における顔領域画像処理部の構成例を示す図である。顔領域画像処理部１２０は、顔領域の画像処理を行うものである。この顔領域画像処理部１２０は、Ｙ変換処理部１２１と、２次元ノイズリダクション処理部１２２とを備える。Ｙ変換処理部１２１は、顔領域検出部１１３より出力された顔領域の画像信号から輝度信号に変換するものである。本技術の第１の実施の形態においては、Ｒ、ＧおよびＢ画素に対応する画像信号には赤外光に対応する信号も含まれている。そこで、これらの画像信号を輝度信号として使用することができる。これにより、夜間等の低照度環境下であっても、赤外光による被写体の顔領域の撮影が可能となる。Ｒ、ＧおよびＢ画素に対応する画像信号を輝度信号として使用するため、これらの画像信号と輝度信号との関係は、次式のようになる。
　　Ｙ＝Ｐ
但し、Ｙは、輝度信号を表す。Ｐは、入力された画像信号を表す。このため、顔領域については、モノクロの画像となる。また、後述する補間処理は不要となる。
　２次元ノイズリダクション処理部１２２は、Ｙ変換処理部１２１より出力された輝度信号に対し、重畳しているノイズの除去を行うものである。この２次元ノイズリダクション処理部は、同一フレームに属する画像信号の高周波成分を減衰させることによりノイズを除去する。
　図４は、本技術の第１の実施の形態における２次元ノイズリダクション処理を説明する図である。同図においては、２次元ノイズリダクション処理としてイプシロンフィルタを使用した場合を例示する。入力信号として輝度信号を入力する。この入力信号をハイパスフィルタ１３０およびイプシロンフィルタ１３１に通すことにより、入力信号から高周波成分を分離する。次に、減算器１３２により、この高周波成分を入力信号から減算する。これにより、ノイズの除去を行う。なお、本技術の第１の実施の形態においては、これ以外の２次元ノイズリダクション処理、例えば、バイラテラルフィルタによる処理や平滑化による処理を使用することもできる。
　また、顔領域画像処理部１２０において、エッジ検出およびエッジ強調処理を追加し、顔領域の解像度を高めることもできる。
　このように、顔領域画像処理部１２０においては、赤外光に対応した画像信号を使用してＹ変換処理や２次元ノイズリダクション処理を行う。これにより、低照度環境下であっても、顔領域について高い解像度の画像を得ることができる。
　［胴体領域処理部の構成］
　図５は、本技術の第１の実施の形態における胴体領域画像処理部の構成例を示す図である。胴体領域画像処理部１４０は、胴体領域の画像処理を行うものである。この胴体領域画像処理部１４０は、補正処理部１４１と、補間処理部１４２と、ＹＣ変換処理部１４３と、２次元ノイズリダクション処理部１４４と、３次元ノイズリダクション処理部１４５とを備える。補正処理部１４１は、画像信号に対し補正処理を行うものである。この補正処理には、ホワイトバランス調整およびガンマ補正が含まれている。ホワイトバランス調整は、白い被写体に対するＲ、ＧおよびＢ画素に対応する画像信号が同じ信号レベルになるように調整する処理である。ガンマ補正は、Ｒ、ＧおよびＢ画素に対応する画像信号をガンマ曲線に沿って補正するものである。
　補間処理部１４２は、補正処理部１４１から出力された画像信号に対し補間処理を行うものである。この補間処理は、Ｒ、ＧおよびＢ画素に対しそれぞれの画素が有していない他の色についての画像信号を生成する処理である。この処理により、胴体領域における画像信号の解像度を、撮像素子２００における画素の解像度と等しくすることができる。補間処理について図６を参照して説明する。
　図６は、本技術の第１の実施の形態における補間処理を例示す図である。同図は、撮像素子２００におけるベイヤー配列形式の画素の配置を表しており、図中のＲ、ＧおよびＢの記号は、それぞれＲ、ＧおよびＢ画素を表している。図６におけるａは、Ｂ画素２０１に対し緑色に対応する画像信号を補間する場合の例である。Ｂ画素２０１の上下左右のＧ画素の画像信号の平均値をＢ画素２０１における緑色に対応する画像信号とする。図６におけるｂは、Ｂ画素２０１に対し赤色に対応する画像信号を補間する場合の例である。斜め方向においてＢ画素２０１と隣接するＲ画素の画像信号の平均値をＢ画素２０１における赤色に対応する画像信号とする。図６におけるｃは、Ｇ画素２０２に対し赤色に対応する画像信号を補間する場合の例である。Ｇ画素２０２の左右のＲ画素の画像信号の平均値をＧ画素２０２における緑色に対応する画像信号とする。図６におけるｄは、Ｇ画素２０２に対し青色に対応する画像信号を補間する場合の例である。Ｇ画素２０２の上下のＢ画素の画像信号の平均値をＧ画素２０２における青色に対応する画像信号とする。このようにして、胴体領域の画像信号に対し、補間処理を行う。
　ＹＣ変換処理部１４３は、補間処理部１４２から出力された胴体領域の画像信号のうちＲ、ＧおよびＢ画素に対応した画像信号から輝度信号および色信号に変換するものである。変換は、Ｒ、ＧおよびＢ画素に対応する画像信号を演算することにより行う。この演算は、次式のように行う。
　　Ｙ　＝　０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂ
　　Ｃｂ＝－０．１６８７４×Ｒ－０．３３１２６×Ｇ＋０．５００００×Ｂ
　　Ｃｒ＝　０．５００００×Ｒ－０．４１８６９×Ｇ－０．０８１３１×Ｂ
但し、ＣｂおよびＣｒは色差信号（色信号）を表す。Ｒ、ＧおよびＢは、それぞれＲ画素、Ｇ画素およびＢ画素に対応する画像信号を表す。これにより、胴体領域における輝度信号および色信号が、画像信号から変換される。胴体領域画像処理部１４０においては、色信号の変換を行う点で、顔領域画像処理部１２０と異なる。不審者等の衣服の色や模様を特定するためである。なお、Ｒ、ＧおよびＢ画素に対応する画像信号は赤外光に対する画像信号を含むため、上述の色信号は、色相が赤色方向にずれた信号となる。
　２次元ノイズリダクション処理部１４４は、ＹＣ変換処理部１４３より出力された輝度信号および色信号に対し、重畳しているノイズの除去を行うものである。この２次元ノイズリダクション処理部１４４の構成は、図４において説明した２次元ノイズリダクション処理部１２２と同様な構成にすることができる。
　３次元ノイズリダクション処理部１４５は、２次元ノイズリダクション処理部１４４より出力された輝度信号および色信号に対し、さらにノイズ除去を行うものである。この３次元ノイズリダクション処理は、連続する複数のフレームに属する画像信号を用いてノイズの除去を行う。
　図７は、本技術の第１の実施の形態における３次元ノイズリダクション処理を説明する図である。同図における画像信号１４６は、胴体領域に対応する画像信号である。連続するフレームの胴体領域に対応する画像信号を加算器１４７によって加算する。その後、除算器１４８により、加算した画像信号数であるＫで除算する。これにより、ランダムに発生したノイズ成分を平均化してノイズ除去を行う。３次元ノイズリダクション処理は、加算する画像数Ｋが大きいほど、ノイズ除去の効果が高まる性質があり、２次元ノイズリダクション処理よりも高いノイズ除去能力がある。一方、動きのある画像に対して３次元ノイズリダクション処理を行うと、画像がぼやける等画質が低下するという問題がある。しかし、胴体領域に関しては、色の再現が可能であれば、多少の品質の低下は許容できるため、問題にはならない。
　このように、胴体領域画像処理部１４０は、画像信号に対してＹＣ変換処理や３次元ノイズリダクション処理等の処理を行う。これにより、低照度環境下であっても、胴体領域について色を再現することができる。
　合成部１１７は、別々に処理された顔領域の画像と胴体領域の画像とを合成するものである。この合成部１１７は、顔領域画像処理部１２０が出力した顔領域の画像と胴体領域画像処理部１４０が出力した胴体領域の画像とを背景画像の顔および胴体の位置に重ね合わせて合成する。ここで、背景画像とは、以上で説明した顔領域および胴体領域に特化した処理を行わない画像信号により構成された画像である。つまり、撮像素子２００から出力された画像信号に対し、補正（ホワイトバランス調整、ガンマ補正）およびＹＣ変換処理を行い得られた画像信号（輝度信号および色信号）により背景画像は構成される。この背景画像の顔部分に顔領域画像処理部１２０が出力した顔領域の画像を重ね合わせる。同様に、背景画像の胴体部分に胴体領域画像処理部１４０が出力した胴体領域の画像を重ね合わせる。これらの処理により、合成された画像信号を得る。この合成された画像信号は、画像処理装置１１０から画像出力部１０４に出力される。なお、顔領域の画像を背景画像に重ね合わせる際、平均的な顔の色をモノクロ画像である顔領域の画像に着色してもよい。これにより、画像の違和感を改善することができる。
　なお、動き画像検出部１１１は、特許請求の範囲に記載の動き画像検出部の一例である。人物領域検出部１１２は、特許請求の範囲に記載の人物領域検出部の一例である。顔領域検出部１１３は、特許請求の範囲に記載の顔領域検出部の一例である。顔領域画像処理部１２０は、特許請求の範囲に記載の顔領域画像処理部の一例である。胴体領域検出部１１４は、特許請求の範囲に記載の胴体領域検出部の一例である。胴体領域画像処理部１４０は、特許請求の範囲に記載の胴体領域画像処理部の一例である。合成部１１７は、特許請求の範囲に記載の合成部の一例である。Ｙ変換処理部１２１は、特許請求の範囲に記載の輝度信号変換部の一例である。２次元ノイズリダクション処理部１２２は、特許請求の範囲に記載の２次元ノイズリダクション処理部の一例である。ＹＣ変換処理部１４３は、特許請求の範囲に記載の輝度および色信号変換部の一例である。３次元ノイズリダクション処理部１４５は、特許請求の範囲に記載の３次元ノイズリダクション処理部の一例である。Ｒ、ＧおよびＢ画素に対応する画像信号は、特許請求の範囲に記載の赤外光から生成された画像信号の一例である。
　［画像処理手順］
　図８は、本技術の第１の実施の形態における画像処理手順の一例を示す図である。１フレームの画像信号が撮像素子２００から画像処理装置１１０に入力されると、画像処理装置１１０は、処理を開始する。まず、動き画像検出部１１１が、動きがある領域の検出を行う（ステップＳ９０１）。その結果、動きがある領域が検出されない場合は（ステップＳ９０２：Ｎｏ）、背景画像に対応する画像信号を出力して（ステップＳ９０５）、処理を終了する。動きがある領域が検出された場合は（ステップＳ９０２：Ｙｅｓ）、人物領域検出部１１２が、人物領域の検出を行う（ステップＳ９０３）。その結果、人物領域が検出されない場合は（ステップＳ９０４：Ｎｏ）、背景画像に対応する画像信号を出力して（ステップＳ９０５）、処理を終了する。人物領域が検出された場合は（ステップＳ９０４：Ｙｅｓ）、顔、胴体領域処理を行う（ステップＳ９１０）。次に、顔、胴体領域処理後の画像信号を出力する（ステップＳ９０５）。
　［顔、胴体領域処理手順］
　図９は、本技術の第１の実施の形態における顔、胴体領域処理手順の一例を示す図である。まず、顔領域検出部１１３が、顔領域の検出を行う（ステップＳ９１１）。その結果、顔領域が検出されない場合（ステップＳ９１２：Ｎｏ）、処理はステップＳ９１４に移る。顔領域が検出された場合は（ステップＳ９１２：Ｙｅｓ）、顔領域画像処理部１２０が、顔領域の画像処理を行う（ステップＳ９１３）。次に、胴体領域検出部１１４が胴体領域の検出を行う（ステップＳ９１４）。その結果、胴体領域が検出されない場合（ステップＳ９１５：Ｎｏ）、処理はステップＳ９１７に移る。胴体領域が検出された場合は（ステップＳ９１５：Ｙｅｓ）、胴体領域画像処理部１４０が、胴体領域の画像処理を行う（ステップＳ９１６）。次に、合成部１１７が、画像の合成を行う（ステップＳ９１７）。つまり、顔領域画像処理部１２０が処理した顔領域の画像と、胴体領域画像処理部１４０が処理した胴体領域の画像とを背景画像に重ね合わせる。その後、顔、胴体領域処理Ｓ９１０を終了し、元の処理に戻る。
　［画像処理］
　図１０は、本技術の第１の実施の形態における画像処理例を示す図である。まず、撮像素子２００から入力された画像信号に対し、動き画像検出部１１１が、動き領域検出処理を行う。次に、人物領域検出部１１２が人物領域検出処理を行う。同図におけるａは、検出された人物領域１５０を示す図である。この人物領域１５０に対し、顔領域検出部１１３が、顔領域の検出を行う。同図におけるｂは、検出された顔領域１５１を示す図である。また、胴体領域検出部１１４は、人物領域１５０に対し、胴体領域の検出を行う。同図におけるｃは、検出された胴体領域１５２を示す図である。その後、顔領域１５１および胴体領域１５２は、それぞれ顔領域画像処理部１２０および胴体領域画像処理部１４０により処理される。そして、合成部１１７が、処理された顔領域１５１および胴体領域１５２を背景画像１５３の顔位置および胴体位置に重ね合わせる。同図におけるｄは、この様子を示したものである。
　このように、本技術の第１の実施の形態においては、顔領域と胴体領域のそれぞれに異なる処理を行うことができる。つまり、顔領域には画像の解像度を高める処理を行い、詳細な顔の特徴を取得することができる。また、胴体領域には色を再現する処理を行い、不審者の衣服の色を取得することができる。これらにより、低照度環境下であっても不審者等に対する情報収集能力を高めることができる。
　＜２．第２の実施の形態＞
　本技術の第１の実施の形態においては、赤外光を透過させる形式のカラーフィルタを備えたＲ、ＧおよびＢ画素により構成された撮像素子を使用していた。これに対し、本技術の第２の実施の形態では、赤外光のみに対応する画素（以下、ＩＲ画素と称する。）をさらに備えた撮像素子を使用する。
　［撮像素子の構成］
　図１１は、本技術の第２の実施の形態における撮像素子の画素の配置例を示す図である。同図において、Ｒ、ＧおよびＢの記号は図６と同様である。ＩＲの記号は、ＩＲ画素を表している。同図におけるａは、ベイヤー配列された画素のうちＧ画素の一方をＩＲ画素に置き換えたものである。同図におけるｂは、Ｇ画素を市松模様状に配置し、その間に他の画素を配置したものである。同図におけるｃは、ＩＲ画素を市松模様状に配置し、その間に他の画素を配置したものである。同図におけるｄは、白色光に対応する画素（以下、Ｗ画素と称し、図１１においてＷの記号によりこのＷ画素を表す。）を配置したものである。このＷ画素は、可視光から赤外光までの光に対し感度を有するものである。なお、本技術の第２の実施の形態におけるＲ、ＧおよびＢ画素は、赤外光を透過する形式のカラーフィルタを備えており、それぞれの画像信号は、赤外光に対応する画像信号を含んでいる。また、ＩＲ画素は、赤外光のみに対応する画像信号を出力する。本技術の第１の実施の形態と同様に、赤外線カットフィルタは使用しない。本実施の形態における撮像装置のこれ以外の構成は、図１において説明した第１の実施の形態の撮像装置１００と同様であるため、説明を省略する。
　［顔領域画像処理部の構成］
　図１２は、本技術の第２の実施の形態における顔領域画像処理部の構成例を示す図である。同図における顔領域画像処理部１２０は、補間処理部１６１と、Ｙ変換処理部１６２と、２次元ノイズリダクション処理部１２２とを備える。
　補間処理部１６１は、撮像素子２００から出力された画像信号に対し、補間処理を行うものである。この補間処理は、ＩＲ画素に対応する画像信号に対して行う。なお、本技術の第２の実施の形態においては、ＩＲ画素に対応する画像信号に対して顔領域画像処理を行う。そのため、図１１において説明したＲ、ＧおよびＢ画素に対してＩＲ画素の画像信号を補間する。補間方法は、図６において説明した本技術の第１の実施の形態の補間処理部１４２と同様であるので説明は省略する。なお、Ｗ画素を有する撮像素子（図１１におけるｄ）の場合、Ｗ画素に対応する画像信号は、次に説明するＹＣ変換処理部１６２により、輝度信号に変換される。そのためＷ画素の部分についての補間処理は不要である。なお、Ｗ画素に対応する画像信号は、特許請求の範囲に記載の白色光から生成された画像信号の一例である。
　Ｙ変換処理部１６２は、補間処理部１６１が出力した顔領域の画像信号から輝度信号に変換するものである。変換は、次式のように行う。
　　Ｙ＝ＩＲ
但し、ＩＲはＩＲ画素に対応する画像信号を表す。また、Ｗ画素を含む撮像素子を使用する場合、変換は次式のように行う。
　　ＩＲ画素に対応する画像信号の場合：　　Ｙ＝ＩＲ
　　Ｗ画素に対応する画像信号の場合：　　　Ｙ＝Ｗ－（Ｒ＋Ｇ＋Ｂ）
但し、ＷはＷ画素に対応する画像信号を表す。また、Ｒ、ＧおよびＢは、Ｗ画素周囲のＲ、ＧおよびＢ画素に対応する画像信号である。Ｗ画素に対応する画像信号は、Ｒ、ＧおよびＢ画素に対応する画像信号を含んでいる。そこで、Ｗ画素周囲のＲ、ＧおよびＢ画素に対応する画像信号を減算することにより、赤外光に対応する画像信号を得ることができる。その後、輝度信号は、２次元ノイズリダクション処理部１２２に入力され、２次元ノイズリダクション処理が行われる。
　［胴体領域処理部の構成］
　図１３は、本技術の第２の実施の形態における胴体領域画像処理部の構成例を示す図である。同図における胴体領域処理部１４０は、補正処理部１４１と、補間処理部１６３と、ＹＣ変換処理部１６４と、２次元ノイズリダクション処理部１４４と、３次元ノイズリダクション処理部１４５とを備える。
　補間処理部１６３は、Ｒ、ＧおよびＢ画素に加えてＩＲ画素についても補間を行う。また、Ｗ画素を含む撮像素子を使用する場合には、さらにＷ画素についても補間を行う。この補間動作は、図６において説明した本技術の第１の実施の形態の補間処理部１４２と同様であるので説明は省略する。
　ＹＣ変換処理部１６４は、補間処理部１６３が出力した胴体領域の画像信号から輝度信号および色信号に変換するものである。変換は、次式のように行う。
　　Ｒ'＝Ｒ－ＩＲ
　　Ｇ'＝Ｇ－ＩＲ
　　Ｂ'＝Ｂ－ＩＲ
　　Ｙ　＝　０．２９８９１×Ｒ'＋０．５８６６１×Ｇ'＋０．１１４４８×Ｂ'
　　Ｃｂ＝－０．１６８７４×Ｒ'－０．３３１２６×Ｇ'＋０．５００００×Ｂ'
　　Ｃｒ＝　０．５００００×Ｒ'－０．４１８６９×Ｇ'－０．０８１３１×Ｂ'
Ｒ、ＧおよびＢ画素に対応する画像信号は、赤外光に対応する画像信号を含んでいる。これらの信号から赤外光に対応する画像信号ＩＲを減算することにより、赤外光の影響による色相の変化を防止することができる。この画像信号ＩＲは、Ｒ、ＧおよびＢ画素周囲のＩＲ画素に対応する画像信号である。その後、輝度信号（Ｙ）および色信号（ＣｂおよびＣｒ）に変換する。本実施の形態のこれ以外の胴体領域処理部の構成は、図５において説明した第１の実施の形態の胴体領域処理部の構成と同様であるため、説明を省略する。
　このように、赤外光に対応する画像信号を含む画像信号を出力するＲ、ＧおよびＢ画素とＩＲ画素とを備えた撮像素子を使用する場合であっても、顔領域と胴体領域のそれぞれに異なる処理を行うことができる。また、ＩＲ画素に対応する画像信号、つまり赤外光に対応する画像信号を使用して色信号の色相の変化を防止することにより、胴体領域について高い色再現性を得ることができる。
　＜３．変形例＞
　上述の本技術の実施の形態においては、撮像素子として赤外光に対応する画素を備えたものを使用していた。これに対し、本技術の実施の形態の変形例では、赤外光対応する画素を含まない通常の撮像素子を使用する。
　［顔領域画像処理部の構成］
　図１４は、本技術の実施の形態の変形例における顔領域画像処理部の構成例を示す図である。同図における顔領域画像処理部１２０は、補間処理部１４２と、Ｙ変換処理部１６６と、２次元ノイズリダクション処理部１２２とを備える。Ｙ変換処理部１６６は、補間処理部１４２が出力した顔領域の画像信号から輝度信号に変換するものである。本技術の実施の形態の変形例においては、図５において説明した補間処理部１４２により補間されたＲ、ＧおよびＢ画素に対応する画像信号から輝度信号に変換する。変換は、次式のように行う。
　　Ｙ　＝　０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂ
これは、ＹＣ変換処理部１４３における輝度信号に関する式と同様の式である。本技術の実施の形態の変形例のこれ以外の撮像装置の構成は、図１において説明した本技術の第１の実施の形態と同様であるため、説明を省略する。
　このように、赤外光に対応する画素を備えていない通常の撮像素子を使用する場合であっても、顔領域と胴体領域のそれぞれに異なる処理を行うことができる。
　以上説明したように、本技術の実施の形態によれば、顔領域と胴体領域のそれぞれに異なる処理を行うことができる。つまり、顔領域には画像の解像度を高める処理を行い、詳細な顔の特徴を取得することができる。また、胴体領域には色を再現する処理を行い、不審者の衣服の色を取得することができる。これらにより、低照度環境下であっても不審者等に対する情報収集能力を高めることができる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）画像信号から人物の顔領域を検出する顔領域検出部と、
　前記画像信号から人物の胴体領域に対応する画像信号の検出を行う胴体領域検出部と、
　検出された前記顔領域に対応する前記画像信号の処理を行う顔領域画像処理部と、
　検出された前記胴体領域に対応する前記画像信号に対して前記顔領域に対応する前記画像信号の前記処理とは異なる処理を行う胴体領域画像処理部と、
　処理された前記顔領域に対応する前記画像信号と処理された前記胴体領域に対応する前記画像信号とを合成する合成部と
を具備する画像処理装置。
（２）前記顔領域画像処理部は、前記顔領域に対応する前記画像信号から顔領域に対応する輝度信号に変換する輝度信号変換部を備え、
　前記合成部は、変換された前記顔領域に対応する前記輝度信号と処理された前記胴体領域に対応する前記画像信号とを合成する
前記（１）に記載の画像処理装置。
（３）前記顔領域画像処理部は、前記顔領域に対応する前記画像信号から同一フレームに属する前記画像信号の高周波成分を減衰させることによりノイズを除去する２次元ノイズリダクション処理部を備える前記（１）または（２）に記載の画像処理装置。
（４）前記胴体領域画像処理部は、前記胴体領域に対応する前記画像信号から輝度信号および色信号に変換する輝度および色信号変換部を備え、
　前記合成部は、処理された前記顔領域に対応する前記画像信号と変換された前記胴体領域に対応する前記輝度信号および前記色信号とを合成する
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）前記胴体領域画像処理部は、前記胴体領域に対応する前記画像信号から連続する複数のフレームに属する前記画像信号を用いてノイズを除去する３次元ノイズリダクション処理部を備える前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記画像信号から動きがある領域に対応する画像信号を検出する動き画像検出部をさらに具備し、
　前記顔領域検出部における前記検出は、前記動き画像検出部によって検出された動きがある領域に対応する前記画像信号から人物の顔領域に対応する画像信号の検出であり、
　前記胴体領域検出部における前記検出は、前記動き画像検出部によって検出された動きがある領域に対応する前記画像信号から人物の胴体領域に対応する画像信号の検出である
前記（１）から（５）のいずれかに記載の画像処理装置。
（７）前記動き画像検出部によって検出された動きがある領域に対応する前記画像信号から人物に対応する画像信号を検出する人物領域検出部をさらに具備し、
　前記顔領域検出部における前記検出は、前記人物領域検出部によって検出された人物に対応する前記画像信号から人物の顔領域に対応する画像信号の検出であり、
　前記胴体領域検出部における前記検出は、前記人物領域検出部によって検出された人物に対応する前記画像信号から人物の胴体領域に対応する画像信号の検出である
前記（６）に記載の画像処理装置。
（８）前記画像信号は、赤外光から生成された画像信号を備え、
　前記顔領域検出部における前記検出は、赤外光から生成された前記画像信号から前記顔領域に対応する画像信号の検出である
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）前記画像信号は、白色光から生成された画像信号をさらに備え、
　前記顔領域検出部における前記検出は、赤外光から生成された前記画像信号と白色光から生成された前記画像信号とから前記顔領域に対応する画像信号の検出である
前記（８）に記載の画像処理装置。
（１０）被写体の画像信号を生成する画素が２次元に配置された撮像素子と、
　前記画像信号から人物の顔領域に対応する画像信号を検出する顔領域検出部と、
　前記画像信号から人物の胴体領域に対応する画像信号を検出する胴体領域検出部と、
　検出された前記顔領域に対応する前記画像信号の処理を行う顔領域画像処理部と、
　検出された前記胴体領域に対応する前記画像信号に対して前記顔領域に対応する前記画像信号の前記処理とは異なる処理を行う胴体領域画像処理部と、
　処理された前記顔領域に対応する前記画像信号と処理された前記胴体領域に対応する前記画像信号とを合成する合成部と
を備える画像処理装置と、
を具備する撮像装置。
（１１）検出された前記顔領域に対応する前記画像信号より分離したコントラスト評価値のピークを検出して前記被写体に対するオートフォーカス制御を行うオートフォーカス制御部をさらに具備する前記（１０）に記載の撮像装置。
（１２）処理された前記顔領域に対応する前記画像信号より分離したコントラスト評価値のピークを検出して前記被写体に対するオートフォーカス制御を行うオートフォーカス制御部をさらに具備する前記（１０）に記載の撮像装置。
（１３）　被写体の画像信号から人物の顔領域に対応する画像信号を検出する顔領域検出手順と、
　前記画像信号から人物の胴体領域に対応する画像信号を検出する胴体領域検出手順と、
　検出された前記顔領域に対応する前記画像信号の処理を行う顔領域画像処理手順と、
　検出された前記胴体領域に対応する前記画像信号に対して前記顔領域に対応する前記画像信号の前記処理とは異なる処理を行う胴体領域画像処理手順と、
　処理された前記顔領域に対応する前記画像信号と処理された前記胴体領域に対応する前記画像信号とを合成する合成手順と
を具備する撮像方法。
　１００　撮像装置
　１０１　レンズ
　１０２　レンズ駆動部
　１０３　ＡＦ制御部
　１０４　画像出力部
　１０５　赤外光照射部
　１１０　画像処理装置
　１１１　動き画像検出部
　１１２　人物領域検出部
　１１３　顔領域検出部
　１１４　胴体領域検出部
　１１７　合成部
　１２０　顔領域画像処理部
　１２１、１６２、１６６　Ｙ変換処理部
　１２２、１４４　２次元ノイズリダクション処理部
　１３０　ハイパスフィルタ
　１３１　イプシロンフィルタ
　１３２　減算器
　１４０　胴体領域画像処理部
　１４１　補正処理部
　１４２、１６１、１６３　補間処理部
　１４３、１６４　ＹＣ変換処理部
　１４５　３次元ノイズリダクション処理部
　１４６　画像信号
　１４７　加算器
　１４８　除算器
　１５０　人物領域
　１５１　顔領域
　１５２　胴体領域
　１５３　背景画像
　２００　撮像素子
　２０１、２０２　画素

Claims (13)

  1. 　画像信号から人物の顔領域を検出する顔領域検出部と、
    　前記画像信号から人物の胴体領域に対応する画像信号の検出を行う胴体領域検出部と、
    　検出された前記顔領域に対応する前記画像信号の処理を行う顔領域画像処理部と、
    　検出された前記胴体領域に対応する前記画像信号に対して前記顔領域に対応する前記画像信号の前記処理とは異なる処理を行う胴体領域画像処理部と、
    　処理された前記顔領域に対応する前記画像信号と処理された前記胴体領域に対応する前記画像信号とを合成する合成部と
    を具備する画像処理装置。
  2. 　前記顔領域画像処理部は、前記顔領域に対応する前記画像信号から顔領域に対応する輝度信号に変換する輝度信号変換部を備え、
    　前記合成部は、変換された前記顔領域に対応する前記輝度信号と処理された前記胴体領域に対応する前記画像信号とを合成する
    請求項１記載の画像処理装置。
  3. 　前記顔領域画像処理部は、前記顔領域に対応する前記画像信号から同一フレームに属する前記画像信号の高周波成分を減衰させることによりノイズを除去する２次元ノイズリダクション処理部を備える請求項１記載の画像処理装置。
  4. 　前記胴体領域画像処理部は、前記胴体領域に対応する前記画像信号から輝度信号および色信号に変換する輝度および色信号変換部を備え、
    　前記合成部は、処理された前記顔領域に対応する前記画像信号と変換された前記胴体領域に対応する前記輝度信号および前記色信号とを合成する
    請求項１記載の画像処理装置。
  5. 　前記胴体領域画像処理部は、前記胴体領域に対応する前記画像信号から連続する複数のフレームに属する前記画像信号を用いてノイズを除去する３次元ノイズリダクション処理部を備える請求項１記載の画像処理装置。
  6. 　前記画像信号から動きがある領域に対応する画像信号を検出する動き画像検出部をさらに具備し、
    　前記顔領域検出部における前記検出は、前記動き画像検出部によって検出された動きがある領域に対応する前記画像信号から人物の顔領域に対応する画像信号の検出であり、
    　前記胴体領域検出部における前記検出は、前記動き画像検出部によって検出された動きがある領域に対応する前記画像信号から人物の胴体領域に対応する画像信号の検出である
    請求項１記載の画像処理装置。
  7. 　前記動き画像検出部によって検出された動きがある領域に対応する前記画像信号から人物に対応する画像信号を検出する人物領域検出部をさらに具備し、
    　前記顔領域検出部における前記検出は、前記人物領域検出部によって検出された人物に対応する前記画像信号から人物の顔領域に対応する画像信号の検出であり、
    　前記胴体領域検出部における前記検出は、前記人物領域検出部によって検出された人物に対応する前記画像信号から人物の胴体領域に対応する画像信号の検出である
    請求項６記載の画像処理装置。
  8. 　前記画像信号は、赤外光から生成された画像信号を備え、
    　前記顔領域検出部における前記検出は、赤外光に対応する前記画像信号から前記顔領域に対応する画像信号の検出である
    請求項１記載の画像処理装置。
  9. 　前記画像信号は、白色光から生成された画像信号をさらに備え、
    　前記顔領域検出部における前記検出は、赤外光に対応する前記画像信号と白色光に対応する前記画像信号とから前記顔領域に対応する画像信号の検出である
    請求項８記載の画像処理装置。
  10. 　被写体の画像信号を生成する画素が２次元に配置された撮像素子と、
    　前記画像信号から人物の顔領域に対応する画像信号を検出する顔領域検出部と、
    　前記画像信号から人物の胴体領域に対応する画像信号を検出する胴体領域検出部と、
    　検出された前記顔領域に対応する前記画像信号の処理を行う顔領域画像処理部と、
    　検出された前記胴体領域に対応する前記画像信号に対して前記顔領域に対応する前記画像信号の前記処理とは異なる処理を行う胴体領域画像処理部と、
    　処理された前記顔領域に対応する前記画像信号と処理された前記胴体領域に対応する前記画像信号とを合成する合成部と
    を備える画像処理装置と、
    を具備する撮像装置。
  11. 　検出された前記顔領域に対応する前記画像信号より分離したコントラスト評価値のピークを検出して前記被写体に対するオートフォーカス制御を行うオートフォーカス制御部をさらに具備する請求項１０記載の撮像装置。
  12. 　処理された前記顔領域に対応する前記画像信号より分離したコントラスト評価値のピークを検出して前記被写体に対するオートフォーカス制御を行うオートフォーカス制御部をさらに具備する請求項１０記載の撮像装置。
  13. 　被写体の画像信号から人物の顔領域に対応する画像信号を検出する顔領域検出手順と、
    　前記画像信号から人物の胴体領域に対応する画像信号を検出する胴体領域検出手順と、
    　検出された前記顔領域に対応する前記画像信号の処理を行う顔領域画像処理手順と、
    　検出された前記胴体領域に対応する前記画像信号に対して前記顔領域に対応する前記画像信号の前記処理とは異なる処理を行う胴体領域画像処理手順と、
    　処理された前記顔領域に対応する前記画像信号と処理された前記胴体領域に対応する前記画像信号とを合成する合成手順と
    を具備する撮像方法。
PCT/JP2015/055376 2014-04-07 2015-02-25 画像処理装置、撮像装置および撮像方法 WO2015156045A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-078476 2014-04-07
JP2014078476 2014-04-07

Publications (1)

Publication Number Publication Date
WO2015156045A1 true WO2015156045A1 (ja) 2015-10-15

Family

ID=54287626

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/055376 WO2015156045A1 (ja) 2014-04-07 2015-02-25 画像処理装置、撮像装置および撮像方法

Country Status (1)

Country Link
WO (1) WO2015156045A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022128652A (ja) * 2021-02-24 2022-09-05 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107335A (ja) * 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
JP2003143464A (ja) * 2001-10-31 2003-05-16 Konica Corp 証明写真用の撮影装置及び画像処理方法
JP2007104696A (ja) * 2006-10-24 2007-04-19 Nec Corp 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム
JP2008017227A (ja) * 2006-07-06 2008-01-24 Denso Corp 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム
JP2008259011A (ja) * 2007-04-06 2008-10-23 Toshiba Corp 監視カメラ装置および監視カメラ装置の撮影方法
JP2010204404A (ja) * 2009-03-04 2010-09-16 Mitsubishi Electric Corp 監視カメラ及びその露光制御方法
JP2011044964A (ja) * 2009-08-21 2011-03-03 Samsung Yokohama Research Institute Co Ltd 撮像装置、撮像方法およびコンピュータプログラム
JP2012124715A (ja) * 2010-12-08 2012-06-28 Canon Inc 撮像装置及び撮像装置の制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003107335A (ja) * 2001-09-28 2003-04-09 Ricoh Co Ltd 撮像装置、自動合焦方法、およびその方法をコンピュータが実行するためのプログラム
JP2003143464A (ja) * 2001-10-31 2003-05-16 Konica Corp 証明写真用の撮影装置及び画像処理方法
JP2008017227A (ja) * 2006-07-06 2008-01-24 Denso Corp 顔認識装置及びそれを用いた自動車用ユーザーもてなしシステム
JP2007104696A (ja) * 2006-10-24 2007-04-19 Nec Corp 画像処理装置、画像処理装置のはみ出し検知方法およびプログラム
JP2008259011A (ja) * 2007-04-06 2008-10-23 Toshiba Corp 監視カメラ装置および監視カメラ装置の撮影方法
JP2010204404A (ja) * 2009-03-04 2010-09-16 Mitsubishi Electric Corp 監視カメラ及びその露光制御方法
JP2011044964A (ja) * 2009-08-21 2011-03-03 Samsung Yokohama Research Institute Co Ltd 撮像装置、撮像方法およびコンピュータプログラム
JP2012124715A (ja) * 2010-12-08 2012-06-28 Canon Inc 撮像装置及び撮像装置の制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022128652A (ja) * 2021-02-24 2022-09-05 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
JP7337865B2 (ja) 2021-02-24 2023-09-04 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム

Similar Documents

Publication Publication Date Title
US11244209B2 (en) Image processing device, imaging device, and image processing method
JP5527448B2 (ja) 画像入力装置
JP5460173B2 (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP6564421B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5397788B2 (ja) 画像入力装置
JP2012239103A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2011130169A (ja) 画像処理装置及び撮影装置
TW200816791A (en) Image processing apparatus and method for reducing noise in image signal
JPWO2019146226A1 (ja) 画像処理装置、および出力情報制御方法、並びにプログラム
JP2010211773A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2011171842A (ja) 画像処理装置及び画像処理プログラム
WO2015156045A1 (ja) 画像処理装置、撮像装置および撮像方法
JP2012010141A (ja) 画像処理装置
KR101714641B1 (ko) 이미지의 선명도 증강이 가능한 카메라, 이미지의 선명도 증강방법 및 그 기록매체
JP2016082390A (ja) 信号処理装置
JP2009022044A (ja) 画像処理装置及び画像処理プログラム
JP6727973B2 (ja) 画像処理装置及びその制御方法
JP6029464B2 (ja) 撮像装置、その制御方法、および制御プログラム
CN105450909B (zh) 一种信息处理方法及电子设备
JP5935649B2 (ja) 画像処理装置及び画像処理方法
JP5028119B2 (ja) 画像処理装置，画像処理方法及び撮像装置
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
JP6415106B2 (ja) 撮像装置及びその制御方法、並びに、プログラム
JP5290734B2 (ja) ノイズ低減装置及びノイズ低減方法
JP2015179951A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15777406

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15777406

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP