WO2017043332A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2017043332A1
WO2017043332A1 PCT/JP2016/074917 JP2016074917W WO2017043332A1 WO 2017043332 A1 WO2017043332 A1 WO 2017043332A1 JP 2016074917 W JP2016074917 W JP 2016074917W WO 2017043332 A1 WO2017043332 A1 WO 2017043332A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
unit
target
region
Prior art date
Application number
PCT/JP2016/074917
Other languages
English (en)
French (fr)
Inventor
理央 山崎
宏真 土井
貴晶 中川
秀男 岡本
近藤　員弘
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/754,049 priority Critical patent/US11398041B2/en
Publication of WO2017043332A1 publication Critical patent/WO2017043332A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present technology relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method capable of more accurately specifying an image processing target area in an image.
  • the depth information may have a portion with low reliability due to the characteristics of the distance measurement method. If a partial region to be subjected to image processing is specified based on the depth information with low reliability, the region There was a risk that specific accuracy would be reduced.
  • the moving image is divided into multiple regions in advance according to color or brightness, and the depth information of non-feature points is complemented using the depth information of feature points at the internal pixels for each divided region. It has been proposed to do so (for example, see Patent Document 1).
  • the present technology has been proposed in view of such a situation, and aims to more accurately specify a region to be processed in an image.
  • the image processing apparatus of the present technology performs determination based on the depth information based on the reliability information indicating the reliability of the depth information indicating the depth of the image based on the depth information. It is an image processing apparatus provided with the determination part which determines whether or not.
  • the determination unit can determine whether or not an area in which the reliability of the depth information is higher than a predetermined threshold is a target area for the image processing based on the depth information.
  • the determination unit can determine that an area where the depth is closer than a predetermined threshold is a target area for the image processing.
  • the determination unit can determine whether an area where the reliability of the depth information is not higher than a predetermined threshold is a target area for the image processing based on other information different from the depth information. .
  • the determination unit can determine whether the image processing target area is based on luminance information indicating the luminance of the image as the other information.
  • the determination unit can determine that an area where the luminance is lower than a predetermined threshold is a target area for the image processing.
  • the determination unit can determine that an area where the luminance is lower than a predetermined threshold and is in contact with another target area for image processing is the target area for image processing.
  • the determination unit can determine whether the image processing target area is based on color information indicating the color of the image as the other information.
  • the determination unit can determine that an area where the color difference from a surrounding target area for image processing is smaller than a predetermined threshold is the target area for image processing.
  • the determination unit can determine, based on hairstyle model data representing a hairstyle model as the other information, an area belonging to a hair area in the hairstyle model as a target area for the image processing.
  • the determination unit can determine that a region whose texture is similar to the texture model is a target region for the image processing based on texture model data representing a texture model as the other information.
  • the determination unit recognizes the shape of a subject belonging to the clipping target region, and based on the shape of the subject recognized as the other information, determines a region that can be estimated as the target of the image processing. It can be determined that the area.
  • the determination unit can determine whether or not to determine whether or not the image processing target area is based on the depth information for each pixel or a plurality of pixels.
  • the determination unit can generate an image processing target map indicating a distribution of determination results as to whether or not the target region is the image processing target region.
  • a setting unit for setting the threshold value can be further provided.
  • An imaging unit that captures an image of the subject and generates the image can be further provided.
  • It may further include a generation unit that generates the depth information and the reliability information.
  • the image processing can further include a processing unit that cuts out a target area of the image processing from the image and combines it with another image to generate a combined image.
  • the image processing method of the present technology performs determination based on the depth information based on the reliability information indicating the reliability of the depth information indicating the depth of the image based on the depth information. This is an image processing method for determining whether or not.
  • the determination as to whether or not the region is a target region for the predetermined image processing is based on the depth information. It is determined whether or not to perform.
  • an image can be processed. Further, according to the present technology, it is possible to more accurately specify an image processing target area in an image.
  • First embodiment imaging device: redetermination based on luminance map
  • Second embodiment threshold setting
  • Third embodiment re-determination based on color map
  • Fourth embodiment re-determination based on hairstyle model
  • Fifth embodiment re-determination based on texture model
  • Sixth embodiment re-determination based on shape recognition
  • First Embodiment> ⁇ Identification of image processing target area based on depth information> Conventionally, when image processing such as image cropping is performed on a part of an image, there is a method of specifying a partial area to be subjected to image processing based on depth information indicating the depth of the image.
  • a captured image when a captured image is generated by capturing an image of a certain subject, in general, the captured image often includes a foreground or background portion of the subject in addition to the subject. It is conceivable to perform predetermined image processing only on the subject portion of such a captured image.
  • a subject part is specified in a captured image, and as image processing, the part is noticed as a tracking target or a monitoring target, or what the subject is (for example, a person or an object) is recognized. Or adjusting brightness, color, etc., enlarging, reducing, deforming, etc., or synthesizing with other images.
  • the portion of the captured image that is not the subject often includes an image having a depth different from that of the subject, such as the foreground or background. Therefore, it is one of useful means to specify the subject portion based on the depth information of the captured image. In other words, for example, if the captured image has different depths between the subject and the non-subject portion, the depth information can be used to easily identify the subject portion and the non-subject portion. Is expensive.
  • the TOF method irradiates the target space with near infrared light, receives reflected light from an object existing in the target space, measures the time from irradiating the near infrared light to receiving the reflected light, Based on this, the distance to the object in the target space is obtained.
  • the structured light method a predetermined near-infrared projection pattern is projected onto an object existing in the target space, and the shape (depth) of the object existing in the target space is detected based on the deformation state of the projection pattern. It is a method to do.
  • the stereo matching method is a method for obtaining a distance to a subject based on a parallax between two captured images obtained by imaging the subject from different positions.
  • the SfM method is a method for detecting depth by calculating and optimizing the relationship between images such as the alignment of feature points using multiple captured images captured from different angles. is there.
  • the brightness is low (dark), the color is black, the hair is complicated, the shape is cotton, etc.
  • the near-infrared reflection is weak in the fabric portion and the like, and the depth measurement accuracy may be reduced.
  • Patent Document 1 for pixels for which it is difficult to obtain depth information, a moving image is divided into a plurality of regions in advance according to color or luminance, and depth information of feature points is used for internal regions for each divided region. It was proposed to complement the depth information. Further, for example, in Patent Document 2, it has been proposed to perform recalculation for reducing the distance error for the inside of an edge by using edge detection together with the boundary portion of the object.
  • ⁇ Determining reliability> Therefore, based on the reliability information indicating the reliability of the depth information indicating the depth of the image, it is determined whether or not the determination as to whether or not it is the target area for the predetermined image processing is performed based on the depth information. To. For example, in the image processing apparatus, based on the reliability information indicating the reliability of the depth information indicating the depth of the image, it is determined whether or not the determination is based on the depth information as to whether or not the region is a target area for the predetermined image processing. It is made to provide the determination part which determines.
  • FIG. 1 is a diagram illustrating a main configuration example of an imaging apparatus that is an embodiment of an image processing apparatus to which the present technology is applied.
  • An imaging apparatus 100 shown in FIG. 1 is an apparatus that images a subject and generates a captured image and the like. Furthermore, the imaging apparatus 100 can perform various processes such as performing image processing on the captured image and transmitting the captured image to another apparatus.
  • the imaging apparatus 100 includes a bus 110, an optical unit 111, a sensor unit 112, an image processing unit 113, an encoding / decoding unit 114, a control unit 115, an input unit 121, an output unit 122, a storage unit 123, a communication unit 124, and a drive 125.
  • a bus 110 an optical unit 111, a sensor unit 112, an image processing unit 113, an encoding / decoding unit 114, a control unit 115, an input unit 121, an output unit 122, a storage unit 123, a communication unit 124, and a drive 125.
  • Each processing unit of the optical unit 111 to the drive 125 is connected to the bus 110.
  • Each of these processing units can exchange arbitrary information (data, programs, etc.) with each other via the bus 110.
  • each processing unit can acquire arbitrary information from another processing unit via the bus 110.
  • each processing unit can supply arbitrary information to another processing unit via the bus 110.
  • the optical unit 111 includes, for example, a lens that adjusts the focal point to the subject and collects light from the in-focus position, an aperture that adjusts exposure, and a shutter that controls imaging timing.
  • the optical unit 111 transmits light (incident light) from the outside and supplies the light to the sensor unit 112.
  • the sensor unit 112 performs processing related to detection of arbitrary information.
  • the sensor unit 112 includes a sensor that detects arbitrary information.
  • the sensor unit 112 may include an optical sensor that receives light (incident light) incident through the optical unit 111 and performs photoelectric conversion.
  • the optical sensor may be a short pixel sensor such as a photodetector, or may be a multi-pixel sensor such as a so-called CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the wavelength of incident light received by the optical sensor is arbitrary, and may be white light including all wavelengths, visible light, near-infrared light, Near-ultraviolet light may be used, or light having a wavelength other than those may be used.
  • the sensor unit 112 may include a sound sensor that detects sound (vibration) such as a microphone.
  • the sensor unit 112 includes a sensor that detects other information such as current, voltage, power, acceleration, velocity, angular velocity, posture, force, temperature, humidity, flow rate, magnetism, chemical substance, or odor. It may be.
  • the sensor unit 112 may have a function other than the sensor related to the sensor.
  • the sensor unit 112 may include a light emitting unit that emits light and outputs the light to the outside via the optical unit 111.
  • the optical sensor may receive reflected light from the subject of the light emitted from the light emitting unit.
  • the wavelength of the light emitted by the light emitting unit is arbitrary. For example, white light including all wavelengths, visible light, near infrared light, near ultraviolet light, or other wavelengths may be used. It may be light.
  • the wavelength of the reflected light received by the optical sensor may be a part of the wavelength range of the light emitted from the light emitting unit, or may be a wavelength different from the wavelength of the light emitted from the light emitting unit.
  • the sensor unit 112 can have a plurality of sensors.
  • the sensor unit 112 may include a plurality of different types of sensors.
  • the sensor unit 112 may include an image sensor that receives visible light and generates a captured image, and an infrared sensor that receives near-infrared light.
  • the sensor unit 112 may include a plurality of sensors of the same type.
  • the sensor unit 112 may include a plurality of image sensors that receive visible light and generate captured images. In this case, the plurality of image sensors may be provided at different positions so that parallax is generated between captured images generated in the respective image sensors.
  • the imaging device 100 performs distance measurement by the TOF method
  • the sensor unit 112 is an embodiment of an imaging unit that captures an image of a subject and generates a captured image, receives visible light from the subject
  • An image sensor that performs photoelectric conversion and performs signal processing such as A / D conversion to generate a captured image
  • a light emitting unit that emits near-infrared light and irradiates a space that is an imaging range of the imaging device 100, and its A description will be given assuming that the apparatus has an infrared sensor that receives reflected light from a subject or the like of near-infrared light emitted from a light emitting unit.
  • the sensor unit 112 captures a captured image generated by the image sensor and a time from when the light emitting unit emits near infrared light to when the infrared sensor receives light (hereinafter, from near infrared light emission to light reception). (Also referred to as “time”) is generated as a sensing result.
  • the time from the near infrared light emission to the light reception is calculated for each pixel or a plurality of pixels of the captured image.
  • a distribution (map) in which the calculated time from light emission to light reception of the plurality of near-infrared lights is associated with the pixels of the captured image is generated as a sensing result. That is, the map of the time from near infrared light emission to light reception corresponds to the captured image.
  • the number of imaging pixels corresponding to the time from the emission of each near-infrared light to the reception thereof may or may not be uniform.
  • a map of time from near infrared light emission to light reception may be generated for each frame image.
  • one map of time from near infrared light emission to light reception may be generated for a plurality of frame images of the captured image.
  • the number of frames of the captured image corresponding to the map of the time from light emission to light reception of each infrared light may or may not be uniform.
  • the sensor unit 112 can supply the generated sensing result to another processing unit via the bus 110.
  • the sensor unit 112 may supply the sensing result to the image processing unit 113 and perform image processing using the sensing result.
  • the sensor unit 112 may supply the sensing result to the encoding / decoding unit 114 and encode the sensing result.
  • the sensor unit 112 may supply the sensing result to the control unit 115 and perform control based on the sensing result.
  • the sensor unit 112 may supply a sensing result to the output unit 122 and display the sensing result as an image, output as a sound, or output the data to the outside.
  • the sensor unit 112 may supply the sensing result to the storage unit 123 and store the sensing result. Further, for example, the sensor unit 112 may supply the sensing result to the communication unit 124 and cause the sensing result to be supplied to the other device through communication with the other device. Further, for example, the sensor unit 112 may supply the sensing result to the drive 125 and store the sensing result in the removable medium 131 attached to the drive 125.
  • the image processing unit 113 performs processing related to image processing.
  • the image processing unit 113 can perform arbitrary image processing on the image.
  • the image processing unit 113 may perform arbitrary image processing on a partial region of the image.
  • the image processing unit 113 may perform a process of cutting out a part of the area from the image.
  • the image processing unit 113 may combine the clipped image with another image.
  • the image processing unit 113 may pay attention (specify) a part of the area as a tracking target or a monitoring target.
  • the image processing unit 113 may recognize what the image of the partial area is (for example, a person or an object).
  • the image processing unit 113 performs luminance or color adjustment, color mixture correction, black level correction, white balance adjustment, demosaic processing, matrix processing, gamma correction, YC conversion, or the like for a part of the region. Processing may be performed. Further, for example, the image processing unit 113 may perform enlargement, reduction, deformation, or the like on a part of the area. Note that the image processing unit 113 may perform a plurality of types of image processing. Further, the image processing unit 113 may repeat the same image processing a plurality of times.
  • the image processing unit 113 can acquire an image for image processing from another processing unit.
  • the image processing unit 113 may acquire a captured image generated by the sensor unit 112 from the sensor unit 112 and perform image processing on the captured image.
  • the image processing unit 113 obtains a decoded image obtained by decoding the encoded data obtained by encoding the image by the encoding / decoding unit 114 from the encoding / decoding unit 114, and outputs an image to the decoded image. Processing may be performed.
  • the image processing unit 113 may acquire the image generated by the control unit 115 from the control unit 115 and perform image processing on the image.
  • the image processing unit 113 may acquire an image input from the outside of the imaging apparatus 100 in the input unit 121 from the input unit 121 and perform image processing on the image. Further, for example, the image processing unit 113 may read out and acquire an image stored in the storage unit 123 and perform image processing on the image. Further, for example, when the communication unit 124 communicates with another device other than the imaging device 100, the image processing unit 113 acquires an image supplied from the other device from the communication unit 124, and adds the image to the image. Alternatively, image processing may be performed. Further, for example, the image processing unit 113 may read out and acquire an image stored in the removable medium 131 attached to the drive 125 and perform image processing on the image. .
  • the image processing unit 113 can also acquire arbitrary information other than images from other processing units.
  • the image processing unit 113 can acquire a sensing result supplied from the sensor unit 112 and perform image processing using the sensing result.
  • This sensing result may include information other than the image information as described above.
  • the image processing unit 113 can supply data such as an image subjected to image processing to other processing units as an image processing result.
  • the image processing unit 113 may supply the image processing result to the encoding / decoding unit 114 for encoding.
  • the image processing unit 113 may supply the image processing result to the control unit 115 and use it for the control.
  • the image processing unit 113 may supply the image processing result to the output unit 122 so that the image processing result is displayed as an image, output as sound, or output as data to the outside of the imaging apparatus 100.
  • the image processing unit 113 may supply the image processing result to the storage unit 123 so as to be stored.
  • the image processing unit 113 may supply the image processing result to the communication unit 124 to be supplied to another device.
  • the image processing unit 113 may supply the image processing result to the drive 125 and store it in the removable medium 131.
  • the image processing result may include arbitrary information other than the image information.
  • the encoding / decoding unit 114 performs processing related to encoding and decoding of information (programs, data, and the like).
  • This encoding method (decoding method) is arbitrary.
  • the encoding / decoding unit 114 may be configured to perform encoding using a plurality of methods.
  • the encoding / decoding unit 114 may support a plurality of encoding schemes and can perform encoding using any of these schemes.
  • the encoding / decoding unit 114 may perform encoding by combining a plurality of encoding methods. The same applies to decoding.
  • the encoding / decoding unit 114 may be capable of encoding and decoding information acquired from an arbitrary processing unit. For example, the encoding / decoding unit 114 reads information that has not been encoded from the sensor unit 112, the image processing unit 113, the control unit 115, the input unit 121, the storage unit 123, the communication unit 124, or the drive 125 (removable medium 131). The information may be acquired and the information may be encoded. Further, for example, information encoded by the encoding / decoding unit 114 from the sensor unit 112, the image processing unit 113, the control unit 115, the input unit 121, the storage unit 123, the communication unit 124, or the drive 125 (removable medium 131). And the information may be decrypted.
  • the encoding / decoding unit 114 may supply the encoding result or the data of the decoding result to an arbitrary processing unit.
  • the encoding / decoding unit 114 converts the encoding result or decoding result data into the sensor unit 112, the image processing unit 113, the control unit 115, the input unit 121, the storage unit 123, the communication unit 124, or the drive 125 (removable media). 131).
  • the control unit 115 performs processing related to control of the imaging apparatus 100.
  • the control unit 115 controls each processing unit of the optical unit 111 to the drive 125.
  • the control unit 115 can acquire information (programs, data, and the like) from other processing units and supply information to other processing units as necessary.
  • the input unit 121 performs processing related to input of information (programs, data, etc.) and instructions.
  • the input unit 121 has an arbitrary input device such as a jog dial (trademark), a key, a button, or a touch panel, receives an operation input of the input device by a user or the like, and a signal corresponding to the operation input (user instruction) May be supplied to other processing units such as the control unit 115.
  • the input unit 121 has an external input terminal, receives information supplied from the outside of the imaging apparatus 100 (such as another device connected via the external input terminal), and sends the information to the control unit. It may be supplied to other processing units such as 115.
  • the input unit 121 may include an input device such as a camera or a microphone so that a user's gesture, voice, or the like can be received as a user instruction.
  • the output unit 122 performs processing related to output of information (programs, data, etc.).
  • the output unit 122 may include a monitor that displays an image, and an arbitrary image may be displayed on the monitor.
  • the output unit 122 may acquire a captured image generated by the sensor unit 112 and display it on a monitor.
  • the output unit 122 may acquire an image processed by the image processing unit 113 and display it on a monitor.
  • the output unit 122 may acquire a decoded image obtained by decoding in the encoding / decoding unit 114 and display the decoded image on a monitor.
  • the output unit 122 may acquire an image (for example, a GUI (Graphical User Interface) image or the like) generated by the control unit 115 and display it on a monitor. Further, for example, the output unit 122 may acquire an image input from the outside at the input unit 121 and display it on a monitor. Further, for example, the output unit 122 may read and acquire an image stored in the storage unit 123 and display it on a monitor. Further, for example, the output unit 122 may acquire an image supplied from another device through communication of the communication unit 124 and display it on a monitor. Further, for example, the output unit 122 may read and acquire an image stored in the removable medium 131 via the drive 125 and display it on a monitor.
  • an image for example, a GUI (Graphical User Interface) image or the like
  • the output unit 122 may have a speaker that outputs sound, and may output arbitrary sound from the speaker.
  • the output unit 122 converts the output audio data into, for example, a sensor unit 112, an encoding / decoding unit 114, a control unit 115, an input unit 121, a storage unit 123, a communication unit 124, a drive 125 (removable media 131), and the like. You may make it acquire from arbitrary processing parts.
  • the output unit 122 has an external output terminal, and supplies arbitrary information (program, data, etc.) to the outside of the imaging apparatus 100 (other apparatus connected via the external output terminal). You may do it.
  • the output unit 122 outputs the output information to, for example, the sensor unit 112, the image processing unit 113, the encoding / decoding unit 114, the control unit 115, the input unit 121, the storage unit 123, the communication unit 124, and the drive 125 (removable medium 131). ) Etc. may be acquired from an arbitrary processing unit.
  • the storage unit 123 performs processing related to storage of information.
  • the storage unit 123 includes an arbitrary storage medium such as a flash memory, an SSD (Solid State Drive), or a hard disk.
  • the storage unit 123 stores arbitrary information (programs, data, and the like) in the storage medium.
  • the storage unit 123 may store image information such as a captured image or an image-processed image, additional information such as a depth information map, a reliability information map, and a luminance map described later, or other information such as control information, or the like.
  • the encoded data or the like may be stored in the storage medium.
  • the storage unit 123 stores the arbitrary information such as the sensor unit 112, the image processing unit 113, the encoding / decoding unit 114, the control unit 115, the input unit 121, the communication unit 124, the drive 125 (removable media 131), and the like. May be acquired from the processing unit and stored in a storage medium.
  • the storage unit 123 receives a request from any processing unit such as the sensor unit 112, the image processing unit 113, the encoding / decoding unit 114, the control unit 115, the input unit 121, the communication unit 124, the drive 125 (removable medium 131), and the like.
  • the information stored in the storage medium may be read out and supplied to an arbitrary processing unit as needed or necessary.
  • the communication unit 124 performs processing related to communication.
  • the communication unit 124 includes, for example, a wired LAN (Local Area Network), a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), infrared communication, HDMI (registered trademark) (High-Definition Multimedia Interface), or USB ( It has a communication interface of any standard such as Universal (Serial Bus).
  • the communication unit 124 can communicate with other devices via another face for the communication, and can exchange arbitrary information.
  • the communication unit 124 communicates with other devices to obtain image information such as a captured image or an image-processed image, additional information such as a depth information map, a reliability information map, and a luminance map described later, or control information. These other information, or their encoded data may be supplied to other devices or acquired from other devices.
  • the communication unit 124 converts the arbitrary information into the sensor unit 112, the image processing unit 113, the encoding / decoding unit 114, the control unit 115, the input unit 121, the storage unit 123, the drive 125 (removable medium 131), and the like. May be acquired from the processing unit and supplied to another apparatus.
  • the communication unit 124 acquires arbitrary information from another device, and uses the information as a sensor unit 112, an image processing unit 113, an encoding / decoding unit 114, a control unit 115, an input unit 121, a storage unit 123, and a drive 125. You may make it supply to arbitrary processing parts, such as (removable medium 131). That is, the communication unit 124 is an embodiment of a transmission unit that transmits an image subjected to image processing by the image processing unit 113 to another device.
  • the drive 125 performs processing related to the removable medium 131 attached to itself.
  • the removable medium 131 is a medium that can be attached to and detached from the drive 125, and is made of an arbitrary storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the drive 125 drives the removable medium 131 attached to the drive 125 as necessary, reads arbitrary information (program, data, etc.) written in the removable medium 131, and reads arbitrary information to the removable medium 131.
  • the drive 125 may perform image information such as a captured image or an image-processed image, additional information such as a depth information map, a reliability information map, and a luminance map described later, or other information such as control information, or a code thereof.
  • the digitized data or the like may be written to the removable medium 131.
  • the drive 125 converts the arbitrary information into an arbitrary processing unit such as a sensor unit 112, an image processing unit 113, an encoding / decoding unit 114, a control unit 115, an input unit 121, a storage unit 123, a communication unit 124, and the like. May be obtained and written to the removable medium 131.
  • the drive 125 is in response to a request from an arbitrary processing unit such as the sensor unit 112, the image processing unit 113, the encoding / decoding unit 114, the control unit 115, the input unit 121, the storage unit 123, the communication unit 124, or the like. If necessary, information written in the removable medium 131 may be read and supplied to an arbitrary processing unit.
  • an arbitrary processing unit such as the sensor unit 112, the image processing unit 113, the encoding / decoding unit 114, the control unit 115, the input unit 121, the storage unit 123, the communication unit 124, or the like. If necessary, information written in the removable medium 131 may be read and supplied to an arbitrary processing unit.
  • FIG. 2 is a block diagram illustrating a main configuration example of the image processing unit 113.
  • the image processing unit 113 includes a digital signal processing unit 141, a distance measuring unit 142, an area dividing unit 143, a determining unit 144, and an image processing unit 145.
  • the digital signal processing unit 141 performs processing related to digital signal processing. For example, the digital signal processing unit 141 processes a digital signal of a captured image supplied as a sensing result from the sensor unit 112 or the like, and holds it as captured image data. When the captured image is a moving image, the digital signal processing unit 141 performs the above-described processing on each frame image of the moving image. The digital signal processing unit 141 supplies the captured image held at an arbitrary timing to the region dividing unit 143 and the image processing unit 145.
  • the distance measuring unit 142 performs processing related to distance measurement.
  • the distance measuring unit 142 is supplied with a map of time from light emission to light reception of near infrared light corresponding to the captured image held in the digital signal processing unit 141 as a sensing result.
  • the distance measuring unit 142 performs distance measurement by the TOF method using the time from the emission of the near infrared light to the light reception, and a depth information map (captured image) corresponding to the captured image supplied to the digital signal processing unit 141.
  • a distribution in which the depth information indicating the depth of the image corresponds to the pixels of the captured image).
  • the distance measuring unit 142 generates a reliability map corresponding to the generated depth information map (a distribution in which reliability information indicating the reliability of each depth information in the depth information map is associated with the pixels of the captured image).
  • the method for calculating the reliability of the depth information is arbitrary. That is, the distance measuring unit 142 is an embodiment of a generating unit that generates image depth information and reliability information thereof. The distance measuring unit 142 supplies the generated depth information map and reliability map to the determining unit 144.
  • the region dividing unit 143 performs processing related to the division of the region of the captured image. For example, the area dividing unit 143 divides the captured image supplied from the digital signal processing unit 141 based on the luminance value of each pixel, and divides the image into a plurality of areas. To do. For example, the region dividing unit 143 compares the luminance value of each pixel of the captured image with a predetermined threshold and divides the region according to the magnitude relationship.
  • the area dividing unit 143 sets this threshold value to one, and each pixel of the captured image has an area whose luminance value is larger than the threshold value (or an area equal to or higher than the threshold value) and an area whose luminance value is equal to or lower than the threshold value (or less than the threshold value) Into one of two areas. That is, in this case, the captured image can be divided into a maximum of two regions.
  • the number of divisions in this area is arbitrary. That is, the number of thresholds is arbitrary and may be plural.
  • the threshold value may be two and the captured image may be divided into a maximum of three regions. Further, the threshold value may be three or more, and the captured image may be divided into a maximum of four or more regions.
  • the region dividing unit 143 has a distribution in which each region divided based on the luminance value (each pixel of the captured image is classified) as described above is associated with the pixel of the captured image. Generate a brightness map. The area dividing unit 143 supplies the generated luminance map to the determination unit 144.
  • the determination unit 144 performs processing related to determination of a target area for predetermined image processing. For example, based on the depth information map, the reliability map, and the luminance map, the determination unit 144 determines whether or not the captured image is a region (a clipping target region) that is a target of image clipping as predetermined image processing. Judgment is made. The determination unit 144 generates a clipping target map indicating the distribution of the clipping target area based on the determination result.
  • the determination unit 144 supplies the generated clipping target map to the image processing unit 145. Details of the processing of the determination unit 144 will be described later.
  • the image processing unit 145 performs processing related to image processing on the captured image. For example, the image processing unit 145 may cut out a clipping target region in the captured image supplied from the digital signal processing unit 141 based on the clipping target map supplied from the determination unit 144. Further, for example, the image processing unit 145 may combine the clipped image with another image (composition image) supplied from outside the image processing unit 113 to generate a combined result image. . Further, for example, the image processing unit 145 may supply the generated synthesis result image to the outside of the image processing unit 113 (for example, another processing unit).
  • the image processing unit 145 may cut out a clipping target region in the captured image supplied from the digital signal processing unit 141 based on the clipping target map supplied from the determination unit 144. Further, for example, the image processing unit 145 may combine the clipped image with another image (composition image) supplied from outside the image processing unit 113 to generate a combined result image. . Further, for example, the image processing unit 145 may supply the generated synthesis result
  • the image processing unit 145 cuts out a target region for image processing from an image and combines it with another image as image processing based on the clipping target map that is the determination result of the determination unit 144 to generate a composite image. It is one Embodiment of a part.
  • FIG. 3 is a block diagram illustrating a main configuration example of the determination unit 144.
  • the determination unit 144 includes, for example, a reliability determination unit 161, a depth determination unit 162, an area determination unit 163, a re-determination unit 164, and a clipping target map generation unit 165.
  • the re-determination unit 164 includes a luminance map determination unit 171 and a surrounding area determination unit 172.
  • the reliability determination unit 161 determines based on the depth information based on the reliability information indicating the reliability of the depth information indicating the depth of the image, based on the depth information. Determine whether. For example, the reliability determination unit 161 determines whether or not it is a clipping target region based on the reliability map corresponding to the captured image held in the digital signal processing unit 141, and the depth information map corresponding to the captured image. It is determined whether or not based on the above.
  • a method for determining whether or not to determine whether or not to be a clipping target region based on this reliability map is based on the depth information map.
  • the reliability determination unit 161 may determine whether or not an area in which the reliability of depth information is higher than a predetermined threshold (or greater than or equal to the threshold) is a clipping target area based on the depth information. Good.
  • the reliability determination unit 161 may not use the depth information whose reliability is equal to or lower than a predetermined threshold (or lower than the threshold) for determining whether the region is a clipping target region.
  • the determination unit 144 can use only depth information with sufficiently high reliability for determining whether or not it is a target region for image processing. Accordingly, it is possible to more accurately specify the area to be processed in the image.
  • the reliability determination unit 161 determines whether or not to determine whether or not the region is a clipping target region based on the depth information, based on the entire range of the reliability map (that is, all the captured images). Of the pixel). At that time, the reliability determination unit 161 may perform such determination for each single or a plurality of pixels of the captured image. That is, this determination may be performed using the range (single or plural reliability information) of the reliability map corresponding to the processing unit (single or plural pixels) when converted with the captured image as a processing unit. Good. The reliability determination unit 161 can perform such determination for each arbitrary processing unit. In addition, the size (for example, the number of pixels) and the shape of the processing unit for each determination may be uniform or may not be uniform.
  • the reliability determination unit 161 uses the depth information to extract a region to be clipped for an area (for example, a pixel) that is determined to have high depth information reliability (for example, higher than or equal to a predetermined threshold). Is determined so as to determine whether or not the image belongs to, and the process is passed to the depth determination unit 162.
  • the reliability determination unit 161 supplies the depth information map to the depth determination unit 162.
  • the reliability determination unit 161 determines whether or not an area (for example, a pixel) that is determined to have low depth information reliability (for example, lower than a predetermined threshold or lower than the predetermined threshold) belongs to the clipping target area. Is determined to be suspended, and the process is passed to the re-determination unit 164.
  • the depth determination unit 162 determines the depth using the depth information map for the entire range of the region to which the processing has been passed. At this time, the depth determination unit 162 may perform the determination of the depth for each pixel or a plurality of pixels of the captured image. The depth determination unit 162 supplies the determination result to the region determination unit 163. The area determination unit 163 determines whether or not it belongs to the clipping target area based on the determination result of the depth determination unit 162. At this time, for example, the region determination unit 163 may perform the above-described determination in the same processing unit as the determination by the depth determination unit 162 (for example, for each single or plural pixels of the captured image).
  • the method of determining whether the depth determination unit 162 and the region determination unit 163 belong to the clipping target region is arbitrary.
  • an area where the depth is determined to be closer than a predetermined threshold may be determined to be a target area for image processing.
  • an area (for example, a pixel) determined by the depth determination unit 162 to be positioned closer to this threshold is determined to belong to the clipping target area by the area determination unit 163. That is, a subject located closer to the threshold is determined as an image processing target. For example, in the case where the subject is positioned at the forefront in the captured image (when only the background exists for the subject), the determination unit 144 performs such a determination to cut out the portion of the subject. It can be determined that it belongs to the region.
  • the depth determination unit 162 may determine the depth using two threshold values.
  • the region determination unit 163 determines the subject (the subject positioned within a predetermined distance range in the depth direction (not necessarily the closest)) that the depth determination unit 162 determines to be positioned between the two thresholds. You may make it determine with belonging to a clipping object area
  • the depth determination unit 162 and the region determination unit 163 may determine whether or not the portion of the subject of interest belongs to the clipping target region without using a threshold value.
  • a subject located at a predetermined position (depth) in the depth direction may be a target of image processing.
  • the region determination unit 163 supplies information indicating the determination result of each region (for example, pixel) to the clipping target map generation unit 165 and the re-determination unit 164 (peripheral region determination unit 172).
  • the re-determination unit 164 performs determination (re-determination) as to whether or not the entire range of the region to which the process is passed belongs to the clipping target region. At this time, for example, the re-determination unit 164 uses other information different from the depth information (using depth information) for the region in which the reliability determination unit 161 determines that the reliability of the depth information is low (not high). Instead, it may be determined again whether or not it belongs to the clipping target area. Further, for example, the re-determination unit 164 may perform re-determination as to whether or not it belongs to the clipping target region using the brightness map as other information.
  • the determination method of the clipping target area by the re-determination unit 164 is arbitrary.
  • the reflectance of a portion where the brightness of near-infrared light is low tends to be lower than the reflectance of other portions. Therefore, using this tendency, the re-determination unit 164 belongs to a region to be cut out based on the luminance map, such as an area (for example, a pixel) whose luminance value is lower than a predetermined threshold (or lower than the threshold). May be determined.
  • the region that is desired to be cut out by the re-determination unit 164 is often a portion of the subject that has low reliability of depth information.
  • the re-determination unit 164 determines that a region whose luminance value is lower than a predetermined threshold value (or less than or equal to the threshold value) and that is in contact with other surrounding regions determined as the clipping target region belongs to the clipping target region. You may make it do.
  • the luminance map determination unit 171 determines a luminance value using the luminance map for the area to which the process has been passed. For example, the luminance map determination unit 171 may determine the luminance value using the luminance map for the entire range of the area to which the process has been passed. Further, for example, the luminance map determination unit 171 may perform the determination of the luminance value for each single or plural pixels of the captured image. The luminance map determination unit 171 supplies the determination result to the peripheral region determination unit 172.
  • the peripheral region determination unit 172 determines whether the luminance map determination unit 171 determines that the luminance value is lower than the threshold value (or less than or equal to the threshold value) depending on whether the peripheral region determination unit 171 touches the peripheral clipping target region. It is determined whether or not it belongs to.
  • the surrounding area determination unit 172 may perform the above-described determination in the same processing unit as the determination of the brightness map determination unit 171 (for example, for each pixel or a plurality of pixels of the captured image).
  • the surrounding area determination unit 172 supplies information indicating the determination result of each area (for example, pixel) to the clipping target map generation unit 165.
  • the cut target map generation unit 165 generates a cut target map indicating the distribution of the cut target region based on the information indicating the determination result supplied from the region determination unit 163 and the determination result supplied from the surrounding region determination unit 172. .
  • the clipping target map generation unit 165 supplies the generated clipping target map to the image processing unit 145.
  • each processing unit of the determination unit 144 executes the respective processes, so that the determination unit 144 obtains a target region for image processing based on highly reliable depth information and other information. it can. Therefore, the determination unit 144 can more accurately specify the region to be processed in the image.
  • FIGS. 1-10 various data generated and processed in the imaging apparatus 100 will be described with reference to FIGS.
  • the various types of data shown in these figures are shown as diagrams, but are actually configured as a set (distribution) of information in pixel units.
  • FIG. 4 shows an example of a captured image generated by the image sensor of the sensor unit 112 or the like.
  • the captured image 210 includes a subject 211 and a background image 212.
  • the subject 211 is a person, and in the captured image 210, the hair area 211A that is the hair part of the person, the face area 211B that is the face part of the person, and the body area 211C that is the part of the person's body. It is comprised by.
  • the background image 212 is a scenery behind the subject 211 (far from the subject 211 in the depth direction), and includes, for example, a pond 212A, a tree 212B, a mountain range 212C, and the like.
  • FIG. 5 shows an example of a depth information map generated by the distance measuring unit 142.
  • the depth information map 220 corresponds to the captured image 210 of FIG. 4, and depth information of each pixel of the captured image 210 is arranged in the same manner as the pixel arrangement of the captured image 210. That is, the depth information at each position in the depth information map 220 indicates the depth of the pixel at the same position in the captured image 210.
  • the depth information of the region 221A indicates the depth of the hair region 211A of the captured image 210.
  • the depth information of the area 221B indicates the depth of the face area 211B.
  • the region 221C indicates the depth of the body region 211C.
  • the depth information of these areas indicated by the horizontal line pattern is shown to be positioned closest to the depth information map 220. That is, the depth information values of these areas are smaller than other areas of the depth information map 220 (areas corresponding to the background image 212).
  • the depth information of the areas corresponding to the pond 212A, the tree 212B, the mountain range 212C, and the like of the captured image 210 is a value corresponding to each position (depth). It takes a value larger than the depth information of 221A to 221C.
  • the region 221A of the depth information map 220 corresponds to only a part of the hair region 211A (substantially right half in the figure). That is, only a part of the hair region 211A is measured as approximately the same distance as the face region 211B (depth information takes a small value), and the remaining part of the hair region 211A (substantially the left half in the figure) is measured. The distance is measured as impossible or the same distance as the background image 212 (depth information takes a large value).
  • FIG. 6 shows an example of the reliability map generated by the distance measuring unit 142.
  • the reliability map 230 corresponds to the depth information map 220 in FIG. 5 (that is, the captured image 210 in FIG. 4), and the reliability information of the depth information of each pixel in the captured image 210 is the pixel arrangement of the captured image 210.
  • the reliability information at each position in the reliability map 230 indicates the reliability of the depth information at the same position in the depth information map 220.
  • an area 231B indicates the reliability of the depth information of the area 221B of the depth information map 220 (the face area 211B of the captured image 210).
  • An area 231C indicates the reliability of the depth information of the area 221C (the trunk area 211C of the captured image 210) of the depth information map 220.
  • the reliability of the depth information of the area 221B corresponding to the face area 211B is high.
  • the reliability of the depth information of the region 221C corresponding to the body region 211C is high. That is, the area 231 ⁇ / b> B and the area 231 ⁇ / b> C indicated by diagonal lines in the reliability map 230 take a large value.
  • the reliability of the depth information of the region 221A corresponding to the hair region 211A is low. Further, since the region corresponding to the background image 212 is also located far away in the depth direction, the near-infrared light is not substantially reflected. Therefore, the reliability of the depth information in the area is low. That is, in the reliability map 230, regions other than the region 231B and the region 231C have a smaller value than the region 231B and the region 231C.
  • FIG. 7 shows an example of a luminance map generated by the area dividing unit 143.
  • the luminance map 240 corresponds to the captured image 210 of FIG. 4. For each region of the captured image 210, each pixel is assigned to one of two regions depending on the size of the luminance value using one threshold value. It is classified. That is, in this case, the region dividing unit 143 divides the entire region of the captured image 210 into two regions using one threshold value.
  • an area indicated by black in the luminance map 240 indicates an area composed of pixels whose luminance value is smaller than (or less than) the threshold value (that is, pixels darker than the threshold value).
  • a region indicated by white in the luminance map 240 indicates a region constituted by pixels (that is, pixels brighter than the threshold value) whose luminance value is equal to or higher than the threshold value (or larger than the threshold value).
  • the luminance value of the pixel of the subject 211 located on the near side is basically small. Therefore, these pixels are classified into regions (indicated by black in FIG. 7) whose luminance value is smaller than the threshold value, such as a region 241.
  • the threshold value such as a region 241.
  • the luminance value of a part of a region such as a portion that is exposed to light may be larger than a threshold value. In that case, the pixel is classified into a region (region shown in white in FIG. 7) whose luminance value is equal to or greater than a threshold value.
  • the luminance value of a pixel located far away in the depth direction is basically large. Therefore, these pixels are classified into regions (regions shown in white in FIG. 7) whose luminance value is equal to or greater than a threshold value. Even in the background image 212, the luminance value of a pixel in a dark part or a part with a noise component may be smaller than a threshold value.
  • the areas 242 to 245 in FIG. 7 are such areas, and are classified into areas whose luminance values are smaller than the threshold (areas shown in black in FIG. 7).
  • the portion in which the reliability of the depth information is determined to be greater than a predetermined threshold in the reliability map 230 and the value of the depth information in the depth information map 220 are predetermined. Pixels of the captured image 210 corresponding to both of the portions determined to be smaller than the threshold value of the image are classified into pixels belonging to the clipping target region (located in the clipping target region) (that is, the pixel is a clipping target) ).
  • the threshold value of the reliability information is a value between the values of the region 231B and the region 231C of the reliability map 230 and the values of the other regions
  • the reliability of the depth information of the region 231B and the region 231C is the threshold value. (Takes a value equal to or greater than the threshold).
  • the threshold value of the depth information is a value between the values of the regions 221A to 221C of the depth information map 220 and the values of the other regions
  • the depth information values of the regions 221A to 221C are the threshold values. (Takes a value smaller than the threshold value).
  • pixels of the captured image 210 corresponding to either one of the depth information areas 221A to 221C and one of the reliability information areas 231B and 231C are to be clipped.
  • FIG. 8 is a diagram illustrating an example of a portion generated by such a determination process of the clipping target map.
  • regions 251B and 251 of the clipping target map 250 are regions corresponding to both the depth information regions 221A to 221C and the reliability information regions 231B and 231C.
  • the pixels belonging to the areas 251B and the areas corresponding to the areas 251 are to be cut out.
  • the reliability determination unit 161 and the re-determination unit 164 determine that the reliability of the depth information is equal to or less than a predetermined threshold in the reliability map 230.
  • the pixels of the captured image 210 corresponding to both the portion that has been determined that the luminance value is lower than the predetermined threshold in the luminance map 240 and the portion that is in contact with the surrounding clipping target region are clipped.
  • the pixel is classified into a pixel belonging to the target area (that is, the pixel is a clipping target).
  • pixels belonging to the hair region 211A are not classified as clipping targets by the determination processing of the reliability determination unit 161 to the region determination unit 163.
  • the pixels belonging to the hair region 211A are classified by the luminance map determination unit 171 into the region 241 (region where the luminance value is smaller than the threshold (region indicated by black in FIG. 7)) in the luminance map 240.
  • the hair region 211A to which the pixel belongs is in contact with the face region 211B that is classified as a clipping target by the determination processing of the reliability determination unit 161 to the region determination unit 163. Therefore, the peripheral area determination unit 172 classifies this pixel (a pixel belonging to the hair area 211A) as a clipping target.
  • FIG. 9 is a diagram showing an example of a portion generated by such a determination process of the clipping target map.
  • a region 261A of the clipping target map 260 is a region corresponding to the hair region 211A.
  • the pixels of the captured image 210 corresponding to the region 261A that is, the pixels belonging to the hair region 211A are classified as clipping targets.
  • the cut target map generation unit 165 generates a cut target map that is a combination of the cut target map 250 and the cut target map 260.
  • the image processing unit 145 cuts out from the captured image 210 a region specified as a cutout target region in the cutout target map (that is, the cutout target map 250 and the cutout target map 260). That is, the area corresponding to the area 261A, the area 251B, and the area 251C of the captured image 210, that is, the portion of the subject 211 is cut out, and the portion of the background image 212 is deleted. Further, the image processing unit 145 combines the clipped image of the subject 211 with the combining image, and generates a combined result image.
  • FIG. 10 is a diagram illustrating an example of a synthesis result image generated by the image processing unit 145.
  • the composition image 272 is combined with the image of the subject 271 as the background of the subject 271.
  • the contents (image, size, aspect ratio, etc.) of the composition image are arbitrary.
  • the image processing unit 113 can also cut out the hair region 211A having low depth information reliability. That is, the image processing unit 113 can more accurately specify the image processing target area in the image by using other information for the portion with low reliability of the depth information.
  • the imaging apparatus 100 captures an image of a subject, processes the captured image, combines the image of the subject with another image for synthesis, encodes the combined result image, and transmits the image to the other device. It is.
  • step S101 the control unit 115 controls the sensor unit 112 in accordance with an instruction from the user or the like, such as pressing the shutter button of the input unit 121, and images the subject. .
  • the sensor unit 112 captures a subject with an image sensor to generate a captured image, and measures the time from near-infrared light emission to light reception using a light emitting unit, an infrared sensor, or the like.
  • step S102 the image processing unit 113 extracts (cuts out) an image of the subject from the captured image using the sensing result obtained in step S101, synthesizes it with the image for synthesis, and generates a synthesis result image. Perform image processing.
  • step S103 the encoding / decoding unit 114 encodes the synthesis result image generated in step S102 by an arbitrary encoding method to generate encoded data.
  • step S104 the communication unit 124 communicates with another device, and transmits the encoded data generated in step S103 to the other device of the communication partner.
  • step S104 When the process of step S104 is completed, the imaging transmission process is terminated.
  • the digital signal processing unit 141 of the image processing unit 113 When image processing is started, the digital signal processing unit 141 of the image processing unit 113 performs predetermined image processing on the captured image obtained in step S101 in step S121.
  • step S122 the distance measuring unit 142 generates a depth information map and a reliability map based on the time from the near-infrared light emission to the light reception, which is the sensing result obtained in step S101.
  • step S123 the region dividing unit 143 generates a luminance map from the captured image obtained in step S101.
  • step S124 the determination unit 144 performs a clipping target map generation process using the depth information map generated in step S122, the reliability map, the luminance map generated in step S123, the captured image, and the like, and generates a captured image. A corresponding clipping target map is generated.
  • step S125 the image processing unit 145 cuts out a cutout target area of the captured image based on the cutout target map generated in step S124, and synthesizes it with the synthesis image to generate a synthesis result image.
  • step S125 When the processing in step S125 is completed, the image processing is completed, and the processing returns to FIG.
  • step S141 the reliability determination unit 161 selects a pixel of a captured image to be processed (also referred to as a processing target pixel).
  • step S142 the reliability determination unit 161 determines whether or not the reliability of the depth information of the processing target pixel is higher than a predetermined threshold based on the reliability map. If it is determined that the reliability of the depth information is higher than the threshold, the process proceeds to step S143.
  • step S143 the depth determination unit 162 determines whether the depth information of the processing target pixel is lower than a predetermined threshold based on the depth information map.
  • the depth information is a value (small value) lower than the threshold value. If it is determined that the depth information of the pixel to be processed is lower than a predetermined threshold (that is, located closer to the depth corresponding to the threshold), the process proceeds to step S144.
  • step S144 the region determination unit 163 determines that the processing target pixel is a clipping target (that is, the processing target pixel belongs to the clipping target region).
  • the process of step S144 ends, the process proceeds to step S147.
  • step S143 If it is determined in step S143 that the depth information of the pixel to be processed is not lower than the predetermined threshold (that is, not less than the threshold (that is, located on the back side of the depth corresponding to the threshold)), the process proceeds to step S145. Proceed to
  • step S145 the region determination unit 163 determines that the processing target pixel is not a clipping target (that is, a non-clipping target (that is, the processing target pixel belongs to a non-clipping target region)).
  • the process of step S145 ends, the process proceeds to step S147.
  • step S142 If it is determined in step S142 that the reliability of the depth information is not higher than the threshold (below the threshold), the process proceeds to step S146.
  • step S146 the reliability determination unit 161 suspends the determination of whether or not the processing target pixel is a clipping target.
  • step S147 the reliability determination unit 161 determines whether all the pixels of the captured image have been processed. If it is determined that there is an unprocessed pixel, the process returns to step S141, and the subsequent processes are repeated. That is, the flow from step S141 to step S147 is executed for each pixel. If it is determined in step S147 that all the pixels of the captured image have been processed, the process proceeds to step S148.
  • step S148 the re-determination unit 164 performs re-determination processing on the pixels whose determination has been suspended by the processing in step S146, and re-determination as to whether or not the pixel is a clipping target. This re-determination is performed using information other than depth information.
  • step S149 the process proceeds to step S149.
  • step S149 the clipping target map generation unit 165 generates a clipping target map based on the determination result of each pixel obtained as described above.
  • the clip target map generation process ends, and the process returns to FIG.
  • step S161 the luminance map determination unit 171 selects a processing target pixel from the pixels whose determination is suspended by the process of step S146.
  • step S162 the luminance map determination unit 171 determines whether or not the luminance value of the processing target pixel is lower than a predetermined threshold (the image of the processing target pixel is darker than the brightness corresponding to the threshold) based on the luminance map. judge. If it is determined that the luminance value is lower than the threshold value, the process proceeds to step S163.
  • a predetermined threshold the image of the processing target pixel is darker than the brightness corresponding to the threshold
  • step S163 the peripheral region determination unit 172 determines whether or not the region to which the processing target pixel belongs in the luminance map touches the clipping target region. If it is determined to contact, the process proceeds to step S164.
  • step S164 the surrounding area determination unit 172 determines that the processing target pixel is a clipping target (that is, the processing target pixel belongs to the clipping target area).
  • the process of step S164 ends, the process proceeds to step S166.
  • step S162 If it is determined in step S162 that the luminance value of the processing target pixel is not lower than the threshold value (is equal to or higher than the threshold value (the image of the processing target pixel is brighter than the brightness corresponding to the threshold value), the process proceeds to step S165. move on. If it is determined in step S163 that the region to which the processing target pixel belongs does not touch the clipping target region, the process proceeds to step S165.
  • step S165 the peripheral region determination unit 172 determines that the processing target pixel is a non-clipping target (not a clipping target (that is, the processing target pixel belongs to a non-clipping target region)).
  • the process of step S165 ends, the process proceeds to step S166.
  • step S166 the luminance map determination unit 171 determines whether or not all the pixels whose determination has been suspended by the process of step S146 have been processed. If it is determined that there is an unprocessed pixel, the process returns to step S161, and the subsequent processes are repeated. That is, the flow from step S161 to step S166 is executed for each pixel for which determination has been suspended by the process of step S146. If it is determined in step S166 that all the pixels whose determination has been suspended in the process of step S146 have been processed, the redetermination process ends, and the process returns to FIG.
  • Various threshold values such as the reliability information threshold value, the depth information threshold value, and the luminance value threshold value described above may be predetermined values (fixed values) set in advance, or values set by the user or the like. It may be set (variable value).
  • the imaging apparatus 100 displays a GUI (Graphical User Interface) that accepts a threshold setting input by a user or the like on the monitor of the output unit 122, and inputs an user instruction input based on the GUI. 121, and various threshold values may be set to values specified by the user instruction.
  • GUI Graphic User Interface
  • control unit 115 For example, the control unit 115 generates the GUI, supplies it to the output unit 122, and displays it on the monitor. In addition, the control unit 115 controls the input unit 121 to accept an input of a user instruction based on the GUI. And the control part 115 sets various threshold values according to the user instruction received via the input part 121. That is, the control unit 115 may be an embodiment of a setting unit that sets a threshold value.
  • FIG. 15 shows a display example of the GUI.
  • a threshold value input screen 300 shown in FIG. 15 is a GUI that receives an input related to threshold setting by a user or the like. As illustrated in FIG. 15, the threshold value input screen 300 includes an image display unit 301, an image display unit 302, a slide bar 303, a slide bar 304, a slide bar 305, and a determination button 306.
  • the image display unit 301 is an area for displaying an image cut out from the captured image based on the current threshold setting (cut-out image).
  • the image display unit 302 is an area for displaying a cut-out image reflecting a change in threshold setting by the slide bar 303 to the slide bar 305.
  • the slide bar 303 to the slide bar 305 are GUIs for controlling each threshold setting. By accepting control of each threshold setting by such a slide bar, the user can easily control each threshold setting (by simply moving the pointer to the left and right).
  • the slide bar 303 is for controlling the threshold setting of depth information. For example, when the user moves the pointer 303A of the slide bar 303 in the horizontal direction in the drawing along the slide bar 303, the threshold setting of the depth information is changed according to the position of the pointer 303A.
  • the position in the depth direction corresponding to the threshold (distance to that position) is reduced, and when the user moves the pointer 303A in the right direction in the figure, the threshold is set.
  • the corresponding position in the depth direction (the distance to that position) becomes far. That is, by controlling the position of the pointer 303A, the user can easily control the depth range of the subject to be clipped (where the subject is located where the depth is located). it can.
  • the position in the depth direction corresponding to this threshold is moved to the back, the depth to be clipped Since the width of the direction widens, more subjects can be cut out. Conversely, when the position in the depth direction corresponding to this threshold value is moved to the near side, the width in the depth direction to be clipped is narrowed, and the subject to be clipped is narrowed down.
  • the user can operate the pointer 303A to the right side in the drawing so that the desired subject is included in the clipped image.
  • the user operates the pointer 303A to the left side in the drawing to reduce unnecessary subjects included in the cropped image. Can be made.
  • the slide bar 304 is for controlling the threshold setting of the reliability information. For example, when the user moves the pointer 304A of the slide bar 304 along the slide bar 304 in the horizontal direction in the drawing, the threshold setting of the reliability information is changed according to the position of the pointer 304A.
  • the reliability of the depth information corresponding to the threshold increases, and when the user moves the pointer 304A to the right in the figure, the reliability of the depth information corresponding to the threshold. Low. That is, the user can easily control the reliability range of the depth information to be clipped by controlling the position of the pointer 304A.
  • the threshold value of reliability information increases, the number of depth information having a value larger than the threshold value decreases. That is, the area determined as the clipping target based on the depth information is narrowed. Conversely, when the threshold value of reliability information is lowered, the number of depth information having a value larger than the threshold value increases. That is, the area that is determined as a clipping target based on the depth information is widened.
  • the user when a part of a desired subject is shaved in the cutout image (a part of the desired subject is not included in the cutout image), the user operates the pointer 304A to the right side in the drawing, It is possible to expand the clipping target area so that a larger portion of the desired subject is included in the clipped image (the portion of the subject image to be cut is reduced). Further, for example, when a portion other than the desired subject is included in the cutout image, the user operates the pointer 304A to the left side in the figure, so that the cutout target area is narrowed and the desired image included in the cutout image is included. Unnecessary parts other than the subject can be reduced.
  • the slide bar 305 is for controlling the threshold value setting of the luminance value. For example, when the user moves the pointer 305A of the slide bar 305 in the horizontal direction in the drawing along the slide bar 305, the threshold value setting of the luminance value is changed according to the position of the pointer 305A.
  • the luminance value corresponding to the threshold value increases, and when the user moves the pointer 305A to the right in the drawing, the luminance value corresponding to the threshold value decreases. That is, the user can easily control the range of brightness values (lightness) to be clipped by controlling the position of the pointer 305A.
  • the threshold value of the luminance value is one and a pixel having a luminance value (dark part) smaller than the threshold value is a clipping target
  • the luminance value corresponding to this threshold value is increased (moved to the bright side). Since the range of brightness to be clipped increases, a wider area can be clipped. Conversely, if the luminance value corresponding to this threshold value is reduced (moved to the dark side), the width of the luminance to be clipped becomes narrow, and the area that can be clipped is reduced (to be narrowed down to a darker area).
  • the user operates the pointer 305A to the right side in the drawing to display the hair portion. May be prevented from being cut (included in the clipping target).
  • the user operates the pointer 305A to the left side in the drawing to change the surrounding portion of the subject. There is a possibility that it can be cut off (not included in the clipping target).
  • a cut-out image with a threshold setting reflecting the movement of the pointers 303A to 305A as described above is displayed on the image display unit 302.
  • the image display unit 301 still displays the cut-out image before the threshold setting is changed. Therefore, by referring to the image displayed on the image display unit 301 and the image displayed on the image display unit 302, the user can influence the clipping target due to the movement of the pointers 303A to 305A (that is, It is possible to easily grasp how the clipped image changes by moving the pointers 303A to 305A.
  • the threshold value input screen 300 also displays an explanation for each slide bar. By performing such display, the user or the like can more easily grasp the function of each slide bar.
  • “distance” is displayed instead of “depth information threshold” on the slide bar 303
  • “range” is displayed on the slide bar 304 instead of “reliability information threshold”.
  • “Color” is displayed for the bar 305 instead of “brightness threshold”.
  • the description of each slide bar is an indirect expression, so that the user or the like can more intuitively understand how the operation of each slide bar affects.
  • the determination button 306 is a GUI button for determining threshold control by slide bar operation.
  • a threshold setting corresponding to the position of each pointer at that time is registered. That is, the control unit 115 sets various threshold values according to a user instruction indicated by the position of each pointer.
  • the control unit 115 supplies the threshold setting to the image processing unit 113.
  • the image processing unit 113 can determine whether or not the image processing target area is the target region using the threshold setting, and can generate a cut-out image that reflects the threshold setting.
  • the threshold value acceptance may be further terminated and the threshold value input screen 300 may be closed.
  • the imaging apparatus 100 can more appropriately determine the target area for image processing for more various images.
  • the threshold value input screen 300 is provided with a slide bar for each threshold value.
  • a user etc. can control each threshold value independently.
  • a plurality of threshold values may be controlled by one slide bar.
  • the threshold values controlled by each of the plurality of slide bars may overlap.
  • threshold A and threshold B may be controlled by a certain slide bar
  • threshold B and threshold C may be controlled by another slide bar.
  • a slide bar is provided for threshold control, but the GUI for threshold control is arbitrary and is not limited to a slide bar.
  • a knob, dial, button, or the like may be used.
  • the layout of the threshold value input screen is arbitrary and is not limited to the example of FIG.
  • the control unit 115 executes a threshold setting process.
  • An example of the flow of this threshold setting process will be described with reference to the flowchart of FIG.
  • the threshold value setting process is disclosed.
  • control unit 115 When the threshold value setting process is started, the control unit 115 generates a threshold value input screen that is a GUI and displays it on the monitor of the output unit 122 in step S181.
  • step S182 the control unit 115 controls the input unit 121 to accept an input (user instruction) regarding threshold setting based on the threshold value input screen.
  • step S183 the control unit 115 sets various thresholds based on the user instruction received in step S182.
  • the control unit 115 supplies the updated threshold value to the image processing unit 113.
  • the image processing unit 113 performs image processing using the updated threshold value.
  • step S183 ends, the threshold setting process ends.
  • the control unit 115 can update each threshold. Therefore, the imaging apparatus 100 can more appropriately determine the target area for image processing for a wider variety of images.
  • the threshold value updating method is arbitrary and is not limited to this example.
  • the threshold value may be automatically controlled according to an image to be subjected to image processing such as a captured image.
  • the luminance map (luminance value) is used as other information different from the depth information to re-determine whether or not it is a target area for image processing, but this other information is optional. Yes, it is not limited to this example.
  • a color map color information
  • an area in which the color difference from the surrounding image processing target area is smaller than a predetermined threshold may be determined as the image processing target area.
  • FIG. 17 is a block diagram illustrating a main configuration example of the determination unit 144 in that case. Also in this case, the determination unit 144 has basically the same configuration as that described with reference to FIG. However, in the case of FIG. 17, the re-determination unit 164 includes a clipping target color information reference unit 321 and a color determination unit 322. Further, the region determination unit 163 supplies the determination result to the clipping target color information reference unit 321.
  • the area dividing unit 143 (FIG. 2) of the image processing unit 113 generates a color map instead of the luminance map.
  • the color map is a distribution in which each area of the captured image divided based on the color information (each pixel of the captured image is sorted) is associated with the pixel of the captured image.
  • the format (color scale) of this color information is arbitrary. RGB may be sufficient, YUV may be sufficient, and others may be sufficient.
  • the region dividing unit 143 forms a region by collecting pixels of similar colors in the captured image, and divides the captured image into a plurality of regions.
  • FIG. 18 is a diagram illustrating an example of a color map.
  • the captured image is divided into seven regions.
  • the area dividing unit 143 can divide the captured image into a plurality of areas by reducing the number of colors of the captured image.
  • the color map is represented as a diagram, but in practice, it is configured as a set (distribution) of information in pixel units.
  • the region dividing unit 143 supplies the color map generated in this way to the clipping target color information reference unit 321 of the redetermination unit 164.
  • the clipping target color information reference unit 321 sets a sample color.
  • the sample color is arbitrary, but may be color information of a region to be cut out around the processing target, for example.
  • the color information of the pixel closest to the processing target belonging to the clipping target region around the processing target may be used as the sample color.
  • the clipping target color information reference unit 321 supplies the sample color information and the color map to the color determination unit 322.
  • the color determination unit 322 compares each color component (or color difference component) of the color information of the region to which the processing target belongs in the color map and each color component (or color difference component) of the sample color, and processes the processing based on the similarity. It is determined whether or not is a clipping target.
  • the color determination unit 322 compares the color information of the processing target area (pixel) and the sample color for each color component (or color difference component), and compares the difference (error) with a threshold value.
  • This threshold is arbitrary.
  • the threshold value may be an absolute value, and the color determination unit 322 may compare the absolute value of the error with the threshold value.
  • a threshold is set for each of the positive direction and the negative direction of the error, and the color determination unit 322 determines the error according to the error direction (whether the error is a positive direction error or a negative direction error). You may make it compare with the threshold value of a direction (the threshold value of a positive direction, or the threshold value of a negative direction).
  • the threshold value may be common to all color components (or all color difference components), or may be an independent value for each color component (or color difference component).
  • the color determination unit 322 determines that the processing target is a clipping target.
  • the color determination unit 322 determines that the processing target is a non-clipping target.
  • the color determination unit 322 may determine that the processing target is a clipping target when the error is smaller than the threshold value (or less than or equal to the threshold value). However, even when only some of the color components (or color difference components) have an error smaller than the threshold value (or less than or equal to the threshold value), the processing target may be determined as the clipping target.
  • the sample color is RGB notation (255, 160, 122).
  • the color information of the pixel to be processed is (250, 128, 114) in RGB notation.
  • the error between the color information of the pixel to be processed and the sample color is ( ⁇ 5, ⁇ 32, ⁇ 8).
  • the threshold value is (+ ⁇ ) 60 for each RGB, for example, the error is smaller than the threshold value in all of RGB. In such a case, the color determination unit 322 determines that the pixel to be processed is a clipping target.
  • the color determination unit 322 may determine that the pixel to be processed is a non-clipping target or may be determined to be a clipping target.
  • the color determination unit 322 supplies information indicating the determination result of each region (for example, pixel) to the clipping target map generation unit 165.
  • the clipping target map generation unit 165 generates a clipping target map based on the determination result, as in the case of the first embodiment.
  • An area that is determined as a clipping target when the redetermination process is performed based on the luminance map as in the first embodiment and when the redetermination process is performed based on the color map as in the present embodiment. May be different.
  • a luminance map a low-luminance (dark) region is determined as a clipping target.
  • a color map a color region close to a sample color is determined as a clipping target. Accordingly, there is a possibility that areas having different characteristics may be determined as the clipping target area.
  • the image processing target area in the image is specified more accurately. In addition to this, it is possible to obtain a region having characteristics different from those in the first embodiment as a target region for image processing.
  • ⁇ Re-judgment process> Also in this case, the imaging transmission process, the image process, the clipping target map generation process, and the like are executed in the same manner as in the first embodiment. However, in step S123 (FIG. 12) of the image processing, a color map is generated instead of the luminance map.
  • the clipping target color information reference unit 321 selects a processing target pixel from the pixels whose determination is suspended by the process of step S146 in step S201.
  • step S202 the clipping target color information reference unit 321 uses the color information of the pixel closest to the processing target pixel belonging to the clipping target area in the vicinity (periphery) of the processing target pixel selected in step S201 as a sample color.
  • step S203 the color determination unit 322 determines whether the difference (error) between the color information of the pixel to be processed and the sample color is smaller than (or less than) the threshold value. If it is determined that this error is smaller than the threshold (or less than or equal to the threshold), the process proceeds to step S204.
  • step S204 the color determination unit 322 determines that the processing target pixel is a clipping target.
  • the process of step S204 ends, the process proceeds to step S206.
  • step S203 If it is determined in step S203 that the error is greater than or equal to the threshold (or greater than the threshold), the process proceeds to step S205.
  • step S205 the color determination unit 322 determines that the processing target pixel is a non-clipping target.
  • the process of step S205 ends, the process proceeds to step S206.
  • step S206 the clipping target color information reference unit 321 determines whether or not all the pixels whose determination has been suspended by the processing in step S146 have been processed. If it is determined that there is an unprocessed pixel, the process returns to step S201, and the subsequent processes are repeated. That is, the flow from step S201 to step S206 is executed for each pixel whose determination is suspended by the process of step S146. If it is determined in step S206 that all the pixels whose determination has been suspended by the process in step S146 have been processed, the re-determination process ends, and the process returns to FIG.
  • the threshold value of the color information may be a predetermined value (fixed value) that is set in advance, similarly to the threshold value of the luminance value, or the value can be set by the user (variable value). It may be.
  • the color information threshold value may be controlled by the user based on a GUI (threshold value input screen) in the same manner as the luminance value threshold value. That is, also in the present embodiment, for example, the imaging apparatus 100 (control unit 115) displays a GUI for accepting a threshold setting input by a user or the like on the monitor of the output unit 122, and the user is input based on the GUI.
  • An instruction may be received via the input unit 121, and various threshold values may be set to values specified by the user instruction.
  • FIG. 20 is a diagram showing an example of a threshold value input screen which is a GUI displayed for setting a threshold value of color information.
  • the threshold value input screen 340 includes an image display unit 341, an image display unit 342, a slide bar 343, a slide bar 344, a slide bar 345, and a determination button 346.
  • the image display unit 341 is a display unit similar to the image display unit 301 of the threshold value input screen 300, and displays a captured image that does not reflect the threshold setting control based on the operation of the threshold value input screen 340.
  • the image display unit 342 is a display unit similar to the image display unit 302 of the threshold value input screen 300, and a captured image that reflects the threshold setting control based on the operation of the threshold value input screen 340 is displayed. .
  • the slide bar 343 is for controlling the threshold setting of depth information in the same manner as the slide bar 303 on the threshold value input screen 300.
  • the pointer 343A corresponds to the pointer 303A of the threshold value input screen 300.
  • the slide bar 344 is for controlling the threshold value setting of the reliability information, like the slide bar 304 of the threshold value input screen 300.
  • the pointer 344A corresponds to the pointer 304A of the threshold value input screen 300.
  • the slide bar 345 is for controlling the threshold setting of the color information. For example, when the user moves the pointer 345A of the slide bar 345 along the slide bar 345 in the left-right direction in the figure, the color information threshold setting is changed according to the position of the pointer 345A.
  • the threshold value decreases, and when the user moves the pointer 345A in the right direction in the figure, the threshold value increases. That is, the user can easily control the range of color information to be clipped by controlling the position of the pointer 345A.
  • the threshold value of the color information is one and a pixel whose error from the sample color is smaller than the threshold value is set as a clipping target
  • the threshold value is increased (moved to the “different” side)
  • the range of colors to be expanded is widened, a wider area can be a clipping target.
  • this threshold value is decreased (moved to the “same” side)
  • the range of colors to be clipped becomes narrow, and the area that can be clipped may be reduced.
  • a portion of a color that hardly reflects near-infrared light (for example, black) can be set as a clipping target region.
  • black may increase due to a shadow or the like, and the reliability of the depth information may be reduced, and may be determined as a non-clipping target. is there.
  • the color error between the shadow portion and the surrounding clipping target area may exceed the threshold value, and may be a non-clipping target.
  • the user can operate the pointer 345A to the right side in the drawing to increase the threshold value, so that the color error between the shadow portion and the surrounding clipping target area can be made smaller than the threshold value.
  • the shadow portion can be the target of clipping.
  • the non-subject portion may be clipped by the re-determination process using the color information.
  • the color error between the subject portion and the surrounding non-subject portion can be made larger than the threshold value.
  • a non-clipping portion can be set as a non-cutout target.
  • a slide bar corresponding to a threshold whose value is variable may be provided on the threshold value input screen.
  • all threshold values may be variable, or some threshold values may be variable.
  • the slide bar may be provided only for a part of the threshold value having a variable value.
  • the determination button 346 is a GUI button similar to the determination button 306 on the threshold value input screen 300. By depressing this determination button 346, the threshold value control by the slide bar operation is determined.
  • the imaging apparatus 100 determines the target region of image processing for more various images. It can be done more appropriately.
  • a hairstyle model is used as other information used in the re-determination process, and an area belonging to the hair area in the hairstyle model is determined to be an image processing target area based on the hairstyle model data representing the hairstyle model. It may be.
  • a plurality of hairstyle models (also referred to as hairstyle models) as shown in FIG. 21 are prepared in advance, and a user selects a hairstyle model close to the actual hairstyle of the subject, and the hairstyle model is the subject of the captured image.
  • the hairstyle model is superimposed on the captured image, and the hairstyle model is aligned so that the face portion of the subject of the captured image and the hairstyle model are superimposed without any sense of incongruity), and the hair of the captured image is the hairstyle model.
  • a region corresponding to a certain portion (also referred to as a hair region) is set as a clipping target.
  • the hairstyle model data 350 shown in FIG. 21 is data including images of 50 types of hairstyle models.
  • the data of the hairstyle model may be image data, or information indicating the shape, range, color, etc. (can be imaged). Further, other information regarding the hairstyle may be included in the hairstyle model data 350.
  • the hairstyle model data 350 is stored in advance in the storage unit 123, the removable medium 131, or the like, for example.
  • the control unit 115 reads out and acquires the hairstyle model data 350 from these.
  • Hairstyle model data 350 may be supplied from the outside via the input unit 121 or the communication unit 124.
  • the control unit 115 displays a GUI including a list of hairstyle models (such as characters and images) included in the hairstyle model data 350 on the monitor of the output unit 122, and allows the user to select a hairstyle.
  • the control unit 115 controls the input unit 121 to accept user input to the GUI, that is, selection of a hairstyle, and supplies the selected hairstyle model data to the image processing unit 113.
  • the determination unit 144 of the image processing unit 113 performs re-determination processing using the supplied hairstyle model data.
  • the hair portion in the captured image has a complicated shape, it is an unstable region that can have various patterns due to light adjustment. For this reason, if it is determined whether the image is to be clipped based on image information (luminance, color, etc.) of the captured image, there is a possibility that the hair portion cannot be clipped stably and accurately (depending on the image). there is a possibility).
  • image information luminance, color, etc.
  • the hairstyle model it is possible to specify the clipping target with a physical shape (physical range). A stable region can be targeted for clipping.
  • the method of aligning the hairstyle model with respect to the captured image is arbitrary.
  • the imaging apparatus 100 may perform face detection or the like to specify the face portion of the subject of the captured image, and align the hairstyle model with the face portion, or the captured image and the hairstyle model may be GUI. It may be displayed on the monitor and the user may be aligned.
  • the prepared hairstyle model (included in the hairstyle model data 350) is arbitrary and is not limited to the example of FIG. Also, the number of hairstyle models prepared is arbitrary and is not limited to the example of FIG. Further, the user may be able to process the hairstyle model (change the hairstyle). Further, the user may be able to generate a hairstyle model. For example, the user may be able to input a hairstyle model by handwriting using a GUI or the like, or the user inputs another captured image or the like to register the hairstyle of the subject included in the captured image as a model. You may be able to do that.
  • a method using this hairstyle model may be combined with another method.
  • a method using a luminance value and a method using this hairstyle model may be combined. That is, it is possible to determine that a region whose luminance is lower than a predetermined threshold and that belongs to the hair region in the hairstyle model is a target region for image processing. By doing in this way, it is possible to more accurately determine the hair portion of the subject as a target region for image processing.
  • FIG. 22 is a block diagram illustrating a main configuration example of the determination unit 144 in this case. Also in this case, the determination unit 144 has basically the same configuration as that described with reference to FIG. However, in the case of FIG. 22, the re-determination unit 164 includes a hairstyle determination unit 361 instead of the surrounding region determination unit 172. Further, the region determination unit 163 does not supply the determination result to the redetermination unit 164. In this case, the hairstyle model data selected by the user or the like is supplied to the hairstyle determination unit 361 from the control unit 115 or the like, for example.
  • the luminance map determination unit 171 determines whether the region is a clipping target region based on the luminance value as in the case of FIG. 3 and supplies the determination result to the hairstyle determination unit 361.
  • the hairstyle determination unit 361 includes a position of an area (for example, a pixel) in which the luminance map determination unit 171 determines that the luminance value is lower than a predetermined threshold (or less than the threshold), and the position of the aligned hairstyle model.
  • a predetermined threshold or less than the threshold
  • the hairstyle determination unit 361 supplies the determination result to the clipping target map generation unit 165.
  • the clipping target map generation unit 165 generates a clipping target map based on the determination result, as in the case of the first embodiment.
  • the hair portion of the subject can be made the target area for image processing more stably.
  • step S221 the luminance map determination unit 171 selects a processing target pixel from the pixels whose determination is suspended by the process of step S146.
  • step S222 the luminance map determination unit 171 determines whether or not the luminance value of the processing target pixel is lower than a predetermined threshold (the image of the processing target pixel is darker than the brightness corresponding to the threshold) based on the luminance map. judge. If it is determined that the luminance value is lower than the threshold value, the process proceeds to step S223.
  • a predetermined threshold the image of the processing target pixel is darker than the brightness corresponding to the threshold
  • step S223 the hairstyle determination unit 361 determines whether the processing target pixel belongs to the hair region in the employed hairstyle model (for example, the hairstyle model selected by the user or the like). If it is determined that the pixel to be processed belongs to the hair region, the process proceeds to step S224.
  • the processing target pixel belongs to the hair region in the employed hairstyle model (for example, the hairstyle model selected by the user or the like). If it is determined that the pixel to be processed belongs to the hair region, the process proceeds to step S224.
  • step S224 the hairstyle determination unit 361 determines that the processing target pixel is a clipping target (that is, the processing target pixel belongs to the clipping target area).
  • the process of step S224 ends, the process proceeds to step S226.
  • step S222 If it is determined in step S222 that the luminance value of the processing target pixel is not lower than the threshold value (is equal to or higher than the threshold value (the image of the processing target pixel is brighter than the brightness corresponding to the threshold value), the process proceeds to step S225. move on. If it is determined in step S223 that the processing target pixel does not belong to the hair region of the hairstyle model, the process proceeds to step S225.
  • step S225 the hairstyle determination unit 361 determines that the processing target pixel is a non-clipping target (not a clipping target (that is, the processing target pixel belongs to a non-clipping target region)).
  • the process of step S225 ends, the process proceeds to step S226.
  • step S226 the luminance map determination unit 171 determines whether or not all the pixels whose determination has been suspended by the process of step S146 have been processed. If it is determined that there is an unprocessed pixel, the process returns to step S221, and the subsequent processes are repeated. That is, the flow from step S221 to step S226 is executed for each pixel whose determination is suspended by the process of step S146. If it is determined in step S226 that all the pixels whose determination has been suspended in the process of step S146 have been processed, the redetermination process ends, and the process returns to FIG.
  • ⁇ Redetermination based on texture model> For example, a hair texture model is used as other information used in the re-determination process, and an area having a texture similar to the texture model is a target area for image processing based on the texture model data representing the texture model. May be determined.
  • a plurality of hair texture models (also referred to as texture models) as shown in FIG. 24 are prepared in advance, and a texture model close to the actual hair (color, hair quality, etc.) of the subject is selected by the user from among them. Then, a texture region close to the selected texture model of the captured image is set as a clipping target.
  • the texture model data 370 shown in FIG. 24 is data including images of three types of texture models.
  • the texture model data may be image data, or may be information indicating a pattern, color, or the like (can be imaged). Further, other information regarding the texture may be included in the texture model data 370.
  • the texture model data 370 is stored in advance in the storage unit 123, the removable medium 131, or the like, for example.
  • the control unit 115 reads and acquires the texture model data 370 from these.
  • the texture model data 370 may be supplied from the outside via the input unit 121 or the communication unit 124.
  • the control unit 115 displays a GUI including a list of texture models (characters, images, etc.) included in the texture model data 370 on the monitor of the output unit 122, and allows the user to select a texture.
  • the control unit 115 controls the input unit 121 to accept user input to the GUI, that is, texture selection, and supplies the selected texture model data to the image processing unit 113.
  • the determination unit 144 of the image processing unit 113 performs re-determination processing using the supplied texture model data.
  • the prepared texture model (included in the texture model data 370) is arbitrary and is not limited to the example of FIG.
  • the number of prepared texture models is also arbitrary, and is not limited to the example of FIG.
  • the texture may be a texture other than hair (for example, clothes, skin, wallpaper, etc.).
  • the user may be able to process or generate (or newly register) the texture model. For example, the user may be able to input a new texture by handwriting using a GUI or the like, or the user may register a texture included in the image as a model by inputting another image or the like. You may be able to do it.
  • a texture area close to the texture model may be set as a non-clipping target.
  • texture models such as wallpaper, furniture, and nature may be prepared, and an area having a texture different from those may be determined as a subject (a target to be cut out).
  • a method using this texture model may be combined with another method.
  • a method using a luminance value and a method using this texture model may be combined.
  • an area having a luminance lower than a predetermined threshold and having a texture close to the texture model may be determined as an image processing target area.
  • FIG. 25 is a block diagram illustrating a main configuration example of the determination unit 144 in this case. Also in this case, the determination unit 144 has basically the same configuration as that described with reference to FIG. However, in the case of FIG. 25, the re-determination unit 164 includes a texture determination unit 381 instead of the surrounding region determination unit 172. Further, the region determination unit 163 does not supply the determination result to the redetermination unit 164. In this case, texture model data selected by the user or the like is supplied to the texture determination unit 381 from the control unit 115 or the like, for example.
  • the luminance map determination unit 171 determines whether or not it is a clipping target region based on the luminance value as in the case of FIG. 3 and supplies the determination result to the texture determination unit 381.
  • the texture determination unit 381 determines that the texture of a predetermined area to which an area (for example, a pixel) whose luminance value is determined to be lower than (or less than) the predetermined threshold by the luminance map determination unit 171 is the texture model data. It is determined whether or not the texture is similar (for example, whether or not the difference is equal to or less than a predetermined threshold). Then, when the textures are similar, the texture determination unit 381 determines that the region is a clipping target. In addition, when the textures are not similar, the texture determination unit 381 determines that the region is a non-clipping target.
  • the texture determination unit 381 supplies the determination result to the clipping target map generation unit 165.
  • the clipping target map generation unit 165 generates a clipping target map based on the determination result, as in the case of the first embodiment.
  • the target area for image processing can be determined more accurately.
  • the luminance map determination unit 171 selects a processing target pixel from the pixels whose determination is suspended in step S146 in step S241.
  • step S242 the luminance map determination unit 171 determines whether or not the luminance value of the processing target pixel is lower than a predetermined threshold (the image of the processing target pixel is darker than the brightness corresponding to the threshold) based on the luminance map. judge. If it is determined that the luminance value is lower than the threshold value, the process proceeds to step S243.
  • a predetermined threshold the image of the processing target pixel is darker than the brightness corresponding to the threshold
  • step S243 the texture determination unit 381 determines whether the texture of the region to which the processing target pixel belongs is similar to the texture of the adopted texture model (for example, the texture model selected by the user or the like). If it is determined that the textures are similar, the process proceeds to step S244.
  • step S244 the texture determination unit 381 determines that the processing target pixel is a clipping target (that is, the processing target pixel belongs to the clipping target area).
  • the process of step S244 ends, the process proceeds to step S246.
  • step S242 If it is determined in step S242 that the luminance value of the processing target pixel is not lower than the threshold value (is equal to or higher than the threshold value (the image of the processing target pixel is brighter than the brightness corresponding to the threshold value), the process proceeds to step S245. move on. If it is determined in step S243 that the textures are not similar, the process proceeds to step S245.
  • step S245 the texture determination unit 381 determines that the processing target pixel is a non-clipping target (not a clipping target (that is, the processing target pixel belongs to a non-clipping target region)).
  • the process of step S245 ends, the process proceeds to step S246.
  • step S246 the luminance map determination unit 171 determines whether or not all the pixels whose determination has been suspended by the process of step S146 have been processed. If it is determined that there is an unprocessed pixel, the process returns to step S241 and the subsequent processes are repeated. That is, the flow from step S241 to step S246 is executed for each pixel whose determination is suspended by the process of step S146. If it is determined in step S246 that all the pixels whose determination has been suspended in the process of step S146 have been processed, the re-determination process ends, and the process returns to FIG.
  • the shape of the subject may be recognized in the captured image, and the shape recognition result may be used as other information in the redetermination process.
  • an area that can be estimated as an image processing target from the shape recognition result may be determined as an image processing target area.
  • the shape of the subject belonging to the region is recognized from the region determined as the clipping target based on the depth information, and the surrounding region is further determined again based on the shape of the subject.
  • an area that can be estimated to be a part of the subject from the shape of the recognized subject around the area that has already been determined as the clipping target is added to the clipping target. That is, the shape of the subject is recognized based on the clipping target region, and the region that is a part of the subject but not the clipping target is estimated based on the shape of the subject.
  • the clothes color of the subject 391 and the color of the sofa 392 are similar (for example, When both are black), it is difficult to detect the boundary between the clothes of the subject 391 and the sofa 392, and not only the subject 391 but also the sofa 392 may be determined as a clipping target.
  • the shape of the subject is recognized from the face, hand, foot, and the like of the subject 391 that is set as the clipping target region based on the depth information, and based on the recognition result, the body portion of the subject 391 (that is, the clothing part) ) Is also estimated to be part of the subject 391.
  • the clipping target area based on such an estimation result, as shown in FIG. 27B, the clothes part of the subject 391 is determined as the clipping target area, and the sofa 392 part is determined as the non-cutting target area. can do.
  • the subject portion can be more accurately determined as an image processing target.
  • the method for recognizing the subject shape is arbitrary.
  • the method using the object shape recognition may be combined with another method.
  • a method using luminance values may be combined with a method using subject shape recognition.
  • an area that has a luminance lower than a predetermined threshold and can be estimated to be an image processing target area based on the shape of the subject may be determined as an image processing target area.
  • FIG. 28 is a block diagram illustrating a main configuration example of the determination unit 144 in this case. Also in this case, the determination unit 144 has basically the same configuration as that described with reference to FIG. However, in the case of FIG. 28, the re-determination unit 164 includes a shape recognition unit 401 instead of the surrounding region determination unit 172. Further, the region determination unit 163 supplies the determination result to the shape recognition unit 401.
  • the luminance map determination unit 171 determines whether or not it is a clipping target region based on the luminance value as in the case of FIG. 3 and supplies the determination result to the shape recognition unit 401.
  • the shape recognition unit 401 recognizes the shape of the subject belonging to the clipping target region based on the determination result of the region determination unit 163. Further, the shape recognition unit 401 determines a region that can be estimated as a clipping target based on the recognized shape of the subject as a clipping target, and determines a region that cannot be estimated as a non-cutting target.
  • the shape recognition unit 401 supplies the determination result to the clipping target map generation unit 165.
  • the clipping target map generation unit 165 generates a clipping target map based on the determination result, as in the case of the first embodiment.
  • the target area for image processing can be determined more accurately.
  • the luminance map determination unit 171 selects a processing target pixel from the pixels whose determination is suspended in step S146 in step S261.
  • step S262 the luminance map determination unit 171 determines whether or not the luminance value of the processing target pixel is lower than a predetermined threshold (the image of the processing target pixel is darker than the brightness corresponding to the threshold) based on the luminance map. judge. If it is determined that the luminance value is lower than the threshold value, the process proceeds to step S263.
  • a predetermined threshold the image of the processing target pixel is darker than the brightness corresponding to the threshold
  • step S263 the shape recognition unit 401 recognizes the entire shape of the subject included in the clipping target area based on the image of the area determined as the clipping target (the clipping target area) by the process in step S144.
  • step S264 the shape recognizing unit 401 determines whether the processing target pixel can be estimated as a clipping target based on the shape of the subject recognized in step S263. If it is determined that the processing target pixel is located in the region recognized as the subject in step S263 and it can be estimated that the processing target pixel is a clipping target, the process proceeds to step S265.
  • step S265 the shape recognition unit 401 determines that the processing target pixel is a clipping target (that is, the processing target pixel belongs to the clipping target area).
  • the process of step S265 ends, the process proceeds to step S267.
  • step S262 If it is determined in step S262 that the luminance value of the processing target pixel is not lower than the threshold value (is equal to or higher than the threshold value (the image of the processing target pixel is brighter than the brightness corresponding to the threshold value), the process proceeds to step S266. move on. If it is determined in step S264 that the processing target pixel is not located in the region recognized as the subject in step S263 and the processing target pixel cannot be estimated as a clipping target, the process proceeds to step S266. move on.
  • step S266 the shape recognition unit 401 determines that the processing target pixel is a non-clipping target (not a clipping target (that is, the processing target pixel belongs to a non-clipping target region)).
  • the process of step S266 ends, the process proceeds to step S267.
  • step S267 the luminance map determination unit 171 determines whether or not all the pixels whose determination has been suspended by the process of step S146 have been processed. If it is determined that there is an unprocessed pixel, the process returns to step S261, and the subsequent processes are repeated. That is, the flow from step S261 to step S267 is executed for each pixel whose determination is suspended by the process of step S146. If it is determined in step S267 that all the pixels whose determination has been suspended in the process of step S146 have been processed, the redetermination process ends, and the process returns to FIG.
  • the TOF method has been described as an example of the distance measurement method, but the distance measurement method is arbitrary.
  • a structured light method may be used in which a predetermined projection pattern by infrared rays or the like is projected onto a subject, and depth detection is performed by analyzing the deformation.
  • a stereo matching method that performs depth detection using the parallax of the captured image may be used as a distance measurement method.
  • the SfM method which performs depth detection by calculating and optimizing the relationship between images, such as the alignment of feature points using multiple captured images captured from different angles, is used as the distance measurement method. You may make it use.
  • the sensor unit 112 may have a plurality of image sensors.
  • the distance measurement unit 142 performs distance measurement using captured images (that is, a plurality of captured images) obtained by a plurality of image sensors, and generates depth information and reliability information.
  • the reliability of depth information is unlikely to be reduced by the way of reflecting infrared rays, such as TOF. Therefore, in this case, the reliability of the depth information is less affected by the material or the like than the distance measurement method using infrared rays. However, since occlusion is likely to occur, the reliability of depth information is likely to be reduced in a portion where occlusion occurs. As described above, there is a possibility that the distribution of the depth information and the reliability information thereof changes depending on the characteristics of the distance measurement method.
  • the re-determination processing method may be a method according to (more suitable) the characteristics of the distance measurement method. For example, in general, occlusion is likely to occur at a boundary portion of a subject to be clipped (in the vicinity of the boundary between the subject portion and the background portion), and is also likely to occur at a portion that is not a dark portion. That is, in this case, the reliability of the depth information may be reduced regardless of the luminance. Therefore, when ranging is performed using a plurality of captured images as in the stereo matching method or the like, the re-determination process is not performed based on the luminance information, as in the example described with reference to FIGS. Alternatively, it may be performed based on the color information.
  • the distance measurement unit 142 may perform processing so as to compensate for each other's weak points in consideration of the characteristics of each distance measurement method, and generate optimal (more accurate) depth information and reliability information. .
  • Image processing to which the present technology is applied can be executed on an arbitrary image.
  • an image other than the captured image such as an artificially generated image such as a computer graphic image, can be the target of image processing to which the present technology is applied.
  • the image to be clipped is arbitrary, and for example, an image other than a person such as an article may be clipped. Further, the number of images to be clipped may be one in the captured image, or may be plural.
  • an image that is a target of image processing to which the present technology is applied may be a still image or a moving image.
  • image processing to which the present technology is applied may be performed on each frame image of the moving image.
  • Image processing to which the present technology is applied can be realized by simple processing such as map generation and determination processing, and does not require processing with a large load or processing time such as complicated calculation. Therefore, the image processing to which the present technology is applied fails even when the processing target is a moving image (the image processing is delayed with respect to the frame speed of the moving image, and finally the processing becomes impossible).
  • Each frame can be processed immediately (in real time)
  • the re-determination process by the re-determination unit 164 is based on information (for example, luminance, color, etc.) regarding a frame image other than the processing target frame image (for example, an image of a frame earlier than the processing target frame). May be performed.
  • the re-determination method (and other information used for the re-determination) may be a combination of a plurality of methods (and a plurality of information).
  • the combination method is arbitrary.
  • the method of performing re-determination based on the hairstyle model described in the fourth embodiment is combined with the method of performing re-determination based on the color map instead of the method of performing re-determination based on the luminance map. You may make it use.
  • the method for performing re-determination based on the texture model described in the fifth embodiment may be used in combination with the method for performing re-determination based on a color map.
  • the method for performing redetermination based on shape recognition described in the sixth embodiment may be used in combination with the method for performing redetermination based on a color map.
  • the re-determination unit 164 may be able to select an arbitrary method from a plurality of methods.
  • the redetermination method may be changed depending on the region to be processed.
  • Each method described above has different characteristics. That is, there is a case where the orientation is not suitable depending on the image.
  • a method based on a luminance map is suitable (if the region to be cut out can be more accurately determined) if the luminance is greatly different between the subject portion and the other portion.
  • a method based on a color map is suitable for a region where the color of the subject portion and the other portion are greatly different (highly likely to be able to determine the clipping target region). . Therefore, by allowing the re-determination unit 164 to select a more appropriate method (which can determine the clipping target region more accurately) according to the characteristics of the image of the processing target region, The clip target area can be determined more accurately.
  • image processing processing for cutting out an image of a predetermined subject portion from an image (and processing for combining the cut-out image with another image) has been described, but image processing to which the present technology is applied May be any process as long as the process is performed on an area determined as a target area based on highly reliable depth information, and is not limited to this example.
  • it may be processing for detecting an image (subject) in the processing target area as a tracking target or a monitoring target, or what the subject is (for example, a person, an animal, or an object). ) May be analyzed.
  • the present technology by applying the present technology, it is possible to more accurately specify the region to be processed in the image, so that the image processing is performed in a more appropriate range. be able to. For example, when the tracking target or the monitoring target described above is specified, the tracking target can be detected more accurately. Further, when the subject analysis described above is performed, it is possible to more accurately analyze what the subject is.
  • the present technology is not limited to this, and the present technology can be applied to any device. That is, the image processing to which the present technology is applied can be executed in an arbitrary device.
  • the image processing to which the present technology is applied may be executed in an apparatus such as the imaging apparatus 100 that does not have an imaging function. Further, for example, image processing to which the present technology is applied may be executed in a device having a function other than the function that the imaging device 100 has.
  • image processing to which the present technology is applied is an image processing device that performs image processing, an electronic device such as an AV device or a household appliance, an information processing device such as a server or a personal computer, a portable information processing terminal such as a tablet terminal or a smartphone It may be executed by a communication device such as a mobile phone, a LAN device, or a wireless communication device. Of course, it may be executed in other devices.
  • image processing to which the present technology is applied may be performed in a plurality of apparatuses.
  • a part of image processing to which the present technology is applied may be performed by the first device, and other processing of the image processing to which the present technology is applied may be performed by the second device. That is, the present technology can be applied not only to a device but also to a system including a plurality of devices.
  • FIG. 30 is a block diagram illustrating a main configuration example of an image processing system to which the present technology is applied.
  • An image processing system 500 illustrated in FIG. 30 is a system that processes an image, and includes a server 501, a terminal device 503-1, and a terminal device 503-2. These devices are connected to the network 502 by wired communication, wireless communication, or both.
  • the network 502 is an arbitrary communication network, may be a wired communication network, a wireless communication network, or may be configured by both of them. Further, the network 502 may be configured by a single communication network, or may be configured by a plurality of communication networks.
  • the network 502 may include a communication network or a communication path of an arbitrary communication standard such as a wired communication network complying with the standard.
  • the server 501, the terminal device 503-1, and the terminal device 503-2 are communicably connected to each other via the network 502, and exchange image data with each other.
  • the server 501 provides services related to image processing to the terminal device 503-1 and the terminal device 503-2.
  • the terminal device 503-1 and the terminal device 503-2 operate as clients and receive services related to image processing from the server 501.
  • the terminal device 503-1 and the terminal device 503-2 are referred to as a terminal device 503 when there is no need to distinguish between them.
  • the image processing system 500 is illustrated as having two terminal devices 503, but the number of terminal devices 503 included in the image processing system 500 is arbitrary.
  • the imaging device 100 may be applied as the terminal device 503, and a composite image generated by image processing as described above may be transmitted from the terminal device 503 to the server 501. . Further, a part of the above-described image processing may be performed in the terminal device 503 and the remaining processing may be performed in the server 501.
  • the terminal device 503 performs processing of the digital signal processing unit 141 to the region dividing unit 143 to transmit the processing target image (captured image), the depth information map, the reliability map, the luminance map, and the like to the server 501.
  • the determination unit 144 and the image processing unit 145 may perform processing.
  • the processing of the digital signal processing unit 141 to the determination unit 144 may be performed in the terminal device 503 and the processing of the image processing unit 145 may be performed in the server 501.
  • which process is performed by the terminal device 503 or the server 501 is arbitrary, and is not limited to the above-described example.
  • the processing of the determination unit 144 may be performed by a plurality of devices.
  • the processing of the reliability determination unit 161 to the region determination unit 163 may be performed in the terminal device 503, and the processing of the re-determination unit 164 and the clipping target map generation unit 165 may be performed in the server 501.
  • which process is performed by the terminal device 503 or the server 501 is arbitrary, and is not limited to the above-described example.
  • the terminal device 503 transfers the image to be processed (captured image) to the server 501 and performs all these image processing (all the processing of the digital signal processing unit 141 to the image processing unit 145) in the server 501. Also good.
  • the terminal device 503 may transfer an image or the like to another terminal device 503 without going through the server 501.
  • a part of the image processing described above is performed in the transfer source terminal device 503 (for example, the terminal device 503-1), and the rest of the processing is performed on the transfer destination other terminal device 503 ( For example, it may be performed in the terminal device 503-2).
  • Which process is performed by which terminal device 503 is arbitrary as in the case of the server 501.
  • the present technology can be applied to image processing for displaying another moving image on a background portion other than a person when relaying to a live broadcast site.
  • the present technology can be applied to image processing that relays from a room in the room but produces an image as if relaying from the south island by playing a video of the south island in the background.
  • the server 501 provides a live broadcast site that distributes moving images supplied from the terminal device 503, and the terminal device 503-1 is a subject (person) ) And the moving image is transferred (uploaded) to the server 501, and the terminal device 503-2 acquires and reproduces (displays) the moving image distributed by the server 501.
  • the terminal device 503-1 cuts out the image of the person from each frame of the captured image obtained by capturing the person, and uploads a moving image in which the video of the south island is synthesized as the background to the server 501. .
  • the server 501 distributes the uploaded moving image.
  • the terminal device 503-2 receives and displays the moving image. That is, the terminal device 503-2 displays a moving image in which a video of a south island is combined with a clipped image of a person as a background. By such image processing, it can be produced as if relaying from a southern island. Of course, any image can be synthesized as this background, so that a desired effect can be achieved.
  • the image processing to which the present technology is applied can process a moving image in real time, and therefore can be executed without failure even in such a relay to a live broadcast site.
  • the image processing in this case may be performed in an arbitrary apparatus. For example, it may be performed in the terminal device 503-1, may be performed in the server 501, or may be performed in both.
  • this technology can be applied to image processing that blurs background parts other than people when relaying to a live broadcast site.
  • this technology can be applied to image processing that relays from your room, but makes the background stand out (blurring outlines and color shading) to make only the person stand out more impressively. .
  • the terminal device 503-1 cuts out a human image from each frame of the captured image, blurs only the background image, and synthesizes a moving image obtained by combining the clipped human image and the blurred background image.
  • the server 501 distributes the uploaded moving image.
  • the terminal device 503-2 receives and displays the moving image. That is, the terminal device 503-2 displays a moving image in which only the background portion is blurred.
  • the image processing to which the present technology is applied can process a moving image in real time, and therefore can be executed without failure even in such a relay to a live broadcast site.
  • the image processing in this case may be performed in an arbitrary apparatus. For example, it may be performed in the terminal device 503-1, may be performed in the server 501, or may be performed in both.
  • the present technology is applied to image processing that combines on the same screen a clipped image of each user.
  • the real-time video communication service is a service provided in a communication service by communication via the network 502 such as a so-called chat service or a video conference system.
  • the real-time video communication service will be described using the image processing system 500 in FIG. 30 as an example.
  • the server 501 provides communication services such as a chat service and a real-time video communication service to the terminal device 503-1 and the terminal device 503-2. To do.
  • the terminal device 503-1 and the terminal device 503-2 upload a captured image obtained by capturing the user to the server 501
  • the server 501 combines the images, and the combined image is used as the terminal device 503-1 and the terminal device 503. 2, the terminal device 503-1 and the terminal device 503-2 each acquire and display the composite image.
  • the server 501 cuts out the image of the user from each frame of the images supplied from the terminal device 503-1 and the terminal device 503-2 and synthesizes them with the background video.
  • the server 501 supplies the moving image of the composite image generated in this way to the terminal device 503-1 and the terminal device 503-2.
  • the composite image is displayed. Accordingly, the users of the terminal device 503-1 and the terminal device 503-2 can communicate as if they met each other at the same place.
  • the image processing to which the present technology is applied can process a moving image in real time, and thus can be executed without failure even in such a real-time video communication service.
  • the image processing in this case may be performed in an arbitrary apparatus. For example, it may be performed in the server 501 or may be performed in both the server 501 and the terminal device 503.
  • the user's image may be cut out at each terminal device 503, and the server 501 may combine the cut-out user's image with the background image.
  • image processing that combines a captured background image with only a portion of the user combined with a predetermined background image
  • the present technology can be applied to. For example, if a clip of only the user's part is combined with a live video of the artist of the song, it is possible to produce an effect as if the user is singing as a member of the band right next to the vocal.
  • Such a moving image distribution service will be described using the image processing system 500 in FIG. 30 as an example.
  • the terminal device 503-1 installed in a karaoke room captures a captured image (moving image) obtained by capturing a user who is singing. Upload to server 501.
  • the server 501 provides the moving image distribution or download service.
  • the terminal device 503-2 acquires the moving image (moving image of the user who is singing) from the server 501, and displays it.
  • the terminal device 503-1 cuts out the user's part from each frame of the captured image (moving image) obtained by capturing the user who is singing, and synthesizes the live image of the artist. Then, the terminal device 503-1 uploads the composite image (moving image) to the server 501.
  • the server 501 provides the composite image distribution or download service.
  • the terminal device 503-2 acquires the moving image (a combined image in which the moving image of the user who is singing is combined with the live video of the artist) from the server 501, and displays it. Therefore, the user of the terminal device 503-2 can view an image produced as if the user singing in the karaoke room is right next to the vocal and the user is singing as a member of the band.
  • the image processing to which the present technology is applied can process a moving image in real time, and thus can be executed without failure even in such a moving image distribution service.
  • the image processing in this case may be performed in an arbitrary apparatus. For example, it may be performed in the terminal device 503-1, may be performed in the server 501, or may be performed in both.
  • the present technology is applied to image processing for combining a user's captured image obtained by clipping only the user's portion with a predetermined background image. can do. For example, if what is cut out only from the user is combined with a game image, it is possible to produce an effect as if the user entered the game world, and the user's feeling of being buried can be improved.
  • the game image may be an artificially generated image such as a computer graphic image, or may be a real image.
  • a user's imaging and user's operation are accepted, a process related to the game corresponding to the accepted user's operation, a cutout of the user's part from the captured image, and a game image corresponding to the process relating to the game.
  • Image processing such as synthesis of a user image and a game image according to generation and processing related to the game, and processing such as display of the composite image are performed.
  • Such a game system will be described by taking the image processing system 500 of FIG. 30 as an example.
  • the terminal device 503-1 is assumed to be a computer or a game device, and the above-described game system is realized by the terminal device 503-1 alone. Also good. In that case, the terminal device 503-1 executes all the processes described above.
  • the terminal device 503-1 can more accurately cut out a desired portion of the image by performing image processing to which the present technology is applied in cutting out the user's portion from the captured image. . That is, for example, the user's image can be cut out more accurately and synthesized with the game image. Therefore, a video with a more natural synthesis result can be displayed as a game image. That is, it is possible to display an image with a stronger sense of reality. Thereby, a user's feeling of being buried can be improved further.
  • the image processing to which the present technology is applied can process a moving image in real time, and thus can be executed without failure even in such a game system.
  • a game system is realized in which the server 501 provides a game to the terminal device 503-1 and the user of the terminal device 503-1 operates the terminal device 503-1 to play the game. You may do it. Also in this case, by performing image processing to which the present technology is applied in cutting out the user's part from the captured image, it is possible to cut out a desired part of the image more accurately. That is, a more realistic video can be displayed, and the user's feeling of being buried can be further improved. Of course, since the image processing to which the present technology is applied can process a moving image in real time, it can be executed without failure in this case as well. Note that the image processing in this case may be performed in the terminal device 503-1, may be performed in the server 501, or may be performed in both.
  • the terminal device 503-1 and the terminal device 503-2 communicate with each other without going through the server 501, so that the users of the terminal device 503-1 and the terminal device 503-2 play the same game. It may be. Also in this case, by performing image processing to which the present technology is applied in cutting out the user's part from the captured image, it is possible to cut out a desired part of the image more accurately. That is, a more realistic video can be displayed, and the user's feeling of being buried can be further improved. In this case, a plurality of user images may be combined with the same image of the game, or may be combined with different images.
  • the image processing to which the present technology is applied can process a moving image in real time, it can be executed without failure in this case as well.
  • the image processing in this case may be performed in an arbitrary apparatus. For example, it may be performed in the terminal device 503-1, may be performed in the terminal device 503-2, or may be performed in both.
  • the terminal device 503-1 and the terminal device 503-2 communicate with each other via the server 501, so that the users of the terminal device 503-1 and the terminal device 503-2 play the same game. May be.
  • the image processing in this case may be performed in an arbitrary apparatus. For example, it may be performed in the terminal device 503-1, may be performed in the terminal device 503-2, may be performed in the server 501, or a plurality of them. It may be performed in the apparatus, or may be performed in all of them.
  • the terminal device 503-1 displays a dance moving image as a model.
  • the moving image data may be stored in the terminal device 503-1 (or a removable medium set in the terminal device 503-1), or may be stored in other servers such as the server 501 and the terminal device 503-2. It may be transmitted from the apparatus.
  • the user of the terminal device 503-1 dances by imitating the dancer's dance of the model moving image.
  • the terminal device 503-1 images the dancing user.
  • the user's part is cut out from the captured image, or the clipped user's image and a model moving image are located beside the model dancer, for example. In this way, image processing such as synthesis is performed.
  • the terminal device 503-1 displays a composite image of the user image and the model image processed in this way.
  • the image processing to which the present technology is applied by performing image processing to which the present technology is applied, a desired portion of the image can be clipped more accurately. That is, for example, the user's image can be cut out more accurately and synthesized with the model image. Therefore, it is possible to display an image with a more natural synthesis result. That is, it is possible to display an image with a stronger sense of reality.
  • the image processing to which the present technology is applied can process a moving image in real time, and thus can be executed without failure even in such a game system.
  • the image processing in this case may be performed in an arbitrary apparatus. For example, it may be performed in the terminal device 503, may be performed in the server 501, or may be performed in both of them.
  • the server 501 implements an auction site.
  • the auction site provides a service for placing an article provided by the user of the terminal device 503 on an auction.
  • the terminal device 503 provides the server 501 with information related to the article such as an image of the article (propagation photo).
  • a user of another terminal device 503 participating in the auction of the article refers to information (such as a photo of the material) on the auctioned item on the auction site, determines a bid amount, and bids.
  • the server 501 gives a purchase right for the article to any user who bids (for example, the user who bids the most).
  • the user of the terminal device 503 who auctions his / her goods generally desires to produce the goods so that the goods can be felt in good quality (expensive) so as to be bid at a higher price.
  • good quality expensive
  • an image to be cut out is arbitrary, and is not limited to an image of a person such as an article.
  • the image processing may be performed in an arbitrary device.
  • it may be performed in the terminal device 503, may be performed in the server 501, or may be performed in both of them.
  • image processing to which the present technology can be applied is not limited to the above-described example.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • the imaging device 100, the server 501, or the terminal device 503 may be configured as a computer that can execute the software.
  • Examples of the computer include a computer incorporated in dedicated hardware and a general-purpose computer capable of executing an arbitrary function by installing various programs.
  • FIG. 31 is a block diagram illustrating a hardware configuration example of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 610 is also connected to the bus 604.
  • An input unit 611, an output unit 612, a storage unit 613, a communication unit 614, and a drive 615 are connected to the input / output interface 610.
  • the input unit 611 includes arbitrary input devices such as a keyboard, a mouse, a touch panel, an image sensor, a microphone, a switch, and an input terminal.
  • the output unit 612 includes an arbitrary output device such as a display, a speaker, and an output terminal, for example.
  • the storage unit 613 includes an arbitrary storage medium such as a non-volatile memory such as a hard disk, a RAM disk, an SSD (Solid State Drive), a USB (Universal Serial Bus) memory, or the like.
  • the communication unit 614 is, for example, any communication standard such as Ethernet (registered trademark), Bluetooth (registered trademark), USB, HDMI (registered trademark) (High-Definition Multimedia Interface), IrDA, wired or wireless, or both. Communication interface.
  • the drive 615 drives a removable medium 621 having an arbitrary storage medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 601 loads the program stored in the storage unit 613 into the RAM 603 via the input / output interface 610 and the bus 604 and executes the program, for example. Is performed.
  • the RAM 603 also appropriately stores data necessary for the CPU 601 to execute various processes.
  • the program executed by the computer is provided by being recorded on a recording medium such as a package medium.
  • this recording medium is configured by a removable medium 131 on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body.
  • the program stored in the removable medium 131 can be read and installed in the storage unit 123.
  • this recording medium is constituted by a removable medium 621 on which a program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body. .
  • the program stored in the removable medium 621 can be read and installed in the storage unit 613.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 124 and installed in the storage unit 123.
  • the program can be received by the communication unit 614 and installed in the storage unit 613.
  • this program can also be installed in advance in a storage unit or ROM.
  • the program can be installed in advance in a storage unit 123, a ROM built in the image processing unit 113, or the control unit 115.
  • the program can be installed in advance in the storage unit 613, the ROM 602, or the like.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
  • Information necessary for processing may be transmitted to the apparatus as appropriate.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • ⁇ Usage example> As in the example shown in FIG. 32, the present technology can be used for apparatuses and systems in various fields.
  • Devices and systems that capture images for viewing such as digital cameras, systems using such digital cameras, portable devices with camera functions, and systems using such portable devices ⁇ Safe driving such as automatic stop
  • in-vehicle electronic devices that capture images of the front, rear, surroundings, and interiors of automobiles, systems using such electronic devices, surveillance cameras that monitor traveling vehicles and roads, and the like
  • Imaging devices and systems that are used for traffic such as surveillance systems using surveillance cameras, ranging devices that measure distances between vehicles, and systems that use such ranging devices, etc.
  • Devices and systems used for home appliances such as TVs, refrigerators, air conditioners, etc.
  • Endoscopes systems using the endoscopes, infrared light Devices and systems used for medical and healthcare, such as devices that image blood vessels using light, and systems that use such devices
  • Security cameras for surveillance applications systems that use surveillance cameras, and human authentication applications
  • Devices and systems used for security such as cameras and systems using the cameras
  • Skin measuring instruments that capture the skin, systems that use the skin measuring instruments, microscopes that capture the scalp, and microscopes
  • Equipment and systems used for beauty such as systems used ⁇
  • For sports such as action cameras for sports applications, systems using the action cameras, wearable cameras and systems using the wearable cameras, etc.
  • Equipment and systems provided ⁇ Cameras for monitoring the state of fields and crops, systems using such cameras, etc.
  • the present invention is not limited to the device or system on which the determination unit 144 is mounted, or the manufacturing apparatus or manufacturing method thereof, but any configuration on which the determination unit 144 is mounted, for example, as a system LSI (Large Scale Integration)
  • the present invention can also be implemented as a processor, a module using a plurality of processors, a unit using a plurality of modules, a set obtained by further adding other functions to the unit, or a manufacturing apparatus or a manufacturing method for manufacturing those configurations.
  • this technique can also take the following structures. (1) Based on the reliability information indicating the reliability of the depth information indicating the depth of the image, it is determined whether or not it is determined based on the depth information whether or not it is a target area for predetermined image processing.
  • An image processing apparatus comprising a determination unit. (2) The determination unit determines whether or not a region where the reliability of the depth information is higher than a predetermined threshold is a target region for the image processing based on the depth information. Image processing device. (3) The image processing device according to (2), wherein the determination unit determines that an area in which the depth is closer than a predetermined threshold is a target area for the image processing.
  • the determination unit determines whether an area where the reliability of the depth information is not higher than a predetermined threshold is a target area for the image processing based on other information different from the depth information.
  • the image processing apparatus according to any one of (1) to (3).
  • the image processing device according to (5), wherein the determination unit determines that an area whose luminance is lower than a predetermined threshold is a target area for the image processing.
  • the determination unit determines that an area belonging to a hair area in the hairstyle model is a target area for the image processing based on hairstyle model data representing a hairstyle model as the other information.
  • the image processing apparatus according to any one of 9).
  • the determination unit determines that a region whose texture is similar to the texture model is a target region for the image processing.
  • the image processing apparatus according to any one of 10).
  • the determination unit recognizes the shape of the subject belonging to the clipping target region, and based on the shape of the subject recognized as the other information, determines the region that can be estimated as the image processing target.
  • the image processing device according to any one of (4) to (11), wherein the image processing device is determined to be a processing target region.
  • the determination unit determines, for each pixel or a plurality of pixels, whether or not to determine whether or not the region is the target region of the image processing based on the depth information.
  • (1) to (12) An image processing apparatus according to any one of the above.
  • (14) The image processing device according to any one of (1) to (13), wherein the determination unit generates an image processing target map indicating a distribution of determination results as to whether or not the target region is the image processing target region.
  • the image processing apparatus according to any one of (2) to (14), further including a setting unit that sets the threshold value.
  • the image processing apparatus according to any one of (1) to (15), further including an imaging unit that images a subject and generates the image.
  • the image processing further includes a processing unit that cuts out a target area of the image processing from the image, combines it with another image, and generates a combined image.
  • the image processing device according to any one of (17) to (17).
  • the reliability information indicating the reliability of the depth information indicating the depth of the image, it is determined whether or not it is determined based on the depth information whether or not it is a target area for predetermined image processing.
  • Image processing method Based on the reliability information indicating the reliability of the depth information indicating the depth of the image, it is determined whether or not it is determined based on the depth information whether or not it is a target area for predetermined image
  • Imaging device 110 bus, 111 optical unit, 112 sensor unit, 113 image processing unit, 114 encoding / decoding unit, 115 control unit, 121 input unit, 122 output unit, 123 storage unit, 124 communication unit, 125 drive unit, 131 Removable media, 141 Digital signal processing unit, 142 Distance measurement unit, 143 Area division unit, 144 Determination unit, 145 Image processing unit, 161 Reliability determination unit, 162 Depth determination unit, 163 Area determination unit, 164 Re-determination unit, 165 Clip target map generation unit, 171 brightness map determination unit, 172 peripheral area determination unit, 321 clip target color information reference unit, 322 color determination unit, 361 hairstyle determination unit, 381 texture determination unit, 401 Shape recognition unit, 500 image processing system, 501 server, 502 network, 503 terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本技術は、画像内の画像処理対象の領域特定をより正確に行うことができるようにする画像処理装置および方法に関する。 本技術の画像処理装置は、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定をその奥行き情報に基づいて行うか否かを判定する判定部を備える。本技術は、例えば、被写体を撮像する撮像装置、撮像画像を処理するサーバ等に適用することができる。

Description

画像処理装置および方法
　本技術は、画像処理装置および方法に関し、特に、画像内の画像処理対象の領域特定をより正確に行うことができるようにした画像処理装置および方法に関する。
　従来、画像の切り抜き等の画像処理を画像の一部分に対して行う場合に、その画像処理の対象とする部分領域の特定を、画像の奥行きを示す奥行き情報に基づいて行う方法があった。
　しかしながら、奥行き情報は、測距の方式の特性によってその信頼性が低くなる部分が生じるおそれがあり、その信頼性の低い奥行き情報に基づいて画像処理の対象とする部分領域を特定すると、その領域特定の正確性が低減するおそれがあった。
　そこで、他の方法が考えられた。例えば、奥行き情報の取得が難しいピクセルについては、あらかじめ色または輝度によって動画像を複数領域に分割し、分割領域ごとに内部ピクセルで特徴点の奥行き情報を用いて、非特徴点の奥行き情報を補完することが提案された（例えば、特許文献１参照）。また、物体の境界部分について、エッジ検出を併用して、エッジ内部について距離誤差を小さくするための再計算を行うことが提案された（例えば特許文献２参照）。
特開２００６－３１３９０号公報 特開２０１２－７９２５１号公報
　しかしながら、これらの手法が常に最適とは限らず、その他の方法も求められていた。
　本技術は、このような状況に鑑みて提案されたものであり、画像内の画像処理対象の領域特定をより正確に行うことを目的とする。
　本技術の画像処理装置は、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する判定部を備える画像処理装置である。
　前記判定部は、前記奥行き情報の前記信頼性が所定の閾値より高い領域について、前記奥行き情報に基づいて前記画像処理の対象領域であるか否かを判定することができる。
　前記判定部は、前記奥行きが所定の閾値より近い領域を前記画像処理の対象領域であると判定することができる。
　前記判定部は、前記奥行き情報の前記信頼性が所定の閾値より高くない領域について、前記奥行き情報と異なる他の情報に基づいて前記画像処理の対象領域であるか否かを判定することができる。
　前記判定部は、前記他の情報として前記画像の輝度を示す輝度情報に基づいて前記画像処理の対象領域であるか否かを判定することができる。
　前記判定部は、前記輝度が所定の閾値より低い領域を前記画像処理の対象領域であると判定することができる。
　前記判定部は、前記輝度が所定の閾値より低く、かつ、他の前記画像処理の対象領域に接する領域を前記画像処理の対象領域であると判定することができる。
　前記判定部は、前記他の情報として前記画像の色を示す色情報に基づいて前記画像処理の対象領域であるか否かを判定することができる。
　前記判定部は、周辺の前記画像処理の対象領域との前記色の違いが所定の閾値より小さい領域を前記画像処理の対象領域であると判定することができる。
　前記判定部は、前記他の情報として髪型モデルを表す髪型モデルデータに基づいて、前記髪型モデルにおける髪領域に属する領域を前記画像処理の対象領域であると判定することができる。
　前記判定部は、前記他の情報としてテクスチャモデルを表すテクスチャモデルデータに基づいて、テクスチャが前記テクスチャモデルに類似する領域を前記画像処理の対象領域であると判定することができる。
　前記判定部は、前記切り抜き対象領域に属する被写体の形状を認識し、前記他の情報として認識された前記被写体の形状に基づいて、前記画像処理の対象と推定可能な領域を前記画像処理の対象領域であると判定することができる。
　前記判定部は、単数若しくは複数の画素毎に、前記画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定することができる。
　前記判定部は、前記画像処理の対象領域であるか否かの判定結果の分布を示す画像処理対象マップを生成することができる。
　前記閾値を設定する設定部をさらに備えることができる。
　被写体を撮像し、前記画像を生成する撮像部をさらに備えることができる。
　前記奥行き情報および前記信頼性情報を生成する生成部をさらに備えることができる。
　前記判定部の判定結果に基づいて、前記画像処理として、前記画像から前記画像処理の対象領域を切り抜き、他の画像と合成し、合成画像を生成する加工部をさらに備えることができる。
　前記加工部により生成された前記合成画像を他の装置に送信する送信部をさらに備えることができる。
　本技術の画像処理方法は、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する画像処理方法である。
　本技術の画像処理装置および方法においては、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定をその奥行き情報に基づいて行うか否かが判定される。
　本技術によれば、画像を処理することが出来る。また本技術によれば、画像内の画像処理対象の領域特定をより正確に行うことができる。
撮像装置の主な構成例を示すブロック図である。 画像処理部の主な構成例を示すブロック図である。 判定部の主な構成例を示すブロック図である。 撮像画像の例を示す図である。 奥行き情報マップの例を示す図である。 信頼性マップの例を示す図である。 輝度マップの例を示す図である。 切り抜き対象領域マップの例を示す図である。 切り抜き対象領域マップの例を示す図である。 合成画像の例を示す図である。 撮像送信処理の流れの例を説明するフローチャートである。 画像処理の流れの例を説明するフローチャートである。 切り抜き対象マップ生成処理の流れの例を説明するフローチャートである。 再判定処理の流れの例を説明するフローチャートである。 閾値入力画面の例を説明する図である。 閾値設定処理の流れの例を説明するフローチャートである。 判定部の主な構成例を示すブロック図である。 色マップの例を示す図である。 再判定処理の流れの例を説明するフローチャートである。 閾値入力画面の例を説明する図である。 髪モデルデータの例を示す図である。 判定部の主な構成例を示すブロック図である。 再判定処理の流れの例を説明するフローチャートである。 テクスチャモデルデータの例を示す図である。 判定部の主な構成例を示すブロック図である。 再判定処理の流れの例を説明するフローチャートである。 形状認識の様子の例を示す図である。 判定部の主な構成例を示すブロック図である。 再判定処理の流れの例を説明するフローチャートである。 画像処理システムの主な構成例を示すブロック図である。 サーバおよび端末装置の主な構成例を示すブロック図である。 使用例を説明する図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像装置：輝度マップに基づく再判定）
２．第２の実施の形態（閾値設定）
３．第３の実施の形態（色マップに基づく再判定）
４．第４の実施の形態（髪型モデルに基づく再判定）
５．第５の実施の形態（テクスチャモデルに基づく再判定）
６．第６の実施の形態（形状認識に基づく再判定）
７．第７の実施の形態（応用例）
　＜１．第１の実施の形態＞
　　＜奥行き情報に基づく画像処理対象領域の特定＞
　従来、画像の切り抜き等の画像処理を画像の一部分に対して行う場合に、その画像処理の対象とする部分領域の特定を、画像の奥行きを示す奥行き情報に基づいて行う方法があった。
　例えば、ある被写体を撮像して撮像画像を生成する場合、一般的に、その撮像画像には被写体の他、被写体の前景や背景となる部分が含まれることが多い。このような撮像画像に対して、被写体の部分にのみ所定の画像処理を施すことが考えられる。例えば、撮像画像内において被写体の部分を特定し、画像処理として、その部分を追尾対象や監視対象として注目したり、被写体が何であるか（例えば人であるか、物であるか等）を認識したり、輝度や色等を調整したり、拡大、縮小、変形等を行ったり、他の画像と合成したりすることが考えられる。
　上述したように、撮像画像の被写体で無い部分には、前景や背景等の、被写体とは奥行きの異なる画像が含まれる場合が多い。したがって、被写体の部分の特定を、撮像画像の奥行き情報に基づいて行うことは有用な手段の１つである。つまり、例えば、被写体と被写体で無い部分とで奥行きが異なるような撮像画像であれば、奥行き情報を用いることにより、容易に、被写体の部分と被写体で無い部分とを識別することができる可能性が高い。
　しかしながら、奥行き情報は、その測距の方式の特性によってその信頼性が低くなる部分が生じるおそれがある。
　奥行き情報を生成するための測距の方法としては、例えば、TOF（Time Of Flight）方式、ストラクチャードライト方式、ステレオマッチング方式、SfM（Structure from Motion）方式等、様々な方法が存在する。例えばTOF方式は、対象空間に近赤外線を照射し、その対象空間に存在する物体における反射光を受光し、近赤外線を照射してから反射光を受光するまでの時間を計測し、その時間に基づいて対象空間の物体までの距離を求める方式である。また、例えば、ストラクチャードライト方式は、対象空間に存在する物体に近赤外線の所定の投影パタンを投影し、その投影パタンの変形の様子に基づいて対象空間に存在する物体の形状（奥行き）を検出する方式である。さらに、例えば、ステレオマッチング方式は、被写体を互いに異なる位置から撮像した２つの撮像画像間の視差に基づいてその被写体までの距離を求める方式である。また、例えば、SfM方式は、互いに異なる角度から撮像された複数の撮像画像を用いて特徴点の位置合わせ等、画像間の関係を計算し、最適化を行うことで、奥行き検出を行う方式である。
　例えばTOF方式やストラクチャードライト方式のように近赤外線を用いて測距を行う方式の場合、輝度が低い（暗い）部分や色が黒い部分、頭髪のような形状が複雑な部分、綿等の所定の生地の部分等においては近赤外線の反射が弱くなり、奥行きの測定精度が低減するおそれがあった。また、ステレオマッチング方式やSfM方式のように複数の位置・角度からの撮像画像を用いて測距を行う方式の場合、オクルージョンの発生しやすい被写体の境界部分等において奥行きの測定精度が低減するおそれがあった。
　このように奥行き情報の信頼性が低い個所に対して、奥行き情報に基づく画像処理の対象とする部分領域の特定を行うと、その領域特定の正確性が低減するおそれがあった。
　そこで、他の方法が考えられた。例えば特許文献１においては、奥行き情報の取得が難しいピクセルについては、あらかじめ色または輝度によって動画像を複数領域に分割し、分割領域ごとに内部ピクセルで特徴点の奥行き情報を用いて、非特徴点の奥行き情報を補完することが提案された。また、例えば特許文献２においては、物体の境界部分について、エッジ検出を併用して、エッジ内部について距離誤差を小さくするための再計算を行うことが提案された。
　しかしながら、これらの手法が常に最適とは限らなかった。例えば、特許文献１に記載の方法では、ある分割領域内の全ピクセルについて測距できなかった場合に奥行き情報を補間することができないおそれがあった。また、特許文献２に記載の方法では、エッジ検出とその内部の再計算の処理のために長時間を要するため、動画像を即時的に（リアルタイムに）破綻せずに処理することができないおそれがあった。したがって、その他の方法も求められていた。
　　＜信頼性の判定＞
　そこで、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定をその奥行き情報に基づいて行うか否かを判定するようにする。例えば、画像処理装置において、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定をその奥行き情報に基づいて行うか否かを判定する判定部を備えるようにする。
　このようにすることにより、奥行き情報の信頼性に応じて、画像処理の対象領域の特定に奥行き情報を用いるか否かを制御することができるようになる。したがって、画像内の画像処理対象の領域特定をより正確に行うことができる。
　　＜撮像装置＞
　図１は、本技術を適用した画像処理装置の一実施の形態である撮像装置の主な構成例を示す図である。図１に示される撮像装置１００は、被写体を撮像し、撮像画像等を生成する装置である。撮像装置１００は、さらに、その撮像画像に対して画像処理を施したり、他の装置に伝送したりする等の様々な処理を行うことができる。
　撮像装置１００は、バス１１０、光学部１１１、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、出力部１２２、記憶部１２３、通信部１２４、およびドライブ１２５を有する。
　光学部１１１乃至ドライブ１２５の各処理部は、バス１１０に接続される。これらの各処理部は、バス１１０を介して任意の情報（データやプログラム等）を互いに授受することができる。例えば、各処理部は、バス１１０を介して他の処理部から任意の情報を取得することができる。また、例えば、各処理部は、バス１１０を介して他の処理部に任意の情報を供給することができる。
　光学部１１１は、例えば、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。例えば、光学部１１１は、外部からの光（入射光）を透過し、センサ部１１２に供給する。
　センサ部１１２は、任意の情報の検出に関する処理を行う。例えば、センサ部１１２は、任意の情報を検出するセンサを有する。例えば、センサ部１１２が、光学部１１１を介して入射される光（入射光）を受光し、光電変換する光学センサを有するようにしてもよい。この光学センサは、例えばフォトディテクタのような短画素のセンサであってもよいし、所謂CMOS（Complementary Metal Oxide Semiconductor）イメージセンサのような複数画素のセンサであってもよい。また、この光学センサが受光する入射光の波長は任意であり、全波長を含む白色光であってもよいし、可視光であってもよいし、近赤外光であってもよいし、近紫外光であってもよいし、それら以外の波長の光であってもよい。また、センサ部１１２が、マイクロホン等のような音声（振動）を検出する音声センサを有するようにしてもよい。また、センサ部１１２が、例えば、電流、電圧、電力、加速度、速度、角速度、姿勢、力、温度、湿度、流量、磁気、化学物質、または匂い等、その他の情報を検出するセンサを有するようにしてもよい。
　また、センサ部１１２が、センサに関するセンサ以外の機能も有するようにしてもよい。例えば、センサ部１１２は、光を発光し、光学部１１１を介して外部に出力する発光部を備えるようにしてもよい。この場合、光学センサは、この発光部が発光した光の、被写体における反射光を受光するようにしてもよい。なお、この発光部が発光する光の波長は任意である。例えば、全波長を含む白色光であってもよいし、可視光であってもよいし、近赤外光であってもよいし、近紫外光であってもよいし、それら以外の波長の光であってもよい。また、光学センサが受光する反射光の波長が、発光部が発光した光の波長域の一部であってもよいし、発光部が発光した光の波長とは異なる波長であってもよい。
　なお、センサ部１１２は、複数のセンサを有することができる。例えば、センサ部１１２が互いに異なる種類の複数のセンサを有するようにしてもよい。例えば、センサ部１１２が、可視光を受光し、撮像画像を生成するイメージセンサと、近赤外光を受光する赤外センサとを有するようにしてもよい。また、例えば、センサ部１１２が同種のセンサを複数有するようにしてもよい。例えば、センサ部１１２が、可視光を受光し、撮像画像を生成するイメージセンサを複数有するようにしてもよい。この場合、複数のイメージセンサは、それぞれにおいて生成される撮像画像の間に視差が生じるような互いに異なる位置に設けられるようにしてもよい。
　以下においては、撮像装置１００がTOF方式により測距を行い、センサ部１１２が、被写体を撮像して撮像画像を生成する撮像部の一実施の形態であり、被写体からの可視光を受光し、光電変換してA/D変換等の信号処理を行って、撮像画像を生成するイメージセンサ、近赤外光を発光して撮像装置１００の撮像範囲となる空間に照射する発光部、並びに、その発光部から照射された近赤外光の被写体等による反射光を受光する赤外センサを有するものとして説明する。
　つまり、センサ部１１２は、イメージセンサにより生成される撮像画像と、発光部が近赤外光を発光してから赤外センサが受光するまでの時間（以下、近赤外光の発光から受光までの時間とも称する）のマップとを、センシング結果として生成する。この近赤外光の発光から受光までの時間は、撮像画像の単数若しくは複数の画素毎に算出される。そしてその算出された複数の近赤外光の発光から受光までの時間を撮像画像の画素に対応させた分布（マップ）がセンシング結果として生成される。つまり、近赤外光の発光から受光までの時間のマップは、撮像画像に対応する。なお、各近赤外光の発光から受光までの時間に対応する撮像画素の画素数は、均一であってもよいし、均一でなくてもよい。また、撮像画像が動画像の場合は、各フレーム画像に対して近赤外光の発光から受光までの時間のマップが生成されるようにしてもよい。もちろん、撮像画像の複数のフレーム画像に対して近赤外光の発光から受光までの時間のマップが１つ生成されるようにしてもよい。さらに、各赤外光の発光から受光までの時間のマップに対応する撮像画像のフレーム数が均一であってもよいし、均一でなくてもよい。
　センサ部１１２は、生成したセンシング結果をバス１１０を介して他の処理部に供給することができる。例えば、センサ部１１２が、センシング結果を画像処理部１１３に供給し、そのセンシング結果を用いた画像処理を行わせるようにしてもよい。また、例えば、センサ部１１２が、センシング結果を符号化復号部１１４に供給し、そのセンシング結果を符号化させるようにしてもよい。さらに、例えば、センサ部１１２が、センシング結果を制御部１１５に供給し、そのセンシング結果に基づく制御を行わせるようにしてもよい。また、例えば、センサ部１１２が、センシング結果を出力部１２２に供給し、そのセンシング結果を画像として表示させたり、音声として出力させたり、データとして外部に出力したりさせるようにしてもよい。さらに、例えば、センサ部１１２が、センシング結果を記憶部１２３に供給し、そのセンシング結果を記憶させるようにしてもよい。また、例えば、センサ部１１２が、センシング結果を通信部１２４に供給し、他の装置との通信によって、そのセンシング結果を他の装置に供給させるようにしてもよい。さらに、例えば、センサ部１１２が、センシング結果をドライブ１２５に供給し、そのセンシング結果をドライブ１２５に装着されたリムーバブルメディア１３１に記憶させるようにしてもよい。
　画像処理部１１３は、画像処理に関する処理を行う。例えば、画像処理部１１３は、画像に対して任意の画像処理を行うことができる。例えば、画像処理部１１３が、画像の一部の領域に対して任意の画像処理を行うようにしてもよい。例えば、画像処理部１１３が、画像からその一部の領域を切り抜く処理を行うようにしてもよい。また、例えば、画像処理部１１３が、その切り抜いた画像を他の画像と合成するようにしてもよい。また、例えば、画像処理部１１３が、その一部の領域を追尾対象や監視対象として注目（指定）するようにしてもよい。また、例えば、画像処理部１１３が、その一部の領域の画像が何であるか（例えば人であるか、物であるか等）を認識するようにしてもよい。また、例えば、画像処理部１１３が、その一部の領域に対して、輝度や色の調整、混色補正、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、またはYC変換等の処理を行うようにしてもよい。また、例えば、画像処理部１１３が、その一部の領域に対して、拡大、縮小、変形等を行うようにしてもよい。なお、画像処理部１１３が、複数種類の画像処理を行うようにしてもよい。また、画像処理部１１３が同じ画像処理を複数回繰り返すようにしてもよい。
　画像処理部１１３は、画像処理を行う画像を他の処理部から取得することができる。例えば、画像処理部１１３が、センサ部１１２により生成された撮像画像を、そのセンサ部１１２から取得し、その撮像画像に対して画像処理を行うようにしてもよい。さらに、例えば、画像処理部１１３が、画像が符号化された符号化データが符号化復号部１１４により復号された復号画像を、その符号化復号部１１４から取得し、その復号画像に対して画像処理を行うようにしてもよい。また、例えば、画像処理部１１３が、制御部１１５により生成された画像を、その制御部１１５から取得し、その画像に対して画像処理を行うようにしてもよい。さらに、例えば、画像処理部１１３が、入力部１２１において撮像装置１００の外部から入力された画像を、その入力部１２１から取得し、その画像に対して画像処理を行うようにしてもよい。また、例えば、画像処理部１１３が、記憶部１２３に記憶されている画像を読み出して取得し、その画像に対して画像処理を行うようにしてもよい。さらに、例えば、画像処理部１１３が、通信部１２４が撮像装置１００以外の他の装置と通信を行うことにより、その他の装置から供給された画像を、その通信部１２４から取得し、その画像に対して画像処理を行うようにしてもよい。また、例えば、画像処理部１１３が、ドライブ１２５に装着されたリムーバブルメディア１３１に記憶されている画像をドライブ１２５に読み出させて取得し、その画像に対して画像処理を行うようにしてもよい。
　なお、画像処理部１１３は、画像以外の任意の情報も他の処理部から取得することができる。例えば、画像処理部１１３は、センサ部１１２から供給されるセンシング結果を取得し、そのセンシング結果を用いて画像処理を行うことができる。このセンシング結果には上述したように画像情報以外の情報が含まれるようにしてもよい。
　また、画像処理部１１３は、画像処理を施した画像等のデータを、画像処理結果として他の処理部に供給することができる。例えば、画像処理部１１３は、画像処理結果を符号化復号部１１４に供給し、符号化させるようにしてもよい。また、例えば、画像処理部１１３は、画像処理結果を制御部１１５に供給し、制御に利用させるようにしてもよい。さらに、例えば、画像処理部１１３は、画像処理結果を出力部１２２に供給し、画像として表示させたり、音声として出力させたり、データとして撮像装置１００の外部に出力させたりするようにしてもよい。また、例えば、画像処理部１１３は、画像処理結果を記憶部１２３に供給し、記憶させるようにしてもよい。さらに、例えば、画像処理部１１３は、画像処理結果を通信部１２４に供給し、他の装置に供給させるようにしてもよい。また、例えば、画像処理部１１３は、画像処理結果をドライブ１２５に供給し、リムーバブルメディア１３１に記憶させるようにしてもよい。
　なお、この画像処理結果には、画像情報以外の任意の情報が含まれるようにしてもよい。
　符号化復号部１１４は、情報（プログラムやデータ等）の符号化および復号に関する処理を行う。この符号化方式（復号方式）は任意である。例えば、符号化復号部１１４が、複数の方式で符号化を行うことができるようにしてもよい。例えば、符号化復号部１１４が、複数の符号化方式に対応し、それらのいずれの方式でも符号化することができるようにしてもよい。また、例えば、符号化復号部１１４が、複数の符号化方式を組み合わせて符号化を行うようにしてもよい。復号についても同様である。
　また、符号化復号部１１４が、任意の処理部から取得した情報に対して符号化や復号を行うことができるようにしてもよい。例えば、符号化復号部１１４が、センサ部１１２、画像処理部１１３、制御部１１５、入力部１２１、記憶部１２３、通信部１２４、若しくはドライブ１２５（リムーバブルメディア１３１）から符号化されていない情報を取得し、その情報に対して符号化を行うようにしてもよい。また、例えば、符号化復号部１１４が、センサ部１１２、画像処理部１１３、制御部１１５、入力部１２１、記憶部１２３、通信部１２４、若しくはドライブ１２５（リムーバブルメディア１３１）から符号化された情報を取得し、その情報に対して復号を行うようにしてもよい。
　さらに、符号化復号部１１４が、符号化結果若しくは復号結果のデータを、任意の処理部に供給するようにしてもよい。例えば、符号化復号部１１４が、符号化結果若しくは復号結果のデータを、センサ部１１２、画像処理部１１３、制御部１１５、入力部１２１、記憶部１２３、通信部１２４、若しくはドライブ１２５（リムーバブルメディア１３１）に供給するようにしてもよい。
　制御部１１５は、撮像装置１００の制御に関する処理を行う。例えば、制御部１１５は、光学部１１１乃至ドライブ１２５の各処理部を制御する。なお、制御部１１５は、必要に応じて他の処理部から情報（プログラムやデータ等）を取得したり、情報を他の処理部に供給したりすることができる。
　入力部１２１は、情報（プログラムやデータ等）や指示等の入力に関する処理を行う。例えば、入力部１２１が、ジョグダイヤル（商標）、キー、ボタン、タッチパネル等の任意の入力デバイスを有し、ユーザ等によるその入力デバイスの操作入力を受け付け、その操作入力に対応する信号（ユーザ指示）を制御部１１５等の他の処理部に供給するようにしてもよい。また、例えば、入力部１２１が、外部入力端子を有し、撮像装置１００の外部（その外部入力端子を介して接続される他の装置等）から供給される情報を受け付け、その情報を制御部１１５等の他の処理部に供給するようにしてもよい。なお、入力部１２１が、カメラやマイクロホン等の入力デバイスを有するようにし、それらによってユーザのゼスチャや音声等をユーザ指示として受け付けるようにしてもよい。
　出力部１２２は、情報（プログラムやデータ等）等の出力に関する処理を行う。例えば、出力部１２２が、画像を表示するモニタを有し、そのモニタに任意の画像を表示するようにしてもよい。例えば、出力部１２２が、センサ部１１２において生成された撮像画像を取得し、それをモニタに表示するようにしてもよい。また、例えば、出力部１２２が、画像処理部１１３において画像処理された画像を取得し、それをモニタに表示するようにしてもよい。さらに、例えば、出力部１２２が、符号化復号部１１４において復号されて得られた復号画像を取得し、それをモニタに表示するようにしてもよい。また、例えば、出力部１２２が、制御部１１５において生成された画像（例えばGUI（Graphical User Interface）画像等）を取得し、それをモニタに表示するようにしてもよい。さらに、例えば、出力部１２２が、入力部１２１において外部から入力された画像を取得し、それをモニタに表示するようにしてもよい。また、例えば、出力部１２２が、記憶部１２３に記憶されている画像を読み出して取得し、それをモニタに表示するようにしてもよい。さらに、例えば、出力部１２２が、通信部１２４の通信により他の装置から供給された画像を取得し、それをモニタに表示するようにしてもよい。また、例えば、出力部１２２が、リムーバブルメディア１３１に記憶されている画像を、ドライブ１２５を介して読み出して取得し、それをモニタに表示するようにしてもよい。
　また、例えば、出力部１２２が、音声を出力するスピーカを有し、そのスピーカから任意の音声を出力するようにしてもよい。出力部１２２は、この出力する音声のデータを、例えば、センサ部１１２、符号化復号部１１４、制御部１１５、入力部１２１、記憶部１２３、通信部１２４、ドライブ１２５（リムーバブルメディア１３１）等、任意の処理部から取得するようにしてもよい。
　また、例えば、出力部１２２が、外部出力端子を有し、任意の情報（プログラムやデータ等）を撮像装置１００の外部（その外部出力端子を介して接続される他の装置等）に供給するようにしてもよい。出力部１２２は、この出力する情報を、例えば、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、記憶部１２３、通信部１２４、ドライブ１２５（リムーバブルメディア１３１）等、任意の処理部から取得するようにしてもよい。
　記憶部１２３は、情報の記憶に関する処理を行う。記憶部１２３は、例えばフラッシュメモリ、SSD（Solid State Drive）、ハードディスク等の任意の記憶媒体を有する。例えば、記憶部１２３は、任意の情報（プログラムやデータ等を）その記憶媒体に記憶する。
　例えば、記憶部１２３が、撮像画像や画像処理された画像等の画像情報、後述する奥行き情報マップ、信頼性情報マップ、輝度マップ等の付加情報、若しくは制御情報等のその他の情報、またはそれらの符号化データ等をその記憶媒体に記憶するようにしてもよい。例えば、記憶部１２３が、その任意の情報を、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、通信部１２４、ドライブ１２５（リムーバブルメディア１３１）等、任意の処理部から取得し、それを記憶媒体に記憶するようにしてもよい。また、記憶部１２３が、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、通信部１２４、ドライブ１２５（リムーバブルメディア１３１）等、任意の処理部からの要求に応じて、若しくは必要に応じて、記憶媒体に記憶している情報を読み出し、任意の処理部に供給するようにしてもよい。
　通信部１２４は、通信に関する処理を行う。通信部１２４は、例えば、有線LAN（Local Area Network）、無線LAN、Bluetooth（登録商標）、NFC（Near Field Communication）、赤外線通信、HDMI（登録商標）（High-Definition Multimedia Interface）、若しくはUSB（Universal Serial Bus）等の任意の規格の通信インタフェースを有する。例えば、通信部１２４は、その通信に他フェースを介して他の装置と通信を行い、任意の情報を授受することができる。
　例えば、通信部１２４が、他の装置との通信によって、撮像画像や画像処理された画像等の画像情報、後述する奥行き情報マップ、信頼性情報マップ、輝度マップ等の付加情報、若しくは制御情報等のその他の情報、またはそれらの符号化データ等を他の装置に供給したり、他の装置から取得したりするようにしてもよい。例えば、通信部１２４が、その任意の情報を、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、記憶部１２３、ドライブ１２５（リムーバブルメディア１３１）等、任意の処理部から取得し、それを他の装置に供給するようにしてもよい。また、通信部１２４が、他の装置から任意の情報を取得し、それを、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、記憶部１２３、ドライブ１２５（リムーバブルメディア１３１）等、任意の処理部に供給するようにしてもよい。つまり、通信部１２４は、画像処理部１１３により画像処理が行われた画像を他の装置に送信する送信部の一実施の形態である。
　ドライブ１２５は、自身に装着されたリムーバブルメディア１３１に関する処理を行う。このリムーバブルメディア１３１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の任意の記憶媒体よりなる、ドライブ１２５に着脱可能なメディアである。例えば、ドライブ１２５は、自身に装着されたリムーバブルメディア１３１を必要に応じて駆動し、リムーバブルメディア１３１に書き込まれている任意の情報（プログラムやデータ等）を読み出したり、任意の情報をリムーバブルメディア１３１書き込んだりする。
　例えば、ドライブ１２５が、撮像画像や画像処理された画像等の画像情報、後述する奥行き情報マップ、信頼性情報マップ、輝度マップ等の付加情報、若しくは制御情報等のその他の情報、またはそれらの符号化データ等をリムーバブルメディア１３１に書き込むようにしてもよい。また、例えば、ドライブ１２５が、その任意の情報を、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、記憶部１２３、通信部１２４等、任意の処理部から取得し、それをリムーバブルメディア１３１に書き込むようにしてもよい。また、ドライブ１２５が、センサ部１１２、画像処理部１１３、符号化復号部１１４、制御部１１５、入力部１２１、記憶部１２３、通信部１２４等、任意の処理部からの要求に応じて、若しくは必要に応じて、リムーバブルメディア１３１に書き込まれている情報を読み出し、任意の処理部に供給するようにしてもよい。
　　＜画像処理部＞
　図２は、画像処理部１１３の主な構成例を示すブロック図である。図２に示されるように画像処理部１１３は、デジタル信号処理部１４１、測距部１４２、領域分割部１４３、判定部１４４、および画像加工部１４５を有する。
　デジタル信号処理部１４１は、デジタル信号処理に関する処理を行う。例えば、デジタル信号処理部１４１は、センサ部１１２等からセンシング結果として供給される撮像画像のデジタル信号を処理し、撮像画像のデータとして保持する。撮像画像が動画像の場合、デジタル信号処理部１４１は、その動画像の各フレームの画像について上述した処理を行う。デジタル信号処理部１４１は、任意のタイミングにおいて保持している撮像画像を領域分割部１４３および画像加工部１４５に供給する。
　測距部１４２は、測距に関する処理を行う。例えば、測距部１４２には、デジタル信号処理部１４１に保持される撮像画像に対応する近赤外光の発光から受光までの時間のマップがセンシング結果として供給される。測距部１４２は、その近赤外光の発光から受光までの時間を用いて、TOF方式による測距を行い、デジタル信号処理部１４１に供給される撮像画像に対応する奥行き情報マップ（撮像画像の奥行きを示す奥行き情報を撮像画像の画素に対応させた分布）を生成する。さらに、測距部１４２は、生成した奥行き情報マップに対応する信頼性マップ（奥行き情報マップの各奥行き情報の信頼性を示す信頼性情報を撮像画像の画素に対応させた分布）を生成する。この奥行き情報の信頼性の算出方法は任意である。つまり、測距部１４２は、画像の奥行き情報およびその信頼性情報を生成する生成部の一実施の形態である。測距部１４２は、生成した奥行き情報マップおよび信頼性マップを判定部１４４に供給する。
　領域分割部１４３は、撮像画像の領域の分割に関する処理を行う。領域の分割方法は任意であるが、例えば、領域分割部１４３は、デジタル信号処理部１４１から供給される撮像画像を、その各画素の輝度値に基づいて領域分割を行い、複数の領域に分割する。例えば、領域分割部１４３は、撮像画像の各画素の輝度値を所定の閾値と比較し、その大小関係に応じて領域を分割する。例えば、領域分割部１４３は、この閾値を１つとし、撮像画像の各画素を、その輝度値が閾値より大きい領域（若しくは閾値以上の領域）と、輝度値が閾値以下の領域（若しくは閾値未満の領域）との２つの領域のいずれかに仕分ける。つまり、この場合、撮像画像は最大２つの領域に分割することができる。この領域の分割数は任意である。つまり、閾値の数は任意であり、複数であってもよい。例えば、閾値を２つとし、撮像画像が最大３つの領域に分割されるようにしてもよい。また、閾値を３つ以上とし、撮像画像が最大４つ以上の領域に分割されるようにしてもよい。
　領域分割部１４３は、以上のような分割結果として、このように輝度値に基づいて分割された（撮像画像の各画素が仕分けされた）各領域を撮像画像の画素に対応させた分布である輝度マップを生成する。領域分割部１４３は、生成した輝度マップを判定部１４４に供給する。
　判定部１４４は、所定の画像処理の対象領域の判定に関する処理を行う。例えば、判定部１４４は、奥行き情報マップ、信頼性マップ、および輝度マップに基づいて、撮像画像の、所定の画像処理として画像の切り抜きを行う対象となる領域（切り抜き対象領域）であるか否かの判定を行う。判定部１４４は、その判定結果に基づいて、切り抜き対象領域の分布を示す切り抜き対象マップを生成する。
　判定部１４４は、生成した切り抜き対象マップを画像加工部１４５に供給する。判定部１４４の処理の詳細については後述する。
　画像加工部１４５は、撮像画像に対する画像処理に関する処理を行う。例えば、画像加工部１４５が、判定部１４４から供給された切り抜き対象マップに基づいて、デジタル信号処理部１４１から供給される撮像画像における切り抜き対象領域を切り抜くようにしてもよい。また、例えば、画像加工部１４５が、その切り抜かれた画像を、画像処理部１１３の外部から供給される他の画像（合成用画像）と合成し、合成結果画像を生成するようにしてもよい。さらに、例えば、画像加工部１４５が、その生成した合成結果画像を画像処理部１１３の外部（例えば他の処理部）に供給するようにしてもよい。つまり、画像加工部１４５は、判定部１４４の判定結果である切り抜き対象マップに基づいて、画像処理として、画像から画像処理の対象領域を切り抜き、他の画像と合成し、合成画像を生成する加工部の一実施の形態である。
　　＜判定部＞
　図３は、判定部１４４の主な構成例を示すブロック図である。図３に示されるように、判定部１４４は、例えば、信頼性判定部１６１、奥行き判定部１６２、領域判定部１６３、再判定部１６４、および切り抜き対象マップ生成部１６５を有する。また、再判定部１６４は、輝度マップ判定部１７１および周辺領域判定部１７２を有する。
　信頼性判定部１６１は、画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定をその奥行き情報に基づいて行うか否かを判定する。例えば、信頼性判定部１６１は、デジタル信号処理部１４１に保持される撮像画像に対応する信頼性マップに基づいて、切り抜き対象領域であるか否かの判定をその撮像画像に対応する奥行き情報マップに基づいて行うか否かを判定する。
　なお、この信頼性マップに基づく、切り抜き対象領域であるか否かの判定を奥行き情報マップに基づいて行うか否かの判定の方法は、任意である。例えば、信頼性判定部１６１が、奥行き情報の信頼性が所定の閾値より高い（若しくは閾値以上である）領域について、奥行き情報に基づいて切り抜き対象領域であるか否かを判定するようにしてもよい。換言するに、信頼性判定部１６１が、信頼性が所定の閾値以下である（若しくは閾値より低い）奥行き情報を、切り抜き対象領域であるか否かの判定に用いないようにしてもよい。このようにすることにより、判定部１４４は、信頼性が十分に高い奥行き情報のみを、画像処理の対象領域であるか否かの判定に用いるようにすることができる。したがって、画像内の画像処理対象の領域特定をより正確に行うことができる。
　また、信頼性判定部１６１は、このような、切り抜き対象領域であるか否かの判定を奥行き情報に基づいて行うか否かの判定を、信頼性マップの全範囲（すなわち、撮像画像の全ての画素）について行う。その際、信頼性判定部１６１が、このような判定を、撮像画像の単数若しくは複数の画素毎に行うようにしてもよい。つまり、この撮像画像で換算した場合の処理単位（単数若しくは複数の画素）に対応する信頼性マップの範囲（単数若しくは複数の信頼性情報）を処理単位として、この判定が行われるようにしてもよい。信頼性判定部１６１は、任意の処理単位毎にこのような判定を行うことができる。なお、各回の判定の処理単位の大きさ（例えば画素数）や形状が均一であってもよいし、均一でなくてもよい。
　そして、信頼性判定部１６１は、奥行き情報の信頼性が高い（例えば所定の閾値より高い若しくはその閾値以上である）と判定された領域（例えば画素）については、奥行き情報を用いて切り抜き対象領域に属するか否かの判定を行うように決定し、処理を奥行き判定部１６２に渡す。なお、信頼性判定部１６１は、奥行き情報マップを奥行き判定部１６２に供給する。また、信頼性判定部１６１は、奥行き情報の信頼性が低い（例えば所定の閾値より低い若しくはその閾値以下である）と判定された領域（例えば画素）については、切り抜き対象領域に属するか否かの判定を保留するように決定し、処理を再判定部１６４に渡す。
　奥行き判定部１６２は、処理を渡された領域の全範囲について、奥行き情報マップを用いて奥行きの判定を行う。その際、奥行き判定部１６２が、この奥行きの判定を撮像画像の単数若しくは複数の画素毎に行うようにしてもよい。奥行き判定部１６２は、その判定結果を領域判定部１６３に供給する。領域判定部１６３は、奥行き判定部１６２の判定結果に基づいて、切り抜き対象領域に属するか否かの判定を行う。その際、例えば、領域判定部１６３が、奥行き判定部１６２の判定と同一の処理単位で（例えば、撮像画像の単数若しくは複数の画素毎に）上述した判定を行うようにしてもよい。
　なお、奥行き判定部１６２および領域判定部１６３による、切り抜き対象領域に属するか否かの判定の方法は任意である。例えば、奥行きが所定の閾値より近いと判定された領域が、画像処理の対象領域であると判定されるようにしてもよい。この場合、奥行き判定部１６２によりこの閾値よりも近くに位置すると判定された領域（例えば画素）が、領域判定部１６３により切り抜き対象領域に属すると判定される。つまり、閾値よりも近くに位置する被写体が画像処理の対象と判定される。例えば、撮像画像において被写体が一番手前に位置するような場合（被写体に対して背景のみが存在する場合）、判定部１４４は、このような判定を行うことにより、その被写体の部分を切り抜き対象領域に属すると判定することができる。
　なお、この閾値の数は任意であり例えば複数であってもよい。例えば、撮像画像において被写体のさらに手前に注目しない物体等（前景）が存在するような場合、奥行き判定部１６２が、２つの閾値を用いて奥行きの判定を行うようにしてもよい。例えば、奥行き判定部１６２がその２つの閾値の間に位置すると判定した被写体（奥行き方向の所定の距離範囲内（必ずしも一番手前とは限らない）に位置する被写体）を、領域判定部１６３が切り抜き対象領域に属すると判定するようにしてもよい。このようにすることにより、奥行き方向の一番手前でない被写体（被写体に対して前景と背景とが存在する場合）も、その被写体の部分を画像処理の対象領域と判定することができる。
　なお、奥行き判定部１６２および領域判定部１６３が、閾値を用いずに、注目の被写体の部分が切り抜き対象領域に属するか否かの判定を行うようにしてもよい。例えば、奥行き方向の所定の位置（奥行き）に位置する（若しくはその位置の近傍に位置する）被写体が画像処理の対象とされるようにしてもよい。
　領域判定部１６３は、各領域（例えば画素）の判定結果を示す情報を、切り抜き対象マップ生成部１６５および再判定部１６４（周辺領域判定部１７２）に供給する。
　再判定部１６４は、処理を渡された領域の全範囲について切り抜き対象領域に属するか否かの判定（再判定）を行う。その際、例えば、再判定部１６４が、信頼性判定部１６１において奥行き情報の信頼性が低い（高くない）と判定された領域について、奥行き情報と異なる他の情報を用いて（奥行き情報を用いずに）、切り抜き対象領域に属するか否かの再判定を行うようにしてもよい。また、例えば、再判定部１６４が、他の情報として輝度マップを用いて切り抜き対象領域に属するか否かの再判定を行うようにしてもよい。
　この再判定部１６４による切り抜き対象領域の判定方法は任意である。例えば、一般的に、近赤外光の輝度が低い部分の反射率は、その他の部分における反射率に比べて低減する傾向がある。そこで、この傾向を利用して、再判定部１６４が、その輝度マップに基づいて、輝度値が所定の閾値よりも低い（若しくは閾値以下である）領域（例えば画素等）を切り抜き対象領域に属すると判定するようにしてもよい。また、一般的に、再判定部１６４において切り抜き対象領域としたい領域は、被写体の部分の、奥行き情報の信頼性が低い部分である場合が多い。つまり、周囲（近傍）に切り抜き対象領域と判定された領域が存在する可能性が高い。そこで、再判定部１６４が、輝度値が所定の閾値よりも低く（若しくは閾値以下であり）、かつ、切り抜き対象領域と判定された周囲の他の領域に接する領域を切り抜き対象領域に属すると判定するようにしてもよい。
　輝度マップ判定部１７１は、処理を渡された領域について、輝度マップを用いて輝度値の判定を行う。例えば、輝度マップ判定部１７１が、処理を渡された領域の全範囲について、輝度マップを用いて輝度値の判定を行うようにしてもよい。また、例えば、輝度マップ判定部１７１が、この輝度値の判定を撮像画像の単数若しくは複数の画素毎に行うようにしてもよい。輝度マップ判定部１７１は、その判定結果を周辺領域判定部１７２に供給する。
　周辺領域判定部１７２は、輝度マップ判定部１７１において輝度値が閾値より低い（若しくは閾値以下である）と判定された領域について、周辺の切り抜き対象領域に接するか否かに応じて、切り抜き対象領域に属するか否かの判定を行う。例えば、周辺領域判定部１７２が、輝度マップ判定部１７１の判定と同一の処理単位で（例えば、撮像画像の単数若しくは複数の画素毎に）上述した判定を行うようにしてもよい。周辺領域判定部１７２は、各領域（例えば画素）の判定結果を示す情報を、切り抜き対象マップ生成部１６５に供給する。
　切り抜き対象マップ生成部１６５は、領域判定部１６３から供給される判定結果を示す情報や周辺領域判定部１７２から供給される判定結果に基づいて、切り抜き対象領域の分布を示す切り抜き対象マップを生成する。切り抜き対象マップ生成部１６５は、生成した切り抜き対象マップを画像加工部１４５に供給する。
　以上のように判定部１４４の各処理部がそれぞれの処理を実行することにより、判定部１４４が、信頼性の高い奥行き情報とその他の情報とに基づいて、画像処理の対象領域を求めることができる。したがって、判定部１４４は、画像内の画像処理対象の領域特定をより正確に行うことができる。
　　＜各種データ＞
　次に、撮像装置１００において生成され、処理される各種データについて、図４乃至図１０を参照して説明する。なお、説明の便宜上、これらの図で示される各種データは線図として示されているが、実際には、画素単位の情報の集合（分布）として構成される。
　図４は、センサ部１１２のイメージセンサ等により生成される撮像画像の例を示している。この場合撮像画像２１０は、被写体２１１の部分とその背景画像２１２の部分とにより構成されている。被写体２１１は人物であり、撮像画像２１０においては、主に、その人物の髪の部分である髪領域２１１Ａ、人物の顔の部分である顔領域２１１Ｂ、および人物の胴体の部分である胴体領域２１１Ｃにより構成されている。また、背景画像２１２は、被写体２１１の後方（奥行き方向に被写体２１１より遠方）の景色であり、例えば、池２１２Ａ、樹木２１２Ｂ、山脈２１２Ｃ等が含まれる。
　図５は、測距部１４２により生成される奥行き情報マップの例を示している。この奥行き情報マップ２２０は、図４の撮像画像２１０に対応しており、撮像画像２１０の各画素の奥行き情報が撮像画像２１０の画素配置と同様に配置されている。つまり、奥行き情報マップ２２０の各位置の奥行き情報は、撮像画像２１０の同じ位置の画素の奥行きを示す。例えば、領域２２１Ａの奥行き情報は、撮像画像２１０の髪領域２１１Ａの奥行きを示している。また、領域２２１Ｂの奥行き情報は、顔領域２１１Ｂの奥行きを示している。さらに、領域２２１Ｃは、胴体領域２１１Ｃの奥行きを示している。
　図５において横線模様で示されるこれらの領域の奥行き情報は、奥行き情報マップ２２０内において最も手前に位置するように示されている。つまり、これらの領域の奥行き情報の値は、奥行き情報マップ２２０の他の領域（背景画像２１２に対応する領域）よりも小さい値となる。換言するに、奥行き情報マップ２２０において、撮像画像２１０の池２１２Ａ、樹木２１２Ｂ、山脈２１２Ｃ等に対応する領域の奥行き情報は、それぞれの位置（奥行き）に応じた値となるが、いずれも、領域２２１Ａ乃至領域２２１Ｃの奥行き情報よりも大きな値をとる。
　なお、一般的に頭髪は黒く、形状が複雑であるので、髪領域２１１Ａにおいては、顔領域２１１Ｂ等と比べて近赤外光が反射し難い。したがって、奥行き情報マップ２２０の領域２２１Ａは髪領域２１１Ａの一部（図中略右半分）にのみ対応している。つまり、髪領域２１１Ａの一部のみが顔領域２１１Ｂ等と略同距離として測距されており（奥行き情報が小さな値をとり）、髪領域２１１Ａの残りの部分（図中略左半分）は、計測不能若しくは背景画像２１２と同様の距離として測距されている（奥行き情報が大きな値をとる）。
　図６は、測距部１４２により生成される信頼性マップの例を示している。この信頼性マップ２３０は、図５の奥行き情報マップ２２０（すなわち、図４の撮像画像２１０）に対応しており、撮像画像２１０の各画素の奥行き情報の信頼性情報が撮像画像２１０の画素配置と同様に配置されている。つまり、信頼性マップ２３０の各位置の信頼性情報は、奥行き情報マップ２２０の同じ位置の奥行き情報の信頼性を示す。この信頼性マップ２３０において領域２３１Ｂは、奥行き情報マップ２２０の領域２２１Ｂ（撮像画像２１０の顔領域２１１Ｂ）の奥行き情報の信頼性を示している。また、領域２３１Ｃは、奥行き情報マップ２２０の領域２２１Ｃ（撮像画像２１０の胴体領域２１１Ｃ）の奥行き情報の信頼性を示している。
　上述したように被写体２１１は奥行き方向の近い位置（手前側）に位置するため、顔領域２１１Ｂに対応する領域２２１Ｂの奥行き情報の信頼性は高い。同様に、胴体領域２１１Ｃに対応する領域２２１Ｃの奥行き情報の信頼性も高い。つまり、信頼性マップ２３０において斜線模様で示される領域２３１Ｂと領域２３１Ｃは、大きな値をとる。
　これに対して、髪領域２１１Ａは、上述したように近赤外光の反射率が低減しやすいため、髪領域２１１Ａに対応する領域２２１Ａの奥行き情報の信頼性は低い。また、背景画像２１２に相当する領域も奥行き方向に遠方に位置するため、近赤外光は略反射しない。したがって、その領域の奥行き情報の信頼性は低い。つまり、信頼性マップ２３０において領域２３１Ｂおよび領域２３１Ｃ以外の領域は、領域２３１Ｂおよび領域２３１Ｃに比べて小さな値をとる。
　図７は、領域分割部１４３により生成される輝度マップの例を示している。この輝度マップ２４０は、図４の撮像画像２１０に対応しており、撮像画像２１０の全領域について各画素を、１つの閾値を用いて、その輝度値の大きさによって２つの領域のいずれかに分類したものである。つまり、この場合、領域分割部１４３は、１つの閾値を用いて撮像画像２１０の全領域を２つの領域に分割している。図７において、輝度マップ２４０の黒色で示される領域は、輝度値が閾値よりも小さい（若しくは閾値以下である）画素（すなわち、閾値よりも暗い画素）で構成される領域を示している。また、輝度マップ２４０の白色で示される領域は、輝度値が閾値以上である（若しくは閾値よりも大きい）画素（すなわち、閾値よりも明るい画素）で構成される領域を示している。
　図７に示されるように、手前側に位置する被写体２１１の画素の輝度値は基本的に小さい。したがって、これらの画素は、領域２４１のように、輝度値が閾値よりも小さい領域（図７において黒色で示される領域）に分類される。ただし、被写体２１１の画素であっても、例えば光が当たっている部分等の一部の領域は、その輝度値が閾値よりも大きくなる場合がある。その場合、その画素は、輝度値が閾値以上である領域（図７において白色で示される領域）に分類される。
　また、背景画像２１２のような、奥行き方向の遠方に位置する画素の輝度値は基本的に大きい。したがって、これらの画素は、その輝度値が閾値以上である領域（図７において白色で示される領域）に分類される。なお、背景画像２１２の部分であっても、暗い部分やノイズ成分がのった部分の画素は、その輝度値が閾値よりも小さくなる場合がある。例えば、図７の領域２４２乃至領域２４５は、そのような領域であり、輝度値が閾値よりも小さい領域（図７において黒色で示される領域）に分類されている。
　信頼性判定部１６１乃至領域判定部１６３の判定処理により、信頼性マップ２３０において奥行き情報の信頼性が所定の閾値よりも大きいと判定された部分と、奥行き情報マップ２２０において奥行き情報の値が所定の閾値よりも小さいと判定された部分との両方に対応する撮像画像２１０の画素が、切り抜き対象領域に属する（切り抜き対象領域内に位置する）画素に分類される（つまり、その画素が切り抜き対象とされる）。
　信頼性情報の閾値を、信頼性マップ２３０の領域２３１Ｂおよび領域２３１Ｃの値とそれ以外の部分の領域の値との間の値とすると、領域２３１Ｂおよび領域２３１Ｃの奥行き情報の信頼性がその閾値よりも高くなる（閾値以上の値をとる）。
　また、奥行き情報の閾値を、奥行き情報マップ２２０の領域２２１Ａ乃至領域２２１Ｃの値とそれ以外の部分の領域の値との間の値とすると、領域２２１Ａ乃至領域２２１Ｃの奥行き情報の値がその閾値よりも小さくなる（閾値よりも小さな値をとる）。
　つまり、奥行き情報の領域２２１Ａ乃至領域２２１Ｃのいずれかと、信頼性情報の領域２３１Ｂおよび領域２３１Ｃのいずれかとの両方に対応する撮像画像２１０の画素が切り抜き対象とされる。
　図８は、切り抜き対象マップのこのような判定処理により生成される部分の例を示す図である。図８において、切り抜き対象マップ２５０の領域２５１Ｂおよび領域２５１は、奥行き情報の領域２２１Ａ乃至領域２２１Ｃと、信頼性情報の領域２３１Ｂおよび領域２３１Ｃとの両方に対応する領域である。撮像画像２１０における、この領域２５１Ｂおよび領域２５１に対応する領域（すなわち顔領域２１１Ｂおよび胴体領域２１１Ｃ）に属する画素が切り抜き対象とされる。
　また、信頼性判定部１６１および再判定部１６４（輝度マップ判定部１７１および周辺領域判定部１７２）の判定処理により、信頼性マップ２３０において奥行き情報の信頼性が所定の閾値以下であると判定された部分と、輝度マップ２４０において輝度値が所定の閾値よりも低いと判定された部分であって、かつ、周辺の切り抜き対象領域に接する部分との両方に対応する撮像画像２１０の画素が、切り抜き対象領域に属する画素に分類される（つまり、その画素が切り抜き対象とされる）。
　例えば、髪領域２１１Ａに属する画素は、信頼性判定部１６１乃至領域判定部１６３の判定処理によって切り抜き対象には分類されない。ただし、この髪領域２１１Ａに属する画素は、輝度マップ判定部１７１により、輝度マップ２４０において領域２４１（輝度値が閾値よりも小さい領域（図７において黒色で示される領域））に分類される。そして、この画素が属する髪領域２１１Ａは、信頼性判定部１６１乃至領域判定部１６３の判定処理によって切り抜き対象に分類される顔領域２１１Ｂに接している。したがって、周辺領域判定部１７２は、この画素（髪領域２１１Ａに属する画素）を切り抜き対象に分類する。
　図９は、切り抜き対象マップのこのような判定処理により生成される部分の例を示す図である。図９において、切り抜き対象マップ２６０の領域２６１Ａは、髪領域２１１Ａに対応する領域である。この領域２６１Ａに対応する撮像画像２１０の画素（つまり、髪領域２１１Ａに属する画素）は、上述したように切り抜き対象に分類される。
　切り抜き対象マップ生成部１６５は、切り抜き対象マップ２５０と切り抜き対象マップ２６０とを合成したような切り抜き対象マップを生成する。
　画像加工部１４５は、その切り抜き対象マップ（すなわち、切り抜き対象マップ２５０および切り抜き対象マップ２６０）において切り抜き対象領域として指定される領域を撮像画像２１０から切り抜く。つまり、撮像画像２１０の、領域２６１Ａ、領域２５１Ｂ、および領域２５１Ｃに対応する領域、すなわち、被写体２１１の部分が切り抜かれ、背景画像２１２の部分が削除される。画像加工部１４５は、さらに、切り抜いた被写体２１１の画像を合成用画像と合成し、合成結果画像を生成する。
　図１０は、画像加工部１４５により生成される合成結果画像の例を示す図である。図１０に示される合成結果画像２７０は、被写体２７１の画像に、合成用画像２７２が被写体２７１の背景として合成されている。この合成用画像の内容（絵柄やサイズ、アスペクト比等）は任意である。
　以上のように、画像処理部１１３は、奥行き情報の信頼性の低い髪領域２１１Ａも切り抜き対象とすることができる。つまり、画像処理部１１３は、奥行き情報の信頼性の低い部分についてはその他の情報を用いることにより、画像内の画像処理対象の領域特定をより正確に行うことができる。
　　＜処理の流れ＞
　次に、撮像装置１００において実行される処理の流れの例について説明する。最初に、撮像装置１００が実行する撮像送信処理の流れの例を、図１１のフローチャートを参照して説明する。この撮像送信処理は、撮像装置１００が、被写体を撮像し、撮像画像を加工して被写体の画像を他の合成用画像と合成し、その合成結果画像を符号化して他の装置に送信する処理である。
　撮像送信処理が開始されると、ステップＳ１０１において、制御部１１５は、例えば入力部１２１のシャッタボタンを押下する等の、ユーザ等からの指示に応じてセンサ部１１２を制御し、被写体を撮像させる。センサ部１１２は、イメージセンサにより被写体を撮像して撮像画像を生成するとともに、発光部や赤外センサ等を用いて、近赤外光の発光から受光までの時間を計測する。
　ステップＳ１０２において、画像処理部１１３は、ステップＳ１０１において得られたセンシング結果を用いて、撮像画像より被写体の画像を抽出し（切り抜き）、合成用画像と合成し、合成結果画像を生成する等の画像処理を行う。
　ステップＳ１０３において、符号化復号部１１４は、ステップＳ１０２において生成された合成結果画像を任意の符号化方式で符号化し、符号化データを生成する。
　ステップＳ１０４において、通信部１２４は、他の装置と通信を行い、ステップＳ１０３において生成された符号化データを、その通信相手の他の装置に送信する。
　ステップＳ１０４の処理が終了すると、撮像送信処理が終了する。
　次に、図１２のフローチャートを参照して、図１１のステップＳ１０２において実行される画像処理の流れの例を説明する。
　画像処理が開始されると、画像処理部１１３のデジタル信号処理部１４１は、ステップＳ１２１において、ステップＳ１０１において得られた撮像画像に対して所定の画像処理を行う。
　ステップＳ１２２において、測距部１４２は、ステップＳ１０１において得られたセンシング結果である近赤外光の発光から受光までの時間等に基づいて、奥行き情報マップと信頼性マップとを生成する。
　ステップＳ１２３において、領域分割部１４３は、ステップＳ１０１において得られた撮像画像から輝度マップを生成する。
　ステップＳ１２４において、判定部１４４は、ステップＳ１２２において生成された奥行き情報マップ、信頼性マップ、ステップＳ１２３において生成された輝度マップ、並びに撮像画像等を用いて切り抜き対象マップ生成処理を行い、撮像画像に対応する切り抜き対象マップを生成する。
　ステップＳ１２５において、画像加工部１４５は、ステップＳ１２４において生成された切り抜き対象マップに基づいて、撮像画像の切り抜き対象領域を切り抜き、合成用画像と合成して、合成結果画像を生成する。
　ステップＳ１２５の処理が終了すると、画像処理が終了し、処理は図１１に戻る。
　次に、図１３のフローチャートを参照して、図１２のステップＳ１２４において実行される切り抜き対象マップ生成処理の流れの例を説明する。
　切り抜き対象マップ生成処理が開始されると、ステップＳ１４１において、信頼性判定部１６１は、処理対象とする撮像画像の画素（処理対象画素とも称する）を選択する。
　ステップＳ１４２において、信頼性判定部１６１は、信頼性マップに基づいて、その処理対象画素の奥行き情報の信頼性が所定の閾値より高いか否かを判定する。奥行き情報の信頼性がその閾値より高いと判定された場合、処理はステップＳ１４３に進む。
　ステップＳ１４３において、奥行き判定部１６２は、奥行き情報マップに基づいて、その処理対象画素の奥行き情報が所定の閾値より低いか否かを判定する。処理対象画素の画像の物体（被写体等）が、その閾値に相当する奥行きよりも手前側に位置する場合、奥行き情報はその閾値よりも低い値（小さい値）となる。処理対象画素の奥行き情報が所定の閾値より低い（つまり閾値に相当する奥行きよりも手前側に位置する）と判定された場合、処理はステップＳ１４４に進む。
　ステップＳ１４４において、領域判定部１６３は、処理対象画素が切り抜き対象である（つまり処理対象画素が切り抜き対象領域に属する）と判定する。ステップＳ１４４の処理が終了すると、処理はステップＳ１４７に進む。
　また、ステップＳ１４３において、処理対象画素の奥行き情報が所定の閾値より低くない（閾値以上である（つまり閾値に相当する奥行きよりも奥側に位置する））と判定された場合、処理はステップＳ１４５に進む。
　ステップＳ１４５において、領域判定部１６３は、処理対象画素が切り抜き対象でない（非切り抜き対象である（つまり処理対象画素が非切り抜き対象領域に属する））と判定する。ステップＳ１４５の処理が終了すると、処理はステップＳ１４７に進む。
　また、ステップＳ１４２において、奥行き情報の信頼性がその閾値よりも高くない（閾値以下である）と判定された場合、処理はステップＳ１４６に進む。
　ステップＳ１４６において、信頼性判定部１６１は、処理対象画素が切り抜き対象であるか否かの判定を保留する。
　ステップＳ１４７において、信頼性判定部１６１は、撮像画像の全ての画素を処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理はステップＳ１４１に戻り、それ以降の処理が繰り返される。つまり、各画素についてステップＳ１４１からステップＳ１４７までのフローが実行される。そして、ステップＳ１４７において、撮像画像の全ての画素が処理されたと判定された場合、処理はステップＳ１４８に進む。
　ステップＳ１４８において、再判定部１６４は、ステップＳ１４６の処理により判定を保留した画素について、再判定処理を行い、切り抜き対象であるか否かの再判定を行う。この再判定は、奥行き情報以外の情報を用いて行われる。ステップＳ１４８の処理が終了すると、処理はステップＳ１４９に進む。
　ステップＳ１４９において、切り抜き対象マップ生成部１６５は、以上のようにして求められた各画素の判定結果に基づいて、切り抜き対象マップを生成する。切り抜き対象マップが生成されると、切り抜き対象マップ生成処理が終了し、処理は図１２に戻る。
　次に、図１４のフローチャートを参照して、図１３のステップＳ１４８において実行される再判定処理の流れの例を説明する。
　再判定処理が開始されると、輝度マップ判定部１７１は、ステップＳ１６１において、ステップＳ１４６の処理により判定を保留した画素の中から処理対象画素を選択する。
　ステップＳ１６２において、輝度マップ判定部１７１は、輝度マップに基づいて、その処理対象画素の輝度値が所定の閾値より低い（処理対象画素の画像が閾値に相当する明るさよりも暗い）か否かを判定する。輝度値が閾値よりも低いと判定された場合、処理はステップＳ１６３に進む。
　ステップＳ１６３において、周辺領域判定部１７２は、輝度マップにおいて、処理対象画素が属する領域が切り抜き対象領域に接するか否かを判定する。接すると判定された場合、処理はステップＳ１６４に進む。
　ステップＳ１６４において、周辺領域判定部１７２は、その処理対象画素を切り抜き対象である（つまり処理対象画素が切り抜き対象領域に属する）と判定する。ステップＳ１６４の処理が終了すると、処理はステップＳ１６６に進む。
　また、ステップＳ１６２において、処理対象画素の輝度値が閾値より低くない（閾値以上である（処理対象画素の画像が閾値に相当する明るさよりも明るい））と判定された場合、処理はステップＳ１６５に進む。また、ステップＳ１６３において、処理対象画素が属する領域が切り抜き対象領域に接しないと判定された場合、処理はステップＳ１６５に進む。
　ステップＳ１６５において、周辺領域判定部１７２は、その処理対象画素を非切り抜き対象である（切り抜き対象でない（つまり処理対象画素が非切り抜き対象領域に属する））と判定する。ステップＳ１６５の処理が終了すると、処理はステップＳ１６６に進む。
　ステップＳ１６６において、輝度マップ判定部１７１は、ステップＳ１４６の処理により判定を保留した画素を全て処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理をステップＳ１６１に戻し、それ以降の処理を繰り返す。つまり、ステップＳ１４６の処理により判定を保留した各画素について、ステップＳ１６１からステップＳ１６６までのフローが実行される。そして、ステップＳ１６６において、ステップＳ１４６の処理により判定を保留した全ての画素が処理されたと判定された場合、再判定処理が終了し、処理は図１３に戻る。
　以上のように各処理を実行することにより、信頼性の高い奥行き情報とその他の情報とに基づいて画像処理の対象領域を求めることができ、画像内の画像処理対象の領域特定をより正確に行うことができる。
　＜２．第２の実施の形態＞
　　＜閾値設定＞
　なお、上述した信頼性情報の閾値、奥行き情報の閾値、および輝度値の閾値等、各種の閾値は、予め定められた所定の値（固定値）であってもよいし、ユーザ等により値を設定することができる（可変値）ようにしてもよい。
　例えば、撮像装置１００（制御部１１５）が、ユーザ等による閾値の設定入力を受け付けるGUI（Graphical User Interface）を出力部１２２のモニタに表示させ、そのGUIに基づいて入力されるユーザ指示を入力部１２１を介して受け付け、各種閾値を、そのユーザ指示により指定される値に設定するようにしてもよい。
　例えば、制御部１１５が、そのGUIを生成し、出力部１２２に供給してモニタに表示させる。また、制御部１１５は、入力部１２１を制御して、そのGUIに基づくユーザ指示の入力を受け付けさせる。そして、制御部１１５は、入力部１２１を介して受け付けたユーザ指示に応じて各種閾値を設定する。つまり、制御部１１５が、閾値を設定する設定部の一実施の形態であるようにしてもよい。
　図１５はそのGUIの表示例を示す。図１５に示される閾値入力画面３００は、ユーザ等による閾値の設定に関する入力を受け付けるGUIである。図１５に示されるように、閾値入力画面３００は、画像表示部３０１、画像表示部３０２、スライドバー３０３、スライドバー３０４、スライドバー３０５、並びに、決定ボタン３０６を有する。
　画像表示部３０１は、現在の閾値設定に基づいて撮像画像から切り抜かれた画像（切り抜き画像）を表示する領域である。画像表示部３０２は、スライドバー３０３乃至スライドバー３０５による閾値設定の変更を反映した切り抜き画像を表示する領域である。
　スライドバー３０３乃至スライドバー３０５は、各閾値設定を制御するためのGUIである。各閾値設定の制御をこのようなスライドバーにより受けつけるようにすることにより、ユーザは容易に（ポインタを左右に移動させるだけで）各閾値設定を制御することができる。
　例えばスライドバー３０３は、奥行き情報の閾値設定を制御するためのものである。例えば、ユーザがスライドバー３０３のポインタ３０３Ａをスライドバー３０３に沿って図中左右方向に移動させると、そのポインタ３０３Ａの位置に応じて奥行き情報の閾値設定が変更される。
　例えば、ユーザが、ポインタ３０３Ａを図中左方向に移動させると、閾値に相当する奥行き方向の位置（その位置までの距離）が近くなり、ポインタ３０３Ａを図中右方向に移動させると、閾値に相当する奥行き方向の位置（その位置までの距離）が遠くなる。つまり、ユーザは、このポインタ３０３Ａの位置を制御することにより、切り抜き対象とする被写体の奥行きの範囲（奥行きがどこからどこまでの範囲に位置する被写体を切り抜き対象とするか）を容易に制御することができる。
　例えば、奥行き情報の閾値が１つであり、閾値の手前側の被写体が切り抜き対象の候補とされる場合、この閾値に相当する奥行き方向の位置を奥側に移動させると、切り抜き対象となる奥行き方向の幅が広がるので、より多くの被写体が切り抜き対象となり得る。逆に、この閾値に相当する奥行き方向の位置を手前側に移動させると、切り抜き対象となる奥行き方向の幅が狭くなり、切り抜き対象となる被写体が絞られる。
　例えば、切り抜き画像に所望の被写体が含まれない場合、ユーザがポインタ３０３Ａを図中右側に操作することにより、所望の被写体が切り抜き画像に含まれるようにすることができる。また、例えば、切り抜き画像に所望の被写体より奥側に位置する不要な被写体が含まれている場合、ユーザがポインタ３０３Ａを図中左側に操作することにより、切り抜き画像に含まれる不要な被写体を低減させることができる。
　また、例えばスライドバー３０４は、信頼性情報の閾値設定を制御するためのものである。例えば、ユーザがスライドバー３０４のポインタ３０４Ａをスライドバー３０４に沿って図中左右方向に移動させると、そのポインタ３０４Ａの位置に応じて信頼性情報の閾値設定が変更される。
　例えば、ユーザが、ポインタ３０４Ａを図中左方向に移動させると、閾値に相当する奥行き情報の信頼性が高くなり、ポインタ３０４Ａを図中右方向に移動させると、閾値に相当する奥行き情報の信頼性が低くなる。つまり、ユーザは、このポインタ３０４Ａの位置を制御することにより、切り抜き対象とする奥行き情報の信頼性の範囲を容易に制御することができる。
　一般的に、信頼性情報の閾値が高くなると、その閾値より値が大きな奥行き情報の数は低減する。つまり、奥行き情報に基づいて切り抜き対象と判定される領域が狭くなる。逆に、信頼性情報の閾値が低くなると、その閾値より値が大きな奥行き情報の数は増大する。つまり、奥行き情報に基づいて切り抜き対象と判定される領域が広くなる。
　したがって、例えば、切り抜き画像において所望の被写体の一部が削れている（所望の被写体の一部が切り抜き画像に含まれない）ような場合、ユーザがポインタ３０４Ａを図中右側に操作することにより、切り抜き対象領域が広がり、所望の被写体のより多くの部分が切り抜き画像に含まれる（被写体の画像の削られる部分が少なくなる）ようにすることができる。また、例えば、切り抜き画像において所望の被写体以外の部分が含まれているような場合、ユーザがポインタ３０４Ａを図中左側に操作することにより、切り抜き対象領域が狭くなり、切り抜き画像に含まれる所望の被写体以外の不要な部分を低減させるすることができる。
　また、例えばスライドバー３０５は、輝度値の閾値設定を制御するためのものである。例えば、ユーザがスライドバー３０５のポインタ３０５Ａをスライドバー３０５に沿って図中左右方向に移動させると、そのポインタ３０５Ａの位置に応じて輝度値の閾値設定が変更される。
　例えば、ユーザが、ポインタ３０５Ａを図中左方向に移動させると、閾値に相当する輝度値が大きくなり、ポインタ３０５Ａを図中右方向に移動させると、閾値に相当する輝度値が小さくなる。つまり、ユーザは、このポインタ３０５Ａの位置を制御することにより、切り抜き対象とする輝度値（明度）の範囲を容易に制御することができる。
　例えば、輝度値の閾値が１つであり、閾値よりも小さな輝度値（暗部）の画素が切り抜き対象とされる場合、この閾値に相当する輝度値を大きくする（明側に移動させる）と、切り抜き対象となる輝度の幅が広がるので、より広範な領域が切り抜き対象となり得る。逆に、この閾値に相当する輝度値を小さくする（暗側に移動させる）と、切り抜き対象となる輝度の幅が狭くなり、切り抜き対象となり得る領域が低減する（より暗い領域に絞られる）。
　例えば、被写体の髪が明る過ぎることにより、その髪の部分が切り抜き対象に含まれない（削られてしまう）ような場合、ユーザがポインタ３０５Ａを図中右側に操作することにより、その髪の部分が削られない（切り抜き対象に含まれる）ようにすることができる可能性がある。また、例えば、被写体の周囲が暗過ぎることにより、その周囲の部分も切り抜き対象に含まれてしまうような場合、ユーザがポインタ３０５Ａを図中左側に操作することにより、その被写体の周囲の部分が削られる（切り抜き対象に含まれない）ようにすることができる可能性がある。
　なお、以上のようなポインタ３０３Ａ乃至ポインタ３０５Ａの移動が反映された閾値設定の切り抜き画像が画像表示部３０２に表示される。また、このとき画像表示部３０１には、閾値設定が変更前の切り抜き画像が表示されたままである。したがって、ユーザは、画像表示部３０１に表示されている画像と、画像表示部３０２に表示されている画像とを参照することにより、ポインタ３０３Ａ乃至ポインタ３０５Ａの移動による切り抜き対象への影響（つまり、ポインタ３０３Ａ乃至ポインタ３０５Ａを動かすことにより切り抜き画像がどのように変化するか）を容易に把握することができる。
　また、図１５の例の場合、閾値入力画面３００には各スライドバーに対する説明も表示されている。このような表示を行うことにより、ユーザ等がより容易に各スライドバーの機能を把握することができる。また、この例では、スライドバー３０３に対して「奥行き情報の閾値」ではなく「距離」と表示され、スライドバー３０４に対して「信頼性情報の閾値」ではなく「範囲」と表示され、スライドバー３０５に対して「輝度値の閾値」ではなく「色」と表示されている。このように各スライドバーの説明を間接的な表現とすることにより、各スライドバーの操作がどのような影響を及ぼすかをユーザ等がより直感的に理解することができる。
　決定ボタン３０６は、スライドバー操作による閾値の制御を決定するためのGUIボタンである。ユーザ等がこの決定ボタン３０６を押下することにより、その時点の各ポインタの位置に応じた閾値設定が登録される。つまり、制御部１１５が各ポインタの位置により示されるユーザ指示に応じて各種閾値を設定する。制御部１１５は、その閾値設定を画像処理部１１３に供給する。画像処理部１１３は、その閾値設定を用いて画像処理の対象領域であるか否かの判定を行い、その閾値設定を反映した切り抜き画像を生成することができる。
　なお、決定ボタン３０６が操作されると、さらに閾値の受け付けが終了し、閾値入力画面３００が閉じるようにしてもよい。
　このようにすることにより、撮像装置１００は、より多様な画像に対して、画像処理の対象領域の判定をより適切に行うことができる。
　なお、図１５の例の場合、閾値入力画面３００には各閾値に対してスライドバーが設けられている。このようにすることにより、ユーザ等が各閾値を独立に制御することができる。なお、１つのスライドバーによって複数の閾値を制御することができるようにしてもよい。また、複数のスライドバーのそれぞれが制御する閾値が重複するようにしてもよい。例えば、あるスライドバーによって閾値Ａと閾値Ｂとが制御され、他のスライドバーによって閾値Ｂと閾値Ｃとが制御されるようにしてもよい。
　また、図１５の例においては、閾値の制御の為にスライドバーが設けられるように説明したが、閾値制御の為のGUIは任意であり、スライドバーに限定されない。例えばツマミ、ダイヤル、ボタン等であってもよい。
　また、閾値入力画面のレイアウトは任意であり、図１５の例に限定されない。
　　＜処理の流れ＞
　この場合、制御部１１５は、閾値設定処理を実行する。この閾値設定処理の流れの例を、図１６のフローチャートを参照して説明する。例えば、ユーザが所定の操作を行って、閾値の設定を指示すると、閾値設定処理が開示される。
　閾値設定処理が開始されると、制御部１１５は、ステップＳ１８１において、GUIである閾値入力画面を生成し、出力部１２２のモニタにそれを表示させる。
　ステップＳ１８２において、制御部１１５は、入力部１２１を制御して閾値入力画面に基づく閾値設定に関する入力（ユーザ指示）を受け付ける。
　ステップＳ１８３において、制御部１１５は、ステップＳ１８２において受け付けたユーザ指示に基づいて各種閾値を設定する。制御部１１５は、更新した閾値を画像処理部１１３に供給する。画像処理部１１３は、その更新後の閾値を用いて画像処理を行う。
　ステップＳ１８３の処理が終了すると閾値設定処理が終了する。
　このように閾値設定処理を行うことにより、制御部１１５は、各閾値を更新することができる。したがって、撮像装置１００は、より多様な画像に対して、画像処理の対象領域の判定をより適切に行うことができる。
　以上においては、ユーザ指示を受け付け、閾値の更新をそのユーザ指示に基づいて行うように説明したが、閾値の更新方法は任意であり、この例に限定されない。例えば、撮像画像等のような画像処理の対象となる画像に応じて閾値が自動制御されるようにしてもよい。
　＜３．第３の実施の形態＞
　　＜色マップに基づく再判定＞
　以上においては、輝度マップ（輝度値）を、奥行き情報と異なる他の情報として用いて画像処理の対象領域であるか否かの再判定を行うように説明したが、この他の情報は任意であり、この例に限定されない。例えば、色マップ（色情報）が他の情報として用いられるようにしてもよい。
　そしてその場合、再判定において、周辺の画像処理の対象領域との色の違いが所定の閾値より小さい領域を画像処理の対象領域であると判定するようにしてもよい。
　　＜判定部＞
　図１７は、その場合の判定部１４４の主な構成例を示すブロック図である。この場合も、判定部１４４は、図３を参照して説明した場合と基本的に同様の構成を有する。ただし、図１７の場合、再判定部１６４が、切り抜き対象色情報参照部３２１と色判定部３２２とを有する。また、領域判定部１６３は、判定結果を切り抜き対象色情報参照部３２１に供給する。
　なお、この場合、画像処理部１１３の領域分割部１４３（図２）は、輝度マップの代わりに色マップを生成する。色マップは、撮像画像の、色情報に基づいて分割された（撮像画像の各画素が仕分けされた）各領域を撮像画像の画素に対応させた分布である。この色情報のフォーマット（カラースケール）は任意である。ＲＧＢであってもよいし、ＹＵＶであってもよいし、その他であってもよい。
　例えば、領域分割部１４３は、撮像画像の近い色の画素同士をまとめることにより領域化し、撮像画像を複数の領域に分割する。図１８は、色マップの例を示す図である。図１８に示される色マップ３３０においては、撮像画像が７つの領域に分割されている。換言するに、領域分割部１４３は、撮像画像の色数を低減させることにより撮像画像を複数の領域に分割することができる。なお、図１８においては、説明の便宜上、色マップを線図として表しているが、実際には、画素単位の情報の集合（分布）として構成される。
　領域分割部１４３は、このようにして生成した色マップを再判定部１６４の切り抜き対象色情報参照部３２１に供給する。
　切り抜き対象色情報参照部３２１は、見本色を設定する。この見本色は任意であるが、例えば、処理対象の周辺の切り抜き対象領域の色情報であってもよい。例えば、処理対象の周辺の切り抜き対象領域に属する、処理対象に最も近い画素の色情報を見本色とするようにしてもよい。切り抜き対象色情報参照部３２１は、その見本色の情報と色マップとを色判定部３２２に供給する。
　色判定部３２２は、色マップにおいて処理対象が属する領域の色情報の各色成分（若しくは色差成分）と、見本色の各色成分（若しくは色差成分）とを比較し、その類似度に基づいて処理対象が切り抜き対象であるか否かを判定する。
　例えば、色判定部３２２は、処理対象の領域（画素）の色情報と見本色とを色成分（若しくは色差成分）毎に比較し、それらの違い（誤差）を閾値と比較する。この閾値は、任意である。例えば、閾値を絶対値とし、色判定部３２２が誤差の絶対値を閾値と比較するようにしてもよい。また、例えば、誤差の正方向と負方向のそれぞれについて閾値を設定し、色判定部３２２が誤差を、その誤差の方向（正方向の誤差であるか負方向の誤差であるか）に応じた方向の閾値（正方向の閾値若しくは負方向の閾値）と比較するようにしてもよい。また、閾値は、全色成分（若しくは全色差成分）で共通としてもよいし、色成分（若しくは色差成分）毎に独立した値とするようにしてもよい。
　誤差が閾値よりも小さい（若しくは閾値以下である）場合、色判定部３２２は、その処理対象を切り抜き対象であると判定する。また、誤差が閾値以上である（若しくは閾値よりも大きい）場合、色判定部３２２は、その処理対象を非切り抜き対象であると判定する。
　なお、色判定部３２２は、全ての色成分（若しくは色差成分）について、誤差が閾値よりも小さい（若しくは閾値以下である）場合、その処理対象を切り抜き対象であると判定するようにしてもよいし、一部の色成分（若しくは色差成分）においてのみ、誤差が閾値よりも小さい（若しくは閾値以下である）場合も、その処理対象を切り抜き対象であると判定するようにしてもよい。
　たとえば、見本色がＲＧＢ表記で（２５５,１６０,１２２）であるとする。また、処理対象の画素の色情報がＲＧＢ表記で（２５０,１２８,１１４）であるとする。この場合処理対象の画素の色情報と見本色との誤差は、（－５,－３２,－８）である。ここで閾値が例えばＲＧＢ毎に（＋－）６０であるとすると、ＲＧＢ全てにおいて誤差が閾値よりも小さいことになる。このような場合、色判定部３２２は、処理対象の画素を切り抜き対象であると判定する。
　また、閾値が例えばＲＧＢ毎に（＋－）２０であるとすると、Ｒ，Ｂについては誤差が閾値よりも小さいが、Ｇについては誤差が閾値よりも大きい。このような場合に、色判定部３２２が、処理対象の画素を非切り抜き対象であると判定するようにしてもよいし、切り抜き対象であると判定するようにしてもよい。
　色判定部３２２は、各領域（例えば画素）の判定結果を示す情報を、切り抜き対象マップ生成部１６５に供給する。切り抜き対象マップ生成部１６５は、この場合も、第１の実施の形態の場合と同様に判定結果に基づいて切り抜き対象マップを生成する。
　第１の実施の形態のように輝度マップに基づいて再判定処理を行う場合と、本実施の形態のように色マップに基づいて再判定処理を行う場合とで、切り抜き対象と判定される領域が異なる場合がある。例えば、輝度マップを用いる場合、輝度の低い（暗い）領域が切り抜き対象と判定されるが、色マップを用いる場合、見本色に近い色の領域が切り抜き対象と判定される。したがって、互いに異なる特徴を持つ領域が切り抜き対象領域と判定される可能性がある。
　つまり、以上のように輝度マップの代わりに色マップに基づいて再判定処理を行うことにより、第１の実施の形態の場合と同様に、画像内の画像処理対象の領域特定をより正確に行うことができるだけでなく、第１の実施の形態の場合と異なる特徴を持つ領域を画像処理の対象領域として求めることができる。
　　＜再判定処理＞
　この場合も撮像送信処理、画像処理、切り抜き対象マップ生成処理等は、第１の実施の形態の場合と同様に実行される。ただし、画像処理のステップＳ１２３（図１２）においては、輝度マップの代わりに色マップが生成される。
　この場合の再判定処理の流れの例を図１９のフローチャートを参照して説明する。
　再判定処理が開始されると、切り抜き対象色情報参照部３２１は、ステップＳ２０１において、ステップＳ１４６の処理により判定を保留した画素の中から処理対象画素を選択する。
　ステップＳ２０２において、切り抜き対象色情報参照部３２１は、ステップＳ２０１において選択された処理対象の画素の近傍（周辺）の切り抜き対象領域に属する最も処理対象画素に近い画素の色情報を見本色とする。
　ステップＳ２０３において、色判定部３２２は、処理対象画素の色情報と見本色との違い（誤差）が閾値より小さい（若しくは閾値以下である）か否かを判定する。この誤差が閾値より小さい（若しくは閾値以下である）と判定された場合、処理はステップＳ２０４に進む。
　ステップＳ２０４において、色判定部３２２は、処理対象画素を切り抜き対象と判定する。ステップＳ２０４の処理が終了すると、処理はステップＳ２０６に進む。
　また、ステップＳ２０３において、誤差が閾値以上である（若しくは閾値より大きい）と判定された場合、処理はステップＳ２０５に進む。
　ステップＳ２０５において、色判定部３２２は、処理対象画素を非切り抜き対象と判定する。ステップＳ２０５の処理が終了すると、処理はステップＳ２０６に進む。
　ステップＳ２０６において、切り抜き対象色情報参照部３２１は、ステップＳ１４６の処理により判定を保留した画素を全て処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理をステップＳ２０１に戻し、それ以降の処理を繰り返す。つまり、ステップＳ１４６の処理により判定を保留した各画素について、ステップＳ２０１からステップＳ２０６までのフローが実行される。そして、ステップＳ２０６において、ステップＳ１４６の処理により判定を保留した全ての画素が処理されたと判定された場合、再判定処理が終了し、処理は図１３に戻る。
　以上のように各処理を実行することにより、信頼性の高い奥行き情報とその他の情報とに基づいて画像処理の対象領域を求めることができ、画像内の画像処理対象の領域特定をより正確に行うことができる。
　　＜閾値制御＞
　なお、色情報の閾値も、輝度値の閾値等と同様に、予め定められた所定の値（固定値）であってもよいし、ユーザ等により値を設定することができる（可変値）ようにしてもよい。例えば、色情報の閾値も、輝度値の閾値等と同様に、ユーザがGUI（閾値入力画面）に基づいて制御することができるようにしてもよい。つまり、本実施の形態の場合も、例えば撮像装置１００（制御部１１５）が、ユーザ等による閾値の設定入力を受け付けるGUIを出力部１２２のモニタに表示させ、そのGUIに基づいて入力されるユーザ指示を、入力部１２１を介して受け付け、各種閾値を、そのユーザ指示により指定される値に設定するようにしてもよい。
　図２０は色情報の閾値を設定のために表示されるGUIである閾値入力画面の例を示す図である。図２０において閾値入力画面３４０は、画像表示部３４１、画像表示部３４２、スライドバー３４３、スライドバー３４４、スライドバー３４５、並びに、決定ボタン３４６を有する。
　画像表示部３４１は、閾値入力画面３００の画像表示部３０１と同様の表示部であり、この閾値入力画面３４０の操作に基づく閾値設定制御を反映していない状態の撮像画像が表示される。
　これに対して画像表示部３４２は、閾値入力画面３００の画像表示部３０２と同様の表示部であり、この閾値入力画面３４０の操作に基づく閾値設定制御を反映した状態の撮像画像が表示される。
　スライドバー３４３は、閾値入力画面３００のスライドバー３０３と同様に、奥行き情報の閾値設定を制御するためのものである。ポインタ３４３Ａは、閾値入力画面３００のポインタ３０３Ａに対応する。
　スライドバー３４４は、閾値入力画面３００のスライドバー３０４と同様に、信頼性情報の閾値設定を制御するためのものである。ポインタ３４４Ａは、閾値入力画面３００のポインタ３０４Ａに対応する。
　スライドバー３４５は、色情報の閾値設定を制御するためのものである。例えば、ユーザがスライドバー３４５のポインタ３４５Ａをスライドバー３４５に沿って図中左右方向に移動させると、そのポインタ３４５Ａの位置に応じて色情報の閾値設定が変更される。
　例えば、ユーザが、ポインタ３４５Ａを図中左方向に移動させると、閾値が小さくなり、ポインタ３４５Ａを図中右方向に移動させると、閾値が大きくなる。つまり、ユーザは、このポインタ３４５Ａの位置を制御することにより、切り抜き対象とする色情報の範囲を容易に制御することができる。
　例えば、色情報の閾値が１つであり、見本色との誤差が閾値よりも小さな画素が切り抜き対象とされる場合、この閾値を大きくする（「異」側に移動させる）と、切り抜き対象となる色の範囲が広がるので、より広範な領域が切り抜き対象となり得る。逆に、この閾値を小さくする（「同」側に移動させる）と、切り抜き対象となる色の範囲が狭くなり、切り抜き対象となり得る領域が低減する可能性がある。
　例えば、色情報を用いた再判定処理を行うと、近赤外光を反射し難い色（例えば黒色等）の部分を切り抜き対象領域とすることができる。例えば、被写体の境界（被写体の部分とそれ以外の部分との境界）付近は、影が生じる等して黒色が増えて奥行き情報の信頼性が低減し、非切り抜き対象と判定されてしまう場合がある。色情報を用いた再判定処理を行うことによりこのような被写体の境界付近を切り抜き対象にすることが可能になる。
　しかしながら、例えばその影が濃すぎるような場合、その影の部分と周囲の切り抜き対象領域との色の誤差が閾値を越えてしまい、非切り抜き対象とされてしまう可能性がある。このような場合に、ユーザがポインタ３４５Ａを図中右側に操作して閾値を大きくすることにより、影の部分と周囲の切り抜き対象領域との色の誤差が閾値より小さくなるようにすることができ、その影の部分を切り抜き対象とすることができる可能性がある。
　また、例えば、被写体の部分とその周辺の被写体で無い部分との色が近似しているような場合、色情報を用いた再判定処理により、被写体で無い部分も切り抜き対象とされてしまう可能性がある。このような場合に、ユーザがポインタ３４５Ａを図中左側に操作することにより、被写体の部分とその周辺の被写体で無い部分との色の誤差が閾値より大きくなるようにすることができ、被写体で無い部分を非切り抜き対象とすることができる可能性がある。
　つまり、閾値入力画面には、値が可変の閾値に対応するスライドバーが設けられるようにすればよい。なお、全ての閾値が可変であってもよいし、一部の閾値が可変であってもよい。また、値が可変の閾値の内の一部についてのみスライドバーが設けられるようにしてもよい。
　決定ボタン３４６は、閾値入力画面３００の決定ボタン３０６と同様のGUIボタンである。この決定ボタン３４６を押下することにより、スライドバー操作による閾値の制御が決定される。
　以上のように、各種閾値を可変とし、閾値入力画面３４０を表示して閾値の設定に関する指示を受け付けることにより、撮像装置１００は、より多様な画像に対して、画像処理の対象領域の判定をより適切に行うことができる。
　＜４．第４の実施の形態＞
　　＜髪型モデルに基づく再判定＞
　例えば、再判定処理に用いる他の情報として髪型モデルを用いるようにし、その髪型モデルを表す髪型モデルデータに基づいて、髪型モデルにおける髪領域に属する領域を画像処理の対象領域であると判定するようにしてもよい。
　例えば、図２１に示されるような髪型のモデル（髪型モデルとも称する）を予め複数用意し、その中から被写体の実際の髪型に近い髪型モデルをユーザに選択させ、その髪型モデルを撮像画像の被写体に当てはめ（撮像画像に髪型モデルを重畳し、撮像画像の被写体の顔の部分と髪型モデルとが違和感なく重畳するように髪型モデルの位置合わせを行い）、撮像画像の、その髪型モデルにおいて髪である部分（髪領域とも称する）に相当する領域を切り抜き対象とするようにする。
　図２１に示される髪型モデルデータ３５０は、５０種類の髪型モデルの画像を含むデータである。髪型モデルのデータは、画像データであってもよいし、形状、範囲、色等を示す（画像化することができる）情報であってもよい。また、髪型に関するその他の情報が髪型モデルデータ３５０に含まれるようにしてもよい。
　この髪型モデルデータ３５０は、例えば、記憶部１２３やリムーバブルメディア１３１等に予め記憶されている。制御部１１５は、これらから髪型モデルデータ３５０を読み出して取得する。なお、髪型モデルデータ３５０は、入力部１２１や通信部１２４を介して外部から供給されるようにしてもよい。
　制御部１１５は、この髪型モデルデータ３５０に含まれる髪型モデルの一覧（文字や画像等）を含むGUIを出力部１２２のモニタに表示し、ユーザに髪型を選択させる。制御部１１５は、入力部１２１を制御してそのGUIに対するユーザ入力、すなわち、髪型の選択を受け付け、選択された髪型モデルのデータを画像処理部１１３に供給する。画像処理部１１３の判定部１４４は、供給された髪型モデルのデータを用いて再判定処理を行う。
　一般的に、撮像画像において頭髪の部分は、複雑な形状をしているため、光の加減などにより多様な絵柄となり得る不安定な領域である。そのため、撮像画像の画像情報（輝度や色等）に基づいて切り抜き対象であるかを判定すると、安定して正確に頭髪の部分を切り抜き対象とすることができない可能性がある（画像に依存する可能性がある）。これに対して上述したように髪型モデルを用いて切り抜き対象であるかを判定することにより、物理的な形状（物理的な範囲）で切り抜き対象を指定することができるので、画像によらずに安定した領域を切り抜き対象とすることができる。
　なお、撮像画像（被写体の顔の部分）に対する髪型モデルの位置合わせの方法は任意である。例えば、撮像装置１００が、顔検出等を行って撮像画像の被写体の顔の部分を特定し、その顔の部分に髪型モデルを位置合わせするようにしてもよいし、撮像画像と髪型モデルをGUIとしてモニタに表示してユーザに位置合わせさせるようにしてもよい。
　また、用意される（髪型モデルデータ３５０に含まれる）髪型モデルは任意であり、図２１の例に限定されない。また用意される髪型モデルの数も任意であり、図２１の例に限定されない。さらに、ユーザが髪型モデルを加工する（髪型を変える）ことができるようにしてもよい。また、ユーザが髪型モデルを生成することができるようにしてもよい。例えば、ユーザが髪型モデルをGUI等を使って手書き入力することができるようにしてもよいし、ユーザが他の撮像画像等を入力することによりその撮像画像に含まれる被写体の髪型をモデルとして登録することができるようにしてもよい。
　なお、この髪型モデルを用いる方法と他の方法とを組み合わせるようにしてもよい。例えば、輝度値を用いる方法と、この髪型モデルを用いる方法とを組み合わせるようにしてもよい。つまり、輝度が所定の閾値より低く、かつ、髪型モデルにおける髪領域に属する領域を画像処理の対象領域であると判定するようにしてもよい。このようにすることにより、より正確に被写体の髪の部分を画像処理の対象領域であると判定することができる。
　　＜判定部＞
　図２２は、この場合の判定部１４４の主な構成例を示すブロック図である。この場合も、判定部１４４は、図３を参照して説明した場合と基本的に同様の構成を有する。ただし、図２２の場合、再判定部１６４が、周辺領域判定部１７２の代わりに髪型判定部３６１を有する。また、領域判定部１６３は、判定結果を再判定部１６４に供給しない。なお、この場合、ユーザ等に選択された髪型モデルデータ等が、例えば制御部１１５等から髪型判定部３６１に供給される。
　輝度マップ判定部１７１は、図３の場合と同様に輝度値に基づいて切り抜き対象領域であるか否かを判定し、その判定結果を髪型判定部３６１に供給する。
　髪型判定部３６１は、輝度マップ判定部１７１により輝度値が所定の閾値よりも低い（若しくは閾値以下である）と判定された領域（例えば画素）の位置と、位置合わせされた髪型モデルの位置とを比較し、その領域が髪型モデルにおける髪領域内に位置するか否か（その領域が髪型モデルにおける髪領域に属するか否か）を判定する。そして、その領域が髪型モデルにおける髪領域内に位置する場合、その領域を切り抜き対象と判定する。また、その領域が髪型モデルにおける髪領域内に位置しない場合、その領域を非切り抜き対象と判定する。
　髪型判定部３６１は、その判定結果を切り抜き対象マップ生成部１６５に供給する。切り抜き対象マップ生成部１６５は、この場合も、第１の実施の形態の場合と同様に判定結果に基づいて切り抜き対象マップを生成する。
　このようにすることにより、より安定的に、被写体の髪の部分を画像処理の対象領域とすることができる。
　　＜再判定処理＞
　この場合も撮像送信処理、画像処理、切り抜き対象マップ生成処理等は、第１の実施の形態の場合と同様に実行される。この場合の再判定処理の流れの例を図２３のフローチャートを参照して説明する。
　再判定処理が開始されると、輝度マップ判定部１７１は、ステップＳ２２１において、ステップＳ１４６の処理により判定を保留した画素の中から処理対象画素を選択する。
　ステップＳ２２２において、輝度マップ判定部１７１は、輝度マップに基づいて、その処理対象画素の輝度値が所定の閾値より低い（処理対象画素の画像が閾値に相当する明るさよりも暗い）か否かを判定する。輝度値が閾値よりも低いと判定された場合、処理はステップＳ２２３に進む。
　ステップＳ２２３において、髪型判定部３６１は、処理対象画素が、採用された髪型モデル（例えばユーザ等により選択された髪型モデル）における髪領域に属するか否かを判定する。処理対象画素がその髪領域に属すると判定された場合、処理はステップＳ２２４に進む。
　ステップＳ２２４において、髪型判定部３６１は、その処理対象画素を切り抜き対象である（つまり処理対象画素が切り抜き対象領域に属する）と判定する。ステップＳ２２４の処理が終了すると、処理はステップＳ２２６に進む。
　また、ステップＳ２２２において、処理対象画素の輝度値が閾値より低くない（閾値以上である（処理対象画素の画像が閾値に相当する明るさよりも明るい））と判定された場合、処理はステップＳ２２５に進む。また、ステップＳ２２３において、処理対象画素が髪型モデルの髪領域に属していないと判定された場合、処理はステップＳ２２５に進む。
　ステップＳ２２５において、髪型判定部３６１は、その処理対象画素を非切り抜き対象である（切り抜き対象でない（つまり処理対象画素が非切り抜き対象領域に属する））と判定する。ステップＳ２２５の処理が終了すると、処理はステップＳ２２６に進む。
　ステップＳ２２６において、輝度マップ判定部１７１は、ステップＳ１４６の処理により判定を保留した画素を全て処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理をステップＳ２２１に戻し、それ以降の処理を繰り返す。つまり、ステップＳ１４６の処理により判定を保留した各画素について、ステップＳ２２１からステップＳ２２６までのフローが実行される。そして、ステップＳ２２６において、ステップＳ１４６の処理により判定を保留した全ての画素が処理されたと判定された場合、再判定処理が終了し、処理は図１３に戻る。
　以上のように各処理を実行することにより、信頼性の高い奥行き情報とその他の情報とに基づいて画像処理の対象領域を求めることができ、画像内の画像処理対象の領域特定をより正確に行うことができる。
　＜５．第５の実施の形態＞
　　＜テクスチャモデルに基づく再判定＞
　例えば、再判定処理に用いる他の情報として髪のテクスチャモデルを用いるようにし、そのテクスチャモデルを表すテクスチャモデルデータに基づいて、そのテクスチャモデルに類似するテクスチャを有する領域を画像処理の対象領域であると判定するようにしてもよい。
　例えば、図２４に示されるような髪のテクスチャのモデル（テクスチャモデルとも称する）を予め複数用意し、その中から被写体の実際の頭髪（色や髪質等）に近いテクスチャモデルをユーザ等に選択させ、撮像画像の、その選択されたテクスチャモデルに近いテクスチャの領域を切り抜き対象とするようにする。
　図２４に示されるテクスチャモデルデータ３７０は、３種類のテクスチャモデルの画像を含むデータである。テクスチャモデルのデータは、画像データであってもよいし、絵柄や色等を示す（画像化することができる）情報であってもよい。また、テクスチャに関するその他の情報がテクスチャモデルデータ３７０に含まれるようにしてもよい。
　このテクスチャモデルデータ３７０は、例えば、記憶部１２３やリムーバブルメディア１３１等に予め記憶されている。制御部１１５は、これらからテクスチャモデルデータ３７０を読み出して取得する。なお、テクスチャモデルデータ３７０は、入力部１２１や通信部１２４を介して外部から供給されるようにしてもよい。
　制御部１１５は、このテクスチャモデルデータ３７０に含まれるテクスチャモデルの一覧（文字や画像等）を含むGUIを出力部１２２のモニタに表示し、ユーザにテクスチャを選択させる。制御部１１５は、入力部１２１を制御してそのGUIに対するユーザ入力、すなわち、テクスチャの選択を受け付け、選択されたテクスチャモデルのデータを画像処理部１１３に供給する。画像処理部１１３の判定部１４４は、供給されたテクスチャモデルのデータを用いて再判定処理を行う。
　つまり、テクスチャを用いて、その領域がどのような領域（例えば頭髪の部分であるか否か等）の識別が行われる。そのため、このようにテクスチャに基づいて画像処理の対象領域を判定することにより、より正確な判定を行うことができる。
　なお、用意される（テクスチャモデルデータ３７０に含まれる）テクスチャモデルは任意であり、図２４の例に限定されない。また用意されるテクスチャモデルの数も任意であり、図２４の例に限定されない。またテクスチャは髪以外のテクスチャ（例えば衣服、肌、壁紙等）であってもよい。さらに、ユーザがテクスチャモデルを加工したり、生成（若しくは新規登録）したりすることができるようにしてもよい。例えば、ユーザが新たなテクスチャをGUI等を使って手書き入力することができるようにしてもよいし、ユーザが他の画像等を入力することによりその画像に含まれるテクスチャをモデルとして登録することができるようにしてもよい。
　また、テクスチャモデルに近いテクスチャの領域を非切り抜き対象とするようにしてもよい。例えば、壁紙、家具、自然等のテクスチャモデルを用意し、それらとは異なるテクスチャの領域を被写体である（切り抜き対象である）と判定するようにしてもよい。
　なお、このテクスチャモデルを用いる方法と他の方法とを組み合わせるようにしてもよい。例えば、輝度値を用いる方法と、このテクスチャモデルを用いる方法とを組み合わせるようにしてもよい。つまり、輝度が所定の閾値より低く、かつ、テクスチャモデルに近いテクスチャを有する領域を画像処理の対象領域であると判定するようにしてもよい。このようにすることにより、より正確な判定を行うことができる。
　　＜判定部＞
　図２５は、この場合の判定部１４４の主な構成例を示すブロック図である。この場合も、判定部１４４は、図３を参照して説明した場合と基本的に同様の構成を有する。ただし、図２５の場合、再判定部１６４が、周辺領域判定部１７２の代わりにテクスチャ判定部３８１を有する。また、領域判定部１６３は、判定結果を再判定部１６４に供給しない。なお、この場合、ユーザ等に選択されたテクスチャモデルデータ等が、例えば制御部１１５等からテクスチャ判定部３８１に供給される。
　輝度マップ判定部１７１は、図３の場合と同様に輝度値に基づいて切り抜き対象領域であるか否かを判定し、その判定結果をテクスチャ判定部３８１に供給する。
　テクスチャ判定部３８１は、輝度マップ判定部１７１により輝度値が所定の閾値よりも低い（若しくは閾値以下である）と判定された領域（例えば画素）が属する所定の領域のテクスチャが、テクスチャモデルデータのテクスチャに類似するか否か（例えば、それらの違いが所定の閾値以下であるか否か）を判定する。そして、テクスチャ判定部３８１は、テクスチャが類似する場合、その領域を切り抜き対象と判定する。また、テクスチャ判定部３８１は、テクスチャが類似しない場合、その領域を非切り抜き対象と判定する。
　テクスチャ判定部３８１は、その判定結果を切り抜き対象マップ生成部１６５に供給する。切り抜き対象マップ生成部１６５は、この場合も、第１の実施の形態の場合と同様に判定結果に基づいて切り抜き対象マップを生成する。
　このようにすることにより、より正確に画像処理の対象領域を判定することができる。
　　＜再判定処理＞
　この場合も撮像送信処理、画像処理、切り抜き対象マップ生成処理等は、第１の実施の形態の場合と同様に実行される。この場合の再判定処理の流れの例を図２６のフローチャートを参照して説明する。
　再判定処理が開始されると、輝度マップ判定部１７１は、ステップＳ２４１において、ステップＳ１４６の処理により判定を保留した画素の中から処理対象画素を選択する。
　ステップＳ２４２において、輝度マップ判定部１７１は、輝度マップに基づいて、その処理対象画素の輝度値が所定の閾値より低い（処理対象画素の画像が閾値に相当する明るさよりも暗い）か否かを判定する。輝度値が閾値よりも低いと判定された場合、処理はステップＳ２４３に進む。
　ステップＳ２４３において、テクスチャ判定部３８１は、処理対象画素が属する領域のテクスチャが、採用されたテクスチャモデル（例えばユーザ等により選択されたテクスチャモデル）のテクスチャに類似するか否かを判定する。それらのテクスチャが類似すると判定された場合、処理はステップＳ２４４に進む。
　ステップＳ２４４において、テクスチャ判定部３８１は、その処理対象画素を切り抜き対象である（つまり処理対象画素が切り抜き対象領域に属する）と判定する。ステップＳ２４４の処理が終了すると、処理はステップＳ２４６に進む。
　また、ステップＳ２４２において、処理対象画素の輝度値が閾値より低くない（閾値以上である（処理対象画素の画像が閾値に相当する明るさよりも明るい））と判定された場合、処理はステップＳ２４５に進む。また、ステップＳ２４３において、テクスチャが類似していないと判定された場合、処理はステップＳ２４５に進む。
　ステップＳ２４５において、テクスチャ判定部３８１は、その処理対象画素を非切り抜き対象である（切り抜き対象でない（つまり処理対象画素が非切り抜き対象領域に属する））と判定する。ステップＳ２４５の処理が終了すると、処理はステップＳ２４６に進む。
　ステップＳ２４６において、輝度マップ判定部１７１は、ステップＳ１４６の処理により判定を保留した画素を全て処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理をステップＳ２４１に戻し、それ以降の処理を繰り返す。つまり、ステップＳ１４６の処理により判定を保留した各画素について、ステップＳ２４１からステップＳ２４６までのフローが実行される。そして、ステップＳ２４６において、ステップＳ１４６の処理により判定を保留した全ての画素が処理されたと判定された場合、再判定処理が終了し、処理は図１３に戻る。
　以上のように各処理を実行することにより、信頼性の高い奥行き情報とその他の情報とに基づいて画像処理の対象領域を求めることができ、画像内の画像処理対象の領域特定をより正確に行うことができる。
　＜６．第６の実施の形態＞
　　＜形状認識に基づく再判定＞
　例えば、撮像画像において被写体の形状を認識し、その形状認識結果を再判定処理において他の情報として用いるようにしてもよい。例えば、その形状認識結果から画像処理の対象であると推定可能な領域を画像処理の対象領域であると判定するようにしてもよい。
　例えば、奥行き情報に基づいて切り抜き対象と判定された領域から、その領域に属する被写体の形状を認識し、その被写体の形状に基づいてさらにその周辺の領域を再判定するようにする。この再判定において、既に切り抜き対象と判定された領域の周辺の、認識された被写体の形状から被写体の一部であると推定可能な領域を、切り抜き対象に追加するようにする。つまり、切り抜き対象領域に基づいて被写体の形状を認識し、その被写体の形状に基づいて、被写体の一部であるものの、切り抜き対象とされなかった領域を推定する。
　例えば、図２７のＡに示されるように、被写体３９１のすぐ後方にソファ３９２が設置されているような構図の撮像画像において、被写体３９１の服の色とソファ３９２の色が類似する場合（例えばどちらも黒色である場合）、被写体３９１の服とソファ３９２との境界を検出することが困難になり、被写体３９１だけでなくソファ３９２も切り抜き対象と判定されてしまう可能性がある。
　そこで、例えば奥行き情報に基づいて切り抜き対象領域とされた被写体３９１の顔、手、足等の部分から被写体の形状を認識し、その認識結果に基づいて、被写体３９１の胴体部分（つまり服の部分）も被写体３９１の一部であると推定するようにする。このような推定結果に基づいて切り抜き対象領域を判定することにより、図２７のＢのように、被写体３９１の服の部分を切り抜き対象領域と判定し、ソファ３９２の部分を非切り抜き対象領域と判定することができる。
　つまり、より正確に被写体の部分を画像処理の対象と判定することができる。
　なお、被写体形状の認識方法は任意である。また、この被写体形状認識を用いる方法と他の方法とを組み合わせるようにしてもよい。例えば、輝度値を用いる方法と、この被写体形状認識を用いる方法とを組み合わせるようにしてもよい。つまり、輝度が所定の閾値より低く、かつ、被写体の形状に基づいて画像処理の対象領域であると推定可能な領域を画像処理の対象領域であると判定するようにしてもよい。このようにすることにより、より正確な判定を行うことができる。
　　＜判定部＞
　図２８は、この場合の判定部１４４の主な構成例を示すブロック図である。この場合も、判定部１４４は、図３を参照して説明した場合と基本的に同様の構成を有する。ただし、図２８の場合、再判定部１６４が、周辺領域判定部１７２の代わりに形状認識部４０１を有する。また、領域判定部１６３は、判定結果を形状認識部４０１に供給する。
　輝度マップ判定部１７１は、図３の場合と同様に輝度値に基づいて切り抜き対象領域であるか否かを判定し、その判定結果を形状認識部４０１に供給する。
　形状認識部４０１は、領域判定部１６３の判定結果に基づいて、切り抜き対象領域に属する被写体の形状を認識する。また、形状認識部４０１は、その認識した被写体の形状に基づいて切り抜き対象として推定可能である領域を切り抜き対象と判定し、推定不可能な領域を非切り抜き対象と判定する。
　形状認識部４０１は、その判定結果を切り抜き対象マップ生成部１６５に供給する。切り抜き対象マップ生成部１６５は、この場合も、第１の実施の形態の場合と同様に判定結果に基づいて切り抜き対象マップを生成する。
　このようにすることにより、より正確に画像処理の対象領域を判定することができる。
　　＜再判定処理＞
　この場合も撮像送信処理、画像処理、切り抜き対象マップ生成処理等は、第１の実施の形態の場合と同様に実行される。この場合の再判定処理の流れの例を図２９のフローチャートを参照して説明する。
　再判定処理が開始されると、輝度マップ判定部１７１は、ステップＳ２６１において、ステップＳ１４６の処理により判定を保留した画素の中から処理対象画素を選択する。
　ステップＳ２６２において、輝度マップ判定部１７１は、輝度マップに基づいて、その処理対象画素の輝度値が所定の閾値より低い（処理対象画素の画像が閾値に相当する明るさよりも暗い）か否かを判定する。輝度値が閾値よりも低いと判定された場合、処理はステップＳ２６３に進む。
　ステップＳ２６３において、形状認識部４０１は、ステップＳ１４４の処理により切り抜き対象と判定された領域（切り抜き対象領域）の画像に基づいて、その切り抜き対象領域に含まれる被写体の全体の形状を認識する。
　ステップＳ２６４において、形状認識部４０１は、ステップＳ２６３において認識した被写体の形状に基づいて、処理対象画素を切り抜き対象と推定可能であるか否かを判定する。処理対象画素がステップＳ２６３において被写体として認識された領域内に位置しており、処理対象画素を切り抜き対象と推定可能であると判定された場合、処理はステップＳ２６５に進む。
　ステップＳ２６５において、形状認識部４０１は、その処理対象画素を切り抜き対象である（つまり処理対象画素が切り抜き対象領域に属する）と判定する。ステップＳ２６５の処理が終了すると、処理はステップＳ２６７に進む。
　また、ステップＳ２６２において、処理対象画素の輝度値が閾値より低くない（閾値以上である（処理対象画素の画像が閾値に相当する明るさよりも明るい））と判定された場合、処理はステップＳ２６６に進む。また、ステップＳ２６４において、処理対象画素がステップＳ２６３において被写体として認識された領域内に位置しておらず、処理対象画素を切り抜き対象と推定不可能であると判定された場合、処理はステップＳ２６６に進む。
　ステップＳ２６６において、形状認識部４０１は、その処理対象画素を非切り抜き対象である（切り抜き対象でない（つまり処理対象画素が非切り抜き対象領域に属する））と判定する。ステップＳ２６６の処理が終了すると、処理はステップＳ２６７に進む。
　ステップＳ２６７において、輝度マップ判定部１７１は、ステップＳ１４６の処理により判定を保留した画素を全て処理したか否かを判定する。未処理の画素が存在すると判定された場合、処理をステップＳ２６１に戻し、それ以降の処理を繰り返す。つまり、ステップＳ１４６の処理により判定を保留した各画素について、ステップＳ２６１からステップＳ２６７までのフローが実行される。そして、ステップＳ２６７において、ステップＳ１４６の処理により判定を保留した全ての画素が処理されたと判定された場合、再判定処理が終了し、処理は図１３に戻る。
　以上のように各処理を実行することにより、信頼性の高い奥行き情報とその他の情報とに基づいて画像処理の対象領域を求めることができ、画像内の画像処理対象の領域特定をより正確に行うことができる。
　＜７．第７の実施の形態＞
　　＜測距方式＞
　以上においては、測距の方法としてTOF方式を例に説明したが、測距の方法は任意である。例えば、赤外線等による所定の投射パタンを被写体に投射し、その変形を分析することにより奥行き検出を行うストラクチャードライト方式を用いるようにしてもよい。
　また、撮像画像の視差を利用して奥行き検出を行うステレオマッチング方式を測距の方法として用いるようにしてもよい。また、互いに異なる角度から撮像された複数の撮像画像を用いて特徴点の位置合わせ等、画像間の関係を計算し、最適化を行うことで、奥行き検出を行うSfM方式を測距の方法として用いるようにしてもよい。
　ステレオマッチング方式やSfM方式の場合、センサ部１１２が複数のイメージセンサを有するようにしてもよい。その場合、測距部１４２は、複数のイメージセンサにおいて得られた撮像画像（すなわち複数の撮像画像）を用いて測距を行い、奥行き情報や信頼性情報を生成する。
　なお、複数の撮像画像を用いて測距を行う場合（特にステレオマッチング方式の場合）、赤外線を利用しないので、TOF等のように赤外線の反射仕方による奥行き情報の信頼性の低減は生じにくい。したがってこの場合、奥行き情報の信頼性は、赤外線を利用する測距方式の場合に比べて材質等による影響は受け難い。しかしながら、オクルージョンが発生しやすいので、オクルージョンが発生するような部分において奥行き情報の信頼性が低減しやすい。このように、測距方式の特徴に応じて、奥行き情報やその信頼性情報の分布が変化する可能性がある。
　しかしながら、本技術の切り抜き対象領域の検出においては、奥行き情報の、信頼性が高い部分のみを採用し、信頼性が低い部分はその他の情報を採用するため、測距方式に関わらず、より正確に画像の所望の部分を切り抜くことができる（測距方式による奥行き情報やその信頼性情報の分布の変化の影響を受け難い）。
　ただし、再判定処理の方法は、測距方式の特徴に応じた（より適した）方法を採用するようにしてもよい。例えば、一般的にオクルージョンは、切り抜き対象となる被写体の境界部分（被写体部分と背景部分との境界近傍）において発生し易く、暗部でない部分においても発生し易い。つまり、この場合奥行き情報の信頼性は、輝度に関わらず低減する可能性がある。したがって、ステレオマッチング方式等のように複数の撮像画像を用いて測距を行う場合、再判定処理を、輝度情報に基づいて行わずに、図１７乃至図２０を参照して説明した例のように色情報に基づいて行うようにしてもよい。
　また、複数種類の測距方式を組み合わせて用いるようにしてももちろん良い。その場合、測距部１４２が各測距方法の特徴を考慮して互いの弱点を補い合うように処理を行い、最適な（より正確な）奥行き情報および信頼性情報を生成するようにしてもよい。
　　＜画像処理＞
　本技術を適用した画像処理は任意の画像に対して実行することができる。例えばコンピュータグラフィック画像のように人工的に生成された画像のような、撮像画像以外の画像を、本技術を適用した画像処理の対象とすることができる。
　また、切り抜きの対象とする画像は任意であり、例えば物品等、人物以外の画像を切り抜きの対象としてもよい。また、切り抜きの対象とする画像は、撮像画像内に１つであってもよいし、複数であってもよい。
　また、本技術を適用した画像処理の対象となる画像は、静止画像であってもよいし動画像であってもよい。動画像を対象とする場合、その動画像の各フレーム画像に対して本技術を適用した画像処理を行うようにすればよい。本技術を適用した画像処理は、マップの生成や判定処理等の簡易な処理により実現することができ、複雑な演算等のように負荷や処理時間の大きな処理を必要としない。したがって、本技術を適用した画像処理は、処理対象が動画像の場合であっても、破綻する（動画像のフレーム速度に対して画像処理が遅延して、最終的に処理が不可能となる）こと無く即時的に（リアルタイムに）各フレームを処理することができる。
　また、その場合、再判定部１６４による再判定処理が、処理対象のフレーム画像以外のフレーム画像（例えば、処理対象のフレームよりも過去のフレームの画像）に関する情報（例えば輝度や色等）に基づいて行われるようにしてもよい。
　また、第１の実施の形態乃至第６の実施の形態において、再判定に用いられる他の情報の例を説明したが、この他の情報は、奥行き情報以外の情報であればどのような情報であってもよい。第１の実施の形態乃至第６の実施の形態において説明した例以外の情報であってももちろんよい。
　また、再判定の方法（およびその再判定に用いられる他の情報）は、複数の方法（および複数の情報）を組み合わせるようにしてもよい。その組み合わせ方は任意である。
　例えば、第４の実施の形態において説明した髪型モデルに基づいて再判定を行う方法を、輝度マップに基づいて再判定を行う方法の代わりに、色マップに基づいて再判定を行う方法と組み合わせて用いるようにしてもよい。同様に、第５の実施の形態において説明したテクスチャモデルに基づいて再判定を行う方法を、色マップに基づいて再判定を行う方法と組み合わせて用いるようにしてもよい。同様に、第６の実施の形態において説明した形状認識に基づいて再判定を行う方法を、色マップに基づいて再判定を行う方法と組み合わせて用いるようにしてもよい。
　また、第１の実施の形態乃至第６の実施の形態において説明した各方法を３つ以上組み合わせて用いるようにしてもよい。さらに、第１の実施の形態乃至第６の実施の形態において説明した方法を、それら以外の方法と組み合わせて用いるようにしてもよい。
　さらに、再判定部１６４が複数の方法の中から任意の方法を選択することができるようにしてもよい。例えば、処理対象の領域によって、再判定の方法を変えることができるようにしてもよい。上述した各方法は、互いに異なる特徴を有する。つまり、画像によって向き不向きがある場合がある。例えば、被写体の部分とそれ以外の部分とで輝度が大きく異なるような領域であれば、輝度マップに基づく方法が適している（より正確に切り抜き対象領域を判定することができる）可能性が高い。また、被写体の部分とそれ以外の部分とで色が大きく異なるような領域であれば、色マップに基づく方法が適している（より正確に切り抜き対象領域を判定することができる）可能性が高い。したがって、再判定部１６４が、処理対象の領域の画像の特徴に応じて、より適切な（より正確に切り抜き対象領域を判定することができる）方法を選択することができるようにすることにより、より正確に切り抜き対象領域を判定することができる。
　なお、以上においては、画像処理として、画像から所定の被写体の部分の画像を切り抜く処理（並びに、その切り抜いた画像を他の画像と合成する処理）を説明したが、本技術を適用した画像処理は、信頼性の高い奥行き情報に基づいて対象領域として判定された領域に対して行われる処理であればどのような処理であってもよく、この例に限定されない。例えば、処理対象領域内の画像（被写体）を追尾対象や監視対象等として検出する処理であってもよいし、その被写体が何であるか（例えば人であるか動物であるか物体であるか等）を解析する処理であってもよい。
　この画像処理がどのような処理であっても、本技術を適用することにより、画像内の画像処理対象の領域特定をより正確に行うことができるので、その画像処理をより適切な範囲に行うことができる。例えば、上述した追尾対象や監視対象の特定を行う場合、より正確に追尾対象を検出することができる。また、上述した被写体解析を行う場合、その被写体が何であるかをより正確に解析することができる。
　以上においては、本技術を撮像装置１００に適用する場合について説明したが、これに限らず、本技術は、任意の装置に適用することができる。つまり、本技術を適用した画像処理は、任意の装置において実行するようにすることができる。
　例えば、本技術を適用した画像処理が、撮像装置１００のような撮像機能を有さない装置において実行されるようにしてもよい。また、例えば、本技術を適用した画像処理が、撮像装置１００が有する機能以外の機能を有する装置において実行されるようにしてもよい。例えば、本技術を適用した画像処理が、画像処理を行う画像処理装置、AV機器や生活家電等の電子機器、サーバやパーソナルコンピュータ等の情報処理装置、タブレット端末やスマートフォン等の携帯型情報処理端末、携帯電話機やLANデバイスや無線通信機器等の通信装置等により実行されるようにしてもよい。もちろん、これら以外の装置において実行されるようにしてもよい。
　　＜システム＞
　また、本技術を適用した画像処理が、複数の装置において行われるようにしてもよい。例えば、本技術を適用した画像処理の一部の処理を第１の装置で行い、本技術を適用した画像処理のその他の処理を第２の装置で行うようにしてもよい。すなわち、本技術は、装置だけでなく、複数の装置からなるシステムにも適用することができる。
　図３０は、本技術を適用した画像処理システムの主な構成例を示すブロック図である。図３０に示される画像処理システム５００は、画像を処理するシステムであり、サーバ５０１、端末装置５０３－１、および端末装置５０３－２を有する。これらの装置は、有線通信若しくは無線通信、またはその両方によりネットワーク５０２に接続されている。
　ネットワーク５０２は、任意の通信網であり、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方により構成されるようにしてもよい。また、ネットワーク５０２が、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク５０２に含まれるようにしてもよい。
　サーバ５０１、端末装置５０３－１、および端末装置５０３－２は、このネットワーク５０２を介して互いに通信可能に接続されており、画像データを互いに授受する。サーバ５０１は、端末装置５０３－１や端末装置５０３－２に対して画像処理に関するサービスを提供する。端末装置５０３－１や端末装置５０３－２は、クライアントとして動作し、サーバ５０１から画像処理に関するサービスを受ける。端末装置５０３－１と端末装置５０３－２を互いに区別して説明する必要が無い場合、端末装置５０３と称する。図３０においては、画像処理システム５００が２つの端末装置５０３を有するように示されているが、画像処理システム５００が有する端末装置５０３の数は任意である。
　このような画像処理システム５００において、例えば、端末装置５０３として撮像装置１００を適用し、上述したように画像処理されて生成された合成画像を端末装置５０３からサーバ５０１に送信するようにしてもよい。また、上述した画像処理の一部を端末装置５０３において行い、残りの処理をサーバ５０１において行うようにしてもよい。
　例えば、端末装置５０３において、デジタル信号処理部１４１乃至領域分割部１４３の処理を行い、処理対象の画像（撮像画像）、奥行き情報マップ、信頼性マップ、輝度マップ等をサーバ５０１に伝送し、サーバ５０１において、判定部１４４および画像加工部１４５の処理を行うようにしてもよい。また、例えば、デジタル信号処理部１４１乃至判定部１４４の処理を端末装置５０３において行い、画像加工部１４５の処理をサーバ５０１において行うようにしてもよい。もちろん、いずれの処理を端末装置５０３で行うかサーバ５０１で行うかは任意であり、上述した例に限定されない。
　また、判定部１４４の処理を複数の装置で行うようにしてもよい。例えば、信頼性判定部１６１乃至領域判定部１６３の処理を端末装置５０３において行い、再判定部１６４や切り抜き対象マップ生成部１６５の処理をサーバ５０１において行うようにしてもよい。もちろん、いずれの処理を端末装置５０３で行うかサーバ５０１で行うかは任意であり、上述した例に限定されない。
　また、端末装置５０３が処理対象の画像（撮像画像）をサーバ５０１に転送し、これらの全ての画像処理（デジタル信号処理部１４１乃至画像加工部１４５の処理全て）をサーバ５０１において行うようにしてもよい。
　なお、端末装置５０３が、サーバ５０１を介さずに、他の端末装置５０３に画像等を転送するようにしてもよい。その転送先となる他の端末装置５０３は、１つであってもよいし、複数であってもよい。そして、上述したサーバ５０１の場合と同様に、上述した画像処理の一部を転送元の端末装置５０３（例えば端末装置５０３－１）において行い、残りの処理を転送先の他の端末装置５０３（例えば端末装置５０３－２）において行うようにしてもよい。いずれの処理をどの端末装置５０３で行うかは、サーバ５０１の場合と同様任意である。
　　＜ユースケース＞
　本技術の画像処理は、任意の処理に適用することができる。
　例えば、生放送サイトへの中継時に、人物以外の背景部分に別の動画像を表示させる画像処理に本技術を適用することができる。例えば、自分の部屋から中継しているが、背景に南の島の映像を流すことで、南の島から中継しているように演出する画像処理に本技術を適用することができる。
　生放送サイトのサービスを図３０の画像処理システム５００を例に説明すると、例えば、サーバ５０１が端末装置５０３から供給される動画像を配信する生放送サイトを提供し、端末装置５０３－１が被写体（人物）を撮像してその動画像をサーバ５０１に転送（アップロード）し、端末装置５０３－２がサーバ５０１により配信される動画像を取得して再生（表示）する。
　このようなシステムにおいて、例えば、端末装置５０３－１は、人物を撮像した撮像画像の各フレームからその人物の画像を切り抜き、背景として南の島の映像を合成した動画像をサーバ５０１にアップロードする。サーバ５０１は、アップロードされた動画像を配信する。端末装置５０３－２は、その動画像を受信して表示する。つまり、端末装置５０３－２では、人物の切り抜き画像に南の島の映像が背景として合成された動画像が表示される。このような画像処理により、南の島から中継しているように演出することができる。もちろん、この背景として任意の画像を合成することができるので、所望の演出を行うことができる。
　その際に、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。例えば人物の画像をより正確に切り出し、背景の画像と合成することができるようになる。したがって、合成結果がより自然な映像を配信させることができる。つまり、現実感のより強い映像を配信することができる。上述したように、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、このような生放送サイトへの中継においても破綻すること無く実行することができる。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３－１において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、その両方において行われるようにしてもよい。
　また、例えば、生放送サイトへの中継時に、人物以外の背景部分をぼかす画像処理に本技術を適用することができる。例えば、自分の部屋から中継しているが、背景部分をぼかす（輪郭や色の濃淡の境目をぼんやりさせる）ことでより人物だけを印象的に際立たせる画像処理に本技術を適用することができる。
　例えば、端末装置５０３－１は、撮像画像の各フレームから人物の画像を切り抜き、背景部分の画像のみをぼかし、切り抜いた人物の画像とぼかした背景部分の画像とを合成した動画像をサーバ５０１にアップロードする。サーバ５０１は、アップロードされた動画像を配信する。端末装置５０３－２は、その動画像を受信して表示する。つまり、端末装置５０３－２では、背景部分のみをぼかした動画像が表示される。このような画像処理により、人物だけを印象的に際立たせることができる。
　その際に、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。例えば人物の画像をより正確に切り出すことができるようになる。つまり、ぼかす領域をより正確にする（より正確に人物以外の部分をぼかす）ことができる。したがって、より正確に人物だけを印象的に際立たせる映像を配信させることができる。上述したように、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、このような生放送サイトへの中継においても破綻すること無く実行することができる。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３－１において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、その両方において行われるようにしてもよい。
　また、例えば、生放送サイトでの２人以上のコラボ放送、もしくは少人数でのリアルタイム動画コミュニケーションサービスにおいて、各ユーザの撮像画像から人物だけを切り抜いたものを同じ画面上に合成する画像処理に本技術を適用することができる。例えば、遠隔地にいる３ユーザをそれぞれ人物だけ切り抜いたものを、会議室の画像上に合成すれば、あたかも同じ会議室で話しているように演出することができる。
　リアルタイム動画コミュニケーションサービスは、例えば、所謂チャットサービスやテレビジョン会議システム等のネットワーク５０２を介した通信によるコミュニケーションサービスにおいて提供されるサービスである。リアルタイム動画コミュニケーションサービスを図３０の画像処理システム５００を例に説明すると、例えば、サーバ５０１が端末装置５０３－１および端末装置５０３－２に対してチャットサービスやリアルタイム動画コミュニケーションサービス等のコミュニケーションサービスを提供する。端末装置５０３－１および端末装置５０３－２は、ユーザを撮像した撮像画像をサーバ５０１にアップロードすると、サーバ５０１がそれらの画像を合成し、その合成画像を端末装置５０３－１および端末装置５０３－２に供給し、端末装置５０３－１および端末装置５０３－２は、それぞれ、その合成画像を取得して表示する。
　このようなシステムにおいて、例えば、サーバ５０１は、端末装置５０３－１および端末装置５０３－２から供給された各画像の各フレームからそのユーザの画像を切り抜き、それらを背景の映像に合成する。サーバ５０１は、このようにして生成した合成画像の動画像を、端末装置５０３－１および端末装置５０３－２に供給する。端末装置５０３－１および端末装置５０３－２においては、その合成画像が表示される。したがって、端末装置５０３－１および端末装置５０３－２のユーザは、互いが同一の場所で出会っているかのように、コミュニケーションを図ることができる。
　その際に、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。例えば人物の画像をより正確に切り出し、背景の画像と合成することができるようになる。したがって、合成結果がより自然な映像を配信させることができる。つまり、現実感のより強い映像を配信することができる。上述したように、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、このようなリアルタイム動画コミュニケーションサービスにおいても破綻すること無く実行することができる。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、サーバ５０１において行われるようにしてもよいし、サーバ５０１と端末装置５０３との両方において行われるようにしてもよい。例えば、ユーザの画像の切り抜きは、各端末装置５０３において行われるようにし、サーバ５０１においては、切り抜かれたユーザの画像と背景画像との合成が行われるようにしてもよい。
　また、例えば、カラオケルームでユーザの歌う姿の撮像画像をサーバにアップロードして配信する動画像配信サービスにおいて、その撮像画像からユーザの部分だけを切り抜いたものを所定の背景画像に合成する画像処理に本技術を適用することができる。例えば、ユーザの部分だけを切り抜いたものを、その曲のアーティストのライブ映像に合成すれば、あたかも、ボーカルのすぐ横でユーザがそのバンドの一員として歌っているような演出を行うことができる。
　このような動画像配信サービスを図３０の画像処理システム５００を例に説明すると、例えば、カラオケルームに設置された端末装置５０３－１が、歌唱中のユーザを撮像した撮像画像（動画像）をサーバ５０１にアップロードする。サーバ５０１は、その動画像の配信若しくはダウンロードサービスを提供する。例えば、端末装置５０３－２は、サーバ５０１からその動画像（歌唱中のユーザの動画像）を取得し、表示する。
　このようなシステムにおいて、例えば、端末装置５０３－１は、歌唱中のユーザを撮像した撮像画像（動画像）の各フレームからそのユーザの部分を切り抜き、アーティストのライブ映像に合成する。そして端末装置５０３－１は、その合成画像（動画像）をサーバ５０１にアップロードする。サーバ５０１は、その合成画像の配信若しくはダウンロードサービスを提供する。例えば、端末装置５０３－２は、サーバ５０１からその動画像（歌唱中のユーザの動画像がアーティストのライブ映像に合成された合成画像）を取得し、表示する。したがって、端末装置５０３－２のユーザは、カラオケルームで歌っているユーザがあたかもボーカルのすぐ横でユーザがそのバンドの一員として歌っているように演出された画像を視聴することができる。
　その際に、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。例えば人物の画像をより正確に切り出し、背景の画像と合成することができるようになる。したがって、合成結果がより自然な映像を配信させることができる。つまり、現実感のより強い映像を配信することができる。上述したように、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、このような動画像配信サービスにおいても破綻すること無く実行することができる。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３－１において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、その両方において行われるようにしてもよい。
　また、例えば、テレビゲームやコンピュータゲーム等を実現するゲームシステム（若しくはゲーム機器）において、ユーザの撮像画像からユーザの部分だけを切り抜いたものを所定の背景画像に合成する画像処理に本技術を適用することができる。例えば、ユーザの部分だけを切り抜いたものを、ゲームの画像に合成すれば、あたかも、ユーザがゲームの世界に入り込んだような演出を行うことができ、ユーザの埋没感を向上させることができる。なお、このゲームの画像は、コンピュータグラフィック画像のような人工的に生成された画像であってもよいし、実写画像であってもよい。
　このようなゲームシステムにおいては、ユーザの撮像やユーザの操作の受け付け、受け付けられたユーザの操作に対応するゲームに関する処理、撮像画像からユーザの部分の切り出しやゲームに関する処理に応じたゲームの画像の生成やゲームに関する処理に応じたユーザの画像とゲームの画像との合成等の画像処理、並びに、合成画像の表示等の各処理が行われる。
　このようなゲームシステムを図３０の画像処理システム５００を例に説明すると、例えば端末装置５０３－１をコンピュータやゲーム機器等として、端末装置５０３－１単体で上述したゲームシステムを実現するようにしてもよい。その場合、端末装置５０３－１が上述した全ての処理を実行する。
　その際、端末装置５０３－１は、撮像画像からユーザの部分の切り出しにおいて、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。つまり、例えばユーザの画像をより正確に切り出し、ゲームの画像と合成することができるようになる。したがって、合成結果がより自然な映像をゲームの画像として表示することができる。つまり、現実感のより強い映像を表示することができる。これにより、ユーザの埋没感をさらに向上させることができる。上述したように、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、このようなゲームシステムにおいても破綻すること無く実行することができる。
　また、例えば、サーバ５０１が端末装置５０３－１に対してゲームを提供し、端末装置５０３－１のユーザが端末装置５０３－１を操作して、そのゲームをプレイするようなゲームシステムを実現するようにしてもよい。この場合も、撮像画像からユーザの部分の切り出しにおいて本技術を適用した画像処理を行うようにすることにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。つまり、現実感のより強い映像を表示することができ、ユーザの埋没感をさらに向上させることができる。もちろん、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、この場合も破綻すること無く実行することができる。なお、この場合の画像処理は、端末装置５０３－１において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、その両方において行われるようにしてもよい。
　さらに、例えば、端末装置５０３－１および端末装置５０３－２がサーバ５０１を介さずに互いに通信を行うことにより、端末装置５０３－１および端末装置５０３－２のユーザが同一のゲームをプレイするようにしてもよい。この場合も、撮像画像からユーザの部分の切り出しにおいて本技術を適用した画像処理を行うようにすることにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。つまり、現実感のより強い映像を表示することができ、ユーザの埋没感をさらに向上させることができる。なお、この場合、複数のユーザの画像をゲームの同一の画像に合成するようにしてもよいし、互いに異なる画像に合成するようにしてもよい。もちろん、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、この場合も破綻すること無く実行することができる。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３－１において行われるようにしてもよいし、端末装置５０３－２において行われるようにしてもよいし、その両方において行われるようにしてもよい。
　また、例えば、端末装置５０３－１および端末装置５０３－２がサーバ５０１を介して互いに通信を行うことにより、端末装置５０３－１および端末装置５０３－２のユーザが同一のゲームをプレイするようにしてもよい。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３－１において行われるようにしてもよいし、端末装置５０３－２において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、それらの内の複数の装置において行われるようにしてもよいし、それらの全てにおいて行われるようにしてもよい。
　また、ダンス動画を見ながら練習する際、ダンス動画のお手本ダンサーのすぐ横に自分を配置合成することで、自分とお手本ダンサーを比較しながら踊ることができるようにしてもよい。
　図３０の画像処理システム５００を例に説明すると、例えば端末装置５０３－１がお手本となるダンスの動画像を表示する。この動画像のデータは、端末装置５０３－１（若しくは端末装置５０３－１にセットされたリムーバブルメディア）に記憶されているようにしてもよいし、サーバ５０１や端末装置５０３－２等の他の装置から伝送されるようにしてもよい。端末装置５０３－１のユーザは、そのお手本の動画像のダンサーの踊りを真似して踊る。端末装置５０３－１は、その踊るユーザを撮像する。
　このようなユーザの撮像画像に対して、その撮像画像からそのユーザの部分が切り抜かれたり、その切り抜かれたユーザの画像とお手本の動画像とが、例えばユーザがお手本のダンサーの横に位置するように合成されたりする等の画像処理が行われる。
　端末装置５０３－１は、このように画像処理されたユーザの画像とお手本の画像との合成画像を表示する。
　このような画像処理において、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。つまり、例えばユーザの画像をより正確に切り出し、お手本の画像と合成することができるようになる。したがって、合成結果がより自然な映像を表示することができる。つまり、現実感のより強い映像を表示することができる。上述したように、本技術を適用した画像処理は、動画像をリアルタイムに処理することができるので、このようなゲームシステムにおいても破綻すること無く実行することができる。なお、この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、それらの両方において行われるようにしてもよい。
　また、オークションサイトへ自分の持ち物を売る際、そのアイテムの写真を撮るときにアイテムだけを切り抜いて効果的に見せるようにしてもよい。例えば、ワンピースを撮る場合、背景を気にせずに撮像し、後からおしゃれな壁紙やクローゼット写真と合成して、より魅力的な宣材写真を作ることができる。
　図３０の画像処理システム５００を例に説明すると、例えばサーバ５０１がオークションサイトを実現する。オークションサイトは、端末装置５０３のユーザが提供する物品等を、競売（オークション）にかけるサービスを提供する。その際、端末装置５０３は、その物品の画像（宣材写真）等、物品に関する情報をサーバ５０１に提供する。その物品のオークションに参加する他の端末装置５０３のユーザは、オークションサイトにおいてその競売にかけられた物品に関する情報（宣材写真等）を参照し、入札金額を決定して入札する。サーバ５０１は、入札したいずれかのユーザ（例えば最も高額で入札したユーザ）にその物品の購入権を与える。
　自身の物品を競売にかける端末装置５０３のユーザは、一般的に、より高額に入札されるように、その物品が良質（高価なもの）に感じられるように演出することを望む。例えば、物品が良質なものに見えるように演出された宣材写真が望まれる。そこで、その宣材写真の登録の際に、際に競売対象の物品の撮像画像からその物品の部分を切り出し、所望の画像に合成する画像処理が行われるようにしてもよい。このようにすることにより、宣材写真の背景画像を実際の画像から、その物品がより良質に見えるような画像に変更することができる。
　このような画像処理において、本技術を適用した画像処理を行うことにより、画像の所望の部分の切り抜きをより正確に行うことができるようになる。つまり、例えば物品の画像をより正確に切り出し、所望の画像と合成することができるようになる。したがって、合成結果がより自然な画像を生成することができる。つまり、宣材写真において、物品がより良質（高価なもの）に感じられるように演出することができる。なお、この例に示されるように、切り抜き対象とする画像は任意であり、例えば物品等のように、人物の画像に限定されない。
　この場合の画像処理は、任意の装置において行われるようにしてもよい。例えば、端末装置５０３において行われるようにしてもよいし、サーバ５０１において行われるようにしてもよいし、それらの両方において行われるようにしてもよい。
　もちろん、本技術を適用することができる画像処理は、上述した例に限定されない。
　　＜ソフトウェア＞
　上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行する場合、例えば撮像装置１００、サーバ５０１、または端末装置５０３が、そのソフトウェアを実行することができるコンピュータとしての構成を有するようにすればよい。このコンピュータには、例えば、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、任意の機能を実行することが可能な汎用のコンピュータ等が含まれる。
　例えば、サーバ５０１および端末装置５０３が、図３１に示されるような構成を有するようにすればよい。図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　図３１に示されるサーバ５０１（若しくは端末装置５０３）において、CPU（Central Processing Unit）６０１、ROM（Read Only Memory）６０２、RAM（Random Access Memory）６０３は、バス６０４を介して相互に接続されている。
　バス６０４にはまた、入出力インタフェース６１０も接続されている。入出力インタフェース６１０には、入力部６１１、出力部６１２、記憶部６１３、通信部６１４、およびドライブ６１５が接続されている。
　入力部６１１は、例えば、キーボード、マウス、タッチパネル、イメージセンサ、マイクロホン、スイッチ、入力端子等の任意の入力デバイスを有する。出力部６１２は、例えば、ディスプレイ、スピーカ、出力端子等の任意の出力デバイスを有する。記憶部６１３は、例えば、ハードディスク、RAMディスク、SSD（Solid State Drive）やUSB（Universal Serial Bus）メモリ等のような不揮発性のメモリ等、任意の記憶媒体を有する。通信部６１４は、例えば、イーサネット（登録商標）、Bluetooth（登録商標）、USB、HDMI（登録商標）（High-Definition Multimedia Interface）、IrDA等の、有線若しくは無線、または両方の、任意の通信規格の通信インタフェースを有する。ドライブ６１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の任意の記憶媒体を有するリムーバブルメディア６２１を駆動する。
　以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６１３に記憶されているプログラムを、入出力インタフェース６１０およびバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。RAM６０３にはまた、CPU６０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としての記録媒体に記録されて提供される。
　例えば図１の撮像装置１００の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１３１により構成される。その場合、例えば、リムーバブルメディア１３１をドライブ１２５に装着することにより、そのリムーバブルメディア１３１に記憶されているこのプログラムを読み出させ、記憶部１２３にインストールさせることができる。
　また例えば図３１のサーバ５０１や端末装置５０３の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア６２１により構成される。その場合、例えば、リムーバブルメディア６２１をドライブ６１５に装着することにより、そのリムーバブルメディア６２１に記憶されているこのプログラムを読み出させ、記憶部６１３にインストールさせることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図１の撮像装置１００の場合、プログラムは、通信部１２４で受信し、記憶部１２３にインストールすることができる。また例えば図３１のサーバ５０１や端末装置５０３の場合、プログラムは、通信部６１４で受信し、記憶部６１３にインストールすることができる。
　その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば図１の撮像装置１００の場合、プログラムは、記憶部１２３や、画像処理部１１３や制御部１１５に内蔵されるROM等に予めインストールしておくこともできる。また、例えば図３１のサーバ５０１や端末装置５０３の場合、プログラムは、記憶部６１３やROM６０２等に予めインストールしておくこともできる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
　　＜その他＞
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　　＜使用例＞
　図３２に示される例のように、本技術は、様々な分野の装置やシステムに使用することができる。
　・ディジタルカメラやそのディジタルカメラを用いたシステム、カメラ機能付きの携帯機器やその携帯機器を用いたシステム等の、鑑賞の用に供される画像を撮像する装置やシステム
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮像する車載用電子機器やその電子機器を用いたシステム、走行車両や道路を監視する監視カメラやその監視カメラを用いた監視システム、車両間等の測距を行う測距装置やその測距装置を用いたシステム等の、交通の用に供される装置やシステム
　・ユーザのジェスチャを撮像して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置やシステム
　・内視鏡やその内視鏡を用いたシステム、赤外光の受光による血管の撮像を行う装置やその装置を用いたシステム等の、医療やヘルスケアの用に供される装置やシステム
　・防犯用途の監視カメラやその監視カメラを用いたシステム、人物認証用途のカメラやそのカメラを用いたシステム等の、セキュリティの用に供される装置やシステム
　・肌を撮像する肌測定器やその肌測定器を用いたシステム、頭皮を撮像するマイクロスコープやそのマイクロスコープを用いたシステム等の、美容の用に供される装置やシステム
　・スポーツ用途等向けのアクションカメラやそのアクションカメラを用いたシステム、ウェアラブルカメラやそのウェアラブルカメラを用いたシステム等の、スポーツの用に供される装置やシステム
　・畑や作物の状態を監視するためのカメラやそのカメラを用いたシステム等の、農業の用に供される装置やシステム
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、上述した判定部１４４を搭載する装置やシステム、または、それらの製造装置や製造方法に限らず、上述した判定部１４４を搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等、または、それらの構成を製造する製造装置や製造方法として実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する判定部
　を備える画像処理装置。
　（２）　前記判定部は、前記奥行き情報の前記信頼性が所定の閾値より高い領域について、前記奥行き情報に基づいて前記画像処理の対象領域であるか否かを判定する
　（１）に記載の画像処理装置。
　（３）　前記判定部は、前記奥行きが所定の閾値より近い領域を前記画像処理の対象領域であると判定する
　（２）に記載の画像処理装置。
　（４）　前記判定部は、前記奥行き情報の前記信頼性が所定の閾値より高くない領域について、前記奥行き情報と異なる他の情報に基づいて前記画像処理の対象領域であるか否かを判定する
　（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記判定部は、前記他の情報として前記画像の輝度を示す輝度情報に基づいて前記画像処理の対象領域であるか否かを判定する
　（４）に記載の画像処理装置。
　（６）　前記判定部は、前記輝度が所定の閾値より低い領域を前記画像処理の対象領域であると判定する
　（５）に記載の画像処理装置。
　（７）　前記判定部は、前記輝度が所定の閾値より低く、かつ、他の前記画像処理の対象領域に接する領域を前記画像処理の対象領域であると判定する
　（６）に記載の画像処理装置。
　（８）　前記判定部は、前記他の情報として前記画像の色を示す色情報に基づいて前記画像処理の対象領域であるか否かを判定する
　（４）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記判定部は、周辺の前記画像処理の対象領域との前記色の違いが所定の閾値より小さい領域を前記画像処理の対象領域であると判定する
　（８）に記載の画像処理装置。
　（１０）　前記判定部は、前記他の情報として髪型モデルを表す髪型モデルデータに基づいて、前記髪型モデルにおける髪領域に属する領域を前記画像処理の対象領域であると判定する
　（４）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記判定部は、前記他の情報としてテクスチャモデルを表すテクスチャモデルデータに基づいて、テクスチャが前記テクスチャモデルに類似する領域を前記画像処理の対象領域であると判定する
　（４）乃至（１０）のいずれかに記載の画像処理装置。
　（１２）　前記判定部は、前記切り抜き対象領域に属する被写体の形状を認識し、前記他の情報として認識された前記被写体の形状に基づいて、前記画像処理の対象と推定可能な領域を前記画像処理の対象領域であると判定する
　（４）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）　前記判定部は、単数若しくは複数の画素毎に、前記画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する
　（１）乃至（１２）のいずれかに記載の画像処理装置。
　（１４）　前記判定部は、前記画像処理の対象領域であるか否かの判定結果の分布を示す画像処理対象マップを生成する
　（１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　前記閾値を設定する設定部をさらに備える
　（２）乃至（１４）のいずれかに記載の画像処理装置。
　（１６）　被写体を撮像し、前記画像を生成する撮像部をさらに備える
　（１）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記奥行き情報および前記信頼性情報を生成する生成部をさらに備える
　（１）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　前記判定部の判定結果に基づいて、前記画像処理として、前記画像から前記画像処理の対象領域を切り抜き、他の画像と合成し、合成画像を生成する加工部をさらに備える
　（１）乃至（１７）のいずれかに記載の画像処理装置。
　（１９）　前記加工部により生成された前記合成画像を他の装置に送信する送信部をさらに備える
　（１８）に記載の画像処理装置。
　（２０）　画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する
　画像処理方法。
　１００　撮像装置，　１１０　バス，　１１１　光学部，　１１２　センサ部，　１１３　画像処理部，　１１４　符号化復号部，　１１５　制御部，　１２１　入力部，　１２２　出力部，　１２３　記憶部，　１２４　通信部，　１２５　ドライブ，　１３１　リムーバブルメディア，　１４１　デジタル信号処理部，　１４２　測距部，　１４３　領域分割部，　１４４　判定部，　１４５　画像加工部，　１６１　信頼性判定部，　１６２　奥行き判定部，　１６３　領域判定部，　１６４　再判定部，　１６５　切り抜き対象マップ生成部，　１７１　輝度マップ判定部，　１７２　周辺領域判定部，　３２１　切り抜き対象色情報参照部，　３２２　色判定部，　３６１　髪型判定部，　３８１　テクスチャ判定部，　４０１　形状認識部，　５００　画像処理システム，　５０１　サーバ，　５０２　ネットワーク，　５０３　端末装置

Claims (20)

  1. 　画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する判定部
    　を備える画像処理装置。
  2. 　前記判定部は、前記奥行き情報の前記信頼性が所定の閾値より高い領域について、前記奥行き情報に基づいて前記画像処理の対象領域であるか否かを判定する
    　請求項１に記載の画像処理装置。
  3. 　前記判定部は、前記奥行きが所定の閾値より近い領域を前記画像処理の対象領域であると判定する
    　請求項２に記載の画像処理装置。
  4. 　前記判定部は、前記奥行き情報の前記信頼性が所定の閾値より高くない領域について、前記奥行き情報と異なる他の情報に基づいて前記画像処理の対象領域であるか否かを判定する
    　請求項１乃至請求項３のいずれかに記載の画像処理装置。
  5. 　前記判定部は、前記他の情報として前記画像の輝度を示す輝度情報に基づいて前記画像処理の対象領域であるか否かを判定する
    　請求項４に記載の画像処理装置。
  6. 　前記判定部は、前記輝度が所定の閾値より低い領域を前記画像処理の対象領域であると判定する
    　請求項５に記載の画像処理装置。
  7. 　前記判定部は、前記輝度が所定の閾値より低く、かつ、他の前記画像処理の対象領域に接する領域を前記画像処理の対象領域であると判定する
    　請求項６に記載の画像処理装置。
  8. 　前記判定部は、前記他の情報として前記画像の色を示す色情報に基づいて前記画像処理の対象領域であるか否かを判定する
    　請求項４乃至請求項７のいずれかに記載の画像処理装置。
  9. 　前記判定部は、周辺の前記画像処理の対象領域との前記色の違いが所定の閾値より小さい領域を前記画像処理の対象領域であると判定する
    　請求項８に記載の画像処理装置。
  10. 　前記判定部は、前記他の情報として髪型モデルを表す髪型モデルデータに基づいて、前記髪型モデルにおける髪領域に属する領域を前記画像処理の対象領域であると判定する
    　請求項４乃至請求項９のいずれかに記載の画像処理装置。
  11. 　前記判定部は、前記他の情報としてテクスチャモデルを表すテクスチャモデルデータに基づいて、テクスチャが前記テクスチャモデルに類似する領域を前記画像処理の対象領域であると判定する
    　請求項４乃至請求項１０のいずれかに記載の画像処理装置。
  12. 　前記判定部は、前記切り抜き対象領域に属する被写体の形状を認識し、前記他の情報として認識された前記被写体の形状に基づいて、前記画像処理の対象と推定可能な領域を前記画像処理の対象領域であると判定する
    　請求項４乃至請求項１１のいずれかに記載の画像処理装置。
  13. 　前記判定部は、単数若しくは複数の画素毎に、前記画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する
    　請求項１乃至請求項１２のいずれかに記載の画像処理装置。
  14. 　前記判定部は、前記画像処理の対象領域であるか否かの判定結果の分布を示す画像処理対象マップを生成する
    　請求項１乃至請求項１３のいずれかに記載の画像処理装置。
  15. 　前記閾値を設定する設定部をさらに備える
    　請求項２乃至請求項１４のいずれかに記載の画像処理装置。
  16. 　被写体を撮像し、前記画像を生成する撮像部をさらに備える
    　請求項１乃至請求項１５のいずれかに記載の画像処理装置。
  17. 　前記奥行き情報および前記信頼性情報を生成する生成部をさらに備える
    　請求項１乃至請求項１６のいずれかに記載の画像処理装置。
  18. 　前記判定部の判定結果に基づいて、前記画像処理として、前記画像から前記画像処理の対象領域を切り抜き、他の画像と合成し、合成画像を生成する加工部をさらに備える
    　請求項１乃至請求項１７のいずれかに記載の画像処理装置。
  19. 　前記加工部により生成された前記合成画像を他の装置に送信する送信部をさらに備える
    　請求項１８に記載の画像処理装置。
  20. 　画像の奥行きを示す奥行き情報の信頼性を示す信頼性情報に基づいて、所定の画像処理の対象領域であるか否かの判定を前記奥行き情報に基づいて行うか否かを判定する
    　画像処理方法。
PCT/JP2016/074917 2015-09-10 2016-08-26 画像処理装置および方法 WO2017043332A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/754,049 US11398041B2 (en) 2015-09-10 2016-08-26 Image processing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015178329A JP2017054337A (ja) 2015-09-10 2015-09-10 画像処理装置および方法
JP2015-178329 2015-09-10

Publications (1)

Publication Number Publication Date
WO2017043332A1 true WO2017043332A1 (ja) 2017-03-16

Family

ID=58240739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/074917 WO2017043332A1 (ja) 2015-09-10 2016-08-26 画像処理装置および方法

Country Status (3)

Country Link
US (1) US11398041B2 (ja)
JP (1) JP2017054337A (ja)
WO (1) WO2017043332A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389077A (zh) * 2018-02-11 2018-08-10 广东欧珀移动通信有限公司 电子装置、信息推荐方法及相关产品
WO2018186405A1 (ja) * 2017-04-05 2018-10-11 株式会社ドワンゴ 端末装置のアプリケーションプログラム、端末装置の制御方法、端末装置、および生放送配信サーバのプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018093263A (ja) * 2016-11-30 2018-06-14 キヤノン株式会社 光電変換装置、光電変換装置の駆動方法、および、撮像システム
CN106682424A (zh) * 2016-12-28 2017-05-17 上海联影医疗科技有限公司 医学图像的调节方法及其系统
WO2019239715A1 (ja) * 2018-06-11 2019-12-19 富士フイルム株式会社 撮像装置、撮像方法、及びプログラム
JP7099925B2 (ja) * 2018-09-27 2022-07-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP7401218B2 (ja) * 2019-07-29 2023-12-19 京セラ株式会社 画像処理システム、画像処理器、撮像装置及び処理方法
JP2021051573A (ja) * 2019-09-25 2021-04-01 キヤノン株式会社 画像処理装置、および画像処理装置の制御方法
WO2021166690A1 (ja) * 2020-02-19 2021-08-26 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
CN113516743A (zh) * 2020-03-27 2021-10-19 北京达佳互联信息技术有限公司 头发的渲染方法、装置、电子设备及存储介质
JP2021164059A (ja) * 2020-03-31 2021-10-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7451264B2 (ja) 2020-03-31 2024-03-18 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2022213364A1 (zh) * 2021-04-09 2022-10-13 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端及可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250712A (ja) * 2004-03-03 2005-09-15 Univ Waseda 人物属性識別方法およびそのシステム
JP2007148663A (ja) * 2005-11-25 2007-06-14 Sony Corp オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
JP2008523454A (ja) * 2004-12-15 2008-07-03 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 背景領域および前景領域をモデリングする方法
JP2010041725A (ja) * 2008-08-01 2010-02-18 Sony United Kingdom Ltd イベントログ生成装置及びイベントログ生成方法
JP2013140437A (ja) * 2011-12-28 2013-07-18 Canon Inc 画像処理装置および画像処理方法
JP2014191400A (ja) * 2013-03-26 2014-10-06 Mega Chips Corp 画像検出装置及び制御プログラム並びに画像検出方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2631218B3 (fr) * 1988-05-16 1990-09-21 Bourdier Jean Claude Dispositif de selection de coiffures
US5182775A (en) * 1990-01-12 1993-01-26 Kawasaki Jukogyo Kabushiki Kaisha Method of processing radiographic image data for detecting a welding defect
JP2603445B2 (ja) * 1994-11-10 1997-04-23 インターナショナル・ビジネス・マシーンズ・コーポレイション 髪画像適合方法及びコンピュータ・システム
US6577759B1 (en) * 1999-08-17 2003-06-10 Koninklijke Philips Electronics N.V. System and method for performing region-based image retrieval using color-based segmentation
US6754367B1 (en) * 1999-09-30 2004-06-22 Hitachi Denshi Kabushiki Kaisha Method and apparatus for automatically detecting intrusion object into view of image pickup device
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
JP4341295B2 (ja) * 2003-05-16 2009-10-07 セイコーエプソン株式会社 逆光人物画像の判定
JP4434868B2 (ja) 2004-07-15 2010-03-17 日立ソフトウエアエンジニアリング株式会社 画像分割処理システム
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
JP2006301962A (ja) * 2005-04-20 2006-11-02 Toyota Motor Corp 画像処理方法及び画像処理装置
US7809189B2 (en) * 2007-01-12 2010-10-05 Arcsoft, Inc. Method for image separating
JP5096211B2 (ja) * 2008-03-31 2012-12-12 富士フイルム株式会社 確率分布構築方法、確率分布構築装置、および確率分布構築プログラム、並びに被写体検出方法、被写体検出装置、および被写体検出プログラム
WO2010013171A1 (en) * 2008-07-28 2010-02-04 Koninklijke Philips Electronics N.V. Use of inpainting techniques for image correction
US20100142766A1 (en) * 2008-12-04 2010-06-10 Alan Duncan Fleming Image Analysis
US8774512B2 (en) * 2009-02-11 2014-07-08 Thomson Licensing Filling holes in depth maps
KR101636370B1 (ko) * 2009-11-10 2016-07-05 삼성전자주식회사 영상 처리 장치 및 방법
US8446492B2 (en) * 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
KR20110090764A (ko) * 2010-02-04 2011-08-10 삼성전자주식회사 머리카락 영역을 검출하는 방법
JP5533529B2 (ja) 2010-10-06 2014-06-25 コニカミノルタ株式会社 画像処理装置及び画像処理システム
JP5170226B2 (ja) * 2010-12-10 2013-03-27 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US20120155717A1 (en) * 2010-12-16 2012-06-21 Microsoft Corporation Image search including facial image
US8873852B2 (en) * 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
FR2981254A1 (fr) * 2011-10-18 2013-04-19 Pierre Ollivier Methode de simulation d'une chevelure a colorimetrie variable et dispositif pour la mise en oeuvre de la methode
JP5713885B2 (ja) * 2011-12-26 2015-05-07 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
WO2013104848A1 (fr) * 2012-01-13 2013-07-18 Vesalis Procédé et dispositif de coloration de cheveux
JP5949030B2 (ja) * 2012-03-26 2016-07-06 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US20140278403A1 (en) * 2013-03-14 2014-09-18 Toytalk, Inc. Systems and methods for interactive synthetic character dialogue
KR101528683B1 (ko) * 2013-11-29 2015-06-15 영산대학교산학협력단 과도시차 객체 검출방법
US9928601B2 (en) * 2014-12-01 2018-03-27 Modiface Inc. Automatic segmentation of hair in images
US10363632B2 (en) * 2015-06-24 2019-07-30 Illinois Tool Works Inc. Time of flight camera for welding machine vision

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250712A (ja) * 2004-03-03 2005-09-15 Univ Waseda 人物属性識別方法およびそのシステム
JP2008523454A (ja) * 2004-12-15 2008-07-03 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 背景領域および前景領域をモデリングする方法
JP2007148663A (ja) * 2005-11-25 2007-06-14 Sony Corp オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム
JP2010041725A (ja) * 2008-08-01 2010-02-18 Sony United Kingdom Ltd イベントログ生成装置及びイベントログ生成方法
JP2013140437A (ja) * 2011-12-28 2013-07-18 Canon Inc 画像処理装置および画像処理方法
JP2014191400A (ja) * 2013-03-26 2014-10-06 Mega Chips Corp 画像検出装置及び制御プログラム並びに画像検出方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018186405A1 (ja) * 2017-04-05 2018-10-11 株式会社ドワンゴ 端末装置のアプリケーションプログラム、端末装置の制御方法、端末装置、および生放送配信サーバのプログラム
JP2018180681A (ja) * 2017-04-05 2018-11-15 株式会社ドワンゴ 端末装置のアプリケーションプログラム、端末装置の制御方法、端末装置、および生放送配信サーバのプログラム
US11399212B2 (en) 2017-04-05 2022-07-26 Dwango Co., Ltd. Terminal device application program, terminal device control method, terminal device, and live broadcast distribution server program providing questionnaire creation by terminal device
CN108389077A (zh) * 2018-02-11 2018-08-10 广东欧珀移动通信有限公司 电子装置、信息推荐方法及相关产品

Also Published As

Publication number Publication date
US20190012796A1 (en) 2019-01-10
JP2017054337A (ja) 2017-03-16
US11398041B2 (en) 2022-07-26

Similar Documents

Publication Publication Date Title
WO2017043332A1 (ja) 画像処理装置および方法
US11887234B2 (en) Avatar display device, avatar generating device, and program
JP6627861B2 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
US9167155B2 (en) Method and system of spacial visualisation of objects and a platform control system included in the system, in particular for a virtual fitting room
US10587864B2 (en) Image processing device and method
CN111294665B (zh) 视频的生成方法、装置、电子设备及可读存储介质
US10547822B2 (en) Image processing apparatus and method to generate high-definition viewpoint interpolation image
JP2017059235A (ja) イメージの明るさを調整する方法及び装置
US9787943B2 (en) Natural user interface having video conference controls
US20030202120A1 (en) Virtual lighting system
Kido et al. Assessing future landscapes using enhanced mixed reality with semantic segmentation by deep learning
Fernandez-Sanchez et al. Background subtraction model based on color and depth cues
US20120027305A1 (en) Apparatus to provide guide for augmented reality object recognition and method thereof
CN112581571B (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
CN108701355A (zh) Gpu优化和在线基于单高斯的皮肤似然估计
CN113822970A (zh) 直播控制方法、装置、存储介质与电子设备
JP2020119156A (ja) アバター生成システム、アバター生成装置、サーバ装置、アバター生成方法、およびプログラム
CN109788359B (zh) 一种视频数据处理方法和相关装置
EP3503083A2 (en) Image processing method and display apparatus therefor
CN114387445A (zh) 对象关键点识别方法及装置、电子设备和存储介质
CN113822798B (zh) 生成对抗网络训练方法及装置、电子设备和存储介质
CN112887601B (zh) 拍摄方法、装置及电子设备
US20150138199A1 (en) Image generating system and image generating program product
US11846783B2 (en) Information processing apparatus, information processing method, and program
KR20120092960A (ko) 가상 캐릭터 제어 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16844195

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16844195

Country of ref document: EP

Kind code of ref document: A1