WO2013111552A1 - 画像処理装置、撮像装置および画像処理方法 - Google Patents

画像処理装置、撮像装置および画像処理方法 Download PDF

Info

Publication number
WO2013111552A1
WO2013111552A1 PCT/JP2013/000248 JP2013000248W WO2013111552A1 WO 2013111552 A1 WO2013111552 A1 WO 2013111552A1 JP 2013000248 W JP2013000248 W JP 2013000248W WO 2013111552 A1 WO2013111552 A1 WO 2013111552A1
Authority
WO
WIPO (PCT)
Prior art keywords
embedded
information
area
image
depth
Prior art date
Application number
PCT/JP2013/000248
Other languages
English (en)
French (fr)
Inventor
整 山田
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013535164A priority Critical patent/JP6029021B2/ja
Priority to US14/110,210 priority patent/US9418436B2/en
Priority to CN201380000983.2A priority patent/CN103460706B/zh
Publication of WO2013111552A1 publication Critical patent/WO2013111552A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Definitions

  • the present invention relates to an image processing apparatus for image processing for embedding information in an area in an image.
  • Patent Document 1 and Patent Document 2 There are techniques described in Patent Document 1 and Patent Document 2 as techniques related to image processing for embedding information in a region in an image.
  • the present invention provides an image processing apparatus that can appropriately determine a region for embedding information.
  • An image processing apparatus shows an image acquisition unit that acquires an image, an embedded information acquisition unit that acquires embedded information embedded in a region in the image, and a depth value of each pixel of the image
  • a depth information acquisition unit that acquires depth information
  • an embedding region determination unit that determines an embedding region, which is the region in which the embedding information is embedded, using the depth information.
  • the image processing apparatus can appropriately determine a region for embedding information.
  • FIG. 1 is a diagram showing an image after embedding information is embedded.
  • FIG. 2 is a diagram illustrating a depth map.
  • FIG. 3A is a diagram illustrating a depth map in which embedded information is not conspicuous.
  • FIG. 3B is a diagram illustrating a depth map in which embedded information has a sense of incongruity.
  • FIG. 3C is a diagram illustrating a depth map in which embedded information can be appropriately viewed.
  • FIG. 4 is a configuration diagram of the image processing apparatus according to the first embodiment.
  • FIG. 5A is a diagram illustrating a depth map of the input image according to the first example.
  • FIG. 5B is a diagram illustrating a depth range according to the first example.
  • FIG. 5C is a diagram illustrating a search area according to the first example.
  • FIG. 5D is a diagram illustrating a buried region according to the first example.
  • FIG. 6A is a diagram illustrating a depth map of the input image according to the second example.
  • FIG. 6B is a histogram of depth values according to the second example.
  • FIG. 6C is a diagram illustrating an embedded region according to the second example.
  • FIG. 7A is a diagram illustrating a depth map of the input image according to the third example.
  • FIG. 7B is a diagram illustrating an initial search area according to the third example.
  • FIG. 7C is a diagram illustrating a new search area according to the third example.
  • FIG. 7D is a diagram illustrating an embedded region according to a third example.
  • FIG. 7E is a diagram illustrating a depth range according to a third example.
  • FIG. 7A is a diagram illustrating a depth map of the input image according to the second example.
  • FIG. 6B is a histogram of depth values according to the second example.
  • FIG. 7F is a diagram illustrating a depth map after embedding according to a third example.
  • FIG. 8A is a diagram illustrating a depth map of an input image according to the fourth example.
  • FIG. 8B is a diagram showing a notification message for photographing according to the fourth example.
  • FIG. 8C is a diagram showing a notification message for correction according to the fourth example.
  • FIG. 8D is a diagram illustrating an embedded region according to a fourth example.
  • FIG. 9A is a diagram illustrating a depth map after embedding a decorative part.
  • FIG. 9B is a diagram illustrating a depth map after the frame is embedded.
  • FIG. 9C is a diagram illustrating a depth map in which a part of text is emphasized.
  • FIG. 9A is a diagram illustrating a depth map after embedding a decorative part.
  • FIG. 9B is a diagram illustrating a depth map after the frame is embedded.
  • FIG. 9C is a diagram illustrating
  • FIG. 9D is a diagram illustrating a depth map in which text is embedded in accordance with the power of audio.
  • FIG. 10A is a flowchart showing the operation of the image processing apparatus according to the first embodiment.
  • FIG. 10B is a flowchart showing processing for searching for an embedded area according to the first embodiment.
  • FIG. 11 is a configuration diagram of an image processing apparatus according to the second embodiment.
  • FIG. 12A is a diagram showing a depth map of an input image according to the second embodiment.
  • FIG. 12B is a diagram showing the depth map reliability according to the second embodiment.
  • FIG. 12C is a diagram showing a first example of a depth map after embedding according to the second embodiment.
  • FIG. 12D is a diagram illustrating a second example of the depth map after embedding according to the second embodiment.
  • FIG. 13 is a configuration diagram of an image processing apparatus according to the third embodiment.
  • FIG. 14 is a flowchart showing the operation of the image processing apparatus according to the third embodiment.
  • FIG. 15 is a configuration diagram of an image processing apparatus according to the fourth embodiment.
  • FIG. 16 is a flowchart showing the operation of the image processing apparatus according to the fourth embodiment.
  • the present inventor has found the following problems related to the technique related to image processing for embedding information in a region in an image described in the “background art” column.
  • an image processing apparatus having an embedding function for embedding a text message or a decorative part in an image obtained by photographing or the like.
  • an embedding function for example, a participant may give a message to a photographed image at an event such as a birthday party or a wedding (see FIG. 1).
  • embedded information information such as a message embedded in an image
  • Embedding embedded information in an image means placing embedded information on the image and superimposing the embedded information on the image. Therefore, a part of the image is hidden by embedding the embedded information in the image.
  • the embedded information may be embedded on the main subject in the captured image, and the main subject may be hidden by the embedded information. Therefore, as a method for appropriately determining an appropriate embedding position, a method for determining an embedding position using information included in an image is known (Patent Document 1).
  • the image processing apparatus detects main positions in the image using information (focus area, date imprint, face position, character position, subject outline, etc.) included in the image. Embed embedding information, avoiding the main position. Thereby, the image processing apparatus can avoid embedding at main positions in the image and embed embedding information in an area other than the main positions. Therefore, the image processing apparatus can appropriately embed embedded information in a normal photograph.
  • a value indicating the degree of depth corresponding to the parallax or the distance is referred to as a depth value (depth value).
  • Information relating to the depth value of each pixel in an image or an image area is referred to as depth information.
  • depth information regarding the depth value of each pixel of these images and the depth value of each pixel of those images is obtained from the parallax of the two left and right images.
  • two left and right images having parallax are obtained.
  • Patent Document 2 a 3D image is generated based on the measured distance, and depth information is added to the embedded information. Thereby, the 3D image in which the embedded information is embedded is viewed three-dimensionally. Here, by adding appropriate depth information to the embedded information, the embedded information embedded in the 3D image is displayed in 3D without a sense of incongruity.
  • Patent Document 2 discloses a method using a user interface as a method for adding depth information to embedded information.
  • the user can give appropriate depth information to the embedded information by pressing the “far” or “near” button an appropriate number of times.
  • the embedded information is embedded in the 3D image based on a technique such as a method of determining an embedded position as in Patent Document 1 and a method of adding depth information to embedded information as in Patent Document 2.
  • a technique such as a method of determining an embedded position as in Patent Document 1 and a method of adding depth information to embedded information as in Patent Document 2.
  • the embedded information embedded in the 3D image may not be properly viewed.
  • the embedded information embedded in the 3D image should jump out from the surroundings and be visible.
  • a depth map (DepthMap) indicating the depth value of each pixel of the image will be described.
  • Figure 2 shows the depth map.
  • the depth map is usually represented by an image as shown in FIG.
  • the distance from the camera to the subject is closer as the pixel color is whiter (the hatching is lighter), the distance from the camera to the subject is closer, and the pixel color is blacker (the hatching is darker). Indicates far away.
  • the depth value around the embedded information indicates the same depth as the embedded information, or when the depth value around the embedded information indicates the depth closer to the embedded information, the embedded information embedded in the 3D image is appropriate. I can't see.
  • the pop-out amount of the embedded information is equivalent to the surrounding area.
  • Such embedded information has a poor popping feeling and gives a sense of writing. Such embedded information is not emphasized and is not noticeable.
  • the embedding information when the depth value of the embedding information indicates a depth deeper than the surrounding depth value, the embedding information appears to be recessed. Such an image gives a sense of incongruity.
  • the embedded information pops out and looks appropriate.
  • the depth value is not used for determining the embedding position. Therefore, the relationship between the depth value of the embedded information and the depth value around the embedded position may not be appropriate, and the embedded information may not be properly viewed. Furthermore, even when a person's face is excluded from the embedding position, the embedding position may be set in an area such as a person's body or an object that the person has, and the image may not be properly viewed.
  • setting the depth information in the embedded information may be inconvenient for the user.
  • depth information is given to embedded information via a user interface. Therefore, every time this function is used, the user has to adjust the depth information.
  • an image processing apparatus includes an image acquisition unit that acquires an image, an embedded information acquisition unit that acquires embedded information embedded in a region in the image, and a depth value of each pixel of the image.
  • a depth information acquisition unit that acquires depth information indicating the embedded information
  • an embedded region determination unit that determines an embedded region that is the region in which the embedded information is embedded, using the depth information.
  • the image processing apparatus can appropriately determine an area for embedding information.
  • the embedding area determination unit may determine the embedding area composed of a plurality of pixels having a depth value indicating a depth side with respect to a predetermined depth value using the depth information.
  • the image processing apparatus determines the back area as the embedding area. Therefore, the image processing apparatus can avoid hiding the main position of the image.
  • the image processing apparatus further detects subject position information indicating the subject position by detecting a subject position that is a position in the image of a predetermined subject included in the image.
  • the embedding area determination unit uses the depth information and the subject position information, and the embedding area determination unit includes the embedding area including a plurality of pixels having a depth value indicating a depth side with respect to a depth value of a pixel at the subject position. The region may be determined.
  • the image processing apparatus determines an area on the back side of the predetermined subject as an embedded area. Therefore, the image processing apparatus can avoid hiding an area equivalent to a predetermined subject.
  • the embedding area determination unit may determine the embedding area including a plurality of pixels having a depth value within a predetermined range from a predetermined depth value using the depth information.
  • the image processing apparatus determines an area where the degree of dispersion of the depth value is small as an embedded area.
  • An area where the degree of dispersion of depth values is small is likely to be an inconspicuous area. Therefore, the image processing apparatus can determine an area that is highly inconspicuous as an embedded area.
  • the embedding area determination unit determines the embedding area including a plurality of pixels having a depth value within a predetermined range from a depth value where the appearance frequency is a peak, using the depth information. Also good.
  • the image processing apparatus determines an area having a depth value having a high appearance frequency as an embedded area.
  • a region having a depth value with a high appearance frequency is likely to be inconspicuous. Therefore, the image processing apparatus can determine an area that is highly inconspicuous as an embedded area.
  • the embedding area determination unit is an area composed of a plurality of pixels having a depth value indicating a depth side with respect to a predetermined depth value using the depth information, and a depth having a peak appearance frequency.
  • the embedded area which is an area composed of a plurality of pixels having a depth value within a predetermined range from the value, may be determined.
  • the image processing apparatus can determine the area on the back side that is highly inconspicuous as the embedded area.
  • the depth information acquisition unit may acquire the depth information including information indicating the reliability of the depth value of each pixel of the image.
  • the image processing apparatus can appropriately determine the embedding area by using the depth information including the reliability of the depth value of each pixel of the image.
  • the embedding area determination unit may determine the embedding area including a pixel whose depth value reliability is lower than a predetermined reliability using the depth information.
  • the image processing apparatus can hide the region including the pixel having the low reliability of the depth value.
  • the embedding area determination unit may determine the embedding area using the depth information from an area excluding a subject position that is a position in the image of a predetermined subject included in the image. Good.
  • the image processing apparatus can determine the embedding area from the area excluding the main subject. That is, the image processing apparatus can avoid hiding main subjects.
  • the embedded area determination unit sets the size of the embedded area using the information amount of the embedded information acquired by the embedded information acquisition unit, and determines the embedded area having the set size May be.
  • the image processing apparatus can appropriately set the size of the embedding area based on the embedding information.
  • the embedded region determining unit when the embedded region satisfying the conditions used for determining the embedded region using the depth information does not exist, the embedded region determining unit includes the image of a predetermined subject included in the image.
  • the embedding area may be determined from the area excluding the subject position which is the position at.
  • the image processing apparatus can determine the embedding area from the areas excluding the subject.
  • the image processing apparatus further includes a depth value determination unit that determines a depth value of the embedding information, and the embedding area in the image using the depth value determined by the depth value determination unit.
  • An embedding unit for embedding the embedding information may be provided.
  • the image processing apparatus can set the depth value in the embedded information. Therefore, embedded information that can be viewed three-dimensionally is obtained.
  • the depth value determination unit determines the depth value of the embedded information as a depth value of the same degree as the depth value of the subject position that is the position in the image of the predetermined subject included in the image. Also good.
  • the image processing apparatus can set the depth value of the embedded information so that the embedded information is conspicuous as much as the subject.
  • the depth value determination unit may include the image of a predetermined subject included in the image when there is no embedded region that satisfies the conditions used for determining the embedded region using the depth information.
  • the depth value of the embedding information embedded in the embedding area determined from the area excluding the subject position, which is the position at, may be determined as a depth value indicating the near side of the depth value at the subject position.
  • the image processing apparatus can avoid setting an inconspicuous depth value in the embedded information.
  • the subject position detection unit detects the position of the person's face included in the image as the subject position, thereby detecting the position of the person's face as the subject position. Information may be acquired.
  • the image processing apparatus determines an area behind the subject's face as an embedded area. Therefore, the image processing apparatus can avoid hiding an area equivalent to the face of the subject.
  • the embedded information acquisition unit may acquire the embedded information including at least one of a text, a decorative part, a frame, and an image.
  • the image processing apparatus can determine an embedding area for embedding a text, a decorative part, a frame, an image, or the like.
  • the image processing apparatus further includes a display unit that displays the image.
  • a display unit that displays the image.
  • a notification message indicating that the embedded area does not exist may be displayed.
  • the image processing apparatus can notify the user that there is no area for embedding the embedded information in the image.
  • the embedded region determining unit uses the depth information to determine whether a predetermined subject included in the image is near If it is determined that the subject is close, the display unit may display the notification message including a message prompting the user to take a picture of the subject away from the subject.
  • the image processing apparatus can prompt the user to photograph the subject away from the subject when there is no region for embedding the embedded information in the image.
  • an imaging apparatus includes the image processing apparatus, and the image acquisition unit acquires the image by photographing a subject.
  • the imaging apparatus can appropriately determine the area of the embedded information embedded in the image obtained by shooting.
  • FIG. 4 shows the configuration of the image processing apparatus according to the present embodiment and the input information to each component of the image processing apparatus.
  • the image processing apparatus 100 includes an imaging unit 1, a subject position detection unit 2, an embedded information acquisition unit 3, a depth information acquisition unit 4, an embedded region search unit 5, and a depth information setting unit 6. And an embedded portion 7.
  • the 3D image is generated by combining the depth information corresponding to the distance from the camera to the subject and the planar image.
  • embedding information is embedded in the left and right images obtained by photographing the subject with the stereo camera. Specifically, the embedding area is determined, the embedding information is modified according to the difference between the embedding area of the left image and the embedding area of the right image, and the modified embedding information is embedded in the two left and right images. .
  • the present embodiment is applied to a method of generating a 3D image by combining depth information corresponding to the distance from the camera to the subject and a planar image.
  • the present embodiment may be applied to a method using a stereo camera.
  • each component will be described.
  • the imaging unit 1 includes a lens unit in which a lens for collecting light rays is incorporated, and an imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
  • the imaging unit 1 images a subject and outputs an image.
  • the subject position detection unit 2 uses a pre-imaging image (before recording), a post-imaging image (after recording), or both images, and a subject position (subject) that is the position (region) of the main subject in the image. Area).
  • the main subject is a target that should not be covered with embedded information, for example, a human face.
  • the main subject may be other than a person, an animal, or a structure.
  • the subject position detection unit 2 detects a person's face (face region) as a main subject.
  • the method for detecting the face area is not limited.
  • a general method may be used for detection of a face region.
  • the subject position detection unit 2 detects a plurality of face areas. If no person is present in the image, the subject position detection unit 2 determines that the face area cannot be detected. Then, the subject position detection unit 2 outputs the detection result to the embedded region search unit 5.
  • the embedded information acquisition unit 3 acquires embedded information embedded in the image obtained by the imaging unit 1.
  • the embedded information may include text, decorative parts, or an image different from the image obtained by the imaging unit 1.
  • the embedded information acquisition unit 3 performs voice recognition processing via a microphone (not shown) attached to the image processing apparatus 100 immediately after shooting or at the time of editing an image obtained by shooting. May be obtained.
  • the embedded information acquisition unit 3 may acquire embedded information via an input device (not shown) that accepts user input. Further, the embedded information acquisition unit 3 may cause the user to select embedded information from a plurality of templates prepared in advance.
  • the method by which the embedded information acquisition unit 3 acquires embedded information is not limited to the above method, and any method may be used.
  • the depth information acquisition unit 4 acquires the depth information corresponding to the image before or after imaging, or both images, and outputs the depth information to the embedded region searching unit 5.
  • the depth information includes the depth value (depth value) of each pixel in the image.
  • Depth information can be obtained by using TOF (Time Of Flight) or depth information using multiple images such as DFF (Depth From Focus) and DFD (Depth From Defocus). There is a way to get.
  • the depth information may be acquired by any method.
  • the size of the depth map is preferably the same as the size of the captured image, but may be smaller than the size of the captured image. That is, the resolution of the depth map may be lower than the resolution of the captured image.
  • the number of gradations for the degree of depth is preferably about 8 to 16 from the viewpoint of distance resolution, but it may be less.
  • the number of gradations of the depth degree is 256, and the depth value is represented by 0 to 255.
  • the embedded area searching unit 5 searches for an embedded area for embedding embedded information.
  • an example of a method for searching for an embedded area when the depth maps of FIGS. 5A, 6A, 7A, and 8A are obtained will be described.
  • the embedded region search method is not limited to the following search method, and other search methods may be used.
  • the embedded region searching unit 5 searches for an embedded region using the subject position information obtained from the subject position detecting unit 2 and the depth information obtained from the depth information acquiring unit 4. In the search for the embedded area, the embedded area search unit 5 first acquires the subject position from the subject position information, and acquires the depth value of the subject position from the depth information.
  • FIG. 5B shows the depth range of the subject position (subject region).
  • a depth range A shown in FIG. 5B indicates a range of depth values at the position detected as the subject position by the subject position detection unit 2 (that is, the position of the face in the present embodiment).
  • the embedding area search unit 5 specifies that the depth value of the subject position is the depth range A using the depth information. Then, the embedding area search unit 5 searches for an embedding area from a search area composed of a plurality of pixels having a depth value in the depth range B farther from the depth value of the subject position (FIG. 5C).
  • the depth value of the embedded information itself should be about the same as the depth value of the main subject. And it is better that the depth value around the embedding area indicates the depth side than the depth value of the embedding information. Therefore, the embedded area is searched from the search area corresponding to the depth range B on the back side of the depth value of the subject position.
  • the embedding area searching unit 5 can exclude the body area from the embedding area by excluding an area having a depth value similar to the depth value of the face. That is, by using the depth value, it is possible to set a more appropriate embedding area.
  • FIG. 5B there is a slight interval between the depth range A including the depth value of the subject area and the depth range B including the depth value of the search area.
  • a larger difference is set between the depth value of the embedded information and the depth value around the embedded information. And as the difference is larger, the embedded information appears to pop out.
  • the width of this section is a parameter that determines the conspicuousness of the embedded information, and can be arbitrarily set.
  • the embedded area search unit 5 sets an area having an appropriate number of pixels as an embedded area in the search area set as shown in FIG. 5C.
  • the embedded region may be rectangular as shown in FIG. 5D or may not be rectangular.
  • the embedded area searching unit 5 may search for the embedded area so that the center of gravity of the embedded area and the centers of gravity of the plurality of subject positions detected by the subject position detecting unit 2 are included in a predetermined range.
  • the embedding area may be a rectangular area having a size occupied by the embedding information in the image, a circular shape, or a mask indicating a shape included in the embedding information.
  • the embedded region searching unit 5 searches for a region in the depth range B where the depth value is within a certain depth range, or a region that is within the depth range including the depth value having the highest appearance frequency, and the like. You may select as an embedding area. This is because if there are other subjects (walls or objects) other than the main subject (person's face) in the image, the embedded information may be easier to see if it is not covered by other subjects. This will be described in detail below with reference to FIGS. 6A to 6C.
  • FIG. 6A shows a depth map of an image in which a person and an object other than a person (a desk in this example) enter.
  • FIG. 6B shows a histogram of depth values included in the depth map of FIG. 6A, using the depth value as the horizontal axis and the number of pixels as the vertical axis.
  • the embedding area search unit 5 When an object other than a person enters as shown in FIG. 6A, the embedding area search unit 5 first sets an area in the depth range B farther than the depth range A (subject area) shown in the histogram of FIG. 6B. Set as search area. Next, the embedding area search unit 5 sets, as the second search area, an area of the depth range D that includes the depth value where the number of pixels is a peak (maximum value) in the depth range B.
  • the embedded area search unit 5 uses the second search area (depth range D). It is better to search the embedded area with.
  • the second search region corresponding to the depth range D including the depth value indicating the deepest peak is estimated as the background region. Therefore, the embedding area search unit 5 can set an embedding area from the background area by setting the embedding area from the second search area.
  • FIG. 6C shows an embedded area searched from the second search area. That is, in FIG. 6C, the desk area is excluded from the embedded area. Therefore, the embedded area searching unit 5 can appropriately set an area where the change in depth value is flat in the image as an embedded area.
  • the embedding area search unit 5 sets an embedding area (FIG. 7D) from the search area (FIG. 7C) other than the face position, except for the face position that is a particularly important subject position obtained by the subject position detection unit 2. May be.
  • a specific area may be displayed in advance on a display unit (not shown) of the image processing apparatus 100. Then, the image processing apparatus 100 captures an image with the imaging unit 1 while alerting the user so that a person is not captured in the specific area, and sets the predetermined specific area as an embedded area. Good.
  • the image processing apparatus 100 may display an OSD (On Screen Display) on the display unit that the embedding area cannot be set and inform the user to prompt the user to shoot again.
  • OSD On Screen Display
  • the image processing apparatus 100 uses the depth information to determine whether or not the distance from the imaging unit 1 to the subject is short, and when it is close, displays that the image is taken again as an OSD on the display unit. May be. At that time, the image processing apparatus 100 may display a message prompting the user to correct the image size as shown in FIG. 8C and secure the embedded area as shown in FIG. 8D.
  • the depth information setting unit 6 sets the depth value of the embedded information.
  • the depth information setting unit 6 sets the depth value included in the depth range C of FIG. 5B. It is set, and a depth value similar to that of the person area is given to the embedded information.
  • the depth information setting unit 6 when an embedding area including a depth value similar to that of the person area is set, the depth information setting unit 6 is configured so that the embedding information does not stand out as shown in FIG. A depth value is determined from a depth range E before the depth range A of the subject area. Then, the depth information setting unit 6 adds the determined depth value to the embedded information (FIG. 7F).
  • the depth information setting unit 6 may set the depth value of the embedding area to be equal to or less than the depth value of the corrected image (back side). Good. Then, the depth information setting unit 6 may set the depth value of the embedded information to be higher (on the front side) than the depth value of the embedded area.
  • the embedding unit 7 obtains the image obtained by the imaging unit 1, the embedding information obtained by the embedding information acquisition unit 3, the depth information obtained by the depth information acquisition unit 4, and the embedding area search unit 5. By using the embedding area and the depth value given by the depth information setting unit 6, the depth information after embedding and the image after embedding are output.
  • the embedded depth information is generated by synthesizing the depth information obtained by the depth information acquisition unit 4 and the depth value obtained by the depth information setting unit 6 (FIG. 3C, FIG. 7F, etc.). Similarly, the image after embedding is also generated by combining the image obtained by the imaging unit 1 and the embedding information obtained by the embedding information acquisition unit 3.
  • the embedded information obtained by the embedded information acquisition unit 3 is shown as text information, but the embedded information is not limited to text information.
  • the image processing apparatus 100 may paste an embedded image such as a decorative part or a frame set in advance in the image processing apparatus 100 as embedded information on the captured image in addition to the text information.
  • the image processing apparatus 100 may set the depth value of the embedded image on the same basis as the text information and embed the embedded image in the captured image.
  • the image processing apparatus 100 may arrange a decoration frame as the background. Then, the image processing apparatus 100 sets the depth value of the decoration frame and the depth value of the text information so that the depth value of the decoration frame is set between the depth value of the person and the depth value of the text information. May be. Then, the image processing apparatus 100 may generate an image in which a decoration frame and text information are embedded.
  • the depth value of the embedded information may not be a constant value.
  • the image processing apparatus 100 may set the depth value so that words registered in the image processing apparatus 100 appear more popping out (FIG. 9C).
  • the image processing apparatus 100 may set the depth value of embedded information according to the power of the sound so that the embedded information appears to pop out as the voice becomes louder (FIG. 9D). ).
  • the embedding area search unit 5 may adjust the position of the embedding area so that the position of the embedding area does not change greatly in a plurality of frames.
  • FIG. 10A is a diagram showing the flow of the entire process
  • FIG. 10B is a diagram showing the flow of the process of searching for an embedded area (S105 in FIG. 10A).
  • the imaging unit 1 generates an image by photographing a subject (S101).
  • the subject position detection unit 2 detects the position of the subject (such as the position of a person's face) using the image obtained by the imaging unit 1 (S102).
  • the embedded information acquisition unit 3 acquires embedded information based on voice information or an input from the user (S103).
  • the depth information acquisition unit 4 acquires depth information corresponding to the image obtained by the imaging unit 1 (S104).
  • the embedded area searching unit 5 uses the depth information obtained by the depth information obtaining unit 4 to obtain the depth value of the subject position obtained by the subject position detection unit 2, and is located behind the depth value of the subject position. An area is specified (S201).
  • the embedding area searching unit 5 sets the rectangular size of the embedding area in which the embedding information is embedded based on the embedding information obtained by the embedding information acquisition unit 3 (S202).
  • the embedding area search unit 5 uses a combination of a plurality of preset setting items such as the font size of the embedding information, the number of lines, and the arrangement direction (vertical or horizontal). Based on this, a plurality of candidates having a rectangular size may be set. Further, when the embedding information is a decorative part or an image, the embedding area searching unit 5 may set a plurality of rectangular size candidates based on a plurality of preset enlargement / reduction ratios. Then, the embedded region searching unit 5 may select a rectangular size from such a plurality of candidates.
  • a plurality of preset setting items such as the font size of the embedding information, the number of lines, and the arrangement direction (vertical or horizontal). Based on this, a plurality of candidates having a rectangular size may be set. Further, when the embedding information is a decorative part or an image, the embedding area searching unit 5 may set a plurality of rectangular size candidates based on a plurality of preset enlargement / reduction
  • the embedded area search unit 5 searches the search area for an embedded area that satisfies the set conditions (S203). Then, the embedded area search unit 5 determines whether an embedded area that satisfies the set condition has been found (S204).
  • the embedded area searching unit 5 determines that the embedded area exists and ends the search for the embedded area. If no embedded area satisfying the set condition is found, the embedded area searching unit 5 determines whether or not an embedded area has been searched with all candidates of the set rectangular size (S205). If there are unsearched candidates remaining, the embedded region searching unit 5 sets the unsearched candidates as search conditions again and searches for embedded regions (S202 and S203).
  • the embedded area search unit 5 has searched all the areas other than the face area as the search area (see FIG. 7C) without using the depth information when the embedded area is searched with all the candidates of the rectangular size. Is determined (S206).
  • the embedded area searching unit 5 searches for an embedded area using the detected face area and depth information. At this time, the human body region and the like are also excluded from the search region. When no embedded region satisfying the condition is found, the embedded region search unit 5 widens the search region.
  • the embedded area search unit 5 determines that there is no embedded area (S209), and ends the search for the embedded area. If the embedded area search unit 5 has not yet searched for an embedded area in a search area other than the face area, the embedded area search unit 5 sets all areas other than the face area as search areas using the subject position information (S207). Then, the embedded area searching unit 5 again sets the rectangular size and searches for the embedded area (S202 and S203).
  • the embedded area searching unit 5 searches for an embedded area (S105) and determines whether an embedded area exists (S106). When it is determined that there is no embedded area, the image processing apparatus 100 displays that the embedded area does not exist as an OSD and prompts the user to re-shoot (S107) (see FIG. 8B). When it is determined that there is an embedded area, the depth information setting unit 6 sets depth information in the embedded information (S108).
  • the depth information setting unit 6 may set the depth value of the embedded information with reference to the depth values around the position where the embedded information is embedded.
  • the depth information setting unit 6 sets the depth value of the embedded information to the same level as the person area when the surrounding depth value indicates the back side of the person area.
  • the depth information setting unit 6 sets, in the embedded information, a depth value indicating a depth before the depth of the person area when the surrounding depth value indicates the same depth as the person area.
  • the embedding unit 7 embeds the embedded information after the depth information is set in the embedded information (S109).
  • the image processing apparatus 100 uses the depth information to set the position where the embedded information is embedded and the depth value of the embedded information. Therefore, the embedded information is displayed at a more appropriate position without forcing the user to perform unnecessary operations.
  • a depth map expressed as an image is used as a format for expressing depth information.
  • the format for representing the depth information is not limited to such a depth map.
  • Other formats may be used as a format for representing the depth information.
  • the image processing apparatus uses the reliability of the depth value to determine the embedding area.
  • FIG. 11 is a configuration diagram of the image processing apparatus according to the present embodiment.
  • the same components as those shown in FIG. 4 are denoted by the same reference numerals, and the description thereof will be omitted.
  • the components different from the components shown in FIG. 4 will be mainly described.
  • the image processing apparatus 200 according to the present embodiment includes a depth reliability acquisition unit 8 as an additional component compared to the image processing apparatus 100 according to the first embodiment.
  • the depth reliability acquisition unit 8 acquires depth map reliability, which is the reliability of the depth map obtained by the depth information acquisition unit 4.
  • the depth map obtained by the depth information acquisition unit 4 usually includes an error.
  • the reliability regarding the accuracy of the depth map varies depending on the method of obtaining the depth map.
  • the depth information acquisition unit 4 may not be able to acquire correct distance information for some of all the pixels. Therefore, the depth reliability acquisition unit 8 calculates the reliability of the depth map for each pixel in order to estimate the error of the depth map.
  • the depth information acquisition unit 4 when the depth information acquisition unit 4 generates the depth map from the left and right images of the stereo camera, the correspondence relationship between the left image and the right image is determined using the difference in pixel value in pixel units or block units. ,Ask.
  • the depth reliability acquisition unit 8 determines that the reliability of the depth value of the pixel or block is high.
  • the depth reliability acquisition unit 8 determines that the reliability of the depth value of the pixel or block is low.
  • the depth reliability acquisition unit 8 calculates a higher reliability as the difference is smaller, based on the difference between the pixel value of the left image and the pixel value of the right image.
  • the depth reliability acquisition unit 8 may determine that the reliability is low when the depth value is not within a predetermined range. In this case, the depth reliability acquisition unit 8 calculates a lower reliability based on the depth value of each pixel of the image as the deviation from the predetermined range increases. Further, the depth reliability acquisition unit 8 may determine that the reliability is low when the difference in depth value is large between adjacent pixels. In this case, the depth reliability acquisition unit 8 calculates a lower reliability as the difference is larger based on the magnitude of the difference.
  • FIG. 12A shows a depth map obtained by the depth information acquisition unit 4.
  • the depth map shown in FIG. 12A includes some depth value errors in the vicinity of the person.
  • FIG. 12B shows the depth map reliability corresponding to the depth map shown in FIG. 12A.
  • the depth reliability acquisition unit 8 acquires the depth map reliability as illustrated in FIG. 12B and outputs the depth map reliability to the embedded region search unit 5.
  • the embedding area search unit 5 preferentially determines an area having a low depth value reliability as an embedding area using the depth map reliability. However, even when the reliability of the depth value of the subject position (such as the position of a person's face) obtained by the subject position detection unit 2 is low, the embedded region search unit 5 determines the embedded region while avoiding the subject position. Also good. Further, the embedded region searching unit 5 detects the position of the center of gravity of the region where the reliability of the depth value is low, and determines the position, size, and shape of the embedded region so that the center of gravity position coincides with the center of the embedded region. Also good.
  • the image processing apparatus 200 can generate an appropriate 3D image by hiding an inappropriate area as a 3D image.
  • the image processing apparatus 200 can generate an appropriate 3D image by setting the embedding position of the embedding information in an area where the reliability of the depth value is low.
  • the depth map reliability expressed as an image is used as a format for expressing the reliability of the depth value.
  • the format for representing the reliability of the depth value is not limited to such a format.
  • Other formats may be used as the format for representing the reliability of the depth value.
  • first embodiment and the second embodiment may be combined.
  • a region with low reliability among the regions on the back side may be set as the embedded region.
  • the back area may be set as an embedded area. It is possible to combine various conditions relating to the embedded region shown in the first embodiment and the second embodiment.
  • FIG. 13 is a configuration diagram of the image processing apparatus according to the present embodiment.
  • the image processing apparatus 110 includes an image acquisition unit 11, an embedded information acquisition unit 13, a depth information acquisition unit 14, and an embedded region determination unit 15.
  • the image acquisition unit 11 acquires an image.
  • the image acquisition unit 11 corresponds to the imaging unit 1 according to the first embodiment and the second embodiment.
  • the embedded information acquisition unit 13 acquires embedded information.
  • the embedded information is information embedded in an area in the image.
  • the embedded information acquisition unit 13 corresponds to the embedded information acquisition unit 3 according to the first and second embodiments.
  • the depth information acquisition unit 14 acquires depth information.
  • the depth information indicates the depth value of each pixel of the image.
  • the depth information acquisition unit 14 corresponds to the depth information acquisition unit 4 according to the first embodiment and the second embodiment.
  • the embedding area determination unit 15 determines the embedding area using the depth information.
  • the embedded area is an area in which embedded information is embedded.
  • the embedding area determining unit 15 corresponds to the embedding area searching unit 5 according to the first and second embodiments.
  • FIG. 14 is a flowchart showing the operation of the image processing apparatus 110 shown in FIG.
  • the image acquisition unit 11 acquires an image (S301).
  • the embedded information acquisition unit 13 acquires embedded information (S302).
  • the depth information acquisition unit 14 acquires depth information (S303).
  • the embedding area determination unit 15 determines an embedding area using the depth information (S304).
  • the image processing apparatus 110 can appropriately determine an area for embedding information.
  • Embodiment 4 In the present embodiment, like the third embodiment, the characteristic configuration and procedure shown in the first embodiment and the second embodiment are shown for confirmation. Compared with Embodiment 3, this embodiment includes a configuration and a procedure that are arbitrarily added.
  • FIG. 15 is a configuration diagram of the image processing apparatus according to the present embodiment.
  • the image processing apparatus 120 includes an image acquisition unit 21, a subject position detection unit 22, an embedded information acquisition unit 23, a depth information acquisition unit 24, an embedded region determination unit 25, and a depth value determination unit. 26, an embedding unit 27, and a display unit 28.
  • the image acquisition unit 21 acquires an image.
  • the image acquisition unit 21 corresponds to the imaging unit 1 according to the first embodiment, the imaging unit 1 according to the second embodiment, and the image acquisition unit 21 according to the third embodiment.
  • the subject position detection unit 22 acquires subject position information indicating the subject position by detecting the subject position.
  • the subject position is a position in the image of a predetermined subject included in the image.
  • the subject position detection unit 22 corresponds to the subject position detection unit 2 according to the first embodiment and the subject position detection unit 2 according to the second embodiment.
  • the embedded information acquisition unit 23 acquires embedded information.
  • the embedded information is information embedded in an area in the image.
  • the embedded information acquisition unit 23 corresponds to the embedded information acquisition unit 3 according to the first embodiment, the embedded information acquisition unit 3 according to the second embodiment, and the embedded information acquisition unit 13 according to the third embodiment.
  • the depth information acquisition unit 24 acquires depth information.
  • the depth information indicates the depth value of each pixel of the image.
  • the depth information acquisition unit 24 corresponds to the depth information acquisition unit 4 according to the first embodiment, the depth information acquisition unit 4 according to the second embodiment, and the depth information acquisition unit 14 according to the third embodiment.
  • the embedding area determination unit 25 determines the embedding area using the depth information.
  • the embedded area is an area in which embedded information is embedded.
  • the embedded region determination unit 25 corresponds to the embedded region search unit 5 according to the first embodiment, the embedded region search unit 5 according to the second embodiment, and the embedded region determination unit 15 according to the third embodiment.
  • the depth value determination unit 26 determines the depth value of the embedded information.
  • the depth value determination unit 26 corresponds to the depth information setting unit 6 according to the first embodiment and the depth information setting unit 6 according to the second embodiment.
  • the embedding unit 27 embeds the embedding information in the embedding area using the depth value determined by the depth value determining unit 26.
  • the embedding unit 27 corresponds to the embedding unit 7 according to the first embodiment and the embedding unit 7 according to the second embodiment.
  • the display unit 28 displays an image.
  • the display unit 28 may display the image acquired by the image acquisition unit 21 or may display the image in which the embedded information is embedded by the embedding unit 27.
  • the display unit 28 may display the OSD according to the first embodiment.
  • FIG. 16 is a flowchart showing the operation of the image processing apparatus 120 shown in FIG.
  • the image acquisition unit 21 acquires an image (S401).
  • the embedded information acquisition unit 23 acquires embedded information (S402).
  • the depth information acquisition unit 24 acquires depth information (S403).
  • the subject position detection unit 22 acquires subject position information indicating the subject position by detecting the subject position (S404).
  • the embedding area determination unit 25 determines an embedding area using the depth information (S405).
  • the depth value determination unit 26 determines the depth value of the embedded information (S406).
  • the embedding unit 27 embeds the embedding information in the embedding area using the depth value determined by the depth value determining unit 26 (S407).
  • the display unit 28 displays the image in which the embedding information is embedded by the embedding unit 27 (S408).
  • the image processing apparatus 120 can appropriately determine an area for embedding information.
  • the embedding area determination unit 25 may determine the embedding area using the depth information and the subject position information. Further, the embedding area determination unit 25 may determine, as the embedding area, an area composed of a plurality of pixels having a depth value indicating a depth side from a predetermined depth value.
  • the predetermined depth value may be the depth value of the pixel at the subject position.
  • the embedding area determination unit 25 may determine, as an embedding area, an area composed of a plurality of pixels having a depth value within a predetermined range from a predetermined depth value.
  • the predetermined depth value may be a depth value whose appearance frequency is a peak, or a depth value whose appearance frequency is the deepest peak.
  • the embedding area determination unit 25 includes a plurality of pixels having a depth value within a predetermined range from a depth value having a peak appearance frequency among a plurality of pixels having a depth value indicating a depth side from a predetermined depth value.
  • An area to be processed may be determined as an embedded area.
  • the depth information acquisition unit 24 may acquire depth information including information indicating the reliability of the depth value of each pixel of the image.
  • the embedding area determination unit 25 may determine an area including pixels whose depth value reliability is lower than a predetermined reliability as an embedding area.
  • the embedding area determination unit 25 may set the size of the embedding area using the information amount of the embedding information acquired by the embedding information acquisition unit 23. Then, the embedding area determination unit 25 may determine an embedding area having a set size.
  • the embedding area determination unit 25 may determine the embedding area from the area excluding the subject position using the depth information.
  • the embedding area determination unit 25 determines an embedding area from the area excluding the subject position without using the depth information when there is no embedding area that satisfies the conditions used for determining the embedding area using the depth information. May be.
  • the depth value determination unit 26 may determine the depth value of the embedded information as a depth value indicating the near side of the depth value at the subject position.
  • the depth value determination unit 26 may determine the depth value of the embedded information as a depth value having the same degree as the depth value of the subject position.
  • the depth value determination unit 26 may determine the depth value of the embedded information from the depth value of the subject position to a depth value within a predetermined range.
  • the subject may be a human face.
  • the embedded information may include at least one of a text, a decorative part, a frame, and an image.
  • the display unit 28 may display a notification message indicating that there is no embedded area to the user when there is no embedded area that satisfies the conditions used to determine the embedded area.
  • the display unit 28 may display a notification message including a message that prompts the user to photograph the subject away from the subject.
  • the display unit 28 notifies such notification when there is no embedded region that satisfies the conditions used to determine the embedded region, and when the depth value of the pixel at the subject position is closer to the front than the predetermined depth value.
  • a message may be displayed.
  • the embedding area determination unit 25 may determine whether or not a predetermined subject included in the image is near by using depth information when there is no embedding area that satisfies the conditions used for determining the embedding area. . For example, the embedding area determination unit 25 determines that the subject is close when the depth value of the pixel at the subject position is closer than a predetermined depth value. When it is determined that the subject is close, the display unit 28 may display a notification message including a message that prompts the user to take the subject away from the subject.
  • the image processing device 120 may be an imaging device such as a camera, or may be a part of the imaging device.
  • the image acquisition unit 21 may acquire an image by photographing a subject.
  • the aspect which concerns on this invention may be implement
  • the aspect according to the present invention may be realized as a program for causing a computer to execute these steps, or realized as a non-temporary recording medium such as a computer-readable CD-ROM in which the program is recorded. May be.
  • the aspect according to the present invention may be realized as information, data, or a signal indicating the program.
  • These programs, information, data, and signals may be distributed via a communication network such as the Internet.
  • the image processing apparatus is a computer system including a microprocessor, a ROM, a RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like.
  • a computer program is stored in the RAM or hard disk unit.
  • the image processing apparatus achieves its functions by the microprocessor operating according to the computer program.
  • the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
  • a part or all of the plurality of constituent elements constituting the image processing apparatus may be configured by a single system LSI (Large Scale Integration).
  • the system LSI is a super multifunctional LSI manufactured by integrating a plurality of components on one chip, and specifically, a computer system including a microprocessor, a ROM, a RAM, and the like. .
  • the RAM stores computer programs.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • a part or all of the constituent elements constituting the image processing apparatus may be configured by an IC card that can be attached to and detached from the image processing apparatus or a single module.
  • the IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or module may include the above-mentioned super multifunctional LSI.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program.
  • the IC card or module may have tamper resistance.
  • the method according to the present invention may be the method described above. Further, the aspect according to the present invention may be a computer program for realizing this method by a computer or a digital signal constituting the computer program.
  • a computer program or a digital signal can be recorded on a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray). Disc), or may be recorded in a semiconductor memory or the like.
  • the aspect according to the present invention may be a digital signal recorded on these recording media.
  • the aspect according to the present invention may be configured to transmit a computer program or a digital signal via an electric communication line, a wireless communication line, a wired communication line, a network represented by the Internet, a data broadcast, or the like.
  • the aspect according to the present invention may be a computer system including a microprocessor and a memory.
  • the memory may store the above computer program, and the microprocessor may operate according to the computer program.
  • program or digital signal may be recorded on a recording medium and transferred, or transferred via a network or the like.
  • aspect which concerns on this invention may be implemented by another independent computer system.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the image processing apparatus according to each of the above embodiments is the following program.
  • the program acquires an image, acquires embedding information embedded in an area in the image, acquires depth information indicating a depth value of each pixel of the image, and uses the depth information. Then, an image processing method for determining an embedding area that is the area in which the embedding information is embedded is executed.
  • Each component may be a circuit. These circuits may constitute one circuit as a whole, or may be separate circuits. Each of these circuits may be a general-purpose circuit or a dedicated circuit.
  • the present invention is not limited to this embodiment. Unless it deviates from the gist of the present invention, one or more of the present invention may be applied to various modifications that can be conceived by those skilled in the art, or forms constructed by combining components in different embodiments. It may be included within the scope of the embodiments.
  • a process executed by a specific processing unit may be executed by another processing unit.
  • the order of the plurality of processes may be changed, and the plurality of processes may be executed in parallel.
  • the present invention is useful for embedding information in an image.
  • a digital still camera a digital video camera, a consumer or commercial imaging device, a digital photo frame, a television receiver, a portable terminal, a cellular phone, or the like. Is available.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

　本発明の一態様に係る画像処理装置（１１０）は、画像を取得する画像取得部（１１）と、画像取得部（１１）で取得された画像内の領域に埋め込まれる埋め込み情報を取得する埋め込み情報取得部（１３）と、画像取得部（１１）で取得された画像の各画素の奥行き値を示すデプス情報を取得するデプス情報取得部（１４）と、デプス情報を用いて、埋め込み情報が埋め込まれる領域である埋め込み領域を決定する埋め込み領域決定部（１５）とを備える。

Description

画像処理装置、撮像装置および画像処理方法
　本発明は、画像内の領域に情報を埋め込む画像処理のための画像処理装置に関する。
　画像内の領域に情報を埋め込む画像処理に関する技術として、特許文献１および特許文献２に記載の技術がある。
特開２００９－２００７８４号公報 特開２００４－１０４３３１号公報
　しかしながら、不適切な領域に情報が埋め込まれることにより、画像または情報が見え難い状態に陥る可能性がある。
　そこで、本発明は、情報を埋め込むための領域を適切に決定することができる画像処理装置を提供する。
　本発明の一態様に係る画像処理装置は、画像を取得する画像取得部と、前記画像内の領域に埋め込まれる埋め込み情報を取得する埋め込み情報取得部と、前記画像の各画素の奥行き値を示すデプス情報を取得するデプス情報取得部と、前記デプス情報を用いて、前記埋め込み情報が埋め込まれる前記領域である埋め込み領域を決定する埋め込み領域決定部とを備える。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本発明の一態様に係る画像処理装置は、情報を埋め込むための領域を適切に決定することができる。
図１は、埋め込み情報の埋め込み後の画像を示す図である。 図２は、デプスマップを示す図である。 図３Ａは、埋め込み情報が目立たないデプスマップを示す図である。 図３Ｂは、埋め込み情報に違和感があるデプスマップを示す図である。 図３Ｃは、埋め込み情報が適切に見えるデプスマップを示す図である。 図４は、実施の形態１に係る画像処理装置の構成図である。 図５Ａは、第１の例に係る入力画像のデプスマップを示す図である。 図５Ｂは、第１の例に係るデプス範囲を示す図である。 図５Ｃは、第１の例に係る探索領域を示す図である。 図５Ｄは、第１の例に係る埋め込み領域を示す図である。 図６Ａは、第２の例に係る入力画像のデプスマップを示す図である。 図６Ｂは、第２の例に係るデプス値のヒストグラムである。 図６Ｃは、第２の例に係る埋め込み領域を示す図である。 図７Ａは、第３の例に係る入力画像のデプスマップを示す図である。 図７Ｂは、第３の例に係る初期の探索領域を示す図である。 図７Ｃは、第３の例に係る新たな探索領域を示す図である。 図７Ｄは、第３の例に係る埋め込み領域を示す図である。 図７Ｅは、第３の例に係るデプス範囲を示す図である。 図７Ｆは、第３の例に係る埋め込み後のデプスマップを示す図である。 図８Ａは、第４の例に係る入力画像のデプスマップを示す図である。 図８Ｂは、第４の例に係る撮影のための通知メッセージを示す図である。 図８Ｃは、第４の例に係る補正のための通知メッセージを示す図である。 図８Ｄは、第４の例に係る埋め込み領域を示す図である。 図９Ａは、装飾部品の埋め込み後のデプスマップを示す図である。 図９Ｂは、フレームの埋め込み後のデプスマップを示す図である。 図９Ｃは、テキストの一部が強調されたデプスマップを示す図である。 図９Ｄは、音声のパワーに応じてテキストが埋め込まれたデプスマップを示す図である。 図１０Ａは、実施の形態１に係る画像処理装置の動作を示すフローチャートである。 図１０Ｂは、実施の形態１に係る埋め込み領域の探索処理を示すフローチャートである。 図１１は、実施の形態２に係る画像処理装置の構成図である。 図１２Ａは、実施の形態２に係る入力画像のデプスマップを示す図である。 図１２Ｂは、実施の形態２に係るデプスマップ信頼度を示す図である。 図１２Ｃは、実施の形態２に係る埋め込み後のデプスマップの第１の例を示す図である。 図１２Ｄは、実施の形態２に係る埋め込み後のデプスマップの第２の例を示す図である。 図１３は、実施の形態３に係る画像処理装置の構成図である。 図１４は、実施の形態３に係る画像処理装置の動作を示すフローチャートである。 図１５は、実施の形態４に係る画像処理装置の構成図である。 図１６は、実施の形態４に係る画像処理装置の動作を示すフローチャートである。
　（本発明の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した、画像内の領域に情報を埋め込む画像処理に関する技術に関し、以下の課題を見出した。
　撮影等で得られた画像にテキストメッセージまたは装飾部品などを埋め込むための埋め込み機能を有する画像処理装置が存在する。このような埋め込み機能の想定用途として、例えば、誕生パーティまたは結婚式などの催しにおいて、参加者が撮影画像にメッセージを付与する場合などがある（図１参照）。
　ここでは、画像に埋め込まれるメッセージ等の情報を埋め込み情報と呼ぶ。画像に埋め込み情報を埋め込むとは、画像の上に埋め込み情報を配置し、画像に埋め込み情報を重ね合わせることを意味する。したがって、画像に埋め込み情報が埋め込まれることにより、画像の一部が隠れる。
　そのため、埋め込み情報が埋め込まれる位置（埋め込み位置）が適切でない場合、撮影画像内の主要な被写体の上に埋め込み情報が埋め込まれ、主要な被写体が埋め込み情報で隠れる可能性がある。そこで、適切な埋め込み位置を適切に決定する方法として、画像に含まれる情報を用いて埋め込み位置を決定する方法が知られている（特許文献１）。
　この方法に係る画像処理装置は、画像に含まれる情報（フォーカスエリア、日付の写し込み、顔の位置、文字の位置、および、被写体の輪郭など）を用いて画像内の主要な位置を検出し、主要な位置を避けて埋め込み情報を埋め込む。これにより、画像処理装置は、画像内の主要な位置への埋め込みを避け、主要な位置以外の領域に埋め込み情報を埋め込むことができる。したがって、画像処理装置は、通常の写真に埋め込み情報を適切に埋め込むことができる。
　次に、埋め込み情報を含む画像が３Ｄ画像として立体的に鑑賞されるように、埋め込み機能を拡張することが考えられる。３Ｄ画像を生成するための主な方法として、２種類の方法がある。１つは、ステレオカメラから得られる左右２枚の画像の視差を利用して、３Ｄ画像を生成する方法である。もう１つは、画素毎にカメラから被写体までの距離を計測し、その距離に基づいて３Ｄ画像を生成する方法である。
　なお、ここでは、上記の視差または距離に対応する奥行きの度合いを示す値を奥行き値（デプス値）と呼ぶ。また、画像または画像の領域における各画素の奥行き値に関する情報をデプス情報と呼ぶ。例えば、左右２枚の画像の視差から、それらの画像の各画素の奥行き値、および、それらの画像の各画素の奥行き値に関するデプス情報が得られる。逆に、平面画像と、その平面画像の各画素の奥行き値を示すデプス情報とを組み合わせることで、視差を有する左右２枚の画像が得られる。
　特許文献２では、計測された距離に基づいて３Ｄ画像が生成され、埋め込み情報にデプス情報が付与される。これにより、埋め込み情報が埋め込まれた３Ｄ画像が立体的に鑑賞される。ここで、埋め込み情報に適切なデプス情報が付与されることで、３Ｄ画像に埋め込まれた埋め込み情報が、違和感無く３Ｄで表示される。
　特許文献２では、埋め込み情報にデプス情報を付与する方法として、ユーザインターフェイスを用いる方法が示されている。この方法では、ユーザは、「遠く」または「近く」のボタンを適切な回数押すことで、埋め込み情報に適切なデプス情報を付与することが可能である。
　特許文献１のように埋め込み位置を決定する方法、および、特許文献２のように埋め込み情報にデプス情報を付与する方法等の技術に基づいて、埋め込み情報は３Ｄ画像に埋め込まれる。しかし、３Ｄ画像への埋め込みには、以下に示される複数の課題が存在する。
　まず、３Ｄ画像に埋め込まれた埋め込み情報が適切に見えない可能性がある。３Ｄ画像に埋め込まれた埋め込み情報は、周囲から飛び出して、目立って見える方がよい。この課題を説明するため、画像の各画素のデプス値を示すデプスマップ（ＤｅｐｔｈＭａｐ）を説明する。
　図２は、デプスマップを示す。デプスマップは、通常、図２のような画像で表される。図２等のデプスマップは、画素の色が白いほど（ハッチングが薄いほど）、カメラから被写体への距離が近く、画素の色が黒いほど（ハッチングが濃いほど）、カメラから被写体への距離が遠いことを示す。埋め込み情報の周囲のデプス値が埋め込み情報と同等の奥行きを示す場合、または、埋め込み情報の周囲のデプス値が埋め込み情報よりも手前側の奥行きを示す場合、３Ｄ画像に埋め込まれた埋め込み情報は適切に見えない。
　例えば、図３Ａに示されたデプスマップのように、埋め込み情報のデプス値が周囲のデプス値と同等の奥行きを示す場合、埋め込み情報の飛び出し量は周囲と同等である。このような埋め込み情報は、飛び出し感に乏しく、書割感を与える。そして、このような埋め込み情報は、強調されず、目立たない。
　また、図３Ｂに示されたデプスマップのように、埋め込み情報のデプス値が周囲のデプス値よりも奥側の奥行きを示す場合、埋め込み情報が、奥側に引っ込んで見える。このような画像は、違和感を生じさせる。
　一方、図３Ｃに示されたデプスマップのように、埋め込み情報のデプス値が周囲のデプス値よりも手前側の奥行きを示す場合、埋め込み情報が飛び出して適切に見える。
　特許文献１に示された方法では、埋め込み位置の決定にデプス値が用いられない。そのため、埋め込み情報のデプス値と、埋め込み位置の周囲のデプス値との関係が適切でない可能性があり、埋め込み情報が適切に見えない可能性がある。さらに、人物の顔が埋め込み位置から除外された場合でも、人物の身体、または、人物が有する物体などの領域に埋め込み位置が設定され、画像が適切に見えない可能性もある。
　また、埋め込み情報へのデプス情報の設定が、利用者にとって不便である場合がある。特許文献２では、ユーザインターフェイスを介して、埋め込み情報へデプス情報が付与される。そのため、この機能を利用する度に、利用者がデプス情報を調整する手間が生じる。
　そこで、本発明の一態様に係る画像処理装置は、画像を取得する画像取得部と、前記画像内の領域に埋め込まれる埋め込み情報を取得する埋め込み情報取得部と、前記画像の各画素の奥行き値を示すデプス情報を取得するデプス情報取得部と、前記デプス情報を用いて、前記埋め込み情報が埋め込まれる前記領域である埋め込み領域を決定する埋め込み領域決定部とを備える。
　これにより、画像処理装置は、情報を埋め込むための領域を適切に決定することができる。
　例えば、前記埋め込み領域決定部は、前記デプス情報を用いて、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される前記埋め込み領域を決定してもよい。
　これにより、画像処理装置は、奥側の領域を埋め込み領域として決定する。したがって、画像処理装置は、画像の主要な位置が隠れることを回避することができる。
　また、例えば、前記画像処理装置は、さらに、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を検出することにより、前記被写体位置を示す被写体位置情報を取得する被写体位置検出部を備え、前記埋め込み領域決定部は、前記デプス情報および前記被写体位置情報を用いて、前記被写体位置の画素の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される前記埋め込み領域を決定してもよい。
　これにより、画像処理装置は、所定の被写体よりも奥側の領域を埋め込み領域として決定する。したがって、画像処理装置は、所定の被写体と同等の領域が隠れることを回避することができる。
　また、例えば、前記埋め込み領域決定部は、前記デプス情報を用いて、所定の奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される前記埋め込み領域を決定してもよい。
　これにより、画像処理装置は、奥行き値の分散の度合いが小さい領域を埋め込み領域として決定する。奥行き値の分散の度合いが小さい領域は、目立たない領域である可能性が高い。したがって、画像処理装置は、目立たない可能性が高い領域を埋め込み領域として決定することができる。
　また、例えば、前記埋め込み領域決定部は、前記デプス情報を用いて、出現頻度がピークである奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される前記埋め込み領域を決定してもよい。
　これにより、画像処理装置は、出現頻度が高い奥行き値を有する領域を埋め込み領域として決定する。出現頻度が高い奥行き値を有する領域は、目立たない可能性が高い。したがって、画像処理装置は、目立たない可能性が高い領域を埋め込み領域として決定することができる。
　また、例えば、前記埋め込み領域決定部は、前記デプス情報を用いて、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される領域であり、出現頻度がピークである奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される領域である前記埋め込み領域を決定してもよい。
　これにより、画像処理装置は、目立たない可能性が高い奥側の領域を埋め込み領域として決定することができる。
　また、例えば、前記デプス情報取得部は、前記画像の各画素の奥行き値の信頼度を示す情報を含む前記デプス情報を取得してもよい。
　これにより、画像処理装置は、画像の各画素のデプス値の信頼度を含むデプス情報を用いて、適切に埋め込み領域を決定することができる。
　また、例えば、前記埋め込み領域決定部は、前記デプス情報を用いて、奥行き値の信頼度が所定の信頼度よりも低い画素を含む前記埋め込み領域を決定してもよい。
　これにより、画像処理装置は、デプス値の信頼度が低い画素を含む領域を隠すことができる。
　また、例えば、前記埋め込み領域決定部は、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を除く領域の中から、前記デプス情報を用いて前記埋め込み領域を決定してもよい。
　これにより、画像処理装置は、主要な被写体を除く領域の中から、埋め込み領域を決定することができる。すなわち、画像処理装置は、主要な被写体が隠れることを回避することができる。
　また、例えば、前記埋め込み領域決定部は、前記埋め込み情報取得部で取得された前記埋め込み情報の情報量を用いて前記埋め込み領域のサイズを設定し、設定された前記サイズを有する前記埋め込み領域を決定してもよい。
　これにより、画像処理装置は、埋め込み情報に基づいて、埋め込み領域のサイズを適切に設定することができる。
　また、例えば、前記埋め込み領域決定部は、前記デプス情報を用いて前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を除く領域の中から前記埋め込み領域を決定してもよい。
　これにより、埋め込み領域がデプス情報に基づいて決定されない場合でも、画像処理装置は、被写体を除く領域の中から埋め込み領域を決定することができる。
　また、例えば、前記画像処理装置は、さらに、前記埋め込み情報の奥行き値を決定する奥行き値決定部と、前記奥行き値決定部で決定された前記奥行き値を用いて前記画像内の前記埋め込み領域に前記埋め込み情報を埋め込む埋め込み部とを備えてもよい。
　これにより、画像処理装置は、埋め込み情報に奥行き値を設定することができる。したがって、立体的に観賞される埋め込み情報が得られる。
　また、例えば、前記奥行き値決定部は、前記埋め込み情報の奥行き値を、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置の奥行き値と同じ度合いの奥行き値に決定してもよい。
　これにより、画像処理装置は、埋め込み情報が被写体と同程度に目立つように、埋め込み情報の奥行き値を設定することができる。
　また、例えば、前記奥行き値決定部は、前記デプス情報を用いて前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を除く領域の中から決定される前記埋め込み領域に埋め込まれる前記埋め込み情報の奥行き値を前記被写体位置における奥行き値よりも手前側を示す奥行き値に決定してもよい。
　これにより、画像処理装置は、埋め込み情報に目立たない奥行き値が設定されることを回避することができる。
　また、例えば、前記被写体位置検出部は、前記画像に含まれる人物の顔の、前記画像における位置を前記被写体位置として検出することにより、前記人物の顔の位置を前記被写体位置として示す前記被写体位置情報を取得してもよい。
　これにより、例えば、画像処理装置は、被写体の顔よりも奥側の領域を埋め込み領域として決定する。したがって、画像処理装置は、被写体の顔と同等の領域が隠れることを回避することができる。
　また、例えば、前記埋め込み情報取得部は、テキスト、装飾部品、フレーム、および、画像のうち少なくとも１つを含む前記埋め込み情報を取得してもよい。
　これにより、画像処理装置は、テキスト、装飾部品、フレームまたは画像等を埋め込むための埋め込み領域を決定することができる。
　また、例えば、前記画像処理装置は、さらに、前記画像を表示する表示部を備え、前記表示部は、前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、利用者に前記埋め込み領域が存在しないことを示す通知メッセージを表示してもよい。
　これにより、画像処理装置は、埋め込み情報を埋め込むための領域が画像に存在しないことを利用者に通知することができる。
　また、例えば、前記埋め込み領域決定部は、前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、前記デプス情報を用いて、前記画像に含まれる所定の被写体が近いか否かを判定し、前記表示部は、前記被写体が近いと判定された場合、前記被写体から離れて前記被写体を撮影することを利用者に促すメッセージを含む前記通知メッセージを表示してもよい。
　これにより、画像処理装置は、埋め込み情報を埋め込むための領域が画像に存在しない場合、被写体から離れて被写体を撮影することを利用者に促すことができる。
　また、本発明の一態様に係る撮像装置は、前記画像処理装置を備え、前記画像取得部は、被写体を撮影することにより、前記画像を取得する。
　これにより、撮像装置は、撮影で得られた画像に埋め込まれる埋め込み情報の領域を適切に決定することができる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　図４は、本実施の形態に係る画像処理装置の構成、および、画像処理装置の各構成要素への入力情報を示す。図４の通り、本実施の形態に係る画像処理装置１００は、撮像部１、被写体位置検出部２、埋め込み情報取得部３、デプス情報取得部４、埋め込み領域探索部５、デプス情報設定部６、および、埋め込み部７を有する。
　ここで、上記のように、３Ｄ画像を生成する方法として、２種類の方法がある。１つは、ステレオカメラから得られる左右２枚の画像の視差を利用して、３Ｄ画像を生成する方法である。もう１つは、画素毎にカメラから被写体までの距離を計測し、その距離に基づいて３Ｄ画像を生成する方法である。つまり、カメラから被写体までの距離に対応するデプス情報と、平面画像とを組み合わせることで、３Ｄ画像が生成される。
　ステレオカメラが用いられる場合、ステレオカメラで被写体を撮影することにより得られる左右２枚の画像に対して、埋め込み情報が埋め込まれる。具体的には、埋め込み領域が決定され、左の画像の埋め込み領域と右の画像の埋め込み領域との違いに応じて埋め込み情報が変形され、変形された埋め込み情報が左右２枚の画像に埋め込まれる。
　特に、本実施の形態は、カメラから被写体までの距離に対応するデプス情報と、平面画像とを組み合わせて、３Ｄ画像を生成する方法に適用される。ただし、本実施の形態は、ステレオカメラを用いる方法に適用されてもよい。以下、各構成要素を説明する。
　撮像部１は、光線を集めるレンズが組み込まれたレンズユニットと、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子とで構成される。撮像部１は、被写体を撮像して画像を出力する。
　被写体位置検出部２は、撮像前（記録前）または撮像後（記録後）の画像、あるいは、その両方の画像を用いて、画像内の主要な被写体の位置（領域）である被写体位置（被写体領域）を検出する。ここで、主要な被写体は、埋め込み情報を被せない方がよい対象物であり、例えば、人物の顔である。また、主要な被写体は、人物以外でもよく、動物でもよいし、構造物などでもよい。本実施の形態において、被写体位置検出部２は、人物の顔（顔領域）を主要な被写体として検出する。
　顔領域を検出する方法は、限定されない。一般的な方法が顔領域の検出に用いられてもよい。また、画像内に複数の人物が存在する場合、被写体位置検出部２は、複数の顔領域を検出する。画像内に人物が存在しない場合、被写体位置検出部２は、顔領域が検出不能であると判定する。そして、被写体位置検出部２は、検出結果を埋め込み領域探索部５へ出力する。
　埋め込み情報取得部３は、撮像部１で得られた画像に埋め込まれる埋め込み情報を取得する。埋め込み情報には、テキスト、装飾部品、または、撮像部１で得られた画像とは異なる画像などを含んでもよい。
　埋め込み情報取得部３は、撮影の直後、または、撮影で得られた画像の編集時に、画像処理装置１００に付属のマイク（図示せず）を介して、音声認識処理を行うことにより、埋め込み情報を取得してもよい。また、埋め込み情報取得部３は、ユーザの入力を受け付ける入力装置（図示せず）を介して、埋め込み情報を取得してもよい。また、埋め込み情報取得部３は、予め用意された複数のテンプレートから、埋め込み情報をユーザに選択させてもよい。
　なお、埋め込み情報取得部３が埋め込み情報を取得する方法は、上記の方法に限られず、どのような方法でもよい。
　デプス情報取得部４は、撮像前または撮像後の画像、あるいは、その両方の画像に対応するデプス情報を取得し、デプス情報を埋め込み領域探索部５へ出力する。デプス情報は、画像内の各画素の奥行き値（デプス値）を含む。
　デプス情報を取得する方法には、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）でデプス情報を取得する方法、あるいは、ＤＦＦ（Ｄｅｐｔｈ　Ｆｒｏｍ　Ｆｏｃｕｓ）およびＤＦＤ（Ｄｅｐｔｈ　Ｆｒｏｍ　Ｄｅｆｏｃｕｓ）のように複数の画像を用いてデプス情報を取得する方法がある。デプス情報は、いずれの方法で取得されてもよい。
　また、取得されたデプス情報がデプスマップとして表される場合、デプスマップのサイズは、撮影画像のサイズと同じである方がよいが、撮影画像のサイズよりも小さくてもよい。つまり、デプスマップの解像度が、撮影画像の解像度よりも低くてもよい。また、デプスマップにおいて奥行きの度合いの階調数（図２のハッチングの濃さの階調数）は、距離の分解能の観点から８～１６程度である方がよいが、それ以下でもよい。本実施の形態では、奥行きの度合いの階調数は２５６であり、デプス値は、０～２５５で表される。
　埋め込み領域探索部５は、埋め込み情報を埋め込むための埋め込み領域を探索する。以下に、図５Ａ、図６Ａ、図７Ａおよび図８Ａのデプスマップが得られた場合の埋め込み領域の探索方法の例を示す。しかし、埋め込み領域の探索方法は、以下の探索方法に限られず、他の探索方法が用いられてもよい。
　埋め込み領域探索部５は、被写体位置検出部２から得られる被写体位置情報と、デプス情報取得部４から得られるデプス情報とを用いて、埋め込み領域を探索する。埋め込み領域の探索において、埋め込み領域探索部５は、まず、被写体位置情報から被写体位置を取得し、デプス情報から被写体位置のデプス値を取得する。
　図５Ｂは、被写体位置（被写体領域）のデプス範囲を示す。図５Ｂに示されたデプス範囲Ａは、被写体位置検出部２で被写体位置として検出された位置（すなわち、本実施の形態では、顔の位置）におけるデプス値の範囲を示す。埋め込み領域探索部５は、デプス情報を用いて、被写体位置のデプス値がデプス範囲Ａであることを特定する。そして、埋め込み領域探索部５は、被写体位置のデプス値よりも奥側のデプス範囲Ｂのデプス値を有する複数の画素で構成される探索領域から埋め込み領域を探索する（図５Ｃ）。
　埋め込み情報自体のデプス値は、主要な被写体のデプス値と同程度である方がよい。そして、埋め込み領域の周辺のデプス値は、埋め込み情報のデプス値よりも奥側を示している方がよい。したがって、被写体位置のデプス値よりも奥側のデプス範囲Ｂに対応する探索領域から埋め込み領域を探索する。
　ここで、被写体位置検出部２は、人の顔を検出しているので、人の体は検出されない。しかし、顔のデプス値と体のデプス値とは、同程度である。したがって、埋め込み領域探索部５は、顔のデプス値と同程度のデプス値を有する領域を除外することで、体の領域も埋め込み領域から排除することができる。すなわち、デプス値を用いることで、より適切な埋め込み領域の設定が可能である。
　また、図５Ｂでは、被写体領域のデプス値を含むデプス範囲Ａと、探索領域のデプス値を含むデプス範囲Ｂとの間に、わずかな区間が存在する。この区間の幅が大きければ大きいほど、埋め込み情報のデプス値と埋め込み情報の周辺のデプス値との間に大きな差が設定される。そして、差が大きいほど、埋め込み情報が飛び出して見える。この区間の幅は埋め込み情報の目立ちやすさを決めるパラメータであり、任意に設定可能である。
　埋め込み領域探索部５は、図５Ｃのように設定された探索領域内で、適切な画素数を有する領域を埋め込み領域として設定する。埋め込み領域は、図５Ｄのように矩形でもよいし、矩形でなくてもよい。また、埋め込み領域探索部５は、埋め込み領域の重心と、被写体位置検出部２で検出された複数の被写体位置の重心とが所定の範囲に含まれるように、埋め込み領域を探索してもよい。また、埋め込み領域は、埋め込み情報が画像に占めるサイズを有する矩形領域でもよいし、円形の形状でもよいし、埋め込み情報に含まれる形状を示すマスクでもよい。
　また、埋め込み領域探索部５は、デプス範囲Ｂのうち、デプス値が一定のデプス範囲内に収まっている領域、または、出現頻度が最も高いデプス値を含むデプス範囲内に収まっている領域等を埋め込み領域として選択してもよい。これは、画像に主要な被写体（人物の顔）以外の他の被写体（壁または物）が存在する場合、埋め込み情報は、他の被写体に被らない方が見やすい場合があるためである。以下、図６Ａ～図６Ｃを用いて詳しく説明する。
　図６Ａは、人物と人物以外の物（この例では机）が入り込んでいる画像のデプスマップを示す。図６Ｂは、デプス値を横軸として用い、画素数を縦軸として用いて、図６Ａのデプスマップに含まれるデプス値のヒストグラムを示す。
　図６Ａのように、人物以外の物が入り込んでいる場合、埋め込み領域探索部５は、図６Ｂのヒストグラムに示されるデプス範囲Ａ（被写体領域）よりも奥側のデプス範囲Ｂの領域を第１探索領域として設定する。次に、埋め込み領域探索部５は、デプス範囲Ｂのうち、画素数がピーク（極大値）であるデプス値を含むデプス範囲Ｄの領域を第２探索領域として設定する。
　この例のように、被写体領域よりも奥側の領域である第１探索領域（デプス範囲Ｂ）内に複数の物体がある場合、埋め込み領域探索部５は、第２探索領域（デプス範囲Ｄ）で埋め込み領域を探索した方がよい。
　最も奥側のピークを示すデプス値を含むデプス範囲Ｄに対応する第２探索領域は、背景の領域と推定される。したがって、埋め込み領域探索部５は、第２探索領域の中から埋め込み領域を設定することにより、背景の領域の中から埋め込み領域を設定することができる。
　図６Ｃは、第２探索領域から探索された埋め込み領域を示す。すなわち、図６Ｃでは、机の領域が埋め込み領域から排除される。よって、埋め込み領域探索部５は、画像においてデプス値の変化が平坦である領域を埋め込み領域として適切に設定できる。
　また、図７Ａのデプスマップに対応する画像が撮像部１で得られた場合、複数の人物が画像に存在するため、埋め込み領域の探索領域が狭い（図７Ｂ）。このような場合、適切な大きさの埋め込み領域を設定できない可能性がある。そのため、埋め込み領域探索部５は、被写体位置検出部２で得られた特に重要な被写体位置である顔位置を除いて、顔位置以外の探索領域（図７Ｃ）から埋め込み領域（図７Ｄ）を設定してもよい。
　また、事前に特定の領域が画像処理装置１００の表示部（図示せず）に表示されてもよい。そして、画像処理装置１００は、特定の領域に人物が写らないようにユーザに注意を促しながら、撮像部１で撮像を行い、この事前に決められた特定の領域を埋め込み領域として設定してもよい。
　また、図８Ａのように、画像の大部分を人物の顔が占める場合、適切な埋め込み領域を設定することが難しい。この場合、図８Ｂのように、画像処理装置１００は、埋め込み領域を設定できないことを表示部にＯＳＤ（Ｏｎ　Ｓｃｒｅｅｎ　Ｄｉｓｐｌａｙ）として表示してユーザに伝え、再度撮影を促してもよい。
　その際、画像処理装置１００は、デプス情報を用いて、撮像部１から被写体までの距離が近いか否かを判定し、近い場合には離れて撮影し直すことを表示部にＯＳＤとして表示してもよい。また、その際、画像処理装置１００は、図８Ｃのように、画像サイズを補正することを促すようなメッセージを表示し、図８Ｄのように埋め込み領域を確保してもよい。
　デプス情報設定部６は、埋め込み情報のデプス値を設定する。図５Ｄおよび図６Ｃのように、被写体位置のデプス値よりも奥側のデプス値を有する埋め込み領域が設定された場合、デプス情報設定部６は、図５Ｂのデプス範囲Ｃに含まれるデプス値を設定し、人物の領域と同程度のデプス値を埋め込み情報に付与する。
　図７Ｄのように、人物領域と同程度のデプス値を含む埋め込み領域が設定された場合、埋め込み情報が目立たない状態に陥ることを避けるため、デプス情報設定部６は、図７Ｅのように、被写体領域のデプス範囲Ａよりも手前のデプス範囲Ｅからデプス値を決定する。そして、デプス情報設定部６は、決定されたデプス値を埋め込み情報に付与する（図７Ｆ）。
　図８Ｄのように、埋め込み領域が設定された場合、デプス情報設定部６は、埋め込み領域のデプス値を、補正された画像のデプス値と、同等もしくはそれ以下（奥側）に設定してもよい。そして、デプス情報設定部６は、埋め込み情報のデプス値を、埋め込み領域のデプス値よりも高く（手前側に）設定してもよい。
　埋め込み部７は、撮像部１で得られた画像と、埋め込み情報取得部３で得られた埋め込み情報と、デプス情報取得部４で得られたデプス情報と、埋め込み領域探索部５で得られた埋め込み領域と、デプス情報設定部６で付与されたデプス値とを用いて、埋め込み後のデプス情報と、埋め込み後の画像とを出力する。
　埋め込み後のデプス情報は、デプス情報取得部４で得られたデプス情報と、デプス情報設定部６で得られたデプス値とを合成することで生成される（図３Ｃおよび図７Ｆ等）。同様に、埋め込み後の画像も、撮像部１で得られた画像と、埋め込み情報取得部３で得られた埋め込み情報とを合成することで生成される。
　なお、図３Ａ～図８Ｄでは、埋め込み情報取得部３で得られた埋め込み情報が、テキスト情報として示されているが、埋め込み情報は、テキスト情報に限られない。例えば、図９Ａのように、画像処理装置１００は、テキスト情報に加えて、画像処理装置１００に予め設定された装飾部品またはフレームなどの埋め込み画像を埋め込み情報として撮影画像に貼り付けてもよい。この場合、画像処理装置１００は、テキスト情報と同様の基準で埋め込み画像のデプス値を設定し、撮影画像に埋め込み画像を埋め込んでもよい。
　また、図９Ｂのように、画像処理装置１００は、テキスト情報を埋め込む際、その背景として装飾フレームを配置してもよい。そして、画像処理装置１００は、装飾フレームのデプス値が人物のデプス値とテキスト情報のデプス値との間に設定されるように、装飾フレームのデプス値、および、テキスト情報のデプス値を設定してもよい。そして、画像処理装置１００は、装飾フレームおよびテキスト情報が埋め込まれた画像を生成してもよい。
　また、埋め込み情報のデプス値は、一定の値でなくてもよい。例えば、画像処理装置１００は、画像処理装置１００に予め登録された言葉がより飛び出して見えるように、デプス値を設定してもよい（図９Ｃ）。また、画像処理装置１００は、音声認識を用いて埋め込み情報を埋め込む場合、大きな声ほど埋め込み情報が飛び出して見えるように音声のパワーに応じて埋め込み情報のデプス値を設定してもよい（図９Ｄ）。
　また、上記では、静止画像への埋め込みが示されているが、同様の処理をフレーム毎に行うことで、動画への埋め込みも可能である。動画への埋め込みにおいて、埋め込み領域探索部５は、埋め込み領域の位置が複数のフレームにおいて大きく変わらないように、埋め込み領域の位置を調整してもよい。
　次に、図１０Ａおよび図１０Ｂを用いて、図４に示された画像処理装置１００の動作を説明する。図１０Ａは、全体の処理の流れを示す図であり、図１０Ｂは、埋め込み領域を探索する処理（図１０ＡのＳ１０５）の流れを示す図である。
　撮像部１は、被写体を撮影することにより画像を生成する（Ｓ１０１）。被写体位置検出部２は、撮像部１で得られた画像を用いて、被写体の位置（人物の顔の位置など）を検出する（Ｓ１０２）。埋め込み情報取得部３は、音声情報またはユーザからの入力等に基づいて、埋め込み情報を取得する（Ｓ１０３）。デプス情報取得部４は、撮像部１で得られた画像に対応するデプス情報を取得する（Ｓ１０４）。
　埋め込み領域探索部５は、デプス情報取得部４で得られたデプス情報を用いて、被写体位置検出部２で得られた被写体位置のデプス値を取得し、被写体位置のデプス値よりも奥側の領域を特定する（Ｓ２０１）。
　また、埋め込み領域探索部５は、埋め込み情報取得部３で得られた埋め込み情報に基づいて、埋め込み情報が埋め込まれる埋め込み領域の矩形サイズを設定する（Ｓ２０２）。
　例えば、埋め込み情報がテキスト情報である場合、埋め込み領域探索部５は、埋め込み情報のフォントサイズ、行数、および、配置の方向（縦または横）などの予め設定された複数の設定項目の組み合せに基づいて、矩形サイズの複数の候補を設定してもよい。また、埋め込み情報が、装飾部品または画像である場合、埋め込み領域探索部５は、予め設定された複数の拡大／縮小率に基づいて、矩形サイズの複数の候補を設定してもよい。そして、埋め込み領域探索部５は、このような複数の候補から矩形サイズを選択してもよい。
　埋め込み領域探索部５は、設定された条件を満たす埋め込み領域を探索領域から探索する（Ｓ２０３）。そして、埋め込み領域探索部５は、設定された条件を満たす埋め込み領域が見つかったか否かを判定する（Ｓ２０４）。
　ここで、埋め込み領域探索部５は、設定された条件を満たす埋め込み領域が見つかった場合、埋め込み領域が存在すると判定して、埋め込み領域の探索を終了する。設定された条件を満たす埋め込み領域が見つからなかった場合、埋め込み領域探索部５は、設定された矩形サイズの全ての候補で埋め込み領域を探索したか否かを判定する（Ｓ２０５）。埋め込み領域探索部５は、未探索の候補が残っている場合、再び未探索の候補を探索条件として設定して埋め込み領域を探索する（Ｓ２０２およびＳ２０３）。
　埋め込み領域探索部５は、矩形サイズの全ての候補で埋め込み領域が探索されている場合、デプス情報を用いずに、顔領域以外の全ての領域を探索領域（図７Ｃ参照）として探索したか否かを判定する（Ｓ２０６）。
　すなわち、初めに、埋め込み領域探索部５は、検出された顔領域とデプス情報とを用いて埋め込み領域を探索する。その際、人物の体の領域等も探索領域から排除される。そして、条件を満たす埋め込み領域が見つからない場合、埋め込み領域探索部５は、探索領域を広げる。
　埋め込み領域探索部５は、既に顔領域以外の探索領域で埋め込み領域を探索している場合、埋め込み領域が存在しないと判定し（Ｓ２０９）、埋め込み領域の探索を終了する。埋め込み領域探索部５は、まだ顔領域以外の探索領域で埋め込み領域を探索していない場合、被写体位置情報を用いて顔領域以外の全ての領域を探索領域に設定する（Ｓ２０７）。そして、埋め込み領域探索部５は、再び、矩形サイズを設定して、埋め込み領域を探索する（Ｓ２０２およびＳ２０３）。
　上記の手順で、埋め込み領域探索部５は、埋め込み領域を探索して（Ｓ１０５）、埋め込み領域が存在するか否かを判定する（Ｓ１０６）。埋め込み領域が存在しないと判定された場合、画像処理装置１００は、埋め込み領域が存在しないことをＯＳＤとして表示して、利用者に再撮影を促す（Ｓ１０７）（図８Ｂ参照）。埋め込み領域が存在すると判定された場合、デプス情報設定部６は、埋め込み情報にデプス情報を設定する（Ｓ１０８）。
　デプス情報設定部６は、埋め込み情報を埋め込む位置の周囲のデプス値を参照して、埋め込み情報のデプス値を設定してもよい。デプス情報設定部６は、周囲のデプス値が人物領域よりも奥側を示す場合、埋め込み情報のデプス値を人物領域と同程度に設定する。デプス情報設定部６は、周囲のデプス値が人物領域と同程度の奥行きを示す場合、人物領域のデプスよりも手前を示すデプス値を埋め込み情報に設定する。埋め込み部７は、埋め込み情報にデプス情報が設定された後、埋め込み情報を埋め込む（Ｓ１０９）。
　以上、本実施の形態に係る画像処理装置１００は、デプス情報を用いて、埋め込み情報が埋め込まれる位置および埋め込み情報のデプス値を設定する。そのため、ユーザに余計な操作を強いることなく、より適切な位置に埋め込み情報が表示される。
　なお、本実施の形態では、デプス情報を表すための形式に、画像として表現されるデプスマップが用いられている。しかし、デプス情報を表すための形式は、このようなデプスマップに限られない。デプス情報を表すための形式に、その他の形式が用いられてもよい。
　（実施の形態２）
　本実施の形態に係る画像処理装置は、埋め込み領域の決定に、デプス値の信頼度を用いる。
　図１１は、本実施の形態に係る画像処理装置の構成図である。以下、図４に示された構成要素と同様の構成要素に同じ符号を用いて説明を省略し、図４に示された構成要素とは異なる構成要素を主に説明する。図１１の通り、本実施の形態に係る画像処理装置２００は、実施の形態１に係る画像処理装置１００と比較して、デプス信頼度取得部８を追加の構成要素として備える。
　デプス信頼度取得部８は、デプス情報取得部４で得られたデプスマップの信頼度であるデプスマップ信頼度を取得する。デプス情報取得部４で得られたデプスマップは、通常、誤差を含む。デプスマップの精度に関する信頼性は、デプスマップを取得する方法によって変動する。デプス情報取得部４が、全ての画素のうちのいくつかについて、正しい距離情報を取得できない場合もある。そのため、デプス信頼度取得部８は、デプスマップの誤差を推定するため、デプスマップの信頼度を画素毎に算出する。
　例えば、デプス情報取得部４は、ステレオカメラの左右の画像からデプスマップを生成する際、左の画像と右の画像との対応関係を、画素単位またはブロック単位での画素値の差分を用いて、求める。差分が小さい場合、左右の２つの画像の間において、画素またはブロックの一致度は高い。この場合、デプス信頼度取得部８は、その画素またはブロックのデプス値の信頼度が高いと判定する。一方、差分が大きい場合、デプス信頼度取得部８は、その画素またはブロックのデプス値の信頼度が低いと判定する。
　すなわち、デプス信頼度取得部８は、左の画像の画素値と、右の画像の画素値との差分に基づいて、差分が小さいほど高い信頼度を算出する。
　また、例えば、デプス信頼度取得部８は、デプス値が所定の範囲内でない場合、信頼度が低いと判定してもよい。この場合、デプス信頼度取得部８は、画像の各画素のデプス値に基づいて、所定の範囲からの乖離が大きいほど低い信頼度を算出する。また、デプス信頼度取得部８は、隣接画素間において、デプス値の差が大きい場合、信頼度が低いと判定してもよい。この場合、デプス信頼度取得部８は、差の大きさに基づいて、差が大きいほど低い信頼度を算出する。
　図１２Ａは、デプス情報取得部４で得られたデプスマップを示す。図１２Ａに示されたデプスマップは、人物の付近にいくつかのデプス値の誤りを含む。図１２Ｂは、図１２Ａに示されたデプスマップに対応するデプスマップ信頼度を示す。
　図１２Ｂのデプスマップ信頼度は、白ければ白いほど（ハッチングが薄いほど）その画素位置のデプス値の信頼度が高く、黒ければ黒いほど（ハッチングが濃いほど）その画素位置のデプス値の信頼度が低いことを示す。デプス値の信頼度が低い場合、デプス値が誤りである可能性が高い。デプス信頼度取得部８は、図１２Ｂのようなデプスマップ信頼度を取得し、埋め込み領域探索部５へ出力する。
　埋め込み領域探索部５は、デプスマップ信頼度を用いて、デプス値の信頼度の低い領域を優先的に埋め込み領域として決定する。ただし、被写体位置検出部２で得られた被写体位置（人物の顔の位置など）のデプス値の信頼度が低い場合でも、埋め込み領域探索部５は、被写体位置を避けて埋め込み領域を決定してもよい。また、埋め込み領域探索部５は、デプス値の信頼度が低い領域の重心位置を検出し、その重心位置が埋め込み領域の中心に一致するように、埋め込み領域の位置、サイズおよび形状を決定してもよい。
　図１２Ｃおよび図１２Ｄは、図１２Ｂに示されたデプスマップ信頼度を用いて決定された埋め込み領域に埋め込み情報が埋め込まれた状態を示す。このように、デプス値の信頼度の低い領域に優先的に埋め込み情報が埋め込まれる。したがって、デプス値にエラーがある可能性の高い領域が隠される。すなわち、画像処理装置２００は、３Ｄ画像として不適切な領域を隠すことにより、適切な３Ｄ画像を生成することができる。
　以上、本実施の形態に係る画像処理装置２００は、埋め込み情報の埋め込み位置をデプス値の信頼度が低い領域に設定することで、適切な３Ｄ画像を生成することができる。
　なお、本実施の形態では、デプス値の信頼度を表すための形式に、画像として表現されるデプスマップ信頼度が用いられている。しかし、デプス値の信頼度を表すための形式は、このような形式に限られない。デプス値の信頼度を表すための形式に、その他の形式が用いられてもよい。
　また、実施の形態１と実施の形態２とが組み合わされてもよい。例えば、奥側の領域のうち、信頼度が低い領域が、埋め込み領域として設定されてもよい。また、信頼度が低い領域が存在しない場合に、奥側の領域が埋め込み領域として設定されてもよい。実施の形態１および実施の形態２で示された埋め込み領域に関する様々な条件を組み合わせることが可能である。
　（実施の形態３）
　本実施の形態は、実施の形態１および実施の形態２で示された特徴的な構成および手順を確認的に示す。
　図１３は、本実施の形態に係る画像処理装置の構成図である。図１３の通り、本実施の形態に係る画像処理装置１１０は、画像取得部１１、埋め込み情報取得部１３、デプス情報取得部１４、および、埋め込み領域決定部１５を備える。
　画像取得部１１は、画像を取得する。例えば、画像取得部１１は、実施の形態１および実施の形態２に係る撮像部１に対応する。
　埋め込み情報取得部１３は、埋め込み情報を取得する。埋め込み情報は、画像内の領域に埋め込まれる情報である。例えば、埋め込み情報取得部１３は、実施の形態１および実施の形態２に係る埋め込み情報取得部３に対応する。
　デプス情報取得部１４は、デプス情報を取得する。デプス情報は、画像の各画素の奥行き値を示す。例えば、デプス情報取得部１４は、実施の形態１および実施の形態２に係るデプス情報取得部４に対応する。
　埋め込み領域決定部１５は、デプス情報を用いて、埋め込み領域を決定する。埋め込み領域は、埋め込み情報が埋め込まれる領域である。例えば、埋め込み領域決定部１５は、実施の形態１および実施の形態２に係る埋め込み領域探索部５に対応する。
　図１４は、図１３に示された画像処理装置１１０の動作を示すフローチャートである。まず、画像取得部１１は、画像を取得する（Ｓ３０１）。次に、埋め込み情報取得部１３は、埋め込み情報を取得する（Ｓ３０２）。次に、デプス情報取得部１４は、デプス情報を取得する（Ｓ３０３）。最後に、埋め込み領域決定部１５は、デプス情報を用いて、埋め込み領域を決定する（Ｓ３０４）。
　上記の構成および手順により、画像処理装置１１０は、情報を埋め込むための領域を適切に決定することができる。
　（実施の形態４）
　本実施の形態は、実施の形態３と同様に、実施の形態１および実施の形態２で示された特徴的な構成および手順を確認的に示す。実施の形態３と比較して、本実施の形態には、任意に追加される構成および手順が含まれる。
　図１５は、本実施の形態に係る画像処理装置の構成図である。図１５の通り、本実施の形態に係る画像処理装置１２０は、画像取得部２１、被写体位置検出部２２、埋め込み情報取得部２３、デプス情報取得部２４、埋め込み領域決定部２５、奥行き値決定部２６、埋め込み部２７、および、表示部２８を備える。
　画像取得部２１は、画像を取得する。例えば、画像取得部２１は、実施の形態１に係る撮像部１、実施の形態２に係る撮像部１、および、実施の形態３に係る画像取得部２１に対応する。
　被写体位置検出部２２は、被写体位置を検出することにより、被写体位置を示す被写体位置情報を取得する。被写体位置は、画像に含まれる所定の被写体の、画像における位置である。例えば、被写体位置検出部２２は、実施の形態１に係る被写体位置検出部２、および、実施の形態２に係る被写体位置検出部２に対応する。
　埋め込み情報取得部２３は、埋め込み情報を取得する。埋め込み情報は、画像内の領域に埋め込まれる情報である。例えば、埋め込み情報取得部２３は、実施の形態１に係る埋め込み情報取得部３、実施の形態２に係る埋め込み情報取得部３、および、実施の形態３に係る埋め込み情報取得部１３に対応する。
　デプス情報取得部２４は、デプス情報を取得する。デプス情報は、画像の各画素の奥行き値を示す。例えば、デプス情報取得部２４は、実施の形態１に係るデプス情報取得部４、実施の形態２に係るデプス情報取得部４、および、実施の形態３に係るデプス情報取得部１４に対応する。
　埋め込み領域決定部２５は、デプス情報を用いて、埋め込み領域を決定する。埋め込み領域は、埋め込み情報が埋め込まれる領域である。例えば、埋め込み領域決定部２５は、実施の形態１に係る埋め込み領域探索部５、実施の形態２に係る埋め込み領域探索部５、および、実施の形態３に係る埋め込み領域決定部１５に対応する。
　奥行き値決定部２６は、埋め込み情報の奥行き値を決定する。奥行き値決定部２６は、実施の形態１に係るデプス情報設定部６、および、実施の形態２に係るデプス情報設定部６に対応する。
　埋め込み部２７は、奥行き値決定部２６で決定された奥行き値を用いて埋め込み領域に埋め込み情報を埋め込む。埋め込み部２７は、実施の形態１に係る埋め込み部７、および、実施の形態２に係る埋め込み部７に対応する。
　表示部２８は、画像を表示する。表示部２８は、画像取得部２１で取得された画像を表示してもよいし、埋め込み部２７によって埋め込み情報が埋め込まれた画像を表示してもよい。表示部２８は、実施の形態１に係るＯＳＤを表示してもよい。
　図１６は、図１５に示された画像処理装置１２０の動作を示すフローチャートである。まず、画像取得部２１は、画像を取得する（Ｓ４０１）。次に、埋め込み情報取得部２３は、埋め込み情報を取得する（Ｓ４０２）。次に、デプス情報取得部２４は、デプス情報を取得する（Ｓ４０３）。次に、被写体位置検出部２２は、被写体位置を検出することにより、被写体位置を示す被写体位置情報を取得する（Ｓ４０４）。
　次に、埋め込み領域決定部２５は、デプス情報を用いて、埋め込み領域を決定する（Ｓ４０５）。次に、奥行き値決定部２６は、埋め込み情報の奥行き値を決定する（Ｓ４０６）。次に、埋め込み部２７は、奥行き値決定部２６で決定された奥行き値を用いて埋め込み領域に埋め込み情報を埋め込む（Ｓ４０７）。最後に、表示部２８は、埋め込み部２７によって埋め込み情報が埋め込まれた画像を表示する（Ｓ４０８）。
　上記の構成および手順により、画像処理装置１２０は、情報を埋め込むための領域を適切に決定することができる。
　なお、埋め込み領域決定部２５は、デプス情報および被写体位置情報を用いて、埋め込み領域を決定してもよい。また、埋め込み領域決定部２５は、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される領域を埋め込み領域として決定してもよい。所定の奥行き値は、被写体位置の画素の奥行き値でもよい。
　埋め込み領域決定部２５は、所定の奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される領域を埋め込み領域として決定してもよい。所定の奥行き値は、出現頻度がピークである奥行き値でもよいし、出現頻度が最も奥側のピークである奥行き値でもよい。埋め込み領域決定部２５は、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素のうち、出現頻度がピークである奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される領域を埋め込み領域として決定してもよい。
　デプス情報取得部２４は、画像の各画素の奥行き値の信頼度を示す情報を含むデプス情報を取得してもよい。また、埋め込み領域決定部２５は、奥行き値の信頼度が所定の信頼度よりも低い画素を含む領域を埋め込み領域として決定してもよい。
　埋め込み領域決定部２５は、埋め込み情報取得部２３で取得された埋め込み情報の情報量を用いて埋め込み領域のサイズを設定してもよい。そして、埋め込み領域決定部２５は、設定されたサイズを有する埋め込み領域を決定してもよい。
　埋め込み領域決定部２５は、被写体位置を除く領域の中から、デプス情報を用いて埋め込み領域を決定してもよい。埋め込み領域決定部２５は、デプス情報を用いて埋め込み領域を決定するために用いられる条件を満たす埋め込み領域が存在しない場合、被写体位置を除く領域の中から埋め込み領域をデプス情報によらずに決定してもよい。この場合、奥行き値決定部２６は、埋め込み情報の奥行き値を被写体位置における奥行き値よりも手前側を示す奥行き値に決定してもよい。
　奥行き値決定部２６は、埋め込み情報の奥行き値を被写体位置の奥行き値と同じ度合いの奥行き値に決定してもよい。奥行き値決定部２６は、埋め込み情報の奥行き値を被写体位置の奥行き値から所定の範囲内の奥行き値に決定してもよい。
　被写体は、人物の顔でもよい。埋め込み情報は、テキスト、装飾部品、フレーム、および、画像のうち少なくとも１つを含んでもよい。
　表示部２８は、埋め込み領域を決定するために用いられる条件を満たす埋め込み領域が存在しない場合、利用者に埋め込み領域が存在しないことを示す通知メッセージを表示してもよい。
　表示部２８は、被写体から離れて被写体を撮影することを利用者に促すメッセージを含む通知メッセージを表示してもよい。表示部２８は、埋め込み領域を決定するために用いられる条件を満たす埋め込み領域が存在しない場合、かつ、被写体位置の画素の奥行き値が所定の奥行き値よりも手前側を示す場合、このような通知メッセージを表示してもよい。
　埋め込み領域決定部２５は、埋め込み領域を決定するために用いられる条件を満たす埋め込み領域が存在しない場合、デプス情報を用いて、画像に含まれる所定の被写体が近いか否かを判定してもよい。例えば、埋め込み領域決定部２５は、被写体位置の画素の奥行き値が所定の奥行き値よりも手前を示す場合、被写体が近いと判定する。表示部２８は、被写体が近いと判定された場合、被写体から離れて被写体を撮影することを利用者に促すメッセージを含む通知メッセージを表示してもよい。
　画像処理装置１２０は、カメラ等の撮像装置でもよいし、撮像装置の一部でもよい。画像取得部２１は、被写体を撮影することにより、画像を取得してもよい。
　なお、本発明に係る態様は、装置として実現されてもよいし、その装置を構成する処理部をステップとして含む方法として実現されてもよい。また、本発明に係る態様は、それらのステップをコンピュータに実行させるためのプログラムとして実現されてもよいし、そのプログラムを記録したコンピュータ読み取り可能なＣＤ－ＲＯＭなどの非一時的な記録媒体として実現されてもよい。
　また、本発明に係る態様は、そのプログラムを示す情報、データまたは信号として実現されてもよい。そして、それらプログラム、情報、データおよび信号は、インターネット等の通信ネットワークを介して配信されてもよい。
　（その他の変形例）
　本発明に係る態様は、上記の複数の実施の形態に限定されない。本発明に係る態様は、以下の態様でもよい。
　（１）上記の画像処理装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。
　ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、画像処理装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードを複数個組み合わせて構成される。
　（２）上記の画像処理装置を構成する複数の構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）で構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭおよびＲＡＭなどを含めて構成されるコンピュータシステムである。
　ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　（３）上記の画像処理装置を構成する構成要素の一部または全部は、画像処理装置に脱着可能なＩＣカードまたは単体のモジュールで構成されてもよい。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭおよびＲＡＭなどで構成されるコンピュータシステムである。
　ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含んでもよい。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。ＩＣカードまたはモジュールは、耐タンパ性を有してもよい。
　（４）本発明に係る態様は、上記に示す方法でもよい。また、本発明に係る態様は、この方法をコンピュータにより実現するコンピュータプログラムでもよいし、コンピュータプログラムを構成するデジタル信号でもよい。
　また、本発明に係る態様は、コンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、または、半導体メモリなどに記録されてもよい。また、本発明に係る態様は、これらの記録媒体に記録されているデジタル信号でもよい。
　また、本発明に係る態様は、コンピュータプログラムまたはデジタル信号を、電気通信回線、無線通信回線、有線通信回線、インターネットに代表されるネットワーク、または、データ放送等を経由して伝送する構成でもよい。
　また、本発明に係る態様は、マイクロプロセッサとメモリを備えるコンピュータシステムでもよい。そして、メモリは、上記のコンピュータプログラムを記憶していてもよいし、マイクロプロセッサは、コンピュータプログラムに従って動作してもよい。
　また、プログラムまたはデジタル信号は、記録媒体に記録されて移送されてもよいし、ネットワーク等を経由して移送されてもよい。そして、本発明に係る態様は、独立した他のコンピュータシステムにより実施されてもよい。
　（５）上記の実施の形態および上記の変形例を組み合わせてもよい。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、コンピュータに、画像を取得し、前記画像内の領域に埋め込まれる埋め込み情報を取得し、前記画像の各画素の奥行き値を示すデプス情報を取得し、前記デプス情報を用いて、前記埋め込み情報が埋め込まれる前記領域である埋め込み領域を決定する画像処理方法を実行させる。
　また、各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　以上、本発明の一つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
　例えば、上記の各実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　本発明は、画像への情報の埋め込みに有用であり、例えば、デジタルスチルカメラ、デジタルビデオカメラ、民生用または業務用の撮像装置、デジタルフォトフレーム、テレビジョン受像機、携帯端末または携帯電話等に利用可能である。
　　１　撮像部
　　２、２２　被写体位置検出部
　　３、１３、２３　埋め込み情報取得部
　　４、１４、２４　デプス情報取得部
　　５　埋め込み領域探索部
　　６　デプス情報設定部
　　７、２７　埋め込み部
　　８　デプス信頼度取得部
　　１１、２１　画像取得部
　　１５、２５　埋め込み領域決定部
　　２６　奥行き値決定部
　　２８　表示部
　　１００、１１０、１２０、２００　画像処理装置

Claims (20)

  1. 　画像を取得する画像取得部と、
    　前記画像内の領域に埋め込まれる埋め込み情報を取得する埋め込み情報取得部と、
    　前記画像の各画素の奥行き値を示すデプス情報を取得するデプス情報取得部と、
    　前記デプス情報を用いて、前記埋め込み情報が埋め込まれる前記領域である埋め込み領域を決定する埋め込み領域決定部とを備える
    　画像処理装置。
  2. 　前記埋め込み領域決定部は、前記デプス情報を用いて、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される前記埋め込み領域を決定する
    　請求項１に記載の画像処理装置。
  3. 　前記画像処理装置は、さらに、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を検出することにより、前記被写体位置を示す被写体位置情報を取得する被写体位置検出部を備え、
    　前記埋め込み領域決定部は、前記デプス情報および前記被写体位置情報を用いて、前記被写体位置の画素の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される前記埋め込み領域を決定する
    　請求項１または２に記載の画像処理装置。
  4. 　前記埋め込み領域決定部は、前記デプス情報を用いて、所定の奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される前記埋め込み領域を決定する
    　請求項１～３のいずれか１項に記載の画像処理装置。
  5. 　前記埋め込み領域決定部は、前記デプス情報を用いて、出現頻度がピークである奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される前記埋め込み領域を決定する
    　請求項１～４のいずれか１項に記載の画像処理装置。
  6. 　前記埋め込み領域決定部は、前記デプス情報を用いて、所定の奥行き値よりも奥側を示す奥行き値を有する複数の画素で構成される領域であり、出現頻度がピークである奥行き値から所定の範囲内の奥行き値を有する複数の画素で構成される領域である前記埋め込み領域を決定する
    　請求項１～５のいずれか１項に記載の画像処理装置。
  7. 　前記デプス情報取得部は、前記画像の各画素の奥行き値の信頼度を示す情報を含む前記デプス情報を取得する
    　請求項１～６のいずれか１項に記載の画像処理装置。
  8. 　前記埋め込み領域決定部は、前記デプス情報を用いて、奥行き値の信頼度が所定の信頼度よりも低い画素を含む前記埋め込み領域を決定する
    　請求項７に記載の画像処理装置。
  9. 　前記埋め込み領域決定部は、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を除く領域の中から、前記デプス情報を用いて前記埋め込み領域を決定する
    　請求項１～８のいずれか１項に記載の画像処理装置。
  10. 　前記埋め込み領域決定部は、前記埋め込み情報取得部で取得された前記埋め込み情報の情報量を用いて前記埋め込み領域のサイズを設定し、設定された前記サイズを有する前記埋め込み領域を決定する
    　請求項１～９のいずれか１項に記載の画像処理装置。
  11. 　前記埋め込み領域決定部は、前記デプス情報を用いて前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を除く領域の中から前記埋め込み領域を決定する
    　請求項１～１０のいずれか１項に記載の画像処理装置。
  12. 　前記画像処理装置は、さらに、
    　前記埋め込み情報の奥行き値を決定する奥行き値決定部と、
    　前記奥行き値決定部で決定された前記奥行き値を用いて前記画像内の前記埋め込み領域に前記埋め込み情報を埋め込む埋め込み部とを備える
    　請求項１～１１のいずれか１項に記載の画像処理装置。
  13. 　前記奥行き値決定部は、前記埋め込み情報の奥行き値を、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置の奥行き値と同じ度合いの奥行き値に決定する
    　請求項１２に記載の画像処理装置。
  14. 　前記奥行き値決定部は、前記デプス情報を用いて前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、前記画像に含まれる所定の被写体の、前記画像における位置である被写体位置を除く領域の中から決定される前記埋め込み領域に埋め込まれる前記埋め込み情報の奥行き値を前記被写体位置における奥行き値よりも手前側を示す奥行き値に決定する
    　請求項１２または１３に記載の画像処理装置。
  15. 　前記被写体位置検出部は、前記画像に含まれる人物の顔の、前記画像における位置を前記被写体位置として検出することにより、前記人物の顔の位置を前記被写体位置として示す前記被写体位置情報を取得する
    　請求項３に記載の画像処理装置。
  16. 　前記埋め込み情報取得部は、テキスト、装飾部品、フレーム、および、画像のうち少なくとも１つを含む前記埋め込み情報を取得する
    　請求項１～１５のいずれか１項に記載の画像処理装置。
  17. 　前記画像処理装置は、さらに、前記画像を表示する表示部を備え、
    　前記表示部は、前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、利用者に前記埋め込み領域が存在しないことを示す通知メッセージを表示する
    　請求項１～１６のいずれか１項に記載の画像処理装置。
  18. 　前記埋め込み領域決定部は、前記埋め込み領域を決定するために用いられる条件を満たす前記埋め込み領域が存在しない場合、前記デプス情報を用いて、前記画像に含まれる所定の被写体が近いか否かを判定し、
    　前記表示部は、前記被写体が近いと判定された場合、前記被写体から離れて前記被写体を撮影することを利用者に促すメッセージを含む前記通知メッセージを表示する
    　請求項１７に記載の画像処理装置。
  19. 　請求項１～１８のいずれか１項に記載の画像処理装置を備え、
    　前記画像取得部は、被写体を撮影することにより、前記画像を取得する
    　撮像装置。
  20. 　画像を取得し、
    　前記画像内の領域に埋め込まれる埋め込み情報を取得し、
    　前記画像の各画素の奥行き値を示すデプス情報を取得し、
    　前記デプス情報を用いて、前記埋め込み情報が埋め込まれる前記領域である埋め込み領域を決定する
    　画像処理方法。
PCT/JP2013/000248 2012-01-27 2013-01-21 画像処理装置、撮像装置および画像処理方法 WO2013111552A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013535164A JP6029021B2 (ja) 2012-01-27 2013-01-21 画像処理装置、撮像装置および画像処理方法
US14/110,210 US9418436B2 (en) 2012-01-27 2013-01-21 Image processing apparatus, imaging apparatus, and image processing method
CN201380000983.2A CN103460706B (zh) 2012-01-27 2013-01-21 图像处理装置、摄像装置以及图像处理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012015174 2012-01-27
JP2012-015174 2012-01-27

Publications (1)

Publication Number Publication Date
WO2013111552A1 true WO2013111552A1 (ja) 2013-08-01

Family

ID=48873284

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/000248 WO2013111552A1 (ja) 2012-01-27 2013-01-21 画像処理装置、撮像装置および画像処理方法

Country Status (3)

Country Link
US (1) US9418436B2 (ja)
JP (1) JP6029021B2 (ja)
WO (1) WO2013111552A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150037203A (ko) * 2013-09-30 2015-04-08 엘지디스플레이 주식회사 3차원 입체 영상용 깊이지도 보정장치 및 보정방법
JP2015215252A (ja) * 2014-05-12 2015-12-03 株式会社日立ソリューションズ 衛星画像データ処理装置、衛星画像データ処理システム、衛星画像データ処理方法及びプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150037366A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
US20190087926A1 (en) * 2014-02-15 2019-03-21 Pixmarx The Spot, LLC Embedding digital content within a digital photograph during capture of the digital photograph
US9477689B2 (en) * 2014-02-15 2016-10-25 Barry Crutchfield Embedding digital content within a digital photograph during capture of the digital photograph
US10004403B2 (en) * 2014-08-28 2018-06-26 Mela Sciences, Inc. Three dimensional tissue imaging system and method
US9906772B2 (en) * 2014-11-24 2018-02-27 Mediatek Inc. Method for performing multi-camera capturing control of an electronic device, and associated apparatus
US9396400B1 (en) * 2015-07-30 2016-07-19 Snitch, Inc. Computer-vision based security system using a depth camera
KR102423175B1 (ko) * 2017-08-18 2022-07-21 삼성전자주식회사 심도 맵을 이용하여 이미지를 편집하기 위한 장치 및 그에 관한 방법
CN109584150B (zh) * 2018-11-28 2023-03-14 维沃移动通信（杭州）有限公司 一种图像处理方法及终端设备
US20240020787A1 (en) * 2020-11-12 2024-01-18 Sony Semiconductor Solutions Corporation Imaging element, imaging method, imaging device, and image processing system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10228547A (ja) * 1997-02-14 1998-08-25 Canon Inc 画像編集方法及び装置並びに記憶媒体
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
JP2011029849A (ja) * 2009-07-23 2011-02-10 Sony Corp 受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造
JP2012015771A (ja) * 2010-06-30 2012-01-19 Toshiba Corp 画像処理装置、画像処理プログラム、及び画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473516B1 (en) * 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP4129786B2 (ja) 2002-09-06 2008-08-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4875162B2 (ja) 2006-10-04 2012-02-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像強調
ATE472230T1 (de) * 2007-03-16 2010-07-15 Thomson Licensing System und verfahren zum kombinieren von text mit dreidimensionalem inhalt
JP2009200784A (ja) 2008-02-21 2009-09-03 Nikon Corp 画像処理装置およびプログラム
US8599242B2 (en) * 2008-12-02 2013-12-03 Lg Electronics Inc. Method for displaying 3D caption and 3D display apparatus for implementing the same
JP5274359B2 (ja) * 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
US8830227B2 (en) * 2009-12-06 2014-09-09 Primesense Ltd. Depth-based gain control
CA2799704C (en) * 2010-05-30 2016-12-06 Jongyeul Suh Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
CN101902582B (zh) 2010-07-09 2012-12-19 清华大学 一种立体视频字幕添加方法及装置
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10228547A (ja) * 1997-02-14 1998-08-25 Canon Inc 画像編集方法及び装置並びに記憶媒体
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
JP2011029849A (ja) * 2009-07-23 2011-02-10 Sony Corp 受信装置、通信システム、立体画像への字幕合成方法、プログラム、及びデータ構造
JP2012015771A (ja) * 2010-06-30 2012-01-19 Toshiba Corp 画像処理装置、画像処理プログラム、及び画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150037203A (ko) * 2013-09-30 2015-04-08 엘지디스플레이 주식회사 3차원 입체 영상용 깊이지도 보정장치 및 보정방법
KR102122523B1 (ko) * 2013-09-30 2020-06-12 엘지디스플레이 주식회사 3차원 입체 영상용 깊이지도 보정장치 및 보정방법
JP2015215252A (ja) * 2014-05-12 2015-12-03 株式会社日立ソリューションズ 衛星画像データ処理装置、衛星画像データ処理システム、衛星画像データ処理方法及びプログラム

Also Published As

Publication number Publication date
US20140049614A1 (en) 2014-02-20
US9418436B2 (en) 2016-08-16
CN103460706A (zh) 2013-12-18
JP6029021B2 (ja) 2016-11-24
JPWO2013111552A1 (ja) 2015-05-11

Similar Documents

Publication Publication Date Title
JP6029021B2 (ja) 画像処理装置、撮像装置および画像処理方法
JP6427711B1 (ja) 電子機器、方法及びプログラム
JP5867424B2 (ja) 画像処理装置、画像処理方法、プログラム
US8494301B2 (en) Refocusing images using scene captured images
JP5683745B2 (ja) 画像表示装置及び方法
JP6336206B2 (ja) 動画ファイルの識別子を処理する方法、装置、プログラム及び記録媒体
TW201801516A (zh) 影像擷取裝置及其攝影構圖的方法
JPWO2016199483A1 (ja) 画像処理装置、画像処理方法、プログラム
KR20170060411A (ko) 피사체의 근접 여부에 따라 촬영 장치를 제어하는 방법 및 촬영 장치.
CN104247412A (zh) 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
JP2013172446A (ja) 情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法
CN111954058A (zh) 图像处理方法、装置、电子设备以及存储介质
JP2011023898A (ja) 表示装置、表示方法および集積回路
JP2011191860A (ja) 撮像装置、撮像処理方法及びプログラム
JP2010028452A (ja) 画像処理装置および電子カメラ
JPWO2014155961A1 (ja) 画像生成装置、撮影装置、画像生成方法及びプログラム
JP2015041865A (ja) 画像処理装置及び画像処理方法
JP6314321B2 (ja) 画像生成装置、撮影装置、画像生成方法及びプログラム
JP6295717B2 (ja) 情報表示装置、情報表示方法及びプログラム
JP5718502B2 (ja) 画像作成装置及び画像作成方法
CN107682556B (zh) 信息展示方法及设备
JP2011234229A (ja) 撮像装置
KR20160078878A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP5448799B2 (ja) 表示制御装置及び表示制御方法
US20240251154A1 (en) Image capture apparatus, image processing apparatus, and method

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013535164

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13741348

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14110210

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13741348

Country of ref document: EP

Kind code of ref document: A1