WO2021200190A1 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2021200190A1
WO2021200190A1 PCT/JP2021/010986 JP2021010986W WO2021200190A1 WO 2021200190 A1 WO2021200190 A1 WO 2021200190A1 JP 2021010986 W JP2021010986 W JP 2021010986W WO 2021200190 A1 WO2021200190 A1 WO 2021200190A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth map
depth
assist
basic
information processing
Prior art date
Application number
PCT/JP2021/010986
Other languages
English (en)
French (fr)
Inventor
健吾 早坂
功久 井藤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/907,155 priority Critical patent/US20230107179A1/en
Priority to JP2022511868A priority patent/JPWO2021200190A1/ja
Priority to EP21778783.7A priority patent/EP4113455A4/en
Priority to CN202180023801.8A priority patent/CN115315720A/zh
Publication of WO2021200190A1 publication Critical patent/WO2021200190A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present disclosure relates to information processing devices and methods, and programs, and more particularly to information processing devices, methods, and programs that allow the depth map to be edited.
  • the generated depth map does not always correspond perfectly to the image.
  • the present disclosure makes it possible to edit the depth map.
  • the information processing device on one aspect of the present technology is an information processing device including an assist depth map generator that generates an assist depth map composed of depth data to be added to the basic depth map.
  • the information processing method of one aspect of the present technology is an information processing method that generates an assist depth map composed of depth data to be added to the basic depth map.
  • the program of one aspect of the present technology is a program that causes a computer to function as an assist depth generator that generates an assist depth map composed of depth data for adding to the basic depth map.
  • an assist depth map composed of depth data to be added to the basic depth map is generated.
  • the generated depth map does not always correspond perfectly to the image. For example, it is difficult to correctly derive the depth value of a subject that is difficult to detect by passive sensing or a subject that has no texture. In addition, an incorrect depth value may be derived due to the influence of noise.
  • the captured image 10 shown in A of FIG. 1 is a captured image obtained by capturing a person 11, an object 12, or the like.
  • the person 11 is located on the front side (camera side).
  • the white background is the background, farthest from the camera (eg infinity).
  • the portion of the object 12 or the like indicated by diagonal lines, parallel lines, shading, or the like is located between the person 11 and the background when viewed from the camera.
  • the depth map 20 shown in B of FIG. 1 is a depth map generated from the captured image 10 and the like, and is basically composed of depth values corresponding to the captured image 10.
  • each pixel becomes closer to white as the depth value is smaller (that is, the closer it is located on the front side (camera side)), and the larger the depth value is (that is, the closer it is located on the back side).
  • It is expressed to be closer to black. That is, in the depth map 20, the part of the person 11 is expressed in white, the part of the object 12 and the like is expressed in gray, and the part of the background is expressed in black.
  • the portion of the area surrounded by the frame 21 in B of FIG. 1 between the object 12 and the person 11 is originally represented in black because it is a background portion, but in B of FIG. 1, the texture is formed. Due to the absence of, an accurate depth value cannot be obtained, and it is expressed in the same gray as the object 12.
  • the depth map can be edited.
  • an assist depth map composed of depth data for addition (composite) to the basic depth map is generated.
  • an assist depth map generation unit is provided, and the assist depth map generation unit generates an assist depth map composed of depth data for adding (synthesizing) to the basic depth map.
  • the basic depth map is a depth map consisting of the depth values of the subject of a certain image.
  • a portion that does not correspond to the actual position of the subject due to a measurement error or the like may be included.
  • a basic depth map is generated by using the image or measuring the distance of the image to the subject.
  • the assist depth map is a depth map composed of depth data for adding (synthesizing) to the basic depth map.
  • a composite depth map is generated by adding (combining) the depth data of the assist depth map to the basic depth map. That is, the basic depth map is edited using the assist depth map, and the composite depth map is the edited result. That is, by doing so, the depth map can be edited.
  • the depth map can be edited by synthesizing the depth maps, so that the depth map can be edited more easily. It can be performed.
  • the edited data (basic depth map) to be edited and the edited data (assist depth map) used for the editing can be managed separately, so that the edited contents can be updated and the depth map before editing can be managed. Processing such as restoration can be easily realized.
  • the assist depth map may be composed of depth data for adding (synthesizing) to a local area of the basic depth map.
  • the assist depth map may be configured for a shape region described later. By doing so, it is possible to more easily edit an arbitrary local area of the basic depth map.
  • the above assist depth map may be generated based on the instructions input based on the UI (User Interface).
  • the assist depth map generation unit generates an assist depth map based on user instruction information from a reception unit that receives a user instruction regarding generation of an assist depth map input using a UI (User Interface). You may. By using the UI in this way, it becomes easy to input instructions regarding the generation of the assist depth map.
  • the above instructions may be input based on the basic depth map displayed on the UI.
  • the reception unit may accept a user instruction input to the basic depth map displayed on the display unit as a UI.
  • the instruction By inputting the instruction based on the basic depth map displayed in this way, it becomes easy to input the instruction regarding the generation of the assist depth map.
  • the basic depth map and the image corresponding to the basic depth map may be superimposed and displayed.
  • the superimposition processing unit may superimpose the basic depth map and the image corresponding to the basic depth map and output the superimposition image to the display unit.
  • a depth map areas with the same depth value are represented by the same color (same brightness), so with the depth map alone, each position (position within the frame) in the map is the depth. It may be difficult to accurately grasp which position (one pixel or region consisting of a plurality of pixels) of the image corresponding to the map corresponds to. For example, when a plurality of objects exist at the same position (same depth value) in the depth direction, they may be expressed as one object.
  • the position in the frame which is each position in the map, can be more easily and correctly identified, and the depth map can be edited more easily. be able to.
  • the (local) editing of the depth map may be performed for each partial area.
  • the subregion shape region
  • the depth value in the shape region may be set. That is, the range in which the depth value is edited may be specified, and the depth value of the area within the specified range may be set.
  • the above-mentioned reception unit specifies an additional range to which depth data is added, which is input to the basic depth map displayed on the UI display unit, and the depth value of the area within the specified additional range. You may accept the designation.
  • the depth value of each pixel in the partial area may be common to all pixels (same depth value).
  • the depth value of each pixel in the partial region (shape region) may take a value according to a predetermined regularity.
  • the depth value may change uniformly in a predetermined direction like a color gradation.
  • the depth value in the partial area (shape area) may be specified by selecting another area.
  • the depth value of the specified position in the frame may be set as the depth value in the partial area (shape area) to be processed.
  • the reception unit specifies the position in the frame outside the range (outside the additional range) of the partial area (shape area) of the basic depth map displayed on the display unit as the depth value of the area within that range. It may be accepted as a user instruction to specify the depth value of the position. By doing so, the user or the like can more easily specify the depth value in the partial area (shape area).
  • the basic depth map may correspond to a still image, but may correspond to a moving image.
  • the basic depth map may be composed of a plurality of frames in chronological order (that is, a group of basic depth maps corresponding to each frame image) as in the moving image.
  • the assist depth map may be generated only for the basic depth map corresponding to a part frame (key frame described later) of the moving image in the basic depth map group. That is, in this case, since the assist depth map is not generated for all frames, the depth map can be edited more easily.
  • the assist depth map set for the key frame may be used to generate (interpolate) the assist depth map for the basic depth map of another frame.
  • the information processing apparatus may be provided with an interpolation processing unit that interpolates the assist depth map of frames between key frames by using the assist depth map of key frames. By doing so, it is possible to more easily generate an assist depth map corresponding to the frame between the keyframes.
  • the assist depth map may be generated as a layer different from the layer of the basic depth map.
  • the assist depth map may be generated as a layer different from the layer of the basic depth map.
  • the basic depth map and the assist depth map of different layers may be combined to generate a composite depth map.
  • the information processing apparatus may further include a composite depth map generator that generates a composite depth map by synthesizing a basic depth map and an assist depth map of different layers. By doing so, the optimization process can be performed.
  • the synthetic depth map may be generated using the depth value of the basic depth map. .. That is, for example, when the depth value of the basic depth map and the depth value of the assist depth map exist in the same pixel, the depth value of the basic depth map may be prioritized over the depth value of the assist depth map. By doing so, the depth value of the assist depth map is added only to the part where the depth value is not set (invalid value) in the basic depth map, and the depth value is set in the basic depth map. The existing part can prevent the depth value from changing.
  • the shape area can be set without worrying about the overlap with the depth value of the basic depth map.
  • a common assist depth map can be applied even to a plurality of frames in which an object moves (multiple frames in which the distribution of depth values of the basic depth map changes). That is, in each frame, it is not necessary to deform or move the shape area so as not to overlap the moving object, so that the assist depth map can be easily generated (edited).
  • the basic depth map may be a depth map composed of depth values at positions within a frame in which the reliability of the depth value is relatively high (for example, the reliability is equal to or higher than a predetermined threshold value).
  • a predetermined threshold value for example, the reliability is equal to or higher than a predetermined threshold value.
  • an invalid value may exist in a portion where the reliability of the depth value is low (for example, a portion where there are few textures in the frame).
  • the position in the frame where the reliability of the depth value is relatively high is the edge part of the subject in the image corresponding to the basic depth map
  • the basic depth map is an edge depth map composed of the depth values of the edge part. It may be. For example, whether or not it is an edge portion of the subject in the image may be used as a threshold value of reliability. In that case, the assist depth map can be used to edit a portion of the edge depth map that is not an edge portion (a portion whose reliability is lower than the threshold value).
  • the information processing apparatus may further include a basic depth map generation unit that generates this edge depth map as the basic depth map.
  • an overwrite depth map for updating the depth value of the basic depth map may be generated.
  • the information processing apparatus may further include an overwrite depth map generation unit that generates an overwrite depth map composed of depth data for updating the depth value of the basic depth map. By doing so, the depth value of the basic depth map can be changed.
  • This overwrite depth map may be generated in a layer different from the layer of the basic depth map. By doing so, it is possible to more easily manage the overwrite depth map as data independent of other depth maps, as in the case of the assist depth map. For example, it is possible to generate (edit) an overwrite depth map as edit data without editing the basic depth map. Further, the layer structure makes it easier to synthesize the map.
  • the depth value of the overwrite depth map when the basic depth map and the overwrite depth map have the same depth value in the frame, the depth value of the overwrite depth map may be used.
  • the composite depth map generator when the composite depth map generator has the depth values of the basic depth map and the overwrite depth map at the same in-frame position, the depth of the overwrite depth map is used to use the depth of the layers that are different from each other.
  • the map and the overwrite depth map may be combined. By performing the optimization process in this way, it is possible to correct an invalid depth value generated in the basic depth map due to, for example, light reflection.
  • FIG. 2 is a diagram showing a main configuration example of a computer according to an embodiment of an image processing device to which the present technology is applied.
  • the computer 100 shown in FIG. 2 is a device for installing and executing an application program (software) for editing depth data.
  • the computer includes a computer embedded in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • the application program By executing the application program, the computer 100, for example, ⁇ 1. Edit the depth map (basic depth map) by the various methods described above in Edit Depth Map>. By doing so, it is possible to generate a composite depth map (output depth map) by editing the basic depth map.
  • FIG. 2 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. That is, in the computer 100, there may be a processing unit that is not shown as a block in FIG. 2, or there may be a processing or data flow that is not shown as an arrow or the like in FIG.
  • the CPU Central Processing Unit
  • the ROM Read Only Memory
  • the RAM Random Access Memory
  • the input / output interface 110 is also connected to the bus 104.
  • An input unit 111, an output unit 112, a storage unit 113, a communication unit 114, and a drive 115 are connected to the input / output interface 110.
  • the input unit 111 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 112 includes, for example, a monitor, a speaker, an output terminal, and the like.
  • the storage unit 113 includes, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 114 includes, for example, a network interface.
  • the drive 115 drives a removable recording medium 121 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 101 loads and executes the application program stored in the storage unit 113 into the RAM 103 via the input / output interface 110 and the bus 104, for example. A series of processing is performed.
  • the RAM 103 also appropriately stores data and the like necessary for the CPU 101 to execute various processes.
  • the application program executed by the computer 100 can be recorded and applied to, for example, a removable recording medium 121 as a package medium or the like.
  • the application program can be installed in the storage unit 113 via the input / output interface 110 by mounting the removable recording medium 121 in the drive 115.
  • This application program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, this application program can be received by the communication unit 114 and installed in the storage unit 113.
  • this application program can be installed in advance in the ROM 102 or the storage unit 113.
  • FIG. 3 is a functional block diagram showing functions realized by executing this application program on the computer 100 as functional blocks.
  • the computer 100 realizes a function of generating and editing a depth map from an image.
  • the computer 100 generates a depth map consisting of the depth values of the portion having a relatively high reliability from the image, and the reliability is compared based on the depth map and the like. By estimating the depth value of the low target part, the depth map corresponding to the image shall be generated. By doing so, a more reliable depth map can be generated.
  • the computer 100 executes the application program to execute the GUI processing unit 151, the file acquisition unit 152, the edge depth generation unit 153, the optimization processing unit 154, the file output unit 155, and the assist depth generation unit. It can have functional blocks such as 156, an overwrite depth generation unit 157, and a display image generation unit 158. Each functional block will be described below.
  • the GUI processing unit 151 performs processing related to the GUI displayed on the output unit 112 (monitor, etc.). For example, when the GUI processing unit 151 operates the input unit 111 based on the GUI for editing the depth map displayed on the output unit 112 (monitor, etc.) (for example, when an instruction is input), Processing can be performed according to the received operation (instruction).
  • the combination of the GUI processing unit 151, the input unit 111, and the monitor of the output unit 112 is also referred to as a UI (User Interface).
  • a combination of the GUI processing unit 151 and the input unit 111 is also referred to as a reception unit.
  • the file acquisition unit 152 performs processing related to file acquisition. For example, the file acquisition unit 152 acquires a file of an image (for example, a captured image) corresponding to the depth map to be edited. For example, the file acquisition unit 152 can acquire a file of an image input from the outside of the computer 100 via the input unit 111. Further, the file acquisition unit 152 can acquire the image file stored in the storage unit 113. Further, the file acquisition unit 152 can acquire a file of an image transmitted from another device via the communication unit 114. Further, the file acquisition unit 152 can read and acquire the image file recorded on the removable recording medium 121 via the drive 115. The file acquisition unit 152 supplies the image file acquired by an arbitrary method to other functional blocks.
  • a file of an image for example, a captured image
  • the file acquisition unit 152 can acquire a file of an image input from the outside of the computer 100 via the input unit 111. Further, the file acquisition unit 152 can acquire the image file stored in the storage unit 113. Further, the file acquisition unit
  • Edge depth generation unit 153 performs processing related to edge depth generation.
  • the edge depth map is a depth map composed of depth values near the edges of an image.
  • the edge portion of an image is a portion where a relatively reliable depth value can be obtained. That is, the edge depth generation unit 153 derives a depth value for a region where a depth value having a relatively high reliability can be obtained, and generates a depth map (edge depth map) including the depth value.
  • the edge depth generation unit 153 uses the file of the image acquired by the file acquisition unit 152 to generate an edge depth map corresponding to the image.
  • This edge depth map is subject to editing processing. That is, this edge depth map is used as the basic depth map.
  • An invalid value is set as the depth value in the area of the edge depth map corresponding to the portion of the image that is not the edge.
  • the depth map (output depth map) corresponding to the image is generated.
  • the process of estimating the depth value is also referred to as an optimization process (or semi-global process).
  • the optimization processing unit 154 performs processing related to the optimization processing. That is, the optimization processing unit 154 estimates the depth value of the pixel whose depth of the edge depth map is unknown. This estimation method is arbitrary. For example, the method described in Patent Document 1 may be applied.
  • the optimization processing unit 154 generates a single-layer depth map by performing the optimization processing. This depth map may be used as the final output depth map.
  • the optimization processing unit 154 may combine the depth maps of a plurality of layers into an output depth map by performing the optimization processing.
  • the file output unit 155 performs processing related to file output. For example, the file output unit 155 outputs an output depth map (composite depth map) generated by the optimization processing unit 154. For example, the file output unit 155 can output the output depth map to the outside of the computer 100 via the output unit 112. Further, the file output unit 155 can store the output depth map in the storage unit 113. Further, the file output unit 155 can transmit the output depth map to another device via the communication unit 114. Further, the file output unit 155 can record the output depth map on the removable recording medium 121 via the drive 115.
  • an output depth map composite depth map
  • the assist depth generation unit 156 performs processing related to the generation of the assist depth map.
  • the assist depth map is a depth map composed of depth data for adding (synthesizing) to the basic depth map, and is a depth map for editing the basic depth map.
  • the assist depth generation unit 156 generates this assist depth map based on, for example, an instruction from a user or the like received via the GUI processing unit 151 or the like.
  • the overwrite depth generation unit 157 performs processing related to the generation of the overwrite depth map.
  • the overwrite depth map is a depth map composed of depth data for updating the depth value of the basic depth map, and is a depth map for editing the basic depth map.
  • the overwrite depth generation unit 157 generates this overwrite depth map based on, for example, an instruction from a user or the like received via the GUI processing unit 151 or the like.
  • the display image generation unit 158 generates a display image to be displayed on the output unit 112 (monitor, etc.). For example, the display image generation unit 158 generates a GUI (depth editing screen described later) for editing the depth map as a display image. Then, the display image generation unit 158 causes the output unit 112 (monitor or the like) to display the generated display image.
  • a GUI depth editing screen described later
  • the display image generation unit 158 can generate a display image using the edge depth map (basic depth map) generated by the edge depth generation unit 153.
  • the display image generation unit 158 can generate a depth editing screen (depth editing screen on which the edge depth map is displayed) including the edge depth map (basic depth map).
  • the display image generation unit 158 can generate a display image using the assist depth map generated by the assist depth generation unit 156.
  • the display image generation unit 158 can generate a depth editing screen (depth editing screen on which the assist depth map is displayed) including the assist depth map.
  • the display image generation unit 158 can generate a display image by using the overwrite depth map generated by the overwrite depth generation unit 157.
  • the display image generation unit 158 can generate a depth edit screen (depth edit screen on which the overwrite depth map is displayed) including the overwrite depth map.
  • the display image generation unit 158 generates a display image (depth editing screen including the superimposed image) by using the superimposed image in which the edge depth map (basic depth map) and the RGB image corresponding to the edge depth map are superimposed. be able to.
  • the display image generation unit 158 can further superimpose the assist depth map and the overwrite depth map on the superposed image. That is, the display image generation unit 158 can function as a superimposition processing unit.
  • the assist depth generation unit 156 includes a key frame setting unit 161, a shape setting unit 162, and a linear interpolation unit 163.
  • the keyframe setting unit 161 performs processing related to keyframe setting.
  • a keyframe is a frame of a moving image that generates an assist depth map (that is, a frame that edits an edge depth map).
  • the shape setting unit 162 performs processing related to generation of a shape area which is a partial area (local) for setting a depth value to be added to the edge depth map (basic depth map).
  • the linear interpolation unit 163 interpolates the assist depth map (shape area) in the frame between the key frames. For example, the linear interpolation unit 163 performs linear interpolation.
  • the shape setting unit 162 has a shape setting unit 171 and a depth value setting unit 172.
  • the shape setting unit 171 performs processing related to setting the shape (outer frame) of the shape region (setting of the additional range), for example.
  • the shape setting unit 171 is input to a user's instruction (that is, a basic depth map displayed on the monitor (display unit) of the output unit 112) received via the GUI processing unit 151 or the like.
  • the shape (outer frame) of this shape area is generated based on the user instruction regarding the shape of the area).
  • the depth value setting unit 172 performs processing related to setting the depth value within the additional range set by the shape setting unit 171.
  • the depth value setting unit 172 is input to the instruction of the user or the like received via the GUI processing unit 151 or the like (that is, the basic depth map displayed on the monitor (display unit) of the output unit 112). Based on the user's instruction regarding the depth value of the shape area), the depth value in the shape area is set.
  • FIG. 4 shows an example of a GUI for editing the depth map generated by the display image generation unit 158 of FIG. 3 and displayed on the output unit 112.
  • the depth editing screen 200 shown in FIG. 4 is an example of a GUI for editing this depth map.
  • the depth editing screen 200 includes a depth map display unit 201, a layer editing unit 202, and an optimization control unit 203.
  • the depth map display unit 201 displays the depth map to be edited (preview of the edited depth map).
  • the depth map display unit 201 may superimpose and display (transparently display) the depth map of each layer (or the depth map of some layers).
  • the depth map display unit 201 can superimpose and display (transparently display) the RGB image and the depth map.
  • the RGB image is an image corresponding to a depth map, which is not a depth map and is composed of, for example, a luminance component and a color component. For example, a captured image or the like.
  • the RGB image may be a RAW image or a YUV image. Further, it may be a color image or a monochrome image. If it is a RAW image or a YUV image, it is converted into an RGB image before being displayed on the depth map display unit 201.
  • the layer editing unit 202 is an area for performing operations for each layer on which editing work is performed.
  • the layer editing unit 202 has a layer selection field 211 and a timeline 212.
  • the layer selection field 211 is a GUI for selecting (designating) a layer to be edited.
  • the timeline 212 is a GUI that shows a sequence of moving images in the left-right direction. That is, the RGB image, the edge depth map, the assist depth map, and the overwrite depth map may be a still image of a single frame or a moving image composed of a plurality of frames. In this timeline 212, for example, by designating the position of the pointer 213 (position in the left-right direction), the frame to be processed is selected.
  • the optimization control unit 203 is a GUI for optimization processing.
  • the optimization control unit 203 is provided with an execution button 231 and a file name input field 232 to a file name input field 234.
  • the file name input field 232 the file name of the overwrite depth map used for the optimization process is input.
  • the file name input field 233 the file name of the assist depth map used for the optimization process is input.
  • the file name input field 234 the file name of the edge depth map used for the optimization process is input.
  • the edge depth generation unit 153 generates, for example, the edge depth map 301 as shown in B of FIG. 5 from the captured image 10 as shown in A of FIG. In the edge depth map 301, only the depth value near the edge of the captured image is set. An invalid value is set for each of the other portions, that is, each pixel of the black portion in the edge depth map 301 of FIG. 5B.
  • the edge depth map 301 is edited to add a depth value, for example, as shown in A in FIG.
  • a partial area called a shape area is set, and a depth value is set for each shape area. That is, the depth value is edited (added) locally (for each partial area).
  • the shape region 311 is set.
  • the user specifies the shape and depth value of the shape area 311 on the depth map display unit 201 of the depth editing screen 200 of FIG. 4 as shown in A of FIG.
  • the shape setting unit 171 sets the shape of the shape region 311 based on the instruction.
  • the shape is arbitrary.
  • the shape may be as specified by the user on the depth editing screen 200, or may be a straight line, a rectangle, a polygon, or the like.
  • the depth value setting unit 172 sets the depth value based on the instruction.
  • the shape region 311 set in this way is formed as an assist depth map 321 (of the layer) different from the edge depth map 301 which is the basic depth map, as shown in B of FIG.
  • the method of setting the depth value of the shape area 311 is arbitrary.
  • a user or the like may input a numerical value, or the depth value at a position (position within a frame) specified on the depth edit screen 200 may be duplicated.
  • the depth value of the area 331 of the edge depth map 330 is 10
  • the depth value of the area 332 is 20, and the other areas are invalid values.
  • the user operates the cursor 341 to set the shape of the shape area 342.
  • FIG. 7C when the user operates the cursor 341 to specify a pixel in the area 332 in the edge depth map 330, the depth value (that is, 20) of that pixel is changed to FIG. 7.
  • D of it is set (reproduced) in the shape area 342 of the assist depth map 340.
  • the depth value setting unit 172 specifies the depth value in the shape area 342 based on the instruction of the user or the like received via the GUI processing unit 151 or the like (that is, the designation of the pixels in the area 332). It is set to the depth value of the pixels in the region 332.
  • a GUI function also referred to as a spoid function
  • the depth map may be a singular layer.
  • the edge depth map 330 which is the basic depth map, is edited. That is, as shown in FIG. 8, when the user sets the shape of the shape area 342 in the invalid value area of the edge depth map 330 and specifies the pixels of the area 332, the depth value is duplicated in the shape area 342. NS.
  • the depth value setting unit 172 determines the depth value in the shape area 342 based on the instruction of the user or the like received via the GUI processing unit 151 or the like (that is, the designation of the pixels in the area 332). It is set to the depth value of the pixels in the specified area 332. That is, duplication is performed within the same depth map.
  • an overwrite depth map may be used. For example, when an unintended error occurs in the edge depth map due to noise at the time of shooting or the influence of a subject with a delicate pattern, the error may be corrected by using the depth value of the overwrite depth map.
  • the edge depth map, assist depth map, and overwrite depth map are combined. These maps may be formed as different layers from each other. In that case, the optimization process superimposes and synthesizes each layer as shown in A of FIG.
  • the overwrite depth layer 351 is a layer of the overwrite depth map.
  • the edge depth layer 352 is a layer of the edge depth map.
  • the assist depth layer 353 is a layer of the assist depth map.
  • the overwrite depth layer 351 has the highest priority during the optimization process.
  • the initial value of each pixel of this layer takes an invalid value or the same value as the edge depth layer 352.
  • the edge depth layer 352 has priority over the assist depth layer during the optimization process.
  • the assist depth layer 353 is the lowest priority layer.
  • the value written in this layer is adopted only when the values of the overwrite depth layer 351 and the edge depth layer 352 are invalid values.
  • the initial value is the same as the invalid value or edge depth layer.
  • each layer is synthesized by the optimization process, and the depth value of each layer is superimposed as seen from the upper part of the figure as shown by the arrow shown in A of FIG. That is, the superimposed output depth map 354 is generated as shown in B of FIG. That is, the depth value of the assist depth layer 353 acts only on the region that is an invalid value in both the overwrite depth layer 351 and the edge depth layer 352.
  • the depth map may have a single-layer structure.
  • FIG. 10 shows an example of a synthetic depth map (output depth map) generated by such an optimization process.
  • the portion of the area surrounded by the frame 21 between the object 12 and the person 11 is represented in black. That is, the depth value, which was an incorrect value in the depth map 20 of B in FIG. 1, is corrected to a correct value. In this way, you can edit the depth map.
  • the shape area of each frame of each layer is changed from the set keyframe.
  • the movement amount may be calculated and the optimization process may be performed. By doing so, it becomes possible to give a correction instruction relatively easily. Further, the amount of movement of the shape region between frames may be calculated by linear processing, or may be calculated by non-linear processing that follows the amount of movement of the entire screen.
  • the frame X is set as a key frame and the shape area 371 is set. Further, the frame X + 30 is set as a key frame, and the shape area 372 is set. Based on these keyframes, in frame X + 15, the shape region 373 is interpolated to a position (in-frame position) between the shape region 371 and the shape region 372.
  • the optimization processing algorithm may refer only to the depth value as described in Patent Document 1, for example, Jonathan T Barron and Ben Poole, "The fast bilateral solver", ECCV, 2016 (with Non-Patent Document 2).
  • the optimization process may be performed using the RGB value and the depth value input as described in (referred to as) as a guide.
  • the file acquisition unit 152 reads the file and acquires the RGB image in step S101.
  • the edge depth generation unit 153 generates the edge depth of each frame.
  • step S103 the assist depth generation unit 156 determines whether or not a frame has been selected. If it is determined that the frame has been selected, the process proceeds to step S104. Further, in step S104, the keyframe setting unit 161 determines whether or not to use the frame as a keyframe. If it is determined to be a keyframe, the process proceeds to step S105.
  • step S105 the keyframe setting unit 161 sets the frame as a keyframe.
  • step S106 the shape setting unit 162 generates a shape region in the frame.
  • step S106 When the process of step S106 is completed, the process proceeds to step S107. If it is determined in step S104 that the frame is not used as a key frame, the process proceeds to step S107.
  • step S107 the overwrite depth generation unit 157 determines whether or not to edit the overwrite depth map. If it is determined that the overwrite depth map is to be edited, the process proceeds to step S108. In step S108, the overwrite depth generation unit 157 edits the overwrite depth map.
  • step S108 When the process of step S108 is completed, the process proceeds to step S109. If it is determined in step S107 that the overwrite depth map is not edited, the process proceeds to step S109. Further, if it is determined in step S103 that no frame has been selected, the process proceeds to step S109.
  • step S109 the assist depth generation unit 156 determines whether or not to finish editing the depth map. If it is determined to continue editing the depth map, the process returns to step S103, and the subsequent processes are repeated. If it is determined in step S109 that the editing of the depth map is finished, the process proceeds to step S110.
  • step S110 the linear interpolation unit 163 determines whether or not a plurality of keyframes exist. If it is determined that it exists, the process proceeds to step S111.
  • step S111 the linear interpolation unit 163 performs interpolation (for example, linear interpolation) of the assist depth map (shape region) and generates an assist depth map (shape region) in another frame between the key frames.
  • step S111 When the process of step S111 is completed, the process proceeds to step S112. If it is determined in step S112 that a plurality of keyframes do not exist, the process proceeds to step S112.
  • step S112 the optimization processing unit 154 performs optimization processing and generates an output depth map having a single-layer structure.
  • the file output unit 155 outputs the generated output depth map.
  • the shape setting unit 171 of the shape setting unit 162 sets the range (outer shape) of the shape area in step S131.
  • the depth value setting unit 172 sets the depth value in the area within the range set in step S131.
  • step S133 the shape setting unit 162 determines whether or not to end the process. If it is determined that the process is not completed, that is, that another shape area is set, the process returns to step S131, and the subsequent processes are repeated. If it is determined in step S133 that the process is to be completed, the process returns to FIG.
  • the present technology can be applied to any configuration.
  • the present technology is a device such as a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a unit using a plurality of modules, or a set in which other functions are added to the unit. It can also be implemented as a partial configuration.
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • the present technology may be implemented in a cloud service that provides services to arbitrary terminals such as computers, portable information processing terminals, and IoT (Internet of Things) devices.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • Systems, devices, processing departments, etc. to which this technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. .. Moreover, the use is arbitrary.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the above-mentioned program may be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • the plurality of processes may be executed by one device, or may be shared and executed by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, and the calls may be made in parallel or in parallel. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments. It is also possible to carry out a part or all of any of the above-mentioned techniques in combination with other techniques not described above.
  • the present technology can also have the following configurations.
  • An information processing device including an assist depth map generator that generates an assist depth map composed of depth data to be added to the basic depth map.
  • the information processing apparatus according to (1) wherein the assist depth map is composed of the depth data for adding to a local region of the basic depth map.
  • the assist depth map generation unit generates the assist depth map based on the user instruction information from the reception unit that receives the user instruction regarding the generation of the assist depth map input by using the UI (User Interface).
  • the information processing device according to (2).
  • the information processing apparatus further comprising a superimposition processing unit that superimposes the basic depth map and an image corresponding to the basic depth map and outputs the superposed image to the display unit.
  • the reception unit is input to the basic depth map displayed on the display unit. Specifying the additional range to add depth data and The information processing apparatus according to (4) or (5), which accepts the designation of the depth value of the designated area within the additional range.
  • the reception unit uses the designation of the in-frame position of the basic depth map displayed on the display unit outside the additional range as the depth value of the area within the additional range, and uses the depth value of the in-frame position as the depth value.
  • the information processing apparatus which is accepted as the designated user instruction.
  • the information processing device according to any one of (2) to (7), wherein the assist depth map generation unit generates the assist depth map for keyframes of a moving image.
  • the information processing apparatus further comprising an interpolation processing unit that interpolates the assist depth map of frames between the keyframes by using the assist depth map of the keyframes.
  • the information processing apparatus according to any one of (1) to (9), wherein the assist depth map generation unit generates the assist depth map as a layer different from the layer of the basic depth map.
  • (11) The information processing apparatus according to (10), further comprising a synthetic depth map generation unit that generates a synthetic depth map by synthesizing the basic depth map and the assist depth map of different layers.
  • the synthetic depth map generator uses the depth value of the basic depth map to generate the synthetic depth map.
  • the reliability threshold value is a threshold value for determining that the image is an edge portion of the subject in the image.
  • the information processing apparatus according to (13), wherein the basic depth map is an edge depth map composed of depth values of the edge portions.
  • GUI processing unit 100 computer
  • 152 GUI processing unit 152 file acquisition unit, 153 edge depth generation unit, 154 optimization processing unit, 155 file output unit, 156 assist depth generation unit, 157 overwrite depth generation unit, 158 display image generation unit, 161 keyframe Setting unit, 162 shape setting unit, 163 linear interpolation unit, 171 shape setting unit, 172 depth value setting unit, 200 depth editing screen, 201 depth map display unit, 202 layer editing unit, 203 optimization control unit, 211 layer selection field.
  • 212 timeline 231 execute button, 232 to 234 file name input field, 301 edge depth, 311 shape area, 321 assist depth, 351 overwrite depth layer, 352 edge depth layer, 353 assist depth layer, 354 output layer, 360 output depth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本開示は、デプスマップを編集することができるようにする情報処理装置および方法、並びにプログラムに関する。 基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成する。例えば、基本デプスマップに局所的に付加するためのデプスデータにより構成されるアシストデプスマップを生成する。本開示は、例えば、情報処理装置、画像処理装置、コンピュータ、情報処理方法、画像処理方法、またはプログラム等に適用することができる。

Description

情報処理装置および方法、並びにプログラム
　本開示は、情報処理装置および方法、並びにプログラムに関し、特に、デプスマップを編集することができるようにした情報処理装置および方法、並びにプログラムに関する。
　近年、左右２視点や多視点の視差画像からデプスマップを生成する画像処理技術に関して、様々な研究がされている（例えば、特許文献１参照）。例えば、パッシブセンシングのアルゴリズムのフレームワークは、マッチングコストを算出後、信頼度の高い情報を残す工夫を各自行い、修正を行いながら最終的にデプスマップを出力する方法が考えられた。また、信頼度の高い奥行マップを用いて、奥行不明画素のディスパリティ値を決定する手法も提案された。
国際公開第２０１４／０６４８７５号
　ただし、生成されたデプスマップが常に完全に画像に正しく対応するとは限らない。本開示は、デプスマップを編集することができるようにするものである。
　本技術の一側面の情報処理装置は、基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成するアシストデプスマップ生成部を備える情報処理装置である。
　本技術の一側面の情報処理方法は、基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成する情報処理方法である。
　本技術の一側面のプログラムは、コンピュータを、基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成するアシストデプス生成部として機能させるプログラムである。
　本技術の一側面の情報処理装置および方法、並びにプログラムにおいては、基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップが生成される。
撮像画像とデプスマップの例を示す図である。 コンピュータの主な構成例を示すブロック図である。 コンピュータにおいて実現される機能を示す機能ブロック図である。 デプス編集画面の例を示す図である。 エッジデプス生成の例を示す図である。 アシストデプス生成の例を示す図である。 デプス値設定の例を示す図である。 デプス値設定の例を示す図である。 レイヤ合成の例を示す図である。 出力デプスマップの例を示す図である。 シェイプ領域の補間の例を示す図である。 デプスマップの編集の際に実行される処理の流れの例を説明するフローチャートである。 シェイプ領域の生成の際に実行される処理の流れの例を説明するフローチャートである。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．デプスマップの編集
　２．第１の実施の形態（コンピュータ）
　３．付記
　＜１．デプスマップの編集＞
　　＜デプスマップ＞
　近年、左右２視点や多視点の視差画像からデプスマップを生成する画像処理技術に関して、様々な研究がされている（例えば、特許文献１参照）。例えば、パッシブセンシングのアルゴリズムのフレームワークは、マッチングコストを算出後、信頼度の高い情報を残す工夫を各自行い、修正を行いながら最終的にデプスマップを出力する方法が考えられた。また、信頼度の高い奥行マップを用いて、奥行不明画素のディスパリティ値を決定する手法も提案された。
　ただし、生成されたデプスマップが常に完全に画像に正しく対応するとは限らない。例えば、パッシブセンシングで検出することが難しい被写体やテクスチャのない被写体のデプス値は正しく導出することが困難である。また、ノイズの影響を受けて正しくないデプス値が導出される場合が有り得る。
　例えば、図１のＡに示される撮像画像１０は、人物１１やオブジェクト１２等を撮像した撮像画像である。人物１１は手前側（カメラ側）に位置する。白地は背景であり、最もカメラから遠い（例えば無限遠である）。オブジェクト１２等の、斜線、平行線、網掛け等で示される部分は、カメラから見て人物１１と背景との間に位置する。
　図１のＢに示されるデプスマップ２０は、この撮像画像１０等から生成されたデプスマップであり、基本的に撮像画像１０に対応するデプス値により構成される。このデプスマップ２０において各画素は、デプス値が小さい程（つまり手前側（カメラ側）に位置する程）、より白に近くなり、デプス値が大きい程（つまり、奥側に位置する程）、より黒に近くなるように表現されている。つまり、このデプスマップ２０の、人物１１の部分は白、オブジェクト１２等の部分はグレー、背景の部分は黒で表現されている。
　ただし、図１のＢにおいて枠２１で囲まれた領域の、オブジェクト１２と人物１１との間の部分は、背景の部分であるので本来黒で表現されるが、図１のＢにおいては、テクスチャが存在しないことにより、正確なデプス値が得られず、オブジェクト１２と同様のグレーで表現されている。
　　＜デプスマップの編集＞
　そこで、デプスマップを編集することができるようにする。例えば、基本デプスマップに付加（合成）するためのデプスデータにより構成されるアシストデプスマップを生成する。例えば、情報処理装置において、アシストデプスマップ生成部を備え、そのアシストデプスマップ生成部が、基本デプスマップに付加（合成）するためのデプスデータにより構成されるアシストデプスマップを生成する。
　ここで基本デプスマップは、ある画像の被写体のデプス値からなるデプスマップである。ただし、実際には、計測誤差等により実際の被写体の位置とは対応しない部分も含み得る。例えば、基本デプスマップは、その画像を用いたり、その画像の被写体までの距離を計測したりして生成される。
　アシストデプスマップは、その基本デプスマップに付加（合成）するためのデプスデータにより構成されるデプスマップである。基本デプスマップに対してアシストデプスマップのデプスデータが付加される（合成される）ことにより、合成デプスマップが生成される。つまり、アシストデプスマップを用いて基本デプスマップの編集が行われ、合成デプスマップは、その編集結果である。つまり、このようにすることにより、デプスマップを編集することができる。
　また、このように、基本デプスマップに付加されるアシスト情報をデプスマップとして形成することにより、デプスマップ同士を合成することによりデプスマップの編集を行うことができるので、より容易にデプスマップの編集を行うことができる。また、編集される被編集データ（基本デプスマップ）と、その編集に用いられる編集データ（アシストデプスマップ）とを分けて管理することができるので、編集内容の更新や、編集前のデプスマップの復元等の処理も容易に実現することができる。
　なお、アシストデプスマップが、基本デプスマップの局所的な領域に付加（合成）するためのデプスデータにより構成されるようにしてもよい。例えば、アシストデプスマップが後述するシェイプ領域について構成されるようにしてもよい。このようにすることにより、基本デプスマップの任意の局所的な領域の編集をより容易に行うことができる。
　以上のようなアシストデプスマップが、UI（User Interface）に基づいて入力される指示に基づいて生成されるようにしてもよい。例えば、情報処理装置において、アシストデプスマップ生成部が、UI（User Interface）を用いて入力されるアシストデプスマップの生成に関するユーザ指示を受け付ける受付部からのユーザ指示情報に基づいてアシストデプスマップを生成してもよい。このようにUIを用いることにより、アシストデプスマップの生成に関する指示の入力が容易になる。
　なお、UIに表示された基本デプスマップに基づいて上述の指示が入力されるようにしてもよい。例えば、情報処理装置において、UIとして表示部に表示される基本デプスマップに対して入力されるユーザ指示を受付部が受け付けるようにしてもよい。このように表示された基本デプスマップに基づいて指示を入力することにより、アシストデプスマップの生成に関する指示の入力が容易になる。
　また、基本デプスマップと、その基本デプスマップに対応する画像（後述するRGB画像）とが重畳されて表示されるようにしてもよい。例えば、情報処理装置において、重畳処理部が、基本デプスマップと、その基本デプスマップに対応する画像とを重畳して重畳画像として表示部に出力してもよい。デプスマップの場合、デプス値が互いに同一の領域は、互いに同一の色（同一の輝度）で表現されてしまうため、デプスマップだけでは、そのマップ内の各位置（フレーム内位置）が、そのデプスマップに対応する画像のどの位置（１画素、または、複数の画素からなる領域）に対応するかを正確に把握することが困難な場合もあり得る。例えば、奥行方向の互いに同一の位置（同じデプス値）に複数のオブジェクトが存在する場合、それらは１つのオブジェクトのように表現されてしまう可能性もある。
　そこで、互いに対応する基本デプスマップと画像とを重畳して表示することにより、マップ内の各位置であるフレーム内位置をより容易に正しく識別することができ、デプスマップの編集をより容易に行うことができる。
　また、デプスマップの（局所的な）編集が部分領域毎に行われるようにしてもよい。例えば、まず、その部分領域（シェイプ領域）を設定し、次に、そのシェイプ領域内のデプス値を設定するようにしてもよい。つまり、デプス値の編集を行う範囲を指定し、その指定した範囲内の領域のデプス値を設定するようにしてもよい。例えば、上述の受付部が、UIの表示部に表示される基本デプスマップに対して入力される、デプスデータを付加する付加範囲の指定と、その指定された付加範囲内の領域のデプス値の指定とを受け付けるようにしてもよい。このように部分領域毎に編集の指示が行われるようにすることにより、デプスマップの局所的な編集をより容易に行うことができる。
　なお、部分領域（シェイプ領域）内の各画素のデプス値は、全画素共通（同一のデプス値）としてもよい。もちろん、部分領域（シェイプ領域）内に複数のデプス値が存在してもよい。例えば、部分領域（シェイプ領域）内の各画素のデプス値が、所定の規則性に従った値をとってもよい。例えば、部分領域（シェイプ領域）内において、カラーのグラデーションのように、デプス値が所定の方向に一様に変化するようにしてもよい。
　また、その部分領域（シェイプ領域）内のデプス値の指定が、他の領域を選択することにより行われるようにしてもよい。例えば、ユーザ等が他の領域を指定すると、その指定されたフレーム内位置のデプス値が、処理対象の部分領域（シェイプ領域）内のデプス値として設定されるようにしてもよい。例えば、受付部が、表示部に表示される基本デプスマップの部分領域（シェイプ領域）の範囲外（付加範囲外）におけるフレーム内位置の指定を、その範囲内の領域のデプス値としてそのフレーム内位置のデプス値を指定するユーザ指示として受け付けるようにしてもよい。このようにすることにより、ユーザ等が部分領域（シェイプ領域）内のデプス値の指定をより容易に行うことができる。
　また、基本デプスマップは、静止画像に対応してもよいが、動画像に対応してもよい。動画像に対応する場合、基本デプスマップは、動画像と同様に、時系列に沿った複数のフレーム（つまり、各フレーム画像に対応する基本デプスマップ群）により構成されるようにしてもよい。その場合、その基本デプスマップ群の内、動画像の一部のフレーム（後述するキーフレーム）に対応する基本デプスマップついてのみ、アシストデプスマップを生成するようにしてもよい。つまり、この場合、全フレームについてアシストデプスマップを生成しないので、より容易にデプスマップの編集を行うことができる。
　そしてその場合、キーフレームに対して設定されたアシストデプスマップを用いて、他のフレームの基本デプスマップに対するアシストデプスマップが生成（補間）されるようにしてもよい。例えば、情報処理装置において、キーフレームのアシストデプスマップを用いて、キーフレーム間のフレームのアシストデプスマップを補間する補間処理部を備えるようにしてもよい。このようにすることにより、キーフレーム間のフレームに対応するアシストデプスマップをより容易に生成することができる。
　また、アシストデプスマップを、基本デプスマップのレイヤと異なるレイヤとして生成するようにしてもよい。このようにレイヤを分けることにより、より容易に、基本デプスマップとアシストデプスマップとを、互いに独立したデータとして管理することができる。例えば、基本デプスマップを編集せずに、編集データとなるアシストデプスマップを生成（編集）することができる。また例えば、動画像の場合、アシストデプスマップのフレーム間での複製等の処理を容易に実現することができる。また、レイヤ構成とすることにより、マップの合成がより容易になる。
　さらに、互いに異なるレイヤの基本デプスマップおよびアシストデプスマップを合成し、合成デプスマップを生成してもよい。例えば、情報処理装置において、互いに異なるレイヤの基本デプスマップおよびアシストデプスマップを合成することで、合成デプスマップを生成する合成デプスマップ生成部をさらに備えるようにしてもよい。このようにすることにより、最適化処理を行うことができる。
　なお、その最適化処理の際に、基本デプスマップおよびアシストデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、基本デプスマップのデプス値を使用して合成デプスマップを生成してもよい。つまり、例えば、同一の画素に基本デプスマップのデプス値とアシストデプスマップのデプス値とが存在する場合、アシストデプスマップのデプス値よりも基本デプスマップのデプス値を優先させてもよい。このようにすることにより、基本デプスマップにおいてデプス値が設定されていない（無効値である）部分に対してのみ、アシストデプスマップのデプス値が追加され、基本デプスマップにおいてデプス値が設定されている部分は、そのデプス値を変化させないようにすることができる。
　このようにすることにより、例えば、基本デプスマップのデプス値との重なりを気にせずにシェイプ領域を設定することができる。特に動画像の場合、オブジェクトが移動する複数フレーム（基本デプスマップのデプス値の分布が変化する複数フレーム）においても、共通のアシストデプスマップを適用することができる。つまり、各フレームにおいて、その移動するオブジェクトに重畳しないようにシェイプ領域を変形させたり移動させたりする必要がないので、容易にアシストデプスマップを生成（編集）することができる。
　なお、基本デプスマップは、デプス値の信頼度が比較的高い（例えば、信頼度が予め定められた所定の閾値以上である）フレーム内位置のデプス値により構成されるデプスマップとしてもよい。このようなデプスマップの場合、デプス値の信頼度が低い部分（例えばフレーム内でのテクスチャが少ない部分等）においては無効値が存在し得る。アシストデプスマップを用いて、そのような部分に対してデプス値を設定することにより、より信頼度の高いデプスマップを生成することができる。
　そのデプス値の信頼度が比較的高いフレーム内位置は、基本デプスマップに対応する画像内の被写体のエッジ部分であり、基本デプスマップは、そのエッジ部分のデプス値により構成されるエッジデプスマップであるようにしてもよい。例えば、画像内の被写体のエッジ部分であるか否かを、信頼度の閾値としてもよい。その場合、アシストデプスマップを用いて、エッジデプスマップのエッジ部分でない部分（信頼度が閾値より低い部分）を編集することができる。なお、情報処理装置において、基本デプスマップとしてこのエッジデプスマップを生成する基本デプスマップ生成部をさらに備えるようにしてもよい。
　さらに、基本デプスマップのデプス値を更新するための上書きデプスマップを生成してもよい。例えば、情報処理装置において、基本デプスマップのデプス値を更新するためのデプスデータにより構成される上書きデプスマップを生成する上書きデプスマップ生成部をさらに備えるようにしてもよい。このようにすることにより、基本デプスマップのデプス値を変更することができる。
　この上書きデプスマップを、基本デプスマップのレイヤと異なるレイヤに生成してもよい。このようにすることにより、アシストデプスマップの場合と同様、より容易に、他のデプスマップと独立したデータとして上書きデプスマップを管理することができる。例えば、基本デプスマップを編集せずに、編集データとなる上書きデプスマップを生成（編集）することができる。また、レイヤ構成とすることにより、マップの合成がより容易になる。
　例えば、基本デプスマップおよび上書きデプスマップの合成において、基本デプスマップおよび上書きデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、上書きデプスマップのデプス値が用いられるようにしてもよい。例えば、情報処理装置において、合成デプスマップ生成部が、基本デプスマップおよび上書きデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、上書きデプスマップのデプスを用いて、互いに異なるレイヤの基本デプスマップおよび上書きデプスマップを合成するようにしてもよい。このように最適化処理を行うことにより、例えば光の反射等により基本デプスマップに発生した不正なデプス値を修正することができる。
　＜２．第１の実施の形態＞
　　＜コンピュータ＞
　次に、以上のようなアプリケーションプログラムを実行するデバイスについて説明する。図２は、本技術を適用した画像処理装置の一実施の形態であるコンピュータの主な構成例を示す図である。図２に示されるコンピュータ１００は、デプスデータの編集を行うアプリケーションプログラム（ソフトウエア）をインストールし、実行する装置である。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。コンピュータ１００は、アプリケーションプログラムを実行することにより、例えば、＜１．デプスマップの編集＞において上述した各種方法によりデプスマップ（基本デプスマップ）の編集を行う。このようにすることにより、基本デプスマップを編集した合成デプスマップ（出力デプスマップ）を生成することができる。
　なお、図２においては、処理部やデータの流れ等の主なものを示しており、図２に示されるものが全てとは限らない。つまり、コンピュータ１００において、図２においてブロックとして示されていない処理部が存在したり、図２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２に示されるコンピュータ１００において、CPU（Central Processing Unit）１０１、ROM（Read Only Memory）１０２、RAM（Random Access Memory）１０３は、バス１０４を介して相互に接続されている。
　バス１０４にはまた、入出力インタフェース１１０も接続されている。入出力インタフェース１１０には、入力部１１１、出力部１１２、記憶部１１３、通信部１１４、およびドライブ１１５が接続されている。
　入力部１１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１１２は、例えば、モニタ、スピーカ、出力端子などよりなる。記憶部１１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１１４は、例えば、ネットワークインタフェースよりなる。ドライブ１１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体１２１を駆動する。
　以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１１３に記憶されているアプリケーションプログラムを、入出力インタフェース１１０およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ１００が実行するアプリケーションプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１２１に記録して適用することができる。その場合、アプリケーションプログラムは、リムーバブル記録媒体１２１をドライブ１１５に装着することにより、入出力インタフェース１１０を介して、記憶部１１３にインストールすることができる。
　また、このアプリケーションプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、このアプリケーションプログラムは、通信部１１４で受信し、記憶部１１３にインストールすることができる。
　その他、このアプリケーションプログラムは、ROM１０２や記憶部１１３に、あらかじめインストールしておくこともできる。
　図３は、このコンピュータ１００においてこのアプリケーションプログラムを実行することにより実現される機能を機能ブロックとして示す機能ブロック図である。コンピュータ１００は、このアプリケーションプログラムを実行することにより、画像からデプスマップを生成し、編集する機能を実現する。
　なお、その際、コンピュータ１００は、例えば特許文献１に記載のように、画像から信頼性が比較的高い部分のデプス値からなるデプスマップを生成し、そのデプスマップ等に基づいて信頼性が比較的低い部分のデプス値を推定することにより、その画像に対応するデプスマップを生成するものとする。このようにすることにより、より信頼度の高いデプスマップを生成することができる。
　図３に示されるように、コンピュータ１００は、アプリケーションプログラムを実行することにより、GUI処理部１５１、ファイル取得部１５２、エッジデプス生成部１５３、最適化処理部１５４、ファイル出力部１５５、アシストデプス生成部１５６、上書きデプス生成部１５７、および表示画像生成部１５８等の機能ブロックを有することができる。各機能ブロックについて以下に説明する。
　GUI処理部１５１は、出力部１１２（のモニタ等）に表示されるGUIに関する処理を行う。例えば、GUI処理部１５１は、出力部１１２（のモニタ等）に表示されるデプスマップを編集するためのGUIに基づいて入力部１１１が操作されると（例えば、指示が入力されると）、その受け付けられた操作（指示）に応じた処理を行うことができる。なお、本明細書において、このGUI処理部１５１と入力部１１１と出力部１１２のモニタとを合わせたものをUI（User Interface）とも称する。また、GUI処理部１５１と入力部１１１とを合わせたものを受付部とも称する。
　ファイル取得部１５２は、ファイルの取得に関する処理を行う。例えば、ファイル取得部１５２は、編集を行うデプスマップに対応する画像（例えば撮像画像）のファイルを取得する。例えば、ファイル取得部１５２は、入力部１１１を介してコンピュータ１００の外部から入力される画像のファイルを取得し得る。また、ファイル取得部１５２は、記憶部１１３に記憶されている画像のファイルを取得し得る。さらに、ファイル取得部１５２は、通信部１１４を介して、他の装置から送信された画像のファイルを取得し得る。また、ファイル取得部１５２は、リムーバブル記録媒体１２１に記録されている画像のファイルを、ドライブ１１５を介して読み出し、取得することができる。ファイル取得部１５２は、任意の方法で取得した画像のファイルを、他の機能ブロックに供給する。
　エッジデプス生成部１５３は、エッジデプスの生成に関する処理を行う。エッジデプスマップは、画像のエッジ付近のデプス値により構成されるデプスマップである。一般的に、画像のエッジ部分は、信頼性が比較的高いデプス値が得られる部分である。つまり、エッジデプス生成部１５３は、信頼性が比較的高いデプス値が得られる領域についてデプス値を導出し、そのデプス値を含むデプスマップ（エッジデプスマップ）を生成する。エッジデプス生成部１５３は、ファイル取得部１５２により取得された画像のファイルを用いて、その画像に対応するエッジデプスマップを生成する。
　このエッジデプスマップが編集処理の対象となる。つまり、このエッジデプスマップが基本デプスマップとされる。なお、エッジデプスマップの、画像のエッジでない部分に対応する領域には、デプス値として無効値がセットされる。この無効値が設定された部分（つまり、奥行が不明な画素）のデプス値が推定されることにより、画像に対応するデプスマップ（出力デプスマップ）が生成される。なお、このデプス値を推定する処理を最適化処理（またはセミグローバル処理）とも称する。
　最適化処理部１５４は、最適化処理に関する処理を行う。つまり、最適化処理部１５４は、エッジデプスマップの奥行が不明な画素について、デプス値の推定を行う。この推定方法は任意である。例えば、特許文献１に記載の方法を適用してもよい。最適化処理部１５４は、最適化処理を行うことにより、単層のデプスマップを生成する。このデプスマップを最終的な出力デプスマップとしてもよい。なお、最適化処理部１５４は、最適化処理を行うことにより、複数のレイヤのデプスマップを合成して出力デプスマップとしてもよい。
　ファイル出力部１５５は、ファイルの出力に関する処理を行う。例えば、ファイル出力部１５５は、最適化処理部１５４により生成された出力デプスマップ（合成デプスマップ）を出力する。例えば、ファイル出力部１５５は、出力部１１２を介してその出力デプスマップをコンピュータ１００の外部に出力することができる。また、ファイル出力部１５５は、その出力デプスマップを記憶部１１３に記憶させることができる。さらに、ファイル出力部１５５は、その出力デプスマップを、通信部１１４を介して他の装置宛てに送信することができる。また、ファイル出力部１５５は、その出力デプスマップを、ドライブ１１５を介してリムーバブル記録媒体１２１に記録させることができる。
　アシストデプス生成部１５６は、アシストデプスマップの生成に関する処理を行う。アシストデプスマップは、基本デプスマップに付加（合成）するためのデプスデータにより構成されるデプスマップであり、基本デプスマップを編集するためのデプスマップである。アシストデプス生成部１５６は、例えば、GUI処理部１５１等を介して受け付けられたユーザ等の指示に基づいてこのアシストデプスマップを生成する。
　上書きデプス生成部１５７は、上書きデプスマップの生成に関する処理を行う。上書きデプスマップは、基本デプスマップのデプス値を更新するデプスデータにより構成されるデプスマップであり、基本デプスマップを編集するためのデプスマップである。上書きデプス生成部１５７は、例えば、GUI処理部１５１等を介して受け付けられたユーザ等の指示に基づいてこの上書きデプスマップを生成する。
　表示画像生成部１５８は、出力部１１２（のモニタ等）に表示させる表示画像を生成する。例えば、表示画像生成部１５８は、表示画像として、デプスマップを編集するためのGUI（後述するデプス編集画面）を生成する。そして、表示画像生成部１５８は、生成した表示画像を出力部１１２（のモニタ等）に表示させる。
　例えば、表示画像生成部１５８は、エッジデプス生成部１５３により生成されたエッジデプスマップ（基本デプスマップ）を用いて表示画像を生成することができる。例えば、表示画像生成部１５８は、そのエッジデプスマップ（基本デプスマップ）を含むデプス編集画面（エッジデプスマップが表示されるデプス編集画面）を生成することができる。また、表示画像生成部１５８は、アシストデプス生成部１５６により生成されたアシストデプスマップを用いて表示画像を生成することができる。例えば、表示画像生成部１５８は、そのアシストデプスマップを含むデプス編集画面（アシストデプスマップが表示されるデプス編集画面）を生成することができる。さらに、表示画像生成部１５８は、上書きデプス生成部１５７により生成された上書きデプスマップを用いて表示画像を生成することができる。例えば、表示画像生成部１５８は、その上書きデプスマップを含むデプス編集画面（上書きデプスマップが表示されるデプス編集画面）を生成することができる。
　なお、表示画像生成部１５８は、エッジデプスマップ（基本デプスマップ）とそのエッジデプスマップに対応するRGB画像とを重畳した重畳画像を用いて表示画像（重畳画像を含むデプス編集画面）を生成することができる。なお、表示画像生成部１５８は、その重畳画像に、アシストデプスマップや上書きデプスマップをさらに重畳させることもできる。つまり、表示画像生成部１５８は、重畳処理部として機能し得る。
　　　＜アシストデプス生成部＞
　アシストデプス生成部１５６は、キーフレーム設定部１６１、シェイプ設定部１６２、および線形補間部１６３を有する。
　キーフレーム設定部１６１は、キーフレームの設定に関する処理を行う。キーフレームは、動画像の、アシストデプスマップを生成するフレーム（つまり、エッジデプスマップを編集するフレーム）である。
　シェイプ設定部１６２は、エッジデプスマップ（基本デプスマップ）に追加するデプス値を設定する部分領域（局所）であるシェイプ領域の生成に関する処理を行う。
　線形補間部１６３は、キーフレーム間のフレームにおいて、アシストデプスマップ（シェイプ領域）を補間する。例えば、線形補間部１６３は、線形補間を行う。
　シェイプ設定部１６２は、形状設定部１７１およびデプス値設定部１７２を有する。形状設定部１７１は、例えば、シェイプ領域の形状（外枠）の設定（付加範囲の設定）に関する処理を行う。例えば、形状設定部１７１は、GUI処理部１５１等を介して受け付けられたユーザ等の指示（すなわち、出力部１１２のモニタ（表示部）に表示される基本デプスマップに対して入力される、シェイプ領域の形状に関するユーザ指示）に基づいてこのシェイプ領域の形状（外枠）を生成する。デプス値設定部１７２は、形状設定部１７１により設定された付加範囲内のデプス値の設定に関する処理を行う。例えば、デプス値設定部１７２は、GUI処理部１５１等を介して受け付けられたユーザ等の指示（すなわち、出力部１１２のモニタ（表示部）に表示される基本デプスマップに対して入力される、シェイプ領域のデプス値に関するユーザ指示）に基づいて、そのシェイプ領域内のデプス値を設定する。
　　　＜デプス編集画面＞
　図３の表示画像生成部１５８により生成され、出力部１１２に表示されるデプスマップを編集するためのGUIの例を、図４に示す。図４に示されるデプス編集画面２００は、このデプスマップを編集するためのGUIの一例である。図４に示されるように、デプス編集画面２００は、デプスマップ表示部２０１、レイヤ編集部２０２、および最適化制御部２０３を有する。
　デプスマップ表示部２０１には、編集対象のデプスマップ（編集されたデプスマップのプレビュー）が表示される。デプスマップ表示部２０１は、デプスマップが複数レイヤに形成される場合、各レイヤのデプスマップ（または一部のレイヤのデプスマップ）を重畳して表示する（透過表示する）こともできる。また、デプスマップ表示部２０１は、RGB画像とデプスマップとを重畳して表示する（透過表示する）こともできる。ここでRGB画像は、例えば輝度成分や色成分等よりなる、デプスマップでない、デプスマップに対応する画像である。例えば、撮像画像等である。なお、RGB画像は、RAW画像であってもよいし、YUV画像であってもよい。また、カラー画像であってもよいし、モノクローム画像であってもよい。なお、RAW画像やYUV画像である場合は、デプスマップ表示部２０１で表示するにあたってはRGB画像に変換された上で表示される。
　レイヤ編集部２０２は、編集作業を行うレイヤ毎の操作を行う領域である。レイヤ編集部２０２は、レイヤ選択欄２１１およびタイムライン２１２を有する。レイヤ選択欄２１１は、編集作業を行うレイヤを選択（指定）するためのGUIである。タイムライン２１２は、動画像のシーケンスが左右方向に示されるGUIである。つまり、RGB画像、エッジデプスマップ、アシストデプスマップ、上書きデプスマップは、単数フレームの静止画像であってもよいし、複数フレームからなる動画像であってもよい。このタイムライン２１２において、例えばポインタ２１３の位置（左右方向の位置）を指定することにより、処理対象とするフレームが選択される。
　最適化制御部２０３は、最適化処理のためのGUIである。最適化制御部２０３には、実行ボタン２３１、並びに、ファイル名入力欄２３２乃至ファイル名入力欄２３４が設けられている。ファイル名入力欄２３２には、最適化処理に用いる上書きデプスマップのファイル名が入力される。ファイル名入力欄２３３には、最適化処理に用いるアシストデプスマップのファイル名が入力される。ファイル名入力欄２３４には、最適化処理に用いるエッジデプスマップのファイル名が入力される。実行ボタン２３１を操作することにより、これらの入力欄に指定されたデプスマップが用いられて最適化処理が行われる。
　　＜エッジデプスマップの生成＞
　エッジデプス生成部１５３は、例えば、図５のＡに示されるような撮像画像１０から、図５のＢに示されるようなエッジデプスマップ３０１を生成する。エッジデプスマップ３０１においては、撮像画像のエッジ付近のデプス値のみが設定される。それ以外の部分、すなわち、図５のＢのエッジデプスマップ３０１において黒色の部分の各画素には、無効値が設定されている。
　このエッジデプスマップ３０１に対して、例えば図６のＡに示されるように、デプス値を追加する編集が行われる。図６のＡに示されるように、その際、シェイプ領域と称する部分領域が設定され、そのシェイプ領域毎にデプス値が設定される。つまり、デプス値の編集（追加）が局所的に（部分領域毎に）行われる。図６のＡの場合、シェイプ領域３１１が設定されている。
　例えば、ユーザは、図４のデプス編集画面２００のデプスマップ表示部２０１において、図６のＡのように、シェイプ領域３１１の形状とデプス値を指定する。形状設定部１７１は、その指示に基づいてシェイプ領域３１１の形状を設定する。形状は任意である。ユーザがデプス編集画面２００において指定した通りの形状であってもよいし、直線、矩形、多角形等であってもよい。シェイプ領域３１１の形状が設定されると、デプス値設定部１７２は、その指示に基づいてデプス値を設定する。
　このように設定されたシェイプ領域３１１は、図６のＢに示されるように、基本デプスマップであるエッジデプスマップ３０１とは異なる（レイヤの）アシストデプスマップ３２１として形成される。
　なお、シェイプ領域３１１のデプス値の設定方法は任意である。ユーザ等が数値を入力してもよいし、デプス編集画面２００上で指定した位置（フレーム内位置）のデプス値を複製してもよい。
　例えば、図７のＡに示されるように、エッジデプスマップ３３０の領域３３１のデプス値が１０、領域３３２のデプス値が２０、その他の領域が無効値であるとする。これに対して、図７のＢに示されるように、アシストデプスマップ３４０において、ユーザがカーソル３４１を操作して、シェイプ領域３４２の形状を設定する。次に、図７のＣに示されるように、エッジデプスマップ３３０において、ユーザがカーソル３４１を操作して、領域３３２内の画素を指定すると、その画素のデプス値（すなわち２０）が、図７のＤに示されるように、アシストデプスマップ３４０のシェイプ領域３４２にセットされる（複製される）。つまり、デプス値設定部１７２は、GUI処理部１５１等を介して受け付けられたユーザ等の指示（すなわち、領域３３２内の画素の指定）に基づいて、シェイプ領域３４２内のデプス値を、指定された領域３３２内の画素のデプス値に設定する。このようなGUIの機能（スポイド機能とも称する）を用いて、シェイプ領域のデプス値を設定することにより、ユーザはより容易にアシストデプスマップのデプス値の設定を行うことができる。
　なお、デプスマップは、単数レイヤであってもよい。その場合、基本デプスマップであるエッジデプスマップ３３０が編集される。つまり、図８に示されるように、ユーザがエッジデプスマップ３３０の無効値の領域に、シェイプ領域３４２の形状を設定し、領域３３２の画素を指定すると、そのデプス値がシェイプ領域３４２に複製される。この場合も、デプス値設定部１７２は、GUI処理部１５１等を介して受け付けられたユーザ等の指示（すなわち、領域３３２内の画素の指定）に基づいて、シェイプ領域３４２内のデプス値を、指定された領域３３２内の画素のデプス値に設定する。つまり、同一のデプスマップ内で複製が行われる。
　エッジデプスマップ３３０のデプス値を編集する場合、上書きデプスマップを用いてもよい。例えば、撮影時のノイズや細やかな絵柄の被写体の影響でエッジデプスマップに本来意図しないエラーが発生した場合、上書きデプスマップのデプス値を用いてそのエラーを修正するようにしてもよい。
　最適化処理により、エッジデプスマップ、アシストデプスマップ、上書きデプスマップが合成される。これらのマップは、互いに異なるレイヤとして形成してもよい。その場合、最適化処理により、図９のＡに示されるように、各レイヤが重畳されて合成される。図９のＡにおいて、上書きデプスレイヤ３５１は、上書きデプスマップのレイヤである。エッジデプスレイヤ３５２は、エッジデプスマップのレイヤである。アシストデプスレイヤ３５３は、アシストデプスマップのレイヤである。
　上書きデプスレイヤ３５１は、最適化処理の際に最も優先される。このレイヤの各画素の初期値は無効値またはエッジデプスレイヤ３５２と同じ値をとる。エッジデプスレイヤ３５２は、最適化処理の際にアシストデプスレイヤよりも優先される。アシストデプスレイヤ３５３は、最も優先度の低いレイヤである。このレイヤに書き込まれた値は、上書きデプスレイヤ３５１およびエッジデプスレイヤ３５２の値が無効値の場合のみ、採用される。初期値は、無効値またはエッジデプスレイヤと同じ値をとる。
　つまり、最適化処理により、各レイヤが合成され、各レイヤのデプス値が、図９のＡに示される矢印のように、図中上から見たように重畳される。つまり、図９のＢに示されるように重畳された出力デプスマップ３５４が生成される。つまり、アシストデプスレイヤ３５３のデプス値は、上書きデプスレイヤ３５１およびエッジデプスレイヤ３５２の両方において無効値である領域のみに作用する。なお、デプスマップは、単層構造としてもよい。
　このような最適化処理により生成される合成デプスマップ（出力デプスマップ）の例を図１０に示す。図１０に示される出力デプスマップ３６０において、枠２１で囲まれた領域の、オブジェクト１２と人物１１との間の部分が黒で表現されている。つまり、図１のＢのデプスマップ２０において誤った値であったデプス値が正しい値に修正されている。このように、デプスマップを編集することができる。
　なお、動画像の場合、書き込まれたシェイプ領域のフレーム内位置を変える必要がない場合は、そのままでよく、変える必要がある場合は、例えばキーフレームとしてシェイプ領域を入力する。例えば、図１１に示されるように、キーフレームを1フレーム目と30フレーム目とし、シェイプ領域を入力した場合、最適化処理時は、設定されたキーフレームから各レイヤのフレーム毎のシェイプ領域の移動量を算出し、最適化処理を行うようにしてもよい。このようにすることにより、比較的簡単に修正指示を与えることが可能になる。また、フレーム間のシェイプ領域の移動量は線形処理で算出してもよいし、画面全体の動き量に追従するような非線形処理で算出してもよい。
　図１１の例の場合、フレームＸがキーフレームに設定され、シェイプ領域３７１が設定されている。また、フレームＸ＋３０がキーフレームに設定され、シェイプ領域３７２が設定されている。これらのキーフレームに基づいて、フレームＸ＋１５において、シェイプ領域３７１およびシェイプ領域３７２の中間の位置（フレーム内位置）にシェイプ領域３７３が補間される。
　また最適化処理のアルゴリズムは、特許文献１に記載の様に、デプス値のみの参照でもよく、例えば、Jonathan T Barron and Ben Poole, "The fast bilateral solver", ECCV,2016（非特許文献２と称する）に記載のように入力されたRGB値とデプス値をガイドに最適化処理を行っても良い。
　以上のような構成を有することにより、＜１．デプスマップの編集＞において説明したように、デプスマップの編集を行うことができる。
　　＜処理の流れ＞
　次に、デプスマップの編集の際に実行される処理の流れの例を、図１２のフローチャートを参照して説明する。
　処理が開始されると、ファイル取得部１５２は、ステップＳ１０１において、ファイルを読み込み、RGB画像を取得する。ステップＳ１０２において、エッジデプス生成部１５３は、各フレームのエッジデプスを生成する。
　ステップＳ１０３において、アシストデプス生成部１５６は、フレームが選択されたか否かを判定する。フレームが選択されたと判定された場合、処理はステップＳ１０４に進む。また、ステップＳ１０４において、キーフレーム設定部１６１は、そのフレームをキーフレームにするか否かを判定する。キーフレームにすると判定された場合、処理はステップＳ１０５に進む。
　ステップＳ１０５において、キーフレーム設定部１６１は、そのフレームをキーフレームに設定する。ステップＳ１０６において、シェイプ設定部１６２は、そのフレームにシェイプ領域を生成する。
　ステップＳ１０６の処理が終了すると処理はステップＳ１０７に進む。また、ステップＳ１０４において、そのフレームをキーフレームにしないと判定された場合、処理はステップＳ１０７に進む。
　ステップＳ１０７において、上書きデプス生成部１５７は、上書きデプスマップを編集するか否かを判定する。上書きデプスマップを編集すると判定された場合、処理はステップＳ１０８に進む。ステップＳ１０８において、上書きデプス生成部１５７は、上書きデプスマップを編集する。
　ステップＳ１０８の処理が終了すると、処理はステップＳ１０９に進む。また、ステップＳ１０７において、上書きデプスマップを編集しないと判定された場合、処理はステップＳ１０９に進む。さらに、ステップＳ１０３において、フレームが選択されてないと判定された場合、処理はステップＳ１０９に進む。
　ステップＳ１０９において、アシストデプス生成部１５６は、デプスマップの編集を終了するか否かを判定する。デプスマップの編集を継続すると判定された場合、処理はステップＳ１０３に戻り、それ以降の処理を繰り返す。また、ステップＳ１０９において、デプスマップの編集を終了すると判定された場合、処理はステップＳ１１０に進む。
　ステップＳ１１０において、線形補間部１６３は、キーフレームが複数存在するか否かを判定する。存在すると判定された場合、処理はステップＳ１１１に進む。ステップＳ１１１において、線形補間部１６３は、アシストデプスマップ（シェイプ領域）の補間（例えば線形補間）を行い、キーフレーム間の他のフレームにアシストデプスマップ（シェイプ領域）を生成する。
　ステップＳ１１１の処理が終了すると、処理はステップＳ１１２に進む。また、ステップＳ１１２においてキーフレームが複数存在しないと判定された場合、処理はステップＳ１１２に進む。
　ステップＳ１１２において、最適化処理部１５４は、最適化処理を行い、単層構造の出力デプスマップを生成する。ステップＳ１１３において、ファイル出力部１５５は、その生成された出力デプスマップを出力する。
　次に、ステップＳ１０６において実行される、シェイプ領域の生成の際に実行される処理の流れの例を図１３のフローチャートを参照して説明する。
　処理が開始されると、シェイプ設定部１６２の形状設定部１７１は、ステップＳ１３１において、シェイプ領域の範囲（外形）を設定する。ステップＳ１３２において、デプス値設定部１７２は、ステップＳ１３１において設定された範囲内の領域にデプス値を設定する。
　ステップＳ１３３において、シェイプ設定部１６２は、処理を終了するか否かを判定する。処理を終了しない、すなわち、他のシェイプ領域の設定を行うと判定された場合、処理はステップＳ１３１に戻り、それ以降の処理を繰り返す。また、ステップＳ１３３において、処理を終了すると判定された場合、処理は図１２に戻る。
　以上のように各処理を実行することにより、＜１．デプスマップの編集＞において説明したように、デプスマップの編集を行うことができる。
　＜３．付記＞
　　＜ハードウエア＞
　上述した一連の処理は、ソフトウエア（アプリケーションプログラム）により実行させることもできるし、ハードウエアにより実行させることもできる。
　　＜本技術の適用対象＞
　本技術は、任意の構成に適用することができる。例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対してサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成するアシストデプスマップ生成部
　を備える情報処理装置。
　（２）　前記アシストデプスマップは、前記基本デプスマップの局所的な領域に付加するための前記デプスデータにより構成される
　（１）に記載の情報処理装置。
　（３）　前記アシストデプスマップ生成部は、UI（User Interface）を用いて入力される前記アシストデプスマップの生成に関するユーザ指示を受け付ける受付部からのユーザ指示情報に基づいて前記アシストデプスマップを生成する
　（２）に記載の情報処理装置。
　（４）　前記受付部は、前記UIとして表示部に表示される前記基本デプスマップに対して入力される前記ユーザ指示を受け付ける
　（３）に記載の情報処理装置。
　（５）　前記基本デプスマップと、前記基本デプスマップに対応する画像とを重畳して重畳画像として前記表示部に出力する重畳処理部をさらに備える
　（４）に記載の情報処理装置。
　（６）　前記受付部は、前記表示部に表示される前記基本デプスマップに対して入力される、
　　デプスデータを付加する付加範囲の指定と、
　　指定された前記付加範囲内の領域のデプス値の指定と
　を受け付ける
　（４）または（５）に記載の情報処理装置。
　（７）　前記受付部は、前記表示部に表示される前記基本デプスマップの前記付加範囲外におけるフレーム内位置の指定を、前記付加範囲内の領域のデプス値として前記フレーム内位置のデプス値を指定する前記ユーザ指示として受け付ける
　（６）に記載の情報処理装置。
　（８）　前記アシストデプスマップ生成部は、動画像のキーフレームについて、前記アシストデプスマップを生成する
　（２）乃至（７）のいずれかに記載の情報処理装置。
　（９）　前記キーフレームの前記アシストデプスマップを用いて、前記キーフレーム間のフレームの前記アシストデプスマップを補間する補間処理部をさらに備える
　（８）に記載の情報処理装置。
　（１０）　前記アシストデプスマップ生成部は、前記アシストデプスマップを、前記基本デプスマップのレイヤと異なるレイヤとして生成する
　（１）乃至（９）のいずれかに記載の情報処理装置。
　（１１）　互いに異なるレイヤの前記基本デプスマップおよび前記アシストデプスマップを合成することで、合成デプスマップを生成する合成デプスマップ生成部をさらに備える
　（１０）に記載の情報処理装置。
　（１２）　前記合成デプスマップ生成部は、前記基本デプスマップおよび前記アシストデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、前記基本デプスマップのデプス値を使用して前記合成デプスマップを生成する
　（１１）に記載の情報処理装置。
　（１３）　前記基本デプスマップは、デプス値の信頼度が閾値以上のフレーム内位置のデプス値により構成される
　（１２）に記載の情報処理装置。
　（１４）　前記信頼度の閾値は、画像内の被写体のエッジ部分であると判定する閾値であり、
　前記基本デプスマップは、前記エッジ部分のデプス値により構成されるエッジデプスマップである
　（１３）に記載の情報処理装置。
　（１５）　前記基本デプスマップとして前記エッジデプスマップを生成する基本デプスマップ生成部をさらに備える
　（１４）に記載の情報処理装置。
　（１６）　前記基本デプスマップのデプス値を更新するためのデプスデータにより構成される上書きデプスマップを生成する上書きデプスマップ生成部をさらに備える
　（１）乃至（１５）のいずれかに記載の情報処理装置。
　（１７）　前記上書きデプスマップ生成部は、前記上書きデプスマップを、前記基本デプスマップのレイヤと異なるレイヤに生成する
　（１６）に記載の情報処理装置。
　（１８）　前記基本デプスマップおよび前記上書きデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、前記上書きデプスマップのデプス値を用いて、互いに異なるレイヤの前記基本デプスマップおよび前記上書きデプスマップを合成する合成デプスマップ生成部をさらに備える
　（１７）に記載の情報処理装置。
　（１９）　基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成する
　情報処理方法。
　（２０）　コンピュータを、
　　基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成するアシストデプス生成部
　として機能させるプログラム。
　１００　コンピュータ，　１５１　GUI処理部，　１５２　ファイル取得部，　１５３　エッジデプス生成部，　１５４　最適化処理部，　１５５　ファイル出力部，　１５６　アシストデプス生成部，　１５７　上書きデプス生成部，　１５８　表示画像生成部，　１６１　キーフレーム設定部，　１６２　シェイプ設定部，　１６３　線形補間部，　１７１　形状設定部，　１７２　デプス値設定部，　２００　デプス編集画面，　２０１　デプスマップ表示部，　２０２　レイヤ編集部，　２０３　最適化制御部，　２１１　レイヤ選択欄，　２１２　タイムライン，　２３１　実行ボタン，　２３２乃至２３４　ファイル名入力欄，　３０１　エッジデプス，　３１１　シェイプ領域，　３２１　アシストデプス，　３５１　上書きデプスレイヤ，　３５２　エッジデプスレイヤ，　３５３　アシストデプスレイヤ，　３５４　出力レイヤ，　３６０　出力デプスマップ

Claims (20)

  1. 　基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成するアシストデプスマップ生成部
    　を備える情報処理装置。
  2. 　前記アシストデプスマップは、前記基本デプスマップの局所的な領域に付加するための前記デプスデータにより構成される
    　請求項１に記載の情報処理装置。
  3. 　前記アシストデプスマップ生成部は、UI（User Interface）を用いて入力される前記アシストデプスマップの生成に関するユーザ指示を受け付ける受付部からのユーザ指示情報に基づいて前記アシストデプスマップを生成する
    　請求項２に記載の情報処理装置。
  4. 　前記受付部は、前記UIとして表示部に表示される前記基本デプスマップに対して入力される前記ユーザ指示を受け付ける
    　請求項３に記載の情報処理装置。
  5. 　前記基本デプスマップと、前記基本デプスマップに対応する画像とを重畳して重畳画像として前記表示部に出力する重畳処理部をさらに備える
    　請求項４に記載の情報処理装置。
  6. 　前記受付部は、前記表示部に表示される前記基本デプスマップに対して入力される、
    　　デプスデータを付加する付加範囲の指定と、
    　　指定された前記付加範囲内の領域のデプス値の指定と
    　を受け付ける
    　請求項４に記載の情報処理装置。
  7. 　前記受付部は、前記表示部に表示される前記基本デプスマップの前記付加範囲外におけるフレーム内位置の指定を、前記付加範囲内の領域のデプス値として前記フレーム内位置のデプス値を指定する前記ユーザ指示として受け付ける
    　請求項６に記載の情報処理装置。
  8. 　前記アシストデプスマップ生成部は、動画像のキーフレームについて、前記アシストデプスマップを生成する
    　請求項２に記載の情報処理装置。
  9. 　前記キーフレームの前記アシストデプスマップを用いて、前記キーフレーム間のフレームの前記アシストデプスマップを補間する補間処理部をさらに備える
    　請求項８に記載の情報処理装置。
  10. 　前記アシストデプスマップ生成部は、前記アシストデプスマップを、前記基本デプスマップのレイヤと異なるレイヤとして生成する
    　請求項１に記載の情報処理装置。
  11. 　互いに異なるレイヤの前記基本デプスマップおよび前記アシストデプスマップを合成することで、合成デプスマップを生成する合成デプスマップ生成部をさらに備える
    　請求項１０に記載の情報処理装置。
  12. 　前記合成デプスマップ生成部は、前記基本デプスマップおよび前記アシストデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、前記基本デプスマップのデプス値を使用して前記合成デプスマップを生成する
    　請求項１１に記載の情報処理装置。
  13. 　前記基本デプスマップは、デプス値の信頼度が閾値以上のフレーム内位置のデプス値により構成される
    　請求項１２に記載の情報処理装置。
  14. 　前記信頼度の閾値は、画像内の被写体のエッジ部分であると判定する閾値であり、
    　前記基本デプスマップは、前記エッジ部分のデプス値により構成されるエッジデプスマップである
    　請求項１３に記載の情報処理装置。
  15. 　前記基本デプスマップとして前記エッジデプスマップを生成する基本デプスマップ生成部をさらに備える
    　請求項１４に記載の情報処理装置。
  16. 　前記基本デプスマップのデプス値を更新するためのデプスデータにより構成される上書きデプスマップを生成する上書きデプスマップ生成部をさらに備える
    　請求項１に記載の情報処理装置。
  17. 　前記上書きデプスマップ生成部は、前記上書きデプスマップを、前記基本デプスマップのレイヤと異なるレイヤに生成する
    　請求項１６に記載の情報処理装置。
  18. 　前記基本デプスマップおよび前記上書きデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、前記上書きデプスマップのデプス値を用いて、互いに異なるレイヤの前記基本デプスマップおよび前記上書きデプスマップを合成する合成デプスマップ生成部をさらに備える
    　請求項１７に記載の情報処理装置。
  19. 　基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成する
    　情報処理方法。
  20. 　コンピュータを、
    　　基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成するアシストデプス生成部
    　として機能させるプログラム。
PCT/JP2021/010986 2020-03-31 2021-03-18 情報処理装置および方法、並びにプログラム WO2021200190A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/907,155 US20230107179A1 (en) 2020-03-31 2021-03-18 Information processing apparatus and method, as well as program
JP2022511868A JPWO2021200190A1 (ja) 2020-03-31 2021-03-18
EP21778783.7A EP4113455A4 (en) 2020-03-31 2021-03-18 INFORMATION PROCESSING APPARATUS AND METHOD AND PROGRAM
CN202180023801.8A CN115315720A (zh) 2020-03-31 2021-03-18 信息处理装置和方法以及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-065031 2020-03-31
JP2020065031 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021200190A1 true WO2021200190A1 (ja) 2021-10-07

Family

ID=77928742

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/010986 WO2021200190A1 (ja) 2020-03-31 2021-03-18 情報処理装置および方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20230107179A1 (ja)
EP (1) EP4113455A4 (ja)
JP (1) JPWO2021200190A1 (ja)
CN (1) CN115315720A (ja)
WO (1) WO2021200190A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014064875A1 (ja) 2012-10-24 2014-05-01 ソニー株式会社 画像処理装置および画像処理方法
JP2015022458A (ja) * 2013-07-18 2015-02-02 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8384763B2 (en) * 2005-07-26 2013-02-26 Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
TWI586143B (zh) * 2012-04-05 2017-06-01 皇家飛利浦電子股份有限公司 用於提供用於傳送至三維[3d]目標裝置之3d視訊信號之3d源裝置、方法及記錄載體以及用於自3d源裝置接收3d視訊信號之3d目標裝置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014064875A1 (ja) 2012-10-24 2014-05-01 ソニー株式会社 画像処理装置および画像処理方法
JP2015022458A (ja) * 2013-07-18 2015-02-02 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4113455A4

Also Published As

Publication number Publication date
JPWO2021200190A1 (ja) 2021-10-07
CN115315720A (zh) 2022-11-08
EP4113455A4 (en) 2023-11-08
US20230107179A1 (en) 2023-04-06
EP4113455A1 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
JP6669063B2 (ja) 画像処理装置および方法
JP6016061B2 (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
JP5818514B2 (ja) 画像処理装置および画像処理方法、プログラム
US8717390B2 (en) Art-directable retargeting for streaming video
US8363985B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
KR20150104073A (ko) ２ｄ 이미지 시퀀스들로부터 ３ｄ 장면을 재구성하기 위한 방법
JP6316910B2 (ja) シーン基準のメタデータ捕捉のための基準カード
US8373802B1 (en) Art-directable retargeting for streaming video
WO2008041178A2 (en) Image enhancement
BR112019027116A2 (pt) aparelho para gerar uma imagem, aparelho para gerar um sinal de imagem, método para gerar uma imagem, método para gerar um sinal de imagem e sinal de imagem
JP7285834B2 (ja) 三次元再構成方法および三次元再構成装置
US20130293533A1 (en) Image processing apparatus and image processing method
JP2007053621A (ja) 画像生成装置
JP5832211B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20130278602A1 (en) Animatable graphics lighting analysis reporting
JP2014116012A (ja) 画像間の色転送を行う方法および装置
JP2002163678A (ja) 擬似三次元画像生成方法および装置
WO2021200190A1 (ja) 情報処理装置および方法、並びにプログラム
KR101632514B1 (ko) 깊이 영상 업샘플링 방법 및 장치
Xiong et al. Fast and high-quality image blending on mobile phones
JP5906165B2 (ja) 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム
CN111033575A (zh) 图像处理装置、显示装置、图像发送装置、图像处理方法、控制程序以及记录介质
WO2024057902A1 (ja) 情報処理装置および方法、並びにプログラム
EP3115964A1 (en) Method and device for removing an object in a video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21778783

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511868

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021778783

Country of ref document: EP

Effective date: 20220926

NENP Non-entry into the national phase

Ref country code: DE