WO2021166690A1 - 情報処理装置および方法、並びにプログラム - Google Patents

情報処理装置および方法、並びにプログラム Download PDF

Info

Publication number
WO2021166690A1
WO2021166690A1 PCT/JP2021/004355 JP2021004355W WO2021166690A1 WO 2021166690 A1 WO2021166690 A1 WO 2021166690A1 JP 2021004355 W JP2021004355 W JP 2021004355W WO 2021166690 A1 WO2021166690 A1 WO 2021166690A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
unit
data
depth value
image
Prior art date
Application number
PCT/JP2021/004355
Other languages
English (en)
French (fr)
Inventor
櫛田　英功
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP21756524.1A priority Critical patent/EP4109407A4/en
Priority to US17/799,007 priority patent/US20230063237A1/en
Publication of WO2021166690A1 publication Critical patent/WO2021166690A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present disclosure relates to an information processing device, a method, and a program, and more particularly to an information processing device, a method, and a program capable of performing processing on a desired depth value range of depth data.
  • Patent Document 1 Conventionally, there has been a method of imaging depth data and displaying it by changing the hue according to the distance in the depth direction (see, for example, Patent Document 1). Further, there is a method of creating a three-dimensional model from a depth map and RGB data (see, for example, Patent Document 2). Further, there is a method in which a threshold value is set and only the pixels in front of the threshold value are targeted for three-dimensional model generation (see, for example, Patent Document 3).
  • Japanese Unexamined Patent Publication No. 3-269680 Japanese Unexamined Patent Publication No. 2014-67372 Japanese Unexamined Patent Publication No. 2016-71645
  • This disclosure has been made in view of such a situation, and enables processing for a desired depth value range of depth data.
  • the information device of one aspect of the present technology sets the maximum value and the minimum value of the depth value for the depth data corresponding to the image data, thereby setting the range of the depth value having the maximum value and the minimum value as both ends.
  • It is an image pickup apparatus including a depth value range setting unit to be set and a mask generation unit for generating a mask of the depth data according to the depth value range set by the depth value range setting unit.
  • the information processing method of one aspect of the present technology is a range of depth values having the maximum value and the minimum value as both ends by setting the maximum value and the minimum value of the depth value for the depth data corresponding to the image data. Is an information processing method for generating a mask of the depth data according to the set range of the depth value.
  • the computer sets the maximum value and the minimum value of the depth value for the depth data corresponding to the image data, so that the maximum value and the depth value having the minimum value as both ends are set.
  • This is a program that functions as a depth value range setting unit that sets a range and a mask generation unit that generates a mask of the depth data according to the depth value range set by the depth value range setting unit.
  • the maximum value and the minimum value of the depth value for the depth data corresponding to the image data are set at both ends.
  • the range of depth values to be processed is set, and a mask of depth data corresponding to the set range of depth values is generated.
  • FIG. 1 is a diagram showing an example of a state of imaging.
  • FIG. 1 shows how the object 11 and the object 12 are imaged by the camera 10.
  • the cameras 10 can obtain captured images of a plurality of viewpoints having parallax with each other, depth data (RGB-D) indicating the distance to the subject can be obtained by using the captured images.
  • RGB-D depth data
  • Patent Document 1 discloses a method of imaging depth data and displaying different hues according to a distance in the depth direction.
  • Patent Document 2 discloses a method of creating a three-dimensional model using such a depth image (also referred to as a depth map) and RGB data.
  • Patent Document 3 discloses a method in which a threshold value is set and only pixels in front of the threshold value are targeted for three-dimensional model generation.
  • Patent Document 1 and Patent Document 2 did not describe or suggest the setting of the depth value range.
  • the threshold value is shown in Patent Document 3, it is a fixed value, and the depth value range cannot be arbitrarily set by this method.
  • the imaging of the camera 10 of FIG. 1 obtains, for example, an RGB image 21 as shown in FIG. 2 and a depth image 22 as shown in FIG.
  • the RGB image 21 in FIG. 2 is a so-called captured image (RAW image), and is an image corresponding to RGB data composed of pixel values of R pixels, G pixels, and B pixels.
  • the depth image 22 of FIG. 3 is an image of the depth data corresponding to the RGB image 21 by assigning a color to each depth value.
  • the depth image 22 is map information that expresses the distance (depth value) to the subject in each pixel of the RGB image 21 by the color (pixel value) of each pixel.
  • the RGB image does not have to be a RAW image with a Bayer array.
  • the color space of the captured image is arbitrary and does not have to be an RGB image.
  • it may be an image of YUV, YCbCr, YPbPr or the like.
  • the captured image does not have to be a color image.
  • it may be a monochromatic image such as a monochrome image or a sepia toning image. That is, the RGB image 21 may be any shape as long as it takes the form of an image.
  • the colors are evenly assigned to the depth values from the nearest neighbor to the infinity of the camera 10.
  • the depth values from the nearest neighbor to infinity of the camera 10 are divided into regions A0 to A6, and different colors are assigned to each region. That is, the entire depth value (from the nearest neighbor to infinity) is represented by seven colors.
  • white, gray, and black are assigned to each area, but the color assigned to each area is arbitrary and is not limited to this example.
  • a pattern may be used instead of the color. Moreover, you may combine a color and a pattern.
  • the hue has a predetermined regularity (for example, the color increases as the depth value increases so that the depth value can be estimated from the color). Should be assigned to the depth value based on (such as changing from cool colors to warm colors).
  • the object 11 and the object 12 are each represented by only two colors as shown in FIG. Therefore, it is difficult for the user to grasp the three-dimensional effect (depth) of the object 11 and the object 12.
  • the hue is set based on a predetermined regularity as described above. Therefore, in general, for depth values that are close to each other, the hue is set. They tend to be assigned colors that are close to each other. Therefore, even if the number of colors assigned to the objects 11 and 12 increases, the width of the colors (maximum difference in colors) does not change significantly from the case of the two colors shown in FIG. Therefore, as in the case of FIG. 3, it is difficult for the user to grasp the stereoscopic effect (depth) of the object in the depth image 22.
  • a threshold value can be set for the depth value, but this threshold value is a fixed value and is for removing a distant place such as a background or infinity. Therefore, even if the method described in Patent Document 3 is applied, the range of depth values is wider than the length of the objects 11 and 12 in the depth direction, and the width of colors that can be assigned to those objects is shown in FIG. It becomes smaller as in the case of. Therefore, it is difficult for the user to grasp the three-dimensional effect (depth) of the object in the depth image 22 as in the case of the methods described in Patent Document 1 and Patent Document 2.
  • ⁇ Depth value range setting> Therefore, for the depth data corresponding to the image data, by setting the maximum value and the minimum value of the depth value, the range of the depth value having the maximum value and the minimum value as both ends is set. For example, a mask of depth data corresponding to the set depth value range is generated.
  • the depth value range can be arbitrarily set, and processing can be performed on the desired depth value range of the depth data. For example, as described above, it is possible to generate a mask corresponding to a set depth value range. Further, for example, this mask can be used to generate a depth image corresponding to the range of the depth value, or to generate 3D data corresponding to the range of the depth value.
  • the hue may be set for the depth value according to the range of the depth value set as described above. By doing so, for example, it is possible to generate a depth image in which the hue is set according to the set depth value range.
  • ⁇ GUI for setting depth value range> For example, a display image including a GUI (Graphical User Interface) for setting a depth value range is generated, and input related to the depth value range setting performed based on the GUI included in the display image is accepted and the input is received. A range of depth values may be set based on the input. In other words, the "range of desired depth values" may be manually set.
  • GUI Graphic User Interface
  • FIG. 5 is a diagram showing an example of a display image displaying a GUI for setting a range of depth values.
  • the display image 30 shown in FIG. 5 is an image displayed on the monitor in order to present the depth image to the user and to accept the instruction input for the depth data.
  • the depth value may be a value proportional to the distance or a value proportional to the parallax in stereo vision, in which case both can be converted to each other by the following equation (1).
  • the display image 30 is provided with a depth image display unit 31 for displaying the depth image. Further, the display image 30 is provided with a slide bar 32 as a GUI for setting the depth value range, in which the depth value range is specified according to the position of the operator.
  • the controls are movable along the slide bar 32, and the user can set a desired range of depth values by determining the positions of these controls. In other words, the user can change the "desired range of depth values" by changing the position of these controls. That is, the "desired depth value range" is manually set.
  • the slide bar 32 is provided with a knob 33 and a knob 34 as its controls.
  • the knob 33 is an operator in which the minimum value of the “desired depth value range” is specified according to the position of the knob 33.
  • the knob 34 is an operator in which the maximum value of the “desired depth value range” is specified according to the position of the knob 34. That is, the user can specify the upper limit and the lower limit of the depth value range by determining the positions of the knob 33 and the knob 34.
  • the knob 33 and knob 34 are controls that specify a "range of desired depth values" and are between the maximum and minimum depth values specified by the user using the knobs 33 and 34.
  • the range is designated as the "range of desired depth values”.
  • a minimum value display unit 35 for displaying the minimum value of the currently designated “desired depth value range” is provided on the left side of the slide bar 32 of the display image 30, a minimum value display unit 35 for displaying the minimum value of the currently designated “desired depth value range" is provided. That is, the minimum value display unit 35 displays the depth value corresponding to the position of the knob 33. For example, when the position of the knob 33 is updated, the depth value displayed on the minimum value display unit 35 is also updated accordingly.
  • a maximum value display unit 36 for displaying the maximum value of the currently designated “desired depth value range” is provided. That is, the maximum value display unit 36 displays the depth value corresponding to the position of the knob 34. For example, when the position of the knob 34 is updated, the depth value displayed on the maximum value display unit 36 is also updated accordingly.
  • the minimum value display unit 35 and the maximum value display unit 36 may display parallax instead of the distance (depth value). Further, the minimum value display unit 35 and the maximum value display unit 36 may be provided with a GUI (for example, a button or the like) for switching between displaying the distance and displaying the parallax. When displaying the parallax, the magnitude of the value is opposite to that when the distance is displayed.
  • a GUI for example, a button or the like
  • the relationship between the positions of the knobs 33 and the knobs 34 on the slide bar 32 and the values may be evenly spaced with respect to the distance.
  • knobs 33 and 34 on the slide bar 32 may be evenly spaced with respect to the parallax.
  • the knob 33 may not be able to move to the right side in the figure with respect to the knob 34.
  • the knob 34 moves to the right side of the knob 34 so that the knob 33 is not located to the right side of the knob 34. You may also move it to the right side. That is, the position of each knob may be controlled so that the knob 33 is always located on the left side of the knob 34.
  • the knob 33 is allowed to be located on the right side of the knob 34, and the position of the knob on the left side of the knob 33 and the knob 34 indicates the minimum value of the "desired depth value range”.
  • the position of the knob on the middle right side may indicate the maximum value of the "desired depth value range”.
  • the position of the knob 34 indicates the minimum value of the "desired depth value range”
  • the position of the knob 33 is the maximum value of the "desired depth value range”. May be shown.
  • the slide bar 32 has been used as an example of the GUI for setting the depth value range.
  • the GUI for setting the depth value range is not limited to this example, and any GUI can be used. You may.
  • the knob 33 has been used as an example of the operator for setting the minimum value in the depth value range, but this operator is not limited to this example, and any GUI can be used. good.
  • the knob 34 has been used as an example of the operator for setting the maximum value in the depth value range. However, this operator is not limited to this example, and any GUI can be used. good.
  • Hue may be set in the depth data according to the "range of desired depth values" set as described above.
  • the hue may be set for each depth value according to the "range of desired depth values” specified by using the slide bar 32, and the depth image may be displayed on the depth image display unit 31.
  • a "range of desired depth values” including the object 11 may be set, and the hue may be set so as to allocate many colors to the range.
  • the range of the depth value in which the object 11 exists is defined as the "range of the desired depth value”, and the range is divided into the regions A1 to A5, and different colors are used for each region. Assigned.
  • the depth value range on the front side of the "desired depth value range”, that is, on the front side of the object 11, is one area A0, and one color (for example, white) is assigned.
  • the range of depth values behind the "desired range of depth values" that is, the range of depth values behind the object 11, is one region A6, and one color (for example, black) is assigned.
  • the color assigned to each area is arbitrary and is not limited to this example. Further, a pattern may be used instead of the color. Moreover, you may combine a color and a pattern. However, the hue setting (assignment of each color) is performed based on a predetermined regularity as in the case of FIG.
  • FIG. 7 shows an example of the display image 30.
  • the positions of the knobs 33 and 34 are manipulated by a user or the like, and the minimum value “D1 (m)” and the maximum value “D2 (m)” are “desired depth values”. Range "is specified.
  • the depth image 22 depth image corresponding to the RGB image 21
  • the hue is set for each depth value according to the “range of desired depth values” designated in this way is displayed on the depth image display unit 31. It is displayed.
  • the range of D1 to D2 corresponds to the range of regions A1 to A5 in the example of FIG. That is, the object 11 exists in the range of D1 to D2.
  • the depth values of D1 to D2 can be expressed by 5 colors out of 7 colors. That is, since the width of the color assigned to the object 11 (maximum difference in color) is wider than that in the case of FIG. 3 (two colors out of seven colors), the user can make the three-dimensional effect (depth) of the object 11 more detailed. Can be grasped.
  • a "range of desired depth values” including the object 12 may be set, and the hue may be set so as to allocate many colors to the range.
  • the range of the depth value in which the object 12 exists is defined as the "range of the desired depth value”, and the range is divided into the regions A1 to A5, and different colors are used for each region. Assigned.
  • the depth value range on the front side of the "desired depth value range”, that is, on the front side of the object 12, is one area A0, and one color (for example, white) is assigned.
  • the range of depth values behind the "desired range of depth values" that is, the range of depth values behind the object 12, is one region A6, and one color (for example, black) is assigned.
  • the color assigned to each area is arbitrary and is not limited to this example. Further, a pattern may be used instead of the color. Moreover, you may combine a color and a pattern. However, the hue setting (assignment of each color) is performed based on a predetermined regularity as in the case of FIG.
  • FIG. 9 shows an example of the display image 30.
  • the positions of the knobs 33 and 34 are manipulated by a user or the like, and the minimum value “D3 (m)” and the maximum value “D4 (m)” are “desired depth values”.
  • Range is specified.
  • the depth image 22 depth image corresponding to the RGB image 21
  • the hue is set for each depth value according to the “range of desired depth values” designated in this way is displayed on the depth image display unit 31. It is displayed.
  • the range of D3 to D4 corresponds to the range of regions A1 to A5 in the example of FIG. That is, the object 12 exists in the range of D3 to D4.
  • the depth values of D3 to D4 can be expressed by 5 colors out of 7 colors. That is, since the width of the color assigned to the object 12 (maximum difference in color) is wider than that in the case of FIG. 3 (two colors out of seven colors), the user can make the three-dimensional effect (depth) of the object 12 more detailed. Can be grasped.
  • the user can grasp the stereoscopic effect (depth feeling) of the "desired depth value range” in more detail. Will be.
  • the colors in the "desired depth value range” are used for the area A0 on the front side and the area A6 on the back side of the “desired depth value range”, respectively. Assigned different colors (eg white or black), but not limited to this. For example, even if the color assigned to the area A1 is assigned to the area A0 on the front side of the "desired depth value range", that is, the color assigned to the minimum value of the "desired depth value range” is assigned. good. Further, for example, the color assigned to the area A5, that is, the color assigned to the maximum value of the "desired depth value range” is assigned to the area A6 behind the "desired depth value range". You may.
  • a mask may be generated according to the "desired depth value range".
  • the object 11 located in front of the object 12 is represented by the color (for example, white) assigned to the area A0, and the background (for example, white) is represented. It is expressed in a different color from black). If you want to pay attention only to the object 12, the expression of the object 11 is unnecessary.
  • the outside of the "desired depth value range” including the object 12 may be masked, and the hue may be set only for the "desired depth value range". At that time, it is not necessary to assign a color to the masked depth value outside the "desired depth value range", or a predetermined color may be assigned separately. This predetermined color is arbitrary. In order to be able to distinguish between the "desired depth value range” and the outside of the “desired depth value range", a color different from the color assigned to the "desired depth value range" is set to the "desired depth value range". All you have to do is assign it to a depth value outside the range of.
  • the same color may be assigned to the depth value on the front side and the depth value on the back side of the "desired depth value range”, or different colors may be assigned to each other.
  • the color assigned to the area A1 is assigned to the area A0 on the front side of the "desired depth value range”
  • the color assigned to the area A1 is assigned to the area A6 on the back side of the "desired depth value range”.
  • the color assigned to the area A5 may be assigned.
  • the depth image displayed on the depth image display unit 31 of the display image 30 of FIG. 10 masks the outside of the “desired depth value range” in this way, and only covers the “desired depth value range”.
  • An example of the depth image 22 when the hue is set is shown. Note that the depth values on the front side and the back side of the "desired depth value range" of the depth image 22 are separately assigned to the same color (for example, black).
  • the object 11 located in front of the object 12 is also represented by the same color (for example, black) as the background and the like. Therefore, since only the object 12 is represented by a color different from the other regions, the user can pay attention to the object 12 more easily than in the case of the example of FIG.
  • the masking range is set based on the “desired depth value range”. It is optional.
  • the range of “desired depth value range” may be masked.
  • the outside (or within) of a predetermined range including the "range of desired depth value” may be masked.
  • a part of the range of the "desired depth value range” (or outside the range) may be masked.
  • this depth data masking process can be said to be a process of masking a pixel area other than the subject existing in the "desired depth value range" in the depth image. That is, the masked area of the depth image may be set based on the "range of desired depth values". For example, a depth image that masks the set area may be generated, or mask data that masks the set area may be generated.
  • the positions of the knobs 33 and 34 may not only be changed by the user, but may also be set automatically.
  • the positions of the knob 33 and the knob 34 may be set according to the distribution of the depth values in the depth image to be displayed. For example, when the range of the depth value included in the depth image is 1.2 m to 1.5 m, when the image reading operation is completed, the knob 33 is set to the position corresponding to 1.2 m based on the range, and the knob is set. 34 may be set at a position of 1.5 m. By doing so, it is possible to assign hues to the depth values included in the depth image without excess or deficiency.
  • the maximum / minimum values may be acquired after applying an image processing filter having a noise removing effect such as a two-dimensional median filter to the depth image.
  • the two-dimensional median filter is a filter that employs, for example, a median (median value) of 9 pixels including 8 adjacent pixels as an output value of the pixel of interest.
  • the parameters for automatically setting the "desired depth value range" in this way are arbitrary and are not limited to the above-mentioned depth value distribution.
  • the user or the like may be able to move the positions of the knobs 33 and the knobs 34 that are automatically set as described above. That is, the "range of desired depth value" automatically set as described above may be updated (manually set) by the user or the like by moving the knob 33 or the knob 34.
  • the initial positions of the knobs 33 and 34 that is, the initial values of the minimum value and the maximum value of the "desired depth value range" are set by the above-mentioned automatic setting.
  • the range of the depth value corresponding to the slide bar 32 (in other words, the scale of the slide bar 32) may be set. That is, for example, the knob 33 is fixed to the left end of the slide bar 32, the knob 34 is fixed to the right end of the slide bar 32, and the depth values corresponding to the left end and the right end of the slide bar 32 are automatically set. You may do it.
  • these depth values may be set according to the distribution of the depth values in the depth image to be displayed, as in the case described above. That is, the scale of the slide bar 32 may be adjusted according to the distribution of the depth values in the depth image.
  • the range of the slide bar 32 corresponds to the range from the nearest neighbor to infinity, it may be difficult to adjust the positions of the knob 33 and the knob 34 for a depth image having a narrow depth range.
  • the range of the depth value corresponding to the slide bar 32 is narrower than the range of the depth value in the depth image, it may be difficult to express all the depth values of the depth image.
  • by making the scale of the slide bar 32 variable it is possible to suppress such a reduction in the operability of the slide bar 32. Further, by automatically adjusting the scale of the slide bar 32 according to the depth distribution of the depth image, it is possible to more easily suppress the reduction in the operability of the slide bar 32.
  • the parameters for adjusting the scale of the slide bar 32 are arbitrary and are not limited to the above-mentioned distribution of depth values. Further, the scale of the slide bar 32 automatically set as described above may be changed by an operation of a user or the like.
  • the scale adjustment of the slide bar 32 as described above can be said to be the control of the depth value movable range of the knob 33 and the knob 34 (the maximum range (upper limit and lower limit) of the "desired depth value range").
  • the movable range of the knob 33 and the knob 34 on the slide bar 32 is controlled. You may try to do it.
  • the positions of the knob 33 and the knob 34 are set by the above-mentioned automatic setting, and then the positions of the knob 33 and the knob 34 are variable by GUI operation by the user or the like, but the knob 33 is set from the automatically set position. The movement to the left side is prohibited, and the knob 34 may be prohibited from moving to the right side from the automatically set position.
  • a histogram of the depth value may be displayed. That is, for example, as shown in FIG. 11, the display image 30 may include the histogram 41. In this histogram 41, the frequency of appearance of the depth value in the depth image displayed on the depth image display unit 31 is displayed corresponding to the position of the slide bar 32. That is, the histogram 41 may be included in the GUI (slide bar 32) included in the display image 30.
  • the user can estimate the position of the object (position in the depth direction) based on the histogram. For example, the user sets the "desired depth value range" to more easily include the object by setting the positions of the knobs 33 and 34 to match the depth value breaks based on the histogram. be able to. It is also possible to estimate the noise component of the depth value based on the histogram. That is, by displaying the histogram in this way, the user can more efficiently set the "desired depth value range" by using the histogram.
  • ⁇ Composite display of depth image and RGB image> The positional relationship between the depth data (image) and the RGB data (image) does not always match. For example, when the depth and RGB are acquired by different sensors, the alignment is performed based on the depth, but when the calibration of the sensor position is deviated, the RGB-D data is deviated from the positional relationship. In addition, when generating depth data based on the principle of stereo vision, even if the original data is the RGB image itself, the calculation is usually performed by matching the ranges with a certain size, so for the RGB data. , Depth data may be slightly out of the way. However, it is very difficult to visually recognize such a deviation only by displaying the depth image and the RGB image side by side or vertically.
  • the depth image and the RGB image may be blended and displayed.
  • a mixed image in which the depth image 22 (FIG. 3) and the RGB image 21 (FIG. 2) are blended may be displayed on the depth image display unit 31 of the display image 30.
  • the depth image and the RGB image may be blended pixel by pixel.
  • the blending of each pixel can be performed by a calculation such as the following equations (2) to (4).
  • Pixel after blending R Blend ratio x Depth image (hue expression) R + (1-Blend ratio) * RGB image R ... (2)
  • Pixel after blending G Blend ratio x Depth image (hue expression) G + (1-Blend ratio) * RGB image G ...
  • Pixel after blending B Blend ratio x Depth image (hue expression) B + (1-Blend ratio) * RGB image B ... (4)
  • the user can efficiently visually recognize the positional deviation between the depth image and the RGB image.
  • the user may be able to control this blend ratio.
  • a display image including a GUI for setting the blend ratio between the depth image and the RGB image is generated, and input regarding the setting of the blend ratio between the depth image and the RGB image is performed based on the GUI included in the display image.
  • the blend ratio of the depth image and the RGB image may be set, and a mixed image thereof may be generated.
  • the display image 30 is provided with a slide bar 51 in which the blend ratio is specified according to the position of the operator as a GUI for setting the blend ratio between the depth image and the RGB image.
  • the knob 52 is an operator thereof and can be moved along the slide bar 51.
  • the user can set the blend ratio of the depth image and the RGB image by operating the knob 52 and designating the position thereof.
  • the setting is reflected in the mixed image displayed on the depth image display unit 31. That is, the depth image and the RGB image are blended at a blend ratio according to the position of the knob 52 specified by the user to generate a mixed image, and the mixed image is displayed on the depth image display unit 31. That is, the user can manually set the blend ratio of the depth image and the RGB image by operating the knob 52.
  • a depth value mixing ratio display unit 53 for displaying the blend ratio (numerical value) of the depth image is provided on the left side of the slide bar 51 in the drawing. Further, on the right side of the slide bar 51 in the drawing, an RGB mixing ratio display unit 54 for displaying the blend ratio (numerical value) of the RGB image is provided.
  • the user can roughly grasp the blend ratio by the position of the knob 52, but the blend ratio can be grasped more directly by these displays (display of numerical values). That is, this display allows the user to grasp the more accurate blend ratio. Since the blend ratio of the depth image and the blend ratio of the RGB image are 1 in total, only one of the blend ratios may be displayed. Further, the display of the blend ratio (numerical value) may be omitted. That is, the depth value mixing ratio display unit 53 and the RGB mixing ratio display unit 54 can be omitted.
  • this blend ratio (that is, the position of the knob 52) may be automatically set.
  • the parameters used for the automatic setting are arbitrary.
  • the user or the like may be able to manually set the blend ratio. That is, the initial value of the blend ratio may be automatically set.
  • this manual setting may be prohibited.
  • the movable range may be limited based on the automatic setting result.
  • the scale of the slide bar 51 may be made variable so that the scale is automatically set.
  • the region specified based on the depth range may be eroded, which is one of the morphology filters, and the result may be used as the range for generating 3D model data (that is, the mask region).
  • the output is in the area if all the neighboring pixels are in the area with respect to the pixel of interest, and the output is out of the area otherwise. That is, all the neighboring pixels seen from each pixel on the outer circumference (outer boundary) of the object 62 of the depth image are out of the area.
  • the neighboring pixel is a pixel within a predetermined range when viewed from the pixel to be processed. That is, pixels located within a circle having a predetermined radius centered on the pixel to be processed are defined as neighboring pixels. This radius is also called the kernel size.
  • a region centered on each pixel on the outer circumference (outer boundary) of the object 62, inside a circle 63 having a radius of the kernel size, and inside the object 62 erodes. It is the target area for treatment (also called the erosion area). That is, by this erosion treatment, the object 62 is reduced by the amount of the erosion region.
  • This kernel size may be variable, as the appropriate kernel size will vary from case to case. For example, it generates a display image including a GUI for setting this kernel size, accepts input related to kernel size setting based on that GUI, sets the kernel size based on the input, and performs erosion processing. May be done.
  • the display image 30 may be provided with a slide bar 71 as a GUI for setting the kernel size, in which the kernel size is specified according to the position of the operator.
  • the knob 72 is an operator thereof and can be moved along the slide bar 71.
  • the user can set the kernel size (manual setting) by operating the knob 72 to specify the position.
  • the setting is reflected in the erosion process. That is, the erosion process is performed with the kernel size corresponding to the position of the knob 72 specified by the user, and the depth image obtained by the erosion process is displayed on the depth image display unit 31.
  • the user can check the depth image (the depth image that has been eroded) displayed on the depth image display unit 31 and the kernel size so that the background does not enter the vicinity of the contour. Can be set. That is, the kernel size can be set to a desired size more easily.
  • a kernel size display unit 73 for displaying the currently set kernel size (numerical value) is provided on the right side of the slide bar 71 in the figure.
  • the user can roughly grasp the kernel size by the position of the knob 72, but the kernel size can be grasped more directly by this display (display of a numerical value). In other words, the kernel size can be grasped more accurately.
  • the kernel size may be a decimal number.
  • the display of the kernel size (numerical value) may be omitted. That is, the kernel size display unit 73 can be omitted.
  • This erosion treatment can be performed according to a procedure such as the syntax 81 shown in FIG.
  • this kernel size (that is, the position of the knob 72) may be automatically set.
  • the parameters used for the automatic setting are arbitrary.
  • the kernel size may be manually set by the user or the like. That is, the initial value of the kernel size may be set automatically. Of course, this manual setting may be prohibited.
  • the movable range may be limited based on the automatic setting result.
  • the scale of the slide bar 71 may be made variable so that the scale is automatically set.
  • hue is set to the depth value according to the set “range of desired depth value”, but this hue setting may not be performed.
  • mask processing or mask generation
  • the depth image is masked according to the “desired depth value range”, and the hue setting remains in the initial state (for example, the setting in FIG. 4).
  • a depth image corresponding to a range of some depth values may be generated.
  • the depth image object 12 shown in FIG. 10 is represented in two colors as shown in FIG.
  • the part of the object 12 may or may not be eroded as described above.
  • the mask data may be generated according to the "desired range of depth values"
  • the depth data may be edited using the mask data, and the depth data corresponding to a part of the range of depth values may be generated.
  • three-dimensional model data may be generated from depth data (image) and RGB data (image).
  • depth data image
  • RGB data image
  • 3D model data there are cases where it is desired to generate 3D model data for a range corresponding to all depth data, and there are cases where it is desired to generate 3D model data by extracting only a specific subject.
  • Patent Document 3 discloses a method in which a threshold value is set and only a portion before the threshold value is a target for generating three-dimensional model data, but an interactive means is required to determine a threshold value for extracting a specific subject. .. In addition, there may be unnecessary parts in front of and behind the subject to be extracted.
  • the minimum and maximum values of the range to which the hue is assigned may be used as the designation of the generation range of the three-dimensional model data. That is, mask data may be generated according to the "desired depth value range", and the mask data may be used to generate 3D data corresponding to a part of the depth value range. By doing so, the user can interactively determine the range of the depth value to be the target of the 3D data while looking at the displayed image.
  • FIG. 16 is a diagram showing a main configuration example of a depth data processing device, which is an embodiment of an information processing device to which the present technology is applied.
  • the depth data processing device 100 shown in FIG. 16 is a device that processes depth data.
  • the depth data processing device 100 is described in, for example, ⁇ 1.
  • Depth value range setting and processing control based on that range> As described above, by setting the maximum and minimum values of the depth value for the depth data, the depth with the maximum and minimum values as both ends. You can set the range of values. That is, the "desired depth value range" can be set.
  • FIG. 16 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. That is, in the depth data processing apparatus 100, there may be a processing unit that is not shown as a block in FIG. 16, or there may be a processing or data flow that is not shown as an arrow or the like in FIG.
  • the depth data processing device 100 includes a filter 101, an automatic depth value range setting unit 102, a user depth value range setting unit 103, a hue setting unit 104, an area setting unit 105, a GUI processing unit 106, and an image. It has a generation unit 107, a depth data editing unit 108, a 3D data generation unit 109, a bus 150, an input unit 151, and an output unit 152.
  • the filter 101 performs a filter process on the depth data.
  • the filter 101 may acquire the depth data input to the depth data processing device 100.
  • the filter 101 may apply an image processing filter for suppressing noise components, such as a two-dimensional median filter, to the depth data as described in ⁇ Automatic setting of depth value range>. can.
  • the filter 101 may supply the depth data after the filter processing to the automatic depth value range setting unit 102. Note that this filtering process can be omitted. In that case, the filter 101 may be omitted.
  • the automatic depth value range setting unit 102 performs processing related to the setting of the “desired depth value range”. For example, the automatic depth value range setting unit 102 may acquire depth data from the filter 101. Further, the automatic depth value range setting unit 102 can perform processing related to the automatic setting of the "desired depth value range" for the depth data, as described in ⁇ Automatic setting of the depth value range>. For example, the automatic depth value range setting unit 102 can detect all depth values included in the depth data and set a “desired depth value range” based on the detection result.
  • the automatic depth value range setting unit 102 can set the initial value (initial position of the knob 33 and the knob 34) of the minimum value and the maximum value of the "desired depth value range”. can. Further, the automatic depth value range setting unit 102 can adjust the scale of the slide bar 32. Further, the automatic depth value range setting unit 102 can control the movable range of the knob 33 and the knob 34 on the slide bar 32.
  • the automatic depth value range setting unit 102 may perform the above-mentioned automatic setting after removing the depth value estimated to be, for example, a noise component. Further, the automatic depth value range setting unit 102 may process the depth data by an arbitrary method and perform the above-mentioned automatic setting based on the processed depth data. Further, the automatic depth value range setting unit 102 may perform the above-mentioned automatic setting based on any other parameter. Further, the automatic depth value range setting unit 102 may set a predetermined predetermined value regardless of the depth value included in the depth data.
  • the automatic depth value range setting unit 102 can supply the set information indicating the "desired depth value range" to the user depth value range setting unit 103 together with the depth data to be processed.
  • the automatic setting of the "desired depth value range" by the automatic depth value range setting unit 102 may be omitted. In that case, the automatic depth value range setting unit 102 may be omitted so that the output of the filter 101 is supplied to the user depth value range setting unit 103.
  • the user depth value range setting unit 103 performs processing related to the setting of the “desired depth value range”. For example, the user depth value range setting unit 103 can acquire the depth data supplied from the automatic depth value range setting unit 102 and information indicating a "desired depth value range" related to the depth data. Further, the user depth value range setting unit 103 can acquire the input related to the depth value range setting supplied from the GUI processing unit 106. Further, the user depth value range setting unit 103 sets the "desired depth value range" based on the acquired information, as described above in the ⁇ depth value range setting> and the ⁇ depth value range setting GUI>. You can perform processing related to manual setting. For example, the user depth value range setting unit 103 can set a "desired depth value range” based on a user operation on the GUI or the like.
  • the user depth value range setting unit 103 has a maximum value setting unit 121 and a minimum value setting unit 122.
  • the maximum value setting unit 121 can set the maximum value of the depth value included in the "desired depth value range" (that is, the upper limit of the "desired depth value range”). For example, when the user moves the knob 34 to a predetermined position, the depth value corresponding to the position is supplied from the GUI processing unit 106 to the maximum value setting unit 121 as a user instruction. The maximum value setting unit 121 sets the depth value specified by the user instruction to the maximum value of the depth value included in the “desired depth value range”.
  • the minimum value setting unit 122 can set the minimum value of the depth value included in the "desired depth value range" (that is, the lower limit of the "desired depth value range”). For example, when the user moves the knob 33 to a predetermined position, the depth value corresponding to the position is supplied from the GUI processing unit 106 to the minimum value setting unit 122 as a user instruction. The minimum value setting unit 122 sets the depth value specified by the user instruction to the minimum value of the depth value included in the "desired depth value range".
  • the user depth value range setting unit 103 can supply information indicating the “desired depth value range” manually set in this way to the hue setting unit 104, the area setting unit 105, and the like.
  • the manual setting of the "desired depth value range" by the user depth value range setting unit 103 can be omitted.
  • the user depth value range setting unit 103 is omitted, and the output of the automatic depth value range setting unit 102 (for example, information indicating the automatically set "desired depth value range") is the hue setting unit 104 or the area setting. It may be supplied to the unit 105 or the like.
  • the hue setting unit 104 performs processing related to hue setting.
  • the hue setting unit 104 for example, the hue setting unit 104 can acquire information indicating a "desired depth value range" supplied from the user depth value range setting unit 103. Further, the hue setting unit 104 can set the hue in the depth data according to the "desired range of depth value" as described above in ⁇ Hue setting> based on the acquired information. Further, the hue setting unit 104 can supply the hue setting information to the image generation unit 107, the bus 150, and the like.
  • hue setting unit 104 may be omitted.
  • the area setting unit 105 performs processing related to the mask.
  • the area setting unit 105 can acquire information or the like indicating the “desired depth value range” supplied from the user depth value range setting unit 103.
  • the area setting unit 105 can acquire the input related to the kernel size setting supplied from the GUI processing unit 106.
  • the area setting unit 105 can acquire the depth data input to the depth data processing device 100.
  • the area setting unit 105 can perform various processes as described above in, for example, ⁇ mask processing>, ⁇ erosion processing>, ⁇ when hue setting is not performed>, and the like. For example, the area setting unit 105 can generate mask data that masks the depth data based on the information indicating the “desired range of depth values” and the depth data input to the depth data processing device 100. Further, the area setting unit 105 can perform erosion processing on the mask data based on the input related to the setting of the kernel size. The details of the area setting unit 105 will be described later.
  • the area setting unit 105 can supply the generated mask data to the image generation unit 107, the depth data editing unit 108, the 3D data generation unit 109, the bus 150, and the like.
  • the processing related to this mask can be omitted.
  • the area setting unit 105 may be omitted.
  • the GUI processing unit 106 performs processing related to the information input based on the GUI.
  • the GUI processing unit 106 can acquire the information input by the operation performed by the user or the like on the GUI via the input unit 151.
  • the GUI processing unit 106 may acquire the input related to the setting of the depth value range supplied from the input unit 151.
  • the GUI processing unit 106 may acquire the input related to the kernel size setting supplied from the input unit 151.
  • the GUI processing unit 106 can acquire an input regarding the blend ratio of the depth image and the RGB image.
  • the GUI processing unit 106 can supply the acquired information to the user depth value range setting unit 103, the area setting unit 105, the image generation unit 107, and the like.
  • the GUI processing unit 106 may supply input regarding the setting of the depth value range to the user depth value range setting unit 103.
  • the GUI processing unit 106 may supply an input regarding the setting of the kernel size to the area setting unit 105.
  • the GUI processing unit 106 may supply the image generation unit 107 with an input regarding the blend ratio of the depth image and the RGB image.
  • GUI processing unit 106 may be omitted.
  • the image generation unit 107 performs processing related to image generation. For example, the image generation unit 107 can acquire the hue setting information supplied from the hue setting unit 104. Further, the image generation unit 107 can acquire mask data supplied from the area setting unit 105. Further, the image generation unit 107 can acquire the depth data and the RGB data (image data) input to the depth data processing device 100. Further, the image generation unit 107 can acquire an input regarding the blend ratio of the depth image and the RGB image supplied from the GUI processing unit 106.
  • the image generation unit 107 is based on the information, for example, ⁇ 1. Various images as described above can be generated in the depth value range setting and the processing control based on the range. For example, the image generation unit 107 can generate a depth image corresponding to the hue set by the hue setting unit 104 by using the depth data and the hue setting information.
  • the image generation unit 107 can further use the RGB data to generate a mixed image of the depth image and the RGB image. At that time, the image generation unit 107 can generate a mixed image by blending the depth image and the RGB image with the blend ratio of the depth image and the RGB image specified by the input regarding the blend ratio of the depth image and the RGB image. ..
  • the image generation unit 107 uses the depth data, the hue setting information, and the mask data to use a part of the depth values corresponding to the “desired depth value range” (for example, the “desired depth value range”.
  • Depth image corresponding to (depth value in) can be generated.
  • the hue setting in this case may be the one in the initial state (for example, FIG. 4), or the one set (updated) in the hue setting unit 104 (for example, FIG. 6 or FIG. 8). There may be.
  • the image generation unit 107 can further use the RGB data to generate a mixed image of the depth image and the RGB image. At that time, the image generation unit 107 can generate a mixed image by blending the depth image and the RGB image with the blend ratio of the depth image and the RGB image specified by the input regarding the blend ratio of the depth image and the RGB image. ..
  • the image generation unit 107 can generate the display image 30 by using the depth image or the mixed image generated as described above.
  • the display image 30 includes, for example, the slide bar 32 to the maximum value display unit 36, the histogram 41, the slide bar 51 to the RGB mixing ratio display unit 54, and the slide bar 71 to the kernel size display unit 74. May include GUI.
  • the image generation unit 107 can supply the generated image data to the bus 150.
  • the image generation unit 107 can supply the generated display image 30 to the display unit 161 (described later) via the bus 150 and display it.
  • the image generation unit 107 can supply the generated depth image or mixed image to the storage unit 162 (described later) via the bus 150 and store the generated depth image or mixed image in the storage medium 163 (described later).
  • the image generation unit 107 supplies the generated depth image or mixed image to the communication unit 164 (described later) via the bus 150, and causes the image generation unit 107 to transmit the generated depth image or mixed image to the outside (other device or the like) of the depth data processing device 100. be able to.
  • the image generation unit 107 may be omitted.
  • the depth data editing unit 108 performs processing related to editing the depth data. For example, the depth data editing unit 108 may acquire mask data supplied from the area setting unit 105. Further, the depth data editing unit 108 can acquire the depth data input to the depth data processing device 100.
  • the depth data editing unit 108 masks the depth data using the mask data, and a part of the depth values corresponding to the “desired depth value range” (for example, the depth within the “desired depth value range””. Depth data corresponding to (value) can be generated. That is, the depth data editing unit 108 edits the depth data using the mask data without generating the depth image.
  • the depth data editing unit 108 can supply the depth data generated as described above (depth data corresponding to a part of the depth values corresponding to the "desired range of depth values") to the bus 150.
  • the depth data editing unit 108 can supply the depth data to the storage unit 162 (described later) via the bus 150 and store the depth data in the storage medium 163 (described later).
  • the image generation unit 107 can supply the generated depth data to the communication unit 164 (described later) via the bus 150 and transmit the generated depth data to the outside (other devices, etc.) of the depth data processing device 100. ..
  • the depth data editing unit 108 may be omitted.
  • the 3D data generation unit 109 performs processing related to 3D data generation. For example, the 3D data generation unit 109 can acquire the mask data supplied from the area setting unit 105. Further, the 3D data generation unit 109 can acquire the depth data and the RGB data input to the depth data processing device 100.
  • the 3D data generation unit 109 uses the information to correspond to a part of the depth values corresponding to the "desired depth value range" as described above in ⁇ when the hue is not set>. Can generate data.
  • the 3D data generation unit 109 may generate 3D data corresponding to all the depth values included in the depth data by using the depth data and the RGB data input to the depth data processing device 100.
  • the 3D data generation unit 109 can supply the generated 3D data to the storage unit 162 (described later) via the bus 150 and store the generated 3D data in the storage medium 163 (described later). Further, the 3D data generation unit 109 may supply the generated 3D data to the communication unit 164 (described later) via the bus 150 and transmit the generated 3D data to the outside (other devices, etc.) of the depth data processing device 100. can.
  • this 3D data may not be generated. In that case, the 3D data generation unit 109 may be omitted.
  • the input unit 151 has an arbitrary input device such as a keyboard, a mouse, a microphone, a touch panel, and an input terminal, and supplies information input by an operation of a user or the like or from another device via the input device. It is possible to accept the information and the like.
  • the input unit 151 can supply the received information to, for example, the GUI processing unit 106 via the bus 150.
  • the output unit 152 performs processing related to output.
  • the output unit 152 includes a display unit 161, a storage unit 162, a storage medium 163, and a communication unit 164, as shown in FIG.
  • the display unit 161 has, for example, a monitor capable of displaying an image, which is composed of a liquid crystal panel, an organic EL (Electro Luminescence) panel, or the like, and controls the display thereof.
  • the display unit 161 may display various images supplied via the bus 150 on the monitor.
  • the display unit 161 can acquire the image data of the display image 30 supplied from the image generation unit 107 and display the display image 30 on the monitor.
  • the display image 30 may include a depth image or a mixed image as described above. That is, the display unit 161 can display the depth image and the mixed image on the monitor.
  • the storage unit 162 controls the storage of the storage medium 163 made of, for example, a semiconductor memory or the like.
  • the storage medium 163 may be a removable storage medium or a storage medium built in the depth data processing device 100.
  • the storage unit 162 can store various information supplied via the bus 150 in the storage medium 163. Further, the storage unit 162 can read the data stored in the storage medium 163 and supply the data to other processing units (for example, the display unit 161 and the communication unit 164) via the bus 150.
  • the communication unit 164 communicates with a server on the Internet, another device on a wired or wireless LAN, another external device, or the like by an arbitrary communication method.
  • the communication unit 164 can transmit various information supplied via the bus 150 to a communication partner (external device) by the communication.
  • the communication unit 164 can transmit the data by a streaming method or an upload method.
  • the communication unit 164 can receive various information transmitted from the communication partner (external device) by the communication and supply the information to another processing unit via the bus 150.
  • the depth data processing device 100 can be, for example, ⁇ 1.
  • the above-mentioned processing can be performed in the depth value range setting and the processing control based on the range> and the like, and the above-mentioned effect can be obtained.
  • Each of these processing units (filter 101 to 3D data generation unit 109, input unit 151, and output unit 152 (display unit 161 to communication unit 164)) of the depth data processing device 100 has an arbitrary configuration. Can be done.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit has, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and the above-mentioned processing is realized by executing a program using them. You may do so.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other.
  • some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • FIG. 17 is a block diagram showing a main configuration example of the area setting unit 105 of FIG. It should be noted that FIG. 17 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. That is, in the area setting unit 105, there may be a processing unit that is not shown as a block in FIG. 17, or there may be a processing or data flow that is not shown as an arrow or the like in FIG.
  • the area setting unit 105 has a filter unit 201, an area extraction unit 202, and an erosion processing unit 203, as shown in FIG.
  • the filter unit 201 performs a filter process.
  • the filter unit 201 can acquire the depth data input to the depth data processing device 100.
  • the filter unit 201 can acquire the user instruction supplied from the GUI processing unit 106.
  • the filter unit 201 performs a filter process for suppressing noise components on the depth data based on the user's instruction.
  • the filter unit 201 supplies the depth data after the filter processing to the region extraction unit 202.
  • the area extraction unit 202 performs processing related to the mask.
  • the region extraction unit 202 may acquire the depth data supplied from the filter unit 201.
  • the region extraction unit 202 provides information indicating the "desired depth value range" supplied from the user depth value range setting unit 103 (for example, the maximum value and the minimum depth value included in the "desired depth value range”. Information indicating the value) can be obtained.
  • the region extraction unit 202 generates mask data (mask data corresponding to the "desired range of depth values") for extracting a part of the depth values of the depth data based on the acquired information.
  • the region extraction unit 202 may supply the mask data to the erosion processing unit 203.
  • the erosion processing unit 203 performs processing related to the erosion processing. For example, the erosion processing unit 203 can acquire mask data corresponding to the “desired depth value range” supplied from the region extraction unit 202. Further, the erosion processing unit 203 can acquire an input (user instruction) regarding the setting of the kernel size supplied from the GUI processing unit 106. Further, the erosion processing unit 203 performs erosion processing on the mask data using the specified kernel size. Further, the erosion processing unit 203 can supply the eroded mask data to the image generation unit 107, the depth data editing unit 108, the 3D data generation unit 109, the bus 150, and the like.
  • the area setting unit 105 can be, for example, ⁇ 1.
  • the above-mentioned processing can be performed in the depth value range setting and the processing control based on the range> and the like, and the above-mentioned effect can be obtained.
  • each of these processing units filter unit 201 to erosion processing unit 203) of the area setting unit 105 can have an arbitrary configuration.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit may have, for example, a CPU, ROM, RAM, etc., and execute a program using them to realize the above-mentioned processing.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • the filter 101 filters the depth data in step S101.
  • the process of step S101 may be omitted.
  • step S102 the automatic depth value range setting unit 102 automatically sets the "desired depth value range" for the depth data.
  • the process of step S102 may be omitted.
  • step S103 the GUI processing unit 106 receives the input corresponding to the user operation via the input unit 151.
  • step S104 the user depth value range setting unit 103 manually sets the "desired depth value range” based on the input received in step S103. For example, the user depth value range setting unit 103 manually sets the maximum value and / or the minimum value of the “desired depth value range”.
  • step S105 the hue setting unit 104 sets the hue in the depth data according to the "range of desired depth values" set in step S104.
  • the process of step S105 may be omitted.
  • step S106 the area setting unit 105 executes the area setting process and generates mask data that masks the depth data according to the "range of desired depth values" set in step S104.
  • the process of step S106 may be omitted.
  • step S107 the image generation unit 107 uses the information indicating the hue setting performed in step S105, the mask data generated in step S106, and the like to display an image corresponding to the “desired depth value range”. To generate. The process of step S107 may be omitted.
  • step S108 the depth data editing unit 108 uses the mask data or the like generated in step S106 to provide depth data (also partial depth data) corresponding to a part of the depth values corresponding to the “desired depth value range”. To generate). The process of step S108 may be omitted.
  • step S109 the 3D data generation unit 109 uses the mask data or the like generated in step S106 to generate 3D data corresponding to a part of the depth values corresponding to the “desired depth value range”. The process of step S109 may be omitted.
  • step S110 the display unit 161 causes the monitor to display the display image generated in step S107.
  • the process of step S110 may be omitted.
  • step S111 the storage unit 162 stores various data generated in each process of steps S105 to S109 in the storage medium 163.
  • the process of step S111 may be omitted.
  • step S112 the communication unit 164 causes the communication partner (other device) to transmit various data generated in each process of steps S105 to S109.
  • the process of step S112 may be omitted.
  • the depth data processing device 100 can perform the process for the desired depth value range of the depth data.
  • the filter unit 201 of the area setting unit 105 performs the filter process on the depth data in step S131.
  • step S132 the area extraction unit 202 extracts an area included in the range from the minimum value to the maximum value of the specified depth value from the filtered depth data, and generates mask data.
  • step S133 the erosion processing unit 203 performs erosion processing on the mask data generated in step S132 using the specified kernel size.
  • the area setting unit 105 can generate partial depth data corresponding to a part of the depth values corresponding to the "desired depth value range". In this way, the depth data processing device 100 can perform processing on a desired depth value range of the depth data.
  • FIG. 20 is a block diagram showing another configuration example of the area setting unit 105 of FIG. It should be noted that FIG. 20 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 20. That is, in the area setting unit 105, there may be a processing unit that is not shown as a block in FIG. 20, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 20.
  • the area setting unit 105 has a filter unit 211, an area extraction unit 212, and a guided filter 213, as shown in FIG.
  • the filter unit 211 is a processing unit similar to the filter unit 201, and performs the same processing as the filter unit 201.
  • the area extraction unit 212 is a processing unit similar to the area extraction unit 202, and performs the same processing as the area extraction unit 202.
  • This guided filter 213 can acquire mask data from, for example, the area extraction unit 212. Further, the guided filter 213 can acquire the user instruction supplied from the GUI processing unit 106. Further, the guided filter 213 can acquire RGB data. Further, the guided filter 213 can perform filter processing using RGB data as a guide, such as Weighted median, based on the user's instruction. The guided filter 213 can adjust the position of the edge of the mask data to the position of the edge of the RGB data by this filtering process.
  • the guided filter 213 supplies the filtered mask data (that is, the mask data whose edge positions are matched to the RGB data) to the image generation unit 107, the depth data editing unit 108, the 3D data generation unit 109, the bus 150, and the like. Can be done.
  • the area setting unit 105 can be, for example, ⁇ 1.
  • the above-mentioned processing can be performed in the depth value range setting and the processing control based on the range> and the like, and the above-mentioned effect can be obtained.
  • each of these processing units filter unit 211 to guided filter 213) of the area setting unit 105 can have an arbitrary configuration.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit may have, for example, a CPU, ROM, RAM, etc., and execute a program using them to realize the above-mentioned processing.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • each process of step S151 and step S152 is executed in the same manner as each process of step S131 and step S132 (FIG. 19).
  • step S153 the guided filter 213 performs a filter process using the RGB data as a guide, and adjusts the position of the edge of the mask data to the position of the edge of the RGB data.
  • step S153 When the process of step S153 is completed, the area setting process is completed, and the process returns to FIG.
  • the area setting unit 105 can generate partial depth data corresponding to a part of the depth values corresponding to the "desired depth value range". In this way, the depth data processing device 100 can perform processing on a desired depth value range of the depth data.
  • FIG. 22 is a block diagram showing a main configuration example of the area setting unit 105 in that case. Note that FIG. 22 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 22. That is, in the area setting unit 105, there may be a processing unit that is not shown as a block in FIG. 22, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 22.
  • the area setting unit 105 has a guided filter 221 and an area extraction unit 222 as shown in FIG.
  • the guided filter 221 is a processing unit similar to the guided filter 213 of FIG. 20, and performs the same processing. However, the guided filter 221 performs a filter process on the depth data input to the depth data processing device 100. That is, the guided filter 221 can perform filter processing using the RGB data as a guide for the depth data, and can adjust the position of the edge of the mask data to the position of the edge of the RGB data.
  • the guided filter 213 can supply the filtered depth data (that is, the depth data in which the edge position is matched with the RGB data) to the region extraction unit 222.
  • the area extraction unit 222 is a processing unit similar to the area extraction unit 212 of FIG. 20, and performs the same processing. However, the region extraction unit 222 processes the depth data after the filter processing (that is, the depth data in which the edge position is matched with the RGB data) supplied from the guided filter 221. That is, the region extraction unit 222 can acquire the depth data supplied from the guided filter 221. Further, the region extraction unit 222 provides information indicating the "desired depth value range" supplied from the user depth value range setting unit 103 (maximum value and minimum value of the depth value included in the "desired depth value range"). ) Can be obtained.
  • the region extraction unit 222 extracts mask data (mask data corresponding to the "desired range of depth values") for extracting a part of the depth values of the depth data based on the maximum value and the minimum value of the depth values. Generate. Further, the area extraction unit 202 may supply the mask data to the image generation unit 107, the depth data editing unit 108, the 3D data generation unit 109, the bus 150, and the like.
  • the area setting unit 105 can be, for example, ⁇ 1.
  • the above-mentioned processing can be performed in the depth value range setting and the processing control based on the range> and the like, and the above-mentioned effect can be obtained.
  • each of these processing units can have an arbitrary configuration.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit may have, for example, a CPU, ROM, RAM, etc., and execute a program using them to realize the above-mentioned processing.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • step S171 the guided filter 221 performs a filter process using the RGB data as a guide, and aligns the edge position of the depth data with the edge position of the RGB data.
  • step S172 the area extraction unit 222 extracts an area included in the range from the minimum value to the maximum value of the specified depth value from the filtered depth data, and generates mask data.
  • step S172 When the process of step S172 is completed, the area setting process is completed, and the process returns to FIG.
  • the area setting unit 105 can generate partial depth data corresponding to a part of the depth values corresponding to the "desired depth value range". In this way, the depth data processing device 100 can perform processing on a desired depth value range of the depth data.
  • the unmasked region may be integrated with the subject region, which is the region including the predetermined subject in the RGB data. That is, the mask data may be generated so as to extract only the subject area from the unmasked area.
  • FIG. 24 is a block diagram showing a main configuration example of the area setting unit 105 in that case. It should be noted that FIG. 24 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 24. That is, in the area setting unit 105, there may be a processing unit that is not shown as a block in FIG. 24, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 24.
  • the area setting unit 105 has a filter unit 231, an area extraction unit 232, a subject area extraction unit 233, and an area integration unit 234, as shown in FIG. 24.
  • the filter unit 231 is a processing unit similar to the filter unit 201 (FIG. 17), and performs the same processing.
  • the area extraction unit 232 is the same processing unit as the area extraction unit 202 (FIG. 17), and performs the same processing.
  • the area setting unit 105 has a subject area extraction unit 233 and an area integration unit 234 instead of the erosion processing unit 203 of the example of FIG.
  • the subject area extraction unit 233 performs processing related to extraction of the subject area.
  • the subject area extraction unit 233 can acquire RGB data input to the depth data processing device 100.
  • the subject area extraction unit 233 can extract a subject area including the subject from the RGB data.
  • the subject area extraction unit 233 may supply information indicating the extracted subject area (for example, RGB data of the subject area) to the area integration unit 234.
  • the region extraction unit 232 can supply the generated mask data to the region integration unit 234.
  • the area integration unit 234 performs processing related to integration of the unmasked area and the subject area. For example, the region integration unit 234 can acquire mask data supplied from the region extraction unit 232. Further, the area integration unit 234 can acquire information indicating the subject area supplied from the subject area extraction unit 233.
  • the area integration unit 234 can generate a modified mask corresponding to the subject area within the "desired depth value range" by integrating the unmasked area indicated by the acquired mask data and the subject area. .. That is, the area integration unit 234 can generate (update) mask data so as to extract only the subject area from the unmasked areas indicated by the mask data, for example. Then, the area integration unit 234 can supply the generated mask data to the image generation unit 107, the depth data editing unit 108, the 3D data generation unit 109, the bus 150, and the like.
  • the area setting unit 105 can be, for example, ⁇ 1.
  • the above-mentioned processing can be performed in the depth value range setting and the processing control based on the range> and the like, and the above-mentioned effect can be obtained.
  • each of these processing units filter unit 231 to area integration unit 234) of the area setting unit 105 can have an arbitrary configuration.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit may have, for example, a CPU, ROM, RAM, etc., and execute a program using them to realize the above-mentioned processing.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • each process of step S191 and step S192 is executed in the same manner as each process of step S131 and step S132 (FIG. 19).
  • step S193 the subject area extraction unit 233 extracts a predetermined subject area from the RGB data.
  • step S194 the area integration unit 234 integrates the area not masked by the mask data generated in step S192 and the subject area set in step S193. For example, the area integration unit 234 extracts a subject area included in the range from the minimum value to the maximum value of the depth from the mask data generated in step S192.
  • step S194 When the process of step S194 is completed, the area setting process is completed, and the process returns to FIG.
  • the area setting unit 105 can generate partial depth data corresponding to a part of the depth values corresponding to the "desired depth value range". In this way, the depth data processing device 100 can perform processing on a desired depth value range of the depth data.
  • FIG. 26 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • the input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 includes, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 includes, for example, a network interface.
  • the drive 915 drives a removable recording medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-described series. Is processed.
  • the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to, for example, a removable recording medium 921 as a package medium or the like.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable recording medium 921 in the drive 915.
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in advance in ROM 902 or storage unit 913.
  • the present technology can be applied to any configuration.
  • the present technology is a device such as a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a unit using a plurality of modules, or a set in which other functions are added to the unit. It can also be implemented as a partial configuration.
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • the present technology may be implemented in a cloud service that provides services to arbitrary terminals such as computers, portable information processing terminals, and IoT (Internet of Things) devices.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • Systems, devices, processing departments, etc. to which this technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. .. Moreover, the use is arbitrary.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the above-mentioned program may be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • the plurality of processes may be executed by one device, or may be shared and executed by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, and the calls may be made in parallel or in parallel. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments. It is also possible to carry out a part or all of any of the above-mentioned techniques in combination with other techniques not described above.
  • the present technology can also have the following configurations.
  • Depth value range setting unit that sets the maximum value and the range of depth values with the minimum value as both ends by setting the maximum value and the minimum value of the depth value for the depth data corresponding to the image data.
  • An information processing device including a mask generation unit that generates a mask of the depth data according to the depth value range set by the depth value range setting unit.
  • the depth value range setting unit determines the depth value based on the input received by the reception unit that receives the input related to the setting of the depth value range, which is performed based on the GUI included in the display image.
  • the information processing device for setting a range.
  • the slide bar has an operator whose maximum value is designated according to its position and an operator whose minimum value is designated according to its position.
  • the information processing device has positions of the controls at equal intervals with respect to parallax.
  • the information processing apparatus according to any one of (3) to (6), wherein the GUI further includes a histogram of the depth value.
  • the information processing apparatus according to any one of (1) to (7), wherein the depth value range setting unit sets a range of the depth value in the depth data that has been filtered by the filter unit.
  • the information processing apparatus according to any one of (1) to (8), wherein the depth value range setting unit automatically sets the depth value range.
  • the information processing apparatus according to any one of (1) to (9), further comprising an erosion processing unit that performs an erosion treatment on the mask generated by the mask generation unit.
  • a display image generation unit for generating a display image including a GUI (Graphical User Interface) for erosion processing.
  • the information processing apparatus according to (10), wherein the erosion processing unit performs the erosion processing based on the input received by the reception unit that receives an input related to the setting of the erosion processing, which is performed based on the GUI. ..
  • the information processing apparatus according to any one of (1) to (11), further comprising a filter unit that performs a filter process for matching the edges of the mask generated by the mask generation unit with the image data.
  • a filter unit that performs a filter process for matching the edge of the depth data with the image data.
  • the mask generation unit generates the mask according to the depth value range set by the depth value range setting unit for the depth data that has been filtered by the filter unit (1) to (1) to (1).
  • the information processing apparatus according to any one of 12).
  • a subject area extraction unit that extracts a subject area including a predetermined subject from the image data, and a subject area extraction unit. By integrating the mask generated by the mask generation unit and the subject area extracted by the subject area extraction unit, a mask modified corresponding to the subject area within the depth value range can be obtained.
  • the area integration unit to be generated and the information processing apparatus according to any one of (1) to (13).
  • a display image generation unit that generates a display image including an image showing the depth data within the range of the depth value by masking the depth data using the mask generated by the mask generation unit.
  • the information processing apparatus according to any one of (1) to (14).
  • the display image generation unit generates a display image including a mixed image in which an image corresponding to the image data is mixed with an image showing the depth data within the range of the depth value (15).
  • Information processing equipment 17.
  • the display image generation unit is A display image including a GUI (Graphical User Interface) for setting the mixing ratio of the mixed image is generated.
  • the depth value range setting unit that sets the range of the depth value with the maximum value and the minimum value as both ends by setting the maximum value and the minimum value of the depth value, and the depth value range setting unit.
  • a program that functions as a mask generation unit that generates a mask of the depth data according to the depth value range set by the depth value range setting unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本開示は、デプスデータの所望のデプス値範囲に対する処理を行うことができるようにする情報処理装置および方法、並びにプログラムに関する。 画像データに対応するデプスデータについて、デプス値の最大値と最小値とを設定することにより、その最大値および最小値を両端とするデプス値の範囲を設定し、その設定されたデプス値の範囲に応じたデプスデータのマスクを生成する。本開示は、例えば、情報処理装置、電子機器、情報処理方法、またはプログラム等に適用することができる。

Description

情報処理装置および方法、並びにプログラム
　本開示は、情報処理装置および方法、並びにプログラムに関し、特に、デプスデータの所望のデプス値範囲に対する処理を行うことができるようにした情報処理装置および方法、並びにプログラムに関する。
　従来、デプスデータを画像化し、奥行方向の距離に応じて色相を変えて表示する方法があった（例えば、特許文献１参照）。また、深度マップとRGBデータから３次元モデルを作成する方法があった（例えば、特許文献２参照）。さらに、閾値を設け閾値より手前にある画素のみを３次元モデル生成の対象とする方法があった（例えば、特許文献３参照）。
特開平３－２６９６８０号公報 特開２０１４－６７３７２号公報 特開２０１６－７１６４５号公報
　しかしながら、特許文献１乃至特許文献３に記載の方法では、任意にデプス値範囲を設定することができず、デプスデータの所望のデプス値範囲に対して処理を行うことができなかった。
　本開示は、このような状況に鑑みてなされたものであり、デプスデータの所望のデプス値範囲に対する処理を行うことができるようにするものである。
　本技術の一側面の情報装置は、画像データに対応するデプスデータについて、デプス値の最大値と最小値とを設定することにより、前記最大値および前記最小値を両端とするデプス値の範囲を設定するデプス値範囲設定部と、前記デプス値範囲設定部により設定された前記デプス値の範囲に応じた前記デプスデータのマスクを生成するマスク生成部とを備える撮像装置である。
　本技術の一側面の情報処理方法は、画像データに対応するデプスデータについて、デプス値の最大値と最小値とを設定することにより、前記最大値および前記最小値を両端とするデプス値の範囲を設定し、設定された前記デプス値の範囲に応じた前記デプスデータのマスクを生成する情報処理方法である。
　本技術の一側面のプログラムは、コンピュータを、画像データに対応するデプスデータについて、デプス値の最大値と最小値とを設定することにより、前記最大値および前記最小値を両端とするデプス値の範囲を設定するデプス値範囲設定部と、前記デプス値範囲設定部により設定された前記デプス値の範囲に応じた前記デプスデータのマスクを生成するマスク生成部として機能させるプログラムである。
　本技術の一側面の情報処理装置および方法、並びにプログラムにおいては、画像データに対応するデプスデータについて、デプス値の最大値と最小値とを設定することにより、その最大値および最小値を両端とするデプス値の範囲が設定され、その設定されたデプス値の範囲に応じたデプスデータのマスクが生成される。
撮像の様子の例を示す図である。 RGB画像の例を示す図である。 デプス画像の例を示す図である。 デプス値に対する色相の割り当ての例を示す図である。 表示画像の例を示す図である。 デプス値に対する色相の割り当ての例を示す図である。 表示画像の例を示す図である。 デプス値に対する色相の割り当ての例を示す図である。 表示画像の例を示す図である。 表示画像の例を示す図である。 表示画像の例を示す図である。 表示画像の例を示す図である。 浸食処理について説明する図である。 表示画像の例を示す図である。 シンタックスの例を示す図である。 デプスデータ処理装置の一実施の形態の主な構成例を示すブロック図である。 領域設定部の主な構成例を示すブロック図である。 デプスデータ処理の流れの例を説明するフローチャートである。 領域設定処理の流れの例を説明するフローチャートである。 領域設定部の主な構成例を示すブロック図である。 領域設定処理の流れの例を説明するフローチャートである。 領域設定部の主な構成例を示すブロック図である。 領域設定処理の流れの例を説明するフローチャートである。 領域設定部の主な構成例を示すブロック図である。 領域設定処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．デプス値範囲設定とその範囲に基づく処理制御
　２．第１の実施の形態（デプスデータ処理装置）
　３．付記
　＜１．デプス値範囲設定とその範囲に基づく処理制御＞
　　＜デプスデータ＞
　図１は、撮像の様子の例を示す図である。図１においては、オブジェクト１１およびオブジェクト１２がカメラ１０により撮像されている様子が示されている。例えばカメラ１０が互いに視差を有する複数視点の撮像画像を得ることができるとすると、それらの撮像画像を用いて、被写体までの距離を示すデプスデータ（RGB-D）を得ることができる。
　また、このようなデプスデータを編集する装置やシステムがある。その場合、装置やシステムは、例えば、このデプスデータを画像化し、デプス画像として表示し、ユーザに確認させたり、その表示されたデプス画像に対する処理を受け付けたりする。例えば、特許文献１においては、デプスデータを画像化し、奥行方向の距離に応じて色相を変えて表示する方法が開示されている。
　また、このデプスデータを用いて様々な処理を行うことができる。例えば特許文献２には、このようなデプス画像（深度マップとも称する）とRGBデータとを用いて、３次元モデルを作成する方法が開示されている。なお、特許文献３には、閾値を設け閾値より手前にある画素のみを３次元モデル生成の対象とする方法が開示されている。
　しかしながら、特許文献１乃至特許文献３に記載の方法では、任意にデプス値範囲を設定することができず、デプスデータの所望のデプス値範囲に対して処理を行うことができなかった。
　例えば、特許文献１や特許文献２には、デプス値の範囲の設定について記載も示唆もされていなかった。また、特許文献３には閾値が示されているが固定値であり、この方法では任意にデプス値範囲を設定することができなかった。
　　＜デプス画像＞
　図１のカメラ１０の撮像により、例えば、図２に示されるようなRGB画像２１と、図３に示されるようなデプス画像２２が得られるとする。図２のRGB画像２１は、所謂撮像画像（RAW画像）であり、R画素、G画素、およびB画素の画素値からなるRGBデータに対応する画像である。図３のデプス画像２２は、RGB画像２１に対応するデプスデータを、各デプス値に色を割り当てることにより画像化したものである。換言するに、デプス画像２２は、RGB画像２１の各画素における被写体までの距離（デプス値）を各画素の色（画素値）で表現するマップ情報である。
　なお、RGB画像はベイヤ配列のRAW画像でなくてもよい。また、撮像画像の色空間は任意であり、RGB画像でなくてもよい。例えば、YUV、YCbCr、YPbPr等の画像であってもよい。さらに、撮像画像は、カラー画像でなくてもよい。例えば、モノクローム画像やセピア調画像等のような単色画像であってもよい。つまり、RGB画像２１は、画像の形態をとるものであればどのようなものであってもよい。
　図３の例の場合、図４に示されるように、色がカメラ１０の最近傍から無限遠までのデプス値に均等に割り当てられている。図４の例の場合、カメラ１０の最近傍から無限遠までのデプス値がＡ０乃至Ａ６の領域に分割され、それぞれの領域に対して互いに異なる色が割り当てられている。つまり、デプス値全体（最近傍から無限遠まで）が７色で表現されている。なお、図４においては、各領域に対して、白、グレー、黒が割り当てられているが、各領域に割り当てる色は任意であり、この例に限定されない。また、色の代わりに模様を用いてもよい。また、色と模様を組み合わせてもよい。
　ただし、上述のようにデプス画像はデプス値を色で表現するものであるので、色からデプス値を推定することができるように、色相が所定の規則性（例えば、デプス値が大きくなるに従って色が寒色系から暖色系に向かって変化する等）に基づいてデプス値に割り当てられる必要がある。
　図４に示される色相設定の場合、デプス画像２２においては、図３に示されるようにオブジェクト１１およびオブジェクト１２がそれぞれ２色のみで表現される。そのため、オブジェクト１１やオブジェクト１２の立体感（奥行感）がユーザにとって把握し難かった。
　仮に、図４のデプス値に対する色相の分解能を向上させたとしても、上述のように色相の設定は所定の規則性に基づいて行われるため、一般的に、互いに近似するデプス値に対しては互いに近似する色が割り当てられる傾向がある。したがって、オブジェクト１１やオブジェクト１２に割り当てられ色数が増大しても、その色の幅（色の最大差）は、図３に示される２色の場合と大きく変化しない。そのため、図３の場合と同様に、デプス画像２２においてオブジェクトの立体感（奥行感）がユーザにとって把握し難かった。
　特許文献１や特許文献２に記載の方法の場合、この図４の例のように、色相がデプス値全体（カメラ１０の最近傍から無限遠まで）に均等に割り当てられるので、図３に示されるように、デプス画像２２において、オブジェクトの立体感（奥行感）がユーザにとって把握し難かった。
　なお、特許文献３に記載の方法の場合、デプス値に閾値を設定することができるが、この閾値は固定値であり、背景等、無限遠等の遠方を除去するためのものである。したがって、特許文献３に記載の方法を適用したとしても、オブジェクト１１やオブジェクト１２の奥行方向の長さと比べるとデプス値の範囲は広く、それらのオブジェクトに割り当てることができる色の幅は、図３の場合と同様に小さくなってしまう。そのため、特許文献１や特許文献２に記載の方法の場合とほぼ同様に、デプス画像２２において、オブジェクトの立体感（奥行感）がユーザにとって把握し難かった。
　　＜デプス値範囲設定＞
　そこで、画像データに対応するデプスデータについて、デプス値の最大値と最小値とを設定することにより、その最大値および前記最小値を両端とするデプス値の範囲を設定する。例えば、その設定されたデプス値の範囲に応じたデプスデータのマスクを生成する。
　このようにすることにより、任意にデプス値範囲を設定することができ、デプスデータの所望のデプス値範囲に対して処理を行うことができる。例えば上述のように、設定されたデプス値の範囲に対応するマスクを生成することができる。また、例えば、このマスクを利用して、そのデプス値の範囲に対応するデプス画像を生成したり、そのデプス値の範囲に対応する３Ｄデータを生成したりすることができる。
　なお、マスクを生成する代わりに、上述のように設定されたデプス値の範囲に応じて、デプス値に対する色相設定を行うようにしてもよい。このようにすることにより、例えば、設定されたデプス値の範囲に応じて色相設定されたデプス画像を生成することができる。
　　＜デプス値範囲設定用GUI＞
　例えば、デプス値の範囲の設定用のGUI（Graphical User Interface）を含む表示画像を生成し、その表示画像に含まれるGUIに基づいて行われた、デプス値の範囲の設定に関する入力を受け付け、その入力に基づいて、デプス値の範囲を設定してもよい。換言するに、「所望のデプス値の範囲」の手動設定が行われるようにしてもよい。
　図５は、デプス値の範囲の設定用のGUIを表示する表示画像の例を示す図である。図５に示される表示画像３０は、デプス画像をユーザに提示したり、デプスデータに対する指示入力を受け付けたりするためにモニタに表示される画像である。デプス値は距離に比例する値であってもよいし、ステレオ視における視差に比例する値であってもよく、その場合、両者は以下の式（１）により相互に変換可能である。
　距離(m) = (焦点距離(m)　× 基線長(m)) /視差(m)
　・・・（１）
　図５に示されるように、この表示画像３０には、デプス画像を表示するデプス画像表示部３１が設けられている。また表示画像３０には、デプス値の範囲の設定用のGUIとして、操作子の位置に応じてデプス値の範囲が指定されるスライドバー３２が設けられている。この操作子は、スライドバー３２に沿って移動可能であり、ユーザは、これらの操作子の位置を決定することにより、所望のデプス値の範囲を設定することができる。換言するに、ユーザは、これらの操作子の位置を変更することにより、その「所望のデプス値の範囲」を変更することができる。つまり、「所望のデプス値の範囲」が手動設定される。
　図５に示されるように、スライドバー３２には、その操作子として、ツマミ３３およびツマミ３４が設けられている。ツマミ３３は、その位置に応じて「所望のデプス値の範囲」の最小値が指定される操作子である。また、ツマミ３４は、その位置に応じて「所望のデプス値の範囲」の最大値が指定される操作子である。つまり、ユーザは、ツマミ３３およびツマミ３４の位置を決定することにより、デプス値の範囲の上限と下限を指定することができる。換言するに、ツマミ３３およびツマミ３４は「所望のデプス値の範囲」を指定する操作子であり、ユーザがそのツマミ３３およびツマミ３４を用いて指定したデプス値の最大値および最小値の間の範囲が、「所望のデプス値の範囲」として指定される。
　また、表示画像３０のスライドバー３２の図中左側には、現在指定されている「所望のデプス値の範囲」の最小値を表示する最小値表示部３５が設けられている。つまり、この最小値表示部３５には、ツマミ３３の位置に対応するデプス値が表示される。例えばツマミ３３の位置が更新されると、それに合わせて最小値表示部３５に表示されるデプス値も更新される。
　また、表示画像３０のスライドバー３２の図中右側には、現在指定されている「所望のデプス値の範囲」の最大値を表示する最大値表示部３６が設けられている。つまり、この最大値表示部３６には、ツマミ３４の位置に対応するデプス値が表示される。例えばツマミ３４の位置が更新されると、それに合わせて最大値表示部３６に表示されるデプス値も更新される。
　なお、この最小値表示部３５および最大値表示部３６には、距離（デプス値）の代わりに視差が表示されるようにしてもよい。また、最小値表示部３５および最大値表示部３６に距離を表示するか視差を表示するかを切り替えるGUI（例えばボタン等）を設けるようにしてもよい。なお、視差を表示する場合、値の大小は、距離を表示する場合と反対になる。
　スライドバー３２におけるツマミ３３およびツマミ３４の位置と値の関係は、距離に対して等間隔としてもよい。
　また、スライドバー３２におけるツマミ３３およびツマミ３４の位置と値の関係は、視差に対して等間隔としてもよい。
　ステレオ視の原理によって生成されたデプス値を扱う場合には、視差に対して等間隔であったほうがよく、バーのどこでつまみを動かしても選択される領域の変化がおよそ一定になるという利点がある。
　また、例えば、ツマミ３３は、ツマミ３４よりも図中右側に移動することができないようにしてもよい。例えば、ツマミ３３がツマミ３４の位置（ツマミ３３の移動が開始された時点の位置）よりも右側まで動かされると、ツマミ３３がツマミ３４よりも右側に位置しないように、ツマミ３４がその移動に合わせて右側に移動するようにしてもよい。つまり、常に、ツマミ３３がツマミ３４よりも左側に位置するように、各ツマミの位置が制御されるようにしてもよい。
　また、ツマミ３３がツマミ３４よりも右側に位置することを許可し、ツマミ３３およびツマミ３４の内、図中左側にあるツマミの位置が「所望のデプス値の範囲」の最小値を示し、図中右側にあるツマミの位置が「所望のデプス値の範囲」の最大値を示すようにしてもよい。例えば、ツマミ３３がツマミ３４よりも右側に位置する場合、ツマミ３４の位置が「所望のデプス値の範囲」の最小値を示し、ツマミ３３の位置が「所望のデプス値の範囲」の最大値を示すようにしてもよい。
　以上においては、デプス値の範囲の設定用のGUIの例として、スライドバー３２を用いて説明したが、デプス値の範囲の設定用のGUIは、この例に限らず、どのようなGUIであってもよい。また、以上においては、デプス値の範囲の最小値を設定する操作子の例として、ツマミ３３を用いて説明したが、この操作子は、この例に限らず、どのようなGUIであってもよい。さらに、以上においては、デプス値の範囲の最大値を設定する操作子の例として、ツマミ３４を用いて説明したが、この操作子は、この例に限らず、どのようなGUIであってもよい。
　　＜色相の設定＞
　以上のように設定された「所望のデプス値の範囲」に応じて、デプスデータに色相を設定してもよい。例えば、スライドバー３２を用いて指定された「所望のデプス値の範囲」に応じて各デプス値に対して色相を設定し、そのデプス画像をデプス画像表示部３１に表示してもよい。
　例えば、図６に示されるように、オブジェクト１１を含む「所望のデプス値の範囲」を設定し、その範囲に多くの色を割り当てるように、色相を設定してもよい。図６の例の場合、オブジェクト１１が存在するデプス値の範囲を「所望のデプス値の範囲」とし、その範囲内がＡ１乃至Ａ５の領域に分割され、それぞれの領域に対して互いに異なる色が割り当てられている。そして、その「所望のデプス値の範囲」より手前側、すなわち、オブジェクト１１より手前側のデプス値の範囲は、１つの領域Ａ０とされ、１色（例えば白）が割り当てられている。同様に、「所望のデプス値の範囲」より奥側、すなわち、オブジェクト１１より奥側のデプス値の範囲は、１つの領域Ａ６とされ、１色（例えば黒）が割り当てられている。
　なお、図６の場合も図４の場合と同様に、各領域に割り当てる色は任意であり、この例に限定されない。また、色の代わりに模様を用いてもよい。また、色と模様を組み合わせてもよい。ただし、色相設定（各色の割り当て）は、図４の場合と同様に、所定の規則性に基づいて行われる。
　図７に表示画像３０の例を示す。図７の例の場合、スライドバー３２において、ユーザ等によりツマミ３３およびツマミ３４の位置が操作され、最小値「D1（ｍ）」、最大値「D2（ｍ）」の「所望のデプス値の範囲」が指定されている。そして、このように指定された「所望のデプス値の範囲」に応じて各デプス値に対して色相が設定されたデプス画像２２（RGB画像２１に対応するデプス画像）がデプス画像表示部３１に表示されている。このD１乃至D2の範囲は、図６の例の領域Ａ１乃至領域Ａ５の範囲に対応する。つまり、このD１乃至D2の範囲にオブジェクト１１が存在する。そして、色相の割り当てを図６のように行うことにより、このD1乃至D2のデプス値を７色中の５色により表現することができる。つまり、オブジェクト１１に割り当てられる色の幅（色の最大差）が、図３の場合（７色中の２色）よりも拡がるので、ユーザは、オブジェクト１１の立体感（奥行感）をより詳細に把握することができる。
　また例えば、図８に示されるように、オブジェクト１２を含む「所望のデプス値の範囲」を設定し、その範囲に多くの色を割り当てるように、色相を設定してもよい。図８の例の場合、オブジェクト１２が存在するデプス値の範囲を「所望のデプス値の範囲」とし、その範囲内がＡ１乃至Ａ５の領域に分割され、それぞれの領域に対して互いに異なる色が割り当てられている。そして、その「所望のデプス値の範囲」より手前側、すなわち、オブジェクト１２より手前側のデプス値の範囲は、１つの領域Ａ０とされ、１色（例えば白）が割り当てられている。同様に、「所望のデプス値の範囲」より奥側、すなわち、オブジェクト１２より奥側のデプス値の範囲は、１つの領域Ａ６とされ、１色（例えば黒）が割り当てられている。
　なお、図８の場合も図４の場合と同様に、各領域に割り当てる色は任意であり、この例に限定されない。また、色の代わりに模様を用いてもよい。また、色と模様を組み合わせてもよい。ただし、色相設定（各色の割り当て）は、図４の場合と同様に、所定の規則性に基づいて行われる。
　図９に表示画像３０の例を示す。図９の例の場合、スライドバー３２において、ユーザ等によりツマミ３３およびツマミ３４の位置が操作され、最小値「D3（ｍ）」、最大値「D4（ｍ）」の「所望のデプス値の範囲」が指定されている。そして、このように指定された「所望のデプス値の範囲」に応じて各デプス値に対して色相が設定されたデプス画像２２（RGB画像２１に対応するデプス画像）がデプス画像表示部３１に表示されている。このD3乃至D4の範囲は、図８の例の領域Ａ１乃至領域Ａ５の範囲に対応する。つまり、このD3乃至D4の範囲にオブジェクト１２が存在する。そして、色相の割り当てを図８のように行うことにより、このD3乃至D4のデプス値を７色中の５色により表現することができる。つまり、オブジェクト１２に割り当てられる色の幅（色の最大差）が、図３の場合（７色中の２色）よりも拡がるので、ユーザは、オブジェクト１２の立体感（奥行感）をより詳細に把握することができる。
　つまり、「所望のデプス値の範囲」に応じて、デプスデータに色相を設定することにより、ユーザが「所望のデプス値の範囲」の立体感（奥行感）をより詳細に把握することができるようになる。
　　＜マスク処理＞
　なお、図６乃至図９の例においては、「所望のデプス値の範囲」より手前側の領域Ａ０や奥側の領域Ａ６に対して、それぞれ、「所望のデプス値の範囲」内の色と異なる色（例えば白や黒）を割り当てているが、これに限定されない。例えば、「所望のデプス値の範囲」より手前側の領域Ａ０に対して、領域Ａ１に割り当てられた色、すなわち、「所望のデプス値の範囲」の最小値に割り当てられた色を割り当ててもよい。また、例えば、「所望のデプス値の範囲」より奥側の領域Ａ６に対して、領域Ａ５に割り当てられた色、すなわち、「所望のデプス値の範囲」の最大値に割り当てられた色を割り当ててもよい。
　また、このような色相設定において、「所望のデプス値の範囲」に応じてマスクを生成するようにしてもよい。例えば、図９の例においてデプス画像表示部３１に表示されるデプス画像においては、オブジェクト１２より手前側に位置するオブジェクト１１が領域Ａ０に割り当てられた色（例えば白）で表現され、背景（例えば黒）と異なる色で表現されている。オブジェクト１２のみに注目したい場合、このオブジェクト１１の表現が不要である。
　そこで、オブジェクト１２を含む「所望のデプス値の範囲」外をマスクし、その「所望のデプス値の範囲」に対してのみに色相を設定するようにしてもよい。その際、マスクされた「所望のデプス値の範囲」外のデプス値に対しては、色を割り当てなくてもよいし、別途、所定の色を割り当ててもよい。この所定の色は任意である。「所望のデプス値の範囲」と「所望のデプス値の範囲」外とを識別可能にするためには、「所望のデプス値の範囲」に割り当てられた色と異なる色を「所望のデプス値の範囲」外のデプス値に割り当てればよい。
　なお、「所望のデプス値の範囲」の手前側のデプス値と奥側のデプス値とに対して、互いに同一の色を割り当ててもよいし、互いに異なる色を割り当ててもよい。例えば上述のように、「所望のデプス値の範囲」より手前側の領域Ａ０に対して、領域Ａ１に割り当てられた色を割り当て、「所望のデプス値の範囲」より奥側の領域Ａ６に対して、領域Ａ５に割り当てられた色を割り当ててもよい。
　図１０の表示画像３０のデプス画像表示部３１に表示されるデプス画像は、このように「所望のデプス値の範囲」外をマスクし、その「所望のデプス値の範囲」に対してのみに色相を設定した場合のデプス画像２２の例を示している。なお、このデプス画像２２の「所望のデプス値の範囲」の手前側と奥側のデプス値に対しては、別途、互いに同一の色（例えば黒）が割り当てられている。
　つまり、この図１０の例の場合、オブジェクト１２よりも手前側に位置するオブジェクト１１も背景等と同一の色（例えば黒）で表現されている。したがって、オブジェクト１２のみが他の領域と異なる色で表現されるので、ユーザは、図９の例の場合よりも容易に、オブジェクト１２に着目することができる。
　なお、以上においては、デプスデータの「所望のデプス値の範囲」外をマスクする例を説明したが、マスクする範囲は、「所望のデプス値の範囲」に基づいて設定されるものであれば任意である。例えば、「所望のデプス値の範囲」内をマスクしてもよい。また、「所望のデプス値の範囲」を内包する所定の範囲外（または範囲内）をマスクしてもよい。また、「所望のデプス値の範囲」の一部の範囲内（または範囲外）をマスクしてもよい。
　換言するに、このデプスデータのマスク処理は、デプス画像における「所望のデプス値の範囲」に存在する被写体以外の画素領域をマスクする処理とも言える。つまり、「所望のデプス値の範囲」に基づいて、デプス画像のマスクする領域が設定されるようにしてもよい。例えば、その設定された領域をマスクしたデプス画像が生成されるようにしてもよいし、その設定された領域をマスクするマスクデータが生成されるようにしてもよい。
　　＜デプス値の範囲の自動設定＞
　ツマミ３３およびツマミ３４の位置（つまり、「所望のデプス値の範囲」）はユーザが変更するだけでなく、自動で設定されるようにしてもよい。例えば、表示対象となるデプス画像中のデプス値の分布に応じて、ツマミ３３およびツマミ３４の位置が設定されてもよい。例えばデプス画像中に含まれるデプス値の範囲が1.2ｍ乃至1.5mである場合、画像の読み込み操作が完了した時に、その範囲に基づいて、ツマミ３３が1.2mに対応する位置に設定され、ツマミ３４が1.5mの位置に設定されるようにしてもよい。このようにすることにより、デプス画像中に含まれるデプス値に対して過不足なく色相を割り当てることが可能になる。
　ただし、単純にデプス画像中のデプス値の最大値、最小値を採用すると、何らかの影響で真値と大きく外れた画素値があり、それが最大値や最小値となった場合、本来よりも広い範囲の値に対して色相を割り当ててしまうことになる。例えば真値が1.2m乃至1.5mの範囲のデータに対して、ノイズ等の影響で99mの相当するデプス値の画素が１つあった場合、色相は1.2m乃至99mの範囲に割り当てられてしまう。そのため、本来意図した過不足ない割り当てをかけ離れ、デプスの分布が認識し辛くなる可能性がある。そこで、デプス画像に例えば２次元メディアンフィルタなどのノイズ除去効果のある画像処理フィルタを適用してから最大・最小値を取得するようにしてもよい。２次元メディアンフィルタとは、注目画素の出力値として、例えば隣接８画素を含む９画素の値のメディアン(中央値)を採用するようなフィルタである。
　もちろん、このように自動で「所望のデプス値の範囲」を設定するためのパラメータは、任意であり、上述のデプス値の分布に限定されない。
　また、上述のように自動設定されたツマミ３３やツマミ３４の位置を、ユーザ等が動かすことができるようにしてもよい。つまり、上述のように自動設定された「所望のデプス値の範囲」を、ユーザ等がツマミ３３やツマミ３４を動かすことにより、更新（手動設定）することができるようにしてもよい。この場合、上述の自動設定により、ツマミ３３やツマミ３４の初期位置、すなわち、「所望のデプス値の範囲」の最小値および最大値の初期値が設定されるとも言える。
　さらに、上述の自動設定において、ツマミ３３およびツマミ３４の位置の代わりに、スライドバー３２に対応するデプス値の範囲（換言するに、スライドバー３２のスケール）を設定するようにしてもよい。つまり、例えば、ツマミ３３はスライドバー３２の左端に、ツマミ３４はスライドバー３２の右端に、それぞれ固定し、そのスライドバー３２の左端および右端のそれぞれに対応するデプス値を、自動で設定するようにしてもよい。例えば、これらのデプス値が、上述の場合と同様に、表示対象となるデプス画像中のデプス値の分布に応じて設定されるようにしてもよい。つまり、デプス画像中のデプス値の分布に応じてスライドバー３２のスケール調整が行われるようにしてもよい。
　例えば、スライドバー３２の範囲が最近傍から無限遠の範囲に対応すると、デプス範囲の狭いデプス画像に対して、ツマミ３３およびツマミ３４の位置の調整が難しくなる可能性がある。逆に、スライドバー３２に対応するデプス値の範囲が、デプス画像におけるデプス値の範囲より狭いと、デプス画像のデプス値を全て表現することが困難になる可能性がある。上述のように、スライドバー３２のスケールを可変とすることにより、そのようなスライドバー３２の操作性の低減を抑制することができる。また、そのスライドバー３２のスケール調整を、デプス画像のデプス分布に応じて自動で行うことにより、より容易にスライドバー３２の操作性の低減を抑制することができる。
　もちろん、この場合も、スライドバー３２のスケール調整のためのパラメータは、任意であり、上述のデプス値の分布に限定されない。また、上述のように自動設定されたスライドバー３２のスケールは、ユーザ等の操作により変更可能としてもよい。
　なお、以上のようなスライドバー３２のスケール調整は、ツマミ３３およびツマミ３４のデプス値可動範囲（「所望のデプス値の範囲」の最大範囲（上限および下限））の制御とも言える。
　このようなツマミ３３およびツマミ３４のデプス値可動範囲を制御するために、上述の自動設定において、スライドバー３２のスケール調整を行う代わりに、スライドバー３２におけるツマミ３３およびツマミ３４の可動範囲を制御するようにしてもよい。例えば、上述の自動設定により、ツマミ３３およびツマミ３４の位置を設定し、その後、ユーザ等のGUI操作によりツマミ３３およびツマミ３４の位置が可変であるものの、ツマミ３３は、自動設定された位置より左側への移動が禁止され、ツマミ３４は、自動設定された位置より右側への移動が禁止されるようにしてもよい。
　　＜ヒストグラムの表示＞
　なお、表示画像３０において、デプス値のヒストグラムが表示されるようにしてもよい。つまり、例えば、図１１に示されるように、表示画像３０にヒストグラム４１が含まれてもよい。このヒストグラム４１には、デプス画像表示部３１に表示されるデプス画像におけるデプス値の出現頻度が、スライドバー３２の位置に対応して表示される。つまり、表示画像３０に含まれるGUI（スライドバー３２）にこのヒストグラム４１が含まれてもよい。
　このようにデプス値のヒストグラムを設けることにより、ユーザは、そのヒストグラムに基づいてオブジェクトの位置（奥行方向の位置）を推定することができる。例えば、ユーザは、ヒストグラムに基づいてデプス値の切れ目に合わせるようにツマミ３３およびツマミ３４の位置を設定することにより、より容易にオブジェクトを内包するように「所望のデプス値の範囲」を設定することができる。また、ヒストグラムに基づいてデプス値のノイズ成分を推定することもできる。つまり、このようにヒストグラムを表示することにより、ユーザがそのヒストグラムを利用してより効率よく「所望のデプス値の範囲」を設定することができる。
　なお、図１１の例のように、スライドバー３２の位置に対応させて各デプス値の出現頻度を表示させることにより、ユーザがより容易にツマミ３３およびツマミ３４の位置をそのヒストグラム（出現頻度分布）に対応させることができる。
　　＜デプス画像とRGB画像の合成表示＞
　デプスデータ(画像)とRGBデータ(画像)の位置関係は必ずしも一致しているとは限らない。例えば、デプスとRGBを別のセンサで取得する場合、デプスに基づいて位置合わせを行うが、センサ位置のキャリブレーションがずれていた場合などでは、位置関係がずれたRGB-Dデータとなる。また、ステレオ視の原理に基づいてデプスデータを生成する場合、元データはRGB画像そのものであっても、通常ある大きさをもった範囲同士のマッチングによって計算が行われるため、RGBデータに対して、デプスデータが若干はみ出すという場合がある。しかしながら、デプス画像とRGB画像を左右に、あるいは上下に並べて表示するだけでは、そのようなずれを視認することは非常に困難である。
　そこで、デプス画像とRGB画像をブレンドして表示してもよい。例えば、図１２に示されるように、表示画像３０のデプス画像表示部３１に、デプス画像２２（図３）とRGB画像２１（図２）とをブレンドした混合画像を表示してもよい。このような混合画像を表示することにより、ユーザは、容易にデプス画像とRGB画像との位置ずれを把握することができる。
　なお、デプス画像とRGB画像のブレンドは、画素毎に行われるようにしてもよい。その場合、各画素のブレンドは、例えば以下の式（２）乃至式（４）のような計算により行うことができる。
　ブレンド後画素R = ブレンド比率×デプス画像(色相表現)R
　　　　　　　　　　+ (1-ブレンド比率)＊RGB画像R
　　　　　　　　　　・・・（２）
　ブレンド後画素G = ブレンド比率×デプス画像(色相表現)G
　　　　　　　　　　+ (1-ブレンド比率)＊RGB画像G
　　　　　　　　　　・・・（３）
　ブレンド後画素B = ブレンド比率×デプス画像(色相表現)B
　　　　　　　　　　+ (1-ブレンド比率)＊RGB画像B
　　　　　　　　　　・・・（４）
　このようにデプス画像とRGB画像とをブレンドすることで、ユーザは、デプス画像とRGB画像との間の位置ずれを効率的に視認することができる。
　その際、デプス画像とRGB画像との最適なブレンド比率（ユーザが最も見やすいと感じるブレンド比率）はデータによって異なるので、ユーザがこのブレンド比率を制御することができるようにしてもよい。例えば、デプス画像とRGB画像とのブレンド比率を設定するGUIを含む表示画像を生成し、その表示画像に含まれるGUIに基づいて行われた、デプス画像とRGB画像とのブレンド比率の設定に関する入力を受け付け、その入力に基づいて、デプス画像とRGB画像とのブレンド比率を設定し、その混合画像を生成してもよい。
　例えば、図１２に示されるように、表示画像３０に、デプス画像とRGB画像とのブレンド比率設定用のGUIとして、操作子の位置に応じてブレンド比率が指定されるスライドバー５１が設けられている。ツマミ５２は、その操作子であり、スライドバー５１に沿って移動可能である。ユーザは、このツマミ５２を操作してその位置を指定することにより、デプス画像とRGB画像とのブレンド比率を設定することができる。そしてその設定は、デプス画像表示部３１に表示される混合画像に反映される。つまり、ユーザが指定したツマミ５２の位置に応じたブレンド比率でデプス画像とRGB画像とがブレンドされて混合画像が生成され、その混合画像がデプス画像表示部３１に表示される。つまり、ユーザは、ツマミ５２を操作することにより、デプス画像とRGB画像のブレンド比率を手動設定することができる。
　なお、スライドバー５１の図中左側には、デプス画像のブレンド比率（数値）が表示されるデプス値混合比表示部５３が設けられている。また、スライドバー５１の図中右側には、RGB画像のブレンド比率（数値）が表示されるRGB混合比表示部５４が設けられている。ユーザは、ツマミ５２の位置によりブレンド比率を大まかに把握することができるが、これらの表示（数値の表示）によって、より直接的にブレンド比率を把握することができる。つまり、この表示によりユーザは、より正確なブレンド比率を把握することができる。なお、デプス画像のブレンド比率とRGB画像のブレンド比率は合計１であるので、いずれか一方のブレンド比率だけを表示するようにしてもよい。また、ブレンド比率（数値）の表示を省略してもよい。つまり、デプス値混合比表示部５３およびRGB混合比表示部５４は、省略することができる。
　また、このようなRGB画像とのブレンドは、マスク処理が行われたデプス画像についても行うことができる。なお、スライドバー３２の場合と同様に、このブレンド比率（つまり、ツマミ５２の位置）が自動設定されるようにしてもよい。その際、その自動設定に用いられるパラメータは任意である。また、ブレンド比率の自動設定後にユーザ等によるそのブレンド比率の手動設定が可能としてもよい。つまり、ブレンド比率の初期値が自動設定されるようにしてもよい。もちろん、この手動設定を禁止してもよい。また、手動設定可能とする場合に、自動設定結果に基づいてその可動範囲を制限するようにしてもよい。また、スライドバー３２の場合と同様に、スライドバー５１のスケールを可変とし、そのスケールが自動設定されるようにしてもよい。
　　＜浸食処理＞
　ステレオ視の原理に基づいてデプスデータを生成する場合、元データはRGB画像そのものであっても、通常ある大きさをもった範囲同士のマッチングによって計算が行われるため、RGBデータに対して、デプスデータが若干はみ出すという場合がある。例えば図１３に示されるように、RGB画像におけるオブジェクト６１がデプス画像においてオブジェクト６２のようになる場合がある。このデプスの範囲（オブジェクト６２）に基づいて、３次元モデルデータの生成の範囲を決めると、輪郭付近に背景のRGBが残るおそれがあった。
　そこで、デプスの範囲に基づいて指定された領域に対して、モルフォロジーフィルタの１つである浸食処理を行い、その結果を３次元モデルデータの生成の範囲（すなわちマスク領域）としてもよい。
　浸食処理は、注目画素に対して、近傍画素が全て領域内であれば、出力は領域内、そうでなければ出力は領域外とするものである。つまり、デプス画像のオブジェクト６２の外周（外側の境界）上の各画素からみた近傍画素が全て領域外とされる。近傍画素は、処理対象の画素からみて所定の範囲内の画素のことである。つまり、処理対象の画素を中心とする所定の半径の円内に位置する画素が近傍画素とされる。この半径をカーネルサイズとも称する。
　例えば図１３の場合、オブジェクト６２の外周（外側の境界）上の各画素を中心とする、カーネルサイズを半径とする円６３の内側であって、かつ、オブジェクト６２の内側である領域が、侵食処理の対象領域（侵食領域とも称する）とされる。つまり、この浸食処理により、浸食領域の分だけオブジェクト６２が縮小される。
　このカーネルサイズを変えることで浸食される量が変化する。適切なカーネルサイズは場合によって異なるため、このカーネルサイズを可変としてもよい。例えば、このカーネルサイズの設定用のGUIを含む表示画像を生成し、そのGUIに基づいて行われた、カーネルサイズの設定に関する入力を受け付け、その入力に基づいて、カーネルサイズを設定し、浸食処理を行ってもよい。
　例えば、図１４に示されるように、表示画像３０に、カーネルサイズ設定用のGUIとして、操作子の位置に応じてカーネルサイズが指定されるスライドバー７１が設けられていてもよい。ツマミ７２は、その操作子であり、スライドバー７１に沿って移動可能である。ユーザは、このツマミ７２を操作してその位置を指定することにより、カーネルサイズを設定（手動設定）することができる。そしてその設定は、浸食処理に反映される。つまり、ユーザが指定したツマミ７２の位置に応じたカーネルサイズで浸食処理が行われ、その浸食処理が施されたデプス画像がデプス画像表示部３１に表示される。このようにすることにより、例えば、ユーザは、そのデプス画像表示部３１に表示されたデプス画像（浸食処理が施されたデプス画像）を確認しながら、輪郭付近に背景が入り込まないようにカーネルサイズを設定することができる。つまり、より容易にカーネルサイズを所望のサイズに設定することができる。
　なお、スライドバー７１の図中右側には、現在設定されているカーネルサイズ（数値）が表示されるカーネルサイズ表示部７３が設けられている。ユーザは、ツマミ７２の位置によりカーネルサイズを大まかに把握することができるが、この表示（数値の表示）によって、より直接的にカーネルサイズを把握することができる。つまり、より正確にカーネルサイズを把握することができる。なお、カーネルサイズは、小数であってもよい。また、カーネルサイズ（数値）の表示を省略してもよい。つまり、カーネルサイズ表示部７３は、省略することができる。
　この浸食処理は、例えば図１５に示されるシンタックス８１のような手順に従って行うことができる。
　なお、このような浸食処理は、デプス画像に限らず、マスクデータに対して行われるようにしてもよい。なお、スライドバー３２の場合と同様に、このカーネルサイズ（つまり、ツマミ７２の位置）が自動設定されるようにしてもよい。その際、その自動設定に用いられるパラメータは任意である。また、カーネルサイズの自動設定後にユーザ等によるそのカーネルサイズの手動設定が可能としてもよい。つまり、カーネルサイズの初期値が自動設定されるようにしてもよい。もちろん、この手動設定を禁止してもよい。また、手動設定可能とする場合に、自動設定結果に基づいてその可動範囲を制限するようにしてもよい。また、スライドバー３２の場合と同様に、スライドバー７１のスケールを可変とし、そのスケールが自動設定されるようにしてもよい。
　　＜色相設定を行わない場合＞
　以上においては、設定した「所望のデプス値の範囲」に応じて、デプス値に色相を設定するように説明したが、この色相設定は行わないようにしてもよい。例えば、色相設定を行わずに、「所望のデプス値の範囲」に応じてマスク処理（またはマスクの生成）を行うようにしてもよい。
　例えば、図１０を参照して説明したようにデプス画像に対して「所望のデプス値の範囲」に応じたマスク処理を行い、色相設定が初期状態のまま（例えば図４の設定のまま）、一部のデプス値の範囲に対応するデプス画像を生成してもよい。その場合、図１０に示されるデプス画像のオブジェクト１２が、図３に示されるように２色で表現される。
　その際、オブジェクト１２の部分に対して、上述のように浸食処理を行ってもよいし、行わなくてもよい。また、「所望のデプス値の範囲」に応じてマスクデータを生成し、そのマスクデータを用いてデプスデータを編集し、一部のデプス値の範囲に対応するデプスデータを生成してもよい。
　また、例えば、特許文献２において開示されているように、デプスデータ(画像)とRGBデータ(画像)から、３次元モデルデータ（３Ｄデータとも称する）を生成してもよい。その３次元モデルデータの用途によっては、全デプスデータに対応する範囲について３次元モデルデータを生成したい場合もあれば、特定の被写体のみを抜き出して３次元モデルデータを生成したい場合もある。
　特許文献３で閾値を設け閾値より手前だけを３次元モデルデータの生成対象とする方法が開示されているが、特定の被写体を抜き出すための閾値を決めるためには対話的な手段が必要である。また、抜き出したい被写体の前にも後ろにも不要な部分が存在することがある。
　そこで、色相を割り当てる範囲の最小値・最大値を、３次元モデルデータの生成範囲の指定としても利用してもよい。つまり、「所望のデプス値の範囲」に応じてマスクデータを生成し、そのマスクデータを用いて、一部のデプス値の範囲に対応する３Ｄデータを生成してもよい。このようにすることで、ユーザは表示画像を見ながら、対話的に３Ｄデータの対象とするデプス値の範囲を決めることができる。
　＜２．第１の実施の形態＞
　　＜２－１．デプスデータ処理装置＞
　図１６は、本技術を適用した情報処理装置の一実施の形態であるデプスデータ処理装置の主な構成例を示す図である。図１６に示されるデプスデータ処理装置１００は、デプスデータを処理する装置である。デプスデータ処理装置１００は、例えば、＜１．デプス値範囲設定とその範囲に基づく処理制御＞において上述したように、デプスデータに対して、デプス値の最大値と最小値とを設定することにより、その最大値および最小値を両端とするデプス値の範囲を設定することができる。つまり、「所望のデプス値の範囲」を設定することができる。
　なお、図１６においては、処理部やデータの流れ等の主なものを示しており、図１６に示されるものが全てとは限らない。つまり、デプスデータ処理装置１００において、図１６においてブロックとして示されていない処理部が存在したり、図１６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図１６に示されるように、デプスデータ処理装置１００は、フィルタ１０１、自動デプス値範囲設定部１０２、ユーザデプス値範囲設定部１０３、色相設定部１０４、領域設定部１０５、GUI処理部１０６、画像生成部１０７、デプスデータ編集部１０８、3Dデータ生成部１０９、バス１５０、入力部１５１、および出力部１５２を有する。
　　　＜フィルタ＞
　フィルタ１０１は、デプスデータに対してフィルタ処理を行う。例えば、フィルタ１０１は、デプスデータ処理装置１００に入力されたデプスデータを取得し得る。また、フィルタ１０１は、そのデプスデータに対して、＜デプス値の範囲の自動設定＞において説明したように、例えば２次元メディアンフィルタ等の、ノイズ成分の抑制のための画像処理フィルタをかけることができる。フィルタ１０１は、フィルタ処理後のデプスデータを自動デプス値範囲設定部１０２に供給し得る。なお、このフィルタ処理は省略することもできる。その場合、フィルタ１０１を省略してもよい。
　　　＜自動デプス値範囲設定部＞
　自動デプス値範囲設定部１０２は、「所望のデプス値の範囲」の設定に関する処理を行う。例えば、自動デプス値範囲設定部１０２は、フィルタ１０１からデプスデータを取得し得る。また、自動デプス値範囲設定部１０２は、そのデプスデータについて、＜デプス値の範囲の自動設定＞において説明したように、「所望のデプス値の範囲」の自動設定に関する処理を行うことができる。例えば、自動デプス値範囲設定部１０２は、デプスデータに含まれる全デプス値を検出し、その検出結果に基づいて「所望のデプス値の範囲」を設定することができる。
　このような自動設定により、例えば、自動デプス値範囲設定部１０２は、「所望のデプス値の範囲」の最小値および最大値の初期値（ツマミ３３やツマミ３４の初期位置）を設定することができる。また、自動デプス値範囲設定部１０２は、スライドバー３２のスケールを調整することができる。さらに、自動デプス値範囲設定部１０２は、スライドバー３２におけるツマミ３３およびツマミ３４の可動範囲を制御することができる。
　なお、その際、自動デプス値範囲設定部１０２が、例えばノイズ成分等と推定されるデプス値を除去してから、上述の自動設定を行うようにしてもよい。また、自動デプス値範囲設定部１０２が、デプスデータを任意の方法で加工し、その加工後のデプスデータに基づいて上述の自動設定を行うようにしてもよい。さらに、自動デプス値範囲設定部１０２が、その他の任意のパラメータに基づいて上述の自動設定を行うようにしてもよい。また、自動デプス値範囲設定部１０２が、デプスデータに含まれるデプス値に関わらず、予め定められた所定の値を設定するようにしてもよい。
　また、自動デプス値範囲設定部１０２は、設定した「所望のデプス値の範囲」を示す情報を、処理対象のデプスデータとともにユーザデプス値範囲設定部１０３に供給し得る。なお、この自動デプス値範囲設定部１０２による「所望のデプス値の範囲」の自動設定は省略することもできる。その場合、自動デプス値範囲設定部１０２を省略し、フィルタ１０１の出力がユーザデプス値範囲設定部１０３に供給されるようにしてもよい。
　　　＜ユーザデプス値範囲設定部＞
　ユーザデプス値範囲設定部１０３は、「所望のデプス値の範囲」の設定に関する処理を行う。例えば、ユーザデプス値範囲設定部１０３は、自動デプス値範囲設定部１０２から供給されるデプスデータやそのデプスデータに関する「所望のデプス値の範囲」を示す情報等を取得し得る。また、ユーザデプス値範囲設定部１０３は、GUI処理部１０６から供給される、デプス値範囲の設定に関する入力を取得し得る。さらに、ユーザデプス値範囲設定部１０３は、取得したそれらの情報に基づいて、＜デプス値範囲設定＞や＜デプス値範囲設定用GUI＞において上述したように、「所望のデプス値の範囲」の手動設定に関する処理を行うことができる。例えば、ユーザデプス値範囲設定部１０３は、GUIに対するユーザ操作等に基づいて、「所望のデプス値の範囲」を設定し得る。
　図１６に示されるように、ユーザデプス値範囲設定部１０３は、最大値設定部１２１および最小値設定部１２２を有する。
　最大値設定部１２１は、「所望のデプス値の範囲」に含まれるデプス値の最大値（つまり、「所望のデプス値の範囲」の上限）を設定し得る。例えば、ユーザがツマミ３４を所定の位置に移動させると、その位置に応じたデプス値がユーザ指示としてGUI処理部１０６から最大値設定部１２１に供給される。最大値設定部１２１は、そのユーザ指示により指定されたデプス値を、「所望のデプス値の範囲」に含まれるデプス値の最大値に設定する。
　最小値設定部１２２は、「所望のデプス値の範囲」に含まれるデプス値の最小値（つまり、「所望のデプス値の範囲」の下限）を設定し得る。例えば、ユーザがツマミ３３を所定の位置に移動させると、その位置に応じたデプス値がユーザ指示としてGUI処理部１０６から最小値設定部１２２に供給される。最小値設定部１２２は、そのユーザ指示により指定されたデプス値を、「所望のデプス値の範囲」に含まれるデプス値の最小値に設定する。
　ユーザデプス値範囲設定部１０３は、このように手動設定した「所望のデプス値の範囲」を示す情報を、色相設定部１０４や領域設定部１０５等に供給し得る。なお、このユーザデプス値範囲設定部１０３による「所望のデプス値の範囲」の手動設定は省略することもできる。その場合、ユーザデプス値範囲設定部１０３を省略し、自動デプス値範囲設定部１０２の出力（例えば、自動設定された「所望のデプス値の範囲」を示す情報）が色相設定部１０４や領域設定部１０５等に供給されるようにしてもよい。
　　　＜色相設定部＞
　色相設定部１０４は、色相の設定に関する処理を行う。例えば、色相設定部１０４は、例えば色相設定部１０４は、ユーザデプス値範囲設定部１０３から供給される「所望のデプス値の範囲」を示す情報等を取得し得る。また、色相設定部１０４は、取得した情報に基づいて、＜色相の設定＞において上述したように「所望のデプス値の範囲」に応じてデプスデータに色相を設定することができる。さらに、色相設定部１０４は、その色相の設定情報を画像生成部１０７やバス１５０等に供給し得る。
　なお、この色相設定は省略することもできる。その場合、色相設定部１０４を省略してもよい。
　　　＜領域設定部＞
　領域設定部１０５は、マスクに関する処理を行う。例えば、領域設定部１０５は、ユーザデプス値範囲設定部１０３から供給される「所望のデプス値の範囲」を示す情報等を取得し得る。また、領域設定部１０５は、GUI処理部１０６から供給される、カーネルサイズの設定に関する入力を取得し得る。さらに、領域設定部１０５は、デプスデータ処理装置１００に入力されるデプスデータを取得し得る。
　領域設定部１０５は、それらの情報に基づいて、例えば＜マスク処理＞や、＜浸食処理＞や、＜色相設定を行わない場合＞等において上述したような各種処理を行うことができる。例えば、領域設定部１０５は、「所望のデプス値の範囲」を示す情報と、デプスデータ処理装置１００に入力されるデプスデータとに基づいてデプスデータをマスクするマスクデータを生成し得る。また、領域設定部１０５は、カーネルサイズの設定に関する入力に基づいて、そのマスクデータに対して浸食処理を行うことができる。領域設定部１０５の詳細については、後述する。
　また、領域設定部１０５は、生成したマスクデータを画像生成部１０７、デプスデータ編集部１０８、3Dデータ生成部１０９、バス１５０等に供給し得る。
　なお、このマスクに関する処理は省略することもできる。その場合、領域設定部１０５を省略してもよい。
　　　＜GUI処理部＞
　GUI処理部１０６は、GUIに基づいて入力された情報に関する処理を行う。例えば、GUI処理部１０６は、ユーザ等がGUIに対して行った操作により入力された情報を、入力部１５１を介して取得し得る。例えば、GUI処理部１０６は、入力部１５１から供給される、デプス値範囲の設定に関する入力を取得し得る。また、GUI処理部１０６は、入力部１５１から供給される、カーネルサイズの設定に関する入力を取得し得る。さらに、GUI処理部１０６は、デプス画像とRGB画像とのブレンド比率に関する入力を取得し得る。
　また、GUI処理部１０６は、取得した情報をユーザデプス値範囲設定部１０３、領域設定部１０５、画像生成部１０７等に供給し得る。例えば、GUI処理部１０６は、デプス値範囲の設定に関する入力をユーザデプス値範囲設定部１０３に供給し得る。また、GUI処理部１０６は、カーネルサイズの設定に関する入力を領域設定部１０５に供給し得る。さらに、GUI処理部１０６は、デプス画像とRGB画像とのブレンド比率に関する入力を画像生成部１０７に供給し得る。
　なお、GUIを用いずに（ユーザの指示無しに）各種処理が行われるようにしてもよい。その場合、GUI処理部１０６を省略してもよい。
　　　＜画像生成部＞
　画像生成部１０７は、画像の生成に関する処理を行う。例えば、画像生成部１０７は、色相設定部１０４から供給される色相の設定情報を取得し得る。また、画像生成部１０７は、領域設定部１０５から供給されるマスクデータを取得し得る。さらに、画像生成部１０７は、デプスデータ処理装置１００に入力されるデプスデータやRGBデータ（画像データ）を取得し得る。また、画像生成部１０７は、GUI処理部１０６から供給されるデプス画像とRGB画像とのブレンド比率に関する入力を取得し得る。
　また、画像生成部１０７は、それらの情報に基づいて、例えば＜１．デプス値範囲設定とその範囲に基づく処理制御＞において上述したような各種画像を生成し得る。例えば、画像生成部１０７は、デプスデータと色相の設定情報とを用いて、色相設定部１０４において設定された色相に対応するデプス画像を生成し得る。
　また、画像生成部１０７は、さらにRGBデータを用いて、そのデプス画像とRGB画像との混合画像を生成し得る。その際、画像生成部１０７は、デプス画像とRGB画像とのブレンド比率に関する入力により指定されるデプス画像とRGB画像とのブレンド比率でデプス画像とRGB画像とをブレンドし、混合画像を生成し得る。
　さらに、画像生成部１０７は、デプスデータ、色相の設定情報、およびマスクデータを用いて、「所望のデプス値の範囲」に対応する一部のデプス値（例えば、「所望のデプス値の範囲」内のデプス値）に対応するデプス画像を生成し得る。なお、この場合の色相の設定は、初期状態（例えば図４）のものであってもよいし、色相設定部１０４において設定された（更新された）もの（例えば図６や図８等）であってもよい。
　また、画像生成部１０７は、さらにRGBデータを用いて、そのデプス画像とRGB画像との混合画像を生成し得る。その際、画像生成部１０７は、デプス画像とRGB画像とのブレンド比率に関する入力により指定されるデプス画像とRGB画像とのブレンド比率でデプス画像とRGB画像とをブレンドし、混合画像を生成し得る。
　さらに、画像生成部１０７は、以上のように生成したデプス画像や混合画像を用いて、表示画像３０を生成し得る。この表示画像３０は、上述したように、例えば、スライドバー３２乃至最大値表示部３６、ヒストグラム４１、スライドバー５１乃至RGB混合比表示部５４、並びに、スライドバー７１乃至カーネルサイズ表示部７４等のGUIを含み得る。
　画像生成部１０７は、生成した画像データをバス１５０に供給し得る。例えば、画像生成部１０７は、生成した表示画像３０を、バス１５０を介して表示部１６１（後述する）に供給し、表示させることができる。また、画像生成部１０７は、生成したデプス画像や混合画像を、バス１５０を介して記憶部１６２（後述する）に供給し、記憶媒体１６３（後述する）に記憶させることができる。さらに、画像生成部１０７は、生成したデプス画像や混合画像を、バス１５０を介して通信部１６４（後述する）に供給し、デプスデータ処理装置１００の外部（他の装置等）宛てに送信させることができる。
　なお、デプス画像、混合画像、および表示画像等が生成されないようにしてもよい。その場合、画像生成部１０７を省略してもよい。
　　　＜デプスデータ編集部＞
　デプスデータ編集部１０８は、デプスデータの編集に関する処理を行う。例えば、デプスデータ編集部１０８は、領域設定部１０５から供給されるマスクデータを取得し得る。また、デプスデータ編集部１０８は、デプスデータ処理装置１００に入力されるデプスデータを取得し得る。
　例えば、デプスデータ編集部１０８は、マスクデータを用いてデプスデータをマスクし、「所望のデプス値の範囲」に対応する一部のデプス値（例えば、「所望のデプス値の範囲」内のデプス値）に対応するデプスデータを生成し得る。つまり、デプスデータ編集部１０８は、マスクデータを用いて、デプス画像を生成せずに、デプスデータの編集を行う。
　また、デプスデータ編集部１０８は、以上のようにして生成したデプスデータ（「所望のデプス値の範囲」に対応する一部のデプス値に対応するデプスデータ）をバス１５０に供給し得る。例えば、デプスデータ編集部１０８は、そのデプスデータを、バス１５０を介して記憶部１６２（後述する）に供給し、記憶媒体１６３（後述する）に記憶させることができる。さらに、画像生成部１０７は、生成したデプスデータを、バス１５０を介して通信部１６４（後述する）に供給し、デプスデータ処理装置１００の外部（他の装置等）宛てに送信させることができる。
　なお、この「所望のデプス値の範囲」に対応する一部のデプス値に対応するデプスデータが生成されないようにしてもよい。その場合、デプスデータ編集部１０８を省略してもよい。
　　　＜3Dデータ生成部＞
　3Dデータ生成部１０９は、3Dデータの生成に関する処理を行う。例えば、3Dデータ生成部１０９は、領域設定部１０５から供給されるマスクデータを取得し得る。また、3Dデータ生成部１０９は、デプスデータ処理装置１００に入力されるデプスデータやRGBデータを取得し得る。
　また、3Dデータ生成部１０９は、それらの情報を用いて、＜色相設定を行わない場合＞において上述したように、「所望のデプス値の範囲」に対応する一部のデプス値に対応する3Dデータを生成し得る。なお、3Dデータ生成部１０９が、デプスデータ処理装置１００に入力されるデプスデータやRGBデータを用いて、デプスデータに含まれる全てのデプス値に対応する3Dデータを生成してもよい。
　さらに、3Dデータ生成部１０９は、生成した3Dデータを、バス１５０を介して記憶部１６２（後述する）に供給し、記憶媒体１６３（後述する）に記憶させることができる。また、3Dデータ生成部１０９は、生成した3Dデータを、バス１５０を介して通信部１６４（後述する）に供給し、デプスデータ処理装置１００の外部（他の装置等）宛てに送信させることができる。
　なお、この3Dデータが生成されないようにしてもよい。その場合、3Dデータ生成部１０９を省略してもよい。
　　　＜入力部＞
　入力部１５１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子等、任意の入力デバイスを有し、その入力デバイスを介して、ユーザ等の操作により入力された情報や、他の装置から供給された情報等を受け付けることができる。入力部１５１は、その受け付けた情報を、バス１５０を介して例えばGUI処理部１０６に供給することができる。
　　　＜出力部＞
　出力部１５２は、出力に関する処理を行う。例えば、出力部１５２は、図１６に示されるように、表示部１６１、記憶部１６２、記憶媒体１６３、および通信部１６４を有する。
　表示部１６１は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等で構成される、画像表示可能なモニタを有し、その表示を制御する。例えば、表示部１６１は、バス１５０を介して供給される各種画像をそのモニタに表示させ得る。例えば、表示部１６１は、画像生成部１０７から供給される表示画像３０の画像データを取得し、その表示画像３０をモニタに表示させることができる。なお、この表示画像３０は、上述したようにデプス画像や混合画像を含み得る。つまり、表示部１６１は、そのデプス画像や混合画像を、モニタに表示させることができる。
　記憶部１６２は、例えば、半導体メモリ等よりなる記憶媒体１６３の記憶を制御する。この記憶媒体１６３は、リムーバブルな記憶媒体であってもよいし、デプスデータ処理装置１００に内蔵される記憶媒体であってもよい。例えば、記憶部１６２は、バス１５０を介して供給される各種情報を記憶媒体１６３に記憶させることができる。また、記憶部１６２は、記憶媒体１６３に記憶されているデータを読み出し、バス１５０を介して、他の処理部（例えば、表示部１６１や通信部１６４等）に供給することができる。
　通信部１６４は、任意の通信方式により、インターネット上のサーバや、有線または無線LAN上の他の装置、その他の外部のデバイス等との間で通信を行う。例えば、通信部１６４は、その通信により、バス１５０を介して供給される各種情報を通信相手（外部のデバイス）に送信することができる。例えば、通信部１６４は、それらのデータをストリーミング方式やアップロード方式で送信することができる。さらに、通信部１６４は、その通信により、通信相手（外部のデバイス）から送信された各種情報を受信し、バス１５０を介して他の処理部に供給することができる。
　このような構成を有することにより、デプスデータ処理装置１００は、例えば＜１．デプス値範囲設定とその範囲に基づく処理制御＞等において上述したような処理を行うことができ、上述したような効果を得ることができる。
　なお、デプスデータ処理装置１００のこれらの処理部（フィルタ１０１乃至3Dデータ生成部１０９、入力部１５１、並びに出力部１５２（表示部１６１乃至通信部１６４））は、それぞれ、任意の構成を有することができる。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜領域設定部＞
　図１７は、図１６の領域設定部１０５の主な構成例を示すブロック図である。なお、図１７においては、処理部やデータの流れ等の主なものを示しており、図１７に示されるものが全てとは限らない。つまり、領域設定部１０５において、図１７においてブロックとして示されていない処理部が存在したり、図１７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　例えば、領域設定部１０５は、図１７に示されるように、フィルタ部２０１、領域抽出部２０２、および浸食処理部２０３を有する。
　　　＜フィルタ部＞
　フィルタ部２０１は、フィルタ処理を行う。例えば、フィルタ部２０１は、デプスデータ処理装置１００に入力されるデプスデータを取得し得る。また、フィルタ部２０１は、GUI処理部１０６から供給されるユーザ指示を取得し得る。さらに、フィルタ部２０１は、ユーザ指示に基づき、そのデプスデータに対してノイズ成分を抑制するフィルタ処理を行う。また、フィルタ部２０１は、フィルタ処理後のデプスデータを領域抽出部２０２に供給する。
　領域抽出部２０２は、マスクに関する処理を行う。例えば、領域抽出部２０２は、フィルタ部２０１から供給されるデプスデータを取得し得る。また、領域抽出部２０２は、ユーザデプス値範囲設定部１０３から供給される「所望のデプス値の範囲」を示す情報（例えば「所望のデプス値の範囲」に含まれるデプス値の最大値および最小値を示す情報）を取得し得る。さらに、領域抽出部２０２は、その取得した情報に基づいて、デプスデータの一部のデプス値を抽出するマスクデータ（「所望のデプス値の範囲」に対応するマスクデータ）を生成する。また、領域抽出部２０２は、そのマスクデータを浸食処理部２０３に供給し得る。
　浸食処理部２０３は、浸食処理に関する処理を行う。例えば、浸食処理部２０３は、領域抽出部２０２から供給される「所望のデプス値の範囲」に対応するマスクデータを取得し得る。また、浸食処理部２０３は、GUI処理部１０６から供給される、カーネルサイズの設定に関する入力（ユーザ指示）を取得し得る。さらに、浸食処理部２０３は、マスクデータに対して、指定されたカーネルサイズを用いて浸食処理を行う。また、浸食処理部２０３は、浸食処理を施したマスクデータを、画像生成部１０７、デプスデータ編集部１０８、3Dデータ生成部１０９、バス１５０等に供給し得る。
　このような構成を有することにより、領域設定部１０５は、例えば＜１．デプス値範囲設定とその範囲に基づく処理制御＞等において上述したような処理を行うことができ、上述したような効果を得ることができる。
　なお、領域設定部１０５のこれらの処理部（フィルタ部２０１乃至浸食処理部２０３）は、それぞれ、任意の構成を有することができる。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜デプスデータ処理の流れ＞
　次に、デプスデータ処理装置１００が、デプスデータに対する処理を行う際に実行するデプスデータ処理の流れの例を、図１８のフローチャートを参照して説明する。
　デプスデータ処理が開始されると、フィルタ１０１は、ステップＳ１０１において、デプスデータをフィルタ処理する。なおこのステップＳ１０１の処理は省略してもよい。
　ステップＳ１０２において、自動デプス値範囲設定部１０２は、そのデプスデータについて「所望のデプス値の範囲」を自動設定する。なおこのステップＳ１０２の処理は省略してもよい。
　ステップＳ１０３において、GUI処理部１０６は、入力部１５１を介して、ユーザ操作に対応する入力を受け付ける。
　ステップＳ１０４において、ユーザデプス値範囲設定部１０３は、ステップＳ１０３において受け付けられた入力に基づいて、「所望のデプス値の範囲」を手動設定する。例えば、ユーザデプス値範囲設定部１０３は、「所望のデプス値の範囲」の最大値および最小値、またはいずれか一方を手動設定する。
　ステップＳ１０５において、色相設定部１０４は、ステップＳ１０４において設定された「所望のデプス値の範囲」に応じて、デプスデータに色相を設定する。なおこのステップＳ１０５の処理は省略してもよい。
　ステップＳ１０６において、領域設定部１０５は、領域設定処理を実行し、ステップＳ１０４において設定された「所望のデプス値の範囲」に応じて、デプスデータをマスクするマスクデータを生成する。なおこのステップＳ１０６の処理は省略してもよい。
　ステップＳ１０７において、画像生成部１０７は、ステップＳ１０５において行われた色相の設定を示す情報や、ステップＳ１０６において生成されたマスクデータ等を用いて、「所望のデプス値の範囲」に対応する表示画像を生成する。なおこのステップＳ１０７の処理は省略してもよい。
　ステップＳ１０８において、デプスデータ編集部１０８は、ステップＳ１０６において生成されたマスクデータ等を用いて、「所望のデプス値の範囲」に対応する一部のデプス値に対応するデプスデータ（部分デプスデータとも称する）を生成する。なおこのステップＳ１０８の処理は省略してもよい。
　ステップＳ１０９において、3Dデータ生成部１０９は、ステップＳ１０６において生成されたマスクデータ等を用いて、「所望のデプス値の範囲」に対応する一部のデプス値に対応する3Dデータを生成する。なおこのステップＳ１０９の処理は省略してもよい。
　ステップＳ１１０において、表示部１６１は、ステップＳ１０７において生成された表示画像をモニタに表示させる。なおこのステップＳ１１０の処理は省略してもよい。
　ステップＳ１１１において、記憶部１６２は、ステップＳ１０５乃至ステップＳ１０９の各処理において生成された各種データを、記憶媒体１６３に記憶させる。なおこのステップＳ１１１の処理は省略してもよい。
　ステップＳ１１２において、通信部１６４は、ステップＳ１０５乃至ステップＳ１０９の各処理において生成された各種データを、通信相手（他のデバイス）宛てに送信させる。なおこのステップＳ１１２の処理は省略してもよい。
　以上のように各処理を行うと、デプスデータ処理が終了する。以上のように各処理を実行することにより、デプスデータ処理装置１００は、デプスデータの所望のデプス値範囲に対する処理を行うことができる。
　　＜領域設定処理の流れ＞
　次に、図１８のステップＳ１０６において生成される領域設定処理の流れの例を図１９のフローチャートを参照して説明する。
　領域設定処理が開始されると、領域設定部１０５のフィルタ部２０１は、ステップＳ１３１において、デプスデータにフィルタ処理を行う。
　ステップＳ１３２において、領域抽出部２０２は、そのフィルタ処理されたデプスデータから、指定されたデプス値の最小値から最大値までの範囲に含まれる領域を抽出し、マスクデータを生成する。
　ステップＳ１３３において、浸食処理部２０３は、ステップＳ１３２において生成されたマスクデータに対して、指定されたカーネルサイズを用いて浸食処理を行う。
　浸食処理が終了すると領域設定処理が終了し、処理は図１８に戻る。
　以上のように各処理を実行することにより、領域設定部１０５は、「所望のデプス値の範囲」に対応する一部のデプス値に対応する部分デプスデータを生成することができる。このように、デプスデータ処理装置１００は、デプスデータの所望のデプス値範囲に対する処理を行うことができる。
　　＜２－２．領域設定部＞
　図２０は、図１６の領域設定部１０５の他の構成例を示すブロック図である。なお、図２０においては、処理部やデータの流れ等の主なものを示しており、図２０に示されるものが全てとは限らない。つまり、領域設定部１０５において、図２０においてブロックとして示されていない処理部が存在したり、図２０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　この場合、領域設定部１０５は、図２０に示されるように、フィルタ部２１１、領域抽出部２１２、およびガイド付きフィルタ２１３を有する。フィルタ部２１１は、フィルタ部２０１と同様の処理部であり、フィルタ部２０１と同様の処理を行う。また、領域抽出部２１２は、領域抽出部２０２と同様の処理部であり、領域抽出部２０２と同様の処理を行う。
　　　＜ガイド付きフィルタ＞
　つまり、図２０の例の場合、領域設定部１０５は、図１７の例の浸食処理部２０３の代わりに、ガイド付きフィルタ２１３を有する。
　このガイド付きフィルタ２１３は、例えば、領域抽出部２１２からマスクデータを取得し得る。また、ガイド付きフィルタ２１３は、GUI処理部１０６から供給されるユーザ指示を取得し得る。さらに、ガイド付きフィルタ２１３は、RGBデータを取得し得る。また、ガイド付きフィルタ２１３は、そのユーザ指示に基づいて、例えばWeighted median等の、RGBデータをガイドにしたフィルタ処理を行うことができる。ガイド付きフィルタ２１３は、このフィルタ処理により、マスクデータのエッジの位置をRGBデータのエッジの位置に合わせることができる。
　ガイド付きフィルタ２１３は、フィルタ処理後のマスクデータ（つまり、エッジの位置をRGBデータに合わせたマスクデータ）を画像生成部１０７、デプスデータ編集部１０８、3Dデータ生成部１０９、バス１５０等に供給し得る。
　このような構成を有することにより、領域設定部１０５は、例えば＜１．デプス値範囲設定とその範囲に基づく処理制御＞等において上述したような処理を行うことができ、上述したような効果を得ることができる。
　なお、領域設定部１０５のこれらの処理部（フィルタ部２１１乃至ガイド付きフィルタ２１３）は、それぞれ、任意の構成を有することができる。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜領域設定処理の流れ＞
　この場合の、図１８のステップＳ１０６において生成される領域設定処理の流れの例を図２１のフローチャートを参照して説明する。
　領域設定処理が開始されると、ステップＳ１５１およびステップＳ１５２の各処理が、ステップＳ１３１およびステップＳ１３２の各処理（図１９）と同様に実行される。
　ステップＳ１５３において、ガイド付きフィルタ２１３は、RGBデータをガイドにしたフィルタ処理を行い、マスクデータのエッジの位置をRGBデータのエッジの位置に合わせる。
　ステップＳ１５３の処理が終了すると領域設定処理が終了し、処理は図１８に戻る。
　以上のように各処理を実行することにより、領域設定部１０５は、「所望のデプス値の範囲」に対応する一部のデプス値に対応する部分デプスデータを生成することができる。このように、デプスデータ処理装置１００は、デプスデータの所望のデプス値範囲に対する処理を行うことができる。
　　＜２－３．領域設定部＞
　なお、上述のRGBデータをガイドにしたフィルタ処理は、デプスデータに対して行うようにしてもよい。図２２は、その場合の領域設定部１０５の主な構成例を示すブロック図である。なお、図２２においては、処理部やデータの流れ等の主なものを示しており、図２２に示されるものが全てとは限らない。つまり、領域設定部１０５において、図２２においてブロックとして示されていない処理部が存在したり、図２２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　この場合、領域設定部１０５は、図２２に示されるように、ガイド付きフィルタ２２１および領域抽出部２２２を有する。
　　　＜ガイド付きフィルタ＞
　ガイド付きフィルタ２２１は、図２０のガイド付きフィルタ２１３と同様の処理部であり、同様の処理を行う。ただし、ガイド付きフィルタ２２１は、デプスデータ処理装置１００に入力されるデプスデータに対してフィルタ処理を行う。つまり、ガイド付きフィルタ２２１は、そのデプスデータに対して、RGBデータをガイドにしたフィルタ処理を行い、マスクデータのエッジの位置をRGBデータのエッジの位置に合わせることができる。
　ガイド付きフィルタ２１３は、フィルタ処理後のデプスデータ（つまり、エッジの位置をRGBデータに合わせたデプスデータ）を領域抽出部２２２に供給し得る。
　　　＜領域抽出部＞
　領域抽出部２２２は、図２０の領域抽出部２１２と同様の処理部であり、同様の処理を行う。ただし、領域抽出部２２２は、ガイド付きフィルタ２２１から供給されるフィルタ処理後のデプスデータ（つまり、エッジの位置をRGBデータに合わせたデプスデータ）に対して処理を行う。つまり、領域抽出部２２２は、そのガイド付きフィルタ２２１から供給されるデプスデータを取得し得る。また、領域抽出部２２２は、ユーザデプス値範囲設定部１０３から供給される「所望のデプス値の範囲」を示す情報（「所望のデプス値の範囲」に含まれるデプス値の最大値および最小値）を取得し得る。さらに、領域抽出部２２２は、そのデプス値の最大値および最小値に基づいて、デプスデータの一部のデプス値を抽出するマスクデータ（「所望のデプス値の範囲」に対応するマスクデータ）を生成する。また、領域抽出部２０２は、そのマスクデータを、画像生成部１０７、デプスデータ編集部１０８、3Dデータ生成部１０９、バス１５０等に供給し得る。
　このような構成を有することにより、領域設定部１０５は、例えば＜１．デプス値範囲設定とその範囲に基づく処理制御＞等において上述したような処理を行うことができ、上述したような効果を得ることができる。
　なお、領域設定部１０５のこれらの処理部（ガイド付きフィルタ２２１および領域抽出部２２２）は、それぞれ、任意の構成を有することができる。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜領域設定処理の流れ＞
　この場合の、図１８のステップＳ１０６において生成される領域設定処理の流れの例を図２３のフローチャートを参照して説明する。
　領域設定処理が開始されると、ステップＳ１７１において、ガイド付きフィルタ２２１は、RGBデータをガイドにしたフィルタ処理を行い、デプスデータのエッジの位置をRGBデータのエッジの位置に合わせる。
　ステップＳ１７２において、領域抽出部２２２は、そのフィルタ処理されたデプスデータから、指定されたデプス値の最小値から最大値までの範囲に含まれる領域を抽出し、マスクデータを生成する。
　ステップＳ１７２の処理が終了すると領域設定処理が終了し、処理は図１８に戻る。
　以上のように各処理を実行することにより、領域設定部１０５は、「所望のデプス値の範囲」に対応する一部のデプス値に対応する部分デプスデータを生成することができる。このように、デプスデータ処理装置１００は、デプスデータの所望のデプス値範囲に対する処理を行うことができる。
　　＜２－４．領域設定部＞
　なお、浸食処理の代わりに、マスクされない領域を、RGBデータにおいて所定の被写体を含む領域である被写体領域と統合してもよい。つまり、マスクされない領域の内、被写体領域のみを抽出するようにマスクデータを生成してもよい。
　図２４は、その場合の領域設定部１０５の主な構成例を示すブロック図である。なお、図２４においては、処理部やデータの流れ等の主なものを示しており、図２４に示されるものが全てとは限らない。つまり、領域設定部１０５において、図２４においてブロックとして示されていない処理部が存在したり、図２４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　この場合、領域設定部１０５は、図２４に示されるように、フィルタ部２３１、領域抽出部２３２、被写体領域抽出部２３３、および領域統合部２３４を有する。フィルタ部２３１は、フィルタ部２０１（図１７）と同様の処理部であり、同様の処理を行う。また、領域抽出部２３２は、領域抽出部２０２（図１７）と同様の処理部であり、同様の処理を行う。
　つまり、図２４の例の場合、領域設定部１０５は、図１７の例の浸食処理部２０３の代わりに、被写体領域抽出部２３３および領域統合部２３４を有する。
　　　＜被写体領域抽出部＞
　被写体領域抽出部２３３は、被写体領域の抽出に関する処理を行う。例えば、被写体領域抽出部２３３は、デプスデータ処理装置１００に入力されるRGBデータを取得し得る。また、被写体領域抽出部２３３は、そのRGBデータから被写体を含む被写体領域を抽出することができる。さらに、被写体領域抽出部２３３は、その抽出された被写体領域を示す情報（例えば、その被写体領域のRGBデータ）を領域統合部２３４に供給し得る。
　　　＜領域統合部＞
　また、領域抽出部２３２は、生成したマスクデータを領域統合部２３４に供給し得る。領域統合部２３４は、マスクされない領域と被写体領域との統合に関する処理を行う。例えば、領域統合部２３４は、領域抽出部２３２から供給されるマスクデータを取得し得る。また、領域統合部２３４は、被写体領域抽出部２３３から供給される被写体領域を示す情報を取得し得る。
　さらに領域統合部２３４は、取得したマスクデータが示すマスクされない領域と被写体領域とを統合することで、「所望のデプス値の範囲」内の被写体領域に対応して修正されたマスクを生成し得る。つまり、領域統合部２３４は、例えば、そのマスクデータが示すマスクされない領域の内、被写体領域のみを抽出するようにマスクデータを生成（更新）することができる。そして領域統合部２３４は、その生成したマスクデータを画像生成部１０７、デプスデータ編集部１０８、3Dデータ生成部１０９、バス１５０等に供給し得る。
　このような構成を有することにより、領域設定部１０５は、例えば＜１．デプス値範囲設定とその範囲に基づく処理制御＞等において上述したような処理を行うことができ、上述したような効果を得ることができる。
　なお、領域設定部１０５のこれらの処理部（フィルタ部２３１乃至領域統合部２３４）は、それぞれ、任意の構成を有することができる。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜領域設定処理の流れ＞
　この場合の、図１８のステップＳ１０６において生成される領域設定処理の流れの例を図２５のフローチャートを参照して説明する。
　領域設定処理が開始されると、ステップＳ１９１およびステップＳ１９２の各処理が、ステップＳ１３１およびステップＳ１３２の各処理（図１９）と同様に実行される。
　ステップＳ１９３において、被写体領域抽出部２３３は、RGBデータから所定の被写体領域を抽出する。
　ステップＳ１９４において、領域統合部２３４は、ステップＳ１９２において生成されたマスクデータによりマスクされない領域と、ステップＳ１９３において設定された被写体領域とを統合する。例えば、領域統合部２３４は、ステップＳ１９２において生成されたマスクデータから、デプスの最小値から最大値までの範囲に含まれる被写体領域を抽出する。
　ステップＳ１９４の処理が終了すると領域設定処理が終了し、処理は図１８に戻る。
　以上のように各処理を実行することにより、領域設定部１０５は、「所望のデプス値の範囲」に対応する一部のデプス値に対応する部分デプスデータを生成することができる。このように、デプスデータ処理装置１００は、デプスデータの所望のデプス値範囲に対する処理を行うことができる。
　＜３．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２６に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体９２１に記録して適用することができる。その場合、プログラムは、リムーバブル記録媒体９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　本技術は、任意の構成に適用することができる。例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対してサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　画像データに対応するデプスデータについて、デプス値の最大値と最小値とを設定することにより、前記最大値および前記最小値を両端とするデプス値の範囲を設定するデプス値範囲設定部と、
　前記デプス値範囲設定部により設定された前記デプス値の範囲に応じた前記デプスデータのマスクを生成するマスク生成部と
　を備える情報処理装置。
　（２）　前記デプス値の範囲の設定用のGUI（Graphical User Interface）を含む表示画像を生成する表示画像生成部をさらに備え、
　前記デプス値範囲設定部は、前記表示画像に含まれる前記GUIに基づいて行われた、前記デプス値の範囲の設定に関する入力を受け付ける受付部により受け付けられた前記入力に基づいて、前記デプス値の範囲を設定する
　（１）に記載の情報処理装置。
　（３）　前記GUIは、操作子の位置に応じて前記デプス値の範囲が指定されるスライドバーである
　（２）に記載の情報処理装置。
　（４）　前記スライドバーは、位置に応じて前記最大値が指定される操作子と、位置に応じて前記最小値が指定される操作子とを有する
　（３）に記載の情報処理装置。
　（５）　前記スライドバーは、前記操作子の位置が距離に対して等間隔である
　（３）または（４）に記載の情報処理装置。
　（６）　前記スライドバーは、前記操作子の位置が視差に対して等間隔である
　（３）または（４）に記載の情報処理装置。
　（７）　前記GUIは、前記デプス値のヒストグラムをさらに含む
　（３）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記デプスデータに対してフィルタ処理を行うフィルタ部をさらに備え、
　前記デプス値範囲設定部は、前記フィルタ部により前記フィルタ処理が行われた前記デプスデータにおける前記デプス値の範囲を設定する
　（１）乃至（７）のいずれかに記載の情報処理装置。
　（９）　前記デプス値範囲設定部は、前記デプス値の範囲を自動設定する
　（１）乃至（８）のいずれかに記載の情報処理装置。
　（１０）　前記マスク生成部により生成された前記マスクについて浸食処理を行う浸食処理部をさらに備える
　（１）乃至（９）のいずれかに記載の情報処理装置。
　（１１）　前記浸食処理用のGUI（Graphical User Interface）を含む表示画像を生成する表示画像生成部をさらに備え、
　前記浸食処理部は、前記GUIに基づいて行われた、前記浸食処理の設定に関する入力を受け付ける受付部により受け付けられた前記入力に基づいて、前記浸食処理を行う
　（１０）に記載の情報処理装置。
　（１２）　前記マスク生成部により生成された前記マスクのエッジを前記画像データに合わせるフィルタ処理を行うフィルタ部をさらに備える
　（１）乃至（１１）のいずれかに記載の情報処理装置。
　（１３）　前記デプスデータのエッジを前記画像データに合わせるフィルタ処理を行うフィルタ部をさらに備え、
　前記マスク生成部は、前記フィルタ部により前記フィルタ処理が行われた前記デプスデータについて、前記デプス値範囲設定部により設定された前記デプス値の範囲に応じた前記マスクを生成する
　（１）乃至（１２）のいずれかに記載の情報処理装置。
　（１４）　前記画像データから所定の被写体を含む被写体領域を抽出する被写体領域抽出部と、
　前記マスク生成部により生成された前記マスクと、前記被写体領域抽出部により抽出された前記被写体領域とを統合することで、前記デプス値の範囲内の前記被写体領域に対応して修正されたマスクを生成する領域統合部と
　（１）乃至（１３）のいずれかに記載の情報処理装置。
　（１５）　前記マスク生成部により生成された前記マスクを用いて前記デプスデータをマスク処理することにより、前記デプス値の範囲内の前記デプスデータを示す画像を含む表示画像を生成する表示画像生成部をさらに備える
　（１）乃至（１４）のいずれかに記載の情報処理装置。
　（１６）　前記表示画像生成部は、前記デプス値の範囲内の前記デプスデータを示す画像に、前記画像データに対応する画像を混合させた混合画像を含む表示画像を生成する
　（１５）に記載の情報処理装置。
　（１７）　前記表示画像生成部は、
　　前記混合画像の混合比の設定用のGUI（Graphical User Interface）を含む表示画像を生成し、
　　前記表示画像に含まれる前記GUIに基づいて行われた、前記混合比の設定に関する入力を受け付ける受付部により受け付けられた前記入力に基づいて、前記混合画像を生成する
　（１６）に記載の情報処理装置。
　（１８）　前記デプス値範囲設定部により設定された前記デプス値の範囲に応じて前記デプスデータに色相を設定する色相設定部をさらに備える
　（１）乃至（１７）のいずれかに記載の情報処理装置。
　（１９）　画像データに対応するデプスデータについて、デプス値の最大値と最小値とを設定することにより、前記最大値および前記最小値を両端とするデプス値の範囲を設定し、
　設定された前記デプス値の範囲に応じた前記デプスデータのマスクを生成する
　情報処理方法。
　（２０）　コンピュータを、
　画像データに対応するデプスデータについて、デプス値の最大値と最小値とを設定することにより、前記最大値および前記最小値を両端とするデプス値の範囲を設定するデプス値範囲設定部と、
　前記デプス値範囲設定部により設定された前記デプス値の範囲に応じた前記デプスデータのマスクを生成するマスク生成部と
　として機能させるプログラム。
　１０　カメラ，　１１　オブジェクト，　１２　オブジェクト，　２１　RGB画像，　２２　デプス画像，　３０　表示画像，　３１　デプス画像表示部，　３２　スライドバー，　３３　ツマミ，　３４　ツマミ，　３５　最小値表示部，　３６　最大値表示部，　４１　ヒストグラム，　５１　スライドバー，　５２　ツマミ，　５３　デプス値混合比表示部，　５４　RGB混合比表示部，　７１　スライドバー，　７２　ツマミ，　７３　カーネルサイズ表示部，　１００　デプスデータ処理装置，　１０１　フィルタ，　１０２　自動デプス値範囲設定部，　１０３　ユーザデプス値範囲設定部，　１０４　色相設定部，　１０５　領域設定部，　１０６　GUI処理部，　１０７　画像生成部，　１０８　デプスデータ編集部，　１０９　3Dデータ生成部，　１５０　バス，　１５１　入力部，　１５２　出力部，　１６１　表示部，　１６２　記憶部，　１６３　記憶媒体，　１６４　通信部，　２０１　フィルタ部，　２０２　領域抽出部，　２０３　浸食処理部，　２１１　フィルタ部，　２１２　領域抽出部，　２１３　ガイド付きフィルタ，　２２１　ガイド付きフィルタ，　２２２　領域抽出部，　２３１　フィルタ部，　２３２　領域抽出部，　２３３　被写体領域抽出部，　２３４　領域統合部

Claims (20)

  1. 　画像データに対応するデプスデータについて、デプス値の最大値と最小値とを設定することにより、前記最大値および前記最小値を両端とするデプス値の範囲を設定するデプス値範囲設定部と、
    　前記デプス値範囲設定部により設定された前記デプス値の範囲に応じた前記デプスデータのマスクを生成するマスク生成部と
    　を備える情報処理装置。
  2. 　前記デプス値の範囲の設定用のGUI（Graphical User Interface）を含む表示画像を生成する表示画像生成部をさらに備え、
    　前記デプス値範囲設定部は、前記表示画像に含まれる前記GUIに基づいて行われた、前記デプス値の範囲の設定に関する入力を受け付ける受付部により受け付けられた前記入力に基づいて、前記デプス値の範囲を設定する
    　請求項１に記載の情報処理装置。
  3. 　前記GUIは、操作子の位置に応じて前記デプス値の範囲が指定されるスライドバーである
    　請求項２に記載の情報処理装置。
  4. 　前記スライドバーは、位置に応じて前記最大値が指定される操作子と、位置に応じて前記最小値が指定される操作子とを有する
    　請求項３に記載の情報処理装置。
  5. 　前記スライドバーは、前記操作子の位置が距離に対して等間隔である
    　請求項３に記載の情報処理装置。
  6. 　前記スライドバーは、前記操作子の位置が視差に対して等間隔である
    　請求項３に記載の情報処理装置。
  7. 　前GUIは、前記デプス値のヒストグラムをさらに含む
    　請求項３に記載の情報処理装置。
  8. 　前記デプスデータに対してフィルタ処理を行うフィルタ部をさらに備え、
    　前記デプス値範囲設定部は、前記フィルタ部により前記フィルタ処理が行われた前記デプスデータにおける前記デプス値の範囲を設定する
    　請求項１に記載の情報処理装置。
  9. 　前記デプス値範囲設定部は、前記デプス値の範囲を自動設定する
    　請求項１に記載の情報処理装置。
  10. 　前記マスク生成部により生成された前記マスクについて浸食処理を行う浸食処理部をさらに備える
    　請求項１に記載の情報処理装置。
  11. 　前記浸食処理用のGUI（Graphical User Interface）を含む表示画像を生成する表示画像生成部をさらに備え、
    　前記浸食処理部は、前記GUIに基づいて行われた、前記浸食処理の設定に関する入力を受け付ける受付部により受け付けられた前記入力に基づいて、前記浸食処理を行う
    　請求項１０に記載の情報処理装置。
  12. 　前記マスク生成部により生成された前記マスクのエッジを前記画像データに合わせるフィルタ処理を行うフィルタ部をさらに備える
    　請求項１に記載の情報処理装置。
  13. 　前記デプスデータのエッジを前記画像データに合わせるフィルタ処理を行うフィルタ部をさらに備え、
    　前記マスク生成部は、前記フィルタ部により前記フィルタ処理が行われた前記デプスデータについて、前記デプス値範囲設定部により設定された前記デプス値の範囲に応じた前記マスクを生成する
    　請求項１に記載の情報処理装置。
  14. 　前記画像データから所定の被写体を含む被写体領域を抽出する被写体領域抽出部と、
    　前記マスク生成部により生成された前記マスクと、前記被写体領域抽出部により抽出された前記被写体領域とを統合することで、前記デプス値の範囲内の前記被写体領域に対応して修正されたマスクを生成する領域統合部と
    　請求項１に記載の情報処理装置。
  15. 　前記マスク生成部により生成された前記マスクを用いて前記デプスデータをマスク処理することにより、前記デプス値の範囲内の前記デプスデータを示す画像を含む表示画像を生成する表示画像生成部をさらに備える
    　請求項１に記載の情報処理装置。
  16. 　前記表示画像生成部は、前記デプス値の範囲内の前記デプスデータを示す画像に、前記画像データに対応する画像を混合させた混合画像を含む表示画像を生成する
    　請求項１５に記載の情報処理装置。
  17. 　前記表示画像生成部は、
    　　前記混合画像の混合比の設定用のGUI（Graphical User Interface）を含む表示画像を生成し、
    　　前記表示画像に含まれる前記GUIに基づいて行われた、前記混合比の設定に関する入力を受け付ける受付部により受け付けられた前記入力に基づいて、前記混合画像を生成する
    　請求項１６に記載の情報処理装置。
  18. 　前記デプス値範囲設定部により設定された前記デプス値の範囲に応じて前記デプスデータに色相を設定する色相設定部をさらに備える
    　請求項１に記載の情報処理装置。
  19. 　画像データに対応するデプスデータについて、デプス値の最大値と最小値とを設定することにより、前記最大値および前記最小値を両端とするデプス値の範囲を設定し、
    　設定された前記デプス値の範囲に応じた前記デプスデータのマスクを生成する
    　情報処理方法。
  20. 　コンピュータを、
    　画像データに対応するデプスデータについて、デプス値の最大値と最小値とを設定することにより、前記最大値および前記最小値を両端とするデプス値の範囲を設定するデプス値範囲設定部と、
    　前記デプス値範囲設定部により設定された前記デプス値の範囲に応じた前記デプスデータのマスクを生成するマスク生成部と
    　として機能させるプログラム。
PCT/JP2021/004355 2020-02-19 2021-02-05 情報処理装置および方法、並びにプログラム WO2021166690A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21756524.1A EP4109407A4 (en) 2020-02-19 2021-02-05 INFORMATION PROCESSING DEVICE AND METHOD AND PROGRAM
US17/799,007 US20230063237A1 (en) 2020-02-19 2021-02-05 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020026320 2020-02-19
JP2020-026320 2020-02-19

Publications (1)

Publication Number Publication Date
WO2021166690A1 true WO2021166690A1 (ja) 2021-08-26

Family

ID=77390995

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004355 WO2021166690A1 (ja) 2020-02-19 2021-02-05 情報処理装置および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20230063237A1 (ja)
EP (1) EP4109407A4 (ja)
WO (1) WO2021166690A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03269680A (ja) 1990-03-19 1991-12-02 Nippon Telegr & Teleph Corp <Ntt> 立体表示処理方法
JPH08131403A (ja) * 1994-11-09 1996-05-28 Toshiba Medical Eng Co Ltd 医用画像処理装置
JP2001352440A (ja) * 2000-06-07 2001-12-21 Olympus Optical Co Ltd 画像処理装置
JP5307953B1 (ja) * 2011-11-30 2013-10-02 パナソニック株式会社 立体画像処理装置、立体画像処理方法、および立体画像処理プログラム
JP2014067372A (ja) 2012-09-27 2014-04-17 Kddi Corp 運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置
JP2016071645A (ja) 2014-09-30 2016-05-09 Kddi株式会社 オブジェクト３次元モデル復元方法、装置およびプログラム
JP2017054337A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法
JP2019080206A (ja) * 2017-10-25 2019-05-23 株式会社Ｎｔｔファシリティーズ 情報処理システム、情報処理方法、及びプログラム
JP2019093152A (ja) * 2018-12-26 2019-06-20 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121001A (ja) * 2005-10-26 2007-05-17 Matsushita Electric Ind Co Ltd ナビゲーション装置
US8213711B2 (en) * 2007-04-03 2012-07-03 Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Method and graphical user interface for modifying depth maps
US8463470B2 (en) * 2009-09-03 2013-06-11 Johnson Outdoors Marine Electronics, Inc. Shallow water highlight method and display systems
US9042636B2 (en) * 2009-12-31 2015-05-26 Disney Enterprises, Inc. Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers
US20150104101A1 (en) * 2013-10-14 2015-04-16 Apple Inc. Method and ui for z depth image segmentation
JP2017181291A (ja) * 2016-03-30 2017-10-05 富士通株式会社 距離測定装置、距離測定方法及びプログラム
US11094041B2 (en) * 2019-11-29 2021-08-17 Samsung Electronics Co., Ltd. Generation of bokeh images using adaptive focus range and layered scattering

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03269680A (ja) 1990-03-19 1991-12-02 Nippon Telegr & Teleph Corp <Ntt> 立体表示処理方法
JPH08131403A (ja) * 1994-11-09 1996-05-28 Toshiba Medical Eng Co Ltd 医用画像処理装置
JP2001352440A (ja) * 2000-06-07 2001-12-21 Olympus Optical Co Ltd 画像処理装置
JP5307953B1 (ja) * 2011-11-30 2013-10-02 パナソニック株式会社 立体画像処理装置、立体画像処理方法、および立体画像処理プログラム
JP2014067372A (ja) 2012-09-27 2014-04-17 Kddi Corp 運動視差再現プログラムおよび装置ならびにその三次元モデル生成プログラムおよび装置
JP2016071645A (ja) 2014-09-30 2016-05-09 Kddi株式会社 オブジェクト３次元モデル復元方法、装置およびプログラム
JP2017054337A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法
JP2019080206A (ja) * 2017-10-25 2019-05-23 株式会社Ｎｔｔファシリティーズ 情報処理システム、情報処理方法、及びプログラム
JP2019093152A (ja) * 2018-12-26 2019-06-20 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4109407A4

Also Published As

Publication number Publication date
EP4109407A4 (en) 2023-07-19
EP4109407A1 (en) 2022-12-28
US20230063237A1 (en) 2023-03-02

Similar Documents

Publication Publication Date Title
Emberton et al. Underwater image and video dehazing with pure haze region segmentation
US10073602B2 (en) System and method for displaying a suggested luminance adjustment for an image
Moeslund Introduction to video and image processing: Building real systems and applications
TWI427555B (zh) 影像加強裝置與方法
CN110660088A (zh) 一种图像处理的方法和设备
US10638968B2 (en) Skin gloss evaluation device, skin gloss evaluation method, and skin gloss evaluation program
EP2820620A2 (en) Visual conditioning for augmented-reality-assisted video conferencing
CN110691226B (zh) 图像处理方法、装置、终端及计算机可读存储介质
US20150071532A1 (en) Image processing device, computer-readable recording medium, and image processing method
Vazquez-Corral et al. A fast image dehazing method that does not introduce color artifacts
Gritzman et al. Comparison of colour transforms used in lip segmentation algorithms
EP3381012A1 (en) Method and system for generating an output image from a plurality of corresponding input image channels
CN109214996A (zh) 一种图像处理方法及装置
Yao et al. Instant color matching for mobile panorama imaging
Dugonik et al. Image quality assessment of digital image capturing devices for melanoma detection
WO2021166690A1 (ja) 情報処理装置および方法、並びにプログラム
CN109690557B (zh) 基于景深估计的图像调节
CN113112422A (zh) 图像处理方法、装置、电子设备、计算机可读介质
Park et al. Preferred skin color reproduction on the display
Jung et al. Depth map based image enhancement using color stereopsis
CN111462158A (zh) 一种图像处理方法、装置及智能设备、存储介质
US8086060B1 (en) Systems and methods for three-dimensional enhancement of two-dimensional images
EP3384673B1 (en) Noise-cancelling filter for video images
CN114816619A (zh) 一种信息处理方法及电子设备
US20170116746A1 (en) Method for segmenting a color image and digital microscope

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21756524

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021756524

Country of ref document: EP

Effective date: 20220919

NENP Non-entry into the national phase

Ref country code: JP