WO2012101719A1 - ３次元画像撮影装置及び３次元画像撮影方法 - Google Patents

３次元画像撮影装置及び３次元画像撮影方法 Download PDF

Info

Publication number
WO2012101719A1
WO2012101719A1 PCT/JP2011/007029 JP2011007029W WO2012101719A1 WO 2012101719 A1 WO2012101719 A1 WO 2012101719A1 JP 2011007029 W JP2011007029 W JP 2011007029W WO 2012101719 A1 WO2012101719 A1 WO 2012101719A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth
subject
unit
input image
cost function
Prior art date
Application number
PCT/JP2011/007029
Other languages
English (en)
French (fr)
Inventor
カン グエン
河村　岳
俊介 安木
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN201180014337.2A priority Critical patent/CN102812715B/zh
Priority to JP2012517972A priority patent/JP6011862B2/ja
Priority to US13/635,986 priority patent/US20130010077A1/en
Priority to EP11857063.9A priority patent/EP2670148B1/en
Publication of WO2012101719A1 publication Critical patent/WO2012101719A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Definitions

  • the present invention relates to a three-dimensional image photographing device and a three-dimensional image photographing method, and more particularly to a three-dimensional image photographing device and a three-dimensional image photographing method for generating depth information for generating a three-dimensional image from an input image.
  • depth map Depth Map
  • Depth Value is a value indicating the depth direction of the image, for example, a value corresponding to the distance from the camera to the subject.
  • Patent Document 1 discloses a technique for creating an omnifocal image from a plurality of images having different focal lengths. By using this technique, a depth map indicating a depth value for each pixel can be generated.
  • the depth resolution is fixed.
  • the depth resolution is a value indicating the degree of variation of a plurality of depth values.
  • the depth resolution is higher as the plurality of depth values are denser, and the depth resolution is lower as the depth values are sparse.
  • Figure 1 is a diagram illustrating a conventional depth resolution.
  • ten depth values d 1 to d 10 are determined in advance from the far side (tele end) to the near side (wide end) from the camera. Since the depth value included in the depth information is selected from ten predetermined depth values d 1 to d 10 , d 6 or d 7 is selected as the depth value of the subject of interest. That is, the depth value of the subject of interest is expressed only by two values d 6 and d 7 . For this reason, when the input image is converted into a three-dimensional image, the stereoscopic effect of the subject of interest is hardly expressed and a book-like three-dimensional image is generated.
  • FIG. 1B 19 depth values d 1 to d 19 are determined in advance from the far side to the near side from the camera.
  • the depth value of the subject of interest is expressed by three values d 11 , d 12, and d 13 , the stereoscopic effect can be improved compared to the case of FIG.
  • the present invention has been made to solve the above-described conventional problems, and is capable of reducing a sense of book splitting and improving a stereoscopic effect while suppressing an increase in calculation cost. It is another object of the present invention to provide a three-dimensional image photographing method.
  • a 3D image capturing apparatus is a 3D image capturing apparatus that generates depth information for generating a 3D image from an input image, and the input is performed by capturing the image.
  • An imaging unit that acquires an image
  • a specifying unit that specifies a first subject in the input image acquired by the imaging unit, and a first specified by the specifying unit in a direction parallel to the depth direction of the input image
  • a resolution setting unit configured to set a plurality of depth values representing different depth positions as a plurality of initial depth values so that a depth resolution near the subject is higher than a depth resolution at a position away from the first subject; For each two-dimensional area of the input image, a depth value indicating the depth position of the corresponding area is determined from a plurality of depth values set by the resolution setting unit. And in, and a depth information generating unit which generates the depth information corresponding to the input image.
  • the depth value candidates representing the depth position near the subject can be increased. Therefore, it is possible to reduce the sense of writing of the designated subject and improve the stereoscopic effect. At this time, the depth resolution in the vicinity of the subject only needs to be higher than the resolution of other regions. For example, it is not necessary to increase the total depth value candidates, and an increase in calculation cost can be suppressed.
  • the resolution setting unit sets the plurality of initial depth values by bringing at least one of a plurality of different predetermined depth positions closer to the depth position of the first subject specified by the specifying unit. May be.
  • the resolution setting unit may further add a new depth value indicating a depth position in the vicinity of the first subject, which is a depth position different from the depth position indicated by each of the plurality of initial depth values.
  • the depth information generation unit may determine one depth value from the plurality of initial depth values and the additional depth value for each two-dimensional region of the input image.
  • the number of depth value candidates representing the depth position near the subject can be increased, so that the stereoscopic effect can be further improved.
  • the three-dimensional image capturing device further includes a display unit that displays a three-dimensional effect image indicating a three-dimensional effect when the three-dimensional image is generated using the input image and the depth information, and an instruction from a user
  • the additional depth value is set when an instruction is given from the user, the stereoscopic effect intended by the user can be expressed. Therefore, it is possible to suppress an increase in calculation cost due to expressing a stereoscopic effect that is not intended by the user.
  • the three-dimensional image capturing apparatus further includes a three-dimensional image generation unit that generates the three-dimensional image from the input image using the input image and the depth information, and the display unit includes the stereoscopic image.
  • the three-dimensional image may be displayed as an effect image.
  • the user can directly determine the stereoscopic effect. Therefore, since the user can easily adjust the stereoscopic effect, the stereoscopic effect intended by the user can be expressed. Therefore, it is possible to suppress an increase in calculation cost due to expressing a stereoscopic effect that is not intended by the user.
  • the specifying unit further specifies a second subject different from the first subject in the input image acquired by the photographing unit, and the resolution setting unit further includes the plurality of initial depth values.
  • a new depth value indicating a depth position in the vicinity of the second subject is set as an additional depth value, and the depth information generation unit includes the plurality of initial depths.
  • One depth value may be determined for each two-dimensional region of the input image from the value and the additional depth value.
  • the specifying unit further specifies a second subject different from the first subject in the input image acquired by the photographing unit, and the resolution setting unit further includes the plurality of initial depth values.
  • the plurality of initial depth values may be updated by bringing at least one of the plurality of depth positions indicated by the reference position closer to the depth position of the second subject additionally designated by the designation unit.
  • the depth information generation unit corresponds to each of a plurality of depth values set by the resolution setting unit for each two-dimensional region of the input image, and represents the validity of the corresponding depth value.
  • a cost function may be calculated, and (b) the depth value corresponding to the cost function indicating that the depth value is most appropriate may be determined as the depth value of the corresponding region.
  • the optimum depth value can be determined from the depth value candidates, and the stereoscopic effect can be improved.
  • the three-dimensional image capturing apparatus may further include a cost function holding unit that holds the cost function calculated by the depth information generation unit.
  • the cost function holding unit may hold the cost function calculated by the depth information generation unit in association with the plurality of depth values for each two-dimensional region of the input image.
  • the calculated cost function is stored for each region and for each depth position. For example, when an additional depth value is set, only the cost function corresponding to the additional depth value is calculated and stored. It is only necessary to perform a comparison with a cost function that is provided, and an increase in calculation cost can be suppressed.
  • the resolution setting unit may further add a new depth value indicating a depth position in the vicinity of the first subject, which is a depth position different from the depth position indicated by each of the plurality of initial depth values.
  • the depth information generation unit further calculates (a) a cost function corresponding to the additional depth value for each two-dimensional region of the input image, and (b) adds the calculated cost function to the additional information. It may be stored in the cost function holding unit in association with the depth value.
  • the cost function holding unit may hold only the cost function indicating that the depth value is most appropriate for each two-dimensional region of the input image in association with the corresponding depth value.
  • the resolution setting unit may further add a new depth value indicating a depth position in the vicinity of the first subject, which is a depth position different from the depth position indicated by each of the plurality of initial depth values.
  • the depth information generation unit further calculates (a) a cost function corresponding to the additional depth value for each two-dimensional region of the input image, and (b) the calculated cost function and the cost. When the cost function stored in the function holding unit is compared and (c) (i) the calculated cost function is more appropriate than the cost function stored in the cost function holding unit.
  • the depth value corresponding to the cost function stored in the cost function holding unit is supported. It may be determined as the depth value of the area to be performed.
  • the three-dimensional image capturing apparatus may further include a display unit that displays the input image while emphasizing the first subject designated by the designation unit.
  • the present invention can be realized not only as a three-dimensional image photographing device but also as a method using a processing unit constituting the three-dimensional image photographing device as a step. It may also be implemented as a program causing a computer to execute these steps. Furthermore, it may be realized as a recording medium such as a computer-readable CD-ROM (Compact Disc-Read Only Memory) in which the program is recorded, and information, data, or a signal indicating the program. These programs, information, data, and signals may be distributed via a communication network such as the Internet.
  • a communication network such as the Internet.
  • a part or all of the constituent elements constituting each of the above three-dimensional image capturing apparatuses may be constituted by one system LSI (Large Scale Integration).
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically includes a microprocessor, ROM, RAM (Random Access Memory), and the like. Computer system.
  • FIG. 1 is a diagram illustrating a conventional depth resolution.
  • FIG. 2 is a block diagram showing an example of the configuration of the three-dimensional image photographing apparatus according to the embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of the depth resolution according to the embodiment of the present invention.
  • FIG. 4 is a diagram showing another example of depth resolution according to the embodiment of the present invention.
  • FIG. 5 is a diagram showing another example of depth resolution according to the embodiment of the present invention.
  • FIG. 6A is a diagram showing an example of a user interface for designating one subject according to the embodiment of the present invention.
  • FIG. 6B is a diagram showing an example of a user interface for designating a plurality of subjects according to the embodiment of the present invention.
  • FIG. 7A is a diagram showing an example of a user interface for adjusting the stereoscopic effect according to the embodiment of the present invention.
  • FIG. 7B is a diagram showing an example of a user interface for adjusting the stereoscopic effect according to the embodiment of the present invention.
  • FIG. 8 is a diagram showing an example of the relationship between the input image and the depth map according to the embodiment of the present invention.
  • FIG. 9 is a diagram showing an example of the relationship between a plurality of depth values and identifiers according to the embodiment of the present invention.
  • FIG. 10 is a diagram showing an example of data held in the cost function holding unit according to the embodiment of the present invention.
  • FIG. 11 is a diagram showing another example of data held in the cost function holding unit according to the embodiment of the present invention.
  • FIG. 12 is a flowchart showing an example of the operation of the three-dimensional image capturing apparatus according to the embodiment of the present invention.
  • FIG. 13 is a flowchart showing an example of depth resolution setting processing according to the embodiment of the present invention.
  • FIG. 14 is a flowchart illustrating another example of the operation of the three-dimensional image capturing apparatus according to the embodiment of the present invention.
  • FIG. 15 is a flowchart showing another example of the operation of the three-dimensional image capturing apparatus according to the embodiment of the present invention.
  • FIG. 16 is a block diagram illustrating an example of a configuration of a three-dimensional image capturing apparatus according to a modification of the embodiment of the present invention.
  • the three-dimensional image photographing device has a photographing unit that acquires an input image by photographing, a designation unit that designates a subject in the input image, and a depth resolution in the vicinity of the designated subject.
  • a resolution setting unit that sets a plurality of depth values representing different depth positions, and a depth value that indicates the depth position of the corresponding region for each region of the input image is determined from the set depth values.
  • a depth information generation unit that generates depth information corresponding to the input image.
  • FIG. 2 is a block diagram showing an example of the configuration of the three-dimensional image photographing apparatus 100 according to the embodiment of the present invention.
  • the three-dimensional image capturing apparatus 100 generates depth information (depth map) for generating a three-dimensional image from a two-dimensional input image.
  • the three-dimensional image photographing device 100 includes a subject specifying unit 110, a resolution setting unit 120, a photographing unit 130, a depth map generating unit 140, a cost function holding unit 150, and a three-dimensional image generating.
  • Unit 160 display unit 170, stereoscopic effect adjustment unit 180, and recording unit 190.
  • the subject specifying unit 110 specifies a subject (target subject) in the input image acquired by the photographing unit 130. At this time, the subject designation unit 110 may designate a plurality of subjects.
  • the subject designation unit 110 designates a subject designated by the user via a user interface, for example. Specifically, the subject designation unit 110 designates a subject designated by the user via a user interface for accepting subject designation from the user displayed on the display unit 170.
  • the subject designating unit 110 may identify the designated region by performing image recognition processing on the input image, and may designate the identified designated region as the subject of interest.
  • Image recognition processing for example, face recognition processing and edge detection processing, and the like.
  • the subject specifying unit 110 may specify a face area of a person by performing face recognition processing on the input image, and specify the specified face area as a target subject.
  • the subject specifying unit 110 may additionally specify a second subject different from the subject specified for the first time (first subject). At this time, the subject specifying unit 110 may additionally specify a plurality of second subjects.
  • the first subject is a subject that has already been subject to processing for increasing the depth resolution when the second subject is designated, and the second subject has not yet been subject to processing for increasing the depth resolution.
  • the subject is not.
  • the subject designating unit 110 newly designates the stereoscopic effect after the user has performed the processing for increasing the depth resolution for the first subject, that is, after the depth map is generated once.
  • the designated subject is additionally designated as the second subject.
  • the resolution setting unit 120 performs processing for increasing the depth resolution of the subject specified by the subject specifying unit 110. That is, the resolution setting units 120 are configured so that the depth resolution in the vicinity of the subject specified by the subject specifying unit 110 is higher than the depth resolution at a position away from the subject in a direction parallel to the depth direction of the input image. setting a plurality of depth values representing different depth positions.
  • the depth direction is a direction orthogonal to the two-dimensional input image.
  • the depth direction is the front-rear direction of the two-dimensional input image, that is, the direction from the screen toward the user (or the direction from the user toward the screen).
  • the area in the vicinity of the subject in the depth direction includes the subject and a region around (front and back) the subject in the depth direction.
  • the depth resolution is a value indicating the degree of variation of a plurality of different depth positions. Specifically, the depth resolution is higher as the plurality of depth positions are denser, and the depth resolution is lower as the plurality of depth values are sparse. In other words, the depth resolution is higher as the number of depth positions included in a predetermined area in the depth direction is higher, and the depth resolution is lower as the number of depth positions included in the area is smaller.
  • the photographing unit 130 acquires an input image by photographing.
  • the imaging unit 130 includes, for example, an optical system such as a lens, and an image sensor that converts incident light into an electrical signal (input image). By moving at least one of the lens and the image sensor, the distance between the lens and the image sensor can be changed, and the focus (focus position) can be changed.
  • the depth value determination method performed by the depth map generation unit 140 includes a DFD (Depth from Focus) method and a DFF (Depth from Focus) method. In conjunction with this method, the photographing unit 130 changes the input image acquisition method.
  • DFD Depth from Focus
  • DFF Depth from Focus
  • the imaging unit 130 acquires an input image for each in-focus position by performing imaging a plurality of times while changing the focus (in-focus position). For example, two images of a farthest end image that is an image at the tele end (farthest end) and a nearest end image that is an image at the wide end (nearest end) are acquired as input images.
  • the imaging unit 130 acquires an input image for each in-focus position by performing imaging a plurality of times while changing the in-focus position. At this time, the imaging unit 130 acquires input images for the number of depth values. That is, the imaging unit 130 acquires an input image corresponding to each of the plurality of depth positions by imaging each of the plurality of depth positions indicated by the plurality of depth values as the in-focus position.
  • the depth value determination method performed by the depth map generation unit 140 is not limited to the DFD method or the DFF method, and other depth determination methods may be used.
  • the depth map generation unit 140 is an example of a depth information generation unit, and for each two-dimensional region of the input image, determines the depth position of the corresponding region from among a plurality of depth values set by the resolution setting unit 120. Thus, two-dimensional depth information (depth map) corresponding to the input image is generated.
  • the two-dimensional region of the input image is, for example, a region composed of one pixel or a plurality of pixels.
  • the depth map generation unit 140 calculates, for each two-dimensional region of the input image, a cost function that corresponds to each of the plurality of depth values set by the resolution setting unit 120 and represents the validity of the corresponding depth value. To do. Then, the depth map generation unit 140 determines the depth value corresponding to the cost function indicating the most appropriate as the depth value of the corresponding region. The detailed operation of the depth map generating unit 140 will be described later.
  • the cost function holding unit 150 is a memory for holding the cost function calculated by the depth map generation unit 140. For details of the data held in the cost function holding unit 150 will be described later.
  • the 3D image generation unit 160 generates a 3D image from the input image using the input image and the depth map. Note that the input image used at this time may not be exactly the same as the image used to generate the depth map.
  • the three-dimensional image is composed of, for example, a left eye image and a right eye image having parallax. A viewer (user) can feel a three-dimensional image stereoscopically by viewing the left-eye image with the left eye and the right-eye image with the right eye.
  • the 3D image generation unit 160 generates disparity information using a corresponding depth value for each 2D region of the input image.
  • the parallax information is information indicating the parallax between the left-eye image and the right-eye image.
  • the parallax information indicates the amount (number of pixels) by which the corresponding area is shifted in the left-right direction, and the three-dimensional image generation unit 160 shifts the corresponding area in the left-right direction, thereby A right eye image is generated.
  • the display unit 170 displays a stereoscopic effect image indicating a stereoscopic effect when a three-dimensional image is generated using the input image and the depth map.
  • the stereoscopic effect image is generated by the stereoscopic effect adjustment unit 180.
  • the stereoscopic effect image may be a three-dimensional image generated by the three-dimensional image generation unit 160, for example.
  • the display unit 170 displays a GUI (Graphical User Interface).
  • the GUI is, for example, an interface for receiving designation of a subject from a user, an interface for adjusting the strength of a stereoscopic effect, and the like. A specific example of the GUI will be described later.
  • the stereoscopic effect adjusting unit 180 adjusts the strength of the stereoscopic effect based on an instruction from the user. Specifically, the stereoscopic effect adjustment unit 180 receives an instruction from the user via a stereoscopic effect adjustment GUI displayed on the display unit 170. At this time, the stereoscopic effect adjustment unit 180 may generate a stereoscopic effect image representing the stereoscopic effect when a three-dimensional image is generated from the input image in order to make the user confirm the stereoscopic effect.
  • the three-dimensional effect adjustment unit 180 receives an instruction from the user as to which subject to which degree the three-dimensional effect is strengthened or weakened. That is, the three-dimensional effect adjustment unit 180 receives an instruction indicating the subject to be adjusted for the three-dimensional effect and the level of strength from the user. The received instruction is notified to the resolution setting unit 120.
  • the recording unit 190 records the three-dimensional image generated by the three-dimensional image generation unit 160, that is, the left-eye image and the right-eye image on a recording medium or the like.
  • the recording unit 190 may record the input image acquired by the imaging unit 130 and the depth map generated by the depth map generating unit 140.
  • the recording medium is, for example, an internal memory included in the 3D image capturing apparatus 100 or a memory card that can be connected to the 3D image capturing apparatus 100.
  • FIG. 3 is a diagram showing an example of depth resolution according to the embodiment of the present invention.
  • Depth values d 1 to d 10 are predetermined. That is, in the 3D image capturing apparatus 100 according to the present embodiment, the number of depth values is predetermined, and is 10 in the example shown in FIG.
  • the object specifying unit 110 a subject present between a depth position indicated depth position and d 7 indicated by the depth value d 6, specified as target subject.
  • the resolution setting unit 120 sets ten depth values d 1 to d 10 as shown in FIG. 3B by bringing at least one of the ten depth positions closer to the depth position near the subject of interest. .
  • the resolution setting unit 120 adjusts a plurality of depth values set in advance at equal intervals so that the distance between adjacent depth values becomes wider as the subject is centered on the subject of interest. .
  • the resolution setting unit 120 increases the depth resolution near the subject of interest by setting a plurality of depth values so as to narrow the interval between the depth values near the subject of interest.
  • the resolution setting unit 120 has the number of depth values included in the region near the target subject larger than the number of depth values included in the region away from the target subject (for example, the region near the tele end or the wide end). As described above, a plurality of depth values are set. In other words, the resolution setting unit 120 sets a plurality of depth values so that the depth values near the subject of interest are dense.
  • the depth value of the subject of interest is expressed only by two values d 6 and d 7
  • the subject of interest Is expressed by three values d 5 , d 6 and d 7 .
  • a three-dimensional effect can be improved.
  • the calculation cost for determining the depth value does not change. Therefore, an increase in calculation cost can be suppressed.
  • the resolution setting unit 120 sets a plurality of depth values by bringing at least one of a plurality of different predetermined depth positions closer to the depth position near the subject specified by the subject specifying unit 110. To do. Thereby, depth value candidates representing the depth position in the vicinity of the subject can be increased, and the stereoscopic effect can be improved. Further, since the number of depth values is not increased only by moving a predetermined depth position, an increase in calculation cost can be suppressed.
  • This process is preferably executed when a subject is designated for the first time with respect to the input image, that is, when the first subject is designated for the first time.
  • the resolution setting unit 120 brings at least one of the plurality of initial depths by bringing at least one of a plurality of predetermined depth positions closer to the depth position in the vicinity of the first subject designated by the subject designation unit 110 for the first time.
  • the plurality of initial depth values are d 1 to d 10 shown in FIG. 3B, and are depth values after processing for increasing the depth resolution is performed at least once.
  • FIG. 4 is a diagram showing another example of depth resolution according to the embodiment of the present invention.
  • a new depth value d 11 and d 12 are added. That is, the resolution setting unit 120 is a new depth position that is different from the depth position indicated by each of the plurality of initial depth values d 1 to d 10 shown in FIG.
  • the depth values d 11 and d 12 are set as additional depth values.
  • the depth map generation unit 140 determines one depth value from the initial depth values d 1 to d 10 and the additional depth values d 11 and d 12 for each two-dimensional area of the input image.
  • the additional depth value near the subject it is possible to increase the number of depth value candidates representing the depth position near the subject. Thereby, the depth resolution of the subject of interest can be further increased, and the stereoscopic effect of the subject of interest can be further enhanced.
  • the setting of the additional depth value is preferably performed after the initial depth value setting and the depth map generation are completed. Specifically, after the setting of the initial depth value is completed, the depth map generation unit 140 generates a depth map using the initial depth value.
  • the display unit 170 displays a stereoscopic effect image using the generated depth map and the input image, and displays a GUI that receives an instruction for adjusting the strength of the stereoscopic effect from the user.
  • the stereo effect adjusting unit 180 When the stereo effect adjusting unit 180 receives an instruction for enhancing the stereo effect from the user via the GUI displayed on the display unit 170, the stereo effect adjusting unit 180 notifies the resolution setting unit 120 of the instruction.
  • the resolution setting unit 120 sets the additional depth value when the stereoscopic effect adjustment unit 180 is set to increase the stereoscopic effect.
  • the second subject is additionally designated, so that only the first subject can be specified.
  • the stereoscopic effect of the second subject can be improved.
  • the depth map generation unit 140 may calculate only the cost function corresponding to the additional depth value. That is, it is not necessary to calculate again the cost function corresponding to the initial depth value that has already been set. Therefore, it is possible to minimize the increase in calculation cost necessary for enhancing the three-dimensional effect.
  • FIG. 5 is a diagram showing another example of the depth resolution according to the embodiment of the present invention.
  • the subject designation unit 110 can additionally designate a second subject different from the first subject.
  • FIG. 5 shows an example of the depth resolution when the second subject is additionally designated.
  • the resolution setting unit 120 is a depth position different from the depth position indicated by each of the plurality of initial depth values d 1 to d 10 , and is a new depth value (additional depth value d 11 and d 12 ) is set.
  • the depth map generation unit 140 determines one depth value from the initial depth values d 1 to d 10 and the additional depth values d 11 and d 12 for each two-dimensional area of the input image.
  • the depth resolution of not only the subject of interest but also the newly designated additional subject can be increased, and the stereoscopic effect of the subject of interest and the additional subject can be enhanced.
  • the addition of the second subject is preferably performed after the initial depth value setting and the depth map generation are completed. Specifically, after the setting of the initial depth value is completed, the depth map generation unit 140 generates a depth map using the initial depth value.
  • the display unit 170 displays a stereoscopic effect image using the generated depth map and the input image, and displays a GUI for accepting addition of a subject from the user.
  • the subject designation unit 110 additionally designates the second subject when receiving an instruction to designate the second subject from the user via the GUI displayed on the display unit 170.
  • the resolution setting unit 120 sets the depth value so as to increase the depth resolution of the second subject when the second subject is additionally designated. Thereby, not only the first subject designated for the first time but also the depth resolution of the newly designated second subject can be increased, and the stereoscopic effect of the first subject and the second subject can be enhanced.
  • FIG. 6A is a diagram showing an example of a user interface for designating one subject according to the embodiment of the present invention.
  • the display unit 170 emphasizes the subject specified by the subject specifying unit 110 and displays the input image.
  • Examples of the method for emphasizing the subject include a method for thickening the contour of the subject, a method for highlighting the subject, and a method for highlighting the subject color.
  • the display unit 170 displays a histogram 200 representing the depth position of the subject.
  • the vertical axis of the histogram 200 represents the number of pixels. In the example shown in FIG. 6A, it is indicated that there is a designated subject near the center in the depth direction.
  • the display unit 170 displays a stereoscopic effect image 201 representing a three-dimensional effect.
  • the stereoscopic effect image 201 represents the stereoscopic effect by a shading pattern.
  • the region having a strong pattern has a strong stereoscopic effect, that is, the depth value is dense
  • the region having a thin pattern has a weak stereoscopic effect, that is, the depth value is sparse.
  • the three-dimensional effect of the region including the designated subject is enhanced.
  • the display unit 170 displays a cursor or the like, for example, so that the subject specifying unit 110 can accept an instruction of the subject from the user.
  • the subject specifying unit 110 extracts a subject included in the region and specifies the extracted subject.
  • the subject designation unit 110 may designate the area itself as a subject. Extraction of a subject included in a region is performed by image processing such as edge detection processing, face recognition processing, and color detection processing for the region.
  • FIG. 6B is a diagram showing an example of a user interface for designating a plurality of subjects according to the embodiment of the present invention.
  • the display unit 170 emphasizes the subject specified by the subject specifying unit 110 and displays the input image. Thereby, the subject specified to the user can be presented.
  • Examples of the method for emphasizing the subject include a method for thickening the contour of the subject, a method for highlighting the subject, and a method for inverting the subject color.
  • the emphasis method may be changed between the first subject designated for the first time and the second subject designated for the second time and thereafter.
  • the different subjects are indicated by different shades.
  • the display unit 170 displays a histogram 210 representing the depth position of the subject as in FIG. 6A.
  • FIG. 6B it is shown that the first subject designated near the center in the depth direction exists and the second subject designated additionally at the far end side in the depth direction exists.
  • the resolution setting unit 120 sets the additional depth value near the additional subject (second subject) as shown in FIG. Increase. Thereby, not only the first subject but also the three-dimensional effect in the vicinity of the second subject can be enhanced.
  • the display unit 170 displays a stereoscopic effect image 211 representing the stereoscopic effect. Similar to the stereoscopic effect image 201 shown in FIG. 6A, the stereoscopic effect image 211 represents the stereoscopic effect with a shading pattern. In the example shown in FIG. 6B, the stereoscopic effect in the vicinity of the first subject and the vicinity of the second subject is enhanced.
  • the additional depth value is set when an instruction is given from the user, the stereoscopic effect intended by the user can be expressed. Therefore, it is possible to suppress an increase in calculation cost due to expressing a stereoscopic effect that is not intended by the user.
  • FIG. 7A and 7B are diagrams showing an example of a user interface for adjusting the stereoscopic effect according to the embodiment of the present invention.
  • a stereoscopic effect adjustment bar is displayed in the screen.
  • the user can adjust the strength of the three-dimensional effect by operating the three-dimensional effect adjustment bar.
  • the three-dimensional effect adjusting unit 180 when the user weakens the three-dimensional effect, the three-dimensional effect adjusting unit 180 generates a three-dimensional effect image 221 in which the three-dimensional effect of the designated subject is weakened. Specifically, since the stereoscopic effect image displays the stereoscopic effect with a light and shade pattern, the stereoscopic effect adjustment unit 180 generates a stereoscopic effect image 221 in which the density of the designated subject is light.
  • the stereoscopic effect adjusting unit 180 performs setting to weaken the stereoscopic effect based on a user instruction.
  • the resolution setting unit 120 increases the stereoscopic effect by, for example, widening the interval between the depth positions near the subject of interest among the depth positions indicated by the plurality of initial depth values.
  • the resolution setting unit 120 updates the plurality of depth values so that the interval between the depth positions near the subject of interest increases as the stereoscopic effect is weakened.
  • the resolution setting unit 120 may delete the initial depth value indicating the depth position near the subject of interest from among the plurality of initial depth values. For example, the resolution setting unit 120 increases the number of deleted depth values in the vicinity of the subject of interest as the stereoscopic effect is weakened. Also by this, the three-dimensional effect can be weakened.
  • the stereoscopic effect adjusting unit 180 when the user enhances the stereoscopic effect, the stereoscopic effect adjusting unit 180 generates a stereoscopic effect image 222 that enhances the stereoscopic effect of the designated subject. Specifically, the three-dimensional effect adjustment unit 180 generates a three-dimensional effect image 222 such that the density of the designated subject is high.
  • the stereoscopic effect adjusting unit 180 performs setting for enhancing the stereoscopic effect based on a user instruction. Then, when the setting for enhancing the stereoscopic effect is performed, the resolution setting unit 120 reduces the interval between the depth positions near the subject of interest among the depth positions indicated by the plurality of initial depth values. Can strengthen. For example, the resolution setting unit 120 updates the plurality of depth values so that the interval between the depth positions near the subject of interest is narrowed as the stereoscopic effect is strengthened.
  • an additional depth value may be set near the subject of interest.
  • the resolution setting unit 120 increases the number of additional depth values near the subject of interest as the stereoscopic effect is strengthened. This also enhances the three-dimensional effect.
  • FIG. 8 is a diagram showing an example of the relationship between the input image and the depth map (depth information) according to the embodiment of the present invention.
  • the input image includes pixels A 11 to A mn arranged in a matrix of m rows ⁇ n columns.
  • the depth map is an example of depth information, and is an image indicating a depth value for each two-dimensional area of the input image.
  • the depth map indicates a depth value for each pixel of the input image.
  • the pixels included in the input image have a one-to-one correspondence with the pixels of the depth map.
  • the depth value corresponding to the pixel A ij of the input image is D ij .
  • i satisfies 1 ⁇ i ⁇ m
  • j satisfies 1 ⁇ j ⁇ n.
  • FIG. 9 is a diagram showing an example of a relationship between a plurality of depth values and identifiers according to the embodiment of the present invention.
  • the resolution setting unit 120 assigns an identifier to each of the set depth values.
  • the resolution setting unit 120 assigns the identifier “1” to the depth value farthest from the camera, and assigns the identifier “N” to the depth value closest to the camera. Give.
  • the method of assigning the identifier is not limited to this.
  • the identifier “N” may be assigned to the depth value farthest from the camera, and the identifier “1” may be assigned to the depth value closest to the camera.
  • the depth value itself may be used as the identifier without adding the identifier.
  • FIG. 10 is a diagram showing an example of data held in the cost function holding unit 150 according to the embodiment of the present invention.
  • the depth map generation unit 140 calculates a cost function corresponding to each of a plurality of depth values for each two-dimensional region of the input image, and stores the calculated cost function in the cost function holding unit 150. Specifically, the cost function holding unit 150 holds the cost function calculated by the depth map generation unit 140 in association with a plurality of depth values for each two-dimensional region of the input image. Thus, since the cost function holding unit 150 holds the calculated cost function, it is not necessary for the depth map generation unit 140 to calculate again, and an increase in calculation cost can be suppressed.
  • the cost function holding unit 150 includes identifiers “1” to “N” corresponding to each of a plurality of depth values set by the resolution setting unit 120 and pixels A 11 to A mn of the input image. Holds the cost function corresponding to. Specifically, first, the depth map generation unit 140 calculates a cost function Cost [A ij ] [d] corresponding to the identifier “d” and the pixel A ij . Then, the depth map generation unit 140 stores the calculated cost function Cost [A ij ] [d] in the cost function holding unit 150.
  • Non-Patent Document 1 Coded Aperture Pairs for Depth from Defocus” (Changyin Zhou, Stephen Lin, Shree Nayer).
  • the cost function is expressed by the following (Formula 1).
  • F 1 and F 2 are frequency coefficients obtained by frequency-converting two different blurred images. Specifically, F 1 is a frequency coefficient obtained by frequency-converting the nearest end image, and F 2 is a frequency coefficient obtained by frequency-converting the farthest end image.
  • K i d is the PSF (Point Spread Function) OTF obtained by converting the frequency (Optical Transfer Function).
  • the depth map generation unit 140 holds a PSF or OTF corresponding to the in-focus position in an internal memory or the like.
  • K 1 d is F 1 , that is, the OTF corresponding to the nearest end image
  • K 2 d is F 2 , that is, the OTF corresponding to the farthest end image.
  • F 0 is represented by the following (Formula 2). Note that C is an adjustment coefficient mainly for noise countermeasures.
  • K ⁇ is the complex conjugate of K.
  • the depth map generation unit 140 calculates the right term of (Equation 1) and then converts the calculation result to the spatial domain by inverse frequency conversion. Then, the depth map generator 140 determines a depth value d that minimizes the cost function for each pixel. Note that the cost function represented by (Expression 1) indicates that the depth value is more appropriate as the value is smaller. That is, the depth value that minimizes the cost function is the most appropriate depth value, and represents the depth position of the corresponding pixel.
  • the depth map generation unit 140 calculates a cost function using the PSF as described above, and determines a cost function indicating that the depth value is most appropriate. can do.
  • the depth map generation unit 140 determines the most appropriate depth position using the cost function for each depth value, so that the optimal depth value can be determined from the depth value candidates, and A feeling can be improved.
  • the depth map generator 140 calculates a contrast for each area of the input image. Specifically, the depth map generation unit 140 determines, for each pixel, the depth position corresponding to the input image that maximizes the contrast of the plurality of input images as the depth value of the pixel. That is, the maximum contrast corresponds to the cost function indicating the most appropriate depth value.
  • the depth map generation unit 140 Only the cost function corresponding to the newly added depth value (additional depth value) needs to be calculated. Then, the depth map generation unit 140 may store the calculated cost function in the cost function holding unit 150 in association with the additional depth value. As described above, when the additional depth value is set, the depth map generation unit 140 may perform only the calculation of the cost function corresponding to the additional depth value, and perform comparison with the stored cost function. Thereby, the increase in calculation cost can be suppressed.
  • the cost function holding unit 150 may hold only the cost function indicating that the depth value is most appropriate for each two-dimensional region of the input image in association with the corresponding depth value. A specific example will be described with reference to FIG.
  • FIG. 11 is a diagram showing another example of data held in the cost function holding unit 150 according to the embodiment of the present invention.
  • the cost function holding unit 150 holds the identifier (depth ID) shown in FIG. 9 and the minimum value Cost_min of the cost function in association with each pixel of the input image.
  • a new depth value is additionally set by the resolution setting unit 120.
  • the depth map generation unit 140 only needs to calculate the cost function corresponding to the newly added depth value (additional depth value). Then, the depth map generation unit 140 compares the calculated cost function with the cost function held in the cost function holding unit 150.
  • the depth map generation unit 140 determines the additional depth value as the depth value of the corresponding region. To do. Further, in this case, the depth map generation unit 140 replaces the cost function held in the cost function holding unit 150 with the calculated cost function. That is, when the calculated cost function is smaller than the minimum value of the cost function, the depth map generation unit 140 determines the additional depth value as the depth value of the corresponding region, and stores the calculated cost function in the cost function. Stored in place of the minimum value of the cost function held in the unit 150.
  • the depth map generation unit 140 stores the cost held in the cost function holding unit 150.
  • the depth value corresponding to the function is determined as the depth value of the corresponding region. At this time, the cost function is not replaced.
  • FIG. 12 is a flowchart showing an example of the operation of the 3D image capturing apparatus 100 according to the embodiment of the present invention.
  • FIG. 12 shows an operation in the case of generating a depth map based on the DFD method.
  • the subject designating unit 110 designates a subject (S110). For example, the subject designation unit 110 superimposes a subject designation GUI as shown in FIG. 6A on the input image acquired by the photographing unit 130 and causes the display unit 170 to display the subject designation unit 110. Accept. Based on the received instruction, the subject specifying unit 110 specifies a subject.
  • the photographing unit 130 acquires an input image by photographing (S120).
  • the imaging unit 130 acquires two input images, the farthest end image and the nearest end image.
  • the resolution setting unit 120 sets a plurality of depth values so that the depth resolution in the vicinity of the subject specified by the subject specifying unit 110 is increased in a direction parallel to the depth direction of the input image (S130). Specific processing is shown in FIG.
  • FIG. 13 is a flowchart showing an example of depth resolution setting processing according to the embodiment of the present invention.
  • the resolution setting unit 120 (or a control unit that controls the whole of the three-dimensional image capturing apparatus 100) focuses on the subject specified by the subject specifying unit 110 by controlling the lens (S131).
  • the resolution setting unit 120 acquires the distance to the subject from the lens information at this time (S132), and converts the acquired distance into a depth value.
  • the lens information is, for example, information indicating a focus distance (1 cm to ⁇ (infinite), etc.) when a designated subject is in focus. Thereby, the resolution setting unit 120 can acquire the depth position of the subject specified by the subject specifying unit 110.
  • the resolution setting unit 120 determines the depth resolution based on the acquired depth position (S133). That is, the resolution setting unit 120 sets a plurality of depth values representing different depth positions so that the depth resolution near the subject is higher than the depth resolution at a position away from the subject. For example, the resolution setting unit 120 brings a plurality of depth values as shown in FIG. 3B by bringing at least one of a plurality of predetermined depth positions different from each other closer to the depth position of the designated subject. Are set as a plurality of initial depth values.
  • the depth map generation unit 140 generates depth information (depth map) corresponding to the input image (S140). Specifically, the depth map generation unit 140 determines, for each pixel of the input image, a depth value indicating the depth position of the corresponding pixel from the plurality of depth values set by the resolution setting unit 120. , Generate a depth map. Here, as described above, the depth map generation unit 140 calculates a cost function according to (Expression 1) and (Expression 2) based on the DFD method, and obtains a depth value that minimizes the cost function for each pixel. decide.
  • the three-dimensional image generation unit 160 generates a three-dimensional image based on the input image and the depth map (S150). Then, the display unit 170 displays the 3D image generated by the 3D image generation unit 160 (S160).
  • the stereoscopic effect adjusting unit 180 determines whether or not an instruction to adjust the stereoscopic effect is received from the user (S170). Specifically, the stereoscopic effect adjustment unit 180 causes the display unit 170 to display a stereoscopic effect adjustment GUI such as the stereoscopic effect adjustment bar illustrated in FIGS. 7A and 7B. Then, the stereoscopic effect adjustment unit 180 determines whether or not an instruction to adjust the stereoscopic effect has been received via the stereoscopic effect adjustment GUI.
  • the stereoscopic effect adjusting unit 180 sets how much the stereoscopic effect of the subject is to be strengthened or weakened based on the user instruction (S180).
  • the resolution setting unit 120 sets a new depth value indicating the depth position near the subject (S130). At this time, it is not necessary to perform the focus control (S131) and the distance to the subject (S132) shown in FIG. In other words, the resolution setting unit 120 may set an additional depth value in the vicinity thereof based on the already acquired depth position of the subject.
  • the depth map generation unit 140 further calculates only the cost function corresponding to the additional depth value (S140). In other words, since the cost function corresponding to the initial depth value has already been calculated, it is not necessary to calculate again here. Thereby, the increase in calculation cost can be suppressed.
  • the resolution setting unit 120 increases the interval between the depth values near the subject or excludes the depth value near the subject, Update the depth value.
  • the recording unit 190 When the user does not instruct the adjustment of the stereoscopic effect (No in S170), the recording unit 190 records the three-dimensional image on the recording medium (S190). At this time, the recording unit 190 may record the input image and the depth map.
  • the three-dimensional effect adjustment unit 180 instead of generating a three-dimensional image, in step S150, the three-dimensional effect adjustment unit 180 generates a three-dimensional effect image representing a three-dimensional effect when a three-dimensional image is generated using an input image and a depth map. Also good.
  • the display unit 170 displays a stereoscopic effect image representing a stereoscopic effect such as the stereoscopic effect image 221 or 222 shown in FIGS. 7A and 7B.
  • FIG. 14 is a flowchart showing another example of the operation of the 3D image capturing apparatus 100 according to the embodiment of the present invention. Note that the flowchart shown in FIG. 14 is almost the same as the flowchart shown in FIG. 12, and therefore, different points will be mainly described here and description of the same points will be omitted.
  • the subject designating unit 110 displays a GUI for accepting subject designation on the display unit 170, and accepts an additional subject designation from the user via the GUI.
  • the subject designation unit 110 When the subject has received an additional designation from the user (Yes in S170), the subject designation unit 110 additionally designates the subject (second subject) instructed by the user (S175). In this case, the three-dimensional effect adjustment unit 180 adjusts the three-dimensional effect of the additionally designated second subject via the three-dimensional effect adjustment GUI (S180). That is, the stereoscopic effect adjusting unit 180 sets how much to strengthen or weaken the stereoscopic effect of the second subject based on a user instruction.
  • the resolution setting unit 120 sets a new depth value indicating the depth position near the additional subject (S130).
  • the focus is controlled according to the flowchart shown in FIG. 13 (S131), and the distance to the newly added subject is acquired (S132).
  • the distance to the additional subject may be acquired by acquiring the depth value of the pixel position indicating the additional subject from the depth map already generated in step S140.
  • the resolution setting unit 120 determines the depth resolution by newly adding a depth value indicating the depth position near the additional subject (S133). Then, the depth map generation unit 140 further calculates only the cost function corresponding to the additional depth value (S140). In other words, since the cost function corresponding to the initial depth value has already been calculated, it is not necessary to calculate again here. Thereby, the increase in calculation cost can be suppressed.
  • FIG. 15 is a flowchart showing another example of the operation of the three-dimensional image photographing apparatus according to the embodiment of the present invention.
  • FIG. 15 shows an operation in the case of generating a depth map based on the DFF method (for example, focal stack). Note that the flowchart shown in FIG. 15 is almost the same as the flowchart shown in FIG. 12, and therefore, different points will be mainly described here, and description of the same points will be omitted.
  • DFF method for example, focal stack
  • additional photographing may not be performed by acquiring input images at many in-focus positions in advance.
  • an input image at an in-focus position corresponding to a value that can be taken when the depth value is updated or added is greater than or equal to the number of depth values.
  • a plurality of initial depth values are set so that the depth resolution in the vicinity of the designated subject is high, and based on the set initial depth values. Generate a depth map. Then, after allowing the user to confirm the stereoscopic effect when the generated depth map is used, it is possible to accept setting of subject addition and adjustment of the stereoscopic effect.
  • the three-dimensional image capturing apparatus 100 is designated by the capturing unit 130 that acquires an input image by capturing, and the subject specifying unit 110 that specifies a subject in the input image.
  • a resolution setting unit 120 that sets a plurality of depth values representing different depth positions so that the depth resolution near the subject is high, and a depth value that indicates the depth position of the corresponding area is set for each area of the input image.
  • a depth map generation unit 140 that generates a depth map corresponding to the input image by determining from among the plurality of depth values.
  • the depth value candidates representing the depth position near the subject can be increased. Therefore, it is possible to reduce the sense of writing of the designated subject and improve the stereoscopic effect. Further, at this time, the depth resolution in the vicinity of the subject only needs to be higher than the resolution of other regions, so that for example, it is not necessary to increase the total depth value candidates, and an increase in calculation cost can be suppressed.
  • the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out the various deformation
  • the resolution setting unit 120 sets a new depth value near the second subject, but the depth resolution near the second subject may be increased by updating the initial depth value. . Specifically, the resolution setting unit 120 approaches a plurality of depth values indicated by the plurality of initial depth values to a depth value near the second subject that is additionally designated by the subject designation unit 110. The initial depth value may be updated.
  • the subject specifying unit 110 additionally specifies the second subject,
  • the stereoscopic effect of not only the first subject but also the second subject can be improved.
  • the resolution setting unit 120 does not increase the number of depth values only by moving the depth position set for the first time, so that an increase in calculation cost can be suppressed.
  • the display unit 170 indicates the stereoscopic effect images 201 and 211 represented by a light and shade pattern.
  • a three-dimensional image generation unit The three-dimensional image generated by 160 may be displayed as a stereoscopic effect image.
  • the user can directly check the three-dimensional image generated from the input image and confirm the three-dimensional effect, so that more appropriate adjustment of the three-dimensional effect can be performed.
  • the display unit 170 displays the three-dimensional image
  • the user can directly determine the stereoscopic effect. Therefore, since the user can easily adjust the stereoscopic effect, the stereoscopic effect intended by the user can be expressed. Therefore, it is possible to suppress an increase in calculation cost due to expressing a stereoscopic effect that is not intended by the user.
  • the depth position of the subject is obtained from the lens information.
  • the depth value of the subject may be determined.
  • a cost function may be calculated for a smaller number of depth values than when the depth value is actually determined. That is, the depth value of the subject may be set by generating a simple depth map (a process corresponding to S140 in FIG. 12). Thereby, the increase in calculation cost can be suppressed.
  • designation of subjects may be excluded instead of adding subjects (S175).
  • the depth position near the excluded subject may be brought close to or added to the vicinity of the designated subject.
  • each processing unit included in the three-dimensional image capturing apparatus is typically realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • the integrated circuit according to the present embodiment includes a subject designation unit 110, a resolution setting unit 120, and a depth map generation unit 140.
  • LSI Integrated Circuit
  • IC Integrated Circuit
  • the integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • some or all of the functions of the three-dimensional image capturing apparatus may be realized by a processor such as a CPU (Central Processing Unit) executing a program.
  • a processor such as a CPU (Central Processing Unit) executing a program.
  • the present invention may be the above program or a recording medium on which the above program is recorded.
  • the program can be distributed via a transmission medium such as the Internet.
  • connection relationship between the components is exemplified for specifically explaining the present invention, and the connection relationship for realizing the function of the present invention is not limited to this.
  • the configuration using hardware can also be configured using software
  • the configuration using software uses hardware. Can be configured.
  • the configuration of the 3D image capturing apparatus according to the above-described embodiment is for illustrating the present invention specifically, and the 3D image capturing apparatus according to the present invention has the above configuration. It is not necessary to have everything. In other words, the 3D image capturing apparatus according to the present invention only needs to have a minimum configuration that can realize the effects of the present invention.
  • FIG. 16 is a block diagram showing an example of the configuration of a three-dimensional image capturing apparatus 300 according to a modification of the embodiment of the present invention.
  • the 3D image capturing apparatus 300 according to the embodiment of the present invention includes a subject specifying unit 110, a resolution setting unit 120, a capturing unit 130, and a depth map generating unit 140.
  • Each processing unit performs the same process as the processing unit denoted by the same reference numeral shown in FIG.
  • the three-dimensional image capturing apparatus according to the present invention enhances the three-dimensional effect while suppressing an increase in calculation cost even when the three-dimensional image capturing apparatus according to the present invention has only a minimum configuration as shown in FIG. Can do.
  • the above three-dimensional image photographing method by the three-dimensional image photographing device is for illustrating the present invention specifically, and the three-dimensional image photographing by the three-dimensional image photographing device according to the present invention is performed.
  • the method need not include all of the above steps.
  • the 3D image capturing method according to the present invention only needs to include the minimum steps that can realize the effects of the present invention.
  • the order in which the above steps are executed is for illustration in order to specifically describe the present invention, and may be in an order other than the above. Also, some of the above steps may be executed simultaneously (in parallel) with other steps.
  • the present invention has an effect of reducing the sense of writing and improving the stereoscopic effect while suppressing an increase in calculation cost, and can be used for, for example, a digital camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

　入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置（１００）であって、撮影により入力画像を取得する撮影部（１３０）と、撮影部（１３０）によって取得された入力画像内の被写体を指定する被写体指定部（１１０）と、入力画像の奥行き方向に平行な方向において、被写体指定部（１１０）によって指定された被写体近傍の奥行き分解能が、当該被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する分解能設定部（１２０）と、入力画像の領域毎に、対応する領域の奥行き位置を示す奥行き値を、分解能設定部（１２０）によって設定された複数の奥行き値の中から決定することで、入力画像に対応する２次元の奥行き情報を生成するデプスマップ生成部（１４０）とを備える。

Description

３次元画像撮影装置及び３次元画像撮影方法
　本発明は、３次元画像撮影装置及び３次元画像撮影方法に関し、特に、入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置及び３次元画像撮影方法に関する。
　従来、奥行き値を画像の領域毎に示す奥行き情報（デプスマップ：Ｄｅｐｔｈ　Ｍａｐ）を用いて、２次元画像から３次元画像を生成する技術が開発されている。奥行き値（デプス値：Ｄｅｐｔｈ　Ｖａｌｕｅ）は、画像の深さ方向を示す値であり、例えば、カメラから被写体までの距離に相当する値である。カメラを用いて撮影した画像から奥行き情報を生成する場合、画像の領域毎に、予め定められた複数の奥行き値から１つの奥行き値を決定することで、奥行き情報を生成することができる。
　例えば、特許文献１には、焦点距離の異なる複数の画像から全焦点画像を作成する技術が開示されている。この技術を利用することで、画素毎の奥行き値を示すデプスマップを生成することができる。
特開２００１－３３３３２４号公報
　しかしながら、上記従来技術では、演算コストの増加の抑制と、立体感の向上とを両立することができないという課題がある。
　従来は、予め定められた複数の奥行き値を用いている。すなわち、奥行き分解能が固定である。奥行き分解能とは、複数の奥行き値のばらつき具合を示す値であり、複数の奥行き値が密である程、奥行き分解能は高く、複数の奥行き値が疎である程、奥行き分解能は低くなる。
　図１は、従来の奥行き分解能を示す図である。
　図１（ａ）では、カメラから遠い側（テレ端）から近い側（ワイド端）までの間に、１０個の奥行き値ｄ１～ｄ１０が予め定められている。奥行き情報に含まれる奥行き値は、予め定められた１０個の奥行き値ｄ１～ｄ１０から選択されるので、注目被写体の奥行き値としては、ｄ６又はｄ７が選択される。つまり、注目被写体の奥行き値は、ｄ６及びｄ７の２つの値でしか表現されない。このため、入力画像を３次元画像に変換した場合、注目被写体の立体感はほとんど表現されず、書割的な３次元画像が生成される。
　一方、図１（ｂ）では、カメラから遠い側から近い側までの間に、１９個の奥行き値ｄ１～ｄ１９が予め定められている。この場合、注目被写体の奥行き値は、ｄ１１、ｄ１２及びｄ１３の３つの値で表現されるので、図１（ａ）の場合に比べて、立体感を向上させることができる。
　しかしながら、注目被写体の奥行き値を決定する際に、１９個の奥行き値ｄ１～ｄ１９のそれぞれに対して奥行き値を決定するための演算を行う必要がある。このため、図１（ａ）の場合に比べて、演算コスト（処理量）が増大してしまう。また、奥行き値ｄ１～ｄ１９のそれぞれに対する演算結果を保持しておくために使用するメモリ量が大きくなる。
　そこで、本発明は、上記従来の課題を解決するためになされたものであり、演算コストの増加を抑制しつつ、書割感を減少させ、立体感を向上させることができる３次元画像撮影装置及び３次元画像撮影方法を提供することを目的とする。
　上記課題を解決するため、本発明の一態様に係る３次元画像撮影装置は、入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置であって、撮影により前記入力画像を取得する撮影部と、前記撮影部によって取得された入力画像内の第１被写体を指定する指定部と、前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備える。
　これにより、指定した被写体近傍の奥行き分解能を高めることで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができる。したがって、指定した被写体の書割感を低減し、立体感を向上させることができる。また、このとき、被写体近傍の奥行き分解能が他の領域の分解能より高めればよいので、例えば、全体の奥行き値の候補を増やす必要はなく、演算コストの増加を抑制することができる。
　また、前記分解能設定部は、互いに異なる予め定められた複数の奥行き位置の少なくとも１つを、前記指定部によって指定された第１被写体の奥行き位置に近づけることで、前記複数の初期奥行き値を設定してもよい。
　これにより、予め定められた奥行き位置を被写体の奥行き位置に近づけるようにすることで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができ、立体感を向上させることができる。また、予め定められた奥行き位置を移動させるだけで、奥行き値の数を増やさないので、演算コストの増加を抑制することができる。
　また、前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定してもよい。
　これにより、被写体近傍に追加奥行き値を設定することで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができるので、さらに立体感を向上させることができる。
　また、前記３次元画像撮影装置は、さらに、前記入力画像と前記奥行き情報とを用いて前記３次元画像を生成した場合の立体効果を示す立体効果画像を表示する表示部と、ユーザからの指示に基づいて前記立体効果の強弱を調整する立体効果調整部とを備え、前記分解能設定部は、前記立体効果調整部によって前記立体効果を強める設定がされた場合に、前記追加奥行き値を設定してもよい。
　これにより、ユーザからの指示があった場合に追加奥行き値を設定するので、ユーザの意図する立体感を表現することができる。よって、ユーザの意図しない立体感の表現を行うことによる演算コストの増加を抑制することができる。
　また、前記３次元画像撮影装置は、さらに、前記入力画像と前記奥行き情報とを用いて、前記入力画像から前記３次元画像を生成する３次元画像生成部を備え、前記表示部は、前記立体効果画像として前記３次元画像を表示してもよい。
　これにより、３次元画像を表示するので、ユーザが立体効果を直接的に判断することができる。よって、ユーザは立体効果の調整を容易に行うことができるので、ユーザの意図する立体感を表現することができる。したがって、ユーザの意図しない立体感の表現を行うことによる演算コストの増加を抑制することができる。
　また、前記指定部は、さらに、前記撮影部によって取得された入力画像内の、前記第１被写体とは異なる第２被写体を追加指定し、前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第２被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定してもよい。
　これにより、被写体を追加指定し、追加指定した被写体近傍の奥行き分解能を高めることで、複数の被写体の立体感を向上させることができる。例えば、１回目に設定した第１被写体の立体感を確かめた後に、他の被写体の立体感を向上させたい場合などに、第２被写体を追加指定することで、第１被写体だけでなく第２被写体の立体感も向上させることができる。
　また、前記指定部は、さらに、前記撮影部によって取得された入力画像内の、前記第１被写体とは異なる第２被写体を追加指定し、前記分解能設定部は、さらに、前記複数の初期奥行き値が示す複数の奥行き位置の少なくとも１つを、前記指定部によって追加指定された第２被写体の奥行き位置に近づけることで、前記複数の初期奥行き値を更新してもよい。
　これにより、被写体を追加指定し、追加指定した被写体近傍の奥行き分解能を高めることで、複数の被写体の立体感を向上させることができる。例えば、１回目に設定した第１被写体の立体感を確かめた後に、他の被写体の立体感を向上させたい場合などに、第２被写体を追加指定することで、第１被写体だけでなく第２被写体の立体感も向上させることができる。このとき、１回目に設定された奥行き位置を移動させるだけで、奥行き値の数を増やさないので、演算コストの増加を抑制することができる。
　また、前記奥行き情報生成部は、前記入力画像の２次元の領域毎に、（ａ）前記分解能設定部によって設定された複数の奥行き値のそれぞれに対応し、対応する奥行き値の妥当性を表すコスト関数を算出し、（ｂ）奥行き値が最も妥当であることを示すコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定してもよい。
　これにより、奥行き値毎のコスト関数を用いて、最も妥当な奥行き位置を決定するので、奥行き値の候補の中から最適な奥行き値を決定することができ、立体感を向上させることができる。
　また、前記３次元画像撮影装置は、さらに、前記奥行き情報生成部によって算出されたコスト関数を保持するコスト関数保持部を備えてもよい。
　これにより、算出したコスト関数を保持するので、再び演算する必要がなくなり、演算コストの増加を抑制することができる。
　また、前記コスト関数保持部は、前記奥行き情報生成部によって算出されたコスト関数を、前記入力画像の２次元の領域毎に、前記複数の奥行き値に対応付けて保持してもよい。
　これにより、算出したコスト関数を、領域毎に、かつ、奥行き位置毎に保持するので、例えば、追加奥行き値が設定された場合は、追加奥行き値に対応するコスト関数のみの演算を行い、保持されているコスト関数との比較を行えばよく、演算コストの増加を抑制することができる。
　また、前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、前記奥行き情報生成部は、さらに、前記入力画像の２次元の領域毎に、（ａ）前記追加奥行き値に対応するコスト関数を算出し、（ｂ）算出したコスト関数を前記追加奥行き値に対応付けて前記コスト関数保持部に格納してもよい。
　これにより、追加奥行き値が設定された場合は、追加奥行き値に対応するコスト関数のみの演算を行い、保持されているコスト関数との比較を行えばよく、演算コストの増加を抑制することができる。
　また、前記コスト関数保持部は、前記入力画像の２次元の領域毎に、奥行き値が最も妥当であることを示すコスト関数のみを、対応する奥行き値に対応付けて保持してもよい。
　これにより、算出したコスト関数のうち奥行き値が最も妥当なコスト関数のみを保持することで、メモリ資源を有効に利用することができる。
　また、前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、前記奥行き情報生成部は、さらに、前記入力画像の２次元の領域毎に、（ａ）前記追加奥行き値に対応するコスト関数を算出し、（ｂ）算出したコスト関数と前記コスト関数保持部に格納されているコスト関数とを比較し、（ｃ）（ｉ）算出したコスト関数が、前記コスト関数保持部に格納されているコスト関数より妥当であることを示している場合に、前記追加奥行き値を、対応する領域の奥行き値として決定するとともに、前記コスト関数保持部に格納されているコスト関数を当該算出したコスト関数に置き換え、（ｉｉ）前記コスト関数保持部に格納されているコスト関数が、算出したコスト関数より妥当であることを示している場合に、前記コスト関数保持部に格納されているコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定してもよい。
　これにより、追加奥行き値が設定された場合、追加奥行き値に対応するコスト関数のみの演算を行い、保持されている最も妥当なコスト関数との比較を行えばよく、演算コストの増加を抑制することができる。
　また、前記３次元画像撮影装置は、さらに、前記指定部によって指定された第１被写体を強調して前記入力画像を表示する表示部を備えてもよい。
　これにより、ユーザに指定された被写体を提示することができる。
　なお、本発明は、３次元画像撮影装置として実現できるだけではなく、当該３次元画像撮影装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
　また、上記の各３次元画像撮影装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
　本発明によれば、演算コストの増加を抑制しつつ、書割感を減少させ、立体感を向上させることができる。
図１は、従来の奥行き分解能を示す図である。 図２は、本発明の実施の形態に係る３次元画像撮影装置の構成の一例を示すブロック図である。 図３は、本発明の実施の形態に係る奥行き分解能の一例を示す図である。 図４は、本発明の実施の形態に係る奥行き分解能の別の一例を示す図である。 図５は、本発明の実施の形態に係る奥行き分解能の別の一例を示す図である。 図６Ａは、本発明の実施の形態に係る１つの被写体を指定するためのユーザインタフェースの一例を示す図である。 図６Ｂは、本発明の実施の形態に係る複数の被写体を指定するためのユーザインタフェースの一例を示す図である。 図７Ａは、本発明の実施の形態に係る立体効果を調整するためのユーザインタフェースの一例を示す図である。 図７Ｂは、本発明の実施の形態に係る立体効果を調整するためのユーザインタフェースの一例を示す図である。 図８は、本発明の実施の形態に係る入力画像とデプスマップとの関係の一例を示す図である。 図９は、本発明の実施の形態に係る複数の奥行き値と識別子との関係の一例を示す図である。 図１０は、本発明の実施の形態に係るコスト関数保持部に保持されるデータの一例を示す図である。 図１１は、本発明の実施の形態に係るコスト関数保持部に保持されるデータの別の一例を示す図である。 図１２は、本発明の実施の形態に係る３次元画像撮影装置の動作の一例を示すフローチャートである。 図１３は、本発明の実施の形態に係る奥行き分解能の設定処理の一例を示すフローチャートである。 図１４は、本発明の実施の形態に係る３次元画像撮影装置の動作の別の一例を示すフローチャートである。 図１５は、本発明の実施の形態に係る３次元画像撮影装置の動作の別の一例を示すフローチャートである。 図１６は、本発明の実施の形態の変形例に係る３次元画像撮影装置の構成の一例を示すブロック図である。
　以下、本発明の実施の形態に係る３次元画像撮影装置及び３次元画像撮影方法について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
　本発明の実施の形態に係る３次元画像撮影装置は、撮影により入力画像を取得する撮影部と、入力画像内の被写体を指定する指定部と、指定された被写体近傍の奥行き分解能が高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する分解能設定部と、入力画像の領域毎に、対応する領域の奥行き位置を示す奥行き値を、設定された複数の奥行き値の中から決定することで、入力画像に対応する奥行き情報を生成する奥行き情報生成部とを備えることを特徴とする。
　図２は、本発明の実施の形態に係る３次元画像撮影装置１００の構成の一例を示すブロック図である。３次元画像撮影装置１００は、２次元の入力画像から３次元画像を生成するための奥行き情報（デプスマップ）を生成する。
　図２に示すように、３次元画像撮影装置１００は、被写体指定部１１０と、分解能設定部１２０と、撮影部１３０と、デプスマップ生成部１４０と、コスト関数保持部１５０と、３次元画像生成部１６０と、表示部１７０と、立体効果調整部１８０と、記録部１９０とを備える。
　被写体指定部１１０は、撮影部１３０によって取得された入力画像内の被写体（注目被写体）を指定する。このとき、被写体指定部１１０は、複数の被写体を指定してもよい。被写体指定部１１０は、例えば、ユーザインタフェースを介して、ユーザによって指定された被写体を指定する。具体的には、被写体指定部１１０は、表示部１７０に表示されるユーザから被写体の指定を受け付けるためのユーザインタフェースを介して、ユーザが指示した被写体を指定する。
　あるいは、被写体指定部１１０は、入力画像に画像認識処理を行うことで、指定領域を特定し、特定した指定領域を注目被写体として指定してもよい。画像認識処理は、例えば、顔認識処理及びエッジ検出処理などである。被写体指定部１１０は、入力画像に顔認識処理を行うことで、人物の顔領域を特定し、特定した顔領域を注目被写体として指定してもよい。
　また、被写体指定部１１０は、１回目に指定した被写体（第１被写体）とは異なる第２被写体を追加指定してもよい。このとき、被写体指定部１１０は、複数の第２被写体を追加指定してもよい。
　なお、ここでは、第１被写体は、第２被写体を指定する際に、既に奥行き分解能を高める処理の対象となっている被写体であり、第２被写体は、奥行き分解能を高める処理の対象にまだなっていない被写体である。具体的には、被写体指定部１１０は、ユーザが第１被写体に対する奥行き分解能を高める処理が行われた後の立体効果を確認した後、つまり、デプスマップが１回生成された後、新たに指定した被写体を第２被写体として追加指定する。
　分解能設定部１２０は、被写体指定部１１０によって指定された被写体の奥行き分解能を高める処理を行う。すなわち、分解能設定部１２０は、入力画像の奥行き方向に平行な方向において、被写体指定部１１０によって指定された被写体近傍の奥行き分解能が、当該被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する。
　なお、奥行き方向とは、２次元の入力画像に対して直交する方向である。言い換えると、奥行き方向は、２次元の入力画像の前後方向、すなわち、画面からユーザに向かう方向（又は、ユーザから画面に向かう方向）である。また、奥行き方向における被写体近傍の領域は、被写体と、奥行き方向において被写体の周囲（前後）の領域とを含む。
　また、奥行き分解能は、互いに異なる複数の奥行き位置のばらつき具合を示す値である。具体的には、複数の奥行き位置が密である程、奥行き分解能は高く、複数の奥行き値が疎である程、奥行き分解能は低くなる。言い換えると、奥行き方向における所定の領域内に含まれる奥行き位置の数が多い程、奥行き分解能は高く、当該領域内に含まれる奥行き位置の数が少ない程、奥行き分解能は低くなる。
　なお、分解能設定部１２０の詳細な動作については、図３～図５を用いて後で説明する。
　撮影部１３０は、撮影により入力画像を取得する。撮影部１３０は、例えば、レンズなどの光学系と、入射光を電気信号（入力画像）に変換する撮像素子とを備える。レンズ及び撮像素子の少なくとも一方を動かすことで、レンズと撮像素子との間の距離を変更し、フォーカス（合焦位置）を変更することができる。
　なお、デプスマップ生成部１４０が行う奥行き値の決定方法には、ＤＦＤ（Ｄｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓ）方式やＤＦＦ（Ｄｅｐｔｈ　ｆｒｏｍ　Ｆｏｃｕｓ）方式などがある。この方式に併せて、撮影部１３０は、入力画像の取得方法を変更する。
　ＤＦＤ方式では、例えば、撮影部１３０は、フォーカス（合焦位置）を変えながら複数回の撮影を行うことで、合焦位置毎に入力画像を取得する。例えば、テレ端（最遠端）での画像である最遠端画像とワイド端（最近端）での画像である最近端画像との２枚の画像を入力画像として取得する。
　ＤＦＦ方式（フォーカルスタック方式）では、例えば、撮影部１３０は、合焦位置を変えながら複数回の撮影を行うことで、合焦位置毎に入力画像を取得する。このとき、撮影部１３０は、奥行き値の個数の入力画像を取得する。つまり、撮影部１３０は、複数の奥行き値が示す複数の奥行き位置のそれぞれを合焦位置として撮影することで、複数の奥行き位置のそれぞれに対応する入力画像を取得する。
　なお、デプスマップ生成部１４０行う奥行き値の決定方法は、ＤＦＤ方式又はＤＦＦ方式に限定せず、他のデプス決定方法を利用してもよい。
　デプスマップ生成部１４０は、奥行き情報生成部の一例であり、入力画像の２次元の領域毎に、対応する領域の奥行き位置を、分解能設定部１２０によって設定された複数の奥行き値の中から決定することで、入力画像に対応する２次元の奥行き情報（デプスマップ）を生成する。ここで、入力画像の２次元の領域は、例えば、１画素、又は、複数の画素からなる領域である。
　例えば、デプスマップ生成部１４０は、入力画像の２次元の領域毎に、分解能設定部１２０によって設定された複数の奥行き値のそれぞれに対応し、対応する奥行き値の妥当性を表すコスト関数を算出する。そして、デプスマップ生成部１４０は、最も妥当であることを表すコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定する。デプスマップ生成部１４０の詳細な動作については、後で説明する。
　コスト関数保持部１５０は、デプスマップ生成部１４０によって算出されたコスト関数を保持するためのメモリである。コスト関数保持部１５０に保持されるデータの詳細については、後で説明する。
　３次元画像生成部１６０は、入力画像とデプスマップとを用いて、入力画像から３次元画像を生成する。なお、このとき用いる入力画像は、デプスマップの生成に用いた画像と全く同一でなくてもよい。３次元画像は、例えば、視差を有する左眼用画像と右眼用画像とから構成される。視聴者（ユーザ）は、左眼用画像を左眼で、右眼用画像を右眼で見ることで、３次元画像を立体的に感じることができる。
　３次元画像生成部１６０は、具体的には、入力画像の２次元の領域毎に、対応する奥行き値を用いて視差情報を生成する。視差情報は、左眼用画像と右眼用画像との視差を示す情報である。例えば、視差情報は、対応する領域を左右方向にシフトさせる量（画素数）を示しており、３次元画像生成部１６０は、対応する領域を左右方向にシフトさせることで、左眼用画像と右眼用画像とを生成する。
　表示部１７０は、入力画像とデプスマップとを用いて３次元画像を生成した場合の立体効果を示す立体効果画像を表示する。立体効果画像は、立体効果調整部１８０によって生成される。あるいは、立体効果画像は、例えば、３次元画像生成部１６０によって生成された３次元画像であってもよい。
　また、表示部１７０は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を表示する。ＧＵＩは、例えば、ユーザから被写体の指定を受け付けるためのインタフェース、及び、立体効果の強弱を調整するためのインタフェースなどである。ＧＵＩの具体的な例については、後で説明する。
　立体効果調整部１８０は、ユーザからの指示に基づいて立体効果の強弱を調整する。具体的には、立体効果調整部１８０は、表示部１７０に表示される立体効果調整用のＧＵＩを介して、ユーザからの指示を受け付ける。このとき、立体効果調整部１８０は、ユーザに立体効果を確認させるために、入力画像から３次元画像を生成した場合の立体効果を表す立体効果画像を生成してもよい。
　例えば、立体効果調整部１８０は、ユーザから、どの被写体をどの程度、立体効果を強める、又は、弱めるかという指示を受け付ける。すなわち、立体効果調整部１８０は、立体効果の調整の対象となる被写体と、強弱の程度とを示す指示をユーザから受け付ける。受け付けた指示は、分解能設定部１２０に通知される。
　記録部１９０は、３次元画像生成部１６０によって生成された３次元画像、すなわち、左眼用画像と右眼用画像とを記録媒体などに記録する。あるいは、記録部１９０は、撮影部１３０によって取得された入力画像と、デプスマップ生成部１４０によって生成されたデプスマップとを記録してもよい。なお、記録媒体は、例えば、３次元画像撮影装置１００が備える内部メモリ、又は、３次元画像撮影装置１００と接続可能なメモリカードなどである。
　続いて、本発明の実施の形態に係る奥行き分解能の設定処理について説明する。
　図３は、本発明の実施の形態に係る奥行き分解能の一例を示す図である。
　図３（ａ）に示すように、図１（ａ）と同様に、３次元画像撮影装置１００（カメラ）から遠い側（テレ端）から近い側（ワイド端）までの間に、１０個の奥行き値ｄ１～ｄ１０が予め定められている。つまり、本実施の形態に係る３次元画像撮影装置１００では、奥行き値の個数が予め定められており、図３（ａ）に示す例では、１０個である。
　ここで、被写体指定部１１０は、奥行き値ｄ６が示す奥行き位置とｄ７が示す奥行き位置との間に存在する被写体を、注目被写体として指定する。分解能設定部１２０は、１０個の奥行き位置の少なくとも１つを注目被写体近傍の奥行き位置に近づけることで、図３（ｂ）に示すように、１０個の奥行き値ｄ１～ｄ１０を設定する。
　具体的には、分解能設定部１２０は、注目被写体を中心として注目被写体から離れる程、隣り合う奥行き値間の間隔が広くなるように、予め等間隔で定められていた複数の奥行き値を調整する。言い換えると、分解能設定部１２０は、注目被写体近傍の奥行き値の間隔を狭めるように複数の奥行き値を設定することで、注目被写体近傍の奥行き分解能を高める。
　要するに、分解能設定部１２０は、注目被写体近傍の領域に含まれる奥行き値の個数が、注目被写体から離れた領域（例えば、テレ端又はワイド端付近の領域）に含まれる奥行き値の個数より多くなるように、複数の奥行き値を設定する。言い換えると、分解能設定部１２０は、注目被写体近傍の奥行き値が密となるように、複数の奥行き値を設定する。
　これにより、図３（ａ）に示す例では、注目被写体の奥行き値は、ｄ６及びｄ７の２つの値でしか表現されないのに対して、図３（ｂ）に示す例では、注目被写体の奥行き値は、ｄ５、ｄ６及びｄ７の３つの値で表現される。このため、図３（ａ）の場合に比べて、立体感を向上させることができる。このとき、全体の奥行き値の個数は、１０個のままで変わらないので、奥行き値を決定するための演算コストも変わらない。したがって、演算コストの増加も抑制することができる。
　このように、分解能設定部１２０は、互いに異なる予め定められた複数の奥行き位置の少なくとも１つを、被写体指定部１１０によって指定された被写体近傍の奥行き位置に近づけることで、複数の奥行き値を設定する。これにより、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができ、立体感を向上させることができる。また、予め定められた奥行き位置を移動させるだけで、奥行き値の数を増やさないので、演算コストの増加を抑制することができる。
　なお、この処理は、入力画像に対して初めて被写体が指定された場合、つまり、１回目の第１被写体が指定された場合に実行されることが好ましい。言い換えると、分解能設定部１２０は、予め定められた複数の奥行き位置の少なくとも１つを、被写体指定部１１０によって１回目に指定された第１被写体近傍の奥行き位置に近づけることで、複数の初期奥行き値を設定する。複数の初期奥行き値は、図３（ｂ）に示すｄ１～ｄ１０であり、少なくとも１回は奥行き分解能を高める処理が行われた後の奥行き値である。
　図４は、本発明の実施の形態に係る奥行き分解能の別の一例を示す図である。
　ここでは、図４（ｂ）に示すように、注目被写体近傍に、新たな奥行き値ｄ１１及びｄ１２が追加されている。つまり、分解能設定部１２０は、図３（ｂ）に示した複数の初期奥行き値ｄ１～ｄ１０のそれぞれが示す奥行き位置とは異なる奥行き位置であって、注目被写体近傍の奥行き位置を示す新たな奥行き値ｄ１１及びｄ１２を、追加奥行き値として設定する。このとき、デプスマップ生成部１４０は、初期奥行き値ｄ１～ｄ１０と追加奥行き値ｄ１１及びｄ１２との中から１つの奥行き値を入力画像の２次元の領域毎に決定する。
　このように、被写体近傍に追加奥行き値を設定することで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができる。これにより、注目被写体の奥行き分解能をさらに高めることができ、注目被写体の立体感をさらに高めることができる。
　なお、追加奥行き値の設定は、初期奥行き値の設定及びデプスマップの生成が完了した後に行われることが好ましい。具体的には、初期奥行き値の設定が完了した後、デプスマップ生成部１４０によって、初期奥行き値を用いてデプスマップが生成される。そして、表示部１７０には、生成されたデプスマップと入力画像とを用いて立体効果画像が表示されるとともに、ユーザからの立体効果の強弱を調整するため指示を受け付けるＧＵＩが表示される。
　立体効果調整部１８０は、表示部１７０に表示されたＧＵＩを介して、ユーザから立体効果を強める指示を受けた場合、当該指示を分解能設定部１２０に通知する。分解能設定部１２０は、立体効果調整部１８０によって立体効果を強める設定がされた場合に、追加奥行き値を設定する。これにより、例えば、１回目に設定した第１被写体の立体感を確かめた後に、他の被写体の立体感を向上させたい場合などに、第２被写体を追加指定することで、第１被写体だけでなく第２被写体の立体感も向上させることができる。
　このとき、デプスマップ生成部１４０は、初期奥行き値に対応するコスト関数は既に算出されているので、追加奥行き値に対応するコスト関数のみを算出すればよい。つまり、既に設定された初期奥行き値に対応するコスト関数を再び算出する必要はない。したがって、立体効果を高めるために必要な演算コストの増加を最小限に抑えることができる。
　図５は、本発明の実施の形態に係る奥行き分解能の別の一例を示す図である。
　本実施の形態では、上述したように、被写体指定部１１０は、第１被写体とは異なる第２被写体を追加指定することができる。図５は、第２被写体が追加指定された場合における奥行き分解能の一例を示している。
　分解能設定部１２０は、複数の初期奥行き値ｄ１～ｄ１０のそれぞれが示す奥行き位置とは異なる奥行き位置であって、追加被写体近傍の奥行き位置を示す新たな奥行き値（追加奥行き値ｄ１１及びｄ１２）を設定する。このとき、デプスマップ生成部１４０は、初期奥行き値ｄ１～ｄ１０と追加奥行き値ｄ１１及びｄ１２との中から１つの奥行き値を入力画像の２次元の領域毎に決定する。
　これにより、注目被写体だけでなく、新たに指定した追加被写体の奥行き分解能も高めることができ、注目被写体及び追加被写体の立体感を高めることができる。
　なお、第２被写体の追加は、初期奥行き値の設定及びデプスマップの生成が完了した後に行われることが好ましい。具体的には、初期奥行き値の設定が完了した後、デプスマップ生成部１４０によって、初期奥行き値を用いてデプスマップが生成される。そして、表示部１７０には、生成されたデプスマップと入力画像とを用いて立体効果画像が表示されるとともに、ユーザからの被写体の追加を受け付けるためのＧＵＩが表示される。
　被写体指定部１１０は、表示部１７０に表示されたＧＵＩを介して、ユーザから第２被写体の指定の指示を受けた場合、第２被写体を追加指定する。分解能設定部１２０は、第２被写体が追加指定された場合に、第２被写体の奥行き分解能を高めるように、奥行き値を設定する。これにより、１回目に指定した第１被写体だけでなく、新たに追加指定した第２被写体の奥行き分解能も高めることができ、第１被写体及び第２被写体の立体感を高めることができる。
　続いて、本発明の実施の形態に係る表示部１７０が表示するＧＵＩの例について説明する。
　図６Ａは、本発明の実施の形態に係る１つの被写体を指定するためのユーザインタフェースの一例を示す図である。
　図６Ａに示すように、表示部１７０は、被写体指定部１１０によって指定された被写体を強調して、入力画像を表示する。被写体の強調の方法には、例えば、被写体の輪郭を太くする方法、被写体をハイライト表示する方法、又は、被写体の色を反転表示する方法などがある。
　さらに、表示部１７０は、被写体の奥行き位置を表すヒストグラム２００を表示する。ヒストグラム２００の縦軸は、画素数を表している。図６Ａに示す例では、奥行き方向における中央付近に指定された被写体が存在することが表されている。
　さらに、表示部１７０は、立体効果を表す立体効果画像２０１を表示する。図６Ａに示す例では、立体効果画像２０１は、濃淡のパターンによって立体効果を表している。具体的には、パターンの濃い領域は立体効果が強く、すなわち、奥行き値が密であり、パターンの薄い領域は立体効果が弱く、すなわち、奥行き値が疎であることを示している。図６Ａに示すように、本実施の形態では、指定された被写体を含む領域の立体効果が高められている。
　このとき、表示部１７０は、例えば、カーソルなどを表示させることで、被写体指定部１１０は、ユーザからの被写体の指示を受け付けることができる。例えば、ユーザが表示部１７０に表示されている画像内で所定の領域を囲むような操作を行った場合、被写体指定部１１０は、当該領域に含まれる被写体を抽出し、抽出した被写体を指定する。あるいは、被写体指定部１１０は、当該領域そのものを被写体として指定してもよい。領域に含まれる被写体の抽出は、例えば、領域を対象としたエッジ検出処理、顔認識処理、及び、色検出処理などの画像処理によって行われる。
　図６Ｂは、本発明の実施の形態に係る複数の被写体を指定するためのユーザインタフェースの一例を示す図である。
　図６Ｂに示すように、表示部１７０は、被写体指定部１１０によって指定された被写体を強調して、入力画像を表示する。これにより、ユーザに指定された被写体を提示することができる。被写体の強調の方法には、例えば、被写体の輪郭を太くする方法、被写体をハイライト表示する方法、又は、被写体の色を反転表示する方法などがある。このとき、１回目に指定された第１被写体と、２回目以降に指定された第２被写体とで、強調の方法を変更してもよい。図６Ｂに示す例では、異なる網掛けによって被写体が異なることを示している。
　表示部１７０は、図６Ａと同様に、被写体の奥行き位置を表すヒストグラム２１０を表示する。図６Ｂに示す例では、奥行き方向における中央付近に指定された第１被写体が存在し、かつ、奥行き方向において遠端側に追加指定された第２被写体が存在することが表されている。
　第２被写体が追加指定された場合、分解能設定部１２０は、図５（ｂ）に示すように、追加被写体（第２被写体）近傍に追加奥行き値を設定することで、追加被写体の奥行き分解能を高める。これにより、第１被写体だけでなく、第２被写体近傍の立体効果も高めることができる。
　さらに、表示部１７０は、立体効果を表す立体効果画像２１１を表示する。立体効果画像２１１は、図６Ａに示す立体効果画像２０１と同様に、濃淡のパターンによって立体効果を表している。図６Ｂに示す例では、第１被写体近傍及び第２被写体近傍の立体効果が高められている。
　このように、ユーザからの指示があった場合に追加奥行き値を設定するので、ユーザの意図する立体感を表現することができる。よって、ユーザの意図しない立体感の表現を行うことによる演算コストの増加を抑制することができる。
　図７Ａ及び図７Ｂは、本発明の実施の形態に係る立体効果を調整するためのユーザインタフェースの一例を示す図である。
　図７Ａ及び図７Ｂに示す例では、画面内に立体効果調整バーが表示されている。ユーザは、立体効果調整バーを操作することで、立体効果の強弱を調整することができる。
　例えば、図７Ａに示すように、ユーザが立体効果を弱めた場合、立体効果調整部１８０は、指定被写体の立体効果が弱まるような立体効果画像２２１を生成する。具体的には、立体効果画像は濃淡のパターンで立体効果を表示しているので、立体効果調整部１８０は、指定被写体の濃度が薄くなるような立体効果画像２２１を生成する。
　さらに、立体効果調整部１８０は、ユーザ指示に基づいて立体効果を弱める設定を行う。そして、分解能設定部１２０は、立体効果を弱める設定が行われた場合、例えば、複数の初期奥行き値が示す奥行き位置のうち、注目被写体近傍の奥行き位置間の間隔を広げることで、立体効果を弱めることができる。例えば、分解能設定部１２０は、立体効果が弱められる程、注目被写体近傍の奥行き位置間の間隔を広げるように、複数の奥行き値を更新する。
　あるいは、分解能設定部１２０は、複数の初期奥行き値のうち、注目被写体近傍の奥行き位置を示す初期奥行き値を削除してもよい。例えば、分解能設定部１２０は、立体効果が弱められる程、注目被写体近傍の奥行き値のうち削除する個数を増加させる。これによっても、立体効果を弱めることができる。
　一方で、図７Ｂに示すように、ユーザが立体効果を強めた場合、立体効果調整部１８０は、指定被写体の立体効果が強まるような立体効果画像２２２を生成する。具体的には、立体効果調整部１８０は、指定被写体の濃度が濃くなるような立体効果画像２２２を生成する。
　さらに、立体効果調整部１８０は、ユーザ指示に基づいて立体効果を強める設定を行う。そして、分解能設定部１２０は、立体効果を強める設定が行われた場合、例えば、複数の初期奥行き値が示す奥行き位置のうち、注目被写体近傍の奥行き位置間の間隔を狭めることで、立体効果を強めることができる。例えば、分解能設定部１２０は、立体効果が強められる程、注目被写体近傍の奥行き位置間の間隔を狭めるように、複数の奥行き値を更新する。
　あるいは、図４（ｂ）に示すように、注目被写体近傍に追加奥行き値を設定してもよい。例えば、分解能設定部１２０は、立体効果が強められる程、注目被写体近傍の追加奥行き値の個数を増加させる。これによっても、立体効果を強めることができる。
　続いて、本発明の実施の形態に係るデプスマップの生成処理の一例について説明する。
　図８は、本発明の実施の形態に係る入力画像とデプスマップ（奥行き情報）との関係の一例を示す図である。
　入力画像は、ｍ行×ｎ列のマトリクス状に配列された画素Ａ１１～Ａｍｎを含んでいる。
　デプスマップは、奥行き情報の一例であり、入力画像の２次元の領域毎に奥行き値を示す画像である。図８に示す例では、デプスマップは、入力画像の画素毎に奥行き値を示している。言い換えると、入力画像に含まれる画素とデプスマップの画素とは１対１に対応している。具体的には、入力画像の画素Ａｉｊに対応する奥行き値は、Ｄｉｊである。ここで、ｉは、１≦ｉ≦ｍを満たし、ｊは、１≦ｊ≦ｎを満たす。
　図９は、本発明の実施の形態に係る複数の奥行き値と識別子との関係の一例を示す図である。
　分解能設定部１２０は、設定した複数の奥行き値のそれぞれに識別子を付与する。図９に示す例では、分解能設定部１２０は、Ｎ個の奥行き値を設定した場合、カメラから最も遠い奥行き値に識別子“１”を付与し、カメラに最も近い奥行き値に識別子“Ｎ”を付与する。
　なお、識別子の付与の仕方はこれに限らず、例えば、カメラから最も遠い奥行き値に識別子“Ｎ”を付与し、カメラに最も近い奥行き値に識別子“１”を付与してもよい。あるいは、識別子を付与することなく、奥行き値の値そのものを識別子として用いてもよい。
　図１０は、本発明の実施の形態に係るコスト関数保持部１５０に保持されるデータの一例を示す図である。
　デプスマップ生成部１４０は、入力画像の２次元の領域毎に、複数の奥行き値のそれぞれに対応するコスト関数を算出し、算出したコスト関数をコスト関数保持部１５０に格納する。具体的には、コスト関数保持部１５０は、デプスマップ生成部１４０によって算出されたコスト関数を、入力画像の２次元の領域毎に複数の奥行き値に対応付けて保持する。このように、コスト関数保持部１５０は、算出されたコスト関数を保持するので、デプスマップ生成部１４０が再び演算する必要がなくなり、演算コストの増加を抑制することができる。
　図１０に示す例では、コスト関数保持部１５０は、分解能設定部１２０によって設定された複数の奥行き値のそれぞれに対応する識別子“１”～“Ｎ”と、入力画像の画素Ａ１１～Ａｍｎとに対応するコスト関数を保持する。具体的には、まず、デプスマップ生成部１４０は、識別子“ｄ”と画素Ａｉｊとに対応するコスト関数Ｃｏｓｔ［Ａｉｊ］［ｄ］を算出する。そして、デプスマップ生成部１４０は、算出したコスト関数Ｃｏｓｔ［Ａｉｊ］［ｄ］をコスト関数保持部１５０に格納する。
　ここで、具体的なコスト関数の算出方法について説明する。
　まず、ＤＦＤ方式の場合であり、最遠端画像と最近端画像とが入力画像として取得された場合におけるコスト関数の算出方法について説明する。なお、詳細は、非特許文献１「Ｃｏｄｅｄ　Ａｐｅｒｔｕｒｅ　Ｐａｉｒｓ　ｆｏｒ　Ｄｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓ」（Ｃｈａｎｇｙｉｎ　Ｚｈｏｕ、Ｓｔｅｐｈｅｎ　Ｌｉｎ、Ｓｈｒｅｅ　Ｎａｙｅｒ）に開示されている。
　コスト関数は、以下の（式１）で表される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｆ１及びＦ２は、２枚の異なるボケ画像を周波数変換することで得られる周波数係数である。具体的には、Ｆ１は、最近端画像を周波数変換することで得られる周波数係数であり、Ｆ２は、最遠端画像を周波数変換することで得られる周波数係数である。
　また、Ｋｉ ｄは、ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）を周波数変換することで得られるＯＴＦ（Ｏｐｔｉｃａｌ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）である。デプスマップ生成部１４０は、合焦位置に対応するＰＳＦ又はＯＴＦを内部メモリなどに保持している。例えば、Ｋ１ ｄは、Ｆ１、すなわち、最近端画像に対応するＯＴＦであり、Ｋ２ ｄは、Ｆ２、すなわち、最遠端画像に対応するＯＴＦである。
　Ｆ０は、以下の（式２）で表される。なお、Ｃは、主にノイズ対策のための調整用係数である。
Figure JPOXMLDOC01-appb-M000002
　ここで、Ｋ￣は、Ｋの複素共役である。デプスマップ生成部１４０は、（式１）の右項を計算した上で、逆周波数変換により計算結果を空間領域に変換する。そして、デプスマップ生成部１４０は、画素毎に、コスト関数が最小となる奥行き値ｄを決定する。なお、（式１）で表されるコスト関数は、値が小さい程、奥行き値が妥当であることを示している。つまり、コスト関数が最小となる奥行き値が、最も妥当な奥行き値であり、対応する画素の奥行き位置を表している。
　また、入力画像として全焦点画像が取得された場合も、デプスマップ生成部１４０は、上記と同様にＰＳＦを用いてコスト関数を算出し、奥行き値が最も妥当であることを示すコスト関数を決定することができる。
　このように、デプスマップ生成部１４０は、奥行き値毎のコスト関数を用いて、最も妥当な奥行き位置を決定するので、奥行き値の候補の中から最適な奥行き値を決定することができ、立体感を向上させることができる。
　次に、ＤＦＦ方式の場合のコスト関数の算出方法について説明する。このとき、それぞれが、分解能設定部１２０によって設定された複数の奥行き値が示す奥行き位置でピントが合った複数の画像が、入力画像として取得される。
　デプスマップ生成部１４０は、入力画像の領域毎にコントラストを算出する。具体的には、デプスマップ生成部１４０は、画素毎に、複数の入力画像のコントラストが最大となる入力画像に対応する奥行き位置を、当該画素の奥行き値として決定する。すなわち、コントラストが最大であることが、最も妥当な奥行き値を示すコスト関数に相当する。
　なお、既に初期奥行き値に対応するコスト関数が算出され、コスト関数保持部１５０に保持されている状態で、分解能設定部１２０によって新たに奥行き値が追加設定された場合、デプスマップ生成部１４０は、新たに追加された奥行き値（追加奥行き値）に対応するコスト関数のみを算出すればよい。そして、デプスマップ生成部１４０は、算出したコスト関数を追加奥行き値に対応付けてコスト関数保持部１５０に格納すればよい。このように、追加奥行き値が設定された場合は、デプスマップ生成部１４０は、追加奥行き値に対応するコスト関数のみの演算を行い、保持されているコスト関数との比較を行えばよい。これにより、演算コストの増加を抑制することができる。
　また、コスト関数保持部１５０は、入力画像の２次元の領域毎に、奥行き値が最も妥当であることを示すコスト関数のみを、対応する奥行き値に対応付けて保持してもよい。具体的な例について、図１１を用いて説明する。
　図１１は、本発明の実施の形態に係るコスト関数保持部１５０に保持されるデータの別の一例を示す図である。例えば、コスト関数保持部１５０は、図１１に示すように、入力画像の画素毎に、図９に示す識別子（奥行きＩＤ）と、コスト関数の最小値Ｃｏｓｔ＿ｍｉｎとを対応付けて保持している。
　なお、既に初期奥行き値に対応するコスト関数が算出され、コスト関数保持部１５０にコスト関数の最小値が保持されている状態で、分解能設定部１２０によって新たに奥行き値が追加設定された場合、デプスマップ生成部１４０は、新たに追加された奥行き値（追加奥行き値）に対応するコスト関数のみを算出すればよい。そして、デプスマップ生成部１４０は、算出したコスト関数と、コスト関数保持部１５０に保持されているコスト関数とを比較する。
　算出したコスト関数が、コスト関数保持部１５０に保持されているコスト関数より妥当であることを示している場合に、デプスマップ生成部１４０は、追加奥行き値を、対応する領域の奥行き値として決定する。さらに、この場合、デプスマップ生成部１４０は、コスト関数保持部１５０に保持されているコスト関数を、算出したコスト関数に置き換える。つまり、算出したコスト関数が、コスト関数の最小値より小さい場合は、デプスマップ生成部１４０は、追加奥行き値を、対応する領域の奥行き値として決定するとともに、算出したコスト関数を、コスト関数保持部１５０に保持されているコスト関数の最小値の代わりに格納する。
　また、コスト関数保持部１５０に保持されているコスト関数が、算出したコスト関数より妥当であることを示している場合に、デプスマップ生成部１４０は、コスト関数保持部１５０に保持されているコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定する。このとき、コスト関数の置き換えは行われない。
　このように、追加奥行き値が設定された場合は、追加奥行き値に対応するコスト関数のみの演算を行い、保持されているコスト関数との比較を行えばよく、演算コストの増加を抑制することができる。また、コスト関数保持部１５０は、算出したコスト関数のうち奥行き値が最も妥当なコスト関数のみを保持すればよいので、メモリ資源を有効に利用することができる。
　続いて、本発明の実施の形態に係る３次元画像撮影装置１００の動作の一例について説明する。
　図１２は、本発明の実施の形態に係る３次元画像撮影装置１００の動作の一例を示すフローチャートである。なお、図１２は、ＤＦＤ方式に基づいてデプスマップを生成する場合の動作を示している。
　まず、被写体指定部１１０は、被写体を指定する（Ｓ１１０）。例えば、被写体指定部１１０は、撮影部１３０によって取得された入力画像に、図６Ａに示すような被写体指定用のＧＵＩを重畳して表示部１７０に表示させ、ユーザからの被写体の指定の指示を受け付ける。そして、受け付けた指示に基づいて、被写体指定部１１０は、被写体を指定する。
　次に、撮影部１３０は、撮影により入力画像を取得する（Ｓ１２０）。ここでは、撮影部１３０は、最遠端画像と最近端画像との２枚の入力画像を取得する。
　次に、分解能設定部１２０は、入力画像の奥行き方向に平行な方向において、被写体指定部１１０によって指定された被写体近傍の奥行き分解能が高くなるように、複数の奥行き値を設定する（Ｓ１３０）。具体的な処理を、図１３に示す。
　図１３は、本発明の実施の形態に係る奥行き分解能の設定処理の一例を示すフローチャートである。
　まず、分解能設定部１２０（又は、３次元画像撮影装置１００の全体を制御する制御部）は、レンズを制御することで、被写体指定部１１０によって指定された被写体にフォーカスを合わせる（Ｓ１３１）。
　そして、分解能設定部１２０は、このときのレンズ情報から被写体までの距離を取得し（Ｓ１３２）、取得した距離を奥行き値に変換する。なお、レンズ情報とは、例えば、指定された被写体にピントが合った場合の合焦距離（１ｃｍ～∞（無限）など）を示す情報である。これにより、分解能設定部１２０は、被写体指定部１１０によって指定された被写体の奥行き位置を取得することができる。
　そして、分解能設定部１２０は、取得した奥行き位置に基づいて、奥行き分解能を決定する（Ｓ１３３）。つまり、分解能設定部１２０は、被写体近傍の奥行き分解能が、被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する。例えば、分解能設定部１２０は、互いに異なる予め定められた複数の奥行き位置の少なくとも１つを、指定された被写体の奥行き位置に近づけることで、図３（ｂ）に示すように、複数の奥行き値を複数の初期奥行き値として設定する。
　図１２に戻ると、続いて、デプスマップ生成部１４０が、入力画像に対応する奥行き情報（デプスマップ）を生成する（Ｓ１４０）。具体的には、デプスマップ生成部１４０は、入力画像の画素毎に、対応する画素の奥行き位置を示す奥行き値を、分解能設定部１２０によって設定された複数の奥行き値の中から決定することで、デプスマップを生成する。ここでは、デプスマップ生成部１４０は、上述したように、ＤＦＤ方式に基づいて、（式１）及び（式２）に従って、コスト関数を算出し、画素毎にコスト関数が最小となる奥行き値を決定する。
　次に、３次元画像生成部１６０は、入力画像とデプスマップとに基づいて３次元画像を生成する（Ｓ１５０）。そして、表示部１７０は、３次元画像生成部１６０によって生成された３次元画像を表示する（Ｓ１６０）。
　ここで、立体効果調整部１８０は、ユーザから立体効果の調整の指示を受けたか否かを判定する（Ｓ１７０）。具体的には、立体効果調整部１８０は、図７Ａ及び図７Ｂに示す立体効果調整バーなどの立体効果調整用のＧＵＩを、表示部１７０に表示させる。そして、立体効果調整部１８０は、立体効果調整用のＧＵＩを介して、立体効果の調整の指示を受けたか否かを判定する。
　ユーザが立体効果の調整を指示した場合（Ｓ１７０でＹｅｓ）、立体効果調整部１８０は、ユーザ指示に基づいて、被写体の立体効果をどの程度強める又は弱めるかを設定する（Ｓ１８０）。
　例えば、立体効果調整部１８０によって立体効果を強める設定が行われた場合に、分解能設定部１２０は、被写体近傍の奥行き位置を示す新たな奥行き値を設定する（Ｓ１３０）。なお、このとき、図１３に示すフォーカスの制御（Ｓ１３１）及び被写体までの距離の取得（Ｓ１３２）は、行う必要はない。すなわち、分解能設定部１２０は、既に取得した被写体の奥行き位置に基づいて、その近傍に追加奥行き値を設定すればよい。
　そして、デプスマップ生成部１４０は、さらに、追加奥行き値に対応するコスト関数のみを算出する（Ｓ１４０）。つまり、初期奥行き値に対応するコスト関数は、既に算出されているので、ここで再び算出する必要はない。これにより、演算コストの増加を抑制することができる。
　なお、立体効果調整部１８０によって立体効果を弱める設定が行われた場合には、分解能設定部１２０は、被写体近傍の奥行き値の間隔を広げる、あるいは、被写体近傍の奥行き値を除外することで、奥行き値を更新する。
　以降、３次元画像の生成（Ｓ１５０）、表示（Ｓ１６０）、及び、立体効果の調整の判定（Ｓ１７０）が同様に行われる。
　ユーザが立体効果の調整を指示しない場合（Ｓ１７０でＮｏ）、記録部１９０は、３次元画像を記録媒体に記録する（Ｓ１９０）。なお、このとき、記録部１９０は、入力画像とデプスマップとを記録してもよい。
　なお、本実施の形態では、３次元画像を生成しなくてもよい。例えば、３次元画像を生成する代わりに、ステップＳ１５０において、立体効果調整部１８０が、入力画像とデプスマップとを用いて３次元画像を生成した場合の立体効果を表す立体効果画像を生成してもよい。この場合、ステップＳ１６０では、表示部１７０は、図７Ａ及び図７Ｂに示す立体効果画像２２１又は２２２などの立体効果を表す立体効果画像を表示する。
　次に、被写体を追加指定する場合の動作の一例について、図１４を用いて説明する。
　図１４は、本発明の実施の形態に係る３次元画像撮影装置１００の動作の別の一例を示すフローチャートである。なお、図１４に示すフローチャートは、図１２に示すフローチャートとほぼ同じであるので、ここでは、異なる点を中心に説明し、同じ点は説明を省略する。
　ここでは、立体効果の調整の判定（Ｓ１７０）において、新たな被写体の追加指定を受け付けた場合に、立体効果の調整が必要である（Ｓ１７０でＹｅｓ）と判定する。なお、このとき、被写体指定部１１０は、被写体の指定を受け付けるためのＧＵＩを表示部１７０に表示させ、当該ＧＵＩを介して被写体の追加指定をユーザから受け付ける。
　ユーザから被写体が追加指定を受け付けた場合（Ｓ１７０でＹｅｓ）、被写体指定部１１０は、ユーザによって指示された被写体（第２被写体）を追加指定する（Ｓ１７５）。この場合、立体効果調整部１８０は、立体効果調整用のＧＵＩを介して、追加指定された第２被写体の立体効果を調整する（Ｓ１８０）。つまり、立体効果調整部１８０は、ユーザ指示に基づいて、第２被写体の立体効果をどの程度強める又は弱めるかを設定する。
　例えば、立体効果調整部１８０によって立体効果を強める設定が行われた場合に、分解能設定部１２０は、追加被写体近傍の奥行き位置を示す新たな奥行き値を設定する（Ｓ１３０）。なお、このとき、図１３に示すフローチャートに従って、フォーカスを制御して（Ｓ１３１）、新たに追加された被写体までの距離を取得する（Ｓ１３２）。あるいは、既にステップＳ１４０において生成されたデプスマップから、追加被写体を示す画素位置の奥行き値を取得することで、追加被写体までの距離を取得してもよい。
　そして、分解能設定部１２０は、追加被写体近傍の奥行き位置を示す奥行き値を新たに追加することで、奥行き分解能を決定する（Ｓ１３３）。そして、デプスマップ生成部１４０は、さらに、追加奥行き値に対応するコスト関数のみを算出する（Ｓ１４０）。つまり、初期奥行き値に対応するコスト関数は、既に算出されているので、ここで再び算出する必要はない。これにより、演算コストの増加を抑制することができる。
　図１５は、本発明の実施の形態に係る３次元画像撮影装置の動作の別の一例を示すフローチャートである。なお、図１５は、ＤＦＦ方式（例えば、フォーカルスタック）に基づいてデプスマップを生成する場合の動作を示している。なお、図１５に示すフローチャートは、図１２に示すフローチャートとほぼ同じであるので、ここでは、異なる点を中心に説明し、同じ点は説明を省略する。
　ＤＦＦ方式に従う場合、奥行き位置毎に対応する複数の入力画像が必要となる。したがって、奥行き分解能の設定（Ｓ１３０）の後に、撮影（Ｓ１２０）を行うことで、設定された複数の奥行き値が示す複数の奥行き位置と１対１に対応する複数の入力画像を取得する。
　なお、予め多くの合焦位置での入力画像を取得しておくことで、追加の撮影を行わないようにしてもよい。つまり、奥行き値の個数以上に、奥行き値が更新又は追加された場合にとり得る値に相当する合焦位置での入力画像を、予め撮影しておいてもよい。これにより、予め定められた奥行き値を更新する場合、又は、新たに奥行き値を追加する場合には、撮影により取得された複数の入力画像の合焦位置に対応する奥行き値へ更新、又は、当該奥行き値を追加すればよい。
　このように、本発明の実施の形態に係る３次元画像撮影装置１００では、指定した被写体近傍の奥行き分解能が高くなるように、複数の初期奥行き値を設定し、設定した初期奥行き値に基づいてデプスマップを生成する。そして、生成したデプスマップを用いた場合の立体効果をユーザに確認させた後、被写体の追加、及び、立体効果の調整の設定を受け付けることができる。
　以上のように、本発明の実施の形態に係る３次元画像撮影装置１００は、撮影により入力画像を取得する撮影部１３０と、入力画像内の被写体を指定する被写体指定部１１０と、指定された被写体近傍の奥行き分解能が高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を設定する分解能設定部１２０と、入力画像の領域毎に、対応する領域の奥行き位置を示す奥行き値を、設定された複数の奥行き値の中から決定することで、入力画像に対応するデプスマップを生成するデプスマップ生成部１４０とを備える。
　これにより、指定した被写体近傍の奥行き分解能を高めることで、被写体近傍の奥行き位置を表す奥行き値の候補を増やすことができる。したがって、指定した被写体の書割感を低減し、立体感を向上させることができる。また、このとき、被写体近傍の奥行き分解能を他の領域の分解能より高めればよいので、例えば、全体の奥行き値の候補を増やす必要はなく、演算コストの増加を抑制することができる。
　以上、本発明に係る３次元画像撮影装置及び３次元画像撮影方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
　例えば、図５に示す例では、分解能設定部１２０は、第２被写体近傍に新たな奥行き値を設定したが、初期奥行き値を更新することで、第２被写体近傍の奥行き分解能を高めてもよい。具体的には、分解能設定部１２０は、複数の初期奥行き値が示す複数の奥行き値の少なくとも１つを、被写体指定部１１０によって追加指定された第２被写体近傍の奥行き値に近づけることで、複数の初期奥行き値を更新してもよい。
　これにより、例えば、１回目に設定した第１被写体の立体感を確かめた後に、他の被写体の立体感を向上させたい場合などに、被写体指定部１１０が第２被写体を追加指定することで、第１被写体だけでなく第２被写体の立体感も向上させることができる。このとき、分解能設定部１２０は、１回目に設定された奥行き位置を移動させるだけで、奥行き値の数を増やさないので、演算コストの増加を抑制することができる。
　また、図６Ａ及び図６Ｂに示す例では、表示部１７０は、濃淡のパターンで表した立体効果画像２０１及び２１１を示しているが、立体効果画像２０１及び２１１の代わりに、３次元画像生成部１６０によって生成された３次元画像を立体効果画像として表示してもよい。これにより、ユーザは、入力画像から生成された３次元画像を直接見て、立体効果を確認することができるので、より適切な立体効果の調整を行うことができる。
　つまり、表示部１７０が３次元画像を表示するので、ユーザは、立体効果を直接的に判断することができる。よって、ユーザは立体効果の調整を容易に行うことができるので、ユーザの意図する立体感を表現することができる。したがって、ユーザの意図しない立体感の表現を行うことによる演算コストの増加を抑制することができる。
　また、図１３に示す例では、レンズ情報から被写体の奥行き位置を求める例について示したが、例えば、予め定められた複数の奥行き値に対して、ＰＳＦを用いたコスト関数を算出することで、被写体の奥行き値を決定してもよい。この場合、被写体の奥行き値は、おおよその位置が分かればよいので、実際に奥行き値を決定する場合よりも少ない数の奥行き値に対してコスト関数を算出すればよい。すなわち、簡易的なデプスマップの生成（図１２のＳ１４０に相当する処理）を行うことで、被写体の奥行き値を設定してもよい。これにより、演算コストの増大を抑制することができる。
　また、１回目に複数の被写体を指定していた場合、被写体の追加（Ｓ１７５）の代わりに、被写体の指定を除外してもよい。この場合、除外された被写体近傍の奥行き位置を、指定されたままの被写体近傍に近づけ、又は、追加してもよい。
　また、上記実施の形態に係る３次元画像撮影装置に含まれる各処理部は、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。例えば、本実施の形態に係る集積回路は、被写体指定部１１０と、分解能設定部１２０と、デプスマップ生成部１４０とを備える。
　ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブルプロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。バイオ技術の適用等が可能性として考えられる。
　また、本発明の実施の形態に係る３次元画像撮影装置の機能の一部又は全てを、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサがプログラムを実行することにより実現してもよい。
　さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
　さらに、上記の実施の形態は、ハードウェア及び／又はソフトウェアを用いて構成されるが、ハードウェアを用いる構成は、ソフトウェアを用いても構成可能であり、ソフトウェアを用いる構成は、ハードウェアを用いても構成可能である。
　また、上記の実施の形態に係る３次元画像撮影装置の構成は、本発明を具体的に説明するために例示するためのものであり、本発明に係る３次元画像撮影装置は、上記構成の全てを必ずしも備える必要はない。言い換えると、本発明に係る３次元画像撮影装置は、本発明の効果を実現できる最小限の構成のみを備えればよい。
　例えば、図１６は、本発明の実施の形態の変形例に係る３次元画像撮影装置３００の構成の一例を示すブロック図である。図１６に示すように、本発明の実施の形態に係る３次元画像撮影装置３００は、被写体指定部１１０と、分解能設定部１２０と、撮影部１３０と、デプスマップ生成部１４０とを備える。なお、各処理部は、図２に示す同じ参照符号が付された処理部と同じ処理を行うのでここでは説明を省略する。
　このように、本発明に係る３次元画像撮影装置は、図１６に示すような最小限の構成のみを備えている場合であっても、演算コストの増加を抑制しつつ、立体効果を高めることができる。
　同様に、上記の３次元画像撮影装置による３次元画像撮影方法は、本発明を具体的に説明するために例示するためのものであり、本発明に係る３次元画像撮影装置による３次元画像撮影方法は、上記ステップの全てを必ずしも含む必要はない。言い換えると、本発明に係る３次元画像撮影方法は、本発明の効果を実現できる最小限のステップのみを含めばよい。また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　本発明は、演算コストの増加を抑制しつつ、書割感を減少させ、立体感を向上させることができるという効果を奏し、例えば、デジタルカメラなどに利用することができる。
　１００、３００　３次元画像撮影装置
　１１０　被写体指定部
　１２０　分解能設定部
　１３０　撮影部
　１４０　デプスマップ生成部
　１５０　コスト関数保持部
　１６０　３次元画像生成部
　１７０　表示部
　１８０　立体効果調整部
　１９０　記録部
　２００、２１０　ヒストグラム
　２０１、２１１、２２１、２２２　立体効果画像

Claims (17)

  1. 　入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影装置であって、
    　撮影により前記入力画像を取得する撮影部と、
    　前記撮影部によって取得された入力画像内の第１被写体を指定する指定部と、
    　前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、
    　前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備える
    　３次元画像撮影装置。
  2. 　前記分解能設定部は、互いに異なる予め定められた複数の奥行き位置の少なくとも１つを、前記指定部によって指定された第１被写体の奥行き位置に近づけることで、前記複数の初期奥行き値を設定する
    　請求項１記載の３次元画像撮影装置。
  3. 　前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
    　前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定する
    　請求項１又は２記載の３次元画像撮影装置。
  4. 　前記３次元画像撮影装置は、さらに、
    　前記入力画像と前記奥行き情報とを用いて前記３次元画像を生成した場合の立体効果を示す立体効果画像を表示する表示部と、
    　ユーザからの指示に基づいて前記立体効果の強弱を調整する立体効果調整部とを備え、
    　前記分解能設定部は、前記立体効果調整部によって前記立体効果を強める設定がされた場合に、前記追加奥行き値を設定する
    　請求項３記載の３次元画像撮影装置。
  5. 　前記３次元画像撮影装置は、さらに、前記入力画像と前記奥行き情報とを用いて、前記入力画像から前記３次元画像を生成する３次元画像生成部を備え、
    　前記表示部は、前記立体効果画像として前記３次元画像を表示する
    　請求項４記載の３次元画像撮影装置。
  6. 　前記指定部は、さらに、前記撮影部によって取得された入力画像内の、前記第１被写体とは異なる第２被写体を追加指定し、
    　前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第２被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
    　前記奥行き情報生成部は、前記複数の初期奥行き値と前記追加奥行き値との中から１つの奥行き値を前記入力画像の２次元の領域毎に決定する
    　請求項１～５のいずれか１項に記載の３次元画像撮影装置。
  7. 　前記指定部は、さらに、前記撮影部によって取得された入力画像内の、前記第１被写体とは異なる第２被写体を追加指定し、
    　前記分解能設定部は、さらに、前記複数の初期奥行き値が示す複数の奥行き位置の少なくとも１つを、前記指定部によって追加指定された第２被写体の奥行き位置に近づけることで、前記複数の初期奥行き値を更新する
    　請求項１～５のいずれか１項に記載の３次元画像撮影装置。
  8. 　前記奥行き情報生成部は、前記入力画像の２次元の領域毎に、
    　（ａ）前記分解能設定部によって設定された複数の奥行き値のそれぞれに対応し、対応する奥行き値の妥当性を表すコスト関数を算出し、
    　（ｂ）奥行き値が最も妥当であることを示すコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定する
    　請求項１記載の３次元画像撮影装置。
  9. 　前記３次元画像撮影装置は、さらに、前記奥行き情報生成部によって算出されたコスト関数を保持するコスト関数保持部を備える
    　請求項８記載の３次元画像撮影装置。
  10. 　前記コスト関数保持部は、前記奥行き情報生成部によって算出されたコスト関数を、前記入力画像の２次元の領域毎に、前記複数の奥行き値に対応付けて保持する
    　請求項９記載の３次元画像撮影装置。
  11. 　前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
    　前記奥行き情報生成部は、さらに、前記入力画像の２次元の領域毎に、
    　（ａ）前記追加奥行き値に対応するコスト関数を算出し、
    　（ｂ）算出したコスト関数を前記追加奥行き値に対応付けて前記コスト関数保持部に格納する
    　請求項１０記載の３次元画像撮影装置。
  12. 　前記コスト関数保持部は、前記入力画像の２次元の領域毎に、奥行き値が最も妥当であることを示すコスト関数のみを、対応する奥行き値に対応付けて保持する
    　請求項９記載の３次元画像撮影装置。
  13. 　前記分解能設定部は、さらに、前記複数の初期奥行き値のそれぞれが示す奥行き位置とは異なる奥行き位置であって、前記第１被写体近傍の奥行き位置を示す新たな奥行き値を、追加奥行き値として設定し、
    　前記奥行き情報生成部は、さらに、前記入力画像の２次元の領域毎に、
    　（ａ）前記追加奥行き値に対応するコスト関数を算出し、
    　（ｂ）算出したコスト関数と前記コスト関数保持部に格納されているコスト関数とを比較し、
    　（ｃ）（ｉ）算出したコスト関数が、前記コスト関数保持部に格納されているコスト関数より妥当であることを示している場合に、前記追加奥行き値を、対応する領域の奥行き値として決定するとともに、前記コスト関数保持部に格納されているコスト関数を当該算出したコスト関数に置き換え、（ｉｉ）前記コスト関数保持部に格納されているコスト関数が、算出したコスト関数より妥当であることを示している場合に、前記コスト関数保持部に格納されているコスト関数に対応する奥行き値を、対応する領域の奥行き値として決定する
    　請求項１２記載の３次元画像撮影装置。
  14. 　前記３次元画像撮影装置は、さらに、前記指定部によって指定された第１被写体を強調して前記入力画像を表示する表示部を備える
    　請求項１記載の３次元画像撮影装置。
  15. 　入力画像から３次元画像を生成するための奥行き情報を生成する３次元画像撮影方法であって、
    　撮影により前記入力画像を取得する撮影ステップと、
    　前記撮影ステップにおいて取得された入力画像内の被写体を指定する指定ステップと、
    　前記入力画像の奥行き方向に平行な方向において、前記指定ステップにおいて指定された被写体近傍の奥行き分解能が、当該被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定ステップと、
    　前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定ステップにおいて設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成ステップとを含む
    　３次元画像撮影方法。
  16. 　請求項１５記載の３次元画像撮影方法をコンピュータに実行させるためのプログラム。
  17. 　入力画像から３次元画像を生成するための奥行き情報を生成する集積回路であって、
    　前記入力画像内の被写体を指定する指定部と、
    　前記入力画像の奥行き方向に平行な方向において、前記指定部によって指定された第１被写体近傍の奥行き分解能が、当該第１被写体から離れた位置の奥行き分解能より高くなるように、互いに異なる奥行き位置を表す複数の奥行き値を、複数の初期奥行き値として設定する分解能設定部と、
    　前記入力画像の２次元の領域毎に、対応する領域の奥行き位置を示す奥行き値を、前記分解能設定部によって設定された複数の奥行き値の中から決定することで、前記入力画像に対応する前記奥行き情報を生成する奥行き情報生成部とを備える
    　集積回路。
PCT/JP2011/007029 2011-01-27 2011-12-15 ３次元画像撮影装置及び３次元画像撮影方法 WO2012101719A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180014337.2A CN102812715B (zh) 2011-01-27 2011-12-15 三维图像摄影装置以及三维图像拍摄方法
JP2012517972A JP6011862B2 (ja) 2011-01-27 2011-12-15 ３次元画像撮影装置及び３次元画像撮影方法
US13/635,986 US20130010077A1 (en) 2011-01-27 2011-12-15 Three-dimensional image capturing apparatus and three-dimensional image capturing method
EP11857063.9A EP2670148B1 (en) 2011-01-27 2011-12-15 Three-dimensional imaging device and three-dimensional imaging method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-015622 2011-01-27
JP2011015622 2011-01-27

Publications (1)

Publication Number Publication Date
WO2012101719A1 true WO2012101719A1 (ja) 2012-08-02

Family

ID=46580332

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/007029 WO2012101719A1 (ja) 2011-01-27 2011-12-15 ３次元画像撮影装置及び３次元画像撮影方法

Country Status (5)

Country Link
US (1) US20130010077A1 (ja)
EP (1) EP2670148B1 (ja)
JP (1) JP6011862B2 (ja)
CN (1) CN102812715B (ja)
WO (1) WO2012101719A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015111822A (ja) * 2013-10-30 2015-06-18 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム
JP2015121774A (ja) * 2013-11-19 2015-07-02 パナソニックＩｐマネジメント株式会社 撮像装置
JP2015200907A (ja) * 2013-11-19 2015-11-12 パナソニックＩｐマネジメント株式会社 撮像装置
WO2017149565A1 (ja) * 2016-02-29 2017-09-08 パナソニック株式会社 画像処理装置および画像処理方法
US10432852B2 (en) 2014-08-20 2019-10-01 Canon Kabushiki Kaisha Image processing apparatus, image processing apparatus control method, image pickup apparatus, and image pickup apparatus control method

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090031A (ja) * 2011-10-14 2013-05-13 Sony Corp 画像処理装置、画像処理方法およびプログラム
US8848201B1 (en) * 2012-10-20 2014-09-30 Google Inc. Multi-modal three-dimensional scanning of objects
US9058683B2 (en) 2013-02-21 2015-06-16 Qualcomm Incorporated Automatic image rectification for visual search
US9077891B1 (en) * 2013-03-06 2015-07-07 Amazon Technologies, Inc. Depth determination using camera focus
US20140267616A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Variable resolution depth representation
US20160327665A1 (en) * 2013-12-30 2016-11-10 Pgs Geophysical As Control system for marine vibrators
US11290704B2 (en) 2014-07-31 2022-03-29 Hewlett-Packard Development Company, L.P. Three dimensional scanning system and framework
US11328446B2 (en) * 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
KR20190133695A (ko) 2017-03-24 2019-12-03 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치, 표시 시스템, 및 전자 기기
CN110266959B (zh) * 2019-07-18 2021-03-26 珠海格力电器股份有限公司 一种移动终端拍照的方法及移动终端
US11575865B2 (en) 2019-07-26 2023-02-07 Samsung Electronics Co., Ltd. Processing images captured by a camera behind a display
US11721001B2 (en) * 2021-02-16 2023-08-08 Samsung Electronics Co., Ltd. Multiple point spread function based image reconstruction for a camera behind a display
US11722796B2 (en) 2021-02-26 2023-08-08 Samsung Electronics Co., Ltd. Self-regularizing inverse filter for image deblurring

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313202A (ja) * 1998-04-28 1999-11-09 Sharp Corp 画像処理装置および画像処理方法
JP2001333324A (ja) 2000-05-19 2001-11-30 Minolta Co Ltd 撮像装置
WO2004071102A1 (ja) * 2003-01-20 2004-08-19 Sanyo Electric Co,. Ltd. 立体視用映像提供方法及び立体映像表示装置
JP2008141666A (ja) * 2006-12-05 2008-06-19 Fujifilm Corp 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法
JP2010238108A (ja) * 2009-03-31 2010-10-21 Sharp Corp 映像処理装置、映像処理方法及びコンピュータプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3372714B2 (ja) * 1995-06-15 2003-02-04 キヤノン株式会社 撮像装置
US6285779B1 (en) * 1999-08-02 2001-09-04 Trident Microsystems Floating-point complementary depth buffer
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004221700A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
GB0329312D0 (en) * 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
JP2007074592A (ja) * 2005-09-09 2007-03-22 Sony Corp 画像処理装置および方法、プログラム、並びに記録媒体
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
ATE507542T1 (de) * 2007-07-03 2011-05-15 Koninkl Philips Electronics Nv Berechnung einer tiefenkarte
KR101367282B1 (ko) * 2007-12-21 2014-03-12 삼성전자주식회사 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치
WO2010041176A1 (en) * 2008-10-10 2010-04-15 Koninklijke Philips Electronics N.V. A method of processing parallax information comprised in a signal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313202A (ja) * 1998-04-28 1999-11-09 Sharp Corp 画像処理装置および画像処理方法
JP2001333324A (ja) 2000-05-19 2001-11-30 Minolta Co Ltd 撮像装置
WO2004071102A1 (ja) * 2003-01-20 2004-08-19 Sanyo Electric Co,. Ltd. 立体視用映像提供方法及び立体映像表示装置
JP2008141666A (ja) * 2006-12-05 2008-06-19 Fujifilm Corp 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法
JP2010238108A (ja) * 2009-03-31 2010-10-21 Sharp Corp 映像処理装置、映像処理方法及びコンピュータプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
C. ZHOU ET AL.: "Coded Aperture Pairs for Depth from Defocus", IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), 2 October 2009 (2009-10-02), pages 325 - 332, XP031672598 *
See also references of EP2670148A4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015111822A (ja) * 2013-10-30 2015-06-18 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム
JP2015121774A (ja) * 2013-11-19 2015-07-02 パナソニックＩｐマネジメント株式会社 撮像装置
JP2015200907A (ja) * 2013-11-19 2015-11-12 パナソニックＩｐマネジメント株式会社 撮像装置
JP2015200908A (ja) * 2013-11-19 2015-11-12 パナソニックＩｐマネジメント株式会社 撮像装置
JP2015207019A (ja) * 2013-11-19 2015-11-19 パナソニックＩｐマネジメント株式会社 撮像装置
US9571719B2 (en) 2013-11-19 2017-02-14 Panasonic Intellectual Property Management Co., Ltd. Image-capturing apparatus
US9832362B2 (en) 2013-11-19 2017-11-28 Panasonic Intellectual Property Management Co., Ltd. Image-capturing apparatus
US10432852B2 (en) 2014-08-20 2019-10-01 Canon Kabushiki Kaisha Image processing apparatus, image processing apparatus control method, image pickup apparatus, and image pickup apparatus control method
US10455149B2 (en) 2014-08-20 2019-10-22 Canon Kabushiki Kaisha Image processing apparatus, image processing apparatus control method, image pickup apparatus, and image pickup apparatus control method
WO2017149565A1 (ja) * 2016-02-29 2017-09-08 パナソニック株式会社 画像処理装置および画像処理方法
JPWO2017149565A1 (ja) * 2016-02-29 2018-03-08 パナソニック株式会社 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP6011862B2 (ja) 2016-10-19
EP2670148A4 (en) 2014-05-14
EP2670148A1 (en) 2013-12-04
CN102812715B (zh) 2015-08-19
EP2670148B1 (en) 2017-03-01
JPWO2012101719A1 (ja) 2014-06-30
US20130010077A1 (en) 2013-01-10
CN102812715A (zh) 2012-12-05

Similar Documents

Publication Publication Date Title
JP6011862B2 (ja) ３次元画像撮影装置及び３次元画像撮影方法
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
JP6094863B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
JP5977752B2 (ja) 映像変換装置およびそれを利用するディスプレイ装置とその方法
JP6548367B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5370542B1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2013527646A5 (ja)
JP5942195B2 (ja) ３次元画像処理装置、３次元撮像装置および３次元画像処理方法
WO2013038833A1 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP5035195B2 (ja) 画像生成装置及びプログラム
JP2013042301A (ja) 画像処理装置、画像処理方法及びプログラム
Ko et al. 2D to 3D stereoscopic conversion: depth-map estimation in a 2D single-view image
JP2015135661A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2013046082A (ja) 映像信号処理装置及び映像信号処理方法、並びにコンピューター・プログラム
JP6611588B2 (ja) データ記録装置、撮像装置、データ記録方法およびプログラム
US20120170841A1 (en) Image processing apparatus and method
JP4998422B2 (ja) 画像生成装置、方法、通信システム及びプログラム
JP6105987B2 (ja) 画像処理装置及びその制御方法
JP5741353B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
KR100927234B1 (ko) 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체
KR101345971B1 (ko) 입체영상촬영장치에서의 주시각 제어장치
JP5354005B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6789677B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
JP2012124712A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180014337.2

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2012517972

Country of ref document: JP

REEP Request for entry into the european phase

Ref document number: 2011857063

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011857063

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11857063

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13635986

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE