WO2013128847A1 - 視差量調整装置、３次元画像生成装置、および視差量調整方法 - Google Patents

視差量調整装置、３次元画像生成装置、および視差量調整方法 Download PDF

Info

Publication number
WO2013128847A1
WO2013128847A1 PCT/JP2013/000938 JP2013000938W WO2013128847A1 WO 2013128847 A1 WO2013128847 A1 WO 2013128847A1 JP 2013000938 W JP2013000938 W JP 2013000938W WO 2013128847 A1 WO2013128847 A1 WO 2013128847A1
Authority
WO
WIPO (PCT)
Prior art keywords
parallax
parallax amount
input
amount
output
Prior art date
Application number
PCT/JP2013/000938
Other languages
English (en)
French (fr)
Inventor
忠則 手塚
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/112,067 priority Critical patent/US20140055579A1/en
Publication of WO2013128847A1 publication Critical patent/WO2013128847A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/14—Printing apparatus specially adapted for conversion between different types of record

Definitions

  • the present invention relates to a technique for adjusting the amount of parallax of a three-dimensional image.
  • Patent Document 1 a method of generating a pseudo three-dimensional image from one image using a parallax amount is known (for example, see Patent Document 1).
  • the parallax amount of a three-dimensional image is adjusted based on a parameter (for example, the maximum pop-out amount or the minimum pop-out amount).
  • the conventional method it may be difficult to adjust the parallax amount appropriately.
  • the parallax amount it may be difficult to adjust the parallax amount appropriately.
  • the stereoscopic effect of the three-dimensional image may be significantly reduced.
  • the present invention provides a parallax adjustment device that can appropriately adjust the parallax of a three-dimensional image.
  • the parallax amount adjusting device provides the parallax data according to an acquisition unit that acquires parallax data indicating a parallax amount with respect to an input image, and a predetermined correspondence between the input parallax amount and the output parallax amount. Is converted into an output parallax amount as an input parallax amount, thereby adjusting a parallax amount indicated by the parallax data. In one range, the output parallax amount decreases when the input parallax amount increases.
  • the parallax amount adjusting device According to the parallax amount adjusting device according to one aspect of the present invention, the parallax amount can be appropriately adjusted.
  • FIG. 1A is a diagram illustrating an example of a hardware configuration of the three-dimensional image generation apparatus according to Embodiment 1.
  • FIG. 1B is a diagram illustrating an example of a functional configuration of the three-dimensional image generation apparatus according to Embodiment 1.
  • FIG. 2 is a flowchart illustrating an example of the three-dimensional image generation process in the first embodiment.
  • FIG. 3 is a diagram illustrating a first relationship between the input parallax amount and the output parallax amount in the first embodiment.
  • FIG. 4 is a diagram illustrating a second relationship between the input parallax amount and the output parallax amount in the first embodiment.
  • FIG. 5 is a diagram illustrating a third relationship between the input parallax amount and the output parallax amount in the first embodiment.
  • FIG. 6 is a diagram illustrating a fourth relationship between the input parallax amount and the output parallax amount in the first embodiment.
  • FIG. 7 is a diagram illustrating a fifth relationship between the input parallax amount and the output parallax amount in the first embodiment.
  • FIG. 8 is a diagram illustrating a sixth relationship between the input parallax amount and the output parallax amount in the first embodiment.
  • FIG. 9A is a diagram for describing an example of a three-dimensional image generated by the three-dimensional image generation apparatus according to Embodiment 1.
  • FIG. 9B is a diagram for describing an example of a three-dimensional image generated by the three-dimensional image generation apparatus according to Embodiment 1.
  • FIG. 9A is a diagram for describing an example of a three-dimensional image generated by the three-dimensional image generation apparatus according to Embodiment 1.
  • FIG. 9B is a diagram for describing an example of a three-dimensional image generated by the three-dimensional image generation apparatus according to Em
  • FIG. 9C is a diagram for describing an example of a three-dimensional image generated by the three-dimensional image generation apparatus according to Embodiment 1.
  • FIG. 10 is a diagram illustrating an example of a functional configuration of the three-dimensional image generation apparatus according to the second embodiment.
  • FIG. 11 is a flowchart illustrating an example of a three-dimensional image generation process according to the second embodiment.
  • FIG. 12 is a flowchart showing a conventional three-dimensional image generation method.
  • FIG. 13 is a graph showing the relationship between the conventional input parallax amount and the output parallax amount.
  • FIG. 12 is a flowchart showing a conventional three-dimensional image generation method.
  • first, left and right image data having parallax is acquired (S1001), and corresponding points are extracted (S1002).
  • a parallax value distribution image (parallax image) is created from the difference between the positions of the corresponding points in the left and right images (S1003), and a depth value is obtained.
  • image generation parameters are acquired (S1004), the amount of parallax is adjusted according to the acquired parameters, and the sense of depth is adjusted (S1005). Based on the adjusted parallax amount, an image from the virtual viewpoint is generated from the input image, and a final three-dimensional image is obtained (S1006 to S1008).
  • step S1005 the amount of parallax is adjusted as shown in FIG.
  • the horizontal axis represents an input value (input parallax amount)
  • the vertical axis represents an output value (output parallax amount).
  • the parallax amount is adjusted so that the larger the original pop-out amount, the smaller the change in the post-adjustment pop-out amount with respect to the original pop-out amount. ing.
  • the parallax amount adjustment device provides an acquisition unit that acquires parallax data indicating a parallax amount with respect to an input image, and a predetermined correspondence relationship between the input parallax amount and the output parallax amount.
  • a parallax amount adjusting unit that adjusts the parallax amount indicated by the parallax data by converting the parallax amount indicated by the parallax data into an output parallax amount as an input parallax amount, and the predetermined correspondence relationship is as follows: In the first range, the output parallax amount decreases when the input parallax amount increases.
  • the first range may be a range in which the absolute value of the input parallax amount is larger than a threshold value.
  • the first range can be a range in which the absolute value of the input parallax amount is larger than the threshold value. Therefore, since the absolute value of the parallax amount is large, it is possible to appropriately adjust the parallax amount of the portion where the viewer can easily see double.
  • the first range is a range in which the input parallax amount is larger than 0, and the predetermined correspondence relationship is that the output parallax amount is 0 when the input parallax amount is increased in the first range. You may have the characteristic which approaches.
  • the first range is a range in which the input parallax amount is smaller than 0, and the predetermined correspondence relationship is that the output parallax amount is 0 when the input parallax amount decreases in the first range. You may have the characteristic which approaches.
  • the predetermined correspondence may further have a characteristic that the input parallax amount and the output parallax amount coincide with each other in the second range of the input parallax amount.
  • the parallax adjustment unit may further select the predetermined correspondence according to the characteristics of the input image from a plurality of correspondences between the input parallax amount and the output parallax amount. Good.
  • the correspondence can be selected according to the characteristics of the input image. Therefore, it becomes possible to adjust the amount of parallax according to a more appropriate correspondence.
  • the parallax amount adjustment unit may select the predetermined correspondence relationship according to the parallax amount at the focus position in the input image from the plurality of correspondence relationships.
  • the correspondence can be selected according to the amount of parallax at the focus position. Therefore, it is possible to adjust the parallax amount without impairing the stereoscopic effect at the focus position.
  • a 3D image generation device includes a parallax amount adjustment device and a 3D image generation unit that generates a 3D image using the input image and the adjusted parallax amount.
  • a three-dimensional image can be generated using the parallax amount adjusted as described above.
  • FIG. 1A is a diagram illustrating an example of a hardware configuration of the 3D image generation apparatus 100 according to Embodiment 1.
  • the three-dimensional image generation apparatus 100 includes a main CPU (Central Processing Unit) 101, a RAM (Random Access Memory) 102, a storage device 103, and a DSP (Digital Signal Processor) 104.
  • main CPU Central Processing Unit
  • RAM Random Access Memory
  • storage device 103 storage device
  • DSP Digital Signal Processor
  • the main CPU 101 executes a program. Specifically, the main CPU 101 executes each coded instruction in the program expanded in the RAM 102.
  • the RAM 102 temporarily stores data such as programs and parameters at the time of program execution.
  • the storage device 103 stores programs and data necessary for the operation of the main CPU 101.
  • the storage device 103 is configured by a memory card or a hard disk.
  • the DSP 104 performs digital signal processing.
  • the DSP 104 corresponds to a sub CPU.
  • a 3D image is generated by a program executed by the main CPU 101 or the DSP 104, dedicated hardware in the DSP 104, and a coordinated operation thereof.
  • FIG. 1B is a diagram illustrating an example of a functional configuration of the three-dimensional image generation apparatus 100 according to the first embodiment.
  • the three-dimensional image generation device 100 includes a parallax amount adjustment device 110 and a three-dimensional image generation unit 120.
  • the parallax adjustment device 110 includes an acquisition unit 111 and a parallax adjustment unit 112.
  • the acquisition unit 111 acquires parallax data.
  • the acquisition unit 111 acquires a parallax image as parallax data.
  • Parallax data is data indicating the amount of parallax for an input image.
  • the parallax data may not indicate the parallax amount itself.
  • the parallax data may be data indicating the depth of the input image (for example, a depth map). That is, the parallax data may be any data as long as it can obtain the parallax amount for the input image.
  • the parallax image is an image indicating the amount of parallax at each pixel of the input image. That is, the parallax image is an image indicating the distribution of the parallax amount in each pixel of the input image. Note that the acquisition unit 111 may acquire data indicating the amount of parallax for each block including a plurality of pixels instead of the parallax image.
  • the amount of parallax is a value indicating the parallax generated between a plurality of views when three-dimensional display is performed based on an input image. For example, when the amount of parallax is “0”, corresponding points (corresponding pixels) are displayed at the same position in each view image. That is, when the parallax amount is “0”, the pop-out amount from the screen becomes “0”.
  • the parallax amount adjustment unit 112 converts the parallax amount indicated by the parallax data into the output parallax amount as the input parallax amount in accordance with a predetermined correspondence relationship between the input parallax amount and the output parallax amount, so that the parallax indicated by the parallax data Adjust the amount.
  • the correspondence relationship between the input parallax amount and the output parallax amount used here has a characteristic that the output parallax amount decreases when the input parallax amount increases in the first range of the input parallax amount.
  • the 3D image generation unit 120 generates a 3D image using the input image and the adjusted amount of parallax. Specifically, the three-dimensional image generation unit 120 generates a right-eye image and a left-eye image, for example, by generating a left-eye image having an adjusted parallax amount with respect to an input image (right-eye image).
  • FIG. 2 is a flowchart showing an example of the three-dimensional image generation process in the first embodiment.
  • the acquisition unit 111 acquires an input image and a parallax image indicating a parallax amount with respect to the input image (S101, S102). Specifically, the acquisition unit 111 reads a pair of an input image and a parallax image stored in the storage device 103, for example.
  • parallax image As the parallax image, a parallax image virtually generated by analyzing an input image, a parallax image generated by calculating parallax from a difference between a plurality of images, or the like is used. Note that the method of generating a parallax image need not be limited to these.
  • the parallax amount adjustment unit 112 adjusts the parallax amount indicated by the parallax image (S103).
  • the 3D image generation unit 120 generates a 3D image using the input image and the adjusted parallax amount (S104). Details of the processes in steps S103 and S104 will be described later.
  • the generated 3D image is output to a display device, for example. Further, the generated three-dimensional image may be recorded on a recording medium, for example.
  • the format of the three-dimensional image need not be particularly limited.
  • the format of the three-dimensional image may be frame sequential, side-by-side, checkerboard, or anaglyph.
  • parallax adjustment Details of the parallax amount adjustment in step S103 of FIG. 2 will be described.
  • the parallax amount adjustment unit 112 converts the parallax amount indicated by the parallax data into the output parallax amount as the input parallax amount in accordance with a predetermined correspondence relationship between the input parallax amount and the output parallax amount.
  • the parallax amount indicated by the image is adjusted.
  • the correspondence relationship between the input parallax amount and the output parallax amount has a characteristic that the output parallax amount decreases when the input parallax amount increases in the first range of the input parallax amount.
  • FIG. 3 is a graph showing an example (first relationship) of the correspondence relationship between the input parallax amount and the output parallax amount in the first embodiment.
  • the parallax amount adjustment unit 112 adjusts the parallax amount indicated by the parallax image according to the correspondence relationship indicated by the solid line 302 (broken line).
  • the parallax amount adjustment unit 112 adjusts the parallax amount so that the input parallax amount remains the output parallax amount as it is in the section bc (second range) where the input parallax amount is near zero. That is, the correspondence relationship used here has a characteristic that the input parallax amount and the output parallax amount coincide with each other in the second range of the input parallax amount.
  • the parallax amount adjustment unit 112 adjusts the parallax amount so that the output parallax amount decreases when the input parallax amount increases in the section ab and the section cd (first range) where the absolute value of the input parallax amount is larger than the threshold. adjust. That is, the correspondence relationship used here has a characteristic that the output parallax amount decreases when the input parallax amount increases in the first range in which the absolute value of the input parallax amount is larger than the threshold value. Thereby, since the absolute value of the amount of parallax is large, it is possible to appropriately adjust the amount of parallax in a portion where the viewer can easily see double.
  • the correspondence has a characteristic that the output parallax amount approaches 0 when the input parallax amount increases in a range where the absolute value of the input parallax amount is larger than the threshold value and the input parallax amount is larger than 0. . Further, the correspondence relationship has a characteristic in which the output parallax amount approaches 0 when the input parallax amount decreases in a range where the absolute value of the input parallax amount is larger than the threshold value and the input parallax amount is smaller than 0. Accordingly, it is possible to prevent the pop-out amount and the retraction amount from becoming excessively large in the three-dimensional image, and to reduce the eyestrain of the viewer.
  • the output parallax amount corresponding to the input parallax amount can be calculated by linear interpolation.
  • the amount of processing for adjusting can be reduced.
  • FIG. 4 is a graph showing another example (second relationship) of the correspondence relationship between the input parallax amount and the output parallax amount in the first embodiment.
  • the correspondence between the input parallax amount and the output parallax amount is represented by a smooth curve.
  • the correspondence relationship has a characteristic that the output parallax amount approaches 0 in a range where the input parallax amount is large.
  • the correspondence between the input parallax amount and the output parallax amount is used so that the output parallax amount smoothly changes with respect to the change in the input parallax amount, so that the output is performed when the change in the input parallax amount is small.
  • the uncomfortable feeling of the three-dimensional image due to the abrupt change in the amount of parallax is reduced.
  • FIG. 5 is a graph showing another example (third relationship) of the correspondence relationship between the input parallax amount and the output parallax amount in the first embodiment.
  • the correspondence relationship between the input parallax amount and the output parallax amount has a characteristic that the output parallax amount approaches 0 in a range where the input parallax amount is positive. That is, in this example, only the parallax amount of the portion having a large pop-out amount is adjusted.
  • FIG. 6 is a graph showing another example (fourth relationship) of the correspondence relationship between the input parallax amount and the output parallax amount in the first embodiment.
  • the correspondence relationship between the input parallax amount and the output parallax amount has a characteristic in which the output parallax amount approaches 0 when the input parallax amount increases in the first range. It will not be zero. For example, when the variation in the amount of parallax in the input image is not so large, it is not necessary to adjust the amount of parallax to 0, and the correspondence relationship shown in FIG. 6 may be used.
  • FIG. 7 is a graph showing another example (fifth relationship) of the correspondence relationship between the input parallax amount and the output parallax amount in the first embodiment.
  • the range in which the output parallax amount is 0 is widened in the correspondence relationship between the input parallax amount and the output parallax amount.
  • the correspondence relationship has a characteristic that the output parallax amount approaches 0 in a range where the input parallax amount is large.
  • FIG. 8 is a graph showing another example (sixth relationship) of the correspondence relationship between the input parallax amount and the output parallax amount in the first embodiment.
  • the curve bending method for example, a convex function or a concave function
  • the output parallax amount approaches 0 when the input parallax amount increases.
  • any of the correspondences has a characteristic that the output parallax amount approaches 0 when the input parallax amount increases in the range where the input parallax amount is large (first range).
  • a three-dimensional image obtained by adjusting the parallax amount according to the correspondence having such characteristics is visually inconsistent.
  • a non-interesting portion having a large amount of parallax is easier to see as a whole three-dimensional image when displayed with a parallax amount close to 0 than when displayed with the same amount of parallax.
  • a human grasps a three-dimensional space using not only parallax but also other information such as composition information. Therefore, even such a visually contradictory three-dimensional image does not cause a sense of incongruity, but rather, the difficulty of viewing due to the excessive amount of parallax is eliminated and it becomes easier to see.
  • the correspondence between the input parallax amount and the output parallax amount is, for example, a plurality of pairs of the input parallax amount and the output parallax amount corresponding to the input parallax amount are registered. It is represented by the created table.
  • the parallax amount adjustment unit 112 converts the input parallax amount indicated by the parallax image into the output parallax amount by searching the table for an output parallax amount corresponding to the parallax amount (input parallax amount) indicated by the parallax image. be able to.
  • the parallax amount adjustment unit 112 outputs an output parallax amount corresponding to the input parallax amount similar to the parallax amount when the input parallax amount matching the parallax amount indicated by the parallax image is not registered in the table.
  • the output parallax amount corresponding to the parallax amount may be calculated by performing interpolation of the parallax amount (for example, linear interpolation, polynomial interpolation, spline interpolation, or the like). Thereby, the number of a plurality of pairs registered in the table can be reduced.
  • the correspondence between the input parallax amount and the output parallax amount may be represented by a function, for example. In this case, the amount of data for representing the correspondence can be reduced.
  • the correspondence between the input parallax amount and the output parallax amount is not limited to the correspondence shown in FIGS.
  • the correspondence may have a characteristic that the output parallax amount decreases when the input parallax amount increases in a range where the input parallax amount is near zero. That is, the correspondence relationship only needs to have a characteristic that the output parallax amount decreases when the input parallax amount increases in any range of the input parallax amount.
  • the 3D image generation unit 120 generates a 3D image using the parallax amount adjusted by the parallax amount adjusting device 110.
  • the three-dimensional image generation method at this time is almost the same as the conventional three-dimensional image generation method using the amount of parallax. However, since the portion having a large amount of parallax is reduced, the amount of interpolation due to the occurrence of occlusion can be reduced. Note that the method for generating a three-dimensional image is the same as the conventional method and will not be described in detail. For example, the method of Patent Document 1 can be used.
  • FIGS. 9A to 9C are diagrams for explaining an example of a three-dimensional image generated by the three-dimensional image generation apparatus 100 according to Embodiment 1.
  • FIG. 9A shows the positional relationship between the position of the camera 901 that captured the input image and the subjects 902 and 903.
  • FIG. 9B shows an image for the right eye (input image).
  • FIG. 9C shows the generated left-eye image.
  • the parallax amount of the subject 903 is larger than the parallax amount of the subject 902. That is, when the parallax amount is not adjusted, the subject 903 is displayed in front of the subject 902.
  • the parallax amount adjusting device 110 when the parallax amount is adjusted by the parallax amount adjusting device 110, the subject 903 is arranged at the same position in the right-eye image and the left-eye image as shown in FIG. 9C. That is, the amount of parallax of the subject 903 becomes 0, and the amount of protrusion from the screen is limited.
  • the subject 902 in the image for the left eye is arranged at a position shifted by the amount of parallax in the horizontal direction with respect to the subject 902 in the image for the right eye in FIG. 9B.
  • the viewer does not care that the parallax amount of the subject 903 is zero. Further, flicker that occurs when the amount of parallax is too large does not occur. That is, as shown in FIGS. 9B and 9C, the three-dimensional image generation apparatus 100 can generate an easy-to-see three-dimensional image without reducing the stereoscopic effect of the target portion (subject 902).
  • the parallax amount can be adjusted according to the correspondence relationship having the characteristic that the output parallax amount decreases when the input parallax amount increases in the first range. it can. Therefore, compared to the case where the parallax amount is adjusted according to the correspondence relationship having the characteristic that the output parallax amount increases when the input parallax amount increases in the entire range of the input parallax amount, the parallax amount is suppressed and the stereoscopic effect is maintained. Balance can be achieved and the amount of parallax can be adjusted appropriately. For example, it is possible to appropriately adjust the parallax amount by matching the range of the parallax amount of the portion where the pop-out amount is to be suppressed with the first range.
  • the three-dimensional image generation unit 120 generates the left-eye image using the input image as the right-eye image, but generates the right-eye image using the input image as the left-eye image. May be.
  • the three-dimensional image generation unit 120 may generate both a right-eye image and a left-eye image from the input image.
  • Embodiment 2 Next, a second embodiment will be described.
  • the present embodiment is mainly different from the first embodiment in that the correspondence between the input parallax amount and the output parallax amount is adaptively determined according to the characteristics of the input image.
  • the three-dimensional generation apparatus according to the present embodiment will be described focusing on differences from the first embodiment.
  • FIG. 10 is a diagram illustrating an example of a functional configuration of the three-dimensional image generation apparatus 200 according to the second embodiment.
  • the 3D image generation device 200 includes a parallax amount adjustment device 210 and a 3D image generation unit 120.
  • the parallax adjustment device 210 includes an acquisition unit 111, a parallax adjustment unit 212, and a correspondence storage unit 213.
  • the parallax amount adjustment unit 212 acquires the characteristics of the input image. Then, the parallax adjustment unit 212 selects a correspondence according to the characteristics of the input image from a plurality of correspondences between the input parallax and the output parallax. Then, the parallax amount adjustment unit 212 adjusts the parallax amount indicated by the parallax image by converting the parallax amount indicated by the parallax image into the output parallax amount according to the selected correspondence relationship as the input parallax amount.
  • the parallax amount adjustment unit 212 selects the correspondence according to the parallax amount at the focus position in the input image. Specifically, the parallax amount adjustment unit 212 selects a correspondence relationship that does not include the parallax amount at the focus position in the input image in the first range from a plurality of correspondence relationships.
  • the focus position may be acquired as a parameter from the imaging apparatus, for example, or may be determined by analyzing an input image.
  • the focus position may be determined by analyzing a position containing a lot of high frequency components in the input image.
  • the parallax amount adjustment unit 212 may acquire the parallax amount at the focus position instead of the focus position.
  • the correspondence storage unit 213 stores a plurality of correspondences between the input parallax amount and the output parallax amount. Specifically, the correspondence relationship storage unit 213 stores, for example, a plurality of correspondence relationships shown in FIGS. At least one of the plurality of correspondence relationships stored here has a characteristic that the output parallax amount decreases when the input parallax amount increases in the first range of the input parallax amount.
  • FIG. 11 is a flowchart showing a three-dimensional image generation process in the second embodiment.
  • the parallax amount adjustment unit 212 selects the correspondence according to the characteristics of the input image (S201). Then, the parallax amount adjustment unit 212 adjusts the parallax amount indicated by the parallax image using the selected correspondence as in the first embodiment (S103). Then, the three-dimensional image generation unit 120 generates a three-dimensional image as in the first embodiment (S103, S104).
  • the correspondence relationship can be selected according to the characteristics of the input image. Therefore, it becomes possible to adjust the amount of parallax according to a more appropriate correspondence.
  • the amount of parallax can be adjusted without impairing the stereoscopic effect at the focus position.
  • the three-dimensional image generation apparatus 200 does not necessarily include the correspondence storage unit 213. In that case, the three-dimensional image generation apparatus 200 may acquire a correspondence relationship from, for example, a storage device connected via a network.
  • the parallax adjustment unit 212 may select the correspondence according to, for example, the parallax amount at the target portion in the input image. More specifically, the parallax amount adjustment unit 212 may select a correspondence relationship in which the parallax amount in the target portion in the input image is not included in the first range.
  • the attention portion corresponds to, for example, a portion where a soccer ball is reflected when the input image is included in a moving image of a soccer game.
  • a portion of interest may be given as a parameter, or may be determined by analyzing an input image.
  • the parallax amount adjustment unit 212 may select the correspondence according to, for example, the variation in the parallax amount in the parallax image. More specifically, the parallax amount adjustment unit 212 may select a correspondence relationship as illustrated in FIG. 6 when a value indicating variation in the parallax image (for example, a variance value) is smaller than a threshold value.
  • a value indicating variation in the parallax image for example, a variance value
  • the three-dimensional image generation device and the parallax amount adjustment device according to one or more aspects have been described based on the embodiment, but the present invention is not limited to this embodiment. Unless it deviates from the gist of the present invention, various modifications conceived by those skilled in the art have been made in this embodiment, and forms constructed by combining components in different embodiments are also within the scope of one or more aspects. May be included.
  • the parallax adjustment device is included in the three-dimensional image generation device, but is not limited thereto.
  • the parallax adjustment device may be configured independently of the three-dimensional image generation device.
  • the parallax adjustment device may transmit the adjusted parallax amount to the three-dimensional image generation device via, for example, a recording medium or a communication medium.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the parallax amount adjusting device and the like of each of the above embodiments is the following program.
  • the program causes the computer to obtain parallax data indicating the parallax amount with respect to the input image, and the parallax amount indicated by the parallax data according to a predetermined correspondence between the input parallax amount and the output parallax amount. Is converted into an output parallax amount as an input parallax amount, thereby adjusting a parallax amount adjustment step for adjusting a parallax amount indicated by the parallax data, and the predetermined correspondence relationship is as follows: A parallax amount adjustment method having a characteristic that the output parallax amount decreases when the input parallax amount increases is executed.
  • the parallax adjustment device and the three-dimensional image generation device are useful as devices for adjusting a parallax and generating an easy-to-see 3D image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　視差量調整装置（１１０）は、入力画像に対する視差量を示す視差データを取得する取得部（１１１）と、入力視差量および出力視差量の間の予め定められた対応関係に従って、前記視差データが示す視差量を入力視差量として出力視差量に変換することにより、前記視差データが示す視差量を調整する視差量調整部（１１２）とを備え、前記予め定められた対応関係は、入力視差量の第１範囲において、入力視差量が増加したときに出力視差量が減少する特性を有する。

Description

視差量調整装置、３次元画像生成装置、および視差量調整方法
　本発明は、３次元画像の視差量を調整する技術に関する。
　従来の３次元画像生成方法としては、視差量を用いて１枚の画像から擬似的な３次元画像を生成する方法が知られている（例えば、特許文献１参照）。特許文献１では、パラメータ（例えば、最大飛び出し量あるいは最小飛び出し量など）に基づいて、３次元画像の視差量が調整される。
特開２００３－２０９８５８号公報
　しかしながら、上記従来の方法では、視差量を適切に調整することが難しい場合がある。例えば、視差量が調整された結果、３次元画像の立体感が著しく減少する場合がる。
　そこで、本発明は、３次元画像の視差量を適切に調整することができる視差量調整装置を提供する。
　本発明の一態様に係る視差量調整装置は、入力画像に対する視差量を示す視差データを取得する取得部と、入力視差量および出力視差量の間の予め定められた対応関係に従って、前記視差データが示す視差量を入力視差量として出力視差量に変換することにより、前記視差データが示す視差量を調整する視差量調整部とを備え、前記予め定められた対応関係は、入力視差量の第１範囲において、入力視差量が増加したときに出力視差量が減少する特性を有する。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本発明の一態様に係る視差量調整装置によれば、視差量を適切に調整することができる。
図１Ａは、実施の形態１における３次元画像生成装置のハードウェア構成の一例を示す図である。 図１Ｂは、実施の形態１における３次元画像生成装置の機能構成の一例を示す図である。 図２は、実施の形態１における３次元画像生成処理の一例を示すフローチャートである。 図３は、実施の形態１における入力視差量と出力視差量の第１の関係を示す図である。 図４は、実施の形態１における入力視差量と出力視差量の第２の関係を示す図である。 図５は、実施の形態１における入力視差量と出力視差量の第３の関係を示す図である。 図６は、実施の形態１における入力視差量と出力視差量の第４の関係を示す図である。 図７は、実施の形態１における入力視差量と出力視差量の第５の関係を示す図である。 図８は、実施の形態１における入力視差量と出力視差量の第６の関係を示す図である。 図９Ａは、実施の形態１における３次元画像生成装置によって生成された３次元画像の一例を説明するための図である。 図９Ｂは、実施の形態１における３次元画像生成装置によって生成された３次元画像の一例を説明するための図である。 図９Ｃは、実施の形態１における３次元画像生成装置によって生成された３次元画像の一例を説明するための図である。 図１０は、実施の形態２における３次元画像生成装置の機能構成の一例を示す図である。 図１１は、実施の形態２における３次元画像生成処理の一例を示すフローチャートである。 図１２は、従来の３次元画像生成方法を示すフローチャートである。 図１３は、従来の入力視差量と出力視差量の関係を示すグラフである。
　（本発明の基礎となった知見）
　本発明者は、「背景技術」の欄において記載した、視差量の調整に関して以下の問題が生じることを見出した。
　図１２は、従来の３次元画像生成方法を示すフローチャートである。図１２では、まず視差を有する左右画像のデータを取得し（Ｓ１００１）、対応点を抽出する（Ｓ１００２）。この対応点の左右画像における位置の差から視差値分布画像（視差画像）を作成し（Ｓ１００３）、奥行き値を得る。
　次に、画像生成パラメータを取得し（Ｓ１００４）、取得したパラメータに応じて視差量を調整し、奥行き感の調整を行う（Ｓ１００５）。この調整した視差量を基に、仮想視点からの画像を入力画像から生成し、最終的な３次元画像を得る（Ｓ１００６～Ｓ１００８）。
　このように、ステップＳ１００４において取得されたパラメータ（例えば最大飛び出し量や最小飛び出し量）を用いて視差量の調整を行うことで、見やすい３次元画像を生成する。
　なお、ステップＳ１００５では、図１３のように視差量の調整を行う。図１３は、横軸が入力値（入力視差量）を表し、縦軸が出力値（出力視差量）を表している。例えば図１３では、オリジナルの飛び出し量が大きいほど、オリジナルの飛び出し量に対する、調整後の飛び出し量の変化が小さくなるように視差量を調整することで、３次元画像における視差の付き過ぎを緩和している。
　しかしながら、上記従来の方法では、大きな飛び出し量を有する３次元画像の場合、飛び出し量を一定範囲に制限するように画像全体の視差量が調整されるため、３次元画像の立体感が減少してしまうという問題がある。
　逆に、立体感を減少させないために飛び出し量の制限を緩和すれば、大きな飛び出し量を有する部分の視差量が大きいままとなる。したがって、視聴者には、この部分の画像が結像せず２重に見えたりするという問題がある。
　そこで、本発明の一態様に係る視差量調整装置は、入力画像に対する視差量を示す視差データを取得する取得部と、入力視差量および出力視差量の間の予め定められた対応関係に従って、前記視差データが示す視差量を入力視差量として出力視差量に変換することにより、前記視差データが示す視差量を調整する視差量調整部とを備え、前記予め定められた対応関係は、入力視差量の第１範囲において、入力視差量が増加したときに出力視差量が減少する特性を有する。
　この構成によれば、第１範囲において入力視差量が増加したときに出力視差量が減少する特性を有する対応関係に従って視差量を調整することができる。したがって、入力視差量のすべての範囲において入力視差量が増加したときに出力視差量が増加する特性を有する対応関係に従って視差量を調整する場合よりも、視差量の抑制と立体感の維持とのバランスを図ることができ、適切に視差量を調整することができる。例えば、飛び出し量を抑制したい部分の視差量の範囲を第１範囲と一致させることにより、視差量を適切に調整することが可能となる。
　また例えば、前記第１範囲は、入力視差量の絶対値が閾値より大きい範囲であってもよい。
　この構成によれば、第１範囲を、入力視差量の絶対値が閾値より大きい範囲とすることができる。したがって、視差量の絶対値が大きいために視聴者が２重に見えやすい部分の視差量を適切に調整することができる。
　また例えば、前記第１範囲は、さらに、入力視差量が０より大きい範囲であり、前記予め定められた対応関係は、前記第１範囲において、入力視差量が増加したときに出力視差量が０に近づく特性を有してもよい。
　この構成によれば、入力視差量が０より大きい範囲において、入力視差量が増加したときに出力視差量が０に近づく特性を有する対応関係に従って、視差量を調整することができる。したがって、３次元画像において飛び出し量が大きくなりすぎることを防ぐことができ、視聴者の目の疲労を減少させることができる。
　また例えば、前記第１範囲は、さらに、入力視差量が０より小さい範囲であり、前記予め定められた対応関係は、前記第１範囲において、入力視差量が減少したときに出力視差量が０に近づく特性を有してもよい。
　この構成によれば、入力視差量が０より小さい範囲において、入力視差量が減少したときに出力視差量が０に近づく特性を有する対応関係に従って、視差量を調整することができる。したがって、３次元画像において引っ込み量が大きくなりすぎることを防ぐことができ、視聴者の目の疲労を減少させることができる。
　また例えば、前記予め定められた対応関係は、さらに、入力視差量の第２範囲において入力視差量と出力視差量とが一致する特性を有してもよい。
　この構成によれば、第２範囲において入力視差量と出力視差量とが一致する特性を有する対応関係に従って視差量を調整することができる。したがって、立体感を維持したい部分の視差量をそのままにすることができる。その結果、立体感が損なわれることを抑制することができ、視差量を適切に調整することが可能となる。
　また例えば、前記視差量調整部は、さらに、入力視差量および出力視差量の間の複数の対応関係の中から、前記入力画像の特性に応じて前記予め定められた対応関係を選択してもよい。
　この構成によれば、入力画像の特性に応じて対応関係を選択することができる。したがって、より適切な対応関係に従って視差量を調整することが可能となる。
　また例えば、前記視差量調整部は、前記複数の対応関係の中から、前記入力画像内のフォーカス位置における視差量に応じて前記予め定められた対応関係を選択してもよい。
　この構成によれば、フォーカス位置における視差量に応じて対応関係を選択することができる。したがって、フォーカス位置における立体感を損なわずに視差量を調整することが可能となる。
　また、本発明の一態様に係る３次元画像生成装置は、視差量調整装置と、前記入力画像と調整された前記視差量とを用いて３次元画像を生成する３次元画像生成部とを備える。
　この構成によれば、上記のように調整された視差量を用いて３次元画像を生成することができる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　（実施の形態１）
　（３次元画像生成装置の構成）
　図１Ａは、実施の形態１における３次元画像生成装置１００のハードウェア構成の一例を示す図である。３次元画像生成装置１００は、メインＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０２、記憶装置１０３、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）１０４を備える。
　メインＣＰＵ１０１は、プログラムを実行する。具体的には、メインＣＰＵ１０１は、ＲＡＭ１０２に展開されたプログラム中のコード化された各命令を実行する。
　ＲＡＭ１０２は、プログラム、および、プログラム実行時のパラメータなどのデータを一時的に格納する。
　記憶装置１０３は、メインＣＰＵ１０１の動作に必要なプログラムおよびデータを格納する。記憶装置１０３は、メモリカードやハードディスクで構成される。
　ＤＳＰ１０４は、デジタル信号処理を行う。ＤＳＰ１０４は、サブＣＰＵに相当する。
　３次元画像生成装置１００においては、メインＣＰＵ１０１またはＤＳＰ１０４で実行されるプログラム、ＤＳＰ１０４内の専用ハードウェア、および、これらの協調した動作により、３次元画像が生成される。
　図１Ｂは、実施の形態１における３次元画像生成装置１００の機能構成の一例を示す図である。３次元画像生成装置１００は、視差量調整装置１１０と、３次元画像生成部１２０とを備える。
　視差量調整装置１１０は、図１Ｂに示すように、視差量調整装置１１０は、取得部１１１と視差量調整部１１２とを備える。
　取得部１１１は、視差データを取得する。ここでは、取得部１１１は、視差画像を視差データとして取得する。
　視差データとは、入力画像に対する視差量を示すデータである。なお、視差データは、視差量そのものを示さなくてもよい。例えば、視差データは、入力画像の奥行きを示すデータ（例えばデプスマップなど）であってもよい。つまり、視差データは、入力画像に対する視差量を得ることができるデータであれば、どのようなデータであってもよい。
　視差画像とは、入力画像の各画素における視差量を示す画像である。つまり、視差画像とは、入力画像の各画素における視差量の分布を示す画像である。なお、取得部１１１は、視差画像の代わりに、複数の画素からなるブロックごとに視差量を示すデータを取得してもよい。
　視差量とは、入力画像に基づいて３次元表示を行う場合に、複数のビュー間に生じる視差を示す値である。例えば、視差量が「０」である場合に、各ビューの画像において同じ位置に対応点（対応画素）が表示される。つまり、視差量が「０」である場合に、画面からの飛び出し量が「０」になる。
　視差量調整部１１２は、入力視差量および出力視差量の間の予め定められた対応関係に従って、視差データが示す視差量を入力視差量として出力視差量に変換することにより、視差データが示す視差量を調整する。ここで用いられる入力視差量および出力視差量の間の対応関係は、入力視差量の第１範囲において、入力視差量が増加したときに出力視差量が減少する特性を有する。
　３次元画像生成部１２０は、入力画像と調整された視差量とを用いて３次元画像を生成する。具体的には、３次元画像生成部１２０は、例えば、入力画像（右目用画像）に対して、調整された視差量を有する左目用画像を生成することにより、右目用画像と左目用画像とからなる３次元画像を生成する。
　（３次元画像生成装置の動作）
　次に、以上のように構成された３次元画像生成装置１００の動作について説明する。
　図２は、実施の形態１における３次元画像生成処理の一例を示すフローチャートである。
　まず、取得部１１１は、入力画像と、当該入力画像に対する視差量を示す視差画像とを取得する（Ｓ１０１、Ｓ１０２）。具体的には、取得部１１１は、例えば、記憶装置１０３に格納されている入力画像と視差画像とのペアを読み出す。
　視差画像としては、入力画像を解析して仮想的に生成された視差画像や、複数枚の画像の差から視差を計算することにより生成された視差画像などが用いられる。なお、視差画像の生成方法は、これらに限定される必要はない。
　次に、視差量調整部１１２は、視差画像が示す視差量を調整する（Ｓ１０３）。最後に、３次元画像生成部１２０は、入力画像と、調整された視差量とを用いて、３次元画像を生成する（Ｓ１０４）。これらのステップＳ１０３およびステップＳ１０４の処理の詳細については後述する。
　生成された３次元画像は、例えば表示装置に出力される。また、生成された３次元画像は、例えば記録媒体に記録されてもよい。このとき、３次元画像のフォーマットは、特に限定される必要はない。例えば、３次元画像のフォーマットは、フレームシーケンシャル、サイドバイサイド、チェッカーボード、あるいはアナグリフなどであってもよい。
　（視差量調整）
　図２のステップＳ１０３における視差量調整の詳細について説明する。
　上述したように、視差量調整部１１２は、入力視差量および出力視差量の間の予め定められた対応関係に従って視差データが示す視差量を入力視差量として出力視差量に変換することにより、視差画像が示す視差量を調整する。この入力視差量および出力視差量の間の対応関係は、入力視差量の第１範囲において、入力視差量が増加したときに出力視差量が減少する特性を有する。
　つまり、入力視差量をｘと表し、出力視差量をｆ（ｘ）と表した場合に、ｄｆ（ｘ）／ｄｘ＜０となるｘの範囲（第１範囲）が存在する。
　図３は、実施の形態１における入力視差量と出力視差量との間の対応関係の一例（第１の関係）を示すグラフである。破線３０１は、入力視差量＝出力視差量を示す直線である。図３の例では、視差量調整部１１２は、実線３０２（折れ線）で示される対応関係に従って、視差画像が示す視差量を調整する。
　具体的には、視差量調整部１１２は、入力視差量が０付近の区間ｂｃ（第２範囲）では、入力視差量がそのまま出力視差量となるように視差量を調整する。つまり、ここで用いられる対応関係は、入力視差量の第２範囲において、入力視差量と出力視差量とが一致する特性を有する。
　一方、視差量調整部１１２は、入力視差量の絶対値が閾値より大きい区間ａｂおよび区間ｃｄ（第１範囲）では、入力視差量が増加したときに出力視差量が減少するように視差量を調整する。つまり、ここで用いられる対応関係は、入力視差量の絶対値が閾値より大きい第１範囲において、入力視差量が増加したときに出力視差量が減少する特性を有する。これにより、視差量の絶対値が大きいために視聴者が２重に見えやすい部分の視差量を適切に調整することができる。
　具体的には、対応関係は、入力視差量の絶対値が閾値より大きく、かつ、入力視差量が０より大きい範囲において、入力視差量が増加したときに出力視差量が０に近づく特性を有する。また、対応関係は、入力視差量の絶対値が閾値より大きく、かつ、入力視差量が０より小さい範囲において、入力視差量が減少したときに出力視差量が０に近づく特性を有する。これらにより、３次元画像において飛び出し量および引っ込み量が大きくなりすぎることを防ぐことができ、視聴者の目の疲労を減少させることができる。
　また、図３の例では、入力視差量と出力視差量との間の対応関係がグラフ上で直線によって表されるので、線形補間によって入力視差量に対応する出力視差量を算出でき、視差量を調整するための処理量を削減できる。
　ここで、入力視差量と出力視差量との間の対応関係の他の例について以下に説明する。
　図４は、実施の形態１における入力視差量と出力視差量との間の対応関係の他の一例（第２の関係）を示すグラフである。図４の例では、入力視差量および出力視差量の間の対応関係は、滑らかな曲線によって表される。また、対応関係は、図３と同様に、入力視差量が大きい範囲において、出力視差量が０に近づく特性を有する。このように、入力視差量の変化に対して出力視差量が滑らかに変化するように入力視差量および出力視差量の間の対応関係が用いられることにより、入力視差量の変化が小さいときに出力視差量が急峻に変化することによる３次元画像の違和感が軽減される。
　図５は、実施の形態１における入力視差量と出力視差量との間の対応関係の他の一例（第３の関係）を示すグラフである。図５の例では、入力視差量と出力視差量との間の対応関係は、入力視差量がプラスの範囲だけ出力視差量が０に近づく特性を有する。つまり、この例では、大きな飛び出し量を有する部分の視差量のみが調整される。
　図６は、実施の形態１における入力視差量と出力視差量との間の対応関係の他の一例（第４の関係）を示すグラフである。図６の例では、入力視差量と出力視差量との間の対応関係は、第１範囲において、入力視差量が増加したときに出力視差量が０に近づく特性を有するが、出力視差量は０にはならない。例えば、入力画像内における視差量のばらつきがそれほど大きくない場合には、視差量を０まで調整する必要はないので、図６に示すような対応関係が用いられればよい。
　図７は、実施の形態１における入力視差量と出力視差量との間の対応関係の他の一例（第５の関係）を示すグラフである。図７の例では、入力視差量と出力視差量との間の対応関係において、出力視差量が０となる範囲が広がっている。また、対応関係は、入力視差量が大きい範囲において、出力視差量が０に近づく特性を有する。このような対応関係を用いて視差量を調整することにより、例えば出力視差量が０となる範囲に対応する入力視差量を有する部分を視聴者が注目している場合に、注目オブジェクトの視差量が０になるので、３次元画像は見やすい画像となる。
　図８は、実施の形態１における入力視差量と出力視差量との間の対応関係の他の一例（第６の関係）を示すグラフである。図８の例では、入力視差量がプラスの範囲とマイナスの範囲とで、曲線の曲がり方（例えば凸関数か凹関数か）が異なる。ただし、図８でも、入力視差量の絶対値が閾値より大きく、かつ、入力視差量がプラスの範囲では、入力視差量が増加したときに出力視差量は０に近づく。このような対応関係に従って視差量を調整することにより、飛び出し側の視差量と引っ込み側の視差量とを異なる特性により調整することが可能となる。
　以上のように、いずれの対応関係も、入力視差量が大きい範囲（第１範囲）において、入力視差量が増加したときに出力視差量が０に近づく特性を有する。このような特性を有する対応関係に従って視差量を調整して得られる３次元画像は、視覚的には矛盾した画像になる。しかしながら、大きな視差量を有する非注目部分は、そのままの視差量で表示されるよりも、０に近い視差量で表示されたほうが、３次元画像全体として見やすい画像になる。また、人間は、視差だけでなく構図情報などの他の情報も使って３次元空間を把握する。そのため、このような視覚的に矛盾した３次元画像であっても、それほど違和感は発生せず、むしろ視差量が大きすぎることによる見難さが解消され見やすくなる。
　なお、図３～図８に示すような、入力視差量と出力視差量との間の対応関係は、例えば、入力視差量と、当該入力視差量に対応する出力視差量とのペアが複数登録されたテーブルにより表される。この場合は、視差量調整部１１２は、視差画像が示す視差量（入力視差量）に対応する出力視差量をテーブルから検索することにより、視差画像が示す入力視差量を出力視差量へ変換することができる。
　また、視差量調整部１１２は、視差画像が示す視差量と一致する入力視差量がテーブルに登録されていない場合に、当該視差量と類似する入力視差量に対応する出力視差量を用いて出力視差量の補間（例えば、線形補間、多項式補間あるいはスプライン補間など）を行うことにより、当該視差量に対応する出力視差量を算出してもよい。これにより、テーブルに登録される複数のペアの数を削減することができる。
　また、入力視差量と出力視差量との間の対応関係は、例えば、関数により表わされてもよい。この場合、対応関係を表すためのデータ量を削減することができる。
　なお、入力視差量と出力視差量との間の対応関係は、図３～図８に示す対応関係に限定されない。例えば、対応関係は、入力視差量が０の近傍の範囲において、入力視差量が増加したときに出力視差量が減少する特性を有してもよい。つまり、対応関係は、入力視差量のいずれかの範囲において、入力視差量が増加したときに出力視差量が減少する特性を有すればよい。
　（３次元画像生成）
　次に、図２のステップＳ１０４における３次元画像生成の詳細について説明する。
　３次元画像生成部１２０は、視差量調整装置１１０によって調整された視差量を使って３次元画像を生成する。なお、このときの３次元画像の生成方法は、従来の視差量を用いた３次元画像の生成方法とほぼ同じである。ただし、大きな視差量を有する部分が減少するので、オクルージョンの発生による補間量を削減することができる。なお、３次元画像の生成方法は、従来と同様であるので詳細な説明を省略するが、例えば、特許文献１の方法が利用できる。
　図９Ａ～図９Ｃは、実施の形態１における３次元画像生成装置１００により生成された３次元画像の一例を説明するための図である。図９Ａは、入力画像を撮影したカメラ９０１の位置と、被写体９０２、９０３との位置関係を示す。図９Ｂは、右目用画像（入力画像）を示す。図９Ｃは、生成した左目用画像を示す。
　図９Ａに示すような位置関係の場合、被写体９０２の視差量よりも被写体９０３の視差量は大きい。つまり、視差量が調整されない場合、被写体９０３は、被写体９０２よりも手前に表示される。
　ここで、視差量調整装置１１０によって視差量が調整された場合、図９Ｃに示すように、被写体９０３は、右目用画像および左目用画像において同じ位置に配置される。つまり、被写体９０３の視差量は０になり、画面からの飛び出し量は制限される。一方、左目用画像内の被写体９０２は、図９Ｂの右目用画像内の被写体９０２に対して、水平方向に視差量だけずれた位置に配置される。
　この右目用画像および左目用画像からなる３次元画像の注目部分が被写体９０２であれば、視聴者は、被写体９０３の視差量が０であることが気にならない。また、視差量が大きすぎる場合に発生するちらつきも発生しない。つまり、３次元画像生成装置１００は、図９Ｂおよび図９Ｃに示すように、注目部分（被写体９０２）の立体感を減少させることなく、見やすい３次元画像を生成することができる。
　以上のように、本実施の形態における視差量調整装置１１０によれば、第１範囲において入力視差量が増加したときに出力視差量が減少する特性を有する対応関係に従って視差量を調整することができる。したがって、入力視差量のすべての範囲において入力視差量が増加したときに出力視差量が増加する特性を有する対応関係に従って視差量を調整する場合よりも、視差量の抑制と立体感の維持とのバランスを図ることができ、適切に視差量を調整することができる。例えば、飛び出し量を抑制したい部分の視差量の範囲を第１範囲と一致させることにより、視差量を適切に調整することが可能となる。
　なお、本実施の形態では、３次元画像生成部１２０は、入力画像を右目用画像として用いて左目用画像を生成しているが、入力画像を左目用画像として用いて右目用画像を生成してもよい。また、３次元画像生成部１２０は、入力画像から、右目用画像および左目用画像の双方を生成してもよい。
　（実施の形態２）
　次に、実施の形態２について説明する。本実施の形態では、入力画像の特性に応じて、入力視差量と出力視差量との間の対応関係が適応的に決定される点が、主として実施の形態１と異なる。以下に、本実施の形態における３次元生成装置について、実施の形態１と異なる点を中心に説明する。
　（３次元画像生成装置の構成）
　図１０は、実施の形態２における３次元画像生成装置２００の機能構成の一例を示す図である。３次元画像生成装置２００は、視差量調整装置２１０と３次元画像生成部１２０とを備える。視差量調整装置２１０は、取得部１１１と、視差量調整部２１２と、対応関係記憶部２１３とを備える。
　視差量調整部２１２は、入力画像の特性を取得する。そして、視差量調整部２１２は、入力視差量および出力視差量の間の複数の対応関係の中から、入力画像の特性に応じて対応関係を選択する。そして、視差量調整部２１２は、選択された対応関係に従って視差画像が示す視差量を入力視差量として出力視差量に変換することにより、視差画像が示す視差量を調整する。
　例えば、視差量調整部２１２は、入力画像内のフォーカス位置における視差量に応じて対応関係を選択する。具体的には、視差量調整部２１２は、複数の対応関係の中から、入力画像内のフォーカス位置における視差量を第１範囲に含まない対応関係を選択する。
　なお、フォーカス位置は、例えば、撮像装置からパラメータとして取得されてもよいし、入力画像を解析することにより決定されてもよい。例えば、入力画像内で高周波成分を多く含む位置を解析することにより、フォーカス位置が決定されてもよい。また、視差量調整部２１２は、フォーカス位置の代わりに、フォーカス位置における視差量を取得してもよい。
　対応関係記憶部２１３は、入力視差量および出力視差量の間の複数の対応関係を記憶している。具体的には、対応関係記憶部２１３は、例えば、図３～図８に示す複数の対応関係を記憶している。ここで記憶されている複数の対応関係のうちの少なくとも１つは、入力視差量の第１範囲において、入力視差量が増加したときに出力視差量が減少する特性を有する。
　（３次元画像生成装置の動作）
　次に、以上のように構成された３次元画像生成装置２００の動作について説明する。
　図１１は、実施の形態２における３次元画像生成処理を示すフローチャートである。
　入力画像および視差画像が取得された後に（Ｓ１０１、Ｓ１０２）、視差量調整部２１２は、入力画像の特性に応じて対応関係を選択する（Ｓ２０１）。そして、視差量調整部２１２は、実施の形態１と同様に、選択された対応関係を用いて、視差画像が示す視差量を調整する（Ｓ１０３）。そして、３次元画像生成部１２０は、実施の形態１と同様に、３次元画像を生成する（Ｓ１０３、Ｓ１０４）。
　以上のように、本実施の形態における３次元画像生成装置２００によれば、入力画像の特性に応じて対応関係を選択することができる。したがって、より適切な対応関係に従って視差量を調整することが可能となる。特に、フォーカス位置における視差量に応じて対応関係を選択することにより、フォーカス位置における立体感を損なわずに視差量を調整することが可能となる。
　なお、３次元画像生成装置２００は、必ずしも対応関係記憶部２１３を備えなくてもよい。その場合、３次元画像生成装置２００は、例えば、ネットワークを介して接続された記憶装置から対応関係を取得すればよい。
　なお、視差量調整部２１２は、例えば、入力画像内の注目部分における視差量に応じて対応関係を選択してもよい。より具体的には、視差量調整部２１２は、入力画像内の注目部分における視差量が第１範囲に含まれない対応関係を選択してもよい。
　注目部分は、例えば入力画像がサッカーの試合の動画像に含まれる場合、サッカーボールが映っている部分などに相当する。このような注目部分は、パラメータとして与えられてもよいし、入力画像を解析することにより決定されてもよい。
　また、視差量調整部２１２は、例えば、視差画像における視差量のばらつきに応じて対応関係を選択してもよい。より具体的には、視差量調整部２１２は、視差画像のばらつきを示す値（例えば分散値など）が閾値より小さい場合に、図６に示すような対応関係を選択してもよい。
　以上、１つまたは複数の態様に係る３次元画像生成装置および視差量調整装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、１つまたは複数の態様の範囲内に含まれてもよい。
　例えば、上記各実施の形態において、視差量調整装置は、３次元画像生成装置に含まれていたが、これに限られない。例えば、視差量調整装置は、３次元画像生成装置とは独立して構成されてもよい。この場合、視差量調整装置は、例えば、記録媒体あるいは通信媒体を介して、調整後の視差量を３次元画像生成装置に送信してもよい。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の視差量調整装置などを実現するソフトウェアは、次のようなプログラムである。
　すなわち、このプログラムは、コンピュータに、入力画像に対する視差量を示す視差データを取得する取得ステップと、入力視差量および出力視差量の間の予め定められた対応関係に従って、前記視差データが示す視差量を入力視差量として出力視差量に変換することにより、前記視差データが示す視差量を調整する視差量調整ステップとを含み、前記予め定められた対応関係は、入力視差量の第１範囲において、入力視差量が増加したときに出力視差量が減少する特性を有する視差量調整方法を実行させる。
　本発明の一態様に係る視差量調整装置および３次元画像生成装置は、視差を調整し見やすい３Ｄ画像を生成するための装置として有用である。
　１００、２００　　３次元画像生成装置
　１０１　　メインＣＰＵ
　１０２　　ＲＡＭ
　１０３　　記憶装置
　１０４　　ＤＳＰ
　１１０、２１０　　視差量調整装置
　１１１　　取得部
　１１２、２１２　　視差量調整部
　１２０　　３次元画像生成部

Claims (11)

  1. 　入力画像に対する視差量を示す視差データを取得する取得部と、
    　入力視差量および出力視差量の間の予め定められた対応関係に従って、前記視差データが示す視差量を入力視差量として出力視差量に変換することにより、前記視差データが示す視差量を調整する視差量調整部とを備え、
    　前記予め定められた対応関係は、入力視差量の第１範囲において、入力視差量が増加したときに出力視差量が減少する特性を有する
    　視差量調整装置。
  2. 　前記第１範囲は、入力視差量の絶対値が閾値より大きい範囲である
    　請求項１に記載の視差量調整装置。
  3. 　前記第１範囲は、さらに、入力視差量が０より大きい範囲であり、
    　前記予め定められた対応関係は、前記第１範囲において、入力視差量が増加したときに出力視差量が０に近づく特性を有する
    　請求項２に記載の視差量調整装置。
  4. 　前記第１範囲は、さらに、入力視差量が０より小さい範囲であり、
    　前記予め定められた対応関係は、前記第１範囲において、入力視差量が減少したときに出力視差量が０に近づく特性を有する
    　請求項２に記載の視差量調整装置。
  5. 　前記予め定められた対応関係は、さらに、入力視差量の第２範囲において入力視差量と出力視差量とが一致する特性を有する
    　請求項１～４のいずれか１項に記載の視差量調整装置。
  6. 　前記視差量調整部は、さらに、入力視差量および出力視差量の間の複数の対応関係の中から、前記入力画像の特性に応じて前記予め定められた対応関係を選択する
    　請求項１～５のいずれか１項に記載の視差量調整装置。
  7. 　前記視差量調整部は、前記複数の対応関係の中から、前記入力画像内のフォーカス位置における視差量に応じて前記予め定められた対応関係を選択する
    　請求項６に記載の視差量調整装置。
  8. 　前記視差量調整装置は、集積回路として構成されている
    　請求項１に記載の視差量調整装置。
  9. 　請求項１に記載の視差量調整装置と、
    　前記入力画像と調整された前記視差量とを用いて３次元画像を生成する３次元画像生成部とを備える
    　３次元画像生成装置。
  10. 　入力画像に対する視差量を示す視差データを取得する取得ステップと、
    　入力視差量および出力視差量の間の予め定められた対応関係に従って、前記視差データが示す視差量を入力視差量として出力視差量に変換することにより、前記視差データが示す視差量を調整する視差量調整ステップとを含み、
    　前記予め定められた対応関係は、入力視差量の第１範囲において、入力視差量が増加したときに出力視差量が減少する特性を有する
    　視差量調整方法。
  11. 　請求項１０に記載の視差量調整方法をコンピュータに実行させるためのプログラム。
PCT/JP2013/000938 2012-03-02 2013-02-20 視差量調整装置、３次元画像生成装置、および視差量調整方法 WO2013128847A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/112,067 US20140055579A1 (en) 2012-03-02 2013-02-20 Parallax adjustment device, three-dimensional image generation device, and method of adjusting parallax amount

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-046212 2012-03-02
JP2012046212 2012-03-02

Publications (1)

Publication Number Publication Date
WO2013128847A1 true WO2013128847A1 (ja) 2013-09-06

Family

ID=49082063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/000938 WO2013128847A1 (ja) 2012-03-02 2013-02-20 視差量調整装置、３次元画像生成装置、および視差量調整方法

Country Status (3)

Country Link
US (1) US20140055579A1 (ja)
JP (1) JPWO2013128847A1 (ja)
WO (1) WO2013128847A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7110978B2 (ja) * 2016-07-08 2022-08-02 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004221700A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2011035712A (ja) * 2009-08-03 2011-02-17 Mitsubishi Electric Corp 画像処理装置、画像処理方法及び立体画像表示装置
WO2011024423A1 (ja) * 2009-08-28 2011-03-03 パナソニック株式会社 立体映像表示制御装置及び立体映像撮像装置
JP2011176822A (ja) * 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法
JP2011211717A (ja) * 2009-02-05 2011-10-20 Fujifilm Corp ３次元画像出力装置及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4737573B2 (ja) * 2009-02-05 2011-08-03 富士フイルム株式会社 ３次元画像出力装置及び方法
CN103069818B (zh) * 2010-05-31 2015-08-26 富士胶片株式会社 立体图像控制设备以及控制其操作的方法和程序
CN102959967B (zh) * 2010-06-25 2015-07-01 富士胶片株式会社 图像输出装置及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004221700A (ja) * 2003-01-09 2004-08-05 Sanyo Electric Co Ltd 立体画像処理方法および装置
JP2011211717A (ja) * 2009-02-05 2011-10-20 Fujifilm Corp ３次元画像出力装置及び方法
JP2011035712A (ja) * 2009-08-03 2011-02-17 Mitsubishi Electric Corp 画像処理装置、画像処理方法及び立体画像表示装置
WO2011024423A1 (ja) * 2009-08-28 2011-03-03 パナソニック株式会社 立体映像表示制御装置及び立体映像撮像装置
JP2011176822A (ja) * 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法

Also Published As

Publication number Publication date
US20140055579A1 (en) 2014-02-27
JPWO2013128847A1 (ja) 2015-07-30

Similar Documents

Publication Publication Date Title
JP6147275B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
CN102474644B (zh) 立体图像显示系统、视差转换装置、视差转换方法
JP5887267B2 (ja) ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
JP6094863B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
JP5638974B2 (ja) 画像処理装置、画像処理方法、およびプログラム
TWI485646B (zh) 圖轉換方法、圖轉換設備、及用於圖轉換的電腦程式產品
JP5942195B2 (ja) ３次元画像処理装置、３次元撮像装置および３次元画像処理方法
TWI493505B (zh) 影像處理方法以及影像處理裝置
JP6195076B2 (ja) 別視点画像生成装置および別視点画像生成方法
JPWO2012176431A1 (ja) 多視点画像生成装置、多視点画像生成方法
JP5521608B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP6033625B2 (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
US20120098930A1 (en) Image processing device, image processing method, and program
JP5493155B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
JP5627498B2 (ja) 立体画像生成装置及び方法
US20130187907A1 (en) Image processing apparatus, image processing method, and program
WO2013128847A1 (ja) 視差量調整装置、３次元画像生成装置、および視差量調整方法
JPWO2012176526A1 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
US8879872B2 (en) Method and apparatus for restoring resolution of multi-view image
JP5780214B2 (ja) 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
JP5431393B2 (ja) 立体画像生成装置及び方法
JP6217485B2 (ja) 立体画像生成装置、立体画像生成方法、及び立体画像生成プログラム
JP2015186100A (ja) 立体画像生成装置、立体画像生成方法、及び立体画像生成プログラム
JP2014090252A (ja) 画像処理装置およびその制御方法、撮像装置およびその制御方法、並びに画像処理プログラム
WO2012090813A1 (ja) 画像処理装置及び画像処理システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013526027

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14112067

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13755880

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13755880

Country of ref document: EP

Kind code of ref document: A1