WO2012133286A1 - 立体画像生成装置及び立体画像生成方法 - Google Patents

立体画像生成装置及び立体画像生成方法 Download PDF

Info

Publication number
WO2012133286A1
WO2012133286A1 PCT/JP2012/057717 JP2012057717W WO2012133286A1 WO 2012133286 A1 WO2012133286 A1 WO 2012133286A1 JP 2012057717 W JP2012057717 W JP 2012057717W WO 2012133286 A1 WO2012133286 A1 WO 2012133286A1
Authority
WO
WIPO (PCT)
Prior art keywords
image signal
stereoscopic
parallax
eye image
parallax value
Prior art date
Application number
PCT/JP2012/057717
Other languages
English (en)
French (fr)
Inventor
浩史 野口
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2011077368A external-priority patent/JP5871113B2/ja
Priority claimed from JP2011214072A external-priority patent/JP5845780B2/ja
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP12765976.1A priority Critical patent/EP2658269A4/en
Publication of WO2012133286A1 publication Critical patent/WO2012133286A1/ja
Priority to US13/798,230 priority patent/US9210396B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Definitions

  • the present invention relates to a stereoscopic image generating apparatus and a stereoscopic image generating method for generating a stereoscopic image.
  • 3D image display devices capable of displaying stereoscopic images (3D images) have begun to spread. Broadcasting using 3D video signals is also performed in television broadcasting, and 3D signal recording apparatuses capable of recording and reproducing 3D video signals are also becoming popular.
  • the content of the 3D video signal for broadcasting and package media (hereinafter referred to as 3D content) is usually a two-viewpoint video signal captured by a twin-lens camera. According to the two-viewpoint video signal, a realistic 3D image can be expressed.
  • the present invention has an object to provide a stereoscopic image generation apparatus and a stereoscopic image generation method capable of generating a stereoscopic image with a stereoscopic effect even with a 3D video signal with a poor stereoscopic effect. To do.
  • a parallax value detection unit that detects a parallax value between a left-eye image signal and a right-eye image signal in a stereoscopic video signal
  • a stereoscopic degree determination unit that determines the stereoscopic degree of the stereoscopic video signal based on the parallax value detected by the parallax value detection unit, and at least one of the left-eye image signal and the right-eye image signal according to the stereoscopic degree
  • a stereoscopic image generation apparatus including an image signal conversion unit that obtains a pixel shift amount for shifting a pixel of a signal and shifts the pixel of the left-eye image signal or the right-eye image signal by the pixel shift amount.
  • the stereoscopic degree determining unit that determines the stereoscopic degree of the stereoscopic video signal based on the shooting information of the left-eye image signal and the right-eye image signal in the stereoscopic video signal, A pixel shift amount for shifting a pixel of at least one of the left-eye image signal and the right-eye image signal is determined according to the degree of stereo, and the left-eye image signal or the right-eye image signal target image signal is calculated by the pixel shift amount.
  • a stereoscopic image generation apparatus including an image signal conversion unit that shifts pixels is provided.
  • the parallax value detecting step for detecting the parallax value between the left-eye image signal and the right-eye image signal in the stereoscopic video signal, and the parallax value detected in the parallax value detecting step
  • a stereoscopic degree determining step for determining a stereoscopic degree of the stereoscopic video signal based on the determination result, and a pixel shift amount for shifting a pixel of at least one of the left-eye image signal and the right-eye image signal according to the stereoscopic degree.
  • a stereoscopic image generation method including a pixel shift amount generation step and an image signal conversion step of shifting pixels of the left-eye image signal or the right-eye image signal by the pixel shift amount generated in the pixel shift amount generation step. Is done.
  • a stereoscopic image with a stereoscopic effect can be generated even with a 3D video signal with a poor stereoscopic effect.
  • FIG. 1 is a block diagram showing a first embodiment of a stereoscopic image generating apparatus according to the present invention.
  • FIG. 2 is a flowchart for explaining the operation of the first embodiment shown in FIG.
  • FIG. 3 is a block diagram showing a specific configuration of the stereoscopic degree determination unit 14 in FIG.
  • FIG. 4 is a characteristic diagram of the solidity F generated by the solidity determination unit 14 in FIG.
  • FIG. 5 is a block diagram showing a specific configuration of the image signal converter 15 in FIG.
  • FIG. 6 is a characteristic diagram of the pseudo stereoscopic parallax value adjustment gain G used in the image signal conversion unit 15 in FIG.
  • FIG. 7 is a diagram illustrating an example of a distant view image.
  • FIG. 8 is a diagram for explaining the effect of the first embodiment.
  • FIG. 9 is a diagram illustrating an example of a stereo image pair.
  • FIG. 10 is a diagram illustrating a 3D stereo image pair output by the image signal conversion unit 15 in FIG. 1.
  • FIG. 11 is a block diagram showing a specific configuration of the image signal converting unit 1520 in the second embodiment of the stereoscopic image generating apparatus of the present invention.
  • FIG. 12 is a diagram illustrating an example of an image generated by the left-eye shift image generation unit 1505 in FIG.
  • FIG. 13 is a diagram illustrating an example of an image generated by the right-eye shift image generation unit 1506 in FIG.
  • FIG. 14 is a block diagram showing a third embodiment of the stereoscopic image generating apparatus of the present invention.
  • FIG. 14 is a block diagram showing a third embodiment of the stereoscopic image generating apparatus of the present invention.
  • FIG. 15 is a block diagram illustrating a specific configuration of the solidity determination unit 1430 in FIG.
  • FIG. 16 is a characteristic diagram of the stereoscopic degree F generated by the stereoscopic degree determination unit 1430 in FIG.
  • FIG. 17 is a block diagram showing a fourth embodiment of the stereoscopic image generating apparatus of the present invention.
  • FIG. 18 is a flowchart for explaining the operation of the fourth embodiment shown in FIG.
  • FIG. 19 is a block diagram showing a specific configuration of the writing rate determination unit 16 in FIG.
  • FIG. 20 is a flowchart for explaining the operation of the peak histogram width calculation unit 166 in FIG.
  • FIG. 21 is a diagram illustrating an example of an image in which the splitting phenomenon occurs.
  • FIG. 22 is a diagram illustrating the parallax value histogram detected by the histogram detection unit 165 in FIG. 19 and the peak histogram width calculated by the peak histogram width calculation unit 166 for the image shown in FIG.
  • FIG. 23 is a characteristic diagram of the writing rate K generated by the writing rate determination unit 16 in FIG.
  • FIG. 24 is a block diagram showing a specific configuration of the image signal conversion unit 1540 in FIG.
  • FIG. 25 is a diagram illustrating a first example of a basic depth model used in the basic depth model parallax generation unit 1541 in FIG.
  • FIG. 26 is a diagram illustrating a second example of the basic depth model used in the basic depth model parallax generation unit 1541 in FIG.
  • FIG. 27 is a diagram illustrating a third example of the basic depth model used in the basic depth model parallax generation unit 1541 in FIG.
  • FIG. 28 is a characteristic diagram of the gain Gf with respect to the basic depth model parallax value DPT_MDL used in the left-eye parallax adjustment unit 1544 and the right-eye parallax adjustment unit 1545 in FIG.
  • FIG. 29 is a characteristic diagram of the gain Gk with respect to the left-eye pseudo uneven parallax value DPT_EMBS_L and the right-eye pseudo uneven parallax value DPT_EMBS_R used in the left-eye parallax adjustment unit 1544 and right-eye parallax adjustment unit 1545 in FIG.
  • DPT_EMBS_L left-eye pseudo uneven parallax value
  • DPT_EMBS_R right-eye pseudo uneven parallax value
  • FIG. 30 is a diagram for explaining the operation of the left-eye shift image generation unit 1546 in FIG.
  • FIG. 31 is a diagram for explaining the operation of the right-eye shift image generation unit 1547 in FIG.
  • FIG. 32 is a diagram for explaining the effect of the fourth embodiment.
  • a 3D signal recording device 2 and a stereo display device 3 are connected to a stereoscopic image generation device 101.
  • the stereoscopic image generation apparatus 101 includes an input signal acquisition unit 11, a 3D signal decoding unit 12, a 3D signal parallax detection unit 13, a stereoscopic degree determination unit 14, and an image signal conversion unit 15.
  • the degree of solid will be referred to as the degree of solidity.
  • the input signal acquisition unit 11 acquires the 3D video signal and the 3D format identification signal output from the 3D signal recording device 2 that is a 3D video signal transmission source (step S1).
  • the input signal acquisition unit 11 is a part including, for example, an input terminal and an input interface.
  • the 3D format identification signal is a signal indicating whether the 3D content format is a side-by-side format, a top-and-bottom format, a line-by-line format, a field sequential format, or the like.
  • Transmission / reception of 3D signals is standardized by HDMI 1.4a.
  • the input signal acquisition unit 11 sends a 3D video signal and a 3D format identification signal from the 3D signal recording device 2 based on the HDMI 1.4a standard. get.
  • the 3D video signal and 3D format identification signal acquired by the input signal acquisition unit 11 are supplied to the 3D signal decoding unit 12.
  • the 3D signal decoding unit 12 separates the 3D video signal into a left eye image signal and a right eye image signal based on the 3D format identification signal (step S2).
  • the left eye image signal and the right eye image signal are supplied to the 3D signal parallax detection unit 13 and the image signal conversion unit 15.
  • the left eye image signal and the right eye image signal form a stereo image pair.
  • the 3D signal parallax detection unit 13 uses, for example, a stereo matching technique, which is a representative example of the parallax calculation technique, and uses the left eye image signal (or right eye image signal) of the stereo image pair as a reference between the left eye image signal and the right eye image signal.
  • the 3D signal parallax value DPT is detected in units of one pixel (step S3).
  • the stereo matching method is a pixel block in one captured image (reference image), that is, a pixel group for each small region constituting a part of the reference image, and the correlation destination is the other captured image (comparison image). In this method, the parallax value is obtained for each pixel block in the captured image (reference image) (see Patent Document 1).
  • the value of the 3D signal parallax value DPT is positive, the pop-out direction is assumed, and when the value is negative, the depth direction (retraction direction) is assumed.
  • the 3D signal parallax value DPT is supplied to the stereoscopic degree determination unit 14.
  • the stereoscopic degree determination unit 14 determines the stereoscopic degree F of the 3D video signal based on the input 3D signal parallax value DPT (step S4).
  • the stereoscopic degree determination unit 14 includes a maximum parallax value detection unit 141, a minimum parallax value detection unit 142, a difference calculation unit 143, and a threshold comparison unit 144.
  • the maximum parallax value detection unit 141 calculates the maximum value of the 3D signal parallax value DPT within one frame period as the maximum 3D signal parallax value DPT_MAX.
  • the minimum parallax value detection unit 142 calculates the minimum value of the 3D signal parallax value DPT within one frame period as the minimum 3D signal parallax value DPT_MIN.
  • the 3D signal parallax value DPT is positive when the value is positive and the negative is the depth direction. Therefore, the maximum 3D signal parallax value DPT_MAX is the most distant subject in the stereo image. It becomes a parallax value, and the minimum 3D signal parallax value DPT_MIN is the parallax value of the subject located farthest in the stereo image.
  • the difference calculation unit 143 calculates a 3D parallax difference value DIF, which is a difference between the maximum 3D signal parallax value DPT_MAX and the minimum 3D signal parallax value DPT_MIN, based on Expression (1).
  • the 3D parallax difference value DIF is always a positive value.
  • DIF DPT_MAX-DPT_MIN (1)
  • the threshold value comparison unit 144 compares the 3D parallax difference value DIF with the threshold values TH1 and TH2 and outputs the stereoscopic degree F as shown in FIG.
  • the threshold values TH1 and TH2 may be set as appropriate. If the 3D parallax difference value DIF is smaller than the threshold value TH1, the value of the stereoscopic degree F is 0, and if it is larger than the threshold value TH2, the value of the stereoscopic degree F is 1. When the 3D parallax difference value DIF is between the threshold value TH1 and the threshold value TH2, the 3D parallax difference value DIF is a value that increases linearly from 0 to 1. The greater the difference in parallax value between subjects in a stereo image, the clearer the front-to-back relationship between subjects, and the greater the degree of stereoscopic F.
  • the stereoscopic degree F is supplied to the image signal converter 15 shown in FIG.
  • the image signal conversion unit 15 shifts the pixel of at least one of the left-eye image signal and the right-eye image signal that is a stereo image pair output from the 3D signal decoding unit 12.
  • the parallax is adjusted and output (step S5).
  • the image signal conversion unit 15 can be realized by applying a pseudo-stereoscopic image generation device as described in Patent Document 1, for example.
  • the pseudo-stereoscopic image generation device described in Patent Document 1 is called so-called 2D3D conversion, and is a device that generates a pseudo-stereoscopic image from a 2D image.
  • the image signal conversion unit 15 includes a pseudo stereoscopic parallax estimation unit 151, a pseudo stereoscopic parallax synthesis unit 152, and a shift image generation unit 153.
  • the pseudo stereoscopic parallax estimation unit 151 calculates a pseudo stereoscopic parallax value DPT_2D with reference to any one of the left eye image signal and the right eye image signal that are the input stereo image pair.
  • the image signal used for the calculation is an image signal used as a reference when the 3D signal parallax detection unit 13 calculates the 3D signal parallax value DPT.
  • a known method may be used as a method for calculating the pseudo stereoscopic parallax value DPT_2D. For example, a method for calculating the pseudo stereoscopic parallax value described in Patent Document 1 may be used.
  • the pseudo stereoscopic parallax synthesis unit 152 uses the 3D signal parallax value DPT, the pseudo stereoscopic parallax value DPT_2D, and the pseudo stereoscopic parallax value adjustment gain G to calculate a synthetic parallax value DPT_MIX based on Expression (2).
  • the combined parallax value DPT_MIX is a parallax value for generating an image signal having parallax from a reference image signal.
  • the composite parallax value DPT_MIX is a positive or negative value. When the value is positive, the parallax value is a parallax in the protruding direction, and when the value is negative, the parallax value is a depth direction parallax.
  • DPT_MIX DPT + DPT_2D ⁇ G (2)
  • the pseudo stereoscopic parallax synthesis unit 152 determines the pseudo stereoscopic parallax value adjustment gain G from the stereoscopic degree F as shown in FIG.
  • the pseudo stereoscopic parallax value adjustment gain G is 0.
  • the pseudo stereoscopic parallax value adjustment gain G is Gn.
  • the pseudo stereoscopic parallax value DPT_2D is also 0, and the combined parallax value DPT_MIX is the parallax between the input stereo image pairs.
  • the 3D signal parallax value DPT which is a value.
  • the pseudo stereoscopic parallax value adjustment gain G increases from 0 to Gn, so that the value of the pseudo stereoscopic parallax DPT_2D in the combined parallax value DPT_MIX increases.
  • the pseudo stereoscopic parallax value adjustment gain G increases, and the ratio of the pseudo stereoscopic parallax value DPT_2D in the combined parallax value DPT_MIX increases.
  • the shift image generation unit 153 generates the other image signal by shifting the pixel of one image signal of the input stereo image pair based on the combined parallax value DPT_MIX output from the pseudo stereoscopic parallax combining unit 152 To do.
  • the pixel of the left eye image signal input to the shift image generation unit 153 is used as the combined parallax value.
  • a right eye image signal is generated by shifting based on DPT_MIX. Pixel shift is to move the position of a pixel.
  • a specific method of the shift image generation process is described in Patent Document 1.
  • the stereoscopic image generating apparatus 101 determines the stereoscopic degree F of the input stereo image pair, and adjusts the pixel shift amount based on the stereoscopic degree F, thereby generating an image with improved stereoscopic effect.
  • the image signal conversion unit 15 obtains a pixel shift amount for shifting a pixel of at least one monocular video signal of the left-eye image signal and the right-eye image signal based on the stereoscopic degree F, and shifts shifted based on the pixel shift amount Generate a video signal.
  • the stereoscopic degree F is calculated based on the 3D signal parallax value DPT obtained by the 3D signal parallax detection unit 13.
  • the image signal conversion unit 15 includes a pseudo stereoscopic parallax estimation unit 151 that calculates a pseudo stereoscopic parallax value DPT_2D from a monocular video signal, and converts the pixel shift amount into a stereoscopic degree F, a pseudo stereoscopic parallax value DPT_2D, and a 3D signal parallax value DPT. Calculate based on Thereby, even when a 3D stereo image pair with a poor stereoscopic effect such as a distant view image is input, an image with a stereoscopic effect can be generated.
  • FIG. 9 shows an example of an input stereo image pair.
  • the subject OB1 has a parallax in the protruding direction
  • the subject OB2 has no parallax
  • the subject OB3 has a parallax in the depth direction.
  • the image signal conversion unit 15 When the 3D stereo image pair of FIG. 9 is input to the stereoscopic image generation apparatus 101 of the first embodiment, and the image signal conversion unit 15 generates the shifted image signal with the pseudo stereoscopic parallax value adjustment gain G set to 0, the image signal
  • the conversion unit 15 outputs the 3D stereo image pair shown in FIG.
  • the left eye image signal shown in FIG. 10 is an input image signal
  • the right eye image signal is generated by pixel shifting the left eye image signal.
  • the shaded area shown in the right eye image is an occlusion area Rocc generated by pixel shifting, and there is no pixel that should exist in the input right eye image signal.
  • pixel data is generated by performing pixel interpolation based on the peripheral shift pixel data that can be normally generated, and thus it may be difficult to reproduce the input image signal.
  • the second embodiment improves this point.
  • an image signal converter 1520 shown in FIG. 11 is used instead of the image signal converter 15.
  • the image signal conversion unit 1520 includes a left-eye pseudo stereoscopic parallax estimation unit 1501, a right-eye pseudo stereoscopic parallax estimation unit 1502, a left-eye parallax adjustment unit 1503, a right-eye parallax adjustment unit 1504, a left-eye shift image generation unit 1505, and a right-eye shift image generation unit 1506. .
  • the left eye pseudo stereoscopic parallax generation unit 1501 detects a left eye pseudo stereoscopic parallax value DPT_L from the left eye image signal based on a pseudo stereoscopic parallax generation method as described in Patent Document 2.
  • the left-eye parallax adjustment unit 1503 performs gain adjustment based on Expression (3) with respect to the left-eye pseudo-stereoscopic parallax value DPT_L detected by the left-eye pseudo-stereoscopic parallax generation unit 1501.
  • G in Equation (3) is the pseudo-stereoscopic parallax value adjustment gain G shown in FIG. 6 as in Equation (2).
  • DPT_L_Gn DPT_L ⁇ G (3)
  • the adjusted left-eye pseudo stereoscopic parallax value DPT_L_Gn output from the left-eye parallax adjustment unit 1503 is input to the left-eye shift image generation unit 1505.
  • the post-adjustment left-eye pseudostereoscopic parallax value DPT_L_Gn takes a positive or negative value. When the value is positive, the parallax in the pop-out direction is indicated. When the value is negative, the parallax in the depth direction is indicated.
  • the left-eye shift image generation unit 1505 shifts the left-eye image signal input by the number of pixels based on the adjusted left-eye pseudo-stereoscopic parallax value DPT_L_Gn to generate a parallax-adjusted left-eye image signal (left-eye shift image signal).
  • a parallax-adjusted left-eye image signal is generated by shifting the left-eye image signal input by the number of pixels based on the value to the right.
  • a parallax-adjusted left-eye image signal is generated by shifting the input left-eye image signal to the left by the number of pixels based on that value.
  • the pseudo stereoscopic parallax value adjustment gain G is zero, the adjusted left eye pseudo stereoscopic parallax value DPT_L_Gn becomes zero, and the input left eye image signal is output.
  • a half value of the adjusted left-eye pseudo stereoscopic parallax value DPT_L_Gn obtained by the left-eye parallax adjustment unit 1503 is set as the number of shift pixels.
  • the value of the number of shift pixels is not limited to this.
  • FIG. 12A shows the input left-eye image signal and the adjusted left-eye pseudostereoscopic parallax value DPT_L_Gn obtained by the left-eye parallax adjustment unit 1503.
  • the adjusted left-eye pseudostereoscopic parallax value DPT_L_Gn of each figure (subject) included in the left-eye image signal is 20 for the subject OB1, 0 for the subject OB2, and -20 for the subject OB3.
  • Each subject OB1 to OB3 has a uniform parallax value within the subject for the sake of simplicity.
  • FIG. 12B shows a left-eye image signal output from the image signal conversion unit 15 of the first embodiment for comparison.
  • the input left-eye image signal reference image signal
  • the left-eye image signal shown in FIG. 12A is the same as the left-eye image signal output from the image signal conversion unit 15 shown in FIG.
  • FIG. 12C shows a left-eye image signal with parallax adjustment output from the image signal conversion unit 1520 of the present embodiment.
  • the left eye image signal output from the image signal converter 1520 includes an occlusion region Rocc.
  • the right-eye pseudo stereoscopic parallax generation unit 1502 detects the right-eye pseudo stereoscopic parallax value DPT_R from the input right eye image signal.
  • the right eye pseudo stereoscopic parallax generation unit 1502 detects the right eye pseudo stereoscopic parallax value DPT_R based on the same parallax generation method as the left eye pseudo stereoscopic parallax generation unit 1501.
  • the right eye parallax adjustment unit 1504 performs gain adjustment based on Expression (4) for the right eye pseudo stereoscopic parallax value DPT_R detected by the right eye pseudo stereoscopic parallax generation unit 1502.
  • G in Equation (4) is the pseudo-stereoscopic parallax value adjustment gain G shown in FIG. 6 as in Equations (2) and (3).
  • DPT_R_Gn DPT_R ⁇ G (4)
  • the adjusted right-eye pseudostereoscopic parallax value DPT_R_Gn output from the right-eye parallax adjustment unit 1504 is input to the right-eye shift image generation unit 1506.
  • the adjusted right-eye pseudostereoscopic parallax value DPT_R_Gn also takes a positive / negative value in the same way as the adjusted left-eye pseudostereoscopic parallax value DPT_L_Gn.
  • a positive value indicates a parallax in the pop-out direction, and a negative value indicates the depth direction. This represents the parallax.
  • the right-eye shift image generation unit 1506 shifts the right-eye image signal input by the number of pixels based on the adjusted right-eye pseudo-stereoscopic parallax value DPT_R_Gn to generate a right-eye image signal (right-eye shift image) that has been parallax adjusted.
  • the shift direction is set to be opposite to that of the left-eye shift image generation unit 1505.
  • the right-eye shifted image generation unit 1506 shifts the right-eye image signal input by the number of pixels based on that value to the left and performs parallax-adjusted right eye An image signal is generated, and when the adjusted right-eye pseudostereoscopic parallax value DPT_R_Gn is a negative value, a parallax-adjusted right-eye image signal is generated by shifting the right-eye image signal to the right by the number of pixels based on the value.
  • the adjusted right eye pseudo stereoscopic parallax value DPT_R_Gn becomes zero, and the input right eye image signal is output.
  • a half value of the adjusted right-eye pseudo stereoscopic parallax value DPT_R_Gn obtained by the right-eye parallax adjustment unit 1504 is set as the number of shift pixels.
  • the value of the number of shift pixels is not limited to this.
  • FIG. 13A shows the input right-eye image signal and the adjusted right-eye pseudostereoscopic parallax value DPT_R_Gn obtained by the right-eye parallax adjustment unit 1504.
  • the adjusted right-eye pseudostereoscopic parallax value DPT_R_Gn of each figure (subject) included in the right-eye image signal is 20 for the subject OB1, 0 for the subject OB2, and -20 for the subject OB3.
  • Each subject OB1 to OB3 has a uniform parallax value within the subject for the sake of simplicity.
  • FIG. 13B shows a right eye image signal output from the image signal conversion unit 15 of the first embodiment for comparison.
  • the left-eye image signal is pixel-shifted using the synthesized parallax value DPT_MIX obtained by synthesizing the 3D signal parallax value DPT and the pseudo-stereoscopic parallax value DPT_2D by the pseudo-stereoscopic parallax synthesis unit 152 to generate a right-eye image signal.
  • the occlusion region Rocc becomes vast.
  • FIG. 13C illustrates a parallax-adjusted right-eye image signal output from the image signal conversion unit 1520 of this embodiment.
  • the subject OB1 is shifted 10 pixels in the right direction
  • the subject OB3 is shifted 10 pixels in the left direction.
  • the right eye image signal output from the image signal conversion unit 1520 includes a small occlusion region Rocc.
  • an image obtained by shifting the subject OB1 and the subject OB3 by the same number of pixels as the parallax value is the right-eye image signal.
  • the occupancy area Rocc is smaller than that in the first embodiment.
  • the stereoscopic image generating apparatus is an image signal having a parallax difference larger than a threshold TH2 in an image as an input stereo image pair, that is, a stereoscopic degree F of 1, and a pseudo stereoscopic parallax.
  • a threshold TH2 a stereoscopic degree F of 1
  • a pseudo stereoscopic parallax a stereoscopic parallax
  • the image signal is output as it is.
  • the values of the left-eye pseudo stereoscopic parallax value DPT_L_Gn and the right-eye pseudo stereoscopic parallax value DPT_R_Gn calculated by the image signal conversion unit 1520 based on the equations (3) and (4) are 0, and pixel shift is not performed on the input image signal. Therefore, the input image signal can be output without deteriorating.
  • the image signal conversion unit 1520 obtains a pixel shift amount for shifting a pixel of at least one monocular video signal of the left-eye image signal and the right-eye image signal based on the stereoscopic degree F, and shifts shifted based on the pixel shift amount. Generate a video signal.
  • the stereoscopic degree F is calculated based on the 3D signal parallax value DPT obtained by the 3D signal parallax detection unit 13.
  • the image signal conversion unit 1520 includes pseudo three-dimensional parallax estimation units 1501 and 1502 that calculate a left-eye pseudo three-dimensional parallax value DPT_L and a right-eye pseudo three-dimensional parallax value DPT_R from a monocular video signal. Calculation is based on the parallax value DPT_L and the right-eye pseudo-stereoscopic parallax value DPT_R.
  • a left-eye pseudo-stereoscopic parallax generation unit (1501, 1503, 1505) that generates a parallax-adjusted left-eye image signal from the left-eye image signal, and a parallax-adjusted right-eye image signal from the right-eye image signal are generated.
  • the pseudo-stereoscopic parallax generation unit for right eye (1502, 1504, 1506) is provided separately, but is not limited to this.
  • the left eye pseudo stereoscopic parallax value DPT_L output from the left eye pseudo stereoscopic parallax estimation unit 1501 is also input to the right eye parallax adjustment unit 1504, so that the left eye shift image generation unit 1505 and the right eye shift image generation unit 1506 in the subsequent stage are shifted to one shift image. You may make it the structure made into a production
  • the object in the image does not always exist at the same pixel position in the right eye and the left eye. Therefore, with a configuration in which one pseudo-stereoscopic parallax generation unit is used, when the pseudo-stereoscopic parallax value obtained for the left-eye object is used, the object can be pixel-shifted in the left-eye shifted image, but the right-eye shifted image can be other than the object. In some cases, the image will be shifted. Therefore, it is ideal to provide separate pseudo stereoscopic parallax generation units for the left eye and the right eye.
  • a stereoscopic image generating apparatus 103 according to the third embodiment will be described with reference to FIG.
  • the stereoscopic image generation apparatus 103 according to the third embodiment includes an input signal acquisition unit 11b, a stereoscopic degree calculation unit 1430, and an image signal conversion unit 1530, and does not include the 3D signal parallax detection unit 13. Different from the three-dimensional image generation apparatus. Only the parts different from the second embodiment will be described below.
  • the input signal acquisition unit 11b acquires a 3D video signal, a 3D format identification signal, and shooting information data from the 3D signal recording device 2.
  • the shooting information data here is various information when a 3D video signal is shot, such as subject distance information, shooting scene mode information, and lens focal length information. Typical examples include Exif data included in a photographic image.
  • the input signal acquisition unit 11b acquires the shooting information data and outputs it to the stereoscopic degree calculation unit 1430.
  • the stereoscopic degree calculation unit 1430 calculates the stereoscopic degree F based on the shooting information data acquired by the input signal acquisition unit 11b.
  • FIG. 15 shows a detailed configuration of the three-dimensionality calculation unit 1430.
  • the three-dimensionality calculation unit 1430 includes an information extraction unit 1401 and a threshold comparison unit 1402.
  • the information extraction unit 1401 extracts subject distance information from the input shooting information data, and outputs the subject distance information as subject distance information L.
  • the threshold comparison unit 1402 compares the subject distance information L, the threshold TH3, and the threshold TH4, and outputs the stereoscopic degree F.
  • the threshold values TH3 and TH4 may be set as appropriate.
  • the value of the stereoscopic degree F is 1.
  • the stereoscopic degree F is a value that linearly decreases from 1 to 0.
  • the value of the stereoscopic degree F is zero.
  • the image signal conversion unit 1530 calculates a pixel shift amount for shifting a pixel of at least one monocular video signal of the left-eye image signal and the right-eye image signal based on the stereoscopic degree F calculated by the stereoscopic degree calculation unit 1430.
  • the image signal conversion unit 1530 includes a pseudo stereoscopic parallax calculation unit that calculates a pseudo stereoscopic parallax value from the monocular video signal, and calculates a pixel shift amount based on the stereoscopic degree F and the pseudo stereoscopic parallax value.
  • the stereoscopic image generating apparatus 103 determines the stereoscopic degree F of the input stereo image pair based on the shooting information data. Thereby, the stereoscopic degree F can be appropriately determined according to various shooting conditions such as the subject distance.
  • ⁇ Fourth embodiment> When a distant view image is displayed, a sense of front and back between subjects present in the image can be obtained, but there is a case where the subject itself is poor in three-dimensionality and individual subjects appear to be planar. This is called the cracking phenomenon (or cracking effect). When the cracking phenomenon occurs, it does not become a realistic 3D image.
  • the fourth embodiment is configured to generate a stereoscopic image having a stereoscopic effect and further improve the stereoscopic effect of each subject.
  • the stereoscopic image generating apparatus 104 of the fourth embodiment is different from the stereoscopic image generating apparatus 101 of the first embodiment in that an image signal converting unit 1540 and a writing rate determining unit 16 are provided.
  • the degree of the cracking phenomenon will be referred to as the cracking degree.
  • Step S11 to S14 are the same as the operation steps S1 to S4 of the respective units of the stereoscopic image generating apparatus 101 of the first embodiment shown in FIG.
  • Step S15 is the operation of the writing rate determination unit 16 shown in FIG. 17, and step S16 is the operation of the image signal generation unit 1540 shown in FIG.
  • the writing rate determination unit 16 determines the writing rate of the 3D video signal based on the 3D signal parallax value DPT (step S15).
  • the writing rate determination unit 16 includes a maximum parallax value detection unit 161, a minimum parallax value detection unit 162, a difference calculation unit 163, a parallax value normalization unit 164, a histogram detection unit 165, and a peak histogram width calculation.
  • the maximum parallax value detection unit 161, the minimum parallax value detection unit 162, and the difference calculation unit 163 are the same as the maximum parallax value detection unit 141, the minimum parallax value detection unit 142, and the difference calculation unit 143 in the three-dimensionality determination unit 14 of FIG. To work.
  • the maximum parallax value detection unit 141, the minimum parallax value detection unit 142, and the difference calculation unit 143 may be shared with the maximum parallax value detection unit 161, the minimum parallax value detection unit 162, and the difference calculation unit 163.
  • the parallax value normalization unit 164 receives the 3D signal parallax value DPT, the minimum 3D signal parallax value DPT_MIN, and the 3D parallax difference value DIF.
  • the parallax value normalization unit 164 offsets the 3D signal parallax value DPT based on Expression (5) to obtain an offset parallax value DPT_OFS.
  • DPT_OFS DPT-DPT_MIN (5)
  • the parallax value normalization unit 164 normalizes the offset parallax value DPT_OFS based on Expression (6) to obtain a normalized parallax value DPT_N.
  • the normalization processing in the parallax value normalization unit 164 is performed so that the detection range is always the full range when the histogram detection unit 165 in the subsequent stage detects the parallax value histogram.
  • the normalized parallax value DPT_N takes an integer value in the range of 0 to 255.
  • normalization is performed to 8 bits, but the range to be normalized is not limited to 8 bits.
  • DPT_N DPT_OFS ⁇ 255 / DIF (6)
  • the histogram detection unit 165 detects the histogram of the normalized parallax value DPT_N.
  • the histogram detection unit 165 includes 256 counters D_CNT [i] (i is an integer from 0 to 255) corresponding to each value of the normalized parallax value DPT_N.
  • the counter D_CNT [i] counts how many values of the normalized parallax value DPT_N exist.
  • the histogram detection unit 165 multiplies the count value of the counter D_CNT [i] by 255 and divides by the total number of pixels of the 3D video signal, and normalizes the parallax value histogram D_HIST [i] (i is an integer from 0 to 255). Output as.
  • the peak histogram width calculation unit 166 calculates a peak histogram width D_HIST_WID based on the parallax value histogram D_HIST [i].
  • the peak histogram width calculation unit 166 calculates the value of i indicating the maximum value as I_MAX from the parallax value histogram D_HIST [i].
  • i is an integer of 0 to 255
  • temp is a temporary maximum value at each time point
  • temp_i is a value indicating any of 0 to 255.
  • the peak histogram width calculation unit 166 increases the value of i by 1 from I_MAX in steps S107 to S113, and first obtains the value of i as D_HIST [i] smaller than a predetermined threshold TH_HIST as I_P.
  • i I_MAX
  • the peak histogram width calculation unit 166 decreases the value of i by 1 from I_MAX in steps S114 to S120, and obtains the value of i that D_HIST [i] first becomes smaller than a predetermined threshold TH_HIST as I_M.
  • the image by the input 3D video signal is an image as shown in FIG.
  • the image in FIG. 21 shows a composition as if a person was photographed against a background of a distant view.
  • the composition shown in FIG. 21 includes sky SK, mountain MT, tree TR, and person PN as subjects.
  • the image shown in FIG. 21 is a 3D video signal
  • the relationship between the value of i and the parallax value histogram D_HIST [i] is as shown in FIG.
  • Each part of the sky SK, mountain MT, tree TR, and person PN in the parallax value histogram D_HIST [i] is surrounded by a broken line.
  • the maximum value of the parallax value histogram D_HIST [i] is in the portion of the histogram based on the mountain MT, and I_MAX is 64.
  • I_P is 67
  • I_M is 61
  • the peak histogram width D_HIST_WID is 6.
  • the threshold value comparison unit 167 compares the peak histogram width D_HIST_WID input from the peak histogram width calculation unit 166 with the predetermined threshold values TH5 and TH6, and calculates the writing rate K. As shown in FIG. 23, when the peak histogram width D_HIST_WID is smaller than the threshold TH5, the writing rate K is 1, and when the peak histogram width D_HIST_WID is larger than the threshold TH6, the writing rate K is 0. When the peak histogram width D_HIST_WID is between the threshold value TH5 and the threshold value TH6, the writing rate K is a value that linearly decreases from 1 to 0.
  • the image signal conversion unit 1540 receives the degree of solidity F and the degree of writing K.
  • the image signal conversion unit 1540 shifts the pixel of at least one of the left-eye image signal and the right-eye image signal that are a stereo image pair output from the 3D signal decoding unit 12 to adjust and output the parallax ( Step S16).
  • the image signal conversion unit 1540 can be realized by applying a pseudo-stereoscopic image generation device as described in Patent Document 1, for example.
  • the image signal conversion unit 1540 includes a basic depth model parallax generation unit 1541, a left-eye pseudo uneven parallax generation unit 1542, a right pseudo-uneven parallax generation unit 1543, a left-eye parallax adjustment unit 1544, and a right-eye parallax adjustment unit 1545. , A left-eye shift image generation unit 1546, and a right-eye shift image generation unit 1547.
  • the basic depth model parallax generation unit 1541 includes a plurality of basic depth models. 25 to 27 show examples of basic depth models.
  • the basic depth model is a model for determining the parallax value of the entire screen, and each pixel on the plane is shifted in the protruding direction or the depth direction which has the characteristics of the non-planar shape as shown in FIGS. It can be configured by a calculation formula.
  • the basic depth model parallax generation unit 1541 selects one of a plurality of basic depth models based on the characteristics of the input left-eye image signal, or mixes a plurality of basic depth models to generate a basic depth model parallax value.
  • DPT_MDL is output.
  • the basic depth model parallax value DPT_MDL means a pop-up direction when the value is positive and a parallax in the depth direction when the value is negative.
  • the basic depth model parallax value DPT_MDL is generated based on the characteristics of the left eye image signal, but the basic depth model parallax value DPT_MDL may be generated based on the characteristics of the right eye image signal.
  • the basic depth model parallax value DPT_MDL may be generated based on both features.
  • the basic depth model parallax generation unit 1541 is a parallax generation unit that generates parallax value data indicating parallax values representing a three-dimensional shape of the entire screen set in accordance with the composition of an image based on a 3D video signal.
  • the left-eye pseudo uneven parallax generation unit 1542 infers the uneven information of the subject in the image from the features of the input left-eye image signal in units of pixels, and outputs the left-eye pseudo uneven parallax value DPT_EMBS_L.
  • Humans have a visual characteristic that it is easy to recognize that a red object is located in front when estimating unevenness information.
  • the left-eye pseudo uneven parallax generation unit 1542 uses this visual characteristic to calculate the left-eye pseudo uneven parallax value DPT_EMBS_L using Expression (7).
  • R_LEFT in equation (7) represents the R signal of the left eye image signal.
  • DPT_EMBS_L R_LEFT-128 (7)
  • the left-eye pseudo uneven parallax value DPT_EMBS_L is zero when the R signal has 8 bits and takes a value of 0 to 255, and the R signal R_LEFT has a median value of 128.
  • the R signal is used when calculating the left-eye pseudo unevenness parallax value DPT_EMBS_L, but the R signal is not limited to the R signal, and any combination of the G signal, the B signal, or the RGB signal, and the luminance
  • the left-eye pseudo uneven parallax value DPT_EMBS_L may be calculated using the signal.
  • the left-eye pseudo uneven parallax generation unit 1542 is a parallax generation unit that generates parallax value data indicating a pseudo parallax value to be given to the left-eye image signal based on the color component or luminance component of the left-eye image signal.
  • the left-eye parallax adjustment unit 1544 combines the basic depth model parallax value DPT_MDL output from the basic depth model parallax generation unit 1541 and the left-eye pseudo uneven parallax value DPT_EMBS_L output from the left-eye pseudo uneven parallax generation unit 1542 while adjusting the gain.
  • the adjusted left-eye pseudo stereoscopic parallax value DPT_L_Gn is generated.
  • the left-eye parallax adjustment unit 1544 combines the basic depth model parallax value DPT_MDL and the left-eye pseudo uneven parallax value DPT_EMBS_L based on Expression (8).
  • DPT_L_Gn DPT_MDL ⁇ Gf + DPT_EMBS_L ⁇ Gk (8)
  • Gf in Equation (8) is a gain for the basic depth model parallax value DPT_MDL.
  • the gain Gf has a characteristic as shown in FIG.
  • the gain Gf is an arbitrary set value of G1 when the stereoscopic degree F is 0, decreases linearly as the stereoscopic degree F approaches 1 and becomes 0 when the stereoscopic degree F is 1.
  • Gk in Expression (8) is a gain for the left-eye pseudo uneven parallax value DPT_EMBS_L.
  • the gain Gk has characteristics as shown in FIG. 29 and has a value corresponding to the writing rate K.
  • the gain Gk is 0 when the writing degree K is 0, increases linearly as the writing degree K approaches 1 and becomes an arbitrary set value G2 when the writing degree K is 1.
  • the gain Gf has characteristics as shown in FIG. 28 and the gain Gk has characteristics as shown in FIG. 29, when the sense of front and back of the subject of the image by the input stereo image pair (3D video signal) is poor
  • the basic depth model parallax value DPT_MDL is emphasized and the unevenness feeling (stereoscopic feeling) of the subject itself in the image by the stereo image pair is poor
  • the left-eye pseudo unevenness parallax value DPT_EMBS_L is emphasized.
  • the left-eye shift image generation unit 1546 generates a left-eye shift image by shifting the pixels of the left-eye image signal based on the adjusted left-eye pseudostereoscopic parallax value DPT_L_Gn output from the left-eye parallax adjustment unit 1544.
  • the left-eye shift image is output as a left-eye image signal whose parallax has been adjusted.
  • FIG. 9 is an example of an input stereo image pair.
  • the subject OB1 has a parallax in the pop-out direction, the subject OB2 has no parallax, and the subject OB3 has a parallax in the depth direction.
  • FIG. 30A illustrates an example of the parallax value indicated by the adjusted left-eye pseudo-stereoscopic parallax value DPT_L_Gn.
  • the parallax values are uniform within each of the subjects OB1 to OB3, the subject OB1 is parallax 20, the subject OB2 is parallax 0, and the subject OB3 is parallax-20.
  • the left-eye shift image generation unit 1546 uses a half value of each parallax value as a pixel shift amount, and shifts the subject pixel in the right direction if the value is positive and in the left direction if the value is negative.
  • FIG. 30B shows a left-eye shift image.
  • the subject OB1 is shifted to the right by 10 pixels to become the subject OB1s1, and the subject OB3 is shifted to the left by 10 pixels to become the subject OB3s1.
  • the difference between the subjects OB1 and OB3 and the subjects OB1s1 and OB3s1 becomes an occlusion region Rocc where no correct subject pixel exists.
  • the left-eye shift image generation unit 1546 uses the information of the nearest pixel from among the pixels in the occlusion region Rocc that have been correctly shifted in the horizontal direction with respect to the pixel. Interpolate.
  • the right-eye pseudo uneven parallax generation unit 1543 estimates the uneven information of the subject in the image from the features of the input right eye image signal in units of pixels, and the right-eye pseudo uneven parallax value DPT_EMBS_R Output as.
  • the right-eye pseudo uneven parallax generation unit 1543 calculates the right-eye pseudo uneven parallax value DPT_EMBS_R using Expression (9).
  • R_RIGHT in Equation (9) represents the R signal of the right eye image signal.
  • the signal is not limited to the R signal, and any combination of the G signal, the B signal, and the RGB signal, or a luminance signal may be used.
  • DPT_EMBS_R R_RIGHT-128 (9)
  • the right eye pseudo uneven parallax generation unit 1543 is a parallax generation unit that generates parallax value data indicating a pseudo parallax value to be given to the right eye image signal based on the color component or luminance component of the right eye image signal.
  • the right eye parallax adjustment unit 1545 outputs the basic depth model parallax value DPT_MDL output from the basic depth model parallax generation unit 1541 and the right eye pseudo uneven parallax value output from the right eye pseudo uneven parallax generation unit 1543.
  • DPT_EMBS_R is combined with gain adjustment to generate an adjusted right-eye pseudostereoscopic parallax value DPT_R_Gn.
  • the right eye parallax adjustment unit 1545 synthesizes the basic depth model parallax value DPT_MDL and the right eye pseudo uneven parallax value DPT_EMBS_R based on Expression (10).
  • DPT_R_Gn DPT_MDL ⁇ Gf + DPT_EMBS_R ⁇ Gk (10)
  • the right-eye parallax adjustment unit 1545 also emphasizes the basic depth model parallax value DPT_MDL when the sense of front and back of the image subject by the input stereo image pair (3D video signal) is poor, and the subject in the image by the stereo image pair itself.
  • DPT_EMBS_R the right-eye pseudo concavo-convex parallax value
  • the right-eye shift image generation unit 1547 generates a right-eye shift image by shifting the pixels of the right-eye image signal based on the adjusted right-eye pseudo-stereoscopic parallax value DPT_R_Gn output from the right-eye parallax adjustment unit 1545.
  • the right-eye shift image is output as a right-eye image signal with parallax adjustment.
  • FIG. 31A shows an example of the parallax value indicated by the adjusted right-eye pseudo-stereoscopic parallax value DPT_R_Gn, where the subject OB1 is parallax 20, the subject OB2 is parallax 0, and the subject OB3 is parallax-20.
  • the right-eye shift image generation unit 1547 uses a half value of each parallax value as a pixel shift amount, and shifts the subject pixel in the left direction if the value is positive and in the right direction if the value is negative.
  • FIG. 31B shows a right eye shift image.
  • the subject OB1 is shifted to the left by 10 pixels to become the subject OB1s2, and the subject OB3 is shifted to the right by 10 pixels to become the subject OB3s2.
  • the difference between the subjects OB1 and OB3 and the subjects OB1s2 and OB3s2 becomes an occlusion region Rocc where no correct subject pixel exists.
  • the pixel of the subject OB3 no longer exists in the area where the subject OB2 and the subject OB3 overlap in the original image of FIG.
  • the portion also becomes an occlusion region Rocc.
  • the right-eye shift image generation unit 1547 uses the information of the nearest pixel from among the pixels that have been correctly shifted in the horizontal direction with respect to the pixel in the occlusion region Rocc. Interpolate.
  • the left-eye image signal and the right-eye image signal which are a stereo image pair output from the stereoscopic image generation device 104, are supplied to the stereo display device 3, and a 3D image is displayed.
  • FIG. 32A conceptually shows the parallax value of each subject in the image of FIG.
  • the parallax when the parallax is zero, the value is 128, the maximum parallax in the depth direction is 0, the maximum parallax in the pop-out direction is 255, and the parallax is expressed in black and white with 0 to 255. Yes.
  • black and white shading is expressed by different hatching.
  • FIG. 21 when a distant landscape and a person are photographed at the same time, if not according to the present embodiment, the difference in parallax between subjects is expressed as shown in FIG. Since the difference in parallax within the subject is a smaller value than the difference in parallax between subjects, the subject itself has a poor three-dimensional effect and individual subjects appear to be planar. That is, it will be visually recognized as a cracking phenomenon.
  • FIG. 32B conceptually shows the parallax value of each subject according to the present embodiment.
  • FIG. 32B there is a difference in parallax between the trunk and leaves in the tree TR. It is expressed.
  • the sky SK and the mountain MT are similarly expressed with a difference in parallax.
  • the person PN also has a difference in parallax to express the stereoscopic effect of the face.
  • FIG. 32 (B) actually, for example, it is represented with a difference in parallax in the trunk and leaves of the tree TR. That is, the cracking phenomenon is reduced.
  • the stereoscopic degree F determined by the stereoscopic degree determining unit 14 is relatively low. Therefore, the gain Gf with respect to the basic depth model parallax value DPT_MDL in the equations (8) and (10) becomes a relatively large value, and the stereoscopic effect is improved.
  • the stereoscopic degree F determined by the stereoscopic degree determining unit 14 is relatively high. Therefore, the gain Gf with respect to the basic depth model parallax value DPT_MDL in the equations (8) and (10) is a relatively small value, and the improvement in stereoscopic effect by the gain Gf is slight. On the other hand, the writing rate K determined by the writing rate determination unit 16 is relatively high.
  • the image signal conversion unit 1540 may obtain a pixel shift amount of only one of the left-eye image signal and the right-eye image signal, and a shifted image obtained by adjusting the parallax of only one of the left-eye image signal and the right-eye image signal may be used.
  • the stereoscopic effect of individual subjects in a composition in which the splitting phenomenon occurs by shifting the pixels for a two-viewpoint video signal is improved, but the pixels of any multi-viewpoint video signal are shifted.
  • the stereoscopic image generation apparatus and the stereoscopic image generation method of the present invention are not limited to the case of targeting a 2-viewpoint video signal, and can also target a multi-viewpoint video signal of three or more viewpoints.
  • the present invention can be applied to any electronic device that handles 3D video signals composed of two or more viewpoints.
  • the configuration of the present invention may be provided in a recording device that records a 3D video signal, or the configuration of the present invention may be provided in a display device that displays a 3D video signal. It can be used to improve the stereoscopic effect of 3D content in any electronic device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　３Ｄ視差値検出部（１３）は、立体映像信号における左目画像信号と右目画像信号との間の視差値（DPT）を検出する。立体度判定部（１４）は、視差値（DPT）に基づいて立体映像信号の立体度（Ｆ）を判定する。画像信号変換部（１５）は、立体度（Ｆ）に応じて、左目画像信号または右目画像信号の画素をシフトさせる画素シフト量を求め、画素シフト量だけ画素をシフトさせる。これによって、左目画像信号または右目画像信号の視差を調整する。

Description

立体画像生成装置及び立体画像生成方法
　本発明は、立体画像を生成する立体画像生成装置及び立体画像生成方法に関する。
　近年、立体画像（３Ｄ画像）を表示することができる３Ｄ画像表示装置が普及し始めている。テレビジョン放送でも３Ｄ映像信号による放送がなされ、３Ｄ映像信号を記録再生することができる３Ｄ信号記録装置も普及し始めている。放送用やパッケージメディア用の３Ｄ映像信号のコンテンツ（以下、３Ｄコンテンツ）は、通常、２眼カメラで撮影した２視点映像信号である。２視点映像信号によれば、リアルな３Ｄ画像を表現することができる。
特許第４２１４５２９号公報 特開２００３－１６４２７号公報
　ところが、２視点映像信号によって例えば遠方の風景画像（遠景画像）を表示する場合には立体感がさほど得られないという問題点があった。この問題点は２視点映像信号のみならず３視点以上の多視点映像信号においても同様に発生する。
　本発明はこのような問題点に鑑み、立体感が乏しい３Ｄ映像信号であっても立体感のある立体画像を生成することができる立体画像生成装置及び立体画像生成方法を提供することを目的とする。
　上述した従来の技術の課題を解決するため、本発明の第１の態様によれば、立体映像信号における左目画像信号と右目画像信号との間の視差値を検出する視差値検出部と、前記視差値検出部によって検出された視差値に基づいて前記立体映像信号の立体度を判定する立体度判定部と、前記立体度に応じて、前記左目画像信号と前記右目画像信号との少なくとも一方の信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量だけ前記左目画像信号または前記右目画像信号の画素をシフトさせる画像信号変換部とを備える立体画像生成装置が提供される。
　本発明の第２の態様の立体画像生成装置によれば、立体映像信号における左目画像信号と右目画像信号の撮影情報に基づいて前記立体映像信号の立体度を判定する立体度判定部と、前記立体度に応じて、前記左目画像信号と前記右目画像信号との少なくとも一方の信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量だけ前記左目画像信号または前記右目画像信号対象画像信号の画素をシフトさせる画像信号変換部とを備える立体画像生成装置が提供される。
　本発明の第３の態様によれば、立体映像信号における左目画像信号と右目画像信号との間の視差値を検出する視差値検出ステップと、前記視差値検出ステップにて検出された視差値に基づいて前記立体映像信号の立体度を判定する立体度判定ステップと、前記立体度に応じて、前記左目画像信号と前記右目画像信号との少なくとも一方の信号の画素をシフトさせる画素シフト量を求める画素シフト量生成ステップと、前記画素シフト量生成ステップにて生成された前記画素シフト量だけ前記左目画像信号または前記右目画像信号の画素をシフトさせる画像信号変換ステップとを含む立体画像生成方法が提供される。
　第１～第３の態様によれば、立体感が乏しい３Ｄ映像信号であっても立体感のある立体画像を生成することができる。
図１は、本発明の立体画像生成装置の第１実施形態を示すブロック図である。 図２は、図１に示す第１実施形態の動作を説明するためのフローチャートである。 図３は、図１中の立体度判定部１４の具体的な構成を示すブロック図である。 図４は、図１中の立体度判定部１４が生成する立体度Ｆの特性図である。 図５は、図１中の画像信号変換部１５の具体的な構成を示すブロック図である。 図６は、図１中の画像信号変換部１５で用いる擬似立体視差値調整ゲインＧの特性図である。 図７は、遠景画像の一例を示す図である。 図８は、第１実施形態による効果を説明するための図である。 図９は、ステレオ画像ペアの一例を示す図である。 図１０は、図１中の画像信号変換部１５が出力する３Ｄステレオ画像ペアを示す図である。 図１１は、本発明の立体画像生成装置の第２実施形態における画像信号変換部１５２０の具体的な構成を示すブロック図である。 図１２は、図１１中の左目シフト画像生成部１５０５で生成される画像の一例を示す図である。 図１３は、図１１中の右目シフト画像生成部１５０６で生成される画像の一例を示す図である。 図１４は、本発明の立体画像生成装置の第３実施形態を示すブロック図である。 図１５は、図１４中の立体度判定部１４３０の具体的な構成を示すブロック図である。 図１６は、図１４中の立体度判定部１４３０が生成する立体度Ｆの特性図である。 図１７は、本発明の立体画像生成装置の第４実施形態を示すブロック図である。 図１８は、図１７に示す第４実施形態の動作を説明するためのフローチャートである。 図１９は、図１７中の書き割り度判定部１６の具体的な構成を示すブロック図である。 図２０は、図１９中のピークヒストグラム幅算出部１６６の動作を説明するためのフローチャートである。 図２１は、書き割り現象が生じる画像の一例を示す図である。 図２２は、図２１に示す画像に対して図１９中のヒストグラム検出部１６５が検出した視差値ヒストグラムとピークヒストグラム幅算出部１６６が算出したピークヒストグラム幅を示す図である。 図２３は、図１７中の書き割り度判定部１６が生成する書き割り度Ｋの特性図である。 図２４は、図１７中の画像信号変換部１５４０の具体的な構成を示すブロック図である。 図２５は、図２４中の基本奥行きモデル視差生成部１５４１で用いる基本奥行きモデルの第１の例を示す図である。 図２６は、図２４中の基本奥行きモデル視差生成部１５４１で用いる基本奥行きモデルの第２の例を示す図である。 図２７は、図２４中の基本奥行きモデル視差生成部１５４１で用いる基本奥行きモデルの第３の例を示す図である。 図２８は、図２４中の左目視差調整部１５４４及び右目視差調整部１５４５で用いる基本奥行きモデル視差値DPT_MDLに対するゲインＧｆの特性図である。 図２９は、図２４中の左目視差調整部１５４４，右目視差調整部１５４５で用いる左目擬似凹凸視差値DPT_EMBS_L，右目擬似凹凸視差値DPT_EMBS_Rに対するゲインＧｋの特性図である。 図３０は、図２４中の左目シフト画像生成部１５４６の動作を説明するための図である。 図３１は、図２４中の右目シフト画像生成部１５４７の動作を説明するための図である。 図３２は、第４実施形態による効果を説明するための図である。
＜第１実施形態＞
　図１において、立体画像生成装置１０１には、３Ｄ信号記録装置２とステレオ表示装置３とが接続されている。立体画像生成装置１０１は、入力信号取得部１１，３Ｄ信号デコード部１２，３Ｄ信号視差検出部１３，立体度判定部１４，画像信号変換部１５を備える。立体の程度を立体度と称することとする。
　立体画像生成装置１０１の各部の動作について図２のフローチャートを参照しながら説明する。入力信号取得部１１は、３Ｄ映像信号送信源である３Ｄ信号記録装置２から出力された３Ｄ映像信号及び３Ｄフォーマット識別信号を取得する（ステップＳ１）。入力信号取得部１１は、例えば入力端子及び入力インタフェースを含む部分である。３Ｄフォーマット識別信号とは、３Ｄコンテンツのフォーマットが、サイド・バイ・サイド方式，トップ・アンド・ボトム方式，ライン・バイ・ライン方式，フィールドシーケンシャル方式等のいずれであるかを示す信号である。
　３Ｄ信号の送受信についてはHDMI1.4aで規格化されており、本実施形態では、入力信号取得部１１は、HDMI1.4aの規格に基づき３Ｄ映像信号及び３Ｄフォーマット識別信号を３Ｄ信号記録装置２から取得する。入力信号取得部１１が取得した３Ｄ映像信号及び３Ｄフォーマット識別信号は、３Ｄ信号デコード部１２へと供給される。
　３Ｄ信号デコード部１２は、３Ｄ映像信号を、３Ｄフォーマット識別信号に基づいて左目画像信号と右目画像信号とに分離する（ステップＳ２）。左目画像信号と右目画像信号は、３Ｄ信号視差検出部１３及び画像信号変換部１５へと供給される。左目画像信号と右目画像信号とはステレオ画像ペアを構成する。
　３Ｄ信号視差検出部１３は、例えば視差算出手法の代表例であるステレオマッチング手法を用いて、ステレオ画像ペアの左目画像信号（または右目画像信号）を基準として左目画像信号と右目画像信号との間の３Ｄ信号視差値DPTを１画素単位で検出する（ステップＳ３）。ステレオマッチング手法とは、一方の撮像画像（基準画像）中にある画素ブロック、即ち、基準画像の一部を構成する小領域毎の画素群に関して、その相関先を他方の撮像画像（比較画像）において特定することで、撮像画像（基準画像）中の画素ブロック毎に視差値を求める手法である（特許文献１参照）。３Ｄ信号視差値DPTの値が正の場合は飛び出し方向、負の場合は奥行き方向（引っ込み方向）とする。
　３Ｄ信号視差値DPTは、立体度判定部１４へと供給される。立体度判定部１４は、入力された３Ｄ信号視差値DPTに基づいて、３Ｄ映像信号の立体度Ｆを判定する（ステップＳ４）。
　図３を用いて、立体度判定部１４の具体的構成及び動作について説明する。図３に示すように、立体度判定部１４は、最大視差値検出部１４１，最小視差値検出部１４２，差分算出部１４３，閾値比較部１４４を備える。最大視差値検出部１４１は、３Ｄ信号視差値DPTの１フレーム期間内における最大値を最大３Ｄ信号視差値DPT_MAXとして算出する。最小視差値検出部１４２は、３Ｄ信号視差値DPTの１フレーム期間内における最小値を最小３Ｄ信号視差値DPT_MINとして算出する。本実施形態では、３Ｄ信号視差値DPTの値が正の場合を飛び出し方向、負の場合を奥行き方向としているので、最大３Ｄ信号視差値DPT_MAXはステレオ画像内で最も手前に位置している被写体の視差値となり、最小３Ｄ信号視差値DPT_MINはステレオ画像内で最も奥に位置している被写体の視差値となる。
　差分算出部１４３は、最大３Ｄ信号視差値DPT_MAXと最小３Ｄ信号視差値DPT_MINとの差分である３Ｄ視差差分値DIFを式（１）に基づいて算出する。３Ｄ視差差分値DIFは常に正の値となる。
　DIF=DPT_MAX-DPT_MIN　　…（１）
　閾値比較部１４４は、図４に示すように、３Ｄ視差差分値DIFと閾値TH1，TH2とを比較し立体度Ｆを出力する。閾値TH1，TH2の値は適宜設定すればよい。３Ｄ視差差分値DIFが閾値TH1より小さければ立体度Ｆの値は０となり、閾値TH2より大きければ立体度Ｆの値は１となる。３Ｄ視差差分値DIFが閾値TH1と閾値TH2との間では、３Ｄ視差差分値DIFは０から１へと線形に増加する値となる。ステレオ画像内の被写体間の視差値の差が大きくなればなるほど被写体間の前後関係がはっきりしているということであり、立体度Ｆが大きくなる。立体度Ｆは図１の画像信号変換部１５へと供給される。
　図１，図２に戻り、画像信号変換部１５は、３Ｄ信号デコード部１２より出力されたステレオ画像ペアである左目画像信号と右目画像信号との内の少なくとも一方の信号の画素をシフトさせて視差を調整して出力する（ステップＳ５）。画像信号変換部１５は、例えば特許文献１に記載されているような疑似立体画像生成装置を応用することによって実現できる。特許文献１に記載されている疑似立体画像生成装置はいわゆる２Ｄ３Ｄ変換と称されており、２Ｄ画像から疑似立体画像を生成する装置である。
　図５を用いて画像信号変換部１５の具体的構成及び動作について説明する。図５に示すように、画像信号変換部１５は、擬似立体視差推定部１５１，擬似立体視差合成部１５２，シフト画像生成部１５３を備える。擬似立体視差推定部１５１は、入力されたステレオ画像ペアである左目画像信号と右目画像信号のいずれか一方の画像信号を基準として、擬似立体視差値DPT_2Dを算出する。算出に用いる画像信号は、３Ｄ信号視差検出部１３が３Ｄ信号視差値DPTを算出する際に基準とした画像信号とする。擬似立体視差値DPT_2Dの算出方法は、公知の方法を用いればよく、例えば特許文献１に記載されている擬似立体視差値を算出する方法でもよい。
　擬似立体視差合成部１５２は、３Ｄ信号視差値DPTと擬似立体視差値DPT_2Dと擬似立体視差値調整ゲインＧとを用いて、合成視差値DPT_MIXを式（２）に基づいて算出する。合成視差値DPT_MIXは、基準の画像信号から視差を有する画像信号を生成するための視差値である。合成視差値DPT_MIXは正負の値をとり、正の値のときは飛び出し方向の視差であることを表し、負の値のときは奥行き方向の視差であることを表す。
　DPT_MIX=DPT+DPT_2D×G　　…（２）
　擬似立体視差合成部１５２は図６に示すように、立体度Ｆから擬似立体視差値調整ゲインＧを決定する。立体度Ｆが１の場合、擬似立体視差値調整ゲインＧは０となり、立体度Ｆが０の場合、擬似立体視差値調整ゲインＧはＧｎとなる。立体度Ｆが１、即ち、立体度Ｆが最も高い場合、擬似立体視差値調整ゲインＧが０のため、擬似立体視差値DPT_2Dも０となり、合成視差値DPT_MIXは、入力ステレオ画像ペア間の視差値である３Ｄ信号視差値DPTとなる。立体度Ｆが１から０に減少するに従って、擬似立体視差値調整ゲインＧは０からＧｎへ増大するため、合成視差値DPT_MIXにおける擬似立体視差DPT_2Dの値が増大する。立体度Ｆが小さくなるに従って、擬似立体視差値調整ゲインＧは大きくなり、合成視差値DPT_MIXにおける擬似立体視差値DPT_2Dの割合が大きくなる。
　シフト画像生成部１５３は、入力されたステレオ画像ペアの一方の画像信号の画素を、擬似立体視差合成部１５２より出力された合成視差値DPT_MIXに基づいてシフトさせることによって、他方の画像信号を生成する。本実施形態では、３Ｄ信号視差値DPT及び擬似立体視差値DPT_2Dを左目画像信号を基準の画像信号として算出しているので、シフト画像生成部１５３に入力された左目画像信号の画素を合成視差値DPT_MIXに基づいてシフトすることによって、右目画像信号を生成する。画素シフトとは画素の位置を移動させることである。シフト画像生成処理の具体的な方法については特許文献１に記載されている。
　本実施形態の効果について説明する。図７に示すような遠景画像を撮影した場合、ステレオ画像ペア間の視差の差が小さいため、立体度判定部１４が求める３Ｄ視差差分値DIFが小さく、立体度Ｆも小さい。画像信号変換部１５にてステレオ画像ペアに合成視差値DPT_MIXを付加すると、図８に示すようにより立体感のある画像を出力できる。図８では、視差がゼロの場合の値を１２８、奥行き方向に最大の視差をとる場合の値を０、手前方向に最大の視差をとる場合の値を２５５とすることで、０～２５５の範囲のグレースケールで視差を表現している。
　第１実施形態の立体画像生成装置１０１では、入力ステレオ画像ペアの立体度Ｆを判定し、立体度Ｆに基づき画素シフト量を調整することで、立体感を改善させた画像を生成する。画像信号変換部１５は、左目画像信号及び右目画像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を立体度Ｆに基づいて求め、画素シフト量に基づいてシフトさせたシフト映像信号を生成する。立体度Ｆは３Ｄ信号視差検出部１３にて求められた３Ｄ信号視差値DPTに基づいて算出される。画像信号変換部１５は、単眼用映像信号より擬似立体視差値DPT_2Dを算出する擬似立体視差推定部１５１を備え、画素シフト量を、立体度Ｆと擬似立体視差値DPT_2Dと３Ｄ信号視差値DPTに基づいて算出する。これにより、遠景画像のような立体感の乏しい３Ｄステレオ画像ペアが入力された場合でも立体感のある画像を生成することができる。
＜第２実施形態＞
　図９は入力ステレオ画像ペアの一例を示している。図９において、被写体ＯＢ１は飛び出し方向の視差を有し、被写体ＯＢ２は視差なし、被写体ＯＢ３は奥行き方向の視差を有している。第１実施形態の立体画像生成装置１０１に図９の３Ｄステレオ画像ペアが入力され、画像信号変換部１５が擬似立体視差値調整ゲインＧを０としてシフト画像信号を生成した場合には、画像信号変換部１５は図１０に示す３Ｄステレオ画像ペアを出力する。図１０に示す左目画像信号は入力画像信号であり、右目画像信号は左目画像信号を画素シフトさせて生成されたものである。
　右目画像に示す網掛け領域は、画素シフトさせたことで生じたオクリュージョン領域Ｒoccであり、入力された右目画像信号に存在するはずの画素が存在しない。オクリュージョン領域Ｒoccでは、正常に生成することができた周辺部のシフト画素データに基づき画素補間を行うことで画素データを生成するので、入力画像信号の再現が困難となることがある。第２実施形態は、この点を改善するものである。
　第２実施形態では、画像信号変換部１５の代わりに図１１に示す画像信号変換部１５２０を用いる。画像信号変換部１５２０は、左目擬似立体視差推定部１５０１，右目擬似立体視差推定部１５０２，左目視差調整部１５０３，右目視差調整部１５０４，左目シフト画像生成部１５０５，右目シフト画像生成部１５０６を備える。左目擬似立体視差生成部１５０１は、特許文献２に記載されているような擬似立体視差生成方法に基づき左目画像信号から左目擬似立体視差値DPT_Lを検出する。左目視差調整部１５０３は、左目擬似立体視差生成部１５０１が検出した左目擬似立体視差値DPT_Lに対して、式（３）に基づきゲイン調整を行う。式（３）のＧは、式（２）と同様に図６に示す擬似立体視差値調整ゲインＧである。
　DPT_L_Gn=DPT_L×G　　…（３）
　左目視差調整部１５０３より出力された調整後左目擬似立体視差値DPT_L_Gnは左目シフト画像生成部１５０５に入力される。調整後左目擬似立体視差値DPT_L_Gnは正負の値をとり、正の値のときは飛び出し方向の視差であることを表し、負の値のときは奥行き方向の視差であることを表す。左目シフト画像生成部１５０５は、調整後左目擬似立体視差値DPT_L_Gnに基づいた画素数だけ入力された左目画像信号をシフトさせて視差調整された左目画像信号（左目シフト画像信号）を生成する。
　本実施形態では、左目擬似立体視差値DPT_Lが正の値のときは、その値に基づいた画素数だけ入力された左目画像信号を右方向にシフトさせた視差調整された左目画像信号を生成し、左目擬似立体視差値DPT_Lが負の値のときはその値に基づいた画素数だけ入力された左目画像信号を左方向にシフトさせた視差調整された左目画像信号を生成する。擬似立体視差値調整ゲインＧがゼロの場合は、調整後左目擬似立体視差値DPT_L_Gnがゼロとなり、入力された左目画像信号が出力される。本実施形態では、左目視差調整部１５０３が求めた調整後左目擬似立体視差値DPT_L_Gnの半分の値をシフト画素数とする。但し、シフト画素数の値はこれに限るものではない。
　図１２を用いて、画像信号変換部１５２０に図９に示す３Ｄステレオ画像ペアが入力された場合に出力される左目画像信号の一例について説明する。図１２（Ａ）は、入力された左目画像信号及び左目視差調整部１５０３が求めた調整後左目擬似立体視差値DPT_L_Gnを示している。左目画像信号に含まれる各図形（被写体）の調整後左目擬似立体視差値DPT_L_Gnは、被写体ＯＢ１が２０、被写体ＯＢ２が０、被写体ＯＢ３が－２０である。各被写体ＯＢ１～ＯＢ３は、簡略化のため被写体内では均一な視差値を有するものとする。
　図１２（Ｂ）は比較のため第１実施形態の画像信号変換部１５が出力する左目画像信号を示している。第１実施形態の画像信号変換部１５では入力された左目画像信号（基準となる画像信号）が、上述したとおり処理を施されずに出力される。従って、図１２（Ａ）に示す左目画像信号と図１２（Ｂ）に示す画像信号変換部１５が出力する左目画像信号とは同一である。図１２（Ｃ）は本実施形態の画像信号変換部１５２０が出力する視差調整された左目画像信号を示す。画像信号変換部１５２０が出力する左目画像信号はオクリュージョン領域Ｒoccを含む。
　図１１に戻り、右目擬似立体視差生成部１５０２は、入力される右目画像信号から右目擬似立体視差値DPT_Rを検出する。右目擬似立体視差生成部１５０２は右目擬似立体視差値DPT_Rを、左目擬似立体視差生成部１５０１と同様の視差生成方法に基づいて検出する。右目視差調整部１５０４は、右目擬似立体視差生成部１５０２が検出した右目擬似立体視差値DPT_Rに対して、式（４）に基づきゲイン調整を行う。式（４）のＧは、式（２），式（３）と同様に図６に示す擬似立体視差値調整ゲインＧである。
　DPT_R_Gn=DPT_R×G　　…（４）
　右目視差調整部１５０４より出力された調整後右目擬似立体視差値DPT_R_Gnは右目シフト画像生成部１５０６に入力される。調整後右目擬似立体視差値DPT_R_Gnも調整後左目擬似立体視差値DPT_L_Gnと同様に正負の値をとり、正の値のときは飛び出し方向の視差であることを表し、負の値のときは奥行き方向の視差であることを表す。右目シフト画像生成部１５０６は、調整後右目擬似立体視差値DPT_R_Gnに基づいた画素数だけ入力された右目画像信号をシフトさせて視差調整された右目画像信号（右目シフト画像）を生成する。シフト方向は、左目シフト画像生成部１５０５と反対になるよう設定する。
　右目シフト画像生成部１５０６は、調整後右目擬似立体視差値DPT_R_Gnが正の値のときは、その値に基づいた画素数だけ入力された右目画像信号を左方向にシフトさせた視差調整された右目画像信号を生成し、調整後右目擬似立体視差値DPT_R_Gnが負の値のときはその値に基づいた画素数だけ右目画像信号を右方向にシフトさせた視差調整された右目画像信号を生成する。擬似立体視差値調整ゲインＧが０の場合は、調整後右目擬似立体視差値DPT_R_Gnがゼロとなり、入力された右目画像信号が出力される。本実施形態では、右目視差調整部１５０４が求めた調整後右目擬似立体視差値DPT_R_Gnの半分の値をシフト画素数とする。但し、シフト画素数の値はこれに限るものではない。
　図１３を用いて、画像信号変換部１５２０に図９に示す３Ｄステレオ画像ペアが入力された場合に出力される右目画像信号の一例について説明する。図１３（Ａ）は、入力された右目画像信号及び右目視差調整部１５０４が求めた調整後右目擬似立体視差値DPT_R_Gnを示している。右目画像信号に含まれる各図形（被写体）の調整後右目擬似立体視差値DPT_R_Gnは、被写体ＯＢ１が２０、被写体ＯＢ２が０、被写体ＯＢ３が－２０である。各被写体ＯＢ１～ＯＢ３は、簡略化のため被写体内では均一な視差値を有するものとする。
　図１３（Ｂ）は比較のため第１実施形態の画像信号変換部１５が出力する右目画像信号を示している。第１実施形態では、擬似立体視差合成部１５２により３Ｄ信号視差値DPTと擬似立体視差値DPT_2Dとが合成された合成視差値DPT_MIXを用いて左目画像信号を画素シフトさせて、右目画像信号を生成する。そのため、図１３（Ｂ）に示すように、オクリュージョン領域Ｒoccが広大となる。図１３（Ｃ）は本実施形態の画像信号変換部１５２０が出力する視差調整された右目画像信号を示す。被写体ＯＢ１は右方向に１０画素シフトされ、被写体ＯＢ３は左方向に１０画素シフトされている。画像信号変換部１５２０が出力する右目画像信号はわずかなオクリュージョン領域Ｒoccを含む。
　第１実施形態による図１３（Ｂ）では、被写体ＯＢ１、被写体ＯＢ３が視差値と同じ画素数分シフトさせられた画像が右目画像信号となる。第２実施形態による図１３（Ｃ）では、視差値の半分の値をシフト画素数とするため、第１実施形態よりも小さいオクリュージョン領域Roccとなる。
　画像信号変換部１５２０を有する第２実施形態の立体画像生成装置は、入力ステレオ画像ペアとして画像内で視差の差が閾値TH2より大きい画像信号、即ち、立体度Ｆが１であり、擬似立体視差値調整ゲインＧがゼロとなる画像信号が入力された場合には、画像信号をそのまま出力する。画像信号変換部１５２０が式（３），式（４）に基づき算出する左目擬似立体視差値DPT_L_Gn及び右目擬似立体視差値DPT_R_Gnの値が０となり、入力された画像信号に対する画素シフトが行われないため、入力画像信号を劣化させることなく出力することができる。
　画像信号変換部１５２０は、左目画像信号及び右目画像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を立体度Ｆに基づいて求め、画素シフト量に基づいてシフトさせたシフト映像信号を生成する。立体度Ｆは３Ｄ信号視差検出部１３にて求められた３Ｄ信号視差値DPTに基づいて算出される。画像信号変換部１５２０は、単眼用映像信号より左目擬似立体視差値DPT_L，右目擬似立体視差値DPT_Rを算出する擬似立体視差推定部１５０１，１５０２を備え、画素シフト量を立体度Ｆと左目擬似立体視差値DPT_L，右目擬似立体視差値DPT_Rに基づいて算出する。
　なお、本実施形態では、左目画像信号から視差調整された左目画像信号を生成する左目用擬似立体視差生成部（１５０１，１５０３，１５０５）と右目画像信号から視差調整された右目画像信号を生成する右目用擬似立体視差生成部（１５０２，１５０４，１５０６）とを別々に設けているが、これに限定されるものではない。左目擬似立体視差推定部１５０１より出力された左目擬似立体視差値DPT_Lを右目視差調整部１５０４にも入力させることで、後段の左目シフト画像生成部１５０５と右目シフト画像生成部１５０６を１つのシフト画像生成部とする構成にしてもよい。
　入力３Ｄステレオ画像ペアにおいて画像内のオブジェクトは右目と左目で同じ画素位置に存在するとは限らない。そのため、擬似立体視差生成部を１つとする構成にすると、左目のオブジェクトに対して求めた擬似立体視差値を用いた場合、左目シフト画像ではオブジェクトを画素シフトできるものの、右目シフト画像ではオブジェクト以外の画像をシフトしてしまうことになる場合もある。従って、左目用と右目用に別々の擬似立体視差生成部を設ける方が理想的である。
＜第３実施形態＞
　図１４を用いて第３実施形態の立体画像生成装置１０３について説明する。第３実施形態の立体画像生成装置１０３は、入力信号取得部１１ｂと立体度算出部１４３０と画像信号変換部１５３０とを備え、３Ｄ信号視差検出部１３を備えていない点で、第２実施形態の立体画像生成装置と異なる。以下、第２実施形態と異なる部分のみについて説明する。
　入力信号取得部１１ｂは、３Ｄ映像信号、３Ｄフォーマット識別信号、及び撮影情報データを３Ｄ信号記録装置２から取得する。ここでいう撮影情報データとは、被写体距離情報、撮影シーンモード情報、レンズ焦点距離情報など、３Ｄ映像信号が撮影された際の様々な情報である。代表的なものとしては、写真画像に含まれているＥｘｉｆデータなどがある。入力信号取得部１１ｂは、撮影情報データを取得して立体度算出部１４３０に出力する。
　立体度算出部１４３０は、入力信号取得部１１ｂによって取得された撮影情報データに基づき立体度Ｆを算出する。図１５に立体度算出部１４３０の詳細な構成を示す。立体度算出部１４３０は、情報抽出部１４０１と、閾値比較部１４０２とを備える。情報抽出部１４０１は、入力された撮影情報データから被写体距離情報を抽出し、被写体距離情報Ｌとして出力する。閾値比較部１４０２は、図１６に示すように、被写体距離情報Ｌと閾値TH3と閾値TH4とを比較し、立体度Ｆを出力する。閾値TH3，TH4の値は適宜設定すればよい。
　被写体距離情報Ｌが閾値TH3より小さい場合、立体度Ｆの値は１となる。被写体距離情報Ｌが閾値TH3と閾値TH4との間では、立体度Ｆは１から０へ線形に減少する値となる。被写体距離情報Ｌが閾値TH4より大きい場合、立体度Ｆの値は０となる。
　画像信号変換部１５３０は、立体度算出部１４３０が算出した立体度Ｆに基づいて、左目画像信号及び右目画像信号のうち少なくとも一方の単眼用映像信号の画素をシフトさせる画素シフト量を算出する。また、画像信号変換部１５３０は、単眼用映像信号より擬似立体視差値を算出する擬似立体視差算出部を備え、立体度Ｆと擬似立体視差値に基づいて画素シフト量を算出する。
　以上のように、第３実施形態における立体画像生成装置１０３では、撮影情報データに基づき入力ステレオ画像ペアの立体度Ｆを判定する。これにより、被写体距離などの各種の撮影条件に応じて適切に立体度Ｆを判定できる。
＜第４実施形態＞
　遠景画像を表示した場合、画像内に存在する被写体間の前後感は得られるものの、被写体自体の立体感が乏しく個々の被写体が平面的に見えてしまう場合がある。これを書き割り現象（または書き割り効果）と称している。書き割り現象が生じた場合、リアルな３Ｄ画像とはならない。第４実施形態は、第１～第３実施形態と同様、立体感のある立体画像を生成し、さらに、個々の被写体の立体感を改善するように構成したものである。
　図１７において、第４実施形態の立体画像生成装置１０４は、画像信号変換部１５４０と、書き割り度判定部１６とを備える点が第１実施形態の立体画像生成装置１０１と異なる。書き割り現象の程度を書き割り度と称することとする。
　立体画像生成装置１０４の各部の動作について図１８のフローチャートを参照しながら説明する。ステップＳ１１～ステップＳ１４は、図２に示す第１実施形態の立体画像生成装置１０１の各部の動作ステップＳ１～ステップＳ４と同じ動作であるため、説明を省略する。ステップＳ１５は図１７に示す書き割り度判定部１６の動作であり、ステップＳ１６は図１７に示す画像信号生成部１５４０の動作である。書き割り度判定部１６は、３Ｄ信号視差値DPTに基づいて、３Ｄ映像信号の書き割り度を判定する（ステップＳ１５）。
　図１９を用いて、書き割り度判定部１６の具体的構成及び動作について説明する。図１９に示すように、書き割り度判定部１６は、最大視差値検出部１６１，最小視差値検出部１６２，差分算出部１６３，視差値正規化部１６４，ヒストグラム検出部１６５，ピークヒストグラム幅算出部１６６，閾値比較部１６７を備える。最大視差値検出部１６１，最小視差値検出部１６２，差分算出部１６３は、図３の立体度判定部１４内の最大視差値検出部１４１，最小視差値検出部１４２，差分算出部１４３と同様に動作する。最大視差値検出部１４１，最小視差値検出部１４２，差分算出部１４３と、最大視差値検出部１６１，最小視差値検出部１６２，差分算出部１６３とを共用化してもよい。
　視差値正規化部１６４には、３Ｄ信号視差値DPTと最小３Ｄ信号視差値DPT_MINと３Ｄ視差差分値DIFとが入力される。視差値正規化部１６４は、式（５）に基づいて３Ｄ信号視差値DPTをオフセットさせて、オフセット視差値DPT_OFSとする。３Ｄ信号視差値DPTをオフセット視差値DPT_OFSに変換することによって、３Ｄ信号視差値DPTの最小値が０となり、オフセット視差値DPT_OFSは正の値となる。
　DPT_OFS=DPT-DPT_MIN　　…（５）
　さらに、視差値正規化部１６４は、式（６）に基づいてオフセット視差値DPT_OFSを正規化して、正規化視差値DPT_Nとする。視差値正規化部１６４での正規化処理は、後段のヒストグラム検出部１６５で視差値のヒストグラムを検出する際に、検出レンジを常にフルレンジとするために行う。オフセット視差値DPT_OFSを正規化して正規化視差値DPT_Nとすることにより、正規化視差値DPT_Nは０～２５５の範囲で整数値をとる。ここでは８ビットに正規化したが、正規化するレンジは８ビットに限定されない。
　DPT_N=DPT_OFS×255/DIF　　…（６）
　ヒストグラム検出部１６５は、正規化視差値DPT_Nのヒストグラムを検出する。ヒストグラム検出部１６５は、正規化視差値DPT_Nの各値に対応した２５６個のカウンタD_CNT[i]（iは０～２５５の整数）を備える。カウンタD_CNT[i]は正規化視差値DPT_Nの各値がいくつ存在するかをカウントする。ヒストグラム検出部１６５は、カウンタD_CNT[i]のカウント値に２５５を乗じ、３Ｄ映像信号の総画素数で割って正規化した値を視差値ヒストグラムD_HIST[i]（iは０～２５５の整数）として出力する。
　ピークヒストグラム幅算出部１６６は、視差値ヒストグラムD_HIST[i]に基づいて、ピークヒストグラム幅D_HIST_WIDを算出する。
　図２０のフローチャートを用いて、ピークヒストグラム幅算出部１６６の具体的な動作について説明する。ピークヒストグラム幅算出部１６６は、ステップＳ１０１～Ｓ１０６にて、視差値ヒストグラムD_HIST[i]の中から最大値を示すiの値をI_MAXとして求める。図２０において、iは０～２５５の整数、tempはそれぞれの時点における一時的な最大値、temp_iは０～２５５のいずれかを示す値である。図２０において、ステップＳ１０１にてi=0，temp=0，temp_i=0に設定し、ステップＳ１０２にてi<256であるか否かを判定する。
　ステップＳ１０２にてi<256であれば（YES）、ステップＳ１０３にてD_HIST[i]>tempであるか否かを判定する。D_HIST[i]>tempであれば（YES）、ステップＳ１０４にてtemp=D_HIST[i]、temp_i=iに設定し、ステップＳ１０５にてi=i+1としてステップＳ１０２に戻る。ステップＳ１０３にてD_HIST[i]>tempでなければ（NO）、ステップＳ１０５にてi=i+1としてステップＳ１０２に戻る。ステップＳ１０２にてi<256でなければ（NO）、ステップＳ１０６にてI_MAX=temp_iとする。これにて、最大値を示すiの値がI_MAXとして検出される。
　ピークヒストグラム幅算出部１６６は、ステップＳ１０７～Ｓ１１３にてiの値をI_MAXから１ずつ増やしていき、D_HIST[i]が最初に所定の閾値TH_HISTより小さくなるiの値をI_Pとして求める。ステップＳ１０７にてi=I_MAXとし、ステップＳ１０８にてi=i+1とし、ステップＳ１０９にてi<256であるか否かを判定する。i<256でなければ（NO）、ステップＳ１１０にてtemp_i=255としてステップＳ１１３に移行させ、i<256であれば（YES）、ステップＳ１１１にてD_HIST[i]<TH_HISTであるか否かを判定する。
　D_HIST[i]<TH_HISTであれば（YES）、ステップＳ１１２にてtemp_i=iとしてステップＳ１１３に移行させ、D_HIST[i]<TH_HISTでなければ（NO）、ステップＳ１０８に戻す。ステップＳ１１３にてI_P=temp_iとする。これにて、iの値をI_MAXから１ずつ増やして、D_HIST[i]が最初に閾値TH_HISTより小さくなるI_Pのiの値が検出される。
　ピークヒストグラム幅算出部１６６は、ステップＳ１１４～Ｓ１２０にてiの値をI_MAXから１ずつ減らしていき、D_HIST[i]が最初に所定の閾値TH_HISTより小さくなるiの値をI_Mとして求める。ステップＳ１１４にてi=I_MAXとし、ステップＳ１１５にてi=i-1とし、ステップＳ１１６にてi>0であるか否かを判定する。i>0でなければ（NO）、ステップＳ１１７にてtemp_i=0としてステップＳ１２０に移行させ、i>0であれば（YES）、ステップＳ１１８にてD_HIST[i]<TH_HISTであるか否かを判定する。
　D_HIST[i]<TH_HISTであれば（YES）、ステップＳ１１９にてtemp_i=iとしてステップＳ１２０に移行させ、D_HIST[i]<TH_HISTでなければ（NO）、ステップＳ１１５に戻す。ステップＳ１２０にて、I_M=temp_iとする。これにて、iの値をI_MAXから１ずつ減らして、D_HIST[i]が最初に閾値TH_HISTより小さくなるI_Mのiの値が検出される。最後に、ステップＳ１２１にて、I_PからI_Mを減算してピークヒストグラム幅D_HIST_WIDを算出する。
　入力された３Ｄ映像信号による画像が図２１に示すような画像であったとする。図２１の画像は、遠景を背景として人物を撮影したような構図を示している。図２１に示す構図は、被写体として、空ＳＫ，山ＭＴ，木ＴＲ，人物ＰＮを含んでいる。図２１に示す画像を３Ｄ映像信号とした場合、iの値と視差値ヒストグラムD_HIST[i]との関係は図２２のようになる。視差値ヒストグラムD_HIST[i]における空ＳＫ，山ＭＴ，木ＴＲ，人物ＰＮそれぞれの部分を破線にて囲んで示している。視差値ヒストグラムD_HIST[i]の最大値は山ＭＴに基づくヒストグラムの部分にあり、I_MAXは６４である。I_Pは６７、I_Mは６１であり、ピークヒストグラム幅D_HIST_WIDは６となる。
　図１９に戻り、閾値比較部１６７は、ピークヒストグラム幅算出部１６６より入力されたピークヒストグラム幅D_HIST_WIDと、所定の閾値TH5，TH6とを比較して書き割り度Ｋを算出する。図２３に示すように、ピークヒストグラム幅D_HIST_WIDが閾値TH5より小さければ書き割り度Ｋは１、ピークヒストグラム幅D_HIST_WIDが閾値TH6より大きければ書き割り度Ｋは０となる。ピークヒストグラム幅D_HIST_WIDが閾値TH5と閾値TH6との間では、書き割り度Ｋは１から０へと線形に減少する値となる。
　３Ｄ映像信号による画像の中で最も面積を占めている被写体内の視差値の差が小さくなるほど、書き割り現象として認識されやすくなり、書き割り度Ｋは高い値となる。
　図１７，図１８に戻り、画像信号変換部１５４０には、立体度Ｆと書き割り度Ｋとが入力される。画像信号変換部１５４０は、３Ｄ信号デコード部１２より出力されたステレオ画像ペアである左目画像信号と右目画像信号とのうちの少なくとも一方の信号の画素をシフトさせて視差を調整して出力する（ステップＳ１６）。画像信号変換部１５４０は、例えば特許文献１に記載されているような疑似立体画像生成装置を応用することによって実現できる。
　図２４を用いて、画像信号変換部１５４０の具体的構成及び動作について説明する。図２４に示すように、画像信号変換部１５４０は、基本奥行きモデル視差生成部１５４１，左目擬似凹凸視差生成部１５４２，右用擬似凹凸視差生成部１５４３，左目視差調整部１５４４，右目視差調整部１５４５，左目シフト画像生成部１５４６，右目シフト画像生成部１５４７を備える。
　基本奥行きモデル視差生成部１５４１は、基本奥行きモデルを複数備えている。図２５～図２７は基本奥行きモデルの例を示している。基本奥行きモデルとは画面全体の視差値を決定するためのモデルであり、平面上のそれぞれの画素を図２５～図２７に示すような非平面形状の特性が有する飛び出し方向または奥行き方向にシフトさせる計算式にて構成することができる。基本奥行きモデル視差生成部１５４１は、入力された左目画像信号の特徴に基づいて複数の基本奥行きモデルから１つを選択したり、複数の基本奥行きモデルを混合させたりして、基本奥行きモデル視差値DPT_MDLを出力する。基本奥行きモデル視差値DPT_MDLは、正の値のときには飛び出し方向、負の値のときは奥行き方向の視差を意味する。
　ここでは、左目画像信号の特徴に基づいて基本奥行きモデル視差値DPT_MDLを生成したが、右目画像信号の特徴に基づいて基本奥行きモデル視差値DPT_MDLを生成してもよく、左目画像信号及び右目画像信号双方の特徴に基づいて基本奥行きモデル視差値DPT_MDLを生成してもよい。基本奥行きモデル視差生成部１５４１は、３Ｄ映像信号による画像の構図に応じて設定する画面全体の立体形状を表す視差値を示す視差値データを生成する視差生成部である。
　左目擬似凹凸視差生成部１５４２は、入力された左目画像信号の特徴から画像内の被写体の凹凸情報を画素単位で推測して、左目擬似凹凸視差値DPT_EMBS_Lとして出力する。人間は、凹凸情報を推測する際に赤い物が手前に位置しているように認識しやすいという視覚特性を有する。左目擬似凹凸視差生成部１５４２は、この視覚特性を利用し、式（７）を用いて左目擬似凹凸視差値DPT_EMBS_Lを算出する。式（７）中のR_LEFTとは左目画像信号のＲ信号を表す。
　DPT_EMBS_L= R_LEFT-128　　…（７）
　本実施形態では、Ｒ信号が８ビットで０～２５５の値をとり、Ｒ信号であるR_LEFTが中央値の１２８のとき左目擬似凹凸視差値DPT_EMBS_Lはゼロになる。ここでは、左目擬似凹凸視差値DPT_EMBS_Lを算出する際にＲ信号を用いたが、Ｒ信号に限定されるものではなく、Ｇ信号もしくはＢ信号、または、ＲＧＢ信号のいずれかの組み合わせ、さらには輝度信号を用いて左目擬似凹凸視差値DPT_EMBS_Lを算出してもよい。左目擬似凹凸視差生成部１５４２は、左目画像信号の色成分または輝度成分に基づいて、左目画像信号に与える擬似的な視差値を示す視差値データを生成する視差生成部である。
　左目視差調整部１５４４は、基本奥行きモデル視差生成部１５４１から出力された基本奥行きモデル視差値DPT_MDLと左目擬似凹凸視差生成部１５４２から出力された左目擬似凹凸視差値DPT_EMBS_Lとをゲイン調整しながら合成して調整後左目擬似立体視差値DPT_L_Gnを生成する。左目視差調整部１５４４は、式（８）に基づいて基本奥行きモデル視差値DPT_MDLと左目擬似凹凸視差値DPT_EMBS_Lとを合成する。
　DPT_L_Gn=DPT_MDL×Gf+DPT_EMBS_L×Gk　　…（８）
　式（８）中のGfは基本奥行きモデル視差値DPT_MDLに対するゲインである。ゲインGfは図２８に示すような特性を有し、立体度Ｆに応じた値となる。ゲインGfは、立体度Ｆが０のときG1なる任意の設定値であり、立体度Ｆが１に近付くに従って線形的に減少し、立体度Ｆが１のとき０となる。式（８）中のGkは左目擬似凹凸視差値DPT_EMBS_Lに対するゲインである。ゲインGkは図２９に示すような特性を有し、書き割り度Ｋに応じた値となる。ゲインGkは、書き割り度Ｋが０のとき０であり、書き割り度Ｋが１に近付くに従って線形的に増加し、書き割り度Ｋが１のときG2なる任意の設定値となる。
　ゲインGfが図２８に示すような特性を有し、ゲインGkが図２９に示すような特性を有するので、入力されたステレオ画像ペア（３Ｄ映像信号）による画像の被写体の前後感が乏しいときは基本奥行きモデル視差値DPT_MDLが強調され、ステレオ画像ペアによる画像内の被写体自体の凹凸感（立体感）が乏しいときは左目擬似凹凸視差値DPT_EMBS_Lが強調される。
　左目シフト画像生成部１５４６は、左目視差調整部１５４４より出力された調整後左目擬似立体視差値DPT_L_Gnに基づいて、左目画像信号の画素をシフトして左目シフト画像を生成する。左目シフト画像は視差調整された左目画像信号として出力される。
　図９及び図３０を用いて、左目シフト画像生成部１５４６におけるシフト画像の生成方法について説明する。上述のように、図９は入力ステレオ画像ペアの一例であり、被写体ＯＢ１は飛び出し方向の視差を有し、被写体ＯＢ２は視差なし、被写体ＯＢ３は奥行き方向の視差を有している。図３０（Ａ）は、調整後左目擬似立体視差値DPT_L_Gnが示す視差値の例を示している。ここでは簡略化のため被写体ＯＢ１～ＯＢ３それぞれの被写体内では視差値が均一となっているとし、被写体ＯＢ１は視差２０、被写体ＯＢ２は視差０、被写体ＯＢ３は視差－２０であるとする。
　左目シフト画像生成部１５４６は、それぞれの視差値の半分の値を画素シフト量とし、値が正なら右方向に値が負なら左方向に被写体の画素をシフトさせる。図３０（Ｂ）は左目シフト画像を示している。被写体ＯＢ１は右方向に１０画素シフトされて被写体ＯＢ1s1となっており、被写体ＯＢ３は左方向に１０画素シフトされて被写体ＯＢ3s1となっている。被写体ＯＢ１，ＯＢ３をシフトすることによって、被写体ＯＢ１，ＯＢ３と被写体ＯＢ1s1，ＯＢ3s1との差の部分は正しい被写体の画素が存在しないオクリュージョン領域Ｒoccとなる。左目シフト画像生成部１５４６は、オクリュージョン領域Ｒocc内の画素を、その画素に対して左右水平方向に存在する正しくシフトすることができた画素の中から、最も近傍の画素の情報を用いて補間する。
　右目擬似凹凸視差生成部１５４３は、左目擬似凹凸視差生成部１５４２と同様に、入力された右目画像信号の特徴から画像内の被写体の凹凸情報を画素単位で推測して、右目擬似凹凸視差値DPT_EMBS_Rとして出力する。右目擬似凹凸視差生成部１５４３は、式（９）を用いて右目擬似凹凸視差値DPT_EMBS_Rを算出する。式（９）中のR_RIGHTとは右目画像信号のＲ信号を表す。ここでも、Ｒ信号に限定されるものではなく、Ｇ信号もしくはＢ信号、または、ＲＧＢ信号のいずれかの組み合わせ、さらには輝度信号を用いてもよい。
　DPT_EMBS_R= R_RIGHT-128　　…（９）
　右目擬似凹凸視差生成部１５４３は、右目画像信号の色成分または輝度成分に基づいて、右目画像信号に与える擬似的な視差値を示す視差値データを生成する視差生成部である。
　右目視差調整部１５４５は、左目視差調整部１５４４と同様に、基本奥行きモデル視差生成部１５４１から出力された基本奥行きモデル視差値DPT_MDLと右目擬似凹凸視差生成部１５４３から出力された右目擬似凹凸視差値DPT_EMBS_Rとをゲイン調整しながら合成して調整後右目擬似立体視差値DPT_R_Gnを生成する。右目視差調整部１５４５は、式（１０）に基づいて基本奥行きモデル視差値DPT_MDLと右目擬似凹凸視差値DPT_EMBS_Rとを合成する。
　DPT_R_Gn=DPT_MDL×Gf+DPT_EMBS_R×Gk　　…（１０）
　右目視差調整部１５４５でも同様に、入力されたステレオ画像ペア（３Ｄ映像信号）による画像の被写体の前後感が乏しいときは基本奥行きモデル視差値DPT_MDLが強調され、ステレオ画像ペアによる画像内の被写体自体の凹凸感（立体感）が乏しいときは右目擬似凹凸視差値DPT_EMBS_Rが強調される。
　右目シフト画像生成部１５４７は、右目視差調整部１５４５より出力された調整後右目擬似立体視差値DPT_R_Gnに基づいて、右目画像信号の画素をシフトして右目シフト画像を生成する。右目シフト画像は視差調整された右目画像信号として出力される。
　図３１（Ａ）は、調整後右目擬似立体視差値DPT_R_Gnが示す視差値の例を示しており、被写体ＯＢ１は視差２０、被写体ＯＢ２は視差０、被写体ＯＢ３は視差－２０である。右目シフト画像生成部１５４７は、それぞれの視差値の半分の値を画素シフト量とし、値が正なら左方向に値が負なら右方向に被写体の画素をシフトさせる。図３１（Ｂ）は右目シフト画像を示している。被写体ＯＢ１は左方向に１０画素シフトされて被写体ＯＢ1s2となっており、被写体ＯＢ３は右方向に１０画素シフトされて被写体ＯＢ3s2となっている。
　被写体ＯＢ１，ＯＢ３をシフトすることによって、被写体ＯＢ１，ＯＢ３と被写体ＯＢ1s2，ＯＢ3s2との差の部分は正しい被写体の画素が存在しないオクリュージョン領域Ｒoccとなる。図３１（Ｂ）では、被写体ＯＢ３が右方向にシフトしたことによって、図３１（Ａ）の元の画像で被写体ＯＢ２と被写体ＯＢ３とが重なっていた領域に被写体ＯＢ３の画素が存在しなくなり、この部分もオクリュージョン領域Ｒoccとなる。右目シフト画像生成部１５４７は、オクリュージョン領域Ｒocc内の画素を、その画素に対して左右水平方向に存在する正しくシフトすることができた画素の中から、最も近傍の画素の情報を用いて補間する。
　以上のようにして、立体画像生成装置１０４より出力されたステレオ画像ペアである左目画像信号及び右目画像信号は、ステレオ表示装置３へと供給されて、３Ｄ画像が表示されることになる。
　図３２を用いて本実施形態による効果について説明する。図３２（Ａ）は、図２１の画像のそれぞれの被写体の視差値を概念的に示している。図３２（Ｃ）に示すように、視差がゼロのときの値を１２８、奥行き方向の最大視差を０、飛び出し方向の最大視差を２５５とし、視差を０～２５５で白黒の濃淡で表現している。図３２では、ハッチングを異ならせることによって白黒の濃淡を表現している。図２１に示すように、遠方の風景と人物が同時に写っている場合、本実施形態によらない場合には、図３２（Ａ）に示すように、被写体間の視差の差は表現されるものの、被写体内での視差の差は被写体間の視差の差に比べて小さな値となるため、被写体自体の立体感が乏しく個々の被写体が平面的に見えてしまう。即ち、書き割り現象として視認されてしまう。
　図３２（Ｂ）は、本実施形態によるそれぞれの被写体の視差値を概念的に示している。図３２（Ａ）と図３２（Ｂ）とを比較すれば分かるように、図３２（Ｂ）では、木ＴＲにおける幹と葉の部分で視差に差が付いており、木ＴＲの立体感が表現されている。空ＳＫや山ＭＴも同様に視差に差が付いて表現される。人物ＰＮでも同様に視差に差が付いて顔の立体感が表現される。図３２（Ｂ）では表現されていないが、実際には、例えば木ＴＲにおける幹の中や葉の中でも視差の差が付いて表現される。即ち、書き割り現象が低減される。
　例えば遠景のみを撮影したような構図の場合には、立体度判定部１４で判定される立体度Ｆが比較的低くなる。従って、式（８）及び式（１０）における基本奥行きモデル視差値DPT_MDLに対するゲインGfは比較的大きな値となり、立体感が改善される。
　図２１に示すような遠景を背景として人物を撮影したような構図の場合には、立体度判定部１４で判定される立体度Ｆが比較的高くなる。従って、式（８）及び式（１０）における基本奥行きモデル視差値DPT_MDLに対するゲインGfは比較的小さな値となり、ゲインGfによる立体感の改善はわずかとなる。一方、書き割り度判定部１６で判定される書き割り度Ｋが比較的高くなる。従って、式（８），式（１０）における左目擬似凹凸視差値DPT_EMBS_L，右目擬似凹凸視差値DPT_EMBS_Rに対するGkが比較的高くなり、書き割り現象が低減されることとなる。
　本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。画像信号変換部１５４０では、左目画像信号と右目画像信号の一方のみの画素シフト量を求め、左目画像信号と右目画像信号の一方のみ視差を調整したシフト画像としてもよい。
　また、本実施形態では２視点映像信号を対象とし、画素をシフトさせることによって書き割り現象が生じるような構図における個々の被写体の立体感を改善したが、任意の複数視点映像信号の画素をシフトさせることによって同様に個々の被写体の立体感を改善することが可能である。即ち、本発明の立体画像生成装置及び立体画像生成方法は、２視点映像信号を対象とする場合に限定されることはなく、３視点以上の多視点映像信号を対象とすることもできる。
　本発明は、２視点または３視点以上の複数の視点よりなる３Ｄ映像信号を取り扱う任意の電子機器に適用できる。３Ｄ映像信号を記録する記録装置内に本発明の構成を設けてもよいし、３Ｄ映像信号を表示する表示装置内に本発明の構成を設けてもよい。任意の電子機器において、３Ｄコンテンツの立体感を改善する際に利用できる。

Claims (16)

  1. 　立体映像信号における左目画像信号と右目画像信号との間の視差値を検出する視差値検出部と、
    　前記視差値検出部によって検出された視差値に基づいて前記立体映像信号の立体度を判定する立体度判定部と、
    　前記立体度に応じて、前記左目画像信号と前記右目画像信号との少なくとも一方の信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量だけ前記左目画像信号または前記右目画像信号の画素をシフトさせる画像信号変換部と、
    　を備えることを特徴とする立体画像生成装置。
  2. 　前記視差値検出部によって検出された視差値に基づいて、前記立体映像信号に含まれる被写体に書き割り現象が生じている程度を示す書き割り度を判定する書き割り度判定部をさらに備え、
    　前記画像信号変換部は、前記立体度及び前記書き割り度に応じて、前記左目画像信号と前記右目画像信号との少なくとも一方の信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量だけ対象画像信号の画素をシフトさせることを特徴とする請求項１記載の立体画像生成装置。
  3. 　前記画像信号変換部は、
    　前記左目画像信号と前記右目画像信号のうち一方の信号を基準として擬似立体視差値を求める擬似立体視差推定部と、
    　前記立体度に応じて前記擬似立体視差値と前記視差値とを合成して合成視差値を生成する擬似立体視差合成部と、
    　前記合成視差値を前記画素シフト量として前記左目画像信号または前記右目画像信号の画素をシフトさせるシフト画像生成部と、
    　を備えることを特徴とする請求項１記載の立体画像生成装置。
  4. 　前記画像信号変換部は、
    　前記立体映像信号による画像の構図に応じて設定する画面全体の立体形状を表す視差値を示す第１の視差値データを生成する第１の視差生成部と、
    　前記左目画像信号の色成分、前記右目画像信号の色成分、前記左目画像信号の輝度成分、前記右目画像信号の輝度成分の４つの成分のうち、少なくとも一つの成分に基づいて、前記左目画像信号または前記右目画像信号に与える擬似的な視差値を示す第２の視差値データを生成する第２の視差生成部と、
    　前記立体度及び前記書き割り度に応じて、前記第１の視差値データと前記第２の視差値データとを合成して、前記左目画像信号または前記右目画像信号に対する前記画素シフト量を生成する視差調整部と、
    　を備えることを特徴とする請求項２記載の立体画像生成装置。
  5. 　前記第１の視差生成部は、画面全体の視差値を決定するための複数の基本奥行きモデルを有し、前記立体映像信号による画像の構図に応じて前記複数の基本奥行きモデルから１つを選択して前記第１の視差値データを生成するか、前記複数の基本奥行きモデルから複数を選択して合成することによって前記第１の視差値データを生成することを特徴とする請求項４記載の立体画像生成装置。
  6. 　前記視差調整部は、前記第１の視差値データに対して第１のゲインを乗算した値と、前記第２の視差値データに対して第２のゲインを乗算した値とを加算して前記画素シフト量を生成し、
    　前記立体度が大きいほど前記第１のゲインを小さくし、前記書き割り度が大きいほど前記第２のゲインを大きくする
    　ことを特徴とする請求項４または５に記載の立体画像生成装置。
  7. 　前記書き割り度判定部は、
    　前記視差値検出部が検出した視差値のヒストグラムを検出するヒストグラム検出部と、
    　前記ヒストグラムに基づいて、前記立体映像信号による画像に含まれる被写体のヒストグラムの幅を求めるヒストグラム幅検出部と、
    　前記ヒストグラムの幅と所定の閾値とを比較することによって前記書き割り度を生成する閾値比較部と、
    　を備えることを特徴とする請求項２，４～６のいずれか１項に記載の立体画像生成装置。
  8. 　前記ヒストグラム幅検出部は、前記立体映像信号による画像に含まれる複数の被写体のうち、ヒストグラムの最大値を有する被写体のヒストグラムの幅を求めることを特徴とする請求項７記載の立体画像生成装置。
  9. 　立体映像信号における左目画像信号と右目画像信号の撮影情報に基づいて前記立体映像信号の立体度を判定する立体度判定部と、
    　前記立体度に応じて、前記左目画像信号と前記右目画像信号との少なくとも一方の信号の画素をシフトさせる画素シフト量を求め、前記画素シフト量だけ前記左目画像信号または前記右目画像信号対象画像信号の画素をシフトさせる画像信号変換部と、
    　を備えることを特徴とする立体画像生成装置。
  10. 　立体映像信号における左目画像信号と右目画像信号との間の視差値を検出する視差値検出ステップと、
    　前記視差値検出ステップにて検出された視差値に基づいて前記立体映像信号の立体度を判定する立体度判定ステップと、
    　前記立体度に応じて、前記左目画像信号と前記右目画像信号との少なくとも一方の信号の画素をシフトさせる画素シフト量を求める画素シフト量生成ステップと、
    　前記画素シフト量生成ステップにて生成された前記画素シフト量だけ前記左目画像信号または前記右目画像信号の画素をシフトさせる画像信号変換ステップと、
    　を含むことを特徴とする立体画像生成方法。
  11. 　前記視差値検出ステップにて検出された視差値に基づいて、前記立体映像信号に含まれる被写体に書き割り現象が生じている程度を示す書き割り度を判定する書き割り度判定ステップをさらに含み、
    　前記画素シフト量生成ステップは、前記立体度及び前記書き割り度に応じて、前記左目画像信号と前記右目画像信号との少なくとも一方の信号の画素をシフトさせる画素シフト量を求めることを特徴とする請求項１０記載の立体画像生成方法。
  12. 　前記立体映像信号による画像の構図に応じて設定する画面全体の視差値を示す第１の視差値データを生成する第１の視差生成ステップと、
    　前記左目画像信号の色成分、前記右目画像信号の色成分、前記左目画像信号の輝度成分、前記右目画像信号の輝度成分の４つの成分のうち、少なくとも一つの成分に基づいて、前記左目画像信号または前記右目画像信号に与える擬似的な視差値を示す第２の視差値データを生成する第２の視差生成ステップと、
    　をさらに含み、
    　前記画素シフト量生成ステップは、前記立体度及び前記書き割り度に応じて、前記第１の視差値データと前記第２の視差値データとを合成して、前記左目画像信号または前記右目画像信号に対する前記画素シフト量を生成する
    　ことを特徴とする請求項１１記載の立体画像生成方法。
  13. 　前記第１の視差生成ステップは、前記立体映像信号による画像の構図に応じて、画面全体の視差値を決定するための複数の基本奥行きモデルから１つを選択して前記第１の視差値データを生成するか、前記複数の基本奥行きモデルから複数を選択して合成することによって前記第１の視差値データを生成することを特徴とする請求項１２記載の立体画像生成方法。
  14. 　前記画素シフト量生成ステップは、前記第１の視差値データに対して第１のゲインを乗算した値と、前記第２の視差値データに対して第２のゲインを乗算した値とを加算して前記画素シフト量を生成し、
    　前記立体度が大きいほど前記第１のゲインを小さくし、前記書き割り度が大きいほど前記第２のゲインを大きくする
    　ことを特徴とする請求項１２または１３に記載の立体画像生成方法。
  15. 　前記書き割り度判定ステップは、
    　前記視差値検出ステップにて検出した視差値のヒストグラムを検出するヒストグラム検出ステップと、
    　前記ヒストグラムに基づいて、前記立体映像信号による画像に含まれる被写体のヒストグラムの幅を求めるヒストグラム幅検出ステップと、
    　前記ヒストグラムの幅と所定の閾値とを比較することによって前記書き割り度を生成する書き割り度生成ステップと、
    　を含むことを特徴とする請求項１１～１４のいずれか１項に記載の立体画像生成方法。
  16. 　前記ヒストグラム幅検出ステップは、前記立体映像信号による画像に含まれる複数の被写体のうち、ヒストグラムの最大値を有する被写体のヒストグラムの幅を求めることを特徴とする請求項１５記載の立体画像生成方法。
PCT/JP2012/057717 2011-03-31 2012-03-26 立体画像生成装置及び立体画像生成方法 WO2012133286A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP12765976.1A EP2658269A4 (en) 2011-03-31 2012-03-26 THREE-DIMENSIONAL IMAGE CREATION APPARATUS AND THREE-DIMENSIONAL IMAGE CREATION METHOD
US13/798,230 US9210396B2 (en) 2011-03-31 2013-03-13 Stereoscopic image generation apparatus and stereoscopic image generation method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-077368 2011-03-31
JP2011077368A JP5871113B2 (ja) 2011-03-31 2011-03-31 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
JP2011214072A JP5845780B2 (ja) 2011-09-29 2011-09-29 立体画像生成装置及び立体画像生成方法
JP2011-214072 2011-09-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/798,230 Continuation US9210396B2 (en) 2011-03-31 2013-03-13 Stereoscopic image generation apparatus and stereoscopic image generation method

Publications (1)

Publication Number Publication Date
WO2012133286A1 true WO2012133286A1 (ja) 2012-10-04

Family

ID=46931004

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/057717 WO2012133286A1 (ja) 2011-03-31 2012-03-26 立体画像生成装置及び立体画像生成方法

Country Status (3)

Country Link
US (1) US9210396B2 (ja)
EP (1) EP2658269A4 (ja)
WO (1) WO2012133286A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038690A (zh) * 2013-03-05 2014-09-10 佳能株式会社 图像处理装置、图像拍摄装置及图像处理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6504693B2 (ja) * 2015-01-06 2019-04-24 オリンパス株式会社 撮像装置、操作支援方法及び操作支援プログラム
US10078228B2 (en) 2016-09-29 2018-09-18 Jeremy Paul Willden Three-dimensional imaging system
CN107959846B (zh) * 2017-12-06 2019-12-03 苏州佳世达电通有限公司 影像显示设备及影像显示方法
US11190755B2 (en) * 2019-06-12 2021-11-30 Sony Interactive Entertainment Inc. Asymmetric arrangement of left and right displays to improve image quality for a stereoscopic head-mounted display (HMD)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128195A (ja) * 1999-10-29 2001-05-11 Atr Ningen Joho Tsushin Kenkyusho:Kk 立体画像補正装置、立体画像表示装置および立体画像補正処理プログラムを記録した記録媒体
JP2005026756A (ja) * 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JP4149037B2 (ja) 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
JP2003016427A (ja) 2001-07-02 2003-01-17 Telecommunication Advancement Organization Of Japan ステレオ画像の視差推定方法
JP3673217B2 (ja) 2001-12-20 2005-07-20 オリンパス株式会社 映像表示装置
JP2004104425A (ja) 2002-09-09 2004-04-02 Nippon Hoso Kyokai <Nhk> 視差分布測定方法、視差分布測定装置および視差分布測定プログラム
JP3990271B2 (ja) 2002-12-18 2007-10-10 日本電信電話株式会社 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
JPWO2004084560A1 (ja) * 2003-03-20 2006-06-29 富田　誠次郎 立体映像撮影表示システム
JP2005026800A (ja) 2003-06-30 2005-01-27 Konica Minolta Photo Imaging Inc 画像処理方法、撮像装置、画像処理装置及び画像記録装置
JP2005167310A (ja) 2003-11-28 2005-06-23 Sharp Corp 撮影装置
JP4214529B2 (ja) 2004-12-28 2009-01-28 日本ビクター株式会社 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
US8471898B2 (en) * 2008-02-05 2013-06-25 Disney Enterprises, Inc. Medial axis decomposition of 2D objects to synthesize binocular depth

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128195A (ja) * 1999-10-29 2001-05-11 Atr Ningen Joho Tsushin Kenkyusho:Kk 立体画像補正装置、立体画像表示装置および立体画像補正処理プログラムを記録した記録媒体
JP2005026756A (ja) * 2003-06-30 2005-01-27 Nippon Hoso Kyokai <Nhk> 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム
JP2010045584A (ja) * 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2658269A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104038690A (zh) * 2013-03-05 2014-09-10 佳能株式会社 图像处理装置、图像拍摄装置及图像处理方法
US9521320B2 (en) 2013-03-05 2016-12-13 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and storage medium
CN104038690B (zh) * 2013-03-05 2017-06-20 佳能株式会社 图像处理装置、图像拍摄装置及图像处理方法

Also Published As

Publication number Publication date
EP2658269A1 (en) 2013-10-30
EP2658269A4 (en) 2014-07-09
US20130194385A1 (en) 2013-08-01
US9210396B2 (en) 2015-12-08

Similar Documents

Publication Publication Date Title
KR101856805B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
US8885922B2 (en) Image processing apparatus, image processing method, and program
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
JP5831024B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20120163701A1 (en) Image processing device, image processing method, and program
US9338426B2 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
JP2013527646A5 (ja)
US20130342529A1 (en) Parallax image generating apparatus, stereoscopic picture displaying apparatus and parallax image generation method
WO2012133286A1 (ja) 立体画像生成装置及び立体画像生成方法
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
JP5845780B2 (ja) 立体画像生成装置及び立体画像生成方法
JP5871113B2 (ja) 立体画像生成装置、立体画像生成方法及び立体画像生成プログラム
WO2011158562A1 (ja) 多視点画像符号化装置
JP6217486B2 (ja) 立体画像生成装置、立体画像生成方法、及び立体画像生成プログラム
JP5786807B2 (ja) 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
WO2015191768A1 (en) Stereoscopic video zooming and foreground and background detection in a video
WO2015191767A9 (en) Stereoscopic depth adjustment and focus point adjustment
JP6217485B2 (ja) 立体画像生成装置、立体画像生成方法、及び立体画像生成プログラム
JP6056459B2 (ja) 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム
JP2013017052A (ja) 奥行き信号生成装置、擬似立体画像生成装置、奥行き信号生成方法、および擬似立体画像生成方法
Kaller et al. Hyper stereo base cameras setting for widescreen long distance target shooting application

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12765976

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2012765976

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012765976

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE