WO2013014710A1 - 立体映像調整装置 - Google Patents

立体映像調整装置 Download PDF

Info

Publication number
WO2013014710A1
WO2013014710A1 PCT/JP2011/004243 JP2011004243W WO2013014710A1 WO 2013014710 A1 WO2013014710 A1 WO 2013014710A1 JP 2011004243 W JP2011004243 W JP 2011004243W WO 2013014710 A1 WO2013014710 A1 WO 2013014710A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
region
stereoscopic
parallax
image
Prior art date
Application number
PCT/JP2011/004243
Other languages
English (en)
French (fr)
Inventor
哲也 井谷
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to PCT/JP2011/004243 priority Critical patent/WO2013014710A1/ja
Publication of WO2013014710A1 publication Critical patent/WO2013014710A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Definitions

  • the present invention relates to a stereoscopic image adjusting device that adjusts the amount of parallax between a left-eye image and a right-eye image that form a three-dimensional stereoscopic image.
  • Patent Document 1 there is a device disclosed in Patent Document 1 as a stereoscopic image adjusting device.
  • This stereoscopic image adjustment device can prevent the stereoscopic image from becoming invisible when the parallax between the left-eye image and the right-eye image is enlarged when electronic zoom processing is performed on the stereoscopic image. As described above, the cut-out positions of the left-eye video and the right-eye video are adjusted.
  • This invention is made in view of the said subject, and makes it a subject to provide the three-dimensional-video adjustment apparatus which can eliminate the splitting effect.
  • a stereoscopic video adjustment apparatus includes a video processing unit that receives a stereoscopic video including a left-eye video and a right-eye video and adjusts a parallax amount between the left-eye video and the right-eye video, and video processing An output unit configured to output a stereoscopic video whose parallax amount has been adjusted by the unit to a stereoscopic video display device, and the video processing unit is configured to perform stereoscopic processing on regions where the parallax amount is the same between the left-eye video and the right-eye video.
  • the amount of parallax is adjusted so that the center of the region where the amount of parallax is the same is compared to the edge, so that it appears closer to the user than the display screen on which the stereoscopic video is displayed To do.
  • the stereoscopic video adjusting apparatus includes a video processing unit that receives a non-stereoscopic video and generates a stereoscopic video including a left-eye video and a right-eye video from the non-stereo video, and a video processing unit.
  • An output unit that outputs the generated stereoscopic video, and when the video processing unit generates the stereoscopic video from the non-stereoscopic video, when the user visually recognizes the stereoscopic video, the video processing unit
  • the amount of parallax is adjusted so that the center portion appears to be positioned closer to the user side than the display screen on which the stereoscopic video is displayed compared to the end portion.
  • the parallax amount when the parallax amount is adjusted for a region where the parallax amount is the same between the left-eye video and the right-eye video, the parallax amount when the user visually recognizes the stereoscopic video
  • the amount of parallax is adjusted so that the center of the same area looks closer to the user side than the display screen on which the stereoscopic video is displayed, that is, the center part of the region is the same. Is done. Therefore, a natural three-dimensional effect is given to the regions having the same amount of parallax, and the writing effect is reduced.
  • the center portion of the object included in the non-stereoscopic video is compared with the end portion.
  • the amount of parallax is adjusted so that it appears closer to the user side than the display screen on which the stereoscopic video is displayed, that is, it appears to jump out of the display screen to the user side. Therefore, when a stereoscopic video is generated from a non-stereoscopic video, a natural stereoscopic effect without any special effects is given to the object.
  • FIG. 1 shows a configuration of a video signal reproduction system according to Embodiment 1 of the present invention.
  • the video signal playback system includes a video signal playback device 1, an HDMI cable 2, a 3D television 3, and 3D glasses 4.
  • the video signal reproduction device 1 reproduces and outputs the 3D video signal recorded on the optical disc.
  • the HDMI cable 2 transmits a 3D video signal compliant with the HDMI standard (HDMI: High Definition Multimedia Interface) output from the video signal playback device 1 to the 3D television 3.
  • HDMI standard HDMI: High Definition Multimedia Interface
  • the 3D television 3 displays 3D video based on the 3D video signal input via the HMDI cable 2.
  • the 3D glasses 4 make it possible to stereoscopically view the 3D video signal displayed on the 3D television 3 by being worn by the user.
  • the disc on which 3D video is recorded is played back by the video signal playback device 1, and the playback video signal is input to the 3D television 3 via the HDMI cable 2. Is done.
  • a left-eye video hereinafter simply referred to as “left video”
  • a right-eye video hereinafter simply referred to as “right video”
  • the 3D glasses 4 alternately open and close the left-eye liquid crystal shutter and the right-eye liquid crystal shutter in synchronization with a timing signal transmitted from the 3D television 3 in synchronization with switching between the left video and the right video.
  • the 3D glasses 4 allow the user to visually recognize only the left image with the left eye during the period in which the left image is displayed and only the right image with the right eye during the period in which the right image is displayed.
  • the user can watch 3D video displayed on the 3D television by wearing the 3D glasses 4.
  • FIG. 2 is a diagram showing a configuration of the video signal reproducing device 1 according to Embodiment 1 of the present invention.
  • the video signal reproduction apparatus 1 includes an optical disk 11, an optical pickup 12, a motor 13, a 3D video demodulation circuit 14, a 3D video signal processing circuit 15, an HDMI transmission circuit 16, and an HDMI terminal 17.
  • the 3D video signal is recorded on the optical disc 11.
  • the 3D video signal recorded on the optical disk 11 is H.264. It is compressed by the 264-MVC system.
  • the optical pickup 12 converts a signal recorded on the optical disc 11 into an electric signal.
  • the output of the optical pickup 12 is output to the 3D video demodulation circuit 14.
  • the motor 13 rotates the optical disc 11 at a speed suitable for reproduction.
  • the 3D video demodulation circuit 14 performs error correction on the output signal of the optical pickup 12 and demodulates the original 3D video signal.
  • the video signal reproduction device 1 transmits uncompressed 3D video to the 3D television 3 via the HDMI cable 2.
  • the video signal reproducing apparatus 1 is an H.264 standard. A decoding process is performed on 3D video encoded by the 264-MVC encoding method, and a video signal constituting the 3D video is generated and output. From this, H.H. It is assumed that a demultiplexer and a video decoder necessary for decoding video encoded by the 264-MVC encoding method are mounted in the 3D video demodulation circuit 14.
  • the 3D video signal processing circuit 15 corrects the 3D video signal demodulated by the 3D video demodulation circuit 14 and outputs it as a more natural 3D video signal.
  • the HDMI transmission circuit 16 modulates the output signal of the 3D video signal processing circuit 15 into an HDMI digital video signal suitable for output transmission of the 3D television 3, and outputs it to the 3D television 3 via the HDMI output terminal 17.
  • the HDMI output terminal 17 is a terminal conforming to the HDMI standard.
  • the HDMI output terminal 17 includes terminals for constructing a digitally modulated video signal transmission line, a serial transmission line for mutual communication defined by both VESA / E-DDC and EIA / CEA 861-B standards. .
  • the motor 13 rotates the optical disk 11 at a speed suitable for reproduction.
  • the optical pickup 12 converts the signal optically recorded on the optical disc 11 into an electrical signal and sends it to the 3D video demodulation circuit 14.
  • the 3D video demodulation circuit 14 performs error correction and H.264 based on the input optical pickup output. 264-MVC is demodulated and the left video signal and the right video signal are output to the 3D video signal processing circuit 15. Then, the 3D video signal processing circuit 15 performs processing described below on the left video signal and the right video signal that have been subjected to signal processing, and then the 3D video signal processing circuit 15 sends the signal to the 3D television 3 via the HDMI transmission circuit 16 and the HDMI output terminal 17. Output.
  • FIG. 3 is a diagram illustrating a configuration of the 3D video signal processing circuit 15 according to Embodiment 1 of the present invention.
  • the 3D video signal processing circuit 15 includes a left video line selection unit 21, a right video line selection unit 22, an identical parallax amount region detection unit 23, a left video position correction filter 24, and a right video position correction filter 25.
  • the left video line selection unit 21 sequentially selects, extracts, and outputs a video signal of one horizontal line among a plurality of horizontal lines included in the left video signal of the input 3D video signal.
  • the right video line selection unit 22 extracts a video signal of the same horizontal line selected by the left video line selection unit 21 from a plurality of horizontal lines included in the right video signal of the input 3D video signal. Output.
  • the same parallax amount region detection unit 23 compares the outputs of the left video line selection unit 21 and the right video line selection unit 22 to determine a region having the same parallax amount in the 3D video signal of the selected horizontal line. To detect.
  • the left video position correction filter 24 is a filter that can perform coefficient variable scaling (can be expanded or reduced in the horizontal direction) on a specific portion of the input left video signal.
  • the right video position correction filter 25 is a filter that can perform coefficient variable scaling (enlargement or reduction in the horizontal direction) on a specific portion (position) of the input right video signal.
  • FIG. 4 is a block diagram of the same parallax amount region detection unit 23 according to Embodiment 1 of the present invention.
  • the same parallax amount region detection unit 23 includes a left video register 31, a first selector 32, a first register group 33, a right video register 34, a second selector 35, a second register group 36, and a pixel difference calculation circuit 37. , An integrator 38, a minimum value detection circuit 39, and a pixel position difference determination circuit 40.
  • the left video register 31 holds a video signal for one specific horizontal line of the left video.
  • the left video register 31 is composed of the same number of registers as the pixels constituting one horizontal line.
  • the first selector 32 stores video signals for five consecutive pixels from a specific position of the left video register 31 in the first register group 33.
  • the first register 33 holds video signals for five consecutive pixels from a specific position of the left video register 31 provided from the first selector 32.
  • the right video register 34 holds a video signal for a specific horizontal line of the right video.
  • the right video register 34 is composed of the same number of registers as the pixels constituting one horizontal line.
  • the second selector 35 stores video signals for five consecutive pixels from a specific position of the right video register 34 in the second register group 36.
  • the second register group 36 holds video signals for five consecutive pixels from a specific position of the right video register 34 given by the second selector 35.
  • the pixel difference calculation circuit 37 obtains the absolute value of the difference between each of the five registers of the first register group 33 and the second register group 36.
  • the integrator 38 calculates the sum of the five outputs of the pixel difference calculation circuit 37.
  • the minimum value detection circuit 39 is a circuit that detects the timing when the output of the integrator 38 becomes the minimum value.
  • the pixel position difference determination circuit 40 determines how many pixels the right image is deviated from the left image based on the pixel position selected by the second selector 35 when the minimum value is determined by the minimum value detection circuit 39. Is a circuit for determining
  • the line register 41 is a circuit that stores the output of the pixel position difference determination circuit 40 for one horizontal line.
  • the line register 41 is configured by the same number of registers as the pixels constituting one horizontal line.
  • FIG. 5 is a diagram for explaining an effect produced by the 3D video signal processing circuit 15 according to the first embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an operation of the same parallax amount region detection unit 23 according to Embodiment 1 of the present invention.
  • FIG. 5 (a) shows an example of a 3D image in which a writing effect is generated.
  • the 3D video includes a background and an object.
  • the writing effect is generated, a three-dimensional structure is generated in the front-rear direction (direction perpendicular to the screen) between the background and the object.
  • the object is perceived by popping out in front of the background.
  • the object itself has no three-dimensional structure and has a planar structure.
  • “jumping out” of a stereoscopic video means that when the user visually recognizes a 3D video (stereoscopic video), the 3D video appears to be positioned on the user side with respect to the displayed display screen.
  • “drawing” of stereoscopic video means that when the user views the 3D video, the 3D video appears to be located on the side opposite to the user (in the back) across the display screen to be displayed. That means.
  • the depth of stereoscopic video is expressed by the difference in position (parallax) in the horizontal direction between the left video and the right video.
  • the horizontal position difference between the left video and the right video is constant in the object.
  • the object is perceived as having no three-dimensional structure.
  • the difference in the horizontal position between the left video and the right video is represented by the number of pixels, and the number of pixels is examined. Specifically, a predetermined number of pixels selected from a plurality of pixels in one horizontal line in the left video (hereinafter referred to as “left pixel group” as appropriate) and a plurality of pixels in the same horizontal line in the right video For the same number of consecutive pixels selected from the pixels (hereinafter, referred to as “right pixel group” as appropriate), a difference in pixel value is obtained for each of the pixels corresponding in order. Further, the sum of absolute values of the obtained differences is obtained.
  • This calculation is repeated for one horizontal line in the right image to change the position of the right pixel group to be selected to obtain the sum of absolute values of differences, and the right pixel group having the smallest sum of absolute values of differences is obtained.
  • the left pixel group to be selected is changed in one horizontal line in the left image, and similarly, the right pixel group having the smallest sum of absolute values of the differences is obtained. This is performed for all the left pixel groups constituting one horizontal line in the left video.
  • the difference in position between the left and right pixels (pixel group) in each pixel can be obtained.
  • the right video signal is shifted by one pixel to the right at the position indicated by symbol A. It can be seen that the right video signal is shifted 4 pixels to the left.
  • FIG. 6C shows this position difference signal.
  • data of one horizontal line is selected from a plurality of horizontal lines constituting the left video of the 3D video, stored in the left video register 31, and a plurality of horizontal lines constituting the right video of the 3D video.
  • the data for the same horizontal line as the left video is selected from among the images and stored in the right video register 34.
  • the first selector 32 stores, in the first register group 33, signals for five pixels continuous from a predetermined position among the left video signals stored in the left video register 31.
  • the predetermined position starts at the top (left end) pixel and is shifted backward (to the right) one by one each time a series of processing described below is completed.
  • the second selector 35 includes five consecutive pixels starting from a pixel located 20 pixels to the left of the horizontal position selected by the first selector 32 in the right video signal stored in the right video register 34. A pixel is selected and stored in the second register group 36.
  • the pixel difference calculation circuit 37 performs the first pixel-to-second pixel comparison on the 5-pixel video signal stored in the first register group 33 and the 5-pixel video signal stored in the second register group 36.
  • the absolute value of the difference between the minimum values is calculated for each of the third pixel, the fourth pixel, the fourth pixel, and the fifth pixel.
  • the integrator 38 calculates the sum of absolute values of the differences between the five pixels calculated by the pixel difference calculation circuit 37 and stores it in the minimum value detection circuit 39.
  • the second selector 35 selects, from the right video signal stored in the right video register 34, five consecutive pixels located one pixel to the right of the currently selected horizontal position, The data is stored in the second register group 36.
  • the pixel difference calculation circuit 37 obtains the absolute value of the difference between the pixel values stored in each of the five registers of the first register group 33 and the second register group 36.
  • the integrator 38 calculates the sum of the absolute values of the pixel value differences of the five pixels calculated by the pixel difference calculation circuit 37 and stores it in the minimum value detection circuit 39.
  • the second selector 35 continues this calculation until the selected pixel is 20 pixels to the right of the horizontal position selected by the first selector 32.
  • the pixel difference calculation circuit 37 continues the above calculation while shifting the right image one pixel at a time in the horizontal direction with respect to the left image, thereby calculating the sum of the absolute values of the pixel value differences. Get 40. It can be inferred that the image relating to the pixels of the left video and the right video that give the minimum sum is the same pixel in the left video and the right video. The difference in pixel position between the left image and the right image when the sum of the difference between the pixel values is the smallest is the parallax between the left and right images.
  • the minimum value detection circuit 39 detects the combination with the smallest sum among the total of the 40 differences, and outputs the combination of the 40 sums with the smallest sum. To do.
  • the pixel position difference determining circuit 40 determines the pixel combination range from the second selector 35 as to which combination of the 40 sums obtained is the smallest sum obtained. Based on the signal shown, the difference (pixel difference) between the pixel positions of the left and right images at the position of a pixel on one horizontal line of the left image is obtained, and the result is stored in the line register 41.
  • the difference (pixel difference) between the pixel positions of the left and right images at the head of the horizontal line of the left image is obtained.
  • the same processing is repeated by shifting the pixel to be selected in the horizontal line of the left video currently selected by the first selector 32 one pixel backward (to the right), and each of the pixels up to the last pixel in the horizontal line is sequentially repeated.
  • the difference between the left image and the right image at the pixel position is obtained.
  • a position difference signal indicating the result is stored in the line register 41.
  • the same parallax amount region detection unit 23 outputs a position difference signal together with the left video signal and the right video signal.
  • the calculation can be performed by replacing the nonexistent video signal with the value of the first pixel or the value of the last pixel of the right video signal.
  • the number of sums of the absolute values of the pixel differences to be obtained is included in one horizontal line of the left video signal.
  • the number is four less than the number of pixels.
  • the sum is stored in the last four registers of the line register 41. In this case, for example, the sum of absolute values of pixel differences obtained last may be stored.
  • the first two registers of the line register 41 store the sum of the absolute values of the pixel differences obtained first, and the last two registers. For the register, the sum of the absolute values of the pixel differences obtained last may be stored.
  • the right video position correction filter 25 detects the same region in which the position difference signal is continuously based on the position difference signal input from the same parallax amount region detection unit 23. In addition, when the position difference signal continuously detects the same region, the right image position correction filter 25 determines whether or not the position difference signal is a positive value. That is, it is determined whether or not the region where the position difference signal continues is the region on the protruding side. This area on the pop-out side is considered to be an area that appears to be popped out (positioned) from the screen when the user visually recognizes the 3D video.
  • the right image position correction filter 25 determines that the same region where the position difference signal is continuously present is the region on the protruding side, the pixel corresponding to the region where the position difference signal is the same in the right image signal. Then, a correction process described later is performed.
  • the pixel corresponding to the region having the same position difference signal can be determined based on the position difference signal. For example, in the position difference signal, the number of pixels from the top pixel to the top part of the same region and the number of pixels from the end part of the same region are detected. Then, the range indicated by the two pixel numbers in the pixels constituting the right video signal is detected as a range where the writing effect can occur. Then, the correction process described later is performed using the range detected in this way as the correction range.
  • the left image position correction filter 25 performs substantially the same processing as the right image position correction filter 25. However, when determining the correction range for the pixels constituting the left video signal, the left video position correction filter 25 writes the range shifted to the right by the value indicated by the position difference signal from the range indicated by the two pixel numbers. Is detected as a possible range.
  • FIG. 7 is a diagram illustrating operations of the left video position correction filter 25 and the right video position correction filter 25 according to Embodiment 1 of the present invention as described above.
  • the depth in the 3D video is generated by the parallax between the left video and the right video as shown in FIG. If the left image is shifted to the right and the right image is shifted to the left, the image jumps forward.
  • the left and right edges of the object where the detected cracking effect is occurring are left as they are, and by using a nonlinear scaling filter, the depth of the left and right edges of the object is kept as it is, and the object is centered. You can gradually come out as you go.
  • FIG. 7A a predetermined area in one horizontal line constituting the original data of the object included in the right video and the left video is divided into six equal parts in the horizontal direction and divided into six areas 1-6.
  • One region includes a plurality of pixels.
  • the left image position correction filter 24 and the right image position correction filter 25 are set in advance for each of the left image and the right image and for each of the regions 1 to 6 with respect to the respective regions 1 to 6 in the left image and the right image.
  • Multiply by the filter coefficient hereinafter, the filter coefficient for the left video is referred to as “left coefficient” and the filter coefficient for the right video is referred to as “right coefficient”).
  • These coefficients are horizontal enlargement ratios, and by multiplying these coefficients, the horizontal lengths (widths) of the respective areas are enlarged or reduced.
  • FIG. 7B shows a left coefficient to be multiplied to the left video area 1 to 6
  • FIG. 7C shows a right coefficient to be multiplied to the right video area 1 to 6.
  • the left coefficient is set to 1.5, 1.25, 1.125, 0.875, 0.75, 0.5 from the area on the left side of the screen. That is, the left coefficient is set so as to have a larger value in the area on the left side of the screen.
  • the right coefficient is set to 0.5, 0.75, 0.875, 1.125, 1.25, and 1.5 from the area on the left side of the screen. That is, the right coefficient is set to be larger in the area on the right side of the screen, contrary to the left coefficient.
  • FIG. 7 (d) shows the output of the left video position correction filter 24, that is, the result of multiplying the left video regions 1 to 6 by the left coefficient corresponding to each region.
  • FIG. 7E shows the output of the right video position correction filter 26, that is, the result of multiplying the right video regions 1 to 6 by the right coefficient corresponding to each region.
  • the start position (left end) of region 1 is equal to the original, but the boundary between region 1 and region 2, region 2 and The boundary of the region 3, the boundary of the region 3 and the region 4, the boundary of the region 4 and the region 5, and the boundary of the region 5 and the region 6 are respectively positioned to the right of the original boundary position (FIG. 7A). However, it gradually approaches the original boundary position and matches the original boundary position at the end position (right end) of the region 6.
  • the start position (left end) of the region 1 is equal to the original, but the boundary between the region 1 and the region 2 and the boundary between the region 2 and the region 3
  • the boundary between the region 3 and the region 4, the boundary between the region 4 and the region 5, and the boundary between the region 5 and the region 6 are located to the left of the original boundary position, but gradually approach the original boundary position. It again matches the original boundary position at the end position (right end) of 6.
  • FIG. 7 (f) is a diagram for explaining the pop-out amount of the video when stereoscopically viewing the left video whose position has been corrected by the left video position correction filter 24 and the right video whose position has been corrected by the right video position correction filter 25. is there.
  • the screen is moved from the screen to the user side (to the front) at the center position of the object.
  • the pop-out amount becomes the largest, and the pop-out amount decreases as it approaches the both ends of the object, becomes the pop-out amount of the original object at both ends of the object, and looks rounded to the user.
  • the video signal whose position has been corrected as described above is sent to the HDMI transmission circuit 16, converted into a signal conforming to the HDMI 3D transfer standard by the HDMI transmission circuit 16, and 3D television via the HDMI cable 2. Sent to 3.
  • the user can enjoy the 3D image in which the writing effect is eliminated as shown in FIG. 5B by viewing the position-corrected 3D image displayed on the 3D television 3 through the 3D glasses 4. it can.
  • the video signal reproduction apparatus 1 receives a 3D video including a left video and a right video, and adjusts the parallax amount between the left video and the right video. And an HDMI transmission circuit 16 that outputs the stereoscopic video whose parallax amount is adjusted by the 3D video signal processing circuit 15 to the stereoscopic video display device.
  • the 3D video signal processing circuit 15 compares the center portion of the region where the parallax amount is the same with the end when the user visually recognizes the stereoscopic video for the region where the parallax amount is the same between the left video and the right video.
  • the amount of parallax is adjusted so that it appears to be closer to the user side than the display screen of the 3D television 3 on which the stereoscopic video is displayed, that is, to appear to protrude from the display screen of the 3D television 3 to the user side.
  • the video signal reproduction device 1 when the parallax amount is adjusted for a region where the parallax amount is the same between the left video and the right video, when the user visually recognizes the stereoscopic video, The amount of parallax is adjusted so that the center portion of the region where the amount of parallax is the same is projected as compared with the end portion. Therefore, a natural three-dimensional effect is given to the regions having the same amount of parallax, and the writing effect is reduced.
  • the central portion is an end portion with respect to a region (object) other than a region (background portion) existing at the back as viewed from the user.
  • the amount of parallax is adjusted so that it looks like it pops out.
  • the central portion when there are a plurality of regions having the same amount of parallax, the central portion appears to pop out as compared with the end as viewed from the user with respect to the region where the amount of parallax is the amount on the protruding side.
  • the amount of parallax is adjusted as follows.
  • the region where the parallax amount is the amount on the protruding side is highly likely to be a main object. Thereby, this object can be raised from the background in a natural manner.
  • FIG. 8 is a diagram showing a configuration of a video signal reproducing device 1 ′ according to Embodiment 2 of the present invention.
  • the video signal reproduction device 1 ′ includes an optical disc 51, an optical pickup 12, a motor 13, a video demodulation circuit 54, a 3D video conversion circuit 55, an HDMI transmission circuit 16, and an HDMI terminal 17.
  • the optical pickup 12, the motor 13, the HDMI transmission circuit 16, and the HDMI terminal 17 are the same as those in the first embodiment.
  • the 2D video signal is recorded on the optical disc 51.
  • the video signal recorded on the optical disc 51 is MPEG2 or H.264. It is compressed by the 264-AVC format.
  • the video demodulation circuit 54 performs error correction on the output signal of the optical pickup 12 and demodulates the original video signal.
  • the video signal reproduction device 1 ′ transmits uncompressed 3D video to the 3D television 3 via the HDMI cable 2.
  • the video signal reproduction apparatus 1 ' is either MPEG2 or H.264.
  • a decoding process is performed on 2D video encoded by the 264-AVC encoding method, and a video signal is generated and output. Therefore, MPEG2 or H.264 It is assumed that a demultiplexer and a video decoder necessary for decoding 2D video encoded by the 264-AVC encoding method are mounted in the video demodulation circuit 54.
  • the 3D video conversion circuit 55 converts the video signal demodulated by the video demodulation circuit 54 into a 3D video signal and outputs the 3D video signal.
  • the motor 13 rotates the optical disc 51 at a speed suitable for reproduction.
  • the optical pickup 12 converts the signal optically recorded on the optical disc 51 into an electric signal and sends it to the video demodulation circuit 54.
  • the video demodulation circuit 54 performs error correction on the output signal of the optical pickup, and MPEG2 or H.264.
  • the 264-AVC format signal is demodulated and output to the 3D video signal conversion circuit 55.
  • FIG. 9 shows a configuration of the 3D video conversion circuit 55 according to Embodiment 2 of the present invention.
  • the object detection unit 61 separates the background portion of the 2D video indicated by the 2D video signal and the subject (object portion).
  • the left video parallax adjustment unit 62 receives the 2D video signal and generates a left video signal of 3D video in accordance with the output of the object detection unit 61.
  • the right video parallax adjustment unit 63 receives the 2D video signal and generates a right video signal of 3D video according to the output of the object detection unit 61.
  • the motor 13 rotates the optical disk 51 at a speed suitable for reproduction.
  • the optical pickup 12 converts the signal optically recorded on the optical disc 51 into an electrical signal and sends it to the video signal demodulation circuit 54.
  • the video signal demodulation circuit 54 performs error correction and MPEG2 or H.264 based on the input optical pickup output.
  • the 264-AVC is demodulated and output to the 3D video conversion circuit 55.
  • the 3D video conversion circuit 55 performs processing described below on the left video signal and right video signal that have been subjected to signal processing, and then outputs them to the 3D television 3 via the HDMI transmission circuit 16 and the HDMI output terminal 17. To do.
  • the object detection unit 61 extracts a background part and an object part from the reproduced video.
  • FIG. 10 is a diagram for explaining operations of the object detection unit 61, the left video parallax adjustment unit 62, and the right video parallax adjustment unit 63 according to Embodiment 2 of the present invention.
  • the object detection unit 61 of the present embodiment detects an object as follows. That is, the object detection unit 61 has a large luminance difference with respect to a pixel adjacent to a certain direction among all the pixels, and a large luminance difference with respect to a pixel adjacent in another direction. It is determined whether or not there is. If this condition is met, the object detection unit 61 determines that the target pixel is a boundary between the object and the background, that is, a pixel constituting an outline. The object detection unit 61 performs this process for all pixels constituting one screen. Next, based on the pixels constituting the contour detected in this way, a region surrounded by the contour is detected as an object. As a result, the background and the object can be distinguished.
  • FIG. 11 is a diagram illustrating outputs of the left video parallax adjustment unit 62 and the right video parallax adjustment unit 63 for the background portion according to the second embodiment of the present invention.
  • the depth in the 3D image is caused by the parallax between the left image and the right image as shown in FIG. If the left image is shifted to the right and the right image is shifted to the left, the image jumps forward.
  • the depth (protrusion amount) of the left and right edges of the object remains as it is and the depth gradually increases toward the center of the object. Can be pulled into.
  • FIG. 11A a predetermined area in one horizontal line constituting the original data of the object included in the right video and the left video is divided into six equal areas in the horizontal direction and divided into six areas AF.
  • One region includes a plurality of pixels.
  • the left video parallax adjustment unit 62 and the right video parallax adjustment unit 63 are set in advance for each of the left video and the right video and for each of the regions A to F with respect to the areas A to F in the left video and the right video.
  • Multiply by the filter coefficient hereinafter, the filter coefficient for the left video is referred to as “left coefficient” and the filter coefficient for the right video is referred to as “right coefficient”).
  • These coefficients are horizontal enlargement ratios, and by multiplying these coefficients, the horizontal lengths (widths) of the respective areas are enlarged or reduced.
  • FIG. 11B shows a left coefficient that is multiplied by the areas A to F of the left video
  • FIG. 11C shows a right coefficient that is multiplied by the areas A to F of the right video.
  • the left coefficient is set to 0.5, 0.75, 0.875, 1.125, 1.25, 1.5 from the area on the left side of the screen. That is, the left coefficient is set so as to be larger in the area on the right side of the screen.
  • the right coefficient is set to 1.5, 1.25, 1.125, 0.875, 0.75, 0.5 from the area on the left side of the screen. That is, the right coefficient is set to be larger in the area on the right side of the screen, contrary to the left coefficient.
  • FIG. 11 (d) shows the output of the left video parallax adjustment unit 62, that is, the result of multiplying the left video areas A to F by the left coefficient corresponding to each area.
  • FIG. 7E shows the output of the right video parallax adjusting unit 63, that is, the result of multiplying the right video regions A to F by the right coefficient corresponding to each region.
  • the horizontal lengths of the regions A to F change according to the values of the left coefficient and the right coefficient multiplied.
  • the values of the left coefficient and the right coefficient are set to values that do not change the horizontal length of the entire object even if the horizontal lengths of the regions A to F are changed. Thereby, the horizontal length and position of each of the areas A to F in the object can be changed.
  • the start position (left end) of the area A is equal to the original (FIG. 11A).
  • the boundary of B, the boundary of region B and region C, the boundary of region C and region D, the boundary of region D and region E, and the boundary of region E and region F are respectively located to the left of the original boundary position. However, it gradually approaches the original boundary position and matches the original boundary position at the end position (right end) of the region F.
  • the start position (left end) of the area A is equal to the original, but the boundary between the area A and the area B is between the area B and the area C.
  • the boundary, the boundary between the region C and the region D, the boundary between the region D and the region E, and the boundary between the region E and the region F are respectively located to the right of the original boundary position, but gradually approach the original boundary position. It again matches the original position at the end position (right end) of the area F.
  • FIG. 11 (f) shows an image pop-out when stereoscopically viewing the left image whose position has been corrected by the left image parallax adjustment unit 62 and the right image parallax adjustment unit 63 and the right image whose position has been corrected by the right image position correction filter. It is a figure explaining quantity.
  • the pull-in amount to the opposite side (to the back) becomes the largest, the pull-in amount decreases as it approaches the both ends of the screen, becomes the pull-in amount of the original object at both ends of the object, and looks rounded.
  • FIG. 12 is an enlarged view centering on regions C and D shown in FIG. 11 and shows a case where an object is detected in region C. In this case, the object is stuck to the background.
  • the positions of the left end and the right end of the object are kept as they are, and the depth positions of the left end and the right end of the object are You can leave it as it is and gradually jump forward as you approach the center of the object. This will be described in detail below.
  • FIG. 13 is a diagram showing the output of the left video parallax adjustment unit 62 and the output of the right video parallax adjustment unit 63 for the detected object in the second embodiment of the present invention.
  • FIG. 13A shows six predetermined areas in one horizontal line constituting the original data of the objects included in the right video and the left video divided into six equal parts in the horizontal direction as in FIG. 7A.
  • the area C to D is enlarged to the center when the areas A to F are divided.
  • the left video parallax adjustment unit 62 and the right video parallax adjustment unit 63 divide the object detected in the region C in FIG. 13 into the regions C1 to C6 by the same method as in the first embodiment. Then, enlargement / reduction processing is performed on the areas C1 to C6 of these objects.
  • the left video parallax adjustment unit 62 and the right video parallax adjustment unit 63 perform the left video and the right video and the regions C1 to C6 for each of the areas C1 to C6 of the object portion in the left video and the right video. Is multiplied by a preset filter coefficient (hereinafter, the filter coefficient for the left video is referred to as “left coefficient” and the filter coefficient for the right video is referred to as “right coefficient”). These coefficients are horizontal enlargement ratios, and by multiplying these coefficients, the horizontal lengths (widths) of the respective areas are enlarged or reduced.
  • FIG. 13 (b) shows the left coefficient to be multiplied to the left video areas C1 to C6, and FIG. 13 (c) shows the right coefficient to be multiplied to the right video areas C1 to C6.
  • the left coefficient is set to 1.5, 1.25, 1.125, 0.875, 0.75, 0.5 from the area on the left side of the screen. That is, the left coefficient is set so as to have a larger value in the area on the left side of the screen.
  • the right coefficient is set to 0.5, 0.75, 0.875, 1.125, 1.25, and 1.5 from the area on the left side of the screen. That is, the right coefficient is set to be larger in the area on the right side of the screen, contrary to the left coefficient.
  • FIG. 13 (d) shows the output of the left video parallax adjusting unit 62, that is, the result of multiplying the left video regions C1 to C6 by the left coefficient corresponding to each region.
  • FIG. 13 (e) shows the output of the right video parallax adjusting unit 63, that is, the result of multiplying the right video regions C1 to C6 by the right coefficient corresponding to each region.
  • the horizontal lengths of the regions C1 to C6 change according to the values of the multiplied left coefficient and right coefficient.
  • the values of the left coefficient and the right coefficient are set to values that do not change the horizontal length of the entire object even if the horizontal lengths of the regions C1 to C6 are changed. Thereby, the horizontal length and position of each of the areas C1 to C6 in the object can be changed.
  • the start position (left end) of the region C1 is equal to the background, but the boundary between the region C1 and the region C2, the region C2
  • the boundary of the region C3, the boundary of the region C3 and the region C4, the boundary of the region C4 and the region C5, and the boundary of the region C5 and the region C6 are respectively positioned to the right of the original boundary position. It approaches the boundary position (FIG. 13A) and matches the boundary position of the background at the end position (right end) of the region C6.
  • the start position (left end) of the region C1 is equal to the background, but the boundary between the region C1 and the region C2, and the boundary between the region C2 and the region C3.
  • the boundary between the region C3 and the region C4, the boundary between the region C4 and the region C5, and the boundary between the region C5 and the region C6 are respectively located to the left of the original boundary position (FIG. 13A). It approaches the original boundary position and again matches the boundary position of the background at the end position (right end) of the region C6.
  • FIG. 13 (f) is a diagram illustrating the pop-out amount of the video when stereoscopically viewing the left video whose position has been corrected by the left video parallax adjustment unit 62 and the right video whose position has been corrected by the right video parallax adjustment unit 63. is there.
  • FIG. 14 is a diagram for explaining the effect produced by the 3D video conversion circuit 55 in the first embodiment.
  • FIG. 14A shows an example of 2D video before conversion.
  • FIG. 14B shows an example of the converted 3D video.
  • the video includes a background and an object.
  • the position-corrected video signal obtained in this manner is sent to the HDMI transmission circuit 16, converted into a signal conforming to the HDMI 3D transfer standard by the HDMI transmission circuit 16, and 3D ⁇ via the HDMI cable 2. Sent to the TV 3.
  • the user can enjoy a natural 3D video signal by viewing the 3D converted video displayed on the 3D television 3 through the 3D glasses 4.
  • the video signal reproduction apparatus 1 has a 3D video conversion circuit 55 that receives a non-stereoscopic video and generates a stereoscopic video including a left video and a right video from the non-stereo video.
  • An HDMI transmission circuit 16 that outputs a stereoscopic video generated by the 3D video conversion circuit 55, and the 3D video conversion circuit 55 visually recognizes the stereoscopic video when the stereoscopic video is generated from the non-stereo video.
  • the amount of parallax is adjusted so that the center part of the object included in the non-stereoscopic video appears to be located closer to the user side than the screen, that is, appears to protrude from the screen to the user side.
  • the video signal reproduction device 1 when a stereoscopic video is generated from a non-stereoscopic video, when the user views the stereoscopic video, the center portion of the object included in the non-stereoscopic video is an end portion. The amount of parallax is adjusted so that it appears as if it pops out. Therefore, when a stereoscopic video is generated from a non-stereoscopic video, a natural stereoscopic effect without any special effects is given to the object.
  • the background portion remains flat, but correction may be made in a curved surface shape as in the second embodiment.
  • the background portion is corrected in a phase shape, but it may be a flat surface.
  • the present invention can provide a stereoscopic image adjustment device that adjusts the amount of parallax between the left image and the right image that constitute a three-dimensional stereoscopic image.
  • Video signal reproduction apparatus HDMI cable 3 3D television 4 3D glasses 11 Optical disk 12 Optical pick-up 13 Motor 14 3D video demodulation circuit 15 3D video signal processing circuit 16 HDMI transmission circuit 17 HDMI output terminal 21 Left video line selection part 22 Right video line Selection unit 23 Same parallax amount region detection unit 24 Left video position correction filter 25 Right video position correction filter 31 Left video register 32 First selector 33 First register group 34 Right video register 35 Second selector 36 Second register Group 37 Pixel difference calculation circuit 38 Integrator 39 Minimum value detection circuit 40 Pixel position difference determination circuit 41 Line register 51 Optical disk 54 Video demodulation circuit 55 3D video conversion circuit 61 Object detection unit 62 Left video parallax adjustment unit 63 Right image parallax adjustment unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　立体映像調整装置は、左目用映像と右目用映像を含む立体映像が入力され、左目用映像と右目用映像の視差量を調整する映像処理部と、映像処理部で視差量が調整された立体映像を立体映像表示装置に出力する出力部と、を備え、映像処理部は、左目用映像と右目用映像とで視差量が同一である領域に対し、立体映像をユーザが視認したときに、視差量が同一である領域の中心部が端部と比較して、立体映像が表示される表示画面よりもユーザ側に位置して見えるように視差量を調整する。

Description

立体映像調整装置
　本発明は、３次元立体映像を構成する左目用映像と右目用映像の視差量を調整する立体映像調整装置に関する。
　従来、立体映像調整装置として、特許文献１に開示されたものがある。この立体映像調整装置は、立体映像に対して電子ズーム処理を行ったときに、左目用映像と右目用映像との間の視差が拡大されることにより立体映像を視認できなくなるのを防止可能なように、左目用映像と右目用映像の切り出し位置を調整する。
特開平８－３１７４２９号公報
　一般に、背景とその手前に人等のオジェクトが存在するような立体映像を撮影した場合、背景とその手前のオブジェクトとの間には、前後関係からなる立体感がある。しかし、立体映像の撮影条件によっては、オブジェクト単体では立体感のない映像となる、いわゆる「書き割り効果」が発生することがある。
　本発明は、上記課題に鑑みてなされたものであり、書き割り効果を解消可能な立体映像調整装置を提供することを課題とする。
　本発明の第１の態様にかかる立体映像調整装置は、左目用映像と右目用映像を含む立体映像が入力され、左目用映像と右目用映像の視差量を調整する映像処理部と、映像処理部で視差量が調整された立体映像を立体映像表示装置に出力する出力部と、を備え、映像処理部は、左目用映像と右目用映像とで視差量が同一である領域に対し、立体映像をユーザが視認したときに、視差量が同一である領域の中心部が端部と比較して、立体映像が表示される表示画面よりもユーザ側に位置して見えるように視差量を調整する。
　本発明の第２の態様にかかる立体映像調整装置は、非立体映像が入力され、その非立体映像から左目用映像と右目用映像を含む立体映像を生成する映像処理部と、映像処理部で生成された立体映像を出力する出力部と、を備え、映像処理部は、非立体映像から立体映像を生成する場合に、立体映像をユーザが視認したときに、非立体映像に含まれるオブジェクトの中心部が端部と比較して、立体映像が表示される表示画面よりもユーザ側に位置して見えるように視差量を調整する。
　本発明の第１の態様によれば、左目用映像と右目用映像とで視差量が同一である領域に対して視差量を調整する場合に、立体映像をユーザが視認したときに、視差量が同一である領域の中心部が端部と比較して、立体映像が表示される表示画面よりもユーザ側に位置して見える、つまり表示画面からユーザ側に飛び出して見えるように視差量が調整される。したがって、視差量が同一である領域に自然な立体感が付与され、書き割り効果が軽減されることとなる。
　本発明の第２の態様によれば、非立体映像から立体映像を生成する場合に、立体映像をユーザが視認したときに、非立体映像に含まれるオブジェクトの中心部が端部と比較して、立体映像が表示される表示画面よりもユーザ側に位置して見える、つまり表示画面からユーザ側に飛び出して見えるように視差量が調整される。したがって、非立体映像から立体映像を生成した場合に、書き割り効果のない自然な立体感がオブジェクトに付与されることとなる。
本発明の実施の形態１における映像信号再生システムの構成を示す図である。 本発明の実施の形態１における映像信号再生装置の構成を示す図である。 本発明の実施の形態１における３Ｄ映像信号処理回路の構成を示す図である。 本発明の実施の形態１における同一視差量領域検出部のブロック図である。 本発明の実施の形態１における３Ｄ映像信号処理回路による効果を示す図である。 本発明の実施の形態１における同一視差量領域検出部の動作を示す図である。 本発明の実施の形態１における左映像位置補正フィルタ及び右映像位置補正フィルタの動作を示す図である。 本発明の実施の形態２における映像信号再生装置の構成を示す図である。 本発明の実施の形態２における３Ｄ映像変換回路の構成を示す図である。 本発明の実施の形態２におけるオブジェクト検出部と左映像視差調整部と右映像視差調整部の動作を示す図である。 本発明の実施の形態２における背景部分についての左映像視差調整部の出力と右映像視差調整部の出力を示す図である。 本発明の実施の形態２における、背景部分の画面中央部分についての左映像視差調整部の出力と、右映像視差調整部の出力を示す図である。 本発明の実施の形態２における、画面中央部分にオブジェクトが検出された場合の左映像視差調整部の出力と、右映像視差調整部の出力を示す図である。 本発明の実施の形態２における３Ｄ映像変換回路の効果を示す図である。
　本発明の実施の形態について図面を参照して説明する。
　（実施の形態１）
１．映像信号再生システムの構成及び動作
　図１は本発明の実施の形態１における映像信号再生システムの構成を示す。映像信号再生システムは、映像信号再生装置１、ＨＤＭＩケーブル２、３Ｄテレビ３、及び３Ｄメガネ４を有する。
　映像信号再生装置１は、光ディスクに記録された３Ｄ映像信号を再生して出力する。
　ＨＤＭＩケーブル２は、映像信号再生装置１から出力されたＨＤＭＩ規格（ＨＤＭＩ：Ｈｉｇｈ　Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）に準拠した３Ｄ映像信号を３Ｄテレビ３に伝送する。
　３Ｄテレビ３は、ＨＭＤＩケーブル２を介して入力した３Ｄ映像信号に基づき３Ｄ映像を表示する。
　３Ｄメガネ４は、使用者が装着することにより、３Ｄテレビ３に表示される３Ｄ映像信号を立体視可能とする。
　以上のような構成の実施の形態１の映像信号再生システムでは、３Ｄ映像が記録されたディスクが映像信号再生装置１により再生され、その再生映像信号はＨＤＭＩケーブル２を介して３Ｄテレビ３に入力される。３Ｄテレビ３では入力された３Ｄ映像信号に基づいて左目用映像（以下、単に「左映像」という）と右目用映像（以下、単に「右映像」という）が時間的に交互に表示される。３Ｄメガネ４は、左映像と右映像の切替に同期して３Ｄテレビ３から発信されるタイミング信号に同期して、左目用の液晶シャッターと右目用の液晶シャッターを交互に開閉させる。これにより、３Ｄメガネ４は、左映像が表示されている期間は左映像のみを左目で、右映像が表示されている期間は右映像のみを右目でユーザが視認可能とする。使用者は、３Ｄメガネ４を装着することによって、３Ｄテレビに表示される３Ｄ映像を観賞することができる。
２．映像信号再生装置の構成及び動作
　図２は、本発明の実施の形態１における映像信号再生装置１の構成を示す図である。映像信号再生装置１は、光ディスク１１、光ピックアップ１２、モーター１３、３Ｄ映像復調回路１４、３Ｄ映像信号処理回路１５、ＨＤＭＩ送信回路１６、及びＨＤＭＩ端子１７を有する。
　光ディスク１１には、３Ｄ映像信号が記録されている。光ディスク１１に記録されている３Ｄ映像信号はＨ．２６４－ＭＶＣ方式で圧縮されている。
　光ピックアップ１２は、光ディスク１１に記録された信号を電気信号に変換する。光ピックアップ１２の出力は３Ｄ映像復調回路１４に出力される。
　モーター１３は、光ディスク１１を再生に適した速度で回転させる。
　３Ｄ映像復調回路１４は、光ピックアップ１２の出力信号に対して誤り訂正などを行ない、元の３Ｄ映像信号を復調する。
　後述するように、映像信号再生装置１は、ＨＤＭＩケーブル２を介して非圧縮の３Ｄ映像を３Ｄテレビ３に送信する。また、映像信号再生装置１は、Ｈ．２６４－ＭＶＣ符号化方式で符号化された３Ｄ映像に対する復号処理を行い、３Ｄ映像を構成する映像信号を生成して出力する。このことから、Ｈ．２６４－ＭＶＣ符号化方式で符号化された映像に対する復号に必要なデマルチプレクサやビデオデコーダは、３Ｄ映像復調回路１４内に実装されているものとする。
　３Ｄ映像信号処理回路１５は、３Ｄ映像復調回路１４により復調された３Ｄ映像信号に補正をかけ、より自然な３Ｄ映像信号として出力する。
　ＨＤＭＩ送信回路１６は、３Ｄ映像信号処理回路１５の出力信号を３Ｄテレビ３の出力伝送に適したＨＤＭＩ形式のディジタル映像信号に変調し、ＨＤＭＩ出力端子１７を介して３Ｄテレビ３に出力する。
　ＨＤＭＩ出力端子１７は、ＨＤＭＩ規格に準拠した端子である。ＨＤＭＩ出力端子１７は、ディジタル変調された映像信号伝送路、ＶＥＳＡ／Ｅ－ＤＤＣ及びＥＩＡ／ＣＥＡ　８６１－Ｂ両規格で規定される相互通信用のシリアル伝送路を構成するための端子を含んでいる。
　このような構成の映像信号再生装置１では、モーター１３は光ディスク１１を再生に適した速度で回転させる。光ピックアップ１２は、光ディスク１１に光学的に記録された信号を電気信号に変換し、３Ｄ映像復調回路１４に送る。３Ｄ映像復調回路１４は、入力された光ピックアップ出力に基づいて、エラー訂正とＨ．２６４－ＭＶＣの復調を行い左映像信号と右映像信号を３Ｄ映像信号処理回路１５に出力する。そして、３Ｄ映像信号処理回路１５は、信号処理を行った左映像信号及び右映像信号に対して以下説明する処理を行った後、ＨＤＭＩ送信回路１６及びＨＤＭＩ出力端子１７を介して３Ｄテレビ３に出力する。
３．３Ｄ映像信号処理回路の構成及び動作
　図３は、本発明の実施の形態１における３Ｄ映像信号処理回路１５の構成を示す図である。３Ｄ映像信号処理回路１５は、左映像ライン選択部２１、右映像ライン選択部２２、同一視差量領域検出部２３、左映像位置補正フィルタ２４、及び右映像位置補正フィルタ２５を有する。
　左映像ライン選択部２１は、入力された３Ｄ映像信号の左映像信号に含まれる複数の水平ラインのうちの１水平ラインの映像信号を順次、選択・抽出して出力する。
　右映像ライン選択部２２は、入力された３Ｄ映像信号の右映像信号に含まれる複数の水平ラインのうち、左映像ライン選択部２１が選択しているのと同じ水平ラインの映像信号を抽出して出力する。
　同一視差量領域検出部２３は、左映像ライン選択部２１と、右映像ライン選択部２２の出力を比較することにより、選択された水平ラインの３Ｄ映像信号において、同一の視差量を有する領域を検出する。
　左映像位置補正フィルタ２４は、入力された左映像信号の特定部分に対して係数可変のスケーリング（水平方向に拡大または縮小を行うことが）できるフィルタである。
　右映像位置補正フィルタ２５は、入力された右映像信号の特定部分（位置）に対して係数可変のスケーリング（水平方向に拡大または縮小）を行うことができるフィルタである。
　図４は、本発明の実施の形態１における同一視差量領域検出部２３のブロック図である。同一視差量領域検出部２３は、左映像レジスタ３１、第一のセレクタ３２、第一のレジスタ群３３、右映像レジスタ３４、第二のセレクタ３５、第二のレジスタ群３６、画素差演算回路３７、積分器３８、最小値検出回路３９、及び画素位置差決定回路４０を有する。
　左映像レジスタ３１は、左映像の特定の１水平ライン分の映像信号を保持する。左映像レジスタ３１は、１水平ラインを構成する画素と同数のレジスタにより構成される。
　第一のセレクタ３２は、左映像レジスタ３１の特定位置から連続５画素分の映像信号を第一のレジスタ群３３に格納する。
　第一のレジスタ３３は、第一のセレクタ３２から与えられた左映像レジスタ３１の特定位置からの連続５画素分の映像信号を保持する。
　　右映像レジスタ３４は、右映像の特定の水平１ライン分の映像信号を保持する。右映像レジスタ３４は、１水平ラインを構成する画素と同数のレジスタにより構成される。
　第二のセレクタ３５は、右映像レジスタ３４の特定位置から連続５画素分の映像信号を第二のレジスタ群３６に格納する。
　第二のレジスタ群３６は、第二のセレクタ３５より与えられる右映像レジスタ３４の特定位置からの連続５画素分の映像信号を保持する。
　画素差演算回路３７は、第一のレジスタ群３３と第二のレジスタ群３６の各５つのレジスタのそれぞれの差の絶対値を求める
　積分器３８は、画素差演算回路３７の５つの出力の総和を演算する、
　最小値検出回路３９は、積分器３８の出力が最小値となるタイミングを検出する回路である。
　画素位置差決定回路４０は、最小値検出回路３９により最小値が決定された時に第二のセレクタ３５が選択している画素位置に基づいて、左映像に対して右映像が何画素ずれているかを決定する回路である。
　ラインレジスタ４１は、画素位置差決定回路４０の出力を１水平ライン分格納する回路である。ラインレジスタ４１は、１水平ラインを構成する画素と同数のレジスタにより構成される。
３－１．書き割り効果を生じるオブジェクトの検出
　３Ｄ映像を立体視したとき，オブジェクト（対象）と背景の間の奥行きは知覚されるが，オブジェクトそれ自体の立体構造は知覚されず，平面のように感じられることがある．この現象を「書き割り効果（cardboard cut-out phenomenon）」と言う。この現象は、３Ｄ映像の観察距離が撮影距離に比べて短いことに起因して生じるといわれている。
　以下、書き割り効果を生じるオブジェクトの検出動作について図５、図６を参照して説明する。図５は、本発明の実施の形態１における３Ｄ映像信号処理回路１５により奏される効果を説明するための図である。図６は、本発明の実施の形態１における同一視差量領域検出部２３の動作を示す図である。
　図５（ａ）は、書き割り効果が発生している３Ｄ映像の一例を示す。この図５（ａ）の例では、３Ｄ映像は背景とオブジェクトを含んでいる。書き割り効果が発生している場合、背景とオブジェクトとの間では前後方向（画面に垂直な方向）に立体構造が生じている。本図に示す場合では、背景の前方にオブジェクトが飛び出して知覚される。しかし、オブジェクト自体には立体構造が生じておらず、平面構造となっている。なお、立体映像の「飛び出し」とは、ユーザが３Ｄ映像（立体映像）を視認したときに、３Ｄ映像が、表示される表示画面よりもユーザ側に位置しているように見えることをいう。また、立体映像の「引き込み」とは、ユーザが３Ｄ映像を視認したときに、３Ｄ映像が、表示される表示画面を挟んでユーザとは反対側に（奥に）位置しているように見えることをいう。
　３Ｄ映像においては、左映像と右映像との間の水平方向の位置の差（視差）によって、立体映像の奥行きが表現される。上述の図５（ａ）の場合、背景とオブジェクトとに関し、左映像と右映像との間に水平方向の位置の差が生じている。上述のように３Ｄ映像に書き割り効果が生じている場合、オブジェクト内では左映像と右映像との間の水平方向の位置の差が一定となっている。その結果、オブジェクトに立体構造が存在していないように知覚される。左映像と右映像との間の水平方向の位置の差を調べることによって、書き割り効果が生じている箇所を特定することができる。
　本発明の実施の形態１における映像信号再生装置１においては、左映像と右映像との間の水平方向の位置の差を画素数であらわし、何画素の差があるかを調べる。具体的には、左映像における一水平ライン内の複数の画素の中から選択した連続する所定個数の画素（以下、適宜「左画素群」という）と、右映像における同じ水平ライン内の複数の画素の中から選択した連続する同数の画素（以下、適宜「右画素群」という）とについて、順番が対応する画素同士についてそれぞれ画素の値の差を求める。さらに、求めた差の絶対値の総和を求める。この計算を、右映像における一水平ラインについて、選択する右画素群の位置を変更して繰り返し差の絶対値の総和を求め、その差の絶対値の総和が最も少なくなる右画素群を求める。次に、左映像における一水平ラインにおいて、選択する左画素群を変更して、同様に、その差の絶対値の総和が最も少なくなる右画素群を求める。これを、左映像における一水平ラインを構成する左画素群の全てについて行う。
　１水平ラインにおける全画素において、この操作を繰り返すことによって、各画素における左右の画素（画素群）の位置の差を求めることができる。例えば図６（ａ）に示す左映像信号と図６（ｂ）に示す右映像信号では、符号Ａで示す位置では右映像信号が右に１画素ずれていることがわかり、また符号Ｂの位置では右映像信号が左に４画素ずれていることがわかる。このようにして求めた左右の画素（画素群）の位置の差の結果を位置差信号として出力する。図６（ｃ）は、この位置差信号を示している。
　例えば背景の前にオブジェクトがある場合には、符号Ｃで示すように、特定位置において画素差の値に大きな不連続ができる。更に、そのオブジェクトに書き割り効果が生じているときには、上記不連続箇所よりもオブジェクト側において、画素差の値が一定値の区間が得られる。
　従って、この画素差の値が不連続となる位置と、それに続く、画素差の値が同一値（一定）となる部分を検出することにより、書き割り効果を生じ得るオブジェクトを検出することができる。
　次に、上述の処理を行う同一視差量領域検出部２３の動作について詳しく説明する。即ち、まず、３Ｄ映像の左映像を構成する複数の水平ラインの中から１つの水平ラインのデータが選択されて、左映像レジスタ３１に格納され、３Ｄ映像の右映像を構成する複数の水平ラインの中から左映像と同一の水平ライン分のデータが選択されて、右映像レジスタ３４に格納される。
　次に、第一のセレクタ３２は、左映像レジスタ３１に格納された左映像信号のうち、所定の位置から連続する５画素分の信号を第一のレジスタ群３３に格納する。所定の位置は、先頭（左端）の画素に始まり、以後説明する一連の処理が終了するたび、１つずつ後ろに（右へ）シフトしていく。
　次に、第二のセレクタ３５は、右映像レジスタ３４に格納された右映像信号のうち、第一のセレクタ３２が選択した水平位置より２０画素分左に位置する画素を先頭として連続する５つの画素を選択し、第二のレジスタ群３６に格納する。
　画素差演算回路３７は、第一のレジスタ群３３に格納されている５画素の映像信号と第二のレジスタ群３６に格納されている５画素の映像信号について、１画素目同士、２画素目同士、３画素目同士、４画素目同士、及び５画素目同士のそれぞれについて最小値の差の絶対値を求める。積分器３８は、画素差演算回路３７により算出された５つの画素の差の絶対値の総和を演算し、最小値検出回路３９に格納する。
　次に、第二のセレクタ３５は、右映像レジスタ３４に格納されている右映像信号から、現在選択している水平位置より１画素分だけ右に位置する連続する５つの画素を選択し、第二のレジスタ群３６に格納する。
　画素差演算回路３７は、第一のレジスタ群３３及び第二のレジスタ群３６の各５つのレジスタのそれぞれに記憶されている画素値の差の絶対値を求める。積分器３８は、画素差演算回路３７により算出された５つの画素の画素値の差の絶対値の総和を演算し最小値検出回路３９に格納する。
　順次、第二のセレクタ３５は選択している画素が、第一のセレクタ３２が選択した水平位置より２０画素分右の画素になるまでこの演算を続ける。
　画素差演算回路３７は、右映像を左映像に対して左右方向に２０画素分の範囲で１画素ずつずらしつつ、上記演算を続けることにより、上述の画素の値の差の絶対値の総和を４０個得る。最小の総和を与える左映像と右映像の画素にかかる画像は、左映像と右映像において同じ画素であると推測できる。そして、この画素の値の差の総和が最も小さいときにおける、左映像と右映像との画素の位置の差が、左右の映像間の視差になる。
　　最小値検出回路３９は、上記４０個の差の総和のうち最も総和が小さい組合せを検出し、この最も総和が小さい組合せが、４０個得られた総和のうち何番目の組合せであるかを出力する。
　画素位置差決定回路４０は、この様にして得られた最も総和が小さい組合せが、４０個得られた総和のうち何番目の組合せであるかと、第二のセレクタ３５からの画素の選択範囲を示す信号に基づいて、左映像の１つの水平ラインのある画素の位置における左右の映像の画素の位置の差（画素差）を求め、その結果をラインレジスタ４１に格納する。
　これにより、まず左映像の水平ラインの先頭における左右の映像の画素の位置の差（画素差）が求められる。
　次に、第一のセレクタ３２により現在選択中の左映像の水平ラインにおける選択対象の画素を１画素後方（右方向）にずらして同様の処理を繰り返し、順次当該水平ラインにおける最終画素までの各画素位置における左映像と右映像の位置の差を求める。その結果を示す位置の差の信号はラインレジスタ４１に格納される。
　次に、同一視差量領域検出部２３は、左映像信号及び右映像信号とともに、位置の差の信号を出力する。
　なお、左映像信号の一水平ライン中において、最初（先頭側）の２０画素および最後（末尾側）の２０画素については、比較すべき画素が右映像信号の一水平ライン中に存在しない。つまり、左映像信号の一水平ラインにおいて最初の画素が選択されているときに、右映像信号の一水平ライン中には、最初の画素よりも２０画素前の画素は存在せず、また左映像信号の一水平ラインにおいて最後の画素が選択されているときに、最後の画素よりも２０画素後の画素は存在しない。この場合、存在しない映像信号を右映像信号の最初の画素の値、もしくは最後の画素の値で置き換えることにより演算することができる。
　また、画素差演算回路３７で５つの画素の差の絶対値の和を求める構成では、求められることとなる画素の差の絶対値の和の数は、左映像信号の一水平ラインに含まれる画素の数よりも４個少ない数となる。例えば、左映像信号の一水平ラインの最初の５つの画素についての画素の差の絶対値の和を、ラインレジスタ４１の１番目に記憶させると、ラインレジスタ４１の最後の４つのレジスタに記憶させるべきデータがないこととなるが、この場合、例えば最後に求めた画素の差の絶対値の和を記憶させればよい。あるいは、左映像信号の一水平ラインの最初の５つの画素についての画素の差の絶対値の和を、ラインレジスタ４１の３番目のレジスタに記憶させると、ラインレジスタ４１の最初の２つのレジスタ及び最後の２つのレジスタに記憶させるべきデータがないこととなるが、この場合、最初の２つのレジスタに対しては、最初に求めた画素の差の絶対値の和を記憶させ、最後の２つのレジスタに対しては、最後に求めた画素の差の絶対値の和を記憶させればよい。
　以上のようにして求めた位置差信号の画素差の不連続とそれに続く同一値連続を検出することにより、書き割り効果が生じ得るオブジェクトを検出することができる。
　具体的には、右映像位置補正フィルタ２５は、同一視差量領域検出部２３から入力された位置の差の信号に基づいて、位置差信号が連続して同じ領域を検出する。また、右映像位置補正フィルタ２５は、位置差信号が連続して同じ領域を検出した場合、その位置差信号が正の値か否かを判定する。つまり、位置差信号が連続して同じ領域が、飛び出し側の領域か否かを判定する。この飛び出し側の領域は、ユーザが３Ｄ映像を視認したときに、画面からユーザ側に飛び出して（位置して）見える領域と考えられる。次に、右映像位置補正フィルタ２５は、位置差信号が連続して同じ領域が、飛び出し側の領域であると判定したときは、右映像信号における、位置差信号が同一の領域に対応する画素に対して、後述する補正処理を行う。右映像信号を構成する画素における、位置差信号が同一の領域に対応する画素は、位置差信号に基づいて決定することができる。例えば、位置差信号における、先頭の画素から同一の領域の先頭部分までの画素数、及び同一の領域の終了部分までの画素数を検出する。そして、右映像信号を構成する画素における上記２つの画素数が示す範囲を書き割り効果が生じ得る範囲として検出する。そして、このようにして検出された範囲を補正範囲として、後述の補正処理を行う。
　左映像位置補正フィルタ２５は、右映像位置補正フィルタ２５とほぼ同様の処理を行う。但し、左映像位置補正フィルタ２５は、左映像信号を構成する画素における補正範囲を決定する際、上記２つの画素数が示す範囲から位置差信号が示す値分右にずれた範囲を書き割り効果が生じ得る範囲として検出する。
３－２．書き割り効果を生じ得るオブジェクトの補正
　次に、書き割り効果が発生している３Ｄ映像の補正について説明する。図７は、前述したように、本発明の実施の形態１における左映像位置補正フィルタ２５、及び右映像位置補正フィルタ２５の動作を示す図である。
　３Ｄ映像における奥行きは図７（ｆ）に示す様に左映像と右映像との視差により生じる。左映像を右に、右映像を左にシフトすると、映像は前に飛び出す。この原理を応用し、検出された書き割り効果が起きているオブジェクトの左端及び右端はそのままとしながら、非線形なスケーリングフィルタを用いることにより、オブジェクトの左端及び右端の奥行きはそのままに、オブジェクトの中央に行くに従って徐々に前に出てくる様にすることができる。
　図７（ａ）は、右映像及び左映像に含まれるオブジェクトのオリジナルのデータを構成する一水平ラインの中の所定領域を水平方向に６等分して６個の領域１～６に分割した例を示している。１つの領域には複数の画素が含まれる。
　左映像位置補正フィルタ２４及び右映像位置補正フィルタ２５は、左映像及び右映像における上記各領域１～６に対して、左映像及び右映像毎、かつ各領域１～６毎に予め設定されたフィルタ係数（以下、左映像用のフィルタ係数を「左係数」、右映像用のフィルタ係数を「右係数」という）を乗算する。これらの係数は、水平方向拡大率であり、この係数を乗算することにより、各領域の水平方向の長さ（幅）が拡大・縮小される。
　図７（ｂ）は、左映像の領域１～６に乗算する左係数、図７（ｃ）は、右映像の領域１～６に乗算する右係数を示している。左係数は、画面左側の領域より、１．５、１．２５、１．１２５、０．８７５、０．７５、０．５に設定されている。つまり、左係数は、画面左側の領域ほど大きな値となるように設定されている。右係数は、画面左側の領域より、０．５、０．７５、０．８７５、１．１２５、１．２５、１．５に設定されている。つまり、右係数は、左係数とは逆に、画面右側の領域ほど大きな値となるように設定されている。
　図７（ｄ）は、左映像位置補正フィルタ２４の出力、つまり左映像の領域１～６にそれぞれ各領域に対応する左係数を乗算した結果を示す。図７（ｅ）は、右映像位置補正フィルタ２６の出力、つまり右映像の領域１～６にそれぞれ各領域に対応する右係数を乗算した結果を示す。このように、左係数及び右係数を乗算することにより、領域１～６の水平方向の長さが、乗算した左係数及び右係数の値に応じて変化する。なお、左係数及び右係数の値は、領域１～６の水平方向の長さを変化させても、オブジェクト全体の水平方向の長さが変化しない値に設定されている。これにより、オブジェクト内における各領域１～６の水平方向の長さ及び位置を変化させることができる。
　各領域の境界に着目すると、左映像位置補正フィルタ２５の出力（図７（ｄ））において、領域１の開始位置（左端）はオリジナルと等しいが、領域１と領域２の境界、領域２と領域３の境界、領域３と領域４の境界、領域４と領域５の境界、及び領域５と領域６の境界は、それぞれオリジナルの境界位置（図７（ａ））よりも右に位置しているが、徐々にオリジナルの境界位置に近づき領域６の終了位置（右端）でオリジナルの境界位置に合致する。
　これに対し、右映像位置補正フィルタ２６の出力（図７（ｅ））において、領域１の開始位置（左端）はオリジナルと等しいが、領域１と領域２の境界、領域２と領域３の境界、領域３と領域４の境界、領域４と領域５の境界、及び領域５と領域６の境界は、それぞれオリジナルの境界位置より左に位置しているが、徐々にオリジナルの境界位置に近づき領域６の終了位置（右端）で再度オリジナルの境界位置に合致する。
　図７（ｆ）は、左映像位置補正フィルタ２４により位置補正された左映像、及び右映像位置補正フィルタ２５により位置補正された右映像を立体視したときの映像の飛び出し量を説明した図である。これらのフィルタ２４、２５により生成された左映像及び右映像では、立体視したときに、図７（ｆ）に示すように、オブジェクトの中央位置において画面から使用者側への（手前への）飛び出し量が最も大きくなり、オブジェクトの両端に近づくに従って飛び出し量が減少し、オブジェクトの両端で元のオブジェクトの飛び出し量になり、ユーザからは丸みを帯びた見え方になる。
　以上のようにして位置補正が行われた映像信号は、ＨＤＭＩ送信回路１６に送られ、ＨＤＭＩ送信回路１６によってＨＤＭＩの３Ｄ転送規格に則った信号に変換され、ＨＤＭＩケーブル２を経由して３Ｄテレビ３に送られる。
　使用者は、３Ｄメガネ４を通じて、３Ｄテレビ３に表示された、位置補正された３Ｄ映像を見ることによって、図５（ｂ）に示す様に書き割り効果が解消された３Ｄ映像を楽しむことができる。
４．まとめ
　以上説明したように、本実施の形態にかかる映像信号再生装置１は、左映像と右映像を含む立体映像が入力され、左映像と右映像の視差量を調整する３Ｄ映像信号処理回路１５と、３Ｄ映像信号処理回路１５で視差量が調整された立体映像を立体映像表示装置に出力するＨＤＭＩ送信回路１６と、を備える。３Ｄ映像信号処理回路１５は、左映像と右映像とで視差量が同一である領域に対し、立体映像をユーザが視認したときに、視差量が同一である領域の中心部が端部と比較して、立体映像が表示される３Ｄテレビ３の表示画面よりもユーザ側に位置して見える、つまり３Ｄテレビ３の表示画面からユーザ側に飛び出して見えるように視差量を調整する。
　本実施の形態にかかる映像信号再生装置１によれば、左映像と右映像とで視差量が同一である領域に対して視差量を調整する場合に、立体映像をユーザが視認したときに、視差量が同一である領域の中心部が端部と比較して飛び出して見えるように視差量が調整される。したがって、視差量が同一である領域に自然な立体感が付与され、書き割り効果が軽減されることとなる。
　また、本実施形態では、視差量が同一である領域が複数存在する場合、ユーザから見て最も奥に存在する領域（背景部分）以外の領域（オブジェクト）に対して、中心部が端部と比較して飛び出して見えるように視差量を調整する。
　これにより、ユーザから見て最も奥に存在する領域（背景部分）以外の領域（オブジェクト）を、背景から自然な態様で浮き立たせることができる。
　また、本実施形態では、視差量が同一である領域が複数存在する場合、視差量が飛び出し側の量である領域に対して、ユーザから見て中心部が端部と比較して飛び出して見えるように視差量を調整する。
　視差量が飛び出し側の量である領域は、主要なオブジェクトである可能性が高い。これにより、このオブジェクトを背景から自然な態様で浮き立たせることができる。
　（実施の形態２）
　実施の形態２の映像信号再生装置は、２Ｄ映像から、書き割り効果のない３Ｄ映像を生成する。以下、詳しく説明する。
１．映像信号再生装置の構成及び動作
　図８は、本発明の実施の形態２における映像信号再生装置１′の構成を示す図である。映像信号再生装置１′は、光ディスク５１、光ピックアップ１２、モーター１３、映像復調回路５４、３Ｄ映像変換回路５５、ＨＤＭＩ送信回路１６、及びＨＤＭＩ端子１７を有する。光ピックアップ１２、モーター１３、ＨＤＭＩ送信回路１６、ＨＤＭＩ端子１７は、実施の形態１におけるものと同じものである。
　光ディスク５１には、２Ｄ映像信号が記録されている。光ディスク５１に記録されている映像信号はＭＰＥＧ２もしくはＨ．２６４－ＡＶＣ方式で圧縮されている。
　映像復調回路５４は、光ピックアップ１２の出力信号に対して誤り訂正などを行ない、元の映像信号を復調する。
　後述するように、映像信号再生装置１′は、ＨＤＭＩケーブル２を介して非圧縮の３Ｄ映像を３Ｄテレビ３に送信する。また、映像信号再生装置１′は、ＭＰＥＧ２もしくはＨ．２６４－ＡＶＣ符号化方式で符号化された２Ｄ映像に対する復号処理を行い、映像信号を生成して出力する。このことから、ＭＰＥＧ２もしくはＨ．２６４－ＡＶＣ符号化方式で符号化された２Ｄ映像に対する復号に必要なデマルチプレクサやビデオデコーダは、映像復調回路５４内に実装されているものとする。
　３Ｄ映像変換回路５５は、映像復調回路５４により復調された映像信号を３Ｄ映像信号に変換して出力する。
　モーター１３は、光ディスク５１を再生に適した速度で回転させる。
　光ピックアップ１２は、光ディスク５１に光学的に記録された信号を電気信号に変換し、映像復調回路５４に送る。
　映像復調回路５４は、光ピックアップの出力信号に対してエラー訂正を行い、ＭＰＥＧ２もしくはＨ．２６４－ＡＶＣ形式の信号の復調を行い、３Ｄ映像信号変換回路５５に出力する。
２．３Ｄ映像変換回路の構成及び動作
　図９は、本発明の実施の形態２における３Ｄ映像変換回路５５の構成を示す。
　オブジェクト検出部６１は、２Ｄ映像信号が示す２Ｄ映像の背景部分と被写体（オブジェクト部分）を分離する。
　左映像視差調整部６２は、２Ｄ映像信号を入力し、オブジェクト検出部６１の出力に応じて、３Ｄ映像の左映像信号を生成する。
　右映像視差調整部６３は、２Ｄ映像信号を入力し、オブジェクト検出部６１の出力に応じて、３Ｄ映像の右映像信号を生成する。
　このような構成の映像信号再生装置１′では、モーター１３は光ディスク５１を再生に適した速度で回転させる。光ピックアップ１２は、光ディスク５１に光学的に記録された信号を電気信号に変換し、映像信号復調回路５４に送る。映像信号復調回路５４は、入力された光ピックアップ出力に基づいて、エラー訂正とＭＰＥＧ２もしくはＨ．２６４－ＡＶＣの復調を行い３Ｄ映像変換回路５５に出力する。そして、３Ｄ映像変換回路５５は、信号処理を行った左映像信号及び右映像信号に対して以下説明する処理を行った後、ＨＤＭＩ送信回路１６及びＨＤＭＩ出力端子１７を介して３Ｄテレビ３に出力する。
２－１．２Ｄ映像における背景とオブジェクトの検出
　オブジェクト検出部６１は、再生された映像から背景部分とオブジェクト部分とを抽出する。
　図１０は、本発明の実施の形態２におけるオブジェクト検出部６１、左映像視差調整部６２及び右映像視差調整部６３の動作を説明する図である。
　図１０に示すように、背景とオブジェクト（２Ｄ映像を構成する）との間には平均輝度に差がある場合が多い。そこで、本実施形態のオブジェクト検出部６１は、以下のようにしてオブジェクトを検出する。すなわち、オブジェクト検出部６１は、全画素のうちの選択した画素がある方向に隣接している画素に対して大きな輝度差をもち、一方別の方向に隣接している画素に対して大きな輝度差があるか否かを判定する。そして、この条件に一致している場合、オブジェクト検出部６１は、対象の画素はオブジェクトと背景との境界、即ち輪郭を構成している画素であると判定する。オブジェクト検出部６１は、この処理を、１画面を構成する全画素について行う。次に、このようにして検出した輪郭を構成する画素に基づいて、輪郭で囲まれた領域をオブジェクトとして検出する。これにより、背景とオブジェクトの区分けが出来る。
２－２．背景部分の２Ｄ－３Ｄ変換
　　図１１は、本発明の実施の形態２における、背景部分についての左映像視差調整部６２及び右映像視差調整部６３の出力を示す図である。３Ｄ映像における奥行きは図１１（ｆ）に示す様に左映像と右映像との視差により生じる。左映像を右に、右映像を左にシフトすると、映像は前に飛び出す。この原理を応用し、画面左端及び右端の位置はそのままとしながら、非線形なスケーリングフィルタを用いることにより、オブジェクトの左端及び右端の奥行き（飛び出し量）はそのままに、オブジェクトの中央に行くに従って徐々に奥に引き込む様にすることができる。
　図１１（ａ）は、右映像及び左映像に含まれるオブジェクトのオリジナルのデータを構成する一水平ラインの中の所定領域を水平方向に６等分して６個の領域Ａ～Ｆに分割した例を示している。１つの領域には複数の画素が含まれる。
　左映像視差調整部６２及び右映像視差調整部６３は、左映像及び右映像における上記各領域Ａ～Ｆに対して、左映像及び右映像毎、かつ各領域Ａ～Ｆ毎に予め設定されたフィルタ係数（以下、左映像用のフィルタ係数を「左係数」、右映像用のフィルタ係数を「右係数」という）を乗算する。これらの係数は、水平方向拡大率であり、この係数を乗算することにより、各領域の水平方向の長さ（幅）が拡大・縮小される。
　図１１（ｂ）は、左映像の領域Ａ～Ｆに乗算する左係数、図１１（ｃ）は、右映像の領域Ａ～Ｆに乗算する右係数を示している。左係数は、画面左側の領域より、０．５、０．７５、０．８７５、１．１２５、１．２５、１．５に設定されている。つまり、左係数は、画面右側の領域ほど大きな値となるように設定されている。右係数は、その逆、画面左側の領域より、１．５、　１．２５、　１．１２５、０．８７５、０．７５、０．５に設定されている。つまり、右係数は、左係数とは逆に、画面右側の領域ほど大きな値となるように設定されている。
　図１１（ｄ）は、左映像視差調整部６２の出力、つまり左映像の領域Ａ～Ｆにそれぞれ各領域に対応する左係数を乗算した結果を示す。図７（ｅ）は、右映像視差調整部６３の出力、つまり右映像の領域Ａ～Ｆにそれぞれ各領域に対応する右係数を乗算した結果を示す。このように、領域Ａ～Ｆの水平方向の長さが、乗算した左係数及び右係数の値に応じて変化する。なお、左係数及び右係数の値は、領域Ａ～Ｆの水平方向の長さを変化させても、オブジェクト全体の水平方向の長さが変化しない値に設定されている。これにより、オブジェクト内における各領域Ａ～Ｆの水平方向の長さ及び位置を変化させることができる。
　各領域の境界に着目すると、左映像視差調整部６２の出力（図１１（ｄ））において、領域Ａの開始位置（左端）はオリジナル（図１１（ａ））と等しいが、領域Ａと領域Ｂの境界、領域Ｂと領域Ｃの境界、領域Ｃと領域Ｄの境界、領域Ｄと領域Ｅの境界、及び領域Ｅと領域Ｆの境界は、それぞれオリジナルの境界位置よりも左に位置しているが徐々にオリジナルの境界位置に近づき領域Ｆの終了位置（右端）でオリジナルの境界位置に合致する。
　これに対し、右映像視差調整部６３の出力（図１１（ｅ））において、領域Ａの開始位置（左端）はオリジナルと等しいが、領域Ａと領域Ｂの境界は、領域Ｂと領域Ｃの境界、領域Ｃと領域Ｄの境界、領域Ｄと領域Ｅの境界、及び領域Ｅと領域Ｆの境界は、それぞれオリジナルの境界位置より右に位置しているが、徐々にオリジナルの境界位置に近づきの領域Ｆ終了位置（右端）で再度オリジナルの位置に合致する。
　　図１１（ｆ）は、左映像視差調整部６２及び右映像視差調整部６３により位置補正された左映像、及び右映像位置補正フィルタにより位置補正された右映像を立体視したときの映像の飛び出し量を説明した図である。左映像視差調整部６２及び右映像視差調整部６３により生成された左映像及び右映像は、立体視したときに、図１１（ｆ）に示すように、画面の中央位置において画面から使用者とは反対側への（奥への）引き込み量が最も大きくなり、画面両端に近づくに従って引き込み量が減少し、オブジェクトの両端で元のオブジェクトの引き込み量になり、丸みを帯びた見え方になる。
２－３．オブジェクト部分の２Ｄ－３Ｄ変換
　図１２は、図１１に示す領域Ｃ、Ｄを中心として拡大した図であり、領域Ｃにオブジェクトが検出された場合を示している。この場合、オブジェクトは背景にはりついた状態となっている。しかし、実施の形態１同様の調整を左映像及び右映像に施すことにより、非線形なスケーリングフィルタを用いて、オブジェクトの左端及び右端の位置はそのままとしつつ、かつオブジェクトの左端及び右端の奥行き位置はそのままにして、オブジェクトの中央に近づくに従って徐々に前方に飛び出す様にすることができる。以下、詳しく説明する。
　図１３は、本発明の実施の形態２における、検出されたオブジェクトに対する左映像視差調整部６２の出力と、右映像視差調整部６３の出力を示す図である。
　図１３（ａ）は、右映像及び左映像に含まれるオブジェクトのオリジナルのデータを構成する一水平ラインの中の所定領域を図７（ａ）と同様に水平方向に６等分して６個の領域Ａ～Ｆに分割した場合において、領域Ｃ、Ｄ部分を中心に拡大した例を示している。
　左映像視差調整部６２及び右映像視差調整部６３は、図１３において領域Ｃ内で検出されたオブジェクトについて、第１の実施の形態同様の方法により、領域Ｃ１～Ｃ６に分割する。そして、これらのオブジェクトの領域Ｃ１～Ｃ６に対して、拡大・縮小処理を行う。
　すなわち、左映像視差調整部６２及び右映像視差調整部６３は、左映像及び右映像におけるオブジェクト部分の上記各領域Ｃ１～Ｃ６に対して、左映像及び右映像毎、かつ各領域Ｃ１～Ｃ６毎に予め設定されたフィルタ係数（以下、左映像用のフィルタ係数を「左係数」、右映像用のフィルタ係数を「右係数」という）を乗算する。これらの係数は、水平方向拡大率であり、この係数を乗算することにより、各領域の水平方向の長さ（幅）が拡大・縮小される。
　図１３（ｂ）は、左映像の領域Ｃ１～Ｃ６に乗算する左係数、図１３（ｃ）は、右映像の領域Ｃ１～Ｃ６に乗算する右係数を示している。左係数は、画面左側の領域より、１．５、１．２５、１．１２５、０．８７５、０．７５、０．５に設定されている。つまり、左係数は、画面左側の領域ほど大きな値となるように設定されている。右係数は、画面左側の領域より、０．５、０．７５、０．８７５、１．１２５、１．２５、１．５に設定されている。つまり、右係数は、左係数とは逆に、画面右側の領域ほど大きな値となるように設定されている。
　図１３（ｄ）は、左映像視差調整部６２の出力、つまり左映像の領域Ｃ１～Ｃ６にそれぞれ各領域に対応する左係数を乗算した結果を示す。図１３（ｅ）は、右映像視差調整部６３の出力、つまり右映像の領域Ｃ１～Ｃ６にそれぞれ各領域に対応する右係数を乗算した結果を示す。このように、左係数及び右係数を乗算することにより、領域Ｃ１～Ｃ６の水平方向の長さが、乗算した左係数及び右係数の値に応じて変化する。なお、左係数及び右係数の値は、領域Ｃ１～Ｃ６の水平方向の長さを変化させても、オブジェクト全体の水平方向の長さが変化しない値に設定されている。これにより、オブジェクト内における各領域Ｃ１～Ｃ６の水平方向の長さ及び位置を変化させることができる。
　各領域の境界に着目すると、左映像視差調整部６２の出力（図１３（ｄ））において、領域Ｃ１の開始位置（左端）は背景と等しいが、領域Ｃ１と領域Ｃ２の境界、領域Ｃ２と領域Ｃ３の境界、領域Ｃ３と領域Ｃ４の境界、領域Ｃ４と領域Ｃ５の境界、及び領域Ｃ５と領域Ｃ６の境界は、それぞれオリジナルの境界位置よりも右に位置しているが、徐々にオリジナルの境界位置（図１３（ａ））に近づき領域Ｃ６の終了位置（右端）で背景の境界位置に合致する。
　これに対し、右映像視差調整部６の出力（図１３（ｅ））において、領域Ｃ１の開始位置（左端）は背景と等しいが、領域Ｃ１と領域Ｃ２の境界、領域Ｃ２と領域Ｃ３の境界、領域Ｃ３と領域Ｃ４の境界、領域Ｃ４と領域Ｃ５の境界、及び領域Ｃ５と領域Ｃ６の境界は、それぞれオリジナルの境界位置（図１３（ａ））より左に位置しているが、徐々にオリジナルの境界位置に近づき領域Ｃ６の終了位置（右端）で再度背景の境界位置に合致する。
　図１３（ｆ）は、左映像視差調整部６２により位置補正された左映像、及び右映像視差調整部６３により位置補正された右映像を立体視したときの映像の飛び出し量を説明した図である。図１４は、実施の形態１における３Ｄ映像変換回路５５により奏される効果を説明するための図である。図１４（ａ）は、変換前の２Ｄ映像の一例を示す。図１４（ｂ）は、変換後の３Ｄ映像の一例を示す。この図１４（ａ）、（ｂ）の例では、映像は背景とオブジェクトを含んでいる。左映像視差調整部６２、及び右映像視差調整部６３により生成された左映像及び右映像は、立体視したときに、図１３（ｆ）及び図１４（ｂ）に示すように、背景部分に関しては、画面の中央位置で画面から使用者とは反対側への（奥への）引き込み量が最も大きくなり、画面両端に近づくに従って引き込み量が減少し、画面の両端で元の画面の引き込み量になり、丸みを帯びた見え方になる。一方、オブジェクトに関しては、オブジェクトの中央位置において画面から使用者側への（手前への）飛び出し量が最も大きくなり、オブジェクトの両端に近づくに従って飛び出し量が減少し、オブジェクトの両端で元のオブジェクトの飛び出し量になり、ユーザからは丸みを帯びた見え方になる。
　この様にして得られた位置補正後の映像信号は、ＨＤＭＩ送信回路１６に送られ、ＨＤＭＩ送信回路１６によってＨＤＭＩの３Ｄ転送規格に則った信号に変換されてＨＤＭＩケーブル２を経由して３Ｄ－テレビ３に送られる。
　使用者は、３Ｄメガネ４を通じて、３Ｄテレビ３に表示された、３Ｄ変換された映像を見ることによって、自然な３Ｄ映像信号を楽しむことができる。
３．まとめ
　以上説明したように、本実施の形態にかかる映像信号再生装置１は、非立体映像が入力され、その非立体映像から左映像と右映像を含む立体映像を生成する３Ｄ映像変換回路５５と、３Ｄ映像変換回路５５で生成された立体映像を出力するＨＤＭＩ送信回路１６と、を備え、３Ｄ映像変換回路５５は、非立体映像から立体映像を生成する場合に、立体映像をユーザが視認したときに、非立体映像に含まれるオブジェクトの中心部が端部と比較して、画面よりもユーザ側に位置して見える、つまり画面からユーザ側に飛び出して見えるように視差量を調整する。
　本実施の形態にかかる映像信号再生装置１によれば、非立体映像から立体映像を生成する場合に、立体映像をユーザが視認したときに、非立体映像に含まれるオブジェクトの中心部が端部と比較して飛び出して見えるように視差量が調整される。したがって、非立体映像から立体映像を生成した場合に、書き割り効果のない自然な立体感がオブジェクトに付与されることとなる。
（その他の実施の形態）
　上記各実施の形態では、３Ｄ映像中に含まれるオブジェクトが１つだけの場合について説明したが、複数のオブジェクトが含まれている場合には、各オブジェクトに対して上述した書き割り効果の補正処理を行ってもよい。
　また、実施の形態１では、背景部分については平面のままであるが、第２の実施の形態
同様に曲面状に補正を行ってもよい。また、実施の形態２では、背景部分について局面状に補正しているが、平面のままでもよい。
　本発明は、３次元立体映像を構成する左映像と右映像の視差量を調整する立体映像調整装置を提供することができる。
　　１　映像信号再生装置
　　２　ＨＤＭＩケーブル
　　３　３Ｄテレビ
　　４　３Ｄメガネ
　　１１　光ディスク
　　１２　光ピックアップ
　　１３　モーター
　　１４　３Ｄ映像復調回路
　　１５　３Ｄ映像信号処理回路
　　１６　ＨＤＭＩ送信回路
　　１７　ＨＤＭＩ出力端子
　　２１　左映像ライン選択部
　　２２　右映像ライン選択部
　　２３　同一視差量領域検出部
　　２４　左映像位置補正フィルタ
　　２５　右映像位置補正フィルタ
　　３１　左映像レジスタ
　　３２　第一のセレクタ
　　３３　第一のレジスタ群
　　３４　右映像レジスタ
　　３５　第二のセレクタ
　　３６　第二のレジスタ群
　　３７　画素差演算回路
　　３８　積分器
　　３９　最小値検出回路
　　４０　画素位置差決定回路
　　４１　ラインレジスタ
　　５１　光ディスク
　　５４　映像復調回路
　　５５　３Ｄ映像変換回路
　　６１　オブジェクト検出部
　　６２　左映像視差調整部
　　６３　右映像視差調整部

Claims (4)

  1. 　左目用映像と右目用映像を含む立体映像が入力され、前記左目用映像と前記右目用映像の視差量を調整する映像処理部と、
    　前記映像処理部で視差量が調整された立体映像を出力する出力部と、
    を備え、
    　前記映像処理部は、前記左目用映像と前記右目用映像とで視差量が同一である領域に対し、立体映像をユーザが視認したときに、視差量が同一である領域の中心部が端部と比較して、立体映像が表示される表示画面よりもユーザ側に位置して見えるように視差量を調整する
    立体映像調整装置。
  2. 　前記映像処理部は、視差量が同一である領域が複数存在する場合、ユーザから見て最も奥に存在する領域以外の領域に対して、中心部が端部と比較して、立体映像が表示される表示画面よりもユーザ側に位置して見えるように視差量を調整する
    請求項１に記載の立体映像調整装置。
  3. 　前記映像処理部は、視差量が同一である領域が複数存在する場合、立体映像をユーザが視認したときに、立体映像が表示される表示画面よりもユーザ側に位置して見えるような視差量を有する領域に対して、ユーザから見て中心部が端部と比較して飛び出して見えるように視差量を調整する
    請求項１に記載の立体映像調整装置。
  4. 　非立体映像が入力され、その非立体映像から左目用映像と右目用映像を含む立体映像を生成する映像処理部と、
    　前記映像処理部で生成された立体映像を出力する出力部と、
    を備え、
    　前記映像処理部は、前記非立体映像から立体映像を生成する場合に、前記立体映像をユーザが視認したときに、前記非立体映像に含まれるオブジェクトの中心部が端部と比較して、立体映像が表示される表示画面よりもユーザ側に位置して見えるように視差量を調整する
    立体映像調整装置。
PCT/JP2011/004243 2011-07-27 2011-07-27 立体映像調整装置 WO2013014710A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/004243 WO2013014710A1 (ja) 2011-07-27 2011-07-27 立体映像調整装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/004243 WO2013014710A1 (ja) 2011-07-27 2011-07-27 立体映像調整装置

Publications (1)

Publication Number Publication Date
WO2013014710A1 true WO2013014710A1 (ja) 2013-01-31

Family

ID=47600603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/004243 WO2013014710A1 (ja) 2011-07-27 2011-07-27 立体映像調整装置

Country Status (1)

Country Link
WO (1) WO2013014710A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171058A (ja) * 2012-02-17 2013-09-02 Canon Inc 立体画像処理装置、立体画像撮像装置、立体画像表示装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004200973A (ja) * 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
JP2011077956A (ja) * 2009-09-30 2011-04-14 Panasonic Corp 映像信号処理装置及び映像信号処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (ja) * 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP2004200973A (ja) * 2002-12-18 2004-07-15 Nippon Telegr & Teleph Corp <Ntt> 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体
JP2011077956A (ja) * 2009-09-30 2011-04-14 Panasonic Corp 映像信号処理装置及び映像信号処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013171058A (ja) * 2012-02-17 2013-09-02 Canon Inc 立体画像処理装置、立体画像撮像装置、立体画像表示装置

Similar Documents

Publication Publication Date Title
US8422801B2 (en) Image encoding method for stereoscopic rendering
JP5663617B2 (ja) 立体画像シーケンス符号化方法および復号化方法
US9161023B2 (en) Method and system for response time compensation for 3D video processing
JP4295711B2 (ja) イメージ変換及び符号化技術
KR100739730B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
JP4392060B2 (ja) 視差深度依存画素シフト
EP2188672B1 (en) Generation of three-dimensional movies with improved depth control
KR101651442B1 (ko) 이미지 기반 ３ｄ 비디오 포맷
KR101863767B1 (ko) 의사-3d 인위적 원근법 및 장치
KR20110129903A (ko) ３ｄ 시청자 메타데이터의 전송
JP2011223482A (ja) 画像処理装置、画像処理方法、およびプログラム
WO2012037075A1 (en) Method of presenting three-dimensional content with disparity adjustments
KR20140130435A (ko) 3ｄ 디스플레이를 위한 디스플레이 프로세서
WO2012156489A1 (en) Automatic conversion of a stereoscopic image in order to allow a simultaneous stereoscopic and monoscopic display of said image
US8941718B2 (en) 3D video processing apparatus and 3D video processing method
WO2011061973A1 (ja) 立体映像表示装置および動きベクトル導出方法
JP6581241B2 (ja) 平板パネルにおける立体映像入力のためのハードウェアシステム
US20110316848A1 (en) Controlling of display parameter settings
JP2010278743A (ja) 立体映像表示装置および立体映像表示方法
WO2013014710A1 (ja) 立体映像調整装置
JP2013021550A (ja) 撮像装置及びその制御方法
JP5257243B2 (ja) 立体映像表示装置および立体映像表示方法
WO2011114739A1 (ja) 再生装置
JP5341942B2 (ja) 映像再生装置
Didier et al. The Use of a Dense Disparity Map to Enhance Quality of Experience in Stereoscopic 3D Content

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11869956

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11869956

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP