WO2011114745A1 - 映像再生装置 - Google Patents

映像再生装置 Download PDF

Info

Publication number
WO2011114745A1
WO2011114745A1 PCT/JP2011/001612 JP2011001612W WO2011114745A1 WO 2011114745 A1 WO2011114745 A1 WO 2011114745A1 JP 2011001612 W JP2011001612 W JP 2011001612W WO 2011114745 A1 WO2011114745 A1 WO 2011114745A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
parallax
super
resolution
Prior art date
Application number
PCT/JP2011/001612
Other languages
English (en)
French (fr)
Inventor
元紀 廣瀬
哲也 井谷
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2011114745A1 publication Critical patent/WO2011114745A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats

Definitions

  • the present invention relates to a video playback device, and more particularly to a video playback device equipped with super-resolution technology.
  • a super-resolution technique as a technique for increasing the resolution of a video signal, that is, the number of pixels.
  • a video playback device equipped with super-resolution technology inputs a standard definition (SD) video signal, interpolates the pixels of the input signal using super-resolution technology, A video signal of high definition (high definition, HD (High Definition)) can be generated.
  • SD standard definition
  • HD High Definition
  • the resolution of a processing target image is increased by applying a linear filter or the like to pixel information included in one still image or one frame of moving image (processing target image) to interpolate pixels.
  • a technique for increasing the resolution of a processing target image using a technology (intra-frame processing), pixel information of one frame of a moving image (processing target image), and pixel information of another frame whose playback time is around that frame. (Inter-frame processing).
  • inter-frame processing In inter-frame processing, a plurality of frames lined up along the playback timing are extracted from a moving image, and a minute position shift between the frames is detected using motion vector information between the frames to accurately synthesize the plurality of frames. By doing so, the number of pixels of the processing target image is increased and a high-definition image is generated.
  • Patent Document 1 Japanese Unexamined Patent Application Publication No. 2009-116421 discloses a super-resolution technique that suppresses an increase in processing load by performing super-resolution processing only on a partial region of a processing target image.
  • 3D images (stereoscopic images) that have attracted attention in recent years include a plurality of images including parallaxes corresponding to human binocular parallax (for example, two images of a left-eye image and a right-eye image). Is done. In general, the contents of a plurality of images constituting a 3D image are strongly correlated with each other.
  • the super-resolution processing for 3D images (still images and moving images) in a conventional video reproduction device is performed as follows.
  • the video playback device can display either the left-eye image or the right-eye image.
  • the resolution of the one image is increased using only the pixel information (information relating to the hue and brightness of the color displayed on the pixel), and the super-resolution image thus obtained is converted into a 2D image (non-3D image). Display as.
  • the quality of the obtained super-resolution image remains at a relatively low level in place of the amount of pixel information included in the 3D image input to the video reproduction device. .
  • an object of the present invention is to provide a video reproduction apparatus capable of generating a high-quality super-resolution image.
  • One aspect thereof is a video reproduction device that generates a super-resolution image of a first image by performing super-resolution processing on a first image included in a plurality of images that constitute a 3D image, and the plurality of images that constitute the 3D image.
  • a parallax detection unit that detects a parallax amount with respect to a pixel of a second image different from the first image included in the first image and outputs the parallax information as parallax information; and a pixel of the second image
  • a composite pixel position calculation unit that inserts into a pixel row to form a hybrid image, and obtains a coordinate value of each pixel of the hybrid image as a hybrid coordinate value based on the amount of parallax; a first image; a second image; and a hybrid coordinate
  • a filtering unit that generates a super-resolution image of the first image by performing a filtering calculation process on the composite image based on the value.
  • the parallax detection unit may obtain the parallax amount in units of subpixels and output the parallax amount which is a real value.
  • the parallax detection unit may perform block matching on the first image for a pixel block of a predetermined size in the second image, and detect the amount of parallax based on the result of the block matching.
  • the disparity detection unit compares the block matching result with a predetermined threshold value, determines whether the block matching result satisfies a predetermined condition defined by the threshold value, and determines The result is associated with the pixel of the second image and output to the composite pixel position calculation unit, and the composite pixel position calculation unit excludes the pixel of the second image that does not satisfy the predetermined condition from the pixel row of the composite image, and outputs the composite coordinate value
  • the filtering unit may generate a super-resolution image of the first image based on the hybrid coordinate value from which pixels of the second image that do not satisfy the predetermined condition are excluded.
  • Another aspect is a video playback method in a video playback apparatus that performs super-resolution processing on a first image included in a plurality of images constituting a 3D image to generate a super-resolution image of the first image.
  • the video reproduction apparatus can generate a high-quality super-resolution image from the 3D image by performing super-resolution processing using pixel information included in a plurality of images constituting the 3D image. it can.
  • FIG. 1 is a block diagram showing a configuration of a video reproduction device according to a first embodiment.
  • Block diagram showing details of configuration of signal processing unit of video reproduction apparatus The conceptual diagram explaining the detection of the parallax information which a right-and-left parallax detection part performs
  • the conceptual diagram explaining the detection of the parallax information which a right-and-left parallax detection part performs Conceptual diagram illustrating calculation of disparity information (sub-pixel unit disparity amount) having a non-integer value
  • Block diagram showing details of the configuration of the pixel interpolation unit
  • Example diagram illustrating calculation of composite pixel position information performed by the composite pixel position calculation unit Example diagram illustrating calculation of composite pixel position information performed by the composite pixel position calculation unit
  • Embodiment 1 The video reproduction apparatus according to the first embodiment inputs a plurality of images constituting a 3D image, such as a left-eye image and a right-eye image, and is a superset of at least one image (for example, a left-eye image) constituting the 3D image. Generate and output a resolution image.
  • the video playback device when the left-eye image of the 3D image is to be super-resolution, not only the left-eye image but also the right-eye image strongly correlated with the left-eye image (for example, at the same playback timing).
  • the super-resolution image of the left-eye image can be generated using pixel information included in the right-eye image.
  • the pixel information of the interpolation pixel is determined with higher accuracy so as to have a more preferable value as the pixel information of the interpolation pixel than in the past. It is possible to generate and output quality super-resolution images.
  • FIG. 1 is a block diagram illustrating a configuration of a video playback device 100 according to the first embodiment.
  • the video playback apparatus 100 includes a disk drive unit 102 (video source) that outputs data including content (3D content) including 3D images, and signal processing that performs predetermined processing on the data received from the video source and outputs a video signal.
  • Unit 103 an HDMI output unit 104 that outputs a video signal to an external device via an HDMI interface, and a remote control signal receiving unit 105 that receives a signal transmitted from a remote controller (not shown).
  • the video playback device 100 is a video playback device that causes a display device (not shown) connected to the HDMI output unit 104 to display either a stereoscopically viewable 3D image or a 2D image (non-3D image).
  • the disc 101 is a recording medium capable of recording 3D content.
  • the disc 101 includes an optical disc such as a DVD (Digital Versatile Disc) and a Blu-ray Disc (Blu-ray Disc, BD).
  • an optical disc such as a DVD (Digital Versatile Disc) and a Blu-ray Disc (Blu-ray Disc, BD).
  • the disc drive unit 102 operates based on the control information signal (broken line) transmitted from the signal processing unit 103, reads the stream data of the content recorded on the disc 101 from the disc 101, and outputs it to the signal processing unit 103.
  • the stream data read by the disk drive unit 102 may be, for example, multiplexed stream data encoded by MPEG-4 MVC (MPEG-4 Multiview Video Codec), and is not limited to this.
  • the remote control signal receiving unit 105 receives a signal transmitted from a remote controller (not shown) in response to a remote control operation performed by the user, and sends operation information included in the signal to the signal processing unit 103.
  • the signal processing unit 103 performs predetermined signal processing on the stream data read by the disk drive unit 102 to generate a video signal and an audio signal, and the video signal and the audio signal are converted to HDMI. Output to the output unit 104.
  • the signal processing unit 103 interprets the contents of the operation information from the remote control signal receiving unit 105, and transmits control information (broken line) to the disk drive unit 102 and the HDMI output unit 104 based on the operation information.
  • the unit 102 and the HDMI output unit 104 are controlled.
  • the signal processing unit 103 includes, for example, a system LSI.
  • control information is information for operating each unit such as the disk drive unit 102, the signal processing unit 103, and the HDMI output unit 104.
  • the signal processing unit 103 reads a stream as control information from the disk drive unit 102. Send instructions.
  • the HDMI output unit 104 operates based on the control information (broken line) transmitted from the signal processing unit 103, multiplexes the video signal and the audio signal received from the signal processing unit 103, and uses an external format such as a 3D display in the HDMI format. Output to the display device.
  • FIG. 2 is a block diagram illustrating a configuration of the signal processing unit 103.
  • the signal processing unit 103 includes a stream separation unit 201, an audio decoder 202, a graphic decoder 203, a video decoder 204, a pixel interpolation unit 205, a left / right parallax detection unit 206, and a central processing unit (CPU) 207. .
  • the signal processing unit 103 can output to the HDMI output unit 104 a video signal and an audio signal constituting either a 3D image or a non-3D image based on the stream data received from the disk drive unit 102 that is a video source. it can.
  • the stream separation unit 201 operates based on the control information (broken line) transmitted from the CPU 207, and separates the stream data read from the disk 101 by the disk drive unit 102 into an audio stream, a graphic stream, and a video stream.
  • the audio decoder 202 the graphic stream is output to the graphic decoder 203
  • the video stream is output to the video decoder 204.
  • the graphics stream is, for example, stream data such as BD-Java (registered trademark) of a pop-up menu in a content, subtitles, and the like.
  • the audio decoder 202 operates based on the control information (broken line) transmitted from the CPU 207, receives the compressed audio stream from the stream separation unit 201, and decodes the compressed audio stream into uncompressed PCM data.
  • the audio decoder 202 outputs the baseband signal generated by decoding to the HDMI output unit 104.
  • the graphic decoder 203 operates based on control information (broken line) transmitted from the CPU 207, receives a graphic stream from the stream separation unit 201, and decodes the graphic stream into graphic video data.
  • the graphic video data may include left-eye graphic video data GL and right-eye graphic video data GR.
  • the left-eye graphic video data GL is combined with the left-eye video data PL output from the video decoder 204.
  • the right-eye video data GR is combined with the right-eye video data PR output from the video decoder 204.
  • the left-eye video data PL is a left-eye video frame group of 3D content to be reproduced
  • the right-eye video data PR is a right-eye video frame group of the 3D content.
  • the video decoder 204 operates based on the control information (broken line) transmitted from the CPU 207, receives the compressed video stream from the stream separation unit 201, and decodes the compressed video stream into uncompressed video frame data.
  • the uncompressed video frame data may include left-eye video data PL and right-eye video data PR.
  • the left-eye video data PL and the left-eye graphic video data are combined to generate a left-eye image L-image.
  • the right-eye video data PR and the right-eye graphic video data are combined.
  • the right-eye image R-image is generated.
  • the left-eye image L-image and the right-eye image R-image are sent to the pixel interpolation unit 205 and the left-right parallax detection unit 206.
  • the right / left parallax detection unit 206 operates based on the control information (broken line) transmitted from the CPU 207 and corresponds to the left-eye image L-image that is the super-resolution processing target image (reproduction timing is substantially simultaneous). For each pixel of the image for R-image, the amount of parallax with the left-eye image L-image is detected, and the amount of parallax is sent to the pixel interpolation unit 205 as a parallax information signal.
  • the detection of the amount of parallax may be performed by block matching using a pixel block of a predetermined size.
  • the disparity information signal is a display for each pixel of a right-eye image corresponding to a left-eye image that is a super-resolution processing target image (that is, an image constituting a 3D image together with the left-eye image) with respect to the corresponding pixel in the left-eye image. It is a signal which shows the amount of parallax in a screen.
  • the parallax amount may be indicated by a difference amount between the pixel position (coordinate value) of the left-eye image and the pixel position (coordinate value) of the right-eye image having the highest correlation with the pixel.
  • the left / right parallax detection unit 206 obtains, for each pixel of the right-eye image, a parallax amount with the corresponding pixel in the left-eye image in sub-pixel units (as a real value including a non-integer value), and calculates the parallax amount It is set as parallax information for each pixel of the image for use.
  • the sub-pixel unit means counting the number of pixels with a decimal number less than 1 as a minimum unit. Therefore, the parallax information is determined as a real value (non-integer value).
  • the pixel interpolation unit 205 operates based on the control information (broken line) transmitted from the CPU 207, and based on the parallax information signal output from the left / right parallax detection unit 206, the left-eye image L-image received from the video decoder 204. And the position (hybrid coordinate value) of each pixel of both images in the hybrid image formed by hybridizing the right-eye image R-image. Then, the pixel interpolation unit 205 generates a composite image by arranging the pixels of the left-eye image L-image and the pixels of the right-eye image R-image based on the determined composite coordinate value, and generates the composite image. On the other hand, a filter operation described later is performed.
  • the hybrid coordinate value refers to the arrangement order of the pixels of both images and the coordinate value in the hybrid image when the left-eye image L-image and the right-eye image R-image are mixed to form a hybrid image (non- Information including an integer value).
  • the pixel interpolation unit 205 forms a composite image with the left-eye image L-image and the right-eye image R-image, and the left-eye image L-image, which is a super-resolution processing target image, is formed from the composite image.
  • a super-resolution image is generated.
  • the video signal of the super-resolution image is output to the HDMI output unit 104.
  • the CPU 207 receives the remote control operation information received by the remote control signal receiving unit 105, interprets the operation information, and then the disk drive unit 102, the stream separation unit 201, the audio decoder 202, the graphic decoder 203, the video decoder 204, and the pixel interpolation unit 205.
  • the control information (broken line) is transmitted to the left / right parallax detection unit 206 and the HDMI output unit 104 to control each device.
  • the left-right parallax detection unit 206 uses the left-eye image L-image and the left-eye image L-image, which are substantially the same in playback timing (constitute the same 3D image), from the frame group of the left-eye image and right-eye image received from the video decoder 204 The right-eye image R-image is extracted, and the amount of parallax between the two images is calculated using a pixel block of a predetermined size.
  • FIG. 3A and 3B are diagrams for explaining the calculation of the amount of parallax performed by the left-right parallax detection unit 206.
  • FIG. 3A is a diagram illustrating a left-eye image L-image that is a processing target image for super-resolution processing
  • FIG. 3B is a diagram illustrating a right-eye image R-image corresponding to the left-eye image L-image. .
  • the left-right parallax detection unit 206 performs block matching with the left-eye image for a pixel block of a predetermined size in the right-eye image, and for each pixel included in the block of the right-eye image R-image, the left-eye image Corresponding pixels are identified, and the amount of parallax is determined from the difference in coordinate values of both pixels.
  • the left-right parallax detection unit 206 first determines a pixel block of a predetermined size from the left-eye image L-image and the right-eye image R-image constituting one frame of the 3D image.
  • the pixel block may be a block having a size of 8 horizontal pixels and 8 vertical (height) pixels.
  • the block 301R shown in FIG. 3B is an example of the pixel block determined as the right-eye image R-image as described above.
  • the operation of left-right parallax detection performed by the left-right parallax detection unit 206 will be described using the block 301R.
  • the left / right parallax detection unit 206 searches the left eye image L-image at the same vertical position as the block 301R in the search window 302 having the same size as the block 301R. More specifically, the left-right parallax detection unit 206 starts the search from the leftmost block 303 in the left-eye image L-image at the same vertical position as the block 301R, and shifts the search window 302 to the right while blocking the block 306. Search until.
  • the block 303 is the leftmost block in the left-eye image at the same vertical position as the block 301R.
  • the block 301R2 is a block in the image for the left eye located at the same vertical position and the same horizontal position as the block 301R.
  • the block 306 is the rightmost block in the left-eye image at the same vertical position as the block 301R.
  • the search window 302 moves to the position of the block 303, and calculates the sum of the difference values of the pixel information in the search window 302 and the block 301R.
  • the sum of the difference values of the pixel information is calculated in the search window 302 by calculating, for each pixel, the difference between the pixel information data of the pixels in the search window 302 and the pixel information data of the pixels in the block 301R.
  • the value is based on the sum of the values, and is calculated using a predetermined evaluation function.
  • the search window 302 is moved rightward in the image for the left eye by one pixel from the position of the block 303, and the sum of the difference values between the pixel information in the search window 302 and the pixel information in the block 301R is calculated.
  • the search window 302 is moved to the right in the image for the left eye by one pixel, and an attempt is made to calculate the sum of the differences between the pixel information of the pixels in the search window 302 and the pixel information of the pixels in the window 301R. Repeat until window 302 reaches block 306.
  • the position of the search window 302 where the sum of the differences between the pixel information of the pixels in the search window 302 and the pixel information of the pixels in the block 301R is minimized is obtained.
  • the horizontal position difference P unit: pixel
  • the horizontal position difference P (unit: pixel) between the block 301L and the block 301R2 is the same for the block 301R. Is the amount of parallax P. In this way, the parallax amount of the pixel block 301R in the right-eye image is determined.
  • the left / right parallax detection unit 206 derives a parallax amount (non-integer value) in subpixel units from the parallax amount P in pixel units obtained by the block matching described above.
  • the detection of the amount of parallax in units of subpixels will be described with reference to FIG.
  • the solid line 401 indicates the sum (black dot) of the difference between the pixel information of the pixel of the search window 302 in the left-eye image and the pixel information of the pixel of the block 301 ⁇ / b> R of the right-eye image in the left-eye image of the search window 302. It is the plot connected by the line segment along the position of.
  • FIG. 4 the solid line 401 indicates the sum (black dot) of the difference between the pixel information of the pixel of the search window 302 in the left-eye image and the pixel information of the pixel of the block 301 ⁇ / b> R of the right-eye image in the left-eye image of the search window 302. It
  • the origin of the horizontal axis indicates a position where the horizontal position of the search window 302 matches the pixel block 301R2.
  • the difference value shows a minimum value at a position where the horizontal position (parallax amount P) of the search window 302 is +1.
  • the parallax amount P is +1 indicates that the pixel block 301R of the right-eye image is +1 pixel to the right of the pixel block 301L in the corresponding left-eye image.
  • the left / right parallax detection unit 206 approximates the vicinity of the minimum point 403 of the plot 401 with a quadratic function, and derives a quadratic curve 402 that closely approximates the plot 401. Then, the left / right parallax detection unit 206 determines the horizontal position of the search window 302 at which the sum of the differences in pixel information is minimum from the quadratic curve 402, which is an approximate curve of the plot 401, in subpixel units (a non-integer value). Forgive me) In the example of this figure, the parallax amount corresponds to the position 404 of the minimum point of the quadratic curve 402. Therefore, the parallax amount P in sub-pixel units for the pixel block 301R is +0.4.
  • the left / right parallax detection unit 206 performs a search by the search window 302 for all the pixel blocks into which the right eye image is divided so that the parallax amount is determined for all the pixels of the right eye image R-image.
  • the sub-pixel unit parallax amount is calculated using quadratic curve approximation for the pixel information difference sum value.
  • the left / right parallax detection unit 206 outputs the parallax amounts of all the pixels of the right-eye image obtained as a result to the pixel interpolation unit 205 as a parallax information signal.
  • the left-right parallax detection unit 206 performs threshold processing on the minimum value of the quadratic approximate curve, determines whether the minimum value satisfies a predetermined threshold condition, and if not, Processing may be performed.
  • the minimum value of the quadratic approximate curve does not satisfy a predetermined threshold condition (for example, when the minimum value is larger than a predetermined threshold value)
  • the pixel of the right-eye image for parallax detection is any of the left-eye image. This corresponds to the case where there is no strong correlation with the other pixels. Therefore, in order not to use the pixel information of the pixels of the right-eye image in the super-resolution processing in the pixel interpolation unit 205 described later, the minimum value of the quadratic approximation curve is input to the pixel interpolation unit 205. Information specifying pixels of the image for the right eye that does not satisfy the predetermined threshold condition is sent.
  • the pixel interpolation unit 205 that has received the specifying information performs the super-resolution processing without using the pixel information of the pixel of the right-eye image specified by the specifying information in the super-resolution processing described later. By doing so, the pixels of the right-eye image that are not strongly correlated with any pixel of the left-eye image are prevented from being used for the super-resolution processing. Thereby, further improvement in the quality of the super-resolution image can be expected.
  • the composite pixel position calculation unit 501 described later forms a composite image without including the pixel of the right-eye image specified by the specified information in the pixel column of the composite image described below.
  • the filtering unit 502 described later generates a super-resolution image without using the pixel of the right-eye image specified by the specified information for the filtering calculation described later.
  • FIG. 5 is a block diagram showing details of the configuration of the pixel interpolation unit 205.
  • the pixel interpolation unit 205 synthesizes (combines) the left-eye image L-image and the right-eye image R-image based on the sub-pixel unit parallax information signal calculated by the left-right parallax detection unit 206, and generates a composite image.
  • a predetermined filter operation is performed, and the resulting video signal is output to the HDMI output unit 104 as a video signal of a super-resolution image.
  • the pixel interpolating unit 205 Based on the parallax information signal calculated by the left / right parallax detecting unit 206, the pixel interpolating unit 205 performs pixel positions (mixed image) in the mixed image, which will be described later, for each pixel of the left-eye image L-image and the right-eye image R-image.
  • a combined pixel position calculation unit 501 that determines a coordinate value
  • a filtering unit 502 that performs a predetermined filtering process on the composite image based on the coordinate value and pixel information of each pixel of the composite image, and generates a super-resolution image; Is provided. Further, the filtering unit 502 transmits the video signal of the super resolution image to the HDMI output unit 104.
  • FIG. 6A is a diagram showing a pixel array (array 601) of a left-eye image L-image of a 3D image at a certain reproduction timing, which is a super-resolution processing target image, and coordinate values (array 602) in the left-eye image.
  • the left-eye image L-image includes pixel columns a 1 to a 14 , and each pixel has an integer coordinate value.
  • the coordinate value 602 indicates the horizontal position, and the vertical position is common.
  • the pixel column an (n: 1 to 14) may be an array in which numbers are assigned in the order of decoding for each pixel in one horizontal line of image data decoded by the video decoder 204.
  • the number of pixels in the pixel column 601 is 14 here, but is not limited thereto. In general, the number of pixels in the pixel column 601 matches the horizontal resolution of the processing target image.
  • the coordinate value 602 monotonously increases along the pixel column 601, but the coordinate value 602 may also move back and forth along the pixel column.
  • FIG. 6B relates to pixels corresponding to the pixel columns a 1 to a 14 of the left-eye image among the pixels of the right-eye image R-image constituting the same 3D image as the left-eye image L-image that is the processing target image. It is a table.
  • the right-eye image R-image includes pixel columns b 1 to b 14 (array 603), and coordinate values in the right-eye image of each pixel in the pixel column 603 are shown in an array 604.
  • the parallax information 605 indicates the sub-pixel unit parallax amount of each pixel of the right-eye image R-image calculated by the left-right parallax detection unit 206.
  • the hybrid coordinate value 606 indicates the coordinate value (hybrid coordinate value) in the hybrid image of each pixel of the right-eye image R-image.
  • the hybrid coordinate value matches the sum of the coordinate value 604 and the amount of parallax (value of parallax information) 605 for each pixel.
  • the pixel b 1 of the right-eye image R-image corresponds to pixel information at the position of the coordinate value 1.4 of the left-eye image L-image in consideration of the parallax with the left-eye image L-image. Means that.
  • the coordinate value of the position to be displayed when displaying the right eye image R-image alone is 2.0.
  • the parallax between the pixel and the corresponding pixel in the left-eye image is 0.4. Therefore, the pixel b 2, since that would have the pixel information corresponding to the pixel information of the coordinates 2.4 in the left eye image, the coordinate values in the hybrid image is determined to 2.4.
  • FIG. 6C is a diagram illustrating a mixed pixel column c obtained by mixing the pixel columns a 1 to a 14 of the left-eye image L-image and the pixel columns b 1 to b 14 of the right-eye image R-image.
  • the hybrid pixel column c includes the pixel columns a 1 to a 14 and the pixel column b according to the coordinate values (array 602) of the pixel columns a 1 to a 14 and the hybrid coordinate value (array 606) of the pixel columns b 1 to b 14. 1 to b 14 are arranged in the order of coordinate values.
  • the composite pixel position calculation unit 501 performs the same horizontal operation for all the pixels an (n: 1 to left-eye image horizontal resolution) and the right-eye image R-image at a certain horizontal position of the left-eye image L-image.
  • All the pixels bn (n: 1 to right-eye image horizontal resolution) at the position are rearranged according to the coordinate values of the left-eye image and the hybrid coordinate value of the right-eye image to form a composite image pixel column c. That is, the composition position calculation unit 501 determines the pixel arrangement order in the composite image formed by inserting the pixels of the right-eye image into the left-eye image.
  • the composite pixel position calculation unit 501 transmits the pixel arrangement order (array 607) and the coordinate value of each pixel in the composite image (mixed coordinate value (array 608)) to the filtering unit 502 for the mixed image pixel column c.
  • the filtering unit 502 transmits the left eye transmitted from the video decoder 204 based on the combined pixel position information configured by the array 607 of the pixel arrangement order and the array 608 of the mixed coordinate values transmitted from the combined pixel position calculation unit 501.
  • a filter operation is performed on the image L-image and the right-eye image R-image.
  • the left-eye image and the right-eye image are each interpolated from the video decoder 204 as an image of horizontal 960 pixels ⁇ vertical 1080 pixels.
  • Sent to the unit 205 pixel interpolation is performed by taking an example in which the pixel interpolation unit 205 performs super-resolution processing using the left-eye image as a processing target image, and outputs a full high-definition (full HD) non-3D image of horizontal 1920 pixels ⁇ vertical 1080 pixels. Processing in the unit 205 will be described.
  • the hybrid coordinate value 608 is assumed to have a real value in a range from approximately 1 to approximately 960.
  • the filtering unit 502 When generating a super-resolution image having a double resolution (960 pixels to 1920 pixels) in the horizontal direction from the data in FIG. 6C (arrays 607 and 608), the filtering unit 502 has both the left eye having a horizontal resolution of 960 pixels. Coordinate positions 0.5, 1.0, 1.5, 2.0,..., 959.5, in increments of 0.5 with respect to the hybrid image coordinates. What is necessary is just to determine the pixel information in 960.0. Note that the filter calculation processing performed by the filtering unit 502 may be performed on the basis of pixel information data of each pixel of the left-eye image L-image that is a super-resolution processing target image.
  • the pixel column of the super-resolution image to be obtained is Vx (x: 0.5, 1.0, 1.5,..., 959.5, 960.0).
  • Vx 0.5, 1.0, 1.5,..., 959.5, 960.0
  • pixel information data of the super-resolution image pixel Vn having an integer value n n (n: 1.0, 2.0,..., 959.0, 960.0)
  • pixel information of each pixel of the left-eye image These data may be used as they are. That is, if each pixel of the left-eye image is an (n: 1.0, 2.0,..., 959.0, 960.0), pixel information of the super-resolution image pixel Vn for the integer n.
  • the pixel information of the left-eye image pixel an may be used. Note that each pixel an (n is an integer) of the left-eye image matches cn (n is an integer) of the pixel row 609 of the hybrid image.
  • pixel information of the pixel Vx having a non-integer value x (x: 0.5, 1.5,..., 958.5, 959.5) is obtained by the following filter calculation.
  • a filter operation is performed by the following formula to determine the pixel information of the pixel Vx.
  • k1, k2,..., km are mixed coordinate values of m pixels selected from the mixed pixel value c (array 609) in the vicinity of the coordinate value x of the pixel to be interpolated in order of the mixed coordinate value. (Horizontal coordinate position).
  • the weighting function M (x, (k1, k2,..., Km), ki) shows a higher value as the value of
  • the pixel information data of the interpolation pixel V 2.5 is calculated by the following equation.
  • c 2.4 and c 3.0 indicate pixel information data of each composite image pixel.
  • the filtering unit 502 performs interpolation pixel Vx (x: 0.5, 1...) For each non-integer x (0.5, 1.5,..., 958.5, 959.5). 5, ..., 958.5, 959.5) of pixel information.
  • the filtering unit 502 performs Vx (x: 0.5, 1.0, 1.5,..., 958.5, 959.0, 959.5, 960) of each pixel of the super-resolution image. Pixel information data can be output.
  • FIG. 7 summarizes the super-resolution processing performed by the video reproduction apparatus 100 of the present embodiment as a flowchart.
  • the left-right parallax detection unit 206 detects the amount of parallax with respect to the left-eye image of each pixel of the corresponding right-eye image in units of subpixels (step) S1).
  • the composite pixel position calculation unit 501 of the pixel interpolation unit 205 mixes the left-eye image pixels and the right-eye image pixels based on the sub-pixel unit parallax amount obtained by the left-right parallax detection unit 206.
  • the coordinate value of each pixel of the left-eye image and the right-eye image is obtained (step S2).
  • the filtering unit 502 of the pixel interpolation unit 205 calculates pixel information of each pixel of the super-resolution image from the coordinate value and pixel information of each pixel of the composite image generated by the composite pixel position calculation unit 501 (step S3).
  • the filtering 502 generates and outputs a super-resolution image using the pixel information of each pixel of the super-resolution image obtained in step S3 (step S4).
  • the video reproduction device 100 allows the right-eye image of the 3D image to be strongly correlated with the left-eye image.
  • the parallax of each pixel with respect to the left-eye image is detected as a real-valued parallax amount (sub-pixel unit parallax amount) (left-right parallax detection unit 206), and the left-eye image and the right-eye image are mixed based on the sub-pixel unit parallax amount.
  • a super-resolution image is generated by determining pixel information of each pixel of the super-resolution image of the processing target image based on the coordinate value and pixel information of each pixel constituting the hybrid image.
  • the video reproduction device 100 uses a plurality of images (for example, a left-eye image and a right-eye image) constituting a 3D image to superimpose one image (for example, a left-eye image) included in the 3D image.
  • a resolution image can be generated.
  • the left / right parallax detection unit 206 of the video reproduction device 100 detects a parallax amount of each pixel of the right-eye image with respect to the left-eye image by using a pixel block of a predetermined size, and detects 1 A parallax amount in sub-pixel units can be calculated by performing curve approximation on the parallax amount detected in pixel units. Therefore, in the video reproduction device 100 according to the present embodiment, the left / right parallax detection unit 206 can detect the parallax amount (parallax amount having a real value) in units of subpixels.
  • the amount of parallax with respect to the left-eye image of each pixel of the right-eye image is determined in subpixel units smaller than the pixel interval, and each pixel of the composite image of the left-eye image and the right-eye image is determined based on the amount of parallax. Coordinate values and pixel information are obtained.
  • the pixel information of the super-resolution image is determined with high accuracy based on the coordinate value and pixel information of each pixel of the hybrid image. As a result, a high-quality super-resolution image to be generated can be obtained.
  • Modification Example Embodiment 1 has been described as an embodiment of the present invention. However, the present invention is not limited to this. Therefore, a modification of the present embodiment is shown below. In addition, this invention is not limited to these, The form corrected suitably is also included.
  • the video playback device 100 can play back 3D or non-3D content including a 3D still image or a 3D moving image.
  • the left-eye image among the 3D images composed of the left-eye image and the right-eye image is set as the processing target image. Therefore, a super-resolution image of the left-eye image is output and used for non-3D display.
  • the same processing is performed on the right-eye image, so that a super-resolution image of the left-eye image and the right-eye image can be generated.
  • the 3D display used is also possible.
  • the 3D image is described as being composed of two images, a left-eye image and a right-eye image.
  • the number of images constituting a 3D image is not limited to two.
  • the 3D image is composed of three or more images so that two images with different combinations are presented to the eyes of the observer if the direction in which the observer observes the 3D image is different.
  • the video reproduction apparatus can generate a super-resolution image. In that case, the video playback apparatus sets one of three or more images constituting the 3D image as a super-resolution processing target image, and uses the image and at least one other image to perform super processing.
  • a resolution image may be generated.
  • the video reproduction device 100 determines whether the display device connected to the HDMI output unit 104 is compatible with 3D image display or not compatible with 3D image display, and if the display device is compatible with 3D image display, If the resolution image is generated and output as a 3D image and the display device does not support 3D image display, the super resolution image may be generated and output as a non-3D image.
  • the disc 101 is a Blu-ray disc, but is not limited to this.
  • the disk 101 may be a medium capable of recording content including stereoscopic images, such as a hard disk, SSD, and semiconductor memory. That is, in the video playback device 100, the specific configuration of the video source is not particularly limited.
  • video signals and the audio signal are output from the HDMI output unit 104 in the first embodiment, the present invention is not limited to this.
  • video signals and audio signals may be output separately as analog signals instead of HDMI. That is, the output unit 104 may be of any format as long as it can output a video signal to the outside of its own device.
  • the graphic video data GL and GR output from the graphic decoder 203 and the video data PL and PR output from the video decoder 204 are combined.
  • the present invention is not limited to this.
  • the video data PL and PR output from the video decoder 204 and the graphic video data GL and GR output from the graphic decoder 203 are not necessarily combined.
  • the determination process of the parallax information is not limited to this. Absent.
  • vector information and disparity information included in the video stream may be used.
  • a pixel having the strongest correlation among the pixels of the other image may be specified with respect to an arbitrary pixel of the image for the left eye or the image for the right eye.
  • the left-right parallax detection unit 206 detects the parallax between the left-eye image transmitted from the video decoder 204 and the right-eye image having the same reproduction timing, but the left-eye having the same reproduction timing is detected.
  • the parallax may be detected from the image for use and the image for the right eye.
  • the left and right parallax detection unit 206 calculates the difference value of the pixel information for the pixel block 303 to the pixel block 306 at the same vertical position in the left and right images.
  • the sum of differences in pixel information may be calculated for a pixel block at another vertical position. In this case, a vertical parallax amount component is introduced into the parallax information.
  • the left-right parallax detection unit 206 detects left-right parallax using the search window 302 of the same size using a pixel block of a predetermined size as a unit of block matching. It is not limited to a pixel block as a unit.
  • the object extraction may be performed from the left-eye image or the right-eye image, and the parallax information may be calculated based on the extracted object.
  • the left-right parallax detection unit 206 divides the image into pixel blocks of a predetermined size and calculates the parallax information using the search window 302.
  • the present invention is not limited to this method. For example, a method of calculating a highly correlated position by shifting the entire right eye image in the horizontal direction and the vertical direction with respect to the left eye image may be used.
  • Embodiment 1 the sum of differences between pixels is used as an evaluation function when calculating the amount of parallax in units of subpixels, and the amount of parallax in units of subpixels is obtained by quadratic curve approximation. I can't.
  • the evaluation function and the approximate curve may be arbitrary functions. The evaluation function and its approximate curve only need to be able to calculate the amount of parallax in units of subpixels.
  • Embodiment 1 in order to calculate the amount of parallax in units of subpixels, a method of approximating the vicinity of the position where the evaluation function is minimum with a quadratic curve is used.
  • This method is an example of a method for calculating the amount of parallax in units of subpixels, and other methods may be used as long as the amount of parallax can be calculated in units of subpixels.
  • the pixel interpolation unit 205 generates a composite image by inserting pixels of the right-eye image into the left-eye image with the left-eye image as a reference.
  • the reference image is not limited to the left-eye image. .
  • the composite pixel position calculation unit 501 is based on the parallax information signal calculated by the left / right parallax detection unit 206 and transmits the left-eye image L-image and right-eye image R-image transmitted from the video decoder 204.
  • the present invention is not limited to this.
  • the left-right parallax detection unit 206 receives, as inputs from the video decoder 204, the pixel sequence of the left-eye image and its coordinate values (array 601 and array 602), the pixel sequence of the right-eye image, its coordinate value, and parallax information ( If the array 603, the array 604, and the array 605) are obtained, the combined pixel position calculation unit 501 may calculate the coordinate value and pixel information of each pixel of the composite image based on the information.
  • Embodiment 1 an example of generating a super-resolution image with double resolution (horizontal direction 1920 pixels) using two images (left-eye image and right-eye image) having a resolution of 960 pixels in the horizontal direction
  • the ratio between the resolution of the processing target image and the resolution of the super-resolution image may be arbitrary. Even in this case, a super-resolution image can be generated from the processing target image in the same manner as in the present embodiment.
  • the process of interpolating pixels in the horizontal pixel row of the processing target image has been shown.
  • the direction of pixel interpolation is not limited to the horizontal direction of the processing target image. Pixel interpolation can be performed for the vertical (vertical direction) pixel row of the processing target image by the same processing as that shown in the first embodiment.
  • pixel information of each pixel of the left-eye image is used as it is as pixel information of the pixel of the super-resolution image.
  • the filtering process may be performed by the filtering unit 502 on the pixel information of the image for the left eye.
  • pixel information corresponding to pixels having non-integer coordinate values (0.25, 0.75, 1.75, etc.) in the super-resolution image can be derived from the pixel information of each pixel of the image for the left eye. it can.
  • Pixel information relating to pixels having non-integer coordinate values in the super-resolution image obtained from the pixel information of the left-eye image in this way, and non-integer coordinates in the super-resolution image obtained from the pixel information of the right-eye image It is also possible to generate a super-resolution image using pixel information regarding a pixel having a value.
  • the process of increasing the resolution of the processing target image by a factor of two is shown as an example.
  • the present embodiment is not limited to this, and the present embodiment can be applied to any increase rate.
  • SD standard definition
  • 3D image having full HD (full HD) definition from a standard definition (SD) or high definition (HD) top-and-bottom 3D image is also possible to generate a super-resolution image having a horizontal resolution of 3840 pixels ⁇ a vertical resolution of 2160 pixels from a standard definition (SD) image.
  • 3D image having full HD (full HD) definition from a standard definition (SD) or high definition (HD) top-and-bottom 3D image.
  • the 3D image may be a frame-sequential 3D image.
  • Examples of the number of pixels of the processing target image include 720 ⁇ 480 pixels, 1440 ⁇ 1080 pixels, 1920 ⁇ 1080 pixels, 3840 ⁇ 2160 pixels, and the like.
  • Examples of the number of pixels of the super-resolution image generated from the processing target image include 1440 ⁇ 1080 pixels, 1920 ⁇ 1080 pixels, 3840 ⁇ 2160 pixels, and 4096 ⁇ 2160 pixels.
  • the pixel interpolation unit 205 generates a composite image by combining the left-eye image and the right-eye image for all pixels, and superimposes based on the coordinate value and pixel information of each pixel of the composite image.
  • the resolution image is generated, the present invention is not limited to this.
  • a left-eye image and a right-eye image are mixed to generate a mixed image region only for a region of a part of a pixel group having a high correlation between the left-eye image and the right-eye image. It is also possible to generate a super-resolution image area based on the coordinate values and pixel information of each pixel in the hybrid image area.
  • the signal processing unit 103 may include a processor and a program that can be executed by the processor.
  • the program may be installed in the video playback device 100 in advance.
  • the program may be distributed on a storage medium such as a Blu-ray disc or an SD memory card.
  • the program may be distributed via wireless communication means such as broadcast waves and communication waves, or a computer network such as the Internet.
  • the video source may include a storage medium such as a hard disk drive and an SD memory card, an antenna and a tuner for receiving broadcast waves, in addition to the disk drive unit 102.
  • a storage medium such as a hard disk drive and an SD memory card
  • an antenna and a tuner for receiving broadcast waves in addition to the disk drive unit 102.
  • the present invention is useful as a video playback apparatus capable of playing back at least one of high-quality 3D images and non-3D images.
  • DESCRIPTION OF SYMBOLS 100 Video reproduction apparatus 101 ... Disc 102 ... Disc drive part 103 ... Signal processing part 104 ... HDMI output part 105 ... Remote control signal receiving part 201 ... Stream separation part 202 .. Audio decoder 203... Graphic decoder 204... Video decoder 205... Pixel interpolation unit 206 .. Right / left parallax detection unit 207 ... Central processing unit (CPU) 501... Composite pixel position calculation unit 502... Filtering unit

Abstract

３Ｄ画像を構成する複数の画像に含まれる第１画像に超解像処理を行い第１画像の超解像画像を生成する映像再生装置であって、３Ｄ画像を構成する複数の画像に含まれる第１画像とは別の第２画像の画素について、第１画像との視差量を検出し、視差情報として出力する視差検出部と、第２画像の画素を第１画像の画素列に挿入して混成画像を形成し、混成画像の各画素の座標値を視差量に基づいて混成座標値として求める合成画素位置算出部と、第１画像、第２画像、および、混成座標値に基づいて、混成画像にフィルタリング演算処理を行って、第１画像の超解像画像を生成するフィルタリング部と、を有する映像再生装置。

Description

映像再生装置
　本発明は、映像再生装置に関し、特に、超解像技術を備えた映像再生装置に関する。
　従来、映像信号の解像度即ち画素数を増大させるための技術として超解像技術がある。例えば、超解像技術を備えた映像再生装置は、標準精細度（スタンダードデフィニション、ＳＤ（Standard Definition））の映像信号を入力し、超解像技術を用いてその入力信号の画素を補間し、高精細度（ハイデフィニション、ＨＤ（High Definition））の映像信号を生成することができる。
　超解像技術には、１枚の静止画像または動画像１フレーム（処理対象画像）に含まれる画素情報に対し線形フィルタ等を適用して画素を補間することにより処理対象画像の解像度を増大させる技術（フレーム内処理）と、動画像１フレーム（処理対象画像）の画素情報と、そのフレームに対して再生時間が前後する他のフレームの画素情報を用いて処理対象画像の解像度を増大させる技術（フレーム間処理）がある。フレーム間処理では、動画像中から、その再生タイミングに沿って並ぶ複数のフレームを取り出し、各フレーム間の動きベクトル情報を用いてフレーム間の微小な位置ずれを検知して複数フレームを正確に合成することにより、処理対象画像の画素数を増大させ高精細な画像を生成する。
　特許文献１（特開２００９－１１６４２１号公報）には、処理対象画像の部分領域のみに超解像処理を行うことで処理負荷の増加を抑えた超解像技術が開示されている。
特開２００９－１１６４２１号公報
　近年注目を集める３Ｄ画像（立体視可能な画像）は、ヒトの両眼視差に対応する視差を含んだ複数の画像（例えば、左目用画像と右目用画像の２枚の画像）を含んで構成される。３Ｄ画像を構成する複数の画像の内容は、一般に、互いに強く相関する。
　従来の映像再生装置における３Ｄ画像（静止画像および動画像）に対する超解像処理は、例えば次のように行われる。映像再生装置は、左目用画像および右目用画像の２枚の画像で構成される３Ｄ画像に基づいて、高精細な２Ｄ画像表示を行う場合、左目用画像および右目用画像のいずれか一方の画像の画素情報（画素に表示される色の色相や輝度等に関する情報）のみを用いて当該一方の画像の解像度を増大させ、そのようにして得た超解像画像を２Ｄ画像（非３Ｄ画像）として表示させる。
　このように、３Ｄ画像に対する従来の超解像処理においては、左目用画像および右目用画像の一方を処理対象画像とした場合には、他方の画像が有する画素情報は利用されない。
　そのため、３Ｄ画像に対する従来の超解像処理では、映像再生装置に入力される３Ｄ画像が有する画素情報の情報量のわりには、得られる超解像画像の質は比較的低いレベルに留まっている。
　上記問題点を鑑み、本発明は、高品質の超解像画像を生成可能な映像再生装置を提供することを目的とする。
　その一態様は、３Ｄ画像を構成する複数の画像に含まれる第１画像に超解像処理を行い第１画像の超解像画像を生成する映像再生装置であって、３Ｄ画像を構成する複数の画像に含まれる第１画像とは別の第２画像の画素について、第１画像との視差量を検出し、視差情報として出力する視差検出部と、第２画像の画素を第１画像の画素列に挿入して混成画像を形成し、混成画像の各画素の座標値を視差量に基づいて混成座標値として求める合成画素位置算出部と、第１画像、第２画像、および、混成座標値に基づいて、混成画像にフィルタリング演算処理を行って、第１画像の超解像画像を生成するフィルタリング部と、を有する映像再生装置である。
　その一態様においては、視差検出部は、視差量をサブピクセル単位で求め、実数値である視差量を出力してもよい。
　その一態様においては、視差検出部は、第２画像中の所定サイズの画素ブロックについて、第１画像に対するブロックマッチングを行い、当該ブロックマッチングの結果に基づいて視差量を検出してもよい。
　その一態様においては、視差検出部は、ブロックマッチングの結果に対し所定の閾値との比較を行い、ブロックマッチングの結果が閾値で規定される所定の条件を満足するか否かを判定し、判定結果を第２画像の画素と関連付けて合成画素位置算出部へ出力し、合成画素位置算出部は、所定の条件を満足しない第２画像の画素を混成画像の画素列から除外して混成座標値を決定し、フィルタリング部は、所定の条件を満足しない第２画像の画素が除外された混成座標値に基づいて第１画像の超解像画像を生成してもよい。
　別の一態様は、３Ｄ画像を構成する複数の画像に含まれる第１画像に超解像処理を行い第１画像の超解像画像を生成する映像再生装置における映像再生方法であって、映像再生装置が、３Ｄ画像を構成する複数の画像に含まれる第２画像の画素について、第１画像との視差量を検出し、視差情報として出力するステップと、映像再生装置が、第２画像の画素を第１画像の画素列に挿入して混成画像を形成し、混成画像の各画素の座標値を視差量に基づいて混成座標値として求めるステップと、第１画像、第２画像、および、混成座標値に基づいて、混成画像にフィルタリング演算処理を行って、第１画像の超解像画像を生成するステップと、を有する映像再生方法である。
　本発明にかかる映像再生装置は、３Ｄ画像を構成する複数の画像に含まれる画素情報を用いて超解像処理を行うことにより、当該３Ｄ画像から高品質の超解像画像を生成することができる。
実施の形態１にかかる映像再生装置の構成を示すブロック図 映像再生装置の信号処理部の構成の詳細を示すブロック図 左右視差検出部がする視差情報の検出を説明する概念図 左右視差検出部がする視差情報の検出を説明する概念図 非整数値を有する視差情報（サブピクセル単位視差量）の算出を説明する概念図 画素補間部の構成の詳細を示すブロック図 合成画素位置算出部がする合成画素位置情報の算出を説明する例図 合成画素位置算出部がする合成画素位置情報の算出を説明する例図 合成画素位置算出部がする合成画素位置情報の算出を説明する例図 映像再生装置がする超解像処理のフローチャート
　実施の形態１
　実施の形態１にかかる映像再生装置は、左目用画像および右目用画像といった、３Ｄ画像を構成する複数画像を入力し、当該３Ｄ画像を構成する少なくとも１つの画像（例えば、左目用画像）の超解像画像を生成し出力する。
　すなわち、実施の形態１にかかる映像再生装置は、３Ｄ画像の左目用画像を超解像度化する場合、左目用画像のみならず、左目用画像と強く相関する右目用画像（例えば、同一再生タイミングの右目用画像）が有する画素情報を用いて、左目用画像の超解像画像を生成することができる。そのため、本映像再生装置が生成する超解像画像においては、補間画素が有する画素情報は、従来よりも、その補間画素の画素情報としてより好ましい値を有するように精度よく決定され、よって、高品質の超解像画像を生成し出力することが可能である。
　１．映像再生装置の構成
　図１は、実施の形態１にかかる映像再生装置１００の構成を示すブロック図である。映像再生装置１００は、３Ｄ画像を含むコンテンツ（３Ｄコンテンツ）のデータを出力するディスクドライブ部１０２（映像ソース）と、映像ソースから受けたデータに対し所定の処理を行い映像信号を出力する信号処理部１０３と、映像信号を外部装置へＨＤＭＩインタフェースを介して出力するＨＤＭＩ出力部１０４と、リモートコントローラ（図示せず）が発信する信号を受信するリモコン信号受信部１０５とを有する。映像再生装置１００は、ＨＤＭＩ出力部１０４に接続される表示装置（図示せず）に立体視可能な３Ｄ画像および２Ｄ画像（非３Ｄ画像）のいずれかを表示させる映像再生装置である。
　ディスク１０１は、３Ｄコンテンツを記録可能な記録媒体である。例えば、ディスク１０１には、ＤＶＤ（Digital Versatile Disc）やブルーレイディスク（Blu-ray Disc, BD）といった光ディスクが含まれる。
　ディスクドライブ部１０２は、信号処理部１０３から伝送される制御情報信号（破線）に基づいて動作し、ディスク１０１に記録されたコンテンツのストリームデータをディスク１０１から読み出して信号処理部１０３へ出力する。ディスクドライブ部１０２が読み出すストリームデータとは、例えば、ＭＰＥＧ－４　ＭＶＣ（MPEG-4 Multiview Video Codec）で符号化された多重化ストリームデータでよく、また、これに限定されない。
　リモコン信号受信部１０５は、ユーザがするリモコン操作に応じてリモートコントローラ（図示せず）が発信する信号を受信し、その信号に含まれる操作情報を信号処理部１０３へ送る。
　信号処理部１０３は、受け取った操作情報に応じて、ディスクドライブ部１０２で読み出されたストリームデータに所定の信号処理を行って映像信号および音声信号を生成し、それら映像信号および音声信号をＨＤＭＩ出力部１０４へ出力する。また、信号処理部１０３は、リモコン信号受信部１０５からの操作情報の内容を解釈し、当該操作情報に基づいてディスクドライブ部１０２およびＨＤＭＩ出力部１０４へ制御情報（破線）を送信し、ディスクドライブ部１０２およびＨＤＭＩ出力部１０４を制御する。信号処理部１０３は、例えば、システムＬＳＩを含んで構成される。
　ここで、制御情報とは、ディスクドライブ部１０２や信号処理部１０３やＨＤＭＩ出力部１０４等の各部を動作させるための情報である。例えば、リモートコントローラを介してユーザからＢＤ－ＲＯＭ（Blu-ray Disc Read Only Memory）を再生する指示があった場合には、信号処理部１０３は、ディスクドライブ部１０２に対し、制御情報としてストリーム読み出し命令を送る。
　ＨＤＭＩ出力部１０４は、信号処理部１０３から伝送される制御情報（破線）に基づいて動作し、信号処理部１０３より受け取った映像信号及び音声信号を多重化し、ＨＤＭＩフォーマット形式で３Ｄディスプレイといった外部の表示装置へ出力する。
　１－１．信号処理部
　図２は、信号処理部１０３の構成を示すブロック図である。
　信号処理部１０３は、ストリーム分離部２０１と、音声デコーダ２０２と、グラフィックデコーダ２０３と、映像デコーダ２０４と、画素補間部２０５と、左右視差検出部２０６と、中央処理装置（ＣＰＵ）２０７とを有する。信号処理部１０３は、映像ソースであるディスクドライブ部１０２から受け取ったストリームデータに基づいて、３Ｄ画像および非３Ｄ画像のいずれかを構成する映像信号ならびに音声信号をＨＤＭＩ出力部１０４へ出力することができる。
　ストリーム分離部２０１は、ＣＰＵ２０７より伝送される制御情報（破線）に基づいて動作し、ディスクドライブ部１０２がディスク１０１から読み出したストリームデータを、音声ストリーム、グラフィックストリーム、映像ストリームに分離し、音声ストリームを音声デコーダ２０２へ、グラフィックストリームをグラフィックデコーダ２０３へ、映像ストリームを映像デコーダ２０４へそれぞれ出力する。ここで、グラフィックストリームとは、例えば、コンテンツ内のポップアップメニューのＢＤ－Ｊａｖａ（登録商標）、字幕等のストリームデータである。
　音声デコーダ２０２は、ＣＰＵ２０７より伝送される制御情報（破線）に基づいて動作し、ストリーム分離部２０１から圧縮された音声ストリームを受け、該圧縮音声ストリームを非圧縮ＰＣＭデータにデコードする。音声デコーダ２０２は、デコードして生成したベースバンド信号をＨＤＭＩ出力部１０４へ出力する。
　グラフィックデコーダ２０３は、ＣＰＵ２０７より伝送される制御情報（破線）に基づいて動作し、ストリーム分離部２０１からグラフィックストリームを受け、該グラフィックストリームをグラフィック映像データにデコードする。再生するコンテンツが３Ｄコンテンツである場合には、グラフィック映像データは、左目用グラフィック映像データＧＬと右目用グラフィック映像データＧＲを含んでよい。左目用グラフィック映像データＧＬは、映像デコーダ２０４より出力される左目用映像データＰＬと合成される。右目用グラフィック映像データＧＲは、映像デコーダ２０４より出力される右目用映像データＰＲと合成される。ここで、左目用映像データＰＬとは、再生する３Ｄコンテンツの左目用映像フレーム群であり、右目用映像データＰＲとは、同３Ｄコンテンツの右目用映像フレーム群である。
　映像デコーダ２０４は、ＣＰＵ２０７より伝送される制御情報（破線）に基づいて動作し、ストリーム分離部２０１から圧縮された映像ストリームを受け、該圧縮映像ストリームを非圧縮映像フレームデータにデコードする。再生するコンテンツが３Ｄコンテンツである場合には、非圧縮映像フレームデータは、左目用映像データＰＬと右目用映像データＰＲとを含んでよい。映像デコーダ２０４の後段で、左目用映像データＰＬと左目用グラフィック映像データとが合成されて左目用画像Ｌ－ｉｍａｇｅが生成され、同様、右目用映像データＰＲと右目用グラフィック映像データとが合成されて右目用画像Ｒ－ｉｍａｇｅが生成される。左目用画像Ｌ－ｉｍａｇｅおよび右目用画像Ｒ－ｉｍａｇｅは、画素補間部２０５および左右視差検出部２０６へ送られる。
　左右視差検出部２０６は、ＣＰＵ２０７より伝送される制御情報（破線）に基づいて動作し、超解像処理対象画像である左目用画像Ｌ－ｉｍａｇｅに対応する（再生タイミングが実質同時である）右目用画像Ｒ－ｉｍａｇｅの各画素について、左目用画像Ｌ－ｉｍａｇｅとの視差量を検出し、当該視差量を視差情報信号として画素補間部２０５へ送る。視差量の検出は、所定サイズの画素ブロックを用いたブロックマッチングで行ってよい。
　視差情報信号とは、超解像処理対象画像である左目用画像と対応する右目用画像（すなわち、左目用画像とともに３Ｄ画像を構成する画像）の各画素について、左目用画像における対応画素に対する表示画面における視差量を示す信号である。ここで視差量とは、左目用画像の画素の位置（座標値）と、当該画素と最も相関の高い右目用画像の画素の位置（座標値）との差分量で示せばよい。左右視差検出部２０６は、右目用画像の各画素について、左目用画像中の対応画素との視差量を、サブピクセル単位で（非整数値を含む実数値で）求め、当該視差量を、右目用画像の各画素についての視差情報とする。サブピクセル単位とは、１未満の小数を最小単位として画素数を計数することを意味する。よって、視差情報は、実数値（非整数値）として決定される。
　画素補間部２０５は、ＣＰＵ２０７より伝送される制御情報（破線）に基づいて動作し、左右視差検出部２０６から出力された視差情報信号に基づいて、映像デコーダ２０４から受けた左目用画像Ｌ－ｉｍａｇｅと右目用画像Ｒ－ｉｍａｇｅとを混成して形成される混成画像における両画像の各画素の位置（混成座標値）を決定する。そして、画素補間部２０５は、決定したこの混成座標値に基づいて左目用画像Ｌ－ｉｍａｇｅの各画素と右目用画像Ｒ－ｉｍａｇｅの各画素とを配列して混成画像を生成し、混成画像に対し後述するフィルタ演算を行う。
　ここで、混成座標値とは、左目用画像Ｌ－ｉｍａｇｅと右目用画像Ｒ－ｉｍａｇｅとを混成して混成画像を形成する際の両画像の各画素の並び順序および混成画像における座標値（非整数値を含む）を示した情報である。画素補間部２０５は、これらの処理により、左目用画像Ｌ－ｉｍａｇｅと右目用画像Ｒ－ｉｍａｇｅとで混成画像を形成し、混成画像から超解像処理対象画像である左目用画像Ｌ－ｉｍａｇｅの超解像画像を生成する。そして、超解像画像の映像信号は、ＨＤＭＩ出力部１０４へ出力される。
　ＣＰＵ２０７は、リモコン信号受信部１０５で受信したリモコン操作情報を受け取り、操作情報を解釈した後、ディスクドライブ部１０２、ストリーム分離部２０１、音声デコーダ２０２、グラフィックデコーダ２０３、映像デコーダ２０４、画素補間部２０５、左右視差検出部２０６、ＨＤＭＩ出力部１０４へ制御情報（破線）を送信し、各装置を制御する。
　１－２．左右視差検出部
　左右視差検出部２０６は、映像デコーダ２０４から受信した左目用画像および右目用画像のフレーム群から、再生タイミングが実質同じ（同一の３Ｄ画像を構成する）左目用画像Ｌ－ｉｍａｇｅおよび右目用画像Ｒ－ｉｍａｇｅを抽出し、所定のサイズの画素ブロックを用いて両画像間の視差量を算出する。
　図３Ａおよび図３Ｂは、左右視差検出部２０６がする視差量の算出を説明するための図である。図３Ａは、超解像処理の処理対象画像である左目用画像Ｌ－ｉｍａｇｅを示す図であり、図３Ｂは、左目用画像Ｌ－ｉｍａｇｅに対応する右目用画像Ｒ－ｉｍａｇｅを示す図である。左右視差検出部２０６は、右目用画像中の所定のサイズの画素ブロックについて左目用画像との間でブロックマッチングを行い、右目用画像Ｒ－ｉｍａｇｅの当該ブロックに含まれる各画素について、左目用画像中の対応する画素を特定し、両画素の座標値の差違から視差量を決定する。
　具体的には、左右視差検出部２０６は、先ず、３Ｄ画像１フレームを構成する左目用画像Ｌ－ｉｍａｇｅと右目用画像Ｒ－ｉｍａｇｅから所定のサイズの画素ブロックを決定する。例えば、画素ブロックは、水平８画素、垂直（高さ）８画素のサイズを有するブロックでよい。
　図３Ｂに示すブロック３０１Ｒは、そのようにして右目用画像Ｒ－ｉｍａｇｅに決定された画素ブロックの一例である。以下、このブロック３０１Ｒを用いて、左右視差検出部２０６がする左右視差検出の動作を説明する。
　左右視差検出部２０６は、ブロック３０１Ｒと同一サイズの探索ウィンドウ３０２で、ブロック３０１Ｒと同一の垂直位置で左目用画像Ｌ－ｉｍａｇｅを探索する。より具体的には、左右視差検出部２０６は、ブロック３０１Ｒと同じ垂直位置にある左目用画像Ｌ－ｉｍａｇｅ中の左端のブロック３０３から探索を開始し、探索ウィンドウ３０２を右方向へずらしながらブロック３０６まで探索を行う。ここで、ブロック３０３は、ブロック３０１Ｒと同じ垂直位置で左目用画像中の最も左側にあるブロックである。ブロック３０１Ｒ２は、ブロック３０１Ｒと同じ垂直位置および同じ水平位置にある左目用画像中のブロックである。ブロック３０６は、ブロック３０１Ｒと同じ垂直位置で左目用画像中の最も右側にあるブロックである。
　まず、探索ウィンドウ３０２はブロック３０３の位置に移動し、探索ウィンドウ３０２内とブロック３０１Ｒ内の画素情報の差分値の総和を算出する。ここで、画素情報の差分値の総和とは、探索ウィンドウ３０２内の画素の画素情報データと、ブロック３０１Ｒ内の画素の画素情報データとの差分を画素毎に算出し、探索ウィンドウ３０２内における算出値の総和に基づく値であり、所定の評価関数を用いて算出される。
　次に探索ウィンドウ３０２をブロック３０３の位置から１画素分だけ左目用画像中を右方向へ移動させ、探索ウィンドウ３０２内の画素の画素情報とブロック３０１Ｒの画素情報の差分値の総和を算出する。このように、探索ウィンドウ３０２を１画素分だけ左目用画像中を右へ移動させて探索ウィンドウ３０２の画素の画素情報とウィンドウ３０１Ｒの画素の画素情報との差分の総和を算出する試行を、探索ウィンドウ３０２がブロック３０６に到達するまで繰り返す。
　そして、探索ウィンドウ３０２の画素の画素情報とブロック３０１Ｒの画素の画素情報との差分の総和が最小となる探索ウィンドウ３０２の位置を求める。ここで、探索ウィンドウ３０２の位置がブロック３０１Ｌにある場合に、画素情報の差分の総和が最小となるならば、ブロック３０１Ｌとブロック３０１Ｒ２との水平位置の差Ｐ（単位は画素）がブロック３０１Ｒについての視差量Ｐとなる。このようにして、右目用画像中の画素ブロック３０１Ｒの視差量が決定される。
　さらに、左右視差検出部２０６は、上述したブロックマッチングにより得た１画素単位の視差量Ｐからサブピクセル単位の（非整数値の）視差量を導出する。図４を参照し、サブピクセル単位の視差量の検出を説明する。図４において、実線４０１は、左目用画像内の探索ウィンドウ３０２の画素の画素情報と右目用画像のブロック３０１Ｒの画素の画素情報の差分の総和（黒点）を、探索ウィンドウ３０２の左目用画像中の位置に沿って線分で接続したプロットである。図４において、横軸の原点は、探索ウィンドウ３０２の水平方向位置が画素ブロック３０１Ｒ２と一致する位置を示す。このとき、差分値（黒点）は、探索ウィンドウ３０２の水平方向位置（視差量Ｐ）が＋１の位置において極小値を示している。視差量Ｐが＋１である、とは、右目用画像の画素ブロック３０１Ｒが、それと対応する左目用画像中の画素ブロック３０１Ｌよりも＋１画素だけ右側にあることを示している。
　これより、差分の総和値は、プロット４０１のように探索ウィンドウ３０２の左目用画像中の水平方向位置の変化に応じて変化することがわかる。ここで、左右視差検出部２０６は、プロット４０１の極小点４０３近傍を二次関数で近似し、プロット４０１をよく近似する二次曲線４０２を導出する。そして、左右視差検出部２０６は、プロット４０１の近似曲線である二次曲線４０２より、画素情報の差分の総和が最小となる探索ウィンドウ３０２の水平方向位置をサブピクセル単位で（非整数値となることを許して）決定する。本図の例では、視差量は、二次曲線４０２の極小点の位置４０４に対応する。よって、画素ブロック３０１Ｒについてサブピクセル単位での視差量Ｐは、＋０．４となる。
　左右視差検出部２０６は、上記と同様にして、右目用画像Ｒ－ｉｍａｇｅの全画素について視差量が決定されるように右目用画像を区分した画素ブロックの全てについて、探索ウィンドウ３０２による探索と、画素情報差分総和値に対する二次曲線近似を用いたサブピクセル単位視差量の算出と、を行う。左右視差検出部２０６は、これにより得られた右目用画像の全画素のそれぞれの視差量を視差情報信号として、画素補間部２０５へ出力する。
　なお、左右視差検出部２０６は、上記二次近似曲線の極小値に対し閾値処理を行い、当該極小値が所定の閾値条件を満足するか否かを判定し、満足しない場合には、以下の処理を行ってよい。
　上記二次近似曲線の極小値が所定の閾値条件を満足しない場合（例えば、極小値が所定の閾値よりも大きい場合）とは、視差検出にかかる右目用画像の画素が、左目用画像のいずれの画素とも強く相関しない場合に相当する。そこで、そのような右目用画像の画素の画素情報については、後述する画素補間部２０５における超解像処理において使用しないようにするため、画素補間部２０５へ、上記二次近似曲線の極小値が所定の閾値条件を満足しない右目用画像の画素を特定する情報を送る。
　当該特定する情報を受けた画素補間部２０５は、後述の超解像処理において、当該特定する情報により特定される右目用画像の画素の画素情報を使用しないで超解像処理を行う。そうすることにより、左目用画像のいずれの画素とも強く相関しない右目用画像の画素が超解像処理に用いられることを防止する。これにより、超解像画像の品質のさらなる向上が期待できる。具体的には、後述する合成画素位置算出部５０１は、当該特定する情報により特定される右目用画像の画素を後述の混成画像の画素列に含めないで混成画像を形成する。また、後述するフィルタリング部５０２は、当該特定する情報により特定される右目用画像の画素を後述のフィルタリング演算に用いないで超解像画像を生成する。
　１－３．画素補間部
　図５は、画素補間部２０５の構成の詳細を示すブロック図である。画素補間部２０５は、左右視差検出部２０６で算出されたサブピクセル単位の視差情報信号に基づいて、左目用画像Ｌ－ｉａｍｇｅと右目用画像Ｒ－ｉｍａｇｅとを合成（混成）し、混成画像に所定のフィルタ演算を行い、その結果得た映像信号を超解像画像の映像信号としてＨＤＭＩ出力部１０４へ出力する。
　画素補間部２０５は、左右視差検出部２０６で算出された視差情報信号に基づいて、左目用画像Ｌ－ｉｍａｇｅおよび右目用画像Ｒ－ｉｍａｇｅの各画素について後述する混成画像中の画素位置（混成画像座標値）を決定する合成画素位置算出部５０１と、混成画像の各画素の座標値および画素情報に基づいて、混成画像に所定のフィルタ処理を行い超解像画像を生成するフィルタリング部５０２と、を備える。また、フィルタリング部５０２は、超解像画像の映像信号をＨＤＭＩ出力部１０４へ伝送する。
　図６Ａ、図６Ｂ、および、図６Ｃは、画素補間部２０５における処理を説明するための図である。図６Ａは、超解像処理対象画像である、ある再生タイミングにおける３Ｄ画像の左目用画像Ｌ－ｉｍａｇｅの画素列（配列６０１）およびその左目用画像における座標値（配列６０２）を示す図である。図６Ａに示すように、左目用画像Ｌ－ｉｍａｇｅは、画素列ａ１～ａ１４を含み、各画素は、それぞれ、整数値の座標値を有する。ここで、座標値６０２は、水平方向位置を示すものとし、垂直位置は、共通であるとしている。画素列ａｎ（ｎ：１～１４）は、映像デコーダ２０４によりデコードされた画像データの水平１ライン内の各画素に対してデコードされた順番に番号をつけてなる配列でよい。画素列６０１の画素数はここでは１４だが、これに限定されない。一般に、画素列６０１の画素数は、処理対象画像の水平方向解像度と一致する。
　なお、本図では、座標値６０２は、画素列６０１に沿って単調に増大するが、座標値６０２は、画素列に沿って前後してもよい。
　図６Ｂは、処理対象画像である左目用画像Ｌ－ｉｍａｇｅと同一の３Ｄ画像を構成する右目用画像Ｒ－ｉｍａｇｅの画素のうち、左目用画像の画素列ａ１からａ１４に対応する画素に関する表である。右目用画像Ｒ－ｉｍａｇｅは、画素列ｂ１～ｂ１４（配列６０３）を含み、画素列６０３の各画素の右目用画像における座標値が配列６０４に示される。視差情報６０５は、左右視差検出部２０６が算出した右目用画像Ｒ－ｉｍａｇｅの各画素のサブピクセル単位視差量を示す。混成座標値６０６は、右目用画像Ｒ－ｉｍａｇｅの各画素の混成画像における座標値（混成座標値）を示す。混成座標値は、各画素について、座標値６０４と視差量（視差情報の値）６０５との和に一致する。これは、例えば、右目用画像Ｒ－ｉｍａｇｅの画素ｂ１は、左目用画像Ｌ－ｉｍａｇｅとの視差を考慮すると、左目用画像Ｌ－ｉｍａｇｅの座標値１．４の位置の画素情報に相当することを意味する。
　また、右目用画像Ｒ－ｉｍａｇｅの画素ｂ２の場合、右目用画像Ｒ－ｉｍａｇｅを単独で表示する場合に表示される位置の座標値は２．０である。当該画素の左目用画像中の対応画素との視差は、０．４である。そのため、当該画素ｂ２は、左目用画像における座標２．４の画素情報に相当する画素情報を有すると考えられるため、混成画像における座標値は、２．４に決定される。
　図６Ｃは、左目用画像Ｌ－ｉｍａｇｅの画素列ａ１～ａ１４および右目用画像Ｒ－ｉｍａｇｅの画素列ｂ１～ｂ１４とを混成してなる混成画素列ｃを示す図である。混成画素列ｃは、画素列ａ１～ａ１４の座標値（配列６０２）と、画素列ｂ１～ｂ１４の混成座標値（配列６０６）に従って、画素列ａ１～ａ１４と画素列ｂ１～ｂ１４とを座標値順に並べて成る画素列である。
　画素列ａ１～ａ１４の座標値と画素列ｂ１～ｂ１４の混成座標値とのうち、最も小さい座標値は、画素ａ１が有する座標値１．０である。そのため、画素列ｃの先頭画素は、画素ａ１となる。その次に小さな座標値は、画素ｂ１にかかる混成座標値１．４である。そのため、混成画素列ｃにおける二番目の画素は、画素ｂ１となる。このようにして、合成画素位置算出部５０１は、左目用画像Ｌ－ｉｍａｇｅのある水平位置にある全ての画素ａｎ（ｎ：１～左目用画像水平解像度）と右目用画像Ｒ－ｉｍａｇｅの同じ水平位置にある全ての画素ｂｎ（ｎ：１～右目用画像水平解像度）とを、左目用画像の座標値および右目用画像の混成座標値とに従って並べ換えて、混成画像画素列ｃを形成する。つまり、合成位置算出部５０１は、右目用画像の画素を左目用画像に挿入してなる混成画像における画素の並び順序を決定する。
　合成画素位置算出部５０１は、混成画像画素列ｃについて、画素の並び順序（配列６０７）および混成画像における各画素の座標値（混成座標値（配列６０８））を、フィルタリング部５０２へ伝送する。
　次に、フィルタリング部５０２がする混成画像に対するフィルタ処理を説明する。
　フィルタリング部５０２は、合成画素位置算出部５０１より送信される、画素の並び順序の配列６０７および混成座標値の配列６０８で構成される合成画素位置情報に基づいて、映像デコーダ２０４より送信される左目用画像Ｌ－ｉｍａｇｅおよび右目用画像Ｒ－ｉｍａｇｅに対するフィルタ演算を行う。
　例えば、３Ｄ画像が、サイド・バイ・サイド方式のフルハイビジョン画像（フルＨＤ画像）である場合、左目用および右目用画像はそれぞれ、水平９６０画素×垂直１０８０画素の画像として映像デコーダ２０４から画素補間部２０５へ送られる。以下では、画素補間部２０５が、左目用画像を処理対象画像として超解像処理を行い、水平１９２０画素×垂直１０８０画素のフルハイビジョン（フルＨＤ）非３Ｄ画像を出力する場合を例に画素補間部２０５における処理を説明する。この場合、混成座標値６０８は、およそ１からおよそ９６０までの範囲の実数値を有するものとする。
　図６Ｃのデータ（配列６０７および６０８）から、水平方向について２倍の解像度（９６０画素から１９２０画素）の超解像画像を生成する場合、フィルタリング部５０２は、共に水平方向解像度９６０画素を有する左目用画像および右目用画像を混成してなる混成画像から、混成画像座標に関し０．５刻みの座標位置０．５、１．０、１．５、２．０、・・・、９５９．５、９６０．０における画素情報を決定すればよい。なお、フィルタリング部５０２がするフィルタ演算処理は、超解像処理対象画像である左目用画像Ｌ－ｉｍａｇｅの各画素の画素情報のデータを基準として行ってよい。
　求めるべき超解像画像の画素列を、Ｖｘ（ｘ：０．５、１．０、１．５、・・・、９５９．５、９６０．０）とする。整数値ｎ（ｎ：１．０、２．０、・・・、９５９．０、９６０．０）を有する超解像画像画素Ｖｎの画素情報データについては、左目用画像の各画素の画素情報のデータをそのまま使用してよい。つまり、左目用画像の各画素をａｎ（ｎ：１．０、２．０、・・・、９５９．０、９６０．０）とすれば、整数ｎについて、超解像画像画素Ｖｎの画素情報＝左目用画像画素ａｎの画素情報としてよい。なお、左目用画像の各画素ａｎ（ｎは整数）は、混成画像の画素列６０９のｃｎ（ｎは整数）と一致する。
　次に、非整数値ｘ（ｘ：０．５、１．５、・・・、９５８．５、９５９．５）の画素Ｖｘの画素情報を、以下のフィルタ演算により求める。
　非整数のｘで表される画素Ｖｘの画素情報について、以下の式でフィルタ演算を行い、画素Ｖｘの画素情報を決定する。
Figure JPOXMLDOC01-appb-M000001
 ここで、Σ＿ｍとは、後ろに続く数式における変数ｉの値を１，２，…，ｍと置き換えて得られる値の総和である。例えば、Σ＿ｍの後ろに続く数式がｆ（ｉ）の場合、
Σ＿ｍ（ｆ（ｉ））＝ｆ（１）＋ｆ（２）＋…＋ｆ（ｍ）、
である。ｍは、フィルタ演算のＴａｐ数である。ｋ１，ｋ２，…，ｋｍは、補間される画素の座標値ｘの近傍にある混成画素列ｃ（配列６０９）のうち、混成座標値がｘに近い順に選ばれるｍ個の画素の混成座標値（水平座標位置）を示す。また、Ｍ（ｘ，（ｋ１，ｋ２，…，ｋｍ），ｋｉ）は重み関数であり、制約条件Σ＿ｍ（Ｍ（ｘ，（ｋ１，ｋ２，…，ｋｍ），ｋｉ））＝１の下で設計される関数である。重み関数Ｍ（ｘ，（ｋ１，ｋ２，…，ｋｍ），ｋｉ）は、｜ｘ－ｋｉ｜の値が小さければ小さいほどに高い値を示し、｜ｘ－ｋｉ｜の値が大きければ大きい程に低い値を重み関数の出力値として出力する。
　一例として、図６Ｃの例に２ｔａｐのフィルタを用いた場合の重み関数は、
ｋｉ＝ｋ１の場合、
Ｍ（ｘ，（ｋ１，ｋ２），ｋｉ）＝｜ｋ２－ｘ｜／（｜ｋ１－ｘ｜＋｜ｋ２－ｘ｜）、
ｋｉ＝ｋ２の場合、
Ｍ（ｘ，（ｋ１，ｋ２），ｋｉ）＝｜ｋ１－ｘ｜／（｜ｋ１－ｘ｜＋｜ｋ２－ｘ｜）、となる。
　例えば、ｘ＝２．５の座標値を有する補間画素Ｖ２．５の画素情報データを算出する場合、配列６０８の混成画像座標値のうち２．５に近い２つの混成画像の画素座標値として、混成画像座標値ｋ１＝２．４，ｋ２＝３．０が選択される。よって、補間画素Ｖ２．５の画素情報データは以下の式で算出される。
Ｖ２．５＝Ｍ（２．５，（２．４，３．０），２．４）×［ｃ２．４］
　　　　＋Ｍ（２．５，（２．４，３．０），３．０）×［ｃ３．０］
　　　＝（５／６）×［ｃ２．４］＋（１／６）×［ｃ３．０］
　ここで、ｃ２．４およびｃ３．０は、各混成画像画素の画素情報のデータを指すものとする。
　このようにして、フィルタリング部５０２は、非整数のｘ（０．５、１．５、・・・、９５８．５、９５９．５）それぞれについて、補間画素Ｖｘ（ｘ：０．５、１．５、・・・、９５８．５、９５９．５）の画素情報のデータを算出する。
　以上より、フィルタリング部５０２は、超解像画像の各画素のＶｘ（ｘ：０．５、１．０、１．５、・・・、９５８．５、９５９．０、９５９．５、９６０）画素情報データを出力することができる。
　２．まとめ
　図７に、本実施の形態の映像再生装置１００がする超解像処理をフローチャートとしてまとめる。
　左右視差検出部２０６は、３Ｄ画像を構成する左目用画像が超解像処理対象である場合、対応する右目用画像の各画素の左目用画像に対する視差の量をサブピクセル単位で検出する（ステップＳ１）。
　画素補間部２０５の合成画素位置算出部５０１は、左右視差検出部２０６が求めたサブピクセル単位の視差量に基づいて、左目用画像の画素と右目用画像の画素とを混成してなる混成画像における左目用画像および右目用画像の各画素の座標値を求める（ステップＳ２）。
　画素補間部２０５のフィルタリング部５０２は、合成画素位置算出部５０１が生成した混成画像の各画素の座標値および画素情報から、超解像画像の各画素の画素情報を算出する（ステップＳ３）。
　そして、フィルタリング５０２は、ステップＳ３で求めた超解像画像の各画素の画素情報を用いて超解像画像を生成し出力する（ステップＳ４）。
　このように、本実施の形態の映像再生装置１００は、超解像処理対象画像が３Ｄ画像を構成する左目用画像であるとき、該左目用画像と強く相関する同３Ｄ画像の右目用画像の各画素の左目用画像に対する視差を実数値の視差量（サブピクセル単位視差量）として検出し（左右視差検出部２０６）、当該サブピクセル単位視差量に基づいて左目用画像および右目用画像を混成してなる混成画像を生成し、混成画像を構成する各画素の座標値および画素情報に基づいて処理対象画像の超解像画像の各画素の画素情報を決定することにより超解像画像を生成する（画素補間部２０５）。
　このように、映像再生装置１００は、３Ｄ画像を構成する複数画像（例えば、左目用画像および右目用画像）を用いて、同３Ｄ画像に含まれる１つの画像（例えば、左目用画像）の超解像画像を生成することができる。
　また、本実施の形態の映像再生装置１００の左右視差検出部２０６は、所定のサイズの画素ブロックを用いて、右目用画像の各画素の左目用画像に対する視差量をピクセル単位で検出し、１ピクセル単位で検出された視差量に対して、曲線近似を行ってサブピクセル単位の視差量を算出することができる。そのため、本実施の形態の映像再生装置１００では、左右視差検出部２０６により、サブピクセル単位の視差量（実数値を有する視差量）を検出することができる。
　これにより、画素間隔よりも小さいサブピクセル単位での、右目用画像の各画素の左目用画像に対する視差量が決定され、当該視差量に基づいて左目用画像と右目用画像の混成画像の各画素の座標値および画素情報が得られる。超解像画像の画素情報は、混成画像の各画素の座標値および画素情報に基づいて高い精度で決定される。そのため、生成される高画質の超解像画像を得ることができる。
　３．変形例
　本発明の実施の形態として、実施の形態１を例示した。しかし、本発明はこれには限らない。そこで、本実施の形態の変形例を以下に示す。なお、本発明は、これらには限定されず、適宜修正された形態をも包含する。
　実施の形態１の映像再生装置１００は、３Ｄ静止画像または３Ｄ動画像を含んだコンテンツを、３Ｄまたは非３Ｄ再生することができる。
　実施の形態１においては、左目用画像および右目用画像で構成される３Ｄ画像のうち左目用画像を処理対象画像としている。よって、左目用画像の超解像画像が出力され、非３Ｄ表示に供される。しかしながら、左目用画像に対する処理に加えて、同様の処理を右目用画像に対して行うことにより、左目用画像および右目用画像の超解像画像を生成することができ、当該超解像画像を用いた３Ｄ表示も可能である。
　実施の形態１においては、３Ｄ画像は、左目用画像および右目用画像の２枚の画像で構成されるものとして説明している。しかしながら、（１フレームの）３Ｄ画像を構成する画像の枚数は、２枚に限定されない。例えば、観察者の３Ｄ画像を観察する方向が異なれば異なる組みあわせの２枚の画像が観察者の両眼に提示されるように、３Ｄ画像が３枚以上の画像で構成される場合であっても、本実施の形態による映像再生装置は、超解像画像を生成することができる。その場合、映像再生装置は、３Ｄ画像を構成する３枚以上の複数画像のうちの１つを超解像処理対象画像とし、その画像と、それ以外の少なくとも１枚の画像とを用いて超解像画像を生成すればよい。
　映像再生装置１００は、ＨＤＭＩ出力部１０４に接続された表示装置が３Ｄ画像表示対応であるか、３Ｄ画像表示非対応であるか、を判断し、表示装置が３Ｄ画像表示対応であれば、超解像画像を３Ｄ画像として生成して出力し、表示装置が３Ｄ画像表示非対応であれば、超解像画像を非３Ｄ画像として生成して出力してよい。
　実施の形態１において、ディスク１０１は、ブルーレイディスクとしたが、これに限定されない。例えば、ディスク１０１は、ハードディスク、ＳＳＤ、半導体メモリなど立体画像を含んだコンテンツを記録可能な媒体であればよい。つまり、映像再生装置１００において、映像ソースの具体的構成は特に限定されない。
　実施の形態１において、ＨＤＭＩ出力部１０４から映像信号および音声信号を出力するものとしたがこれには限らない。例えば、ＨＤＭＩではなくアナログ信号などで映像信号および音声信号を別々に出力してもよい。つまり、出力部１０４は、自装置の外部に対し、映像信号を出力できるものであればその形式は問わない。
　実施の形態１において、グラフィックデコーダ２０３から出力されるグラフィック映像データＧＬ、ＧＲと映像デコーダ２０４から出力された映像データＰＬ、ＰＲとが合成されるとしたがこれには限らない。例えば、映像デコーダ２０４から出力された映像データＰＬ、ＰＲとグラフィックデコーダ２０３から出力されるグラフィック映像データＧＬ、ＧＲとは、必ずしも合成されなくてもよい。
　実施の形態１において、視差情報の決定に際し、左目用画像の画素情報と右目用画像の画素情報の差分値が最小となる位置の情報を用いたが、視差情報の決定過程は、これに限らない。例えば、映像ストリームに含まれるベクトル情報や視差情報を用いてもよい。言いかえれば、左目用画像または右目用画像の任意の画素に対して、もう一方の画像の画素のうち最も強い相関を示す画素が特定されればよい。
　実施の形態１において、左右視差検出部２０６は、映像デコーダ２０４から伝達される左目用画像と、再生タイミングが同一の右目用画像との間の視差を検出したが、再生タイミングが非同一の左目用画像と右目用画像とで視差を検出してもよい。
　実施の形態１において、左右視差検出部２０６では、左右の画像において同じ垂直位置にある画素ブロック３０３から画素ブロック３０６について、画素情報の差分値を算出したが、画素情報の差分値の算出は、別の垂直位置にある画素ブロックついても画素情報の差分の総和の算出を行ってよく、その場合、視差情報に垂直の視差量成分が導入される。
　実施の形態１において、左右視差検出部２０６は、所定のサイズの画素ブロックをブロックマッチングの単位として、同じサイズの探索ウィンドウ３０２を用いて左右視差の検出を行ったが、左右視差の検出は、画素ブロックを単位とすることに限定されない。例えば、左目用画像または右目用画像からオブジェクト抽出を行い、抽出されたオブジェクトを基準にして視差情報を算出してもよい。
　実施の形態１において、左右視差検出部２０６は、画像を所定サイズの画素ブロック単位に分割して探索ウィンドウ３０２を用いて視差情報の算出を行ったが、この方式に限らない。例えば、左目用画像に対して右目用画像全体を水平方向および垂直方向にずらして相関の高い位置を算出する方法を用いてもよい。
　実施の形態１において、視差量をサブピクセル単位で算出する際の評価関数として、各ピクセル間の差分総和を用い、その二次曲線近似によりサブピクセル単位の視差量を求めたが、これに限られない。評価関数および近似曲線は、任意の関数でよい。評価関数およびその近似曲線は、視差量をサブピクセル単位で算出可能であればよい。
　実施の形態１において、サブピクセル単位で視差量算出のため、評価関数が最小となる位置の近傍を二次曲線で近似する手法を利用した。この手法はサブピクセル単位で視差量を算出するための方法の一例であり、サブピクセル単位で視差量を算出可能であれば、他の手法であってもよい。
　実施の形態１において、画素補間部２０５は、左目用画像を基準として左目用画像に右目用画像の画素を挿入して混成画像を生成したが、基準となる画像は、左目用画像に限定されない。
　実施の形態１において、合成画素位置算出部５０１は、左右視差検出部２０６で算出された視差情報信号に基づいて、映像デコーダ２０４から伝達される左目用画像Ｌ－ｉｍａｇｅおよび右目用画像Ｒ－ｉｍａｇｅの混成画像の混成画素座標値を算出するとしたがこれには限らない。例えば、左右視差検出部２０６が、映像デコーダ２０４からの入力として、左目用画像の画素列およびその座標値（配列６０１および配列６０２）と、右目用画像の画素列およびその座標値ならびに視差情報（配列６０３、配列６０４、配列６０５）を得られるならば、合成画素位置算出部５０１は、それらの情報に基づいて混成画像の各画素の座標値および画素情報を算出してもよい。
　実施の形態１においては、水平方向９６０画素の解像度を有する二枚の画像（左目用画像および右目用画像）を用いて二倍の解像度（水平方向１９２０画素）の超解像画像を生成する例を示したが、処理対象画像の解像度と超解像画像の解像度との比は、任意であってよい。その場合も、本実施の形態と同様にして処理対象画像から超解像画像を生成することができる。
　実施の形態１においては、処理対象画像の水平方向画素列について画素を補間する処理を示した。しかしながら、画素補間の方向は、処理対象画像の水平方向に限定されない。実施の形態１において示した処理と同様の処理により、処理対象画像の垂直方向（鉛直方向）画素列について画素補間を行うことができる。
　実施の形態１においては、左目用画像の各画素の画素情報を、そのまま、超解像画像の画素の画素情報として用いた。しかしながら、左目用画像の画素情報についても、フィルタリング部５０２でフィルタ処理を行ってよい。その場合、左目用画像の各画素の画素情報から、超解像画像において非整数の座標値（０．２５、０．７５、１．７５等）の画素に対応した画素情報を導出することができる。そのようにして左目用画像の画素情報から得た超解像画像において非整数の座標値を有する画素に関する画素情報、および、右目用画像の画素情報から得た超解像画像において非整数の座標値を有する画素に関する画素情報とを用いて超解像画像を生成することも可能である。
　実施の形態１においては、処理対象画像の解像度を２倍に増大させる処理を一例として示した、これに限らず、任意の増大率に対して本実施の形態を適用することができる。例えば、標準精細度（ＳＤ）の画像から、水平解像度３８４０画素×垂直解像度２１６０画素の超解像画像を生成することも可能である。また、標準精細度（ＳＤ）または高精細度（ＨＤ）のトップ・アンド・ボトム方式の３Ｄ画像から、フルハイビジョン（ｆｕｌｌＨＤ）の精細度を有する３Ｄ画像を生成することも可能である。
　また、３Ｄ画像は、フレーム・シーケンシャル方式の３Ｄ画像であってもよい。また、処理対象画像の画素数の例としては、７２０×４８０画素、１４４０×１０８０画素、１９２０×１０８０画素、３８４０×２１６０画素等がある。処理対象画像から生成される超解像画像の画素数の例としては、１４４０×１０８０画素、１９２０×１０８０画素、３８４０×２１６０画素、４０９６×２１６０画素等がある。
　実施の形態１において、画素補間部２０５は、すべての画素について、左目用画像と右目用画像とを混成して混成画像を生成し、混成画像の各画素の座標値および画素情報にもとづいて超解像画像を生成したが、これに限られるものではない。例えば、左目用画像と右目用画像との間で、相関の高い一部の画素群の領域についてのみ、左目用画像と右目用画像とを混成して混成画像領域を生成し、混成画像領域について、混成画像領域の各画素の座標値および画素情報にもとづいて超解像画像領域を生成することも可能である。
　信号処理部１０３は、プロセッサ、および、該プロセッサにより実行可能なプログラムで構成されてよい。
　当該プログラムは、映像再生装置１００に予めインストールされてよい。また、当該プログラムは、ブルーレイディスク、ＳＤメモリーカード、といった記憶媒体で流通されてよい。また、当該プログラムは、放送波、通信波、といった無線通信手段や、インターネットといったコンピュータ・ネットワークを介して配信されてよい。
　映像ソースは、ディスクドライブ部１０２の他、ハードディスクドライブ、ＳＤメモリーカードといった記憶媒体や、放送波を受信するためのアンテナおよびチューナを含んでよい。
　本発明は、高品質な３Ｄ画像および非３Ｄ画像の少なくともいずれかを再生可能な映像再生装置として有用である。
　１００　・・・　映像再生装置
　１０１　・・・　ディスク
　１０２　・・・　ディスクドライブ部
　１０３　・・・　信号処理部
　１０４　・・・　ＨＤＭＩ出力部
　１０５　・・・　リモコン信号受信部
　２０１　・・・　ストリーム分離部
　２０２　・・・　音声デコーダ
　２０３　・・・　グラフィックデコーダ
　２０４　・・・　映像デコーダ
　２０５　・・・　画素補間部
　２０６　・・・　左右視差検出部
　２０７　・・・　中央処理装置（ＣＰＵ）
　５０１　・・・　合成画素位置算出部
　５０２　・・・　フィルタリング部

Claims (5)

  1. 　３Ｄ画像を構成する複数の画像に含まれる第１画像に超解像処理を行い前記第１画像の超解像画像を生成する映像再生装置であって、
    　前記３Ｄ画像を構成する複数の画像に含まれる前記第１画像とは別の第２画像の画素について、前記第１画像との視差量を検出し、視差情報として出力する視差検出部と、
    　前記第２画像の画素を前記第１画像の画素列に挿入して混成画像を形成し、前記混成画像の各画素の座標値を前記視差量に基づいて混成座標値として求める合成画素位置算出部と、
    　前記第１画像、前記第２画像、および、前記混成座標値に基づいて、前記混成画像にフィルタリング演算処理を行って、第１画像の超解像画像を生成するフィルタリング部と、を有する映像再生装置。
  2. 　前記視差検出部は、前記視差量をサブピクセル単位で求め、実数値である視差量を出力する、請求項１に記載の映像再生装置。
  3. 　前記視差検出部は、前記第２画像中の所定サイズの画素ブロックについて、前記第１画像に対するブロックマッチングを行い、当該ブロックマッチングの結果に基づいて視差量を検出する、請求項１に記載の映像再生装置。
  4. 　前記視差検出部は、前記ブロックマッチングの結果に対し所定の閾値との比較を行い、前記ブロックマッチングの結果が前記閾値で規定される所定の条件を満足するか否かを判定し、判定結果を前記第２画像の画素と関連付けて前記合成画素位置算出部へ出力し、
    　前記合成画素位置算出部は、前記所定の条件を満足しない前記第２画像の画素を前記混成画像の画素列から除外して前記混成座標値を決定し、
    　前記フィルタリング部は、前記所定の条件を満足しない前記第２画像の画素が除外された前記混成座標値に基づいて前記第１画像の超解像画像を生成する、請求項３に記載の映像再生装置。
  5. 　３Ｄ画像を構成する複数の画像に含まれる第１画像に超解像処理を行い前記第１画像の超解像画像を生成する映像再生装置における映像再生方法であって、
    　前記映像再生装置が、前記３Ｄ画像を構成する複数の画像に含まれる第２画像の画素について、前記第１画像との視差量を検出し、視差情報として出力するステップと、
    　前記映像再生装置が、前記第２画像の画素を前記第１画像の画素列に挿入して混成画像を形成し、前記混成画像の各画素の座標値を前記視差量に基づいて混成座標値として求めるステップと、
    　前記第１画像、前記第２画像、および、前記混成座標値に基づいて、前記混成画像にフィルタリング演算処理を行って、前記第１画像の超解像画像を生成するステップと、を有する映像再生方法。
PCT/JP2011/001612 2010-03-18 2011-03-18 映像再生装置 WO2011114745A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010062331A JP2013110446A (ja) 2010-03-18 2010-03-18 映像出力装置
JP2010-062331 2010-03-18

Publications (1)

Publication Number Publication Date
WO2011114745A1 true WO2011114745A1 (ja) 2011-09-22

Family

ID=44648856

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/001612 WO2011114745A1 (ja) 2010-03-18 2011-03-18 映像再生装置

Country Status (2)

Country Link
JP (1) JP2013110446A (ja)
WO (1) WO2011114745A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014150397A (ja) * 2013-01-31 2014-08-21 Nippon Hoso Kyokai <Nhk> 受信装置、映像装置、及びプログラム
JP2016178678A (ja) * 2016-05-20 2016-10-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009051065A1 (ja) * 2007-10-15 2009-04-23 Nippon Telegraph And Telephone Corporation 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009051065A1 (ja) * 2007-10-15 2009-04-23 Nippon Telegraph And Telephone Corporation 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAORU IKEDA ET AL.: "Simultaneous Improvement of Image Quality and Depth Estimation Using Stereo Images", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN: COMPUTER VISION TO IMAGE MEDIA, (CVIM 14), vol. 47, no. SIG 9, June 2006 (2006-06-01), pages 111 - 114 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014150397A (ja) * 2013-01-31 2014-08-21 Nippon Hoso Kyokai <Nhk> 受信装置、映像装置、及びプログラム
JP2016178678A (ja) * 2016-05-20 2016-10-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム

Also Published As

Publication number Publication date
JP2013110446A (ja) 2013-06-06

Similar Documents

Publication Publication Date Title
JP5127633B2 (ja) コンテンツ再生装置および方法
JP5529870B2 (ja) 二次元／三次元再生モード決定方法、二次元／三次元再生モード決定装置及び記憶媒体
KR101749893B1 (ko) 다목적 ３―ｄ 화상 포맷
KR101716636B1 (ko) ３ｄ 비디오 및 보조 데이터의 결합
US9357231B2 (en) Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
EP2380357B2 (en) Method and device for overlaying 3d graphics over 3d video
CN103024408B (zh) 立体图像转换装置和方法、立体图像输出装置
JP2011508557A (ja) グラフィックスオブジェクトを重ね合わせるための画像プロセッサ
KR20110114670A (ko) ３ｄ 이미지 데이터의 전송
JP5415217B2 (ja) 三次元映像処理装置
TW201415864A (zh) 用於產生、傳送及接收立體影像之方法，以及其相關裝置
JP2011166705A (ja) 映像処理装置、映像処理方法
JP4657258B2 (ja) 立体画像表示装置およびその方法
WO2011114745A1 (ja) 映像再生装置
WO2013108295A1 (ja) 映像信号処理装置及び映像信号処理方法
JP2003319417A (ja) 立体画像作成装置、立体画像表示装置およびそれらの方法
WO2012014489A1 (ja) 映像信号処理装置及び映像信号処理方法
JP4747214B2 (ja) 映像信号処理装置、及び、映像信号処理方法
JP5700998B2 (ja) 立体映像表示装置及びその制御方法
US8890933B2 (en) Parallax image conversion apparatus
WO2011083538A1 (ja) 画像処理装置
JP2011199889A (ja) 映像信号処理装置、及び、映像信号処理方法
JP5759728B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
US8508585B2 (en) Three-dimensional video reproduction apparatus, three-dimensional video reproduction method, and integrated circuit

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11755935

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11755935

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP