WO2012098972A1 - 画像処理装置および方法、画像表示装置および方法 - Google Patents

画像処理装置および方法、画像表示装置および方法 Download PDF

Info

Publication number
WO2012098972A1
WO2012098972A1 PCT/JP2012/050421 JP2012050421W WO2012098972A1 WO 2012098972 A1 WO2012098972 A1 WO 2012098972A1 JP 2012050421 W JP2012050421 W JP 2012050421W WO 2012098972 A1 WO2012098972 A1 WO 2012098972A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vector
unit
generation unit
input image
Prior art date
Application number
PCT/JP2012/050421
Other languages
English (en)
French (fr)
Inventor
上野　雅史
張　小▲忙▼
康寛 大木
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2012098972A1 publication Critical patent/WO2012098972A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion

Definitions

  • the present invention relates to an image processing device, an image processing method, an image display device, and an image display method, and more particularly to an image processing device, an image processing method, an image display device, and an image display that selectively execute frame rate conversion and three-dimensional conversion. Regarding the method.
  • An image display device having a three-dimensional conversion function for converting a two-dimensional display image into a three-dimensional display image in order to perform three-dimensional display based on the two-dimensional display image is also known.
  • an image display device having a frame rate conversion function for converting the frame rate of an image in order to improve the image quality when displaying a moving image is also known.
  • FIG. 16 is a block diagram showing a configuration of a conventional image processing apparatus included in an image display apparatus that performs three-dimensional display.
  • An image processing apparatus 90 illustrated in FIG. 16 includes an input selection unit 91, a frame rate conversion unit 92, a three-dimensional conversion unit 93, and a time base conversion unit 94.
  • the frame rate of the input image in the image processing apparatus 90 is 60 Hz, and the frame rate of the output image is 120 Hz.
  • the input selection unit 91 outputs the input image to the frame rate conversion unit 92.
  • the frame rate conversion unit 92 outputs the input image as it is as an original image, performs frame rate conversion by motion compensation on the input image, and outputs the obtained interpolated image.
  • the input selection unit 91 outputs the input image to the 3D conversion unit 93.
  • the three-dimensional conversion unit 93 performs three-dimensional conversion using a motion vector on the input image, and outputs the obtained left-eye image and right-eye image.
  • the time base conversion unit 94 outputs the original image and the interpolated image output from the frame rate conversion unit 92 or the left eye image and the right eye image output from the three-dimensional conversion unit 93 in accordance with the display timing.
  • Patent Document 1 discloses a video signal that selectively executes a process of outputting a 3D display image as it is and a process of outputting a 2D display image by frame rate conversion.
  • a processing device is described.
  • Patent Document 2 describes a stereoscopic video generation method that detects a motion vector of an image, estimates image depth information using the detected motion vector, and performs three-dimensional conversion based on the estimated depth information.
  • the image processing apparatus 90 shown in FIG. 16 includes a frame rate conversion unit 92 and a three-dimensional conversion unit 93 separately to selectively execute frame rate conversion and three-dimensional conversion. For this reason, it is necessary to provide a motion vector detection unit, a frame memory, and an image generation unit in both the frame rate conversion unit 92 and the three-dimensional conversion unit 93. Therefore, the conventional image processing apparatus 90 has a problem that the circuit amount increases.
  • the image processing apparatus 90 shown in FIG. 16 generates a left eye image and a right eye image at the same position on the time axis in the three-dimensional conversion unit 93.
  • the image quality when displaying a moving image is higher if the left-eye image and the right-eye image are generated by shifting by 0.5 frame periods (described later). (See FIG. 3). Therefore, the conventional image processing apparatus 90 has a problem that the image quality when displaying a moving image is low.
  • a first object of the present invention is to provide an image processing device, an image processing method, an image display device, and an image display method that selectively execute frame rate conversion and three-dimensional conversion with a small circuit amount.
  • a second object of the present invention is to provide an image processing device, an image processing method, an image display device, and an image display method with improved image quality when displaying a moving image.
  • a first aspect of the present invention is an image processing apparatus that selectively executes frame rate conversion and three-dimensional conversion,
  • a motion vector detection unit for detecting a motion vector of the input image;
  • An interpolation vector generation unit that generates an interpolation vector necessary for frame rate conversion based on the motion vector;
  • a depth information estimation unit for estimating depth information of the input image based on the motion vector and the input image;
  • a disparity vector generation unit that generates a disparity vector necessary for three-dimensional conversion based on the depth information;
  • a vector generation unit for obtaining a vector used for image generation according to a display mode based on the interpolation vector and the parallax vector;
  • An image generation unit that generates an image to be output together with the input image based on the vector obtained by the vector generation unit and the input image;
  • the input image is output as an original image, and the image generation unit generates an interpolated image.
  • the input image includes a left-eye image and a right-eye image included in the three-dimensional display
  • the vector generation unit outputs one of the interpolation vector and the sum of the interpolation vector and the disparity vector.
  • the vector generation unit A vector addition unit for adding the interpolation vector and the disparity vector; And a vector selection unit that selects one of the interpolation vector and the vector obtained by the vector adder.
  • the vector generation unit includes a vector selection unit that selects one of the interpolation vector and the disparity vector.
  • the vector generation unit includes a parallax adjustment unit that changes the parallax vector in accordance with given adjustment information.
  • a sixth aspect of the present invention is the fifth aspect of the present invention.
  • the vector generation unit outputs one of the interpolation vector and the sum of the interpolation vector and the vector obtained by the parallax adjustment unit.
  • a seventh aspect of the present invention is the sixth aspect of the present invention,
  • the vector generation unit A vector addition unit that adds the interpolation vector and the vector obtained by the parallax adjustment unit; It further includes a vector selection unit for selecting either the interpolation vector or the vector obtained by the vector adder.
  • the vector generation unit further includes a vector selection unit that selects one of the interpolation vector and the vector obtained by the parallax adjustment unit.
  • a ninth aspect of the present invention is the fifth aspect of the present invention.
  • the parallax adjusting unit multiplies the parallax vector by a gain according to the adjustment information.
  • a tenth aspect of the present invention is the fifth aspect of the present invention.
  • the parallax adjustment unit adds an offset to the parallax vector according to the adjustment information.
  • An eleventh aspect of the present invention is the fifth aspect of the present invention.
  • the parallax adjustment unit performs different processing on the parallax vector according to the position in the image according to the adjustment information.
  • the image generation unit generates one interpolated image corresponding to one input image in the two-dimensional display mode, and is opposite to the input image corresponding to one input image in the three-dimensional display mode.
  • One image for eyes is generated.
  • the image generation unit generates (2m ⁇ 1) interpolated images (m is an integer of 2 or more) corresponding to one input image in the 2D display mode, and 1 image in the 3D display mode.
  • (m ⁇ 1) images for the same eye as the input image and m images for the opposite eye are generated.
  • a fourteenth aspect of the present invention is an image processing method for selectively executing frame rate conversion and three-dimensional conversion, Detecting a motion vector of the input image; Generating an interpolation vector necessary for frame rate conversion based on the motion vector; Estimating depth information of the input image based on the motion vector and the input image; Generating a disparity vector necessary for three-dimensional conversion based on the depth information; Obtaining a vector used for image generation according to a display mode based on the interpolation vector and the parallax vector; Generating an image to be output together with the input image based on the vector used for the image generation and the input image;
  • the input image is output as an original image, and in the step of generating the image, an interpolated image is generated.
  • the input image is a left-eye image included in the three-dimensional display image. And outputting the image as either the right-eye image or the other image included in the three-dimensional display image in the step of generating the image.
  • a fifteenth aspect of the present invention is an image display apparatus that selectively executes frame rate conversion and three-dimensional conversion to display an image, A display panel; An image processing unit that selectively executes frame rate conversion and three-dimensional conversion on an input image; A drive circuit for driving the display panel to display the image output from the image processing unit, The image processing unit A motion vector detection unit for detecting a motion vector of the input image; An interpolation vector generation unit that generates an interpolation vector necessary for frame rate conversion based on the motion vector; A depth information estimation unit for estimating depth information of the input image based on the motion vector and the input image; A disparity vector generation unit that generates a disparity vector necessary for three-dimensional conversion based on the depth information; Based on the interpolation vector and the disparity vector, a vector generation unit that determines a vector used for image generation according to a display mode, and an image that is output together with the input image based on the vector determined by the vector generation unit and the input image An image generation unit for generating, In the two-dimensional display mode, the
  • a sixteenth aspect of the present invention is an image display method for selectively executing frame rate conversion and three-dimensional conversion to display an image, Detecting a motion vector of the input image; Generating an interpolation vector necessary for frame rate conversion based on the motion vector; Estimating depth information of the input image based on the motion vector and the input image; Generating a disparity vector necessary for three-dimensional conversion based on the depth information; Obtaining a vector used for image generation according to a display mode based on the interpolation vector and the parallax vector; Generating an image to be output together with the input image based on the vector used for the image generation and the input image; Driving the display panel to display the input image and the image generated in the step of generating the image, In the two-dimensional display mode, the input image is displayed as an original image.
  • an interpolated image is generated.
  • the input image is a left-eye image included in the three-dimensional display image.
  • another image included in the three-dimensional display image is generated.
  • the frame rate conversion and the three-dimensional conversion share the motion detection unit, the frame memory, and the image generation unit, thereby reducing the frame rate conversion and the 3 Dimensional transformation can be selectively performed.
  • the left eye image or the right eye image included in the three-dimensional display image is generated based on a vector obtained by adding an interpolation vector to a parallax vector.
  • the left-eye image or the right-eye image is generated at the same position as the interpolated image on the time axis, and the image quality at the time of moving image display can be improved while performing three-dimensional conversion.
  • the fifth or eighth aspect of the present invention it is possible to easily adjust the pop-up amount in the three-dimensional display by changing the parallax vector according to the adjustment information.
  • the left-eye image or right-eye image included in the three-dimensional display image is generated based on a vector obtained by adding an interpolation vector to the adjusted disparity vector. This makes it easy to adjust the pop-up amount in 3D display, and generates a left-eye image or right-eye image at the same position as the interpolated image on the time axis, improving the image quality when displaying moving images while performing 3D conversion can do.
  • the ninth aspect of the present invention by multiplying the parallax vector by the gain according to the adjustment information, it is possible to easily change the parallax vector and easily adjust the pop-out amount in the three-dimensional display.
  • the parallax vector can be easily changed to give priority to popping out when performing three-dimensional display, or to emphasize depth. Can be switched easily.
  • the disparity vector is suitably changed depending on the position in the screen, and the pop-up in the three-dimensional display is performed.
  • the amount can be adjusted by the position in the screen.
  • the two-dimensional display mode double-speed conversion is performed to double the frame rate of the image.
  • the three-dimensional display mode one input image is converted into one left-eye image and one It is possible to execute a three-dimensional conversion for converting into a single right-eye image.
  • 2m-times speed conversion is performed to increase the frame rate of the image by 2m
  • 3D display mode one input image is converted to m left-eye images and m. It is possible to execute a three-dimensional conversion for converting into a single right-eye image.
  • FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to a first embodiment of the present invention. It is a block diagram which shows the structure of the image display apparatus containing the image processing apparatus shown in FIG. It is a figure which shows the position on the time-axis of the right eye image produced
  • FIG. 1 It is a figure which shows the part estimated as a background in an image. It is a figure which shows the example of the image containing a character. It is a block diagram which shows the structure of the image processing apparatus which concerns on the modification of the 1st Embodiment of this invention. It is a block diagram which shows the structure of the image processing apparatus which concerns on the 2nd Embodiment of this invention. It is a block diagram which shows the structure of the image processing apparatus which concerns on the 3rd Embodiment of this invention. It is a figure which shows the relationship between the parallax in the three-dimensional display image, and depth.
  • FIG. 12 is a diagram illustrating a relationship between parallax and depth when the parallax vector is multiplied by a gain in the image processing apparatus illustrated in FIG. 11.
  • FIG. 12 is a diagram illustrating a relationship between parallax and depth when an offset is added to a parallax vector in the image processing apparatus illustrated in FIG. 11.
  • It is a block diagram which shows the structure of the image processing apparatus which concerns on the modification of the 3rd Embodiment of this invention.
  • It is a block diagram which shows the structure of the image processing apparatus which concerns on the modification of the 3rd Embodiment of this invention.
  • It is a block diagram which shows the structure of the image processing apparatus which concerns on a reference example.
  • It is a block diagram which shows the structure of the conventional image processing apparatus.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to the first embodiment of the present invention.
  • An image processing apparatus 10 illustrated in FIG. 1 includes a frame memory 11, a motion vector detection unit 12, an interpolation vector generation unit 13, a depth information estimation unit 14, a disparity vector generation unit 15, a vector addition unit 16, a vector selection unit 17, an image A generation unit 18 and a time base conversion unit 19 are provided.
  • the image processing apparatus 10 selectively performs frame rate conversion and three-dimensional conversion on the input image.
  • the liquid crystal display device 1 receives an image signal Xin from the outside.
  • the image signal Xin represents an input image having a frame rate of 60 Hz.
  • the image processing apparatus 10 receives an image signal Xin and a mode selection signal MS indicating whether the display mode is a two-dimensional display mode or a three-dimensional display mode.
  • the image processing apparatus 10 selectively performs frame rate conversion and three-dimensional conversion on the image signal Xin according to the mode selection signal MS, and outputs an image signal Yout.
  • the image signal Yout represents an output image with a frame rate of 120 Hz.
  • the nth input image represented by the image signal Xin is referred to as an input image X (n).
  • the image processing apparatus 10 performs frame rate conversion by motion compensation, and converts the frame rate of the input image from 60 Hz to 120 Hz.
  • the image processing apparatus 10 outputs the input image X (n) as it is as an original image.
  • the image generation unit 18 generates an interpolated image X (n + 0.5) located in the middle of the input images X (n) and X (n + 1) on the time axis.
  • the image processing apparatus 10 executes 3D conversion using a motion vector using the input image as a 2D display image, and the input image includes a 3D display image including a left eye image and a right eye image.
  • the image processing apparatus 10 outputs the input image X (n) as it is as the left eye image L (n), and the image generation unit 18 uses the interpolated image X (on the time axis based on the input image X (n). Assume that a right eye image R (n + 0.5) at the same position as (n + 0.5) is generated.
  • the frame memory 11 stores the image signal Xin for one frame, and outputs it with a delay of one frame period.
  • the frame memory 11 outputs the input image X (n) while storing the input image X (n + 1).
  • the motion vector detection unit 12 detects the motion vector V1 of the input image X (n). More specifically, the motion vector detection unit 12 receives the input image X (n + 1) and the input image X (n) output from the frame memory 11. The motion vector detection unit 12 is based on two consecutive input images X (n) and X (n + 1), for each block (small region obtained by dividing the image) of the motion vector V1 between the two images. To detect. The motion vector detection unit 12 detects the motion vector V1 for each block using, for example, a gradient method or a block matching method. The detected motion vector V1 is supplied to the interpolation vector generation unit 13 and the depth information estimation unit 14. Note that the motion vector detection method in the motion vector detection unit 12 may be arbitrary.
  • the interpolation vector generation unit 13 generates an interpolation vector V2 necessary for frame rate conversion based on the motion vector V1. For example, when an object is at the position Pa in the input image X (n) and at the position Pb in the input image X (n + 1), this object is intermediate between the positions Pa and Pb in the interpolated image X (n + 0.5). It is in position Pc. In such a case, the interpolation vector generation unit 13 generates an interpolation vector V2 that moves this object from the position Pa to the position Pc.
  • the depth information estimation unit 14 estimates the depth information DP of the input image X (n) based on the motion vector V1 and the input image X (n) output from the frame memory 11 (details will be described later).
  • the disparity vector generation unit 15 generates a disparity vector V3 necessary for three-dimensional conversion based on the estimated depth information DP.
  • the disparity vector V3 corresponds to the interpolation vector V2 in the frame rate conversion.
  • the image generation unit 18 Based on the vector selected by the vector selection unit 17 (that is, the vector generated by the vector generation unit) and the input image X (n) output from the frame memory 11, the image generation unit 18 inputs the input image X ( n) Generate an image to be output together.
  • the time base conversion unit 19 outputs the input image X (n) output from the frame memory 11 and the image generated by the image generation unit 18 in accordance with the display timing.
  • the input image X (n) is directly output to the time base conversion unit 19 as an original image.
  • the image generation unit 18 is based on the interpolation vector V2 selected by the vector selection unit 17 and the input image X (n), and is positioned between the two input images X (n) and X (n + 1) on the time axis.
  • the time base conversion unit 19 sequentially outputs the input image X (n) and the interpolated image X (n + 0.5) at a speed of 120 Hz.
  • the input image X (n) is directly output to the time base conversion unit 19 as the left eye image L (n).
  • the image generation unit 18 is the same as the interpolation image X (n + 0.5) on the time axis based on the sum (V2 + V3) of the interpolation vector and the disparity vector selected by the vector selection unit 17 and the input image X (n).
  • the right eye image R (n + 0.5) at the position is generated.
  • the time base conversion unit 19 sequentially outputs the left eye image L (n) and the right eye image R (n + 0.5) at a speed of 120 Hz.
  • the image generation unit 18 generates one interpolated image X (n + 0.5) corresponding to one input image X (n) in the two-dimensional display mode, and one image in the three-dimensional display mode.
  • one image for the eye opposite to the input image X (n) (left-eye image L (n)) (right-eye image R (n + 0.5)) is generated.
  • the image processing apparatus 10 executes double-speed conversion in which the frame rate of the image is doubled in the two-dimensional display mode, and one input image is converted into one left-eye image and one image in the three-dimensional display mode. 3D conversion is performed to convert the right eye image.
  • the interpolation vector V2 indicates where each block of the interpolation image X (n + 0.5) should be copied from the input image X (n).
  • the disparity vector V3 indicates where each block of the right eye image R (n) should be copied from the left eye image L (n).
  • the sum (V2 + V3) of the interpolation vector and the disparity vector is obtained by replacing each block of the right eye image R (n + 0.5) at the same position as the interpolation image X (n + 0.5) on the time axis of the input image X (n). Indicates where to copy from.
  • the right eye image R (in the same position as the interpolated image X (n + 0.5) on the time axis based on the sum (V2 + V3) of the interpolation vector and the disparity vector and the input image X (n) in the image generation unit 18. n + 0.5) can be easily generated.
  • FIG. 3 is a diagram showing a position on the time axis of the right eye image generated by the image processing apparatus 10.
  • a lattice-shaped sphere moves to the left in front of a white object.
  • the positions on the time axis of the left-eye image in the conventional image processing apparatus 90 (FIG. 16) and the image processing apparatus 10 are described.
  • the positions on the time axis of the right-eye images generated by the conventional image processing apparatus 90 and the image processing apparatus 10 are described, respectively.
  • the conventional image processing apparatus 90 has a left eye image L (n) at the position of the nth frame, a right eye image R (n) at the position of the nth frame,
  • the left eye image L (n + 1) at the position of the (n + 1) frame and the right eye image R (n + 1) at the position of the (n + 1) th frame are sequentially output.
  • the right eye image is generated at the same position as the left eye image on the time axis.
  • the image processing apparatus 10 receives the left eye image L (n) at the position of the nth frame and the right eye image at the position of the (n + 0.5) frame.
  • R (n + 0.5) the left eye image L (n + 1) at the position of the (n + 1) th frame, and the right eye image R (n + 1.5) at the position of the (n + 1.5) th frame are output in order.
  • the right eye image is generated at an intermediate position between the two left eye images on the time axis.
  • the left eye image and the right eye image are recognized alternately. Therefore, the position where the right eye image is to be generated is originally an intermediate position between the two left eye images. Therefore, when the right eye image is generated at the middle position between the two left eye images on the time axis, the image quality at the time of moving image display is higher than when the right eye image is generated at the same position as the left eye image on the time axis. .
  • the image processing apparatus 10 In the three-dimensional display mode, the image processing apparatus 10 generates the right eye image R (n + 0.5) based on the sum (V2 + V3) of the interpolation vector and the disparity vector. That is, in the three-dimensional display mode, the image processing apparatus 10 adds vectors and generates an image using the result.
  • a method of generating a right eye image and applying motion compensation to the obtained right eye image as a method of generating a right eye image at a position intermediate between two left eye images on the time axis without adding vectors Can be considered.
  • this method has a problem that a new frame memory is required for image generation, and a delay occurs in image generation.
  • this method has a problem in that image quality deterioration due to erroneous detection of a motion vector occurs twice when the right eye image is generated and when motion compensation is applied to the right eye image, and the image quality is greatly deteriorated. There is also. Since the image processing apparatus 10 adds vectors before image generation, the image processing apparatus 10 does not cause these problems.
  • the interpolation vector V2 when performing frame rate conversion by motion compensation, the interpolation vector V2 is stored in the frame memory 11, the motion vector detection unit 12, and the interpolation vector generation unit 13.
  • the interpolated image X (n + 0.5) is generated using the image generation unit 18.
  • the disparity vector V3 is generated using the frame memory 11, the motion vector detecting unit 12, the depth information estimating unit 14, and the disparity vector generating unit 15, and the right eye image R ( n + 0.5) is generated using the image generator 18.
  • frame rate conversion and three-dimensional conversion are performed using the same frame memory 11, the same motion vector detection unit 12, and the same image generation unit 18.
  • the frame memory and the three-dimensional conversion can be performed with a small amount of circuit. Can be selectively executed.
  • the image processing apparatus 10 includes any one of the vector addition unit 16 that adds the interpolation vector V2 and the disparity vector V3, the interpolation vector V2, and the vector (V2 + V3) obtained by the vector addition unit 16.
  • a vector selection unit 17 for selecting the above is provided.
  • the vector addition unit 16 and the vector selection unit 17 function as a vector generation unit that outputs any one of the interpolation vector and the sum of the interpolation vector and the disparity vector.
  • the right-eye image (or the left-eye image) included in the three-dimensional display image is generated at the interpolation position by motion compensation on the time axis. It is possible to improve the image quality when displaying moving images while performing conversion.
  • FIG. 4 is a block diagram illustrating a detailed configuration of the depth information estimation unit 14.
  • the depth information estimation unit 14 illustrated in FIG. 4 includes a vector information analysis unit 51, a luminance / hue conversion unit 52, a motion block estimation unit 53, a telop region extraction unit 54, a still character extraction unit 55, and a high frequency / low frequency determination unit 56. , A luminance / hue determination unit 57, and a depth information generation unit 58.
  • 5A and 5B are diagrams illustrating examples of moving images.
  • 6A and 6B are diagrams showing histograms of motion vectors of these two images, respectively.
  • the background is stationary, and the object (automobile) is moving to the left in front of the background.
  • the histogram shown in FIG. 6A there is a maximum value in the vicinity where the motion amount is 0, and there is a maximum value in the vicinity where the motion amount is MVa. From this, it can be seen that in the image 61, the background motion amount is 0 and the object motion amount is MVa. Therefore, a block whose motion amount is close to 0 can be classified as a background region, and a block whose motion amount is close to MVa can be classified as an object region.
  • the object (automobile) is stationary and the background behind the object is moving to the right.
  • Such an image is obtained when a moving object is tracked with a camera.
  • the histogram shown in FIG. 6B there is a maximum value in the vicinity where the motion amount is MVb, and there is a maximum value in the vicinity where the motion amount is 0. From this, it can be seen that in the image 62, the background motion amount is MVb and the object motion amount is zero. Therefore, a block whose motion amount is close to MVb can be classified as a background region, and a block whose motion amount is close to 0 can be classified as an object region.
  • the depth information estimation unit 14 includes a motion block estimation unit 53.
  • the depth information estimation unit 14 ranks the objects in the depth direction according to the screen position for each object obtained by image segmentation.
  • the depth information estimation unit 14 estimates the depth information DP based on the area of the object, luminance / hue information, high frequency / low frequency information, and the like. For example, based on the area of the object, the depth information estimation unit 14 may estimate that an object having a large area is in the foreground in the center of the screen and may estimate that an object having a large area is in the back in the vicinity of the screen.
  • the depth information estimation unit 14 may estimate that an object having high luminance or a hue close to the primary color is in front based on the luminance / hue information of the object. In consideration of the fact that the background is often blurred, the depth information estimation unit 14 estimates that an object including many high frequency components is in front based on the high frequency / low frequency information of each object. Also good.
  • FIG. 8 is a diagram illustrating an example of an image including characters.
  • An image 64 shown in FIG. 8 includes a stationary character 65 and a telop 66.
  • the depth information estimation unit 14 includes a telop area extraction unit 54 and a static character extraction unit 55.
  • the vector information analysis unit 51 generates vector statistical information ST based on the motion vector V1 detected by the motion vector detection unit 12.
  • the vector statistical information ST includes, for example, a histogram, average value, variance value, and the like of the motion vector V1.
  • the luminance / hue conversion unit 52 converts an image signal representing the input image X (n) into a luminance signal and a hue signal.
  • the motion block estimation unit 53 divides the image into regions according to the vector size based on the vector statistical information ST, and obtains the area of each object region.
  • the telop area extraction unit 54 extracts a telop area based on the vector statistical information ST and outputs position information of the telop area. For example, telops that move in the horizontal direction are often arranged in strips at the bottom of the image. In consideration of this point, when blocks having substantially the same motion vector are distributed in a strip shape at the bottom of the screen, the telop area extraction unit 54 extracts the part as a telop area. When the telop area includes small blocks having the same motion vector, the telop area extraction unit 54 extracts the portion as a telop character area.
  • the static character extraction unit 55 extracts a static character region (for example, a region including a logo mark of a program) based on the vector statistical information ST and the luminance signal obtained by the luminance / hue conversion unit 52, and Output location information.
  • the high frequency / low frequency determination unit 56 uses the luminance / hue conversion unit 52 based on the information obtained by the motion block estimation unit 53, the telop region extraction unit 54, and the static character extraction unit 55 (hereinafter referred to as three types of information). For the obtained luminance signal and hue signal, a high frequency component and a low frequency component are obtained for each block. Based on the three types of information, the luminance / hue determination unit 57 obtains an average value of luminance, an average value of hue, and the like for each block with respect to the luminance signal and hue signal obtained by the luminance / hue conversion unit 52.
  • the high frequency / low frequency information determined by the high frequency / low frequency determining unit 56 and the luminance / hue information determined by the luminance / hue determining unit 57, the depth information generating unit 58 Depth priority is determined and depth information DP is output.
  • the depth information estimation unit 14 may estimate the depth information DP of the input image X (n) by an arbitrary method based on the motion vector V1 and the input image X (n).
  • the vector selection unit 107 selects a zero vector (described as “0” in the drawing) in the two-dimensional display mode, and is generated by the disparity vector generation unit 15 in the three-dimensional display mode. A disparity vector V3 is selected.
  • the vector addition unit 106 obtains the sum of the interpolation vector V2 generated by the interpolation vector generation unit 13 and the vector selected by the vector selection unit 107.
  • the vector addition unit 106 and the vector selection unit 107 function as a vector generation unit that obtains a vector used for image generation according to the display mode based on the interpolation vector and the disparity vector.
  • the vector generation unit outputs one of an interpolation vector and a sum of the interpolation vector and the disparity vector.
  • the image processing apparatus 100 operates in the same manner as the image processing apparatus 10 and has the same effects.
  • FIG. 10 is a block diagram showing a configuration of an image processing apparatus according to the second embodiment of the present invention.
  • An image processing apparatus 20 illustrated in FIG. 10 is obtained by deleting the vector addition unit 16 from the image processing apparatus 10 (FIG. 1) according to the first embodiment. Similar to the image processing apparatus 10, the image processing apparatus 20 is used, for example, in the liquid crystal display device 1 (FIG. 2).
  • the same components as those of the first embodiment are denoted by the same reference numerals and description thereof is omitted.
  • the vector selection unit 17 functions as a vector generation unit that determines a vector used for image generation according to the display mode based on the interpolation vector and the disparity vector. More specifically, the vector selection unit 17 selects the interpolation vector V2 in the two-dimensional display mode and the parallax vector V3 in the three-dimensional display mode according to the mode selection signal MS.
  • the image generation unit 18 operates in the same manner as in the first embodiment. However, in the three-dimensional display mode, the image generation unit 18 generates the right eye image R (n) at the same position as the left eye image L (n) on the time axis based on the parallax vector V3 and the input image X (n). . As a result, the image processing apparatus 20 executes the double speed conversion for doubling the frame rate of the image in the two-dimensional display mode, as in the case of the image processing apparatus 10, and one input image is set to 1 in the three-dimensional display mode. Three-dimensional conversion is performed to convert a single left-eye image and a single right-eye image.
  • the interpolation vector V2 when performing frame rate conversion by motion compensation, the interpolation vector V2 is stored in the frame memory 11, the motion vector detection unit 12, and the interpolation vector generation unit 13.
  • the interpolated image X (n + 0.5) is generated using the image generation unit 18.
  • the disparity vector V3 is generated using the frame memory 11, the motion vector detecting unit 12, the depth information estimating unit 14, and the disparity vector generating unit 15, and the right eye image R ( n) is generated using the image generator 18.
  • frame rate conversion and three-dimensional conversion are executed using the same frame memory 11, the same motion vector detection unit 12, and the same image generation unit 18.
  • the frame memory and the three-dimensional conversion can be performed with a small amount of circuit. Can be selectively executed.
  • FIG. 11 is a block diagram showing a configuration of an image processing apparatus according to the third embodiment of the present invention.
  • An image processing apparatus 30 illustrated in FIG. 11 is obtained by adding a parallax adjustment unit 31 to the image processing apparatus 10 (FIG. 1) according to the first embodiment. Similar to the image processing apparatus 10, the image processing apparatus 30 is used by being incorporated in the liquid crystal display device 1 (FIG. 2), for example.
  • the same components as those in the first and second embodiments are denoted by the same reference numerals, and the description thereof is omitted.
  • the vector addition unit 16, the vector selection unit 17, and the parallax adjustment unit 31 function as a vector generation unit that obtains a vector used for image generation according to the display mode based on the interpolation vector and the parallax vector. More specifically, the parallax adjustment unit 31 is provided in the next stage of the parallax vector generation unit 15. The parallax adjustment unit 31 receives the parallax vector V3 generated by the parallax vector generation unit 15 and the adjustment information ADJ given from the outside. The parallax adjustment unit 31 changes the parallax vector V3 according to the adjustment information ADJ, and outputs the adjusted parallax vector V4.
  • the vector addition unit 16 adds the interpolation vector V2 and the adjusted parallax vector V4.
  • the sum (V2 + V4) of the interpolation vector obtained by the vector addition unit 16 and the adjusted parallax vector is supplied to the vector selection unit 17.
  • the vector selection unit 17 selects the interpolation vector V2 in the two-dimensional display mode according to the mode selection signal MS, and selects the sum (V2 + V4) of the interpolation vector and the adjusted disparity vector in the three-dimensional display mode.
  • the image generation unit 18 operates in the same manner as in the first and second embodiments. However, in the three-dimensional display mode, the image generation unit 18 according to the present embodiment uses the right eye image R (n + 0.5) based on the sum (V2 + V4) of the interpolation vector and the adjusted parallax vector and the input image X (n). ) Is generated. As a result, the image processing device 30 executes the double speed conversion that doubles the frame rate of the image in the two-dimensional display mode, as in the image processing devices 10 and 20, and one input image in the three-dimensional display mode. Is converted into one left-eye image and one right-eye image.
  • Adjustment information ADJ is information for adjusting the pop-out amount and depth amount in the three-dimensional display.
  • the adjustment information ADJ is designated by the user of the image processing device 30, for example.
  • the parallax adjustment unit 31 may determine a gain according to the adjustment information ADJ, and multiply the obtained gain by the parallax vector V3. This makes it possible to easily change the parallax vector and easily increase (or decrease) the pop-out amount in the three-dimensional display.
  • the parallax adjustment unit 31 may determine an offset according to the adjustment information ADJ and add the obtained offset to the parallax vector V3. Thereby, it is possible to easily switch between emphasizing popping out or emphasizing depth when performing 3D display by easily changing the parallax vector.
  • the parallax adjustment unit 31 may perform different processing on the parallax vector V3 depending on the position in the image according to the adjustment information ADJ.
  • the parallax adjustment unit 31 may multiply the parallax vector V3 by changing the gain specified by the adjustment information ADJ for each block of the image.
  • the parallax vector is suitably changed according to the position in the screen, and the pop-out amount in the three-dimensional display can be adjusted according to the position in the screen. For example, when performing three-dimensional display, it is possible to easily perform a process of increasing the pop-out amount at the center portion of the image and reducing the pop-out amount at the peripheral portion of the image.
  • FIG. 12A to 12C are diagrams showing the relationship between parallax and depth in a three-dimensional display image.
  • FIG. 12A the relationship between the parallax and the depth in the normal state is described for the left-eye image (described as L) and the right-eye image (described as R).
  • L left-eye image
  • R right-eye image
  • the parallax adjustment unit 31 multiplies the gain in the parallax vector V3
  • the relationship between the parallax and the depth is as shown in FIG. 12B.
  • the parallax increases both at the back and the front, and both the pop-out amount and the depth amount increase.
  • the offset in the parallax vector V3 is added in the parallax adjustment unit 31, the relationship between the parallax and the depth is as shown in FIG. 12C.
  • the reference plane where the left-eye image and the right-eye image intersect (the plane where the depth amount is 0) is closer to the front than usual. Therefore, an image with an emphasis on depth (an image with a reduced pop-out amount) can be obtained.
  • the image processing apparatus 30 includes the parallax adjustment unit 31 that changes the parallax vector V3 according to the adjustment information ADJ, and the vector addition unit that adds the interpolation vector V2 and the adjusted parallax vector V4. 16, a vector selection unit 17 that selects any one of the interpolation vector V 2 and the vector (V 2 + V 4) obtained by the vector addition unit 16.
  • the vector addition unit 16, the vector selection unit 17, and the parallax adjustment unit 31 function as a vector generation unit that outputs any one of the interpolation vector and the sum of the interpolation vector and the adjusted parallax vector.
  • the motion detection unit, the frame memory, and the image generation unit are shared by frame rate conversion and three-dimensional conversion. Therefore, frame rate conversion and three-dimensional conversion can be selectively executed with a small circuit amount.
  • the right-eye image (or left-eye image) included in the three-dimensional display image is generated at the interpolation position by motion compensation on the time axis while performing the three-dimensional conversion. It is possible to improve the image quality when displaying a movie.
  • the pop-out amount in the three-dimensional display can be easily adjusted.
  • the modification shown in FIG. 13 can be comprised.
  • the parallax adjustment unit 31 changes the parallax vector V3 generated by the parallax vector generation unit 15 in accordance with the adjustment information ADJ.
  • the vector selection unit 107 selects the zero vector in the 2D display mode, and selects the adjusted vector V4 obtained by the parallax adjustment unit 31 in the 3D display mode.
  • the vector addition unit 106 obtains the sum of the interpolation vector V2 generated by the interpolation vector generation unit 13 and the vector selected by the vector selection unit 107.
  • the parallax adjustment unit 31, the vector addition unit 106, and the vector selection unit 107 function as a vector generation unit that determines a vector used for image generation according to the display mode based on the interpolation vector and the parallax vector. .
  • the image processing apparatus 300 operates in the same manner as the image processing apparatus 30 and has the same effects.
  • the parallax adjustment unit 31 is added to the image processing apparatus 10 according to the first embodiment. However, the parallax adjustment unit 31 is added to the image processing apparatus 20 according to the second embodiment. (See FIG. 14).
  • the parallax adjustment unit 31 changes the parallax vector V3 generated by the parallax vector generation unit 15 according to the adjustment information ADJ.
  • the vector selection unit 17 selects the interpolation vector V2 generated by the interpolation vector generation unit 13 in the two-dimensional display mode, and selects the adjusted vector V4 obtained by the parallax adjustment unit 31 in the three-dimensional display mode.
  • the parallax adjustment unit 31 and the vector selection unit 17 function as a vector generation unit that obtains a vector used for image generation according to the display mode based on the interpolation vector and the parallax vector.
  • the frame rate conversion and the three-dimensional conversion share the motion detection unit, the frame memory, and the image generation unit, thereby reducing the frame amount with a small circuit amount. Rate conversion and three-dimensional conversion can be selectively performed. In addition, by changing the parallax vector according to the adjustment information, the pop-out amount in the three-dimensional display can be easily adjusted.
  • the image processing apparatuses according to the first to third embodiments execute double speed conversion that doubles the frame rate of an image in the two-dimensional display mode, and one image in the three-dimensional display mode.
  • the three-dimensional conversion for converting the input image into one left-eye image and one right-eye image is executed.
  • the image processing apparatus according to the present invention performs 2m-speed conversion to increase the frame rate of an image by 2m (m is an integer of 2 or more) in the 2D display mode, and m input images in 3D display mode.
  • Three-dimensional conversion may be performed to convert the left-eye image and m right-eye images.
  • the interpolation vector generation unit 13 generates (2m ⁇ 1) interpolation vectors V2 corresponding to one input image.
  • the disparity vector generation unit 15 outputs a disparity vector V3 when generating a right-eye image in the three-dimensional display mode, and outputs a zero vector otherwise.
  • the vector selection unit 17 performs (2m-1) selections corresponding to one input image.
  • the vector selection unit 17 selects the interpolation vector V2 in the two-dimensional display mode, selects the interpolation vector V2 when generating the left-eye image in the three-dimensional display mode, and generates the right-eye image in the three-dimensional display mode. Sometimes the sum (V2 + V3) of the interpolation vector and the disparity vector is selected.
  • the image generation unit 18 sequentially generates (2m-1) interpolation images based on (2m-1) interpolation vectors V2 and the input image in the 2D display mode, and vector selection in the 3D display mode. Based on the (2m ⁇ 1) vectors selected by the unit 17 and the input image, (m ⁇ 1) images for the same eye as the input image and m images for the opposite eye are generated.
  • 2m-times speed conversion is performed to increase the frame rate of the image by 2m
  • 3D display mode one input image is converted into m left-eye images and m right-eye images.
  • Dimensional transformations can be performed.
  • the interpolation vector generation unit 13 performs three interpolations corresponding to one input image.
  • a vector V2 is generated.
  • the vector selection unit 17 performs selection three times corresponding to one input image.
  • the image generation unit 18 sequentially generates three interpolated images based on the three interpolation vectors V2 and the input image in the two-dimensional display mode, and the three selected by the vector selection unit 17 in the three-dimensional display mode.
  • One left-eye image and two right-eye images are generated based on the vector and the input image.
  • the vector selection unit 17 selects the interpolation vector V2 once when performing the selection 3 times in the 3D display mode.
  • the sum of the insertion vector and the disparity vector (V2 + V3) is selected twice in succession.
  • the image processing apparatus 10 corresponds to one input image X (n), the left eye image L (n) at the position of the frame n, and the left eye image L (at the position of the frame (n + 0.25) ( n + 0.25), the right eye image R (n + 0.5) at the position of the frame (n + 0.5), and the right eye image R (n + 0.75) at the position of the frame (n + 0.75) are sequentially output.
  • the vector selection unit 17 first adds the interpolation vector and the disparity vector (V2 + V3) when performing the selection three times in the 3D display mode. ) Once, then the interpolation vector V2 is selected once, and finally the sum of the interpolation vector and the disparity vector (V2 + V3) is selected once more.
  • the image processing apparatus 10 corresponds to one input image X (n), and the position of the left eye image L (n) and the frame (n + 0.25) at the position of the frame n.
  • the motion vector V1 detected by the motion vector detection unit 12 is a zero vector
  • the interpolation vector V2 detected by the interpolation vector generation unit 13 is also a zero vector. Therefore, in the two-dimensional display mode, the interpolated image generated by the image generation unit 18 matches the input image.
  • the depth information estimation unit 14 estimates the depth information DP based on the motion vector V1 that is a zero vector and the input image. At this time, the disparity vector V3 generated by the disparity vector generation unit 15 is generally not a zero vector.
  • the right eye image generated by the image generation unit 18 generally does not match the left eye image. Therefore, when still images are input in the three-dimensional display mode to the image processing apparatuses according to the first to third embodiments and the modifications thereof, the left-eye image and the right-eye image are different from these image processing apparatuses 3 A three-dimensional display image is output.
  • the motion vector detection unit, the frame memory, and the image generation unit are shared by frame rate conversion and three-dimensional conversion.
  • frame rate conversion and three-dimensional conversion can be selectively executed with a small circuit amount.
  • FIG. 15 An image processing apparatus 40 illustrated in FIG. 15 is obtained by deleting the depth information estimation unit 14, the parallax vector generation unit 15, and the vector addition unit 16 from the image processing apparatus 10 (FIG. 1) according to the first embodiment. Similar to the image processing apparatus 10, the image processing apparatus 40 is used, for example, in the liquid crystal display device 1 (FIG. 2).
  • the image signal Xin and the parallax vector V3 necessary for three-dimensional conversion are input to the image processing device 40 from the outside.
  • the frame memory 11, the motion vector detection unit 12, and the interpolation vector generation unit 13 operate in the same manner as in the first embodiment.
  • the vector selection unit 17 selects the interpolation vector V2 generated by the interpolation vector generation unit 13 in the two-dimensional display mode according to the mode selection signal MS, and selects the disparity vector V3 input from the outside in the three-dimensional display mode. To do.
  • the image generation unit 18 and the time base conversion unit 19 also operate in the same manner as in the first embodiment.
  • the image generation unit 18 included in the image processing device 40 generates the right eye image R (n) based on the parallax vector V3 and the input image X (n) input from the outside in the three-dimensional display mode.
  • the image processing device 40 executes the double speed conversion for doubling the frame rate of the image in the 2D display mode, as in the image processing devices 10, 20, and 30, and one image in the 3D display mode. Three-dimensional conversion is performed to convert the input image into one left-eye image and one right-eye image.
  • the frame rate conversion and the three-dimensional conversion can be selectively executed with a small amount of circuit by sharing the image generation unit for the frame rate conversion and the three-dimensional conversion. Can do.
  • Such an image processing device 40 can be realized, for example, by adding a function for generating an image based on a vector input from the outside instead of an internally generated interpolation vector to the frame rate conversion LSI. .
  • the image processing apparatus, the image processing method, the image display apparatus, and the image display method of the present invention have a feature that frame rate conversion and three-dimensional conversion can be selectively performed with a small circuit amount, frame rate conversion and three-dimensional conversion are possible.
  • the present invention can be used in various image processing apparatuses, image processing methods, image display apparatuses, and image display methods that selectively execute conversion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　動きベクトル検出部１２は、入力画像Ｘ（ｎ）の動きベクトルＶ１を検出する。２次元表示モードでは、入力画像Ｘ（ｎ）は原画像として出力され、画像生成部１８は動きベクトルＶ１に基づく内挿ベクトルＶ２に基づき内挿画像Ｘ（ｎ＋０．５）を生成する。３次元表示モードでは、入力画像Ｘ（ｎ）は左目画像Ｌ（ｎ）として出力され、動きベクトルＶ１に基づき入力画像Ｘ（ｎ）の奥行き情報ＤＰが推定され、画像生成部１８は奥行き情報ＤＰに基づく視差ベクトルＶ３と内挿ベクトルＶ２の和に基づき右目画像Ｒ（ｎ＋０．５）を生成する。フレームレート変換と３次元変換で動きベクトル検出部、フレームメモリおよび画像生成部を共有し、時間軸上で内挿画像と同じ位置に右目画像を生成する。これにより、回路量を削減し、動画表示のときの画質を改善する。

Description

画像処理装置および方法、画像表示装置および方法
　本発明は、画像処理装置、画像処理方法、画像表示装置および画像表示方法に関し、特に、フレームレート変換と３次元変換を選択的に実行する画像処理装置、画像処理方法、画像表示装置および画像表示方法に関する。
　近年、両眼視差を用いて立体的な表示を行う３次元表示（立体表示）が注目されている。また、２次元表示用画像に基づき３次元表示を行うために、２次元表示用画像を３次元表示用画像に変換する３次元変換機能を有する画像表示装置も知られている。これとは別に、動画表示のときの画質を改善するために、画像のフレームレートを変換するフレームレート変換機能を有する画像表示装置も知られている。
　一般に、３次元表示を行う画像表示装置は、フレームレート変換機能と３次元変換機能の両方を備えている。図１６は、３次元表示を行う画像表示装置に含まれる従来の画像処理装置の構成を示すブロック図である。図１６に示す画像処理装置９０は、入力選択部９１、フレームレート変換部９２、３次元変換部９３、および、タイムベース変換部９４を備えている。画像処理装置９０における入力画像のフレームレートは６０Ｈｚであり、出力画像のフレームレートは１２０Ｈｚである。
　２次元表示モードでは、入力選択部９１は、入力画像をフレームレート変換部９２に出力する。フレームレート変換部９２は、入力画像をそのまま原画像として出力すると共に、入力画像に対して動き補償によるフレームレート変換を行い、得られた内挿画像を出力する。３次元表示モードでは、入力選択部９１は、入力画像を３次元変換部９３に出力する。３次元変換部９３は、入力画像に対して動きベクトルを用いた３次元変換を行い、得られた左目画像と右目画像を出力する。タイムベース変換部９４は、フレームレート変換部９２から出力された原画像と内挿画像、あるいは、３次元変換部９３から出力された左目画像と右目画像を表示タイミングに合わせて出力する。
　なお、本願発明に関連して、特許文献１には、３次元表示用画像をそのまま出力する処理と、２次元表示用画像をフレームレート変換して出力する処理とを選択的に実行する映像信号処理装置が記載されている。特許文献２には、画像の動きベクトルを検出し、検出した動きベクトルを用いて画像の奥行き情報を推定し、推定した奥行き情報に基づき３次元変換を行う立体映像生成方法が記載されている。
日本国特開２０１０－１１１８４号公報 日本国特開２０００－２６１８２８号公報
　図１６に示す画像処理装置９０は、フレームレート変換と３次元変換を選択的に実行するために、フレームレート変換部９２と３次元変換部９３を別個に備えている。このため、フレームレート変換部９２と３次元変換部９３の両方に、動きベクトル検出部、フレームメモリおよび画像生成部を設ける必要がある。したがって、従来の画像処理装置９０には回路量が増大するという問題がある。
　また、図１６に示す画像処理装置９０は、３次元変換部９３において左目画像と右目画像を時間軸上で同じ位置に生成する。しかしながら、３次元表示を行うときには左目画像と右目画像は交互に認識されるので、左目画像と右目画像を０．５フレーム期間だけずらして生成したほうが動画表示のときの画質が高くなる（後述する図３を参照）。したがって、従来の画像処理装置９０には、動画表示のときの画質が低いという問題もある。
　それ故に、本発明の第１の目的は、少ない回路量でフレームレート変換と３次元変換を選択的に実行する画像処理装置、画像処理方法、画像表示装置および画像表示方法を提供することである。また、本発明の第２の目的は、動画表示のときの画質を改善した画像処理装置、画像処理方法、画像表示装置および画像表示方法を提供することである。
　本発明の第１の局面は、フレームレート変換と３次元変換を選択的に実行する画像処理装置であって、
　入力画像の動きベクトルを検出する動きベクトル検出部と、
　前記動きベクトルに基づき、フレームレート変換に必要な内挿ベクトルを生成する内挿ベクトル生成部と、
　前記動きベクトルおよび前記入力画像に基づき、前記入力画像の奥行き情報を推定する奥行き情報推定部と、
　前記奥行き情報に基づき、３次元変換に必要な視差ベクトルを生成する視差ベクトル生成部と、
　前記内挿ベクトルおよび前記視差ベクトルに基づき、画像生成に用いるベクトルを表示モードに応じて求めるベクトル生成部と、
　前記ベクトル生成部で求めたベクトルおよび前記入力画像に基づき、前記入力画像と共に出力する画像を生成する画像生成部とを備え、
　２次元表示モードでは、前記入力画像は原画像として出力され、前記画像生成部は内挿画像を生成し、３次元表示モードでは、前記入力画像は３次元表示用画像に含まれる左目画像および右目画像のいずれかとして出力され、前記画像生成部は前記３次元表示用画像に含まれる他の画像を生成することを特徴とする。
　本発明の第２の局面は、本発明の第１の局面において、
　前記ベクトル生成部は、前記内挿ベクトル、および、前記内挿ベクトルと前記視差ベクトルの和のいずれかを出力することを特徴とする。
　本発明の第３の局面は、本発明の第２の局面において、
　前記ベクトル生成部は、
　　前記内挿ベクトルと前記視差ベクトルを加算するベクトル加算部と、
　　前記内挿ベクトル、および、前記ベクトル加算器で求めたベクトルのいずれかを選択するベクトル選択部とを含むことを特徴とする。
　本発明の第４の局面は、本発明の第１の局面において、
　前記ベクトル生成部は、前記内挿ベクトルおよび前記視差ベクトルのいずれかを選択するベクトル選択部を含むことを特徴とする。
　本発明の第５の局面は、本発明の第１の局面において、
　前記ベクトル生成部は、与えられた調整情報に従い前記視差ベクトルを変化させる視差調整部を含むことを特徴とする。
　本発明の第６の局面は、本発明の第５の局面において、
　前記ベクトル生成部は、前記内挿ベクトル、および、前記内挿ベクトルと前記視差調整部で求めたベクトルの和のいずれかを出力することを特徴とする。
　本発明の第７の局面は、本発明の第６の局面において、
　前記ベクトル生成部は、
　　前記内挿ベクトルと前記視差調整部で求めたベクトルを加算するベクトル加算部と、
　　前記内挿ベクトル、および、前記ベクトル加算器で求めたベクトルのいずれかを選択するベクトル選択部とをさらに含むことを特徴とする。
　本発明の第８の局面は、本発明の第５の局面において、
　前記ベクトル生成部は、前記内挿ベクトル、および、前記視差調整部で求めたベクトルのいずれかを選択するベクトル選択部をさらに含むことを特徴とする。
　本発明の第９の局面は、本発明の第５の局面において、
　前記視差調整部は、前記調整情報に従い前記視差ベクトルにゲインを乗算することを特徴とする。
　本発明の第１０の局面は、本発明の第５の局面において、
　前記視差調整部は、前記調整情報に従い前記視差ベクトルにオフセットを加算することを特徴とする。
　本発明の第１１の局面は、本発明の第５の局面において、
　前記視差調整部は、前記調整情報に従い、前記視差ベクトルに対して画像内の位置に応じて異なる処理を行うことを特徴とする。
　本発明の第１２の局面は、本発明の第１の局面において、
　前記画像生成部は、２次元表示モードでは１枚の入力画像に対応して１枚の内挿画像を生成し、３次元表示モードでは１枚の入力画像に対応して当該入力画像と反対の目用の画像を１枚生成することを特徴とする。
　本発明の第１３の局面は、本発明の第１の局面において、
　前記画像生成部は、２次元表示モードでは１枚の入力画像に対応して（２ｍ－１）枚（ｍは２以上の整数）の内挿画像を生成し、３次元表示モードでは１枚の入力画像に対応して当該入力画像と同じ目用の画像を（ｍ－１）枚、反対の目用の画像をｍ枚生成することを特徴とする。
　本発明の第１４の局面は、フレームレート変換と３次元変換を選択的に実行する画像処理方法であって、
　入力画像の動きベクトルを検出するステップと、
　前記動きベクトルに基づき、フレームレート変換に必要な内挿ベクトルを生成するステップと、
　前記動きベクトルおよび前記入力画像に基づき、前記入力画像の奥行き情報を推定するステップと、
　前記奥行き情報に基づき、３次元変換に必要な視差ベクトルを生成するステップと、
　前記内挿ベクトルおよび前記視差ベクトルに基づき、画像生成に用いるベクトルを表示モードに応じて求めるステップと、
　前記画像生成に用いるベクトルおよび前記入力画像に基づき、前記入力画像と共に出力する画像を生成するステップとを備え、
　２次元表示モードでは、前記入力画像は原画像として出力され、前記画像を生成するステップでは内挿画像を生成し、３次元表示モードでは、前記入力画像は３次元表示用画像に含まれる左目画像および右目画像のいずれかとして出力され、前記画像を生成するステップでは前記３次元表示用画像に含まれる他の画像を生成することを特徴とする。
　本発明の第１５の局面は、フレームレート変換と３次元変換を選択的に実行して画像を表示する画像表示装置であって、
　表示パネルと、
　入力画像に対してフレームレート変換と３次元変換を選択的に実行する画像処理部と、
　前記画像処理部から出力された画像を表示するように前記表示パネルを駆動する駆動回路とを備え、
　前記画像処理部は、
　　前記入力画像の動きベクトルを検出する動きベクトル検出部と、
　　前記動きベクトルに基づき、フレームレート変換に必要な内挿ベクトルを生成する内挿ベクトル生成部と、
　　前記動きベクトルおよび前記入力画像に基づき、前記入力画像の奥行き情報を推定する奥行き情報推定部と、
　　前記奥行き情報に基づき、３次元変換に必要な視差ベクトルを生成する視差ベクトル生成部と、
　　前記内挿ベクトルおよび前記視差ベクトルに基づき、画像生成に用いるベクトルを表示モードに応じて求めるベクトル生成部と
　　前記ベクトル生成部で求めたベクトルおよび前記入力画像に基づき、前記入力画像と共に出力する画像を生成する画像生成部とを含み、
　　２次元表示モードでは、前記入力画像は原画像として出力され、前記画像生成部は内挿画像を生成し、３次元表示モードでは、前記入力画像は３次元表示用画像に含まれる左目画像および右目画像のいずれかとして出力され、前記画像生成部は前記３次元表示用画像に含まれる他の画像を生成することを特徴とする。
　本発明の第１６の局面は、フレームレート変換と３次元変換を選択的に実行して画像を表示する画像表示方法であって、
　入力画像の動きベクトルを検出するステップと、
　前記動きベクトルに基づき、フレームレート変換に必要な内挿ベクトルを生成するステップと、
　前記動きベクトルおよび前記入力画像に基づき、前記入力画像の奥行き情報を推定するステップと、
　前記奥行き情報に基づき、３次元変換に必要な視差ベクトルを生成するステップと、
　前記内挿ベクトルおよび前記視差ベクトルに基づき、画像生成に用いるベクトルを表示モードに応じて求めるステップと、
　前記画像生成に用いるベクトルおよび前記入力画像に基づき、前記入力画像と共に出力する画像を生成するステップと、
　前記入力画像および前記画像を生成するステップで生成された画像を表示するよう表示パネルを駆動するステップとを備え、
　２次元表示モードでは、前記入力画像は原画像として表示され、前記画像を生成するステップでは内挿画像を生成し、３次元表示モードでは、前記入力画像は３次元表示用画像に含まれる左目画像および右目画像のいずれかとして表示され、前記画像を生成するステップでは前記３次元表示用画像に含まれる他の画像を生成することを特徴とする。
　本発明の第１、第４または第１４の局面によれば、フレームレート変換と３次元変換で動き検出部、フレームメモリおよび画像生成部を共有することにより、少ない回路量でフレームレート変換と３次元変換を選択的に実行することができる。
　本発明の第２または第３の局面によれば、３次元表示用画像に含まれる左目画像または右目画像は、視差ベクトルに内挿ベクトルを加算したベクトルに基づき生成される。これにより、時間軸上で内挿画像と同じ位置に左目画像または右目画像を生成し、３次元変換を行いながら動画表示のときの画質を改善することができる。
　本発明の第５または第８の局面によれば、調整情報に従い視差ベクトルを変化させることにより、３次元表示における飛び出し量を容易に調整することができる。
　本発明の第６または第７の局面によれば、３次元表示用画像に含まれる左目画像または右目画像は、調整後の視差ベクトルに内挿ベクトルを加算したベクトルに基づき生成される。これにより、３次元表示における飛び出し量を容易に調整すると共に、時間軸上で内挿画像と同じ位置に左目画像または右目画像を生成し、３次元変換を行いながら動画表示のときの画質を改善することができる。
　本発明の第９の局面によれば、調整情報に従い視差ベクトルにゲインを乗算することにより、視差ベクトルを容易に変化させて、３次元表示における飛び出し量を容易に調整することができる。
　本発明の第１０の局面によれば、調整情報に従い視差ベクトルにオフセットを加算することにより、視差ベクトルを容易に変化させて、３次元表示を行うときに飛び出しを重視するか、奥行きを重視するかを容易に切り替えることができる。
　本発明の第１１の局面によれば、調整情報に従い視差ベクトルに対して画面内の位置によって異なる処理を行うことにより、画面内の位置によって好適に視差ベクトルを変化させて、３次元表示における飛び出し量を画面内の位置によって調整することができる。
　本発明の第１２の局面によれば、２次元表示モードでは画像のフレームレートを２倍にする２倍速変換を実行し、３次元表示モードでは１枚の入力画像を１枚の左目画像と１枚の右目画像に変換する３次元変換を実行することができる。
　本発明の第１３の局面によれば、２次元表示モードでは画像のフレームレートを２ｍ倍にする２ｍ倍速変換を実行し、３次元表示モードでは１枚の入力画像をｍ枚の左目画像とｍ枚の右目画像に変換する３次元変換を実行することができる。
　本発明の第１５または第１６の局面によれば、フレームレート変換と３次元変換で動き検出部、フレームメモリおよび画像生成部を共有することにより、少ない回路量でフレームレート変換と３次元変換を選択的に実行し、画像を表示することができる。
本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。 図１に示す画像処理装置を含む画像表示装置の構成を示すブロック図である。 図１に示す画像処理装置で生成される右目画像の時間軸上の位置を示す図である。 図１に示す画像処理装置の奥行き情報推定部の詳細な構成を示すブロック図である。 動画像の例を示す図である。 動画像の他の例を示す図である。 図５Ａに示す画像の動きベクトルのヒストグラムを示す図である。 図５Ｂに示す画像の動きベクトルのヒストグラムを示す図である。 画像内で背景と推定される部分を示す図である。 文字を含む画像の例を示す図である。 本発明の第１の実施形態の変形例に係る画像処理装置の構成を示すブロック図である。 本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。 本発明の第３の実施形態に係る画像処理装置の構成を示すブロック図である。 ３次元表示用画像における視差と奥行きの関係を示す図である。 図１１に示す画像処理装置において、視差ベクトルにゲインを乗算したときの視差と奥行きの関係を示す図である。 図１１に示す画像処理装置において、視差ベクトルにオフセットを加算したときの視差と奥行きの関係を示す図である。 本発明の第３の実施形態の変形例に係る画像処理装置の構成を示すブロック図である。 本発明の第３の実施形態の変形例に係る画像処理装置の構成を示すブロック図である。 参考例に係る画像処理装置の構成を示すブロック図である。 従来の画像処理装置の構成を示すブロック図である。
　（第１の実施形態）
　図１は、本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１０は、フレームメモリ１１、動きベクトル検出部１２、内挿ベクトル生成部１３、奥行き情報推定部１４、視差ベクトル生成部１５、ベクトル加算部１６、ベクトル選択部１７、画像生成部１８、および、タイムベース変換部１９を備えている。画像処理装置１０は、入力画像に対してフレームレート変換と３次元変換を選択的に実行する。
　図２は、画像処理装置１０を含む液晶表示装置の構成を示すブロック図である。図２に示す液晶表示装置１は、画像処理装置１０、タイミング制御回路２、走査信号線駆動回路３、データ信号線駆動回路４、および、液晶パネル５を備えている。液晶パネル５は、ｐ本の走査信号線Ｇ１～Ｇｐ、ｑ本のデータ信号線Ｓ１～Ｓｑ、および、（ｐ×ｑ）個の画素回路６を含んでいる。走査信号線Ｇ１～Ｇｐは互いに平行に配置され、データ信号線Ｓ１～Ｓｑは走査信号線Ｇ１～Ｇｐと直交するように互いに平行に配置される。（ｐ×ｑ）個の画素回路６は、走査信号線Ｇ１～Ｇｐとデータ信号線Ｓ１～Ｓｑの各交点近傍に配置される。
　液晶表示装置１には、外部から画像信号Ｘｉｎが入力される。画像信号Ｘｉｎは、フレームレートが６０Ｈｚの入力画像を表す。画像処理装置１０には、画像信号Ｘｉｎと、２次元表示モードか３次元表示モードかを示すモード選択信号ＭＳとが入力される。画像処理装置１０は、モード選択信号ＭＳに従い、画像信号Ｘｉｎに対してフレームレート変換および３次元変換を選択的に実行し、画像信号Ｙｏｕｔを出力する。画像信号Ｙｏｕｔは、フレームレートが１２０Ｈｚの出力画像を表す。
　タイミング制御回路２は、走査信号線駆動回路３とデータ信号線駆動回路４にそれぞれタイミング制御信号ＴＣ１、ＴＣ２を供給する。走査信号線駆動回路３は、タイミング制御信号ＴＣ１に基づき、走査信号線Ｇ１～Ｇｐを駆動する。データ信号線駆動回路４は、タイミング制御信号ＴＣ２と画像信号Ｙｏｕｔに基づき、データ信号線Ｓ１～Ｓｑを駆動する。このように走査信号線駆動回路３とデータ信号線駆動回路４は、液晶パネル５の駆動回路として機能する。液晶表示装置１は、これらの駆動回路を用いて液晶パネル５を駆動することにより、フレームレートが１２０Ｈｚの２次元表示および３次元表示を選択的に実行する。
　再び図１を参照して、画像処理装置１０の詳細を説明する。以下、画像信号Ｘｉｎが表すｎ番目の入力画像を入力画像Ｘ（ｎ）という。画像処理装置１０は、２次元表示モードでは、動き補償によるフレームレート変換を実行し、入力画像のフレームレートを６０Ｈｚから１２０Ｈｚに変換する。この場合、画像処理装置１０は、入力画像Ｘ（ｎ）をそのまま原画像として出力する。画像生成部１８は、時間軸上で入力画像Ｘ（ｎ）、Ｘ（ｎ＋１）の中間に位置する内挿画像Ｘ（ｎ＋０．５）を生成する。
　一方、３次元表示モードでは、画像処理装置１０は、入力画像を２次元表示用画像として動きベクトルを用いた３次元変換を実行し、入力画像を左目画像と右目画像を含む３次元表示用画像に変換する。以下の説明では、画像処理装置１０は入力画像Ｘ（ｎ）をそのまま左目画像Ｌ（ｎ）として出力し、画像生成部１８は入力画像Ｘ（ｎ）に基づき時間軸上で内挿画像Ｘ（ｎ＋０．５）と同じ位置にある右目画像Ｒ（ｎ＋０．５）を生成するものとする。なお、画像処理装置１０は入力画像Ｘ（ｎ）をそのまま右目画像Ｒ（ｎ）として出力し、画像生成部１８は入力画像Ｘ（ｎ）に基づき時間軸上で内挿画像Ｘ（ｎ＋０．５）と同じ位置にある左目画像Ｌ（ｎ＋０．５）を生成してもよい。
　以下、入力画像Ｘ（ｎ＋１）が入力されたときの画像処理装置１０の動作を説明する。フレームメモリ１１は、画像信号Ｘｉｎを１フレーム分記憶し、１フレーム期間遅延させて出力する。入力画像Ｘ（ｎ＋１）が入力されたとき、フレームメモリ１１は、入力画像Ｘ（ｎ＋１）を記憶しながら、入力画像Ｘ（ｎ）を出力する。
　動きベクトル検出部１２は、入力画像Ｘ（ｎ）の動きベクトルＶ１を検出する。より詳細には、動きベクトル検出部１２には、入力画像Ｘ（ｎ＋１）、および、フレームメモリ１１から出力された入力画像Ｘ（ｎ）が入力される。動きベクトル検出部１２は、連続した２枚の入力画像Ｘ（ｎ）、Ｘ（ｎ＋１）に基づき、２枚の画像間の動きベクトルＶ１をブロック（画像を分割して得られる小領域）ごとに検出する。動きベクトル検出部１２は、例えば、勾配法やブロックマッチング法などを用いて、ブロックごとに動きベクトルＶ１を検出する。検出された動きベクトルＶ１は、内挿ベクトル生成部１３と奥行き情報推定部１４に供給される。なお、動きベクトル検出部１２における動きベクトルの検出方法は任意でよい。
　内挿ベクトル生成部１３は、動きベクトルＶ１に基づき、フレームレート変換に必要な内挿ベクトルＶ２を生成する。例えば、あるオブジェクトが入力画像Ｘ（ｎ）では位置Ｐａにあり、入力画像Ｘ（ｎ＋１）では位置Ｐｂにある場合、このオブジェクトは内挿画像Ｘ（ｎ＋０．５）では位置Ｐａ、Ｐｂの中間の位置Ｐｃにある。このような場合、内挿ベクトル生成部１３は、このオブジェクトを位置Ｐａから位置Ｐｃに移動させる内挿ベクトルＶ２を生成する。
　奥行き情報推定部１４は、動きベクトルＶ１およびフレームメモリ１１から出力された入力画像Ｘ（ｎ）に基づき、入力画像Ｘ（ｎ）の奥行き情報ＤＰを推定する（詳細は後述）。視差ベクトル生成部１５は、推定された奥行き情報ＤＰに基づき、３次元変換に必要な視差ベクトルＶ３を生成する。視差ベクトルＶ３は、フレームレート変換における内挿ベクトルＶ２に相当する。
　ベクトル加算部１６とベクトル選択部１７は、内挿ベクトルおよび視差ベクトルに基づき、画像生成に使用するベクトルを表示モードに応じて求めるベクトル生成部として機能する。ベクトル生成部は、内挿ベクトル、および、内挿ベクトルと視差ベクトルの和のいずれかを出力する。より詳細には、ベクトル加算部１６は、内挿ベクトル生成部１３で生成された内挿ベクトルＶ２と、視差ベクトル生成部１５で生成された視差ベクトルＶ３とを加算する。ベクトル加算部１６で求めた内挿ベクトルと視差ベクトルの和（Ｖ２＋Ｖ３）は、ベクトル選択部１７に供給される。ベクトル選択部１７は、モード選択信号ＭＳに従い、２次元表示モードでは内挿ベクトルＶ２を選択し、３次元表示モードでは内挿ベクトルと視差ベクトルの和（Ｖ２＋Ｖ３）を選択する。
　画像生成部１８は、ベクトル選択部１７で選択されたベクトル（すなわち、ベクトル生成部で生成されたベクトル）、および、フレームメモリ１１から出力された入力画像Ｘ（ｎ）に基づき、入力画像Ｘ（ｎ）と共に出力する画像を生成する。タイムベース変換部１９は、フレームメモリ１１から出力された入力画像Ｘ（ｎ）、および、画像生成部１８で生成された画像を表示タイミングに合わせて出力する。
　より詳細には、２次元表示モードでは、入力画像Ｘ（ｎ）は、そのまま原画像としてタイムベース変換部１９に出力される。画像生成部１８は、ベクトル選択部１７で選択された内挿ベクトルＶ２および入力画像Ｘ（ｎ）に基づき、時間軸上で２枚の入力画像Ｘ（ｎ）、Ｘ（ｎ＋１）の中間の位置にある内挿画像Ｘ（ｎ＋０．５）を生成する。タイムベース変換部１９は、入力画像Ｘ（ｎ）と内挿画像Ｘ（ｎ＋０．５）を１２０Ｈｚの速度で順に出力する。３次元表示モードでは、入力画像Ｘ（ｎ）は、そのまま左目画像Ｌ（ｎ）としてタイムベース変換部１９に出力される。画像生成部１８は、ベクトル選択部１７で選択された内挿ベクトルと視差ベクトルの和（Ｖ２＋Ｖ３）および入力画像Ｘ（ｎ）に基づき、時間軸上で内挿画像Ｘ（ｎ＋０．５）と同じ位置にある右目画像Ｒ（ｎ＋０．５）を生成する。タイムベース変換部１９は、左目画像Ｌ（ｎ）と右目画像Ｒ（ｎ＋０．５）を１２０Ｈｚの速度で順に出力する。
　このように画像生成部１８は、２次元表示モードでは１枚の入力画像Ｘ（ｎ）に対応して１枚の内挿画像Ｘ（ｎ＋０．５）を生成し、３次元表示モードでは１枚の入力画像Ｘ（ｎ）に対応して当該入力画像Ｘ（ｎ）（左目画像Ｌ（ｎ））と反対の目用の画像（右目画像Ｒ（ｎ＋０．５））を１枚生成する。これにより、画像処理装置１０は、２次元表示モードでは画像のフレームレートを２倍に変換する２倍速変換を実行し、３次元表示モードでは１枚の入力画像を１枚の左目画像と１枚の右目画像に変換する３次元変換を実行する。
　内挿ベクトルＶ２は、内挿画像Ｘ（ｎ＋０．５）の各ブロックを入力画像Ｘ（ｎ）のどこからコピーすべきかを示す。視差ベクトルＶ３は、右目画像Ｒ（ｎ）の各ブロックを左目画像Ｌ（ｎ）のどこからコピーすべきかを示す。内挿ベクトルと視差ベクトルの和（Ｖ２＋Ｖ３）は、時間軸上で内挿画像Ｘ（ｎ＋０．５）と同じ位置にある右目画像Ｒ（ｎ＋０．５）の各ブロックを入力画像Ｘ（ｎ）のどこからコピーすべきかを示す。したがって、画像生成部１８において内挿ベクトルと視差ベクトルの和（Ｖ２＋Ｖ３）および入力画像Ｘ（ｎ）に基づき、時間軸上で内挿画像Ｘ（ｎ＋０．５）と同じ位置にある右目画像Ｒ（ｎ＋０．５）を容易に生成することができる。
　図３は、画像処理装置１０で生成される右目画像の時間軸上の位置を示す図である。図３に示す画像では、白い物体の前を格子模様の球体が左へ移動している。図３の上段には、従来の画像処理装置９０（図１６）および画像処理装置１０における左目画像の時間軸上の位置が記載されている。図３の中段および下段には、それぞれ、従来の画像処理装置９０および画像処理装置１０で生成される右目画像の時間軸上の位置が記載されている。
　図３の上段および中段に示すように、従来の画像処理装置９０からは、第ｎフレームの位置にある左目画像Ｌ（ｎ）、第ｎフレームの位置にある右目画像Ｒ（ｎ）、第（ｎ＋１）フレームの位置にある左目画像Ｌ（ｎ＋１）、および、第（ｎ＋１）フレームの位置にある右目画像Ｒ（ｎ＋１）が順に出力される。このように従来の画像処理装置９０では、右目画像は時間軸上で左目画像と同じ位置に生成される。
　これに対して、図３の上段および下段に示すように、画像処理装置１０からは、第ｎフレームの位置にある左目画像Ｌ（ｎ）、第（ｎ＋０．５）フレームの位置にある右目画像Ｒ（ｎ＋０．５）、第（ｎ＋１）フレームの位置にある左目画像Ｌ（ｎ＋１）、および、第（ｎ＋１．５）フレームの位置にある右目画像Ｒ（ｎ＋１．５）が順に出力される。このように画像処理装置１０では、右目画像は時間軸上で２枚の左目画像の中間の位置に生成される。
　３次元表示を行うときには、左目画像と右目画像は交互に認識される。したがって、右目画像を生成すべき位置は、本来は、２枚の左目画像の中間の位置である。よって、右目画像を時間軸上で左目画像と同じ位置に生成するよりも、右目画像を時間軸上で２枚の左目画像の中間の位置に生成したほうが、動画表示のときの画質が高くなる。
　画像処理装置１０は、３次元表示モードでは、内挿ベクトルと視差ベクトルの和（Ｖ２＋Ｖ３）に基づき右目画像Ｒ（ｎ＋０．５）を生成する。すなわち、画像処理装置１０は、３次元表示モードでは、ベクトルを加算し、その結果を用いて画像を生成する。一方、ベクトルの加算を行うことなく、右目画像を時間軸上で２枚の左目画像の中間の位置に生成する方法として、右目画像を生成し、得られた右目画像に動き補償を適用する方法が考えられる。しかしながら、この方法には、画像生成のために新たなフレームメモリが必要となり、画像生成で遅延が発生するという問題がある。また、この方法には、右目画像を生成するときと右目画像に動き補償を適用するときの両方で、動きベクトルの誤検出による画質劣化が２重に発生し、画質が大幅に劣化するという問題もある。画像処理装置１０は画像生成の前にベクトルを加算するので、画像処理装置１０ではこれらの問題は発生しない。
　以上に示すように、本実施形態に係る画像処理装置１０では、動き補償によるフレームレート変換を実行するときには、内挿ベクトルＶ２はフレームメモリ１１、動きベクトル検出部１２および内挿ベクトル生成部１３を用いて生成され、内挿画像Ｘ（ｎ＋０．５）は画像生成部１８を用いて生成される。また、動きベクトルを用いた３次元変換を実行するときには、視差ベクトルＶ３はフレームメモリ１１、動きベクトル検出部１２、奥行き情報推定部１４および視差ベクトル生成部１５を用いて生成され、右目画像Ｒ（ｎ＋０．５）は画像生成部１８を用いて生成される。このように画像処理装置１０では、フレームレート変換と３次元変換は、同じフレームメモリ１１、同じ動きベクトル検出部１２、および、同じ画像生成部１８を用いて実行される。
　したがって、本実施形態に係る画像処理装置１０によれば、フレームレート変換と３次元変換で動きベクトル検出部、フレームメモリおよび画像生成部を共有することにより、少ない回路量でフレームメモリと３次元変換を選択的に実行することができる。
　また、本実施形態に係る画像処理装置１０は、内挿ベクトルＶ２と視差ベクトルＶ３を加算するベクトル加算部１６と、内挿ベクトルＶ２、および、ベクトル加算部１６で求めたベクトル（Ｖ２＋Ｖ３）のいずれかを選択するベクトル選択部１７を備えている。ベクトル加算部１６とベクトル選択部１７は、内挿ベクトル、および、内挿ベクトルと視差ベクトルの和のいずれかを出力するベクトル生成部として機能する。
　したがって、本実施形態に係る画像処理装置１０によれば、３次元表示用画像に含まれる右目画像（あるいは、左目画像）を時間軸上で動き補償による内挿位置に生成することにより、３次元変換を行いながら動画表示のときの画質を改善することができる。
　以下、奥行き情報推定部１４の詳細を説明する。図４は、奥行き情報推定部１４の詳細な構成を示すブロック図である。図４に示す奥行き情報推定部１４は、ベクトル情報解析部５１、輝度／色相変換部５２、動きブロック推定部５３、テロップ領域抽出部５４、静止文字抽出部５５、高域／低域判定部５６、輝度／色相判定部５７、および、奥行き情報生成部５８を含んでいる。
　まず、領域の分割について説明する。３次元表示用画像を正確に生成するためには、画像の奥行き情報を推定するときに、画像を背景領域とオブジェクト領域に正確に分割する必要がある。図５Ａおよび図５Ｂは、動画像の例を示す図である。図６Ａおよび図６Ｂは、それぞれ、これら２枚の画像の動きベクトルのヒストグラムを示す図である。
　図５Ａに示す画像６１では、背景は静止しており、物体（自動車）は背景の前を左へ移動している。図６Ａに示すヒストグラムでは、動き量が０となる付近に最大値があり、動き量がＭＶａとなる付近に極大値がある。このことから、画像６１では、背景の動き量は０で、物体の動き量はＭＶａであることが分かる。したがって、動き量が０に近いブロックを背景領域に、動き量がＭＶａに近いブロックをオブジェクト領域に分類することができる。
　図５Ｂに示す画像６２では、物体（自動車）は静止しており、物体の後方にある背景は右へ移動している。このような画像は、移動する物体をカメラで追跡したときに得られる。図６Ｂに示すヒストグラムでは、動き量がＭＶｂとなる付近に最大値があり、動き量が０となる付近に極大値がある。このことから、画像６２では、背景の動き量はＭＶｂで、物体の動き量は０であることが分かる。したがって、動き量がＭＶｂに近いブロックを背景領域に、動き量が０に近いブロックをオブジェクト領域に分類することができる。
　このように動きベクトルの大きさによってブロックを分類することにより、画像を背景領域とオブジェクト領域に正確に分割することができる。このような画像の領域分割を行うために、奥行き情報推定部１４は動きブロック推定部５３を含んでいる。
　次に、奥行きの推定方法について説明する。例えば図７に示す画像６３では、画像の上部や周辺部（斜線を付した部分）は背景である可能性が高い。そこで、奥行き情報推定部１４は、画像の領域分割によって求めたオブジェクトごとに、画面位置に応じた奥行き方向の順位付けを行う。これに加えて、奥行き情報推定部１４は、オブジェクトの面積、輝度／色相情報、および、高域／低域情報などに基づき、奥行き情報ＤＰを推定する。例えば、奥行き情報推定部１４は、オブジェクトの面積に基づき、画面の中央では面積が大きいオブジェクトは手前にあると推定し、画面の周辺では面積が大きいオブジェクトは奥にあると推定してもよい。また、奥行き情報推定部１４は、オブジェクトの輝度／色相情報に基づき、輝度が高い、あるいは、色相が原色に近いオブジェクトは手前にあると推定してもよい。また、背景はぼやけている場合が多いことを考慮して、奥行き情報推定部１４は、各オブジェクトの高域／低域情報に基づき、高域成分を多く含むオブジェクトは手前にあると推定してもよい。
　次に、画像内の文字の扱いについて説明する。図８は、文字を含む画像の例を示す図である。図８に示す画像６４は、静止文字６５とテロップ６６を含んでいる。文字を含む画像を３次元表示するときには、文字を他の部分から切り離し、常に同じ奥行き位置に表示することが好ましい。このような文字に対する処理を行うために、奥行き情報推定部１４は、テロップ領域抽出部５４と静止文字抽出部５５を含んでいる。
　奥行き情報推定部１４に含まれる各部は、以下の処理を行う。ベクトル情報解析部５１は、動きベクトル検出部１２で検出された動きベクトルＶ１に基づき、ベクトル統計情報ＳＴを生成する。ベクトル統計情報ＳＴには、例えば、動きベクトルＶ１のヒストグラム、平均値、分散値などが含まれる。輝度／色相変換部５２は、入力画像Ｘ（ｎ）を表す画像信号を輝度信号と色相信号に変換する。
　動きブロック推定部５３は、ベクトル統計情報ＳＴに基づきベクトルの大きさなどに応じて画像を領域に分割し、各オブジェクト領域の面積などを求める。テロップ領域抽出部５４は、ベクトル統計情報ＳＴに基づきテロップ領域を抽出し、テロップ領域の位置情報を出力する。例えば、水平方向に移動するテロップは、多くの場合、画像の下部に帯状に配置される。この点を考慮して、テロップ領域抽出部５４は、ほぼ同じ動きベクトルを有するブロックが画面の下部に帯状に分布している場合には、その部分をテロップ領域として抽出する。また、テロップ領域の中に同じ動きベクトルを持つ小ブロックが含まれている場合には、テロップ領域抽出部５４はその部分をテロップ文字領域として抽出する。静止文字抽出部５５は、ベクトル統計情報ＳＴ、および、輝度／色相変換部５２で求めた輝度信号に基づき、静止文字領域（例えば、番組のロゴマークなどを含む領域）を抽出し、静止文字の位置情報を出力する。
　高域／低域判定部５６は、動きブロック推定部５３、テロップ領域抽出部５４および静止文字抽出部５５で求めた情報（以下、３種類の情報という）に基づき、輝度／色相変換部５２で求めた輝度信号と色相信号についてブロックごとに高域成分と低域成分を求める。輝度／色相判定部５７は、３種類の情報に基づき、輝度／色相変換部５２で求めた輝度信号と色相信号について、ブロックごとに輝度の平均値や色相の平均値などを求める。奥行き情報生成部５８は、３種類の情報、高域／低域判定部５６で求めた高域／低域情報、および、輝度／色相判定部５７で求めた輝度／色相情報に基づき、各ブロックの奥行き優先度を決定し、奥行き情報ＤＰを出力する。
　なお、以上に述べた奥行き情報推定部１４の構成は一例にすぎない。奥行き情報推定部１４は、動きベクトルＶ１と入力画像Ｘ（ｎ）に基づき、任意の方法で入力画像Ｘ（ｎ）の奥行き情報ＤＰを推定してもよい。
　なお、本実施形態については、図９に示す変形例を構成することができる。図９に示す画像処理装置１００において、ベクトル選択部１０７は、２次元表示モードではゼロベクトル（図面では”０”と記載）を選択し、３次元表示モードでは視差ベクトル生成部１５で生成された視差ベクトルＶ３を選択する。ベクトル加算部１０６は、内挿ベクトル生成部１３で生成された内挿ベクトルＶ２とベクトル選択部１０７で選択されたベクトルの和を求める。画像処理装置１００では、ベクトル加算部１０６とベクトル選択部１０７は、内挿ベクトルおよび視差ベクトルに基づき、画像生成に使用するベクトルを表示モードに応じて求めるベクトル生成部として機能する。ベクトル生成部は、内挿ベクトル、および、内挿ベクトルと視差ベクトルの和のいずれかを出力する。画像処理装置１００は、画像処理装置１０と同様に動作し、同様の効果を奏する。
　（第２の実施形態）
　図１０は、本発明の第２の実施形態に係る画像処理装置の構成を示すブロック図である。図１０に示す画像処理装置２０は、第１の実施形態に係る画像処理装置１０（図１）からベクトル加算部１６を削除したものである。画像処理装置２０は、画像処理装置１０と同様に、例えば液晶表示装置１（図２）に内蔵して使用される。本実施形態の構成要素のうち第１の実施形態と同一のものについては、同一の参照符号を付して説明を省略する。
　本実施形態では、ベクトル選択部１７は、内挿ベクトルおよび視差ベクトルに基づき、画像生成に使用するベクトルを表示モードに応じて求めるベクトル生成部として機能する。より詳細には、ベクトル選択部１７は、モード選択信号ＭＳに従い、２次元表示モードでは内挿ベクトルＶ２を選択し、３次元表示モードでは視差ベクトルＶ３を選択する。
　画像生成部１８は、第１の実施形態と同様に動作する。ただし、画像生成部１８は、３次元表示モードでは、視差ベクトルＶ３および入力画像Ｘ（ｎ）に基づき、時間軸上で左目画像Ｌ（ｎ）と同じ位置に右目画像Ｒ（ｎ）を生成する。これにより、画像処理装置２０は、画像処理装置１０と同様に、２次元表示モードでは画像のフレームレートを２倍にする２倍速変換を実行し、３次元表示モードでは１枚の入力画像を１枚の左目画像と１枚の右目画像に変換する３次元変換を実行する。
　以上に示すように、本実施形態に係る画像処理装置２０では、動き補償によるフレームレート変換を実行するときには、内挿ベクトルＶ２はフレームメモリ１１、動きベクトル検出部１２および内挿ベクトル生成部１３を用いて生成され、内挿画像Ｘ（ｎ＋０．５）は画像生成部１８を用いて生成される。また、動きベクトルを用いた３次元変換を実行するときには、視差ベクトルＶ３はフレームメモリ１１、動きベクトル検出部１２、奥行き情報推定部１４および視差ベクトル生成部１５を用いて生成され、右目画像Ｒ（ｎ）は画像生成部１８を用いて生成される。このように画像処理装置２０では、フレームレート変換と３次元変換は、同じフレームメモリ１１、同じ動きベクトル検出部１２、および、同じ画像生成部１８を用いて実行される。
　したがって、本実施形態に係る画像処理装置２０によれば、フレームレート変換と３次元変換で動きベクトル検出部、フレームメモリおよび画像生成部を共有することにより、少ない回路量でフレームメモリと３次元変換を選択的に実行することができる。
　（第３の実施形態）
　図１１は、本発明の第３の実施形態に係る画像処理装置の構成を示すブロック図である。図１１に示す画像処理装置３０は、第１の実施形態に係る画像処理装置１０（図１）に視差調整部３１を追加したものである。画像処理装置３０は、画像処理装置１０と同様に、例えば液晶表示装置１（図２）に内蔵して使用される。本実施形態の構成要素のうち第１および第２の実施形態と同一のものについては、同一の参照符号を付して説明を省略する。
　本実施形態では、ベクトル加算部１６、ベクトル選択部１７および視差調整部３１は、内挿ベクトルおよび視差ベクトルに基づき、画像生成に使用するベクトルを表示モードに応じて求めるベクトル生成部として機能する。より詳細には、視差調整部３１は、視差ベクトル生成部１５の次段に設けられる。視差調整部３１には、視差ベクトル生成部１５で生成された視差ベクトルＶ３と、外部から与えられた調整情報ＡＤＪとが入力される。視差調整部３１は、調整情報ＡＤＪに従い視差ベクトルＶ３を変化させて、調整後の視差ベクトルＶ４を出力する。
　ベクトル加算部１６は、内挿ベクトルＶ２と調整後の視差ベクトルＶ４を加算する。ベクトル加算部１６で求めた内挿ベクトルと調整後の視差ベクトルの和（Ｖ２＋Ｖ４）は、ベクトル選択部１７に供給される。ベクトル選択部１７は、モード選択信号ＭＳに従い、２次元表示モードでは内挿ベクトルＶ２を選択し、３次元表示モードでは内挿ベクトルと調整後の視差ベクトルの和（Ｖ２＋Ｖ４）を選択する。
　画像生成部１８は、第１および第２の実施形態と同様に動作する。ただし、本実施形態に係る画像生成部１８は、３次元表示モードでは、内挿ベクトルと調整後の視差ベクトルの和（Ｖ２＋Ｖ４）および入力画像Ｘ（ｎ）に基づき、右目画像Ｒ（ｎ＋０．５）を生成する。これにより、画像処理装置３０は、画像処理装置１０、２０と同様に、２次元表示モードでは画像のフレームレートを２倍にする２倍速変換を実行し、３次元表示モードでは１枚の入力画像を１枚の左目画像と１枚の右目画像に変換する３次元変換を実行する。
　調整情報ＡＤＪは、３次元表示における飛び出し量と奥行き量の調整するための情報である。調整情報ＡＤＪは、例えば、画像処理装置３０の利用者によって指定される。例えば、視差調整部３１は、調整情報ＡＤＪに従いゲインを決定し、求めたゲインを視差ベクトルＶ３に乗算してもよい。これにより、視差ベクトルを容易に変化させて、３次元表示における飛び出し量を容易に一律に大きく（または、小さくする）することができる。
　あるいは、視差調整部３１は、調整情報ＡＤＪに従いオフセットを決定し、求めたオフセットを視差ベクトルＶ３に加算してもよい。これにより、視差ベクトルを容易に変化させて、３次元表示を行うときに飛び出しを重視するか、奥行きを重視するかを容易に切り替えることができる。
　あるいは、視差調整部３１は、調整情報ＡＤＪに従い視差ベクトルＶ３に対して画像内の位置によって異なる処理を行ってもよい。視差調整部３１は、調整情報ＡＤＪで指定されたゲインを画像のブロック単位で変化させて、視差ベクトルＶ３に乗算してもよい。これにより、画面内の位置によって好適に視差ベクトルを変化させて、３次元表示における飛び出し量を画面内の位置によって調整することができる。例えば、３次元表示を行うときに、画像の中央部では飛び出し量を大きくし、画像の周辺部では飛び出し量を小さくする処理を容易に行うことができる。
　図１２Ａ～図１２Ｃは、３次元表示用画像における視差と奥行きの関係を示す図である。図１２Ａには、通常時における視差と奥行きの関係が、左目画像（Ｌと記載）と右目画像（Ｒと記載）について記載されている。視差調整部３１において視差ベクトルＶ３にあるゲインを乗算した場合には、視差と奥行きの関係は図１２Ｂに示すようになる。この場合、視差は奥でも手前でも大きくなり、飛び出し量と奥行き量は共に大きくなる。また、視差調整部３１において視差ベクトルＶ３にあるオフセットを加算した場合には、視差と奥行きの関係は図１２Ｃに示すようになる。この場合、左目画像と右目画像が交差する基準面（奥行き量が０となる面）は、通常よりも手前になる。したがって、奥行きを重視した画像（飛び出し量を低減した画像）が得られる。
　以上に示すように、本実施形態に係る画像処理装置３０は、調整情報ＡＤＪに従い視差ベクトルＶ３を変化させる視差調整部３１と、内挿ベクトルＶ２と調整後の視差ベクトルＶ４を加算するベクトル加算部１６と、内挿ベクトルＶ２、および、ベクトル加算部１６で求めたベクトル（Ｖ２＋Ｖ４）のいずれかを選択するベクトル選択部１７を備えている。ベクトル加算部１６、ベクトル選択部１７および視差調整部３１は、内挿ベクトル、および、内挿ベクトルと調整後の視差ベクトルの和のいずれかを出力するベクトル生成部として機能する。
　したがって、本実施形態に係る画像処理装置３０によれば、第１および第２の実施形態と同様に、フレームレート変換と３次元変換で動き検出部、フレームメモリおよび画像生成部を共有することにより、少ない回路量でフレームレート変換と３次元変換を選択的に実行することができる。また、第１の実施形態と同様に、３次元表示用画像に含まれる右目画像（あるいは、左目画像）を時間軸上で動き補償による内挿位置に生成することにより、３次元変換を行いながら動画表示のときの画質を改善することができる。これに加えて、調整情報に従い視差ベクトルを変化させることにより、３次元表示における飛び出し量を容易に調整することができる。
　なお、本実施形態については、図１３に示す変形例を構成することができる。図１３に示す画像処理装置３００において、視差調整部３１は、調整情報ＡＤＪに従い、視差ベクトル生成部１５で生成された視差ベクトルＶ３を変化させる。ベクトル選択部１０７は、２次元表示モードではゼロベクトルを選択し、３次元表示モードでは視差調整部３１で求めた調整後のベクトルＶ４を選択する。ベクトル加算部１０６は、内挿ベクトル生成部１３で生成された内挿ベクトルＶ２とベクトル選択部１０７で選択されたベクトルの和を求める。画像処理装置３００では、視差調整部３１、ベクトル加算部１０６およびベクトル選択部１０７は、内挿ベクトルおよび視差ベクトルに基づき、画像生成に使用するベクトルを表示モードに応じて求めるベクトル生成部として機能する。画像処理装置３００は、画像処理装置３０と同様に動作し、同様の効果を奏する。
　また、以上の説明では、第１の実施形態に係る画像処理装置１０に視差調整部３１を追加することとしたが、第２の実施形態に係る画像処理装置２０に視差調整部３１を追加してもよい（図１４を参照）。図１４に示す画像処理装置３１０において、視差調整部３１は、調整情報ＡＤＪに従い、視差ベクトル生成部１５で生成された視差ベクトルＶ３を変化させる。ベクトル選択部１７は、２次元表示モードでは内挿ベクトル生成部１３で生成された内挿ベクトルＶ２を選択し、３次元表示モードでは視差調整部３１で求めた調整後のベクトルＶ４を選択する。画像処理装置３１０では、視差調整部３１とベクトル選択部１７は、内挿ベクトルおよび視差ベクトルに基づき、画像生成に使用するベクトルを表示モードに応じて求めるベクトル生成部として機能する。
　図１４に示す画像処理装置３１０によれば、第２の実施形態と同様に、フレームレート変換と３次元変換で動き検出部、フレームメモリおよび画像生成部を共有することにより、少ない回路量でフレームレート変換と３次元変換を選択的に実行することができる。これに加えて、調整情報に従い視差ベクトルを変化させることにより、３次元表示における飛び出し量を容易に調整することができる。
　また、以上の説明では、第１～第３の実施形態に係る画像処理装置は、２次元表示モードでは画像のフレームレートを２倍にする２倍速変換を実行し、３次元表示モードでは１枚の入力画像を１枚の左目画像と１枚の右目画像に変換する３次元変換を実行することとした。本発明の画像処理装置は、２次元表示モードでは画像のフレームレートを２ｍ倍（ｍは２以上の整数）にする２ｍ倍速変換を実行し、３次元表示モードでは１枚の入力画像をｍ枚の左目画像とｍ枚の右目画像に変換する３次元変換を実行してもよい。
　例えば、第１の実施形態に係る画像処理装置１０において、２ｍ倍速変換とこれに対応した３次元変換を選択的に実行する場合について説明する。この場合、内挿ベクトル生成部１３は、１枚の入力画像に対応して（２ｍ－１）個の内挿ベクトルＶ２を生成する。視差ベクトル生成部１５は、３次元表示モードで右目画像を生成するときには視差ベクトルＶ３を出力し、それ以外のときにはゼロベクトルを出力する。ベクトル選択部１７は、１枚の入力画像に対応して（２ｍ－１）回の選択を行う。ベクトル選択部１７は、２次元表示モードでは内挿ベクトルＶ２を選択し、３次元表示モードで左目画像を生成するときにも内挿ベクトルＶ２を選択し、３次元表示モードで右目画像を生成するときには内挿ベクトルと視差ベクトルの和（Ｖ２＋Ｖ３）を選択する。画像生成部１８は、２次元表示モードでは（２ｍ－１）個の内挿ベクトルＶ２と入力画像に基づき（２ｍ－１）枚の内挿画像を順に生成し、３次元表示モードでは、ベクトル選択部１７で選択された（２ｍ－１）個のベクトルと入力画像に基づき当該入力画像と同じ目用の画像を（ｍ－１）枚、反対の目用の画像をｍ枚生成する。これにより、２次元表示モードでは画像のフレームレートを２ｍ倍にする２ｍ倍速変換を実行し、３次元表示モードでは１枚の入力画像をｍ枚の左目画像とｍ枚の右目画像に変換する３次元変換を実行することができる。
　例えば、画像処理装置１０において４倍速変換とこれに対応した３次元変換を選択的に実行する場合には、内挿ベクトル生成部１３は、１枚の入力画像に対応して３個の内挿ベクトルＶ２を生成する。ベクトル選択部１７は、１枚の入力画像に対応して３回の選択を行う。画像生成部１８は、２次元表示モードでは３個の内挿ベクトルＶ２と入力画像に基づき３枚の内挿画像を順に生成し、３次元表示モードでは、ベクトル選択部１７で選択された３個のベクトルと入力画像に基づき左目画像を１枚、右目画像を２枚生成する。
　３次元表示用眼鏡が２倍速駆動に対応している場合には、ベクトル選択部１７は、３次元表示モードで３回の選択を行うときに、内挿ベクトルＶ２を１回選択した後に、内挿ベクトルと視差ベクトルの和（Ｖ２＋Ｖ３）を２回続けて選択する。この場合、画像処理装置１０は、１枚の入力画像Ｘ（ｎ）に対応して、フレームｎの位置にある左目画像Ｌ（ｎ）、フレーム（ｎ＋０．２５）の位置にある左目画像Ｌ（ｎ＋０．２５）、フレーム（ｎ＋０．５）の位置にある右目画像Ｒ（ｎ＋０．５）、および、フレーム（ｎ＋０．７５）の位置にある右目画像Ｒ（ｎ＋０．７５）を順に出力する。
　３次元表示用眼鏡が４倍速駆動に対応している場合には、ベクトル選択部１７は、３次元表示モードで３回の選択を行うときに、始めに内挿ベクトルと視差ベクトルの和（Ｖ２＋Ｖ３）を１回選択し、次に内挿ベクトルＶ２を１回選択し、最後に内挿ベクトルと視差ベクトルの和（Ｖ２＋Ｖ３）をもう１回選択する。この場合、画像処理装置１０は、３次元表示モードでは、１枚の入力画像Ｘ（ｎ）に対応して、フレームｎの位置にある左目画像Ｌ（ｎ）、フレーム（ｎ＋０．２５）の位置にある右目画像Ｒ（ｎ＋０．２５）、フレーム（ｎ＋０．５）の位置にある左目画像Ｌ（ｎ＋０．５）、および、フレーム（ｎ＋０．７５）の位置にある右目画像Ｒ（ｎ＋０．７５）を順に出力する。
　第１～第３の実施形態およびその変形例に係る画像処理装置に静止画を表す画像信号Ｘｉｎが入力された場合には、動きベクトル検出部１２で検出される動きベクトルＶ１はゼロベクトルとなり、内挿ベクトル生成部１３で検出される内挿ベクトルＶ２もゼロベクトルとなる。したがって、２次元表示モードでは、画像生成部１８で生成される内挿画像は入力画像に一致する。一方、奥行き情報推定部１４は、ゼロベクトルである動きベクトルＶ１と入力画像に基づき奥行き情報ＤＰを推定する。このときに視差ベクトル生成部１５で生成される視差ベクトルＶ３は、一般にゼロベクトルではない。したがって、３次元表示モードでは、画像生成部１８で生成される右目画像は一般に左目画像と一致しない。よって、第１～第３の実施形態およびその変形例に係る画像処理装置に３次元表示モードで静止画が入力された場合には、これらの画像処理装置からは左目画像と右目画像が異なる３次元表示用画像が出力される。
　以上に示すように、本発明の画像処理装置、画像処理方法、画像表示装置および画像表示方法によれば、フレームレート変換と３次元変換で動きベクトル検出部、フレームメモリおよび画像生成部を共有することにより、少ない回路量でフレームレート変換と３次元変換を選択的に実行することができる。
　なお、少ない回路量でフレームレート変換と３次元変換を選択的に実行する方法として、図１５に示す画像処理装置を使用する方法がある。図１５に示す画像処理装置４０は、第１の実施形態に係る画像処理装置１０（図１）から、奥行き情報推定部１４、視差ベクトル生成部１５およびベクトル加算部１６を削除したものである。画像処理装置４０は、画像処理装置１０と同様に、例えば液晶表示装置１（図２）に内蔵して使用される。
　画像処理装置４０には外部から、画像信号Ｘｉｎと３次元変換に必要な視差ベクトルＶ３とが入力される。フレームメモリ１１、動きベクトル検出部１２、および、内挿ベクトル生成部１３は、第１の実施形態と同様に動作する。ベクトル選択部１７は、モード選択信号ＭＳに従い、２次元表示モードでは内挿ベクトル生成部１３で生成された内挿ベクトルＶ２を選択し、３次元表示モードでは外部から入力された視差ベクトルＶ３を選択する。画像生成部１８とタイムベース変換部１９も、第１の実施形態と同様に動作する。ただし、画像処理装置４０に含まれる画像生成部１８は、３次元表示モードでは外部から入力された視差ベクトルＶ３および入力画像Ｘ（ｎ）に基づき、右目画像Ｒ（ｎ）を生成する。これにより、画像処理装置４０は、画像処理装置１０、２０、３０と同様に、２次元表示モードでは画像のフレームレートを２倍にする２倍速変換を実行し、３次元表示モードでは１枚の入力画像を１枚の左目画像と１枚の右目画像に変換する３次元変換を実行する。
　以上のように構成された画像処理装置４０によれば、フレームレート変換と３次元変換で画像生成部を共有することにより、少ない回路量でフレームレート変換と３次元変換を選択的に実行することができる。このような画像処理装置４０は、例えば、フレームレート変換ＬＳＩに、内部で生成した内挿ベクトルに代えて外部から入力したベクトルに基づき画像を生成する機能を追加することにより、実現することができる。
　本発明の画像処理装置、画像処理方法、画像表示装置および画像表示方法は、、少ない回路量でフレームレート変換と３次元変換を選択的に実行できるという特徴を有するので、フレームレート変換と３次元変換を選択的に実行する各種の画像処理装置、画像処理方法、画像表示装置および画像表示方法に利用することができる。
　１…液晶表示装置
　２…タイミング制御回路
　３…走査信号線駆動回路
　４…データ信号線駆動回路
　５…液晶パネル
　６…画素回路
　１０、２０、３０、１００、３００、３１０…画像処理装置
　１１…フレームメモリ
　１２…動きベクトル検出部
　１３…内挿ベクトル生成部
　１４…奥行き情報推定部
　１５…視差ベクトル生成部
　１６、１０６…ベクトル加算部
　１７、１０７…ベクトル選択部
　１８…画像生成部
　１９…タイムベース変換部
　３１…視差調整部

Claims (16)

  1. 　フレームレート変換と３次元変換を選択的に実行する画像処理装置であって、
    　入力画像の動きベクトルを検出する動きベクトル検出部と、
    　前記動きベクトルに基づき、フレームレート変換に必要な内挿ベクトルを生成する内挿ベクトル生成部と、
    　前記動きベクトルおよび前記入力画像に基づき、前記入力画像の奥行き情報を推定する奥行き情報推定部と、
    　前記奥行き情報に基づき、３次元変換に必要な視差ベクトルを生成する視差ベクトル生成部と、
    　前記内挿ベクトルおよび前記視差ベクトルに基づき、画像生成に用いるベクトルを表示モードに応じて求めるベクトル生成部と、
    　前記ベクトル生成部で求めたベクトルおよび前記入力画像に基づき、前記入力画像と共に出力する画像を生成する画像生成部とを備え、
    　２次元表示モードでは、前記入力画像は原画像として出力され、前記画像生成部は内挿画像を生成し、３次元表示モードでは、前記入力画像は３次元表示用画像に含まれる左目画像および右目画像のいずれかとして出力され、前記画像生成部は前記３次元表示用画像に含まれる他の画像を生成することを特徴とする、画像処理装置。
  2. 　前記ベクトル生成部は、前記内挿ベクトル、および、前記内挿ベクトルと前記視差ベクトルの和のいずれかを出力することを特徴とする、請求項１に記載の画像処理装置。
  3. 　前記ベクトル生成部は、
    　　前記内挿ベクトルと前記視差ベクトルを加算するベクトル加算部と、
    　　前記内挿ベクトル、および、前記ベクトル加算器で求めたベクトルのいずれかを選択するベクトル選択部とを含むことを特徴とする、請求項２に記載の画像処理装置。
  4. 　前記ベクトル生成部は、前記内挿ベクトルおよび前記視差ベクトルのいずれかを選択するベクトル選択部を含むことを特徴とする、請求項１に記載の画像処理装置。
  5. 　前記ベクトル生成部は、与えられた調整情報に従い前記視差ベクトルを変化させる視差調整部を含むことを特徴とする、請求項１に記載の画像処理装置。
  6. 　前記ベクトル生成部は、前記内挿ベクトル、および、前記内挿ベクトルと前記視差調整部で求めたベクトルの和のいずれかを出力することを特徴とする、請求項５に記載の画像処理装置。
  7. 　前記ベクトル生成部は、
    　　前記内挿ベクトルと前記視差調整部で求めたベクトルを加算するベクトル加算部と、
    　　前記内挿ベクトル、および、前記ベクトル加算器で求めたベクトルのいずれかを選択するベクトル選択部とをさらに含むことを特徴とする、請求項６に記載の画像処理装置。
  8. 　前記ベクトル生成部は、前記内挿ベクトル、および、前記視差調整部で求めたベクトルのいずれかを選択するベクトル選択部をさらに含むことを特徴とする、請求項５に記載の画像処理装置。
  9. 　前記視差調整部は、前記調整情報に従い前記視差ベクトルにゲインを乗算することを特徴とする、請求項５に記載の画像処理装置。
  10. 　前記視差調整部は、前記調整情報に従い前記視差ベクトルにオフセットを加算することを特徴とする、請求項５に記載の画像処理装置。
  11. 　前記視差調整部は、前記調整情報に従い、前記視差ベクトルに対して画像内の位置に応じて異なる処理を行うことを特徴とする、請求項５に記載の画像処理装置。
  12. 　前記画像生成部は、２次元表示モードでは１枚の入力画像に対応して１枚の内挿画像を生成し、３次元表示モードでは１枚の入力画像に対応して当該入力画像と反対の目用の画像を１枚生成することを特徴とする、請求項１に記載の画像処理装置。
  13. 　前記画像生成部は、２次元表示モードでは１枚の入力画像に対応して（２ｍ－１）枚（ｍは２以上の整数）の内挿画像を生成し、３次元表示モードでは１枚の入力画像に対応して当該入力画像と同じ目用の画像を（ｍ－１）枚、反対の目用の画像をｍ枚生成することを特徴とする、請求項１に記載の画像処理装置。
  14. 　フレームレート変換と３次元変換を選択的に実行する画像処理方法であって、
    　入力画像の動きベクトルを検出するステップと、
    　前記動きベクトルに基づき、フレームレート変換に必要な内挿ベクトルを生成するステップと、
    　前記動きベクトルおよび前記入力画像に基づき、前記入力画像の奥行き情報を推定するステップと、
    　前記奥行き情報に基づき、３次元変換に必要な視差ベクトルを生成するステップと、
    　前記内挿ベクトルおよび前記視差ベクトルに基づき、画像生成に用いるベクトルを表示モードに応じて求めるステップと、
    　前記画像生成に用いるベクトルおよび前記入力画像に基づき、前記入力画像と共に出力する画像を生成するステップとを備え、
    　２次元表示モードでは、前記入力画像は原画像として出力され、前記画像を生成するステップでは内挿画像を生成し、３次元表示モードでは、前記入力画像は３次元表示用画像に含まれる左目画像および右目画像のいずれかとして出力され、前記画像を生成するステップでは前記３次元表示用画像に含まれる他の画像を生成することを特徴とする、画像処理方法。
  15. 　フレームレート変換と３次元変換を選択的に実行して画像を表示する画像表示装置であって、
    　表示パネルと、
    　入力画像に対してフレームレート変換と３次元変換を選択的に実行する画像処理部と、
    　前記画像処理部から出力された画像を表示するように前記表示パネルを駆動する駆動回路とを備え、
    　前記画像処理部は、
    　　前記入力画像の動きベクトルを検出する動きベクトル検出部と、
    　　前記動きベクトルに基づき、フレームレート変換に必要な内挿ベクトルを生成する内挿ベクトル生成部と、
    　　前記動きベクトルおよび前記入力画像に基づき、前記入力画像の奥行き情報を推定する奥行き情報推定部と、
    　　前記奥行き情報に基づき、３次元変換に必要な視差ベクトルを生成する視差ベクトル生成部と、
    　　前記内挿ベクトルおよび前記視差ベクトルに基づき、画像生成に用いるベクトルを表示モードに応じて求めるベクトル生成部と
    　　前記ベクトル生成部で求めたベクトルおよび前記入力画像に基づき、前記入力画像と共に出力する画像を生成する画像生成部とを含み、
    　　２次元表示モードでは、前記入力画像は原画像として出力され、前記画像生成部は内挿画像を生成し、３次元表示モードでは、前記入力画像は３次元表示用画像に含まれる左目画像および右目画像のいずれかとして出力され、前記画像生成部は前記３次元表示用画像に含まれる他の画像を生成することを特徴とする、画像表示装置。
  16. 　フレームレート変換と３次元変換を選択的に実行して画像を表示する画像表示方法であって、
    　入力画像の動きベクトルを検出するステップと、
    　前記動きベクトルに基づき、フレームレート変換に必要な内挿ベクトルを生成するステップと、
    　前記動きベクトルおよび前記入力画像に基づき、前記入力画像の奥行き情報を推定するステップと、
    　前記奥行き情報に基づき、３次元変換に必要な視差ベクトルを生成するステップと、
    　前記内挿ベクトルおよび前記視差ベクトルに基づき、画像生成に用いるベクトルを表示モードに応じて求めるステップと、
    　前記画像生成に用いるベクトルおよび前記入力画像に基づき、前記入力画像と共に出力する画像を生成するステップと、
    　前記入力画像および前記画像を生成するステップで生成された画像を表示するよう表示パネルを駆動するステップとを備え、
    　２次元表示モードでは、前記入力画像は原画像として表示され、前記画像を生成するステップでは内挿画像を生成し、３次元表示モードでは、前記入力画像は３次元表示用画像に含まれる左目画像および右目画像のいずれかとして表示され、前記画像を生成するステップでは前記３次元表示用画像に含まれる他の画像を生成することを特徴とする、画像表示方法。
PCT/JP2012/050421 2011-01-19 2012-01-12 画像処理装置および方法、画像表示装置および方法 WO2012098972A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011008405 2011-01-19
JP2011-008405 2011-01-19

Publications (1)

Publication Number Publication Date
WO2012098972A1 true WO2012098972A1 (ja) 2012-07-26

Family

ID=46515602

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/050421 WO2012098972A1 (ja) 2011-01-19 2012-01-12 画像処理装置および方法、画像表示装置および方法

Country Status (1)

Country Link
WO (1) WO2012098972A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261828A (ja) * 1999-03-04 2000-09-22 Toshiba Corp 立体映像生成方法
JP2006091412A (ja) * 2004-09-24 2006-04-06 Victor Co Of Japan Ltd 画像処理装置
JP2010011184A (ja) * 2008-06-27 2010-01-14 Toshiba Corp 映像信号処理装置及びテレビジョン受信装置及びその制御方法
JP2011039475A (ja) * 2009-07-16 2011-02-24 Victor Co Of Japan Ltd 画像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000261828A (ja) * 1999-03-04 2000-09-22 Toshiba Corp 立体映像生成方法
JP2006091412A (ja) * 2004-09-24 2006-04-06 Victor Co Of Japan Ltd 画像処理装置
JP2010011184A (ja) * 2008-06-27 2010-01-14 Toshiba Corp 映像信号処理装置及びテレビジョン受信装置及びその制御方法
JP2011039475A (ja) * 2009-07-16 2011-02-24 Victor Co Of Japan Ltd 画像表示装置

Similar Documents

Publication Publication Date Title
EP2276267A2 (en) Image signal processing apparatus and image display
US8803947B2 (en) Apparatus and method for generating extrapolated view
US8610707B2 (en) Three-dimensional imaging system and method
KR101856805B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 프로그램
US10115207B2 (en) Stereoscopic image processing method and apparatus thereof
JP2001320731A (ja) ２次元映像を３次元映像に変換する装置及びその方法
EP2161687B1 (en) Video signal processing device, video signal processing method, and video signal processing program
JP5521608B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2012098974A1 (ja) 画像処理装置および方法、画像表示装置および方法
US8385430B2 (en) Video signal processing apparatus and video signal processing method
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
JP5127973B1 (ja) 映像処理装置、映像処理方法および映像表示装置
US20120268562A1 (en) Image processing module and image processing method thereof for 2d/3d images conversion and frame rate conversion
WO2012098972A1 (ja) 画像処理装置および方法、画像表示装置および方法
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
US9330487B2 (en) Apparatus and method for processing 3D images through adjustment of depth and viewing angle
TWI410120B (zh) 三維成像系統及方法
KR102547085B1 (ko) 영상 처리 방법 및 이를 이용한 표시 장치
WO2012014489A1 (ja) 映像信号処理装置及び映像信号処理方法
US8941647B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
CN102857772A (zh) 影像处理方法以及影像处理装置
JP2011066507A (ja) 画像処理装置
JP2013187777A (ja) 多視点映像フレーム内挿装置、方法及びプログラム
JPH1198527A (ja) ２次元映像を３次元映像に変換する装置および方法
JP5490252B2 (ja) 立体画像処理装置、立体画像表示装置及び立体画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12736416

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12736416

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP