WO2014013804A1 - 画像処理装置及び画像処理方法、並びに画像表示装置 - Google Patents

画像処理装置及び画像処理方法、並びに画像表示装置 Download PDF

Info

Publication number
WO2014013804A1
WO2014013804A1 PCT/JP2013/065333 JP2013065333W WO2014013804A1 WO 2014013804 A1 WO2014013804 A1 WO 2014013804A1 JP 2013065333 W JP2013065333 W JP 2013065333W WO 2014013804 A1 WO2014013804 A1 WO 2014013804A1
Authority
WO
WIPO (PCT)
Prior art keywords
gain
image
parallax
iir
unit
Prior art date
Application number
PCT/JP2013/065333
Other languages
English (en)
French (fr)
Inventor
亨 西
オリバー エルドラー
ヤルチン インシィウ
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2014013804A1 publication Critical patent/WO2014013804A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the technology disclosed in the present specification relates to an image processing device and an image processing method for processing a three-dimensional image, and an image display device, and more particularly, to an image processing device and an image for correcting parallax information between a left image and a right image.
  • the present invention relates to a processing method and an image display device.
  • the parallax between the left image and the right image corresponds to a coordinate value in a three-dimensional space.
  • the disparity information is necessary, for example, at the time of double speed conversion or when generating an interpolated image in a multi-viewpoint image.
  • a corresponding pixel between the left image and the right image is generally searched by a block matching method (see, for example, Patent Documents 1 to 3).
  • the parallax is calculated from the left and right images using a block matching method or the like, as shown in FIG. 14A, the parallax is not correlated in the vertical direction (although it is a single object) Or, many discontinuous phenomena occur.
  • an interpolated image is generated using the parallax whose vertical correlation has been lost in this way as shown in FIG. 14B, the object is divided as if the object is cut off at the portion where the correlation is lost.
  • JP-A-8-280026 Japanese Patent Laid-Open No. 11-252585 JP 2008-21163 A
  • An object of the technology disclosed in the present specification is to provide an excellent image processing apparatus and image processing method capable of preferably correcting parallax information whose vertical correlation is lost when calculated by a block matching method or the like. And providing an image display device.
  • An IIR processing adjustment unit that adjusts the intensity of the IIR processing based on whether the pixel is within the boundary portion of the object or within the object;
  • An IIR processing unit that corrects the parallax by performing IIR processing in the vertical direction based on the intensity adjusted by the IIR processing adjustment unit; Is an image processing apparatus.
  • the IIR processing adjustment unit of the image processing apparatus suppresses the intensity of the IIR processing for pixels at the boundary portion of the object, It is configured to increase the intensity of IIR processing for a pixel.
  • the IIR processing adjustment unit of the image processing apparatus is configured such that each pixel is a boundary of an object based on the original image and the initial parallax calculated from the original image. It is configured to determine if it is within a part or object.
  • the IIR processing adjustment unit of the image processing apparatus is configured such that the pixel is in the boundary portion of the object or in the object based on the horizontal dispersion value of the original image.
  • a variance detector that determines whether the pixel is within the object boundary or within the object based on the vertical gap of the parallax and determines the second gain
  • a gain determining unit that determines the final gain by integrating the first gain and the second gain.
  • the IIR processing unit is configured to obtain a final parallax by weighting and mixing the initial parallax and the parallax after the initial parallax is IIR-processed based on the final gain.
  • the variance detection unit of the image processing apparatus is configured to calculate the average value in the two-dimensional area of the original image and the absolute value sum of the differences in the two-dimensional area. Is calculated, and the first gain having a large value is given to the pixels having the dispersion value exceeding the first predetermined value.
  • the vertical gap detection unit of the image processing apparatus is a vertical composed of a sum of absolute values of differences in the vertical direction of initial parallax in a two-dimensional region. A gap value is obtained, and the second gain having a large value is given to a pixel whose vertical gap value exceeds a second predetermined value.
  • the gain determination unit of the image processing apparatus calculates the maximum value of the first gain and the second gain as a representative gain, Further, a process for assigning a correlation in the vertical direction is further performed on the representative gain to determine a final gain.
  • the gain determination unit of the image processing device uses the maximum change amount of gain as a reference step, and multiplies the representative gain by the reference step.
  • the final gain is calculated by adding or subtracting the values in the vertical direction.
  • the technique according to claim 9 of the present application is An IIR processing adjustment step for adjusting the intensity of the IIR processing based on whether the pixel is within the boundary of the object or within the object; An IIR processing step for correcting the parallax by applying the IIR processing in the vertical direction based on the intensity adjusted by the IIR processing adjustment step; Is an image processing method.
  • the technique according to claim 10 of the present application is An initial parallax generator for generating initial parallax from the original image; A parallax correction unit that corrects the initial parallax by performing IIR processing in a vertical direction while adjusting the intensity of IIR processing based on whether the pixel is within the boundary of the object or within the object; An interpolated image generating unit that generates an interpolated image for interpolating the original image based on the corrected parallax; An image integration unit for integrating the original image and the interpolation image; A display unit for displaying an original image or an image after integration by the image integration unit; The image display apparatus which comprises.
  • the intensity of IIR processing in the vertical direction of the parallax calculated by the block matching method or the like is switched, and the IIR processing in the vertical direction is suppressed with respect to the parallax of the boundary portion of the object.
  • the IIR process is executed to correct the vertical correlation lost during the parallax calculation. Therefore, it is possible to generate a more natural interpolation frame that improves the half-cut phenomenon using the corrected parallax.
  • FIG. 1 is a diagram schematically illustrating a functional configuration of an image display apparatus 100 to which the technology disclosed in this specification can be applied.
  • FIG. 2 is a block diagram showing a functional configuration for performing processing for increasing the frame rate or increasing the number of viewpoints in the video signal processing unit 120.
  • FIG. 3 is a diagram illustrating an internal configuration of the interpolation frame generation unit 202.
  • FIG. 4 is a diagram illustrating an internal configuration of the parallax correction unit 304.
  • FIG. 5 is a diagram illustrating an internal configuration of the IIR processing adjustment unit 410.
  • FIG. 6 is a diagram illustrating an internal configuration of the dispersion detection unit 501.
  • FIG. 7 is a diagram for explaining a method of calculating the variance value VAR in the variance value calculation unit 601.
  • FIG. 1 is a diagram schematically illustrating a functional configuration of an image display apparatus 100 to which the technology disclosed in this specification can be applied.
  • FIG. 2 is a block diagram showing a functional configuration for performing processing for increasing
  • FIG. 8 is a diagram illustrating a function introduced by the gain setting unit 602 for setting the first gain Gain1.
  • FIG. 9 is a diagram illustrating an internal configuration of the vertical gap detection unit 502.
  • FIG. 10 is a diagram for explaining a method of calculating the vertical gap value Vgap in the vertical gap value calculation unit 901.
  • FIG. 11 is a diagram illustrating a function introduced by the gain setting unit 902 for setting the second gain Gain2.
  • FIG. 12 is a diagram showing how the gain determining unit 503 calculates the final gain New Gain in the vertical line direction.
  • FIG. 13 is a diagram illustrating how the phase of parallax after passing through the IIR filter 421 is corrected.
  • FIG. 14 is a diagram illustrating a parallax that has no correlation in the vertical direction and an image frame interpolated based on the parallax.
  • FIG. 15 is a diagram illustrating a parallax in which the vertical correlation is corrected by applying an IIR filter in the vertical direction and an image frame interpolated based on the corrected parallax.
  • FIG. 1 schematically shows a functional configuration of an image display apparatus 100 to which the technology disclosed in this specification can be applied.
  • the illustrated image display apparatus 100 receives, for example, a 3D video signal composed of a left image and a right image, performs high frame rate processing or multi-viewpoint processing as necessary, and spatially or multi-viewpoint images. Multiple times are displayed on the screen. The viewer can observe the image three-dimensionally using shutter glasses or polarized glasses (both not shown) or with the naked eye.
  • the image display device 100 includes a video display unit 110, a video signal processing unit 120, and a timing control unit 140.
  • the video signal processing unit 120 When the video signal processing unit 120 receives the transmission of the video signal from the external device of the video signal processing unit 120, the video signal processing unit 120 executes various signal processing so as to be suitable for video display in the video display unit 110 and outputs it.
  • the “external device” serving as the transmission source of the video signal mentioned here may include a digital broadcast receiver and a content playback device such as a Blu-ray disc player.
  • image quality correction processing such as enhancement of image sharpness and contrast improvement is performed.
  • an interpolation frame for interpolating between standard frames at the time of increasing the frame rate or an interpolation frame for interpolating viewpoint images for multi-viewpoint generation is generated. . Processing related to the generation of the interpolation frame will be described later.
  • the video signal processed by the video signal processing unit 120 is input to the timing control unit 140.
  • the timing control unit 140 converts the input image signal D L for the left eye and the image signal D R for the right eye into signals to be input to the video display unit 110, and from the gate driver 113 and the data driver 114.
  • a pulse signal used for the operation of the panel driving circuit is generated.
  • the video display unit 110 displays a video corresponding to a signal applied from the outside.
  • the video display unit 110 includes a display panel 112, a gate driver 113, a data driver 114, and a light source 115.
  • the gate driver 113 is a drive circuit that generates a signal for driving sequentially, and to the gate bus line connected to each pixel in the display panel 112 according to the signal transmitted from the timing control unit 140.
  • the drive voltage is output.
  • the data driver 114 is a drive circuit that outputs a drive voltage based on the video signal, and is applied to the data line based on the signal transmitted from the timing control unit 140 and the video signal output from the video signal processing unit 120. Generate and output signals.
  • the display panel 112 has a plurality of pixels arranged in a grid, for example.
  • liquid crystal molecules having a predetermined alignment state are sealed between transparent plates such as glass, and an image is displayed according to the application of a signal from the outside.
  • the application of signals to the display panel 112 is executed by the gate driver 113 and the data driver 114.
  • the light source 115 is a backlight provided at the back of the video display unit 110 when viewed from the viewer side.
  • non-polarized white light is emitted from the light source 115 to the display panel 112 located on the viewer side.
  • one pixel is formed by cells of a plurality of color components, such as OLED (Organic Light Emitting Diode) and LED (Light Emitting Diode), and a plurality of pixels are sequentially arranged in the horizontal and vertical directions.
  • OLED Organic Light Emitting Diode
  • LED Light Emitting Diode
  • FIG. 2 shows a functional block diagram for performing processing for increasing the frame rate or increasing the number of viewpoints in the video signal processing unit 120.
  • the image input unit 201 inputs a video signal composed of a time series of image frames.
  • a three-dimensional image signal including a left image and a right image is input.
  • the interpolation frame generation unit 202 generates an interpolation frame for high frame rate or multi-viewpoint from the input image frame.
  • the image integration unit 203 inserts the interpolation frame generated by the interpolation frame generation unit 202 into the original image frame to generate a high frame rate image signal or a multi-viewpoint image signal.
  • FIG. 3 shows an internal configuration of the interpolation frame generation unit 202.
  • the left image frame memory 301 and the right image frame memory 311 store the left image and the right image of the input three-dimensional image signal, respectively.
  • the initial parallax calculation unit 302 When the initial parallax calculation unit 302 reads out the temporally corresponding left image and right image from the left image frame memory 301 and the right image frame memory 311, respectively, the initial parallax calculation unit 302 uses the left image as a reference by the block matching method. The initial parallax is calculated and written in the parallax memory 303. Similarly, the initial parallax calculation unit 312 calculates the initial parallax based on the right image by the block matching method, and writes it in the parallax memory 313.
  • the parallax correction unit 304 performs processing for correcting the vertical correlation with respect to the initial parallax based on the left image
  • the parallax correction unit 314 performs processing for correcting the initial parallax based on the right image. To do.
  • the frame generation unit 305 shifts the left image frame read from the left image frame memory 301 in the horizontal direction for each pixel based on the corrected parallax of the left image, and generates an interpolation frame of the left image. Generate. Also, the frame generation unit 315 shifts the right image frame read from the right image frame memory 311 horizontally for each pixel based on the corrected right image reference parallax to generate an interpolation frame.
  • the interpolation frame of the left image and the right image is sequentially output from the image output unit 306 to the image integration unit 203.
  • the parallax correction unit 304 switches the intensity of the IIR process in the vertical direction of the parallax, suppresses the IIR process in the vertical direction for the parallax of the boundary portion of the object, and actually performs the parallax within the object.
  • the IIR process is executed when the above change occurs. That is, since the parallax correction unit 304 corrects the vertical correlation lost during parallax calculation, the parallax correction unit 304 can generate a more natural interpolation frame with improved half-cut phenomenon using the corrected parallax.
  • FIG. 4 shows the internal configuration of the parallax correction unit 304.
  • the parallax correction unit 304 includes an IIR processing adjustment unit 410 and an IIR processing unit 420.
  • the IIR processing adjustment unit 410 adjusts the intensity when performing the IIR processing on the parallax in each pixel based on whether the pixel is in the boundary portion of the object or inside the object. More specifically, the IIR processing adjustment unit 410 suppresses the intensity of IIR processing for the pixels in the boundary portion of the object, and increases the intensity of IIR processing for the pixels in the object.
  • the IIR processing unit 420 corrects the initial parallax calculated by the initial parallax calculation unit 302 by performing IIR processing in the vertical direction based on the intensity adjusted by the IIR processing adjustment unit 410.
  • the IIR filter 421 performs simple IIR filter processing in the vertical direction of the input initial parallax, and further corrects the phase shifted by IIR (see FIG. 13). The correction of the phase can be realized by adjusting the read timing from the memory.
  • the mixing unit 422 mixes the parallax after passing through the IIR filter 421 and the initial parallax based on the final gain determined by the IIR processing adjustment unit 410 to obtain the final parallax.
  • the IIR processing adjustment unit 410 receives the image signal input to the video signal processing unit 120 and the parallax calculated from the input image signal by the initial parallax calculation unit 302, and each pixel is within the boundary portion of the object or inside the object. The final gain is calculated based on the determination result.
  • FIG. 5 shows an internal configuration of the IIR processing adjustment unit 410.
  • the illustrated IIR processing adjustment unit 410 includes a dispersion detection unit 501, a vertical gap detection unit 502, and a gain determination unit 503.
  • the dispersion detection unit 501 determines whether the pixel is in the boundary part of the object or in the object based on the horizontal dispersion value of the input image frame, and determines the first gain Gain1.
  • FIG. 6 shows the internal configuration of the dispersion detection unit 501.
  • the illustrated dispersion detection unit 501 includes a dispersion value calculation unit 601 and a gain setting unit 602.
  • the variance value calculation unit 601 calculates a variance value VAR composed of the average value in the two-dimensional area of the input image and the absolute value sum of the differences in the two-dimensional area.
  • FIG. 7 illustrates a method for calculating the variance value VAR in the variance value calculation unit 601. Also, the formula for calculating the variance value VAR in the variance value calculation unit 601 is shown in the following formula (1).
  • the variance value calculation unit 601 has two horizontal lines of the y-th row and the (y ⁇ 1) -th row and x columns.
  • An average value AVE of pixel values is obtained in accordance with the following equation (2) within a two-dimensional region having a range of ⁇ search pixels in the horizontal direction centering on the eyes. Then, the pixel values f (x + k, y) and f (x + k, y ⁇ 1) and the average value AVE of the pixels (x + k, y) and (x + k, y ⁇ 1) at each horizontal pixel position x + k in the two-dimensional region The absolute value of the difference
  • the gain setting unit 602 assumes that the pixel portion with the large variance value VAR in the horizontal direction corresponds to the object, and the pixel portion with the small variance value VAR corresponds to the background, as shown in FIG.
  • a first gain corresponding to the variance value VAR calculated by the variance value calculation unit 601 is introduced by introducing a function that gives a first gain Gain1 having a large value for a pixel whose value VAR exceeds the first predetermined value core1. Gain1 is output.
  • the vertical gap detection unit 502 determines whether the pixel is in the boundary portion of the object or in the object based on the vertical gap of the parallax calculated from the input image, and determines the second gain Gain2.
  • FIG. 9 shows the internal configuration of the vertical gap detector 502.
  • the illustrated vertical gap detection unit 502 includes a vertical gap value calculation unit 901 and a gain setting unit 902.
  • the vertical gap value calculation unit 901 calculates the absolute value of the vertical difference of the initial parallax d and adds it in the two-dimensional area.
  • FIG. 10 illustrates a method of calculating the vertical gap value Vgap in the vertical gap value calculation unit 901. Also, the calculation formula of the vertical gap value Vgap in the vertical gap value calculation unit 901 is shown in the following formula (3).
  • the vertical gap value calculation unit 901 is vertical within a range of ⁇ search pixels in the horizontal direction around the pixel of interest (x, y).
  • the gain setting unit 902 assumes that a pixel portion having a large vertical gap value Vgap corresponds to an object, and a pixel portion having a small vertical gap value Vgap corresponds to a background, as shown in FIG.
  • a function that gives a second gain Gain2 having a large value for a pixel whose value Vgap exceeds the second predetermined value core2 a second value corresponding to the vertical gap value Vgap calculated by the vertical gap value calculator 901 is introduced.
  • the gain Gain2 is output.
  • the gain determination unit 503 determines the final gain by integrating the first gain and the second gain. First, the gain determination unit 503 obtains the maximum value of the first gain Gain1 and the second gain Gain2 as the representative gain Gain as shown in the following equation (4) (however, when the image signal is 8 bits).
  • the gain determination unit 503 further processes the representative gain Gain so as to give a correlation to the parallax in the vertical direction, and determines the final gain New Gain.
  • the gain determination unit 503 sets the maximum gain change amount as a reference step Base Step including a constant parameter value. Then, a step for each line is obtained by multiplying the calculated representative gain by the reference step Base Step, and a final gain New Gain is calculated by adding or subtracting in the vertical direction.
  • the pixel signal is 8 bits
  • the Base Step is added to the next line when the gain calculated on a certain line is 256, and the Base Step is subtracted from the next line when the gain is 0.
  • the gain is 128, by adding 0, addition to the next line is not performed. That is, (Gain ⁇ 128) ⁇ Base Step is added to the next line.
  • FIG. 12 shows how the gain determining unit 503 calculates the final gain New Gain in the vertical line direction.
  • the mixing unit 422 inputs the final gain New Gain calculated by the IIR processing adjustment unit 410.
  • the mixing unit 422 performs final mixing by weighting and mixing the initial parallax d and the parallax disp after passing through the IIR filter 421 based on the final gain determined by the IIR processing adjustment unit 410.
  • the parallax disparity ′ is obtained.
  • Formula (5) for the final parallax disparity ′ is shown below.
  • the parallax correction unit 304 switches the intensity of the IIR processing with respect to the vertical direction of the parallax calculated by the block matching method or the like, and the vertical direction with respect to the parallax of the boundary portion of the object.
  • An IIR processing adjustment unit that adjusts the intensity of IIR processing based on whether a pixel is in the boundary portion of the object or within the object, and the parallax in the vertical direction based on the intensity adjusted by the IIR processing adjustment unit
  • An image processing apparatus comprising: an IIR processing unit that performs correction by performing IIR processing.
  • the image processing apparatus determines whether each pixel is in a boundary portion of the object or in the object based on the original image and the initial parallax calculated from the original image. .
  • the IIR processing adjustment unit is configured to determine whether the pixel is within the boundary portion of the object or within the object based on the horizontal dispersion value of the original image, and determine a first gain;
  • a vertical gap detector that determines whether the pixel is within the boundary of the object or within the object based on the vertical gap of the first and a second gain, and integrates the first gain and the second gain
  • a gain determining unit that determines a final gain, and the IIR processing unit weights and mixes the initial parallax and the parallax after the initial parallax is IIR-processed based on the final gain.
  • the image processing apparatus wherein parallax is obtained.
  • the variance detection unit calculates a variance value composed of the average value in the two-dimensional area of the original image and the absolute value sum of the differences in the two-dimensional area, and sets the variance value to pixels that exceed the first predetermined value.
  • the image processing apparatus according to (4), wherein the first gain having a large value is provided.
  • the vertical gap detection unit obtains a vertical gap value that is a sum of absolute values of differences in the vertical direction of the initial parallax in the two-dimensional region, and for pixels whose vertical gap value exceeds the second predetermined value.
  • the image processing apparatus according to (4), wherein the second gain having a large value is provided.
  • the gain determination unit obtains the maximum value of the first gain and the second gain as a representative gain, and further performs processing for adding a correlation in the vertical direction to the parallax with respect to the representative gain.
  • the gain determination unit calculates a final gain by using a maximum gain change amount as a reference step, and adding or subtracting a value obtained by multiplying the representative gain by the reference step in a vertical direction, ).
  • An IIR processing adjustment step for adjusting the intensity of IIR processing based on whether the pixel is in the boundary portion of the object or within the object, and the parallax in the vertical direction based on the intensity adjusted by the IIR processing adjustment step An IIR processing step of performing correction by performing IIR processing.
  • An initial parallax generation unit that generates an initial parallax from the original image and a vertical direction with respect to the initial parallax while adjusting the intensity of IIR processing based on whether the pixel is in the boundary portion of the object or in the object
  • a parallax correction unit that performs correction by performing IIR processing
  • an interpolation image generation unit that generates an interpolation image that interpolates the original image based on the corrected parallax
  • an image integration unit that integrates the original image and the interpolation image
  • An image display device comprising: a display unit configured to display an image or an image after the image integration unit is integrated.
  • the technique disclosed in this specification can be applied to correction of parallax calculated by the block matching method, for example, at the time of double speed conversion or when generating an interpolated image in a multi-viewpoint image. The same can be applied when the half-cut phenomenon occurs in the calculated parallax.
  • image processing in the embodiment described in this specification can be performed by either hardware or software.
  • processing is realized by software, a computer program in which processing procedures in the software are described in a computer-readable format may be installed and executed on a predetermined computer.
  • DESCRIPTION OF SYMBOLS 100 ... Display apparatus 110 ... Video display part 112 ... Liquid crystal panel 113 ... Gate driver, 114 ... Data driver 115 ... Light source 120 ... Video signal processing part 140 ... Timing control part 201 ... Image input part, 202 ... Interpolation frame production
  • parallax correction unit (right image reference) 305 ... Frame generation unit (left image reference), 315 ... Frame generation unit (right image reference) 306: Image output unit 410 ... IIR processing adjustment unit 420 ... IIR processing unit 421 ... IIR filter, 422 ... Mixing unit 501 ... Dispersion detection unit, 502 ... Vertical gap detection unit, 503 ... Gain determination unit 601 ... Dispersion value calculation unit, 602: Gain setting unit 901: Vertical gap value calculation unit, 902: Gain setting unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　ブロック・マッチング法などにより算出した際に垂直方向の相関が失われた視差情報を補正する。　ＩＩＲ処理調整部４１０は、物体の境界部分の画素に対してＩＩＲ処理の強度を抑制し、物体内の画素に対してＩＩＲ処理の強度を大きくするよう、最終ゲインを算出する。ＩＩＲフィルター４２１は、入力された初期視差の垂直方向に対して単純なＩＩＲフィルター処理を行ない、さらにＩＩＲによりずれた位相を補正する。混合部４２２は、ＩＩＲフィルター４２１を通過した後の視差と初期視差を、最終ゲインに基づいて混合して、最終的な視差を得る。

Description

画像処理装置及び画像処理方法、並びに画像表示装置
　本明細書で開示する技術は、３次元画像を処理する画像処理装置及び画像処理方法、並びに画像表示装置に係り、特に、左画像と右画像間の視差の情報を補正する画像処理装置及び画像処理方法、並びに画像表示装置に関する。
　最近、左画像と右画像を多重して表示し、観察者に立体視させる３次元表示システムが普及してきている。ここで、左画像と右画像間の視差は、３次元空間における座標値に相当する。視差情報は、例えば倍速変換時や多視点画像における補間画像を生成する際に必要となる。視差を得るには、例えばブロック・マッチング法により左画像と右画像間の対応画素を探索するのが一般的である（例えば、特許文献１～３を参照のこと）。
　ところが、ブロック・マッチング法などを利用して左右画像から視差を算出する場合、図１４（Ａ）に示すように、（１つのオブジェクトであるにも拘らず）上下方向で視差に相関のない、若しくは不連続となる現象が多々発生する。このように上下方向の相関が失われた視差をそのまま用いて補間画像を生成すると、図１４（Ｂ）に示すように、相関がなくなった部分でオブジェクトが腹切りしたように分断されてしまうという異常を生じる。
特開平８－２８００２６号公報 特開平１１－２５２５８５号公報 特開２００８－２１１６３号公報
　本明細書で開示する技術の目的は、ブロック・マッチング法などにより算出した際に垂直方向の相関が失われた視差の情報を好適に補正することができる、優れた画像処理装置及び画像処理方法、並びに画像表示装置を提供することにある。
　本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
　画素が物体の境界部分又は物体内であるかに基づいてＩＩＲ処理の強度を調整するＩＩＲ処理調整部と、
　前記ＩＩＲ処理調整部により調整された強度に基づいて、視差を垂直方向にＩＩＲ処理をかけて補正するＩＩＲ処理部と、
を具備する画像処理装置である。
　本願の請求項２に記載の技術によれば、請求項１に記載の画像処理装置の前記ＩＩＲ処理調整部は、物体の境界部分の画素に対してＩＩＲ処理の強度を抑制し、物体内の画素に対してＩＩＲ処理の強度を大きくするように構成されている。
　本願の請求項３に記載の技術によれば、請求項１に記載の画像処理装置の前記ＩＩＲ処理調整部は、元画像と元画像から算出した初期視差に基づいて、各画素が物体の境界部分又は物体内であるかを判定するように構成されている。
　本願の請求項４に記載の技術によれば、請求項１に記載の画像処理装置の前記ＩＩＲ処理調整部は、元画像の水平方向の分散値に基づいて画素が物体の境界部分又は物体内であるかを判定して第１のゲインを決定する分散検出部と、視差の垂直方向のギャップに基づいて画素が物体の境界部分又は物体内であるかを判定して第２のゲインを決定する垂直ギャップ検出部と、前記第１のゲインと前記第２のゲインを統合して最終ゲインを決定するゲイン決定部を備えている。そして、前記ＩＩＲ処理部は、初期視差と、初期視差をＩＩＲ処理した後の視差とを、前記最終ゲインに基づいて重み付けして混合し、最終的な視差を得るように構成されている。
　本願の請求項５に記載の技術によれば、請求項４に記載の画像処理装置の前記分散検出部は、元画像の２次元領域内における平均値と２次元領域内の差分の絶対値和からなる分散値を算出し、分散値が第１の所定値を超える画素に対して大きな値からなる前記第１のゲインを与えるように構成されている。
　本願の請求項６に記載の技術によれば、請求項４に記載の画像処理装置の前記垂直ギャップ検出部は、２次元領域内における初期視差の垂直方向の差分の絶対値の合計からなる垂直ギャップ値を求め、垂直ギャップ値が第２の所定値を超える画素に対して大きな値からなる前記第２のゲインを与えるように構成されている。
　本願の請求項７に記載の技術によれば、請求項４に記載の画像処理装置の前記ゲイン決定部は、前記第１のゲインと前記第２のゲインの最大値を代表ゲインとして求め、視差に垂直方向に相関を付与するための処理をさらに前記代表ゲインに対して処理を施して最終ゲインを決定するように構成されている。
　本願の請求項８に記載の技術によれば、請求項５に記載の画像処理装置の前記ゲイン決定部は、ゲインの最大の変化量を基準ステップとし、前記代表ゲインに前記基準ステップを乗算した値を垂直方向に加算又は減算して、最終ゲインを算出するように構成されている。
　また、本願の請求項９に記載の技術は、
　画素が物体の境界部分又は物体内であるかに基づいてＩＩＲ処理の強度を調整するＩＩＲ処理調整ステップと、
　前記ＩＩＲ処理調整ステップにより調整された強度に基づいて、視差を垂直方向にＩＩＲ処理をかけて補正するＩＩＲ処理ステップと、
を有する画像処理方法である。
　また、本願の請求項１０に記載の技術は、
　元画像から初期視差を生成する初期視差生成部と、
　画素が物体の境界部分又は物体内であるかに基づいてＩＩＲ処理の強度を調整しながら、前記初期視差に対して垂直方向にＩＩＲ処理をかけて補正する視差補正部と、
　補正後の視差に基づいて、元画像を補間する補間画像を生成する補間画像生成部と、
　元画像と補間画像を統合する画像統合部と、
　元画像又は前記画像統合部が統合した後の画像を表示する表示部と、
を具備する画像表示装置である。
　本明細書で開示する技術によれば、ブロック・マッチング法などにより算出した際に垂直方向の相関が失われた視差情報を好適に補正して、より自然な補間フレームを生成することができる、優れた画像処理装置及び画像処理方法、並びに画像表示装置を提供することができる。
　本明細書で開示する技術によれば、ブロック・マッチング法などにより算出した視差の垂直方向に対するＩＩＲ処理の強度を切り替え、物体の境界部分の視差に対しては垂直方向のＩＩＲ処理を抑制し、実際に物体内で視差の変化が起きているときにはＩＩＲ処理を実行することで、視差算出時に失われた上下方向の相関を補正することができる。したがって、補正後の視差を用いて、腹切り現象を改善した、より自然な補間フレームを生成することができる。
　本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、本明細書で開示する技術を適用可能な画像表示装置１００の機能的構成を模式的に示した図である。 図２は、映像信号処理部１２０内でハイフレームレート化又は多視点化のための処理を行なう機能的構成を示したブロック図である。 図３は、補間フレーム生成部２０２の内部構成を示した図である。 図４は、視差補正部３０４の内部構成を示した図である。 図５は、ＩＩＲ処理調整部４１０の内部構成を示した図である。 図６は、分散検出部５０１の内部構成を示した図である。 図７は、分散値計算部６０１における分散値ＶＡＲの計算方法を説明するための図である。 図８は、ゲイン設定部６０２が第１のゲインＧａｉｎ１設定用に導入する関数を示した図である。 図９は、垂直ギャップ検出部５０２の内部構成を示した図である。 図１０は、垂直ギャップ値計算部９０１における垂直ギャップ値Ｖｇａｐの計算方法を説明するための図である。 図１１は、ゲイン設定部９０２が第２のゲインＧａｉｎ２設定用に導入する関数を示した図である。 図１２は、ゲイン決定部５０３で垂直ライン方向に最終ゲインＮｅｗ　Ｇａｉｎを算出する様子を示した図である。 図１３は、ＩＩＲフィルター４２１を通過した後の視差の位相を補正する様子を示した図である。 図１４は、上下方向で相関がなくなった視差と、この視差に基づいて補間した画像フレームを示した図である。 図１５は、垂直方向にＩＩＲフィルターをかけて上下方向の相関を補正した視差と、補正後の視差に基づいて補間した画像フレームを示した図である。
　以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
　図１には、本明細書で開示する技術を適用可能な画像表示装置１００の機能的構成を模式的に示している。図示の画像表示装置１００は、例えば左画像と右画像からなる３次元映像信号を入力し、必要に応じてハイフレームレート化又は多視点化の処理を行ない、複数の視点の画像を空間的又は時間的に多重して画面に表示する。視聴者は、シャッター眼鏡や偏光眼鏡（いずれも図示しない）を用い、あるいは裸眼で画像を３次元的に観察することができる。
　画像表示装置１００は、映像表示部１１０と、映像信号処理部１２０と、タイミング制御部１４０を備えている。
　映像信号処理部１２０は、映像信号処理部１２０の外部機器からの映像信号の伝送を受けると、映像表示部１１０における映像表示に適したものとなるように各種信号処理を実行して出力する。なお、ここで言う、映像信号の伝送元となる「外部機器」には、ディジタル放送の受信機や、ブルーレイ・ディスク・プレイヤーなどのコンテンツ再生装置を挙げることができる。
　映像信号処理部１２０内では、例えば画像の鮮鋭度のエンハンスやコントラスト改善などの画質補正処理が行なわれる。また、本実施形態では、映像信号処理部１２０内で、ハイフレームレート化の際に標準フレーム間を補間する補間フレーム、又は、多視点化のための視点画像を補間する補間フレームの生成を行なう。補間フレームの生成に関する処理については後述に譲る。
　タイミング制御部１４０には、映像信号処理部１２０で処理後の映像信号が入力される。タイミング制御部１４０は、入力された左眼用画像信号ＤL及び右眼用画像信号ＤRを映像表示部１１０へ入力するための信号に変換するとともに、ゲート・ドライバー１１３及びデータ・ドライバー１１４からなるパネル駆動回路の動作に用いられるパルス信号を生成する。
　映像表示部１１０は、外部から印加された信号に応じた映像の表示を行なう。映像表示部１１０は、表示パネル１１２と、ゲート・ドライバー１１３と、データ・ドライバー１１４と、光源１１５を備えている。
　ゲート・ドライバー１１３は、順次駆動するための信号を生成する駆動回路であり、タイミング制御部１４０から伝送された信号に応じて、表示パネル１１２内の各画素に接続されたゲート・バス・ラインへ、駆動電圧を出力する。また、データ・ドライバー１１４は、映像信号に基づく駆動電圧を出力する駆動回路であり、タイミング制御部１４０から伝送された信号並びに映像信号処理部１２０から出力された映像信号に基づいてデータ線へ印加する信号を生成して出力する。
　表示パネル１１２は、例えば格子状に配列された複数の画素を有する。液晶表示パネルの場合、ガラスなどの透明板の間に所定の配向状態を有する液晶分子が封入されており、外部からの信号の印加に応じて画像を表示する。上述したように、表示パネル１１２への信号の印加はゲート・ドライバー１１３及びデータ・ドライバー１１４によって実行される。
　光源１１５は、視聴者側から見て映像表示部１１０の一番奥に設けられるバックライトである。映像表示部１１０に画像を表示する際、光源１１５からは無偏光の白色光が視聴者側に位置する表示パネル１１２に出射される。
　なお、本明細書では、映像表示部１１０として液晶ディスプレイを用いた実施形態について記載するが、本明細書で開示する技術の要旨はこれに限定されるものではない。例えばＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）やＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）など、複数の色成分のセルによって１つの画素を形成し、複数の画素を水平方向及び垂直方向に順次配置して構成される、他のディスプレイにも同様に本発明を適用することができる。
　図２には、映像信号処理部１２０内で、ハイフレームレート化又は多視点化のための処理を行なう機能ブロック図を示している。
　画像入力部２０１は、画像フレームの時間系列からなる映像信号を入力する。本実施形態では、左画像及び右画像からなる３次元画像信号が入力されるものとする。
　補間フレーム生成部２０２は、入力された画像フレームから、ハイフレームレート化又は多視点化のための補間フレームを生成する。
　画像統合部２０３は、元の画像フレームに、補間フレーム生成部２０２で生成された補間フレームを挿入して、ハイフレームレート画像信号又は多視点画像信号を生成する。
　図３には、補間フレーム生成部２０２の内部構成を示している。
　左画像用フレーム・メモリー３０１並びに右画像用フレーム・メモリー３１１は、入力された３次元画像信号の左画像、右画像をそれぞれ記憶する。
　初期視差算出部３０２は、時間的に対応する左画像、右画像をそれぞれ左画像用フレーム・メモリー３０１、右画像用フレーム・メモリー３１１から読み出すと、ブロック・マッチング法により、左画像を基準とした初期視差を算出して、視差メモリー３０３に書き込む。同様に、初期視差算出部３１２は、ブロック・マッチング法により、右画像を基準とした初期視差を算出して、視差メモリー３１３に書き込む。
　ここで、ブロック・マッチング法により初期視差を算出する場合、図１４（Ａ）に示したように、上下方向で視差に相関のない、若しくは不連続となる現象が多々発生する。このように上下方向の相関が失われた初期視差をそのまま用いて補間フレームの生成を行なうと、図１４（Ｂ）に示したように、相関がなくなった部分でオブジェクトが腹切りしたように分断されてしまうという異常を生じる。
　そこで、本実施形態では、視差補正部３０４が左画像基準の初期視差に対して垂直方向の相関を補正する処理を行ない、また、視差補正部３１４が右画像基準の初期視差に対して補正処理を行なうようにしている。
　そして、フレーム生成部３０５は、左画像用フレーム・メモリー３０１から読み出した左画像フレームを、補正後の左画像基準の視差に基づいて画素毎に水平方向にシフトして、左画像の補間フレームを生成する。また、フレーム生成部３１５は、右画像用フレーム・メモリー３１１から読み出した右画像フレームを、補正後の右画像基準の視差に基づいて画素毎に水平方向にシフトして、補間フレームを生成する。
　その後、左画像並びに右画像の補間フレームが、画像出力部３０６から画像統合部２０３へ順次出力される。
　続いて、視差補正部３０４で左画像基準の初期視差に対して実施する補正処理について説明する。視差補正部３１４は、右画像基準の初期視差に対して同様の補正処理を実施するので、以下では説明を省略する。
　ブロック・マッチング法により算出した初期視差の上下方向の連続性を保持する単純な方法は、垂直方向に空間ＩＩＲ（Ｉｎｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ：無限インパルス応答）フィルターをかけることが想定される。しかしながら、単純に垂直方向にＩＩＲフィルターをかけてしまうと、フィルターの位相が下へシフトし、上下の相関が実際に存在するかしないかを判別しない。このため、本来は上下の視差の相関がないことが正しいときにもＩＩＲフィルターをかけて、図１５（Ａ）に示すように、本来はない上下の相関を視差に付与してしまうことになる。このような視差を用いて、例えば裸眼３Ｄ映像表示のための補間フレームを生成すると、図１５（Ｂ）に示すように、物体が曲がってしまう現象が発生する。
　そこで、本実施形態では、視差補正部３０４は、視差の垂直方向に対するＩＩＲ処理の強度を切り替え、物体の境界部分の視差に対しては垂直方向のＩＩＲ処理を抑制し、実際に物体内で視差の変化が起きているときにはＩＩＲ処理を実行するようにしている。すなわち、視差補正部３０４は、視差算出時に失われた上下方向の相関を補正するので、補正後の視差を用いて、腹切り現象を改善した、より自然な補間フレームを生成することができる。
　図４には、視差補正部３０４の内部構成を示している。図示の通り、視差補正部３０４は、ＩＩＲ処理調整部４１０と、ＩＩＲ処理部４２０を備えている。
　ＩＩＲ処理調整部４１０は、画素が物体の境界部分又は物体内であるかに基づいて、各画素において視差をＩＩＲ処理する際の強度を調整する。より具体的には、ＩＩＲ処理調整部４１０は、物体の境界部分の画素に対してＩＩＲ処理の強度を抑制し、物体内の画素に対してＩＩＲ処理の強度を大きくする。
　また、ＩＩＲ処理部４２０は、ＩＩＲ処理調整部４１０により調整された強度に基づいて、初期視差算出部３０２が算出した初期視差を垂直方向にＩＩＲ処理をかけて、補正を行なう。ＩＩＲ処理部４２０内では、ＩＩＲフィルター４２１が、入力された初期視差の垂直方向に対して単純なＩＩＲフィルター処理を行ない、さらにＩＩＲによりずれた位相を補正する（図１３を参照のこと）。位相の補正は、メモリーからの読み出しタイミングを調整することで実現することができる。そして、混合部４２２は、ＩＩＲフィルター４２１を通過した後の視差と初期視差を、ＩＩＲ処理調整部４１０が決定した最終ゲインに基づいて混合して、最終的な視差を得る。
　ＩＩＲ処理調整部４１０は、映像信号処理部１２０に入力された画像信号と、初期視差算出部３０２が入力画像信号から算出した視差を入力して、各画素が物体の境界部分又は物体内であるかを判定し、判定結果に基づいて最終ゲインを算出する。図５には、ＩＩＲ処理調整部４１０の内部構成を示している。図示のＩＩＲ処理調整部４１０は、分散検出部５０１と、垂直ギャップ検出部５０２と、ゲイン決定部５０３を備えている。
　分散検出部５０１は、入力した画像フレームの水平方向の分散値に基づいて、画素が物体の境界部分又は物体内であるかを判定して第１のゲインＧａｉｎ１を決定する。
　図６には、分散検出部５０１の内部構成を示している。図示の分散検出部５０１は、分散値計算部６０１と、ゲイン設定部６０２を備えている。
　分散値計算部６０１は、入力画像の２次元領域内における平均値と２次元領域内の差分の絶対値和からなる分散値ＶＡＲを算出する。図７には、分散値計算部６０１における分散値ＶＡＲの計算方法を図解している。また、分散値計算部６０１における分散値ＶＡＲの計算式を下式（１）に示す。着目画素（ｘ，ｙ）における入力画素値をｆ（ｘ，ｙ）とおくと、分散値計算部６０１は、ｙ行目及び（ｙ－１）行目の２水平ラインで、且つ、ｘ列目を中心として水平方向に±ｓｅａｒｃｈ画素を範囲とする２次元領域内で、下式（２）に従って画素値の平均値ＡＶＥを求める。そして、２次元領域内の各水平画素位置ｘ＋ｋにおける画素（ｘ＋ｋ，ｙ）、（ｘ＋ｋ，ｙ－１）の画素値ｆ（ｘ＋ｋ，ｙ）、ｆ（ｘ＋ｋ，ｙ－１）と平均値ＡＶＥとの差分の絶対値｜ｆ（ｘ＋ｋ，ｙ）－ＡＶＥ｜＋｜ｆ（ｘ＋ｋ，ｙ－１）－ＡＶＥ｜の合計をとって、これを２次元領域内の水平方向の分散値ＶＡＲとする。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　そして、ゲイン設定部６０２は、水平方向の分散値ＶＡＲの大きな画素部分は物体に相当し、分散値ＶＡＲの小さな画素部分は背景に相当するという想定の下で、図８に示すように、分散値ＶＡＲが第１の所定値ｃｏｒｅ１を超える画素に対して大きな値からなる第１のゲインＧａｉｎ１を与える関数を導入して、分散値計算部６０１が算出した分散値ＶＡＲに応じた第１のゲインＧａｉｎ１を出力する。
　また、垂直ギャップ検出部５０２は、入力画像から算出した視差の垂直方向のギャップに基づいて、画素が物体の境界部分又は物体内であるかを判定して第２のゲインＧａｉｎ２を決定する。
　図９には、垂直ギャップ検出部５０２の内部構成を示している。図示の垂直ギャップ検出部５０２は、垂直ギャップ値計算部９０１と、ゲイン設定部９０２を備えている。
　垂直ギャップ値計算部９０１は、初期視差ｄの垂直方向の差分の絶対値を計算し、それを２次元領域内で加算する。図１０には、垂直ギャップ値計算部９０１における垂直ギャップ値Ｖｇａｐの計算方法を図解している。また、垂直ギャップ値計算部９０１における垂直ギャップ値Ｖｇａｐの計算式を下式（３）に示す。着目画素（ｘ，ｙ）における初期視差をｄ（ｘ，ｙ）とおくと、垂直ギャップ値計算部９０１は、着目画素（ｘ，ｙ）を中心として水平方向に±ｓｅａｒｃｈ画素の範囲で、垂直方向の視差の差分の絶対値｜ｄ（ｘ＋ｋ，ｙ）－ｄ（ｘ＋ｋ，ｙ－１）｜を計算し、その結果を加算して、これを２次元領域内の垂直ギャップ値Ｖｇａｐとする。
Figure JPOXMLDOC01-appb-M000003
　そして、ゲイン設定部９０２は、垂直ギャップ値Ｖｇａｐの大きな画素部分は物体に相当し、垂直ギャップ値Ｖｇａｐの小さな画素部分は背景に相当するという想定の下で、図１１に示すように、垂直ギャップ値Ｖｇａｐが第２の所定値ｃｏｒｅ２を超える画素に対して大きな値からなる第２のゲインＧａｉｎ２を与える関数を導入して、垂直ギャップ値計算部９０１が算出した垂直ギャップ値Ｖｇａｐに応じた第２のゲインＧａｉｎ２を出力する。
　そして、ゲイン決定部５０３は、第１のゲインと第２のゲインを統合して最終ゲインを決定する。ゲイン決定部５０３は、まず、下式（４）に示すように、第１のゲインＧａｉｎ１と第２のゲインＧａｉｎ２の最大値を代表ゲインＧａｉｎとして求める（但し、画像信号が８ビットの場合）。
Figure JPOXMLDOC01-appb-M000004
　ＩＩＲ処理部４２０内の混合部４２２が、この代表ゲインＧａｉｎをそのまま用いて初期視差とＩＩＲフィルター４２１を通過した視差とを混合すると、依然として、視差が垂直方向に相関がなくなる事態が発生する。そこで、ゲイン決定部５０３は、視差に垂直方向に相関を付与するように、代表ゲインＧａｉｎに対しさらに処理を施して、最終ゲインＮｅｗ　Ｇａｉｎを決定する。
　ゲイン決定部５０３は、最終ゲインＮｅｗ　Ｇａｉｎを決定するに際し、ゲインの最大の変化量を、一定のパラメーター値からなる基準ステップＢａｓｅ　Ｓｔｅｐとして設定する。そして、算出した代表ゲインに基準ステップＢａｓｅ　Ｓｔｅｐを乗算することによりライン毎のステップを求め、垂直方向に加算又は減算して、最終ゲインＮｅｗ　Ｇａｉｎを算出する。画素信号が８ビットの場合、あるラインで算出されたゲインが２５６のときにはＢａｓｅ　Ｓｔｅｐ分を次のラインに加算し、ゲインが０のときにはＢａｓｅ　Ｓｔｅｐ分を次のラインに減算する。また、ゲインが１２８のときには０をかけることにより、次のラインへの加算は行なわない。つまり、（Ｇａｉｎ－１２８）×Ｂａｓｅ　Ｓｔｅｐを次のラインに加算する。図１２には、ゲイン決定部５０３で垂直ライン方向に最終ゲインＮｅｗ　Ｇａｉｎを算出する様子を示している。
　混合部４２２は、ＩＩＲ処理調整部４１０が算出した最終ゲインＮｅｗ　Ｇａｉｎを入力する。ここで、最終ゲインＮｅｗ　Ｇａｉｎに応じてＩＩＲの帰還率を単純にコントロールすると、位相シフトが帰還率によって変わってしまうため、問題が起きる。そこで、本実施形態では、混合部４２２は、初期視差ｄとＩＩＲフィルター４２１を通過した後の視差ｄｉｓｐを、ＩＩＲ処理調整部４１０が決定した最終ゲインに基づいて重み付け混合することにより、最終的な視差ｄｉｓｐａｒｉｔｙ´を得る。最終的な視差ｄｉｓｐａｒｉｔｙ´の計算式（５）を以下に示しておく。
　このように、本実施形態によれば、視差補正部３０４は、ブロック・マッチング法などにより算出した視差の垂直方向に対するＩＩＲ処理の強度を切り替え、物体の境界部分の視差に対しては垂直方向のＩＩＲ処理を抑制し、実際に物体内で視差の変化が起きているときにはＩＩＲ処理を実行することで、視差算出時に失われた上下方向の相関を補正することができる。したがって、補正後の視差を用いて、腹切り現象を改善した、より自然な補間フレームを生成することができる。
　なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）画素が物体の境界部分又は物体内であるかに基づいてＩＩＲ処理の強度を調整するＩＩＲ処理調整部と、前記ＩＩＲ処理調整部により調整された強度に基づいて、視差を垂直方向にＩＩＲ処理をかけて補正するＩＩＲ処理部と、を具備する画像処理装置。
（２）前記ＩＩＲ処理調整部は、物体の境界部分の画素に対してＩＩＲ処理の強度を抑制し、物体内の画素に対してＩＩＲ処理の強度を大きくする、上記（１）に記載の画像処理装置。
（３）前記ＩＩＲ処理調整部は、元画像と元画像から算出した初期視差に基づいて、各画素が物体の境界部分又は物体内であるかを判定する、上記（１）記載の画像処理装置。
（４）前記ＩＩＲ処理調整部は、元画像の水平方向の分散値に基づいて画素が物体の境界部分又は物体内であるかを判定して第１のゲインを決定する分散検出部と、視差の垂直方向のギャップに基づいて画素が物体の境界部分又は物体内であるかを判定して第２のゲインを決定する垂直ギャップ検出部と、前記第１のゲインと前記第２のゲインを統合して最終ゲインを決定するゲイン決定部を備え、前記ＩＩＲ処理部は、初期視差と、初期視差をＩＩＲ処理した後の視差とを、前記最終ゲインに基づいて重み付けして混合し、最終的な視差を得る、上記（１）に記載の画像処理装置。
（５）前記分散検出部は、元画像の２次元領域内における平均値と２次元領域内の差分の絶対値和からなる分散値を算出し、分散値が第１の所定値を超える画素に対して大きな値からなる前記第１のゲインを与える、上記（４）に記載の画像処理装置。
（６）前記垂直ギャップ検出部は、２次元領域内における初期視差の垂直方向の差分の絶対値の合計からなる垂直ギャップ値を求め、垂直ギャップ値が第２の所定値を超える画素に対して大きな値からなる前記第２のゲインを与える、上記（４）に記載の画像処理装置。
（７）前記ゲイン決定部は、前記第１のゲインと前記第２のゲインの最大値を代表ゲインとして求め、視差に垂直方向に相関を付与するための処理をさらに前記代表ゲインに対して処理を施して最終ゲインを決定する、上記（４）に記載の画像処理装置。
（８）前記ゲイン決定部は、ゲインの最大の変化量を基準ステップとし、前記代表ゲインに前記基準ステップを乗算した値を垂直方向に加算又は減算して、最終ゲインを算出する、上記（７）に記載の画像処理装置。
（９）画素が物体の境界部分又は物体内であるかに基づいてＩＩＲ処理の強度を調整するＩＩＲ処理調整ステップと、前記ＩＩＲ処理調整ステップにより調整された強度に基づいて、視差を垂直方向にＩＩＲ処理をかけて補正するＩＩＲ処理ステップと、を有する画像処理方法。
（１０）元画像から初期視差を生成する初期視差生成部と、画素が物体の境界部分又は物体内であるかに基づいてＩＩＲ処理の強度を調整しながら、前記初期視差に対して垂直方向にＩＩＲ処理をかけて補正する視差補正部と、補正後の視差に基づいて、元画像を補間する補間画像を生成する補間画像生成部と、元画像と補間画像を統合する画像統合部と、元画像又は前記画像統合部が統合した後の画像を表示する表示部と、を具備する画像表示装置。
　以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
　本明細書で開示する技術は、例えば倍速変換時や多視点画像における補間画像を生成する際に、ブロック・マッチング法により算出した視差の補正に適用することができるが、勿論、他の方法により算出した視差において腹切り現象が発生する際に、同様に適用することができる。
　また、本明細書で説明した実施形態における画像処理は、ハードウェア、ソフトウェアのいずれにより行なうこともできる。当該処理をソフトウェアによって実現する場合には、ソフトウェアにおける処理手順をコンピューター可読形式に記述したコンピューター・プログラムを所定のコンピューターにインストールして実行すればよい。
　要するに、例示という形態で本技術を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　１００…表示装置
　１１０…映像表示部
　１１２…液晶パネル
　１１３…ゲート・ドライバー、１１４…データ・ドライバー
　１１５…光源
　１２０…映像信号処理部
　１４０…タイミング制御部
　２０１…画像入力部、２０２…補間フレーム生成部、２０３…画像統合部
　３０１…左画像用フレーム・メモリー、３１１…右画像用フレーム・メモリー
　３０２…初期視差算出部（左画像基準）、３１２…初期視差算出部（右画像基準）
　３０３…視差メモリー（左画像基準）、３１３…視差メモリー（右画像基準）
　３０４…視差補正部（左画像基準）、３１４…視差補正部（右画像基準）
　３０５…フレーム生成部（左画像基準）、３１５…フレーム生成部（右画像基準）
　３０６…画像出力部
　４１０…ＩＩＲ処理調整部
　４２０…ＩＩＲ処理部
　４２１…ＩＩＲフィルター、４２２…混合部
　５０１…分散検出部、５０２…垂直ギャップ検出部、５０３…ゲイン決定部
　６０１…分散値計算部、６０２…ゲイン設定部
　９０１…垂直ギャップ値計算部、９０２…ゲイン設定部

Claims (10)

  1. 　画素が物体の境界部分又は物体内であるかに基づいてＩＩＲ処理の強度を調整するＩＩＲ処理調整部と、
    　前記ＩＩＲ処理調整部により調整された強度に基づいて、視差を垂直方向にＩＩＲ処理をかけて補正するＩＩＲ処理部と、
    を具備する画像処理装置。
  2. 　前記ＩＩＲ処理調整部は、物体の境界部分の画素に対してＩＩＲ処理の強度を抑制し、物体内の画素に対してＩＩＲ処理の強度を大きくする、
    請求項１に記載の画像処理装置。
  3. 　前記ＩＩＲ処理調整部は、元画像と元画像から算出した初期視差に基づいて、各画素が物体の境界部分又は物体内であるかを判定する、
    請求項１に記載の画像処理装置。
  4. 　前記ＩＩＲ処理調整部は、元画像の水平方向の分散値に基づいて画素が物体の境界部分又は物体内であるかを判定して第１のゲインを決定する分散検出部と、視差の垂直方向のギャップに基づいて画素が物体の境界部分又は物体内であるかを判定して第２のゲインを決定する垂直ギャップ検出部と、前記第１のゲインと前記第２のゲインを統合して最終ゲインを決定するゲイン決定部を備え、
    　前記ＩＩＲ処理部は、初期視差と、初期視差をＩＩＲ処理した後の視差とを、前記最終ゲインに基づいて重み付けして混合し、最終的な視差を得る、
    請求項１に記載の画像処理装置。
  5. 　前記分散検出部は、元画像の２次元領域内における平均値と２次元領域内の差分の絶対値和からなる分散値を算出し、分散値が第１の所定値を超える画素に対して大きな値からなる前記第１のゲインを与える、
    請求項４に記載の画像処理装置。
  6. 　前記垂直ギャップ検出部は、２次元領域内における初期視差の垂直方向の差分の絶対値の合計からなる垂直ギャップ値を求め、垂直ギャップ値が第２の所定値を超える画素に対して大きな値からなる前記第２のゲインを与える、
    請求項４に記載の画像処理装置。
  7. 　前記ゲイン決定部は、前記第１のゲインと前記第２のゲインの最大値を代表ゲインとして求め、視差に垂直方向に相関を付与するための処理をさらに前記代表ゲインに対して処理を施して最終ゲインを決定する、
    請求項４に記載の画像処理装置。
  8. 　前記ゲイン決定部は、ゲインの最大の変化量を基準ステップとし、前記代表ゲインに前記基準ステップを乗算した値を垂直方向に加算又は減算して、最終ゲインを算出する、
    請求項７に記載の画像処理装置。
  9. 　画素が物体の境界部分又は物体内であるかに基づいてＩＩＲ処理の強度を調整するＩＩＲ処理調整ステップと、
    　前記ＩＩＲ処理調整ステップにより調整された強度に基づいて、視差を垂直方向にＩＩＲ処理をかけて補正するＩＩＲ処理ステップと、
    を有する画像処理方法。
  10. 　元画像から初期視差を生成する初期視差生成部と、
    　画素が物体の境界部分又は物体内であるかに基づいてＩＩＲ処理の強度を調整しながら、前記初期視差に対して垂直方向にＩＩＲ処理をかけて補正する視差補正部と、
    　補正後の視差に基づいて、元画像を補間する補間画像を生成する補間画像生成部と、
    　元画像と補間画像を統合する画像統合部と、
    　元画像又は前記画像統合部が統合した後の画像を表示する表示部と、
    を具備する画像表示装置。
     
PCT/JP2013/065333 2012-07-18 2013-06-03 画像処理装置及び画像処理方法、並びに画像表示装置 WO2014013804A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012159763 2012-07-18
JP2012-159763 2012-07-18

Publications (1)

Publication Number Publication Date
WO2014013804A1 true WO2014013804A1 (ja) 2014-01-23

Family

ID=49948640

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/065333 WO2014013804A1 (ja) 2012-07-18 2013-06-03 画像処理装置及び画像処理方法、並びに画像表示装置

Country Status (1)

Country Link
WO (1) WO2014013804A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326448A (ja) * 2003-04-24 2004-11-18 Fuji Heavy Ind Ltd ステレオ画像処理装置
JP2005157921A (ja) * 2003-11-27 2005-06-16 Sony Corp 画像処理装置及び方法
JP2009110172A (ja) * 2007-10-29 2009-05-21 Fuji Heavy Ind Ltd 物体検出装置
JP2011501496A (ja) * 2007-10-11 2011-01-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 奥行きマップを処理する方法及び装置
JP2011250278A (ja) * 2010-05-28 2011-12-08 Mitsubishi Electric Corp 画像処理装置、画像処理方法および画像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326448A (ja) * 2003-04-24 2004-11-18 Fuji Heavy Ind Ltd ステレオ画像処理装置
JP2005157921A (ja) * 2003-11-27 2005-06-16 Sony Corp 画像処理装置及び方法
JP2011501496A (ja) * 2007-10-11 2011-01-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 奥行きマップを処理する方法及び装置
JP2009110172A (ja) * 2007-10-29 2009-05-21 Fuji Heavy Ind Ltd 物体検出装置
JP2011250278A (ja) * 2010-05-28 2011-12-08 Mitsubishi Electric Corp 画像処理装置、画像処理方法および画像表示装置

Similar Documents

Publication Publication Date Title
JP5615136B2 (ja) 立体画像補正方法、立体表示装置、および立体画像生成装置
JP5929567B2 (ja) 画像信号処理装置、および画像信号処理方法、並びにプログラム
JP5522404B2 (ja) 画像処理方法、画像処理装置及びプログラム
US20110007136A1 (en) Image signal processing apparatus and image display
KR101869872B1 (ko) 멀티뷰 영상 생성방법과 이를 이용한 입체영상 표시장치
US10694173B2 (en) Multiview image display apparatus and control method thereof
CN104539935A (zh) 图像亮度的调节方法及调节装置、显示装置
JP4840519B2 (ja) 立体画像表示装置
EP2541948B1 (en) Stereoscopic image display method and display timing controller
KR20120114145A (ko) 화상 표시 장치, 화상 표시 시스템 및 화상 표시 방법
WO2014013804A1 (ja) 画像処理装置及び画像処理方法、並びに画像表示装置
US9137520B2 (en) Stereoscopic image display device and method of displaying stereoscopic image
JP4138451B2 (ja) 表示装置及び方法
TWI499279B (zh) 影像處理裝置及其方法
KR102293837B1 (ko) 입체영상표시장치 및 이의 동작방법
WO2014013805A1 (ja) 画像処理装置及び画像処理方法、並びに画像表示装置
JP2013058950A (ja) 画像表示装置及び画像表示方法
WO2014017201A1 (ja) 画像処理装置及び画像処理方法、並びに画像表示装置
KR102143944B1 (ko) 입체감 조절 방법과 이를 이용한 입체 영상 표시장치
JP2013187654A (ja) 映像処理装置および映像処理方法
JP2015039070A (ja) 立体画像表示装置および立体画像表示方法
KR102080611B1 (ko) 이미지 생성 장치 및 방법
JP2013026871A (ja) 画像処理装置および方法、並びにプログラム
JP2012242807A (ja) 表示装置
US20150054915A1 (en) Multiple-view image displaying apparatus for improving picture quality and a method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13819996

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13819996

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP