WO2011024832A1 - 映像信号処理装置 - Google Patents

映像信号処理装置 Download PDF

Info

Publication number
WO2011024832A1
WO2011024832A1 PCT/JP2010/064331 JP2010064331W WO2011024832A1 WO 2011024832 A1 WO2011024832 A1 WO 2011024832A1 JP 2010064331 W JP2010064331 W JP 2010064331W WO 2011024832 A1 WO2011024832 A1 WO 2011024832A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel data
unit
interpolation
gamma correction
video signal
Prior art date
Application number
PCT/JP2010/064331
Other languages
English (en)
French (fr)
Inventor
真季 小泉
英樹 相羽
智之 宍戸
Original Assignee
日本ビクター株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本ビクター株式会社 filed Critical 日本ビクター株式会社
Priority to KR1020127007272A priority Critical patent/KR101361649B1/ko
Priority to EP10811881.1A priority patent/EP2472849A4/en
Priority to US13/392,401 priority patent/US20120147261A1/en
Priority to CN2010800379395A priority patent/CN102577346A/zh
Publication of WO2011024832A1 publication Critical patent/WO2011024832A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Definitions

  • the present invention relates to a video signal processing apparatus for interpolating interpolated frames between real frames of a video signal to increase the number of frames and converting a frame rate (frame frequency), and in particular, processes for both inverse gamma correction and gamma correction.
  • the present invention relates to a video signal processing device that converts the frame rate by applying the above.
  • an interpolation frame is interpolated between the actual frames of the video signal to increase the number of frames. For example, the frame rate at a vertical frequency of 60 Hz is converted to a double vertical frequency of 120 Hz or higher. It is done to display.
  • a motion vector of an image is detected, each interpolation pixel is generated using the motion vector, and an interpolation frame that is interpolated between actual frames is generated.
  • the image display apparatus has a non-linear characteristic R1 having a downward convex relationship as shown in FIG. Accordingly, a video signal of a television signal transmitted as a broadcast wave signal or a video signal recorded on a recording medium such as an optical disc is created on the assumption that the image display device has the characteristic R1 shown in FIG.
  • the signal is previously subjected to so-called gamma correction, which is an upward convex non-linear characteristic R2 as shown in FIG.
  • the image display apparatus includes an inverse gamma correction unit for making the video signal subjected to gamma correction linear characteristics, and a gamma correction unit for performing gamma correction again before the display unit.
  • Patent Document 1 describes an image display device including an inverse gamma correction unit, a gamma correction unit, and a frame rate conversion circuit.
  • an inverse gamma correction unit is provided at the input stage of the video signal processing device, which is the front stage of the video modulation unit corresponding to the frame rate conversion circuit, and at the rear stage of the video modulation unit.
  • a gamma correction unit is provided at the output stage of the video signal processing apparatus.
  • the present invention has been made in view of such a problem, and provides a video signal processing apparatus capable of minimizing the circuit portion that performs signal processing with high bit accuracy and minimizing the increase in circuit scale.
  • the purpose is to do.
  • the present invention uses the pixel data in a plurality of actual frames in an input video signal to form an interpolation frame that is interpolated between the plurality of actual frames.
  • a motion vector detection unit (2) for detecting a motion vector necessary for generating pixel data, and selecting pixel data in the plurality of real frames for generating the interpolation pixel data according to the motion vector
  • the pixel data selection unit (311, 312, 321, 322, 331, 332) to output and the pixel data in the plurality of real frames selected by the pixel data selection unit are used to generate the interpolation pixel data.
  • An interpolation pixel generation unit (318, 328, 338) is arranged between the pixel data selection unit and the interpolation pixel generation unit.
  • a reverse gamma correction unit (314, 315, 324, 325, 334, 335) for performing a reverse gamma correction for correcting the gamma characteristic applied to the input video signal in advance for the output pixel data.
  • a gamma correction unit (319, 329, 339) that is arranged after the interpolation pixel generation unit and performs gamma correction on the interpolation pixel data output from the interpolation pixel generation unit.
  • a video signal processing apparatus is provided.
  • a shift amount conversion unit (313, 323, 333) that converts the motion vector into a shift amount with respect to pixel data on the same horizontal and vertical positions as the interpolation pixel data in the plurality of real frames;
  • the pixel data selection unit may select and output pixel data in the plurality of actual frames based on the shift amount.
  • the video signal processing apparatus of the present invention it is possible to minimize the number of circuit portions that perform signal processing with high bit accuracy. Therefore, an increase in circuit scale can be suppressed as much as possible, and costs can be suppressed.
  • FIG. 1 is a block diagram showing an embodiment of a video signal processing apparatus of the present invention.
  • 2A and 2B are diagrams showing an example of a motion vector detection operation by the motion vector detection unit 2 in FIG.
  • FIG. 3 is a diagram for explaining the operations of the data holding / selecting units 311 and 312 and the shift amount converting unit 313 in FIG.
  • FIG. 4 is a diagram illustrating the relationship between the gradation level of the input signal and the display luminance in the image display apparatus.
  • FIG. 5 is a diagram showing the characteristics of gamma correction applied to the video signal.
  • FIG. 6 is a diagram showing a characteristic in which the relationship between the gradation level and the output gradation is linear.
  • FIG. 1 is a block diagram showing an embodiment of a video signal processing apparatus of the present invention.
  • 2A and 2B are diagrams showing an example of a motion vector detection operation by the motion vector detection unit 2 in FIG.
  • FIG. 3 is a diagram for explaining the operations of the data holding
  • FIG. 7 is a diagram showing characteristics of inverse gamma correction performed by the inverse gamma correction units 314 and 315 in FIG.
  • FIGS. 8A and 8B are diagrams for explaining the operational effects of the inverse gamma correction units 314 and 315 and the gamma correction unit 319 in FIG.
  • FIG. 9A is the first half of a block diagram showing another embodiment of the video signal processing apparatus of the present invention.
  • FIG. 9B is the second half of the block diagram shown in FIG. 9A.
  • each pixel data of the video signal Sin having a frame frequency of 60 Hz is sequentially input to the frame memory 1, the motion vector detection unit 2, the interpolation unit 31, and the time series conversion memory 4.
  • the video signal Sin is previously subjected to gamma correction as shown in FIG.
  • the frame memory 1 outputs the input pixel data with a delay of one frame.
  • the current frame of the input video signal Sin is F0, and the frame one frame before the current frame output from the frame memory 1 is F1.
  • the motion vector detection unit 2 uses, for example, a matching method to generate each interpolation pixel data of an interpolation frame to be interpolated between the current frame F0 and the frame F1, using the pixel data of the current frame F0 and the frame F1.
  • the motion vector is detected.
  • An example of a motion vector detection operation in the motion vector detection unit 2 will be described with reference to FIG. 2A and 2B show the motion vector detection operation for generating the interpolation pixel data Pfp0 on the interpolation frame Fp0.
  • pixel data on the same horizontal line will be described.
  • the solid white circles shown in FIGS. 2A and 2B indicate white pixel data, and the hatched circles indicate black pixel data.
  • the pixel data Pf10 on the frame F1 at the same horizontal position as the interpolation pixel data Pfp0 is used as a reference. Then, the difference between the pixel data Pf10 and the pixel data Pf00 on the current frame F0 and a plurality of pixel data in a predetermined range located on the left and right of the pixel data Pf00 is obtained. The direction with the smallest difference is taken as the direction of the motion vector.
  • FIG. 2B shows a case where the pixel data Pf00 on the frame F0 at the same horizontal position as the interpolation pixel data Pfp0 is used as a reference.
  • the difference between the pixel data Pf00 and the pixel data Pf10 on the frame F1 and a plurality of pixel data in a predetermined range located on the left and right of the pixel data Pf10 is obtained.
  • the direction with the smallest difference is taken as the direction of the motion vector.
  • the motion vector detection unit 2 may detect a motion vector by the detection method shown in FIG. 2A or may detect a motion vector by the detection method shown in FIG. Further, a motion vector is detected by both detection methods of FIGS. 2A and 2B, and one of them is determined as a final motion vector, or by both detection methods of FIGS. 2A and 2B. A final motion vector may be generated based on the two detected motion vectors. Alternatively, a motion vector may be detected using a plurality of pixel data of three frames or more.
  • the motion vector detection method in the motion vector detection unit 2 is not limited to the method described above, and is arbitrary.
  • the pixel data input to the motion vector detection unit 2 does not have the linear characteristic R0 as shown in FIG. 6 but has the nonlinear characteristic R2 as shown in FIG.
  • the difference in signal level between data and the actual difference in luminance due to the pair of pixel data do not necessarily match.
  • the magnitude relationship of the difference between the pair of pixel data does not change between the characteristic R0 and the characteristic R2, it is not necessary to perform inverse gamma correction on the pixel data input to the motion vector detection unit 2.
  • the interpolation unit 31 includes data holding / selection units (pixel data selection units) 311 and 312, a shift amount conversion unit 313, inverse gamma correction units 314 and 315, intermediate pixel generation units 316 and 317, and an average value unit 318 and a gamma correction unit 319.
  • the data holding / selecting unit 311 holds a plurality of pixel data on the frame F0 required when generating the interpolated pixel data Pfp0 shown in FIGS. 2 (A) and 2 (B).
  • the data holding / selecting unit 312 holds a plurality of pixel data on the frame F1 necessary for generating the interpolated pixel data Pfp0 shown in FIGS.
  • the shift amount conversion unit 313 converts the motion vector MV supplied from the motion vector detection unit 2 into shift amounts SH0 and SH1 and supplies the converted data to the data holding / selection units 311 and 312.
  • the shift amounts SH0 and SH1 generated by the shift amount conversion unit 313 will be described with reference to FIG.
  • the shift amount conversion unit 313 shifts the pixel data Pf10 on the frame F1 by 0.5 pixels in the left direction.
  • a shift amount SH1 for shifting is generated, and a shift amount SH0 for shifting pixel data Pf00 on the frame F0 rightward by 0.5 pixels is generated.
  • FIG. 3 In the case of FIG.
  • the virtual pixel data Pf1p01 indicated by the two-dot chain line on the frame F1 and the virtual pixel data Pf0p01 indicated by the two-dot chain line on the frame F0 are averaged. That's fine.
  • the pixel data Pf1p01 and Pf0p01 do not actually exist. Therefore, if interpolated element data Pf1p01 is generated using pixel data Pf10 and pixel data Pf11 on the left side of this, and interpolated pixel data Pf0p01 is generated using pixel data Pf00 and the pixel data Pf01 on the right side of this. Good.
  • each of the data holding / selecting units 311 and 312 is 1 required to generate the interpolated pixel data Pfp0 according to the input shift amounts SH0 and SH1 among the plurality of held pixel data.
  • One or two pieces of pixel data are selected and output.
  • the data holding / selecting unit 311 selects and outputs the pixel data Pf10 and Pf11
  • the data holding / selecting unit 312 outputs the pixel data Pf00 and Pf01.
  • the motion vector MV is a vector from the pixel data Pf11 to the pixel data Pf10
  • the data holding / selecting units 311 and 312 may select and output the pixel data Pf11 and Pf01, respectively.
  • the pixel data output from the data holding / selecting units 311 and 312 is input to the inverse gamma correction units 314 and 315.
  • the inverse gamma correction units 314 and 315 perform reverse gamma correction of the characteristic R1 'as shown in FIG. 7 on the input pixel data having the characteristic R2 of FIG.
  • a characteristic R1 'in FIG. 7 is equivalent to or similar to the characteristic R1 shown in FIG.
  • the pixel data output from the inverse gamma correction units 314 and 315 has a linear characteristic R0 as shown in FIG.
  • Pixel data output from the inverse gamma correction units 314 and 315 is input to the intermediate pixel generation units 316 and 317.
  • the intermediate pixel generators 316 and 317 are for generating interpolated pixel data located between the pixel data when generating the interpolated pixel data Pfp0 as in the case of FIG.
  • the intermediate pixel generation unit 316 generates interpolation pixel data Pf1p01
  • the intermediate pixel generation unit 317 generates interpolation pixel data Pf0p01.
  • the pair of interpolated pixel data output from the intermediate pixel generation units 316 and 317 is input to the averaging unit 318.
  • the averaging unit 318 generates the interpolation pixel data Pfp0 by averaging the pair of input interpolation pixel data.
  • the average value unit 318 is an interpolation pixel generation unit.
  • the averaging unit 318 generates the interpolation pixel data Pfp0 by averaging the interpolation pixel data Pf1p01 and Pf0p01.
  • intermediate pixel generation units 316 and 317 are necessary. If the detection accuracy of the motion vector in the motion vector detection unit 2 is lowered and the shift amounts SH0 and SH1 are in units of one pixel, the intermediate pixel generation units 316 and 317 are not necessary. Therefore, the intermediate pixel generation units 316 and 317 may be provided as necessary.
  • Interpolated pixel data Pfp0 output from the averaging unit 318 is input to the gamma correction unit 319.
  • the gamma correction unit 319 performs gamma correction of the characteristic R2 shown in FIG. 5 on the input interpolation pixel data Pfp0 and outputs the result.
  • the interpolation unit 31 performs the inverse gamma correction of the characteristic R1 ′ on the pixel data of the video signal Sin on which the gamma correction of the characteristic R2 has been performed to obtain the linear characteristic R0, and then the interpolation pixel data Pfp0. After that, gamma correction of the characteristic R2 is performed to restore the original state.
  • the pixel data of the frame F0 and the interpolation pixel data Pfp0 output from the interpolation unit 31 are sequentially input to the time series conversion memory 4.
  • the time-series conversion memory 4 includes image data of a frame F0 that is an actual frame based on pixel data of a frame F0 that is sequentially input, and an image of an interpolation frame Fp0 that is an interpolation frame based on the interpolation pixel data Pfp0 that is sequentially input. Generate data. Both are alternately output at 120 Hz to output a video signal Sout having a frame frequency of 120 Hz.
  • the reverse gamma correction units 314 and 315 and the gamma correction unit 319 have the configuration of FIG. 1 (FIG. 8B), and the reverse gamma correction units 314 and 315.
  • FIG. 8A A visual difference on the screen from the configuration in which the gamma correction unit 319 is deleted (FIG. 8A) will be described.
  • F0, Fp0, and F1 are the same as those in FIGS. 2 and 3
  • F2 is an actual frame that is one frame before frame F1
  • Fp1 is interpolated between frames F1 and F2. Interpolated frame.
  • white pixel data has a luminance of 100%
  • black pixel data has a luminance of 0%
  • the line of sight has moved in the direction of a dashed arrow.
  • the interpolation unit 32 includes data holding / selection units 321 and 322, a shift amount conversion unit 323, inverse gamma correction units 324 and 325, intermediate pixel generation units 326 and 327, and an average value Unit 328 and a gamma correction unit 329.
  • the interpolation unit 33 includes a data holding / selection unit 331, 332, a shift amount conversion unit 333, an inverse gamma correction unit 334, 335, an intermediate pixel generation unit 336, 337, an averaging unit 338, and a gamma correction unit. 339.
  • the time series conversion memory 40 sequentially outputs three interpolation frames generated based on the image data of the frame F0 and the interpolation pixel data output from the interpolation units 31 to 33 at 240 Hz, and has a frame frequency of 240 Hz.
  • the signal Sout is output.
  • only the intermediate pixel generation units 316, 317, 326, 327, 336, and 37 and the averaging units 318, 328, and 338 are required for high bit accuracy. It is. Accordingly, since the circuit portion that performs signal processing with high bit accuracy is minimized, an increase in the circuit scale can be suppressed as much as possible, and the cost can be suppressed.
  • the video signal processing apparatus of the present invention it is possible to reduce the number of circuit portions that perform signal processing with high bit accuracy as much as possible. Therefore, an increase in circuit scale can be suppressed as much as possible, and costs can be suppressed.
  • Motion vector detection unit 4 40 Time series conversion memory 31, 32, 33 Interpolation unit 311, 312, 321, 322, 331, 332 Data holding / selection unit (pixel data selection unit) 313, 323, 333 Shift amount conversion unit 314, 315, 324, 325, 334, 335 Inverse gamma correction unit 316, 317, 326, 327, 336, 337 Intermediate pixel generation unit 318, 328, 338 Average value unit (interpolation) Pixel generator) 319, 329, 339 Gamma correction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Television Systems (AREA)
  • Picture Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

　動きベクトル検出部２は補間画素データを生成する際に必要な動きベクトルを検出する。データ保持・選択部３１１，３１２は補間画素データを生成するための実フレーム内の画素データを選択する。平均値化部３１８は補間画素データを生成する。逆ガンマ補正部はデータ保持・選択部３１１，３１２と平均値化部３１８との間に配置され、ガンマ補正部３１９は平均値化部３１８の後段に配置されている。

Description

映像信号処理装置
　本発明は、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、フレームレート（フレーム周波数）を変換する映像信号処理装置に係り、特に、逆ガンマ補正及びガンマ補正双方の処理を施してフレームレートを変換する映像信号処理装置に関する。
　液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させるため、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレートを２倍の１２０Ｈｚまたはそれ以上の垂直周波数に変換して画像表示することが行われている。フレームレート変換を行う映像信号処理装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する補間フレームを生成する。
　一般的に画像表示装置は、入力信号の階調レベルと表示輝度との関係が図４に示すような下に凸の非線形の特性Ｒ１を有する。そこで、放送波信号として伝送されるテレビジョン信号の映像信号や光ディスク等の記録媒体に記録された映像信号は画像表示装置が図４に示す特性Ｒ１を有することを前提として作成されており、映像信号には予め図５に示すような上に凸の非線形の特性Ｒ２である、いわゆるガンマ補正が施されている。映像信号処理装置で映像信号に対して所定の処理を行う際には、映像信号は図６に示すような線形の特性Ｒ０を有していた方が都合がよい。そこで、画像表示装置は、ガンマ補正が施された映像信号を線形な特性とするための逆ガンマ補正部と、表示部の前段で再びガンマ補正を施すためのガンマ補正部とを備える。
　特許文献１には、逆ガンマ補正部とガンマ補正部とフレームレート変換回路とを備える画像表示装置が記載されている。特許文献１に記載の画像表示装置においては、フレームレート変換回路に相当する映像変調部の前段であり映像信号処理装置の入力段に逆ガンマ補正部が備えられており、映像変調部の後段であり映像信号処理装置の出力段にガンマ補正部が備えられている。
特開２００７－１５６４１２号公報（図１５，図２２）
　ガンマ補正が施された映像信号に対して逆ガンマ補正を施したデータは高いビット精度を要する。これは、ガンマ補正が施された映像信号に対して逆ガンマ補正を施すと小数点を有するデータとなり、小数点以下を表現するために高いビット精度が必要となるためである。特許文献１に記載の映像信号処理装置のように入力段で逆ガンマ補正を行うと、映像信号処理装置内の各部それぞれで高いビット精度の信号処理を行わなければならない。従って、回路規模が増大し、コストが高くなってしまう。
　本発明はこのような問題点に鑑みなされたものであり、高いビット精度の信号処理を行う回路部分を極力少なくすることができ、回路規模の増大を極力抑えることができる映像信号処理装置を提供することを目的とする。
　本発明は、上述した従来の技術の課題を解決するため、入力された映像信号における複数の実フレーム内の画素データを用いて、前記複数の実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出部（２）と、前記動きベクトルに応じて、前記補間画素データを生成するための前記複数の実フレーム内の画素データを選択して出力する画素データ選択部（３１１，３１２，３２１，３２２，３３１，３３２）と、前記画素データ選択部により選択した前記複数の実フレーム内の画素データを用いて前記補間画素データを生成する補間画素生成部（３１８，３２８，３３８）と、前記画素データ選択部と前記補間画素生成部との間に配置され、前記画素データ選択部より出力された画素データに対して、前記入力された映像信号に予め施されているガンマ特性を補正するための逆ガンマ補正を施す逆ガンマ補正部（３１４，３１５，３２４，３２５，３３４，３３５）と、前記補間画素生成部の後段に配置され、前記補間画素生成部より出力された前記補間画素データに対してガンマ補正を施すガンマ補正部（３１９，３２９，３３９）とを備えることを特徴とする映像信号処理装置を提供する。
　上記の構成において、前記逆ガンマ補正部と前記補間画素生成部との間に、実フレーム内の１ライン上で隣接する２つの画素間に位置する仮想的な補間画素データを生成する中間画素生成部（３１６，３１７，３２６，３２７，３３６，３３７）を備え、前記補間画素生成部は、前記仮想的な補間画素データを用いて前記補間画素データを生成するようにしてもよい。
　また、前記動きベクトルを、前記複数の実フレーム内における前記補間画素データと同一の水平及び垂直位置上の画素データに対するシフト量に変換するシフト量変換部（３１３，３２３，３３３）を備え、前記画素データ選択部は、前記シフト量に基づいて前記複数の実フレーム内の画素データを選択して出力するようにしてもよい。
　本発明の映像信号処理装置によれば、高いビット精度の信号処理を行う回路部分を極力少なくすることができる。従って、回路規模の増大を極力抑えることができ、コストを抑えることが可能となる。
図１は、本発明の映像信号処理装置の一実施形態を示すブロック図である。 図２（Ａ），（Ｂ）は、図１における動きベクトル検出部２による動きベクトル検出動作の一例を示す図である。 図３は、図１におけるデータ保持・選択部３１１，３１２及びシフト量変換部３１３の動作を説明するための図である。 図４は、画像表示装置における入力信号の階調レベルと表示輝度との関係を示す図である。 図５は、映像信号に施されているガンマ補正の特性を示す図である。 図６は、階調レベルと出力階調との関係が線形な特性を示す図である。 図７は、図１における逆ガンマ補正部３１４，３１５で施す逆ガンマ補正の特性を示す図である。 図８（Ａ），（Ｂ）は、図１における逆ガンマ補正部３１４，３１５及びガンマ補正部３１９による作用効果を説明するための図である。 図９Ａは、本発明の映像信号処理装置の他の実施形態を示すブロック図の前半である。 図９Ｂは、図９Ａに示すブロック図の後半である。
　以下、本発明の映像信号処理装置について、添付図面を参照して説明する。図１において、６０Ｈｚのフレーム周波数を有する映像信号Ｓinの各画素データは、フレームメモリ１，動きベクトル検出部２，補間部３１，時系列変換メモリ４に順次入力される。映像信号Ｓinには予め図５に示すようなガンマ補正が施されている。フレームメモリ１は入力された画素データを１フレーム遅延して出力する。入力された映像信号Ｓinの現在フレームをＦ０、フレームメモリ１より出力された現在フレームより１フレーム前のフレームをＦ１とする。
　動きベクトル検出部２は、例えばマッチング法を用い、現在フレームＦ０とフレームＦ１の画素データを用いて、現在フレームＦ０とフレームＦ１との間に内挿する補間フレームの各補間画素データを生成するための動きベクトルを検出する。図２を用いて動きベクトル検出部２における動きベクトルの検出動作の一例について説明する。図２（Ａ），（Ｂ）は、補間フレームＦp0上の補間画素データＰfp0を生成するための動きベクトルの検出動作を示している。ここでは簡略化のため、同一水平ライン上の画素データについて説明する。図２（Ａ），（Ｂ）に示す実線の白丸は白色の画素データ、ハッチングを付した丸は黒色の画素データを示している。
　図２（Ａ）において、補間画素データＰfp0と同一水平位置であるフレームＦ１上の画素データＰf10を基準とする。そして、画素データＰf10と、現在フレームＦ０上の画素データＰf00及び画素データＰf00の左右に位置する所定の範囲の複数の画素データとの差分を求める。差分が最も小さい方向を動きベクトルの方向とする。一方、図２（Ｂ）は補間画素データＰfp0と同一水平位置であるフレームＦ０上の画素データＰf00を基準とした場合を示している。画素データＰf00と、フレームＦ１上の画素データＰf10及び画素データＰf10の左右に位置する所定の範囲の複数の画素データとの差分を求める。差分が最も小さい方向を動きベクトルの方向とする。
　ここでは水平方向の画素データとの差分を求めることのみを示したが、実際には、基準となる画素データＰf10または画素データＰf00から水平方向及び垂直方向の所定の範囲の複数の画素データとの差分を求め、水平方向及び垂直方向の動きベクトルを検出する。動きベクトル検出部２は、図２（Ａ）に示す検出方法で動きベクトルを検出してもよいし、図２（Ｂ）に示す検出方法で動きベクトルを検出してもよい。さらに、図２（Ａ），（Ｂ）双方の検出方法で動きベクトルを検出し、いずれか一方を最終的な動きベクトルと決定したり、図２（Ａ），（Ｂ）双方の検出方法で検出した２つの動きベクトルに基づいて最終的な動きベクトルを生成したりしてもよい。また、３フレーム以上の複数の画素データを用いて動きベクトルを検出してもよい。動きベクトル検出部２における動きベクトルの検出方法は以上説明したものに限定されず、任意である。
　なお、動きベクトル検出部２に入力される画素データは図６に示すような線形な特性Ｒ０を有しておらず、図５に示すような非線形の特性Ｒ２を有しており、一対の画素データの信号レベルの差分とその一対の画素データによる実際の輝度の差分とは必ずしも一致しない。しかしながら、一対の画素データの差分の大小関係は特性Ｒ０でも特性Ｒ２でも変わらないので、動きベクトル検出部２に入力される画素データに対して逆ガンマ補正を施す必要はない。
　図１に戻り、動きベクトル検出部２によって検出された動きベクトルＭＶは補間部３１内のシフト量変換部３１３に入力される。補間部３１は、データ保持・選択部（画素データ選択部）３１１，３１２と、シフト量変換部３１３と、逆ガンマ補正部３１４，３１５と、中間画素生成部３１６，３１７と、平均値化部３１８と、ガンマ補正部３１９とを備える。データ保持・選択部３１１は、図２（Ａ），（Ｂ）に示す補間画素データＰfp0を生成する際に必要となるフレームＦ０上の複数の画素データを保持している。データ保持・選択部３１２は、図２（Ａ），（Ｂ）に示す補間画素データＰfp0を生成する際に必要となるフレームＦ１上の複数の画素データを保持している。シフト量変換部３１３は、動きベクトル検出部２より供給された動きベクトルＭＶをシフト量ＳＨ０，ＳＨ１に変換して、データ保持・選択部３１１，３１２に供給する。
　ここで、図３を用いてシフト量変換部３１３で生成するシフト量ＳＨ０，ＳＨ１について説明する。図３において、動きベクトル検出部２によって検出された動きベクトルＭＶが図示のようなベクトルである場合、シフト量変換部３１３は、フレームＦ１上の画素データＰf10を左方向に０．５画素分だけシフトさせるためのシフト量ＳＨ１を生成し、フレームＦ０上の画素データＰf00を右方向に０．５画素分だけシフトさせるためのシフト量ＳＨ０を生成する。図３の場合、補間画素データＰfp0を生成するには、フレームＦ１上の二点鎖線で示す仮想的な画素データＰf1p01とフレームＦ０上の二点鎖線で示す仮想的な画素データＰf0p01とを平均すればよい。しかしながら、画素データＰf1p01，Ｐf0p01は実際には存在していない。そこで、画素データＰf10とこれの左隣の画素データＰf11とを用いて補間素データＰf1p01を生成し、画素データＰf00とこれの右隣の画素データＰf01とを用いて補間画素データＰf0p01を生成すればよい。
　図１において、データ保持・選択部３１１，３１２はそれぞれ、保持しておいた複数の画素データの内、入力されたシフト量ＳＨ０，ＳＨ１に応じて補間画素データＰfp0を生成するのに必要な１つまたは２つの画素データを選択して出力する。図３の場合には、データ保持・選択部３１１は画素データＰf10，Ｐf11を選択して出力し、データ保持・選択部３１２は画素データＰf00，Ｐf01を出力する。例えば、動きベクトルＭＶが画素データＰf11から画素データＰf10へと向かうベクトルであれば、データ保持・選択部３１１，３１２はそれぞれ画素データＰf11，Ｐf01を選択して出力すればよい。
　データ保持・選択部３１１，３１２より出力された画素データは、逆ガンマ補正部３１４，３１５に入力される。逆ガンマ補正部３１４，３１５は入力された図５の特性Ｒ２を有する画素データに対して図７に示すような特性Ｒ１’の逆ガンマ補正を施す。図７の特性Ｒ１’は画像表示装置が有している図４に示す特性Ｒ１と同等または類似のものである。これにより、逆ガンマ補正部３１４，３１５より出力された画素データは、図６に示すような線形の特性Ｒ０となる。逆ガンマ補正部３１４，３１５より出力された画素データは、中間画素生成部３１６，３１７に入力される。
　中間画素生成部３１６，３１７は、図３の場合のように、補間画素データＰfp0を生成する際に画素データ間に位置する補間画素データを生成するためのものである。図３の例では、中間画素生成部３１６は補間画素データＰf1p01を生成し、中間画素生成部３１７は補間画素データＰf0p01を生成する。中間画素生成部３１６，３１７より出力された一対の補間画素データは平均値化部３１８に入力される。平均値化部３１８は入力された一対の補間画素データを平均することによって補間画素データＰfp0を生成する。平均値化部３１８は補間画素生成部である。図３の例では、平均値化部３１８は補間画素データＰf1p01，Ｐf0p01を平均して補間画素データＰfp0を生成する。
　図１に示す本実施形態においては、シフト量ＳＨ０，ＳＨ１が０．５画素という状態が発生するため中間画素生成部３１６，３１７が必要となる。動きベクトル検出部２における動きベクトルの検出精度を下げて、シフト量ＳＨ０，ＳＨ１を１画素単位とした場合には、中間画素生成部３１６，３１７は不要となる。従って、中間画素生成部３１６，３１７は必要に応じて設ければよい。
　平均値化部３１８より出力された補間画素データＰfp0はガンマ補正部３１９に入力される。ガンマ補正部３１９は、入力された補間画素データＰfp0に対して図５に示す特性Ｒ２のガンマ補正を施して出力する。このように、補間部３１は、特性Ｒ２のガンマ補正が施された映像信号Ｓinの画素データに対して特性Ｒ１’の逆ガンマ補正を施して一旦線形の特性Ｒ０とした状態で補間画素データＰfp0を生成し、その後、特性Ｒ２のガンマ補正を施して元の状態に戻している。
　時系列変換メモリ４にはフレームＦ０の画素データと補間部３１より出力された補間画素データＰfp0とが順次入力される。時系列変換メモリ４は、順次入力されるフレームＦ０の画素データに基づいて実フレームであるフレームＦ０の画像データと、順次入力される補間画素データＰfp0に基づいて補間フレームである補間フレームＦp0の画像データを生成する。そして、両者を１２０Ｈｚで交互に出力して、１２０Ｈｚのフレーム周波数を有する映像信号Ｓoutを出力する。
　図１に示す本実施形態においては、高いビット精度を要する部分は、中間画素生成部３１６，３１７と平均値化部３１８のみである。従って、高いビット精度の信号処理を行う回路部分が最小限となるので、回路規模の増大を極力抑えることができ、コストを抑えることが可能となる。
　図８（Ａ），（Ｂ）を用いて、逆ガンマ補正部３１４，３１５とガンマ補正部３１９とがある図１の構成の場合（図８（Ｂ））と、逆ガンマ補正部３１４，３１５とガンマ補正部３１９とを削除した構成の場合（図８（Ａ））との画面上の視覚的な相違について説明する。図８（Ａ），（Ｂ）において、Ｆ０，Ｆp0，Ｆ１は図２，図３と同じであり、Ｆ２はフレームＦ１より１フレーム過去の実フレーム、Ｆp1はフレームＦ１，Ｆ２間に内挿した補間フレームである。白の画素データを輝度１００％、黒の画素データを輝度０％とし、視線が破線の矢印の方向に移動したとする。
　図８（Ａ）の場合、白の画素データと黒の画素データとで補間画素データを生成した場合、計算上の輝度は５０％となるが、画像表示装置が図４に示すような特性を有しているので、実際に表示されて視認される輝度（視認輝度）は２０％となる。そうすると、視線がフレームＦ２，Ｆ１，Ｆ０にあるときには輝度は５０％で視認され、視線が補間フレームＦp1，Ｆp0にあるときには輝度は２０％で視認されて、フリッカが認識されることになる。一方、図８（Ｂ）の場合には、ガンマ補正部３１９の存在により計算上の輝度５０％は実際に表示される場合にも視認輝度５０％となる。そうすると、視線がフレームＦ２からフレームＦ０へと移動するとき輝度は全て５０％で視認されるので、フリッカは認識されない。
　図９Ａ，図９Ｂは、６０Ｈｚのフレーム周波数を有する映像信号Ｓinを２４０Ｈｚのフレーム周波数を有する映像信号Ｓoutに変換して出力する他の実施形態を示している。図１と同一部分には同一符号を付し、その説明を適宜省略する。図９Ａ，図９Ｂにおいて、補間部３２は、データ保持・選択部３２１，３２２と、シフト量変換部３２３と、逆ガンマ補正部３２４，３２５と、中間画素生成部３２６，３２７と、平均値化部３２８と、ガンマ補正部３２９とを備える。補間部３３は、データ保持・選択部３３１，３３２と、シフト量変換部３３３と、逆ガンマ補正部３３４，３３５と、中間画素生成部３３６，３３７と、平均値化部３３８と、ガンマ補正部３３９とを備える。
　時系列変換メモリ４０は、フレームＦ０の画像データと、補間部３１～３３より出力された補間画素データに基づいて生成した３つの補間フレームを２４０Ｈｚで順次出力して、２４０Ｈｚのフレーム周波数を有する映像信号Ｓoutを出力する。このフレームレートを４倍に変換する他の実施形態においても、高いビット精度を要する部分は、中間画素生成部３１６，３１７，３２６，３２７，３３６，３７と平均値化部３１８，３２８，３３８のみである。従って、高いビット精度の信号処理を行う回路部分が最小限となるので、回路規模の増大を極力抑えることができ、コストを抑えることが可能となる。
　本発明は、以上で説明した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
　以上で説明したように、本発明の映像信号処理装置によれば、高いビット精度の信号処理を行う回路部分を極力少なくすることができる。従って、回路規模の増大を極力抑えることができ、コストを抑えることが可能となる。
　１　フレームメモリ
　２　動きベクトル検出部
　４，４０　時系列変換メモリ
　３１，３２，３３　補間部
　３１１，３１２，３２１，３２２，３３１，３３２　データ保持・選択部（画素データ選択部）
　３１３，３２３，３３３　シフト量変換部
　３１４，３１５，３２４，３２５，３３４，３３５　逆ガンマ補正部
　３１６，３１７，３２６，３２７，３３６，３３７　中間画素生成部
　３１８，３２８，３３８　平均値化部（補間画素生成部）
　３１９，３２９，３３９　ガンマ補正部

Claims (3)

  1. 　入力された映像信号における複数の実フレーム内の画素データを用いて、前記複数の実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出部と、
    　前記動きベクトルに応じて、前記補間画素データを生成するための前記複数の実フレーム内の画素データを選択して出力する画素データ選択部と、
    　前記画素データ選択部により選択した前記複数の実フレーム内の画素データを用いて前記補間画素データを生成する補間画素生成部と、
    　前記画素データ選択部と前記補間画素生成部との間に配置され、前記画素データ選択部より出力された画素データに対して、前記入力された映像信号に予め施されているガンマ特性を補正するための逆ガンマ補正を施す逆ガンマ補正部と、
    　前記補間画素生成部の後段に配置され、前記補間画素生成部より出力された前記補間画素データに対してガンマ補正を施すガンマ補正部と
    　を備えることを特徴とする映像信号処理装置。
  2. 　前記逆ガンマ補正部と前記補間画素生成部との間に、実フレーム内の１ライン上で隣接する２つの画素間に位置する仮想的な補間画素データを生成する中間画素生成部を備え、
    　前記補間画素生成部は、前記仮想的な補間画素データを用いて前記補間画素データを生成する
    　ことを特徴とする請求項１記載の映像信号処理装置。
  3. 　前記動きベクトルを、前記複数の実フレーム内における前記補間画素データと同一の水平及び垂直位置上の画素データに対するシフト量に変換するシフト量変換部を備え、
    　前記画素データ選択部は、前記シフト量に基づいて前記複数の実フレーム内の画素データを選択して出力する
    　ことを特徴とする請求項１または２に記載の映像信号処理装置。
PCT/JP2010/064331 2009-08-28 2010-08-25 映像信号処理装置 WO2011024832A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020127007272A KR101361649B1 (ko) 2009-08-28 2010-08-25 영상 신호 처리 장치
EP10811881.1A EP2472849A4 (en) 2009-08-28 2010-08-25 VIDEO SIGNAL PROCESSING DEVICE
US13/392,401 US20120147261A1 (en) 2009-08-28 2010-08-25 Video signal processor
CN2010800379395A CN102577346A (zh) 2009-08-28 2010-08-25 影像信号处理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009197913A JP4656546B2 (ja) 2009-08-28 2009-08-28 映像信号処理装置
JP2009-197913 2009-08-28

Publications (1)

Publication Number Publication Date
WO2011024832A1 true WO2011024832A1 (ja) 2011-03-03

Family

ID=43627932

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/064331 WO2011024832A1 (ja) 2009-08-28 2010-08-25 映像信号処理装置

Country Status (6)

Country Link
US (1) US20120147261A1 (ja)
EP (1) EP2472849A4 (ja)
JP (1) JP4656546B2 (ja)
KR (1) KR101361649B1 (ja)
CN (1) CN102577346A (ja)
WO (1) WO2011024832A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105306866A (zh) * 2015-10-27 2016-02-03 青岛海信电器股份有限公司 帧率转换方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591369A (ja) * 1991-09-26 1993-04-09 Fujitsu Ltd Ｍｕｓｅデコーダ用ノンリニヤエツジ信号生成装置
JPH09172621A (ja) * 1995-12-20 1997-06-30 Sony Corp 圧縮高解像度ビデオ信号の補間装置および補間方法
WO2006068292A1 (ja) * 2004-12-21 2006-06-29 Sony Corporation 画像処理装置と画像処理方法および画像処理プログラム
JP2007156412A (ja) 2005-12-08 2007-06-21 Lg Phillips Lcd Co Ltd 液晶表示装置の駆動装置及び駆動方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005321775A (ja) 2004-05-01 2005-11-17 Samsung Electronics Co Ltd ディスプレー装置
JP4872508B2 (ja) 2006-07-28 2012-02-08 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
CN101543064B (zh) * 2007-02-20 2013-07-03 索尼株式会社 图像显示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591369A (ja) * 1991-09-26 1993-04-09 Fujitsu Ltd Ｍｕｓｅデコーダ用ノンリニヤエツジ信号生成装置
JPH09172621A (ja) * 1995-12-20 1997-06-30 Sony Corp 圧縮高解像度ビデオ信号の補間装置および補間方法
WO2006068292A1 (ja) * 2004-12-21 2006-06-29 Sony Corporation 画像処理装置と画像処理方法および画像処理プログラム
JP2007156412A (ja) 2005-12-08 2007-06-21 Lg Phillips Lcd Co Ltd 液晶表示装置の駆動装置及び駆動方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2472849A4

Also Published As

Publication number Publication date
KR20120088674A (ko) 2012-08-08
US20120147261A1 (en) 2012-06-14
EP2472849A4 (en) 2013-05-22
EP2472849A1 (en) 2012-07-04
JP2011049941A (ja) 2011-03-10
JP4656546B2 (ja) 2011-03-23
KR101361649B1 (ko) 2014-02-11
CN102577346A (zh) 2012-07-11

Similar Documents

Publication Publication Date Title
JP5394305B2 (ja) 画像処理装置
US20090268089A1 (en) Image displaying device and method
JP5335293B2 (ja) 液晶表示装置及びその駆動方法
JP4884481B2 (ja) 画像表示装置
US8325272B2 (en) Image displaying device and method and image processing device and method for preventing image deterioration due to motion-compensated rate conversion processing
JP2008118505A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP5049703B2 (ja) 画像表示装置、画像処理回路およびその方法
JPWO2007052452A1 (ja) 画像表示装置及び方法
EP2262255A2 (en) Image processing apparatus and image processing method
US20100238348A1 (en) Image Processing Method and Circuit
JP5249166B2 (ja) 画像処理装置、画像処理方法
JP4966400B2 (ja) 画像出力装置及び画像出力方法
JP4656546B2 (ja) 映像信号処理装置
JP2000259146A (ja) 画像表示装置
JP4181613B2 (ja) 画像表示装置及び方法
JP4505000B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2012095035A (ja) 画像処理装置及びその制御方法
JP2007288483A (ja) 画像変換装置
JP4181612B2 (ja) 画像表示装置及び方法
JP2012227799A (ja) 画像表示装置
JP4369971B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2006203320A (ja) 飛越走査信号の順次走査信号への変換方法及び装置
TWI400942B (zh) 畫面速率轉換之裝置及方法
JP4369967B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP5249961B2 (ja) 画像表示装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080037939.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10811881

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13392401

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20127007272

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2010811881

Country of ref document: EP