JP4339237B2 - Sequential scan converter - Google Patents

Sequential scan converter Download PDF

Info

Publication number
JP4339237B2
JP4339237B2 JP2004364323A JP2004364323A JP4339237B2 JP 4339237 B2 JP4339237 B2 JP 4339237B2 JP 2004364323 A JP2004364323 A JP 2004364323A JP 2004364323 A JP2004364323 A JP 2004364323A JP 4339237 B2 JP4339237 B2 JP 4339237B2
Authority
JP
Japan
Prior art keywords
image
field image
field
progressive
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004364323A
Other languages
Japanese (ja)
Other versions
JP2006174123A (en
Inventor
充 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2004364323A priority Critical patent/JP4339237B2/en
Publication of JP2006174123A publication Critical patent/JP2006174123A/en
Application granted granted Critical
Publication of JP4339237B2 publication Critical patent/JP4339237B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明はインターレース画像をプログレッシブ画像に変換する順次走査変換装置に関し、特に、動き補償による順次走査変換を行う順次走査変換装置に関する。   The present invention relates to a progressive scan conversion device that converts an interlaced image into a progressive image, and more particularly to a progressive scan conversion device that performs progressive scan conversion by motion compensation.

液晶ディスプレイやプラズマディスプレイでは、一般にプログレッシブ方式の画像を表示する。従って、インターレース方式の画像を液晶ディスプレイやプラズマディスプレイに表示する場合には、インターレース画像をプログレッシブ画像へ変換する順次走査変換(I/P変換)が必要である。   A liquid crystal display or plasma display generally displays a progressive image. Accordingly, when displaying an interlaced image on a liquid crystal display or a plasma display, sequential scanning conversion (I / P conversion) for converting the interlaced image into a progressive image is necessary.

図5を参照して順次走査変換を説明する。順次走査変換では、入力フィールド画像に対し走査線が補間関係にある補間フィールド画像を生成し、両者を合成することによりプログレッシブ画像を生成する。   The progressive scan conversion will be described with reference to FIG. In the progressive scan conversion, an interpolated field image in which scanning lines are in an interpolating relationship with the input field image is generated, and a progressive image is generated by combining the two.

図5(a)は、インターレース方式のフィールド画像を示す。インターレース方式では、例えば、奇数行の走査線からなるトップフィールド画像101Aと、偶数行の走査線からなるボトムフィールド画像102Aが交互に表示される。トップフィールド画像101Aとボトムフィールド画像102Aを1フレームと称する。奇数行の走査線からなるトップフィールド画像101Aに対して偶数行の走査線からなる補間フィールド画像101Bを生成し、両者を合成することによりプログレッシブ画像が生成される。同様に、偶数行の走査線からなるボトムフィールド画像102Aに対して、奇数行の走査線からなる補間フィールド画像102Bを生成し、両者を合成することにより、プログレッシブ画像が生成される。こうして、全てのトップフィールド画像及びボトムフィールド画像に対して走査線が補間関係にある補間フィールド画像を生成し、両者を合成することによりプログラッシブ画像を生成する。   FIG. 5A shows an interlaced field image. In the interlace method, for example, a top field image 101A composed of odd-numbered scanning lines and a bottom field image 102A composed of even-numbered scanning lines are alternately displayed. The top field image 101A and the bottom field image 102A are referred to as one frame. An interpolated field image 101B consisting of even-numbered scanning lines is generated for the top field image 101A consisting of odd-numbered scanning lines, and a progressive image is generated by combining the two. Similarly, an interpolated field image 102B consisting of odd-numbered scanning lines is generated for the bottom field image 102A consisting of even-numbered scanning lines, and a composite image is generated to generate a progressive image. In this way, an interpolated field image in which scanning lines are in an interpolating relationship with respect to all top field images and bottom field images is generated, and a progressive image is generated by synthesizing both.

順次走査変換には動き適応方式の順次走査変換と動き補償方式の順次走査変換が知られている。   As the progressive scan conversion, a motion adaptive type progressive scan conversion and a motion compensation type progressive scan conversion are known.

図5(b)を参照して動き適応方式を説明する。動き適応方式では、入力フィールド画像とそれより1フレーム期間過去のフィールド画像を比較し、動き検出を行う。静止画部分では、1フィールド期間過去の画像を使用して補間フィールド画像を生成する。これはフィールド間補間と呼ばれる。動画部分では、同一時刻のフィールド画像にて隣接する走査線間の平均を求めることにより補間フィールド画像を生成する。これはフィールド内補間と呼ばれる。例えば、ボトムフィールド画像102Aに対する補間フィールド画像102Bを生成する場合、動く物体像の部分では、フィールド内補間を行う。   The motion adaptation method will be described with reference to FIG. In the motion adaptation method, motion detection is performed by comparing an input field image with a field image in the past of one frame period. In the still image portion, an interpolated field image is generated using an image in the past of one field period. This is called inter-field interpolation. In the moving image portion, an interpolated field image is generated by obtaining an average between adjacent scanning lines in the field image at the same time. This is called intra-field interpolation. For example, when generating the interpolation field image 102B for the bottom field image 102A, intra-field interpolation is performed on the moving object image portion.

フィールド内補間には、上述のように、上下の走査線の画素値の平均値を補間画素の値とする方法や、フィールド画像に斜め線が含まれるときに斜め線を検出し斜め線の画質を損なわないように補間画素を生成する方法などが提案されている。一般的に、フィールド内補間は、同一時刻の情報を有する同一フィールド画像を用いて補間画素を生成するため、生成したプログレッシブ画像の垂直方向の解像度感は低くなる。   For intra-field interpolation, as described above, the average value of the pixel values of the upper and lower scanning lines is used as the value of the interpolated pixel, or when the field image includes diagonal lines, the diagonal lines are detected and the image quality of the diagonal lines is determined. There has been proposed a method of generating an interpolated pixel so as not to damage the image. In general, intra-field interpolation generates interpolated pixels using the same field image having information at the same time, so the sense of vertical resolution of the generated progressive image is low.

図5(c)を参照して動き補償方式を説明する。動き補償方式では、互いに異なる時刻のフレーム間又はフィールド間にて、動きベクトルを検出する。動きベクトルとは、互いに異なる時刻のフレーム間又はフィールド間にて、像の移動を示すベクトルである。動きベクトルを用いて、補間フィールド画像を生成する。例えば、ボトムフィールド画像102Aに対する補間フィールド画像102Bを生成する場合、2つのトップフィールド画像101A、103Aにて、動く物体像111A、113Aを検出し、両者を結ぶ動きベクトル150を生成する。トップフィールド画像101Aの物体像111Aを、動きベクトル150の半分のベクトルだけ移動させることにより、補間フィールド画像102Bの物体像112Bが生成される。動きベクトルを検出する方法として、ブロックマッチングが知られている。   The motion compensation method will be described with reference to FIG. In the motion compensation method, a motion vector is detected between frames or fields at different times. A motion vector is a vector indicating the movement of an image between frames or fields at different times. An interpolation field image is generated using the motion vector. For example, when generating the interpolation field image 102B for the bottom field image 102A, the moving object images 111A and 113A are detected from the two top field images 101A and 103A, and a motion vector 150 connecting the two is generated. By moving the object image 111A of the top field image 101A by a half vector of the motion vector 150, the object image 112B of the interpolation field image 102B is generated. As a method for detecting a motion vector, block matching is known.

図6を参照してブロックマッチングによる動きベクトル検出法を説明する。ブロックマッチングでは、フィールド画像を複数の画素から構成される領域(ブロック)に分割し、互いに異なる時刻の2つのフィールド画像間にて、ブロックを比較し、両者の相関度を評価し、相関度が最小のブロックを求める。こうして求められた2つのフィールド画像のブロックより動きベクトルが得られる。相関度として、2つのフィールド画像のブロックの画素間の差分絶対値の累積値SAD(Sum of Absolute Error)が使用される。即ち、SADが最小のブロックより動きベクトルが求められる。   A motion vector detection method based on block matching will be described with reference to FIG. In block matching, a field image is divided into regions (blocks) composed of a plurality of pixels, blocks are compared between two field images at different times, and the degree of correlation between the two is evaluated. Find the smallest block. A motion vector is obtained from the blocks of the two field images thus obtained. As the degree of correlation, a cumulative value SAD (Sum of Absolute Error) of absolute differences between pixels of two field image blocks is used. That is, the motion vector is obtained from the block having the smallest SAD.

動きベクトルを正確に検出するには、ブロックを正確に検出する必要がある。しかしながら、ブロックマッチングでは、SADの最小となるブロックを選択するため、正しくないブロックでもSADがゼロ又は小さい場合に、正しいブロックであると解釈される場合がある。   In order to accurately detect a motion vector, it is necessary to accurately detect a block. However, in block matching, since the block having the smallest SAD is selected, an incorrect block may be interpreted as a correct block when the SAD is zero or small.

図6(a)は、ブロックマッチングにてブロックが正確に検出されたため、動きベクトルが正確に検出された場合を示す。トップフィールド画像101Aにおけるブロック121と次のトップフィールド画像103Aにおけるブロック123は、正確に検出されたとする。即ち、動く物体像111Aを含むブロック121と動く物体像113Aを含むブロック123の間の相関度の計算値から、両ブロックが対応することが検出された。従って、両ブロックに基づいて得られた動きベクトル150は正確である。こうして正確な動きベクトル150を使用して、ボトムフィールド画像102Aに対する補間フィールド画像102Bを生成し、両者を合成してプログレッシブ画像を生成すると、正確なプログラッシブ画像が得られる。   FIG. 6A shows a case where a motion vector is accurately detected because a block is accurately detected by block matching. It is assumed that the block 121 in the top field image 101A and the block 123 in the next top field image 103A are accurately detected. That is, it was detected that both blocks correspond from the calculated value of the correlation between the block 121 including the moving object image 111A and the block 123 including the moving object image 113A. Therefore, the motion vector 150 obtained based on both blocks is accurate. When an interpolation field image 102B for the bottom field image 102A is generated using the accurate motion vector 150 in this way, and a progressive image is generated by synthesizing both, an accurate progressive image can be obtained.

図6(b)は、ブロックマッチングにてブロックが不正確に検出されたため、動きベクトルが不正確に検出された場合を示す。トップフィールド画像101Aにおけるブロック131と次のトップフィールド画像103Aにおけるブロック133が誤って検出されたため、両ブロックに基づいて得られた動きベクトル151は不正確である。動きベクトル151の半分のベクトルによって指定された補間フィールド画像102B上のブロック132は静止画素であると誤判定される。こうして正確な動きベクトル151を使用して、ボトムフィールド画像102Aに対する補間フィールド画像102Bを生成し、両者を合成してプログレッシブ画像を生成すると、不正確なプログラッシブ画像202が得られる。   FIG. 6B shows a case where a motion vector is detected incorrectly because a block is detected incorrectly by block matching. Since the block 131 in the top field image 101A and the block 133 in the next top field image 103A are erroneously detected, the motion vector 151 obtained based on both blocks is inaccurate. The block 132 on the interpolation field image 102B designated by the half vector of the motion vector 151 is erroneously determined as a still pixel. When the interpolation field image 102B with respect to the bottom field image 102A is generated using the accurate motion vector 151 in this way, and a progressive image is generated by combining the two, an inaccurate progressive image 202 is obtained.

動き補償方式の順次走査変換では、垂直方向の解像度は低いため、物体が垂直方向に移動している場合には、高画質のプログレッシブ画像を得ることができないが、物体が水平方向に移動している場合には、高画質のプログレッシブ画像を得ることができる。しかしながら、一定の速度で移動している物体が背景の物体と重なる場合などは、前述した動き検出により得られた動きベクトルと画面上の物体の動きが異なることがある。このような場合、動き補償による補間フィールド画像の画質はフィールド内補間処理による補間フィールド画像より悪くなることがある。   In the progressive scan conversion of motion compensation method, the vertical resolution is low, so if the object is moving in the vertical direction, a high-quality progressive image cannot be obtained, but the object moves in the horizontal direction. If it is, a high-quality progressive image can be obtained. However, when an object moving at a constant speed overlaps with a background object, the motion vector obtained by the motion detection described above may be different from the motion of the object on the screen. In such a case, the image quality of the interpolation field image by motion compensation may be worse than that of the interpolation field image by intra-field interpolation processing.

このような問題を解決するために、例えば特許文献1に記載された例がある。   In order to solve such a problem, there is an example described in Patent Document 1, for example.

図10を参照して、特許文献1に記載されている順次走査変換装置の例を説明する。この順次走査変換装置は、動きベクトル検出回路1001、動き補償補間回路1002、フィールド内補間回路1003、垂直帯域通過フィルタ1004、合成回路1005、及び倍速変換回路1006を有する。入力映像信号は動きベクトル検出回路1001、動き補償補間回路1002及びフィールド内補間回路1003にそれぞれ入力される。動きベクトル検出回路1001は、動きベクトルを検出し、それを、動き補償補間回路1002、及び合成回路1005に供給する。動き補償補間回路1002は、動きベクトルに応じて例えば前フィールドの映像信号を動き補償して出力する。垂直帯域通過フィルタ1004は、動き補償した前フィールドの映像信号から、垂直高域成分を抽出する。合成回路1005は、垂直高域成分と、フィールド内補間回路から得られる現フィールドの垂直低域成分とを合成し、それを走査線の補間信号として出力する。   With reference to FIG. 10, an example of the progressive scan conversion apparatus described in Patent Document 1 will be described. The progressive scan conversion apparatus includes a motion vector detection circuit 1001, a motion compensation interpolation circuit 1002, an intra-field interpolation circuit 1003, a vertical bandpass filter 1004, a synthesis circuit 1005, and a double speed conversion circuit 1006. The input video signal is input to the motion vector detection circuit 1001, the motion compensation interpolation circuit 1002, and the intra-field interpolation circuit 1003, respectively. The motion vector detection circuit 1001 detects a motion vector and supplies it to the motion compensation interpolation circuit 1002 and the synthesis circuit 1005. The motion compensation interpolation circuit 1002 performs motion compensation on the video signal of the previous field, for example, according to the motion vector and outputs it. The vertical bandpass filter 1004 extracts a vertical high-frequency component from the motion-compensated previous-field video signal. The synthesizing circuit 1005 synthesizes the vertical high-frequency component and the vertical low-frequency component of the current field obtained from the intra-field interpolation circuit, and outputs it as an interpolation signal for the scanning line.

倍速変換回路は、入力フィールド画像と合成回路1005より出力され補間フィールド画像より、プログレッシブ画像を構成する。こうして、動きベクトルが不正確な場合でも順次走査変換した画像の画質を維持できる。   The double speed conversion circuit forms a progressive image from the input field image and the interpolated field image output from the synthesis circuit 1005. In this way, even when the motion vector is inaccurate, the image quality of the sequentially scanned image can be maintained.

特開2001−24987号公報JP 2001-24987 A

しかしながら、図10の順次走査変換装置のように動き補償を垂直高域成分に限定しても、動きベクトルが物体の実際の動きを完全に検出できない場合は補償による画像の劣化を完全に防ぐことはできない。特に、順次走査変換装置に入力されるインターレース方式のフィールド画像が画面全体で不自然な動きを有する場合、動き補償による補間処理はフィールド内補間処理に比べて画質劣化が大きくなる。   However, even if the motion compensation is limited to the vertical high-frequency component as in the progressive scan converter of FIG. 10, if the motion vector cannot completely detect the actual motion of the object, the image deterioration due to the compensation is completely prevented. I can't. In particular, when an interlaced field image input to the progressive scan converter has an unnatural motion on the entire screen, the image quality degradation is larger in the interpolation processing by motion compensation than in the intra-field interpolation processing.

入力フィールド画面全体の動きが不自然な例として、プルダウン処理によりフィルム画像から変換されたインターレース方式のフィールド画像がある。   An example of an unnatural movement of the entire input field screen is an interlaced field image converted from a film image by pull-down processing.

図3は、2:2プルダウン処理によりプログレッシブ画像からインターレース方式のフィールド画像へ変換する処理を示す。2:2プルダウン処理では、フィルムやコンピュータグラフィックス等のプログレッシブ画面から走査周波数が2倍のインターレース画像に変換する。例えば、NTSC方式の場合、走査周波数が30フレーム/秒のプログレッシブ画像から走査周波数が60フィールド/秒のインターレース画像を生成する。PAL方式の場合、走査周波数が25フレーム/秒のプログレッシブ画像から走査周波数が50フィールド/秒のインターレース画像を生成する。図示のように、1枚のプログレッシブ画像の偶数ラインからトップフィールド画像、奇数ラインからボトムフィールド画像を生成する。   FIG. 3 shows processing for converting a progressive image into an interlaced field image by 2: 2 pull-down processing. In 2: 2 pull-down processing, a progressive screen such as film or computer graphics is converted into an interlaced image having a scanning frequency of twice. For example, in the case of the NTSC system, an interlaced image having a scanning frequency of 60 fields / second is generated from a progressive image having a scanning frequency of 30 frames / second. In the case of the PAL method, an interlaced image having a scanning frequency of 50 fields / second is generated from a progressive image having a scanning frequency of 25 frames / second. As shown in the figure, a top field image is generated from even lines of a progressive image, and a bottom field image is generated from odd lines.

2:2プルダウン処理では、同一のプログレッシブ画像101からトップフィールド画像101Aとボトムフィールド画像102Aの両者を生成するため、隣接するフィールド画像101A、102Aが同一時刻の情報を有することがある。そのため、2:2プルダウン処理によって生成されたインターレース画像から順次走査変換によりプログレッシブ画像を生成すると、生成したプログレッシブ画像の画質が劣化する。   In the 2: 2 pull-down process, since both the top field image 101A and the bottom field image 102A are generated from the same progressive image 101, the adjacent field images 101A and 102A may have information of the same time. For this reason, when a progressive image is generated by progressive scan conversion from an interlaced image generated by 2: 2 pull-down processing, the image quality of the generated progressive image is degraded.

例えば、トップフィールド画像103Aに対する補間フィールド画像103Bを、2つのボトムフィールド画像102A及び104Aから、動き補償により生成する場合を考える。補間フィールド画像103Bは、2つのボトムフィールド画像102A及び104Aの中間の時刻の情報を有するものとして生成される。一方、トップフィールド画像103Aはボトムフィールド画像104Aと同一時刻の情報を有する。従って、トップフィールド画像103Aと補間フィールド画像103Bを合成して生成されるプログレッシブ画像は互いに異なる時刻の情報を合成したものとなり、画像が劣化する。   For example, consider a case where an interpolation field image 103B for the top field image 103A is generated from two bottom field images 102A and 104A by motion compensation. The interpolation field image 103B is generated as having intermediate time information between the two bottom field images 102A and 104A. On the other hand, the top field image 103A has information at the same time as the bottom field image 104A. Therefore, the progressive image generated by combining the top field image 103A and the interpolation field image 103B is a combination of information at different times, and the image deteriorates.

特に、入力フィールド画像が動いている物体を含む場合、上下に隣接する偶数ラインと奇数ラインの画素値に大きな差が生じ、視覚上コーミングと呼ばれる現象が発生する。   In particular, when the input field image includes a moving object, a large difference occurs between the pixel values of the even lines and the odd lines that are vertically adjacent to each other, and a phenomenon called visual combing occurs.

図4は、3:2プルダウン処理によりプログレッシブ画像からインターレース方式のフィールド画像への変換する処理を示す。3:2プルダウン処理では、フィルムやコンピュータグラフィックス等のプログレッシブ画面から走査周波数が2.5倍のインターレース画像に変換する。例えば、NTSC方式の場合、走査周波数が24フレーム/秒のプログレッシブ画像から走査周波数が60フィールド/秒のインターレース画像を生成する。図示のように、1枚のプログレッシブ画像より2枚のフィールド画像と3枚のフィールド画像を交互に生成する。例えば、1枚のプログレッシブ画像101の偶数ラインからトップフィールド画像101A、奇数ラインからボトムフィールド画像102Aを生成し、次のプログレッシブ画像103の偶数ラインから2枚のトップフィールド画像103A、105A、奇数ラインから1枚のボトムフィールド画像104Aを生成する。   FIG. 4 shows processing for converting a progressive image into an interlaced field image by 3: 2 pull-down processing. In 3: 2 pull-down processing, a progressive screen such as film or computer graphics is converted into an interlaced image having a scanning frequency of 2.5 times. For example, in the case of the NTSC system, an interlaced image having a scanning frequency of 60 fields / second is generated from a progressive image having a scanning frequency of 24 frames / second. As shown in the drawing, two field images and three field images are alternately generated from one progressive image. For example, a top field image 101A is generated from an even line of one progressive image 101, a bottom field image 102A is generated from an odd line, and two top field images 103A, 105A and an odd line are generated from an even line of the next progressive image 103. One bottom field image 104A is generated.

3:2プルダウン処理によって得られたフィールド画像より動き補償により補間フィールド画像を生成し、両者を合成してプログレッシブ画像を生成すると、2:2プルダウン処理によって得られたフィールド画像の場合と同様な画像劣化の問題が生じる。   When an interpolated field image is generated by motion compensation from a field image obtained by 3: 2 pull-down processing, and a progressive image is generated by synthesizing both, an image similar to the case of a field image obtained by 2: 2 pull-down processing is obtained. Deterioration issues arise.

インターレース方式のフィールド画像が不自然な動きを示す別の例として、通常のフィールド周波数で撮影された各フィールド画像を繰り返し表示することによりスローモーション表示させた画像がある。この処理では、スローモーションの再生速度によりフィールド画像の繰り返し表示回数が決定される。このような画像では、同じフィールド画像が繰り返し表示された場合にフィールド画像間の動きがゼロとなるため、前述の2:2プルダウン処理や3:2プルダウン処理と同様、隣接するフィールド画像間の動き量が不規則になる。結果として、動き補償による補間フィールド画像により生成されたプログレッシブ画像はコーミングが発生することがある。   Another example in which interlaced field images exhibit unnatural motion is an image that is displayed in slow motion by repeatedly displaying each field image captured at a normal field frequency. In this process, the number of repeated display of the field image is determined by the slow motion playback speed. In such an image, when the same field image is repeatedly displayed, the motion between the field images becomes zero. Therefore, the motion between adjacent field images is the same as the above-described 2: 2 pull-down processing and 3: 2 pull-down processing. The amount becomes irregular. As a result, the progressive image generated by the interpolation field image by motion compensation may be combed.

インターレース方式の画像が不自然な動きを示すもう一つの例として、スキャンレート変換処理された画像がある。例えば、NTSCとPALの間で変換された動画像は、前記スキャンレート変換処理の影響により、変換後のフィールド画像間の動きが不規則になることがある。結果として、動き補償による補間フィールド画像により生成されたプログレッシブ画像はコーミングが発生することがある。   Another example in which an interlaced image exhibits unnatural motion is an image that has been subjected to scan rate conversion processing. For example, a moving image converted between NTSC and PAL may have irregular motion between converted field images due to the influence of the scan rate conversion process. As a result, the progressive image generated by the interpolation field image by motion compensation may be combed.

本発明の目的は、このような不自然な動きを示す画像が入力された場合でも画質劣化を回避することができる動き補償による順次走査変換を行う装置を提供することにある。   An object of the present invention is to provide an apparatus that performs progressive scan conversion by motion compensation that can avoid image quality degradation even when an image showing such an unnatural motion is input.

本発明によると、順次走査変換装置は、入力されたフィールド画像を遅延させるフィールドメモリと、表示時刻の異なる2つのフィールド画像より動きベクトル及び相関情報を検出する動き検出部と、前記動きベクトルを用いて動き補償による補間フィールド画像を生成する動き補償部と、入力フィールド画像よりフィールド内補間フィールド画像を生成するフィールド内補間画像生成部と、前記動き補償による補間フィールド画像と前記フィールド内補間フィールド画像を所定のブレンド率にてブレンドすることにより補間フィールド画像を生成するブレンド部と、前記ブレンド部によって生成された補間フィールド画像と入力フィールド画像を組み合わせることによりプログレッシブ画像を生成するプログレッシブ画像生成部と、入力フィールド画像、前記動き補償による補間フィールド画像、及び、前記相関情報を用いて前記動き補償による補間フィールド画像の信頼性を判定する信頼性判定部とを有し、該信頼性判定部は、信頼性の判定結果に応じて前記ブレンド部のブレンド率を制御する。   According to the present invention, the progressive scan conversion apparatus uses a field memory that delays an input field image, a motion detection unit that detects a motion vector and correlation information from two field images having different display times, and the motion vector. A motion compensation unit for generating an interpolation field image by motion compensation, an intra-field interpolation image generation unit for generating an intra-field interpolation field image from an input field image, an interpolation field image by the motion compensation and the intra-field interpolation field image A blend unit that generates an interpolated field image by blending at a predetermined blend rate, a progressive image generating unit that generates a progressive image by combining the interpolated field image generated by the blend unit and the input field image, and an input F A reliability determination unit that determines reliability of the interpolation field image based on motion compensation using the correlation information, and a reliability determination unit that determines reliability of the field image, the interpolation field image based on motion compensation, and the correlation information. The blend ratio of the blend portion is controlled according to the determination result.

本発明によると、前記信頼性判定部は、信頼性の判定結果に応じて前記動き検出部からの動きベクトルの出力を制御する。   According to the present invention, the reliability determination unit controls the output of a motion vector from the motion detection unit according to a reliability determination result.

本発明によると、更に入力フィールド画像におけるシーンチェンジを検出するシーンチェンジ検出部を有し、該シーンチェンジ検出部がシーンチェンジを検出した後の一定期間、前記信頼性判定部が出力する信頼性判定結果を制御する。   According to the present invention, there is further provided a scene change detection unit for detecting a scene change in the input field image, and the reliability determination output from the reliability determination unit for a certain period after the scene change detection unit detects the scene change. Control the result.

本発明によると、更に入力フィールド画像がビデオ画像、2:2プルダウン処理によるフィールド画像及び3:2プルダウン処理によるフィールド画像のいずれであるかを検出するフィルム検出部を有し、該フィルム検出部が2:2プルダウン処理または3:2プルダウン処理を判定中の期間、前記信頼性判定部が出力する信頼性判定結果を制御する。   According to the present invention, there is further provided a film detection unit for detecting whether the input field image is a video image, a field image by 2: 2 pull-down processing, or a field image by 3: 2 pull-down processing, and the film detection unit The reliability determination result output by the reliability determination unit is controlled during a period during which 2: 2 pull-down processing or 3: 2 pull-down processing is being determined.

本発明によれば、不自然な動きを有する動画像を順次走査変換装置に入力した場合に、動き補償による画質劣化を防ぐことができる。   According to the present invention, it is possible to prevent image quality degradation due to motion compensation when a moving image having an unnatural motion is input to the progressive scan converter.

図1を参照して本発明の順次走査変換装置の第1の例を説明する。本例の順次走査変換装置は、第1のフィールドメモリ10、第2のフィールドメモリ11、動き検出部12、動き補償部13、フィールド内補間画像生成部14、ブレンド部15、プログレッシブ画像生成部16、及び、信頼性判定部17を有する。   A first example of the progressive scan converter of the present invention will be described with reference to FIG. The progressive scan conversion apparatus of this example includes a first field memory 10, a second field memory 11, a motion detection unit 12, a motion compensation unit 13, an intra-field interpolation image generation unit 14, a blending unit 15, and a progressive image generation unit 16. And a reliability determination unit 17.

入力フィールド画像21は、先ず、第1のフィールドメモリ10及び動き検出部12に供給される。第1のフィールドメモリ10からのフィールド画像22は、第2のフィールドメモリ11及びフィールド内補間画像生成部14に供給される。   First, the input field image 21 is supplied to the first field memory 10 and the motion detection unit 12. The field image 22 from the first field memory 10 is supplied to the second field memory 11 and the intra-field interpolation image generation unit 14.

第1及び第2のフィールドメモリ10、11は、それぞれ、1フィールド画像分だけ蓄積し、それを1フィールド期間毎に出力する。従って、第1のフィールドメモリ10からは、入力フィールド画像21より1フィールド期間過去のフィールド画像22が出力され、第2のフィールドメモリ11からは、入力フィールド画像21より2フィールド(1フレーム)期間過去のフィールド画像23が出力される。   Each of the first and second field memories 10 and 11 stores one field image and outputs it for each field period. Accordingly, the first field memory 10 outputs a field image 22 that is one field period past from the input field image 21, and the second field memory 11 outputs two field (one frame) period past from the input field image 21. Field image 23 is output.

動き検出部12は、入力フィールド画像21とそれより2フィールド(1フレーム)期間過去のフィールド画像23の間で、ブロックマッチングを行い、動きベクトル29及び相関情報28を検出する。ブロックマッチングは、図6を参照して説明したように、フィールド画像をブロックに分割し、ブロック毎に、2つのフィールド画像を比較する処理であり、周知技術であり、ここでは詳細に説明しない。動き検出部12は、相関情報28を信頼性判定部17に出力し、動きベクトル29を動き補償部13に出力する。相関情報28として、動きベクトルが示すブロックの各画素に対する差分絶対値和SAD(Sum of Absolute Error)を用いてよい。以下に、相関情報28としてSADを用いる場合を説明する。   The motion detection unit 12 performs block matching between the input field image 21 and the field image 23 past two fields (one frame), thereby detecting a motion vector 29 and correlation information 28. As described with reference to FIG. 6, block matching is a process of dividing a field image into blocks and comparing two field images for each block, and is a well-known technique, and will not be described in detail here. The motion detection unit 12 outputs the correlation information 28 to the reliability determination unit 17 and outputs the motion vector 29 to the motion compensation unit 13. As the correlation information 28, a sum of absolute values SAD (Sum of Absolute Error) for each pixel of the block indicated by the motion vector may be used. Hereinafter, a case where SAD is used as the correlation information 28 will be described.

動き補償部13は、動き検出部12からの動きベクトル29を用いて、動き補償処理を行い、入力フィールド画像21より1フィールド期間過去の補間フィールド画像25を生成する。動き補償処理の例として、ブロック毎に、2フィールド(1フレーム)期間過去の入力フィールド画像23を動きベクトル29の半分の大きさだけ移動させることにより補間フィールド画像を生成する方法がある。また、別の動き補償処理の例として、ブロック毎に、2フィールド(1フレーム)期間過去の入力フィールド画像23を動きベクトル29の半分の大きさだけ移動させたフィールド画像と、入力フィールド画像21を動きベクトル29の半分の大きさだけ逆方向に移動させたフィールド画像を1対1の割合で混合させることにより補間フィールド画像を生成する方法がある。本発明は動き補償処理の動作を限定しないものとする。   The motion compensation unit 13 performs motion compensation processing using the motion vector 29 from the motion detection unit 12, and generates an interpolation field image 25 that is one field period past from the input field image 21. As an example of motion compensation processing, there is a method of generating an interpolated field image by moving the input field image 23 in the past for two fields (one frame) by a half size of the motion vector 29 for each block. As another example of motion compensation processing, for each block, a field image obtained by moving the input field image 23 in the past of two fields (one frame) by half the size of the motion vector 29, and the input field image 21 are There is a method of generating an interpolated field image by mixing field images shifted in the opposite direction by half the magnitude of the motion vector 29 at a ratio of 1: 1. The present invention does not limit the operation of the motion compensation process.

動き補償部13によって生成された補間フィールド画像25は、信頼性判定部17及びブレンド部15に出力される。   The interpolated field image 25 generated by the motion compensation unit 13 is output to the reliability determination unit 17 and the blend unit 15.

フィールド内補間画像生成部14は、第1のフィールドメモリ10からのフィールド画像22を入力し、フィールド内補間を行い、入力フィールド画像21より1フィールド期間過去の補間フィールド画像24を生成する。フィールド内補間は、図5(b)を参照して説明したように、同一時刻フィールド画像にて、隣接する走査線の平均値を計算することにより走査線補間を行う処理であり、周知技術であり、ここでは詳細に説明しない。   The intra-field interpolated image generation unit 14 receives the field image 22 from the first field memory 10, performs intra-field interpolation, and generates an interpolated field image 24 past one field period from the input field image 21. As described with reference to FIG. 5B, intra-field interpolation is a process for performing scanning line interpolation by calculating an average value of adjacent scanning lines in the same time field image. Yes, not described in detail here.

信頼性判定部17は、先ず、動き補償部13によって生成された補間フィールド画像25の信頼性、即ち、動きベクトルの信頼性を判定する。信頼性の判定には、コーミングの検出数と動き検出部12からの相関情報を用いる。先ずコーミングについて説明する。信頼性判定部17は、第1フィールドメモリ10からのフィールド画像22と動き補償部13からの補間フィールド画像25を合成してコーミング検出用のプログレッシブ画像を生成する。動きベクトル29の信頼性が低い場合には、コーミング検出用のプログレッシブ画像にコーミングが生じる。従って、コーミング検出用のプログレッシブ画像よりコーミングを検出することによって、動きベクトル29の信頼性を判定することができる。   The reliability determination unit 17 first determines the reliability of the interpolation field image 25 generated by the motion compensation unit 13, that is, the reliability of the motion vector. For the determination of reliability, the number of combing detections and the correlation information from the motion detection unit 12 are used. First, combing will be described. The reliability determination unit 17 synthesizes the field image 22 from the first field memory 10 and the interpolated field image 25 from the motion compensation unit 13 to generate a progressive image for combing detection. When the reliability of the motion vector 29 is low, combing occurs in the progressive image for combing detection. Therefore, the reliability of the motion vector 29 can be determined by detecting combing from the progressive image for detecting combing.

コーミングを判定するには、例えば、コーミング判定用のプログレッシブ画像において、垂直方向に連続する一定数の画素列を取り出し、上下に隣接する画素値の差分の絶対値を所定の閾値と比較する。全ての差分の絶対値が所定の閾値より大きい場合に、その画素列にコーミングがあると判定する。   In order to determine combing, for example, in a progressive image for combing determination, a certain number of pixel rows continuous in the vertical direction are extracted, and the absolute value of the difference between pixel values adjacent to each other is compared with a predetermined threshold value. When the absolute values of all the differences are larger than a predetermined threshold, it is determined that there is combing in the pixel column.

信頼性判定部17は、動き検出部12からの相関情報、即ち、SADの累積値又はSADの平均値が第1の閾値より大きい場合、又は、コーミング判定用のプログレッシブ画像にて検出したコーミングの総数が第2の閾値より多い場合、動きベクトルの信頼性は低いと判定する。尚、動き検出部12からの相関情報、即ち、SADが大きく、かつコーミング数が多い場合に、動きベクトルの信頼性が低いと判定してもよい。   The reliability determination unit 17 correlates the correlation information from the motion detection unit 12, that is, when the cumulative value of SAD or the average value of SAD is greater than the first threshold value, or the combing detected in the progressive image for combing determination When the total number is larger than the second threshold, it is determined that the reliability of the motion vector is low. Note that when the correlation information from the motion detection unit 12, that is, the SAD is large and the number of combing is large, it may be determined that the reliability of the motion vector is low.

信頼性判定部17は、次に、動きベクトルの信頼性の判定結果に基づいて、ブレンド率30を生成し、及び、動き検出部12の出力制御31を行う。ブレンド率30は、ブレンド部15において、フィールド内補間画像生成部14からの補間フィールド画像24に対する動き補償部13からの補間フィールド画像25の混合比率である。動きベクトル29の信頼性が低い場合には、動き補償部13からの補間フィールド画像25の比率を小さくする。例えば、動き補償部13からの補間フィールド画像25の比率を0%とする。動きベクトル29の信頼性が高い場合には、動き補償部13からの補間フィールド画像25の比率を大きくする。例えば、ブレンド率が20%(1:4)の場合、動き補償部13からの補間フィールド画像25とフィールド内補間画像生成部14からの補間フィールド画像24は、1:4の割合で混合される。   Next, the reliability determination unit 17 generates a blend rate 30 based on the determination result of the reliability of the motion vector, and performs output control 31 of the motion detection unit 12. The blend ratio 30 is a mixing ratio of the interpolation field image 25 from the motion compensation unit 13 to the interpolation field image 24 from the intra-field interpolation image generation unit 14 in the blending unit 15. When the reliability of the motion vector 29 is low, the ratio of the interpolation field image 25 from the motion compensation unit 13 is reduced. For example, the ratio of the interpolation field image 25 from the motion compensation unit 13 is set to 0%. When the reliability of the motion vector 29 is high, the ratio of the interpolation field image 25 from the motion compensation unit 13 is increased. For example, when the blend rate is 20% (1: 4), the interpolation field image 25 from the motion compensation unit 13 and the interpolation field image 24 from the intra-field interpolation image generation unit 14 are mixed at a ratio of 1: 4. .

信頼性判定部17は、ブレンド率30をブレンド部15に出力する。信頼性判定部17は、ブレンド率30を、第1フィールドメモリ10からのフィールド画像22のタイミングと同一のタイミングにて出力する。従って、信頼性判定部17における信頼性の判定は、第1フィールドメモリ10からのフィールド画像22のタイミングと同一のタイミングにて実行される。   The reliability determination unit 17 outputs the blend rate 30 to the blend unit 15. The reliability determination unit 17 outputs the blend ratio 30 at the same timing as the timing of the field image 22 from the first field memory 10. Therefore, the reliability determination in the reliability determination unit 17 is executed at the same timing as the timing of the field image 22 from the first field memory 10.

信頼性判定部17は、動きベクトルの信頼性の判定結果に基づいて、動き検出部12から出力される動きベクトル29を調整する。動きベクトルの信頼性が低い場合には、動き検出部12から動き補償部13に出力される動きベクトル29を、例えば、ゼロに設定する。又は、動き検出部12が検出した動きベクトルがゼロでない場合に、ブロックのマッチングを評価する関数に一定値を加算することにより動きベクトルがゼロとなり易くなるように制御する。それにより、静止状態以外の不自然な動き量の検出を防止することができる。   The reliability determination unit 17 adjusts the motion vector 29 output from the motion detection unit 12 based on the determination result of the motion vector reliability. When the reliability of the motion vector is low, the motion vector 29 output from the motion detection unit 12 to the motion compensation unit 13 is set to, for example, zero. Alternatively, when the motion vector detected by the motion detection unit 12 is not zero, control is performed so that the motion vector is likely to be zero by adding a constant value to a function for evaluating block matching. Thereby, it is possible to prevent detection of an unnatural amount of movement other than the stationary state.

ブレンド部15は、信頼性判定部17からのブレンド率30に基づいて、動き補償部13からの補間フィールド画像25とフィールド内補間画像生成部14からの補間フィールド画像24を混合し、最終的な補間フィールド画像26を生成する。ブレンド部15は、生成した補間フィールド画像26をプログレッシブ画像生成部16に出力する。尚、ブレンド部15からプログレッシブ画像生成部16に出力される補間フィールド画像26は、入力フィールド画像21より1フィールド期間過去のフィールド画像である。   The blend unit 15 mixes the interpolation field image 25 from the motion compensation unit 13 and the interpolation field image 24 from the intra-field interpolation image generation unit 14 based on the blend rate 30 from the reliability determination unit 17, and finally An interpolation field image 26 is generated. The blend unit 15 outputs the generated interpolation field image 26 to the progressive image generation unit 16. The interpolated field image 26 output from the blending unit 15 to the progressive image generating unit 16 is a field image that is one field period past from the input field image 21.

プログレッシブ画像生成部16は、第1のフィールドメモリ10からのフィールド画像22とブレンド部15からの補間フィールド画像26とを組み合わせてプログレッシブ画像27を構成し出力する。プログレッシブ画像27は、入力フィールド画像21より1フィールド期間過去の画像である。   The progressive image generating unit 16 combines the field image 22 from the first field memory 10 and the interpolated field image 26 from the blending unit 15 to form a progressive image 27 and output it. The progressive image 27 is an image past one field period from the input field image 21.

図2を参照して本発明の順次走査変換装置の第2の例を説明する。本例の順次走査変換装置は、図1の第1の例と比較して、フィルム検出部18、及び、シーンチェンジ検出部19が付加的に設けられている点が異なる。ここでは、第1の例と異なる部分について説明する。   A second example of the progressive scan converter of the present invention will be described with reference to FIG. The progressive scan conversion apparatus of this example is different from the first example of FIG. 1 in that a film detection unit 18 and a scene change detection unit 19 are additionally provided. Here, a different part from a 1st example is demonstrated.

フィルム検出部18は、入力フィールド画像21を入力し、それが、インターレース方式のビデオ映像からの画像であるか、フィルム映像を2:2プルダウン処理したことによって得られたフィールド画像であるか、又は、3:2プルダウン処理によって得られたフィールド画像であるか、を検出し、検出結果32を信頼性判定部17及びプログレッシブ画像生成部16に出力する。   The film detection unit 18 inputs an input field image 21, and is an image from an interlaced video image, a field image obtained by performing 2: 2 pull-down processing on a film image, or Whether the field image is obtained by the 3: 2 pull-down process is detected, and the detection result 32 is output to the reliability determination unit 17 and the progressive image generation unit 16.

プルダウン処理による画像であるか否かを検出する一般的な方法として、隣接するフィールド画像が同一時刻のフィールド画像であるか否かを検出し、同一時刻のフィールド画像の連続期間又はその周期を調べればよい。例えば、図3に示したように、同一時刻のフィールド画像が2個ずつ連続する場合には、2:2プルダウン処理によるフィールド画像であると判定し、図4に示したように、同一時刻のフィールド画像が2個連続した後に3個連続する場合には、3:2プルダウン処理によるフィールド画像であると判定することができる。   As a general method for detecting whether or not an image is a pull-down process, it is possible to detect whether or not adjacent field images are field images at the same time, and examine the continuous period or period of the field images at the same time. That's fine. For example, as shown in FIG. 3, when two field images of the same time are consecutive, it is determined that the field image is a 2: 2 pull-down process, and as shown in FIG. When three field images continue after two field images, it can be determined that the field image is a 3: 2 pull-down process.

プルダウン処理による画像であるか否かを検出するには、入力フィールド画像を数フィールド期間に亘って、隣接するフィールド画像間の相関を評価する必要がある。特に誤検出を回避し、高精度にて検出するためには、より長期間に亘って、入力フィールド画像間の相関を評価する必要がある。従って、フィルム検出部18による検出結果は、入力フィールド画像の入力と同時に行うことはできない。   In order to detect whether or not the image is a pull-down process, it is necessary to evaluate the correlation between adjacent field images over several field periods of the input field image. In particular, in order to avoid erroneous detection and detect with high accuracy, it is necessary to evaluate the correlation between input field images over a longer period. Therefore, the detection result by the film detection unit 18 cannot be performed simultaneously with the input of the input field image.

図7は、フィルム検出のタイミングを示したものである。図7(a)は、入力フィールド画像が1/60秒毎に入力されている状態を模式的に示す。図7(b)は、入力フィールド画像の実際のソースを示す。時刻t1までの入力フィールド画像は、インターレース方式のビデオ映像をソースとし、時刻t1からの入力フィールド画像は、フィルム映像をソースとする画像であることを示す。即ち、入力フィールド画像は、時刻t1にて、インターレース方式のビデオ映像からフィルム映像をプルダウン処理したフィールド画像に切り替わったことを示す。   FIG. 7 shows the timing of film detection. FIG. 7A schematically shows a state in which an input field image is input every 1/60 seconds. FIG. 7B shows the actual source of the input field image. The input field image up to time t1 indicates that an interlaced video image is the source, and the input field image from time t1 is an image whose source is a film image. That is, the input field image indicates that, at time t1, the field image is switched from the interlace video image to the field image obtained by pulling down the film image.

図7(c)は、フィルム検出部18による検出結果の遅れを示す。図示のように、フィルム検出部18は、実際に入力フィールド画像のソースが変化した時刻t1より遅い時刻t2までの期間402、入力フィールド画像のソースがビデオ映像であるとの検出結果を出力する。時刻t1より後の時刻t2から時刻t3までの期間400にて、フィルム検出部18は、入力フィールド画像のソースを判定する。時刻t3にて、入力フィールド画像のソースが変化したとの判定結果を出力する。従って、フィルム検出部18は、入力フィールド画像のソースがフィルム画像であるとの検出結果を出力するのは、時刻t3より後の期間401である。   FIG. 7C shows a delay in the detection result by the film detection unit 18. As shown in the figure, the film detection unit 18 outputs a detection result that the source of the input field image is a video image during a period 402 until time t2 later than the time t1 when the source of the input field image actually changed. In a period 400 from time t2 to time t3 after time t1, the film detection unit 18 determines the source of the input field image. At time t3, a determination result that the source of the input field image has changed is output. Therefore, the film detector 18 outputs a detection result that the source of the input field image is a film image during a period 401 after the time t3.

次に、シーンチェンジ検出部19について説明する。シーンチェンジ検出部19は、入力フィールド画像におけるシーンの変化点、即ち、シーンチェンジを検出し、検出結果33を信頼性判定部17に出力する。一般に、入力フィールド画像のソースが切り替わると、画像内容が変化し、シーンチェンジと判定する可能性が高い。従って、シーンチェンジの検出を、入力フィールド画像のソースが切り替わったとの判断材料の1つとして利用することができる。シーンチェンジを検出する一般的な方法として、隣接するフィールド画像の間の相関を評価し、相関が所定の閾値より小さいと判定されたときにシーンチェンジと判定する方法がある。   Next, the scene change detection unit 19 will be described. The scene change detection unit 19 detects a scene change point in the input field image, that is, a scene change, and outputs a detection result 33 to the reliability determination unit 17. Generally, when the source of the input field image is switched, the image content changes, and there is a high possibility of determining a scene change. Therefore, the detection of the scene change can be used as one of the judgment materials that the source of the input field image has been switched. As a general method of detecting a scene change, there is a method of evaluating a correlation between adjacent field images and determining a scene change when it is determined that the correlation is smaller than a predetermined threshold.

入力フィールド画像のソースが切り替わった直後は、プログレッシブ画像の画質が劣化する可能性がある。本例では、入力フィールド画像のソースの切り替わりに起因するプログレッシブ画像の画質劣化を防止するために、以下の処理を行う。   Immediately after the source of the input field image is switched, the image quality of the progressive image may be deteriorated. In this example, the following processing is performed in order to prevent the deterioration of the image quality of the progressive image due to the switching of the source of the input field image.

シーンチェンジ検出部19は、シーンチェンジを検出した直後より一定期間403、シーンチェンジされたことを信頼性判定部17に出力する。   The scene change detection unit 19 outputs to the reliability determination unit 17 that the scene has been changed for a certain period 403 immediately after detecting the scene change.

フィルム検出部18は検出結果、即ち、入力フィールド画像のソースがビデオ画像である、2:2プルダウン検出中である、3:2プルダウン検出中である、入力フィールド画像が2:2プルダウンによる画像である、入力フィールド画像が3:2プルダウンによる画像である、等を信頼性判定部17及びプログレッシブ画像生成部16に出力する。   The film detection unit 18 detects the detection result, that is, the source of the input field image is a video image, the 2: 2 pulldown is being detected, the 3: 2 pulldown is being detected, and the input field image is an image by 2: 2 pulldown. A certain input field image is an image by 3: 2 pull-down, and the like are output to the reliability determination unit 17 and the progressive image generation unit 16.

信頼性判定部17は、第1の例にて使用した条件に追加して、シーンチェンジ検出部19からのシーンチェンジ直後の期間403、またはフィルム検出部18からの検出結果に基づいて、動き補償の動作を制限する。   The reliability determination unit 17 adds motion compensation based on the period 403 immediately after the scene change from the scene change detection unit 19 or the detection result from the film detection unit 18 in addition to the conditions used in the first example. Limit the behavior of

プログレッシブ画像生成部16は、フィルム検出部18より2:2プルダウン画像が検出されたと出力されたときに、図8に示すように、補間フィールド画像を用いずに同一時刻のトッップフィールド画像及びボトムフィールド画像よりプログレッシブ画像を構成する。また、プログレッシブ画像生成部16は、フィルム検出部18より3:2プルダウン画像が検出されたと出力されたときに、図9に示すように、補間フィールド画像を用いずに同一時刻のトッップフィールド画像及びボトムフィールド画像又はボトムフィールド画像及びトップフィールド画像よりプログレッシブ画像を構成する。   When the progressive image generation unit 16 outputs that the 2: 2 pull-down image is detected from the film detection unit 18, as shown in FIG. 8, the top field image and the bottom field at the same time are used without using the interpolation field image. A progressive image is constructed from the image. Further, when the progressive image generation unit 16 outputs that the 3: 2 pull-down image is detected from the film detection unit 18, as shown in FIG. 9, the top-field image and the same time without using the interpolation field image are displayed. A progressive image is composed of a bottom field image or a bottom field image and a top field image.

こうして本例では、ビデオ画像からプルダウン処理による画像に切り替わって入力されたときに、プログレッシブ画像の画質を劣化させることなく、動き補償による順次走査変換を行う。   Thus, in this example, when a video image is switched to an image by pull-down processing and input, progressive scan conversion by motion compensation is performed without degrading the image quality of the progressive image.

以上、本発明の例を説明したが、本発明は上述の例に限定されるものではなく、特許請求の範囲に記載された発明の範囲にて様々な変更が可能であることは当業者に理解されよう。   The example of the present invention has been described above, but the present invention is not limited to the above-described example, and various modifications can be made by those skilled in the art within the scope of the invention described in the claims. It will be understood.

本発明の動き補償順次走査変換装置の第1の例を示す図である。It is a figure which shows the 1st example of the motion compensation progressive scan conversion apparatus of this invention. 本発明の動き補償順次走査変換装置の第2の例を示す図である。It is a figure which shows the 2nd example of the motion compensation progressive scanning conversion apparatus of this invention. フィルム映像から2:2プルダウン処理によりインターレース方式のフィールド画像を生成する方法を示す図である。It is a figure which shows the method of producing | generating the field image of an interlace system by 2: 2 pull-down process from a film image | video. フィルム映像から3:2プルダウン処理によりインターレース方式のフィールド画像を生成する方法を示す図である。It is a figure which shows the method of producing | generating the field image of an interlace system from 3: 2 pull-down process from a film image | video. フィールド内補間と動き補償補間を説明するための図である。It is a figure for demonstrating intra-field interpolation and motion compensation interpolation. 動き補償補間を示す図である。It is a figure which shows motion compensation interpolation. フィルム検出動作の一例を示す図である。It is a figure which shows an example of film detection operation | movement. 2:2プルダウン画像に対する順次走査変換処理の一例を示す図である。It is a figure which shows an example of the progressive scanning conversion process with respect to 2: 2 pull-down image. 3:2プルダウン画像に対する順次走査変換処理の一例を示す図である。It is a figure which shows an example of the progressive scanning conversion process with respect to 3: 2 pull-down image. 動き補償順次走査変換回路の従来例を示した平面図である。It is the top view which showed the prior art example of the motion compensation progressive scan conversion circuit.

符号の説明Explanation of symbols

10、11…フィールドメモリ、12…動き検出部、13…動き補償部、14…フィールド内補間画像生成部、15…ブレンド部、16…プログレッシブ画像生成部、17…信頼性判定部、18…フィルム検出部、19…シーンチェンジ検出部、28…相関情報、29…動きベクトル DESCRIPTION OF SYMBOLS 10, 11 ... Field memory, 12 ... Motion detection part, 13 ... Motion compensation part, 14 ... Inter-field interpolation image generation part, 15 ... Blend part, 16 ... Progressive image generation part, 17 ... Reliability determination part, 18 ... Film Detection unit, 19 ... Scene change detection unit, 28 ... Correlation information, 29 ... Motion vector

Claims (4)

入力されたフィールド画像を遅延させるフィールドメモリと、表示時刻の異なる2つのフィールド画像より動きベクトル及び相関情報を検出する動き検出部と、前記動きベクトルを用いて動き補償による補間フィールド画像を生成する動き補償部と、入力フィールド画像よりフィールド内補間フィールド画像を生成するフィールド内補間画像生成部と、前記動き補償による補間フィールド画像と前記フィールド内補間フィールド画像を所定のブレンド率にてブレンドすることにより補間フィールド画像を生成するブレンド部と、前記ブレンド部によって生成された補間フィールド画像と入力フィールド画像を組み合わせることによりプログレッシブ画像を生成するプログレッシブ画像生成部と、入力フィールド画像、前記動き補償による補間フィールド画像、及び、前記相関情報を用いて前記動き補償による補間フィールド画像の信頼性を判定する信頼性判定部とを有し、
前記動き検出部は、前記2つのフィールド画像間でブロックマッチングを行いブロック間の画素値の差分絶対値和を前記相関情報として出力し、
前記信頼性判定部は、画面全体における前記差分絶対値和の累積値、または前記差分絶対値和の平均値が第1の閾値より大きい場合に、前記動き補償による補間フィールド画像の信頼性が低いと判定し、
更に、前記信頼性判定部は、上記入力フィールド画像と前記動き補償による補間フィールド画像を合成してコーミング判定用のプログレッシブ画像を生成し、前記コーミング判定用のプログレッシブ画像において、垂直方向に連続する一定数の画素列を取り出し、上下に隣接する画素値の差分の絶対値の全てが所定の閾値より大きい場合に、その画素列にコーミングがあると判定し、該コーミング判定用のプログレッシブ画像におけるコーミング数が第2の閾値より多いときに、前記動き補償による補間フィールド画像の信頼性が低いと判定し、
前記信頼性判定部は、信頼性の判断結果に応じて、前記ブレンド部のブレンド率を制御することを特徴とする順次走査変換装置。
A field memory that delays an input field image, a motion detection unit that detects a motion vector and correlation information from two field images having different display times, and a motion that generates an interpolation field image by motion compensation using the motion vector A compensation unit, an intra-field interpolated image generating unit that generates an intra-field interpolated field image from the input field image, and interpolating by blending the interpolated field image by the motion compensation and the intra-field interpolated field image at a predetermined blend rate A blend unit that generates a field image, a progressive image generation unit that generates a progressive image by combining the interpolated field image generated by the blend unit and the input field image, an input field image, and interpolation based on the motion compensation Field image, and, and a reliability determination unit configured to determine reliability of the interpolation field image by the motion compensation using the correlation information,
The motion detection unit performs block matching between the two field images and outputs a sum of absolute differences of pixel values between blocks as the correlation information,
The reliability determination unit has low reliability of the interpolation field image by the motion compensation when the cumulative value of the sum of absolute differences or the average value of the sum of absolute differences is larger than a first threshold value over the entire screen. And
Further, the reliability determination unit generates a progressive image for combing determination by synthesizing the input field image and the interpolation field image by motion compensation, and in the progressive image for combing determination, a constant continuous in the vertical direction is generated. When the absolute value of the difference between adjacent pixel values is larger than a predetermined threshold, it is determined that there is combing in the pixel column, and the number of combing in the progressive image for the combing determination Is more than the second threshold value, it is determined that the reliability of the interpolation field image by the motion compensation is low,
The reliability determination unit controls a blend rate of the blend unit in accordance with a reliability determination result .
請求項1記載の順次走査変換装置において、前記信頼性判定部は、前記動き補償による補間フィールド画像の信頼性が低いと判定したとき、前記動き検出部における動きベクトルの候補をゼロベクトルのみとする、又は、動きベクトル探索においてゼロベクトル以外のベクトルに対してブロックマッチングを評価する関数に一定値を加算することによりゼロベクトルが検出され易くなるように制御することを特徴とする順次走査変換装置。   2. The progressive scan conversion apparatus according to claim 1, wherein when the reliability determination unit determines that the reliability of the interpolation field image by the motion compensation is low, the motion vector candidate in the motion detection unit is set to only a zero vector. Alternatively, a sequential scan conversion device that performs control so that a zero vector is easily detected by adding a constant value to a function that evaluates block matching for a vector other than the zero vector in motion vector search. 請求項1又は2に記載の順次走査変換装置において、更に入力フィールド画像におけるシーンチェンジを検出するシーンチェンジ検出部を有し、該シーンチェンジ検出部がシーンチェンジを検出した後の一定期間、前記信頼性判定部は前記フィールド内補間フィールド画像に対する前記補間フィールド画像のブレンド率を小さくし、又は、ゼロとすることを特徴とする順次走査変換装置。 3. The progressive scan conversion device according to claim 1, further comprising a scene change detection unit for detecting a scene change in the input field image, wherein the reliability is maintained for a certain period after the scene change detection unit detects a scene change. The sex determination unit reduces the blend ratio of the interpolated field image with respect to the intra-field interpolated field image or sets it to zero. 請求項1又は2に記載の順次走査変換装置において、更に入力フィールド画像がビデオ画像、2:2プルダウン処理によるフィールド画像及び3:2プルダウン処理によるフィールド画像のいずれであるかを検出するフィルム検出部を有し、該フィルム検出部が2:2プルダウン処理または3:2プルダウン処理を判定中の期間、前記信頼性判定部は前記フィールド内補間フィールド画像に対する前記補間フィールド画像のブレンド率を小さくし、又は、ゼロとすることを特徴とする順次走査変換装置。 3. The progressive scan conversion apparatus according to claim 1, further comprising a film detection unit for detecting whether the input field image is a video image, a field image by 2: 2 pull-down processing, or a field image by 3: 2 pull-down processing. And the reliability determination unit reduces the blend ratio of the interpolated field image with respect to the intra-field interpolated field image during a period in which the film detection unit is determining 2: 2 pulldown processing or 3: 2 pulldown processing, Alternatively, a progressive scan conversion device characterized in that it is zero.
JP2004364323A 2004-12-16 2004-12-16 Sequential scan converter Expired - Fee Related JP4339237B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004364323A JP4339237B2 (en) 2004-12-16 2004-12-16 Sequential scan converter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004364323A JP4339237B2 (en) 2004-12-16 2004-12-16 Sequential scan converter

Publications (2)

Publication Number Publication Date
JP2006174123A JP2006174123A (en) 2006-06-29
JP4339237B2 true JP4339237B2 (en) 2009-10-07

Family

ID=36674394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004364323A Expired - Fee Related JP4339237B2 (en) 2004-12-16 2004-12-16 Sequential scan converter

Country Status (1)

Country Link
JP (1) JP4339237B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5001684B2 (en) 2006-09-13 2012-08-15 富士通株式会社 Scan conversion device
US8218632B2 (en) 2006-09-20 2012-07-10 Mitsubishi Electric Corporation Frame interpolation apparatus and frame interpolation method
EP1931136B1 (en) * 2006-12-08 2016-04-20 Panasonic Intellectual Property Corporation of America Block-based line combination algorithm for de-interlacing
JP4935632B2 (en) 2007-11-07 2012-05-23 ソニー株式会社 Image processing apparatus, image processing method, and image processing program
JP4331234B2 (en) 2007-12-26 2009-09-16 株式会社東芝 Sequential scan conversion device, progressive scan conversion method, and video display device
JP5435242B2 (en) * 2008-03-21 2014-03-05 日本電気株式会社 Image processing method, image processing apparatus, and image processing program
JP5006835B2 (en) * 2008-05-07 2012-08-22 ルネサスエレクトロニクス株式会社 Error reduction method and error reduction device

Also Published As

Publication number Publication date
JP2006174123A (en) 2006-06-29

Similar Documents

Publication Publication Date Title
JP4396496B2 (en) Frame rate conversion device, video display device, and frame rate conversion method
US7057665B2 (en) Deinterlacing apparatus and method
US8497937B2 (en) Converting device and converting method of video signals
KR100303728B1 (en) Deinterlacing method of interlaced scanning video
US8115867B2 (en) Image processing device
JP5001684B2 (en) Scan conversion device
JP4575431B2 (en) Protection with corrected deinterlacing device
US20070053013A1 (en) Image signal processing apparatus and interlace-to-progressive conversion method
KR101026298B1 (en) Image processing apparatus and image processing method
JP3293561B2 (en) Image display device and image display method
JP4510874B2 (en) Composite image detector
JP2013030862A (en) Image processing apparatus, image processing method, and image display apparatus
US7379120B2 (en) Image processing device and image processing method
JP4119360B2 (en) Video format conversion apparatus and method
US7688386B2 (en) De-interlacing apparatus, de-interlacing method, and video display apparatus
JP4339237B2 (en) Sequential scan converter
JP2006109488A (en) Video processing device capable of selecting field and method thereof
JP5241632B2 (en) Image processing circuit and image processing method
JP3903703B2 (en) Sequential scan conversion circuit
JP2008160773A (en) Progressive scanning conversion apparatus, and progressive scanning conversion method
TWI692980B (en) Image processing system and method for image processing
JP2003289511A (en) Image scan converting method and apparatus
US20070040942A1 (en) 2-2 Pulldown signal detection device and a 2-2 pulldown signal detection method
JP4507841B2 (en) Image signal processing apparatus and image signal processing method
JP2009077034A (en) Video signal processor and video signal processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090331

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090701

R150 Certificate of patent or registration of utility model

Ref document number: 4339237

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130710

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees