JPWO2004017634A1 - 画像処理装置および方法、映像表示装置、ならびに記録情報再生装置 - Google Patents
画像処理装置および方法、映像表示装置、ならびに記録情報再生装置 Download PDFInfo
- Publication number
- JPWO2004017634A1 JPWO2004017634A1 JP2004528896A JP2004528896A JPWO2004017634A1 JP WO2004017634 A1 JPWO2004017634 A1 JP WO2004017634A1 JP 2004528896 A JP2004528896 A JP 2004528896A JP 2004528896 A JP2004528896 A JP 2004528896A JP WO2004017634 A1 JPWO2004017634 A1 JP WO2004017634A1
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- correlation
- line
- interpolation
- pixel line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
Abstract
斜め補間を用いた場合における誤補間を軽減し、高画質なフィールド内補間を実現することができるようにする。上側斜め相関検出部（２１）には、上上データ列（４１）および上データ列（４２）が入力され、下側斜め相関検出部（２２）には、上データ列（４２）および下データ列（４３）が入力される。下側斜め相関検出部（２２）では、補間ポイントを中心として、補間ポイントの上下の実データライン上における、左斜め方向、中央および右斜め方向の画素の相関を求める。上側斜め相関検出部（２１）では、例えば、補助的に設定された補助補間ポイントを中心として、補助補間ポイントの上下の実データライン上における、左斜め方向、中央および右斜め方向の画素の相関を求める。これらの相関に基づいて、相関の強い方向を検出し、その補間方向にある画素を用いて補間データが生成される。
Description
本発明は、例えば飛び越し（インタレース）走査から順次（プログレッシブ）走査方式への変換（ＩＰ変換）等に伴う画像補間処理を行うための画像処理装置および方法、ならびに、ＩＰ変換等の画像補間処理機能を備えた映像表示装置および記録情報再生装置に関する。
一般的なＴＶ（テレビジョン）放送、例えばＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）方式のＴＶ放送では、水平走査線数が２６２．５本のフィールド画像を１秒間に６０枚表示することで、１秒間に３０フレームの画像（１フレームの水平走査線数＝５２５本）を等価的に表示している。このように２つのフィールド画像から、１つのフレーム画像を作って表示する方式は、インタレース方式と呼ばれている。これに対し、走査線数を分割することなく、１つのフレーム画像を一度に表示する方式は、プログレッシブ方式と呼ばれている。インタレース方式が、例えば１／６０秒で水平走査線数２６２．５本のフィールド画像を表示するのに対し、プログレッシブ方式では、１／６０秒で水平走査線数５２５本のフレーム画像を表示するので、画面のちらつきが少なく、高精細な画像を表示することが可能となる。走査線数５２５本のフレーム画像をインタレース方式により表示するような映像規格を“５２５ｉ”、また、プログレッシブ方式により表示するような映像規格を“５２５ｐ”などと表記する場合がある。
ところで、従来より、インタレース方式の画像をプログレッシブ方式の画像へと変換するためのＩＰ変換装置が知られている。インタレース方式の画像（例えば走査線数２６２．５本のフィールド画像）を、プログレッシブ方式の画像（例えば走査線数５２５本のフレーム画像）へとＩＰ変換する場合、元のフィールド画像には含まれていない部分の画素データを補間して作り出す必要がある。
ＩＰ変換では、画素データの補間に関し、信号ソースごとに処理を変えることが一般に行われている。すなわち、映像が静止画である場合にはフィールド間補間、動画である場合にはフィールド内補間が行われる。例えば、第１１図に示したように、あるフィールドＦＥ２内の画素ｈを補間するポイントとすると、フィールド間補間では、補間対象のフィールドＦＥ２に対して、未来または過去にある他のフィールドＦＥ１，ＦＥ３内のデータを用いて、データを補間する。一方、フィールド内補間では、その補間対象の１つのフィールドＦＥ２内のデータを用いて、データを補間する。なお、第１１図の各フィールドＦＥ１〜ＦＥ３において、実線は、実際に映像データが存在するラインを表し、破線は、補間データを作り出すラインを表す。
第１２図を参照して、一般的なフィールド内補間の概念について説明する。第１２図では、インタレース方式における任意のフィールド画像の一部分を表している。図において、ラインＷ，Ｘは、実際に映像データが存在する画素ライン（実データライン）を表している。ラインＹは、現フィールドの１つ過去または１つ未来のフィールドにおいて映像データが存在するラインであり、フィールド内補間時には、補間データを作り出すライン（補間データライン）である。各ライン上の○印は、画素が存在する位置を表す。
第１２図において、画素ｈを補間するポイントとすると、単純なフィールド内補間の手法としては、例えば、画素ｈの真上・真下にある画素ｃ，ｍの画素データ（輝度またはクロマデータなど）を足して２で割った値（平均値）を、補間データとする方法がある。フィールド内補間の手法としては、この他にも、“斜め補間”と呼ばれるものがある。補間対象の画素に対して、隣接する上下２つの実データラインＷ，Ｘから、斜め補間を用いてデータを補間する方法は、例えば特表２００１−５０６１１３号公報に記載されている。
斜め補間は、真上・真下の画素だけでなく、斜め方向の画素をも参照して補間データを算出する手法である。例えば、補間ポイントである画素ｈを中心として、上下方向（中央）の補間軸Ｃ１のみならず、左斜め方向の補間軸Ｌ２，Ｌ１および右斜め方向の補間軸Ｒ２，Ｒ１上にある実データラインＷ，Ｘ上の画素をも参照して補間データを算出する。この場合、各補間軸上の画素の組み合わせ（ａ−ｏ），（ｂ−ｎ），（ｃ−ｍ），（ｄ−ｌ）、および（ｅ−ｋ）の中から、最も相関の強いものを検出し、そのデータを用いて画素ｈのデータを補間する。
相関を検出するには、例えば、各画素データの減算を行いその絶対値をとる。例えば画素（ｄ−ｌ）の組の相関は、以下の式１で表される。ＡＢＳは絶対値を得ることを意味する。この方法では、相関の強いデータの場合に、式１の値が小さくなる。
しかしながら、式１を用いた方法では、単に１画素と１画素との相関を調べているために、映像のつながりとして本来はまったく関係のないデータであっても相関が強く出てしまい（誤った補間軸を選択してしまい）、不適切な補間データが発生する場合が多い。例えば、第１３図に示したように、補間軸Ｒ１の方向に細い線状の画像があった場合、適切な方向と異なる他の補間軸を間違って選択してしまう場合がある。そのため、通常は、いくつかのデータをグループとして考えて相関を検出する。
例えば以下の式２のように、画素ｄのデータと画素ｌのデータとの相関を検出するために、画素ｄを中心としたデータグループ２−１（ｃ，ｄ，ｅ）と、画素ｌを中心としたデータグループ２−２（ｋ，ｌ，ｍ）とを用いることで相関検出の間違いを少なくすることができる。
式２の場合も式１と同じように、相関の強いものほど演算結果が小さくなる。しかしながら、式２の方法を用いても左斜め、右斜めの両方向に相関の強い画像がある場合には、やはり間違った斜め方向に強い相関を検出してしまい、結果として不適切な補間データを生じる場合があった。
このように、従来の斜め補間を用いたフィールド内補間では、補間ポイントに隣接する上下２つの画素ラインから斜め方向に最適な参照用画素を検索する場合に、同じ輝度の画素があると相関が強く出てしまい、映像のつながりとしては関係ない斜めの画素から誤補間してしまうという問題があった。
本発明はかかる問題点に鑑みてなされたもので、その目的は、斜め補間を用いた場合における誤補間を軽減し、高画質なフィールド内補間を実現することができるようにした画像処理装置および方法、映像表示装置、ならびに記録情報再生装置を提供することにある。
ところで、従来より、インタレース方式の画像をプログレッシブ方式の画像へと変換するためのＩＰ変換装置が知られている。インタレース方式の画像（例えば走査線数２６２．５本のフィールド画像）を、プログレッシブ方式の画像（例えば走査線数５２５本のフレーム画像）へとＩＰ変換する場合、元のフィールド画像には含まれていない部分の画素データを補間して作り出す必要がある。
ＩＰ変換では、画素データの補間に関し、信号ソースごとに処理を変えることが一般に行われている。すなわち、映像が静止画である場合にはフィールド間補間、動画である場合にはフィールド内補間が行われる。例えば、第１１図に示したように、あるフィールドＦＥ２内の画素ｈを補間するポイントとすると、フィールド間補間では、補間対象のフィールドＦＥ２に対して、未来または過去にある他のフィールドＦＥ１，ＦＥ３内のデータを用いて、データを補間する。一方、フィールド内補間では、その補間対象の１つのフィールドＦＥ２内のデータを用いて、データを補間する。なお、第１１図の各フィールドＦＥ１〜ＦＥ３において、実線は、実際に映像データが存在するラインを表し、破線は、補間データを作り出すラインを表す。
第１２図を参照して、一般的なフィールド内補間の概念について説明する。第１２図では、インタレース方式における任意のフィールド画像の一部分を表している。図において、ラインＷ，Ｘは、実際に映像データが存在する画素ライン（実データライン）を表している。ラインＹは、現フィールドの１つ過去または１つ未来のフィールドにおいて映像データが存在するラインであり、フィールド内補間時には、補間データを作り出すライン（補間データライン）である。各ライン上の○印は、画素が存在する位置を表す。
第１２図において、画素ｈを補間するポイントとすると、単純なフィールド内補間の手法としては、例えば、画素ｈの真上・真下にある画素ｃ，ｍの画素データ（輝度またはクロマデータなど）を足して２で割った値（平均値）を、補間データとする方法がある。フィールド内補間の手法としては、この他にも、“斜め補間”と呼ばれるものがある。補間対象の画素に対して、隣接する上下２つの実データラインＷ，Ｘから、斜め補間を用いてデータを補間する方法は、例えば特表２００１−５０６１１３号公報に記載されている。
斜め補間は、真上・真下の画素だけでなく、斜め方向の画素をも参照して補間データを算出する手法である。例えば、補間ポイントである画素ｈを中心として、上下方向（中央）の補間軸Ｃ１のみならず、左斜め方向の補間軸Ｌ２，Ｌ１および右斜め方向の補間軸Ｒ２，Ｒ１上にある実データラインＷ，Ｘ上の画素をも参照して補間データを算出する。この場合、各補間軸上の画素の組み合わせ（ａ−ｏ），（ｂ−ｎ），（ｃ−ｍ），（ｄ−ｌ）、および（ｅ−ｋ）の中から、最も相関の強いものを検出し、そのデータを用いて画素ｈのデータを補間する。
相関を検出するには、例えば、各画素データの減算を行いその絶対値をとる。例えば画素（ｄ−ｌ）の組の相関は、以下の式１で表される。ＡＢＳは絶対値を得ることを意味する。この方法では、相関の強いデータの場合に、式１の値が小さくなる。
例えば以下の式２のように、画素ｄのデータと画素ｌのデータとの相関を検出するために、画素ｄを中心としたデータグループ２−１（ｃ，ｄ，ｅ）と、画素ｌを中心としたデータグループ２−２（ｋ，ｌ，ｍ）とを用いることで相関検出の間違いを少なくすることができる。
このように、従来の斜め補間を用いたフィールド内補間では、補間ポイントに隣接する上下２つの画素ラインから斜め方向に最適な参照用画素を検索する場合に、同じ輝度の画素があると相関が強く出てしまい、映像のつながりとしては関係ない斜めの画素から誤補間してしまうという問題があった。
本発明はかかる問題点に鑑みてなされたもので、その目的は、斜め補間を用いた場合における誤補間を軽減し、高画質なフィールド内補間を実現することができるようにした画像処理装置および方法、映像表示装置、ならびに記録情報再生装置を提供することにある。
本発明による画像処理装置は、補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関を、補間対象の画素を中心として複数の方向について検出する第１の相関検出部と、第１の画素ライン上の画素と第１の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、第２の画素ライン上の画素と第２の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関を、補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出する第２の相関検出部と、第１の相関検出部および第２の相関検出部の検出結果に基づいて、補間方向を決定する決定手段と、その決定された補間方向に存在する、第１の画素ラインおよび第２の画素ライン上の画素のデータを参照して、補間対象の画素の補間データを生成する生成手段とを備えている。第２の相関検出部は、第１の画素ライン上の画素と第３の画素ライン上の画素との相関を求める場合には、第１の画素ラインと第３の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定し、第２の画素ライン上の画素と第４の画素ライン上の画素との相関を求める場合には、第２の画素ラインと第４の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定するようになされている。
本発明による画像処理方法は、補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関を、補間対象の画素を中心として複数の方向について検出する第１の検出ステップと、第１の画素ライン上の画素と第１の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、第２の画素ライン上の画素と第２の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関を、補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出する第２の検出ステップと、第１の検出ステップおよび第２の検出ステップの検出結果に基づいて、補間方向を決定するステップと、その決定された補間方向に存在する、第１の画素ラインおよび第２の画素ライン上の画素のデータを参照して、補間対象の画素の補間データを生成するステップとを含んでいる。第２の検出ステップにおいては、第１の画素ライン上の画素と第３の画素ライン上の画素との相関を求める場合には、第１の画素ラインと第３の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定し、第２の画素ライン上の画素と第４の画素ライン上の画素との相関を求める場合には、第２の画素ラインと第４の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定するようにしている。
本発明による映像表示装置は、入力映像信号に対して、フィールド内補間処理を施す画像処理部と、画像処理部によって処理された後の映像信号に基づいて映像を表示する表示部とを備えている。画像処理部は、補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関を、補間対象の画素を中心として複数の方向について検出する第１の相関検出部と、第１の画素ライン上の画素と第１の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、第２の画素ライン上の画素と第２の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関を、補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出する第２の相関検出部と、第１の相関検出部および第２の相関検出部の検出結果に基づいて、補間方向を決定する決定手段と、その決定された補間方向に存在する、第１の画素ラインおよび第２の画素ライン上の画素のデータを参照して、補間対象の画素の補間データを生成する生成手段とを備えている。第２の相関検出部は、第１の画素ライン上の画素と第３の画素ライン上の画素との相関を求める場合には、第１の画素ラインと第３の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定し、第２の画素ライン上の画素と第４の画素ライン上の画素との相関を求める場合には、第２の画素ラインと第４の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定するようになされている。
本発明による記録情報再生装置は、記録媒体に記録された映像情報に対してフィールド内補間処理を施した信号を再生出力する記録情報再生装置であって、フィールド内補間処理を施すための手段として、補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関を、補間対象の画素を中心として複数の方向について検出する第１の相関検出部と、第１の画素ライン上の画素と第１の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、第２の画素ライン上の画素と第２の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関を、補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出する第２の相関検出部と、第１の相関検出部および第２の相関検出部の検出結果に基づいて、補間方向を決定する決定手段と、その決定された補間方向に存在する、第１の画素ラインおよび第２の画素ライン上の画素のデータを参照して、補間対象の画素の補間データを生成する生成手段とを備えている。第２の相関検出部は、第１の画素ライン上の画素と第３の画素ライン上の画素との相関を求める場合には、第１の画素ラインと第３の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定し、第２の画素ライン上の画素と第４の画素ライン上の画素との相関を求める場合には、第２の画素ラインと第４の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定するようになされている。
なお、本発明による画像処理装置および方法、映像表示装置、ならびに記録情報再生装置において、「画素ライン」とは、垂直上下方向または水平左右方向に連続する画素列のことをいう。
本発明による画像処理装置および方法、映像表示装置、ならびに記録情報再生装置では、補間対象の画素に対して垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関が、補間対象の画素を中心として複数の方向について検出される。また、第１の画素ライン上の画素と第１の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、第２の画素ライン上の画素と第２の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関が、補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出される。これらの検出結果に基づいて、補間方向が決定され、その決定された補間方向に存在する、第１の画素ラインおよび第２の画素ライン上の画素のデータを参照して、補間対象の画素の補間データが生成される。少なくとも３つの画素ライン上の画素を参照して、補間方向を決定し、補間対象の画素の補間データを生成しているので、単に２つの画素ラインのみを参照して斜め補間を行う場合と比べて、間違いの少ない斜め補間処理が可能となる。
第１の画素ライン上の画素と第３の画素ライン上の画素との相関を求める場合には、第１の画素ラインと第３の画素ラインとの間に設定された架空のライン上にある画素が、補助的な画素として設定される。第２の画素ライン上の画素と第４の前素ライン上の画素との相関を求める場合には、第２の画素ラインと第４の画素ラインとの間に設定された架空のライン上にある画素が、補助的な画素として設定される。
この場合、架空のライン上で、補間対象の画素に対して最も近い位置にある画素、または最も近い位置にある画素の近傍にある画素を、補助的な画素として設定した方が、相関を求めるために参照する画素のデータ範囲が小さくなるので、好ましい。「近傍にある画素」とは、補間対象の画素に対して最も近い位置にある画素を基準として、数画素以内程度の範囲にある画素のことをいう。例えば、ＩＰ変換のように垂直上下方向に画素ラインを補間する場合、第１の画素ラインおよび第２の画素ラインは、補間対象の画素に対して上下に位置し、第３の画素ラインは、第１の画素ラインさらに１つ上に位置している。この場合、補助的な画素は、例えば、第１の画素ラインおよび第２の画素ライン間の架空のライン上で、補間対象の画素に対して真上の画素、または真上の画素から数画素程度離れた位置にある画素に設定される。
本発明による画像処理方法は、補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関を、補間対象の画素を中心として複数の方向について検出する第１の検出ステップと、第１の画素ライン上の画素と第１の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、第２の画素ライン上の画素と第２の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関を、補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出する第２の検出ステップと、第１の検出ステップおよび第２の検出ステップの検出結果に基づいて、補間方向を決定するステップと、その決定された補間方向に存在する、第１の画素ラインおよび第２の画素ライン上の画素のデータを参照して、補間対象の画素の補間データを生成するステップとを含んでいる。第２の検出ステップにおいては、第１の画素ライン上の画素と第３の画素ライン上の画素との相関を求める場合には、第１の画素ラインと第３の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定し、第２の画素ライン上の画素と第４の画素ライン上の画素との相関を求める場合には、第２の画素ラインと第４の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定するようにしている。
本発明による映像表示装置は、入力映像信号に対して、フィールド内補間処理を施す画像処理部と、画像処理部によって処理された後の映像信号に基づいて映像を表示する表示部とを備えている。画像処理部は、補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関を、補間対象の画素を中心として複数の方向について検出する第１の相関検出部と、第１の画素ライン上の画素と第１の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、第２の画素ライン上の画素と第２の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関を、補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出する第２の相関検出部と、第１の相関検出部および第２の相関検出部の検出結果に基づいて、補間方向を決定する決定手段と、その決定された補間方向に存在する、第１の画素ラインおよび第２の画素ライン上の画素のデータを参照して、補間対象の画素の補間データを生成する生成手段とを備えている。第２の相関検出部は、第１の画素ライン上の画素と第３の画素ライン上の画素との相関を求める場合には、第１の画素ラインと第３の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定し、第２の画素ライン上の画素と第４の画素ライン上の画素との相関を求める場合には、第２の画素ラインと第４の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定するようになされている。
本発明による記録情報再生装置は、記録媒体に記録された映像情報に対してフィールド内補間処理を施した信号を再生出力する記録情報再生装置であって、フィールド内補間処理を施すための手段として、補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関を、補間対象の画素を中心として複数の方向について検出する第１の相関検出部と、第１の画素ライン上の画素と第１の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、第２の画素ライン上の画素と第２の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関を、補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出する第２の相関検出部と、第１の相関検出部および第２の相関検出部の検出結果に基づいて、補間方向を決定する決定手段と、その決定された補間方向に存在する、第１の画素ラインおよび第２の画素ライン上の画素のデータを参照して、補間対象の画素の補間データを生成する生成手段とを備えている。第２の相関検出部は、第１の画素ライン上の画素と第３の画素ライン上の画素との相関を求める場合には、第１の画素ラインと第３の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定し、第２の画素ライン上の画素と第４の画素ライン上の画素との相関を求める場合には、第２の画素ラインと第４の画素ラインとの間に設定された架空のライン上にある画素を補助的な画素として設定するようになされている。
なお、本発明による画像処理装置および方法、映像表示装置、ならびに記録情報再生装置において、「画素ライン」とは、垂直上下方向または水平左右方向に連続する画素列のことをいう。
本発明による画像処理装置および方法、映像表示装置、ならびに記録情報再生装置では、補間対象の画素に対して垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関が、補間対象の画素を中心として複数の方向について検出される。また、第１の画素ライン上の画素と第１の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、第２の画素ライン上の画素と第２の画素ラインの方向に補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関が、補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出される。これらの検出結果に基づいて、補間方向が決定され、その決定された補間方向に存在する、第１の画素ラインおよび第２の画素ライン上の画素のデータを参照して、補間対象の画素の補間データが生成される。少なくとも３つの画素ライン上の画素を参照して、補間方向を決定し、補間対象の画素の補間データを生成しているので、単に２つの画素ラインのみを参照して斜め補間を行う場合と比べて、間違いの少ない斜め補間処理が可能となる。
第１の画素ライン上の画素と第３の画素ライン上の画素との相関を求める場合には、第１の画素ラインと第３の画素ラインとの間に設定された架空のライン上にある画素が、補助的な画素として設定される。第２の画素ライン上の画素と第４の前素ライン上の画素との相関を求める場合には、第２の画素ラインと第４の画素ラインとの間に設定された架空のライン上にある画素が、補助的な画素として設定される。
この場合、架空のライン上で、補間対象の画素に対して最も近い位置にある画素、または最も近い位置にある画素の近傍にある画素を、補助的な画素として設定した方が、相関を求めるために参照する画素のデータ範囲が小さくなるので、好ましい。「近傍にある画素」とは、補間対象の画素に対して最も近い位置にある画素を基準として、数画素以内程度の範囲にある画素のことをいう。例えば、ＩＰ変換のように垂直上下方向に画素ラインを補間する場合、第１の画素ラインおよび第２の画素ラインは、補間対象の画素に対して上下に位置し、第３の画素ラインは、第１の画素ラインさらに１つ上に位置している。この場合、補助的な画素は、例えば、第１の画素ラインおよび第２の画素ライン間の架空のライン上で、補間対象の画素に対して真上の画素、または真上の画素から数画素程度離れた位置にある画素に設定される。
第１図は、本発明の一実施の形態に係る画像処理装置としてのＩＰ変換装置の全体構成を示すブロック図である。
第２図は、第１図に示したＩＰ変換装置におけるフィールド内補間部の詳細な構成を示すブロック図である。
第３図は、本発明の一実施の形態に係る画像処理装置が適用される映像表示装置の構成例を示すブロック図である。
第４図は、本発明の一実施の形態に係る画像処理装置を用いた記録情報再生システムの構成例を示すブロック図である。
第５図は、フィールド内補間に関する説明図である。
第６図は、補間ポイントを中心とした相関検出についての説明図である。
第７図は、補助補間ポイントを中心とした相関検出についての説明図である。
第８図は、相関検出の全体的な流れを示す説明図である。
第９図は、他の相関検出方法との比較を示す説明図である。
第１０図は、解像度変換についての説明図である。
第１１図は、ＩＰ変換の概念を示す説明図である。
第１２図は、従来のフィールド内補間の概念を示す説明図である。
第１３図は、斜め補間を用いた場合に生ずる問題点を説明するための図である。
第２図は、第１図に示したＩＰ変換装置におけるフィールド内補間部の詳細な構成を示すブロック図である。
第３図は、本発明の一実施の形態に係る画像処理装置が適用される映像表示装置の構成例を示すブロック図である。
第４図は、本発明の一実施の形態に係る画像処理装置を用いた記録情報再生システムの構成例を示すブロック図である。
第５図は、フィールド内補間に関する説明図である。
第６図は、補間ポイントを中心とした相関検出についての説明図である。
第７図は、補助補間ポイントを中心とした相関検出についての説明図である。
第８図は、相関検出の全体的な流れを示す説明図である。
第９図は、他の相関検出方法との比較を示す説明図である。
第１０図は、解像度変換についての説明図である。
第１１図は、ＩＰ変換の概念を示す説明図である。
第１２図は、従来のフィールド内補間の概念を示す説明図である。
第１３図は、斜め補間を用いた場合に生ずる問題点を説明するための図である。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
第１図は、本実施の形態に係る画像処理装置としてのＩＰ変換装置の全体構成を示している。このＩＰ変換装置１０は、５２５ｉ，６２５ｉ，１１２５ｉなどのインタレース方式による映像信号Ｖｉを、５２５ｐ，６２５ｐ，１１２５ｐなどのプログレッシブ方式の映像信号Ｖｐに変換して出力するものである。
このＩＰ変換装置１０は、入力された映像信号Ｖｉをフィールド内補間およびフィールド間補間のいずれの方法で処理すべきかを判定する判定部１１と、入力された映像信号Ｖｉに対してフィールド内補間処理を行うフィールド内補間部１２と、入力された映像信号Ｖｉに対してフィールド間補間処理を行うフィールド間補間部１３とを備えている。
このＩＰ変換装置１０は、また、入力された映像信号Ｖｉを例えば２フィールド分記憶する画像メモリ１４と、水平・垂直同期信号Ｓｈ，Ｓｖに基づいて画像メモリ１４におけるデータの読み出しおよび書き込みアドレスを発生するアドレス発生部１５とを備えている。このＩＰ変換装置１０は、さらに、判定部１１の判定結果に基づいて、フィールド内補間部１２およびフィールド間補間部１３のいずれか１つの信号を最終出力信号Ｖｐとして切り替えて出力する切替部１６とを備えている。
フィールド内補間部１２は、このＩＰ変換装置１０の最も特徴的な部分である。このフィールド内補間部１２は、斜め補間を用いたフィールド内補間を行うものであるが、その補間方向（補間軸）を決定するために、少なくとも３つの画素ラインのデータを用いるようになっている。
例えば、第５図に示したように、画素ｈを補間するポイントとすると、画素ｈに隣接する垂直上下方向のラインＷ，Ｘと、さらに、少なくとももう１つの他の画素ラインとを用いる。他の画素ラインは、ラインＷの上に位置するラインＶ（画素ｈからラインＷの方向に２ライン分離れた位置にある画素ライン）またはラインＸの下に位置するライン（画素ｈからラインＸの方向に２ライン分離れた位置にある画素ライン）のいずれか１つを用いる。本実施の形態では、補間対象の画素ｈに対して上側２つのラインＶ，Ｗと、下側１つのラインＸとの合計３ラインのデータを参照して補間処理を行う場合を例に説明する。
なお、第５図では、インタレース方式における任意のフィールド画像の一部分を表している。図において、ラインＶ，Ｗ，Ｘは、実際に映像データ（輝度およびクロマデータなど）が存在する画素ライン（実データライン）を表している。ラインＡ，Ｙは、現フィールドの１つ過去または１つ未来のフィールドにおいて映像データが存在するラインであり、フィールド内補間時には、補間データを作り出すラインである。各ライン上の○印は、画素が存在する位置を表す。以下では、ラインＹ上の画素ｈを補間ポイントとして着目して説明し、ラインＹを特に「補間データライン」と呼ぶ。また、本実施の形態では、画素ｈの補間データを求める際の補間方向を決定するために、ラインＡ上の画素ｚを補助補間ポイントとして設定する。以下では、ラインＡを特に「架空ライン」と呼ぶ。補助補間ポイントの画素ｚは、図示したように、ラインＡ上で、例えば補間ポイントである画素ｈの真上に設定される。
ここで、本実施の形態において、実データラインＷ，Ｘが、それぞれ本発明における「第１の画素ライン」および「第２の画素ライン」の一具体例に対応する。また、実データラインＶが、本発明における「第３の画素ライン」の一具体例に対応する。また、図示しないが、実データラインＸの１つ下にある実データラインが、本発明における「第４の画素ライン」の一具体例に対応する。
第２図は、このＩＰ変換装置１０の特徴部分であるフィールド内補間部１２の詳細な構成を示している。このフィールド内補間部１２には、上上データ列４１、上データ列４２、および下データ列４３が入力されるようになっている。上データ列４２とは、補間ポイント（画素ｈ）の上に位置する画素を左右に数個含めたデータ列のことであり、例えば、第５図に示した実データラインＷ上の画素ａ，ｂ，ｃ，ｄ，ｅに相当する。下データ列４３とは、補間ポイント（画素ｈ）の下に位置する画素を左右に数個含めたデータ列のことであり、例えば実データラインＸ上の画素ｋ，ｌ，ｍ，ｎ，ｏに相当する。上上データ列４１とは、補助補間ポイント（画素ｚ）の上に位置する画素を左右に数個含めたデータ列のことであり、例えば実データラインＶ上の画素ｐ，ｑ，ｒ，ｓ，ｔに相当する。
このフィールド内補間部１２は、上側斜め相関検出部２１と、下側斜め相関検出部２２とを有している。上側斜め相関検出部２１は、上上データ列４１および上データ列４２に基づいて、補助補間ポイントの画素ｚを中心として複数の方向（左斜め方向、中央および右斜め方向）の各補間軸上の画素に関する相関を求めるようになっている。例えば、第７図に示したように、画素ｚを中心として、実データラインＶ，Ｗ上における、左斜め方向の２つの補間軸Ｌ２，Ｌ１、中央の補間軸Ｃ１、および右斜め方向の２つの補間軸Ｒ２，Ｒ１上の画素に関する相関を求めるようになっている。下側斜め相関検出部２２は、上データ列４２および下データ列４３に基づいて、補間ポイントの画素ｈを中心として、実データラインＷ，Ｘ上における、複数の方向にある各補間軸上の画素に関する相関を求めるようになっている。すなわち、上側斜め相関検出部２１と同様、例えば第６図に示したように、左斜め方向の２つの補間軸Ｌ２，Ｌ１、中央の補間軸Ｃ１、および右斜め方向の２つの補間軸Ｒ２，Ｒ１上の画素に関する相関を求めるようになっている。なお、具体的な相関の求め方については、後に詳述する。
このフィールド内補間部１２はまた、上側右斜め方向検出部２３と、上側左斜め方向検出部２４とを有している。上側右斜め方向検出部２３は、上側斜め相関検出部２１によって求められた、中央の補間軸Ｃ１、および右斜め方向の補間軸Ｒ２，Ｒ１上の画素に関する相関のデータＤ４から、最も相関の強いデータＤ４ｍｉｎを選択して出力するようになっている。上側左斜め方向検出部２４は、上側斜め相関検出部２１によって求められた、中央の補間軸Ｃ１、および左斜め方向の補間軸Ｌ２，Ｌ１上の画素に関する相関のデータＤ３から、最も相関の強いデータＤ３ｍｉｎを選択して出力するようになっている。
このフィールド内補間部１２はまた、下側右斜め方向検出部２５と、下側左斜め方向検出部２６とを有している。下側右斜め方向検出部２５は、下側斜め相関検出部２２によって求められた、中央の補間軸Ｃ１、および右斜め方向の補間軸Ｒ２，Ｒ１上の画素に関する相関のデータＤ２から、最も相関の強いデータＤ２ｍｉｎを選択して出力するようになっている。下側左斜め方向検出部２６は、下側斜め相関検出部２２によって求められた、中央の補間軸Ｃ１、および左斜め方向の補間軸Ｌ２，Ｌ１上の画素に関する相関のデータＤ１から、最も相関の強いデータＤ１ｍｉｎを選択して出力するようになっている。
このフィールド内補間部１２はまた、左右方向決定部２７と、補間データ生成部２８とを有している。左右方向決定部２７は、上側右斜め方向検出部２３、上側左斜め方向検出部２４、下側右斜め方向検出部２５、および下側左斜め方向検出部２６からの出力データＤ４ｍｉｎ〜Ｄ１ｍｉｎに基づいて、補間軸の方向を決定するようになっている。補間データ生成部２８は、左右方向決定部２７によって決定された補間軸の方向の画素データを用いて、補間ポイントである画素ｈの補間データを生成するようになっている。
ここで、本実施の形態において、下側斜め相関検出部２２が、本発明における「第１の相関検出部」の一具体例に対応し、上側斜め相関検出部２１が、本発明における「第２の相関検出部」の一具体例に対応する。また、本実施の形態において、主として左右方向決定部２７が、本発明における「決定手段」の一具体例に対応する。補間データ生成部２８が、本発明における「生成手段」の一具体例に対応する。
第３図は、このＩＰ変換装置１０を用いた映像表示装置の構成例を示している。この映像表示装置は、フロント映像処理部３１と、ＩＰ変換部３２と、駆動部３３と、映像表示部３４とを備えている。
フロント映像処理部３１は、インタレース方式による入力映像信号ＶｉにＡ／Ｄ変換などの信号処理を施してＩＰ変換部３２に出力するようになっている。ＩＰ変換部３２は、上述のＩＰ変換装置１０によって構成されるものであり、フロント映像処理部３１を介して入力された映像信号Ｖｉをプログレッシブ方式の映像信号Ｖｐに変換して出力するようになっている。
映像表示部３４は、映像信号Ｖｐに基づいて実際に映像を表示する部分である。映像表示部３４は、駆動部３３によって駆動されるようになっている。映像表示部３４の形態は特に限定されないが、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などを用いることができる。
第４図は、このＩＰ変換装置１０を用いた記録情報再生システムの構成例を示している。このシステムは、記録情報再生装置５０と、この記録情報再生装置５０によって再生された映像を表示する映像表示装置６０とを備えている。
記録情報再生装置５０は、情報記録媒体５１に記録された映像情報を再生するためのものである。情報記録媒体５１は、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などであり、少なくともインタレース方式の映像情報が記録されている。情報記録媒体５１がＤＶＤである場合、映像情報はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格により圧縮符号化されて記録されている。
この記録情報再生装置５０は、デコード部５２と、ＩＰ変換部５３とを有している。デコード部５２は、情報記録媒体５１に記録された映像情報を復号化してインタレース方式の映像信号Ｖｉを出力するようになっている。ＩＰ変換部５３は、上述のＩＰ変換装置１０によって構成されるものであり、デコード部５２を介して入力されたインタレース方式の映像信号Ｖｉをプログレッシブ方式の映像信号Ｖｐに変換して出力するようになっている。
映像表示装置６０の形態は特に限定されないが、例えばＣＲＴ、ＬＣＤまたはＰＤＰなどにより構成されている。映像表示装置６０は、Ｄ端子など、プログレッシブ方式の映像信号Ｖｐに対応した映像入力端子６１を有しており、その映像入力端子６１を介して入力された映像信号Ｖｐに基づく映像表示を行う機能を有している。
次に、以上のように構成されたＩＰ変換装置１０、ならびにこのＩＰ変換装置１０を利用した映像表示装置および記録情報再生システムの動作について説明する。
第１図に示したＩＰ変換装置１０には、５２５ｉ，６２５ｉ，１１２５ｉなどのインタレース方式による映像信号Ｖｉが入力される。画像メモリ１４には、現フィールドに対して例えば過去２フィールド分の入力映像信号Ｖｉが入力される。フィールド内補間部１２では、入力された映像信号Ｖｉに対して、後に詳述する方法によりフィールド内補間処理を施し、それにより得られたプログレッシブ方式の映像信号Ｖｐを切替部１６に出力する。フィールド間補間部１３では、入力された映像信号Ｖｉに対して、フィールド間補間処理を施し、それにより得られたプログレッシブ方式の映像信号Ｖｐを切替部１６に出力する。
判定部１１は、現フィールドの映像信号Ｖｉと画像メモリ１４に記憶された過去のフィールドの映像信号Ｖｉとに基づいて、フィールド間補間またはフィールド内補間のいずれの方式によって得られた信号を最終出力信号Ｖｐとして出力すべきかを判定し、その判定結果に基づいて切替部１６を切り替え制御する。例えば映像信号Ｖｉが動画と判定された場合には、フィールド内補間部１２によってフィールド内補間された信号を、最終出力信号Ｖｐとして出力させる。また例えば、映像信号Ｖｉが静止画と判定された場合には、フィールド間補間部１３によってフィールド間補間処理された信号を、最終出力信号Ｖｐとして出力させる。
第３図に示した映像表示装置では、インタレース方式による入力映像信号Ｖｉに対して、フロント映像処理部３１においてＡ／Ｄ変換などの信号処理が施される。ＩＰ変換部３２は、フロント映像処理部３１を介して入力された映像信号Ｖｉをプログレッシブ方式の映像信号Ｖｐに変換して出力する。駆動部３３は、このプログレッシブ方式の映像信号Ｖｐに基づいて映像表示部３４を駆動し、映像表示部３４にプログレッシブ方式による映像を表示させる。
第４図に示した記録情報再生システムでは、ＤＶＤ等の情報記録媒体５１に記録された映像情報が、デコード部５２によって復号化され、インタレース方式の映像信号Ｖｉとして、ＩＰ変換部５３に出力される。ＩＰ変換部５３では、復号化された映像信号Ｖｉをプログレッシブ方式の映像信号Ｖｐに変換する。この変換された映像信号Ｖｐが、記録情報再生装置５０から映像表示装置６０における映像入力端子６１へと出力される。映像表示装置６０では、映像入力端子６１を介して入力された映像信号Ｖｐに基づいて、プログレッシブ方式による映像表示を行う。
次に、ＩＰ変換装置１０の特徴部分であるフィールド内補間部１２（第２図）の処理動作について説明する。
フィールド内補間部１２において、上側斜め相関検出部２１には、上上データ列４１および上データ列４２が入力され、下側斜め相関検出部２２には、上データ列４２および下データ列４３が入力される。上側斜め相関検出部２１では、例えば、第７図に示したように、補助補間ポイントの画素ｚを中心として、実データラインＶ，Ｗ上における、左斜め方向の２つの補間軸Ｌ２，Ｌ１、中央の補間軸Ｃ１、および右斜め方向の２つの補間軸Ｒ２，Ｒ１上の画素の相関を求める。下側斜め相関検出部２２では、補間ポイントの画素ｈを中心として、実データラインＷ，Ｘ上における、左斜め方向の２つの補間軸Ｌ２，Ｌ１、中央の補間軸Ｃ１、および右斜め方向の２つの補間軸Ｒ２，Ｒ１上の画素の相関を求める。
上側斜め相関検出部２１および下側斜め相関検出部２２における画素の相関の検出は、各補間軸上の画素のみならず、その補間軸上の画素を含む数個の画素を１つのグループとして考えて求める方が、相関検出の精度を上げることができる。
例えば、下側斜め相関検出部２２において、補間軸Ｒ１上の画素ｄのデータと画素１のデータとの相関を検出する場合、第６図に示したように、画素ｄを中心としたデータグループ２−１（画素ｃ，ｄ，ｅ）と、画素１を中心としたデータグループ２−２（画素ｋ，ｌ，ｍ）とを用いることで相関検出の間違いを少なくし、検出精度を上げることができる。
データグループ２−１，２−２を用いた相関は、具体的には、例えば以下の式３のように、データグループの差分絶対値和（ＤｉｆｆＧｒｏｕｐ）を計算することで求めることができる。
式３において、＊は、乗算記号を示す。ＡＢＳは絶対値を得ることを意味する。例えばＡＢＳ（ｃ−ｋ）は、画素ｃのデータと画素ｋのデータとの差分の絶対値を意味する。α１，α２，α３はあらかじめ設定される係数である。α１，α２，α３は、例えばそのグループ内で中央寄りのもの（つまりＡＢＳ（ｄ−ｌ））ほど大きな値を設定する（大きな重み付けをする）。なお、ここでは、各ラインごとに３つの画素で１つのグループを形成しているが、１つのグループの画素数を増やすことも可能である。
式３のＤｉｆｆＧｒｏｕｐ右１は、右斜め１方向（補間軸Ｒ１上）の画素ｄ，ｌの組についての演算式であるが、他の軸方向の演算も同様の方法で行うことができる。このようにして、下側斜め相関検出部２２は、補間ポイントの画素ｈを中心とした各軸Ｌ２，Ｌ１，Ｃ１，Ｒ１，Ｒ２の方向についてのＤｉｆｆＧｒｏｕｐ左２、ＤｉｆｆＧｒｏｕｐ左１、ＤｉｆｆＧｒｏｕｐ中央、ＤｉｆｆＧｒｏｕｐ右１、およびＤｉｆｆＧｒｏｕｐ右２の値を相関として求める。式３で求められるデータグループの差分絶対値和が小さい程、そのグループの組の相関が強いことを意味する。
同様にして上側斜め相関検出部２１では、式３を用いた手法で、架空ラインＡ上の補助補間ポイント（画素ｚ）を中心として、実データラインＶ，Ｗ上におけるデータグループの差分絶対値和を求め、各グループの組の相関を検出する。例えば、補間軸Ｒ１上の画素ｓのデータと画素ｂのデータとの相関を検出する場合、第７図に示したように、画素ｓを中心としたデータグループ２−３（画素ｒ，ｓ，ｔ）と、画素ｂを中心としたデータグループ２−４（画素ａ，ｂ，ｃ）とを用いて、相関を検出する。
下側斜め相関検出部２２で計算された相関のデータは、下側右斜め方向検出部２５および下側左斜め方向検出部２６に入力される。下側右斜め方向検出部２５では、入力されたデータＤ２（ＤｉｆｆＧｒｏｕｐ中央、ＤｉｆｆＧｒｏｕｐ右１、およびＤｉｆｆＧｒｏｕｐ右２）の中から、最も相関の強い（ＤｉｆｆＧｒｏｕｐの小さい）データＤ２ｍｉｎを選択して出力する。下側左斜め方向検出部２６では、入力されたデータＤ１（ＤｉｆｆＧｒｏｕｐ中央、ＤｉｆｆＧｒｏｕｐ左１、およびＤｉｆｆＧｒｏｕｐ左２）の中から、最も相関の強いデータＤ１ｍｉｎを選択して出力する。
上側斜め相関検出部２１で計算された相関のデータは、上側右斜め方向検出部２３および上側左斜め方向検出部２４に入力される。上側右斜め方向検出部２３および上側左斜め方向検出部２４では、下側右斜め方向検出部２５および下側左斜め方向検出部２６と同様に、入力されたＤｉｆｆＧｒｏｕｐのデータＤ４，Ｄ３の中から、最も相関の強いデータＤ４ｍｉｎ，Ｄ３ｍｉｎを選択して出力する。
上側右斜め方向検出部２３、上側左斜め方向検出部２４、下側右斜め方向検出部２５、および下側左斜め方向検出部２６の出力データＤ４ｍｉｎ〜Ｄ１ｍｉｎは、左右方向決定部２７に送られ、そこで、補間データの算出に用いられるべき補間軸の方向が決定される。左右方向決定部２７によって補間軸の方向が決定されるまでの概念を第８図に示す。
第８図に示したように、左右方向決定部２７では、上側右斜め方向検出部２３で選択されたＤｉｆｆＧｒｏｕｐのデータＤ４ｍｉｎと下側右斜め方向検出部２５で選択されたＤｉｆｆＧｒｏｕｐのデータＤ２ｍｉｎとを加算して、右側の補間軸方向に関する相関を計算する。また、上側左斜め方向検出部２４で選択されたＤｉｆｆＧｒｏｕｐのデータＤ３ｍｉｎと下側左斜め方向検出部２６で選択されたＤｉｆｆＧｒｏｕｐのデータＤ１ｍｉｎとを加算して、左側の補間軸方向に関する相関を計算する。これら右側と左側の２つの計算結果の小さい方を相関が強いと判断し、左斜め方向若しくは右斜め方向の一方について最終的な補間軸の方向を決定して、その決定結果を補間データ生成部２８に送る。
なお、左右方向決定部２７では、相関の強い方向が決まっても、その計算結果がある閾値より大きいときのように所定の範囲にない場合は、その相関の検出に誤りがある危険があると判断し、最終的な補間軸の方向の決定をやめる場合もある。その判定も補間データ生成部２８に送られる。
補間データ生成部２８には、左右方向決定部２７の判定結果のほか、上データ列４２および下データ列４３、ならびに下側右斜め方向検出部２５および下側左斜め方向検出部２６の出力結果が入力される。補間データ生成部２８は、決定された補間方向を示す左右方向決定部２７の判定結果に基づいて、下側右斜め方向検出部２５または、下側左斜め方向検出部２６の結果をもとに、最も相関の強い方向の情報等からさらに詳細な方向を決定し、入力されたデータを用いて、補間ポイントである画素ｈの補間データ４４を生成して出力する。例えば、左右方向決定部２７の判定結果に基づき、補間軸の方向が右斜め方向の補間軸Ｒ１と決定された場合には、例えば、その補間軸Ｒ１上の画素ｄ，ｌの画素データを足して２で割った値（平均値）を、補間データ４４とする。また、左右方向決定部２７において補間軸の方向の決定をやめた場合には、斜め方向の画素ではなく、例えば、少なくとも画素ｈの真上・真下にある画素ｃ，ｍの画素データの平均値を、補間データ４４とする。
以上説明したように、本実施の形態によれば、補間ポイントに隣接する上下２つの実データラインＷ，Ｘのみならず、さらにもう１つ上の実データラインＶ上の画素をも参照して補間軸の方向を決定し、補間データ４４を生成するようにしたので、単に２つの実データラインＷ，Ｘのみを参照して斜め補間を行う場合と比べて、誤補間を回避、軽減し、間違いの少ない斜め補間を実現できる。これにより、高画質なフィールド内補間が実現でき、結果的に高画質なＩＰ変換が実現可能となる。
ところで、本実施の形態では、補助補間ポイント（画素ｚ）を設定することにより、３つのラインを参照して斜め補間を行うようにしたが、３つのラインを参照した斜め補間を、補助補間ポイントを設定せずに行う方法も考えられる。
例えば、第９図に示したように、右斜め方向の相関を検出するために、補間軸Ｒ１の長さを、補間ポイントから２つ上の実データラインＶまで延長し、その実データラインＶ上の画素ｕを相関の検出に用いる方法が考えられる。つまり、右斜めの補間軸Ｒ１方向の相関を、画素ｄ，ｌに加えて画素ｕのデータを参照して検出する。この方法は、本実施の形態の手法と比べて、補助補間ポイントの画素ｚを設定していない点で、その相関検出方法自体が大きく異なるほか、さらに、得られる作用および効果も異なっている。
例えば、本実施の形態の手法では、右斜めの補間軸Ｒ１方向の相関を求める場合、２つ上の実データラインＶ上の参照画素は、補間ポイントの画素ｈから水平方向に１画素分離れたｓ点である（ここでは、説明を簡単にするために画素はグループ化しないものとする）。一方、補間軸を延長する手法では、２つ上の実データラインＶ上の参照画素は、補間ポイントの画素ｈから水平方向に３画素分離れたｕ点となっている。このことは、本実施の形態の手法と比べて、補間ポイントから３倍も離れた画素を参照することを意味する。従って、本実施の形態の手法の方が、相関検出のために参照する画素のデータ範囲が時間的に狭く、処理に要する（参照画素のデータを記憶するための）メモリの量が小さくて済む。
なお、本発明は、上記実施の形態に限定されず種々の変形実施が可能である。例えば、上記実施の形態では、補間ポイントに対して、１つ下にある実データラインＸ上の画素と、上方向にある２つの実データラインＷ，Ｖ上の画素とを用いて相関を検出する場合を例に挙げたが、上方向の実データラインＶに代えて、下方向に２つ目のライン（実データラインＸよりも１つ下のライン）上の画素を用いて相関を検出するようにしても良い。この場合、補助補間ポイントは、下方向の２つの実データライン間に設定された架空ライン上で、補間ポイントの真下に設定される。また、相関の検出に用いる画素ライン（実データライン）は、３ラインに限らず、４ラインに拡張することも可能である。すなわち、上下共に、２つの実データラインを用いるようにしても良い。ライン数をいくつにするかは、コストとのトレードオフになるが、４ラインに拡張することにより、相関の検出精度のさらなる向上が期待できる。
また、上記実施の形態では、相関の検出方向（補間軸の方向）を中央を含めて５方向（Ｌ２，Ｌ１，Ｃ１，Ｒ１，Ｒ２）に設定したが、検出方向をより多く設定することも可能である。さらに、上記実施の形態では、式３に示したように、ＤｉｆｆＧｒｏｕｐの計算をする場合に、３個の画素の値をグループとして設定したが、より多くの画素を利用することで検出精度を向上させることが可能である。さらに、グループ数を増やすことも可能である。
また、上記実施の形態では、補助補間ポイントに用いる画素を、補間ポイントの真上（または真下）の画素ｚとしたが、補助補間ポイントに用いる画素を、真上（または真下）の画素ｚの近傍、数画素以内にある他の画素を用いるようにしても良い。
また、本実施の形態に係るフィールド内補間の手法は、ＩＰ変換の場合のみならず、例えば解像度変換にも応用することが可能である。例えば、第１０図に示したように、水平画素数Ｈ１で垂直画素数Ｖ１の画像を、本実施の形態に係るフィールド内補間の手法を用いて、まず、垂直画素数Ｖ１を２倍に変換し、次いで水平画素数Ｈ１を２倍に変換する。これにより、水平・垂直方向への２倍の解像度変換が高画質で実現できる。このことからも分かるように、本実施の形態に係るフィールド内補間の手法は、垂直上下方向に画素数（走査線数）を増やす場合だけでなく、水平左右方向に画素数を増やす場合にも適用可能である。水平左右方向に画素数を増やす場合には、垂直方向に連続する一連の画素列を１つの画素ラインとして扱う。
以上説明したように、本実施の形態の画像処理装置及び本実施の形態に基づく画像処理方法、映像表示装置、または記録情報再生装置によれば、補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素と、その他の第３または第４の画素ライン上の画素とを組み合わせ、少なくとも３つの画素ライン上の画素を参照して、補間方向を決定し、補間対象の画素のデータを生成するようにしたので、単に２つの画素ラインのみを参照して斜め補間を行う場合と比べて、誤補間を回避、軽減し、間違いの少ない斜め補間を実現できる。これにより、高画質なフィールド内補間が実現でき、結果的に高画質なＩＰ変換が実現可能となる。
特に、架空のライン上で、補間対象の画素に対して最も近い位置にある画素、または最も近い位置にある画素の近傍にある画素を、補助的な画素として設定するようにしたので、相関を求めるために参照する画素のデータ範囲を少なく抑えることができる。
第１図は、本実施の形態に係る画像処理装置としてのＩＰ変換装置の全体構成を示している。このＩＰ変換装置１０は、５２５ｉ，６２５ｉ，１１２５ｉなどのインタレース方式による映像信号Ｖｉを、５２５ｐ，６２５ｐ，１１２５ｐなどのプログレッシブ方式の映像信号Ｖｐに変換して出力するものである。
このＩＰ変換装置１０は、入力された映像信号Ｖｉをフィールド内補間およびフィールド間補間のいずれの方法で処理すべきかを判定する判定部１１と、入力された映像信号Ｖｉに対してフィールド内補間処理を行うフィールド内補間部１２と、入力された映像信号Ｖｉに対してフィールド間補間処理を行うフィールド間補間部１３とを備えている。
このＩＰ変換装置１０は、また、入力された映像信号Ｖｉを例えば２フィールド分記憶する画像メモリ１４と、水平・垂直同期信号Ｓｈ，Ｓｖに基づいて画像メモリ１４におけるデータの読み出しおよび書き込みアドレスを発生するアドレス発生部１５とを備えている。このＩＰ変換装置１０は、さらに、判定部１１の判定結果に基づいて、フィールド内補間部１２およびフィールド間補間部１３のいずれか１つの信号を最終出力信号Ｖｐとして切り替えて出力する切替部１６とを備えている。
フィールド内補間部１２は、このＩＰ変換装置１０の最も特徴的な部分である。このフィールド内補間部１２は、斜め補間を用いたフィールド内補間を行うものであるが、その補間方向（補間軸）を決定するために、少なくとも３つの画素ラインのデータを用いるようになっている。
例えば、第５図に示したように、画素ｈを補間するポイントとすると、画素ｈに隣接する垂直上下方向のラインＷ，Ｘと、さらに、少なくとももう１つの他の画素ラインとを用いる。他の画素ラインは、ラインＷの上に位置するラインＶ（画素ｈからラインＷの方向に２ライン分離れた位置にある画素ライン）またはラインＸの下に位置するライン（画素ｈからラインＸの方向に２ライン分離れた位置にある画素ライン）のいずれか１つを用いる。本実施の形態では、補間対象の画素ｈに対して上側２つのラインＶ，Ｗと、下側１つのラインＸとの合計３ラインのデータを参照して補間処理を行う場合を例に説明する。
なお、第５図では、インタレース方式における任意のフィールド画像の一部分を表している。図において、ラインＶ，Ｗ，Ｘは、実際に映像データ（輝度およびクロマデータなど）が存在する画素ライン（実データライン）を表している。ラインＡ，Ｙは、現フィールドの１つ過去または１つ未来のフィールドにおいて映像データが存在するラインであり、フィールド内補間時には、補間データを作り出すラインである。各ライン上の○印は、画素が存在する位置を表す。以下では、ラインＹ上の画素ｈを補間ポイントとして着目して説明し、ラインＹを特に「補間データライン」と呼ぶ。また、本実施の形態では、画素ｈの補間データを求める際の補間方向を決定するために、ラインＡ上の画素ｚを補助補間ポイントとして設定する。以下では、ラインＡを特に「架空ライン」と呼ぶ。補助補間ポイントの画素ｚは、図示したように、ラインＡ上で、例えば補間ポイントである画素ｈの真上に設定される。
ここで、本実施の形態において、実データラインＷ，Ｘが、それぞれ本発明における「第１の画素ライン」および「第２の画素ライン」の一具体例に対応する。また、実データラインＶが、本発明における「第３の画素ライン」の一具体例に対応する。また、図示しないが、実データラインＸの１つ下にある実データラインが、本発明における「第４の画素ライン」の一具体例に対応する。
第２図は、このＩＰ変換装置１０の特徴部分であるフィールド内補間部１２の詳細な構成を示している。このフィールド内補間部１２には、上上データ列４１、上データ列４２、および下データ列４３が入力されるようになっている。上データ列４２とは、補間ポイント（画素ｈ）の上に位置する画素を左右に数個含めたデータ列のことであり、例えば、第５図に示した実データラインＷ上の画素ａ，ｂ，ｃ，ｄ，ｅに相当する。下データ列４３とは、補間ポイント（画素ｈ）の下に位置する画素を左右に数個含めたデータ列のことであり、例えば実データラインＸ上の画素ｋ，ｌ，ｍ，ｎ，ｏに相当する。上上データ列４１とは、補助補間ポイント（画素ｚ）の上に位置する画素を左右に数個含めたデータ列のことであり、例えば実データラインＶ上の画素ｐ，ｑ，ｒ，ｓ，ｔに相当する。
このフィールド内補間部１２は、上側斜め相関検出部２１と、下側斜め相関検出部２２とを有している。上側斜め相関検出部２１は、上上データ列４１および上データ列４２に基づいて、補助補間ポイントの画素ｚを中心として複数の方向（左斜め方向、中央および右斜め方向）の各補間軸上の画素に関する相関を求めるようになっている。例えば、第７図に示したように、画素ｚを中心として、実データラインＶ，Ｗ上における、左斜め方向の２つの補間軸Ｌ２，Ｌ１、中央の補間軸Ｃ１、および右斜め方向の２つの補間軸Ｒ２，Ｒ１上の画素に関する相関を求めるようになっている。下側斜め相関検出部２２は、上データ列４２および下データ列４３に基づいて、補間ポイントの画素ｈを中心として、実データラインＷ，Ｘ上における、複数の方向にある各補間軸上の画素に関する相関を求めるようになっている。すなわち、上側斜め相関検出部２１と同様、例えば第６図に示したように、左斜め方向の２つの補間軸Ｌ２，Ｌ１、中央の補間軸Ｃ１、および右斜め方向の２つの補間軸Ｒ２，Ｒ１上の画素に関する相関を求めるようになっている。なお、具体的な相関の求め方については、後に詳述する。
このフィールド内補間部１２はまた、上側右斜め方向検出部２３と、上側左斜め方向検出部２４とを有している。上側右斜め方向検出部２３は、上側斜め相関検出部２１によって求められた、中央の補間軸Ｃ１、および右斜め方向の補間軸Ｒ２，Ｒ１上の画素に関する相関のデータＤ４から、最も相関の強いデータＤ４ｍｉｎを選択して出力するようになっている。上側左斜め方向検出部２４は、上側斜め相関検出部２１によって求められた、中央の補間軸Ｃ１、および左斜め方向の補間軸Ｌ２，Ｌ１上の画素に関する相関のデータＤ３から、最も相関の強いデータＤ３ｍｉｎを選択して出力するようになっている。
このフィールド内補間部１２はまた、下側右斜め方向検出部２５と、下側左斜め方向検出部２６とを有している。下側右斜め方向検出部２５は、下側斜め相関検出部２２によって求められた、中央の補間軸Ｃ１、および右斜め方向の補間軸Ｒ２，Ｒ１上の画素に関する相関のデータＤ２から、最も相関の強いデータＤ２ｍｉｎを選択して出力するようになっている。下側左斜め方向検出部２６は、下側斜め相関検出部２２によって求められた、中央の補間軸Ｃ１、および左斜め方向の補間軸Ｌ２，Ｌ１上の画素に関する相関のデータＤ１から、最も相関の強いデータＤ１ｍｉｎを選択して出力するようになっている。
このフィールド内補間部１２はまた、左右方向決定部２７と、補間データ生成部２８とを有している。左右方向決定部２７は、上側右斜め方向検出部２３、上側左斜め方向検出部２４、下側右斜め方向検出部２５、および下側左斜め方向検出部２６からの出力データＤ４ｍｉｎ〜Ｄ１ｍｉｎに基づいて、補間軸の方向を決定するようになっている。補間データ生成部２８は、左右方向決定部２７によって決定された補間軸の方向の画素データを用いて、補間ポイントである画素ｈの補間データを生成するようになっている。
ここで、本実施の形態において、下側斜め相関検出部２２が、本発明における「第１の相関検出部」の一具体例に対応し、上側斜め相関検出部２１が、本発明における「第２の相関検出部」の一具体例に対応する。また、本実施の形態において、主として左右方向決定部２７が、本発明における「決定手段」の一具体例に対応する。補間データ生成部２８が、本発明における「生成手段」の一具体例に対応する。
第３図は、このＩＰ変換装置１０を用いた映像表示装置の構成例を示している。この映像表示装置は、フロント映像処理部３１と、ＩＰ変換部３２と、駆動部３３と、映像表示部３４とを備えている。
フロント映像処理部３１は、インタレース方式による入力映像信号ＶｉにＡ／Ｄ変換などの信号処理を施してＩＰ変換部３２に出力するようになっている。ＩＰ変換部３２は、上述のＩＰ変換装置１０によって構成されるものであり、フロント映像処理部３１を介して入力された映像信号Ｖｉをプログレッシブ方式の映像信号Ｖｐに変換して出力するようになっている。
映像表示部３４は、映像信号Ｖｐに基づいて実際に映像を表示する部分である。映像表示部３４は、駆動部３３によって駆動されるようになっている。映像表示部３４の形態は特に限定されないが、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などを用いることができる。
第４図は、このＩＰ変換装置１０を用いた記録情報再生システムの構成例を示している。このシステムは、記録情報再生装置５０と、この記録情報再生装置５０によって再生された映像を表示する映像表示装置６０とを備えている。
記録情報再生装置５０は、情報記録媒体５１に記録された映像情報を再生するためのものである。情報記録媒体５１は、例えばＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などであり、少なくともインタレース方式の映像情報が記録されている。情報記録媒体５１がＤＶＤである場合、映像情報はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格により圧縮符号化されて記録されている。
この記録情報再生装置５０は、デコード部５２と、ＩＰ変換部５３とを有している。デコード部５２は、情報記録媒体５１に記録された映像情報を復号化してインタレース方式の映像信号Ｖｉを出力するようになっている。ＩＰ変換部５３は、上述のＩＰ変換装置１０によって構成されるものであり、デコード部５２を介して入力されたインタレース方式の映像信号Ｖｉをプログレッシブ方式の映像信号Ｖｐに変換して出力するようになっている。
映像表示装置６０の形態は特に限定されないが、例えばＣＲＴ、ＬＣＤまたはＰＤＰなどにより構成されている。映像表示装置６０は、Ｄ端子など、プログレッシブ方式の映像信号Ｖｐに対応した映像入力端子６１を有しており、その映像入力端子６１を介して入力された映像信号Ｖｐに基づく映像表示を行う機能を有している。
次に、以上のように構成されたＩＰ変換装置１０、ならびにこのＩＰ変換装置１０を利用した映像表示装置および記録情報再生システムの動作について説明する。
第１図に示したＩＰ変換装置１０には、５２５ｉ，６２５ｉ，１１２５ｉなどのインタレース方式による映像信号Ｖｉが入力される。画像メモリ１４には、現フィールドに対して例えば過去２フィールド分の入力映像信号Ｖｉが入力される。フィールド内補間部１２では、入力された映像信号Ｖｉに対して、後に詳述する方法によりフィールド内補間処理を施し、それにより得られたプログレッシブ方式の映像信号Ｖｐを切替部１６に出力する。フィールド間補間部１３では、入力された映像信号Ｖｉに対して、フィールド間補間処理を施し、それにより得られたプログレッシブ方式の映像信号Ｖｐを切替部１６に出力する。
判定部１１は、現フィールドの映像信号Ｖｉと画像メモリ１４に記憶された過去のフィールドの映像信号Ｖｉとに基づいて、フィールド間補間またはフィールド内補間のいずれの方式によって得られた信号を最終出力信号Ｖｐとして出力すべきかを判定し、その判定結果に基づいて切替部１６を切り替え制御する。例えば映像信号Ｖｉが動画と判定された場合には、フィールド内補間部１２によってフィールド内補間された信号を、最終出力信号Ｖｐとして出力させる。また例えば、映像信号Ｖｉが静止画と判定された場合には、フィールド間補間部１３によってフィールド間補間処理された信号を、最終出力信号Ｖｐとして出力させる。
第３図に示した映像表示装置では、インタレース方式による入力映像信号Ｖｉに対して、フロント映像処理部３１においてＡ／Ｄ変換などの信号処理が施される。ＩＰ変換部３２は、フロント映像処理部３１を介して入力された映像信号Ｖｉをプログレッシブ方式の映像信号Ｖｐに変換して出力する。駆動部３３は、このプログレッシブ方式の映像信号Ｖｐに基づいて映像表示部３４を駆動し、映像表示部３４にプログレッシブ方式による映像を表示させる。
第４図に示した記録情報再生システムでは、ＤＶＤ等の情報記録媒体５１に記録された映像情報が、デコード部５２によって復号化され、インタレース方式の映像信号Ｖｉとして、ＩＰ変換部５３に出力される。ＩＰ変換部５３では、復号化された映像信号Ｖｉをプログレッシブ方式の映像信号Ｖｐに変換する。この変換された映像信号Ｖｐが、記録情報再生装置５０から映像表示装置６０における映像入力端子６１へと出力される。映像表示装置６０では、映像入力端子６１を介して入力された映像信号Ｖｐに基づいて、プログレッシブ方式による映像表示を行う。
次に、ＩＰ変換装置１０の特徴部分であるフィールド内補間部１２（第２図）の処理動作について説明する。
フィールド内補間部１２において、上側斜め相関検出部２１には、上上データ列４１および上データ列４２が入力され、下側斜め相関検出部２２には、上データ列４２および下データ列４３が入力される。上側斜め相関検出部２１では、例えば、第７図に示したように、補助補間ポイントの画素ｚを中心として、実データラインＶ，Ｗ上における、左斜め方向の２つの補間軸Ｌ２，Ｌ１、中央の補間軸Ｃ１、および右斜め方向の２つの補間軸Ｒ２，Ｒ１上の画素の相関を求める。下側斜め相関検出部２２では、補間ポイントの画素ｈを中心として、実データラインＷ，Ｘ上における、左斜め方向の２つの補間軸Ｌ２，Ｌ１、中央の補間軸Ｃ１、および右斜め方向の２つの補間軸Ｒ２，Ｒ１上の画素の相関を求める。
上側斜め相関検出部２１および下側斜め相関検出部２２における画素の相関の検出は、各補間軸上の画素のみならず、その補間軸上の画素を含む数個の画素を１つのグループとして考えて求める方が、相関検出の精度を上げることができる。
例えば、下側斜め相関検出部２２において、補間軸Ｒ１上の画素ｄのデータと画素１のデータとの相関を検出する場合、第６図に示したように、画素ｄを中心としたデータグループ２−１（画素ｃ，ｄ，ｅ）と、画素１を中心としたデータグループ２−２（画素ｋ，ｌ，ｍ）とを用いることで相関検出の間違いを少なくし、検出精度を上げることができる。
データグループ２−１，２−２を用いた相関は、具体的には、例えば以下の式３のように、データグループの差分絶対値和（ＤｉｆｆＧｒｏｕｐ）を計算することで求めることができる。
式３のＤｉｆｆＧｒｏｕｐ右１は、右斜め１方向（補間軸Ｒ１上）の画素ｄ，ｌの組についての演算式であるが、他の軸方向の演算も同様の方法で行うことができる。このようにして、下側斜め相関検出部２２は、補間ポイントの画素ｈを中心とした各軸Ｌ２，Ｌ１，Ｃ１，Ｒ１，Ｒ２の方向についてのＤｉｆｆＧｒｏｕｐ左２、ＤｉｆｆＧｒｏｕｐ左１、ＤｉｆｆＧｒｏｕｐ中央、ＤｉｆｆＧｒｏｕｐ右１、およびＤｉｆｆＧｒｏｕｐ右２の値を相関として求める。式３で求められるデータグループの差分絶対値和が小さい程、そのグループの組の相関が強いことを意味する。
同様にして上側斜め相関検出部２１では、式３を用いた手法で、架空ラインＡ上の補助補間ポイント（画素ｚ）を中心として、実データラインＶ，Ｗ上におけるデータグループの差分絶対値和を求め、各グループの組の相関を検出する。例えば、補間軸Ｒ１上の画素ｓのデータと画素ｂのデータとの相関を検出する場合、第７図に示したように、画素ｓを中心としたデータグループ２−３（画素ｒ，ｓ，ｔ）と、画素ｂを中心としたデータグループ２−４（画素ａ，ｂ，ｃ）とを用いて、相関を検出する。
下側斜め相関検出部２２で計算された相関のデータは、下側右斜め方向検出部２５および下側左斜め方向検出部２６に入力される。下側右斜め方向検出部２５では、入力されたデータＤ２（ＤｉｆｆＧｒｏｕｐ中央、ＤｉｆｆＧｒｏｕｐ右１、およびＤｉｆｆＧｒｏｕｐ右２）の中から、最も相関の強い（ＤｉｆｆＧｒｏｕｐの小さい）データＤ２ｍｉｎを選択して出力する。下側左斜め方向検出部２６では、入力されたデータＤ１（ＤｉｆｆＧｒｏｕｐ中央、ＤｉｆｆＧｒｏｕｐ左１、およびＤｉｆｆＧｒｏｕｐ左２）の中から、最も相関の強いデータＤ１ｍｉｎを選択して出力する。
上側斜め相関検出部２１で計算された相関のデータは、上側右斜め方向検出部２３および上側左斜め方向検出部２４に入力される。上側右斜め方向検出部２３および上側左斜め方向検出部２４では、下側右斜め方向検出部２５および下側左斜め方向検出部２６と同様に、入力されたＤｉｆｆＧｒｏｕｐのデータＤ４，Ｄ３の中から、最も相関の強いデータＤ４ｍｉｎ，Ｄ３ｍｉｎを選択して出力する。
上側右斜め方向検出部２３、上側左斜め方向検出部２４、下側右斜め方向検出部２５、および下側左斜め方向検出部２６の出力データＤ４ｍｉｎ〜Ｄ１ｍｉｎは、左右方向決定部２７に送られ、そこで、補間データの算出に用いられるべき補間軸の方向が決定される。左右方向決定部２７によって補間軸の方向が決定されるまでの概念を第８図に示す。
第８図に示したように、左右方向決定部２７では、上側右斜め方向検出部２３で選択されたＤｉｆｆＧｒｏｕｐのデータＤ４ｍｉｎと下側右斜め方向検出部２５で選択されたＤｉｆｆＧｒｏｕｐのデータＤ２ｍｉｎとを加算して、右側の補間軸方向に関する相関を計算する。また、上側左斜め方向検出部２４で選択されたＤｉｆｆＧｒｏｕｐのデータＤ３ｍｉｎと下側左斜め方向検出部２６で選択されたＤｉｆｆＧｒｏｕｐのデータＤ１ｍｉｎとを加算して、左側の補間軸方向に関する相関を計算する。これら右側と左側の２つの計算結果の小さい方を相関が強いと判断し、左斜め方向若しくは右斜め方向の一方について最終的な補間軸の方向を決定して、その決定結果を補間データ生成部２８に送る。
なお、左右方向決定部２７では、相関の強い方向が決まっても、その計算結果がある閾値より大きいときのように所定の範囲にない場合は、その相関の検出に誤りがある危険があると判断し、最終的な補間軸の方向の決定をやめる場合もある。その判定も補間データ生成部２８に送られる。
補間データ生成部２８には、左右方向決定部２７の判定結果のほか、上データ列４２および下データ列４３、ならびに下側右斜め方向検出部２５および下側左斜め方向検出部２６の出力結果が入力される。補間データ生成部２８は、決定された補間方向を示す左右方向決定部２７の判定結果に基づいて、下側右斜め方向検出部２５または、下側左斜め方向検出部２６の結果をもとに、最も相関の強い方向の情報等からさらに詳細な方向を決定し、入力されたデータを用いて、補間ポイントである画素ｈの補間データ４４を生成して出力する。例えば、左右方向決定部２７の判定結果に基づき、補間軸の方向が右斜め方向の補間軸Ｒ１と決定された場合には、例えば、その補間軸Ｒ１上の画素ｄ，ｌの画素データを足して２で割った値（平均値）を、補間データ４４とする。また、左右方向決定部２７において補間軸の方向の決定をやめた場合には、斜め方向の画素ではなく、例えば、少なくとも画素ｈの真上・真下にある画素ｃ，ｍの画素データの平均値を、補間データ４４とする。
以上説明したように、本実施の形態によれば、補間ポイントに隣接する上下２つの実データラインＷ，Ｘのみならず、さらにもう１つ上の実データラインＶ上の画素をも参照して補間軸の方向を決定し、補間データ４４を生成するようにしたので、単に２つの実データラインＷ，Ｘのみを参照して斜め補間を行う場合と比べて、誤補間を回避、軽減し、間違いの少ない斜め補間を実現できる。これにより、高画質なフィールド内補間が実現でき、結果的に高画質なＩＰ変換が実現可能となる。
ところで、本実施の形態では、補助補間ポイント（画素ｚ）を設定することにより、３つのラインを参照して斜め補間を行うようにしたが、３つのラインを参照した斜め補間を、補助補間ポイントを設定せずに行う方法も考えられる。
例えば、第９図に示したように、右斜め方向の相関を検出するために、補間軸Ｒ１の長さを、補間ポイントから２つ上の実データラインＶまで延長し、その実データラインＶ上の画素ｕを相関の検出に用いる方法が考えられる。つまり、右斜めの補間軸Ｒ１方向の相関を、画素ｄ，ｌに加えて画素ｕのデータを参照して検出する。この方法は、本実施の形態の手法と比べて、補助補間ポイントの画素ｚを設定していない点で、その相関検出方法自体が大きく異なるほか、さらに、得られる作用および効果も異なっている。
例えば、本実施の形態の手法では、右斜めの補間軸Ｒ１方向の相関を求める場合、２つ上の実データラインＶ上の参照画素は、補間ポイントの画素ｈから水平方向に１画素分離れたｓ点である（ここでは、説明を簡単にするために画素はグループ化しないものとする）。一方、補間軸を延長する手法では、２つ上の実データラインＶ上の参照画素は、補間ポイントの画素ｈから水平方向に３画素分離れたｕ点となっている。このことは、本実施の形態の手法と比べて、補間ポイントから３倍も離れた画素を参照することを意味する。従って、本実施の形態の手法の方が、相関検出のために参照する画素のデータ範囲が時間的に狭く、処理に要する（参照画素のデータを記憶するための）メモリの量が小さくて済む。
なお、本発明は、上記実施の形態に限定されず種々の変形実施が可能である。例えば、上記実施の形態では、補間ポイントに対して、１つ下にある実データラインＸ上の画素と、上方向にある２つの実データラインＷ，Ｖ上の画素とを用いて相関を検出する場合を例に挙げたが、上方向の実データラインＶに代えて、下方向に２つ目のライン（実データラインＸよりも１つ下のライン）上の画素を用いて相関を検出するようにしても良い。この場合、補助補間ポイントは、下方向の２つの実データライン間に設定された架空ライン上で、補間ポイントの真下に設定される。また、相関の検出に用いる画素ライン（実データライン）は、３ラインに限らず、４ラインに拡張することも可能である。すなわち、上下共に、２つの実データラインを用いるようにしても良い。ライン数をいくつにするかは、コストとのトレードオフになるが、４ラインに拡張することにより、相関の検出精度のさらなる向上が期待できる。
また、上記実施の形態では、相関の検出方向（補間軸の方向）を中央を含めて５方向（Ｌ２，Ｌ１，Ｃ１，Ｒ１，Ｒ２）に設定したが、検出方向をより多く設定することも可能である。さらに、上記実施の形態では、式３に示したように、ＤｉｆｆＧｒｏｕｐの計算をする場合に、３個の画素の値をグループとして設定したが、より多くの画素を利用することで検出精度を向上させることが可能である。さらに、グループ数を増やすことも可能である。
また、上記実施の形態では、補助補間ポイントに用いる画素を、補間ポイントの真上（または真下）の画素ｚとしたが、補助補間ポイントに用いる画素を、真上（または真下）の画素ｚの近傍、数画素以内にある他の画素を用いるようにしても良い。
また、本実施の形態に係るフィールド内補間の手法は、ＩＰ変換の場合のみならず、例えば解像度変換にも応用することが可能である。例えば、第１０図に示したように、水平画素数Ｈ１で垂直画素数Ｖ１の画像を、本実施の形態に係るフィールド内補間の手法を用いて、まず、垂直画素数Ｖ１を２倍に変換し、次いで水平画素数Ｈ１を２倍に変換する。これにより、水平・垂直方向への２倍の解像度変換が高画質で実現できる。このことからも分かるように、本実施の形態に係るフィールド内補間の手法は、垂直上下方向に画素数（走査線数）を増やす場合だけでなく、水平左右方向に画素数を増やす場合にも適用可能である。水平左右方向に画素数を増やす場合には、垂直方向に連続する一連の画素列を１つの画素ラインとして扱う。
以上説明したように、本実施の形態の画像処理装置及び本実施の形態に基づく画像処理方法、映像表示装置、または記録情報再生装置によれば、補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素と、その他の第３または第４の画素ライン上の画素とを組み合わせ、少なくとも３つの画素ライン上の画素を参照して、補間方向を決定し、補間対象の画素のデータを生成するようにしたので、単に２つの画素ラインのみを参照して斜め補間を行う場合と比べて、誤補間を回避、軽減し、間違いの少ない斜め補間を実現できる。これにより、高画質なフィールド内補間が実現でき、結果的に高画質なＩＰ変換が実現可能となる。
特に、架空のライン上で、補間対象の画素に対して最も近い位置にある画素、または最も近い位置にある画素の近傍にある画素を、補助的な画素として設定するようにしたので、相関を求めるために参照する画素のデータ範囲を少なく抑えることができる。
Claims (11)
- 入力信号のフィールド内におけるデータの存在しない部分の画素データを、そのフィールド内に存在する他の画素データから補間して求める画像処理装置であって、
補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関を、前記補間対象の画素を中心として複数の方向について検出する第１の相関検出部と、
前記第１の画素ライン上の画素と前記第１の画素ラインの方向に前記補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、前記第２の画素ライン上の画素と前記第２の画素ラインの方向に前記補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関を、前記補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出する第２の相関検出部と、
前記第１の相関検出部および前記第２の相関検出部の検出結果に基づいて、補間方向を決定する決定手段と、
その決定された補間方向に存在する、前記第１の画素ラインおよび前記第２の画素ライン上の画素のデータを参照して、前記補間対象の画素の補間データを生成する生成手段とを備え、
前記第２の相関検出部において、
前記第１の画素ライン上の画素と前記第３の画素ライン上の画素との相関を求める場合には、前記第１の画素ラインと前記第３の画素ラインとの間に設定された架空のライン上にある画素を前記補助的な画素として設定し、
前記第２の画素ライン上の画素と前記第４の画素ライン上の画素との相関を求める場合には、前記第２の画素ラインと前記第４の画素ラインとの間に設定された架空のライン上にある画素を前記補助的な画素として設定するようになされている
ことを特徴とする画像処理装置。 - 前記架空のライン上で、前記補間対象の画素に対して最も近い位置にある画素、または最も近い位置にある画素の近傍にある画素を、前記補助的な画素として設定する
ことを特徴とする請求の範囲第１項記載の画像処理装置。 - 前記第１の相関検出部は、前記補間対象の画素に対して、垂直方向の画素、左斜め方向の画素、および右斜め方向の画素の相関を検出するようになされ、
前記第２の相関検出部は、前記補助的な画素に対して、垂直方向の画素、左斜め方向の画素、および右斜め方向の画素の相関を検出するようになされている
ことを特徴とする請求の範囲第１項記載の画像処理装置。 - 前記決定手段は、前記第１の相関検出部及び前記第２の相関検出部から出力された少なくとも前記左斜め方向の画素の相関値による第１の演算結果と、前記第１の相関検出部及び前記第２の相関検出部から出力された少なくとも前記右斜め方向の画素の相関値による第２の演算結果との比較により、前記補間方向を決定する
ことを特徴とする請求の範囲第３項記載の画像処理装置。 - 前記第１の演算結果は、前記第１の相関検出部の少なくとも前記左斜め方向を含む複数の方向のうち最も強い相関を示す相関値と前記第２の相関検出部の少なくとも前記左斜め方向を含む複数の方向のうち最も強い相関を示す相関値とを加算した結果であり、前記第２の演算結果は、前記前記第１の相関検出部の少なくとも前記右斜め方向を含む複数の方向のうち最も強い相関を示す相関値と前記第２の相関検出部の少なくとも前記右斜め方向を含む複数の方向のうち最も強い相関を示す相関値とを加算した結果である
ことを特徴とする請求の範囲第４項記載の画像処理装置。 - 前記生成手段は、前記決定手段により決定された前記補間方向に基づき、前記第１の相関検出部の前記左斜め方向を含む複数の方向のうち最も強い相関を示す相関値または前記第１の相関検出部の前記右斜め方向を含む複数の方向のうち最も強い相関を示す相関値に対応する補間方向の補間データを生成する
ことを特徴とする請求の範囲５項記載の画像処理装置。 - 前記第１の演算結果または前記第２の演算結果が所定の範囲の値ではない場合は、前記補間対象の画素に対して前記垂直方向に隣接する少なくとも２つの画素により補間される
ことを特徴とする請求の範囲第４項記載の画像処理装置。 - インタレース方式の前記入力信号をプログレッシブ方式の信号に変換するためのフィールド内補間を行うものである
ことを特徴とする請求の範囲第１項記載の画像処理装置。 - フィールド内におけるデータの存在しない部分の画素データを、そのフィールド内に存在する他の画素データから補間して求める画像処理方法であって、
補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関を、前記補間対象の画素を中心として複数の方向について検出する第１の検出ステップと、
前記第１の画素ライン上の画素と前記第１の画素ラインの方向に前記補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、前記第２の画素ライン上の画素と前記第２の画素ラインの方向に前記補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関を、前記補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出する第２の検出ステップと、
前記第１の検出ステップおよび前記第２の検出ステップの検出結果に基づいて、補間方向を決定するステップと、
その決定された補間方向に存在する、前記第１の画素ラインおよび前記第２の画素ライン上の画素のデータを参照して、前記補間対象の画素の補間データを生成するステップと
を含み、
前記第２の検出ステップにおいて、
前記第１の画素ライン上の画素と前記第３の画素ライン上の画素との相関を求める場合には、前記第１の画素ラインと前記第３の画素ラインとの間に設定された架空のライン上にある画素を前記補助的な画素として設定し、
前記第２の画素ライン上の画素と前記第４の画素ライン上の画素との相関を求める場合には、前記第２の画素ラインと前記第４の画素ラインとの間に設定された架空のライン上にある画素を前記補助的な画素として設定するようにした
ことを特徴とする画像処理方法。 - 入力映像信号に対して、フィールド内補間処理を施す画像処理部と、前記画像処理部によって処理された後の映像信号に基づいて映像を表示する表示部とを備えた映像表示装置であって、
前記画像処理部は、
補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関を、前記補間対象の画素を中心として複数の方向について検出する第１の相関検出部と、
前記第１の画素ライン上の画素と前記第１の画素ラインの方向に前記補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、前記第２の画素ライン上の画素と前記第２の画素ラインの方向に前記補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関を、前記補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出する第２の相関検出部と、
前記第１の相関検出部および前記第２の相関検出部の検出結果に基づいて、補間方向を決定する決定手段と、
その決定された補間方向に存在する、前記第１の画素ラインおよび前記第２の画素ライン上の画素のデータを参照して、前記補間対象の画素の補間データを生成する生成手段とを備え、
前記第２の相関検出部において、
前記第１の画素ライン上の画素と前記第３の画素ライン上の画素との相関を求める場合には、前記第１の画素ラインと前記第３の画素ラインとの間に設定された架空のライン上にある画素を前記補助的な画素として設定し、
前記第２の画素ライン上の画素と前記第４の画素ライン上の画素との相関を求める場合には、前記第２の画素ラインと前記第４の画素ラインとの間に設定された架空のライン上にある画素を前記補助的な画素として設定するようになされている
ことを特徴とする映像表示装置。 - 記録媒体に記録された映像情報に対してフィールド内補間処理を施した信号を再生出力する記録情報再生装置であって、
前記フィールド内補間処理を施すための手段として、
補間対象の画素に対して、垂直上下方向または水平左右方向に隣接する第１の画素ラインおよび第２の画素ライン上の画素の相関を、前記補間対象の画素を中心として複数の方向について検出する第１の相関検出部と、
前記第１の画素ライン上の画素と前記第１の画素ラインの方向に前記補間対象の画素から２ライン分離れた位置にある第３の画素ライン上の画素との相関、または、前記第２の画素ライン上の画素と前記第２の画素ラインの方向に前記補間対象の画素から２ライン分離れた位置にある第４の画素ライン上の画素との相関、の少なくとも一方の相関を、前記補間対象の画素とは異なる位置に設定された補助的な画素を中心として、複数の方向について検出する第２の相関検出部と、
前記第１の相関検出部および前記第２の相関検出部の検出結果に基づいて、補間方向を決定する決定手段と、
その決定された補間方向に存在する、前記第１の画素ラインおよび前記第２の画素ライン上の画素のデータを参照して、前記補間対象の画素の補間データを生成する生成手段とを備え、
前記第２の相関検出部において、
前記第１の画素ライン上の画素と前記第３の画素ライン上の画素との相関を求める場合には、前記第１の画素ラインと前記第３の画素ラインとの間に設定された架空のライン上にある画素を前記補助的な画素として設定し、
前記第２の画素ライン上の画素と前記第４の画素ライン上の画素との相関を求める場合には、前記第２の画素ラインと前記第４の画素ラインとの間に設定された架空のライン上にある画素を前記補助的な画素として設定するようになされている
ことを特徴とする記録情報再生装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002238005 | 2002-08-19 | ||
| JP2002238005 | 2002-08-19 | ||
| PCT/JP2003/010424 WO2004017634A1 (ja) | 2002-08-19 | 2003-08-19 | 画像処理装置および方法、映像表示装置、ならびに記録情報再生装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2004017634A1 true JPWO2004017634A1 (ja) | 2005-12-08 |
| JP4218640B2 JP4218640B2 (ja) | 2009-02-04 |
Family
ID=31884448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004528896A Expired - Fee Related JP4218640B2 (ja) | 2002-08-19 | 2003-08-19 | 画像処理装置および方法、映像表示装置、ならびに記録情報再生装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7218354B2 (ja) |
| EP (1) | EP1531625A4 (ja) |
| JP (1) | JP4218640B2 (ja) |
| KR (1) | KR101001462B1 (ja) |
| CN (1) | CN1310513C (ja) |
| WO (1) | WO2004017634A1 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4641438B2 (ja) * | 2004-03-16 | 2011-03-02 | キヤノン株式会社 | 画素補間装置及び画素補間方法 |
| US7339626B2 (en) * | 2004-06-07 | 2008-03-04 | Lucent Technologies Inc. | Deinterlacing video images with slope detection |
| JP4358055B2 (ja) * | 2004-07-21 | 2009-11-04 | 株式会社東芝 | 補間画素生成回路 |
| US7362378B2 (en) * | 2005-01-10 | 2008-04-22 | Matsushita Electric Industrial Co., Ltd. | Method of edge based pixel location and interpolation |
| JP5151075B2 (ja) * | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
| KR100772390B1 (ko) * | 2006-01-23 | 2007-11-01 | 삼성전자주식회사 | 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치 |
| TWI361616B (en) * | 2006-01-27 | 2012-04-01 | Mstar Semiconductor Inc | Edge adaptive de-interlacing apparatus and method thereof |
| JP2008011389A (ja) * | 2006-06-30 | 2008-01-17 | Toshiba Corp | 映像信号スケーリング装置 |
| US20080056381A1 (en) * | 2006-08-30 | 2008-03-06 | Chih-Ta Star Sung | Image compression and decompression with fast storage device accessing |
| JP4861114B2 (ja) * | 2006-09-27 | 2012-01-25 | 株式会社東芝 | 映像信号処理装置 |
| KR100827240B1 (ko) * | 2006-10-02 | 2008-05-07 | 삼성전자주식회사 | 다채널 보간 장치 및 방법 |
| US7834932B2 (en) * | 2006-11-15 | 2010-11-16 | Faraday Technology Corp. | De-interlacing method |
| JP4795929B2 (ja) | 2006-12-26 | 2011-10-19 | 富士通株式会社 | 補間方法を決定するプログラム、装置、および方法 |
| JP5040992B2 (ja) * | 2007-03-16 | 2012-10-03 | 富士通株式会社 | 画像変換装置、および変換方法 |
| US8150204B2 (en) * | 2007-03-23 | 2012-04-03 | Mitsubishi Electric Corporation | Noise reducer for video signals |
| TWI344790B (en) * | 2007-05-07 | 2011-07-01 | Mstar Semiconductor Inc | Pixel interpolation apparatus and method thereof |
| US20090046202A1 (en) * | 2007-08-17 | 2009-02-19 | Himax Technologies Limited | De-interlace method and apparatus |
| JP2009077293A (ja) * | 2007-09-21 | 2009-04-09 | Toshiba Corp | 映像信号斜め補間装置および映像信号斜め補間方法 |
| US20090231486A1 (en) * | 2008-03-13 | 2009-09-17 | Mediatek Inc. | Method and Device for De-Interlacing a Video Signal Having a Field of Interlaced Scan Lines |
| JP4343255B1 (ja) * | 2008-06-25 | 2009-10-14 | 株式会社東芝 | 画像伸張装置及び画像伸張方法 |
| CN102457758B (zh) * | 2010-10-25 | 2013-11-20 | 深圳市掌网立体时代视讯技术有限公司 | 双镜头立体设备的传感器组件筛选测试治具及方法 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4661853A (en) * | 1985-11-01 | 1987-04-28 | Rca Corporation | Interfield image motion detector for video signals |
| JPH053564A (ja) * | 1990-09-19 | 1993-01-08 | Nec Corp | 映像信号処理装置 |
| US5119193A (en) | 1990-09-19 | 1992-06-02 | Nec Corporation | Video-signal processing device |
| JPH05276493A (ja) * | 1992-01-28 | 1993-10-22 | Sharp Corp | 映像適応型走査線補間装置 |
| JP3438032B2 (ja) * | 1994-03-15 | 2003-08-18 | 松下電器産業株式会社 | 空間周波数適応補間方法および空間周波数適応補間装置 |
| JPH0937214A (ja) * | 1995-07-14 | 1997-02-07 | Matsushita Electric Ind Co Ltd | 順次走査変換方法及び順次走査変換装置 |
| US5886745A (en) | 1994-12-09 | 1999-03-23 | Matsushita Electric Industrial Co., Ltd. | Progressive scanning conversion apparatus |
| KR0183149B1 (ko) * | 1995-12-30 | 1999-05-01 | 김광호 | 동화상 검출방법 |
| US6339479B1 (en) * | 1996-11-22 | 2002-01-15 | Sony Corporation | Video processing apparatus for processing pixel for generating high-picture-quality image, method thereof, and video printer to which they are applied |
| JPH11146346A (ja) * | 1997-11-13 | 1999-05-28 | Matsushita Electric Ind Co Ltd | 順次走査変換方法及び順次走査変換装置 |
| JP3444170B2 (ja) * | 1997-11-28 | 2003-09-08 | 日本ビクター株式会社 | フィールド画像補間方法及びフィールド画像補間装置 |
| US6621936B1 (en) * | 1999-02-12 | 2003-09-16 | Sony Corporation | Method and apparatus for spatial class reduction |
| US6421090B1 (en) * | 1999-08-27 | 2002-07-16 | Trident Microsystems, Inc. | Motion and edge adaptive deinterlacing |
| KR100327396B1 (ko) * | 1999-09-03 | 2002-03-13 | 구자홍 | 모서리 방향검출을 기반으로 하는 격행주사 영상의 디인터레이싱 방법 |
| JP2001094951A (ja) * | 1999-09-21 | 2001-04-06 | Sanyo Electric Co Ltd | 走査線補間方法 |
| US6522785B1 (en) * | 1999-09-24 | 2003-02-18 | Sony Corporation | Classified adaptive error recovery method and apparatus |
| US6731342B2 (en) * | 2000-01-06 | 2004-05-04 | Lg Electronics Inc. | Deinterlacing apparatus and method using edge direction detection and pixel interplation |
| JP4108969B2 (ja) * | 2000-12-14 | 2008-06-25 | 松下電器産業株式会社 | 画像角度検出装置およびそれを備えた走査線補間装置 |
| JP4553481B2 (ja) * | 2000-12-14 | 2010-09-29 | パナソニック株式会社 | 走査線補間装置 |
| GB2372394B (en) * | 2000-12-22 | 2004-09-22 | Matsushita Electric Ind Co Ltd | Interpolation apparatus and video signal processing apparatus including the same |
| JP2002199351A (ja) * | 2000-12-27 | 2002-07-12 | Matsushita Electric Ind Co Ltd | 静止判定装置およびそれを備えた走査線補間装置 |
| US7023487B1 (en) * | 2002-01-25 | 2006-04-04 | Silicon Image, Inc. | Deinterlacing of video sources via image feature edge detection |
| KR100506086B1 (ko) * | 2002-12-26 | 2005-08-03 | 삼성전자주식회사 | 영상의 재현 품질 향상 장치 및 그 방법 |
| KR100601638B1 (ko) * | 2003-06-18 | 2006-07-14 | 삼성전자주식회사 | 디-인터레이싱 방법, 그 장치, 그 비디오 디코더 및 그재생 장치 |
-
2003
- 2003-08-19 EP EP03788137A patent/EP1531625A4/en not_active Withdrawn
- 2003-08-19 CN CNB038013444A patent/CN1310513C/zh not_active Expired - Fee Related
- 2003-08-19 US US10/492,696 patent/US7218354B2/en not_active Expired - Fee Related
- 2003-08-19 JP JP2004528896A patent/JP4218640B2/ja not_active Expired - Fee Related
- 2003-08-19 WO PCT/JP2003/010424 patent/WO2004017634A1/ja active Application Filing
- 2003-08-19 KR KR1020047005517A patent/KR101001462B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| US20040263684A1 (en) | 2004-12-30 |
| KR101001462B1 (ko) | 2010-12-14 |
| JP4218640B2 (ja) | 2009-02-04 |
| EP1531625A4 (en) | 2013-01-23 |
| WO2004017634A1 (ja) | 2004-02-26 |
| CN1572112A (zh) | 2005-01-26 |
| KR20050032512A (ko) | 2005-04-07 |
| US7218354B2 (en) | 2007-05-15 |
| CN1310513C (zh) | 2007-04-11 |
| EP1531625A1 (en) | 2005-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4218640B2 (ja) | 画像処理装置および方法、映像表示装置、ならびに記録情報再生装置 | |
| JP3927557B2 (ja) | 映像信号のデインターレース方法およびデインターレース装置 | |
| US6118488A (en) | Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection | |
| US7961253B2 (en) | Method of processing fields of images and related device for data lines similarity detection | |
| US7414671B1 (en) | Systems and methods for display object edge detection and pixel data interpolation in video processing systems | |
| US7233362B2 (en) | Method for transforming one video output format into another video output format without degrading display quality | |
| JP4273112B2 (ja) | ジャダーマップを利用した画像処理装置及びその方法 | |
| US7538824B1 (en) | Systems and methods for reducing noise during video deinterlacing | |
| JP4119360B2 (ja) | 映像フォーマットの変換装置及びその方法 | |
| JP2006109488A (ja) | フィールド選択が可能な映像処理装置及びその方法 | |
| US20040189877A1 (en) | Apparatus for detecting a common frame in an interlaced image | |
| JP4936857B2 (ja) | プルダウン信号検出装置、プルダウン信号検出方法及び順次走査変換装置 | |
| JP2007129400A (ja) | フィルムモード検出装置及び映像表示装置 | |
| JP4433949B2 (ja) | 画像処理装置及び方法 | |
| JP2003179886A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4179089B2 (ja) | 動画像補間用動き推定方法及び動画像補間用動き推定装置 | |
| US6542197B1 (en) | Three-dimensional signal processor using motion information upon decoding image signal | |
| JP2002369156A (ja) | 映像信号変換装置 | |
| JP4551343B2 (ja) | 映像処理装置、及び映像処理方法 | |
| US7420626B1 (en) | Systems and methods for detecting a change in a sequence of interlaced data fields generated from a progressive scan source | |
| JP4032785B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US7495706B2 (en) | Video signal setting device for performing output setting to a display device | |
| US7522214B1 (en) | Circuits and methods for deinterlacing video display data and systems using the same | |
| KR100630923B1 (ko) | 영상신호변환장치 및 영상신호변환방법 | |
| JP2000078535A (ja) | 順次走査変換装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081021 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081103 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131121 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |