JP4366836B2 - 画像変換方法および画像変換装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号の走査方式の一種である飛び越し走査（インターレース走査）方式のフィールド画像を順次走査（プログレッシブ走査）方式のプログレッシブ画像に変換する画像変換方法および画像変換装置に関する。
【０００２】
【従来の技術】
映像信号におけるインターレース走査方式からプログレッシブ走査方式への変換は、各フィールド画像の上下方向において隣接する走査線の間にさらにもう１つの走査線を補間することにより行われている。このインターレース走査方式では、１つのフレームは２つのフィールド画像によって構成される。このような変換方法として種々の方法が提案されている。例えば、同一フィールド画像内の１つの走査線を１走査線表示時間分だけ遅延させ、遅延させたこの走査線上の画素を次の走査線にも再度使用する方法、すなわち同一の画素を上下方向において隣接する２つの走査線に用いる方法（以下、方法Ａという。）がある。また、上下方向において隣接する２つの走査線上の画素を用いて線形補間を行う方法（以下、方法Ｂという。）もある。
【０００３】
また、フィールド画像の垂直方向の解像度を向上させるために、複数のフィールド画像の画素値を利用する方法（以下、方法Ｃという。）がある。インターレース走査では、連続する２つのフィールド画像の間で走査線の位置が異なっているため、変換対象となるフィールド画像の画素を補間すべき位置（画素補間対象位置）に対応する他のフィールド画像（その前のフィールド画像または後のフィールド画像）の位置には、元々画素が存在している。そのため、映像信号により構成される画像が静止画像である場合には、他のフィールド画像のその位置（すなわち、画素補間対象位置に対応する位置）の画素値を、変換対象フィールド画像の画素補間対象位置に関する補間画素値として用いることができる。
【０００４】
従って、この方法では、例えば、連続する２つのフィールド画像の画素値の差分値が小さい領域を補間対象フィールド画像の静止画領域とし、この静止画領域に関して他のフィールド画像の画素値を補間値として用いることにより、静止画領域における垂直方向の解像度を向上させている。動画領域に関しては、上下方向において隣接する画素の画素値の平均値などが補間画素値として用いられている。
【０００５】
さらに、変換後のプログレッシブ画像上の斜め方向のエッジ部分が段階状に見えるのを防ぐために、このエッジ部分の方向を検出しながら補間処理を行う方法（以下、方法Ｄという。）がある。例えば特許公報（特公平３−４２８３２号）に記載の方法によれば、画素補間対象位置を中心とし、その周囲の画素の値の差分の絶対値（すなわち、すぐ上の画素とすぐ下の画素との間の画素値の差分の絶対値、右上の画素と右下の画素との間の画素値の差分の絶対値、および左上の画素と右下の画素の画素値の差分の絶対値）が取得される。取得した３つの画素値の差分の絶対値の中の最小値が相対的に小さい値であれば、その最小値が取得された方向に沿った画素値の平均値などが画素補間対象位置に関する補間画素値として用いられる。また、取得した３つの画素値の差分の絶対値の中の最小値が相対的に大きな値であれば、画素補間対象位置のすぐ上の画素の画素値が補間画素値として用いられる。このような方法では、フィールド画像上に斜め方向のエッジ部分が存在する場合、その方向のエッジ部分が滑らかになるように補間処理が行われる。
【０００６】
【発明が解決しようとする課題】
しかし、上記のような方法には次のような問題があった。
【０００７】
例えば、同一の画素を上下方向において隣接する２つの走査線に用いる方法Ａは、最も簡単な方法ではある。しかし、この方法では、特に、変換後のプログレッシブ画像上の斜め方向のエッジ部分が大きな階段状に見えてしまう。
【０００８】
また、上下方向において隣接する画素を用いて線形補間を行う方法Ｂでは、変換後のプログレッシブ画像上の斜め方向のエッジ部分に関しては、同一の画素を隣接する２つの走査線に用いる方法Ａよりもその見え方は改善される。しかし、この場合、プログレッシブ画像が多少ぼけて見えてしまう。また、斜め方向のエッジ部分はなお階段状に見えてしまう。
【０００９】
さらに、複数のフィールド画像の画素値を用いる方法Ｃでは、静止画領域に関してはプログレッシブ画像の垂直方向の解像度を向上させることができるが、動画領域に関してはその解像度は線形補間を行うことにより得られる解像度と同様であり、改善されない。また、斜め方向のエッジ部分が階段状に見える問題も改善されない。
【００１０】
さらにまた、フィールド画像上のエッジ部分の方向を検出しながら補間処理を行う方法Ｄによれば、斜め方向のエッジ部分の見え方については改善することができる。しかし、この方法では、上述した複数のフィールド画像の画素値を用いる方法Ｃの場合と比較して、静止画領域における垂直方向の解像度が低下してしまう。
【００１１】
また、方法Ｄを実画像に適用した場合には、変換後の画像にエラーが発生することが多い。例えば、画像の実際の絵柄が上下方向に連続していたとしても、その画像の取得時における照明条件や取得した画像に含まれるノイズなどに応じて、画像の斜め方向における画素間の相関（差分値）が上下方向における画素間の相関よりも若干高く計算されてしまうことが生じる。この場合、補間処理は上下方向ではなく斜め方向に沿って行われてしまうので、適切な補間処理を行うことができない。
【００１２】
本発明はかかる問題点に鑑みてなされたものであり、その目的は、フィールド画像の静止画領域における垂直方向の解像度を向上させ、その動画領域における斜め方向のエッジ部分を階段状でなく滑らかに見えるようにするとともに、変換後の画像におけるエラーの発生を低減することが可能な画像変換方法および画像変換装置を提供することにある。
【００１３】
【課題を解決するための手段】
本発明による画像変換方法は、変換対象のフィールド画像以外の他のフィールド画像に含まれる画素の値を用いることにより、この変換対象のフィールド画像の補間対象ラインにおける画素補間対象位置に関して、第１の補間データを取得する第１のステップと、変換対象のフィールド画像に含まれる画素の値を用いることにより、画素補間対象位置に関して、第２の補間データを取得する第２のステップと、第１の補間データおよび第２の補間データを用いて、変換対象のフィールド画像の画素補間対象位置に画素を補間する第３のステップとを含んでいる。また、第２のステップは、画素補間対象位置の近傍に位置し補間対象ラインの上下の飛び越し走査ラインに含まれる画素のうち、画素補間対象位置を中心として点対称の位置にある複数組の画素の差分値の絶対値和を用いることにより、画素補間対象位置の近傍の画素の値の変化の大きさを示す第１のエネルギー値を求めるエネルギー値演算ステップと、第１のエネルギー値が第１のしきい値よりも小さい場合には、画素補間対象位置の上下に位置する画素の値の平均値を第２の補間データとして取得する上下画素値演算ステップと、第１のエネルギー値が第１のしきい値以上である場合には、画素補間対象位置を中心として点対称の位置にある画素の組の相関値をそれぞれ計算し、これらの相関値の中で最も高い相関値を示す方向を補間方向であると決定し、決定したこの方向に沿って画素補間対象位置に関する補間データを第２の補間データとして取得する相関値演算ステップとを含んでいる。
【００１５】
本発明による画像変換装置は、変換対象のフィールド画像以外の他のフィールド画像に含まれる画素の値を用いることにより、この変換対象のフィールド画像の補間対象ラインにおける画素補間対象位置に関して、第１の補間データを取得する第１のデータ取得手段と、変換対象のフィールド画像に含まれる画素の値を用いることにより、画素補間対象位置に関して、第２の補間データを取得する第２のデータ取得手段と、第１の補間データおよび第２の補間データを用いて、変換対象のフィールド画像の画素補間対象位置に画素を補間する補間手段とを備えている。そして、第２のデータ取得手段は、画素補間対象位置の近傍に位置し補間対象ラインの上下の飛び越し走査ラインに含まれる画素のうち、画素補間対象位置を中心として点対称の位置にある複数組の画素の差分値の絶対値和を用いることにより、画素補間対象位置の近傍の画素の値の変化の大きさを示す第１のエネルギー値を求め、第１のエネルギー値が第１のしきい値よりも小さい場合には、画素補間対象位置の上下に位置する画素の値の平均値を第２の補間データとして取得し、第１のエネルギー値が第１のしきい値以上である場合には、画素補間対象位置を中心として点対称の位置にある画素の組の相関値をそれぞれ計算し、これらの相関値の中で最も高い相関値を示す方向を補間方向であると決定し、決定したこの方向に沿って画素補間対象位置に関する補間データを第２の補間データとして取得するようになされている。
【００１７】
本発明による画像変換方法または画像変換装置では、変換対象のフィールド画像以外の他のフィールド画像に含まれる画素の値を用いることにより、この変換対象のフィールド画像の補間対象ラインにおける画素補間対象位置に関して、第１の補間データが取得され、変換対象のフィールド画像に含まれる画素の値を用いることにより、画素補間対象位置に関して、第２の補間データが取得される。そして、第１の補間データおよび第２の補間データを用いて、変換対象のフィールド画像の画素補間対象位置に画素が補間される。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像変換装置の構成を表すものである。なお、本発明の第１の実施の形態に係る画像変換方法は本実施の形態に係る画像変換装置によって具現化されるので、以下、併せて説明する。本実施の形態の画像変換装置は、画像変換回路２５と、制御回路３０とを備えている。画像変換回路２５は、フィールドメモリ１０、１１、１２と、フィールド内補間回路１３と、フィールド間補間回路１４と、判定回路１５と、乗算回路１６、１７と、加算回路１８と、画像合成回路１９とを含んでいる。
【００２１】
フィールドメモリ１０、１１、１２は、インターレース走査により連続して入力される複数（ここでは３つ）のフィールド画像（インターレース画像）を記憶するためのものである。フィールドメモリ１０は、補間対象となる現在のフィールド画像を記憶するようになっている。フィールドメモリ１１は、フィールドメモリ１０に記憶されている現在のフィールド画像の１フィールド前のフィールド画像を記憶するようになっている。フィールドメモリ１２は、フィールドメモリ１０に記憶されている現在のフィールド画像の２フィールド前のフィールド画像を記憶するようになっている。
【００２２】
フィールド間補間回路１４は、フィールドメモリ１０に記憶されている現在のフィールド画像とフィールドメモリ１１に記憶されている１フィールド前のフィールド画像とを用いて、現在のフィールド画像に存在しないライン上の補間対象となる位置（画素補間対象位置）に補間すべき画素値を第１の補間データとして取得するようになっている。
【００２３】
フィールド内補間回路１３は、フィールドメモリ１０に記憶されている現在のフィールド画像のみを用いて、この現在のフィールド画像に存在しないライン上の画素補間対象位置に補間すべき画素値を第２の補間データとして取得するようになっている。
【００２４】
ここで、フィールド間補間回路１４が本発明の「第１のデータ取得手段」の一具体例に対応し、フィールド内補間回路１３が本発明の「第２のデータ取得手段」の一具体例に対応している。
【００２５】
判定回路１５は、フィールドメモリ１０に記憶されている現在のフィールド画像とフィールドメモリ１２に記憶されている２フィールド前のフィールド画像とを用いて、現在のフィールド画像内の各画素補間対象位置の画素について静止画らしさの程度を判定するようになっている。具体的には、判定回路１５は、この静止画らしさの程度を示す値（静止画指標値）を計算するようになっている。この静止画指標値は、現在のフィールド画像および２フィールド前のフィールド画像の同一位置における画素の値の差分の絶対値に対応するものである。ここで、静止画らしさの程度とは、画素補間対象位置の周囲の画素が静止画を構成する画素としてどの程度の可能性があるかを示すものである。なお、ここでは、静止画らしさの程度の判定を行うようにしているが、動画らしさの程度、すなわち、画素補間対象位置の周囲の画素が動画を構成する画素としてどの程度の可能性があるかを示すものを判定するようにしてもよい。
【００２６】
また、判定回路１５は、計算した静止画指標値に基づいて乗算回路１６、１７におけるゲインｇを決定し、決定したこのゲインｇを乗算回路１６、１７に供給するようになっている。例えば、判定回路１５は、計算した静止画指標値が大きい場合には、画素補間対象位置の周囲の画素は静止画を構成する画素である可能性が高いと判断してゲインｇを０または０に近い値に設定するようになっている。また、判定回路１５は、計算した静止画指標値が小さい場合には、画素補間対象位置の周囲の画素は静止画を構成する画素である可能性が低い（動画を構成する画素である可能性が高い）と判断してゲインｇを１または１に近い値に設定するようになっている。
【００２７】
乗算回路１６は、判定回路１５によって決定されたゲインｇに対応する乗算係数を、フィールド内補間回路１３において取得された補間データに乗じるようになっている。また、乗算回路１７は、判定回路１５によって決定されたゲインｇに基づいた乗算係数１−ｇを、フィールド間補間回路１４において取得された補間データに乗じるようになっている。
【００２８】
加算回路１８は、乗算回路１６から出力される補間データと乗算回路１７から出力される補間データを加算し、その加算結果を画像合成回路１９に出力するようになっている。従って、乗算回路１６、１７および加算回路１８によって補間データの重み付け演算である重み付け加算が行われるようになっている。
【００２９】
画像合成回路１９は、加算回路１８から出力された補間データを補間対象となる現在のフィールド画像に合成し、合成した画像をプログレッシブ画像として出力するようになっている。
【００３０】
ここで、乗算回路１６、１７、加算回路１８、および画像合成回路１９が本発明の「補間手段」の一具体例に対応している。
【００３１】
制御回路３０は、フィールドメモリ１０、１１、１２、フィールド内補間回路１３、フィールド間補間回路１４、判定回路１５、乗算回路１６、１７、加算回路１８、および画像合成回路１９と接続され、それぞれの動作を制御するようになっている。
【００３２】
次に、以上のように構成されている本実施の形態の画像変換装置の作用について説明する。
【００３３】
図２は図１に示した画像変換装置における画像変換処理を示すフローチャートである。図２に示したように、ステップＳ１では、インターレース走査方式により入力されたフィールド画像（現在のフィールド画像）がフィールドメモリ１０に記憶される。この時、フィールドメモリ１１には１フィールド前のフィールド画像が記憶され、フィールドメモリ１２には２フィールド前のフィールド画像が記憶されている。
【００３４】
次に、ステップＳ２において、判定回路１５は、以下のようにして現在のフィールド画像における静止画らしさの程度の判定を行う。
【００３５】
図３は判定回路１５における静止画らしさの程度の判定について説明するための図である。なお、図３において、Ａｎは現在の時刻Ｔn においてフィールドメモリ１０に記憶されている現在のフィールド画像を示したものである。Ａn-1 は時刻Ｔn よりも前の時刻Ｔn-1 においてフィールドメモリ１０に記憶されていたフィールド画像であり、時刻Ｔn においてはフィールドメモリ１１に記憶されている１フィールド前のフィールド画像を示したものである。Ａn-2 は時刻Ｔn-1 よりも前の時刻Ｔn-2 においてフィールドメモリ１０に記憶されていたフィールド画像であり、時刻Ｔn においてはフィールドメモリ１２に記憶されている２フィールド前のフィールド画像を示したものである。
【００３６】
また、図３において、Ｐａ、Ｐｂ、Ｐｃ（白丸）はフィールド画像Ａn-2 の所定の水平方向位置における垂直方向（上下方向）に沿った画素を示したものである。Ｐｆ、Ｐｈ、Ｐｊ（白丸）は、フィールド画像Ａn のうち、フィールド画像Ａn-2 の上記所定の水平方向位置に対応する位置における画素を示したものである。
【００３７】
図３に示したように、フィールドメモリ１０に記憶されているフィールド画像Ａn とフィールドメモリ１２に記憶されているフィールド画像Ａn-2 とにおいては、同じ位置に画素が存在している。例えば、フィールド画像Ａn 上の画素Ｐｆはフィールド画像Ａn-1 上の画素Ｐａに対応し、フィールド画像Ａn 上の画素Ｐｈはフィールド画像Ａn-1 上の画素Ｐｂに対応し、フィールド画像Ａn 上の画素Ｐｊはフィールド画像Ａn-1 上の画素Ｐｃに対応している。そこで、判定回路１５は、例えば、Ｐｄの位置の画素について静止画らしさの程度を判定するために、画素Ｐａ、Ｐｂ、Ｐｆ、Ｐｈの各画素値Ｐva、Ｐvb、Ｐvf、Ｐvhを用いて、対応する画素の組の画素値の差分の絶対値（｜Ｐva−Ｐvf｜＋｜Ｐvb−Ｐvh｜）／２を計算し、これを静止画指標値とする。
【００３８】
その後、フィールド内補間回路１３は、各画素補間対象位置について上記の静止画指標値に基づいて乗算回路１６、１７におけるゲインｇを決定し、決定したこのゲインｇを乗算回路１６、１７に供給する。このゲインｇは、例えば上記の静止画指標値を用いた所定の正規化演算処理を行うことによって取得される。
【００３９】
図２のステップＳ３において、フィールド間補間回路１４は、以下のようにしてフィールド画像間での補間データ取得処理を行う。
【００４０】
図４はフィールド間補間回路１４におけるフィールド画像間での補間データ取得処理を説明するための図である。図４において、Ｐｄ、Ｐｅ（白丸）は、フィールド画像Ａn-1 のうち上記所定の水平方向位置における垂直方向に沿った画素を示したものである。また、Ｐｇ、Ｐｉ（黒丸）は、フィールド画像Ａn には元々は存在しない水平方向ライン上の画素補間対象位置に補間すべき画素であり、後述する補間データ取得処理によって得られるものである。
【００４１】
図４に示したように、フィールド画像Ａn 、Ａn-1 、Ａn-2 はそれぞれインターレース画像であるので、フィールド画像Ａn 、Ａn-2 とフィールド画像Ａn-1 との間の関係では、垂直方向に１／２ピッチだけずれた位置に画素が存在している。例えば、画素Ｐｄは画素Ｐａと画素Ｐｂとの中間に位置し、画素Ｐｅは画素Ｐｂと画素Ｐｃとの中間に位置している。なお、ピッチとは、フィールド画像において隣接する２つの水平方向ライン間の距離のことである。
【００４２】
以上のことから、フィールド間補間回路１４は、フィールド画像Ａn において元々は存在しない水平方向ライン上の画素補間対象位置に補間すべき画素Ｐｇ、Ｐｉの画素値として、フィールド画像Ａn-1 上の画素Ｐｄ、Ｐｅの画素値を採用し、これを補間データとする。この補間データは、静止画らしさの程度が高い画素領域において主として用いられる。完全なる静止画像においては、時間の経過に応じて画素値に変化が生じないため、この補間データの精度は良好となる。フィールド間補間回路１４は、以上のような補間データ取得処理を、フィールド画像Ａn のすべての画素補間対象位置について行う。
【００４３】
次に、図２のステップＳ４において、フィールド内補間回路１３は、以下のようにしてフィールド画像内での補間データ取得処理を行う。
【００４４】
図５はフィールド内補間回路１３におけるフィールド画像内での補間データ取得処理を説明するための図、図６はフィールド内補間回路１３におけるフィールド画像内での補間データ取得処理を示すフローチャート、図７はフィールド内補間回路１３におけるフィールド画像内での補間データ再取得処理を説明するための図である。なお、図５は、フィールド画像Ａn 内のラインＬn-1 、Ｌn+1 およびこれらの２つのラインの間の補間対象となるラインＬn を示したものである。ここで、ｎ＝１、２、……である。Ｐ１１（黒丸）は、変換対象となるラインＬn 上の所定の水平方向位置（画素補間対象位置）に補間されるべき画素であり、後述するような補間データ取得処理によって得られるものである。Ｐ１からＰ５（白丸）は、ラインＬn-1 上に現実に存在する画素のうち、画素補間対象位置の近傍に位置する画素を示したものである。Ｐ６からＰ１０（白丸）は、ラインＬn+1 上に現実に存在する画素のうち、画素補間対象位置の近傍に位置する画素を示したものである。また、図７において、画素Ｐ１からＰ１１の各々について示した数字は画素値を表すものである。
【００４５】
まず、図６のステップＦ１において、フィールド内補間回路１３は、画素補間対象位置の近傍におけるエネルギー値Ｅを計算する。このエネルギー値Ｅは、画素補間対象位置の近傍の画素の値の変化の大きさを示すものである。ここでは、フィールド内補間回路１３は、画素補間対象位置を中心として点対称の位置にある画素の組（ここでは５つの組、Ｐ１とＰ１０、Ｐ２とＰ９、Ｐ３とＰ８、Ｐ４とＰ７、Ｐ５とＰ６）の画素値の各差分値を計算し、これらの差分値の絶対値和を用いてエネルギー値Ｅを取得する。すなわち、画素Ｐ１からＰ１０の画素値をそれぞれＰv1からＰv10 とすると、フィールド内補間回路１３は、エネルギー値Ｅを式（１）により計算する。
【００４６】

【００４７】
ここで、このエネルギー値Ｅが本発明の「第１のエネルギー値」の一具体例に対応する。
【００４８】
ただし、画素補間対象位置の近傍の上下方向の画素の組（Ｐ１とＰ６、Ｐ２とＰ７、Ｐ３とＰ８、Ｐ４とＰ９、Ｐ５とＰ１０）の画素値の各差分値を計算し、これらの差分値の絶対値和を用いてエネルギー値Ｅを取得するようにしてもよい。この場合、画素Ｐ１からＰ１０の画素値をそれぞれＰv1からＰv10 とすると、フィールド内補間回路１３は、エネルギー値Ｅを式（２）により計算する。
【００４９】

【００５０】
また、エネルギー値Ｅは、Ｅ＝｜Ｐv2−Ｐv9｜＋｜Ｐv3−Ｐv8｜＋｜Ｐv4−Ｐv7｜、あるいはＥ＝｜Ｐv2−Ｐv7｜＋｜Ｐv3−Ｐv8｜＋｜Ｐv4−Ｐv9｜などとしてもよく、これらの例に限定されない。
【００５１】
フィールド内補間回路１３は、このようにして計算されたエネルギー値ＥをステップＦ２において予め設定されたしきい値Ｔａと比較する。ここで、このしきい値Ｔａが本発明の「第１のしきい値」の一具体例に対応する。この比較の結果、エネルギー値Ｅがこのしきい値Ｔａよりも小さい場合、画素補間対象位置の近傍には斜め方向のエッジ部分やテクスチャ部分が存在しないと判断されるので、フィールド内補間回路１３は、垂直方向（上下方向）を補間方向であると決定する。そして、フィールド内補間回路１３は、この垂直方向に沿って画素補間対象位置に関して補間データを取得する（ステップＦ３）。例えば、フィールド内補間回路１３は、画素補間対象位置の上下に位置する画素の値の平均値を補間データとして取得する。これにより、その画素補間対象位置に関しての補間データ取得処理が終了する。
【００５２】
一方、ステップＦ２における比較の結果、エネルギー値Ｅがしきい値Ｔａ以上である場合、フィールド内補間回路１３は、画素補間対象位置はフィールド画像Ａn における斜め方向のエッジ部分である可能性が高いと判断する。従って、このエッジ部分が階段状に見えてしまうのを防ぐために、フィールド内補間回路１３は、このエッジ部分の方向に沿って画素補間対象位置に関して補間データ取得処理を行う。
【００５３】
すなわち、フィールド内補間回路１３は、画素補間対象位置を中心として点対称の位置にある画素の組の相関値をそれぞれ計算し、これらの相関値の中で最も高い相関値を示す方向を補間方向であると決定する。具体的には、例えば、フィールド内補間回路１３は、これらの画素の組の画素値の差分値をそれぞれ計算し、これらの差分値の絶対値を取得する。そして、フィールド内補間回路１３は、これらの絶対値の中で最小値（最も高い相関値に対応する）を示す方向を補間方向であると決定し、決定したこの方向に沿って画素補間対象位置に関する補間データを取得する（ステップＦ４）。
【００５４】
図７に示す例においては、画素Ｐ１と画素Ｐ１０の組では画素値の差分の絶対値が｜１−６｜＝５、画素Ｐ２と画素Ｐ９の組ではその絶対値が｜０−５｜＝５、画素Ｐ３と画素Ｐ８の組ではその絶対値が｜２５０−２４０｜＝１０、画素Ｐ４と画素Ｐ７の組ではその絶対値が｜１０−１２｜＝２、画素Ｐ５と画素Ｐ６の組ではその絶対値が｜８−１１｜＝３となる。従って、フィールド内補間回路１３は、最小値が２である方向、すなわち画素Ｐ４と画素Ｐ７を結ぶ斜めの方向に沿って補間データ取得処理を行い、画素補間対象位置に関する補間データ（画素値）として（１０＋１２）／２＝１１を取得する。
【００５５】
ステップＦ５において、フィールド内補間回路１３は、ステップＦ４で行われた補間データ取得処理における補間方向が垂直方向であるかどうかを判断する。この補間方向が垂直方向である場合には、その画素補間対象位置に関する補間データ取得処理は終了する。
【００５６】
一方、ステップＦ５において補間方向が垂直方向でない場合には、フィールド内補間回路１３は、画素補間対象位置の上下の位置にある画素Ｐ３、Ｐ８の値の差分の絶対値を計算する。そして、ステップＦ６において、フィールド内補間回路１３は、計算したその差分の絶対値を予め設定されたしきい値Ｔｂと比較する。ここで、しきい値Ｔｂが本発明の「第３のしきい値」の一具体例に対応する。この比較の結果、差分の絶対値がしきい値よりも大きい場合、その画素補間対象位置に関する補間データ取得処理が終了する。
【００５７】
ステップＦ６における比較の結果、差分の絶対値がしきい値Ｔｂ以下である場合、フィールド内補間回路１３は、ステップＦ４で取得した補間データ（画素値）と、画素補間対象位置の上下の位置にある画素Ｐ３、Ｐ８の画素値とを用いて、エネルギー値Ｅｖを計算する（ステップＦ７）。このエネルギー値Ｅｖは、画素補間対象位置に関する補間データの値の、この画素補間対象位置の上下に位置する画素の値に対する変化の大きさを表すものである。フィールド内補間回路１３は、例えば、ステップＦ４で取得した補間データの値Ｐv11 を用いて、エネルギー値Ｅｖを式（３）により計算する。
【００５８】
Ｅｖ＝−（Ｐv3−Ｐv11 ）＊（Ｐv11 −Ｐv8） （３）
【００５９】
図７に示す例では、エネルギー値Ｅｖは−（２５０−１１）＊（１１−２４０）＝５４７３１となる。
【００６０】
エネルギー値Ｅｖは式（３）により計算されたものに限られず、画素補間対象位置の上下に位置する画素の値の差分の絶対値がしきい値Ｔｂ以下である場合に、画素補間対象位置の上下に位置する画素の値の範囲内に、画素補間対象位置に関する補間データの値が入らず、その範囲からはずれる度合いが大きいほどエネルギー値Ｅｖが大きくなるようにすればよい。ここで、エネルギー値Ｅｖが本発明の「第２のエネルギー値」の一具体例に対応する。
【００６１】
フィールド内補間回路１３は、このようにして計算されたエネルギー値Ｅｖを、ステップＦ８において予め設定されたしきい値（例えば、０より大きい値）Ｔｃと比較する。ここで、しきい値Ｔｃが本発明の「第２のしきい値」の一具体例に対応する。この比較の結果、エネルギー値Ｅｖがこのしきい値Ｔｃよりも大きい場合、フィールド内補間回路１３は、最も高い相関値を示す方向は垂直方向であると再度決定する。そして、フィールド内補間回路１３は、ステップＦ４で取得した補間データを破棄し、垂直方向を補間方向として画素補間対象位置に関する補間データを再度取得する（ステップＦ３）。
【００６２】
図７に示す例では、第３のしきい値が例えば１０００である場合、計算したエネルギー値Ｅｖはこの第３のしきい値よりも大きくなる。従って、フィールド内補間回路１３は、画素補間対象位置の垂直方向における画素Ｐ３および画素Ｐ８を用いて補間データ取得処理を再度行い、画素補間対象位置に関する補間データ（画素値）として（２５０＋２４０）／２＝２４５を取得する。
【００６３】
このように補間データ取得処理を再度行って補間をやり直すのは、図７に示したように垂直方向に沿った画素値の差分の絶対値よりも斜め方向に沿った画素値の差分の絶対値の方が若干小さくても、例えば、本来の絵柄が上下方向に連続しているような画像の場合には、上下方向における相関が高いので、再度取得された補間データを用いて変換されるプログレッシブ画像においてエラーの発生を少なくすることができるからである。
【００６４】
一方、ステップＦ８における比較の結果、エネルギー値Ｅｖがしきい値Ｔｃ以下である場合には、フィールド内補間回路１３は、ステップＦ４において行われた補間データ取得処理は適切であると判断する。これにより、その画素補間対象位置に関する補間データ取得処理が終了する。
【００６５】
以上のようにして、現在のフィールド画像Ａn 全体にわたって画素補間対象位置に関する補間データ取得処理が行われる。
【００６６】
次に、図２のステップＳ５において、乗算回路１６、１７および加算回路８は、フィールド内補間回１３およびフィールド間補間回路１４においてそれぞれ得られた補間データを重み付けして加算する。
【００６７】
すなわち、乗算回路１６は、判定回路１５において決定されたゲインｇに対応する乗算係数を、フィールド内補間回路１３において得られた補間データに乗じ、その乗算結果を加算回路１８に出力する。また、乗算回路１７は、判定回路１５において決定されたゲインｇに基づいた乗算係数１−ｇを、フィールド間補間回路１４において得られた補間データに乗じ、その乗算結果を加算回路１８に出力する。加算回路１８は、乗算回路１６、１７からそれぞれ出力された乗算結果（補間データ）を加算し、その加算結果を最終補間データとして画像合成回路１９に出力する。
【００６８】
次に、図２のステップＳ６において、画像合成回路１９は、加算回路１８から出力された加算結果（重み付け加算された最終補間データ）と現在のフィールド画像とを合成する。これにより、現在のフィールド画像がプログレッシブ画像に変換される。
【００６９】
以上のような処理によりフィールド画像をプログレッシブ画像に変換した後、ステップＳ７において、制御回路３０は、フィールドメモリ１０、１１、１２内のフィールド画像の更新を行う。すなわち、制御回路３０は、次のフィールド画像をフィールドメモリ１０に記憶させる。この時、制御回路３０は、フィールドメモリ１１に記憶されていた１フィールド前のフィールド画像をフィールドメモリ１２に記憶させ、フィールドメモリ１０に記憶されていた現在のフィールド画像をフィールドメモリ１１に記憶させる。以下、フィールド画像がプログレッシブ画像に変換される度に、制御回路３０はフィールドメモリ１０、１１、１２内のフィールド画像の更新を行う。
【００７０】
以上のように、本実施の形態では、フィールド画像の各画素補間対象位置の周囲の画素について静止画らしさの程度を判定し、この判定結果に基づいてフィールド画像内での補間データ取得処理により得られた第２の補間データとフィールド画像間での補間データ取得処理により得られた第１の補間データとを重み付け加算し、この重み付け加算結果を用いてフィールド画像の変換を行っている。従って、フィールド画像の静止画領域においては垂直方向の解像度を向上させることができ、その動画領域においては斜め方向のエッジ部分を階段状ではなく滑らかにすることができるとともに、静止画領域や動画領域のみならずその中間の領域においても適切な補間を行うことができる。また、必要に応じて補間のやり直すようにしたので、フィールド画像からプログレッシブ画像への変換の際におけるエラーの発生を低減することができる。
【００７１】
なお、ステップＦ５からＦ８に示したような補間のやり直し処理は必ずしも行う必要はない。
【００７２】
また、フィールド画像内での補間データ取得処理、フィールド画像間での補間データ取得処理、および静止画らしさの程度を判定する判定処理においては、上述した処理順序で実行させることに限られず、上述した処理順序を入れ換えてこれらの処理を実行させることも可能である。さらに、これらの処理を順番に行うことなく、並列に行うようにしてもよい。
【００７３】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。図８は本実施の形態に係る画像変換装置の構成を表したものである。なお、本発明の第２の実施の形態に係る画像変換方法は本実施の形態に係る画像変換装置によって具現化されるので、以下、併せて説明する。本実施の形態の画像変換装置は、各フィールド画像を静止画領域と動画領域とに明確に区分し、静止画領域ではフィールド間補間回路によって得られた補間データのみを用い、動画領域ではフィールド内補間回路によって得られた補間データのみを用いてフィールド画像の変換を行うようにしたものである。本実施の形態は、フィールド画像において静止画領域と動画領域とを明確に区別した点を除いて、本発明の第１の実施の形態の場合と同様に構成されており、同様に動作するようになっている。ここで、本発明の第１の実施の形態の場合と同一の構成要素には同一の符号を付しており、ここでは、その詳細な説明を省略する。
【００７４】
図８に示した画像変換装置は、図１に示した画像変換装置と比較して、乗算回路１６、１７および加算回路１８を用いることなく、静止画らしさの程度を判定する判定回路１５の代わりに画像領域判定回路２０を含む画像変換回路２６と、制御回路３０に対応する制御回路３１とを備えている。その他の構成は、本発明の第１の実施の形態の場合と同様である。
【００７５】
本実施の形態の画像変換装置は、以下のように作用する。すなわち、画像領域判定回路２０は、フィールドメモリ１０に記憶されている現在のフィールド画像とフィールドメモリ１２に記憶されている２フィールド前のフィールド画像とを用いて、現在のフィールド画像を静止画領域と動画領域とに区分し、画素補間対象位置がどちらの領域に含まれるかを判定する。そして、画像領域判定回路２０は、画素補間対象位置が静止画領域に含まれると判定した場合には、フィールド間補間回路１４において得られた補間データを画像合成回路１９に供給させるような制御を行う。また、画像領域判定回路２０は、画素補間対象位置が動画領域に含まれると判定した場合には、フィールド内補間回路１３において得られた補間データを画像合成回路１９に供給させるような制御を行う。その他の作用は、図１に示した画像変換装置の場合と同様である。
【００７６】
以上のように、本実施の形態では、変換対象となるフィールド画像を静止画領域と動画領域とに明確に区分しているので、静止画領域や動画領域について適切にフィールド画像からプログレッシブ画像への変換を行うことができる。
【００７７】
以上、本発明のいくつかの実施の形態について説明したが、本発明は上記の実施の形態に限定されることなく、種々の変形が可能である。
【００７８】
例えば、フィールドメモリ１０、１１、１２の記憶内容を順送りに移動させて更新するような構成ではなく、十分なサイズのメモリ内に複数のフィールド画像を記憶させておき、フィールド画像の変換処理が終了する毎にフィールド画像を示すポインタのみを更新するような構成にしてもよい。
【００７９】
また、上述した画像変換処理は、図１または図８に示したハードウェア構成により行うのではなく、プログラムを用いたソフトウェア処理により行うようにしてもよい。
【００８０】
また、フィールド画像間での補間データ取得処理を次のようにして行うようにしてもよい。例えば、３フィールド前のフィールド画像と１フィールド前のフィールド画像との間の画素値の平均値を現在のフィールド画像の補間データとして取得するような処理が可能である。また、巡回型フィルタを用いて遠い過去のフィールド画像も用いて補間データを取得するような処理を行うようにしてもよい。この場合にはノイズの低減が可能である。さらに、例えば、１フィールド前のフィールド画像と１フィールド後のフィールド画像との間の画素値の平均値を補間データとして取得するような処理を行うようにしてもよい。
【００８１】
また、補間データ取得処理のために用いる参照画素の数、補間データ取得処理の候補となる方向などについては、上記実施の形態で示した例、すなわち、上下方向において隣接する２つのライン上で画素補間対象位置の近傍のそれぞれ５つの画素を用い、これらの画素の組で示される５つの方向を補間データ取得処理の候補とすることに限られない。例えば、フィールド画像内での補間データ取得処理において、斜め方向のエッジ部分をより滑らかにするために、各ライン上の参照画素の数を６つ以上に増加させ、これにより補間データ取得処理の候補とする方向を６つ以上としてもよい。また、画素補間対象位置の近傍に位置しない画素（より遠く離れた位置にある画素）をも補間データ取得処理に用いるようにしてもよい。この場合には、よりタップ数の大きいデジタルフィルタによる補間となるため、補間精度が向上する。さらに、補間データ取得処理において、隣接する２つのライン上のそれぞれ１つの画素の画素値を用いて補間データを取得することに限られない。例えば、これら２つのラインの各々において隣接するそれぞれ複数の画素の画素値を用いて補間データを取得するようにしてもよい。
【００８２】
また、例えば、フィールド画像が、静止画領域と、被写体が比較的ゆっくり動いているような低速動画領域と、この低速動画領域よりも被写体が速く動いているような高速動画領域とを含むような場合、静止画領域および低速動画領域に対しては上記いずれかの実施の形態の画像変換方法を適用し、高速動画領域に対しては他の画像変換方法を適用することにより、フィールド画像をプログレッシブ画像に変換するようにしてもよい。
【００８３】
カラー画像に対して画像変換処理を行う場合、変換対象の画像がＲ（赤）、Ｇ（緑）、Ｂ（青）の３つの信号によって構成されていれば、Ｒ、Ｇ、Ｂの３つのプレーンの画像に対してそれぞれ上記の画像変換処理を行ってもよい。あるいは、例えばＧプレーンの画像に対してのみ上記の画像変換処理を行い、この画像変換処理において得られた各画素の補間方法のみを記憶し、Ｒプレーンの画像およびＢプレーンの画像に対しては、記憶した画素の補間方法を適用してそれぞれ補間を行うようにしてもよい。また、Ｒ、Ｇ、Ｂの信号から輝度信号もしくはそれに準ずる信号を一旦生成し、生成した信号に対して上記の画像変換処理を行い、この画像変換処理において得られた画素の補間方法のみを記憶しておく。そして、Ｒ、Ｇ、Ｂの３つのプレーンの画像に対して、記憶した画素の補間方法を適用してそれぞれ補間を行うようにしてもよい。
【００８４】
さらに、変換対象の画像がＹ（輝度）、Ｕ（色差）、Ｖ（色差）の３つの信号によって構成されている場合、Ｙ、Ｕ、Ｖの３つのプレーンの画像に対してそれぞれ上記の画像変換処理を行ってもよい。あるいは、Ｙプレーンの画像のみに対して上記の画像変換処理を行い、この画像変換処理において得られた各画素の補間方法のみを記憶し、Ｕプレーンの画像およびＶプレーンの画像に対しては、記憶した画素の補間方法を適用して補間を行うようにしてもよい。また、補間のための演算量を削減するため、視覚的感度の低いプレーン（ＵプレーンおよびＶプレーン）の画像に対しては、他の簡単な補間方法を用いてもよい。
【００８５】
【発明の効果】
以上説明したように、本発明の画像変換方法または画像変換装置によれば、変換対象のフィールド画像以外の他のフィールド画像に含まれる画素の値を用いることにより、この変換対象のフィールド画像の補間対象ラインにおける画素補間対象位置に関して、第１の補間データを取得し、変換対象のフィールド画像に含まれる画素の値を用いることにより、画素補間対象位置に関して、第２の補間データを取得し、取得した第１の補間データおよび第２の補間データを用いて、変換対象のフィールド画像の画素補間対象位置に画素を補間するようにしたので、画像の種類や性質に応じて適切な補間を行うことができるという効果を奏する。
【００８７】
特に、請求項２に記載の画像変換方法によれば、必要に応じて、画素補間対象位置に関して補間をやり直すようにしたので、フィールド画像からプログレッシブ画像への変換の際におけるエラーの発生を低減することができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像変換装置の構成を示すブロック図である。
【図２】図１に示した画像変換装置における画像変換処理を示すフローチャートである。
【図３】図１に示した判定回路における静止画らしさの程度の判定について説明するための図である。
【図４】図１に示したフィールド間補間回路におけるフィールド画像間での補間データ取得処理を説明するための図である。
【図５】図１に示したフィールド内補間回路におけるフィールド画像内での補間データ取得処理を説明するための図である。
【図６】図１に示したフィールド内補間回路におけるフィールド画像内での補間データ取得処理を示すフローチャートである。
【図７】図１に示したフィールド内補間回路におけるフィールド画像内での補間データ再取得処理を説明するための図である。
【図８】本発明の第２の実施の形態に係る画像変換装置の構成を示すブロック図である。
【符号の説明】
１０，１１，１２…フィールドメモリ、１３…フィールド内補間回路、１４…フィールド間補間回路、１５…静止画らしさ判定回路、１６，１７…乗算回路、１８…加算回路、１９…画像合成回路、２０…画像領域判定回路、２５，２６…画像変換回路、３０，３１…制御回路。

Claims (5)

1. 飛び越し走査ラインからなるフィールド画像を順次走査ラインからなる画像に変換するための画像変換方法であって、
   変換対象のフィールド画像以外の他のフィールド画像に含まれる画素の値を用いることにより、前記変換対象のフィールド画像の補間対象ラインにおける画素補間対象位置に関して、第１の補間データを取得する第１のステップと、
   前記変換対象のフィールド画像に含まれる画素の値を用いることにより、前記画素補間対象位置に関して、第２の補間データを取得する第２のステップと、
   前記第１の補間データおよび前記第２の補間データを用いて、前記変換対象のフィールド画像の前記画素補間対象位置に画素を補間する第３のステップと
   を有し、
   前記第２のステップは、
   前記画素補間対象位置の近傍に位置し前記補間対象ラインの上下の飛び越し走査ラインに含まれる画素のうち、前記画素補間対象位置を中心として点対称の位置にある複数組の画素の差分値の絶対値和を用いることにより、前記画素補間対象位置の近傍の画素の値の変化の大きさを示す第１のエネルギー値を求めるエネルギー値演算ステップと、
   前記第１のエネルギー値が第１のしきい値よりも小さい場合には、前記画素補間対象位置の上下に位置する画素の値の平均値を前記第２の補間データとして取得する上下画素値演算ステップと、
   前記第１のエネルギー値が前記第１のしきい値以上である場合には、前記画素補間対象位置を中心として前記点対称の位置にある画素の組の相関値をそれぞれ計算し、これらの相関値の中で最も高い相関値を示す方向を補間方向であると決定し、決定したこの方向に沿って前記画素補間対象位置に関する補間データを前記第２の補間データとして取得する相関値演算ステップと
   を含む画像変換方法。
2. 前記相関値演算ステップにおいて補間された画素の値の、前記画素補間対象位置の上下の画素の値に対する変化の大きさを示す第２のエネルギー値を求めた結果、前記第２のエネルギー値が第２のしきい値以下である場合には、前記相関値演算ステップにおいて補間された画素の値をそのまま採用し、前記第２のエネルギー値が前記第２のしきい値よりも大きい場合には、前記画素補間対象位置に対して上下方向が相関の最も高い方向であるとみなし、前記相関値演算ステップにおいて補間された画素の値を破棄すると共に、前記上下方向に沿った画素の値を用いて第２の補間データを再取得するステップ
   をさらに含む請求項１記載の画像変換方法。
3. 前記第３のステップは、
   前記第１の補間データおよび前記第２の補間データを用いた所定の重み付け演算を行うステップと、
   前記変換対象のフィールド画像における前記画素補間対象位置の周囲の画素について、静止画らしさの程度または動画らしさの程度を判定するステップとを含み、
   前記第３のステップにおいて前記所定の重み付け演算を、前記静止画らしさの程度または動画らしさの程度に基づいて行うことにより補間すべき画素の値を求める
   ようにした請求項１に記載の画像変換方法。
4. 飛び越し走査ラインからなるフィールド画像を順次走査ラインからなる画像に変換するための画像変換装置であって、
   変換対象のフィールド画像以外の他のフィールド画像に含まれる画素の値を用いることにより、前記変換対象のフィールド画像の補間対象ラインにおける前記画素補間対象位置に関して、第１の補間データを取得する第１のデータ取得手段と、
   前記変換対象のフィールド画像に含まれる画素の値を用いることにより、前記画素補間対象位置に関して、第２の補間データを取得する第２のデータ取得手段と、
   前記第１の補間データおよび前記第２の補間データを用いて、前記変換対象のフィールド画像の前記画素補間対象位置に画素を補間する補間手段と
   を備え、
   前記第２のデータ取得手段は、
   前記画素補間対象位置の近傍に位置し前記補間対象ラインの上下の飛び越し走査ラインに含まれる画素のうち、前記画素補間対象位置を中心として点対称の位置にある複数組の画素の差分値の絶対値和を用いることにより、前記画素補間対象位置の近傍の画素の値の変化の大きさを示す第１のエネルギー値を求め、
   前記第１のエネルギー値が第１のしきい値よりも小さい場合には、前記画素補間対象位置の上下に位置する画素の値の平均値を前記第２の補間データとして取得し、
   前記第１のエネルギー値が前記第１のしきい値以上である場合には、前記画素補間対象位置を中心として前記点対称の位置にある画素の組の相関値をそれぞれ計算し、これらの相関値の中で最も高い相関値を示す方向を補間方向であると決定し、決定したこの方向に沿って前記画素補間対象位置に関する補間データを前記第２の補間データとして取得する
   ようになされている画像変換装置。
5. さらに、
   前記変換対象のフィールド画像における前記画素補間対象位置の周囲の画素について、静止画らしさの程度または動画らしさの程度を判定する判定手段
   を備え、
   前記補間手段は、前記判定手段によって判定された前記静止画らしさの程度または動画らしさの程度に基づいて、前記第１の補間データおよび前記第２の補間データを用いた所定の重み付け演算を行うことにより補間すべき画素の値を求める
   ようになされている請求項４に記載の画像変換装置。

Images