JP4861114B2 - 映像信号処理装置 - Google Patents

Description

本発明は、インターレース方式の映像信号をプログレッシブ方式の映像信号に走査線変換するための走査線補間回路等に好適な映像信号処理装置に関する。

プラズマディスプレイ装置及び液晶表示装置等は、複数本の走査線とデータ線との交点に対応して画素がマトリクス状に設けられたマトリクス表示装置を構成する。マトリクス表示装置においては、画素単位の映像情報が各走査線毎に順次表示されることで、画像表示が行われる。

このようなマトリクス表示装置においては、入力映像信号の解像度よりも高い解像度の表示画面を有するものがある。この場合には、入力された映像信号に基づく走査線間に補間ラインを設定し、補間ライン上に補間画素を生成することで画質の向上を図る走査線補間回路が採用されることがある。

走査線補間回路として、補間ラインの上下のラインの画素の平均値によって補間画素を生成するものがある。しかし、この補間方法では、絵柄によっては斜め線がギザギザして見える、いわゆるジャギーが目立つ画像が生成されてしまうことがある。

そこで、特許文献１においては、斜めエッジの解像度劣化を防止するため、相関性の高い斜め方向画素値を平均化するライン走査線補間回路が提案されている。この提案においては、補間ラインの上下のラインの各画素のうち、補間ラインの補間画素を中心として点対称な位置に位置する画素対を補間に用いる。これらの各画素対について相関を検出し、最も相関が高い画素対の方向を、補間画素に対して相関が高い画素の方向（相関方向）であるものと判定する。そして、相関方向に位置する２画素を用いて補間画素を生成するのである。

しかしながら、比較的細い斜めの線状の絵柄部分等については、正しく相関方向を特定することができないことがある。例えば、相関方向を特定するための画素対が線状の絵柄を跨いだ両側の背景部分に位置するものとする。この場合には、背景部分の輝度が略同一であれば、線状の絵柄内の補間画素について求めた相関方向が線の方向ではなく、背景に位置する画素対の方向に特定されてしまうことが考えられる。そうすると、線状の絵柄内の補間画素が背景の２画素を用いて補間されることになり、線状の絵柄に切断やぼけ、ジャギーが生じることがある。
特開２００３−２３０１０９号公報

本発明は、細い線状の絵柄部分等であっても、切断、ぼけ、ジャギー等を発生させることなく補間を行うことができる映像信号処理装置を提供することを目的とする。

本発明の一態様の映像信号処理装置は、入力映像信号の２本の実ライン上に夫々位置する画素対であって、前記２本の実ラインの間に内挿する補間ライン上の補間画素を中心として点対称に位置する対称画素対の相関値を各対称画素対毎に求める第１の相関検出手段と、前記入力映像信号の２本の実ライン上に夫々位置する画素対であって、前記対称画素対の方向に平行な方向に位置する１つ以上の平行画素対及び前記対称画素対の相関値を各画素対毎に求める第２の相関検出手段と、前記第１の相関検出手段からの相関値に基づく相関方向と前記第２の相関検出手段からの相関値に基づく相関方向とのいずれか一方を、前記補間画素の生成に用いる画素対の方向である相関方向として判定する相関方向判定手段と、前記相関方向判定手段の判定結果に基づく画素対を用いて、前記補間画素の画素信号を生成する補間画素生成手段と、前記第１の相関検出手段が相関値を求めた前記対称画素対の各画素毎に水平高域成分を検出する水平高域成分検出手段とを具備し、
前記相関方向判定手段は、前記水平高域成分検出手段が求めた前記対称画素対の各画素の水平高域成分に基づいて前記対称画素対が水平高域成分領域内の画素であるものと判定した場合には、前記第２の相関検出手段からの相関値に基づく相関方向を判定結果とする。

本発明によれば、細い線状の絵柄部分等であっても、切断、ぼけ、ジャギー等を発生させることなく補間を行うことができるという効果を有する。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

＜第１の実施の形態＞
図１は本発明の第１の実施の形態に係る映像信号処理装置を示すブロック図である。本実施の形態は走査線補間回路に適用した例である。

図１において、入力端子１には映像信号が入力される。この入力映像信号はラインメモリ１２に与えられる。ラインメモリ１２は入力された１ライン（水平期間）分の映像信号を記憶する。ラインメモリ１２の入出力は、１ライン前後の映像信号である。入力端子１１からの入力映像信号及びラインメモリ１２からの映像信号は、第１及び第２の相関検出部２０，３０並びに水平高域検出回路３５に供給される。

第１の相関検出部２０は、補間ライン上の補間対象の画素（補間画素）の生成に用いる画素対を選択するために、補間画素と相関が高い画素対を検出するものである。即ち、第１の相関検出部２０は、補間ラインの上下のライン（実ライン）の各画素のうち、補間画素を中心として点対称な位置に位置する各画素対の相関を求める。

対称画素選択回路２１は、図示しないメモリを有しており、入力される２ラインの各画素の映像信号（画素信号）のうち、補間画素に点対称な位置の画素信号を保持して、相関値算出回路２２に出力する
図２は第１の相関検出部２０を説明するための説明図である。図２において、水平線Ａ，Ｂは画像の隣接した２ラインを示している。○印は画素位置を示している。水平線Ｐは補間ラインを示し、補間ラインＰ上の画素Ｐ０は、生成しようとする補間画素を示している。

第１の相関検出部２０は、補間画素Ｐ０を中心として所定の相関方向候補を設定する。図２は７画素×２ラインの画素を用いて、７方向（Ｌ１〜Ｌ７）を相関方向候補とした例を示している。第１の相関検出部２０の対称画素選択回路２１は、相関方向検出範囲内の各画素信号を保持し、補間画素Ｐ０を中心として点対称な画素対（Ａ１，Ｂ７），（Ａ２，Ｂ６），…，（Ａ７，Ｂ１）を夫々選択して、各画素対の画素信号を相関値算出回路２２に出力する。相関値算出回路２２は、各画素対の相関値を夫々算出する。相関値算出回路２２は、求めた相関値を相関方向判定部４０に出力する。

従来、第１の相関検出部２０によって求めた各相関値のうち、最も高い相関値を与える画素対による相関方向候補を相関方向と判定し、その相関方向に位置する２画素を用いて補間画素を生成していた。

これに対し、本実施の形態では、相関方向判定部４０は、第１の相関検出部２０の出力だけでなく、第２の相関検出部３０の出力も利用する。第２の相関検出部３０は、第１の相関検出部２０で用いた各画素対の方向に平行な方向に位置する画素対を用いて、相関方向の検出を行うようになっている。

図３乃至図５は第２の相関検出部３０を説明するための説明図である。図３乃至図５において、水平線Ａ，Ｂ，Ｐ及び各画素は、図２と同様のライン及び画素を示している。

第２の相関検出部３０の対称及び平行画素選択回路３１は、相関方向を求めるための画素対として、対称画素選択回路２１と同様に、補間画素に点対称な位置の画素対を選択する。更に、対称及び平行画素選択回路３１は、選択した点対称な位置の画素対の方向に平行な方向に位置する１つ以上の画素対を選択する。即ち、対称及び平行画素選択回路３１は、補間画素に点対称な位置の各画素に対して夫々同一方向に同一距離だけずれた画素同士を、相関方向検出に用いる画素対とする。

この場合において、第２の相関方向検出部３０は、設定する相関方向候補として、第１の相関検出部２０よりも少ない数の相関方向候補を設定する。図３乃至図５は５画素×２ラインの画素を用いて、３つの相関方向候補から１つを検出する例を示している。

図３乃至図５の例においては、対称及び平行画素選択回路３１は、相関方向候補として３方向を設定し、設定した３方向の相関判定に用いる画素対を選択する。即ち、対称及び平行画素選択回路３１は、図３に示すように、垂直な相関方向候補を検出するための画素対として、対称画素対（Ａ４，Ｂ４）を選択すると共に、この画素対の方向Ｌ４に対して、平行な２つの方向Ｍ４，Ｎ４を設定し、これらの方向上の画素対（Ａ３，Ｂ３），（Ａ５，Ｂ５）を平行画素対として選択する。また、対称及び平行画素選択回路３１は、図４に示すように、左斜めの相関方向候補を検出するための画素対として対称画素対（Ａ３，Ｂ５）を選択すると共に、この画素対の方向Ｌ３に対して、平行な２つの方向Ｍ３，Ｎ３を設定し、これらの方向上の画素対（Ａ２，Ｂ４），（Ａ４，Ｂ６）を平行画素対として選択する。更に、対称及び平行画素選択回路３１は、図５に示すように、右斜めの相関方向候補を検出するための画素対として対称画素対（Ａ５，Ｂ３）を選択すると共に、この画素対の方向Ｌ５に対して、平行な２つの方向Ｍ５，Ｎ５を設定し、これらの方向上の画素対（Ａ４，Ｂ２），（Ａ６，Ｂ４）を平行画素対として選択する。

なお、図３乃至図５の例では、対称及び平行画素選択回路３１は、検出する相関方向候補として３つの画素対を設定したが、４つ以上の画素対を設定してもよいことは明らかである。対称及び平行画素選択回路３１は、選択した各画素対の画素信号を相関値算出回路３２に出力する。相関値算出回路３２は、各画素対の相関値を夫々算出する。相関値算出回路２２は、求めた相関値を相関方向判定部４０に出力する。

相関方向判定部４０は、相関値算出回路２２，３２からの各画素対の相関値を保持する記憶部を有する。相関方向判定部４０は、相関値算出回路２２からの相関値同士を比較し、相関値が最も小さい画素対による相関方向候補を、第１の相関検出部２０により求めた相関方向と判定する。また、相関方向判定部４０は、相関値算出回路３２からの相関値のうち同一相関方向候補に基づく３つの画素対の相関値の和を各相関方向候補毎に求め、相関値の和が最も小さい相関方向候補を、第２の相関検出部３０により求めた相関方向と判定する。相関方向判定部４０は、第１の相関検出部２０により求めた相関方向と第２の相関方向検出部３０により求めた相関方向とのいずれか一方を相関方向とする判定結果を相関方向決定部４１に出力する。

第１の相関検出部２０により求められる相関方向は、多くの相関方向候補から選択されたものであり、高い精度を有する。一方、第２の相関検出部３０により求められる相関方向は、少ない相関方向候補の中から、１相関方向候補に対して複数の画素対を用いた演算によって求められるものであり、誤判定が少ない。即ち、本実施の形態における相関方向判定部４０は、相関方向を高精度に求めるか誤判定なく求めるかを選択することができる。

例えば、相関方向判定部４０は、第１の相関検出部２０により求めた相関方向と第２の相関方向検出部３０により求めた相関方向とを、水平高域検出回路３５の検出結果に基づいて選択して出力することができる。

水平高域検出回路３５には、補間ラインの前後の映像信号が入力される。水平高域検出回路３５は、補間ラインの前後のラインの水平高周波成分を検出するものである。水平高域検出回路３５は、第１及び第２の相関検出部２０，３０において相関方向検出のために選択された画素について、水平高域成分を求める。水平高域検出回路３５は、求めた各水平高域成分を所定の閾値と比較し、所定の閾値以上の水平高域成分の個数によって、相関方向候補の画素が水平高域成分領域に含まれるか否かを判定するようになっている。水平高域検出回路３５は、判定結果を相関方向判定部４０に供給するようになっている。

なお、水平高域成分領域は、水平周波数が高い領域であり、例えば、葉っぱが生い茂っている絵柄や細い枝の絵柄部分等のように、対称画素対を用いた相関値演算のみでは、相関方向の誤判定が生じやすい。

相関方向判定部４０は、水平高域検出回路３５の判定結果が与えられ、第１の相関検出部２０により求めた相関方向の画素対が水平高域成分領域に含まれる場合には、第２の相関検出部３０による相関方向を選択して相関方向決定部４１に出力する。また、相関方向判定部４０は、第１の相関検出部２０により求めた相関方向の画素対が水平高域成分領域に含まれない場合には、第１の相関検出部２０による相関方向を選択して相関方向決定部４１に出力する。

相関方向決定部４１は、相関方向判定部４０による相関方向の判定結果に基づいて、補間画素の生成に用いる画素対を決定する。即ち、相関方向決定部４１は、相関方向上の画素対を補間画素の生成に用いる画素対に決定する。相関方向決定部４１は、補間画素生成回路４２に補間画素の生成に用いる画素対を指定する。補間画素生成回路４２は、補間ラインの前後のラインの映像信号を記憶する図示しない記憶部を有している。補間画素生成回路４２は、指定された画素対を用いた所定の演算、例えば、平均演算によって、補間画素を生成する。補間画素生成回路４２は、生成した補間画素を補間信号として出力端子４３に出力する。

次に、このように構成された実施の形態の動作について説明する。

入力端子１１を介して入力され入力映像信号は、ラインメモリ１２において１水平期間遅延される。入力端子１１からの映像信号及びラインメモリ１２の出力は、第１及び第２の相関検出部２０，３０に供給される。

第１の相関検出部２０の対称画素選択回路２１は、補間画素の対称画素対を選択してその画素信号を相関値算出回路２２に出力する。第１の相関検出部２０は、例えば図２の７つの相関方向候補の画素対を選択する。相関値算出回路２２は各相関方向候補の画素対毎に相関値を求めて、算出結果を相関方向判定部４０に出力する。相関方向判定部４０は、相関値算出回路２２からの相関値のうち最も小さい相関値を与える相関方向候補を第１の相関検出部２０による相関方向とする。

第２の相関検出部３０の対称及び平行画素選択回路３１は、補間画素の対称画素対を選択すると共に、選択した画素対の各画素から同一方向に同一距離だけ離間した画素同士を平行画素対として選択する。例えば、対称及び平行画素選択回路３４は、図３乃至図５に示すように、３つの相関方向候補上の３つの画素対を選択する。対称及び平行画素選択回路３４は、選択した各画素対の画素信号を相関値算出回路３２に出力する。相関値算出回路３２は各相関方向候補の画素対毎に相関値を求めて、算出結果を相関方向判定部４０に出力する。相関方向判定部４０は、相関値算出回路３２からの相関値を各相関方向候補毎に加算し、和が最も小さい相関方向候補を第２の相関検出部３０による相関方向とする。

一方、補間ラインの前後のラインの映像信号は水平高域検出回路３５にも供給されている。水平高域検出回路３５は、第１及び第２の相関検出部２０，３０が相関方向の検出のために選択した各画素対について水平高域成分を検出する。水平高域検出回路３５は、求めた各水平高域成分を所定の閾値と比較し、所定の閾値以上の水平高域成分の個数によって、相関方向候補の画素が水平高域成分領域に含まれるか否かを判定する。水平高域検出回路３５は、判定結果を相関方向判定部４０に供給する。

相関方向判定部４０は、水平高域検出回路３５の判定結果に基づいて、第１の相関検出部２０により求めた相関方向の画素対が水平高域成分領域に含まれるか否かを判定する。相関方向判定部４０は、第１の相関検出部２０により求めた相関方向の画素対が水平高域成分領域に含まれる場合には、第２の相関検出部３０による相関方向を選択し、そうでない場合には第１の相関検出部２０による相関方向を選択する。

上述したように、補間画素が細い枝の絵柄内の画素である場合等においては、第１の相関検出部２０の検出結果のみを相関方向判定に用いると、背景の絵柄部分の画素対による相関方向候補が相関方向として選ばれる場合がある。この場合においても、この絵柄部分は水平高域成分領域と判定されるので、相関方向判定部４０は、第２の相関検出部３０の相関方向を選択する。即ち、背景部分の画素対によって補間画素が生成されることを防止することができる。

第２の相関検出部３０は、補間画素を含む線上の画素及び補間画素を含む線に平行な線上の画素により各相関方向候補の相関を検出する。従って、補間画素が枝の絵柄内の画素である場合において、枝が伸びる方向から大きくずれた方向の相関方向候補の相関値の和が小さくなる可能性は低く、絵柄の枝が伸びる方向に近い方向の相関方向候補の相関値の和が小さくなる可能性が高い。即ち、相関方向判定部４０が水平高域検出回路３５の判定結果を用いて第２の相関検出部３０による相関方向を選択することにより、誤判定が少ない相関方向の検出が可能である。

相関方向決定部４１は、相関方向判定部４０による相関方向の判定結果に基づいて、補間画素の生成に用いる画素対を決定する。相関方向決定部４１は、補間画素生成回路４２に補間画素の生成に用いる画素対を指定する。補間画素生成回路４２は、指定された画素対を用いた所定の演算、例えば、平均演算によって、補間画素を生成する。なお、第２の相関検出部３０による相関方向が選択された場合にも、補間画素生成回路４２は、相関方向に基づいて対称画素対の画素対が指定される。補間画素生成回路４２は、生成した補間画素を補間信号として出力する。

このように本実施の形態においては、第１の相関検出部によって補間画素の生成に用いる画素対の方向である相関方向を高精度に求め、第２の相関検出部によって、相関方向を誤判定なく求める。水平高域検出回路によって水平高域成分領域を判定することで、第１及び第２の相関検出部による相関方向の一方を選択しており、誤判定を防止すると共に、高精度の補間画素生成が可能である。これにより、同一絵柄内の画素を用いた補間が可能であり、細い線状の絵柄部分等においても、切断、ぼけ、ジャギー等を発生させることなく補間を行うことができる。

＜第２の実施の形態＞
図６は本発明の第２の実施の形態を示すブロック図である。図６において図１と同一の構成要素には同一符号を付して説明を省略する。

本実施の形態においても第１及び第２の相関検出部２０，３０を採用する。本実施の形態においては生成した補間信号の信頼性を判定することで第１又は第２の相関検出部のいずれの出力を用いるかを決定するものである。

本実施の形態は水平高域検出回路３５に代えて周辺画素選択回路５５を採用すると共に、相関方向判定部４０に代えて相関方向判定部５０を採用したものである。周辺画素選択回路５５は、補間ラインの前後のラインの画素のうち補間画素の周辺の画素を選択してその画素信号を相関方向判定部５０に出力するようになっている。

相関方向判定部５０は第１及び第２の相関検出部２０，３０の出力が与えられる。相関方向判定部５０は、先ず第１の相関検出部２０の出力を用いて相関方向を求める。相関方向判定部５０は、第１の相関検出部２０による相関方向の判定結果を相関方向決定部４１に出力する。相関方向決定部４１は、相関方向判定部５０の判定結果に基づいて、第１の相関検出部２０による相関方向に基づく画素対を補間画素生成回路４２に指示する。補間画素生成回路４２は、指示された画素対を用いて、例えば平均演算により画素信号を求める。

本実施の形態においては、補間画素生成回路４２は、こうして求めた画素信号を仮補間画素信号として相関方向判定部５０に出力するようになっている。相関方向判定部５０は最大値最小値判定部５１を有している。最大値最小値判定部５１には、周辺画素選択回路５５からの画素信号と仮補間画素信号とが供給される。最大値最小値判定部５１は、補間画素周辺の画素信号と仮補間画素信号とを比較し、仮補間画素信号が周辺画素の画素信号の最大値又は最小値であるか否かを判定する。

相関方向の判定結果に誤判定がない場合には、仮補間画素信号は周辺画素の画素信号に比較的近似した値である可能性が高い。逆に、仮補間画素信号が周辺画素の画素信号から比較的離間した値である場合には、相関方向の判定結果に誤判定があった可能性が高い。

この理由から、相関方向判定部５０は、仮補間画素信号が周辺画素の画素信号の最大値又は最小値である場合には、第２の相関検出部３０による相関方向を判定結果として出力するようになっている。また、相関方向判定部５０は、仮補間画素信号が周辺画素の画素信号の最大値又は最小値でない場合には、仮補間画素信号を補間信号として出力するように、補間画素生成回路４２に指示を与えるようになっている。

相関方向決定部４１は、第２の相関検出部３０による相関方向の判定結果が与えられた場合には、この判定結果に基づく画素対を補間画素生成回路４２に出力するようになっている。この場合には、補間画素生成回路４２は、新たに設定された画素対を用いて、補間画素の画素信号を生成し、補間信号として出力する。

次に、このように構成された実施の形態の動作について図７を参照して説明する。図７は周辺画素選択回路の選択範囲を説明するための説明図である。図７において、水平線Ａ，Ｂ，Ｐ及び各画素は、図２と同様のライン及び画素を示している。

第１及び第２の相関検出部２０，３０から各相関方向候補の画素対の相関値が相関方向判定部５０に供給される。第１の相関検出部２０の相関方向候補は、対称画素対に基づくものであり、第２の相関検出部３０の相関方向候補は、対称画素対及び平行画素対に基づくものである。

相関方向判定部５０は、先ず、第１の相関検出部２０による相関方向候補から１つを選択して、相関方向の判定結果として相関方向決定部４１に出力する。相関方向決定部４１は、入力された判定結果に基づく画素対を補間画素生成回路４２に出力する。補間画素生成回路４２に指定された画素対を用いて画素信号を生成し、仮補間画素信号として相関方向判定部５０に出力する。

一方、補間ラインの前後のラインの映像信号は周辺画素選択回路５５にも供給されている。周辺画素選択回路５５は、補間画素の周辺画素を選択する。図７は周辺画素選択回路５５の選択範囲を示している。図７の例では、補間画素を中心とした５画素×２ラインの周辺画素選択範囲を設定した例を示している。周辺画素選択回路５５は、周辺画素の画素信号を相関方向判定部５０に出力する。

相関方向判定部５０は、仮補間画素信号と周辺画素の画素信号とを比較し、仮補間画素信号が周辺画素の画素信号の最大値又は最小値であるか否かを判定する。相関方向判定部５０は、仮補間画素信号が周辺画素の画素信号の最大値又は最小値でない場合には、仮補間画素信号を補間信号として出力するように、補間画素生成回路４２に指示を与える。これにより、この場合には、補間画素生成回路４２は、第１の相関検出部２０による相関方向に基づく画素対を用いて、高精度に生成された補間画素が得られる。

一方、仮補間画素信号が周辺画素の画素信号の最大値又は最小値である場合には、相関方向判定部５０は、第２の相関検出部３０による相関方向の判定結果を相関方向決定部４１に出力する。これにより、相関方向決定部４１は、判定結果に基づく画素対を補間画素生成回路４２に指示し、補間画素生成回路４２は指定された対称画素対を用いて補間画素の画素信号を生成する。こうして、この場合には、補間画素生成回路４２は、第２の相関検出部３０による誤判定が少ない相関方向に基づく画素対を用いて補間画素を生成する。

このように本実施の形態においては、第１の相関検出部２０による相関方向に基づく画素対を用いて生成された仮補間画素信号と周辺画素の画素信号とを比較して第１及び第２の相関検出部による相関方向の一方を選択しており、誤判定を防止すると共に、高精度の補間画素生成が可能である。

なお、相関方向判定部５０は、仮補間画素信号が周辺画素の画素信号の最大値又は最小値であるか否かによって、第１の相関検出部２０による相関方向に誤判定があるか否かを判定したが、仮補間画素信号が周辺画素の画素信号に対して所定の閾値以上離間した値である場合に、誤判定があるものと判定するようにしてもよい。

＜第３の実施の形態＞
図８は本発明の第３の実施の形態を示すブロック図である。図８において図１と同一の構成要素には同一符号を付して説明を省略する。

本実施の形態においても第１及び第２の相関検出部２０，３０を採用する。本実施の形態においては相関方向の判定結果の信頼性を判定することで第１又は第２の相関検出部のいずれの出力を用いるかを決定するものである。

本実施の形態は水平高域検出回路３５に代えて閾値設定回路６５を採用すると共に、相関方向判定部４０に代えて相関方向判定部６０を採用したものである。閾値設定回路６５は、第１及び第２の相関検出部２０，３０からの相関値に対する閾値を設定するものである。閾値設定回路６５は、設定した閾値を相関方向判定部６０に与える。閾値設定回路６５は、閾値として、複数の閾値を設定することができる。例えば、閾値設定回路６５は、相互に異なる第１及び第２の閾値を設定する。

第１及び第２の相関検出部２０，３０からの相関値に従って求めた相関方向の信頼性が高い場合には、相関方向を決定するための相関値の値が十分に小さいことが考えられる。第１及び第２の相関検出部２０，３０によって求められた最小の相関値であっても、値が比較的大きい場合には、最小の相関値に基づく相関方向に誤判定がある可能性がある。

そこで、本実施の形態においては、相関方向判定部６０は、第１及び第２の相関検出部２０，３０からの最小の相関値が、閾値設定回路６５によって設定された閾値以上である場合には、その相関値による相関方向の判定結果を無効とするようになっている。

例えば、閾値設定回路６５が設定した２つの閾値が第１の閾値＜第２の閾値の関係を有するものとする。この場合には、相関方向判定部６０は、例えば、第１の相関検出部２０からの最小の相関値が設定された第１の閾値以上である場合には、第２の相関検出部３０による相関方向を判定結果として出力し、更に、第２の相関検出部３０からの最小の相関値が設定された第２の閾値以上である場合には、水平方向同一位置（上下方向（垂直方向））の画素対を補間画素に設定する判定結果として出力する。

また、閾値設定回路６５が１つの閾値のみを出力するようにしてもよい。この場合には、例えば、相関方向判定部６０は、第１の相関検出部２０からの最小の相関値が設定された閾値以上である場合には、第２の相関検出部３０による相関方向を判定結果として出力し、逆に、第２の相関検出部３０からの最小の相関値が設定された閾値以上である場合には、第１の相関検出部２０による相関方向を判定結果として出力するようにしてもよい。

なお、相関方向判定部６０は、第１及び第２の相関検出部２０，３０からの最小の相関値がいずれも設定された閾値以上である場合には、第１及び第２の相関検出部２０，３０による相関方向の判定結果は無効であることを示す判定結果を出力するようにしてもよい。この場合には、相関方向決定部４１は、補間画素の生成に用いる対象画素として、補間画素の水平方向同一位置（上下方向（垂直方向））の画素対を指定してもよい。

また、相関方向判定部６０は、第１及び第２の相関検出部２０，３０からの最小の相関値がいずれも設定された閾値よりも小さい場合には、第１の相関検出部２０による相関方向を判定結果として出力する。

次に、このように構成された実施の形態の動作について説明する。

第１及び第２の相関検出部２０，３０から各相関方向候補の画素対の相関値が相関方向判定部６０に供給される。相関方向判定部６０には、閾値設定回路６５から最小の相関値に対して設定する閾値が与えられる。いま、閾値設定回路６５から第１の閾値＜第２の閾値である２つの閾値が出力されるものとする。

相関方向判定部６０は、第１及び第２の相関検出部２０，３０による最小の相関値が、第１の閾値以上であるか否かを判定する。相関方向判定部６０は、最小の相関値が第１の閾値よりも小さい場合には、第１の相関検出部２０による相関方向を判定結果として出力する。これにより、補間画素生成回路４２は、第１の相関検出部２０による相関方向に基づく画素対を用いて、高精度に補間画素を生成する。

また、第１及び第２の相関検出部２０，３０からの相関値のうち第１の相関検出部２０からの最小の相関値が第１の閾値以上で第２の閾値よりも小さい場合には、相関方向判定部６０は、第２の相関検出部３０による相関方向の判定結果を相関方向決定部４１に出力する。これにより、相関方向決定部４１は、判定結果に基づく画素対を補間画素生成回路４２に指示し、補間画素生成回路４２は指定された対称画素対を用いて補間画素の画素信号を生成する。こうして、この場合には、補間画素生成回路４２は、第２の相関検出部３０による誤判定が少ない相関方向に基づく画素対を用いて補間画素を生成する。

また、第１及び第２の相関検出部２０，３０からの最小の相関値のいずれも第２の閾値以上である場合には、相関方向判定部６０は、第１及び第２の相関検出部２０による相関方向が無効であることを示す判定結果を相関方向決定部４１に出力する。この場合には、補間画素生成回路４２は、例えば、補間画素と同一水平位置の対称画素対を用いて補間信号を生成する。

このように本実施の形態においては、第１及び第２の相関検出部２０，３０からの最小の相関値が閾値以上である場合には、第１及び第２の相関検出部２０，３０による相関方向が無効であるものと判定する。これにより、誤判定を防止すると共に、高精度の補間画素生成が可能である。

＜第４の実施の形態＞
図９は本発明の第４の実施の形態を示すブロック図である。図９において図１、図６及び図８と同一の構成要素には同一符号を付して説明を省略する。

本実施の形態は第１乃至第３の実施の形態を組み合わせたものである。即ち、本実施の形態においては、水平高域検出回路３５、周辺画素選択回路５５及び閾値設定回路６５を有している。相関方向判定部７０は、第１及び第２の相関検出部２０，３０からの相関値が与えられ、水平高域検出回路３５、周辺画素選択回路５５及び閾値設定回路６５の出力を用いて、相関方向を判定するようになっている。

次に、このように構成された実施の形態の動作について図１０を参照して説明する。図１０は相関方向判定部７０による相関方向の判定処理の一例を示すフローチャートである。

相関方向判定部７０には、第１及び第２の相関検出部２０，３０から各相関方向候補の画素対の相関値が供給される。また、相関方向判定部７０には、水平高域検出回路３５の判定結果、周辺画素選択回路５５からの画素信号、閾値設定回路６５からの閾値及び補間画素生成回路４２からの仮補間画素信号も入力される。

相関方向判定部７０は、水平高域成分の判定結果、周辺画素の画素信号、最小の相関値に対する閾値及び仮補間画素信号の少なくとも１つに基づいて相関方向を判定する。いま、閾値設定回路６５から第１の閾値＜第２の閾値なる２つの閾値が相関方向判定部７０に与えられるものとして説明する。

第１の相関検出部２０，３０からの相関値の最小値が第２の閾値以上である場合には、図１０のステップＳ１〜Ｓ３のいずれかから処理がステップＳ４に移行する。この場合には、相関方向判定部７０は、第１及び第２の相関検出部２０，３０に基づく相関判定の信頼性はいずれも低いものと判定し、ステップＳ５において、水平同一位置（上下方向（垂直方向））の対称画素対に基づく補間画素を生成するための相関方向の判定結果を出力する。

第１の相関検出部２０，３０からの相関値の最小値が第２の閾値よりも小さい場合には、ステップＳ１〜Ｓ３において相関方向の判定結果が得られる。即ち、相関方向判定部７０は、ステップＳ１において、相関方向候補の画素対が水平高域成分領域に含まれるか否かを判定する。相関方向候補の画素対が水平高域成分領域に含まれる場合には、相関方向判定部７０は、ステップＳ１からステップＳ４を介して処理をステップＳ６に移行し、第２の相関検出部３０による相関方向を判定結果として出力する。即ち、この場合には、細かい絵柄部分でも、誤判定なく補間画素を生成することができる。

相関方向候補の画素対が水平高域成分領域に含まれない場合には、相関方向判定部７０は、ステップＳ２において、仮補間画素信号が周辺画素の画素信号の最大値又は最小値であるか否かを判定する。仮補間画素信号が周辺画素の画素信号の最大値又は最小値である場合には、処理はステップＳ１からステップＳ４を介してステップＳ６に移行し、第２の相関検出部３０による相関方向が判定結果として出力される。即ち、この場合には、第１の相関検出部２０に基づく仮補間画素信号の信頼性が低く、一方、第２の相関検出部３０からの相関値の信頼性が比較的高いので、第２の相関検出部３０に基づいて補間画素を生成することで、信頼性の高い補間画素を生成するのである。

相関方向判定部７０は、ステップＳ２において、仮補間画素信号が周辺画素の画素信号の最大値又は最小値でないものと判定した場合には、処理を次のステップＳ３に移行して、第１の相関検出部２０からの相関値が第１の閾値よりも小さいか否かを判定する。第１の相関検出部２０からの相関値が第１の閾値以上である場合には、相関方向判定部７０は、ステップＳ１からステップＳ４を介して処理をステップＳ６に移行し、第２の相関検出部３０による相関方向が判定結果として出力する。

また、ステップＳ３において、第１の相関検出部２０からの相関値が第１の閾値よりも小さいものと判定された場合には、次のステップＳ７において、第１の相関検出部２０による相関方向が判定結果として出力される。即ち、この場合には、高精度の補間画素生成が可能である。

このように本実施の形態においても、上記各実施の形態と同様の効果を得ることができる。

本発明の第１の実施の形態に係る映像信号処理装置を示すブロック図。 第１の相関検出部２０を説明するための説明図。 第２の相関検出部３０を説明するための説明図。 第２の相関検出部３０を説明するための説明図。 第２の相関検出部３０を説明するための説明図。 本発明の第２の実施の形態を示すブロック図。 第２の実施の形態の動作を説明するための説明図。 本発明の第３の実施の形態を示すブロック図。 本発明の第４の実施の形態を示すブロック図。 第４の実施の形態の動作を示すフローチャート。

符号の説明

１２…ラインメモリ、２０…第１の相関検出部、２１…対称画素選択回路、２２，３２…相関値算出回路、３０…第２の相関検出部、３１…対称及び平行画素選択回路、３５…水平高域検出回路、４０…相関方向判定部、４１…相関方向決定部、４２…補間画素生成回路。

Claims (4)

1. 入力映像信号の２本の実ライン上に夫々位置する画素対であって、前記２本の実ラインの間に内挿する補間ライン上の補間画素を中心として点対称に位置する対称画素対の相関値を各対称画素対毎に求める第１の相関検出手段と、
   前記入力映像信号の２本の実ライン上に夫々位置する画素対であって、前記対称画素対の方向に平行な方向に位置する１つ以上の平行画素対及び前記対称画素対の相関値を各画素対毎に求める第２の相関検出手段と、
   前記第１の相関検出手段からの相関値に基づく相関方向と前記第２の相関検出手段からの相関値に基づく相関方向とのいずれか一方を、前記補間画素の生成に用いる画素対の方向である相関方向として判定する相関方向判定手段と、
   前記相関方向判定手段の判定結果に基づく画素対を用いて、前記補間画素の画素信号を生成する補間画素生成手段と、
   前記第１の相関検出手段が相関値を求めた前記対称画素対の各画素毎に水平高域成分を検出する水平高域成分検出手段と
   を具備し、
   前記相関方向判定手段は、前記水平高域成分検出手段が求めた前記対称画素対の各画素の水平高域成分に基づいて前記対称画素対が水平高域成分領域内の画素であるものと判定した場合には、前記第２の相関検出手段からの相関値に基づく相関方向を判定結果とすることを特徴とする映像信号処理装置。
2. 入力映像信号の２本の実ライン上に夫々位置する画素対であって、前記２本の実ラインの間に内挿する補間ライン上の補間画素を中心として点対称に位置する対称画素対の相関値を各対称画素対毎に求める第１の相関検出手段と、
   前記入力映像信号の２本の実ライン上に夫々位置する画素対であって、前記対称画素対の方向に平行な方向に位置する１つ以上の平行画素対及び前記対称画素対の相関値を各画素対毎に求める第２の相関検出手段と、
   前記第１の相関検出手段からの相関値に基づく相関方向と前記第２の相関検出手段からの相関値に基づく相関方向とのいずれか一方を、前記補間画素の生成に用いる画素対の方向である相関方向として判定する相関方向判定手段と、
   前記相関方向判定手段の判定結果に基づく画素対を用いて、前記補間画素の画素信号を生成する補間画素生成手段と、
   前記第１の相関検出手段からの相関値に基づく相関方向の画素対を用いて仮補間画素信号を生成する仮補間画素生成手段と、
   前記入力映像信号の２本の実ライン上に夫々位置し前記補間画素周辺の画素対の画素信号を出力する周辺画素選択手段と、
   を具備し、
   前記相関方向判定手段は、前記仮補間画素信号が前記周辺画素選択手段からの画素信号の最大値又は最小値である場合には、前記第２の相関検出手段からの相関値に基づく相関方向を判定結果とすることを特徴とする映像信号処理装置。
3. 入力映像信号の２本の実ライン上に夫々位置する画素対であって、前記２本の実ラインの間に内挿する補間ライン上の補間画素を中心として点対称に位置する対称画素対の相関値を各対称画素対毎に求める第１の相関検出手段と、
   前記入力映像信号の２本の実ライン上に夫々位置する画素対であって、前記対称画素対の方向に平行な方向に位置する１つ以上の平行画素対及び前記対称画素対の相関値を各画素対毎に求める第２の相関検出手段と、
   前記第１の相関検出手段からの相関値に基づく相関方向と前記第２の相関検出手段からの相関値に基づく相関方向とのいずれか一方を、前記補間画素の生成に用いる画素対の方向である相関方向として判定する相関方向判定手段と、
   前記相関方向判定手段の判定結果に基づく画素対を用いて、前記補間画素の画素信号を生成する補間画素生成手段とを具備し、
   前記相関方向判定手段は、前記第１の相関検出手段からの前記相関値の最小値が第１の閾値以上である場合には、前記第１の相関検出手段からの相関値に基づく相関方向を無効とし、前記第２の相関検出手段からの前記相関値の最小値が前記第１の閾値とは異なる第２の閾値以上である場合には、前記第２の相関検出手段からの相関値に基づく相関方向を無効とすることを特徴とする映像信号処理装置。
4. 前記第１の相関検出手段からの相関値に基づく相関方向の画素対を用いて仮補間画素信号を生成する仮補間画素生成手段と、
   前記入力映像信号の２本の実ライン上に夫々位置し前記補間画素周辺の画素対の画素信号を出力する周辺画素選択手段と、
   を具備し、
   前記相関方向判定手段は、前記水平高域成分検出手段が求めた前記対称画素対の各画素の水平高域成分に基づいて前記対称画素対が水平高域成分領域内の画素であるものと判定した場合、及び、前記仮補間画素信号が前記周辺画素選択手段からの画素信号の最大値又は最小値であり且つ前記第２の相関検出手段からの前記相関値の最小値が所定の閾値よりも小さい場合には、前記第２の相関検出手段からの相関値に基づく相関方向を判定結果とし、前記仮補間画素信号が前記周辺画素選択手段からの画素信号の最大値又は最小値であり且つ前記第２の相関検出手段からの前記相関値の最小値が所定の閾値以上である場合には、前記補間画素の同一水平位置の対称画素対を示す相関方向を判定結果とし、その他の場合には、前記第１の相関検出手段からの相関値に基づく相関方向を判定結果とすることを特徴とする請求項１に記載の映像信号処理装置。

Images