JP3545577B2 - 走査線変換装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理によって走査線変換を行う走査線変換装置に関する。
【０００２】
【従来の技術】
近年、アスペクト比が１６：９のワイドなテレビジョン受信機が普及している。ワイドテレビジョン受信機のアスペクト比に対応させて、ＥＤＴＶ２放送等のワイド放送も行われている。しかし、現在、アスペクト比が４：３のＮＴＳＣ方式の映像信号による放送が主流であり、アスペクト比が１６：９のワイドテレビジョン受信機においてもアスペクト比が４：３の画像を映出させる必要がある。
【０００３】
この場合には、ワイド画面の全域に画像の絵柄全体を表示させると、絵柄が横長になって垂直方向に潰れた画像が表示されてしまう。このような現象を緩和するために、画面水平方向中央部分の画像を圧縮し、中央から水平方向画面端部に近づくに従って、画像を伸張するという方法等が採用されている。
【０００４】
また、アスペクト比が１６：９のワイドテレビジョン受信機に、アスペクト比が１６：９よりも横長の画像を表示する場合には、画面上下に無画部を有するレターボックス形式で表示を行うようになっている。この場合には、画像を画面全域に表示するために、画像を垂直方向に伸張する方法が採用されることもあり、また、画面を左右２画面に分割し、画像を垂直方向に圧縮して各画面の全域に表示する手法が採用されることもある。
【０００５】
このような画像の圧縮，伸張については、偏向系を制御することにより行うことが可能である。しかしながら、液晶プロジェクションテレビジョン受信機等のように、偏向系を有していない場合には、信号処理によって画像の圧縮，伸張を行う必要がある。例えば、走査線変換処理によって、垂直方向に画像を圧縮，伸張する方法が考えられる。
【０００６】
飛越し走査方式の映像信号を走査線変換する場合には、周波数特性が悪化することを防止するために、飛越し走査信号を一旦順次走査線変換して順次走査信号を得、この順次走査信号に対して走査線変換を行う方法を採用しなければならない。つまり、順次走査変換処理と走査線変換処理とを別々に行う必要がある。なお、このような、順次走査変換処理については特開平４−１５７８８６号公報等に詳述されており、また、走査線変換については、特開平６−１４１３４６号公報等に詳述されている。
【０００７】
【発明が解決しようとする課題】
このように、上述した従来の走査線変換装置においては、周波数特性の悪化を防止するために、飛越し走査方式の映像信号を順次走査線信号に変換した後に走査線変換を行う必要があるという問題点があった。
【０００８】
本発明はかかる問題点に鑑みてなされたものであって、周波数特性を悪化させることなく、順次走査線変換と走査線変換とを同時に行うことができる走査線変換装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の請求項１に係る走査線変換装置は、飛び越し走査方式の第１のビデオ信号を補間処理し、順次走査方式でかつ異なる走査線数の第２のビデオ信号に変換する走査線変換装置において、前記第１のビデオ信号を記憶可能なメモリと、互いに時間方向に隣接する異なるフィールドであって、それらフィールドの垂直方向に隣接した複数の画素によって形成される所定領域のビデオ信号を前記メモリから順次読み出す読み出し手段とを有するメモリ制御回路と、前記第１のビデオ信号のフレーム間差成分に基づいて動き検出信号を生成する手段であって、前記所定領域内の垂直及び時間軸方向に隣接した複数の画素に対応したビデオ信号のフレーム間差成分から動き信号をそれぞれ検出し、補間する画素の位相に応じた画像の動きの度合いを求めるために、検出した各動き信号から前記領域における動きの代表値を求めて、求めた代表値に基づく前記動き検出信号を出力する動き検出手段と、前記動き検出信号に基づいて画像の動きの度合いに応じた補間係数を生成する補間係数生成手段と、前記メモリから読み出した前記所定領域内の複数画素のビデオ信号に対する前記補間係数生成手段からの補間係数を用いた補間によって、補間信号を生成する補間信号生成手段とを具備したものであり、
本発明の請求項２に係る走査線変換装置は、飛び越し走査方式の第１のビデオ信号を補間処理し、順次走査方式でかつ異なる走査線数の第２のビデオ信号に変換する走査線変換装置において、前記第１のビデオ信号を記憶可能なメモリと、互いに時間方向に隣接する異なるフィールドであって、それらフィールドの垂直方向に隣接した複数の画素によって形成される所定領域のビデオ信号を前記メモリから順次読み出す読み出し手段とを有するメモリ制御回路と、前記第１のビデオ信号のフレーム間差成分に基づいて動き検出信号を生成する手段であって、前記所定領域内の垂直及び時間軸方向に隣接した複数の画素に対応したビデオ信号のフレーム間差成分から動き信号をそれぞれ検出し、それら動き信号を、補間する画素の位相に相当する係数比で加算処理し処理結果に基づく前記動き検出信号を出力する動き検出手段と、前記動き検出信号に基づいて画像の動きの度合いに応じた補間係数を生成する補間係数生成手段と、前記メモリから読み出した前記所定領域内の複数画素のビデオ信号に対する前記補間係数生成手段からの補間係数を用いた補間によって、補間信号を生成する補間信号生成手段とを具備したものであり、
本発明の請求項４に係る走査線変換装置は、飛び越し走査方式の第１のビデオ信号を補間処理し、順次走査方式でかつ異なる走査線数の第２のビデオ信号に変換する走査線変換装置において、前記第１のビデオ信号を記憶可能なメモリと、互いに時間方向に隣接する異なるフィールドであって、それらフィールドの垂直方向に隣接した複数の画素によって形成される所定領域のビデオ信号を前記メモリから順次読み出す読み出し手段とを有するメモリ制御回路と、前記第１のビデオ信号のフレーム間差成分に基づいて動き検出信号を生成する手段であって、前記所定領域内の垂直及び時間軸方向に隣接した複数の画素に対応したビデオ信号のフレーム間差成分から動き信号をそれぞれ検出し、それら動き信号をもとに前記領域での動き検出信号を出力する動き検出手段と、前記複数の画素位置に応じた動画用係数及び静止画用係数を生成する手段と、 前記所定領域内の隣接する両フィールドの垂直方向に隣接した複数の画素に対応したそれぞれのビデオ信号と前記静止画用係数を乗算する第１の乗算回路と、前記所定領域内の一方のフィールドの垂直方向に隣接した複数の画素に対応したそれぞれのビデオ信号と前記動画用係数を乗算する第２の乗算回路と、前記第１の乗算回路からのそれぞれの乗算結果を加算する第１の加算回路と、前記第２の乗算回路からのそれぞれの乗算結果を加算する第２の加算回路と、前記第１の加算回路からの加算出力と前記第２の加算回路からの加算出力を前記動き検出信号に基づく混合比で混合して補間信号を生成する補間信号生成手段とを具備したものである。
【００１０】
本発明の請求項１において、記憶手段は、補間に用いる複数画素の画素位置のビデオ信号を出力する。動き検出手段によって、補間に用いる複数画素の画素位置を含む領域の動きを代表する動き検出信号を得る。係数生成手段は、補間する画素に対応したタイミングの動き検出信号に基づいて補間係数を生成する。この補間係数と記憶手段からのビデオ信号とに基づいて、補間信号生成手段は補間信号を生成する。
【００１１】
本発明の請求項５において、係数生成手段は、補間に用いる複数画素の画素位置に基づく係数を生成する。補間信号生成手段は、この係数と記憶手段からのビデオ信号との乗算結果及び動き検出信号に基づいて補間信号を生成する。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は本発明に係る走査線変換装置の一実施の形態を示すブロック図である。
【００１３】
本実施の形態は、飛越し走査信号に対して、垂直−時間領域の処理を行うことにより、順次走査の信号に変換すると同時に垂直方向の圧縮，伸長処理を動きに適応させて行うものである。
【００１４】
入力端子１には飛越し走査方式のビデオ信号を入力する。このビデオ信号は、記憶手段としてのメモリ６及び動き検出回路２に供給する。メモリ６は、入力されたビデオ信号を保持し、後述する制御信号生成回路５からの第１の制御信号に基づいて読出してフィルタ８に出力するようになっている。
【００１５】
動き検出回路２は、フレーム間の差分から動き信号を生成し、生成した動き信号を時間方向及び垂直方向に拡張処理して動き検出信号を得る。この動き検出信号はメモリ７に供給する。
【００１６】
図２は図１中の動き検出回路２の具体的な構成を示すブロック図である。
【００１７】
動き検出回路２の入力端子２０を介して入力されたビデオ信号は遅延回路２１に供給すると共に減算器２２にも供給する。遅延回路２１は入力されたビデオ信号を５２５Ｈ（Ｈは水平期間）だけ遅延させて減算器２２に出力する。減算器２２には１フレーム前後のビデオ信号が入力されることになり、減算器２２は１フレーム前後のビデオ信号の差成分を非線形処理回路２３に出力する。非線形処理回路２３は、入力された差成分を非線形処理して動きの度合いを示す動き信号を得る。
【００１８】
本実施の形態においては、この動き信号を遅延回路２４，２６及び最大値回路（以下、ＭＡＸという）２８に供給するようになっている。遅延回路２４の出力は遅延回路２５及びＭＡＸ２８に出力する。遅延回路２６の出力は遅延回路２７及びＭＡＸ２８に出力する。遅延回路２５，２７の出力はＭＡＸ２８に出力する。遅延回路２４，２５，２７は入力された信号を１Ｈだけ遅延させ、遅延回路２６は入力された信号を２６２Ｈだけ遅延させる。
【００１９】
即ち、ＭＡＸ２８には連続した３ラインの動き信号及び次のフィールドの対応する垂直位置の連続した２ラインの動き信号が入力される。このように、ＭＡＸ２８には、動き信号が垂直及び時間軸方向に拡張処理されて入力される。ＭＡＸ２８は入力された動き信号のうち最大のものを動き検出信号として出力端子２９から出力する。メモリ７は、この動き検出信号を保持して、後述する制御信号生成回路５からの第２の制御信号のタイミングで係数生成回路４に出力するようになっている。
【００２０】
即ち、動き信号を垂直及び時間軸方向に拡張処理することにより、注目する垂直位置に隣接した複数ラインの動きの度合いを注目する垂直位置の動きの度合いと一致させている。これにより、補間画素に対応する画素位置に隣接する複数の画素位置を含む領域の動きを代表した値を求めることができ、補間する画素に適した動き検出信号を用いた動き適応処理が可能となる。
【００２１】
一方、入力端子１１には水平同期信号を与え、入力端子１３には垂直同期信号を与える。これらの水平及び垂直同期信号は係数生成回路４及び制御信号生成回路５に供給するようになっている。
【００２２】
制御信号生成回路５は、入力された水平及び垂直同期信号に基づいて、メモリ７に格納されている動き検出信号を読出すための第２の制御信号を生成すると共に、メモリ６に格納されているビデオ信号を読出すための第１の制御信号を生成する。
【００２３】
本実施の形態においては、制御信号生成回路５によって、画面上の所定ラインの補間画素を作成するタイミングには、相互に異なる隣接した２フィールドの画素であって、補間画素に対応する垂直位置に隣接する複数ラインの複数の画素の信号をメモリ６から読出すと共に、これらの複数の画素の動きを代表するものであって、補間画素に対応した位置の画像の動きを示す動き検出信号をメモリ７から読出すようになっている。なお、２フィールドの信号のうち一方のフィールドの信号のみを用いる（他方のフィールドについては後述する補間係数を０にする）ことによってフィールド内補間が可能である。
【００２４】
係数生成回路４は、補間信号を作成するための補間係数を生成する。画像が完全な静止画像である場合には補間処理をフィールド間で行い、完全な動画である場合には、補間処理をフィールド内で行う。係数生成回路４は、水平同期信号及び垂直同期信号に基づいて、補間信号の作成に用いる画素の画素位置に応じた動画用係数及び静止画用係数を生成する。静止画用係数はフィールド間処理に用い、動画用係数はフィールド内処理に用いる。係数生成回路４は、これらの係数を画像の動きの度合いに応じて混合することにより、各画素位置に対応した補間係数を生成するようになっている。
【００２５】
図３は図１中の係数生成回路４の具体的な構成を示すブロック図である。図３は動き検出信号を８段階に分けた場合の例である。
【００２６】
係数生成回路４の入力端子３１，３２には夫々入力端子１１，１２からの水平同期信号及び垂直同期信号を与える。これらの水平及び垂直同期信号は静止画用及び動画用係数生成回路３３に供給する。静止画用及び動画用係数生成回路３３は、静止画用係数生成回路３４及び動画用係数生成回路３５によって構成している。静止画用係数生成回路３４は画素位置に対応した静止画用係数を生成し、動画用係数生成回路３５は画素位置に対応した動画用係数を生成する。
【００２７】
静止画用係数生成回路３４からの静止画用係数は係数器３６乃至４１に与え、動画用係数生成回路３５からの動画用係数は係数器４２乃至４７に与える。係数器３６乃至４７は入力された係数に所定の係数を乗算して加算器４８乃至５３に与えるようになっている。なお、係数器３６乃至４１と係数器４２乃至４７とは、夫々一方の係数をｋとすると他方の係数は（１−ｋ）となる値に設定する。
【００２８】
図３中の分数は、係数器３６乃至４７の係数の一例を示している。加算器４８乃至５３は、夫々、係数器３６乃至４１の出力と係数器４２乃至４７の出力とを加算して、加算結果を選択器５４に出力するようになっている。
【００２９】
選択器５４には動き検出信号を与える。図３の例では、“０”乃至“７”の８段階の動き検出信号を選択器５４に入力する例を示しており、動き検出信号の“０”乃至“７”は、夫々静止画用係数生成回路３４からの静止画用係数、加算器４８乃至５３の出力及び動画用係数生成回路３５からの動画用係数に対応する。選択器５４は、入力された係数のうち、動き検出信号に基づく係数を選択して補間係数として出力端子５５から出力するようになっている。
【００３０】
図４は図１中の係数生成回路４による補間係数の生成を説明するための図表である。
【００３１】
図４では、静止画用係数をｓで代表し、動画用係数をｍで代表して示している。上述したように、実際のｓ，ｍは画素位置に応じた値になっている。図４は“０”乃至“７”の８段階の動き検出信号に対応した補間係数を示している。例えば、完全静画の場合には、動き検出信号は“０”であり、補間係数としては静止画用係数ｓをそのまま用いることを示している。また、完全動画の場合には、動き検出信号は“７”であり、補間係数としては動画用係数ｍをそのまま用いることを示している。また、例えば、動き検出信号が“３”である場合には、選択器５４は加算器５０の出力、即ち、（４／７）ｓ＋（３／７）ｍを補間係数として出力することを示している。
【００３２】
つまり、係数生成回路４は、画素位置に応じた静止画用係数と動画用係数とを動き検出信号に基づく混合比で混合することにより補間係数を生成している。
【００３３】
係数生成回路４からの補間係数はフィルタ８に供給する。フィルタ８にはメモリ６から補間信号の作成に用いる複数画素の信号も入力されており、フィルタ８は補間信号の作成に用いる各画素とこれらの各画素の動きを代表する動き検出信号に応じて生成した各画素毎の補間係数との乗算結果を加算することにより補間信号を得るようになっている。
【００３４】
図５は図１中のフィルタ８の具体的な構成を示すブロック図である。また、図６は補間信号の作成に用いる画素を説明するための説明図である。図５及び図６は補間信号の作成に７画素を用いる例を示している。
【００３５】
メモリ６から垂直及び時間方向に隣接する複数画素の信号を読出してフィルタ８を構成する乗算器６１乃至６７に与える。図６は横軸にフィールド単位の時間をとり、縦軸を垂直方向の走査線に対応させて、乗算器６１乃至６７に与える画素を示している。即ち、乗算器６１乃至６７には、相互に隣接する２フィールドの垂直方向に隣接した７画素（画素Ｘ０ 乃至Ｘ６ ）（斜線部）の画素信号を夫々与える。なお、この場合には、これらの７画素の画素信号を用いて、これらの７画素の略中央の垂直位置の補間画素を得るようになっている。
【００３６】
上述したように、メモリ７からはこれらの７画素の動きを代表し補間する画素位置に対応した位置の動き検出信号を係数生成回路４に与える。また、係数生成回路４は、画素の水平及び垂直位置に応じて発生した静止画用係数及び動画用係数を所定の割合で混合し、混合した結果を動き検出信号に基づいて選択することにより、各画素毎の補間信号を生成している。
【００３７】
乗算器６１乃至６７には係数生成回路４から各画素に対応した補間係数ａ乃至ｇを与え、乗算器６１乃至６７は夫々入力された画素Ｘ０ 乃至Ｘ６ の画素信号と補間係数ａ乃至ｇとを乗算して乗算結果を加算器６８に出力するようになっている。加算器６８は、入力された乗算結果を加算して、補間信号として出力端子９から出力するようになっている。
【００３８】
なお、完全動画の場合には、フィールド内の処理を行うので、補間信号の作成に用いる画素、即ち、補間係数を適用する画素は、図４に示すように、例えば画素Ｘ０ ，Ｘ２ ，Ｘ４ ，Ｘ６ の４画素である。また、完全静止画の場合には、７画素全てを用いてもよいが、端の画素は補間係数として０を割り当てることが適当であるとも考えられるので、図４に示すように、例えばＸ０ 乃至Ｘ５ の６画素を用いる。
【００３９】
次に、このように構成された実施の形態の動作について図７及び図８を参照して説明する。図７は伸張処理における動作を説明するための説明図であり、図８は圧縮処理を説明するための説明図である。図７及び図８においては、横軸にフィールド単位の時間をとり、縦軸は画面垂直方向の各ラインを示しており、黒丸は各ラインの画素を示し、斜線丸印は補間によって作成する補間信号を示している。
【００４０】
先ず、図７を参照して画像を垂直方向に伸張する場合について説明する。図７の縦線（左側５本）は飛び越し走査における連続したフィールドを示しており、最右端の縦線は順次走査に変換され、かつ伸張処理によって走査線数が増加されたラインを例示している。この場合には、相互に隣接した２フィールドの画素であって、垂直方向に隣接した位置の複数の画素（太枠内の画素Ｘ０〜Ｘ６）を補間信号の作成に用いる。
【００４１】
図７の例は、垂直方向画素数を４／３倍にするものであり、補間フィールドの画素Ｚ３ を作成するために、隣接した２フィールドであって垂直方向に隣接する所定領域内（図７の太枠内）の画素Ｘ０ 乃至Ｘ６ の７画素を用いている。
【００４２】
いま、補間フィールドの画素Ｚ３ を作成するものとする。入力端子１を介して入力されたビデオ信号は、メモリ６及び動き検出回路２に与える。メモリ６によって隣接した２フィールドの７画素（Ｘ０ 乃至Ｘ６ ）を保持する。
【００４３】
動き検出回路２は、メモリ６に記憶する画素Ｘ０ 乃至Ｘ６ の１フレーム前の画素Ｙ０ 乃至Ｙ６ を遅延回路２１によって１フレーム期間遅延させ、減算器２２によって１フレーム前後の信号の差分を求めることにより、Ｘ０ ，Ｙ０ 間、Ｘ１ ，Ｙ１ 間、Ｘ２ ，Ｙ２ 間、Ｘ３ ，Ｙ３ 間及びＸ４ ，Ｙ４ 間の動き成分を求める。これらの動き成分を、非線形処理回路２３によって非線形処理して動きの度合いを検出する。
【００４４】
動きの度合いは遅延回路２４乃至２７によって垂直方向及び時間軸方向に拡張処理してＭＡＸ２８に与える。ＭＡＸ２８は動きの度合いの最大値を動き検出信号として出力する。動き検出信号はメモリ７に供給する。
【００４５】
補間する画素Ｚ３ に対して図７の位置ＭＤ１ が垂直方向に対応する位置である。従って、動きに適応させた補間処理を行うためには、位置ＭＤ１ の動きを検出する必要がある。しかしながら、非線形処理回路２３から得られる動き信号は、図７のＸ２ とＹ２ の差成分から生成したものである。そこで、本実施の形態においては、遅延回路２４乃至２７によって、この動き信号を垂直及び時間軸方向に拡張処理している。つまり、Ｘ２ ，Ｙ２ 間に隣接したＸ０ ，Ｙ０ 間、Ｘ１ ，Ｙ１ 間、Ｘ３ ，Ｙ３ 間及びＸ４ ，Ｙ４ 間の動きの度合いは全て、Ｘ２ ，Ｙ２ 間の動きの度合いに一致するように処理する。これにより、従来通りの手法で動きを検出した場合でも、生成すべき補間画素に相当する動きを包含し、画像の動きに適応した伸長処理が可能となる。
【００４６】
一方、制御信号生成回路５は、入力端子１１，１２から水平及び垂直同期信号に基づいて、メモリ６，７に記憶された信号を読出すための第１及び第２の制御信号を発生する。これにより、メモリ６から画素Ｘ０ 乃至Ｘ６ の信号が読出されてフィルタ８に供給されると共に、これらの画素に対応した動き検出信号がメモリ７から読出されて係数生成回路４に供給される。
【００４７】
係数生成回路４は、水平及び垂直同期信号に基づいて、静止画用及び動画用係数生成回路３３において各画素位置に対応した静止画用係数及び動画用係数を生成する。静止画用係数は係数器３６乃至４１によって所定の係数と乗算し、動画用係数は係数器４２乃至４７によって所定の係数と乗算する。加算器４８乃至５３がこれらの係数器３６乃至４７の出力を加算することにより、図４に示す動き検出信号“１”乃至“６”に対応した補間係数を得る。
【００４８】
これらの補間係数、静止画用係数及び動画用係数を選択器５４に与えて、動き検出信号に応じて選択する。こうして、係数生成回路４は動き検出信号に基づいて、画素Ｘ０ 乃至Ｘ６ に夫々対応した補間係数ａ乃至ｇを生成してフィルタ８に出力する。
【００４９】
フィルタ８は、乗算器６１乃至６７によって、メモリ６から読出した画素Ｘ０ 乃至Ｘ６ の信号とこれらの画素に夫々対応した補間係数ａ乃至ｇとを乗算し、加算器６８によって乗算結果を加算することによって、画素Ｚ３ の補間信号を生成する。
【００５０】
こうして、飛越し走査信号を直接走査線変換する場合でも、周波数特性を悪化させることなく伸張処理可能である。
【００５１】
一方、図８は、垂直方向画素数を３／４倍にするものであり、図７と同様に縦線（左側５本）は飛び越し走査における連続したフィールドを示している。また最右端の縦線は順次走査に変換され、かつ圧縮処理によって走査線数が減少されたラインを例示している。この場合には、相互に隣接した２フィールドの画素であって、垂直方向に隣接した位置の複数の画素（太枠内の画素Ｘ０〜Ｘ６）を補間信号の作成に用い、飛び越し走査時よりも少ない走査線数に変更する例を示している。
【００５２】
この場合には、係数生成回路４の静止画用及び動画用係数生成回路３３は画像伸張時と異なる静止画用係数及び動画用係数を生成する。他の作用は画像伸張時と同様である。
【００５３】
この場合でも、フレーム間の差成分から生成した動き信号を垂直及び時間軸方向に拡張処理することにより、生成すべき補間画素Ｚ２ に対応する画素位置ＭＤ２ の動きを包含し画像の動きに適応した動き検出信号を得ることができ、周波数特性を悪化させない圧縮処理が可能となる。
【００５４】
このように、本実施の形態においては、飛越し走査のビデオ信号から補間信号を作成するために、２フィールドの画素であって、対応する垂直位置に隣接した複数の画素を用い、これらの複数の画素から求めた動き信号を垂直及び時間軸方向に拡張処理して動き検出信号を作成しており、画像の動きに適応した補間信号の作成が可能となる。これにより、周波数特性を悪化させることなく、飛越し走査のビデオ信号を一旦順次走査信号に変換せずに、直接走査線変換することが可能となる。
【００５５】
なお、補間信号を得るために用いる画素は図１の実施の形態に限定されるものではなく、また、静止画用係数及び動画用係数の画素位置に対応した値の設定方法並びに静止画用係数と動画用係数の混合比等も図１の実施の形態に限定されるものではない。
【００５６】
例えば、図９乃至図１４は、補間信号の作成に用いる画素及び補間係数の他の設定例を示す説明図である。
【００５７】
図９は画像を４／３倍に伸張する例を示しており、図１０は画像を３／４倍に圧縮する例を示している。図９では、隣接した２フィールドの画素…，Ｘ−１，Ｘ０ ，Ｘ１ ，…によって、画素…，Ｚ−１，Ｚ０ ，Ｚ１ ，…を作成するようになっている。図１１及び図１２は、夫々図９の場合において、画像が完全静止画又は完全動画であるときの補間係数及び補間に用いる画素を示している。
【００５８】
図１１は補間信号の作成に６つの画素の信号を用いる例、即ち、図５のフィルタとして６つの乗算器を用いる例を示している。例えば、図９の画素Ｚ０ については、画像が完全静止画である場合には、２フィールドの画素Ｘ−１乃至Ｘ４ の６画素を用いて作成する。そして、画素Ｚ０ の作成のために乗算器に与える補間係数ａ乃至ｆとして夫々３／１６，６／１６，３／１６，２／１６，１／１６，１／１６を設定している。これらの値は画像が完全静止画であるので静止画用係数の値と同一である。
【００５９】
また、画像が完全動画である場合にはフィールド内の処理を行うので、図１２に示すように、画素Ｚ０ の作成のために、画素Ｘ−２，Ｘ０ ，Ｘ２ ，Ｘ４ の４つの画素を用いる。そして、これらの画素の信号に乗算する係数としては、夫々３／１６，８／１６，３／１６，２／１６を設定している。これらの値は画像が完全動画であるので動画用係数の値と同一である。
【００６０】
静止画用係数及び動画用係数は、静止画用及び動画用係数生成回路３３が補間に用いる画素の画素位置に応じて作成しており、図１１及び図１２に示すように、補間に用いる画素毎に異なる値となっている。画像が完全静止画又は完全動画でない場合には、これらの静止画用係数及び動画用係数を動き検出信号に応じた混合比で混合することにより補間信号を得ることは明らかである。
【００６１】
図１０は画像を圧縮する場合の例を示している。画像が完全静止画又は完全動画である場合において、図１０に示す補間画素の生成に用いる画素及び補間係数は、夫々図１３又は図１４に示してある。なお、図１３及び図１４は夫々完全静止画又は完全動画の例であるので、図１３に示す補間係数は静止画用係数の値と一致しており、図１４に示す補間係数は動画用係数の値と一致している。
【００６２】
図１５は本発明の他の実施の形態を示すブロック図である。本実施の形態は、映像信号用のディジタル信号処理装置（以下、ＤＳＰという）を用いた場合の例である。
【００６３】
入力端子７１には飛越し走査方式のビデオ信号を与える。このビデオ信号は入力信号用のインタフェース部（以下、Ｉ／Ｆ部という）７５を介してＤＳＰ７０に供給する。入力端子７２には水平同期信号を与え、入力端子７３には垂直同期信号を与える。
【００６４】
Ｉ／Ｆ部７５、動き検出部７６、係数生成部７７、フィルタ部７８、メモリ部７９及び出力用のＩ／Ｆ部８０は、ＤＳＰ７０内部のデータバス７４に接続している。Ｉ／Ｆ部８０の出力は補間信号として出力端子８１から出力するようになっている。なお、メモリ部７９をＤＳＰ７０の外部に設けてもよいことは明らかである。
【００６５】
動き検出部７６、係数生成部７７、フィルタ部７８は夫々図１の動き検出回路２，係数生成回路４及びフィルタ８と同様の作用を呈するようになっている。メモリ部７９は、図１のメモリ６，７と同様の作用を呈する。Ｉ／Ｆ部７５は入力端子７１からのビデオ信号をデータバス７４に与え、Ｉ／Ｆ部８０はデータバス７４からの補間信号を出力端子８１を介して出力する。
【００６６】
図１６は図１５中のフィルタ部７８の具体的な構成を示すブロック図である。
【００６７】
データバス７４を介して入力された飛越し走査方式のビデオ信号は、入力端子８５を介してレジスタ８６に供給する。レジスタ８６は補間信号の作成に用いる画素の信号を記憶し、これらの画素の信号を夫々乗算器８７乃至９３に与える。乗算器８７乃至９３には係数生成部７７において生成した補間係数ａ乃至ｇも与えるようになっている。乗算器８７乃至９３は、入力された画素の信号とこれらの画素に夫々対応した補間係数ａ乃至ｇとを乗算して乗算結果を加算器９４に出力する。加算器９４は、乗算結果を加算して補間信号として出力端子９５からデータバス７４に出力するようになっている。
【００６８】
このように構成された実施の形態においては、ＤＳＰ７０内の各部がデータバス７４を介してデータを送受しながら補間信号を生成する。即ち、Ｉ／Ｆ部７５からのビデオ信号はデータバス７４を介してメモリ７９に格納する。動き検出部７６は、図１の動き検出回路２と同様の作用によって、補間画素の画素位置に対応する位置の動きを包含する動き検出信号を出力する。
【００６９】
この動き検出信号は係数生成部７７に与えられ、係数生成部７７は、図１の係数生成回路４と同様の作用によって、画素位置に対応する静止画係数及び動画係数を動き検出信号に基づく混合比で混合して補間係数を生成する。補間係数はフィルタ部７８の乗算器８７乃至９３に与える。
【００７０】
一方、フィルタ部７８は、メモリ部７９からビデオ信号を読出し、補間画素の作成に用いる画素の信号をレジスタ８６に記憶する。更に、フィルタ部７８は、レジスタ８６から読出した各画素の信号と補間係数とを乗算器８７乃至９３において乗算し、乗算結果を加算器９４によって加算する。加算結果は、補間信号としてデータバス７４からＩ／Ｆ部８０を介して出力端子８１に出力する。
【００７１】
このように、本実施の形態においても図１の実施の形態と同様の効果を得ることができる。
【００７２】
更に、本実施の形態においては、ＤＳＰを用いているので、高速処理が可能である。このため、フィルタ部７８からの補間信号を一旦メモリ部７９に書込んで保持し、生成した一部の補間信号のみを最終的な補間信号として出力することも可能である。
【００７３】
図１７は本発明の他の実施の形態を示すブロック図である。図１７において図１５と同一の構成要素には同一符号を付して説明を省略する。
【００７４】
上記各実施の形態においては、フィルタ係数として動きの度合いに応じて作成した補間係数を用いたが、本実施の形態においては、フィルタの出力を動きの度合いに応じて制御するようになっている。なお、本実施の形態はＤＳＰを用いて構成した例であるが、ＤＳＰを用いることなく構成してもよいことは明らかである。
【００７５】
本実施の形態は、係数生成部７７及びフィルタ部７８に代えて係数生成部８７及びフィルタ部８８を採用した点が図１５の実施の形態と異なる。
【００７６】
図１８は図１７中の係数生成部８７の具体的な構成を示すブロック図である。図１７において図３と同一の構成要素には同一符号を付して説明を省略する。
【００７７】
係数生成部８７は、静止画用及び動画用係数生成回路３３のみによって構成している。静止画用及び動画用係数生成回路３３は、静止画用係数生成回路３４及び動画用係数生成回路３５を有している。入力端子３１，３２には水平及び垂直同期信号を与え、静止画用係数生成回路３４は、画素位置に対応した静止画用係数を生成して出力端子９１から出力し、動画用係数生成回路３５は、画素位置に対応した動画用係数を生成して出力端子９２から出力するようになっている。出力端子９２からの係数はデータバス７４に送出されるようになっている。
【００７８】
図１９は図１７中のフィルタ部８８の具体的な構成を示すブロック図である。図１９において図１６と同一の構成要素には同一符号を付して説明を省略する。図１９は補間信号の作成に、前２フィールドの補間画素に対応する垂直位置の上下に隣接した７画素Ｘ０ 乃至Ｘ６ （図６参照）を用いる例を示している。なお、図４に示すように、完全静止画の場合には画素Ｘ０ 乃至Ｘ５ の６画素に補間係数を適用し、完全動画の場合には、画素Ｘ０ ，Ｘ２ ，Ｘ４ ，Ｘ６ の４画素に補間係数を適用するものとする。
【００７９】
レジスタ８６は補間に用いる画素の信号を保持する。レジスタ８６が保持する画素が図６に示す画素Ｘ０ 乃至Ｘ６ であるものとすると、レジスタ８６は画素Ｘ０ 乃至Ｘ５ の信号を夫々乗算器９３乃至９８に与え、画素Ｘ０ ，Ｘ２ ，Ｘ４ ，Ｘ６ の信号を乗算器９９乃至１０２ に与えるようになっている。
【００８０】
一方、乗算器９３乃至９８には、データバス７４を介して、係数生成部８７において作成した画素Ｘ０ 乃至Ｘ５ に夫々対応した静止画用係数ｈ，ｉ，ｊ，ｌ，ｏ．ｐ（以下ｈ乃至ｐという）も供給し、乗算器９９乃至１０２ には、データバス７４を介して、係数生成部８７において作成した画素Ｘ０ ，Ｘ２ ，Ｘ４ ，Ｘ６ に夫々対応した動画用係数ｑ，ｒ，ｔ，ｕ（以下、ｑ乃至ｕという）も供給するようになっている。
【００８１】
乗算器９３乃至１０２ は、夫々入力された画素の信号と係数ｈ乃至ｕとを乗算する。乗算器９３乃至９８の乗算結果は加算器１０４ に与え、乗算器９９乃至１０２ の乗算結果は加算器１０３ に与えるようになっている。加算器１０３ ，１０４ は入力された乗算結果を夫々加算し、加算結果を混合回路（以下、ＭＩＸという）１０５ に出力する。
【００８２】
ＭＩＸ１０５ には動き検出部７６が求めた動き検出信号も与える。ＭＩＸ１０５ は、加算器１０３ ，１０４ からの加算結果を動き検出信号に応じた混合比で混合して補間信号を生成し、出力端子９５を介してデータバス７４に送出するようになっている。
【００８３】
次に、このように構成された実施の形態の動作について説明する。
【００８４】
静止画用及び動画用係数生成回路３３は、各画素位置に応じた静止画用係数及び動画用係数を生成してデータバス７４に送出する。一方、フィルタ部８８のレジスタ８６は、補間信号の生成に用いる画素の信号を取込んで保持する。いま、図７に示す画素Ｚ３ の補間を行うものとする。この場合には、レジスタ８６は図７の画素Ｘ０ 乃至Ｘ６ の信号を取込む。レジスタ８６は画素Ｘ０ 乃至Ｘ５ の信号を乗算器９３乃至９８に与え、画素Ｘ０ ，Ｘ２ ，Ｘ４ ，Ｘ６ の信号を乗算器９９乃至１０２ に与える。
【００８５】
乗算器９３乃至９８は、夫々データバス７４を介して画素Ｘ０ 乃至Ｘ５ に対応した静止画用係数ｈ乃至ｐも与えられており、画素Ｘ０ 乃至Ｘ５ の信号と静止画用係数ｈ乃至ｐとを乗算して乗算結果を加算器１０４ に出力する。また、乗算器９９乃至１０２ は、夫々データバス７４を介して画素Ｘ０ ，Ｘ２ ，Ｘ４ ，Ｘ６ に対応した動画用係数ｑ乃至ｕも与えられており、画素Ｘ０ ，Ｘ２ ，Ｘ４ ，Ｘ６ の信号と動画用係数ｑ乃至ｕとを乗算して乗算結果を加算器１０３ に出力する。
【００８６】
加算器１０３ ，１０４ は入力された乗算結果を夫々加算し、加算結果をＭＩＸ１０５ に出力する。ＭＩＸ１０５ は、動き検出信号に基づく混合比で加算器１０３ ，１０４ の出力を混合して補間信号を生成する。
【００８７】
図１５の実施の形態においては、図４に示すように、完全動画では画素Ｘ０ ，Ｘ２ ，Ｘ４ ，Ｘ６ の信号に補間係数を乗算して加算することにより補間信号を得、完全静止画では画素Ｘ０ 乃至Ｘ５ の信号に補間係数を乗算して加算することにより補間信号を得ている。従って、図１５の実施の形態のように、静止画用係数及び動画用係数を動き検出信号に応じた混合比で混合して得た補間係数と各画素の信号とを乗算して加算した結果（補間信号）と、本実施の形態のように、静止画用係数及び動画用係数と各画素の信号とを乗算して加算した結果を動き検出信号に応じた混合比で混合した結果（補間信号）とは略々同様の値となる。
【００８８】
このように、本実施の形態においても、図１５の実施の形態と同様の効果を得ることができる。
【００８９】
図２０は本発明の他の実施の形態を示すブロック図である。図２０において図１５と同一の構成要素には同一符号を付して説明を省略する。
【００９０】
上記各実施の形態においては、動き検出信号は、フレーム間の差信号に基づく動き信号を垂直及び時間軸方向に拡張処理することにより得ていた。これに対し、本実施の形態においては、フレーム間の差信号に基づく動き信号を、生成すべき補間信号の位相に応じて補正することにより動き検出信号を得るものである。なお、本実施の形態はＤＳＰを用いて構成した例であるが、ＤＳＰを用いることなく構成してもよいことは明らかである。
【００９１】
本実施の形態は、動き検出部７６に代えて動き検出部１１１ を採用した点が図１５の実施の形態と異なる。図２１は図１５中の動き検出部１１１ の具体的な構成を示すブロック図である。図２１において図２と同一の構成要素には同一符号を付して説明を省略する。
【００９２】
非線形処理回路２３からはフレーム間差分に基づく動き信号が出力される。この動き信号は遅延回路１１５ 及び係数器１１７ に供給する。遅延回路１１５ は、動き信号を２６３Ｈだけ遅延させて係数器１１６ に出力する。
【００９３】
係数器１１６ ，１１７ には隣接した２ライン、即ち、異なるフィールドの同一水平位置の画素の動きを示す動き信号が入力されることになる。係数器１１６ ，１１７ は、入力された動き信号と生成する補間信号の位相に応じた係数とを乗算する。係数器１１６ ，１１７ の出力は加算器１１８ に供給する。加算器１１８ は係数器１１６ ，１１７ の出力を加算して、加算結果を動き検出信号として出力端子１１９ から出力するようになっている。なお、出力端子１１９ からの動き検出信号はデータバス７４に送出される。
【００９４】
次に、このように構成された実施の形態の動作について図２２を参照して説明する。図２２は横軸にフィールド単位の時間をとり、縦軸は画面垂直方向の各ラインを示しており、白丸は各ラインの画素を示している。また、図２２の縦線は連続したフィールドを示している。図２２の最右端に示すフィールドの各ラインを伸張する場合について説明する。この場合には、例えばこのフィールドの前２フィールドの画素であって、垂直方向及び時間方向に隣接した複数の画素を補間信号の作成に用いる。図２２の例は、垂直方向画素数を４／３倍にするものである。
【００９５】
本実施の形態においては、動き検出信号の検出方法が上記各実施の形態と異なるのみである。いま、図２２に示す補間フィールドの前２フィールドの画素Ｘ０ 乃至Ｘ６ の７画素を用いて画素Ｚ３ を補間するものとする。動き検出部１１１ は画素Ｚ３ に対応する画素位置Ｍ１ （黒の三角印）における動きに相当する動き検出信号を出力すればよい。この場合には、動き検出部１１１ は、Ｍ１ の上下のラインにおける動き、即ち、画素Ｘ２ ，Ｙ２ 間の動き及び画素Ｘ３ ，Ｙ３ 間の動きから位置Ｍ１ における動きを検出する。
【００９６】
即ち、入力端子２０を介して入力したビデオ信号は遅延回路２１によって１フレーム期間遅延させ、減算器２２は１フレーム期間前後のビデオ信号を減算する。非線形処理回路２３によって減算器２２の出力を非線形処理して動き信号を得る。
【００９７】
例えば、いま、非線形処理回路２３から画素Ｘ３ ，Ｙ３ 間の動き信号が出力されるタイミングであるものとする。この場合には、遅延回路１１５ からは前記フィールドの画素Ｘ２ ，Ｙ２ 間の動き信号が得られる。これらのＸ３ ，Ｙ３ 間の動き信号及びＸ２ ，Ｙ２ 間の動き信号は夫々係数器１１６ ，１１７ に与える。
【００９８】
係数器１１６ ，１１７ は画素Ｚ３ の位相に相当する係数、例えば、画素Ｘ２ ，Ｘ３ と位置Ｍ１ との各垂直距離に応じた係数が与えられており、これらの係数と動き信号とを乗算する。この乗算結果を加算器１１８ において加算して動き検出信号を得る。この動き検出信号は、画素位置Ｍ１ の動きを表すものと考えることができる。
【００９９】
加算器１１８ からの動き検出信号は出力端子１１９ を介してデータバス７４に送出する。他の作用は図１５の実施の形態と同様である。
【０１００】
本実施の形態においても、図１５の実施の形態と同様の効果を得ることができることは明らかである。なお、本実施の形態における動き検出信号の作成方法を他の実施の形態において採用してもよいことも明らかである。
【０１０１】
【発明の効果】
以上説明したように本発明によれば、周波数特性を悪化させることなく、順次走査線変換と走査線変換とを同時に行うことができるという効果を有する。
【図面の簡単な説明】
【図１】本発明に係る走査線変換装置の一実施の形態を示すブロック図。
【図２】図１中の動き検出回路２の具体的な構成を示すブロック図。
【図３】図１中の係数生成回路４の具体的な構成を示すブロック図。
【図４】図１中の係数生成回路４を説明するための説明図。
【図５】図１中のフィルタ８の具体的な構成を示すブロック図。
【図６】図１中のフィルタ８を説明するための説明図。
【図７】図１の実施の形態の動作を説明するための説明図。
【図８】図１の実施の形態の動作を説明するための説明図。
【図９】補間画素と補間に用いる画素との関係を示す説明図。
【図１０】補間画素と補間に用いる画素との関係を示す説明図。
【図１１】補間に用いる画素と補間係数との関係を示す説明図。
【図１２】補間に用いる画素と補間係数との関係を示す説明図。
【図１３】補間に用いる画素と補間係数との関係を示す説明図。
【図１４】補間に用いる画素と補間係数との関係を示す説明図。
【図１５】本発明の他の実施の形態を示すブロック図。
【図１６】図１５中のフィルタ部７８の具体的な構成を示すブロック図。
【図１７】本発明の他の実施の形態を示すブロック図。
【図１８】図１７中の係数生成部８７の具体的な構成を示すブロック図。
【図１９】図１７中のフィルタ部８８の具体的な構成を示すブロック図。
【図２０】本発明の他の実施の形態を示すブロック図。
【図２１】図２０中の動き検出部１１１ の具体的な構成を示すブロック図。
【図２２】図２０の実施の形態の動作を説明するための説明図。
【符号の説明】
２…動き検出回路、４…係数生成回路、５…制御信号生成回路、６，７…メモリ、８…フィルタ。

Claims (4)

1. 飛び越し走査方式の第１のビデオ信号を補間処理し、順次走査方式でかつ異なる走査線数の第２のビデオ信号に変換する走査線変換装置において、
   前記第１のビデオ信号を記憶可能なメモリと、互いに時間方向に隣接する異なるフィールドであって、それらフィールドの垂直方向に隣接した複数の画素によって形成される所定領域のビデオ信号を前記メモリから順次読み出す読み出し手段とを有するメモリ制御回路と、
   前記第１のビデオ信号のフレーム間差成分に基づいて動き検出信号を生成する手段であって、前記所定領域内の垂直及び時間軸方向に隣接した複数の画素に対応したビデオ信号のフレーム間差成分から動き信号をそれぞれ検出し、補間する画素の位相に応じた画像の動きの度合いを求めるために、検出した各動き信号から前記領域における動きの代表値を求めて、求めた代表値に基づく前記動き検出信号を出力する動き検出手段と、
   前記動き検出信号に基づいて画像の動きの度合いに応じた補間係数を生成する補間係数生成手段と、
   前記メモリから読み出した前記所定領域内の複数画素のビデオ信号に対する前記補間係数生成手段からの補間係数を用いた補間によって、補間信号を生成する補間信号生成手段とを具備したことを特徴とする走査線変換装置。
2. 飛び越し走査方式の第１のビデオ信号を補間処理し、順次走査方式でかつ異なる走査線数の第２のビデオ信号に変換する走査線変換装置において、
   前記第１のビデオ信号を記憶可能なメモリと、互いに時間方向に隣接する異なるフィールドであって、それらフィールドの垂直方向に隣接した複数の画素によって形成される所定領域のビデオ信号を前記メモリから順次読み出す読み出し手段とを有するメモリ制御回路と、
   前記第１のビデオ信号のフレーム間差成分に基づいて動き検出信号を生成する手段であって、前記所定領域内の垂直及び時間軸方向に隣接した複数の画素に対応したビデオ信号のフレーム間差成分から動き信号をそれぞれ検出し、それら動き信号を、補間する画素の位相に相当する係数比で加算処理し処理結果に基づく前記動き検出信号を出力する動き検出手段と、
   前記動き検出信号に基づいて画像の動きの度合いに応じた補間係数を生成する補間係数生成手段と、
   前記メモリから読み出した前記所定領域内の複数画素のビデオ信号に対する前記補間係数生成手段からの補間係数を用いた補間によって、補間信号を生成する補間信号生成手段とを具備したことを特徴とする走査線変換装置。
3. 前記補間係数生成手段は、動画用係数及び静止画用係数を生成する手段と、
   前記動画用係数と静止画用係数とをそれぞれ異なる比率で加算する加算手段と、
   前記加算手段から前記動き検出信号をもとに、画像の動きの度合いに応じた比率で加算された係数を出力する選択手段とを具備したことを特徴とする請求項１又は２記載の走査線変換装置。
4. 飛び越し走査方式の第１のビデオ信号を補間処理し、順次走査方式でかつ異なる走査線数の第２のビデオ信号に変換する走査線変換装置において、
   前記第１のビデオ信号を記憶可能なメモリと、互いに時間方向に隣接する異なるフィールドであって、それらフィールドの垂直方向に隣接した複数の画素によって形成される所定領域のビデオ信号を前記メモリから順次読み出す読み出し手段とを有するメモリ制御回路と、
   前記第１のビデオ信号のフレーム間差成分に基づいて動き検出信号を生成する手段であって、前記所定領域内の垂直及び時間軸方向に隣接した複数の画素に対応したビデオ信号のフレーム間差成分から動き信号をそれぞれ検出し、それら動き信号をもとに前記領域での動き検出信号を出力する動き検出手段と、
   前記複数の画素位置に応じた動画用係数及び静止画用係数を生成する手段と、
   前記所定領域内の隣接する両フィールドの垂直方向に隣接した複数の画素に対応したそれぞれのビデオ信号と前記静止画用係数を乗算する第１の乗算回路と、
   前記所定領域内の一方のフィールドの垂直方向に隣接した複数の画素に対応したそれぞれのビデオ信号と前記動画用係数を乗算する第２の乗算回路と、
   前記第１の乗算回路からのそれぞれの乗算結果を加算する第１の加算回路と、
   前記第２の乗算回路からのそれぞれの乗算結果を加算する第２の加算回路と、
   前記第１の加算回路からの加算出力と前記第２の加算回路からの加算出力を前記動き検出信号に基づく混合比で混合して補間信号を生成する補間信号生成手段とを具備したことを特徴とする走査線変換装置。

Images