JP4356468B2 - 映像信号処理装置 - Google Patents

Description

本発明は飛び越し走査の映像信号を順次走査の映像信号に変換する映像信号処理装置に関するものである。

従来のインターレース信号をプログレッシブ信号に変換する映像信号処理装置としては、例えば特開平９−２２４２２３号公報（特許文献１）に示されたものがある。ところが、変換後の映像信号は音声信号に対しても１フィールド遅延されるため、放送局等での編集で支障を来たすという課題を有しており、その課題を解決する方法としては、図８に示す構成が知られている。

図８は、飛び越し走査の映像信号が入力される入力端子と、入力端子８０１に入力された映像信号を１フィールド遅延させる第１のフィールドメモリ８０２と、フィールドメモリ８０２で遅延された映像信号をさらに１フィールド遅延させる第２のフィールドメモリ８０３と、フィールドメモリ８０２に入力（入力端子８０１の入力）される映像信号を用いて、同一フィールド内の２つの画素より補間走査線を生成する第１の補間回路８０４と、第２のフィールドメモリ８０３から出力される映像信号を用いて、同一フィールド内の２つの画素より補間走査線を生成する第２の補間回路８０５と、補間回路８０４の出力する映像信号の画素値と、第１のフィールドメモリ８０２から出力される映像信号の画素値と、補間回路８０５の出力する映像信号の画素値を比較し、３つの画素値より中間の画素値となるフィールドを判別する中間値比較回路８０６と、第１のフィールドメモリ８０２から出力される同一フィールド内の３つの画素より垂直高域成分を抽出するフィルター回路８０７と、第１の補間回路８０４の出力とフィルター回路８０７の出力を加算値を出力する加算値回路８０８と、中間値比較回路８０６の制御信号により、第１の補間回路８０４の出力または加算回路８０８の出力のどちらかを選択し出力する補間値選択回路８０９と、入力された映像信号を記憶し、読み出し時に映像信号の水平走査期間を１／２に圧縮して倍レートで記憶内容を出力する倍速変換部８１０、８１１と、倍速変換部８１０、８１１の出力を１ライン周期毎に切り替えて出力する選択回路８１２と、順次走査の映像信号を出力する出力端子８１３とから構成されている。

このように構成された従来の映像信号処理装置の動作を説明する。図８において、入力端子８０１に飛び越し走査の映像信号が入力されると、フィールドメモリ８０２、８０３によって夫々１フィールド期間映像が遅延される。そしてフィールドメモリ８０３から２フィールド即ち１フレーム期間遅延された映像信号が出力される。入力端子８０１から入力される映像信号およびフィールドメモリ８０３のから出力される映像信号は補間回路８０４および補間回路８０５に入力され、ここでそれぞれの同一フィールド内の画素より補間処理が行われ、補間走査線が生成される。

この補間回路８０４、８０５の出力およびフィールドメモリ８０２から出力される映像信号が中間値比較回路８０６に入力され、この３つの画素値より中間値となる画素フィールドを判別する。そして判別の結果、補間回路８０４の出力または補間回路８０５の出力が中央値となった場合は、静止信号として中間値比較回路８０６から「Ｈｉｇｈ」の制御信号を出力し、フィールドメモリ８０２から出力される映像信号が中間値となった場合は、中間値比較回路８０６から「Ｌｏｗ」の制御信号を出力する。補間値選択回路８０９は、中間値比較回路８０６の制御信号によって、制御信号が「Ｌｏｗ」の時は補間回路８０４の出力を選択し、制御信号が「Ｈｉｇｈ」の時は補間回路８０４とフィルター回路８０８の出力より加算値を出力する加算回路８０８の出力を選択し、倍速変換回路８１２に出力する。

このようにして補間値選択回路８０９で得られた補間走査線と、実走査線となる入力端子８０１から入力される現フィールドの映像信号は夫々倍速変換部８１０と８１１に入力される。倍速変換部８１０、８１１では通常の速度で書き込まれた走査線の画素データが２倍の速度で読み出される。選択回路８１２は倍速変換部８１０と８１１の出力を１ライン周期で交互に切り換え、順次走査化した映像信号を出力端子８１３より出力する。

中間値選択回路８０６では、図９に示すように現フィールドであるＮフィールドの画素値Ａ，Ｂより補間回路８０４から出力される平均値ａと、フィールドメモリ８０２から出力される（Ｎ−１）フィールドの画素値Ｃ、フィールドメモリ８０３から出力される（Ｎ−２）フィールドの画素値Ｄ、Ｅより補間回路８０５から出力される平均値ｂの３画素値の大小関係が比較（図９点線部）され、補間回路８０５の出力または補間回路８０６の出力が中間値となった場合には、静止部分と判断し、中間値選択回路から「Ｈｉｇｈ」の制御信号を出力する。

フィルター回路８０８はフィールドメモリ８０２から出力される（Ｎ−１）フィールドの映像信号の垂直方向３画素より垂直高域成分を抽出する回路である。図１０（ａ）、（ｂ）は垂直高域フィルターによる解像度向上を示した図であり、図１０（ａ）は１フィールド前の垂直高域成分を加算しない場合、図１０（ｂ）は１フィールド前の垂直高域成分を加算した場合である。図において、白○は輝度レベル２５５の値を持った画素、黒○は輝度レベル０の値を持った画素であり、×部分が補間される画素部分である。

図１０（ａ）のように補間画素×に同一フィールド内の２画素平均値を補間した場合、本来静止画であるため、現フィールドＮに対し１フィールド前の（Ｎ−１）フィールド画素Ａ（黒○：レベル０）を補間画素×に補間すべきであるが、現フィールドの平均値を補間画素とするため、補間画素×はレベル１２８の画素値が補間されることとなり垂直方向にボケた映像となってしまう。

これに対し、中間値選択回路８０６により補間回路８０４、８０５の出力およびフィールドメモリ８０２の出力の３画素を比較し、中間となる画素フィールドを判別すれば、図１０（ｂ）のように（Ｎ−２），Ｎフィールドで補間回路８０４，８０５それぞれで補間した補間画素値が等しくなるため、（Ｎ−１）フィールドの垂直高域成分を加算された加算回路の出力が補間値選択回路８１０から出力されることとなるため、図１０（ｂ）に示すように補間画素×には
（Ａ＋Ｂ）／２＋｛Ｄ／２−（Ｃ＋Ｅ）／４｝
で計算される値が補間され、結局（Ｎ−１）フィールドの画素（黒○：レベル０）と値の等しいレベル０の補間値が補間画素×に補間されるため、図１０（ａ）の場合のような垂直方向にボケることなく補間が行なわれる。このように垂直方向にエッジを持つような部分では、（Ｎ−１）フィールドの垂直高域成分をＮフィールドの画素に加算することとなり垂直解像度の劣化を防ぐことができる。

このように（Ｎ−２）フィールドの同一フィールド内の垂直方向に隣接する２画素平均値、Ｎフィールドの同一フィールド内の垂直方向に隣接する２画素平均値および（Ｎ−１）フィールドの画素値を比較し、（Ｎ−２）フィールドの２画素平均値またはＮフィールドの２画素平均値が中間値となる場合には、現フィールドであるＮフィールド２画素平均値に（Ｎ−１）フィールドの垂直高域成分を加算することで、出力される映像信号がフィールド単位で遅延することがなく、さらに大きな映像破綻なく静止画像の解像度劣化を来たさない良好な画質を得ている。
特開平９−２２４２２３号公報

しかしながら前記のような構成では、現画素および補間画素値を生成するフィールドを現フィールドである（Ｎ＋１）フィールドを用いて行なっているため、フィールド単位での遅延が無く音声信号に対する遅延等も発生しないが、完全な静止画であっても現フィールドおよび１フィールド前の数ラインの信号を用いて補間画素を作成しているため、フリッカが発生する部分が残り、かつボケた映像となってしまうという課題を有していた。

本発明はかかる点に鑑み、フィールド単位の遅延が無く動画／静止画に関わらず良好な画質の走査線補間処理を行うとともに完全な静止画映像の場合は、フリッカの発生しないボケのない映像信号処理装置を提供することを目的とする。

また、請求項２記載の発明は、前記目的に加え、動画検出回路で選択・出力される補間画素値が垂直方向に隣接する上下の現画素値に対し、相関がなく破綻が目立つ映像であることを検出・補正することで、映像が大きく破綻することなく走査線補間を行うことができる映像信号処理装置を提供することを目的とする。

上記の目的を達成するために、本発明は、
連続する（Ｎ−２）、（Ｎ−１）、Ｎフィールドの飛び越し走査の映像信号が入力されたとき、（Ｎ−２）、（Ｎ−１）フィールドの映像信号を夫々記憶する第２、第１のフィールドメモリと、
Ｎフィールドの映像信号から、順次走査におけるＮフィールドの補間走査線を生成する第１の補間手段と、
前記第２のフィールドメモリの出力として得られる（Ｎ−２）フィールドの映像信号から、順次走査の補間画素値を生成する第２の補間手段と、
前記第１の補間手段の出力、前記第１のフィールドメモリの出力、前記第２の補間手段の出力のうち、画素ごとに中間の画素値を有するものを判定し、切り替え制御信号を出力する中間値比較手段と、
前記第１のフィールドメモリから出力される映像信号の垂直高域成分を抽出するフィルター手段と、
前記中間値比較手段が前記第１の補間手段の出力又は前記第２の補間手段の出力を中間の画素値と判定した場合、前記第１の補間手段と前記フィルター手段との加算値を選択して順次走査の補間走査線を生成し、前記中間値比較手段が前記第１のフィールドメモリの出力を中間の画素値と判定した場合、前記第１の補間手段の出力を選択して順次走査の補間走査線を生成する補間値選択手段と、
Ｎフィールドの映像、前記第１のフィールドメモリの出力、前記第２のフィールドメモリの出力に基いて、Ｎフィールドの補間画素部に隣接する上画素及び下画素の部分が静止であることを検出し、切り替え制御信号を出力する静止判別手段と、
前記静止判別手段が静止であることを検出した場合、（Ｎ−１）フィールドの映像信号を選択して順次走査の補間走査線とし、前記静止判別手段が静止であることを検出しない場合、前記補間値選択手段の出力を選択して順次走査の補間走査線とする選択手段と、
を備えたことを特徴とするものである。

また、連続する（Ｎ−２）、（Ｎ−１）、Ｎフィールドの飛び越し走査の映像信号が入力されたとき、（Ｎ−２）、（Ｎ−１）フィールドの映像信号を夫々記憶する第２、第１のフィールドメモリと、
Ｎフィールドの映像信号から、順次走査におけるＮフィールドの補間走査線を生成する第１の補間手段と、
前記第２のフィールドメモリの出力として得られる（Ｎー２）フィールドの映像信号から、順次走査の補間画素値を生成する第２の補間手段と、
前記第１の補間手段の出力、前記第１のフィールドメモリの出力、前記第２の補間手段の
出力のうち、画素ごとに中間の画素値を有するものを判定し、切り替え制御信号を出力する中間値比較手段と、
前記第１のフィールドメモリから出力される映像信号の垂直高域成分を抽出するフィルター手段と、
前記中間値比較手段が前記第１の補間手段の出力又は前記第２の補間手段の出力を中間の画素値と判定した場合、前記第１の補間手段と前記フィルター手段との加算値を選択して順次走査の補間走査線を生成し、前記中間値比較手段が前記第１のフィールドメモリの出力を中間の画素値と判定した場合、前記第１の補間手段の出力を選択して順次走査の補間走査線を生成する補間値選択手段と、
Ｎフィールドの映像、前記第１のフィールドメモリの出力、前記第２のフィールドメモリの出力に基いて、Ｎフィールドの補間画素部に隣接する上画素及び下画素の部分が静止であることを検出し、切り替え制御信号を出力する静止判別手段と、
前記静止判別手段が静止であることを検出した場合、（Ｎ−１）フィールドの映像信号を選択して順次走査の補間走査線とし、前記静止判別手段が静止であることを検出しない場合、前記補間値選択手段の出力を選択して順次走査の補間走査線とする第１の選択手段と、
Ｎフィールドおよび（Ｎ−２）フィールドの所定数の画素平均値より動きを検出し、切り替え制御信号を出力する動き検出手段と、
前記動き検出手段が動きを検出した場合、前記補間値選択手段の出力を選択して順次走査の補間走査線とし、前記動き検出手段が動きを検出しない場合、前記第１の選択手段の出力を選択して順次走査の補間走査線とする第２の選択手段と、
を備えたことを特徴とするものである。

さらに、前記静止判別手段は、
前記Ｎフィールドの補間画素部に隣接する上画素及び下画素に基いてフィールド内のエッジを検出するフィールド内エッジ検出手段と、
前記Ｎフィールドの補間画素部と同一位置にある（Ｎ−１）フィールドの画素と前記Ｎフィールドの補間画素部に隣接する上画素または下画素とに基いてフィールド間のエッジを検出するフィールド間エッジ検出手段と、
前記Ｎフィールドの補間画素部に隣接する上画素と下画素及び前記Ｎフィールドの補間画素部と同一位置にある（Ｎ−２）フィールドの補間画素部に隣接する上画素と下画素に基いてフレーム間の動きを検出するフレーム間差分検出手段と、
を少なくとも備えたことを特徴とするものである。

また、前記静止判別手段は、
前記Ｎフィールドの補間画素部に隣接する上画素と下画素との差分値が所定値以上であり、且つ前記Ｎフィールドの補間画素部に隣接する上画素と前記Ｎフィールドの補間画素部と同一位置にある（Ｎ−２）フィールドの補間画素部に隣接する上画素との差分値が所定値以下であり、且つＮフィールドの補間画素部に隣接する下画素と前記（Ｎ−２）フィールドの補間画素部に隣接する下画素との差分値が所定値以下である場合、
又は前記Ｎフィールドの補間画素部に隣接する上画素と前記（Ｎ−２）フィールドの補間画素部に隣接する上画素との差分値が所定値以下であり、且つ前記Ｎフィールドの補間画素部に隣接する上画素と前記Ｎフィールドの補間画素部と同一位置にある（Ｎ−１）フィールドの画素との差分値が所定値以上の場合、
又は前記Ｎフィールドの補間画素部に隣接する下画素と前記（Ｎ−２）フィールドの補間画素部に隣接する下画素との差分値が所定値以下であり、且つ前記Ｎフィールドの補間画素部に隣接する下画素と前記Ｎフィールドの補間画素部と同一位置にある（Ｎ−１）フィールドの画素との差分値が所定値以上の場合、
に静止と判定することを特徴とするものである。

さらに、前記動き検出手段は、
前記Ｎフィールドの補間画素部の上下に隣接する所定数の画素平均値と前記Ｎフィールドの補間画素部と同一位置にある（Ｎ−２）フィールドの補間画素部の上下に隣接する所定数の画素平均値との差分絶対値が所定値以上の場合に動きを検出したと判断することを特徴とするものである。

本発明は、隣接する３フィールドの画素値を比較した結果、（Ｎ−２）フィールドまたはＮフィールドの画素値が中間となった場合にはＮフィールドの補間画素に（Ｎ−１）フィールドの垂直方向に隣接する画素より生成した垂直高域成分を加算することで、出力される映像信号がフィールド単位で遅延することがなく、大きな映像破綻なく静止画像の解像度劣化を来たさない良好な画質を得ることが可能となり、さらに完全な静止画の場合には、Ｎフィールドの補間画素に（Ｎ−１）フィールドのＮフィールドの補間画素位置の画素値をそのまま補間することで、フリッカが発生せずボケのない画像を実現できる。また、さらに動画検出回路を設けることで動画部分において（Ｎ−１）フィールドの画素そのものを補間した場合に破綻が目立つとき、それを検出しＮフィールドの補間画素に（Ｎ−１）フィールドの垂直方向に隣接する画素より生成した垂直高域成分を加算するためフィールド単位の遅延が無く、さらに動画部分での破綻を防いだ画素補間を実現でき、その実用的効果は大きい。

以下、本発明の実施の形態を、図面を参照して説明する。

（実施の形態１）
本発明の実施の形態１における映像信号処理装置について図１〜４を用い説明する。図１は本発明の実施の形態１の映像信号処理装置のブロック図を示す。

図１に示す映像信号処理装置は、飛び越し走査の映像信号が入力される入力端子１０１と、入力端子１０１に入力された映像信号を１フィールド遅延させる第１のフィールドメモリ１０２と、フィールドメモリ１０２で遅延された映像信号をさらに１フィールド遅延させる第２のフィールドメモリ１０３と、フィールドメモリ１０２に入力（入力端子１０１の入力）される映像信号を用いて、同一フィールド内の２つの画素より補間走査線を生成する第１の補間回路１０４と、第２のフィールドメモリ１０３から出力される映像信号を用いて同一フィールド内の２つの画素より補間走査線を生成する第２の補間回路１０５と、補間回路１０４の出力する映像信号の画素値と、第１のフィールドメモリ１０２から出力される映像信号の画素値と、補間回路１０５の出力する映像信号の画素値を比較し、３つの画素値より中間の画素値となるフィールドを判別する中間値比較回路１０６と、第１のフィールドメモリ１０２から出力される同一フィールド内の３つの画素より垂直高域成分を抽出するフィルター回路１０７と、第１の補間回路１０４の出力とフィルター回路１０７の出力を加算値を出力する加算値回路１０８と、中間値比較回路１０６の制御信号により、第１の補間回路１０４の出力または加算回路１０８の出力のどちらかを選択し出力する補間値選択回路１０９と、入力端子１０１から入力された映像信号より補間画素部分の上下画素値から同一フィールド内のエッジを検出するフィールド内エッジ検出回路１１１と、入力端子１０１から入力された映像信号の補間画素部分の上または下画素値と、第１のフィールドメモリ１０２から出力される映像信号の補間画素部分と同じ位置に相当する画素値よりフィールド間のエッジを検出するフィールド間エッジ検出回路（上）１１２およびフィールド間エッジ検出回路（下）１１４と、入力端子１０１から入力された映像信号の補間画素部分の上または下画素値と、第２のフィールドメモリから出力される映像信号よりフレーム間の差分を検出するフレーム間差分検出回路（上）１１３およびフレーム間差分検出回路（下）１１５と、それぞれからの差分検出結果を演算するＡＮＤ回路１１６〜１１９と、ＯＲ回路１２０，１２１と、ＯＲ回路１２１からの制御信号によって、第１のフィールドメモリ１０２から出力された映像信号または補間値選択回路１０９のどちらかを選択し出力する選択回路１２２と、入力された映像信号を記憶し、読み出し時に映像信号の水平走査期間を１／２に圧縮して倍レートで記憶内容を出力する倍速変換部１２４、１２５と、倍速変換部１２４、１２５の出力を１ライン周期毎に切り替えて出力する選択回路１２６と、順次走査の映像信号を出力する出力端子１２７とから構成されている。

次に、以上のように構成された、実施の形態１の映像信号処理装置の動作を説明する。

図１において、入力端子１０１に飛び越し走査の映像信号が入力されると、フィールドメモリ１０２、１０３によって夫々１フィールド期間映像が遅延される。そしてフィールドメモリ１０３から２フィールド即ち１フレーム期間遅延された映像信号が出力される。入力端子１０１から入力される映像信号およびフィールドメモリ１０３のから出力される映像信号は補間回路１０４および補間回路１０５に入力され、ここでそれぞれの同一フィールド内の画素より補間処理が行われ、補間走査線が生成される。

この補間回路１０４、１０５の出力およびフィールドメモリ１０２から出力される映像信号が中間値比較回路１０６に入力され、この３つの画素値より中間値となる画素フィールドを判別する。

そして判別の結果、補間回路１０４の出力または補間回路１０５の出力が中央値となった場合は、静止信号として中間値比較回路１０６から「Ｈｉｇｈ」の制御信号を出力し、フィールドメモリ１０２から出力される映像信号が中間値となった場合は、中間値比較回路１０６から「Ｌｏｗ」の制御信号を出力する。補間値選択回路１０９は、中間値比較回路１０６の制御信号によって、制御信号が「Ｌｏｗ」の時は補間回路１０４の出力を選択し、制御信号が「Ｈｉｇｈ」の時は補間回路１０４とフィルター回路１０８の出力より加算値を出力する加算回路１０８の出力を選択し、選択回路１２２に出力する。この補間値選択回路１０９から出力される映像信号は、静止画映像であっても、補間画素部の上下画素平均値にフィルター回路１０８で作成された（Ｎ−１）フィールドの映像信号の垂直方向３画素より垂直高域成分を加算したものであるため、完全な静止映像とはならない。そこで、さらに補間値選択回路１０９から出力された補間画素値を選択回路１２２に入力し、静止画であった場合は、Ｎフィールドの補間画素部分と同一位置にある（Ｎ−１）フィールドの映像信号が選択回路１２２から倍速変換回路１２５に出力される。

このようにして選択回路１２２で得られた補間走査線と、実走査線となる入力端子１０１から入力される現フィールドの映像信号は夫々倍速変換部１２４と１２５に入力される。倍速変換部１２４、１２５では通常の速度で書き込まれた走査線の画素データが２倍の速度で読み出される。選択回路１２６は倍速変換部１２４と１２５の出力を１ライン周期で交互に切り換え、順次走査化した映像信号を出力端子１２７より出力する。

これにより、完全な静止画映像時は、フィールド間のはめ込みが行なわれるためフリッカが発生せず、かつ解像度ボケのない映像が得られる。

静止画の判別は静止部検出回路１２２で行なわれ、具体的にはＮフィールドの映像の補間される画素の上下の画素の差分値が所定値以上でかつＮフィールドおよび（Ｎ−２）フィールドのＮフィールドの映像の補間される画素の上下画素の差分値が所定値以下の場合、またはＮフィールドの映像の補間される画素の上画素のＮフィールドおよび（Ｎ−２）フィールドの差分値が所定値以下でかつＮフィールドの映像の補間される画素の上画素とＮ−１）フィールドのＮフィールドの映像の補間される画素と同一位置にある画素の差分値が所定値以上の場合、またはＮフィールドの映像の補間される画素の下画素のＮフィールドおよび（Ｎ−２）フィールドの差分値が所定値以下でかつＮフィールドの映像の補間される画素の下画素と（Ｎ−１）フィールドのＮフィールドの映像の補間される画素と同一位置にある画素の差分値が所定値以上の場合に静止画像と判断し、選択回路１２２から（Ｎ−１）フィールドの映像信号が選択されて出力するよう制御信号を出力する。

それぞれの検出回路で検出する場所を図２に示す。図２において、×印の場所が補間画素部分、画素ＡおよびＢが現フィールドであるＮフィールドの映像を、画素Ｃが（Ｎ−１）フィールドの映像を、画素Ｄおよび画素Ｅが（Ｎ−２）フィールドの映像を示している。

まずフィールド内のエッジ検出について説明する。フィールド内エッジ検出回路１１１では、図２の画素Ａと画素Ｂの差分値（エッジＣ）が所定値より大きい場合にエッジと判断し、Ｈｉｇｈの制御信号を出力する。さらにこのままでは動画時でもエッジと判断されてしまうため、図２の画素Ａと画素Ｄの差分値（差分Ａ）が所定値より小さくかつ画素Ｂと画素Ｅの差分値（差分Ｂ）が所定値より小さい場合、補間画素×上下部分のフレーム間で同じ映像であると判断させる。このため、フレーム間差分検出（上）１１３およびフレーム間差分検出（下）１１５では、ＮフィールドとＮ−２フィールドの画素の差分値が所定の値以下の場合にＨｉｇｈの制御信号を出力するように構成している。これら検出回路からの制御信号をＡＮＤ回路１１６および１１７でＡＮＤし、フィールド内のエッジ検出結果としている。

フィールド間エッジ検出は、補間画素×に対し上側と下側についての差分値が所定値より大きい場合にエッジと判断し、Ｈｉｇｈの制御信号を出力する。上側については図２の画素Ａと画素Ｃの差分値（エッジＡ）を、下側については図２の画素Ｂと画素Ｃの差分値（エッジＢ）をそれぞれ所定値より大きいか判断している。フィールド内エッジ検出と同様、フィールド間の差分値だけでは動画時でもエッジと判断されてしまうため、上側については図２の画素Ａと画素Ｄの差分値（差分Ａ）が所定値より小さい場合を、下側については図２の画素Ｂと画素Ｅの差分値（差分Ｂ）が所定値より小さい場合を条件とするため、ＡＮＤ回路１１８，１１９でそれぞれのフィールド間エッジ検出結果をＡＮＤしている。

これらフィールド内エッジ検出結果およびフィールド間エッジ検出結果をＯＲ回路１２０、１２１でＯＲし、このＯＲされた検出結果がＨｉｇｈであれば静止と判断される。

フィールド内エッジ検出回路１１１、フィールド間エッジ検出回路１１２および１１４、フレーム間差分検出回路１１３、１１５は例えば図３に示すような構成となっており、２つの画素値を減算回路３００にて減算することで差分値を求め、それを絶対値回路３０１で正数に変換し、その正数を比較回路３０２で所定係数と比較し、制御信号を出力する構成となっている。なお、比較回路３０２はフレーム間差分検出回路１１３、１１５の場合は、絶対値回路３０１からの出力が所定係数値以下の場合にＨｉｇｈを出力し、フィールド内エッジ検出回路１１１、フィールド間エッジ検出回路１１２および１１４は絶対値回路３０１からの出力が所定系数値以上の場合にＨＩｇｈを出力するよう構成される。

図４は、静止画時のフィールド内エッジ検出およびフィールド間エッジ検出の動作を示すための図であり、フレーム差分値（図２の画素Ａと画素Ｄの差分および画素Ｂと画素Ｅの差分）は所定値以下とし図を省略している。また、図４の例の場合、差分値が３０以上の場合をエッジと判断するものとする。

図４（ａ）の場合、画素Ａと画素Ｂは、画素値が２００、画素Ｃは画素値が０となっている。この場合、フィールド内の差分は０、フィールド間の差分は上・下側とも２００となるため、エッジと判断される。図４（ｂ）の場合は、画素Ａと画素Ｃの画素値が２００、画素Ｂは画素値０となっている。この場合、フィールド内の差分とフィールド間の下側差分がともに２００となるため、エッジと判断される。図４（ｃ）の場合も、画素Ａと画素Ｂの値が逆になっているだけのため、フィールド内の差分とフィールド間の下側差分がともに２００となるため、エッジと判断される。図４（ｄ）の場合は、画素Ａの画素値が２００、画素Ｂの画素値が１８０、画素Ｃは画素値が２２０となっており、フィールド内差分は２０、フィールド間の差分は上側が２０、下側が４０となるため、所定係数が３０の場合、フィールド内エッジおよびフィールド間の上側エッジは、エッジなしと判断されるが、フィールド間の下側エッジは所定係数３０より大きな値であるためエッジと検出される。図４（ｅ）の場合も、図４（ｄ）と同様にフィールド間の上側エッジが所定係数３０よりも大きな値であるためエッジと検出される。

このように、フィールド内差分とフィールド間差分の上側および下側でエッジ検出を行なうことで、補間画素部分のエッジを検出することができ、このエッジが検出された場合に補間画素部分×に画素Ｃを補間することで、正確に映像が再現でき、フリッカが発生せずかつ解像度ボケのない補間が実現できる。

以上のように、実施の形態１によれば、Ｎフィールドの映像信号の補間画素値の垂直方向上下に位置する２つの画素値よりフィールド内のエッジを検出し、かつＮフィールドの補間画素部と同一位置にある（Ｎ−１）フィールドの映像とＮフィールドの補間画素部の上または下の画素よりフィールド間のエッジを検出することで、出力される映像信号がフィールド単位で遅延することがなく、さらに静止画像の解像度劣化およびフリッカ発生を来たさない良好な画質を得ることが可能となる。

（実施の形態２）
次に実施の形態２における映像信号処理装置について、図５〜７を用い説明する。図５は実施の形態２の映像信号処理装置のブロック図を示したもので、図１に示した実施の形態１の各部に対応する部分には同一符号を付し、その説明を省略する。

図５において、５０１はＮフィールドの映像信号より補間画素の垂直方向に隣接する所定画素からその平均レベルを出力する平均値出力回路、５０２は、（Ｎ−２）フィールドの映像信号より垂直方向に隣接する所定画素からその平均レベルを出力する平均値出力回路、５０３は平均値出力回路５０１および５０２を減算し、その絶対値を出力する絶対値出力回路、５０４は絶対値回路５０３から出力と所定値を比較し、切り替え制御信号を出力する比較回路、５０５は比較回路５０４の制御信号により静止部の検出結果に基づいて選択回路１２２から出力される補間信号と、中間値補間回路１１０から出力される補間信号を切り替える選択回路である。

以上のような構成を有する、本発明の実施の形態２による映像信号処理装置について、以下その動作を説明する。

平均値出力回路５０１には、入力端子１０１から入力されたＮフィールドの映像信号が入力される。平均値出力回路５０１では、補間画素部分の垂直方向に隣接するラインの所定画素からその平均画素値を計算し、絶対値出力回路５０３に出力する。平均値出力回路５０２では、平均値出力回路５０１と同様（Ｎ−２）フィールドの垂直方向に隣接するラインの所定画素からその平均値を計算し、絶対値出力回路５０３に出力する。絶対値出力回路５０３では、平均値出力回路５０１および５０２から出力されたＮフィールドおよび（Ｎ−２）フィールドの画素平均値を減算し、その絶対値を比較回路５０４に出力する。比較回路５０４では、所定の比較値と絶対値回路５０４の出力を比較し、所定の比較値より絶対値回路５０４の出力が大きい場合にＨｉｇｈの制御信号を選択回路５０５に出力する。選択回路５０５では、比較回路５０５からの制御信号がＨｉｇｈの場合には、中間値補間回路１１０から出力される補間信号を選択し、Ｌｏｗの場合には静止部検出回路１２２の制御信号によって補間信号を選択する選択回路１２３からの補間信号を選択し、倍速変換回路１２５に出力する。

図６、７は、本構成の効果を説明するための１例を示した図である。図６の点線で示した場所が動き部分であった場合、静止部検出回路１２２では、実施の形態１で説明したように図２の各部分のフィールド内エッジ、フィールド間エッジおよびフレーム間差分を計算する。図６の場合、フィールド内エッジ検出およびフィールド間エッジ検出の下側は、画素Ｂと画素Ｄの差分が発生するため、動き部分と判断されるが、点線で囲まれた部分以外は静止画の為、フィールド間エッジ検出の上側は画素Ａと画素Ｄの差分値は０となり、かつ画素Ａと画素Ｃでは差分が発生し、エッジと判断される。そのため、静止部検出回路１２２では、補間画素部分は静止部分と判断し、静止であるＨｉｇｈの制御信号を選択回路５０５に出力する。このため、本来補間画素部分は動画であるにも関わらず、補間画素部分に画素Ｃが補間されてしまい映像が破綻してしまうことになる。

しかし、図７の点線部分で示すように平均値出力回路５０１および５０２で例えば補間画素部分に隣接する６画素の平均画素値を計算し、その差分絶対値を比較回路５０４で所定の比較値と比較することで、比較回路５０４からは動き部分であるＨｉｇｈの制御信号が出力されるため、選択回路１２３から静止である補間信号が出力されても選択回路５０５からは、中間値補間回路１１０で作成された補間信号を選択して出力するため、大きな映像破綻を起こすことは無くなる。

以上のように、本実施の形態によれば、補間画素部分の垂直方向に隣接するラインの所定画素の平均値を比較することで、本来補間画素部分を動画処理する必要があるときに、静止部検出回路で静止と判断し、静止用の補間画素を選択した場合でも、動き検出部で動きと検出され、中間値補間回路からの補間信号を選択するため、フィールド単位の遅延が無く、さらに動画部分での破綻を防いだ画素補間を実現でき、さらに良好な映像を得ることが可能となる。

本発明にかかる映像信号処理装置は、隣接する３フィールドの画素値を比較した結果、（Ｎ−２）フィールドまたはＮフィールドの画素値が中間となった場合にはＮフィールドの補間画素に（Ｎ−１）フィールドの垂直方向に隣接する画素より生成した垂直高域成分を加算することで、出力される映像信号がフィールド単位で遅延することがなく、大きな映像破綻なく静止画像の解像度劣化を来たさない良好な画質を得ることが可能となり、さらに完全な静止画の場合には、Ｎフィールドの補間画素に（Ｎ−１）フィールドのＮフィールドの補間画素位置の画素値をそのまま補間することで、フリッカが発生せずボケのない画像を実現できる。また、さらに動画検出回路を設けることで動画部分において（Ｎ−１）フィールドの画素そのものを補間した場合に破綻が目立つとき、それを検出しＮフィールドの補間画素に（Ｎ−１）フィールドの垂直方向に隣接する画素より生成した垂直高域成分を加算するためフィールド単位の遅延が無く、さらに動画部分での破綻を防いだ画素補間を実現できる効果を有し、映像と音声を管理・編集する業務用途使用など映像のフィールド単位遅延が問題となる用途への使用として有用である。

本発明の実施の形態１における映像信号処理装置のブロック図 本発明の実施の形態１における映像信号処理装置の静止判断を行なう部分を示した画素配置図 本発明の実施の形態１における映像信号処理装置の差分およびエッジ検出部の１構成例を示した図 本発明の実施の形態１における映像信号処理装置のエッジ検出の動作を示した画素配置図 本発明の実施の形態２における映像信号処理装置のブロック図 本発明の実施の形態２における映像信号処理装置の画素配置図 本発明の実施の形態２における映像信号処理装置の平均値を求める部分を示した画素配置図 従来の映像信号処理装置の構成例を示すブロック図 従来の映像信号処理装置の中間値比較回路で比較される部分を示した画素配置図 従来の映像信号処理装置の補間値選択回路の動作を説明した画素配置図

符号の説明

１０１，８０１ 入力端子
１０２，１０３，８０２，８０３ フィールドメモリ
１０４，１０５、８０４、８０５ 補間回路
１０６、８０６ 中間値比較回路
１０７、８０７ フィルター回路
１０８、８０８ 加算回路
１０９，８０９ 補間値選択回路
１２４，１２５，８１０，８１１ 倍速変換部
１２３、１２６，５０５、８１２ 選択回路
１２７，８１３ 出力端子
５０１、５０２ 平均値出力回路
５０３ 絶対値出力回路
５０４ 比較回路

Claims (5)

1. 連続する（Ｎ−２）、（Ｎ−１）、Ｎフィールドの飛び越し走査の映像信号が入力されたとき、（Ｎ−２）、（Ｎ−１）フィールドの映像信号を夫々記憶する第２、第１のフィールドメモリと、
   Ｎフィールドの映像信号から、順次走査におけるＮフィールドの補間走査線を生成する第１の補間手段と、
   前記第２のフィールドメモリの出力として得られる（Ｎ−２）フィールドの映像信号から、順次走査の補間画素値を生成する第２の補間手段と、
   前記第１の補間手段の出力、前記第１のフィールドメモリの出力、前記第２の補間手段の出力のうち、画素ごとに中間の画素値を有するものを判定し、切り替え制御信号を出力する中間値比較手段と、
   前記第１のフィールドメモリから出力される映像信号の垂直高域成分を抽出するフィルター手段と、
   前記中間値比較手段が前記第１の補間手段の出力又は前記第２の補間手段の出力を中間の画素値と判定した場合、前記第１の補間手段と前記フィルター手段との加算値を選択して順次走査の補間走査線を生成し、前記中間値比較手段が前記第１のフィールドメモリの出力を中間の画素値と判定した場合、前記第１の補間手段の出力を選択して順次走査の補間走査線を生成する補間値選択手段と、
   Ｎフィールドの映像、前記第１のフィールドメモリの出力、前記第２のフィールドメモリの出力に基いて、Ｎフィールドの補間画素部に隣接する上画素及び下画素の部分が静止であることを検出し、切り替え制御信号を出力する静止判別手段と、
   前記静止判別手段が静止であることを検出した場合、（Ｎ−１）フィールドの映像信号を選択して順次走査の補間走査線とし、前記静止判別手段が静止であることを検出しない場合、前記補間値選択手段の出力を選択して順次走査の補間走査線とする選択手段と、
   を備えたことを特徴とする映像信号処理装置。
2. 連続する（Ｎ−２）、（Ｎ−１）、Ｎフィールドの飛び越し走査の映像信号が入力されたとき、（Ｎ−２）、（Ｎ−１）フィールドの映像信号を夫々記憶する第２、第１のフィールドメモリと、
   Ｎフィールドの映像信号から、順次走査におけるＮフィールドの補間走査線を生成する第１の補間手段と、
   前記第２のフィールドメモリの出力として得られる（Ｎー２）フィールドの映像信号から、順次走査の補間画素値を生成する第２の補間手段と、
   前記第１の補間手段の出力、前記第１のフィールドメモリの出力、前記第２の補間手段の
   出力のうち、画素ごとに中間の画素値を有するものを判定し、切り替え制御信号を出力する中間値比較手段と、
   前記第１のフィールドメモリから出力される映像信号の垂直高域成分を抽出するフィルター手段と、
   前記中間値比較手段が前記第１の補間手段の出力又は前記第２の補間手段の出力を中間の画素値と判定した場合、前記第１の補間手段と前記フィルター手段との加算値を選択して順次走査の補間走査線を生成し、前記中間値比較手段が前記第１のフィールドメモリの出力を中間の画素値と判定した場合、前記第１の補間手段の出力を選択して順次走査の補間走査線を生成する補間値選択手段と、
   Ｎフィールドの映像、前記第１のフィールドメモリの出力、前記第２のフィールドメモリの出力に基いて、Ｎフィールドの補間画素部に隣接する上画素及び下画素の部分が静止であることを検出し、切り替え制御信号を出力する静止判別手段と、
   前記静止判別手段が静止であることを検出した場合、（Ｎ−１）フィールドの映像信号を選択して順次走査の補間走査線とし、前記静止判別手段が静止であることを検出しない場合、前記補間値選択手段の出力を選択して順次走査の補間走査線とする第１の選択手段と、
   Ｎフィールドおよび（Ｎ−２）フィールドの所定数の画素平均値より動きを検出し、切り替え制御信号を出力する動き検出手段と、
   前記動き検出手段が動きを検出した場合、前記補間値選択手段の出力を選択して順次走査の補間走査線とし、前記動き検出手段が動きを検出しない場合、前記第１の選択手段の出力を選択して順次走査の補間走査線とする第２の選択手段と、
   を備えたことを特徴とする映像信号処理装置。
3. 前記静止判別手段は、
   前記Ｎフィールドの補間画素部に隣接する上画素及び下画素に基いてフィールド内のエッジを検出するフィールド内エッジ検出手段と、
   前記Ｎフィールドの補間画素部と同一位置にある（Ｎ−１）フィールドの画素と前記Ｎフィールドの補間画素部に隣接する上画素または下画素とに基いてフィールド間のエッジを検出するフィールド間エッジ検出手段と、
   前記Ｎフィールドの補間画素部に隣接する上画素と下画素及び前記Ｎフィールドの補間画素部と同一位置にある（Ｎ−２）フィールドの補間画素部に隣接する上画素と下画素に基いてフレーム間の動きを検出するフレーム間差分検出手段と、
   を少なくとも備えたことを特徴とする請求項１または請求項２に記載の映像信号処理装置。
4. 前記静止判別手段は、
   前記Ｎフィールドの補間画素部に隣接する上画素と下画素との差分値が所定値以上であり、且つ前記Ｎフィールドの補間画素部に隣接する上画素と前記Ｎフィールドの補間画素部と同一位置にある（Ｎ−２）フィールドの補間画素部に隣接する上画素との差分値が所定値以下であり、且つＮフィールドの補間画素部に隣接する下画素と前記（Ｎ−２）フィールドの補間画素部に隣接する下画素との差分値が所定値以下である場合、
   又は前記Ｎフィールドの補間画素部に隣接する上画素と前記（Ｎ−２）フィールドの補間画素部に隣接する上画素との差分値が所定値以下であり、且つ前記Ｎフィールドの補間画素部に隣接する上画素と前記Ｎフィールドの補間画素部と同一位置にある（Ｎ−１）フィールドの画素との差分値が所定値以上の場合、
   又は前記Ｎフィールドの補間画素部に隣接する下画素と前記（Ｎ−２）フィールドの補間画素部に隣接する下画素との差分値が所定値以下であり、且つ前記Ｎフィールドの補間画素部に隣接する下画素と前記Ｎフィールドの補間画素部と同一位置にある（Ｎ−１）フィールドの画素との差分値が所定値以上の場合、
   に静止と判定することを特徴とする請求項１または請求項２に記載の映像信号処理装置。
5. 前記動き検出手段は、
   前記Ｎフィールドの補間画素部の上下に隣接する所定数の画素平均値と前記Ｎフィールドの補間画素部と同一位置にある（Ｎ−２）フィールドの補間画素部の上下に隣接する所定数の画素平均値との差分絶対値が所定値以上の場合に動きを検出したと判断することを特徴とする請求項２に記載の映像信号処理装置。

Images