JPS6086987A - 適応型時空間補間フイルタ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 技術分野 本発明は、時間フィルタおよび空間フィルタよシなシ、
例えばインタレース走査を順次走査に変換するなど信号
の構成を変換して補間する時空間補間フィルタの通過特
性を、入力画像信号が表わす画像の動き量に適応して制
御する適応型時空間補間フィルタに関し、特に、従来よ
シ行なわれている入力画像信号のフレーム間差信号の大
きさに応じて形成した制御信号の他に画像の水平−垂直
エツジ部分の大きさに応じて形成した制御信号にもよっ
て通過特性を制御して、画像信号に混入したノイズ、特
に、いわゆるラインノイズに基づく誤動作を防止し、安
定に動作し得るようにするとともに、エツジ部の画質を
向上させるようにしたものである。

従来技術 従来のこの種適応型時空間補間フィルタ、特に、２：１
インタ一レース画像信号を線順次走査画像信号に変換す
る際に画像信号の補間に使用する適応型時空間補間フィ
ルタは、本発明者らの提案に係るｌ！！ｉ願昭５７−８
８０１８号および特願昭　５７−１５５７８８号明細書
に記載のとおシに、第１図に示すように構成しである。

すなわち、入力２：１インタ一レース走査画像信号をフ
ィールドメモリ１−１．１−２の縦続接続に供給して得
た２フイールド遅延すなわち１フレーム遅延の画像信号
と非遅延の入力画像信号とについて、フレーム間和信号
を加算器３により形成するとともにフレーム間差信号を
減算器４によシ形成する。ついで、加算器８からのフレ
ーム間和信号を垂直高域フィルタ５に供給するとともに
、フィールドメモリ１−１゜１−２の中間接続点からの
１フイールド遅延画像信号を垂直低域フィルタ６に供給
し、後述するようにしてそれぞれの通過特性を制御した
フィルタ５．６の出力信号を加算器８によシ合成した高
域および低域の垂直空間周波数成分１□　を前述した１
フイールド遅延画像信号土、に加算して得た補間済み変
換出力の線順次走査画像信号を取、出す。

−万、減算器４からのフレーム間差信号αを適応制御部
７に供給し、本来画像の動き量に応じて大きさが変化す
るフレーム間差信号αによシ入力画像信号の動き画像領
域と静止画像領域との判定を行なうとともに、その判定
結果により、上述した高域および低域の垂直空間フィル
タ５および６の通過特性を画像の動き量に応じて適応制
御している。

上述した構成による従来の適応型時空間補間フィルタの
特性と２＝１インタ一レース走査画像信号のスペクトル
との関係は第２図に示すようになっている。図において
、ｋｏ、　ｋ□、　ｋ、　、　ｋ８およびに、は、静止
画像に対応する垂直空間周波数特性が最も広く、かつ、
時間周波数特性が一定の特性ｋｏから動き童が大きい動
き画像に対応する時間周波数特性が最も広く、かつ、垂
直空間周波数特性が一定の％性に、まで順次に変化する
時空間フィルタ特性を表わし、また、座標原点に生ずる
画像信号スペクトルＡに対して、走査によって生ずる折
返し成分スペクトルＥは、２：１インタ一レース走査画
像信号に特有のスペクトルであシ・変換出力線順次走査
画像信号のスペクトルは、この折返し成分スペクトルＥ
を除いたものとなる。すなわち、かかる順次の通過特性
ｋ。−に、をそれぞれ呈する時空間補間フィルタは、い
ずれも、順次走査への変換に必要で、かつ、折返し成分
スペクトルＥの除去に適合した通過特性の低域フィルタ
をなしている。

まず、静止画像領域に対応する通過特性ｋ。によっては
垂直解像度の劣化は生じないが、例えば第３図（ａ）に
示すような縦線をなす画像が水平方向に動いたときには
同図中）に示すような二重像妨害と称する動きに基づく
画像エツジ部のぼけが生ずる。

したがって、動き画像領域に対しては、第４図に示すよ
うに段階的に変化する順次の通過特性ｋ。

〜に８とすることによシ、入力画像信号のフレーム間差
信号の大きさに応じて順次にフィルタ通過特性を変化さ
せ、もって、フィールド内袖間特性の比重が相対的に増
大していくようにする。しかしながら、従来のこの種適
応型時空間補間フ゛イルタにおいては、入力画像信号が
表わす画像が動き画像であるか静止画像であるかの判定
およびフィルタ通過特性を変化させる制御信号の形成を
入力画像信号のフレーム間差信号の大きさのみに基づい
て行なっているので、画像信号伝送路その他において画
像信号に混入する各種のノイズに基づいて生ずる偽フレ
ーム間差信号を誤って制御信号の形成に用いることによ
る誤動作を惹起する危険性が甚だ大きい、という欠点が
あった。

特に、つぎに述べるラインノイズと称する特殊なノイズ
が発生して混入した場合には、変換出力再生画像に顕著
な妨害画像となって表われるので、再生画質が著しく劣
化する欠点があった。すなわち、第５図（Ｆ３）に示す
ような横線を表わす静止画像の上下端いずれかの走査線
に近接してライン状のノイズが発生した場合には、本来
の静止画像ではフレーム間差信号が生じないのであるか
ら、フィルタ通過特性はｋ。となり、垂直解像度に劣化
が生じない落着いた画像となるべきであるのに反し、図
示のようなライン状のノイズの存在に起因して偽のフレ
ーム間差信号が形成され、その大きさに応じ、ｋ工〜に
８のうちいずれかのフィルタ通過特性を呈するような制
御が行なわれるので、垂直空間周波数領域に制限が加わ
υ、第５図中）に示すような垂直方向の過渡的な変化成
分が現われ、その変化成分がライン状ノイズの発生の態
様に応じて変化するので、著しいａｌ實劣化を生ずる。

発明の要点 本発明の目的は、上述した従来の欠点を除去し、従来よ
シ行々われている入力画像信号のフレーム間差信号の大
きさに応じたフィルタ通過特性の制御の他に、入力画像
信号が表わす画像の水平・垂直のエツジ部分に対応する
画像信号成分の大きさに応じたフィルタ通過特性の制御
を行ない、画像信号に混入したラインノイズ等のノイズ
に基づく誤動作を防止して安定に動作するとともに、エ
ツジ部の画質を向上させるようにした適応型時空間補間
フィルタを提供することにある。

すなわち、本発明適応型時空間補間フィルタは、時間フ
ィルタおよび垂直空間フィルタよりなって信号の構成を
走査変換した画像信号を得る時空間補間フィルタの通過
特性を入力画像信号が表わす画像の動き童に適応して制
御する適応型時空間補間フィルタにおいて、前記入力画
像信号のフレーム間差信号の大きさに応じて前記通過特
性を制御する第１の適応制御回路とともに、前記入力画
像信号が表わす画像の水平および垂直のエツジ部の少な
くとも一万を検出し比検出出力の大きさに応じて前記通
過特性を制御する第２の適応制御回路を備えたことを特
徴とするものである。

実施例 以下に図面を参照して実施例につき本発明の詳細な説明
する。

まず、本発明適応型時空間補間フィルタの原理的構成を
第６図に示す。図示の構成においては、順次に縦続接続
した複数個のフィールドメモリ１−１　、１−２　、１
−３　、・・・・・にインタレース走査画像信号を供給
し、それらのフィールドメモリの各入出力画像信号、す
なわち、入力画像信号および順次に１フィールド期間ず
つ遅延した画像信号を信号処理回路１０並びに２種類の
補間処理回路１１および１２に並列に供給する。その信
号処理回路１０においては、かかる順次遅延の画像信号
を処理して、フレーム間差信号０、水平高域成分からな
る水平エツジ信号ｐおよび垂直高域成分からなる垂直エ
ツジ信号ｑを形成し、制御信号として補間処理回路１１
のみに供給する。−万、補間処理回路１１．１２は、い
ずれも、一般にはラインメモリあるいはサンプルメモリ
からなる信号演算回路を構成しておシ、そのうち、補間
処理回路１２においては順次遅延の入力画像信号に対し
て固定の演算処理を施し、また、補間処理回路１１にお
いては、上述した各制御信号０＊　ｐ＋　Ｑの制御のも
とに、入力画像信号が表わす画像の動き量に応じた適応
制御のための可変の演算処理を順次遅延の入力画像信号
に施し、それらの補間処理回路１１および１２の処理出
力信号ｒおよびＳを力ｎ算器１３によシ加算合成して得
た変換出力信号Ｃを順次走査画像信号の形態にて取出す
。

つぎに、上述した原理的構成による本発明適応型時空間
補間フィルタの基本的動作乃至作用について説明する。

一般に、画像の基本的構成は、第７図（ａ）　＊　（ｂ
ｌ　＋（Ｃ）にそれぞれ示すような縦線、斜線、横線か
らなっているとみなすことができる。そのうち、同図（
ａ）に示す縦線を表わす画像信号は垂直高域成分を有し
ていないので、時空間補間フィルタの通過特性は・動き
画像・静止画像いずれの領域においてもフィールド内の
みの補間特性に、とすることができる。−万、同図（０
）に示す横線を表わす画像信号は水平方向の変化がない
ので、時空間補間フイ性ｋ。とじた場合においても、水
平方向の画像の移動に対して第８図中）に示したような
二重体妨害は生じない。したがって、横線画像に対して
は、動き画像・静止画像いずれの領域においてもフィー
ルド間の補間特性ｋ。に固定することができる。

さらに、同図中）に示す斜線を表わす画像信号は第５図
（ａ）に示したライン状ノイズに対して大きい画質劣化
を来たさないので、画像の動き量の如何に拘らず、斜線
画像のエツジ部に対応した画像信号の大きさに応じ、フ
ィルタ通過特性をに工〜に８のいずれかに選定すること
ができる。なお、その場合には垂直解像度の多少の低下
を伴うことになる。

また、水平方向エツジ部に対する検出出力信号が太きい
ときには斜線画像の動きによる二重体妨害が大きくなる
ので、フィルタ通過特性をフィールド内補間特性に近い
ものとする。さらに、横線画像が垂直方向に移動するよ
うな場合には、垂直方向の高域成分が大きい画像信号と
なり、かかる画像信号のスペクトルは第２図において斜
線陰影金施して示した領域に分布するのであるから、伝
送することが不可能となる。したがって、変換画像信号
伝送系における送信側に設置する前置フィルタにより動
き画像領域における垂直方向の高域成分は除去されるの
であるから、受信側に設ける補間フィルタの通過特性に
は再生画像の画質が依存しなくなり、横線画像の垂直方
向への移動によっては受信側補間フィルタの通過特性に
基づく画質劣化は生じないことになる。なお、フレーム
間差信号の検出回路は、画像の動きによって生ずる本来
のフレーム間差信号の有無を判定し得れば足りるのであ
るから、フレーム間差信号がない場合にはその受信側補
間フィルタの通過特性をフィールド間補間特性ｋ。とす
ることができる。

つぎに、上述した構成原理に基づく本発明適応型時空間
補間フィルタの具体的な詳細構成の例を第８図に示す。

図示の構成例においては、２個縦続接続したフィールド
メモリ１−１．１−２に入力２：１インタ一レース走査
画像信号を供給し、第１図示の従来構成におけると同様
に、縦続接続の入出力端からそれぞれ得た非遅延の入力
画像信号と２フイールド遅延すなわちｌフレーム、遅延
の画像信号とについて、フレーム間和信号ａを加算器３
により形成するとともに、フレーム間差信号を減算器４
によシ形成する。ついで、加算器８からのフレーム間和
信号を係数器１８および１９に供給して係数１−におよ
びｂをそれぞれ乗算するとともに、フィールドメモリｉ
−１，１−２の中間接続点からの１フイールド遅延画像
信号をラインメモリからなる垂直低域フィルタ］４１に
供給して得た１フイールド遅延の垂直低域成分信号すを
係数器ｚＧおよび２１に供給して係数１−１およびｋｉ
それぞれ乗算する。これらの係数器１８〜２１の谷係数
値は後述するようにして水平φ垂直のエツジ信号の大き
さに応じて変化するが、対の係数ｌとＩＪおよびｋと１
−には相補的に変化するので、各係数器１８〜２１の出
力を加算器２２により加算合成すると垂直低域成分信号
すにフレーム間和信号ａを加算したほぼ２倍の画像信号
振幅となるので、−乗算器２８を介して取出した合成信
号Ｃは、第６図示の原理的構成における補間処理回路１
１の出力信号ｒに相当したものとなる。−万、補間処理
回路１２の出力信号Ｓは、第８図示の構成例におけるフ
ィールドメモり１−１．１−２の中間接続点からの１フ
ィールド遅延信号に相当するので、このｌフィールド遅
延信号と上述した合成信号０とを加算器２４によシ加算
合成する。と変換出力の順次走査画像信号が得られる。

さて、上述した１フィールド遅延信号を並列に供給しで
ある水平高域フィルター５および垂直高域フィルター６
は、それぞれ、画像信号中の水平エツジ信号および垂直
エツジ信号を抽出し、それらのエツジ信号の大きさに応
じて係数器１８〜２１の係数値を制御して変化させる。

すなわち、エツジ信号が大きいほど係数に、ｌの値を、
正規化したθ〜１の範囲内で大きく設定する。

−万、減算器４からのフレーム間差信号をフレーム間差
信号処理回路１７に供給し、例えば所定の閾値と比較す
るなどして有意のフレーム間差信号の有無に応じて１．
０と変化する制御信号χを形成し、水平高域フィルタ１
５からの水平エツジ信号とレベル″θパの信号との切換
えを行なうスイッチＳＷ□および垂直高域フィルタ１６
からの垂直エツジ信号とレベル″ｌ”の信号との切換え
を行なうスイッチＳＷ、をそれぞれ制御する。すなわち
、有意のフレーム間差信号有シとした場合には、双方の
スイッチｓｗ、　、　ｓｗ、を（］）側に倒して正規化
した水平および垂直のエツジ信号を出刃し）有意のフレ
ーム間差信号なしとした場合にはに−０゜Ｊ＝１！それ
ぞれの出力とする。しかして、係数器１８．１９の入力
信号ａ、係数器１１１．２０の入力信号すおよびそれら
の係数出力合成信号Ｃの間にはつぎの関係が成立する。

ここに、　０≦に≦１．０≦β≦１ 縦線画像についてはｋ＞ｏ、ｊ！＝ｏであるから（１）
式は となる。この（２）式は係数器入力信号ａ、ｂ間に（１
−ｋ）＜（１＋ｋ）なる関係があるので、フィールド内
内挿の特性に近似しておシ、ｋ＝１のとき１゜には ｃ　＝　ｂ　（３） となり、時空間補間フィルタの通過特性はに、となる。

一万、横線画像についてはに＝０　、　ｌ）Ｏであるか
ら、（１）式は となる。したがって、この（４）式はフィールド間補間
の特性に近似し、ｋ＝１のときには ０　＝　ａ　（３） となシ、時空間補間フィルタの通過特性は静止画像領塚
の特性ｋ。となる。

さらに、斜線画像については１ｃ）ｏ、ｊｔ＞０である
から、（１）式によフ時空間補間フィルタの通過特性は
ｋよ〜に、のいずれかとなる。

なお、有意のフレーム間差信号が検出されないときには
、Ｃ＝ａとなシ、時空間補間フィルタの通過特性は静止
画像モードめｋ。となシ、垂直解像度の低下は全く生じ
ない。

つぎに、第６図示の原理的構成に基づく本発明適応型時
空間補間フィルタの具体的構成の他の例を第９図に示す
。図示の構成例においては、入力端近傍のフィールドメ
モリ１−１　、ｌ−２、加算器８、減算器４並びに高域
および低域の垂直空間フィルタ５および６による構成は
第８図示の構成例と全く同一であるが、第８図示の構成
例とは異なシ、高域および低域の垂直空間フィルタ５お
よび６の通過特性をフレーム間差信号並びに水平および
垂直のエツジ信号の大きさに応じ、直接に制御して変化
させることによシ、時空間補間フィルタ全体の通過特性
を画像の動き量およびエツジ部の検出量に適応させて制
御し、それらのフィルタ５゜６のろ波出力信号を直接に
加算器８により加算合成したうえで、さらに加算器９に
よシ、フィールドメモリ１−１．１−２の中間接続点か
らの１フイ一ド遅延信号と加算合成して変換出力順次走
査画像信号を取出している。

一万、高域および低域の垂直空間フィルタ５および６の
通過特性を制御する制御信号σは、第８図示の構成例に
おけると同様に水平および垂直の高域フィルタ１５およ
び１６から得た水平および垂直のエツジ信号におよびｌ
並びにフレーム間差処理回路１７により減算器４からの
フレーム間差信号の大きさに応じて形成した１、０のフ
レーム間差制御信号ζをアントゲ−）２５，２６，２７
゜減算器２８、加算器２９により論理演算して形成して
いる。すなわち、つぎの（６２式の関係が成立つ。

σ＝（ｋ−１１）ζ＋σ。・（ｌ−ζ）（６）また、σ
０は静止画像モードの通過特性ｋ。に相当し、σ。＝−
１となる。

しかして、有意のフレーム間差信号がある場合には、ζ
＝１であるから、 σ＝　ｋ　−Ａ　（７） となシ、制御信号σとフィルタ通過特性との関係を第１
θ図に示すように設定すれば、縦線画像のエツジ信号の
大きい部分にてＪ＝Ｏ，に＝１となる場合にはσ＝１と
なフ、フィルタ通過特性はフィールド内袖間特性に、と
なる。

一万、横線画像においてはＥり１．に＝０となる場合に
はσ＝−１となシ、フィルタ通過特性はフィールド間補
間特性ｋ。となる。また、斜線画像においてＵ、−１＜
σく１となるので１フイルタ逸過特性はに工〜に８のい
ずれかとなる。さらに、１有意のフレーム間差信号が検
出されないときには、σ；σ。（＝−１）　’（８） となシ、フィルタ通過特性は静止画像モードの特性ｋ。

となる。

効果 以上の説明から明らかなように、本発明によれば、イン
ターレース走査画像信号を順欠走査画像信号に変換する
際などに使用する適応型時空間補間フィルタの適応制御
の回路動作をノイズに対して強くすることができ、誤動
作による垂直方向エツジ部の画質劣化や二重像妨害の発
生を抑止することができる。

また、その実施の態様によっては、垂直低域フィルタと
係数器との組合わせによシフィルタ通過特性を制御する
際に係数器を連続可変制御のものにすれば、垂直低域フ
ィルタの通過特性は同定にしたまま補間フィルタの通過
特性を連続可変制御することができる。

また、実施の他の態様によっては、高域および低域の垂
直フィルタに組合わせる係数器にリードオーンリメモリ
を使用すれば、不連続制御する場合に有効である。

さらに、本発明適応型時空間補間フィルタにおモード いては、通過特性の動き画像モードと静止薯テスの切換
えをフレーム間差信号のみならず、画像エツジ部信号の
大きさによっても制御するので、フィルタ通過特性適応
制御のノイズに基づく誤動作による画質劣化を防止する
ことができ、インターレース走査と順次走査との変換時
のみならず、動き画像領域と静止画像領域との別に対す
る適応制御にはあらゆる場合に適用することができる。

【図面の簡単な説明】

第１図は適応型時空間補間フィルタの従来の構成を示す
ブロック線図、 第２図は同じくその通過帯域特性の例を示す線図・ 第８図（ａ）　、　（１））は走査変換画像における二
重像妨害発生の態様を順次に示す線図、 第４図は適応型時空間補間フィルタの従来構成による通
過帯域％性の他の例を示す線図、第５図（ａ）、■）は
走査変換画像におけるラインノイズに基づく画質劣化発
生の態様を順次に示す線図・ 第６図は本発明適応型時空間補間フィルタの原理的構成
を示すブロック線図、 第７図（ａ）　、　（ｂ）および（Ｃ）は横線、斜線お
よび縦線の各画像をそれぞれ模式的に示す線図、第８図
は本発明適応型時空間補間フィルタの詳細構成の例を示
すブロック線図、 第９図は同じくその詳細構成の他の例を示すブロック線
図、 第１０図は同じくそのフィルタ通過帯域特性の例を示す
線図である。 １−１．１−２．１−８・・・フィールドメモリ３　、
　８　、　９　、Ｌ８　、　２２　、　２４　、　２９
　・・・ガロ算器４．２８・・・減算器　５．１６・・
・垂直高域フィルタ６．１４・・・垂直低域フィルタ ・７・・・適応制御回路　１０・・・イキ号処理回路１
１　、１２・・・補間処理回路１５・・・水平高域フィ
ルター７・・・フレーム間差信号処理回路 １８　、１９　、２０　、２１・・・係数器２３・・・
−乗算器 ２　・ ２５　、２６　、２７・・・アンドゲートｓｗ、ｓｗ、
・・・スイッチ。 特許出願人　日本放送協会 第１図 第２図 第３図 （ａ）（ｂ） 第４図 第６図 （ａ）（ｂ）、。） 第８図

Claims (1)

1. 【特許請求の範囲】 Ｌ　時間フィルタおよび垂直空間フィルタよυなって信
   号の構成を走査変換した画像信号を得る時空間補間フィ
   ルタの通過特性を入力画像信号が表わす画像の動き量に
   適応して制御する適応星時空間補間フィルタにおいて、
   前記入力画像信号のフレーム間差信号の大きさに応じて
   前記通過特性を制御する第１の適応制御回路とともに、
   前記入力画像信号が表わす画像の水平および垂直のエツ
   ジ部の少なくとも一万を検出した検出出力の大きさに応
   じて前記通過特性を制御する第２の適応制御回路を備え
   たことを特徴とする適応型時空間補間フィルタ。 λ　特許請求の範囲第１項記載の適応型時空間補間フィ
   ルタにおいて、前記フレーム間差信号の大きさが所定の
   閾値を超えたときに、前記垂直空間フィルタのうち垂直
   低域フィルタの通過特性を固定するとともに、前記時空
   間補間フィルタの通過特性を前記水平および垂直のエツ
   ジ部の検出出力の大きさに応じて制御するようにしたこ
   とを特徴とする適応型時空間補間フィルタ。 ＆　特許請求の範囲第１項記載の適応型時空間補間フィ
   ルタにおいて、前記垂直空間フィルタをなす垂直高域フ
   ィルタおよび垂直低域フィルタの通過特性を前記水平お
   よび垂直のエツジ部の検出出力の大きさに応じてそれぞ
   れ制御するようにしたことを特徴とする適応型時空間補
   間フィルタ。