JPH0480594B2 - - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は、時間フイルタおよび空間フイルタよ
りなり、例えばインタレース走査を順次走査に変
換するなど信号の構成を変換して補間する時空間
補間フイルタの通過特性を、入力画像信号が表わ
す画像の動き量に適応して制御する適応型時空間
補間フイルタに関し、特に、従来より行なわれて
いる入力画像信号のフレーム間差信号の大きさに
応じて形成した制御信号の他に画像の水平・垂直
エツジ部分の大きさに応じて形成した制御信号に
もよつて通過特性を制御して、画像信号に混入し
たノイズ、特に、いわゆるラインノイズに基づく
誤動作を防止し、安定に動作し得るようにすると
ともに、エツジ部の画質を向上させるようにした
ものである。

従来技術 従来のこの種適応型時空間補間フイルタ、特
に、２：１インターレース画像信号を線順次走査
画像信号に変換する際に画像信号の補間に使用す
る適応型時空間補間フイルタは、本発明者らの提
案に係る特願昭57−88018号および特願昭57−
155788号明細書に記載のとおりに、第１図に示す
ように構成してある。すなわち、入力２：１イン
ターレース走査画像信号をフイールドメモリ１−
１，１−２の縦続接続に供給して得た２フイール
ド遅延すなわち１フレーム遅延の画像信号と非遅
延の入力画像信号とについて、フレーム間和信号
を加算器３により形成するとともにフレーム間差
信号を減算器４により形成する。ついで、加算器
３からのフレーム間和信号を垂直高域フイルタ５
に供給するとともに、フイールドメモリ１−１，
１−２の中間接続点からの１フイールド遅延画像
信号を垂直低域フイルタ６に供給し、後述するよ
うにしてそれぞれの通過特性を制御したフイルタ
５，６の出力信号を加算器８により合成した高域
および低域の垂直空間周波数成分i₁を前述した１
フイールド遅延画像信号i₂に加算して得た補間済
み変換出力の線順次走査画像信号を取出す。一
方、減算器４からのフレーム間差信号αを適応制
御部７に供給し、本来画像の動き量に応じて大き
さが変化するフレーム間差信号αにより入力画像
信号の動き画像領域と静止画像領域との判定を行
なうとともに、その判定結果により、上述した高
域および低域の垂直空間フイルタ５および６の通
過特性を画像の動き量に応じて適応制御してい
る。

上述した構成による従来の適応型時空間補間フ
イルタの特性と２：１インターレース走査画像信
号のスペクトルとの関係は第２図に示すようにな
つている。図において、k₀，k₁，k₂，k₃およびk₄
は、静止画像に対応する垂直空間周波数特性が最
も広く、かつ、時間周波数特性が一定の特性k₀か
ら動き量が大きい動き画像に対応する時間周波数
特性が最も広く、かつ、垂直空間周波数特性が一
定の特性k₄まで順次に変化する時空間フイルタ特
性を表わし、また、座標原点に生ずる画像信号ス
ペクトルＡに対して、走査によつて生ずる折返し
成分のスペクトルＥは、２：１インターレース走
査画像信号に特有のスペクトルであり、変換出力
順次走査画像信号のスペクトルは、この折返し成
分スペクトルＥを除いたものとなる。すなわち、
かかる順次の通過特性k₀〜k₄をそれぞれ呈する時
空間補間フイルタは、いずれも、順次走査への変
換に必要で、かつ、折返し成分スペクトルＥの除
去に適合した通過特性の低域フイルタをなしてい
る。

まず、静止画像領域に対応する通過特性k₀によ
つては垂直解像度の劣化は生じないが、例えば第
３図ａに示すような縦線をなす画像が水平方向に
動いたときには同図ｂに示すような二重像妨害と
称する動きに基づく画像エツジ部のぼけが生ず
る。

したがつて、動き画像領域に対しては、第４図
に示すように段階的に変化する順次の通過特性
K₀〜K₃とすることにより、入力画像信号のフレ
ーム間差信号の大きさに応じて順次にフイルタ通
過特性を変化させ、もつて、フイールド内補間特
性の比重が相対的に増大していくようにする。し
かしながら、従来のこの種適応型時空間補間フイ
ルタにおいては、入力画像信号が表わす画像が動
き画像であるか静止画像であるかの判定およびフ
イルタ通過特性を変化させる制御信号の形成を入
力画像信号のフレーム間差信号の大きさのみに基
づいて行なつているので、画像信号伝送路その他
において画像信号に混入する各種のノイズに基づ
いて生ずる偽フレーム間差信号を誤つて制御信号
の形成に用いることによる誤動作を惹起する危険
性が甚だ大きい、という欠点があつた。

特に、つぎに述べるラインノイズと称する特殊
なノイズが発生して混入した場合には、変換出力
再生画像に顕著な妨害画像となつて表われるの
で、再生画質が著しく劣化する欠点があつた。す
なわち、第５図ａに示すような横線を表わす静止
画像の上下端いずれかの走査線に近接してライン
状のノイズが発生した場合には、本来の静止画像
ではフレーム間差信号が生じないのであるから、
フイルタ通過特性はk₀となり、垂直解像度に劣化
が生じない落着いた画像となるべきであるのに反
し、図示のようなライン状のノイズの存在に起因
して偽のフレーム間差信号が形成され、その大き
さに応じ、k₁〜k₃のうちいずれかのフイルタ通過
特性を呈するような制御が行なわれるので、垂直
空間周波数領域に制限が加わり、第５図ｂに示す
ような垂直方向の過渡的な変化成分が現われ、そ
の変化成分がライン状ノイズの発生の態様に応じ
て変化するので、著しい画質劣化を生ずる。

発明の要点 本発明の目的は、上述した従来の欠点を除去
し、従来より行なわれている入力画像信号のフレ
ーム間差信号の大きさに応じたフイルタ通過特性
の制御の他に、入力画像信号が表わす画像の水
平・垂直のエツジ部分に対応する画像信号成分の
大きさに応じたフイルタ通過特性の制御を行な
い、画像信号に混入したラインノイズ等のノイズ
に基づく誤動作を防止して安定に動作するととも
に、エツジ部の画質を向上させるようにした適応
型時空間補間フイルタを提供することにある。

すなわち、本発明適応型時空間補間フイルタ
は、２個のフイールドメモリの縦続接続の両端に
おける入出力画像信号を互いに加算してなる時間
フイルタと、当該時間フイルタのフイルタ出力信
号および前記フイールドメモリの縦続接続におけ
る中間出力信号をそれぞれ入力とし、それぞれ複
数個の線周期遅延素子の縦続接続における順次の
段間遅延出力信号をそれぞれ互いに加重加算して
なる垂直方向高域フイルタおよび垂直方向低域フ
イルタのフイルタ出力信号を互いに加算してフイ
ルタ出力とする垂直空間フイルタとを備え、当該
垂直空間フイルタのフイルタ出力信号に前記フイ
ールドメモリの縦続接続における前記中間出力信
号を加算してなり、信号の構成を変換した入力画
像信号を補間する通過特性を前記入力画像信号を
表わす画像の動き量に適応して制御する適応型時
空間補間フイルタにおいて、前記フイールドメモ
リの縦続接続の両端間に生ずる前記入力画像信号
の有意のフレーム間差信号の有無に応じ、前記フ
イールドメモリの縦続接続における前記中間出力
信号をそれぞれ入力とする水平方向高域フイルタ
および他の垂直方向高域フイルタのフイルタ出力
としてそれぞれ得られる水平エツジ信号および垂
直エツジ信号により係数を相補的に変化させて通
過特性をそれぞれ制御した前記垂直方向高域フイ
ルタおよび前記垂直方向低域フイルタの各フイル
タ出力を互いに合成して前記中間出力信号に加算
することにより、補間出力画像信号を形成するよ
うにしたことを特徴とするものである。

実施例 以下に図面を参照して実施例につき本発明を詳
細に説明する。

まず、本発明適応型時空間補間フイルタの原理
的構成を第６図に示す。図示の構成においては、
順次に縦続接続した複数個のフイールドメモリ１
−１，１−２，１−３，…にインタレース走査画
像信号を供給し、それらのフイールドメモリの各
入出力画像信号、すなわち、入力画像信号および
順次に１フイールド期間ずつ遅延した画像信号を
信号処理回路１０並びに２種類の補間処理回路１
１および１２に並列に供給する。その信号処理回
路１０においては、かかる順次遅延の画像信号を
処理して、フレーム間差信号ｏ、水平高域成分か
らなる水平エツジ信号ｐおよび垂直高域成分から
なる垂直エツジ信号ｑを形成し、制御信号として
補間処理回路１１のみに供給する。一方、補間処
理回路１１，１２は、いずれも、一般にはライン
メモリあるいはサンプルメモリからなる信号演算
回路を構成しており、そのうち、補間処理回路１
２においては順次遅延の入力画像信号に対して固
定の演算処理を施し、また、補間処理回路１１に
おいては、上述した各制御信号ｏ，ｐ，ｑの制御
のもとに、入力画像信号が表わす画像の動き量に
応じた適応制御のための可変の演算処理を順次遅
延の入力画像信号に施し、それらの補間処理回路
１１および１２の処理出力信号ｒおよびｓを加算
器１３により加算合成して得た変換出力信号ｃを
順次走査画像信号の形態にて取出す。

つぎに、上述した原理的構成による本発明適応
型時空間補間フイルタの基本的動作乃至作用につ
いて説明する。

一般に、画像の基本的構成は、第７図ａ，ｂ，
ｃにそれぞれ示すような縦線、斜線、横線からな
つているとみなすことができる。そのうち、同図
ａに示す縦線を表わす画像信号は垂直高域成分を
有していないので、時空間補間フイルタの通過特
性は、動き画像・静止画像いずれの領域において
もフイールド内のみの補間特性k₄とすることがで
きる。一方、同図ｃに示す横線を表わす画像信号
は水平方向の変化がないので、時空間補間フイル
タの通過特性は静止画像モードとしての補間特性
k₀とした場合においても、水平方向の画像の移動
に対して第３図ｂに示したような二重像妨害は生
じない。したがつて、横線画像に対しては、動き
画像・静止画像いずれの領域においてもフイール
ド間の補間特性k₀に固定することができる。さら
に、同図ｂに示す斜線を表わす画像信号は第５図
ａに示したライン状ノイズに対して大きい画質劣
化を来たさないので、画像の動き量の如何に拘ら
ず、斜線画像のエツジ部に対応した画像信号の大
きさに応じ、フイルタ通過特性をk₁〜k₃のいずれ
かに選定することができる。なお、その場合には
垂直解像度の多少の低下を伴うことになる。ま
た、水平方向エツジ部に対する検出出力信号が大
きいときには斜線画像の動きによる二重像妨害が
大きくなるので、フイルタ通過特性をフイールド
内補間特性に近いものとする。さらに、横線画像
が垂直方向に移動するような場合には、垂直方向
の高域成分が大きい画像信号となり、かかる画像
信号のスペクトルは第２図において斜線陰影を施
して示した領域に分布するのであるから、伝送す
ることが不可能となる。したがつて、変換画像信
号伝送系における送信側に設置する前置フイルタ
により動き画像領域における垂直方向の高域成分
は除去されるのであるから、受信側に設ける補間
フイルタの通過特性には再生画像の画質が依存し
なくなり、横線画像の垂直方向への移動によつて
は受信側補間フイルタの通過特性に基づく画質劣
化は生じないことになる。なお、フレーム間差信
号の検出回路は、画像の動きによつて生ずる本来
のフレーム間差信号の有無を判定し得れば足りる
のであるから、フレーム間差信号がない場合には
その受信側補間フイルタの通過特性をフイールド
間補間特性k₀とすることができる。

つぎに、上述した構成原理に基づく本発明適応
型時空間補間フイルタの具体的な詳細構成の例を
第８図に示す。図示の構成例においては、２個縦
続接続したフイールドメモリ１−１，１−２に入
力２：１インターレース走査画像信号を供給し、
第１図示の従来構成におけると同様に、縦続接続
の入出力端からそれぞれ得た非遅延の入力画像信
号と２フイールド遅延すなわち１フレーム遅延の
画像信号とについて、フレーム間和信号ａを加算
器３により形成するとともに、フレーム間差信号
を減算器４により形成する。ついで、加算器３か
らのフレーム間和信号を係数器１８および１９に
供給して係数１−ｋおよびｌをそれぞれ乗算する
とともに、フイールドメモリ１−１，１−２の中
間接続点からの１フイールド遅延画像信号をライ
ンメモリからなる垂直低域フイルタ１４に供給し
て得た１フイールド遅延の垂直低域成分信号ｂを
係数器２０および２１に供給して係数１−ｌおよ
びｋをそれぞれ乗算する。これらの係数器１８〜
２１の各係数値は後述するようにして水平・垂直
のエツジ信号の大きさに応じて変化するが、対の
係数ｌと１−ｌおよびｋと１−ｋは相補的に変化
するので、各係数器１８〜２１の出力を加算器２
２により加算合成すると垂直低域成分信号ｂにフ
レーム間和信号ａを加算したほぼ２倍の画像信号
振幅となるので、1/2乗算器２３を介して取出し
た合成信号ｃは、第６図示の原理的構成における
補間処理回路１１の出力信号ｒに相当したものと
なる。一方、補間処理回路１２の出力信号ｓは、
第８図示の構成例におけるフイールドメモリ１−
１，１−２の中間接続点からの１フイールド遅延
信号に相当するので、この１フイールド遅延信号
と上述した合成信号ｃとを加算器２４により加算
合成すると変換出力の順次走査画像信号が得られ
る。

さて、上述した１フイールド遅延信号を並列に
供給してある水平高域フイルタ１５および垂直高
域フイルタ１６は、それぞれ、画像信号中の水平
エツジ信号および垂直エツジ信号を抽出し、それ
らのエツジ信号の大きさに応じて係数器１８〜２
１の係数値を制御して変化させる。すなわち、エ
ツジ信号が大きいほど係数ｋ，ｌの値を、正規化
した０〜１の範囲内で大きく設定する。

一方、減算器４からのフレーム間差信号をフレ
ーム間差信号処理回路１７に供給し、例えば所定
の閾値と比較するなどして有意のフレーム間差信
号の有無に応じて１，０と変化する制御信号ｒを
形成し、水平高域フイルタ１５からの水平エツジ
信号とレベル“０”の信号との切換えを行なうス
イツチSW₁および垂直高域フイルタ１６からの垂
直エツジ信号とレベル“１”の信号との切換えを
行なうスイツチSW₂をそれぞれ制御する。すなわ
ち、有意のフレーム間差信号有りとした場合に
は、双方のスイツチSW₁，SW₂を１側に倒して正
規化した水平および垂直のエツジ信号を出力し、
有意のフレーム間差信号なしとした場合にはｋ＝
０，ｌ＝１をそれぞれの出力とする。しかして、
係数器１８，１９の入力信号ａ、係数器２０，２
１の入力信号ｂおよびそれらの係数出力合成信号
ｃの間にはつぎの関係が成立する。

ｃ＝｛（１＋ｋ＋ｌ）ａ＋（１−ｌ＋ｋ）ｂ｝・
１／２ …(1) ここに、０≦ｋ≦１，０≦ｌ≦１ 縦線画像についてはｋ＞０，ｌ＝０であるから
(1)式は、 ｃ＝｛（１−ｋ）ａ＋（１＋ｋ）ｂ｝・１／２ (2) となる。この(2)式は係数器入力信号ａ，ｂ間に
（１−ｋ）＜（１＋ｋ）なる関係があるので、フイ
ールド内内挿の特性に近似しており、ｋ＝１のと
きには ｃ＝ｂ (3) となり、時空間補間フイルタの通過特性はk₄とな
る。

一方、横線画像についてはｋ＝０，ｌ＞０であ
るから、(1)式は ｃ＝｛（１＋ｌ）ａ＋（１−ｌ）ｂ｝・１／２ (4) となる。したがつて、この(4)式はフイールド間補
間の特性に近似し、ｌ＝１のときには ｃ＝ａ (5) となり、時空間補間フイルタの通過特性は静止画
像領域の特性k₀となる。

さらに、斜線画像についてはｋ＞０，ｌ＞０で
あるから、(1)式により時空間補間フイルタの通過
特性はk₁〜k₄のいずれかとなる。

なお、有意のフレーム間差信号が検出されない
ときには、ｃ＝ａとなり、時空間補間フイルタの
通過特性は静止画像モードのk₀となり、垂直解像
度の低下は全く生じない。

つぎに、第６図示の原理的構成に基づく本発明
適応型時空間補間フイルタの具体的構成の他の例
を第９図に示す。図示の構成例においては、入力
端近傍のフイールドメモリ１−１，１−２、加算
器３、減算器４並びに高域および低域の垂直空間
フイルタ５および６による構成は第８図示の構成
例と全く同一であるが、第８図示の構成例とは異
なり、高域および低域の垂直空間フイルタ５およ
び６の通過特性をフレーム間差信号並びに水平お
よび垂直のエツジ信号の大きさに応じ、直接に制
御して変化させることにより、時空間補間フイル
タ全体の通過特性を画像の動き量およびエツジ部
の検出量に適応させて制御し、それらのフイルタ
５，６の波出力信号を直接に加算器８により加
算合成したうえで、さらに加算器９により、フイ
ールドメモリ１−１，１−２の中間接続点からの
１フイールド遅延信号と加算合成して変換出力順
次走査画像信号を取出している。

一方、高域および低域の垂直空間フイルタ５お
よび６の通過特性を制御する制御信号σは、第８
図示の構成例におけると同様に水平および垂直の
高域フイルタ１５および１６から得た水平および
垂直のエツジ信号ｋおよびｌ並びにフレーム間差
処理回路１７により減算器４からのフレーム間差
信号の大きさに応じて形成した１，０のフレーム
間差制御信号ζをアンドゲート２５，２６，２
７、減算器２８、加算器２９により論理演算して
形成している。すなわち、つぎの(6)式の関係が成
立つ。

σ＝（ｋ−ｌ）ζ＋σ₀・（１−ζ） (6) ここに、ζ＝ １：フレーム間差あり。

０：フレーム間差なし。

また、σ₀は静止画像モードの通過特性k₀に相当
し、σ₀＝−１となる。

しかして、有意のフレーム間差信号がある場合
には、ζ＝１であるから、 σ＝ｋ−ｌ (7) となり、制御信号σとフイルタ通過特性との関係
を第１０図に示すように設定すれば、縦線画像の
エツジ信号の大きい部分にてｌ＝０，ｋ＝１とな
る場合にはσ＝１となり、フイルタ通過特性はフ
イールド内補間特性k₄となる。

一方、横線画像においてはｌ＝１，ｋ＝０とな
る場合にはσ＝−１となり、フイルタ通過特性は
フイールド間補間特性k₀となる。また、斜線画像
においては、−１＜σ＜１となるので、フイルタ
通過特性はk₁〜k₃のいずれかとなる。さらに、有
意のフレーム間差信号が検出されないときには、 σ＝σ₀（＝−１） (8) となり、フイルタ通過特性は静止画像モードの特
性k₀となる。

効 果 以上の説明から明らかなように、本発明によれ
ば、インターレース走査画像信号を順次走査画像
信号に変換する際などに使用する適応型時空間補
間フイルタの適応制御の回路動作をノイズに対し
て強くすることができ、誤動作による垂直方向エ
ツジ部の画質劣化や二重像妨害の発生を抑止する
ことができる。

また、その実施の態様によつては、垂直低域フ
イルタと係数器との組合わせによりフイルタ通過
特性を制御する際に係数器を連続可変制御のもの
にすれば、垂直低域フイルタの通過特性は固定に
したまま補間フイルタの通過特性を連続可変制御
することができる。

また、実施の他の態様によつては、高域および
低域の垂直フイルタに組合わせる係数器にリード
オンリメモリを使用すれば、不連続制御する場合
に有効である。

さらに、本発明適応型時空間補間フイルタにお
いては、通過特性の動き画像モードと静止画像モ
ードとの切換えをフレーム間差信号のみならず、
画像エツジ部信号の大きさによつても制御するの
で、フイルタ通過特性適応制御のノイズに基づく
誤動作による画質劣化を防止することができ、イ
ンターレース走査と順次走査との変換時のみなら
ず、動き画像領域と静止画像領域との別に対する
適応制御にはあらゆる場合に適用することができ
る。

【図面の簡単な説明】

第１図は適応型時空間補間フイルタの従来の構
成例を示すブロツク線図、第２図は同じくその通
過帯域特性の例を示す線図、第３図ａ，ｂは走査
変換画像における二重像妨害発生の態様を順次に
示す線図、第４図は適応型時空間補間フイルタの
従来構成による通過帯域特性の他の例を示す線
図、第５図ａ，ｂは走査変換画像におけるライン
ノイズに基づく画質劣化発生の態様を順次に示す
線図、第６図は本発明適応型時空間補間フイルタ
の原理的構成を示すブロツク線図、第７図ａ，ｂ
およびｃは横線、斜線および縦線の各画像をそれ
ぞれ模式的に示す線図、第８図は本発明適応型時
空間補間フイルタの詳細構成の例を示すブロツク
線図、第９図は同じくその詳細構成の他の例を示
すブロツク線図、第１０図は同じくそのフイルタ
通過帯域特性の例を示す線図である。 １−１，１−２，１−３…フイールドメモリ、
３，８，９，１３，２２，２４，２９…加算器、
４，２８…減算器、５，１６…垂直高域フイル
タ、６，１４…垂直低域フイルタ、７…適応制御
回路、１０…信号処理回路、１１，１２…補間処
理回路、１５…水平高域フイルタ、１７…フレー
ム間差信号処理回路、１８，１９，２０，２１…
係数器、２３…1/2乗算器、２５，２６，２７…
アンドゲート、SW₁，SW₂…スイツチ。

Claims (1)

【特許請求の範囲】
1. １ ２個のフイールドメモリの縦続接続の両端に
   おける入出力画像信号を互いに加算してなる時間
   フイルタと、当該時間フイルタのフイルタ出力信
   号および前記フイールドメモリの縦続接続におけ
   る中間出力信号をそれぞれ入力とし、それぞれ複
   数個の線周期遅延素子の縦続接続における順次の
   段間遅延出力信号をそれぞれ互いに加重加算して
   なる垂直方向高域フイルタおよび垂直方向低域フ
   イルタのフイルタ出力信号を互いに加算してフイ
   ルタ出力とする垂直空間フイルタとを備え、当該
   垂直空間フイルタのフイルタ出力信号に前記フイ
   ールドメモリの縦続接続における前記中間出力信
   号を加算してなり、信号の構成を変換した入力画
   像信号を補間する通過特性を前記入力画像信号が
   表わす画像の動き量に適応して制御する適応型時
   空間補間フイルタにおいて、前記フイールドメモ
   リの縦続接続の両端間に生ずる前記入力画像信号
   の有意のフレーム間差信号の有無に応じ、前記フ
   イールドメモリの縦続接続における前記中間出力
   信号をそれぞれ入力とする水平方向高域フイルタ
   および他の垂直方向高域フイルタのフイルタ出力
   としてそれぞれ得られる水平エツジ信号および垂
   直エツジ信号により係数を相補的に変化させて通
   過特性をそれぞれ制御した前記垂直方向高域フイ
   ルタおよび前記垂直方向低域フイルタの各フイル
   タ出力を互いに合成して前記中間出力信号に加算
   することにより、補間出力画像信号を形成するよ
   うにしたことを特徴とする適応型時空間補間フイ
   ルタ。