JPH03216088A - 画像信号の動き検出回路および、動き適応信号処理回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像信号における動きの情報を検出並びに動き
適応処理の信号処理回路に関する。

〔従来の技術〕

画像信号より動きの情報を検出し、この検出した動きの
情報に従って信号処理のパラメータを適応的に変化させ
る動き適応信号処理を行なうことで、画像信号をより高
画質に表示することが行なねれるようになってきた。例
えば、ＩＤＴＶなどのテレビ受像機では、受信したテレ
ビ信号より動きの情報を検出し、これに基づいた動き適
応の輝度・色信号分離、あるいは動き適応の走査線補間
の信号処理を行ない，高画質な画像表示を行なっている
。この場合、現フレーム並びにその前後のフレームとの
差分信号によって，画素単位に動きの情報の検出を行な
っている。

しかしながら、画素単位の動き検出では、動き情報の検
出もれを発生する。そこで、検出した動きの情報に時空
間方向の積分などの処理を行ない、この結果得られた信
号を動きの情報として使用している。

〔発明が解決しようとする課題〕

上記従来技術による動き情報の検出は雑音等の点につい
て配慮がされておらず、画像信号に含まれる雑音が動き
として検出されると、時空間の積分処理によって，画質
劣化が数十フレームにわたって発生するといった問題が
あった。

本発明の目的は、動き情報の検出ちれかなく、かつ，雑
音等の影響を受けない画像信号の動き検出回路を提供す
ることにある。

本発明の他の目的は、静止画像から動画像まで画質劣化
の少ない画像表示を実現する動き適応の信号処理回路を
提供することにある。

〔課題を解決するための手段〕

上記目的を達成するために本発明においては、画像信号
より物体領域を抽出し、この物体領域単位にそれぞれ動
き情報の検出を行なうようにしたものである。

また、本発明は上記他の目的を達成するために、物体領
域単位に動きベクトルを検出し、この動きベクトルに基
づいて動き補償を行なった前後のフレームの信号を使用
した動き適応処理を行なうようにしたものである。

〔作用〕

本発明における動き情報の検出の原理を第１図により説
明する。この例では、縦縞パターンの物体が右方向に動
いている場合を示す。

従来技術による動き検出は、画素単位で１７レーム間の
差分信号の有無によって行なっている。

すなわち、現フレームと前記フレームとの差分をとり、
これが閾値を越えたものを動きのある画素と判定してい
る。このため、縦縞パターンの両端部では１フレーム間
で差分信号が検出されるので、この領域の画素は動きが
ありと判定される。しかしながら、縦縞パターンの中央
部では、１フレーム間で差分信号がないため、この領域
の画素は動きがなしと判定され、いわゆる動きの検出も
れが発生する。

一方、本発明においては，この縦縞パターンの領域を１
個の物体とみなして、この物体について例えば１フレー
ム間の差分信号の有無より，物体の動きの検出を行なう
。１つの物体とみなした場合には、物体の両端部で１フ
レーム間の差分信号が存在するため、この物体は動きが
ありと判定される。この結果、この物体に対応した縦縞
パターンの領域は全て動きがありと判定される。すなわ
ち、本発明では、動きの検出を物体単位で行なうことに
より、従来技術で生じていた動きの検出もれの現象をな
くすことが可能になる。このため、従来技術で行なわれ
ている時空間方向の積分処理などの操作も不要になり、
雑音等による画質劣化が解消できる。

つぎに、本発明における動き適応の信号処理の原理を第
２図により説明する。ここでは、第１図に示した動きを
有する画像に対して、前フレームと現フレームの信号と
それぞれ動き係数１−ｋ，ｋ（静止時ｋ＝０）を荷重加
算する適応処理を考える。動きを有する縦縞パターンの
物体に、この種の適応処理をそのまま行なうと、第２図
（ａ）に示すように，縦縞パターンの両端部において画
質劣化が発生する。

本発明においては、前述したように、縦縞パターンの領
域を１個の物体として動きを検出し、その物体の動きベ
クトルを抽出する。そして、この動きベクトルの情報に
基づいて、動き補償を行なった前フレームの物体と、現
フレームの物体との間で適応処理を行なう。この結果、
適応処理で得られた物体、すなわち、縦縞パターンは第
２図（ｂ）に示すように、画質劣化のない画像が得られ
る。すなわち、本発明においては，物体単位に検出した
動きベクトルの情報に基づき，動き補償を行なった前フ
レームの物体と、現フレームの物体との間で動き適応の
信号処理を行なうことにより、画質劣化のない画像を生
成する。

〔実施例〕

以下、本発明の一実施例を第３図により説明する。同図
は、動き検出回路の全体ブロック構成図である。

画像信号は、物体抽出回路１に入力される。ここでは、
画像信号から画像パターンを取り出し、この画像パター
ンにもとづいて、動きの検出に使用する物体領域を抽出
した物体領域信号ａを生成する。この物体領域信号ａ、
および、１フレーム遅延回路２により１フレーム相当の
遅延させた前フレーム物体領域信号ｂは、動き情報検出
回路３に入力される。ここでは、両者の信号ａ，ｂ間の
差分を検出し、この結果にもとづいて、それぞれの物体
領域について、動き係数ｋ、ならびに動きベクトル■を
生成する。

なお、画像信号はコンポーネント形態の信号であれば、
例えば３原色信号，輝度信号，色差信号など、どのよう
な信号も使用できる。

つぎに、動き検出回路に使用する各ブロックの構成につ
いて説明する。

第４図は、物体抽出回路１の一実施例の構成を示す。画
像信号より、画像パターン抽出回路４で画像の垂直パタ
ーン成分Ｐｘ．水平パターン成分ＰＹを取り出し、物体
領域検出回路５では、Ｐｘ　，ＰＹ成分をもとに物体領
域信号ａを生成する。

第５図は、画像パターン抽出回路４の一実施例の構成を
示す。１画素遅延回路６，１ライン遅延回路７でそれぞ
れ１画素、１ライン相当遅延させた画像信号を生成し、
演算回路８で画像信号とこれら遅延させた画像信号との
差分信号を生成する。

そして、量子化回路９でこれらの差分信号を量子化して
、垂直パターン成分ＰＸ、水平パターン成分Ｐｖ　を抽
出する。

量子化回路９は２値、あるいは多値量子化のいずれも可
能であるが、２値量子化の一特性例を第６，第７図に示
す。これらは，差分信号が閾値±Δ丁，±ΔＴ′を越え
た場合には１、閾値内の場合にはＯという２値の量子化
を行なったときの特性例である。なお、第７図はガンマ
補正の行なわれた画像信号に対して適した特性例を示し
ている。

一般に、ガンマ補正された画像信号では、輝度の暗い領
域に含まれる雑音成分も大きいため、譚度の暗い領域で
は輝度の明るい領域に比べて閾値を高く設定することに
より、雑音の除去を図る。

第８図は、物体領域検出回路５の一実施例の構成を示す
。垂直パターン成分ＰＸ．水平パターン成分ＰＹには、
画像の輪郭成分の他に雑音成分も含まれている。そこで
、平滑化回路１０で、平滑化処理を行ない、雑音成分の
除去、ならびに画像の垂直パターン成分Ｐｘ．水平パタ
ーン成分Ｐｖを１つの連続した領域とした平滑化パター
ン信号Ｐ　ＸＡＶ　，　Ｐ　ＹＡＶを生成する・なお、
この平滑化回路１０は、例えば第９図に示すような、遅
延回路１３，係数荷重回路１４，加算回路１５を組み合
せ、所望のＰｘＡｖｔ　ＰＹＡＶが得られるように係数
荷重回路の係数ａ．を設定することで実現できる。なお
、遅延回路１３は、Ｐｘ信号に対しては１画素遅延、Ｐ
ｙ信号に対しては１ライン遅延のものを使用する。

平滑化パターン信号Ｐｘ＾Ｖ，　ＰＹＡＶをもとに、領
域抽出回路１１では、画像パターンの領域を１個の物体
とみなしたときの、水平方向の物体領域、垂直方向の物
体領域を示す信号ａＸ　，ａＹを生成する。そして、Ｏ
Ｒ回路１２によりこれら両者の和（ＯＲ演算）を行なっ
て、物体領域信号ａを生成する。

つぎに、第３図に示した動き情報検出回路３の一実施例
を第１０図に示す。

物体領域信号ａ、ならびに前フレーム物体領域信号ｂを
使用して、パターンマッチング判定回路１６では１フレ
ーム当りの水平方向動き速度ＶＸ、および垂直方向動き
速度ｖｙを各物体毎に検出する。そして、動き情報発生
回路１７で，これらＶｘ　，ｖアの信号をもとに、各物
体毎に動き係数ｋ，動きベクトルＶを生成する。

パターンマッチング判定回路１６の一実施例を第１１図
に示す。前フレーム物体領域信号ｂをもとに、パターン
マッチング信号発生回路１８は、パターンマッチング処
理による動き速度の検出に必要な信号を生成する。すな
わち、第１２図に示すように、水平Ｑ．Ｈ画素、垂直ｌ
Ｖ画素より構成した画像ブロック■，■，◎，・・・・
・・，■（それぞれｌＨＸｌＶ画素）の信号を生成する
。物体領域信号ａに対しても、同様に画像ブロック■を
生成する。これらの信号■，■，■，◎，・・・・・・
，■はそれぞれパターン一致判定回路１９に入力され、
画像パターンの一致の有無の検定を行なう。そして、例
えばパターンが一致した時には１、不一致の時にはＯの
信号を出力する。これらの出力信号は動き速度検出回路
２ｏに入力され、前フレームのどの画像ブロックとパタ
ーンが一致したかの判定を行ない、該当する画像ブロッ
クで規定される動き速度Ｖｘ　，Ｖｔを生成する。

第１３図は、パターンマッチング判定回路１６の他の一
実施例である。この実施例では、水平方向，垂直方向の
物体領域を示す信号ａｘ　，ａｖ、ならびに前フレーム
の水平，垂直方向の物体領域を示す信号ｂｘ　＋　ｂｙ
を使用して動き速度ＶＸ　，ｖｙ　を生成する。１画素
単位シフトレジスタ回路２１により得られる１画素相当
ずつ遅延させた前フレームの信号系列ならびに現フレー
ムの信号ａ）＜が一致判定回路２２に入力され、パター
ンの一致の有無を検出する。そして、例えばパターンが
一致した時は１、不一致の時には０の信号を出力する。

これらの出力信号は速度検出回路２３に入力され，前フ
レームのどの画素とパターンが一致したかの判定を行な
い、該当する画素で規定された水平方向の動き速度■８
を生成する。また、１ライン単位シフトレジスタ回路２
４で前フレームの信号ｂｙを１ライン相当ずつ遅延させ
た信号系列と現フレームの信号ａｙは一致判定回路２２
に入力され、同様な処理によって垂直方向の動き速度ｖ
ｙを生成する。

なお、パターンマッチング判定回路１６で生成する動き
速度Ｖｘ　？　Ｖ７は、例えば、その極性により動きの
方向、その絶対値で動き速度を表わす。

したがって、例えば■８が正極性では右方向，負極性で
は左方向の動き、ｖｙが正極性では上方向、負極性では
下方向の動きに対応させる。

つぎに、動き情報発生回路１７の一実施例を第１４図に
示す。ＲＯＭ回路２５は、動き速度Ｖｘ　，ｖｙに対応
して、各物体領域毎に所定の動き係数ｋ、動きベクトル
Ｖに該当する信号を発生する。

これらの特性の一例を第１５図，第１６図に示す。

以上で、本発明の動き検出回路の動作説明を終了する。

つぎに、本発明の他の一実施例を第１７図〜第２１図に
示す。これらは画像信号の走査変換、例えばインクレー
ス走査から順次走査の形態への変換，あるいは走査線数
の変換などにおける補間走査線の画像信号の生成に、本
発明による動き検出回路を適用し、得られた動きの情報
をもとに動き適応処理を行なう場合の全体ブロック構成
図である。以下、各実施例についての動作説明を行なう
。

第１７図は、例えばインタレース走査の現行テレビ信号
に対し、インタレース走査でぬけた走査線の画像信号を
補間し、順次走査の形態に変換する場合に好適な実施例
である。

画像信号は、静止画用補間信号発生回路２６，動画用補
間信号発生回路２７，物体単位動き検出回路２９，遅延
回路３４に入力される。

静止画用補間信号発生回路２６では、例えば前後のフレ
ームの画像信号を使用して静止画像に適した補間走査線
の信号ＩＳを生成する。また、動画用補間信号発生回路
２７では、例えば同一フレームの画像信号を使用して動
画像に適した補間走査線の信号ＩＭを生成する。

一方、物体単位動き検出回路２９では、前述した様に、
物体領域単位に動きの検出を行ない、物体毎に動き係数
ｋを発生する。

係数荷重回路３２は、静止画用補間信号ＩＳに１−ｋ、
動画用補間信号ＩＮにｋを係数荷重し、加算回路３３で
この両者を加算し、補間走査線信号Ｉｐを生成する。

遅延回路３４で時間遅延させた画像信号ＳＭ、および補
間走査線信号Ｉｐは、時間軸変換多重回路３５に入力さ
れ、ここでは、時間軸の圧縮処理、ならびに時系列の変
換多重の処理を行ない、所望の走査形態の画像信号に変
換する。

本実施例では，物体単位で動き情報を検出を行なうため
、動きの検出もれもなく、従来技術に比へて画質の劣化
の少ない走査変換が実現できる。

第１８図に示す実施例は、動き補償の処理を加え、さら
に画質劣化の少ない走査変換を実現する。

第１７図との相異は、静止画用補間信号発生回路２６、
係数荷重回路３２の間に、動き補償処理回路３１が加わ
っている点である。そして、動き補償処理回路３１の動
作機能を除けば、他の動作は第１７図と同様であるので
、以下、この動き補償の処理についてのみ説明する。

物体単位動き検出回路２９から得られる物体単位の動き
ベクトル■の情報により、例えばフレーム当りの動きの
速度、ならびに方向が識別できる。

したがって、静止画用補間信号発生回路２６より得られ
た、例えば前フレームの画像信号を使用して静止画像に
適した補間走査線の信号ＩＳ′　　に対し、動き補償処
理回路３１では、物体単位に、第２図に示すような動き
の補償処理を行ない、これらの物体領域が、現フレーム
とほぼ同位置となった静止画用の補間走査線信号ＩＳを
生成する。そして、この信号を使用して補間走査線信号
Ｉｐをつくる。

以上、述べたように、本実施例では動きベクトルに基づ
いた動き補償処理を行なうため、さらに画質劣化の少な
い走査変換が実現できる。

つぎに、第１９図，第２０図に示す一実施例について説
明する。これらの実施例は、画像信号の例えば１フレー
ム間の差分信号Ｆｏを使用して，物体領域の静動を識別
し、動きのある物体領域に対して、物体単位に動きの情
報を検出する点が、先の第１７図，第１８図と異なって
いる。すなわち、１フレーム遅延回路２８より得られる
前フレームの画像信号と、現フレームの画像信号は減算
回路３０で両者の差を取り、１フレーム間の差分信号Ｆ
Ｄを生成し、物体単位動き検出回路２９に供給する。物
体単位動き検出回路２９では、抽出した物体領域に１フ
レーム間の差分信号が閾値を越える成分を検出した場合
には、この物体領域は動きを有すると判定し、前述した
様に物体単位で動き情報の検出を行なう。一方、物体領
域に信号Ｆｏが閾値を越える成分が検出されないと判定
し、この物体領域に対しては静止に対応した動き情報を
発生させる。

以上、述べた様な物体単位の動き情報の検出で得られた
動き係数、動きベクトルを使用して、第１７図，第１８
図の実施例と同様な動き適応の信号処理を行ない、画質
劣化の少ない走査変換を実現する。

第２１図に示す一実施例は、従来技術による動き検出回
路に、本発明の動き検出回路を併用した場合のものであ
る。従来技術による動き検出回路３６、ならびに本発明
による物体単位動き検出回路２９より抽出した動き情報
をもとに、係数設定回路３７で動き係数ｋ′を設定する
。その他の動作はこれまで述べた実施例と同様なため、
これらの説明は省略する。

〔発明の効果〕

本発明によれば、従来技術では検出もれどなる動きに対
しても、動きの情報が欲しく検出することができるので
、動き情報検出の高精度化に効果がある。

また、動き適応処理における動き情報の検出に本発明を
適用することで、従来技術で発生する画質劣化が解消で
きるので、画像の高画質化にも効果がある。

なお、本発明を適用した動き適応処理としては、実施例
に示した走査変換に限定されず、他の様々な動き適応処
理にも使用できることは明らかである。

また、本発明の動き検出回路を従来技術の動き検出回路
と併用して動き情報の検出を行なう構成で検出精度の向
上を図ることも可能なことは明らかである。

【図面の簡単な説明】

第１図は本発明の動き情報検出の原理説明図、第２図は
本発明の動き適応処理の原理説明図である。第３図は本
発明の動き検出回路の一実施例のブロック構成図、第４
図〜第９図は第３図の物体抽出回路の一実施例のブロッ
ク構成図ならびに特性例を示す図、第１０図〜第１６図
は第３図の動き情報検出回路の実施例のブロック構成図
ならびに特性例を示す図である。第１７図〜第２１図は
本発明の動き検出回路を動き適応走査変換の信号処理に
適用した場合の実施例の全体ブロック構成図である。 １・・・物体抽出回路、２・・・１フレーム遅延回路、
３動き情報検出回路、４・・画像パターン抽出回路、Ｓ
・・・物体領域検出回路、６・・・１画素遅延回路、７
・・・１ライン遅延回路、８・・・減算回路、９・・・
量子化回路、１０・・・平滑化回路、ｌ１・・・領域抽
出回路、１２・・・ＯＲ回路、１３・・・遅延回路，１
４・・・係数荷重回路，１５・・・加算回路、１６・・
・パターンマッチング判定回路、１７・・・動き情報発
生回路、１８パターンマッチング信号発生回路、１９・
・・パターン一致判定回路、２ｏ・・・動き速度検出回
路、２１・・・１画素単位シフトレジスタ回路、２２・
・・一致判定回路、２３・・・速度検出回路、２４・・
・１ライン単位シフトレジスタ回路、２５・・・ＲＯＭ
回路、２６・・・静止画用補間信号発生回路、２７・・
・動画用補間信号発生回路、２８・・・１フレーム遅延
回路、２９・・・物体単位動き検出回路、３０・・・減
算回路、３１・・・動き補償処理回路、３２・・・係数
荷重回路、３３・・・加算回路、３４・・・遅延回路、
３５・・・時間軸変換多重回路、３６・・・従来技術に
よる動き検出回路、（ユ） 犠 ２ 躬 （ｂ） 画Ｖ苓ね 龜Ｔｈｉｉｔｂ 狛 ３ （２） 第 ５ 図 力 ｑ ロ 遁 ／２ ■ Ｇつフレームフ 猶 ３　区 （り 循 ／６ 図 第 ｌｑ ロ 拓 ２ 区

Claims (1)

1. 【特許請求の範囲】 １、画像信号より画像パターンを抽出する手段、上記画
   像パターンより物体領域を抽出した物体領域信号を生成
   する手段を有し、複数フレーム間の上記物体領域信号よ
   り物体領域の動き情報の検出を行なうことを特徴とする
   画像信号の動き検出回路。 ２、物体領域信号の水平ｌ＿Ｈ画素、垂直ｌ＿Ｖ画素あ
   るいは水平ｌ＿Ｈ画素、垂直ｌ＿Ｈ画素から成るｌ＿Ｈ
   ×ｌ＿Ｖの画素に対して複数フレーム間でのパターンマ
   ッチング処理により物体領域の動きベクトルの検出を行
   なうことを特徴とする請求項１記載の画像信号の動き検
   出回路。 ３、画像の物体領域の動きの情報を検出する手段、静止
   画像に対応する画像情報Ｉ＿Ｓを生成する手段、動画像
   に対応する画像情報Ｉ＿Ｍを生成する手段を有し、上記
   物体領域において、上記動きの情報で定まる動き係数ｋ
   によりＩ＿Ｓ・（１−ｋ）＋Ｉ＿Ｍ・ｋの画像情報を生
   成することを特徴とする画像信号の動き適応信号処理回
   路。 ４、画像の物体領域の動きベクトルを検出し、静止画像
   に対応する画像情報に上記動きベクトルで動き補償を行
   なつた画像情報を用いることを特徴とする請求項３記載
   の画像信号の動き適応信号処理回路。 ５、請求項３もしくは４記載の動き適応信号処理が画像
   信号の走査変換であることを特徴とする画像信号の動き
   適応信号処理回路。