JP3993159B2 - 動き検出装置および方法 - Google Patents

Description

本発明は、動き検出装置および方法に関し、より詳しくは、現在補間するフィールドにおいて動きのある動き領域（ｍｏｔｉｏｎ ｒｅｇｉｏｎ）と動きのない静止領域（ｓｔｉｌｌ ｒｅｇｉｏｎ）とを検出することのできる動き検出装置および方法に関する。

映像ディスプレイ装置におけるスキャン方式としては、インターレーススキャン（ｉｎｔｅｒｌａｃｅ ｓｃａｎ）方式と、プログレッシブスキャン（ｐｒｏｇｒｅｓｓｉｖｅ ｓｃａｎ）方式とがある。インターレーススキャン方式とは、一般のテレビなどに採用され、１つの映像を表示する時、１つのイメージフレームを２つのフィールドに分けて順次交代に画面に表示する方式をいう。これに対して、プログレッシブスキャン方式とは、コンピュータモニタ、デジタルテレビなどに採用され、フィルムをスクリーンに映写するように１つのイメージフレームをフレーム単位として全体フレームを一度に表示する方式をいう。

プログレッシブスキャン方式を使用する映像ディスプレイ装置が増加するにつれて、互いに異なるスキャン方式を採用する装置間のデータやり取りの必要性が増えるようになり、これによって、インターレーススキャン方式をプログレッシブスキャン方式に変換するための種々の補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）方法を行う必要が生じる。

基本的な補間方法としては、現フィールドの２ライン間の領域にその２ラインのデータを二分したデータを挿入することによって新しいフィールドを具現するフィールド内補間（ｉｎｔｒａ−ｆｉｅｌｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ）方法と、現フィールドのライン間に現フィールドの前後フィールドにおいて対応するラインを用いて１フレームを具現する、動き補償のないフィールド間補間（ｉｎｔｅｒ−ｆｉｅｌｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ）方法とがある。

フィールド内補間方法は、動きのある領域の補間に適合しており、フィールド間補間方法は、動きのない静止領域の補間に適合している。しかし、１つの画面には、通常、動き領域と静止領域とが混合されているため、フィールド内補間方法とフィールド間補間方法とを混用することが、補間後の画質の向上に効果的である。この場合、画面内において動き領域および静止領域の検出情報に基づいて適切な混合因子（α）を算出し、この混合因子を用いてフィールド内補間方法とフィールド間補間方法とを混用することができる。

従って、補間により向上した画質の画面を得るためには、先ず、現在補間するフィールドにおいて動き領域と静止領域とを正確に検出する必要がある。このため、補間する現フィールドの前後フィールドである前のフィールドと次のフィールドとを基準に、対応する位置の各ピクセル間の輝度値の差などを用いて、現在補間するフィールドにおける動き領域と静止領域とを検出する方法が一般的に使用されている。

しかし、このような検出方法では、画面内に非常に速い動きがあり、前のフィールドと次のフィールドとの間の比較のみによって静止領域および動き領域を正確に検出することができないことが発生する。これによって、動きがあるにもかかわらず、誤りで静止領域と判断する疑似静止領域（ｓｐｕｒｉｏｕｓ ｓｔｉｌｌ ｒｅｇｉｏｎ）が発生し得る。従って、画面補間後の画質を向上させるためには、疑似静止領域の発生をなくすように正確な動き検出が可能な方法が必要となる。

このような方法に関する先行技術としては、大韓民国公開特許２００１−００２６５９に開示された、画素値と明るさ輪郭差異（ＢＰＰＤ：Ｂｒｉｇｈｔｎｅｓｓ Ｐｒｏｆｉｌｅｓ Ｐａｔｔｅｒｎ Ｄｉｆｆｅｒｅｎｃｅ）を使用して動きを検出する方法がある。また、大韓民国公開特許２００１−００９０５６８号では、規定されたピクセル輝度値の組合せによる動きマトリックス（ｍｏｔｉｏｎ ｍｅｔｒｉｃ）などを用いて動きを検出する他の方法が開示されている。

しかし、このような方法では、動き検出のための回路構成が多少複雑であり、回路の複雑化により処理速度が速くないものと予想される。このため、従来の方法に比べて簡単な構成で動きを検出することができ、具現が容易でかつ速く動き領域と静止領域とを検出することができる動き検出装置および方法が求められている。
大韓民国公開特許２００１−００２６５９号 大韓民国公開特許２００１−００９０５６８号

本発明は、上記の問題点を解決するためになされたもので、本発明の目的は、補間する現フィールドにおいて疑似静止領域の発生を防止するとともに、簡単でかつ速やかに動き領域と静止領域とを検出することができる動き検出装置および方法を提供することにある。

上記の目的を達成するための本発明に係る動き検出装置は、時間的に連続する複数のフィールドが順次入力され、現在入力されるｎ番目のフィールドの各ピクセル・ブロック別に動きがあるかを示す動き情報値を検出する動き検出部と、前記動き情報値を各ピクセル・ブロック別に格納する動き計算バッファ部と、前記動き検出部で検出されるｎ＋１番目のフィールドの動き情報値に基づき、前記動き計算バッファ部に格納された前記動き情報値を補正する動き計算部とを備えることが好ましい。また、前記動き計算部に格納された前記動き情報値に基づき、動きのあるピクセルから隣接した他のピクセルに動き程度を拡散する動き拡張部をさらに含むことが好ましい。

前記動き検出部は、前記ｎ番目のフィールドの前後フィールドを基準に、前記前後フィールドにおいて対応する位置の各ピクセル・ブロック間の画素値の差に基づいて前記動き情報値を算出することが可能である。

また、前記動き計算部は、前記ｎ＋１番目のフィールドの各ピクセル・ブロック別の動き情報値に基づいて、当該ピクセル・ブロックに動きがある場合、前記動き計算バッファ部に格納された当該動き情報値に所定の第１値を加算し、当該ブロック・ピクセルに動きがない場合、前記動き計算バッファ部に格納された当該動き情報値に所定の第２値を減算して補正することが可能である。このとき、前記所定の第１値は、前記所定の第２値より大きな値であることが好ましい。

また、前記動き計算部は、前記当該動き情報値に前記第１値を加算して出力する加算器と、前記当該動き情報値に前記第２値を減算して出力する減算器と、前記加算器および前記減算器の出力値が所定の大きさから外れないようにそれぞれ補正して出力する第１および第２の制限器と、前記ｎ＋１番目のフィールドの動き情報に基づいて前記第１および第２の制限器のいずれか１つの出力値を選択的に出力するマルチプレクサとを備えることが可能である。

また、本発明に係る動き検出方法は、（ａ）時間的に連続する複数のフィールドが順次入力され、現在入力されるｎ番目のフィールドの各ピクセル・ブロック別に動きがあるかを示す動き情報値を検出するステップと、（ｂ）前記動き情報値を各ピクセル・ブロック別に格納するステップと、（ｃ）前記（ａ）ステップにおいて検出されるｎ＋１番目のフィールドの動き情報値に基づいて、格納された前記動き情報値を補正するステップとを含む。また、格納された前記動き情報値に基づき、動きのあるピクセルから隣接した他のピクセルに動き程度を拡散するステップとをさらに含むことが好ましい。

前記（ａ）ステップは、前記ｎ番目のフィールドの前後フィールドを基準に、前記前後フィールドにおいて対応する位置の各ピクセル・ブロック間の画素値の差に基づいて前記動き情報値を算出することが可能である。

前記（ｃ）ステップは、前記ｎ＋１番目のフィールドの各ピクセル・ブロック別の動き情報値に基づき、当該ピクセル・ブロックに動きがある場合、前記（ｂ）ステップにおいて格納された当該動き情報値に所定の第１値を加算し、当該ブロック・ピクセルに動きがない場合、前記（ｂ）ステップにおいて格納された当該動き情報値に所定の第２値を減算して補正することが可能である。このとき、前記所定の第１値は、前記所定の第２値より大きな値であることが好ましい。

また、前記（ｃ）ステップは、（ｃ１）前記当該動き情報値に前記第１値を加算して出力するステップと、（ｃ２）前記当該動き情報値に前記第２値を減算して出力するステップと、（ｃ３）前記（ｃ１）ステップにおける出力値が所定の大きさから外れないように補正して出力するステップと、（ｃ４）前記（ｃ２）ステップにおける出力値が所定の大きさから外れないように補正して出力するステップと、（ｃ５）前記ｎ＋１番目のフィールドの動き情報に応じて前記（ｃ３）ステップおよび前記（ｃ４）ステップにおける出力値のいずれか１つを選択的に出力するステップとを含んでなることが可能である。

本発明によれば、現在補間するフィールドにおいて疑似静止領域の発生を抑制しながらも、動き領域および静止領域を比較的簡単な方法で速くかつ正しく検出することができる。このような動きおよび静止領域に関する検出情報は、画面補間装置などに伝達され使用されることができる。

以下、図面を参照して本発明を詳述する。

［実施例］
図１は、本発明に係る動き検出装置を示すブロック図である。前記動き検出装置は、動き検出部（ｍｏｔｉｏｎ ｄｅｔｅｃｔｉｏｎ ｐａｒｔ）１００、動き計算部（ｍｏｔｉｏｎ ｃｏｕｎｔｅｒ ｐａｒｔ）１５０、動き計算バッファ部（ｍｏｔｉｏｎ ｃｏｕｎｔｅｒ ｂｕｆｆｅｒ ｐａｒｔ）２００および動き拡張部（ｍｏｖｉｎｇ ｅｘｐａｎｓｉｏｎ ｐａｒｔ）２５０で構成される。

動き検出部１００は、時間的に連続する複数のフィールドが順次入力され、現在入力されるフィールドの各ブロック・ピクセル別に動きがあるかを示す動き情報値を検出する。ここで、ブロック・ピクセルは、ブロックまたはピクセルを意味し、動き検出部１００は、使用環境によってピクセル単位またはブロック単位で動きを検出することができる。

動き計算部１５０は、動き検出部１００で検出された動き情報値に応じて動き計算バッファ部２００に格納された各ピクセル・ブロック別の動き情報値を補正し、動き計算バッファ部２００には、各ピクセル・ブロック別の動き情報値が各ピクセル・ブロック別に設定された位置に格納される。

また、動き拡張部２５０は、動き計算バッファ部２００に格納された動き情報値を用いて、動きのあるピクセルから隣接した他のピクセルに動き情報値を拡散する。

図２は、図１の動き計算部１５０の詳細を示すブロック図である。

同図に示されたように、動き計算部１５０は、加算器１５１、減算器１５３、第１および第２の制限器１５５、１５７、マルチプレクサ１５９、および第１および第２のデマルチプレクサ１６１、１６３で構成される。

第１のデマルチプレクサ１６１は、外部から入力されるブロック・ピクセルインデックス（ｂｌｏｃｋ・ｐｉｘｅｌ ｉｎｄｅｘ）情報に応じて動き計算バッファ部２００で当該位置に格納されたピクセル・ブロック別の動き情報値を加算器１５１および減算器１５３に提供する。

加算器１５１は、入力される動き情報値に所定の第１値を加算し、減算器１５３は、入力される動き情報値に所定の第２値を減算する。第１および第２の制限器１５５、１５７は、それぞれ加算器１５１および減算器１５３から出力される動き情報値の大きさが一定の範囲を超過しないように制限する。

マルチプレクサ１５９は、第１および第２の制限器１５５、１５７から出力される値のうちの一つを動き検出部１００から提供される動き情報値に応じて第２のデマルチプレクサ１６３に出力する。第２のデマルチプレクサ１６３は、外部から入力されるブロック・ピクセルインデックス情報に応じてマルチプレクサ１５９から出力される値を動き計算バッファ部２００の設定された位置に格納されるようにする。

図３は、本発明に係る動き検出装置の動作方法を説明するためのフローチャートである。同図に示されたように、先ず、初期動作状態が行われる（Ｓ３００）。即ち、動き検出部１００は、時間的に連続して複数のフィールドが順次入力され、現在入力されるフィールドをｎ番目のフィールド（ｆ_ｎ）とすると、前後フィールドであるｎ−１番目のフィールド（ｆ_ｎ−１）とｎ＋１番目のフィールド（ｆ_ｎ＋１）とを基準に、ｎ番目のフィールド（ｆ_ｎ）の各ピクセル・ブロック別に動きがあるか否かを示す動き情報値を算出する。各ピクセル・ブロック別の動き情報値の検出は、ｎ番目のフィールド（ｆ_ｎ）の前後フィールドを基準に、前後フィールドにおいて対応する位置の各ピクセル・ブロック間の画素値の差、或いは、各ブロックにおいて画素値の差の絶対値を合算した値などから検出することができる。動き情報値は、当該ピクセル・ブロックに動きがあるか否かを示す所定の値であって、たとえば、動きがある場合は「１」、動きがない場合は「０」などのように示すことができる。

動き検出部１５０で算出されたｎ番目のフィールドの各ピクセル・ブロックに関する動き情報値は、動き計算バッファ部２００に各ピクセル・ブロック単位で格納される。このような過程を経て初期動作が終了する。

動き検出部１５０は、ｎ番目のフィールド（ｆ_ｎ）に対して動き情報値の算出が終わると、次のフィールドであるｎ＋１番目のフィールド（ｆ_ｎ＋１）を現フィールドとして前述の過程を繰り返して遂行し、ｎ＋１番目のフィールドの各ピクセル・ブロック別に動きがあるかを示す動き情報値を検出する（Ｓ３０１）。

動き検出部１００で検出された各ピクセル・ブロック別の動き情報値は、動き計算部１５０に伝達される。動き計算部１５０は、伝達されたｎ＋１番目のフィールドの各ピクセル・ブロック別の動き情報値に応じて当該ブロック・ピクセルに動きがあるかを判断する（Ｓ３０２）。判断の結果、当該ピクセル・ブロックに動きがある場合、初期動作時に動き計算バッファ部２００に格納されたｎ番目のフィールドにおいて対応する位置の動き情報値を読み取って、次の《数１》のように所定の第１値（Ｔ１）を加算した値を新しい動き情報値とする（Ｓ３０４）。

ここで、Ｖ（ｉ，ｊ）は、ｉ番目のラインにおけるｊ番目のピクセルに関する動き情報値を示し、Ｔ１は、設定された第１値を示す。第１値は、任意設定可能であり、「４」程度の値が使用され得る。

これと異なり、当該ピクセル・ブロックに動きがないと判断される場合は、初期動作時に動き計算バッファ部２００に格納されたｎ番目のフィールドにおいて対応する位置の動き情報値を読み取って、次の《数２》のように所定の第２値を減算した値を新しい動き情報値とする（Ｓ３０８）。

ここで、Ｖ（ｉ，ｊ）は、ｉ番目のラインにおけるｊ番目のピクセルに関する動き情報値を示し、Ｔ２は、設定された第２値を示す。第２値は、第１値と同様に任意設定可能であり、「１」程度の値が使用され得る

上記の加算または減算動作は、動き計算部１５０内の加算器１５１または減算器１５３により行われ、加算または減算された動き情報値は、第１および第２の制限器１５５、１５７で所定の範囲内の値であるか否かが判断され、設定範囲内の値から外れる場合は、設定範囲内の値から外れないように補正する（Ｓ３０６またはＳ３１０）。

動き計算部１５０は、加算または減算された動き情報値を動き計算バッファ部２００で設定された当該位置に格納する（Ｓ３１２）。上記の過程は、動き検出部１００に連続して入力される複数のフィールドに対して、フィールド単位で繰り返して行われ、これによって、動き計算バッファ部２００には、加算または減算されて累積された動き情報値が格納される。動き情報値を累積する回数は、使用環境によって適切に設定することができる。

このように、累積された動き情報値を参照することにより、現フィールドの前後フィールドのみを用いて動き情報を探す場合に発生し得る、疑似静止領域または疑似動き領域の発生を防止することができる。

なお、動き拡張部２５０を付加的に含むように構成することもできる。この場合、動き拡張部２５０は、動き計算バッファ部２００に格納された動き情報値に基づいて、動きのあるピクセルから隣接したピクセルに動き程度を拡散する。動き拡張部２５０が動き程度を隣接したピクセルに拡張させる理由は、一般に動画の動きは、特定のピクセルのみでなく、一定の領域でなされるためである。従って、特定のピクセルにおいて動きが感知される場合は、その特定のピクセルおよび周辺のピクセルが動き状態にあるとみなすことができるためである。

本発明に係る動き検出装置は、インターレース除去（ｄｅｉｎｔｅｒｌａｃｉｎｇ）装置に適用可能である。図４にその一例が示されている。同図に示されたように、本発明に係る動き検出装置２７０は、前述の過程を経て混合値（α）を算出する。算出された混合値（α）を用いてフィールド内補間方法を使用するイントラ−フィールド補間部２８０の出力と、フィールド間補間方法を使用するインター−フィールド補間部２９０の出力とをソフトスイッチ部２８５が混合して最終出力フレームを生成する。

また、本発明に係る動き検出方法は、ハードウェア装置で具現され、または、プログラム化してコンピュータなどにより実行されることもできる。

なお、以上では、本発明の好適な実施例について図示および説明してきたが、本発明の保護範囲は、前述の実施例に限定されるものではなく、特許請求の範囲に記載された発明とその均等物にまで及ぶものである。

補間するフィールドにおいて動きのある動き領域（ｍｏｔｉｏｎ ｒｅｇｉｏｎ）と、動きのない静止領域（ｓｔｉｌｌ ｒｅｇｉｏｎ）とを検出することができる動き検出装置に適用される。

本発明に係る動き検出装置を示すブロック図である。 図１の動き計算部の詳細を示すブロック図である。 本発明に係る動き検出装置を説明するためのフローチャートである。 本発明に係る動き検出装置を用いるインターレース除去装置の例を示すものである。

符号の説明

１００ 動き検出部
１５０ 動き計算部
１５１ 加算器
１５３ 減算器
１５５ 第１の制限器
１５７ 第２の制限器
１５９ マルチプレクサ
１６１ 第１のデマルチプレクサ
１６３ 第２のデマルチプレクサ
２００ 動き計算バッファ部
２５０ 動き拡張部

Claims (12)

1. 時間的に連続する複数のフィールドが順次入力され、現在入力されるｎ番目のフィールドの各ピクセル・ブロック別に動きがあるかを示す動き情報値を検出する動き検出部と、
   前記動き情報値を各ピクセル・ブロック別に格納する動き計算バッファ部と、
   前記動き検出部で検出されるｎ＋１番目のフィールドの動き情報値に基づき、前記動き計算バッファ部に格納された前記動き情報値を所定の値で加算あるいは減算する動き計算部と、を備え
   前記動き計算部は、前記ｎ＋１番目のフィールドの各ピクセル・ブロック別の動き情報値に基づき、当該ピクセル・ブロックに動きがある場合、前記動き計算バッファ部に格納された当該動き情報値に所定の第１値を加算し、当該ブロック・ピクセルに動きがない場合、前記動き計算バッファ部に格納された当該動き情報値に所定の第２値を減算して補正することを特徴とする動き検出装置。
2. 前記動き計算部に格納された前記動き情報値に基づいて動きのあるピクセルから隣接した他のピクセルに動き程度を拡散する動き拡張部をさらに備えることを特徴とする請求項１に記載の動き検出装置。
3. 前記動き検出部は、前記ｎ番目のフィールドの前後フィールドを基準に、前記前後フィールドにおいて対応する位置の各ピクセル・ブロック間の画素値の差に基づいて前記動き情報値を算出することを特徴とする請求項１に記載の動き検出装置。
4. 前記所定の第１値は、前記所定の第２値より大きな値であることを特徴とする請求項１に記載の動き検出装置。
5. 前記動き計算部は、
   前記当該動き情報値に前記第１値を加算して出力する加算器と、
   前記当該動き情報値に前記第２値を減算して出力する減算器と、
   前記加算器および前記減算器の出力値が所定の大きさから外れないようにそれぞれ補正して出力する第１および第２の制限器と、
   前記ｎ＋１番目のフィールドの動き情報に基づいて前記第１および第２の制限器のいずれか１つの出力値を選択的に出力するマルチプレクサと
   を備えることを特徴とする請求項１に記載の動き検出装置。
6. （ａ）時間的に連続する複数のフィールドが順次入力され、現在入力されるｎ番目のフィールドの各ピクセル・ブロック別に動きがあるかを示す動き情報値を検出するステップと、
   （ｂ）前記動き情報値を各ピクセル・ブロック別に格納するステップと、
   （ｃ）前記（ａ）ステップにおいて検出されるｎ＋１番目のフィールドの動き情報値に基づき、格納された前記動き情報値を所定の値で加算あるいは減算するステップと、を含み、
   前記（ｃ）ステップは、前記ｎ＋１番目のフィールドの各ピクセル・ブロック別の動き情報値に基づき、当該ピクセル・ブロックに動きがある場合、前記（ｂ）ステップにおいて格納された当該動き情報値に所定の第１値を加算し、当該ブロック・ピクセルに動きがない場合、前記（ｂ）ステップにおいて格納された当該動き情報値に所定の第２値を減算して補正することを特徴とする動き検出方法。
7. 格納された前記動き情報値に基づいて、動きのあるピクセルから隣接した他のピクセルに動き程度を拡散するステップをさらに含むことを特徴とする請求項６に記載の動き検出方法。
8. 前記（ａ）ステップは、前記ｎ番目のフィールドの前後フィールドを基準に、前記前後フィールドにおいて対応する位置の各ピクセル・ブロック間の画素値の差に基づいて前記動き情報値を算出することを特徴とする請求項６に記載の動き検出方法。
9. 前記所定の第１値は、前記所定の第２値より大きな値であることを特徴とする請求項６に記載の動き検出方法。
10. 前記（ｃ）ステップは、
    （ｃ１）前記当該動き情報値に前記第１値を加算して出力するステップと、
    （ｃ２）前記当該動き情報値に前記第２値を減算して出力するステップと、
    （ｃ３）前記（ｃ１）ステップにおける出力値が所定の大きさから外れないように補正して出力するステップと、
    （ｃ４）前記（ｃ２）ステップにおける出力値が所定の大きさから外れないように補正して出力するステップと、
    （ｃ５）前記ｎ＋１番目のフィールドの動き情報に応じて前記（ｃ３）ステップおよび前記（ｃ４）ステップにおける出力値のいずれか１つを選択的に出力するステップと
    を含むことを特徴とする請求項６に記載の動き検出方法。
11. コンピュータに動き検出動作を実行させるための命令語を提供し、
    時間的に連続する複数のフィールドが順次入力され、現在入力されるｎ番目のフィールドの各ピクセル・ブロック別に動きがあるかを示す動き情報値を検出するステップと、
    前記動き情報値を各ピクセル・ブロック別に格納するステップと、
    前記動き情報値を検出するステップにおいて検出されるｎ＋１番目のフィールドの動き情報値に基づいて、格納された前記動き情報値を所定の値で加算あるいは減算するステップと、を含み、
    前記減算するステップは、前記ｎ＋１番目のフィールドの各ピクセル・ブロック別の動き情報値に基づき、当該ピクセル・ブロックに動きがある場合、前記格納するステップにおいて格納された当該動き情報値に所定の第１値を加算し、当該ブロック・ピクセルに動きがない場合、前記格納するステップにおいて格納された当該動き情報値に所定の第２値を減算して補正する命令語が記録されていることを特徴とするコンピュータ読み取り可能な媒体。
12. 格納された前記動き情報値に基づき、動きのあるピクセルから隣接した他のピクセルに動き程度を拡散するステップをさらに含むことを特徴とする請求項１１に記載のコンピュータ読み取り可能な媒体。

Images