JPWO2011099201A1

JPWO2011099201A1 - 動き検出装置、制御プログラム、および集積回路

Info

Publication number: JPWO2011099201A1
Application number: JP2011553712A
Authority: JP
Inventors: 合志　清一; 清一合志
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2010-02-15
Filing date: 2010-11-08
Publication date: 2013-06-13
Anticipated expiration: 2030-11-08
Also published as: CN102754422A; EP2538657A1; US20120308085A1; JP5350497B2; WO2011099201A1; EP2538657A4; CN102754422B; US8687852B2

Abstract

動き検出装置（２００）は、動画像を表す信号を入力として、動画像を構成するフレームを構成する１または隣接する複数の画素から成るブロック領域毎に、フレーム間での動きを検出するものであって、隣接する２つのフレームの差分を表す差信号（Ｓ２２０）を得る差分算出部（２２０）と、一方のフレームに含まれる第１エッジ信号（Ｓ２３０）をブロック領域毎に得る第１エッジ検出部（２３０）と、他方のフレームに含まれる第２エッジ信号（Ｓ２４０）をブロック領域毎に得る第２エッジ検出部（２４０）と、ブロック領域毎に、第１エッジ信号（Ｓ２３０）に第１の係数を乗算した値と、第２エッジ信号（Ｓ２４０）に第２の係数を乗算した値とを加算してエッジ信号（Ｓ２５０）を得るエッジ算出部（２５０）と、ブロック領域毎に差信号（Ｓ２２０）をエッジ信号（Ｓ２５０）で除算して動き信号（Ｓ２６０）を得る除算部（２６０）とを備える。

Description

本発明は、動画像における動き領域を検出する動き検出装置等に関するものである。

従来から、動画像における動き領域を検出する技術が広く用いられている。例えば、画像処理装置等にて動画像の画質を改善するために、ボケが生じやすい動き領域を検出し、該検出した動き領域の画像を鮮鋭化する処理などが行なわれている。

動き領域の検出に関する技術として、特許文献１に開示されている技術がある。特許文献１に開示されている技術は、伝送路にノイズが存在する場合に、ノイズのレベルに応じて動き領域検出の特性を変化させることにより、動き領域検出の誤動作を防止する技術である。

特許文献１に開示されている、動き領域を検出する回路（以下、従来の動き検出回路と称する）について、図４を参照しながら説明する。図４は、従来の動き検出回路の構成を示すブロック図である。同図に示す構成により、従来の動き検出回路は、動画像における動き領域をブロック領域毎に検出する。ブロック領域とは、１または隣接する複数の画素から成る領域である。

同図に示すように、従来の動き検出回路は、フレームメモリ９１０、フレーム差算出部９２０、エッジ検出部９３０、および除算部９６０を備えている。

フレームメモリ９１０は、入力される信号を１フレーム毎に保持するとともに、保持している信号を１フレーム毎に出力する。よって、フレームメモリ９１０から出力される信号は、現在のフレームに対して１つ直前のフレームを表す。

そして、フレーム差算出部９２０にて、現在のフレームと、フレームメモリ９１０から出力される直前のフレームとのフレーム差を算出する。一方、エッジ検出部９３０にて、現在のフレームに含まれるエッジ成分である高周波成分を、ブロック領域毎に検出する。

そして、除算部９６０にて、フレーム差算出部９２０にて算出したフレーム差を、エッジ検出部９３０にて検出した高周波成分の絶対値で除算することによって、ブロック領域毎の動き量を求めている。

日本国公開特許公報「特開平９−１６８１３６号公報（公開日：１９９７年６月２４日）」

ここで、従来の動き検出回路にて処理される信号について、図５を参照しながら説明する。図５の（ａ）は、Ｍ番目のフレームの信号の波形を示す模式図である。図５の（ｂ）は、Ｍ＋１番目のフレームの信号の波形を示す模式図である。なお、Ｍは任意の整数とする。また、図５の（ａ）に示すＭ番目のフレームから、図５の（ｂ）に示すＭ＋１番目のフレームの間、所定物体が、形状を変えずに、等速で画面内を移動しているものとする。

そして、図５の（ｃ）は、フレーム差算出部９２０にて算出した、図５の（ａ）に示した信号と図５の（ｂ）に示した信号との差分（フレーム差）を示す模式図である。

そして、図５の（ｄ）は、除算部９６０にて、図５の（ｃ）に示したフレーム差を、図５の（ｂ）に示したフレームのエッジ成分の絶対値で除算することによって得られる波形を示す模式図である。

ここで、図５の（ｃ）に示すフレーム差を示す信号のうち、Ｍ＋１番目のフレームの信号から得られた部分（同図のＢからＣの区間の信号）については、除算により信号値が小さくなるが、Ｍ番目のフレームの信号から得られた部分（同図のＡからＢの区間の信号）については、Ｍ＋１番目のフレームのエッジ成分が無いので、除算しても信号値が小さくならない。したがって、除算の結果、図５の（ｄ）に示すように、信号値の大きい部分と小さい部分とが混在することとなる。つまり、同一の所定物体が移動しているにもかかわらず、フレーム差において、信号値の大きい部分と小さい部分との差が生じることとなる。

ここで、Ｍ番目のフレームにおける所定物体の動き量と、Ｍ＋１番目のフレームにおける所定物体の動き量とは同一であるので、動き信号Ｓ２６０における、Ｍ番目のフレームの信号から得られた部分と、Ｍ＋１番目のフレームの信号から得られた部分とが、略同一の形状でなければ、動き領域を適切に検出することはできない。

したがって、従来の動き検出回路では、動き領域を適切に検出できない場合がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、簡易な構成により、動画像における動き領域を適切に検出することができる動き検出装置、制御プログラム、および集積回路を提供することにある。

上記課題を解決するために、本発明に係る動き検出装置は、時間的に連続する複数のフレームから構成される動画像を表す信号を入力として、フレームを構成する１または隣接する複数の画素から成るブロック領域毎に、フレーム間での動きを検出する動き検出装置であって、隣接する２つのフレームの差分を表す差信号を算出する差分算出手段と、上記２つのフレームの一方に含まれる第１の高周波成分を、上記ブロック領域毎に算出する第１の高周波成分算出手段と、上記２つのフレームの他方に含まれる第２の高周波成分を、上記ブロック領域毎に算出する第２の高周波成分算出手段と、上記ブロック領域毎に、上記第１の高周波成分に第１の係数を乗算した値と、上記第２の高周波成分に第２の係数を乗算した値とを加算することによって第３の高周波成分を算出する第３の高周波成分算出手段と、上記ブロック領域毎に、上記差分算出手段にて算出した上記差信号を、上記第３の高周波成分算出手段にて算出した上記第３の高周波成分にて除算することによって、動き信号を算出する除算手段とを備え、上記動き信号の値が、所定の閾値より大きい上記ブロック領域にて、動きを検出したものとすることを特徴としている。

また、本発明に係る集積回路は、時間的に連続する複数のフレームから構成される動画像を表す信号を入力として、フレームを構成する１または隣接する複数の画素から成るブロック領域毎に、フレーム間での動きを検出する集積回路であって、隣接する２つのフレームの差分を表す差信号を算出する差分算出回路と、上記２つのフレームの一方に含まれる第１の高周波成分を、上記ブロック領域毎に算出する第１の高周波成分算出回路と、上記２つのフレームの他方に含まれる第２の高周波成分を、上記ブロック領域毎に算出する第２の高周波成分算出回路と、上記ブロック領域毎に、上記第１の高周波成分に第１の係数を乗算した値と、上記第２の高周波成分に第２の係数を乗算した値とを加算することによって第３の高周波成分を算出する第３の高周波成分算出回路と、上記ブロック領域毎に、上記差分算出回路にて算出した上記差信号を、上記第３の高周波成分算出回路にて算出した上記第３の高周波成分にて除算することによって、動き信号を算出する除算回路とを備えていることを特徴としている。

上記の構成によれば、隣接する２つのフレームの一方に含まれる高周波成分（エッジ成分）に第１の係数を乗算した値と、当該隣接する２つのフレームの他方に含まれる高周波成分（エッジ成分）に第２の係数を乗算した値とを加算することによって第３の高周波成分を算出する。そして、隣接する２つのフレームの差分を表す差信号を、第３の高周波成分で除算することによって動き信号を算出する。そして、動き信号の値が、所定の閾値より大きいブロック領域にて、動きを検出したものとする。

よって、隣接する２つのフレームのそれぞれに含まれる高周波成分を考慮して算出された第３の高周波成分によって差信号を除算するので、例えば、画面内を所定物体が等速で移動している場合、除算の結果、信号値の大きい部分と小さい部分とに差が生じることを抑制することができる。

したがって、隣接する２つのフレームのいずれか一方に含まれる高周波成分にて差信号を除算することによって動き信号を算出する従来技術と比べて、より適切に動き領域を検出することができるという効果を奏する。

以上のように、本発明に係る動き検出装置は、時間的に連続する複数のフレームから構成される動画像を表す信号を入力として、フレームを構成する１または隣接する複数の画素から成るブロック領域毎に、フレーム間での動きを検出する動き検出装置であって、隣接する２つのフレームの差分を表す差信号を算出する差分算出手段と、上記２つのフレームの一方に含まれる第１の高周波成分を、上記ブロック領域毎に算出する第１の高周波成分算出手段と、上記２つのフレームの他方に含まれる第２の高周波成分を、上記ブロック領域毎に算出する第２の高周波成分算出手段と、上記ブロック領域毎に、上記第１の高周波成分に第１の係数を乗算した値と、上記第２の高周波成分に第２の係数を乗算した値とを加算することによって第３の高周波成分を算出する第３の高周波成分算出手段と、上記ブロック領域毎に、上記差分算出手段にて算出した上記差信号を、上記第３の高周波成分算出手段にて算出した上記第３の高周波成分にて除算することによって、動き信号を算出する除算手段とを備え、上記動き信号の値が、所定の閾値より大きい上記ブロック領域にて、動きを検出したものとする。

また、本発明に係る集積回路は、時間的に連続する複数のフレームから構成される動画像を表す信号を入力として、フレームを構成する１または隣接する複数の画素から成るブロック領域毎に、フレーム間での動きを検出する集積回路であって、隣接する２つのフレームの差分を表す差信号を算出する差分算出回路と、上記２つのフレームの一方に含まれる第１の高周波成分を、上記ブロック領域毎に算出する第１の高周波成分算出回路と、上記２つのフレームの他方に含まれる第２の高周波成分を、上記ブロック領域毎に算出する第２の高周波成分算出回路と、上記ブロック領域毎に、上記第１の高周波成分に第１の係数を乗算した値と、上記第２の高周波成分に第２の係数を乗算した値とを加算することによって第３の高周波成分を算出する第３の高周波成分算出回路と、上記ブロック領域毎に、上記差分算出回路にて算出した上記差信号を、上記第３の高周波成分算出回路にて算出した上記第３の高周波成分にて除算することによって、動き信号を算出する除算回路とを備えている。

よって、隣接する２つのフレームの両方に含まれる高周波成分の両方を考慮して算出された第３の高周波成分によって差信号を除算するので、例えば、画面内を所定物体が等速で移動している場合、除算の結果、信号値の大きい部分と小さい部分とに差が生じることを抑制することができる。

本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。

本発明に係る動き検出装置の構成を示すブロック図である。図２の（ａ）は、Ｍ番目のフレームの信号の波形を示す模式図である。図２の（ｂ）は、Ｍ＋１番目のフレームの信号の波形を示す模式図である。図２の（ｃ）は、図２の（ａ）に示した信号と、図２の（ｂ）に示した信号との差分（フレーム差）を示す模式図である。図２の（ｄ）は、図２の（ｃ）に示したフレーム差を、Ｍ＋１番目のフレームのエッジ成分の絶対値で除算した信号の波形を示す模式図である。図２の（ｅ）は、図１に示した動き検出装置にて算出したエッジ信号にて図２の（ｃ）に示したフレーム差を除算した信号の波形を示す模式図である。図１に示した動き検出装置を備える信号処理装置５００の構成を示すブロック図である。従来の動き検出回路の構成を示すブロック図である。図５の（ａ）は、Ｍ番目のフレームの信号の波形を示す模式図である。図５の（ｂ）は、Ｍ＋１番目のフレームの信号の波形を示す模式図である。図５の（ｃ）は、図５の（ａ）に示した信号と、図５の（ｂ）に示した信号との差分（フレーム差）を示す模式図である。図５の（ｄ）は、図４に示した動き検出回路にて、図５の（ｃ）に示したフレーム差を、図５の（ｂ）に示したフレームのエッジ成分の絶対値で除算することによって得られる波形を示す模式図である。

本発明の一実施形態について図１から図３に基づいて説明すると以下の通りである。

（動き検出装置の概要）
本実施形態に係る動き検出装置（集積回路）２００は、概略的に言えば、連続する複数のフレーム（画面）から構成されている動画像において、フレームを構成する１または隣接する複数の画素から成るブロック領域毎に、フレーム間での動きを検出するものである。

なお、本明細書における「動き領域」とは、フレーム間で動きのある領域を指しているが、静止していない領域の全てを動き領域としてもよいし、ある程度動きがある（動き量が所定の閾値以上である）領域のみを動き領域としてもよい。

また、好ましいブロック領域は、（１）１画素から成るもの、または、（２）４画素×４画素の１６画素から成るものであるが、これらに限定されるものではない。また、必ずしもブロック領域に含まれる全画素の動きを検出する必要は無く、ブロック領域に含まれる少なくとも１画素について動きを検出すればよい。

また、以下では、動き検出装置２００に入力される動画像を表す信号（以下、画像信号と表記する）を、入力信号ＳＡと表記する。また、動き検出装置２００から出力される画像信号を、出力信号ＳＯと表記する。

また、入力信号ＳＡで表される動画像は、例えば、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）または高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機等にて、リアルタイムに表示されるものである。

また、入力信号ＳＡは、画像の主走査方向（水平方向、横方向）に隣接して並ぶ画素の画素値から成るデータ列（画素値の系列）によって構成されているものとして説明するが、画像の副走査方向（垂直方向、縦方向）に隣接して並ぶ画素の画素値から成るデータ列によって構成されていてもよい。

（動き検出装置の構成）
図１を参照しながら、動き検出装置２００の構成について説明する。図１は、動き検出装置２００の構成を示すブロック図である。

同図に示すように、動き検出装置２００は、少なくとも、フレームメモリ部２１０、差分算出部（差分算出手段、差分算出回路）２２０、第１エッジ検出部（第１の高周波成分算出手段、第１の高周波成分算出回路）２３０、第２エッジ検出部（第２の高周波成分算出手段、第２の高周波成分算出回路）２４０、エッジ算出部（第３の高周波成分算出手段、第３の高周波成分算出回路）２５０、および除算部（除算手段、除算回路）２６０を備えている。さらに、同図に示すように、リミッタ２７０を備えていてもよい。

フレームメモリ部２１０は、入力される信号を１フレーム毎に保持するものである。そして、フレームメモリ部２１０は、１フレーム毎に、保持している信号を、差分算出部２２０に出力する。よって、フレームメモリ部２１０から出力される信号は、直前のフレームを表す。フレームメモリ部２１０から出力される信号を、メモリ信号Ｓ２１０と表記する。

次に、差分算出部２２０は、メモリ信号Ｓ２１０で表される直前のフレームと、動き検出装置２００に入力される信号で表されるフレーム（現在のフレーム）とのフレーム差を算出するものである。差分算出部２２０から出力される信号を、差信号Ｓ２２０と表記する。

次に、第１エッジ検出部２３０は、メモリ信号Ｓ２１０で表される直前のフレームに含まれる高周波成分（エッジ成分）を、ブロック領域毎に検出するものである。そして、該検出した高周波成分を、第１エッジ信号Ｓ２３０（第１の高周波成分）として出力する。

次に、第２エッジ検出部２４０は、現在のフレームに含まれる高周波成分（エッジ成分）を、ブロック領域毎に検出するものである。そして、該検出した高周波成分を、第２エッジ信号Ｓ２４０（第２の高周波成分）として出力する。

なお、第１エッジ検出部２３０および第２エッジ検出部２４０は、高周波成分を通過させるハイパスフィルタなどによって実現できる。

次に、エッジ算出部２５０は、ブロック領域毎に、第１エッジ信号Ｓ２３０および第２エッジ信号Ｓ２４０を入力として所定の演算を施し、エッジ信号Ｓ２５０（第３の高周波成分）を算出する。所定の演算は、例えば、下記に示す（Ａ）〜（Ｄ）などが挙げられる。なお、最も好ましい演算は下記（Ａ）である。

（Ａ）ブロック領域内の各位置において、第１エッジ信号Ｓ２３０の信号値および第２エッジ信号Ｓ２４０の信号値のうち、絶対値の大きい方を、符号の正負を維持して、エッジ信号Ｓ２５０の信号値とする。

（Ｂ）ブロック領域内の各位置において、第１エッジ信号Ｓ２３０の信号値と、第２エッジ信号Ｓ２４０の信号値との和を、エッジ信号Ｓ２５０の信号値とする。

（Ｃ）ブロック領域内の各位置において、第１エッジ信号Ｓ２３０の信号値と、第２エッジ信号Ｓ２４０の信号値との平均値を、エッジ信号Ｓ２５０の信号値とする。

（Ｄ）ブロック領域内の各位置において、第１エッジ信号Ｓ２３０の信号値と、第２エッジ信号Ｓ２４０の信号値との重み付け平均値を、エッジ信号Ｓ２５０の信号値とする。つまり、Ｓ２５０の信号値＝｛（Ｓ２３０の信号値×γ＋Ｓ２４０の信号値×ε）／（γ＋ε）｝とする。なお、γおよびεは、それぞれ、重みを表す任意の正数である。

なお、上記（Ａ）〜（Ｄ）の各演算は、第１エッジ信号Ｓ２３０の信号値に第１の係数（以下、係数Ｐ１と表記する）を乗算した値と、第２エッジ信号Ｓ２４０の信号値に第２の係数（以下、係数Ｐ２と表記する）を乗算した値とを加算することによって、エッジ信号Ｓ２５０の信号値を算出するものであると換言することができる。

具体的には、上記演算（Ａ）は、第１エッジ信号Ｓ２３０の信号値の絶対値が、第２エッジ信号Ｓ２４０の信号値の絶対値以上のとき、Ｐ１＝１およびＰ２＝０とし、一方、第１エッジ信号Ｓ２３０の信号値の絶対値が、第２エッジ信号Ｓ２４０の信号値の絶対値より小さいとき、Ｐ１＝０およびＰ２＝１として、第１エッジ信号Ｓ２３０×Ｐ１と、第２エッジ信号Ｓ２４０×Ｐ２とを加算することによりエッジ信号Ｓ２５０を算出するものである。

また、上記演算（Ｂ）は、Ｐ１＝１およびＰ２＝１として、第１エッジ信号Ｓ２３０×Ｐ１と、第２エッジ信号Ｓ２４０×Ｐ２とを加算することによりエッジ信号Ｓ２５０を算出するものである。

また、上記演算（Ｃ）は、Ｐ１＝０．５およびＰ２＝０．５として、第１エッジ信号Ｓ２３０×Ｐ１と、第２エッジ信号Ｓ２４０×Ｐ２とを加算することによりエッジ信号Ｓ２５０を算出するものである。

また、上記演算（Ｄ）は、Ｐ１＝｛γ／（γ＋ε）｝とし、Ｐ２＝｛ε／（γ＋ε）｝として、第１エッジ信号Ｓ２３０×Ｐ１と、第２エッジ信号Ｓ２４０×Ｐ２とを加算することによりエッジ信号Ｓ２５０を算出するものである。

なお、Ｐ１およびＰ２の値は、上記（Ａ）〜（Ｄ）の各演算の種類に応じて、エッジ算出部２５０が設定するものとする。

なお、エッジ信号Ｓ２５０は除算部２６０にて行なわれる除算に用いられるため、ゼロ除算を防止するために、演算後のエッジ信号Ｓ２５０には、常に所定値（“１０”など）が加算されるものとする。

次に、除算部２６０は、ブロック領域毎に、差信号Ｓ２２０をエッジ信号Ｓ２５０により除算する。言い換えれば、差信号Ｓ２２０をエッジ信号Ｓ２５０により正規化している。これにより、ブロック領域毎の動き量を表す動き信号Ｓ２６０を出力する。フレーム差をエッジ成分で除算することにより動き量を算出することができる理由については、後述する。なお、動き信号Ｓ２６０の信号値の値が大きいほど、動き量が大きいことを示す。

なお、リミッタ２７０は、動き信号Ｓ２６０のうち、絶対値が閾値ＴＨよりも小さい部分について、値を“０”（動きなし）に変更する。つまり、リミッタ２７０により、動き量の絶対値が閾値ＴＨよりも小さいブロック領域については、動きがないと見なす（動きが検出されなかったものとする）。言い換えれば、動き量の絶対値が閾値ＴＨ以上であるブロック領域のみについて、動きがあると見なす（動きが検出されたものとする）。なお、閾値ＴＨは、適宜、設定可能であるものとする。特に、エッジ算出部２５０が施す演算の種類に応じて設定されることが好ましい。

（フレーム差をエッジ成分で除算することにより動き量を算出できる理由）
上述のように、動き検出装置２００は、差信号Ｓ２２０をエッジ信号Ｓ２５０で除算する。この除算により生成される動き信号Ｓ２６０が、動き量を表すものである理由について説明する。

まず、動画像を構成するＭ番目のフレームにおける画面上の位置ｘに存在していた所定物体が、Ｍ＋１番目のフレームでは、画面上の主走査方向に距離ａだけ移動したものと仮定する。なお、Ｍは任意の整数とし、位置ｘは画面上の任意の座標位置を示す。ここで、Ｍ番目のフレームにおける画面上の位置ｘの画素値を、関数Ｐ_Ｍ（ｘ）と表記すると、下記数式（１）の関係が成り立つ。

ここで、上記数式（１）の右辺は、テイラー展開により、下記数式（２）に展開することができる。

次に、上記数式（２）の両辺から、Ｐ_Ｍ＋１（ｘ）を減算すると、下記数式（３）が導かれる。

次に、上記数式（３）の左辺に上記数式（１）を代入すると、下記数式（４）が導かれる。

次に、上記数式（４）の両辺を、Ｐ_Ｍ＋１’（ｘ）で除算すると、下記数式（５）が導かれる。

ここで、Ｐ_Ｍ＋１’（ｘ）は、Ｍ＋１番目のフレームにおける位置ｘのエッジを表すものであるから、上記数式（５）の左辺は、「位置ｘにおける画素値の、Ｍ番目のフレーム、および、Ｍ＋１番目のフレーム間における差分」を、「Ｍ＋１番目のフレームにおける位置ｘのエッジ」により除算したものである。一方、上記数式（５）の右辺は、動き量である距離ａである。

したがって、フレーム差をエッジ成分で除算することにより動き量を算出することができる。なお、エッジ成分で除算することにより正規化しているので、フレーム差の大小にかかわらず動き量を求めることができる。

（２つのエッジ成分を演算に用いる理由）
ところで、上述したように、動き検出装置２００では、第１エッジ検出部２３０にてＭ＋１番目のフレームのエッジ成分を検出するとともに、第２エッジ検出部２４０にてＭ番目のフレームのエッジ成分を検出する。そして、エッジ算出部２５０にて、第１エッジ信号Ｓ２３０の信号値、および、第２エッジ信号Ｓ２４０の信号値を用いて、エッジ信号Ｓ２５０を算出する。そして、除算部２６０にて、差信号Ｓ２２０をエッジ信号Ｓ２５０により除算する。

このように、Ｍ番目のフレームのエッジ成分、および、Ｍ＋１番目のフレームのエッジ成分から算出されたエッジ信号Ｓ２５０にて、フレーム差を除算する理由について、図２を参照しながら説明する。

図２の（ａ）は、Ｍ番目のフレームの信号の波形を示す模式図である。図２の（ｂ）は、Ｍ＋１番目のフレームの信号の波形を示す模式図である。なお、図２の（ａ）に示すＭ番目のフレームから、図２の（ｂ）に示すＭ＋１番目のフレームの間、所定物体が、形状を変えずに、等速で画面内を移動しているものとする。図２の（ｃ）は、図２の（ａ）に示した信号と、図２の（ｂ）に示した信号との差分（フレーム差）を示す模式図である。

ここで、背景技術の欄にて説明したように、図２の（ｃ）に示したフレーム差を、Ｍ＋１番目のフレームのエッジ成分のみで除算すると、例えば、図２の（ｄ）に示す波形が得られる。この場合、図２の（ｃ）に示すフレーム差を示す信号のうち、Ｍ＋１番目のフレームの信号から得られた部分（同図のＢからＣの区間の信号）については、除算により信号値が小さくなるが、Ｍ番目のフレームの信号から得られた部分（同図のＡからＢの区間の信号）については、Ｍ＋１番目のフレームのエッジ成分が無いので、除算しても信号値が小さくならない。この場合、除算により得られる動き信号Ｓ２６０に、信号値の大きい部分と小さい部分とが混在することとなる。この場合、背景技術の欄にて説明したように、同一の所定物体が移動しているにもかかわらず、フレーム差において、信号値の大きい部分と小さい部分との差が生じることとなるので、動き領域を適切に検出できない場合がある。

そこで、図２の（ｃ）に示したフレーム差を、Ｍ＋１番目のフレームのエッジ成分のみで除算するのではなく、Ｍ番目のフレームのエッジ成分、および、Ｍ＋１番目のフレームのエッジ成分から算出されたエッジ信号Ｓ２５０にて除算する。

なお、エッジ信号Ｓ２５０の算出方法は上述したとおりであり、特に、第１エッジ信号Ｓ２３０の信号値と、第２エッジ信号Ｓ２４０の信号値との大きい方を、エッジ信号Ｓ２５０の信号値とするのが好ましい。

このように算出したエッジ信号Ｓ２５０にて図２の（ｃ）に示したフレーム差を除算すると、例えば、図２の（ｅ）に示す波形が得られる。これにより、動き信号Ｓ２６０における、Ｍ番目のフレームの信号から得られた部分と、Ｍ＋１番目のフレームの信号から得られた部分とを略同一にすることができる。

この場合、動き信号Ｓ２６０は、所定物体の輝度レベルによらず、同一または類似のレベルにすることができる。

したがって、動き検出装置２００では、動き領域を適切に検出することができる。

なお、単にフレーム差を求める方法では、動き領域を適切に検出することはできない。一例として、画像の輝度データが８ビットデジタル信号である場合について説明する。この場合、輝度値は０〜２５５のいずかの値をとる。ここで、輝度値が「１０」の物体が毎フレーム５画素移動する場合と、輝度値が「１００」の物体が毎フレーム５画素移動する場合とでは、フレーム差は異なるが、動き量は同一の毎フレーム５画素である。しかしながら、単にフレーム差を動き量とする方法では、輝度値の高い物体が移動した場合の方が、大きな動き信号となってしまう。つまり、輝度値が「１００」の物体の動き量は、輝度値が「１０」である所定物体の１０倍の動き量を示すこととなる。

（動き検出装置の適用例）
次に、図３を参照しながら、動き検出装置２００の適用例について説明する。図３は、動き検出装置２００を備える信号処理装置５００の構成を示すブロック図である。信号処理装置５００は、概略的に言えば、動画像の動き領域を鮮鋭化する装置（エンハンサ）である。

同図に示すように、信号処理装置５００は、動き検出装置２００の他に、鮮鋭化処理部１００と、信号出力部３００と、遅延処理部４００とを備えている。

鮮鋭化処理部１００は、信号処理装置５００に入力される動画像を表す信号に対して、波形を鮮鋭化するための鮮鋭化処理を施し、該鮮鋭化された信号を出力するものである。ここで、鮮鋭化処理とは、入力される信号の立ち上がりおよび立ち下がりを急峻にする処理を指す。特に、画像に含まれる輪郭部分（エッジ）に相当する信号の立ち上がりおよび立ち下がりを急峻にするものである。鮮鋭化処理部１００の構成は特に限定されるものではなく、一般的に知られているものを用いることができる。

動き検出装置２００は、信号処理装置５００に入力される信号で表される動画像における、ブロック領域毎の動きを検出する。なお、ここでは、検出結果を、信号出力部３００に通知するものとする。

次に、信号出力部３００は、動き検出装置２００による動きの検出結果に従って、接続点Ｏｕｔと、接続点Ｉｎ１および接続点Ｉｎ２との接続を切り替えるスイッチである。具体的には、動き検出装置２００にて動きが検出されたとき、接続点Ｏｕｔと接続点Ｉｎ１とを接続する。一方、動き検出装置２００にて動きが検出されなかったとき、接続点Ｏｕｔと接続点Ｉｎ２とを接続する。

次に、遅延処理部４００は、信号処理装置５００に入力される信号と、鮮鋭化処理部１００から出力される信号との間のタイミングを調整するディレイ回路であり、遅延素子から成るものである。

上記構成により、信号出力部３００は、動き検出装置２００にて動きが検出されたブロック領域については、鮮鋭化処理部１００から出力される信号を、出力信号として出力する。一方、動き検出装置２００にて動きが検出されなかったブロック領域については、信号処理装置５００に入力される信号をそのまま出力信号として出力する。

以上の構成により、信号処理装置５００は、動画像の動き領域に対して鮮鋭化処理を施す。これにより、動画像の解像度感を向上させる。

（付記事項）
最後に、動き検出装置２００の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェアとして構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。

ソフトウェアによって実現する場合は、動き検出装置２００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである動き検出装置２００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記動き検出装置２００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ類、ＰＬＤ（Programmable logic device）等の論理回路類などを用いることができる。

また、動き検出装置２００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。

このように本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も含む。さらに、１つの手段の機能が２つ以上の物理的手段により実現されても、もしくは２つ以上の手段の機能が１つの物理的手段により実現されてもよい。

さらに、本発明に係る動き検出装置は、上記第３の高周波成分算出手段は、上記第１の高周波成分の絶対値が上記第２の高周波成分の絶対値以上のとき、上記第１の係数を１に設定するとともに、上記第２の係数を０に設定し、上記第１の高周波成分の絶対値が上記第２の高周波成分の絶対値より小さいとき、上記第１の係数を０に設定するとともに、上記第２の係数を１に設定する構成であってもよい。

上記の構成によれば、隣接する２つのフレームの一方に含まれる高周波成分（エッジ成分）と、当該隣接する２つのフレームの他方に含まれる高周波成分（エッジ成分）とのうち、絶対値の大きい方を、符号の正負を維持して、第３の高周波成分として算出することができる。

さらに、本発明に係る動き検出装置は、上記第３の高周波成分算出手段は、上記第１の係数と上記第２の係数との和が１になるように、上記第１の係数および上記第２の係数を０以上１以下のいずれかの値に設定する構成であってもよい。

上記の構成によれば、隣接する２つのフレームの一方に含まれる高周波成分（エッジ成分）の｛γ／（γ＋ε）｝倍と、当該隣接する２つのフレームの他方に含まれる高周波成分（エッジ成分）の｛ε／（γ＋ε）｝倍とを加算したものを、第３の高周波成分として算出することができる。なお、γおよびεは、それぞれ、重みを表す任意の正数である。

さらに、本発明に係る動き検出装置は、上記第３の高周波成分算出手段は、上記第１の係数および上記第２の係数を０．５に設定する構成であってもよい。

上記の構成によれば、隣接する２つのフレームの一方に含まれる高周波成分（エッジ成分）と、当該隣接する２つのフレームの他方に含まれる高周波成分（エッジ成分）との平均値を、第３の高周波成分として算出することができる。

さらに、本発明に係る動き検出装置は、上記第３の高周波成分算出手段は、上記第１の係数および上記第２の係数を１に設定する構成であってもよい。

上記の構成によれば、隣接する２つのフレームの一方に含まれる高周波成分（エッジ成分）と、当該隣接する２つのフレームの他方に含まれる高周波成分（エッジ成分）との和を、第３の高周波成分として算出することができる。

なお、上記動き検出装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記動き検出装置をコンピュータにて実現させる上記動き検出装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

さらに、上記集積回路を備えるチップなども、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求事項の範囲内で、いろいろと変更して実施することができるものである。

本発明は、動画像を表すデジタル信号を処理する信号処理装置に適用できる。特に、動画像を鮮鋭化する鮮鋭化処理装置（エンハンサ）等に好適に適用できる。

２００動き検出装置（集積回路）
２２０差分算出部（差分算出手段、差分算出回路）
２３０第１エッジ検出部（第１の高周波成分算出手段、第１の高周波成分算出回路）
２４０第２エッジ検出部（第２の高周波成分算出手段、第２の高周波成分算出回路）
２５０エッジ算出部（第３の高周波成分算出手段、第３の高周波成分算出回路）
２６０除算部（除算手段、除算回路）
Ｓ２２０差信号
Ｓ２３０第１エッジ信号（第１の高周波成分）
Ｓ２４０第２エッジ信号（第２の高周波成分）
Ｓ２５０エッジ信号（第３の高周波成分）
Ｓ２６０動き信号
Ｐ１第１の係数
Ｐ２第２の係数

Claims

時間的に連続する複数のフレームから構成される動画像を表す信号を入力として、フレームを構成する１または隣接する複数の画素から成るブロック領域毎に、フレーム間での動きを検出する動き検出装置であって、
隣接する２つのフレームの差分を表す差信号を算出する差分算出手段と、
上記２つのフレームの一方に含まれる第１の高周波成分を、上記ブロック領域毎に算出する第１の高周波成分算出手段と、
上記２つのフレームの他方に含まれる第２の高周波成分を、上記ブロック領域毎に算出する第２の高周波成分算出手段と、
上記ブロック領域毎に、上記第１の高周波成分に第１の係数を乗算した値と、上記第２の高周波成分に第２の係数を乗算した値とを加算することによって第３の高周波成分を算出する第３の高周波成分算出手段と、
上記ブロック領域毎に、上記差分算出手段にて算出した上記差信号を、上記第３の高周波成分算出手段にて算出した上記第３の高周波成分にて除算することによって、動き信号を算出する除算手段とを備え、
上記動き信号の値が、所定の閾値より大きい上記ブロック領域にて、動きを検出したものとすることを特徴とする動き検出装置。
上記第３の高周波成分算出手段は、
上記第１の高周波成分の絶対値が上記第２の高周波成分の絶対値以上のとき、上記第１の係数を１に設定するとともに、上記第２の係数を０に設定し、
上記第１の高周波成分の絶対値が上記第２の高周波成分の絶対値より小さいとき、上記第１の係数を０に設定するとともに、上記第２の係数を１に設定することを特徴とする請求項１に記載の動き検出装置。
上記第３の高周波成分算出手段は、上記第１の係数と上記第２の係数との和が１になるように、上記第１の係数および上記第２の係数を０以上１以下のいずれかの値に設定することを特徴とする請求項１に記載の動き検出装置。
上記第３の高周波成分算出手段は、上記第１の係数および上記第２の係数を０．５に設定することを特徴とする請求項３に記載の動き検出装置。
上記第３の高周波成分算出手段は、上記第１の係数および上記第２の係数を１に設定することを特徴とする請求項１に記載の動き検出装置。
請求項１から５のいずれか１項に記載の動き検出装置が備えるコンピュータを動作させる制御プログラムであって、上記コンピュータを上記の各手段として機能させるための制御プログラム。
時間的に連続する複数のフレームから構成される動画像を表す信号を入力として、フレームを構成する１または隣接する複数の画素から成るブロック領域毎に、フレーム間での動きを検出する集積回路であって、
隣接する２つのフレームの差分を表す差信号を算出する差分算出回路と、
上記２つのフレームの一方に含まれる第１の高周波成分を、上記ブロック領域毎に算出する第１の高周波成分算出回路と、
上記２つのフレームの他方に含まれる第２の高周波成分を、上記ブロック領域毎に算出する第２の高周波成分算出回路と、
上記ブロック領域毎に、上記第１の高周波成分に第１の係数を乗算した値と、上記第２の高周波成分に第２の係数を乗算した値とを加算することによって第３の高周波成分を算出する第３の高周波成分算出回路と、
上記ブロック領域毎に、上記差分算出回路にて算出した上記差信号を、上記第３の高周波成分算出回路にて算出した上記第３の高周波成分にて除算することによって、動き信号を算出する除算回路とを備えていることを特徴とする集積回路。