JP3747230B2

JP3747230B2 - 動画解析システム

Info

Publication number: JP3747230B2
Application number: JP2002332771A
Authority: JP
Inventors: 田整山; 川道教市
Original assignee: RIKEN Institute of Physical and Chemical Research
Current assignee: RIKEN Institute of Physical and Chemical Research
Priority date: 2002-11-15
Filing date: 2002-11-15
Publication date: 2006-02-22
Anticipated expiration: 2022-11-15
Also published as: US6873395B2; JP2004171058A; US20040095557A1

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ映像などの動画を解析する動画解析システムに係り、とりわけ、動画中での物体の動きを解析する動画解析システム、動画解析方法および動画解析プログラムに関する。
【０００２】
【従来の技術】
一般的に、ビデオ映像などの動画は、離散的な時間間隔（撮影間隔）で撮影された複数の静止画の集まりである。従来において、このような動画中での物体の動きを解析する際には、異なる離散時刻に撮影された静止画の画像同士を比較することにより、時間的に変化のある画素を抽出する手法が一般的にとられている。
【０００３】
しかしながら、このような従来の手法では、連続的な物体の動きを離散的な撮影間隔で捉えているので、物体の動きが速くなるにつれて、時間的に隣り合う静止画の画像同士を比較しても対応関係にある画素を見つけにくくなり、動画中での物体の動きを解析することが困難になる。
【０００４】
このような問題を解消するための方法としては、従来から、(1)物体の速い動きを捉えることができる程度に撮影間隔を短くする方法や、時間的に隣り合う離散データとしての静止画の画像間のデータをソフトウェアによって補間する方法が提案されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記(1)の方法では、撮影間隔を短くするために撮影機器の構成を根本的に見直す必要があるので、コスト的に現実的でない場合が多いという問題がある。また、上記(2)の方法では、ソフトウェアによる補間処理に多大な計算時間が必要となるので、速度の速い解析を実現することが困難であるという問題がある。
【０００６】
本発明はこのような点を考慮してなされたものであり、撮影される物体の動きが速い場合でも、動画中での物体の動きを簡易な構成で精度良くかつ高速に解析することができる、動画解析システム、動画解析方法および動画解析プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、第１の解決手段として、離散的な時間間隔で撮影された複数の静止画の集まりからなる動画を解析する動画解析システムにおいて、解析対象となる動画に含まれる個々の離散時刻の静止画の画像を時間的に順次加算することにより、異なる離散時刻の静止画の画像を異なる割合で含む第１加算画像および第２加算画像を生成する加算画像生成モジュールと、前記加算画像生成モジュールにより生成された前記第１加算画像および前記第２加算画像を比較することにより、解析対象となる動画の動き成分を検出する動き成分検出モジュールとを備え、前記加算画像生成モジュールは、前記第１加算画像および前記第２加算画像をそれぞれ保持するための第１メモリおよび第２メモリを有し、取り込まれた入力画像と前記第１メモリに保持されている現在の第１加算画像とを第１の割合で加算することで、前記第１メモリに保持されるべき新たな第１加算画像を生成するとともに、取り込まれた前記入力画像と前記第２メモリに保持されている現在の第２加算画像とを前記第１の割合とは異なる第２の割合で加算することで、前記第２メモリに保持されるべき新たな第２加算画像を生成することを特徴とする動画解析システムを提供する。
【０００９】
また、上述した第１の解決手段において、前記動き成分検出モジュールは、前記第１加算画像および前記第２加算画像の対応する画素同士を比較して動き成分を出力する比較器を有することが好ましい。
【００１０】
さらに、上述した第１の解決手段においては、前記加算画像生成モジュールにより生成された前記第１加算画像の中から所定の領域に位置する第１画素群を取り出す第１マトリクス展開モジュールと、前記加算画像生成モジュールにより生成された前記第２加算画像の中から前記所定の領域に対応する領域に位置する第２画素群を取り出す第２マトリクス展開モジュールとをさらに備え、前記動き成分検出モジュールの前記比較器は、前記第１マトリクス展開モジュールにより取り出された前記第１画素群と前記第２マトリクス展開モジュールにより取り出された前記第２画素群とを比較して動き成分を出力することが好ましい。
【００１１】
さらに、上述した第１の解決手段において、前記動き成分検出モジュールは、前記比較器により出力された動き成分を計数して動画の動き量を算出する計数器をさらに有することが好ましい。
【００１２】
さらに、上述した第１の解決手段においては、前記第１マトリクス展開モジュールにより取り出された前記第１画素群と前記第２マトリクス展開モジュールにより取り出された前記第２画素群とを空間的にずらしながら比較することにより、解析対象となる動画の動きの方向を検出する動き方向検出モジュールをさらに備えることが好ましい。
【００１３】
さらに、上述した第１の解決手段において、前記動き方向検出モジュールは、前記第１画素群に含まれる第１基準画素と前記第２画素群に含まれる第２基準画素とを比較して動き成分を出力する動き成分出力用比較器と、前記第１画素群のうち前記第１基準画素から少なくとも４方向にずれた箇所に位置する複数の画素と前記第２画素群の前記第２基準画素とをそれぞれ比較して前記各方向に対応する方向成分を出力する複数の方向成分出力用比較器と、前記動き成分出力用比較器により出力された動き成分を、前記各方向成分出力用比較器により出力された前記各方向に対応する方向成分に応じて選択的に出力することにより、前記各方向に対応する動き方向成分を出力する複数のマスク器とを有することが好ましい。
【００１４】
なお、上述した第１の解決手段において、前記各マスク器は、前記各方向に対応する方向成分が所定の閾値より大きいときに、前記動き成分を出力することが好ましい。また、前記各マスク器は、前記各方向に対応する方向成分と所定の閾値とを比較した結果と、前記各方向に対応する方向成分と一定の関係にある方向成分と所定の閾値とを比較した結果とが、論理演算上における排他的な関係にあるときに、前記動き成分を出力することが好ましい。
【００１５】
また、上述した第１の解決手段において、前記動き方向検出モジュールは、前記各マスク器により出力された動き方向成分を計数して前記各方向に対応する動き方向量を算出する計数器をさらに有することが好ましい。
【００１６】
本発明は、第２の解決手段として、離散的な時間間隔で撮影された複数の静止画の集まりからなる動画を解析する動画解析システムにおいて、解析対象となる動画に含まれる個々の離散時刻の静止画の画像を時間的に順次加算することにより、異なる離散時刻の静止画の画像を異なる割合で含む第１加算画像および第２加算画像を生成する加算画像生成モジュールと、前記加算画像生成モジュールにより生成された前記第１加算画像の中から所定の領域に位置する第１画素群を取り出す第１マトリクス展開モジュールと、前記加算画像生成モジュールにより生成された前記第２加算画像の中から前記所定の領域に対応する領域に位置する第２画素群を取り出す第２マトリクス展開モジュールと、前記第１マトリクス展開モジュールにより取り出された前記第１画素群と前記第２マトリクス展開モジュールにより取り出された前記第２画素群とを空間的にずらしながら比較することにより、解析対象となる動画の動きの方向を検出する動き方向検出モジュールとを備えたことを特徴とする動画解析システムを提供する。
【００１７】
なお、上述した第２の解決手段において、前記加算画像生成モジュールは、前記第１加算画像および前記第２加算画像をそれぞれ保持するための第１メモリおよび第２メモリを有し、取り込まれた入力画像と前記第１メモリに保持されている現在の第１加算画像とを第１の割合で加算することで、前記第１メモリに保持されるべき新たな第１加算画像を生成するとともに、取り込まれた前記入力画像と前記第２メモリに保持されている現在の第２加算画像とを前記第１の割合とは異なる第２の割合で加算することで、前記第２メモリに保持されるべき新たな第２加算画像を生成することが好ましい。
【００１８】
また、上述した第２の解決手段において、前記動き方向検出モジュールは、前記第１画素群に含まれる第１基準画素と前記第２画素群に含まれる第２基準画素とを比較して動き成分を出力する動き成分出力用比較器と、前記第１画素群のうち前記第１基準画素から少なくとも４方向にずれた箇所に位置する複数の画素と前記第２画素群の前記第２基準画素とをそれぞれ比較して前記各方向に対応する方向成分を出力する複数の方向成分出力用比較器と、前記動き成分出力用比較器により出力された動き成分を、前記各方向成分出力用比較器により出力された前記各方向に対応する方向成分に応じて選択的に出力することにより、前記各方向に対応する動き方向成分を出力する複数のマスク器とを有することが好ましい。
【００１９】
さらに、上述した第２の解決手段において、前記各マスク器は、前記各方向に対応する方向成分が所定の閾値より大きいときに、前記動き成分を出力することが好ましい。また、前記各マスク器は、前記各方向に対応する方向成分と所定の閾値とを比較した結果と、前記各方向に対応する方向成分と一定の関係にある方向成分と所定の閾値とを比較した結果とが、論理演算上における排他的な関係にあるときに、前記動き成分を出力することが好ましい。
【００２０】
さらに、上述した第２の解決手段において、前記動き方向検出モジュールは、前記各マスク器により出力された動き方向成分を計数して動画の動き方向量を算出する計数器をさらに有することが好ましい。
【００２５】
本発明によれば、解析対象となる動画に含まれる個々の離散時刻の静止画の画像を時間的に順次加算することにより２種類の画像（異なる離散時刻の静止画の画像を異なる割合で含む第１加算画像および第２加算画像）を生成した後、このようにして生成された２種類の画像を比較することにより、解析対象となる動画の動き成分を検出する。ここで、比較の対象となる２種類の画像はいずれも、異なる離散時刻に起きた事象を含むので、静止画の撮影間隔が離散的であるにもかかわらず、第１加算画像および第２加算画像の比較によって得られる結果は離散的にはならない。このため、撮影される物体の動きが速い場合でも、動画の動き成分を簡易な構成で精度良くかつ高速に解析することができる。特に、このような処理を実現する回路はハードウェア化が容易であり、また、比較の対象となる２種類の画像がいずれも、複数の画像を時間的に加算したものであるので、時間的な平均化の効果により、時間分解能を犠牲にすることなく耐ノイズ性能を向上させることができる。
【００２６】
また、本発明によれば、生成された第１加算画像の中から所定の領域に位置する第１画素群を取り出すとともに、第２加算画像の中から前記所定の領域に対応する領域に位置する第２画素群を取り出した後、取り出された第１画素群と第２画素群とを空間的にずらしながら比較することにより、解析対象となる動画の動きの方向を検出するようにしているので、動画の動きの方向を簡易な構成で解析することができる。
【００２７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００２８】
まず、図１により、本発明の一実施の形態に係る動画解析システムの全体構成について説明する。
【００２９】
図１に示すように、動画解析システム１は、加算画像生成モジュール１０、マトリクス展開モジュール２１，２２、動き成分検出モジュール３０および動き方向検出モジュール４０を備えている。
【００３０】
このうち、加算画像生成モジュール１０は、解析対象となる動画に含まれる個々の離散時刻の静止画の画像（入力画像）を時間的に順次加算することにより、異なる離散時刻の静止画の画像を異なる割合で含む２種類の加算画像（画像Ａおよび画像Ｂ）を生成するものである。
【００３１】
マトリクス展開モジュール２１，２２は、加算画像生成モジュール１０により生成された画像Ａおよび画像Ｂの中から所定の領域（例えば３×３の大きさの領域）に位置する画素群（第１画素群ａ（ｉ，ｊ）および第２画素群ｂ（ｉ，ｊ））をそれぞれ取り出すものである。
【００３２】
動き成分検出モジュール３０は、マトリクス展開モジュール２１，２２により取り出された第１画素群ａ（ｉ，ｊ）および第２画素群ｂ（ｉ，ｊ）を比較することにより、解析対象となる動画の動き成分を検出するものである。
【００３３】
動き方向検出モジュール４０は、マトリクス展開モジュール２１，２２により取り出された第１画素群ａ（ｉ，ｊ）および第２画素群ｂ（ｉ，ｊ）を空間的にずらしながら比較することにより、解析対象となる動画の動きの方向を検出するものである。
【００３４】
以下、図２乃至図１０により、図１に示す加算画像生成モジュール１０、マトリクス展開モジュール２１，２２、動き成分検出モジュール３０および動き方向検出モジュール４０の詳細について説明する。
【００３５】
＜加算画像生成モジュール＞
まず、図２により、加算画像生成モジュール１０の詳細について説明する。
【００３６】
図２に示すように、加算画像生成モジュール１０は、それぞれが１枚分の静止画の画像を保持することができる容量を持つ２つのメモリ１４，１８を有している。
【００３７】
ここで、加算画像生成モジュール１０は、入力画像を（１／ｎ）倍する乗算器１１と、メモリ１４に保持されている画像を（１／ｍ）倍する乗算器１２と、乗算器１１および乗算器１２から出力された結果を加算する加算器１３とを有する。これにより、加算画像生成モジュール１０においては、取り込まれた入力画像とメモリ１４に保持されている現在の画像とが第１の割合（（１／ｎ）対（１／ｍ））で加算され、このようにして得られた新たな画像は、画素ごとに再びメモリ１４の同じ番地に格納されるとともに、画像Ａとして出力される。なお、メモリ１４の初期値は、加算を開始する直前の入力画像または任意の固定値とすることが好ましい。
【００３８】
また、加算画像生成モジュール１０は、入力画像を（１／ｎ′）倍する乗算器１５と、メモリ１８に保持されている画像を（１／ｍ′）倍する乗算器１６と、乗算器１５および乗算器１６から出力された結果を加算する加算器１７とを有する。これにより、加算画像生成モジュール１０においては、取り込まれた入力画像とメモリ１８に保持されている現在の画像とが第２の割合（（１／ｎ′）対（１／ｍ′））で加算され、このようにして得られた新たな画像は、画素ごとに再びメモリ１８の同じ番地に格納されるとともに、画像Ｂとして出力される。なお、メモリ１８の初期値は、加算を開始する直前の画像または任意の固定値とすることが好ましい。
【００３９】
ここで、上述した第１の割合および第２の割合は、１／ｎ＋１／ｍ＝１で、かつ１／ｎ′＋１／ｍ′＝１という関係を満たす必要がある。また、このような第１の割合および第２の割合は互いに異なるようにする必要があり、例えば、画像Ａの方を（１／２）対（１／２）とし、画像Ｂの方を（１／４）対（３／４）とする。
【００４０】
これにより、メモリ１４，１８に保持されている画像Ａおよび画像Ｂは、異なる離散時刻の静止画の画像を足し合わせたものとなり、ｎ＜ｎ′とした場合には、画像Ａの方が画像Ｂよりも現在に近い事象をより多く含むことになる。すなわち、画像Ａおよび画像Ｂは、入力画像とメモリ１４，１８に保持されている現在の画像とが加算される割合の違いにより、一方の画像（例えば画像Ａ）がより最新の事象を反映した画像となり、もう一方の画像（例えば画像Ｂ）がより過去の事象を反映した画像となる。このため、このような画像Ａと画像Ｂとを比較することにより、動画の動き成分を検出することができる。
【００４１】
図３は、以上のようにして得られる画像Ａおよび画像Ｂの一例を示す概念図である。図３において、画像Ａおよび画像Ｂはいずれも、明るさが時間的に一定の楕円状の物体が左側から右側へ移動した場合に得られる画像である（図３では、明るいほど色が黒く表示されている）。なお、画像Ａおよび画像Ｂにおいて、上述した第１の割合および第２の割合はｎ＜ｎ′の関係にあり、画像Ａの方が画像Ｂよりも現在に近い事象をより多く含む。
【００４２】
なお、図２に示す加算画像生成モジュール１０においては、入力画像を（１／ｎ）倍または（１／ｎ′）倍し、メモリ１４，１８に保持されている画像を（１／ｍ）倍または（１／ｍ′）倍した後に、両者を加算するようにしているが、これに限らず、図４に示す加算画像生成モジュール６０のように、入力画像をｎ倍またはｎ′倍し、メモリ１４，１８に保持されている画像をｍ倍またはｍ′倍した後に、両者を加算し、加算後に（１／（ｎ＋ｍ））倍または（１／（ｎ′＋ｍ′））倍するようにしてもよい。
【００４３】
すなわち、図４に示すように、加算画像生成モジュール６０は、１枚分の静止画の画像を保持することができる容量を持つメモリ６５と、入力画像をｎ倍する乗算器６１と、メモリ６５に保持されている画像をｍ倍する乗算器６２と、乗算器６１および乗算器６２から出力された結果を加算する加算器６３と、加算器６３から出力された結果を（１／（ｎ＋ｍ））倍する乗算器６４とを有する。これにより、加算画像生成モジュール６０においては、取り込まれた入力画像とメモリ６５に保持されている現在の画像とが第１の割合（（１／ｎ）対（１／ｍ））で加算され、このようにして得られた新たな画像は、画素ごとに再びメモリ６５の同じ番地に格納されるとともに、画像Ａとして出力される。
【００４４】
また、加算画像生成モジュール６０は、１枚分の静止画の画像を保持することができる容量を持つメモリ７０と、入力画像をｎ′倍する乗算器６６と、メモリ７０に保持されている画像をｍ′倍する乗算器６７と、乗算器６６および乗算器６７から出力された結果を加算する加算器６８と、加算器６８から出力された結果を（１／（ｎ′＋ｍ′））倍する乗算器６９とを有する。これにより、加算画像生成モジュール６０においては、取り込まれた入力画像とメモリ７０に保持されている現在の画像とが第２の割合（（１／ｎ′）対（１／ｍ′））で加算され、このようにして得られた新たな画像は、画素ごとに再びメモリ７０の同じ番地に格納されるとともに、画像Ｂとして出力される。
【００４５】
図４に示す加算画像生成モジュール６０においては、加算器６３，６８におけるビット幅を十分にとる必要があるが、最初に割り算することによるビット落ちの問題がないので、より精密な結果を出力することができる。
【００４６】
ここで、入力画像および現在の画像を加算することで得られる画像Ａおよび画像Ｂの特性について、より一般的な記述をすると、次のとおりとなる。
【００４７】
画像中の画素位置（ｘ，ｙ）における時刻ｔでの画素の情報をＹ（ｘ，ｙ，ｔ）と表記すると、メモリに保持される画像は、次式（１）の漸化式に従う。
【００４８】
【数１】

【００４９】
なお、上式（１）において、ｎ＝０，１，２，３，４，…，ｔ、ｋ：正の実数、ｌ：正の実数である。また、時刻ｔ＝０における初期値Ｙ（ｘ，ｙ，ｔ＝０）は、加算を開始する直前の入力画像または固定値とする。
【００５０】
上式（１）に従って、２種類の画像（平均画像）をＹ_ｆ（ｘ，ｙ，ｔ）、Ｙ_ｓ（ｘ，ｙ，ｔ）と表記すると、メモリに保持される画像は、下式（２）（３）のとおりとなる。
【００５１】
【数２】

【００５２】
一般的に、ｌ_ｆ≠ｌ_ｓ、ｋ_ｆ≠ｋ_ｓのいずれかが成り立っていなければならず、両方が成り立っていてもかまわない。例えば、ｌ_ｆ＜ｌ_ｓで、かつｋ_ｆ＝ｋ_ｓである場合、Ｙ_ｆ（ｘ，ｙ，ｔ）はＹ_ｓ（ｘ，ｙ，ｔ）よりも現在に近い事象を多く含むものとなる。また、ｌ_ｆ＝ｌ_ｓで、かつｋ_ｆ＜ｋ_ｓである場合も同様である。
【００５３】
このため、このような２種類の画像を比較することにより、動画の動き成分を容易に検出することができる。
【００５４】
また、このような２種類の画像を空間的にずらして比較する、すなわちＹ_ｆ（ｘ＋Δｘ，ｙ＋Δｙ，ｔ）とＹ_ｓ（ｘ，ｙ，ｔ）とを比較することにより、動画の動きの方向を検出することができる。
【００５５】
なお、上述した説明においては、加算画像生成モジュール１０および６０において、入力画像とメモリ１４，１８およびメモリ６５，７０に保持されている現在の画像とが加算される割合を変えることにより、２種類の画像（画像Ａおよび画像Ｂ）が異なる離散時刻の静止画の画像を異なる割合で含むようにしているが、これに限らず、入力画像とメモリ１４，１８および６５，７０に保持されている現在の画像とが加算されるフレームを変えることにより、２種類の画像（画像Ａおよび画像Ｂ）が異なる離散時刻の静止画の画像を異なる割合で含むようにしてもよい。この後者の場合、上式（１）においては、ｋ≠０となり、上式（２）（３）において、ｋ_ｆ≠０、ｋ_ｓ≠０となる。
【００５６】
＜マトリクス展開モジュール＞
次に、図５により、マトリクス展開モジュール２１，２２の詳細について説明する。なおここでは、画像中から３×３の大きさの領域（ウィンドウ領域）に位置する画素群を取り出す場合を例に挙げて説明する。
【００５７】
図５に示すように、マトリクス展開モジュール２１，２２は、水平方向のラインメモリ２３，２４と、１画素分の情報を保持する１１個のメモリ２５，２６，２７とを有している。このようなマトリクス展開モジュール２１，２２において、加算画像生成モジュール１０から１画素単位で入力される情報は、ラインメモリ２３，２４およびメモリ２５，２６に順次蓄積されながら、９×９のメモリ（画素メモリ）２７にライン別に順次出力される。これにより、９個の画素メモリ２７には常に、画像中の任意の領域にある３×３の画素の情報が蓄積されることとなり、３×３の行列Ｏ（ｉ，ｊ）（第１画素群ａ（ｉ，ｊ）または第２画素群ｂ（ｉ，ｊ））として出力される。
【００５８】
なお、マトリクス展開モジュール２１，２２により取り出された第１画素群ａ（ｉ，ｊ）および第２画素群ｂ（ｉ，ｊ）は、動き成分検出モジュール３０および動き方向検出モジュール４０に入力される。
【００５９】
＜動き成分検出モジュール＞
図１に示すように、動き成分検出モジュール３０は、画像Ａおよび画像Ｂの対応する画素同士を比較して動き成分を出力する比較器３１を有している。
【００６０】
ここで、比較器３１としては、図６に示すように、マトリクス展開モジュール２１，２２により取り出された第１画素群ａ（ｉ，ｊ）および第２画素群ｂ（ｉ，ｊ）のうちの任意の画素同士を比較するものを用いることができる。
【００６１】
図６に示すように、比較器３１は、入力されたスカラー量ａ，ｂの差をとる減算器３３と、減算器３３から出力された結果の絶対値をとる絶対値化器３４とを有する。これにより、比較器３１においては、スカラー量ａ，ｂとして入力された画素の情報（例えば、第１画素群ａ（ｉ，ｊ）および第２画素群ｂ（ｉ，ｊ）の中央に位置するａ（２，２）およびｂ（２，２））の差がとられ、その絶対値が比較結果として出力される。
【００６２】
なお、このようにして比較器３１から出力された比較結果は、画像Ａおよび画像Ｂの対応する画素の時間的な変化（動き成分）を表しているので、このような比較結果に基づいて、動画の動き成分のみを抽出した画像（動き成分画像）を得ることができる。
【００６３】
ここで、図６に示す比較器３１では、第１画素群ａ（ｉ，ｊ）および第２画素群ｂ（ｉ，ｊ）のうちの任意の画素の情報（例えば、画素群の中央に位置するａ（２，２）およびｂ（２，２））に基づいて比較結果を出力しているが、これに限らず、図７に示す比較器３５のように、３×３のウィンドウ領域に位置する第１画素群ａ（ｉ，ｊ）および第２画素群ｂ（ｉ，ｊ）の全ての画素の情報に基づいて比較結果を出力するようにしてもよい。
【００６４】
すなわち、図７に示すように、比較器３５は、入力された３×３のマトリクス量ａ（ｉ，ｊ）およびｂ（ｉ，ｊ）に含まれる対応する要素（添え字が同一の要素）同士の差をとる９つのスカラー量比較器３６と、スカラー量比較器３６から出力された結果の和をとる加算器３５とを有する。なお、スカラー量比較器３６としては、図６に示す比較器３１を用いることができる。これにより、比較器３５においては、添え字が同一の９つの要素（ａ（ｉ，ｊ）およびｂ（ｉ，ｊ））の差がとられ、その絶対値の和が比較結果として出力される。なお、図７に示す比較器３５では、単純にａ（ｉ，ｊ）およびｂ（ｉ，ｊ）の差を求めているが、これに限らず、既存の任意の手法によりａ（ｉ，ｊ）およびｂ（ｉ，ｊ）間の相関を求めるようにしてもよい。
【００６５】
なお、動き成分検出モジュール３０には、比較器３１により出力された出力結果（動き成分）を計数するカウンタ（計数器）３２が設けられており、各画素の時間的な変化（動き成分）を画像の一部または全体にわたって集計することにより、動画の局所的または全体的な動き量を得ることができる。
【００６６】
＜動き方向検出モジュール＞
図１に示すように、動き方向検出モジュール４０は、第１画素群ａ（ｉ，ｊ）の中央に位置するａ（２，２）と第２画素群ｂ（ｉ，ｊ）の中央に位置するｂ（２，２）とを比較して動き成分（Ｍ）を出力する動き成分出力用比較器４１ａと、第１画素群ａ（ｉ，ｊ）のうちａ（２，２）から（＋ｘ，＋ｙ，−ｘ，−ｙ）の４方向にずれた箇所に位置する複数の画素（ａ（２，３），ａ（１，２），ａ（２，１），ａ（３，２））と第２画素群ｂ（ｉ，ｊ）のｂ（２，２）とをそれぞれ比較して各方向に対応する方向成分（Ｄ）を出力する複数の方向成分出力用比較器４１ｂとを有している。
【００６７】
また、動き方向検出モジュール４０は、動き成分出力用比較器４１ａにより出力された動き成分（Ｍ）を、各方向成分出力用比較器４１ｂにより出力された各方向に対応する方向成分（Ｄ）に応じて選択的に出力することにより、各方向（＋ｘ，＋ｙ，−ｘ，−ｙ）に対応する動き方向成分を出力する複数のマスク器４２とを有している。
【００６８】
図８はこのようなマスク器４２を示す図である。図８に示すように、各マスク器４２は、方向成分（Ｄ）と閾値（Ｔ）との大小を比較し、Ｄ＞Ｔのときに“１”、Ｄ≦Ｔのときに“０”を出力する大小比較器４４と、動き成分（Ｍ）と大小比較器４４の出力結果との論理積をとるＡＮＤ回路４５とを有する。これにより、各マスク器４２においては、各方向に対応する方向成分（Ｄ）が所定の閾値（Ｔ）より大きいときに、動き成分（Ｍ）が出力され、それ以外では“０”が出力される。なお、このようにして各マスク器４２から出力された結果は、（＋ｘ，＋ｙ，−ｘ，−ｙ）のいずれかの方向にのみ動く画素の動き成分（動き方向成分）を表しているので、このような結果に基づいて、特定の方向にのみ動く動画の動き成分を抽出した画像（動き方向画像）を得ることができる。
【００６９】
ここで、図８に示すマスク器４２は、１つの方向成分（Ｄ）のみに基づいて動き成分（Ｍ）を選択的に出力しているが、これに限らず、図９に示すマスク器４６のように、２つ以上の方向成分（Ｄ，Ｄ′）に基づいて動き成分（Ｍ）を選択的に出力してもよい。
【００７０】
すなわち、図９に示すように、各マスク器４６は、方向成分（Ｄ）と閾値（Ｔ）との大小を比較し、Ｄ＞Ｔのときに“１”、Ｄ≦Ｔのときに“０”を出力する大小比較器４７と、方向成分（Ｄ）の方向から９０°ずれた方向の方向成分（Ｄ′）と閾値（Ｔ）との大小を比較し、Ｄ′＜Ｔのときに“１”、Ｄ′≧Ｔのときに“０”を出力する大小比較器４７と、大小比較器４７の出力結果と大小比較器４８の出力結果との論理積をとるＡＮＤ回路４９と、動き成分４８とＡＮＤ回路４９の出力結果との論理積をとるＡＮＤ回路５０とを有する。これにより、各マスク器４６においては、各方向（例えば＋ｘ）に対応する方向成分（Ｄ）とそれと一定の関係（９０°ずれた方向（例えば＋ｙ））にある方向成分（Ｄ′）とが排他的な関係にあるときに、動き成分（Ｍ）が出力され、それ以外では０が出力される。
【００７１】
ここで、特定の方向（例えば＋ｘ方向）にのみ動く画素の動き成分（動き方向成分）を抽出する場合を例に挙げると、図８に示すマスク器４２では、図１０（ａ）に示すように、画像Ａ′（画像ＡをΔｘだけずらした画像）と画像Ｂとの差に対応する部分８１（斜線部分）を選択出力部分（マスク対応部分）とし、この部分にある動き成分（Ｍ）のみを選択的に出力する。これに対し、図９に示すマスク器４６では、図１０（ｂ）に示すように、画像Ａ′（画像ＡをΔｘだけずらした画像）と画像Ｂとの差に対応する部分（斜線部分）から、画像Ａ_１″または画像Ａ_２″（画像ＡをΔｙまたは−Δｙだけずらした画像）と画像Ｂとの差に対応する部分（網点部分）を除いた部分８２（クロスハッチ部分）を、選択出力部分（マスク対応部分）とし、この部分にある動き成分（Ｍ）のみを選択的に出力する。
【００７２】
一般に、物体の形状（外形）に斜め方向成分が含まれている場合には、物体が実際には＋ｘ方向にのみ動いている場合にも±ｙ方向への移動成分が現れる。すなわち、図１０（ｂ）において、画像ＡをΔｘだけずらした画像Ａ′と画像Ｂとの差に対応する部分（斜線部分）のうち、画像ＡをΔｙ（または−Δｙ）だけずらした画像Ａ_１″（または画像Ａ_２″）と画像Ｂとの差に対応する部分（網点部分）と重なる部分（符号８１，８２参照）では、物体が＋ｘ方向に動く場合にも±ｙ方向に動く場合にも動き成分（Ｍ）が現れる。しかしながら、図９に示すマスク器４６では、このような部分を選択出力部分（マスク対応部分）から外すことができるので、物体の形状にかかわらず、特定の方向（例えば＋ｘ方向）にのみ動く画素の動き成分（動き方向成分）を精度良く確実に抽出することができる。
【００７３】
なお、動き方向検出モジュール４０には、各マスク器４２により出力された出力結果（動き方向成分）を各方向（＋ｘ，＋ｙ，−ｘ，−ｙ）ごとに計数する複数のカウンタ（計数器）４３が設けられており、各画素の動き方向成分を各方向（＋ｘ，＋ｙ，−ｘ，−ｙ）ごとに画像の一部または全体にわたって集計することにより、動画の各方向（＋ｘ，＋ｙ，−ｘ，−ｙ）に対応する局所的または全体的な動き方向量を得ることができる。
【００７４】
ここで、このような４方向（＋ｘ，＋ｙ，−ｘ，−ｙ）の動き方向量を用いることにより、動画の動きの方向を任意の方向で捉えることが可能である。すなわち、＋ｘの動き方向量および−ｘの動き方向量のいずれか絶対値の大きい方をＸとし、同様に、＋ｙの動き方向成分および−ｙの動き方向量のいずれか絶対値の大きい方をＹとし、ベクトル（Ｘ，Ｙ）をつくると、動画の動きの方向を表す角度Θは、
Θ＝ｔａｎ^−１（Ｙ／Ｘ）
と表される。
【００７５】
このように本実施の形態によれば、加算画像生成モジュール１０により、解析対象となる動画に含まれる個々の離散時刻の静止画の画像を時間的に順次加算することにより２種類の画像（異なる離散時刻の静止画の画像を異なる割合で含む画像Ａおよび画像Ｂ）を生成した後、動き成分検出モジュール３０により、このようにして生成された２種類の画像（画像Ａおよび画像Ｂ）を比較することにより、解析対象となる動画の動き成分を検出する。ここで、比較の対象となる２種類の画像（画像Ａおよび画像Ｂ）はいずれも、異なる離散時刻に起きた事象を含むので、静止画の撮影間隔が離散的であるにもかかわらず、画像Ａおよび画像Ｂの比較によって得られる結果は離散的にはならない。このため、撮影される物体の動きが速い場合でも、動画の動き成分を簡易な構成で精度良くかつ高速に解析することができる。特に、このような処理を実現する回路はハードウェア化が容易であり、また、比較の対象となる２種類の画像（画像Ａおよび画像Ｂ）がいずれも、複数の画像を時間的に加算したものであるので、時間的な平均化の効果により、時間分解能を犠牲にすることなく耐ノイズ性能を向上させることができる。
【００７６】
また、本実施の形態によれば、マトリクス展開モジュール２１，２２により、加算画像生成モジュール１０により生成された画像Ａの中から３×３のウィンドウ領域に位置する第１画素群ａ（ｉ，ｊ）を取り出すとともに、画像Ｂの中から前記ウィンドウ領域に対応する領域に位置する第２画素群ｂ（ｉ，ｊ）を取り出した後、動き方向検出モジュール４０により、取り出された第１画素群ａ（ｉ，ｊ）と第２画素群ｂ（ｉ，ｊ）とを空間的にずらしながら比較することにより、解析対象となる動画の動きの方向を検出するようにしているので、動画の動きの方向を簡易な構成で解析することができる。
【００７７】
なお、以上のようにして得られた動画の動き成分等はロボット等の各種の制御系で用いることが可能である。は、ロボット等の各種の制御系で用いることが可能である。
【００７８】
なお、上述した実施の形態においては、動き成分検出モジュール３０の比較器３１において、マトリクス展開モジュール２１，２２により取り出された第１画素群ａ（ｉ，ｊ）および第２画素群ｂ（ｉ，ｊ）を比較することにより、解析対象となる動画の動き成分を検出するようにしているが、第１画素群ａ（ｉ，ｊ）および第２画素群ｂ（ｉ，ｊ）のうちの任意の画素同士を比較する場合には、マトリクス展開モジュール２１，２２を介することなく、加算画像生成モジュール１０から出力された画像Ａおよび画像Ｂの対応する画素同士を直接比較するようにしてもよい。
【００７９】
また、上述した実施の形態においては、動き方向検出モジュール４０において、空間的にずらした画像Ａと画像Ｂとの差の絶対値をとることで得られた方向成分（Ｄ）を各マスク器４２で用いるようにしているが、これに限らず、方向成分（Ｄ）に適当な演算を行ったものを各マスク器４２で用いるようにしてもよい。
【００８０】
さらに、上述した実施の形態においては、動き方向検出モジュール４０において、動き成分（Ｍ）を選択的に出力するための手段として、各方向成分出力用比較器４１ｂに加えて、動き成分出力用比較器４１ａおよびマスク器４２を用いているが、動き方向量や動きを表す角度Θを求めるだけであれば、各方向に対応する方向成分（Ｄ）を出力する方向成分出力用比較器４１ｂがあればよく、この場合には、動き成分出力用比較器４１ａおよびマスク器４２は必要とされない。
【００８１】
なお、上述した実施の形態において、加算画像生成モジュール１０、マトリクス展開モジュール２１，２２、動き成分検出モジュール３０および動き方向検出モジュール４０はいずれも、コンピュータ上で稼働するプログラムとして実現することができる。このようなプログラムは、コンピュータ上のメモリやハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ等のようなコンピュータ読み取り可能な記録媒体に格納され、コンピュータ上のＣＰＵ（中央演算処理装置）から逐次読み出されて実行されることにより上述したような機能を実現することができる。
【００８２】
【発明の効果】
以上説明したように本発明によれば、撮影される物体の動きが速い場合でも、動画中での物体の動きを簡易な構成で精度良くかつ高速に解析することができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る動画解析システムの全体構成を示すブロック図。
【図２】図１に示す動画解析システムの加算画像生成モジュールの一例を示すブロック図。
【図３】図１に示す動画解析システムの加算画像生成モジュールにより生成される加算画像（画像Ａおよび画像Ｂ）の一例を示す概念図。
【図４】図１に示す動画解析システムの加算画像生成モジュールの他の例を示すブロック図。
【図５】図１に示す動画解析システムのマトリクス展開モジュールの一例を示すブロック図。
【図６】図１に示す動画解析システムの動き成分検出モジュールに含まれる比較器の一例を示すブロック図。
【図７】図１に示す動画解析システムの動き成分検出モジュールに含まれる比較器の他の例を示すブロック図。
【図８】図１に示す動画解析システムの動き方向検出モジュールに含まれるマスク器の一例を示すブロック図。
【図９】図１に示す動画解析システムの動き方向検出モジュールに含まれるマスク器の他の例を示すブロック図。
【図１０】図８および図９に示すマスク器の機能を説明するための概念図。
【符号の説明】
１動画解析システム
１０，６０加算画像生成モジュール
１４，１８，６５，７０メモリ
２１，２２マトリクス展開モジュール
３０動き成分検出モジュール
３１，３５比較器
３２カウンタ（計数器）
４０動き方向検出モジュール
４１比較器
４２，４６マスク器
４３カウンタ（計数器）

Claims

離散的な時間間隔で撮影された複数の静止画の集まりからなる動画を解析する動画解析システムにおいて、
解析対象となる動画に含まれる個々の離散時刻の静止画の画像を時間的に順次加算することにより、異なる離散時刻の静止画の画像を異なる割合で含む第１加算画像および第２加算画像を生成する加算画像生成モジュールと、
前記加算画像生成モジュールにより生成された前記第１加算画像および前記第２加算画像を比較することにより、解析対象となる動画の動き成分を検出する動き成分検出モジュールとを備え、
前記加算画像生成モジュールは、前記第１加算画像および前記第２加算画像をそれぞれ保持するための第１メモリおよび第２メモリを有し、取り込まれた入力画像と前記第１メモリに保持されている現在の第１加算画像とを第１の割合で加算することで、前記第１メモリに保持されるべき新たな第１加算画像を生成するとともに、取り込まれた前記入力画像と前記第２メモリに保持されている現在の第２加算画像とを前記第１の割合とは異なる第２の割合で加算することで、前記第２メモリに保持されるべき新たな第２加算画像を生成することを特徴とする動画解析システム。
前記動き成分検出モジュールは、前記第１加算画像および前記第２加算画像の対応する画素同士を比較して動き成分を出力する比較器を有することを特徴とする、請求項１に記載の動画解析システム。
前記加算画像生成モジュールにより生成された前記第１加算画像の中から所定の領域に位置する第１画素群を取り出す第１マトリクス展開モジュールと、
前記加算画像生成モジュールにより生成された前記第２加算画像の中から前記所定の領域に対応する領域に位置する第２画素群を取り出す第２マトリクス展開モジュールとをさらに備え、
前記動き成分検出モジュールの前記比較器は、前記第１マトリクス展開モジュールにより取り出された前記第１画素群と前記第２マトリクス展開モジュールにより取り出された前記第２画素群とを比較して動き成分を出力することを特徴とする、請求項２に記載の動画解析システム。
前記動き成分検出モジュールは、前記比較器により出力された動き成分を計数して動画の動き量を算出する計数器をさらに有することを特徴とする、請求項２または３に記載の動画解析システム。
前記第１マトリクス展開モジュールにより取り出された前記第１画素群と前記第２マトリクス展開モジュールにより取り出された前記第２画素群とを空間的にずらしながら比較することにより、解析対象となる動画の動きの方向を検出する動き方向検出モジュールをさらに備えたことを特徴とする、請求項３に記載の動画解析システム。
前記動き方向検出モジュールは、前記第１画素群に含まれる第１基準画素と前記第２画素群に含まれる第２基準画素とを比較して動き成分を出力する動き成分出力用比較器と、前記第１画素群のうち前記第１基準画素から少なくとも４方向にずれた箇所に位置する複数の画素と前記第２画素群の前記第２基準画素とをそれぞれ比較して前記各方向に対応する方向成分を出力する複数の方向成分出力用比較器と、前記動き成分出力用比較器により出力された動き成分を、前記各方向成分出力用比較器により出力された前記各方向に対応する方向成分に応じて選択的に出力することにより、前記各方向に対応する動き方向成分を出力する複数のマスク器とを有することを特徴とする、請求項５に記載の動画解析システム。
前記各マスク器は、前記各方向に対応する方向成分が所定の閾値より大きいときに、前記動き成分を出力することを特徴とする、請求項６に記載の動画解析システム。
前記各マスク器は、前記各方向に対応する方向成分と所定の閾値とを比較した結果と、前記各方向に対応する方向成分と一定の関係にある方向成分と所定の閾値とを比較した結果とが、論理演算上における排他的な関係にあるときに、前記動き成分を出力することを特徴とする、請求項６に記載の動画解析システム。
前記動き方向検出モジュールは、前記各マスク器により出力された動き方向成分を計数して前記各方向に対応する動き方向量を算出する計数器をさらに有することを特徴とする、請求項６乃至８のいずれかに記載の動画解析システム。
離散的な時間間隔で撮影された複数の静止画の集まりからなる動画を解析する動画解析システムにおいて、
解析対象となる動画に含まれる個々の離散時刻の静止画の画像を時間的に順次加算することにより、異なる離散時刻の静止画の画像を異なる割合で含む第１加算画像および第２加算画像を生成する加算画像生成モジュールと、
前記加算画像生成モジュールにより生成された前記第１加算画像の中から所定の領域に位置する第１画素群を取り出す第１マトリクス展開モジュールと、
前記加算画像生成モジュールにより生成された前記第２加算画像の中から前記所定の領域に対応する領域に位置する第２画素群を取り出す第２マトリクス展開モジュールと、
前記第１マトリクス展開モジュールにより取り出された前記第１画素群と前記第２マトリクス展開モジュールにより取り出された前記第２画素群とを空間的にずらしながら比較することにより、解析対象となる動画の動きの方向を検出する動き方向検出モジュールとを備えたことを特徴とする動画解析システム。
前記加算画像生成モジュールは、前記第１加算画像および前記第２加算画像をそれぞれ保持するための第１メモリおよび第２メモリを有し、取り込まれた入力画像と前記第１メモリに保持されている現在の第１加算画像とを第１の割合で加算することで、前記第１メモリに保持されるべき新たな第１加算画像を生成するとともに、取り込まれた前記入力画像と前記第２メモリに保持されている現在の第２加算画像とを前記第１の割合とは異なる第２の割合で加算することで、前記第２メモリに保持されるべき新たな第２加算画像を生成することを特徴とする、請求項１０に記載の動画解析システム。
前記動き方向検出モジュールは、前記第１画素群に含まれる第１基準画素と前記第２画素群に含まれる第２基準画素とを比較して動き成分を出力する動き成分出力用比較器と、前記第１画素群のうち前記第１基準画素から少なくとも４方向にずれた箇所に位置する複数の画素と前記第２画素群の前記第２基準画素とをそれぞれ比較して前記各方向に対応する方向成分を出力する複数の方向成分出力用比較器と、前記動き成分出力用比較器により出力された動き成分を、前記各方向成分出力用比較器により出力された前記各方向に対応する方向成分に応じて選択的に出力することにより、前記各方向に対応する動き方向成分を出力する複数のマスク器とを有することを特徴とする、請求項１０または１１に記載の動画解析システム。
前記各マスク器は、前記各方向に対応する方向成分が所定の閾値より大きいときに、前記動き成分を出力することを特徴とする、請求項１２に記載の動画解析システム。
前記各マスク器は、前記各方向に対応する方向成分と所定の閾値とを比較した結果と、前記各方向に対応する方向成分と一定の関係にある方向成分と所定の閾値とを比較した結果とが、論理演算上における排他的な関係にあるときに、前記動き成分を出力することを特徴とする、請求項１２に記載の動画解析システム。
前記動き方向検出モジュールは、前記各マスク器により出力された動き方向成分を計数して動画の動き方向量を算出する計数器をさらに有することを特徴とする、請求項１２乃至１４のいずれかに記載の動画解析システム。