JP3810657B2 - 運動物体検出方法および装置 - Google Patents
運動物体検出方法および装置 Download PDFInfo
- Publication number
- JP3810657B2 JP3810657B2 JP2001232667A JP2001232667A JP3810657B2 JP 3810657 B2 JP3810657 B2 JP 3810657B2 JP 2001232667 A JP2001232667 A JP 2001232667A JP 2001232667 A JP2001232667 A JP 2001232667A JP 3810657 B2 JP3810657 B2 JP 3810657B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- optical flow
- image frame
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像から運動物体を検出するための運動物体検出方法および装置に関する。
【０００２】
【従来の技術】
従来、オプティカルフローを検出して、動画像から運動物体を検出する運動物体検出方法が知られている。ここで、オプティカルフローとは、過去の画像フレームの各点が現時刻の画像フレームのどの点に移動したかを示すものをいう (図８参照)。図８において、現画像フレームにおける運動物体（以下、現画像フレームの運動物体という。）８１０は、数フレーム分過去の画像フレームにおける運動物体８２０（以下、数フレーム前の運動物体という。）から移動したものであり、この移動をオプティカルフロー８３０で表す。
【０００３】
ここで、現画像フレームの運動物体８１０が占める領域と数フレーム前の運動物体８２０が占める領域との論理和を取った領域をオプティカルフロー発生領域８４０という。
オプティカルフロー発生領域８４０は、画像フレームを１画素以上の領域に分割し、過去の画像フレーム上の各領域に対して最も類似度が高くなる領域を、現時刻の画像フレーム上から検出することによって求まる。ここで、類似度の尺度として、差分絶対値和や差分二乗和、相関値などが用いられる。
【０００４】
上記のような処理を行うには時間がかかり、対応点を探索する範囲（以下、対応点探索範囲という。）を過去の画像フレーム上の所定領域近傍に限定してオプティカルフロー発生領域の検出を行うのが一般的であり、運動物体がこの対応点探索範囲外に移動した場合、はみ出た領域については正確にオプティカルフロー発生領域を検出することができない。
【０００５】
そのため、オプティカルフロー発生領域を検出する処理において、検出対象のフレーム間隔を短くする必要がある。一方、遅い運動物体については、短いフレーム間隔では十分な動きが生じないため、正確にオプティカルフロー発生領域を検出するためにはフレーム間隔を長くする必要がある。
【０００６】
このような観点から、処理するフレーム間隔を運動物体の速度に合わせて変更することによって上記の要求に対応する従来技術が、特開平９−１６７７６号公報に開示されている。この方法は、求めたオプティカルフローの有効度を評価し、その有効度に基づいてフレーム間隔の調整を行うものである。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の運動物体検出方法においてフレーム間隔を調整する方法では、1つの運動物体が速度を変化させながら移動するような場合にはオプティカルフロー発生領域を検出することが可能であるが、画像上で見かけの動き量が大きく異なる運動物体が複数、混在する場合は、全ての運動物体に対して正確にオプティカルフロー発生領域を検出することはできないという問題がある。
【０００８】
本発明はこのような問題を解決するためになされたもので、画像上で見かけの動き量が大きく異なる運動物体が複数、混在する場合でも正確にオプティカルフロー発生領域を検出することが可能な、運動物体検出方法および装置を提供することである。
【０００９】
【課題を解決するための手段】
本発明の運動物体検出方法は、動画像を構成する第１の画像フレームと第２の画像フレームとを用いて、画像フレーム中の運動物体の占める領域の論理和であるオプティカルフロー発生領域を前記第１の画像フレームにおいて検出する第１のステップと、前記第１の画像フレームと前記第２の画像フレームとよりも過去の複数の画像フレームのうちの第１の過去画像フレームと前記第１の画像フレームとを用い、前記第１の画像フレームにおけるオプティカルフロー発生領域を検出し、また、前記第１の過去画像フレームと前記第１の過去画像フレームよりも過去の第２の過去画像フレームとを用いて前記第１の過去画像フレームにおけるオプティカルフロー発生領域とを検出する第２のステップと、前記第１のステップで検出された前記第１の画像フレームにおける第１のオプティカルフロー発生領域、前記第２のステップで検出された前記第１の画像フレームにおける第２のオプティカルフロー発生領域、および前記第２のステップで検出された前記第１の過去画像フレームにおける第３のオプティカルフロー発生領域とにおいて、前記第２のオプティカルフロー発生領域から前記第３のオプティカルフロー発生領域を引き算して、運動物体のオプティカルフロー発生領域を検出し、前記運動物体のオプティカルフロー発生領域と、前記第１のオプティカルフロー発生領域との論理和を求めることにより複数の運動物体のオプティカルフロー発生領域を個別に検出するステップとを備え、前記第２の画像フレームは、前記第１の画像フレームよりも過去の画像フレームである構成を有している。この構成により、第１画像についての異なる２つのオプティカルフロー発生領域と第１の過去画像フレームにおけるオプティカルフロー発生領域とを用いて個別に運動物体のオプティカルフロー発生領域を検出できるため、動き量の大きい運動物体と小さい運動物体とが複数混在する場合でも、全運動物体のオプティカルフロー発生領域を検出することが可能な、運動物体検出方法を実現することができる。
【００１０】
ここで、前記運動物体検出方法は、さらに、前記オプティカルフロー発生領域に隣接する領域についての情報である隣接情報に基づいて運動物体候補領域を抽出し、抽出された運動物体候補領域に関する所定の情報を用いて前記運動物体を検出するステップとを備えた構成を有している。この構成により、第１画像についての異なる２つのオプティカルフロー発生領域の情報と過去の１以上の画像フレームにおけるオプティカルフロー発生領域の情報とを統合して個別に運動物体のオプティカルフローを検出でき、動き量の大きい運動物体と小さい運動物体とが複数混在する場合でも全運動物体のオプティカルフロー発生領域を検出することできるため、画像フレーム内の全運動物体を検出することが可能な、運動物体検出方法を実現することができる。
【００１１】
また、前記運動物体検出方法は、さらに、前記運動物体の検出結果に基づいて前記画像フレーム間で運動物体の追跡を行うステップと、前記追跡によって求まる前記画像フレームにおける前記運動物体の見かけの動き量に基づいて、前記オプティカルフロー発生領域を検出するフレーム間隔および統合するオプティカルフロー発生領域の数を制御するステップとを備えた構成を有している。この構成により、運動物体の検出結果に基づいて画像フレーム間で運動物体の追跡を行うことができるため、運動物体の追跡情報を用いてオプティカルフロー発生領域検出の画像フレーム間隔、統合オプティカルフロー発生領域数を制御し、安定した全運動物体のオプティカルフロー発生領域を検出することが可能な、運動物体検出方法を実現することができる。
【００１２】
また、本発明の運動物体検出装置は、所定の撮像装置からの画像信号を取り込む画像入力手段と、前記取り込まれた画像信号を記憶する画像記憶手段と、前記画像記憶手段に記憶された画像信号によって構成される画像フレームにおいて、異なる前記画像フレーム間隔の画像フレーム間で運動物体の占める領域の論理和であるオプティカルフロー発生領域を検出し統合するオプティカルフロー発生領域検出手段と、前記オプティカルフロー発生領域検出手段で統合されたオプティカルフローの情報に基づいて前記運動物体を検出する運動物体検出手段とを備えた構成を有している。この構成により、個別に運動物体のオプティカルフロー発生領域を検出できるため、動き量の大きい運動物体と小さい運動物体とが複数混在する場合でも、全運動物体のオプティカルフロー発生領域を検出することが可能な、運動物体検出装置を実現することができる。
【００１３】
ここで、前記運動物体検出装置は、さらに、前記オプティカルフロー発生領域に隣接する領域についての情報である隣接情報に基づいて運動物体候補領域を抽出し、抽出された運動物体候補領域に関する、サイズ、形状、位置または運動物体候補領域内のオプティカルフローの情報を含む所定の情報を用いて前記運動物体を検出する運動物体検出手段と、前記運動物体の検出結果に基づいて前記画像フレーム間で運動物体の追跡を行う運動物体追跡手段と、前記追跡によって求まる前記画像フレーム上での見かけの動き量に基づいて、前記オプティカルフロー発生領域を検出するフレーム間隔および統合するオプティカル フロー発生領域の数を制御するオプティカルフロー発生領域検出制御手段とを備えた構成を有している。この構成により、運動物体の追跡情報を用いてオプティカルフロー発生領域検出の画像フレーム間隔、統合オプティカルフロー発生領域数を制御することによって、安定した全運動物体のオプティカルフロー発生領域を検出することが可能な、運動物体検出装置を実現することができる。
【００１４】
また、前記撮像装置は撮像カメラまたは遠赤外カメラを含み、前記運動物体検出装置は、前記撮像カメラからの画像信号または前記遠赤外カメラで撮像された熱分布画像信号を入力とすることが可能な構成を有している。この構成により、熱分布に基づき運動物体を追跡することが可能であるため、カメラなどの撮像装置では困難であった暗闇における運動物体の検出、追跡が可能な運動物体検出装置を実現することができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
本発明の第１の実施の形態の運動物体検出方法は、異なるフレーム間隔でオプティカルフロー発生領域を検出し、それらを統合することにより、運動量の異なる複数の運動物体が存在する場合でも全ての運動物体のオプティカルフロー発生領域を正確に検出する方法である。
【００１６】
ここで、オプティカルフローとは、過去の画像フレームの各点が現時刻の画像フレームのどの点に移動したかを示すものをいう(図８参照)。図８において、現画像フレームの運動物体８１０は、数フレーム分過去の画像フレームにおける運動物体８２０（以下、数フレーム前の運動物体という。）から移動したものであり、この移動をオプティカルフロー８３０として表す。ここで、現画像フレームの運動物体８１０が占める領域と数フレーム前の運動物体８２０が占める領域との論理和を取った領域をオプティカルフロー発生領域８４０という。
【００１７】
図１は、本発明の第１の実施の形態の運動物体検出方法における処理の流れを示すフローチャートである。以下の処理では、現時刻の画像フレームと過去の３つの画像フレームを用いてオプティカルフロー発生領域を検出する。説明の都合上、上記過去の３つの画像フレームを現時刻から過去に離れる順番に、第１過去の画像フレーム、第２過去の画像フレーム、および第３過去の画像フレームという。
【００１８】
ステップＳ１１０で、現時刻の画像フレームを取り込む。同様に、ステップＳ１２１で、第１過去の画像フレームを取り込み、ステップＳ１２２で、第２過去の画像フレームを取り込み、ステップＳ１２３で、第３過去の画像フレームを取り込む。
ステップＳ１３１で、現時刻の画像フレームと第１過去の画像フレームとを用いてオプティカルフロー発生領域を検出する。
【００１９】
オプティカルフロー発生領域の検出は、画像フレーム間で画像フレーム上の各領域において対応する点（以下、対応点という。）を探索し、類似度を算出することによって行われる。類似度の尺度として、差分絶対値和や差分二乗和、相関値などを用いることができる。
なお、ステップＳ１２１で、現時刻の画像フレームとフレーム間隔の短い第１過去の画像フレームとをオプティカルフロー発生領域の検出対象フレームとしているため、ステップＳ１３１では、画像上での見かけの動き量が大きい運動物体のオプティカルフロー発生領域を検出する処理が行われる。
【００２０】
同様に、ステップＳ１３２で、現時刻の画像フレームと第２過去の画像フレームとを用いてオプティカルフロー発生領域を検出し、ステップＳ１３３で、第２過去の画像フレームと第３過去の画像フレームとを用いてオプティカルフロー発生領域を検出する。
ステップＳ１２２で、現時刻の画像フレームと第２過去の画像フレームの長い過去の画像フレームとをオプティカルフロー発生領域の検出対象フレームとしているため、ステップＳ１３２では、画像上での見かけの動き量が小さい運動物体のオプティカルフロー発生領域を検出する。
【００２１】
しかし、画像上に動き量の大きい運動物体が含まれる場合には、偽のオプティカルフロー発生領域が検出される(図９参照)。図９において、現画像フレームにおける運動物体９１０は、数フレーム前の運動物体９２０から移動したものであり、現画像フレームにおける運動物体９１０が占める領域と数フレーム前の運動物体９２０が占める領域との論理和を取った領域がオプティカルフロー発生領域９４０であり、オプティカルフロー発生領域９４０には偽のオプティカルフロー発生領域９３０が含まれることになる。
【００２２】
この偽のオプティカルフロー発生領域を除去するために、以下のステップＳ１３３とＳ１４２での処理を行う。
図１０に示す記号１０１０および１０３０によって、長いフレーム間隔での運動物体の運動およびそのオプティカルフロー発生領域９４０を模式的に示す図形を特定する。また、記号１０２０および１０４０によって、短いフレーム間隔での運動物体の運動およびそのオプティカルフロー発生領域９３１を模式的に示す図形を特定する。動きの小さいオプティカルフロー発生領域は、全体のオプティカルフロー発生領域９４０から動きの大きいオプティカルフロー発生領域９３１を差し引いたときに得られるオプティカルフロー発生領域９４１である。
【００２３】
まず、ステップＳ１３３で、運動物体の動き量が大きいことを利用し、ステップＳ１２２で処理対象とした第２過去の画像フレームと更に古い第３過去の画像フレームとを用いて、動き量の大きい運動物体のオプティカルフロー発生領域９３１を検出する。
【００２４】
ステップＳ１４２で、ステップＳ１３２とステップＳ１３３で検出したオプティカルフロー発生領域の情報を用い、ステップＳ１３２で検出したオプティカルフロー発生領域９４０からステップＳ１３３で検出したオプティカルフロー発生領域９３１を引き算する。
【００２５】
ステップＳ１５０では、ステップＳ１３１で検出した動き量の大きい運動物体のオプティカルフロー発生領域とステップＳ１４２で検出した動き量の小さい運動物体のオプティカルフロー発生領域を統合することにより、両運動物体のオプティカルフロー発生領域を検出する。
【００２６】
以上説明したように、本発明の第１の実施の形態の運動物体検出方法は、動き量の大きい運動物体と小さい運動物体とが混在する場合でも、両運動物体のオプティカルフロー発生領域を得ることが可能である。
また、動き量の異なる運動物体が３つ以上混在している場合でも、同様に本第１の実施の形態で偽のオプティカルフロー発生領域を除去することができ、全運動物体のオプティカルフロー発生領域を検出することが可能である。
【００２７】
本発明の第２の実施の形態の運動物体検出方法は、上記第１の実施の形態の運動物体検出方法を用いて運動物体の検出を行う運動物体検出方法である。図３は、本発明の第２の実施の形態の運動物体検出方法における処理の流れを示すフローチャートである。以下、図３に示すフローチャートを用いて本発明の第２の実施の形態の運動物体検出方法について説明する。
【００２８】
ステップＳ３１０で、現画像フレームを取り込んで記憶し、この記憶された画像フレームを用いて上記第１の実施の形態の運動物体検出方法によって偽のオプティカルフロー発生領域の情報を除去し、複数のオプティカルフロー発生領域の情報を統合し、オプティカルフロー発生領域を検出する。ステップＳ３１０における詳細な処理の流れを表すフローチャートは、図１に示すものと同じである。
【００２９】
ステップＳ３２０で、ステップＳ３１０で検出されたオプティカルフロー発生領域の情報（以下、オプティカルフロー発生領域情報という。）を用いて運動物体の検出を行う。
ステップＳ３３０で、処理を終了するか否かの判断を行い、終了しないと判断された場合は、ステップＳ３１０に戻り、上記の処理を繰り返す。
【００３０】
ここで、上記運動物体の検出は、オプティカルフロー発生領域に隣接する領域の画像情報（以下、隣接情報という。）に基づいて運動物体候補領域を抽出し、抽出された運動物体候補領域のサイズ、形状、位置等の情報や運動物体候補領域内のオプティカルフロー発生領域情報の内、1つ以上の情報を組み合わせて運動物体であるか否かを判断する方法によって行う。
【００３１】
以上説明したように、本発明の第２の実施の形態の運動物体検出方法は、第１の実施の形態の運動物体検出方法により全運動物体のオプティカルフロー発生領域が検出できるため、画像フレーム内の全運動物体を検出することが可能である。
【００３２】
図４は、本発明の第３の実施の形態の運動物体検出装置のブロック構成を示す図である。第３の実施の形態の運動物体検出装置４００は、画像入力部４１０、画像記憶部４２０、オプティカルフロー発生領域検出部４３０、および運動物体検出部４４０によって構成される。ここで、運動物体検出部４４０は、さらに、運動物体候補領域抽出手段４４１と運動物体領域判定手段４４２とによって構成される。
【００３３】
画像入力部４１０は、撮像装置（カメラ）５００の出力である撮像された画像（現画像）を取り込み、画像記憶部４２０に出力する。
画像記憶部４２０は、画像入力部４１０から出力された画像を記憶する。
オプティカルフロー発生領域検出部４３０は、上記第１の実施の形態のオプティカルフロー発生領域検出方法によって、画像入力部４１０が取り込んだ現画像と画像記憶部４２０に記憶された過去の画像とを入力とし、オプティカルフロー発生領域情報を出力する。
【００３４】
運動物体検出部４４０は、運動物体候補領域抽出手段４４１によって、オプティカルフロー発生領域検出部４３０が生成したオプティカルフロー発生領域情報を入力とし、オプティカルフロー発生領域の隣接情報に基づいて運動物体候補領域を求める。
運動物体検出部４４０は、また、運動物体領域判定手段４４２によって、上記運動物体候補領域抽出手段４４１で求められた運動物体候補領域のサイズ、形状、位置等の情報や候補領域内のオプティカルフロー発生領域情報の内、1つ以上の情報を組み合わせて運動物体か否かを判断して運動物体を検出し、検出結果を出力する。
【００３５】
以上説明したように、本発明の第３の実施の形態の運動物体検出装置は、オプティカルフロー発生領域検出部４３０で第１の実施の形態の運動物体検出方法により全運動物体のオプティカルフロー発生領域が検出できるため、画像フレーム内の全運動物体を検出することが可能である。
【００３６】
本発明の第４の実施の形態の運動物体検出方法は、上記第１の実施の形態の運動物体検出方法を用いて運動物体追跡可能な運動物体検出方法である。図５は、本発明の第４の実施の形態の運動物体検出方法における処理の流れを示すフローチャートである。以下、図５に示すフローチャートを用いて本発明の第４の実施の形態の運動物体検出方法について説明する。
【００３７】
ステップＳ３１０で、現画像フレームを取り込んで記憶し、この記憶された画像フレームを用いて上記第１の実施の形態の運動物体検出方法によって偽のオプティカルフロー発生領域の情報を除去し、複数のオプティカルフロー発生領域の情報を統合し、オプティカルフロー発生領域を検出する。ステップＳ３１０における詳細な処理の流れを表すフローチャートは、図１に示すものと同じである。
【００３８】
ステップＳ３２０で、ステップＳ３１０で検出されたオプティカルフロー発生領域の情報（以下、オプティカルフロー発生領域情報という。）を用いて運動物体の検出を行う。
【００３９】
ここで、上記運動物体の検出は、オプティカルフロー発生領域に隣接する領域の画像情報（以下、隣接情報という。）に基づいて運動物体候補領域を抽出し、抽出された運動物体候補領域のサイズ、形状、位置等の情報や運動物体候補領域内のオプティカルフロー情報の内、1つ以上の情報を組み合わせて運動物体であるか否かを判断する方法によって行う。
【００４０】
ステップＳ５３０で、ステップＳ３２０で求まった運動物体領域情報を記憶しておき、画像フレーム間の運動物体領域情報を用いて運動物体の追跡を行う。
ステップＳ５４０で、ステップＳ５３０で求まった運動物体の追跡情報に基づき、運動物体の数と画像フレーム間での移動量とを用いてステップＳ３１０でのオプティカルフロー発生領域検出における画像フレーム間隔および統合オプティカルフロー発生領域数を調整する。
ステップＳ５５０で、処理を終了するか否かの判断を行い、終了しないと判断された場合は、ステップＳ３１０に戻り、上記の処理を繰り返す。
【００４１】
以上説明したように、本発明の第４の実施の形態の運動物体検出方法は、運動物体の追跡情報を用いてオプティカルフロー発生領域検出の画像フレーム間隔、統合オプティカルフロー発生領域数を制御することによって、安定した全運動物体のオプティカルフロー発生領域を検出することが可能である。
【００４２】
図６は、本発明の第５の実施の形態の運動物体検出装置のブロック構成を示す図である。第５の実施の形態の運動物体検出装置６００は、画像入力部４１０、画像記憶部４２０、オプティカルフロー発生領域検出部４３０、運動物体検出部４４０、運動物体追跡部６５０、運動物体情報記憶部６６０、およびオプティカルフロー発生領域検出制御部６７０によって構成される。ここで、運動物体検出部４４０は、さらに、運動物体候補領域抽出手段４４１と運動物体領域判定手段４４２とによって構成される。
【００４３】
画像入力部４１０は、撮像装置（カメラ）５００の出力である撮像された画像（現画像）を取り込み、画像記憶部４２０に出力する。
画像記憶部４２０は、画像入力部４１０から出力された画像を記憶する。
オプティカルフロー発生領域検出部４３０は、上記第１の実施の形態の運動物体検出方法によって、画像入力部４１０が取り込んだ現画像と画像記憶部４２０に記憶された過去の画像とを入力とし、オプティカルフロー発生領域情報を出力する。
【００４４】
運動物体検出部４４０は、運動物体候補領域抽出手段４４１によって、オプティカルフロー発生領域検出部４３０が生成したオプティカルフロー発生領域情報を入力とし、オプティカルフロー発生領域の隣接情報に基づいて運動物体候補領域を求める。
運動物体検出部４４０は、また、運動物体領域判定手段４４２によって、運動物体候補領域抽出手段４４１で求められた運動物体候補領域のサイズ、形状、位置等の情報や候補領域内のオプティカルフロー発生領域情報の内、1つ以上の情報を組み合わせて運動物体か否かを判断して運動物体を検出し、検出結果を出力する。
【００４５】
運動物体追跡部６５０は、オプティカルフロー発生領域検出部４３０によって生成されたオプティカルフロー発生領域情報を入力とし、オプティカルフロー発生領域の隣接情報より運動物体候補領域を求め、その候補領域のサイズ、形状、位置等の情報や候補領域内のオプティカルフロー発生領域情報の内、1つ以上の情報を組み合わせて運動物体を検出する。
【００４６】
運動物体情報記憶部６６０は、運動物体追跡部６５０の出力である運動物体候補領域情報を記憶する。運動物体追跡部６５０は、運動物体情報記憶部６６０に記憶された、画像間の運動物体候補領域情報を用いて運動物体の追跡を行う。
オプティカルフロー発生領域検出制御部６７０は、運動物体追跡部６５０からの追跡結果(運動物体の数、画像間の移動量の情報)に基づき、オプティカルフロー発生領域検出部４３０で行われる処理におけるフレーム間隔、統合オプティカルフロー発生領域数の調整を行う。
【００４７】
以上説明したように、本発明の第５の実施の形態の運動物体検出装置は、運動物体の追跡情報を用いてオプティカルフロー発生領域検出の画像フレーム間隔、統合オプティカルフロー発生領域数を制御することによって、安定した全運動物体のオプティカルフロー発生領域を検出することが可能である。
【００４８】
図７は、本発明の第６の実施の形態の運動物体検出装置のブロック構成を示す図である。発明の第６の実施の形態の運動物体検出装置７００は、第５の実施の形態の運動物体検出装置６００に画像データを入力する撮像装置５００を遠赤外線カメラ７０１に置き換えたものである。この置き換えに伴い、第５の実施の形態の運動物体検出装置の画像入力部４１０が熱分布入力部７１０に変更され、画像記憶部４２０が熱分布記憶部７２０に変更されている(図７参照)。入力側が熱分布画像に変更された以外は第５の実施の形態と同様であり、熱分布に基づく運動物体の追跡を可能とする。
【００４９】
以上説明したように、本発明の第６の実施の形態の運動物体検出装置は、熱分布に基づき運動物体を追跡することが可能であるため、カメラなどの撮像装置では困難であった暗闇における運動物体の検出・追跡が可能である。
【００５０】
【発明の効果】
以上説明したように、本発明は、画像上で見かけの動き量が大きく異なる運動物体が複数、混在する場合でも正確にオプティカルフロー発生領域を検出することが可能な、運動物体検出方法および装置を実現することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態の運動物体検出方法における処理の流れを示すフローチャート
【図２】 本発明の第１の実施の形態の運動物体検出方法における処理の説明図
【図３】 本発明の第２の実施の形態の運動物体検出方法における処理の流れを示すフローチャート
【図４】 本発明の第３の実施の形態の運動物体検出装置のブロック構成を示す図
【図５】 本発明の第４の実施の形態の運動物体検出方法における処理の流れを示すフローチャート
【図６】 本発明の第５の実施の形態の運動物体検出装置のブロック構成を示す図
【図７】 本発明の第６の実施の形態の運動物体検出装置のブロック構成を示す図
【図８】 オプティカルフローの概要の説明図
【図９】 速い運動物体に対し長いフレーム間隔でオプティカルフロー発生領域を検出したときに発生する偽のオプティカルフロー発生領域の説明図
【図１０】 偽のオプティカルフロー発生領域を除去する方法についての説明図
【図１１】 遅い運動物体に施す偽のオプティカルフロー発生領域除去処理についての説明図
【符号の説明】
４００ 運動物体検出装置
４１０ 画像入力部
４２０ 画像記憶部
４３０ オプティカルフロー発生領域検出部
４４０ 運動物体検出部
４４１ 運動物体候補領域抽出手段
４４２ 運動物体領域判定手段
５００ 撮像装置（カメラ）
６００ 運動物体検出装置
６５０ 運動物体追跡部
６６０ 運動物体情報記憶部
６７０ オプティカルフロー発生領域検出制御部
７００ 運動物体検出装置
７０１ 遠赤外線カメラ
７１０ 熱分布入力部
７２０ 熱分布記憶部
８１０ 現画像フレームの運動物体
８２０ 数フレーム前の運動物体
８３０ オプティカルフロー
８４０ オプティカルフロー発生領域
９１０ 現画像フレームの運動物体
９２０ 数フレーム前の運動物体
９３０ 偽のオプティカルフロー発生領域
９３１ オプティカルフロー発生領域
９４０ オプティカルフロー発生領域
９４１ オプティカルフロー発生領域
１０１０ 長いフレーム間隔が開いた運動物体
１０２０ 短いフレーム間隔が開いた運動物体
１０３０ 長いフレーム間隔でのオプティカルフロー発生領域
１０４０ 短いフレーム間隔でのオプティカルフロー発生領域
１０５０ 偽のオプティカルフロー発生領域除去後のオプティカルフロー発生領域
１１１０ 長いフレーム間隔が開いた運動物体
１１２０ 短いフレーム間隔が開いた運動物体
１１３０ 長いフレーム間隔でのオプティカルフロー発生領域
１１４０ 短いフレーム間隔でのオプティカルフロー発生領域
１１５０ 偽のオプティカルフロー発生領域除去後のオプティカルフロー発生領域
【発明の属する技術分野】
本発明は、動画像から運動物体を検出するための運動物体検出方法および装置に関する。
【０００２】
【従来の技術】
従来、オプティカルフローを検出して、動画像から運動物体を検出する運動物体検出方法が知られている。ここで、オプティカルフローとは、過去の画像フレームの各点が現時刻の画像フレームのどの点に移動したかを示すものをいう (図８参照)。図８において、現画像フレームにおける運動物体（以下、現画像フレームの運動物体という。）８１０は、数フレーム分過去の画像フレームにおける運動物体８２０（以下、数フレーム前の運動物体という。）から移動したものであり、この移動をオプティカルフロー８３０で表す。
【０００３】
ここで、現画像フレームの運動物体８１０が占める領域と数フレーム前の運動物体８２０が占める領域との論理和を取った領域をオプティカルフロー発生領域８４０という。
オプティカルフロー発生領域８４０は、画像フレームを１画素以上の領域に分割し、過去の画像フレーム上の各領域に対して最も類似度が高くなる領域を、現時刻の画像フレーム上から検出することによって求まる。ここで、類似度の尺度として、差分絶対値和や差分二乗和、相関値などが用いられる。
【０００４】
上記のような処理を行うには時間がかかり、対応点を探索する範囲（以下、対応点探索範囲という。）を過去の画像フレーム上の所定領域近傍に限定してオプティカルフロー発生領域の検出を行うのが一般的であり、運動物体がこの対応点探索範囲外に移動した場合、はみ出た領域については正確にオプティカルフロー発生領域を検出することができない。
【０００５】
そのため、オプティカルフロー発生領域を検出する処理において、検出対象のフレーム間隔を短くする必要がある。一方、遅い運動物体については、短いフレーム間隔では十分な動きが生じないため、正確にオプティカルフロー発生領域を検出するためにはフレーム間隔を長くする必要がある。
【０００６】
このような観点から、処理するフレーム間隔を運動物体の速度に合わせて変更することによって上記の要求に対応する従来技術が、特開平９−１６７７６号公報に開示されている。この方法は、求めたオプティカルフローの有効度を評価し、その有効度に基づいてフレーム間隔の調整を行うものである。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の運動物体検出方法においてフレーム間隔を調整する方法では、1つの運動物体が速度を変化させながら移動するような場合にはオプティカルフロー発生領域を検出することが可能であるが、画像上で見かけの動き量が大きく異なる運動物体が複数、混在する場合は、全ての運動物体に対して正確にオプティカルフロー発生領域を検出することはできないという問題がある。
【０００８】
本発明はこのような問題を解決するためになされたもので、画像上で見かけの動き量が大きく異なる運動物体が複数、混在する場合でも正確にオプティカルフロー発生領域を検出することが可能な、運動物体検出方法および装置を提供することである。
【０００９】
【課題を解決するための手段】
本発明の運動物体検出方法は、動画像を構成する第１の画像フレームと第２の画像フレームとを用いて、画像フレーム中の運動物体の占める領域の論理和であるオプティカルフロー発生領域を前記第１の画像フレームにおいて検出する第１のステップと、前記第１の画像フレームと前記第２の画像フレームとよりも過去の複数の画像フレームのうちの第１の過去画像フレームと前記第１の画像フレームとを用い、前記第１の画像フレームにおけるオプティカルフロー発生領域を検出し、また、前記第１の過去画像フレームと前記第１の過去画像フレームよりも過去の第２の過去画像フレームとを用いて前記第１の過去画像フレームにおけるオプティカルフロー発生領域とを検出する第２のステップと、前記第１のステップで検出された前記第１の画像フレームにおける第１のオプティカルフロー発生領域、前記第２のステップで検出された前記第１の画像フレームにおける第２のオプティカルフロー発生領域、および前記第２のステップで検出された前記第１の過去画像フレームにおける第３のオプティカルフロー発生領域とにおいて、前記第２のオプティカルフロー発生領域から前記第３のオプティカルフロー発生領域を引き算して、運動物体のオプティカルフロー発生領域を検出し、前記運動物体のオプティカルフロー発生領域と、前記第１のオプティカルフロー発生領域との論理和を求めることにより複数の運動物体のオプティカルフロー発生領域を個別に検出するステップとを備え、前記第２の画像フレームは、前記第１の画像フレームよりも過去の画像フレームである構成を有している。この構成により、第１画像についての異なる２つのオプティカルフロー発生領域と第１の過去画像フレームにおけるオプティカルフロー発生領域とを用いて個別に運動物体のオプティカルフロー発生領域を検出できるため、動き量の大きい運動物体と小さい運動物体とが複数混在する場合でも、全運動物体のオプティカルフロー発生領域を検出することが可能な、運動物体検出方法を実現することができる。
【００１０】
ここで、前記運動物体検出方法は、さらに、前記オプティカルフロー発生領域に隣接する領域についての情報である隣接情報に基づいて運動物体候補領域を抽出し、抽出された運動物体候補領域に関する所定の情報を用いて前記運動物体を検出するステップとを備えた構成を有している。この構成により、第１画像についての異なる２つのオプティカルフロー発生領域の情報と過去の１以上の画像フレームにおけるオプティカルフロー発生領域の情報とを統合して個別に運動物体のオプティカルフローを検出でき、動き量の大きい運動物体と小さい運動物体とが複数混在する場合でも全運動物体のオプティカルフロー発生領域を検出することできるため、画像フレーム内の全運動物体を検出することが可能な、運動物体検出方法を実現することができる。
【００１１】
また、前記運動物体検出方法は、さらに、前記運動物体の検出結果に基づいて前記画像フレーム間で運動物体の追跡を行うステップと、前記追跡によって求まる前記画像フレームにおける前記運動物体の見かけの動き量に基づいて、前記オプティカルフロー発生領域を検出するフレーム間隔および統合するオプティカルフロー発生領域の数を制御するステップとを備えた構成を有している。この構成により、運動物体の検出結果に基づいて画像フレーム間で運動物体の追跡を行うことができるため、運動物体の追跡情報を用いてオプティカルフロー発生領域検出の画像フレーム間隔、統合オプティカルフロー発生領域数を制御し、安定した全運動物体のオプティカルフロー発生領域を検出することが可能な、運動物体検出方法を実現することができる。
【００１２】
また、本発明の運動物体検出装置は、所定の撮像装置からの画像信号を取り込む画像入力手段と、前記取り込まれた画像信号を記憶する画像記憶手段と、前記画像記憶手段に記憶された画像信号によって構成される画像フレームにおいて、異なる前記画像フレーム間隔の画像フレーム間で運動物体の占める領域の論理和であるオプティカルフロー発生領域を検出し統合するオプティカルフロー発生領域検出手段と、前記オプティカルフロー発生領域検出手段で統合されたオプティカルフローの情報に基づいて前記運動物体を検出する運動物体検出手段とを備えた構成を有している。この構成により、個別に運動物体のオプティカルフロー発生領域を検出できるため、動き量の大きい運動物体と小さい運動物体とが複数混在する場合でも、全運動物体のオプティカルフロー発生領域を検出することが可能な、運動物体検出装置を実現することができる。
【００１３】
ここで、前記運動物体検出装置は、さらに、前記オプティカルフロー発生領域に隣接する領域についての情報である隣接情報に基づいて運動物体候補領域を抽出し、抽出された運動物体候補領域に関する、サイズ、形状、位置または運動物体候補領域内のオプティカルフローの情報を含む所定の情報を用いて前記運動物体を検出する運動物体検出手段と、前記運動物体の検出結果に基づいて前記画像フレーム間で運動物体の追跡を行う運動物体追跡手段と、前記追跡によって求まる前記画像フレーム上での見かけの動き量に基づいて、前記オプティカルフロー発生領域を検出するフレーム間隔および統合するオプティカル フロー発生領域の数を制御するオプティカルフロー発生領域検出制御手段とを備えた構成を有している。この構成により、運動物体の追跡情報を用いてオプティカルフロー発生領域検出の画像フレーム間隔、統合オプティカルフロー発生領域数を制御することによって、安定した全運動物体のオプティカルフロー発生領域を検出することが可能な、運動物体検出装置を実現することができる。
【００１４】
また、前記撮像装置は撮像カメラまたは遠赤外カメラを含み、前記運動物体検出装置は、前記撮像カメラからの画像信号または前記遠赤外カメラで撮像された熱分布画像信号を入力とすることが可能な構成を有している。この構成により、熱分布に基づき運動物体を追跡することが可能であるため、カメラなどの撮像装置では困難であった暗闇における運動物体の検出、追跡が可能な運動物体検出装置を実現することができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
本発明の第１の実施の形態の運動物体検出方法は、異なるフレーム間隔でオプティカルフロー発生領域を検出し、それらを統合することにより、運動量の異なる複数の運動物体が存在する場合でも全ての運動物体のオプティカルフロー発生領域を正確に検出する方法である。
【００１６】
ここで、オプティカルフローとは、過去の画像フレームの各点が現時刻の画像フレームのどの点に移動したかを示すものをいう(図８参照)。図８において、現画像フレームの運動物体８１０は、数フレーム分過去の画像フレームにおける運動物体８２０（以下、数フレーム前の運動物体という。）から移動したものであり、この移動をオプティカルフロー８３０として表す。ここで、現画像フレームの運動物体８１０が占める領域と数フレーム前の運動物体８２０が占める領域との論理和を取った領域をオプティカルフロー発生領域８４０という。
【００１７】
図１は、本発明の第１の実施の形態の運動物体検出方法における処理の流れを示すフローチャートである。以下の処理では、現時刻の画像フレームと過去の３つの画像フレームを用いてオプティカルフロー発生領域を検出する。説明の都合上、上記過去の３つの画像フレームを現時刻から過去に離れる順番に、第１過去の画像フレーム、第２過去の画像フレーム、および第３過去の画像フレームという。
【００１８】
ステップＳ１１０で、現時刻の画像フレームを取り込む。同様に、ステップＳ１２１で、第１過去の画像フレームを取り込み、ステップＳ１２２で、第２過去の画像フレームを取り込み、ステップＳ１２３で、第３過去の画像フレームを取り込む。
ステップＳ１３１で、現時刻の画像フレームと第１過去の画像フレームとを用いてオプティカルフロー発生領域を検出する。
【００１９】
オプティカルフロー発生領域の検出は、画像フレーム間で画像フレーム上の各領域において対応する点（以下、対応点という。）を探索し、類似度を算出することによって行われる。類似度の尺度として、差分絶対値和や差分二乗和、相関値などを用いることができる。
なお、ステップＳ１２１で、現時刻の画像フレームとフレーム間隔の短い第１過去の画像フレームとをオプティカルフロー発生領域の検出対象フレームとしているため、ステップＳ１３１では、画像上での見かけの動き量が大きい運動物体のオプティカルフロー発生領域を検出する処理が行われる。
【００２０】
同様に、ステップＳ１３２で、現時刻の画像フレームと第２過去の画像フレームとを用いてオプティカルフロー発生領域を検出し、ステップＳ１３３で、第２過去の画像フレームと第３過去の画像フレームとを用いてオプティカルフロー発生領域を検出する。
ステップＳ１２２で、現時刻の画像フレームと第２過去の画像フレームの長い過去の画像フレームとをオプティカルフロー発生領域の検出対象フレームとしているため、ステップＳ１３２では、画像上での見かけの動き量が小さい運動物体のオプティカルフロー発生領域を検出する。
【００２１】
しかし、画像上に動き量の大きい運動物体が含まれる場合には、偽のオプティカルフロー発生領域が検出される(図９参照)。図９において、現画像フレームにおける運動物体９１０は、数フレーム前の運動物体９２０から移動したものであり、現画像フレームにおける運動物体９１０が占める領域と数フレーム前の運動物体９２０が占める領域との論理和を取った領域がオプティカルフロー発生領域９４０であり、オプティカルフロー発生領域９４０には偽のオプティカルフロー発生領域９３０が含まれることになる。
【００２２】
この偽のオプティカルフロー発生領域を除去するために、以下のステップＳ１３３とＳ１４２での処理を行う。
図１０に示す記号１０１０および１０３０によって、長いフレーム間隔での運動物体の運動およびそのオプティカルフロー発生領域９４０を模式的に示す図形を特定する。また、記号１０２０および１０４０によって、短いフレーム間隔での運動物体の運動およびそのオプティカルフロー発生領域９３１を模式的に示す図形を特定する。動きの小さいオプティカルフロー発生領域は、全体のオプティカルフロー発生領域９４０から動きの大きいオプティカルフロー発生領域９３１を差し引いたときに得られるオプティカルフロー発生領域９４１である。
【００２３】
まず、ステップＳ１３３で、運動物体の動き量が大きいことを利用し、ステップＳ１２２で処理対象とした第２過去の画像フレームと更に古い第３過去の画像フレームとを用いて、動き量の大きい運動物体のオプティカルフロー発生領域９３１を検出する。
【００２４】
ステップＳ１４２で、ステップＳ１３２とステップＳ１３３で検出したオプティカルフロー発生領域の情報を用い、ステップＳ１３２で検出したオプティカルフロー発生領域９４０からステップＳ１３３で検出したオプティカルフロー発生領域９３１を引き算する。
【００２５】
ステップＳ１５０では、ステップＳ１３１で検出した動き量の大きい運動物体のオプティカルフロー発生領域とステップＳ１４２で検出した動き量の小さい運動物体のオプティカルフロー発生領域を統合することにより、両運動物体のオプティカルフロー発生領域を検出する。
【００２６】
以上説明したように、本発明の第１の実施の形態の運動物体検出方法は、動き量の大きい運動物体と小さい運動物体とが混在する場合でも、両運動物体のオプティカルフロー発生領域を得ることが可能である。
また、動き量の異なる運動物体が３つ以上混在している場合でも、同様に本第１の実施の形態で偽のオプティカルフロー発生領域を除去することができ、全運動物体のオプティカルフロー発生領域を検出することが可能である。
【００２７】
本発明の第２の実施の形態の運動物体検出方法は、上記第１の実施の形態の運動物体検出方法を用いて運動物体の検出を行う運動物体検出方法である。図３は、本発明の第２の実施の形態の運動物体検出方法における処理の流れを示すフローチャートである。以下、図３に示すフローチャートを用いて本発明の第２の実施の形態の運動物体検出方法について説明する。
【００２８】
ステップＳ３１０で、現画像フレームを取り込んで記憶し、この記憶された画像フレームを用いて上記第１の実施の形態の運動物体検出方法によって偽のオプティカルフロー発生領域の情報を除去し、複数のオプティカルフロー発生領域の情報を統合し、オプティカルフロー発生領域を検出する。ステップＳ３１０における詳細な処理の流れを表すフローチャートは、図１に示すものと同じである。
【００２９】
ステップＳ３２０で、ステップＳ３１０で検出されたオプティカルフロー発生領域の情報（以下、オプティカルフロー発生領域情報という。）を用いて運動物体の検出を行う。
ステップＳ３３０で、処理を終了するか否かの判断を行い、終了しないと判断された場合は、ステップＳ３１０に戻り、上記の処理を繰り返す。
【００３０】
ここで、上記運動物体の検出は、オプティカルフロー発生領域に隣接する領域の画像情報（以下、隣接情報という。）に基づいて運動物体候補領域を抽出し、抽出された運動物体候補領域のサイズ、形状、位置等の情報や運動物体候補領域内のオプティカルフロー発生領域情報の内、1つ以上の情報を組み合わせて運動物体であるか否かを判断する方法によって行う。
【００３１】
以上説明したように、本発明の第２の実施の形態の運動物体検出方法は、第１の実施の形態の運動物体検出方法により全運動物体のオプティカルフロー発生領域が検出できるため、画像フレーム内の全運動物体を検出することが可能である。
【００３２】
図４は、本発明の第３の実施の形態の運動物体検出装置のブロック構成を示す図である。第３の実施の形態の運動物体検出装置４００は、画像入力部４１０、画像記憶部４２０、オプティカルフロー発生領域検出部４３０、および運動物体検出部４４０によって構成される。ここで、運動物体検出部４４０は、さらに、運動物体候補領域抽出手段４４１と運動物体領域判定手段４４２とによって構成される。
【００３３】
画像入力部４１０は、撮像装置（カメラ）５００の出力である撮像された画像（現画像）を取り込み、画像記憶部４２０に出力する。
画像記憶部４２０は、画像入力部４１０から出力された画像を記憶する。
オプティカルフロー発生領域検出部４３０は、上記第１の実施の形態のオプティカルフロー発生領域検出方法によって、画像入力部４１０が取り込んだ現画像と画像記憶部４２０に記憶された過去の画像とを入力とし、オプティカルフロー発生領域情報を出力する。
【００３４】
運動物体検出部４４０は、運動物体候補領域抽出手段４４１によって、オプティカルフロー発生領域検出部４３０が生成したオプティカルフロー発生領域情報を入力とし、オプティカルフロー発生領域の隣接情報に基づいて運動物体候補領域を求める。
運動物体検出部４４０は、また、運動物体領域判定手段４４２によって、上記運動物体候補領域抽出手段４４１で求められた運動物体候補領域のサイズ、形状、位置等の情報や候補領域内のオプティカルフロー発生領域情報の内、1つ以上の情報を組み合わせて運動物体か否かを判断して運動物体を検出し、検出結果を出力する。
【００３５】
以上説明したように、本発明の第３の実施の形態の運動物体検出装置は、オプティカルフロー発生領域検出部４３０で第１の実施の形態の運動物体検出方法により全運動物体のオプティカルフロー発生領域が検出できるため、画像フレーム内の全運動物体を検出することが可能である。
【００３６】
本発明の第４の実施の形態の運動物体検出方法は、上記第１の実施の形態の運動物体検出方法を用いて運動物体追跡可能な運動物体検出方法である。図５は、本発明の第４の実施の形態の運動物体検出方法における処理の流れを示すフローチャートである。以下、図５に示すフローチャートを用いて本発明の第４の実施の形態の運動物体検出方法について説明する。
【００３７】
ステップＳ３１０で、現画像フレームを取り込んで記憶し、この記憶された画像フレームを用いて上記第１の実施の形態の運動物体検出方法によって偽のオプティカルフロー発生領域の情報を除去し、複数のオプティカルフロー発生領域の情報を統合し、オプティカルフロー発生領域を検出する。ステップＳ３１０における詳細な処理の流れを表すフローチャートは、図１に示すものと同じである。
【００３８】
ステップＳ３２０で、ステップＳ３１０で検出されたオプティカルフロー発生領域の情報（以下、オプティカルフロー発生領域情報という。）を用いて運動物体の検出を行う。
【００３９】
ここで、上記運動物体の検出は、オプティカルフロー発生領域に隣接する領域の画像情報（以下、隣接情報という。）に基づいて運動物体候補領域を抽出し、抽出された運動物体候補領域のサイズ、形状、位置等の情報や運動物体候補領域内のオプティカルフロー情報の内、1つ以上の情報を組み合わせて運動物体であるか否かを判断する方法によって行う。
【００４０】
ステップＳ５３０で、ステップＳ３２０で求まった運動物体領域情報を記憶しておき、画像フレーム間の運動物体領域情報を用いて運動物体の追跡を行う。
ステップＳ５４０で、ステップＳ５３０で求まった運動物体の追跡情報に基づき、運動物体の数と画像フレーム間での移動量とを用いてステップＳ３１０でのオプティカルフロー発生領域検出における画像フレーム間隔および統合オプティカルフロー発生領域数を調整する。
ステップＳ５５０で、処理を終了するか否かの判断を行い、終了しないと判断された場合は、ステップＳ３１０に戻り、上記の処理を繰り返す。
【００４１】
以上説明したように、本発明の第４の実施の形態の運動物体検出方法は、運動物体の追跡情報を用いてオプティカルフロー発生領域検出の画像フレーム間隔、統合オプティカルフロー発生領域数を制御することによって、安定した全運動物体のオプティカルフロー発生領域を検出することが可能である。
【００４２】
図６は、本発明の第５の実施の形態の運動物体検出装置のブロック構成を示す図である。第５の実施の形態の運動物体検出装置６００は、画像入力部４１０、画像記憶部４２０、オプティカルフロー発生領域検出部４３０、運動物体検出部４４０、運動物体追跡部６５０、運動物体情報記憶部６６０、およびオプティカルフロー発生領域検出制御部６７０によって構成される。ここで、運動物体検出部４４０は、さらに、運動物体候補領域抽出手段４４１と運動物体領域判定手段４４２とによって構成される。
【００４３】
画像入力部４１０は、撮像装置（カメラ）５００の出力である撮像された画像（現画像）を取り込み、画像記憶部４２０に出力する。
画像記憶部４２０は、画像入力部４１０から出力された画像を記憶する。
オプティカルフロー発生領域検出部４３０は、上記第１の実施の形態の運動物体検出方法によって、画像入力部４１０が取り込んだ現画像と画像記憶部４２０に記憶された過去の画像とを入力とし、オプティカルフロー発生領域情報を出力する。
【００４４】
運動物体検出部４４０は、運動物体候補領域抽出手段４４１によって、オプティカルフロー発生領域検出部４３０が生成したオプティカルフロー発生領域情報を入力とし、オプティカルフロー発生領域の隣接情報に基づいて運動物体候補領域を求める。
運動物体検出部４４０は、また、運動物体領域判定手段４４２によって、運動物体候補領域抽出手段４４１で求められた運動物体候補領域のサイズ、形状、位置等の情報や候補領域内のオプティカルフロー発生領域情報の内、1つ以上の情報を組み合わせて運動物体か否かを判断して運動物体を検出し、検出結果を出力する。
【００４５】
運動物体追跡部６５０は、オプティカルフロー発生領域検出部４３０によって生成されたオプティカルフロー発生領域情報を入力とし、オプティカルフロー発生領域の隣接情報より運動物体候補領域を求め、その候補領域のサイズ、形状、位置等の情報や候補領域内のオプティカルフロー発生領域情報の内、1つ以上の情報を組み合わせて運動物体を検出する。
【００４６】
運動物体情報記憶部６６０は、運動物体追跡部６５０の出力である運動物体候補領域情報を記憶する。運動物体追跡部６５０は、運動物体情報記憶部６６０に記憶された、画像間の運動物体候補領域情報を用いて運動物体の追跡を行う。
オプティカルフロー発生領域検出制御部６７０は、運動物体追跡部６５０からの追跡結果(運動物体の数、画像間の移動量の情報)に基づき、オプティカルフロー発生領域検出部４３０で行われる処理におけるフレーム間隔、統合オプティカルフロー発生領域数の調整を行う。
【００４７】
以上説明したように、本発明の第５の実施の形態の運動物体検出装置は、運動物体の追跡情報を用いてオプティカルフロー発生領域検出の画像フレーム間隔、統合オプティカルフロー発生領域数を制御することによって、安定した全運動物体のオプティカルフロー発生領域を検出することが可能である。
【００４８】
図７は、本発明の第６の実施の形態の運動物体検出装置のブロック構成を示す図である。発明の第６の実施の形態の運動物体検出装置７００は、第５の実施の形態の運動物体検出装置６００に画像データを入力する撮像装置５００を遠赤外線カメラ７０１に置き換えたものである。この置き換えに伴い、第５の実施の形態の運動物体検出装置の画像入力部４１０が熱分布入力部７１０に変更され、画像記憶部４２０が熱分布記憶部７２０に変更されている(図７参照)。入力側が熱分布画像に変更された以外は第５の実施の形態と同様であり、熱分布に基づく運動物体の追跡を可能とする。
【００４９】
以上説明したように、本発明の第６の実施の形態の運動物体検出装置は、熱分布に基づき運動物体を追跡することが可能であるため、カメラなどの撮像装置では困難であった暗闇における運動物体の検出・追跡が可能である。
【００５０】
【発明の効果】
以上説明したように、本発明は、画像上で見かけの動き量が大きく異なる運動物体が複数、混在する場合でも正確にオプティカルフロー発生領域を検出することが可能な、運動物体検出方法および装置を実現することができる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態の運動物体検出方法における処理の流れを示すフローチャート
【図２】 本発明の第１の実施の形態の運動物体検出方法における処理の説明図
【図３】 本発明の第２の実施の形態の運動物体検出方法における処理の流れを示すフローチャート
【図４】 本発明の第３の実施の形態の運動物体検出装置のブロック構成を示す図
【図５】 本発明の第４の実施の形態の運動物体検出方法における処理の流れを示すフローチャート
【図６】 本発明の第５の実施の形態の運動物体検出装置のブロック構成を示す図
【図７】 本発明の第６の実施の形態の運動物体検出装置のブロック構成を示す図
【図８】 オプティカルフローの概要の説明図
【図９】 速い運動物体に対し長いフレーム間隔でオプティカルフロー発生領域を検出したときに発生する偽のオプティカルフロー発生領域の説明図
【図１０】 偽のオプティカルフロー発生領域を除去する方法についての説明図
【図１１】 遅い運動物体に施す偽のオプティカルフロー発生領域除去処理についての説明図
【符号の説明】
４００ 運動物体検出装置
４１０ 画像入力部
４２０ 画像記憶部
４３０ オプティカルフロー発生領域検出部
４４０ 運動物体検出部
４４１ 運動物体候補領域抽出手段
４４２ 運動物体領域判定手段
５００ 撮像装置（カメラ）
６００ 運動物体検出装置
６５０ 運動物体追跡部
６６０ 運動物体情報記憶部
６７０ オプティカルフロー発生領域検出制御部
７００ 運動物体検出装置
７０１ 遠赤外線カメラ
７１０ 熱分布入力部
７２０ 熱分布記憶部
８１０ 現画像フレームの運動物体
８２０ 数フレーム前の運動物体
８３０ オプティカルフロー
８４０ オプティカルフロー発生領域
９１０ 現画像フレームの運動物体
９２０ 数フレーム前の運動物体
９３０ 偽のオプティカルフロー発生領域
９３１ オプティカルフロー発生領域
９４０ オプティカルフロー発生領域
９４１ オプティカルフロー発生領域
１０１０ 長いフレーム間隔が開いた運動物体
１０２０ 短いフレーム間隔が開いた運動物体
１０３０ 長いフレーム間隔でのオプティカルフロー発生領域
１０４０ 短いフレーム間隔でのオプティカルフロー発生領域
１０５０ 偽のオプティカルフロー発生領域除去後のオプティカルフロー発生領域
１１１０ 長いフレーム間隔が開いた運動物体
１１２０ 短いフレーム間隔が開いた運動物体
１１３０ 長いフレーム間隔でのオプティカルフロー発生領域
１１４０ 短いフレーム間隔でのオプティカルフロー発生領域
１１５０ 偽のオプティカルフロー発生領域除去後のオプティカルフロー発生領域
Claims (6)
- 動画像を構成する第１の画像フレームと第２の画像フレームとを用いて、画像フレーム中の運動物体の占める領域の論理和であるオプティカルフロー発生領域を前記第１の画像フレームにおいて検出する第１のステップと、前記第１の画像フレームと前記第２の画像フレームとよりも過去の複数の画像フレームのうちの第１の過去画像フレームと前記第１の画像フレームとを用い、前記第１の画像フレームにおけるオプティカルフロー発生領域を検出し、また、前記第１の過去画像フレームと前記第１の過去画像フレームよりも過去の第２の過去画像フレームとを用いて前記第１の過去画像フレームにおけるオプティカルフロー発生領域とを検出する第２のステップと、前記第１のステップで検出された前記第１の画像フレームにおける第１のオプティカルフロー発生領域、前記第２のステップで検出された前記第１の画像フレームにおける第２のオプティカルフロー発生領域、および前記第２のステップで検出された前記第１の過去画像フレームにおける第３のオプティカルフロー発生領域とにおいて、前記第２のオプティカルフロー発生領域から前記第３のオプティカルフロー発生領域を引き算して、運動物体のオプティカルフロー発生領域を検出し、前記運動物体のオプティカルフロー発生領域と、前記第１のオプティカルフロー発生領域との論理和を求めることにより複数の運動物体のオプティカルフロー発生領域を個別に検出するステップとを備え、前記第２の画像フレームは、前記第１の画像フレームよりも過去の画像フレームであることを特徴とする運動物体検出方法。
- 前記運動物体検出方法は、さらに、前記オプティカルフロー発生領域に隣接する領域についての情報である隣接情報に基づいて運動物体候補領域を抽出し、抽出された運動物体候補領域に関する所定の情報を用いて前記運動物体を検出するステップとを備えたことを特徴とする請求項１記載の運動物体検出方法。
- 前記運動物体検出方法は、さらに、前記運動物体の検出結果に基づいて前記画像フレーム間で運動物体の追跡を行うステップと、前記追跡によって求まる前記画像フレームにおける前記運動物体の見かけの動き量に基づいて、前記オプティカルフロー発生領域を検出するフレーム間隔および統合するオプティカルフロー発生領域の数を制御するステップとを備えたことを特徴とする請求項２記載の運動物体検出方法。
- 所定の撮像装置からの画像信号を取り込む画像入力手段と、前記取り込まれた画像信号を記憶する画像記憶手段と、前記画像記憶手段に記憶された画像信号によって構成される画像フレームにおいて、異なる前記画像フレーム間隔の画像フレーム間で運動物体の占める領域の論理和であるオプティカルフロー発生領域を検出し統合するオプティカルフロー発生領域検出手段と、前記オプティカルフロー発生領域検出手段で統合されたオプティカルフローの情報に基づいて前記運動物体を検出する運動物体検出手段とを備えたことを特徴とする運動物体検出装置。
- 前記運動物体検出装置は、さらに、前記オプティカルフロー発生領域に隣接する領域についての情報である隣接情報に基づいて運動物体候補領域を抽出し、抽出された運動物体候補領域に関する、サイズ、形状、位置または運動物体候補領域内のオプティカルフローの情報を含む所定の情報を用いて前記運動物体を検出する運動物体検出手段と、前記運動物体の検出結果に基づいて前記画像フレーム間で運動物体の追跡を行う運動物体追跡手段と、前記追跡によって求まる前記画像フレーム上での見かけの動き量に基づいて、前記オプティカルフロー発生領域を検出するフレーム間隔および統合するオプティカルフロー発生領域の数を制御するオプティカルフロー発生領域検出制御手段とを備えたことを特徴とする請求項４記載の運動物体検出装置。
- 前記撮像装置は撮像カメラまたは遠赤外カメラを含み、前記運動物体検出装置は、前記撮像カメラからの画像信号または前記遠赤外カメラで撮像された熱分布画像信号を入力とすることが可能なことを特徴とする請求項４または５記載の運動物体検出装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001232667A JP3810657B2 (ja) | 2001-07-31 | 2001-07-31 | 運動物体検出方法および装置 |
| EP02016243A EP1282077A3 (en) | 2001-07-31 | 2002-07-22 | Moving object detecting method, apparatus, and computer program product |
| US10/201,442 US6956603B2 (en) | 2001-07-31 | 2002-07-23 | Moving object detecting method, apparatus and computer program product |
| CA2396233A CA2396233C (en) | 2001-07-31 | 2002-07-30 | Moving object detecting method, apparatus, and computer program product |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001232667A JP3810657B2 (ja) | 2001-07-31 | 2001-07-31 | 運動物体検出方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003044861A JP2003044861A (ja) | 2003-02-14 |
| JP3810657B2 true JP3810657B2 (ja) | 2006-08-16 |
Family
ID=19064553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001232667A Expired - Fee Related JP3810657B2 (ja) | 2001-07-31 | 2001-07-31 | 運動物体検出方法および装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6956603B2 (ja) |
| EP (1) | EP1282077A3 (ja) |
| JP (1) | JP3810657B2 (ja) |
| CA (1) | CA2396233C (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3979894B2 (ja) * | 2002-07-22 | 2007-09-19 | 本田技研工業株式会社 | 物体検出装置及び方法 |
| US7194110B2 (en) * | 2002-12-18 | 2007-03-20 | Intel Corporation | Method and apparatus for tracking features in a video sequence |
| JP4490794B2 (ja) * | 2004-11-18 | 2010-06-30 | 日本電信電話株式会社 | 動物体輪郭抽出方法及び装置並びに動物体輪郭抽出プログラム |
| GB0502369D0 (en) * | 2005-02-04 | 2005-03-16 | British Telecomm | Classifying an object in a video frame |
| KR100763308B1 (ko) * | 2006-08-01 | 2007-10-04 | 삼성전자주식회사 | 휴대용 단말기의 동영상 촬영 장치 및 방법 |
| US8593506B2 (en) * | 2007-03-15 | 2013-11-26 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for forming a panoramic image of a scene having minimal aspect distortion |
| US20080263592A1 (en) * | 2007-04-18 | 2008-10-23 | Fuji Xerox Co., Ltd. | System for video control by direct manipulation of object trails |
| TWI355615B (en) * | 2007-05-11 | 2012-01-01 | Ind Tech Res Inst | Moving object detection apparatus and method by us |
| JP4957807B2 (ja) * | 2007-12-14 | 2012-06-20 | 富士通株式会社 | 移動物検知装置及び移動物検知プログラム |
| US8433175B2 (en) * | 2008-10-28 | 2013-04-30 | Yahoo! Inc. | Video comparing using fingerprint representations |
| JP4760928B2 (ja) * | 2009-02-13 | 2011-08-31 | カシオ計算機株式会社 | 撮像装置、連写速度の設定方法及びプログラム |
| JP5498183B2 (ja) * | 2010-02-03 | 2014-05-21 | 富士重工業株式会社 | 行動検出装置 |
| WO2012027739A2 (en) | 2010-08-27 | 2012-03-01 | Milwaukee Electric Tool Corporation | Thermal detection systems, methods, and devices |
| JP5683898B2 (ja) * | 2010-10-22 | 2015-03-11 | オリンパスイメージング株式会社 | 追尾装置および追尾方法 |
| CN203705055U (zh) | 2011-03-15 | 2014-07-09 | 米沃奇电动工具公司 | 热像仪 |
| US8761442B2 (en) | 2012-03-29 | 2014-06-24 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
| US8660307B2 (en) | 2012-03-29 | 2014-02-25 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
| US9092675B2 (en) | 2012-03-29 | 2015-07-28 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
| US9275285B2 (en) | 2012-03-29 | 2016-03-01 | The Nielsen Company (Us), Llc | Methods and apparatus to count people in images |
| CN103514430B (zh) * | 2012-06-29 | 2016-12-21 | 华为技术有限公司 | 检测火焰的方法和装置 |
| US10794769B2 (en) | 2012-08-02 | 2020-10-06 | Milwaukee Electric Tool Corporation | Thermal detection systems, methods, and devices |
| JP6261190B2 (ja) * | 2013-05-31 | 2018-01-17 | キヤノン株式会社 | 設定装置および設定方法 |
| CN105956618B (zh) * | 2016-04-27 | 2021-12-03 | 云南昆钢集团电子信息工程有限公司 | 基于图像动静态特征的转炉炼钢吹炼状态识别系统及方法 |
| US10580140B2 (en) * | 2016-05-23 | 2020-03-03 | Intel Corporation | Method and system of real-time image segmentation for image processing |
| US10853951B2 (en) * | 2017-08-04 | 2020-12-01 | Intel Corporation | Methods and apparatus to generate temporal representations for action recognition systems |
| US10916019B2 (en) * | 2019-02-01 | 2021-02-09 | Sony Corporation | Moving object detection in image frames based on optical flow maps |
| CN111696136B (zh) * | 2020-06-09 | 2023-06-16 | 电子科技大学 | 一种基于编解码结构的目标跟踪方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6081606A (en) * | 1996-06-17 | 2000-06-27 | Sarnoff Corporation | Apparatus and a method for detecting motion within an image sequence |
| US6014181A (en) * | 1997-10-13 | 2000-01-11 | Sharp Laboratories Of America, Inc. | Adaptive step-size motion estimation based on statistical sum of absolute differences |
| US6303920B1 (en) * | 1998-11-19 | 2001-10-16 | Sarnoff Corporation | Method and apparatus for detecting salient motion using optical flow |
| WO2000070879A1 (en) * | 1999-05-13 | 2000-11-23 | Stmicroelectronics Asia Pacific Pte Ltd. | Adaptive motion estimator |
| JP2001251632A (ja) * | 1999-12-27 | 2001-09-14 | Toshiba Corp | 動きベクトル検出方法および装置並びに動きベクトル検出プログラム |
-
2001
- 2001-07-31 JP JP2001232667A patent/JP3810657B2/ja not_active Expired - Fee Related
-
2002
- 2002-07-22 EP EP02016243A patent/EP1282077A3/en not_active Withdrawn
- 2002-07-23 US US10/201,442 patent/US6956603B2/en not_active Expired - Fee Related
- 2002-07-30 CA CA2396233A patent/CA2396233C/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CA2396233C (en) | 2011-10-04 |
| US20030025794A1 (en) | 2003-02-06 |
| EP1282077A2 (en) | 2003-02-05 |
| JP2003044861A (ja) | 2003-02-14 |
| US6956603B2 (en) | 2005-10-18 |
| EP1282077A3 (en) | 2011-04-06 |
| CA2396233A1 (en) | 2003-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3810657B2 (ja) | 運動物体検出方法および装置 | |
| US8068639B2 (en) | Image pickup apparatus, control method therefor, and computer program for detecting image blur according to movement speed and change in size of face area | |
| KR100703956B1 (ko) | 차량의 번호판 인식 시스템 및 이를 처리하는 방법 | |
| CN100464344C (zh) | 图像处理装置及其方法 | |
| US7769227B2 (en) | Object detector | |
| JP3892059B2 (ja) | 動物体追跡装置 | |
| US7030909B2 (en) | Automatic photography | |
| JPH1091795A (ja) | 移動物体検出装置及び移動物体検出方法 | |
| US8098897B2 (en) | Multi dimensional imaging system | |
| JP2007006324A (ja) | 監視記録装置及び監視記録方法 | |
| CN107040713A (zh) | 运动矢量检测设备及其控制方法和摄像设备 | |
| JPH0738796A (ja) | 自動合焦装置 | |
| JP2011076316A (ja) | 群衆監視装置および方法ならびにプログラム | |
| KR101032098B1 (ko) | 열적외선을 이용한 환경독립형 교통검지시스템 | |
| JP6221283B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
| JP2002367077A (ja) | 交通渋滞判定装置及び交通渋滞判定方法 | |
| JP2002150295A (ja) | 物体検出方法及び物体検出装置 | |
| JPH08171689A (ja) | 変化領域検出装置 | |
| JP2004265251A (ja) | 画像処理装置 | |
| JPS63194477A (ja) | 背景画像抽出方法 | |
| JP3488762B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP3585977B2 (ja) | 動領域検出装置 | |
| EP2528019A1 (en) | Apparatus and method for detecting objects in moving images | |
| JP2004145592A (ja) | 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050603 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050621 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060524 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100602 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110602 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120602 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130602 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |