JP4612803B2 - 画像動き検知装置、画像動き検知方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、本発明は、動画像の動きを検知するための画像動き検知装置、画像動き検知方法、プログラム及び記録媒体に関するものである。

監視システムにおいて、画像処理により監視画像の変化を自動的に求め、変化があったときに通知をしたり画像を保存蓄積したりする機能が実用化されている。ここで動き検知感度を設定するために、動き検知処理の途中経過である画像の変化量を表示し、対話的に感度を調整する機能が実装されているものがある。

例えば、画像の変化量を表示するインジケータを見ながら検知パラメータを調節できるものが知られている。また、特許文献１及び２には、ビデオ編集システムにおいてシーンの変化を画像処理によって求め、シーンの変化時刻と変化時の画像を編集画面上に視覚的に表示する機能を有するものが開示されている。

一方、背景差分やフレーム間差分により画像の動き検知を行う方法において、動きのある画像と動きのない画像とを入力して、誤検知および検出漏れをなくすような最適な感度を設定する方法が特許文献３に開示されている。
特開平１１−０３２３０１号公報 特開平９−６５２８７号公報 特開平９−２００７６８号公報

しかしながら、従来の動画像の動き検知機能では検知感度の設定が可能であるが、実際に設定できる値の範囲は広いことが多く、試行錯誤を繰り返して調整する必要がある。また、ビデオ編集システムにおいてカット検出によるシーン開始画像や代表画像表示機能があるが、検出強度の調整機能はないことが一般的である。一方、特許文献３に開示された発明は、動きのある画像とない画像から適正な感度の範囲を提示し、使用者が感度設定をする際の負担を軽減するものであるが、特許文献３には使用者が入力を行うための具体的なインタフェースが開示されていない。

従って、本発明の目的は、適正な感度調整を行う上で有用なしきい値の設定範囲を動画像に動きがある期間及び動きがない期間から求めるにあたって、利用者の操作によりそれらの期間を指定可能とすることにある。

斯かる目的を達成するために、本発明の画像動き検知装置は、動画像を表示する画像表示手段と、利用者の操作に応じて、前記画像表示手段に表示される動画像に動きがある第１の期間と動きがない第２の期間とを指定する期間指定手段と、所定の基準画像に対する前記第１の期間における動画像の変化量と、前記所定の基準画像に対する前記第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値を決定する上下限値決定手段と、前記所定の基準画像に対する動画像の変化量の変移状況を示すグラフを表示する変化量変移表示手段と、前記上下限値決定手段により決定された前記上限値及び前記下限値を動き検知の感度に変換し、変換された上限値及び前記下限値を前記変化量変移表示手段によって表示されたグラフの近傍に強調表示するしきい値決定範囲表示手段と、前記しきい値決定範囲表示手段により動き検知の感度に変換されたしきい値の前記上限値から前記下限値までの範囲内において、利用者の操作に応じた任意のしきい値を決定するしきい値決定手段と、前記しきい値決定手段により決定された前記しきい値と前記所定の基準画像に対する動画像の変化量とに基づいて、動画像の動きを検知する動き検知手段とを有することを特徴とする。

本発明の画像動き検知方法は、動画像の動きを検知する画像動き検知装置による画像動き検知方法であって、動画像を表示する画像表示ステップと、利用者の操作に応じて、表示される動画像に動きがある第１の期間と動きがない第２の期間とを指定する期間指定ステップと、所定の基準画像に対する前記第１の期間における動画像の変化量と、前記所定の基準画像に対する前記第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値を決定する上下限値決定ステップと、前記所定の基準画像に対する動画像の変化量の変移状況を示すグラフを表示する変化量変移表示ステップと、決定された前記上限値及び前記下限値を動き検知の感度に変換し、変換された上限値及び前記下限値を前記グラフの近傍に強調表示するしきい値決定範囲表示ステップと、動き検知の感度に変換されたしきい値の前記上限値から前記下限値までの範囲内において、利用者の操作に応じた任意のしきい値を決定するしきい値決定ステップと、決定された前記しきい値と前記所定の基準画像に対する動画像の変化量とに基づいて、動画像の動きを検知する動き検知ステップとを含むことを特徴とする。

本発明のプログラムは、前記画像動き検知方法をコンピュータに実行させることを特徴とする。本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。

本発明によれば、利用者の操作に応じて動画像に動きがある第１の期間及び動きがない第２の期間を指定し、所定の基準画像に対する第１の期間における動画像の変化量と、当該所定の基準画像に対する第２の期間における動画像の変化量とに基づいてしきい値の上限値及び下限値を決定するように構成したので、適正な感度調整を行う上で有用なしきい値の設定範囲を動画像に動きがある期間及び動きがない期間から求めるにあたって、利用者の操作によりそれらの期間を指定することが可能となる。

また、感度の自動設定開始を指示し、自動設定開始が指示された後、撮影された複数フレームの動画像の変化量を求めて動画像中に動きかないことを示す基準値とし、求めた変化量から動き検知のためのしきい値を決定するように構成したので、適正な感度調整を行う上で有用なしきい値を、利用者の簡単な操作のみで自動設定することが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

＜第１の実施形態＞
本発明の第１の実施形態では、画像間差分による動き検知処理の感度設定において、ライブ画像に対して動きがある時間と動きがない時間とを指定することにより、適正な感度範囲を自動的に計算して表示する動き検知設定の例を述べる。

本実施形態におけるハードウェアは、カメラと接続可能なコンピュータから構成される。ここで、カメラの映像出力は、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）やＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ ｃｏｌｏｒ ｔｅｌｅｖｉｓｉｏｎ）の他に、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＩＥＥＥ１３９４接続による独自形式などあるが、本発明は映像出力形式には依存しない。また、コンピュータはＣＰＵ、ＲＡＭ、ＲＯＭ、二次記憶、モニタ、キーボード、マウス、外部入出力インタフェースを備え、カメラからの映像を入力可能な機能があればよく、市販のパーソナルコンピュータや専用のセットトップボックス、携帯情報端末、携帯電話端末などその形状は問わない。

また、以下の説明ではカメラとコンピュータが直接接続し、コンピュータ上で設定を行う方式を説明するが、設定を別のコンピュータからネットワーク経由で行うことも可能である。また、カメラにネットワーク接続機能があり、ネットワーク経由でカメラの映像をコンピュータ取得して動き検知処理を行うことも可能である。

次に、本実施形態におけるソフトウェアは、コンピュータ上でカメラから画像を取得し動き検知処理を行う画像処理プロセスと、画像や動き検知処理結果を表示し、設定を行うＧＵＩプロセスから構成される。ＧＵＩプロセスをメインプロセス、画像処理プロセスをサブプロセスとする。ここでプロセスとはプログラムの実行単位であり、複数のプログラムであってもよいし、スレッドと呼ばれる単一プログラム中の実行単位であってもよい。

次に図１を用いて差分による動き検知処理の概要を説明する。撮像部１−１は映像を入力するカメラである。カメラから取得された画像は基準画像生成部１−２において、基準画像生成に用いられる。基準画像は差分アルゴリズムによって異なる。典型的な差分処理としてはフレーム間差分や背景差分があり、フレーム間差分における基準画像は１または複数フレーム前の画像である。また背景差分であれば、例えば過去の動きのない時間帯における複数フレームの平均画像やメディアン画像が用いられる。

次に差分処理部１−３において、入力画像と基準画像の差分処理が行われ変化量が算出される。典型的な差分処理は入力画像と基準画像との差の絶対値和を変化量とする。ここでは例えば各画素のＲＧＢ成分やＹＣｂＣｒ成分、あるいは、ＪＰＥＧの各符号ブロックの符号量やＤＣＴ係数などが，差分演算に使用される。

次に判別処理部１−４において、求められた差分量が「動き検知あり」の状態に相当するかどうかを判別する。ここでよく用いられるのは、差分量があるしきい値を超えた場合は動きありとみなし、しきい値以下であれば動きなしとする方法である。しきい値は設定部１−５で使用者によって設定、変更が可能である。ここでしきい値は設定部１−５では「感度」に変換されて表示し、指定することが多い。しきい値が大きいほど感度が低く、しきい値が小さいほど感度が高くなる。例えば、感度Ｓとしきい値Ｔｈの関係は以下のように表される。

Ｓ＝ａ（Ｔｈｍａｘ−Ｔｈ）＋ｂ
ここでＴｈｍａｘはしきい値の最大値、ａ、ｂは定数である。

以上は典型的な差分による動き検知方式の例であるが、本実施形態は変化量としきい値から差分処理を行う方法を対象にするものなので、変化量を求める差分演算の種類に依存するものではない。

次に図２を用いて、変化量と動画像の動きのあり・なしの指定から適正なしきい値の範囲を求めるアルゴリズムについて説明する。

図２（ａ）は変化量の時間変移を示したグラフであり、横軸は時刻、縦軸は変化量である。ここで動きのない時間Ｔ１〜Ｔ２、Ｔ５〜Ｔ６、および、動きのある時間Ｔ３〜Ｔ４を指定したとする。変化量は動きが明瞭であれば、動きのあるときとないときで明らかな差があるため、動きのない時間における変化量の最大値から適正なしきい値の下限Ｔｈ１が、動きのある時間における変化量の最小値から適正なしきい値の上限Ｔｈ２を決定することができる。その結果、使用者はしきい値の下限Ｔｈ１から上限Ｔｈ２の間で適正なしきい値Ｔｈを設定すればよい。

適正なしきい値の下限Ｔｈ１と上限Ｔｈ２の設定方法としては別の方法もある。図２（ｂ）はしきい値を変更した場合の誤検知率と未検知率を表したものである。誤検知とは動きがないにもかかわらず誤って動きありと判別されることである。誤検知率曲線２−１は図２（ａ）における動き検知なし時間の変化量の分布から生成され、しきい値を大きくするほど低くなる。同様に未検知とは動きがあるにもかかわらず動きなしと判別されることである。未検知率曲線２−２は図２（ａ）における動き検知あり時間の変化量の分布から生成され、しきい値を小さくするほど低くなる。

よって誤検知率と未検知率の和が検知全体の精度となり、図２（ｂ）の検知率曲線２−３で示される。その結果、一定の判別精度Ｅを保つためのしきい値の範囲はＴｈ１からＴｈ２となる。この手法によれば、動きなしと指定したときの変化量分布と動きありと指定したときの変化量分布が重複していても判別が可能である。

次に図３を用いて動き検知感度設定のＧＵＩを説明する。図３（ａ）は感度設定を行うダイアログウィンドウの一例を示した図である。ダイアログはプリセット選択部３−１、画像表示部３−２、検知対象領域設定枠３−３、動きありボタン３−４、動きなしボタン３−５、変化量・判別結果表示部３−６、感度調節部３−７、決定ボタン３−８、キャンセルボタン３−９から構成される。

プリセット設定部３−１は制御可能なカメラのパン、チルト、ズームを指定したプリセットを選択するものである。当然のことながら固定カメラの場合は不要である。動き検知対象領域３−３は画像中で差分処理の対象となる領域を指定する枠であり、その位置やサイズはマウスカーソルのドラッグ操作により変更可能である。

動きありボタン３−４、および、動きなしボタン３−５は動きありおよびなしの開始時刻と終了時刻を指定する。両ボタンは一度押すと押下状態になり、再び押すと通常状態となる。押下時に開始時刻を指定し、押上時に終了時刻を指定する。指定後、動きのありおよびなし時間のデータはＲＡＭや二次記憶に保存される。そして、動きありボタンを押し上げて動きありの終了を指定したときに適正なしきい値の上限が算出され、動きなしボタンを押し上げて動きなしの終了を指定したときには適正なしきい値の下限が設定される。

変化量・判別結果表示部３−６は変化量をグラフで表示するとともに、動き有無の判別結果を色で表示する。感度調整部３−７はしきい値を感度に変換して表示し、スライダーのつまみをドラッグすることで感度を設定できる。スライダーでは図３（ｂ）に示すように、最小適正感度Ｓ１から最大適正感度Ｓ２までの値が強調表示される。既に述べたように適正感度の最小値Ｓ１は適正しきい値の最大値Ｔｈ２から求められ、適正感度の最大値Ｓ２は適正しきい値の最小値Ｔｈ２から求められる。

次に図４および図５を用いて、動き検知設定プログラムの動作手順を説明する。図４はＧＵＩを含むメインプロセスの動作手順であり、図５は動き検知処理を行うサブプロセスの動作手順である。

図４のメインプロセスにおいて、開始後、ステップＳ４０１で初期化処理を行い、ステップＳ４０２でサブプロセスを起動する。初期化を終了すると図３に示すようなダイアログを表示する。次にステップＳ４０３においてイベント待ちを行う。以下では本発明に係わる主要なイベントのみを説明する。

イベントが発生すると、ステップＳ４０４においてプリセット入力処理かどうか判別する。このイベントはプリセット選択部３−１を変更すると発生する。もしそうであればＹ分岐し、ステップＳ４０５でプリセット設定を、ステップＳ４０６でカメラ制御を行い、ステップＳ４０３に戻って次のイベントを待つ。

ステップＳ４０４でプリセット入力イベントでない場合にはＮ分岐し、ステップＳ４０７で領域変更イベントかどうか判別する。このイベントは動き検知対象領域枠３−３を変更した場合に発生する。もしそうである場合にはＹ分岐し、ステップＳ４０８に進んで領域変更処理を行い、ステップＳ４０３に戻って次のイベントを待つ。

ステップＳ４０７において領域変更イベントでない場合にはＮ分岐し、ステップＳ４０９で動きありボタン押下イベントかどうか判別する。もしそうであればＹ分岐し、ステップＳ４１０で動きあり開始時刻を記録し、ステップＳ４０３に戻る。ステップＳ４０９において押下イベントでない場合にはＮ分岐し、ステップＳ４１１で動きありボタン押上イベントかどうか判別する。もしそうであればＹ分岐し、ステップＳ４１２に進んで動きあり終了時刻を記録する。次にステップＳ４１３で適正しきい値の上限値を計算し、ステップＳ４１４で感度設定表示を更新し、ステップＳ４０３に戻って次のイベント待ちを行う。

ステップＳ４１１で動きありボタン押上イベントでない場合にはＮ分岐し、ステップＳ４１５に進んで動きなし押下イベントかどうか判別する。もしそうである場合にはＹ分岐し、ステップＳ４１６に進んで動きなし開始時刻を記録し、ステップＳ４０３に戻る。ステップＳ４１５において動きなし押下イベントでない場合にはＮ分岐し、ステップＳ４１７に進んで動きなし押上イベントかどうか判別する。もしそうである場合にはＹ分岐し、ステップＳ４１８に進んで動きなし終了時刻を記録し、ステップＳ４１９で適正しきい値の下限値を計算し、ステップＳ４１４以下の処理を行う。

もし、ステップＳ４１７で動きなしボタン押上イベントでない場合にはステップＳ４２０に進んで検知設定更新要求かどうか判別する。このイベントは決定ボタン３−８を押下時に発生する。もしそうである場合にはＹ分岐してステップＳ４２１で動き検知設定値を更新する。もしそうでない場合はステップＳ４０３に戻って次のイベントを待つ。

次に、図５を用いて画像処理を行うサブプロセスの動作原理を説明する。開始後、ステップＳ５０１で画像を１枚取得する。画像はカメラから入力したり、ネットワーク経由で取得したりする。次に、ステップＳ５０２で差分処理に必要な基準画像が存在するかどうか判別する。

基準画像は前述したように過去の画像を少なくとも１つ使用する。このため、ステップＳ５０２において基準画像がない場合にはＮ分岐し、ステップＳ５０６に進んで基準画像の生成と更新を行う。ここで背景差分の場合は基準画像作成時には動きがない状態である必要があるが、設定を行うタイミングを調節することによって対応が可能である。また設定ダイアログに「設定開始」などのボタンを付けてタイミングを調節することもできるが、本発明に係わる部分ではないため説明を省略する。

ステップＳ５０２において、もし基準画像がある場合にはＹ分岐し、ステップＳ５０３に進んで差分処理を行う。次にステップＳ５０４で動き判別処理、ステップＳ５０５で変化量表示更新処理を行い、ステップＳ５０６で基準画像を更新してステップＳ５０７で画面表示を更新する。画像表示の際には変化のあった領域を強調して表示することも可能である。最後にステップＳ５０８で終了指示が無ければＮ分岐してステップＳ５０１に戻って処理を繰り返す。

プログラム処理にはこの他にもキャンセルボタン３−９押下時の処理があるが、キャンセルした場合には設定値は確定されずにダイアログは終了する。またオペレーションシステム固有のイベントに対する処理の説明は省略する。

以上の説明からも明らかなように、本実施形態によれば、画像の差分に基づく動き検知において、使用者が画像を見ながら動きありの開始・終了時刻と、動きなしの開始・終了時刻を指定することによって、適正なしきい値の範囲を求めるとともに、適正な感度値の上限と下限を表示し、使用者がより簡便にしきい値および感度設定を行うことができる。

＜第２の実施形態＞
本発明の第２の実施形態として、蓄積映像に対して第１の実施形態と同様に動きありと動きなしの時間を入力し、適正なしきい値および感度設定を行う方法を説明する。蓄積映像に加えて変化量の時間変位グラフも同時に示すことで、動きありなし期間の設定をより分かりやすく行うこと目的とする。

本実施形態のハードウェア構成とソフトウェア構成は第１の実施形態と同一であるので説明を省略する。本実施形態における感度設定のＧＵＩの例を図６に示す。図６はダイアログウィンドウであり、画像表示部６−１、動き検知対象領域設定部６−２、蓄積映像選択部６−１６、動きありボタン６−３、動きなしボタン６−４、変化量・動き判別結果表示部６−５、感度調整部６−６、代表画像表示部６−７、６−８、６−９、変化量変移グラフ６−１０、動き時間表示バー６−１２、時刻表示バー６−１１、再生制御ボタン群６−１３、決定ボタン６−１４、キャンセルボタン６−１５から構成される。なお、図６とは別に、ライブ画像画面で蓄積映像を録画するために新たにボタンを追加する必要があるが、説明を省略する。

次に、操作方法を説明する。まず蓄積映像選択部６−１６により任意の映像を選択する。すると画像表示部６−１は当該映像が表示され、再生を開始する。再生中は変化量表示部６−５に変化量が表示される。動き検知対象領域６−２はマウスのドラッグにより位置とサイズを変更して動き検知の対象となる領域を指定する。再生中に再度再生ボタンを押すと再生を停止する。

動きありボタン６−３と動きなしボタン６−４は、第１の実施形態と同様に、再生中の適当なタイミングでボタンを操作することにより、動き有無の開始・終了時刻を指定する。ただし、本実施形態では動きありボタン６−３が押下されると変化量グラフ６−１０において、動き時間表示バー６−１２の表示を開始し、押上されるとバーの長さが決定する。バーの色や柄は動きありとなしが識別できるように異なっている。同時に時間表示バー６−１１には開始・終了時刻を表示する。以上の処理は動き検知なしボタン６−４の押下・押上に対しても同様である。

動き時間表示バー６−１２が決定すると、バーの表示と対応して期間中の代表画像を６−７、６−８、６−９のように表示する。画像は動き検知ありの場合は変化量が最大である時刻の画像などが考えられるが、単に動きあり・なし開始時の画像でもよい。本実施形態では、動きなし期間及び動きあり期間の全てに対応する代表画像６−７、６−８、６−９を表示させているが、そのうちの何れか一を表示させるように構成してもよい。動き期間表示バー６−１２は水平方向にドラッグすることで開始・終了時刻を変更できる。同じく、本実施形態では、動きなし期間及び動きあり期間の全てに対応する動き期間表示バー６−１２を表示させているが、そのうちの何れか一を表示させるように構成してもよい。開始・終了時刻の変更があると、感度表示部６−６、代表画像表示部６−７〜９の表示も更新する。

時刻制御スライダー６−１１はつまみをドラッグすることで再生時刻を変更できる。また、再生制御ボタン群６−１３は、再生、早送り、巻き戻しなどの操作が可能であるが、これらは一般の動画像再生ソフトと同じ動作である。

動きありとなしの開始・終了時刻が決定すると適正なしきい値の下限と上限が決定し、感度設定スライダー６−６の強調表示部分に反映される。適正なしきい値の範囲を決定するアルゴリズムは第１の実施形態と全く同じである。変化量・判別結果表示部６−５、感度設定スライダー６−６、決定ボタン６−１４、キャンセルボタン６−１５の操作も第１の実施形態と同じ処理であるため説明を省略する。

次に、図７、図８を用いて本実施形態における動き検知感度設定プログラムの動作手順を説明する。図７はメインプロセスの動作手順である。本実施形態のプロセス構成は第１の実施形態のプロセス構成と同一であり、動作も同一の点が多いため、以下では第１の実施形態と異なる点を中心に説明を行う。

開始後、ステップＳ７０１で初期化し、ステップＳ７０２で画像処理プロセスを起動し、ステップＳ７０３でイベント待ちを行う。イベントが発生するとステップＳ７０４で再生制御イベントかどうか判別する。これは再生、早送り、巻き戻しボタン６−１３、および、時刻指定バー６−１１が操作された場合に発生する。もしそうであるならばＹ分岐し、ステップＳ７０５で再生制御処理を行う。なお、早送りと巻き戻しを行っている間は動き検知処理を行わない。

ステップＳ７０４において、もし再生制御入力ではないのであればＮ分岐し、ステップＳ７０６に進んで検知領域変更入力かどうか判別する。もしそうであればＹ分岐し、ステップＳ７０７において検知領域変更処理として、変更された領域の場所とサイズを記録する。

ステップＳ７０６で検知領域変更入力ではない場合はＮ分岐し、ステップＳ７０８で動きあり・なしボタン関連のイベントかどうか判別する。イベント処理（ステップＳ７０８）とイベント発生時の動作（ステップＳ７０９）に関しては、第１の実施形態の動作手順（ステップＳ４０９〜ステップＳ４１９）と同一であるため図示は省略する。ただし、前述したように開始、終了時刻が決定すると、時刻表示バー６−１１、動き時間表示バー６−１２、代表画像表示部６−７〜９の表示が更新される。また、適正なしきい値の範囲が変更し、感度設定スライダー６−６の表示も変更する。

ステップＳ７０８で動きあり・なしボタンに関するイベントで無かった場合にはＮ分岐し、ステップＳ７１０において、動き時間表示バー変更イベントかどうか判別する。このイベントは動き期間表示バー６−１２をマウスでドラッグすることにより位置およびサイズを変更した場合に発生する。もしそうであればＹ分岐し、ステップＳ７１１で動き時間表示バーの変更処理を行う。位置とサイズは開始時刻と終了時刻に変換される。開始時刻と終了時刻が変更すると、動き期間表示バー６−１２、代表画像表示部６−７〜９の表示も連動して変更される。また、適正なしきい値の範囲が変更し、感度設定スライダー６−６の表示も変更する。

ステップＳ７１０で動き期間表示バー６−１２の変更イベントではない場合はＮ分岐し、ステップＳ７１２に進んで動き検知設定変更イベントかどうか判別する。このイベントは第１の実施形態における図４のステップＳ４２０と同じ処理であり、決定ボタン６−１４を押下時に発生する。もしそうである場合にはＹ分岐してステップＳ７１３で動き検知設定値を更新する。

次に、画像処理を行うサブプロセスの動作手順を図８に示す。第１の実施形態におけるサブプロセスと同一の処理を含むため、異なる点を中心に説明する。開始後、ステップＳ８０１において、停止状態かどうか判別する。もしそうであれば、Ｙ分岐しステップＳ８１０に進んで終了指示イベントがあったかどうか判定し、もし終了指示イベントがあればＹ分岐して終了する。もしなければＮ分岐し、ステップＳ８０１に戻って処理を続ける。

ステップＳ８０１において停止状態で無ければＮ分岐し、ステップＳ８０２で再生状態かどうか判定する。もしそうであればＹ分岐し、ステップＳ８０３において残フレームがあるかどうか判定する。もしそうであればＹ分岐しステップＳ８０４以下の画像差分処理を行う。ステップＳ８０４からステップＳ８１０の処理は第１の実施形態における図５のステップＳ５０２からステップＳ５０８と同一であるので説明を省略する。処理が終了するとステップＳ８０１に戻る。

ステップＳ８０２において再生状態でない場合には早送り・巻き戻し状態であるのでＮ分岐し、ステップＳ８１２に進んで早送り・巻き戻し処理を行う。そしてステップＳ８０９で表示を更新しステップＳ８１０での終了判定処理に進む。またステップＳ８０３において、再生時に残りのフレームがなくなった場合、ステップＳ８１１に進んで停止状態に変更し、後はステップＳ８０９以下の処理を行う。

本実施形態によれば、画像の差分に基づく動き検知において、使用者が蓄積映像の再生画像を見ながら動きのない時間と動きのある時間を入力することによって、適正なしきい値および感度の範囲を自動的に計算する。また、変化量の時間変位をグラフ表示し、動きありおよび動きなしの開始・終了時刻をグラフィカルに表示することによって、動きあり・なし時間の設定を簡便に行うことができる。

＜第３の実施形態＞
本発明の第３の実施形態として、第１の実施形態において、動きあり時間における変化量の分布から画像上の動き検知対象領域を自動的に設定する方法を述べる。

図９を用いて本実施形態における動き検知対象領域の自動設定の方法を説明する。図９は画像９−１上において、動きありとした時間中の変化量の和を部分領域ごとに表示したものである。ここでは大きな動きがあった領域ほど濃い色で示されている。これは時間方向のヒストグラムであり、ある一定値以上の和を持つ部分領域を抽出して、その外接矩形９−２を求めれば、それが動き検知対象領域である。

本実施形態における動き検知設定のＧＵＩは図１０に示すように、第１の実施形態における設定ＧＵＩ図（図３）に、動き検知領域を自動的に設定することを指示するためのチェックボックス１０−８を追加すればよい。そして、動きありボタンを押上げたタイミングで上記アルゴリズムにより検知対象領域を決定する。

本実施形態におけるプログラムの動作手順は、第１の実施形態と同一であり、メインプロセスの処理手順ステップＳ４１２の動きあり終了処理において、上記方法により検知対象領域を求める処理を追加すればよいため、説明を省略する。

以上は第１の実施形態に追加した例であるが、第２の実施形態に対しても同様な方法によって、検知対象領域を自動的に設定するように機能を追加できることは言うまでもない。

本実施形態によれば、画像の差分に基づく動き検知において、使用者が動きあり時間を指定し、動きあり時間中の変化量の統計から、動き検知対象領域を自動的に設定することができる。これにより動き検知対象領域の設定処理を簡便化できる。

以上のように、本発明によれば、画像間の差分から得た変化量から画像の動きを検出する動き検知方法において、動きありの時間と動きなしの時間を使用者が指定することにより、適正なしきい値を計算し、適正な感度の範囲を使用者に提示するための動き検知設定を行うことができる。また、ライブ画像に加えて蓄積映像に対しても適正な感度範囲を提示することができる。さらに、動きあり時間を指定し、時間中の変化量の統計から自動的に動き検知対象領域を指定する動き検知設定方法が提供される。

＜第４の実施形態＞
本発明の第４の実施形態として，画像中に動きのないときに自動感度設定開始を指示すると、数秒間の差分値の統計量から最適な感度を自動的に設定する方法を説明する。

本実施形態のハードウェア構成およびソフトウェア構成は第１の実施形態と同一であるため説明を省略する。図１１は本実施形態における感度設定画面の例である．第１の実施形態と異なる点は、動きありボタン３−４、および、動きなしボタン３−５を廃止し、その代わりに、自動設定ボタン１１−４を設けたものである。また本実施形態は感度を自動的に設定するものであるため、感度設定スライダー１１−７には，３−７のように感度の上限および下限は表示しない。動きがない状態で自動感度設定ボタン１１−４を押下することにより，自動感度設定を開始する。

図１２を用いて自動感度設定の手順を説明する。図１２は動き検知設定プログラムの自動感度設定に関する動作手順である。使用者は画面に動きがないことを確認して自動設定ボタン１１−４を押下する。ここで動きがない状態とは検出対象である動きがない状態であり、樹木の揺れや水面のゆらぎなどの、検出対象外の動きが存在しても問題ない。

動き検知設定の開始後、ステップＳ１２０１において画像取得を試みる。本実施形態では第１の実施形態で説明した基準画像は既に取得しているものとする。ステップＳ１２０２でもし画像取得が失敗した場合にはＮ分岐し、ステップＳ１２０３に進んで連続して失敗したかどうか判別する。連続失敗回数には上限を設け、もしこの上限値以下の場合はＮ分岐してステップＳ１２０１に戻って再度画像取得を行う。もし上限値を超えて連続して失敗した場合にはＹ分岐し、ステップＳ１２０４に進んで失敗メッセージを表示して自動設定を終了する。この場合感度の値は自動設定開始前の値のままである。

ステップＳ１２０２において画像取得に成功した場合にはＹ分岐し、ステップＳ１２０５において差分処理を行う。第１の実施形態でも説明したように、本実施形態は差分処理に依存しないが、例えば連続するフレームにおいて検知領域１１−３を構成する８ｘ８画素のＪＰＥＧブロックに対し，量子化後のＤＣＴ係数の差分和を求めて差分値とする方法がある．ここで連続するフレームとは例えば現在のフレームと一つ前のフレームのことである。

次にステップＳ１２０６で取得したフレームにおける平均差分値Ｄｔ（ｔ＝１…ｎ）を計算する．平均を求める際には例外的な値を排除するために，差分値の上下１０％程度は除外する．つぎにステップＳ１２０７で最低取得時間を経過したかどうかを判別する。最低取得時間は例えば２秒間などと固定値で定め、もし最低取得時間経過していない場合にはＮ分岐し、ステップＳ１２０１に戻って画像取得と差分処理を続ける。

ステップＳ１２０７において最低取得時間を経過していた場合にはＹ分岐し、ステップＳ１２０８に進んで最低フレーム数以上取得したかどうか判別する。これは統計的に意味のある値を持たせるために、例えば最低５フレーム分の平均差分値を用いて最終的な平均差分値を算出するためである。

もし最低フレーム数分画像を取得していない場合にはＮ分岐し、ステップＳ１２０９にて最大取得時間経過したかどうか判別する。最大取得時間は例えば１０秒とする。もし最大取得時間経過した場合にはＹ分岐してステップＳ１２０４で失敗メッセージを表示して終了する。これは例えば１０秒間待っても５フレーム取得できない、といった状況である。もし最大取得時間経過していない場合にはＮ分岐し、ステップＳ１２０１に戻って画像の取得と差分処理を続ける。

ステップＳ１２０８において最低フレーム数以上取得した場合にはＹ分岐し、ステップＳ１２１０で全フレームにわたる平均差分値計算を行う。これは各フレームの平均差分値Ｄｔのさらに平均Ｄを求めるものである。ここでも上位と下位１０％の値を省くことにより雑音を除去できる．つぎにステップＳ１２１１において、差分値から感度を求める。ここでは第１の実施形態と同様の式を用いて、しきい値Ｄと反比例するように感度Ｓを求める。

Ｓ＝ａ（Ｄｍａｘ−Ｄ）＋ｂ
但し、Ｓ：感度、Ｄｍａｘ：最大差分値、Ｄ：平均差分値、ａ、ｂは定数。

上式において定数ｂは感度を鈍くする働きをするもので、通常負の値をとる。感度計算後ステップＳ１２１２で自動感度設定の成功メッセージを表示する。そしてステップＳ１２１３で感度を新たな値に更新し、終了する。

本方式は固定カメラのほかに、パン、チルト、ズームなどのカメラ制御を行うことが可能なカメラへの適用できることは言うまでもない。ただしこのようなカメラにおいて、自動感度設定中に画像に影響するようなカメラ制御を行った場合、自動感度設定は失敗する。このようなカメラ制御には例えば、パン、チルト、ズーム、フォーカス、ゲイン、露出、絞り、シャッタースピード、ホワイトバランスなどが含まれる。

本実施形態では自動感度設定の開始のみを指定するため、自動感度設定を行っている間画面中に動きがないことを仮定している。このため、予想に反して画面中に大きな動きが連続して生じた場合、これを雑音として除去できるとは限らずに正しい値が設定されない場合がある。しかしながら数秒間の安定した動きのない状態があれば、その間の差分量から自動的に感度を求めることができる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

差分による動き検知処理の概要を説明するための図である。 変化量の時間変移を示した図である。 本発明の第１の実施形態に係る動き検知感度設定のＧＵＩを示した図である。 本発明の第１の実施形態に係る動き検知設定プログラムの動作手順を示したフローチャートである。 本発明の第１の実施形態に係る動き検知設定プログラムの動作手順を示したフローチャートである。 本発明の第２の実施形態に係る動き検知感度設定のＧＵＩを示した図である。 本発明の第２の実施形態に係る動き検知感度設定プログラムの動作手順を示したフローチャートである。 本発明の第２の実施形態に係る動き検知感度設定プログラムの動作手順を示したフローチャートである。 本発明の第３の実施形態に係る動き検知対象領域の自動設定方法を説明するための図である。 本発明の第３の実施形態に係る動き検知設定のＧＵＩを示した図である。 本発明の第４の実施形態に係わる動き検知設定のＧＵＩを示した図である。 本発明の第４の実施形態に係わる動き検知設定プログラムの動作手順を示したフローチャートである。

符号の説明

１−１ 撮像部
１−２ 基準画像生成部
１−３ 差分処理部
１−４ 判別処理部
１−５ 設定部
３−１、１０−１ プリセット選択部
３−２、６−１、１０−２ 画像表示部
３−３、１０−３ 検知対象領域設定枠
３−４、６−３、１０−４ 動きありボタン
３−５、６−４、１０−５ 動きなしボタン
３−６、６−５、１０−６ 変化量・動き判別結果表示部
３−７、６−６、１０−７ 感度調節部
３−８、６−１４、１０−９ 決定ボタン
３−９、６−１５、１０−１０ キャンセルボタン
６−７〜９ 代表画像表示部
６−１０ 変化量変移グラフ
６−１１ 時刻表示バー
６−１２ 動き期間表示バー
６−１３ 再生制御ボタン群
１０−８ チェックボックス
１１−４ 自動感度設定ボタン

Claims (10)

1. 動画像を表示する画像表示手段と、
   使用者の操作に応じて、前記画像表示手段に表示される動画像に動きがある第１の期間と動きがない第２の期間とを指定する期間指定手段と、
   所定の基準画像に対する前記第１の期間における動画像の変化量と、前記所定の基準画像に対する前記第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値を決定する上下限値決定手段と、
   前記所定の基準画像に対する動画像の変化量の変移状況を示すグラフを表示する変化量変移表示手段と、
   前記上下限値決定手段により決定された前記上限値及び前記下限値を動き検知の感度に変換し、変換された上限値及び前記下限値を前記変化量変移表示手段によって表示されたグラフの近傍に強調表示するしきい値決定範囲表示手段と、
   前記しきい値決定範囲表示手段により動き検知の感度に変換されたしきい値の前記上限値から前記下限値までの範囲内において、使用者の操作に応じた任意のしきい値を決定するしきい値決定手段と、
   前記しきい値決定手段により決定された前記しきい値と前記所定の基準画像に対する動画像の変化量とに基づいて、動画像の動きを検知する動き検知手段と
   を有することを特徴とする画像動き検知装置。
2. 前記第１の期間における動画像に基づいて、前記動き検知手段の動き検知対象となる画像領域を設定する検知対象領域設定手段を更に有することを特徴とする請求項１に記載の画像動き検知装置。
3. 前記検知対象領域設定手段は、前記第１の期間における動画像から動きが検知された画像領域を、前記動き検知手段の動き検知対象となる画像領域として設定することを特徴とする請求項２に記載の画像動き検知装置。
4. 前記動き検知手段は、前記所定の基準画像に対する動画像の変化量が前記しきい値以上である場合、又は、前記所定の基準画像に対する動画像の変化量が前記しきい値を超過した場合、動画像の動きを検知することを特徴とする請求項１乃至３の何れか１項に記載の画像動き検知装置。
5. 前記第１の期間及び前記第２の期間の少なくとも何れか一の期間における代表画像を表示する代表画像表示手段を更に有することを特徴とする請求項１乃至４の何れか１項に記載の画像動き検知装置。
6. 前記期間指定手段は、ライブ画像から前記第１の期間及び前記第２の期間を指定することを特徴とする請求項１乃至５の何れか１項に記載の画像動き検知装置。
7. 動画像を蓄積する蓄積手段を更に有し、
   前記期間指定手段は、前記蓄積手段に蓄積される動画像から前記第１の期間及び前記第２の期間を指定することを特徴とする請求項１乃至６の何れか１項に記載の画像動き検知装置。
8. 動画像の動きを検知する画像動き検知装置による画像動き検知方法であって、
   動画像を表示する画像表示ステップと、
   使用者の操作に応じて、表示される動画像に動きがある第１の期間と動きがない第２の期間とを指定する期間指定ステップと、
   所定の基準画像に対する前記第１の期間における動画像の変化量と、前記所定の基準画像に対する前記第２の期間における動画像の変化量とに基づいて、しきい値の上限値及び下限値を決定する上下限値決定ステップと、
   前記所定の基準画像に対する動画像の変化量の変移状況を示すグラフを表示する変化量変移表示ステップと、
   決定された前記上限値及び前記下限値を動き検知の感度に変換し、変換された上限値及び前記下限値を前記グラフの近傍に強調表示するしきい値決定範囲表示ステップと、
   動き検知の感度に変換されたしきい値の前記上限値から前記下限値までの範囲内において、使用者の操作に応じた任意のしきい値を決定するしきい値決定ステップと、
   決定された前記しきい値と前記所定の基準画像に対する動画像の変化量とに基づいて、動画像の動きを検知する動き検知ステップとを含むことを特徴とする画像動き検知方法。
9. 請求項８に記載の画像動き検知方法をコンピュータに実行させるためのプログラム。
10. 請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images