JP4819380B2 - 監視システム、撮像設定装置、制御方法、及びプログラム - Google Patents

監視システム、撮像設定装置、制御方法、及びプログラム Download PDF

Info

Publication number
JP4819380B2
JP4819380B2 JP2005073335A JP2005073335A JP4819380B2 JP 4819380 B2 JP4819380 B2 JP 4819380B2 JP 2005073335 A JP2005073335 A JP 2005073335A JP 2005073335 A JP2005073335 A JP 2005073335A JP 4819380 B2 JP4819380 B2 JP 4819380B2
Authority
JP
Japan
Prior art keywords
setting
image
imaging
captured image
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005073335A
Other languages
English (en)
Other versions
JP2005312018A (ja
JP2005312018A5 (ja
Inventor
崇 大矢
智明 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005073335A priority Critical patent/JP4819380B2/ja
Priority to US11/085,740 priority patent/US7423669B2/en
Publication of JP2005312018A publication Critical patent/JP2005312018A/ja
Publication of JP2005312018A5 publication Critical patent/JP2005312018A5/ja
Application granted granted Critical
Publication of JP4819380B2 publication Critical patent/JP4819380B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、被写体を追尾しながら撮像する追尾機能を有するカメラを用いた監視を行う監視システム、撮像設定装置、制御方法、及びプログラムに関する。
近年、カメラで撮影した映像をネットワーク経由で配信する映像配信システムや、屋内外の所定の監視区域をカメラで監視する監視システムが広く普及している。更に、ネットワークに接続できるサーバ機能を有するネットワークカメラや、カメラをネットワークに接続するためのセットトップボックスが製品化されている。これらのいわゆるカメラサーバには、画像の変化(例えば所定の監視区域内に不審者が侵入した場合など)を検知して警報装置を作動させる機能を有するものがある。
この他の従来技術として、JPEG(Joint Photographic Experts Group)圧縮に代表されるような、画像を複数のブロックに分割し、ブロックごとに画像情報を直交変換して量子化し、エントロピー符号化する符号化方式に関する技術が提案されている。該提案は、直交変換して得られた変換係数と過去の画像フレームの同じブロック位置の変換係数とを比較し、比較結果に応じてブロックごとの変化の有無を判断する技術である(例えば、特許文献1、特許文献2参照)。
更に、この他の従来技術として、画像を圧縮して得られた圧縮データの総符号量又は圧縮率と、過去の画像フレームにおける圧縮データの総符号量又は圧縮率とを比較し、比較結果に応じて画像全体の変化の有無を判断する技術が提案されている(例えば、特許文献3、特許文献4参照)。
特開昭62−230281号公報 特開平7−255052号公報 特開平1118073号公報 特開2000−50236号公報
しかしながら、上記従来技術では、カメラサーバにネットワークを介して接続されたクライアント装置は、カメラサーバに対して遠隔地に配置されている。そのため、カメラが有する複数の追尾機能のパラメータを設定する際に、そのパラメータの変更がカメラの追尾処理にどれだけ影響するかが分かりにくかった。これは、例えば、クライアント装置側でカメラの追尾機能のパラメータを設定する場合、実際にカメラの撮像領域中のどの部分を対象として追尾しているのか表示されないことが1つの要因とも考えられる。
本発明の目的は、変化検知領域を追尾対象にする場合も、変化検知領域以外の領域を追尾対象にしたい場合も、精度良く追尾処理を行うことを可能とした監視システム、撮像設定装置、制御方法、及びプログラムを提供することにある。
上述の目的を達成するために、本発明の撮像設定装置は、像装置が撮像した撮像画像、及び前記撮像画像に対する変化検知処理により検知された変化検知領域の前記撮像画像における位置を示す情報を、前記撮像装置の撮像方向を制御する撮像制御装置から受信する受信手段と、記撮像画像の表示画面上に前記変化検知領域の位置を示すと共に、前記撮像装置の撮像方向を制御するために検知される前記撮像画像内の追尾対象の位置の検知方法を選択させるための設定ウィンドウを表示させる表示制御手段とを有することを特徴とする。
本発明によれば、表示画面上に変化検知領域の位置を示すと共に、撮像装置の撮像方向を制御するために検知される撮像画像内の追尾対象の位置の検知方法を選択させるための設定ウィンドウを表示させる。これにより、変化検知領域を追尾対象にする場合も、変化検知領域以外の領域を追尾対象にしたい場合も、精度良く追尾処理できるようになる。
以下、本発明の実施の形態を図面を参照して説明する。
本発明の実施の形態では、カメラサーバと管理者用の設定クライアントから構成される監視システムについて説明する。具体的には、設定クライアントが、カメラサーバにおいて実行される追尾機能に関わる設定を行う際に、カメラサーバの追尾処理の途中経過或いは最終結果を示す情報をネットワーク経由でカメラサーバから受信し、受信した情報に基づいて再設定処理する例を説明する。
図1は、本実施の形態に係る監視システムの構成例を示すブロック図である。
図1において、監視システムは、カメラ100及びカメラサーバ200と、設定クライアント300とから構成されている。カメラサーバ200は、A/D変換部210、符号化部220、変化検知・追尾処理部230、通信部(受信)240、通信部(送信)250を備えている。通信部240,250は一体的に構成されてもよい。カメラサーバ200の中央処理装置(CPU)は、制御プログラムに基づいて変化検知・追尾処理部230等を制御し、画像の動きを検知すると共に検知結果に基づいてオブジェクトの追尾処理を行うものであり、図4〜図8、図14、図17、図20のフローチャートに示す処理を実行する。
また、設定クライアント300は、通信部(受信)310、復号化部320、画像表示部330、変化検知・追尾設定部340、設定操作部350、通信部(送信)360を備えている。通信部310、360は一体的に構成されてもよい。設定クライアント300の中央処理装置(CPU)(表示制御手段)は、制御プログラムに基づいて変化検知・追尾設定部340等を制御し、図9、図10、図21のフローチャートに示す処理を実行する。
図1のAは、カメラサーバ200から、カメラ100によって撮像されたライブ画像及び変化検知・追尾情報を設定クライアント300に送信し、設定クライアント300から変化検知・追尾設定情報を受信することを示している。また、図2のBは、設定クライアント300から送信されるライブ画像要求及び変化検知・追尾設定要求をカメラサーバ200が受信することを示している。
カメラサーバ200は、カメラ100で撮像したライブ画像をネットワーク経由で設定クライアント300に送信することができる。設定クライアント300は、カメラサーバ200からネットワーク経由で送信された画像変化検知処理・追尾処理の結果をライブ画像と共に受信して表示する。
カメラサーバ200の画像変化検知機能及び追尾機能に関わる設定は、送信された画像を確認しながら自由に変更可能である。具体的には、設定クライアント300において、設定者によりGUI(Graphical User Interface)を用いて設定値を変更する。そして、設定クライアント300は、変更された設定値をカメラサーバ200に対して送信する。カメラサーバ200は、設定クライアント300から送信された設定値を受信し、以後その設定値に基づいて画像変化検知処理や追尾処理を行う。
設定クライアント300がカメラサーバ200から画像を取得するには、例えばURL(Uniform Resource Locator)エンコーディングされたコマンドをHTTP(Hypertext Transfer Protocol)によって送信したときに複数フレーム分の画像が返信される方式を用いる。なお、本実施の形態では、ネットワークはインターネットを想定しているが、デジタル信号を送受信可能で画像通信に十分な容量のある伝送路であれば、ネットワークの実現方式は問わない。
カメラサーバ200は、パン・チルト(撮像方向)、ズームなどの制御が可能なカメラ100と接続されるが、カメラ100とカメラサーバ200を同一の筐体に配設した一体型であっても構わない。
先ず、カメラサーバ200の内部構成を画像処理に関連する構成を中心に説明する。
カメラサーバ200において、カメラ100からカメラサーバ200に入力された画像信号は、A/D変換部210においてデジタル化され、符号化部220において符号化される。ここで、符号化方式は、上記JPEGやMPEG(Moving Picture Experts Group)などがある。本実施の形態は、特定の符号化方式に限定されるものではないが、JPEG方式は画像を所定サイズのブロックに分割するものであり、本実施の形態では、このブロック化を画像の変化検知に利用している。
画像の符号化の後、変化検知・追尾処理部230において、画像内のオブジェクトの動きを検知するための画像の変化検知処理と検知されたオブジェクトの追尾処理が行われる。符号化された画像や画像変化検知処理・追尾処理の結果は、設定クライアント300からの要求に応じて通信部(送信)250からネットワーク経由で設定クライアント300に送信される。また、カメラサーバ200の画像変化検知機能及び追尾機能に関わる各種の設定は、設定クライアント300により変更され、設定クライアント300からネットワーク経由で送信されたその変更情報は通信部(受信)240により受信される。
画像変化検知処理の方式としては、隣接フレーム間差分を基に画像変化検知を行う方式や、背景差分を基に画像変化検知を行う方式がある。これらの差分方式のうち隣接フレーム間差分方式は、隣接フレーム間差分の特徴量として、座標が同じ画素の明度差の絶対値や、JPEG符号化ブロック単位でのDCT係数の差の絶対値和などが用いられ、これらを画像全体で積算した値が予め定めた閾値を超えると画像に変化ありとする方式である。何れの差分方式を用いるかによって、変化検知・追尾処理部230に符号化後の画像を入力するか符号化前の画像を入力するかが異なるため、図1では変化検知・追尾処理部230に入力する画像の経路を実線と点線で区別している。
本実施の形態は、特定の画像変化検知処理の方式に限定されるものではないが、説明の都合上、JPEG符号化ブロック単位でDCT係数の差の絶対値和を求める隣接フレーム間差分方式を想定する。この場合、画像変化検知イベントの発生は、例えば、感度、面積比、継続時間の3つの閾値で決定するものとする。
感度とは、JPEG符号化ブロック単位でのDCT係数の差の絶対値和がある閾値を超えた場合に当該ブロックで画像変化が発生したと検知する際の閾値を定めるもので、感度が高いほど閾値が低くなり、より少ない画像変化でも検知可能である。また、面積比とは、画像中で定めた変化検知対象領域(所定サイズのブロックで構成される)に属する全ブロック数に対する変化が発生したブロック数の割合がある一定の閾値を超えた場合に、画像変化を検知したとするものである。また、継続時間とは、前記の面積比によって検知された変化がある一定の閾値時間を超えて継続した場合に、最終的に画像変化を検知したとするもので、ここで初めて画像変化検知イベントが発生する。
カメラサーバ200の動作状態には、画像変化検知状態と追尾状態がある。カメラサーバ200の動作状態が画像変化検知状態とは、画像撮影時にカメラ100が停止しているときに被写体の動きを検知する処理を行う状態を指す。また、画像の変化の検知に伴って、カメラサーバ200の動作状態は画像変化検知状態から追尾状態になる。追尾状態の処理では、カメラサーバ200において、画像上で変化の大きな領域を動物体と認識し、この動物体が撮像画面の中心となるようカメラ100の視線を向けるように制御する。
具体的には、変化検知・追尾処理部230は、ブロック単位で変化の有無を求めた後、変化ありと検知されたブロックのうち、最大数のブロックの集合体の領域(最大領域)の重心を求める。もし、最大領域の面積が予め定めた一定値以上であれば、求めた重心点に関して画像中心からの変位量をカメラ100のパン・チルトの制御量に変換し、最大領域の重心を画像中心とするようにカメラ100を制御する。
また、変化検知・追尾処理部230は、追尾処理に用いられた最大領域に属するブロック位置と最大領域の重心座標を通信部(送信)250により設定クライアント300に送信する。
変化検知・追尾処理部230は、カメラ100の動作が停止すると再度画像変化検知のための隣接フレーム間差分処理を開始するが、追尾状態にある場合は隣接フレーム間差分処理後に再び領域分割処理を行い、最大領域の面積が予め定めた一定値以上であれば、追尾処理を継続する。一方、最大領域の面積が予め定めた一定値以上でなく、かつ予め定めた一定時間以上連続して面積の大きな領域が見つからない場合には、追尾処理を終了し、次回の画像取得からは通常の画像変化検知処理に戻る。
次に、設定クライアント300の内部構成を説明する。
設定クライアント300は、通信部(受信)310においてネットワーク経由でカメラサーバ200から画像信号を受信すると、復号化部320において画像信号の復号化を行い、画像表示部330において画像を表示する。通信部(受信)310は、更に、カメラサーバ200における画像変化検知処理と追尾処理結果を受信する。
画像変化検知処理と追尾処理結果に関する情報には、以下の情報が含まれる。変化検知対象領域、変化検知対象領域に対する変化が生じたブロックの総和の面積比、変化検知ブロックごとの画像変化検知の有無、変化ありと検知されたブロックのうち、最大数のブロックの集合体の領域(最大領域)とその重心位置に関する情報、追尾状態の開始時刻と終了時刻に関する情報などである。それらの情報は画像表示部330の表示画面上で表示される。なお、設定クライアント300で設定される変化検知対象領域は、カメラサーバ200における画像変化検知処理の対象となる領域を指す。
通信部(受信)310は、更にカメラサーバ200において既に設定されている変化検知設定信号を受信する。この変化検知設定信号は、変化検知・追尾設定部340に送られ、変化検知・追尾設定の初期値に使用される。なお、設定クライアント300がカメラサーバ200から変化検知信号や変化検知設定信号を取得するためのプロトコルとしては、TCP(Transmission Control Protocol)プロトコル上に実装する方法やHTTPプロトコル上に実装する方法などがある。
設定操作部350は、カメラサーバ200の画像変化検知機能及び追尾機能に関わる設定を行うためのものであり、例えば画像表示部330の表示画面上で変化検知対象領域を指定したり、検知感度を指定したりするためのものである。変化検知・追尾設定部340は、設定操作部350による設定パラメータの入力を検知すると、変化検知・追尾設定部340に入力されたパラメータの送信(変化検知・追尾設定要求)、及びライブ画像の要求を行う。通信部(送信)360は、カメラサーバ200に対し設定されたパラメータの送信を行う。
次に、設定クライアント300の画像表示部330の表示画面上に表示されるウィンドウを図2及び図3を用いて説明する。
図2は、設定クライアント200の画像表示部330におけるウィンドウの表示例を示す図である。
図2において、画像表示ウィンドウ400は、設定クライアント200においてアプリケーションソフトを実行することにより表示される。画像表示ウィンドウ400には、カメラサーバ200から受信した画像を表示する画像表示領域410を有し、その画像表示領域410内の変化検知処理に用いられる画像データを抽出する変化検知対象領域を示すフレーム420が表示される。フレーム420に対して、ラッチ430を不図示のマウスカーソルでドラッグすることでその大きさを変更することができる。また、フレーム420上で不図示のマウスカーソルをドラッグすることでフレーム位置を変更することができる。
更に、画像表示ウィンドウ400上の画像表示領域410において、設定クライアント300がカメラサーバ200から受信した画像の変化を検知した領域を示す変化発生ブロック440が表示される。なお、本実施の形態では、上述したようにJPEGの処理において規定されるブロック単位で画像変化検知を行うためブロック表示としているが、画素単位で変化を検知する場合は画素ごとに変化の有無を表示しても何ら問題はない。
また、画像表示ウィンドウ400の下部には、カメラ制御ボタン群450、設定した変化検知対象領域をカメラサーバ200に送信するための適用ボタン480、画像表示ウィンドウ400を閉じるためのボタン490が配設されている。
図3は、設定クライアント300の画像表示部330におけるカメラサーバ200の画像変化検知機能及び追尾機能に関する各種設定を行うための設定操作ウィンドウの表示例を示す図である。
図3において、設定操作ウィンドウ600は、設定クライアント300においてアプリケーションソフトを動作させることにより表示される。設定操作ウィンドウ600の入力は、キーボード、マウスなどの設定操作部350を用いて行われる。設定操作ウィンドウ600には、チェックボックス610、変化検知機能設定部620〜624、追尾機能設定部631〜634、アイコン642、設定内容をカメラサーバに送信するための適用ボタン651、設定操作ウィンドウ600を閉じるためのボタン652が配設されている。チェックボックス610は、画像変化検知機能の有効/無効を選択するためのものである。アイコン642は、カメラサーバ200の画像変化検知結果または追尾状態を表示する。
変化検知機能設定部620〜624は、上下矢印付き編集ボックス620、感度設定部621、面積比表示部622、面積比設定部623、継続時間設定部624から構成される。上下矢印付き編集ボックス620は、カメラサーバ200で画像変化検知を行う際のパン・チルト・ズーム位置を指定するためのものである。図3上に記載される感度、面積比、継続時間は、それぞれ画像変化検知に関係する閾値であり、感度と面積比はスライダにより値が設定され、継続時間は上下矢印付編集ボックスにより値が設定される。
面積比表示部622は、面積比、即ち変化検知対象領域に対して実際に変化を検知した領域の割合を図示の左右方向に変化するグラフとして実時間で表示するもので、面積比が閾値を超えたかどうかを一目で確認することができる。
追尾機能設定部631〜634は、チェックボックス631、上下矢印付編集ボックス632、上下矢印付編集ボックス633、不図示の追尾方法の変更ボタン634から構成される。チェックボックス631は、画像変化検知イベントが発生した際に対象の追尾を行うかどうかを指定するためのものである。上下矢印付編集ボックス632は、追尾対象の最小サイズを設定するためのものである。上下矢印付編集ボックス633は、追尾失敗時に画像変化検知状態に戻る復帰時間を設定するためのものである。追尾方法の変更ボタン634は、追尾設定を詳細に設定するためのものである。詳細ボタンによる設定に関しては後述する。
操作者により設定操作ウィンドウ600上の上記ボタンやスライダなどを操作することにより設定が行われ、適用ボタン651が押下されると、設定値が設定クライアント300の通信部(送信)360を介してカメラサーバ200に送信される。
設定クライアント300に対しカメラサーバ200から送信された画像変化検知処理・追尾処理の途中経過及び結果は、設定操作ウィンドウ600上のアイコン642として表示される。画像変化検知イベントが発生した際に対象の追尾を行うかどうかを指定するチェックボックス631がチェックされない場合は、アイコン642は画像変化検知機能がONである状態を表し、チェックされている場合には、アイコン642は追尾機能がONである状態を表す。
次に、本実施の形態における監視システムのカメラサーバ200及び設定クライアント300の動作を図4乃至図10を参照しながら詳細に説明する。なお、カメラサーバ200及び設定クライアント300は、それぞれが有する中央処理装置(CPU)がそれぞれの制御プログラムを実行することによって以下に示す処理が実行される。
カメラサーバ200は、メインプロセスと、画像取得及び画像変化検知処理・追尾処理を行うサブプロセスを実行する。最初にメインプロセスを説明し、次にサブプロセスを説明する。
図4及び図5は、カメラサーバ200のCPUが実行するメインプロセスの処理手順を示すフローチャートである。
図4及び図5において、カメラサーバ200のCPUは、メインプロセスの処理を開始した後、ステップS401で初期化処理を行い、ステップS402でサブプロセス(図6及び図7)を起動する。次に、カメラサーバ200のCPUは、ステップS403でイベント待ちを行い、イベントが発生すると、ステップS404の処理に進む。
カメラサーバ200のCPUは、ステップS404で発生したイベントが接続開始要求イベントであるかどうかを判別する。そして、ステップS404において接続開始要求イベントである場合には、ステップS405に進み、接続を許可できるかどうかを判別する。
カメラサーバ200のCPUは、もしステップS405において接続を許可できないと判定した場合は、ステップS406に進み、設定クライアント300に対して接続拒否通知を行う。カメラサーバ200のCPUは、もしステップS405において接続を許可できると判定した場合には、ステップS407に進み、接続を許可した設定クライアント300を登録する。具体的には、設定クライアント300に管理番号を割り振り、IPアドレスを登録し、接続時間などの管理データを初期化する。
次に、カメラサーバ200のCPUは、ステップS408において設定クライアント300に対して接続許可通知を発行する。接続許可通知を行う際は、例えばクライアント300に割り当てられる管理番号なども同時に設定クライアント300に通知する。処理終了後、ステップS403に戻り、次のイベントを待つ。
カメラサーバ200のCPUは、もしステップS404において接続要求イベントでないと判定した場合には、ステップS409に進み、接続終了要求イベントであるかどうかを判別する。カメラサーバ200のCPUは、ステップS409において接続終了要求イベントであると判定した場合には、ステップS410に進み、接続終了を設定クライアント300に通知する。次に、カメラサーバ200のCPUは、ステップS411に進み、設定クライアント300の管理番号を記憶媒体から抹消する。処理終了後、ステップS403に戻って次のイベントを待つ。
カメラサーバ200のCPUは、ステップS409において接続終了要求イベントでないと判定した場合には、ステップS412に進んで画像要求イベントであるか否かを判別する。カメラサーバ200のCPUは、ステップS412において画像要求イベントであると判定した場合には、ステップS413に進み、カメラ100から画像を取得し、ステップS414で画像要求した設定クライアント300に対して画像を送信する。更に、カメラサーバ200のCPUは、ステップS415において変化検知情報(画像変化検知処理・追尾処理の結果)を設定クライアント300に送信する。処理終了後、ステップS403に戻って次のイベントを待つ。
カメラサーバ200のCPUは、ステップS412において画像要求イベントでないと判定した場合には、ステップS416に進み、カメラ制御要求イベントであるか否かを判別する。カメラサーバ200のCPUは、ステップS416においてカメラ制御要求イベントであると判定した場合には、ステップS417に進み、カメラ100の制御を行う。処理終了後、ステップS403に戻って次のイベントを待つ。
カメラサーバ200のCPUは、ステップS416においてカメラ制御要求イベントでないと判定した場合には、ステップS418に進み、変化検知・追尾設定値送信要求イベントであるか否かを判別する。カメラサーバ200のCPUは、ステップS418において変化検知・追尾設定値送信要求イベントであると判定した場合には、ステップS419に進み、変化検知・追尾設定値を設定クライアント300に送信する。処理終了後、ステップS403に戻って次のイベントを待つ。
カメラサーバ200のCPUは、ステップS418において変化検知・追尾情報要求イベントでないと判定した場合には、ステップS420に進み、設定値更新要求イベントであるか否かを判別する。この設定値更新要求イベントは、設定クライアント300より設定値を受信した場合に発生する。カメラサーバ200のCPUは、ステップS420において設定値更新要求イベントであると判定した場合には、ステップS421に進み、設定値を更新する。処理終了後、ステップS403に戻って次のイベントを待つ。カメラサーバ200のCPUは、ステップS420において設定値更新要求イベントでないと判定した場合には、ステップS403に戻って次のイベントを待つ。
図6及び図7は、カメラサーバ200のCPUが実行するサブプロセスの処理手順を示すフローチャートである。
サブプロセスでは、画像変化検知及び追尾のための画像処理を行う。なお、ここでは、設定クライアント300において、上記図3の設定操作ウィンドウ600上のチェックボックス631(「変化検知時に追尾する」)をチェックして追尾処理をONに設定にしている場合を説明する。
図6及び図7において、カメラサーバ200のCPUは、サブプロセスの処理を開始した後、ステップS501においてカメラ100の動作状態を確認し、カメラ100が動作中であれば、ステップS502において画像変化検知処理及び追尾処理に関連する変数を初期化する。そして、カメラサーバ200のCPUは、ステップS520において終了指示があったか否かを判別し、終了指示があれば本処理を終了し、終了指示がなければステップS501に戻る。
カメラサーバ200のCPUは、ステップS501においてカメラ100が停止中であれば、ステップS503に進み、カメラ100の撮像画像を取得し、取得した画像に対する処理を行う。次に、カメラサーバ200のCPUは、ステップS504に進み、取得した撮像画像の隣接するフレーム間の差分処理を行う。既に述べたように、差分処理は、JPEG画像の各ブロックにおける変化の有無を求めるものである。具体的には、差分処理は、ブロック単位でJPEGのDCT係数の差分和を求め、該差分和が感度によって決定される閾値より大きければ、画像の動きありとする処理である。
次に、カメラサーバ200のCPUは、ステップS505に進み、追尾状態かどうかを判別する。カメラサーバ200の動作状態には、上述したように画像変化検知状態と追尾状態の2つの状態があり、初期の動作状態は画像変化検知状態であるが、画像変化を検知すると追尾状態となる。
カメラサーバ200のCPUは、ステップS505において追尾状態であると判定した場合は、ステップS508の処理に進む。カメラサーバ200のCPUは、ステップS505において追尾状態でないと判定した場合は、ステップS506で変化判別処理を行う。変化判別処理の手順は図8で説明する。
次に、カメラサーバ200のCPUは、ステップS507に進み、画像変化検知状態を参照する。カメラサーバ200のCPUは、ステップS507において画像変化が検知されなかった場合には、ステップS520に進み、画像の変化が検知された場合には、ステップS508に進む。
カメラサーバ200のCPUは、ステップS508において変化検知ブロックの連結処理を行う。変化検知ブロックの連結処理は、差分処理の結果、画像の変化ありと検知されたブロック同士が隣接している場合には、一つの領域として連結する処理である。
次に、カメラサーバ200のCPUは、ステップS509において、上記ステップS508で連結された領域のうち最大面積を持つ領域の面積が予め定めた閾値Thsより大きいかどうかを判別する。カメラサーバ200のCPUは、もしステップS509において最大面積を持つ領域の面積が予め定めた閾値Thsより大きいと判定した場合には、ステップS510に進み、追尾処理に入る。
カメラサーバ200のCPUは、ステップS510で最大面積ラベル(ブロック)の重心位置と画像中心との差をパン・チルト制御量に変換する。次に、カメラサーバ200のCPUは、ステップS511で、上記求めたパン・チルト制御量(カメラ制御量)を用いてカメラ制御を行う。更に、カメラサーバ200のCPUは、ステップS512でカメラ制御を開始した時点での時刻Tlastを記録し、ステップS513で追尾状態記録フラグを1即ち追尾状態に変更する。
次に、カメラサーバ200のCPUは、ステップS514で設定クライアント300に対して追尾開始イベント(追尾開始信号)を発行する。そして、カメラサーバ200のCPUは、ステップS515において画像変化検知処理と追尾処理に関する情報を設定クライアント300に送信する。画像変化検知処理と追尾処理に関する情報は、変化が発生したブロック位置、面積比、変化検知された最大面積領域とその重心位置、追尾状態を示す情報を含む。カメラサーバ200のCPUは、送信を終了するとステップS520に進む。
カメラサーバ200のCPUは、もしステップS509において最大面積を持つ領域の面積が予め定めた閾値Ths以下であると判定した場合には、ステップS516に進み、カメラ100による追尾が開始されてからの経過時間を確認する。これは、変化検知処理の結果、検出された追尾対象候補が雑音であるか否かを正確に判断するためである。
カメラサーバ200のCPUは、ステップS516において最後にカメラ制御した時刻からの経過時間(Tnow-Tlast)を求め、経過時間が予め定めた時間Tht以下の場合には、本処理を終了する。これは、追尾状態のときは一時的に対象を見失った場合であるので、追尾状態モードを継続することを意味する。
カメラサーバ200のCPUは、ステップS516において経過時間が予め定めた時間Thtを経過している場合には、ステップS517に進み、追尾状態記録フラグを0即ち画像変化検知状態に変更する。更に、カメラサーバ200のCPUは、ステップS518に進み、画像変化検知用のカメラプリセット値となるようにカメラ制御を行う。最後に、カメラサーバ200のCPUは、ステップS519に進み、設定クライアント300に追尾終了イベント(追尾終了信号)を発行して、ステップS515の処理に進む。
図8は、カメラサーバ200の画像変化検知判別の処理手順を示すフローチャートである。
図8において、カメラサーバ200のCPUは、本処理を開始した後、ステップS601でMD=0を初期化する。MDは、画像変化検知の最終結果を表すものであり、MD=0が画像変化検知なし、MD=1が画像変化検知ありを示す。次に、カメラサーバ200のCPUは、ステップS602で面積比(変化量)が閾値より大きいかどうかを判別する。面積比とは、既に説明したように、変化検知対象領域に属する全ブロックに対して実際に変化のあったブロックの合計面積の割合である。
カメラサーバ200のCPUは、もしステップS602において面積比(変化量)が閾値より大きいと判定した場合、ステップS603に進み、Ton=0か否かを判別する。Tonは、面積比が閾値より大きくなった時刻(画像変化検知ON開始時刻)である。後述のToffは、面積比が閾値以下になった時刻(画像変化検知OFF開始時刻)である。Tonの初期値は0、Toffの初期値は−1である。
カメラサーバ200のCPUは、もしステップS603においてTon=0即ち初期化された状態であると判定した場合は、ステップS604でTon=Tnowとし、ステップS605に進む。Tnowは、現在の時刻である。カメラサーバ200のCPUは、ステップS603において既に画像変化検知ON開始時刻が設定されていると判定した場合は、ステップS605に進む。
カメラサーバ200のCPUは、ステップS605においてTnow−Tonが継続時間Td以上であると判定した場合は、ステップS606に進み、画像変化検知あり(MD=1)のフラグを立てる。これは、継続時間以上連続して面積比が閾値より大きかったか、或いは、面積比が瞬間的に閾値以下になることがあっても、継続時間以上は連続しなかった結果、画像変化検知ありとカメラサーバ200のCPUによって判別されたことを示す。そして、カメラサーバ200のCPUは、ステップS607において画像変化検知OFF開始時刻をToff=0と初期化し、本処理を終了する。カメラサーバ200のCPUは、ステップS605においてTnow−Tonが継続時間Td未満であると判定した場合は、本処理を終了する。
カメラサーバ200のCPUは、ステップS602において面積比(変化量)が閾値以下であった場合には、ステップS608でToff=0かどうかを判別する。ステップS608においてToff=0である場合には、Toff=Tnow即ち現在時刻をOFF開始時刻に代入して、ステップS610に進む。ステップS608においてToff=0でない場合にはステップS610の処理に進む。
カメラサーバ200のCPUは、ステップS610においてTnow−Toffが継続時間Td以上であると判定した場合は、ステップS612の処理に進み、Ton=0と初期化する。これは、継続時間以上連続したが面積比が閾値以下であったか、或いは、面積比が瞬間的に閾値より大きくなることがあったが継続時間以上は連続しなかった結果、画像変化検知なしと判定したことを示す。カメラサーバ200のCPUは、もしステップS610においてTnow−Toffが継続時間Td未満であると判定した場合には、ステップS611に進み、画像変化検知あり(MD=1)のフラグを立てる。これは、面積比が閾値以下となる時間が短いため、画像変化検知ありの状態が続いていることを示す。
次に、設定クライアント300のプロセスの処理手順を図9及び図10を用いて説明する。
設定クライアント300の処理は、メインプロセスとサブプロセスからなる。サブプロセスは、設定クライアント300がカメラサーバ200からの画像の受信と画像の復号化を行うものであり、復号化を終了した時点でメインプロセスに対して画像の表示を要求するイベントを発行する。サブプロセスをGUI関連のプロセスと分離することにより、GUIの反応低下を防止している。以下ではメインプロセスのみ説明する。
図9及び図10は、設定クライアント300のCPUが実行するメインプロセスの処理手順を示すフローチャートである。
図9及び図10において、設定クライアント300のCPUは、本処理を開始した後、ステップS701で初期化を行い、ステップS702でカメラサーバ200に対して接続要求を行う。次に、設定クライアント300のCPUは、ステップS703でカメラサーバ200からの応答を待って、もし接続に失敗した場合には、ステップS704に進み終了処理を行う。
設定クライアント300CPUは、接続に成功した場合には、ステップS705に進み、カメラサーバ200から画像受信を行うサブプロセスを起動する。設定クライアント300CPUは、ステップS706においてイベントが発生したと判定した場合には、ステップS707に進み、画像受信イベントであるかどうかを判別する。設定クライアント300のCPUは、ステップS707において画像受信イベントであると判定した場合には、ステップS708に進み、画像表示部330に受信された画像を表示する。その後、ステップS706に戻って次のイベントを待つ。
設定クライアント300のCPUは、ステップS707において画像受信イベントではないと判定した場合は、ステップS711に進み、変化検知情報受信イベントであるかどうかを判別する。設定クライアント300のCPUは、ステップS711において変化検知情報受信イベントであると判定した場合には、ステップS712に進み、変化検知結果を示す情報の表示を更新する。変化検知結果を示す情報とは、上記図2の変化検知ブロック位置440、上記図3の面積比622、及び変化検知結果・追尾状態表示(アイコン)642である。
設定クライアント300のCPUは、ステップS711において変化検知情報受信イベントではないと判定した場合には、ステップS713に進み、設定値受信イベントであるかどうかを判別する。この設定値受信イベントは、設定値を再読み込みした場合に発生するものである。設定クライアント300のCPUは、ステップS713において設定値受信イベントであると判定した場合には、ステップS714に進み、カメラサーバ200の画像変化検知機能及び追尾機能に関わる設定値の表示を更新する。その後、ステップS706に戻って次のイベントを待つ。
設定クライアント300のCPUは、ステップS713において設定値受信イベントではないと判定した場合には、ステップS715に進み、設定値送信イベントであるかどうかを判別する。この設定値送信イベントは、上記図2の画像表示ウィンドウ400上の適用ボタン480の押下時に発生するものである。設定クライアント300のCPUは、ステップS715において設定値送信イベントであると判定した場合には、ステップS716に進み、画像変化検知機能及び追尾機能に関わる設定値をカメラサーバ200に送信する。その後、ステップS706に戻って次のイベントを待つ。
設定クライアント300のCPUは、ステップS715において設定値送信イベントではないと判定した場合には、ステップS717に進み、カメラ制御要求イベントであるかどうかを判別する。このカメラ制御要求イベントは、上記図2のカメラ制御ボタン群(パン・チルト・ズーム)450の押下時に発生するものである。
設定クライアント300のCPUは、ステップS717においてカメラ制御要求イベントであると判定した場合には、ステップS718に進み、カメラ制御要求をカメラサーバ200に送信する。その後、ステップS706に戻って次のイベントを待つ。設定クライアント300のCPUは、ステップS717においてカメラ制御要求イベントでないと判定した場合には、ステップS719に進み、その他のイベント処理を行う。その後、ステップS706に戻って次のイベントを待つ。
上述したように、本実施の形態においては、カメラサーバ200は、カメラ100で撮影した画像の取り込みと画像変化検知処理及び追尾処理を行うと共に、画像と画像変化検知処理・追尾処理の途中経過及び結果をネットワーク経由で設定クライアント300に送信している。設定クライアント300では、カメラサーバ200から送信された画像と画像変化検知処理・追尾処理の途中経過及び結果に関する情報の表示を確認しながら、カメラサーバ200の画像変化検知機能と追尾機能の最適な設定を簡便に行うことができる。
次に、本実施の形態の監視システムにおける追尾機能に関する制御について図11乃至図21を参照しながら詳細に説明する。
図11は、本実施の形態に係る設定クライアント300の画像表示部330における追尾処理が実行されているときの画像表示ウィンドウの表示例を示す図である。
図11において、追尾開始時の画像表示ウィンドウ400上には、変化検知ブロック920、930、940が表示されている。変化検知ブロック920、930、940は、それぞれ複数のブロックが連結された別々の領域である。最大面積領域である変化検知ブロック920は、他の変化検知ブロック930、940とは異なる枠色で表示される。更に、最大面積領域である変化検知ブロック920の重心位置には、標的マーカ950が表示される。
この表示機能を実現するためには、上記図7のステップS515において、カメラサーバ200から、変化検知情報に加え、追尾処理に関する情報として、以下の情報を設定クライアント300に送信すればよい。即ち、変化検知対象の追尾時における変化を検知したブロックの連結結果を示す情報、最大面積領域に属するブロックの位置を示す情報、最大面積領域の重心位置を示す情報である。
具体的には、ブロック連結情報は、画像サイズが例えば320×240画素の場合、JPEG符号化方式のブロックが8×8であることから、ラベル番号が記された40×30の配列となる。同一の連結ブロックには同一のラベル番号が振られる。各要素の大きさは、ラベル番号の最大値に依存するが、最大でも2400であるため、2バイトで足りる。また、最大面積領域情報は、最大面積領域のラベル番号を2バイトで送信すればよく、重心位置もX座標、Y座標共に2バイトで足りる。
一方、設定クライアント300側では、上記図10に示した設定クライアント300のメインプロセスの画像の変化検知情報受信イベントを判別する処理(ステップS711)において、変化検知情報に加えて上記の追尾処理に関する情報も取得する。そして、設定クライアント300側では、カメラサーバ200が画像変化検知状態の場合は、第1の実施の形態と同様な表示を行い(図2参照)、カメラサーバ200が追尾状態の場合は、図11に示した表示と同様な表示を行う。
このように、設定クライアント300は、カメラサーバ200の変化検知情報(変化検知ブロック位置、変化検知面積比、変化検知結果)に加えて、追尾処理の途中経過(変化検知対象の追尾時における変化を検知したブロックの連結結果、最大面積領域に属するブロックの位置、最大面積領域の重心位置)を視覚的に表示する。これにより、設定者はカメラサーバ200のより正確な画像変化検知機能及び追尾機能に関わる設定を行うことができる。
次に、設定クライアント300における追尾方法の変更に関して説明する。設定クライアント300のCPUは、図3に示す設定操作ウィンドウ600の追尾方法の変更ボタン634(不図示)の選択を検出すると、図12に示すような追尾方法の詳細選択を行うための設定ウィンドウ1000を画像表示部330に表示する。
<色検知による追尾>
まず、図12に示す設定ウィンドウ1000において、「色検知による追尾」を選択した場合の処理を説明する。
図12は、設定クライアント300の画像表示部330におけるカメラ100の追尾方法を選択するための設定ウィンドウ1000の表示例を示す図である。
図12において、設定ウィンドウ1000には、追尾方法の選択として、「フレーム間差分による追尾」、「色検知による追尾」、「テンプレートによる追尾」「顔検知による追尾」が表示されている。設定クライアント300のCPUは、設定ウィンドウ1000上で例えば「色検知による追尾」のチェックボックスがチェックされ、「OK」ボタン1002が選択されたことを検出すると、図13(a)に示す色検知による追尾設定のための設定ウィンドウ1110を画像表示部330に表示する。
図13(a)は、設定クライアント300の画像表示部330における色情報を用いた追尾処理に関する設定ウィンドウ1110の表示例を示す図、図13(b)は、横軸を色相とし縦軸を彩度とした色領域を示す図である。
図13において、追尾時の対象検知処理に色情報を用いる方式を説明する。カメラサーバ200における色情報を用いた対象検知方式の概略は以下の通りである。まず、特定の表色系で表現された色空間上に部分領域を設け、画像上の各画素が前記の色空間に属するかどうかを判別する。次に、抽出された画素に対して連結処理を行い複数の領域を求める。最後に追尾処理として、最大領域の重心点が画面の中央に位置するようにカメラ制御を行う。
まず、図13(b)を用いて色空間の例を説明する。色空間は、色相と彩度の2次元で定義され、色相と彩度各々の範囲を定めることにより空間上に部分領域1101を設定する。彩度と色相は,画素のRGB値から公知の変換式により求めることができる。
次に、図13(a)、(b)を用いて色領域の設定方法を説明する。図13(a)のウィンドウ1110では、横軸を色相、縦軸を彩度とした色空間1111と、色空間1111上にある色領域1112が表示される。矩形で表示される色領域1112は、色相と彩度の範囲を示している。カメラサーバ200は、色領域1112内の色を有するオブジェクトを追尾することになる。色領域1112の設定は、色相の範囲設定部1113と彩度の範囲設定部1114に値を入力して設定できるだけでなく、色領域1112をマウスカーソルで直接ドラッグすることによっても設定できる。色領域1112の設定が終了したら、OKボタン1115の押下により値を反映するか、キャンセルボタン1116の押下により値を反映せずに終了する。
ウィンドウ1110を表示したまま設定値を確認するためには、プレビューボタン1117を選択する。OKボタン1115ないしはプレビューボタン1117の選択により、色領域1112の領域情報がカメラサーバ200へ送信される。カメラサーバ200は、この領域情報を受信し、追尾処理に反映する。なお、指標1118は、現在カメラサーバ200から設定クライアント300に送信されている映像を積分したときに得られる彩度及び色相の値である。この指標1118付近に色領域1112を設定してしまうと、即ち背景と追尾対象の物体との彩度、色相が類似してしまうと、追尾の精度が低減してしまう。設定者はこの指標1118を参考にして色領域1112を設定することができるので、精度のよい追尾の設定が可能となる。
また、色空間を入力する別の方法としては、カメラサーバ200から配信された画像上で検知対象としたい領域を直接指定する方法がある。これは例えば、図2において、人物の肌色部分をマウスカーソルで指示し、周辺画素の色分布に基づいて色領域を決めるものである。その際に指定された色は、ウィンドウ1110の色領域1112として表示され、設定者が色領域1112を確認することができる。
なお、領域を指定する方法としては、マウスカーソルで指定した点から一定距離以内にある点群を集計の対象とすることもできるし、画像上で矩形領域などの任意形状の領域を指定してその領域内にある点群を集計の対象とすることもできる。このような指定においても、上記図11に示したような最大検知領域及びその重心位置が表示されることになるので、どの領域を追尾の対象領域としてよいのかを容易に把握することができる。
なお、色情報による追尾処理を行う場合、設定クライアント300からカメラサーバ200に送信される設定情報は、色領域情報や画面上での領域指定情報となる。具体的には、図13(a)の領域指定方法の場合は、彩度の最小値C0、彩度の最大値C1、色相の最小値H0、色相の最大値H1である。また、画面上の点を指定する場合は、その点の画素座標位置(Ix、Iy)である。
一方で、色情報による追尾処理を行う場合、カメラサーバ200から設定クライアント300に対して送信される情報は、画像変化検知状態のときは、上記図6及び図7等で説明した情報と同様である。追尾状態のときは、色検知画素とラベル、或いは色検知ブロックとラベル、最大ラベル番号、最大ラベル領域のサイズ、色検知領域の重心位置を、カメラサーバ200から設定クライアント300に送信する。これらは、以下のように表される。
色検知画素とラベル:(Pxi、Pyi)及びLpi|i=1 M
色検知ブロックとラベル:(Bxj、Byj)及びLbj|j=1 N
最大ラベル番号:Lpmax、Lbmax
最大領域ラベルのサイズ:Spmax、 Sbmax
色検知領域の重心位置:(Cpx、Cpy)、 (Cbx、Cby)
なお、本実施の形態では、色空間として彩度と色相を使用したが、この他にもCrCb空間、UV空間、xy空間などの他の表色系に由来する色空間を用いてもよい。また、色空間上の領域は矩形に限らず、任意形状の領域設定が可能である。また、画像上で指定した任意領域に属する点群の色分布を集計し、これを追尾対象の色分布とすることも可能である。
また、色情報を用いた別の対象検出方法としては、追尾対象に属する画素集合に対して、頻度を含む色分布を記憶しておき、撮影画像から同一色分布領域を抽出することにより追尾対象の画像上の位置を検出する方法がある。同一の色分布領域の抽出は、例えば8×8画素からなるブロック単位で色分布を求めて照合する照合方法を用いる。これは、従来の手法であるカラーヒストグラムによる照合方法である。
以下、色情報による追尾処理が設定された場合のカメラサーバ200と設定クライアント300の処理手順を説明する。
色情報による追尾処理を行う際のカメラサーバ200のCPUによるサブプロセスの手順を図14を用いて説明する。
図14は、カメラサーバ200の色情報を用いた追尾処理の手順を示すフローチャートである。
なお、画像変化検知の詳細処理は図6と同一であるので、その説明は省略する。また、図14に示すサブプロセスの実行前に、色領域情報の送受信などをカメラサーバ200及び設定クライアント300間で完了しているものとする。
図14において、カメラサーバ200のCPUは、ステップS1201においてカメラ100から撮像画像を取得し、ステップS1202においてカメラ100が追尾中かどうか判別する。もしカメラ100が追尾中でなければ、ステップS1203に進み、設定クライアント300の感度設定部621、面積比表示部622、面積比設定部623、継続時間設定部624による設定に基づいて変化検知処理を行う。
次に、カメラサーバ200のCPUは、ステップS1204で変化検知の結果を判別し、もし変化なしの場合には、ステップS1213に進む。カメラサーバ200のCPUは、もし変化ありの場合には、ステップS1205に進み、追尾開始イベントを発行して、ステップS1213に進む。ここで変化検知状態から追尾状態に変移する。カメラサーバ200のCPUは、ステップS1213では変化検知情報に加え、追尾情報として色検知画素とラベル、或いは、色検知ブロックとラベル、色検知された最大ラベルの領域とそのサイズ、最大領域ラベルの重心位置を設定クライアント300に送信して、ステップS1201に戻る。
なお、設定クライアント300側では、画像表示部330において、図11に示すような最大の変化検知領域が表示された画像上に、色検知された最大ラベルの領域を重畳して表示するので、更にユーザはカメラ100の追尾機能の設定が容易となる。
カメラサーバ200のCPUは、ステップS1202においてカメラ100が追尾中の場合は、ステップS1206において既に述べた色情報を用いた追尾対象の検出処理を行う。次に、カメラサーバ200のCPUは、ステップS1207において追尾対象を検出できたかどうか判別する。これは、検出した色領域を連結によりラベリング処理し、最大領域の面積が一定値以上であるかどうかで判別する。カメラサーバ200のCPUは、もし最大領域の面積が一定値以上である場合には、ステップS1208に進み、検出した色領域を追尾すべくカメラ100のパン、チルト、ズームを制御し、ステップS1213に進む。
カメラサーバ200のCPUは、ステップS1207において追尾対象を検出できなかった場合には、ステップS1210に進み、追尾を終了するかどうかを判別する。これは、追尾対象を検出できない状態が一定時間連続しているかどうかで判別する。カメラサーバ200のCPUは、もし追尾を終了するのであれば、ステップS1211で所定の検知対象状態にカメラ100を戻す。この時点で追尾状態から変化検知状態に変移する。そして、カメラサーバ200のCPUは、ステップS1212で発行した追尾終了イベントを、ステップS1213において設定クライアント300に送信する。カメラサーバ200のCPUは、もしステップS1210で追尾を継続する場合には、ステップS1213に進み、変化検知処理を続ける。
<テンプレートによる追尾>
次に、上記図12に示した設定ウィンドウ1000において、「テンプレートによる追尾」を選択した場合の処理を説明する。
テンプレートマッチングは、予め設定したテンプレート画像を撮影画像中から探索する手法である。テンプレートマッチングを行うためには、テンプレートを用意する必要があるが、設定クライアント300の画像表示部330に表示した画像上で設定する方法と、変化検知領域から自動的に設定する方法との2種類の方法を用いる。
図15は、設定クライアント300の画像表示部330における「テンプレートによる追尾」状態にあるときの画像表示ウィンドウ400の表示例を示す図である。
図15において、画像表示ウィンドウ400には、追尾対象910が移動中であり、テンプレート1310が追尾対象上に位置している様子が表示されている。また、画像表示ウィンドウ400の下部には、テンプレートの位置1320や、テンプレートと画像の一致度1330が表示される。
ここで、テンプレートの位置1310は、テンプレートの左上座標と右下座標を用いて、4つの整数(Tx0、Ty0),(Tx1、Ty1)で表される。テンプレートと画像の一致度1320は、相関の方法にも依存するが、0から100までの整数Mで表される。なお、設定クライアント300は、テンプレートの位置1310や、テンプレートと画像の一致度1320のデータは、カメラサーバ200から受信する。また、画像表示ウィンドウ400には、フレーム間差分において変化検知された最大領域920及びその重心位置950も表示されるので、テンプレートの設定が正しいか否かを容易に把握することができる。
上記図2の変化検知領域440を自動的にテンプレート画像として設定する場合は、変化を検知したときに上述したような領域の統合とラベリング処理を行い、最大領域の重心点付近の画像をテンプレートとする。この他に、変化検知領域上で最もエッジ成分が多い部分をテンプレートとすることも可能である。
なお、変化検知された最大領域920の撮像画像上で追尾対象を指定することも可能である。この場合、マウスカーソルで画像上の点を指定すると、指定したときの位置情報をカメラサーバ200に送信し、カメラサーバ200では所定のサイズの領域をテンプレート画像として記憶する。
図16は、設定クライアント300の画像表示部330におけるテンプレートによる追尾の設定を行うためのウィンドウ1400の表示例を示す図である。
図16において、テンプレート関連の設定情報は、ウィンドウ1400のテンプレートサイズ入力領域1401、探索範囲入力領域1402、相関演算方法入力領域1403、更新時間入力領域1404に入力される。
テンプレートサイズ入力領域1401は、例えば16x16や24x24などの複数のテンプレートサイズの選択肢を有する入力領域である。テンプレートサイズが大きい方が雑音に強く、安定した追尾が可能であるが、その一方で処理時間が増加するため、適切に設定することが肝要である。探索範囲入力領域1402は、現在、テンプレートのある周辺でどのくらいの広さの範囲を探索するかを指定する入力領域である。探索範囲が広いほど大きな動きに対応できるが、演算量は増大する。
相関演算方法入力領域1403は、演算の高速化に適した画素間の差分和による相関演算方法や、前記方法より低速であるが画像間の明度差に依存しない正規化相関などの相関演算方法から、目的に応じて選択する入力領域である。更新時間入力領域1404は、連続して同一のテンプレート画像を使用する最大時間の入力領域である。テンプレートと画像の一致度が高い間はテンプレートの更新は不要であるが、一致度が低くなると更新を行う必要がある。ただし、あまりに長時間連続して同一のテンプレートを使用することも問題あるため、更新時間で調節する。
次に、図17を用いてテンプレートによる追尾処理を行う際のカメラサーバ200のCPUによるサブプロセスの手順を説明する。
図17は、カメラサーバ200のテンプレートによる追尾処理を行う際のサブプロセスの処理手順を示すフローチャートである。
なお、画像の変化検知の詳細処理は図6と同一である。また、図17における上記図14と同じステップ番号の処理は同様の処理が実行されるものとして、その説明を省略する。
図17において、カメラサーバ200のCPUは、追尾処理の開始後、ステップS1204において画像の変化ありと判定した場合には、ステップS1505においてテンプレート画像をカメラサーバ200に内蔵されている記憶媒体に記憶する。ただし、設定クライアント300から予めテンプレート画像が指定されている場合には、この処理は行わない。
カメラサーバ200のCPUは、ステップS1202において追尾状態の場合には、ステップS1507において、ステップS1505で記憶されたテンプレート画像或いは設定クライアント300で指定されたテンプレート画像と、カメラ100から得られる画像とのマッチングを行う。更に、カメラサーバ200のCPUは、ステップS1508において追尾対象を検出できたかどうかを判別する。ステップS1508における判別処理では、探索範囲中の最大相関度(一致度)が所定の値以上の場合に、追尾対象を検出したものと判別する。
カメラサーバ200のCPUは、ステップS1508において追尾対象を検出した場合は、ステップS1509においてその検出された追尾対象にカメラ100の向きを制御する。カメラサーバ200のCPUは、ステップS1508において追尾対象を検出できなかった場合には、ステップS1510において追尾終了かどうかを判別する。ステップS1510における判別処理では、テンプレート画像と撮影画像との一致度が所定値以上得られなかった時間が一定時間経過した場合に、追尾対象を見失ったものと判別する。
カメラサーバ200のCPUは、ステップS1509における処理の終了後、或いは、ステップS1510において追尾を終了しないと決定した場合は、ステップS1514に進み、テンプレートの更新処理を行う。これは、テンプレートマッチングの結果、一致度が低い場合か、或いは、予め設定したテンプレートの更新時間を前回の更新から現在までの時間が経過した場合に、テンプレート画像をカメラ100から取得した現在の撮像画像内の対応する領域の画像に差し替える処理である。
<顔検知による追尾>
次に、上記図12に示した設定ウィンドウ1000において、「顔検知による追尾」を選択した場合の処理を説明する。顔検知機能は、人物の目、鼻、口などの画像の特徴から顔の位置と向きを検出するものである。
図18は、設定クライアント300の画像表示部330における顔検知による追尾状態にあるときの画像表示ウィンドウ400の表示例を示す図である。
図18において、画像表示ウィンドウ400には、設定クライアント300がカメラサーバ200から受信したカメラ100の画像430上に検出された複数の顔の領域1601、1602が表示されている。また、顔検知処理には顔の向きを求めるものがある。顔の位置と顔の向きは、顔検知リスト1603に表示される。顔の位置と顔の向きに関しては公知の手法を用いるものとしてその説明を省略する。
このような顔検知結果は、設定クライアント300がカメラサーバ200から受信して画像表示部330に表示する。また、フレーム間差分において変化検知された最大領域920及びその重心位置950も、画像表示部330に表示されるので、テンプレートの設定が正しいか否かを容易に把握することができる。
次に、図19に示すウィンドウ1700を用いた設定クライアント300における顔検知パラメータの設定方法を説明する。
図19は、設定クライアント300の画像表示部330における顔検知による追尾の設定を行うためのウィンドウ1700の表示例を示す図である。
図19において、ウィンドウ1700は、上記図12に示した設定ウィンドウ1000において「顔検知による追尾」を選択した場合に表示される。顔検知パラメータとしては、「最大検出人数」、「検知方向」、「検知精度」の3つを設定する。
「最大検出人数」は、顔画像の最大検出数である。検出人数に制限を設けることにより、検出途中で顔である確率の低いものを排除し、顔検知処理の高速化を図ることができる。「検知方向」は、画面に垂直な軸まわりの回転に対応した顔の検知を制限するものである。顔の向きによって検知フィルタを複数回使用する必要がある方式では、検知方向を制限することによる高速化が期待できる。「検知精度」は、顔検知精度の高低を設定するものである。これは具体的には、顔候補の絞り込みに使用するフィルタや工程の簡略化を設定するものであり、フィルタ数を適切に設定することにより、精度と速度のバランスを取ることができる。
次に、図20を用いて顔検知による追尾処理が設定された場合のカメラサーバ200のCPUによるサブプロセスの手順を説明する。
図20は、カメラサーバ200の顔検知による追尾処理を行う際のサブプロセスの処理手順を示すフローチャートである。
カメラサーバ200は、画像変化検知状態では撮像画像全体に対して顔検知処理を行い、顔を検知すると追尾状態に移行する。追尾状態でも、画像変化検知状態と同様に顔検知処理を行う。この際に追尾対象付近の画像に対して顔検知処理を行うことにより、複数の顔が同時に存在する場合であっても対象の追尾が可能である。或いは公知の顔認識処理を用いて、顔の特徴の類似度や配置から同一の顔を認識して追尾する手法も使用可能である。
図20において、カメラサーバ200のCPUは、追尾処理の設定後、ステップS1801においてカメラ100から撮像画像を取得し、ステップS1802において顔検知処理を行う。次に、カメラサーバ200のCPUは、ステップS1803で顔画像の検出に成功したかどうかを判別し、もし顔画像の検出に成功した場合には、ステップS1804でカメラ制御を行う。ここで、顔画像の検出に成功したかどうかは、検出された顔画像のうち、所定の評価値以上の顔が少なくとも一つ存在する必要がある。評価値は、顔らしさを決定するもので、使用する顔検知方式に依存する。
カメラサーバ200のCPUは、ステップS1804のカメラ制御の後、ステップS1805に進み、追尾中かどうかを判別する。カメラサーバ200のCPUは、追尾中でない場合は、ステップS1806で追尾開始イベントを設定クライアント300に対して発行した後、ステップS1813に進む。また、カメラサーバ200のCPUは、ステップS1805で既に追尾中の場合は、ステップS1813に進む。カメラサーバ200のCPUは、ステップS1813では顔検知情報を設定クライアント300に送信し、ステップS1801に戻って処理を続ける。
カメラサーバ200のCPUは、ステップS1803において顔画像の検出に失敗した場合には、ステップS1810に進み、追尾状態を終了するかどうか判別する。カメラサーバ200のCPUは、顔画像を連続して検出できなかった場合は、追尾状態を終了する。カメラサーバ200のCPUは、もし追尾状態を終了する場合で、特定のプリセットを監視している場合などは、ステップS1811で所定の位置にカメラ制御を行う。次に、カメラサーバ200のCPUは、ステップS1812で追尾終了イベントを設定クライアント300に対して発行し、ステップS1813に進む。カメラサーバ200のCPUは、ステップS1810でもし追尾状態を継続する場合には、ステップS1813に進み、追尾状態を設定クライアント300に送信する。
なお、本実施の形態において、追尾する人数が複数存在する場合は、複数の人数が含まれるようにカメラ100のズームを広角に制御したり、フレーム差分法によって変化検知されている領域に近いものを追尾制御したりすることになる。
<推奨メッセージ及びパラメータの表示>
カメラ100の設置個所の影響により或る一定の照度が得られない場合など、追尾方法によってはその精度が上がらないものがある。本実施の形態では、設定クライアント300においてカメラサーバ200から配信されたカメラ100の撮像画像を参照し、その撮像画像の明るさの平均値に応じて、上記図12の設定ウィンドウ1000のコメント欄1001に追尾方法を推奨するメッセージを表示している。
図21は、設定クライアント300の追尾方法推奨メッセージ表示処理の手順を示すフローチャートである。
図21において、設定クライアント300のCPUは、ステップS2101においてカメラサーバ200から配信されたカメラ100の撮像画像の明るさの平均値を算出する。設定クライアント300のCPUは、撮像画像の明るさの平均値が所定レベル以上の場合は、ステップS2104に進み、上記図16の選択された追尾方法を設定するためのウィンドウ1400において、通常の照度用の初期設定値を入力領域1401〜1404に表示させる。
設定クライアント300のCPUは、撮像画像の明るさの平均値が所定レベル以下の場合は、ステップS2102に進み、他の方法より低照度であってノイズなどの影響を受けにくい「テンプレートによる追尾を推奨します」というメッセージを設定ウィンドウ1000のコメント欄1001に表示する。更に、設定クライアント300のCPUは、上記図16の選択された追尾方法を設定するためのウィンドウ1400において、低照度用の初期設定値を入力領域1401〜1404に表示させる。
例えば、上記図12の設定ウィンドウ1000において「テンプレートによる追尾」を選択した場合、上記図16のウィンドウ1400において、テンプレートサイズ入力領域1401には、上記ステップS2104で表示させる値より大きめの値、初期設定値として例えば30×30を表示する。また、探索範囲入力領域1402には、広めの探索範囲を設定し、相関演算方法入力領域1403には、精度の良い「方法2」を初期設定値として表示する。また、更新時間入力領域1404には、上記ステップS2104で表示させる値より長くしたものを表示する。
また、例えば、上記図12の設定ウィンドウ1000において「テンプレートによる追尾」を推奨したにも関わらず、「顔検知による追尾」の選択が検出された場合、顔の検知方向を「正面のみ」(初期設定値)のみの選択を表示させ、顔の検知方向における他の選択肢は表示させないようにする。
なお、上記図12の設定ウィンドウ1000において「テンプレートによる追尾」を推奨したにも関わらず、「フレーム間差分による追尾」、「色検知による追尾」の選択が検出された場合は、照度に依存して推奨できるパラメータを有するものとは言えないので、上記ステップS2104における初期設定値の表示と同じものとする。
このように、カメラ100の撮像画像の明るさに応じて追尾方法の推奨メッセージ及び推奨する設定を表示しているので、適切な設定を設定者が行うことが可能となる。
以上説明したように、本実施の形態によれば、カメラサーバ200ではカメラ100による撮像画像及び動物体の検知結果を設定クライアント300に送信し、設定クライアント300では設定ウィンドウ上で変更された追尾方法に関わる設定情報をカメラサーバ200に送信するので、設定クライアント300によりカメラ100の追尾機能を容易に設定することが可能となる。
[他の実施の形態]
上述したように、カメラサーバ200において追尾用画像処理を行うと同時に、設定クライアント300においてもカメラサーバ200と同様な画像変化検知処理や追尾用画像処理を行ってもよい。その場合、設定クライアント300においてカメラサーバ200から追尾処理結果を受信する必要がないので、設定クライアント300とカメラサーバ200との間の通信量を低減することができる。
図22は、他の実施の形態に係る設定クライアント300’の構成例を示すブロック図である。
図22において、設定クライアント300’は、通信部(受信)310、復号化部320、画像表示部330、変化検知・追尾設定部340、設定操作部350、通信部(送信)360を備える他に、更に、変化検知・追尾処理部370を備えている。なお、カメラサーバ200の構成は図1と同様である。
設定クライアント300’は、カメラサーバ200からの画像受信時に、上述した実施の形態において説明したカメラサーバ200における追尾用画像処理・画像変化検知処理と同一の処理を行う。
そして、設定クライアント300’は、設定クライアント300’における計算結果に基づいて、画像変化検知状態の場合には、変化発生ブロック440、面積比表示部622、変化検知結果アイコン642を画像表示部330に表示する。また、設定クライアント300’は、追尾状態の場合には、最大領域に属する変化検知ブロック920、標的マーカ(重心位置)950、変化検知結果・追尾状態アイコン642を画像表示部330に表示する。ただし、追尾処理として行うのは画像処理のみでカメラ制御は行わない。
以上説明したように、他の実施の形態によれば、設定クライアント300’においてもカメラサーバ200と同様な画像変化検知処理や追尾用画像処理を行うため、設定クライアント300’がカメラサーバ200から取得するのは画像のみとなる。その結果、設定クライアント300’とカメラサーバ200との間の通信量を低減することができ、容量の小さな回線経由であっても設定クライアント300’からカメラサーバ200の画像変化検知機能及び追尾機能に関わる設定が可能となる。
なお、設定クライアント300’がカメラサーバ200側の動作結果を表示するか或いは設定クライアント300側で処理するか否かは、例えば図23に示すウィンドウ600を用いて設定することによって達成することができる。具体的には、ウィンドウ600上に「サーバの変化検知、追尾結果を表示する」チェックボックス641を設ける。このチェックボックス641にチェックが付いている場合には、変化検知結果をカメラサーバ200側の結果に切り替え、チェックがついていない場合には、クライアント300側において実行された結果を表示する処理を行えばよい。
なお、設定クライアント300’において追尾状態時のカメラ制御を含む全ての処理を行いながら、パラメータの設定を行うことも可能である。この場合、設定クライアント300’側での画像処理結果に基づいてカメラ制御を行うために、画像表示ウィンドウに表示される画像変化検知処理や追尾処理の結果と、カメラの追尾動作とが完全に一致するという利点がある。これにより、カメラサーバ200の正確な画像変化検知機能及び追尾機能に関わる設定を行うことができる。
また、上記実施の形態及び他の実施の形態の監視システムにおけるカメラサーバ200、設定クライアント300、設定クライアント300’の構成は、例えば図24に示すハードウエア構成が考えられる。
図24は、カメラサーバ200、設定クライアント300、設定クライアント300’のハードウエア構成例を示すブロック図である。
図24において、カメラサーバ200、設定クライアント300、設定クライアント300’は、それぞれ、CPU2401、RAM2402、ROM2403、入力部2404、2次記憶部2405、表示部2406、インタフェース(I/F)2407を備えている。
CPU2401は、装置各部を統括制御するために、ROM2403から所定のプログラムを読み出して実行し、各種処理を実現する。RAM2402は、プログラムによる処理に必要な作業領域を提供する。ROM2403は、本実施の形態を実行するプログラムを格納するためのものである。入力部2404は、キーボード,マウスなどによって構成される。2次記憶部205は、装置に内蔵されるハードディスク或いは不揮発性の着脱可能なメモリカードに対するデータの読出し或いは書き込みを行う記憶制御部などによって構成される。
表示部2406は、設定画面、撮影画像などを表示するものであり、カメラサーバ200の構成では不可欠なものではない。I/F(インタフェース)2407は、インターネットなどを介してカメラサーバ200及び設定クライアント300(設定クライアント300’)が通信するためのものである。なお、カメラサーバ200には、図24の構成に加えてカメラ100と接続するためのコネクタが接続されることになる。
また、本発明の目的は、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
本発明の実施の形態に係る監視システムのカメラサーバ及び設定クライアントの構成例を示すブロック図である。 設定クライアントの画像表示部におけるウィンドウの表示例を示す図である。 設定クライアントの画像表示部におけるカメラサーバの画像変化検知機能及び追尾機能に関する各種設定を行うための設定操作ウィンドウの表示例を示す図である。 カメラサーバのメインプロセスの処理手順を示すフローチャートである。 図4のフローチャートの続きである。 カメラサーバのサブプロセスの処理手順を示すフローチャートである。 図6のフローチャートの続きである。 カメラサーバの画像変化検知判別の処理手順を示すフローチャートである。 設定クライアントのメインプロセスの処理手順を示すフローチャートである。 図9のフローチャートの続きである。 設定クライアントの画像表示部における追尾処理が実行されているときの画像表示ウィンドウの表示例を示す図である。 設定クライアントの画像表示部におけるカメラの追尾方法を選択するためのウィンドウの表示例を示す図である。 (a)は、設定クライアントの画像表示部における色情報を用いた追尾処理に関する設定ウィンドウの表示例を示す図、(b)は、横軸を色相とし縦軸を彩度とした色領域を示す図である。 カメラサーバの色情報を用いた追尾処理の手順を示すフローチャートである。 設定クライアントの画像表示部におけるテンプレートによる追尾状態にあるときのウィンドウの表示例を示す図である。 設定クライアントの画像表示部におけるテンプレートによる追尾の設定を行うためのウィンドウの表示例を示す図である。 カメラサーバのテンプレートによる追尾処理を行う際のサブプロセスの処理手順を示すフローチャートである。 設定クライアントの画像表示部における顔検知による追尾状態にあるときのウィンドウの表示例を示す図である。 設定クライアントの画像表示部における顔検知による追尾の設定を行うためのウィンドウの表示例を示す図である。 カメラサーバの顔検知による追尾処理を行う際のサブプロセスの処理手順を示すフローチャートである。 設定クライアントの追尾方法推奨メッセージ表示処理の手順を示すフローチャートである。 本発明の他の実施の形態に係る設定クライアントの構成例を示すブロック図である。 設定クライアントの画像表示部における設定ウィンドウの表示例を示す図である。 カメラサーバ及び設定クライアントのハードウエア構成例を示すブロック図である。
符号の説明
100 カメラ(撮像装置)
200 カメラサーバ(撮像制御装置)
230 変化検知・追尾処理
250 通信
300、300’ 設定クライアント(撮像設定装置)
310 通信部(受信手段)
330 画像表示部
340 変化検知・追尾設定
360 通信部(送信手段)
370 変化検知・追尾処理部

Claims (14)

  1. 像装置が撮像した撮像画像、及び前記撮像画像に対する変化検知処理により検知された変化検知領域の前記撮像画像における位置を示す情報を、前記撮像装置の撮像方向を制御する撮像制御装置から受信する受信手段と、
    記撮像画像の表示画面上に前記変化検知領域の位置を示すと共に、前記撮像装置の撮像方向を制御するために検知される前記撮像画像内の追尾対象の位置の検知方法を選択させるための設定ウィンドウを表示させる表示制御手段とを有することを特徴とする撮像設定装置。
  2. 前記変化検知処理により第1及び第2及び第3の変化検知領域が検知された場合、前記表示制御手段は、前記第1及び第2の変化検知領域よりも面積が大きい前記第3の変化領域の位置を示す枠を、前記第1及び第2の変化検知領域の位置を示す枠とは異なる色で表示させることを特徴とする請求項1に記載の撮像設定装置。
  3. 色情報に基づき追尾対象の位置を検知するように前記設定ウィンドウで前記追尾対象の位置の検知方法が選択された場合、前記撮像画像と前記色情報との比較結果に応じて前記撮像方向が制御されるように、前記撮像画像と比較すべき色情報を前記撮像制御装置へ送信する送信手段を有することを特徴とする請求項1又は2に記載の撮像設定装置。
  4. 前記撮像画像と比較すべき色情報は、前記撮像画像の表示画面上で指定された位置の色情報に基づいて決定されることを特徴とする請求項3に記載の撮像設定装置。
  5. テンプレート画像に基づき追尾対象の位置を検知するように前記設定ウィンドウで前記追尾対象の位置の検知方法が選択された場合、前記撮像画像と前記テンプレート画像との比較結果に応じて前記撮像方向が制御されるように、前記テンプレート画像の情報を前記撮像制御装置へ送信する送信手段を有することを特徴とする請求項1又は2に記載の撮像設定装置。
  6. 顔画像に基づき追尾対象の位置を検知するように前記設定ウィンドウで前記追尾対象の位置の検知方法が選択された場合、前記撮像画像から検知された顔画像の位置に応じて前記撮像方向が制御されるように、設定情報を前記撮像装置へ送信する送信手段を有することを特徴とする請求項1又は2に記載の撮像設定装置。
  7. 前記表示制御手段は、前記撮像画像の明るさが所定レベル以下の場合、テンプレート画像に基づく追尾対象の位置の検知を推奨するメッセージを表示させることを特徴とする請求項5に記載の撮像設定装置。
  8. テンプレート画像に基づき追尾対象の位置を検知するように前記設定ウィンドウで前記追尾対象の位置の検知方法が選択された場合に、前記撮像画像と前記テンプレート画像との比較を行う探索範囲を前記撮像画像において設定する設定手段を有し、
    前記設定手段は、前記撮像画像の明るさが所定レベル以下の場合、前記撮像画像の明るさが前記所定レベルより高い場合よりも、前記探索範囲を広くすることを特徴とする請求項5に記載の撮像設定装置。
  9. 撮像装置の撮像方向を制御する撮像制御装置と、前記撮像装置が撮像した撮像画像を前記撮像制御装置から受信して表示画面上に表示する撮像設定装置とがネットワークを介して通信を行う監視システムであって
    記撮像設定装置は、
    前記撮像装置が撮像した撮像画像に対する変化検知処理により検知された変化検知領域の前記撮像画像における位置に関する情報を取得する取得手段と、
    記撮像画像の表示画面上に前記変化検知領域の位置を示すと共に、前記撮像装置の撮像方向を制御するために検知される前記撮像画像内の追尾対象の位置の検知方法を選択させるための設定ウィンドウを表示させる表示制御手段とを有することを特徴とする監視システム。
  10. 前記撮像設定装置は、テンプレート画像に基づき追尾対象の位置を検知するように前記設定ウィンドウで前記追尾対象の位置の検知方法が選択された場合、前記撮像画像と前記テンプレート画像との比較結果に応じて前記撮像方向が制御されるように、前記テンプレート画像の情報を前記撮像制御装置へ送信する送信手段を有することを特徴とする請求項9に記載の監視システム。
  11. 前記撮像設定装置は、前記撮像画像の明るさが所定レベル以下の場合、テンプレート画像に基づく追尾対象の位置の検知を推奨するメッセージを表示させるメッセージ表示手段を有することを特徴とする請求項10に記載の監視システム。
  12. 前記撮像設定装置は、テンプレート画像に基づき追尾対象の位置を検知するように前記設定ウィンドウで前記追尾対象の位置の検知方法が選択された場合に、前記撮像画像と前記テンプレート画像との比較を行う探索範囲を前記撮像画像において設定する設定手段を有し、
    前記設定手段は、前記撮像画像の明るさが所定レベル以下の場合、前記撮像画像の明るさが前記所定レベルより高い場合よりも、前記探索範囲を広くすることを特徴とする請求項10に記載の監視システム。
  13. 像設定装置が行う制御方法であって
    撮像装置が撮像した撮像画像及び前記撮像画像に対する変化検知処理により検知された変化検知領域の前記撮像画像における位置を示す情報を、前記撮像装置の撮像方向を制御する撮像制御装置から受信する受信ステップと、
    記撮像画像の表示画面上に前記変化検知領域の位置を示すと共に、前記撮像装置の撮像方向を制御するために検知される前記撮像画像内の追尾対象の位置の検知方法を選択させるための設定ウィンドウを表示させる表示制御ステップとを有することを特徴とする制御方法。
  14. コンピュータに、
    像装置が撮像した撮像画像、及び前記撮像画像に対する変化検知処理により検知された変化検知領域の前記撮像画像における位置を示す情報を、前記撮像装置の撮像方向を制御する撮像制御装置から受信する受信手順と、
    記撮像画像の表示画面上に前記変化検知領域の位置を示すと共に、前記撮像装置の撮像方向を制御するために検知される前記撮像画像内の追尾対象の位置の検知方法を選択させるための設定ウィンドウを表示させる表示制御手順とを実行させるためのコンピュータ読み取り可能なプログラム。
JP2005073335A 2004-03-23 2005-03-15 監視システム、撮像設定装置、制御方法、及びプログラム Expired - Fee Related JP4819380B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005073335A JP4819380B2 (ja) 2004-03-23 2005-03-15 監視システム、撮像設定装置、制御方法、及びプログラム
US11/085,740 US7423669B2 (en) 2004-03-23 2005-03-21 Monitoring system and setting method for the same

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004085510 2004-03-23
JP2004085510 2004-03-23
JP2005073335A JP4819380B2 (ja) 2004-03-23 2005-03-15 監視システム、撮像設定装置、制御方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2005312018A JP2005312018A (ja) 2005-11-04
JP2005312018A5 JP2005312018A5 (ja) 2008-04-24
JP4819380B2 true JP4819380B2 (ja) 2011-11-24

Family

ID=34989847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005073335A Expired - Fee Related JP4819380B2 (ja) 2004-03-23 2005-03-15 監視システム、撮像設定装置、制御方法、及びプログラム

Country Status (2)

Country Link
US (1) US7423669B2 (ja)
JP (1) JP4819380B2 (ja)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7650058B1 (en) 2001-11-08 2010-01-19 Cernium Corporation Object selective video recording
US7280753B2 (en) 2003-09-03 2007-10-09 Canon Kabushiki Kaisha Display apparatus, image processing apparatus, and image processing system
US8026945B2 (en) 2005-07-22 2011-09-27 Cernium Corporation Directed attention digital video recordation
JP2007041987A (ja) * 2005-08-05 2007-02-15 Sony Corp 画像処理装置および方法、並びにプログラム
JP4677322B2 (ja) * 2005-10-25 2011-04-27 キヤノン株式会社 画像処理パラメータ設定装置
US7720258B1 (en) 2006-01-26 2010-05-18 Adobe Systems Incorporated Structured comparison of objects from similar images
US7813557B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Tagging detected objects
US7694885B1 (en) 2006-01-26 2010-04-13 Adobe Systems Incorporated Indicating a tag with visual data
US7706577B1 (en) 2006-01-26 2010-04-27 Adobe Systems Incorporated Exporting extracted faces
US7813526B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Normalizing detected objects
US7716157B1 (en) * 2006-01-26 2010-05-11 Adobe Systems Incorporated Searching images with extracted objects
US8259995B1 (en) 2006-01-26 2012-09-04 Adobe Systems Incorporated Designating a tag icon
US7978936B1 (en) 2006-01-26 2011-07-12 Adobe Systems Incorporated Indicating a correspondence between an image and an object
US7636450B1 (en) 2006-01-26 2009-12-22 Adobe Systems Incorporated Displaying detected objects to indicate grouping
US8265349B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
JP4945722B2 (ja) * 2006-02-15 2012-06-06 Hoya株式会社 撮像装置
JP4413235B2 (ja) * 2006-02-22 2010-02-10 三洋電機株式会社 電子カメラ
US8218025B2 (en) * 2007-02-15 2012-07-10 Fujifilm Corporation Image capturing apparatus, image capturing method, and computer program product
JP4639208B2 (ja) 2007-03-16 2011-02-23 富士フイルム株式会社 画像選択装置、画像選択方法、撮像装置及びプログラム
JP5247076B2 (ja) * 2007-07-09 2013-07-24 株式会社ニコン 画像追尾装置、焦点調節装置および撮像装置
JP2009089174A (ja) * 2007-10-01 2009-04-23 Fujifilm Corp デジタルカメラおよびその撮影方法
JP5058002B2 (ja) * 2008-01-21 2012-10-24 株式会社豊田中央研究所 物体検出装置
JP5047007B2 (ja) * 2008-03-03 2012-10-10 三洋電機株式会社 撮像装置
GB2459701B (en) * 2008-05-01 2010-03-31 Pips Technology Ltd A video camera system
WO2010004711A1 (en) * 2008-07-11 2010-01-14 Sanyo Electric Co., Ltd. Image processing apparatus and image pickup apparatus using the image processing apparatus
JP5279635B2 (ja) * 2008-08-20 2013-09-04 キヤノン株式会社 画像処理装置、画像処理方法、および、プログラム
US8538072B2 (en) * 2008-08-27 2013-09-17 Imprivata, Inc. Systems and methods for operator detection
JP2010117487A (ja) * 2008-11-12 2010-05-27 Fujinon Corp オートフォーカスシステム
WO2010057170A1 (en) 2008-11-17 2010-05-20 Cernium Corporation Analytics-modulated coding of surveillance video
JP5177045B2 (ja) * 2009-03-25 2013-04-03 株式会社Jvcケンウッド 画像表示装置、撮像装置、画像表示システム、画像表示方法および画像合成装置
JP5173915B2 (ja) * 2009-04-08 2013-04-03 三洋電機株式会社 画像処理装置及び撮像装置
JP5397014B2 (ja) * 2009-05-21 2014-01-22 ソニー株式会社 監視システム、撮像装置、解析装置及び監視方法
JP5495930B2 (ja) * 2010-05-10 2014-05-21 キヤノン株式会社 画像処理装置、方法、およびプログラム
US8331760B2 (en) * 2010-06-02 2012-12-11 Microsoft Corporation Adaptive video zoom
JP5653119B2 (ja) * 2010-08-06 2015-01-14 キヤノン株式会社 設定装置、設定方法、及びプログラム
JP2012150237A (ja) * 2011-01-18 2012-08-09 Sony Corp 音信号処理装置、および音信号処理方法、並びにプログラム
JP5278483B2 (ja) * 2011-04-20 2013-09-04 カシオ計算機株式会社 撮像装置、撮像方法及び撮像プログラム
US20130258167A1 (en) * 2012-03-28 2013-10-03 Qualcomm Incorporated Method and apparatus for autofocusing an imaging device
JP6238569B2 (ja) 2013-05-22 2017-11-29 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6115335B2 (ja) * 2013-06-10 2017-04-19 ノーリツプレシジョン株式会社 情報処理装置、情報処理方法、及び、プログラム
CN106327517B (zh) * 2015-06-30 2019-05-28 芋头科技(杭州)有限公司 一种目标跟踪装置及目标跟踪方法
US10565701B2 (en) 2015-11-16 2020-02-18 Applied Materials, Inc. Color imaging for CMP monitoring
US11557048B2 (en) 2015-11-16 2023-01-17 Applied Materials, Inc. Thickness measurement of substrate using color metrology
TWI743176B (zh) 2016-08-26 2021-10-21 美商應用材料股份有限公司 獲得代表在基板上的層的厚度的測量的方法,及量測系統和電腦程式產品
JP7054771B2 (ja) * 2017-08-29 2022-04-15 パナソニックIpマネジメント株式会社 物体検出システム、プログラム及び物体検出方法
JP6991045B2 (ja) * 2017-11-30 2022-01-12 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
CN108401140A (zh) * 2018-04-07 2018-08-14 深圳供电局有限公司 一种基于多层视觉处理的智能视频监控系统和方法
US11100628B2 (en) 2019-02-07 2021-08-24 Applied Materials, Inc. Thickness measurement of substrate using color metrology
WO2021124435A1 (ja) * 2019-12-17 2021-06-24 日本電気株式会社 画像処理方法
JP7458138B2 (ja) * 2019-12-27 2024-03-29 株式会社アダコテック 情報処理システム、情報処理装置、端末装置、情報処理方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4079463B2 (ja) * 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
JP3202606B2 (ja) * 1996-07-23 2001-08-27 キヤノン株式会社 撮像サーバ及びその方法及び媒体
US7092012B2 (en) * 1996-11-15 2006-08-15 Canon Kabushiki Kaisha Image processing apparatus and method, storage medium, and communication system
JP2000078564A (ja) * 1998-08-28 2000-03-14 Aiphone Co Ltd テレビカメラモニタ人物追跡方式
US6985178B1 (en) * 1998-09-30 2006-01-10 Canon Kabushiki Kaisha Camera control system, image pick-up server, client, control method and storage medium therefor
JP3644668B2 (ja) * 1999-09-03 2005-05-11 三菱電機株式会社 画像監視装置
JP2001169169A (ja) * 1999-12-10 2001-06-22 Fuji Photo Optical Co Ltd 自動追尾装置
US7034864B2 (en) * 2000-05-19 2006-04-25 Canon Kabushiki Kaisha Image display apparatus, image display system, and image display method
JP3770180B2 (ja) * 2002-02-28 2006-04-26 コニカミノルタホールディングス株式会社 物体監視装置
JP4095325B2 (ja) * 2002-03-29 2008-06-04 キヤノン株式会社 画像配信方法およびその動作処理を実行するプログラムおよびそのプログラムを記憶した記憶媒体、および画像配信装置および画像受信装置

Also Published As

Publication number Publication date
US7423669B2 (en) 2008-09-09
JP2005312018A (ja) 2005-11-04
US20050213793A1 (en) 2005-09-29

Similar Documents

Publication Publication Date Title
JP4819380B2 (ja) 監視システム、撮像設定装置、制御方法、及びプログラム
CN107438173B (zh) 视频处理装置、视频处理方法和存储介质
US6636635B2 (en) Object extraction method, and image sensing apparatus using the method
JP4478510B2 (ja) カメラシステム、カメラ、及びカメラの制御方法
JP2016100696A (ja) 画像処理装置、画像処理方法、及び画像処理システム
CN101057491A (zh) 具有生物统计读取器的无线图像拍摄装置
JP2007158421A (ja) 監視カメラシステム及び顔画像追跡記録方法
US20110096994A1 (en) Similar image retrieval system and similar image retrieval method
JP6203188B2 (ja) 類似画像検索装置
US8363886B2 (en) Image processing apparatus for providing metadata to captured image and method thereof
JP5247338B2 (ja) 画像処理装置及び画像処理方法
JP2003208617A (ja) 画像処理装置
JP2002366963A (ja) 画像処理方法、画像処理装置、撮像装置及びコンピュータプログラム
JP2016197797A (ja) 画像処理装置、画像処理方法、及び画像処理システム
JP5865584B2 (ja) 特定人物検知システムおよび検知方法
JP5436142B2 (ja) 画像処理装置、画像処理システムおよび画像処理装置の制御方法
JP6410427B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6485978B2 (ja) 画像処理装置および画像処理システム
CN112188108A (zh) 拍摄方法、终端和计算机可读存储介质
JP7328849B2 (ja) 撮像装置、システム、撮像装置の制御方法、プログラム
JP2016081095A (ja) 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
JP2008134868A (ja) 画像認識装置、電子機器、画像認識方法、および、制御プログラム
JP6833571B2 (ja) 画像処理装置、画像処理システム、および、制御方法
JP2019180017A (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム
JP7307643B2 (ja) 撮像装置、システム、撮像装置の制御方法、プログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060420

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110830

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110901

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees