JP4140591B2

JP4140591B2 - 撮像システム及び撮像方法

Info

Publication number: JP4140591B2
Application number: JP2004266013A
Authority: JP
Inventors: 秀宇宮牧; 雅晴鈴木; 朝子田村; 博日比; 聡田淵
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-09-13
Filing date: 2004-09-13
Publication date: 2008-08-27
Anticipated expiration: 2024-09-13
Also published as: US20060077262A1; KR20060051256A; JP2006081125A; CN1758132A; EP1635573A2

Description

本発明は、２台のカメラ用いてセンサーカメラで広範囲な撮影を行いつつ、もう一方のズームカメラでその撮影範囲内の追跡対象を撮影する撮像システム及び撮像方法に関する。

従来より広く用いられている電子スチルカメラは、被写体を撮像することでレンズを通過した光を、ＣＣＤ等の固体撮像素子により画像信号に変換し、これを記録媒体に記録し、また記録した画像信号を再生することができる。また電子スチルカメラの多くは、撮像した静止画像を表示することができるモニタを備え、これまでに記録した静止画像のうち特定のものを選択して表示することができる。この電子スチルカメラにおいて、モニタに供給される画像信号は、一画面毎の被写体に対応するものである。このため、同時に表示される画像は狭い範囲のものとなり、広範囲の状況を同時に監視することができなかった。

このため、カメラの撮影方向を順にシフトさせながら被写体を撮像することにより、複数の単位画像から構成されるパノラマ状の全体画像を得ることにより、広範囲の状況を監視することができる監視カメラが普及している。特に、近年において、複数の映像信号を縮小／合成し、１フレームの映像信号とする技術も提案され（例えば、特許文献１参照）、また設置された複数の監視用ビデオカメラから監視映像を集めてビデオテープ等の記録媒体に記録することにより、監視の実現を可能とする集中監視記録システムも提案されている（例えば、特許文献２参照）。

特開平１０−１０８１６３号公報特開２０００−２４３０６２号公報

しかしながら、上述の如き
複数の動体を撮影しようとする場合、通常は動体ごとに撮影するため、全ての動体を捉えきれない可能性が高かった。

センサーカメラ画像から動体の位置を取得し、動体の早さによってはパン／チルト／ズームした場合に詳細画像を撮影するカメラの画角から動体が外れてしまい、動体の詳細画像が取得できない可能性が高かった。

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、動体を検索する固定、もしくはパンチルトカメラとその動体をズームして動体の詳細を撮影するためのパンチルトカメラを用いて動体を複数検知した場合に、効率よくまた確実に複数の動体の詳細画像を取得できるようにすることにある
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明に係る撮像システムは、広範囲な撮影を行うセンサーカメラと、上記センサーカメラの撮影範囲内の追跡対象を撮影するズームカメラと、上記センサーカメラから及びズームカメラを制御する制御部からなり、上記制御部は、上記センサーカメラにより得られるセンサー画像から動体の位置と大きさを抽出する動体検知手段と、上記動体検知手段により抽出された複数の動体から一つの撮影画角を決定する撮影画角計算手段と、上記撮影画角計算手段により決定された画角の位置、移動速度、大きさからその場所を上記ズームカメラに撮影させる追跡対象画像取得手段と、その撮影順を管理する画角追跡順管理手段と、動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持する停止撮影画角管理手段と、センサーカメラの撮像範囲における撮影位置を算出する処理を行うカメラ相対位置補正手段とを備え、撮影画角にＩＤを割り振り動体が停止した後も同一の画角ＩＤを振り、その同一動体撮影画角の撮影の優先順位を制御し、上記センサーカメラで広範囲な撮影を行いつつ、上記ズームカメラでその撮影範囲内の追跡対象を撮影することを特徴とする。

上記撮像システムにおいて、上記制御部は、例えば、同一撮影画角で持続時間が長い撮影の優先順位を下げる制御を行う。

また、上記撮像システムにおいて、上記制御部は、例えば、同一撮影画角での撮影の優先順位を上げる制御を行う。

さらに、上記撮像システムにおいて、上記制御部は、例えば、画角位置変化情報を保持し、その情報を元にズーム倍率と撮影位置を決定する。

本は詰めに係る撮像方法は、センサーカメラで広範囲な撮影を行いつつ、ズームカメラでその撮影範囲内の追跡対象を撮影するにあたり、広範囲な撮影を行うセンサーカメラにより得られるセンサー画像から動体の位置と大きさを抽出し、抽出された複数の動体から一つの撮影画角を決定し、決定された画角の位置、移動速度、大きさから、上記センサーカメラの撮影範囲内の抽出された複数の動体を追跡対象としてズームカメラで撮影させるとともに、その撮影順を管理し、動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持し、撮影画角にＩＤを割り振り動体が停止した後も同一の画角ＩＤを振り、その同一動体撮影画角の撮影の優先順位を制御して、上記センサーカメラで広範囲な撮影を行いつつ、その撮影範囲内の追跡対象を上記ズームカメラで撮影することを特徴とする。

本発明によれば、２台のカメラ用いてセンサーカメラで広範囲な撮影を行いつつ、もう一方のズームカメラでその撮影範囲内の追跡対象を撮影する際に、撮影画角にＩＤを割り振り動体が停止した後も同一の画角ＩＤを振り、その同一動体撮影画角と持続時間が長い撮影の優先順位を下げることで、より多くの動体を撮影することができる。また、同一撮影画角の優先順位を上げることで同じ撮影画角を撮影し続けることも可能である。また、画角位置変化情報を保持し、その情報を元にズーム倍率と撮影位置を決定しているので、ある程度大きな複数の動体が高速で移動した場合にもその詳細画像を取得することができる。詳細画像はパンチルト後１枚、ズーム後１枚と２段階の取得を行っているため、動体の詳細画像に追跡対象が撮影されている可能性を高くすることができる。また、この詳細画像は撮影画像の再生時に動体の検索キーとしても使用することもできる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成の撮像システム１００に適用される。

この撮像システム１００は、１台のカメラで広範囲を撮影可能なシステムであって、センサーカメラ１０とズームカメラ２０をリモートでコントロールするクライアント３０とそれらを結ぶネットワーク４０で構成され、クライアント３０にはカメラの向き（パン／チルト）とズーム倍率と撮影を遠隔地からネットワーク４０を介して制御する機能が搭載されている。

なお、本発明は、図２に示すように３６０度の広範囲な領域を撮影する固定カメラ１０Ａを上記センサーカメラ１０に使用する場合にも適用することができる。

上記クライアント３０は、その機能構成を図３に示すように、広範囲な撮影を行いその動体のセンサーとして上記センサーカメラ１０を利用するセンサー画像取得モジュール３１と、そのセンサー画像から動体の位置と大きさを抽出する動体検知モジュール３２と、複数の動体から一つの撮影画角を決定する撮影画角計算モジュール３３と、その複数動体から決定された画角の位置、移動速度、大きさからその場所をズームカメラ２０に撮影させる撮影命令を出す追跡対象画像取得モジュール３４と、その撮影順を管理する画角追跡順管理データベース３５と、動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持する停止撮影画角管理データベース３６と、センサーカメラ１０の撮像範囲における撮影位置を算出する処理を行うカメラ相対位置補正モジュール３７と、撮影結果をクライアント３０で結果を表示する結果表示モジュール３８が搭載されている。

上記クライアント３０に搭載された各モジュールの関係を図４のソフトウェアモジュール相関図に示す。

上記センサー画像取得モジュール３１は、動体検知を行うための広範囲を撮影している画像を取得するモジュールであって、図５のフローチャートに示す処理を行う。

すなわち、センサー画像取得モジュール３１は、処理を開始すると、先ずセンサーカメラ１０に画像取得要求を行い（ステップＳ１１）、センサーカメラ１０からセンサー画像を取得する（ステップＳ１２）。そして、センサー画像取得モジュール３１は、がクライアント３０に画像を返却し（ステップＳ１３）、撮影画角計算モジュール３３を呼び出して（ステップＳ１４）、処理を終了する。

また、上記動体検知モジュール３２は、センサー画像から動体の位置と大きさを抽出するモジュールであって、図６のフローチャートに示す処理を行う。

すなわち、動体検知モジュール３２は、処理を開始すると、先ず入力されたセンサー画像を元に動体の位置と大きさを算出し（ステップＳ２１）、呼び出し元に結果を返却して（ステップＳ２２）、処理を終了する。

また、上記撮影画角計算モジュール３３は、動体検知モジュール３２で取得した全ての動体の位置と大きさを元に、撮影画角とそれらの画角の撮影優先順位を決定するモジュールであって、図７のフローチャートに示す処理を行う。

すなわち、撮影画角計算モジュール３３は、処理を開始すると、先ず動体検知モジュール３２にセンサー画像を入力し（ステップＳ３１）、動体検知モジュール３２から結果を受け取る（ステップＳ３２）。

次に、撮影画角計算モジュール３３は、検出範囲に統合可能な他の動体か撮影画角がないか否かを判定し（ステップＳ３３）、その判定結果がＮＯである場合には、ズームカメラ２０が１倍の画角の範囲内にあるか否かを判定する（ステップＳ３４）。

そして、撮影画角計算モジュール３３は、上記ステップＳ３４における判定結果がＮＯである場合には、対象動体、撮影画角に統合不可フラグを立てて（ステップＳ３５）、上記ステップＳ３３の判定処理に戻り、上記ステップＳ３４における判定結果がＹＥＳである場合には、撮影画角を計算して（ステップＳ３６）、上記ステップＳ３３の判定処理に戻る。

また、撮影画角計算モジュール３３は、上記ステップＳ３３における判定結果がＹＥＳである場合には、前回の結果からＩＤを引き継ぎ（ステップＳ３７ａ）、次に、停止撮影画角管理データベース３６の撮影画角からＩＤを引き継ぎ（ステップＳ３７ｂ）、さらに、停止撮影画角管理データベース３６のデータから一定時間経った撮影画角を削除する（ステップＳ３７ｃ）。

そして、撮影画角計算モジュール３３は、今回の撮影画角の計算結果と停止撮影画角管理データベース３６の撮影画角をソートし（ステップＳ３７ｃ）、その結果を画角追跡順管理データベース３５に格納して（ステップＳ３７ｃ）、処理を終了する。

また、上記追跡対象画像取得モジュール３４は、画角追跡順管理データベース３５とカメラ相対位置補正モジュール３７により算出される位置補正結果を元に、追跡対象画像の撮影を行うモジュールであって、図８のフローチャートに示す処理を行う。

すなわち、追跡対象画像取得モジュール３４は、処理を開始すると、先ず画角追跡順管理データベース３５から優先順位の高い撮影画角を取得し（ステップＳ４１）、取得した撮影画角の位置変化量と大きさからズーム値を決定し（ステップＳ４２ａ）、撮影画角の位置変化量と位置からパンチルト値を決定する（ステップＳ４２ｂ）。そして、追跡対象画像取得モジュール３４は、カメラ相対位置補正モジュール３７を呼び出し（ステップＳ４３ａ）、カメラ相対位置補正モジュール３７から位置補正結果を取得する（ステップＳ４３ｂ）。

次に、追跡対象画像取得モジュール３４は、ズームカメラ２０にパン、チルトの命令とともに撮影要求を送信し、ズームカメラ２０から詳細画像を１枚取得して、結果表示モジュール３８にその画像を送る（ステップＳ４４ａ）。さらに、追跡対象画像取得モジュール３４は、ズームカメラ２０にズームの命令とともに撮影要求を送信し、ズームカメラ２０から詳細画像を１枚取得して、結果表示モジュール３８にその画像を送る（ステップＳ４４ｂ）。

次に、追跡対象画像取得モジュール３４は、画角追跡順管理データベース３５に新規の撮影画角があるか否かを判定し（ステップＳ４５）、その判定結果がＹＥＳすなわち新規が撮影画角がある場合は画角追跡順管理データベース３５が管理している撮影順を肇からにリセットして、撮影画角配列の頭から撮影を再開する。また、上記ステップＳ４５における判定結果がＮＯすなわち新規が撮影画角ない場合は画角追跡順管理データベース３５が現在保持している優先順位に従って次の撮影画角を撮影する（ステップＳ４５）。

そして、追跡対象画像取得モジュール３４は、クライアント３０から停止要求があったか否かを判定し（ステップＳ４７）、その判定結果がＮＯすなわち停止要求がない場合には、上記ステップＳ４１に戻り、ステップＳ４１からステップＳ４７を処理を繰り返し行い、上記ステップＳ４７における判定結果がＹＥＳすなわち停止要求があると処理を終了。

なお、上記画角追跡順管理データベース３５は、撮影する画角とその撮影順序を管理するデータベースである。また、停止画角管理データベース３６は、停止した動体撮影画角を管理するデータベースであって、一定時間の間にＩＤを引き継ぐ撮影画角が見つからなかった場合は、このデータベースから自動で消去される。

また、カメラ相対位置補正モジュール３７は、図９のフローチャートに示すように、広角範囲撮影用のセンサーカメラ１０の撮像範囲（パノラマ矩形）における追跡対象位置を相対比で算出し（ステップＳ７１）、求めた相対比からセンサーカメラ１０における撮影位置を算出する処理を行う（ステップＳ７２）。

さらに、結果表示モジュール３８は、追跡対象を撮影した画像を表示するモジュールであって、図１０のフローチャートに示すように、追跡対象画像取得モジュール３４からズームカメラ２０の画像を取得して（ステップＳ８１）、クライアントにズームカメラ画像を表示する処理を行う（ステップＳ７２）。

このような構成の撮像システム１００において、センサー画像から動体情報を取得して、画角情報を生成する動作は、次のように行われる。

すなわち、センサー画像取得モジュール３１は、上述の図５に示したフローチャートの手順に従い、センサーカメラ１０からセンサー画像を取得して、クライアント３０に画像を返却し、撮影画角計算モジュール３３を呼び出す。

撮影画角計算モジュール３３は、上述の図７に示したフローチャートの手順に従い、上記センサー画像取得モジュール３１からの呼び出しに応じて、動体検知モジュール３２に画像を入力し、動体検知モジュール３２から結果を受け取り、動体の位置と大きさから、必要な撮影画角を計算する。

そして、追跡対象画像取得モジュール３４は、上述の図８に示したフローチャートの手順に従った処理を定期的に実行する。

また、この撮像システム１００において、上記画角追跡順管理データベース３４を更新する動作は、次のように行われる。

すなわち、撮影画角計算モジュール３３は、上述の図７に示したフローチャートの手順に従い、全ての新たな撮影画角に対して同一範囲にある前回の撮影画角ＩＤをそれぞれ割り振る。また、その際に撮影画角変化情報も更新する。

撮影画角計算モジュール３３は、前回の撮影画角ＩＤが割り振れなかった場合は、停止画角管理データベース３６から同一範囲にある撮影画角ＩＤを割り振る。そして、停止画角管理データベース３６から撮影画角ＩＤを割り振ることができた場合は、その撮影画角を停止画角管理データベース３６から消去する。

また、撮影画角計算モジュール３３は、過去の撮影画角ＩＤを割り振れなかった撮影画角には新たに撮影画角ＩＤを割り振る。そして、撮影画角ＩＤを割り振ることができなかった前回の撮影画角は停止画角管理データベース３６に追加する。

また、撮影画角計算モジュール３３は、停止画角管理データベース３６にシステムで規定した一定時間以上存在する撮影画角を停止画角管理データベース３６から削除する。

さらに、撮影画角計算モジュール３３は、今回取得した撮影画角において、新規，継続のステータスを付与し、停止画角管理データベース３６にある撮影画角には停止のステータスを付与する。

そして、撮影画角計算モジュール３３は、継続時間の短いもの順、もしくは指定撮影画角ＩＤから順に撮影画角を整理し、画角追跡順管理データベース３４を更新する。

なお、撮影画角とＩＤ割り当ての様子を図１１に示す。

さらに、この撮像システム１００において、上記画角追跡順管理データベース３４を用いて撮影を行う動作は、次のように行われる。

すなわち、上述の図８に示したフローチャートの手順に従い、追跡対象画像取得モジュール３４は、画角追跡順管理データベース３５に格納されている順に従って撮影画角を取り出し、撮影画角の位置、位置変化情報、画角の大きさ、カメラ相対位置補正ロジックを元に、ズームカメラのパンチルト値とズーム値を決定して、ズームカメラ２０にパンチルトの命令を送信し、詳細画像を１枚取得し、結果表示モジュール３８にその画像を送る。さらに、追跡対象画像取得モジュール３４は、ズームカメラ２０にズームの命令を送信し、詳細画像を１枚取得し、結果表示モジュール３８にその画像を送る。

そして、追跡対象画像取得モジュール３４は、画角追跡順管理データベース３５に新規の撮影画角がないかチェックする。新規の撮影画角がある場合は画角追跡順管理データベース３５が管理している撮影画角配列の頭から撮影を再開する。新規の撮影画角がない場合は現在保持している優先順位に従って次の撮影画角を撮影する。

このように、この撮像システム１００では、２台のカメラ１０，２０を用いてセンサーカメラ１０で広範囲な撮影を行いつつ、もう一方のズームカメラ２０でその撮影範囲内の追跡対象を撮影する際に、図１２に示すように複数動体を１つの撮像画角として統合して表示し、その詳細画像を取得することができ、撮影画角にIDを割り振り動体が停止した後も同一の画角IDを振り、その同一動体撮影画角と持続時間が長い撮影の優先順位を下げることで、より多くの動体を撮影することができる。また、同一撮影画角の優先順位を上げることで同じ撮影画角を撮影し続けることも可能である。また、画角位置変化情報を保持し、その情報を元にズーム倍率と撮影位置を決定しているので、ある程度大きな複数の動体が高速で移動した場合にもその詳細画像を取得することができる。詳細画像はパンチルト後１枚、ズーム後１枚と２段階の取得を行っているため、動体の詳細画像に追跡対象が撮影されている可能性を高くすることができる。また、この詳細画像は撮影画像の再生時に動体の検索キーとしても使用することもできる。

本発明を適用した撮像システムの構成を示すブロック図である。本発明が適用される撮像システムの他の構成例を示すブロック図である。本発明を適用した撮像システムにおけるクライアントに備えられる機能構成を模式的に示すブロック図である。上記クライアントに搭載された各モジュールの関係を示すソフトウェアモジュール相関図である。上記クライアントに搭載されたセンサー画像取得モジュールの動作を示すフローチャートである。上記クライアントに搭載された動体検知モジュールの動作を示すフローチャートである。上記クライアントに搭載された撮影画角計算モジュールの動作を示すフローチャートである。上記クライアントに搭載された追跡対象画像取得モジュールの動作を示すフローチャートである。上記クライアントに搭載されたカメラ相対位置補正モジュールの動作を示すフローチャートである。上記クライアントに搭載された結果表示モジュールの動作を示すフローチャートである。本発明を適用した撮像システムにおける撮影画角とＩＤ割り当ての様子を示す図である。本発明を適用した撮像システムにおけるセンサーカメラにより得られた広範囲なセンサー画像と、その撮影範囲内の複数動体を統合して追跡対象としてズームカメラで撮影した詳細画像を示す図である。

符号の説明

１０センサーカメラ、１０Ａ固定カメラ、２０ズームカメラ、３０クライアント、３１センサー画像取得モジュール、３２動体検知モジュール、３３撮影画角計算モジュール、３４追跡対象画像取得モジュール、３５画角追跡順管理データベース、３６停止撮影画角管理データベース、３７カメラ相対位置補正モジュール、３８結果表示モジュール、４０ネットワーク、１００撮像システム１００

Claims

広範囲な撮影を行うセンサーカメラと、
上記センサーカメラの撮影範囲内の追跡対象を撮影するズームカメラと、
上記センサーカメラから及びズームカメラを制御する制御部からなり、
上記制御部は、上記センサーカメラにより得られるセンサー画像から動体の位置と大きさを抽出する動体検知手段と、上記動体検知手段により抽出された複数の動体から一つの撮影画角を決定する撮影画角計算手段と、上記撮影画角計算手段により決定された画角の位置、移動速度、大きさからその場所を上記ズームカメラに撮影させる追跡対象画像取得手段と、その撮影順を管理する画角追跡順管理手段と、動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持する停止撮影画角管理手段と、センサーカメラの撮像範囲における撮影位置を算出する処理を行うカメラ相対位置補正手段とを備え、撮影画角にＩＤを割り振り動体が停止した後も同一の画角ＩＤを振り、その同一動体撮影画角の撮影の優先順位を制御し、上記センサーカメラで広範囲な撮影を行いつつ、上記ズームカメラでその撮影範囲内の追跡対象を撮影することを特徴とする撮像システム。
上記制御部は、同一撮影画角で持続時間が長い撮影の優先順位を下げる制御を行うことを特徴とする請求項１記載の撮像システム。
上記制御部は、同一撮影画角での撮影の優先順位を上げる制御を行うことを特徴とする請求項１記載の撮像システム。
上記制御部は、画角位置変化情報を保持し、その情報を元にズーム倍率と撮影位置を決定することを特徴とする請求項１記載の撮像システム。
センサーカメラで広範囲な撮影を行いつつ、ズームカメラでその撮影範囲内の追跡対象を撮影するにあたり、
広範囲な撮影を行うセンサーカメラにより得られるセンサー画像から動体の位置と大きさを抽出し、
抽出された複数の動体から一つの撮影画角を決定し、
決定された画角の位置、移動速度、大きさから、上記センサーカメラの撮影範囲内の抽出された複数の動体を追跡対象としてズームカメラで撮影させるとともに、その撮影順を管理し、
動体撮影画角内の全ての動体が停止した際に、その撮影画角を一定時間保持し、
撮影画角にＩＤを割り振り動体が停止した後も同一の画角ＩＤを振り、その同一動体撮影画角の撮影の優先順位を制御して、
上記センサーカメラで広範囲な撮影を行いつつ、その撮影範囲内の追跡対象を上記ズームカメラで撮影することを特徴とする撮像方法。