JP7150456B2 - 撮像システム、情報処理装置、情報処理装置の制御方法、及び、プログラム - Google Patents

Description

本発明は、撮像システム、情報処理装置、情報処理装置の制御方法、及び、プログラムに関する。

従来、街中等に設置された監視カメラにおける監視用途として、広域監視用途と詳細監視用途とが知られている。広域監視用途は、事故等のイベント発生箇所の特定や、動体の移動経路を追跡するといった用途である。詳細監視用途は、イベントや特定被写体等を詳細に撮影する用途である。
しかしながら、１台の監視カメラで上記２つの監視用途を同時に満たすためには、詳細撮影可能な解像度を維持しながら、広域エリアも撮影可能にしなくてはならない。このため、上記２つの監視用途を実現できる監視カメラに使用可能な撮像センサや光学レンズの性能には制限があった。
この点に関して、複数台のカメラを用いて、広域監視を目的とした固定画角カメラ（以下、広域カメラ）と、広域監視範囲周辺の一部範囲を詳細に撮影することを目的としたＰＴＺカメラを用いた監視システムが開示されている（特許文献１）。ＰＴＺカメラは、パン及びチルト方向に光学レンズや撮像センサを含む鏡筒向きを変更可能にすることで撮像方向を変更し、ユーザの指示に応じて撮像領域を調整できる。また、ＰＴＺカメラは、撮像センサの光軸方向に対して光学レンズ位置を移動することでズーム動作を可能にし、ユーザ操作に基づいて画角を変更できる。

このようなＰＴＺカメラのユーザ操作方法として、主に２つの操作方法が知られている。第１の操作方法は、ＰＴＺカメラを単独で操作する方法である。具体的にはＰＴＺカメラ専用のコントローラに設けられたボタンやジョイスティックで操作する方法や、画面に表示されたＧＵＩにより操作する方法である（特許文献２）。第２の操作方法は、特許文献１で提示されるように、広域カメラが撮像した画像において詳細に撮影したい範囲をユーザが選択する方法である。ユーザによって選択された範囲をＰＴＺカメラが撮像するようにパン、チルト及びズームの制御量が演算され、演算結果に従い撮像装置内部の所定モータが駆動する。第２の操作方法は、広域カメラが撮像した画像からＰＴＺカメラの撮像領域を設定可能なため、直感的に操作しやすく、瞬時に目的の撮像領域へＰＴＺカメラの撮像領域を合わせることが可能となる。

特開２００６－１２８９３２号公報 特開２０１５－１４１４７１号公報

しかしながら、ＰＴＺカメラを一例とする第２の撮像部が、広域カメラを一例とする第１の撮像部の撮像領域の外も撮像可能な場合であっても、上記の第２の操作方法では、第２のカメラ部の撮像領域が第１のカメラ部の撮像領域の中に限定されてしまう。このため、第１のカメラ部の撮像領域の境界をまたがるような被写体全貌を第２のカメラ部で撮像して表示するような場合には、上記の第２の操作方法は使えない。一方、第１の操作方法では、目的の撮像領域へＰＴＺカメラの撮像領域を合わせることを直感的に行うことは困難である。

本発明の撮像システムは、定められた撮像領域を撮像して第１の画像を得る第１の撮像部と、撮像方向、及び、画角の少なくとも何れかを変更可能であって、撮像方向、及び、画角の少なくとも何れかを変更することにより、前記第１の撮像部の前記定められた撮像領域より広い撮像領域を撮像可能な第２の撮像部と、前記第１の画像が表示され、前記第１の画像が表示されている領域とは異なる領域である前記第１の画像の外側の領域を含む第１の画面領域を指定可能な画面である指定画面を表示するよう制御する第１の表示制御手段と、前記指定画面で指定された前記第１の画面領域に基づいて、前記第２の撮像部の撮像方向、及び、画角の少なくとも何れかを制御して、前記第１の画面領域に対応する撮像領域を撮像することで第２の画像を得るよう前記第２の撮像部を制御する撮像制御手段と、前記撮像制御手段の制御によって得られた前記第２の画像を表示するよう制御する第２の表示制御手段と、を有する。

本発明によれば、所望の撮像領域を撮像した画像を簡易に表示させることができる。

撮像システムの構成の一例を示す図である。 撮像装置の外観の一例を示す図である。 撮像装置のチルト方向における撮像領域の一例を示す図である。 撮像装置のパン方向における撮像領域の一例を示す図である。 指定画面の一例を示す図である。 指定画面の一例を示す図である。 撮像領域設定処理の一例を示すフローチャートである。

図１（ａ）を参照して撮像システムについて説明する。図１（ａ）は、撮像システムの構成の一例を示す図である。撮像システムは、撮像装置１００とクライアント装置１４０とを有する。撮像装置１００とクライアント装置１４０とは、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｒｏｌ）ネットワーク網１３０を介して、相互通信可能な状態で接続されている。
撮像装置１００は、広域カメラ１１０とＰＴＺ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）カメラ１２０とシステム制御部１２４と記憶部１２５とを有する。
広域カメラ１１０は、撮像光学系１１１と撮像素子部１１２と画像処理部１１３とによって構成されている。
撮像素子部１１２は、撮像光学系１１１を通った光に基づいて、画像の電気信号を出力する。撮像素子部１１２は、ＣＣＤセンサやＣＭＯＳセンサ等で構成される。広域カメラ１１０は、第１の撮像部の一例である。
画像処理部１１３は、撮像素子部１１２によって出力された画像の電気信号に基づいて、定められた画像処理を行う。

ここで、図１（ａ）の例では、広域カメラ１１０は、撮像光学系１１１、及び、撮像素子部１１２は、それぞれ１つのみ図示されているが、その数を限定するものではなく、複数の撮像光学系１１１、及び、撮像素子部１１２により構成されていてもよい。例えば、広域カメラ１１０は、複数のカメラを有していてもよい。ここで、カメラとは、１つの撮像光学系１１１、１つの撮像素子部１１２を有する。広域カメラ１１０が複数のカメラを有する場合、画像処理部１１３は、それぞれのカメラの出力画像を合成してパノラマ画像を生成することで、広域カメラ１１０は広域エリアの撮像を行うようにしてもよい。広域カメラ１１０を構成するそれぞれのカメラは、画像処理部１１３を有していてもよい。この場合、システム制御部１２４等が、それぞれのカメラの出力画像を合成してパノラマ画像を生成してもよい。広域カメラ１１０は、固定された画角で撮像する。

ＰＴＺカメラ１２０は、パン方向、及び、チルト方向に撮像方向を変更でき、更に、画角を変更することでズームを行うことができる。ＰＴＺカメラ１２０は、撮像光学系１２１と撮像素子部１２２と画像処理部１２３と駆動制御部１２６とズームモータ１２７とパンモータ１２８とチルトモータ１２９とを有する。ＰＴＺカメラ１２０は、撮像方向、及び、画角の少なくとも何れかを変更可能な第２の撮像部の一例である。
撮像光学系１２１は、不図示のフォーカスレンズや絞り機構を有し、最適な露光条件で撮像するようにシステム制御部１２４により制御される。また、撮像光学系１２１は、撮像素子部１２２の光軸方向に対して移動可能なように配置された光学レンズを、ズームモータ１２７によって駆動することで画角を調整できるように構成されている。

撮像素子部１２２は、撮像光学系１２１を通った光に基づいて、画像の電気信号を出力する。撮像素子部１２２は、ＣＣＤセンサやＣＭＯＳセンサ等で構成される。
画像処理部１２３は、撮像素子部１２２によって出力された画像の電気信号に基づいて、定められた画像処理を行う。
駆動制御部１２６は、システム制御部１２４の制御に基づいて、ズームモータ１２７とパンモータ１２８とチルトモータ１２９とを制御して、ＰＴＺカメラ１２０の撮像方向を変更したり、ＰＴＺカメラ１２０の画角を変更したりする。システム制御部１２４は、クライアント装置１４０から受信した制御コマンドに応じて駆動制御部１２６を制御する。これにより、ユーザがクライアント装置１４０の入力部１４２で指定した撮像領域を撮像するように、ＰＴＺカメラ１２０の撮像方向やＰＴＺカメラ１２０の画角が制御される。
ズームモータ１２７は、駆動制御部１２６の制御に基づいて、撮像光学系１２１の光学レンズを撮像素子部１２２の光軸方向に対して移動させる。
パンモータ１２８は、駆動制御部１２６の制御に基づいて、ＰＴＺカメラ１２０の撮像方向をパン方向に移動させる。
チルトモータ１２９は、駆動制御部１２６の制御に基づいて、ＰＴＺカメラ１２０の撮像方向をチルト方向に移動させる。

システム制御部１２４は、撮像装置１００の各構成要素を統括的に制御したり、各種パラメータ等の設定をしたり、クライアント装置１４０との通信を制御したりする。より具体的には、システム制御部１２４は、撮像制御、画像の圧縮符号化、画像の切出し、出力画像の生成、ネットワーク配信等の各種処理を実施する。システム制御部１２４は、画像の切出しにより、デジタルＰＴＺ機能を実現できる。
撮像装置１００の構成の一例を示す図１（ｂ）に示すように、システム制御部１２４はＣＰＵ１３１を有する。また、図１（ｂ）に示すように、記憶部１２５は、ＲＯＭ１３２、及び、ＲＡＭ１３３を有する。ＣＰＵ１３１は、ＲＯＭ１３２に記憶されたプログラムをＲＡＭ１３３に展開して実行することで、図７の処理や、その他のシステム制御部１２４が行う処理が実現される。ＲＡＭ１３３は、プログラム実行中のワーク領域、各種データやパラメータ情報の格納領域等として用いられる。記憶部１２５は、不揮発性メモリを有し、各種データやパラメータ情報を、不揮発性メモリに記憶してもよい。

クライアント装置１４０は、表示部１４１と入力部１４２とシステム制御部１４３と記憶部１４４とを有する。クライアント装置１４０は、情報処理装置の一例である。
表示部１４１は、各種の画面や画像を表示する。表示部１４１として、例えば、液晶ディスプレイが使われる。
入力部１４２は、ユーザが操作可能なマウスやキーボード等で構成される。表示部１４１をタッチパネルで構成し、表示部１４１を入力部１４２としてもよい。
システム制御部１４３は、クライアント装置１４０の各構成要素を統括的に制御したり、各種パラメータ等の設定をしたり、撮像装置１００との通信を制御したりする。
クライアント装置１４０の構成の一例を示す図１（ｃ）に示すように、システム制御部１４３はＣＰＵ１４５を有する。また、図１（ｃ）に示すように、記憶部１４４は、ＲＯＭ１４６、及び、ＲＡＭ１４７を有する。ＣＰＵ１４５は、ＲＯＭ１４６に記憶されたプログラムをＲＡＭ１４７に展開して実行することで、システム制御部１４３が行う処理が実現される。ＲＡＭ１４７は、プログラム実行中のワーク領域、各種データやパラメータ情報の格納領域等として用いられる。記憶部１４４は、不揮発性メモリを有し、プログラムや各種データを、不揮発性メモリに記憶してもよい。
クライアント装置１４０として、撮像装置１００から見て外部装置となるＰＣ（パーソナルコンピュータ）や携帯電話等の情報処理端末が使われるが、これらに限定されるものではない。

ＩＰネットワーク網１３０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されるものとする。ただし、本実施形態では、撮像装置１００とクライアント装置１４０との間の通信を行うことができるものであれば、ＩＰネットワーク網１３０の通信規格、規模、構成を問わない。例えば、ＩＰネットワーク網１３０は、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されていてもよい。

クライアント装置１４０のシステム制御部１４３は、ＩＰネットワーク網１３０を介して、撮像装置１００に各種の制御コマンドを送信する。制御コマンドは、撮像装置１００に対する指令を表す。制御コマンドには、広域カメラ１１０やＰＴＺカメラ１２０に対する撮像パラメータの設定の指令、撮像装置１００の駆動部品への駆動制御指令、映像ストリーミング開始指令／停止指令等が含まれる。撮像装置１００の駆動部品には、ズームモータ１２７とパンモータ１２８とチルトモータ１２９とが含まれる。
撮像装置１００のシステム制御部１２４は、ＩＰネットワーク網１３０を介して、クライアント装置１４０から制御コマンドを受信すると、受信した制御コマンドに対するレスポンスをクライアント装置１４０に送信する。

撮像装置１００のシステム制御部１２４は、広域カメラ１１０やＰＴＺカメラ１２０によって撮像された画像を、ＩＰネットワーク網１３０を介してクライアント装置１４０に配信する。クライアント装置１４０のシステム制御部１４３は、撮像装置１００から受信した画像を表示部１４１に表示するよう制御する。これにより、ユーザは、撮像装置１００から配信された画像を閲覧できる。また、ユーザは、入力部１４２を操作することで、ＰＴＺカメラ１２０の撮像方向、及び、画角を変更する指令を入力できる。

次に、図２（ａ）、（ｂ）を参照して、撮像装置１００について更に説明する。図２（ａ）は、撮像装置１００の側面の一例を示す図である。図２（ｂ）は、次に説明する回転部１５２側から撮像装置１００を見た上面図である。
撮像装置１００は、固定部１５１と回転部１５２とを有する。
固定部１５１は、天井等の撮像装置１００の設置場所に対して固定される。より具体的には、固定部１５１は、設置面１５０を有し、設置面１５０が天井や専用取り付け材等に固定されることで、撮像装置１００が天井等に設置される。固定部１５１には、広域カメラ１１０が配置されている。広域カメラ１１０は、撮像装置１００の設置状態に応じた固定画角で撮像する。図２（ａ）の例では、広域カメラ１１０は、第１のカメラ１１０ａ、第２のカメラ１１０ｂ、第３のカメラ１１０ｃを有する。ただし、広域カメラ１１０を構成するカメラは３つに限定されるものではなく、例えば４つ以上のカメラで構成されることにより撮像装置１００の全周囲を撮像可能にする構成であってもよい。また、広域カメラ１１０は１つのカメラで構成され、このカメラの撮像光学系１１１に広角レンズを用いて、広域を撮像できるように構成されてもよい。

回転部１５２は、固定部１５１における設置面１５０とは反対側に設けられる。回転部１５２は、第１の回転軸１５６を中心に定められた範囲で回転可能である。第１の回転軸１５６は、例えば、設置面１５０に対して垂直である。
回転部１５２には、ＰＴＺカメラ１２０が配置されている。ＰＴＺカメラ１２０は、回転部１５２が第１の回転軸１５６を中心に回転する際に、回転部１５２と共に第１の回転軸１５６を基準にして回転する。これにより、図２（ｂ）の矢印１５８で示すパン方向に回転し、ＰＴＺカメラ１２０の撮像方向が変更する。ここで、パン方向についての基準となるＰＴＺカメラ１２０の撮像方向を、図２（ｂ）に示す第１の基準方向１５７とする。本実施形態では、ＰＴＺカメラ１２０のパン角を、－９０°～＋９０°の範囲で変更できる。ＰＴＺカメラ１２０のパン角は、第１の基準方向１５７を基準としたときの、パン方向についての撮像方向の角度である。ＰＴＺカメラ１２０はパン角の変更に伴って回転することでＰＴＺカメラ１２０の撮像方向が変わる。ＰＴＺカメラ１２０のパン角の変更可能な範囲は、－９０°～＋９０°の範囲に限定されるものではなく、－５°～９０°でもよく、撮像装置１００の構造で定まる任意の範囲としてよい。パンモータ１２８が、ＰＴＺカメラ１２０をパン方向に回転させる。

また、ＰＴＺカメラ１２０の撮像光学系１２１、及び、撮像素子部１２２を含む鏡筒１５９は、第１の回転軸１５６に垂直な第２の回転軸１５３を中心に回転可能に構成される。これにより、ＰＴＺカメラ１２０は、図２（ａ）の矢印１５５で示すチルト方向に回転し、ＰＴＺカメラ１２０の撮像方向が変更する。ここで、チルト方向についての基準となるＰＴＺカメラ１２０の撮像方向を、図２（ａ）に示す第２の基準方向１５４とする。本実施形態では、ＰＴＺカメラ１２０のチルト角を、０°～＋６０°の範囲で変更できる。ＰＴＺカメラ１２０のチルト角は、第２の基準方向１５４を基準としたときの、チルト方向についての撮像方向の角度である。ＰＴＺカメラ１２０はチルト角の変更に伴って回転することで、ＰＴＺカメラ１２０の撮像方向が変わる。ＰＴＺカメラ１２０のチルト角の変更可能な範囲は、０°～＋６０°の範囲に限定されるものではなく、－５°～９０°でもよく、撮像装置１００の構造で定まる任意の範囲内を回転可能としてよい。チルトモータ１２９が、ＰＴＺカメラ１２０をチルト方向に回転させる。

次に、図３を参照して、撮像装置１００のチルト方向の撮像領域について説明する。図３は、撮像装置１００のチルト方向における撮像領域の一例を示す図である。
図３の撮像可能領域１６０は、ＰＴＺカメラ１２０がチルト角を変更することでその一部を撮像することができる範囲であり、ＰＴＺカメラ１２０が撮像可能な撮像領域である。図３の第１の撮像領域１６０ａは、ＰＴＺカメラ１２０のチルト角が０°の場合のチルト方向の撮像領域である。また、図３の第２の撮像領域１６０ｂは、ＰＴＺカメラ１２０のチルト角が＋６０°の場合のチルト方向の撮像領域である。ＰＴＺカメラ１２０のチルト角は、０°～＋６０°で変更できる。このため、撮像可能領域１６０は、第１の撮像領域１６０ａにおけるパン方向のマイナス側の撮像境界１６５ａと、第２の撮像領域１６０ｂにおけるパン方向のプラス側の撮像境界１６５ｂと、を境界とする範囲として定められる。図３の位置１２０ａは、ＰＴＺカメラ１２０のチルト角が０°の場合のＰＴＺカメラ１２０の位置である。図３の位置１２０ｂは、ＰＴＺカメラ１２０のチルト角が＋６０°の場合のＰＴＺカメラ１２０の位置である。
撮像領域１６１は、広域カメラ１１０によって常時撮像されるチルト方向の範囲を示す。

次に、図４を参照して、撮像装置１００のパン方向の撮像領域について説明する。図４は、撮像装置１００のパン方向における撮像領域の一例を示す図である。
図４の撮像可能領域１６２は、ＰＴＺカメラ１２０がパン角を変更することでその一部を撮像することができる範囲であり、ＰＴＺカメラ１２０が撮像可能な撮像領域である。図４の第３の撮像領域１６２ａは、ＰＴＺカメラ１２０のパン角が＋９０°の場合のパン方向の撮像領域である。また、図４の第４の撮像領域１６２ｂは、ＰＴＺカメラ１２０のパン角が－９０°の場合のパン方向の撮像領域である。ＰＴＺカメラ１２０のパン角は、－９０°～＋９０°で変更できる。このため、撮像可能領域１６２は、第３の撮像領域１６２ａにおけるパン方向のプラス側の撮像境界１６６ａと、第４の撮像領域１６２ｂにおけるパン方向のマイナス側の撮像境界１６６ｂと、を境界とする範囲として定められる。図４の位置１２０ｃは、ＰＴＺカメラ１２０のパン角が＋９０°の場合のＰＴＺカメラ１２０の位置である。図４の位置１２０ｄは、ＰＴＺカメラ１２０のパン角が－９０°の場合のＰＴＺカメラ１２０の位置である。
撮像領域１６３は、広域カメラ１１０によって常時撮像されるパン方向の範囲を示す。

図３に示すように、広域カメラ１１０のチルト方向の撮像領域１６１は、ＰＴＺカメラ１２０のチルト方向の撮像可能領域１６０に含まれる。また、図４に示すように、広域カメラ１１０のパン方向の撮像領域１６３は、ＰＴＺカメラ１２０のパン方向の撮像可能領域１６２に含まれる。そして、ＰＴＺカメラ１２０は、パン角、及び、チルト角を変更することで、広域カメラ１１０の撮像領域１６１、１６３を含む領域のうち一部範囲を撮像できるよう構成されている。本実施形態では、広域カメラ１１０の撮像領域１６１、１６３の全範囲を覆うようにＰＴＺカメラ１２０の撮像可能領域１６０、１６２が設定されており、ＰＴＺカメラ１２０は、広域カメラ１１０の撮像領域１６１、１６３の外側の領域を撮像できる。ただし、このような構成に限定されるものではなく、広域カメラ１１０の撮像領域１６１、１６３とＰＴＺカメラ１２０の撮像可能領域１６０、１６２とが少なくとも一部重なっていればよい。例えば、パン方向のみ、又は、チルト方向のみ、部分的に、広域カメラ１１０の撮像領域１６１、１６３とＰＴＺカメラ１２０の撮像可能領域１６０、１６２とが重なるように構成されてもよい。

次に、図５を参照して、指定画面２２０について説明する。図５は、指定画面２２０の一例を示す図である。クライアント装置１４０のシステム制御部１４３は、指定画面２２０を表示部１４１に表示するよう制御する。この処理は、第１の表示制御手段による処理の一例である。
指定画面２２０は、広域カメラ１１０による撮像で得られた第１の画像２１０と、ＰＴＺカメラ１２０による撮像で撮像得られた第２の画像２１１とが表示される画面であり、クライアント装置１４０の表示部１４１に表示される。また、指定画面２２０では、ユーザがＰＴＺカメラ１２０の撮像領域を指定できる。
指定画面２２０は、表示枠２００と、第１の表示領域２０１と、第２の表示領域２０２と、指定可能領域２０４とを含む。指定画面２２０の各部は、表示枠２００の内部に表示される。
第１の表示領域２０１は、広域カメラ１１０の撮像領域に対応する指定画面２２０の領域である。第１の表示領域２０１に、広域カメラ１１０によって撮像された第１の画像２１０が表示される。第１の表示領域２０１は、広域カメラ１１０の撮像領域に対応する領域であるため、第１の画像２１０と同じ大きさである。
第２の表示領域２０２は、ＰＴＺカメラ１２０によって撮像された第２の画像２１１が表示される領域である。

カーソル２０３は、表示部１４１に対してユーザが任意の点、及び、範囲を指定するための操作用のオブジェクトである。
指定可能領域２０４は、ＰＴＺカメラ１２０の撮像可能領域１６０、１６２を表す指定画面２２０の領域である。ユーザが指定可能領域２０４の中の領域を指定することで、ＰＴＺカメラ１２０が、ユーザによって指定された領域（指定領域）に対応する撮像領域を撮像できるように、ＰＴＺカメラ１２０のパン角、チルト角、ズーム量が設定される。そして、ＰＴＺカメラ１２０の撮像方向、及び、画角が変化する。第１の画像２１０は、指定可能領域２０４での広域カメラ１１０の撮像領域１６１、１６３に対応する位置に表示される。第１の画像２１０は、指定可能領域２０４の中に含まれており、指定可能領域２０４と重複している。指定可能領域２０４の第１の画像２１０とは異なる領域（第１の画像２１０の外側の領域）を外側領域２１２と呼ぶ。指定可能領域２０４は、第２の画面領域の一例である。

本実施形態では、ユーザは入力部１４２を用いてカーソル２０３を操作し、指定可能領域２０４内の任意の点、又は、範囲を指定することで、指定可能領域２０４の中の領域を指定し、ＰＴＺカメラ１２０の撮像方向及び画角を変更することができる。この際、クライアント装置１４０のシステム制御部１４３は、入力部１４２からの出力に基づいて、指定可能領域２０４の中のユーザによって指定された領域を受け付ける。
指定画面２２０において、指定可能領域２０４は、第１の画像２１０が表示される第１の表示領域２０１の外側を含む領域である。本実施形態では、指定可能領域２０４は、第１の表示領域２０１を全て含んでいる。そして、外側領域２１２は、第１の表示領域２０１の全周において第１の表示領域２０１と隣接する。外側領域２１２は空白として表示される。
撮像装置１００のシステム制御部１２４は、例えば、定期的に、広域カメラ１１０で撮像された第１の画像２１０、及び、ＰＴＺカメラ１２０で撮像された第２の画像２１１をクライアント装置１４０に送信する。クライアント装置１４０のシステム制御部１４３は、撮像装置１００から受信した第１の画像２１０、及び、第２の画像２１１を使用して、指定画面２２０の第１の画像２１０、及び、第２の画像２１１を更新する。

次に、図６を参照して、指定画面２２０を用いて、ＰＴＺカメラ１２０の撮像方向、及び、画角を設定する方法を説明する。図６は、指定画面２２０の一例を示す図である。指定可能領域２０４には、図６に示すように、ＰＴＺカメラ１２０のパン方向に対応した水平方向軸２０５と、チルト方向に対応した垂直方向軸２０６とからなる座標が設定されている。ユーザは、カーソル２０３を操作することで、この座標内において任意の点を指定することができる。水平方向軸２０５、及び、垂直方向軸２０６は、指定画面２２０に実際に表示されていてもよく、表示されていなくてもよい。
本実施形態において、指定可能領域２０４における水平方向軸２０５が伸びる方向の中央がパン角０°であり、左端がパン角－９０°、右端がパン角９０°である。また、指定可能領域２０４における垂直方向軸２０６が伸びる方向の中央がチルト角３０°であり、上端がチルト角０°であり、下端がチルト角６０°である。本実施形態においては、パン角、及び、チルト角は指定可能領域２０４内を線形に変化するものとしているが、それに限定されるものではなく例えば広域カメラ１１０の湾曲率に応じて非線形に割り当てられるものでもよい。

図６に示すように、ユーザは、入力部１４２を操作することで、範囲指定開始点２０７ａと範囲指定終了点２０７ｂとを指定して、この２点を対角線とする矩形の領域（指定領域）を指定する。この指定領域がＰＴＺカメラ１２０の新たな撮像領域に対応する。ユーザによる指定領域の指定は、ＰＴＺカメラ１２０の撮像領域を変更する指令である。図６の例では、指定領域は、第１の画像２１０の一部と、第１の画像２１０に隣接する外側領域２１２の一部と、を含む。この指定領域は、第１の画面領域の一例である。指定領域は、外側領域２１２の一部のみからなる領域でもよく、第１の画像２１０の一部のみからなる領域でもよい。
クライアント装置１４０のシステム制御部１４３は、入力部１４２の出力に基づいて、範囲指定開始点２０７ａと範囲指定終了点２０７ｂとを受け付けることで、この２点を対角線とする矩形の指定領域を受け付ける。
次いで、システム制御部１４３は、受け付けた範囲指定開始点２０７ａと範囲指定終了点２０７ｂとに基づいて、指定領域に対応する撮像領域をＰＴＺカメラ１２０が撮像するための、ＰＴＺカメラ１２０の撮像方向、及び、画角を算出する。ここで算出されたＰＴＺカメラ１２０の撮像方向、及び、画角の情報を、撮像領域情報と呼ぶ。
次いで、システム制御部１４３は、撮像領域情報を撮像装置１００に送信する。撮像装置１００のシステム制御部１２４は、次に説明する撮像領域設定処理によって、クライアント装置１４０の撮像領域情報に基づいて、ＰＴＺカメラ１２０の撮像方向、及び、画角を変更する。より具体的には、システム制御部１２４は、駆動制御部１２６を介し、撮像領域情報に応じて、ズームモータ１２７、パンモータ１２８、チルトモータ１２９をそれぞれ駆動させる。

次に、図７を参照して、撮像領域設定処理について説明する。図７は、撮像領域設定処理の一例を示すフローチャートである。撮像領域設定処理は、撮像装置１００のシステム制御部１２４が実行する処理であり、特にＰＴＺカメラ１２０の撮像方向、及び、画角を設定する処理である。図７の処理は、撮像制御手段による処理の一例である。
Ｓ３０１において、システム制御部１２４は、クライアント装置１４０との通信に基づいて、クライアント装置１４０の入力部１４２を介して、ユーザがＰＴＺカメラ１２０の撮像領域を変更する指令を行ったか否かを判定する。システム制御部１２４は、ユーザがＰＴＺカメラ１２０の撮像領域を変更する指令を行ったと判定した場合、処理をＳ３０２に進め、ユーザがこの指令を行っていないと判定した場合、図７の処理を終了する。
Ｓ３０２において、システム制御部１２４は、クライアント装置１４０から、撮像領域情報を受信する。撮像領域情報は、既に説明したように、クライアント装置１４０で算出されたＰＴＺカメラ１２０の撮像方向、及び、画角の情報である。
Ｓ３０３において、システム制御部１２４は、Ｓ３０２で受信した撮像領域情報に含まれる画角が、ＰＴＺカメラ１２０の最大画角の範囲内か否かを判定する。システム制御部１２４は、撮像領域情報に含まれる画角が、ＰＴＺカメラ１２０の最大画角の範囲に含まれると判定した場合、処理をＳ３０５に進め、ＰＴＺカメラ１２０の最大画角の範囲に含まれないと判定した場合、処理をＳ３０４に進める。

Ｓ３０４において、システム制御部１２４は、Ｓ３０２で受信した撮像領域情報の画角をＰＴＺカメラ１２０の最大画角にする補正を行う。ただし、システム制御部１２４は、Ｓ３０２で受信した撮像領域情報の画角をＰＴＺカメラ１２０の最大画角より小さい画角にする補正を行ってもよい。
Ｓ３０５において、システム制御部１２４は、撮像領域情報に基づいて、駆動制御部１２６を介して、ズームモータ１２７、パンモータ１２８、チルトモータ１２９をそれぞれ駆動する。これにより、システム制御部１２４は、ＰＴＺカメラ１２０の撮像方向、及び、画角が、ユーザによって指定された撮像方向、及び、画角になるよう制御する。そして、システム制御部１２４は、指定画面２２０で指定された指定領域に対応する撮像領域をＰＴＺカメラ１２０が撮像することで、第２の画像２１１を得るよう制御する。Ｓ３０４で補正が行われた場合、システム制御部１２４は、ＰＴＺカメラ１２０が、指定画面２２０で指定された指定領域に対応する撮像方向を、補正された画角で撮像することで、第２の画像２１１を得るよう制御することになる。
クライアント装置１４０のシステム制御部１４３は、撮像装置１００のシステム制御部１２４から第２の画像２１１を定期的に受信して、指定画面２２０に表示するよう制御する。この第２の画像２１１を表示する処理は、第２の表示制御手段による処理の一例である。

以上説明したように、ユーザは、指定画面２２０において、外側領域２１２の一部を含む指定領域を指定できる。そして、クライアント装置１４０は、この指定領域に対応する撮像領域をＰＴＺカメラ１２０が撮像することで得られた第２の画像２１１を指定画面２２０に表示する。よって、ユーザは、第１の画像２１０に対応する撮像領域に含まれない撮像領域の指定を直感的に行うことができる。そして、ユーザは、広域カメラ１１０の撮像領域１６１、１６３の範囲外を撮像して得られた第２の画像２１１を簡易に表示させることができる。また、本実施形態の撮像システムでは、図６に示すように、広域カメラ１１０の撮像領域の境界をまたがるような被写体全貌をＰＴＺカメラ１２０で撮像して表示することができ、ユーザの利便性が向上する。

（変形例）
上記の実施形態では、指定画面２２０において、図６の外側領域２１２は空白として表示される。しかし、クライアント装置１４０のシステム制御部１４３は、外側領域２１２を、第１の画像２１０とは識別可能に、例えば、色を付けて表示してもよい。
また、システム制御部１４３は、外側領域２１２に、この領域に対応する撮像領域がＰＴＺカメラ１２０によって過去に撮像されて得られた画像を表示してもよい。この場合、撮像装置１００は、起動時に、ＰＴＺカメラ１２０に、外側領域２１２に対応する画像を撮像させて、クライアント装置１４０に送信する。クライアント装置１４０は、外側領域２１２に、撮像装置１００から受信した画像を合成して表示する。その後は、クライアント装置１４０は、撮像装置１００が、外側領域２１２に対応する撮像領域を撮像するごとに、この撮像で得られた画像を使って外側領域２１２に表示する画像を更新する。システム制御部１４３は、外側領域２１２の一部にのみ、ＰＴＺカメラ１２０によって過去に撮像されて得られた画像を表示してもよい。外側領域２１２に表示する画像は第３の画像の一例である。

また、システム制御部１４３は、第１の表示領域２０１に表示する第１の画像２１０と、外側領域２１２に表示する画像とに、異なる画像処理を施すよう制御してもよい。また、指定可能領域２０４の内側と外側との境界線は、図５、図６に示すように、破線でもよく、実線にしてもよい。また、指定可能領域２０４の内側と外側との境界線は表示せず、任意の画像等により、指定可能領域２０４の内側と外側とを区別できるようにしてもよい。
また、上記の実施形態では、図６を参照して説明したように、ユーザは、範囲指定開始点２０７ａと範囲指定終了点２０７ｂと指定する。ここで、システム制御部１４３は、ユーザによって範囲指定開始点２０７ａが指定された場合、次に説明する参考領域を指定画面２２０に表示してもよい。参考領域は、範囲指定開始点２０７ａを頂点とする四角形の領域であって、対応する撮像領域をＰＴＺカメラ１２０が最大画角で撮像できるような領域である。参考領域に含まれる領域であれば、この領域に対応する撮像領域をＰＴＺカメラ１２０が撮像できるため、ユーザは指定画面２２０で、ＰＴＺカメラ１２０に撮像させる領域を容易に指定できるようになる。参考領域は、第３の画面領域の一例である。
また、上記の実施形態では、ＰＴＺカメラ１２０のパン角やチルト角の範囲は、予め定められている。しかし、撮像装置１００の初期設定時にキャリブレーションを行って、ＰＴＺカメラ１２０のパン角やチルト角の範囲を調整してもよい。

また、上記の実施形態では、図７のＳ３０３、Ｓ３０４において、撮像領域情報に含まれる画角が、ＰＴＺカメラ１２０の最大画角の範囲内か否かの判定、及び、撮像領域情報の補正を、撮像装置１００のシステム制御部１２４が行う。しかし、撮像領域情報に含まれる画角が、ＰＴＺカメラ１２０の最大画角の範囲内か否かの判定、及び、撮像領域情報の補正を、クライアント装置１４０のシステム制御部１４３が行ってもよい。この場合、システム制御部１４３は、補正した撮像領域情報を撮像装置１００に送信し、撮像装置１００は、受信した撮像領域情報に基づいて、ＰＴＺカメラ１２０の撮像方向、及び、画角を変更する制御を行う。
また、クライアント装置１４０のシステム制御部１４３は、指定画面２２０でユーザによって指定された範囲が、ＰＴＺカメラ１２０の最大画角を超える画角を表す場合、表示部１４１にエラーメッセージを表示してもよい。そして、この場合、システム制御部１４３は、ユーザによって指定された領域を受け付けないよう制御してもよい。
また、上記の実施形態では、図５、図６に示すように、第１の画像２１０の全てが指定可能領域２０４に重複する。しかし、広域カメラ１１０の撮像領域１６１、１６３とＰＴＺカメラ１２０の撮像可能領域１６０、１６２とが一部重なるように構成される場合、これに対応して、第１の画像２１０の一部が指定可能領域２０４と重複する。
また、撮像装置１００は、ＰＴＺカメラ１２０の代わりに、撮像方向、及び、画角の何れかのみを変更できるカメラを用いてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
例えば、撮像装置１００やクライアント装置１４０のハードウェア構成として、ＣＰＵは複数存在してもよく、複数のＣＰＵが各装置のＨＤＤ等に記憶されているプログラムに基づき処理を実行するようにしてもよい。また、撮像装置１００やクライアント装置１４０のハードウェア構成として、ＣＰＵに替えてＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることとしてもよい。

以上、上述した実施形態によれば、所望の撮像領域を撮像した画像を容易に表示させることができる。

１００ 撮像装置
１１０ 広域カメラ
１２０ ＰＴＺカメラ
１２４ システム制御部
１４０ クライアント装置
１４１ 表示部
１４２ 入力部
１４３ システム制御部

Claims (18)

1. 定められた撮像領域を撮像して第１の画像を得る第１の撮像部と、
   撮像方向、及び、画角の少なくとも何れかを変更可能であって、撮像方向、及び、画角の少なくとも何れかを変更することにより、前記第１の撮像部の前記定められた撮像領域より広い撮像領域を撮像可能な第２の撮像部と、
   前記第１の画像が表示され、前記第１の画像が表示されている領域とは異なる領域である前記第１の画像の外側の領域を含む第１の画面領域を指定可能な画面である指定画面を表示するよう制御する第１の表示制御手段と、
   前記指定画面で指定された前記第１の画面領域に基づいて、前記第２の撮像部の撮像方向、及び、画角の少なくとも何れかを制御して、前記第１の画面領域に対応する撮像領域を撮像することで第２の画像を得るよう前記第２の撮像部を制御する撮像制御手段と、
   前記撮像制御手段の制御によって得られた前記第２の画像を表示するよう制御する第２の表示制御手段と、
   を有する撮像システム。
2. 前記第１の表示制御手段は、前記第２の撮像部が撮像可能な撮像領域を表す第２の画面領域と、前記第２の画面領域と重複するように表示される前記第１の画像と、を含む前記指定画面を表示するよう制御し、
   前記第１の画面領域は、前記第２の画面領域に含まれ、かつ、前記第１の画像が表示されている領域とは異なる領域を含む請求項１記載の撮像システム。
3. 前記第１の表示制御手段は、前記第２の画面領域の前記第１の画像と重複しない部分を、前記第１の画像と識別可能に表示する請求項２記載の撮像システム。
4. 前記第１の表示制御手段は、前記第２の画面領域の前記第１の画像と重複しない部分に対応する撮像領域が前記第２の撮像部によって撮像されて得られた第３の画像を、前記第２の画面領域の前記第１の画像と重複しない部分に表示するよう制御する請求項２又は３記載の撮像システム。
5. 前記第１の表示制御手段は、前記第３の画像に前記第１の画像とは異なる画像処理を施す請求項４記載の撮像システム。
6. 前記第１の表示制御手段は、前記第２の撮像部の撮像によって前記第３の画像が得られるごとに、前記指定画面の前記第３の画像を更新する請求項４又は５記載の撮像システム。
7. 前記第１の表示制御手段は、前記第１の画像を、前記第２の画面領域での前記第１の撮像部の撮像領域に対応する位置に表示するよう制御する請求項２乃至６何れか１項記載の撮像システム。
8. 前記指定画面で１つの点が指定された場合、前記第１の表示制御手段は、前記指定画面に、前記点を頂点とした第３の画面領域であって、対応する撮像領域を前記第２の撮像部が最大画角で撮像できる前記第３の画面領域を表示するよう制御する請求項１乃至７何れか１項記載の撮像システム。
9. 前記指定画面で指定された前記第１の画面領域に対応する撮像領域を第２の撮像部が撮像するための画角が前記第２の撮像部の最大画角を超える場合、前記撮像制御手段は、前記第２の撮像部の画角を前記最大画角に収まる画角に制御し、前記第１の画面領域に対応する撮像方向を撮像することで前記第２の画像を得るよう前記第２の撮像部を制御する請求項１乃至８何れか１項記載の撮像システム。
10. 前記第２の表示制御手段は、前記指定画面に前記第２の画像を表示するよう制御する請求項１乃至９何れか１項記載の撮像システム。
11. 前記第１の画面領域は、前記第１の画像の一部と、前記第１の画像に隣接する領域の一部とを含む請求項１乃至１０何れか１項記載の撮像システム。
12. 前記第１の撮像部は、固定された画角で撮像する請求項１乃至１１何れか１項記載の撮像システム。
13. 前記第２の撮像部は、パン方向、及び、チルト方向に撮像方向を変更可能であり、更に、画角の変更が可能である請求項１乃至１２何れか１項記載の撮像システム。
14. 前記第１の撮像部、及び、前記第２の撮像部を備える撮像装置を更に有する請求項１乃至１３何れか１項記載の撮像システム。
15. 前記第１の撮像部は、広域カメラであり、
    前記広域カメラは、複数のカメラを有する請求項１乃至１４何れか１項記載の撮像システム。
16. 定められた撮像領域を撮像する第１の撮像部による撮像で得られた第１の画像が表示され、前記第１の画像が表示されている領域とは異なる領域である前記第１の画像の外側の領域を含む第１の画面領域を指定可能な画面である指定画面を表示するよう制御する第１の表示制御手段と、
    撮像方向、及び、画角の少なくとも何れかを変更可能であって、撮像方向、及び、画角の少なくとも何れかを変更することにより、前記第１の撮像部の前記定められた撮像領域より広い撮像領域を撮像可能な第２の撮像部の撮像方向、及び、画角の少なくとも何れかが制御されて、前記指定画面で指定された前記第１の画面領域に対応する撮像領域を前記第２の撮像部が撮像することで得られた第２の画像を表示するよう制御する第２の表示制御手段と、
    を有する情報処理装置。
17. 定められた撮像領域を撮像する第１の撮像部による撮像で得られた第１の画像が表示され、前記第１の画像が表示されている領域とは異なる領域である前記第１の画像の外側の領域を含む第１の画面領域を指定可能な画面である指定画面を表示するよう制御する第１の表示制御ステップと、
    撮像方向、及び、画角の少なくとも何れかを変更可能であって、撮像方向、及び、画角の少なくとも何れかを変更することにより、前記第１の撮像部の前記定められた撮像領域より広い撮像領域を撮像可能な第２の撮像部の撮像方向、及び、画角の少なくとも何れかが制御されて、前記指定画面で指定された前記第１の画面領域に対応する撮像領域を前記第２の撮像部が撮像することで得られた第２の画像を表示するよう制御する第２の表示制御ステップと、
    を含む情報処理装置の制御方法。
18. コンピュータを、
    定められた撮像領域を撮像する第１の撮像部による撮像で得られた第１の画像が表示され、前記第１の画像が表示されている領域とは異なる領域である前記第１の画像の外側の領域を含む第１の画面領域を指定可能な画面である指定画面を表示するよう制御する第１の表示制御手段と、
    撮像方向、及び、画角の少なくとも何れかを変更可能であって、撮像方向、及び、画角の少なくとも何れかを変更することにより、前記第１の撮像部の前記定められた撮像領域より広い撮像領域を撮像可能な第２の撮像部の撮像方向、及び、画角の少なくとも何れかが制御されて、前記指定画面で指定された前記第１の画面領域に対応する撮像領域を前記第２の撮像部が撮像することで得られた第２の画像を表示するよう制御する第２の表示制御手段と、
    として機能させるためのプログラム。

Images