JP7130385B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

従来、広域を撮像可能な広域カメラと、パン機構、チルト機構およびズーム機構を備えたＰＴＺ（Ｐａｎ Ｔｉｌｔ Ｚｏｏｍ）カメラと、を備える撮像システムがある。
特許文献１には、ＰＴＺ動作が可能なテレビカメラと、テレビカメラの撮像可能範囲の全域を撮像可能な確認用カメラと、を備えるリモコン雲台制御装置が開示されている。このリモコン雲台制御装置は、テレビカメラの複数の撮像位置のうち特定の撮像位置が指定されると、指定された撮像位置に設定されたテレビカメラが撮像する撮像領域に対応した画像を、確認用カメラの撮像画像から抽出し、表示画面上に表示させる。

特許第３９２２４７８号公報

ところで、広域カメラとＰＴＺカメラとを備える撮像システムとして、ユーザが広域画像から選択した領域を撮像するようＰＴＺカメラを駆動し、ＰＴＺカメラにて撮像された画像を選択領域の拡大画像として表示する機能を有する撮像システムがある。
しかしながら、このような撮像システムでは、カメラから被写体までの距離、広域カメラとＰＴＺカメラとの光軸のずれ、ＰＴＺカメラのＰＴＺ駆動制御の精度等の原因により、広域画像における選択領域と拡大画像の表示領域とがずれるという問題がある。選択領域と表示領域との間にずれが生じた場合、ユーザが所望の表示を得るために、再度広域画像から領域の選択を行うのは時間がかかる上、煩わしい。また、選択領域と表示領域とが異なると、監視対象の被写体が表示領域から外れ、被写体を見失う可能性もある。
上記特許文献１に記載の技術においても、確認用カメラの撮像画像から抽出された画像と、テレビカメラの撮像画像とのずれについては言及されていない。
そこで、本発明は、画像内の選択領域に対応する領域を撮像した撮像画像を表示させる場合に、選択領域と表示領域とのずれを抑制することを課題としている。

上記課題を解決するために、本発明に係る情報処理装置の一態様は、第一撮像手段により撮像された第一画像における選択領域の位置とサイズの情報を取得する第一取得手段と、前記第一画像上の位置の情報と、前記第一撮像手段と異なる第二撮像手段のパンチルト位置の情報とを対応付けた第一対応付け情報と、前記第一画像上の領域のサイズの情報と、前記第二撮像手段の画角の情報とを対応付けた第二対応付け情報とを取得する対応付け手段と、前記第二撮像手段のパンチルト位置を、前記第一対応付け情報によって前記選択領域の位置に対応付けられたパンチルト位置に制御するとともに、前記第二撮像手段の画角を、前記第二対応付け情報によって前記選択領域のサイズに対応付けられた画角よりワイド画角となるよう制御する駆動制御手段と、前記駆動制御手段により制御された前記第二撮像手段により撮像された第二画像を取得する第二取得手段と、表示させるために、前記第二取得手段により取得された第二画像から、前記選択領域に対応する領域の画像を切り出す制御手段と、を備える。

本発明によれば、画像内の選択領域に対応する領域を撮像した撮像画像を表示させる場合に、選択領域と表示領域とのずれを抑制することができる。

本実施形態における撮像システムの構成例を示すブロック図である。 ネットワークカメラのハードウェア構成の一例を示すブロック図である。 ＧＵＩ（Graphical User Interface）の一例である。 本実施形態における動作を説明するためのフローチャートである。 本実施形態の別の動作を説明するためのフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

（第一の実施形態）
図１は、本実施形態における撮像システム１０００の構成例の概略を示すブロックである。
本実施形態における撮像システム１０００は、広範囲な監視領域を監視する監視システムとすることができる。撮像システム１０００は、広域の第一画像をユーザに提示するとともに、第一画像内における選択領域の設定を受け付け、ユーザが設定した選択領域の拡大画像をユーザに提示する。
本実施形態では、撮像システム１０００は、広域の第一画像を撮像する広域カメラと、第一画像よりも狭域の第二画像を撮像するＰＴＺカメラ（Pan Tilt Zoom カメラ）と、を備える。撮像システム１０００は、ＰＴＺカメラの撮像領域が、選択領域に対応する領域を包含するようにＰＴＺカメラの撮像領域を制御し、ＰＴＺカメラにより撮像された第二画像を取得する。そして、撮像システム１０００は、第二画像から、選択領域に対応する領域の画像を切り出し、その切り出し画像を選択領域の拡大画像としてユーザに提示する。
これにより、第一画像からユーザが選択した選択領域と、ＰＴＺカメラによって撮像された拡大画像の表示領域とのずれを適切に抑制することができる。

撮像システム１０００は、撮像装置としてのネットワークカメラ（以下、単に「カメラ」という。）１００と、表示装置としてのクライアント端末装置２００と、を備える。カメラ１００とクライアント端末装置２００とは、ネットワーク３００によって相互に通信可能に接続されている。ネットワーク３００は、ＬＡＮ（Local Area Network）やインターネット、ＷＡＮ（Wide Area Network）などとすることができる。なお、ネットワーク３００は、カメラ１００とクライアント端末装置２００との間で通信可能な構成であれば、その通信規格、規模および構成は問わない。また、ネットワーク３００への物理的な接続形態は、有線であってもよいし、無線であってもよい。

カメラ１００は、多眼カメラであって、第一撮像部１１０と第二撮像部１２０とを備える。第一撮像部１１０は、第一撮像レンズ１１１と、第一撮像素子１１２と、第一画像処理部１１３と、を備える。第二撮像部１２０は、第二撮像レンズ１２１と、第二撮像素子１２２と、第二画像処理部１２３と、を備える。
また、カメラ１００は、レンズ駆動部１３１と、パン機構１３２と、パン駆動部１３３と、チルト機構１３４と、チルト駆動部と、カメラ制御部１３６と、記録部１３７と、通信処理部１３８と、通信部１３９と、をさらに備える。

第一撮像部１１０は、広域の第一画像を撮像する広域カメラとして機能する。第一撮像部１１０の撮像範囲は、例えば監視領域全体とすることができる。つまり、第一画像は、例えば監視領域全体を撮像した撮像画像とすることができる。なお、第一撮像部１１０の撮像方向および画角は、固定であってもよいし、可変であってもよい。
第一撮像レンズ１１１は、撮像光学系を構成するレンズ部である。第一撮像素子１１２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などを備える。第一撮像素子１１２は、第一撮像レンズ１１１により結像された被写体像を電気信号（撮像信号）に変換して出力する。第一画像処理部１１３は、第一撮像素子１１２から出力された撮像信号に対して、ノイズ除去やゲイン調整、Ａ／Ｄ変換、色変換処理、ガンマ補正、画素補間処理といった画像処理を施して画像データを生成する。

第二撮像部１２０は、第一画像よりも狭域の第二画像を撮像する。第二撮像部１２０の撮像範囲は、第一撮像部１１０の撮像範囲よりも狭く、第二画像は、例えば監視領域の一部を撮像した撮像画像とすることができる。
第二撮像レンズ１２１、第二撮像素子１２２および第二画像処理部１２３は、第一撮像部１１０の第一撮像レンズ１１１、第一撮像素子１１２および第一画像処理部１１３と同様の構成を有する。ただし、第二撮像レンズ１２１は、光学ズーム機能を有する点で、第一撮像レンズ１１１とは構成が異なる。
また、第二撮像部１２０は、パン機構１３２およびチルト機構１３４によって支持されており、撮像方向をパン方向、チルト方向にそれぞれ変更可能に構成されている。

カメラ制御部１３６は、マイクロコンピュータを有し、記録部１３７に記憶されたプログラムを実行して、カメラ１００の動作制御を行う。具体的には、カメラ制御部１３６は、第一画像処理部１１３および第二画像処理部１２３の制御や、レンズ駆動部１３１、パン駆動部１３３およびチルト駆動部１３５の制御などを行う。
カメラ制御部１３６は、レンズ駆動部１３１を制御することで、第二撮像レンズ１２１の光学ズームを駆動させ、第二撮像部１２０の画角を任意に変更することができる。また、カメラ制御部１４１は、パン駆動部１３３を制御することで、パン機構１３２を駆動させ、第二撮像部１２０の撮像方向をパン方向に変更することができる。さらに、カメラ制御部１４１は、チルト駆動部１３５を制御することで、チルト機構１３４を駆動させ、第二撮像部１２０の撮像方向をチルト方向に変更することができる。つまり、第二撮像部１２０は、パンチルト位置およびズーム倍率が調整可能なＰＴＺカメラとして機能する。
このように、カメラ１００は、広域カメラとしての第一撮像部１１０と、ＰＴＺカメラとしての第二撮像部１２０とを有する。

また、カメラ制御部１３６は、通信部１３９を介してクライアント端末装置２００から受信したコマンドを解析し、コマンドに応じた処理を行うこともできる。具体的には、カメラ制御部１３６は、クライアント端末装置２００から要求されたＰＴＺ位置で画像を撮像し、撮像した画像をクライアント端末装置２００に送信すべく通信部１３９に出力することができる。
記録部１３７は、例えば半導体メモリ等を有し、第一画像処理部１１３および第二画像処理部１２３の処理バッファや、カメラ制御部１３６が実行するプログラムの記憶装置として利用される。
通信処理部１３８は、第一画像処理部１１３および第二画像処理部１２３から出力された画像を圧縮・符号化し、この圧縮・符号化された画像データを出力する。

通信部１３９は、通信処理部１３８から出力された画像データを、ネットワーク３００を介して配信する。
この通信部１３９は、外部機器との間の無線または有線の通信インタフェースを提供する。例えば、無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚ－Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の無線ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。また、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）等の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＷｉＭＡＸ（登録商標）等の無線ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。さらに、ＬＴＥ／３Ｇ等の無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。
また、通信部１３９は、有線ＬＡＮにより外部機器と通信してもよい。有線ＬＡＮとしては、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等の構成が挙げられる。なお、通信部１３９は、外部機器と通信が可能であればよく、通信の規格、規模、構成は上記に限定されない。

クライアント端末装置２００は、カメラ１００に対してＰＴＺ位置を指定し、指定したＰＴＺ位置で撮像された画像をカメラ１００から受け取って表示することができる。
クライアント端末装置２００は、通信部２０１と、システム制御部２０２と、記録部２０３と、表示インタフェース（表示Ｉ／Ｆ）２０５と、入力インタフェース（入力Ｉ／Ｆ）２０６と、を備える。
通信部２０１は、ネットワーク３００を介してカメラ１００との間でデータの送受信を行う。カメラ１００との間で送受信されるデータは、例えば、上記のＰＴＺ位置やカメラ１００によって撮像された撮像画像を含む。通信部２０１の構成は、カメラ１００の通信部１３９と同様の構成であってよい。

システム制御部２０２は、クライアント端末装置２００全体の動作制御を行う。
記録部２０３は、通信部２０１を介してクライアント端末装置２００が受信したデータ（例えば、撮像画像）を一時的に記憶するためのエリアや、システム制御部２０２が各種の処理を実行する際に用いるワークエリアなどを有する。また、記録部２０３は、クライアント端末装置２００の設定データや、ブートプログラムなどを格納する。
表示Ｉ／Ｆ２０４は、表示部２１１をクライアント端末装置２００に接続するためのインタフェースであり、表示部２１１に表示する画像や文字は、この表示Ｉ／Ｆ２０４を介して表示部２１１に送出される。表示部２１１は、液晶ディスプレイ等のモニタを備えており、クライアント端末装置２００による処理結果を画像や文字などにより表示することができる。例えば、表示部２１１は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。

入力Ｉ／Ｆ２０５は、入力部２１２をクライアント端末装置２００に接続するためのインタフェースであり、入力部２１２による操作指示は、この入力Ｉ／Ｆ２０５を介してシステム制御部２０２に通知される。入力部２１２は、キーボードやマウス等のポインティングデバイスを備えており、ＧＵＩを操作するためにユーザが操作可能である。なお、ＧＵＩに対する操作指示に用いる機器は、入力部２１２に限定されるものではなく、他の入力機器であってもよい。

図２は、カメラ１００のハードウェア構成例である。
図２に示すように、カメラ１００は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、外部メモリ１４と、撮像部１５と、入力部１６と、通信Ｉ／Ｆ１７と、システムバス１８とを備える。ＣＰＵ１１は、カメラ１００における動作を統括的に制御するものであり、システムバス１８を介して、各構成部（１２～１７）を制御する。ＲＯＭ１２は、ＣＰＵ１１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ１４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ１３は、ＣＰＵ１１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１１は、処理の実行に際してＲＯＭ１２から必要なプログラム等をＲＡＭ１３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。

外部メモリ１４は、例えば、ＣＰＵ１１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ１４には、例えば、ＣＰＵ１１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。撮像部１５は、図１の第一撮像部１１０および第二撮像部１２０を含む。入力部１６は、電源ボタンや各種設定ボタン等を有し、ユーザは、入力部１６を操作してカメラ１００に対して各種指示を入力することができる。通信Ｉ／Ｆ１７は、図１の通信部１３９に対応する。
図１に示すカメラ１００の各要素の一部または全部の機能は、ＣＰＵ１１がプログラムを実行することで実現することができる。ただし、図１に示すカメラ１００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。

なお、クライアント端末装置２００の場合、撮像部１５に代えて、図１の表示部２１１に対応するハードウェア構成を具備する。さらに、クライアント端末装置２００の場合、入力部１６として、図１の入力部２１２に対応するハードウェア構成と、通信Ｉ／Ｆ１７として、図１の通信部２０１に対応するハードウェア構成と、を具備する。そして、図２に示すクライアント端末装置２００の各要素の一部または全部の機能は、ＣＰＵ１１に対応するクライアント装置２００のＣＰＵがプログラムを実行することで実現することができる。ただし、図１に示すクライアント装置２００の各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵの制御に基づいて動作する。

図３は、表示部２１１に表示されるＧＵＩ４００の一例を示す図である。
ＧＵＩ４００には、画像が表示される表示領域４０１、４０２が設けられている。ＧＵＩ４００への操作は、ユーザが入力部２１２を用いて行い、このユーザ操作に応じたＧＵＩ４００の表示制御は、システム制御部２０２が行う。
表示領域４０１には、第一撮像部１１０により撮像された第一画像が表示される。
マウスポインタ４０３は、ユーザが入力部２１２のマウスを操作することにより、表示領域４０１内を移動可能である。このマウスポインタ４０３は、第一撮像部１１０により撮像された第一画像内の選択領域を、ＧＵＩ４００上の表示領域４０１内で設定するために用いられる。なお、選択領域の設定方法は、マウスを用いた方法に限定されるものではなく、キーボードから直接数値を入力するなどにより選択領域を設定してもよい。

ユーザがマウスを操作して第一画像内の選択領域を設定すると、選択領域の拡大画像が表示領域４０２に表示される。この表示領域４０２に表示される画像は、第二撮像部１２０により撮像された第二画像から切り出した画像である。カメラ１００は、ユーザがＧＵＩ４００上で設定した選択領域を示す領域情報を取得し、取得した情報をもとに第二撮像部１２０を制御して第二画像を撮像し、表示領域４０２に表示する画像を切り出してＧＵＩ４００に表示させる。

ところで、選択領域の拡大画像を表示領域４０２に表示させる場合、第二撮像部１２０によって選択領域に対応する領域を撮像するようパンチルト駆動およびズーム駆動を制御して画像を撮像し、その撮像画像を表示領域４０２に表示させる方法がある。
しかしながら、被写体までの距離や、第一撮像部１１０と第二撮像部１２０との光軸のずれ、第二撮像部１２０のＰＴＺ駆動の制御精度等の理由により、ユーザが設定した選択領域と第二撮像部１２０の撮像領域とにずれが生じることがある。例えば、ユーザが、図３のＧＵＩ４００において第一画像内の選択領域４１１を選択した場合、選択領域４１１に対応する領域を撮像するべく制御された第二撮像部１２０の撮像領域は、破線で示す領域４２１に対応する領域となってしまう場合がある。

この場合、表示領域４０２には、選択領域４１１に対応する領域とは異なる領域の撮像画像が表示され、選択領域４１１と表示領域４０２との間にずれが生じる。表示領域４０２の表示を所望の表示とするために、ユーザが第一画像上で選択領域を設定し直すことは時間がかかる上、煩わしい。また、選択領域４１１と表示領域４０２とが異なると、監視対象の被写体が表示領域４０２から外れ、被写体を見失う可能性もある。
選択領域４１１と表示領域４０２とのずれを無くすようにキャリブレーションを行うことも考えられるが、この場合、時間や手間がかかり、ユーザにとっては煩わしい。また、キャリブレーションを行ったとしても、ＰＴＺカメラのＰＴＺ駆動の制御精度等の原因により、完全にずれを無くすことは困難である。

そこで、本実施形態では、上記のずれを抑制するべく、カメラ１００は、第二撮像部１２０の撮像領域が選択領域４１１に対応する領域を包含するように、第二撮像部１２０の撮像領域を制御し、第二撮像部１２０により撮像された第二画像を取得する。そして、カメラ１００は、第二画像から、選択領域に対応する領域の画像を切り出し、ＧＵＩ４００の表示領域４０２に表示させる表示制御を行う。
具体的には、カメラ１００は、選択領域を示す領域情報として、第一画像上における選択領域の中心座標と大きさとを取得する。また、カメラ１００は、第一画像上の座標と第二撮像部１２０の撮像方向、第一画像上の領域の大きさと第二撮像部１２０の画角をそれぞれ対応付けた対応付け情報を取得する。そして、カメラ１００は、これらの取得した情報に基づいて、第二撮像部１２０の撮像方向を選択領域の中心座標に対応付けされた撮像方向に制御するとともに、第二撮像部１２０の画角を選択領域の大きさに対応付けされた画角よりもワイド画角に制御する。つまり、ユーザが第一画像内の選択領域４１１を設定した場合、カメラ１００は、第二撮像部１２０が図３に示す領域４２１よりも大きい領域４２２に対応する領域を撮像するようパンチルト駆動およびズーム駆動を制御する。この領域４２２は、選択領域４１１を完全に包含する。

そして、カメラ１００は、第二撮像部１２０が領域４２２に対応する領域を撮像した第二画像と、第一画像における選択領域４１１の画像とを比較し、第二画像から選択領域４１１の画像と合致する画像を切り出し、表示領域４０２に表示させる。これにより、選択領域４１１と表示領域４０２との間のずれは抑制される。
なお、選択領域４１１を示す枠線は、ユーザが選択領域４１１を設定したときにのみ表示し、その後は表示しないようにしてもよい。また、領域４２１および領域４２２を示す枠線は、上記の説明のために表示したものであり、実際のＧＵＩ４００上では表示しなくてもよい。

本実施形態では、カメラ１００が、第二撮像部１２０の撮像領域を制御し、第二撮像部１２０により撮像された第二画像から選択領域に対応する領域の画像を切り出し、表示させる情報処理装置として動作する場合について説明する。しかしながら、カメラ１００は、情報処理装置一部の機能のみを備える構成であってもよい。また、例えばクライアント端末装置２００が情報処理装置の一部または全部の機能を備えていてもよいし、他の装置が情報処理装置の一部または全部の機能を備えていてもよい。

次に、本実施形態におけるカメラ１００の動作について説明する。
図４は、カメラ１００が実行する画像切り出し表示処理の一例を示すフローチャートである。この図４の処理は、例えば、ユーザがクライアント端末装置２００に表示された設定画面を操作したタイミングで開始される。ただし、図４の処理の開始タイミングは、上記のタイミングに限らない。
カメラ１００は、ＣＰＵ１１が必要なプログラムを読み出して実行することにより、図４に示す処理を実現することができる。ただし、図１に示すカメラ１００の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図４の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

まずＳ１において、カメラ１００は、第一撮像部１１０および第二撮像部１２０を制御し、撮像を開始する。このとき、カメラ１００は、第一撮像部１１０により撮像された第一画像をクライアント端末装置２００のＧＵＩ４００に表示させる表示制御を行う。
次にＳ２において、カメラ１００は、第一撮像部１１０により撮像された第一画像上の座標と、第二撮像部１２０の撮像方向とを対応付ける。また、カメラ１００は、第一撮像部１１０により撮像された第一画像上の領域の大きさと、第二撮像部１２０の画角とを対応付ける。具体的には、カメラ１００は、第一画像上の点の座標と、当該点に対応する方向に第二撮像部１２０の撮像方向を合わせたとされるときの第二撮像部１２０のパンチルト位置とを対応付ける。また、カメラ１００は、第一画像上の領域の大きさと、当該領域に対応する画角に第二撮像部１２０の画角を合わせたとされるときの第二撮像部１２０のズーム倍率とを対応付ける。
これにより、第一画像内の選択領域の中心座標と第二撮像部１２０のパンチルト位置との対応付け情報と、第一画像内の選択領域の大きさと第二撮像部１２０のズーム倍率との対応付け情報とが得られる。なお、事前に当該対応付け情報が格納されたテーブルを用意しておき、記録部１３７に保存しておいてもよい。

Ｓ３では、カメラ１００は、ユーザがＧＵＩ４００に表示された第一画像において選択領域を選択したか否かを判定する。具体的には、カメラ１００は、第一画像内における選択領域の設定を受け付け、ネットワーク３００を介してクライアント端末装置２００から選択領域を示す領域情報を取得したか否かを判定する。そして、カメラ１００は、クライアント端末装置２００から選択領域を示す領域情報を受信していない場合には、ユーザが選択領域を選択していないと判定してＳ３の判定を繰り返し、ユーザが選択領域を選択したと判定するとＳ４に移行する。ここで、選択領域を示す領域情報は、第一画像上における選択領域の中心座標と大きさとを含む。

Ｓ４では、カメラ１００は、選択領域を示す領域情報をもとに、Ｓ２において得られた対応付け情報を参照して、第二撮像部１２０のパンチルト位置の目標値を決定する。具体的には、カメラ１００は、選択領域の中心座標をもとに、Ｓ２において対応付けた第二撮像部１２０のパンチルト位置を取得し、取得したパンチルト位置を第二撮像部１２０のパンチルト位置の目標値として決定する。そして、カメラ１００は、パン駆動部１３３およびチルト駆動部１３５を制御して第二撮像部１２０のパン動作およびチルト動作を行う。

Ｓ５では、カメラ１００は、選択領域を示す領域情報をもとに、Ｓ２において得られた対応付け情報を参照して、第二撮像部１２０のズーム倍率の目標値を決定する。具体的には、カメラ１００は、選択領域の大きさをもとに、Ｓ２において対応付けたズーム倍率を取得し、取得したズーム倍率よりもワイドよりのズーム倍率となる目標値を決定する。以下の説明では、対応付け情報をもとに導出されたズーム倍率を「ズーム倍率の基準値」、対応付け情報をもとに導出されたズーム倍率に対してよりワイドとなるズーム倍率を「ズーム倍率の目標値」という。

例えば、ズーム倍率の基準値が６倍である場合、ズーム倍率の目標値は、例えば４倍のように、１よりも小さい所定の定数をかけた倍率とする。
なお、所定の定数は、固定値に限定されるものではない。ズーム倍率が高くなるほど画角に対するずれ量は大きくなるため、ズーム倍率の基準値が大きいほど上記定数をより小さい値に変更し、よりワイドとなるズーム位置となるように設定してもよい。つまり、ズーム倍率の基準値が２０倍である場合は、ズーム倍率の目標値を１０倍とし、ズームの基準値が６倍である場合は、ズーム倍率の目標値を４倍とするようにしてもよい。
カメラ１００は、ズーム倍率の目標値が決定すると、レンズ駆動部１３１を制御して第二撮像部１２０のズーム動作を行う。

Ｓ６では、カメラ１００は、第二撮像部１２０により撮像された第二画像を取得する。
Ｓ７では、カメラ１００は、第一撮像部１１０により撮像された第一画像における選択領域の画像と、Ｓ６において第二撮像部１２０により撮像された第二画像とを比較し、第二画像から選択領域の画像と合致する領域の画像を切り出す。第二画像から切り出される画像は、選択領域の画像と画角が一致する。ここで、選択領域の画像と第二画像との比較方法は、例えばテンプレートマッチング等の手法を用いることができる。なお、画像の比較方法は上記に限定されるものではなく、他の画像比較手法を用いてもよい。

カメラ１００は、第二画像から選択領域に対応する画像を切り出すと、切り出した切り出し画像をクライアント端末装置２００に表示させる表示制御を行う。これにより、クライアント端末装置２００は、表示部２１１のＧＵＩに、選択領域の拡大画像として切り出し画像を表示する。
ここで、カメラ１００は、第二画像から選択領域に対応する切り出し画像を切り出し、すぐにクライアント端末装置２００に表示させるようにしてもよいし、徐々に切り出し表示させるようにしてもよい。つまり、カメラ１００は、第二画像から徐々に選択領域に対応する切り出し画像まで画角を狭めながら画像を切り出し、クライアント端末装置２００に順次表示させるようにしてもよい。これにより、ユーザの違和感を抑制することができる。

また、第二画像の中心座標と切り出し画像の中心座標とのずれ量は、第一画像の選択領域の中心座標とパンチルト位置との対応付けのずれ量に相当する。したがって、Ｓ３からＳ７までの処理を何度か繰り返すことで、上記ずれ量を把握し、第一画像の選択領域の中心座標とパンチルト位置との対応付け情報を補正するようにしてもよい。これにより、上記ずれ量を反映した対応付け情報を取得することができ、キャリブレーションと同じ効果が得られる。さらに、この場合、ズーム倍率の基準値に対するズーム倍率の目標値の倍率の低下量を減らすことができるので、第二画像からの切り出し画像の解像度を上げることが可能になる。

以上説明したように、本実施形態におけるカメラ１００は、広域の第一画像を取得する第一撮像部１１０と、第一画像よりも狭域の第二画像を取得する第二撮像部１２０と、を備える。第二撮像部１２０は、パンチルト位置およびズーム倍率が調整可能に構成されており、カメラ１００は、第二撮像部１２０をパンチルト駆動するパン駆動部１３３およびチルト駆動部１３５と、第二撮像部１２０をズーム駆動するレンズ駆動部１３１と、を備える。また、カメラ１００は、第一撮像部１１０により撮像された第一画像と、第二撮像部１２０により撮像された第二画像とをユーザに提示するために、これらの画像をクライアント端末装置２００に表示させる表示制御を行うことが可能である。

カメラ１００は、ユーザがクライアント端末装置２００に表示された第一画像における一部の領域を選択すると、選択された選択領域の設定を受け付け、当該選択領域を示す領域情報として、選択領域の中心座標および大きさに関する情報を取得する。このとき、カメラ１００は、選択領域を示す領域情報に基づいて、第二撮像部１２０の撮像領域が選択領域に対応する領域を包含するように、第二撮像部１２０のＰＴＺ駆動を制御し、第二画像を取得する。そして、カメラ１００は、第二画像から、選択領域に対応する領域の画像を切り出し、切り出された画像を選択領域の拡大画像としてクライアント端末装置２００に表示させる表示制御を行う。

具体的には、カメラ１００は、第一画像上の点の座標と第二撮像部１２０のパンチルト位置とを対応付け、選択領域の中心座標に基づいて、選択領域の中心に対応する方向に第二撮像部１２０の撮像方向を合わせるようにパンチルト駆動を制御する。また、カメラ１００は、第一画像上の領域の大きさと第二撮像部１２０のズーム倍率とを対応付け、選択領域の大きさに基づいて、選択領域に対応する画角よりもワイド画角に第二撮像部１２０の画角を合わせるようにズーム駆動を制御する。
そして、カメラ１００は、第二画像と第一画像における選択領域の画像とを比較し、第二画像から、選択領域の画像と同等の画角となる領域の画像を切り出し、クライアント端末装置２００に表示させる。

このように、カメラ１００は、広域画像（第一画像）において選択された選択領域をＰＴＺカメラにより撮像する際、光学ズームを対応付けされた基準値よりもワイドよりにしてＰＴＺ画像（第二画像）を撮像する。そして、カメラ１００は、広域画像における選択領域の画像とＰＴＺ画像とを比較し、電子ズームによりＰＴＺ画像から選択領域に対応する領域の画像を切り出し、表示させる。
したがって、広域画像からユーザが選択した選択領域と、ＰＴＺ画像から切り出した表示領域とを合わせこむことができる。選択領域と表示領域とのずれが抑制されることで、ユーザは、所望の表示を得るために選択領域を選択し直す必要がなく、手間を削減することができる。また、ユーザが監視対象の被写体を見失うことを抑制することもできる。

（変形例）
なお、本実施形態においては、ズーム倍率の基準値に所定の定数をかけてズーム倍率の目標値を決定する場合について説明したが、第二撮像部１２０からフォーカスが合焦する被写体までの距離に基づいて、ズーム倍率の目標値を決定するようにしてもよい。この場合、カメラ１００が実行する画像切り出し表示処理は、図５に示すようになる。
図５に示す処理は、図４に示す処理に対して、Ｓ１１およびＳ１２が異なる。図５において、図４と同様の処理を行う部分には図４と同一ステップ番号を付し、以下、処理の異なる部分について説明する。

Ｓ１１では、カメラ１００は、第一画像における選択領域の大きさ情報をもとに、Ｓ２において得られた対応付け情報を参照して、第二撮像部１２０のズーム倍率の基準値を取得する。そして、カメラ１００は、ズーム倍率の基準値相当の撮像領域においてＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）動作を行い、第二撮像部１２０からフォーカスが合焦する被写体までの距離情報を取得する。
Ｓ１２では、カメラ１００は、Ｓ１１において取得された距離情報をもとに、ズーム倍率の目標値を決定し、ズーム動作を行う。例えば、被写体までの距離が遠いほど、ズーム倍率の目標値をズーム倍率の基準値に近い値に設定し、被写体までの距離が近いほど、ズーム倍率の目標値をズーム倍率の基準値よりもワイドよりの値に設定するようにしてもよい。もしくは、被写体までの距離が遠いほど、ズーム倍率の目標値をズーム倍率の基準値よりもワイドよりの値に設定し、被写体までの距離が近いほど、ズーム倍率の目標値をズーム倍率の基準値に近い値に設定するようにしてもよい。

このように、被写体までの距離をＡＦ動作により取得し、被写体までの距離に応じてズーム倍率をワイドよりにする量を変更するようにしてもよい。これにより、被写体までの距離によってずれ量が変化する場合であっても、第二撮像部１２０のズーム位置を適切に移動し、第二撮像部１２０の撮像領域が選択領域に対応する領域を包含するように、第二撮像部１２０を適切に制御することができる。

また、本実施形態においては、第一撮像部１１０は、１つの撮像部によって広域の第一画像を撮像する構成である場合について説明したが、第一撮像部１１０は、複数の撮像部を備えていてもよい。この場合、第一撮像部１１０が備える複数の撮像部は、撮像範囲（例えば、監視領域全体）を分担して撮像し、これら複数の撮像部により撮像された複数の画像を合成したパノラマ画像を、第一画像として取得することができる。
さらに、本実施形態においては、第二撮像部１１０は、1つの撮像部によって第一画像よりも狭域の第二画像を撮像する構成である場合について説明したが、第二撮像部１２０は、複数の撮像部を備えていてもよい。この場合、第一画像における選択領域の位置に応じて、複数の撮像部を切り替えて第二画像を撮像するようにしてもよい。また、第二撮像部１２０が複数の撮像部を備えている場合、第一画像において複数の選択領域が選択され場合にも対応することもできる。

さらに、本実施形態においては、カメラ１００は、第一撮像部１１０と第二撮像部１２０とを備える多眼カメラである場合について説明したが、第一画像を撮像する撮像部と、第二画像を撮像する撮像部とは、それぞれ別の撮像装置が備えていてもよい。この場合、複数の撮像装置のうちの１つが、第二画像を撮像する撮像装置のＰＴＺ駆動や第二画像の切り出し表示を制御する情報処理装置として動作してもよいし、複数の撮像装置とは異なる装置（機器）が情報処理装置として動作してもよい。

また、本実施形態においては、カメラ１００は、第一画像上の座標と第二撮像部１２０のパンチルト位置、第一画像上の領域の大きさと第二撮像部１２０のズーム倍率とをそれぞれ対応付け、第二撮像部１２０のＰＴＺ駆動を制御する場合について説明した。しかしながら、カメラ１００は、第二撮像部１２０の撮像領域が、選択領域に対応する領域を包含するように、第二撮像部１２０のＰＴＺ駆動を制御できればよく、パンチルト位置およびズーム倍率の決定方法は上記に限定されない。
例えば、第一画像を複数の領域に分割し、カメラ１００は、選択領域が第一画像のどの分割領域に含まれるかを判定し、選択領域が含まれる分割領域を撮像するように第二撮像部１２０の撮像領域を決定してもよい。つまり、必ずしも選択領域の中心座標および大きさに対応させて第二撮像部１２０のパンチルト位置およびズーム倍率を制御する必要はない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…ネットワークカメラ（カメラ）、１１０…第一撮像部、１２０…第二撮像部、１３１…レンズ駆動部、１３２…パン機構、１３３…パン駆動部、１３４…チルト機構、１３５…チルト駆動部、１３６…カメラ制御部、１３７…記録部、１３８…通信処理部、１３９…通信部、２００…クライアント端末装置、３００…ネットワーク

Claims (13)

1. 第一撮像手段により撮像された第一画像における選択領域の位置とサイズの情報を取得する第一取得手段と、
   前記第一画像上の位置の情報と、前記第一撮像手段と異なる第二撮像手段のパンチルト位置の情報とを対応付けた第一対応付け情報と、前記第一画像上の領域のサイズの情報と、前記第二撮像手段の画角の情報とを対応付けた第二対応付け情報とを取得する対応付け手段と、
   前記第二撮像手段のパンチルト位置を、前記第一対応付け情報によって前記選択領域の位置に対応付けられたパンチルト位置に制御するとともに、
   前記第二撮像手段の画角を、前記第二対応付け情報によって前記選択領域のサイズに対応付けられた画角よりワイド画角となるよう制御する駆動制御手段と、
   前記駆動制御手段により制御された前記第二撮像手段により撮像された第二画像を取得する第二取得手段と、
   表示させるために、前記第二取得手段により取得された第二画像から、前記選択領域に対応する領域の画像を切り出す制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第一対応付け情報は、
   前記第一画像上の位置と、当該位置に対応する方向に前記第二撮像手段の撮像方向を合わせた場合の前記第二撮像手段のパンチルト位置と、の対応付けを含み、
   前記第二対応付け情報は、
   前記第一画像上の領域のサイズと、当該領域に対応する画角に前記第二撮像手段の画角を合わせた場合の前記第二撮像手段の画角と、の対応付けを含む
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第一取得手段により取得される情報は、前記選択領域の中心座標とサイズを示し、
   前記駆動制御手段は、
   前記第二撮像手段のパンチルト位置を、前記第一対応付け情報により前記選択領域の中心座標に対応付けられたパンチルト位置に制御することを特徴とする請求項２に記載の情報処理装置。
4. 前記対応付け手段は、
   前記第一対応付け情報として、前記切り出された画像の前記第二画像上における中心座標と前記第二画像の中心座標とのずれ量を反映した前記第一対応付け情報を取得することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記制御手段は、
   前記第二画像と前記第一画像における前記選択領域の画像とを比較し、前記第二画像から、前記選択領域の画像と同等の画角となる領域の画像を切り出すことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記制御手段は、
   前記第二画像から、前記選択領域の画像と同等の画角となるまで徐々に画角を狭めながら画像を切り出すことを特徴とする請求項５に記載の情報処理装置。
7. 前記第一取得手段は、
   表示された第一画像内における前記選択領域の設定を受け付け、当該選択領域の位置とサイズの情報を取得することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記第一撮像手段は、撮像範囲を分担して撮像する複数の撮像手段により構成され、
   前記第一画像は、前記複数の撮像手段によりそれぞれ撮像された複数の撮像画像を合成したパノラマ画像であることを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記第二撮像手段から被写体までの距離情報を取得する第三取得手段をさらに備え、
   前記駆動制御手段は、
   前記第三取得手段により取得された距離情報に基づいて、前記第二撮像手段の撮像領域の大きさを制御することを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記第二撮像手段は合焦手段を有し、
    前記第三取得手段は、前記合焦手段により合焦した被写体までの距離を前記距離情報として取得することを特徴とする請求項９に記載の情報処理装置。
11. 請求項１から１０のいずれか１項に記載の情報処理装置と、
    前記第一画像を撮像する前記第一撮像手段と、
    前記第二画像を撮像する前記第二撮像手段と、を備えることを特徴とする撮像装置。
12. 第一撮像手段により撮像された第一画像における選択領域の位置とサイズの情報を取得するステップと、
    前記第一画像上の位置の情報と、前記第一撮像手段と異なる第二撮像手段のパンチルト位置の情報とを対応付けた第一対応付け情報と、前記第一画像上の領域のサイズの情報と、前記第二撮像手段の画角の情報とを対応付けた第二対応付け情報とを取得するステップと、
    前記第二撮像手段のパンチルト位置を、前記第一対応付け情報によって前記選択領域の位置に対応付けられたパンチルト位置に制御するとともに、前記第二撮像手段の画角を、前記第二対応付け情報によって前記選択領域のサイズに対応付けられた画角よりワイド画角となるよう制御するステップと、
    制御された前記第二撮像手段により撮像された第二画像を取得するステップと、
    表示させるために、取得された第二画像から、前記選択領域に対応する領域の画像を切り出すステップと、
    を含むことを特徴とする情報処理方法。
13. コンピュータを、請求項１から１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images