本発明は、カメラ制御装置およびこのカメラ制御装置におけるズーム倍率制御方法に関し、特に複数のカメラを制御し、この複数のカメラの1つないし複数の映像を表示するカメラ制御装置およびこのカメラ制御装置におけるズーム倍率制御方法に関するものである。
近年、ISDN、ADSLのようなネットワークのデジタル化が進むに伴い、以前のアナログのものと比べて帯域が広くなり、ネットワークに映像データを送受信するシステムが急速に広まっている。このシステムの1つに、遠隔に設置された複数のカメラの映像を一箇所で閲覧することが可能な遠隔モニタリングシステムがある。このような遠隔モニタリングシステムでは、閲覧者が閲覧しているカメラ映像のうち1つを選択して、選択したカメラ映像の撮影方向を制御可能としたものが一般的である。
この一般的な遠隔モニタリングシステムの画面例を図1に示す。図1に示す遠隔モニタリングシステムの画面10は、遠隔に設置された複数のカメラの映像を表示する映像表示領域11と、設置された複数のカメラの中から映像を表示するカメラを選択するカメラ選択領域12と、カメラ選択領域12で選択されたカメラを制御するカメラ制御領域13とからなる。映像を閲覧しているユーザは、カメラ選択領域12に表示されている中から見たい場所を、アイコン14をクリックすることでカメラを切り替えて閲覧することができる。
このような遠隔モニタリングシステムの構成を図2に示す。図2に示す遠隔モニタリングシステムは、遠隔に設置された複数のカメラ20a〜20nと、カメラ20a〜20nからの映像を受信して再生するとともにカメラ20a〜20nの撮影方向およびズーム倍率などを制御するカメラ制御装置21と、カメラ映像を表示するモニタ22と、カメラ20a〜20nの制御および表示する映像を指示するマウスなどのポインティングデバイス23とからなる。
カメラ制御装置21は、複数のカメラ20a〜20nの映像を受信してユーザの指示により映像を切り替えるカメラ映像切り替え部24と、カメラ20a〜20nの映像をモニタ22に表示する映像表示部25と、表示するカメラ映像を切り替えるとともにカメラの撮影方向およびズーム倍率などを制御するユーザからの命令を受信するカメラ制御指示受信部26と、カメラ20a〜20nに制御の指示を出すとともにカメラ映像切り替え部24に表示する映像の切り替えの指示を出すカメラ制御部27とで構成されている。
このような遠隔モニタリングシステムでは、ユーザは、複数のカメラ20a〜20nの中から閲覧したいカメラ20a〜20nを、図1に示すカメラ選択領域12の中からポインティングデバイス23により指定する。そして、カメラ制御指示受信部26は、ユーザからの制御の指示を受信してカメラ制御部27に伝える。カメラ制御部27は、以降カメラ制御指示受信部26から受信するカメラ制御の指示がユーザから指定されたカメラに対するものであることを記憶するとともに、カメラ映像切り替え部24に対してモニタ22に表示するカメラの映像の切り替えを指示する。そして、カメラ映像切り替え部24は、カメラ制御部27から指示を受けた映像を映像表示部25に送信し、映像表示部25はこの映像をモニタ22に表示する。
図1は、複数のカメラ20a〜20nの映像のうち1つのカメラの映像のみ表示する構成の場合であるが、図3に示すように複数のカメラの映像を同時に表示するモニタリングシステムもある。このような表示方法の場合では、カメラ1台あたりの映像の表示領域が小さくなるので映像の詳細部分を閲覧できない弱点があるが、ユーザは、見たいと思った映像を、この映像に切り替える指示を出すことなくユーザの目線を移動させるだけで閲覧することが可能となる。この場合、ユーザは制御したいカメラを選択するために、図1のカメラ選択領域12の代わりに表示されている映像30自体をクリックするものが一般的である。
また、複数存在するカメラのうち1台のカメラを選択する方法として、図4に示すように、カメラが配置してある場所を地図とともにアイコンで表示し、ユーザはその地図中に存在するアイコンを選択するものもある(例えば、特許文献1参照)。
図4に示すカメラ制御装置は、カメラが配置されている場所にアイコン41を表示した地図40と、選択したカメラ映像を表示する映像表示領域42と、選択したカメラを制御するカメラ制御領域43とを有する。そして、カメラの撮影方向とともに視野が表示される地図40上のアイコン41を選択し、視野の境界線やカメラの撮影方向を表す直線をポインティングデバイスで制御することにより、ユーザは見たい映像を表示させることができる。
図5は、前記従来方法でカメラを切り替えた時の、切り替え前後のカメラ映像の状況を示す概略図である。図5Aは切り替え前のカメラ映像の状態を示し、図5Bはユーザがアイコン50をポインティングデバイスなどをクリックすることにより、指示したカメラに映像が切り替わった瞬間のカメラ映像を示している。
特開平9−289607号公報
ネットワークを通して遠隔のカメラの映像を閲覧するシステムとして、ある決まった地点を限られた人間のみが閲覧できる監視システムのような用途と、不特定多数の人間が公開されているカメラの映像を見るwebカメラシステムのような用途とが主に考えられる。これらのうち、監視システムの用途のカメラ映像の場合には、カメラ映像を閲覧する人間は1日に1回または1時間に1回など定期的に映像を閲覧しているため、当該映像を閲覧している人間はカメラを切り替えた瞬間に現在カメラがどの方向を向いているかを、このカメラの映像を見て瞬時に判断することができる。
しかしながら、webカメラシステムのような用途のカメラ映像の場合には、映像を閲覧するユーザはカメラ映像を定期的に見ていないため、また不特定多数のユーザがそれぞれ別のカメラ映像を閲覧して、閲覧するユーザごとにカメラの撮影方向およびズーム倍率などを自由に変えることが可能であるため、デフォルトの位置を当該カメラが撮影しているとは限らない。そのため、たとえユーザが過去に閲覧したことのあるカメラ映像でも、カメラを選択して図5Aに示す状態から図5Bに示す状態に映像が切り替わった時には、ユーザはカメラがどの方向を撮影しているのか、映像を見ただけでは直感的に判りづらいという課題がある。
さらに、撮影方向を把握できない場合には、ユーザは選択したカメラで閲覧したい場所を撮影するためにどのような制御を行えばよいかすぐに理解できず、最終的に閲覧したい場所にカメラの制御を完了するまでに時間を要してしまう。
例えば、図3に示すように複数のカメラ映像が同時に表示されている場合には、複数のユーザがそれぞれのカメラにアクセスしてカメラの制御を行うため、個々のカメラは時間が経過するごとに撮影方向が変わっている。従って、ユーザは、目線を移して別のカメラ映像を見た瞬間、当該カメラがどの方向を向いているのか直感的に判りづらいという課題がある。
また、図4に示すようにカメラの撮影方向やズーム倍率が画面上に表示されている場合においては、ユーザが最終的に閲覧したい映像だけではなく、地図表示領域40と映像表示領域42を交互に見ながらカメラ制御を行うため、定期的にシステムを利用していないユーザは、映像上でどの方向を撮影しているかを直感的に理解するために時間を要するという課題がある。
また、前記特許文献1においては、ユーザは地図表示領域40を見て視野を制御し、カメラ映像を見てユーザが望む撮影方向およびズーム倍率であるかを確認し、地図表示領域40を再度見て調整を行うという繰り返し操作が必要であるため、ユーザが閲覧したい撮影方向にカメラを向けるまでに時間を要するという課題がある。
本発明の目的は、映像が切り替わった時に、ユーザがカメラの撮影方向およびズーム倍率を直感的に把握することができるとともに、ユーザが映像を閲覧するためのカメラの制御を即座に開始することができるカメラ制御装置およびこのカメラ制御装置のズーム倍率制御方法を提供するものである。
本発明のカメラ制御装置は、複数のカメラを制御し、前記複数のカメラの1つないし複数の映像を表示するカメラ制御装置であって、ユーザから切り替え指示されたカメラの映像に切り替える映像切り替え手段と、前記切り替え指示されたカメラのズーム倍率を取得し、前記映像切り替え手段の切り替え前に前記カメラのズーム倍率を前記取得したズーム倍率より低い基準倍率に変更し、切り替え後に前記カメラのズーム倍率を前記基準倍率から前記取得したズーム倍率に変更するズーム倍率制御手段と、前記映像切り替え手段が切り替えた前記カメラの映像を表示する映像表示手段と、を具備する構成を採る。
本発明によれば、映像が切り替わった時に、ユーザがカメラの撮影方向およびズーム倍率を直感的に把握することができるので、ユーザは、映像を閲覧するためのカメラの制御を即座に開始することができる。
従来のカメラ制御装置の表示する画面の表示例を示す図
従来のカメラ制御装置の構成を示すブロック図
従来のカメラ制御装置が同時に表示する複数の画面の表示例を示す図
従来のカメラ制御装置がカメラの映像とカメラ設置位置を同時に表示する表示例を示す図
従来のカメラ制御装置において、カメラの切り替え前後の画面の表示例を示す図
本発明の実施の形態1に係るカメラ制御装置の構成を示すブロック図
本発明の実施の形態1に係るモニタの表示例を示す図
本発明の実施の形態1に係るカメラ制御装置のカメラ制御動作の流れを示すフロー図
本発明の実施の形態1に係るカメラ制御装置がカメラの切り替えた時の画面の変わり方の例を示す図
本発明の実施の形態1に係るズーム倍率の変更速度を変えるカメラ制御装置の構成を示す図
本発明の実施の形態1に係るカメラの制御状態を表示するカメラ制御装置の構成を示すブロック図
本発明の実施の形態1に係るカメラ制御装置が表示するメッセージの表示例を示す図
本発明の実施の形態2に係るカメラ制御装置の構成を示すブロック図
本発明の実施の形態2に係るカメラ制御装置のカメラ制御動作の流れを示すフロー図
本発明の実施の形態2に係るカメラ制御装置のカメラの回転方向を示す図
本発明の実施の形態2に係るカメラ制御装置のカメラのズーム倍率の算出方法を説明するための図
本発明の実施の形態2に係るカメラ制御装置がカメラを切り替えた時の画面の変わり方の例を示す図
本発明の実施の形態2に係るカメラ制御装置の映像が切り替わった時のメッセージの表示例を示す図
本発明の実施の形態2に係るカメラ制御装置が切り替え後のカメラを制御する場合のカメラ制御動作の流れを示すフロー図
本実施の形態2に係るカメラ制御状態を表示するカメラ制御装置の構成を示すブロック図
本発明の実施の形態3に係るカメラ制御装置の構成の一例を示すブロック図
本発明の実施の形態3に係るカメラ制御装置のカメラ制御動作の流れを示すフロー図
本発明の実施の形態3に係るズーム倍率最適化処理の流れを説明するフロー図
本発明の実施の形態4に係るカメラ制御装置の構成の一例を示すブロック図
本発明の実施の形態4に係るカメラ制御装置のカメラ制御動作の流れを示すフロー図
本発明の実施の形態4に係るズーム倍率最適化処理の流れを説明するフロー図
本発明の実施の形態4に係るランドマーク位置算出方法を説明するための図
本発明の嫉視の形態4に係るランドマーク判定方法を説明するための図
本発明の実施の形態5に係るカメラ制御装置の構成の一例を示すブロック図
本発明の実施の形態5に係るカメラ制御装置のカメラ制御動作の流れを示すフロー図
本発明の実施の形態5に係るカメラ制御装置の切り替え映像生成処理を説明するフロー図
本発明の実施の形態5に係るカメラ制御装置が生成する切り替え映像を説明するための図
本発明の実施の形態5に係る切り替え映像生成装置をカメラ制御装置とネットワークを介して接続した構成の一例を示す図
図33の切り替え映像生成装置の構成の一例を示す図
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図6は、本発明の実施の形態1におけるカメラ制御装置を含む遠隔モニタリングシステムの一例を示す構成図である。この遠隔モニタリングシステムは、遠隔に設置された複数のカメラ100a〜100nと、このカメラ100a〜100nからの映像を受信して再生するとともにカメラ100a〜100nの撮影方向およびズーム倍率などを制御するカメラ制御装置120と、このカメラ制御装置120から送られるカメラ映像を表示するモニタ130と、カメラ制御装置120にカメラ100a〜100nの制御および表示する映像を指示するマウスなどのポインティングデバイス140とを有している。ここで、カメラ100a〜100n、モニタ130およびポインティングデバイス140は、例えばインターネット等のネットワークを介してカメラ制御装置120と結ばれている。
図6に示すように、カメラ制御装置120は、遠隔に設置された複数のカメラ100a〜100nの映像のうち1つないし複数の映像を切り替えるカメラ映像切り替え部121と、カメラ映像切り替え部121が切り替えた映像を表示する映像表示部122と、ポインティングデバイス140の指示を受信するカメラ制御指示受信部123と、カメラの撮影方向およびズーム倍率を制御する指示をカメラ100a〜100nに出すとともに、カメラ100a〜100nの現在の撮影角度、撮影方向およびズーム倍率等を問い合わせて受信するカメラ制御情報送受信部124と、カメラ100a〜100nのズーム倍率を決定するズーム倍率調節部125と、カメラ100a〜100nのズーム倍率を記憶するズーム倍率記憶部126とを有している。
そして、カメラ制御装置120は、複数のカメラ100a〜100nの映像を受信し、そのうちの1つのカメラの映像をモニタ130に表示する。モニタ130に表示されるカメラの映像は、カメラ制御装置120に接続されたマウスなどのポインティングデバイス140によって指定される。また、ポインティングデバイス140でカメラの撮影地点、撮影方向およびズーム倍率を指示すると、カメラ制御装置120はポインティングデバイス140によって表示を指示されたカメラに、当該カメラを制御するカメラ制御信号を送信する。カメラ100a〜100nに接続された撮影方向ズーム制御機器110a〜110nは、カメラ制御装置120から送信されたカメラ制御信号を受信し、カメラ100a〜100nの撮影地点、撮影方向およびズーム倍率を制御する。
次に、モニタ130に表示されるカメラ映像およびカメラ制御アイコンの例を図7に示す。モニタ130には、映像表示領域210と、カメラ指定領域220と、カメラ制御アイコン表示領域230とが表示される。なお、図7には、映像表示領域210に複数設置したカメラ100a〜100nのうち1つのカメラの映像を表示する例を示したが、カメラ100a〜100nのうちの複数ないし全てのカメラの映像を表示してもよい。カメラ指定領域220には、複数のカメラが設置してある場所を説明する言葉と、当該カメラを指定するアイコン221とが表示される。モニタ130を見てカメラの指示および制御を行うユーザは、このアイコン221をポインティングデバイス140でクリックすることにより映像表示するカメラ100a〜100nを選択する。また、ユーザは、アイコン221で指定したカメラ100a〜100nを、カメラ制御アイコン表示領域230に表示された上下左右、ズームインおよびズームアウトアイコンによって制御することができる。
次に、カメラ制御装置120がカメラ100a〜100nのズーム倍率を制御する動作の流れについて、図8を用いて説明する。
図8は、本実施の形態において、ユーザからカメラの映像の切り替え指示がされた時のカメラ制御装置120のカメラ制御動作の流れを示したフロー図である。
カメラ制御装置120内のカメラ制御指示受信部123がポインティングデバイス140によってユーザからカメラの切り替え指示を受けると、カメラ制御情報送受信部124は、ユーザに指示されたカメラの現在のズーム倍率をカメラに接続された撮影方向ズーム倍率制御機器110に問い合わせる(ステップS301)。カメラ制御情報送受信部124は、撮影方向ズーム倍率制御機器110からカメラの現在のズーム倍率を受信すると、このズーム倍率をズーム倍率記憶部126に記憶させる(ステップS302)。ズーム倍率記憶部126は、ズーム倍率の記憶が完了すると、記憶が完了したことをズーム倍率調節部125に伝える。ズーム倍率調節部125は、ズーム倍率記憶部126からズーム倍率の記憶が完了した時点で、カメラのズーム倍率をズーム倍率記憶部126に記憶されたズーム倍率から最も広角なズーム倍率にするようにズーム倍率の調節指示を、カメラ制御情報送受信部124を経由してカメラに接続された撮影方向ズーム倍率制御機器110に送信する(ステップS303)。ここで、カメラの最も広角なズーム倍率は、例えば、カメラを設置する際にズーム倍率調節部125がカメラのズーム倍率の稼動範囲をあらかじめ記憶しておくか、またはカメラ制御情報送受信部124が、前記カメラにズーム倍率を問い合わせた際の応答として、撮影方向ズーム倍率制御機器110から当該カメラの現在のズーム倍率のほかに、当該カメラのズーム倍率の稼動範囲を同時に取得しておく。そして、撮影方向ズーム倍率制御機器110がカメラ制御情報送受信部124から指示されたカメラのズーム倍率の調整を完了すると、カメラに接続された撮影方向ズーム倍率制御機器110はズーム倍率の調整が完了したことをカメラ制御情報送受信部124に伝える。カメラ制御情報送受信部124は、カメラのズーム倍率調整完了の通知を受信すると、カメラ映像切り替え部121にカメラ映像の切り替えを指示する(ステップS304)。この時点で、映像表示部122を介してモニタ130に表示される映像は、ユーザが指定した映像に切り替わる。カメラ映像切り替え部121は、映像の切り替えが完了すると、映像切り替えが完了したことをズーム倍率調節部125に通知する。ズーム倍率調節部125は、カメラ映像切り替え部121から映像切り替えが完了した通知を受信すると、ズーム倍率記憶部126に記憶されているカメラのズーム倍率を広角にする以前のズーム倍率を問い合わせる。そして、ズーム倍率調節部125は、最も広角なズーム倍率で撮影しているカメラのズーム倍率を、広角にする以前のズーム倍率に変更するように、カメラ制御情報送受信部124を通じてカメラを制御する(ステップS305)。すなわち、ズーム倍率調節部125は、切り替え後のカメラのズーム倍率を、ステップS302でカメラ制御情報送受信部124がズーム倍率記憶部126に記憶させたズーム倍率に戻すように、カメラ制御情報送受信部124を介して切り替え後のカメラに接続された撮影方向ズーム倍率制御機器110に制御信号を送る。
このような流れにより、カメラ制御装置120は、カメラ映像の切り替えをユーザに指示された時、その切り替えを指示されたカメラのズーム倍率の制御を行うことができる。
なお、図8の説明においては、ズーム倍率調節部125が調節するズーム倍率を最も広角にするものとして説明したが、本発明はこれに限定されるものではない。すなわち、ズーム倍率調節部125は、ユーザが切り替え後のカメラの映像を見ただけで直感的にこのカメラの撮影方向およびズーム倍率を把握し、カメラの映像がどこを撮影しているものなのかがわかる程度に、所定範囲だけズーム倍率を広角に、すなわち低倍率に変更すればよい。
すなわち、カメラ制御指示受信部123がユーザからのカメラ100a〜100nの切り替え指示を受信したら、カメラ制御情報送受信部124は当該切り替え指示されたカメラの現在のズーム倍率を取得して、ズーム倍率記憶部126は、カメラ制御情報送受信部124が取得したカメラのズーム倍率を記憶する。ズーム倍率調節部125は、切り替え指示されたカメラのズーム倍率を、ズーム倍率記憶部126が記憶したカメラのズーム倍率から広角の状態に、つまり、記憶されたズーム倍率より低い所定のズーム倍率に変更する。そして、カメラ映像切り替え部121でカメラ映像が切り替えられたら、ズーム倍率調節部125は、広角に変更されたカメラのズーム倍率をズーム倍率記憶部126が記憶したズーム倍率に戻す。これにより、ユーザは切り替え後のカメラの映像を見ただけでこのカメラの撮影方向およびズーム倍率を直感的に把握することが可能であり、所望の撮影方向およびズーム倍率に変更する場合には当該カメラの制御を即座に開始することができる。
図9は、本実施の形態におけるカメラ制御装置120がカメラ映像の切り替えを行った際の、モニタ130に表示される画面の例を示す図である。ここで、図9Aは、ユーザがカメラ映像の切り替えを指示する前のモニタ130の画面例である。まず、図9Bに示すように、ユーザは、所望の映像を表示するカメラの設置位置が示されたアイコン401をポインティングデバイス140でクリックすることにより、カメラ映像の切り替えを指定する。このユーザのカメラ指定により、前述した流れで、カメラ制御装置120はユーザが指定したカメラのズーム倍率を制御する。図9Cは、図8のステップS304においてカメラ映像を切り替えた時点でのカメラ映像の表示例を示している。この時点で、モニタ130には、図9Bでユーザにより指定されたカメラの映像が表示されているが、カメラのズーム倍率は最も広角に撮影できるように調節されている。その後、図9Dに示す画面の例のように、図9Cで表示された最も広角で撮影されたカメラ映像の倍率は、ズームアップして、ユーザがカメラの切り替えを指示した時のカメラのズーム倍率状態に戻る。すなわち、ズーム倍率は、図8のステップS302で示すようにズーム倍率記憶部126が記憶しているズーム倍率に戻る。
これにより、ユーザは、切り替え指示したカメラが撮影している撮影方向およびズーム倍率を、カメラ映像から直感的に判断することが可能となる。
なお、ユーザに切り替え後のカメラの撮影位置を映像を見ただけでより直感的に理解させるために、ズーム倍率調節部125は、モニタ130に表示されているカメラ映像のフレームレートに基づいてズーム倍率を変更する速度を調節することもできる。すなわち、ズーム倍率調節部125は、図9Cから図9Dへのズーム倍率調整の動きを滑らかに見せるように調節してもよい。この場合のカメラ制御装置120の構成は、図10に示す構成になる。
図10に示すカメラ制御装置120の構成は、図6に示すカメラ制御装置120の映像表示部122が表示している映像のフレームレート情報をズーム倍率調節部125に送信するようにしたものであり、その他の構成は図6の構成と変わらない。図10において、カメラ映像切り替え部121は、カメラ100a〜100nから受信している映像フレームをズーム倍率調節部125に通知し、ズーム倍率調節部125はカメラ切り替え部121から受けた映像フレームからフレームレート情報を取得する。また、カメラ制御装置120の処理能力の都合でカメラ映像切り替え部121が受信した映像データをすべて表示できない場合は、映像表示部122が表示しているフレームレート情報をズーム倍率調節部125に送信し、ズーム倍率調節部125は映像表示部122から受けたフレームレート情報を取得するようにしてもよい。いずれの場合でも、ズーム倍率調節部125がモニタ130に表示されている映像のフレームレートを参照して、ズーム倍率の変更速度を調整する処理方法は変わらない。
次に、モニタ130に表示される映像のフレームレートを参照して、ズーム倍率調節部125がズーム倍率調節の速度を変更する例を説明する。
カメラ映像切り替え部121の受信した映像のフレームレート、または映像表示部122がモニタ130に表示する映像のフレームレートをNfpsとする。ここで、fpsはframe per secの略であり、1秒間に表示できる映像フレームの枚数を示す。また、ここで、ズーム倍率調節部125がカメラのズーム倍率を変更するスピードは、映像を見ているユーザがすぐに前記カメラを操作したいか、またはズーム倍率の調整をより滑らかに閲覧したいかにより異なるが、本実施の形態1では映像フレームが変わるごとにズーム倍率がM倍ずつ増えて滑らかな動きを表現するものとして説明する。この場合、前記Mの値は、ズーム倍率調節部125があらかじめ持っているとする。そして、ズーム倍率調節部125は、カメラのズーム倍率を変化させるスピードK(倍/秒)を以下式(1)に設定して、ズーム倍率を変更するスピードを調節する。
これにより、より滑らかにズーム倍率を変更している映像をユーザに提示することができるので、カメラの撮影位置、撮影方向およびズーム倍率をより直感的に理解させることが可能となる。
なお、カメラの切り替える際に、カメラ制御装置120は、切り替え後のカメラを自動的に制御していることをユーザに提示するようにしてもよい。この場合のカメラ制御装置120は、図11に示す構成になる。
図11に示すカメラ制御装置120の構成は、図6に示すカメラ制御装置120の構成にカメラ制御情報表示部601を加えたものであり、その他の構成は図6の構成と変わらない。図11において、カメラ制御情報送受信部124がカメラ映像切り替え部121に映像切り替えを指示した後、カメラ制御情報送受信部124を通じて、カメラ制御情報表示部601は、切り替え後のカメラのズーム倍率をズーム倍率記憶部126が記憶したズーム倍率に戻していることをモニタ130に表示する。その例を図12に示す。
図12において、モニタ130には、カメラ制御装置120が切り替え後のカメラのズーム倍率を変更中であることを示す、例えば「ズーム倍率制御中」というメッセージ701が表示されている。なお、メッセージの表示場所および表示方法は、ここで説明したものに限られず、切り替え後のカメラのズーム倍率がユーザの手を介さず自動的に動いていることがユーザにわかるように提示されていれば、どのような方法でもよい。
以上のように、本実施の形態1によれば、ユーザが表示するカメラ映像を切り替えた場合に、ズーム倍率調節部125がカメラのズーム倍率を最も広角にしてからユーザがカメラ映像を選択した時のズーム倍率に戻すことにより、ユーザは、カメラの設置位置、撮影方向およびズーム倍率を、映像を見て直感的に理解することができる。
なお、本実施の形態1おいては、ズーム倍率調節部125が調節するズーム倍率を最も広角にするものとして説明したが、本発明はこれに限定されるものではない。すなわち、ズーム倍率調節部125は、ユーザがカメラの映像を見ただけで直感的にカメラの撮影方向およびズーム倍率を把握し、切り替え後のカメラの映像がどこを撮影しているのかがわかる程度に、ズーム倍率を広角に、すなわち低倍率に変更すればよい。
このように、本実施の形態1によれば、ズーム倍率調節部125は、カメラ映像切り替え部121がユーザの切り替え指示したカメラの映像に切り替える前に、当該カメラのズーム倍率を記憶部126に記憶した倍率よりも広角のズーム倍率、すなわち、記憶したズーム倍率より低い基準倍率に変更する。そして、カメラの映像の切り替え後に、ズーム倍率調節部125は、前記カメラのズーム倍率を基準倍率からズーム倍率記憶部126が記憶したズーム倍率に戻すことにより、ユーザは映像を見ただけでカメラの撮影方向およびズーム倍率を直感的に把握することができるとともに、所望の撮影方向およびズーム倍率に変更する場合に当該カメラの制御を即座に開始することができる。
(実施の形態2)
本発明の実施の形態2のカメラ制御装置120の構成図を図13に示す。図13のカメラ制御装置120は、図6におけるカメラ制御装置120に、カメラのズーム倍率に加えて撮影方向も制御可能な撮影方向調節部801を追加し、ズーム倍率記憶部126の代わりにカメラのズーム倍率に加えて撮影方向も記憶可能な撮影方向ズーム倍率記憶部802を有する。その他の構成は、図6に示す実施の形態1のカメラ制御装置120の構成と変わらないため、同じ構成には同じ符番を付し詳細な説明は省略する。また、モニタ130に表示される画面の構成も実施の形態1のものと変わらない。
次に、本実施の形態のカメラ制御装置120のカメラ制御動作の流れを説明する。本実施の形態において、ユーザがカメラを選択して映像を切り替える際、撮影方向ズーム倍率記憶部802が切り替え後のカメラ、つまりユーザが切り替え指示したカメラのズーム倍率を記憶して、ズーム倍率調節部125が当該カメラのズーム倍率を記憶されたズーム倍率から最も広角に撮影できるズーム倍率に変更するまでの動作は、上記実施の形態1と同様である。すなわち、カメラ制御指示受信部123がユーザからカメラの切り替え指示を受けると、カメラ制御情報送受信部124は、ユーザに指示されたカメラの現在のズーム倍率をカメラ100a〜100nに接続された撮影方向ズーム倍率制御機器110a〜110nに問い合わせる。そして、カメラ制御情報送受信部124がこのズーム倍率を受信し、撮影方向ズーム倍率記憶部802に記憶させる。撮影方向ズーム倍率記憶部802は、カメラ制御情報送受信部124から受けたズーム倍率を記憶する。撮影方向ズーム倍率記憶部802がズーム倍率の記憶を完了した後、ズーム倍率調節部125は、ユーザから切り替え指示されたカメラのズーム倍率を記憶されたズーム倍率から最も広角なズーム倍率に変更し、カメラ制御情報送受信部124を経由してこのカメラのズーム倍率を制御する。この動作の流れは、図8におけるステップS301〜ステップS303に相当する。そして、ズーム倍率調節部125が、切り替え後のカメラ、つまりユーザから切り替え指示されたカメラのズーム倍率を記憶されたズーム倍率から最も広角に撮影できるズーム倍率に変更した後、撮影方向調節部801は、切り替え前のカメラの撮影方向を切り替え後のカメラ、つまりユーザから切り替え指示を受けたカメラの撮影位置および撮影範囲にできるだけ近づけるように自動的に制御する。以下、図14に示す流れに沿って、切り替え前のカメラの撮影方向の制御方法について詳細に説明する。
まず、ズーム倍率調節部125が、切り替え後のカメラ、つまりユーザから切り替え指示されたカメラのズーム倍率を記憶されたズーム倍率から最も広角のズーム倍率に変更した後、カメラ制御情報送受信部124は、ズーム倍率が最も広角な状態に変更された切り替え後のカメラの撮影方向と画角とフォーカス距離とをカメラに接続された撮影方向ズーム倍率制御機器110に問い合わせる(ステップS901)。ここで、撮影方向は、カメラのパン・チルト角を表す。また、画角はズーム倍率とカメラ個々の性能とから求められる値である。カメラ制御情報送受信部124は、これらのパン・チルト角、画角およびフォーカス距離の情報を受信したら、これらの情報を撮影方向ズーム倍率記憶部802に記憶させる(ステップS902)。撮影方向ズーム倍率記憶部802がパン・チルト角、画角およびフォーカス距離の情報の記憶を完了したら、撮影方向調節部801は、撮影方向ズーム倍率記憶部802が記憶したパン・チルト角、画角およびフォーカス距離の情報と、切り替え前のカメラの設置位置とから、切り替え前のカメラの回転すべき方向および画角を算出する(ステップS903)。ここで、切り替え前のカメラの設置位置は、切り替え前のカメラが設置された時点で撮影方向調節部801が記憶しておくか、または個々のカメラ100a〜100nの撮影方向ズーム倍率制御機器110a〜110nが設置位置を記憶しておき、例えばユーザからカメラ映像の切り替え指示があった時に、カメラ制御情報送受信部124が切り替え前のカメラ100a〜100nに別途問い合わせて取得する。
次に、切り替え前のカメラの回転すべき方向および画角を算出する方法を図15Aおよび図15Bを使って説明する。図15Aおよび図15Bは、切り替え前のカメラと切り替え後のカメラとを同じ座標平面上で空中から地面に向かって見た座標を示す図である。図15Aにおいて、切り替え前のカメラ1001のパン角度を1003とし、切り替え後のカメラ1002のパン角度を1004とする。また、切り替え後のカメラ1002の焦点を1005とする。カメラ制御情報送受信部124は、切り替え前のカメラ1001の座標、切り替え後のカメラ1002の座標、および、切り替え後のカメラ1002の回転角度1004をこれまでの処理(図14のステップS902)で既に取得済みである。ここで、切り替え前のカメラ1001の座標を(x1、y1)、切り替え後のカメラ1002の座標を(x2、y2)、切り替え後のカメラの回転角度1004をθ2とする。この時、撮影方向調節部801は、図15Bに示すように切り替え前のカメラ1001が切り替え後のカメラ1002の焦点1005に撮影方向が向くように、切り替え前のカメラ1001の撮影方向を制御する。
そして、切り替え後のカメラ1002から、この切り替え後のカメラ1002の焦点1005への距離は図14のステップS902で既にカメラ制御情報送受信部124によって取得されている。ここで、前記距離をdとすると、切り替え後のカメラ1002の焦点1005の座標(x
2f、y
2f)はそれぞれ、以下の式(2)と表すことができる。
これより、図15Bに示すように、切り替え前のカメラ1001が切り替え後のカメラ1002の焦点1005の方向を撮影するための撮影方向1006とのなす角度をθ
1fとすると、以下の式(3)と表すことができる。
そして、撮影方向調節部801は、切り替え前のカメラ1001の撮影方向が角度θ1fとなるように、カメラ制御情報送受信部124を通じて切り替え前のカメラ1001の撮影方向を制御する。これにより、切り替え前のカメラの撮影方向が切り替え後のカメラの撮影方向、つまり、切り替え後のカメラの映像に近づくので、カメラが切り替わった場合に、ユーザは切り替え後の映像を見た時の違和感を軽減できるともに、この映像を見ただけでより直感的にカメラの撮影位置および撮影方向を把握することができる。
次に、切り替え前のカメラの画角を算出する方法を図16に示す。図16に示すように、切り替え前のカメラ1001と切り替え後のカメラ1002とが同じ地点を撮影している時の切り替え後のカメラ1002の撮影範囲1102と、切り替え前のカメラ1001の撮影範囲1101とが同じ長さになるように、切り替え前のカメラ1001の画角1103を調節する。切り替え後のカメラ1002の画角θ
2gは、カメラ制御情報送受信部124で既に取得されており(図14のステップS902)、切り替え後のカメラの撮影範囲1102の長さlenは、以下の式(4)と表すことができる。
これより、切り替え前のカメラ1001の画角θ
1gは、以下の式(5)となる。
次に、式(5)に式(4)を代入し、以下の式(6)と表すことができる。
そして、撮影方向調節部801は、切り替え前のカメラ1001の画角を上記式(6)で表されるθ1gに調節する。これにより、切り替え前のカメラの倍率が切り替え後のカメラの倍率、つまり、切り替え後のカメラの撮影範囲に近づくので、カメラが切り替わった場合に、ユーザは切り替え後の映像を見た時の違和感を軽減できるともに、この切り替え後の映像を見ただけでより直感的にカメラの撮影位置、撮影方向および撮影範囲等を把握することができる。
なお、本実施の形態では切り替え前のカメラ1001の撮影方向のパン(水平方向)角成分の算出方法について説明したが、同様に切り替え前のカメラおよび切り替え後のカメラを真横から水平方向に見た図を使用して、切り替え前のカメラの撮影方向のチルト(垂直方向)角成分を算出することも可能である。
そして、撮影方向調節部801は、上述した流れにより算出した切り替え前のカメラの撮影方向およびズーム倍率になるように、カメラ制御情報送受信部124を経由して切り替え前のカメラを制御する(ステップS904)。カメラ制御情報送受信部124は、カメラの制御が完了したことを切り替え前のカメラから受信したら、カメラ映像切り替え部121に対して、モニタ130に表示している映像の切り替えを指示する(ステップS905)。その後、切り替え後のカメラのズーム倍率を元に、つまり、撮影方向ズーム倍率記憶部802に記憶されたズーム倍率に戻すまでの流れは、実施の形態1の場合と同様である。これは、図8の流れ図におけるステップS305に相当する。
以上のように、ユーザが見たいカメラ映像が選択された時、カメラ制御装置120は、切り替える前の映像を撮影しているカメラと、ユーザが指定した切り替え後のカメラとをそれぞれ自動的に制御する。
図17は、本実施の形態において切り替え前のカメラと切り替え後のカメラとがそれぞれ制御された場合の、モニタ130に表示される映像の表示例を示す図である。
図17Aには、切り替え前のカメラ映像が表示されている。ユーザがカメラ映像を切り替えるためにアイコン1201をクリックすると、画面はこの状態から図17Bに示す画面1202のようになる。この時、映像は選択したカメラに切り替わっておらず、図14のステップS901からステップS905で説明したように、撮影方向調節部801は、今まで表示していた映像を撮影しているカメラ、つまり切り替え前のカメラが、切り替え後のカメラの視野にできるだけ近づくように撮影方向およびズーム倍率の変更を行う。そして、切り替え前のカメラの制御が完了すると、図17Cに示すようにユーザが指定したカメラの映像に切り替わる。この時、切り替え前のカメラの映像の視野と切り替え後のカメラの映像の視野とが類似しているので、図18に示すように、ポップアップウィンドウを用いてカメラが切り替わったことを、例えば「映像が切り替わりました」というメッセージ1301による表示によりユーザに提示してもよい。画面が切り替わった後、図17Dのように、ズーム倍率を元に戻すことで、切り替え前および切り替え後のカメラの制御動作が完了する。
なお、ユーザがカメラを切り替えるように指示した際に、撮影方向ズーム倍率記憶部802が切り替え前のカメラの撮影方向およびズーム倍率を記憶しておき、カメラの切り替えが終了した後に、撮影方向調節部801が切り替え前のカメラの撮影方向およびズーム倍率を撮影方向ズーム倍率記憶部802に記憶されている元の撮影方向およびズーム倍率に戻すようにしてもよい。
また、本実施の形態では、ユーザが映像の切り替えを指示した時に切り替え前のカメラが切り替え後のカメラの視野に近づくように撮影方向を制御するカメラ制御方法について説明したが、切り替え前のカメラと切り替え後のカメラとが上記の説明と逆の動きを行っても同様の効果を得ることができる。すなわち、ユーザがカメラの映像の切り替えを指示したら、撮影方向調節部801が、切り替え後のカメラの撮影方向およびズーム倍率を切り替え前のカメラと同じ方向を撮影し、かつ類似した視野になるように制御する。その後、カメラ映像切り替え部121がモニタ130に表示する映像を切り替え後のカメラの映像に切り替えたら、撮影方向調節部801は、切り替え後のカメラの視野を撮影方向ズーム倍率記憶部802が記憶している撮影方向およびズーム倍率に戻す。
この場合のカメラ制御装置の構成は図8のカメラ制御装置120と同じ構成でよいが、撮影方向ズーム倍率記憶部802が、切り替え前のカメラの撮影方向、ズーム倍率およびフォーカス距離と、切り替え後のカメラの撮影方向およびズーム倍率とを記憶する点と、撮影方向調節部801が切り替え後のカメラを切り替え前のカメラの視野に合わせるように制御する動作を行う点とが異なる。
この場合の切り替え前のカメラおよび切り替え後のカメラの制御動作の流れを図19に示す。まず、ユーザからカメラの映像の切り替え指示があったら、カメラ制御情報送受信部124は、切り替え前のカメラおよび切り替え後のカメラ、つまりユーザから切り替え指示されたカメラの撮影方向およびズーム倍率をカメラに接続された撮影方向ズーム倍率制御機器110に問い合わせて、取得した撮影方向およびズーム倍率を撮影方向ズーム倍率記憶部802に記憶させる(ステップS1401)。同時に、撮影方向ズーム倍率記憶部802は、切り替え前のカメラのフォーカス距離も記憶する。そして、撮影方向ズーム倍率記憶部802の記憶が完了したら、撮影方向調節部801は切り替え後のカメラの撮影方向およびズーム倍率を、切り替え前のカメラの映像と類似するように切り替え後のカメラを制御する(ステップS1402)。この場合において、カメラの撮影方向およびズーム倍率の計算方法は、本実施の形態2で説明した方法と同様である。そして、切り替え後のカメラの撮影方向等の制御が完了したら、カメラ制御情報送受信部124は、カメラ映像切り替え部121に映像の切り替えを指示して映像を切り替える(ステップS1403)。映像の切り替えが完了したら、撮影方向調節部801は、映像の切り替えが完了したことをカメラ映像切り替え部121から受信して、切り替え後のカメラの撮影方向およびズーム倍率を、ステップS1401で撮影方向ズーム倍率記憶部802が記憶した撮影方向およびズーム倍率に戻すように制御する(ステップS1404)。
このような流れにより、撮影方向調節部801は、切り替え前のカメラの映像と切り替え後のカメラの映像とが近づくように制御する。
なお、本実施の形態において、実施の形態1の図11および図12に示すように、カメラ制御装置120は、切り替え前のカメラおよび切り替え後のカメラを自動で制御していることを画面に表示してもよい。この場合の構成を図20に示す。
図20に示すカメラ制御装置120の構成は、図13に示すカメラ制御装置120の構成に、図11のカメラ制御情報表示部601を加えたものであり、その他の構成は図13の構成と同様である。図11において、カメラ制御情報送受信部124がカメラ映像切り替え部121に映像切り替えを指示した後、カメラ制御情報送受信部124を通じて、カメラ制御情報表示部601は、切り替え後のカメラのズーム倍率を撮影方向ズーム倍率記憶部802が記憶したズーム倍率に戻していることをモニタ130に表示する。また、図12に示すように、本実施の形態2のカメラ制御装置120が切り替え後のカメラのズーム倍率を自動で制御していることを、例えば「ズーム倍率制御中」というメッセージ701等によりユーザに提示してもよい。
また、本実施の形態は、実施の形態1のようにカメラ映像切り替え部121が受信している映像のフレームレート、または映像表示部122が表示する映像のフレームレートを参照して、撮影方向調節部801が切り替え前のカメラのズーム倍率およびカメラの撮影方向を変更する速度を調節する構成にしてもよい。これにより、実施の形態1と同様に、ユーザにカメラの動き、つまりズーム倍率および撮影方向を変更する動作を映像で提示することができるので、より直感的にカメラの撮影方向をユーザに理解させることが可能となる。
以上のように、本実施の形態2によれば、ユーザが表示するカメラ映像を選択すると、ズーム倍率調節部125が選択されたカメラのズーム倍率を最も広角にしてから記憶部126に記憶されたズーム倍率に戻すように制御することに加えて、撮影方向調節部801がユーザの選択前に映像を表示していたカメラの撮影方向およびズーム倍率を切り替え後のカメラの撮影位置および撮影範囲にできるだけ同じになるように制御するので、映像が切り替わった直後に、ユーザはこの映像を見ただけで選択したカメラの設置位置、撮影方向およびズーム倍率をより直感的に理解することができる。すなわち、撮影方向調節部801は、切り替え前のカメラの撮影方向および撮影範囲を切り替え後のカメラの撮影方向および撮影範囲に近づけることにより、ユーザは切り替え後のカメラの映像を見た時の違和感を軽減することができる。従って、ユーザは切り替え後の映像を見ただけで、より直感的に、つまり、瞬時にカメラの撮影位置、撮影方向および撮影範囲を理解することができる。
なお、本実施の形態2おいては、ズーム倍率調節部125が調節するズーム倍率を最も広角にするものとして説明したが、本発明はこれに限定されるものではない。すなわち、ズーム倍率調節部125は、ユーザがカメラの映像を見ただけで直感的にカメラの撮影方向およびズーム倍率を把握し、切り替え後のカメラの映像がどこを撮影しているのかがわかる程度に、ズーム倍率を広角に、すなわち低倍率に変更すればよい。
すなわち、本実施の形態2によれば、ズーム倍率調節部125は、カメラ映像切り替え部121がユーザの切り替え指示したカメラの映像に切り替える前に、当該カメラのズーム倍率を記憶部126に記憶した倍率よりも広角のズーム倍率、すなわち、記憶したズーム倍率より低い基準倍率に変更する。撮影方向調節部801は、切り替え指示されたカメラの映像の撮影方向を特定する撮影方向情報および撮影範囲を特定する撮影範囲情報を取得し、この撮影方向情報および撮影範囲情報に基づいて切り替え前のカメラ、つまり、現在映像表示部121に表示されているカメラの映像の撮影方向および撮影範囲を、切り替え前のカメラの映像の撮影方向および撮影範囲にできるだけ同じに、つまり近づけるように変更する。そして、カメラの映像の切り替え後に、ズーム倍率調節部125は、前記カメラのズーム倍率を基準倍率からズーム倍率記憶部126が記憶したズーム倍率に戻すことにより、ユーザは映像を見ただけでカメラの撮影位置、撮影方向およびズーム倍率をより直感的に把握することができるとともに、所望の撮影方向およびズーム倍率に変更する場合に当該カメラの制御を即座に開始することができる。
(実施の形態3)
実施の形態1のカメラ制御装置120は、ユーザからカメラの映像の切り替え指示があった場合に、切り替え指示されたカメラのズーム倍率の記憶後、ズーム倍率を最も広角にすると説明した。本発明の実施の形態3のカメラ制御装置120は、切り替え後のカメラの撮影位置または撮影方向を特定するランドマークの画像情報を用いて、このズーム倍率を広角にする倍率変更の最適化処理を行う。
本発明の実施の形態3のカメラ制御装置120の構成図を図21に示す。図21のカメラ制御装置120は、図6におけるカメラ制御装置120に、各カメラの撮影範囲内に存在して、カメラの撮影位置または撮影方向を特定するランドマークの画像情報を登録するランドマーク登録部2101と、このランドマークの画像情報が切り替え後のカメラの映像内に存在するか否かを判断するランドマーク認識部2102とを追加してなる。その他の構成は、図6に示す実施の形態1のカメラ制御装置120の構成と変わらないため、同じ構成には同じ符番を付し詳細な説明は省略する。
次に、図22を用いて本実施の形態に係るカメラ制御装置120の動作を説明する。図22は、本実施の形態に係るカメラ制御装置120のカメラ制御動作を説明するフロー図である。なお、図22は、ステップ2201が図8のステップS303と異なるだけで、その他の動作は図8と同じであるため、同じ符番を付し詳細な説明を省略する。すなわち、本実施の形態3は、ステップS302でズーム倍率記憶部126がユーザに切り替え指示されたカメラのズーム倍率を記憶した後、ステップS2201でズーム倍率調節部125は、切り替え後のカメラのズーム倍率を最も広角にするのではなく、ランドマーク認識部2102の判断結果に基づいて切り替え後のカメラのズーム倍率の最適化処理を行う。そして、カメラ制御装置120は、ステップS304以降の動作に移行する。
次に、切り替え後のカメラのズーム倍率の最適化処理の一例について、図23を用いて詳細に説明する。図23は、切り替え後のカメラのズーム倍率の最適化処理の一例を説明するためのフロー図である。
まず、あらかじめユーザまたはシステム管理者は、ポインティングデバイス140によりオブジェクト等のランドマークを指定し、当該ランドマークの画像情報のテンプレートを抽出する。ここで、ランドマークは、各カメラ100a〜100nの撮影範囲内に存在し、カメラの撮影位置または撮影方向を特定するものであり、例えば、高さ、形状および色等に特徴を有するビル等の建物である。そして、ランドマーク登録部2101は、このランドマークの画像情報のテンプレートをランドマーク画像情報として登録して、ランドマーク認識部2102に与える(ステップS2301)。このランドマーク画像情報は、切り替え指示されたカメラの映像に当該ランドマークが映っているか否かを判別するための情報であり、具体的には、当該ランドマークの画像そのもの、色、輝、形およびエッジ情報などである。
そして、ランドマーク認識部2102は、ユーザからのカメラ切り替え指示があった時に、カメラ映像切り替え部121から、ランドマークの有無を検出するための対象となる切り替え指示されたカメラの映像を受信する。そして、ランドマーク認識部2102は、ズーム倍率調節部125でズームアウトされる、つまり、ズーム倍率記憶部126で記憶されたズーム倍率より低い基準倍率に変更される切り替え指示されたカメラの映像内を、ランドマーク登録部2101から受けたランドマーク画像情報が存在するか否かテンプレートマッチングする(ステップS2302)。このテンプレートマッチングは、あらかじめ画像情報等のテンプレートをデータベースに保存し、このテンプレートとの重なり具合および類似度の高低等を数値的に計算する、または輪郭および形状等の特徴成分を抽出して認識するものである。なお、このテンプレートマッチングは、例えば、高木、下田「画像認識ハンドブック」(東京大学出版会、p707)に詳細な説明がある。なお、ここでは、最も基本的な認識方法の一例であるテンプレートマッチングを行うが、この認識方法に限定されるものではなく、認識方法は様々である。また、本実施の形態3では、テンプレートの大きさに関しては言及していないが、大きさの変動に対応する、つまり、当該テンプレートとマッチングさせる画像との大きさが異なる場合に対応するマッチング手法も存在する。
ステップS2302においてマッチングが成功した場合には(ステップS2303)、つまり、切り替え指示されたカメラの映像内からランドマーク画像情報が検出された場合には、ランドマーク認識部2102は、ユーザがカメラの映像を見ただけで直感的にカメラの撮影方向およびズーム倍率を把握することができる程度にズーム倍率が広角にされたと判断する。そして、ランドマーク認識部2102は、ズーム倍率調節部125にズームアウト動作を停止するように指示し、ズーム倍率調節部125は、ズーム倍率の変更を停止する(ステップS2304)。そして、ズーム倍率の最適化処理を終了し、カメラ映像切り替え部121がカメラの映像を切り替えた時には(ステップS304)、ズーム倍率調節部125は、ランドマーク認識部2102の指示に基づいてズーム倍率調節の動作を停止した時のズーム倍率からズーム倍率記憶部126に記憶されたズーム倍率に戻すことになる(ステップS305)。
一方、ステップS2303でマッチングが成功しない場合には、ランドマーク認識部2102はズームアウト停止の指示をしない。従って、ズーム倍率調節部125は、ズームアウトを継続する(ステップS2305)。
このように、本実施の形態3によれば、ランドマーク認識部2102が切り替え指示されたカメラの映像内からランドマーク登録部2101で登録されたランドマーク画像情報が存在するか否かを判別する。そして、ランドマーク認識部2102は、当該ランドマークがあった場合には、ユーザがカメラの映像を見ただけで直感的にカメラの撮影方向およびズーム倍率を把握することができる程度にズーム倍率が広角にされたと判断し、ズーム倍率調節部125にズーム倍率変更の動作を停止するように指示する。これにより、ズーム倍率調節部125は、必要以上にズームアウトせず、ズーム倍率記憶部126に記憶されたズーム倍率より低い基準倍率に変更するズーム倍率調節時間を短縮させることができる。また、本実施の形態3によれば、実施の形態1および2の効果に加えて、ズーム倍率が広角な状態に変更された切り替え後のカメラの映像には、カメラの撮影位置および撮影方向を特定するランドマークが映っているため、ユーザはより直感的に当該カメラの撮影位置、撮影方向およびズーム倍率を把握することができる。
なお、本実施の形態3のカメラ制御装置120の構成は、この構成に限定されるものではなく、上述した実施の形態1および実施の形態2のカメラ制御装置120のいずれにも適用することが可能である。
(実施の形態4)
実施の形態3においては、ズーム倍率変更の最適化処理を行うために、ランドマークの画像情報を利用した。本発明の実施の形態4においては、ズーム倍率変更の最適化処理を行うために、ランドマークの位置情報を利用する。
本発明の実施の形態4のカメラ制御装置120の構成図を図24に示す。図24のカメラ制御装置120は、図6におけるカメラ制御装置120にランドマーク登録部2401、ランドマーク位置算出部2402およびランドマーク判定部2403を追加してなる。その他の構成は、図6に示す実施の形態1のカメラ制御装置120の構成と変わらないため、同じ構成には同じ符番を付し詳細な説明は省略する。
次に、本実施の形態に係るカメラ制御装置120の動作を説明する。図25は、本実施の形態に係るカメラ制御装置120のカメラ制御動作を説明するフロー図である。なお、図25は、ステップ2501が図8のステップS303と異なるだけで、その他の動作は図8と同じであるため、同じ符番を付し詳細な説明を省略する。すなわち、本実施の形態は、ステップS302でズーム倍率記憶部126がユーザに切り替え指示されたカメラのズーム倍率を記憶した後、ステップS2501でズーム倍率調節部125は、切り替え後のカメラのズーム倍率を最も広角にするのではなく、ランドマーク判定部2403の判断結果に基づいて切り替え後のカメラのズーム倍率の最適化処理を行う。そして、カメラ制御装置120は、ステップS304以降の動作に移行する。
次に、切り替え後のカメラのズーム倍率の最適化処理の一例について、図26を用いて詳細に説明する。図26は、切り替え後のカメラのズーム倍率の最適化処理の一例を説明するためのフロー図である。
まず、あらかじめユーザまたはシステム管理者は、ポインティングデバイス140によりオブジェクト等のランドマークを指定する。ここで、ランドマークは、各カメラ100a〜100nの撮影範囲内に存在し、カメラの撮影位置または撮影方向を特定するものであり、例えば高さ、形状および色等に特徴を有するビル等の建物である。そして、ランドマーク登録部2401は、カメラの映像上の当該ランドマークの位置座標を登録して、ランドマーク位置算出部2402に与える(ステップS2601)。
次いで、ランドマーク位置算出部2402は、カメラ制御情報送受信部124を介して、切り替え前のカメラ、つまり現在モニタ130に表示されているカメラの設置位置、撮影方向および画角をカメラに接続された撮影方向ズーム倍率制御機器110に問い合わせて取得する(ステップS2602)。そして、ランドマーク位置算出部2402は、ランドマーク登録部2401から受けたランドマークの位置座標と、カメラ制御情報送受信部124から受けたカメラの設置位置、撮影方向および画角とからランドマークの位置を算出し、ランドマーク判別部2403に与える(ステップS2603)。
ここで、ランドマーク位置算出部2402のランドマークの位置算出方法について、図27を用いて詳細に説明する。
図27Aは、切り替え前のカメラ、つまり、現在モニタ130に表示されているカメラの映像上のランドマークの位置座標を示している。ここで、wはカメラ映像の幅を示し、Hはカメラ映像の高さを示し、また、(xi,yi)は、カメラ映像上のランドマークの位置座標を示している。この位置座標(xi,yi)は、ランドマーク登録部2401が登録する位置情報である。
図27Bは、当該カメラの撮影領域を上から見た座標を示している。ここで、(xc,yc)は、カメラの設置位置座標であり、(xL,yL)は、ランドマーク位置算出部2402の求めるランドマークの位置座標である。また、φは、カメラのズーム倍率(画角)であり、Lは、カメラのフォーカス距離である。
ランドマークの位置座標x
Lは、カメラからランドマークまでの距離L’と、カメラの撮影角度θと、カメラの撮影領域の中心とカメラおよびランドマークとがなす角λと、から以下の式(7)と表される。
ここで、カメラおよびランドマークがなす角λと、カメラからランドマークまでの距離L’とは、以下の式(8)および(9)とそれぞれ表すことができる。
そして、式(7)に、式(8)および(9)を代入して、以下の式(10)からx
Lを求めることができる。
同様に、ランドマークの位置座標y
Lは、以下の式(11)と表すことができる。
そして、角λおよびカメラからランドマークまでの距離L’に上記式(8)および(9)で求められる結果を代入すると、以下の式(12)からy
Lを求めることができる。
また、ランドマークの高さを求める場合には、図27Bの図面を真横から見た図に変更して、同様の三角関数演算を行う。図27Cは、図27Bに示すカメラの撮影領域を真横から見た座標を示している。ここで、(yc,zc)は、カメラの設置位置座標であり、(yL,zL)は、ランドマーク位置算出部2402の求めるランドマークの位置座標である。また、φは、カメラのズーム倍率(画角)であり、LTは、カメラのフォーカス距離である。
ランドマークの位置座標z
Lは、カメラからランドマークまでの距離L
T’と、カメラの撮影角度θ
Tと、カメラの撮影領域の中心とカメラおよびランドマークとがなす角λ
Tと、から以下の式(13)と表される。
ここで、カメラおよびランドマークがなす角λ
Tと、カメラからランドマークまでの距離L
T’とは、以下の式(14)および(15)とそれぞれ表すことができる。
そして、カメラおよびランドマークがなす角λ
Tと、カメラからランドマークまでの距離L
T’とに上記式(14)および(15)でそれぞれ求められる結果を代入すると、以下の式(16)からz
Lを求めることができる。
このように、ランドマーク位置算出部2402は、ランドマーク登録部2401から受けるカメラ映像上のランドマークの位置座標と、カメラ制御情報送受信部124から受ける切り替え前のカメラの設置位置座標、撮影方向および画角とから、ランドマークの位置情報となる位置座標を算出する。
そして、ユーザからカメラの切り替え指示があった時に、カメラ制御情報送受信部124は、カメラに接続された撮影方向ズーム倍率制御機器110から取得した切り替え指示されたカメラの現在の撮影位置および撮影方向を取得し、ランドマーク判定部2403は、カメラ制御情報送受信部124から受けたカメラの現在の撮影方向を取得する(ステップS2604)。次いで、ランドマーク判定部2403は、ズーム倍率調節部125から、ズームアウト中のカメラの現在のズーム倍率を取得する(ステップS2605)。
そして、ランドマーク判定部2403は、ステップS2603においてランドマーク位置算出部2402が算出したランドマークの位置情報と、ステップS2604およびS2605で取得した切り替え指示されたカメラの撮影位置、撮影方向およびズーム倍率とから、当該ランドマークが、ズームアウトする切り替え後のカメラの映像内に入るかどうかを、幾何学的に判定する。つまり、図27で説明した位置算出部2402が算出したランドマークの位置座標が、ズーム倍率をズーム倍率記憶部126に記憶された倍率より低い基準倍率に変更する映像内に入るかどうかを判定する(ステップS2606)。
具体的には、図28に示すように、切り替え後のカメラ(x
c,y
c)からランドマーク(x
L,y
L)への距離は、以下の式(17)から求められる。求める画角ρ、つまり、切り替え後のカメラにランドマークが入る倍率は、以下の式(18)から求められる。ここで、Lはカメラの焦点(フォーカス)距離であり、θはカメラの撮影角度である。
そして、切り替え後のカメラの現在の画角はカメラ自身が知っているので、ズームアウトされるカメラの画角が上記式(18)で求められた画角ρになった時点で、ランドマーク判定部2403は、ズーム倍率調節部125のズームアウト動作を停止させる。このように、ランドマーク判定部2403は、ランドマークの位置座標から当該ランドマークが切り替え後のカメラの撮影範囲に入る画角を算出し、ズームアウトするカメラの画角が当該画角になった場合には映像内にランドマークが入ると判定し、ズームアウトを停止させる。なお、高さ方向の画角を求めたい場合には、上記式(18)の(xc,yc)を、(yc,zc)に、(xL,yL)を(yL,zL)にすればよい。
ここで、ランドマークが切り替え指示されたカメラの映像内にあると判定された場合には(ステップS2607)、ランドマーク判定部2403は、ズーム倍率調節部125が切り替え指示されたカメラのズームアウトする動作を停止するように指示し、ズーム倍率調節部125は、ズーム倍率の変更を停止する(ステップS2608)。そして、ズーム倍率の最適化処理を終了し、カメラ映像切り替え部121がカメラの映像を切り替えた時には(ステップS304)、ズーム倍率調節部125は、ランドマーク判定部2403の指示に基づいてズーム倍率調節の動作を停止した時のズーム倍率からズーム倍率記憶部126に記憶されたズーム倍率に戻すことになる(ステップS305)。
一方、ステップS2607でランドマークが切り替え指示されたカメラの映像内にあると判定されない場合には、ランドマーク判定部2403はズームアウト停止の指示をしない。従って、ズーム倍率調節部125は、ズームアウトを継続する(ステップS2609)。
このように、本実施の形態4によれば、実施の形態1および2の効果に加えて、ランドマーク判定部2403が切り替え指示されたカメラの映像内からランドマーク位置算出部2402で算出されたランドマークの位置情報と、切り替え指示されたカメラの撮影位置、撮影方向およびズーム倍率とから、ランドマークがズームアウトするカメラの映像内にあるかどうかを幾何学的に判定する。そして、当該ランドマークがあった場合には、ランドマーク判定部2403は、ユーザがカメラの映像を見ただけで直感的にカメラの撮影方向およびズーム倍率を把握することができる程度にズーム倍率が広角にされたと判断し、ズーム倍率調節部125にズーム倍率変更の動作を停止するように指示する。これにより、ズーム倍率調節部125は、必要以上にズームアウトせず、ズーム倍率記憶部126に記憶された倍率より低い基準倍率に変更するズーム倍率調節時間を短縮させることができる。また、ズーム倍率が広角な状態に変更された切り替え後のカメラの映像には、カメラの撮影位置および撮影方向を特定するランドマークが映っているため、ユーザはより直感的に当該カメラの撮影位置、撮影方向およびズーム倍率を把握することができる。
なお、本実施の形態4のカメラ制御装置120の構成は、この構成に限定されるものではなく、上述した実施の形態1および実施の形態2のカメラ制御装置120のいずれにも適用することが可能である。
(実施の形態5)
実施の形態1から4のカメラ制御装置120は、ユーザからカメラの映像の切り替え指示があった場合に、切り替え後のカメラのズーム倍率を所定の倍率から広角にして表示し、映像が切り替わった後、カメラのズーム倍率を所定の倍率に戻すと説明した。本発明の実施の形態5のカメラ制御装置120は、切り替え前および切り替え後のカメラの相関位置に基づいて、まず、切り替え前および切り替え後のカメラの映像を補完する切り替え映像を生成するか否かを判断する。例えば、現在モニタに映像を表示しているカメラと、ユーザから切り替え指示されたカメラとが同一の目標物または同じ場所を撮影するような位置関係にある場合には、当該切り替え前および切り替え後のカメラの映像を補完する切り替え映像をユーザに提示することにより、ユーザは切り替え後のカメラの映像をより直感的にカメラの撮影位置および撮影方向を把握することができる。
すなわち、本実施の形態に係るカメラ制御装置120は、カメラの映像を切り替える際に、切り替え前および切り替え後のカメラの設置位置と撮影方向との相関関係をわかりやすくするために、切り替え後のカメラの映像を表示する前に、切り替え前および切り替え後のカメラが同じ物体を撮影するように撮影方向を設定し、この2つカメラの撮影方向を補完するような中間画像を切り替え映像としてコンピュータグラフィックス(CG)を用いて生成し、映像化するものである。以下、本実施の形態のカメラ制御装置120について、図面を用いて詳細に説明する。
本実施の形態のカメラ制御装置120の構成の一例を図29に示す。カメラ制御装置120は、実施の形態2のカメラ制御装置120の構成において、切り替え前のカメラと切り替え後のカメラとの相関関係に基づいて、切り替え前および切り替え後のカメラの映像から切り替え後のカメラの映像を補完する切り替え映像を生成するか判断する切り替え映像生成要否判断部2901と、この切り替え映像生成要否判断部2901の判断結果に基づいてキャリブレーションを行うキャリブレーション部2902と、このキャリブレーション部2902のキャリブレーション結果から切り替え前および切り替え後のカメラの撮影方向を記憶するキャリブレーション位置記憶部2903と、キャリブレーション結果に基づいて切り替え前および切り替え後のカメラの映像から切り替え映像を生成する切り替え映像生成部2904と、を追加してなる。その他の構成は、図13に示す実施の形態2のカメラ制御装置120の構成と変わらないため、同じ構成には同じ符番を付し詳細な説明は省略する。
次に、図30を用いて上記カメラ制御装置120の動作を説明する。図30は、本実施の形態のカメラ制御装置120のカメラの制御動作を説明するフロー図である。
まず、カメラ制御指示受信部123が、ユーザからカメラの切り替え指示を受けると(ステップS3001)、切り替え映像生成要否判断部2901は、切り替え映像を生成するか否かを判断する(ステップS3002)。ここで、例えば、切り替え前のカメラと、切り替え後のカメラとの位置関係が同一の目標物を挟んで対向するような位置にある場合には、切り替え映像生成要否判断部2901は、当該切り替え前および切り替え後のカメラの映像の中間画像となる切り替え映像を生成したほうが、ユーザはより直感的に切り替え後のカメラの映像の撮影方向等を把握することができると判断する。また、例えば、切り替え前のカメラと、切り替え後のカメラとが別々の建物および場所を撮影するような位置関係にある場合には、切り替え映像生成要否判断部2901は、上記実施の形態1から実施の形態4で説明したように、切り替え指示されたカメラのズーム倍率を広角な状態にして表示したほうが、ユーザはより直感的に切り替え後のカメラの映像の撮影方向等を把握することができると判断する。そして、切り替え映像を生成すると判断された場合にはステップS3003の切り替え映像生成処理に進み、切り替え映像を生成しないと判断された場合にはステップS3008の処理に進む。
ここで、図31を用いて、ステップS3003の切り替え映像生成処理を説明する。図31は、切り替え映像生成処理を説明するためのフロー図である。
まず、切り替え映像生成要否判断部2901で切り替え映像を生成すると判断された場合、カメラ制御情報送受信部124は、図32Aに示すように切り替え前および切り替え後のカメラの撮影方向が同じ目標物を向くように制御する(ステップS3101)。ここで、カメラ制御情報送受信部124は、撮影方向を変更制御する前のカメラの撮影方向を取得しておく。次いで、キャリブレーション位置記憶部2903は、この2台のカメラの撮影方向を記憶する(ステップS3102)。また、カメラ制御指示受信部123は、キャリブレーション部2902にキャリブレーション指示を与え(ステップS3103)、キャリブレーション部2902は、カメラ映像切り替え部121から、例えば図32Bに示すような切り替え前および切り替え後のカメラの映像を受け取り、キャリブレーションを行い、キャリブレーション結果を生成する(ステップS3104)。このキャリブレーション結果は、切り替え映像生成部2904で切り替え映像を生成するために必要となる。
ここで、キャリブレーションについて説明する。キャリブレーションは、カメラ等で撮影した画像から、そこに映っているものの位置を計測するための技術である。この技術を用いることにより、立体物である物が画像化され時に失われたその立体物が存在する空間内での配置等の奥行きに関する情報を復元するために必要な撮影時のカメラ位置および焦点距離等の値を、画像から計算することができる。そして、この技術を用いることにより、実写中にコンピュータグラフィックスを仮想的に描画する画像合成等が可能となる。なお、2台のカメラのキャリブレーションについては、例えば松山、久野、井宮編「コンピュータビジョン:技術評論と将来展望」(株式会社新技術コミュニケーション)のp131に詳細に説明されている。
そして、切り替え映像生成部2904は、キャリブレーション部2902のキャリブレーション結果から、図32Cに示すような切り替え前のカメラが撮影する物体が、徐々に切り替え後のカメラの撮影する物体に変化していく中間状態を表示する切り替え映像を生成する(ステップS3105)。ここで、具体的な中間映像の生成手段は様々であるが、その一例としてビューモーフィング(View Morphing)手法がある。このビューモーフィングとは、ある形状から別の形状へ徐々に変化していく様子を動画で表現するために、その中間を補う画像を作成するものである。View Morphing手法は、Seiz他「View Morphing」(Proc.SIGGRAPH96,1996,21−30)に詳細に説明されている。
なお、ここでは、ステップS3101からステップS3105の切り替え映像生成処理を、ユーザからカメラの切り替え指示を受けてから行うものとして説明したが、上記処理のタイミングはこれに限定されるものではない。すなわち、システム管理者等が事前に設置してあるカメラのうち任意のカメラを2台の切り替え映像を生成することも可能である。この場合、全てのカメラ組で上述した切り替え映像生成処理を行い、切り替え映像生成部2904は生成した複数の切り替え映像を記憶する。そして、切り替え映像生成処理が終了する。
カメラ制御情報送受信部124は、キャリブレーション位置記憶部2903がキャリブレーション部2902から受けたキャリブレーション後の切り替え前および切り替え後のカメラの撮影方向情報を取得する(ステップS3004)。次いで、カメラ制御情報送受信部124は、この撮影方向情報に基づいて切り替え前および切り替え後のカメラの撮影方向を変更する(ステップS3005)。そして、切り替え映像生成部2904は、カメラ制御情報送受信部124がカメラの撮影方向を変更制御した後、切り替え映像をカメラ映像切り替え部121に与える。カメラ映像切り替え部121は、この切り替え映像を映像表示部122に与える(ステップS3006)。そして、映像表示部122は、モニタ130にこの切り替え映像を表示する(ステップS3007)。そして、カメラ制御情報送受信部124は、取得しておいた撮影方向を変更する前のカメラの撮影方向により、カメラの撮影方向を変更制御する前の状態に戻す。
一方、ステップS3002において、切り替え映像生成要否判断部2901が切り替え映像を生成しないと判断した場合、実施の形態2で説明したように切り替え後のカメラのズーム倍率の広角処理を進める(ステップS3008)。
このように、本実施の形態5によれば、実施の形態1から4の効果に加え、カメラの設置位置に応じて、切り替え映像生成部2904が切り替え前および切り替え後のカメラの映像の中間映像となる切り替え映像を生成するので、ユーザは直感的に切り替え後の映像の撮影方向を把握することができる。
なお、本実施の形態5において、カメラ制御装置120が切り替え映像を生成するような構成として説明したが、本発明は、この構成に限定されるものではない。例えば、図33に示すように、キャリブレーション部2902、キャリブレーション位置記憶部2903および切り替え映像生成部2904等を有する切替映像生成装置3300として独立させ、インターネット等のネットワークを介してカメラ100a〜100nおよびカメラ制御装置120と結ぶような構成にしてもよい。
この場合の、切替映像生成装置3300の構成の一例を図34に示す。システム管理者は、設置したカメラのうちの2台のカメラの撮影方向が同じ目標物を向くように、カメラ制御指示受信部123を介してカメラ制御情報送受信部124に指示する。カメラ制御情報送受信部124はネットワークを介してカメラの撮影方向を変更制御する。また、カメラ映像受信部3301は、ネットワークを介してカメラ制御情報送受信部124が撮影方向を変更制御したカメラの映像を取得し、キャリブレーション部3302に与える。キャリブレーション部3302は、この2台のカメラの映像からキャリブレーションを行い、キャリブレーション結果を切り替え映像生成部3303に与える。切り替え映像生成部3303は、このキャリブレーション結果から2台のカメラの映像の中間状態を表示する切り替え映像を生成する。また、キャリブレーション位置記憶部3304は、キャリブレーション後の、2台のカメラの撮影方向を記憶する。
また、本実施の形態5のカメラ制御装置120の構成は、この構成に限定されるものではなく、上述した実施の形態1から実施の形態4のカメラ制御装置120のいずれにも適用することが可能である。
本明細書は、2005年1月25日出願の特願2005−016475に基づく。この内容は、すべてここに含めておく。
本発明に係るカメラ制御装置およびカメラ制御装置のズーム倍率制御方法は、ユーザがカメラを選択した際に、ユーザが選択後のカメラの映像自体を見ただけでカメラの撮影方向およびズーム倍率などを直感的に把握することができるとともに、ユーザが映像を閲覧するためのカメラの制御を即座に開始できるという効果を有し、不特定多数のユーザが複数の遠隔操作できるカメラ映像を閲覧する遠隔モニタリングシステムなどとして有用である。
本発明は、カメラ制御装置およびこのカメラ制御装置におけるズーム倍率制御方法に関し、特に複数のカメラを制御し、この複数のカメラの1つないし複数の映像を表示するカメラ制御装置およびこのカメラ制御装置におけるズーム倍率制御方法に関するものである。
近年、ISDN、ADSLのようなネットワークのデジタル化が進むに伴い、以前のアナログのものと比べて帯域が広くなり、ネットワークに映像データを送受信するシステムが急速に広まっている。このシステムの1つに、遠隔に設置された複数のカメラの映像を一箇所で閲覧することが可能な遠隔モニタリングシステムがある。このような遠隔モニタリングシステムでは、閲覧者が閲覧しているカメラ映像のうち1つを選択して、選択したカメラ映像の撮影方向を制御可能としたものが一般的である。
この一般的な遠隔モニタリングシステムの画面例を図1に示す。図1に示す遠隔モニタリングシステムの画面10は、遠隔に設置された複数のカメラの映像を表示する映像表示領域11と、設置された複数のカメラの中から映像を表示するカメラを選択するカメラ選択領域12と、カメラ選択領域12で選択されたカメラを制御するカメラ制御領域13とからなる。映像を閲覧しているユーザは、カメラ選択領域12に表示されている中から見たい場所を、アイコン14をクリックすることでカメラを切り替えて閲覧することができる。
このような遠隔モニタリングシステムの構成を図2に示す。図2に示す遠隔モニタリングシステムは、遠隔に設置された複数のカメラ20a〜20nと、カメラ20a〜20nからの映像を受信して再生するとともにカメラ20a〜20nの撮影方向およびズーム倍率などを制御するカメラ制御装置21と、カメラ映像を表示するモニタ22と、カメラ20a〜20nの制御および表示する映像を指示するマウスなどのポインティングデバイス23とからなる。
カメラ制御装置21は、複数のカメラ20a〜20nの映像を受信してユーザの指示により映像を切り替えるカメラ映像切り替え部24と、カメラ20a〜20nの映像をモニタ22に表示する映像表示部25と、表示するカメラ映像を切り替えるとともにカメラの撮影方向およびズーム倍率などを制御するユーザからの命令を受信するカメラ制御指示受信部26と、カメラ20a〜20nに制御の指示を出すとともにカメラ映像切り替え部24に表示する映像の切り替えの指示を出すカメラ制御部27とで構成されている。
このような遠隔モニタリングシステムでは、ユーザは、複数のカメラ20a〜20nの中から閲覧したいカメラ20a〜20nを、図1に示すカメラ選択領域12の中からポインティングデバイス23により指定する。そして、カメラ制御指示受信部26は、ユーザからの制御の指示を受信してカメラ制御部27に伝える。カメラ制御部27は、以降カメラ制御指示受信部26から受信するカメラ制御の指示がユーザから指定されたカメラに対するものであることを記憶するとともに、カメラ映像切り替え部24に対してモニタ22に表示するカメラの映像の切り替えを指示する。そして、カメラ映像切り替え部24は、カメラ制御部27から指示を受けた映像を映像表示部25に送信し、映像表示部25はこの映像をモニタ22に表示する。
図1は、複数のカメラ20a〜20nの映像のうち1つのカメラの映像のみ表示する構成の場合であるが、図3に示すように複数のカメラの映像を同時に表示するモニタリングシステムもある。このような表示方法の場合では、カメラ1台あたりの映像の表示領域が小さくなるので映像の詳細部分を閲覧できない弱点があるが、ユーザは、見たいと思った映像を、この映像に切り替える指示を出すことなくユーザの目線を移動させるだけで閲覧することが可能となる。この場合、ユーザは制御したいカメラを選択するために、図1のカメラ選択領域12の代わりに表示されている映像30自体をクリックするものが一般的である。
また、複数存在するカメラのうち1台のカメラを選択する方法として、図4に示すように、カメラが配置してある場所を地図とともにアイコンで表示し、ユーザはその地図中に存在するアイコンを選択するものもある(例えば、特許文献1参照)。
図4に示すカメラ制御装置は、カメラが配置されている場所にアイコン41を表示した地図40と、選択したカメラ映像を表示する映像表示領域42と、選択したカメラを制御するカメラ制御領域43とを有する。そして、カメラの撮影方向とともに視野が表示される地図40上のアイコン41を選択し、視野の境界線やカメラの撮影方向を表す直線をポインティングデバイスで制御することにより、ユーザは見たい映像を表示させることができる。
図5は、前記従来方法でカメラを切り替えた時の、切り替え前後のカメラ映像の状況を示す概略図である。図5Aは切り替え前のカメラ映像の状態を示し、図5Bはユーザがアイコン50をポインティングデバイスなどをクリックすることにより、指示したカメラに映像が切り替わった瞬間のカメラ映像を示している。
特開平9−289607号公報
ネットワークを通して遠隔のカメラの映像を閲覧するシステムとして、ある決まった地点を限られた人間のみが閲覧できる監視システムのような用途と、不特定多数の人間が公開されているカメラの映像を見るwebカメラシステムのような用途とが主に考えられる。これらのうち、監視システムの用途のカメラ映像の場合には、カメラ映像を閲覧する人間は1日に1回または1時間に1回など定期的に映像を閲覧しているため、当該映像を閲覧している人間はカメラを切り替えた瞬間に現在カメラがどの方向を向いているかを、このカメラの映像を見て瞬時に判断することができる。
しかしながら、webカメラシステムのような用途のカメラ映像の場合には、映像を閲覧するユーザはカメラ映像を定期的に見ていないため、また不特定多数のユーザがそれぞれ別のカメラ映像を閲覧して、閲覧するユーザごとにカメラの撮影方向およびズーム倍率などを自由に変えることが可能であるため、デフォルトの位置を当該カメラが撮影しているとは限らない。そのため、たとえユーザが過去に閲覧したことのあるカメラ映像でも、カメラを選択して図5Aに示す状態から図5Bに示す状態に映像が切り替わった時には、ユーザはカメラがどの方向を撮影しているのか、映像を見ただけでは直感的に判りづらいという課題がある。
さらに、撮影方向を把握できない場合には、ユーザは選択したカメラで閲覧したい場所を撮影するためにどのような制御を行えばよいかすぐに理解できず、最終的に閲覧したい場所にカメラの制御を完了するまでに時間を要してしまう。
例えば、図3に示すように複数のカメラ映像が同時に表示されている場合には、複数のユーザがそれぞれのカメラにアクセスしてカメラの制御を行うため、個々のカメラは時間が経過するごとに撮影方向が変わっている。従って、ユーザは、目線を移して別のカメラ映像を見た瞬間、当該カメラがどの方向を向いているのか直感的に判りづらいという課題がある。
また、図4に示すようにカメラの撮影方向やズーム倍率が画面上に表示されている場合においては、ユーザが最終的に閲覧したい映像だけではなく、地図表示領域40と映像表示領域42を交互に見ながらカメラ制御を行うため、定期的にシステムを利用していないユーザは、映像上でどの方向を撮影しているかを直感的に理解するために時間を要するという課題がある。
また、前記特許文献1においては、ユーザは地図表示領域40を見て視野を制御し、カメラ映像を見てユーザが望む撮影方向およびズーム倍率であるかを確認し、地図表示領域40を再度見て調整を行うという繰り返し操作が必要であるため、ユーザが閲覧したい撮影方向にカメラを向けるまでに時間を要するという課題がある。
本発明の目的は、映像が切り替わった時に、ユーザがカメラの撮影方向およびズーム倍率を直感的に把握することができるとともに、ユーザが映像を閲覧するためのカメラの制御を即座に開始することができるカメラ制御装置およびこのカメラ制御装置のズーム倍率制御方法を提供するものである。
本発明のカメラ制御装置は、複数のカメラを制御し、前記複数のカメラの1つないし複数の映像を表示するカメラ制御装置であって、ユーザから切り替え指示されたカメラの映像に切り替える映像切り替え手段と、前記切り替え指示されたカメラのズーム倍率を取得し、前記映像切り替え手段の切り替え前に前記カメラのズーム倍率を前記取得したズーム倍率より低い基準倍率に変更し、切り替え後に前記カメラのズーム倍率を前記基準倍率から前記取得したズーム倍率に変更するズーム倍率制御手段と、前記映像切り替え手段が切り替えた前記カメラの映像を表示する映像表示手段と、を具備する構成を採る。
本発明によれば、映像が切り替わった時に、ユーザがカメラの撮影方向およびズーム倍率を直感的に把握することができるので、ユーザは、映像を閲覧するためのカメラの制御を即座に開始することができる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図6は、本発明の実施の形態1におけるカメラ制御装置を含む遠隔モニタリングシステムの一例を示す構成図である。この遠隔モニタリングシステムは、遠隔に設置された複数のカメラ100a〜100nと、このカメラ100a〜100nからの映像を受信して再生するとともにカメラ100a〜100nの撮影方向およびズーム倍率などを制御するカメラ制御装置120と、このカメラ制御装置120から送られるカメラ映像を表示するモニタ130と、カメラ制御装置120にカメラ100a〜100nの制御および表示する映像を指示するマウスなどのポインティングデバイス140とを有している。ここで、カメラ100a〜100n、モニタ130およびポインティングデバイス140は、例えばインターネット等のネットワークを介してカメラ制御装置120と結ばれている。
図6に示すように、カメラ制御装置120は、遠隔に設置された複数のカメラ100a〜100nの映像のうち1つないし複数の映像を切り替えるカメラ映像切り替え部121と、カメラ映像切り替え部121が切り替えた映像を表示する映像表示部122と、ポインティングデバイス140の指示を受信するカメラ制御指示受信部123と、カメラの撮影方向およびズーム倍率を制御する指示をカメラ100a〜100nに出すとともに、カメラ100a〜100nの現在の撮影角度、撮影方向およびズーム倍率等を問い合わせて受信するカメラ制御情報送受信部124と、カメラ100a〜100nのズーム倍率を決定するズーム倍率調節部125と、カメラ100a〜100nのズーム倍率を記憶するズーム倍率記憶部126とを有している。
そして、カメラ制御装置120は、複数のカメラ100a〜100nの映像を受信し、そのうちの1つのカメラの映像をモニタ130に表示する。モニタ130に表示されるカメラの映像は、カメラ制御装置120に接続されたマウスなどのポインティングデバイス140によって指定される。また、ポインティングデバイス140でカメラの撮影地点、撮影方向およびズーム倍率を指示すると、カメラ制御装置120はポインティングデバイス140によって表示を指示されたカメラに、当該カメラを制御するカメラ制御信号を送信する。カメラ100a〜100nに接続された撮影方向ズーム制御機器110a〜110nは、カメラ制御装置120から送信されたカメラ制御信号を受信し、カメラ100a〜100nの撮影地点、撮影方向およびズーム倍率を制御する。
次に、モニタ130に表示されるカメラ映像およびカメラ制御アイコンの例を図7に示す。モニタ130には、映像表示領域210と、カメラ指定領域220と、カメラ制御アイコン表示領域230とが表示される。なお、図7には、映像表示領域210に複数設置したカメラ100a〜100nのうち1つのカメラの映像を表示する例を示したが、カメラ100a〜100nのうちの複数ないし全てのカメラの映像を表示してもよい。カメラ指定領域220には、複数のカメラが設置してある場所を説明する言葉と、当該カメラを指定するアイコン221とが表示される。モニタ130を見てカメラの指示および制御を行うユーザは、このアイコン221をポインティングデバイス140でクリックすることにより映像表示するカメラ100a〜100nを選択する。また、ユーザは、アイコン221で指定したカメラ100a〜100nを、カメラ制御アイコン表示領域230に表示された上下左右、ズームインおよびズームアウトアイコンによって制御することができる。
次に、カメラ制御装置120がカメラ100a〜100nのズーム倍率を制御する動作の流れについて、図8を用いて説明する。
図8は、本実施の形態において、ユーザからカメラの映像の切り替え指示がされた時のカメラ制御装置120のカメラ制御動作の流れを示したフロー図である。
カメラ制御装置120内のカメラ制御指示受信部123がポインティングデバイス140によってユーザからカメラの切り替え指示を受けると、カメラ制御情報送受信部124は、ユーザに指示されたカメラの現在のズーム倍率をカメラに接続された撮影方向ズーム倍率制御機器110に問い合わせる(ステップS301)。カメラ制御情報送受信部124は、撮影方向ズーム倍率制御機器110からカメラの現在のズーム倍率を受信すると、このズーム倍率をズーム倍率記憶部126に記憶させる(ステップS302)。ズーム倍率記憶部126は、ズーム倍率の記憶が完了すると、記憶が完了したことをズーム倍率調節部125に伝える。ズーム倍率調節部125は、ズーム倍率記憶部126からズーム倍率の記憶が完了した時点で、カメラのズーム倍率をズーム倍率記憶部126に記憶されたズーム倍率から最も広角なズーム倍率にするようにズーム倍率の調節指示を、カメラ制御情報送受信部124を経由してカメラに接続された撮影方向ズーム倍率制御機器110に送信する(ステップS303)。ここで、カメラの最も広角なズーム倍率は、例えば、カメラを設置する際にズーム倍率調節部125がカメラのズーム倍率の稼動範囲をあらかじめ記憶しておくか、またはカメラ制御情報送受信部124が、前記カメラにズーム倍率を問い合わせた際の応答として、撮影方向ズーム倍率制御機器110から当該カメラの現在のズーム倍率のほかに、当該カメラのズーム倍率の稼動範囲を同時に取得しておく。そして、撮影方向ズーム倍率制御機器110がカメラ制御情報送受信部124から指示されたカメラのズーム倍率の調整を完了すると、カメラに接続された撮影方向ズーム倍率制御機器110はズーム倍率の調整が完了したことをカメラ制御情報送受信部124に伝える。カメラ制御情報送受信部124は、カメラのズーム倍率調整完了の通知を受信すると、カメラ映像切り替え部121にカメラ映像の切り替えを指示する(ステップS304)。この時点で、映像表示部122を介してモニタ130に表示される映像は、ユーザが指定した映像に切り替わる。カメラ映像切り替え部121は、映像の切り替えが完了すると、映像切り替えが完了したことをズーム倍率調節部125に通知する。ズーム倍率調節部125は、カメラ映像切り替え部121から映像切り替えが完了した通知を受信すると、ズーム倍率記憶部126に記憶されているカメラのズーム倍率を広角にする以前のズーム倍率を問い合わせる。そして、ズーム倍率調節部125は、最も広角なズーム倍率で撮影しているカメラのズーム倍率を、広角にする以前のズーム倍率に変更するように、カメラ制御情報送受信部124を通じてカメラを制御する(ステップS305)。すなわち、ズーム倍率調節部125は、切り替え後のカメラのズーム倍率を、ステップS302でカメラ制御情報送受信部124がズーム倍率記憶部126に記憶させたズーム倍率に戻すように、カメラ制御情報送受信部124を介して切り替え後のカメラに接続された撮影方向ズーム倍率制御機器110に制御信号を送る。
このような流れにより、カメラ制御装置120は、カメラ映像の切り替えをユーザに指示された時、その切り替えを指示されたカメラのズーム倍率の制御を行うことができる。
なお、図8の説明においては、ズーム倍率調節部125が調節するズーム倍率を最も広角にするものとして説明したが、本発明はこれに限定されるものではない。すなわち、ズーム倍率調節部125は、ユーザが切り替え後のカメラの映像を見ただけで直感的にこのカメラの撮影方向およびズーム倍率を把握し、カメラの映像がどこを撮影しているものなのかがわかる程度に、所定範囲だけズーム倍率を広角に、すなわち低倍率に変更すればよい。
すなわち、カメラ制御指示受信部123がユーザからのカメラ100a〜100nの切り替え指示を受信したら、カメラ制御情報送受信部124は当該切り替え指示されたカメラの現在のズーム倍率を取得して、ズーム倍率記憶部126は、カメラ制御情報送受信部124が取得したカメラのズーム倍率を記憶する。ズーム倍率調節部125は、切り替え指示されたカメラのズーム倍率を、ズーム倍率記憶部126が記憶したカメラのズーム倍率から広角の状態に、つまり、記憶されたズーム倍率より低い所定のズーム倍率に変更する。そして、カメラ映像切り替え部121でカメラ映像が切り替えられたら、ズーム倍率調節部125は、広角に変更されたカメラのズーム倍率をズーム倍率記憶部126が記憶したズーム倍率に戻す。これにより、ユーザは切り替え後のカメラの映像を見ただけでこのカメラの撮影方向およびズーム倍率を直感的に把握することが可能であり、所望の撮影方向およびズーム倍率に変更する場合には当該カメラの制御を即座に開始することができる。
図9は、本実施の形態におけるカメラ制御装置120がカメラ映像の切り替えを行った際の、モニタ130に表示される画面の例を示す図である。ここで、図9Aは、ユーザがカメラ映像の切り替えを指示する前のモニタ130の画面例である。まず、図9Bに示すように、ユーザは、所望の映像を表示するカメラの設置位置が示されたアイコン401をポインティングデバイス140でクリックすることにより、カメラ映像の切り替えを指定する。このユーザのカメラ指定により、前述した流れで、カメラ制御装置120はユーザが指定したカメラのズーム倍率を制御する。図9Cは、図8のステップS304においてカメラ映像を切り替えた時点でのカメラ映像の表示例を示している。この時点で、モニタ130には、図9Bでユーザにより指定されたカメラの映像が表示されているが、カメラのズーム倍率は最も広角に撮影できるように調節されている。その後、図9Dに示す画面の例のように、図9Cで表示された最も広角で撮影されたカメラ映像の倍率は、ズームアップして、ユーザがカメラの切り替えを指示した時のカメラのズーム倍率状態に戻る。すなわち、ズーム倍率は、図8のステップS302で示すようにズーム倍率記憶部126が記憶しているズーム倍率に戻る。
これにより、ユーザは、切り替え指示したカメラが撮影している撮影方向およびズーム倍率を、カメラ映像から直感的に判断することが可能となる。
なお、ユーザに切り替え後のカメラの撮影位置を映像を見ただけでより直感的に理解させるために、ズーム倍率調節部125は、モニタ130に表示されているカメラ映像のフレームレートに基づいてズーム倍率を変更する速度を調節することもできる。すなわち、ズーム倍率調節部125は、図9Cから図9Dへのズーム倍率調整の動きを滑らかに見せるように調節してもよい。この場合のカメラ制御装置120の構成は、図10に示す構成になる。
図10に示すカメラ制御装置120の構成は、図6に示すカメラ制御装置120の映像表示部122が表示している映像のフレームレート情報をズーム倍率調節部125に送信するようにしたものであり、その他の構成は図6の構成と変わらない。図10において、カメラ映像切り替え部121は、カメラ100a〜100nから受信している映像フレームをズーム倍率調節部125に通知し、ズーム倍率調節部125はカメラ切り替え部121から受けた映像フレームからフレームレート情報を取得する。また、カメラ制御装置120の処理能力の都合でカメラ映像切り替え部121が受信した映像データをすべて表示できない場合は、映像表示部122が表示しているフレームレート情報をズーム倍率調節部125に送信し、ズーム倍率調節部125は映像表示部122から受けたフレームレート情報を取得するようにしてもよい。いずれの場合でも、ズーム倍率調節部125がモニタ130に表示されている映像のフレームレートを参照して、ズーム倍率の変更速度を調整する処理方法は変わらない。
次に、モニタ130に表示される映像のフレームレートを参照して、ズーム倍率調節部125がズーム倍率調節の速度を変更する例を説明する。
カメラ映像切り替え部121の受信した映像のフレームレート、または映像表示部122がモニタ130に表示する映像のフレームレートをNfpsとする。ここで、fpsはframe per secの略であり、1秒間に表示できる映像フレームの枚数を示す。また、ここで、ズーム倍率調節部125がカメラのズーム倍率を変更するスピードは、映像を見ているユーザがすぐに前記カメラを操作したいか、またはズーム倍率の調整をより滑らかに閲覧したいかにより異なるが、本実施の形態1では映像フレームが変わるごとにズーム倍率がM倍ずつ増えて滑らかな動きを表現するものとして説明する。この場合、前記Mの値は、ズーム倍率調節部125があらかじめ持っているとする。そして、ズーム倍率調節部125は、カメラのズーム倍率を変化させるスピードK(倍/秒)を以下式(1)に設定して、ズーム倍率を変更するスピードを調節する。
これにより、より滑らかにズーム倍率を変更している映像をユーザに提示することができるので、カメラの撮影位置、撮影方向およびズーム倍率をより直感的に理解させることが可能となる。
なお、カメラの切り替える際に、カメラ制御装置120は、切り替え後のカメラを自動的に制御していることをユーザに提示するようにしてもよい。この場合のカメラ制御装置120は、図11に示す構成になる。
図11に示すカメラ制御装置120の構成は、図6に示すカメラ制御装置120の構成にカメラ制御情報表示部601を加えたものであり、その他の構成は図6の構成と変わらない。図11において、カメラ制御情報送受信部124がカメラ映像切り替え部121に映像切り替えを指示した後、カメラ制御情報送受信部124を通じて、カメラ制御情報表示部601は、切り替え後のカメラのズーム倍率をズーム倍率記憶部126が記憶したズーム倍率に戻していることをモニタ130に表示する。その例を図12に示す。
図12において、モニタ130には、カメラ制御装置120が切り替え後のカメラのズーム倍率を変更中であることを示す、例えば「ズーム倍率制御中」というメッセージ701が表示されている。なお、メッセージの表示場所および表示方法は、ここで説明したものに限られず、切り替え後のカメラのズーム倍率がユーザの手を介さず自動的に動いていることがユーザにわかるように提示されていれば、どのような方法でもよい。
以上のように、本実施の形態1によれば、ユーザが表示するカメラ映像を切り替えた場合に、ズーム倍率調節部125がカメラのズーム倍率を最も広角にしてからユーザがカメラ映像を選択した時のズーム倍率に戻すことにより、ユーザは、カメラの設置位置、撮影方向およびズーム倍率を、映像を見て直感的に理解することができる。
なお、本実施の形態1おいては、ズーム倍率調節部125が調節するズーム倍率を最も広角にするものとして説明したが、本発明はこれに限定されるものではない。すなわち、ズーム倍率調節部125は、ユーザがカメラの映像を見ただけで直感的にカメラの撮影方向およびズーム倍率を把握し、切り替え後のカメラの映像がどこを撮影しているのかがわかる程度に、ズーム倍率を広角に、すなわち低倍率に変更すればよい。
このように、本実施の形態1によれば、ズーム倍率調節部125は、カメラ映像切り替え部121がユーザの切り替え指示したカメラの映像に切り替える前に、当該カメラのズーム倍率を記憶部126に記憶した倍率よりも広角のズーム倍率、すなわち、記憶したズーム倍率より低い基準倍率に変更する。そして、カメラの映像の切り替え後に、ズーム倍率調節部125は、前記カメラのズーム倍率を基準倍率からズーム倍率記憶部126が記憶したズーム倍率に戻すことにより、ユーザは映像を見ただけでカメラの撮影方向およびズーム倍率を直感的に把握することができるとともに、所望の撮影方向およびズーム倍率に変更する場合に当該カメラの制御を即座に開始することができる。
(実施の形態2)
本発明の実施の形態2のカメラ制御装置120の構成図を図13に示す。図13のカメラ制御装置120は、図6におけるカメラ制御装置120に、カメラのズーム倍率に加えて撮影方向も制御可能な撮影方向調節部801を追加し、ズーム倍率記憶部126の代わりにカメラのズーム倍率に加えて撮影方向も記憶可能な撮影方向ズーム倍率記憶部802を有する。その他の構成は、図6に示す実施の形態1のカメラ制御装置120の構成と変わらないため、同じ構成には同じ符番を付し詳細な説明は省略する。また、モニタ130に表示される画面の構成も実施の形態1のものと変わらない。
次に、本実施の形態のカメラ制御装置120のカメラ制御動作の流れを説明する。本実施の形態において、ユーザがカメラを選択して映像を切り替える際、撮影方向ズーム倍率記憶部802が切り替え後のカメラ、つまりユーザが切り替え指示したカメラのズーム倍率を記憶して、ズーム倍率調節部125が当該カメラのズーム倍率を記憶されたズーム倍率から最も広角に撮影できるズーム倍率に変更するまでの動作は、上記実施の形態1と同様である。すなわち、カメラ制御指示受信部123がユーザからカメラの切り替え指示を受けると、カメラ制御情報送受信部124は、ユーザに指示されたカメラの現在のズーム倍率をカメラ100a〜100nに接続された撮影方向ズーム倍率制御機器110a〜110nに問い合わせる。そして、カメラ制御情報送受信部124がこのズーム倍率を受信し、撮影方向ズーム倍率記憶部802に記憶させる。撮影方向ズーム倍率記憶部802は、カメラ制御情報送受信部124から受けたズーム倍率を記憶する。撮影方向ズーム倍率記憶部802がズーム倍率の記憶を完了した後、ズーム倍率調節部125は、ユーザから切り替え指示されたカメラのズーム倍率を記憶されたズーム倍率から最も広角なズーム倍率に変更し、カメラ制御情報送受信部124を経由してこのカメラのズーム倍率を制御する。この動作の流れは、図8におけるステップS301〜ステップS303に相当する。そして、ズーム倍率調節部125が、切り替え後のカメラ、つまりユーザから切り替え指示されたカメラのズーム倍率を記憶されたズーム倍率から最も広角に撮影できるズーム倍率に変更した後、撮影方向調節部801は、切り替え前のカメラの撮影方向を切り替え後のカメラ、つまりユーザから切り替え指示を受けたカメラの撮影位置および撮影範囲にできるだけ近づけるように自動的に制御する。以下、図14に示す流れに沿って、切り替え前のカメラの撮影方向の制御方法について詳細に説明する。
まず、ズーム倍率調節部125が、切り替え後のカメラ、つまりユーザから切り替え指示されたカメラのズーム倍率を記憶されたズーム倍率から最も広角のズーム倍率に変更した後、カメラ制御情報送受信部124は、ズーム倍率が最も広角な状態に変更された切り替え後のカメラの撮影方向と画角とフォーカス距離とをカメラに接続された撮影方向ズーム倍率制御機器110に問い合わせる(ステップS901)。ここで、撮影方向は、カメラのパン・チルト角を表す。また、画角はズーム倍率とカメラ個々の性能とから求められる値である。カメラ制御情報送受信部124は、これらのパン・チルト角、画角およびフォーカス距離の情報を受信したら、これらの情報を撮影方向ズーム倍率記憶部802に記憶させる(ステップS902)。撮影方向ズーム倍率記憶部802がパン・チルト角、画角およびフォーカス距離の情報の記憶を完了したら、撮影方向調節部801は、撮影方向ズーム倍率記憶部802が記憶したパン・チルト角、画角およびフォーカス距離の情報と、切り替え前のカメラの設置位置とから、切り替え前のカメラの回転すべき方向および画角を算出する(ステップS903)。ここで、切り替え前のカメラの設置位置は、切り替え前のカメラが設置された時点で撮影方向調節部801が記憶しておくか、または個々のカメラ100a〜100nの撮影方向ズーム倍率制御機器110a〜110nが設置位置を記憶しておき、例えばユーザからカメラ映像の切り替え指示があった時に、カメラ制御情報送受信部124が切り替え前のカメラ100a〜100nに別途問い合わせて取得する。
次に、切り替え前のカメラの回転すべき方向および画角を算出する方法を図15Aおよび図15Bを使って説明する。図15Aおよび図15Bは、切り替え前のカメラと切り替え後のカメラとを同じ座標平面上で空中から地面に向かって見た座標を示す図である。図15Aにおいて、切り替え前のカメラ1001のパン角度を1003とし、切り替え後のカメラ1002のパン角度を1004とする。また、切り替え後のカメラ1002の焦点を1005とする。カメラ制御情報送受信部124は、切り替え前のカメラ1001の座標、切り替え後のカメラ1002の座標、および、切り替え後のカメラ1002の回転角度1004をこれまでの処理(図14のステップS902)で既に取得済みである。ここで、切り替え前のカメラ1001の座標を(x1、y1)、切り替え後のカメラ1002の座標を(x2、y2)、切り替え後のカメラの回転角度1004をθ2とする。この時、撮影方向調節部801は、図15Bに示すように切り替え前のカメラ1001が切り替え後のカメラ1002の焦点1005に撮影方向が向くように、切り替え前のカメラ1001の撮影方向を制御する。
そして、切り替え後のカメラ1002から、この切り替え後のカメラ1002の焦点1005への距離は図14のステップS902で既にカメラ制御情報送受信部124によって取得されている。ここで、前記距離をdとすると、切り替え後のカメラ1002の焦点1005の座標(x
2f、y
2f)はそれぞれ、以下の式(2)と表すことができる。
これより、図15Bに示すように、切り替え前のカメラ1001が切り替え後のカメラ1002の焦点1005の方向を撮影するための撮影方向1006とのなす角度をθ
1fとすると、以下の式(3)と表すことができる。
そして、撮影方向調節部801は、切り替え前のカメラ1001の撮影方向が角度θ1fとなるように、カメラ制御情報送受信部124を通じて切り替え前のカメラ1001の撮影方向を制御する。これにより、切り替え前のカメラの撮影方向が切り替え後のカメラの撮影方向、つまり、切り替え後のカメラの映像に近づくので、カメラが切り替わった場合に、ユーザは切り替え後の映像を見た時の違和感を軽減できるともに、この映像を見ただけでより直感的にカメラの撮影位置および撮影方向を把握することができる。
次に、切り替え前のカメラの画角を算出する方法を図16に示す。図16に示すように、切り替え前のカメラ1001と切り替え後のカメラ1002とが同じ地点を撮影している時の切り替え後のカメラ1002の撮影範囲1102と、切り替え前のカメラ1001の撮影範囲1101とが同じ長さになるように、切り替え前のカメラ1001の画角1103を調節する。切り替え後のカメラ1002の画角θ
2gは、カメラ制御情報送受信部124で既に取得されており(図14のステップS902)、切り替え後のカメラの撮影範囲1102の長さlenは、以下の式(4)と表すことができる。
これより、切り替え前のカメラ1001の画角θ
1gは、以下の式(5)となる。
次に、式(5)に式(4)を代入し、以下の式(6)と表すことができる。
そして、撮影方向調節部801は、切り替え前のカメラ1001の画角を上記式(6)で表されるθ1gに調節する。これにより、切り替え前のカメラの倍率が切り替え後のカメラの倍率、つまり、切り替え後のカメラの撮影範囲に近づくので、カメラが切り替わった場合に、ユーザは切り替え後の映像を見た時の違和感を軽減できるともに、この切り替え後の映像を見ただけでより直感的にカメラの撮影位置、撮影方向および撮影範囲等を把握することができる。
なお、本実施の形態では切り替え前のカメラ1001の撮影方向のパン(水平方向)角成分の算出方法について説明したが、同様に切り替え前のカメラおよび切り替え後のカメラを真横から水平方向に見た図を使用して、切り替え前のカメラの撮影方向のチルト(垂直方向)角成分を算出することも可能である。
そして、撮影方向調節部801は、上述した流れにより算出した切り替え前のカメラの撮影方向およびズーム倍率になるように、カメラ制御情報送受信部124を経由して切り替え前のカメラを制御する(ステップS904)。カメラ制御情報送受信部124は、カメラの制御が完了したことを切り替え前のカメラから受信したら、カメラ映像切り替え部121に対して、モニタ130に表示している映像の切り替えを指示する(ステップS905)。その後、切り替え後のカメラのズーム倍率を元に、つまり、撮影方向ズーム倍率記憶部802に記憶されたズーム倍率に戻すまでの流れは、実施の形態1の場合と同様である。これは、図8の流れ図におけるステップS305に相当する。
以上のように、ユーザが見たいカメラ映像が選択された時、カメラ制御装置120は、切り替える前の映像を撮影しているカメラと、ユーザが指定した切り替え後のカメラとをそれぞれ自動的に制御する。
図17は、本実施の形態において切り替え前のカメラと切り替え後のカメラとがそれぞれ制御された場合の、モニタ130に表示される映像の表示例を示す図である。
図17Aには、切り替え前のカメラ映像が表示されている。ユーザがカメラ映像を切り替えるためにアイコン1201をクリックすると、画面はこの状態から図17Bに示す画面1202のようになる。この時、映像は選択したカメラに切り替わっておらず、図14のステップS901からステップS905で説明したように、撮影方向調節部801は、今まで表示していた映像を撮影しているカメラ、つまり切り替え前のカメラが、切り替え後のカメラの視野にできるだけ近づくように撮影方向およびズーム倍率の変更を行う。そして、切り替え前のカメラの制御が完了すると、図17Cに示すようにユーザが指定したカメラの映像に切り替わる。この時、切り替え前のカメラの映像の視野と切り替え後のカメラの映像の視野とが類似しているので、図18に示すように、ポップアップウィンドウを用いてカメラが切り替わったことを、例えば「映像が切り替わりました」というメッセージ1301による表示によりユーザに提示してもよい。画面が切り替わった後、図17Dのように、ズーム倍率を元に戻すことで、切り替え前および切り替え後のカメラの制御動作が完了する。
なお、ユーザがカメラを切り替えるように指示した際に、撮影方向ズーム倍率記憶部802が切り替え前のカメラの撮影方向およびズーム倍率を記憶しておき、カメラの切り替えが終了した後に、撮影方向調節部801が切り替え前のカメラの撮影方向およびズーム倍率を撮影方向ズーム倍率記憶部802に記憶されている元の撮影方向およびズーム倍率に戻すようにしてもよい。
また、本実施の形態では、ユーザが映像の切り替えを指示した時に切り替え前のカメラが切り替え後のカメラの視野に近づくように撮影方向を制御するカメラ制御方法について説明したが、切り替え前のカメラと切り替え後のカメラとが上記の説明と逆の動きを行っても同様の効果を得ることができる。すなわち、ユーザがカメラの映像の切り替えを指示したら、撮影方向調節部801が、切り替え後のカメラの撮影方向およびズーム倍率を切り替え前のカメラと同じ方向を撮影し、かつ類似した視野になるように制御する。その後、カメラ映像切り替え部121がモニタ130に表示する映像を切り替え後のカメラの映像に切り替えたら、撮影方向調節部801は、切り替え後のカメラの視野を撮影方向ズーム倍率記憶部802が記憶している撮影方向およびズーム倍率に戻す。
この場合のカメラ制御装置の構成は図8のカメラ制御装置120と同じ構成でよいが、撮影方向ズーム倍率記憶部802が、切り替え前のカメラの撮影方向、ズーム倍率およびフォーカス距離と、切り替え後のカメラの撮影方向およびズーム倍率とを記憶する点と、撮影方向調節部801が切り替え後のカメラを切り替え前のカメラの視野に合わせるように制御する動作を行う点とが異なる。
この場合の切り替え前のカメラおよび切り替え後のカメラの制御動作の流れを図19に示す。まず、ユーザからカメラの映像の切り替え指示があったら、カメラ制御情報送受信部124は、切り替え前のカメラおよび切り替え後のカメラ、つまりユーザから切り替え指示されたカメラの撮影方向およびズーム倍率をカメラに接続された撮影方向ズーム倍率制御機器110に問い合わせて、取得した撮影方向およびズーム倍率を撮影方向ズーム倍率記憶部802に記憶させる(ステップS1401)。同時に、撮影方向ズーム倍率記憶部802は、切り替え前のカメラのフォーカス距離も記憶する。そして、撮影方向ズーム倍率記憶部802の記憶が完了したら、撮影方向調節部801は切り替え後のカメラの撮影方向およびズーム倍率を、切り替え前のカメラの映像と類似するように切り替え後のカメラを制御する(ステップS1402)。この場合において、カメラの撮影方向およびズーム倍率の計算方法は、本実施の形態2で説明した方法と同様である。そして、切り替え後のカメラの撮影方向等の制御が完了したら、カメラ制御情報送受信部124は、カメラ映像切り替え部121に映像の切り替えを指示して映像を切り替える(ステップS1403)。映像の切り替えが完了したら、撮影方向調節部801は、映像の切り替えが完了したことをカメラ映像切り替え部121から受信して、切り替え後のカメラの撮影方向およびズーム倍率を、ステップS1401で撮影方向ズーム倍率記憶部802が記憶した撮影方向およびズーム倍率に戻すように制御する(ステップS1404)。
このような流れにより、撮影方向調節部801は、切り替え前のカメラの映像と切り替え後のカメラの映像とが近づくように制御する。
なお、本実施の形態において、実施の形態1の図11および図12に示すように、カメラ制御装置120は、切り替え前のカメラおよび切り替え後のカメラを自動で制御していることを画面に表示してもよい。この場合の構成を図20に示す。
図20に示すカメラ制御装置120の構成は、図13に示すカメラ制御装置120の構成に、図11のカメラ制御情報表示部601を加えたものであり、その他の構成は図13の構成と同様である。図11において、カメラ制御情報送受信部124がカメラ映像切り替え部121に映像切り替えを指示した後、カメラ制御情報送受信部124を通じて、カメラ制御情報表示部601は、切り替え後のカメラのズーム倍率を撮影方向ズーム倍率記憶部802が記憶したズーム倍率に戻していることをモニタ130に表示する。また、図12に示すように、本実施の形態2のカメラ制御装置120が切り替え後のカメラのズーム倍率を自動で制御していることを、例えば「ズーム倍率制御中」というメッセージ701等によりユーザに提示してもよい。
また、本実施の形態は、実施の形態1のようにカメラ映像切り替え部121が受信している映像のフレームレート、または映像表示部122が表示する映像のフレームレートを参照して、撮影方向調節部801が切り替え前のカメラのズーム倍率およびカメラの撮影方向を変更する速度を調節する構成にしてもよい。これにより、実施の形態1と同様に、ユーザにカメラの動き、つまりズーム倍率および撮影方向を変更する動作を映像で提示することができるので、より直感的にカメラの撮影方向をユーザに理解させることが可能となる。
以上のように、本実施の形態2によれば、ユーザが表示するカメラ映像を選択すると、ズーム倍率調節部125が選択されたカメラのズーム倍率を最も広角にしてから記憶部126に記憶されたズーム倍率に戻すように制御することに加えて、撮影方向調節部801がユーザの選択前に映像を表示していたカメラの撮影方向およびズーム倍率を切り替え後のカメラの撮影位置および撮影範囲にできるだけ同じになるように制御するので、映像が切り替わった直後に、ユーザはこの映像を見ただけで選択したカメラの設置位置、撮影方向およびズーム倍率をより直感的に理解することができる。すなわち、撮影方向調節部801は、切り替え前のカメラの撮影方向および撮影範囲を切り替え後のカメラの撮影方向および撮影範囲に近づけることにより、ユーザは切り替え後のカメラの映像を見た時の違和感を軽減することができる。従って、ユーザは切り替え後の映像を見ただけで、より直感的に、つまり、瞬時にカメラの撮影位置、撮影方向および撮影範囲を理解することができる。
なお、本実施の形態2おいては、ズーム倍率調節部125が調節するズーム倍率を最も広角にするものとして説明したが、本発明はこれに限定されるものではない。すなわち、ズーム倍率調節部125は、ユーザがカメラの映像を見ただけで直感的にカメラの撮影方向およびズーム倍率を把握し、切り替え後のカメラの映像がどこを撮影しているのかがわかる程度に、ズーム倍率を広角に、すなわち低倍率に変更すればよい。
すなわち、本実施の形態2によれば、ズーム倍率調節部125は、カメラ映像切り替え部121がユーザの切り替え指示したカメラの映像に切り替える前に、当該カメラのズーム倍率を記憶部126に記憶した倍率よりも広角のズーム倍率、すなわち、記憶したズーム倍率より低い基準倍率に変更する。撮影方向調節部801は、切り替え指示されたカメラの映像の撮影方向を特定する撮影方向情報および撮影範囲を特定する撮影範囲情報を取得し、この撮影方向情報および撮影範囲情報に基づいて切り替え前のカメラ、つまり、現在映像表示部121に表示されているカメラの映像の撮影方向および撮影範囲を、切り替え前のカメラの映像の撮影方向および撮影範囲にできるだけ同じに、つまり近づけるように変更する。そして、カメラの映像の切り替え後に、ズーム倍率調節部125は、前記カメラのズーム倍率を基準倍率からズーム倍率記憶部126が記憶したズーム倍率に戻すことにより、ユーザは映像を見ただけでカメラの撮影位置、撮影方向およびズーム倍率をより直感的に把握することができるとともに、所望の撮影方向およびズーム倍率に変更する場合に当該カメラの制御を即座に開始することができる。
(実施の形態3)
実施の形態1のカメラ制御装置120は、ユーザからカメラの映像の切り替え指示があった場合に、切り替え指示されたカメラのズーム倍率の記憶後、ズーム倍率を最も広角にすると説明した。本発明の実施の形態3のカメラ制御装置120は、切り替え後のカメラの撮影位置または撮影方向を特定するランドマークの画像情報を用いて、このズーム倍率を広角にする倍率変更の最適化処理を行う。
本発明の実施の形態3のカメラ制御装置120の構成図を図21に示す。図21のカメラ制御装置120は、図6におけるカメラ制御装置120に、各カメラの撮影範囲内に存在して、カメラの撮影位置または撮影方向を特定するランドマークの画像情報を登録するランドマーク登録部2101と、このランドマークの画像情報が切り替え後のカメラの映像内に存在するか否かを判断するランドマーク認識部2102とを追加してなる。その他の構成は、図6に示す実施の形態1のカメラ制御装置120の構成と変わらないため、同じ構成には同じ符番を付し詳細な説明は省略する。
次に、図22を用いて本実施の形態に係るカメラ制御装置120の動作を説明する。図22は、本実施の形態に係るカメラ制御装置120のカメラ制御動作を説明するフロー図である。なお、図22は、ステップ2201が図8のステップS303と異なるだけで、その他の動作は図8と同じであるため、同じ符番を付し詳細な説明を省略する。すなわち、本実施の形態3は、ステップS302でズーム倍率記憶部126がユーザに切り替え指示されたカメラのズーム倍率を記憶した後、ステップS2201でズーム倍率調節部125は、切り替え後のカメラのズーム倍率を最も広角にするのではなく、ランドマーク認識部2102の判断結果に基づいて切り替え後のカメラのズーム倍率の最適化処理を行う。そして、カメラ制御装置120は、ステップS304以降の動作に移行する。
次に、切り替え後のカメラのズーム倍率の最適化処理の一例について、図23を用いて詳細に説明する。図23は、切り替え後のカメラのズーム倍率の最適化処理の一例を説明するためのフロー図である。
まず、あらかじめユーザまたはシステム管理者は、ポインティングデバイス140によりオブジェクト等のランドマークを指定し、当該ランドマークの画像情報のテンプレートを抽出する。ここで、ランドマークは、各カメラ100a〜100nの撮影範囲内に存在し、カメラの撮影位置または撮影方向を特定するものであり、例えば、高さ、形状および色等に特徴を有するビル等の建物である。そして、ランドマーク登録部2101は、このランドマークの画像情報のテンプレートをランドマーク画像情報として登録して、ランドマーク認識部2102に与える(ステップS2301)。このランドマーク画像情報は、切り替え指示されたカメラの映像に当該ランドマークが映っているか否かを判別するための情報であり、具体的には、当該ランドマークの画像そのもの、色、輝、形およびエッジ情報などである。
そして、ランドマーク認識部2102は、ユーザからのカメラ切り替え指示があった時に、カメラ映像切り替え部121から、ランドマークの有無を検出するための対象となる切り替え指示されたカメラの映像を受信する。そして、ランドマーク認識部2102は、ズーム倍率調節部125でズームアウトされる、つまり、ズーム倍率記憶部126で記憶されたズーム倍率より低い基準倍率に変更される切り替え指示されたカメラの映像内を、ランドマーク登録部2101から受けたランドマーク画像情報が存在するか否かテンプレートマッチングする(ステップS2302)。このテンプレートマッチングは、あらかじめ画像情報等のテンプレートをデータベースに保存し、このテンプレートとの重なり具合および類似度の高低等を数値的に計算する、または輪郭および形状等の特徴成分を抽出して認識するものである。なお、このテンプレートマッチングは、例えば、高木、下田「画像認識ハンドブック」(東京大学出版会、p707)に詳細な説明がある。なお、ここでは、最も基本的な認識方法の一例であるテンプレートマッチングを行うが、この認識方法に限定されるものではなく、認識方法は様々である。また、本実施の形態3では、テンプレートの大きさに関しては言及していないが、大きさの変動に対応する、つまり、当該テンプレートとマッチングさせる画像との大きさが異なる場合に対応するマッチング手法も存在する。
ステップS2302においてマッチングが成功した場合には(ステップS2303)、つまり、切り替え指示されたカメラの映像内からランドマーク画像情報が検出された場合には、ランドマーク認識部2102は、ユーザがカメラの映像を見ただけで直感的にカメラの撮影方向およびズーム倍率を把握することができる程度にズーム倍率が広角にされたと判断する。そして、ランドマーク認識部2102は、ズーム倍率調節部125にズームアウト動作を停止するように指示し、ズーム倍率調節部125は、ズーム倍率の変更を停止する(ステップS2304)。そして、ズーム倍率の最適化処理を終了し、カメラ映像切り替え部121がカメラの映像を切り替えた時には(ステップS304)、ズーム倍率調節部125は、ランドマーク認識部2102の指示に基づいてズーム倍率調節の動作を停止した時のズーム倍率からズーム倍率記憶部126に記憶されたズーム倍率に戻すことになる(ステップS305)。
一方、ステップS2303でマッチングが成功しない場合には、ランドマーク認識部2102はズームアウト停止の指示をしない。従って、ズーム倍率調節部125は、ズームアウトを継続する(ステップS2305)。
このように、本実施の形態3によれば、ランドマーク認識部2102が切り替え指示されたカメラの映像内からランドマーク登録部2101で登録されたランドマーク画像情報が存在するか否かを判別する。そして、ランドマーク認識部2102は、当該ランドマークがあった場合には、ユーザがカメラの映像を見ただけで直感的にカメラの撮影方向およびズーム倍率を把握することができる程度にズーム倍率が広角にされたと判断し、ズーム倍率調節部125にズーム倍率変更の動作を停止するように指示する。これにより、ズーム倍率調節部125は、必要以上にズームアウトせず、ズーム倍率記憶部126に記憶されたズーム倍率より低い基準倍率に変更するズーム倍率調節時間を短縮させることができる。また、本実施の形態3によれば、実施の形態1および2の効果に加えて、ズーム倍率が広角な状態に変更された切り替え後のカメラの映像には、カメラの撮影位置および撮影方向を特定するランドマークが映っているため、ユーザはより直感的に当該カメラの撮影位置、撮影方向およびズーム倍率を把握することができる。
なお、本実施の形態3のカメラ制御装置120の構成は、この構成に限定されるものではなく、上述した実施の形態1および実施の形態2のカメラ制御装置120のいずれにも適用することが可能である。
(実施の形態4)
実施の形態3においては、ズーム倍率変更の最適化処理を行うために、ランドマークの画像情報を利用した。本発明の実施の形態4においては、ズーム倍率変更の最適化処理を行うために、ランドマークの位置情報を利用する。
本発明の実施の形態4のカメラ制御装置120の構成図を図24に示す。図24のカメラ制御装置120は、図6におけるカメラ制御装置120にランドマーク登録部2401、ランドマーク位置算出部2402およびランドマーク判定部2403を追加してなる。その他の構成は、図6に示す実施の形態1のカメラ制御装置120の構成と変わらないため、同じ構成には同じ符番を付し詳細な説明は省略する。
次に、本実施の形態に係るカメラ制御装置120の動作を説明する。図25は、本実施の形態に係るカメラ制御装置120のカメラ制御動作を説明するフロー図である。なお、図25は、ステップ2501が図8のステップS303と異なるだけで、その他の動作は図8と同じであるため、同じ符番を付し詳細な説明を省略する。すなわち、本実施の形態は、ステップS302でズーム倍率記憶部126がユーザに切り替え指示されたカメラのズーム倍率を記憶した後、ステップS2501でズーム倍率調節部125は、切り替え後のカメラのズーム倍率を最も広角にするのではなく、ランドマーク判定部2403の判断結果に基づいて切り替え後のカメラのズーム倍率の最適化処理を行う。そして、カメラ制御装置120は、ステップS304以降の動作に移行する。
次に、切り替え後のカメラのズーム倍率の最適化処理の一例について、図26を用いて詳細に説明する。図26は、切り替え後のカメラのズーム倍率の最適化処理の一例を説明するためのフロー図である。
まず、あらかじめユーザまたはシステム管理者は、ポインティングデバイス140によりオブジェクト等のランドマークを指定する。ここで、ランドマークは、各カメラ100a〜100nの撮影範囲内に存在し、カメラの撮影位置または撮影方向を特定するものであり、例えば高さ、形状および色等に特徴を有するビル等の建物である。そして、ランドマーク登録部2401は、カメラの映像上の当該ランドマークの位置座標を登録して、ランドマーク位置算出部2402に与える(ステップS2601)。
次いで、ランドマーク位置算出部2402は、カメラ制御情報送受信部124を介して、切り替え前のカメラ、つまり現在モニタ130に表示されているカメラの設置位置、撮影方向および画角をカメラに接続された撮影方向ズーム倍率制御機器110に問い合わせて取得する(ステップS2602)。そして、ランドマーク位置算出部2402は、ランドマーク登録部2401から受けたランドマークの位置座標と、カメラ制御情報送受信部124から受けたカメラの設置位置、撮影方向および画角とからランドマークの位置を算出し、ランドマーク判別部2403に与える(ステップS2603)。
ここで、ランドマーク位置算出部2402のランドマークの位置算出方法について、図27を用いて詳細に説明する。
図27Aは、切り替え前のカメラ、つまり、現在モニタ130に表示されているカメラの映像上のランドマークの位置座標を示している。ここで、wはカメラ映像の幅を示し、Hはカメラ映像の高さを示し、また、(xi,yi)は、カメラ映像上のランドマークの位置座標を示している。この位置座標(xi,yi)は、ランドマーク登録部2401が登録する位置情報である。
図27Bは、当該カメラの撮影領域を上から見た座標を示している。ここで、(xc,yc)は、カメラの設置位置座標であり、(xL,yL)は、ランドマーク位置算出部2402の求めるランドマークの位置座標である。また、φは、カメラのズーム倍率(画角)であり、Lは、カメラのフォーカス距離である。
ランドマークの位置座標x
Lは、カメラからランドマークまでの距離L’と、カメラの撮影角度θと、カメラの撮影領域の中心とカメラおよびランドマークとがなす角λと、から以下の式(7)と表される。
ここで、カメラおよびランドマークがなす角λと、カメラからランドマークまでの距離L’とは、以下の式(8)および(9)とそれぞれ表すことができる。
そして、式(7)に、式(8)および(9)を代入して、以下の式(10)からx
Lを求めることができる。
同様に、ランドマークの位置座標y
Lは、以下の式(11)と表すことができる。
そして、角λおよびカメラからランドマークまでの距離L’に上記式(8)および(9)で求められる結果を代入すると、以下の式(12)からy
Lを求めることができる。
また、ランドマークの高さを求める場合には、図27Bの図面を真横から見た図に変更して、同様の三角関数演算を行う。図27Cは、図27Bに示すカメラの撮影領域を真横から見た座標を示している。ここで、(yc,zc)は、カメラの設置位置座標であり、(yL,zL)は、ランドマーク位置算出部2402の求めるランドマークの位置座標である。また、φは、カメラのズーム倍率(画角)であり、LTは、カメラのフォーカス距離である。
ランドマークの位置座標z
Lは、カメラからランドマークまでの距離L
T’と、カメラの撮影角度θ
Tと、カメラの撮影領域の中心とカメラおよびランドマークとがなす角λ
Tと、から以下の式(13)と表される。
ここで、カメラおよびランドマークがなす角λ
Tと、カメラからランドマークまでの距離L
T’とは、以下の式(14)および(15)とそれぞれ表すことができる。
そして、カメラおよびランドマークがなす角λ
Tと、カメラからランドマークまでの距離L
T’とに上記式(14)および(15)でそれぞれ求められる結果を代入すると、以下の式(16)からz
Lを求めることができる。
このように、ランドマーク位置算出部2402は、ランドマーク登録部2401から受けるカメラ映像上のランドマークの位置座標と、カメラ制御情報送受信部124から受ける切り替え前のカメラの設置位置座標、撮影方向および画角とから、ランドマークの位置情報となる位置座標を算出する。
そして、ユーザからカメラの切り替え指示があった時に、カメラ制御情報送受信部124は、カメラに接続された撮影方向ズーム倍率制御機器110から取得した切り替え指示されたカメラの現在の撮影位置および撮影方向を取得し、ランドマーク判定部2403は、カメラ制御情報送受信部124から受けたカメラの現在の撮影方向を取得する(ステップS2604)。次いで、ランドマーク判定部2403は、ズーム倍率調節部125から、ズームアウト中のカメラの現在のズーム倍率を取得する(ステップS2605)。
そして、ランドマーク判定部2403は、ステップS2603においてランドマーク位置算出部2402が算出したランドマークの位置情報と、ステップS2604およびS2605で取得した切り替え指示されたカメラの撮影位置、撮影方向およびズーム倍率とから、当該ランドマークが、ズームアウトする切り替え後のカメラの映像内に入るかどうかを、幾何学的に判定する。つまり、図27で説明した位置算出部2402が算出したランドマークの位置座標が、ズーム倍率をズーム倍率記憶部126に記憶された倍率より低い基準倍率に変更する映像内に入るかどうかを判定する(ステップS2606)。
具体的には、図28に示すように、切り替え後のカメラ(x
c,y
c)からランドマーク(x
L,y
L)への距離は、以下の式(17)から求められる。求める画角ρ、つまり、切り替え後のカメラにランドマークが入る倍率は、以下の式(18)から求められる。ここで、Lはカメラの焦点(フォーカス)距離であり、θはカメラの撮影角度である。
そして、切り替え後のカメラの現在の画角はカメラ自身が知っているので、ズームアウトされるカメラの画角が上記式(18)で求められた画角ρになった時点で、ランドマーク判定部2403は、ズーム倍率調節部125のズームアウト動作を停止させる。このように、ランドマーク判定部2403は、ランドマークの位置座標から当該ランドマークが切り替え後のカメラの撮影範囲に入る画角を算出し、ズームアウトするカメラの画角が当該画角になった場合には映像内にランドマークが入ると判定し、ズームアウトを停止させる。なお、高さ方向の画角を求めたい場合には、上記式(18)の(xc,yc)を、(yc,zc)に、(xL,yL)を(yL,zL)にすればよい。
ここで、ランドマークが切り替え指示されたカメラの映像内にあると判定された場合には(ステップS2607)、ランドマーク判定部2403は、ズーム倍率調節部125が切り替え指示されたカメラのズームアウトする動作を停止するように指示し、ズーム倍率調節部125は、ズーム倍率の変更を停止する(ステップS2608)。そして、ズーム倍率の最適化処理を終了し、カメラ映像切り替え部121がカメラの映像を切り替えた時には(ステップS304)、ズーム倍率調節部125は、ランドマーク判定部2403の指示に基づいてズーム倍率調節の動作を停止した時のズーム倍率からズーム倍率記憶部126に記憶されたズーム倍率に戻すことになる(ステップS305)。
一方、ステップS2607でランドマークが切り替え指示されたカメラの映像内にあると判定されない場合には、ランドマーク判定部2403はズームアウト停止の指示をしない。従って、ズーム倍率調節部125は、ズームアウトを継続する(ステップS2609)。
このように、本実施の形態4によれば、実施の形態1および2の効果に加えて、ランドマーク判定部2403が切り替え指示されたカメラの映像内からランドマーク位置算出部2402で算出されたランドマークの位置情報と、切り替え指示されたカメラの撮影位置、撮影方向およびズーム倍率とから、ランドマークがズームアウトするカメラの映像内にあるかどうかを幾何学的に判定する。そして、当該ランドマークがあった場合には、ランドマーク判定部2403は、ユーザがカメラの映像を見ただけで直感的にカメラの撮影方向およびズーム倍率を把握することができる程度にズーム倍率が広角にされたと判断し、ズーム倍率調節部125にズーム倍率変更の動作を停止するように指示する。これにより、ズーム倍率調節部125は、必要以上にズームアウトせず、ズーム倍率記憶部126に記憶された倍率より低い基準倍率に変更するズーム倍率調節時間を短縮させることができる。また、ズーム倍率が広角な状態に変更された切り替え後のカメラの映像には、カメラの撮影位置および撮影方向を特定するランドマークが映っているため、ユーザはより直感的に当該カメラの撮影位置、撮影方向およびズーム倍率を把握することができる。
なお、本実施の形態4のカメラ制御装置120の構成は、この構成に限定されるものではなく、上述した実施の形態1および実施の形態2のカメラ制御装置120のいずれにも適用することが可能である。
(実施の形態5)
実施の形態1から4のカメラ制御装置120は、ユーザからカメラの映像の切り替え指示があった場合に、切り替え後のカメラのズーム倍率を所定の倍率から広角にして表示し、映像が切り替わった後、カメラのズーム倍率を所定の倍率に戻すと説明した。本発明の実施の形態5のカメラ制御装置120は、切り替え前および切り替え後のカメラの相関位置に基づいて、まず、切り替え前および切り替え後のカメラの映像を補完する切り替え映像を生成するか否かを判断する。例えば、現在モニタに映像を表示しているカメラと、ユーザから切り替え指示されたカメラとが同一の目標物または同じ場所を撮影するような位置関係にある場合には、当該切り替え前および切り替え後のカメラの映像を補完する切り替え映像をユーザに提示することにより、ユーザは切り替え後のカメラの映像をより直感的にカメラの撮影位置および撮影方向を把握することができる。
すなわち、本実施の形態に係るカメラ制御装置120は、カメラの映像を切り替える際に、切り替え前および切り替え後のカメラの設置位置と撮影方向との相関関係をわかりやすくするために、切り替え後のカメラの映像を表示する前に、切り替え前および切り替え後のカメラが同じ物体を撮影するように撮影方向を設定し、この2つカメラの撮影方向を補完するような中間画像を切り替え映像としてコンピュータグラフィックス(CG)を用いて生成し、映像化するものである。以下、本実施の形態のカメラ制御装置120について、図面を用いて詳細に説明する。
本実施の形態のカメラ制御装置120の構成の一例を図29に示す。カメラ制御装置120は、実施の形態2のカメラ制御装置120の構成において、切り替え前のカメラと切り替え後のカメラとの相関関係に基づいて、切り替え前および切り替え後のカメラの映像から切り替え後のカメラの映像を補完する切り替え映像を生成するか判断する切り替え映像生成要否判断部2901と、この切り替え映像生成要否判断部2901の判断結果に基づいてキャリブレーションを行うキャリブレーション部2902と、このキャリブレーション部2902のキャリブレーション結果から切り替え前および切り替え後のカメラの撮影方向を記憶するキャリブレーション位置記憶部2903と、キャリブレーション結果に基づいて切り替え前および切り替え後のカメラの映像から切り替え映像を生成する切り替え映像生成部2904と、を追加してなる。その他の構成は、図13に示す実施の形態2のカメラ制御装置120の構成と変わらないため、同じ構成には同じ符番を付し詳細な説明は省略する。
次に、図30を用いて上記カメラ制御装置120の動作を説明する。図30は、本実施の形態のカメラ制御装置120のカメラの制御動作を説明するフロー図である。
まず、カメラ制御指示受信部123が、ユーザからカメラの切り替え指示を受けると(ステップS3001)、切り替え映像生成要否判断部2901は、切り替え映像を生成するか否かを判断する(ステップS3002)。ここで、例えば、切り替え前のカメラと、切り替え後のカメラとの位置関係が同一の目標物を挟んで対向するような位置にある場合には、切り替え映像生成要否判断部2901は、当該切り替え前および切り替え後のカメラの映像の中間画像となる切り替え映像を生成したほうが、ユーザはより直感的に切り替え後のカメラの映像の撮影方向等を把握することができると判断する。また、例えば、切り替え前のカメラと、切り替え後のカメラとが別々の建物および場所を撮影するような位置関係にある場合には、切り替え映像生成要否判断部2901は、上記実施の形態1から実施の形態4で説明したように、切り替え指示されたカメラのズーム倍率を広角な状態にして表示したほうが、ユーザはより直感的に切り替え後のカメラの映像の撮影方向等を把握することができると判断する。そして、切り替え映像を生成すると判断された場合にはステップS3003の切り替え映像生成処理に進み、切り替え映像を生成しないと判断された場合にはステップS3008の処理に進む。
ここで、図31を用いて、ステップS3003の切り替え映像生成処理を説明する。図31は、切り替え映像生成処理を説明するためのフロー図である。
まず、切り替え映像生成要否判断部2901で切り替え映像を生成すると判断された場合、カメラ制御情報送受信部124は、図32Aに示すように切り替え前および切り替え後のカメラの撮影方向が同じ目標物を向くように制御する(ステップS3101)。ここで、カメラ制御情報送受信部124は、撮影方向を変更制御する前のカメラの撮影方向を取得しておく。次いで、キャリブレーション位置記憶部2903は、この2台のカメラの撮影方向を記憶する(ステップS3102)。また、カメラ制御指示受信部123は、キャリブレーション部2902にキャリブレーション指示を与え(ステップS3103)、キャリブレーション部2902は、カメラ映像切り替え部121から、例えば図32Bに示すような切り替え前および切り替え後のカメラの映像を受け取り、キャリブレーションを行い、キャリブレーション結果を生成する(ステップS3104)。このキャリブレーション結果は、切り替え映像生成部2904で切り替え映像を生成するために必要となる。
ここで、キャリブレーションについて説明する。キャリブレーションは、カメラ等で撮影した画像から、そこに映っているものの位置を計測するための技術である。この技術を用いることにより、立体物である物が画像化され時に失われたその立体物が存在する空間内での配置等の奥行きに関する情報を復元するために必要な撮影時のカメラ位置および焦点距離等の値を、画像から計算することができる。そして、この技術を用いることにより、実写中にコンピュータグラフィックスを仮想的に描画する画像合成等が可能となる。なお、2台のカメラのキャリブレーションについては、例えば松山、久野、井宮編「コンピュータビジョン:技術評論と将来展望」(株式会社新技術コミュニケーション)のp131に詳細に説明されている。
そして、切り替え映像生成部2904は、キャリブレーション部2902のキャリブレーション結果から、図32Cに示すような切り替え前のカメラが撮影する物体が、徐々に切り替え後のカメラの撮影する物体に変化していく中間状態を表示する切り替え映像を生成する(ステップS3105)。ここで、具体的な中間映像の生成手段は様々であるが、その一例としてビューモーフィング(View Morphing)手法がある。このビューモーフィングとは、ある形状から別の形状へ徐々に変化していく様子を動画で表現するために、その中間を補う画像を作成するものである。View Morphing手法は、Seiz他「View Morphing」(Proc.SIGGRAPH 96, 1996, 21-30)に詳細に説明されている。
なお、ここでは、ステップS3101からステップS3105の切り替え映像生成処理を、ユーザからカメラの切り替え指示を受けてから行うものとして説明したが、上記処理のタイミングはこれに限定されるものではない。すなわち、システム管理者等が事前に設置してあるカメラのうち任意のカメラを2台の切り替え映像を生成することも可能である。この場合、全てのカメラ組で上述した切り替え映像生成処理を行い、切り替え映像生成部2904は生成した複数の切り替え映像を記憶する。そして、切り替え映像生成処理が終了する。
カメラ制御情報送受信部124は、キャリブレーション位置記憶部2903がキャリブレーション部2902から受けたキャリブレーション後の切り替え前および切り替え後のカメラの撮影方向情報を取得する(ステップS3004)。次いで、カメラ制御情報送受信部124は、この撮影方向情報に基づいて切り替え前および切り替え後のカメラの撮影方向を変更する(ステップS3005)。そして、切り替え映像生成部2904は、カメラ制御情報送受信部124がカメラの撮影方向を変更制御した後、切り替え映像をカメラ映像切り替え部121に与える。カメラ映像切り替え部121は、この切り替え映像を映像表示部122に与える(ステップS3006)。そして、映像表示部122は、モニタ130にこの切り替え映像を表示する(ステップS3007)。そして、カメラ制御情報送受信部124は、取得しておいた撮影方向を変更する前のカメラの撮影方向により、カメラの撮影方向を変更制御する前の状態に戻す。
一方、ステップS3002において、切り替え映像生成要否判断部2901が切り替え映像を生成しないと判断した場合、実施の形態2で説明したように切り替え後のカメラのズーム倍率の広角処理を進める(ステップS3008)。
このように、本実施の形態5によれば、実施の形態1から4の効果に加え、カメラの設置位置に応じて、切り替え映像生成部2904が切り替え前および切り替え後のカメラの映像の中間映像となる切り替え映像を生成するので、ユーザは直感的に切り替え後の映像の撮影方向を把握することができる。
なお、本実施の形態5において、カメラ制御装置120が切り替え映像を生成するような構成として説明したが、本発明は、この構成に限定されるものではない。例えば、図33に示すように、キャリブレーション部2902、キャリブレーション位置記憶部2903および切り替え映像生成部2904等を有する切替映像生成装置3300として独立させ、インターネット等のネットワークを介してカメラ100a〜100nおよびカメラ制御装置120と結ぶような構成にしてもよい。
この場合の、切替映像生成装置3300の構成の一例を図34に示す。システム管理者は、設置したカメラのうちの2台のカメラの撮影方向が同じ目標物を向くように、カメラ制御指示受信部123を介してカメラ制御情報送受信部124に指示する。カメラ制御情報送受信部124はネットワークを介してカメラの撮影方向を変更制御する。また、カメラ映像受信部3301は、ネットワークを介してカメラ制御情報送受信部124が撮影方向を変更制御したカメラの映像を取得し、キャリブレーション部3302に与える。キャリブレーション部3302は、この2台のカメラの映像からキャリブレーションを行い、キャリブレーション結果を切り替え映像生成部3303に与える。切り替え映像生成部3303は、このキャリブレーション結果から2台のカメラの映像の中間状態を表示する切り替え映像を生成する。また、キャリブレーション位置記憶部3304は、キャリブレーション後の、2台のカメラの撮影方向を記憶する。
また、本実施の形態5のカメラ制御装置120の構成は、この構成に限定されるものではなく、上述した実施の形態1から実施の形態4のカメラ制御装置120のいずれにも適用することが可能である。
本明細書は、2005年1月25日出願の特願2005−016475に基づく。この内容は、すべてここに含めておく。
本発明に係るカメラ制御装置およびカメラ制御装置のズーム倍率制御方法は、ユーザがカメラを選択した際に、ユーザが選択後のカメラの映像自体を見ただけでカメラの撮影方向およびズーム倍率などを直感的に把握することができるとともに、ユーザが映像を閲覧するためのカメラの制御を即座に開始できるという効果を有し、不特定多数のユーザが複数の遠隔操作できるカメラ映像を閲覧する遠隔モニタリングシステムなどとして有用である。
従来のカメラ制御装置の表示する画面の表示例を示す図
従来のカメラ制御装置の構成を示すブロック図
従来のカメラ制御装置が同時に表示する複数の画面の表示例を示す図
従来のカメラ制御装置がカメラの映像とカメラ設置位置を同時に表示する表示例を示す図
従来のカメラ制御装置において、カメラの切り替え前後の画面の表示例を示す図
本発明の実施の形態1に係るカメラ制御装置の構成を示すブロック図
本発明の実施の形態1に係るモニタの表示例を示す図
本発明の実施の形態1に係るカメラ制御装置のカメラ制御動作の流れを示すフロー図
本発明の実施の形態1に係るカメラ制御装置がカメラの切り替えた時の画面の変わり方の例を示す図
本発明の実施の形態1に係るズーム倍率の変更速度を変えるカメラ制御装置の構成を示す図
本発明の実施の形態1に係るカメラの制御状態を表示するカメラ制御装置の構成を示すブロック図
本発明の実施の形態1に係るカメラ制御装置が表示するメッセージの表示例を示す図
本発明の実施の形態2に係るカメラ制御装置の構成を示すブロック図
本発明の実施の形態2に係るカメラ制御装置のカメラ制御動作の流れを示すフロー図
本発明の実施の形態2に係るカメラ制御装置のカメラの回転方向を示す図
本発明の実施の形態2に係るカメラ制御装置のカメラのズーム倍率の算出方法を説明するための図
本発明の実施の形態2に係るカメラ制御装置がカメラを切り替えた時の画面の変わり方の例を示す図
本発明の実施の形態2に係るカメラ制御装置の映像が切り替わった時のメッセージの表示例を示す図
本発明の実施の形態2に係るカメラ制御装置が切り替え後のカメラを制御する場合のカメラ制御動作の流れを示すフロー図
本実施の形態2に係るカメラ制御状態を表示するカメラ制御装置の構成を示すブロック図
本発明の実施の形態3に係るカメラ制御装置の構成の一例を示すブロック図
本発明の実施の形態3に係るカメラ制御装置のカメラ制御動作の流れを示すフロー図
本発明の実施の形態3に係るズーム倍率最適化処理の流れを説明するフロー図
本発明の実施の形態4に係るカメラ制御装置の構成の一例を示すブロック図
本発明の実施の形態4に係るカメラ制御装置のカメラ制御動作の流れを示すフロー図
本発明の実施の形態4に係るズーム倍率最適化処理の流れを説明するフロー図
本発明の実施の形態4に係るランドマーク位置算出方法を説明するための図
本発明の嫉視の形態4に係るランドマーク判定方法を説明するための図
本発明の実施の形態5に係るカメラ制御装置の構成の一例を示すブロック図
本発明の実施の形態5に係るカメラ制御装置のカメラ制御動作の流れを示すフロー図
本発明の実施の形態5に係るカメラ制御装置の切り替え映像生成処理を説明するフロー図
本発明の実施の形態5に係るカメラ制御装置が生成する切り替え映像を説明するための図
本発明の実施の形態5に係る切り替え映像生成装置をカメラ制御装置とネットワークを介して接続した構成の一例を示す図
図33の切り替え映像生成装置の構成の一例を示す図