JP6273803B2 - 撮像システム、撮像システムの撮像方法、およびプログラム - Google Patents

Description

本発明は、飛行手段を備えた撮像システム、撮像システムの撮像方法、およびプログラムに関する。

近年、撮像する目標物を座標で特定し、自動的に目標物の撮像が行えるカメラシステム（撮像装置）の開発が進められている。特許文献１には、車等で移動している際に、予め設定しておいた撮像地点に到達したら、自動的に撮像を実行することができるカメラシステムについて開示されている。具体的には自動車にＧＰＳ受信手段を搭載し、目標物の座標とＧＰＳ受信手段で得た現在の座標とから、撮像ポイント又は指定した撮像範囲に到達したものと判断して撮像を自動的に実行している。

特開２００１−２５７９２０号公報

このような自動的に目標物の撮像を行えるカメラシステムは、地上を走行する自動車等のみならず、ラジコン飛行機やラジコンヘリコプター等の飛行手段においても適用可能することが求められている。

しかしながら、特許文献１に開示されている技術は、地上の撮像についてしか考慮しておらず、飛行手段に搭載された撮像手段を用いてどのように目標物をとらえ、撮像可能な状態とするかについては何ら開示がされていない。

そこで本願発明は上記課題を鑑み、飛行手段を備えた撮像システムにおいて自動的に目標物を撮像可能な状態を整えることができる構成を提供することを目的としている。

本発明に係る撮像システムは、画像を撮像する撮像手段と、前記撮像手段のレンズ制御を行うレンズ制御部と、前記撮像手段の上下方向に対する角度を制御する角度制御部と、前記撮像手段の左右方向に対する向きを制御する方向制御部と、前記撮像手段を搭載した飛行手段と、ＧＰＳ衛星からの電波を受信し、前記電波から位置座標を解析するＧＰＳ受信手段と、目標物を特定するための少なくとも１か所の特定座標を記憶する記憶手段と、前記記憶手段で記憶された前記少なくとも１か所の特定座標に基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを合わせるための目標座標を特定し、当該目標座標と前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを設定する算出手段と、前記レンズ制御部と前記角度制御部と前記方向制御部とを、前記算出手段で算出したレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する制御手段と、前記特定座標が複数ある場合に、複数の前記特定座標の重心を前記目標座標とする第１のモード、及び複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置を前記目標座標とする第２のモードのいずれか一方の選択を、ユーザから受け付けるモード受付手段とを有し、前記算出手段は、前記モード受付手段で受け付けたモードに対応した目標座標を特定することを特徴とする。また、本発明に係る撮像システムは、画像を撮像する撮像手段と、前記撮像手段のレンズ制御を行うレンズ制御部と、前記撮像手段の上下方向に対する角度を制御する角度制御部と、前記撮像手段の左右方向に対する向きを制御する方向制御部と、前記撮像手段を搭載した飛行手段と、ＧＰＳ衛星からの電波を受信し、前記電波から位置座標を解析するＧＰＳ受信手段と、目標物を特定するための少なくとも１か所の特定座標を記憶する記憶手段と、前記記憶手段で記憶された前記少なくとも１か所の特定座標に基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを合わせるための目標座標を特定し、当該目標座標と前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出する算出手段と、前記レンズ制御部と前記角度制御部と前記方向制御部とを、前記算出手段で算出されたレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する制御手段とを有し、前記算出手段は、前記特定座標が複数ある場合に、複数の前記特定座標の重心を前記目標座標として特定することを特徴とする。また、本発明に係る撮像システムは、画像を撮像する撮像手段と、前記撮像手段のレンズ制御を行うレンズ制御部と、前記撮像手段の上下方向に対する角度を制御する角度制御部と、前記撮像手段の左右方向に対する向きを制御する方向制御部と、前記撮像手段を搭載した飛行手段と、ＧＰＳ衛星からの電波を受信し、前記電波から位置座標を解析するＧＰＳ受信手段と、目標物を特定するための少なくとも１か所の特定座標を記憶する記憶手段と、前記記憶手段で記憶された前記少なくとも１か所の特定座標と前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出する算出手段と、前記レンズ制御部と前記角度制御部と前記方向制御部とを、前記算出手段で算出されたレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する制御手段とを有し、前記算出手段は、前記特定座標が複数ある場合に、複数の前記特定座標をむすんだ辺上の前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出することを特徴とする。

このように、目標物を特定するための特定座標と位置座標とから、レンズ制御値と上下方向に対する角度と左右方向に対する向きを求めて制御することで、飛行手段を備えた撮像システムにおいて自動的に目標物を撮像可能な状態を整えることができる。

本願発明に係るカメラと飛行手段と情報処理装置との構成を示すブロック図である。 カメラと目標物との関係を示す図である。 カメラの制御を説明するためのフローチャートである。 特定座標が１か所の場合の、カメラと目標物の関係を示す図である。 特定座標が２か所の場合の、カメラと目標物の関係を示す図である。 特定座標が４か所の場合の、カメラと目標物の関係を示す図である。 飛行手段の飛行目標座標を算出する流れを説明するフローチャートである。 カメラの制御を説明するためのフローチャートである。 カメラの制御を説明するためのフローチャートである。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

図１は、本願発明に係る撮像手段と飛行手段と情報処理装置のハードウェア構成を示すブロック図である。本発明の撮像システムは、撮像手段として用いることができるカメラ３００と、カメラ３００を搭載し、飛行可能な無線の飛行機やヘリコプター等の飛行手段１００と、カメラ３００や飛行手段１００に対して撮像目的の座標（特定座標）をユーザが設定したり、カメラ３００で撮像された画像を抽出可能なＰＣ等の情報処理装置２００とを有して構成されている。

飛行手段１００のＣＰＵ１０４は、システムバスに接続される各デバイスやコントローラを統括的に制御することができる。ＲＯＭ１０２にはＣＰＵ１０４の制御ブログラムや各種制御プログラムが記憶されている。ＲＡＭ１０１は、ＣＰＵ１０４が動作するためのシステムワークメモリとして機能する。ＣＰＵ１０４は、処理の実行に際して必要なプログラム等をＲＡＭ１０１にロードして、プログラムを実行することで各種動作を実現するものである。ＣＰＵ１０４は、このようにＲＡＭ１０１にプログラム等をロードし、実行することで飛行制御部１０５を制御することもできる。

情報処理装置２００のＣＰＵ２０１は、システムバスに接続される各デバイスやコントローラを統括的に制御することができる。また、ＲＯＭ２０２あるいは外部メモリ２０７には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。ＲＡＭ２０４は、ＣＰＵ２０１のシステムワークメモリとして機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０４にロードして、プログラムを実行することで各種動作を実現するものである。

また、ＣＰＵ２０１は、ディスプレイ２０５への表示出力、入力端末２０６からの入力を制御することができる。さらに、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するハードディスク（ＨＤ）やフロッピーディスク（登録商標ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュメモリ等の外部メモリ２０７へのアクセスを制御することもできる。

また通信Ｉ／Ｆ２０３は、ネットワークを介して外部機器と接続・通信するものであり、本実施形態においてはカメラ３００の通信Ｉ／Ｆ回路３２５と通信可能に接続されている。そして、このＩ／Ｆを介して、カメラ３００に撮像目標物の座標等の入力や撮像画像の受け渡しを行うことができる。

次にカメラ３００（撮像装置）のハードウェア構成について説明する。撮像装置としては、いわゆるデジタルカメラ等を用いることができ、撮像用のレンズ３０１、撮像素子（以下、「ＣＣＤ」と称する）３０２、カメラ信号処理部（以下、「ＡＤＣ」と称する）３０３、画像処理部３０４、システムコントローラ３１０、バッファメモリ３１１、フラッシュＲＯＭ３１２、インターフェース回路（以下、「Ｉ／Ｆ回路」と称する）３１３、カードホルダ３１４、メモリカード３１５、ディスプレイドライバ３１６、および操作部３２０を備える。

レンズ３０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。撮像素子３０２は、レンズ３０１から入射した撮像光を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。
カメラ信号処理部（ＡＤＣ）３０３は、撮像素子３０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。システムコントローラ３１０は、画像処理部３０４、バッファメモリ３１１、フラッシュＲＯＭ３１２、Ｉ／Ｆ回路３１３、３２５、レンズ制御部３２７、角度制御部３２１、方向制御部３２２、Ｉ／Ｏ３２３、ＧＰＳ受信手段３２４に接続されている

画像処理部３０４は、前処理部３０５、ＹＣ処理部３０６、電子ズーム処理部３０７、圧縮部３０８、および伸長部３０９を備え、カメラ信号処理部３０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。

前処理部３０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部３０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。

ＹＣ処理部３０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部３０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。電子ズーム処理部３０７は、例えば、撮像された１６００×３２００ドットの画像から中央の３０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×３２００ドットのサイズに拡大することができる。

圧縮部３０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部３０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。

具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部３０８および伸長部３０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。

バッファメモリ３１１には、画像処理部３０４で画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ３１２には、撮像装置の各種設定情報や、後述するユーザ認証情報が保存される。Ｉ／Ｆ回路３１３は、システムコントローラ３１０から出力される画像データを、メモリカード３１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路３１３は、メモリカード３１５から読み出された画像データ等を、システムコントローラ３１０で処理可能なデータ形式に変換する。

カードホルダ３１４は、記録媒体であるメモリカード３１５を撮像装置に着脱可能にする機構を備えると共に、メモリカード３１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ３１４は、撮像装置で利用される記録媒体の種類に応じた構造を有する。メモリカード３１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ３１４に着脱可能なカード型の記録媒体である。メモリカード３１５には、撮像装置で撮像された画像データを記録することができる。

レンズ制御部３２７は、レンズ３０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。角度制御部３２１は、カメラを目標物に向けるために上下方向に対する角度の制御を行う。方向制御部３２２は、カメラを目標物に向けるために左右方向に対する向きを制御する。さらに、ＧＰＳ受信手段３２４は、ＧＰＳ衛星からの電波を受信することができ、この電波からカメラ３００の現在の位置座標を解析することができる。このＧＰＳから求まる位置座標からは、カメラ３００の高度および平面上の座標を取得することができる。またカメラ３００の高度は、ＧＰＳ座標からではなく、高度計を搭載して取得可能とすることもできる。

次に、カメラ３００における撮像動作について説明する。本実施形態においては、カメラ３００と目標物との距離が所定の距離になると自動的に撮像動作が行われる。具体的には、一定の時間間隔や一定の移動間隔で撮像するなどの撮像動作を行うことができる。このような撮像動作では、光学画像がレンズ３０１を介して撮像装置内へ入射し、撮像素子（ＣＣＤ）３０２に結像される。ＣＣＤ３０２は、入射される光学画像を電気信号に変換して、カメラ信号処理部（ＡＤＣ）３０３へ出力する。ＡＤＣ３０３は、入力される電気信号（アナログ信号）をデジタル信号に変換する。ＡＤＣ３０３から出力されるデジタル信号は画像処理部３０４に入力される。

画像処理部３０４内の前処理部３０５では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部３０４内のＹＣ処理部３０６では、画像データが輝度信号Ｙと色差信号ＣｒおよびＣｂとに分離され、色差信号ＣｒおよびＣｂの情報量を減らす処理が行われる。色差信号ＣｒおよびＣｂの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「４：２：２ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「４：１：１ダウンサンプリング処理」などがある。なお、前処理部３０５およびＹＣ処理部３０６で画像処理を行う際は、画像データを一時的にバッファメモリ３１１に保存し、随時バッファメモリ３１１に保存されている画像データを読み出しながら画像処理が行われる。

画像処理部３０４から出力される画像データ（非圧縮）はシステムコントローラ３１０に入力される。そして一定の間隔で、システムコントローラ３１０は画像処理部３０４に制御信号を出力する。画像処理部３０４に制御信号が入力されると、圧縮部３０８は、前処理部３０５およびＹＣ処理部３０６で画像処理された画像データをバッファメモリ３１１へ保存し、圧縮処理を行う。

具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理（ＤＣＴ処理）や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、カードホルダ３１４を介してメモリカード３１５に記録される。

このようにしてメモリカード３１５等の記憶手段に保存された画像は、その後、Ｉ／Ｆ３２５等を介して情報処理装置２００に送られることになる。

（第１の実施形態）
図２は、本発明の第１の実施形態における、カメラと目標物との関係を示す図である。ここでは、カメラの撮像目的である目標物が１つであり、飛行手段１００が飛行経路を定めずに飛行している場合を例に説明する。

飛行手段１００に搭載されたカメラ３００のＧＰＳ受信機は、カメラ３００のカメラ座標４０２（位置座標）を一定の間隔で取得されている。そして、目標物の特定座標（目標座標４０１）とが地上に設定されている。このような目標物の位置である特定座標は、情報処理装置２００を介してユーザが予め設定することができ、カメラ３００内のメモリ等の記憶手段に記憶させておくことができる。このような状態で、カメラ３００内のシステムコントローラ３１０は、目標座標４０１の高度とカメラ座標４０２の高度との高度差と、目標座標４０１とカメラ座標４０２との平面上の座標差とに基づいて、カメラが目標物に向くように上下の角度と、左右の角度と、を算出し、角度制御部３２１と方向制御部３２２を制御する。さらに、システムコントローラ３１０は、目標座標４０１とカメラ座標４０２との直線的な距離を求め、最適なフォーカス位置やズーム状態となるようにレンズ制御部を制御する。

図３は、本発明の第１の実施形態における、カメラの制御を説明するためのフローチャートである。この制御は、カメラ３００のシステムコントローラ３１０により実現される。

ステップＳ３０１では、システムコントローラ３１０が、ＧＰＳ受信手段３２４で受信したＧＰＳ座標を解析してカメラ座標４０２を取得するとともに、カメラ３００の記憶手段に記憶された目標物の位置である特定座標を取得する。

次に、ステップＳ３０２では、システムコントローラが、記憶手段に記憶された特定座標を目標座標４０１として設定する。次に、ステップＳ３０３がＳ３０２で取得されたカメラ座標４０２と目標座標４０１の２点をもとに、目標座標４０１の高度とカメラ座標４０２の高度との高度差と、目標座標４０１とカメラ座標４０２との平面上の座標と、目標座標４０１とカメラ座標４０２との直線的な距離と、を算出する。そして、目標座標４０１の高度とカメラ座標４０２の高度との高度差からカメラが目標物に向くように上下の角度を算出し、目標座標４０１とカメラ座標４０２との平面上の座標差から左右の角度を算出し、目標座標４０１とカメラ座標４０２との直線的な距離から最適なフォーカス位置やズーム状態となるレンズ制御値を算出する。

ステップＳ３０４では、ステップＳ３０３で算出された、最適なフォーカス位置やズーム状態となるレンズ制御値や上下の角度や左右の角度となるように、レンズ制御部と３２７と角度制御部３２１と方向制御部３２２を調整する。

以上のように設けることで、目標物を捉えるためのカメラの上下、左右の角度制御とフォーカスやズーム等のレンズ制御を自動で行うことができる。すなわち、自動的に目標物を撮像可能な状態を整ええることができるため、無人のヘリコプターや飛行機であっても撮像動作をスムーズに行うことができる。

（第２の実施形態）
第１の実施形態では、飛行手段は飛行経路を定めずに飛行している場合について説明したが、本実施形態では飛行手段が目標物の周囲を周回するように飛行している場合の例について説明する。撮像のタイミングとしては、周回中に一定の時間間隔や一定の移動間隔で撮像動作が行われるように設定することができる。

図４は、目標物を１点の座標で特定されている場合のカメラと目標物の関係を示す図であり、すなわち特定座標が１か所の場合の例である。図４（ａ）に示すように飛行手段１００は目標物の目標座標４０１を中心として所定の距離を保った状態で、かつ、所定の高度を維持した状態で周回する。図４（ｂ）は、図４（ａ）を上から見ている図である。このような特定座標、所定の距離および所定の高度は、予めユーザによって情報処理装置２００を介して設定しておくことができる。

図５は、目標物が２点の座標で特定されている場合のカメラと目標物の関係を示す図であり、すなわち特定座標が２か所の場合の例である。特定座標が２か所ある場合には、目標座標が飛行手段の飛行位置（カメラの現在位置）によって変動する辺上監視モードと、目標座標を特定座標の中心点とする中心点監視モード（重心監視モード）と、のいずれかを選択することができる。

図５（ａ）は、辺上監視モードにおけるカメラの向きと目標座標の関係を示しており、カメラがカメラ位置３００−（ａ）にある場合には４０１−（ａ）を目標座標としてカメラの角度制御及びレンズ制御が行われる。また、カメラがカメラ位置３００−（ｂ）にある場合には、４０１−（ｂ）を目標座標としてカメラの角度制御及びレンズ制御が行われる。また、カメラがカメラ位置３００−（ｃ）にある場合には、４０１−（ｃ）を目標座標としてカメラの角度制御及びレンズ制御が行われる。すなわち、特定座標による直線上であって、カメラ座標に最も近い座標が目標座標となるように適宜変化している。

図５（ｂ）は、中心点監視モードにおけるカメラの向きと目標座標の関係を示しており、カメラがいずれの位置にあっても特定座標４０４（ａ）と特定座標４０４（ｂ）の２点間の中心点を目標座標４０１としてカメラの角度制御及びレンズ制御が行われる。

以上のような２つのモードをユーザによって選択可能（モード受付可能）とすることにより、目標物の形状に対応した撮像モードで撮像動作を行うことができる。たとえば、建物のような内部を視認できない目標物の場合には、撮像モードは建物の外観を撮像できるように辺上監視モードとすることが好ましい。一方公園や広場のように空中から全てを見渡せるような目標物である場合には、重心監視モードとし、ズームアウトした状態で撮像することで目標物の全景を撮像することができる。このようなモードの選択は、特定座標、所定の距離および所定の高度の設定と同様に、予めユーザによって情報処理装置２００を介して選択しておくことができる。

図６は、目標物が３点の座標で特定されている場合のカメラと目標物の関係を示す図であり、すなわち特定座標が３か所の場合の例である。特定座標が複数（３点以上）ある場合にも、目標座標が飛行手段の飛行位置（カメラの現在位置）によって変動する辺上監視モードと、目標座標を特定座標の重心点とする重心監視モードと、のいずれかを選択することができる。

図６（ａ）辺上監視モードにおけるカメラの向きと目標座標の関係を示しており、カメラがカメラ位置３００−（ｄ）にある場合には４００−（ｄ）を目標座標としてカメラの角度制御及びレンズ制御が行われる。また、カメラがカメラ位置３００−（ｅ）にある場合には、４００−（ｅ）を目標座標としてカメラの角度制御及びレンズ制御が行われる。そして図６（ａ）からわかるようにカメラの位置によって、多角形の辺上を撮像する場合と、多角形の角を撮像する場合とに分かれる。いずれの場合にも、隣接する２つの特定座標を結んだ直線上（多角形の辺）であって、カメラ座標に最も近い座標が目標座標となるように適宜変化している。

図６（ｂ）は、重心監視モードにおけるカメラの向きと目標座標の関係を示しており、カメラがいずれの位置にあっても複数の特定座標の重心点を目標座標４０１としてカメラの角度制御及びレンズ制御が行われる。

次に、図７のフローチャートを用いて飛行手段の飛行目標座標を算出する流れを説明する。この制御は、カメラ３００のシステムコントローラ３１０により実現することができる。ステップＳ７０１では、まずシステムコントローラ３１０がユーザによって予め設定されている特定座標と、特定座標とカメラの位置との距離（設定距離）と、カメラを維持する設定高度とを例えばカメラ３００に設けられた記憶手段等から取得する。このような設定条件は、予めユーザによって情報処理装置２００を介して設定しておくことができる。

次にステップＳ７０２では、ステップＳ７０１で取得した特定座標が２点以上かどうかを判断する。ステップＳ７０２で２点以上ではない、すなわち特定座標は１点であると判断された場合には、ステップＳ７０４に進み、取得した特定座標を飛行目標座標として設定する。一方、ステップＳ７０２で特定座標が２点以上であると判断された場合には、ステップＳ７０３に進み、取得した２点以上（複数）の座標の重心点を飛行目標座標として設定する。

ステップＳ７０５では、システムコントローラ３１０が、飛行目標座標を中心として、ステップＳ７０１で取得された設定距離及び設定高度を維持した状態で周回するように飛行手段１００による飛行が行われるように飛行手段１００の飛行制御部１０５に制御させる。これにより、飛行目標座標を目的とした飛行手段１００の飛行が行われることになる。

次に、図８のフローチャートを用いて、図４〜６に示したような撮像可能な状態となるようなカメラ制御について説明する。この制御は、カメラ３００のシステムコントローラ３１０により実現することができる。

ステップＳ８０１では、システムコントローラ３１０が、ＧＰＳ受信手段３２４で受信したＧＰＳ座標を解析してカメラ座標４０２を取得するとともに、カメラ３００の記憶手段に記憶された目標物を特定するための位置である１または２以上の特定座標を取得する。
ステップＳ８０２では、ステップＳ８０１で取得された特定座標が３点以上であるかを判断する。特定座標が３点以上ではない、すなわち特定座標が２点以下である場合には、ステップＳ８０６に進み、特定座標が２点以上であるかを判断する。ステップＳ８０６で２点以上ではない、すなわち特定座標が１点であると判断された場合には第１の実施形態と同様に特定座標を目標座標として設定する。ステップＳ８０６で特定座標が３点以上ではなくかつ２点以上である、すなわち２点であると判断された場合には、Ｓ８０７に進み

ユーザによって予め選択されている監視モードが『辺上監視モード』であるか、『重心監視モード』であるかを判断する。ステップＳ８０６で、重心監視モードが選択されていると判断された場合には、ステップＳ８０９に進み２点の特定座標による直線の中心座標を目標座標として設定する。これにより、図５（ｂ）に示す位置が目標座標として設定される。

ステップＳ８０７で辺上監視モードが選択されていると判断された場合には、ステップＳ８０８に進み、特定座標による直線上であって、カメラ座標に最も近い座標を目標座標として設定する。これにより、図５（ａ）に示す位置が目標座標として設定される。

次に、ステップＳ８０２に戻り、特定座標が３点以上であると判断された場合には、ステップＳ８０３に進み、ユーザによって予め選択されている監視モードが『辺上監視モード』であるか、『重心監視モード』であるかを判断する。ステップＳ８０３で、重心監視モードが選択されていると判断された場合には、ステップＳ８０５に進み複数の特定座標による重心点の重心座標を目標座標として設定する。これにより、図６（ｂ）に示す位置が目標座標として設定される。

ステップＳ８０３で辺上監視モードが選択されていると判断された場合には、ステップＳ８０４に進み、隣接する２つの特定座標を結んだ直線上（特定座標で形成される多角形の辺上）であって、カメラ座標に最も近い座標を目標座標として設定する。これにより、図６（ａ）に示す位置が目標座標として設定される。

ステップＳ８１１では、ステップＳ８０４、Ｓ８０５、Ｓ８０８、Ｓ８０９、Ｓ９１０のそれぞれで設定された目標座標と、ステップＳ８０１で取得された現在のカメラの位置座標であるカメラ座標の２点をもとに、目標座標４０１の高度とカメラ座標４０２の高度との高度差と、目標座標４０１とカメラ座標４０２との平面上の座標と、目標座標４０１とカメラ座標４０２との直線的な距離と、を算出する。そして、目標座標４０１の高度とカメラ座標４０２の高度との高度差からカメラが目標物に向くように上下の角度を算出し、目標座標４０１とカメラ座標４０２との平面上の座標差から左右の角度を算出し、目標座標４０１とカメラ座標４０２との直線的な距離から最適なフォーカス位置やズーム状態となるレンズ制御値を算出する。

ステップＳ８１２では、ステップＳ８１１で算出された、最適なフォーカス位置やズーム状態となるレンズ制御値や上下の角度や左右の角度となるように、レンズ制御部と３２７と角度制御部３２１と方向制御部３２２を調整する。

以上のように設けることで、目標物を捉えるためのカメラの上下、左右の角度制御とフォーカスやズーム等のレンズ制御を自動で行うことができる。すなわち、自動的に目標物を撮像可能な状態を整えることができるため、無人のヘリコプターや飛行機であっても撮像動作をスムーズに行うことができる。

次に、図９は本実施形態を実現できるカメラ制御のもう１つの例を説明するためのフローチャートである。このフローチャートを用いても、図４〜６に示したような撮像可能な状態となるようにカメラ制御を行うことができる。この制御は、カメラ３００のシステムコントローラ３１０により実現することができる。

ステップＳ９０１では、システムコントローラ３１０が、ＧＰＳ受信手段３２４で受信したＧＰＳ座標を解析してカメラ座標４０２を取得するとともに、カメラ３００の記憶手段に記憶された目標物を特定するための位置である１または２以上の特定座標を取得する。

ステップＳ９０２では、ステップＳ９０１で取得された特定座標が２点以上であるかを判断する。特定座標が２点以上ではない、すなわち特定座標が１点である場合には、ステップＳ９１０に進み、第１の実施形態と同様に特定座標を目標座標として設定する。

ステップＳ９０２で特定座標が２点以上であると判断された場合には、ステップＳ９０３に進み、ユーザによって予め選択されている監視モードが『辺上監視モード』であるか、『重心監視モード』であるかを判断する。

ステップＳ９０３で、重心監視モードが選択されていると判断された場合には、ステップＳ９０７に進み、特定座標が３点以上であるかを判断する。特定座標が３点以上でない、すなわち２点である場合には、ステップＳ９０９に進み２点の特定座標による直線の中心座標を目標座標として設定する。これにより、図５（ｂ）に示す位置が目標座標として設定される。

一方、ステップＳ９０７で特定座標が３点以上でないと判断された場合には、ステップＳ９０８に進み、複数の特定座標による重心点の重心座標を目標座標として設定する。これにより、図６（ｂ）に示す位置が目標座標として設定される。

次に、Ｓ９０３に戻り、辺上監視モードが選択されていると判断された場合には、ステップＳ９０４に進み、特定座標が３点以上であるかを判断する。特定座標が３点以上でない、すなわち２点である場合にはステップＳ９０６に進み、特定座標による直線上であって、カメラ座標に最も近い座標を目標座標として設定する。これにより、図５（ａ）に示す位置が目標座標として設定される。

一方、ステップＳ９０４で特定座標が３点以上であると判断された場合には、ステップＳ９０５に進み、隣接する２つの特定座標を結んだ直線上（特定座標で形成される多角形の辺上）であって、カメラ座標に最も近い座標を目標座標として設定する。これにより、図６（ａ）に示す位置が目標座標として設定される。

ステップＳ９１１とステップＳ９１２については、図８のステップＳ８１１及びステップＳ８１２と同様であるため説明を省略する。

以上のように制御を行っても図８と同様に、目標物を捉えるためのカメラの上下、左右の角度制御とフォーカスやズーム等のレンズ制御を自動で行うことができる。すなわち自動的に目標物を撮像可能な状態を整ええることができるため、無人のヘリコプターや飛行機であっても撮像動作をスムーズに行うことができる。

なお、第２の本実施形態では、飛行目標座標の算出をカメラ３００のシステムコントローラ３１０で行ったが、飛行手段１００のＣＰＵ１０４で行ってもよい。また、第２の実施形態では、全て飛行手段の飛行軌道を常に複数の特定座標の重心点を中心として周回する例で説明したが、飛行手段の飛行軌道は複数の特定座標に基づいて特定される楕円形等の形状であってもよい。さらに、特定座標によって特定される多角形の上、すなわち多角形の内側を通過や周回するような飛行軌道であってもよい。

なお、第１及び第２の実施形態では、特定座標が地上にある場合を例に説明したが特定座標は高度を有していても同様に目標座標を設定し、カメラの角度制御とレンズ制御を行うことができる。

また、第１及び第２の実施形態においては、撮像手段としてデジタルカメラを例に説明したがカメラに限られずビデオカメラ等を用いてもよい。

また、第１及び第２の実施形態においては、無人のヘリコプターや飛行機に搭載する場合を想定して説明を行ったが、自動的にカメラの角度制御やレンズ制御が行われれば有人の場合であってもよい。

また、第１及び第２の実施形態においては、ＧＰＳ受信手段がカメラ３００に設けられている例を用いて説明したが、カメラ３００の現在位置が確認できればよく、飛行手段１００に搭載されていてもよい。

また、本願発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

なお、本願発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システム或いは装置に直接、或いは遠隔から供給するものを含む。そして、そのシステム或いは装置の情報処理装置が前記供給されたプログラムコードを読み出して実行することによっても達成される場合も本発明に含まれる。

したがって、本発明の機能処理を情報処理装置で実現するために、前記情報処理装置にインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理を情報処理装置で実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行して情報処理装置にインストールさせて実現することも可能である。

また、情報処理装置が、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、情報処理装置上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、情報処理装置に挿入された機能拡張ボードや情報処理装置に接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

なお、前述した実施形態は、本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 飛行手段
２００ 情報処理装置
３００ カメラ
４０１ 目標座標
４０２ カメラ座標

Claims (10)

1. 画像を撮像する撮像手段と、
   前記撮像手段のレンズ制御を行うレンズ制御部と、
   前記撮像手段の上下方向に対する角度を制御する角度制御部と、
   前記撮像手段の左右方向に対する向きを制御する方向制御部と、
   前記撮像手段を搭載した飛行手段と、
   ＧＰＳ衛星からの電波を受信し、前記電波から位置座標を解析するＧＰＳ受信手段と、
   目標物を特定するための少なくとも１か所の特定座標を記憶する記憶手段と、
   前記記憶手段で記憶された前記少なくとも１か所の特定座標に基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを合わせるための目標座標を特定し、当該目標座標と前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出する算出手段と、
   前記レンズ制御部と前記角度制御部と前記方向制御部とを、前記算出手段で算出されたレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する制御手段と、
   前記特定座標が複数ある場合に、複数の前記特定座標の重心を前記目標座標とする第１のモード、及び複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置を前記目標座標とする第２のモードのいずれか一方の選択を、ユーザから受け付けるモード受付手段とを有し、
   前記算出手段は、前記モード受付手段で受け付けたモードに対応した目標座標を特定することを特徴とする撮像システム。
2. 前記特定座標が２か所である場合に、
   前記算出手段は、前記モード受付手段によって前記第１のモードがユーザから受け付けられた場合には、前記２つの特定座標の中心を目標座標として特定し、前記モード受付手段によって前記第２のモードがユーザから受け付けられた場合には、前記２つの特定座標の直線上であって、前記位置座標に最も近い位置を目標座標として特定することを特徴とする請求項１に記載の撮像システム。
3. 画像を撮像する撮像手段と、
   前記撮像手段のレンズ制御を行うレンズ制御部と、
   前記撮像手段の上下方向に対する角度を制御する角度制御部と、
   前記撮像手段の左右方向に対する向きを制御する方向制御部と、
   前記撮像手段を搭載した飛行手段と、
   ＧＰＳ衛星からの電波を受信し、前記電波から位置座標を解析するＧＰＳ受信手段と、
   目標物を特定するための少なくとも１か所の特定座標を記憶する記憶手段と、
   前記記憶手段で記憶された前記少なくとも１か所の特定座標に基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを合わせるための目標座標を特定し、当該目標座標と前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出する算出手段と、
   前記レンズ制御部と前記角度制御部と前記方向制御部とを、前記算出手段で算出されたレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する制御手段とを有し、
   前記算出手段は、前記特定座標が複数ある場合に、複数の前記特定座標の重心を前記目標座標として特定することを特徴とする撮像システム。
4. 画像を撮像する撮像手段と、
   前記撮像手段のレンズ制御を行うレンズ制御部と、
   前記撮像手段の上下方向に対する角度を制御する角度制御部と、
   前記撮像手段の左右方向に対する向きを制御する方向制御部と、
   前記撮像手段を搭載した飛行手段と、
   ＧＰＳ衛星からの電波を受信し、前記電波から位置座標を解析するＧＰＳ受信手段と、
   目標物を特定するための少なくとも１か所の特定座標を記憶する記憶手段と、
   前記記憶手段で記憶された前記少なくとも１か所の特定座標と前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出する算出手段と、
   前記レンズ制御部と前記角度制御部と前記方向制御部とを、前記算出手段で算出されたレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する制御手段とを有し、
   前記算出手段は、前記特定座標が複数ある場合に、複数の前記特定座標をむすんだ辺上の前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出することを特徴とする撮像システム。
5. 画像を撮像する撮像手段と、前記撮像手段のレンズ制御を行うレンズ制御部と、前記撮像手段の上下方向に対する角度を制御する角度制御部と、前記撮像手段の左右方向に対する向きを制御する方向制御部と、前記撮像手段を搭載した飛行手段と、ＧＰＳ衛星からの電波を受信し、前記電波から位置座標を解析するＧＰＳ受信手段と、目標物を特定するための少なくとも１か所の特定座標を記憶する記憶手段と、を備えた撮像システムの撮像方法であって、
   前記記憶手段で記憶された前記少なくとも１か所の特定座標に基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを合わせるための目標座標を特定し、当該目標座標と前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出する算出工程と、
   前記レンズ制御部と前記角度制御部と前記方向制御部とを、前記算出工程で算出されたレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する制御工程と、
   前記特定座標が複数ある場合に、複数の前記特定座標の重心を前記目標座標とする第１のモード、及び複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置を前記目標座標とする第２のモードのいずれか一方の選択を、ユーザから受け付けるモード受付工程とを有し、
   前記算出工程では、前記モード受付工程で受け付けたモードに対応した目標座標を特定することを特徴とする撮像方法。
6. 画像を撮像する撮像手段と、前記撮像手段のレンズ制御を行うレンズ制御部と、前記撮像手段の上下方向に対する角度を制御する角度制御部と、前記撮像手段の左右方向に対する向きを制御する方向制御部と、前記撮像手段を搭載した飛行手段と、ＧＰＳ衛星からの電波を受信し、前記電波から位置座標を解析するＧＰＳ受信手段と、目標物を特定するための少なくとも１か所の特定座標を記憶する記憶手段と、を備えた撮像システムの撮像方法であって、
   前記記憶手段で記憶された前記少なくとも１か所の特定座標に基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを合わせるための目標座標を特定し、当該目標座標と前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出する算出工程と、
   前記レンズ制御部と前記角度制御部と前記方向制御部とを、前記算出工程で算出されたレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する制御工程とを有し、
   前記算出工程では、前記特定座標が複数ある場合に、複数の前記特定座標の重心を前記目標座標として特定することを特徴とする撮像方法。
7. 画像を撮像する撮像手段と、前記撮像手段のレンズ制御を行うレンズ制御部と、前記撮像手段の上下方向に対する角度を制御する角度制御部と、前記撮像手段の左右方向に対する向きを制御する方向制御部と、前記撮像手段を搭載した飛行手段と、ＧＰＳ衛星からの電波を受信し、前記電波から位置座標を解析するＧＰＳ受信手段と、目標物を特定するための少なくとも１か所の特定座標を記憶する記憶手段と、を備えた撮像システムの撮像方法であって、
   前記記憶手段で記憶された前記少なくとも１か所の特定座標と前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出する算出工程と、
   前記レンズ制御部と前記角度制御部と前記方向制御部とを、前記算出工程で算出されたレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する制御工程とを有し、
   前記算出工程では、前記特定座標が複数ある場合に、複数の前記特定座標をむすんだ辺上の前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出することを特徴とする撮像方法。
8. 画像を撮像する撮像手段と、前記撮像手段のレンズ制御を行うレンズ制御部と、前記撮像手段の上下方向に対する角度を制御する角度制御部と、前記撮像手段の左右方向に対する向きを制御する方向制御部と、前記撮像手段を搭載した飛行手段と、ＧＰＳ衛星からの電波を受信し、前記電波から位置座標を解析するＧＰＳ受信手段と、目標物を特定するための少なくとも１か所の特定座標を記憶する記憶手段とを有する撮像システムで読み取り実行可能なプログラムであって、
   前記撮像システムを、
   前記記憶手段で記憶された前記少なくとも１か所の特定座標に基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを合わせるための目標座標を特定し、当該目標座標と前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出する算出手段と、
   前記レンズ制御部と前記角度制御部と前記方向制御部とを、前記算出手段で算出されたレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する制御手段と、
   前記特定座標が複数ある場合に、複数の前記特定座標の重心を前記目標座標とする第１のモード、及び複数の前記特定座標をむすんだ辺上であって、前記位置座標に最も近い位置を前記目標座標とする第２のモードのいずれか一方の選択を、ユーザから受け付けるモード受付手段として機能させ、
   前記算出手段は、前記モード受付手段で受け付けたモードに対応した目標座標を特定することを特徴とするプログラム。
9. 画像を撮像する撮像手段と、前記撮像手段のレンズ制御を行うレンズ制御部と、前記撮像手段の上下方向に対する角度を制御する角度制御部と、前記撮像手段の左右方向に対する向きを制御する方向制御部と、前記撮像手段を搭載した飛行手段と、ＧＰＳ衛星からの電波を受信し、前記電波から位置座標を解析するＧＰＳ受信手段と、目標物を特定するための少なくとも１か所の特定座標を記憶する記憶手段とを有する撮像システムで読み取り実行可能なプログラムであって、
   前記撮像システムを、
   前記記憶手段で記憶された前記少なくとも１か所の特定座標に基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを合わせるための目標座標を特定し、当該目標座標と前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出する算出手段と、
   前記レンズ制御部と前記角度制御部と前記方向制御部とを、前記算出手段で算出されたレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する制御手段として機能させ、
   前記算出手段は、前記特定座標が複数ある場合に、複数の前記特定座標の重心を前記目標座標として特定することを特徴とするプログラム。
10. 画像を撮像する撮像手段と、前記撮像手段のレンズ制御を行うレンズ制御部と、前記撮像手段の上下方向に対する角度を制御する角度制御部と、前記撮像手段の左右方向に対する向きを制御する方向制御部と、前記撮像手段を搭載した飛行手段と、ＧＰＳ衛星からの電波を受信し、前記電波から位置座標を解析するＧＰＳ受信手段と、目標物を特定するための少なくとも１か所の特定座標を記憶する記憶手段とを有する撮像システムで読み取り実行可能なプログラムであって、
    前記撮像システムを、
    前記記憶手段で記憶された前記少なくとも１か所の特定座標と前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出する算出手段と、
    前記レンズ制御部と前記角度制御部と前記方向制御部とを、前記算出手段で算出されたレンズ制御値と上下方向に対する角度と左右方向に対する向きとなるように制御する制御手段として機能させ、
    前記算出手段は、前記特定座標が複数ある場合に、複数の前記特定座標をむすんだ辺上の前記位置座標に最も近い位置の座標と、前記位置座標とに基づいて、前記撮像手段のレンズ制御値と上下方向に対する角度と左右方向に対する向きとを算出することを特徴とするプログラム。