JP6076852B2

JP6076852B2 - カメラシステム、その制御方法およびその制御プログラム

Info

Publication number: JP6076852B2
Application number: JP2013145584A
Authority: JP
Inventors: 宣隆木村; 吉田　明; 明吉田; 俊宏鯨井
Original assignee: Hitachi Industry and Control Solutions Co Ltd
Current assignee: Hitachi Industry and Control Solutions Co Ltd
Priority date: 2013-07-11
Filing date: 2013-07-11
Publication date: 2017-02-08
Anticipated expiration: 2033-07-11
Also published as: JP2015019270A

Description

本発明は、対象物を漏れなく撮影するためのカメラシステム、その制御方法およびその制御プログラムに関するものである。

従来から、住宅、プラント、トンネル、橋梁などの構造物は、時間の経過と共に亀裂や腐食などが発生することから、定期的な点検が広く行われている。最も基本的な点検は構造物の表面を目視確認することであるが、現場点検作業後のデスクワーク等で現場の状態を再確認したいというニーズもあることから、点検対象をカメラで撮影し画像を保存しておくのが一般的である。また、作業員自らが現場を巡回することはコストがかかり、特に、住宅の床下や天井裏、原子力プラントなどの極限環境下、橋梁の裏側などを点検する際に、その空間に入る、あるいは点検可能な位置まで移動することは作業者へ大きな負担をかけることになる。このことから、点検対象を撮影可能な位置へカメラを運び入れ、作業者がそのカメラを遠隔操作することで点検対象を撮影し、その画像を作業者が確認することで点検を行うシステムもある。

例えば、特許文献１には、天井裏を走行可能なロボットにカメラを搭載し、天井裏の画像を居室内で視認することが可能なシステムが記載されている。また、特許文献２には、カメラを搭載したロボットを用い、作業者の操作に加えてロボット位置姿勢あるいはカメラ姿勢を順次変更することにより、壁など点検対象の被写部位を連続的に移動して構造物の床下や天井裏の撮影漏れの防止する方法が記載されている。

特開２０１１−１３６３８０号公報特開２００８−０５５５６９号公報

特許文献１や特許文献２に記載のシステムや方法では、作業員の入りにくい場所においても点検対象を撮影することにより点検できると共に画像を残しておくことにより再確認が可能である。

ところが、カメラを利用した点検では、点検対象となる部位を漏らすことなく撮影することが重要である。これに対して、特許文献１に記載のシステムでは撮影が作業者の遠隔操縦に任されており、撮影漏れが発生するか否かは作業者の個人的技量に依存してしまう。

また、特許文献２に記載の方法では予め設定された点検シーケンスにしたがって単に連続的に画像を撮影するだけであるので、点検シーケンスの設定時点の想定とズレ等が発生すると点検を必要とする全ての個所を撮影できる保証は無く、作業者が遠隔操縦する場合であっても撮影漏れが発生するか否かは作業者の個人的技量に依存してしまう。

そこで、本発明は、対象となる部位を漏らすことなく撮影するよう作業者を誘導するカメラシステム、その制御方法およびその制御プログラムを提供することを目的とする。

本発明は、対象物を撮影し画像を取得するカメラシステムであって、好ましくは、撮影位置と撮影姿勢を変更可能であり、前記対象物を撮影して画像へ変換する撮影部と、前記対象物を表す地図を記憶する記憶部と、前記撮影部の位置姿勢を推定し、前記撮影部の位置姿勢と前記地図とに基づき前記地図上の複数の点の中から前記撮影部に最も近い点を含む領域を被撮影領域として特定し、前記地図において前記被撮影領域に対応する箇所を図示する撮影情報含有地図を作成する演算部と、前記撮影情報含有地図を表示する表示部と、を備えたことを特徴とする。
また、本発明は、対象物を撮影し画像を取得するカメラシステムの制御方法であって、好ましくは、記憶部が前記対象物を表す地図を記憶し、撮影位置と撮影姿勢を変更可能な撮影部が前記対象物を撮影して画像へ変換し、演算部が前記撮影部の位置姿勢を推定し、前記撮影部の位置姿勢と前記地図とに基づき前記地図上の複数の点の中から前記撮影部に最も近い点を含む領域を被撮影領域として特定し、前記地図において前記被撮影領域に対応する箇所を図示する撮影情報含有地図を作成し、表示部が前記撮影情報含有地図を表示すること、を特徴とする。
また、本発明は、対象物を撮影し画像を取得するカメラシステムの制御プログラムであって、好ましくは、前記対象物を表す地図を記憶し、撮影位置と撮影姿勢に基づいて前記対象物を撮影して画像へ変換し、前記撮影部の位置姿勢を推定し、前記撮影部の位置姿勢と前記地図とに基づき前記地図上の複数の点の中から前記撮影部に最も近い点を含む領域を被撮影領域として特定し、前記地図において前記被撮影領域に対応する箇所を図示する撮影情報含有地図を作成し、前記撮影情報含有地図を表示すること、を特徴とする。

本発明によれば、被写体対象物の表面のうち画像として撮影済みの箇所を被撮影領域として正確に特定でき、作業者に伝えることができるため、個人的技量とは関係なく作業者が次に撮影すべき個所を容易に判断でき、撮影漏れを少なく抑えることが可能になるとともに、作業者は撮影状態を表す撮影情報含有地図を見ながら判断できるため、事前の想定とズレ等が発生しても撮影状態に応じて撮影し直すことも可能なカメラシステム、その制御方法およびその制御プログラムを提供することができる。

実際に撮影された領域と撮影されなかった領域を表した図である。第１の実施の形態における点検カメラシステムの構成例を表す図である。第１の実施の形態における演算部のＲＡＭで保持される主要な情報の構成例を表す図である。第１の実施の形態における記憶部に格納される情報の構成例を表す図である。記憶部が格納する共通プログラムの構成例を表す図である。記憶部が格納する共通パラメータの構成例を表す図である。地図の例を視覚的に表す図である。撮影情報含有地図の例を視覚的に表す図である。画面データの例を表す図である。第１の実施の形態における演算部の処理例を表すフローチャートである。第２の実施の形態における点検カメラシステムの構成例を表す図である。第２の実施の形態における演算部のＲＡＭで保持される主要な情報の構成例を表す図である。第２の実施の形態における記憶部に格納される情報の構成例を表す図である。第２の実施の形態における演算部の処理例を表すフローチャートである。

先ず、図１を参照して好ましい例を説明する。図１は実際に撮影された領域と撮影されなかった領域を表した模式図である。図１において被写体となる構造物として板状の部材１００と直方体の部材１０１から構成され、地図を成す。１０２はカメラであり、１０３はカメラ１０２の視界を表す四角錐状の領域である。１０４は視界１０３内に入らない未撮影領域、１０５と１０６は被撮影領域、１０７は視界１０３の範囲には入るものの構造物１０１の陰となり撮影されない領域を表す。単にカメラの位置と方向に基づいて視界１０３に入る全ての領域を撮影済みと判断すると、地図上における領域１０４は未撮影領域として正しく判断され、領域１０５と領域１０６は被撮影領域として正しく判断されるが、視界１０３内の領域１０７については誤って撮影済み領域と判断されてしまう。

そこで、カメラ１０２の位置から視界１０３の範囲内へ色を投影し、領域１０４、１０７が未撮影領域であることを作業者が容易に確認できるように被撮影領域である領域１０５、１０６とは異なる色の地図として作業者へ表示する。ここで、直方体の部材１０１の側面も未撮影領域となり、板状の部材１００と直方体の部材１０１とが離れている場合は、２つの部材の間も未撮影領域となることは言うまでもない。
（第１の実施の形態）
以下、さらに具体的に構造物を点検するための画像を取得する点検カメラシステム２００を例として説明する。

図２は、第１の実施の形態における点検カメラシステム２００の構成例を示す図である。点検カメラシステム２００は、撮影部２０１、演算部２０２、記憶部２０３、表示部２０４、入力部２０５を備え、演算部２０２は、入力部２０５を通じて与えられる作業者の指示に基づき、撮影部２０１により点検対象の構造物を撮影し、記憶部２０３に保存している地図に対し撮影済み箇所を算出し、その結果を表示部２０４により表示する。

撮影部２０１は自身の視界内に存在する点検対象の構造物を撮影する機器であり、モノクロームカメラ、カラーカメラなどとして実装される。なお、撮影部２０１が１台の例を示しているが、複数台でも良い。

演算部２０２は、入力部２０５を通じての作業者からの指示の認識、撮影部２０１の制御、記憶部２０３の制御、表示部２０４の制御、撮影部２０１の位置姿勢推定、被撮影領域の特定、撮影情報含有地図の作成、表示画面の生成を行い、ＣＰＵ２０６とＲＡＭ２０７の組合せとして実装される。演算部２０２は汎用のコンピュータであっても良い。演算部２０２は役割毎に分けられた複数のＣＰＵ２０６及びＲＡＭ２０７で構成されていても良い。ＣＰＵ２０６は、記憶部２０３に記録されている各種プログラムをＲＡＭ２０７に読み出して実行することにより、後で説明する各種機能を実現する。

記憶部２０３は外部記憶装置であり、例えばハードディスク、フロッピー（登録商標）ディスク、ＵＳＢメモリなどとして実装され、演算部２０２からの制御に基づき、情報の読み出し、変更、追加、削除を行う。

表示部２０４は例えばカラー表示可能なディスプレイやモニタなどとして実装され、演算部２０２から図５に示す表示部通信プログラム５０２に基づき送られる画像情報を表示する。

入力部２０５はマウス、キーボード、タッチパネル、テレビゲーム用コントローラなどの組合せとして実装され、作業者の意思を演算部２０２に伝えるものである。演算部２０２は、入力部２０５から送られた入力信号を図５に示す入力部通信プログラム５０３に基づき指示として認識し、その指示に応じた各種機能を実行する。

点検カメラシステム２００は、その撮影部２０１を、作業者が保持する、あるいは車両など駆動機構を持つ装置に搭載するなどして、撮影部２０１が移動しながら、点検対象構造物を連続撮影するように運用される。表示部２０４並びに入力部２０５は作業者が保持するが、撮影部２０１、演算部２０２、表示部２０４並びに入力部２０５について、それぞれの間の物理的距離は問わない。また、演算部２０２は、機能に応じて二つ以上に分割されていても良く、撮影部２０１側、表示部２０４並びに入力部２０５側などに分かれていても良い。その場合、分割された演算部２０２の間を有線あるいは無線の通信により繋ぎ、互いの情報を交換することで各要素機能を連続的に動作させることで実現される。

図３は、演算部２０２のＲＡＭ２０７で保持される主要な情報の構成例を表す図である。演算部２０２のＲＡＭ２０７では、記憶部格納情報３０１の他、撮影情報含有地図３０２、画面データ３０３を保持する。記憶部格納情報３０１は、点検カメラシステム２００の起動時に、演算部２０２が記憶部２０３に格納されている情報を読み込むことでＲＡＭ２０７上に生成される。ＲＡＭ２０７上の記憶部格納情報３０１は点検カメラシステム２００の動作中に更新されていくが、演算部２０２は記憶部２０３に格納している情報を必ずしも連動して更新しなくとも良い。ただし、点検カメラシステム２００の動作を終了するときに、演算部２０２は、記憶部格納情報３０１に基づき、記憶部２０３に格納している情報を更新する。撮影情報含有地図３０２、画面データ３０３に関しては図４〜６を用いて記憶部２０３を説明した後で記憶部２０３に格納される情報に基づいて説明する。

図４は、記憶部２０３に格納される情報の構成例を表す図である。記憶部２０３には、共通プログラム４０１、共通パラメータ４０２、撮影部位置姿勢推定プログラム４０３が格納される。

図５は記憶部２０３に格納される共通プログラム４０１の構成例を表す図である。共通プログラム４０１は、撮影部２０１、表示部２０４、入力部２０５と所定の通信プロトコルによりそれぞれ通信を実現する通信プログラム５０１〜５０３、撮影部２０１と表示部２０５のそれぞれの制御プログラム５０４、５０５、被撮影領域を特定するプログラム５０６、撮影情報含有地図３０２を作成するプログラム５０７、表示部２０４に表示する画面データ３０３を作成するプログラム５０８、地図表示のために仮想空間上に設置されるカメラのパラメータを変更するプログラム５０９、５１０を含む。プログラムの具体的な処理内容に関しては図１０を用いて後で説明する。

図６は記憶部２０３に格納される共通パラメータ４０２の構成例を表す図である。共通パラメータ４０２は、画面中の地図、撮影画像、撮影ＯＮ／ＯＦＦボタンを表示するエリア６０１〜６０３、入力部２０５からの信号と連動して表示部２０４の画面上を移動するカーソルの位置６０４、撮影中か否かを表すパラメータ６０５、表示部２０４に表示するユーザインターフェースの画像６０６、地図に対し撮影済み領域を図示する際に用いる色情報６０７、撮影部２０１の撮影パラメータ６０８、６０９、微小領域の組合せで表現される地図６１０、撮影済みの画像群６１１、地図内の微小領域に対する撮影情報を表すデータ６１２、前回推定した撮影部２０１の位置姿勢６１３、地図表示のために仮想空間上に設置されるカメラのパラメータ６１４、６１５を含む。

ここで、画面中の地図、撮影画像、撮影ＯＮ／ＯＦＦボタンを表示するエリア６０１〜６０３は表示部２０４の画面中における各エリアの左上の頂点の２次元的位置、エリアの幅、エリアの高さの情報がそれぞれ格納されており、各エリアは全て矩形状である。

カーソル位置６０４は、表示部２０４の画面中に表示されるカーソルの２自由度位置を表している。入力部２０５を介して作業者がその位置の変更を伝えることができ、演算部２０２は、入力部２０５からの信号に基づきカーソル位置６０４の値を変更し、作業者による入力部２０５を介した入力と表示部２０４に表示されるカーソルの動きが連動する。

撮影ＯＮ／ＯＦＦ６０５は、点検カメラシステム２００が撮影中か否かの状態を表す情報である。点検カメラシステム２００の起動時に演算部２０２が撮影ＯＮ／ＯＦＦ６０５を読み出し、その情報に基づき撮影のスタートを決定する。また、点検カメラシステム２００の動作中では、表示部２０４の画面内にてカーソルが画面中撮影ＯＮ／ＯＦＦボタンエリア内にある状態で、作業者が入力部２０５を通じて予め定められた信号を送ることにより、演算部２０２は入力部通信プログラム５０３に基づきその信号を撮影ＯＮ／ＯＦＦ６０５の切り替え指示として認識し、撮影ＯＮ／ＯＦＦ６０５の情報を反転させ、撮影中へと変更になる場合は撮影部２０１を起動して画像取得を開始し、停止中へと変更になる場合は撮影部２０１を停止して画像取得を終了する。

ユーザインターフェース画像群６０６は、表示部２０４に表示される複数のユーザインターフェースのための画像を格納しており、カーソルの画像と撮影ＯＮ／ＯＦＦボタンの画像を含む。撮影ＯＮ／ＯＦＦボタンは、点検カメラシステム２００が撮影中か否かの状態を作業員に伝える機能も同時に有していても良く、その場合、その画像は撮影中の状態を表すものと、停止中の状態とを表すものの２種類が含まれる。

撮影済み領域図示用色情報６０７は、地図に対し撮影済み領域を示すための色を表す。撮影済み領域を示すための色のみならず、複数の被撮影領域の中で最新の被撮影領域を示すための色、重要点検エリアを示すための色など複数存在していても良い。

撮影部画像サイズ６０８は、画像の幅ｗ_Ａと高さｈ_Ａを画素数で表現したものである。また、撮影部２０１内部パラメータ３０７は、幅方向焦点距離α_Ａ、高さ方向焦点距離β_Ａ、画像中心幅方向座標ξ_Ａ、画像中心高さ方向座標η_Ａ、歪み補正用パラメータｋ_１Ａ、ｋ_２Ａ、ｐ_１Ａ、ｐ_２Ａが含まれる。

地図６１０は、点検対象構造物の表面の色と形状を３次元的に表現する情報であり、複数の微小領域で構成される。図７は、地図６１０の例を視覚的に表現した図である。地図６１０は、点検対象構造物の表面を微小な平面の集合体として表現する。図７では、その平面の形状は四角形となっているが、３点以上の頂点を持つ多角形であれば良く、円や楕円であっても良い。各微小領域の情報は、微小領域のＩＤ番号、囲みの３次元座標、色、法線方向である。囲みの３次元座標は、多角形であればその頂点の３次元座標であり、円であれば中心及び半径、楕円であれば中心及び長半径、短半径、長軸方向である。色は単色、微小領域に貼付するテクスチャ画像などで表現される。法線方向については、多角形であれば、頂点の３次元座標の記述順によりその情報が付加され、円や楕円であれば、３自由度の法線ベクトルにより表現される。地図６１０は、点検対象構造物の設計データに基づき作成されても良いし、カメラやレーザ距離センサなどにより予め得られた計測結果に基づき作成されても良い。

撮影済み画像群６１１は、点検カメラシステム２００の起動時から終了時までに撮影した画像の列であり、そのＩＤ番号と共に画像ファイルとして保存される。

撮影情報群６１２は、地図６１０の各微小領域に対して与えられる撮影に関する情報を格納する。その情報には、少なくとも、その微小領域が撮影済みか否かを表す情報が含まれる。撮影情報群６１２は、その微小領域が最新フレームの被撮影領域か否かを表す情報、その微小領域が重要点検エリアに含まれるか否かを表す情報を有していても良い。また、撮影済みの場合に、その微小領域が撮影されている撮影済み画像群６１１の画像のＩＤ番号を一つ以上格納可能としても良い。

前回推定した撮影部の位置姿勢６１３は、撮影部２０１が１フレーム前の画像を撮影した際に、演算部２０２が、撮像部２０１位置姿勢推定プログラム４０３に基づき撮像部２０１の位置姿勢を推定した結果である。撮像部２０１の位置姿勢は、地図６１０の座標系を基準とし、３×３の回転行列Ｒと３自由度の並進ベクトルｔとして表現される。

地図表示用仮想カメラ焦点距離６１４と地図表示用仮想カメラ位置姿勢６１５は表示部２０４へ被撮影領域などを表示する際の表示の視点を表す仮想カメラに関する情報を格納する。地図表示用仮想カメラ位置姿勢６１５は、地図６１０の座標系を基準とし、３×３の回転行列Ｒ_Ｖと３自由度の並進ベクトルｔ_Ｖとして表現される。

記憶部２０３に格納される情報のうち、撮影済み画像群６１１以外は全て予め初期値が入力されている。前回推定した撮影部位置姿勢６１３の初期値には、撮影開始時における撮影部２０１の位置姿勢のおおよその値を入力しておく。その際に、撮影開始時における撮影部２０１の位置姿勢からも、前回推定した撮影部位置姿勢６１３の初期値として与えられた位置姿勢からも見える被写体構造物の部位が、多数存在する位置姿勢とする。

以上の記憶部２０３に格納される情報に対して、ＲＡＭ２０７の撮影情報含有地図３０２は、演算部２０２が、撮影情報含有地図作成プログラム５０７、地図６１０、撮影済み領域図示用色情報６０７、撮影情報群６１２に基づき作成される。図８は、撮影情報含有地図３０２の例を視覚的に表す図である。撮影情報含有地図３０２は、地図６１０の各微小領域に対し、撮影済み領域図示用色情報６０７と撮影情報群６１２に基づき色付けされたものである。

また、ＲＡＭ２０７の画面データ３０３は、演算部２０２が、画面データ作成プログラム５０８、撮影情報含有地図３０２、撮影済み画像群６１１の内の一枚の画像、カーソル位置６０４、撮影ＯＮ／ＯＦＦ６０５、画面中における地図、撮影画像、撮影ＯＮ／ＯＦＦボタンの表示用エリア６０１〜６０３、ユーザインターフェース画像群６０６、地図表示用仮想カメラのパラメータ６１４、６１５に基づき作成される。図９は、画面データ３０３の例を表す図である。演算部２０２は、表示部通信プログラム５０２に基づき、画面データ３０３を表示部２０４へ送り、表示部２０４は画面データ３０３にしたがって画面を表示する。

画面データ３０３のうち画面中地図表示用エリア６０１に表示する画像は、３次元的な情報を持つ撮影情報含有地図３０２をその空間内に仮想的に設置した地図表示用仮想カメラから見た画像である。地図表示用仮想カメラは、画面中地図表示用エリア６０１をその画像サイズとし、撮影地図表示用仮想カメラ焦点距離６１４、表示用仮想カメラ位置姿勢６１５によって地図表示用仮想カメラの状態が定義される。地図表示用仮想カメラ焦点距離変更プログラム５０９は、入力部２０５からの入力信号に対し、地図表示用仮想カメラ焦点距離６１４の変更処理を行うプログラムである。また、地図表示用仮想カメラ位置姿勢変更プログラム５１０は、入力部２０５からの入力信号に対し、地図表示用仮想カメラ位置姿勢６１５の変更処理を行うプログラムである。この二つのプログラムにより、画面データ１５２内の画面中地図表示用エリア６０１に表示される撮影情報含有地図３０２の見え方を変更することができる。

図１０は、演算部２０２の処理例を説明するフローチャートである。先ず、点検カメラシステム２００が起動し、演算部２０２が、記憶部２０３に格納されている全てのデータを、ＲＡＭ２０７内の記憶部格納情報３０１へと読み込み、前回推定した撮影部の位置姿勢６１３の初期値付近に実際の撮影部２０１が存在している状態で、撮影ＯＮ／ＯＦＦ６０５がＯＮに変更になったところでスタートする。

スタートすると、演算部２０２は、撮影部通信プログラム５０１と撮影部制御プログラム５０４に基づき、撮影部２０１に構造物を撮影させ、画像を取得する（Ｓ１００）。続いて、演算部２０２は、得られた画像にＩＤ番号を付加し、ＲＡＭ２０７内の記憶部格納情報３０１における撮影済み画像群６１１に最新画像としてＩＤ番号と共に格納する（Ｓ１０１）。さらに、１フレーム前の画像をＲＡＭ２０７内に格納している場合に、演算部２０２はその画像をそのＩＤ番号と共に記憶部２０３内の撮影済み画像群６１１へと格納し、その画像およびＩＤ番号をＲＡＭから削除する（Ｓ１０２）。演算部２０２が、定期的にＲＡＭ内に確保される画像を削除することにより、ＲＡＭ内のデータ量が積算されることを防ぐことができる。

続いて、演算部２０２は、ＲＡＭ２０７内の記憶部格納情報３０１における撮影部位置姿勢推定プログラム４０３に基づき、前回推定した撮影部の位置姿勢６１３から撮影する画像を予測して予測画像をＲＡＭ２０７内に作成し、その予測画像と最新画像とを照合し、現在の撮影部２０１の位置姿勢を推定する（Ｓ１０３）。予測画像の作成には、撮影部画像サイズ６０８、撮影部内部パラメータ６０９、地図６１０、前回推定した撮影部の位置姿勢６１３を利用する。

作成する予測画像の各画素に対し、前回推定した撮影部２０１の３次元位置からその画素に対応する方向に延びる半直線を定義し、地図６１０内の全微小領域のうちその半直線と交わるものを算出し、半直線と微小領域との交点までの距離が前回推定した撮影部２０１の３次元位置に最も近い点が撮影されるとみなし、その点に対応する色をその画素に色付けする。これにより、予測画像を作成することができる。

予測画像の作成後、最新画像と撮影部画像サイズ６０８、撮影部内部パラメータ６０９に基づいてレンズ歪みを補正した補正画像を作成する。さらに、予測画像から構造物の頂点などの特徴点を抽出し、各特徴点を中心に１０画素×１０画素程度の領域を切り出し、その領域を補正画像上で探索することにより、予測画像−補正画像間の対応点を複数個取得する。全ての対応点がエピポーラ幾何拘束を満たすように、前回推定した撮影部２０１位置姿勢と現在の位置姿勢との相対関係を求め、その後、現在の撮影部２０１の位置姿勢の推定値を決定することができる。

続いて、演算部２０２はＲＡＭ２０７内の記憶部格納情報３０１における被撮影微小領域特定プログラム５０６に基づき、本フレームにおける被撮影微小領域を特定し、ＲＡＭ２０７内に格納する（Ｓ１０４）。その際に、現在の位置姿勢の推定値、撮影部画像サイズ６０８、撮影部内部パラメータ６０９、地図６１０を使用する。

予測画像作成と同様に、推定した現在の撮影部２０１の３次元位置から地図６１０内の各微小領域への方向に延びる半直線を視界の範囲内で定義し、地図６１０内の全微小領域のうちその半直線と交わるものを算出し、複数の交わるものの中で半直線と微小領域との交点までの距離が推定した現在の撮影部２０１の３次元位置に最も近い点が撮影されるとみなし、その微小領域を被撮影微小領域として特定することができる。最も近い点の算出には、撮影部２０１の３次元位置から複数の交点までの距離を計算しソートしても良いし、撮影部２０１の３次元位置を原点として複数の交点のｘ座標あるいはｙ座標のいずれかを比較するなどしても良い。一つしか交わるものがない場合はその交点が最も近い点となることは言うまでもないが、交わるものの数を判定して一つしか交わるものがない場合にその交点を最も近い点としても良いし、複数の交わるものに対応できる処理の結果として一つしか交わるものがない場合にその交点を最も近い点とするなどしても良い。

ここで、特定した微小領域の構造物の内側から外側へ向かう法線方向と半直線の方向との成す角が９０度以下の場合すなわち直方体の部材１０１などの構造物の内側から外側へ向けて撮影した状態となる場合、実際にはその微小領域は撮影されない。このようなケースは地図が不完全であり、撮影部２０１へさらに近い微小領域が地図から欠損している場合に発生するため、この成す角の大きさが９０度より大きい場合にその微小領域を被撮影微小領域として特定することがより望ましい。

続いて、演算部２０２は、特定した被撮影微小領域に対し、ＲＡＭ２０７内の記憶部格納情報３０１における撮影情報群６１２のうち撮影済みか否かを表す情報を撮影済みとして更新する（Ｓ１０５）。その後、演算部２０２は、ＲＡＭ２０７内の撮影情報含有地図作成プログラム５０７に基づき、撮影情報含有地図３０２を作成する（Ｓ１０６）。

撮影情報群６１２に微小領域が撮影されている画像のＩＤ番号を入力可能としている場合、そこに最新画像のＩＤ番号を入力しても良い。

撮影情報含有地図３０２の作成には、撮影済み領域図示用色情報６０７、地図６１０、撮影情報群６１２を用いる。具体的には、地図６１０をＲＡＭ２０７上でコピーし、撮影情報群６１２の撮影済みか否かを表す情報が撮影済みとなっている微小領域に対し、その色情報を撮影済み領域図示用色情報６０７に基づき変更する。その際に、撮影済み領域図示用色情報６０７をそのまま利用しても良いが、地図６１０に記されているその微小領域の色情報と撮影済み領域図示用色情報６０７とを一定の割合で混ぜ合わせて作成した色を利用すると、作業者が点検対象構造物のどの部位が計測済みであるかを視認し易くなる。

また、撮影情報群６１２及び撮影済み領域図示用色情報６０７の中に、重点点検領域か否かを表す情報及びそれに対応する色を含めておき、重点点検領域のうち未撮影の微小領域を重点点検領域の色とすることで、今後どの領域を撮影すれば良いか作業者が視認しやすくなる。さらに、撮影済み領域図示用色情報３０５の中に最新フレームの被撮影領域を表すための色を保持しておき、Ｓ１０４で特定した被撮影微小領域をその色とすることで、現在の撮影部２０１がどの領域を撮影しているのか、撮影部２０１を今後どの方向に移動すれば良いかを作業者が視認しやすくなる。最新フレームの被撮影領域が移動した場合は、一つ前のフレームの被撮影領域の色を最新フレームの被撮影領域を表すための色以外の色へ変更しても良いし、一つ前のフレームの被撮影領域の色は残して最新フレームの被撮影領域を表すための色を常に変更し、作業者へは最新フレームの被撮影領域を表すための色が何色であるかを表示するなどしても良い。

続いて、演算部２０２は、ＲＡＭ２０７内の記憶部格納情報３０１における画面データ作成プログラム５０８により、画面データを作成し（Ｓ１０７）、表示部通信プログラム５０２と表示部制御プログラム５０５により、表示部２０４に画面データ３０３を表示させる（Ｓ１０８）。

画面データ３０３の作成には、撮影情報含有地図３０２、画面中の地図、画像、撮影ＯＮ／ＯＦＦボタンのエリア６０１〜６０３、カーソル位置６０４、撮影ＯＮ／ＯＦＦ６０５、ユーザインターフェース画像群６０６、撮影済み画像群６１１に格納されている最新画像、地図表示用仮想カメラの焦点距離及び位置姿勢６１４、６１５を用いる。

まず、画面中地図表示用エリア６０１に表示する画像を作成する。撮影情報含有地図３０２に対し、画面中地図表示用エリア６０１を画像サイズとし、地図表示用仮想カメラ焦点距離６１４を焦点距離とする仮想カメラを、地図表示用仮想カメラ位置姿勢６１５に仮想的に出現させて表示の視点とし、その仮想カメラによる仮想的な撮影結果を表示画像とする。地図表示用仮想カメラ位置姿勢６１５に記された３次元位置に表示画面の各画素を置き、その各画素から撮影方向に延びる半直線を定義し、撮影情報含有地図３０２内の全微小領域のうちその半直線と交わるものを算出し、半直線と微小領域との交点までの距離が地図表示用仮想カメラ位置姿勢６１５に記された３次元位置に最も近い点が撮影されるとみなし、撮影情報含有地図３０２のその最も近い点の色を表示画像のその画素に色付けする。これにより、撮影情報含有地図３０２に対する表示画像を作成することができる。

図９における画面中の地図、画像、撮影ＯＮ／ＯＦＦボタンを表示するためのエリア６０１〜６０３を包含する表示ウィンドウ９０４に対応する画面データ３０３をＲＡＭ２０７上に作成するため、エリア９０１に対応する画面中地図表示用エリア６０１に作成した表示画像を、エリア９０２に対応する画面中画像表示用エリア６０２に撮影済み画像群６１１に格納されている最新画像あるいは所定の条件を満たす画像を、エリア９０３に対応する画面中撮影ＯＮ／ＯＦＦボタンエリア６０３にユーザインターフェース画像群６０６に格納されている撮影ＯＮ／ＯＦＦボタン画像９０７のうち撮影ＯＮ／ＯＦＦ６０５に対応する画像を、それぞれ表示ウィンドウに対応するデータへ合成する。その上から、ユーザインターフェース画像群６０６に格納されているカーソル画像９０５をカーソル位置６０４に基づきエリア９０６へ合成する。この結果が画面データ３０３となる。

演算部２０２は、入力部通信プログラム５０３に基づき入力部２０５からの入力信号を指示として認識し、その指示に対応する動作を実行する（Ｓ１０９）。その指示には、少なくとも、撮影ＯＮ／ＯＦＦ６０５の切り替え、カーソル位置６０４の移動、地図表示用仮想カメラ焦点距離６１４の変更、地図表示用仮想カメラ位置姿勢６１５の変更が含まれる。そして、演算部２０２は、撮影ＯＮ／ＯＦＦ６０５の値に応じて、Ｓ１００からの一連の動作を再度繰り返すか、点検カメラシステム２００を終了するかを選択する（Ｓ１１０）。終了する際には、ＲＡＭ２０７内の記憶部格納情報３０１を記憶部２０３にコピーする。ただし、撮影済み画像群６１１については、既にコピーした画像へ上書きするのではなく、最新画像をそのＩＤ番号と共に追加保存しても良い。

また、撮影情報群６１２に、撮影済みの微小領域に対しその微小領域が撮影されている画像のＩＤ番号を付加されている場合、撮影ＯＮ／ＯＦＦ６０５が停止中を表す際に、作業者がカーソル９０５を撮影済み微小領域に重ね合わせて予め定義した信号を送ることで、その微小領域を撮影した画像が画面中画像表示用エリア６０２に表示されるようにしても良い。これにより、作業者が撮影後にカーソル９０５のみによる仮想カメラなどの操作だけで撮影結果の再確認を容易に行うことができるようになる。

画像撮影は亀裂などの発見を目的としていることから、点検対象構造物の表面は可能な限り垂直に撮影されることが望ましく、平行に近づくにつれて点検用途に利用不可能な画像となる。そこで、被撮影微小領域を特定する際に（Ｓ１０４）、最も近いという条件に加えて、その画像を撮影したときの撮影部２０１の位置姿勢と地図６１０から、微小領域の法線方向と撮影部２０１の３次元位置からその微小領域が写し出されている画素への方向の半直線との成す角を算出し、その成す角と予め与えられた閾値とを比較して平行に近くない場合にその微小領域が撮影されたとすることが望ましい。

点検対象構造物の表面は可能な限り拡大して撮影されていることが望ましく、１画素に対応する面積が亀裂の太さに対して大き過ぎる場合は点検用途に利用不可能な画像となる。そこで、被撮影微小領域を特定する際に（Ｓ１０４）、最も近いという条件や平行に近くないという条件に加えて、その画像を撮影したときの撮影部２０１の位置姿勢と撮影部２０１の撮影に関するサイズやパラメータ６０８、６０９、地図６１０から、その微小領域が写し出されている画素数を算出し、微小領域の面積をその画素数で割った１画素当たりの面積の値が予め与えられた閾値よりも小さい場合にその微小領域が撮影されたと見なすことが望ましい。

撮影対象群６１２について、撮影済みの微小領域に対しその微小領域が撮影されている画像のＩＤ番号を付加している場合、さらに、上記の成す角や１画素当たりの面積あるいはそれらの組み合わせから算出される評価値を画像に与えて、その微小領域を撮影している画像が複数存在する際にはそれらの値に基づき優先順位付けを行い、優先順位の高い順に表示できるようにその画像のＩＤ番号を保存しても良い。これにより、撮影後に画像を再点検する際に、条件の良い画像のみを確認することができ、再点検の時間を短縮することができる。なお、一つの画像を構成する複数の微小領域で上記の成す角や１画素当たりの面積の異なる場合は最低値を画像の評価値としても良い。

画面中地図表示用エリア６０１に関しても、上記の成す角や１画素当たりの面積あるいはそれらの組み合わせから算出される評価値に応じて撮影済み領域図示用色情報６０７の複数の色から特定の色を選択して撮影情報含有地図へ色付けし、作業者へどのような状態で撮影したかを認識させることにより、同じ領域を再度撮影し直すかの判断をさせても良い。

さらに、現在の撮影部２０１の位置姿勢推定（Ｓ１０３）には、誤差の生じる場合がある。その誤差により半直線により構成された視界と実際に撮影された画像とにズレが生じ、被撮影微小領域の特定（Ｓ１０４）にも誤りが生じて、それが点検用画像の取得漏れにつながる場合もある。そこで、撮影した画像のうち予め定められた画素数の幅を持った外枠よりも内側の領域のみを被撮影微小領域として、ズレが生じても確実に撮影された領域のみを被撮影微小領域とすることにより点検用画像の取得漏れを抑えることもできる。ここで、外枠も被撮影微小領域として外枠と外枠よりも内側の領域との撮影済み領域図示用色情報の色を異なる色として、外枠であって点検用画像の取得漏れの可能性のあることを作業者へ認識させても良い。
（第２の実施の形態）
第２の実施の形態では、構造物を点検するための画像を取得する点検カメラシステムの他の例を説明する。

図１１は、点検カメラシステム１１００の構成例を示す図であり、点検カメラシステム１１００は図２における点検カメラシステム２００に対して距離計測部１１０１を加えたものであって、記憶部１１０３の記憶内容が異なり、ＲＡＭ１１０４の記憶内容が異なることにおいて演算部１１０２が異なる。ここで、距離計測部１１０１と撮影部２０１との相対位置姿勢関係は固定されているものとする。距離計測部１１０１はある方向に存在する物体までの距離を計測し、瞬間的に複数の方向の距離を取得できるセンサであり、レーザ距離センサ、距離画像センサなどとして実装される。距離計測部１１０１による計測結果の１フレーム分は、複数方向の距離計測結果を統合して得られ、それは空間の部分的な形状を表すものとなり、地図６１０の微小領域の形状及び法線方向と同様な形式に変換可能である。このことから、図２における点検カメラシステム２００に対して距離計測部１１０１のみにより撮影部２０１の位置姿勢を特定でき、さらに地図６１０を予め用意しておかなくても良い。ここで、距離計測部１１０１の計測結果の１フレーム分を部分地図と呼ぶこととする。距離計測部１１０１がレーザの反射強度を計測する機能を持つ、あるいは、色を計測するセンサを含めたデバイスとなっている場合、この部分地図には色情報も付加される。

図１２は、演算部１１０２がＲＡＭ１１０４で保持される主要な情報の構成例を表す図であり、その構成は図２における演算部２０２のＲＡＭ２０７で保持する情報に対して最新部分地図１２０２が追加されており、記憶部格納情報１２０１に格納される情報が記憶部１１０３に格納される情報に応じて異なる。

図１３は、記憶部１１０３に格納される情報の構成例を示す図である。図４における記憶部２０３と同じく共通プログラム４０１、共通パラメータ４０２を格納するが、撮影部位置姿勢推定プログラム１３０３については記憶部２０３に格納される撮影部位置姿勢推定プログラム４０３とは異なるものとなっている。それ以外に、距離計測部１１０１の通信プログラム１３０１、距離計測部１１０１の制御プログラム１３０２、地図６１０を追記及び更新するプログラム１３０４、撮影部２０１と距離計測部１１０１との相対位置姿勢１３０５、時系列的に推定した撮影部２０１の位置姿勢群１３０６を新たに格納している。

図１４は、演算部１１０２の処理例を説明するフローチャートである。まず、演算部１１０２は、図１０におけるＳ１００〜Ｓ１０２を実行する（Ｓ２００）。続いて、演算部１１０２は、距離計測部通信プログラム１３０１及び距離計測部制御プログラム１３０２により、距離計測部１１０１を制御し、瞬間的に複数の方向の距離を計測して点検対象構造物の部分地図を取得し、ＲＡＭ１１０２内の最新部分地図１２０２にコピーする（Ｓ２０１）。

続いて、演算部１１０２は、ＲＡＭ１１０４内の撮影部位置姿勢推定プログラム１３０３により、現在の撮影部２０１の位置姿勢を推定する（Ｓ２０２）。その際に、最新部分地図１２０２、地図６１０、前回推定した撮影部の位置姿勢６１３、撮影部２０１と距離計測部１１０１との相対位置姿勢１３０５を用いて、距離計測部１１０１の位置姿勢を推定することにより、相対位置姿勢関係が固定されている撮影部２０１の位置姿勢を推定する。なお、撮影部２０１の位置姿勢を推定する際に、地図６１０の各微小領域が保持する情報のうち、色情報については無くとも良い。

すなわち、前回推定した撮影部の位置姿勢６１３及び撮影部２０１と距離計測部１１０１との相対位置姿勢１３０５から、前回推定した距離計測部１１０１の位置姿勢を算出する。この値を地図６１０が存在する空間に最新部分画像１２０２を設置する初期値とし、iterative closest pointアルゴリズムを用いて、地図６１０と最新部分地図１２０２を照合することで、その結果として現在の距離計測部１１０１の位置姿勢が得られる。さらに、撮影部２０１と距離計測部１１０１との相対位置姿勢１３０５に基づき、現在の撮影部２０１の位置姿勢が推定される。この撮影部２０１の位置姿勢推定は、図１０の処理と比較し、距離を測定して奥行き情報を利用しているため、推定精度が高くなるという長所がある。

演算部１１０２は、得られた現在の撮影部２０１の位置姿勢を撮影部位置姿勢群に画像ＩＤ番号と共に保存し、前回推定した撮影部の位置姿勢６１３を更新する（Ｓ２０３）。さらに、演算部１１０２は、ＲＡＭ１１０４内の地図更新プログラム１３０４により、地図を更新する（Ｓ２０４）。地図の更新には、現在の距離計測部１１０１の位置姿勢に基づき、最新部分地図１２０２を座標変換し、座標変換結果を地図６１０に加えることで地図の更新を実現する。これにより、予め地図６１０が無い環境においても、地図６１０を拡張しながら、拡張した地図に対し、被撮影微小領域を図示することが可能となる。その後の演算部１１０２の処理は図１０のＳ１０４以降の処理と同一である。

距離計測部１１０１が距離計測の方向を２自由度に変更可能な場合は、周囲空間を３次元的に計測可能となり、地図６１０も３次元的な微小形状を構成要素とすれば、距離計測部１１０１の位置姿勢を３次元的に推定することができ、その結果撮影部２０１は３次元的な移動が許容される。逆に、２次元平面上を移動する車両などに撮像部２０１が搭載される場合、距離計測部１１０１は距離計測の方向の変更を水平面上の１自由度のみに限定し、地図６１０も間取り図のような水平面上の断面図とすることができる。

図１４の処理では、地図６１０を拡張して作成された部分地図について、その部分地図が作成される前にその部分地図に該当する領域を撮影した画像が撮影情報群６１２に反映されない。そこで、撮影ＯＮ／ＯＦＦ６０５が停止中を表す際などに、作業者が予め定められた信号を用いて入力部２０５を介して演算部１１０２に撮影情報群６１２の再計算を指示した場合は、撮影部２０１の位置姿勢群１３０６、撮影部２０１の撮影パラメータ６０８、６０９、撮影済み画像群６１１に基づき、撮影済み画像群６１１の全画像に対し順に撮影情報群６１２を更新しても良い。これにより、地図６１０を拡張していく場合においても、撮影の無駄な重複を抑制することが可能になる。
なお、上記実施の形態では構造物の点検を例に説明したが、撮影部で撮影できるものであれば構造物以外の対象物であっても良く、撮影した画像の利用目的は点検以外であっても良い。また、プログラムそれぞれの代わりに回路で機能を実現しても良い。

１００板状の部材
１０１直方体の部材
１０２カメラ
１０３視界
１０４未撮影領域
１０５被撮影領域
１０６被撮影領域
１０７未撮影領域
２００点検カメラシステム
２０１撮影部
２０２演算部
２０３記憶部
２０４表示部
２０５入力部
２０６ＣＰＵ
２０７ＲＡＭ
３０１記憶部格納情報
３０２撮影情報含有地図
３０３画面データ
４０１共通プログラム
４０２共通パラメータ
４０３撮影部位置姿勢推定プログラム
５０１撮影部通信プログラム
５０２表示部通信プログラム
５０３入力部通信プログラム
５０４撮影部制御プログラム
５０５表示部制御プログラム
５０６被撮影微小領域特定プログラム
５０７撮影情報含有地図作成プログラム
５０８画面データ作成プログラム
５０９地図表示用仮想カメラ焦点距離変更プログラム
５１０地図表示用仮想カメラ位置姿勢変更プログラム
６０１画面中地図表示用エリア
６０２画面中画像表示用エリア
６０３画面中撮影ＯＮ／ＯＦＦボタンエリア
６０４カーソル位置
６０５撮影ＯＮ／ＯＦＦ
６０６ユーザインターフェース画像群
６０７撮影済み領域図示用色情報
６０８撮影部画像サイズ
６０９撮影部内部パラメータ
６１０地図
６１１撮影済み画像群
６１２撮影情報群
６１３前回推定した撮影部の位置姿勢
６１４地図表示用仮想カメラ焦点距離
６１５地図表示用仮想カメラ位置姿勢
９０１表示部の画面上のエリア
９０２表示部の画面上のエリア
９０３表示部の画面上のエリア
９０４表示部の画面上の表示ウィンドウ
９０５カーソル画像
９０６表示部の画面上のエリア
９０７撮影ＯＮ／ＯＦＦボタン画像
１１００点検カメラシステム
１１０１距離計測部
１１０２演算部
１１０３記憶部
１１０４ＲＡＭ
１２０１記憶部格納情報
１２０２最新部分地図
１３０１距離計測部通信プログラム
１３０２距離計測部制御プログラム
１３０３撮影部位置姿勢推定プログラム
１３０４地図更新プログラム
１３０５撮影部と距離計測部との相対位置姿勢
１３０６撮影部位置姿勢群

Claims

対象物を撮影し画像を取得するカメラシステムであって、
撮影位置と撮影姿勢を変更可能であり、前記対象物を撮影して画像へ変換する撮影部と、
前記対象物を表す地図を記憶する記憶部と、
前記撮影部の位置姿勢を推定し、前記撮影部の位置姿勢と前記地図とに基づき前記地図上の複数の点の中から前記撮影部に最も近い点を含む領域を被撮影領域として特定し、前記地図において前記被撮影領域に対応する箇所を図示する撮影情報含有地図を作成する演算部と、
前記撮影情報含有地図を表示する表示部と、
を備えたことを特徴とするカメラシステム。
請求項１に記載のカメラシステムであって、
３次元的な領域で構成された前記地図を記憶する前記記憶部と、
前記撮影部から前記地図への半直線を定義し、前記半直線と前記地図の複数の前記領域との交点を前記地図上の複数の点とする前記演算部と、
を備えたことを特徴とするカメラシステム。
請求項１または２に記載のカメラシステムであって、
前記撮影部が前記対象物を撮影した複数の画像に対し個別に前記被撮影領域を特定し、前記地図に対し全ての前記被撮影領域に対応する箇所を図示する撮影情報含有地図を作成する前記演算部
を備えたことを特徴とするカメラシステム。
請求項３に記載のカメラシステムであって、
前記複数の画像の前記撮影の時刻に応じて個別に前記被撮影領域を特定し、前記時刻に応じて少なくとも一つの前記被撮影領域を他の前記被撮影領域とは異なる図示とする撮影情報含有地図を作成する前記演算部
を備えたことを特徴とするカメラシステム。
請求項３または４に記載のカメラシステムであって、
前記表示部に表示された前記撮影情報含有地図の前記被撮影領域を指示されると、前記指示された前記被撮影領域に対応する前記撮影した画像を前記複数の画像の中から特定する前記演算部と、
前記撮影情報含有地図と共に前記撮影した画像を表示する前記表示部と、
を備えたことを特徴とするカメラシステム。
請求項１〜５のいずれか１項に記載のカメラシステムであって、
重点エリアを記憶する記憶部と、
前記重点エリアに対応する箇所を、前記被撮影領域とは異なる図示とする撮影情報含有地図を作成する前記演算部と、
を備えたことを特徴とするカメラシステム。
請求項２に記載のカメラシステムであって、
前記画像のうち予め定められた幅の外枠部分を前記被撮影領域とは異なる図示とする撮影情報含有地図を作成する、あるいは前記領域の法線と前記撮影部から前記領域へ向かう前記半直線の方向との成す角に基づき前記被撮影領域としての異なる図示とする撮影情報含有地図を作成する、あるいは前記領域の面積を前記領域に対応する前記画像の画素数で除算した画素当たりの面積に基づき前記被撮影領域としての異なる図示とする撮影情報含有地図を作成する前記演算部
を備えたことを特徴とするカメラシステム。
請求項２に記載のカメラシステムであって、
前記画像のうち予め定められた幅の外枠部分を未撮影とみなして前記被撮影領域を特定する、あるいは前記領域の法線と前記撮影部から前記領域へ向かう前記半直線の方向との成す角に基づき未撮影とみなして前記被撮影領域を特定する、あるいは前記領域の面積を前記領域に対応する前記画像の画素数で除算した画素当たりの面積に基づき未撮影とみなして前記被撮影領域を特定する前記演算部
を備えたことを特徴とするカメラシステム。
請求項２に記載のカメラシステムであって、
前記領域の法線と前記撮影部から前記領域へ向かう前記半直線の方向との成す角あるいは前記領域の面積を前記領域に対応する前記画像の画素数で除算した画素当たりの面積に基づき前記領域を含む前記画像の評価値を算出する前記演算部と、
前記評価値の高い順に前記画像を表示する前記表示部と、
を備えたことを特徴とするカメラシステム。
請求項１〜９のいずれか１項に記載のカメラシステムであって、
前記画像と前記地図とを照合することで前記撮影部の位置姿勢を推定する前記演算部
を備えたことを特徴とするカメラシステム。
請求項１〜９のいずれか１項に記載のカメラシステムであって、
前記撮影部の周りの空間の部分的な形状を取得する距離計測部をさらに備え
前記距離計測部の計測結果と前記地図とを照合することで前記距離計測部の位置姿勢を推定する前記演算部と、
を備えたことを特徴とするカメラシステム。
請求項１１に記載のカメラシステムであって、
前記距離計測部の計測結果に基づき前記地図を更新する前記演算部
を備えたことを特徴とするカメラシステム。
対象物を撮影し画像を取得するカメラシステムの制御方法であって、
記憶部は前記対象物を表す地図を記憶し、
撮影位置と撮影姿勢を変更可能な撮影部は前記対象物を撮影して画像へ変換し、
演算部は前記撮影部の位置姿勢を推定し、前記撮影部の位置姿勢と前記地図とに基づき前記地図上の複数の点の中から前記撮影部に最も近い点を含む領域を被撮影領域として特定し、前記地図において前記被撮影領域に対応する箇所を図示する撮影情報含有地図を作成し、
表示部は前記撮影情報含有地図を表示すること
を特徴とするカメラシステムの制御方法。
撮影位置と撮影姿勢を変更可能であり、対象物を撮影して画像へ変換する撮影部を備えたカメラシステムで実行可能な制御プログラムであって、
前記対象物を表す地図を記憶し、
撮影位置と撮影姿勢に基づいて前記対象物を撮影して画像へ変換し、
前記撮影部の位置姿勢を推定し、前記撮影部の位置姿勢と前記地図とに基づき前記地図上の複数の点の中から前記撮影部に最も近い点を含む領域を被撮影領域として特定し、前記地図において前記被撮影領域に対応する箇所を図示する撮影情報含有地図を作成し、
前記撮影情報含有地図を表示すること
を特徴とするカメラシステムの制御プログラム。