JP7120620B2 - センサ装置、センサ装置の制御方法及びプログラム - Google Patents

Description

本発明は、センサ装置、センサ装置の制御方法及びプログラムに関する。

工場、オフィスビル、公共施設、インフラ、プラント等の場所では、設備の老朽化や異変に関する点検が日常的に行われる。このような点検により、工場等における安全性や機能が維持され、継続的な運用が可能となっている。

近年ではＩｏＴ（Internet of Things）技術を活用した取り組みが進んでおり、無線通信機能を持ったセンサ装置が点検対象の設備の周辺に設置されている。当該センサ装置は、センサ情報を取得し、当該センサ情報を無線通信によってサーバに送信する。サーバには、各センサ装置からのセンサ情報が集約され、サーバが当該集約されたセンサ情報を分析することで対象設備が正常か異常かを判断する。このようにして点検作業の自動化を行っている。

上記説明したように、点検作業が自動化される一方で、センサ装置による自動点検をシステムに導入するには以下のような問題があり、これらの問題がシステム導入の障壁となっている。

第１の問題は、点検対象の設備の数に応じて必要なセンサ装置の数が増加しコストが増加する点である。

第２の問題は、脱落の可能性等の安全性の観点やスペースの制約の観点により、センサ装置を点検対象の設備周辺に後付けできない点である。

第３の問題は、センサ装置の電源を確保できない点である。

第４の問題は、設備を点検するために設置したセンサ装置自体の点検が必要な点である。

上記問題を解決するための方法として、センサ装置を移動させ点検対象の設備に関する情報を取得する方法が存在する（図１７参照）。

本書において、点検対象の設備にセンサ装置を取り付ける方式を「センサ固定型の点検方式」、あるいは、単に「固定型」と表記する。対して、センサ装置自身を移動させる方式を「センサ移動型の点検方法」、あるいは、単に「移動型」と表記する。

センサ移動型の点検方法に用いられる移動型センサ装置は、装置全体を移動するための車輪等の装置駆動部と、センサ位置を精密（正確）に決めるためのアームロボット等のセンサ駆動部を有する。

特許文献１乃至３には、人が手にもって撮影するカメラのための手法であって、基準画像をライブビューに重畳表示し、人の判断（操作）によって基準画像とライブビューが重なるようにカメラを移動させる方法が開示されている。つまり、特許文献１乃至３には、カメラを用いた対象の撮影に関し、基準画像と同一視点、同一方向からの撮影を容易にする手法が開示されている。

特開２００１－３５８９７２号公報 特開２００５－０２６８７２号公報 特開２０１３－１９２１６８号公報

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

上述のように、センサを用いた設備点検では、繰り返しセンサ情報が収集される。具体的には、点検対象が正常状態におけるセンサ情報が予め収集される。当該収集されたセンサ情報（過去の取得された情報）とセンサ装置により取得された最新の情報が比較され、過去の情報からの外れ値や変化点の有無を検出することで点検対象の状態（正常、異常）が判定される。

従って、固定型、移動型を問わず、取得するセンサ情報の取得条件には一貫性が要求される。そのため、センサ移動型の点検方法を採用する場合には、センサ装置は、常時、同じ位置姿勢でセンサ情報を取得する必要がある。より具体的には、センサ装置は、センシング対象（点検対象）となっている部位に対して、センサを同じ位置及び角度（方向）に設置し当該設置されたセンサから情報を取得する必要がある。

例えば、モータを搭載した工作機械の点検を設備の振動情報によって行う場合、点検対象となる設備の機構の影響を受け、センサを設置する位置によって振動の特性（周波数、振幅）が異なる。また、振動は方向を持つ物理量であるため、例えば、マイクをセンサとして用いると、振動源に対するマイクの角度（マイクの姿勢）に応じて取得されるセンサ情報の特徴が変化する。

上記のような事情から、異なる位置、異なる姿勢で取得したセンサ情報を用いて設備の異常を判断することは困難である。即ち、センシング対象に対してセンサが設定される位置、角度がデータの取得のたびに異なっていると、当該取得したデータを用いた設備の状態判定（正常状態、異常状態）は困難となる。

固定型の場合、センサの設置位置が固定されているため、毎回同じ位置姿勢のセンサ情報を取得できるのに対し、移動型はセンサ装置自身が動くため、センサ情報を取得するたびに取得位置姿勢が変わる可能性がある。また、このようなセンサの位置姿勢と当該センサから得られるデータ（センサデータ）の関係に関する問題は、設備点検に限らず、移動型センサによるモニタリングシステム全般において生じる可能性がある。

上述のように、特許文献１乃至３には、基準画像と同一視点、同一方向からの撮影を容易にする手法が提案されている。しかし、これらの文献に開示された手法は、人が把持して撮影するカメラのための手法であり、カメラの位置合わせは人の操作で行われている。従って、特許文献１乃至３に開示された手法では、人の操作がなければ基準画像と同一の視点で対象を撮影できない。

本発明は、センサ情報を取得するタイミングによらず、センサをセンシング対象に対して同じ位置及び同じ方向に設定することに寄与するセンサ装置、センサ装置の制御方法及びプログラムを提供することを主たる目的とする。

本発明乃至開示の第１の視点によれば、カメラを含むカメラ部と、前記カメラ部を制御して画像を取得する、カメラ制御部と、自装置を移動するための装置駆動部と、前記装置駆動部を制御して自装置を移動する、駆動制御部と、少なくとも前記カメラ部により撮影された撮影画像と予め取得された基準画像に基づき、前記撮影画像が取得された際のカメラの視点を、前記基準画像が取得された際のカメラの視点に変換するための変換式を算出する、変換式算出部と、を備え、前記駆動制御部は、前記変換式に基づき、前記撮影画像が撮影された際のセンシング対象に対する自装置の位置及び方向から、前記基準画像が撮影された際の位置及び方向に自装置を移動する、センサ装置が提供される。

本発明乃至開示の第２の視点によれば、カメラを含むカメラ部と、自装置を移動するための装置駆動部と、を備えるセンサ装置において、少なくとも前記カメラ部により撮影された撮影画像と予め取得された基準画像に基づき、前記撮影画像が取得された際のカメラの視点を、前記基準画像が取得された際のカメラの視点に変換するための変換式を算出するステップと、前記変換式に基づき、前記撮影画像が撮影された際のセンシング対象に対する自装置の位置及び方向から、前記基準画像が撮影された際の位置及び方向に自装置を移動するステップと、を含むセンサ装置の制御方法が提供される。

本発明乃至開示の第３の視点によれば、カメラを含むカメラ部と、自装置を移動するための装置駆動部と、を備えるセンサ装置に搭載されたコンピュータに、少なくとも前記カメラ部により撮影された撮影画像と予め取得された基準画像に基づき、前記撮影画像が取得された際のカメラの視点を、前記基準画像が取得された際のカメラの視点に変換するための変換式を算出する処理と、前記変換式に基づき、前記撮影画像が撮影された際のセンシング対象に対する自装置の位置及び方向から、前記基準画像が撮影された際の位置及び方向に自装置を移動する処理と、を実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明乃至開示の各視点によれば、センサ情報を取得するタイミングによらず、センサをセンシング対象に対して同じ位置及び同じ方向に設定することに寄与するセンサ装置、センサ装置の制御方法及びプログラムが、提供される。

一実施形態の概要を説明するための図である。 第１の実施形態に係る移動型センサ装置の内部構成の一例を示す図である。 第１の実施形態に係る移動型センサ装置のハードウェア構成の一例を示す図である。 第１の実施形態に係る移動型センサ装置の動作の一例を示すフローチャートである。 第１の実施形態に係る移動型センサ装置の動作を説明するための図である。 第１の変形例に係る移動型センサ装置の処理構成の一例を示す図である。 第２の変形例に係る移動型センサ装置の処理構成の一例を示す図である。 第３の変形例に係る移動型センサ装置の処理構成の一例を示す図である。 第３の変形例に係る移動型センサ装置の動作を説明するための図である。 第４の変形例に係る移動型センサ装置の処理構成の一例を示す図である。 第５の変形例に係る移動型センサ装置の処理の一例を示すフローチャートである。 第６の変形例に係る移動型センサ装置の処理の一例を示すフローチャートである。 第６の変形例に係る移動型センサ装置の処理の別の一例を示すフローチャートである。 第９の変形例に係る移動型センサ装置の処理構成の一例を示す図である。 第１０の変形例に係る移動型センサ装置の処理構成の一例を示す図である。 第１１の変形例に係る移動型センサ装置の処理構成の一例を示す図である。 移動型センサ装置を説明するための図である。

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。さらに、本願開示に示す回路図、ブロック図、内部構成図、接続図などにおいて、明示は省略するが、入力ポート及び出力ポートが各接続線の入力端及び出力端のそれぞれに存在する。入出力インターフェイスも同様である。

一実施形態に係るセンサ装置１００は、カメラ部１０１と、カメラ制御部１０２と、装置駆動部１０３と、駆動制御部１０４と、変換式算出部１０５と、を備える（図１参照）。カメラ部１０１は、カメラを含む。カメラ制御部１０２は、カメラ部１０１を制御して画像を取得する。装置駆動部１０３は、自装置を移動するための機構（手段）である。駆動制御部１０４は、装置駆動部１０３を制御して自装置を移動する。変換式算出部１０５は、少なくともカメラ部１０１により撮影された撮影画像と予め取得された基準画像に基づき、撮影画像が取得された際のカメラの視点を、基準画像が取得された際のカメラの視点に変換するための変換式を算出する。駆動制御部１０４は、当該変換式に基づき、撮影画像が撮影された際のセンシング対象に対する自装置の位置及び方向から、基準画像が撮影された際の位置及び方向に自装置を移動する。

センサ装置１００は、移動型センサ装置であって、センサ情報取得時（基準画像取得時）の位置姿勢を再現する装置である。センサ装置１００の利用に先立ち、事前の準備として予めセンサ装置１００は、センサ情報を取得する際の（装置としての）位置姿勢を決定する。具体的には、センサ装置１００は、センサからセンサ情報を取得する位置姿勢（センシング対象に対する自装置の位置及び方向）を定める。また、当該位置姿勢にてカメラから取得された画像が「基準画像」として扱われる。センサ装置１００の通常動作時（対象の点検時）には、センサ装置１００は、カメラから得られる撮影画像と基準画像を照合し、現在のカメラ位置姿勢と基準画像を撮影したカメラ位置姿勢の関係を算出する（変換式を算出する）。センサ装置１００は、装置駆動部１０３によって上記変換式により表現される関係に相当する移動を行って自装置の位置姿勢を、基準画像を撮影した状態に一致させる。その後、センサ装置１００は、予め決めたセンサの移動制御を行うことでセンサ位置姿勢を再現する。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

［装置の構成］
図２は、第１の実施形態に係る移動型センサ装置１０の内部構成の一例を示す図である。図２を参照すると、移動型センサ装置１０は、カメラ部２０と、装置駆動部３０と、センサ駆動部４０と、センサ部４１と、操作部５０と、表示部６０と、制御部７０と、各種記憶部と、を含んで構成される。移動型センサ装置１０は、記憶部として、基準画像記憶部８０と、センサ駆動量記憶部８１と、カメラパラメータ記憶部８２と、を備える。

制御部７０は、操作部５０をはじめとした各種処理モジュールに接続されており、移動型センサ装置１０の全体を制御する手段である。

制御部７０は、装置駆動制御部２０１と、カメラ制御部２０２と、位置姿勢変換式算出部２０３と、センサ駆動制御部２０４と、センサ制御部２０５と、からなるサブモジュールを含む。

装置駆動制御部２０１は、移動型センサ装置１０の位置姿勢を決めるための移動機構である装置駆動部３０を制御して移動型センサ装置１０を移動する手段（処理モジュール）である。

装置駆動部３０は、移動型センサ装置１０を移動するための手段（機構）である。装置駆動部３０は、例えば、陸上移動するための車輪、多脚機構、キャタピラ、空中をホバリングするためのプロペラ、水上を移動するためのスクリュー、プロペラ等である。

なお、移動型センサ装置１０の「位置姿勢」とは、点検対象の設備（センシング対象）等に対する移動型センサ装置１０の位置及び方向（角度）を示す。即ち、点検対象と移動型センサ装置１０の間の距離、点検対象に対する移動型センサ装置１０の向く方向が、上記位置姿勢に相当する。

カメラ制御部２０２は、カメラ部２０を制御して画像（撮影画像）を取得するための手段である。カメラ部２０は、例えば、監視カメラやＷｅＢ（ウェブ）カメラ、デジタルスチルカメラやデジタルカムコーダ等のカラー画像を取得するためのＲＧＢ（Red Green Blue）カメラ等を含む。あるいは、カメラ部２０は、Ｘ線カメラ、赤外線カメラ、テラヘルツイメージングカメラ、ミリ波イメージングカメラ、マイクロ波イメージングカメラ等を含んで構成されていてもよい。

位置姿勢変換式算出部２０３は、少なくともカメラ部２０により撮影された撮影画像と予め取得された基準画像に基づき、撮影画像と基準画像に関する変換式を算出するための手段（処理モジュール）である。なお、位置姿勢変換式とは、２つの画像が取得された際、当該２つの画像それぞれを取得した際の２つの視点を変換するための式である。例えば、画像（撮影画像）が取得された際のカメラの視点を、基準画像が取得された際のカメラの視点に変換することが位置姿勢変換式により表現される。あるいは、位置姿勢変換式は、ある画像を取得した際の移動型センサ装置１０の位置姿勢（対象に対する距離、方向）を他の画像を取得した際の移動型センサ装置１０の位置姿勢に変換する式と捉えることもできる。

位置姿勢変換式算出部２０３は、基準画像記憶部８０に保存された基準画像と自装置が移動した後に撮影された画像をカメラ制御部２０２から受け取る。位置姿勢変換式算出部２０３は、基準画像と、複数の撮影画像（例えば、後述する第１及び第２の比較画像）と、移動制御情報と、カメラの内部パラメータ情報と、に基づき、位置姿勢変換式を計算する。なお、上記移動制御情報は、装置駆動部３０が、一の撮影画像（第１の比較画像）を取得した位置及び方向から他の撮影画像（第２の比較画像）を取得した位置及び方向への自装置の移動に関する（移動を実現する）移動制御情報である。

装置駆動制御部２０１は、計算された位置姿勢変換式に基づき、移動型センサ装置１０の位置姿勢（距離、方向）が基準画像を撮影したセンサ情報取得位置姿勢に一致するように装置駆動部３０を制御する。つまり、装置駆動制御部２０１は、位置姿勢変換式に基づき、撮影画像が撮影された際のセンシング対象に対する自装置の位置及び方向から、基準画像が撮影された際の位置及び方向に自装置を移動する。

基準画像記憶部８０は、センサ情報を取得する位置で予め撮影された画像（基準画像）を記憶する。

カメラパラメータ記憶部８２は、基準画像記憶部８０に保存された基準画像を撮影したカメラの内部パラメータ情報を記憶する。例えば、カメラの内部パラメータには、水平軸と垂直軸それぞれのピクセル単位の焦点距離、カメラの画像中心座標、せん断係数等が含まれる。なお、カメラパラメータ記憶部８２は、移動型センサ装置１０に搭載されたカメラとは異なるカメラにて基準画像が撮影された場合には、当該基準画像を撮影したカメラとカメラ部２０に含まれるカメラそれぞれの内部パラメータ情報を記憶する。

センサ駆動部４０は、センサ部に含まれるセンサの位置を可変とする手段（機構）である。センサ駆動制御部２０４は、センサ部４１の位置を移動させるための機構であるセンサ駆動部４０の動作を制御する手段（処理モジュール）である。

センサ駆動部４０は、例えば、アームロボット、クレーン、パンチルト、リニアガイド機構等である。センサ駆動制御部２０４は、装置駆動制御部２０１の制御によって移動型センサ装置１０が基準画像時の撮影位置姿勢の状態に遷移した後、センサ駆動量記憶部８１に予め記憶されたセンサ駆動量情報を参照してセンサ駆動部４０を制御する。センサ駆動制御部２０４は、上記制御によりセンサ部４１を移動する（センサ部４１の位置姿勢を決定する）。

センサ駆動量記憶部８１は、センサ駆動量情報を記憶する。センサ駆動量情報は、センサと対象の間の距離等に応じて定まる情報である。例えば、センサ部４１の初期位置からセンサ部４１を動作させる位置（センサ情報を取得する位置）までセンサ部４１を移動させる距離等がセンサ駆動量情報に相当する。

センサ制御部２０５は、センサ部４１を制御してセンサ部４１からのセンサ情報を取得する手段（処理モジュール）である。センサ部４１は、例えば、加速度センサ、振動センサ、角速度センサ、マイク、電波センサ、電圧計、電流計、温度センサ、湿度センサ、赤外線センサ、ＬＩＤＡＲ（Light Detection and Ranging）、距離計、カメラ、深度カメラ等の点検に利用するセンサを含む。

操作部５０は、人が手動で移動型センサ装置１０内部の機能を制御するための入力インターフェイスを制御する手段である。入力インターフェイスは、キーボード、マウス、スイッチ、タッチパネル等のデバイスのためのインターフェイスである。

表示部６０は、移動型センサ装置１０内部の情報を表示するための出力インターフェイスを制御する手段である。出力インターフェイスは、ディスプレイ、ＬＥＤ（Light Emitting Diode）等のデバイスのためのインターフェイスである。

［ハードウェア構成］
続いて、移動型センサ装置１０のハードウェア構成について説明する。

図３は、移動型センサ装置１０のハードウェア構成の一例を示す図である。移動型センサ装置１０は、図３に例示する構成を備える。例えば、移動型センサ装置１０は、内部バスにより相互に接続される、ＣＰＵ（Central Processing Unit）１１、メモリ１２、入力インターフェイス１３、出力インターフェイス１４等を備える。なお、図３において、センサ、カメラ、移動のための駆動源（例えば、モータ等）等の図示を省略している。

但し、図３に示す構成は、移動型センサ装置１０のハードウェア構成を限定する趣旨ではない。移動型センサ装置１０は、図示しないハードウェアを含んでもよい。移動型センサ装置１０に含まれるＣＰＵ等の数も図３の例示に限定する趣旨ではなく、例えば、複数のＣＰＵ１１が移動型センサ装置１０に含まれていてもよい。

メモリ１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等の記憶媒体である。

入力インターフェイス１３は、図示しない入力装置のインターフェイスである。入力装置には、例えば、操作デバイスが含まれる。操作デバイスは、例えば、キーボードやマウス等である。

出力インターフェイス１４は、図示しない出力装置のインターフェイスである。出力装置には、例えば、表示装置が含まれる。表示装置は、例えば、液晶ディスプレイ等である。

移動型センサ装置１０の機能は、上述の処理モジュールにより実現される。当該処理モジュールは、例えば、メモリ１２に格納されたプログラムをＣＰＵ１１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能は、何らかのハードウェア、或いはハードウェアを利用して実行されるソフトウェアにより実現できればよい。

［動作の説明］
続いて、第１の実施形態に係る移動型センサ装置１０の動作について図面を参照しつつ説明する。初めに、事前準備として基準画像の撮影とカメラパラメータの記憶を行う。当該作業は、オペレータが手動でマウス等を操作して行う。

操作部５０を介したユーザからの指示により、移動型センサ装置１０は、装置駆動部３０とセンサ駆動部４０を制御して装置自身やセンサ部４１を移動する。その後、移動型センサ装置１０は、カメラ部２０で撮影される画像やセンサ部４１で取得されるセンサ情報を出力インターフェイス（ディスプレイ）に表示する。

オペレータは、当該表示を視認（確認）しながら、センサ情報の取得位置姿勢（基準画像取得位置姿勢）を決定する。センサ情報の取得位置姿勢が定まったら、オペレータは、その旨を移動型センサ装置１０に入力する（入力インターフェイスを操作して入力する）。

移動型センサ装置１０は、センサ情報の取得位置姿勢にて画像を撮影し、当該画像を「基準画像」として基準画像記憶部８０に格納する。移動型センサ装置１０は、センサ情報の取得位置にセンサ部４１を設定（移動）させるための駆動量を「センサ駆動量」としてセンサ駆動量記憶部８１に格納する。なお、センサ駆動量は基準画像に関連付けて保存される。例えば、基準画像の識別子を用いてセンサ駆動量と基準画像を関連付ける。

移動型センサ装置１０は、基準画像撮影時におけるカメラ（カメラ部２０に含まれるカメラ）の内部パラメータ情報をカメラパラメータ記憶部８２に保存する。カメラの内部パラメータ情報は、カメラに固有のパラメータであり、参考文献１に記載された（３・３）式で表されるパラメータである。なお、本願開示の参考文献は第１の実施形態の末尾に列挙している。

カメラの内部パラメータ情報は、カメラの仕様書に記載されている値を使用するか、又は、参考文献１の３－２節に記載されたカメラキャリブレーションによって算出される。キャリブレーションの具体的な実装としては、参考文献２に記載のＯｐｅｎＣＶのＣａｌｉｂｒａｔｅＣａｍｅｒａ２が利用できる。

図４は、第１の実施形態に係る移動型センサ装置１０の動作の一例を示すフローチャートである。図４には、移動型センサ装置１０がセンサ情報取得位置姿勢（基準画像取得位置姿勢）を再現する処理が記載されている。

ステップＳ０１において、カメラ制御部２０２がカメラ部２０を制御し、画像を取得する。当該画像を「比較画像Ｉ１」とする。

ステップＳ０２において、位置姿勢変換式算出部２０３が、比較画像Ｉ１と、基準画像と、カメラの内部パラメータと、を用いて、基準画像と比較画像Ｉ１の位置姿勢変換式を計算する。

当該位置姿勢変換式の計算は、参考文献１に記載された方法により行うことができる。

初めに、位置姿勢変換式算出部２０３は、参考文献１に記載の（３・７）式から３×３の基礎行列Ｆを求める。基礎行列Ｆは、２つの画像間で対応する点ｘ_１、ｘ_２の組み合わせが８点以上あれば算出可能である。また、対応点ｘ_１、ｘ_２は、参考文献３乃至１２に開示されたような特徴点検出を行い、その後、参考文献１３の総当たりマッチング、割合試験を実施することにより算出することができる。

その後、位置姿勢変換式算出部２０３は、参考文献１に記載の（３・１２）式からＥ行列（Essential matrix；基本行列）を取得する。位置姿勢変換式算出部２０３は、Ｅ行列を特異値分解することで、カメラ間の位置姿勢変換式を示す３×１の平行移動ベクトルＴと３×３の回転移動行列Ｒを取得する。なお、上記式（３・１２）に記載のＡ_１、Ａ_２はカメラの内部パラメータ情報である。

ここで、２つの画像間の対応関係からカメラ間の位置姿勢変換式を求める場合、スケールが不定になる問題がある。つまり、上記得られる平行移動成分は、その方向（平行移動の方向）が定まったとしてもスケール（倍率）が不定である。

ステップＳ０２では、比較画像Ｉ１を撮影したカメラ座標系から基準画像を撮影したカメラ座標系に変換するための回転移動行列Ｒ_０１と平行移動ベクトルＴ_０１を得る（｜Ｔ_０１｜＝１とする）。

このように、位置姿勢変換式算出部２０３は、基準画像、比較画像Ｉ１（第１の撮影画像）及びカメラの内部パラメータ情報に基づき、基準画像及び比較画像Ｉ１に関する位置姿勢変換式を算出する。

移動型センサ装置１０は、ステップＳ０３以降の処理により平行移動成分のスケールを確定する。

ステップＳ０３において、装置駆動制御部２０１は、装置駆動部３０を制御して予め決められた移動（移動型センサ装置１０の移動）を行う。具体的には、装置駆動制御部２０１は、最初の撮影画像（比較画像Ｉ１）を取得した位置及び方向から次の撮影画像（後述する比較画像Ｉ２）を取得する位置及び方向へ自装置を移動させるための移動制御情報に従い、自装置を移動させる。例えば、装置駆動制御部２０１は、「右方向に１ｍ水平移動」等の予め定められた移動を行う。移動制御情報は、少なくとも、回転移動Ｒ_Ｃ、平行移動Ｔ_Ｃを含む。

ステップＳ０４において、カメラ制御部２０２がカメラ部２０を制御し、画像を得る。当該画像を「比較画像Ｉ２」とする。

ステップＳ０５において、位置姿勢変換式算出部２０３が、比較画像Ｉ１及びＩ２と、基準画像と、カメラの内部パラメータ情報と、ステップＳ０３における移動量（移動制御情報）を用いて、基準画像と比較画像Ｉ２の位置姿勢変換式を計算する。２つの画像間のカメラの位置姿勢変換式に関する計算はステップＳ０２と同様とすることができる。

位置姿勢変換式算出部２０３は、平行移動成分のスケールを確定させるために、図５に示すような３つの画像の位置姿勢関係式を計算する。

図５に示すように、基準画像のカメラ視点をＣ_０、比較画像Ｉ１のカメラ視点をＣ_１、比較画像Ｉ２のカメラ視点をＣ_２とする。また、カメラ視点Ｃ_ｉにおけるカメラ位置姿勢から、カメラ視点Ｃ_ｊのカメラ位置姿勢に変換するための回転移動をＲ_ｊｉ、平行移動をＴ_ｊｉ（｜Ｔ_ｊｉ｜＝１）、平行移動のスケールファクタをａ_ｊｉとする。なお、ｉ、ｊはカメラ視点Ｃを特定するためのインデックスである。

また、カメラ視点Ｃ_ｉのカメラ位置姿勢をカメラ視点Ｃ_ｊのカメラ位置姿勢に、移動型センサ装置１０を移動させるための変換式（位置姿勢変換式）をＭ_ｊｉと表記する。図５には、３つの位置姿勢変換式Ｍ_０１、Ｍ_２１、Ｍ_０２が表記されている。

位置姿勢変換式算出部２０３は、下記の式（１）～（５）により、スケールファクタａ_２１、ａ_０１、ａ_０２を求める。

［式１］

このように、位置姿勢変換式算出部２０３は、比較画像Ｉ１を取得した際の位置から比較画像Ｉ２を取得した位置までの移動量との対応関係からスケールファクタａ_２１を求める。

［式２］

［式３］

［式４］

［式５］

位置姿勢変換式算出部２０３は、式（１）～（５）の連立方程式を解くことで、スケールファクタａ_０１、ａ_０２を求める。

ここで、測定値に誤差が含まれる場合には、単純に連立方程式により解が導出できない可能性がある。そのような場合には、位置姿勢変換式算出部２０３は、残差平方和を最小にするスケールファクタａ_０１、ａ_０２を算出する。

具体的には、位置姿勢変換式算出部２０３は、下記の式（６）～（９）を解くことで、スケールファクタａ_０１、ａ_０２を得る。

［式６］

なお、式（６）は式（５）をａ_０１、ａ_０２の視点から書き換えた式である。従って、式（６）に示すｋ_ｊｉは、式（５）に記載されたＴ_０１、Ｔ_０２、Ｒ_０２、Ｔ_２１の各要素を集約した係数を示す。

［式７］

［式８］

［式９］

図５において、ステップＳ０５を実行時の移動型センサ装置１０はカメラ視点Ｃ_２の位置にあるので、移動型センサ装置１０は、位置姿勢変換式Ｍ_０２に対応する移動制御を行うことで、カメラ視点を基準視点に一致（実質的に一致）させることができる。つまり、位置姿勢変換式算出部２０３が算出する位置姿勢変換式は、自装置の回転移動に関する情報と、自装置の平行移動に関する情報と、を含む。位置姿勢変換式Ｍ_０２は、比較画像Ｉ２を取得した位置姿勢（カメラ視点）を基準画像を取得した位置姿勢（カメラ視点）に変換する式であるので、当該変換式に従って移動型センサ装置１０を回転、平行移動させると基準画像撮影時の位置姿勢が再現できる。

上記説明したように、２つの画像の比較ではスケールファクタが求まらない。しかし、移動型センサ装置１０は、ステップＳ０３にて使用する移動制御情報を用いて比較画像Ｉ１から比較画像Ｉ２への平行移動量のスケールファクタａ_２１を求めることができる（式（１）参照）。即ち、位置姿勢変換式算出部２０３は、移動制御情報を用いて、比較画像Ｉ１を取得する際の位置姿勢から比較画像Ｉ２を取得する際の位置姿勢への平行移動を規定するスケールファクタａ_２１を算出する。移動型センサ装置１０は、スケールファクタａ_２１を用いつつ、３つの画像を比較し、比較画像Ｉ２を撮影したカメラ位置姿勢（現在地）から基準画像を撮影したカメラ位置姿勢に移動するための回転移動Ｒ_０２、スケールが確定した平行移動ａ_０２Ｔ_０２を得る。

このように、位置姿勢変換式算出部２０３は、基準画像、比較画像Ｉ２、カメラの内部パラメータ情報及び移動制御情報に基づき、基準画像及び比較画像Ｉ２に関する位置姿勢変換式を算出する。

ステップＳ０６において、装置駆動制御部２０１は装置駆動部３０を制御して移動型センサ装置１０を移動する。具体的には、装置駆動制御部２０１は、上記基準画像及び比較画像Ｉ２に関する位置姿勢変換式に基づき、自装置を基準画像が撮影された際の位置及び方向に移動する。より詳細には、装置駆動制御部２０１は、回転移動Ｒ_０２、平行移動ａ_０２Ｔ_０２に相当する移動の指示を装置駆動部３０に行う。当該制御により、移動型センサ装置１０は、基準画像を撮影したセンサ取得位置に移動する。

ステップＳ０７において、センサ駆動制御部２０４は事前準備でセンサ駆動量記憶部８１に記憶したセンサ駆動量に基づきセンサ駆動部４０を制御し、センサ部４１をセンサデータ取得位置姿勢の状態にする。

ステップＳ０８において、センサ制御部２０５はセンサ部４１からセンサ情報を取得する。

以上のように、第１の実施形態に係る移動型センサ装置１０は、基準画像と複数の撮影画像を用いて、移動型センサ装置１０の位置姿勢を基準画像撮影時の位置姿勢に変更する。その結果、基準画像取得時（オペレータが決定したセンサ情報取得時）における移動型センサ装置１０の位置姿勢（対象に対する距離、方向）が自動的に再現される。さらに、センサ移動型の点検方法における問題点（センサ取得位置姿勢条件に一貫性を持たせることが困難）が解消され、移動型センサ装置１０のモニタリングにおける異常判定精度向上に貢献する。

また、カメラを利用したカメラ位置姿勢関係の推定にはスケールが確定しないという問題がある。当該問題に対して、第１の実施形態では、センサを移動する機能を持たせることで、自動的にセンサ取得位置に移動するという問題とスケールを確定するという問題を共に解決している。

また、第１の実施形態に係る移動型センサ装置１０を用いることで、センサ移動型の点検方法におけるメリット（点検対象の設備側の変更、改造等を要しないというメリット）も当然に享受できる。

［参考文献］
上記説明にて言及した各参考文献は以下のとおりである。
［参考文献１］電子情報通信学会「知識の森」2群-2編-3章3次元幾何解析
＜ＵＲＬ：http://www.ieice-hbkb.org/＞
［参考文献２］OpenCV カメラキャリブレーションと3次元構成
＜ＵＲＬ：http://opencv.jp/opencv-2.1/cpp/camera_calibration_and_3d_reconstruction.html＞
［参考文献３］
Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary R. Bradski, "ORB: An efficient alternative to SIFT or SURF”, ICCV 2011: 2564-2571.
＜ＵＲＬ：http://www.willowgarage.com/sites/default/files/orb_final.pdf＞
［参考文献４］
E. Mair他、"Adaptive and Generic Corner Detection Based on the Accelerated Segment Test"(2010),
＜ＵＲＬ：http://www6.in.tum.de/Main/Publications/Mair2010c.pdf＞
［参考文献５］
P. F. Alcantarilla他、"Fast Explicit Diffusion for Accerelated Features in Nonlinear Scale Spaces"(2013)
＜ＵＲＬ：http://isit.u-clermont1.fr/~ab/Publications/Alcantarilla_etal_BMVC13.pdf＞
［参考文献６］
S. Leutenegger他、"BRISK: Binary Robust Invariant Scalable Keypoints" (2011)
＜ＵＲＬ：http://www.robots.ox.ac.uk/~vgg/rg/papers/brisk.pdf＞
［参考文献７］
E. Rosten他、 "Machine Learning for High-Speed Corner Detection"(2006)
＜ＵＲＬ：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.60.3991&rep=rep1&type=pdf＞
［参考文献８］
J. Shi他、"Good Features to Track"(1994)
＜ＵＲＬ：https://users.cs.duke.edu/~tomasi/papers/shi/TR_93-1399_Cornell.pdf＞
［参考文献９］
P. F. Alcantarilla他、"KAZE Features"(2012)
＜ＵＲＬ：https://www.doc.ic.ac.uk/~ajd/Publications/alcantarilla_etal_eccv2012.pdf＞
［参考文献１０］
J. Matas他、"Robust Wide Baseline Stereo from Maximally Stable External Regions"(2002)
＜ＵＲＬ：https://www.robots.ox.ac.uk/~vgg/research/affine/det_eval_files/matas_bmvc2002.pdf＞
［参考文献１１］
Lowe, D. (2004) Distinctive image features from scale-invariant keypoints. Int. Journal of Computer Vision. 60(2). pp.91-110．
＜ＵＲＬ：https://www.robots.ox.ac.uk/~vgg/research/affine/det_eval_files/lowe_ijcv2004.pdf＞
［参考文献１２］
Bay, H., Ess, A., Tuytelaars, T. & Van Gool, L. (2008). SURF: Speeded Up Robust Features. Computer Vision and Image Understanding (CVIU). 110(3). pp.346--359.
＜ＵＲＬ：ftp://ftp.vision.ee.ethz.ch/publications/articles/eth_biwi_00517.pdf＞
［参考文献１３］
OpenCV-Python Tutorials 特徴点マッチング
＜ＵＲＬ：http://lang.sist.chukyo-u.ac.jp/classes/OpenCV/py_tutorials/py_feature2d/py_matcher/py_matcher.html＞
［参考文献１４］
OpenCV
＜ＵＲＬ：https://docs.opencv.org/3.2.0/d9/d0c/group__calib3d.html#ga13f7e34de8fa516a686a56af1196247f＞

［変形例］
上記実施形態にて説明した移動型センサ装置１０の構成、動作は例示であって、装置の構成等を限定する趣旨ではない。

［変形例１］
図６は、第１の変形例に係る移動型センサ装置１０の処理構成の一例を示す図である。例えば、点検に使用するセンサがカメラの場合があり得る。この場合、センサ部４１、センサ制御部２０５は不要であり、カメラ制御部２０２がカメラ部２０を制御し、カメラをセンサとして機能させる。また、センサ駆動部４０は、カメラ部２０を移動する（カメラ部２０の位置を変更する）。あるいは、センサ駆動部４０によるカメラ部の移動に代えて、カメラ制御部２０２がカメラのズーム機能を用いるようにカメラ部２０を制御してもよい。

［変形例２］
図７は、第２の変形例に係る移動型センサ装置１０の処理構成の一例を示す図である。例えば、センサ部４１に使用するセンサの種類が、カメラや距離計等の非接触型センサの場合があり得る。この場合、センサ駆動部４０にてセンサの位置を制御する必要がない。移動型センサ装置１０には、センサ駆動制御部２０４、センサ駆動量記憶部８１、センサ駆動部４０は不要となる。また、このような移動型センサ装置１０を用いる場合、事前準備では、センサの位置合わせは不要であり、図４に示すステップＳ０７の処理は実行されない。

［変形例３］
図８は、第３の変形例に係る移動型センサ装置１０の処理構成の一例を示す図である。例えば、移動型センサ装置１０は、ＧＮＳＳ（Global Navigation Satellite System）や深度カメラ等の測位センサを有する場合がある。この場合、画像間の位置姿勢変換式の計算にてスケール（スケールファクタ）を求める際、位置姿勢変換式算出部２０３は、装置駆動部３０に対する制御量（移動量）ではなく、測位センサ部４２にて取得した情報を利用することもできる。

ここで、図９に示すように、スケールを定めるためには、被写体（点検対象）の大きさ、被写体までの奥行距離、視点間の距離を定める必要がある。位置姿勢変換式算出部２０３は、ＧＮＳＳ、深度カメラ等の測位センサにより得られる視点間の距離、奥行距離を用いてスケールを計算する。

［変形例４］
図１０は、第４の変形例に係る移動型センサ装置１０の処理構成の一例を示す図である。移動型センサ装置１０は、他の装置が取得した基準画像やカメラパラメータを使用する場合がある。この場合、移動型センサ装置１０には、操作部５０や表示部６０は不要となる。

［変形例５］
図１１は、第５の変形例に係る移動型センサ装置１０の処理の一例を示すフローチャートである。なお、図１１以降のフローチャートにおいて図４と同様の処理に関しては同一のステップを付与し、その詳細な説明を省略する。

図４を用いて説明した移動型センサ装置１０の動作において、図４に示すステップＳ０２とステップＳ０５の位置姿勢変換式の算出に失敗することがあり得る。第５の変形例に係る移動型センサ装置１０は、当該位置姿勢変換式の算出処理に関する正否を判定する。具体的には、ステップＳ１１、ステップＳ１４において、マッチングが可能であった対応する特徴点の数が一定数（閾値）よりも少ない場合に、位置姿勢変換式算出部２０３は上記位置姿勢変換式の算出は「失敗」と判定する。つまり、位置姿勢変換式算出部２０３は、算出された特徴点の数に対して閾値処理を実行し、その結果に応じて位置姿勢変換式の算出正否を判定してもよい。

図１１に示すように、位置姿勢変換式の算出に失敗した場合（計算は失敗；ステップＳ１１、Ｎｏ分岐）、移動型センサ装置１０は、撮影位置を移動（ステップＳ１２）して比較画像の再取得と位置姿勢変換式の再算出を行う。

なお、ステップＳ０５の処理ではスケールを定めるために、位置姿勢変換式算出部２０３は、装置駆動部３０の制御量（装置の移動量）を利用する。しかし、位置姿勢変換式の算出に失敗すると、失敗のたびに移動量が蓄積されてしまう。そこで、移動型センサ装置１０は、ステップＳ１３において、累積処理を実行し、ステップＳ０５の処理における平行移動のスケールファクタａ２１の算出には当該累積された移動量を使用する。

［変形例６］
図１２は、第６の変形例に係る移動型センサ装置１０の処理の一例を示すフローチャートである。図１２に示すように、移動型センサ装置１０は、ステップＳ０６の処理の後、比較画像Ｉ３を取得（ステップＳ２１）し、ステップＳ０５と同様の処理により比較画像Ｉ３と基準画像の位置姿勢変換式を算出（ステップＳ２２）する。

比較画像Ｉ３と基準画像との距離（平行移動の距離ａ０３Ｔ０３）が所定値よりも長い場合（ステップＳ２３、Ｙｅｓ分岐）、移動型センサ装置１０は、自装置の移動（ステップＳ２４）と比較画像Ｉ３の取得を繰り返す。その結果、移動型センサ装置１０の位置姿勢は、基準画像撮影位置姿勢に近づく。

あるいは、図１３に示すように、移動型センサ装置１０は、ステップＳ３１にて取得した比較画像Ｉ３により計算された位置姿勢変換式（ステップＳ３２）の移動をセンサ駆動部４０により実現してもよい。なお、ステップＳ０７ａにおける移動処理では、ステップＳ３２の算出結果とセンサ駆動量記憶部８１に記憶された情報を乗算した移動を行う。

［変形例７］
点検対象（センシング対象）が複数ある場合は、移動型センサ装置１０は、複数の基準画像を利用する。例えば、移動型センサ装置１０は、現在の撮影画像（比較画像Ｉ１）からどの基準画像に対応する場所か、に関する選択を自動的に行う。例えば、移動型センサ装置１０は、全ての基準画素に対してステップＳ０２の処理を行い、対応する特徴点の数が最多の基準画像を選択すればよい。即ち、位置姿勢変換式算出部２０３は、複数のセンシング対象それぞれに対応する複数の基準画像のなかから、撮影画像に対応する基準画像を、撮影画像と複数の基準画像のそれぞれから算出される特徴点の数に基づき選択してもよい。

［変形例８］
基準画像に、既知のＡＲ（Augmented Reality）マーカーのような二次元コードを設置してカメラ間の地位姿勢関係算出精度の向上と、スケールファクタを確定させてもよい。この場合は、比較画像の撮影は１回で十分である。

［変形例９］
図１４は、第９の変形例に係る移動型センサ装置１０の処理構成の一例を示す図である。図１４に示すように、基準画像記憶部８０、センサ駆動量記憶部８１、カメラパラメータ記憶部８２を外部のサーバ装置９０に配置してもよい。この場合、通信部９１が、ネットワーク網９３を介して各記憶部に格納された情報を取得する。サーバ装置９０の通信部９２は、各記憶部から読み出された情報を移動型センサ装置１０に送信する。通信部９１、９２は、無線ＬＡＮ（Local Area Network）やモバイル回線等の無線通信機や有線ＬＡＮ等の有線通信機である。ネットワーク網９３は、構内網のような閉域ネットワークやインターネットのような広域ネットワークである。

［変形例１０］
図１５は、第１０の変形例に係る移動型センサ装置１０の処理構成の一例を示す図である。センサ装置は、移動型でなくともよい。例えば、センサ情報取得位置姿勢がセンサ駆動部４０の可動範囲内になるようにオペレータがセンサ装置を運搬してもよい。この場合、センサ駆動部４０が、センサ部４１とカメラ部２０を制御（移動）し、装置駆動部３０及び装置駆動制御部２０１にて行う処理がセンサ駆動部４０及びセンサ駆動制御部２０４にて実行されればよい。

［変形例１１］
図１６は、第１１の変形例に係る移動型センサ装置１０の処理構成の一例を示す図である。各変形例を組み合わせると、図１６に示す最小の装置構成となる。

上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、道路、橋梁、トンネル、河川、法面、港湾、空港、鉄道、発電所等のパブリックインフラ領域の点検監視に好適に適用可能である。さらに、本発明は、スマートファクトリ領域の工場設備の点検監視、画像認識、信号処理、ロボットといった技術分野に対しても好適に適用可能である。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
第１の視点に係るセンサ装置のとおりである。
［付記２］
前記変換式算出部は、
前記基準画像と、前記カメラ部により撮影された第１、第２の撮影画像と、前記第１の撮影画像を取得した位置及び方向から前記第２の撮影画像を取得した位置及び方向への自装置の移動に関する移動制御情報と、前記カメラの内部パラメータ情報と、に基づき、前記変換式を算出する、好ましくは付記１に記載のセンサ装置。
［付記３］
前記カメラ制御部は、前記カメラ部を制御して前記第１の撮影画像を取得し、
前記変換式算出部は、前記基準画像、前記第１の撮影画像及び前記カメラの内部パラメータ情報に基づき、前記基準画像及び第１の撮影画像に関する第１の変換式を算出し、
前記駆動制御部は、前記移動制御情報に従った移動を実施し、
前記カメラ制御部は、前記カメラ部を制御して前記第２の撮影画像を取得し、
前記変換式算出部は、前記基準画像、前記第２の撮影画像、前記カメラの内部パラメータ情報及び前記移動制御情報に基づき、前記基準画像及び第２の撮影画像に関する第２の変換式を算出し、
前記駆動制御部は、前記算出された第２の変換式に基づき、自装置を前記基準画像が撮影された際の位置及び方向に移動する、好ましくは付記２に記載のセンサ装置。
［付記４］
前記変換式算出部が算出する変換式は、自装置の回転移動に関する情報と、自装置の平行移動に関する情報と、を含む、好ましくは付記１乃至３のいずれか一に記載のセンサ装置。
［付記５］
前記変換式算出部は、
前記移動制御情報を用いて、前記第１の撮影画像を取得する際の位置及び方向から前記第２の撮影画像を取得する際の位置及び方向への平行移動を規定するスケールファクタを算出する、好ましくは付記３を引用する付記４に記載のセンサ装置。
［付記６］
センサを含むセンサ部と、
前記センサ部を制御してセンサ情報を取得する、センサ制御部と、をさらに備える、好ましくは付記１乃至５のいずれか一に記載のセンサ装置。
［付記７］
前記センサの位置を可変とするセンサ駆動部と、
前記センサ駆動部を制御する、センサ駆動制御部と、をさらに備える、好ましくは付記６に記載のセンサ装置。
［付記８］
前記変換式算出部は、
複数のセンシング対象それぞれに対応する複数の前記基準画像のなかから、前記撮影画像に対応する基準画像を、前記撮影画像と前記複数の基準画像のそれぞれから算出される特徴点の数に基づき選択する、好ましくは付記１乃至７のいずれか一に記載のセンサ装置。
［付記９］
前記カメラ制御部は、第３の撮影画像を取得し、
前記変換式算出部は、前記第３の撮影画像から前記変換式を算出し、
前記駆動制御部は、前記第３の撮影画像から算出された変換式に従った自装置の移動を実行する、好ましくは付記１乃至８のいずれか一に記載のセンサ装置。
［付記１０］
前記基準画像には、ＡＲ（Augmented Reality）マーカーが含まれる好ましくは付記１乃至９のいずれか一に記載のセンサ装置。
［付記１１］
上述の第２の視点に係るセンサ装置の制御方法のとおりである。
［付記１２］
上述の第３の視点に係るプログラムのとおりである。
なお、付記１１の形態及び付記１２の形態は、付記１の形態と同様に、付記２の形態～付記１０の形態に展開することが可能である。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０ 移動型センサ装置
１１ ＣＰＵ（Central Processing Unit）
１２ メモリ
１３ 入力インターフェイス
１４ 出力インターフェイス
２０、１０１ カメラ部
３０、１０３ 装置駆動部
４０ センサ駆動部
４１ センサ部
４２ 測位センサ部
５０ 操作部
６０ 表示部
７０ 制御部
８０ 基準画像記憶部
８１ センサ駆動量記憶部
８２ カメラパラメータ記憶部
９０ サーバ装置
９１、９２ 通信部
９３ ネットワーク網
１００ センサ装置
１０２、２０２ カメラ制御部
１０４ 駆動制御部
１０５ 変換式算出部
２０１ 装置駆動制御部
２０３ 位置姿勢変換式算出部
２０４ センサ駆動制御部
２０５ センサ制御部

Claims (10)

1. カメラを含むカメラ部と、
   前記カメラ部を制御して画像を取得する、カメラ制御部と、
   自装置を移動するための装置駆動部と、
   前記装置駆動部を制御して自装置を移動する、駆動制御部と、
   少なくとも前記カメラ部により撮影された撮影画像と予め取得された基準画像に基づき、前記撮影画像が取得された際のカメラの視点を、前記基準画像が取得された際のカメラの視点に変換するための変換式を算出する、変換式算出部と、
   を備え、
   前記駆動制御部は、
   前記変換式に基づき、前記撮影画像が撮影された際のセンシング対象に対する自装置の位置及び方向から、前記基準画像が撮影された際の位置及び方向に自装置を移動する、センサ装置。
2. 前記変換式算出部は、
   前記基準画像と、前記カメラ部により撮影された第１、第２の撮影画像と、前記第１の撮影画像を取得した位置及び方向から前記第２の撮影画像を取得した位置及び方向への自装置の移動に関する移動制御情報と、前記カメラの内部パラメータ情報と、に基づき、前記変換式を算出する、請求項１に記載のセンサ装置。
3. 前記カメラ制御部は、前記カメラ部を制御して前記第１の撮影画像を取得し、
   前記変換式算出部は、前記基準画像、前記第１の撮影画像及び前記カメラの内部パラメータ情報に基づき、前記基準画像及び第１の撮影画像に関する第１の変換式を算出し、
   前記駆動制御部は、前記移動制御情報に従った移動を実施し、
   前記カメラ制御部は、前記カメラ部を制御して前記第２の撮影画像を取得し、
   前記変換式算出部は、前記基準画像、前記第２の撮影画像、前記カメラの内部パラメータ情報及び前記移動制御情報に基づき、前記基準画像及び第２の撮影画像に関する第２の変換式を算出し、
   前記駆動制御部は、前記算出された第２の変換式に基づき、自装置を前記基準画像が撮影された際の位置及び方向に移動する、請求項２に記載のセンサ装置。
4. 前記変換式算出部が算出する変換式は、自装置の回転移動に関する情報と、自装置の平行移動に関する情報と、を含む、請求項１乃至３のいずれか一項に記載のセンサ装置。
5. 前記変換式算出部は、
   前記移動制御情報を用いて、前記第１の撮影画像を取得する際の位置及び方向から前記第２の撮影画像を取得する際の位置及び方向への平行移動を規定するスケールファクタを算出する、請求項３を引用する請求項４に記載のセンサ装置。
6. センサを含むセンサ部と、
   前記センサ部を制御してセンサ情報を取得する、センサ制御部と、をさらに備える、請求項１乃至５のいずれか一項に記載のセンサ装置。
7. 前記センサの位置を可変とするセンサ駆動部と、
   前記センサ駆動部を制御する、センサ駆動制御部と、をさらに備える、請求項６に記載のセンサ装置。
8. 前記変換式算出部は、
   複数のセンシング対象それぞれに対応する複数の前記基準画像のなかから、前記撮影画像に対応する基準画像を、前記撮影画像と前記複数の基準画像のそれぞれから算出される特徴点の数に基づき選択する、請求項１乃至７のいずれか一項に記載のセンサ装置。
9. カメラを含むカメラ部と、
   自装置を移動するための装置駆動部と、
   を備えるセンサ装置において、
   少なくとも前記カメラ部により撮影された撮影画像と予め取得された基準画像に基づき、前記撮影画像が取得された際のカメラの視点を、前記基準画像が取得された際のカメラの視点に変換するための変換式を算出するステップと、
   前記変換式に基づき、前記撮影画像が撮影された際のセンシング対象に対する自装置の位置及び方向から、前記基準画像が撮影された際の位置及び方向に自装置を移動するステップと、
   を含むセンサ装置の制御方法。
10. カメラを含むカメラ部と、
    自装置を移動するための装置駆動部と、
    を備えるセンサ装置に搭載されたコンピュータに、
    少なくとも前記カメラ部により撮影された撮影画像と予め取得された基準画像に基づき、前記撮影画像が取得された際のカメラの視点を、前記基準画像が取得された際のカメラの視点に変換するための変換式を算出する処理と、
    前記変換式に基づき、前記撮影画像が撮影された際のセンシング対象に対する自装置の位置及び方向から、前記基準画像が撮影された際の位置及び方向に自装置を移動する処理と、
    を実行させるプログラム。

Images