JP7452625B2 - 情報処理装置、情報処理方法、および情報処理システム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、および情報処理システムに関し、特に、より簡単なカメラキャリブレーションを実現することができるようにする情報処理装置、情報処理方法、および情報処理システムに関する。

近年、ドローンに搭載されているカメラのキャリブレーションに関して、様々な手法が提案されている。

例えば、特許文献１には、撮像装置により取り込まれた画像に基づいて求められた姿勢情報に基づいて較正信号を生成し、その較正信号とともにガイド信号を画面に表示するキャリブレーション方法が開示されている。

米国特許出願公開第２０１９／０１５６５１７号明細書

従来、ドローンに搭載されているカメラのキャリブレーションは、モニタにサークルグリッドなどのキャリブレーションパターンが表示された状態で、ユーザがドローンを手に持って撮影を行うことで実現していた。

しかしながら、この手法では、表示用のモニタと操作用のＰＣ（Personal Computer）を用意しなければならない上に、ユーザが、撮影のためにドローンを手に持ちつつ、ＰＣを操作しなければならなかった。また、適切に撮影が行われているか否かの判断は、ユーザにとって容易ではなかった。

本開示は、このような状況に鑑みてなされたものであり、より簡単なカメラキャリブレーションを実現することができるようにするものである。

本開示の情報処理装置は、移動体が有するカメラにキャリブレーションが必要な場合、前記カメラにより撮影されるパターンを携帯端末において表示する第１のトリガを生成する制御部を備え、前記制御部は、前記カメラによる前記パターンの適切な撮影が可能か否かに応じて、ユーザに対するフィードバックを提示する第２のトリガを生成する情報処理装置である。

本開示の情報処理方法は、情報処理装置が、移動体が有するカメラにキャリブレーションが必要な場合、前記カメラにより撮影されるパターンを携帯端末において表示する第１のトリガを生成し、前記カメラによる前記パターンの適切な撮影が可能か否かに応じて、ユーザに対するフィードバックを提示する第２のトリガを生成する情報処理方法である。

本開示の情報処理システムは、移動体と、携帯端末とを備え、移動体が有するカメラにキャリブレーションが必要な場合、前記カメラにより撮影されるパターンを携帯端末において表示する第１のトリガを生成する第１の制御部と、前記カメラによる前記パターンの適切な撮影が可能か否かに応じて、ユーザに対するフィードバックを提示する第２のトリガを生成する第２の制御部とを有する情報処理システムである。

本開示においては、移動体が有するカメラにキャリブレーションが必要な場合、前記カメラにより撮影されるパターンを携帯端末において表示する第１のトリガが生成され、前記カメラによる前記パターンの適切な撮影が可能か否かに応じて、ユーザに対するフィードバックを提示する第２のトリガが生成される。

本開示に係る技術を適用したカメラキャリブレーションシステムの概要を示す図である。 移動体の機能構成例を示すブロック図である。 携帯端末の機能構成例を示すブロック図である。 カメラキャリブレーションの例を示すフローチャートである。 カメラキャリブレーションの例を示すフローチャートである。 キャリブレーションパターンの例を示す図である。 キャリブレーションパターンの表示例を示す図である。 キャリブレーションパターンの表示例を示す図である。 キャリブレーションパターンの表示例を示す図である。 キャリブレーションパターンの表示例を示す図である。 キャリブレーションパターンの表示例を示す図である。 カメラキャリブレーションの他の例を示すフローチャートである。 カメラキャリブレーションの他の例を示すフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。

１．カメラキャリブレーションシステムの構成例
２．カメラキャリブレーションの例（移動体側で処理判断する例）
３．キャリブレーションパターンの表示例
４．カメラキャリブレーションの他の例（携帯端末側で処理判断する例）
５．コンピュータの構成例

＜１．カメラキャリブレーションシステムの構成例＞
（カメラキャリブレーションシステムの概要）
図１は、本開示に係る技術を適用した情報処理システムとして構成されるカメラキャリブレーションシステムの概要を示す図である。

図１に示されるカメラキャリブレーションシステム１は、移動体１０、移動体１０が有するカメラ２０、および携帯端末３０から構成される。

移動体１０は、例えばドローンとして構成され、あらかじめ設定された飛行経路に従って自律移動（自律飛行）したり、ユーザの操縦に従って移動（飛行）したりする。移動体１０は、ドローンの他、車両や船舶、掃除機などのロボットなどとして構成されてもよい。

以下においては、本開示に係る技術を、空中を飛行するドローンに適用した例について説明するが、本開示に係る技術は、陸上を移動する車両、水上または水中を移動する船舶、屋内を移動する掃除機などのロボットに適用することも可能である。

移動体１０には、移動体１０の移動中に画像を撮影するカメラ２０が搭載される。

カメラ２０は、移動体１０の機体底面に、例えば電子駆動可能なジンバルを介して接続され、ズームレンズを有している。カメラ２０は、例えば移動体１０の前方を撮影するように構成される他、移動体１０の下方、左右方向、後方などを撮影するように構成されてもよい。

カメラ２０は、単眼カメラで構成されてもよいし、ステレオカメラで構成されてもよい。また、移動体１０に搭載されるカメラ２０は１台に限らず、複数台のカメラ２０が移動体１０に搭載されてもよい。

携帯端末３０は、ユーザが操作するタブレット端末やスマートフォン、携帯可能なモバイルＰＣ（Personal Computer）などで構成される。携帯端末３０の表示部（ディスプレイ）には、カメラ２０のキャリブレーションに用いられるキャリブレーションパターン（以下、単にパターンともいう）が表示される。キャリブレーションによれば、カメラ２０に固有の焦点距離や画像中心のずれ、レンズ歪みなどを表す内部パラメータや、カメラ２０の位置姿勢を表す外部パラメータといったカメラパラメータが推定される。

従来、ドローンに搭載されているカメラのキャリブレーションは、モニタにサークルグリッドなどのパターンが表示された状態で、ユーザがドローンを手に持って撮影を行うことで実現していた。

しかしながら、この手法では、表示用のモニタと操作用のＰＣを用意しなければならない上に、ユーザが、撮影のためにドローンを手に持ちつつ、ＰＣを操作しなければならなかった。また、適切に撮影が行われているか否かの判断は、ユーザにとって容易ではなかった。

これに対して、カメラキャリブレーションシステム１においては、ユーザは、移動体１０を、例えばテーブルの上などの平面な場所に載置した状態で、キャリブレーションを行うことができる。具体的には、この状態で、ユーザが、携帯端末３０に表示されたパターンを、様々な角度で撮影されるように、カメラ２０にかざすことでキャリブレーションが行われる。このように、カメラキャリブレーションシステム１によれば、より簡単なカメラキャリブレーションを実現することが可能となる。

（移動体の機能構成例）
図２は、移動体１０の機能構成例を示すブロック図である。

移動体１０は、制御部５１、駆動機構５２、通信部５３、および記憶部５４から構成される。

制御部５１は、ＣＰＵ（Central Processing Unit）などのプロセッサやメモリなどで構成され、所定のプログラムを実行することにより、駆動機構５２、通信部５３、および記憶部５４を制御する。また、制御部５１は、カメラ２０による撮影を制御する。さらに、制御部５１は、各種の処理を行うためのトリガを生成する。

駆動機構５２は、移動体１０を移動させるための機構である。この例では、移動体１０はドローンとして構成され、駆動機構５２は、飛行機構としてのモータやプロペラなどから構成される。

通信部５３は、ネットワークインタフェースなどで構成され、携帯端末３０や、移動体１０を操縦するためのコントローラなどと、無線または有線による通信を行う。例えば、通信部５３は、通信相手となる装置と、直接通信を行ってもよいし、Ｗｉ－Ｆｉ（登録商標）や４Ｇ，５Ｇなどの基地局や中継器を介したネットワーク通信を行ってもよい。

記憶部５４は、フラッシュメモリなどの不揮発性メモリなどにより構成され、制御部５１の制御に従い、各種の情報を記憶する。

（携帯端末の機能構成例）
図３は、携帯端末３０の機能構成例を示すブロック図である。

携帯端末３０は、制御部７１、提示部７２、通信部７３、記憶部７４、およびセンサ７５から構成される。

制御部７１は、ＣＰＵなどのプロセッサやメモリなどで構成され、所定のプログラムを実行することにより、提示部７２、通信部７３、記憶部７４、およびセンサ７５を制御する。

提示部７２は、有機ＥＬ（Electro-Luminescence）ディスプレイや液晶ディスプレイ、スピーカ、偏心重りを回転させるモータやリニア共振アクチュエータなどで構成され、表示や音、振動により、ユーザに対して情報を提示する。

通信部７３は、ネットワークインタフェースなどで構成され、移動体１０と無線または有線による通信を行う。

記憶部７４は、フラッシュメモリなどの不揮発性メモリなどにより構成され、制御部７１の制御に従い、各種の情報を記憶する。

センサ７５は、加速度センサやジャイロセンサなどにより構成され、携帯端末３０の加速度データや角速度データなどのセンサデータを取得する。

＜２．カメラキャリブレーションの例＞
次に、図４および図５を参照して、カメラキャリブレーションシステム１によるカメラキャリブレーションの例について説明する。

図４および図５の処理は、移動体１０が有するカメラ２０のいずれかにおいて、キャリブレーションが必要になると開始され、移動体１０の通信部５３と携帯端末３０の通信部７３が互いに通信を行うことで実行される。

カメラ２０においてキャリブレーションが必要か否かは、例えば、ステレオカメラとして構成されるカメラ２０により撮影された左右の画像が比較されることで判断される。

ステップＳ１１において、移動体１０の制御部５１は、キャリブレーションの対象となるカメラ２０をユーザに報知するためのガイダンスを提示するトリガを生成することで、携帯端末３０に、そのガイダンスの提示を指示する。

ステップＳ３１において、携帯端末３０の制御部７１は、移動体１０からの指示に基づいて、ガイダンスを提示する。

ガイダンスは、キャリブレーションの対象となるカメラ２０と携帯端末３０との距離に応じて、携帯端末３０における振動および音の少なくともいずれかにより提示される。例えば、ユーザが、携帯端末３０を、キャリブレーションが必要なカメラ２０に近づけるほど、携帯端末３０の振動が大きくなったり、携帯端末３０から出力される音が大きくなったり、その音自体が変化したりする。

また、ガイダンスとして、ユーザが、携帯端末３０を、キャリブレーションが必要なカメラ２０により確実に近づけられるように、そのカメラ２０が存在する方向を示す矢印が、携帯端末のディスプレイに表示されてもよい。

さらに、ガイダンスは、キャリブレーションが必要なカメラ２０に設けられた、ＬＥＤ（Light Emitting Diode）発光体などの発光部の発光により提示されてもよい。

これにより、ユーザは、携帯端末３０を、キャリブレーションの対象となるカメラ２０の近傍に移動させることができる。

このようなガイダンスが提示されると、ステップＳ１２において、移動体１０の制御部５１は、キャリブレーションの対象となるカメラ２０を制御することで、そのカメラ２０による画像の取り込みを開始する。取り込まれる画像は、リアルタイムな動画像であってもよいし、所定時間毎に撮影される静止画像であってもよい。カメラ２０による画像の取り込みは、例えば、キャリブレーションのための撮影が開始されるまで継続される。

ステップＳ１３において、移動体１０の制御部５１は、キャリブレーションの対象となるカメラ２０により取り込まれた画像において、スマートフォン（携帯端末３０）の外形が検出されたか否かを判定する。この処理は、スマートフォンの外形が検出されるまで繰り返される。一方、スマートフォンの外形が検出されると、ステップＳ１４に進む。ステップＳ１３の処理によれば、カメラ２０により取り込まれた画像において、携帯端末３０に表示されるパターンの一部が見切れることを防ぐことができる。

ステップＳ１４において、移動体１０の制御部５１は、キャリブレーションの対象となるカメラ２０により撮影されるパターンを携帯端末３０において表示するトリガを生成することで、携帯端末３０に、そのパターンの表示を指示する。

ステップＳ３２において、携帯端末３０の制御部７１は、移動体１０からの指示に基づいて、提示部７２を構成するディスプレイにパターンを表示する。

図６は、携帯端末３０において表示されるパターン（キャリブレーションパターン）の例を示す図である。

図６のＡ図には、円形対称パターンのサークルグリッドが示されており、Ｂ図には、円形非対称パターンのサークルグリッドが示されている。また、Ｃ図には、チェスボードが示されている。

カメラ２０のキャリブレーションにおいては、図６に示されるような、既知の大きさのパターンが位置や角度を変えて複数回撮影された画像に基づいて、カメラパラメータが推定される。

ステップＳ１５において、移動体１０の制御部５１は、カメラ２０のジンバルの駆動を制御するなどして、適切な撮影位置へのカメラ２０の誘導を開始する。適切な撮影位置へのカメラ２０の誘導は、移動体１０自体が移動することで行われてもよい。

そして、ステップＳ１６において、移動体１０の制御部５１は、カメラ２０により取り込まれた画像に基づいて、適切な撮影（キャリブレーションのための撮影）が可能か否かを判定する。適切な撮影が可能となるまでステップＳ１５，Ｓ１６は繰り返され、適切な撮影が可能となると、ステップＳ１７に進む。適切な撮影が可能か否かは、例えば、カメラ２０により取り込まれた画像に映るパターンにより判断される。

ステップＳ１７において、移動体１０の制御部５１は、適切な撮影が可能になったことを示すユーザに対するフィードバックを提示するトリガを生成することで、携帯端末３０に、そのフィードバックの提示を指示する。

ステップＳ３３において、携帯端末３０の制御部７１は、移動体１０からの指示に基づいて、フィードバックを提示する。

フィードバックは、携帯端末３０における振動および音の少なくともいずれかにより提示される。例えば、ユーザが、携帯端末３０を、キャリブレーションが必要なカメラ２０にかざすなどして、適切な撮影が可能な位置に携帯端末３０（パターン）が配置されたときに、携帯端末３０が振動したり、携帯端末３０から音が出力されたりする。

ユーザに対するフィードバックが提示されると、図５のステップ３４において、携帯端末３０の制御部７１は、センサ７５を制御することで、携帯端末３０の加速度データや角速度データなどのセンサデータを取得する。取得されたセンサデータは、移動体１０に送信される。

ステップＳ１８において、移動体１０の制御部５１は、携帯端末３０からのセンサデータに応じて、カメラ２０によるキャリブレーションのための撮影を制御する。例えば、移動体１０の制御部５１は、携帯端末３０において取得されたセンサデータに基づいて、カメラ２０のシャッタ速度およびレンズの絞り値の少なくともいずれかを設定する。

例えば、ユーザが、携帯端末３０（パターン）を、カメラ２０に対して比較的ゆっくり動かすようにかざす場合、そのときの携帯端末３０の加速度データや角速度データに応じて、シャッタ速度が低く設定される。逆に、ユーザが、携帯端末３０を、カメラ２０に対して比較的速く動かすようにかざす場合、そのときの携帯端末３０の加速度データや角速度データに応じて、シャッタ速度が高く設定される。

このようにして設定されたシャッタ速度や絞り値での露光でパターンが撮影されることにより、キャリブレーションの精度を高めることができる。

ステップＳ１９において、移動体１０の制御部５１は、キャリブレーションのための撮影により得られた画像の撮影枚数が十分であるか否かを判定する。撮影枚数が十分でない場合、ステップＳ１８，Ｓ１９が繰り返され、撮影枚数が十分であると判定された場合、ステップＳ２０に進む。

なお、キャリブレーションのための撮影毎に、適切な撮影が可能となったことを示すフィードバックが提示されるようにしてもよい。

ステップＳ２０において、移動体１０の制御部５１は、複数回の撮影により得られた画像に基づいてキャリブレーションを実行することで、カメラパラメータを推定する。

その後、ステップＳ２１において、移動体１０の制御部５１は、カメラ２０を制御することでパターンを撮影し、得られた画像を推定されたカメラパラメータで補正した後、補正後の画像をチェックする。

ステップＳ２２において、移動体１０の制御部５１は、チェックした画像に対する補正が十分であるか否かを判定する。補正が十分でないと判定された場合、推定されたカメラパラメータが適切でない可能性があることから、ステップＳ１８に戻り、撮影、キャリブレーション、画像のチェックが繰り返される。

一方、補正が十分であると判定された場合、すなわち、推定されたカメラパラメータが適切である場合、ステップＳ２３に進む。

ステップＳ２３において、移動体１０の制御部５１は、キャリブレーションが適切に終了したことを示すユーザに対するフィードバックを提示するトリガを生成することで、携帯端末３０に、そのフィードバックの提示を指示する。

ステップＳ３５において、携帯端末３０の制御部７１は、移動体１０からの指示に基づいて、フィードバックを提示する。

ここでのフィードバックは、携帯端末３０における音および表示の少なくともいずれかにより提示される。例えば、携帯端末３０からキャリブレーションが適切に終了した旨の音声が出力されたり、キャリブレーションが適切に終了した旨の画面が、提示部７２を構成するディスプレイに表示されたりする。

以上の処理によれば、ユーザが、携帯端末３０に表示されたパターンを、様々な角度で撮影されるように、カメラ２０にかざすことでキャリブレーションが行われるので、より簡単なカメラキャリブレーションを実現することが可能となる。

また、適切な撮影が可能か否かに応じて、ユーザに対するフィードバックが提示されるので、ユーザは、適切な撮影が行われていることを容易に判断することができる。

さらに、ユーザは、携帯端末３０を手に持ってカメラ２０にかざすだけなので、ドローンを手に持って撮影を行う場合と比較して、ユーザの負担を軽減し、操作感を向上させることができる。

＜３．キャリブレーションパターンの表示例＞
ここで、キャリブレーションパターンの表示例について説明する。

（インデックス）
キャリブレーションにおいては、キャリブレーションパターンに配列された既知の大きさの図形それぞれに、インデックスが割り当てられる。この際、携帯端末３０に表示されるパターンの一部が見切れたり、ユーザの指などで隠されたりした場合、図形に正しくインデックスが割り当てられなかったり、割り当てられたインデックスが参照されなかったりする。その結果、適切なキャリブレーションが行われないおそれがある。

そこで、例えば、図７に示されるように、異なるサイズの図形が周期的に配列されてなるパターン１１０が表示されるようにする。パターン１１０においては、３つのサイズの円形が周期的に配列されている。パターン１１０によれば、その一部が見切れたり、ユーザの指などで隠されたりした場合に、３つのサイズの円形が周期的に配列されていないことを検出することができる。この場合、ユーザにアラートを提示し、パターン１１０を適切に表示させることで、適切なキャリブレーションを行うことが可能となる。

同様に、図８に示されるように、異なる形状の図形が周期的に配列されてなるパターン１２０が表示されるようにしてもよい。パターン１２０においては、円形、正方形、三角形が周期的に配列されている。パターン１２０によれば、その一部が見切れたり、ユーザの指などで隠されたりした場合に、３つの形状の図形が周期的に配列されていないことを検出することができる。この場合にも、ユーザにアラートを提示し、パターン１２０を適切に表示させることで、適切なキャリブレーションを行うことが可能となる。

（キャリブレーションパターン全体の形状）
図６に示されたパターンのように、図形が周期的に配列されたパターン全体の形状を変化させるようにしてもよい。

図９は、全体の形状を変化させたキャリブレーションパターンの表示例を示す図である。図９には、携帯端末３０上で、円形対称パターンのサークルグリッド全体の形状を変化させた例が示されている。

具体的には、図９のＡ図には、台形の底辺のうち短い方を上側にした等脚台形状のサークルグリッド１３０ａが示されている。サークルグリッド１３０ａは、縦長の長方形状のサークルグリッドを、携帯端末３０の上側を画面奥に、下側を画面手前に傾けたような表示態様を採る。

図９のＢ図には、台形の底辺のうち短い方を左側にした等脚台形状のサークルグリッド１３０ｂが示されている。サークルグリッド１３０ｂは、縦長の長方形状のサークルグリッドを、携帯端末３０の左側を画面奥に、右側を画面手前に傾けたような表示態様を採る。

図９のＣ図には、台形の底辺のうち短い方を右側にした等脚台形状のサークルグリッド１３０ｃが示されている。サークルグリッド１３０ｃは、縦長の長方形状のサークルグリッドを、携帯端末３０の右側を画面奥に、左側を画面手前に傾けたような表示態様を採る。

以上のようにパターン全体の形状を変化させるトリガは、移動体１０の制御部５１により生成され、携帯端末３０に、そのパターン全体の形状の変化が指示される。

このようにして、携帯端末３０上でパターン全体の形状を変化させることで、あたかも携帯端末３０を様々な角度に傾けたようなパターンを表示することができる。これにより、携帯端末３０を固定した状態であっても、キャリブレーションを実現することが可能となる。

なお、図９の例では、携帯端末３０上で、円形対称パターンのサークルグリッド全体の形状を変化させるようにしたが、他のパターン全体の形状を変化させてもよい。

（キャリブレーションパターン全体のサイズ）
カメラ２０と携帯端末３０との距離に応じて、パターン全体のサイズを変化させるようにしてもよい。

図１０は、カメラ２０との距離に応じて全体のサイズを変化させたキャリブレーションパターンの表示例を示す図である。図１０には、携帯端末３０上で、円形対称パターンのサークルグリッド全体のサイズを変化させた例が示されている。

具体的には、携帯端末３０上には、カメラ２０との距離が遠い（大きい）ほど、サークルグリッド１４０が大きく表示され、カメラ２０との距離が近い（小さい）ほど、サークルグリッド１４０が小さく表示される。

以上のようにパターン全体のサイズを変化させるトリガは、移動体１０の制御部５１により生成され、携帯端末３０に、そのパターン全体のサイズの変化が指示される。

このようにして、カメラ２０との距離に応じてパターン全体のサイズを変化させることで、カメラ２０は、携帯端末３０との距離によらず、同じサイズのパターンを撮影することが可能となる。

なお、図１０の例では、携帯端末３０上で、円形対称パターンのサークルグリッド全体のサイズを変化させるようにしたが、他のパターン全体のサイズを変化させてもよい。

（キャリブレーションパターン全体の色）
パターン全体の色を変化させるようにしてもよい。

図１１は、全体の色を変化させたキャリブレーションパターンの表示例を示す図である。図１１には、携帯端末３０上で、円形対称パターンのサークルグリッド全体の色を変化させた例が示されている。

図１１の例では、携帯端末３０上には、まず、赤色の円形が配列されたサークルグリッド１５０ｒが表示され、次に、緑色の円形が配列されたサークルグリッド１５０ｇが表示され、最後に、青色の円形が配列されたサークルグリッド１５０ｂが表示される。

以上のようにパターン全体の色を変化させるトリガは、移動体１０の制御部５１により生成され、携帯端末３０に、そのパターン全体の色の変化が指示される。

このようにして、パターン全体の色を変化させることで、Ｒ，Ｇ，Ｂそれぞれの色チャンネルのキャリブレーションを実現することが可能となる。

なお、図１１の例では、携帯端末３０上で、円形対称パターンのサークルグリッド全体の色を変化させるようにしたが、他のパターン全体の色を変化させてもよい。

＜４．カメラキャリブレーションの他の例＞
図４および図５を参照して説明したカメラキャリブレーションの例では、移動体１０の制御部５１が、パターンを表示するトリガや、フィードバックを提示するトリガを生成するなど、移動体１０側で処理判断されるものとした。

これに限らず、携帯端末３０の制御部７１の処理性能が高い場合には、携帯端末３０の制御部７１が、パターンを表示するトリガや、フィードバックを提示するトリガを生成するなど、携帯端末３０側で処理判断されるようにもできる。

そこで、図１２および図１３を参照して、携帯端末３０で処理判断されるようにしたカメラキャリブレーションの例について説明する。

図１２および図１３の処理もまた、移動体１０が有するカメラ２０のいずれかにおいて、キャリブレーションが必要になると開始され、移動体１０の通信部５３と携帯端末３０の通信部７３が互いに通信を行うことで実行される。

ステップＳ１１１において、移動体１０の制御部５１は、キャリブレーションの対象となるカメラ２０をユーザに報知するためのガイダンスを提示するトリガを生成することで、携帯端末３０に、そのガイダンスの提示を指示する。

ステップＳ１３１において、携帯端末３０の制御部７１は、移動体１０からの指示に基づいて、ガイダンスを提示する。

ガイダンスが提示されると、ステップＳ１１２において、移動体１０の制御部５１は、キャリブレーションの対象となるカメラ２０を制御することで、そのカメラ２０による画像の取り込みを開始する。カメラ２０による画像の取り込みは、例えば、キャリブレーションのための撮影が開始されるまで継続され、取り込まれた画像は、逐次、移動体１０に送信される。

すなわち、ステップＳ１３２において、携帯端末３０の制御部７１は、移動体１０から送信されてくる画像の取得を開始する。

ステップＳ１３３において、携帯端末３０の制御部７１は、キャリブレーションの対象となるカメラ２０により取り込まれた画像において、スマートフォン（携帯端末３０）の外形が検出されたか否かを判定する。この処理は、スマートフォンの外形が検出されるまで繰り返される。一方、スマートフォンの外形が検出されると、ステップＳ１３４に進む。

ステップＳ１３４において、携帯端末３０の制御部７１は、キャリブレーションの対象となるカメラ２０により撮影されるパターンを携帯端末３０において表示するトリガを生成することで、提示部７２を構成するディスプレイにパターンの表示を開始させる。

その後、ステップＳ１３５において、携帯端末３０の制御部７１は、移動体１０に対して、適切な撮影位置へのカメラ２０の誘導の開始を指示する。ステップＳ１１３において、移動体１０の制御部５１は、カメラ２０のジンバルの駆動を制御するなどして、適切な撮影位置へのカメラ２０の誘導を開始する。

そして、ステップＳ１３６において、携帯端末３０の制御部７１は、移動体１０から送信されてくる画像に基づいて、適切な撮影（キャリブレーションのための撮影）が可能か否かを判定する。適切な撮影が可能となるまでステップＳ１３６は繰り返され、適切な撮影が可能となると、ステップＳ１３７に進む。

ステップＳ１３７において、携帯端末３０の制御部７１は、適切な撮影が可能になったことを示すユーザに対するフィードバックを提示するトリガを生成することで、提示部７２にフィードバックを提示させる。

ユーザに対するフィードバックが提示されると、図１３のステップ１３８において、携帯端末３０の制御部７１は、センサ７５を制御することで、携帯端末３０の加速度データや角速度データなどのセンサデータを取得する。取得されたセンサデータは、移動体１０に送信される。

ステップＳ１１４において、移動体１０の制御部５１は、携帯端末３０からのセンサデータに応じて、カメラ２０によるキャリブレーションのための撮影を制御する。ステップＳ１１５において、移動体１０の制御部５１は、キャリブレーションのための撮影により得られた画像を、携帯端末３０に送信する。

ステップＳ１３９において、携帯端末３０の制御部７１は、移動体１０から送信された画像の撮影枚数が十分であるか否かを判定する。撮影枚数が十分でない場合、ステップＳ１３８，Ｓ１１４，Ｓ１１５，Ｓ１３９が繰り返される。撮影枚数が十分であると判定された場合、ステップＳ１４０に進む。

ステップＳ１４０において、携帯端末３０の制御部７１は、複数回の撮影により得られた画像に基づいて、キャリブレーションを実行することで、カメラパラメータを推定する。

その後、ステップＳ１４１において、携帯端末３０の制御部７１は、カメラ２０によってパターンが撮影された画像を推定されたカメラパラメータで補正した後、補正後の画像をチェックする。

ステップＳ１４２において、携帯端末３０の制御部７１は、チェックした画像に対する補正が十分であるか否かを判定する。補正が十分でないと判定された場合、推定されたカメラパラメータが適切でない可能性があることから、ステップＳ１３８に戻り、撮影、キャリブレーション、画像のチェックが繰り返される。

一方、補正が十分であると判定された場合、すなわち、推定されたカメラパラメータが適切である場合、ステップＳ１４３に進む。

ステップＳ１４３において、携帯端末３０の制御部７１は、キャリブレーションが適切に終了したことを示すユーザに対するフィードバックを提示するトリガを生成することで、提示部７２にフィードバックを提示させる。

以上の処理によっても、ユーザが、携帯端末３０に表示されたパターンを、様々な角度で撮影されるように、カメラ２０にかざすことでキャリブレーションが行われるので、より簡単なカメラキャリブレーションを実現することが可能となる。

＜５．コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

上述した移動体１０や携帯端末３０は、情報処理装置として構成され、図１４に示す構成を有するコンピュータにより実現することができる。

コンピュータにおいて、ＣＰＵ３０１，ＲＯＭ（Read Only Memory）３０２，ＲＡＭ（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、およびドライブ５１０が接続されている。

入力部３０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記憶部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインタフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５およびバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記憶部３０８にインストールすることができる。その他、プログラムは、ＲＯＭ３０２や記憶部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）など）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

さらに、本開示に係る技術は以下のような構成をとることができる。
（１）
移動体が有するカメラにキャリブレーションが必要な場合、前記カメラにより撮影されるパターンを携帯端末において表示する第１のトリガを生成する制御部
を備え、
前記制御部は、前記カメラによる前記パターンの適切な撮影が可能か否かに応じて、ユーザに対するフィードバックを提示する第２のトリガを生成する
情報処理装置。
（２）
前記制御部は、前記携帯端末の外形が検出された場合に、前記第１のトリガを生成する
（１）に記載の情報処理装置。
（３）
前記パターンは、サークルグリッドである
（１）または（２）に記載の情報処理装置。
（４）
前記サークルグリッドは、円形対称パターンまたは円形非対称パターンである
（３）に記載の情報処理装置。
（５）
前記パターンは、チェスボードである
（１）または（２）に記載の情報処理装置。
（６）
前記パターンは、異なるサイズの図形が周期的に配列されてなる
（１）または（２）に記載の情報処理装置。
（７）
前記パターンは、異なる形状の図形が周期的に配列されてなる
（１）または（２）に記載の情報処理装置。
（８）
前記制御部は、図形が周期的に配列された前記パターン全体の形状を変化させる
（１）乃至（５）のいずれかに記載の情報処理装置。
（９）
前記制御部は、前記カメラと前記携帯端末との距離に応じて、前記パターン全体のサイズを変化させる
（１）乃至（５）のいずれかに記載の情報処理装置。
（１０）
前記制御部は、前記パターン全体の色を変化させる
（１）乃至（５）のいずれかに記載の情報処理装置。
（１１）
前記フィードバックは、前記携帯端末における振動および音の少なくともいずれかにより提示される
（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
前記制御部は、前記カメラによる前記パターンの適切な撮影が可能な場合、前記カメラによる前記キャリブレーションのための撮影を制御する
（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記制御部は、前記携帯端末において取得されたセンサデータに基づいて、前記カメラのシャッタ速度およびレンズの絞り値の少なくともいずれかを設定する
（１２）に記載の情報処理装置。
（１４）
前記センサデータは、加速度センサおよびジャイロセンサの少なくともいずれかにより取得される
（１３）に記載の情報処理装置。
（１５）
前記制御部は、前記キャリブレーションの対象となる前記カメラをユーザに報知するためのガイダンスを提示する第３のトリガを生成する
（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記ガイダンスは、前記キャリブレーションの対象となる前記カメラと前記携帯端末との距離に応じて、前記携帯端末における振動および音の少なくともいずれかにより提示される
（１５）に記載の情報処理装置。
（１７）
前記ガイダンスは、前記携帯端末において、前記キャリブレーションの対象の前記カメラが存在する方向を示す
（１５）に記載の情報処理装置。
（１８）
前記ガイダンスは、前記キャリブレーションの対象となる前記カメラに設けられた発光部の発光により提示される
（１５）に記載の情報処理装置。
（１９）
情報処理装置が、
移動体が有するカメラにキャリブレーションが必要な場合、前記カメラにより撮影されるパターンを携帯端末において表示する第１のトリガを生成し、
前記カメラによる前記パターンの適切な撮影が可能か否かに応じて、ユーザに対するフィードバックを提示する第２のトリガを生成する
情報処理方法。
（２０）
移動体と、
携帯端末と
を備え、
移動体が有するカメラにキャリブレーションが必要な場合、前記カメラにより撮影されるパターンを携帯端末において表示する第１のトリガを生成する第１の制御部と、
前記カメラによる前記パターンの適切な撮影が可能か否かに応じて、ユーザに対するフィードバックを提示する第２のトリガを生成する第２の制御部と
を有する情報処理システム。

１ カメラキャリブレーションシステム， １０ 移動体， ２０ カメラ， ３０ 携帯端末， ５１ 制御部， ５２ 駆動機構， ５３ 通信部， ５４ 記憶部， ７１ 制御部， ７２ 提示部， ７３ 通信部， ７４ 記憶部， ７５ センサ

Claims (20)

1. 移動体が有するカメラにキャリブレーションが必要な場合、前記カメラにより撮影されるパターンを携帯端末において表示する第１のトリガを生成する制御部
   を備え、
   前記制御部は、前記カメラによる前記パターンの適切な撮影が可能か否かに応じて、ユーザに対するフィードバックを提示する第２のトリガを生成する
   情報処理装置。
2. 前記制御部は、前記携帯端末の外形が検出された場合に、前記第１のトリガを生成する
   請求項１に記載の情報処理装置。
3. 前記パターンは、サークルグリッドである
   請求項１に記載の情報処理装置。
4. 前記サークルグリッドは、円形対称パターンまたは円形非対称パターンである
   請求項３に記載の情報処理装置。
5. 前記パターンは、チェスボードである
   請求項１に記載の情報処理装置。
6. 前記パターンは、異なるサイズの図形が周期的に配列されてなる
   請求項１に記載の情報処理装置。
7. 前記パターンは、異なる形状の図形が周期的に配列されてなる
   請求項１に記載の情報処理装置。
8. 前記制御部は、図形が周期的に配列された前記パターン全体の形状を変化させる
   請求項１に記載の情報処理装置。
9. 前記制御部は、前記カメラと前記携帯端末との距離に応じて、前記パターン全体のサイズを変化させる
   請求項１に記載の情報処理装置。
10. 前記制御部は、前記パターン全体の色を変化させる
    請求項１に記載の情報処理装置。
11. 前記フィードバックは、前記携帯端末における振動および音の少なくともいずれかにより提示される
    請求項１に記載の情報処理装置。
12. 前記制御部は、前記カメラによる前記パターンの適切な撮影が可能な場合、前記カメラによる前記キャリブレーションのための撮影を制御する
    請求項１に記載の情報処理装置。
13. 前記制御部は、前記携帯端末において取得されたセンサデータに基づいて、前記カメラのシャッタ速度およびレンズの絞り値の少なくともいずれかを設定する
    請求項１２に記載の情報処理装置。
14. 前記センサデータは、加速度センサおよびジャイロセンサの少なくともいずれかにより取得される
    請求項１３に記載の情報処理装置。
15. 前記制御部は、前記キャリブレーションの対象となる前記カメラをユーザに報知するためのガイダンスを提示する第３のトリガを生成する
    請求項１に記載の情報処理装置。
16. 前記ガイダンスは、前記キャリブレーションの対象となる前記カメラと前記携帯端末との距離に応じて、前記携帯端末における振動および音の少なくともいずれかにより提示される
    請求項１５に記載の情報処理装置。
17. 前記ガイダンスは、前記携帯端末において、前記キャリブレーションの対象の前記カメラが存在する方向を示す
    請求項１５に記載の情報処理装置。
18. 前記ガイダンスは、前記キャリブレーションの対象となる前記カメラに設けられた発光部の発光により提示される
    請求項１５に記載の情報処理装置。
19. 情報処理装置が、
    移動体が有するカメラにキャリブレーションが必要な場合、前記カメラにより撮影されるパターンを携帯端末において表示する第１のトリガを生成し、
    前記カメラによる前記パターンの適切な撮影が可能か否かに応じて、ユーザに対するフィードバックを提示する第２のトリガを生成する
    情報処理方法。
20. 移動体と、
    携帯端末と
    を備え、
    移動体が有するカメラにキャリブレーションが必要な場合、前記カメラにより撮影されるパターンを携帯端末において表示する第１のトリガを生成する第１の制御部と、
    前記カメラによる前記パターンの適切な撮影が可能か否かに応じて、ユーザに対するフィードバックを提示する第２のトリガを生成する第２の制御部と
    を有する情報処理システム。

Images