JP6988197B2 - 制御装置、飛行体、および制御プログラム - Google Patents

Description

本発明は、制御装置、飛行体、および制御プログラムに関する。

従来、投影部を備えた移動体により、画像を投影する技術が知られている。特許文献１には、無人航空機に搭載したプロジェクタを用いて、情報を提示する技術が開示されている。

特開２０１７−７６０８４号公報（２０１７年４月２０日公開）

しかしながら、上述のような従来技術では、移動体に備えられた投影部により、目標となる位置へ画像を投影することは容易ではなかった。

そこで本発明の一態様は、目標となる位置へ好適に画像を投影することを目的とする。

上記の課題を解決するために、本発明の態様１に係る制御装置は、投影部を備えている移動体を制御する制御装置であって、前記投影部が投影した投影像を含む撮像画像を取得する撮像画像取得部と、前記撮像画像を参照して、前記移動体の位置、前記移動体の姿勢、および前記投影部の方向のうち少なくとも１つを制御する投影制御部と
を備えていることを特徴とする。

上記の構成によれば、目標となる位置へ好適に画像を投影する制御装置を実現することができる。

また、本発明の態様２に係る制御装置において、前記投影制御部は、前記撮像画像から、前記投影像の投影位置と目標投影位置とを抽出し、前記移動体が投影する投影位置が前記目標投影位置となるように、前記移動体が投影する投影位置を制御してもよい。

上記の構成によれば、移動体が投影する投影位置が目標投影位置となるように画像を投影する制御装置を実現することができる。

また、本発明の態様３に係る制御装置において、前記投影制御部は、現在の前記投影像の投影位置と目標投影位置との差を算出することにより、投影位置の補正量を決定してもよい。

上記の構成によれば、移動体が投影する投影位置が目標投影位置となるように画像を投影する制御装置を実現することができる。

また、本発明の態様４に係る制御装置において、前記投影制御部は、前記撮像画像から、現在の前記投影像の投影位置を示す第一の特徴点、および目標投影位置を示す第二の特徴点をそれぞれ抽出し、第一の特徴点と第二の特徴点との位置の差を算出することにより、前記補正量を決定してもよい。

上記の構成によれば、現在の投影位置から第一の特徴点と、目標投影位置の第二の特徴点との差を算出して補正量を求めることにより、より精度よく画像を投影する制御装置を実現することができる。

また、本発明の態様５に係る制御装置は、同一の撮像装置によって互いに異なる時刻に撮像された複数の撮像画像を参照して前記移動体が投影する投影位置を制御してもよい。

上記の構成によれば、投影像の経時変化から、投影位置の補正量を算出することができる。

また、本発明の態様６に係る制御装置は、前記移動体の位置又は姿勢を制御することにより、前記移動体が投影する投影位置を制御してもよい。

上記の構成によれば、制御装置は、移動体の位置又は姿勢を制御することにより、投影位置を制御することができる。

また、本発明の態様７に係る制御装置は、前記投影部の投影方向を制御することにより、前記移動体が投影する投影位置を制御してもよい。

上記の構成によれば、制御装置は、投影部の投影方向を制御することにより、投影位置を制御することができる。

また、本発明の態様８に係る制御装置において、前記撮像画像取得部は、前記撮像画像として、前記移動体が備える撮像装置によって撮像された撮像画像を取得してもよい。

上記の構成によれば、制御装置は、移動体が備える撮像装置が撮像した撮像画像を用いて、投影位置を制御することができる。

また、本発明の態様９に係る制御装置において、前記撮像画像取得部は、前記撮像画像として、前記移動体以外が備える撮像装置によって撮像された撮像画像を取得してもよい。

上記の構成によれば、制御装置は、移動体以外が備える撮像装置が撮像した撮像画像を用いて、投影位置を制御することができる。

また、本発明の態様１０に係る制御装置は、前記移動体として飛行体を制御してもよい。

上記の構成によれば、移動体として飛行体を用いて、目標となる位置へ画像を投影する制御装置を実現することができる。

また、本発明の態様１１に係る制御装置において、前記投影部により投影される画像には、作業者による作業を補助するための情報が含まれていてもよい。

上記の構成によれば、正確な位置で作業者に作業を補助するための情報を提示する制御装置を実現することが可能となる。

また、本発明の態様１２に係る飛行体は、投影部を備えている飛行体であって、前記投影部が投影した投影像を含む撮像画像を取得する撮像画像取得部と、前記撮像画像を参照して、前記飛行体の位置、前記飛行体の姿勢、および前記投影部の方向のうち少なくとも１つを制御する投影制御部とを備えている。

上記の構成によれば、飛行体の位置、飛行体の姿勢、および投影部の方向のうち少なくとも１つを制御して、目標となる位置へ画像を投影する飛行体を実現することができる。

また、本発明の態様１３に係る制御プログラムは、本発明の一態様に係る制御装置としてコンピュータを機能させるための制御プログラムであって、前記撮像画像取得部、および前記投影制御部としてコンピュータを機能させるための制御プログラムである。

上記の構成によれば、上記態様１と同様の効果を奏することができる。

本発明の一態様によれば、目標となる位置へ好適に画像を投影する制御装置を実現することができる。

本発明の実施形態１に係る無人航空機の概略構成を示す図である。 本発明の実施形態１に係る無人航空機の概略構成を示すブロック図である。 本発明の実施形態１に係る投影位置補正処理の流れを示すシーケンス図である。 本発明の実施形態１に係る投影位置補正の例１を示す図である。 本発明の実施形態１に係る投影位置補正の例２を示す図である。 本発明の実施形態２に係る投影システムの概略構成を示すブロック図である。 本発明の実施形態２に係る投影位置補正処理の流れを示すシーケンス図である。

以下、図面に基づいて本発明の実施の形態を詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。また説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。

〔実施形態１〕
（無人航空機１の構成）
図１は、本発明の実施形態１に係る無人航空機１（移動体、飛行体）の概要を示す図である。なお、移動体は無人航空機１に限定されず、用途に応じて飛行体ではない自走式等のロボットとすることもできる。

無人航空機１を含む飛行体を用いて投影を行う場合、一般的に、目標となる位置へ投影することが難しい。しかしながら、本実施形態に係る制御装置１０によれば、飛行体を用いても、目標となる位置へ画像を投影することが可能である。

図１に示すように、無人航空機１は、ブレード２ａ〜２ｄ、カメラ７（撮像装置）、およびプロジェクタ３（投影部）を備える。なお、図１には図示していないが、ブレード２ａ〜２ｄを駆動させるモータが無人航空機１の内部に存在し、無人航空機１の飛行を制御している。

プロジェクタ３は、画像８を投影する。なお、以下単に「画像」といった場合、プロジェクタ３が投影する画像を指すものとする。画像８は、作業者による作業を補助するための情報を含むでもよい。作業を補助するための情報とは、例えば、本実施形態においては倉庫内において作業者が対象物を円滑にピッキングできるように補助する画像である。プロジェクタ３が指定の位置へ正確に画像８を投影することにより、画像８を介して、作業者に倉庫内での対象物の位置を正確に提示することが可能である。

なお、プロジェクタ３は、人間である作業者への指示だけでなく、他の装置や作業用ロボット等への指示を含む情報を投影してもよい。その場合、プロジェクタ３が投影する情報には、当該他の装置や他の作業用ロボットに対する指示を光学的情報として含ませる構成とすればよい。

プロジェクタ３が投影する情報は、光を用いた情報、換言すれば光により伝達される情報であれば特に限定されない。また、用いる光の波長は特に限定されない。例えば、当該光は、可視領域外の光であってもよいし、赤外線や紫外線等であってもよい。ただし、人間である作業者に対する指示をプロジェクタ３が投影する情報に含める場合、当該光は可視光領域を含むことが好ましい。

本実施形態において、カメラ７は、光学的な検出素子であり、例えば、可視光領域で撮像を行う。しかしながら、カメラ７が撮像する波長領域は特に限定されるものではなく、カメラ７は、プロジェクタ３が情報を投影するために用いる光を検出できればよく、可視領域外の光を検出してもよい。

（無人航空機１の構成）
図２を参照して、無人航空機１の構成について説明する。図２は、無人航空機１の構成を示すブロック図である。図２に示すように、無人航空機１は、ブレード２ａ〜２ｄ、プロジェクタ３（投影部）、モータ４ａ〜４ｄ、制御装置１０、投影情報取得部１４、および撮像装置１８を備えている。制御装置１０は、投影情報記憶部１３、撮像画像取得部１６、および投影制御部６を備えている。投影制御部６は、撮像画像処理部１１、補正量算出部１７、飛行体制御部１２、およびプロジェクタ制御部２５を備えている。

本実施形態においては、無人航空機１は、投影情報取得部１４により、投影する画像８についての情報である投影情報を、外部の装置等から取得する。一例として、投影情報は、画像８の投影位置を指定する投影位置指定情報も含んでいるが、これは本実施形態を限定するものではなく、投影情報取得部１４は、投影位置指定情報を他の装置等から別途取得する構成としてもよい。ここで、投影位置指定情報とは、当該投影画像を投影する投影位置を指定する情報である。制御装置１０は、投影位置指定情報を参照して、無人航空機１の位置及び投影方向を制御する。

また、投影情報は、無人航空機１の状況に合わせて、時間と共に変化する情報であり得る。

投影情報取得部１４は取得した投影情報を投影情報記憶部１３に供給する。投影情報記憶部１３は、投影情報を記憶する。

撮像画像処理部１１は、投影情報記憶部１３から取得した投影情報を、プロジェクタ３（投影部）に供給する。プロジェクタ３は、画像８を投影する。

カメラ７（撮像装置）は、画像８の投影像を含む画像を、撮像画像として取得する。以下、「撮像画像」といった場合、カメラ７により撮像された画像を指すものとする。なお、カメラ７の撮像方向及びプロジェクタ３の投影方向如何によっては、「撮像画像」には、プロジェクタ３が投影した画像の投影像が全く映っていない場合もあり得る。

撮像装置１８は、撮像画像を制御装置１０の撮像画像取得部１６に供給する。撮像画像取得部１６は、カメラ７から取得した撮像画像を、投影制御部６の撮像画像処理部１１に供給する。撮像画像処理部１１は、投影情報を参照し、撮像画像から、画像８の現在の投影位置および目標投影位置を抽出する。ここで、目標投影位置とは、投影位置指定情報によって指定される投影位置である。撮像画像処理部１１による投影位置の具体的な抽出処理については、後述する。なお、一例としての制御において、無人航空機１を、倉庫内の地図を参照して、大まかな位置まで移動させ、そのうえで、撮像画像から目標投影位置を抽出する。このような制御では、当該大まかな位置まで移動する前には、撮像画像中に目標投影位置が含まれておらず、当該大まかな位置まで移動した後に、撮像画像中に目標投影位置が含まれることになる。

撮像画像処理部１１は、撮像画像から抽出した現在の投影位置および目標投影位置を、補正量算出部１７に供給する。補正量算出部１７は、現在の投影位置と目標投影位置との差を算出し、投影位置の補正量を算出する。具体的な補正量の算出処理については、後述する。なお、現在の投影位置および目標投影位置の「差」とは、現在の投影位置を目標投影位置へと移動するためのずれの大きさ及び方向を指す。

補正量算出部１７は、算出した補正量を、飛行体制御部１２およびプロジェクタ制御部２５に供給する。飛行体制御部１２は、補正量を参照して、モータ４ａ〜４ｄを制御することによりブレード２ａ〜２ｄの駆動を制御して無人航空機１の位置又は姿勢を制御する。また、プロジェクタ制御部２５は、プロジェクタ３の投影方向を制御することにより、画像８の投影位置を制御する。なお、移動体の「姿勢」を制御するとは、移動体を、目標とする投影方向に向けることを指し、飛行体ではない自走式等のロボットを、目標とする投影方向に向けることも含む。

このように、プロジェクタ３の投影方向の制御は、無人航空機１の位置や姿勢を移動させずにプロジェクタ３自体の投影方向のみを制御することによりなされてもよく、逆にプロジェクタ３自体の、無人航空機１に対する相対的な投影方向を変化させずに無人航空機１の位置又は姿勢を制御することによってもよい。なお、プロジェクタ３自体の相対的な投影方向を変化さない構成の場合、プロジェクタ制御部２５は、投影制御部６の必須の構成ではない。

飛行体制御部１２およびプロジェクタ制御部２５は、無人航空機の性能、投影位置および投影姿勢保持の容易性等を考慮して、無人航空機１およびプロジェクタ３の制御方法を決定する。

図３を参照して、無人航空機１による投影位置補正処理の流れについて説明する。図３は、投影位置補正処理の流れを示すフローチャートである。

（ステップＳ００４）
まず、ステップＳ００４において、無人航空機１に備えられたプロジェクタ３が、撮像画像処理部１１から供給された投影情報に基づき、画像８を投影する。

（ステップＳ００６）
続いて、ステップＳ００６において、カメラ７が、ステップＳ００４において投影された画像８の投影像を含む画像を、撮像画像として取得する。カメラ７は、撮像画像を、撮像画像取得部１６に供給する。

（ステップＳ００８）
続いて、ステップＳ００８において、撮像画像取得部１６は、カメラ７が取得した撮像画像を取得する。撮像画像取得部１６は、取得した撮像画像を、撮像画像処理部１１へ供給する。

（ステップＳ０１０）
続いて、ステップＳ０１０において、撮像画像処理部１１は、撮像画像中から、現在の投影位置および目標投影位置を抽出する。撮像画像処理部１１は、現在の投影位置および目標投影位置を、補正量算出部１７に供給する。撮像画像処理部１１による投影位置の具体的な抽出処理については後述する。

（ステップＳ０１２）
続いて、ステップＳ０１２において、補正量算出部１７は、現在の投影位置および目標投影位置の差を算出する。

（ステップＳ０１４）
続いて、ステップＳ０１４において、補正量算出部１７は、現在の投影位置および目標投影位置の差が一定値以内であるかを判断する。

補正量算出部１７は、現在の投影位置および目標投影位置の差が一定値以内であれば、目標投影位置への投影ができたものと判断し、投影位置補正処理は終了する。現在の投影位置および目標投影位置の差が一定値より大きければ、続いてステップＳ０１６の処理を行う。なお、上記「一定値」は、制御装置１０が用いられる用途に応じて設定すればよい。一例として、補正量算出部１７が、撮像画像中の１ピクセルを「一定値」として補正量を算出する構成が考えられる。

（ステップＳ０１６）
続いて、ステップＳ０１６において、補正量算出部１７は、現在の投影位置と目標投影位置との差を最小化するよう投影位置の補正量を算出する。なお、差を「最小化」するとは、必ずしも現在の投影位置と目標投影位置とが完全一致することに限定されるものではない。現在の投影位置と目標投影位置との差が、ステップＳ０１４の説明において記載した「一定値」以内となるように投影できれば、投影制御部６は、十分精度よく投影ができたものと判断する。

（ステップＳ０１８）
続いて、ステップＳ０１８において、補正量算出部１７は、ステップＳ０１６において求めた補正量を、飛行体制御部１２およびプロジェクタ制御部２５に供給する。

（ステップＳ０２０）
続いて、ステップＳ０２０において、飛行体制御部１２は、補正量算出部１７から供給された補正量を参照して、モータ４ａ〜４ｄを制御することにより、投影位置を目標投影位置に近づけるよう投影位置を制御する。プロジェクタ制御部２５は、補正量算出部１７から供給された補正量を参照して、プロジェクタ３の投影方向を制御することにより、投影位置を目標投影位置に近づけるよう投影位置を制御する。無人航空機１およびプロジェクタ３の制御については上述したためここでは説明を省略する。

続いて、ステップＳ００４に戻り、位置補正後の投影位置から再度投影を行う。続いて、ステップＳ００６〜Ｓ０１４の各処理を順番に行う。ステップＳ０１４において、現在の投影位置および目標投影位置の差が一定値以内であれば、投影制御部６は、目標投影位置への投影ができたものと判断し、投影位置補正処理を終了させる。現在の投影位置および目標投影位置の差が一定値より大きければ、投影制御部６は、ステップＳ０１６〜Ｓ０２０の各処理を順番に行い、もう一度ステップＳ００４に戻り処理を行う。

ステップＳ００４〜Ｓ０２０の処理を繰り返す回数は特に限定されず、現在の投影位置および目標投影位置の差が一定値以内となるまで行うことができる。また、位置補正後に無人航空機１の位置がずれた場合も、再度Ｓ００４〜Ｓ０２０の処理を繰り返すことで位置補正を行うことができる。

また、上記の説明ではステップＳ００４においてカメラ７が一枚の撮像画像を取得し、一枚の撮像画像を参照して、補正量算出部１７が補正量を算出する処理について説明したが、カメラ７は互いに異なる時刻に複数の撮像画像を取得してもよい。この場合、補正量算出部１７は、投影位置や投影方向を変化させつつ、同一のカメラ７により互いに異なる時刻に撮像された複数の撮像画像中における投影像の投影位置を参照し、投影位置の経時変化を抽出することにより、補正量を算出することができる。より具体的には、例えば、補正量算出部１７は、投影方向や投影位置を変化させつつ撮像された複数の撮像画像と参照し、当該複数の撮像画像における投影像の投影位置と目標投影位置との相対位置関係及びその時間変化を解析することによって、補正の方向及び大きさを算出することができる。このように、無人航空機１を回転または並進させてみて、投影位置がずれる方向及びずれの大きさを抽出することにより、補正の方向及び大きさを算出することができる。

（投影位置補正の例１）
図４は、投影制御部６による投影位置補正の例１を説明するための図である。本例では、プロジェクタ３が、画像として、一つの点を投影している場合を例に挙げる。カメラ７は、当該点としての現在の投影位置２０を含む撮像画像を取得する。撮像画像処理部１１は、カメラ７から供給された撮像画像から、現在の投影位置２０を第１の特徴点として抽出し、目標投影位置２１を第２の特徴点として抽出し、投影のための目印２２ａ〜２２ｄも特徴点として抽出する。ここで、投影のための目印とは、投影位置２０の世界座標系における値を特定するために参照される１又は複数の目印のことをいう。投影のための目印は、一例として目標投影位置付近に配置されている
ここでは、説明を単純化するために、投影のための目印２２ａ〜２２ｄが全て同一平面状に存在し、かつあらかじめ座標が判明しているものと仮定するが、これは本実施形態における補正量算出処理を限定するものではない。また、投影は平面に対して行い、現在の投影位置２０および目標投影位置２１も、投影のための目印２２ａ〜２２ｄと同一平面上にあるものとするが、これも本実施形態における補正量算出処理を限定するものではない。

補正量算出部１７は、投影のための目印２２ａ〜２２ｄの座標を利用して点の現在の投影位置２０の実座標（ｘ，ｙ，ｚ）の具体的な値を特定する。なお、目標投影位置２１の実座標（ｘ’，ｙ’，ｚ’）の具体的な値は、投影制御部６により、投影位置指定情報を参照することによってあらかじめ定められている。補正量算出部１７は、（ｘ，ｙ，ｚ）の具体的な値を特定した後、例えば後述する算出例１または２の方法に従って、補正量を算出する。

また、本実施形態においては、説明を単純化するために、投影位置の補正は、無人航空機１の並進運動または回転運動によるものとするが、これは本実施形態を限定するものではない。

なお、投影位置補正の方法は上記の例に限定されない。他の方法として、例えば、補正量算出部１７は、画像処理または３Ｄセンサでの計測結果から、直接補正量を計測するような方法を用いて、補正量を算出する方法が挙げられる。

（算出例１：回転運動を考えず、並進量ΔＴのみを求める方法）
図４において説明した条件において補正量算出部１７が補正量を算出する算出例の一つを説明する。

以下の説明において、カメラ座標とプロジェクタ座標は、キャリブレーション済みであり、これら２つの座標間の関係（一方の座標をどのように変換すれば他方の座標となるのか）は既知であるとする。なお、カメラ座標系とは、カメラ７のＣＣＤ又はレンズの位置を原点とし、カメラ７の光軸方向をＺ軸として、右手系又は左手系によりＸ軸Ｙ軸を設定した座標系である。プロジェクタ座標系とは、プロジェクタ３のミラー又は光源の位置を原点とし、プロジェクタ３の光軸方向をＺ軸として、右手系又は左手系によりＸ軸Ｙ軸を設定した座標系である。また、世界座標系とは、無人航空機１が移動する空間内に設けた座標であり、本実施形態においては、無人航空機１が移動する倉庫内に設けた三次元の座標系である。

以下では、カメラ座標からプロジェクタ座標への変換行列を、Ｒ_ｐｃおよびＴ_ｐｃと表現する。ここで、変換行列Ｒ_ｐｃは回転を表現しており、変換行列Ｔ_ｐｃは並進を表現している。同様に、世界座標系からカメラ座標系への変換行列を、Ｒ_ｃｗおよびＴ_ｃｗと表現する。ここで、変換行列Ｒ_ｃｗは回転を表現しており、変換行列Ｔ_ｃｗは並進を表現している。

上記のような表記法を用いた場合、補正量算出部１７は、世界座標（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）を、下記の式１を用いることにより、プロジェクタ座標（ｘ_ｐ，ｙ_ｐ，ｚ_ｐ）に変換することができる。

補正量算出部１７は、上記式１を用いて、世界座標系における目標投影位置の座標（ｘ’，ｙ’，ｚ’）と現在の投影位置の座標（ｘ，ｙ，ｚ）とを、プロジェクタ座標系における目標投影位置の座標（ｘ_ｇ，ｙ_ｇ，ｚ_ｇ）、プロジェクタ座標系における現在の投影位置の座標（ｘ_ａ，ｙ_ａ，ｚ_ａ）に変換する。

続いて、補正量算出部１７は、プロジェクタ座標系における目標投影位置の座標（ｘ_ｇ，ｙ_ｇ，ｚ_ｇ）および、プロジェクタ座標系における現在の投影位置の座標（ｘ_ａ，ｙ_ａ，ｚ_ａ）を、下記の式２に代入することによって、変換行列Ｒ^＊およびＴ^＊を決定する。ここで、変換行列Ｒ^＊は回転を表現しており、Ｔ^＊は並進を表現している。

一般的に、式２の条件を満たすＲ^＊およびＴ^＊は複数存在するが、本算出例においては、無人航空機１の回転運動を考慮せずに、並進量ΔＴのみを求める。換言すれば、本例では、補正量算出部１７は、Ｒ^＊を単位行列に設定し、補正量Ｔ^＊＝ΔＴのみを算出する。補正量算出部１７によって算出された補正量ΔＴは飛行体制御部１２に供給され、飛行体制御部１２は当該補正量の示す補正量だけ無人航空機を並進運動させることにより、目標投影位置に投影を行うことができる。

（算出例２：並進運動を考えず、回転量Ｒのみを求める方法）
次に補正量の算出例２として、無人航空機１の並進運動を考えず、回転量Ｒのみを求める方法について説明する。

まず算出例１と同様に、世界座標系における目標投影位置の座標（ｘ’，ｙ’，ｚ’）と現在の投影位置の座標（ｘ，ｙ，ｚ）とを、プロジェクタ座標系における目標投影位置の座標（ｘ_ｇ，ｙ_ｇ，ｚ_ｇ）およびプロジェクタ座標系における現在の投影位置の座標（ｘ_ａ，ｙ_ａ，ｚ_ａ）に変換し、算出例１と同様に式２に代入する。

本算出例においては、Ｔ^＊を０とし、無人航空機１の並進運動を考えないものとする。プロジェクタ座標系における２つの投影位置のベクトル（ｘ_ｇ，ｙ_ｇ，ｚ_ｇ）と（ｘ_ａ，ｙ_ａ，ｚ_ａ）との間の角度、および無人航空機１の回転運動の回転軸は、下記の式３および式４を用いて求めることができる。

補正量算出部１７は、式３及び式４を用いて求めた回転軸と回転角度とを、ロドリゲスの回転公式に当てはめることにより、補正量Ｒ^＊＝ΔＲを算出する。

補正量算出部１７によって算出された補正量ΔＲは飛行体制御部１２に供給され、飛行体制御部１２は当該補正量の示す補正量だけ無人航空機を回転運動させることにより、目標投影位置に投影を行うことができる。

（投影位置補正の例２）
図５は、投影位置補正の例２を説明するための図である。図５（ａ）は、プロジェクタ３が、投影する画像２４である。図５（ｂ）は、カメラ７が撮像した撮像画像の例であり、点の現在の投影位置２０および目標投影位置２１を含む。

カメラ７は、点の現在の投影位置２０を含む撮像画像を取得する。撮像画像処理部１１は、カメラ７から供給された撮像画像から、画像２４の現在の投影位置２０中の特徴点２３ａ〜２３ｄ（第一の特徴点）、および投影のための目印（第二の特徴点）２２ａ〜２２ｄを抽出する。

撮像画像処理部１１は、特徴点２３ａ〜２３ｄのそれぞれを目印２２ａ〜２２ｄのそれぞれに対応づける。より具体的には、補正量算出部１７は、対応する点の組から、ホモグラフィ行列を求め、求めたホモグラフィ行列をＺｈａｎｇの方法等を用いて、回転行列Ｒ（＝ΔＲ）と並進行列Ｔ（＝ΔＴ）とに分解する。これにより、補正量算出部１７は補正量ΔＲおよびΔＴを求めることができる。なお、カメラ座標からプロジェクタ座標への変換は、上述した式１を用いて行えばよい。

〔実施形態２〕
以下、実施形態２について、図６を参照して、詳細に説明する。以下の説明では、上記実施形態において既に説明した部材については同じ参照符号を付して説明を省略し、上記実施形態とは異なる点について説明を行う。

（制御システムの構成）
図６は、実施形態２に係る投影システム５の概略構成を示すブロック図である。本実施形態においては、投影システム５は、無人航空機１およびサーバ６０を備えている。

無人航空機１は、ブレード２ａ〜２ｄ、プロジェクタ３、モータ４ａ〜４ｄ、制御装置１０、投影情報取得部１４、補正量受信部９を備えている。制御装置１０は、投影情報記憶部１３、撮像画像処理部１１ａ、飛行体制御部１２、およびプロジェクタ制御部２５を備えている。なお、プロジェクタ３は、制御装置１０の必須の構成ではない。

サーバ６０は、投影制御部６ａ、カメラ７、撮像画像取得部１６、および補正量送信部１９を備えている。投影制御部６ａは、撮像画像処理部１１ｂ、および補正量算出部１７を備えている。

本実施形態においては、無人航空機１に備えられたプロジェクタ３が投影した画像を、サーバ６０に備えられたカメラ７が撮像し、サーバ６０において、実施形態１において説明した投影位置の抽出処理、補正量算出処理を行い、算出された補正量が、サーバ６０から無人航空機１に送信される構成となっている。

図７を参照して、本実施形態に係る投影システム５による投影位置補正処理の流れについて説明する。図７は、投影位置補正処理の流れを示すシーケンス図である。なお、以下では、ステップＳ００４〜Ｓ０２０を、一回のみ行う例について説明したが、本実施形態はこれに限定されるものではない。実施形態１において説明したように、目標投影位置と現在の投影位置との差が一定以内となるまで、複数回ステップＳ００４〜Ｓ０２０を繰り返してもよい。

（ステップＳ００４）
実施形態１同様、無人航空機１に備えられたプロジェクタ３が、画像８を投影する。

（ステップＳ００６）
続いて、サーバ６０に備えられたカメラ７が、ステップＳ００４において投影された画像８の投影像を含む画像を、撮像画像として取得する。カメラ７は、撮像画像を、撮像画像取得部１６に供給する。

（ステップＳ００８）
続いて、ステップＳ００８において、サーバ６０に備えられた撮像画像取得部１６は、カメラ７が取得した撮像画像を取得する。撮像画像取得部１６は、取得した撮像画像を、撮像画像処理部１１へ供給する。

（ステップＳ０１０）
続いて、ステップＳ０１０において、撮像画像処理部１１は、撮像画像中から、現在の投影位置および目標投影位置を抽出する。撮像画像処理部１１は、現在の投影位置および目標投影位置を、補正量算出部１７に供給する。撮像画像処理部１１による投影位置の具体的な抽出処理は、実施形態１と同様である。

（ステップＳ０１２）
続いて、ステップＳ０１２において、補正量算出部１７は、現在の投影位置および目標投影位置の差を算出する。

（ステップＳ０１６）
続いて、ステップＳ０１６において、補正量算出部１７は、現在の投影位置と目標投影位置との差を最小化するよう投影位置の補正量を算出する。ステップＳ０１６の具体的な内容は、実施形態１と同様である。

（ステップＳ０１８）
続いて、ステップＳ０１８において、補正量算出部１７は、ステップＳ０１６において求めた補正量を、補正量送信部１９に送る。補正量送信部１９は、補正量を無人航空機１の補正量受信部９に送る。

（ステップＳ０１９）
補正量受信部９は、補正量送信部１９から補正量を受け取り、飛行体制御部１２およびプロジェクタ制御部２５に供給する。

（ステップＳ０２０）
続いて、ステップＳ０２０において、飛行体制御部１２は、補正量を参照して、モータ４ａ〜４ｄを制御することにより、投影位置を目標投影位置に近づけるよう投影位置を制御する。プロジェクタ制御部２５は、補正量を参照して、プロジェクタ３を制御することにより、投影位置を目標投影位置に近づけるよう、飛行体１およびプロジェクタ３を制御する。飛行体１およびプロジェクタ３の制御については実施形態１と同様である。

本実施形態においては、カメラ７が無人航空機１以外に設けられている。より具体的には、カメラ７がサーバ６０側に備えられている。このため、エリア毎に一つのサーバ６０を設け、該エリア内の複数の無人航空機の投影位置補正を、一つのサーバ６０により行う構成とすることも可能である。また、本実施形態では、投影位置抽出処理、および補正量算出処理がサーバ６０において行われるため、制御装置１０を比較的簡易な構成によって実現できる。

〔ソフトウェアによる実現例〕
制御装置１０の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、制御装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 無人航空機（移動体）
３ プロジェクタ（投影部）
６、６ａ 投影制御部
７ カメラ（投影装置）
８ 画像
１０ 制御装置
１１ 撮像画像処理部
１２ 飛行体制御部
１７ 補正量算出部
１６ 画像取得部
２５ プロジェクタ制御部

Claims (12)

1. 投影部を備えている移動体を制御する制御装置であって、
   前記投影部が投影した投影像を含む撮像画像を取得する撮像画像取得部と、
   前記撮像画像を参照して、前記移動体の位置、前記移動体の姿勢、および前記投影部の方向のうち少なくとも１つを制御する投影制御部と
   を備え、
   同一の撮像装置によって互いに異なる時刻に撮像された複数の撮像画像中における投影像の各々の投影位置を参照して前記移動体が投影する投影位置を制御する
   ことを特徴とする制御装置。
2. 前記投影制御部は、前記撮像画像から、前記投影像の投影位置と目標投影位置とを抽出し、前記移動体が投影する投影位置が前記目標投影位置となるように、前記移動体が投影する投影位置を制御することを特徴とする請求項１に記載の制御装置。
3. 前記投影制御部は、現在の前記投影像の投影位置と目標投影位置との差を算出することにより、投影位置の補正量を決定することを特徴とする請求項２に記載の制御装置。
4. 前記投影制御部は、前記撮像画像から、現在の前記投影像の投影位置を示す第一の特徴点、および目標投影位置を示す第二の特徴点をそれぞれ抽出し、第一の特徴点と第二の特徴点との位置の差を算出することにより、前記補正量を決定することを特徴とする請求項３に記載の制御装置。
5. 前記移動体の位置又は姿勢を制御することにより、前記移動体が投影する投影位置を制御することを特徴とする請求項１から４のいずれか１項に記載の制御装置。
6. 前記投影部の投影方向を制御することにより、前記移動体が投影する投影位置を制御することを特徴とする請求項１から５のいずれか１項に記載の制御装置。
7. 前記撮像画像取得部は、前記撮像画像として、前記移動体が備える撮像装置によって撮像された撮像画像を取得することを特徴とする請求項１から６のいずれか１項に記載の制御装置。
8. 前記撮像画像取得部は、前記撮像画像として、前記移動体以外が備える撮像装置によって撮像された撮像画像を取得することを特徴とする請求項１から６のいずれか１項に記載の制御装置。
9. 前記移動体として飛行体を制御することを特徴とする請求項１から５のいずれか１項に記載の制御装置。
10. 前記投影部により投影される画像には、作業者による作業を補助するための情報が含まれていることを特徴とする請求項１から９のいずれか１項に記載の制御装置。
11. 投影部を備えている飛行体であって、
    前記投影部が投影した投影像を含む撮像画像を取得する撮像画像取得部と、
    前記撮像画像を参照して、前記飛行体の位置、前記飛行体の姿勢、および前記投影部の方向のうち少なくとも１つを制御する投影制御部と
    を備え、
    同一の撮像装置によって互いに異なる時刻に撮像された複数の撮像画像中における投影像の各々の投影位置を参照して前記飛行体が投影する投影位置を制御する
    制御装置を備えていることを特徴とする飛行体。
12. 請求項１から１０のいずれか１項に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、前記撮像画像取得部、前記投影制御部、および前記同一の撮像装置によって互いに異なる時刻に撮像された複数の撮像画像中における投影像の各々の投影位置を参照して前記移動体が投影する投影位置を制御する装置としてコンピュータを機能させるための制御プログラム。

Images