JP7227874B2 - フォトグラメトリ用撮影装置 - Google Patents

Description

本発明は、フォトグラメトリ用撮影装置、表示装置、造形装置及び造形物セットに関するものである。

従来、２台のビデオカメラを移動させながら、剛体と変形体を含む撮影を行い、得られた２本の映像から、カメラキャリブレーションと物体の三次元復元を行う三次元物体復元装置が知られている（例えば、特許文献１参照）。

特開２００３－１４４３２号公報

ところで、対象物の三次元モデルを生成する方法として、特許文献１の他、複数の異なる視点から対象物を撮影し、撮影した撮影画像から対象物の三次元モデルを生成するフォトグラメトリという技術がある。フォトグラメトリでは、対象物を複数の異なる視点から撮影する複数のカメラを備えたフォトグラメトリ用撮影装置が用いられる。ここで、対象物が動的なものである場合、任意の時点における対象物の三次元モデルを生成するためには、複数のカメラを同期させて撮影する必要がある。また、動的な対象物の時間変化（つまり、対象物の一連の動作）を捉えるためには、複数のカメラを同期させて連続撮影を行う必要がある。ここで、複数のカメラを同期させて連続撮影する場合、対象物の先の動作を撮影した撮影画像は、画像データのサイズが異なるため、対象物の後の動作における撮影の準備が整うまでの時間が異なる。具体的には、カメラにより撮像した撮影画像の画像データが記憶部へ記憶されるが、画像データのサイズによって、画像データの記憶部への記憶が完了するまでの時間が異なる。このとき、記憶が完了したことを認識することが困難であったため、複数のカメラを同期させて連続撮影する場合、対象物の先の動作の撮影における一番データ量が大きい画像データを想定し、当該画像データの記憶が完了するまでの時間に、所定の待機時間（マージン）を加えて、対象物の後の動作における撮影を行うことが考えられる。しかしながら、所定のマージンを加えることで、対象物の先の動作の撮影と後の動作の撮影との時間間隔が長くなってしまう。このため、所定回数の連続撮影を行う場合には、撮影時間が長くなってしまう。換言すれば、所定時間内に連続撮影を行う場合には、撮影回数が少なくなってしまう。

そこで、本発明は、連続撮影を適切に行いつつ、撮影時間の短縮化を図ることができる同期連続撮影方法及びフォトグラメトリ用撮影装置を提供することを課題とする。

本発明のフォトグラメトリ用撮影装置は、複数の異なる視点に設けられる複数の撮像装置を同期させて一連の動作を行っている対象物を連続撮影するフォトグラメトリ用撮影装置であって、複数の前記撮像装置は、前記対象物を撮影する複数の撮像部と、複数の前記撮像部により前記対象物を同期して撮影したそれぞれの画像データをそれぞれ記憶する複数の一次記憶部と、複数の前記一次記憶部に、前記対象物の先の動作におけるそれぞれの前記画像データの記憶が完了するとそれぞれの前記画像データ毎に完了信号をそれぞれ出力する複数の信号出力部と、をそれぞれ有し、複数の前記撮像装置は、前記信号出力部の前記完了信号に基づいて、前記対象物の後の動作における撮影を行う。

この構成によれば、一次記憶部に、対象物の先の動作におけるそれぞれの画像データの記憶が完了すると、信号出力部から完了信号を出力することができる。このため、完了信号により、画像データの一次記憶部への記憶の完了を認識することができる。これにより、完了信号を認識することで、対象物の後の動作における撮影を、マージンを加えることなく撮影することができるため、対象物の先の動作の撮影と後の動作の撮影との時間間隔を短縮することができる。

また、複数の前記撮像装置のそれぞれの前記信号出力部からの前記完了信号が入力される制御部を、さらに備え、前記制御部は、入力された前記完了信号に基づいて、全ての前記撮像装置における前記画像データの前記一次記憶部への記憶が完了したと判断すると、複数の前記撮像装置に、前記対象物の後の動作における撮影を実行させることが好ましい。

この構成によれば、制御部は、完了信号に基づいて、複数の撮像装置により撮像した全ての画像データが、複数の一次記憶部の全てに記憶が完了したと判断して、対象物の後の動作における撮影を実行することができるため、簡易な判断に基づく後の動作における撮影を実行することができる。

また、前記撮像装置の前記一次記憶部に記憶された、前記対象物の先の動作を撮影した前記画像データが転送されると共に、前記対象物の前記一連の動作を撮影した前記画像データを記憶する二次記憶部を、さらに備え、前記信号出力部は、前記記憶部に記憶された前記画像データが前記二次記憶部に転送された後、転送された前記画像データが前記一次記憶部から消去されると、前記完了信号を出力することが好ましい。

この構成によれば、一次記憶部に記憶された画像データを、撮像ごとに二次記憶部へ転送することができるため、一次記憶部の記憶容量を少ないものとすることができ、一次記憶部の低コスト化を図ることができる。

本発明の表示装置は、上記のフォトグラメトリ用撮影装置の前記二次記憶部に記憶された前記画像データを表示する表示部を備え、前記表示部に表示された複数の前記画像データから立体造形物を造形する前記画像データを選択可能となっている。

この構成によれば、一連の動作を行う対象物を連続撮影した画像データの中から、立体造形物として造形する画像データを選択することができる。

本発明の造形装置は、上記の表示装置において選択された複数の前記画像データから、前記立体造形物を造形するための造形データを生成し、生成した前記造形データに基づいて立体造形物を造形する。

この構成によれば、一連の動作を行う対象物の立体造形物を造形することができる。

本発明の造形物セットは、上記の造形装置によって造形された前記一連の動作を示す複数の前記立体造形物を並べて配設する。

この構成によれば、造形された一連の動作を示す複数の立体造形物を並べることで、対象物の動作の変化を視認により容易に把握することができる。

図１は、本実施形態に係るフォトグラメトリ用撮影装置の制御系を示す概略構成図である。 図２は、複数の撮影デバイスによる撮影動作を示す説明図である。 図３は、フォトグラメトリ用撮影装置の撮影動作に関する説明図である。 図４は、フォトグラメトリ用撮影装置の同期連続撮影方法に関するフローチャートである。 図５は、フォトグラメトリ用撮影装置及び立体造形装置に関する図である。 図６は、造形物セットに関する図である。

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能であり、また、実施形態が複数ある場合には、各実施形態を組み合わせることも可能である。

［本実施形態］
本実施形態に係るフォトグラメトリ用撮影装置１は、複数の異なる視点から対象物を撮影する装置であり、特に、経時的に変化する対象物を連続撮影する装置となっている。経時的に変化する対象物としては、例えば、野球のピッチング動作を行うピッチャー等であり、一連の動作を行う対象物となっている。フォトグラメトリ用撮影装置１により撮影された撮影画像は、対象物の三次元モデルを生成するために用いられる。図１を参照して、フォトグラメトリ用撮影装置１について説明する。

図１は、本実施形態に係るフォトグラメトリ用撮影装置の制御系を示す概略構成図である。フォトグラメトリ用撮影装置１は、複数の撮影デバイス（撮像装置）１０と、制御装置１１と、表示装置１２と、を備えている。フォトグラメトリ用撮影装置１は、一連の動作を行う対象物に対して、対象物の先の動作における撮影を行うと共に、対象物の後の動作における撮影を行うことで、連続撮影を行っている。

複数の撮影デバイス１０は、例えば、複数台のカメラである。カメラとしては、例えば、ＵＳＢ等の接続端子を有するカメラであってもよく、特に限定されない。撮影デバイス１０は、入力トリガが入力されることで、撮影を実行し、撮影終了後に出力トリガ（完了信号）を出力するものとなっている。

撮影デバイス１０は、撮像部２１と、一次記憶部２２と、信号出力部２３とを有する。撮像部２１は、イメージセンサ等の撮像素子であり、撮影した対象物の撮影画像に関する画像データを生成する。一次記憶部２２は、例えば、キャッシュメモリ等の半導体記憶デバイスであり、撮像部２１により生成された画像データを一次記憶する。一次記憶部２２は、二次記憶部２６に画像データが転送されると、記憶していた画像データを消去する。信号出力部２３は、一次記憶部２２に画像データへの記憶が完了したか否かを判定し、一次記憶部２２に画像データが完了したと判定すると、完了信号となる出力トリガを、制御装置１１へ向けて出力する。

撮影デバイス１０は、入力トリガが入力されると、撮像部２１による撮像を実行し、撮像部２１により生成された撮影画像の画像データを、一次記憶部２２に保存する。また、撮影デバイス１０は、撮像部２１により生成された画像データを、二次記憶部２６へ向けて出力する。撮影デバイス１０は、二次記憶部２６へ向けた画像データの出力が完了すると、一次記憶部２２に記憶していた画像データを消去し、信号出力部２３から出力トリガを制御装置１１へ向けて出力して、撮影動作を完了する。

制御装置１１は、複数の撮影デバイス１０と電気的に接続されている。制御装置１１は、制御部２５と、二次記憶部２６とを有する。

制御部２５は、例えば、ＣＰＵ（Central Processing Unit）等の集積回路を含んでいる。制御部２５は、フォトグラメトリ用撮影装置１による撮影動作を制御している。具体的に、制御部２５は、複数の撮影デバイス１０の撮影動作を制御したり、複数の撮影デバイス１０の入出力トリガに関する制御を行ったりしている。

二次記憶部２６は、撮影デバイス１０から出力される画像データを記憶する。二次記憶部２６は、半導体記憶デバイス及び磁気記憶デバイス等の任意の記憶デバイスである。また、二次記憶部２６は、複数の種類の記憶デバイスを含んでいてもよい。二次記憶部２６は、例えば、不揮発性の記憶デバイスであり、フラッシュメモリ等のメモリカードであってもよいし、ＳＳＤまたはＨＤＤ等の記憶媒体であってもよい。

表示装置１２は、制御装置１１と電気的に接続されている。表示装置１２は、表示制御部３１と、表示部３２とを有する。

表示制御部３１は、例えば、ＣＰＵ（Central Processing Unit）等の集積回路を含んでいる。表示制御部３１は、制御装置１１の二次記憶部２６から画像データを取得すると共に、取得した画像データを表示部３２に表示させる。表示部３２は、例えば、液晶ディスプレイ等の表示デバイスである。なお、表示部３２は、タッチパネル等の入力操作が可能な表示デバイスであってもよい。表示部３２は、表示制御部３１による表示制御によって、撮影デバイス１０により撮影した各種画像を表示する。

図２は、複数の撮影デバイスによる撮影動作を示す説明図である。複数の撮影デバイス１０により同期して撮影を行う場合、制御部２５は、同じ撮影タイミングで複数の撮影デバイス１０に入力トリガを入力する。複数の撮影デバイス１０に入力トリガが入力されると、所定の撮影時間で撮影が行われ、この後、所定の保存時間で一次記憶部２２に画像データが保存される。ここで、所定の撮影時間は、撮像部２１による撮像を実行し、撮像部２１により撮影画像の画像データを生成するまでの時間である。この撮影時間は、複数の撮影デバイス１０間において、ほぼ同じ時間間隔となっている。また、所定の保存時間とは、生成された画像データを、一次記憶部２２に保存するまでの時間である。この保存時間は、複数の撮影デバイス１０間において、異なる時間間隔となる。これは、撮影デバイス１０によって保存に係る処理が異なるからである。例えば、撮影デバイス１０により撮影された撮影画像の画像データが、撮影デバイス１０間において異なる場合があり、画像データのデータ量が大きいほど、保存時間が長くなる。このため、撮影デバイス１０は、複数の撮影デバイス１０間において、撮影終了のタイミングが異なるものとなる。なお、画像データのデータ量以外にもデータの転送速度等によって、保存時間が異なる場合がある。本実施形態では、保存時間が異なる場合であっても、複数の撮影デバイス１０において同期して連続撮影可能な撮影動作となるように、フォトグラメトリ用撮影装置１は、図３及び図４に示す撮影動作を実行している。つまり、フォトグラメトリ用撮影装置１では、対象物の先の動作における撮影において、複数の撮影デバイス１０において同期させて撮影する共に、対象物の後の動作における撮影において、複数の撮影デバイス１０において同期させて撮影するように、撮影動作を実行している。

図３は、フォトグラメトリ用撮影装置の撮影動作に関する説明図である。図４は、フォトグラメトリ用撮影装置の同期連続撮影方法に関するフローチャートである。図３及び図４の同期連続撮影方法は、複数の異なる視点に設けられる複数の撮影デバイス１０を同期させて対象物を連続撮影する方法となっている。

フォトグラメトリ用撮影装置１では、先ず、入力トリガに基づく複数の撮影デバイス１０による対象物の撮影を行うステップＳ１、Ｓ２、Ｓ３（撮影ステップ）を実行する。この後、フォトグラメトリ用撮影装置１では、複数の撮影デバイス１０による対象物の撮影後、複数の一次記憶部２２が画像データを記憶可能な状態であるか否かを判定するステップＳ４（判定ステップ）を実行する。そして、フォトグラメトリ用撮影装置１では、複数の一次記憶部２２が画像データを記憶可能な状態であると判定した場合、複数の撮影デバイス１０へ向けて入力トリガを出力するステップＳ１（出力ステップ）を実行している。以下、フォトグラメトリ用撮影装置１の撮影動作について、具体的に説明する。

フォトグラメトリ用撮影装置１では、先ず、制御部１２が、入力トリガを複数の撮影デバイス１０に向けて同期させて出力する（ステップＳ１）。複数の撮影デバイス１０のそれぞれは、入力トリガが入力されると、所定の撮影時間で撮影を実行して画像データを生成すると共に、所定の保存時間で生成した画像データの一次記憶部２２への保存を実行し、撮影動作を終了する（ステップＳ２）。

複数の撮影デバイス１０のそれぞれは、対象物の撮影後、出力トリガを制御部１２へ向けて出力する（ステップＳ３）。具体的に、ステップＳ３では、対象物の撮影後、信号出力部２３により、一次記憶部２２に画像データへの記憶が完了したか否かを判定する。ステップＳ３では、信号出力部２３により一次記憶部２２に画像データが完了したと判定された後、一次記憶部２２から二次記憶部２６に画像データが転送される。そして、ステップＳ３では、二次記憶部２６への画像データの転送が完了すると、一次記憶部２２に記憶していた画像データを消去する。ステップＳ３では、一次記憶部２２に記憶していた画像データが消去されると、信号出力部２３から完了信号となる出力トリガを、制御装置１１へ向けて出力する。このとき、複数の撮影デバイス１０のそれぞれは、ステップＳ２における保存時間が異なることから、図２に示すように、撮影終了のタイミングが異なる。このため、ステップＳ３では、撮影デバイス１０から制御部１２に出力する出力トリガのタイミングが異なるものとなる。

制御装置１１の制御部２５は、全ての撮影デバイス１０から出力される出力トリガの入力があるか否かを判定する（ステップＳ４）。ステップＳ４において、制御部２５は、例えば、ＡＮＤ関数を用いた判定を行っており、撮影デバイス１０から出力されるすべての出力トリガが入力されたか否かを判定している。そして、制御部２５は、ステップＳ４に基づく判定により、複数の一次記憶部２２が画像データを記憶可能な撮影可能状態であるか否かを判定している。すなわち、出力トリガの出力は、一次記憶部２２から二次記憶部２６への画像データの移行後に行われるため、制御部２５への出力トリガの入力時には、一次記憶部２２に対して画像データが記憶可能な状態となっている。

制御部２５は、ステップＳ４において、全ての撮影デバイス１０から出力トリガが入力されると判定する（ステップＳ４：Ｙｅｓ）と、撮影終了か否かを判定する（ステップＳ５）。一方で、制御部２５は、ステップＳ４において、全ての撮影デバイス１０から出力トリガが入力されていないと判定する（ステップＳ４：Ｎｏ）と、全ての撮影デバイス１０から出力トリガが入力されるまで、ステップＳ４を繰り返し実行する。

制御部１２は、ステップＳ５において、撮影終了であると判定する（ステップＳ５：Ｙｅｓ）と、フォトグラメトリ用撮影装置１による撮影動作を終了する。一方で、制御部１２は、ステップＳ５において、撮影終了でないと判定する（ステップＳ５：Ｎｏ）と、再びステップＳ１に進み、複数の撮影デバイス１０へ向けて入力トリガを出力する。これにより、フォトグラメトリ用撮影装置１では、対象物の先の動作における撮影において、複数の撮影デバイス１０において同期させて撮影することができ、また、対象物の後の動作における撮影において、複数の撮影デバイス１０において同期させて撮影することができる。なお、ステップＳ５における撮影終了は、例えば、連続撮影に係る撮影回数が予め設定された所定の回数に達したか、または、連続撮影に係る撮影時間が予め設定された所定の時間に達したか等に基づいて判定する。

次に、図５及び図６を参照して、フォトグラメトリ用撮影装置１により撮影された画像データが使用される立体造形装置５０及び造形物セット５１について説明する。図５は、フォトグラメトリ用撮影装置及び立体造形装置に関する図である。図６は、造形物セットに関する図である。ここで、フォトグラメトリ用撮影装置１により撮影された画像データＤは、一連の動作を行う対象物を、複数の撮影デバイス１０により同期して連続撮影することにより取得したものである。対象物の立体造形物を造形する場合、立体造形物を造形するための造形データを生成する必要がある。例えば、一連の動作を行う対象物において、先の動作を行う対象物の立体造形物を造形する場合、対象物の先の動作において撮影された複数の画像データＤに基づいて、造形データを生成する。また、後の動作を行う対象物の立体造形物を造形する場合、対象物の後の動作において撮影された複数の画像データＤに基づいて、造形データを生成する。このとき、使用される画像データＤは、表示装置１２の表示部３２に表示された複数の画像データＤから選択された任意の画像データＤとなっている。

図５に示すように、立体造形装置５０は、フォトグラメトリ用撮影装置１から画像データＤを取得すると、取得した画像データＤから、立体造形物を造形するための造形データを生成する。具体的に、立体造形装置５０は、先の動作を行う対象物の造形データを生成する場合、対象物の先の動作において撮影された複数の画像データＤを用いる。また、立体造形装置５０は、後の動作を行う対象物の造形データを生成する場合、対象物の後の動作において撮影された複数の画像データＤを用いる。そして、立体造形装置５０は、生成した造形データに基づいて、立体造形物を造形する。なお、立体造形装置５０としては、何れの立体造形装置であってもよく、例えば、インクジェット方式により、造形インクを吐出して単位層を形成し、単位層を積層することで立体造形物を造形する装置であってもよい。

図６に示すように、立体造形装置５０によって造形された一連の動作を示す複数の立体造形物は、並べて配設することにより造形物セット５１として提供することができる。なお、図６に示す造形物セット５１は、一連の動作を行う対象物として、野球のピッチング動作を行うピッチャーを適用している。造形物セット５１は、先の動作を行う対象物の立体造形物と、後の動作を行う対象物の立体造形物とを含むことにより、対象物が時系列に沿って変化したものとすることができる。なお、図６では、造形物セット５１として野球のピッチングフォームの造形物であったが、例えば、ゴルフのスウィングフォームの造形物であってもよく、特に限定されない。

以上のように、本実施形態によれば、一次記憶部２２に、対象物の先の動作におけるそれぞれの画像データＤの記憶が完了すると、信号出力部２３から出力トリガを出力することができる。このため、制御装置１１は、出力トリガにより、画像データＤの一次記憶部２２への記憶の完了を認識することができる。これにより、制御装置１１は、出力トリガを認識することで、対象物の後の動作における撮影を、マージンを加えることなく撮影することができるため、対象物の先の動作の撮影と後の動作の撮影との時間間隔（撮影間隔）を短縮することができる。

また、本実施形態によれば、制御部２５は、出力トリガに基づいて、複数の撮影デバイス１０により撮像した全ての画像データが、複数の一次記憶部２２の全てに記憶が完了したと判断して、対象物の後の動作における撮影を実行することができるため、簡易な判断に基づく後の動作における撮影を実行することができる。

また、本実施形態によれば、一次記憶部２２に記憶された画像データＤを、撮像ごとに二次記憶部２６へ転送することができるため、一次記憶部２２の記憶容量を少ないものとすることができ、一次記憶部２２の低コスト化を図ることができる。

また、本実施形態によれば、表示装置１２において立体造形物を造形する対象物の画像データを選択することができるため、一連の動作を行う対象物を連続撮影した画像データＤの中から、立体造形物として造形する画像データＤを任意に選択することができる。

また、本実施形態によれば、立体造形装置５０により一連の動作を行う対象物の立体造形物を造形することができる。

また、本実施形態によれば、造形された一連の動作を示す複数の立体造形物を並べたものを造形セット５１として提供できるため、対象物の動作の変化を視認により容易に把握することができる。

なお、本実施形態では、ステップＳ４において、制御部１２は、全ての撮影デバイス１０から出力トリガが入力されない場合、全ての撮影デバイス１０から出力トリガが入力されるまで、ステップＳ４を実行したが、この構成に限定されない。ステップＳ４において、制御部１２は、全ての撮影デバイス１０から出力トリガが入力されない場合、予め設定したカウント時間を超えたか否かを判定し、カウント時間を超えたと判定した場合、エラーを出力してもよい。

また、本実施形態では、二次記憶部２６を制御装置１１に設けたが、複数の撮像デバイス１０にそれぞれ設けてもよい。撮影デバイス１０が二次記憶部２６を有することで、一次記憶部２２から二次記憶部２６への画像データＤの転送速度を速くすることができるため、信号出力部２３から出力トリガを迅速に出力することができ、撮影間隔の短縮化を図ることができる。このとき、一次記憶部２２と二次記憶部２６とが一体となるように構成してもよい。

１ フォトグラメトリ用撮影装置
１０ 撮影デバイス
１１ 制御装置
１２ 表示装置
２１ 撮像部
２２ 一次記憶部
２３ 信号出力部
２５ 制御部
２６ 二次記憶部
３１ 表示制御部
３２ 表示部
５０ 立体造形装置
５１ 造形物セット

Claims (3)

1. 複数の異なる視点に設けられる複数の撮像装置を同期させて一連の動作を行っている対象物を連続撮影するフォトグラメトリ用撮影装置であって、
   複数の前記撮像装置は、
   前記対象物を撮影する複数の撮像部と、
   複数の前記撮像部により前記対象物を同期して撮影したそれぞれの画像データをそれぞれ記憶する複数の一次記憶部と、
   複数の前記一次記憶部に、前記対象物の先の動作におけるそれぞれの前記画像データの記憶が完了するとそれぞれの前記画像データ毎に完了信号をそれぞれ出力する複数の信号出力部と、をそれぞれ有し、
   複数の前記撮像装置は、前記信号出力部の前記完了信号に基づいて、前記対象物の後の動作における撮影を行うことを特徴とするフォトグラメトリ用撮影装置。
2. 複数の前記撮像装置のそれぞれの前記信号出力部からの前記完了信号が入力される制御部を、さらに備え、
   前記制御部は、入力された前記完了信号に基づいて、全ての前記撮像装置における前記画像データの前記一次記憶部への記憶が完了したと判断すると、複数の前記撮像装置に、前記対象物の後の動作における撮影を実行させる請求項１に記載のフォトグラメトリ用撮影装置。
3. 前記撮像装置の前記一次記憶部に記憶された、前記対象物の先の動作を撮影した前記画像データが転送されると共に、前記対象物の前記一連の動作を撮影した前記画像データを記憶する二次記憶部を、さらに備え、
   前記信号出力部は、前記一次記憶部に記憶された前記画像データが前記二次記憶部に転送された後、転送された前記画像データが前記一次記憶部から消去されると、前記完了信号を出力する請求項１または２に記載のフォトグラメトリ用撮影装置。

Images