JP6164679B2 - カメラのキャリブレーション方法及びカメラのキャリブレーション装置 - Google Patents

Description

この発明は、１個の移動可能な球体を利用したカメラのキャリブレーション方法及びカメラのキャリブレーション装置に関する。

従来のキャリブレーション方法やキャリブレーション装置として、基準点間の距離が既知である複数のマーカを使用するものがある。例えば、Ｔ字型のマーカを利用したものや三角形のマーカを利用したものが知られている。（例えば、特許文献１、特許文献２参照。）

また、他のキャリブレーション装置として、大きさ及び位置が既知の球体を利用したものが知られている。（例えば、特許文献３参照。）

特開２００９−２９４１０９号公報 特開２０１１−２２６９３１号公報 特開平１１−３７７５６号公報

しかしながら、Ｔ字型のマーカを利用したものや三角形のマーカを利用したものでは、マーカを複数使用し、かつ、マーカの配置に配慮が必要なため、キャリブレーションを実行するのに時間を要する。さらに、マーカの基準点を正確に製造する必要があった。
また、大きさ及び位置が既知の球体を利用したものでは、１台のカメラのキャリブレーションは可能であるが、複数のカメラのキャリブレーションを行うことができなかった。そこで、この発明は、一つの移動可能な球体を用いて、複数のカメラのキャリブレーションを行うことができるキャリブレーション方法及びキャリブレーション装置を提供することを目的とする。

本発明は上記目的を達成するために、既知の直径を有する球体を移動させて複数のカメラのパラメータの調整を行うカメラのキャリブレーション方法において、前記複数のカメラのそれぞれの垂直軸を検出し、検出した前記垂直軸と前記複数のカメラのうち１台のカメラの光軸とから３次元空間軸を決定し、前記複数のカメラから取得した画像内の前記球体の直径から前記３次元空間軸の目盛を算出する。

また、上記カメラのキャリブレーション方法において、ある位置の前記球体を他の位置に移動させる途中の撮影データを用いて空間寸法変換係数を算出することが好ましい。

また、上記カメラのキャリブレーション方法において、前記複数のカメラがデプスカメラと可視光カメラとを備えており、そのデプスカメラにより映し出された前記球体の位置に、前記可視光カメラで得られた前記球体の位置を修正することが好ましい。

また、上記カメラのキャリブレーション方法において、前記複数のカメラから取得した前記画像内の前記球体と背景とを２値化することが好ましい。また、上記カメラのキャリブレーション方法において、前記球体を移動させる途中の画像データを一定時間毎に記憶手段に記憶させ、前記記憶手段に記憶されている画像データのうち、ある位置の前記球体を他の位置に移動させる途中のデータを用いて前記空間寸法変換係数を算出することが好ましい。

また、本発明は上記目的を達成するために、カメラのキャリブレーション装置において、既知の直径を有する球体の画像を、キャリブレーション対象とする複数のカメラを用いて取得する画像取得手段と、前記画像取得手段で得られた画像内の前記球体の位置から前記複数のカメラから見た前記球体の方向をそれぞれ算出し、前記球体の画像の直径から距離を算出し、前記カメラから前記球体までの距離と方向とから前記複数のカメラの設置位置を算出するカメラ位置算出手段と、前記画像取得手段が取得した前記画像内の前記球体の直径から３次元座標軸の目盛を算出する目盛算出手段と、を備えたことを特徴とする。

第１発明、第２発明、第３の発明、第４の発明、又は第５の発明によれば、球体をマーカとして使用するので、基準点を設ける必要がなく、マーカの角度等を考慮する必要が無く、簡単に移動させながらキャリブレーションを行うことが可能となる。つまり、球体をマーカとして使用するため、どの方向からも同じ大きさの円形としてカメラに撮影されるためキャリブレーションが簡単に行える。また、カメラの被写体とともに球体を移動させながらキャリブレーションができるので、被写体が移動している場合でも球体を被写体とともに移動させることにより、常にキャリブレーションを実行することができる。また、カメラが移動していてもキャリブレーションを行うことができる。
さらに、第６発明の発明によれば、大きさが既知で移動可能な球体を使用することにより、３次元座標におけるカメラの位置を算出することができ、空間座標軸の目盛を算出することができる。

本発明のキャリブレーション方法を実行する場合の説明図である。 本発明のキャリブレーション装置の構成を示すブロック図である。

この発明のカメラのキャリブレーションの方法の実施形態を、図１に示す。図１において、計測対象空間３１を取り囲んで、カメラ２１、２２、３３が配置されている。また、カメラ２１、２２、２３はキャリブレーション装置４に接続されている。この計測対象空間３１の中で球体１を移動させることによりキャリブレーションを行う。
球体１は、既知の直径を有し移動可能である。この球体１をカメラ２１、２２，２３で撮影する。球体１を、位置１１から位置１２さらに位置１３に移動させながらカメラ２１、２２，２３で撮影する。

ここで、球体１としては、限定されるものではないが、発砲スチロール製の球体が軽量で、寸法精度良く製作できるので適している。また、直径は５ｃｍ〜５０ｃｍ程度であれば操作性が良いので好ましい。１０ｃｍ〜３０ｃｍであれば手に持って移動させるのが容易なのでさらに好ましい。その他、球体１は、球形を形成しうる外皮で構成することもできる。例えば、変形可能なシートで形成された風船でもよい。このように構成すれば、保管や輸送の時には空気を抜いて容積を小さくしておき、必要に応じて空気を注入して球状体を得ることも可能である。

カメラ２１、２２、２３としては、デプスカメラと可視光カメラを備えたユニット型カメラ（例えば、マイクロソフト社製Ｋｉｎｅｃｔセンサー。）を用いることができる。また、カメラ２１、２２，２３には加速度センサーを有していることが好ましい。加速度センサーを有することにより、計測対象空間３１の３次元座標軸のＺ軸（垂直軸）を簡単に設定することができる。さらに、１台のカメラ、例えばカメラ２１の光軸の方向を水平面に投影した方向をＸ軸、さらに、Ｘ軸とＺ軸とに垂直な方向をＹ軸とすることにより、３次元座標軸を決めることができる。カメラの台数は多いほど球体に対して死角を作ることが無いので、２台以上用いるのが好ましい。本実施の形態ではカメラは３台の場合で説明する。

球体１は、カメラ２１，２２，２３の死角に入らないように、かつ、カメラ２１，２２，２３による計測対象空間３１内を人が手に持って移動させることができる。ここで、球体１は、人が直接手にもつことも可能であるが、棒状体の一端に球体１を取り付け、棒状体の他端部を手に持って移動させれば、人が動かなくても球体１を移動させることができる。また、人の手の届かない高い場所にも移動させることができるので好ましい。球体１の移動には、機械的な装置を使用することができる。しかし、計測対象空間３１の必要な位置に球体１を移動させるには、人の手によるのが好ましい。

次に、カメラのキャリブレーションの方法を具体的に説明する。
位置１１から位置１２、位置１３へと球体１を移動させる。位置１１においてキャリブレーションを行い、次に球体１が位置１２に移動した際にキャリブレーションを行う。同様に球体１が位置１３に移動した際にキャリブレーションを行う。このように、計測対象空間３１の中の複数の点でキャリブレーションを行うことによって、計測対象空間３１の必要な場所のキャリブレーションを正確に行うことができる。そのため、カメラの被写体が移動した結果、計測対象空間３１が移動しても、被写体とともに球体を移動させることにより、必要な場所のキャリブレーションを行うことができる。この際、球体１の移動は位置１１、１２、１３を連続的に通過させることができる。つまり、位置１１、１２、１３で静止させる必要はない。また、計測対象空間３１とともにカメラ２１，２２，２３が移動する場合にもキャリブレーションを行うことができる。

位置１１において、カメラ２１，２２，２３それぞれが備えているデプスカメラにより球体１の位置を映し出すことができる。その位置にカメラ２１，２２，２３のそれぞれの可視光カメラ画面上の球体１の像（円形）の位置を修正する。さらに、デプスカメラで得られた球体１までの距離と、既知である球体１の直径とから、円の直径が球体１の直径対応するようにデータの修正を行う。この際、円形以外の部分を黒くする２値化の処理をすることが好ましい。この処理をすることにより、円形の中に色や明るさの違いがあっても、明確に円形を区画できるようにすることができるので、カメラ２１，２２，２３で撮影した球体１を撮影した円形の位置と大きさを正確に捉えることができる。
ここで、球体１の位置はデプスカメラで決めてもよいし、可視光カメラで決めてもよいが、デプスカメラの方が小さい光量で撮影することができ、また、デプスカメラの方が球体１のエッジを正確に撮影できるので、球体１の位置はデプスカメラで決めるのが好ましい。

位置１２、１３においても同様な操作を繰り返す。このようにすることで、カメラ２１，２２，２３で同じ球１が位置１１、１２、１３にある際の球体１を撮影した円形の位置と大きさを正確に捉えることができる。画面上の円形の位置からカメラ２１，２２，２３から見た位置１１，１２，１３の方向を算出することができる。
さらに、球体１を撮影した円形の大きさから、カメラ２１，２２，２３から球体１までの距離を計算することができる。位置１１、１２、１３におけるカメラ２１，２２，２３から球体１までの距離と方向とが判れば、カメラ２１，２２，２３の相対的な位置が計算できる。さらに、球体１の直径はどのカメラ２１，２２，２３から見ても同一であるので、３台のカメラに共通した３次元座標軸の目盛を計算することできる。
また、球体１が位置１１から位置１２へ、位置１２から位置１３へ移動する間にカメラ２１，２２，２３によって得られるデータから空間寸法変換係数を計算することがでる。つまり、一定時間毎に計測されたデータで計測対象空間３１内の位置で撮影された球体１の直径が実際の寸法を異なっておれば、その場所の座標の目盛の変換を球体１の直径に基づいて行うことができ、空間座標の正確さを確保することができる。
ここで、キャリブレーションを行う位置が３か所の場合で説明をしたが、２ヶ所でもキャリブレーションは可能である。

さらに、カメラ２１，２２，２３のキャリブレーションは、位置１１，１２，１３で行うことができるが、計測対象空間３１全体の３次元座標軸の目盛を正確に求めるためには、球体１を計測対象空間３１の全体に渡って移動させて多くの位置でキャリブレーションを行うことが効果的である。
さらに、キャリブレーションとキャリブレーションとの間の画像データを一定のタイミング毎に保存しておくことが効果的である。例えば、キャリブレーションの結果が好ましくない場合には、キャリブレーション全体のタイミングを一定時間ずらして、再度キャリブレーションを行うことができる。

この発明のキャリブレーション装置の実施形態を図２に示す。
キャリブレーション装置４は、既知の直径を有する移動可能な球体１の画像を、キャリブレーション対象とするカメラ２１，２２，２３で取得する画像取得手段４１と、カメラ２１，２２，２３の位置を算出するカメラ位置算出手段４２と、３次元座標軸の目盛を算出する目盛算出手段４３と、を有している。

カメラ２１，２２，２３は球体１の画像を正確に取得するために、デプスカメラと可視光カメラを備えたユニット型カメラ（例えば、マイクロソフト社製Ｋｉｎｅｃｔセンサー。）を採用することが好ましい。画像取得手段４１では、ある位置にある球体１の円形の映像データを得るようになされている。

例えば、位置１１において、カメラ２１，２２，２３それぞれが備えているデプスカメラにより球体１の位置を映し出し、その位置にカメラ２１，２２，２３のそれぞれの可視光カメラ画面上の球体１の像（円形）の位置を修正する機能を映像取得手段４１が有することが好ましい。さらに、デプスカメラで得られた球体１までの距離と、既知である球体１の直径とから、円形の直径が球体１の直径に正確に対応するようにデータの修正を行う機能を有することが好ましい。この際、円形以外の部分を黒くする２値化の処理をする機能を画像取得手段が有することが好ましい。この処理をすることにより、円形の中に色や明るさの違いがあっても、明確に円形を区画できるようにすることができる。この操作により、カメラ２１，２２，２３で撮影した球体１を撮影した円形の位置と大きさを正確に捉えることができる。

ここで、球体１の位置は、画像取得手段４１において、デプスカメラで決めてもよいし、可視光カメラで決めてもよいが、デプスカメラの方が小さい光量で撮影することができ、また、デプスカメラの方が球体１のエッジを正確に撮影できるので、球体１の位置はデプスカメラで決めるのが好ましい。

カメラ位置算出手段４２は、球体１の映像である円形の大きさとカメラ２１，２２，２３から見た球体１の方向とに基づいて、カメラ２１，２２，２３の相対的な設置位置を算出する機能を有する。その際、３次元座標軸を決めておくとカメラ２１，２２，２３の相対的な位置を算出することが容易である。例えば、カメラ２１，２２，２３に加速度センサーを備えておけば、空間の垂直方向の座標軸（Ｚ軸）は容易に決定することができる。また、複数のカメラが有る場合、その内の１台の光軸を水平面に投影した方向をＸ軸とし、Ｘ軸とＺ軸に垂直な方向をＹ軸とすることができる。このような演算機能をカメラ位置算出手段４２が有することにより３次元座標軸の中にカメラの相対位置算出することができる。

球体１の直径から３次元座標軸の目盛を算出する機能を目盛算出手段４３が有している。

次に、本発明のキャリブレーション装置の機能を図１と図２を用いて詳細に説明する。
位置１１において、カメラ２１，２２，２３それぞれが備えているデプスカメラと可視光カメラにより、球体１の画像データを画像取得手段４１により得る。さらに、画像取得手段４１では、カメラ２１，２２，２３それぞれが備えているデプスカメラにより球体１の位置を映し出すことができる。その位置にカメラ２１，２２，２３のそれぞれの可視光カメラ画面上の球体１の像（円形）の位置を修正する。さらに、デプスカメラで得られた球体１までの距離と、既知である球体１の直径とから、円形の直径が球体１の直径に正確に対応するようにデータの修正を行う。この際、円形以外の部分を黒くする２値化の処理をすることが好ましい。この処理をすることにより、円形の中に色や明るさの違いがあっても、明確に円形を区画できるようにすることができので、カメラ２１，２２，２３で撮影した球体１を撮影した円の位置と大きさを正確に捉えることができる。
この操作が画像取得手段４１により行われることで、カメラ２１，２２，２３で撮影した球体１を撮影した円形の位置と大きさを正確に捉えることができる。
位置１２、１３においても同様な操作を繰り返す。
このようにすることで、カメラ２１，２２，２３で同じ球１が位置１１、１２、１３にある際の球体１を撮影した円形の位置と大きさが画像取得手段４１の画面上に正確に捉えることができる。

次に、カメラ位置算出手段４２の機能を説明する。球体１を撮影した円形の大きさから、カメラ２１，２２，２３から球体１までの距離を算出する。
ここでは、デプスカメラで得られたカメラ２１，２２，２３と球体１までの距離データを使用してもよい。
球体１の映像である円形の大きさでカメラ２１，２２，２３から球体１までの距離を、カメラ２１，２２，２３の画面上の球体１の位置からカメラ２１，２２，２３から見た球体１の方向を算出することができる。それらの距離と方向とからカメラの相対的な設置位置を算出する機能を有する。その際、３次元座標軸を決めておくとカメラの相対的な位置を算出することが容易である。例えば、カメラに加速度センサーを備えれば、空間の垂直方向の座標軸（Ｚ軸）は容易に決定することができる。また、複数のカメラが有る場合、その内の１台の光軸を水平面に投影した方向をＸ軸とし、Ｘ軸とＺ軸に垂直な方向をＹ軸とすることができる。このような演算機能をカメラ位置算出手段４２が有することにより３次元座標軸の中にカメラ２１，２２，２３の相対位置を算出することができる。

続いて目盛計算手段４３により、３次元座標軸の目盛を算出する。つまり、球体１の直径はどのカメラ２１，２２，２３から見ても同一であることを利用して、球体１の直径から３次元座標軸の目盛を計算する。

さらに、画像取得手段４１に、球体１を移動させる途中全ての画像データ記憶する機能を有する記憶手段を設けることもできる。記憶手段にデータを記憶させることにより、球体１を移動させる途中のデータ、つまり、位置１１、１２、１３以外のデータを使って、目盛算出手段４３で空間寸法変換係数を計算することがでる。つまり、一定時間毎のデータで計測対象空間３１内の位置に対して、撮影された球１の大きさが実際の寸法を異なっておれば、その場所の座標の目盛の変換を行うことができ、空間座標の正確さを確保することができる。

さらに、カメラ２１，２２，２３のキャリブレーションは、位置１１，１２，１３で行うことができるが、計測対象空間３１全体の３次元座標軸の目盛を正確に求めるためには、球体１を計測対象空間３１の全体に渡って移動させてキャリブレーションを行うことが効果的である。
さらに、キャリブレーションとキャリブレーションとの間のデータを一定のタイミングで記憶手段に保存しておけば、キャリブレーションの結果が好ましくない場合には、キャリブレーション全体のタイミングをずらして、再度キャリブレーションを行うことができる。

「他の実施形態」
図１の実施形態では、カメラを３台使用した場合を示したが、球体のまわりに水平に３台、上方に１台を設置してもよいし、さらに多くのカメラを使用することも可能である。

本発明によれば、特別なマーカを用いることなくキャリブレーションができるので、キャリブレーションを簡単に行うことができる。また、空間的に制限された場所でもキャリブレーションを行うことができる。
さらに、被写体やカメラが移動している状態でもカメラのキャリブレーションができるので、画像の解析が機動的に行える。
つまり、今までの技術では困難であった画像解析が簡単にできるので、例えば、３次元動作解析装置や自動車に搭載される全周囲モニターシステム等を低コストで提供できる。

１ 球体
１１，１２，１３ 球体の位置
２１，２２，２３ カメラ
３１ 計測対象空間
４ キャリブレーション装置
４１ 画像取得手段
４２ カメラ位置算出手段
４３ 目盛算出手段

Claims (6)

1. 既知の直径を有する球体を移動させて複数のカメラのパラメータの調整を行うカメラのキャリブレーション方法において、
   前記複数のカメラのそれぞれの垂直軸を検出し、
   検出した前記垂直軸と前記複数のカメラのうち１台のカメラの光軸とから３次元空間軸を決定し、
   前記複数のカメラから取得した画像内の前記球体の直径から前記３次元空間軸の目盛を算出する
   ことを特徴とするカメラのキャリブレーション方法。
2. ある位置の前記球体を他の位置に移動させる途中の撮影データを用いて空間寸法変換係数を算出することを特徴とする請求項１記載のカメラのキャリブレーション方法。
3. 前記複数のカメラがデプスカメラと可視光カメラとを備えており、そのデプスカメラにより映し出された前記球体の位置に、前記可視光カメラで得られた前記球体の位置を修正することを特徴とする請求項１又は２記載のカメラのキャリブレーション方法。
4. 前記複数のカメラから取得した前記画像内の前記球体と背景とを２値化することを特徴とする請求項３記載のカメラのキャリブレーション方法。
5. 前記球体を移動させる途中の画像データを一定時間毎に記憶手段に記憶させ、
   前記記憶手段に記憶されている画像データのうち、ある位置の前記球体を他の位置に移動させる途中のデータを用いて前記空間寸法変換係数を算出する
   ことを特徴とする請求項２に記載のカメラのキャリブレーション方法。
6. 既知の直径を有する球体の画像を、キャリブレーション対象とする複数のカメラを用いて取得する画像取得手段と、
   前記画像取得手段で得られた画像内の前記球体の位置から前記複数のカメラから見た前記球体の方向をそれぞれ算出し、前記球体の画像の直径から距離を算出し、前記カメラから前記球体までの距離と方向とから前記複数のカメラの設置位置を算出するカメラ位置算出手段と、
   前記画像取得手段が取得した前記画像内の前記球体の直径から３次元座標軸の目盛を算出する目盛算出手段と、
   を備えたことを特徴とするカメラのキャリブレーション装置。

Images