JP2024047868A - ラインセンサカメラの位置姿勢推定装置及び位置姿勢推定方法 - Google Patents

Abstract

【課題】簡易的に設置されて座標が未知である撮影ターゲットを用いて、ラインセンサカメラの位置と姿勢とを精度よく推定することができる、ラインセンサカメラの位置姿勢推定装置及び位置姿勢推定方法を提供する。【解決手段】ラインセンサカメラ３と、複数のマーカを有し、前記ラインセンサカメラ３によって撮影される撮影ターゲット５と、互いに位置を異ならせて配置され、基準座標に基づいて前記撮影ターゲット５までの距離を計測する第１の距離計測器７と第２の距離計測器９と、前記ラインセンサカメラ３によって撮影された画像データと、前記第１の距離計測器７と前記第２の距離計測器９とによって計測された距離計測データとに基づいて、前記ラインセンサカメラ３の位置と姿勢とを推定する推定装置本体１１と、を備える。【選択図】図１

Description

本発明は、ラインセンサカメラの位置姿勢推定装置及び位置姿勢推定方法に関する。

ライセンサカメラを利用して種々の画像解析等を行う際には、ラインセンサカメラのレンズの焦点距離や歪み係数などの内部パラメータ、及びラインセンサカメラの位置や光軸の向きなどの外部パラメータを求めてキャリブレーションを行う必要がある。また、画像を用いた三次元計測（ステレオビジョン）等に適用するためには、ラインセンサカメラの位置と姿勢を予め求めておくことが必要とされている。

特許文献１に記載のラインセンサカメラのキャリブレーション方法では、座標が既知のＬ字の立体マーカを撮影し、レンズ歪みを考慮した誤差関数と内部パラメータを考慮した値を加算した評価関数に、初期の内部及び外部パラメータを入力する。その後、検出点の全数及び画像の全数について、誤差関数の総和と内部パラメータを考慮した値とを加算した評価関数が、最小となるように各パラメータを調整し、内部及び外部パラメータを非線形解法により算出することが開示されている。

特許文献２に記載のラインセンサカメラの光軸調整方法では、前後、左右方向に異なる位置に配置された２台の表示装置に調整用の画像を表示させ、それを２台の左右方向に異なる位置に配置されたラインセンサカメラで撮影し、表示画像の位置や、ラインセンサカメラの位置と角度を調整し、光軸を調整することが開示されている。

特開２０１６－２１８８１５号公報 特開２０１９－２０３１４号公報

特許文献１に記載のキャリブレーション方法では、Ｌ字の立体マーカの座標が既知であることが前提条件となっており、前もって立体マーカの座標を調べておく必要がある。この場合は、任意の基準座標に基づく簡易的な撮影ターゲットを用いた場合には対応がとれない恐れが生じる。特許文献２に記載の光軸調整方法では、画像表示に基づいて、光軸を調整することを行うが、その際のラインセンサカメラの位置と姿勢については、算出されない。

本発明は、上述した実情に鑑みてなされたものであり、本発明が解決しようとする課題は、簡易的に設置されて座標が未知である撮影ターゲットを用いて、ラインセンサカメラの位置と姿勢とを精度よく推定することができる、ラインセンサカメラの位置姿勢推定装置及び位置姿勢推定方法を提供することである。

本発明は、上記課題を解決するため、以下の手段を採用する。
すなわち、本発明のラインセンサカメラの位置姿勢推定装置は、ラインセンサカメラと、複数のマーカを有し、前記ラインセンサカメラによって撮影される撮影ターゲットと、互いに位置を異ならせて配置され、基準座標に基づいて前記撮影ターゲットまでの距離を計測する第１の距離計測器と第２の距離計測器と、前記ラインセンサカメラによって撮影された画像データと、前記第１の距離計測器と前記第２の距離計測器とによって計測された距離計測データとに基づいて、前記ラインセンサカメラの位置と姿勢とを推定する推定装置本体と、を備え、前記推定装置本体は、前記画像データから前記撮影ターゲットの画像座標を算出する計測座標算出部と、前記距離計測データから前記撮影ターゲットの前記基準座標における真値座標を算出する真値座標算出部と、前記画像座標、及び前記真値座標から非線形解法により前記ラインセンサカメラの位置と姿勢とを算出する非線形解法部と、を備える。

本発明のラインセンサカメラの位置姿勢推定装置は、第１の距離計測器と第２の距離計測器とによって、撮影ターゲットまでの距離を計測し、この距離計測データから撮影ターゲットの基準座標における真値座標を算出し、この真値座標に基づいて、ラインセンサカメラの位置と姿勢を算出するので、座標が未知である簡易的に設置された撮影ターゲットを用いて、ラインセンサカメラの位置と姿勢とを推定することができる。

本発明のラインセンサカメラの位置姿勢推定方法は、ラインセンサカメラによって複数のマーカを有する撮影ターゲットを撮影すること、基準座標に基づいて前記撮影ターゲットまでの距離を、互いに位置を異ならせて配置された第１の距離計測器と第２の距離計測器とで計測すること、前記ラインセンサカメラによって撮影された画像データ、及び前記第１の距離計測器と前記第２の距離計測器とによって計測された距離計測データに基づいて、前記ラインセンサカメラの位置と姿勢とを推定すること、を含み、前記ラインセンサカメラの位置と姿勢とを推定することは、前記画像データから前記撮影ターゲットの画像座標を算出すること、前記距離計測データから前記撮影ターゲットの前記基準座標における真値座標を算出すること、前記画像座標データ、及び前記真値座標データから非線形解法により前記ラインセンサカメラの位置と姿勢とを算出すること、を含む。

本発明のラインセンサカメラの位置姿勢推定方法は、第１の距離計測器と第２の距離計測器とによって、撮影ターゲットまでの距離を計測し、この距離計測データから撮影ターゲットの基準座標における真値座標を算出し、この真値座標に基づいて、ラインセンサカメラの位置と姿勢を算出するので、座標が未知である簡易的に設置された撮影ターゲットを用いて、ラインセンサカメラの位置と姿勢を推定することができる。

本発明によれば、簡易的に設置されて座標が未知である撮影ターゲットを用いて、ラインセンサカメラの位置と姿勢とを精度よく推定することができる、ラインセンサカメラの位置姿勢推定装置及び位置姿勢推定方法を提供することができる。

本発明の実施形態における、ラインセンサカメラの位置姿勢推定装置の構成を示す模式図である。 本発明の実施形態における、ラインセンサカメラの位置姿勢推定装置の構成を示す模式図である。 本発明の実施形態における、ラインセンサカメラの位置姿勢推定装置の構成を示す模式図である。 本発明の実施形態における、ラインセンサカメラの位置姿勢推定装置の動作を説明するフローチャートである。 本発明の実施形態における、ラインセンサカメラの位置姿勢推定装置の推定装置本体の機能ブロック図である。 本発明の実施形態における、ラインセンサカメラの位置姿勢推定装置の真値座標算出を説明する模式図である。

以下、添付図面を参照して、本発明の実施の形態について説明する。
（第１実施形態）
図１は、本発明の実施形態における、ラインセンサカメラの位置姿勢推定装置の構成を示す模式図である。図１に示すとおり、本実施形態におけるラインセンサカメラの位置姿勢推定装置１は、ラインセンサカメラ３と、撮影ターゲット５と、第１の距離計測器７と、第２の距離計測器９と、推定装置本体１１と、を備える。ラインセンサカメラ３、撮影ターゲット５、第１の距離計測器７、及び第２の距離計測器９と、推定装置本体１１とは、有線、又は無線で接続され、相互にデータの送受信可能とされている。

第１の距離計測器７と、第２の距離計測器９とは、図１に、原点Ｏ（０，０）からＸ軸とＹ軸で示される基準座標において、互いに位置を異ならせて、Ｘ軸上に設置されている。図に示すように、撮影ターゲット５は、複数の白黒マーカを有する棒状体であり、それぞれの白黒マーカの間隔は予め測定されて既知とされている。撮影ターゲット５は、この二次元の基準座標系の面内に配置されて、撮影ターゲット５の中心ｃが、基準座標のＹ軸上の任意の位置に位置するように配置される。このとき、撮影ターゲット５は、基準座標の面内でＸ軸と概ね平行になるように配置されるのが好ましい。

撮影ターゲット５までの第１の距離計測器７と、第２の距離計測器９との計測方向は、基準座標のＹ軸と平行となるように設定されている。すなわち、第１の距離計測器７と、第２の距離計測器９と、は、それぞれが配置された基準座標のＸ軸から撮影ターゲット５までの距離を計測することになる。第１の距離計測器７と、第２の距離計測器９とは、基準座標のＸ軸からの距離を計測できれば、特に方法は限定しないが、例えば、レーザによる距離計測器等を利用することができる。

ラインセンサカメラ３は、撮影ターゲット５が撮影可能な任意の位置に設置することができる。設置されたラインセンサカメラ３で撮影された撮影ターゲット５の画像データ、及び、第１の距離計測器７と、第２の距離計測器９と、で計測された基準座標のＸ軸から撮影ターゲット５までの距離計測データは、推定装置本体１１に送られる。推定装置本体１１では、これらのデータに基づいて、ラインセンサカメラ３の位置と姿勢の推定を行う。

図５は、推定装置本体１１の機能ブロック図である。図５に示すとおり、本実施形態の推定装置本体１１は、記憶部１３と、入力部１５と、計測座標算出部１７と、真値座標算出部１９と、非線形解法部２１と、を備えている。入力部１５は、ラインセンサカメラ３によって撮影された画像データ、及び第１の距離計測器７と第２の距離計測器９とによって計測された距離計測データを受信し、記憶部１３に送って記憶させる。計測座標算出部１７は、画像データから撮影ターゲット５のマーカの画像座標を算出し、算出したマーカの画像座標を画像座標データとして記憶部１３に送って記憶させる。真値座標算出部１９は、距離計測データから撮影ターゲット５の基準座標におけるマーカの真値座標を算出し、算出した真値座標を真値座標データとして記憶部１３に送って記憶させる。非線形解法部２１は、画像座標データ、及び真値座標データから非線形解法によりラインセンサカメラ３の位置と姿勢とを算出し、算出した位置と姿勢とをカメラ位置パラメータとして記憶部１３に送って記憶させる。ここで、ラインセンサカメラ３の位置とは、基準座標におけるラインセンサカメラ３のレンズの光軸の原点の位置であり、ラインセンサカメラ３の姿勢とは、光軸の向きを基準座標系の回転行列を用いて表した角度をいう。

推定装置本体１１は、例えばパーソナルコンピュータ等の情報処理装置である。入力部１５、計測座標算出部１７、真値座標算出部１９、及び非線形解法部２１は、この情報処理装置のＣＰＵあるいはＧＰＵによって実行されるソフトウェア、プログラムであってよい。記憶部１３は、この情報装置の内外に設けられるハードディスクやフラッシュメモリ等の記憶装置であってよい。推定装置本体１１は、予め設定されたプログラム等に基づいた処理を情報処理装置が実行することで、上記に示すような構成を機能的に備えている。

図４は、上述のように構成された、ラインセンサカメラの位置姿勢推定装置１の動作を説明するフローチャートである。このフローチャートを参照し、本実施形態のラインセンサカメラの位置姿勢推定装置１の動作を説明する。
以下は各ステップＳ０１－Ｓ０４の動作である。
（Ｓ０１） 撮影ターゲット５を基準座標のＹ軸上で単一あるいは複数の異なる位置に設置し、それぞれをラインセンサカメラ３で撮像する。
（Ｓ０２） Ｓ０１で取得した画像データから撮影ターゲット５の白黒マーカ検出処理を行い、画像上の白黒マーカ座標（画像座標）を算出する。
（Ｓ０３） 位置を異ならせて基準座標のＸ軸上に配置された、第１の距離計測器７と第２の距離計測器９とによって、撮影ターゲット５までの距離を計測し、この距離計測情報に基づいて、基準座標における白黒マーカの座標（真値座標）を算出する。
（Ｓ０４） 画像座標および真値座標をもとに、特許文献１における非線形解法により、基準座標からのカメラ位置パラメータ（ラインセンサカメラの位置と姿勢）を算出する。

次に、上記のステップＳ０３の処理を説明する。図６は、ステップＳ０３の真値座標算出を説明する模式図である。以下に真値座標Ｘ_ｎ、Ｙ_ｎの算出について説明する。
（１）真値座標算出処理においては、以下の値を使用する。
Ｙ_Ｌ１ ：右側距離計測器（第２の距離計測器９）から撮影ターゲット５までの距離
Ｙ_Ｌ２ ：左側距離計測器（第１の距離計測器７）から撮影ターゲット５までの距離
Ｘ_Ｌ１ ：右側距離計測器（第２の距離計測器９）の設置位置（基準座標原点Ｏからの距離）
Ｘ_Ｌ２ ：左側距離計測器（第１の距離計測器７）の設置位置（基準座標原点Ｏからの距離）
Ｗ_ｍ ：ターゲットの白帯マーカ間幅
Ｍ_Ｃ ：ターゲットの中央のマーカ番号
Ｍ_ｎ ：座標算出対象マーカ並び番号（撮影ターゲット５の左端から順に採番）

（２）以下の計算式によりそれぞれの値を算出する。
・座標算出対象マーカのターゲット内の位置Ｐ_ｎ（中心からの距離）
注：Ｐ_ｃ（撮影ターゲットの中心位置）は基準位置のため値は「０」。

・左右に設置した距離計測器の間隔Ｗ

・左右の距離計測器のターゲットまでの高さの高低差Ｈ
注：下記［数３］において上式は右側が高い場合、下式は、右側が低い場合である。

・ターゲット中央点基準となる高さＹ_ｃ
注：下記［数４］において上式は右側が高い場合、下式は、右側が低い場合である。なお、左右の高さが同じ場合、ターゲットは水平であり、左右の何れかの高さを採用する。本実施形態では、簡単のため第１の距離計測器７と第２の距離計測器９と、は、基準座標の原点Ｏを挟んで等距離に配置されているものとする。

・縦横の長さから逆正接関数でターゲットの傾きβを求める。

・マーカ座標（Ｘ_ｎ，Ｙ_ｎ）（真値座標）を算出する。以下の式［数６］により、撮影ターゲット５のマーカの真値座標を得ることができる。

次に、図４のフローチャートのステップＳ０４の処理を説明する。ステップＳ０４では、特許文献１の非線形解法を用いてラインセンサカメラ３の位置と姿勢を算出する。ここでは、特許文献１の非線形解法の骨子となる要素についてのみ説明する。

ここで、非線形解法に用いる数式モデルを下記式［数７］に示す。
図１において、ラインセンサカメラ３は１ラインしか撮像を行わないため、撮像範囲は３次元空間上では基準座標平面となる。前述したように、この基準座標平面上の撮影ターゲット５のマーカ座標は、前述のステップＳ０３で求められた真値座標として、基準座標のＸ軸、Ｙ軸で表現される。ラインセンサカメラ３のカメラ座標系（１次元画像座標系）を、ラインセンサカメラ３の光軸方向の軸ｗに直交し、撮像範囲の基準座標平面と並行なｕ軸で表現している。又、基準座標系とカメラ座標系間の回転行列をＲ（回転軸は１軸でその角度はθ）、並進ベクトルをｔ（２次元ベクトルで、その要素はｔ１、ｔ２）とする。

ここで、ｓはスケーリング係数、ｆは焦点距離、ｃは主点座標、ｕは実際に観測されたカメラ座標系における位置（ピクセル座標における計測座標）、Ｘ、Ｙは基準座標系における位置（撮影ターゲットの基準座標系の真値座標）である。

上記式［数７］は、基準座標（２次元平面座標）からラインセンサカメラ３のカメラ座標（１次元画像座標）へ変換する数式モデルとなっている。但し、上記式［数７］では、ラインセンサカメラ３のレンズの歪みが考慮されていない。そこで、下記式［数８］のように（ｘ，ｙ）を定義すると、下記式［数９］～［数１１］のように歪みを表すことができる。なお、ｋ１～ｋ３は半径歪み係数である。

上記式［数７］～［数１１］について展開したいが、式［数１１］にｘ”をそのまま代入できないため、次式［数１２］を式［数１０］に代入する。式［数７］～［数９］についても式［数１０］に代入すると下記式［数１３］となる。

このカメラモデルでキャリブレーションを行う場合には、単位焦点距離面での誤差最小化を行うことになり、下記式［数１４］が最小となるように、レーベンバーグマーカート法により、内部及び外部パラメータを求めることとなる。

ここで、上記式［数１４］において、Ｍは画像の撮影回数、Ｎは各撮影において取得される特徴点数（撮影ターゲット５のマーカの検出点数）である。上記式［数１４］は、上記式［数１３］に基づく誤差関数を、撮像した画像の全数Ｍ及び検出点の全数Ｎについて総和したものとなる。式［数１４］が最小となるように、レーベンバーグマーカート法により、求めた並進ベクトルｔ、回転行列Ｒから、ラインセンサカメラ３の位置と姿勢を算出することができる。

以上述べたように、本実施形態におけるラインセンサカメラの位置姿勢推定装置、及び方法は、撮影ターゲット５を撮影したラインセンサカメラ３の画像から、マーカの画像座標を取得する。撮影ターゲット５の真値座標を得るためには、第１の距離計測器７と第２の距離計測器９とによって、撮影ターゲット５までの距離を計測する。この距離計測データから撮影ターゲット５の基準座標における真値座標を算出する。この真値座標とマーカの画像座標に基づいて、非線形解法を用いてラインセンサカメラ３の位置と姿勢を算出するので、座標が未知である簡易的に設置された撮影ターゲット５を用いて、任意の位置にあるラインセンサカメラ３の位置と姿勢とを容易に精度よく推定することができる。ラインセンサカメラ３の位置と姿勢との推定には、撮影ターゲット５の配置を複数設定し、複数枚の撮影画像に対して推定を行うことができるので、必要なだけ精度を向上させて推定を行うことが可能となる。第１の距離計測器７と第２の距離計測器９とによって撮影ターゲット５までの距離を計測するので、撮影ターゲット５の設置条件を簡易化できる装置構成となっている。

（第２実施形態）
図２は、本実施形態に係るラインセンサカメラの位置姿勢推定装置１０の構成を示す模式図である。本実施形態が第１実施形態と異なるのは、位置と姿勢を推定するラインセンサカメラが、ラインセンサカメラ３に加えて、ラインセンサカメラ３ａが追加される点である。その他の第１実施形態と共通する構成には、図中に同符号を付しその説明を省略する。本実施形態では、第１実施形態におけるラインセンサカメラ３の位置と姿勢との推定の工程をラインセンサカメラ３ａにも実施し、２台のラインセンサカメラ３、３ａの位置と姿勢とを取得する。本実施形態では、第１実施形態の作用効果に加え、ラインセンサカメラ３、３ａの２台の位置と姿勢とから、カメラ同士の相対位置を把握することができるので、ステレオビジョン（画像を用いた三次元計測）に適用することができる。

（第３実施形態）
図３は、本実施形態に係るラインセンサカメラの位置姿勢推定装置２０の構成を示す模式図である。本実施形態が第１実施形態と異なるのは、位置と姿勢を推定するラインセンサカメラが、ラインセンサカメラ３に代えて、ラインセンサカメラ３_１、３_２、…、３_ｎとｎ台のカメラが配置される点である。その他の第１実施形態と共通する構成には、図中に同符号を付しその説明を省略する。本実施形態では、第１実施形態におけるラインセンサカメラ３の位置と姿勢との推定の工程をラインセンサカメラ３_１、３_２、…、３_ｎのｎ台に実施し、ｎ台のラインセンサカメラ３_１、３_２、…、３_ｎの位置と姿勢とを取得する。本実施形態では、第１実施形態の作用効果に加え、ラインセンサカメラ３_１、３_２、…、３_ｎのｎ台の位置と姿勢とから、カメラ同士の相対位置を把握することができるので、より高精度な三次元復元を可能とするマルチビューステレオに適用することができる。

１、１０、２０ ラインセンサカメラの位置姿勢推定装置
３、３ａ、３１・・・３ｎ ラインセンサカメラ
５ 撮影ターゲット
７ 第１の距離計測器
９ 第２の距離計測器
１１ 推定装置本体
１７ 計測座標算出部
１９ 真値座標算出部
２１ 非線形解法部

Claims (2)

1. ラインセンサカメラと、
   複数のマーカを有し、前記ラインセンサカメラによって撮影される撮影ターゲットと、
   互いに位置を異ならせて配置され、基準座標に基づいて前記撮影ターゲットまでの距離を計測する第１の距離計測器と第２の距離計測器と、
   前記ラインセンサカメラによって撮影された画像データと、前記第１の距離計測器と前記第２の距離計測器とによって計測された距離計測データとに基づいて、前記ラインセンサカメラの位置と姿勢とを推定する推定装置本体と、を備え、
   前記推定装置本体は、
   前記画像データから前記撮影ターゲットの画像座標を算出する計測座標算出部と、
   前記距離計測データから前記撮影ターゲットの前記基準座標における真値座標を算出する真値座標算出部と、
   前記画像座標、及び前記真値座標から非線形解法により前記ラインセンサカメラの位置と姿勢とを算出する非線形解法部と、
   を備える、ラインセンサカメラの位置姿勢推定装置。
2. ラインセンサカメラによって複数のマーカを有する撮影ターゲットを撮影すること、
   基準座標に基づいて前記撮影ターゲットまでの距離を、互いに位置を異ならせて配置された第１の距離計測器と第２の距離計測器とで計測すること、
   前記ラインセンサカメラによって撮影された画像データ、及び前記第１の距離計測器と前記第２の距離計測器とによって計測された距離計測データに基づいて、前記ラインセンサカメラの位置と姿勢とを推定すること、を含み、
   前記ラインセンサカメラの位置と姿勢とを推定することは、
   前記画像データから前記撮影ターゲットの画像座標を算出すること、
   前記距離計測データから前記撮影ターゲットの前記基準座標における真値座標を算出すること、
   前記画像座標データ、及び前記真値座標データから非線形解法により前記ラインセンサカメラの位置と姿勢とを算出すること、
   を含む、ラインセンサカメラの位置姿勢推定方法。

Images