JP2024048525A - ステレオ計測装置の較正方法 - Google Patents

Abstract

【課題】ラインセンサカメラを用いたステレオ計測装置において高精度で較正を行うことが可能な較正方法を提供する。【解決手段】較正方法は、ラインセンサカメラ２Ａ、２ＢのＸ軸方向の位置並びにＹ軸周り及びＺ軸周りの回転角度をそれぞれ調整する第１の調整工程と、ラインセンサカメラ２Ａ、２ＢのＸ軸周りの回転角度を調整する第２の調整工程と、ラインセンサカメラ２Ａ、２Ｂと較正片との間のＺ軸方向の距離を演算する第１の演算工程と、ラインセンサカメラ２Ａ、２Ｂの画像中心からＺ軸方向に延びる直線と較正片とが交わる交点と、較正片に設けられたＹ軸方向の基準座標との間のＹ軸方向の距離を演算する第２の演算工程と、を含む。【選択図】図１

Description

本発明は、ステレオ計測装置の較正方法に関する。

一対のカメラで撮影した対象物の画像に基づいて対象物までの距離を計測するステレオ計測装置が知られている。ステレオ計測装置では、事前に調整用ターゲットを用いて一対のカメラの位置関係を特定する較正作業を行う必要がある。ステレオ計測装置のカメラとしてラインセンサカメラを用いる場合、各ラインセンサカメラに調整用ターゲットの同一箇所を撮影させることが困難であるため、較正作業にも様々な工夫が求められる。例えば、特許文献１には、チェッカーボードを張り付けた円柱を軸周りに回転させながら撮影し、撮影画像を用いて一対のラインセンサカメラの位置及び姿勢を調整する較正方法が開示されている。

特開２０１８－９６７２７号公報

特許文献１の較正方法では、調整用ターゲット自体の製造精度や回転精度が撮影画像に反映されてしまい、ラインセンサカメラの調整精度が低下する。このため、ラインセンサカメラを十分に較正できず、対象物までの距離計測を高精度に行うことができない、という問題がある。

本発明は、このような背景に基づいてなされたものであり、ラインセンサカメラを用いたステレオ計測装置において高精度で較正を行うことが可能な較正方法を提供することを目的とする。

上記目的を達成するために、本発明の第１の観点に係る較正方法は、
一対のラインセンサカメラ及び前記一対のラインセンサカメラの間に並べて配置され、空間上に光の平面を形成するライン光源を備えるステレオ計測装置において前記ラインセンサカメラの外部パラメータを較正する較正方法であって、
前記ライン光源から出射される光の広がり方向をＹ軸方向、光の出射方向をＺ軸方向、Ｙ軸及びＺ軸に直交する方向をＸ軸方向とする直交座標系において、前記ラインセンサカメラにより形成された撮像範囲の平面が前記ライン光源により形成された光の平面と重なるように前記ラインセンサカメラのＸ軸方向の位置並びにＹ軸周り及びＺ軸周りの回転角度をそれぞれ調整する第１の調整工程と、
前記第１の調整工程により位置及び回転角度が調整された前記ラインセンサカメラの光軸がＺ軸方向に延びるように前記ラインセンサカメラのＸ軸周りの回転角度を調整する第２の調整工程と、
前記第２の調整工程により回転角度が調整された前記ラインセンサカメラにより撮影された画像及び前記ラインセンサカメラのレンズの焦点距離に基づいて、前記ラインセンサカメラと較正片との間のＺ軸方向の距離を演算する第１の演算工程と、
前記第１の演算工程により演算された前記ラインセンサカメラと前記較正片との間のＺ軸方向の距離及び前記ラインセンサカメラにより撮影された画像に基づいて、前記ラインセンサカメラの画像中心からＺ軸方向に延びる直線と前記較正片とが交わる交点と、前記較正片に設けられたＹ軸方向の基準座標との間のＹ軸方向の距離を演算する第２の演算工程と、
を含む。

前記第１の調整工程では、
前記ライン光源からの光が照射されたスクリーンを前記ラインセンサカメラで撮影し、
前記ラインセンサカメラで撮影された画像の各画素において輝度が均一になるよう前記ラインセンサカメラの位置及び姿勢を調整してもよい。

前記第１の調整工程では、前記ラインセンサカメラで撮影された画像の全ての画素における輝度の最大値と最小値との差が閾値以下である場合に、前記ラインセンサカメラで撮影された画像の各画素において輝度が均一であると判断してもよい。

前記第１の調整工程では、前記スクリーンをＺ軸方向の異なる２つの位置に配置し、それぞれの位置において前記ラインセンサカメラで撮影された画像の各画素において輝度が均一になるよう前記ラインセンサカメラの位置及び姿勢を調整してもよい。

前記較正片は、基板の長手方向に等間隔に並べられ、光を反射可能な複数のスリットを備えるスリット付き較正片であってもよい。

前記第２の調整工程では、
前記ライン光源からの光が照射された前記較正片を前記ラインセンサカメラで撮影し、
前記ラインセンサカメラで撮影された画像における前記スリットに対応する輝度のピークの間隔が均一となるよう前記ラインセンサカメラの姿勢を調整してもよい。

前記第１の演算工程では、前記較正片における前記スリットの間隔と、前記ラインセンサカメラにより撮影した画像における前記スリットに対応する輝度のピークの間隔と、前記ラインセンサカメラのレンズの焦点距離とに基づいて、前記ラインセンサカメラと前記較正片との間のＺ軸方向の距離を演算してもよい。

前記スリット付き較正片は、前記基準座標に設けられ、画像上で検出可能なマーキングを備え、
前記第２の演算工程では、前記ラインセンサカメラの画像から取得される基準座標のマーキングと画像中心との間の距離と、前記ラインセンサカメラと前記較正片とのＺ軸方向の距離と、前記ラインセンサカメラのレンズの焦点距離とに基づいて、前記ラインセンサカメラの画像中心からＺ軸方向に延びる直線と前記較正片とが交わる交点と、前記較正片に設けられたＹ軸方向の基準座標との間のＹ軸方向の距離を演算してもよい。

上記目的を達成するために、本発明の第２の観点に係る較正方法は、
一対のラインセンサカメラを備えるステレオ計測装置における前記ラインセンサカメラの内部パラメータを較正する較正方法であって、
前記ラインセンサカメラのレンズからラインセンサを取り外してエリアセンサに置き換える工程と、
前記エリアセンサで歪みが無い場合の見え方が推定できるパターンを描いたサンプルを撮像し、前記サンプルを撮影した画像に基づいて前記ラインセンサカメラにおけるレンズの焦点距離及びレンズ歪みに関するパラメータを演算する工程と、
前記レンズから前記エリアセンサを取り外して前記ラインセンサに置き換える工程と、
を含む。

本発明によれば、ラインセンサカメラを用いたステレオ計測装置において高精度で較正を行うことが可能な較正方法を提供できる。

本発明の実施の形態に係るステレオ計測装置の構成を示す概略図である。 本発明の実施の形態に係るステレオ計測装置の構成を示す側面図である。 本発明の実施の形態に係る較正作業の手順を示すフローチャートである。 本発明の実施の形態に係る内部パラメータの較正作業の手順を示すフローチャートである。 Ｚｈａｎｇの方法で用いるチェッカーボードを示す正面図である。 本発明の実施の形態に係る外部パラメータの較正作業の手順を示すフローチャートである。 本発明の実施の形態に係るステレオ計測装置におけるスクリーンを用いた較正作業の様子を示す概略図である。 （ａ）は、調整前の輝度値の分布を示すグラフであり、（ｂ）は、調整後の輝度値の分布を示すグラフである。 本発明の実施の形態に係るステレオ計測装置におけるスリット付き較正片を用いた較正作業の様子を示す概略図である。 （ａ）は、調整前のスリットの分布を示すグラフであり、（ｂ）は、ラインセンサカメラにおける調整後のスリットの分布を示すグラフである。 スリット付き較正片における基準座標から画素中心までの距離とラインセンサにおける基準座標から画素中心までの距離との関係を示す概略図である。 本発明の実施の形態に係る処理ユニットのハードウェア構成を示すブロック図である。 本発明の実施の形態に係る較正支援処理の流れを示すフローチャートである。

以下、本発明の実施の形態に係るステレオ計測装置の較正方法を、図面を参照しながら詳細に説明する。各図面においては、同一又は同等の部分に同一の符号を付す。

実施の形態に係るステレオ計測装置は、一対のラインセンサカメラで対象物の同一箇所を撮像し、その撮像位置の違いに起因する視差に基づいて対象物の同一箇所までの距離を演算する計測装置である。図１に示すように、ステレオ計測装置１は、互いに間隔を空けて配置された一対のラインセンサカメラ２Ａ、２Ｂと、一対のラインセンサカメラ２Ａ、２Ｂの間に配置されたラインレーザ光源３と、一対のラインセンサカメラ２Ａ、２Ｂ及びラインレーザ光源３に通信可能に接続され、一対のラインセンサカメラ２Ａ、２Ｂ及びラインレーザ光源３の動作を制御する処理ユニット１００と、を備える。

各ラインセンサカメラ２Ａ、２Ｂは、対象物を一次元画像として撮影し、画像において一方向に分布する輝度（画素値）のデータを処理ユニット１００に送信する。各ラインセンサカメラ２Ａ、２Ｂは、レンズ２１と、レンズ２１から入ってきた光が結像されるラインセンサ２２と、を備える。ラインセンサ２２は、多数の画素が画素列として１列に並べて配置され、各画素で受け取った光を電気信号に変換して出力する撮像素子である。各ラインセンサカメラ２Ａ、２Ｂは、空間上に光軸を含む平面状の撮像範囲を形成し、撮像範囲の平面と交差する対象物の表面部分の画像を取得する。

ラインレーザ光源３は、空間上に光による平面（レーザ平面）を形成し、対象物の平面に光が照射された場合に当該対象物の平面上に直線状に延びる線を描画するライン光源の一例である。ラインレーザ光源３は、一対のラインセンサカメラ２Ａ、２Ｂに並べて配置され、扇状に広がるレーザ平面を形成するようにレーザ光を出射し、対象物の表面上に照射する。ラインレーザ光源３により対象物の平面上に描画される線は、ラインセンサカメラ２Ａ、２Ｂの較正作業において較正時の基準となる基準線として用いると共に、ラインセンサカメラ２Ａ、２Ｂの設置時のガイドとしても用いる。ラインセンサカメラ２Ａ、２Ｂのみでは、撮影位置を把握することが困難であるが、ラインレーザ光源３をガイドとして用いることで、撮影位置の把握を簡単に行うことができる。

以下、実施の形態では、基準座標系及びカメラ座標系の２つの座標系を用いる。基準座標系は、互いに直交するＸ軸、Ｙ軸、Ｚ軸で構成された直交座標系である。レーザ光の広がり方向がＹ軸方向、レーザ光の出射方向がＺ軸方向、Ｙ軸方向及びＺ軸方向にそれぞれ直交する方向がＸ軸方向である。カメラ基準系は、各ラインセンサカメラ２Ａ、２Ｂを基準にそれぞれ設定され、互いに直交するＸ１軸、Ｙ１軸、Ｚ１軸で構成された直交座標系である。各ラインセンサカメラ２Ａ、２Ｂの光軸が延びる方向がＺ１軸方向、各ラインセンサカメラ２Ａ、２Ｂとラインレーザ光源３とが並ぶ方向がＹ１軸方向、Ｙ１軸方向及びＺ１軸方向にそれぞれ直交する方向がＸ１軸方向である。

図２に示すように、ラインセンサカメラ２Ａ、２Ｂ及びラインレーザ光源３は、それぞれハウジング４に対して位置及び姿勢を調整可能に支持されている。ハウジング４は、移動ステージ５の上方に配置され、架台６により支持されている。移動ステージ５は、対象物を載せた状態でラインセンサ２２が延びる向きと垂直な２つの方向（Ｘ軸方向及びＺ軸方向）にそれぞれ移動可能に構成されている。ステレオ計測装置１は、移動ステージ５がＸ軸方向に移動している状態でラインセンサカメラ２Ａ、２Ｂで対象物を撮影し、各撮影画像に基づいて対象物までの距離を順次演算する。

図１に戻り、処理ユニット１００は、例えば、汎用コンピュータである。処理ユニット１００は、ラインセンサカメラ２Ａ、２Ｂにより取得された対象物の同一箇所における輝度のデータに基づいて、対象物の同一箇所までの距離を演算する。具体的には、一対のラインセンサカメラ２Ａ、２Ｂで対象物の同一箇所を撮影し、撮影されたそれぞれの画像の各点について輝度に基づいてマッチングを行うことで視差を推定し、推定された視差に基づいて対象物の各点までの距離を演算する。また、処理ユニット１００は、ラインセンサカメラ２Ａ、２Ｂにおける較正作業を支援する処理を実行する較正装置としても機能する。
以上が、ステレオ計測装置１の構成である。

ステレオ計測装置１では、一対のラインセンサカメラ２Ａ、２Ｂの位置関係を特定するために、各ラインセンサカメラ２Ａ、２Ｂに対して較正作業を行う必要がある。較正作業には、稼動前の初期較正と稼働中の定期較正とのいずれもが含まれる。各ラインセンサカメラ２Ａ、２Ｂの較正では、内部パラメータ及び外部パラメータのそれぞれについて較正作業を行う。

内部パラメータは、３次元のカメラ座標とカメラにより取得された画像に設定された１次元の画像座標との関係を示すパラメータであり、具体的には、ラインセンサカメラ２Ａ、２Ｂの焦点距離、レンズ歪み及び画像中心に関するパラメータを含む。外部パラメータは、基準座標系とカメラ座標系との関係を示すパラメータであり、具体的には、基準座標系におけるラインセンサカメラ２Ａ、２Ｂの位置及び姿勢に関するパラメータである。

ステレオ計測装置１では、ラインセンサカメラ２Ａ、２Ｂは、多数の画素が１つの直線上に並べられているため、ラインセンサカメラ２Ａ、２Ｂを移動させながら経時的に取得した輝度のデータを並べることで、画素数が同一のエリアカメラよりも高解像度の２次元画像を生成できる。このため、エリアカメラを用いたステレオ計測装置と比較して対象物までの距離を高精度に演算できる。しかし、ラインセンサカメラ２Ａ、２Ｂでは、エリアカメラと異なり対象物の同一箇所を撮影することが困難であるため、以下の手順で較正作業を実施する。

次に、図３を参照して、実施の形態に係るステレオ計測装置１のラインセンサカメラ２Ａ、２Ｂに対してユーザが実行する較正作業の手順を説明する。ラインセンサカメラ２Ａ、２Ｂの較正は、それぞれ同一の手順で行うため、以下、ラインセンサカメラ２Ａを較正する場合を例に説明する。

まず、ラインセンサカメラ２Ａの内部パラメータの較正を行う（ステップＳ１）。内部パラメータの較正では、例えば、Ｚｈａｎｇの方式を用いる。Ｚｈａｎｇの方式は、歪みが無い場合の見え方が推定できるパターンを描いたサンプルをカメラで撮影し、撮影した画像に基づいて当該カメラの内部パラメータを演算する手法である。

この工程では、内部パラメータとして焦点距離及びレンズ歪みのパラメータを演算する。他の内部パラメータである画像中心のパラメータは、ラインセンサ２２の長手方向の位置により規定されるため、この工程では演算できず、ラインセンサカメラ２Ａの外部パラメータの較正時に合わせて演算する。以下、図４を参照して、実施の形態に係るラインセンサカメラ２Ａの内部パラメータの較正作業の流れを説明する。

まず、レンズ２１からラインセンサ２２を取り外し、相補的な形状を有するエリアセンサに置き換える（ステップＳ１１）。これは、ラインセンサ２２のままでは、後述するチェッカーボードの２次元画像を取得できないためである。レンズ２１におけるラインセンサ２２の取り付け部分は、異なる種類のセンサが取り付け可能となるように規格化されているため、ラインセンサ２２を同一規格のエリアセンサに簡単に置き換えることができる。

次に、ステップＳ１１の工程で取り付けられたエリアセンサでチェッカーボードを撮像し、撮影されたチェッカーボードの画像に基づいてラインセンサカメラ２Ａにおける焦点距離及びレンズ歪みのパラメータを演算する（ステップＳ１２）。

この工程では、歪みが無い場合の見え方が推定できるパターンを描いたサンプルの一例として図５に示すチェッカーボードを撮像し、処理ユニット１００を用いてチェッカーボードの白黒で表現された四角形の頂点が直線上に並ぶように焦点距離及びレンズ歪みのパラメータを最適化する。具体的に説明すると、チェッカーボードにおける四角形の頂点の実空間上の位置は、チェッカーボードの規則性に基づいて予め演算でき、当該頂点の撮影画像上の位置は、撮影画像に対して画像処理を施すことより検出できる。次に、実空間上の位置と画像上の位置との関係に基づいて、レンズ歪みのパラメータを演算すればよい。

また、Ｚｈａｎｇの方式における焦点距離は、画素サイズで規格化された無次元量で演算される。ラインセンサ２２及びエリアセンサにおける画素サイズの比に基づいて、エリアセンサにより撮影された画像に基づいて演算した焦点距離のパラメータ値を、ラインセンサ２２の装着時における焦点距離のパラメータ値に補正すればよい。

次に、レンズ２１からエリアセンサを取り外し、ラインセンサ２２をレンズ２１に取り付ける（ステップＳ１３）。
以上が、内部パラメータの較正作業の流れである。

図３に戻り、ラインセンサカメラ２Ａの外部パラメータの較正を行う（ステップＳ２）。外部パラメータは、基準座標系におけるラインセンサカメラ２Ａの位置（ｘ１，ｙ１，ｚ１）及びＸ軸、Ｙ軸、Ｚ軸周りの回転角度（θｘ１，θｙ１，θｚ１）を示す６つのパラメータである。以下、図６を参照して、実施の形態に係るラインセンサカメラ２Ａの外部パラメータの較正作業の流れを説明する。

まず、位置ｘ１＝０及び回転角度θｙ１，θｚ１＝０となるようにラインセンサカメラ２ＡのＸ軸方向の位置並びにＹ軸周り及びＺ軸周りの回転角度をそれぞれ調整する第１の調整工程を実行する（ステップＳ２１）。具体的には、図７に示すようにラインセンサカメラ２Ａ及びラインレーザ光源３の前方に平面状のスクリーンを配置する。スクリーンは、調整用ターゲットの一例であり、例えば、レーザ光線を全面で反射可能な平面を備える板状部材である。スクリーンは、ラインセンサカメラ２Ａ及びラインレーザ光源３が並べられた方向と平行な向きで設置される。次に、レーザ光をスクリーンに向けて照射し、ラインレーザ光源３によりスクリーン上に描画された線とラインセンサカメラ２Ａの画素列とができるだけ並行となるようにラインセンサカメラ２Ａの位置及び姿勢を仮決めする。

次に、スクリーンからの反射光の輝度がラインセンサカメラ２Ａの各画素で均一になるようラインセンサカメラ２Ａの位置及び姿勢を調整する。より詳細に説明すると、反射光の輝度がラインセンサカメラ２Ａの各画素で検出できない場合には、ラインセンサカメラ２Ａが基準となるレーザ平面に対してＸ軸方向にずれているか、Ｙ軸周りに回転している。また、反射光の輝度がラインセンサカメラ２Ａの各画素で均一でない場合には、ラインセンサカメラ２Ａがレーザ平面に対してＺ軸周りに回転した姿勢であり、ラインレーザ光源３によりスクリーン上に描画された線とラインセンサカメラ２Ａの画素列とが交差している。ユーザは、スクリーンからの反射光の輝度がラインセンサカメラ２Ａの各画素で均一になるようラインセンサカメラ２Ａの位置及び角度を調整する。

スクリーンからの反射光の輝度がラインセンサカメラ２Ａの各画素で均一かどうかは、例えば、輝度の最大値及び最小値から判断する。具体的には、輝度の最大値と最小値との差ΔＬが閾値Ｌｔｈ以内である場合に、スクリーンからの反射光の輝度が各画素で均一であると判断する。例えば、図８（ａ）のグラフでは、ΔＬ≧Ｌｔｈであるため、ラインセンサカメラ２Ａが取得した輝度の分布が均一でないと判断できる。他方、図８（ｂ）のグラフでは、ΔＬ＜Ｌｔｈであるため、ラインセンサカメラ２Ａが取得した輝度の分布が均一であると判断できる。

次に、スクリーンをＺ軸方向の異なる位置に移動し、同様にスクリーンからの反射光の輝度がラインセンサカメラ２Ａの各画素で均一になっているかどうかを確認する。これは、θｙ１≠０の場合でもレーザ光の出射方向によっては偶然、撮影画像の各画素における輝度が均一になることがあるためである。このようにラインセンサカメラ２Ａの位置及び姿勢を変化させ、Ｚ軸方向の２つの位置で輝度が均一になった時点のラインセンサカメラ２ＡのＸ軸方向の位置をｘ１＝０、Ｙ軸方向及びＺ軸方向の回転角度をθｙ１，θｚ１＝０とそれぞれ設定する。これによりラインセンサカメラ２Ａにより形成された撮像範囲の平面がラインレーザ光源３により形成された光の平面と重なるように調整でき、結果としてラインレーザ光源３によりスクリーン上に描画された線の全てをラインセンサカメラ２Ａの画素列の範囲内で検出できるようになる。

図６に戻り、回転θｘ１＝０となるようにラインセンサカメラ２ＡのＸ軸周りの回転角度を調整する第２の調整工程を実行する（ステップＳ２２）。具体的には、まず、ステップＳ１の工程で用いたスクリーンをスリット付き較正片に置き換え、図９に示すようにラインレーザ光源３からスリット付き較正片に向けてレーザ光を照射させる。

スリット付き較正片は、調整用ターゲットの一例であり、透明材料で形成された基板と、本体の基板に設けられ、レーザ光を反射可能な材料で形成された複数のスリットと、を備える。各スリットは、それぞれ基板の幅方向に延び、基板の長手方向に等間隔に並べて配置されている。スリット付き較正片は、ラインレーザ光源３によりスクリーン上に描画された線が各スリットと直交するようにラインセンサカメラ２Ａ及びラインレーザ光源３の前方に設置される。このとき、スリット付き較正片は、ラインセンサカメラ２Ａ及びラインレーザ光源３が並べられた方向と平行な向きで設置される。

次に、ラインレーザ光源３からのレーザ光が照射されているスリット付き較正片を撮影し、撮影した画像中の輝度のピークを示す各スリットの間隔が均一となるようラインセンサカメラ２Ａの姿勢を調整する。図１０（ａ）に示すようにθｘ１≠０の場合には、ラインセンサ２２で撮影した画像において画像中の輝度のピークを示す各スリットの間隔が徐々に変化する。他方、図１０（ｂ）に示すようにθｘ１＝０の場合には、ラインセンサ２２で撮影した画像において画像中の輝度のピークを示す各スリットの間隔が一定である。ラインセンサカメラ２Ａの姿勢を変化させ、画像中の輝度のピークを示す各スリットの間隔が一定になった時点のラインセンサカメラ２ＡのＸ軸方向の回転角度をθｘ１＝０と設定する。これによりラインセンサカメラ２Ａの光軸がＺ軸方向に延びるように調整できる。

再び図６に戻り、ラインセンサカメラ２Ａとスリット付き較正片との間のＺ軸方向の距離ｚ１を演算する第１の演算工程を実行する（ステップＳ２３）。スリット付き較正片におけるスリット間隔ｄは既知であるため、撮影画像から輝度のピークの間隔ｄ’を読み取ることで、倍率Ｍ＝ｄ’／ｄを演算する。次に、演算された倍率Ｍ及び焦点距離ｆに基づいて距離ｚ１を演算する。距離ｚ１は以下の式（１）で表される。
ｚ１＝ｆ／Ｍ …（１）

次に、ラインセンサカメラ２Ａの画像中心からＺ軸方向に延びる直線及びスリット付き較正片の交点とスリット付き較正片の基準座標ｙ０との間のＹ軸方向の距離ｙ１を演算する第２の演算工程を実行する（ステップＳ２４）。画像中心は、ラインセンサ２２の画素上の１次元座標で表現され、画素の画素数に基づいて演算できる。基準座標ｙ０は、スリット付き較正片において基準となるＹ軸方向の座標である。スリット付き較正片は、基準座標ｙ０に設けられ、画像上で検出可能なマーキングを備える。具体的には、マーキングは、基準座標ｙ０に位置するスリットが画像上で他のスリットと区別できるように形成されている。例えば、基準座標ｙ０に位置するスリットのスリット間隔又はスリット幅が他のスリットと異なるように形成されている。これにより図１０（ｂ）に示すように、ラインセンサ２２のどの画素がスリット付き較正片の基準座標ｙ０から反射したレーザ光を捕捉しているかを画像上でも判別できる。

図１１に示すようにラインセンサ２２による撮影画像上における基準座標ｙ０と画像中心との間の距離をｐ１とすると、距離ｙ１と距離ｐ１との比は、距離ｚ１と焦点距離ｆとの比に一致する。したがって、距離ｙ１は以下の式（２）で表される。
ｙ１＝ｚ１＊ｐ１／ｆ …（２）
距離ｐ１は、図１０（ｂ）に示すように画像中心から基準座標ｙ０までの画像上のピクセル数で演算でき、距離ｚ１及び焦点距離ｆは、前述の工程により既知であるため、上記の式（２）により距離ｙ１を演算できる。

以上の工程により、基準座標系ＸＹＺとカメラ座標系Ｘ１Ｙ１Ｚ１との間の相対的な位置及び回転の関係が特定され、外部パラメータの較正作業が終了する。
以上が、外部パラメータの較正作業の流れである。

次に、図１２を参照して、実施の形態に係る処理ユニット１００のハードウェア構成を説明する。処理ユニット１００は、操作部１１０と、表示部１２０と、通信部１３０と、記憶部１４０と、制御部１５０と、を備える。処理ユニット１００の各部は、内部バス（図示せず）を介して相互に接続されている。

操作部１１０は、ユーザの指示を受け付け、受け付けた操作に対応する操作信号を制御部１５０に供給する。操作部１１０は、例えば、マウス、キーボードを備える。

表示部１２０は、表示駆動回路を備え、制御部１５０から供給されるデータに基づいて、ユーザに向けて各種の画像を表示する。

通信部１３０は、処理ユニット１００が外部の機器と通信するための通信インタフェースである。通信部１３０は、例えば、通信ネットワーク、入出力端子を介して外部の機器と通信する。入出力端子は、例えば、ＵＳＢ（Universal Serial Bus）である。

記憶部１４０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスクを備える。記憶部１４０は、制御部１５０で実行されるプログラムや各種のデータを記憶する。また、記憶部１４０は、各種のデータを一時的に記憶し、制御部１５０が処理を実行するためのワークメモリとしても機能する。

制御部１５０は、プロセッサを備え、処理ユニット１００の各部の制御を行う。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）である。制御部１５０は、記憶部１４０に記憶されているプログラムを実行することにより、図１３の較正支援処理を実行する。制御部１５０は、機能的には、取得部１５１と、ガイド部１５２と、演算部１５３と、出力部１５４と、を備える。

取得部１５１は、ラインセンサカメラ２Ａ、２Ｂが撮影した画像の各画素における輝度データを周期的に取得する。

ガイド部１５２は、取得部１５１により取得された画像の各画素における輝度に基づいて、ユーザによるラインセンサカメラ２Ａ、２Ｂの位置及び姿勢の調整作業をガイドする。具体的には、取得部１５１により取得された各画素の輝度が均一かどうかを判定し、輝度が均一であると判定された場合にラインセンサカメラ２Ａ、２ＢのＸ軸方向の位置並びにＹ軸周り及びＺ軸周りの回転角度の調整作業を中止するようにユーザに指示する。また、取得部１５１により取得された画像における輝度のピークの間隔が均一かどうかを判定し、ピークの間隔が均一であると判定された場合にラインセンサカメラ２Ａ、２ＢのＸ軸周りの回転角度の調整作業を中止するようにユーザに指示する。

演算部１５３は、ガイド部１５２によるガイドにより位置及び姿勢が調整されたラインセンサカメラ２Ａ、２Ｂにより撮影された画像及び焦点距離ｆに基づいて、距離ｚ１、ｙ１をそれぞれ演算する。距離ｚ１、ｙ１は、例えば、それぞれ記憶部１４０に記憶された式（１）、（２）に基づいて演算される。

出力部１５４は、取得部１５１により取得された各画素における輝度データに基づいて、図８に示すような輝度の分布を示すグラフ又は図１０に示すような輝度のピークの間隔を示すグラフを表示部１２０に表示させる。
以上が、処理ユニット１００のハードウェア構成である。

（較正支援処理）
次に、図１３を参照して、実施の形態に係る処理ユニット１００が実行する較正支援処理の流れを説明する。較正支援処理は、ラインセンサカメラ２Ａ、２Ｂの較正作業のうち外部パラメータの較正作業（ステップＳ２）を行うユーザを支援するための処理であり、ユーザによる指示を受け付けた時点で開始する。ラインセンサカメラ２Ａ、２Ｂの較正は、それぞれ同一の手順で行うため、以下、ラインセンサカメラ２Ａを較正する場合を例に説明する。

まず、ユーザは、ラインセンサカメラ２Ａ及びラインレーザ光源３の前方に図７に示すスクリーンを設置する。取得部１５１は、ユーザからの指示を受け付けると、ラインセンサカメラ２Ａ及びラインレーザ光源３を動作させ、ラインレーザ光源３によりスクリーン上に描画された線の撮影を開始させる（ステップＳ１０１）。このとき、出力部１５４は、図８（ａ）に示すような輝度の分布を示すグラフを表示部１２０に表示させる。取得部１５１は、較正支援処理を終了するまで撮影画像の各画素における輝度データを周期的に取得し、出力部１５４は、取得部１５１で撮影画像の輝度データを取得する度にグラフを更新する。ユーザは、表示部１２０に表示されたグラフを参照しながら、図８（ｂ）に示すように輝度が均一となるようにラインセンサカメラ２Ａの位置及び姿勢を調整する。

次に、ガイド部１５２は、ラインセンサカメラ２Ａにより取得された輝度の分布が均一であるかどうかを判定する（ステップＳ１０２）。輝度の分布が均一であると判定された場合（ステップＳ１０２；Ｙｅｓ）、ガイド部１５２は、スクリーンをＺ軸方向の異なる位置に移動させるようユーザに指示する（ステップＳ１０３）。ユーザは、スクリーンをＺ軸方向の異なる位置に移動させ、輝度が均一となるようにラインセンサカメラ２Ａの位置及び姿勢を再び調整する。他方、輝度の分布が均一でないと判定された場合（ステップＳ１０２；Ｎｏ）、輝度の分布が均一であると判定されるまで処理を待機する。

次に、ガイド部１５２は、ラインセンサカメラ２Ａにより取得された輝度の分布が再び均一であるかどうかを判定する（ステップＳ１０４）。輝度の分布が均一であると判定された場合（ステップＳ１０４；Ｙｅｓ）、外部パラメータの較正作業におけるステップＳ２１の工程が終了するため、ガイド部１５２は、スクリーンをスリット付き較正片に置き換えるようにユーザに指示する（ステップＳ１０５）。他方、輝度の分布が均一でないと判定された場合（ステップＳ１０４；Ｎｏ）、輝度の分布が均一であると判定されるまで処理を待機する。

ステップＳ１０５の工程による指示を受け取ったユーザは、図７に示すスクリーンを図９に示すスリット付き較正片に置き換え、画像上で輝度のピークの間隔が均一になるようにラインセンサカメラ２Ａの位置及び姿勢を調整する。このとき、出力部１５４は、図１０（ａ）に示すような輝度のピークの間隔を示すグラフを表示部１２０に表示させ、取得部１５１で撮影画像の輝度データを取得する度にグラフを更新する。ユーザは、表示部１２０に表示されたグラフを参照しながら、図１０（ｂ）に示すように輝度のピークの間隔が均一となるようにラインセンサカメラ２Ａの姿勢を調整する。

次に、ガイド部１５２は、ラインセンサカメラ２Ａにより取得された輝度のピークの間隔が均一であるかどうかを判定する（ステップＳ１０６）。輝度のピークの間隔が均一であると判定された場合（ステップＳ１０６；Ｙｅｓ）、外部パラメータの較正作業におけるステップＳ２２の工程が終了するため、ラインセンサカメラ２Ａの位置及び姿勢の調整作業を終了するようにユーザに指示する（ステップＳ１０７）。他方、輝度のピークの間隔が均一でないと判定された場合（ステップＳ１０６；Ｎｏ）、輝度のスリット間隔が均一であると判定されるまで処理を待機する。

ステップＳ１０７の処理の終了後、演算部１５３は、ラインセンサカメラ２Ａにより取得された撮影画像に基づいて、距離ｚ１、ｙ１をそれぞれ演算する（ステップＳ１０８）。ステップＳ１０８の処理は、外部パラメータの較正作業におけるステップＳ２３、Ｓ２４の工程に対応している。距離ｚ１、ｙ１は、それぞれ記憶部１４０に記憶された式（１）、（２）を用いて演算する。距離ｚ１、ｙ１の演算が終了した後、演算部１５３は、較正支援処理が終了した旨をユーザに通知する。
以上が、較正支援処理の流れである。

以上説明したように、実施の形態に係る較正方法は、ラインセンサカメラ２Ａ、２Ｂの位置及び回転角度を調整する第１の調整工程（ステップＳ２１）と、ラインセンサカメラ２Ａ、２Ｂの回転角度を調整する第２の調整工程（ステップＳ２２）と、ラインセンサカメラ２Ａ、２Ｂとスリット付き較正片との間のＺ軸方向の距離を演算する第１の演算工程（ステップＳ２３）と、ラインセンサカメラ２Ａ、２Ｂの画像中心からＺ軸方向に延びる直線とスリット付き較正片とが交わる交点と、スリット付き較正片に設けられたＹ軸方向の基準座標との間のＹ軸方向の距離を演算する第２の演算工程（ステップＳ２４）と、を含む。このため、ラインセンサカメラ２Ａ、２Ｂを備えるステレオ計測装置１であっても外部パラメータの較正作業を高精度に行うことができる。

実施の形態に係る較正方法は、ラインセンサカメラ２Ａ、２Ｂのラインセンサ２２をエリアセンサに置き換えることで内部パラメータの較正を行うことができる。これによりラインセンサカメラ２Ａ、２Ｂにおけるレンズ２１の焦点距離及びレンズ歪みといった内部パラメータを調整できるため、ステレオ計測装置１の較正精度を一層向上させることができる。

本発明は上記実施の形態に限られず、以下に述べる変形も可能である。

（変形例）
上記実施の形態では、ラインセンサカメラ２Ａ、２Ｂとしてラインセンサ２２の画素が１列に配置されたものを用いていたが、本発明はこれに限られない。各ラインセンサカメラ２Ａ、２Ｂのラインセンサ２２は、複数列の画素を備えてもよい。

上記実施の形態では、対象物の平面上に基準線を描画するライン光源としてラインレーザ光源３を用いていたが、本発明はこれに限られない。ライン光源により対象物の平面上に描画される線は、厳密にライン状である必要はなく、ある程度の幅や揺らぎがあってもよい。ライン光源は、レーザ光源以外であってもよく、例えば、複数のＬＥＤ（Light Emitting Diode）を直線上に整列させて構成してもよい。

上記実施の形態では、各ラインセンサカメラ２Ａ、２Ｂが互いに離れているため、撮像する視野も互いにずれているが、本発明はこれに限られない。例えば、各ラインセンサカメラ２Ａ、２Ｂにティルト撮影が可能なティルトシフトレンズ（アオリレンズ）を取り付け、撮像する視野が一致するようにラインセンサ２２に対するティルトシフトレンズの傾きを調整してもよい。

上記実施の形態では、スリット付き較正片は、透明材料で形成された基板と、基板の長手方向に等間隔に並べられた複数のスリットと、を備えていたが、本発明はこれに限られない。基板はスリットよりもレーザ光を反射しにくい材料で形成されていればよく、例えば、半透明材料であってもよい。

上記実施の形態では、処理ユニット１００の記憶部１４０に各種データが記憶されていたが、本発明はこれに限定されない。例えば、各種データは、その全部又は一部が通信ネットワークを介して外部の制御装置やコンピュータに記憶されていてもよい。

上記実施の形態では、処理ユニット１００は、それぞれ記憶部１４０に記憶されたプログラムに基づいて動作していたが、本発明はこれに限定されない。例えば、プログラムにより実現された機能的な構成をハードウェアにより実現してもよい。

上記実施の形態では、処理ユニット１００は、例えば、汎用コンピュータであったが、本発明はこれに限られない。例えば、処理ユニット１００は、クラウド上に設けられたコンピュータで実現してもよい。

上記実施の形態では、処理ユニット１００が実行する処理は、上述の物理的な構成を備える装置が記憶部１４０に記憶されたプログラムを実行することによって実現されていたが、本発明は、プログラムとして実現されてもよく、そのプログラムが記録された記憶媒体として実現されてもよい。

また、上述の処理動作を実行させるためのプログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical Disk）のようなコンピュータにより読み取り可能な非一時的な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理動作を実行する装置を構成してもよい。

上記実施の形態は例示であり、本発明はこれらに限定されるものではなく、特許請求の範囲に記載した発明の趣旨を逸脱しない範囲でさまざまな実施の形態が可能である。実施の形態や変形例で記載した構成要素は自由に組み合わせることが可能である。また、特許請求の範囲に記載した発明と均等な発明も本発明に含まれる。

１ ステレオ計測装置
２Ａ，２Ｂ ラインセンサカメラ
３ ラインレーザ光源
４ ハウジング
５ 移動ステージ
６ 架台
２１ レンズ
２２ ラインセンサ
１００ 処理ユニット
１１０ 操作部
１２０ 表示部
１３０ 通信部
１４０ 記憶部
１５０ 制御部
１５１ 取得部
１５２ ガイド部
１５３ 演算部
１５４ 出力部

Claims (9)

1. 一対のラインセンサカメラ及び前記一対のラインセンサカメラの間に並べて配置され、空間上に光の平面を形成するライン光源を備えるステレオ計測装置において前記ラインセンサカメラの外部パラメータを較正する較正方法であって、
   前記ライン光源から出射される光の広がり方向をＹ軸方向、光の出射方向をＺ軸方向、Ｙ軸及びＺ軸に直交する方向をＸ軸方向とする直交座標系において、前記ラインセンサカメラにより形成された撮像範囲の平面が前記ライン光源により形成された光の平面と重なるように前記ラインセンサカメラのＸ軸方向の位置並びにＹ軸周り及びＺ軸周りの回転角度をそれぞれ調整する第１の調整工程と、
   前記第１の調整工程により位置及び回転角度が調整された前記ラインセンサカメラの光軸がＺ軸方向に延びるように前記ラインセンサカメラのＸ軸周りの回転角度を調整する第２の調整工程と、
   前記第２の調整工程により回転角度が調整された前記ラインセンサカメラにより撮影された画像及び前記ラインセンサカメラのレンズの焦点距離に基づいて、前記ラインセンサカメラと較正片との間のＺ軸方向の距離を演算する第１の演算工程と、
   前記第１の演算工程により演算された前記ラインセンサカメラと前記較正片との間のＺ軸方向の距離及び前記ラインセンサカメラにより撮影された画像に基づいて、前記ラインセンサカメラの画像中心からＺ軸方向に延びる直線と前記較正片とが交わる交点と、前記較正片に設けられたＹ軸方向の基準座標との間のＹ軸方向の距離を演算する第２の演算工程と、
   を含む較正方法。
2. 前記第１の調整工程では、
   前記ライン光源からの光が照射されたスクリーンを前記ラインセンサカメラで撮影し、
   前記ラインセンサカメラで撮影された画像の各画素において輝度が均一になるよう前記ラインセンサカメラの位置及び姿勢を調整する、
   請求項１に記載の較正方法。
3. 前記第１の調整工程では、前記ラインセンサカメラで撮影された画像の全ての画素における輝度の最大値と最小値との差が閾値以下である場合に、前記ラインセンサカメラで撮影された画像の各画素において輝度が均一であると判断する、
   請求項２に記載の較正方法。
4. 前記第１の調整工程では、前記スクリーンをＺ軸方向の異なる２つの位置に配置し、それぞれの位置において前記ラインセンサカメラで撮影された画像の各画素において輝度が均一になるよう前記ラインセンサカメラの位置及び姿勢を調整する、
   請求項２又は３に記載の較正方法。
5. 前記較正片は、基板の長手方向に等間隔に並べられ、光を反射可能な複数のスリットを備えるスリット付き較正片である、
   請求項１に記載の較正方法。
6. 前記第２の調整工程では、
   前記ライン光源からの光が照射された前記較正片を前記ラインセンサカメラで撮影し、
   前記ラインセンサカメラで撮影された画像における前記スリットに対応する輝度のピークの間隔が均一となるよう前記ラインセンサカメラの姿勢を調整する、
   請求項５に記載の較正方法。
7. 前記第１の演算工程では、前記較正片における前記スリットの間隔と、前記ラインセンサカメラにより撮影した画像における前記スリットに対応する輝度のピークの間隔と、前記ラインセンサカメラのレンズの焦点距離とに基づいて、前記ラインセンサカメラと前記較正片との間のＺ軸方向の距離を演算する、
   請求項５に記載の較正方法。
8. 前記スリット付き較正片は、前記基準座標に設けられ、画像上で検出可能なマーキングを備え、
   前記第２の演算工程では、前記ラインセンサカメラの画像から取得される基準座標のマーキングと画像中心との間の距離と、前記ラインセンサカメラと前記較正片とのＺ軸方向の距離と、前記ラインセンサカメラのレンズの焦点距離とに基づいて、前記ラインセンサカメラの画像中心からＺ軸方向に延びる直線と前記較正片とが交わる交点と、前記較正片に設けられたＹ軸方向の基準座標との間のＹ軸方向の距離を演算する、
   請求項５に記載の較正方法。
9. 一対のラインセンサカメラを備えるステレオ計測装置における前記ラインセンサカメラの内部パラメータを較正する較正方法であって、
   前記ラインセンサカメラのレンズからラインセンサを取り外してエリアセンサに置き換える工程と、
   前記エリアセンサで歪みが無い場合の見え方が推定できるパターンを描いたサンプルを撮像し、前記サンプルを撮影した画像に基づいて前記ラインセンサカメラにおけるレンズの焦点距離及びレンズ歪みに関するパラメータを演算する工程と、
   前記レンズから前記エリアセンサを取り外して前記ラインセンサに置き換える工程と、
   を含む較正方法。
   
   

Images