JP6457775B2 - ３次元形状計測装置及び３次元形状計測方法 - Google Patents

Description

本発明は、３次元形状計測装置及び３次元形状計測方法に関する。

従来から３次元物体の３次元形状を計測を行うため、２台以上のカメラ（撮像装置）を用いたステレオ計測法が多く利用されている（例えば、特許文献１参照）。
このステレオ計測法は、カメラの視差を利用して３次元位置を計測する方法である。各々の視点の異なる２台のカメラそれぞれにより画像を撮像し、撮像された画像上で３次元位置を計測したい点の対応点を求める。そして、これら各画像上の対応点及び既知である各カメラの位置関係から三角測量の原理を用い、３次元座標系における３次元物体の３次元位置を算出している。

特開２００１−３３２１１号公報

しかしながら、ステレオ計測法において、２台のカメラの相対位置は固定台に固定されているためずれないが、配置された２台のカメラの各々の撮像方向が移動中の振動や衝撃などによりずれてしまう。
これにより、いずれかあるいは双方のカメラの撮像方向が少しでもずれてしまうと、キャリブレーション時と異なるカメラパラメータとなるため、高い精度で３次元物体の３次元形状の計測が行えなくなる。
また、キャリブレーションが行われるまで、使用しているユーザにはカメラ方向（視線方向）がずれたか否かを確認することができない。そのため、カメラ位置がずれた後、次回のキャリブレーションが行われるまで、低い精度の３次元計測が行われてしまう。

本発明は、このような事情に鑑みてなされたもので、ステレオカメラを構成する２台の撮像装置の相対的な撮像方向がずれた場合でも、２台の撮像装置の各々が撮像した２次元画像である撮像データそれぞれを用いて形成される３次元物体の３次元画像を校正（補正）して所定の精度で３次元計測が行える３次元形状計測装置及び３次元形状計測方法を提供することを目的とする。

この発明は上述した課題を解決するためになされたもので、本発明の３次元形状計測装置は、ステレオカメラにおける第１撮像装置の撮像した第１撮像データ及び第２撮像装置の撮像した第２撮像データから所定の関係式により３次元画像を形成する３次元座標系形成部と、第１撮像装置及び第２撮像装置のいずれか一方のカメラパラメータを、所定の範囲で調整するカメラパラメータ調整部と、第１撮像データ及び第２撮像データから前記３次元画像を形成する前記関係式を、調整された前記カメラパラメータにより補正する関係式変換部と、既知の基準量を有する基準対象物の画像を用い、所定の範囲で調整された前記カメラパラメータから得られた前記３次元画像のなかから、前記基準対象物の基準量と、この基準量に対応する前記基準対象物の３次元画像である画像基準対象物における画像基準量との差分が最小となる３次元画像を抽出する判定部とを備えることを特徴とする。

本発明の３次元形状計測装置は、前記基準対象物として特徴的な部分の基準量の数値が既知である物体を用いることを特徴とする。

本発明の３次元形状計測装置は、前記基準対象物としてカラーバーを用い、当該カラーバーにおいて交互に配列された色の異なる領域のピッチを基準量として用いることを特徴とする。

本発明の３次元形状計測装置は、前記カメラパラメータが撮像装置の撮像方向の輻輳角及び仰角であることを特徴とする。

本発明の３次元形状計測装置は、前記判定部が、前記輻輳角及び仰角のいずれか一方の調整されたカメラパラメータにより補正した関係式により形成された前記３次元画像から、前記画像基準対象物の前記画像基準量と前記基準量との前記差分が最小となる３次元画像を抽出した後、この抽出された３次元画像を形成した関係式の補正に用いたいずれか一方のカメラパラメータを固定し、他方のカメラパラメータを調整して関係式を補正し、前記基準対象物の基準量と、この基準量に対応する前記基準対象物の３次元画像である画像基準対象物における画像基準量との前記差分が最小となる３次元画像を抽出することを特徴とする。

本発明の３次元形状計測装置は、前記画像基準対象物の前記画像基準量と前記基準対象物の前記基準量との前記差分が予め設定した判定閾値を超えている場合、第１撮像装置及び第２撮像装置の各々のキャリブレーションを行うことを促す警告を出力する制御部をさらに有することを特徴とする。

本発明の３次元形状計測方法は、３次元座標系形成部が、ステレオカメラにおける第１撮像装置の撮像した第１撮像データ及び第２撮像装置の撮像した第２撮像データから所定の関係式により３次元画像を形成する３次元画像形成過程と、カメラパラメータ調整部が、第１撮像装置及び第２撮像装置のいずれか一方のカメラパラメータを、所定の範囲で調整するカメラパラメータ調整過程と、関係式変換部が、第１撮像データ及び第２撮像データから前記３次元画像を形成する前記関係式を、調整された前記カメラパラメータにより補正する関係式変換過程と、判定部が、既知の基準量を有する基準対象物の画像を用い、所定の範囲で調整された前記カメラパラメータから得られた前記３次元画像のなかから、前記基準対象物の基準量と、この基準量に対応する前記基準対象物の３次元画像である画像基準対象物における画像基準量との差分が最小となる３次元画像を抽出する判定過程とを含むことを特徴とする。

この発明によれば、ステレオカメラを構成する２台の撮像装置の相対的な撮像方向がずれた場合でも、２台の撮像装置の撮像した撮像データから形成される３次元画像を校正して所定の精度で３次元計測が行える３次元形状計測装置及び３次元形状計測方法を提供することができる。

本発明の一実施形態による３次元形状計測装置の構成例を示す概略ブロック図である。 本実施形態で第１撮像装置２及び第２撮像装置３を備えるステレオ撮像装置の構成例を示す図である。 本実施形態において用いられる基準対象物の一例のカラーバーを説明する図である。 カメラパラメータ制御部１４が行う第１カメラパラメータ及び第２カメラパラメータを制御するルールを説明する図である。 本発明の３次元形状計測装置１による３次元画像の補正処理の動作例を示すフローチャートである。 本発明の３次元形状計測装置１による第１カメラパラメータの設定の処理の動作例を示すフローチャートである。 本発明の３次元形状計測装置１による第２カメラパラメータの設定の処理の動作例を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、本発明の一実施形態による３次元形状計測装置の構成例を示す概略ブロック図である。図１における本発明の実施形態は、制御部１１、撮像制御部１２、３次元座標系形成部１３、カメラパラメータ制御部１４、関係式変換部１５、判定部１６、画像記憶部１７、制御情報記憶部１８及び表示部１９の各々を備えている。本実施形態においては、３次元計測の対象である被撮像体１００を撮像する際、被撮像体１００と共に基準対象物が撮像されるように、撮像データ（後述する第１撮像データ及び第２撮像データ）を撮像する。

そして、基準対象物の有する基準量（既知の数値）、例えば２点間の長さ、面積、角度などを基準として、撮像装置のカメラパラメータの補正を行い、３次元計測を行う被対象物の画像である３次元画像（３次元座標系における３次元物体の画像）の構成を高い精度で行う。基準対象物は、後述するカラーバー、あるいはマンホールの直径及び面積、道路標識の辺の長さ及び面積、電信柱の柱とボルトの成す角度など、既知の数値が基準量として用いることができるもの、あるいは数値が既知であり誰でも容易に基準量が得られる物体であれば何を用いても良い。

また、図１において、被撮像体１００の画像データを撮像する撮像装置として第１撮像装置２及び第２撮像装置３が示されている。第１撮像装置２及び第２撮像装置３の各々は、例えばＣＣＤ（Charge Coupled Device）あるいはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）を撮像センサとして有するデジタルカメラである。

図１において、制御部１１は、３次元形状計測装置１の各部の制御を行う（後述）。
撮像制御部１２は、同期を取って同一タイミングにおいて、第１撮像装置２及び第２撮像装置３の各々に対する撮像制御を行う。また、撮像制御部１２は、第１撮像装置２の撮像した第１撮像データと第２撮像装置３が撮像した第２撮像データとを、それぞれ第１撮像装置２の識別情報及び第２撮像装置３の識別情報を付加して、画像記憶部１７に対して対応付けて書き込んで記憶させる。

３次元座標系形成部１３は、ステレオ法により３次元計測を行う被撮像体のある３次元画像を構成するため、２次元画像である第１撮像データ及び第２撮像データを画像記憶部１７から読み出す。また、３次元座標系形成部１３は、読み出した第１撮像データ及び第２撮像データ各々において対応する各画素間の対応関係と、第１撮像データ及び第２撮像データの各々の２次元座標と３次元座標系（第１撮像データ及第２撮像データから形成される３次元画像の座標系）間の座標の各々を関係付ける関係式とを用い、撮像された２次元画像である第１撮像データ及び第２撮像データの各々の座標に基づいて３次元画像を生成する。

カメラパラメータ制御部１４は、第１撮像装置２及び第２撮像装置３のいずれか一方、例えば本実施形態においては第２撮像装置のカメラパラメータである撮像方向の上へ方向の角度を示す仰角の数値を示す第１カメラパラメータと、第２撮像装置の撮像方向の左右方向の角度を示す輻輳角の数値を示す第２カメラパラメータとを予め設定したルールに従い制御する。このルールについては、後に詳述する。

関係式変換部１５は、カメラパラメータ制御部１４が第１カメラパラメータ及び第２カメラパラメータの数値を変更する毎に、変更した数値に対応するように、上述した関係式を変更する。
判定部１６は、３次元座標系形成部１３が第１撮像データ及び第２撮像データの各々から構成した３次元座標系における基準対象物の３次元画像である画像基準対象物の画像基準量が、基準対象物の基準量に近いかあるいは一致するかの判定を行う。画像基準量は、基準対象物の基準量に対応する、画像基準対象物における物理量を示している。

画像記憶部１７は、第１撮像装置２が撮像した第１撮像データと、第２撮像装置３が撮像した第２撮像データとが、それぞれ第１撮像装置２及び第２撮像装置３の識別情報と組として書き込まれて記憶される。
制御情報記憶部１８は、後述するカメラパラメータ制御部１４の行うパラメータ変更のルールと、第１撮像データ及び第２撮像データ各々において対応する各画素間の対応関係と、第１撮像データ及び第２撮像データ各々の２次元座標と、３次元画像間の各々の座標を関係付ける関係式と、基準対象物の基準量とが予め書き込まれて記憶されている。
表示部１９は、例えば液晶画面を表示画面とする液晶パネルである。

図２は、本実施形態で第１撮像装置２及び第２撮像装置３を備えるステレオ撮像装置の構成例を示す図である。ステレオ撮像装置は、例えばステレオカメラである。
図２において、本実施形態のステレオ撮像装置は、一対の第１撮像装置２及び第２撮像装置３を筐体４に固定して形成されている。第１撮像装置２及び第２撮像装置３との間の距離（視差あるいは基線長）ｄと、第１撮像装置２の撮像方向２１及び第２撮像装置３の撮像方向２２のなす角度（輻輳角）とが一定の値で保持されるように、筐体４に対して機械的に固定されて配置されている。

また、本実施形態においては、カメラキャリブレーションが行われていることを前提としている。カメラパラメータとしては、外部パラメータと内部パラメータとがある。外部パラメータとしては、撮像装置本体の位置の座標変化ｘ軸，ｙ軸，ｚ軸の３つの自由度、カメラの撮像方向の座標変化ｘ軸、ｙ軸、ｚ軸の３つの自由度の６個のパラメータがある。また、内部パラメータとしては、レンズの焦点距離、画像が投影される撮像素子の角度（ｘ軸、ｙ軸及びｚ軸を回転軸とする回転角の３個の自由度）、撮像素子自体のずれ、レンズの歪みの５個のパラメータがある。本実施形態のおいては、外部パラメータにおける撮像装置の撮像方向におけるｘ軸方向のずれ（すなわち輻輳角のずれ）と、ｙ軸方向のずれ（仰角のずれ）とにより関係式の補正を行う。

これは、一般的に、３次元形状計測装置は、第１撮像装置及び第２撮像装置の各々のいずれか一方が最も動きやすいという経験に基づいている。そして、外部パラメータのｘ軸（輻輳角）のずれ及びｙ軸（仰角）のずれに対応させて関係式を修正し、構成される３次元形状を補正する。特に、輻輳角の変化に対しては、ずれがほんのわずかであるとしても、３次元座標系における奥行き方向の距離の測定に大きな誤差を生じさせることになる。上述したように、本実施形態においては、カメラキャリブレーション後の３次元計測の精度を維持させる構成の３次元形状計測装置としている。

図３は、本実施形態において用いられる基準対象物の一例のカラーバーを説明する図である。図３（ａ）は、カラーバー５の構成例を示している。所定の長さ及び太さの棒が所定の距離Ｌをピッチとして赤白に着色された領域が交互に配列されている。領域５０、領域５２、領域５４及び領域５６が白色に着色され、領域５１、領域５３及び領域５５が赤色に着色されている。基準対象物の基準量として、本実施形態は例えば領域５１及び領域５３の各々の中央部分の距離（すなわちピッチの距離Ｌ）を用いている。
図３（ｂ）は第２撮像装置３が撮像した第２撮像データを示している。図３（ｃ）は第１撮像装置２が撮像した第１撮像データを示している。図３（ｂ）及び図３（ｃ）の各々には、カラーバー５の画像（画像対象物）１０５及び画像２０５それぞれが存在している。

図４は、カメラパラメータ制御部１４が行う第１カメラパラメータ及び第２カメラパラメータを制御するルールを説明する図である。以下、第１カメラパラメータ（仰角φ）を例として説明する。図４（ａ）は、φ_０がカメラキャリブレーション時に設定された仰角φの角度であり、φ＝φ_０とする。そして、φ_０−１０Δφ_１≦φ≦φ_０＋１０Δφ_１の調整範囲において第１カメラパラメータをφ_０から±Δφ_１ずつ１０通り、すなわち合計２０通りに変更することを示している。

図４（ｂ）は、図４（ａ）における２０通りの変更した仰角のうち、矢印２００（図４（ａ））が示すφ＝φ_０−２Δφ_１にて補正した関係式により構成された３次元画像における画像基準対象物の画像基準量が、基準対象物の基準量に最も近くなったため、仰角をφ_０−２Δφ_１を中心としている。そして、φ_０−２Δφ_１−１０Δφ_２≦φ≦φ_０−２Δφ_１＋１０Δφ_２の調整範囲において第１カメラパラメータをφ_０−２Δφ_１からΔφ_２ずつ１０通り、すなわち２０通りに変更することを示している。

図４（ｃ）は、図４（ｂ）における２０通りの変更した仰角のうち、矢印２０１（図４（ｂ））が示すφ＝φ_０−２Δφ_１＋３Δφ_２にて補正した関係式により構成された３次元画像における画像基準対象物の画像基準量が、基準対象物の基準量に最も近くなったため、仰角をφ_０−２Δφ_１＋３Δφ_２を中心としている。そして、φ_０−２Δφ_１＋３Δφ_２−１０Δφ_３≦φ≦φ_０−２Δφ_１＋３Δφ_２＋１０Δφ_３の調整範囲において第１カメラパラメータをφ_０−２Δφ_１＋３Δφ_２からΔφ_３ずつ１０通り、すなわち２０通りに変更することを示している。Δφ_１、Δφ_２及びΔφ_３の各々は、単位調整量である。

そして、図４（ｃ）における２０通りの変更した仰角のうち、矢印２０２が示すφ＝φ_０−２Δφ_１＋３Δφ_２＋６Δφ_３にて補正した関係式により構成された画像基準対象物の画像基準量が、基準対象物の基準量に最も近くなった。
このように、所定の単位調整量による関係式を補正するカメラパラメータの最適値の探索が終了した後、調整の分解能を向上させるため、探索が終了した単位調整量に比較してより小さい単位調整量を用いて、再度、関係式を補正するカメラパラメータの最適値を探索する処理を繰り返す。この繰り返しの回数は、３次元画像に対する必要な計測精度によって、適時設定する。ここで、本実施形態においては、φ_１が１０^−２であり、φ_２が１０^−３であり、φ_３が１０^−４である。

上述したように、大きい単位調整量φ_１により第１カメラパラメータである仰角φの調整が終了した後、探索結果において適正値として得られた仰角φの値を中心として、この中心に対して±単位調整量Δφ_１を新たに所定の範囲とする。そして、単位調整量Δφ_１を所定の数に分割（本実施形態においては１０分割）し、より小さい単位調整量Δφ_２を生成し、この単位調整量Δφ_２によりこの分解能における最適値の探索を行う。

また、第１カメラパラメータが上述したルールにおいて、画像基準対象物の画像基準量が、基準対象物の基準量に最も近くなった関係式の補正に用いた仰角φを用い、第２カメラパラメータである輻輳角θの調整を、上述した仰角φと同様の手順で行い、再度関係式の補正を行う。
そして、最も画像基準対象物の画像基準量が、基準対象物の基準量に近くなった３次元画像を構成した関係式の補正に用いた輻輳角θを抽出する。
これにより、既知である基準対象物の基準量を用い、第１カメラパラメータ及び第２カメラパラメータの各々を調整し、関係式により第１撮像データ及び第２撮像データのおのおのから構成される３次元画像である被撮像体１００の寸法の測定における測定精度を向上させる。

図５は、本発明の３次元形状計測装置１による３次元座標系の補正処理の動作例を示すフローチャートである。第１撮像装置２及び第２撮像装置３のいずれのカメラパラメータを変更して関係式を補正しても良いが、本実施形態においては、第２撮像装置３のカメラパラメータを変更する。
ステップＳ１：
制御部１１は、ユーザの入力する撮像指示に対応し、撮像制御部１２に対して撮像を指示する制御信号を出力する。
これにより、撮像制御部１２は、第１撮像装置２及び第２撮像装置３の各々に対して、同期させて同一タイミングにて撮像信号を出力する。

第１撮像装置２及び第２撮像装置３の各々は、被撮像体１００を撮像し、それぞれ２次元画像の第１撮像データ、第２撮像データを生成する。
撮像制御部１２は、第１撮像装置２及び第２撮像装置３の各々から、それぞれ第１撮像データ、第２撮像データを読み出す。
そして、撮像制御部１２は、読み出した第１撮像データと第２撮像データとの各々を、それぞれに第１撮像装置２、第２撮像装置３の識別情報を付加し、画像記憶装置１７に書き込んで記憶させる。

ステップＳ２：
制御部１１は、画像記憶部１７から第１撮像データと第２撮像データとを読み出し、図３（ｂ）、図３（ｃ）に示すように表示部１９の表示画面に画像表示する。
ユーザは、表示画面に表示された図３（ｂ）、図３（ｃ）の画像において、図示しない入力手段（例えば、マウスやキーボードなど）により基準対象物を選択し、この基準対象物における基準量を設定する。本実施形態の場合、基準対象物はカラーバー５であり、基準量が長さである。したがって、図３（ｂ）、図３（ｃ）の画像において、それぞれ画像１０５、画像２０５を基準対象物としてマウスなどのポインティングデバイスなどで選択する。そして、画像１０５及び画像２０５の各々において、寸法が既知となる距離を設定できる２点をそれぞれ選択する。

ステップＳ３：
ユーザの基準対象物と基準量との設定が終了すると、制御部１１は、３次元座標系形成部１３に対して３次元画像（被撮像体１００の画像及び画像基準対象物の画像なども含む）の構成を指示する制御信号を出力する。
３次元座標系形成部１３は、画像記憶部１７から第１撮像データ及び第２撮像データの各々を読み出し、制御情報記憶部１８から関係式とを読み出す。
そして、３次元座標系形成部１３は、関係式により２次元画像である第１撮像データ及び第２撮像データから、３次元画像を構成する。

ステップＳ４：
判定部１６は、制御情報記憶部１８から基準対象物の基準量を読み出す。また、判定部１６は、３次元座標系形成部１３の構成した３次元画像において、画像基準対象物の基準量を抽出する。ここで、画像基準対象物は、図３（ｂ）、図３（ｃ）の画像において選択された画像１０５及び画像２０５の各々から構成されたものである。基準量は、寸法が既知となる距離を設定できる２点間の距離である。

そして、判定部１６は、基準量と画像基準量との差分を算出し、この差分の絶対値が予め設定された調整閾値未満であるか否かの判定を行う。この調整閾値は３次元計測の精度に合わせて適時設定される。
このとき、判定部１６は、基準量と画像基準量との差分の絶対値が調整閾値未満である場合、カメラキャリブレーションの後にカメラパラメータにずれが生じておらず３次元計測の精度が保てるため補正の処理を終了する。一方、判定部１６は、基準量と画像基準量との差分の絶対値が調整閾値以上である場合、処理をステップＳ５へ進める。

ステップＳ５：
カメラパラメータ制御部１４が第２カメラパラメータをカメラキャリブレーション時の数値に固定した状態で、第１カメラパラメータを調整し、関係式変換部１５が調整された第１カメラパラメータにより関係式を補正し、３次元座標系形成部１３が補正された関係式を用いて３次元画像を構成する。
そして、判定部１６が画像基準対象物の画像基準量が、基準対象物の基準量に最も近くなる３次元画像となった３次元座標系を抽出し、この３次元画像を構成した際に用いた関係式を選択する（この処理については後述する）。これにより、関係式を補正するための第１カメラパラメータの最適値が得られる。

ステップＳ６：
カメラパラメータ制御部１４は、第１カメラパラメータを最適値に固定した状態で、第２カメラパラメータを調整し、関係式変換部１５が調整された第２カメラパラメータにより、ステップＳ５で選択された関係式（第１補正関係式）を補正する。そして、３次元座標系形成部１３は、補正された第１補正関係式を用いて、２次元画像の第１撮像データ及び第２撮像データの各々から３次元画像を構成する。
そして、判定部１６は、画像基準対象物の画像基準量が、基準対象物の基準量に最も近くなる画像基準対象物を有する３次元画像となった３次元座標系を抽出する。そして、判定部１６は、抽出された３次元画像を構成した際に用いた第１補正関係式を第２補正関係式として選択する（この処理については後述する）。これにより、最適値である第１カメラパラメータに加え、関係式を補正するための第２カメラパラメータの最適値が得られる。

ステップＳ７：
判定部１６は、第１カメラパラメータ及び第２カメラパラメータの調整量の絶対値を、それぞれ判定閾値と比較する。そして、判定部１６は、調整量の絶対値が判定閾値以上である場合、カメラキャリブレーションが必要であるとして、処理をステップＳ９へ進める。
一方、判定部１６は、調整量の絶対値が判定閾値未満の場合、カメラキャリブレーションが必要でないとして、処理をステップＳ８へ進める。
ここで、判定閾値は、図４（ａ）に示すように、矢印３０１及び矢印３０２の各々で指し示した±７Δφ_１として設定されている。この絶対値｜±７Δφ_１｜＝７Δφ_１が判定閾値である。この判定閾値は、適時任意に第１撮像装置２及び第２撮像装置３の各々の設置状態などの条件に対応して設定される。

ステップＳ８：
制御部１１は、判定部１６の判定結果を受けて、カメラキャリブレーションの必要がないことを表示部１９の表示画面に表示する。
その後、表示部１９の表示画面に第２補正関係式により、２次元画像の第１撮像データ及び第２撮像データの各々から構成された３次元画像を表示部１９の表示画面に表示する。
また、制御部１１は、第２補正関係式を用いて２次元画像の第１撮像データ及び第２撮像データの各々から構成した３次元画像を表示する。そして、制御部１１は、ユーザに対して表示した３次元画像に対する３次元計測の開始を促す表示を行う。

この後、ユーザは入力手段により３次元画像の２点間を選択する。これにより、制御部１１は、選択された２点間の距離を測定して、測定値を数値情報として表示部１９の表示画面に表示する。
また、ユーザは入力手段により複数の点を選択すると、制御部１１は、選択された複数の点を線で結び、線分内の面積を計算して、計算値を数値情報として表示部１９の表示画面に表示する。

ステップＳ９：
制御部１１は、判定部１６の判定結果を受けて、カメラキャリブレーションが必要であることを表示部１９の表示画面に表示する。
その後、表示部１９の表示画面に第２補正関係式で構成された３次元画像を表示部１９の表示画面に表示する。
また、制御部１１は、第２補正関係式により構成した３次元画像を表示し、ユーザに対して３次元計測の開始を促す表示を行う。

この後、ユーザは入力手段により３次元画像の２点間を選択する。これにより、制御部１１は、ユーザにより入力手段を介して選択された３次元画像の２点間の距離を測定して、測定値を数値情報として表示部１９の表示画面に表示する。
また、ユーザは入力手段により複数の点を選択すると、制御部１１は、選択された複数の点を線で結び、線分内の面積を計算して、計算値を数値情報として表示部１９の表示画面に表示する。

図６は、本発明の３次元形状計測装置１による第１カメラパラメータの設定の処理の動作例を示すフローチャートである。以下の第１カメラパラメータの最適値を抽出する処理は、第２カメラパラメータをカメラキャリブレーション時の数値に固定した状態で行う。
ステップＳ１１：
カメラパラメータ制御部１４は、制御情報記憶部１８から第１カメラパラメータの調整を示すルールを読み出す。このルールは、図４で説明した第１カメラパラメータの仰角φの各調整範囲及び調整範囲毎の単位調整量（Δφ_１、Δφ_２、Δφ_３）である。
カメラパラメータ制御部１４は、調整範囲において、例えば図４（ａ）のφ_０−１０Δφ_１≦φ≦φ_０＋１０Δφ_１において調整を開始する仰角φの初期値を設定する。一例としては、カメラパラメータ制御部１４は、φ_０−１０Δφ_１を初期値とする。

ステップＳ１２：
カメラパラメータ制御部１４は、設定された仰角φが調整範囲内の数値であるか否か、すなわち仰角φがφ_０−１０Δφ_１≦φ≦φ_０＋１０Δφ_１であるか否かの判定を行う。
このとき、カメラパラメータ制御部１４は、設定された仰角φが調整範囲内の数値である場合、第１カメラパラメータの変更の処理が終了していないとして、処理をステップＳ１３へ進める。一方、カメラパラメータ制御部１４は、設定された仰角φが調整範囲内に含まれる数値でない場合、第１カメラパラメータの変更の処理が終了したとして、処理をステップＳ１７へ進める。

ステップＳ１３：
関係式変換部１５は、現在の仰角φに基づき、第１撮像データ及び第２撮像データ各々において対応する各画素間の対応関係と、第１撮像データ及び第２撮像データの２次元座標及び３次元画像の各々の座標を関係付ける関係式とを補正する。そして、関係式変換部１５は、制御情報記憶部１８に対して、このときの第１カメラパラメータ及び第２カメラパラメータの数値の組と、関係式とを対応させて書き込んで記憶させる。このとき、関係式変換部１５は、関係式を補正したことを制御部１１に対して通知する。
そして、制御部１１は、カメラパラメータ制御部１４から関係式を補正したことを示す通知が供給されると、３次元座標系形成部１３に対し、補正した関係式により第１撮像データ及び第２撮像データ各々から３次元画像を生成することを指示する制御信号を出力するとともに、関係式を供給する。

ステップＳ１４：
３次元座標系形成部１３は、画像記憶部１７から第１撮像データ及び第２撮像データの各々を読み出し、読み出された第１撮像データ及び第２撮像データを用い、上記対応関係及び供給された関係式により３次元画像を生成する。
そして、３次元座標系形成部１３は、３次元画像を生成した関係式に対応させ、制御情報記憶部１８に対して書き込んで記憶させる。

ステップＳ１５：
制御部１１は、３次元座標系形成部１３の生成した３次元画像において、画像基準対象物の画像基準量を測定する。
そして、制御部１１は、測定した画像基準量と基準対象物の基準量との差分値の絶対値を求めて、３次元画像を生成した関係式に対応させ、制御情報記憶部１８に対して書き込んで記憶させる。

ステップＳ１６：
カメラパラメータ制御部１４は、現在の仰角φに対して単位調整量Δφ１を加算し、新たな第１カメラパラメータとし、処理をステップＳ１２へ進める。

ステップＳ１７：
判定部１６は、制御記憶部１８に記憶されている差分値のなかで最も小さい数値（最小値）を検索し、その差分値に対応する第１カメラパラメータである仰角φを最適値として抽出する。

上述した処理を図４で説明したように、３次元計測の精度に合わせて、調整範囲と単位調整量とを変更して、すなわち徐々に小さくしていき、画像基準対象物の画像基準量を基準対象物の基準量となるように仰角φを調整する。

図７は、本発明の３次元形状計測装置１による第２カメラパラメータの設定の処理の動作例を示すフローチャートである。以下の処理において、第１カメラパラメータは、図６のフローチャートの処理で最適値となった仰角φに固定されている。以下、図４における仰角φを輻輳角θに置き換えて説明する。
ステップＳ２１：
カメラパラメータ制御部１４は、制御情報記憶部１８から第２カメラパラメータの調整を示すルールを読み出す。このルールは、図４で説明した第１カメラパラメータの仰角φの場合と同様に、輻輳角θの各調整範囲及び調整範囲毎の単位調整量（Δθ_１、Δθ_２、Δθ_３）である。
カメラパラメータ制御部１４は、調整範囲において、例えば、図４（ａ）に示しように、θ_０−１０θ_１≦θ≦θ_０＋１０Δθ_１において調整を開始する輻輳角θの初期値を設定する。一例としては、カメラパラメータ制御部１４は、θ_０−１０Δθ_１を初期値とする。

ステップＳ２２：
カメラパラメータ制御部１４は、設定された仰角φが調整範囲内の数値であるか否か、すなわち輻輳角θがθ_０−１０Δθ_１≦θ≦θ_０＋１０Δθ_１であるか否かの判定を行う。
このとき、カメラパラメータ制御部１４は、設定された輻輳角θが調整範囲内の数値である場合、第２カメラパラメータの変更が終了していないとして、処理をステップＳ１３へ進める。一方、カメラパラメータ制御部１４は、設定された輻輳角θが調整範囲内に含まれる数値でない場合、第２カメラパラメータの変更が終了したとして、処理をステップＳ２７へ進める。

ステップＳ２３：
関係式変換部１５は、現在の輻輳角θに基づき、第１撮像データ及び第２撮像データの各々において対応する各画素間の対応関係と、第１撮像データ及び第２撮像データの２次元座標及び３次元画像の各々の座標を関係付ける関係式とを補正する。そして、関係式変換部１５は、制御情報記憶部１８に対して、このときの第１カメラパラメータ及び第２カメラパラメータの数値の組と、関係式とを対応させて書き込んで記憶させる。このとき、関係式変換部１５は、関係式を補正したことを制御部１１に対して通知する。
そして、制御部１１は、カメラパラメータ制御部１４から関係式を補正したことを示す通知が供給されると、３次元座標系形成部１３に対し、上記対応関係及び補正した関係式により３次元画像を生成することを指示する制御信号を出力するとともに、関係式を供給する。

ステップＳ２４：
３次元座標系形成部１３は、画像記憶部１７から第１撮像データ及び第２撮像データの各々を読み出し、供給された関係式を用いて読み出された第１撮像データ及び第２撮像データと上記対応関係及び供給された関係式とにより、３次元画像を生成する。
そして、３次元座標系形成部１３は、３次元画像を生成した関係式に対応させ、制御情報記憶部１８に対して書き込んで記憶させる。

ステップＳ２５：
制御部１１は、３次元座標系形成部１３の生成した３次元画像において、画像基準対象物の画像基準量を測定する。
そして、制御部１１は、測定した画像基準量と基準対象物の基準量との差分値の絶対値を求めて、３次元画像を生成した関係式に対応させ、制御情報記憶部１８に対して書き込んで記憶させる。

ステップＳ２６：
カメラパラメータ制御部１４は、現在の輻輳角θに対して単位調整量Δθ１を加算し、新たな第２カメラパラメータとし、処理をステップＳ２２へ進める。

ステップＳ２７：
判定部１６は、制御記憶部１８に記憶されている差分値のなかで最も小さい数値を検索し、その差分値に対応する第２カメラパラメータである輻輳角θを最適値として抽出する。

上述した処理を図４で説明したように、３次元計測の精度に合わせて、調整範囲と単位調整量とを変更して、すなわち徐々に小さくしていき、画像基準対象物の画像基準量を基準対象物の基準量となるように輻輳角θを調整する。本実施形態においては、仰角φの適正値を求めた後に輻輳角θの適正値を求めているが、輻輳角θの適正値を求めた後に仰角φの適正値を求めるように構成しても良い。

図５及び図６の各々のフローチャートで求められた最適値の仰角φ及び輻輳角θが関係式の補正に用いられる第１カメラパラメータ及び第２カメラパラメータとして用いられる。
再生される３次元画像において、画像基準対象物の画像基準量が基準対象物の基準量と同様の数値となることにより、第１撮像データ及び第２撮像データを用いて関係式により求められる３次元画像の寸法が実際の撮像対象である被撮像体１００の寸法と等しく再現されていることが判る。

本実施形態において、基準対象物を利用者が選択して基準量を調整するとして説明したが、予め基準調整物の形状を設定しておき、画像認識で撮像した画像から基準対象物を抽出するように構成しても良い。
例えば、図３（ａ）に示すカラーバー５を基準対象物として設定しておき、基準量としても白領域と赤領域とのピッチの寸法を既知の数値を設定しておき、制御部１１を以下の処理を行うように構成する。

そして、制御部１１は、再現した３次元画像から、赤色及び白色の領域が順番に繰り返された直線上の形状であり、かつ赤色及び白色の領域のピッチの寸法が基準量に近い形状の画像として、カラーバー５の画像を抽出する。
そして、制御部１１は、すでに本実施形態で説明したように、第１撮像装置２あるいは第２撮像装置３のいずれかのカメラパラメータを調整し、関係式を補正して、関係式により形成される３次元画像の校正を行う。

上述したように、本実施形態によれば、ステレオ計測法において、筐体４に固定された第１撮像装置２及び第２撮像装置３の各々の撮像方向が移動中の振動や衝撃などにより、カメラキャリブレーションした状態からずれても、形成される３次元画像における画像基準対象物の基準量が基準対象物の基準量と一致するようにカメラパラメータを調整することにより 生成される３次元画像を容易に校正することができ、従来に比較して高い精度で３次元物体の３次元形状の計測が行える。

また、本実施形態によれば、キャリブレーションを行わなくとも、カメラパラメータの調整を行う際に、カメラキャリブレーションした際のカメラパラメータからどの程度ずれているかが明確に判る。そのため、本実施形態によれば、カメラキャリブレーションを行った後にカメラパラメータがいつずれたか、あるいはカメラキャリブレーションを行う必要な程度を撮像装置の撮像方向がずれたか否かの判定を行うことができる。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。したがって、本発明の範囲は、特許請求の範囲及びその均等範囲によってのみ規定されるものである。

また、図１の示す３次元形状計測装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより３次元画像の校正の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイルであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…３次元形状計測装置
２…第１撮像装置
３…第２撮像装置
４…筐体
５…カラーバー
１１…制御部
１２…撮像制御部
１３…３次元座標系形成部
１４…カメラパラメータ制御部
１５…関係式変換部
１６…判定部
１７…画像記憶部
１８…制御情報記憶部
１９…表示部
１００…被撮像体

Claims (7)

1. ステレオカメラにおける第１撮像装置の撮像した第１撮像データ及び第２撮像装置の撮像した第２撮像データから所定の関係式により３次元画像を形成する３次元座標系形成部と、
   第１撮像装置及び第２撮像装置のいずれか一方のカメラパラメータを、所定の範囲で調整するカメラパラメータ調整部と、
   第１撮像データ及び第２撮像データから前記３次元画像を形成する前記関係式を、調整された前記カメラパラメータにより補正する関係式変換部と、
   既知の基準量を有する基準対象物の画像を用い、所定の範囲で調整された前記カメラパラメータから得られた前記３次元画像のなかから、前記基準対象物の基準量と、この基準量に対応する前記基準対象物の３次元画像である画像基準対象物における画像基準量との差分が最小となる３次元画像を抽出する判定部と
   を備えることを特徴とする３次元形状計測装置。
2. 前記基準対象物として特徴的な部分の基準量の数値が既知である物体を用いる
   ことを特徴とする請求項１に記載の３次元形状計測装置。
3. 前記基準対象物としてカラーバーを用い、当該カラーバーにおいて交互に配列された色の異なる領域のピッチを基準量として用いる
   ことを特徴とする請求項２に記載の３次元形状計測装置。
4. 前記カメラパラメータが撮像装置の撮像方向の輻輳角及び仰角である
   ことを特徴とする請求項１から３のいずれか一項に記載の３次元形状計測装置。
5. 前記判定部が、前記輻輳角及び仰角のいずれか一方の調整されたカメラパラメータにより補正した関係式により形成された前記３次元画像から、前記画像基準対象物の前記画像基準量と前記基準量との前記差分が最小となる３次元画像を抽出した後、この抽出された３次元画像を形成した関係式の補正に用いたいずれか一方のカメラパラメータを固定し、他方のカメラパラメータを調整して関係式を補正し、前記基準対象物の基準量と、この基準量に対応する前記基準対象物の３次元画像である画像基準対象物における画像基準量との前記差分が最小となる３次元画像を抽出する
   ことを特徴とする請求項４に記載の３次元形状計測装置。
6. 前記画像基準対象物の前記画像基準量と前記基準対象物の前記基準量との前記差分が予め設定した判定閾値を超えている場合、第１撮像装置及び第２撮像装置の各々のキャリブレーションを行うことを促す警告を出力する制御部をさらに有する
   ことを特徴とする請求項１から請求項５のいずれか一項に記載の３次元形状計測装置。
7. ３次元座標系形成部が、ステレオカメラにおける第１撮像装置の撮像した第１撮像データ及び第２撮像装置の撮像した第２撮像データから所定の関係式により３次元画像を形成する３次元画像形成過程と、
   カメラパラメータ調整部が、第１撮像装置及び第２撮像装置のいずれか一方のカメラパラメータを、所定の範囲で調整するカメラパラメータ調整過程と、
   関係式変換部が、第１撮像データ及び第２撮像データから前記３次元画像を形成する前記関係式を、調整された前記カメラパラメータにより補正する関係式変換過程と、
   判定部が、既知の基準量を有する基準対象物の画像を用い、所定の範囲で調整された前記カメラパラメータから得られた前記３次元画像のなかから、前記基準対象物の基準量と、この基準量に対応する前記基準対象物の３次元画像である画像基準対象物における画像基準量との差分が最小となる３次元画像を抽出する判定過程と
   を含むことを特徴とする３次元形状計測方法。

Images