JP6717759B2 - 計測装置および計測装置の作動方法 - Google Patents

Description

本発明は、計測装置および計測装置の作動方法に関する。

エンジン、タービン、および化学プラントなどの内部の傷および腐食の外観検査を非破壊で行うために工業用内視鏡が広く用いられている。傷および腐食のような不具合が発見された際、その程度に応じて対策方法を切り替える必要がある。そのため、傷および腐食の大きさを測定する計測機能を備えている工業用内視鏡がある。

例えば、特許文献１に示すように、計測内視鏡装置は、視差のある２個の光学系を備える。計測内視鏡装置は、それぞれの光学系により得られる光学像を同時に撮像する。計測内視鏡装置は、生成された２つの画像を用いて、ステレオ計測の原理に基づいて被写体の３次元座標および被写体の大きさを算出する。

特許文献２で示されるステレオ計測装置は、２つの異なる光路（第１の光路および第２の光路とよぶ）を通った光が形成する被写体の２つの像を撮像素子の共通の領域に結像させる光学系を備える。また、ステレオ計測装置は、２つの光路のうちのいずれか一方を通った光のみが形成する被写体像を撮像するように光路を切り替える光路切り替え手段を備える。

特許文献２のステレオ計測装置を用いて被写体の計測を行う場合、第１の光路を通った光が形成する第１の被写体像に基づく撮像により画像（第１の画像とよぶ）が生成される。続いて、光路が切り替えられ、かつ第２の光路を通った光が形成する第２の被写体像に基づく撮像により画像（第２の画像とよぶ）が生成される。第１の画像および第２の画像が有する視差に基づき、ステレオ計測の原理を用いて被写体の形状が計測される。

特許文献１の計測内視鏡装置では、２つの光路を通った光が形成する２つの被写体像は撮像素子の異なる領域に結像される。これに対して、特許文献２のステレオ計測装置では、２つの光路を通った光が形成する２つの被写体像は撮像素子の共通の領域に結像される。このため、特許文献２のステレオ計測装置では、撮像面積を大きくすることができ、かつ撮像画質を向上させることができる。

一方、特許文献２の手法では、第１の画像と第２の画像とを撮像する間に内視鏡が動くことにより、ステレオ計測のパラメータ（基線長など）に誤差が生じる。そのため、被写体の形状を正確に計測できない。これを解決する手法が特許文献３に開示されている。

特許文献３の内視鏡装置は、第１の画像と第２の画像とを交互に撮影する。２つの第１の画像間または２つの第２の画像間の位置ずれ量が所定のしきい値を下回るとき、内視鏡装置は装置のぶれがないと判断し、かつ計測処理を行う。

特開２００４−４９６３８号公報 特開２０１０−１２８３５４号公報 特開２０１６−１４８９６号公報

特許文献３の内視鏡装置が計測を行う環境において、内視鏡のぶれが十分に小さく、かつ所望の計測精度を得るために必要なしきい値を下回ることが一定頻度で発生する場合には、内視鏡装置は所望の精度で計測を行うことができる。しかしながら実際には、ぶれ量がしきい値を下回りにくいため、内視鏡装置が計測を行うことができない場合が発生しやすい。

本発明は、所望の精度で計測を行うことができる計測装置および計測装置の作動方法を提供することを目的とする。

本発明は、第１の対物光学系と、前記第１の対物光学系に対して視差を有するように配置された第２の対物光学系と、前記第１の対物光学系を介して第１の被写体像を第１の撮像タイミングで撮像し、前記第２の対物光学系を介して第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像し、前記第１の被写体像に基づく第１の画像を生成し、かつ前記第２の被写体像に基づく第２の画像を生成する撮像部と、前記撮像部が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成する仮想画像生成部と、前記第２の画像および前記仮想画像に基づいて被写体の形状を計測する計測処理部と、を有することを特徴とする計測装置である。

本発明の計測装置において、前記撮像部は、互いに異なる複数の前記第１の撮像タイミングで前記第１の被写体像を撮像し、かつ複数の前記第１の画像を生成し、前記仮想画像生成部は、前記複数の前記第１の画像間の位置ずれ量を算出する画像位置ずれ算出部を有し、かつ算出された前記位置ずれ量に基づいて前記仮想画像を生成することを特徴とする。

本発明の計測装置において、前記仮想画像生成部はさらに、算出された前記位置ずれ量に基づいて、前記撮像部が前記第１の被写体像を前記第２の撮像タイミングで撮像するときの撮像位置を推定する位置推定部と、推定された前記撮像位置に基づいて、補正対象である前記第１の画像に対する補正パラメータを算出する補正パラメータ算出部と、算出された前記補正パラメータを用いて前記補正対象である前記第１の画像を補正することにより前記仮想画像を生成する画像補正部と、を有することを特徴とする。

本発明の計測装置において、前記位置ずれ量の算出対象である前記第１の画像は、前記複数の前記第１の画像の全部または一部であることを特徴とする。

本発明の計測装置において、前記位置ずれ量の算出対象である前記第１の画像は、前記第２の撮像タイミングの直前の前記第１の撮像タイミングで撮像された前記第１の被写体像に基づく前記第１の画像と、前記第２の撮像タイミングの直後の前記第１の撮像タイミングで撮像された前記第１の被写体像に基づく前記第１の画像との少なくとも一方を含むことを特徴とする。

本発明の計測装置は、前記第１の画像を記憶するメモリをさらに有し、前記仮想画像生成部はさらに、算出された前記位置ずれ量に基づいて、前記撮像部が前記第１の被写体像を前記第２の撮像タイミングで撮像するときの撮像位置を推定する位置推定部と、推定された前記撮像位置に基づいて、読み出し対象である前記第１の画像を前記メモリから読み出すときの読み出し位置を算出する読み出し位置算出部と、算出された前記読み出し位置に基づいて、前記読み出し対象である前記第１の画像を前記メモリから読み出す制御を行う読み出し制御部と、を有することを特徴とする。

本発明の計測装置は、前記仮想画像が生成される前に、前記位置ずれ量に基づいて、計測が可能であるか否かを判定する計測可否判定部をさらに有し、前記計測可否判定部によって前記計測が可能であると判定された場合に、前記仮想画像生成部は前記仮想画像を生成することを特徴とする。

本発明の計測装置において、前記計測可否判定部は、前記位置ずれ量に基づく前記撮像部の並進移動量と、前記位置ずれ量に基づく前記撮像部の移動の直進性を示す値と、前記位置ずれ量の変化量との少なくとも１つに基づいて、前記計測が可能であるか否かを判定することを特徴とする。

本発明は、第１の対物光学系と、前記第１の対物光学系に対して視差を有するように配置された第２の対物光学系と、撮像部と、を有する計測装置の作動方法であって、前記撮像部によって、前記第１の対物光学系を介して第１の被写体像を第１の撮像タイミングで撮像し、かつ前記第１の被写体像に基づく第１の画像を生成する第１のステップと、前記撮像部によって、前記第２の対物光学系を介して第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像し、かつ前記第２の被写体像に基づく第２の画像を生成する第２のステップと、前記撮像部が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成する第３のステップと、前記第２の画像および前記仮想画像に基づいて被写体の形状を計測する第４のステップと、を有することを特徴とする計測装置の作動方法である。

本発明によれば、仮想画像生成部は、撮像部が第１の被写体像を第２の撮像タイミングで撮像したと仮定した場合に得られる、第１の被写体像に基づく仮想画像を生成する。計測処理部は、第２の画像および仮想画像に基づいて被写体の形状を計測する。これにより、計測装置は所望の精度で計測を行うことができる。

本発明の第１の実施形態の計測装置の構成を示すブロック図である。 本発明の第１の実施形態の計測装置が有する仮想画像生成部の構成を示すブロック図である。 本発明の第１の実施形態における被写体形状計測処理の手順を示すフローチャートである。 本発明の第１の実施形態における位置ずれ算出処理の手順を示すフローチャートである。 本発明の第１の実施形態における位置ずれ算出処理に用いる画像を示す参考図である。 本発明の第１の実施形態における座標系を示す参考図である。 本発明の第１の実施形態におけるスコープの軌跡を示す参考図である。 本発明の第１の実施形態における仮想画像の生成処理を説明するための参考図である。 本発明の第１の実施形態における計測処理を説明するための参考図である。 本発明の第１の実施形態における撮像シーケンスを示すタイミングチャートである。 本発明の第１の実施形態の第１の変形例の計測装置が有する仮想画像生成部の構成を示すブロック図である。 本発明の第２の実施形態の計測装置の構成を示すブロック図である。 本発明の第２の実施形態における被写体形状計測処理の手順を示すフローチャートである。 本発明の第２の実施形態における計測可否判定処理の手順を示すフローチャートである。 本発明の第２の実施形態におけるスコープの挙動の例を示すグラフである。 本発明の第２の実施形態におけるスコープの挙動の例を示すグラフである。 本発明の第２の実施形態における撮像シーケンスを示すタイミングチャートである。 本発明の第２の実施形態の第１の変形例における撮像シーケンスを示すタイミングチャートである。 本発明の第２の実施形態の第２の変形例における撮像シーケンスを示すタイミングチャートである。

以下、図面を参照し、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の計測装置１０の構成を示す。例えば、計測装置１０は、計測対象の物体の内部に挿入される挿入部を含む内視鏡装置である。図１に示すように、計測装置１０は、第１の対物光学系１００、第２の対物光学系１０１、光路切替部１０２、結像光学系１０３、撮像素子１０４（撮像部）、コントローラ１０５、制御部１０６、フレームメモリ１０７（メモリ）、仮想画像生成部１０８、および計測処理部１０９を有する。

例えば、第１の対物光学系１００および第２の対物光学系１０１は、凹レンズと凸レンズとを組み合わせた対物レンズを有する。第２の対物光学系１０１は、第１の対物光学系１００に対して視差を有するように配置されている。つまり、第１の対物光学系１００および第２の対物光学系１０１は、視差方向に離間している。視差方向は、第１の対物光学系１００の光学中心（主点）と第２の対物光学系１０１の光学中心（主点）とを通る直線の方向である。第１の対物光学系１００に入射した光は第１の光路を通る。第２の対物光学系１０１に入射した光は第１の光路と異なる第２の光路を通る。第１の対物光学系１００は第１の被写体像を形成し、かつ第２の対物光学系１０１は第２の被写体像を形成する。

光路切替部１０２は、第１の被写体像および第２の被写体像のうちのいずれか１つのみが撮像素子１０４に結像されるように、第１の光路と第２の光路との間で光路を切り替える。光路切替部１０２が第１の光路の光を透過させるとき、第２の光路の光は遮蔽される。光路切替部１０２が第２の光路の光を透過させるとき、第１の光路の光は遮蔽される。光路切替部１０２による光路の切替動作は、制御部１０６からの制御信号によって制御される。結像光学系１０３は、第１の光路を通った光と第２の光路を通った光とのいずれか１つに基づく被写体像を撮像素子１０４の表面に結像させる。

撮像素子１０４は、第１の対物光学系１００を介して第１の被写体像を第１の撮像タイミングで撮像する。撮像素子１０４は、第２の対物光学系１０１を介して第２の被写体像を第１の撮像タイミングと異なる第２の撮像タイミングで撮像する。撮像素子１０４は、第１の被写体像に基づく第１の画像を生成する。撮像素子１０４は、第２の被写体像に基づく第２の画像を生成する。撮像素子１０４は、互いに異なる複数の第１の撮像タイミングで第１の被写体像を撮像し、かつ複数の第１の画像を生成する。第１の対物光学系１００、第２の対物光学系１０１、光路切替部１０２、結像光学系１０３、および撮像素子１０４は、スコープ１１０を構成する。例えば、内視鏡装置においてスコープ１１０は挿入部に配置される。

コントローラ１０５は、ユーザによって操作される操作部である。コントローラ１０５は、「撮影開始」、「計測開始」、「撮影停止」、および「計測結果の取得」などの指示をユーザから受け付ける。コントローラ１０５は、ユーザから受け付けた指示に応じたコマンドを制御部１０６に出力する。

コントローラ１０５からのコマンドは制御部１０６に入力される。制御部１０６は、後述する各部の状態に応じて、コマンドに対応する制御信号を各部に送り、かつ被写体形状の計測のための一連の処理シーケンスを制御する。フレームメモリ１０７は、撮像素子１０４によって生成された第１の画像および第２の画像を記憶する。

仮想画像生成部１０８および計測処理部１０９は、演算装置である。仮想画像生成部１０８は、撮像素子１０４が第１の被写体像を第２の撮像タイミングで撮像したと仮定した場合に得られる、第１の被写体像に基づく仮想画像を生成する。計測処理部１０９は、第２の画像および仮想画像に基づいて被写体の形状を計測する。

図２は、仮想画像生成部１０８の構成を示す。図２に示すように、仮想画像生成部１０８は、画像位置ずれ算出部１０８０、位置推定部１０８１、補正パラメータ算出部１０８２、および画像補正部１０８３を有する。

画像位置ずれ算出部１０８０は、複数の第１の画像間の位置ずれ量を算出する。これにより、仮想画像生成部１０８は、算出された位置ずれ量に基づいて仮想画像を生成することができる。位置推定部１０８１は、算出された位置ずれ量に基づいて、撮像素子１０４が第１の被写体像を第２の撮像タイミングで撮像するときの撮像位置（撮像素子１０４の位置）を推定する。補正パラメータ算出部１０８２は、推定された撮像位置に基づいて、補正対象である第１の画像に対する補正パラメータを算出する。画像補正部１０８３は、算出された補正パラメータを用いて補正対象である第１の画像を補正することにより仮想画像を生成する。

本発明の各実施形態において、第１の画像を取得するための撮像位置を第１の画像の撮像位置とよぶ。また、第２の画像を取得するための撮像位置を第２の画像の撮像位置とよぶ。

図３は、第１の実施形態における被写体形状計測処理の手順を示す。図３を用いて被写体形状計測処理の詳細を説明する。

被写体形状計測処理が開始された後、光路切替部１０２は、光路を第１の光路に設定する。これにより、第１の対物光学系１００を通った光に基づく第１の被写体像が撮像素子１０４の表面に結像される。撮像素子１０４は、第１の被写体像を撮像し、かつ第１の被写体像に基づく第１の画像を生成する。第１の被写体像が撮像されたタイミングが第１のタイミングである。撮像素子１０４によって生成された第１の画像はフレームメモリ１０７に記憶される（ステップＳ１０１）。

ステップＳ１０１の後、制御部１０６は、ステップＳ１０１における第１の画像の取得回数が所定回数に達したか否かを判定する（ステップＳ１０２）。所定回数は、１以上の整数である。ステップＳ１０２において、第１の画像の取得回数が所定回数よりも少ない場合、ステップＳ１０１における処理が再度行われる。つまり、第１の画像の取得回数が所定回数に達するまで、第１の画像の取得が行われる。

ステップＳ１０２において、第１の画像の取得回数が所定回数に達した場合、光路切替部１０２は、光路を第２の光路に設定する。これにより、第２の対物光学系１０１を通った光に基づく第２の被写体像が撮像素子１０４の表面に結像される。撮像素子１０４は、第２の被写体像を撮像し、かつ第２の被写体像に基づく第２の画像を生成する。第２の被写体像が撮像されたタイミングが第２のタイミングである。撮像素子１０４によって生成された第２の画像はフレームメモリ１０７に記憶される（ステップＳ１０３）。

ステップＳ１０３の後、ステップＳ１０１における処理と同様の処理が行われる。つまり、第１の画像の取得が行われる（ステップＳ１０４）。

ステップＳ１０４の後、制御部１０６は、ステップＳ１０４における第１の画像の取得回数が所定回数に達したか否かを判定する（ステップＳ１０５）。所定回数は、１以上の整数である。ステップＳ１０５において、第１の画像の取得回数が所定回数よりも少ない場合、ステップＳ１０４における処理が再度行われる。つまり、第１の画像の取得回数が所定回数に達するまで、第１の画像の取得が行われる。

ステップＳ１０５において、第１の画像の取得回数が所定回数に達した場合、画像位置ずれ算出部１０８０は、複数の第１の画像間の位置ずれ量を算出する（ステップＳ１０６）。位置ずれ量の算出対象である第１の画像は、ステップＳ１０１およびステップＳ１０４における処理により生成された複数の第１の画像の全部または一部である。例えば、ステップＳ１０１およびステップＳ１０４の各々における処理が１回ずつ行われた場合、位置ずれ量の算出対象である第１の画像は、ステップＳ１０１およびステップＳ１０４における処理により生成された２枚の第１の画像である。

例えば、位置ずれ量の算出対象である第１の画像は、第２の撮像タイミングの直前の第１の撮像タイミングで撮像された第１の被写体像に基づく第１の画像と、第２の撮像タイミングの直後の第１の撮像タイミングで撮像された第１の被写体像に基づく第１の画像との少なくとも一方を含む。第２の撮像タイミングの直前の第１の撮像タイミングは、第２の撮像タイミングよりも前の第１の撮像タイミングのうち第２の撮像タイミングに最も近い第１の撮像タイミングである。第２の撮像タイミングの直後の第１の撮像タイミングは、第２の撮像タイミングよりも後の第１の撮像タイミングのうち第２の撮像タイミングに最も近い第１の撮像タイミングである。例えば、位置ずれ量の算出対象である第１の画像は、ステップＳ１０１における処理により生成された少なくとも１枚の第１の画像と、ステップＳ１０４における処理により生成された少なくとも１枚の第１の画像とを含む。

被写体形状計測処理は、ステップＳ１０１およびステップＳ１０２における処理を含まなくてもよい。その場合、位置ずれ量の算出対象である第１の画像は、ステップＳ１０４における処理により生成された少なくとも２枚の第１の画像を含む。

被写体形状計測処理は、ステップＳ１０４およびステップＳ１０５における処理を含まなくてもよい。その場合、位置ずれ量の算出対象である第１の画像は、ステップＳ１０１における処理により生成された少なくとも２枚の第１の画像を含む。

ステップＳ１０６の後、位置推定部１０８１は、ステップＳ１０６において算出された位置ずれ量に基づいて、撮像素子１０４が第１の被写体像を第２の撮像タイミングで撮像するときの撮像位置を推定する（ステップＳ１０７）。第１の画像と第２の画像とは、互いに異なる撮像タイミングにおける撮像により生成されるため、第２の撮像タイミングでは第１の画像は生成されていない。ステップＳ１０７において、位置推定部１０８１は、撮像素子１０４が第１の被写体像を第２の撮像タイミングで撮像すると仮定した場合の撮像位置を推定する。

ステップＳ１０７の後、補正パラメータ算出部１０８２は、ステップＳ１０７において推定された撮像位置に基づいて、補正対象である第１の画像に対する補正パラメータを算出する（ステップＳ１０８）。

ステップＳ１０８の後、画像補正部１０８３は、ステップＳ１０８において算出された補正パラメータを用いて補正対象である第１の画像を補正することにより仮想画像を生成する。生成された仮想画像は、必要に応じてフレームメモリ１０７に記憶され、かつ計測処理部１０９に出力される（ステップＳ１０９）。

ステップＳ１０９の後、計測処理部１０９は、第２の画像および仮想画像に基づいて被写体の形状を計測し、かつ計測結果を制御部１０６に出力する（ステップＳ１１０）。計測処理部１０９は、第２の画像が取得された第２の撮像タイミングと同一の撮像タイミングで得られると想定される仮想画像を用いることにより、所望の精度で被写体の形状を計測することができる。ステップＳ１１０における処理が行われることにより、被写体形状計測処理が終了する。

図４は、ステップＳ１０６における位置ずれ算出処理の手順を示す。図４を用いて位置ずれ算出処理の詳細を説明する。

位置ずれ量の算出対象である２枚の第１の画像が画像位置ずれ算出部１０８０に入力される。画像位置ずれ算出部１０８０は、入力された２枚の第１の画像を用いて、領域毎のテンプレートマッチングを行う（ステップＳ２０１）。

図５を用いて、ステップＳ２０１における処理の詳細を説明する。時間的により先に生成された第１の画像が基準画像５００（図５（ａ））であり、かつ時間的により後に生成された第１の画像が位置合わせ画像５０１である（図５（ｂ））。時間的により後に生成された第１の画像が基準画像５００であり、かつ時間的により先に生成された第１の画像が位置合わせ画像５０１であってもよい。

基準画像５００には一定間隔でテンプレート領域５０２が配置される。画像位置ずれ算出部１０８０は、位置合わせ画像５０１において、テンプレート領域５０２内の画像と一致する領域を探索する。位置合わせ画像５０１において基準画像５００のテンプレート領域５０２の位置を中心とする一定範囲のマッチング探索範囲５０３が設定される。画像位置ずれ算出部１０８０は、このマッチング探索範囲５０３の位置ずれ画像５０１とテンプレート領域５０２の基準画像５００との一致度が最も高くなるマッチング探索範囲５０３内のマッチング位置５０４を算出する。この一致度を示す指標として、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）， ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）、およびＺＮＣＣ（Ｚｅｒｏ ｍｅａｎｓ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）などの公知の指標を用いることができる。

ステップＳ２０１において画像位置ずれ算出部１０８０は、位置ずれ画像５０１におけるマッチング位置５０４と基準画像５００の各テンプレート領域５０２の位置との位置ずれを各テンプレート領域５０２の移動ベクトルとして算出する。テンプレートマッチング処理では、対応点が一意に求められる手がかりがある場合、信頼度の高い移動ベクトルを算出することができる。しかし、位置合わせの手がかりがない低コントラスト領域および繰り返しパターン領域などにおいて、移動ベクトルの信頼性は低い。ステップＳ２０１の後、画像位置ずれ算出部１０８０は、各テンプレート領域５０２の移動ベクトルの信頼性を判定する（ステップＳ２０２）。

移動ベクトルの信頼度の判定方法として、例えば特許第５７４４６１４号公報に開示されている手法のような既知の手法を用いることができる。例えば、図５（ｂ）における移動ベクトル５０５の信頼度は高く、かつ移動ベクトル５０６の信頼度は低い。ステップＳ２０２の後、画像位置ずれ算出部１０８０は、ステップＳ２０１において算出された移動ベクトルのうちステップＳ２０２において算出された信頼度が高い移動ベクトルの平均を計算することによりグローバルベクトルを算出する（ステップＳ２０３）。このとき、画像位置ずれ算出部１０８０は、画像中央部の領域の移動ベクトルのみからグローバルベクトルを算出してもよい。あるいは、画像位置ずれ算出部１０８０は、信頼度の値を重みとして、重み付き平均を算出することによってグローバルベクトルを算出してもよい。グローバルベクトルの大きさは２枚の第１の画像間の位置ずれ量を示し、かつグローバルベクトルの方向は２枚の第１の画像間の位置ずれの方向を示す。ステップＳ２０３における処理が行われることにより、位置ずれ算出処理が終了する。

ステップＳ１０７における位置推定処理およびステップＳ１０８における補正パラメータの算出処理の詳細を、図６および図７を用いて説明する。

スコープ１１０を基準とするＸ，Ｙ，Ｚ座標系は、図６に示すように定義される。つまり、Ｚ方向はスコープ１１０の正面方向すなわち撮像素子１０４の撮像方向である。Ｘ方向およびＹ方向はＺ方向に垂直である。図７は、スコープ１１０のＸＹ平面内の軌跡を示す。第１の画像の撮像位置を（ｘ_ｊ，ｙ_ｊ）（ｉ＝０，１，・・・，ｎ）と定義したとき、位置推定部１０８１は、第２の画像が生成される第２の撮像タイミングにおける第１の画像の仮想的な撮像位置を自由曲線補間によって算出する。以下では、３次スプライン補間を用いる場合について説明する。媒介変数ｔ（０≦ｔ≦ｎ）を用いることにより、自由曲線は式（１）で与えられる。式（１）におけるａ_ｊ、ｂ_ｊ、ｃ_ｊ、およびｄ_ｊは係数である。
Ｓ_ｊ（ｔ）＝［ｘ（ｔ） ｙ（ｔ）］
＝ａ_ｊ＋ｂ_ｊ（ｔ−ｔ_ｊ）＋ｃ_ｊ（ｔ−ｔ_ｊ）^２＋ｄ_ｊ（ｔ−ｔ_ｊ）^３ ・・・（１）

通過する点は連続することを条件として、式（２）および式（３）が得られる。
Ｓ_ｊ（ｔ＝ｊ）＝Ｐ_ｊ＝［ｘ_ｊ ｙ_ｊ］ ・・・（２）
Ｓ_ｊ（ｔ＝ｊ＋１）＝Ｓ_ｊ＋１（ｊ＋１）＝Ｐ_ｊ＋１＝［ｘ_ｊ＋１ ｙ_ｊ＋１］ ・・・（３）

区間の傾き（１次微分）とその変化の割合（２次微分）とが連続することを条件として、式（４）および式（５）が得られる。
Ｓ_ｊ’（ｔ＝ｊ＋１）＝Ｓ_ｊ＋１’（ｊ＋１） ・・・（４）
Ｓ_ｊ’’（ｔ＝ｊ＋１）＝Ｓ_ｊ＋１’’（ｊ＋１） ・・・（５）

端点の２次微分は０であることを条件として、式（６）が得られる。
Ｓ_ｊ’’（０）＝Ｓ_ｊ＋１’’（ｎ）＝０ ・・・（６）

これらを係数ａ_ｊ、ｂ_ｊ、およびｄ_ｊで解くことにより、式（７）、式（８）、および式（９）が得られる。

係数ｃ_ｊは、式（１０）に示す連立方程式を解くことにより得られる。

以上の計算により、位置推定部１０８１は、係数ａ_ｊ、ｂ_ｊ、ｃ_ｊ、およびｄ_ｊを算出することができ、かつ自由曲線Ｓ_ｊ（ｔ）を得ることができる。

位置推定部１０８１は、Ｓ_ｊ（ｔ＝ｊ）を算出することにより、第１の撮像タイミングにおける第１の画像の撮像位置を算出する。また、位置推定部１０８１は、Ｓ_ｊ（ｔ＝ｊ＋０．５）を算出することにより、第２の撮像タイミングにおける第１の画像の撮像位置を算出する。算出された撮像位置（Ｓ_ｊ（ｔ＝ｊ＋０．５））は、第２の撮像タイミングにおける第１の画像の仮想的な撮像位置である。位置推定部１０８１は、ステップＳ１０７において上記の処理を行う。

補正パラメータ算出部１０８２は、ステップＳ１０８において、第１の撮像タイミングにおける第１の画像の撮像位置と、第２の撮像タイミングにおける第１の画像の撮像位置との差を算出する。これにより、補正パラメータ算出部１０８２は、式（１１）に示すように補正パラメータＶ_ｊを算出する。
Ｖ_ｊ＝Ｓ_ｊ（ｔ＝ｊ＋０．５）−Ｓ_ｊ（ｔ＝ｊ）
＝［ｘ（ｊ＋０．５） ｙ（ｊ＋０．５）］−［ｘ（ｔ） ｙ（ｔ）］ ・・・（１１）

実際の現象を厳密に表現するためには、スコープ１１０のＺ軸方向の動き、Ｘ軸、Ｙ軸、およびＺ軸回りの回転なども考慮する必要がある。微小時間におけるスコープ１１０の動きは、Ｘ軸およびＹ軸方向の動きが支配的である。スコープ１１０のＸ軸およびＹ軸方向の動きと画像上の縦および横方向の動きとは相似の関係にあると考えることができる。Ｐ_ｊの値として、ステップＳ２０１からＳ２０３における処理により算出されたグローバルベクトルを用いることにより、補正パラメータ算出部１０８２は、画像上の補正量として補正パラメータをＶ_ｊを算出することができる。

ここでは３次スプライン曲線を例に説明したが、Ｂスプライン、Ｎ次スプライン、およびベジエ曲線などの任意の自由曲線を用いた場合も同様の効果を得ることができる。

ステップＳ１０９における仮想画像の生成処理の詳細を、図８を用いて説明する。画像補正部１０８３は、第１の撮像タイミングにおける撮像により得られた第１の画像８００の各画素の座標を補正パラメータＶ_ｊに基づいてずらすことにより、第１の画像８００を補正する。これにより、画像補正部１０８３は、仮想画像８０１を生成する。仮想画像８０１において、第１の画像８００と重ならない領域８０２のデータは、黒データのような所定のデータであってもよい。あるいは、領域８０２のデータは、第１の画像８００および仮想画像８０１の共通の領域８０３のデータから補間されてもよい。

ステップＳ１１０における計測処理の詳細を、図９を用いて説明する。計測対象である被写体の位置は（Ｘ，Ｙ，Ｚ）である。図９において、第２の撮像タイミングにおける第２の対物光学系１０１の光学中心を原点とするＸＹＺ座標系と、その第２の撮像タイミングにおける第１の対物光学系１００の光学中心を原点とするＸ’Ｙ’Ｚ’座標系とが示されている。被写体の位置は、ＸＹＺ座標系の座標として示されている。第２の画像９００の中心を原点とするＵＶ座標系における被写体の位置９０２は（ｕ，ｖ）であり、かつ仮想画像９０１の中心を原点とするＵ’Ｖ’座標系における被写体の位置９０３は（ｕ’，ｖ’）である。計測処理部１０９は、第２の画像９００および仮想画像９０１を用いてステレオ計測を行う。

視差ｄは式（１２）により与えられる。
ｄ＝ｕ−ｕ’ ・・・（１２）

計測処理部１０９は、通常のステレオ計測と同様に式（１３）、式（１４）、および式（１５）を用いて、任意の計測点の被写体座標を求めることができる。各式において、ｂは基線長、すなわち第１の対物光学系１００の光学中心と第２の対物光学系１０１の光学中心との距離である。δは、撮像素子１０４の画素ピッチである。

図１０は、第１の実施形態における撮像シーケンスを示す。図１０において、撮像素子１０４が第１の画像を取得するための第１の撮像タイミングと、撮像素子１０４が第２の画像を取得するための第２の撮像タイミングとが示されている。図１０における横方向は時間を示す。第２の画像が取得される前後に、時間Ｔ１の間隔で第１の画像が取得される。第１の撮像タイミングと第２の撮像タイミングとの差はＴ２である。第２の撮像タイミングの直前の第１の撮像タイミングと、第２の撮像タイミングの直後の第１の撮像タイミングとの差はＴ３である。

画像位置ずれ算出部１０８０は、第２の撮像タイミングの直前に取得された第１の画像１０００と、第２の撮像タイミングの直後に取得された第１の画像１００１とに基づいて、位置ずれ量を算出する。位置推定部１０８１は、第１の画像１０００が取得された第１の撮像タイミングにおける第１の画像の撮像位置と、第２の画像１００２が取得された第２の撮像タイミングにおける第１の画像の撮像位置とを算出する。補正パラメータ算出部１０８２は、これらの撮像位置の差を算出することにより、補正パラメータを算出する。画像補正部１０８３は、補正パラメータに基づいて第１の画像１０００を補正することにより、仮想画像１００３を生成する。画像補正部１０８３は、補正パラメータに基づいて第１の画像１００１を補正することにより、仮想画像１００３を生成してもよい。

第１の実施形態において、仮想画像生成部１０８は、撮像素子１０４が第１の被写体像を第２の撮像タイミングで撮像したと仮定した場合に得られる、第１の被写体像に基づく仮想画像を生成する。計測処理部１０９は、第２の画像および仮想画像に基づいて被写体の形状を計測する。これにより、計測装置１０は所望の精度で計測を行うことができる。

画像を取得するシーケンスにおいてスコープ１１０のぶれが発生した場合、計測装置１０は、スコープ１１０の動きを推定し、かつその動きに基づいて第１の画像を補正する。これにより、計測装置１０は、計測精度を確保することができる。スコープ１１０のぶれが発生した場合であっても、第１の撮像タイミングで取得された第１の画像と第２の撮像タイミングで取得された第２の画像とを用いて計測を行う場合と比較して、計測精度が向上しやすい。

（第１の実施形態の第１の変形例）
図１１は、第１の実施形態の第１の変形例の計測装置１０における仮想画像生成部１０８ａの構成を示す。図１１に示す構成について、図２に示す構成と異なる点を説明する。

仮想画像生成部１０８ａは、画像位置ずれ算出部１０８０、位置推定部１０８１、読み出し位置算出部１０８４、および読み出し制御部１０８５を有する。画像位置ずれ算出部１０８０は、図２に示す画像位置ずれ算出部１０８０と同一である。位置推定部１０８１は、図２に示す位置推定部１０８１と同一である。読み出し位置算出部１０８４は、位置推定部１０８１によって推定された撮像位置に基づいて、読み出し対象である第１の画像をフレームメモリ１０７から読み出すときの読み出し位置を算出する。読み出し制御部１０８５は、算出された読み出し位置に基づいて、読み出し対象である第１の画像を仮想画像としてフレームメモリ１０７から読み出す制御を行う。

上記以外の点について、図１１に示す構成は、図２に示す構成と同様である。

第１の実施形態の第１の変形例における被写体形状計測処理は、以下の点を除いて、図３に示す被写体形状計測処理と同様である。ステップＳ１０９において、読み出し位置算出部１０８４は、補正パラメータ算出部１０８２が行う処理と同様の処理により、第１の画像の読み出し位置を補正するための補正パラメータを算出する。読み出し位置算出部１０８４は、補正パラメータに基づいて、第１の画像の読み出し位置をシフトさせた新たな読み出し位置を算出する。これにより、フレームメモリ１０７における第１の画像の読み出し位置が、補正パラメータに相当する量だけ基準位置に対してシフトする。基準位置は、位置ずれ量の算出のために第１の画像がフレームメモリ１０７から読み出されるときの読み出し位置である。読み出し位置算出部１０８４は、算出された読み出し位置を出力する。ステップＳ１０９において、読み出し制御部１０８５は、フレームメモリ１０７において基準位置に対してシフトした位置から第１の画像を読み出す制御を行う。フレームメモリ１０７から読み出された第１の画像は仮想画像を構成する。

第１の実施形態の第１の変形例においても、計測装置１０は所望の精度で計測を行うことができる。

（第２の実施形態）
第１の実施形態においては、スコープ１１０の動きに起因する画像の位置ずれを補償することにより、スコープ１１０の動きがある場合においても計測が可能となる。第２の実施形態では、スコープ１１０の動きを推定した結果に応じて計測処理の実行制御が行われる。

図１２は、本発明の第２の実施形態の計測装置１１の構成を示す。図１２に示す構成について、図１に示す構成と異なる点を説明する。

計測装置１１は、図１に示す計測装置１０の構成に加えて計測可否判定部１１１を有する。計測可否判定部１１１は、仮想画像が生成される前に、位置ずれ量に基づいて、計測が可能であるか否かを判定する。計測可否判定部１１１は、位置ずれ量に基づく撮像素子１０４の並進移動量と、位置ずれ量に基づく撮像素子１０４の移動の直進性を示す値と、位置ずれ量の変化量との少なくとも１つに基づいて、計測が可能であるか否かを判定する。計測可否判定部１１１によって計測が可能であると判定された場合に、仮想画像生成部１０８は仮想画像を生成する。

上記以外の点について、図１２に示す構成は、図１に示す構成と同様である。

図１３は、第２の実施形態における被写体形状計測処理の手順を示す。図１３を用いて被写体形状計測処理の詳細を説明する。

被写体形状計測処理が開始された後、光路切替部１０２は、光路を第１の光路に設定する。これにより、第１の対物光学系１００を通った光に基づく第１の被写体像が撮像素子１０４の表面に結像される。撮像素子１０４は、第１の被写体像を撮像し、かつ第１の被写体像に基づく第１の画像を生成する。第１の被写体像が撮像されたタイミングが第１のタイミングである。撮像素子１０４によって生成された第１の画像はフレームメモリ１０７に記憶される（ステップＳ３０１）。

ステップＳ３０１の後、撮像素子１０４は、第１の被写体像を再度撮像し、かつ第１の被写体像に基づく第１の画像を生成する。撮像素子１０４によって生成された第１の画像はフレームメモリ１０７に記憶される（ステップＳ３０２）。つまり、ステップＳ３０１およびステップＳ３０２において撮像素子１０４は、第１の被写体像を連続的に撮像し、かつ２枚の第１の画像を生成する。

ステップＳ３０２の後、画像位置ずれ算出部１０８０は、ステップＳ３０１およびステップＳ３０２において生成された２枚の第１の画像間の位置ずれ量を算出する（ステップＳ３０３）。ステップＳ３０３における処理の詳細は、図４に示す処理と同様である。

ステップＳ３０３の後、撮像素子１０４は、第１の被写体像を再度撮像し、かつ第１の被写体像に基づく第１の画像を生成する。撮像素子１０４によって生成された第１の画像はフレームメモリ１０７に記憶される（ステップＳ３０４）。

ステップＳ３０４の後、画像位置ずれ算出部１０８０は、２枚の第１の画像間の位置ずれ量を算出する（ステップＳ３０５）。ステップＳ３０５における１回目の処理が行われるとき、ステップＳ３０５において使用される第１の画像は、ステップＳ３０２およびステップＳ３０４において生成された２枚の第１の画像である。ステップＳ３０５における１回目よりも後の処理が行われるとき、ステップＳ３０５において使用される第１の画像は、ステップＳ３０４における処理が繰り返されることにより生成された２枚の第１の画像である。ステップＳ３０５における処理の詳細は、図４に示す処理と同様である。

ステップＳ３０５の後、計測可否判定部１１１は、位置ずれ量に基づいて、計測が可能であるか否かを判定する（ステップＳ３０６）。ステップＳ３０６における１回目の処理が行われるとき、ステップＳ３０６において使用される位置ずれ量は、ステップＳ３０３およびステップＳ３０５において算出された２つの位置ずれ量である。ステップＳ３０６における１回目よりも後の処理が行われるとき、ステップＳ３０６において使用される位置ずれ量は、ステップＳ３０５における処理が繰り返されることにより算出された２つの位置ずれ量である。

ステップＳ３０６において計測が不可能であると判定される場合、ステップＳ３０４における処理が行われる。計測が不可能である場合、第１の画像の取得（ステップＳ３０４）、位置ずれ算出処理（ステップＳ３０５）、および計測可否判定処理（ステップＳ３０６）が繰り返される。

ステップＳ３０６において計測が可能であると判定される場合、光路切替部１０２は、光路を第２の光路に設定する。これにより、第２の対物光学系１０１を通った光に基づく第２の被写体像が撮像素子１０４の表面に結像される。撮像素子１０４は、第２の被写体像を撮像し、かつ第２の被写体像に基づく第２の画像を生成する。撮像素子１０４によって生成された第２の画像はフレームメモリ１０７に記憶される（ステップＳ３０７）。

ステップＳ３０７の後、ステップＳ３０１における処理と同様の処理が行われる。つまり、第１の画像の取得が行われる（ステップＳ３０８）。

ステップＳ３０８の後、ステップＳ３０９、ステップＳ３１０、ステップＳ３１１、ステップＳ３１２、およびステップＳ３１３における処理が順次行われる。ステップＳ３０９からステップＳ３１３における処理は、図３のステップＳ１０６からステップＳ１１０における処理と同様である。ステップＳ３０９において使用される第１の画像は、ステップＳ３０４およびステップＳ３０８において生成された２枚の第１の画像である。ステップＳ３１０において使用される位置ずれ量は、ステップＳ３０９において算出された位置ずれ量である。ステップＳ３１３における処理が行われることにより、被写体形状計測処理が終了する。

図１４は、ステップＳ３０６における計測可否判定処理の手順を示す。図１４を用いて計測可否判定処理の詳細を説明する。

計測可否判定処理が開始された後、計測可否判定部１１１は、スコープ１１０の直進性の指標値を算出する（ステップＳ４０１）。この指標値は、撮像素子１０４の移動の直進性を示す。具体的には、計測可否判定部１１１は、複数の位置ずれ量を比較し、かつそのベクトル方向の変化の度合いを定量化する。これにより、計測可否判定部１１１は、式（１６）で与えられるスコープ１１０の直進性の指標値ｆ_ｓを算出する。

式（１６）において、Ｖ_ｔは、画像位置ずれ算出部１０８０によって算出された位置ずれ量である。位置ずれ量Ｖ_１は、ステップＳ３０３において算出される。位置ずれ量Ｖ_２，Ｖ_３，・・・，Ｖ_Ｔは、ステップＳ３０５において算出される。計測可否判定処理が行われるタイミングの直近に算出された２つの位置ずれ量がステップＳ４０１において使用される。

ステップＳ４０１の後、計測可否判定部１１１は、位置ずれ量の変化の指標値（位置ずれ量の変化量）を算出する（ステップＳ４０２）。具体的には、計測可否判定部１１１は、位置ずれ量の大きさの変化の度合いを定量化することにより、式（１７）で与えられる、位置ずれ量の変化の指標値ｆ_ｄを算出する。
ｆ_ｄ＝｜Ｖ_ｔ｜−｜Ｖ_ｔ−１｜，ｔ＝１，２，３，・・・，Ｔ ・・・（１７）

上記の指標値ｆ_ｓおよび指標値ｆ_ｄを用いることにより、図６に示すスコープ１１０の座標系におけるスコープ１１０の挙動を表現することができる。図１５は、スコープ１１０の各種挙動の例を示す。図１５（ａ）、図１５（ｂ）、および図１５（ｃ）において、スコープ１１０の軌道がグラフで示されている。各グラフの横軸はＸ座標を示し、かつ各グラフの縦軸はＹ座標を示す。各グラフにおいて、第１の画像および第２の画像の撮像位置が示されている。

スコープ１１０が直線的かつ等速的に移動する場合、スコープ１１０の挙動は、図１５（ａ）に示す軌道１５００で示される。この場合、連続する２回の撮像における各撮像位置１５０１の間隔は、ほぼ等しい。スコープ１１０が直線的に移動しない場合、スコープ１１０の挙動は、図１５（ｂ）に示す軌道１５０２で示される。この場合、連続する２回の撮像における各撮像位置１５０３の間隔は、必ずしも等しくない。スコープ１１０が直線的かつ非等速的に移動する場合、スコープ１１０の挙動は、図１５（ｃ）に示す軌道１５０４で示される。この場合、連続する２回の撮像における各撮像位置１５０５の間隔は、必ずしも等しくない。

ステップＳ４０２の後、計測可否判定部１１１は、スコープ１１０の並進移動量を所定のしきい値と比較することにより、スコープ１１０の並進移動量が所定のしきい値よりも小さいか否かを判定する（ステップＳ４０３）。スコープ１１０の並進移動量は、計測可否判定処理が行われるタイミングの直近に算出された位置ずれ量Ｖ_ｔである。つまり、ステップＳ３０５において画像位置ずれ算出部１０８０は、スコープ１１０の並進移動量を算出する。ステップＳ４０３における判定は、スコープ１１０のぶれが少なくなるタイミングを抽出することを目的に行われる。

ステップＳ４０３においてスコープ１１０の並進移動量が所定のしきい値以上である場合、計測可否判定部１１１は、計測が不可能であることを示す判定結果を出力する（ステップＳ４０７）。ステップＳ４０７における処理が行われることにより、計測可否判定処理が終了する。ステップＳ４０７の後、ステップＳ３０４における処理が行われる。

ステップＳ４０３においてスコープ１１０の並進移動量が所定のしきい値よりも小さい場合、計測可否判定部１１１は、スコープ１１０の直進性の指標値ｆ_ｓを所定のしきい値と比較することにより、スコープ１１０の直進性の指標値ｆ_ｓが所定のしきい値よりも大きいか否かを判定する（ステップＳ４０４）。ステップＳ４０４における判定は、スコープ１１０が直線的に動く場合を許容し、かつスコープ１１０の移動方向が急激に変わる場合を排除することを目的に行われる。

ステップＳ４０４においてスコープ１１０の直進性の指標値ｆ_ｓが所定のしきい値以下である場合、ステップＳ４０７における処理が行われる。ステップＳ４０４においてスコープ１１０の直進性の指標値ｆ_ｓが所定のしきい値よりも大きい場合、計測可否判定部１１１は、位置ずれ量の変化の指標値ｆ_ｄを所定のしきい値と比較することにより、位置ずれ量の変化の指標値ｆ_ｄが所定のしきい値よりも小さいか否かを判定する（ステップＳ４０５）。ステップＳ４０５における判定は、スコープ１１０が等速的に移動する場合を許容し、かつスコープ１１０が加速度的に加速または減速する場合を排除することを目的に行われる。

ステップＳ４０５において位置ずれ量の変化の指標値ｆ_ｄが所定のしきい値以上である場合、ステップＳ４０７における処理が行われる。ステップＳ４０５において位置ずれ量の変化の指標値ｆ_ｄが所定のしきい値よりも小さい場合、計測可否判定部１１１は、計測が可能であることを示す判定結果を出力する（ステップＳ４０６）。ステップＳ４０６における処理が行われることにより、計測可否判定処理が終了する。ステップＳ４０６の後、ステップＳ３０７における処理が行われる。

ステップＳ４０３、ステップＳ４０４、およびステップＳ４０５の各々における処理に用いるしきい値は同一である必要はない。ステップＳ４０１およびステップＳ４０２の少なくとも１つは、計測可否判定部１１１とは異なる算出部により行われてもよい。ステップＳ４０３、ステップＳ４０４、およびステップＳ４０５における処理の順番は、図１４に示す順番に限らない。

図１６は、スコープ１１０の各種挙動の例を示す。図１６（ａ）、図１６（ｂ）、図１６（ｃ）、および図１６（ｄ）において、スコープ１１０の軌道がグラフで示されている。各グラフの横軸はＸ座標を示し、かつ各グラフの縦軸はＹ座標を示す。各グラフにおいて、第１の画像および第２の画像の各々の撮像位置が示されている。

図１６（ａ）に示す軌道１６００において、スコープ１１０は直線的かつ等速的に移動する。撮像位置１６０１および撮像位置１６０３における撮像により第１の画像が生成される。撮像位置１６０２における撮像により第２の画像が生成される。第１の画像の撮像位置１６０１と第１の画像の撮像位置１６０３との間隔は大きい。つまり、スコープ１１０のぶれは大きい。

図１６（ｂ）に示す軌道１６０４において、スコープ１１０は直線的に移動しない。撮像位置１６０５および撮像位置１６０７における撮像により第１の画像が生成される。撮像位置１６０６における撮像により第２の画像が生成される。撮像位置１６０５および撮像位置１６０７に基づいて、第２の画像の撮像位置１６０６に対応する第１の画像の撮像位置１６０８が算出される。第１の画像の撮像位置１６０８は、第２の画像の撮像位置１６０６と大きく異なる。

図１６（ｃ）に示す軌道１６０９において、スコープ１１０は直線的かつ非等速的に移動する。撮像位置１６１０、撮像位置１６１１、および撮像位置１６１３における撮像により第１の画像が生成される。撮像位置１６１２における撮像により第２の画像が生成される。第１の画像の撮像位置１６１１と第１の画像の撮像位置１６１３との間隔は小さい。つまり、スコープ１１０のぶれは小さい。スコープ１１０の速度が急激に変化するため、第１の画像の撮像位置１６１１と第２の画像の撮像位置１６１２との間隔と、第２の画像の撮像位置１６１２と第１の画像の撮像位置１６１３との間隔は異なる。

図１６（ｄ）に示す軌道１６１４において、スコープ１１０は直線的かつ等速的に移動する。撮像位置１６１５および撮像位置１６１７における撮像により第１の画像が生成される。撮像位置１６１６における撮像により第２の画像が生成される。第１の画像の撮像位置１６１５と第１の画像の撮像位置１６１７との間隔は小さい。つまり、スコープ１１０のぶれは小さい。

計測可否判定部１１１が並進移動量の判定（ステップＳ４０３）を行うことにより、スコープ１１０のぶれが大きい場合（図１６（ａ））が排除される。計測可否判定部１１１がスコープ１１０の直進性の判定（ステップＳ４０４）を行うことにより、スコープ１１０の移動方向が変わる場合（図１６（ｂ））が排除される。計測可否判定部１１１が位置ずれ量の変化量の判定（ステップＳ４０５）を行うことにより、スコープ１１０の速度が急激に変化する場合（図１６（ｃ））が排除される。図１４に示す処理では、スコープ１１０のぶれが少なく、スコープ１１０の移動が直進的であり、かつスコープ１１０の動きが小さくかつ一定である場合（図１６（ｄ））に計測処理が実行される。これにより、スコープ１１０の動きに起因する画像の位置ずれの補償精度が向上する。

図１７は、第２の実施形態における撮像シーケンスを示す。図１７において、撮像素子１０４が第１の画像を取得するための第１の撮像タイミングと、撮像素子１０４が第２の画像を取得するための第２の撮像タイミングとが示されている。図１７における横方向は時間を示す。第２の画像が取得される前後に、時間Ｔ４の間隔で第１の画像が取得される。第１の撮像タイミングと第２の撮像タイミングとの差はＴ５である。第２の撮像タイミングの直前の第１の撮像タイミングと、第２の撮像タイミングの直後の第１の撮像タイミングとの差はＴ６である。

画像位置ずれ算出部１０８０は、第２の撮像タイミングの直前に取得された第１の画像１７００と、第２の撮像タイミングの直後に取得された第１の画像１７０１とに基づいて、位置ずれ量を算出する。位置推定部１０８１は、第１の画像１７００が取得された第１の撮像タイミングにおける第１の画像の撮像位置と、第２の画像１７０２が取得された第２の撮像タイミングにおける第１の画像の撮像位置とを算出する。補正パラメータ算出部１０８２は、これらの撮像位置の差を算出することにより、補正パラメータを算出する。画像補正部１０８３は、補正パラメータに基づいて第１の画像１７００を補正することにより、仮想画像１７０３を生成する。画像補正部１０８３は、補正パラメータに基づいて第１の画像１７０１を補正することにより、仮想画像１７０３を生成してもよい。

第２の実施形態において、計測可否判定部１１１によって計測が可能であると判定された場合に仮想画像の生成および計測処理が行われる。このため、計測精度が向上する。また、スコープ１１０が完全に静止していない状態であっても計測装置１１は計測処理を実行することができる。このため、計測装置１１は、計測精度を保つことができ、かつ計測処理の実行頻度を高めることができる。

（第２の実施形態の第１の変形例）
図１８は、第２の実施形態の第１の変形例における撮像シーケンスを示す。図１８において、撮像素子１０４が第１の画像を取得するための第１の撮像タイミングと、撮像素子１０４が第２の画像を取得するための第２の撮像タイミングとが示されている。図１８における横方向は時間を示す。図１７に示す撮像シーケンスでは、第２の画像の取得の前後に第１の画像が連続的に取得される。これに対して、図１８に示す撮像シーケンスでは、第１の画像および第２の画像が交互に取得される。時間Ｔ７の間隔で第１の画像が取得され、かつ時間Ｔ７の間隔で第２の画像が取得される。第１の撮像タイミングと第２の撮像タイミングとの差はＴ８である。

画像位置ずれ算出部１０８０は、第２の撮像タイミングの直前に取得された第１の画像１８００と、第２の撮像タイミングの直後に取得された第１の画像１８０１とに基づいて、位置ずれ量を算出する。位置推定部１０８１は、第１の画像１８００が取得された第１の撮像タイミングにおける第１の画像の撮像位置と、第２の画像１８０２が取得された第２の撮像タイミングにおける第１の画像の撮像位置とを算出する。補正パラメータ算出部１０８２は、これらの撮像位置の差を算出することにより、補正パラメータを算出する。画像補正部１０８３は、補正パラメータに基づいて第１の画像１８００を補正することにより、仮想画像１８０３を生成する。画像補正部１０８３は、補正パラメータに基づいて第１の画像１８０１を補正することにより、仮想画像１８０３を生成してもよい。

第２の実施形態の第１の変形例においても、計測装置１１は所望の精度で計測を行うことができる。

（第２の実施形態の第２の変形例）
図１９は、第２の実施形態の第２の変形例における撮像シーケンスを示す。図１９において、撮像素子１０４が第１の画像を取得するための第１の撮像タイミングと、撮像素子１０４が第２の画像を取得するための第２の撮像タイミングとが示されている。図１９における横方向は時間を示す。図１７に示す撮像シーケンスでは、第２の画像の取得の前後に第１の画像が連続的に取得される。これに対して、図１９に示す撮像シーケンスでは、第１の画像が連続的に取得された後、１枚の第２の画像が取得される。第２の画像が取得された後、第１の画像は取得されない。時間Ｔ９の間隔で第１の画像が取得される。第１の撮像タイミングと第２の撮像タイミングとの差はＴ１０である。

画像位置ずれ算出部１０８０は、第２の撮像タイミングの直前に取得された第１の画像１９００と、その直前に取得された第１の画像１９０１とに基づいて、位置ずれ量を算出する。位置推定部１０８１は、第１の画像１９００が取得された第１の撮像タイミングにおける第１の画像の撮像位置と、第２の画像１９０２が取得された第２の撮像タイミングにおける第１の画像の撮像位置とを算出する。補正パラメータ算出部１０８２は、これらの撮像位置の差を算出することにより、補正パラメータを算出する。画像補正部１０８３は、補正パラメータに基づいて第１の画像１９００を補正することにより、仮想画像１９０３を生成する。画像補正部１０８３は、補正パラメータに基づいて第１の画像１９０１を補正することにより、仮想画像１９０３を生成してもよい。

図１７に示す撮像シーケンスでは、第２の撮像タイミングの前後の第１の撮像タイミングで取得された２枚の第１の画像から位置ずれ量が算出され、かつその位置ずれ量に基づいて、第２の撮像タイミングにおける第１の画像の仮想的な撮像位置が算出される。第１の画像の仮想的な撮像位置は、第２の撮像タイミングの前後の第１の撮像タイミングにおける撮像位置の内挿により算出される。図１９に示す撮像シーケンスでは、第２の撮像タイミングの前の第１の撮像タイミングで取得された２枚の第１の画像から位置ずれ量が算出され、かつその位置ずれ量に基づいて、第２の撮像タイミングにおける第１の画像の仮想的な撮像位置が算出される。第１の画像の仮想的な撮像位置は、第２の撮像タイミングの前の第１の撮像タイミングにおける撮像位置の外挿により算出される。

第２の実施形態の第２の変形例においても、計測装置１１は所望の精度で計測を行うことができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

１０，１１ 計測装置
１００ 第１の対物光学系
１０１ 第２の対物光学系
１０２ 光路切替部
１０３ 結像光学系
１０４ 撮像素子
１０５ コントローラ
１０６ 制御部
１０７ フレームメモリ
１０８，１０８ａ 仮想画像生成部
１０９ 計測処理部
１１０ スコープ
１１１ 計測可否判定部
１０８０ 画像位置ずれ算出部
１０８１ 位置推定部
１０８２ 補正パラメータ算出部
１０８３ 画像補正部
１０８４ 読み出し位置算出部
１０８５ 読み出し制御部

Claims (9)

1. 第１の対物光学系と、
   前記第１の対物光学系に対して視差を有するように配置された第２の対物光学系と、
   前記第１の対物光学系を介して第１の被写体像を第１の撮像タイミングで撮像し、前記第２の対物光学系を介して第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像し、前記第１の被写体像に基づく第１の画像を生成し、かつ前記第２の被写体像に基づく第２の画像を生成する撮像部と、
   前記撮像部が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成する仮想画像生成部と、
   前記第２の画像および前記仮想画像に基づいて被写体の形状を計測する計測処理部と、
   を有することを特徴とする計測装置。
2. 前記撮像部は、互いに異なる複数の前記第１の撮像タイミングで前記第１の被写体像を撮像し、かつ複数の前記第１の画像を生成し、
   前記仮想画像生成部は、前記複数の前記第１の画像間の位置ずれ量を算出する画像位置ずれ算出部を有し、かつ算出された前記位置ずれ量に基づいて前記仮想画像を生成する
   ことを特徴とする請求項１に記載の計測装置。
3. 前記仮想画像生成部はさらに、
   算出された前記位置ずれ量に基づいて、前記撮像部が前記第１の被写体像を前記第２の撮像タイミングで撮像するときの撮像位置を推定する位置推定部と、
   推定された前記撮像位置に基づいて、補正対象である前記第１の画像に対する補正パラメータを算出する補正パラメータ算出部と、
   算出された前記補正パラメータを用いて前記補正対象である前記第１の画像を補正することにより前記仮想画像を生成する画像補正部と、
   を有することを特徴とする請求項２に記載の計測装置。
4. 前記位置ずれ量の算出対象である前記第１の画像は、前記複数の前記第１の画像の全部または一部である
   ことを特徴とする請求項２に記載の計測装置。
5. 前記位置ずれ量の算出対象である前記第１の画像は、前記第２の撮像タイミングの直前の前記第１の撮像タイミングで撮像された前記第１の被写体像に基づく前記第１の画像と、前記第２の撮像タイミングの直後の前記第１の撮像タイミングで撮像された前記第１の被写体像に基づく前記第１の画像との少なくとも一方を含む
   ことを特徴とする請求項４に記載の計測装置。
6. 前記第１の画像を記憶するメモリをさらに有し、
   前記仮想画像生成部はさらに、
   算出された前記位置ずれ量に基づいて、前記撮像部が前記第１の被写体像を前記第２の撮像タイミングで撮像するときの撮像位置を推定する位置推定部と、
   推定された前記撮像位置に基づいて、読み出し対象である前記第１の画像を前記メモリから読み出すときの読み出し位置を算出する読み出し位置算出部と、
   算出された前記読み出し位置に基づいて、前記読み出し対象である前記第１の画像を前記仮想画像として前記メモリから読み出す制御を行う読み出し制御部と、
   を有することを特徴とする請求項２に記載の計測装置。
7. 前記仮想画像が生成される前に、前記位置ずれ量に基づいて、計測が可能であるか否かを判定する計測可否判定部をさらに有し、
   前記計測可否判定部によって前記計測が可能であると判定された場合に、前記仮想画像生成部は前記仮想画像を生成する
   ことを特徴とする請求項２に記載の計測装置。
8. 前記計測可否判定部は、前記位置ずれ量に基づく前記撮像部の並進移動量と、前記位置ずれ量に基づく前記撮像部の移動の直進性を示す値と、前記位置ずれ量の変化量との少なくとも１つに基づいて、前記計測が可能であるか否かを判定する
   ことを特徴とする請求項７に記載の計測装置。
9. 第１の対物光学系と、
   前記第１の対物光学系に対して視差を有するように配置された第２の対物光学系と、
   撮像部と、
   を有する計測装置の作動方法であって、
   前記撮像部によって、前記第１の対物光学系を介して第１の被写体像を第１の撮像タイミングで撮像し、かつ前記第１の被写体像に基づく第１の画像を生成する第１のステップと、
   前記撮像部によって、前記第２の対物光学系を介して第２の被写体像を前記第１の撮像タイミングと異なる第２の撮像タイミングで撮像し、かつ前記第２の被写体像に基づく第２の画像を生成する第２のステップと、
   前記撮像部が前記第１の被写体像を前記第２の撮像タイミングで撮像したと仮定した場合に得られる、前記第１の被写体像に基づく仮想画像を生成する第３のステップと、
   前記第２の画像および前記仮想画像に基づいて被写体の形状を計測する第４のステップと、
   を有することを特徴とする計測装置の作動方法。

Images