JP6065670B2 - ３次元計測システム、プログラム及び方法。 - Google Patents

Description

本発明は、３次元計測システム、プログラム及び方法に関する。

従来、ステレオ法による３次元計測技術が広汎な分野で応用されている。ここで、ステレオ法による３次元計測方法は、以下に述べる受動的計測法と能動的計測法に分けることができる。

受動的計測法では、２以上の異なる撮影視点から計測対象物を撮影し、取得した各画像から特徴点を抽出して対応付けを行う。そして、対応する２以上の特徴点の３次元位置に基づいて三角測量の原理により計測対象物までの距離を算出する（例えば、特許文献１）。

一方、能動的計測法では、特定のパターン画像が投影された計測対象物をパターン画像の投影視点と異なる撮影視点から撮影し、撮影されたパターン画像と元のパターン画像の対応付けを行う。そして、各画像の対応点の３次元位置に基づいて三角測量の原理により計測対象物までの距離を算出する（例えば、特許文献２）。

ここで、これらの３次元計測の原理は、使用する光学装置（撮影装置・投影装置）の光学系がピンホールカメラモデル（中心射影方式）で近似できることを前提としてはじめて成立するものであるところ、市販の撮影装置・投影装置の中には、全方位カメラや短焦点プロジェクター（例えば、特許文献３）のように、ピンホールカメラモデルから乖離した光学系を有するものがある。

本発明は、上記従来技術に鑑みてなされたものであり、本発明は、ピンホールカメラモデルから乖離した光学系を有する光学装置を使用した３次元計測システム、プログラム及び方法を提供することを目的とする。

本発明者は、ピンホールカメラモデルから乖離した光学系を有する光学装置を使用して３次元計測を実現するための構成につき鋭意検討した結果、以下の構成に想到し、本発明に至ったのである。

すなわち、本発明によれば、計測対象物に所定のパターン画像を投影するための投影手段と、前記パターン画像が投影された前記計測対象物の撮影画像を取得するための撮影手段と、投影した前記パターン画像と取得された前記撮影画像に基づいて前記計測対象物の３次元情報を生成する３次元情報生成手段とを含み、前記３次元情報生成手段は、前記撮影画像において、前記パターン画像の注目画素に対応する撮影画素を特定する画素対応付け手段と、前記注目画素の位置座標、前記撮影画素の位置座標、前記投影手段の光学系の焦点距離、前記撮影手段の光学系の焦点距離、ならびに、前記投影手段の投影座標系と前記撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物上に投影された前記パターン画像の３次元位置を算出する３次元位置算出手段と、前記投影手段の光学系および前記撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段とを含む３次元計測システムが提供される。

上述したように、本発明によれば、ピンホールカメラモデルから乖離した光学系を有する光学装置を使用して３次元計測を実施することが可能になる。

ピンホールカメラモデルを説明するための概念図。 ピンホール光学系を有する光学装置を利用した３次元計測を説明するための概念図。 ピンホールカメラモデルから乖離した光学系を説明するための概念図である。 可変焦点モデルを説明するための概念図。 可変焦点モデルを説明するための概念図。 本実施形態における能動的計測法の手順を説明するための概念図。 本実施形態における能動的計測法の手順を表すフローチャート。 本実施形態における受動的計測法の手順を説明するための概念図。 本実施形態における受動的計測法の手順を表すフローチャート。 本実施形態における中点法に基づく３次元位置推定を説明するための概念図。 本実施形態における再投影誤差最小化に基づく３次元位置推定を説明するための概念図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。

本実施形態の説明を始める前に、ピンホールカメラモデル（中心射影方式）の光学系を有する光学装置（撮影装置・投影装置）を使用した従来のステレオ法による３次元計測方法の原理を説明する。

図１は、ピンホールカメラモデルを説明するための概念図である。ピンホールカメラモデルに近似される光学系においては、図１に示すように、全ての光線が画像平面の中心と垂直に交差する光軸上の１点（視点Ｏ）と交差する。すなわち、ピンホールカメラモデルの光学系を有する投影装置の場合、全ての光は、投影視点Ｏの１点から出射し、投影画像平面を通過した後、計測対象物に投射される。

一方、ピンホールカメラモデルの光学系を有する撮影装置の場合、計測対象物から出射する全ての光は、撮影画像平面を通過した後、撮影視点Ｏの１点に収束する。ここで、ピンホールカメラモデルにおいては、画像平面の中心と視点Ｏの離間距離が光学系の焦点距離Ｆに相当する。

図２は、ピンホールカメラモデルの光学系を有する光学装置を利用した３次元計測を説明するための概念図である。なお、ここでは、能動的計測法を例にとって説明し、受動的計測法については説明を省略する。

図２に示す例においては、所定のパターン画像を投影するための光が投影視点Ｏ_１から出射し、投影画像平面上（投影座標系）の画素（ｐ_ｘ,ｐ_ｙ,０）を通過した後、計測対象物上で像ａを結像する。一方、計測対象物上に結像した像ａから出射する光は、撮影画像平面上（撮影座標系）の画素（ｑ_ｘ,ｑ_ｙ,０）を通過した後、撮影視点Ｏ_２に収束する。

ここで、投影装置の光学系の焦点距離をＦ_１とし、撮影装置の光学系の焦点距離をＦ_２とすれば、投影視点Ｏ_１の位置座標は（０,０,-Ｆ_１）として得られ、撮影視点Ｏ_２の位置座標は（０,０,-Ｆ_２）として得られる。

そして、投影視点Ｏ_１の位置座標（０,０,-Ｆ_１）、投影画像平面上の注目画素の位置座標（ｐ_ｘ,ｐ_ｙ,０）、撮影視点Ｏ_２の位置座標（０,０,-Ｆ_２）、撮影画像平面上の注目画素に対応する撮影画素の位置座標（ｑ_ｘ,ｑ_ｙ,０）、および、事前に与えられる２つのカメラ座標系（投影座標系・撮影座標系）の相対姿勢と相対位置を三角測量の原理を当てはめることによって、計測対象物（に投影された像ａ）の３次元位置が求まる。

以上、ピンホールカメラモデルの光学系（以下、ピンホール光学系という）を有する光学装置を使用した３次元計測方法の原理について説明したが、続いて、本実施形態のステレオ法による３次元計測方法の原理について説明する。

図３は、ピンホールカメラモデルから乖離した光学系を説明するための概念図である。

例えば、短焦点プロジェクターは、近接して配置されるスクリーンに対して映像を広角投写するために、短焦点の投写レンズを透過した光を非球面反射ミラーに反射させてスクリーンに投射する構成を採用する。このような光学装置の光学系では、図３に示すように、全ての光線が交差する１点を観念することができないため、ピンホールカメラモデルで近似することができない。以下、このような光学系を非ピンホール光学系という。

一方、非ピンホール光学系の中には、図４に示すように、全ての光線が光軸（画像平面の中心と垂直に交差する直線）と交差するモデルによって近似できるものがある。このようなケースでは、例えば、計測対象物上の点ａと画像平面上の画素Ｉ_ａを通る光線、点ｂと画素Ｉ_ｂを通る光線、点ｃと画素Ｉ_ｃを通る光線および点ｄと画素Ｉ_ｄを通る光線は、それぞれ、点Ｏ_a、点Ｏ_b、点Ｏ_cおよび点Ｏ_ｄで光軸と交差する。

ここで、画素Ｉ_ａ、画素Ｉ_ｂ、画素Ｉ_ｃ、画素Ｉ_ｄ…との関係において、光軸上の点Ｏ_a、点Ｏ_b、点Ｏ_c、点Ｏ_ｄ…のそれぞれを、ピンホールカメラモデルでいうところの視点（投影視点・撮影視点）と見なせば、図４に示すモデルは、画素位置に応じて視点の位置が変動するピンホールカメラモデルと見立てることができる。これを換言すれば、図４に示すモデルは、画素位置に応じて焦点距離（Ｆ_ａ、Ｆ_ｂ、Ｆ_ｃ、Ｆ_ｄ…）が変動するように拡張したピンホールカメラモデルとして捉えることができる。

本実施形態では、この発想に基づいて、非ピンホール光学系を有する光学装置について、ピンホールカメラモデルでいうところの焦点距離を画素位置毎に仮想的に定義した上で、当該画素位置と仮想的に定義した焦点距離（以下、仮想焦点距離として参照する）を従来の３次元計測のアルゴリズムに投入して計測対象物の３次元位置を求める。以下の説明においては、本実施形態が採用するピンホールカメラモデルの拡張モデルを“可変焦点モデル”として参照する。

図５は、本実施形態が採用する可変焦点モデルを説明するための概念図である。図５に示すように、可変焦点モデルにおいて、変動する焦点距離は、関数ｆ（ｘ，ｙ）で表現される。関数ｆ（ｘ，ｙ）は、各画素のＸＹ座標値を引数とし、返り値として焦点距離を返す。

本実施形態において、関数ｆ（ｘ，ｙ）は、例えば、下記式（１）のように、画素のｘ座標値およびｙ座標値を変数とする２次の多項式で表現することができる。

上記式（１）において、“ｘ”および“ｙ”は、それぞれ、画素座標値のｘ成分およびｙ成分を示し、“ａ_１”、“ａ_ＸＸ”、“ａ_ＹＹ”は、設計パラメータを示す。なお、各設計パラメータは、事前の校正工程（キャリブレーション）の計測結果に基づいて設定する。

上記式（１）から、ａ_ＸＸ＝ａ_ＹＹ＝０の場合、焦点距離が定数ａ_１となることが見て取れる。このことは、本実施形態が採用する可変焦点モデルがピンホールカメラモデルの拡張表現であることの証左である。

なお、本実施形態における焦点距離の算出式は、上記式（１）に限定されるものではなく、より高次の多項式としてもよい。

以上、本実施形態の３次元計測方法の原理について説明してきたが、以下では、本実施形態の３次元計測方法が能動的計測法によって実施される場合の手順について説明する。

図６は、本実施形態の３次元計測方法が能動的計測法によって実施される場合の手順を説明するための概念図を示す。図６は、投影装置として可変焦点モデルで近似される非ピンホール光学系を有する光学装置を使用し、撮影装置としてピンホール光学系を有する光学装置を使用するケースを例示する。以下、図６に示すケースにおいて実施される手順を図７に示すフローチャートに基づいて説明する。なお、以下の説明においては、適宜、図６および図７を参照するものとする。

ステップ１０１では、投影装置（非ピンホール光学系）から所定のパターン画像を計測対象物に投影する一方で、計測対象物に投影されたパターン画像を投影装置と異なる視点から撮影装置（ピンホール光学系）で撮影する。ここで、投影パターンは、注目画素を算出しやすい図形を用いることが好ましく、例えば、方形（頂点を注目画素にする）や円（中心を注目画素にする）を含むパターンとすることができる。

続くステップ１０２では、投影座標系の注目画素Ｉに対応する撮影座標系の画素Ｉ’を特定する。

図６に示す例において、投影座標系の投影画素Ｉ_ａを注目画素とした場合、当該注目画素に対応する計測対象物上の像ａを撮影する画素を、撮影座標系において対応画素Ｉ’_ａとして特定する。一方、画素Ｉ_ｂを注目画素とした場合、当該注目画素に対応する計測対象物上に像ｂを撮影する画素を、撮影座標系において対応画素Ｉ’_ｂとして特定する。

続くステップ１０３では、予め定義した関数ｆ（ｘ，ｙ）に対して、投影座標系の注目画素ＩのＸＹ座標値（ｐ_ｘ,ｐ_ｙ）を入力として与え、注目画素Ｉに係る投影座標系の焦点距離として仮想焦点距離Ｆ_Ｖを出力値として取得する。

図６に示す例において、画素Ｉ_ａを注目画素とした場合、関数ｆ（ｘ，ｙ）に対して注目画素Ｉ_ａのＸＹ座標値（ｐ_ａｘ,ｐ_ａｙ）を入力として与え、仮想焦点距離Ｆ_ａを出力値として取得する。一方、画素Ｉ_ｂを注目画素とした場合、関数ｆ（ｘ，ｙ）に対して注目画素Ｉ_ｂのＸＹ座標値（ｐ_ｂｘ,ｐ_ｂｙ）を入力として与え、仮想焦点距離Ｆ_ｂを出力値として取得する。

なお、上述したステップ１０３は、以下の手順に代替することができる。すなわち、投影座標系の全画素のＸＹ座標について事前に仮想焦点距離Ｆ_Ｖを求めておき、これを投影座標系の各画素のＸＹ座標に対応付けてルックアップテーブルに格納しておく。ステップ１０３では、注目画素ＩのＸＹ座標値をエントリとする当該ルックアップテーブルの出力値を仮想焦点距離Ｆ_Ｖとして取得する。

続くステップ１０４では、下記（１）〜（３）の値に基づいて計測対象物（に投影された像ａ）の３次元位置を算出する。
（１）注目画素ＩのＸＹ座標値（ｐ_ｘ,ｐ_ｙ）と投影光学系の仮想焦点距離Ｆ_Ｖ
（２）対応画素Ｉ’のＸＹ座標値（ｑ_ｘ,ｑ_ｙ）と撮影光学系の焦点距離Ｆ
（３）２つのカメラ座標系（投影座標系・撮影座標系）の相対姿勢と相対位置

図６に示す例において、投影画素Ｉ_ａを注目画素とした場合、注目画素Ｉ_ａに係る仮想的な投影視点Ｏ_ａの位置座標は（０,０,-Ｆ_ａ）として与えられ、対応画素Ｉ’_ａに係る撮影視点Ｏの位置座標は固定値（０,０,-Ｆ）として与えられる。これらに加えて、注目画素Ｉ_ａのＸＹ座標値（ｐ_ａｘ,ｐ_ａｙ）、対応画素Ｉ’_ａのＸＹ座標値（ｑ_ａｘ,ｑ_ａｙ）、および、２つのカメラ座標系（投影座標系・撮影座標系）の相対姿勢と相対位置を三角測量の原理に当てはめれば、計測対象物（に投影された像ａ）の３次元位置が求まる。

一方、図６に示す例において、投影画素Ｉ_ｂを注目画素とした場合、注目画素Ｉ_ｂに係る仮想的な投影視点Ｏ_ｂの位置座標として新たに（０,０,-Ｆ_ｂ）が与えられる。その上で、これに加えて、撮影視点Ｏの位置座標（０,０,-Ｆ）、注目画素Ｉ_ｂのＸＹ座標値（ｐ_ｂｘ,ｐ_ｂｙ）、対応画素Ｉ’_ｂのＸＹ座標値（ｑ_ｂｘ,ｑ_ｂｙ）、および、２つのカメラ座標系（投影座標系・撮影座標系）の相対姿勢と相対位置を三角測量の原理に当てはめれば、計測対象物（に投影された像ｂ）の３次元位置が求まる。

続くステップ１０５では、全ての注目画素について、対応する３次元位置を算出したか否かを判断し、全ての注目画素について３次元位置の算出がなされるまで、ステップ１０２〜ステップ１０５の一連の処理を繰り返す。

以上、本実施形態における能動的計測法の手順について、非ピンホール光学系の投影装置とピンホール光学系の撮影装置を使用したケースに基づいて説明したが、本実施形態における能動的計測法は、ピンホール光学系の投影装置と非ピンホール光学系の撮影装置を使用するケースに対しても同様に適用することができることはいうまでもない。この場合、投影装置の光学系の焦点距離が固定値として与えられ、撮影装置の光学系の焦点距離は画素位置に応じて変動する値をとる。さらに、本実施形態の方法は、投影装置および撮影装置の両方が非ピンホール光学系であるケースに対しても同様に適用できることはいうまでもない。この場合、投影装置および撮影装置の光学系の焦点距離はいずれも画素位置に応じて変動する値をとる。

続いて、本実施形態の３次元計測方法が受動的計測法によって実施される場合の手順について説明する。

図８は、本実施形態の３次元計測方法が受動的計測法によって実施される場合の手順を説明するための概念図を示す。図８は、第１の撮影装置として可変焦点モデルで近似される非ピンホール光学系を有する光学装置を使用し、第２の撮影装置としてピンホール光学系を有する光学装置を使用するケースを例示する。以下、図８に示すケースにおいて実行される手順を図９に示すフローチャートに基づいて説明する。なお、以下の説明においては、適宜、図８および図９を参照するものとする。

ステップ２０１では、第１の撮影装置（非ピンホール光学系）と第２の撮影装置（ピンホール光学系）が計測対象物を撮影する。なお、第２の撮影装置は、第１の撮影装置と異なる視点から計測対象物を撮影する。

続くステップ２０２では、第１の撮影座標系の注目画素Ｉに対応する第２の撮影座標系の画素Ｉ’を特定する。具体的には、第１の撮影装置による撮影画像および第２の撮影装置による撮影画像のそれぞれにおいて、計測対象物のコーナーや変曲点などの特徴点を抽出した後、各画像から抽出された特徴点について、適切なマッチング・アルゴリズムを使用して対応付けを行う。

図８に示す例において、計測対象物のコーナーａを特徴点とし、第１の撮影座標系におけるコーナーａの撮影画素Ｉ_ａを注目画素とした場合、マッチング処理の結果、第２の撮影座標系におけるコーナーａの撮影画素Ｉ’_ａが対応画素として特定される。一方、計測対象物のコーナーｂを特徴点とし、第１の撮影座標系におけるコーナーｂの撮影画素Ｉ_ｂを注目画素とした場合、マッチング処理の結果、第２の撮影座標系におけるコーナーｂの撮影画素Ｉ’_ｂが対応画素として特定される。

続くステップ２０３では、予め定義した関数ｆ（ｘ，ｙ）に対して、第１の撮影座標系の注目画素ＩのＸＹ座標値（ｐ_ｘ,ｐ_ｙ）を入力として与え、注目画素Ｉに係る第１の撮影座標系の焦点距離として仮想焦点距離Ｆ_Ｖを出力値として取得する。

図８に示す例において、画素Ｉ_ａを注目画素とした場合、関数ｆ（ｘ，ｙ）に対して注目画素Ｉ_ａのＸＹ座標値（ｐ_ａｘ,ｐ_ａｙ）を入力として与え、仮想焦点距離Ｆ_ａを出力値として取得する。一方、画素Ｉ_ｂを注目画素とした場合、関数ｆ（ｘ，ｙ）に対して注目画素Ｉ_ｂのＸＹ座標値（ｐ_ｂｘ,ｐ_ｂｙ）を入力として与え、仮想焦点距離Ｆ_ｂを出力値として取得する。

なお、上述したステップ２０３は、以下の手順に代替することができる。すなわち、第１の撮影座標系の全画素のＸＹ座標について事前に仮想焦点距離Ｆ_Ｖを求めておき、これを第１の撮影座標系の各画素のＸＹ座標に対応付けてルックアップテーブルに格納しておく。ステップ２０３では、注目画素ＩのＸＹ座標値をエントリとする当該ルックアップテーブルの出力値を仮想焦点距離Ｆ_Ｖとして取得する。

続くステップ２０４では、下記（１）〜（３）に基づいて計測対象物（のコーナーａ）の３次元位置を算出する。
（１）注目画素ＩのＸＹ座標値（ｐ_ｘ,ｐ_ｙ）と投影光学系の仮想焦点距離Ｆ_Ｖ
（２）対応画素Ｉ’のＸＹ座標値（ｑ_ｘ,ｑ_ｙ）と撮影光学系の焦点距離Ｆ
（３）２つのカメラ座標系（第１の撮影座標系・第２の撮影座標系）の相対姿勢と相対位置

図８に示す例において、撮影画素Ｉ_ａを注目画素とした場合、注目画素Ｉ_ａに係る仮想的な投影視点Ｏ_ａの位置座標は（０,０,-Ｆ_ａ）として与えられ、対応画素Ｉ’_ａに係る撮影視点Ｏの位置座標は固定値（０,０,-Ｆ）として与えられる。これらに加えて、注目画素Ｉ_ａのＸＹ座標値（ｐ_ａｘ,ｐ_ａｙ）、対応画素Ｉ’_ａのＸＹ座標値（ｑ_ａｘ,ｑ_ａｙ）、および、２つのカメラ座標系（第１の撮影座標系・第２の撮影座標系）の相対姿勢と相対位置を三角測量の原理に当てはめれば、計測対象物（のコーナーａ）の３次元位置が求まる。

一方、図８に示す例において、投影画素Ｉ_ｂを注目画素とした場合、注目画素Ｉ_ｂに係る仮想的な投影視点Ｏ_ｂの位置座標として新たに（０,０,-Ｆ_ｂ）が与えられる。その上で、これに加えて、撮影視点Ｏの位置座標（０,０,-Ｆ）、注目画素Ｉ_ｂのＸＹ座標値（ｐ_ｂｘ,ｐ_ｂｙ）、対応画素Ｉ’_ｂのＸＹ座標値（ｑ_ｂｘ,ｑ_ｂｙ）、および、２つのカメラ座標系（投影座標系・撮影座標系）の相対姿勢と相対位置を三角測量の原理に当てはめれば、計測対象物（のコーナーｂ）の３次元位置が求まる。

続くステップ２０５では、全ての注目画素について、対応する３次元位置を算出したか否かを判断し、全ての注目画素について３次元位置の算出がなされるまで、ステップ２０２〜ステップ２０５の一連の処理を繰り返す。

以上、本実施形態における受動的計測法の手順について、非ピンホール光学系の第１の撮影装置とピンホール光学系の第２の撮影装置を使用したケースに基づいて説明したが、本実施形態における受動的計測法は、第１の撮影装置および第２の撮影装置の両方が非ピンホール光学系であるケースに対しても同様に適用できることはいうまでもない。この場合、第１および第２の撮影装置の光学系の焦点距離はいずれも画素位置に応じて変動する値をとる。

なお、本実施形態における受動的計測法は、異なる視点を有する３以上の撮影装置を使用して計測対象物を撮影する構成によって実現することもでき、また、１台の撮影装置を使用して２以上の異なる視点から計測対象物を撮影する構成によって実現することもできる。ただし、その際の手順は、従来装置を使用した受動的計測法のそれと同様であるので、これ以上の説明を省略する。

続いて、本実施形態の３次元計測方法に適用される推定手法について説明する。従来の３次元計測では、撮影時のノイズ、特徴点の抽出誤差、撮影部のパラメータ誤差等により２つの光学系の視線が交差しない場合、「中点法」や「再投影誤差最小化」による推定が行われてきたが、本実施形態の３次元計測方法においても、同様の推定手法を適用することができる。

図１０は、中点法に基づいて本実施形態の３次元計測方法を実施する例を示す。中点法においては、２つの光学系の視線を結ぶ最短距離の線分の中点を計測対象物の特徴点の３次元位置として推定する。

一方、図１１は、再投影誤差に最小化に基づいて本実施形態の３次元計測方法を実施する例を示す。図１１に示す例では、注目画素（ｐ_ｘ,ｐ_ｙ）を通る一方の光学系の視線と、対応画素（ｑ_ｘ,ｑ_ｙ）を通る他方の光学系の視線が交差しない場合、一方の画像平面上で点（ｐ_ｘ,ｐ_ｙ）を点（ｐ’_ｘ,ｐ’_ｙ）に、他方の画像平面上で点（ｑ_ｘ,ｑ_ｙ）を点（ｑ’_ｘ,ｑ’_ｙ）に最小移動量（再投影誤差という）で移動させて各光学系の視線を再定義する。以降、当該２つの光学系の視線の距離を最小化するよう非線形計画法などに基づいて、画素位置の移動→視線の再定義、の手順を繰り返し、２つの光学系の視線が交差した時点で、その交点を計測対象物の特徴点の３次元位置として推定する。

なお、本実施形態の場合、画素位置（注目画素・対応画素）の移動に伴って仮想焦点距離が変動する（すなわち、仮想視点が移動する）ので、画素位置を移動する度に、仮想焦点距離（すなわち、仮想視点の位置）を再計算した上で２つの光学系の視線を再定義し、以降、当該２つの撮影視線が交差するまで、画素位置の移動→仮想焦点距離（仮想視点の位置）の再計算→視線の再定義、の手順を繰り返すことが好ましい。

以上、本発明の３次元計測方法に説明してきたが、本発明は、上述した３次元計測方法を実装したコンピュータプログラムとして構成することができ、さらに、光学装置と情報処理装置と含む３次元計測システムとして構成することができる。

能動的計測法を採用するケースでは、本発明の３次元計測システムは、計測対象物に所定のパターン画像を投影するための投影装置と、当該パターン画像が投影された計測対象物を撮影するための撮影装置と、投影装置および撮影装置の双方と通信可能に接続された１以上の情報処理装置を含んで構成される。この場合、投影装置および撮影装置の少なくとも一方の装置が可変焦点モデルで近似される非ピンホール光学系を有する。

一方、受動的計測法を採用するケースでは、本発明の３次元計測システムは、２以上の視点から計測対象物を撮影するための撮影装置と、当該撮影装置と通信可能に接続された１以上の情報処理装置を含んで構成される。この場合、２台以上の撮影装置で撮影するように構成してもよいし、１台の撮影装置で視点を変えて撮影するように構成してもよい。システムを２台以上の撮影装置で構成する場合は、その内の少なくとも一台が可変焦点モデルで近似される非ピンホール光学系を有する。システムを１台の撮影装置で構成する場合は、当該撮影装置が可変焦点モデルで近似される非ピンホール光学系を有する。

なお、本発明の３次元計測システムを構成する各装置の接続態様は、有線・無線に限定されず、インターネット、ＬＡＮ、ＶＡＮなどの適切なネットワークを介して接続される場合も含む。

以上、説明したように、本発明によれば、ピンホールカメラモデルから乖離した光学系を有する光学装置（例えば、短焦点プロジェクターや全方位カメラなど）を使用して、三角測量の原理を利用した３次元計測を行うことができる。本発明の３次元測定方法には、例えば、以下のような応用展開が考えられる。

近年、建築物などの立体物に映像を投影して興趣の高いパフォーマンスを実現するプロジェクション・マッピングが注目を集めている。プロジェクション・マッピングでは、事前に立体物の形状を測定しておき、その測定結果をプロジェクターの出力にフィードバックすることによって、立体物と投影画像とがあたかも一体化したような仮想現実を表現する。

本発明の３次元計測方法は、このプロジェクション・マッピングにおける立体物の形状測定に適用することができる。具体的には、プロジェクション・マッピングにおいて投影装置として用いられる短焦点プロジェクターから所定のパターン画像を建築物などの立体物に投影し、その影像を別の視点から撮影することによって立体物の３次元形状を計測する。

同様に、本発明の３次元計測方法は、汎用の短焦点プロジェクターの画像補正に適用することもできる。具体的には、短焦点プロジェクターから所定のパターン画像をスクリーンに投影し、その影像を別の視点から撮影することによって、短焦点プロジェクターで使用するスクリーンの傾きや投影面の凹凸を検出する。

上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

特許４８１４４４１号公報 特開２０１１−１４１１７４号公報 特開２００８−１６５２０２号公報

Claims (20)

1. 計測対象物に所定のパターン画像を投影するための投影手段と、
   前記パターン画像が投影された前記計測対象物の撮影画像を取得するための撮影手段と、
   投影した前記パターン画像と取得された前記撮影画像に基づいて前記計測対象物の３次元情報を生成する３次元情報生成手段と
   を含み、
   前記３次元情報生成手段は、
   前記撮影画像において、前記パターン画像の注目画素に対応する撮影画素を特定する画素対応付け手段と、
   前記注目画素の位置座標、前記撮影画素の位置座標、前記投影手段の光学系の焦点距離、前記撮影手段の光学系の焦点距離、ならびに、前記投影手段の投影座標系と前記撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物上に投影された前記パターン画像の３次元位置を算出する３次元位置算出手段と、
   前記投影手段の光学系および前記撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段と
   を含む３次元計測システム。
2. 計測対象物の撮影画像を取得するための第１の撮影手段と、
   前記第１の撮影手段とは異なる視点から前記計測対象物の撮影画像を取得するための第２の撮影手段と、
   前記第１の撮影手段が取得した第１の撮影画像と前記第２の撮影手段が取得した第２の撮影画像に基づいて前記計測対象物の３次元情報を生成する３次元情報生成手段と
   を含み、
   前記３次元情報生成手段は、
   前記第２の撮影画像において、前記第１の撮影画像から抽出される特徴点の注目画素に対応する撮影画素を特定する画素対応付け手段と、
   前記注目画素の位置座標、前記撮影画素の位置座標、前記第１の撮影手段の光学系の焦点距離、前記第２の撮影画像の光学系の焦点距離、ならびに、前記第１の撮影手段の撮影座標系と前記第２の撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物の前記特徴点の３次元位置を算出する３次元位置算出手段と、
   前記第１の撮影手段の光学系および前記第２の撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段と
   を含む３次元計測システム。
3. ２以上の異なる視点から計測対象物を撮影して撮影画像を取得するための撮影手段と、
   前記撮影手段が第１の視点から撮影して取得した第１の撮影画像と、該撮影手段が第２の視点から撮影して取得した第２の撮影画像に基づいて前記計測対象物の３次元情報を生成する３次元情報生成手段と
   を含み、
   前記３次元情報生成手段は、
   前記第２の撮影画像において、前記第１の撮影画像から抽出される特徴点の注目画素に対応する撮影画素を特定する画素対応付け手段と、
   前記注目画素の位置座標、前記撮影画素の位置座標、前記撮影手段の光学系の焦点距離、ならびに、前記第１の視点における撮影座標系と前記第２の視点における撮影座標系の相対姿勢および相対位置、から前記計測対象物の前記特徴点の３次元位置を算出する３次元位置算出手段と、
   前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段と
   を含む３次元計測システム。
4. 前記仮想焦点距離取得手段は、
   前記焦点距離の仮想的な値を、前記位置座標を入力とする所定の関数の出力値として取得し、前記関数は、前記位置座標を変数とする多項式で定義される、
   請求項１〜３のいずれか一項に記載の３次元計測システム。
5. 前記仮想焦点距離取得手段は、
   前記焦点距離の仮想的な値を、前記位置座標をエントリとする所定のルックアップテーブルの出力値として取得し、
   前記ルックアップテーブルは、前記位置座標に対応付ける前記焦点距離の仮想的な値として、該位置座標を入力とする所定の関数の出力値を格納する、
   請求項１〜３のいずれか一項に記載の３次元計測システム。
6. 前記関数は、前記位置座標を変数とするＮ次の多項式で表される、
   請求項４または５に記載の３次元計測システム。
7. 前記関数は、下記式（１）に示す多項式で表される、請求項６に記載の３次元計測システム。
   （上記式（１）において、ｘおよびｙは、それぞれ、前記位置座標のｘ成分およびｙ成分を示し、ａ_１、ａ_ＸＸ、ａ_ＹＹは、設計パラメータを示す。）
8. 前記３次元位置算出手段は、再投影誤差の最小化に基づいて前記３次元位置を算出する、請求項１〜７のいずれか一項に記載の３次元計測システム。
9. 投影手段が計測対象物に投影した所定のパターン画像と、撮影手段が取得した該パターン画像が投影された該計測対象物の撮影画像に基づいて該計測対象物の３次元情報を生成するためのプログラムであって、
   コンピュータを、
   前記撮影画像において、前記パターン画像の注目画素に対応する撮影画素を特定する画素対応付け手段、
   前記注目画素の位置座標、前記撮影画素の位置座標、前記投影手段の光学系の焦点距離、前記撮影手段の光学系の焦点距離、ならびに、前記投影手段の投影座標系と前記撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物上に投影された前記パターン画像の３次元位置を算出する３次元位置算出手段、
   前記投影手段の光学系および前記撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段、
   として機能させるためのコンピュータ実行可能なプログラム。
10. 第１の撮影手段が取得した計測対象物の撮影画像と、前記第１の撮影手段とは異なる視点から第２の撮影手段が取得した該計測対象物の撮影画像に基づいて該計測対象物の３次元情報を生成するためのプログラムであって、
    コンピュータを、
    前記第２の撮影画像において、前記第１の撮影画像から抽出される特徴点の注目画素に対応する撮影画素を特定する画素対応付け手段、
    前記注目画素の位置座標、前記撮影画素の位置座標、前記第１の撮影手段の光学系の焦点距離、前記第２の撮影画像の光学系の焦点距離、ならびに、前記第１の撮影手段の撮影座標系と前記第２の撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物の前記特徴点の３次元位置を算出する３次元位置算出手段、
    前記第１の撮影手段の光学系および前記第２の撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段、
    として機能させるためのコンピュータ実行可能なプログラム。
11. 前記撮影手段が第１の視点から計測対象物を撮影して取得した第１の撮影画像と、該撮影手段が第２の視点から該計測対象物を撮影して取得した第２の撮影画像に基づいて該計測対象物の３次元情報を生成するためのプログラムであって、
    コンピュータを、
    前記第２の撮影画像において、前記第１の撮影画像から抽出される特徴点の注目画素に対応する撮影画素を特定する画素対応付け手段、
    前記注目画素の位置座標、前記撮影画素の位置座標、前記撮影手段の光学系の焦点距離、ならびに、前記第１の視点における撮影座標系と前記第２の視点における撮影座標系の相対姿勢および相対位置、から前記計測対象物の前記特徴点の３次元位置を算出する３次元位置算出手段、
    前記焦点距離を、仮想的な値として前記位置座標毎に取得する仮想焦点距離取得手段、
    として機能させるためのコンピュータ実行可能なプログラム。
12. 前記仮想焦点距離取得手段は、
    前記焦点距離の仮想的な値を、前記位置座標を入力とする所定の関数の出力値として取得し、前記関数は、前記位置座標を変数とする多項式で定義される、
    請求項９〜１１のいずれか一項に記載のプログラム。
13. 前記仮想焦点距離取得手段は、
    前記焦点距離の仮想的な値を、前記位置座標をエントリとする所定のルックアップテーブルの出力値として取得し、
    前記ルックアップテーブルは、前記位置座標に対応付ける前記焦点距離の仮想的な値として、該位置座標を入力とする所定の関数の出力値を格納する、
    請求項９〜１１のいずれか一項に記載のプログラム。
14. 前記関数は、前記位置座標を変数とするＮ次の多項式で表される、
    請求項１２または１３に記載のプログラム。
15. 前記関数は、下記式（１）に示す多項式で表される、請求項１４に記載のプログラム。
    （上記式（１）において、ｘおよびｙは、それぞれ、前記位置座標のｘ成分およびｙ成分を示し、ａ_１、ａ_ＸＸ、ａ_ＹＹは、設計パラメータを示す。）
    
16. 前記３次元位置算出手段は、再投影誤差の最小化に基づいて前記３次元位置を算出する、請求項９〜１５のいずれか一項に記載のプログラム。
17. 計測対象物の３次元情報を生成する方法であって、
    計測対象物に所定のパターン画像を投影手段で投影するステップと、
    前記パターン画像が投影された前記計測対象物の撮影画像を撮影手段で取得するステップと、
    投影した前記パターン画像と取得された前記撮影画像に基づいて前記計測対象物の３次元情報を生成するステップと
    を含み、
    前記３次元情報を生成するステップは、
    前記撮影画像において、前記パターン画像の注目画素に対応する撮影画素を特定するステップと、
    前記注目画素の位置座標、前記撮影画素の位置座標、前記投影手段の光学系の焦点距離、前記撮影手段の光学系の焦点距離、ならびに、前記投影手段の投影座標系と前記撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物上に投影された前記パターン画像の３次元位置を算出するステップであって、前記投影手段の光学系および前記撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する、ステップと
    を含む方法。
    
18. 計測対象物の３次元情報を生成する方法であって、
    計測対象物の撮影画像を第１の撮影手段で取得するステップと、
    前記第１の撮影手段とは異なる視点から前記計測対象物の撮影画像を第２の撮影手段で取得するステップと、
    前記第１の撮影手段が取得した第１の撮影画像と前記第２の撮影手段が取得した第２の撮影画像に基づいて前記計測対象物の３次元情報を生成するステップと
    を含み、
    前記３次元情報を生成するステップは、
    前記第２の撮影画像において、前記第１の撮影画像から抽出される特徴点の注目画素に対応する撮影画素を特定するステップと、
    前記注目画素の位置座標、前記撮影画素の位置座標、前記第１の撮影手段の光学系の焦点距離、前記第２の撮影画像の光学系の焦点距離、ならびに、前記第１の撮影手段の撮影座標系と前記第２の撮影手段の撮影座標系の相対姿勢および相対位置、から前記計測対象物の前記特徴点の３次元位置を算出するステップであって、前記第１の撮影手段の光学系および前記第２の撮影手段の光学系の少なくとも一方の前記焦点距離を、仮想的な値として前記位置座標毎に取得する、ステップと
    を含む方法。
19. 計測対象物の３次元情報を生成する方法であって、
    ２以上の異なる視点から計測対象物を撮影して撮影画像を撮影手段で取得するステップと、
    第１の視点から撮影して取得した第１の撮影画像と、第２の視点から撮影して取得した第２の撮影画像に基づいて前記計測対象物の３次元情報を生成するステップと
    を含み、
    前記３次元情報を生成するステップは、
    前記第２の撮影画像において、前記第１の撮影画像から抽出される特徴点の注目画素に対応する撮影画素を特定するステップと、
    前記注目画素の位置座標、前記撮影画素の位置座標、前記撮影手段の光学系の焦点距離、ならびに、前記第１の視点における撮影座標系と前記第２の視点における撮影座標系の相対姿勢および相対位置、から前記計測対象物の前記特徴点の３次元位置を算出するステップであって、前記焦点距離を、仮想的な値として前記位置座標毎に取得する、ステップと
    を含む方法。
20. 前記３次元位置を算出するステップは、
    前記焦点距離の仮想的な値を、前記位置座標を入力とする所定の関数の出力値として取得するステップであって、前記関数は、前記位置座標を変数とする多項式で定義される、ステップを含む、
    請求項１７〜１９のいずれか一項に記載の方法。