JP4543821B2

JP4543821B2 - ３次元形状測定装置および方法

Info

Publication number: JP4543821B2
Application number: JP2004240631A
Authority: JP
Inventors: 勉安部
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-08-20
Filing date: 2004-08-20
Publication date: 2010-09-15
Anticipated expiration: 2024-08-20
Also published as: JP2006058142A

Description

本発明は、パターン投影法を用いて対象物体までの距離情報を取得する３次元形状測定技術に関する。

対象物の形状を計測する手法として、対象物に基準となるパターンを投影してこの基準となるパターン光が投影された方向とは異なる方向からＣＣＤカメラなどで撮影を行うパターン投影法と呼ばれる手法がある。撮影されたパターンは物体の形状によって変形を受けたものとなるが、この撮影された変形パターンと投影したパターンとの対応づけを行うことで、物体の３次元計測を行うことができる。パターン投影法では変形パターンと投影したパターンとの対応づけをいかに誤対応を少なく、かつ簡便に行うかが課題となっている。そこで様々なパターン投影法が従来より提案されている。

例えば特許文献１に開示される手法は、コード化されたパターンを投影する投光器と、投光器の光軸方向から投影パターンを撮影する第１のカメラと、投光器の光軸方向と異なる方向から投影パターンを撮影する第２のカメラとを備え、第１のカメラおよび第２のカメラによる撮影画像から輝度変化によるエッジ画像を求める。第１のカメラのエッジ画像からエッジをはさむ両側の輝度変化量が所定値以上の領域について新たなコードを割り付け、割り付けたコードを用いて第２のカメラによる撮影画像およびエッジ画像から第１の距離情報を生成し、第１の距離情報および第１のカメラより得られた輝度情報に基づいて３次元画像を得るよう構成した３次元画像撮影装置である。投影パターンを同じ光軸に置いた第１のカメラで撮影したパターンを用いて再コード化することにより精度よく３次元計測を行うことができる。
特許第３４８２９９０号公報

しかしながら、特許第３４８２９９０号公報の場合、図１８に示すような構成をとる。すなわち、投影装置（プロジェクタ）１０と同じ光軸方向に第１カメラ２０を配置するために、ハーフミラー４０の様なビームスプリッタが必要になるために、第２カメラ３０で観測される画像よりも光量が減少してしまう。ハーフミラー４０によるビームスプリットは、多種な特性があるが、理想的な場合は、１：１であるために、第１カメラ２０と第２カメラ３０とが同じ条件で撮像した場合には、第１カメラ２０では明るさが半分しか得られない。

本方式は、投影パターンに全白レベルと全黒レベルの間を複数個に分割した複数のレベルを持ったスリットパターンを投影している。被写体情報によって、レベルが変化する事もあり、計測精度を高くするためには、投影している全白レベルと全黒レベルとカメラの白レベルと黒レベルを合わせる必要がある。すなわちダイナミックレンジを有効に使う必要がある。図１の構成の場合、同じ特性の撮像素子を使用している場合は、シャッター速度やゲイン特性を第１カメラ２０と第のカメラ３０で、調整し、同じ明るさになるように調整する必要がある。

したがって、本件発明は、このような事情を考慮してなされたものであり、一義的には、第１カメラ２０の画像と第２カメラ３０の画像とが実質的に同じ明るさになるようにすることを目的としている。

また、本方式における形状計測の特徴として、一回の撮影で３次元情報の計測が可能であるという事があげられる。一回の撮影が可能であるということは、動物体や動画にも対応出来たり、撮影者が手持ちで計測をする事が可能であるという事を意味している。第１カメラと第２カメラにおいて、シャッター速度が異なる場合、動物体、動画、手持ちなどの場合、二つのカメラでの被写体のブレ量が異なるという問題がある。

また、投影装置の光源において、液晶プロジェクタやスライドプロジェクタの様に連続点灯した投影装置を使用しているが、光源を常時点灯していると、発熱量が多くなるため、ヒートシンクや冷却ファンなどで投影装置を冷やす必要がある。そのため、装置の大型化につながる。その対策として、フラッシュ光源を使用した投影系の導入が考えられる。フラッシュ光源の場合、第１と第２のカメラのシャッター速度が違う場合は、シャッター速度が長い方の時間以上にフラッシュ点灯をさせるか、フラッシュをパルス点灯させて、シャッター速度比に対応した回数分各々のカメラのシャッターｏｎ時間点滅させるという制御が必要になる。

本発明は、このような課題に鑑みなされたもので、第１カメラと第２カメラを同じ物を使い、シャッター速度などのカメラパラメータも同じにし、動物体、動画、手持ちなどに対応した３次元形状測定手法を提供することも目的とする。

本発明の原理的な構成例においては、上記課題を解決するため、ハーフミラーによって被写体側からの光が第１カメラに入射する光量比と同じ量のＮＤフィルタを第２のカメラの前面に配置し、第１カメラ、第２カメラが同じパラメータで、実質的に同じ明るさの画像を撮影可能にする。

また、第１カメラと投影装置を同じ光軸に合わせるために用いているハーフミラーと同じものを第２のカメラの前に、第１カメラとハーフミラーの位置関係と同じように配置する。

さらに、第１のカメラと第２のカメラの明るさが同じになるように、撮像レンズの絞りを調整して実現する。

この構成例においては、双方のカメラパラメータ（シャッター速度）などを同じにしたままで第１カメラおよび第２カメラにおけるダイナミックレンジを揃えた最適な形状計測が可能になる。カメラ部の調整回路なども統一出来る事や、投影装置の光源（の制御回路なども単純化が可能になるため、低コストで小型化が可能になる。また、フラッシュ光源の使用も可能になる。

本発明をさらに説明する。

本発明によれば、上述の目的を達成するために、所定の輝度・色相範囲で予め設定された複数レベルの輝度・色相でコード化されたストライプパターンを被写体に投影する投光器と、前記投光器の投光パターンを被写体情報により輝度・色相変化をモニタするために、ビームスプリッタを用いて前記投光器と同じ光軸方向に配置したカメラと、前記投光器の光軸からずれて配置されるカメラとを具備し、前記投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元形状測定装置において、前記ビームスプリッタによって、明るさが減衰される、前記投光器と同じ光軸方向に配置したカメラで撮像される画像の明るさと、前記投光器の光軸からずれて配置されるカメラで撮像される画像の明るさとが実質的に同じになる様に、前記投光器の光軸からずれて配置されるカメラと前記投光器との間の光路および前記投光器と同じ光軸方向に配置したカメラと前記投光器との間の光路の少なくとも一方に、明るさ調整機構を設けるようにしている。

この構成においては二つのカメラにおいて明るさが同じであるのでダイナミックレンジを揃えて最適な３次元形状測定を行なえる。

ストライプパターンは、輝度または色相に関して所定範囲で複数レベルのストライプで構成される。被写体の光学的な特性等によりストライプ中のレベルが変わった場合にはストライプをその長さ方向に分割して異なるレベルで再コード化してもよい。

輝度のレベルのストライプパターンの場合には基本的には全黒から全白の範囲のレベルとすることが好ましい。

この構成において、前記明るさ調整機構として、前記投光器の光軸からずれて配置されるカメラにＮＤフィルタ（減光フィルタ。波長とほぼ無関係に光量を減少させるフィルタ）を配置してもよい。

また、前記明るさ調整機構として、前記投光器の光軸からずれて配置されるカメラに、同じ光軸方向に配置したカメラと同じビームスプリッタを、同じ位置関係で配置してもよい。

また、前記明るさ調整機構として、二つの前記カメラの撮像レンズの少なくとも一方の絞り調整機構を用いてもよい。

また、前記明るさ調整機構として、前記投光器の光軸からずれて配置されるカメラの前面に開口（アパーチャ）を配置する遮蔽部材を用いてもよい。

また、シャッター速度を二つのカメラで揃えることが困難になることが問題とならない場合には、前記明るさ調整機構として、二つの前記カメラのシャッター速度調整機構を用いてもよい。

なお、本発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品も本発明の技術的な範囲に含まれることも当然である。
本発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。

本発明によれば、前記投光器の光軸からずれて配置されるカメラ（第２カメラ）と前記投光器との間の光路および前記投光器と同じ光軸方向に配置したカメラ（第１カメラ）と前記投光器との間の光路の少なくとも一方に、明るさ調整機構を設け、二つのカメラの画像の明るさを実質的に同じにするように調整する。例えば、第２カメラの前面にＮＤフィルタ、ハーフミラー等を配置したり、第１カメラ、第２のカメラのレンズ絞りを調整する事によって、双方の画像の明るさを実質的に同一にする。これにより、両カメラのダイナミックレンジを揃えて最適な計測を行なえる。また、より具体的な構成では、双方のカメラパラメータ（シャッター速度）などを同じにしての形状計測が可能になる。この結果、より具体的な構成では、カメラ部の調整回路なども統一出来る事や、投影装置の光源（その制御回路）なども単純化が可能になるため、低コストで小型化が可能になる。また、フラッシュ光源の使用も可能になる。

以下、本発明の実施例について説明する。

本発明の実施例に係る３次元形状測定装置を説明する。

図１は、本発明の実施例の３次元形状測定装置の構成図であり、図１において、３次元形状測定装置は、３次元計測用にパターンを投影するパターン投影装置（たとえば液晶プロジェクタ）１０、同光軸でパターンをモニタする撮像装置（たとえばＣＣＤカメラ。第１カメラとも呼ぶ）２０、三角測量用撮像装置（たとえばＣＣＤカメラ。第２カメラとも呼ぶ）３０、制御部６０等で構成される。制御部６０は例えばパーソナルコンピュータや専用の処理装置で構成され、距離計算やプロジェクタ１０、第１カメラ２０、第２カメラ等の制御を司る。第２カメラ３０の前方にはＮＤフィルタ３１が設けられている。

４０はハーフミラーであり、５０は対象物（被写体ともいう）である。この３次元測定装置の基本的な構成は、特許文献１（特許第３４８２９９０号公報）に開示される構成と同様である。パターン投影装置１０は、液晶プロジェクタもしくはＤＬＰ（商標）プロジェクタ、またはスライドプロジェクタを用いる。パターン投影装置１０、たとえば液晶プロジェクタへ入力する投影パターンは、図２に示すような濃淡のあるストライプパターンを用い、例えば、図２の右側に図示されている対象物（物体）にパターン投影する。スライドプロジェクタを用いる場合、投影パターンはスライドフィルム上へ形成するか、ガラスパターンに金属膜などを蒸着し膜厚や網膜点パターンなどによって透過率をコントロールする。

さきに述べたように、図１８の従来の構成の場合、第１カメラ２０、第２カメラ３０が同じ特性のＣＣＤなどを使用している場合には、シャッター速度などのカメラパラメータを別に設定しないと、同じ明るさにならない。この実施例では、第１カメラ２０と第２カメラ３０の画像の明るさを同じにするために、第２カメラ３０の前にＮＤフィルタ３１を配置している。反射・透過特性が共に５０％：５０％である誘電膜で形成されているハーフミラーを用いる場合、第２カメラ３０で使用するＮＤフィルタ３１は、５０％透過する特性を持ったものを使用する。もちろん、ハーフミラー４０の透過率が異なれば、それと同じ透過率を持ったＮＤフィルタ３１を採用すれば良い。なお、この実施例では、プロジェクタ１０からのパターン光をハーフミラー４０で反射させて被写体５０に投影させ、被写体５０からの投影光をハーフミラー４０を介して第１カメラ２０に案内しているけれども、図１８の従来例に示すように、プロジェクタ１０と第１カメラ２０とは逆の配置にしても良く、図１８の様な場合には、ハーフミラー４０の反射率と同じ透過率のＮＤフィルタ３１を採用すれば良い。

図３にパターン投影の模様を示す。撮像装置（第１カメラ２０）と投影装置（パターン投影装置１０）をハーフミラー４０などで同光軸に配置し、三角計測用に撮像装置を用意し、図２に示すようなストライプパターンを投影する。同光軸の撮像素子（第１カメラ２０）で観測された画像（第１カメラ・イメージ）から再コード化を実施し、測定用撮像素子（第２カメラ３０）で観測された画像（第２カメラ・イメージ）とで３次元距離画像（距離）を算出する。

図３に液晶プロジェクタへ入力するパターンデータの水平方向の輝度プロファイルを示す。投影パターンは２５６階調を４段階から６段階程度に分けた輝度ストライプの組み合わせである。

つぎに３次元形状を算出する処理について説明する。

図５は、距離画像を算出する構成例を示しており、この図において、パターン投影装置１０がコード化されたパターンを対象物５０に投影する。このパターンはフレームメモリ１１０に記憶される。モニタ用の第１カメラ２０および三角測量用の第２カメラ３０により、対象物５０上の投影パターンを撮像しそれぞれパターン画像メモリ１２０、１５０に記憶する。

領域分割部１３０はパターン画像メモリ１２０のパターン画像を、パターン投影装置１０からの投影パターン（光）が十分に届いている領域（領域２ともいう）と届いていない領域（領域１ともいう）に分割する。たとえば、隣り合うストライプ間の強度差が閾値以下である領域については、投影パターンが十分に届いてないと判別し、ストライプ間の強度差が閾値以上である領域を投影パターンが十分に届いている領域と判別する。投影パターンが十分に届いている領域に関し、以下に述べるように、境界線となるエッジ画素算出を行い、距離計算を行う。投影パターンが十分に届いてない領域については、別途、視差に基づく距離計算を行う。ここではとくに説明しないが、詳細は特許文献１を参照されたい。

再コード化部１６０は、抽出された領域２についてストライプを抽出し、各ストライプをストライプ幅毎に縦方向に分割し、正方形のセルを生成し、セルの再コード化を行う。これについては後に詳述する。

コード復号部１７０は、パターン画像メモリ１５０に記憶されている、三角測量用の第２カメラ３０からのパターン画像の各セル（エッジ）のコードを再コード化部１６０からのコードを用いて判別する。これにより、パターン画像メモリ１５０のパターン画像における測定点ｐ（エッジ）の画素のｘ座標および光源からの照射方向（スリット角）θが決定され、後述する式（１）により距離Ｚが測定される（図１４参照）。３次元画像メモリ１８０は、この距離と、第１カメラ２０から取得した対象物の輝度値（輝度値メモリ１４０に記憶される）とを三次元画像データとして記憶する。

この構成例における３次元形状の算出の詳細についてさらに説明する。

上述で得られたそれぞれのパターン画像、輝度値を用いて３次元形状を算出する為に以下の操作を行う。

同光軸のモニタ用の第１カメラ２０によって撮影されたパターン画像と投光に用いられたパターン画像を用いて図７に示すフローチャートに従って再コード化を行う。最初に第１カメラ２０で撮影されたパターン画像の領域分割を行う。隣り合うストライプ間の強度差が閾値以下である領域については、パターン投影装置１０からの投影パターンが届いてない領域１として抽出し、ストライプ間の強度差が閾値以上である領域を領域２として抽出し（Ｓ１０）、領域２について境界線となるエッジ画素算出を行う。

抽出された領域２についてストライプを抽出し、各ストライプをストライプ幅毎に縦方向に分割し、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする（Ｓ１１）。画像の中心から順に対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なった場合には新たなコードの生成、割り付けを行う（Ｓ１２〜Ｓ１６）。

図８は簡単のため単純化した例であるが、図８の左側のストライプ列がストライプの並びによってコード化された投光パターンであり、それぞれの強度に３（強）、２（中）、１（弱）が割り当てられている。図８の右側がそれぞれ同軸上の第１カメラ２０で撮影されたストライプをセルの幅でストライプと垂直方向に抽出したものである。図８の右上の例では、左から３つめのセルで強度が変化して新たなコードが出現したので、新たに０というコードを割り当てる。図８の右下の例では、左から３つめ上から２つめのセルで、既存のコードが出現しているので、セルの並びから新たなコードとして（２３２、１３１）という具合に（縦の並び，横の並び）によってコードを表現する。この再コード化は、対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。

例として、図９の対象物に、図１０のパターンを投光した場合に第１カメラ２０、第２カメラ３０で得られる画像を簡単化したものをそれぞれ図１１、図１２に示す。この例では、板の表面には新たなコード化されたパターンとして図１３が得られる。

次に第２カメラ３０で得られたストライプ画像からストライプを抽出し、先ほどと同じようにセルに分割する。各セルについて、再コード化されたコードを用いて各セルのコードを検出し、検出されたコードに基づいて光源からの照射方向θを算出する。各画素の属するセルのθとカメラ２で撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長Ｌを用いて式（１）によって距離Ｚを算出する。なお、測定点ｐと、光源からの照射方向θと、第２カメラ３０で撮影された画像上のｘ座標と、カメラパラメータである焦点距離Ｆと、基線長Ｌとの関係を図１４に示す。

Ｚ＝ＦＬ／（ｘ＋Ｆｔａｎθ） −−−式（１）

この計算は実際にはセルの境界のｘ座標を利用して行うが、このときのｘ座標はカメラの画素解像度よりも細かい単位で計算することで計測精度を向上させている。ｘ座標値は、先に算出したエッジ画素の両側のセルの適当な数画素の輝度平均値ｄ１、ｄ２とエッジ画素の輝度ｄｅから求める。エッジ画素の両隣の画素位置ｐ１とｐ２と輝度平均値ｄ１とｄ２から一次補間した直線から輝度ｄｅに相当する画素位置ｄｅ’（図では便宜上ｘで示す）が求められ、これがｘ座標値となる。（図１５参照）

図６はｘ座標を求める構成例を示している。図６においては、エッジ右近傍画素位置入力部２１０、エッジ右セル輝度平均値入力部２２０、エッジ左近傍画素位置入力部２３０、エッジ左セル輝度平均値入力部２４０、エッジ輝度入力部２５０からそれぞれｄ１、ｐ１、ｄ２、ｐ２、ｄｅを補間計算部２００に供給して上述のとおりｘ座標を計算する。

以上説明したように、本発明の実施例によれば、第２カメラの前面にＮＤフィルタ、ハーフミラー等を配置したり、第１カメラ、第２のカメラのレンズ絞りを調整する事によって、双方のカメラパラメータ（シャッター速度）などを同じにしての形状計測が可能になる。カメラ部の調整回路なども統一出来る事や、投影装置の光源（その制御回路など）も単純化が可能になるため、低コストで小型化が可能になる。また、フラッシュ光源の使用も可能になる。

なお、本発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、上述の例では、プロジェクタ（投光器）１０からのパターン光をハーフミラー４０で反射させて被写体に投影するようにしたが、図Ａで示したように、プロジェクタ１０からのパターン光をハーフミラー４０で透過させて被写体に投影し、その反射光をハーフミラー４０で反射させて第１カメラに案内しても良い。この場合、ハーフミラー４０の反射率がＮＤフィルタ３１の透過率に対応する。

また、図１６に示すように、第２カメラの前にＮＤフィルタ３１でなくハーフミラー４１を設けても良い。図１６の例では、第１カメラ２０にはハーフミラー４０の透過光が案内され、第２カメラ３０にもハーフミラー４１の透過光が案内されるので、ハーフミラー４１の透過率をハーフミラー４０の透過率と実質的に同じにすれば良い。ハーフミラー４１の反射光を第２カメラ３０に案内する場合には、ハーフミラー４１の反射率をハーフミラー４０の透過率と実質的に同じにすれば良い。図１８に示されるような構成においても同様に第１カメラ２０と第２カメラ３０の画像の明るさが同じになるようにハーフミラー４１を選定・調整すれば良い。

また、図１７に示すように、第１カメラ２０と第２カメラ３０の画像の明るさを同じにするために、第１カメラ２０、第２カメラ３０の撮像レンズの絞りを絞り調整機構２０ａ、３０で調整してもよい。一般的に、ハーフミラー４０の透過率が５０％とすれば、カメラレンズの絞りは、第１カメラ２０のレンズより、第２カメラ３０のレンズは一絞り絞ればよい。たとえば、第１カメラ２０の絞りをＦ４とした場合、第２カメラ３０の絞りはＦ５．６とすればよい。Ｆ２―Ｆ２．８、Ｆ２．８−Ｆ４、Ｆ４―Ｆ５．６、Ｆ５．６−Ｆ８の様な関係を保てば、ハーフミラー４０の透過率が５０％の場合、第１カメラ２０と第２カメラ３０の画像の明るさは実質的に等しくなる。

また、図１のＮＤフィルタ３１に変えて所定の開口（アパーチャ）を有する遮蔽板を設けて減光してもよい。遮蔽板を光路に沿って前後させて減光の程度を調整しても良い。

また、第１カメラと第２カメラでシャッター速度が異なっても良い場合には、シャッター速度を変えて第１カメラの画像と第２カメラの画像とを実質的に同じ明るさにしても良い。

本発明の実施例の装置構成を示す図である。上述実施例を説明するためのパターンと被写体の一例を示す図である。上述実施例のストライプパターン例を示す図である。上述実施例の投影態様を説明する図である。上述実施例の距離計算の構成例を説明するブロック図である。上述実施例のエッジ位置の補間計算例を説明するブロック図である。上述実施例の再コード化の動作例を説明する上述実施例の再コード化の例を説明する図である。上述実施例の再コード化を説明するためのカメラと被写体の配置図である。上述実施例の再コード化を説明するためのパターン図である。上述実施例の第１カメラのモニタ画像の例を示す図である。上述実施例の第２カメラ２のモニタ画像の例を示す図である。上述実施例において被写体にあたって輝度が変化した部分を説明する図である。上述実施例における距離計算を説明する図である。上述実施例のエッジ座標の算出説明図である。上述実施例の変形例の装置構成を示す図である。上述実施例の他の変形例の装置構成を示す図である。従来の３次元形状測定装置の構成を説明する図である。

符号の説明

１０プロジェクタ（パターン投影装置）
２０第１カメラ
２０ａ、３０ａ絞り調整機構
３０第２カメラ
３１ＮＤフィルタ
４０、４１ハーフミラー
５０対象物
６０制御部

Claims

所定の輝度・色相範囲で予め設定された複数レベルの輝度・色相でコード化されたストライプパターンを被写体に投影する投光器と、前記投光器の投光パターンの被写体情報による輝度・色相変化をモニタするために、第１のビームスプリッタを用いて前記投光器と同じ光軸方向に配置した第１のカメラと、前記投光器の光軸からずれて配置される第２のカメラとを具備し、前記投光器の光軸からずれて配置される第２のカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元形状測定装置において、前記投光器の光軸からずれて配置される第２のカメラと前記投光器との間の光路に、前記第１のビームスプリッタと同一の第２のビームスプリッタを前記第１のビームスプリッタと前記投光器と同じ光軸方向に配置した第１のカメラとの間の位置関係と同じ位置関係で設けたことを特徴とする３次元形状測定装置。
所定の輝度・色相範囲で予め設定された複数レベルの輝度・色相でコード化されたストライプパターンを被写体に投影する投光器と、前記投光器の投光パターンの被写体情報による輝度・色相変化をモニタするために、第１のビームスプリッタを用いて前記投光器と同じ光軸方向に配置した第１のカメラと、前記投光器の光軸からずれて配置される第２のカメラとを用い、前記投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元形状測定方法において、前記投光器の光軸からずれて配置される第２のカメラと前記投光器との間の光路に、前記第１のビームスプリッタと同一の第２のビームスプリッタを前記第１のビームスプリッタと前記投光器と同じ光軸方向に配置した第１のカメラとの間の位置関係と同じ位置関係で設けることを特徴とする３次元形状測定方法。