JP4525240B2

JP4525240B2 - ３次元画像入力装置および方法

Info

Publication number: JP4525240B2
Application number: JP2004242185A
Authority: JP
Inventors: 弘之三宅; 勉安部
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-08-23
Filing date: 2004-08-23
Publication date: 2010-08-18
Anticipated expiration: 2024-08-23
Also published as: JP2006058215A

Description

本発明は、パターン投影法を用いて対象物体までの距離情報を取得する３次元画像入力技術に関する。

対象物の形状を計測する手法として、対象物に基準となるパターンを投影してこの基準となるパターン光が投影された方向とは異なる方向からＣＣＤカメラなどで撮影を行うパターン投影法と呼ばれる手法がある。撮影されたパターンは物体の形状によって変形を受けたものとなるが、この撮影された変形パターンと投影したパターンとの対応づけを行うことで、物体の３次元計測を行うことができる。パターン投影法では変形パターンと投影したパターンとの対応づけをいかに誤対応を少なく、かつ簡便に行うかが課題となっている。そこで様々なパターン投影法が従来より提案されている。

例えば特許文献１に開示される手法は、コード化されたパターンを投影する投光器と、投光器の光軸方向から投影パターンを撮影する第１のカメラと、投光器の光軸方向と異なる方向から投影パターンを撮影する第２のカメラとを備え、投影パターンに対する第１のカメラによる撮影パターンの変化量が所定値以上の領域について新たなコードを割り付け、割り付けたコードを用いて第２のカメラによる撮影パターンから距離情報を生成し、この距離情報および第１のカメラより得られた輝度情報に基づいて３次元画像を得るよう構成した３次元画像撮影装置である。投影パターンを同じ光軸に置いた第１のカメラで撮影したパターンを用いて再コード化することにより精度よく３次元計測を行うことができる。
特許第３４８２９９０号公報

このような投影パターンを用いた方式では、ストライプの境界部の座標をカメラと投光器との位置関係から三角測量の原理により求めている。従ってカメラ画像において縦方向（Ｙ軸方向）にはカメラの解像度分、横方向（Ｘ軸方向）にはストライプ境界数分の座標データが算出されることになる。ストライプ幅をカメラ解像度と同等にすることは困難であるので、算出されたデータはＹ軸方向には密で、Ｘ軸方向には疎になってしまう。このため細かな形状の起伏を正確に取得できない場合があるという問題があった。

本発明は、以上の事情を考慮してなされたものであり、Ｘ軸方向の解像度を改善することを目的としている。

本発明の構成例においては、上述の目的を達成するために、ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラＡ（第２カメラ）で前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る際に、投光器の光軸を中心にして前記カメラＡと９０度の位置にカメラＢ（第３カメラ）を設置し、投影パターンの縦横方向によりカメラＡとカメラＢの役割を交換する。

この構成においては、パターン投影法により得られる点群データを、縦方向および横方向の投影パターンを用いて撮影した画像から算出するので、被写体に忠実な３次元形状データを得ることが可能となる。また一連の処理の中で形状取得時と同じ画角のテクスチャ撮影も可能となる。また、特許文献１（特許第３４８２９９０号公報）のようなモニタ用のカメラ（第１カメラ）を採用する場合、カメラＡまたはＢによりモニタ用カメラの正反射成分に関する補間撮影を行なうので、より正確なコード化が可能となり、ノイズの少ない形状データを得ることができる。

また上述の構成例において、投影パターンが縦方向の時はカメラＡを測定用、カメラＢをテクスチャ撮影用とし、投影パターンが横方向の時にはカメラＡをテクスチャ撮影用、カメラＢを測定用とすることが好ましい。

さらに、本発明を説明する。

本発明の一側面によれば、上述の目的を達成するために、ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の３次元画像を得る３次元画像入力装置に：前記投光器の投影パターンのストライプの長さ方向のストライプ角度を可変する可変手段と；前記カメラにより撮影した前記被写体上の投影パターンの画像に基づいて前記被写体の表面の点群データを取得する点群データ取得手段と；前記点群データ取得手段により異なるストライプ角度ごとに取得した点群データを合成する合成手段と設けるようにしている。

３次元画像入力装置は、被写体上の点群の位置データ（点群データ）を生成するものであり、３次元形状測定装置等とも呼ばれる。

この構成においては、解像度が低くなる投影パターンのストライプの並び方向の角度を変えて点群データを取得して合成しているので、全体的な解像度を改善できる。角度の変化は、相対的なものであり、パターン画像自体の角度や装置側の角度を替えても良いし、被写体の角度を替えても良い。

この構成において、好ましくは、前記ストライプ角度を垂直および水平にして前記点群データを取得する。前記ストライプ角度が垂直な場合には、前記カメラを前記投光器に対して水平に配置することが好ましい。前記ストライプ角度が水平な場合には、前記カメラを前記投光器に対して垂直に配置することが好ましい。前記ストライプ角度が任意の場合には、前記カメラを、ストライプの長さ方向に対して直角な方向に前記投光器に対して配置することが好ましい。

また、本発明の他の側面によれば、上述の目的を達成するために、３次元画像入力装置に：ストライプ状の投影パターンを被写体に投影する投光器と；前記投光器の投影パターンのストライプの長さ方向のストライプ角度を可変する可変手段と；前記投光器の光軸からずれて配置され、相互に光軸が異なる２以上のカメラと；前記カメラにより撮影した前記被写体上の投影パターンの画像に基づいて前記被写体の表面の点群データを取得する点群データ取得手段と；前記点群データ取得手段により異なるストライプ角度ごとに取得した点群データを合成する合成手段とを設けている。

この構成においても、解像度が低くなる投影パターンのストライプの並び方向の角度を変えて点群データを取得して合成しているので、全体的な解像度を改善できる。

この構成において、好ましくは、前記ストライプ角度を可変する毎に前記２以上のカメラの１つを用いて順次に当該ストライプ角度の投影パターンを撮像して当該カメラにより撮影した前記被写体上の投影パターンの画像に基づいて前記被写体の表面の点群データを取得する。

さらに好ましくは、前記ストライプ角度を垂直および水平にして２つのカメラの一方で垂直のストライプ角度の投影パターンを撮像して前記点群データを取得し、前記２つのカメラの他方で水平のストライプ角度の投影パターンを撮像して前記点群データを取得する。

また、前記２つのカメラの一方で垂直のストライプ角度の投影パターンを撮像する際に前記２つのカメラの他方で前記被写体のテクスチャを撮影し、前記２つのカメラの他方で垂直のストライプ角度の投影パターンを撮像する際に前記２つのカメラの一方で前記被写体のテクスチャを撮影することが好ましい。

また、前記２つのカメラの一方が前記投光器に対して水平な位置に配置され、前記２つのカメラの他方が前記投光器に対して垂直に配置されることが好ましい。

なお、本発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品も本発明の技術的な範囲に含まれることも当然である。

本発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。

本発明によれば、ストライプ角度が異なる複数のストライプパターンを用いて点群データを取得するので、被写体に忠実な３次元形状データを得ることが可能となる。

以下、本発明の実施例について説明する。

本発明の実施例１に係る３次元画像入力装置を説明する。

図１は、本発明の実施例１の３次元画像入力装置の構成図であり、図１において、３次元画像入力装置は、３次元計測用にパターンを投影するパターン投影装置（たとえば液晶プロジェクタ）１０、同光軸でパターンをモニタする撮像装置（たとえばＣＣＤカメラ。第１カメラとも呼ぶ）２０、三角測量用撮像装置（たとえばＣＣＤカメラ。第２カメラとも呼ぶ）３０、テクスチャ用撮像装置（例えばＣＣＤカメラ。第３カメラとも呼ぶ）３５、制御部６０等で構成される。第２カメラ３０は後述の縦のストライプパターンを撮影するものであり、プロジェクタ１０に対して水平な位置に配置される。第３カメラ３５は後述の横のストライプパターンを撮影するものであり、プロジェクタ１０に対して垂直な位置に配置される。制御部６０は例えばパーソナルコンピュータや専用の処理装置で構成される。

制御部６０は、機能的に大きく分けると、ストライプパターン設定部６０１、点群データ計算部６０２、３次元画像合成部６０３等を含んで構成される。ストライプパターン設定部６０１は基本的には後述するようにストライプパターンのストライプの長さ方向の角度（以下ではストライプ角度ともいう）を可変させてストライプパターンを調整するものである。その他、ストライプパターンの種類等を合わせて切り替えても良い。ストライプパターンは液晶プロジェクタの入力データを可変しても良いし、投影フィルムの機械的な角度を回転させても良い。十分な精度を確保できる範囲でプロジェクタ１０自体の角度を回転させても良い。点群データ計算部６０２は後述するようにエッジ情報に基づいて三角測量により被写体５０上の点群データ（距離データ）を取得するものである。３次元画像合成部６０３は複数組の点群データを合成するものである。これは、補間等の処理を合わせて行なっても良い。

４０はハーフミラーであり、５０は対象物（被写体ともいう）である。この３次元測定装置の基本的な構成は、特許文献１（特許第３４８２９９０号公報）に開示される構成と同様である。パターン投影装置１０は、液晶プロジェクタもしくはＤＬＰ（商標）プロジェクタ、またはスライドプロジェクタを用いる。パターン投影装置１０、たとえば液晶プロジェクタへ入力する投影パターンは、図２に示すような濃淡のあるストライプパターンを用い、例えば、図２の右側に図示されている対象物（物体）にパターン投影する。スライドプロジェクタを用いる場合、投影パターンはスライドフィルム上へ形成するか、ガラスパターンに金属膜などを蒸着し膜厚や網膜点パターンなどによって透過率をコントロールする。

図３に、たとえば液晶プロジェクタへ入力するパターンデータの水平方向の輝度プロファイルを示す。投影パターン（パターンデータ）は２５６階調を６段階に分けた７種類の輝度ストライプの組み合わせである。パターン投影装置１０例えば液晶プロジェクタは、このパターンを９０度回転させた投影パターンも切り替えて投影することが可能である。

図４に縦（ストライプが垂直方向）のストライプパターンを用いたパターン投影の様子を示す。撮像装置（第１カメラ２０）と投影装置（パターン投影装置１０）をハーフミラー４０などで同光軸に配置し、三角計測用に撮像装置を用意し、図２に示すようなストライプパターンを投影する。同光軸の撮像素子（第１カメラ２０）で観測された画像（第１カメラ・イメージ）から再コード化を実施し、測定用撮像素子（第２カメラ３０）で観測された画像（第２カメラ・イメージ）とで３次元距離画像（距離。被写体上の点群データ）を算出する。図４では、第３カメラ３５は図示していない。

図５に横（ストライプが水平方向）のストライプパターンを用いたパターン投影の様子を示す。構成や処理は図３の縦のストライプパターンの場合と同様である。図４では、第２カメラ３０は図示していない。

つぎに実施例１の形状入力処理の概略を説明する。

図６は実施例１の形状入力処理の概略を示しており、この図において、プロジェクタ１０を投影動作させていない状態でテクスチャ画像を第３カメラ３５によって撮影し（Ｓ１０）、次にプロジェクタ１０で縦方向のパターンを投影する（Ｓ１１）。その様子を第１カメラ２０および第２カメラ３０で撮影する（Ｓ１２）。次に投影パターンを横方向パターンに変更し（Ｓ１３）、その様子を第１カメラ２０および第３カメラ３５で撮影する（Ｓ１４）。プロジェクタ投影をＯＦＦにし（Ｓ１５）、第２カメラ３０によるテクスチャ撮影を行なう（Ｓ１６）。以上、得られた画像をＰＣなどの制御部６０（演算処理手段）により上述の処理を行ない、２組の点群データを得て（Ｓ１７）、最後にマージ処理を行なう（Ｓ１８）。

本実施例で得られるデータを図７に示す。図７（ａ）はある被写体５０を第１カメラ２０の方向から見た画像である。この被写体５０に対し、点群データ算出処理（距離計算処理。詳細は図９〜図１９を参照して後に説明する）を第１カメラ２０と第２カメラ３０で撮像した画像に対して行うと、図７（ｂ）に示すような点群データが得られる。ここでは点群データも第１カメラ２０からの投影図としている。同様に、９０回転させたストライプ投影パターンを投影して第１カメラ２０と第３カメラ３５とでその様子を撮影し、同様の座標算出処理を行い、図７（ｃ）に示すような点群データを得る。このときの画像処理において画像内のストライプの方向が９０度ずれているので、同じプログラムを適用するために撮影した画像を９０度回転処理した画像を利用してもよい。

以上の２回の座標算出処理によって求められた点群データをマージして最終的な点群データ（図７（ｄ））が求められる。

上述のとおり、形状計測に用いられない第２カメラ３０または第３カメラ３５は、パターン投影がなされないときにテクスチャ画像を撮影する。２方向からテクスチャ画像を撮影することになるが、テクスチャマッピングにはどちらかを用いてもよい。また２枚の画像を１枚にまとめて利用してもよい。

つぎに形状計測に用いられないカメラ３０、３５の他の用途について説明する。形状計測に用いられないカメラの役割として、第１カメラ２０の補間画像撮影がある。パターン投影時には被写体の表面材質によっては第１カメラ２０にプロジェクタ１０の光源の被写体からの正反射光が入射する（図８（ａ））。この場合には第１カメラ２０の撮影画像は正反射部分でストライプ境界が不鮮明になったりセルのコードに本来とは誤ったコードを割り当てるなどの不具合を生じる。一方縦方向投影パターンの投影時には第３カメラ３５は第１カメラ２０と同様にストライプ境界が直線状態の画像を得ることができ、さらにプロジェクタ１０の光源の正反射成分は第１カメラ２０とは異なる部分に撮影される（図８（ｂ））。第３カメラ３５の画像の歪みをカメラパラメータによって図８（ｃ）のように補正し、第１カメラ２０と第３カメラ３５との間で、被写体表面の模様などの位置のマッチングをとることで、第１カメラ２０の画像上の正反射部分の位置が第３カメラ３５の画像（図８（ｃ））上の破線部分のように決めることができる。その対応する部分の画像のみを第１カメラ２０の画像に貼りこむことで正反射成分のない第１カメラ２０の画像（図８（ｄ））を得ることができ、この画像と第２カメラ３０の画像を利用して形状データの算出処理を行なう。

同様に９０度回転させた横方向パターン投影時には、第２カメラ３０を第１カメラ２０の補間画像撮影に用い、同様の処理を行なう。

つぎに距離画像（点群データ）を算出する処理について説明する。

図９は、距離画像を算出する構成例を示しており、この図において、パターン投影装置１０がコード化されたパターンを対象物５０に投影する。このパターンはフレームメモリ１１０に記憶される。モニタ用の第１カメラ２０および三角測量用の第２カメラ３０により、対象物５０上の投影パターンを撮像しそれぞれパターン画像メモリ１２０、１５０に記憶する。

領域分割部１３０はパターン画像メモリ１２０のパターン画像を、パターン投影装置１０からの投影パターン（光）が十分に届いている領域（領域２ともいう）と届いていない領域（領域１ともいう）に分割する。たとえば、隣り合うストライプ間の強度差が閾値以下である領域については、投影パターンが十分に届いてないと判別し、ストライプ間の強度差が閾値以上である領域を投影パターンが十分に届いている領域と判別する。投影パターンが十分に届いている領域に関し、以下に述べるように、境界線となるエッジ画素算出を行い、距離計算を行う。投影パターンが十分に届いてない領域については、別途、視差に基づく距離計算を行う。ここではとくに説明しないが、詳細は特許文献１（特許第３４８２９９０号公報）を参照されたい。

再コード化部１６０は、抽出された領域２についてストライプを抽出し、各ストライプをストライプ幅毎に縦方向に分割し、正方形のセルを生成し、セルの再コード化を行う。これについては後に詳述する。

コード復号部１７０は、パターン画像メモリ１５０に記憶されている、三角測量用の第２カメラ３０からのパターン画像の各セル（エッジ）のコードを再コード化部１６０からのコードを用いて判別する。これにより、パターン画像メモリ１５０のパターン画像における測定点ｐ（エッジ）の画素のｘ座標および光源からの照射方向（スリット角）θが決定され、後述する式（１）により距離Ｚが測定される（図１７参照）。３次元画像メモリ１８０は、この距離と、第１カメラ２０から取得した対象物の輝度値（輝度値メモリ１４０に記憶される）とを三次元画像データとして記憶する。

この構成例における３次元形状の算出の詳細についてさらに説明する。

上述で得られたそれぞれのパターン画像、輝度値を用いて３次元形状を算出する為に以下の操作を行う。

同光軸のモニタ用の第１カメラ２０によって撮影されたパターン画像と投光に用いられたパターン画像を用いて図１０に示すフローチャートに従って再コード化を行う。最初に第１カメラ２０で撮影されたパターン画像の領域分割を行う。隣り合うストライプ間の強度差が閾値以下である領域については、パターン投影装置１０からの投影パターンが届いてない領域１として抽出し、ストライプ間の強度差が閾値以上である領域を領域２として抽出し（Ｓ３０）、領域２について境界線となるエッジ画素算出を行う。

抽出された領域２についてストライプを抽出し、各ストライプをストライプ幅毎に縦方向に分割し、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする（Ｓ３１）。画像の中心から順に対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なった場合には新たなコードの生成、割り付けを行う（Ｓ３２〜Ｓ３６）。

図１１は簡単のため単純化した例であるが、図１１の左側のストライプ列がストライプの並びによってコード化された投光パターンであり、それぞれの強度に３（強）、２（中）、１（弱）が割り当てられている。図１１の右側がそれぞれ同軸上の第１カメラ２０で撮影されたストライプをセルの幅でストライプと垂直方向に抽出したものである。図１１の右上の例では、左から３つめのセルで強度が変化して新たなコードが出現したので、新たに０というコードを割り当てる。図１１の右下の例では、左から３つめ上から２つめのセルで、既存のコードが出現しているので、セルの並びから新たなコードとして（２３２、１３１）という具合に（縦の並び，横の並び）によってコードを表現する。この再コード化は、対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。

例として、図１２の対象物に、図１３のパターンを投光した場合に第１カメラ２０、第２カメラ３０で得られる画像を簡単化したものをそれぞれ図１４、図１５に示す。この例では、板の表面には新たなコード化されたパターンとして図１６が得られる。

次に第２カメラ３０で得られたストライプ画像からストライプを抽出し、先ほどと同じようにセルに分割する。各セルについて、再コード化されたコードを用いて各セルのコードを検出し、検出されたコードに基づいて光源からの照射方向θを算出する。各画素の属するセルのθとカメラ２で撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長Ｌを用いて式（１）によって距離Ｚを算出する。なお、測定点ｐと、光源からの照射方向θと、第２カメラ３０で撮影された画像上のｘ座標と、カメラパラメータである焦点距離Ｆと、基線長Ｌとの関係を図１７に示す。

Ｚ＝ＦＬ／（ｘ＋Ｆｔａｎθ） −−−式（１）

この計算は実際にはセルの境界のｘ座標を利用して行うが、このときのｘ座標はカメラの画素解像度よりも細かい単位で計算することで計測精度を向上させている。ｘ座標値は、先に算出したエッジ画素の両側のセルの適当な数画素の輝度平均値ｄ１、ｄ２とエッジ画素の輝度ｄｅから求める。エッジ画素の両隣の画素位置ｐ１とｐ２と輝度平均値ｄ１とｄ２から一次補間した直線から輝度ｄｅに相当する画素位置ｄｅ’（図では便宜上ｘで示す）が求められ、これがｘ座標値となる。（図１８参照）

図１９はｘ座標を求める構成例を示している。図１９においては、エッジ右近傍画素位置入力部２１０、エッジ右セル輝度平均値入力部２２０、エッジ左近傍画素位置入力部２３０、エッジ左セル輝度平均値入力部２４０、エッジ輝度入力部２５０からそれぞれｄ１、ｐ１、ｄ２、ｐ２、ｄｅを補間計算部２００に供給して上述のとおりｘ座標を計算する。

つぎに本発明の実施例２の３次元画像入力装置について説明する。

実施例１は可視光によるパターン投影により３次元画像を入力するようにしたが、実施例２では、近赤外光によるパターン投影を行なう。近赤外光によるパターン投影の場合には、第２カメラ３０と第３カメラ３５にはフィルタ交換装置（図示しない）を取り付け、近赤外波長のみを透過するフィルタと近赤外波長を遮断するフィルタとを交互に装着可能となるようになっている。また第１カメラ２０には近赤外波長のみを透過するフィルタ（図示しない）が取り付けられている。

図２０に処理全体の流れを示す。図２０において、初期状態はフィルタ交換装置によって第２カメラ３０は近赤外波長のみを透過するフィルタ、第３カメラ３５には近赤外波長を遮断するフィルタが装着されている。まず近赤外光プロジェクタ１０から縦方向パターンを投影して（Ｓ４０）、第１カメラ２０と第２カメラ３０による形状計測用の撮影と第３カメラ３５によるテクスチャ撮影とを同時に実行する（Ｓ４１）。次に第２カメラ３０は近赤外波長を遮断するフィルタに交換し、第３カメラ３５は近赤外波長のみを透過するフィルタに交換して（Ｓ４２）、９０度回転させた横方向投影パターンを投影し（Ｓ４３）、第１カメラ２０と第３カメラ３５による形状計測用の撮影と第２カメラ３０によるテクスチャ撮影とを同時に実行する（Ｓ４４）。この後、パターン投影をＯＦＦにして（Ｓ４５）、点群データの計算処理を行い（Ｓ４６）、２回の投影で得た点群データをマージする（Ｓ４７）。

この例でも、２方向からテクスチャ画像を撮影することになるが、テクスチャマッピングにはどちらかを用いてもよい。また２枚の画像を１枚にまとめて利用してもよい。

以上説明したように、上述の実施例１、２のよれば、パターン投影法により得られる点群データについて、縦方向および横方向の投影パターンを用いて撮影した画像からデータを算出するので、被写体に忠実な３次元形状データを得ることが可能となる。また一連の処理の中で形状取得時と同じ画角のテクスチャ撮影も可能となる。また第２カメラまたは第３カメラにより第１カメラの正反射成分に関する補間撮影を行なうので、より正確なコード化が可能となり、ノイズの少ない形状データを得ることができる。

なお、本発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、上述実施例では縦および横のストライプパターンを採用したが、ストライプ角度が異なる任意の２つ以上のストライプパターンを用いても良い。

また、上述実施例では計測用に２つのカメラ（第２カメラおよび第３カメラ）を用いたが、計測用に１つのカメラを用い、このカメラで異なるストライプ角度のストライプパターンを撮影して複数組の点群データを得るようにしても良い。

また、第１および第２のカメラとプロジェクタのセットを光軸を中心に回転させることでストライプ角度を変更するようにしてもよい。例えば、図２１に示すようにプロジェクタ１０、第１カメラ２０、第２カメラ３０、ハーフミラー４０等を取付フレーム１００に取付ける。図では紙面の上方に被写体が配置される。（ａ）では水平方向の複数のストライプが並んだストライプパターンが被写体に投影される。第１カメラ２０の撮影画像でパターンの再コード化を行なう点は上述と同じである。第２カメラ３０の撮影画像に基づいて点群を取得する点も上述と同じである。この後、取付フレーム１００を回転させてプロジェクタ１０、第１カメラ２０、第２カメラ３０のセットを光軸を中心に回転させ、（ｂ）の回転位置にする。ストライプパターン自体は（ａ）のときと同じであるが、プロジェクタ１０が回転しているので、投影パターン自体は回転したものとなっている。もちろん他の角度でもかまわない。この後、ストライプパターンを投影して第１カメラ２０で再コード化を行い、第２カメラ３０で点群データを取得する。そして、２組の点群を合成する。もちろん、さらに異なる１または複数の角度位置の点群データを取得して合成に加えても良い。装置のセットを回転させるのではなく、被写体を回転させるようにしてもよい。

また、上述実施例では、ハーフミラー４０を用いて投影装置１０とモニタ用の撮像装置２０とを同一の光軸（同主点）に配置したが、図２２に示すように、投影装置１０および撮像装置２０を、パターンのストライプ（エッジ）の方向に無視できる程度に離間して配置し、実質的に同一の光軸上（同主点）に配置しても良い。この場合ハーフミラーによるパターン光のロスや配分に伴うパワーの低下やバラツキを回避できる。ただし、ストライプ角度に応じてモニタ用の撮像装置２０を移動させる必要がある。

本発明の実施例１の装置構成を示す図である。上述実施例１を説明するためのパターンと被写体の一例を示す図である。上述実施例１のストライプパターンのプロファイル例を説明する図である。上述実施例１の縦のストライプパターンを用いた場合の撮影態様を説明する図である。上述実施例１の縦のストライプパターンを用いた場合の撮影態様を説明する図である。上述実施例１の動作を説明する概要図である。上述実施例１の点群データの合成を説明する図である。上述実施例１の第１カメラの画像の補間例を説明する図である。上述実施例１の距離計算の構成例を説明するブロック図である。上述実施例１の再コード化の動作例を説明する上述実施例１の再コード化を説明する図である。上述実施例１の再コード化を説明するためのカメラと被写体の配置図である。上述実施例１の再コード化を説明するためのパターン図である。上述実施例１の第１カメラのモニタ画像の例を示す図である。上述実施例１の第２カメラ２のモニタ画像の例を示す図である。上述実施例１において被写体にあたって輝度が変化した部分を説明する図である。上述実施例における距離計算を説明する図である。上述実施例のエッジ座標の算出説明図である。上述構成例１の測定点の第２カメラの画像上の座標ｘの補間計算を行う回路構成例を説明する図である。本発明の実施例２の動作例を説明するフローチャートである。上述実施例の変形例を説明する図である。上述実施例の他の変形例を説明する図である。

符号の説明

１０パターン投影装置（プロジェクタ）
２０第１カメラ（撮像装置）
３０第２カメラ（撮像装置）
３５第３カメラ（撮像装置）
４０ハーフミラー
５０対象物（被写体）
６０制御部
６０１ストライプパターン設定部
６０２点群データ計算部
６０３３次元画像合成部

Claims

コード化されたストライプ状の投影パターンを被写体に投影する投光器と、
前記投光器の光軸方向から前記投影パターンを撮影する第１のカメラと、
前記投光器の光軸からずれて配置され、前記投光器の光軸方向と異なる第１の方向から前記投影パターンを撮影する第２のカメラと、
前記投光器の光軸から、前記第２のカメラのずれの方向に対して直交する方向に、ずれて配置され、前記投光器の光軸方向と異なる第２の方向から前記投影パターンを撮影する第３のカメラと、
制御部と、
を有し、
前記制御部は、
前記投影器の投影パターンのストライプの長さ方向を、相互に異なる第１の方向および第２の方向の間で切り替える手段と、
前記投影器の投影パターンのストライプの長さ方向が前記第１の方向であるときに、前記投影パターンの画像に対する前記第１のカメラによる撮影パターンの画像におけるストライプ間の強度変化量が所定値以上の領域について新たなコードを割り付け、前記割り付けたコードを用いて前記第２のカメラによる撮影パターンの画像から前記被写体の表面の第１の点群データを取得し、前記投影器の投影パターンのストライプの長さ方向が前記第２の方向であるときに、前記投影パターンの画像に対する前記第１のカメラによる撮影パターンの画像におけるストライプ間の強度変化量が所定値以上の領域について新たなコードを割り付け、前記割り付けたコードを用いて前記第３のカメラによる撮影パターンの画像から前記被写体の表面の第２の点群データを取得する点群データ取得手段と、
前記点群データ取得手段により取得した前記第１の点群データおよび前記第２の点群データを合成する合成手段とを有し、
更に、前記制御部は、
前記第２のカメラによる撮影パターンの画像から前記被写体の表面の前記第１の点群データを取得する際に、前記第１のカメラによる撮影パターンの画像の一部が前記被写体による正反射画像である場合に、前記第３のカメラによる撮影パターンの画像中の前記一部に対応する部分の画像で、当該正反射画像を補正し、
前記第３のカメラによる撮影パターンの画像から前記被写体の表面の前記第２の点群データを取得する際に、前記第１のカメラによる撮影パターンの画像の一部が前記被写体による正反射画像である場合に、前記第２のカメラによる撮影パターンの画像中の前記一部に対応する部分の画像で、当該正反射画像を補正する手段を有することを特徴とする３次元画像入力システム。
前記第２のカメラで投影パターンを撮像する場合に、前記第３のカメラで前記被写体のテクスチャを撮影し、前記第３のカメラで投影パターンを撮像する場合に、前記第２のカメラで前記被写体のテクスチャを撮影する請求項１記載の３次元画像入力システム。
コード化されたストライプ状の投影パターンを被写体に投影する投光器と、
前記投光器の光軸方向から前記投影パターンを撮影する第１のカメラと、
前記投光器の光軸からずれて配置され、前記投光器の光軸方向と異なる第１の方向から前記投影パターンを撮影する第２のカメラと、
前記投光器の光軸から、前記第２のカメラのずれの方向に対して直交する方向に、ずれて配置され、前記投光器の光軸方向と異なる第２の方向から前記投影パターンを撮影する第３のカメラと、
前記投光器の投影パターンのストライプの長さ方向を、相互に異なる第１の方向および第２の方向の間で切り替える手段と、
前記投影器の投影パターンのストライプの長さ方向が前記第１の方向であるときに、前記投影パターンの画像に対する前記第１のカメラによる撮影パターンの画像におけるストライプ間の強度変化量が所定値以上の領域について新たなコードを割り付け、前記割り付けたコードを用いて前記第２のカメラによる撮影パターンの画像から前記被写体の表面の第１の点群データを取得し、前記投影器の投影パターンのストライプの長さ方向が前記第２の方向であるときに、前記投影パターンの画像に対する前記第１のカメラによる撮影パターンの画像におけるストライプ間の強度変化量が所定値以上の領域について新たなコードを割り付け、前記割り付けたコードを用いて前記第３のカメラによる撮影パターンの画像から前記被写体の表面の第２の点群データを取得する点群データ取得手段と、
前記点群データ取得手段により取得した前記第１の点群データおよび前記第２の点群データを合成する合成手段とを有し、
さらに、前記第２のカメラによる撮影パターンの画像から前記被写体の表面の前記第１の点群データを取得する際に、前記第１のカメラによる撮影パターンの画像の一部が前記被写体による正反射画像である場合に、前記第３のカメラによる撮影パターンの画像中の前記一部に対応する部分の画像で、当該正反射画像を補正し、
前記第３のカメラによる撮影パターンの画像から前記被写体の表面の前記第２の点群データを取得する際に、前記第１のカメラによる撮影パターンの画像の一部が前記被写体による正反射画像である場合に、前記第２のカメラによる撮影パターンの画像中の前記一部に対応する部分の画像で、当該正反射画像を補正する手段を有することを特徴とする３次元画像入力装置。
コード化されたストライプ状の投影パターンを被写体に投影する投光器と、前記投光器の光軸方向から前記投影パターンを撮影する第１のカメラと、前記投光器の光軸からずれて配置され、前記投光器の光軸方向と異なる第１の方向から前記投影パターンを撮影する第２のカメラと、前記投光器の光軸から、前記第２のカメラのずれの方向に対して直交する方向に、ずれて配置され、前記投光器の光軸方向と異なる第２の方向から前記投影パターンを撮影する第３のカメラと、制御部と、を有する三次元画像入力システムに用いられる３次元画像入力コンピュータプログラムにおいて、
前記制御部を、
前記投影器の投影パターンのストライプの長さ方向を、相互に異なる第１の方向および第２の方向の間で切り替える手段、
前記投影器の投影パターンのストライプの長さ方向が前記第１の方向であるときに、前記投影パターンの画像に対する前記第１のカメラによる撮影パターンの画像におけるストライプ間の強度変化量が所定値以上の領域について新たなコードを割り付け、前記割り付けたコードを用いて前記第２のカメラによる撮影パターンの画像から前記被写体の表面の第１の点群データを取得し、前記投影器の投影パターンのストライプの長さ方向が前記第２の方向であるときに、前記投影パターンの画像に対する前記第１のカメラによる撮影パターンの画像におけるストライプ間の強度変化量が所定値以上の領域について新たなコードを割り付け、前記割り付けたコードを用いて前記第３のカメラによる撮影パターンの画像から前記被写体の表面の第２の点群データを取得する点群データ取得手段、
前記点群データ取得手段により取得した前記第１の点群データおよび前記第２の点群データを合成する合成手段
として機能させ、
更に、前記制御部を、
前記第２のカメラによる撮影パターンの画像から前記被写体の表面の前記第１の点群データを取得する際に、前記第１のカメラによる撮影パターンの画像の一部が前記被写体による正反射画像である場合に、前記第３のカメラによる撮影パターンの画像中の前記一部に対応する部分の画像で、当該正反射画像を補正し、
前記第３のカメラによる撮影パターンの画像から前記被写体の表面の前記第２の点群データを取得する際に、前記第１のカメラによる撮影パターンの画像の一部が前記被写体による正反射画像である場合に、前記第２のカメラによる撮影パターンの画像中の前記一部に対応する部分の画像で、当該正反射画像を補正する手段として機能させるために用いられることを特徴とする３次元画像入力用コンピュータプログラム。