JP3884321B2 - ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元形状を計測するために、被写体にパターンを投影し、受光パターンと投光パターンとの対応を求めることにより、奥行き値を取得可能な３次元情報取得装置、そのような３次元情報取得における投影パターン、及び、３次元情報取得方法に関する。
【０００２】
【従来の技術】
従来の３次元物体の形状計測方法には、大きく分けて次の２種類がある。一つは、光の伝播時間の測定による方法であり、もう一つは、三角測量の原理を利用した方法である。前者は、死角がなく、原理的には理想的な方法であるが、現状では、計測時間及び精度に問題があるため、主に後者の三角測量法が利用されている。
【０００３】
この三角測量を利用した方法には、能動的な手法であるアクティブ法と、受動的な手法であるパッシブステレオ法とがある。
【０００４】
上記パッシブステレオ法は、位置の異なる２台のカメラから得られたステレオの画像間の対応づけを行ない、その対応づけの結果と予め計測されている２台のカメラの位置関係とから三角測量の原理により、被写体までの距離を求める方法である。この方法は、画像間の対応づけの困難さが伴う上、テクスチャの無い物体の形状を求めることができないという欠点を有している。
【０００５】
これに対し、三角測量の原理を利用したアクティブ法として、上記２台のカメラの一方を光源に置き換え、物体表面での上記光源の像をもう一方の視点に設定したカメラで観察し、形状計測する光投影法がある。この光投影法は、更に、スポット光投影法、スリット光投影法及びパターン光投影法に分類することができる。
【０００６】
上記スポット光投影法では、１回の画像入力で被写体の１点しか計測できない。
【０００７】
上記スリット光投影法では、１回の画像入力で物体の１ラインの計測を行なうことができるが、やはり、被写体全域の形状計測を行なうためには、投影光を偏向させながら何度も画像入力を繰り返す必要があり、入力に時間がかかる。
【０００８】
上記パターン光投影法は、縞パターンまたは格子パターンのような２次元的なパターンを被写体に投影するもので、パターン投影画像の入力回数が少なくてよいため、計測を短時間で行なうことができるというメリットがある。
【０００９】
このパターン光投影法は、空間コード化とも呼ばれ、これは更にパターン形状コード化と階調コード化とに分けられる。
【００１０】
前者のパターン形状コード化として、スリットの開口幅の分布によるものと、Ｍ系列コードを利用したものとが提案されているが、計測密度及び計測の安定性に問題があり、実用性に乏しいといわれている。
【００１１】
一方、後者の階調コード化には、濃淡によるものと色によるものとがある。
【００１２】
まず、濃淡によるコード化については、パターンの明暗ピッチを倍々に変えて投影していく２値パターンによる時系列空間コード化法がよく知られている。この方法は、位置ずれやノイズによるコード化誤りを±１に抑えることができるなどの優れた特徴を持っており、Ｎ本のスリット光と同じ分解能を得るためには、ｌｏｇ_２Ｎ回の２値パターンを投影すればよい。例えば、１２８本のスリット画像と同じ分解能を７枚の２値パターンの投影で実現できる。
【００１３】
しかしながら、２値パターンによる時系列コード化では、三脚に固定せずに手で持って撮影する場合や、人間や動物などのようにじっと止まっていられない被写体の場合に充分に対処できない。なぜなら、投影回数が多いと手ぶれや被写体のぶれを許容できる時間内に撮影を終えることができないからである。更に、フラッシュの充電時間や発光量の制約もあり、これらを満足できる投影回数では済まないからである。
【００１４】
そこで、パターンの投影回数を減らすために、２値パターンを多値パターンにすることが考えられる。これに関しては、例えば、（精密工学会誌 ｖｏｌ．６２，Ｎｏ．６，ｐｐ．８３０−８３４，１９９６）中で提案されている。そこでは、フラッシュ撮影画像とフラッシュ無し撮影画像の各画素での輝度差を階調数で分割して、作成時の輝度値がどこの区間に収まるかで多階調を判別している。
【００１５】
このため、取得画像にガンマ特性などの非線型性がある場合や、反射輝度差が少ない領域においてデコード誤りを起こし易く、通常照明下での安定した測定が困難であった。また、計測結果が物体表面の色などの状態に影響されていた。これらの問題を解決すべく、上記文献中で参照用投影などの提案がされているが、投影回数が増えてしまうなど現実的ではない。このように、輝度の多階調によるコード化は、輝度の変動の影響を受け易いため、適切な閾値を設定することが困難であった。
【００１６】
一方、色によるコード化に関しては、例えば、（電子情報通信学会論文誌 ｖｏｌ．Ｊ６１−Ｄ，Ｎｏ．６，ｐｐ．４１１−４１８，１９７８）中で提案されている。図９は、Ｒ，Ｇ，Ｂの色によってコード化された縞パターンの例である。Ｒ，Ｇ，Ｂの間に最小輝度レベルである黒の領域を設けたことによって、光の拡散による混色を軽減することができるように工夫されている。
【００１７】
図１０を用いて従来の色によるカラーパターン投影法における処理の流れを説明する。
【００１８】
まず、図９のようなコード化済みのカラーパターンを被写体に投影し（ステップＳ１０１）、この投影パターンを撮影した画像データ（Ｐｒ，Ｐｇ，Ｐｂ）を得る（ステップＳ１０２）。
【００１９】
続いて、上記画像データより縞構造（Ｐｒ，Ｐｇ，Ｐｂの極大位置及び極小位置）を検出する（ステップＳ１０３）。そして、各縞に対し、Ｐｒ，Ｐｇ，Ｐｂの中で最大となる成分によって当該縞の射出時の色を特定する（ステップＳ１０４）。
【００２０】
次に、受光した縞のコード系列（色の並び方）を書き出し（ステップＳ１０５）、受光したコード系列の各コード番号とパターン射出時のコード系列のコード番号とを、コード系列内の配列関係も含めてマッチングする（ステップＳ１０６）。その結果、パターンの射出位置と反射光の受光位置とを一意的に対応づけることができ、これに三角測量の原理を適用して奥行き値を算出する（ステップＳ１０７）。
【００２１】
そして、得られた奥行き値と撮影した２次元画像情報とから３次元画像を生成する（ステップＳ１０８）。
【００２２】
従来の色によるカラーパターン投影法は、以上のような処理を行なっている。
【００２３】
【発明が解決しようとする課題】
しかしながら、従来の色によるカラーパターン投影法は、特に濃色系の物体に対しての３次元形状の測定が困難であった。図９を用いて、このことを説明する。
【００２４】
例えば、Ｇ成分とＢ成分の反射信号がほとんどゼロに近く、Ｒ成分の反射信号が強いような表面反射率特性を持つ物体（つまり、リンゴのような濃い赤の物体）に対しては、Ｒ成分の輝度値において、一つの極大の信号が得られるが、Ｇ成分とＢ成分の輝度値は、ほとんどノイズレベルになってしまう。このような状況下では、Ｇ成分とＢ成分の縞構造は抽出することすらできず、ましてや、縞を特定することなどできない。つまり、Ｒ，Ｇ，Ｂのうち一つの成分でも、その反射信号がゼロに近いような表面反射率特性を持つ物体に対してはデコードが困難になる。言い換えると、白色系または淡色系の物体表面に対しては、うまくデコードできるが、Ｒ，Ｇ，Ｂ成分の反射信号のうち一つでも、ほとんどゼロに近いノイズレベルの値となるような表面反射率特性を持つ物体に対しては、Ｒ，Ｇ，Ｂの組み合わせから求まる、色による判定は困難になってしまう。
【００２５】
なお、ここでは、縞パターンの例を挙げて説明したが、格子パターンなどの場合にも同様のことがあてはまる。
【００２６】
本発明は、上記の事情に鑑みてなされたもので、白色系や淡色系だけでなく濃色系の物体に対しても、コード化されたパターンの投影像から正しいデコードが可能となるような３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法を提供することを目的とする。
【００２７】
【課題を解決するための手段】
上記の目的を達成するために、本発明による３次元情報取得装置は、撮影手段から所定の距離離れた位置から複数の色成分のパターンが重畳された所定の投影パターンが投影された撮影対象を上記撮影手段で撮影し、上記撮影手段で撮影された画像を解析することにより、上記撮影対象の３次元情報を取得する３次元情報取得装置であって、光源からの光によって照明された上記撮影対象を撮影した第１の画像、上記光源を消灯あるいは遮光して上記光源からの光による照明を行なわずに上記撮影対象を撮影した第２の画像、及び上記光源からの光または上記光源と同じ特性を有する他の光源からの光を利用して上記投影パターンが投影された上記撮影対象を撮影した第３の画像を記憶する画像記憶手段と、上記撮影対象に投影される上記投影パターンを予め記憶するパターン記憶手段と、上記画像記憶手段に記憶された上記第１、第２及び第３の画像を利用して上記撮影対象の表面反射率および外光の影響を補正し、上記補正を行なって得られたパターン各部の色または階調（輝度）に基づいて撮影されたパターンの構造を推定するパターン構造推定手段と、上記パターン構造推定手段による上記推定の結果と上記パターン記憶手段に記憶された上記投影パターンとの対応関係を特定し、上記対応関係の特定結果に基づいて上記撮影対象の奥行き値を算出する奥行き算出手段とを備えることを特徴とするものである。
【００２８】
また、本発明による３次元情報取得方法は、撮影手段から所定の距離離れた位置から複数の色成分のパターンが重畳された所定の投影パターンが投影された撮影対象を上記撮影手段で撮影し、上記撮影手段で撮影された画像を解析することにより、上記撮影対象の３次元情報を取得する３次元情報取得方法であって、光源からの光によって照明された上記撮影対象を撮影することで第１の画像を得、上記光源を消灯あるいは遮光して上記光源からの光による照明を行なわずに上記撮影対象を撮影することで第２の画像を得、上記光源からの光または上記光源と同じ特性を有する他の光源からの光を利用して上記投影パターンが投影された上記撮影対象を撮影することで第３の画像を得、これら第１、第２及び第３の画像を利用して上記撮影対象の表面反射率および外光の影響を補正し、上記補正を行なって得られたパターン各部の色または階調（輝度）に基づいて撮影されたパターンの構造を推定し、上記推定の結果と上記投影した所定の投影パターンとの対応関係を特定し、上記対応関係の特定結果に基づいて上記撮影対象の奥行き値を算出することを特徴とするものである。
【００２９】
即ち、本発明の３次元情報取得装置及び３次元情報取得方法によれば、白色系や淡色系物体測定用である色による特徴と濃色系物体測定用である同一色成分の階調による特徴という２つの異なる特徴を併せ持つ投影パターンを用い、第１の画像（光源点灯）と第２の画像（光源消灯）と第３の画像（パターン投影）とから撮影対象の表面反射率及び外光の影響を補正して、パターン特定を行なった上で、奥行き値を算出するようにしているので、淡色系物体だけでなく濃色系物体においても３次元情報を取得することができる。
【００３０】
また、上記の目的を達成するために、本発明による３次元情報取得装置は、撮影手段から所定の距離離れた位置から複数の色成分のパターンが重畳された所定の投影パターンが投影された撮影対象を上記撮影手段で撮影し、上記撮影手段で撮影された画像を解析することにより、上記撮影対象の３次元情報を取得する３次元情報取得装置であって、光源からの光によって照明された上記撮影対象を撮影した第１の画像と、上記光源からの光または上記光源と同じ特性を有する他の光源からの光を利用して上記投影パターンが投影された上記撮影対象を撮影した第２の画像とを記憶する画像記憶手段と、上記撮影対象に投影される上記投影パターンを予め記憶するパターン記憶手段と、上記画像記憶手段に記憶された上記第１及び第２の画像を利用して上記撮影対象の表面反射率の影響を補正し、上記補正を行なって得られたパターン各部の色または階調（輝度）に基づいて撮影されたパターンの構造を推定するパターン構造推定手段と、上記パターン構造推定手段による上記推定の結果と上記パターン記憶手段に記憶された上記投影パターンとの対応関係を特定し、上記対応関係の特定結果を利用して上記撮影対象の奥行き値を算出する奥行き算出手段とを備えることを特徴とするものである。
【００３１】
また、本発明による３次元情報取得方法は、撮影手段から所定の距離離れた位置から複数の色成分のパターンが重畳された所定の投影パターンが投影された撮影対象を上記撮影手段で撮影し、上記撮影手段で撮影された画像を解析することにより、上記撮影対象の３次元情報を取得する３次元情報取得方法であって、光源からの光によって照明された上記撮影対象を撮影することで第１の画像を得、上記光源からの光または上記光源と同じ特性を有する他の光源からの光を利用して上記投影パターンが投影された上記撮影対象を撮影することで第２の画像を得、これら第１及び第２の画像を利用して上記撮影対象の表面反射率の影響を補正し、上記補正を行なって得られたパターン各部の色または階調（輝度）に基づいて撮影されたパターンの構造を推定し、上記推定の結果と上記投影した所定の投影パターンとの対応関係を特定し、上記対応関係の特定結果を利用して上記撮影対象の奥行き値を算出することを特徴とするものである。
【００３２】
即ち、本発明の３次元情報取得装置及び３次元情報取得方法によれば、白色系や淡色系物体測定用である色による特徴と濃色系物体測定用である同一色成分の階調による特徴という２つの異なる特徴を併せ持つ投影パターンを用い、第１の画像（光源点灯、高速シャッタ）と第２の画像（パターン投影、高速シャッタ）とから撮影対象の表面反射率及び外光の影響を補正して、パターン特定を行なった上で、奥行き値を算出するようにしているので、淡色系物体だけでなく濃色系物体においても３次元情報を取得することができる。
【００３３】
更に、上記の目的を達成するために、本発明による３次元情報取得装置は、撮影手段から所定の距離離れた位置から複数の色成分のパターンが重畳された所定の投影パターンが投影された撮影対象を上記撮影手段で撮影し、上記撮影手段で撮影された画像を解析することにより、上記撮影対象の３次元情報を取得する３次元情報取得装置であって、上記投影パターンが投影された上記撮影対象を撮影した画像を記憶する画像記憶手段と、上記撮影対象に投影される上記投影パターンを予め記憶するパターン記憶手段と、上記画像中に含まれるパターンの色により撮影されたパターンの構造を推定する第１の推定方法と、全ての色成分でない一つ以上の色成分の階調（輝度）により上記撮影されたパターンの構造を推定する第２の推定方法とを選択的に実行するパターン構造推定手段と、上記パターン構造推定手段による上記第１または第２の推定方法による推定結果と上記パターン記憶手段に記憶された上記投影パターンとの対応関係を特定し、上記対応関係の特定結果を利用して上記撮影対象の奥行き値を算出する奥行き算出手段とを備えることを特徴とするものである。
【００３４】
また、本発明による３次元情報取得方法は、撮影手段から所定の距離離れた位置から複数の色成分のパターンが重畳された所定の投影パターンが投影された撮影対象を上記撮影手段で撮影し、上記撮影手段で撮影された画像を解析することにより、上記撮影対象の３次元情報を取得する３次元情報取得方法であって、上記投影パターンが投影された上記撮影対象を撮影することで画像を得、この画像中に含まれるパターンの色により撮影されたパターン構造を推定する第１の推定方法と、全ての色成分でない一つ以上の色成分の階調（輝度）により上記撮影されたパターンの構造を推定する第２の推定方法とを選択的に実行し、上記第１または第２の推定方法による推定結果と上記投影した所定の投影パターンとの対応関係を特定し、上記対応関係の特定結果を利用して上記撮影対象の奥行き値を算出することを特徴とするものである。
【００３５】
即ち、本発明の３次元情報取得装置及び３次元情報取得方法によれば、白色系や淡色系物体測定用である色による特徴と濃色系物体測定用である同一色成分の階調による特徴という２つの異なる特徴を併せ持つ投影パターンを用い、色成分が重畳された色（Ｒ，Ｇ，Ｂ）によりパターン構造を推定する第１の推定方法を実行することで淡色系物体に対処し、色成分毎（Ｒのみ，Ｇのみ，Ｂのみ）にパターン構造を推定する第２の推定方法とを選択的に実行することで濃色系物体に対処することができるので、淡色系物体、濃色系物体の何れにおいても３次元情報を取得することができる。
【００３６】
また、上記の目的を達成するために、本発明による３次元情報取得における投影パターンは、撮影対象を撮影した画像を解析して上記撮影対象の３次元情報を取得するに際して、上記撮影対象に投影される投影パターンであって、複数の色成分のパターンが重畳されたものであり、異なる有彩色に着色された複数の領域を含み、上記有彩色の領域は、上記各色成分のパターンの所定の階調（輝度）を有する領域の組み合わせで構成されたものであると共に、一つの色成分のパターンにおける任意の上記領域の階調（輝度）は、他の色成分のパターンにおける上記任意の領域の階調と互いに異なり、これによって上記任意の領域が上記投影パターンの中のどの領域であるかの対応が特定できるように、上記投影パターンが符号化されていることを特徴とするものである。
【００３７】
即ち、本発明の３次元情報取得における投影パターンによれば、白色系や淡色系物体測定用である色による特徴と濃色系物体測定用である同一色成分の階調による特徴という２つの異なる特徴を併せ持つので、該投影パターンを用いることで淡色系物体だけでなく濃色系物体においても３次元情報を取得することができるようになる。
【００３８】
【発明の実施の形態】
以下、図面を用いて本発明の実施の形態を説明する。
【００３９】
［第１の実施の形態］
図１は、本発明の第１の実施の形態に係る３次元情報取得装置の適用された３次元形状測定装置１の構成を示す図である。
【００４０】
この３次元形状測定装置１は、本発明の第１の実施の形態に係る３次元情報取得装置２と３次元画像生成部３とから構成されている。そして、上記３次元情報取得装置２は、パターンメモリ２１、ストロボ２２、パターン切り替え部２３、撮影部２４、画像メモリ２５、２次元画像情報生成部２６、奥行き算出部２７、及び、制御部２８より構成されている。
【００４１】
ここで、上記パターンメモリ２１は、上記パターン記憶手段に相当するもので、被写体（図示せず）に投光する投影パターンのコード系列などを記憶しておくものである。上記ストロボ２２は、光を照射するためのものであり、上記パターン切り替え部２３は、このストロボ２２のストロボ光の強度（光の透過率）を場所によって変調する投影パターンの有無を切り替えるものである。上記撮影部２４は、上記撮影手段に相当するものであり、上記被写体からの反射光を集光する集光レンズ２４１と、この集光レンズ２４１で集めた光を受光する受光部（撮像素子）２４２とから構成される。上記画像メモリ２５は、上記画像記憶手段に相当するものであり、上記撮影部２４で撮影した画像を記憶する。上記２次元画像情報生成部２６は、上記パターン構造抽出手段に相当するものであり、上記画像メモリ２５に記憶されている画像から２次元画像情報を生成する機能に加えて、上記画像メモリ２５に記憶されている画像から撮影されたパターンの構造を推定し、その推定結果を上記画像メモリ２５に記憶させる機能も備えている。上記奥行き算出部２７は、上記奥行き算出手段に相当するものであり、上記画像メモリ２５に記憶されている上記推定結果と上記パターンメモリ２１に記憶されている投影パターンとから奥行き値を算出する。そして、上記制御部２８は、上記ストロボ２２の発光制御、上記パターン切り替え部２３の投影パターンの有無の切り替え制御、及び上記受光部２４２の受光制御、などを行なうものである。
【００４２】
なお、上記パターン切り替え部２３は、本実施の形態では、透過型の液晶装置により構成しており、上記切り替え制御は、上記制御部２８が、上記パターンメモリ２１に記憶されている投影パターンに従った像を上記透過型液晶装置に表示する／しない、により行なうようになっている。あるいは、上記パターン切り替え部２３は、上記パターンメモリ２１に記憶された投影パターンと同様のパターンを構成したフィルムを上記ストロボ２２の光路上に機械的に進退させる構造とし、その進退を上記制御部２８で制御するようにしても良い。更には、機械的に進退させるのではなく、操作者が人手によりストロボ光路上に進退させるものであっても構わない。この場合には、制御部２８は直接パターン切り替え部２３を制御しないが、例えば、図示しないインジケータやブザーにより、操作者にそのような進退を指示する、あるいは、逆に、操作者の上記フィルムの進退操作後にその操作終了を当該制御部２８に指示するための図示しない操作部の操作を判別するような構成を取ることが好ましい。
【００４３】
そして、上記３次元画像生成部３は、上記２次元画像情報生成部２６で生成された２次元画像情報と、上記奥行き算出部２７で算出された奥行き値とから、３次元画像を生成するものである。
【００４４】
次に、このような構成の３次元形状測定装置１の動作について説明する。
予め、上記パターンメモリ２１には、投影パターンのコード情報を記憶しておく。そして、まず、上記制御部２８は、上記パターンメモリ２１より上記パターンコード情報を読み出し、そのパターンコード情報に従ったパターンを上記パターン切り替え部２３に表示して、上記ストロボ２２を発光させることで、上記パターンコード情報に従ったパターン付きフラッシュ即ち投影パターンを被写体（図示せず）に投光する。このとき、上記被写体からの反射光は、上記集光レンズ２４１によって集光され、上記受光部２４２に導かれる。よって、上記制御部２８は、上記ストロボ２２の発光に同期して上記受光部２４２を動作させ、この受光部２４２で得られた画像を上記画像メモリ２５に記憶する。
【００４５】
次に、制御部２８は、上記パターン切り替え部２３の上記パターン表示を無くした上で、上記と同様にストロボ２２及び受光部２４２を制御することで、パターン無し且つフラッシュ発光有り撮影を行ない、得られた画像を上記画像メモリ２５に記憶する。
【００４６】
更に、パターン無し且つフラッシュ無し撮影を行なって、得られた画像を上記画像メモリ２５に記憶する。
【００４７】
こうして３種類の画像を得た後、上記２次元画像情報生成部２６では、上記画像メモリ２５に記憶された上記３種類の画像から、撮影されたパーンの構造を表すパターン情報を抽出し、画像メモリ２５に書き込む。この抽出方法の詳細については後述する。なお、２次元画像情報生成部２６は、上記パターン無しフラッシュ画像を上記画像メモリ２５から読み出し、平面的な写真情報（２次元画像情報）をいつでも生成できるようになっている。
【００４８】
次に、上記奥行き算出部２７において、上記パターンメモリ２１に記憶された投影パターンのコード情報と、上記画像メモリ２５に書き込まれた上記２次元画像情報生成部２６で抽出されたパターン情報とを比較、照合し、投影したパターンと撮影されたパターンとの対応関係を決定する。続いて、反射パターン受光位置と焦点距離の情報とから入射角を算出し、上記投影パターンの射出地点と被写体から反射されたパターンの受光地点との間の距離間隔と光の射出角度の情報とから、三角測量の原理によって奥行き値を算出する。
【００４９】
最後に、上記３次元画像生成部３において、上記２次元画像情報生成部２６で生成された２次元画像情報と、上記奥行き算出部２７で算出された奥行き値とから、３次元画像を生成する。
【００５０】
上記投影されるパターンについて、図２を用いて説明する。
図２は、上記パターンメモリ２１に記憶されたコード情報に従って被写体に投影されるコード済みのカラーパターン４を示しており、更に、このカラーパターン４の下には、Ｒ，Ｇ，Ｂ成分それぞれの輝度値（階調値）を示してある。なお、この図２の例は縞パターンであるが、格子パターンを用いても構わないことは勿論である。
【００５１】
このパターン構造は、Ｒ，Ｇ，Ｂの各成分に対して、極大（有彩色）と極小（黒）が交互に配置されており、同図には、パターンの縞を識別するためのコード番号を（１），（２），（３）で表している。ここで、コード番号ｋが割り当てられている縞のＲ，Ｇ，Ｂの各成分をそれぞれｒ［ｋ］，ｇ［ｋ］，ｂ［ｋ］で表すと、図２の例では、各コード番号のＲ，Ｇ，Ｂの値を次式のように表現することができる。なお、この値は、Ｒ，Ｇ，Ｂをそれぞれ２５６階調とした場合である。
【００５２】
（ｒ［１］，ｇ［１］，ｂ［１］）＝（８５，１７０，２５５）
（ｒ［２］，ｇ［２］，ｂ［２］）＝（１７０，２５５，８５）
（ｒ［３］，ｇ［３］，ｂ［３］）＝（２５５，８５，１７０）
この例は、以下に説明する特徴を持ったコード化パターンになっている。
【００５３】
コード番号の並び方を利用して、受光したパターン中の縞を射出時のパターン中の縞に一意的に対応づけることは、従来と同じであるが、本実施の形態では、縞の特徴づけに特長がある。
【００５４】
まず、第１の特徴は、同一縞内における異なる成分間の関係、例えば、縞の大小、縞の大きさの比、色相などを用いて縞の特徴づけを行なっているものである。この同一縞内における色による特徴づけは、例えば、以下の関係を用いて縞のコード番号を特定することができるコード化方法である。
【００５５】
０≪ｒ［１］≪ｇ［１］≪ｂ［１］
０≪ｂ［２］≪ｒ［２］≪ｇ［２］
０≪ｇ［３］≪ｂ［３］≪ｒ［３］
ここで、記号≪は、ノイズの影響による大小関係の逆転が無いぐらいに右辺が左辺よりも充分大きいということを示している。
【００５６】
第２の特徴は、異なる縞間における同一成分の大小関係を用いて縞の特徴づけを行なっているものである。この同一成分の階調（輝度）による特徴づけは、例えば、以下の式の関係を用いて縞のコード番号を特定することができるコード化方法である。
【００５７】
０≪ｒ［１］≪ｒ［２］≪ｒ［３］
０≪ｇ［３］≪ｇ［１］≪ｇ［２］
０≪ｂ［２］≪ｇ［３］≪ｇ［１］
これら２つの特徴を一つのパターン中に埋め込んだコード化パターンを用いることが、本実施の形態の特長である。
【００５８】
そして、この２重の特徴を埋め込んだコード化パターンを、Ｒ，Ｇ，Ｂの３成分を共に反射してくるような白色系や淡色系の被写体に対しては、上記第１の特徴である色による特徴によって、パターン射出時の縞の色（コード番号）を特定し、Ｒ，Ｇ，Ｂの１成分または２成分を反射するような濃色系の被写体に対しては、上記第２の特徴である同一成分の階調による特徴によってパターン射出時の縞の色を特定するというふうに使い分ける。
【００５９】
なお、Ｒ，Ｇ，Ｂの３成分を共に反射してくる白色系や淡色系の被写体に色相などの色による特徴を用いてパターン射出時の縞を特定する方法を採用するメリットは、次のように説明できる。Ｒ，Ｇ，Ｂの３成分を色相Ｈ、彩度Ｓ、明度ＶからなるＨＳＶ空間にマッピングして考える。その変換式として、次の式が知られている。
【００６０】
Ｈ＝ａｒｃｔａｎ｛（Ｇ−Ｂ）／（２Ｒ−Ｇ−Ｂ）｝
Ｓ＝｛（Ｂ−Ｒ）^２＋（Ｒ−Ｇ）^２＋（Ｇ−Ｂ）^２｝／３
Ｖ＝Ｒ＋Ｇ＋Ｂ
仮にＲ，Ｇ，Ｂの値が、それぞれｋ倍になったとする。このとき、彩度Ｓはｋ^２倍、明度Ｖはｋ倍になってしまうが、色相Ｈは不変である。即ち、各成分の輝度値が、局所領域毎にそろって定数倍になる状況を想定すると、色相の判定方法は、その影響を受けないが、輝度の階調による判定方法は、影響が大きい。なお、ＨＳＶ空間でなく、均等色空間（ＨＣＶ）に変換してもほぼ同様のことが言える。
【００６１】
ところで、縞にコード番号を割り当てた場合に、各縞を縞の並びに対して一意的に特定するために、本実施の形態では、最低階調レベル（最小輝度レベル）である黒縞を挟んで隣り合う有彩色縞のコード番号の並びが、一意的となるようなコード系列（コードの並び）を生成する。
【００６２】
例えば、３色の色数（コードの種類）を用いた場合に、黒縞を挟んで隣り合う有彩色縞の（同色を許した）組み合わせを考えると、（１）（２）（２）（３）（１）（３）（３）（２）（１）というコード系列ができる。更に長いコード系列が必要ならば、色数を４乃至５色に増やす、または、２本の縞の組み合わせでなく、３乃至４本の縞の色（コード番号）の組み合わせが一意的となるようなコード系列を採用すればよい。
【００６３】
このような２重の特徴を埋め込んだコード化パターンは、従来から知られている縞と縞の間の検出法にも利用することができることは勿論であるが、本実施の形態のような装置と組み合わせる事で、より効果を発揮できるものである。
【００６４】
次に、画像処理の流れについて図３を用いて説明する。
まず、コード化済みのカラーパターン４を被写体に投影する（ステップＳ１）。次に、投影されたパターンを撮影し、その画像データ（Ｐｒ，Ｐｇ，Ｐｂ）を上記画像メモリ２５に入力する（ステップＳ２）。
【００６５】
続いて、パターン無しのフラッシュ撮影を行ない、その画像データ（Ｆｒ，Ｆｇ，Ｆｂ）を上記画像メモリ２５に入力する（ステップＳ３）。
【００６６】
そして、パターン無しフラッシュ無しの撮影を行ない、その画像データ（Ｎｒ，Ｎｇ，Ｎｂ）を上記画像メモリ２５に入力する（ステップＳ４）。これらステップＳ１からステップＳ４までの一連の処理は、一瞬のうちに行なわれ、必要な情報の入力が完了する。
【００６７】
この後、上記２次元画像情報生成部２６において、上記画像メモリ２５に入力した情報からパターンの縞構造を抽出し、各縞に対して当該縞の射出時の色を特定し、デコード処理を実施していくことになるが、それぞれの処理を以下に詳しく説明する。
【００６８】
まず、パターン像から、外光や被写体の表面反射率特性の違いによる影響を取り除き、射出時のパターンを推定する処理を施す。ここで、図４を用いて、この処理に必要な関係式を説明する。図４のように、フラッシュの投光強度をＬ、パターンの透過率をＴ、被写体の表面反射率をＲ、外光の強度をＳとし、これらを受光した画像の各画素の関数として考える。ここで、上記パターン切り替え部２３から射出した光線と上記受光部２４２に入射する光線が、光の拡散などを無視して１対１の関係で記述できると近似して考えれば、
投影パターン撮影画像の画素強度Ｐ＝Ｒ（ＴＬ＋Ｓ）
フラッシュ撮影画像の画素強度Ｆ＝Ｒ（Ｌ＋Ｓ）
フラッシュ無し撮影画像の画素強度Ｎ＝ＲＳ
と書くことができる。これら３式を連立させてＴについて解くと
Ｔ＝（Ｐ−Ｎ）／（Ｆ−Ｎ）
例えば、Ｒ，Ｇ，Ｂの３成分に対して画素強度値が得られる場合には、Ｒ，Ｇ，Ｂが互いに独立であると近似して考えれば、Ｒ，Ｇ，Ｂに対する推定パターン透過率Ｔｒ，Ｔｇ，Ｔｂは、
Ｔｒ＝（Ｐｒ−Ｎｒ）／（Ｆｒ−Ｎｒ）
Ｔｇ＝（Ｐｇ−Ｎｇ）／（Ｆｇ−Ｎｇ）
Ｔｂ＝（Ｐｂ−Ｎｂ）／（Ｆｂ−Ｎｂ）
という式によって求められる。ただし、ノイズなどの影響に対処するため、分母がゼロに近い場合には、その成分を除いて考える必要がある。
【００６９】
ここで図３に戻り、画像処理の流れの説明を再開する。
即ち、ステップＳ５で、上式の分母、即ち（Ｆｉ−Ｎｉ）（ここでｉ＝ｒ，ｇ，ｂ）が、予め設定してあるノイズレベル以上であるか否かを判定し、ノイズレベル以上であるならば、その成分の推定パターン透過率Ｔｉを上式を用いて算出する（ステップＳ６）。これに対して、ノイズレベル未満であれば、その成分の推定パターン透過率を不定とし、以後の処理に影響を与えないような値を入力しておく（ステップＳ７）。
【００７０】
次に、パターンの縞構造（Ｔｉのグラフの極大、極小位置）を検出する（ステップＳ８）。これには、例えばＳｏｂｅｌフィルタなどにより、縞のエッジ部分を抽出し、エッジに挟まれた区間で、Ｔｉの強度が極大となるか、極小となるかを判定する。この縞構造の抽出処理においても投影パターン撮影画像Ｐｉでなく、推定パターン透過率Ｔｉを用いているので、外光や被写体の表面反射率特性の違いによる影響を大幅に緩和することができる。
【００７１】
続いて、エッジに挟まれた区間に対して、当該縞の射出時の色を特定する処理に移る。
【００７２】
即ち、まず、（Ｆｉ−Ｎｉ）（ここでｉ＝ｒ，ｇ，ｂ）がノイズレベル以上となる成分数を調べる（ステップＳ９）。
【００７３】
ここで、成分数が０であれば、その領域の３次元形状は推定できないことになる（ステップＳ１０）。これは、黒色の被写体の場合である。
【００７４】
もし、ノイズレベル以上となる成分数が１であれば、１成分のみ反射する領域において、推定パターン透過率Ｔｉのヒストグラムを作成する（ステップＳ１１）。このヒストグラムに対し、例えば、判別分析の手法により、ヒストグラムをパターン作成時の階調数、例えば本実施の形態では３分割に分割するような閾値を自動的に設定する（ステップＳ１２）。次に、上記ステップＳ１２で設定した閾値を用いて、推定パターン透過率Ｔｉの階調を判定する（ステップＳ１３）。そして、上記判別した推定パターン透過率Ｔｉの階調によって当該縞の射出時の色を特定し、コード番号を推定する（ステップＳ１４）。
【００７５】
また、ノイズレベル以上となる成分数が２であれば、その２成分の推定パターン透過率Ｔｉの大きさを比較する（ステップＳ１５）。次に、２成分の推定パターン透過率Ｔｉの和を算出し、２成分を反射する領域における和の値のヒストグラムを作成する（ステップＳ１６）。次に、例えば判別分析の手法により、ヒストグラムを２分割するような閾値を自動的に設定する（ステップＳ１７）。その後、この設定した閾値を用いて、２成分の推定パターン透過率Ｔｉの和の階調を判定する（ステップＳ１８）。そして、２成分の推定パターン透過率Ｔｉ間の大小関係及び２成分の推定パターン透過率Ｔｉの和に対する階調値によって、当該縞の射出時の色を特定し、コード番号を推定する（ステップＳ１９）。
【００７６】
更に、ノイズレベル以上となる成分数が３であれば、３成分の（２５５＊Ｔｉ）の値から色相を算出し（ステップＳ２０）、算出された色相が射出時の色相のどれに最も近いかを判定し、当該縞の射出時の色を特定し、コード番号を推定する（ステップＳ２１）。なお、色相で縞の色を特定する代わりに、例えば、３成分間の比または大小関係を利用してもよい。
【００７７】
この手続きを最大視差の区間内の画素に対して行なうことで、コード番号の列が推定され、その推定結果が、この２次元画像情報生成部２６で抽出された上記パターン情報として、上記画像メモリ２５に書き込まれる。
【００７８】
次に、上記奥行き算出部２７において、このパターン情報におけるコード番号の列と、上記パターンメモリ２１に記憶されているコード系列とを比較、照合する。本実施の形態では、黒縞を挟んで隣り合う有彩色縞の組み合わせが一致しているものを探す。上記推定されたコード番号の列における黒縞を挟んで隣り合う有彩色縞の組み合わせと一致するコード系列が複数ある場合には、例えば、上記推定されたコード番号の列と連続して一致するコード番号との長さが最大のコード系列を信頼性が高いとして選択する。この処理を繰り返すことによって、デコード処理が完了し、投光パターンと受光パターンとの各縞に対して、１対１の対応関係が定まる。最後に、三角測量の原理から被写体の各点での奥行き値が算出される。
【００７９】
以上説明したように本実施の形態によれば、濃色系の被写体においても射出時の縞の色を推定可能なパターンを提供しているので、白色系または淡色系だけでなく濃色系の被写体に対してまで３次元形状を取得することができ、被写体の色に関する制約を緩めることができる効果がある。
【００８０】
即ち、図９に示したような従来例では、例えば、赤い被写体上に、Ｒ成分の強度変化がないパターン領域（ＧまたはＢの強度変化があるパターン領域）が投射された場合に縞と縞の間の変化を検出できず、その部分に対して３次元形状の取得ができないという問題があった。これに対し、本実施の形態によれば、縞と縞の間ではＲ，Ｇ，Ｂ全ての成分値が必ず変化しているので、黒以外のどんな被写体にパターンが投影されても、縞と縞の間の変化を必ず検出することができ、３次元形状の取得ができない領域を減らす効果がある。勿論、本実施の形態のようなコード済みのカラーパターン４を用い、従来から知られている縞と縞の間の検出法を適用することによっても、この効果を得ることができるが、本実施の形態のような装置と組み合わせる事で、より効果を発揮できる。
【００８１】
また、本実施の形態によれば、蛍光灯または電球など、様々な色の外光の下でも、または、表面反射率特性が異なる種々の被写体に対しても、パターン付きフラッシュ撮影画像、パターン無しフラッシュ撮影画像及びパターン無しフラッシュ無し撮影画像の３種類の画像を用いることによって、パターンの射出時の色をより正確に確定することができ、３次元計測の誤りを少なくできる効果がある。
【００８２】
更に、本実施の形態によれば、縞と縞との間ではＲ，Ｇ，Ｂ全ての成分値が必ず変化しているので、黒以外のどんな被写体にパターンが投影されても、縞と縞との間の変化を必ず検出することができ、３次元形状の取得ができない領域を減らす効果がある。
【００８３】
また、本実施の形態によれば、Ｒ，Ｇ，Ｂ全ての成分値が、極大、極小となる区間または領域を交互に配置しているので、縞と縞との境界で変曲点を許すようなパターン構造に比べて、縞と縞との境界を容易に検出できる効果がある。更に、光の拡散によって縞と縞との境界が消失してしまう危険性を減らす効果もある。
【００８４】
［第２の実施の形態］
次に、本発明の第２の実施の形態を説明する。本第２の実施の形態は、方法部分は、上記第１の実施の形態で用いた３次元情報取得方法と同じであるが、装置構成が異なる。
【００８５】
即ち、本第２の実施の形態に係る３次元情報取得装置２は、図５に示すように、被写体に投光するパターンを記憶しておくパターンメモリ２１、光を照射するためのストロボ２２、場所によって光の強度（透過率）を変調するパターンの有無を切り替えるパターン切り替え部２３、反射された光を集光する集光レンズ２４１Ｒ及び２４１Ｌ、これら集光レンズ２４１Ｒ及び２４１Ｌで集光された光を受光する受光部２４２Ｒ及び５２４２、撮影された画像を記憶する画像メモリ２５Ｒ及び２５Ｌ、これら画像メモリ２５Ｒ及び２５Ｌに記憶された画像から２次元画像情報を生成する２次元画像情報生成部２６、上記画像メモリ２５Ｒ及び２５Ｌに記憶された画像と上記パターンメモリ２１に記憶されたパターンとの対応を決定する対応関係決定部２９、該対応関係決定部２９で決定された対応関係から三角測量の原理を用いて奥行き値を算出する奥行き算出部２７、及び上記ストロボ２２、パターン切り替え部２３、受光部２４２Ｒ，２４２Ｌを制御する制御部２８から構成されている。
【００８６】
そして、このような３次元情報取得装置２と共に３次元形状測定装置１を構成する３次元画像生成部３は、上記２次元画像情報生成部２６に記憶された２次元画像情報と上記奥行き算出部２７で算出された奥行き値とから３次元画像を生成するようになっている。
【００８７】
次に、このような本第２の実施の形態に係る３次元情報取得装置２の動作について説明する。
【００８８】
まず、上記制御部２８により上記ストロボ２２を発光し、上記パターン切り替え部２３で光を変調して被写体（図示せず）にパターンを投影する。この投影像は、２つの異なる位置、例えば上記ストロボ２２及びパターン切り替え部２３の右と左に配置された集光用レンズ２４１Ｒ及び２４１Ｌによって集光される。続いて、集光された光は、それぞれ受光部２４２Ｒ、２４２Ｌで受光され、各々、画像メモリ２５Ｒ、２５Ｌに記憶される。パターン無しフラッシュ撮影画像とパターン無しフラッシュ無し撮影画像についてもそれぞれ同様にして画像メモリ２５Ｒ、２５Ｌに記憶される。上記第１の実施の形態との違いは、これら３種類の画像が、視点の異なる２個所の画像メモリに書き込まれている点である。
【００８９】
そして、上記第１の実施の形態における場合と同様に、上記２次元画像情報生成部２６で左右それぞれについて３種類の画像から、射出時の推定パターン情報を算出し、画像メモリ２５Ｒ及び２５Ｌに書き込む。
【００９０】
次に、上記対応関係決定部２９において、上記パターンメモリ２１に記憶されたパターン情報と上記画像メモリ２５Ｒに書き込んだ右の推定パターン情報、上記パターンメモリ２１に記憶されたパターン情報と上記画像メモリ２５Ｌに書き込んだ左の推定パターン情報、上記右の画像メモリ２５Ｒに書き込んだパターン情報と上記左の画像メモリ２５Ｌに書き込んだパターン情報の推定パターン情報、及び上記右の受光部２４２Ｒと上記左の受光部２４２Ｌとで受光したパターン無しフラッシュ投影画像、の４通りの対応づけが行なわれる。
【００９１】
このとき、パッシブステレオ法の場合に問題となるテクスチャの無い領域への対応づけの困難さがかなり軽減されている。
【００９２】
更に、上記第１の実施の形態においては、投影したパターンと撮影されたパターンとの対応関係を奥行き値算出の手がかりとしたが、本実施の形態においては、左右のパターン無し画像及びパターン有り画像の対応関係をも利用できるので、より信頼性の高い対応づけを実現できる。
【００９３】
以上説明したように本第２の実施の形態によれば、２つ以上の視点に置かれた撮像素子でパターンの投影像を取得し、投影したパターンと撮影されたパターンとの対応づけだけでなく、複数画像間の対応づけも行なうため、より正確な対応づけが可能となり、計測精度と信頼性が向上する効果がある。
【００９４】
［第３の実施の形態］
次に、本発明の第３の実施の形態を説明する。
【００９５】
本第３の実施の形態の装置構成については、前述の第１の実施の形態あるいは第２の実施の形態のそれと同様である。異なる点は、高速シャッタ（例えば、１／５００秒）で撮影することによって外光の影響を抑える点である。これによって、パターン無しフラッシュ無し撮影を省くことが可能になるので、投影パターン撮影とパターン無しフラッシュ撮影との２回で画像の取り込みが完了する。
【００９６】
これに伴って、処理の流れが前述の第１の実施の形態等よりも、少し簡素化される。図６を用いて、これを説明する。
【００９７】
まず、コード化済みのカラーパターン４を被写体に投影する（ステップＳ１）。次に、投影されたパターンを撮影し、その画像データ（Ｐｒ，Ｐｇ，Ｐｂ）を上記画像メモリ２５に入力する（ステップＳ２）。
【００９８】
続いて、パターン無しのフラッシュ撮影を行ない、その画像データ（Ｆｒ，Ｆｇ，Ｆｂ）を上記画像メモリ２５に入力する（ステップＳ３）。これらステップＳ１からステップＳ３までの一連の処理は、一瞬のうちに行なわれ、必要な情報の入力が完了する。
【００９９】
この後、上記２次元画像情報生成部２６において、上記画像メモリ２５に入力した情報からパターンの縞構造を抽出し、各縞に対して当該縞の射出時の色を特定し、デコード処理を実施していくことになるが、それぞれの処理を以下に詳しく説明する。
【０１００】
まず、パターン像から、外光や被写体の表面反射率特性の違いによる影響を取り除き、射出時のパターンを推定する処理を施す。ここで、図４を用いて、この処理に必要な関係式を説明する。図４のように、フラッシュの投光強度をＬ、パターンの透過率をＴ、被写体の表面反射率をＲ、外光の強度をＳとし、これらを受光した画像の各画素の関数として考える。ここで、上記パターン切り替え部２３から射出した光線と上記受光部２４２に入射する光線が、光の拡散などを無視して１対１の関係で記述できると近似して考えれば、
投影パターン撮影画像の画素強度Ｐ＝Ｒ（ＴＬ＋Ｓ）
フラッシュ撮影画像の画素強度Ｆ＝Ｒ（Ｌ＋Ｓ）
と書くことができる。本第３の実施の形態においては、高速シャッタで撮影するので、Ｓを近似的に０とみなすことができる。この時、これら２式を連立させＴについて解くと
Ｔ＝Ｐ／Ｆ
例えば、Ｒ，Ｇ，Ｂの３成分に対して画素強度値が得られる場合には、Ｒ，Ｇ，Ｂが互いに独立であると近似して考えれば、Ｒ，Ｇ，Ｂに対する推定パターン透過率Ｔｒ，Ｔｇ，Ｔｂは、
Ｔｒ＝Ｐｒ／Ｆｒ
Ｔｇ＝Ｐｇ／Ｆｇ
Ｔｂ＝Ｐｂ／Ｆｂ
という式によって求められる。ただし、ノイズなどの影響に対処するため、分母がゼロに近い場合には、その成分を除いて考える必要がある。
【０１０１】
そこで図６に戻るが、ステップＳ３１で、上式の分母、即ちＦｉ（ここでｉ＝ｒ，ｇ，ｂ）が、予め設定してあるノイズレベル以上か否かを判定し、そうであれば、その成分の推定パターン透過率Ｔｉを上式を用いて算出する（ステップＳ３２）。これに対して、ノイズレベル未満であれば、その成分の推定パターン透過率を不定とし、以後の処理に影響を与えないような値を入力しておく（ステップＳ７）。
【０１０２】
次に、パターンの縞構造（Ｔｉのグラフの極大、極小位置）を検出する（ステップＳ８）。これには、例えばＳｏｂｅｌフィルタなどにより、縞のエッジ部分を抽出し、エッジに挟まれた区間で、Ｔｉの強度が極大となるか、極小となるかを判定する。この縞構造の抽出処理においても投影パターン撮影画像Ｐｉでなく、推定パターン透過率Ｔｉを用いているので、外光や被写体の表面反射率特性の違いによる影響を大幅に緩和することができ、縞を安定して抽出することができる。
【０１０３】
続いて、エッジに挟まれた区間に対して、当該縞の射出時の色を特定する処理に移る。
【０１０４】
即ち、まず、Ｆｉ（ここでｉ＝ｒ，ｇ，ｂ）がノイズレベル以上となる成分数を調べる（ステップＳ３３）。
【０１０５】
ここで、成分数が０であれば、その領域の３次元形状は推定できないことになる（ステップＳ１０）。これは、黒色の被写体の場合である。
【０１０６】
もし、ノイズレベル以上となる成分数が１であれば、１成分のみ反射する領域において、推定パターン透過率Ｔｉのヒストグラムを作成する（ステップＳ１１）。このヒストグラムに対し、例えば、判別分析の手法により、ヒストグラムをパターン作成時の階調数に分割するような閾値を自動的に設定する（ステップＳ１２）。次に、上記ステップＳ１２で設定した閾値を用いて、推定パターン透過率Ｔｉの階調を判定する（ステップＳ１３）。そして、上記判別した推定パターン透過率Ｔｉの階調によって当該縞の射出時の色を特定し、コード番号を推定する（ステップＳ１４）。
【０１０７】
また、ノイズレベル以上となる成分数が２であれば、その２成分の推定パターン透過率Ｔｉの大きさを比較する（ステップＳ１５）。次に、２成分の推定パターン透過率Ｔｉの和を算出し、２成分を反射する領域における和の値のヒストグラムを作成する（ステップＳ１６）。次に、例えば判別分析の手法により、ヒストグラムを２分割するような閾値を自動的に設定する（ステップＳ１７）。その後、この設定した閾値を用いて、２成分の推定パターン透過率Ｔｉの和の階調を判定する（ステップＳ１８）。そして、２成分の推定パターン透過率Ｔｉ間の大小関係及び２成分の推定パターン透過率Ｔｉの和に対する階調値によって、当該縞の射出時の色を特定し、コード番号を推定する（ステップＳ１９）。
【０１０８】
更に、ノイズレベル以上となる成分数が３であれば、３成分の（２５５＊Ｔｉ）の値から色相を算出し（ステップＳ２０）、算出された色相が射出時の色相のどれに最も近いかを判定し、当該縞の射出時の色を特定し、コード番号を推定する（ステップＳ２１）。なお、色相で縞の色を特定する代わりに、例えば、３成分間の比または大小関係を利用してもよい。
【０１０９】
この手続きを最大視差の区間内の画素に対して実施していくことにより、コード番号の列が推定され、その推定結果が、この２次元画像情報生成部２６で抽出された上記パターン情報として、上記画像メモリ２５に書き込まれる。
【０１１０】
そして、上記奥行き算出部２７での、上記パターン情報におけるコード番号の列と、上記パターンメモリ２１に記憶されているコード系列とを照合した後、奥行きを算出するまでの処理は、前述の第１の実施の形態と同じである。
【０１１１】
［第４の実施の形態］
次に、本発明の第４の実施の形態を説明する。
【０１１２】
本第４の実施の形態では、装置構成が、前述の第１の実施の形態と少し異なる。
【０１１３】
即ち、図７に示すように、前述の第１の実施の形態におけるストロボ２２及びパターン切り替え部２３の代わりに、本第４の実施の形態では、パターン照射用ストロボ２２−１と、該パターン照射用ストロボ２２−１の前面に配されたフィルム上に設けられた固定のパターン４１と、ストロボ２２−２とを備えた構成になっている。ここで、前述したような投影パターン撮影の際には上記パターン照射用ストロボ２２−１を発光させ、上記パターン無しフラッシュ撮影の際には上記ストロボ２２−２を発光させるよう、上記制御部２８によって制御されるものである。
【０１１４】
このような構成の第４の実施の形態では、前述の第１の実施の形態におけるパターン切り替え部２２３のような可動部がないため、壊れにくい、消費電力が少なくて済む、等のメリットがある。
【０１１５】
ただし、上記パターン照射用ストロボ２２−１による照射条件と上記ストロボ２２−２による照射条件とが、ほぼ同一の条件となるようにする必要がある。即ち、発光特性が似たものを互いに近い位置に設置し、フラッシュの照射方向も同じにしておく方が望ましい。
【０１１６】
尚、処理の流れについては、前述の第１の実施の形態、または、高速シャッタ撮影による上記第３の実施の形態と同様である。
【０１１７】
［第５の実施の形態］
次に、本発明の第５の実施の形態を説明する。
【０１１８】
この第５の実施の形態における装置構成については、前述の第１の実施の形態あるいは前述の第２の実施の形態のそれと同様である。異なる点は、高速シャッタで撮影することによって外光の影響を抑える点、及び、例えばリンゴのようにほぼ均一で一様な色をしている被写体を３次元計測の対象物として想定している点である。
【０１１９】
この場合、パターン無しフラッシュ無し撮影とパターン無しフラッシュ撮影とを省き、投影パターン撮影１回のみで画像の取り込みを完了させる。
【０１２０】
これに伴って、処理の流れが、前述の第１の実施の形態等よりも、さらに簡素化される。図８を用いて、これを説明する。
【０１２１】
まず、コード化済みのカラーパターン４を被写体に投影する（ステップＳ１）。次に、投影されたパターンを撮影し、その画像データ（Ｐｒ，Ｐｇ，Ｐｂ）を上記画像メモリ２５に入力する（ステップＳ２）。
【０１２２】
この後、上記２次元画像情報生成部２６において、上記画像メモリ２５に入力した情報からパターンの縞構造を抽出し、各縞に対して当該縞の射出時の色を特定し、デコード処理を実施していくことになるが、それぞれの処理を以下に詳しく説明する。
【０１２３】
即ち、まず、Ｐｉ（ここでｉ＝ｒ，ｇ，ｂ）が、予め設定してあるノイズレベル以上であるか否かを判定し（ステップＳ５１）、ノイズレベル未満であれば、その成分の推定パターン透過率を不定とし、以後の処理に影響を与えないような値を入力しておく（ステップＳ７）。
【０１２４】
また、ノイズレベル以上であれば、パターンの縞構造（Ｐｉのグラフの極大、極小位置）を検出する（ステップＳ５２）。これには、例えばＳｏｂｅｌフィルタなどにより、縞のエッジ部分を抽出し、エッジに挟まれた区間で、Ｐｉの強度が極大となるか、極小となるかを判定する。
【０１２５】
続いて、エッジに挟まれた区間に対して、当該縞の射出時の色を特定する処理に移る。
【０１２６】
即ち、まず、Ｐｉ（ここでｉ＝ｒ，ｇ，ｂ）がノイズレベル以上となる成分数を調べる（ステップＳ５３）。
【０１２７】
ここで、成分数が０であれば、その領域の３次元形状は推定できないことになる（ステップＳ１０）。これは、黒色の被写体の場合である。
【０１２８】
もし、ノイズレベル以上となる成分数が１であれば、１成分のみ反射する領域において、推定パターン透過率Ｐｉのヒストグラムを作成する（ステップＳ５４）。このヒストグラムに対し、例えば、判別分析の手法により、ヒストグラムをパターン作成時の階調数に分割するような閾値を自動的に設定する（ステップＳ１２）。次に、上記ステップＳ１２で設定した閾値を用いて、推定パターン透過率Ｐｉの階調を判定する（ステップＳ５５）。そして、上記判別した推定パターン透過率Ｐｉの階調によって当該縞の射出時の色を特定し、コード番号を推定する（ステップＳ５６）。
【０１２９】
また、ノイズレベル以上となる成分数が２であれば、その２成分の推定パターン透過率Ｐｉの大きさを比較する（ステップＳ５７）。次に、２成分の推定パターン透過率Ｐｉの和を算出し、２成分を反射する領域における和の値のヒストグラムを作成する（ステップＳ５８）。次に、例えば判別分析の手法により、ヒストグラムを２分割するような閾値を自動的に設定する（ステップＳ１７）。その後、この設定した閾値を用いて、２成分の推定パターン透過率Ｐｉの和の階調を判定する（ステップＳ５９）。そして、２成分の推定パターン透過率Ｐｉ間の大小関係及び２成分の推定パターン透過率Ｐｉの和に対する階調値によって、当該縞の射出時の色を特定し、コード番号を推定する（ステップＳ６０）。
【０１３０】
更に、ノイズレベル以上となる成分数が３であれば、３成分のＰｉの値から色相を算出し（ステップＳ６１）、算出された色相が射出時の色相のどれに最も近いかを判定し、当該縞の射出時の色を特定し、コード番号を推定する（ステップＳ２１）。なお、色相で縞の色を特定する代わりに、例えば、３成分間の比または大小関係を利用してもよい。
【０１３１】
この手続きを最大視差の区間内の画素に対して実施していくことにより、コード番号の列が推定され、その推定結果が、この２次元画像情報生成部２６で抽出された上記パターン情報として、上記画像メモリ２５に書き込まれる。
【０１３２】
そしてその後の、上記奥行き算出部２７における、このパターン情報におけるコード番号の列と、上記パターンメモリ２１に記憶されているコード系列とを照合した後、奥行きを算出するまでの処理は、前述の第１実施の形態と同じである。
【０１３３】
以上、実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能である。
【０１３４】
ここで、本発明の要旨をまとめると特許請求の範囲に記載したものに加えて以下のようなものを含む。
【０１３５】
（１） カラーパターンを投影し、この投影像をＲ，Ｇ，Ｂ信号のように複数の独立な周波数成分に分けて受光する素子を有する３次元画像取得装置において、
該カラーパターンは、
全信号成分の組み合わせである色によるコード化と、
階調によるコード化と、
が同時に一つのパターン中に備わっていることを特徴とする３次元情報取得装置。
【０１３６】
（２） 予めコード化済みのパターンをフラッシュ（ストロボ）やプロジェクタなどの照明手段を発光させて被写体に向けて投影し、この投影像をカメラで撮影して得られるパターン付きフラッシュ撮影画像と、
パターン無しでフラッシュ撮影して得られるフラッシュ撮影画像と、
パターン無しフラッシュ無しで撮影して得られるフラッシュ無し撮影画像と、の３タイプの画像を取得し、これら３種類の画像からパターンの縞構造の抽出及び縞のデコードを行なうことを特徴とする３次元情報取得装置。
【０１３７】
（３） 上記３次元情報取得装置は、予めコード化済みのパターンをフラッシュ（ストロボ）やプロジェクタなどの照明手段を発光させて被写体に向けて投影し、この投影像をカメラで撮影して得られるパターン付きフラッシュ撮影画像と、
パターン無しでフラッシュ撮影して得られるフラッシュ撮影画像と、
パターン無しフラッシュ無しで撮影して得られるフラッシュ無し撮影画像と、の３タイプの画像を取得し、これら３種類の画像からパターンの縞構造の抽出及び縞のデコードを行なうことを特徴とする（１）に記載の３次元情報取得装置。
【０１３８】
（４） 上記３次元情報取得装置は、
カラーコード化パターンの有無を切り替えるパターン切り替え部と、
上記パターンを投射するための光投射部と、
上記カラーパターンのコードを記憶するパターンメモリと、
被写体から反射された光を受光する受光部と、
上記画像メモリに記憶されたパターンと上記パターンメモリで記憶されたパターンとから被写体の奥行き情報を算出する奥行き算出部と、
上記受光部で受光された情報を記憶する画像メモリと、
上記画像メモリから２次元画像情報を生成する２次元画像情報生成部と、
上記２次元画像情報生成部で生成された２次元画像情報と上記奥行き算出部で算出された奥行き値とから３次元画像を生成する３次元画像生成部と、
を有することを特徴とする（１）に記載の３次元情報取得装置。
【０１３９】
（５） 上記３次元情報取得装置は、
上記受光部と上記画像メモリとをそれぞれ複数具備し、
これら複数の画像メモリ同士の内容をマッチングし、画像間の対応づけを行なう対応関係決定部と、
上記対応関係決定部で決定された情報を基に上記奥行き算出部で被写体の奥行き値を算出し、上記２次元画像情報生成部で生成された２次元画像情報と上記奥行き算出部で算出された奥行き値とから３次元画像を生成する３次元画像生成部と、
を更に具備することを特徴とする（４）に記載の３次元情報取得装置。
【０１４０】
（６） カラーパターンを投影し、この投影像をＲ，Ｇ，Ｂ信号のように複数の独立な周波数成分に分けて受光し、上記受光した信号をデコードすることで３次元情報を取得する３次元画像取得方法において、
該カラーパターンは、
全ての信号成分値の組み合わせである色によるコード化と、
階調によるコード化と、
が同時に一つのパターン中に備わっていることを特徴とする３次元情報取得方法。
【０１４１】
（７） 上記３次元情報取得方法は、縞パターンまたは格子パターンのような縞状のパターンであって、縞と縞の間では、上記全ての信号成分値が必ず変化していることを特徴とする（６）に記載の３次元情報取得方法。
【０１４２】
（８） 上記３次元情報取得方法は、上記全ての信号成分値が、極大または極小となる区間もしくは領域を交互に配置したことを特徴とする（６）に記載の３次元情報取得方法。
【０１４３】
（９） 上記３次元情報取得方法は、２本以上の色の組み合わせから一意的に縞が特定されることを特徴とする（６）に記載の３次元情報取得方法。
【０１４４】
（１０） 上記３次元情報取得方法は、フラッシュ撮影画像及びフラッシュ無し撮影画像を用いて、利用可能な反射光の成分を判定し、全ての成分が利用可能ならば、色によってコード番号を特定し、全ての成分ではないが一つ以上の成分が利用可能ならば、各成分の階調によってコード番号を特定することを特徴とする（６）に記載の３次元情報取得方法。
【０１４５】
（１１） 上記投影パターンにおける各色成分のパターンは、隣り合う領域が互いに階調（輝度）が異なるように複数の領域が配置されたものであることを特徴とする請求項２６乃至２８の何れかに記載の３次元情報取得方法。
【０１４６】
（１２） 上記投影パターンにおける各色成分のパターンは、階調（輝度）が極大となる領域と極小となる領域を交互に配置されたものであることを特徴とする請求項２６乃至２８の何れかに記載の３次元情報取得方法。
【０１４７】
（１３） 上記階調（輝度）が極小となる領域は、最低階調（最小輝度）レベルであることを特徴とする（１２）に記載の３次元情報取得方法。
【０１４８】
（１４） 上記投影パターンは、異なる有彩色に着色された複数の領域を含み、
上記投影パターン中の有彩色の領域は、上記各色成分のパターンの所定の階調（輝度）を有する領域の組み合わせで構成されたものであると共に、一つの色成分のパターンにおける任意の上記領域の階調（輝度）は、他の色成分のパターンにおける上記任意の領域の階調と互いに異なり、これによって上記任意の領域が上記投影パターンの中のどの領域であるかの対応が特定できるように、上記投影パターンが符号化されている、
ことを特徴とする請求項２６乃至２８の何れかに記載の３次元情報取得方法。
【０１４９】
（１５） 上記複数の色成分は、Ｒ，Ｇ，Ｂの３成分であることを特徴とする請求項２６乃至２８の何れかに記載の３次元情報取得方法。
【０１５０】
（１６） 上記パターン構造の推定は、上記撮影されたパターンの色により上記撮影されたパターンの構造を推定する第１の推定方法と、全ての色成分でない一つ以上の色成分の階調（輝度）により上記撮影されたパターンの構造を推定する第２の推定方法とを選択的に実行することで行なわれ、
上記第１または第２の推定方法による推定結果が以降の処理に利用されることを特徴とする請求項２６又は２７に記載の３次元情報取得方法。
【０１５１】
【発明の効果】
以上詳述したように、本発明によれば、白色系や淡色系物体測定用である色による特徴と濃色系物体測定用である同一色成分の階調による特徴という２つの異なる特徴を併せ持つ投影パターンを用い、投影パターン撮影画像とフラッシュ撮影画像とフラッシュ無し撮影画像との３種類の画像から、反射率、外光補正を行なって、パターン特定を行なった上で、奥行き値を算出するようにしているので、淡色系物体だけでなく濃色系物体においても３次元情報を取得することができる３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法を提供することができる。
【０１５２】
また、本発明によれば、色（成分値の組み合わせ）による縞の特徴づけと同一成分の階調による特徴づけとを一つのパターン中に同時に埋め込んだコード化を行ない、白色系や淡色系の物体については、色による特徴によって、濃色系の物体についてはノイズレベル未満の反射成分値の階調による特徴によってデコードしているので、濃色系も含めた様々な色の物体に対して投光パターン中の位置と受光パターン中の位置を確実に対応づけることが可能な３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法を提供することができる。その結果、様々な色の物体に対して３次元形状の測定をより正確に行なえる効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る３次元情報取得装置の適用された３次元形状測定装置のブロック構成図である。
【図２】第１の実施の形態において被写体に投影されるパターンの例を示す図である。
【図３】第１の実施の形態における画像処理の射出時の色を特定するまでの流れを説明するためのフローチャートを示す図である。
【図４】第１の実施の形態における撮影時の種々のパラメータについて説明するための図である。
【図５】本発明の第２の実施の形態に係る３次元情報取得装置の適用された３次元形状測定装置のブロック構成図である。
【図６】本発明の第３の実施の形態における画像処理の射出時の色を特定するまでの流れを説明するためのフローチャートを示す図である。
【図７】本発明の第４の実施の形態に係る３次元情報取得装置の適用された３次元形状測定装置のブロック構成図である。
【図８】本発明の第５の実施の形態における画像処理の射出時の色を特定するまでの流れを説明するためのフローチャートを示す図である。
【図９】従来の技術によるパターンの例を示す図である。
【図１０】従来の技術によるカラーパターン投影法の処理の流れを説明するためのフローチャートを示す図である。
【符号の説明】
１ ３次元形状測定装置
２ ３次元情報取得装置
３ ３次元画像生成部
４ カラーパターン
２１ パターンメモリ
２２，２２−２ ストロボ
２２−１ パターン照射用ストロボ
２３ パターン切り替え部
２４，２４Ｒ，２４Ｌ 撮影部
２５，２５Ｒ，２５Ｌ 画像メモリ
２６ ２次元画像情報生成部
２７ 奥行き算出部
２８ 制御部
２９ 対応関係決定部
２４１，２４１Ｒ，２４１Ｌ 集光レンズ
２４２，２４２Ｒ，２４２Ｌ 受光部

Claims (28)

1. 撮影手段から所定の距離離れた位置から複数の色成分のパターンが重畳された所定の投影パターンが投影された撮影対象を上記撮影手段で撮影し、上記撮影手段で撮影された画像を解析することにより、上記撮影対象の３次元情報を取得する３次元情報取得装置であって、
   光源からの光によって照明された上記撮影対象を撮影した第１の画像、上記光源を消灯あるいは遮光して上記光源からの光による照明を行なわずに上記撮影対象を撮影した第２の画像、及び上記光源からの光または上記光源と同じ特性を有する他の光源からの光を利用して上記投影パターンが投影された上記撮影対象を撮影した第３の画像を記憶する画像記憶手段と、
   上記撮影対象に投影される上記投影パターンを予め記憶するパターン記憶手段と、
   上記画像記憶手段に記憶された上記第１、第２及び第３の画像を利用して上記撮影対象の表面反射率および外光の影響を補正し、上記補正を行なって得られたパターン各部の色または階調に基づいて撮影されたパターンの構造を推定するパターン構造推定手段と、
   上記パターン構造推定手段による上記推定の結果と上記パターン記憶手段に記憶された上記投影パターンとの対応関係を特定し、上記対応関係の特定結果に基づいて上記撮影対象の奥行き値を算出する奥行き算出手段と、
   を具備することを特徴とする３次元情報取得装置。
2. 上記投影パターンにおける各色成分のパターンは、隣り合う領域が互いに階調が異なるように複数の領域が配置されたものであることを特徴とする請求項１に記載の３次元情報取得装置。
3. 上記投影パターンにおける各色成分のパターンは、階調が極大となる領域と極小となる領域を交互に配置されたものであることを特徴とする請求項１に記載の３次元情報取得装置。
4. 上記階調が極小となる領域は、最低階調レベルであることを特徴とする請求項３に記載の３次元情報取得装置。
5. 上記投影パターンは、異なる有彩色に着色された複数の領域を含み、
   上記投影パターン中の有彩色の領域は、上記各色成分のパターンの所定の階調を有する領域の組み合わせで構成されたものであると共に、一つの色成分のパターンにおける任意の上記領域の階調は、他の色成分のパターンにおける上記任意の領域の階調と互いに異なり、これによって上記任意の領域が上記投影パターンの中のどの領域であるかの対応が特定できるように、上記投影パターンが符号化されている、
   ことを特徴とする請求項１に記載の３次元情報取得装置。
6. 上記複数の色成分は、Ｒ，Ｇ，Ｂの３成分であることを特徴とする請求項１に記載の３次元情報取得装置。
7. 上記パターン構造推定手段は、上記撮影されたパターンの色により上記撮影されたパターンの構造を推定する第１の推定方法と、全ての色成分でない一つ以上の色成分の階調により上記撮影されたパターンの構造を推定する第２の推定方法とを選択的に実行し、
   上記奥行き算出手段は、上記第１または第２の推定方法による推定結果を利用して上記撮影対象の奥行き値を算出することを特徴とする請求項１に記載の３次元情報取得装置。
8. 撮影手段から所定の距離離れた位置から複数の色成分のパターンが重畳された所定の投影パターンが投影された撮影対象を上記撮影手段で撮影し、上記撮影手段で撮影された画像を解析することにより、上記撮影対象の３次元情報を取得する３次元情報取得装置であって、
   光源からの光によって照明された上記撮影対象を撮影した第１の画像と、上記光源からの光または上記光源と同じ特性を有する他の光源からの光を利用して上記投影パターンが投影された上記撮影対象を撮影した第２の画像とを記憶する画像記憶手段と、
   上記撮影対象に投影される上記投影パターンを予め記憶するパターン記憶手段と、
   上記画像記憶手段に記憶された上記第１及び第２の画像を利用して上記撮影対象の表面反射率の影響を補正し、上記補正を行なって得られたパターン各部の色または階調に基づいて撮影されたパターンの構造を推定するパターン構造推定手段と、
   上記パターン構造推定手段による上記推定の結果と上記パターン記憶手段に記憶された上記投影パターンとの対応関係を特定し、上記対応関係の特定結果を利用して上記撮影対象の奥行き値を算出する奥行き算出手段と、
   を具備することを特徴とする３次元情報取得装置。
9. 上記投影パターンにおける各色成分のパターンは、隣り合う領域が互いに階調が異なるように複数の領域が配置されたものであることを特徴とする請求項８に記載の３次元情報取得装置。
10. 上記投影パターンにおける各色成分のパターンは、階調が極大となる領域と極小となる領域を交互に配置されたものであることを特徴とする請求項８に記載の３次元情報取得装置。
11. 上記階調が極小となる領域は、最低階調レベルであることを特徴とする請求項１０に記載の３次元情報取得装置。
12. 上記投影パターンは、異なる有彩色に着色された複数の領域を含み、
    上記投影パターン中の有彩色の領域は、上記各色成分のパターンの所定の階調を有する領域の組み合わせで構成されたものであると共に、一つの色成分のパターンにおける任意の上記領域の階調は、他の色成分のパターンにおける上記任意の領域の階調と互いに異なり、これによって上記任意の領域が上記投影パターンの中のどの領域であるかの対応が特定できるように、上記投影パターンが符号化されている、
    ことを特徴とする請求項８に記載の３次元情報取得装置。
13. 上記複数の色成分は、Ｒ，Ｇ，Ｂの３成分であることを特徴とする請求項８に記載の３次元情報取得装置。
14. 上記パターン構造推定手段は、上記撮影されたパターンの色により上記撮影されたパターンの構造を推定する第１の推定方法と、全ての色成分でない一つ以上の色成分の階調により上記撮影されたパターンの構造を推定する第２の推定方法とを選択的に実行し、
    上記奥行き算出手段は、上記第１または第２の推定方法による推定結果を利用して上記撮影対象の奥行き値を算出することを特徴とする請求項８に記載の３次元情報取得装置。
15. 撮影手段から所定の距離離れた位置から複数の色成分のパターンが重畳された所定の投影パターンが投影された撮影対象を上記撮影手段で撮影し、上記撮影手段で撮影された画像を解析することにより、上記撮影対象の３次元情報を取得する３次元情報取得装置であって、
    上記投影パターンが投影された上記撮影対象を撮影した画像を記憶する画像記憶手段と、
    上記撮影対象に投影される上記投影パターンを予め記憶するパターン記憶手段と、
    上記画像中に含まれるパターンの色により撮影されたパターンの構造を推定する第１の推定方法と、全ての色成分でない一つ以上の色成分の階調により上記撮影されたパターンの構造を推定する第２の推定方法とを選択的に実行するパターン構造推定手段と、
    上記パターン構造推定手段での上記第１または第２の推定方法による推定結果と上記パターン記憶手段に記憶された上記投影パターンとの対応関係を特定し、上記対応関係の特定結果を利用して上記撮影対象の奥行き値を算出する奥行き算出手段と、
    を具備することを特徴とする３次元情報取得装置。
16. 上記投影パターンにおける各色成分のパターンは、隣り合う領域が互いに階調が異なるように複数の領域が配置されたものであることを特徴とする請求項１５に記載の３次元情報取得装置。
17. 上記投影パターンにおける各色成分のパターンは、階調が極大となる領域と極小となる領域を交互に配置されたものであることを特徴とする特徴とする請求項１５に記載の３次元情報取得装置。
18. 上記階調が極小となる領域は、最低階調レベルであることを特徴とする請求項１７に記載の３次元情報取得装置。
19. 上記投影パターンは、異なる有彩色に着色された複数の領域を含み、
    上記投影パターン中の有彩色の領域は、上記各色成分のパターンの所定の階調を有する領域の組み合わせで構成されたものであると共に、一つの色成分のパターンにおける任意の上記領域の階調は、他の色成分のパターンにおける上記任意の領域の階調と互いに異なり、これによって上記任意の領域が上記投影パターンの中のどの領域であるかの対応が特定できるように、上記投影パターンが符号化されている、
    ことを特徴とする請求項１５に記載の３次元情報取得装置。
20. 上記複数の色成分は、Ｒ，Ｇ，Ｂの３成分であることを特徴とする請求項１５に記載の３次元情報取得装置。
21. 撮影対象を撮影した画像を解析して上記撮影対象の３次元情報を取得するに際して、上記撮影対象に投影される投影パターンであって、
    複数の色成分のパターンが重畳されたものであり、
    異なる有彩色に着色された複数の領域を含み、
    上記有彩色の領域は、上記各色成分のパターンの所定の階調を有する領域の組み合わせで構成されたものであると共に、一つの色成分のパターンにおける任意の上記領域の階調は、他の色成分のパターンにおける上記任意の領域の階調と互いに異なり、これによって上記任意の領域が上記投影パターンの中のどの領域であるかの対応が特定できるように、上記投影パターンが符号化されている、
    ことを特徴とする３次元情報取得における投影パターン。
22. 上記各色成分のパターンは、隣り合う領域が互いに階調が異なるように複数の領域が配置されたものであることを特徴とする請求項２１に記載の３次元情報取得における投影パターン。
23. 上記各色成分のパターンは、階調が極大となる領域と極小となる領域を交互に配置されたものであることを特徴とする請求項２１に記載の３次元情報取得における投影パターン。
24. 上記階調が極小となる領域は、最低階調レベルであることを特徴とする請求項２１に記載の３次元情報取得における投影パターン。
25. 上記複数の色成分は、Ｒ，Ｇ，Ｂの３成分であることを特徴とする請求項２１に記載の３次元情報取得における投影パターン。
26. 撮影手段から所定の距離離れた位置から複数の色成分のパターンが重畳された所定の投影パターンが投影された撮影対象を上記撮影手段で撮影し、上記撮影手段で撮影された画像を解析することにより、上記撮影対象の３次元情報を取得する３次元情報取得方法であって、
    光源からの光によって照明された上記撮影対象を撮影することで第１の画像を得、
    上記光源を消灯あるいは遮光して上記光源からの光による照明を行なわずに上記撮影対象を撮影することで第２の画像を得、
    上記光源からの光または上記光源と同じ特性を有する他の光源からの光を利用して上記投影パターンが投影された上記撮影対象を撮影することで第３の画像を得、
    これら第１、第２及び第３の画像を利用して上記撮影対象の表面反射率および外光の影響を補正し、上記補正を行なって得られたパターン各部の色または階調に基づいて撮影されたパターンの構造を推定し、
    上記推定の結果と上記投影した所定の投影パターンとの対応関係を特定し、
    上記対応関係の特定結果に基づいて上記撮影対象の奥行き値を算出する、
    ことを特徴とする３次元情報取得方法。
27. 撮影手段から所定の距離離れた位置から複数の色成分のパターンが重畳された所定の投影パターンが投影された撮影対象を上記撮影手段で撮影し、上記撮影手段で撮影された画像を解析することにより、上記撮影対象の３次元情報を取得する３次元情報取得方法であって、
    光源からの光によって照明された上記撮影対象を撮影することで第１の画像を得、
    上記光源からの光または上記光源と同じ特性を有する他の光源からの光を利用して上記投影パターンが投影された上記撮影対象を撮影することで第２の画像を得、
    これら第１及び第２の画像を利用して上記撮影対象の表面反射率の影響を補正し、上記補正を行なって得られたパターン各部の色または階調に基づいて撮影されたパターンの構造を推定し、
    上記推定の結果と上記投影した所定の投影パターンとの対応関係を特定し、
    上記対応関係の特定結果を利用して上記撮影対象の奥行き値を算出する、
    ことを特徴とする３次元情報取得方法。
28. 撮影手段から所定の距離離れた位置から複数の色成分のパターンが重畳された所定の投影パターンが投影された撮影対象を上記撮影手段で撮影し、上記撮影手段で撮影された画像を解析することにより、上記撮影対象の３次元情報を取得する３次元情報取得方法であって、
    上記投影パターンが投影された上記撮影対象を撮影することで画像を得、
    この画像中に含まれるパターンの色により撮影されたパターン構造を推定する第１の推定方法と、全ての色成分でない一つ以上の色成分の階調により上記撮影されたパターンの構造を推定する第２の推定方法とを選択的に実行し、
    上記第１または第２の推定方法による推定結果と上記投影した所定の投影パターンとの対応関係を特定し、
    上記対応関係の特定結果を利用して上記撮影対象の奥行き値を算出する、
    ことを特徴とする３次元情報取得方法。

Images