JP4382430B2 - 頭部の三次元形状計測システム - Google Patents

Description

本発明は、頭部の三次元形状計測システムに関し、特に、毛髪を含めた頭部の三次元形状を多眼正弦波格子位相シフト法を用いて計測するシステムに関する。

従来、ＣＧ（Computer Graphics）コンテンツの作成や、ＦＡ（Factory Automation ）・工業計測用途等の様々な分野で非接触式の三次元形状計測装置が開発、製品化されている。近年、医療分野、美容業界等でも、頭部を含めた人体の形状計測のニーズも高まりつつあり、このような分野でも様々なアプローチで開発がなされている。

しかし、人間の頭部を計測する場合には、通常、髪の毛のような黒色の対象物の形状を計測するのは困難であるため、取得されるデータは、毛髪のない顔のみ、といった極めて不自然な形状データとなってしまうことが多い。特に、固定した計測装置を用いて三次元形状を計測するのではなく、計測場所に計測装置を持ち込んで三次元形状を計測する場合等には、計測が困難となる。

そこで、本発明は、上記従来の技術における問題点に鑑みてなされたものであって、計測場所に計測装置を持ち込んで人間の頭部の三次元形状を計測する場合等であっても、簡単に、毛髪を含めた頭部の鮮明な三次元形状を計測することのできる計測システムを提供することを目的とする。

上記目的を達成するため、本発明は、頭部の三次元形状計測システムであって、各々、測定対象物に正弦波格子パターンを投射する格子パターン投射手段と、前記正弦波格子パターンが投射された測定対象物の画像を撮影する画像撮影手段と、前記格子パターン投射手段を保持しながら、該格子パターン投射手段を一定の方向に一定量ずつ移動させる格子駆動手段とを備え、各々独自の原点と座標軸とからなる座標系を有する複数の三次元形状計測装置と、該複数の三次元形状計測装置の座標系を一致させる統合キャリブレーション手段とを備え、該統合キャリブレーション手段は、表面の一部に格子模様が描かれた平板を校正用器具として備え、前記格子模様の描かれていない部分で平面方程式を求め、該平面方程式と検出された画像撮影手段の画像上の特徴点の方向から実際の特徴点の三次元座標を求め、該求めた実際の特徴点の三次元座標を用いて統合キャリブレーションを行うことを特徴とする。

そして、本発明によれば、複雑な器具や方法を用いずに、頭部の三次元形状計測システムを設置する現地で簡単にキャリブレーションを行うことができるため、頭部の三次元形状計測システムを各ユニットに分解して輸送することができる。また、校正用器具に表面の一部に格子模様が描かれた平板を使用するため、高精度に各三次元形状計測装置の原点・座標軸を一致させることができ、運動パラメータ（回転行列Ｒと平行ベクトルＴ）を高精度に求めることができる。さらに、この平面板は、機械工作でも容易に製作することができるとともに、高精度に工作できるため、校正用器具の作成が容易でコスト低減に繋がる。

上記頭部の三次元形状計測システムにおいて、前記格子パターン投射手段は、毛髪計測用と顔面計測用とで異なる輝度の正弦波格子パターン光を投射することができる。これによれば、格子パターン投射手段によって、毛髪計測用と顔面計測用とで異なる輝度の正弦波格子パターン光を投射するため、毛髪を含めたより人体として自然な頭部の三次元形状データの取得が可能となり、眼鏡販売店、美容院等におけるシュミレーション等の用途に利用することができる。

また、上記頭部の三次元形状計測システムにおいて、２台の前記三次元形状計測装置を備え、各々の三次元形状計測装置を前記測定対象物の左右に配置するように構成することができる。これによって、最小限の三次元形状計測装置を用いて毛髪を含めた頭部の三次元形状データを得ることができる。

以上説明したように、本発明によれば、計測場所に計測装置を持ち込んで人間の頭部の三次元形状を計測する場合等であっても、簡単に、毛髪を含めた頭部の鮮明な三次元形状を計測することのできる計測システムを提供することができる。

図１は、本発明にかかる１台の三次元形状計測装置を示し、この装置は、２台のカメラ（画像撮影手段）１００と、２台のプロジェクタ（格子パターン投射手段）１０１と、各々のプロジェクタ１０１を保持しながら、一定の方向に一定量ずつ移動させる図示しない格子駆動手段とで構成され、多眼正弦波格子位相シフト法と呼ばれる計測原理により形状計測を行う。

この手法は、まず、プロジェクタ１０１内に設けた正弦波状に濃淡値が印刷されている格子を通して、図示しない光源から測定対象物に対して正弦波状の輝度分布を持つ光パターンを投射する。そして、測定対象物上の縞画像をカメラ１００で撮影する。次に、測定対象物を静止させたままで、格子を縞の直角方向へと、波長の１／Ｎずつ、Ｎ回ずらしながらカメラ１００で画像を撮影して行く。撮影された画像は、測定対象物に投射された正弦波光パターンが２π／Ｎラジアンずつ進行して行くように見える。計測点の輝度値を投射方向から計測し、各輝度値より格子パターンの位相値を計算する。計測点の高さ変位に応じて格子パターンの位相が変調するため、この位相の変調量を計算し、光学装置の幾何関係式に代入することにより、測定対象物の高さ変位量を計算し、三次元形状を求めるものである。その際、対象物の空間位置の原点（Ｏ）と座標軸Ｘ、Ｙ、Ｚとからなる座標系１０２を用いて測定対象物の三次元形状を示すことになる。

本発明にかかる頭部の三次元形状計測システムは、図１に示した１台の三次元形状計測装置を２台、図２に示すように、左右に垂直に配置して固定する。各三次元形状計測装置１０４、１０５の上下には、テクスチャ用の蛍光灯１１０が配置される。このように三次元形状計測装置１０４、１０５を左右に配置したのは、図３に示すような通常の男性の髪型から、肩まで伸びている女性の髪型まで対応できるようにするためである。尚、図３において、１台の三次元形状計測装置１０５（図２参照）の計測範囲が符号１８０で示した枠内である。そして、上記多眼正弦波格子位相シフト法により測定対象物１０７の頭部の三次元形状の計測を行う。

しかしながら、この２台の三次元形状計測装置１０４、１０５には、各々、測定対象物１０７の三次元計測を行うための原点・座標軸からなる座標系が存在する。これらの原点と座標軸は、三次元形状計測装置１０４、１０５の各々に固有のものであり、計測装置が異なれば原点・座標軸も異なっている。そのため、２台の三次元形状計測装置１０４、１０５の計測データを統合させることができない。そこで、各三次元形状計測装置１０４、１０５の原点・座標軸に座標変換を施し、各三次元形状計測装置１０４、１０５の原点・座標軸を一致させることが必要となる。この動作を以下、「統合キャリブレーション」と呼ぶ。

図４は、座標系１４０から座標系１４１へと座標変換をする原理を示す図である。２台の三次元形状計測装置１０４、１０５（図２参照）において、一方の三次元形状計測装置１０４の座標系１４０上の点Ｐ（Ｘ₁、Ｙ₁、Ｚ₁）が、他方の三次元形状計測装置１０５の座標系１４１上では（Ｘ₂、Ｙ₂、Ｚ₂）になるとする。これらをベクトル表示すれば、ベクトルｒ₁＝（Ｘ₁、Ｙ₁、Ｚ₁）、ｒ₂＝（Ｘ₂、Ｙ₂、Ｚ₂）となる。図のＴ１４５は平行ベクトルを示し、Ｒ１４６は回転行列を示す。図４から、以下の式が成り立つ。

上記の式（１）から、座標系１４１を座標系１４０に一致させるには、座標軸を回転させる３×３の行列Ｒ１４６と、原点を移動させる平行ベクトルＴ１４５を求めることに帰着する。

この回転行列Ｒ１４６と平行ベクトルＴ１４５を求めるため、図５に示す校正用器具を使用する。この校正用器具は、模様の描かれていない肌色の部分と、肌色と黒色で形成された格子模様の部分からなり、格子の間隔は１０．０ｍｍで塗装されている。

まず、回転行列Ｒ１４６を求めるための動作から説明する。三次元形状計測装置１０４で、図５の格子模様が塗装されていない面２００を被測定面として、この面上の３点を計測する。計測データは、第１点（ｘ₁、ｙ₁、ｚ₁）、第２点（ｘ₂、ｙ₂、ｚ₂）、第３点（ｘ₃、ｙ₃、ｚ₃）のように各座標値として求められる。これら３点は、同一直線上に並ばないように選択する。３点の座標が求められれば、平面が決まるので、計測している平面板の当てはめ平面方程式を求めることができる。

当てはめ平面方程式は、以下のようにして求められる。平面の方程式の法線ベクトルを（α、β、−１）とした場合、平面方程式は、以下のようになる。

この式（２）に、計測した被測定面の上記３点の座標、第１点（ｘ₁、ｙ₁、ｚ₁）、第２点（ｘ₂、ｙ₂、ｚ₂）、第３点（ｘ₃、ｙ₃、ｚ₃）を代入すれば、３つの式（２）ができ、これらからα、β、ｄの値を求めることができる。しかし、上記の計測した座標の値には、計測誤差が含まれているため、算出されたα、β、ｄの値は正確なものではない。そこで、計測誤差の二乗和Ｅを求める。誤差の二乗和Ｅは、以下の式で求められる。

そして、誤差が最も小さくなるときにこの関数が極値を持つ条件から、最終的に当てはめ平面の平面方程式の未知数α、β、ｄは以下の行列を解くことにより求められる。

この１次元連立方程式の数値解析を行い、未知数α、β、ｄを決定し、これにより、当てはめ平面の方程式を決定する。

次に、図６に示すように、格子模様のあるエッジに対するカメラ画像上座標を抽出し、焦点とこれを通過するラインと平面方程式との交点が、そのエッジの三次元座標となる。ここで、誤抽出点が存在する可能性があるため、図６に示した構成器具の実際に塗装されている格子点の間隔が１０．０ｍｍという条件を利用して、その条件に適合しない点を排除する。

この点について、図７を参照しながら詳細に説明する。注目エッジ点２０１を注目点として、他のエッジ（点１、点２、点３・・・）までの距離を計算する。例えば、点２０１と点１との距離は、格子間隔が１０．０ｍｍであることから、ｄｒ１＝（１０²＋１０²）^1/2ｍｍである。

ところで、上記三次元計測によって格子点の座標は求められている。この三次元計測によって求められた座標から、注目点と他エッジとの距離を求めることができる。この距離をｄｐ１とする。すると、誤ってエッジを抽出している場合や、誤差が大きい場合には、｜ｄｒ１− ｄｐ１｜も大きくなる（｜｜は絶対値を示す）。これを判断基準とし、ある閾値より大きな値が、エッジ全体で数％存在する場合には、その注目点は排除し、以降の計算には使用しない。

このようにして求められた複数点の格子点データを各三次元形状計測装置で対応付け、それら複数組から三次元形状計測装置１０５を三次元形状計測装置１０４への座標系へ変換する運動パラメータを求めることができる。ここで、回転行列Ｒ１４６を四元数表現による解法で求める。

上述のように、格子点の三次元座標が判明したため、それを利用して回転行列Ｒ１４６と平行ベクトルＴ１４５を以下のように決定する。格子点番号が三次元形状計測装置１０４、１０５とで一致している場合、回転行列Ｒ１４６は、以下のようにして決められる。

格子点の座標（ベクトル）をＸ_i、全格子点の平均ベクトルをＸ_i）として、それらの差を以下のように定義する。

まず、ある４次元ベクトルを、ｑ＝（λ₀，λ₁，λ₂，λ₃）とおき、次式の最小固有値に対するｑを求める。ここで、Ｂ_iは式（７）に示すとおりである。

従って、上記ｑが求められれば、回転行列Ｒ１４６は以下のように決定する。

また、平行ベクトルＴ１４５は、式（８）より、以下のようになる。

ところで、Ｘ_i、Ｘ_i’は、三次元形状計測装置１０４、１０５各々の三次元座標であり、図２に示した次の関係が成り立つ。

これによって、回転行列Ｒ１４６と平行ベクトルＴ１４５を求めることができ、統合キャリブレーションを行うことができる。

次に、本発明にかかる頭部の三次元形状計測システムにおける正弦波状の輝度分布を有する光パターンの投射方法について、図９を参照しながら説明する。

図９（ａ）に示すように、顔面用の正弦波パターン光で毛髪の部分の計測を行うと、毛髪に投射される明るさの異なる部分が少なくなり、毛髪部分の三次元形状を計測することができない。そのため、図９（ｂ）に示すような高輝度の正弦波パターン光を再度投射し、三次元計測することで黒色に近い毛髪の計測も可能となる。

本発明にかかる１台の三次元形状計測装置を示す概略斜視図である。 本発明にかかる２台の三次元形状計測装置の構成図であって、（ａ）は平面図、（ｂ）は背面図、（ｃ）は側面図である。 本発明にかかる１台の三次元形状計測装置によって計測できる範囲を示す図である。 ２台の三次元形状計測装置を用いた場合の座標軸と座標変換の説明図である。 本発明にかかる校正用の格子模様付き平板を示す図である。 本発明にかかる平面方程式とカメラ画像上のエッジに関する説明図である。 本発明において誤抽出を排除するための説明図であって、（ｂ）は（ａ）のＡ部拡大図である。 本発明にかかる頭部の三次元形状計測システムにおける顔面用の正弦波光と毛髪用の正弦波光を示す図であって、（ａ）は顔面用を、（ｂ）は毛髪用を示す。

符号の説明

１００ １台の三次元形状計測装置のカメラ
１０１ １台の三次元形状計測装置のプロジェクタ
１０２ １台の三次元形状計測装置の原点と座標軸
１０４ １台の三次元形状計測装置
１０５ １台の三次元形状計測装置
１０７ 測定対象物
１４０ 変換前の座標系
１４１ 変換後の座標系
１４５ キャリブレーションのための平行ベクトル
１４６ キャリブレーションのための回転行列
１１０ テクスチャー用の蛍光灯
１８０ １台の三次元形状計測装置の計測範囲
２００ 校正用格子模様付き平板の平面方程式を求める部分
２０１ 校正用格子模様付き平板の格子模様のエッジ

Claims (3)

1. 各々、測定対象物に正弦波格子パターンを投射する格子パターン投射手段と、前記正弦波格子パターンが投射された測定対象物の画像を撮影する画像撮影手段と、前記格子パターン投射手段を保持しながら、該格子パターン投射手段を一定の方向に一定量ずつ移動させる格子駆動手段とを備え、各々独自の原点と座標軸とからなる座標系を有する複数の三次元形状計測装置と、
   該複数の三次元形状計測装置の座標系を一致させる統合キャリブレーション手段とを備え、
   該統合キャリブレーション手段は、表面の一部に格子模様が描かれた平板を校正用器具として備え、前記格子模様の描かれていない部分で平面方程式を求め、該平面方程式と検出された画像撮影手段の画像上の特徴点の方向から実際の特徴点の三次元座標を求め、該求めた実際の特徴点の三次元座標を用いて統合キャリブレーションを行うことを特徴とする頭部の三次元形状計測システム。
2. 前記格子パターン投射手段は、毛髪計測用と顔面計測用とで異なる輝度の正弦波格子パターン光を投射することを特徴とする請求項１記載の頭部の三次元形状計測システム。
3. ２台の前記三次元形状計測装置を備え、各々の三次元形状計測装置が前記測定対象物の左右に配置されることを特徴とする請求項１又は２記載の頭部の三次元形状計測システム。