JPH1114327A - ３次元形状計測方法及びその装置 - Google Patents

Abstract

(57)【要約】 【課題】ノイズ等による誤計測の発生を抑えることがで
きる３次元形状計測方法及びその装置を提供する。 【解決手段】液晶表示部３に表示する正弦波状（縞模
様）のパターンを対象物（頭部Ｈ）に投影し、パターン
の位相をπ／２ずつシフトしながら対象物の画像（パタ
ーン画像Ｇ₁ 〜Ｇ₄ ）を取り込む。パターン画像Ｇ₁ の
各位置の位相を１周期（０〜２π）毎に求めた画像（以
下、「位相画像」と呼ぶ。）を生成する。ここで、位相
画像に対して１次元の縁点検出フィルタによるフィルタ
処理を行うことにより、ノイズや毛髪等の局所的な明度
の乱れに影響されることなく、正しい位相境界位置を検
出することができ、信頼性の高い位相復元が可能とな
る。さらに、各位置の位相値をもとに三角測量の原理に
よって対象物の３次元形状を計測できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、対象物、特に人体
のような半透明の物体の３次元形状を高精度に計測する
ことが可能な３次元形状計測方法及びその装置に関する
ものである。

【０００２】

【従来の技術】美容器具の分野において、その効果を定
量的に評価するにあたっては、計測の対象物が生体であ
るため非侵襲的に計測が行えることが望ましい。例え
ば、美肌器具のように人体表面形状に変化が現れるもの
の評価をする場合、その形状を計測する目的において、
生体は柔軟な物体であるために物理的接触を伴う計測方
法では接触圧力による対象物の変形が生じ、正確な計測
が行えない。従って、人体の計測は非接触で行う必要が
ある。

【０００３】一般的な工業部品等の３次元形状を非接触
で計測する計測装置においては、安価であり且つ高い精
度が得られることから所謂光切断法が最も頻繁に使用さ
れる。しかしながら、上記光切断法では人体、特に目に
対して有害なレーザ光線を使用するため、対象物を人体
とする場合には使用できない。そこで、人体の３次元形
状を計測する方法としては、従来より人体にほぼ無害な
白色光源を利用して高精度の計測が可能な位相シフト法
（縞走査法）が用いられている。

【０００４】上記位相シフト法は、正弦波状の明暗分布
を有するパターンを位相シフトさせながら複数回にわた
って対象物に投影し、位相シフトに同期させてパターン
の投影方向と異なる方向から対象物を撮像して複数のパ
ターン画像を得るとともに、各パターン画像の同一位置
で位相シフトにより生じる明度変化に基づいてパターン
画像の各位置に対する１周期分の位相を求め、１周期分
の位相の境界となる位置を検出し、この位相境界位置で
の位相を連結することによりパターン画像の各位置にお
ける位相を復元するとともに、復元された位相から三角
測量の原理によって前記対象物の３次元形状を計測する
ものである。

【０００５】かかる位相シフト法を用いて人体の３次元
形状を計測する従来例として、ＴＶカメラを用いて、１
画素当たり１００μｍ程度の粗い分解能により人体の目
尻部分に生じる比較的に大きなしわの計測を行う方法
が、粧技誌第２８巻第２号１５３頁〜１６２頁（１９９
４）に記載されている。また、上記の位相復元のための
技術としては、特公平３ー３８５２４号公報において開
示されているように計測対象物の近くにパターン全体を
捉えることができるような広い基準面を配置し、この基
準面に投影される歪みのないパターンを基準位相として
計測し、これをもとにして対象物に投影されたパターン
の歪みを求めるという方法がある。

【０００６】さらに位相シフト法による３次元形状計測
装置の従来例としては、特開平４ー９８１１１号公報に
開示されているように、光を遮断して明暗を有するパタ
ーンを対象物に投影するため、格子の背後から照明装置
により照明するとともに格子の前面に配置した集光レン
ズにより対象物に対して格子状のパターンを投影するも
のがある。

【０００７】

【発明が解決しようとする課題】上記文献〔粧技誌第２
８巻第２号１５３頁〜１６２頁（１９９４）〕に記載さ
れている従来例では比較的に大きなしわを計測の対象と
しているが、所謂小じわと呼ばれる微細なしわの幅は１
００μｍを下回る場合が多く、かかる従来例の分解能で
は上記のような小じわを計測することができない。ゆえ
に、小じわの計測のためにはより高い分解能での計測が
必要となる。

【０００８】しかしながら、高い分解能で計測を行うと
人体の皮膚表面に散在する毛髪やほくろ等の黒色の物体
によってパターン画像の明度変化が局所的に不明瞭とな
ることの影響が大となる。また、人体の皮膚は半透明で
あるために光を透過しやすく、投影した光（パターン）
が皮膚内部に浸透・拡散し、パターンの明度変化と撮像
される対象物表面の明度変化に差異が生じる。このよう
にパターン画像の明度変化が不明瞭となったり、明度変
化に差異が生じることの影響は、きわめて微細な凹凸形
状を計測するために画像取得手段を高分解能とすると、
より顕著に現れる。

【０００９】以上のような理由により、位相シフト法に
よる高分解能での３次元形状計測においては、パターン
が投影された対象物を撮像したパターン画像にノイズや
歪みが生じやすいという問題が生じていた。このノイズ
や歪みの影響は、複数のパターン画像間で同一位置の明
度変化から１周期分（０〜２π）ごとに求められるパタ
ーン画像の位相を連結する処理において、位相の境界位
置を検出する際に誤りを生じ、その誤りが結果として大
きな計測誤差を生じる要因となる点が最大の問題であ
る。

【００１０】一方、特公平３−３８５２４号公報に記載
されている従来例においては、ＴＶカメラの視野内に基
準面の全体を捉える必要があるが、対象物（人体）は画
面の一部にしか捉えられないためにＴＶカメラの分解能
が十分に活用されないという問題があった。また、計測
装置の構成上も基準面を設置する必要があり、人体のよ
うに加工することのできない対象物に対しては適用が困
難であるという問題があった。

【００１１】さらに、特開平４−９８１１１号公報に記
載されている従来例においては、上記のような基準面を
設置する必要はないものの、指向性の低い光源の光を対
象物に投影するために集光レンズを用いる必要があり、
かつパターンを位相シフトさせるために格子を物理的手
段により移動させる機構が必要となり、そのためにパタ
ーンの投影装置が大型になるという問題があった。

【００１２】また、人体を対象とする３次元形状計測方
法においては、工業部品と違って対象物が生体であるた
めに計測中に対象物（人体又はその一部）を完全に固定
することが困難であり、対象物が静止している必要があ
る上記位相シフト法を適用するにあたっては間題が生じ
る。さらに、上記のような人体を対象とした３次元形状
計測装置は、多数の被験者に対して広く計測を行う必要
があることから、小型・軽量で運搬が容易であることが
不可欠である。

【００１３】本発明は上記問題に鑑みて為されたもので
あり、その目的とするところは、ノイズ等による誤計測
の発生を抑えることができる３次元形状計測方法を提供
することにある。

【００１４】

【課題を解決するための手段】請求項１の発明は、上記
目的を達成するために、正弦波状の明暗分布を有するパ
ターンを位相シフトさせながら複数回にわたって対象物
に投影し、前記位相シフトに同期させて該パターンの投
影方向と異なる方向から対象物を撮像して複数のパター
ン画像を得るとともに、各パターン画像の同一位置で前
記位相シフトにより生じる明度変化に基づいて前記パタ
ーン画像の各位置に対する１周期分の位相を求め、該１
周期分の位相の境界となる位置を検出し該位相境界位置
での位相を連結することにより前記パターン画像の各位
置における位相を復元するとともに、復元された該位相
から三角測量の原理によって前記対象物の３次元形状を
計測する３次元形状計測方法において、前記パターン画
像の各位置に対して求めた１周期分の位相に対し該周期
の切り換わりを検出するフィルタを用いて前記位相境界
位置を検出することを特徴とし、ノイズや毛髪等の局所
的な明度の乱れに影響されることなく、正しい位相境界
位置を検出することができ、信頼性の高い位相復元が可
能となる。

【００１５】請求項２の発明は、請求項１の発明におい
て、対象物の移動方向と速度とに基づいて上記複数のパ
ターン画像間での対象物の移動量を求めて、パターン画
像の位置情報を補正することを特徴とし、撮像の際に対
象物が完全に静止していない場合にも、対象物の移動が
等速直線運動であるとみなせるときには簡易な補正処理
により位相シフト法による３次元形状計測を行うことが
できる。

【００１６】請求項３の発明は、請求項１の発明におい
て、上記各パターン画像同士を照合処理することにより
パターン画像間での対象物の移動量を求めて、パターン
画像の位置情報を補正することを特徴とし、撮像の際に
対象物が完全に静止しておらず、且つその移動が不規則
な場合であっても位置情報を補正することで位相シフト
法による３次元形状計測を行うことができる。

【００１７】請求項４の発明は、請求項１の発明におい
て、半透明の対象物に対して光の散乱により生じるパタ
ーンの変形を考慮し、対象物に投影するパターンを補正
することを特徴とし、対象物が半透明であることにより
投影されたパターンに歪みが発生する場合に、その歪み
を予め予測し、パターン表示手段に表示するパターンを
補正することにより正しい計測が行える。

【００１８】請求項５の発明は、請求項１の発明におい
て、半透明の対象物に対して光の散乱により生じる３次
元の高さ情報の歪みを該歪みの周期性に基づいて補正す
ることを特徴とし、対象物が半透明であることにより投
影されたパターンに歪みが発生する揚合に、その歪みが
周期性を有することに基づいて処理結果を補正すること
により正しい計測が行える。

【００１９】請求項６の発明は、請求項１の発明におい
て、計測された対象物の３次元の高さ情報に対して周波
数分離処理を行うことを特徴とし、対象物から大域的な
特徴と局所的な特徴を分離し、また周期的に発生する歪
みを除去することが可能となる。請求項７の発明は、請
求項１の発明において、光学系の構成により発生する上
記パターン画像の幾何学的な歪みを画像処理により補正
することを特徴とし、光学系の構成に伴って定常的に発
生する計測誤差を打ち消すことが可能となる。

【００２０】請求項８の発明は、線状あるいは点状の光
源を有し対象物に光を照射する光照射手段と、前記光照
射手段の前面に配置され且つ部分的に光の透過率が可変
できるパターン表示手段と、該パターン表示手段により
パターンが投影された対象物を視野全体に捉えて撮像す
る撮像手段と、該撮像手段により撮像されたパターン画
像を量子化する量子化手段と、量子化されたパターン画
像を格納する記憶手段と、該記憶手段に格納されたパタ
ーン画像に画像処理を行う画像処理手段とを備え、前記
パターン表示手段により正弦波状の明暗分布を有するパ
ターンを位相シフトさせながら複数回にわたって対象物
に投影し、前記位相シフトに同期させて前記撮像手段に
より該パターンの投影方向と異なる方向から対象物を撮
像して複数のパターン画像を得るとともに、前記画像処
理手段にて、各パターン画像の同一位置で前記位相シフ
トにより生じる明度変化に基づいて前記パターン画像の
各位置に対する１周期分の位相を求め、該１周期分の位
相の境界となる位置を検出し該位相境界位置での位相を
連結することにより前記パターン画像の各位置における
位相を復元するとともに、復元された該位相から三角測
量の原理によって前記対象物の３次元形状を計測する３
次元形状計測装置であって、前記パターン画像の各位置
に対して求めた１周期分の位相に対し該周期の切り換わ
りを検出するフィルタを備え、該フィルタを用いて前記
位相境界位置を検出して成ることを特徴とし、ノイズや
毛髪等の局所的な明度の乱れに影響されることなく、正
しい位相境界位置を検出することができ、信頼性の高い
位相復元が可能となる。また、対象物を撮像手段の視野
全体に捉えることにより撮像手段の分解能を完全に活用
できる。さらに、線状あるいは点状の光源を有する光照
射手段を備えているため、光照射手段から照射される光
自体に指向性があり、投影用のレンズを使用することな
く対象物に明暗のパターンを投影でき、装置全体を小型
化することができる。

【００２１】請求項９の発明は、請求項８の発明におい
て、前記パターン表示手段に液晶パネルを用いて成るこ
とを特徴とし、パターンの位相をシフトするために機械
的な機構が不要となり、装置全体を小型化することがで
きる。請求項１０の発明は、請求項８の発明において、
光照射手段の光軸上にシリンドリカルレンズを配置する
ことを特徴とし、パターン表示手段に照射される光を平
行光線とすることができるためにパターンが歪むことが
なく、奥行き方向の深い対象物も計測可能となる。

【００２２】請求項１１の発明は、請求項８の発明にお
いて、光照射手段から対象物までの光路又は対象物から
撮像手段までの光路中の少なくとも一方に配置されるミ
ラーを備えたことを特徴とし、光路をミラーで折り返す
ことによって光照射手段と撮像手段を並列させて設置す
ることができ、装置全体を小型化することができる。請
求項１２の発明は、請求項８の発明において、前記光路
中に色の通過帯域の狭い光学フィルタを配置して成るこ
とを特徴とし、光照射系及び撮像系のレンズの色収差に
伴う計測誤差の発生を抑制することができる。

【００２３】請求項１３の発明は、請求項８の発明にお
いて、前記撮像手段の光を取り込む部分の前面に偏光フ
ィルタを配置して成ることを特徴とし、表面に光沢のあ
る対象物の計測の際に外乱光の影響を低滅することがで
きる。

【００２４】

【発明の実施の形態】

（実施形態１）以下、本発明の３次元形状計測方法及び
計測装置を人の顔面の３次元形状、特に目尻部分のしわ
を計測する方法並びに計測装置に適用した実施形態につ
いて図面を参照して詳細に説明する。

【００２５】まず、本発明の３次元形状計測装置の構成
を説明する。図１は本発明装置を示すブロック図であ
り、ＣＣＤカメラなどの撮像部１と、白色光のように人
体に照射しても安全な光を極めて細い線状の光として照
射する光照射部２と、光照射部２の照射方向前方に配置
されて正弦波状のパターンを形成する液晶表示部３と、
液晶表示部３を駆動する液晶駆動部４と、撮像部１で撮
像したアナログ画像を量子化する量子化部（フレームグ
ラバ）５と、量子化部５で量子化されたディジタル画像
の画素データが格納されるメモリ部６と、メモリ部６に
格納されたディジタル画像（画素データ）に対して後述
する各種の処理を行う画像処理部７と、画像処理部７か
らのパターン制御命令を液晶駆動部４に伝送するインタ
フェース部８とを備え、撮像部１、光照射部２、液晶表
示部３並びに液晶駆動部４がハウジング９内に収納され
て計測ヘッドＡが構成してある。なお、量子化部５、メ
モリ部６、画像処理部７並びにインタフェース部８は、
例えばディスプレイ装置を備えたパーソナルコンピュー
タにて構成される。

【００２６】計測ヘッドＡのハウジング９には開口部９
ａが設けてあり、開口部９ａを含む平面（開口面）の法
線方向に撮像部１の光軸を略一致させるとともに、開口
面の法線方向から所定の角度だけ傾いた方向に光照射部
２の光軸を一致させてある。而して、計測の対象物であ
る人体の頭部Ｈを固定台１０によってハウジング９の開
口部９ａに近接して固定することにより、撮像部１の光
軸を頭部Ｈの目尻部分に略直交させるようになってい
る。

【００２７】図２に示すように光照射部２は極めて細い
線状の発光部２ａを有している。この発光部２ａは、例
えば光ファイバアレイによって構成され、計測ヘッドＡ
の外部に設けた光源（図示せず）から光ファイバを用い
てハウジング９内に導入された光を液晶表示部３に向け
て出射するものである。一方、液晶表示部３は多階調表
示が可能な液晶パネルで構成されており、表示濃度に応
じて任意のパターンが表示できるものであって、後方か
ら光照射部２の光が照射されることで、表示濃度に応じ
たパターンをハウジング９の開口部９ａを通して対象物
（頭部Ｈの目尻部分）に投影することができる。ここ
で、上記パターンは、光照射部２の発光部２ａ長手方向
と略直交する方向に表示濃度が正弦波状に変化する縞模
様としてある（図３参照）。なお、このパターンの位相
はインタフェース部８を介して画像処理部７から伝送さ
れてくるパターン制御命令に基づいて液晶駆動部４によ
って瞬時に切り換えることができる。

【００２８】而して、開口部９ａに対向する頭部Ｈの目
尻部分には横方向の明度が正弦波状に変化する縞模様の
パターンが投影され、このパターンの投影方向と異なる
方向から撮像している撮像部１の画像（以下、「パター
ン画像」と呼ぶ。）には、頭部Ｈ表面（顔面）の凹凸に
よって生じる変形（歪み）が観測される。上述のように
光照射部２の発光部２ａの長手方向が液晶表示部３に表
示される縞模様のパターンの縦方向（縞の方向）と略一
致するように光照射部２と液晶表示部３を配置すること
で、投影用レンズを用いることなく液晶表示部３に表示
された縞模様のパターンを対象物に投影することができ
る。しかも、外部に設けた光源の光を光ファイバ等を使
って光照射部２に導く上記構成を採ることにより、大型
化の原因となる光源を外部に配置し、投影用レンズを不
要としたことと相まって計測ヘッドＡの小型化並びに軽
量化が図れるものである。

【００２９】次に本発明装置を用いた３次元形状計測方
法について、図４に示すフローチャートを参照して説明
する。まず、本発明装置を図１に示すようにセッティン
グし、対象物（頭部Ｈの目尻部分）に図３に示すような
縞模様のパターンを投影するとともに、パターンが投影
された対象物の画像（パターン画像）を撮像部１にて取
り込む。取り込んだパターン画像は量子化部５で量子化
されてメモリ部６に格納される。ＣＰＵを主構成要素と
する画像処理部７は、パターン画像が取り込まれるとイ
ンタフェース部８を介して液晶駆動部４にパターン制御
命令を出力し、縞模様の位相をπ／２だけシフトした新
たなパターンを液晶表示部３に表示させ、かかるパター
ンを対象物に投影させる。以後、位相をπ／２ずつシフ
トさせながらパターン画像を４回取り込むことにより、
図５に示すような４つのパターン画像Ｇ₁ 〜Ｇ₄ を得
る。

【００３０】ここで、パターン画像Ｇ₁ 〜Ｇ₄ の任意の
位置（画素）Ｐに着目すると、その位置Ｐの明度（濃度
値のデータ）の変化とパターンの位相変調量との間には
図６に示すような関係がある。但し、図６では位置Ｐの
明度Ｉを縦軸、位相変調量を横軸としている。この明度
変化を正弦関数で近似することにより、元のパターン
（位相変調量がゼロのパターン）のパターン画像Ｇ₁ に
おける位置Ｐの位相を求めることができる。

【００３１】いま、位置Ｐを２次元直交座標系でＰ
（ｘ，ｙ）、位置Ｐの位相をα（ｘ，ｙ）、各パターン
画像Ｇ₁ 〜Ｇ₄ における位置Ｐ（ｘ，ｙ）の明度を各々
Ｉ₁ （ｘ，ｙ）〜Ｉ₄ （ｘ，ｙ）とすれば、位相α
（ｘ，ｙ）は下記式１により求められる。

【００３２】

【式１】

【００３３】画像処理部７は、上記式１によりパターン
画像Ｇ₁ の全ての位置に対して位相α（ｘ，ｙ）を求め
ることにより、図７に示すようにパターン画像Ｇ₁ にお
ける各位置の位相を１周期（０〜２π）毎に求めた画像
（以下、「位相画像」と呼ぶ。）を生成する。さらに、
これら１周期毎の位相の切り換わりの位置Ｓ₁ …を求
め、各周期毎に位相に２πずつ加算することでパターン
画像Ｇ₁ における位相が完全に復元され、各位置の位相
値をもとに三角測量の原理によって対象物の３次元形状
を計測できる。なお、各位置の位相値から３次元形状
（３次元直交座標系における各座標値）を求める演算に
ついては、従来技術（粧技誌第２８巻第２号１５３頁〜
１６２頁（１９９４）又は特開平４ー９８１１１号公報
参照）と共通であるから詳しい説明は省略する。

【００３４】次に本発明の要旨となる部分について説明
する。上述のように１周期毎の位相の切り換わりの位置
Ｓ₁ …を求める際には、通常は位相が２πから０に変化
する位置をもってその周期の位相境界位置（位相の切り
換わり位置）とする方法が用いられる。しかしながら、
対象物である人の頭部Ｈの表面には毛髪やほくろ等の黒
色の特徴が散在しており、かかる部分では位置の明度が
極めて低くなるために正しい位相値が得られない場合が
ある。また、人の皮膚が半透明であることから、対象物
に投影されたパターン光が内部に浸透・拡散し、パター
ン画像Ｇ₁ 〜Ｇ₄ の各位置の明度値Ｉ₁ （ｘ，ｙ）〜Ｉ
₄ （ｘ，ｙ）が実際よりも低下してしまうことがある。
そのために位相境界位置においては、図８に示すように
位相境界近傍での位相値が０と２πの何れに近い値とな
るかが不定になり易く、位相境界位置が不明瞭になって
しまい、単純に位相値が２πから０に変化する位置をも
って位相境界位置とする方法では正しい位相復元が行え
ない場合がある。

【００３５】一方、全ての位置について１周期毎に位相
を求めて得られる位相画像は、図７に示すように横方向
の各位置に対する位相が１周期毎に不連続となった鋸歯
状の画像となる。そこで、本発明ではかかる特徴を抽出
するフィルタを上記位相画像に適用することにより、上
述のように位相境界位置が不明瞭であっても正しい位相
復元が行えるようにしている。

【００３６】具体的には、図９に示すような所謂１次元
の縁点検出フィルタを適用し、ある注目画素Ｐ（ｘ，
ｙ）の位置において、上記縁点検出フィルタと当該画像
との畳み込み演算を画像処理部７にて行うことにより、
鋸歯の検出値Ｖ（ｘ，ｙ）が得られる。すなわち、縁点
検出フィルタの幅をｎ（本実施形態ではｎ＝６）とする
とき、上記検出値Ｖ（ｘ，ｙ）は下記式２で表される。

【００３７】V(x,y)=-P(x-n/2,y)-P(x-n/2+1,y) ……-P
(x-1,y)+P(x,y)+P(x+1,y) ……+P(x+n/2-1,y)+P(x+n/2,
y) 図７に示した位相画像に対して上記フィルタ処理を行っ
た結果で得られる画像を図１０に示す。この検出値Ｖ
（ｘ，ｙ）の横方向（Ｘ方向）でのピーク値を検出する
ことにより、上述のようなノイズや毛髪等の局所的な明
度の乱れに影響されることなく、正しい位相境界位置を
検出することができ、信頼性の高い位相復元が可能とな
る。

【００３８】図１１は画像処理部７にて上記フィルタ処
理により位相境界位置を求める場合のフローチャートを
示しており、上記位相画像に対し縁点検出フィルタとの
畳み込み演算を実行して検出値Ｖ（ｘ，ｙ）を求め、求
めた検出値Ｖ（ｘ，ｙ）がしきい値以下となる領域の検
出値Ｖ（ｘ，ｙ）のピーク値をとる位置を抽出し、さら
に抽出した検出値Ｖ（ｘ，ｙ）のピーク値同士の間で最
大値をとる位置を検出することにより位相境界位置を求
め、それを位相境界位置として登録する処理が行われ
る。

【００３９】上述のように本発明に係る３次元形状検出
方法によれば、全ての位置について１周期毎に位相を求
めて得られる位相画像に対して１次元の縁点検出フィル
タを適用することにより、１周期毎の位相の境界位置を
検出してパターン画像の位相を復元する処理を、特公平
３−３８５２４号公報に記載されている従来装置のよう
に基準面を設置することなく、且つノイズや毛髪等の局
所的な明度の乱れに影響されることなく行うことがで
き、信頼性の高い位相復元が可能となる。

【００４０】ところで、本発明装置の構成では光照射部
２の発光部２ａが有する指向性を移用して縞模様のパタ
ーンの投影を行うため、発光部２ａと液晶表示部３との
距離が離れる程に対象物に投影されるパターンの寸法が
大きくなるという特徴が現れる。よって、パターンの縦
方向のレンジが大きい場合等にはこれがパターン画像Ｇ
₁ …の歪みを生じる原因となる可能性がある。そこで、
このような場合には光照射部２の発光部２ａの前面にシ
リンドリカルレンズを配置し、発光部２ａからの線状光
を略平行光線とするようにすれば、上記のような歪みの
ないパターンを投影することができる。なお、上記の如
くシリンドリカルレンズを使用する場合には、パターン
の周辺部で色収差を生じるという欠点がある。これに対
処するためには、線状光の光路中、例えばシリンドリカ
ルレンズと発光部２ａとの間に金属薄膜干渉フィルタの
ような特定の帯域（色）の光を選択的に透過するフィル
タを挿入することによって、かかる色収差の影響を除去
することができる。

【００４１】また本実施形態においては、対象物（頭部
Ｈ）に対して光軸がほぼ正対するように計測ヘッドＡの
ハウジング９内に撮像部１を配置するとともに、撮像部
１の光軸から所定の角度だけ光軸が傾くようにハウジン
グ９内に光照射部２及び液晶表示部３を配置する必要が
ある。このため、撮像部１と光照射部２及び液晶表示部
３を一つのハウジング９内に収納しようとすると計測ヘ
ッドＡ全体のサイズが大型となってしまう。そこで、光
照射部２から開口面あるいは開口面から撮像部１までの
少なくとも一方の光路中にミラーを配設し、このミラー
にて少なくとも一方の光路を折り返すことにより、上記
２つの光軸の方向差を小さくするように設定すれば、計
測ヘッドＡの小型化が可能となる。

【００４２】ところで、人間の皮膚表面には皮脂が付着
していて艶があるため、光源や周辺の光等が映り込んで
計測の邪魔となることが考えられる。このような場合に
は、撮像部１のレンズの前面に偏光フィルタを取り付け
ることにより、上記のような映り込みを除去して計測誤
差の発生を防ぐことができる。 （実施形態２）本発明の３次元形状計測方法の基本とな
る位相シフト法においては、各パターン画像Ｇ₁ 〜Ｇ₄
の同一位置（画素）の明度を比較する処理が必要なた
め、撮像部１にてパターン画像Ｇ₁ 〜Ｇ₄ を取り込む間
は対象物が静止している必要がある。しかしながら、本
実施形態では対象物が人（頭部Ｈ）であることから、完
全に固定することが困難でパターン画像Ｇ₁ 〜Ｇ₄ を取
り込む間に対象物が移動したしまう可能性があり、この
ような対象物の移動によって各パターン画像Ｇ₁ 〜Ｇ₄
の同一位置の座標値が対象物の同一位置とならない場合
が生じる。よって、かかる対象物の移動量を求めて補正
する必要がある。

【００４３】そこで本実施形態では、所謂テンプレート
マッチングによって各パターン画像Ｇ₁ 〜Ｇ₄ 間での対
象物の移動量を求め、求めた移動量に基づいて各パター
ン画像Ｇ₁ 〜Ｇ₄ の位置補正を行うようにしている。図
１２は画像処理部７にて行う上記位置補正の処理を示す
フローチャートである。画像処理部７にて最初のパター
ン画像Ｇ₁ が基準画像として図示しないディスプレイ装
置等の画面に表示され、計測者によって画面上の任意の
場所にマッチング用のテンプレートとして切り出す矩形
部分が選択されるとともに、マッチング用のテンプレー
トとして登録される。そして、他のパターン画像Ｇ₂ 〜
Ｇ₄ に対して登録したテンプレートを適用し、テンプレ
ートに類似する部分を各パターン画像Ｇ₂ 〜Ｇ₄ から探
し出すとともに、基準画像（パターン画像Ｇ₁ ）からテ
ンプレートを切り出した位置と、他のパターン画像Ｇ₂
〜Ｇ₄ において当該テンプレートがマッチした位置との
差をもって移動量とする。但し、対象物には縞模様のパ
ターンが投影されており、かつそのパターンが各パター
ン画像Ｇ₁ 〜Ｇ₄によって位相がシフトされているた
め、テンプレートマッチング処理を行う前処理として一
旦各パターン画像Ｇ₁ 〜Ｇ₄ のエッジを検出する処理を
行っておくことが望ましい。このようにエッジが検出さ
れた画像に対してパターンマッチングを行うことによ
り、投影されたパターンによる明度変化の影響を除外す
ることが可能となる。そして、求めた移動量の符号を反
転させた分だけパターン画像Ｇ₂〜Ｇ₄ をスクロールす
る処理を行うことによって位置補正が完了する。

【００４４】ところで、本実施形態のように人の目尻部
分のしわを計測する場合においては、複数のパターン画
像Ｇ₁ 〜Ｇ₄ を短時間で取り込むことができることか
ら、対象物（頭部Ｈ）の移動を等速直線運動とみなすこ
とができる。このように対象物の移動が等速直線運動で
あるとみなせる場合には、上記テンプレートマッチング
処理を最初のパターン画像Ｇ₁ と最後のパターン画像Ｇ
₄ に対してのみ実行し、他のパターン画像Ｇ₂ ，Ｇ₃ に
対する移動量は上記パターン画像Ｇ₁ ，Ｇ₄ 間での移動
から内挿により求めることができる。

【００４５】（実施形態３）既に説明したように、本実
施形態の対象物である人体の皮膚は半透明のため、投影
されたパターンが多少にじんだように観測される。この
状態を図１３に示す。同図中イは投影したパターンの曲
線、ロは観測された明度値の曲線である。人体の場合、
投影した光が皮膚内部に浸透し拡散することにより、図
１３に示すように観測される明度値の曲線ロでは投影さ
れるパターンに比較して明るい部分が狭く観測されると
いう特徴が現れる。このため、当該部分で計測される位
相値は変化が真の値よりも急峻となり、結果として計測
された３次元形状が周期性のある歪みを有することとな
る（図１４参照）。

【００４６】そこで、本実施形態では上記のような特徴
を考慮して、対象物に投影するパターンを予め正弦波か
ら変形しておくことにより（パターンの曲線イ’）、図
１５に示すように観測される明度値の曲線ロ’がほぼ正
弦波に近いものとなって、歪みのない３次元形状を得る
ことができる。あるいは、前述の歪みが投影されるパタ
ーンの周期と一致した周期で現れることを利用し、パタ
ーンの１周期毎に生じる位相値の歪みを補正する係数を
位相値の関数として予め設定しておき、前述の縁点検出
フィルタによって検出された位相境界値の情報を利用し
て位相値を補正する方法が有効である。

【００４７】または、周波数分離を行うことによって同
様の効果を得る方法も考えられる。前述のとおり、歪み
はある特定の周期性をもって発生するため、フーリエ変
換などによる空間周波数フィルタリングにより除去する
ことが可能である。なお、パターン画像Ｇ₁ …の歪みに
関しては、以上のような要因の他に、撮像部１のレンズ
の収差に伴う歪みの影響も生じる。このような歪みは常
に同じ量の歪みとなってパターン画面Ｇ₁ …全体に現れ
るので、まず基準となる平面を計測し、基準平面に対す
る計測結果と毎回の計測結果を差分することにより歪み
を効果的に補正することができる。

【００４８】

【発明の効果】請求項１の発明は、正弦波状の明暗分布
を有するパターンを位相シフトさせながら複数回にわた
って対象物に投影し、前記位相シフトに同期させて該パ
ターンの投影方向と異なる方向から対象物を撮像して複
数のパターン画像を得るとともに、各パターン画像の同
一位置で前記位相シフトにより生じる明度変化に基づい
て前記パターン画像の各位置に対する１周期分の位相を
求め、該１周期分の位相の境界となる位置を検出し該位
相境界位置での位相を連結することにより前記パターン
画像の各位置における位相を復元するとともに、復元さ
れた該位相から三角測量の原理によって前記対象物の３
次元形状を計測する３次元形状計測方法において、前記
パターン画像の各位置に対して求めた１周期分の位相に
対し該周期の切り換わりを検出するフィルタを用いて前
記位相境界位置を検出するので、ノイズや毛髪等の局所
的な明度の乱れに影響されることなく、正しい位相境界
位置を検出することができ、信頼性の高い位相復元が可
能となるという効果がある。

【００４９】請求項２の発明は、対象物の移動方向と速
度とに基づいて上記複数のパターン画像間での対象物の
移動量を求めて、パターン画像の位置情報を補正するの
で、撮像の際に対象物が完全に静止していない場合に
も、対象物の移動が等速直線運動であるとみなせるとき
には簡易な補正処理により位相シフト法による３次元形
状計測を行うことができるという効果がある。

【００５０】請求項３の発明は、上記各パターン画像同
士を照合処理することによりパターン画像間での対象物
の移動量を求めて、パターン画像の位置情報を補正する
ので、撮像の際に対象物が完全に静止しておらず、且つ
その移動が不規則な場合であっても位置情報を補正する
ことで位相シフト法による３次元形状計測を行うことが
できるという効果がある。

【００５１】請求項４の発明は、半透明の対象物に対し
て光の散乱により生じるパターンの変形を考慮し、対象
物に投影するパターンを補正するので、対象物が半透明
であることにより投影されたパターンに歪みが発生する
場合に、その歪みを予め予測し、パターン表示手段に表
示するパターンを補正することにより正しい計測が行え
るという効果がある。

【００５２】請求項５の発明は、半透明の対象物に対し
て光の散乱により生じる３次元の高さ情報の歪みを該歪
みの周期性に基づいて補正するので、対象物が半透明で
あることにより投影されたパターンに歪みが発生する揚
合に、その歪みが周期性を有することに基づいて処理結
果を補正することにより正しい計測が行えるという効果
がある。

【００５３】請求項６の発明は、計測された対象物の３
次元の高さ情報に対して周波数分離処理を行うので、対
象物から大域的な特徴と局所的な特徴を分離し、また周
期的に発生する歪みを除去することが可能となるという
効果がある。請求項７の発明は、光学系の構成により発
生する上記パターン画像の幾何学的な歪みを画像処理に
より補正するので、光学系の構成に伴って定常的に発生
する計測誤差を打ち消すことが可能となるという効果が
ある。請求項８の発明は、線状あるいは点状の光源を有
し対象物に光を照射する光照射手段と、前記光照射手段
の前面に配置され且つ部分的に光の透過率が可変できる
パターン表示手段と、該パターン表示手段によりパター
ンが投影された対象物を視野全体に捉えて撮像する撮像
手段と、該撮像手段により撮像されたパターン画像を量
子化する量子化手段と、量子化されたパターン画像を格
納する記憶手段と、該記憶手段に格納されたパターン画
像に画像処理を行う画像処理手段とを備え、前記パター
ン表示手段により正弦波状の明暗分布を有するパターン
を位相シフトさせながら複数回にわたって対象物に投影
し、前記位相シフトに同期させて前記撮像手段により該
パターンの投影方向と異なる方向から対象物を撮像して
複数のパターン画像を得るとともに、前記画像処理手段
にて、各パターン画像の同一位置で前記位相シフトによ
り生じる明度変化に基づいて前記パターン画像の各位置
に対する１周期分の位相を求め、該１周期分の位相の境
界となる位置を検出し該位相境界位置での位相を連結す
ることにより前記パターン画像の各位置における位相を
復元するとともに、復元された該位相から三角測量の原
理によって前記対象物の３次元形状を計測する３次元形
状計測装置であって、前記パターン画像の各位置に対し
て求めた１周期分の位相に対し該周期の切り換わりを検
出するフィルタを備え、該フィルタを用いて前記位相境
界位置を検出して成るので、ノイズや毛髪等の局所的な
明度の乱れに影響されることなく、正しい位相境界位置
を検出することができ、信頼性の高い位相復元が可能と
なるという効果がある。また、対象物を撮像手段の視野
全体に捉えることにより撮像手段の分解能を完全に活用
できるという効果がある。さらに、線状あるいは点状の
光源を有する光照射手段を備えているため、光照射手段
から照射される光自体に指向性があり、投影用のレンズ
を使用することなく対象物に明暗のパターンを投影で
き、装置全体を小型化することができるという効果があ
る。

【００５４】請求項９の発明は、前記パターン表示手段
に液晶パネルを用いて成るので、パターンの位相をシフ
トするために機械的な機構が不要となり、装置全体を小
型化することができるという効果がある。請求項１０の
発明は、光照射手段の光軸上にシリンドリカルレンズを
配置するので、パターン表示手段に照射される光を平行
光線とすることができるためにパターンが歪むことがな
く、奥行き方向の深い対象物も計測可能となるという効
果がある。

【００５５】請求項１１の発明は、光照射手段から対象
物までの光路又は対象物から撮像手段までの光路中の少
なくとも一方に配置されるミラーを備えたので、光路を
ミラーで折り返すことによって光照射手段と撮像手段を
並列させて設置することができ、装置全体を小型化する
ことができるという効果がある。請求項１２の発明は、
前記光路中に色の通過帯域の狭い光学フィルタを配置し
て成るので、光照射系及び撮像系のレンズの色収差に伴
う計測誤差の発生を抑制することができるという効果が
ある。

【００５６】請求項１３の発明は、前記撮像手段の光を
取り込む部分の前面に偏光フィルタを配置して成るの
で、表面に光沢のある対象物の計測の際に外乱光の影響
を低滅することができるという効果がある。

【図面の簡単な説明】

【図１】本発明に係る３次元形状計測装置の実施形態を
示すブロック構成図である。

【図２】同上における光照射部及び液晶表示部を示す斜
視図である。

【図３】同上における液晶表示部に表示される縞模様の
パターンを示す図である。

【図４】同上における３次元形状計測のための処理を示
すフローチャートである。

【図５】同上を説明するための説明図である。

【図６】同上を説明するための説明図である。

【図７】同上を説明するための説明図である。

【図８】同上を説明するための説明図である。

【図９】同上において用いられる１次元の縁点検出フィ
ルタを説明するための説明図である。

【図１０】同上において縁点検出フィルタを用いて位相
境界位置を求める処理を説明するための説明図である。

【図１１】同上において縁点検出フィルタを用いて位相
境界位置を求める処理を説明するためのフローチャート
である。

【図１２】実施形態２における位置補正の処理を示すフ
ローチャートである。

【図１３】実施形態３を説明するための説明図である。

【図１４】同上を説明するための説明図である。

【図１５】同上を説明するための説明図である。

【符号の説明】

１ 撮像部 ２ 光照射部 ３ 液晶表示部 ４ 液晶駆動部 ５ 量子化部 ６ メモリ部 ７ 画像処理部 ８ インタフェース部 ９ ハウジング ９ａ 開口部 １０ 固定台 Ａ 計測ヘッド

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成９年９月８日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００５

【補正方法】変更

【補正内容】

【０００５】かかる位相シフト法を用いて人体の３次元
形状を計測する従来例として、ＴＶカメラを用いて、１
画素当たり１００μｍ程度の粗い分解能により人体の目
尻部分に生じる比較的大きなしわの計測を行う方法が、
粧技誌第２８巻第２号１５３頁〜１６２頁（１９９４）
に記載されている。また、上記の位相復元のための技術
としては、特公平３ー３８５２４号公報において開示さ
れているように計測対象物の近くにパターン全体を捉え
ることができるような広い基準面を配置し、この基準面
に投影される歪みのないパターンを基準位相として計測
し、これをもとにして対象物に投影されたパターンの歪
みを求めるという方法がある。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正内容】

【００１０】一方、特公平３−３８５２４号公報に記載
されている従来例においては、ＴＶカメラの視野内に基
準面の全体を捉える必要があるが、対象物は画面の一部
にしか捉えられないためにＴＶカメラの分解能が十分に
活用されないという問題があった。また、計測装置の構
成上も基準面を設置する必要があり、人体のように加工
することのできない対象物に対しては適用が困難である
という問題があった。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００２３

【補正方法】変更

【補正内容】

【００２３】請求項１３の発明は、請求項８の発明にお
いて、前記撮像手段の光を取り込む部分の前面に偏光フ
ィルタを配置して成ることを特徴とし、表面に光沢のあ
る対象物の計測の際に外乱光の影響を低減することがで
きる。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００３４

【補正方法】変更

【補正内容】

【００３４】次に本発明の要旨となる部分について説明
する。上述のように１周期毎の位相の切り換わりの位置
Ｓ₁ …を求める際には、通常は位相が２πから０に変化
する位置をもってその周期の位相境界位置（位相の切り
換わり位置）とする方法が用いられる。しかしながら、
対象物である人の頭部Ｈの表面には毛髪やほくろ等の黒
色の特徴が散在しており、かかる部分では明度が極めて
低くなるために正しい位相値が得られない場合がある。
また、人の皮膚が半透明であることから、対象物に投影
されたパターン光が内部に浸透・拡散し、パターン画像
Ｇ₁ 〜Ｇ₄ の各位置の明度値Ｉ₁ （ｘ，ｙ）〜Ｉ
₄ （ｘ，ｙ）が実際よりも低下してしまうことがある。
そのために位相境界位置においては、図８に示すように
位相境界近傍での位相値が０と２πの何れに近い値とな
るかが不定になり易く、位相境界位置が不明瞭になって
しまい、単純に位相値が２πから０に変化する位置をも
って位相境界位置とする方法では正しい位相復元が行え
ない場合がある。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００３８

【補正方法】変更

【補正内容】

【００３８】図１１は画像処理部７にて上記フィルタ処
理により位相境界位置を求める場合のフローチャートを
示しており、上記位相画像に対し縁点検出フィルタとの
畳み込み演算を実行して検出値Ｖ（ｘ，ｙ）を求め、求
めた検出値Ｖ（ｘ，ｙ）がしきい値以下となる領域の検
出値Ｖ（ｘ，ｙ）のピーク値をとる位置を抽出し、さら
に抽出した検出値Ｖ（ｘ，ｙ）の下方向のピーク値同士
の間で最大値をとる位置を検出することにより位相境界
位置を求め、それを位相境界位置として登録する処理が
行われる。

【手続補正６】

【補正対象書類名】図面

【補正対象項目名】図１１

【補正方法】変更

【補正内容】

【図１１】

Claims (13)

【特許請求の範囲】
1. 【請求項１】 正弦波状の明暗分布を有するパターンを
   位相シフトさせながら複数回にわたって対象物に投影
   し、前記位相シフトに同期させて該パターンの投影方向
   と異なる方向から対象物を撮像して複数のパターン画像
   を得るとともに、各パターン画像の同一位置で前記位相
   シフトにより生じる明度変化に基づいて前記パターン画
   像の各位置に対する１周期分の位相を求め、該１周期分
   の位相の境界となる位置を検出し該位相境界位置での位
   相を連結することにより前記パターン画像の各位置にお
   ける位相を復元するとともに、復元された該位相から三
   角測量の原理によって前記対象物の３次元形状を計測す
   る３次元形状計測方法において、前記パターン画像の各
   位置に対して求めた１周期分の位相に対し該周期の切り
   換わりを検出するフィルタを用いて前記位相境界位置を
   検出することを特徴とする３次元形状計測方法。
2. 【請求項２】 対象物の移動方向と速度とに基づいて上
   記複数のパターン画像間での対象物の移動量を求めて、
   パターン画像の位置情報を補正することを特徴とする請
   求項１記載の３次元形状計測方法。
3. 【請求項３】 上記各パターン画像同士を照合処理する
   ことによりパターン画像間での対象物の移動量を求め
   て、パターン画像の位置情報を補正することを特徴とす
   る請求項１記載の３次元形状計測方法。
4. 【請求項４】 半透明の対象物に対して光の散乱により
   生じるパターンの変形を考慮し、対象物に投影するパタ
   ーンを補正することを特徴とする請求項１記載の３次元
   形状計測方法。
5. 【請求項５】 半透明の対象物に対して光の散乱により
   生じる３次元の高さ情報の歪みを該歪みの周期性に基づ
   いて補正することを特徴とする請求項１記載の３次元形
   状計測方法。
6. 【請求項６】 計測された対象物の３次元の高さ情報に
   対して周波数分離処理を行うことを特徴とする請求項１
   記載の３次元形状計測方法。
7. 【請求項７】 光学系の構成により発生する上記パター
   ン画像の幾何学的な歪みを画像処理により補正すること
   を特徴とする請求項１記載の３次元形状計測方法。
8. 【請求項８】 線状あるいは点状の光源を有し対象物に
   光を照射する光照射手段と、前記光照射手段の前面に配
   置され且つ部分的に光の透過率が可変できるパターン表
   示手段と、該パターン表示手段によりパターンが投影さ
   れた対象物を視野全体に捉えて撮像する撮像手段と、該
   撮像手段により撮像されたパターン画像を量子化する量
   子化手段と、量子化されたパターン画像を格納する記憶
   手段と、該記憶手段に格納されたパターン画像に画像処
   理を行う画像処理手段とを備え、前記パターン表示手段
   により正弦波状の明暗分布を有するパターンを位相シフ
   トさせながら複数回にわたって対象物に投影し、前記位
   相シフトに同期させて前記撮像手段により該パターンの
   投影方向と異なる方向から対象物を撮像して複数のパタ
   ーン画像を得るとともに、前記画像処理手段にて、各パ
   ターン画像の同一位置で前記位相シフトにより生じる明
   度変化に基づいて前記パターン画像の各位置に対する１
   周期分の位相を求め、該１周期分の位相の境界となる位
   置を検出し該位相境界位置での位相を連結することによ
   り前記パターン画像の各位置における位相を復元すると
   ともに、復元された該位相から三角測量の原理によって
   前記対象物の３次元形状を計測する３次元形状計測装置
   であって、前記パターン画像の各位置に対して求めた１
   周期分の位相に対し該周期の切り換わりを検出するフィ
   ルタを備え、該フィルタを用いて前記位相境界位置を検
   出して成ることを特徴とする３次元形状計測装置。
9. 【請求項９】 前記パターン表示手段に液晶パネルを用
   いて成ることを特徴とする請求項８記載の３次元形状計
   測装置。
10. 【請求項１０】 光照射手段の光軸上にシリンドリカル
    レンズを配置することを特徴とする請求項８記載の３次
    元形状計測装置。
11. 【請求項１１】 光照射手段から対象物までの光路又は
    対象物から撮像手段までの光路中の少なくとも一方に配
    置されるミラーを備えたことを特徴とする請求項８記載
    の３次元形状計測装置。
12. 【請求項１２】 前記光路中に色の通過帯域の狭い光学
    フィルタを配置して成ることを特徴とする請求項８記載
    の３次元形状計測装置。
13. 【請求項１３】 前記撮像手段の光を取り込む部分の前
    面に偏光フィルタを配置して成ることを特徴とする請求
    項８記載の３次元形状計測装置。