JP6542173B2

JP6542173B2 - 角度測定装置およびその作動方法並びに角度測定プログラム

Info

Publication number: JP6542173B2
Application number: JP2016183822A
Authority: JP
Inventors: 芽実塩田; 谷　武晴; 武晴谷
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2016-09-21
Filing date: 2016-09-21
Publication date: 2019-07-10
Anticipated expiration: 2036-09-21
Also published as: JP2018048878A

Description

本願発明は、半透明な測定対象に光を投射して、測定対象の傾きを計測する角度測定装置に関する。

皮膚の表面には無数の皮溝と、その皮溝によってできた皮丘がある。皮溝の幅が細く、皮丘の形が小さく、規則正しく並んでいる状態を「キメが細かい」または「キメが整っている」と言い、反対に皮溝が太くて皮丘が大きいと「キメが粗い」と言う。キメの細かく整っている肌は、肌表面がふっくらして、光の反射が多く肌が輝いて見え透明感がある。肌を評価するうえでは、肌の凹凸を計測してキメを評価することが肌の評価につながる。

このような面の凹凸を計測するためには、従来から三次元測定機が用いられてきた。三次元計測を行う手法には様々な手法があるが、例えば、簡易な構成で面の傾きを得られるように、円形状のパターンの光を照射し、対象物に投影された投影パターンを撮像した画像を取得し、画像に含まれる投影パターンが、円形状の基準パターンからどの程度歪んでいるかに基づいて、任意の方向の平面度を求めるようにしたものがある（特許文献１など）。

特開２００７−１４７３５１号公報

しかしながら、人の肌など半透明なサンプルのミクロな三次元形状を光計測することは、表面での光反射に加えて肌内部に拡散して反射される光（内部散乱光）の影響があり、特許文献１の方法では正確に計測するのは難しい。

そこで、本願発明は、半透明な測定対象のミクロな三次元形状を正確に計測するための角度測定装置を提供することを目的とする。

本願発明の角度測定装置は、スポット状の光を測定対象に投射する投射部と、スポット状の光が投射された測定対象の位置を撮像する撮像部とを備え、スポット状の光が測定対象に投射されて測定対象の表面で反射された光および測定対象内で拡散した光が測定対象の表面から出射した光を撮像部で撮像した撮像画像を取得する画像取得部と、撮像画像からスポット状の光が測定対象に投射された投影領域よりも広がった拡散領域の長軸と短軸の比からスポット光の照射方向に垂直な平面に対して測定対象が傾いている角度を取得する角度取得部とを有することを特徴とする。

また、本願発明の角度測定装置の作動方法は、スポット状の光を測定対象に投射する投射部と、スポット状の光が投射された測定対象の位置を撮像する撮像部とを備えた角度測定装置の作動方法であって、スポット状の光が測定対象に投射されて測定対象の表面で反射された光および測定対象内で拡散した光が測定対象の表面から出射した光を撮像部で撮像した撮像画像を取得する画像取得ステップと、撮像画像からスポット状の光が測定対象に投射された投影領域よりも広がった拡散領域の長軸と短軸の比からスポット光の照射方向に垂直な平面に対して測定対象が傾いている角度を取得する角度取得ステップとを有することを特徴とする。

また、本願発明の角度測定プログラムは、スポット状の光を測定対象に投射する投射部と、スポット状の光が投射された測定対象の位置を撮像する撮像部とを備えた角度測定装置のコンピュータを、スポット状の光が測定対象に投射されて測定対象の表面で反射された光および測定対象内で拡散した光が測定対象の表面から出射した光を撮像部で撮像した撮像画像を取得する画像取得部と、撮像画像からスポット状の光が測定対象に投射された投影領域よりも広がった拡散領域の長軸と短軸の比からスポット光の照射方向に垂直な平面に対して測定対象が傾いている角度を取得する角度取得部として機能させることを特徴とする。

「スポット状の光」とは、測定対象の複数の構成要素のうち各構成要素より十分に小さい範囲に投射することが可能な大きさに集光された光をいい、複数の構成要素の１つの構成要素だけに投射することが可能な大きさの光をいう。

また、撮像部で測定対象を撮像する方向は、投射部がスポット状の光を投射する方向と同じ方向が望ましい。

また、角度取得部は、拡散領域の輪郭を楕円形状で近似して、近似された楕円形状の長軸と短軸から比を取得するようにしてもよい。

また、角度取得部は、所定の閾値を用いて撮像画像を二値化することにより拡散領域を取得し、拡散領域の長軸と短軸の比を取得するようにしてもよい。

また、角度取得部は、撮像画像の長軸の方向と短軸の方向の輝度プロファイルを所定の関数で近似したプロファイルを用いて、拡散領域の長軸の方向と短軸の方向の幅をそれぞれ求めて比を取得するものであってもよい。

また、測定対象のテストサンプルを予め所定の角度に設定してテストサンプルにスポット状の光を照射して実測して得られた比から計算した角度と設定された角度との差を用いて、測定対象を実測して得られた比を補正するための補正値を予め取得して、角度取得部が、補正値で補正された比を用いて測定対象の角度を取得するようにしてもよい。

「測定対象のテストサンプル」は、測定対象に類似した光学特性を有するものであってもよいし、測定対象自体であってもよい。なお、測定対象に類似した光学特性とは、光の反射率、透過率、および内部散乱特性が測定対象に近いものをいう。

測定対象に対してスポット状の光が投射される投射位置を制御する制御部を備え、制御部を用いて測定対象上を走査ながら、測定対象上の複数の位置において画像取得部によって取得した撮像画像から角度取得部を用いて前記角度を取得して、測定対象上の面に現れる角度の分布を取得する角度分布取得部とを備えるようにしてもよい。

本願発明によれば、スポット状の光を測定対象に投射して測定対象の表面で反射された光および測定対象内で拡散した光が測定対象の表面から出射した光を撮像した拡散領域の長軸と短軸の比からスポット光の照射方向に垂直な平面に対して測定対象が傾いている角度を取得することにより、肌のような半透明な測定対象の傾き正確に測定することが可能になる。これにより、半透明な測定対象の面の凹凸を評価することが可能になり、例えば、肌のキメがどのように見栄えに影響を与えているのかを明らかにすることが可能になる。

角度測定装置の概略図角度測定処理部の機能を示すブロック図スポット状の光を肌サンプルに投影するときの模式図スポット状の光を投影した肌サンプルを垂直な方向から見たときの図スポット状の光を投影した肌サンプルを撮影方向から見たとき図肌画像の一例肌画像を２値化した一例実測値から計算した測定角度と実際にサンプルに設定した設定角度と対応させてプロットしたグラフ実測値に補正を加えてから計算した測定角度と実際にサンプルに設定した設定角度と対応させてプロットしたグラフ肌が傾いている角度を説明するための図肌が傾いている向きを説明するための図拡散領域の長軸と短軸を探索する手法を説明するための図輝度ラインプロファイルをガウス関数で近似して拡散領域の長軸と短軸の求め方を説明するための図角度とサンプリング間隔から肌の高さを求める方法を説明するための図肌を撮像した撮影画像を取得する流れ説明するためのフローチャート角度の分布と三次元画像を生成する処理の流れを説明するためのフローチャート肌が傾いている向きを検出する検出器の構成を示す図角度測定装置の変形例（その１）角度測定装置の変形例（その２）角度測定装置の変形例（その３）

図１は本実施の形態の角度測定装置１の概略図である。本実施の形態では、半透明なサンプルを測定対象として三次元計測を行う場合について説明する。なお、半透明なサンプルとは、サンプル上に投射された光をサンプルの表面で反射するだけではなく、サンプル内に透過した光が内部で散乱してサンプルの表面から出射する性質を有するものをいう。本実施の形態では、測定対象として肌サンプルを計測する場合について説明する。

角度測定装置１は、画像取得装置１０と、画像処理装置１２とを備える。画像取得装置１０と画像処理装置１２は、有線または無線で接続され、データの送受信が行われる。

画像取得装置１０は、光源部２０、光ファイバ２４、出射用レンズ２２、ハーフミラー２６、対物レンズ２８、カメラ用レンズ３０、撮像部３２、ＸＹステージ３４、および、制御部３８を備える。なお、本発明の投射部は、光源部２０、光ファイバ２４、出射用レンズ２２、ハーフミラー２６、および対物レンズ２８で構成される。

撮像部３２は、撮像素子で撮影した画像をデジタルデータとして記録するデジタルカメラで構成される。撮像素子は、光学信号である画像を電気に変換する光学センサであり、ＣＣＤ（Charge-Coupled Device）イメージセンサかＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどが用いられる。以下、撮像部３２を単にカメラという。

光源部２０は、キセノン（Ｘｅ）ランプなどの白色光源である。光源部２０から発せられた光が光ファイバ２４に導光され、光ファイバ２４から発せられた光が出射用レンズ２２により平行光になり、ハーフミラー２６を通って対物レンズ２８で集光されて測定対象である肌サンプルＳＰにスポット状の光が照射される。肌サンプルＳＰで反射または肌サンプルＳＰ内を拡散して肌サンプルＳＰの表面から出射した光は、対物レンズ２８で集められてハーフミラー２６で反射され、さらにカメラ用レンズ３０で集光されてカメラ３２によって撮像される。
図１は、カメラ３２で肌サンプルＳＰを撮像する方向を、肌サンプルＳＰに対してスポット光を投射する方向と同じ方向にする場合の画像取得装置１０の構成を示す。

出射用レンズ２２の焦点距離をｆ１、対物レンズ２８の焦点距離をｆ２とすれば、光源結像倍率は（ｆ２／ｆ１）、カメラ用レンズ３０の焦点距離をｆ３とすれば、カメラ撮像倍率は（ｆ３／ｆ２）となる。さらに、光ファイバ２４のコア径、カメラ３２のセンササイズの組み合わせにより、スポット光の径ｄ＜撮像対象範囲の幅ｉとなるようにする。

実際の計測では、スポット光の径ｄは、肌の構成要素（肌丘、肌溝、しわ、しみなど）のうち注目する構成要素のサイズよりも小さい値とするのが好ましい。特に、スポット光が測定対象に照射された照射位置にある構成要素の凹凸よりもスポット光の径が十分小さく、スポット光が投射された領域がほぼ平面とみなせるように光源結像倍率を決定する。例えば、１ｍｍサイズのシワを測定する場合には数１００μｍ程度のスポット径とし、１００μｍサイズのキメを測定する場合には数１０μｍ程度のスポット径とするのが好ましい。本実施の形態では、キメを測定する場合について以下説明する。なお、本実施の形態ではスポット光の径ｄを２５μｍとした。

カメラ３２のセンササイズは、カメラ３２で撮像される撮像対象範囲の大きさよりも十分大きくなるように決定する。例えば、撮像対象範囲が1.5ｍｍ×1.2ｍｍの場合は、センササイズが6.78×5.43ｍｍのものを用いる。また、肌サンプルＳＰ上の撮像対象範囲の幅iがスポット光の径ｄより十分大きくなるようにレンズの焦点距離が決定される。例えば、スポット光の径ｄが２５μｍで、そこから広がる光の径が５０μｍであった場合には、肌サンプルＳＰ上の撮像対象範囲の幅ｉは、少なくとも５０μｍよりも大きくなるようにする。

図１４に示すように、対物レンズ２８の円周に沿って光センサ２９（フォトダイオード、ＣＣＤ、フォトレジスタなど）を４〜６か所に均等に配置して、肌サンプルＳＰからの反射光の強度を測定する。光センサ２９で検知される光の強度は、入射方向に対して鏡面反射をする方向に配置されている光センサ２９が高くなる。例えば、図１４のように肌サンプルＳＰが傾いている場合、右側の光センサ２９が検出する光強度が左側の光センサの強度より高くなる。

ＸＹステージ３４は、Ｘ軸方向とＹ軸方向に移動して位置決めをするステージである。ＸＹステージ３４には、光ファイバ２４の射出端２４ａが設置され、射出端２４ａを任意の位置に移動させることにより、撮像対象範囲内でスポット光を走査する。

制御部３８は、ＸＹステージ３４に信号を送って所定の位置に射出端２４ａを移動させる。肌サンプルＳＰをサンプリングするサンプリング間隔は、入力を操作部（不図示）などから受け取って予め記憶しておき、制御部３８は、その間隔に従ってＸＹステージを移動させる信号をＸＹステージ３４に送る。所定の位置に射出端２４ａが到達すると、カメラ３２に肌画像Ｐの撮像を指示する信号を送信する。なお、肌画像Ｐを撮像したときのＸＹステージ３４の位置情報Ｑは、肌画像Ｐの付帯情報として画像処理装置１２に肌画像Ｐと一緒に送信する。

画像処理装置１２は、パーソナルコンピュータなどのコンピュータであり、ＣＰＵ（Central Processing Unit）、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置（マウス、キーボード等）、表示装置（ディスプレイモニタ）、データバス等の周知のハードウェア構成を備え、周知のオペレーティングシステムおよびアプリケーションソフトウェアなどの種々のソフトウェアがインストールされている。本願発明の角度測定処理部５０は、この画像処理装置１２に実装され、補助記憶装置に記憶された角度測定プログラムを実行することによって実現される。また、角度測定プログラムは、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体からインストールされても、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。

図２示すように、角度測定処理部５０は、画像受信部（画像取得部）５２と、角度取得部５４と、角度分布取得部５６と、三次元位置取得部５８と、記憶部６０とで構成される。記憶部６０は、ハードディクスなどの補助記憶装置である。

画像受信部５２は、画像取得装置１０とデータの送受信を行う機能を備え、肌サンプルＳＰにスポット光を投射して撮像された肌画像Ｐと、撮像時にスポット光を肌サンプルＳＰに投射したときのＸＹステージ３４の位置情報Ｑとを画像取得装置１０から受信して、記憶部６０に記憶する。

図３Ａは、図１の装置を用いて、スポット光を肌サンプルＳＰに投影するときの模式図である。肌サンプルＳＰには、図中のＢ方向からスポット光が入射され、同じ方向からカメラ３２で撮像される。肌サンプルＳＰは、スポット光の投影方向に対して垂直な面に対して角度θほど傾いている。

図３Ｂは、図３Ａに示すようにスポット光を肌サンプルＳＰに投影したときに、肌サンプルＳＰに対して垂直な方向Ａから見たときの図である。肌サンプルＳＰに投影されたスポット光の投影領域Ｄは、肌サンプルＳＰの傾きを表す角度θに応じた楕円形状になる。投影領域Ｄの周辺には、肌サンプルＳＰを透過して内部で拡散してサンプルＳＰ内で反射された光が肌サンプルＳＰの表面から出射する領域が広がる。この領域を拡散領域Ｅという。

図３Ｃは、同様にスポット光を肌サンプルＳＰに投影したときに、撮影方向Ｂからカメラ３２で撮像した時の肌画像Ｐの図である。撮影方向Ｂは光の投射方向と同じ方向であるので、投影領域Ｄはスポット光の径と一致した円となる。

なお、図３Ａ〜３Ｃ中にＸ、Ｙ、Ｘ’、Ｙ’で示した軸がそれぞれ対応し、各図の方向の対応関係を示す。Ｘ軸とＹ軸からなるＸＹ平面は肌サンプルＳＰに平行な面であり、Ｘ’軸とＹ’軸からなるＸ’Ｙ’平面はスポット光の入射方向に対して垂直な面である。

角度取得部５４は、肌画像Ｐからスポット光が肌サンプルＳＰに投射された拡散領域Ｅの長軸と短軸の比を求め、この比から角度θを取得する。

図４Ａに肌画像Ｐの一例を示す。まず、肌画像Ｐから拡散領域Ｅを取得する。肌画像Ｐには、スポット光が投影された投影領域Ｄと、その周辺に光が拡散した拡散領域Ｅが撮像される。この肌画像Ｐに対して閾値を用いて２値化することで拡散領域Ｅを取得する。閾値の決め方は、Maximum Entropy 法（文献１：Kapur, JN; Sahoo, PK & Wong, ACK (1985), "A New Method for Gray-Level Picture Thresholding Using the Entropy of the Histogram", Graphical Models and Image Processing 29(3): 273-285）を用いて自動的に決定することができる。あるいは、Otsu（文献２：Otsu, N (1979), "A threshold selection method from gray-level histograms", IEEE Trans. Sys., Man., Cyber. 9: 62-66, doi:10.1109/TSMC.1979.4310076）、Mean（文献３：Glasbey, CA (1993), "An analysis of histogram-based thresholding algorithms", CVGIP: Graphical Models and Image Processing 55: 532-537）、Minimum（文献４：Prewitt, JMS & Mendelsohn, ML (1966), "The analysis of cell images", Annals of the New York Academy of Sciences 128: 1035-1053）等の方法を用いて閾値を決定することができるが、手動で決めた値を閾値として用いても良い。閾値は、抽出する拡散領域Ｅの深さ方向の距離がレンズの被写界深度内になるように決定されることが望ましい。図４Ｂに、肌画像Ｐを２値化することで得られた領域を示す。図４Ｂには投影領域Ｄと拡散領域Ｅを合わせた領域全体が白く現れている。

次に、角度取得部５４は、楕円フィッティングの手法を用いて拡散領域Ｅの輪郭を楕円形状で近似し、近似された楕円形状の長軸と短軸の比を取得する。この比から、角度θを求める。

ここで、角度を測定する原理を説明する。なお、Ｘ（Ｘ’）軸が拡散領域Ｅの外周の輪郭の短軸の方向と一致し、Ｙ（Ｙ’）軸が長軸の方向と一致する場合について説明する。また、肌サンプルＳＰは、スポット光の入射方向に垂直な軸Ｙ’に対してθ傾いているものとする。

肌サンプルＳＰ上に投影されたスポットは、Ｙ方向に対して１／ｃｏｓθ倍となる。すなわち、Ｙ方向半径ｒ_ｙはｒ_ｘ／ｃｏｓθになる。これをＢ方向から観察すると、ｒ_ｙはｃｏｓθ倍となるので、ｒ_ｙ’=ｒ_ｘ’となる。したがって、スポット光を投影した投影領域Ｄの縦横比は１となる。

半透明性をもつ肌サンプルＳＰに投影されたスポット光は、肌サンプルＳＰの表面を透過して内部で拡散して肌サンプルＳＰ内で反射される成分があるため、Ｘ軸方向は距離Ｌ_ｘ、Ｙ軸方向はＬ_ｙの範囲でボケを形成する。この時、肌サンプルＳＰ内部で拡散して反射される光は、肌サンプルＳＰへの光の入射角度に依存する関数で変化する。すなわち、Ｙ方向のボケ範囲Ｌ_ｙは、Ｌ_ｘ・ｆ（θ）となる。ここで、ｆ（θ）は、光の拡散長の角度依存倍率である。これをＢ方向から観察すると、Ｌ_ｙはcosθ倍となるので、Ｌ_ｙ’＝Ｌ_ｘ’・ｆ（θ）・cosθとなる。
よって、カメラ３２で撮影したスポット光の拡散領域の長軸と短軸の比ＡＲは、
AR＝（Ly’+ry’）/（Lx’+rx’）=(Lx・f(θ)・cosθ+ry’)/(Lx’+rx’) （１）
となる。したがって、
cosθ＝(AR（Lx’+rx’）-ry’)/(Lx’・f(θ)) （２）
となり、これより、肌サンプルＳＰの傾きの角度θを求めることができる。

ここで、ｆ（θ）は、事前に求めておくパラメータであるが、仮にｆ（θ）=１として、長軸と短軸の比の実測値から計算した角度（測定角度）を実際にサンプルに設定した角度（設定角度）と対応させてプロットしたグラフを図５に示す。理論値とされているプロットが、設定角度と測定角度が一致した場合のグラフである。全体的に測定角度が設定角度より１０°程度小さい値になるため、１５°以下の低角度は測ることは難しいが、相対的な角度は測ることができていることが分かる。

そこで、肌サンプルＳＰに類似したテストサンプルを予め所定の角度に設定してテストサンプルにスポット状の光を照射して実測して得られた長軸と短軸の比から計算した角度と設定された角度との差から、肌サンプルＳＰを実測して得られた比を補正するための補正値として、角度依存倍率ｆ（θ）を事前に求める。これにより、より正確な角度測定ができる。図１の画像取得装置１０を用いて、Ｌ_ｙ’とＬ_ｘ’を求め、テストサンプルの角度θを任意に設定して、ｆ（θ）＝Ｌ_ｙ’／Ｌ_ｘ’＊ｃｏｓθとしてｆ（θ）を予め測定しておくことができる。

図５は、テストサンプルとしてシリコンで作成した半透明サンプル３種類を用いて実際に測定を行って角度を求めた結果をプロットしたものである。半透明サンプル３種類は、シリコンに肌色色素３種類(株式会社ビューラックス製の色番２ＢＭ、色番ＭＴＵ、および色番Ｎｏ．１０の３種類の色素)を、それぞれ人肌に近い吸収特性および散乱特性になるように混ぜて作製したものである。半透明サンプルは、これに限定されるものではなく、測定対象の肌サンプルＳＰと似たような吸収特性および／または散乱特性をもつものであればよい。

実際に計測する際に、テストサンプルのミクロな凹凸によって取得した測定角度の値にばらつきが出ることがある。そこで、（ａ）複数の点を測定して測定角度の値を平均化する、（ｂ）スポット光の径を実際の測定に用いるスポット光の径より広いスポット光を用いて測定角度を得る、（ｃ）テストサンプルの表面を平坦化して測定角度を得るなどの手法を複数組み合わせて計測するのが好ましい。図５の例では、（ｂ）と（ｃ）を組み合わせた手法を採用し、同一素材のサンプルのうち最も平坦な面を利用し、その平坦なサンプルを予めある角度に設定し、スポット光の径４０μｍで事前測定を行って角度依存倍率ｆ（θ）を求めた。実際に肌サンプルを計測する際は、スポット光の径２５μｍで計測を行った。なお、平坦化するためには、サンプルに対して加工を行ってもよく、サンプルの表面を研磨してもよいし、サンプルを切断または切削した面を利用するようにしてもよい。こうして求めた角度依存倍率ｆ（θ）を（１）式に当てはめて、図５の結果を再計算したものが図６である。１５°以下の低角度も測定することができていることが分かる。また、図６に示すように再計算した結果は補正する前より全体に１０°程度大きい角度になり、理論値との差も少なくなり測定誤差が小さくなっていることが分かる。

上述ではシリコンで作成した半透明サンプルを用いて角度依存倍率ｆ（θ）を求めたが、テントサンプルを測定対象である人の肌サンプルＳＰ自体として、肌サンプルＳＰを予めある角度に設定しスポット光を照射して角度依存倍率ｆ（θ）を求めておいても良い。人の肌サンプルＳＰを用いる場合には、肌質、肌の色、および人種など、肌タイプを決める複数の要素に応じて角度依存倍率ｆ（θ）を求めて補正値として用意することで、より正確な計測が可能になる。

肌サンプルＳＰは、人によって光の透過度や内部散乱光が肌の表面から出射する量が異なるため、上述のように複数のタイプに対応した補正値を用意して、撮影時に肌タイプに応じたパラメータを選択して、角度取得部５４で、肌タイプに応じて補正値を変えることができるようにするのが好ましい。

上記では、肌サンプルＳＰが傾いている方向がＹ軸と一致している場合について説明したが、肌サンプルＳＰが傾いている方向は、拡散領域Ｅの長軸方向と一致する。つまり、図７に示すように，肌の傾きはＸ’Ｙ’平面上で拡散領域Ｅを楕円で近似した時の楕円Ｏの長軸方向uに肌サンプルＳＰが角度θほど傾いている。

拡散領域Ｅが楕円形状で近似した時の長軸方向uに肌サンプルＳＰが傾いているが、その角度は、図８に示すようにθ１とθ２の２通りがある。そこで、カメラ用レンズ３０の円周上に配置された光センサ２９が検知した肌サンプルＳＰからの反射光の強度から、角度がθ１とθ２のどちらの方向に傾いているかを判定する。

上記では、拡散領域Ｅを二値化して楕円フィッティングにより長軸と短軸の比を求める方法について説明したが、関数フィッティングを用いることができる。図９に示すように、投影領域Ｄの中心を通り、方向を０°〜１８０°の間で所定の角度刻みで変えた複数の直線を設定し、各直線上の輝度ラインプロファイルをそれぞれガウス関数で近似し、そのうち最大となる半値幅を長軸方向の半値幅とし、最小となる半値幅を短軸方向の半値幅とする。図１０の右側は、スポット光を撮像した肌画像Ｐの長軸方向の輝度ラインプロファイル(実線)を、Gaussian関数で近似した結果(破線)を示し、図１０の左側は、短軸方向の輝度ラインプロファイル(実線)を、Gaussian関数で近似した結果(破線)である。それぞれの半値幅は、最大の半値幅が６１．６μｍ、となり最小の半値幅が５１．５μｍであるので、これらの比を取ることで、長軸と短軸の比を求めることができる。
輝度ラインプロファイルは、Gaussian関数で近似することに限定されるものではなく、非対称の２重シグモイド、Bigaussianピーク関数、Breit-Wigner-Fano（BWF）などの種々の関数を用いて近似することが可能である。

角度分布取得部５６は、制御部３８を用いて指定されているサンプリング間隔で肌サンプルＳＰ上を走査しながら、肌サンプルＳＰ上の複数の位置で撮像した肌画像Ｐを画像受信部５２で取得し、受信した肌画像Ｐから角度取得部５４で取得した角度から肌サンプルＳＰ上の面に現れる角度の分布を取得する。

さらに、三次元位置取得部５８は、１つ前のサンプリング位置の位置情報Ｑと、その位置の傾き角度θと、サンプリング間隔から、現在のサンプリング位置を求める。便宜上、肌サンプルＳＰが常にＹ’方向に沿って傾いている場合について説明する。図１１は、Ｙ’軸に沿ってサンプリング間隔ｗでサンプリングしたときのサンプリング位置と、肌サンプルＳＰが傾いている角度θ（Ｙ’軸の下に角度θの値を示す）と、Ｙ’軸に垂直な方向の肌の高さｈの関係を示している。図１１に示すように、サンプリング間隔がｗである場合には、隣のサンプル位置から現在のサンプリング位置までの高さの相対値Δｈは、Δｈ＝ｗ＊ｔａｎθで求めることができる。この値高さの相対値Δｈを積算することで肌の凹凸の変化を求めるが可能である。

実際には、各サンプリング位置で面が傾いている方向は1つの軸方向に向いているわけではなく様々な方向に傾いているが、隣接する複数のサンプリング位置の角度から幾何学的に高さを求めることが可能である。例えば、サンプリング位置を中心とした領域をメッシュ状に区切り、区切った各領域（三角形または矩形の領域）の面の方向を表す法線ベクトルを角度取得部５４で得られた角度から求めて、隣接する頂点が連続するようにポリゴンを描画することで三次元形状を描画することができる。面の法線ベクトルを用いた３次元形状の描画については、周知の３次元用のグラフィックス処理のためのソフトウェアの機能を利用することができる。

次に、本実施の形態において、肌画像を取得して三次元画像を生成する一連の流れを図１２および図１３のフローチャートに沿って説明する。

まず、図１２のフローチャートに従って、画像取得装置１０で肌サンプルＳＰの撮像を行う流れについて説明する。

画像取得装置１０の制御部３８に、肌画像Ｐのサンプリング間隔ｗを設定し（Ｓ１）、肌サンプルＳＰにスポット光を投射して、肌の撮像を開始する。制御部３８でＸＹステージ３４を制御して光ファイバ２４の射出端２４ａを肌サンプルＳＰの撮像対象範囲の走査開始位置に移動させる（Ｓ２）。光源部２０から光を照射して肌サンプルＳＰ上にスポット光を投射して（Ｓ３）、カメラ３２で肌画像Ｐを撮像する（Ｓ４）。撮像対象範囲は、例えば、1.5ｍｍ×1.2ｍｍとする。同時にＸＹステージ３４の座標位置を肌画像Ｐの位置情報Ｑとして取得し（Ｓ５）、肌画像Ｐと一緒に画像処理装置１２に送信する。走査範囲の撮影は終了していないので（Ｓ６ＮＯ）、制御部３８は、サンプリング間隔ｗに従ってＸＹステージ３４を制御して光ファイバ２４の射出端２４ａを次のサンプリング位置に移動させる（Ｓ７）。再度、光源部２０から光を照射して肌サンプルＳＰ上にスポット光を投射して（Ｓ３）、カメラ３２で肌画像Ｐを撮像する（Ｓ４）。同時にＸＹステージ３４の座標位置を取得して肌画像Ｐの位置情報Ｑとして（Ｓ５）、肌画像Ｐと一緒に画像処理装置１２に送信する。走査範囲の撮影が終了していない場合には（Ｓ６ＮＯ）、再度、ＸＹステージ３４を次のサンプリング位置まで移動させる（Ｓ７）。前述と同様に、スポット光を肌サンプルＳＰに投射して（Ｓ３）、カメラ３２で肌画像Ｐを撮像し（Ｓ４）、肌画像Ｐの位置情報Ｑ（ＸＹステージ３４の座標値）を取得して（Ｓ５）、肌画像Ｐと位置情報Ｑを画像処理装置１２に送信する。このように、ＸＹステージ３４が撮像対象範囲の走査終了位置まで移動するまで（Ｓ６ＹＥＳ）、ＸＹステージ３４の移動（Ｓ７）、スポット光を肌サンプルＳＰに投射（Ｓ３）、肌画像Ｐの撮像（Ｓ４）および肌画像Ｐの位置情報Ｑの取得（Ｓ５）を繰り返す。また、画像処理装置１２は、受信した肌画像Ｐおよびその肌画像Ｐの位置情報Ｑを記憶部６０に記憶する。

次に、図１３のフローチャートに従って、画像処理装置１２で角度の分布と三次元画像を生成する処理の流れを説明する。画像取得装置１０から送信された肌画像Ｐおよび位置情報Ｑは、画像受信部５２で受け取り、記憶部６０に予め記憶されているものとして説明する。

角度分布取得部５６は、記憶部６０に記憶されている肌画像Ｐを順次読み出して、角度取得部５４を用いて各肌画像Ｐが傾いている方向（長軸の方向と一致する）と角度θとを取得する（Ｓ１０）。次に、三次元位置取得部５８で、隣接するサンプリング位置間の高さの相対値Δｈを取得する（Ｓ１１）。図１１に示すように、サンプリング間隔ｗでサンプリングした時のＹ’軸からの角度θが順に３０°、２２°、１７°、−１２°、−２０°、７°である場合、１番目と２番目のサンプル位置の高さの相対値はΔｈ＝ｗ*ｔａｎ30°である。これらの高さの相対値を積算して各サンプリング位置の座標値を求める（Ｓ１２）。例えば、１番目のサンプリング位置の高さを基準にすると、４番目のサンプリング位置は、ｈ１＝ｗ＊ｔａｎ３０°＋ｗ＊ｔａｎ２２°+ｗ＊ｔａｎ１７°になり、６番目のサンプル位置はｈ２＝ｗ＊ｔａｎ３０°＋ｗ＊ｔａｎ２２°+ｗ＊ｔａｎ１７°＋ｗ＊ｔａｎ−１２°＋ｗ＊ｔａｎ−２０°になる。このように、各サンプリング位置の座標値を取得して、これらの座標値をつなぐことにより３次元画像を生成する。なお、相対位置は、１つ前のサンプリング位置を基準にして次のサンプリング位置の高さ方向ｈの変化が、１つ前のサンプリング位置より上にある場合は＋の値となり、下にある場合−の値になる。

上記のように、半透明な測定対象の表面での光反射に加えて内部で拡散した内部散乱光を利用して、肌の傾きの角度を正確に計測することができるようにしたので、肌のような半透明な測定対象の凹凸を評価することが可能になる。

上記の構成では、肌サンプルＳＰに光を投射する方向と、肌サンプルＳＰを撮影する方向が同じ場合について説明したが、図１５に示すように、肌サンプルＳＰの表面で反射または肌サンプルＳＰ内で拡散した光を、スポット光を投射した方向とは異なる方向からカメラ用レンズ３０で集光してカメラ３２で撮像するようにしてもよい。撮影方向がスポット光の投影方向とは異なる場合、撮影した肌画像に現れる投影領域Ｄと拡散領域Ｅの形状が異なるので、撮影方向に応じた計算方法で角度θを求める。また、補正値として用いる角度依存倍率ｆ（θ）も、撮影方向に応じて事前に求めておくようにすれば良い。

上記では、出射用レンズ２２を用いて集光することでスポット光の径を調整したが、図１６に示すように光源部２０から出射された光を、ミラー２３で向きを変えてピンホール２５を通って肌サンプルＳＰにスポット光を投射するようにしても良い。また、上記では、ＸＹステージ３４でスポット光の投射位置を動かす手法について説明したが、ピンホール２５を移動してスポット光の投射位置を変えても良い。

あるいは、図１７に示すように、ガルバノスキャナ２７を用いて、光ファイバ２４の射出端２４ａから発せられたスポット光の投射位置を変えても良い。

上記の実施の形態では、光源部として、白色光源としてキセノンランプ光源を用いる場合について説明したが、ハロゲンランプ、ＬＥＤ光源、または、レーザー光源を使用しても良いし、複数の色の光源を用いて所望の色を合成しても良い。

上記の実施の形態では、半透明の測定対象として肌について説明したが、半透明性フィルム、基板、または、石材等の平面度を測定するために用いることもできる。

上記の実施の形態では、画像処理装置としてパーソナルコンピュータを例に挙げて説明したが、画像処理装置は、ＣＰＵとメモリを備えて上記のプログラムを実行出るものであればよく、タブレット端末、スマートフォン、または、画像取得装置の筐体内に設けられる専用のファームウェアなどで提供されてもよいのは言うまでもない。

１角度測定装置
１０画像取得装置
１２画像処理装置
２０光源部
２２出射用レンズ
２３ミラー
２４光ファイバ
２４ａ射出端
２５ピンホール
２６ハーフミラー
２７ガルバノスキャナ
２８対物レンズ
２９光センサ
３０カメラ用レンズ
３２撮像部（カメラ）
３４ＸＹステージ
３８制御部
５０角度測定処理部
５２画像受信部
５４角度取得部
５６角度分布取得部
５８三次元位置取得部
６０記憶部
Ｐ肌画像
Ｑ位置情報
ＳＰ肌サンプル

Claims

スポット状の光を測定対象に投射する投射部と、
前記スポット状の光が投射された前記測定対象の位置を撮像する撮像部とを備え、
前記スポット状の光が前記測定対象に投射されて前記測定対象の表面で反射された光および前記測定対象内で拡散した光が前記測定対象の表面から出射した光を前記撮像部で撮像した撮像画像を取得する画像取得部と、
前記撮像画像から前記スポット状の光が前記測定対象に投射された投影領域よりも広がった拡散領域の長軸と短軸の比からスポット光の照射方向に垂直な平面に対して前記測定対象が傾いている角度を取得する角度取得部とを有する角度測定装置。
前記撮像部で前記測定対象を撮像する方向が、前記投射部が前記スポット状の光を投射する方向と同じ方向である請求項１記載の角度測定装置。
前記角度取得部は、前記拡散領域の輪郭を楕円形状で近似して、前記近似された楕円形状の長軸と短軸から前記比を取得する請求項１または２記載の角度測定装置。
前記角度取得部は、所定の閾値を用いて前記撮像画像を二値化することにより前記拡散領域を取得し、前記拡散領域の長軸と短軸の比を取得する請求項１〜３のいずれか１項記載の角度測定装置。
前記角度取得部は、前記撮像画像の前記長軸の方向と前記短軸の方向の輝度プロファイルを所定の関数で近似したプロファイルを用いて、前記拡散領域の前記長軸の方向と前記短軸の方向の幅をそれぞれ求めて前記比を取得する請求項１〜４のいずれか１項記載の角度測定装置。
前記測定対象のテストサンプルを予め所定の角度に設定して前記テストサンプルに前記スポット状の光を照射して実測して得られた前記比から計算した角度と前記設定された角度との差を用いて、前記測定対象を実測して得られた前記比を補正するための補正値を予め取得して、
前記角度取得部が、前記補正値で補正された比を用いて前記測定対象の角度を取得する請求項１〜５のいずれか１項記載の角度測定装置。
前記測定対象に対して前記スポット状の光が投射される投射位置を制御する制御部を備え、
前記制御部を用いて前記測定対象上を走査ながら、前記測定対象上の複数の位置において前記画像取得部によって取得した撮像画像から前記角度取得部を用いて前記角度を取得して、前記測定対象上の面に現れる角度の分布を取得する角度分布取得部とを備えた請求項１〜６いずれか１項記載の角度測定装置。
スポット状の光を測定対象に投射する投射部と、
前記スポット状の光が投射された前記測定対象の位置を撮像する撮像部とを備えた角度測定装置の作動方法であって、
前記スポット状の光が前記測定対象に投射されて前記測定対象の表面で反射された光および前記測定対象内で拡散した光が前記測定対象の表面から出射した光を前記撮像部で撮像した撮像画像を取得する画像取得ステップと、
前記撮像画像から前記スポット状の光が前記測定対象に投射された投影領域よりも広がった拡散領域の長軸と短軸の比からスポット光の照射方向に垂直な平面に対して前記測定対象が傾いている角度を取得する角度取得ステップとを有する角度測定装置の作動方法。
スポット状の光を測定対象に投射する投射部と、
前記スポット状の光が投射された前記測定対象の位置を撮像する撮像部とを備えた角度測定装置のコンピュータを、
前記スポット状の光が前記測定対象に投射されて前記測定対象の表面で反射された光および前記測定対象内で拡散した光が前記測定対象の表面から出射した光を前記撮像部で撮像した撮像画像を取得する画像取得部と、
前記撮像画像から前記スポット状の光が前記測定対象に投射された投影領域よりも広がった拡散領域の長軸と短軸の比からスポット光の照射方向に垂直な平面に対して前記測定対象が傾いている角度を取得する角度取得部として機能させるための角度測定プログラム。