JP5905572B2

JP5905572B2 - 三次元顔計測装置、制御方法、プログラム、及び記憶媒体

Info

Publication number: JP5905572B2
Application number: JP2014516575A
Authority: JP
Inventors: 良司野口
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2012-05-23
Filing date: 2012-05-23
Publication date: 2016-04-20
Anticipated expiration: 2032-05-23
Also published as: JPWO2013175595A1; WO2013175595A1

Description

本発明は、三次元計測技術に関する。

従来から、カメラで撮影した画像に基づき、被写体である物体の三次元計測を行う技術が知られている。例えば、特許文献１及び非特許文献１には、計測物体に複数の光パターンを投影させ、これらの光パターンが投影された計測物体を撮影した画像に基づき、計測物体の三次元位置を計測する技術が開示されている。また、特許文献２には、毛髪の測定と顔面測定とで異なる輝度の光パターンを投影することで、毛髪及び顔面の三次元形状を測定する技術が開示されている。また、非特許文献２には、画像から顔及び目を検出するための技術が開示されている。その他、本発明に関連する技術が特許文献３乃至６にそれぞれ開示されている。

特開２００８−１７０２８２号公報特開２００５−１０６４９１号公報特開２００８−２３２７７６号公報特開２００４−２５４１４５号公報特開２００５−１０９５４０号公報特開２００６−２５８４５７号公報

吉澤徹編著「最新光三次元計測」朝倉書店、２００６年１１月２０日、ｐ．４５−５２ＯｐｅｎＣＶ２プログラミングブック制作チーム著「ＯｐｅｎＣＶ２プログラミングブック」マイナビ、２０１１年１２月２７日

人間の頭部を光パターンの投影により三次元計測する場合、毛髪のような黒色部分は、光パターン投影の有無に基づく輝度差が小さくなり、毛髪のない顔のみの三次元データが得られる場合が多い。一方、毛髪の部分についても光パターン投影の有無に基づく輝度差が大きくなるように、高輝度の光パターンを投影した場合、計測対象者の目の安全上好ましくない。

本発明は、上記のような課題を解決するためになされたものであり、光が計測対象者の目に入射するのを抑制しつつ、好適に顔の三次元計測を行うことが可能な三次元顔計測装置を提供することを主な目的とする。

請求項１に記載の発明は、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置であって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段と、を有することを特徴とする。

請求項１１に記載の発明は、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行する制御方法であって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測工程と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定工程と、を有することを特徴とする。

請求項１２に記載の発明は、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行するプログラムであって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段として前記三次元顔計測装置を機能させることを特徴とする。

本実施例に係る三次元顔計測システムの概略構成図である。三次元顔計測装置の機能ブロックを示す。第１撮影画像の例を示す。第２撮影画像の例を示す。本実施例の処理手順を示すフローチャートである。変形例に係る三次元顔計測システムの概略構成図である。

本発明の１つの好適な実施形態では、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置であって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段と、を有する。

上記三次元顔計測装置は、光源から光パターンが投影される顔の三次元計測を行う三次元形状計測手段と、色情報決定手段とを備える。三次元形状計測手段は、顔の目が閉じた状態において、光パターンが投影された顔が撮影された第１撮影画像に基づき、顔の三次元形状情報を生成する。色情報決定手段は、顔の目が開いた状態において、光パターンが投影されていない顔が撮影された第２撮影画像に基づき、三次元形状情報が示す各位置における色情報を決定する。ここで、「色情報」とは、輝度、彩度、色相の少なくともいずれか一つを定める情報であり、ＲＧＢの少なくとも一色を定める情報であってもよく、濃淡を定める情報であってもよい。このように構成することで、三次元顔計測装置は、光パターンが目に照射されるのを抑制しつつ、目が開いた状態の顔の三次元データを好適に生成することができる。

上記三次元顔計測装置の一態様では、前記顔の状態が、目を閉じた状態又は目を開いた状態のいずれであるかを判定する開閉判定手段と、前記顔の状態が目を閉じた状態であると前記開閉判定手段が判定した場合に、前記光パターンを出射するように前記光源を制御する光源制御手段と、をさらに有する。このようにすることで、三次元顔計測装置は、光パターンが目に照射されるのを抑制しつつ、目が開いた状態の顔の三次元データを好適に生成することができる。

上記三次元顔計測装置の他の一態様では、前記光源制御手段は、前記光源により前記光パターンを前記顔に照射しているときに、前記顔の状態が、目を閉じた状態から目を開いた状態に遷移したと判断した場合、前記光パターンの照射を停止する。この態様により、三次元顔計測装置は、光パターンが目に照射されるのを抑制することができる。

上記三次元顔計測装置の他の一態様では、前記光源制御手段は、前記光パターンの照射を停止した後、前記顔の状態が、目を開いた状態から目を閉じた状態に遷移した場合、前記顔に照射していない光パターンであって、前記三次元形状情報の生成に必要な光パターンを前記顔に照射する。この態様により、三次元顔計測装置は、瞬きなど目を閉じる時間が短い場合であっても、断続的に第１撮影画像を取得し、好適に三次元形状情報を生成することができる。

上記三次元顔計測装置の他の一態様では、前記光源制御手段は、前記光パターンを、前記三次元形状計測手段が前記顔の毛髪部分における三次元形状情報を生成可能な光量により前記光源に出射させる。この態様により、三次元顔計測装置は、高輝度の光パターンが目に照射されるのを抑制しつつ、毛髪部分についても好適に三次元形状情報を生成することができる。

上記三次元顔計測装置の他の一態様では、前記顔に照射される照明光を制御する照明制御手段をさらに備える。この態様により、三次元顔計測装置は、三次元計測の環境を好適に制御することができる。

上記三次元顔計測装置の他の一態様では、前記照明制御手段は、前記第１撮影画像の撮影時には、前記第２撮影画像の撮影時よりも、前記第１撮影画像における顔の輝度が小さくなるように前記照明光を制御する。この態様により、三次元顔計測装置は、第１撮影画像における光パターン投影の有無に基づく輝度差を大きくすると共に、第２撮影画像に基づく色情報を高精度に取得することができる。

上記三次元顔計測装置の他の一態様では、前記顔が前記第１撮影画像及び前記第２撮影画像を生成するカメラに向いているか否か判定する向き判定手段をさらに備え、前記顔が前記カメラに向いていると前記向き判定手段が判断した場合、前記三次元計測を実行する。この態様により、三次元顔計測装置は、目を開いた状態の顔の正面の三次元計測を好適に行うことができる。

上記三次元顔計測装置の他の一態様では、前記第１撮影画像及び前記第２撮影画像の撮影時において、前記顔の動きの有無を検出する動き検出手段と、前記第１撮影画像及び前記第２撮影画像の撮影時に前記顔が動いたと前記動き検出手段が判断した場合、前記三次元計測を停止する停止手段と、をさらに備える。この態様により、三次元顔計測装置は、第１撮影画像と第２撮影画像とを用いて顔の三次元データを好適に生成することができる。

上記三次元顔計測装置の他の一態様では、前記第１撮影画像及び前記第２撮影画像の撮影時において、前記顔の移動量を検出する移動量検出手段をさらに備え、前記色情報決定手段は、前記移動量に基づき、前記三次元形状情報が示す各位置の色情報を決定する。この態様により、三次元顔計測装置は、第１撮影画像の撮影時から第２撮影画像の撮影時にかけて計測対象の顔の位置が変化した場合であっても、第１撮影画像と第２撮影画像との対応関係を好適に把握して顔の三次元データを生成することができる。

本発明の他の好適な実施形態では、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行する制御方法であって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測工程と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定工程と、を有する。三次元顔計測装置は、この制御方法を実行することで、光パターンが目に照射されるのを抑制しつつ、目が開いた状態の顔の三次元データを好適に生成することができる。

本発明のさらに別の実施形態では、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行するプログラムであって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段として前記三次元顔計測装置を機能させる。三次元顔計測装置は、このプログラムを実行することで、光パターンが目に照射されるのを抑制しつつ、目が開いた状態の顔の三次元データを好適に生成することができる。好適には、上記プログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。

［三次元顔計測システムの構成］
図１は、本実施例に係る三次元顔計測システムの概略構成図である。図１に示すように、顔計測システムは、撮影対象者５の顔の三次元情報を生成するシステムであり、三次元顔計測装置１と、光源２と、カメラ３とを有する。

光源２は、例えばプロジェクタであり、顔の位置に向けて三次元計測用の複数の光パターンをそれぞれ照射する。光パターンは、例えば縞状などであり、三次元計測のパターン投影方式で用いられる種々のパターンであってもよい。例えば空間コード化法により顔の三次元計測を行う場合、光源２は、例えば明暗幅を２倍ずつ変化させた縞状の光パターンを順番に投影する。光源２は、三次元顔計測装置１から送信される光源制御信号「Ｓｐ」に基づき光パターンの投影の有無が制御される。

カメラ３は、三次元顔計測装置１と電気的に接続し、撮影した画像（「撮影画像Ｉｍ」とも呼ぶ。）を三次元顔計測装置１に送信する。カメラ３は、撮影画像Ｉｍに撮影対象者５の顔全体が表示される位置に設置される。

三次元顔計測装置１は、図示しないＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）及びＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などを有し、カメラ３から取得した撮影画像Ｉｍに基づき、撮影対象者５の目を開いた状態の顔の三次元情報（「三次元顔情報ＦＩｔａｇ」とも呼ぶ。）を算出する。ここで、「三次元顔情報ＦＩｔａｇ」とは、撮影された顔の形状を示す三次元座標情報（「三次元顔形状情報ＦＩｓ」とも呼ぶ。）と、当該三次元顔形状情報ＦＩｓが示す各位置における色情報とを含む情報を指す。そして、三次元顔計測装置１のＣＰＵなどは、本発明における「三次元形状計測手段」、「色情報決定手段」、「光源制御手段」、「開閉判定手段」、「照明制御手段」、「向き判定手段」、「動き検出手段」、「停止手段」及び「移動量検出手段」として機能する。

［三次元顔計測装置の制御］
次に、三次元顔計測装置１が実行する処理について説明する。概略的には、三次元顔計測装置１は、撮影対象者５の目が閉じている状態で高輝度の光パターンを投影して顔の三次元顔形状情報ＦＩｓを生成すると共に、撮影対象者５の目が開いている状態の撮影画像Ｉｍに基づき三次元顔形状情報ＦＩｓの各位置における色情報を決定する。これにより、三次元顔計測装置１は、好適に、目を開いた状態の撮影対象者５の顔を表す三次元顔情報ＦＩｔａｇを生成する。

図２は、三次元顔計測装置１の機能ブロックを示す。図２に示すように、三次元顔計測装置１は、撮影画像解析部１１と、光源制御部１２と、三次元計測判定部１３と、三次元形状計算部１４と、色情報決定部１５とを備える。

（１）光源の制御
まず、撮影画像解析部１１及び光源制御部１２が実行する光源２の制御方法について具体的に説明する。

撮影画像解析部１１は、カメラ３から送信される撮影画像Ｉｍの画像処理を行い、撮影対象者５の目の開閉を判定する。撮影画像解析部１１は、顔検出部１１１と、目検出部１１２と、目開閉判定部１１３とを備える。顔検出部１１１は、撮影画像Ｉｍにおいて顔が撮影されているか否かを判定し、撮影画像Ｉｍにおいて顔が撮影されている場合には、撮影画像Ｉｍにおける顔の表示領域を認識する。そして、目検出部１１２は、顔検出部１１１が検出した顔の表示領域内において眼の表示領域を検出する。そして、目開閉判定部１１３は、顔検出部１１１が顔の表示領域を検出した場合に、目検出部１１２の検出結果に基づき、撮影画像Ｉｍに目を閉じた顔が表示されているか、又は撮影画像Ｉｍに目を開いた顔が表示されているかを判定する。このとき、例えば、目開閉判定部１１３は、目検出部１１２が目を検出した場合には、撮影画像Ｉｍに目を開いた顔が表示されていると判断し、目検出部１１２が目を検出できなかった場合には、撮影画像Ｉｍに目を閉じた顔が表示されていると判断する。そして、目開閉判定部１１３は、上述の判定結果を示す信号（「判定信号Ｓｊ」とも呼ぶ。）を、光源制御部１２及び三次元計測判定部１３に送信する。

光源制御部１２は、目開閉判定部１１３から送信される判定信号Ｓｊに基づき、光源２の光パターンの出射の有無を制御する。具体的には、光源制御部１２は、判定信号Ｓｊが撮影画像Ｉｍに目を閉じた顔が表示されている旨を示す場合に、光源２に光パターンを出射させる。このとき、光源制御部１２は、光パターンの投影の有無に基づく輝度差が、三次元形状計算部１４が顔の毛髪部分についても三次元顔形状情報ＦＩｓを生成可能な程度の輝度差になるような光量により、光パターンを光源２に出射させる。このようにすることで、後述するように、三次元顔計測装置１は、撮影対象者５の髪の毛などの黒い部分についても、光パターンが照射されたか否か正確に判定することができ、三次元顔形状情報ＦＩｓを高精度に算出することが可能となる。また、三次元顔計測装置１は、撮影対象者５が目を閉じた状態で光パターンを投影することで、高輝度の光パターンが目に入射するのを防ぐことができる。そして、光源制御部１２は、光パターンを光源２に照射させた場合、光源２から光パターンを出射させる旨を通知する信号（「照射通知信号Ｓｒ」とも呼ぶ。）を三次元計測判定部１３に送信する。

（２）三次元顔情報の生成
次に、三次元計測判定部１３、三次元形状計算部１４、及び色情報決定部１５が実行する三次元顔情報ＦＩｔａｇの生成処理について具体的に説明する。

三次元計測判定部１３は、光源制御部１２から送信される照射通知信号Ｓｒに基づき、カメラ３から送信される撮影画像Ｉｍが、光パターンが投影された顔が表示された撮影画像Ｉｍ（「第１撮影画像Ｉｍｃ」とも呼ぶ。）であるか否か判定する。さらに、三次元計測判定部１３は、目開閉判定部１１３から送信される判定信号Ｓｊに基づき、カメラ３から送信される撮影画像Ｉｍが、光パターンが投影されておらず、目を開いた状態の顔が表示された撮影画像Ｉｍ（「第２撮影画像Ｉｍｏ」とも呼ぶ。）であるか否か判定する。そして、三次元計測判定部１３は、撮影画像Ｉｍが第１撮影画像Ｉｍｃであると判断した場合、当該第１撮影画像Ｉｍｃを三次元形状計算部１４に送信し、撮影画像Ｉｍが第２撮影画像Ｉｍｏであると判断した場合、当該第２撮影画像Ｉｍｏを色情報決定部１５に送信する。

三次元形状計算部１４は、各光パターンが顔に投影表示された第１撮影画像Ｉｍｃに基づき、撮影対象者５の顔の三次元位置を計測し、三次元顔形状情報ＦＩｓを生成する。例えば空間コード化法を用いた場合、明暗幅が２倍ずつ変化させた縞状の光パターンが順番に光源２から投影され、ｎ個の光パターンを用意した場合、計測領域は光パターンの投影方向に基づき２のｎ乗個に分割される。この場合、三次元形状計算部１４は、各光パターンの有無に対応して一意に与えられたｎビットの空間コード値について、光パターンの投影方向と第１撮影画像Ｉｍｃ上での画素位置により決まる計測方向との関係から、三角測量の原理に基づき、全ての画素について距離情報を求める。そして、三次元形状計算部１４は、算出した各画素の距離情報から三次元顔形状情報ＦＩｓを算出し、当該三次元顔形状情報ＦＩｓを色情報決定部１５に送信する。

図３（ａ）乃至（ｃ）は、それぞれ異なる光パターンが撮影対象者５の顔に照射された際に撮影された第１撮影画像Ｉｍｃの例を示す。図３（ａ）乃至（ｃ）に示すように、第１撮影画像Ｉｍｃには、撮影対象者５の顔の領域である顔表示領域５０が存在する。さらに、第１撮影画像Ｉｍｃには、光パターンが照射されたパターン照射領域「Ｒｐ」が存在する。ここで、光源制御部１２は、顔表示領域５０において、光パターンの投影の有無に基づく輝度差が高くなるように、高輝度の光パターンを光源２に出射させる。これにより、三次元顔計測装置１は、撮影対象者５の髪の毛などの黒い部分についても、光パターンが照射されたか否か正確に判定することができ、三次元顔形状情報ＦＩｓを高精度に算出することが可能となる。

これについて補足説明する。一般の三次元座標位置の計算では、三次元形状計算部１４は、各々の光パターンが照射された第１撮影画像Ｉｍｃの各画素を対象に、光パターンが投影されているか否かを当該画素の輝度を参照して判定する。この場合、三次元形状計算部１４は、光パターンの投影の有無を判定するための閾値（「閾値Ｃｔｈ」とも呼ぶ。）を設定し、各画素の光パターンの投影の有無を判定する。光パターンが投影された場合の所定の画素の輝度を「Ａ」、光パターンが投影されていない場合の当該画素の輝度を「Ｂ」とすると、以下の式（１）を満たすような、縞状の光パターンに対応する領域を求める。
Ａ−Ｂ＞Ｃｔｈ（１）
ここで、一般に、閾値Ｃｔｈが高い程、縞状の光パターンに対応する領域の誤判定が抑制される。一方、光パターンの投影の有無に基づく輝度差が小さい場合、閾値Ｃｔｈを高くすると、縞状の光パターンに対応する領域を決定することができなくなる。従って、三次元形状計算部１４は、光パターンの投影の有無に基づく輝度差が大きい程、閾値Ｃｔｈを高く設定することができ、上述した誤判定を抑制して、縞状の光パターンに対応する領域を決定することが可能となる。

また、図３（ａ）乃至（ｃ）に示す第１撮影画像Ｉｍｃには、いずれも撮影対象者５が目を閉じた状態の顔が表示されている。このように、三次元顔計測装置１は、撮影対象者５が目を閉じた状態で光パターンを投影することで、高輝度の光パターンが目に入射するのを防ぐことができる。

次に、色情報決定部１５が実行する処理について説明する。色情報決定部１５は、第２撮影画像Ｉｍｏに基づき、三次元顔形状情報ＦＩｓの各位置における色情報を決定する。具体的には、色情報決定部１５は、まず、三次元顔形状情報ＦＩｓが示す各位置が第２撮影画像Ｉｍｏのいずれの画素に該当するか判定する。そして、色情報決定部１５は、三次元顔形状情報ＦＩｓの各位置に対応する第２撮影画像Ｉｍｏの画素が示す画素値を、当該各位置における色情報として決定することで三次元顔情報ＦＩｔａｇを生成する。

図４は、第２撮影画像Ｉｍｏの一例を示す。図４に示すように、第２撮影画像Ｉｍｏは、目を開いた状態における撮影対象者５の顔が表示された顔表示領域５０Ａを有する。ここでは、色情報決定部１５は、第１撮影画像Ｉｍｃの撮影時刻と第２撮影画像Ｉｍｏの撮影時刻との間とが短く、当該撮影時刻間で目の開閉動作以外には顔の変化がないものとみなす。好適には、撮影時において、撮影対象者５が意図的に顔の位置を動かさないように制限してもよい。

なお、第１撮影画像Ｉｍｃでは撮影対象者５は目を閉じていることから、三次元顔形状情報ＦＩｓは、撮影対象者５が実際に目を開いている状態の顔の形状と比較して、瞼の厚さ分だけ誤差を含む。しかしながら、瞼の厚さは、一般的に０．６ｍｍ前後である。従って、例えば、三次元顔情報ＦＩｔａｇに基づき、任意の視点位置から撮影対象者５の顔の画像を生成した場合、目を閉じた状態で撮影された第１撮影画像Ｉｍｃに基づき三次元計測したことを目視で判断することが難しい。このように、三次元顔計測装置１は、エンターテイメントへの応用や、顔写真に関する応用などで十分に利用することが可能な程度の精度を有する三次元顔情報ＦＩｔａｇを好適に生成することができる。

（３）効果
次に、本発明における効果について以下に述べる比較例を用いて補足説明する。ここで、本実施例のように撮影対象者５が目を閉じた状態で高輝度の光パターンを照射させる代わりに、三次元顔計測システムにおける計測環境を暗くする比較例について検討する。

この場合、光パターンの輝度を抑制しつつ、光パターンの投影の有無に基づく輝度差を大きくすることが可能である。しかしながら、光パターンの輝度を低下させた場合、本実施例の場合と比較して、髪の毛などの黒い部分における三次元顔形状情報ＦＩｓの精度が低下するという問題が生じる。また、医療目的で使用した場合などの所定の利用目的の場合には、計測時に暗い環境にすることができない場合がある。また、安全上等の観点から、当該光パターンが高輝度でない場合であっても、撮影対象者５の目に直接光パターンを入射させない方が望ましい。

以上を勘案し、本実施例では、三次元顔計測装置１は、撮影対象者５が目を閉じた状態で高輝度の光パターンを照射させ、この時に撮影した第１撮影画像Ｉｍｃに基づき三次元顔形状情報ＦＩｓを生成する。これにより、三次元顔計測装置１は、髪の毛部分等を含め高精度に三次元顔形状情報ＦＩｓを生成することができると共に、撮影対象者５の目に直接光パターンを入射させるのを抑制することができる。また、三次元顔計測装置１は、撮影対象者５が目を閉じた状態を撮影した第２撮影画像Ｉｍｏに基づき三次元顔形状情報ＦＩｓの各位置の色情報を決定することで、撮影対象者５が目を開いた状態の顔を示す三次元顔情報ＦＩｔａｇを好適に生成することができる。

［処理フロー］
次に、三次元顔計測装置１が実行する処理手順について図５を参照して説明する。図５は、本実施例の処理手順を示すフローチャートの一例である。図５に示すフローチャートでは、一例として、三次元顔計測装置１は、まず、第２撮影画像Ｉｍｏを取得した後、第１撮影画像Ｉｍｃを取得して三次元顔情報ＦＩｔａｇを生成するものとする。三次元顔計測装置１は、図５に示すフローチャートの処理を、例えば所定の指示信号を受信した場合に実行する。

まず、三次元顔計測装置１の撮影画像解析部１１は、カメラ３が生成した撮影画像Ｉｍから顔を検出したか否か判定する（ステップＳ１０１）。そして、撮影画像解析部１１は、撮影画像Ｉｍから顔を検出した場合（ステップＳ１０１：Ｙｅｓ）、検出した顔の目が開いているか否か判定する（ステップＳ１０２）。そして、検出した顔の目が開いている場合（ステップＳ１０２：Ｙｅｓ）、色情報決定部１５は、撮影画像Ｉｍを第２撮影画像Ｉｍｏとしてメモリに保存する（ステップＳ１０３）。具体的には、この場合、撮影画像解析部１１は、目が開いている旨の判定信号Ｓｊを三次元計測判定部１３に送信し、三次元計測判定部１３は、当該判定信号Ｓｊに基づき、カメラ３が生成した撮影画像Ｉｍを第２撮影画像Ｉｍｏとして色情報決定部１５に送信する。

一方、撮影画像解析部１１は、撮影画像Ｉｍから顔を検出できなかった場合（ステップＳ１０１：Ｎｏ）、又は、撮影画像Ｉｍから検出した顔の表示領域から開いた状態の目を検出できなかった場合（ステップＳ１０２：Ｎｏ）、再びステップＳ１０１へ処理を戻す。

ステップＳ１０３の実行後、撮影画像解析部１１は、撮影画像Ｉｍに表示された顔の目が開いた状態から閉じた状態に遷移したか否か判定する（ステップＳ１０４）。そして、撮影画像Ｉｍに表示された顔の目が開いた状態から閉じた状態に遷移した場合（ステップＳ１０４：Ｙｅｓ）、光源制御部１２は、光源２に各光パターンを出射させる（ステップＳ１０５）。具体的には、この場合、撮影画像解析部１１は、光源制御部１２に目が閉じている旨の判定信号Ｓｊを光源制御部１２に送信し、光源制御部１２は、判定信号Ｓｊに基づき、光源２に光パターンを照射させる。このとき、光源制御部１２は、光源２に高輝度の光パターンを照射させることで、第１撮影画像Ｉｍｃにおける光パターンの投影の有無に基づく輝度差を大きくすることができる。また、光源制御部１２は、撮影対象者５は目を閉じているため、撮影対象者５の目に直接光パターンが照射されるのを防ぐことができる。一方、撮影画像Ｉｍに表示された顔の目が開いた状態が継続している場合（ステップＳ１０４：Ｎｏ）、撮影画像解析部１１は、引き続きステップＳ１０４で撮影画像Ｉｍに表示された顔の目の状態を監視する。

ステップＳ１０５の実行後、三次元形状計算部１４は、各光パターンが投影された第１撮影画像Ｉｍｃに基づき、三次元顔形状情報ＦＩｓを生成する（ステップＳ１０６）。具体的には、まず、三次元計測判定部１３は、撮影画像解析部１１から受信した目を閉じた旨の判定信号Ｓｊに基づき、カメラ３から受信した撮影画像Ｉｍが第１撮影画像Ｉｍｃであることを認識する。そして、三次元計測判定部１３は、第１撮影画像Ｉｍｃを三次元形状計算部１４に送信する。三次元形状計算部１４は、第１撮影画像Ｉｍｃに基づき、三次元顔形状情報ＦＩｓを生成する。このとき、光パターンは高輝度により撮影対象者５に照射されているため、第１撮影画像Ｉｍｃの顔表示領域５０では、光パターンの投影の有無に基づく輝度差が大きい。従って、三次元計測判定部１３は、閾値Ｃｔｈを高く設定し、高精度に三次元顔形状情報ＦＩｓを生成することができる。なお、具体的な閾値Ｃｔｈの値は、例えば予め実験等に基づき適切な値に設定される。

次に、色情報決定部１５は、第２撮影画像Ｉｍｏに基づき、三次元顔形状情報ＦＩｓに色情報を付加して三次元顔情報ＦＩｔａｇを生成する（ステップＳ１０７）。具体的には、色情報決定部１５は、三次元計測判定部１３から三次元顔形状情報ＦＩｓを受信した場合、ステップＳ１０３で保存した第２撮影画像Ｉｍｏに基づき、三次元顔形状情報ＦＩｓが示す各位置における色情報を決定する。このようにすることで、色情報決定部１５は、目を開いた状態の撮影対象者５の顔を示す三次元顔情報ＦＩｔａｇを好適に生成することができる。

［変形例］
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。

（変形例１）
図５に示すフローチャートでは、三次元顔計測装置１は、まず、ステップＳ１０２で目を開いている状態を検出した後、ステップＳ１０４で目を閉じた状態に遷移したか否かを検出した。しかし、本発明が適用可能な処理手順は、これに限定されない。これに代えて、三次元顔計測装置１は、撮影画像Ｉｍから、目を閉じた状態の撮影対象者５の顔と、目を開いた状態の撮影対象者５の顔とをそれぞれ独立して検出してもよい。従って、この場合、三次元顔計測装置１は、目を閉じた状態の顔を最初に検出して第１撮影画像Ｉｍｃを取得した後、目を開いた状態の顔を検出して第２撮影画像Ｉｍｏを取得してもよい。

（変形例２）
三次元顔計測装置１は、図５のフローチャートのステップＳ１０４で目を閉じた状態を検知して、ステップＳ１０５で光パターンを照射している途中で再び目を開いた状態を検知した場合、フローチャートの処理を停止してもよい。即ち、この場合、三次元顔計測装置１は、パターン光の出射を停止し、かつ、ステップＳ１０６及びステップＳ１０７の処理を実行しない。そして、フローチャートの処理の停止後、撮影画像解析部１１は、撮影画像Ｉｍにおける目の状態を監視し、目が閉じた状態に遷移したと判断した場合に、光源制御部１２は、再び光パターンの照射を開始する。これにより、三次元顔計測装置１は、撮影対象者５の目に光パターンが照射されるのを抑制することができる。

再び光パターンの照射を開始する場合、好適には、光源制御部１２は、まだ照射していない光パターンのみ、即ち生成された第１撮影画像Ｉｍｃ中に投影表示されていない光パターンを照射する。そして、三次元形状計算部１４は、光パターンの照射が中断した場合であっても、当該中断までに取得した第１撮影画像Ｉｍｃをメモリに記憶しておき、中断後に取得した第１撮影画像Ｉｍｃと合わせて三次元顔形状情報ＦＩｓを生成する。このようにすることで、三次元顔計測装置１は、撮影対象者５が意図的に目を閉じる動作を行わない場合であっても、瞬きなどの短い時間で第１撮影画像Ｉｍｃを断続的に取得して三次元顔形状情報ＦＩｓを好適に生成することができる。

（変形例３）
三次元顔計測装置１は、撮影対象者５の顔がカメラ３に向いているか否かをさらに判定し、顔がカメラ３に向いていると判断した場合にのみ、実施例で述べた三次元顔計測処理を行ってもよい。この場合、撮影画像解析部１１は、撮影画像Ｉｍから顔を検出した場合に、既存の画像認識技術により、例えば目の位置などに基づいて、当該顔が正面を向いているか否かさらに判定する。

また、これに加え、三次元顔計測装置１は、撮影対象者５の顔の計測途中において、撮影対象者５がカメラ３の正面を向いていない状態を検知した場合には、計測処理を停止してもよい。例えば、この場合、三次元顔計測装置１は、撮影対象者５の顔の向きを引き続き監視し、撮影対象者５がカメラ３の正面を向いたと判断した場合に、計測処理を再び開始する。この場合、変形例２と同様、三次元顔計測装置１は、停止前の計測処理において取得していない第１撮影画像Ｉｍｃ又は／及び第２撮影画像Ｉｍｏのみを取得する処理を行うことで、三次元顔情報ＦＩｔａｇを生成してもよい。

（変形例４）
三次元顔計測装置１は、撮影対象者５の顔の計測時において、顔の位置が遷移したか否かさらに判定し、顔の位置が遷移したと判断した場合には、計測処理を停止してもよい。この場合、例えば、撮影画像解析部１１は、撮影画像Ｉｍ中の時系列における顔の表示領域の遷移を検知し、計測開始から顔表示領域が所定画素分以上遷移した場合に、計測処理を停止する。他の例では、撮影対象者５の頭部に位置を検知するためのセンサが取り付けられ、三次元顔計測装置１は、当該センサの移動量を検知することで、顔の位置が所定の移動量以上移動した場合に、計測処理を停止する。そして、この場合、三次元顔計測装置１は、例えば、撮影対象者５の顔が所定時間以上静止したと判断したときに、再び計測処理を開始する。

他の例では、三次元顔計測装置１は、第１撮影画像Ｉｍｃの撮影時と第２撮影画像Ｉｍｏの撮影時との間における顔の移動量を計測し、当該移動量に基づき、三次元顔形状情報ＦＩｓが示す各位置と、第２撮影画像Ｉｍｏの各画素の画素値とを対応付ける位置を変化させる。このようにすることで、第１撮影画像Ｉｍｃの撮影時と第２撮影画像Ｉｍｏの撮影時とで、顔の位置が変化した場合であっても、三次元顔計測装置１は、三次元顔形状情報ＦＩｓの各位置に対して適切に対応した色情報を決定することができる。

（変形例５）
三次元顔計測システムは、照明をさらに有し、計測環境の明るさを制御してもよい。図６は、本変形例に係る三次元顔計測システムの構成を示す。図６に示すように、三次元顔計測システムは、撮影対象者５の顔を照らす照明６を有する。そして、三次元顔計測装置１は、照明６の光量を制御する照明制御部１６を有する。そして、照明制御部１６は、例えば、光パターンを投影する第１撮影画像Ｉｍｃの撮影時には、照明６をオフにすることで、顔の計測環境を暗くする。一方、照明制御部１６は、第２撮影画像Ｉｍｏの撮影時には、照明６をオンにすることで、顔の計測環境を明るくする。このように、照明制御部１６は、第１撮影画像Ｉｍｃの撮影時には、第２撮影画像Ｉｍｏの撮影時よりも、第１撮影画像における顔の輝度が小さくなるように照明６を制御する。これにより、照明制御部１６は、光パターンの投影の有無に基づく輝度差を大きくすると共に、三次元顔形状情報ＦＩｓが示す各位置における色情報を高精度に取得することができる。

（変形例６）
三次元形状計算部１４は、第１撮影画像Ｉｍｃの各画素のＲＧＢの各成分により定まる輝度に基づき、閾値Ｃｔｈによる判定処理などを行う代わりに、ＲＧＢの少なくとも１つの値に基づき、閾値Ｃｔｈによる判定処理などを行ってもよい。これによっても、三次元形状計算部１４は、好適に、三次元顔形状情報ＦＩｓを生成することができる。

また、光源２は、赤外線などの可視光以外の波長を有する光による光パターンを照射する光源であり、かつ、カメラ３は、赤外線カメラなどの対象の光を撮影可能なカメラであってもよい。この場合、三次元顔計測装置１は、上述のカメラから送信される撮影画像Ｉｍに基づき、上述した実施例と同様の処理を行う。具体的には、三次元顔計測装置１は、第１撮影画像Ｉｍｃに基づき、三次元顔形状情報ＦＩｓを生成すると共に、三次元顔形状情報ＦＩｓが示す各位置に第２撮影画像Ｉｍｏの各画素が示す濃淡情報を付与した三次元顔情報ＦＩｔａｇを生成する。この場合の濃淡情報は、本発明における「色情報」に含まれる。

（変形例７）
図１に示す三次元顔計測システムは、光源２及びカメラ３が１つずつ有していたが、これに代えて、複数の光源２及び複数のカメラ３を有してもよい。例えば、三次元顔計測システムは、顔の左側面に向けた光源２及びカメラ３と、顔の右側面に向けた光源２及びカメラ３とをそれぞれ備え、それぞれに対して実施例と同様に光パターンの照射及び第１撮影画像Ｉｍｃ及び第２撮影画像Ｉｍｏの撮影を行い、各三次元顔情報Ｄｔａｇを生成する。このようにすることで、三次元顔計測システムは、より広範囲にわたる顔の三次元顔情報Ｄｔａｇを生成することができる。

本発明は、顔の三次元計測を行う装置に好適に適用することができる。

１三次元顔計測装置
２光源
３カメラ
５撮影対象者
６照明

Claims

光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置であって、
前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、
前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段と、
を有することを特徴とする三次元顔計測装置。
前記顔の状態が、目を閉じた状態又は目を開いた状態のいずれであるかを判定する開閉判定手段と、
前記顔の状態が目を閉じた状態であると前記開閉判定手段が判定した場合に、前記光パターンを出射するように前記光源を制御する光源制御手段と、
をさらに有することを特徴とする請求項１に記載の三次元顔計測装置。
前記光源制御手段は、前記光源により前記光パターンを前記顔に照射しているときに、前記顔の状態が、目を閉じた状態から目を開いた状態に遷移したと判断した場合、前記光パターンの照射を停止することを特徴とする請求項２に記載の三次元顔計測装置。
前記光源制御手段は、前記光パターンの照射を停止した後、前記顔の状態が、目を開いた状態から目を閉じた状態に遷移した場合、前記顔に照射していない光パターンであって、前記三次元形状情報の生成に必要な光パターンを前記顔に照射することを特徴とする請求項３に記載の三次元顔計測装置。
前記光源制御手段は、前記光パターンを、前記三次元形状計測手段が前記顔の毛髪部分における三次元形状情報を生成可能な光量により前記光源に出射させることを特徴とする請求項２に記載の三次元顔計測装置。
前記顔に照射される照明光を制御する照明制御手段をさらに備えることを特徴とする請求項１に記載の三次元顔計測装置。
前記照明制御手段は、前記第１撮影画像の撮影時には、前記第２撮影画像の撮影時よりも、前記第１撮影画像における顔の輝度が小さくなるように前記照明光を制御することを特徴とする請求項６に記載の三次元顔計測装置。
前記顔が前記第１撮影画像及び前記第２撮影画像を生成するカメラに向いているか否か判定する向き判定手段をさらに備え、
前記顔が前記カメラに向いていると前記向き判定手段が判断した場合、前記三次元計測を実行することを特徴とする請求項１に記載の三次元顔計測装置。
前記第１撮影画像及び前記第２撮影画像の撮影時において、前記顔の動きの有無を検出する動き検出手段と、
前記第１撮影画像及び前記第２撮影画像の撮影時に前記顔が動いたと前記動き検出手段が判断した場合、前記三次元計測を停止する停止手段と、
をさらに備えることを特徴とする請求項１に記載の三次元顔計測装置。
前記第１撮影画像及び前記第２撮影画像の撮影時において、前記顔の移動量を検出する移動量検出手段をさらに備え、
前記色情報決定手段は、前記移動量に基づき、前記三次元形状情報が示す各位置の色情報を決定することを特徴とする請求項１に記載の三次元顔計測装置。
光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行する制御方法であって、
前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測工程と、
前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定工程と、
を有することを特徴とする制御方法。
光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行するプログラムであって、
前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、
前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段
として前記三次元顔計測装置を機能させることを特徴とするプログラム。
請求項１２に記載のプログラムを記憶したことを特徴とする記憶媒体。