JPWO2013175595A1 - Three-dimensional face measurement device, control method, program, and storage medium - Google Patents
Three-dimensional face measurement device, control method, program, and storage medium Download PDFInfo
- Publication number
- JPWO2013175595A1 JPWO2013175595A1 JP2014516575A JP2014516575A JPWO2013175595A1 JP WO2013175595 A1 JPWO2013175595 A1 JP WO2013175595A1 JP 2014516575 A JP2014516575 A JP 2014516575A JP 2014516575 A JP2014516575 A JP 2014516575A JP WO2013175595 A1 JPWO2013175595 A1 JP WO2013175595A1
- Authority
- JP
- Japan
- Prior art keywords
- face
- dimensional
- light pattern
- measurement
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
三次元顔計測装置は、光源から光パターンが投影される顔の三次元計測を行う三次元形状計測手段と、色情報決定手段とを備える。三次元形状計測手段は、顔の目が閉じた状態において、光パターンが投影された顔が撮影された第1撮影画像に基づき、顔の三次元形状情報を生成する。色情報決定手段は、顔の目が開いた状態において、光パターンが投影されていない顔が撮影された第2撮影画像に基づき、三次元形状情報が示す各位置における色情報を決定する。The three-dimensional face measurement apparatus includes a three-dimensional shape measurement unit that performs three-dimensional measurement of a face onto which a light pattern is projected from a light source, and a color information determination unit. The three-dimensional shape measuring means generates the three-dimensional shape information of the face based on the first photographed image obtained by photographing the face on which the light pattern is projected with the face eyes closed. The color information determination unit determines color information at each position indicated by the three-dimensional shape information based on the second captured image in which the face on which the light pattern is not projected is captured in a state where the eyes of the face are open.
Description
本発明は、三次元計測技術に関する。 The present invention relates to a three-dimensional measurement technique.
従来から、カメラで撮影した画像に基づき、被写体である物体の三次元計測を行う技術が知られている。例えば、特許文献1及び非特許文献1には、計測物体に複数の光パターンを投影させ、これらの光パターンが投影された計測物体を撮影した画像に基づき、計測物体の三次元位置を計測する技術が開示されている。また、特許文献2には、毛髪の測定と顔面測定とで異なる輝度の光パターンを投影することで、毛髪及び顔面の三次元形状を測定する技術が開示されている。また、非特許文献2には、画像から顔及び目を検出するための技術が開示されている。その他、本発明に関連する技術が特許文献3乃至6にそれぞれ開示されている。
2. Description of the Related Art Conventionally, a technique for performing three-dimensional measurement of an object that is a subject based on an image captured by a camera is known. For example, in
人間の頭部を光パターンの投影により三次元計測する場合、毛髪のような黒色部分は、光パターン投影の有無に基づく輝度差が小さくなり、毛髪のない顔のみの三次元データが得られる場合が多い。一方、毛髪の部分についても光パターン投影の有無に基づく輝度差が大きくなるように、高輝度の光パターンを投影した場合、計測対象者の目の安全上好ましくない。 When three-dimensional measurement is performed on the human head by projecting a light pattern, the brightness difference based on the presence or absence of the light pattern projection is reduced for black parts such as hair, and three-dimensional data for only the face without hair is obtained. There are many. On the other hand, when a high-luminance light pattern is projected so that the luminance difference based on the presence or absence of the light pattern projection also increases for the hair portion, it is not preferable in terms of safety of the measurement subject's eyes.
本発明は、上記のような課題を解決するためになされたものであり、光が計測対象者の目に入射するのを抑制しつつ、好適に顔の三次元計測を行うことが可能な三次元顔計測装置を提供することを主な目的とする。 The present invention has been made to solve the above-described problems, and is capable of suitably performing three-dimensional measurement of a face while suppressing light from entering the eyes of a measurement subject. The main purpose is to provide an original face measuring apparatus.
請求項1に記載の発明は、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置であって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第1撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第2撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段と、を有することを特徴とする。
The invention according to
請求項11に記載の発明は、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行する制御方法であって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第1撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測工程と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第2撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定工程と、を有することを特徴とする。 The invention according to claim 11 is a control method executed by a three-dimensional face measurement device that performs three-dimensional measurement of a face onto which a light pattern is projected from a light source, wherein the light is emitted when the eyes of the face are closed. A three-dimensional shape measurement step for generating three-dimensional shape information of the face based on a first photographed image obtained by photographing the face on which the pattern is projected, and the light pattern is projected in a state where the eyes of the face are open And a color information determination step of determining color information at each position indicated by the three-dimensional shape information based on a second captured image in which the face that has not been captured is captured.
請求項12に記載の発明は、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行するプログラムであって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第1撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第2撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段として前記三次元顔計測装置を機能させることを特徴とする。
The invention according to
本発明の1つの好適な実施形態では、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置であって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第1撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第2撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段と、を有する。 In one preferred embodiment of the present invention, there is provided a three-dimensional face measurement device for performing three-dimensional measurement of a face onto which a light pattern is projected from a light source, wherein the light pattern is projected in a state where the eyes of the face are closed. The light pattern is not projected in a state in which the face of the face is opened, and a three-dimensional shape measuring unit that generates three-dimensional shape information of the face based on the first photographed image obtained by photographing the face Color information determining means for determining color information at each position indicated by the three-dimensional shape information based on a second captured image obtained by capturing the face.
上記三次元顔計測装置は、光源から光パターンが投影される顔の三次元計測を行う三次元形状計測手段と、色情報決定手段とを備える。三次元形状計測手段は、顔の目が閉じた状態において、光パターンが投影された顔が撮影された第1撮影画像に基づき、顔の三次元形状情報を生成する。色情報決定手段は、顔の目が開いた状態において、光パターンが投影されていない顔が撮影された第2撮影画像に基づき、三次元形状情報が示す各位置における色情報を決定する。ここで、「色情報」とは、輝度、彩度、色相の少なくともいずれか一つを定める情報であり、RGBの少なくとも一色を定める情報であってもよく、濃淡を定める情報であってもよい。このように構成することで、三次元顔計測装置は、光パターンが目に照射されるのを抑制しつつ、目が開いた状態の顔の三次元データを好適に生成することができる。 The three-dimensional face measurement apparatus includes a three-dimensional shape measurement unit that performs three-dimensional measurement of a face onto which a light pattern is projected from a light source, and a color information determination unit. The three-dimensional shape measuring means generates the three-dimensional shape information of the face based on the first photographed image obtained by photographing the face on which the light pattern is projected with the face eyes closed. The color information determining means determines color information at each position indicated by the three-dimensional shape information based on a second captured image obtained by capturing a face on which a light pattern is not projected in a state where the eyes of the face are open. Here, the “color information” is information that determines at least one of luminance, saturation, and hue, may be information that determines at least one color of RGB, or may be information that determines shading. . With this configuration, the three-dimensional face measuring apparatus can suitably generate three-dimensional data of a face with eyes open while suppressing the light pattern from being irradiated to the eyes.
上記三次元顔計測装置の一態様では、前記顔の状態が、目を閉じた状態又は目を開いた状態のいずれであるかを判定する開閉判定手段と、前記顔の状態が目を閉じた状態であると前記開閉判定手段が判定した場合に、前記光パターンを出射するように前記光源を制御する光源制御手段と、をさらに有する。このようにすることで、三次元顔計測装置は、光パターンが目に照射されるのを抑制しつつ、目が開いた状態の顔の三次元データを好適に生成することができる。 In one aspect of the above three-dimensional face measuring apparatus, an open / close determination means for determining whether the face state is a closed eye state or an open eye state, and the face state is closed eyes And a light source control unit that controls the light source to emit the light pattern when the open / close determination unit determines that the state is in a state. By doing in this way, the three-dimensional face measuring apparatus can generate suitably the three-dimensional data of the face with the eyes open while suppressing the light pattern from being irradiated to the eyes.
上記三次元顔計測装置の他の一態様では、前記光源制御手段は、前記光源により前記光パターンを前記顔に照射しているときに、前記顔の状態が、目を閉じた状態から目を開いた状態に遷移したと判断した場合、前記光パターンの照射を停止する。この態様により、三次元顔計測装置は、光パターンが目に照射されるのを抑制することができる。 In another aspect of the above three-dimensional face measurement apparatus, the light source control means may be configured such that when the face is irradiated with the light pattern by the light source, the face state changes from an eye closed state to an eye closed state. When it is determined that the state has changed to the open state, the irradiation of the light pattern is stopped. According to this aspect, the three-dimensional face measurement apparatus can suppress the light pattern from being irradiated to the eyes.
上記三次元顔計測装置の他の一態様では、前記光源制御手段は、前記光パターンの照射を停止した後、前記顔の状態が、目を開いた状態から目を閉じた状態に遷移した場合、前記顔に照射していない光パターンであって、前記三次元形状情報の生成に必要な光パターンを前記顔に照射する。この態様により、三次元顔計測装置は、瞬きなど目を閉じる時間が短い場合であっても、断続的に第1撮影画像を取得し、好適に三次元形状情報を生成することができる。 In another aspect of the above three-dimensional face measurement apparatus, the light source control means stops the irradiation of the light pattern, and then the face state transitions from a state where the eyes are open to a state where the eyes are closed The face is irradiated with a light pattern that is not irradiated on the face and is necessary for generating the three-dimensional shape information. According to this aspect, the three-dimensional face measurement apparatus can intermittently acquire the first photographed image and suitably generate the three-dimensional shape information even when the eye closing time such as blinking is short.
上記三次元顔計測装置の他の一態様では、前記光源制御手段は、前記光パターンを、前記三次元形状計測手段が前記顔の毛髪部分における三次元形状情報を生成可能な光量により前記光源に出射させる。この態様により、三次元顔計測装置は、高輝度の光パターンが目に照射されるのを抑制しつつ、毛髪部分についても好適に三次元形状情報を生成することができる。 In another aspect of the three-dimensional face measurement apparatus, the light source control means applies the light pattern to the light source by a light amount that allows the three-dimensional shape measurement means to generate three-dimensional shape information on the hair portion of the face. Let it emit. According to this aspect, the three-dimensional face measurement apparatus can suitably generate three-dimensional shape information for the hair portion while suppressing the high-luminance light pattern from being irradiated to the eyes.
上記三次元顔計測装置の他の一態様では、前記顔に照射される照明光を制御する照明制御手段をさらに備える。この態様により、三次元顔計測装置は、三次元計測の環境を好適に制御することができる。 In another aspect of the above three-dimensional face measurement apparatus, the apparatus further includes illumination control means for controlling illumination light applied to the face. With this aspect, the three-dimensional face measurement apparatus can suitably control the three-dimensional measurement environment.
上記三次元顔計測装置の他の一態様では、前記照明制御手段は、前記第1撮影画像の撮影時には、前記第2撮影画像の撮影時よりも、前記第1撮影画像における顔の輝度が小さくなるように前記照明光を制御する。この態様により、三次元顔計測装置は、第1撮影画像における光パターン投影の有無に基づく輝度差を大きくすると共に、第2撮影画像に基づく色情報を高精度に取得することができる。 In another aspect of the above three-dimensional face measuring apparatus, the illumination control means is configured such that the brightness of the face in the first photographed image is smaller when the first photographed image is photographed than when the second photographed image is photographed. The illumination light is controlled so that According to this aspect, the three-dimensional face measurement apparatus can increase the luminance difference based on the presence or absence of the light pattern projection in the first captured image, and can acquire the color information based on the second captured image with high accuracy.
上記三次元顔計測装置の他の一態様では、前記顔が前記第1撮影画像及び前記第2撮影画像を生成するカメラに向いているか否か判定する向き判定手段をさらに備え、前記顔が前記カメラに向いていると前記向き判定手段が判断した場合、前記三次元計測を実行する。この態様により、三次元顔計測装置は、目を開いた状態の顔の正面の三次元計測を好適に行うことができる。 In another aspect of the three-dimensional face measuring apparatus, the face further comprises orientation determination means for determining whether or not the face is facing a camera that generates the first captured image and the second captured image. When the direction determining means determines that the camera is facing the camera, the three-dimensional measurement is executed. According to this aspect, the three-dimensional face measurement apparatus can suitably perform three-dimensional measurement of the front of the face with the eyes open.
上記三次元顔計測装置の他の一態様では、前記第1撮影画像及び前記第2撮影画像の撮影時において、前記顔の動きの有無を検出する動き検出手段と、前記第1撮影画像及び前記第2撮影画像の撮影時に前記顔が動いたと前記動き検出手段が判断した場合、前記三次元計測を停止する停止手段と、をさらに備える。この態様により、三次元顔計測装置は、第1撮影画像と第2撮影画像とを用いて顔の三次元データを好適に生成することができる。 In another aspect of the three-dimensional face measurement apparatus, a motion detection unit that detects presence or absence of the movement of the face at the time of photographing the first photographed image and the second photographed image, the first photographed image, And a stopping unit that stops the three-dimensional measurement when the motion detecting unit determines that the face has moved during the shooting of the second captured image. According to this aspect, the 3D face measuring apparatus can suitably generate 3D face data using the first captured image and the second captured image.
上記三次元顔計測装置の他の一態様では、前記第1撮影画像及び前記第2撮影画像の撮影時において、前記顔の移動量を検出する移動量検出手段をさらに備え、前記色情報決定手段は、前記移動量に基づき、前記三次元形状情報が示す各位置の色情報を決定する。この態様により、三次元顔計測装置は、第1撮影画像の撮影時から第2撮影画像の撮影時にかけて計測対象の顔の位置が変化した場合であっても、第1撮影画像と第2撮影画像との対応関係を好適に把握して顔の三次元データを生成することができる。 In another aspect of the three-dimensional face measurement apparatus, the color information determination unit further includes a movement amount detection unit that detects a movement amount of the face when the first and second captured images are captured. Determines color information of each position indicated by the three-dimensional shape information based on the movement amount. According to this aspect, the three-dimensional face measurement device allows the first captured image and the second captured image to be captured even when the position of the measurement target face changes from when the first captured image is captured to when the second captured image is captured. It is possible to appropriately grasp the correspondence relationship with the image and generate the three-dimensional data of the face.
本発明の他の好適な実施形態では、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行する制御方法であって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第1撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測工程と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第2撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定工程と、を有する。三次元顔計測装置は、この制御方法を実行することで、光パターンが目に照射されるのを抑制しつつ、目が開いた状態の顔の三次元データを好適に生成することができる。 In another preferred embodiment of the present invention, a control method executed by a three-dimensional face measurement device that performs three-dimensional measurement of a face on which a light pattern is projected from a light source, wherein the face eyes are closed, A three-dimensional shape measuring step for generating three-dimensional shape information of the face based on a first photographed image obtained by photographing the face on which the light pattern is projected; A color information determination step of determining color information at each position indicated by the three-dimensional shape information based on a second captured image obtained by capturing the face on which no image is projected. By executing this control method, the three-dimensional face measuring apparatus can suitably generate three-dimensional data of a face with eyes open while suppressing the light pattern from being irradiated to the eyes.
本発明のさらに別の実施形態では、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行するプログラムであって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第1撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第2撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段として前記三次元顔計測装置を機能させる。三次元顔計測装置は、このプログラムを実行することで、光パターンが目に照射されるのを抑制しつつ、目が開いた状態の顔の三次元データを好適に生成することができる。好適には、上記プログラムは、記憶媒体に記憶される。 In still another embodiment of the present invention, there is provided a program executed by a three-dimensional face measurement device that performs three-dimensional measurement of a face onto which a light pattern is projected from a light source, and the light is emitted when the eyes of the face are closed. Based on a first photographed image obtained by photographing the face on which the pattern is projected, three-dimensional shape measuring means for generating three-dimensional shape information of the face, and the light pattern is projected in a state where the eyes of the face are open The three-dimensional face measurement device is caused to function as color information determination means for determining color information at each position indicated by the three-dimensional shape information based on a second captured image in which the face that has not been captured is captured. By executing this program, the three-dimensional face measurement apparatus can suitably generate three-dimensional data of a face with eyes open while suppressing the light pattern from being irradiated to the eyes. Preferably, the program is stored in a storage medium.
以下、図面を参照して本発明の好適な実施例について説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.
[三次元顔計測システムの構成]
図1は、本実施例に係る三次元顔計測システムの概略構成図である。図1に示すように、顔計測システムは、撮影対象者5の顔の三次元情報を生成するシステムであり、三次元顔計測装置1と、光源2と、カメラ3とを有する。[Configuration of 3D face measurement system]
FIG. 1 is a schematic configuration diagram of a three-dimensional face measurement system according to the present embodiment. As shown in FIG. 1, the face measurement system is a system that generates three-dimensional information of the face of the subject 5 and includes a three-dimensional
光源2は、例えばプロジェクタであり、顔の位置に向けて三次元計測用の複数の光パターンをそれぞれ照射する。光パターンは、例えば縞状などであり、三次元計測のパターン投影方式で用いられる種々のパターンであってもよい。例えば空間コード化法により顔の三次元計測を行う場合、光源2は、例えば明暗幅を2倍ずつ変化させた縞状の光パターンを順番に投影する。光源2は、三次元顔計測装置1から送信される光源制御信号「Sp」に基づき光パターンの投影の有無が制御される。
The
カメラ3は、三次元顔計測装置1と電気的に接続し、撮影した画像(「撮影画像Im」とも呼ぶ。)を三次元顔計測装置1に送信する。カメラ3は、撮影画像Imに撮影対象者5の顔全体が表示される位置に設置される。
The
三次元顔計測装置1は、図示しないCPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)などを有し、カメラ3から取得した撮影画像Imに基づき、撮影対象者5の目を開いた状態の顔の三次元情報(「三次元顔情報FItag」とも呼ぶ。)を算出する。ここで、「三次元顔情報FItag」とは、撮影された顔の形状を示す三次元座標情報(「三次元顔形状情報FIs」とも呼ぶ。)と、当該三次元顔形状情報FIsが示す各位置における色情報とを含む情報を指す。そして、三次元顔計測装置1のCPUなどは、本発明における「三次元形状計測手段」、「色情報決定手段」、「光源制御手段」、「開閉判定手段」、「照明制御手段」、「向き判定手段」、「動き検出手段」、「停止手段」及び「移動量検出手段」として機能する。
The three-dimensional
[三次元顔計測装置の制御]
次に、三次元顔計測装置1が実行する処理について説明する。概略的には、三次元顔計測装置1は、撮影対象者5の目が閉じている状態で高輝度の光パターンを投影して顔の三次元顔形状情報FIsを生成すると共に、撮影対象者5の目が開いている状態の撮影画像Imに基づき三次元顔形状情報FIsの各位置における色情報を決定する。これにより、三次元顔計測装置1は、好適に、目を開いた状態の撮影対象者5の顔を表す三次元顔情報FItagを生成する。[Control of 3D face measurement device]
Next, processing executed by the three-dimensional
図2は、三次元顔計測装置1の機能ブロックを示す。図2に示すように、三次元顔計測装置1は、撮影画像解析部11と、光源制御部12と、三次元計測判定部13と、三次元形状計算部14と、色情報決定部15とを備える。
FIG. 2 shows functional blocks of the three-dimensional
(1)光源の制御
まず、撮影画像解析部11及び光源制御部12が実行する光源2の制御方法について具体的に説明する。(1) Control of Light Source First, a method for controlling the
撮影画像解析部11は、カメラ3から送信される撮影画像Imの画像処理を行い、撮影対象者5の目の開閉を判定する。撮影画像解析部11は、顔検出部111と、目検出部112と、目開閉判定部113とを備える。顔検出部111は、撮影画像Imにおいて顔が撮影されているか否かを判定し、撮影画像Imにおいて顔が撮影されている場合には、撮影画像Imにおける顔の表示領域を認識する。そして、目検出部112は、顔検出部111が検出した顔の表示領域内において眼の表示領域を検出する。そして、目開閉判定部113は、顔検出部111が顔の表示領域を検出した場合に、目検出部112の検出結果に基づき、撮影画像Imに目を閉じた顔が表示されているか、又は撮影画像Imに目を開いた顔が表示されているかを判定する。このとき、例えば、目開閉判定部113は、目検出部112が目を検出した場合には、撮影画像Imに目を開いた顔が表示されていると判断し、目検出部112が目を検出できなかった場合には、撮影画像Imに目を閉じた顔が表示されていると判断する。そして、目開閉判定部113は、上述の判定結果を示す信号(「判定信号Sj」とも呼ぶ。)を、光源制御部12及び三次元計測判定部13に送信する。
The photographed image analysis unit 11 performs image processing on the photographed image Im transmitted from the
光源制御部12は、目開閉判定部113から送信される判定信号Sjに基づき、光源2の光パターンの出射の有無を制御する。具体的には、光源制御部12は、判定信号Sjが撮影画像Imに目を閉じた顔が表示されている旨を示す場合に、光源2に光パターンを出射させる。このとき、光源制御部12は、光パターンの投影の有無に基づく輝度差が、三次元形状計算部14が顔の毛髪部分についても三次元顔形状情報FIsを生成可能な程度の輝度差になるような光量により、光パターンを光源2に出射させる。このようにすることで、後述するように、三次元顔計測装置1は、撮影対象者5の髪の毛などの黒い部分についても、光パターンが照射されたか否か正確に判定することができ、三次元顔形状情報FIsを高精度に算出することが可能となる。また、三次元顔計測装置1は、撮影対象者5が目を閉じた状態で光パターンを投影することで、高輝度の光パターンが目に入射するのを防ぐことができる。そして、光源制御部12は、光パターンを光源2に照射させた場合、光源2から光パターンを出射させる旨を通知する信号(「照射通知信号Sr」とも呼ぶ。)を三次元計測判定部13に送信する。
The light
(2)三次元顔情報の生成
次に、三次元計測判定部13、三次元形状計算部14、及び色情報決定部15が実行する三次元顔情報FItagの生成処理について具体的に説明する。(2) Generation of 3D Face Information Next, the 3D face information FItag generation process executed by the 3D
三次元計測判定部13は、光源制御部12から送信される照射通知信号Srに基づき、カメラ3から送信される撮影画像Imが、光パターンが投影された顔が表示された撮影画像Im(「第1撮影画像Imc」とも呼ぶ。)であるか否か判定する。さらに、三次元計測判定部13は、目開閉判定部113から送信される判定信号Sjに基づき、カメラ3から送信される撮影画像Imが、光パターンが投影されておらず、目を開いた状態の顔が表示された撮影画像Im(「第2撮影画像Imo」とも呼ぶ。)であるか否か判定する。そして、三次元計測判定部13は、撮影画像Imが第1撮影画像Imcであると判断した場合、当該第1撮影画像Imcを三次元形状計算部14に送信し、撮影画像Imが第2撮影画像Imoであると判断した場合、当該第2撮影画像Imoを色情報決定部15に送信する。
Based on the irradiation notification signal Sr transmitted from the light
三次元形状計算部14は、各光パターンが顔に投影表示された第1撮影画像Imcに基づき、撮影対象者5の顔の三次元位置を計測し、三次元顔形状情報FIsを生成する。例えば空間コード化法を用いた場合、明暗幅が2倍ずつ変化させた縞状の光パターンが順番に光源2から投影され、n個の光パターンを用意した場合、計測領域は光パターンの投影方向に基づき2のn乗個に分割される。この場合、三次元形状計算部14は、各光パターンの有無に対応して一意に与えられたnビットの空間コード値について、光パターンの投影方向と第1撮影画像Imc上での画素位置により決まる計測方向との関係から、三角測量の原理に基づき、全ての画素について距離情報を求める。そして、三次元形状計算部14は、算出した各画素の距離情報から三次元顔形状情報FIsを算出し、当該三次元顔形状情報FIsを色情報決定部15に送信する。
The three-dimensional
図3(a)乃至(c)は、それぞれ異なる光パターンが撮影対象者5の顔に照射された際に撮影された第1撮影画像Imcの例を示す。図3(a)乃至(c)に示すように、第1撮影画像Imcには、撮影対象者5の顔の領域である顔表示領域50が存在する。さらに、第1撮影画像Imcには、光パターンが照射されたパターン照射領域「Rp」が存在する。ここで、光源制御部12は、顔表示領域50において、光パターンの投影の有無に基づく輝度差が高くなるように、高輝度の光パターンを光源2に出射させる。これにより、三次元顔計測装置1は、撮影対象者5の髪の毛などの黒い部分についても、光パターンが照射されたか否か正確に判定することができ、三次元顔形状情報FIsを高精度に算出することが可能となる。
FIGS. 3A to 3C show examples of the first photographed image Imc photographed when different light patterns are irradiated on the face of the subject 5. As shown in FIGS. 3A to 3C, the first captured image Imc includes a
これについて補足説明する。一般の三次元座標位置の計算では、三次元形状計算部14は、各々の光パターンが照射された第1撮影画像Imcの各画素を対象に、光パターンが投影されているか否かを当該画素の輝度を参照して判定する。この場合、三次元形状計算部14は、光パターンの投影の有無を判定するための閾値(「閾値Cth」とも呼ぶ。)を設定し、各画素の光パターンの投影の有無を判定する。光パターンが投影された場合の所定の画素の輝度を「A」、光パターンが投影されていない場合の当該画素の輝度を「B」とすると、以下の式(1)を満たすような、縞状の光パターンに対応する領域を求める。
A−B>Cth (1)
ここで、一般に、閾値Cthが高い程、縞状の光パターンに対応する領域の誤判定が抑制される。一方、光パターンの投影の有無に基づく輝度差が小さい場合、閾値Cthを高くすると、縞状の光パターンに対応する領域を決定することができなくなる。従って、三次元形状計算部14は、光パターンの投影の有無に基づく輝度差が大きい程、閾値Cthを高く設定することができ、上述した誤判定を抑制して、縞状の光パターンに対応する領域を決定することが可能となる。This will be supplementarily described. In the calculation of a general three-dimensional coordinate position, the three-dimensional
A-B> Cth (1)
Here, generally, the higher the threshold value Cth, the more the erroneous determination of the region corresponding to the striped light pattern is suppressed. On the other hand, when the luminance difference based on the presence or absence of projection of the light pattern is small, if the threshold value Cth is increased, it becomes impossible to determine a region corresponding to the striped light pattern. Therefore, the three-dimensional
また、図3(a)乃至(c)に示す第1撮影画像Imcには、いずれも撮影対象者5が目を閉じた状態の顔が表示されている。このように、三次元顔計測装置1は、撮影対象者5が目を閉じた状態で光パターンを投影することで、高輝度の光パターンが目に入射するのを防ぐことができる。
Further, the first captured image Imc shown in FIGS. 3A to 3C displays a face in a state where the subject 5 has his eyes closed. As described above, the three-dimensional
次に、色情報決定部15が実行する処理について説明する。色情報決定部15は、第2撮影画像Imoに基づき、三次元顔形状情報FIsの各位置における色情報を決定する。具体的には、色情報決定部15は、まず、三次元顔形状情報FIsが示す各位置が第2撮影画像Imoのいずれの画素に該当するか判定する。そして、色情報決定部15は、三次元顔形状情報FIsの各位置に対応する第2撮影画像Imoの画素が示す画素値を、当該各位置における色情報として決定することで三次元顔情報FItagを生成する。
Next, processing executed by the color
図4は、第2撮影画像Imoの一例を示す。図4に示すように、第2撮影画像Imoは、目を開いた状態における撮影対象者5の顔が表示された顔表示領域50Aを有する。ここでは、色情報決定部15は、第1撮影画像Imcの撮影時刻と第2撮影画像Imoの撮影時刻との間とが短く、当該撮影時刻間で目の開閉動作以外には顔の変化がないものとみなす。好適には、撮影時において、撮影対象者5が意図的に顔の位置を動かさないように制限してもよい。
FIG. 4 shows an example of the second captured image Imo. As shown in FIG. 4, the second captured image Imo has a
なお、第1撮影画像Imcでは撮影対象者5は目を閉じていることから、三次元顔形状情報FIsは、撮影対象者5が実際に目を開いている状態の顔の形状と比較して、瞼の厚さ分だけ誤差を含む。しかしながら、瞼の厚さは、一般的に0.6mm前後である。従って、例えば、三次元顔情報FItagに基づき、任意の視点位置から撮影対象者5の顔の画像を生成した場合、目を閉じた状態で撮影された第1撮影画像Imcに基づき三次元計測したことを目視で判断することが難しい。このように、三次元顔計測装置1は、エンターテイメントへの応用や、顔写真に関する応用などで十分に利用することが可能な程度の精度を有する三次元顔情報FItagを好適に生成することができる。
In the first captured image Imc, since the subject 5 is closed, the three-dimensional face shape information FIs is compared with the face shape in the state where the subject 5 is actually open. The error is included by the thickness of the ridge. However, the thickness of the ridge is generally around 0.6 mm. Therefore, for example, when an image of the face of the subject 5 is generated from an arbitrary viewpoint position based on the three-dimensional face information FItag, three-dimensional measurement is performed based on the first photographed image Imc photographed with the eyes closed. It is difficult to judge this visually. As described above, the three-dimensional
(3)効果
次に、本発明における効果について以下に述べる比較例を用いて補足説明する。ここで、本実施例のように撮影対象者5が目を閉じた状態で高輝度の光パターンを照射させる代わりに、三次元顔計測システムにおける計測環境を暗くする比較例について検討する。(3) Effects Next, the effects of the present invention will be supplementarily described using a comparative example described below. Here, a comparative example in which the measurement environment in the three-dimensional face measurement system is darkened instead of irradiating a high-luminance light pattern with the subject 5 closed with eyes as in the present embodiment will be considered.
この場合、光パターンの輝度を抑制しつつ、光パターンの投影の有無に基づく輝度差を大きくすることが可能である。しかしながら、光パターンの輝度を低下させた場合、本実施例の場合と比較して、髪の毛などの黒い部分における三次元顔形状情報FIsの精度が低下するという問題が生じる。また、医療目的で使用した場合などの所定の利用目的の場合には、計測時に暗い環境にすることができない場合がある。また、安全上等の観点から、当該光パターンが高輝度でない場合であっても、撮影対象者5の目に直接光パターンを入射させない方が望ましい。 In this case, it is possible to increase the luminance difference based on the presence or absence of the projection of the light pattern while suppressing the luminance of the light pattern. However, when the luminance of the light pattern is lowered, there is a problem that the accuracy of the three-dimensional face shape information FIs in a black portion such as hair is lowered as compared with the case of the present embodiment. In addition, in the case of a predetermined use purpose such as when used for medical purposes, there may be a case where a dark environment cannot be obtained during measurement. Further, from the viewpoint of safety and the like, it is preferable that the light pattern is not directly incident on the subject 5 even when the light pattern is not bright.
以上を勘案し、本実施例では、三次元顔計測装置1は、撮影対象者5が目を閉じた状態で高輝度の光パターンを照射させ、この時に撮影した第1撮影画像Imcに基づき三次元顔形状情報FIsを生成する。これにより、三次元顔計測装置1は、髪の毛部分等を含め高精度に三次元顔形状情報FIsを生成することができると共に、撮影対象者5の目に直接光パターンを入射させるのを抑制することができる。また、三次元顔計測装置1は、撮影対象者5が目を閉じた状態を撮影した第2撮影画像Imoに基づき三次元顔形状情報FIsの各位置の色情報を決定することで、撮影対象者5が目を開いた状態の顔を示す三次元顔情報FItagを好適に生成することができる。
Considering the above, in the present embodiment, the three-dimensional
[処理フロー]
次に、三次元顔計測装置1が実行する処理手順について図5を参照して説明する。図5は、本実施例の処理手順を示すフローチャートの一例である。図5に示すフローチャートでは、一例として、三次元顔計測装置1は、まず、第2撮影画像Imoを取得した後、第1撮影画像Imcを取得して三次元顔情報FItagを生成するものとする。三次元顔計測装置1は、図5に示すフローチャートの処理を、例えば所定の指示信号を受信した場合に実行する。[Processing flow]
Next, a processing procedure executed by the three-dimensional
まず、三次元顔計測装置1の撮影画像解析部11は、カメラ3が生成した撮影画像Imから顔を検出したか否か判定する(ステップS101)。そして、撮影画像解析部11は、撮影画像Imから顔を検出した場合(ステップS101:Yes)、検出した顔の目が開いているか否か判定する(ステップS102)。そして、検出した顔の目が開いている場合(ステップS102:Yes)、色情報決定部15は、撮影画像Imを第2撮影画像Imoとしてメモリに保存する(ステップS103)。具体的には、この場合、撮影画像解析部11は、目が開いている旨の判定信号Sjを三次元計測判定部13に送信し、三次元計測判定部13は、当該判定信号Sjに基づき、カメラ3が生成した撮影画像Imを第2撮影画像Imoとして色情報決定部15に送信する。
First, the captured image analysis unit 11 of the three-dimensional
一方、撮影画像解析部11は、撮影画像Imから顔を検出できなかった場合(ステップS101:No)、又は、撮影画像Imから検出した顔の表示領域から開いた状態の目を検出できなかった場合(ステップS102:No)、再びステップS101へ処理を戻す。 On the other hand, the photographed image analyzing unit 11 cannot detect an open eye from the face display area detected from the photographed image Im when the face cannot be detected from the photographed image Im (step S101: No). In the case (step S102: No), the process is returned to step S101 again.
ステップS103の実行後、撮影画像解析部11は、撮影画像Imに表示された顔の目が開いた状態から閉じた状態に遷移したか否か判定する(ステップS104)。そして、撮影画像Imに表示された顔の目が開いた状態から閉じた状態に遷移した場合(ステップS104:Yes)、光源制御部12は、光源2に各光パターンを出射させる(ステップS105)。具体的には、この場合、撮影画像解析部11は、光源制御部12に目が閉じている旨の判定信号Sjを光源制御部12に送信し、光源制御部12は、判定信号Sjに基づき、光源2に光パターンを照射させる。このとき、光源制御部12は、光源2に高輝度の光パターンを照射させることで、第1撮影画像Imcにおける光パターンの投影の有無に基づく輝度差を大きくすることができる。また、光源制御部12は、撮影対象者5は目を閉じているため、撮影対象者5の目に直接光パターンが照射されるのを防ぐことができる。一方、撮影画像Imに表示された顔の目が開いた状態が継続している場合(ステップS104:No)、撮影画像解析部11は、引き続きステップS104で撮影画像Imに表示された顔の目の状態を監視する。
After execution of step S103, the captured image analysis unit 11 determines whether or not the face eyes displayed in the captured image Im have transitioned from an open state to a closed state (step S104). Then, when the face eyes displayed in the captured image Im transition from the open state to the closed state (step S104: Yes), the light
ステップS105の実行後、三次元形状計算部14は、各光パターンが投影された第1撮影画像Imcに基づき、三次元顔形状情報FIsを生成する(ステップS106)。具体的には、まず、三次元計測判定部13は、撮影画像解析部11から受信した目を閉じた旨の判定信号Sjに基づき、カメラ3から受信した撮影画像Imが第1撮影画像Imcであることを認識する。そして、三次元計測判定部13は、第1撮影画像Imcを三次元形状計算部14に送信する。三次元形状計算部14は、第1撮影画像Imcに基づき、三次元顔形状情報FIsを生成する。このとき、光パターンは高輝度により撮影対象者5に照射されているため、第1撮影画像Imcの顔表示領域50では、光パターンの投影の有無に基づく輝度差が大きい。従って、三次元計測判定部13は、閾値Cthを高く設定し、高精度に三次元顔形状情報FIsを生成することができる。なお、具体的な閾値Cthの値は、例えば予め実験等に基づき適切な値に設定される。
After execution of step S105, the three-dimensional
次に、色情報決定部15は、第2撮影画像Imoに基づき、三次元顔形状情報FIsに色情報を付加して三次元顔情報FItagを生成する(ステップS107)。具体的には、色情報決定部15は、三次元計測判定部13から三次元顔形状情報FIsを受信した場合、ステップS103で保存した第2撮影画像Imoに基づき、三次元顔形状情報FIsが示す各位置における色情報を決定する。このようにすることで、色情報決定部15は、目を開いた状態の撮影対象者5の顔を示す三次元顔情報FItagを好適に生成することができる。
Next, the color
[変形例]
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。[Modification]
Hereinafter, modified examples suitable for the above-described embodiments will be described. The following modifications may be applied in any combination to the above-described embodiments.
(変形例1)
図5に示すフローチャートでは、三次元顔計測装置1は、まず、ステップS102で目を開いている状態を検出した後、ステップS104で目を閉じた状態に遷移したか否かを検出した。しかし、本発明が適用可能な処理手順は、これに限定されない。これに代えて、三次元顔計測装置1は、撮影画像Imから、目を閉じた状態の撮影対象者5の顔と、目を開いた状態の撮影対象者5の顔とをそれぞれ独立して検出してもよい。従って、この場合、三次元顔計測装置1は、目を閉じた状態の顔を最初に検出して第1撮影画像Imcを取得した後、目を開いた状態の顔を検出して第2撮影画像Imoを取得してもよい。(Modification 1)
In the flowchart shown in FIG. 5, the three-dimensional
(変形例2)
三次元顔計測装置1は、図5のフローチャートのステップS104で目を閉じた状態を検知して、ステップS105で光パターンを照射している途中で再び目を開いた状態を検知した場合、フローチャートの処理を停止してもよい。即ち、この場合、三次元顔計測装置1は、パターン光の出射を停止し、かつ、ステップS106及びステップS107の処理を実行しない。そして、フローチャートの処理の停止後、撮影画像解析部11は、撮影画像Imにおける目の状態を監視し、目が閉じた状態に遷移したと判断した場合に、光源制御部12は、再び光パターンの照射を開始する。これにより、三次元顔計測装置1は、撮影対象者5の目に光パターンが照射されるのを抑制することができる。(Modification 2)
The three-dimensional
再び光パターンの照射を開始する場合、好適には、光源制御部12は、まだ照射していない光パターンのみ、即ち生成された第1撮影画像Imc中に投影表示されていない光パターンを照射する。そして、三次元形状計算部14は、光パターンの照射が中断した場合であっても、当該中断までに取得した第1撮影画像Imcをメモリに記憶しておき、中断後に取得した第1撮影画像Imcと合わせて三次元顔形状情報FIsを生成する。このようにすることで、三次元顔計測装置1は、撮影対象者5が意図的に目を閉じる動作を行わない場合であっても、瞬きなどの短い時間で第1撮影画像Imcを断続的に取得して三次元顔形状情報FIsを好適に生成することができる。
When the irradiation of the light pattern is started again, preferably, the light
(変形例3)
三次元顔計測装置1は、撮影対象者5の顔がカメラ3に向いているか否かをさらに判定し、顔がカメラ3に向いていると判断した場合にのみ、実施例で述べた三次元顔計測処理を行ってもよい。この場合、撮影画像解析部11は、撮影画像Imから顔を検出した場合に、既存の画像認識技術により、例えば目の位置などに基づいて、当該顔が正面を向いているか否かさらに判定する。(Modification 3)
The three-dimensional
また、これに加え、三次元顔計測装置1は、撮影対象者5の顔の計測途中において、撮影対象者5がカメラ3の正面を向いていない状態を検知した場合には、計測処理を停止してもよい。例えば、この場合、三次元顔計測装置1は、撮影対象者5の顔の向きを引き続き監視し、撮影対象者5がカメラ3の正面を向いたと判断した場合に、計測処理を再び開始する。この場合、変形例2と同様、三次元顔計測装置1は、停止前の計測処理において取得していない第1撮影画像Imc又は/及び第2撮影画像Imoのみを取得する処理を行うことで、三次元顔情報FItagを生成してもよい。
In addition to this, the 3D
(変形例4)
三次元顔計測装置1は、撮影対象者5の顔の計測時において、顔の位置が遷移したか否かさらに判定し、顔の位置が遷移したと判断した場合には、計測処理を停止してもよい。この場合、例えば、撮影画像解析部11は、撮影画像Im中の時系列における顔の表示領域の遷移を検知し、計測開始から顔表示領域が所定画素分以上遷移した場合に、計測処理を停止する。他の例では、撮影対象者5の頭部に位置を検知するためのセンサが取り付けられ、三次元顔計測装置1は、当該センサの移動量を検知することで、顔の位置が所定の移動量以上移動した場合に、計測処理を停止する。そして、この場合、三次元顔計測装置1は、例えば、撮影対象者5の顔が所定時間以上静止したと判断したときに、再び計測処理を開始する。(Modification 4)
The three-dimensional
他の例では、三次元顔計測装置1は、第1撮影画像Imcの撮影時と第2撮影画像Imoの撮影時との間における顔の移動量を計測し、当該移動量に基づき、三次元顔形状情報FIsが示す各位置と、第2撮影画像Imoの各画素の画素値とを対応付ける位置を変化させる。このようにすることで、第1撮影画像Imcの撮影時と第2撮影画像Imoの撮影時とで、顔の位置が変化した場合であっても、三次元顔計測装置1は、三次元顔形状情報FIsの各位置に対して適切に対応した色情報を決定することができる。
In another example, the 3D
(変形例5)
三次元顔計測システムは、照明をさらに有し、計測環境の明るさを制御してもよい。図6は、本変形例に係る三次元顔計測システムの構成を示す。図6に示すように、三次元顔計測システムは、撮影対象者5の顔を照らす照明6を有する。そして、三次元顔計測装置1は、照明6の光量を制御する照明制御部16を有する。そして、照明制御部16は、例えば、光パターンを投影する第1撮影画像Imcの撮影時には、照明6をオフにすることで、顔の計測環境を暗くする。一方、照明制御部16は、第2撮影画像Imoの撮影時には、照明6をオンにすることで、顔の計測環境を明るくする。このように、照明制御部16は、第1撮影画像Imcの撮影時には、第2撮影画像Imoの撮影時よりも、第1撮影画像における顔の輝度が小さくなるように照明6を制御する。これにより、照明制御部16は、光パターンの投影の有無に基づく輝度差を大きくすると共に、三次元顔形状情報FIsが示す各位置における色情報を高精度に取得することができる。(Modification 5)
The three-dimensional face measurement system may further include illumination and control the brightness of the measurement environment. FIG. 6 shows a configuration of a three-dimensional face measurement system according to this modification. As shown in FIG. 6, the three-dimensional face measurement system has illumination 6 that illuminates the face of the subject 5. The three-dimensional
(変形例6)
三次元形状計算部14は、第1撮影画像Imcの各画素のRGBの各成分により定まる輝度に基づき、閾値Cthによる判定処理などを行う代わりに、RGBの少なくとも1つの値に基づき、閾値Cthによる判定処理などを行ってもよい。これによっても、三次元形状計算部14は、好適に、三次元顔形状情報FIsを生成することができる。(Modification 6)
The three-dimensional
また、光源2は、赤外線などの可視光以外の波長を有する光による光パターンを照射する光源であり、かつ、カメラ3は、赤外線カメラなどの対象の光を撮影可能なカメラであってもよい。この場合、三次元顔計測装置1は、上述のカメラから送信される撮影画像Imに基づき、上述した実施例と同様の処理を行う。具体的には、三次元顔計測装置1は、第1撮影画像Imcに基づき、三次元顔形状情報FIsを生成すると共に、三次元顔形状情報FIsが示す各位置に第2撮影画像Imoの各画素が示す濃淡情報を付与した三次元顔情報FItagを生成する。この場合の濃淡情報は、本発明における「色情報」に含まれる。
The
(変形例7)
図1に示す三次元顔計測システムは、光源2及びカメラ3が1つずつ有していたが、これに代えて、複数の光源2及び複数のカメラ3を有してもよい。例えば、三次元顔計測システムは、顔の左側面に向けた光源2及びカメラ3と、顔の右側面に向けた光源2及びカメラ3とをそれぞれ備え、それぞれに対して実施例と同様に光パターンの照射及び第1撮影画像Imc及び第2撮影画像Imoの撮影を行い、各三次元顔情報Dtagを生成する。このようにすることで、三次元顔計測システムは、より広範囲にわたる顔の三次元顔情報Dtagを生成することができる。(Modification 7)
The three-dimensional face measurement system shown in FIG. 1 has one
本発明は、顔の三次元計測を行う装置に好適に適用することができる。 The present invention can be suitably applied to an apparatus that performs three-dimensional measurement of a face.
1 三次元顔計測装置
2 光源
3 カメラ
5 撮影対象者
6 照明DESCRIPTION OF
請求項1に記載の発明は、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置であって、前記光パターンが投影された前記顔が撮影された第1撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記光パターンが投影されていない前記顔が撮影された第2撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段と、を有することを特徴とする。
According to one aspect of the present invention, a three-dimensional face measuring apparatus which performs three-dimensional measurement of the face where the light pattern is projected from the light source, the first shooting the face before Symbol light pattern is projected is captured based on the image, and three-dimensional shape measurement means for generating a three-dimensional shape information of the face, based on the second captured image in which the face before Symbol light pattern is not projected is captured, indicated by the three-dimensional shape information And color information determining means for determining color information at each position.
請求項11に記載の発明は、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行する制御方法であって、前記光パターンが投影された前記顔が撮影された第1撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測工程と、前記光パターンが投影されていない前記顔が撮影された第2撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定工程と、を有することを特徴とする。
The invention of claim 11 is a control method for three-dimensional face measuring apparatus light pattern from the light source to perform three-dimensional measurement of the face that is projected to be executed, the face is photographed to pre Symbol light pattern is projected is first based on the captured image was a three-dimensional shape measuring step of generating a three-dimensional shape information of the face, based on the second captured image in which the face before Symbol light pattern is not projected is captured, the tertiary A color information determining step for determining color information at each position indicated by the original shape information.
請求項12に記載の発明は、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行するプログラムであって、前記光パターンが投影された前記顔が撮影された第1撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記光パターンが投影されていない前記顔が撮影された第2撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段として前記三次元顔計測装置を機能させることを特徴とする。
The invention according to
Claims (13)
前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第1撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、
前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第2撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段と、
を有することを特徴とする三次元顔計測装置。A three-dimensional face measurement device that performs three-dimensional measurement of a face on which a light pattern is projected from a light source,
Three-dimensional shape measuring means for generating three-dimensional shape information of the face based on a first photographed image obtained by photographing the face on which the light pattern is projected in a state where the eyes of the face are closed;
Color information determining means for determining color information at each position indicated by the three-dimensional shape information based on a second captured image obtained by capturing the face on which the light pattern is not projected in a state where the eyes of the face are open When,
A three-dimensional face measuring apparatus characterized by comprising:
前記顔の状態が目を閉じた状態であると前記開閉判定手段が判定した場合に、前記光パターンを出射するように前記光源を制御する光源制御手段と、
をさらに有することを特徴とする請求項1に記載の三次元顔計測装置。Open / close determining means for determining whether the face is in a closed state or in an open state;
A light source control means for controlling the light source so as to emit the light pattern when the open / close determination means determines that the face is in a closed state;
The three-dimensional face measurement apparatus according to claim 1, further comprising:
前記顔が前記カメラに向いていると前記向き判定手段が判断した場合、前記三次元計測を実行することを特徴とする請求項1に記載の三次元顔計測装置。Direction determination means for determining whether or not the face is facing the camera that generates the first captured image and the second captured image;
The three-dimensional face measurement apparatus according to claim 1, wherein the three-dimensional measurement is performed when the orientation determination unit determines that the face is facing the camera.
前記第1撮影画像及び前記第2撮影画像の撮影時に前記顔が動いたと前記動き検出手段が判断した場合、前記三次元計測を停止する停止手段と、
をさらに備えることを特徴とする請求項1に記載の三次元顔計測装置。Movement detecting means for detecting the presence or absence of movement of the face at the time of photographing the first photographed image and the second photographed image;
Stop means for stopping the three-dimensional measurement when the motion detection means determines that the face has moved during the shooting of the first captured image and the second captured image;
The three-dimensional face measurement apparatus according to claim 1, further comprising:
前記色情報決定手段は、前記移動量に基づき、前記三次元形状情報が示す各位置の色情報を決定することを特徴とする請求項1に記載の三次元顔計測装置。A moving amount detecting means for detecting the moving amount of the face at the time of shooting the first shot image and the second shot image;
The three-dimensional face measurement apparatus according to claim 1, wherein the color information determination unit determines color information of each position indicated by the three-dimensional shape information based on the movement amount.
前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第1撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測工程と、
前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第2撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定工程と、
を有することを特徴とする制御方法。A control method executed by a three-dimensional face measurement device that performs three-dimensional measurement of a face onto which a light pattern is projected from a light source,
A three-dimensional shape measurement step for generating three-dimensional shape information of the face based on a first photographed image obtained by photographing the face on which the light pattern is projected in a state where the eyes of the face are closed;
A color information determination step for determining color information at each position indicated by the three-dimensional shape information based on a second photographed image obtained by photographing the face on which the light pattern is not projected in a state where the eyes of the face are open. When,
A control method characterized by comprising:
前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第1撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、
前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第2撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段
として前記三次元顔計測装置を機能させることを特徴とするプログラム。A program executed by a three-dimensional face measurement device that performs three-dimensional measurement of a face onto which a light pattern is projected from a light source,
Three-dimensional shape measuring means for generating three-dimensional shape information of the face based on a first photographed image obtained by photographing the face on which the light pattern is projected in a state where the eyes of the face are closed;
Color information determining means for determining color information at each position indicated by the three-dimensional shape information based on a second captured image obtained by capturing the face on which the light pattern is not projected in a state where the eyes of the face are open A program for causing the three-dimensional face measurement device to function as:
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2012/063208 WO2013175595A1 (en) | 2012-05-23 | 2012-05-23 | 3d-face-measurement device, control method, program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013175595A1 true JPWO2013175595A1 (en) | 2016-01-12 |
JP5905572B2 JP5905572B2 (en) | 2016-04-20 |
Family
ID=49623326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014516575A Active JP5905572B2 (en) | 2012-05-23 | 2012-05-23 | Three-dimensional face measurement device, control method, program, and storage medium |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5905572B2 (en) |
WO (1) | WO2013175595A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6717330B2 (en) * | 2018-03-15 | 2020-07-01 | オムロン株式会社 | Eye-gaze detecting device, control method of the eye-gaze detecting device, method of detecting corneal reflection image position, and computer program |
US10935376B2 (en) * | 2018-03-30 | 2021-03-02 | Koninklijke Philips N.V. | System and method for 3D scanning |
JP7119621B2 (en) * | 2018-06-18 | 2022-08-17 | オムロン株式会社 | Image processing system and image processing method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04169887A (en) * | 1990-11-01 | 1992-06-17 | Matsushita Electric Ind Co Ltd | Laser visual sensor device |
JPH11326057A (en) * | 1998-05-20 | 1999-11-26 | Kao Corp | Measuring method and device for three-dimensional object |
JP2001082940A (en) * | 1999-09-14 | 2001-03-30 | Sanyo Electric Co Ltd | Apparatus and method for generating three-dimensional model |
JP2002277224A (en) * | 2001-03-16 | 2002-09-25 | Minolta Co Ltd | Photography system for three-dimensional input |
JP2005106491A (en) * | 2003-09-29 | 2005-04-21 | Nec Engineering Ltd | System for measuring three-dimensional shape of head part |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6850872B1 (en) * | 2000-08-30 | 2005-02-01 | Microsoft Corporation | Facial image processing methods and systems |
JP5133626B2 (en) * | 2007-07-13 | 2013-01-30 | 花王株式会社 | Surface reflection characteristic measuring device |
-
2012
- 2012-05-23 JP JP2014516575A patent/JP5905572B2/en active Active
- 2012-05-23 WO PCT/JP2012/063208 patent/WO2013175595A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04169887A (en) * | 1990-11-01 | 1992-06-17 | Matsushita Electric Ind Co Ltd | Laser visual sensor device |
JPH11326057A (en) * | 1998-05-20 | 1999-11-26 | Kao Corp | Measuring method and device for three-dimensional object |
JP2001082940A (en) * | 1999-09-14 | 2001-03-30 | Sanyo Electric Co Ltd | Apparatus and method for generating three-dimensional model |
JP2002277224A (en) * | 2001-03-16 | 2002-09-25 | Minolta Co Ltd | Photography system for three-dimensional input |
JP2005106491A (en) * | 2003-09-29 | 2005-04-21 | Nec Engineering Ltd | System for measuring three-dimensional shape of head part |
Also Published As
Publication number | Publication date |
---|---|
JP5905572B2 (en) | 2016-04-20 |
WO2013175595A1 (en) | 2013-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7354133B2 (en) | Camera exposure adjustment for 3D depth sensing and 2D imaging | |
US10722113B2 (en) | Gaze detection apparatus and gaze detection method | |
CN102278955B (en) | Robot device and method of controlling robot device | |
JP6168879B2 (en) | Endoscope apparatus, operation method and program for endoscope apparatus | |
US11023039B2 (en) | Visual line detection apparatus and visual line detection method | |
EP3011894B1 (en) | Eye gaze detection apparatus and eye gaze detection method | |
JP6273640B2 (en) | Captured image display device | |
JP5905572B2 (en) | Three-dimensional face measurement device, control method, program, and storage medium | |
KR20090109018A (en) | Method of tracing an eyeball in an eyeball tumor treatment | |
JP5266952B2 (en) | Optical measuring apparatus and measuring method | |
JP2014157316A (en) | Projector device | |
JP2016028669A (en) | Pupil detection device and pupil detection method | |
JP6856017B2 (en) | Corneal reflex position detection device, line-of-sight detection device and corneal reflex position detection method | |
KR20210029258A (en) | Optical measuring method and optical measuring device | |
US20150177605A1 (en) | Safety feature for projection subsystem using laser technology | |
JP2008123316A (en) | Data input method and data input device | |
JP5018652B2 (en) | Object presence determination device | |
CN110782495B (en) | Apparatus and method for generating and monitoring a secure area in a workspace | |
JP2014182115A (en) | Three-dimensional measuring apparatus, control method, program, and storage medium | |
JP2017191082A (en) | Bright-spot image acquisition apparatus and bright-spot image acquisition method | |
JP2018537884A (en) | How to take a picture with a mobile device | |
JP2009210470A (en) | Shape measurement method and device | |
JP2012217762A (en) | Dental observation apparatus | |
JP5795431B2 (en) | Three-dimensional measuring apparatus, three-dimensional measuring system, control method, program, and storage medium | |
JP2017191083A (en) | Bright-spot image acquisition apparatus and bright-spot image acquisition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151208 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160223 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5905572 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |