WO2013175595A1 - 三次元顔計測装置、制御方法、プログラム、及び記憶媒体 - Google Patents

三次元顔計測装置、制御方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
WO2013175595A1
WO2013175595A1 PCT/JP2012/063208 JP2012063208W WO2013175595A1 WO 2013175595 A1 WO2013175595 A1 WO 2013175595A1 JP 2012063208 W JP2012063208 W JP 2012063208W WO 2013175595 A1 WO2013175595 A1 WO 2013175595A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
dimensional
measurement
light pattern
light source
Prior art date
Application number
PCT/JP2012/063208
Other languages
English (en)
French (fr)
Inventor
良司 野口
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2012/063208 priority Critical patent/WO2013175595A1/ja
Priority to JP2014516575A priority patent/JP5905572B2/ja
Publication of WO2013175595A1 publication Critical patent/WO2013175595A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Definitions

  • the present invention relates to a three-dimensional measurement technique.
  • Patent Document 1 discloses a technique for performing three-dimensional measurement of an object as a subject based on an image taken by a camera.
  • Patent Document 1 and Non-Patent Document 1 a plurality of light patterns are projected on a measurement object, and the three-dimensional position of the measurement object is measured based on an image obtained by photographing the measurement object on which these light patterns are projected.
  • Patent Document 2 discloses a technique for measuring a three-dimensional shape of hair and face by projecting light patterns having different luminances for hair measurement and face measurement.
  • Non-Patent Document 2 discloses a technique for detecting a face and eyes from an image.
  • technologies related to the present invention are disclosed in Patent Documents 3 to 6, respectively.
  • the brightness difference based on the presence or absence of the light pattern projection is reduced for black parts such as hair, and three-dimensional data for only the face without hair is obtained. There are many.
  • a high-luminance light pattern is projected so that the luminance difference based on the presence or absence of the light pattern projection also increases for the hair portion, it is not preferable in terms of safety of the measurement subject's eyes.
  • the present invention has been made to solve the above-described problems, and is capable of suitably performing three-dimensional measurement of a face while suppressing light from entering the eyes of a measurement subject.
  • the main purpose is to provide an original face measuring apparatus.
  • the invention according to claim 1 is a three-dimensional face measurement device that performs three-dimensional measurement of a face on which a light pattern is projected from a light source, and the light pattern is projected in a state where the eyes of the face are closed.
  • a three-dimensional shape measuring unit that generates three-dimensional shape information of the face based on a first photographed image of the face, and the face on which the light pattern is not projected in a state where the eyes of the face are open
  • color information determination means for determining color information at each position indicated by the three-dimensional shape information on the basis of a second photographed image obtained by photographing.
  • the invention according to claim 11 is a control method executed by a three-dimensional face measurement device that performs three-dimensional measurement of a face onto which a light pattern is projected from a light source, wherein the light is emitted when the eyes of the face are closed.
  • a color information determination step of determining color information at each position indicated by the three-dimensional shape information based on a second captured image in which the face that has not been captured is captured.
  • the invention according to claim 12 is a program executed by a three-dimensional face measurement device that performs three-dimensional measurement of a face onto which a light pattern is projected from a light source, and the light pattern is closed when the eyes of the face are closed.
  • the three-dimensional shape measuring means Based on the first photographed image obtained by photographing the face on which the face is projected, the three-dimensional shape measuring means for generating the three-dimensional shape information of the face, and the light pattern is projected in a state where the eyes of the face are opened.
  • the three-dimensional face measurement device is caused to function as color information determining means for determining color information at each position indicated by the three-dimensional shape information based on a second photographed image obtained by photographing the face that has not been photographed.
  • the functional block of a three-dimensional face measuring device is shown.
  • the example of a 1st picked-up image is shown.
  • the example of a 2nd picked-up image is shown.
  • a three-dimensional face measurement device for performing three-dimensional measurement of a face onto which a light pattern is projected from a light source, wherein the light pattern is projected in a state where the eyes of the face are closed.
  • the light pattern is not projected in a state in which the face of the face is opened, and a three-dimensional shape measuring unit that generates three-dimensional shape information of the face based on the first photographed image obtained by photographing the face
  • Color information determining means for determining color information at each position indicated by the three-dimensional shape information based on a second captured image obtained by capturing the face.
  • the three-dimensional face measurement apparatus includes a three-dimensional shape measurement unit that performs three-dimensional measurement of a face onto which a light pattern is projected from a light source, and a color information determination unit.
  • the three-dimensional shape measuring means generates the three-dimensional shape information of the face based on the first photographed image obtained by photographing the face on which the light pattern is projected with the face eyes closed.
  • the color information determining means determines color information at each position indicated by the three-dimensional shape information based on a second captured image obtained by capturing a face on which a light pattern is not projected in a state where the eyes of the face are open.
  • the “color information” is information that determines at least one of luminance, saturation, and hue, may be information that determines at least one color of RGB, or may be information that determines shading.
  • the three-dimensional face measuring apparatus can suitably generate three-dimensional data of a face with eyes open while suppressing the light pattern from being irradiated to the eyes.
  • an open / close determination means for determining whether the face state is a closed eye state or an open eye state, and the face state is closed eyes
  • a light source control unit that controls the light source to emit the light pattern when the open / close determination unit determines that the state is in a state.
  • the light source control means may be configured such that when the face is irradiated with the light pattern by the light source, the face state changes from an eye closed state to an eye closed state. When it is determined that the state has changed to the open state, the irradiation of the light pattern is stopped. According to this aspect, the three-dimensional face measurement apparatus can suppress the light pattern from being irradiated to the eyes.
  • the light source control means stops the irradiation of the light pattern, and then the face state transitions from a state where the eyes are open to a state where the eyes are closed
  • the face is irradiated with a light pattern that is not irradiated on the face and is necessary for generating the three-dimensional shape information.
  • the three-dimensional face measurement apparatus can intermittently acquire the first photographed image and suitably generate the three-dimensional shape information even when the eye closing time such as blinking is short.
  • the light source control means applies the light pattern to the light source by a light amount that allows the three-dimensional shape measurement means to generate three-dimensional shape information on the hair portion of the face. Let it emit.
  • the three-dimensional face measurement apparatus can suitably generate three-dimensional shape information for the hair portion while suppressing the high-luminance light pattern from being irradiated to the eyes.
  • the apparatus further includes illumination control means for controlling illumination light applied to the face.
  • illumination control means for controlling illumination light applied to the face.
  • the illumination control means is configured such that the brightness of the face in the first photographed image is smaller when the first photographed image is photographed than when the second photographed image is photographed.
  • the illumination light is controlled so that According to this aspect, the three-dimensional face measurement apparatus can increase the luminance difference based on the presence or absence of the light pattern projection in the first captured image, and can acquire the color information based on the second captured image with high accuracy.
  • the face further comprises orientation determination means for determining whether or not the face is facing a camera that generates the first captured image and the second captured image.
  • the direction determining means determines that the camera is facing the camera
  • the three-dimensional measurement is executed.
  • the three-dimensional face measurement apparatus can suitably perform three-dimensional measurement of the front of the face with the eyes open.
  • a motion detection unit that detects presence or absence of the movement of the face at the time of photographing the first photographed image and the second photographed image, the first photographed image
  • a stopping unit that stops the three-dimensional measurement when the motion detecting unit determines that the face has moved during the shooting of the second captured image.
  • the 3D face measuring apparatus can suitably generate 3D face data using the first captured image and the second captured image.
  • the color information determination unit further includes a movement amount detection unit that detects a movement amount of the face when the first and second captured images are captured. Determines color information of each position indicated by the three-dimensional shape information based on the movement amount.
  • the three-dimensional face measurement device allows the first captured image and the second captured image to be captured even when the position of the measurement target face changes from when the first captured image is captured to when the second captured image is captured. It is possible to appropriately grasp the correspondence relationship with the image and generate the three-dimensional data of the face.
  • a control method executed by a three-dimensional face measurement device that performs three-dimensional measurement of a face on which a light pattern is projected from a light source, wherein the face eyes are closed, A three-dimensional shape measuring step for generating three-dimensional shape information of the face based on a first photographed image obtained by photographing the face on which the light pattern is projected; A color information determination step of determining color information at each position indicated by the three-dimensional shape information based on a second captured image obtained by capturing the face on which no image is projected.
  • the three-dimensional face measuring apparatus can suitably generate three-dimensional data of a face with eyes open while suppressing the light pattern from being irradiated to the eyes.
  • a program executed by a three-dimensional face measurement device that performs three-dimensional measurement of a face onto which a light pattern is projected from a light source, and the light is emitted when the eyes of the face are closed.
  • three-dimensional shape measuring means for generating three-dimensional shape information of the face, and the light pattern is projected in a state where the eyes of the face are open
  • the three-dimensional face measurement device is caused to function as color information determination means for determining color information at each position indicated by the three-dimensional shape information based on a second captured image in which the face that has not been captured is captured.
  • the three-dimensional face measurement apparatus can suitably generate three-dimensional data of a face with eyes open while suppressing the light pattern from being irradiated to the eyes.
  • the program is stored in a storage medium.
  • FIG. 1 is a schematic configuration diagram of a three-dimensional face measurement system according to the present embodiment.
  • the face measurement system is a system that generates three-dimensional information of the face of the subject 5 and includes a three-dimensional face measurement device 1, a light source 2, and a camera 3.
  • the light source 2 is a projector, for example, and irradiates a plurality of light patterns for three-dimensional measurement toward the face position.
  • the light pattern is, for example, striped, and may be various patterns used in a pattern projection method for three-dimensional measurement. For example, when performing three-dimensional measurement of a face by the spatial coding method, the light source 2 projects a striped light pattern in which the light and dark width is changed by two times in order, for example.
  • the light source 2 controls the presence or absence of projection of the light pattern based on the light source control signal “Sp” transmitted from the three-dimensional face measurement apparatus 1.
  • the camera 3 is electrically connected to the three-dimensional face measurement apparatus 1 and transmits a photographed image (also referred to as “captured image Im”) to the three-dimensional face measurement apparatus 1.
  • the camera 3 is installed at a position where the entire face of the subject 5 is displayed in the captured image Im.
  • the three-dimensional face measurement apparatus 1 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like (not shown). Based on the captured image Im acquired from the camera 3, the subject person 5 3D information of the face with the eyes open (also referred to as “3D face information FItag”) is calculated.
  • 3D face information FItag refers to three-dimensional coordinate information (also referred to as “three-dimensional face shape information FIs”) indicating the shape of a captured face, and each of the three-dimensional face shape information FIs. Information including color information at a position.
  • the CPU of the three-dimensional face measuring apparatus 1 uses the “three-dimensional shape measuring means”, “color information determining means”, “light source control means”, “open / close determination means”, “illumination control means”, “ It functions as “direction determination means”, “motion detection means”, “stop means”, and “movement amount detection means”.
  • the three-dimensional face measuring apparatus 1 generates a three-dimensional face shape information FIs of a face by projecting a high-luminance light pattern in a state where the eye of the subject 5 is closed, and at the same time a subject to be photographed.
  • the color information at each position of the three-dimensional face shape information FIs is determined based on the captured image Im with the fifth eye open.
  • the three-dimensional face measurement apparatus 1 preferably generates three-dimensional face information FItag representing the face of the subject 5 whose eyes are open.
  • FIG. 2 shows functional blocks of the three-dimensional face measuring apparatus 1.
  • the three-dimensional face measurement apparatus 1 includes a captured image analysis unit 11, a light source control unit 12, a three-dimensional measurement determination unit 13, a three-dimensional shape calculation unit 14, and a color information determination unit 15. Is provided.
  • the photographed image analysis unit 11 performs image processing of the photographed image Im transmitted from the camera 3 and determines whether the eye of the subject 5 is opened or closed.
  • the captured image analysis unit 11 includes a face detection unit 111, an eye detection unit 112, and an eye open / close determination unit 113.
  • the face detection unit 111 determines whether or not a face is captured in the captured image Im. If a face is captured in the captured image Im, the face detection unit 111 recognizes a face display area in the captured image Im.
  • the eye detection unit 112 detects an eye display area within the face display area detected by the face detection unit 111.
  • the eye open / close determination unit 113 displays a face with closed eyes on the captured image Im based on the detection result of the eye detection unit 112, or It is determined whether a face with open eyes is displayed in the photographed image Im.
  • the eye detection unit 112 detects an eye
  • the eye open / close determination unit 113 determines that a face with open eyes is displayed in the captured image Im, and the eye detection unit 112 detects the eye. If not detected, it is determined that a face with closed eyes is displayed in the captured image Im.
  • the eye open / close determination unit 113 transmits a signal indicating the above determination result (also referred to as “determination signal Sj”) to the light source control unit 12 and the three-dimensional measurement determination unit 13.
  • the light source control unit 12 controls whether or not the light pattern of the light source 2 is emitted based on the determination signal Sj transmitted from the eye opening / closing determination unit 113. Specifically, the light source control unit 12 causes the light source 2 to emit a light pattern when the determination signal Sj indicates that a face with closed eyes is displayed in the captured image Im. At this time, in the light source control unit 12, the luminance difference based on the presence or absence of the projection of the light pattern becomes a luminance difference that allows the three-dimensional shape calculation unit 14 to generate the three-dimensional face shape information FIs for the hair portion of the face. The light pattern is emitted to the light source 2 with such light quantity.
  • the three-dimensional face measuring apparatus 1 can accurately determine whether or not a light pattern has been irradiated even on a black portion such as the hair of the subject 5.
  • the original face shape information FIs can be calculated with high accuracy.
  • the three-dimensional face measuring apparatus 1 can prevent the light pattern with high brightness from entering the eye by projecting the light pattern with the subject 5 closing his eyes.
  • the light source control unit 12 then sends a signal (also referred to as “irradiation notification signal Sr”) for notifying that the light pattern is emitted from the light source 2 when the light pattern is irradiated to the light source 2. Send to.
  • the three-dimensional measurement determination unit 13 Based on the irradiation notification signal Sr transmitted from the light source control unit 12, the three-dimensional measurement determination unit 13 converts the captured image Im transmitted from the camera 3 into a captured image Im (“ It is also determined whether it is also referred to as “first captured image Imc”. Furthermore, the three-dimensional measurement determination unit 13 is based on the determination signal Sj transmitted from the eye opening / closing determination unit 113, and the captured image Im transmitted from the camera 3 is in a state in which the light pattern is not projected and the eyes are opened. It is determined whether or not the face is a captured image Im displayed (also referred to as “second captured image Imo”).
  • the three-dimensional measurement determining unit 13 determines that the captured image Im is the first captured image Imc
  • the three-dimensional measurement determining unit 13 transmits the first captured image Imc to the three-dimensional shape calculating unit 14, and the captured image Im is the second captured image. If it is determined that the image is Imo, the second captured image Imo is transmitted to the color information determination unit 15.
  • the three-dimensional shape calculation unit 14 measures the three-dimensional position of the face of the subject 5 based on the first photographed image Imc in which each light pattern is projected and displayed on the face, and generates three-dimensional face shape information FIs. For example, when the spatial coding method is used, a striped light pattern whose brightness width is changed by a factor of 2 is projected from the light source 2 in order, and when n light patterns are prepared, the measurement region is projected by the light pattern. It is divided into 2 n powers based on the direction. In this case, the three-dimensional shape calculation unit 14 uses the light pattern projection direction and the pixel position on the first captured image Imc for the n-bit spatial code value uniquely given corresponding to the presence or absence of each light pattern.
  • the three-dimensional shape calculation unit 14 calculates the three-dimensional face shape information FIs from the calculated distance information of each pixel, and transmits the three-dimensional face shape information FIs to the color information determination unit 15.
  • the first captured image Imc includes a face display area 50 that is an area of the face of the subject 5. Further, the first captured image Imc includes a pattern irradiation region “Rp” irradiated with the light pattern.
  • the light source control unit 12 causes the light source 2 to emit a high-luminance light pattern so that the luminance difference based on the presence or absence of the projection of the light pattern is increased in the face display region 50.
  • the 3D face measuring apparatus 1 can accurately determine whether or not a light pattern has been applied to a black portion such as the hair of the subject 5 and the 3D face shape information FIs can be accurately determined. It is possible to calculate.
  • the three-dimensional shape calculation unit 14 determines whether or not the light pattern is projected on each pixel of the first captured image Imc irradiated with each light pattern. Judgment is made with reference to the brightness of In this case, the three-dimensional shape calculation unit 14 sets a threshold value (also referred to as “threshold value Cth”) for determining whether or not the light pattern is projected, and determines whether or not the light pattern is projected for each pixel.
  • a threshold value also referred to as “threshold value Cth”
  • the stripes satisfy the following expression (1). A region corresponding to the light pattern is obtained.
  • the three-dimensional shape calculation unit 14 can set the threshold value Cth higher as the luminance difference based on the presence or absence of the projection of the light pattern is larger, and can cope with the striped light pattern by suppressing the erroneous determination described above. It is possible to determine the area to be performed.
  • the three-dimensional face measurement apparatus 1 can prevent the high-intensity light pattern from entering the eye by projecting the light pattern with the subject 5 closing his eyes.
  • the color information determination unit 15 determines color information at each position of the three-dimensional face shape information FIs based on the second captured image Imo. Specifically, the color information determination unit 15 first determines which pixel of the second captured image Imo corresponds to each position indicated by the three-dimensional face shape information FIs. Then, the color information determination unit 15 determines the pixel value indicated by the pixel of the second captured image Imo corresponding to each position of the three-dimensional face shape information FIs as color information at each position, thereby determining the three-dimensional face information FItag. Is generated.
  • FIG. 4 shows an example of the second photographed image Imo.
  • the second captured image Imo has a face display area 50 ⁇ / b> A in which the face of the person to be imaged 5 with the eyes open is displayed.
  • the color information determination unit 15 has a short interval between the shooting time of the first shot image Imc and the shooting time of the second shot image Imo, and the face changes between the shooting times other than the eye opening / closing operation.
  • the subject 5 may be restricted so as not to intentionally move the face position.
  • the three-dimensional face shape information FIs is compared with the face shape in the state where the subject 5 is actually open.
  • the error is included by the thickness of the ridge.
  • the thickness of the ridge is generally around 0.6 mm. Therefore, for example, when an image of the face of the subject 5 is generated from an arbitrary viewpoint position based on the three-dimensional face information FItag, three-dimensional measurement is performed based on the first photographed image Imc photographed with the eyes closed. It is difficult to judge this visually.
  • the three-dimensional face measurement apparatus 1 can suitably generate the three-dimensional face information FItag having such an accuracy that it can be sufficiently used for entertainment applications and facial photography applications. .
  • the three-dimensional face measuring apparatus 1 irradiates a high-luminance light pattern with the subject 5 closed, and based on the first photographed image Imc photographed at this time, Original face shape information FIs is generated. Thereby, the three-dimensional face measuring apparatus 1 can generate the three-dimensional face shape information FIs with high accuracy including the hair portion and the like, and suppress the direct incidence of the light pattern on the eye of the subject 5. be able to.
  • the three-dimensional face measurement apparatus 1 determines the color information of each position of the three-dimensional face shape information FIs based on the second photographed image Imo obtained by photographing the subject 5 with his eyes closed. It is possible to suitably generate the three-dimensional face information FItag indicating the face of the person 5 whose eyes are open.
  • FIG. 5 is an example of a flowchart showing a processing procedure of the present embodiment.
  • the 3D face measurement apparatus 1 first acquires the second captured image Imo, and then acquires the first captured image Imc to generate the 3D face information FItag. .
  • the three-dimensional face measurement apparatus 1 executes the processing of the flowchart shown in FIG. 5 when, for example, a predetermined instruction signal is received.
  • the captured image analysis unit 11 of the three-dimensional face measuring apparatus 1 determines whether or not a face has been detected from the captured image Im generated by the camera 3 (step S101).
  • the captured image analysis unit 11 detects a face from the captured image Im (step S101: Yes)
  • the captured image analysis unit 11 determines whether the eyes of the detected face are open (step S102). If the detected face eyes are open (step S102: Yes), the color information determination unit 15 stores the captured image Im in the memory as the second captured image Imo (step S103). Specifically, in this case, the captured image analysis unit 11 transmits a determination signal Sj indicating that the eyes are open to the three-dimensional measurement determination unit 13, and the three-dimensional measurement determination unit 13 is based on the determination signal Sj.
  • the captured image Im generated by the camera 3 is transmitted to the color information determination unit 15 as the second captured image Imo.
  • step S101: No the photographed image analyzing unit 11 cannot detect an open eye from the face display area detected from the photographed image Im when the face cannot be detected from the photographed image Im.
  • step S102: No the process is returned to step S101 again.
  • the captured image analysis unit 11 determines whether or not the face of the face displayed in the captured image Im has transitioned from an open state to a closed state (step S104). Then, when the face eyes displayed in the captured image Im transition from the open state to the closed state (step S104: Yes), the light source control unit 12 causes the light source 2 to emit each light pattern (step S105). . Specifically, in this case, the captured image analysis unit 11 transmits a determination signal Sj that the eyes are closed to the light source control unit 12 to the light source control unit 12, and the light source control unit 12 is based on the determination signal Sj. The light pattern 2 is irradiated with the light pattern.
  • the light source control unit 12 can increase the luminance difference based on the presence or absence of the projection of the light pattern in the first captured image Imc by irradiating the light source 2 with the light pattern with high luminance.
  • the light source control unit 12 can prevent the light pattern from being directly irradiated to the subject 5 because the subject 5 is closed.
  • the captured image analysis unit 11 continues to display the face of the eye displayed in the captured image Im in step S104. Monitor the status of
  • the three-dimensional shape calculation unit 14 After execution of step S105, the three-dimensional shape calculation unit 14 generates the three-dimensional face shape information FIs based on the first captured image Imc on which each light pattern is projected (step S106). Specifically, first, the three-dimensional measurement determination unit 13 determines that the captured image Im received from the camera 3 is the first captured image Imc based on the determination signal Sj received from the captured image analysis unit 11 that the eyes are closed. Recognize that there is. Then, the three-dimensional measurement determination unit 13 transmits the first captured image Imc to the three-dimensional shape calculation unit 14. The three-dimensional shape calculation unit 14 generates three-dimensional face shape information FIs based on the first captured image Imc.
  • the three-dimensional measurement determination unit 13 can set the threshold Cth high and generate the three-dimensional face shape information FIs with high accuracy. Note that a specific value of the threshold value Cth is set to an appropriate value based on, for example, experiments in advance.
  • the color information determination unit 15 adds the color information to the three-dimensional face shape information FIs based on the second photographed image Imo to generate the three-dimensional face information FItag (step S107). Specifically, when the color information determination unit 15 receives the 3D face shape information FIs from the 3D measurement determination unit 13, the color information determination unit 15 determines that the 3D face shape information FIs is based on the second captured image Imo saved in step S103. The color information at each position shown is determined. By doing in this way, the color information determination part 15 can generate
  • the three-dimensional face measuring apparatus 1 first detects whether or not the eyes are open in step S102, and then detects whether or not the eyes are shifted to the closed state in step S104.
  • the processing procedure to which the present invention is applicable is not limited to this. Instead, the 3D face measurement apparatus 1 independently determines the face of the subject 5 with the eyes closed and the face of the subject 5 with the eyes open from the captured image Im. It may be detected. Therefore, in this case, the three-dimensional face measurement apparatus 1 first detects a face with the eyes closed and acquires the first photographed image Imc, and then detects the face with the eyes open and performs the second photographing. The image Imo may be acquired.
  • the three-dimensional face measurement apparatus 1 detects a state in which the eyes are closed in step S104 of the flowchart of FIG. 5, and detects a state in which the eyes are opened again during the irradiation of the light pattern in step S105.
  • This processing may be stopped. That is, in this case, the three-dimensional face measurement apparatus 1 stops the emission of the pattern light and does not execute the processes of step S106 and step S107.
  • the captured image analysis unit 11 monitors the state of the eyes in the captured image Im, and when the light source control unit 12 determines that the eye is closed, the light source control unit 12 again determines the light pattern. Start irradiation. Thereby, the three-dimensional face measurement apparatus 1 can suppress the light pattern being irradiated to the subject 5.
  • the light source control unit 12 irradiates only the light pattern that has not been irradiated yet, that is, the light pattern that is not projected and displayed in the generated first captured image Imc. .
  • the three-dimensional shape calculation part 14 memorize
  • the 3D face measurement apparatus 1 intermittently captures the first captured image Imc in a short time such as blinking even when the subject 5 does not intentionally close the eyes.
  • 3D face shape information FIs can be suitably generated.
  • the three-dimensional face measuring apparatus 1 further determines whether or not the face of the subject 5 is facing the camera 3, and only when the three-dimensional face measuring apparatus 1 determines that the face is facing the camera 3. Face measurement processing may be performed. In this case, when the photographed image analysis unit 11 detects a face from the photographed image Im, the photographed image analysis unit 11 further determines whether or not the face is facing the front based on, for example, the position of the eyes using an existing image recognition technique. .
  • the 3D face measuring apparatus 1 stops the measurement process when detecting that the subject 5 is not facing the front of the camera 3 during the measurement of the face of the subject 5. May be.
  • the three-dimensional face measurement apparatus 1 continues to monitor the orientation of the face of the person to be photographed 5 and starts the measurement process again when it is determined that the person to be photographed 5 is facing the front of the camera 3. .
  • the 3D face measurement apparatus 1 performs a process of acquiring only the first captured image Imc or / and the second captured image Imo that has not been acquired in the measurement process before the stop, Three-dimensional face information FItag may be generated.
  • the three-dimensional face measurement apparatus 1 further determines whether or not the face position has changed during measurement of the face of the subject 5 and stops the measurement process when determining that the face position has changed. May be.
  • the captured image analysis unit 11 detects the transition of the face display area in the time series in the captured image Im, and stops the measurement process when the face display area transitions by a predetermined number of pixels or more from the start of measurement. To do.
  • a sensor for detecting the position is attached to the head of the person to be photographed 5, and the 3D face measurement apparatus 1 detects the amount of movement of the sensor so that the position of the face moves predetermined. The measurement process is stopped when moving more than the amount. In this case, for example, when the 3D face measurement apparatus 1 determines that the face of the subject 5 is stationary for a predetermined time or longer, the measurement process is started again.
  • the 3D face measuring apparatus 1 measures the amount of movement of the face between the time of shooting the first shot image Imc and the time of shooting the second shot image Imo, and based on the amount of movement, the 3D The position where each position indicated by the face shape information FIs is associated with the pixel value of each pixel of the second captured image Imo is changed. By doing in this way, even when the face position changes between when the first photographed image Imc is photographed and when the second photographed image Imo is photographed, the three-dimensional face measuring apparatus 1 Color information appropriately corresponding to each position of the shape information FIs can be determined.
  • the three-dimensional face measurement system may further include illumination and control the brightness of the measurement environment.
  • FIG. 6 shows a configuration of a three-dimensional face measurement system according to this modification. As shown in FIG. 6, the three-dimensional face measurement system has illumination 6 that illuminates the face of the subject 5.
  • the three-dimensional face measurement apparatus 1 includes an illumination control unit 16 that controls the light amount of the illumination 6.
  • the illumination control unit 16 darkens the measurement environment of the face by turning off the illumination 6 at the time of photographing the first photographed image Imc that projects a light pattern, for example.
  • the illumination control unit 16 brightens the measurement environment of the face by turning on the illumination 6 when the second captured image Imo is captured.
  • the illumination control unit 16 controls the illumination 6 so that the brightness of the face in the first captured image is smaller when the first captured image Imc is captured than when the second captured image Imo is captured.
  • the illumination control unit 16 can increase the luminance difference based on the presence or absence of the projection of the light pattern and obtain the color information at each position indicated by the three-dimensional face shape information FIs with high accuracy.
  • the three-dimensional shape calculation unit 14 uses the threshold Cth based on at least one value of RGB instead of performing determination processing based on the threshold Cth based on the luminance determined by the RGB components of each pixel of the first captured image Imc. A determination process or the like may be performed. Also by this, the three-dimensional shape calculation unit 14 can preferably generate the three-dimensional face shape information FIs.
  • the light source 2 may be a light source that irradiates a light pattern with light having a wavelength other than visible light, such as infrared rays
  • the camera 3 may be a camera capable of photographing target light, such as an infrared camera.
  • the three-dimensional face measurement apparatus 1 performs the same processing as in the above-described embodiment based on the captured image Im transmitted from the above-described camera. Specifically, the three-dimensional face measurement apparatus 1 generates three-dimensional face shape information FIs based on the first photographed image Imc, and each of the second photographed images Imo at each position indicated by the three-dimensional face shape information FIs. Three-dimensional face information FItag to which the light / dark information indicated by the pixel is added is generated. The density information in this case is included in the “color information” in the present invention.
  • the three-dimensional face measurement system shown in FIG. 1 has one light source 2 and one camera 3, but may have a plurality of light sources 2 and a plurality of cameras 3 instead.
  • the three-dimensional face measurement system includes a light source 2 and a camera 3 directed toward the left side of the face, and a light source 2 and a camera 3 directed toward the right side of the face, respectively, and light is emitted in the same manner as in the embodiment. Irradiation of the pattern and photographing of the first photographed image Imc and the second photographed image Imo are performed, and each three-dimensional face information Dtag is generated. By doing in this way, the three-dimensional face measurement system can generate the three-dimensional face information Dtag of the face covering a wider range.
  • the present invention can be suitably applied to an apparatus that performs three-dimensional measurement of a face.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　三次元顔計測装置は、光源から光パターンが投影される顔の三次元計測を行う三次元形状計測手段と、色情報決定手段とを備える。三次元形状計測手段は、顔の目が閉じた状態において、光パターンが投影された顔が撮影された第１撮影画像に基づき、顔の三次元形状情報を生成する。色情報決定手段は、顔の目が開いた状態において、光パターンが投影されていない顔が撮影された第２撮影画像に基づき、三次元形状情報が示す各位置における色情報を決定する。

Description

三次元顔計測装置、制御方法、プログラム、及び記憶媒体
　本発明は、三次元計測技術に関する。
　従来から、カメラで撮影した画像に基づき、被写体である物体の三次元計測を行う技術が知られている。例えば、特許文献１及び非特許文献１には、計測物体に複数の光パターンを投影させ、これらの光パターンが投影された計測物体を撮影した画像に基づき、計測物体の三次元位置を計測する技術が開示されている。また、特許文献２には、毛髪の測定と顔面測定とで異なる輝度の光パターンを投影することで、毛髪及び顔面の三次元形状を測定する技術が開示されている。また、非特許文献２には、画像から顔及び目を検出するための技術が開示されている。その他、本発明に関連する技術が特許文献３乃至６にそれぞれ開示されている。
特開２００８－１７０２８２号公報 特開２００５－１０６４９１号公報 特開２００８－２３２７７６号公報 特開２００４－２５４１４５号公報 特開２００５－１０９５４０号公報 特開２００６－２５８４５７号公報
吉澤徹編著「最新　光三次元計測」朝倉書店、２００６年１１月２０日、ｐ．４５－５２ ＯｐｅｎＣＶ２　プログラミングブック制作チーム著「ＯｐｅｎＣＶ２プログラミングブック」マイナビ、２０１１年１２月２７日
　人間の頭部を光パターンの投影により三次元計測する場合、毛髪のような黒色部分は、光パターン投影の有無に基づく輝度差が小さくなり、毛髪のない顔のみの三次元データが得られる場合が多い。一方、毛髪の部分についても光パターン投影の有無に基づく輝度差が大きくなるように、高輝度の光パターンを投影した場合、計測対象者の目の安全上好ましくない。
　本発明は、上記のような課題を解決するためになされたものであり、光が計測対象者の目に入射するのを抑制しつつ、好適に顔の三次元計測を行うことが可能な三次元顔計測装置を提供することを主な目的とする。
　請求項１に記載の発明は、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置であって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段と、を有することを特徴とする。
　請求項１１に記載の発明は、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行する制御方法であって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測工程と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定工程と、を有することを特徴とする。
　請求項１２に記載の発明は、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行するプログラムであって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段として前記三次元顔計測装置を機能させることを特徴とする。
本実施例に係る三次元顔計測システムの概略構成図である。 三次元顔計測装置の機能ブロックを示す。 第１撮影画像の例を示す。 第２撮影画像の例を示す。 本実施例の処理手順を示すフローチャートである。 変形例に係る三次元顔計測システムの概略構成図である。
　本発明の１つの好適な実施形態では、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置であって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段と、を有する。
　上記三次元顔計測装置は、光源から光パターンが投影される顔の三次元計測を行う三次元形状計測手段と、色情報決定手段とを備える。三次元形状計測手段は、顔の目が閉じた状態において、光パターンが投影された顔が撮影された第１撮影画像に基づき、顔の三次元形状情報を生成する。色情報決定手段は、顔の目が開いた状態において、光パターンが投影されていない顔が撮影された第２撮影画像に基づき、三次元形状情報が示す各位置における色情報を決定する。ここで、「色情報」とは、輝度、彩度、色相の少なくともいずれか一つを定める情報であり、ＲＧＢの少なくとも一色を定める情報であってもよく、濃淡を定める情報であってもよい。このように構成することで、三次元顔計測装置は、光パターンが目に照射されるのを抑制しつつ、目が開いた状態の顔の三次元データを好適に生成することができる。
　上記三次元顔計測装置の一態様では、前記顔の状態が、目を閉じた状態又は目を開いた状態のいずれであるかを判定する開閉判定手段と、前記顔の状態が目を閉じた状態であると前記開閉判定手段が判定した場合に、前記光パターンを出射するように前記光源を制御する光源制御手段と、をさらに有する。このようにすることで、三次元顔計測装置は、光パターンが目に照射されるのを抑制しつつ、目が開いた状態の顔の三次元データを好適に生成することができる。
　上記三次元顔計測装置の他の一態様では、前記光源制御手段は、前記光源により前記光パターンを前記顔に照射しているときに、前記顔の状態が、目を閉じた状態から目を開いた状態に遷移したと判断した場合、前記光パターンの照射を停止する。この態様により、三次元顔計測装置は、光パターンが目に照射されるのを抑制することができる。
　上記三次元顔計測装置の他の一態様では、前記光源制御手段は、前記光パターンの照射を停止した後、前記顔の状態が、目を開いた状態から目を閉じた状態に遷移した場合、前記顔に照射していない光パターンであって、前記三次元形状情報の生成に必要な光パターンを前記顔に照射する。この態様により、三次元顔計測装置は、瞬きなど目を閉じる時間が短い場合であっても、断続的に第１撮影画像を取得し、好適に三次元形状情報を生成することができる。
　上記三次元顔計測装置の他の一態様では、前記光源制御手段は、前記光パターンを、前記三次元形状計測手段が前記顔の毛髪部分における三次元形状情報を生成可能な光量により前記光源に出射させる。この態様により、三次元顔計測装置は、高輝度の光パターンが目に照射されるのを抑制しつつ、毛髪部分についても好適に三次元形状情報を生成することができる。
　上記三次元顔計測装置の他の一態様では、前記顔に照射される照明光を制御する照明制御手段をさらに備える。この態様により、三次元顔計測装置は、三次元計測の環境を好適に制御することができる。
　上記三次元顔計測装置の他の一態様では、前記照明制御手段は、前記第１撮影画像の撮影時には、前記第２撮影画像の撮影時よりも、前記第１撮影画像における顔の輝度が小さくなるように前記照明光を制御する。この態様により、三次元顔計測装置は、第１撮影画像における光パターン投影の有無に基づく輝度差を大きくすると共に、第２撮影画像に基づく色情報を高精度に取得することができる。
　上記三次元顔計測装置の他の一態様では、前記顔が前記第１撮影画像及び前記第２撮影画像を生成するカメラに向いているか否か判定する向き判定手段をさらに備え、前記顔が前記カメラに向いていると前記向き判定手段が判断した場合、前記三次元計測を実行する。この態様により、三次元顔計測装置は、目を開いた状態の顔の正面の三次元計測を好適に行うことができる。
　上記三次元顔計測装置の他の一態様では、前記第１撮影画像及び前記第２撮影画像の撮影時において、前記顔の動きの有無を検出する動き検出手段と、前記第１撮影画像及び前記第２撮影画像の撮影時に前記顔が動いたと前記動き検出手段が判断した場合、前記三次元計測を停止する停止手段と、をさらに備える。この態様により、三次元顔計測装置は、第１撮影画像と第２撮影画像とを用いて顔の三次元データを好適に生成することができる。
　上記三次元顔計測装置の他の一態様では、前記第１撮影画像及び前記第２撮影画像の撮影時において、前記顔の移動量を検出する移動量検出手段をさらに備え、前記色情報決定手段は、前記移動量に基づき、前記三次元形状情報が示す各位置の色情報を決定する。この態様により、三次元顔計測装置は、第１撮影画像の撮影時から第２撮影画像の撮影時にかけて計測対象の顔の位置が変化した場合であっても、第１撮影画像と第２撮影画像との対応関係を好適に把握して顔の三次元データを生成することができる。
　本発明の他の好適な実施形態では、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行する制御方法であって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測工程と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定工程と、を有する。三次元顔計測装置は、この制御方法を実行することで、光パターンが目に照射されるのを抑制しつつ、目が開いた状態の顔の三次元データを好適に生成することができる。
　本発明のさらに別の実施形態では、光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行するプログラムであって、前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段として前記三次元顔計測装置を機能させる。三次元顔計測装置は、このプログラムを実行することで、光パターンが目に照射されるのを抑制しつつ、目が開いた状態の顔の三次元データを好適に生成することができる。好適には、上記プログラムは、記憶媒体に記憶される。
　以下、図面を参照して本発明の好適な実施例について説明する。
　［三次元顔計測システムの構成］
　図１は、本実施例に係る三次元顔計測システムの概略構成図である。図１に示すように、顔計測システムは、撮影対象者５の顔の三次元情報を生成するシステムであり、三次元顔計測装置１と、光源２と、カメラ３とを有する。
　光源２は、例えばプロジェクタであり、顔の位置に向けて三次元計測用の複数の光パターンをそれぞれ照射する。光パターンは、例えば縞状などであり、三次元計測のパターン投影方式で用いられる種々のパターンであってもよい。例えば空間コード化法により顔の三次元計測を行う場合、光源２は、例えば明暗幅を２倍ずつ変化させた縞状の光パターンを順番に投影する。光源２は、三次元顔計測装置１から送信される光源制御信号「Ｓｐ」に基づき光パターンの投影の有無が制御される。
　カメラ３は、三次元顔計測装置１と電気的に接続し、撮影した画像（「撮影画像Ｉｍ」とも呼ぶ。）を三次元顔計測装置１に送信する。カメラ３は、撮影画像Ｉｍに撮影対象者５の顔全体が表示される位置に設置される。
　三次元顔計測装置１は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを有し、カメラ３から取得した撮影画像Ｉｍに基づき、撮影対象者５の目を開いた状態の顔の三次元情報（「三次元顔情報ＦＩｔａｇ」とも呼ぶ。）を算出する。ここで、「三次元顔情報ＦＩｔａｇ」とは、撮影された顔の形状を示す三次元座標情報（「三次元顔形状情報ＦＩｓ」とも呼ぶ。）と、当該三次元顔形状情報ＦＩｓが示す各位置における色情報とを含む情報を指す。そして、三次元顔計測装置１のＣＰＵなどは、本発明における「三次元形状計測手段」、「色情報決定手段」、「光源制御手段」、「開閉判定手段」、「照明制御手段」、「向き判定手段」、「動き検出手段」、「停止手段」及び「移動量検出手段」として機能する。
　［三次元顔計測装置の制御］
　次に、三次元顔計測装置１が実行する処理について説明する。概略的には、三次元顔計測装置１は、撮影対象者５の目が閉じている状態で高輝度の光パターンを投影して顔の三次元顔形状情報ＦＩｓを生成すると共に、撮影対象者５の目が開いている状態の撮影画像Ｉｍに基づき三次元顔形状情報ＦＩｓの各位置における色情報を決定する。これにより、三次元顔計測装置１は、好適に、目を開いた状態の撮影対象者５の顔を表す三次元顔情報ＦＩｔａｇを生成する。
　図２は、三次元顔計測装置１の機能ブロックを示す。図２に示すように、三次元顔計測装置１は、撮影画像解析部１１と、光源制御部１２と、三次元計測判定部１３と、三次元形状計算部１４と、色情報決定部１５とを備える。
　（１）光源の制御
　まず、撮影画像解析部１１及び光源制御部１２が実行する光源２の制御方法について具体的に説明する。
　撮影画像解析部１１は、カメラ３から送信される撮影画像Ｉｍの画像処理を行い、撮影対象者５の目の開閉を判定する。撮影画像解析部１１は、顔検出部１１１と、目検出部１１２と、目開閉判定部１１３とを備える。顔検出部１１１は、撮影画像Ｉｍにおいて顔が撮影されているか否かを判定し、撮影画像Ｉｍにおいて顔が撮影されている場合には、撮影画像Ｉｍにおける顔の表示領域を認識する。そして、目検出部１１２は、顔検出部１１１が検出した顔の表示領域内において眼の表示領域を検出する。そして、目開閉判定部１１３は、顔検出部１１１が顔の表示領域を検出した場合に、目検出部１１２の検出結果に基づき、撮影画像Ｉｍに目を閉じた顔が表示されているか、又は撮影画像Ｉｍに目を開いた顔が表示されているかを判定する。このとき、例えば、目開閉判定部１１３は、目検出部１１２が目を検出した場合には、撮影画像Ｉｍに目を開いた顔が表示されていると判断し、目検出部１１２が目を検出できなかった場合には、撮影画像Ｉｍに目を閉じた顔が表示されていると判断する。そして、目開閉判定部１１３は、上述の判定結果を示す信号（「判定信号Ｓｊ」とも呼ぶ。）を、光源制御部１２及び三次元計測判定部１３に送信する。
　光源制御部１２は、目開閉判定部１１３から送信される判定信号Ｓｊに基づき、光源２の光パターンの出射の有無を制御する。具体的には、光源制御部１２は、判定信号Ｓｊが撮影画像Ｉｍに目を閉じた顔が表示されている旨を示す場合に、光源２に光パターンを出射させる。このとき、光源制御部１２は、光パターンの投影の有無に基づく輝度差が、三次元形状計算部１４が顔の毛髪部分についても三次元顔形状情報ＦＩｓを生成可能な程度の輝度差になるような光量により、光パターンを光源２に出射させる。このようにすることで、後述するように、三次元顔計測装置１は、撮影対象者５の髪の毛などの黒い部分についても、光パターンが照射されたか否か正確に判定することができ、三次元顔形状情報ＦＩｓを高精度に算出することが可能となる。また、三次元顔計測装置１は、撮影対象者５が目を閉じた状態で光パターンを投影することで、高輝度の光パターンが目に入射するのを防ぐことができる。そして、光源制御部１２は、光パターンを光源２に照射させた場合、光源２から光パターンを出射させる旨を通知する信号（「照射通知信号Ｓｒ」とも呼ぶ。）を三次元計測判定部１３に送信する。
　（２）三次元顔情報の生成
　次に、三次元計測判定部１３、三次元形状計算部１４、及び色情報決定部１５が実行する三次元顔情報ＦＩｔａｇの生成処理について具体的に説明する。
　三次元計測判定部１３は、光源制御部１２から送信される照射通知信号Ｓｒに基づき、カメラ３から送信される撮影画像Ｉｍが、光パターンが投影された顔が表示された撮影画像Ｉｍ（「第１撮影画像Ｉｍｃ」とも呼ぶ。）であるか否か判定する。さらに、三次元計測判定部１３は、目開閉判定部１１３から送信される判定信号Ｓｊに基づき、カメラ３から送信される撮影画像Ｉｍが、光パターンが投影されておらず、目を開いた状態の顔が表示された撮影画像Ｉｍ（「第２撮影画像Ｉｍｏ」とも呼ぶ。）であるか否か判定する。そして、三次元計測判定部１３は、撮影画像Ｉｍが第１撮影画像Ｉｍｃであると判断した場合、当該第１撮影画像Ｉｍｃを三次元形状計算部１４に送信し、撮影画像Ｉｍが第２撮影画像Ｉｍｏであると判断した場合、当該第２撮影画像Ｉｍｏを色情報決定部１５に送信する。
　三次元形状計算部１４は、各光パターンが顔に投影表示された第１撮影画像Ｉｍｃに基づき、撮影対象者５の顔の三次元位置を計測し、三次元顔形状情報ＦＩｓを生成する。例えば空間コード化法を用いた場合、明暗幅が２倍ずつ変化させた縞状の光パターンが順番に光源２から投影され、ｎ個の光パターンを用意した場合、計測領域は光パターンの投影方向に基づき２のｎ乗個に分割される。この場合、三次元形状計算部１４は、各光パターンの有無に対応して一意に与えられたｎビットの空間コード値について、光パターンの投影方向と第１撮影画像Ｉｍｃ上での画素位置により決まる計測方向との関係から、三角測量の原理に基づき、全ての画素について距離情報を求める。そして、三次元形状計算部１４は、算出した各画素の距離情報から三次元顔形状情報ＦＩｓを算出し、当該三次元顔形状情報ＦＩｓを色情報決定部１５に送信する。
　図３（ａ）乃至（ｃ）は、それぞれ異なる光パターンが撮影対象者５の顔に照射された際に撮影された第１撮影画像Ｉｍｃの例を示す。図３（ａ）乃至（ｃ）に示すように、第１撮影画像Ｉｍｃには、撮影対象者５の顔の領域である顔表示領域５０が存在する。さらに、第１撮影画像Ｉｍｃには、光パターンが照射されたパターン照射領域「Ｒｐ」が存在する。ここで、光源制御部１２は、顔表示領域５０において、光パターンの投影の有無に基づく輝度差が高くなるように、高輝度の光パターンを光源２に出射させる。これにより、三次元顔計測装置１は、撮影対象者５の髪の毛などの黒い部分についても、光パターンが照射されたか否か正確に判定することができ、三次元顔形状情報ＦＩｓを高精度に算出することが可能となる。
　これについて補足説明する。一般の三次元座標位置の計算では、三次元形状計算部１４は、各々の光パターンが照射された第１撮影画像Ｉｍｃの各画素を対象に、光パターンが投影されているか否かを当該画素の輝度を参照して判定する。この場合、三次元形状計算部１４は、光パターンの投影の有無を判定するための閾値（「閾値Ｃｔｈ」とも呼ぶ。）を設定し、各画素の光パターンの投影の有無を判定する。光パターンが投影された場合の所定の画素の輝度を「Ａ」、光パターンが投影されていない場合の当該画素の輝度を「Ｂ」とすると、以下の式（１）を満たすような、縞状の光パターンに対応する領域を求める。
　　　　　　　Ａ－Ｂ＞Ｃｔｈ　　　（１）
　ここで、一般に、閾値Ｃｔｈが高い程、縞状の光パターンに対応する領域の誤判定が抑制される。一方、光パターンの投影の有無に基づく輝度差が小さい場合、閾値Ｃｔｈを高くすると、縞状の光パターンに対応する領域を決定することができなくなる。従って、三次元形状計算部１４は、光パターンの投影の有無に基づく輝度差が大きい程、閾値Ｃｔｈを高く設定することができ、上述した誤判定を抑制して、縞状の光パターンに対応する領域を決定することが可能となる。
　また、図３（ａ）乃至（ｃ）に示す第１撮影画像Ｉｍｃには、いずれも撮影対象者５が目を閉じた状態の顔が表示されている。このように、三次元顔計測装置１は、撮影対象者５が目を閉じた状態で光パターンを投影することで、高輝度の光パターンが目に入射するのを防ぐことができる。
　次に、色情報決定部１５が実行する処理について説明する。色情報決定部１５は、第２撮影画像Ｉｍｏに基づき、三次元顔形状情報ＦＩｓの各位置における色情報を決定する。具体的には、色情報決定部１５は、まず、三次元顔形状情報ＦＩｓが示す各位置が第２撮影画像Ｉｍｏのいずれの画素に該当するか判定する。そして、色情報決定部１５は、三次元顔形状情報ＦＩｓの各位置に対応する第２撮影画像Ｉｍｏの画素が示す画素値を、当該各位置における色情報として決定することで三次元顔情報ＦＩｔａｇを生成する。
　図４は、第２撮影画像Ｉｍｏの一例を示す。図４に示すように、第２撮影画像Ｉｍｏは、目を開いた状態における撮影対象者５の顔が表示された顔表示領域５０Ａを有する。ここでは、色情報決定部１５は、第１撮影画像Ｉｍｃの撮影時刻と第２撮影画像Ｉｍｏの撮影時刻との間とが短く、当該撮影時刻間で目の開閉動作以外には顔の変化がないものとみなす。好適には、撮影時において、撮影対象者５が意図的に顔の位置を動かさないように制限してもよい。
　なお、第１撮影画像Ｉｍｃでは撮影対象者５は目を閉じていることから、三次元顔形状情報ＦＩｓは、撮影対象者５が実際に目を開いている状態の顔の形状と比較して、瞼の厚さ分だけ誤差を含む。しかしながら、瞼の厚さは、一般的に０．６ｍｍ前後である。従って、例えば、三次元顔情報ＦＩｔａｇに基づき、任意の視点位置から撮影対象者５の顔の画像を生成した場合、目を閉じた状態で撮影された第１撮影画像Ｉｍｃに基づき三次元計測したことを目視で判断することが難しい。このように、三次元顔計測装置１は、エンターテイメントへの応用や、顔写真に関する応用などで十分に利用することが可能な程度の精度を有する三次元顔情報ＦＩｔａｇを好適に生成することができる。
　（３）効果
　次に、本発明における効果について以下に述べる比較例を用いて補足説明する。ここで、本実施例のように撮影対象者５が目を閉じた状態で高輝度の光パターンを照射させる代わりに、三次元顔計測システムにおける計測環境を暗くする比較例について検討する。
　この場合、光パターンの輝度を抑制しつつ、光パターンの投影の有無に基づく輝度差を大きくすることが可能である。しかしながら、光パターンの輝度を低下させた場合、本実施例の場合と比較して、髪の毛などの黒い部分における三次元顔形状情報ＦＩｓの精度が低下するという問題が生じる。また、医療目的で使用した場合などの所定の利用目的の場合には、計測時に暗い環境にすることができない場合がある。また、安全上等の観点から、当該光パターンが高輝度でない場合であっても、撮影対象者５の目に直接光パターンを入射させない方が望ましい。
　以上を勘案し、本実施例では、三次元顔計測装置１は、撮影対象者５が目を閉じた状態で高輝度の光パターンを照射させ、この時に撮影した第１撮影画像Ｉｍｃに基づき三次元顔形状情報ＦＩｓを生成する。これにより、三次元顔計測装置１は、髪の毛部分等を含め高精度に三次元顔形状情報ＦＩｓを生成することができると共に、撮影対象者５の目に直接光パターンを入射させるのを抑制することができる。また、三次元顔計測装置１は、撮影対象者５が目を閉じた状態を撮影した第２撮影画像Ｉｍｏに基づき三次元顔形状情報ＦＩｓの各位置の色情報を決定することで、撮影対象者５が目を開いた状態の顔を示す三次元顔情報ＦＩｔａｇを好適に生成することができる。
　［処理フロー］
　次に、三次元顔計測装置１が実行する処理手順について図５を参照して説明する。図５は、本実施例の処理手順を示すフローチャートの一例である。図５に示すフローチャートでは、一例として、三次元顔計測装置１は、まず、第２撮影画像Ｉｍｏを取得した後、第１撮影画像Ｉｍｃを取得して三次元顔情報ＦＩｔａｇを生成するものとする。三次元顔計測装置１は、図５に示すフローチャートの処理を、例えば所定の指示信号を受信した場合に実行する。
　まず、三次元顔計測装置１の撮影画像解析部１１は、カメラ３が生成した撮影画像Ｉｍから顔を検出したか否か判定する（ステップＳ１０１）。そして、撮影画像解析部１１は、撮影画像Ｉｍから顔を検出した場合（ステップＳ１０１：Ｙｅｓ）、検出した顔の目が開いているか否か判定する（ステップＳ１０２）。そして、検出した顔の目が開いている場合（ステップＳ１０２：Ｙｅｓ）、色情報決定部１５は、撮影画像Ｉｍを第２撮影画像Ｉｍｏとしてメモリに保存する（ステップＳ１０３）。具体的には、この場合、撮影画像解析部１１は、目が開いている旨の判定信号Ｓｊを三次元計測判定部１３に送信し、三次元計測判定部１３は、当該判定信号Ｓｊに基づき、カメラ３が生成した撮影画像Ｉｍを第２撮影画像Ｉｍｏとして色情報決定部１５に送信する。
　一方、撮影画像解析部１１は、撮影画像Ｉｍから顔を検出できなかった場合（ステップＳ１０１：Ｎｏ）、又は、撮影画像Ｉｍから検出した顔の表示領域から開いた状態の目を検出できなかった場合（ステップＳ１０２：Ｎｏ）、再びステップＳ１０１へ処理を戻す。
　ステップＳ１０３の実行後、撮影画像解析部１１は、撮影画像Ｉｍに表示された顔の目が開いた状態から閉じた状態に遷移したか否か判定する（ステップＳ１０４）。そして、撮影画像Ｉｍに表示された顔の目が開いた状態から閉じた状態に遷移した場合（ステップＳ１０４：Ｙｅｓ）、光源制御部１２は、光源２に各光パターンを出射させる（ステップＳ１０５）。具体的には、この場合、撮影画像解析部１１は、光源制御部１２に目が閉じている旨の判定信号Ｓｊを光源制御部１２に送信し、光源制御部１２は、判定信号Ｓｊに基づき、光源２に光パターンを照射させる。このとき、光源制御部１２は、光源２に高輝度の光パターンを照射させることで、第１撮影画像Ｉｍｃにおける光パターンの投影の有無に基づく輝度差を大きくすることができる。また、光源制御部１２は、撮影対象者５は目を閉じているため、撮影対象者５の目に直接光パターンが照射されるのを防ぐことができる。一方、撮影画像Ｉｍに表示された顔の目が開いた状態が継続している場合（ステップＳ１０４：Ｎｏ）、撮影画像解析部１１は、引き続きステップＳ１０４で撮影画像Ｉｍに表示された顔の目の状態を監視する。
　ステップＳ１０５の実行後、三次元形状計算部１４は、各光パターンが投影された第１撮影画像Ｉｍｃに基づき、三次元顔形状情報ＦＩｓを生成する（ステップＳ１０６）。具体的には、まず、三次元計測判定部１３は、撮影画像解析部１１から受信した目を閉じた旨の判定信号Ｓｊに基づき、カメラ３から受信した撮影画像Ｉｍが第１撮影画像Ｉｍｃであることを認識する。そして、三次元計測判定部１３は、第１撮影画像Ｉｍｃを三次元形状計算部１４に送信する。三次元形状計算部１４は、第１撮影画像Ｉｍｃに基づき、三次元顔形状情報ＦＩｓを生成する。このとき、光パターンは高輝度により撮影対象者５に照射されているため、第１撮影画像Ｉｍｃの顔表示領域５０では、光パターンの投影の有無に基づく輝度差が大きい。従って、三次元計測判定部１３は、閾値Ｃｔｈを高く設定し、高精度に三次元顔形状情報ＦＩｓを生成することができる。なお、具体的な閾値Ｃｔｈの値は、例えば予め実験等に基づき適切な値に設定される。
　次に、色情報決定部１５は、第２撮影画像Ｉｍｏに基づき、三次元顔形状情報ＦＩｓに色情報を付加して三次元顔情報ＦＩｔａｇを生成する（ステップＳ１０７）。具体的には、色情報決定部１５は、三次元計測判定部１３から三次元顔形状情報ＦＩｓを受信した場合、ステップＳ１０３で保存した第２撮影画像Ｉｍｏに基づき、三次元顔形状情報ＦＩｓが示す各位置における色情報を決定する。このようにすることで、色情報決定部１５は、目を開いた状態の撮影対象者５の顔を示す三次元顔情報ＦＩｔａｇを好適に生成することができる。
　［変形例］
　以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。
　（変形例１）
　図５に示すフローチャートでは、三次元顔計測装置１は、まず、ステップＳ１０２で目を開いている状態を検出した後、ステップＳ１０４で目を閉じた状態に遷移したか否かを検出した。しかし、本発明が適用可能な処理手順は、これに限定されない。これに代えて、三次元顔計測装置１は、撮影画像Ｉｍから、目を閉じた状態の撮影対象者５の顔と、目を開いた状態の撮影対象者５の顔とをそれぞれ独立して検出してもよい。従って、この場合、三次元顔計測装置１は、目を閉じた状態の顔を最初に検出して第１撮影画像Ｉｍｃを取得した後、目を開いた状態の顔を検出して第２撮影画像Ｉｍｏを取得してもよい。
　（変形例２）
　三次元顔計測装置１は、図５のフローチャートのステップＳ１０４で目を閉じた状態を検知して、ステップＳ１０５で光パターンを照射している途中で再び目を開いた状態を検知した場合、フローチャートの処理を停止してもよい。即ち、この場合、三次元顔計測装置１は、パターン光の出射を停止し、かつ、ステップＳ１０６及びステップＳ１０７の処理を実行しない。そして、フローチャートの処理の停止後、撮影画像解析部１１は、撮影画像Ｉｍにおける目の状態を監視し、目が閉じた状態に遷移したと判断した場合に、光源制御部１２は、再び光パターンの照射を開始する。これにより、三次元顔計測装置１は、撮影対象者５の目に光パターンが照射されるのを抑制することができる。
　再び光パターンの照射を開始する場合、好適には、光源制御部１２は、まだ照射していない光パターンのみ、即ち生成された第１撮影画像Ｉｍｃ中に投影表示されていない光パターンを照射する。そして、三次元形状計算部１４は、光パターンの照射が中断した場合であっても、当該中断までに取得した第１撮影画像Ｉｍｃをメモリに記憶しておき、中断後に取得した第１撮影画像Ｉｍｃと合わせて三次元顔形状情報ＦＩｓを生成する。このようにすることで、三次元顔計測装置１は、撮影対象者５が意図的に目を閉じる動作を行わない場合であっても、瞬きなどの短い時間で第１撮影画像Ｉｍｃを断続的に取得して三次元顔形状情報ＦＩｓを好適に生成することができる。
　（変形例３）
　三次元顔計測装置１は、撮影対象者５の顔がカメラ３に向いているか否かをさらに判定し、顔がカメラ３に向いていると判断した場合にのみ、実施例で述べた三次元顔計測処理を行ってもよい。この場合、撮影画像解析部１１は、撮影画像Ｉｍから顔を検出した場合に、既存の画像認識技術により、例えば目の位置などに基づいて、当該顔が正面を向いているか否かさらに判定する。
　また、これに加え、三次元顔計測装置１は、撮影対象者５の顔の計測途中において、撮影対象者５がカメラ３の正面を向いていない状態を検知した場合には、計測処理を停止してもよい。例えば、この場合、三次元顔計測装置１は、撮影対象者５の顔の向きを引き続き監視し、撮影対象者５がカメラ３の正面を向いたと判断した場合に、計測処理を再び開始する。この場合、変形例２と同様、三次元顔計測装置１は、停止前の計測処理において取得していない第１撮影画像Ｉｍｃ又は／及び第２撮影画像Ｉｍｏのみを取得する処理を行うことで、三次元顔情報ＦＩｔａｇを生成してもよい。
　（変形例４）
　三次元顔計測装置１は、撮影対象者５の顔の計測時において、顔の位置が遷移したか否かさらに判定し、顔の位置が遷移したと判断した場合には、計測処理を停止してもよい。この場合、例えば、撮影画像解析部１１は、撮影画像Ｉｍ中の時系列における顔の表示領域の遷移を検知し、計測開始から顔表示領域が所定画素分以上遷移した場合に、計測処理を停止する。他の例では、撮影対象者５の頭部に位置を検知するためのセンサが取り付けられ、三次元顔計測装置１は、当該センサの移動量を検知することで、顔の位置が所定の移動量以上移動した場合に、計測処理を停止する。そして、この場合、三次元顔計測装置１は、例えば、撮影対象者５の顔が所定時間以上静止したと判断したときに、再び計測処理を開始する。
　他の例では、三次元顔計測装置１は、第１撮影画像Ｉｍｃの撮影時と第２撮影画像Ｉｍｏの撮影時との間における顔の移動量を計測し、当該移動量に基づき、三次元顔形状情報ＦＩｓが示す各位置と、第２撮影画像Ｉｍｏの各画素の画素値とを対応付ける位置を変化させる。このようにすることで、第１撮影画像Ｉｍｃの撮影時と第２撮影画像Ｉｍｏの撮影時とで、顔の位置が変化した場合であっても、三次元顔計測装置１は、三次元顔形状情報ＦＩｓの各位置に対して適切に対応した色情報を決定することができる。
　（変形例５）
　三次元顔計測システムは、照明をさらに有し、計測環境の明るさを制御してもよい。図６は、本変形例に係る三次元顔計測システムの構成を示す。図６に示すように、三次元顔計測システムは、撮影対象者５の顔を照らす照明６を有する。そして、三次元顔計測装置１は、照明６の光量を制御する照明制御部１６を有する。そして、照明制御部１６は、例えば、光パターンを投影する第１撮影画像Ｉｍｃの撮影時には、照明６をオフにすることで、顔の計測環境を暗くする。一方、照明制御部１６は、第２撮影画像Ｉｍｏの撮影時には、照明６をオンにすることで、顔の計測環境を明るくする。このように、照明制御部１６は、第１撮影画像Ｉｍｃの撮影時には、第２撮影画像Ｉｍｏの撮影時よりも、第１撮影画像における顔の輝度が小さくなるように照明６を制御する。これにより、照明制御部１６は、光パターンの投影の有無に基づく輝度差を大きくすると共に、三次元顔形状情報ＦＩｓが示す各位置における色情報を高精度に取得することができる。
　（変形例６）
　三次元形状計算部１４は、第１撮影画像Ｉｍｃの各画素のＲＧＢの各成分により定まる輝度に基づき、閾値Ｃｔｈによる判定処理などを行う代わりに、ＲＧＢの少なくとも１つの値に基づき、閾値Ｃｔｈによる判定処理などを行ってもよい。これによっても、三次元形状計算部１４は、好適に、三次元顔形状情報ＦＩｓを生成することができる。
　また、光源２は、赤外線などの可視光以外の波長を有する光による光パターンを照射する光源であり、かつ、カメラ３は、赤外線カメラなどの対象の光を撮影可能なカメラであってもよい。この場合、三次元顔計測装置１は、上述のカメラから送信される撮影画像Ｉｍに基づき、上述した実施例と同様の処理を行う。具体的には、三次元顔計測装置１は、第１撮影画像Ｉｍｃに基づき、三次元顔形状情報ＦＩｓを生成すると共に、三次元顔形状情報ＦＩｓが示す各位置に第２撮影画像Ｉｍｏの各画素が示す濃淡情報を付与した三次元顔情報ＦＩｔａｇを生成する。この場合の濃淡情報は、本発明における「色情報」に含まれる。
　（変形例７）
　図１に示す三次元顔計測システムは、光源２及びカメラ３が１つずつ有していたが、これに代えて、複数の光源２及び複数のカメラ３を有してもよい。例えば、三次元顔計測システムは、顔の左側面に向けた光源２及びカメラ３と、顔の右側面に向けた光源２及びカメラ３とをそれぞれ備え、それぞれに対して実施例と同様に光パターンの照射及び第１撮影画像Ｉｍｃ及び第２撮影画像Ｉｍｏの撮影を行い、各三次元顔情報Ｄｔａｇを生成する。このようにすることで、三次元顔計測システムは、より広範囲にわたる顔の三次元顔情報Ｄｔａｇを生成することができる。
　本発明は、顔の三次元計測を行う装置に好適に適用することができる。
　１　三次元顔計測装置
　２　光源
　３　カメラ
　５　撮影対象者
　６　照明

Claims (13)

  1. 　光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置であって、
    　前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、
    　前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段と、
    を有することを特徴とする三次元顔計測装置。
  2. 　前記顔の状態が、目を閉じた状態又は目を開いた状態のいずれであるかを判定する開閉判定手段と、
    　前記顔の状態が目を閉じた状態であると前記開閉判定手段が判定した場合に、前記光パターンを出射するように前記光源を制御する光源制御手段と、
    をさらに有することを特徴とする請求項１に記載の三次元顔計測装置。
  3. 　前記光源制御手段は、前記光源により前記光パターンを前記顔に照射しているときに、前記顔の状態が、目を閉じた状態から目を開いた状態に遷移したと判断した場合、前記光パターンの照射を停止することを特徴とする請求項２に記載の三次元顔計測装置。
  4. 　前記光源制御手段は、前記光パターンの照射を停止した後、前記顔の状態が、目を開いた状態から目を閉じた状態に遷移した場合、前記顔に照射していない光パターンであって、前記三次元形状情報の生成に必要な光パターンを前記顔に照射することを特徴とする請求項３に記載の三次元顔計測装置。
  5. 　前記光源制御手段は、前記光パターンを、前記三次元形状計測手段が前記顔の毛髪部分における三次元形状情報を生成可能な光量により前記光源に出射させることを特徴とする請求項２に記載の三次元顔計測装置。
  6. 　前記顔に照射される照明光を制御する照明制御手段をさらに備えることを特徴とする請求項１に記載の三次元顔計測装置。
  7. 　前記照明制御手段は、前記第１撮影画像の撮影時には、前記第２撮影画像の撮影時よりも、前記第１撮影画像における顔の輝度が小さくなるように前記照明光を制御することを特徴とする請求項６に記載の三次元顔計測装置。
  8. 　前記顔が前記第１撮影画像及び前記第２撮影画像を生成するカメラに向いているか否か判定する向き判定手段をさらに備え、
    　前記顔が前記カメラに向いていると前記向き判定手段が判断した場合、前記三次元計測を実行することを特徴とする請求項１に記載の三次元顔計測装置。
  9. 　前記第１撮影画像及び前記第２撮影画像の撮影時において、前記顔の動きの有無を検出する動き検出手段と、
    　前記第１撮影画像及び前記第２撮影画像の撮影時に前記顔が動いたと前記動き検出手段が判断した場合、前記三次元計測を停止する停止手段と、
    をさらに備えることを特徴とする請求項１に記載の三次元顔計測装置。
  10. 　前記第１撮影画像及び前記第２撮影画像の撮影時において、前記顔の移動量を検出する移動量検出手段をさらに備え、
    　前記色情報決定手段は、前記移動量に基づき、前記三次元形状情報が示す各位置の色情報を決定することを特徴とする請求項１に記載の三次元顔計測装置。
  11. 　光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行する制御方法であって、
    　前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測工程と、
    　前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定工程と、
    を有することを特徴とする制御方法。
  12. 　光源から光パターンが投影される顔の三次元計測を行う三次元顔計測装置が実行するプログラムであって、
    　前記顔の目が閉じた状態において、前記光パターンが投影された前記顔が撮影された第１撮影画像に基づき、前記顔の三次元形状情報を生成する三次元形状計測手段と、
    　前記顔の目が開いた状態において、前記光パターンが投影されていない前記顔が撮影された第２撮影画像に基づき、前記三次元形状情報が示す各位置における色情報を決定する色情報決定手段
    として前記三次元顔計測装置を機能させることを特徴とするプログラム。
  13. 　請求項１２に記載のプログラムを記憶したことを特徴とする記憶媒体。
PCT/JP2012/063208 2012-05-23 2012-05-23 三次元顔計測装置、制御方法、プログラム、及び記憶媒体 WO2013175595A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2012/063208 WO2013175595A1 (ja) 2012-05-23 2012-05-23 三次元顔計測装置、制御方法、プログラム、及び記憶媒体
JP2014516575A JP5905572B2 (ja) 2012-05-23 2012-05-23 三次元顔計測装置、制御方法、プログラム、及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/063208 WO2013175595A1 (ja) 2012-05-23 2012-05-23 三次元顔計測装置、制御方法、プログラム、及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2013175595A1 true WO2013175595A1 (ja) 2013-11-28

Family

ID=49623326

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/063208 WO2013175595A1 (ja) 2012-05-23 2012-05-23 三次元顔計測装置、制御方法、プログラム、及び記憶媒体

Country Status (2)

Country Link
JP (1) JP5905572B2 (ja)
WO (1) WO2013175595A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019244593A1 (ja) * 2018-06-18 2019-12-26 オムロン株式会社 画像処理システムおよび画像処理方法
CN111684394A (zh) * 2018-03-15 2020-09-18 欧姆龙株式会社 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质
JP2021512430A (ja) * 2018-03-30 2021-05-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄスキャンのためのシステムおよび方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04169887A (ja) * 1990-11-01 1992-06-17 Matsushita Electric Ind Co Ltd レーザ視覚センサ装置
JPH11326057A (ja) * 1998-05-20 1999-11-26 Kao Corp 三次元物体の計測方法及び装置
JP2002133446A (ja) * 2000-08-30 2002-05-10 Microsoft Corp 顔画像処理方法およびシステム
JP2002277224A (ja) * 2001-03-16 2002-09-25 Minolta Co Ltd ３次元入力のための撮影システム
JP2005106491A (ja) * 2003-09-29 2005-04-21 Nec Engineering Ltd 頭部の三次元形状計測システム
JP2009020080A (ja) * 2007-07-13 2009-01-29 Kao Corp 表面反射特性測定装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001082940A (ja) * 1999-09-14 2001-03-30 Sanyo Electric Co Ltd 立体モデル生成装置及び方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04169887A (ja) * 1990-11-01 1992-06-17 Matsushita Electric Ind Co Ltd レーザ視覚センサ装置
JPH11326057A (ja) * 1998-05-20 1999-11-26 Kao Corp 三次元物体の計測方法及び装置
JP2002133446A (ja) * 2000-08-30 2002-05-10 Microsoft Corp 顔画像処理方法およびシステム
JP2002277224A (ja) * 2001-03-16 2002-09-25 Minolta Co Ltd ３次元入力のための撮影システム
JP2005106491A (ja) * 2003-09-29 2005-04-21 Nec Engineering Ltd 頭部の三次元形状計測システム
JP2009020080A (ja) * 2007-07-13 2009-01-29 Kao Corp 表面反射特性測定装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111684394A (zh) * 2018-03-15 2020-09-18 欧姆龙株式会社 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质
JP2021512430A (ja) * 2018-03-30 2021-05-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄスキャンのためのシステムおよび方法
US11969231B2 (en) 2018-03-30 2024-04-30 Koninklijke Philips N.V. System and method for 3D scanning
WO2019244593A1 (ja) * 2018-06-18 2019-12-26 オムロン株式会社 画像処理システムおよび画像処理方法
US11967095B2 (en) 2018-06-18 2024-04-23 Omron Corporation Image processing system and image processing method

Also Published As

Publication number Publication date
JPWO2013175595A1 (ja) 2016-01-12
JP5905572B2 (ja) 2016-04-20

Similar Documents

Publication Publication Date Title
US10722113B2 (en) Gaze detection apparatus and gaze detection method
CN102278955B (zh) 机器人装置和控制机器人装置的方法
JP6168879B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
KR20200123483A (ko) 3 차원 깊이 감지 및 2 차원 이미징을 위한 카메라 노출의 조정
US11023039B2 (en) Visual line detection apparatus and visual line detection method
EP3011894B1 (en) Eye gaze detection apparatus and eye gaze detection method
JP6273640B2 (ja) 撮影画像表示装置
JP5905572B2 (ja) 三次元顔計測装置、制御方法、プログラム、及び記憶媒体
JP2014155033A (ja) 露出設定装置、発光強度設定装置、制御方法、プログラム、及び記憶媒体
JP2016028669A (ja) 瞳孔検出装置、および瞳孔検出方法
KR20090109018A (ko) 안구 종양 치료에서의 안구 추적 방법
JP6900994B2 (ja) 視線検出装置及び視線検出方法
JP5266952B2 (ja) 光学式計測装置および計測方法
KR20210029258A (ko) 광학 측정 방법 및 광학 측정 장치
JP2014157316A (ja) プロジェクタ装置
JP6856017B2 (ja) 角膜反射位置検出装置、視線検出装置及び角膜反射位置検出方法
JP2014182115A (ja) 三次元計測装置、制御方法、プログラム、及び記憶媒体
JP2017191082A (ja) 輝点画像取得装置および輝点画像取得方法
JP2012217762A (ja) 歯科用観察装置
JP5795431B2 (ja) 三次元計測装置、三次元計測システム、制御方法、プログラム、及び記憶媒体
JP6597467B2 (ja) 顔向き計測装置
WO2024138955A1 (zh) 一种灯光控制方法及系统
JP2017191083A (ja) 輝点画像取得装置および輝点画像取得方法
JP2010117596A (ja) 撮像装置
JP6909391B2 (ja) 視線検出装置及び視線検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12877415

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014516575

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12877415

Country of ref document: EP

Kind code of ref document: A1