WO2020255645A1 - ３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびコンピュータ読み取り可能な記録媒体 - Google Patents

３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2020255645A1
WO2020255645A1 PCT/JP2020/020747 JP2020020747W WO2020255645A1 WO 2020255645 A1 WO2020255645 A1 WO 2020255645A1 JP 2020020747 W JP2020020747 W JP 2020020747W WO 2020255645 A1 WO2020255645 A1 WO 2020255645A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional data
data
imaging
dimensional
face
Prior art date
Application number
PCT/JP2020/020747
Other languages
English (en)
French (fr)
Inventor
孝浩 加藤
Original Assignee
Ｎｅｃソリューションイノベータ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソリューションイノベータ株式会社 filed Critical Ｎｅｃソリューションイノベータ株式会社
Priority to JP2021527505A priority Critical patent/JP7276968B2/ja
Publication of WO2020255645A1 publication Critical patent/WO2020255645A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present invention relates to a three-dimensional data update device, a face orientation estimation device, and a three-dimensional data update method for updating three-dimensional data into a face shape similar to that of a target person, and further records a program for realizing these.
  • a three-dimensional data update device for updating three-dimensional data into a face shape similar to that of a target person, and further records a program for realizing these.
  • computer-readable recording media for a three-dimensional data update device, a face orientation estimation device, and a three-dimensional data update method for updating three-dimensional data into a face shape similar to that of a target person, and further records a program for realizing these.
  • computer-readable recording media Regarding computer-readable recording media.
  • Patent Document 1 discloses a technique for estimating the orientation of a face using a three-dimensional model.
  • Patent Document 2 discloses a technique of extracting facial feature points from a two-dimensional face image and using an angle prediction model generated by machine learning to identify the orientation taken from the coordinates of the facial feature points. ing.
  • this machine learning a two-dimensional homology model generated by projecting a three-dimensional homology model of three-dimensional face data obtained by converting a front-facing two-dimensional face image onto an XY plane while rotating it at a predetermined angle is generated. I am learning an angle prediction model.
  • An example of an object of the present invention is a three-dimensional data update device for making three-dimensional data for data comparison highly accurate, a three-dimensional data update method, a face orientation estimation device using the same, and for realizing these.
  • the purpose is to provide a computer-readable recording medium on which the program is recorded.
  • the three-dimensional data updating device in one aspect of the present invention is A three-dimensional data updating device that updates three-dimensional face data stored in a storage device based on the imaged data of a person's face imaged by the imaging device.
  • An imaging data acquisition unit that acquires imaging data captured by the imaging device, and A three-dimensional data acquisition unit that acquires the three-dimensional data from the storage device,
  • An adjustment unit that adjusts the three-dimensional data by using the imaging data acquired by the imaging data acquisition unit and the three-dimensional data acquired by the three-dimensional data acquisition unit.
  • An update unit that updates the three-dimensional data stored in the storage device to the three-dimensional data adjusted by the adjustment unit, and an update unit. It is characterized in that.
  • the face orientation estimation device in one aspect of the present invention is A three-dimensional data updating device that updates three-dimensional face data stored in a storage device based on the imaged data of a person's face imaged by the imaging device.
  • An imaging data acquisition unit that acquires imaging data captured by the imaging device, and A three-dimensional data acquisition unit that acquires the three-dimensional data from the storage device,
  • An adjustment unit that adjusts the three-dimensional data by using the imaging data acquired by the imaging data acquisition unit and the three-dimensional data acquired by the three-dimensional data acquisition unit.
  • An update unit that updates the three-dimensional data stored in the storage device to the three-dimensional data adjusted by the adjustment unit, and an update unit. It is characterized in that.
  • the three-dimensional data updating method in one aspect of the present invention is: This is a three-dimensional data update method for updating the three-dimensional face data stored in the storage device based on the image pickup data of the face of a person imaged by the image pickup device.
  • the computer-readable recording medium in one aspect of the present invention is used.
  • a computer that updates the three-dimensional face data stored in the storage device based on the image data of the face of a person imaged by the image pickup device.
  • the step of acquiring the imaging data captured by the imaging device, and The step of acquiring the three-dimensional data from the storage device and A step of adjusting the three-dimensional data by using the acquired imaging data and the acquired three-dimensional data, and A step of updating the three-dimensional data stored in the storage device to the adjusted three-dimensional data, and It is characterized by recording a program including an instruction to execute.
  • the present invention it is possible to update the three-dimensional data of the average face shape to a face shape that approximates the person imaged by the imaging device, and to make the three-dimensional data highly accurate.
  • FIG. 1 is a block diagram showing a configuration of a three-dimensional data update device according to an embodiment.
  • FIG. 2 is a diagram showing a specific configuration of a face orientation estimation device provided with a three-dimensional data update device.
  • FIG. 3 is a diagram showing feature points detected by the adjusting unit.
  • FIG. 4 is a flow chart showing the operation of the three-dimensional data updater according to the embodiment.
  • FIG. 5 is a block diagram showing an example of a computer that realizes the three-dimensional data updating device and the face orientation estimation device in the embodiment.
  • FIG. 1 is a block diagram showing a configuration of a three-dimensional data update device 1 according to the present embodiment.
  • the three-dimensional data update device 1 is a device that updates the three-dimensional data of the face stored in the storage device based on the image pickup data of the face of the person imaged by the image pickup device.
  • the three-dimensional data update device 1 includes an imaging data acquisition unit 2, a three-dimensional data acquisition unit 3, an adjustment unit 4, and an update unit 5.
  • the imaging data acquisition unit 2 acquires imaging data of a person's face imaged by the imaging device.
  • the 3D data acquisition unit 3 acquires 3D data from the storage device.
  • the three-dimensional data is three-dimensional image data of a person's face.
  • the adjusting unit 4 adjusts the three-dimensional data by using the imaging data acquired by the imaging data acquisition unit 2 and the three-dimensional data acquired by the three-dimensional data acquisition unit 3.
  • the update unit 5 updates the three-dimensional data stored in the storage device to the three-dimensional data adjusted by the adjustment unit 4.
  • the three-dimensional data updating device 1 can update the three-dimensional data of the average face shape to a face shape that approximates the person imaged by the imaging device, and can make the three-dimensional data highly accurate.
  • this three-dimensional data for, for example, face authentication authentication data, the authentication accuracy can be improved.
  • the three-dimensional data updating device 1 of the present embodiment is used as a partial configuration of the face orientation estimation device.
  • the three-dimensional data update device 1 will be described by specifically explaining the face orientation estimation device.
  • the three-dimensional data updating device 1 may be provided independently of the face orientation estimation device, or may be used as a partial configuration of another device that uses the three-dimensional data.
  • FIG. 2 is a diagram showing a specific configuration of the face orientation estimation device 10 provided with the three-dimensional data update device 1.
  • the face orientation estimation device 10 is mounted on, for example, an automobile.
  • the automobile is equipped with an image pickup device 70.
  • the image pickup device 70 is installed so as to image at least the face of a driver (hereinafter referred to as a target person).
  • the face orientation estimation device 10 is connected to the image pickup device 70.
  • the image pickup device 70 does not have to be a device provided for the face orientation estimation device 10.
  • the face orientation estimation device 10 includes a three-dimensional data update device 1 and an angle estimation unit 11.
  • the three-dimensional data update device 1 includes an imaging data acquisition unit 2, a three-dimensional data acquisition unit 3, an adjustment unit 4, and an update unit 5.
  • the imaging data acquisition unit 2 acquires the imaging data 70A of the face of the target person imaged by the imaging device 70.
  • the image pickup device 70 captures the face of the target person at any time.
  • the imaging data acquisition unit 2 acquires imaging data 70A at a predetermined timing at any time.
  • the three-dimensional data acquisition unit 3 acquires the three-dimensional data 71A of a person's face from the storage device 71.
  • Three-dimensional data 71A is stored in advance in the storage device 71.
  • the three-dimensional data 71A stored in the storage device 71 in advance is image data of an average face shape.
  • the adjusting unit 4 adjusts the position coordinates of the facial feature points of the three-dimensional data 71A by using the imaging data 70A acquired by the imaging data acquisition unit 2 and the three-dimensional data 71A acquired by the three-dimensional data acquisition unit 3.
  • the facial feature points are the feature points of the organs constituting the face (for example, eyes, nose, mouth, etc.), for example, the "apex of the nose”.
  • the adjustment unit 4 detects the face of the target person from the imaging data 70A.
  • the adjusting unit 4 extracts a face candidate region in the imaging data 70A by, for example, edge detection or shape pattern detection.
  • the adjustment unit 4 divides the extracted candidate area into small areas, and detects the face by matching the feature points of each small area with the face recognition pattern.
  • the face recognition pattern may be acquired from the outside via a network, or may be stored in a storage device in the three-dimensional data update device 1.
  • FIG. 3 is a diagram showing feature points detected by the adjusting unit 4.
  • the adjusting unit 4 has “left corner of the eye”, “edge of the right eye”, “top of the nose”, “left corner of the mouth”, and “right corner of the mouth” from the detected face.
  • 6 facial feature points black circles in FIG. 3) of "chin tip” are detected.
  • the adjusting unit 4 detects 6 facial feature points from the 3D data 71A acquired by the 3D data acquisition unit 3.
  • the adjusting unit 4 detects the amount of change by comparing the facial feature points detected from each of the imaging data 70A and the three-dimensional data 71A. Examples of the method for detecting the amount of change by comparing the imaging data 70A, which is two-dimensional data, with the three-dimensional data 71A, include projective transformation.
  • the adjusting unit 4 adjusts the position coordinates of the "left corner edge” detected from the imaging data 70A to the position coordinates of the "left eye corner edge” detected from the three-dimensional data 71A. Detects the amount of change in. The adjusting unit 4 similarly detects the amount of change in the position coordinates for the other facial feature points.
  • the adjustment unit 4 determines whether the amount of change in the "top of the nose" is larger or smaller than the reference, based on the amount of change in the position coordinates of the "edge of the left eye". When the amount of change is larger than the reference, the adjusting unit 4 determines that the position coordinates of the "nose apex" of the imaging data 70A are higher than the position coordinates of the "nose apex” of the three-dimensional data 71A. In this case, the adjusting unit 4 raises the position coordinates of the facial feature points of the "apex of the nose" in the three-dimensional data 71A.
  • the adjusting unit 4 determines that the position coordinates of the "nose apex" of the imaging data 70A are lower than the position coordinates of the "nose apex” of the three-dimensional data 71A. In this case, the adjusting unit 4 lowers the position coordinates of the facial feature points of the "apex of the nose" in the three-dimensional data 71A.
  • the amount of change in the position coordinates of each of the "left mouth corner” and “right mouth corner” is larger than the reference, and is outside the center of the face in the three-dimensional data 71A. If the movement is large, the adjusting unit 4 determines that the left and right corners of the mouth are wide and corrects the movement. On the contrary, when the movement is large inward, the adjusting unit 4 determines that the left and right corners of the mouth are narrow and corrects the movement.
  • the updating unit 5 updates the three-dimensional data 71A stored in the storage device 71 with the three-dimensional data adjusted by the adjusting unit 4.
  • the angle estimation unit 11 estimates the angle of the face in the imaging data 70A.
  • the angle of the face is based on the state in which the target person faces the front with respect to the imaging device 70.
  • the angle estimation unit 11 detects the coordinates of a plurality of facial feature points of the face in the imaging data 70A, for example, the tip of the nose, the chin, the left corner of the left eye, the right corner of the right eye, the left corner of the mouth, and the right corner of the mouth. ..
  • the angle estimation unit 11 also detects the face feature point from the three-dimensional data 71A stored in the storage device 71 and updated by the three-dimensional data update device 1.
  • the angle estimation unit 11 performs calculations such as matrix transformation from the face feature points detected from the imaging data 70A and the face feature points detected from the three-dimensional data 71A to obtain the angle.
  • FIG. 4 is a flow chart showing the operation of the three-dimensional data update device 1 in the present embodiment.
  • the three-dimensional data update method is implemented by operating the three-dimensional data update device 1. Therefore, the description of the three-dimensional data update method in the present embodiment is replaced with the following description of the operation of the three-dimensional data update device 1.
  • the face of the target person is imaged by the imaging device 70.
  • the image pickup data acquisition unit 2 acquires the image pickup data 70A imaged by the image pickup apparatus 70 (S1).
  • the adjusting unit 4 detects the facial feature points from the imaging data 70A (S2). For example, from the imaging data 70A, the adjusting unit 4 sets the "left corner of the eye", “edge of the right eye”, “top of the nose”, “left corner of the mouth”, “corner of the right” and "chin”. 6 facial feature points are detected.
  • the three-dimensional data acquisition unit 3 acquires the three-dimensional data 71A from the storage device 71 (S3).
  • the adjusting unit 4 detects the above six facial feature points from the three-dimensional data 71A (S4).
  • the order of acquiring the imaging data 70A and the three-dimensional data 71A and the order of detecting the facial feature points are not limited to this. Further, the type and number of facial feature points detected by the adjusting unit 4 are not limited to this.
  • the adjusting unit 4 compares the position coordinates of the face feature points of the detected imaging data 70A and the three-dimensional data 71A, and detects the displacement amount of the position coordinates (S5).
  • the adjusting unit 4 adjusts the position coordinates of each face feature point of the three-dimensional data 71A based on the detected change amount of the position coordinates (S6).
  • the update unit 5 updates the three-dimensional data 71A stored in the storage device 71 to the three-dimensional data 71A adjusted in S6 (S7).
  • the three-dimensional data 71A of the average face shape can be approximated to the face shape of the target person by repeatedly executing the operation shown in FIG.
  • the operation shown in FIG. 4 may be executed every time the face orientation estimation device 10 estimates the face orientation of the target person, or may be executed periodically regardless of the face orientation estimation.
  • the three-dimensional data updating device 1 With the three-dimensional data updating device 1 having the above configuration, it is possible to update the three-dimensional data 71A of the average face shape to a face shape that approximates the person imaged by the imaging device, and to improve the accuracy of the three-dimensional data 71A. it can.
  • this three-dimensional data 71A for, for example, face authentication authentication data, the authentication accuracy can be improved.
  • the program in this embodiment may be any program that causes a computer to execute steps S1 to S7 shown in FIG.
  • the computer processor functions as an imaging data acquisition unit 2, a three-dimensional data acquisition unit 3, an adjustment unit 4, and an update unit 5 to perform processing.
  • each computer may function as any of the imaging data acquisition unit 2, the three-dimensional data acquisition unit 3, the adjustment unit 4, and the update unit 5, respectively.
  • FIG. 5 is a block diagram showing an example of a computer that realizes the three-dimensional data updating device 1 and the face orientation estimation device 10 in the present embodiment.
  • the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. Each of these parts is connected to each other via a bus 125 so as to be capable of data communication.
  • the computer 110 may include a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array) in addition to the CPU 111 or in place of the CPU 111.
  • the CPU 111 expands the programs (codes) of the present embodiment stored in the storage device 113 into the main memory 112 and executes them in a predetermined order to perform various operations.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120.
  • the program in this embodiment may be distributed on the Internet connected via the communication interface 117.
  • the storage device 113 include a semiconductor storage device such as a flash memory in addition to a hard disk drive.
  • the input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and mouse.
  • the display controller 115 is connected to the display device 119 and controls the display on the display device 119.
  • the data reader / writer 116 mediates the data transmission between the CPU 111 and the recording medium 120, reads the program from the recording medium 120, and writes the processing result in the computer 110 to the recording medium 120.
  • the communication interface 117 mediates data transmission between the CPU 111 and another computer.
  • the recording medium 120 include a general-purpose semiconductor storage device such as CF (CompactFlash (registered trademark)) and SD (SecureDigital), a magnetic recording medium such as a flexible disk, or a CD-.
  • CF CompactFlash (registered trademark)
  • SD Secure Digital
  • magnetic recording medium such as a flexible disk
  • CD- CompactDiskReadOnlyMemory
  • optical recording media such as ROM (CompactDiskReadOnlyMemory).
  • the face orientation estimation device 10 in the present embodiment can also be realized by using hardware corresponding to each part instead of the computer on which the program is installed. Further, the three-dimensional data update device 1 and the face orientation estimation device 10 may be partially realized by a program and the rest by hardware.
  • a three-dimensional data updating device that updates three-dimensional face data stored in a storage device based on the imaged data of a person's face imaged by the imaging device.
  • An imaging data acquisition unit that acquires imaging data captured by the imaging device, and A three-dimensional data acquisition unit that acquires the three-dimensional data from the storage device,
  • An adjustment unit that adjusts the three-dimensional data by using the imaging data acquired by the imaging data acquisition unit and the three-dimensional data acquired by the three-dimensional data acquisition unit.
  • An update unit that updates the three-dimensional data stored in the storage device to the three-dimensional data adjusted by the adjustment unit, and an update unit.
  • a three-dimensional data updating device characterized by the above.
  • Appendix 2 The three-dimensional data updating device described in Appendix 1, The adjusting unit adjusts the position coordinates of the facial feature points in the three-dimensional data.
  • a three-dimensional data updater characterized by this.
  • Appendix 3 The three-dimensional data updating device described in Appendix 2, The adjusting part The facial feature points of the imaging data and the three-dimensional data are detected, the detected facial feature points are compared to detect the amount of change, and the change amount is used to position coordinates of the facial feature points of the three-dimensional data.
  • a three-dimensional data updater characterized by this.
  • a face orientation estimation device that estimates the angle of the face of the target person by comparing the image data of the target face imaged by the image pickup device with the three-dimensional data stored in the storage device.
  • An imaging data acquisition unit that acquires imaging data captured by the imaging device, and A three-dimensional data acquisition unit that acquires the three-dimensional data from the storage device,
  • An adjustment unit that adjusts the three-dimensional data by using the imaging data acquired by the imaging data acquisition unit and the three-dimensional data acquired by the three-dimensional data acquisition unit.
  • An update unit that updates the three-dimensional data stored in the storage device to the three-dimensional data adjusted by the adjustment unit, and an update unit.
  • a face orientation estimator comprising.
  • Appendix 7 The three-dimensional data update method described in Appendix 6 In the step of adjusting the acquired three-dimensional data, The facial feature points of the imaging data and the three-dimensional data are detected, the detected facial feature points are compared to detect the amount of change, and the change amount is used to position coordinates of the face feature points of the three-dimensional data. To adjust, A three-dimensional data update method characterized by this.
  • a computer that updates the three-dimensional face data stored in the storage device based on the image data of the face of a person imaged by the image pickup device.
  • Appendix 9 The computer-readable recording medium according to Appendix 8.
  • the program On the computer When adjusting the acquired three-dimensional data, the step of adjusting the position coordinates of the facial feature points in the three-dimensional data, A computer-readable recording medium that contains instructions to execute.
  • Appendix 10 The computer-readable recording medium according to Appendix 9.
  • the step of adjusting the acquired three-dimensional data The face feature points of the imaging data and the three-dimensional data are detected, the detected face feature points are compared to detect the amount of change, and the change amount is used to adjust the face feature points of the three-dimensional data.
  • a computer-readable recording medium A computer-readable recording medium.
  • the present invention can be used in a technique for comparing the three-dimensional data stored in advance with the imaged data obtained by imaging.

Abstract

３次元データ更新装置１は、記憶装置７１に記憶される顔の３次元データ７１Ａを、撮像装置７０が撮像した人物の顔の撮像データ７０Ａに基づいて更新する。３次元データ更新装置１は、撮像装置７０により撮像された撮像データ７０Ａを取得する撮像データ取得部２と、３次元データ７１Ａを記憶装置７１から取得する３次元データ取得部３と、撮像データ取得部２が取得した撮像データ７０Ａと、３次元データ取得部３が取得した３次元データ７１Ａとを用いて、３次元データ７１Ａを調整する調整部４と、記憶装置７１に記憶される３次元データ７１Ａを、調整部による調整後の３次元データ７１Ａに更新する更新部５と、を備える。

Description

３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびコンピュータ読み取り可能な記録媒体
　本発明は、３次元データを対象人物に近似する顔形状に更新する３次元データ更新装置、顔向き推定装置、および３次元データ更新方法に関し、さらには、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　近年、撮像装置で人物の顔を撮像して得られた撮像データから、例えば、その人物の顔の表情または感情を読み取る技術が提案されている。撮像データを用いて顔の表情などを読み取る場合、撮像データにおける顔の向きを考慮する必要がある。顔の向きを検出する技術として、例えば、特許文献１には、３次元モデルを用いて、顔の向きを推定する技術が開示されている。
　また、特許文献２には、２次元顔画像から顔特徴点を抽出し、機械学習により生成される角度予測モデルを用いて、顔特徴点の座標から撮影された向きを特定する技術が開示されている。この機械学習では、正面向きの２次元顔画像を変換した３次元顔データの３次元相同モデルを、所定角度に回転させながらＸＹ平面に射影することにより生成した、２次元相同モデルを生成して角度予測モデルを学習している。
国際公開第２０１８／１６８０４１号 特開２０１６－１９４８９２号公報
　特許文献１に記載の従来の手法では、平均的な顔形状の３次元モデルが用いられる。この場合、人の顔は、目鼻立ちに個人差があるため、撮像された顔が３次元モデルと隔たりがある場合、精度よく顔の向きの推定できないおそれがある。また、特許文献２に記載の手法では、正面向きの２次元顔画像を３次元顔画像に変換しているため、高精度な３次元画像が得られず、顔の向き特定の結果の信頼度が低下するおそれがある。
　本発明の目的の一例は、データ比較用の３次元データを高精度にする３次元データ更新装置、３次元データ更新方法、および、それを用いた顔向き推定装置、並びに、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における３次元データ更新装置は、
　記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新装置であって、
　前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
　前記３次元データを前記記憶装置から取得する３次元データ取得部と、
　前記撮像データ取得部が取得した前記撮像データと、前記３次元データ取得部が取得した３次元データとを用いて、前記３次元データを調整する調整部と、
　前記記憶装置に記憶される３次元データを、前記調整部による調整後の３次元データに更新する更新部と、
　を備える、ことを特徴とする。
　上記目的を達成するため、本発明の一側面における顔向き推定装置は、
　記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新装置であって、
　前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
　前記３次元データを前記記憶装置から取得する３次元データ取得部と、
　前記撮像データ取得部が取得した前記撮像データと、前記３次元データ取得部が取得した３次元データとを用いて、前記３次元データを調整する調整部と、
　前記記憶装置に記憶される３次元データを、前記調整部による調整後の３次元データに更新する更新部と、
を備える、ことを特徴とする。
　また、上記目的を達成するため、本発明の一側面における３次元データ更新方法は、
　記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新方法であって、
　前記撮像装置により撮像された撮像データを取得するステップと、
　前記３次元データを前記記憶装置から取得するステップと、
　取得した前記撮像データと、取得した３次元データとを用いて、前記３次元データを調整するステップと、
　前記記憶装置に記憶される３次元データを、調整後の３次元データに更新するステップと、
　を備える、ことを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
　記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新するコンピュータに、
　前記撮像装置により撮像された撮像データを取得するステップと、
　前記３次元データを前記記憶装置から取得するステップと、
　取得した前記撮像データと、取得した３次元データとを用いて、前記３次元データを調整するステップと、
　前記記憶装置に記憶される３次元データを、調整後の３次元データに更新するステップと、
　を実行させる命令を含む、プログラムを記録したことを特徴とする。
　本発明によれば、平均的な顔形状の３次元データを撮像装置が撮像する人物に近似する顔形状に更新して、３次元データを高精度にすることができる。
図１は、実施形態における３次元データ更新装置の構成を示すブロック図である。 図２は、３次元データ更新装置を備えた顔向き推定装置の具体的構成を示す図である。 図３は、調整部が検出する特徴点を示す図である。 図４は、実施形態における３次元データ更新装置の動作を示すフロー図である。 図５は、実施形態における３次元データ更新装置および顔向き推定装置を実現するコンピュータの一例を示すブロック図である。
　以下、本発明における一実施形態の３次元データ更新装置、３次元データ更新方法、および、顔向き推定装置について、図面を参照しながら説明する。
［装置構成］
　図１は、本実施形態における３次元データ更新装置１の構成を示すブロック図である。
　３次元データ更新装置１は、記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する装置である。３次元データ更新装置１は、撮像データ取得部２と、３次元データ取得部３と、調整部４と、更新部５と、を備えている。
　撮像データ取得部２は、撮像装置により撮像された人物の顔の撮像データを取得する。
　３次元データ取得部３は、３次元データを記憶装置から取得する。３次元データは、人物の顔の３次元画像データである。
　調整部４は、撮像データ取得部２が取得した撮像データと、３次元データ取得部３が取得した３次元データとを用いて、３次元データを調整する。
　更新部５は、記憶装置に記憶される３次元データを、調整部４による調整後の３次元データに更新する。
　この３次元データ更新装置１は、平均的な顔形状の３次元データを撮像装置が撮像する人物に近似する顔形状に更新して、３次元データを高精度にすることができる。この３次元データを、例えば顔認証の認証用のデータに用いることで、認証精度を高めることができる。
　続いて、図２および図３を用いて、本実施形態の３次元データ更新装置１の構成について具体的に説明する。本実施形態の３次元データ更新装置１は、顔向き推定装置の一部構成として用いられる。以下では、顔向き推定装置について具体的に説明することで、３次元データ更新装置１について説明する。なお、３次元データ更新装置１は、顔向き推定装置とは独立して設けられていてもよいし、３次元データを用いる他の装置の一部構成として用いられてもよい。
　図２は、３次元データ更新装置１を備えた顔向き推定装置１０の具体的構成を示す図である。顔向き推定装置１０は、例えば自動車に搭載される。自動車には、撮像装置７０が搭載されている。その撮像装置７０は、少なくとも運転者（以下、対象人物と言う）の顔を撮像するように設置されている。顔向き推定装置１０は、その撮像装置７０と接続されている。なお、撮像装置７０は、顔向き推定装置１０のために設けられた装置でなくてもよい。
　顔向き推定装置１０は、３次元データ更新装置１と、角度推定部１１とを備えている。３次元データ更新装置１は、上記したように、撮像データ取得部２と、３次元データ取得部３と、調整部４と、更新部５とを備えている。
　撮像データ取得部２は、撮像装置７０により撮像された対象人物の顔の撮像データ７０Ａを取得する。撮像装置７０は、対象人物の顔を随時撮像する。撮像データ取得部２は、所定のタイミングで撮像データ７０Ａを随時取得する。
　３次元データ取得部３は、記憶装置７１から人物の顔の３次元データ７１Ａを取得する。記憶装置７１には、予め３次元データ７１Ａが記憶されている。予め記憶装置７１に記憶される３次元データ７１Ａは、平均的な顔形状の画像データである。
　調整部４は、撮像データ取得部２が取得した撮像データ７０Ａと、３次元データ取得部３が取得した３次元データ７１Ａと用いて、３次元データ７１Ａの顔特徴点の位置座標を調整する。顔特徴点とは、顔を構成する器官（例えば、目、鼻、口など）の特徴点、例えば「鼻の頂点」などである。
　具体的には、調整部４は、撮像データ７０Ａから対象人物の顔を検出する。調整部４は、例えばエッジ検出または形状パターン検出によって、撮像データ７０Ａにおける顔の候補領域を抽出する。調整部４は、抽出した候補領域を小領域に分割し、各小領域の特徴点を、顔認証パターンとパターン照合することで、顔を検出する。顔認証パターンは、外部からネットワークを介して取得してもよいし、３次元データ更新装置１内の記憶装置に記憶されていてもよい。
　続いて、調整部４は、検出した撮像データ７０Ａから顔特徴点を検出する。図３は、調整部４が検出する特徴点を示す図である。例えば、調整部４は、撮像データ７０Ａにおいて、検出した顔から、「左の目じりの端」、「右の目じりの端」、「鼻の頂点」、「左の口角」、「右の口角」および「あご先」の６点の顔特徴点（図３の黒丸）を検出する。同様に、調整部４は、３次元データ取得部３が取得した３次元データ７１Ａから６点の顔特徴点を検出する。調整部４は、撮像データ７０Ａおよび３次元データ７１Ａそれぞれから検出した顔特徴点を比較して変化量を検出する。２次元データである撮像データ７０Ａと、３次元データ７１Ａとを比較して変化量を検出する手法は、射影変換などが挙げられる。
　例えば、調整部４は、撮像データ７０Ａから検出した「左の目じりの端」の位置座標を、３次元データ７１Ａから検出した「左の目じりの端」の位置座標に合わせたときの、位置座標の変化量を検出する。調整部４は、他の顔特徴点についても同様に、位置座標の変化量を検出する。
　調整部４は、「左の目じりの端」の位置座標の変化量を基準として、「鼻の頂点」の変化量が基準よりも大きいか小さいかを判定する。変化量が基準より大きい場合、調整部４は、撮像データ７０Ａの「鼻の頂点」の位置座標は、３次元データ７１Ａの「鼻の頂点」の位置座標より高いと判定する。この場合、調整部４は、３次元データ７１Ａにおける「鼻の頂点」の顔特徴点の位置座標を高くする。変化量が基準より小さい場合、調整部４は、撮像データ７０Ａの「鼻の頂点」の位置座標は、３次元データ７１Ａの「鼻の頂点」の位置座標より低いと判定する。この場合、調整部４は、３次元データ７１Ａにおける「鼻の頂点」の顔特徴点の位置座標を低くする。
　また、「あご先」の位置座標の変化量を基準として、「左の口角」および「右の口角」それぞれの位置座標の変化量が基準よりも大きく、３次元データ７１Ａにおける顔の中心から外側に大きく動いた場合は、調整部４は、左右の口角は広いと判断して補正する。逆に、内側に大きく動いた場合は、調整部４は、左右の口角が狭いと判断して補正する。同様に、「左の目じりの端」および「右の目じりの端」については、「鼻の頂点」の位置座標の変化量を基準として、３次元データ７１Ａにおける顔の中心から内側または外側のどちらに大きく動いたかによって、目じりの端の間が狭いか広いかを判断して補正する。
　更新部５は、記憶装置７１に記憶されている３次元データ７１Ａを、調整部４が調整した３次元データに更新する。
　角度推定部１１は、撮像データ７０Ａ内の顔の角度を推定する。顔の角度は、対象人物が撮像装置７０に対して正面を向いた状態を基準とする。角度推定部１１は、撮像データ７０Ａ内の顔の複数の顔特徴点、例えば、鼻の先端、あご、左目の左隅、右目の右隅、口の左隅、および口の右隅の座標を検出する。そして、角度推定部１１は、記憶装置７１に記憶され、３次元データ更新装置１により更新される３次元データ７１Ａからも顔特徴点を検出する。角度推定部１１は、撮像データ７０Ａから検出した顔特徴点と、３次元データ７１Ａから検出した顔特徴点とから、行列変換などの計算を行い、角度を求める。
［動作説明］
　次に、本実施形態における３次元データ更新装置１の動作について説明する。図４は、本実施形態における３次元データ更新装置１の動作を示すフロー図である。本実施形態では、３次元データ更新装置１を動作させることによって、３次元データ更新方法が実施される。よって、本実施形態における３次元データ更新方法の説明は、以下の３次元データ更新装置１の動作説明に代える。
　まず、前提として、撮像装置７０により対象人物の顔が撮像される。この前提において、撮像データ取得部２は、撮像装置７０により撮像された撮像データ７０Ａを取得する（Ｓ１）。次に、調整部４は、撮像データ７０Ａから顔特徴点を検出する（Ｓ２）。例えば、調整部４は、撮像データ７０Ａから、「左の目じりの端」、「右の目じりの端」、「鼻の頂点」、「左の口角」、「右の口角」および「あご先」の６点の顔特徴点を検出する。次に、３次元データ取得部３は、記憶装置７１から３次元データ７１Ａを取得する（Ｓ３）。調整部４は、３次元データ７１Ａから、上記６点の顔特徴点を検出する（Ｓ４）。なお、撮像データ７０Ａおよび３次元データ７１Ａを取得する順序、顔特徴点を検出する順序はこれに限定されない。また、調整部４が検出する顔特徴点の種類および数も、これに限定されない。
　調整部４は、検出した撮像データ７０Ａおよび３次元データ７１Ａそれぞれの顔特徴点の位置座標を比較して、位置座標の変位量を検出する（Ｓ５）。調整部４は、検出した位置座標の変化量に基づいて、３次元データ７１Ａの各顔特徴点の位置座標を調整する（Ｓ６）。更新部５は、記憶装置７１に記憶される３次元データ７１Ａを、Ｓ６で調整された３次元データ７１Ａに更新する（Ｓ７）。
　このように、平均的な顔形状の３次元データ７１Ａは、図４に示す動作を繰り返し実行することで、対象人物の顔形状に近似するようになる。この図４に示す動作は、顔向き推定装置１０が対象人物の顔向きを推定するたびに実行されてもよいし、顔向き推定とは関係なく、定期的に実行されてもよい。
［実施形態による効果］
　以上の構成の３次元データ更新装置１により、平均的な顔形状の３次元データ７１Ａを撮像装置が撮像する人物に近似する顔形状に更新して、３次元データ７１Ａを高精度にすることができる。この３次元データ７１Ａを、例えば顔認証の認証用のデータに用いることで、認証精度を高めることができる。
［プログラム］
　本実施形態におけるプログラムは、コンピュータに、図４に示すステップＳ１～Ｓ７を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施形態における３次元データ更新装置１、顔向き推定装置１０および３次元データ更新方法を実現することができる。この場合、コンピュータのプロセッサは、撮像データ取得部２、３次元データ取得部３、調整部４および更新部５として機能し、処理を行なう。
　また、本実施形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、撮像データ取得部２、３次元データ取得部３、調整部４および更新部５のいずれかとして機能してもよい。
［物理構成］
　ここで、本実施形態におけるプログラムを実行することによって、３次元データ更新装置１および顔向き推定装置１０を実現するコンピュータについて図５を用いて説明する。図５は、本実施形態における３次元データ更新装置１および顔向き推定装置１０を実現するコンピュータの一例を示すブロック図である。
　図５に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２５を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、またはＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、またはＦＰＧＡ（Field-Programmable Gate Array）を備えていてもよい。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。
　また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
　データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））およびＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、またはＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
　なお、本実施形態における顔向き推定装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、３次元データ更新装置１および顔向き推定装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
　上述した実施形態の一部または全部は、以下に記載する（付記１）～（付記１０）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新装置であって、
　前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
　前記３次元データを前記記憶装置から取得する３次元データ取得部と、
　前記撮像データ取得部が取得した前記撮像データと、前記３次元データ取得部が取得した３次元データとを用いて、前記３次元データを調整する調整部と、
　前記記憶装置に記憶される３次元データを、前記調整部による調整後の３次元データに更新する更新部と、
を備える、ことを特徴とする３次元データ更新装置。
（付記２）
　付記１に記載の３次元データ更新装置であって、
　前記調整部は、前記３次元データ内の顔特徴点の位置座標を調整する、
　ことを特徴とする３次元データ更新装置。
（付記３）
　付記２に記載の３次元データ更新装置であって、
　前記調整部は、
　前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点の位置座標を調整する、
　ことを特徴とする３次元データ更新装置。
（付記４）
　撮像装置が撮像した対象の顔の撮像データと、記憶装置に記憶される３次元データとを比較して、前記対象人物の顔の角度を推定する顔向き推定装置であって、
　前記撮像装置により撮像された撮像データを取得する撮像データ取得部と、
　前記３次元データを前記記憶装置から取得する３次元データ取得部と、
　前記撮像データ取得部が取得した前記撮像データと、前記３次元データ取得部が取得した３次元データとを用いて、前記３次元データを調整する調整部と、
　前記記憶装置に記憶される３次元データを、前記調整部による調整後の３次元データに更新する更新部と、
を備える、ことを特徴とする顔向き推定装置。
（付記５）
　記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新方法であって、
　前記撮像装置により撮像された撮像データを取得するステップと、
　前記３次元データを前記記憶装置から取得するステップと、
　取得した前記撮像データと、取得した３次元データとを用いて、前記３次元データを調整するステップと、
　前記記憶装置に記憶される３次元データを、調整後の３次元データに更新するステップと、
　を有することを特徴とする３次元データ更新方法。
（付記６）
　付記５に記載の３次元データ更新方法であって、
　前記取得した３次元データを調整するするステップでは、前記３次元データ内の顔特徴点の位置座標を調整する、
　ことを特徴とする３次元データ更新方法。
（付記７）
　付記６に記載の３次元データ更新方法であって、
　前記取得した３次元データを調整するするステップでは、
　前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点の位置座標を調整する、
　ことを特徴とする３次元データ更新方法。
（付記８）
　記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新するコンピュータに、
　前記撮像装置により撮像された撮像データを取得するステップと、
　前記３次元データを前記記憶装置から取得するステップと、
　取得した前記撮像データと、取得した３次元データとを用いて、前記３次元データを調整するステップと、
　前記記憶装置に記憶される３次元データを、調整後の３次元データに更新するステップと、
　を実行させる命令を含むプログラムを記録した、コンピュータ読み取り可能な記録媒体。
（付記９）
　付記８に記載のコンピュータ読み取り可能な記録媒体であって、
　前記プログラムは、
　前記コンピュータに、
　前記取得した３次元データを調整させるときは、前記３次元データ内の顔特徴点の位置座標を調整するステップ、
　を実行させる命令を含む、コンピュータ読み取り可能な記録媒体。
（付記１０）
　付記９に記載のコンピュータ読み取り可能な記録媒体であって、
　前記取得した３次元データを調整するステップでは、
　前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点を調整する、
　コンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１９年６月２０日に出願された日本出願特願2019-114767を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上のように、本発明によれば、予め記憶した３次元データと、撮像して得られる撮像データとを比較する技術に利用できる。
１　　　３次元データ更新装置
２　　　撮像データ取得部
３　　　３次元データ取得部
４　　　調整部
５　　　更新部
１０　　顔向き推定装置
１１　　角度推定部
７０　　撮像装置
７０Ａ　撮像データ
７１　　記憶装置
７１Ａ　３次元データ
１１０　コンピュータ
１１１　ＣＰＵ
１１２　メインメモリ
１１３　記憶装置
１１４　入力インターフェイス
１１５　表示コントローラ
１１６　データリーダ／ライタ
１１７　通信インターフェイス
１１８　入力機器
１１９　ディスプレイ装置
１２０　記録媒体
１２５　バス

Claims (10)

  1. 　記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新装置であって、
    　前記撮像装置により撮像された撮像データを取得する撮像データ取得手段と、
    　前記３次元データを前記記憶装置から取得する３次元データ取得手段と、
    　前記撮像データ取得手段が取得した前記撮像データと、前記３次元データ取得手段が取得した３次元データとを用いて、前記３次元データを調整する調整手段と、
    　前記記憶装置に記憶される３次元データを、前記調整手段による調整後の３次元データに更新する更新手段と、
    を備える、３次元データ更新装置。
  2. 　請求項１に記載の３次元データ更新装置であって、
    　前記調整手段は、前記３次元データ内の顔特徴点の位置座標を調整する、
    　３次元データ更新装置。
  3. 　請求項２に記載の３次元データ更新装置であって、
    　前記調整手段は、
    　前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点の位置座標を調整する、
    　３次元データ更新装置。
  4. 　撮像装置が撮像した対象の顔の撮像データと、記憶装置に記憶される３次元データとを比較して、前記対象人物の顔の角度を推定する顔向き推定装置であって、
    　前記撮像装置により撮像された撮像データを取得する撮像データ取得手段と、
    　前記３次元データを前記記憶装置から取得する３次元データ取得手段と、
    　前記撮像データ取得手段が取得した前記撮像データと、前記３次元データ取得手段が取得した３次元データとを用いて、前記３次元データを調整する調整手段と、
    　前記記憶装置に記憶される３次元データを、前記調整手段による調整後の３次元データに更新する更新手段と、
    を備える、顔向き推定装置。
  5. 　記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新する３次元データ更新方法であって、
    　前記撮像装置により撮像された撮像データを取得し、
    　前記３次元データを前記記憶装置から取得し、
    　取得した前記撮像データと、取得した３次元データとを用いて、前記３次元データを調整し、
    　前記記憶装置に記憶される３次元データを、調整後の３次元データに更新する、
    　３次元データ更新方法。
  6. 　請求項５に記載の３次元データ更新方法であって、
    　前記取得した３次元データを調整するときは、前記３次元データ内の顔特徴点の位置座標を調整する、
    　３次元データ更新方法。
  7. 　請求項６に記載の３次元データ更新方法であって、
    　前記取得した３次元データを調整するときは、
    　前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点の位置座標を調整する、
    　３次元データ更新方法。
  8. 　記憶装置に記憶される顔の３次元データを、撮像装置が撮像した人物の顔の撮像データに基づいて更新するコンピュータに、
    　前記撮像装置により撮像された撮像データを取得させ、
    　前記３次元データを前記記憶装置から取得させ、
    　取得した前記撮像データと、取得した３次元データとを用いて、前記３次元データを調整させ、
    　前記記憶装置に記憶される３次元データを、調整後の３次元データに更新させる、
    　命令を含むプログラムを記録した、コンピュータ読み取り可能な記録媒体。
  9. 　請求項８に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記プログラムは、
    　前記コンピュータに、
    　前記取得した３次元データを調整させるときは、前記３次元データ内の顔特徴点の位置座標を調整させる、
    　命令を含む、コンピュータ読み取り可能な記録媒体。
  10. 　請求項９に記載のコンピュータ読み取り可能な記録媒体であって、
    　前記取得した３次元データを調整させるときは、
    　前記撮像データおよび前記３次元データそれぞれの顔特徴点を検出し、検出した顔特徴点を比較して変化量を検出し、前記変化量を用いて、前記３次元データの顔特徴点を調整させる、
    　コンピュータ読み取り可能な記録媒体。
PCT/JP2020/020747 2019-06-20 2020-05-26 ３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびコンピュータ読み取り可能な記録媒体 WO2020255645A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021527505A JP7276968B2 (ja) 2019-06-20 2020-05-26 ３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019114767 2019-06-20
JP2019-114767 2019-06-20

Publications (1)

Publication Number Publication Date
WO2020255645A1 true WO2020255645A1 (ja) 2020-12-24

Family

ID=74037105

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020747 WO2020255645A1 (ja) 2019-06-20 2020-05-26 ３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
JP (1) JP7276968B2 (ja)
WO (1) WO2020255645A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199417A (ja) * 2008-02-22 2009-09-03 Denso Corp 顔追跡装置及び顔追跡方法
US20150042743A1 (en) * 2013-08-09 2015-02-12 Samsung Electronics, Ltd. Hybrid visual communication
US20160148425A1 (en) * 2014-11-25 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for generating personalized 3d face model
US20170018088A1 (en) * 2015-07-14 2017-01-19 Samsung Electronics Co., Ltd. Three dimensional content generating apparatus and three dimensional content generating method thereof
US20190164341A1 (en) * 2017-11-27 2019-05-30 Fotonation Limited Systems and Methods for 3D Facial Modeling

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199417A (ja) * 2008-02-22 2009-09-03 Denso Corp 顔追跡装置及び顔追跡方法
US20150042743A1 (en) * 2013-08-09 2015-02-12 Samsung Electronics, Ltd. Hybrid visual communication
US20160148425A1 (en) * 2014-11-25 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for generating personalized 3d face model
US20170018088A1 (en) * 2015-07-14 2017-01-19 Samsung Electronics Co., Ltd. Three dimensional content generating apparatus and three dimensional content generating method thereof
US20190164341A1 (en) * 2017-11-27 2019-05-30 Fotonation Limited Systems and Methods for 3D Facial Modeling

Also Published As

Publication number Publication date
JPWO2020255645A1 (ja) 2021-11-25
JP7276968B2 (ja) 2023-05-18

Similar Documents

Publication Publication Date Title
JP4830650B2 (ja) 追跡装置
CN105760826B (zh) 一种人脸跟踪方法、装置和智能终端
US9519968B2 (en) Calibrating visual sensors using homography operators
US11138419B2 (en) Distance image processing device, distance image processing system, distance image processing method, and non-transitory computer readable recording medium
US9727776B2 (en) Object orientation estimation
JP2011134114A (ja) パターン認識方法およびパターン認識装置
JP7064257B2 (ja) 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体
EP3633606B1 (en) Information processing device, information processing method, and program
US10708571B2 (en) Video frame processing
EP3198522A1 (en) A face pose rectification method and apparatus
US20210056291A1 (en) Method for analysis of an intrinsic facial feature of a face
US20230230305A1 (en) Online streamer avatar generation method and apparatus
CN112017212A (zh) 人脸关键点跟踪模型的训练、跟踪方法及系统
WO2020255645A1 (ja) ３次元データ更新装置、顔向き推定装置、３次元データ更新方法およびコンピュータ読み取り可能な記録媒体
KR102538685B1 (ko) 다시점 정보를 이용하여 3d 정보를 복원하는 방법 및 이를 위한 장치
JP2021144359A (ja) 学習装置、推定装置、学習方法、及びプログラム
US20170109569A1 (en) Hybrid face recognition based on 3d data
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP7327776B2 (ja) 表情推定装置、感情判定装置、表情推定方法及びプログラム
JP2007213582A (ja) デジタル画像データ内のオブジェクト・パーツの場所を特定する方法および装置
KR102074977B1 (ko) 전자 장치 및 그의 제어 방법
JPWO2020175085A1 (ja) 画像処理装置、及び画像処理方法
WO2024070610A1 (ja) 情報処理方法及び情報処理装置
US20230196593A1 (en) High Density Markerless Tracking
WO2024009744A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20826018

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021527505

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20826018

Country of ref document: EP

Kind code of ref document: A1