WO2018173314A1 - 顔認識装置 - Google Patents

顔認識装置 Download PDF

Info

Publication number
WO2018173314A1
WO2018173314A1 PCT/JP2017/030901 JP2017030901W WO2018173314A1 WO 2018173314 A1 WO2018173314 A1 WO 2018173314A1 JP 2017030901 W JP2017030901 W JP 2017030901W WO 2018173314 A1 WO2018173314 A1 WO 2018173314A1
Authority
WO
WIPO (PCT)
Prior art keywords
face
unit
fitting
wearing
captured image
Prior art date
Application number
PCT/JP2017/030901
Other languages
English (en)
French (fr)
Inventor
山田祐也
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to CN201780088731.8A priority Critical patent/CN110462625B/zh
Priority to US16/496,123 priority patent/US11074431B2/en
Priority to DE112017007303.0T priority patent/DE112017007303B4/de
Publication of WO2018173314A1 publication Critical patent/WO2018173314A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a face recognition device for recognizing a human face.
  • the sunglasses wear detection device described in Patent Literature 1 includes an image input unit that acquires an input image and an image processing unit that detects a person wearing sunglasses from the input image.
  • the image processing unit includes a head extraction unit that extracts a head region corresponding to a human head from an input image, a black pixel extraction unit that extracts a black pixel that is substantially black in the head region, and a black pixel.
  • Using the feature amount calculating means for calculating the feature amount of the head region based on the distribution of and the feature amount it is determined that the person is wearing sunglasses if the black pixels are distributed substantially symmetrically, If the black pixels are not distributed substantially symmetrically, it is provided with determination means for determining that the person is not wearing sunglasses.
  • the face state detection device described in Patent Document 2 captures the face of a subject by a face image capturing unit, and detects the orientation of the subject's face based on the captured face image.
  • the face state detection device is configured to detect whether or not the subject is wearing spectacles when the subject detects that the subject is wearing spectacles.
  • a face direction detecting means for detecting the face direction of the subject based on the feature amount detected by the feature amount detecting means.
  • An image processing apparatus described in Patent Document 3 has a resolution conversion unit that converts at least a portion of a predetermined structure of an input image into a desired resolution, and a resolution that is the same as the desired resolution that represents the predetermined structure.
  • a resolution conversion unit that converts at least a portion of a predetermined structure of an input image into a desired resolution, and a resolution that is the same as the desired resolution that represents the predetermined structure.
  • the sunglasses wearing detection device described in Patent Document 1 determines whether or not sunglasses are worn from a person on the image based on edges, luminance values, left-right symmetry, and the like. For this reason, the presence / absence of wearing sunglasses can be detected, but fitting is not assumed even when the person is facing sideways, and a face facing sideways cannot be detected.
  • the face state detection device described in Patent Document 2 detects sunglasses and detects the reflection of the background on the lens.
  • the face orientation is detected based on the alignment with the reflected pillars and mirrors in the car and the state of the spectacle frame. For this reason, the face orientation cannot be detected when there is no reflection on the lens.
  • the image to be reflected differs depending on the shape of the sunglasses, it is not easy to align the position, and it is necessary to use dedicated sunglasses.
  • the image processing apparatus described in Patent Document 3 detects a face using a three-dimensional model of the face and feature points (2D) detected from the image, and changes the resolution. For this reason, when a facial part is hidden by a decorative object, or when a facial part is originally hidden by sunglasses or a mask, or when a facial part is hidden by a brim of a hat during face recognition, etc. It becomes impossible to recognize properly.
  • the feature configuration of the face recognition device is that a determination unit that determines presence / absence of an attachment attached to the face from a captured image obtained by photographing a person's face, and an attachment on the face by the determination unit If determined, an acquisition unit that acquires height information indicating the height of the wearing object from the face surface, a generation unit that generates a three-dimensional face model based on the height information, and the tertiary And a fitting unit for fitting a face included in the captured image using an original face model.
  • the face recognition device specifies the wearing object when the relationship between the wearing object and the height information is stored in advance and the determination unit determines that the wearing object is on the face. It is preferable that the acquisition unit further acquires height information of an attachment specified by the specification unit from the storage unit.
  • the face recognition device further includes a rotation amount calculation unit that calculates the amount of rotation of the face by tracking the feature points of the face after fitting by the fitting unit, and the rotation amount calculation unit includes: In the case where the person faces down and the feature point is hidden by the hat, the hidden feature point may be excluded from the tracking target.
  • the height of the wearing object from the face surface is calculated and obtained by image recognition processing.
  • the three-dimensional shape of the cap collar can be grasped by the monocular stereo matching technique. Therefore, even when the wearing object is a hat, a three-dimensional face model can be easily created based on the three-dimensional shape.
  • the face recognition device is configured to be able to recognize a face appropriately even when the orientation of the face to which the attachment is attached changes.
  • the face recognition device 1 of the present embodiment will be described.
  • FIG. 1 is a block diagram schematically showing the configuration of the face recognition device 1 of the present embodiment.
  • the face recognition device 1 includes a captured image acquisition unit 10, a determination unit 11, a specification unit 12, an acquisition unit 13, a storage unit 14, a creation unit 15, a fitting unit 16, and a rotation amount calculation unit 17.
  • each functional unit is constructed with hardware and / or software or both with a CPU as a core member.
  • the face recognition device 1 recognizes the face of a person sitting on a seat provided in a vehicle will be described.
  • the captured image acquisition unit 10 captures images from the front of the seat provided in the vehicle toward the seat.
  • the captured image acquisition unit 10 is preferably an infrared camera that can discriminate what appears in the acquired captured image even when the amount of light is small (at night or in the shade).
  • the captured image acquisition unit 10 can also use an infrared camera included in another device.
  • the captured image acquisition unit 10 sets the capturing range and the capturing direction so that at least the face of the person is included in the captured image.
  • the captured image acquired by the captured image acquisition unit 10 is transmitted to the determination unit 11 described later.
  • the determination unit 11 determines the presence / absence of an attachment attached to the face from a captured image obtained by photographing a person's face. First, the determination unit 11 detects a face area where a face appears in the captured image transmitted from the captured image acquisition unit 10. Although detection of the face area is omitted, it can be performed by face recognition processing using known machine learning. Next, the determination unit 11 determines whether or not an attachment is attached to the face reflected in the detected face area.
  • the wearing items in the present embodiment are sunglasses, a mask, and a hat.
  • FIG. 2 (a) shows an example of a face wearing sunglasses
  • FIG. 2 (b) shows an example of a face wearing a mask
  • FIG. An example of a face wearing a hat is shown.
  • the presence / absence of such an attachment is determined by a known face recognition process.
  • the determination unit 11 transmits a determination result to the specifying unit 12 described later when it is determined that there is an attachment on the face, and the determination result is transmitted to a fitting unit 16 described later when it is determined that there is no attachment on the face. introduce.
  • the specifying unit 12 specifies the wearing object when the determining unit 11 determines that there is an wearing object on the face. As described above, the determination result is transmitted to the specifying unit 12 when the determination unit 11 determines that there is an attachment on the face.
  • the identification unit 12 receives the determination result, and identifies an attached item attached to the face included in the face area. For example, the position of both eyes in the face area and the vicinity of the face is covered with a color different from the color of the other area. And when it is covered with a color different from the colors of other regions, it can be specified as a mask. For example, when the upper part of the face is covered in the face area, it can be specified as a hat. Such identification can be performed by a known image recognition process. The identification result by the identification unit 12 is transmitted to the acquisition unit 13 described later.
  • the acquisition unit 13 acquires height information indicating the height of the attachment from the face surface when the determination unit 11 determines that the attachment is on the face.
  • the determination unit 11 may be configured to directly indicate the determination result to the acquisition unit 13, or as described above, the determination unit 11 Transmits the determination result to the specifying unit 12, and when the specifying unit 12 specifies the wearing object, the specifying unit 12 indicates the specifying result to the acquiring unit 13, whereby the determining unit 11 determines that there is an wearing object on the face. You may comprise so that it may be shown.
  • the height of the wearing object from the face surface is the height from the face surface to each part of the sunglasses when the wearing object is sunglasses, and from the face surface when the wearing object is a mask. It is the height to each part of the mask, and when the wearing object is a hat, it is the height from the face surface to each part of the hat.
  • the height of the wearing object from the face surface may be the height from the face surface to all edges of the wearing object, or the height to some edge of the wearing object in order to reduce computation processing. It's also good.
  • the height of such an attachment is handled as height information in the face recognition device 1.
  • the storage unit 14 stores in advance the relationship between the attachment and the height information.
  • the relationship between the wearing object and the height information is a relationship indicating the height of the sunglasses from the face surface when the wearing object is sunglasses, and when the wearing object is a mask, It is the relationship which showed the height of the mask from the surface. Since such sunglasses and masks have a general height, it is preferable to store the relationship between the wearing object and the height information in advance. However, since there are various types of hats depending on the shape and the size of the collar, the storage unit 14 may not store the relationship between the hat and the height information.
  • the obtaining unit 13 obtains the height information of the attachment specified by the specifying unit 12 from the storage unit 14. That is, the acquiring unit 13 acquires the height information of the sunglasses stored in advance in the storage unit 14 when the specifying unit 12 specifies that the wearing object is sunglasses, and the specifying unit 12 masks the wearing object. When it is specified that the mask height is stored, the mask height information stored in the storage unit 14 in advance is acquired. Thereby, the acquisition unit 13 can acquire height information indicating the height of general sunglasses or a mask from the face surface.
  • the acquisition unit 13 calculates and obtains the height of the wearing object from the face surface by image recognition processing using the captured image acquired by the captured image acquisition unit 10.
  • image recognition processing it is preferable to first recognize a three-dimensional shape from a captured image and acquire the three-dimensional shape of the cap collar by image recognition using a general monocular stereo matching technique using time series.
  • the height information acquired by the acquisition unit 13 is transmitted to the creation unit 15 described later.
  • the creation unit 15 creates a three-dimensional face model based on the height information.
  • the height information is transmitted from the acquisition unit 13 to the creation unit 15.
  • a three-dimensional face model is a model that shows a human face in three dimensions, and can be translated along the X, Y, and Z directions defined with respect to the center of the face. This is a model configured to be rotatable about the X-axis, Y-axis, and Z-axis. Such a three-dimensional face model is prepared according to the wearing object.
  • FIG. 3 shows a three-dimensional face model when there is no attachment on the face.
  • a black circle is a feature point used for face recognition
  • a white circle is a face portion shown for easy understanding.
  • the creation unit 15 creates a three-dimensional face model corresponding to the attachment based on the three-dimensional face model and height information when there is no such attachment. Specifically, when wearing sunglasses, the creation unit 15 creates a three-dimensional face model for sunglasses in which the height around the eyes is increased based on the height information of the sunglasses.
  • a three-dimensional face model for sunglasses is shown in FIG. In FIG. 4, feature points before being raised are indicated by broken lines, and feature points after being raised are indicated by black circles. Furthermore, sunglasses are also indicated by a two-dot chain line for easy understanding. Since the feature points around the nose and mouth do not change according to the wearing of the sunglasses, the feature points when there is no attachment are used as they are.
  • the creation unit 15 creates a 3D face model for the mask in which the height around the nose and mouth is increased based on the mask height information.
  • a three-dimensional face model for the mask is shown in FIG. In FIG. 5, the feature points before being raised are indicated by broken lines, and the feature points after being raised are indicated by black circles. Furthermore, the mask is also indicated by a two-dot chain line for easy understanding. Since the feature points around the eyes do not change in accordance with the wearing of the mask, the feature points when there is no wearing object are used as they are.
  • the three-dimensional face model for sunglasses and the three-dimensional face model for mask may be created every time they are used, or once created, they may be stored and read and used at the time of use. .
  • the acquisition unit 13 acquires the three-dimensional shape of the collar of the hat by image recognition by the image recognition process, but the generation unit 15 acquires the three-dimensional shape acquired. Is superimposed on the three-dimensional face model when there is no attachment, and a three-dimensional face model for the hat is created.
  • This three-dimensional face model for a hat is preferably created according to the shape of the hat every time it is specified that the wearing object is a hat.
  • An example of a three-dimensional face model for a hat is shown in FIG. In FIG. 6, the hat is indicated by a two-dot chain line for easy understanding.
  • the creation unit 15 creates a three-dimensional face model corresponding to the wearing object in this way.
  • the three-dimensional face model created by the creation unit 15 is transmitted to the fitting unit 16 described later.
  • the fitting unit 16 fits a face included in the captured image using a three-dimensional face model.
  • the three-dimensional face model is transmitted from the creation unit 15.
  • the captured image is also transmitted from the captured image acquisition unit 10 to the fitting unit 16.
  • the fitting unit 16 detects facial feature points included in the captured image.
  • the facial feature points include, for example, the eyebrows, the eyebrows, the eyes, the eyes, the nose column, and the corners of the mouth.
  • sunglasses when sunglasses are worn on the face, for example, the edge of sunglasses is a feature point, and when a mask is worn, for example, the edge of the mask is a feature point.
  • the collar portion of the hat is a feature point.
  • the above-described feature points are also set in the three-dimensional face model created according to the wearing object.
  • “Fitting” means that the object A is matched (matched) with the object B different from the object A, and in the present embodiment, the “feature feature points included in the captured image” are referred to as “third order”. Matching (matching) with “feature points of original face model”. Therefore, the fitting unit 16 uses the center of the 3D face model as a reference so that the feature point of the 3D face model corresponding to the attachment attached to the face included in the captured image matches the feature point of the captured image.
  • the three-dimensional face model is translated along prescribed X-axis, Y-axis, and Z-axis directions, or the three-dimensional face model is rotated about the X-axis, Y-axis, and Z-axis.
  • FIG. 7 (a) shows a fitting result when a face of a person wearing sunglasses is fitted using a three-dimensional face model when there is no attachment
  • FIG. 7 (b) A fitting result in a case where the face of a person wearing sunglasses is fitted using a three-dimensional face model for sunglasses is shown.
  • the feature points described above are indicated by black circles, and the outline of the face is indicated by white circles.
  • FIG. 7 shows a fitting result when a face of a person wearing sunglasses is fitted using a three-dimensional face model when there is no attachment
  • the third order Deviation occurs between the contour of the original face model (the contour indicated by a white circle) and the contour of the captured image (the contour indicated by the broken line) (larger than the example of FIG. 7B described later). Although not shown in the figure, this is the same even when fitting a face of a person wearing a mask using a three-dimensional face model when there is no wearing object.
  • the feature point (outer edge portion of the sunglasses) is tertiary. Even when the original face models are matched, the deviation between the contour of the three-dimensional face model and the contour of the captured image is small compared to the example of FIG.
  • the three-dimensional face model can be appropriately matched to the face orientation in the captured image.
  • the translation amount and the rotation amount of the three-dimensional face model when the fitting unit 16 performs the fitting are transmitted to a rotation amount calculation unit 17 described later. At this time, it is preferable that information indicating the feature point of the captured image that matches the feature point of the three-dimensional face model is also transmitted to the rotation amount calculation unit 17 described later.
  • Rotation amount calculation unit 17 calculates the amount of rotation of the face by tracking facial feature points after fitting by fitting unit 16. As described above, the rotation amount calculation unit 17 includes the features of the 3D face model together with the translation amount and the rotation amount when the feature points of the 3D face model and the feature points of the captured image are matched from the fitting unit 16. Information indicating the feature point of the captured image that matches the point is transmitted. Thereby, the rotation amount calculation unit 17 calculates the rotation amount of the face included in the captured image used when the fitting unit 16 performs the fitting with respect to a predetermined reference direction (for example, the direction facing the captured image acquisition unit 10). can do.
  • a predetermined reference direction for example, the direction facing the captured image acquisition unit 10
  • the acquired captured images are sequentially transmitted from the captured image acquisition unit 10 to the rotation amount calculation unit 17.
  • the rotation amount calculation unit 17 identifies the feature point based on information indicating the feature point of the captured image that matches the feature point of the three-dimensional face model from the fitting unit 16, and is sequentially transmitted from the captured image acquisition unit 10. The feature point is tracked (followed) in the captured image.
  • the rotation amount calculation unit 17 calculates the rotation amount of the face included in the captured image according to the following amount and the following direction.
  • the rotation amount calculation unit 17 when the person included in the captured image wears a hat with a collar, when the person turns downward while the rotation amount calculation unit 17 is tracking the feature point, the feature point (for example, Eyes, eyebrows, etc.) may be hidden by the collar. Therefore, when the wearing object is a hat and the person faces down and the feature point is hidden by the hat, the rotation amount calculation unit 17 is preferably excluded from the tracking target. By configuring in this way, hidden feature points are excluded from the tracking target, and feature points based on the collar part of the hat are continuously tracked. Can be prevented. Accordingly, since hidden feature points are not erroneously used for calculation of the rotation amount, erroneous calculation can be prevented, and the face recognition device 1 can perform face recognition with high accuracy.
  • the feature point for example, Eyes, eyebrows, etc.
  • the captured image acquisition unit 10 acquires a captured image (step # 1). Using this captured image, the determination unit 11 determines whether or not there is an attachment on the face (step # 2).
  • the fitting unit 16 uses a three-dimensional face model for the mask (step # 4).
  • the fitting unit 16 detects the feature point of the captured image (step # 5), and fits the feature point of the three-dimensional face model and the feature point detected from the captured image (step # 6).
  • the rotation amount calculation unit 17 uses the rotation amount and translation amount when fitting the feature point of the three-dimensional face model to the feature point detected from the captured image, and the rotation amount and the rotation direction based on the tracking of the detected feature point.
  • the direction of the face is calculated (step # 7).
  • step # 3 when the specifying unit 12 specifies that the wearing object is not a mask (step # 3: No) and is sunglasses (step # 8: Yes), the fitting unit 16 is three-dimensional for sunglasses.
  • the face model is used (step # 9), and the processing is continued from step # 5.
  • step # 8 when the specifying unit 12 specifies that the wearing object is not sunglasses (step # 8: No) but is a hat (step # 10: Yes), the fitting unit 16 is a tertiary for variable shape. Since the original face model is used (step # 11), the creation unit 15 updates the three-dimensional face model for shape change based on the height information indicating the height of the wearing object from the face (step # 11). 12). The fitting unit 16 detects the feature point of the captured image (step # 13), and fits the feature point of the three-dimensional face model and the feature point detected from the captured image (step # 14).
  • the rotation amount calculation unit 17 uses the rotation amount and translation amount when fitting the feature point of the three-dimensional face model to the feature point detected from the captured image, and the rotation amount and the rotation direction based on the tracking of the detected feature point.
  • the direction of the face is calculated (step # 15).
  • the rotation amount calculation unit 17 excludes the hidden feature point from the tracking target (step # 17).
  • step # 16 if the feature point is not hidden by the hat (step # 16: No), the process is continued.
  • step # 10 when it is not specified that the wearing object is a hat (step # 10: No), the wearing object uses a useless 3D face model (step # 18), and the processing from step # 5 is performed. Is continued.
  • the face recognition device 1 performs processing along such a flow.
  • the face recognition device 1 has been described as including the specifying unit 12 and the storage unit 14, but the face recognition device 1 may not include the specifying unit 12 and the storage unit 14. In such a case, the face recognition device 1 may be configured such that the creation unit 15 creates a three-dimensional face model based on the height information acquired by the acquisition unit 13.
  • the face recognition device 1 is described as including the rotation amount calculation unit 17, but the face recognition device 1 may not include the rotation amount calculation unit 17.
  • the face recognition apparatus 1 may be configured to perform fitting of the feature points of the three-dimensional face model and the face included in the captured image, and perform the subsequent processing with another apparatus.
  • the height of the wearing object from the surface of the face is calculated and obtained by image recognition processing.
  • the height of the wearing object is predetermined. It may be set to the value of.
  • the face recognition device 1 has been described with reference to an example in which the face of a person sitting on a seat provided in a vehicle is recognized.
  • the face recognition device 1 can be used for other purposes. .
  • the present invention can be used in a face recognition device that recognizes a human face.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

顔認識装置は、人の顔を撮影した撮像画像から顔に装着される装着物の有無を判定する判定部と、判定部により顔に装着物が有ると判定された場合に、顔の表面からの装着物の高さを示す高さ情報を取得する取得部と、高さ情報に基づいて三次元顔モデルを作成する作成部と、三次元顔モデルを用いて撮像画像に含まれる顔をフィッティングするフィッティング部と、を備える。

Description

顔認識装置
　本発明は、人の顔を認識する顔認識装置に関する。
　従来、人の顔を認識する顔認識装置が利用されてきた。このような人の顔を認識する技術して、例えば下記に出典を示す特許文献１－３に記載のものがある。
　特許文献１に記載のサングラス着用検出装置は、入力画像を取得する画像入力部と、入力画像からサングラスを着用している人物を検出する画像処理部とを備えて構成される。画像処理部は、入力画像から人物の頭部に相当する頭部領域を抽出する頭部抽出手段と、頭部領域に含まれる略黒色を呈する黒画素を抽出する黒画素抽出手段と、黒画素の分布に基づいて頭部領域の特徴量を算出する特徴量算出手段と、特徴量を用いて、黒画素が略左右対称に分布していると人物がサングラスを着用していると判定し、黒画素が略左右対称に分布していないと人物はサングラスを着用していないと判定する判定手段とを備えている。
　特許文献２に記載の顔状態検出装置は、対象者の顔を顔画像撮像手段にて撮像し、撮像された顔画像に基づいて、当該対象者の顔の向きを検出する。この顔状態検出装置は、対象者が眼鏡を掛けているか否かを検出する眼鏡検出手段と、眼鏡検出手段にて、対象者が眼鏡を掛けていることが検出された際には、当該眼鏡に映り込みが存在するか否かを検出する映り込み検出手段と、当該映り込み検出手段にて検出される映り込み映像の位置、或いは検出された眼鏡の特徴量を検出する特徴量検出手段と、特徴量検出手段にて検出された特徴量に基づいて、対象者の顔の向きを検出する顔の向き検出手段とを備えている。
　特許文献３に記載の画像処理装置は、入力画像の少なくとも所定の構造物の部分を所望の解像度に変換する解像度変換手段と、所定の構造物が表された、所望の解像度と同一の解像度を有する複数の画像に対して所定の統計処理を行うことによって得られた統計的特徴量により構造物が表現されたモデルと、解像度変換後の入力画像中の構造物をモデルに適応させ、適応後の構造物を表す画像を再構成する再構成手段とを備えている。
特開２０１０－１８６２７４号公報 特開２００２－２２６５１６号公報 特開２００６－３５０４９８号公報
　特許文献１に記載のサングラス着用検出装置は、画像上の人物からエッジと輝度値と左右対称性等からサングラスを装着しているか否かを判定する。このため、サングラスの装着の有無は検出できるが、人物が横を向いている場合のフィッティングまで想定されておらず、横向きの顔を検出することができない。
　特許文献２に記載の顔状態検出装置は、サングラスを検出し、レンズへの背景の映り込みを検出する。映り込んだ車内のピラーやミラーとの位置合わせや眼鏡フレームの状態に基づいて顔向きを検出する。このため、レンズへの映り込みが生じていない場合には顔向きを検出することができない。また、サングラスの形状により映り込む映像が異なるため、位置合わせが容易ではなく、専用のサングラスを用いる必要がある。
　特許文献３に記載の画像処理装置は、顔の３次元モデルと画像で検出した特徴点（２Ｄ）を用いて顔を検出し、解像度を変更する。このため、装飾物で顔の部品が隠れた場合や、元々顔の部品がサングラスやマスクで隠れている場合に加えて、顔の認識中に帽子のつば等で顔の部品が隠れた場合に適切に認識することができなくなってしまう。
　そこで、顔に装着物がある場合であっても、適切に顔を認識することが可能な顔認識装置が求められる。
　本発明に係る顔認識装置の特徴構成は、人の顔を撮影した撮像画像から前記顔に装着される装着物の有無を判定する判定部と、前記判定部により前記顔に装着物が有ると判定された場合に、前記顔の表面からの前記装着物の高さを示す高さ情報を取得する取得部と、前記高さ情報に基づいて三次元顔モデルを作成する作成部と、前記三次元顔モデルを用いて前記撮像画像に含まれる顔をフィッティングするフィッティング部と、を備えている点にある。
　このような特徴構成とすれば、人の顔を撮影した撮像画像から装着物を特定し、装着物に合わせた三次元顔モデルを作成してフィッティングすることが可能となる。したがって、顔に装着物がある場合であっても、適切に顔を認識することが可能となる。
　また、顔認識装置は、前記装着物と前記高さ情報との関係が予め記憶された記憶部と、前記判定部により前記顔に装着物が有ると判定された場合に、前記装着物を特定する特定部と、を更に備え、前記取得部は、前記特定部により特定された装着物の高さ情報を前記記憶部から取得すると好適である。
　このような構成とすれば、予め用意しておいた一般的なマスクやサングラスの形状を、装着物が無い場合の三次元顔モデルに重ねることにより容易にマスクやサングラスを装着している場合の三次元顔モデルを作成することができる。
　あるいは、顔認識装置は、前記フィッティング部によるフィッティング後、前記顔の特徴点をトラッキングして前記顔の回転量を算定する回転量算定部を更に備え、前記回転量算定部は、前記装着物が帽子であって、前記人が下を向き前記帽子で前記特徴点が隠れた場合には、隠れた前記特徴点をトラッキング対象から除外するように構成しても良い。
　このような構成とすれば、顔が下を向くことにより特徴点が隠れた場合には、隠れた特徴点をトラッキング対象から除外し、帽子のつば部分に基づく特徴点を継続してトラッキングすることで、追跡していた特徴点が急に見えなくなり顔を見失うことを防止できる。したがって、精度良く顔認識を行うことが可能となる。
　また、前記顔の表面からの前記装着物の高さは、画像認識処理により算出して求められると好適である。
　このような構成とすれば、例えば単眼ステレオマッチング技術により、帽子のつばの三次元形状を把握することができる。したがって、装着物が帽子である場合であっても、当該三次元形状に基づき容易に三次元顔モデルを作成することが可能となる。
顔認識装置の構成を模式的に示すブロック図である。 装着物の一例を示す図である。 装着物が無い場合の三次元顔モデルである。 装着物がサングラスである場合の三次元顔モデルである。 装着物がマスクである場合の三次元顔モデルである。 装着物が帽子である場合の三次元顔モデルである。 サングラス用三次元顔モデルを用いていない場合及びサングラス用三次元顔モデルを用いた場合の認識結果の差異を示す図である。 顔認識装置の処理を示すフローチャートである。
　本発明に係る顔認識装置は、装着物が装着されている顔の向きが変わった場合であっても、適切に顔を認識することができるように構成されている。以下、本実施形態の顔認識装置１について説明する。
　図１は、本実施形態の顔認識装置１の構成を模式的に示したブロック図である。顔認識装置１は、図１に示されるように、撮像画像取得部１０、判定部１１、特定部１２、取得部１３、記憶部１４、作成部１５、フィッティング部１６、回転量算定部１７を備えて構成され、各機能部は顔認識に係る処理を行うために、ＣＰＵを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。本実施形態では、顔認識装置１が車両に備えられたシートに着座する人の顔を認識する場合の例を挙げて説明する。
　撮像画像取得部１０は、車両に備えられたシートの前方からシートに向かって撮影する。撮像画像取得部１０は、例えば光量が少ない場合（夜間や日陰内）であっても取得した撮像画像に映るものを判別できる赤外線カメラを用いると好適である。この撮像画像取得部１０は、他の装置が有する赤外線カメラを利用することも可能である。本実施形態では、撮像画像取得部１０は車両のシートに人が着座した場合に、少なくとも当該人の顔が撮像画像に含まれるように撮影範囲及び撮影方向が設定されている。撮像画像取得部１０により取得された撮像画像は、後述する判定部１１に伝達される。
　判定部１１は、人の顔を撮影した撮像画像から顔に装着される装着物の有無を判定する。まず、判定部１１は、撮像画像取得部１０から伝達された撮像画像において顔が映る顔領域を検出する。顔領域の検出は、説明は省略するが、公知の機械学習を使った顔認識処理により行うことが可能である。次に、判定部１１は、検出した顔領域内に映る顔に装着物が装着されているか否かを判定する。本実施形態における装着物とは、サングラス、マスク、帽子である。図２の（ａ）にはサングラスを装着している顔の一例が示され、図２の（ｂ）にはマスクを装着している顔の一例が示され、図２の（ｃ）には帽子を装着している顔の一例が示される。このような装着物の有無は、公知の顔認識処理により判定される。判定部１１は、顔に装着物が有ると判定した場合には後述する特定部１２に判定結果を伝達し、顔に装着物が無いと判定した場合には後述するフィッティング部１６に判定結果を伝達する。
　特定部１２は、判定部１１により顔に装着物が有ると判定された場合に、装着物を特定する。上述したように、特定部１２には、判定部１１により顔に装着物が有ると判定された場合に判定結果が伝達される。特定部１２は、この判定結果を受け、顔領域に含まれる顔に装着された装着物を特定する。装着物の特定は、例えば顔領域における両目の位置、及びその近傍が他の領域の色とは異なる色で覆われている場合にサングラスであると特定し、顔領域における鼻や口の位置、及びその近傍が他の領域の色とは異なる色で覆われている場合にマスクであると特定することが可能である。また、例えば顔領域において顔の上部が覆われている場合には帽子であると特定することが可能である。このような特定は、公知の画像認識処理により行うことが可能である。特定部１２による特定結果は、後述する取得部１３に伝達される。
　取得部１３は、判定部１１により顔に装着物が有ると判定された場合に、顔の表面からの装着物の高さを示す高さ情報を取得する。「判定部１１により顔に装着物が有ると判定された場合」には、判定部１１が直接、取得部１３に判定結果を示すように構成しても良いし、上述したように判定部１１が特定部１２に判定結果を伝達し、特定部１２が装着物を特定した際に、特定部１２が取得部１３に特定結果を示すことによって、判定部１１により顔に装着物が有ると判定されたことを示すように構成しても良い。顔の表面からの装着物の高さとは、装着物がサングラスである場合には、顔の表面からサングラスの各部までの高さであり、装着物がマスクである場合には、顔の表面からマスクの各部までの高さであり、装着物が帽子である場合には、顔の表面から帽子の各部までの高さである。顔の表面からの装着物の高さは、顔の表面から装着物の全ての縁部までの高さとしても良いし、演算処理を軽減するために装着物の一部の縁部までの高さとしても良い。このような装着物の高さは、顔認識装置１において高さ情報として扱われる。
　ここで、本実施形態では、記憶部１４には装着物と高さ情報との関係が予め記憶されている。装着物と高さ情報との関係とは、装着物がサングラスである場合には、顔の表面からのサングラスの高さを示した関係であり、装着物がマスクである場合には、顔の表面からのマスクの高さを示した関係である。このようなサングラスやマスクは、一般的な高さであるため、予め装着物と高さ情報との関係を記憶しておくと好適である。しかしながら、帽子は形状やつば部の大きさに応じて各種存在するため、記憶部１４には帽子と高さ情報との関係を記憶しておかなくても良い。
　取得部１３は、特定部１２により特定された装着物の高さ情報を記憶部１４から取得する。すなわち、取得部１３は、特定部１２により装着物がサングラスであると特定された場合には記憶部１４に予め記憶されているサングラスの高さ情報を取得し、特定部１２により装着物がマスクであると特定された場合には記憶部１４に予め記憶されているマスクの高さ情報を取得する。これにより、取得部１３が、顔の表面から一般的なサングラス或いはマスクの高さを示す高さ情報を取得することが可能となる。
　一方、装着物としての帽子は、上述したように形状が様々である。そこで、取得部１３は、撮像画像取得部１０により取得された撮像画像を用いた画像認識処理により顔の表面からの装着物の高さを算出して求める。画像認識処理は、まず、撮像画像から三次元形状を認識し、時系列を利用した一般的な単眼ステレオマッチング技術により、帽子のつばの三次元形状を画像認識で取得すると良い。取得部１３により取得された高さ情報は、後述する作成部１５に伝達する。
　作成部１５は、高さ情報に基づいて三次元顔モデルを作成する。高さ情報は、取得部１３から作成部１５に伝達される。三次元顔モデルとは、人の顔を三次元で示したモデルであり、顔の中心を基準として規定されたＸ軸、Ｙ軸、Ｚ軸の夫々の方向に沿って並進可能、且つ、これらのＸ軸、Ｙ軸、Ｚ軸を軸心として回転可能に構成されたモデルである。このような三次元顔モデルは、装着物に応じて用意されている。
　図３には顔に装着物が無い場合の三次元顔モデルが示される。黒丸は顔認識に用いられる特徴点であり、白丸は理解を容易にするために示した顔の部分である。作成部１５は、このような装着物が無い場合の三次元顔モデルと高さ情報とに基づき、装着物に応じた三次元顔モデルを作成する。具体的には、サングラスを装着している場合には、作成部１５は、両目の周囲の高さをサングラスの高さ情報に基づいて高くしたサングラス用の三次元顔モデルを作成する。サングラス用の三次元顔モデルが図４に示される。なお、図４では高くする前の特徴点を破線で示し、高くした後の特徴点を黒丸で示している。更には理解を容易にするためにサングラスも２点鎖線で示している。鼻や口の周囲の特徴点は、サングラスの装着に応じて変化しないので、装着物が無い場合の特徴点がそのまま用いられる。
　また、マスクを装着している場合には、作成部１５は、鼻及び口の周囲の高さをマスクの高さ情報に基づいて高くしたマスク用の三次元顔モデルを作成する。マスク用の三次元顔モデルが図５に示される。なお、図５でも高くする前の特徴点を破線で示し、高くした後の特徴点を黒丸で示している。更には理解を容易にするためにマスクも２点鎖線で示している。目の周囲の特徴点は、マスクの装着に応じて変化しないので、装着物が無い場合の特徴点がそのまま用いられる。
　なお、特にサングラス用三次元顔モデル、及びマスク用三次元顔モデルは、使用の都度、作成しても良いし、一旦、作成したものを記憶しておき、使用時に読み出して使用しても良い。
　一方、上述したように、装着物が帽子である場合には、取得部１３が画像認識処理により、帽子のつばの三次元形状を画像認識で取得するが、作成部１５は取得した三次元形状を、装着物が無い場合の三次元顔モデルに重ねて、帽子用の三次元顔モデルを作成する。この帽子用の三次元顔モデルは、装着物が帽子であると特定される毎に、帽子の形状に応じて作成すると良い。帽子用の三次元顔モデルの一例が図６に示される。図６では、理解を容易にするために、帽子を２点鎖線で示している。作成部１５は、このようにして装着物に応じた三次元顔モデルを作成する。作成部１５により作成された三次元顔モデルは後述するフィッティング部１６に伝達される。
　フィッティング部１６は、三次元顔モデルを用いて撮像画像に含まれる顔をフィッティングする。三次元顔モデルは作成部１５から伝達される。また、フィッティング部１６には、撮像画像取得部１０から撮像画像も伝達される。フィッティング部１６は、撮像画像に含まれる顔の特徴点を検出する。顔の特徴点とは、例えば眉頭、眉尻、目頭、目尻、鼻柱、口角などである。これらの特徴点に加えて、顔にサングラスが装着されている場合には、例えばサングラスの縁部が特徴点となり、マスクが装着されている場合には、例えばマスクの縁部が特徴点となる。また、帽子が装着されている場合には、例えば帽子のつば部が特徴点となる。一方、装着物に応じて作成された三次元顔モデルにも、上記のような特徴点が設定されている。「フィッティングする」とは、物Ａを当該物Ａとは異なる物Ｂに合わせる（一致させる）ことを意味し、本実施形態では上述した「撮像画像に含まれる顔の特徴点」を、「三次元顔モデルの特徴点」に合わせる（一致させる）ことをいう。したがって、フィッティング部１６は、撮像画像に含まれる顔に装着された装着物に応じた三次元顔モデルの特徴点が撮像画像の特徴点と一致するように、三次元顔モデルの中心を基準として規定されたＸ軸、Ｙ軸、Ｚ軸の方向に沿って三次元顔モデルを並進したり、Ｘ軸、Ｙ軸、Ｚ軸を軸心として三次元顔モデルを回転したりする。
　図７の（ａ）にはサングラスを装着した人の顔に対して、装着物が無い時の三次元顔モデルを用いてフィッティングした場合のフィッティング結果が示され、図７の（ｂ）にはサングラスを装着した人の顔に対して、サングラス用三次元顔モデルを用いてフィッティングした場合のフィッティング結果が示される。理解を容易にするために、図７では上述した特徴点を黒丸で示し、顔の輪郭を白丸で示している。図７の（ａ）に示されるように、装着物が無い時の三次元顔モデルを用いていた場合のフィッティング結果では特徴点（サングラスの外縁部分）に三次元顔モデルを一致させると、三次元顔モデルの輪郭（白丸で示した輪郭）と、撮像画像の輪郭（破線で示した輪郭）との間でずれが生じる（後述する図７の（ｂ）の例と比べて大きい）。これは、図示はしないが、マスクを装着した人の顔に対して、装着物が無い時の三次元顔モデルを用いてフィッティングした場合でも同様である。
　一方、サングラスを装着した人の顔に対して、サングラス用三次元顔モデルを用いてフィッティングした場合には、図７の（ｂ）に示されるように、特徴点（サングラスの外縁部分）に三次元顔モデルを一致させた場合であっても、三次元顔モデルの輪郭と、撮像画像の輪郭との間のずれが、図７の（ａ）の例と比べて小さい。このように装着物に応じた三次元顔モデルを用いてフィッティングすることにより、撮像画像内の顔の向きに三次元顔モデルを適切に合わせることが可能となる。フィッティング部１６がフィッティングした際の三次元顔モデルの並進量や回転量は後述する回転量算定部１７に伝達される。また、この時、三次元顔モデルの特徴点に一致する撮像画像の特徴点を示す情報も後述する回転量算定部１７に伝達すると好適である。
　回転量算定部１７は、フィッティング部１６によるフィッティング後、顔の特徴点をトラッキングして顔の回転量を算定する。回転量算定部１７には、上述したように、フィッティング部１６から三次元顔モデルの特徴点と撮像画像の特徴点とを一致させた場合の並進量及び回転量と共に、三次元顔モデルの特徴点に一致する撮像画像の特徴点を示す情報が伝達される。これにより、回転量算定部１７は、所定の基準方向（例えば撮像画像取得部１０を向く方向）に対して、フィッティング部１６がフィッティングする際に用いた撮像画像に含まれる顔の回転量を算定することができる。
　また、回転量算定部１７には撮像画像取得部１０から順次、取得された撮像画像が伝達される。回転量算定部１７は、フィッティング部１６から三次元顔モデルの特徴点と一致する撮像画像の特徴点を示す情報に基づき、当該特徴点を特定し、撮像画像取得部１０から順次伝達されてくる撮像画像において、当該特徴点をトラッキングする（追従する）。回転量算定部１７は、この追従量及び追従方向に応じて撮像画像に含まれる顔の回転量を算定する。
　ここで、撮像画像に含まれる人がつば付きの帽子を装着している場合には、回転量算定部１７が特徴点のトラッキングを行っている際に人が下を向くと、特徴点（例えば目や眉等）がつばで隠れる場合がある。そこで、回転量算定部１７は、装着物が帽子であって、人が下を向き帽子で特徴点が隠れた場合には、隠れた特徴点をトラッキング対象から除外すると好適である。このように構成することで、隠れた特徴点をトラッキング対象から除外し、帽子のつば部分に基づく特徴点を継続してトラッキングすることにより、追跡していた特徴点が急に見えなくなり顔を見失うことを防止できる。したがって、隠れた特徴点を誤って回転量の算定に用いることがないので誤算定を防止でき、顔認識装置１が精度良く顔認識を行うことが可能となる。
　次に、顔認識装置１の顔認識処理について図８のフローチャートを用いて説明する。まず、撮像画像取得部１０が撮像画像を取得する（ステップ＃１）。この撮像画像を用いて判定部１１が顔に装着物が有るか否かが判定される（ステップ＃２）。
　特定部１２により装着物がマスクであると特定された場合には（ステップ＃３：Ｙｅｓ）、フィッティング部１６はマスク用の三次元顔モデルを使用する（ステップ＃４）。フィッティング部１６は、撮像画像の特徴点を検出し（ステップ＃５）、三次元顔モデルの特徴点と撮像画像から検出した特徴点とをフィッティングする（ステップ＃６）。
　回転量算定部１７は、三次元顔モデルの特徴点を撮像画像から検出した特徴点にフィッティングする際の回転量及び並進量と、検出した特徴点のトラッキングに基づく回転量及び回転方向とにより、顔の向きを算定する（ステップ＃７）。
　ステップ＃３において、特定部１２により装着物がマスクでなく（ステップ＃３：Ｎｏ）、サングラスであると特定された場合には（ステップ＃８：Ｙｅｓ）、フィッティング部１６はサングラス用の三次元顔モデルを使用し（ステップ＃９）、ステップ＃５から処理が継続される。
　ステップ＃８において、特定部１２により装着物がサングラスでなく（ステップ＃８：Ｎｏ）、帽子であると特定された場合には（ステップ＃１０：Ｙｅｓ）、フィッティング部１６は形状可変用の三次元顔モデルを使用することになるため（ステップ＃１１）、作成部１５が顔からの装着物の高さを示す高さ情報に基づき、形状可変用の三次元顔モデルを更新する（ステップ＃１２）。フィッティング部１６は、撮像画像の特徴点を検出し（ステップ＃１３）、三次元顔モデルの特徴点と撮像画像から検出した特徴点とをフィッティングする（ステップ＃１４）。
　回転量算定部１７は、三次元顔モデルの特徴点を撮像画像から検出した特徴点にフィッティングする際の回転量及び並進量と、検出した特徴点のトラッキングに基づく回転量及び回転方向とにより、顔の向きを算定する（ステップ＃１５）。ここで、特徴点が帽子で隠れた場合には（ステップ＃１６：Ｙｅｓ）、回転量算定部１７は隠れた特徴点をトラッキング対象から除外する（ステップ＃１７）。
　ステップ＃１６において、特徴点が帽子で隠れていない場合には（ステップ＃１６：Ｎｏ）、処理を継続する。また、ステップ＃１０において、装着物が帽子であると特定されない場合には（ステップ＃１０：Ｎｏ）、装着物が無用の三次元顔モデルを使用し（ステップ＃１８）、ステップ＃５から処理が継続される。顔認識装置１はこのようなフローに沿って処理が行われる。
〔その他の実施形態〕
　上記実施形態では、顔認識装置１が特定部１２及び記憶部１４を備えるとして説明したが、顔認識装置１は特定部１２及び記憶部１４を備えなくても良い。係る場合には、顔認識装置１は、取得部１３により取得された高さ情報に基づいて、作成部１５が三次元顔モデルを作成するように構成すると良い。
　上記実施形態では、顔認識装置１が回転量算定部１７を備えるとして説明したが、顔認識装置１は回転量算定部１７を備えなくても良い。係る場合には、顔認識装置１は、三次元顔モデルの特徴点と撮像画像に含まれる顔のフィッティングを行い、この後の処理を他の装置で行うように構成すると良い。
　上記実施形態では、顔の表面からの装着物の高さは画像認識処理により算出して求められるとして説明したが、他の方法で求めることも可能であるし、装着物の高さを予め所定の値に設定しておいても良い。
　上記実施形態では、顔認識装置１が車両に備えられたシートに着座する人の顔を認識する場合の例を挙げて説明したが、顔認識装置１を他の用途で用いることも可能である。
　本発明は、人の顔を認識する顔認識装置に用いることが可能である。
　１：顔認識装置
　１１：判定部
　１２：特定部
　１３：取得部
　１４：記憶部
　１５：作成部
　１６：フィッティング部
　１７：回転量算定部

Claims (4)

  1. 　人の顔を撮影した撮像画像から前記顔に装着される装着物の有無を判定する判定部と、
    　前記判定部により前記顔に装着物が有ると判定された場合に、前記顔の表面からの前記装着物の高さを示す高さ情報を取得する取得部と、
    　前記高さ情報に基づいて三次元顔モデルを作成する作成部と、
    　前記三次元顔モデルを用いて前記撮像画像に含まれる顔をフィッティングするフィッティング部と、
    を備える顔認識装置。
  2. 　前記装着物と前記高さ情報との関係が予め記憶された記憶部と、
    　前記判定部により前記顔に装着物が有ると判定された場合に、前記装着物を特定する特定部と、を更に備え、
    　前記取得部は、前記特定部により特定された装着物の高さ情報を前記記憶部から取得する請求項１に記載の顔認識装置。
  3. 　前記フィッティング部によるフィッティング後、前記顔の特徴点をトラッキングして前記顔の回転量を算定する回転量算定部を更に備え、
    　前記回転量算定部は、前記装着物が帽子であって、前記人が下を向き前記帽子で前記特徴点が隠れた場合には、隠れた前記特徴点をトラッキング対象から除外する請求項１に記載の顔認識装置。
  4. 　前記顔の表面からの前記装着物の高さは、画像認識処理により算出して求められる請求項１又は３に記載の顔認識装置。
PCT/JP2017/030901 2017-03-24 2017-08-29 顔認識装置 WO2018173314A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780088731.8A CN110462625B (zh) 2017-03-24 2017-08-29 面部识别装置
US16/496,123 US11074431B2 (en) 2017-03-24 2017-08-29 Facial recognition device
DE112017007303.0T DE112017007303B4 (de) 2017-03-24 2017-08-29 Gesichtserkennungsvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-059724 2017-03-24
JP2017059724A JP6855872B2 (ja) 2017-03-24 2017-03-24 顔認識装置

Publications (1)

Publication Number Publication Date
WO2018173314A1 true WO2018173314A1 (ja) 2018-09-27

Family

ID=63585193

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/030901 WO2018173314A1 (ja) 2017-03-24 2017-08-29 顔認識装置

Country Status (5)

Country Link
US (1) US11074431B2 (ja)
JP (1) JP6855872B2 (ja)
CN (1) CN110462625B (ja)
DE (1) DE112017007303B4 (ja)
WO (1) WO2018173314A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7359087B2 (ja) * 2020-07-02 2023-10-11 トヨタ自動車株式会社 ドライバモニタ装置及びドライバモニタ方法
CN112001872B (zh) * 2020-08-26 2021-09-14 北京字节跳动网络技术有限公司 信息显示方法、设备及存储介质
KR102493322B1 (ko) * 2021-03-16 2023-01-31 한국과학기술연구원 사용자의 얼굴 속성 및 마스크 속성 기반 사용자 인증 장치 및 방법
US11521447B1 (en) * 2021-08-16 2022-12-06 Mark Ellery Ogram Anti-shoplifting system
US11462065B1 (en) 2022-01-05 2022-10-04 Mark Ellery Ogram Security system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001166809A (ja) * 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 実立体モデル作成装置、立体データ作成装置、疑似立体データ作成装置並びにその方法
JP2006331009A (ja) * 2005-05-25 2006-12-07 Toyota Motor Corp 画像処理装置及び画像処理方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4244269B2 (ja) 2001-01-29 2009-03-25 富士フイルム株式会社 重合体、顔料分散組成物及び着色感光性組成物
JP4151341B2 (ja) 2002-08-02 2008-09-17 日産自動車株式会社 顔状態検出装置
JP2006350498A (ja) 2005-06-14 2006-12-28 Fujifilm Holdings Corp 画像処理装置および方法並びにプログラム
JP5271742B2 (ja) 2009-02-10 2013-08-21 セコム株式会社 サングラス着用検出装置
JP2011110152A (ja) * 2009-11-25 2011-06-09 Shiseido Co Ltd 美顔用マスク及びその製造方法
JP4794678B1 (ja) 2010-05-24 2011-10-19 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像通信システム
TW201502581A (zh) * 2013-07-11 2015-01-16 Seiko Epson Corp 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法
US10192103B2 (en) * 2016-01-15 2019-01-29 Stereovision Imaging, Inc. System and method for detecting and removing occlusions in a three-dimensional image
FR3053509B1 (fr) * 2016-06-30 2019-08-16 Fittingbox Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001166809A (ja) * 1999-02-19 2001-06-22 Sanyo Electric Co Ltd 実立体モデル作成装置、立体データ作成装置、疑似立体データ作成装置並びにその方法
JP2006331009A (ja) * 2005-05-25 2006-12-07 Toyota Motor Corp 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
DE112017007303T5 (de) 2019-12-05
JP6855872B2 (ja) 2021-04-07
CN110462625B (zh) 2023-02-17
US11074431B2 (en) 2021-07-27
JP2018163481A (ja) 2018-10-18
CN110462625A (zh) 2019-11-15
US20200034603A1 (en) 2020-01-30
DE112017007303B4 (de) 2023-11-02

Similar Documents

Publication Publication Date Title
WO2018173314A1 (ja) 顔認識装置
US11699293B2 (en) Neural network image processing apparatus
US11693242B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
JP6695503B2 (ja) 車両の運転者の状態を監視するための方法及びシステム
CN106022304B (zh) 一种基于双目相机的实时人体坐姿情况检测方法
JP4811259B2 (ja) 視線方向推定装置及び視線方向推定方法
US11330200B2 (en) Parallax correction using cameras of different modalities
US10521650B2 (en) 3D imaging recognition by stereo matching of RGB and infrared images
US11134238B2 (en) Goggle type display device, eye gaze detection method, and eye gaze detection system
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
EP2870428A1 (en) 3-d scanning and positioning system
WO2007046477A1 (ja) 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
KR102195268B1 (ko) 근거리 시력 지점을 결정하기 위한 방법, 장치 및 컴퓨터 프로그램
KR101628493B1 (ko) 안경 착용자의 시선 추적 장치 및 그 방법
JP2018156408A (ja) 画像認識撮像装置
KR101004629B1 (ko) 비강압적 3차원 얼굴 데이터 획득 시스템 및 그 방법
CN106991376B (zh) 结合深度信息的侧脸验证方法及装置与电子装置
JPWO2018220963A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2022133133A (ja) 生成装置、生成方法、システム、およびプログラム
KR20210030230A (ko) 증강현실을 위한 데이터 수집 장치
KR101818992B1 (ko) 영상의 깊이 정보를 이용한 성형결과 이미지 도출방법
JP6359866B2 (ja) 対象者存在範囲推定装置及び対象者存在範囲推定方法
US20220398781A1 (en) System and method for digital measurements of subjects
CN116560089A (zh) 一种视觉辅助方法及ar眼镜
KR20150144185A (ko) 안구 중심점 추출 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17902401

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17902401

Country of ref document: EP

Kind code of ref document: A1