JP7195422B2 - 顔認識方法および電子デバイス - Google Patents

顔認識方法および電子デバイス Download PDF

Info

Publication number
JP7195422B2
JP7195422B2 JP2021524361A JP2021524361A JP7195422B2 JP 7195422 B2 JP7195422 B2 JP 7195422B2 JP 2021524361 A JP2021524361 A JP 2021524361A JP 2021524361 A JP2021524361 A JP 2021524361A JP 7195422 B2 JP7195422 B2 JP 7195422B2
Authority
JP
Japan
Prior art keywords
electronic device
camera
image information
image
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021524361A
Other languages
English (en)
Other versions
JP2022509756A (ja
Inventor
国▲喬▼ ▲陳▼
江峰 袁
Original Assignee
オーナー・デヴァイス・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オーナー・デヴァイス・カンパニー・リミテッド filed Critical オーナー・デヴァイス・カンパニー・リミテッド
Publication of JP2022509756A publication Critical patent/JP2022509756A/ja
Application granted granted Critical
Publication of JP7195422B2 publication Critical patent/JP7195422B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本出願の実施形態は、画像処理技術の分野に関し、特に、顔認識方法および電子デバイスに関する。
電子技術の発展に伴い、電子デバイスの機能はますます多様化している。例えば、電子デバイスは、顔認識および拡張現実（augmented reality、AR）などの機能を有し得る。顔認識は、顔ベースのロック解除シナリオ、顔ベースの支払いシナリオなどに適用され得る。
顔ベースのロック解除シナリオおよび顔ベースの支払いシナリオでは、電子デバイスは、顔認識を介してユーザ本人確認を実行することができる。具体的には、電子デバイスは、現在の対象物（例えば、顔）の二次元画像を収集し、現在の対象物の二次元画像を、電子デバイスに予め記憶され、ユーザ本人確認を実行するために使用される二次元画像（略して、予め記憶された二次元画像）と比較することができる。現在の対象物の二次元画像が、予め記憶された二次元画像と一致する場合、ユーザ本人確認は成功する。現在の対象物の二次元画像が、予め記憶された二次元画像と一致しない場合、ユーザ本人確認は失敗する可能性がある。
特定の対象物（例えば、顔）の写真はまた、この対象物の二次元画像での特徴も含んでよい。予め記憶された二次元画像での特徴を含む写真を使用して電子デバイス上でユーザ本人確認が行われる場合、ユーザ本人確認が成功する可能性がある。このようなケースにおいて、電子デバイスは、ロック解除に成功するか、または支払いが完了する可能性があり、これは、電子デバイスに記憶された情報の漏洩またはユーザの資産の損失を引き起こす恐れがある。結果として、電子デバイスによって実行される顔認識は、比較的低いセキュリティを有する。
本出願の実施形態は、電子デバイスの情報セキュリティを保証し、電子デバイスのセキュリティ性能を改善するための顔認識方法および電子デバイスを提供する。
第1の態様によれば、本出願の一実施形態は顔認識方法を提供する。方法は、電子デバイスに適用されてよく、電子デバイスは、赤外線プロジェクタと、第1のカメラと、第2のカメラとを含み、第1のカメラと第2のカメラとの間の距離は第1の長さである。方法は、電子デバイスが、第1の対象物に対して顔認識を実行するように電子デバイスをトリガするために使用される第1の命令を受信し、第1の命令に応答して、赤外線プロジェクタを使用することによって光点を有する赤外線を放射し、第1のカメラを使用することによって第1の対象物の第1の画像情報を収集し、
第2のカメラを使用することによって第1の対象物の第2の画像情報を収集し、第1の画像情報、第2の画像情報、第1の長さ、第1のカメラのレンズ焦点距離、および第2のカメラのレンズ焦点距離に基づいて第1の対象物の深度情報を計算し、第1の画像情報および第1の対象物の深度情報を使用することによって第1の対象物に対してユーザ本人確認を実行することを含んでよい。
顔認識を介してユーザ本人確認を実行するとき、電子デバイスは、撮影された対象物（例えば、顔）の二次元画像を使用するだけでなく、撮影された対象物の深度情報も使用する。具体的には、電子デバイスは、撮影された対象物の二次元画像を、電子デバイスに予め記憶された二次元顔画像と比較し、撮影された対象物の深度情報が実際の顔の深度特徴を有するかどうかを判定することができる。撮影された対象物の二次元画像が予め記憶された二次元顔画像と一致し、撮影された対象物の深度情報が実際の顔の深度特徴を有する場合、電子デバイスは、撮影された対象物に対するユーザ本人確認が成功したと判定することができる。
換言すると、電子デバイスによって実行される顔認識は、二次元画像認証および深度偽造防止認証を含んでよい。写真の深度情報は、実際の顔の深度特徴を有しない。したがって、本出願の本実施形態における方法によれば、電子デバイスによって写真に対して実行されるユーザ本人確認は失敗し、その結果、電子デバイス内の情報が漏洩することを防止することができる、またはユーザに対して生じる資産の損失を回避することができ、それによって電子デバイスの情報セキュリティを保証し、電子デバイスのセキュリティ性能を向上させる。
さらに、第1のカメラによって収集された画像情報および第2のカメラによって収集された画像情報におけるより多くの数の特徴、およびより顕著な特徴は、第1の画像情報および第2の画像情報において電子デバイスによって認識されたより多くの数の同一の特徴を示す。電子デバイスによって認識されるより多くの数の同一の特徴は、電子デバイスが、特徴が位置するより多くの点の深度を計算できることを示す。第1の対象物の深度情報は第1の対象物の複数の点の深度を含むため、電子デバイスによって計算されるより大きな数の点の深度は、第1の対象物のより正確な深度情報を示す。
本実施形態において、第1の画像情報および第2の画像情報はそれぞれ、第1の対象物の特徴と、光点を有する赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴とを含む。換言すると、第1の画像情報および第2の画像情報は、第1の対象物の特徴のみならず、光点を有する赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴も含む。
第1のカメラおよび第2のカメラによって収集された第1の対象物の画像における特徴の数が増加された後、電子デバイスは、第1のカメラによって収集された画像情報および第2のカメラによって収集された画像情報における同一の特徴をより正確に認識することができる。電子デバイスは、同一の特徴についての第1のカメラと第2のカメラとの間の視差をさらに判定し、各点の深度を計算して、第1の対象物の深度情報を取得することができる。これにより、電子デバイスによって計算される第1の対象物の深度情報の精度を向上させることができる。
第1の態様に関連して、可能な設計様式では、電子デバイスによって、第1の画像情報および第1の対象物の深度情報を使用することによって第1の対象物に対してユーザ本人確認を実行するための方法は、電子デバイスが、第1の画像情報を元の画像と比較することを含み得、元の画像は、電子デバイスに記憶され、ユーザ本人確認を実行するために使用される二次元画像である。電子デバイスは、第1の対象物の深度情報が実際の顔の深度特徴を有するかどうかを判定する。第1の画像情報が元の画像と一致し、第1の対象物の深度情報が実際の顔の深度特徴を有する場合、電子デバイスは、ユーザ本人確認が成功したと判定する。あるいは、第1の画像情報が元の画像と一致しない場合、または第1の対象物の深度情報が実際の顔の深度特徴を有しない場合、電子デバイスは、ユーザ本人確認が失敗したと判定する。
第1の画像情報が元の画像と一致しない場合、第1の画像情報が第2の対象物の二次元画像を含まないことを示す。この場合、電子デバイスは、ユーザ本人確認が失敗したと判定し得る。第1の対象物の深度情報が実際の顔の深度特徴を有しない場合、電子デバイスによって撮影された第1の対象物が実際の顔ではないことを示す。第1の対象物は、二次元顔画像を含む写真である可能性がある。この場合、電子デバイスは、ユーザ本人確認が失敗したと判定し得る。第1の対象物の深度情報が実際の顔の深度特徴を有する場合、電子デバイスによって撮影された第1の対象物が、二次元の顔画像を含む写真ではなく、実際の顔であることを示す。加えて、第1の画像情報が元の画像と一致する場合、第1の画像情報が、電子デバイスが元の画像を記録するときに元の画像が対応する対象物（すなわち、第2の対象物）の二次元画像を含むことを示し、電子デバイスは、ユーザ本人確認が成功したと判定し得る。
第1の態様を参照すると、別の可能な設計様式では、第1の対象物は、第2の対象物の頭部モデルであってもよい。第2の対象物は、電子デバイスが顔認識を実行するために使用される二次元画像（元の画像）を記録する際に電子デバイスによって撮影される対象物である。第2の対象物の頭部モデルの深度情報は、第2の対象物（例えば、実際の顔）の深度情報と極めて類似している。したがって、二次元画像認証および深度偽造防止認証を介して、電子デバイスは、第1の対象物が実際の顔ではないことを認識しない場合がある。この場合、電子デバイスによって、第1の画像情報および第1の対象物の深度情報を使用することによって第1の対象物に対してユーザ本人確認を実行するための方法は、電子デバイスが第1の画像情報を元の画像と比較することを含み得る。電子デバイスは、第1の対象物の深度情報が実際の顔の深度特徴を有するかどうかを判定する。電子デバイスは、第1の画像情報における特徴が赤外線における実際の顔の特徴と一致するかどうかを判定する。第1の画像情報が元の画像と一致し、第1の対象物の深度情報が実際の顔の深度特徴を有し、第1の画像情報の特徴が赤外線における実際の顔の特徴と一致する場合、電子デバイスは、ユーザ本人確認が成功したと判定する。あるいは、第1の画像情報が元の画像と一致しない、第1の対象物の深度情報が実際の顔の深度特徴を有しない、または第1の画像情報の特徴が赤外線における実際の顔の特徴と一致しない場合、電子デバイスは、ユーザ本人確認が失敗したと判定する。すなわち、電子デバイスによって実行される顔認識は、二次元画像認証および深度偽造防止認証を含み得るだけでなく、赤外線偽造防止認証も含み得る。赤外線偽造防止認証の原理は以下の通りであり、頭部モデルの画像と赤外線における実際の顔の画像との間には大きな違いがある。本出願の本実施形態では、この特徴に基づいて第1の画像情報に対して赤外線偽造防止認証を実行してよい。
本出願の本実施形態では、電子デバイスは、二次元画像認識、深度偽造防止認証、および赤外線偽造防止認証の3つの認識を介して、ユーザ本人確認を実行してよい。本出願の本実施形態の方法によれば、電子デバイスによって写真および頭部モデルに対して実行されるユーザ本人確認は失敗し、その結果、電子デバイス内の情報が漏洩することを防止することができる、またはユーザに対して生じる資産の損失を回避することができ、それによって電子デバイスの情報セキュリティを保証し、電子デバイスのセキュリティ性能を向上させる。
第1の態様を参照すると、別の可能な設計様式では、電子デバイスは第3のカメラをさらに含み、第3のカメラは赤緑青（red green blue、RGB）カメラであり、第3のカメラは可視光で画像を収集するように構成される。電子デバイスがユーザの第1の命令を受信する前に、本出願の本実施形態における方法は、ユーザの第2の命令に応答して、電子デバイスが第1のインタフェースを表示し、第1のインタフェースは、ユーザ本人確認を実行するために使用される二次元画像を記録するために使用されており、赤外線プロジェクタを使用することによって光点を有する赤外線を放射し、第3のカメラを使用することによって第2の対象物のRGB画像を収集し、第1のカメラを使用することによって第2の対象物の第3の画像情報を収集し、第3の画像情報は、第2の対象物の特徴と、光点を有する赤外線が第2の対象物に照射されるときに形成されるテクスチャ特徴とを含むことをさらに含む。電子デバイスは、第1のインタフェースにRGB画像を表示する。電子デバイスは第3の画像情報を記憶し、第3の画像情報は、ユーザ本人確認を実行するために使用される元の画像である。
第3のカメラは、可視光の画像情報を収集するように構成される。したがって、電子デバイスは、第3のカメラによって収集された画像情報をディスプレイに表示する。これにより、電子デバイスのディスプレイに表示される画像情報がわずかに赤色であるという問題を回避し、ユーザの視覚体験を保証する。
第1の態様を参照して、別の可能な設計様式では、本出願の本実施形態における方法は、第2の命令に応答して、電子デバイスが、第2のカメラを使用することによって第2の対象物の第4の画像情報を収集することをさらに含み得、第4の画像情報は、第2の対象物の特徴と、光点を有する赤外線が第2の対象物に照射されたときに形成されるテクスチャ特徴とを含む。電子デバイスは、第3の画像情報、第4の画像情報、第1の長さ、第1のカメラのレンズ焦点距離、および第2のカメラのレンズ焦点距離に基づいて、第2の対象物の深度情報を計算する。電子デバイスは、第2の対象物の深度情報が実際の顔の深度特徴を有するかどうかを判定する。第2の対象物の深度情報が実際の顔の深度特徴を有する場合、電子デバイスは第3の画像情報を記憶する。
ユーザ本人確認を実行するために使用される二次元顔画像を記録するとき、電子デバイスは、二次元顔画像に対して深度偽造防止認証を実行することができる。このようにして、電子デバイスに記憶され、ユーザ本人確認を実行するために使用される二次元顔画像が、写真での二次元顔画像である可能性を低減することができ、それによって電子デバイスの情報セキュリティを保証し、電子デバイスのセキュリティ性能を向上させる。
第1の態様を参照して、別の可能な設計様式では、第2の対象物の深度情報が実際の顔の深度特徴を有しない場合、電子デバイスは第1のプロンプト情報を送信する。第1のプロンプト情報は、電子デバイスによって記録された画像が利用できないことを示すために使用される。
第1の態様を参照して、別の可能な設計様式では、電子デバイスが第3の画像情報を記憶する前に、本出願の本実施形態における方法は、電子デバイスが、第3の画像情報における特徴が赤外線における実際の顔の特徴と一致するかどうかを判定することをさらに含み得る。第2の対象物の深度情報が実際の顔の深度特徴を有し、第3の画像情報の特徴が赤外線における実際の顔の特徴と一致する場合、電子デバイスは第3の画像情報を記憶する。
第2の対象物の深度情報が実際の顔の深度特徴を有しないか、または第3の画像情報における特徴が赤外線における実際の顔の特徴と一致しない場合、電子デバイスは第1のプロンプト情報を送信し、第1のプロンプト情報は、電子デバイスによって記録された画像が利用できないことを示すために使用される。
ユーザ本人確認を実行するために使用される二次元顔画像を記録するとき、電子デバイスは、二次元顔画像に対して赤外線偽造防止認証を実行することができる。このようにして、電子デバイスに記憶され、ユーザ本人確認を実行するために使用される二次元顔画像が、頭部モデルの二次元顔画像である可能性を低減することができ、それによって電子デバイスの情報セキュリティを保証し、電子デバイスのセキュリティ性能を向上させる。
第1の態様を参照して、別の可能な設計様式では、電子デバイスのセキュリティ性能を向上させ、元の画像が盗まれないように保護するために、電子デバイスは、第3の画像情報を電子デバイスのトラステッド実行環境（trust execution environment、TEE）に記憶してもよい。
第1の態様を参照して、別の可能な設計様式では、電子デバイスは、電子デバイスのTEE内の第1の画像情報および第1の対象物の深度情報を使用することによって、第1の対象物に対してユーザ本人確認を実行してよい。
第1の態様を参照すると、1つの可能な設計様式では、第1のカメラのレンズ焦点距離は第2のカメラのレンズ焦点距離と同一である。
第1の態様を参照して、別の可能な設計様式では、電子デバイスによって、第1の画像情報、第2の画像情報、第1の長さ、第1のカメラのレンズ焦点距離、および第2のカメラのレンズ焦点距離に基づいて、第1の対象物の深度情報を計算する方法は、電子デバイスが、第1の画像情報および第2の画像情報における複数の第1の特徴についての第1のカメラと第2のカメラとの間の視差を計算し、第1の特徴は第1の画像情報および第2の画像情報における同一の特徴であることを含んでよい。各第1の特徴について、電子デバイスは、第1の特徴についての第1のカメラと第2のカメラとの間の視差、第1の長さ、およびレンズ焦点距離に基づいて、以下の式（2）にしたがって第1の特徴が位置する点の深度Zを計算して、第1の対象物の深度情報を取得し、

Figure 0007195422000001
 ここで、fはレンズ焦点距離であり、dは第1の特徴についての第1のカメラと第2のカメラとの間の視差であり、Tは第1の長さである。
第1の対象物の特徴（例えば、人の鼻先および目）とカメラとの間の距離は異なる場合があることが理解され得る。第1の対象物の各特徴とカメラとの間の距離は、特徴の深度（または特徴が位置する点）と呼ばれる。第1の対象物の点の深度は、第1の対象物の深度情報を形成する。第1の対象物の深度情報は、第1の対象物の3次元特徴を表してよい。
第1の態様を参照すると、別の可能な設計様式では、複数の第1の特徴は、第1の画像情報および第2の画像情報における同一の特徴の一部である。電子デバイス100は、第1の対象物の深度情報を取得するために、予め設定された特徴頻度に基づいて第1の画像情報から複数の第1の特徴を選択し、次いで複数の第1の特徴と同一の特徴を求めて第2の画像情報を検索し、最終的に各第1の特徴の深度を計算してもよい。あるいは、電子デバイスは、ランダムにまたは特定の間隔で、第1の画像情報からいくつかの第1の特徴を選択してもよい。
特徴頻度は、予め設定された領域に現れる同一の第1の特徴の数であってよい。画像に反映される特徴頻度は、電子デバイスによって選択された2つの隣接する第1の特徴の間の距離（特徴の距離と呼ばれる）であり得る。電子デバイスによって、予め設定された特徴頻度に基づいて第1の画像情報から複数の第1の特徴を選択するための方法は、電子デバイスが、1つの特徴の距離の間隔で、第1の画像情報におけるすべての特徴から1つの第1の特徴を選択することを含み得る。換言すると、電子デバイスは、第1の画像情報および第2の画像情報における同一の特徴の各々が位置する点の深度を計算する必要はなく、1つの特徴の距離の間隔で1つの特徴を選択し、選択された特徴が位置する点の深度を計算する。
第1の態様を参照すると、別の可能な設計様式では、光点を有する赤外線は複数の光点を含み、複数の光点は複数のスペックル格子群を含む。1つのスペックル格子群は、1つまたは複数のスペックル格子を含み、スペックル格子は、複数のスペックルを含む。
第1の態様を参照すると、別の可能な設計様式では、複数のスペックル格子群のうちの少なくとも2つが異なっている。複数のスペックル格子群のうちの少なくとも2つが異なっている場合、複数の光点におけるスペックル格子群の繰り返しを低減することができ、それによって電子デバイスが異なる特徴を認識するのを助けることができる。
第1の態様を参照すると、別の可能な設計様式では、第1のスペックル格子群は、複数のスペックル格子群のうちのいずれか1つであり、第1のスペックル格子群に含まれる複数のスペックル格子のうちの少なくとも2つは異なっている。複数のスペックル格子のうちの少なくとも2つが異なっている場合、複数の光点におけるスペックル格子の繰り返しを低減することができ、それによって電子デバイスが異なる特徴を認識するのを助けることができる。
第1の態様を参照すると、別の可能な設計様式では、第1のスペックル格子は、複数のスペックル格子のうちのいずれか1つである。第1のスペックル格子における複数のスペックルは、すべて同一形状を有する。複数のスペックルのすべてが同一形状を有する場合、電子デバイスは、スペックル格子内のスペックルの位置に基づいて異なるスペックルを識別してよい。
第1のスペックル格子における複数のスペックルのうち少なくとも2つは、互いに異なる形状を有する。複数のスペックルのうちの少なくとも2つが異なる形状を有する場合、スペックル格子内の複数のスペックルの繰り返しを低減することができ、それによって電子デバイスが異なる特徴を認識するのを助けることができる。
第1の態様を参照すると、別の可能な設計様式では、電子デバイスは、予め設定された特徴頻度に基づいて、第1の画像情報および第2の画像情報から複数の第1の特徴を選択する。特徴頻度は、複数の光点におけるスペックル格子の繰り返し頻度を上回る、またはそれと等しい。特徴頻度は、事前設定された領域を有する画像から電子デバイスによって選択された同一の第1の特徴の数によって表され、繰り返し頻度は、事前設定された領域に現れる同一のスペックル格子の数によって表される。
電子デバイスが第1の特徴を選択するときに使用される特徴の距離は、複数の光点におけるスペックル格子の繰り返し間隔を下回る、またはそれと等しくてもよい。換言すると、特徴頻度は、複数の光点におけるスペックル格子の繰り返し頻度を上回る、またはそれと等しい。このようにして、電子デバイスが第1の画像情報から選択した2つの隣接する第1の特徴が異なるスペックル格子のスペックルに対応することを可能な限り保証することができ、その結果、電子デバイスは2つの隣接する第1の特徴を区別することができる。これにより、特徴のマッチングの誤差の可能性を低減することができ、電子デバイスによって計算される深度情報の精度を向上させることができる。
第1の態様を参照すると、別の可能な設計様式では、第1のカメラおよび第2のカメラの各レンズの2つの側面はそれぞれ反射防止コーティングを含み、第1のカメラおよび第2のカメラの光フィルタはそれぞれカットオフコーティングを含む。反射防止コーティングは、赤外線の透過率を高めるために使用される。カットオフコーティングは、赤外線および可視光以外の光を除去し、赤外線の透過率を高めるために使用される。
一般的なRGBカメラは可視光のみを感知でき、赤外線は感知できない。電子デバイスのハードウェアコストを削減するために、各レンズの2つの側面の各々が反射防止コーティングを含み、光フィルタがカットオフコーティングを含むデュアルパスカメラ（すなわち、第1のカメラおよび第2のカメラ）を取得するように、RGBカメラの各レンズの2つの側面の各々に反射防止コーティングが施されてよく、カットオフコーティングがRGBカメラの光フィルタ（1つの側面または2つの側面の各々）に施されてよい。
第1の態様を参照すると、別の可能な設計様式では、赤外線は、890ナノメートル（nm）～990nmの赤外線である。例えば、赤外線は、具体的には、940nmの赤外線であってもよい。これに対応して、反射防止コーティングは、890nm～990nmの赤外線用の反射防止コーティング、例えば、940nmの赤外線用の反射防止コーティングであってもよい。
第1の態様を参照すると、別の可能な設計様式では、第1の長さは、20ミリメートル～30ミリメートルの範囲である。
第2の態様によれば、本出願の一実施形態は電子デバイスを提供する。電子デバイスは、1つまたは複数のプロセッサと、メモリと、赤外線プロジェクタと、第1のカメラと、第2のカメラとを備える。第1のカメラと第2のカメラとの間の距離は第1の長さである。メモリ、赤外線プロジェクタ、第1のカメラ、および第2のカメラは、プロセッサに結合される。メモリは、情報を記憶するように構成される。プロセッサは、ユーザの第1の命令を受信するように構成され、第1の命令は、第1の対象物に対して顔認識を実行するように電子デバイスをトリガするために使用される。プロセッサは、第1の命令に応答して、赤外線プロジェクタを使用することによって光点を有する赤外線を放射し、第1のカメラを使用することによって第1の対象物の第1の画像情報を収集し、第2のカメラを使用することによって第1の対象物の第2の画像情報を収集し、第1の画像情報および第2の画像情報はそれぞれ、第1の対象物の特徴と、光点を有する赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴とを含む、ようにさらに構成される。プロセッサは、第1の画像情報、第2の画像情報、第1の長さ、第1のカメラのレンズ焦点距離、および第2のカメラのレンズ焦点距離に基づいて、第1の対象物の深度情報を計算するようにさらに構成される。プロセッサは、第1の画像情報および第1の対象物の深度情報を使用することによって、第1の対象物に対してユーザ本人確認を実行するようにさらに構成される。
第2の態様を参照すると、可能な設計様式では、プロセッサが、第1の画像情報および第1の対象物の深度情報を使用することによって、第1の対象物に対してユーザ本人確認を実行するように構成されることは、プロセッサが、第1の画像情報を元の画像と比較し、元の画像は、電子デバイスに記憶され、ユーザ本人確認を実行するために使用される二次元画像であり、第1の対象物の深度情報が、実際の顔の深度特徴を有するかどうかを判定し、第1の画像情報が元の画像と一致し、第1の対象物の深度情報が実際の顔の深度特徴を有する場合、ユーザ本人確認が成功したと判定する、または第1の画像情報が元の画像と一致しないか、または第1の対象物の深度情報が実際の顔の深度特徴を有しない場合、ユーザ本人確認が失敗したと判定する、ように構成されることを含む。
第2の態様を参照して、別の可能な設計様式では、プロセッサが、第1の画像情報および第1の対象物の深度情報を使用することによって第1の対象物に対してユーザ本人確認を実行するように構成されることは、プロセッサが、第1の画像情報を元の画像と比較し、元の画像は、電子デバイスに記憶され、ユーザ本人確認を実行するために使用される二次元画像であり、第1の対象物の深度情報が実際の顔の深度特徴と一致するかどうかを判定し、
第1の画像情報の特徴における特徴が赤外線における実際の顔の特徴と一致するかどうかを判定し、
第1の画像情報が元の画像と一致し、第1の対象物の深度情報が実際の顔の深度特徴を有し、第1の画像情報における特徴が赤外線における実際の顔の特徴と一致する場合、ユーザ本人確認が成功したと判定する、または第1の画像情報が元の画像と一致しない、第1の対象物の深度情報が実際の顔の深度特徴を有しない、または第1の画像情報における特徴が赤外線における実際の顔の特徴と一致しない場合、ユーザ本人確認が失敗したと判定する、ように構成されることを含む。
第2の態様を参照すると、別の可能な設計様式では、電子デバイスは、第3のカメラと、ディスプレイとをさらに備え、第3のカメラは、赤緑青RGBカメラであり、第3のカメラは、可視光の画像を収集するように構成される。ディスプレイは、プロセッサが第1の命令を受信する前に、第2の命令に応答して第1のインタフェースを表示するように構成され、第1のインタフェースは、ユーザ本人確認を実行するために使用される二次元画像を記録するために使用される。プロセッサは、第2の命令に応答して、赤外線プロジェクタを使用することによって光点を有する赤外線を放射し、第3のカメラを使用することによって第2の対象物のRGB画像を収集し、第1のカメラを使用することによって第2の対象物の第3の画像情報を収集し、第3の画像情報は、第2の対象物の特徴と、光点を有する赤外線が第2の対象物に照射されたときに形成されるテクスチャ特徴とを含む、ようにさらに構成される。
ディスプレイは、第1のインタフェースにRGB画像を表示するようにさらに構成される。メモリは、第3の画像情報を記憶するようにさらに構成され、第3の画像情報は、ユーザ本人確認を実行するために使用される元の画像である。
第2の態様を参照して、別の可能な設計様式では、プロセッサは、第2の命令に応答して、第2のカメラを使用することによって第2の対象物の第4の画像情報を収集し、第4の画像情報は、第2の対象物の特徴と、光点を有する赤外線が第2の対象物に照射されたときに形成されるテクスチャ特徴とを含む、ようにさらに構成される。プロセッサは、第3の画像情報、第4の画像情報、第1の長さ、第1のカメラのレンズ焦点距離、および第2のカメラのレンズ焦点距離に基づいて、第2の対象物の深度情報を計算するようにさらに構成される。プロセッサは、第2の対象物の深度情報が実際の顔の深度特徴を有するかどうかを判定するようにさらに構成される。メモリが第3の画像情報を記憶するように構成されることは、メモリが、第2の対象物の深度情報が実際の顔の深度特徴を有する場合、第3の画像情報を記憶するように構成されることを含む。
第2の態様を参照して、可能な設計様式では、プロセッサは、第2の対象物の深度情報が実際の顔の深度特徴を有しない場合、第1のプロンプト情報を送信し、第1のプロンプト情報は、電子デバイスによって記録された画像が利用できないことを示すために使用される、ようにさらに構成される。
第2の態様を参照して、別の可能な設計様式では、プロセッサは、プロセッサが第3の画像情報を記憶する前に、第3の画像情報における特徴が赤外線における実際の顔の特徴と一致するかどうかを判定するようにさらに構成される。メモリは、第2の対象物の深度情報が実際の顔の深度特徴を有し、第3の画像情報における特徴が赤外線における実際の顔の特徴と一致する場合、第3の画像情報を記憶するように特に構成される。
第2の態様を参照して、別の可能な設計様式では、プロセッサは、第2の対象物の深度情報が実際の顔の深度特徴を有しないか、または第3の画像情報における特徴が赤外線における実際の顔の特徴と一致しない場合、第1のプロンプト情報を送信し、第1のプロンプト情報は、電子デバイスによって記録された画像が利用できないことを示すために使用される、ようにさらに構成される。
第2の態様を参照して、別の可能な設計様式では、メモリは、第3の画像情報を電子デバイスのTEEに記憶するように特に構成される。
第2の態様を参照して、別の可能な設計様式では、プロセッサが、第1の画像情報および第1の対象物の深度情報を使用することによって第1の対象物に対してユーザ本人確認を実行するようにさらに構成されることは、プロセッサが、電子デバイスのTEE内の第1の画像情報および第1の対象物の深度情報を使用することによって、第1の対象物に対してユーザ本人確認を実行するように構成されることを含む。
第2の態様および第2の態様の可能な設計様式では、スペックル格子群、スペックル格子、スペックル格子内の複数のスペックル、および赤外線プロジェクタによって放射される赤外線の波長について、第1の態様の可能な設計様式における関連する説明を参照することができることに留意されたい。ここでは詳細は再度説明されない。
第3の態様によれば、本出願の一実施形態は、デュアルパスカメラ（すなわち、第1のカメラまたは第2のカメラ）を提供する。デュアルパスカメラは、可視光および赤外線を受光するように構成される。デュアルパスカメラの各レンズの2つの側面はそれぞれ反射防止コーティングを含み、デュアルパスカメラの光フィルタはカットオフコーティングを含む。反射防止コーティングは、赤外線の透過率を高めるために使用される。カットオフコーティングは、赤外線および可視光以外の光を除去し、赤外線の透過率を高めるために使用される。
第3の態様を参照すると、可能な設計様式では、デュアルパスカメラは、RGBカメラと、RGBカメラの各レンズの2つの側面のそれぞれに施された反射防止コーティングと、RGBカメラの光フィルタ（の1つの側面または2つの側面のそれぞれ）に施されたカットオフコーティングとを含む。
第4の態様によれば、本出願の一実施形態は、コンピュータ命令を含むコンピュータ記憶媒体を提供する。コンピュータ命令が電子デバイス上で稼働されるとき、電子デバイスは、第1の態様および第1の態様の可能な設計方式にしたがって顔認識方法を実行することを可能にされる。
第5の態様によれば、本出願の一実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で稼働されるとき、コンピュータは、第1の態様および第1の態様の可能な設計様式において顔認識方法を実行することを可能にされる。
第2の態様における電子デバイスおよび第2の態様の可能な設計方法、第3の態様におけるコンピュータ記憶媒体、および第4の態様におけるコンピュータプログラム製品はすべて、上記で提供された対応する方法を実行するように構成されることが理解され得る。したがって、電子デバイス、コンピュータ記憶媒体およびコンピュータプログラム製品によって達成することができる有益な効果については、上記で提供された対応する方法の有益な効果を参照されたい。ここでは詳細は再度説明されない。
本出願の一実施形態による電子デバイスの構造の部分概略図である。 本出願の一実施形態による深度情報を計算する原理の概略図1である。 本出願の一実施形態による、双眼カメラによって収集された2つの画像情報における同一の特徴の一例の概略図である。 本出願の一実施形態による、実際の皮膚とシリカゲルの光反射率の比較の概略図である。 本出願の一実施形態による電子デバイスのハードウェア構造の概略図である。 本出願の一実施形態による電子デバイスのソフトウェアシステムの概略的なアーキテクチャ図である。 本出願の一実施形態による顔認識方法のフローチャート1である。 本出願の一実施形態によるグラフィカル・ユーザ・インタフェースの一例の概略図1である。 本出願の一実施形態によるグラフィカル・ユーザ・インタフェースの一例の概略図1である。 本出願の一実施形態によるグラフィカル・ユーザ・インタフェースの一例の概略図1である。 本出願の一実施形態によるグラフィカル・ユーザ・インタフェースの一例の概略図1である。 本出願の一実施形態による、スペックル格子の一例の概略図である。 本出願の一実施形態による、赤外線におけるスポットおよびスポット内のスペックル格子群の一例の概略図1である。 本出願の一実施形態による、赤外線におけるスポットおよびスポット内のスペックル格子群の一例の概略図2である。 本出願の一実施形態による、赤外線におけるスポットおよびスポット内のスペックル格子群の一例の概略図3である。 本出願の一実施形態による、赤外線におけるスポットおよびスポット内のスペックル格子群の一例の概略図4である。 本出願の一実施形態による、赤外線におけるスポットおよびスポット内のスペックル格子群の一例の概略図5である。 本出願の一実施形態による赤外線におけるスポットの一例の概略図である。 本出願の一実施形態による、赤外線におけるスポットおよびスポット内のスペックル格子群の一例の概略図6である。 本出願の一実施形態によるデュアルパスカメラモジュールの概略構造図である。 本出願の一実施形態によるデュアルパスカメラモジュールの概略構造図である。 本出願の一実施形態による顔認識方法のフローチャート2である。 本出願の一実施形態による深度情報を計算する原理の概略図2である。 本出願の一実施形態による深度情報を計算する原理の概略図2である。 本出願の一実施形態による視差を計算する原理の概略図である。 本出願の一実施形態による視差と深度との間の関係の概略図である。 本出願の一実施形態による、第1の対象物および光点を有する赤外線の一例の概略図である。 本出願の一実施形態による、第1の対象物および光点を有する赤外線の一例の概略図である。 本出願の一実施形態による、第1の対象物および光点を有する赤外線の一例の概略図である。 本出願の一実施形態による特徴頻度の一例の概略図である。 本出願の一実施形態による顔認識方法のフローチャート3である。 本出願の一実施形態による顔認識方法のフローチャート4である。 本出願の一実施形態による顔認識方法のフローチャート5である。 本出願の一実施形態によるグラフィカル・ユーザ・インタフェースの一例の概略図2である。 本出願の一実施形態によるグラフィカル・ユーザ・インタフェースの一例の概略図2である。 本出願の一実施形態によるグラフィカル・ユーザ・インタフェースの一例の概略図2である。 本出願の一実施形態によるグラフィカル・ユーザ・インタフェースの一例の概略図3である。 本出願の一実施形態によるグラフィカル・ユーザ・インタフェースの一例の概略図3である。 本出願の一実施形態によるグラフィカル・ユーザ・インタフェースの一例の概略図3である。 本出願の一実施形態による電子デバイスの構成要素の概略図である。
本出願の実施形態は、顔認識方法を提供する。方法は、顔ベースのロック解除シナリオ、顔ベースの支払いシナリオなどに適用されてよく、顔の検証が実行される別のシナリオに適用されてもよい。電子デバイスは、顔ベースのロック解除シナリオ、顔ベースの支払いシナリオなどにおいて顔認識を介してユーザ本人確認を実行してよい。具体的には、顔認識を介してユーザ本人確認を実行するとき、電子デバイスは、撮影された対象物（例えば、顔）の二次元画像を使用するだけでなく、撮影された対象物の深度情報も使用する。具体的には、電子デバイスは、撮影された対象物の二次元画像を、電子デバイスに予め記憶された二次元顔画像と比較し、撮影された対象物の深度情報が実際の顔の深度特徴を有するかどうかを判定することができる。撮影された対象物の二次元画像が予め記憶された二次元顔画像と一致し、対象物の深度情報が実際の顔の深度特徴を有する場合、電子デバイスは、撮影された対象物に対するユーザ本人確認が成功したと判定することができる。
一般に、顔というのは三次元の形態である。電子デバイスのカメラが顔を撮影する場合、顔の特徴（例えば、鼻先および眼）とカメラとの間の距離は異なる。顔の各特徴とカメラとの間の距離は、その特徴の深度（または特徴が位置する点）と呼ばれる。顔の点の深度が、顔の深度情報を構成する。顔の深度情報は、顔の3次元特徴を表してよい。
双眼カメラ（すなわち、2つのカメラ、例えば、第1のカメラおよび第2のカメラ）の場合、顔の各特徴とカメラとの間の距離（すなわち、点の深度）は、顔の各特徴が位置する点から、2つのカメラの間の接続線までの垂直距離であってよい。例えば、図1Bに示されるように、Pは撮影された顔の特徴であり、特徴Pの深度はPからOLORまでの垂直距離Zであると仮定する。OLは第1のカメラの位置であり、ORは第2のカメラの位置である。
本出願の実施形態では、実際の顔の深度特徴は、実際の顔の大量の深度情報を分析および学習することによって電子デバイスによって取得される。各実際の顔の深度情報は、実際の顔の深度特徴を有する。
たとえ写真が、電子デバイスに予め記憶された二次元顔画像と一致する二次元画像を含む場合であっても、写真の深度情報は実際の顔の深度特徴を有しないことが理解され得る。換言すると、写真の深度情報と、実際の顔の深度特徴を有する対象物の深度情報との間には大きな違いがある。したがって、本出願の実施形態における解決策によれば、電子デバイスは、対象物の深度情報が実際の顔の深度特徴を有するかどうかを判定することによって、電子デバイスによって収集された対象物の二次元画像が実際の顔の画像であるかどうかを判定することができる。すなわち、電子デバイスによって収集された対象物の二次元画像に対して深度偽造防止認証を実行することができる。本出願の実施形態では、撮影された対象物の二次元画像を電子デバイスに予め記憶された二次元顔画像と比較することによって電子デバイスによって実行される顔認識は、二次元画像認証と呼ばれてもよい。
結論として、写真の深度情報は、実際の顔の深度特徴を有しない。したがって、本出願の実施形態の方法によれば、電子デバイスによって写真に対して実行されるユーザ本人確認は失敗し、その結果、電子デバイス内の情報が漏洩することを防止することができる、またはユーザに対して生じる資産の損失を回避することができ、それによって電子デバイスの情報セキュリティを保証し、電子デバイスのセキュリティ性能を向上させる。
実際の顔の深度情報と、対象物の顔画像を含むこれに続く写真の深度情報との間には大きな違いがある。例えば、写真は、撮影された対象物の顔画像を含む電子写真、撮影された対象物の顔画像を含む紙の写真、および撮影された対象物の頭部モデルに貼り付けられた紙の写真であってよい。
本出願の実施形態における頭部モデルとは、シリカゲル、石膏、または粘土などの材料で作られた人間の頭部モデルである。人間の頭部モデルは、実際の顔の器官の寸法に比例して作成されてよい。人間の頭部モデルは、実際の顔の3次元特徴を反映することができるが、赤外線における実際の顔の画像（二次元画像）と、赤外線における頭部モデルの画像（二次元画像）との間には大きな違いがある。したがって、本出願の実施形態では、電子デバイスによって収集された対象物の二次元画像が実際の顔の画像であるかどうかを判定するために、赤外線のカメラ（例えば、第1のカメラ102または第2のカメラ103）によって収集された対象物の二次元画像の特徴が赤外線における実際の顔の特徴と一致するかどうかがさらに判定されてよい。すなわち、電子デバイスによって収集された対象物の二次元画像に対して赤外線偽造防止認証を実行することができる。
赤外線における実際の顔の画像と、赤外線における頭部モデルの画像との間に大きな違いがある理由は、実際の皮膚とシリカゲルにおける赤外線の反射率（reflectance）が大きく異なるためである。例えば、図1Dは、実際の白色の皮膚、実際の黒色の皮膚、白色シリカゲル、および黒色シリカゲル上の様々な波長の光の反射率の変動の図を示す。図1Dに示されるように、実際の白色の皮膚と黒色シリカゲルとでは赤外線の反射率に比較的大きな違いがあり、実際の白色の皮膚と白色シリカゲルとでは赤外線の反射率に比較的大きな差があり、実際の黒色の皮膚と黒色シリカゲルとでも赤外線の反射率に違いがある。
本出願の実施形態で提供される電子デバイスは、赤外線プロジェクタと、2つのデュアルパスカメラ（例えば、第1のカメラおよび第2のカメラ）とを備えてよい。赤外線プロジェクタは、2つのデュアルパスカメラの間に配置される。2つのデュアルパスカメラ間の距離は、第1の長さである。一般に、2つのカメラの中心間の距離は、2つのカメラ間の距離と呼ばれる。
図1Aは、本出願の一実施形態による電子デバイス100の部分概略図である。図1Aに示されるように、電子デバイス100は、赤外線プロジェクタ101と、第1のカメラ102と、第2のカメラ103とを備えてよい。第1のカメラ102と第2のカメラ103との距離は第1の長さTである。
赤外線プロジェクタ101は、光点を有する赤外線を放射するように構成される。デュアルパスカメラとは、カメラが可視光を受光できるだけでなく、赤外線も受光できることを意味する。例えば、デュアルパスカメラは、可視光および940ナノメートル（nm）の赤外線を受光し得る。940nmは、赤外線の波長である。当然ながら、前述の2つのデュアルパスカメラは、2つのオールパスカメラに置き換えられてもよい。オールパスカメラとは、可視光、赤外線、他の波長の光を含む複数種類の光を受光できることを意味する。これに対して、一般的な赤緑青（red green blue、RGB）カメラは、可視光は受光できるが、赤外線は受光できない。
RGBカメラは可視光の画像しか収集することができない。したがって、比較的弱い光（例えば、夜間）では、RGBカメラは鮮明な二次元顔画像を収集することができず、電子デバイスは顔認識を実行することができない。しかしながら、本出願の実施形態では、第1のカメラ102および第2のカメラ103は可視光を受光することができるだけでなく、赤外線も受光することができる。また、赤外線プロジェクタ101は、赤外線を対象物に照射することができる。これにより、第1のカメラ102または第2のカメラ103は、可視光および赤外線の画像情報を収集し、画像情報に基づいて顔認識を行うことができる。具体的には、本出願の実施形態の方法によれば、顔認識を比較的弱い光（例えば、曇った日や夜間に）において実行することができる。
図1Aに示されるように、電子デバイス100は、周囲光センサ105をさらに備えてもよい。周囲光センサ105は、周囲光の輝度を感知するように構成され、赤外線プロジェクタ101、第1のカメラ102、および第2のカメラ103と協働して、顔認識を実行するために使用される顔画像情報（二次元画像、および対象物の深度情報を計算するために使用される画像を含む）を収集する。
本出願の実施形態では、第1のカメラ102は左側のデュアルパスカメラであってよく、第2のカメラ103は右側のデュアルパスカメラであってよい、または、第1のカメラ102が右側のデュアルパスカメラであってもよく、第2のカメラ103が左側のデュアルパスカメラであってもよい。図1Aでは、第1のカメラ102が左側のデュアルパスカメラであり、第2のカメラ103が右側のデュアルパスカメラである例を使用することによって、電子デバイス100の部分構造を説明する。
本出願の実施形態では、第1のカメラ102および第2のカメラ103は同一種類の赤外線を受光し得ることに留意されたい。同一種類の赤外線は、同一波長の赤外線である。換言すると、第1のカメラ102と第2のカメラ103は赤外線を受光する能力が同一である。例えば、第1のカメラ102および第2のカメラ103は、940nmの赤外線を受光し得る。加えて、本出願の実施形態では、赤外線プロジェクタ101によって放射される赤外線と、第1のカメラ102および第2のカメラ103によって受光され得る赤外線とは、同一種類の赤外線でもある。
本出願の実施形態では、赤外線プロジェクタ101によって光点を有する赤外線を放射する目的は、電子デバイス100が比較的弱い光で顔認識を実行できるようにするだけでなく、第1のカメラ102および第2のカメラ103によって収集された対象物の画像の特徴の数を増加させることである。これは、電子デバイス100によって計算される対象物の深度情報の精度および電子デバイス100によって実行される顔認識の精度を向上させる。
具体的には、第1のカメラ102および第2のカメラ103によって収集される画像情報は、撮影される対象物に光点を有する赤外線が照射された後、撮影された対象物の画像を含み得るだけでなく、撮影された対象物に光点を有する赤外線が照射されたときに形成されるテクスチャ特徴も含み得る。換言すると、第1のカメラ102および第2のカメラ103によって収集される撮影された対象物の画像における特徴の数を増加させることができる。
本出願の実施形態では、第1のカメラ102および第2のカメラ103によって収集された対象物の特徴の数を増加させることにより、電子デバイス100によって撮影された対象物の深度情報を計算する精度を向上させることができる原理が本明細書で説明される。
具体的には、電子デバイス100によって撮影された対象物の深度情報を計算するための方法は、電子デバイス100の第1のカメラ102および第2のカメラ103が、撮影された対象物の画像情報を別々に収集することを含んでよい。電子デバイス100は、第1のカメラ102によって収集された画像情報（すなわち、第1の画像情報）と、第2のカメラ103によって収集された画像情報（すなわち、第2の画像情報）とにおいて同一の特徴を認識し、同一の特徴について第1のカメラ102および第2のカメラ103の視差を計算し、次いで、視差、第1のカメラ102のハードウェアパラメータ、および第2のカメラ103のハードウェアパラメータに基づいて、点の深度を計算する。撮影された対象物の複数の特徴が位置する点の深度は、撮影された対象物の深度情報を構成してよい。
電子デバイス100は、撮影された対象物の深度情報を取得するために、双眼カメラのハードウェアパラメータを参照し、三角測量の原理を使用することによって、同一の特徴についての双眼カメラの視差に基づいて、撮影された対象物の各特徴の深度を計算してよい。
本出願の実施形態では、視差に基づいて電子デバイス100によって深度情報を計算するための方法が、一例を使用することによって本明細書で説明される。
図1Bに示されるように、OLは第1のカメラ102の位置であり、ORは第2のカメラ103の位置であり、OLとORとの間の距離は第1の長さTであり、換言すると、OLOR＝Tである。第1のカメラ102のレンズ焦点距離と第2のカメラ103のレンズ焦点距離は共にfである。
特徴Pは、撮影された対象物の特徴である。特徴Pが位置する点から、第1のカメラ102と第2のカメラ103との間の接続線までの垂直距離はZである。換言すると、Pの深度情報はZである。第1のカメラ102は撮影された対象物の画像1を収集し、特徴Pは画像1内の点PLにある。第2のカメラ103は、撮影された対象物の画像2を収集し、特徴Pは画像2内の点PRにある。画像1における点PLに対応する特徴と、画像2における点PRに対応する特徴は共に、撮影された対象物の特徴Pである。
図1Bに示されるように、ALCL＝ARCR＝xであり、ALBL＝BLCL＝ARBR＝BRCR＝x／2である。特徴PLと特徴ALとの間の距離はxLであり、すなわち、特徴PLと画像1の左端との間の距離はxLであり、換言すると、ALPL＝xLである。特徴PRと特徴ARとの間の距離はxRであり、すなわち、特徴PRと画像2の左端との間の距離はxRであり、言い換えれば、ARPR＝xRである。ALPLとARPRとの差は、特徴Pについての第1のカメラ102と第2のカメラ103との間の視差であり、換言すると、特徴Pの視差dはxL－xRに等しい。
PLPRはOLORに平行であるため、三角形の原理にしたがって以下の式（1）を得ることができ、

Figure 0007195422000002
 式中、PLPR＝OLOR－BLPL－PRBR、OLOR＝T，BLPL＝ALPL－ALBL＝xL－x／2、PRBR＝x／2－xRおよびPLPR＝T－（xL－x／2）－（x／2－xR）＝T－（xL－xR）＝T－dである。
式（1）にPLPR＝T－（xL－xR）＝T－dおよびOLOR＝を代入することによって、以下を得ることができる。

Figure 0007195422000003
Figure 0007195422000004

Figure 0007195422000005
 から、特徴Pの深度Zは、2つのカメラ間の距離T、2つのカメラのレンズ焦点距離f、および視差dを使用することによって計算され得ることを知ることができる。
前述の説明から、第1のカメラ102によって収集された画像情報（すなわち、第1の画像情報、例えば画像1）および第2のカメラ103によって収集された画像情報（すなわち、第2の画像情報、例えば画像2）におけるより多くの数の特徴およびより顕著な特徴は、第1の画像情報および第2の画像情報において電子デバイス100によって認識されたより多くの数の同一の特徴を示すことを知ることができる。電子デバイス100によって認識されるより多くの数の同一の特徴は、電子デバイス100が、特徴が位置するより多くの点の深度を計算できることを示す。撮影された対象物の深度情報は撮影された対象物の複数の点の深度を含むため、電子デバイス100によって計算されたより多くの数の点の深度は、撮影された対象物のより正確な深度情報を示す。
2つの画像情報における同一の特徴は、2つの画像情報における同一の特徴に対応する情報である。例えば、第1の画像情報における点ALが対象物の部分Aに対応し、第2の画像情報における点ARもまた対象物の部分Aに対応する場合、点ALおよび点ARは2つの画像情報において同一の特徴である。例えば、第1の画像情報は、図1Cに示す建物の画像1を含み、第2の画像情報は、図1Cに示す建物の画像2を含む。画像1の点ALは建物の部分Aに対応し、画像2の点ARもまた建物の部分Aに対応する。点BLは建物の部分Bに相当し、点BRもまた建物の部分Bに相当する。建物の部分Aの双眼カメラの視差はxL1－xR1である。建物の部分Bの双眼カメラの視差はxL2－xR2である。
要約すると、第1の画像情報および第2の画像情報においてより多くの特徴がある場合、2つの画像情報からより同一の特徴を得ることがより容易になり、その結果、電子デバイス100によって取得される撮影された対象物の深度情報はより正確になる。
本出願の実施形態では、RGBカメラを改善することによってデュアルパスカメラを取得することができ、その結果、電子デバイス100のハードウェアコストを削減することができる。具体的には、レンズが赤外線を感知する能力を向上させるために、RGBカメラの各レンズの2つの側面のそれぞれに反射防止コーティングが施されて、レンズが可能な限り赤外線を受光できるようにしてもよく、またRGBカメラの光フィルタにカットオフコーティングが施されて、赤外線および可視光以外の光を遮断し、赤外線の透過率を高めてもよい。反射防止コーティングおよびカットオフコーティングを含むRGBカメラは、可視光を受光できるだけでなく、赤外線も受光できる。前述のようにして改善されたRGBカメラは、デュアルパスカメラとして使用されてよい。
いくつかの実施形態では、図1Aに示す電子デバイス100の部分概略図は、電子デバイス100の前面の部分概略図であり得ることに留意されたい。換言すると、赤外線プロジェクタ101、第1のカメラ102および第2のカメラ103は、電子デバイス100の前面側に配置されている。
電子デバイス100は、第1のカメラ102および第2のカメラ103に加えて、1つまたは複数の他のカメラをさらに備えてもよい。1つまたは複数の他のカメラは第3のカメラ104を含んでもよく、第3のカメラはRGBカメラである。第3のカメラは、第1の対象物の二次元画像を収集するように構成される。電子デバイス100は、第3のカメラによって収集された二次元画像をディスプレイに表示してもよい。第3のカメラ104、第1のカメラ102、第2のカメラ103および赤外線プロジェクタは、電子デバイス100の同一側に配置されている。すなわち、第3のカメラ104も、電子デバイス100の前面側に配置されてよい。第3のカメラ104は、電子デバイス100の正面カメラである。
いくつかの他の実施形態では、図1Aに示す電子デバイス100の部分概略図は、電子デバイス100の背面の部分概略図であってもよい。換言すると、赤外線プロジェクタ101、第1のカメラ102、第2のカメラ103およびRGBカメラ104は、電子デバイス100の背面側に配置されている。RGBカメラ104は、電子デバイス100の背面カメラである。
電子デバイス100の前面は、電子デバイス100がグラフィカル・ユーザ・インタフェース（例えば、電子デバイス100のホーム画面、すなわちデスクトップ）を表示する側であり、換言すると、ディスプレイパネルが位置する側が通常前面と呼ばれる。電子デバイス100の背面とは、前面とは反対側を向く側である。通常、電子デバイスの前面は、電子デバイスがユーザによって通常使用されるときにユーザに面する側であり、ユーザに背を向ける側が背面と呼ばれる。
当然ながら、1つまたは複数の他のカメラは、別のRGBカメラ、白黒カメラなどをさらに含む場合がある。他のRGBカメラや白黒カメラなどは、電子デバイス100の正面カメラや背面カメラであってもよい。これについては本出願の実施形態では限定されない。
例えば、本出願の実施形態では、電子デバイスは、赤外線プロジェクタ、RGBカメラ（すなわち、第3のカメラ）、および2つのデュアルパスカメラ（すなわち、第1のカメラおよび第2のカメラ）を含む、ポータブルコンピュータ（例えば、携帯電話）、ノートブックコンピュータ、ウェアラブル電子デバイス（例えば、スマートウォッチ）、タブレットコンピュータ、拡張現実（augmented reality、AR）／仮想現実（virtual reality、VR）デバイス、車載デバイスなどであってよい。以下の実施形態において、電子デバイスの具体的な形態は特に限定されない。
図1Eは、本出願の一実施形態による電子デバイス100の概略構造図である。電子デバイス100は、プロセッサ110、外部メモリインタフェース120、内部メモリ121、ユニバーサル・シリアル・バス（universal serial bus、USB）ポート130、充電管理モジュール140、電源管理モジュール141、バッテリ142、アンテナ1、アンテナ2、モバイル通信モジュール150、無線通信モジュール160、オーディオモジュール170、スピーカー170A、受信機170B、マイクロフォン170C、ヘッドセットジャック170D、センサモジュール180、ボタン190、モータ191、インジケータ192、カメラ193、ディスプレイ194、加入者識別モジュール（subscriber identification module、SIM）カードインタフェース195などを備え得る。
電子デバイス100は、赤外線プロジェクタ196（例えば、図1Aに示す赤外線プロジェクタ101）をさらに備えてよい。赤外線プロジェクタ196は、光点を有する赤外線を放射するように構成される。例えば、赤外線プロジェクタ196は、940nmの波長を有する赤外線を放射してもよく、赤外線は光点を有する。光点の形状および配置については、本出願の実施形態における後続の関連する説明を参照されたい。ここでは詳細は再度説明されない。
カメラ193は、2つのデュアルパスカメラ（例えば、図1Aに示される第1のカメラ102および第2のカメラ103）193Bおよび193C、ならびに1～N個の他のカメラ193Aを含んでよい。1からN個の他のカメラ193Aは、図1Aに示す第3のカメラ104、すなわちRGBカメラを含んでよい。デュアルパスカメラ193Bおよび193Cは、可視光および赤外線を受光してよい。RGBカメラは、RGB画像、例えば顔画像（すなわち、二次元顔画像）を収集するように構成される。
センサモジュール180は、圧力センサ180A、ジャイロスコープセンサ180B、気圧センサ180C、磁気センサ180D、加速度センサ180E、距離センサ180F、光学式近接センサ180G、指紋センサ180H、温度センサ180J、タッチセンサ180K、周囲光センサ180L、骨伝導センサ180Mなどの複数のセンサを含み得る。
本発明の実施形態に示される構造は、電子デバイス100に対する特定の限定を構成しないことが理解され得る。本出願のいくつかの他の実施形態では、電子デバイス100は、図に示されている構成要素より多い、もしくはそれより少ない構成要素を含む場合がある。いくつかの構成要素が組み合わされてもよく、いくつかの構成要素が分割されてもよく、または異なる構成要素の配置が使用されてもよい。図に示されている構成要素は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの組み合わせによって実装され得る。
プロセッサ110は、1つまたは複数の処理ユニットを含み得る。例えば、プロセッサ110は、アプリケーションプロセッサ（application processor、AP）、モデムプロセッサ、グラフィックス処理ユニット（graphics processing unit、GPU）、画像信号プロセッサ（image signal processor、ISP）、コントローラ、ビデオコーデック、デジタル信号プロセッサ（digital signal processor、DSP）、ベースバンドプロセッサ、および／またはニューラル処理ユニット（Neural－network processing unit、NPU）を含み得る。様々な処理ユニットは、独立したデバイスであってもよく、または1つもしくは複数のプロセッサに統合されてもよい。
コントローラは、電子デバイス100の神経中枢およびコマンドセンターであり得る。コントローラは、命令動作コードおよび時系列信号に基づいて動作制御信号を生成し、命令のフェッチおよび命令の実行の制御を完了することができる。
メモリが、プロセッサ110の中にさらに配置されてもよく、命令およびデータを格納するように構成される。いくつかの実施形態では、プロセッサ110内のメモリはキャッシュメモリである。メモリは、プロセッサ110によって少し前に使用されたか、または周期的に使用された命令またはデータを記憶してよい。プロセッサ110が命令またはデータを再び使用する必要がある場合、プロセッサ110は、メモリから命令またはデータを直接呼び出すことで、繰り返しのアクセスを回避し、プロセッサ110の待機時間を短縮し、それによってシステム効率を改善してよい。
いくつかの実施形態では、プロセッサ110は1つまたは複数のインタフェースを含んでよい。インタフェースは、集積回路間（inter－integrated circuit、I2C）インタフェース、集積回路間サウンド（inter－integrated circuit sound、I2S）インタフェース、パルス符号変調（pulse code modulation、PCM）インタフェース、汎用非同期送受信機（universal asynchronous receiver／transmitter、UART）インタフェース、モバイル・インダストリー・プロセッサ・インタフェース（mobile industry processor interface、MIPI）、汎用入出力（general－purpose input／output、GPIO）インタフェース、加入者識別モジュール（subscriber identity module、SIM）インタフェース、ユニバーサル・シリアル・バス（universal serial bus、USB）ポートなどを含み得る。
I2Cインタフェースは、双方向同期シリアル・バスであり、シリアル・データ・ライン（serial data line、SDA）とシリアル・クロック・ライン（derail clock line、SCL）とを含む。いくつかの実施形態では、プロセッサ110は、I2Cバスの複数のグループを含む場合がある。プロセッサ110は、異なるI2Cバスインタフェースを介して、タッチセンサ180K、充電器、フラッシュライト、カメラ193などに別個に結合されてもよい。例えば、電子デバイス100のタッチ機能を実施するために、プロセッサ110は、I2Cインタフェースを介してタッチセンサ180Kに結合されてよく、その結果、プロセッサ110はI2Cインタフェースを介してタッチセンサ180Kと通信する。
I2Sインタフェースは、音声通信に使用されてもよい。いくつかの実施形態では、プロセッサ110は、I2Sバスの複数のグループを含み得る。プロセッサ110とオーディオモジュール170との通信を実施するために、プロセッサ110は、I2Sバスを介してオーディオモジュール170に結合されてよい。いくつかの実施形態では、ブルートゥース（登録商標）ヘッドセットを介して通話に応答する機能を実施するために、オーディオモジュール170は、I2Sインタフェースを介して無線通信モジュール160にオーディオ信号を送信してよい。
PCMインタフェースも、オーディオ通信を行い、アナログ信号をサンプリング、量子化、および符号化するように構成されてよい。いくつかの実施形態では、オーディオモジュール170は、PCMバスインタフェースを介して無線通信モジュール160に結合されてもよい。いくつかの実施形態では、ブルートゥース（登録商標）ヘッドセットを介して通話に応答する機能を実施するために、オーディオモジュール170は、代替として、PCMインタフェースを介して無線通信モジュール160にオーディオ信号を転送してよい。I2SインタフェースとPCMインタフェースの両方とも、音声通信を実行するように構成されてよい。
UARTインタフェースは、ユニバーサルシリアルデータバスであり、非同期通信に使用される。バスは、双方向通信バスであってよく、シリアル通信とパラレル通信との間で送信されるデータを変換する。いくつかの実施形態では、UARTインタフェースは通常、プロセッサ110を無線通信モジュール160に接続するように構成される。例えば、ブルートゥース（登録商標）機能を実装するために、プロセッサ110は、UARTインタフェースを介して無線通信モジュール160のブルートゥース（登録商標）モジュールと通信する。いくつかの実施形態では、ブルートゥース（登録商標）ヘッドセットを使用することによって音楽を再生する機能を実施するために、オーディオモジュール170は、UARTインタフェースを介して無線通信モジュール160にオーディオ信号を送信してよい。
MIPIインタフェースは、プロセッサ110をディスプレイ194やカメラ193などの周辺デバイスに接続するように構成され得る。MIPIインタフェースは、カメラ・シリアル・インタフェース（camera serial interface、CSI）、ディスプレイ・シリアル・インタフェース（display serial interface、DSI）などを含む。いくつかの実施形態では、電子デバイス100の写真撮影機能を実施するために、プロセッサ110は、CSIインタフェースを介してカメラ193と通信する。電子デバイス100の表示機能を実施するために、プロセッサ110は、DSIインタフェースを介してディスプレイ194と通信する。
GPIOインタフェースは、ソフトウェアを使用することによって構成され得る。GPIOインタフェースは、制御信号として構成されてもよいし、データ信号として構成されてもよい。いくつかの実施形態では、GPIOインタフェースは、プロセッサ110、カメラ193、ディスプレイ194、無線通信モジュール160、オーディオモジュール170、センサモジュール180などに接続するように構成され得る。GPIOインタフェースは代替として、I2Cインタフェース、I2Sインタフェース、UARTインタフェース、MIPIインタフェースなどとして構成されてもよい。
USBポート130は、USB規格に準拠したポートであり、具体的には、ミニUSBポート、マイクロUSBポート、USB Type Cポートなどであってよい。USBポート130は、電子デバイス100を充電するために充電器に接続するように構成されてよい、または電子デバイス100と周辺デバイスとの間でデータを送信するように構成されてもよい、またはヘッドセットを介してオーディオを再生するためにヘッドセットに接続するように構成されてもよい、またはARデバイスなどの別の電子デバイスに接続するように構成されてもよい。
本発明の実施形態に示されるモジュール間のインタフェース接続関係は、説明のための単なる一例であり、電子デバイス100の構造に対する限定を構成しないことが理解され得る。本出願の他のいくつかの実施形態では、電子デバイス100は代替として、前述の実施形態とは異なるインタフェース接続方法を使用するか、または複数のインタフェース接続方法の組み合わせを使用する場合がある。
充電管理モジュール140は、充電器から充電入力を受け取るように構成される。充電器は、無線充電器であり得るか、または有線充電器であり得る。有線充電のいくつかの実施形態では、充電管理モジュール140は、USBポート130を通して有線充電器から充電を受け取ってよい。無線充電のいくつかの実施形態では、充電管理モジュール140は、電子デバイス100の無線充電コイルを通して無線充電入力を受け取ってもよい。バッテリ142に充電している間、充電管理モジュール140は、電源管理モジュール141を介して電子デバイスにさらに給電してもよい。
電源管理モジュール141は、バッテリ142、充電管理モジュール140、およびプロセッサ110に接続するように構成される。電源管理モジュール141は、バッテリ142および／または充電管理モジュール140の入力を受け取り、プロセッサ110、内部メモリ121、外部メモリ、ディスプレイ194、カメラ193、無線通信モジュール160などに給電する。電源管理モジュール141は、バッテリ容量、バッテリサイクル数、およびバッテリの健康状態（漏電およびインピーダンス）などのパラメータを監視するようにさらに構成されてよい。いくつかの他の実施形態では、電源管理モジュール141は、代替として、プロセッサ110内に配置されてもよい。いくつかの他の実施形態では、電源管理モジュール141および充電管理モジュール140は、代替として、同一デバイス内に配置されてもよい。
電子デバイス100の無線通信機能は、アンテナ1、アンテナ2、モバイル通信モジュール150、無線通信モジュール160、モデムプロセッサ、ベースバンドプロセッサなどを介して実施され得る。
アンテナ1およびアンテナ2は、電磁波信号を送受信するように構成される。電子デバイス100内の各アンテナは、1つまたは複数の通信帯域をカバーするように構成され得る。アンテナの使用率を高めるために、異なるアンテナがさらに多重化されてもよい。例えば、アンテナ1は無線ローカルエリアネットワークのダイバーシティアンテナとして多重化され得る。いくつかの他の実施形態では、アンテナは、チューニングスイッチと組み合わせて使用されてもよい。
モバイル通信モジュール150は、電子デバイス100に適用された、2G／3G／4G／5Gなどを含む無線通信に対する解決策を提供することができる。モバイル通信モジュール150は、少なくとも1つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器（low noise amplifier、LNA）などを含み得る。モバイル通信モジュール150は、アンテナ1を介して電磁波を受信し、受信した電磁波に対してフィルタリングや増幅などの処理を行い、その電磁波を復調のためにモデムプロセッサに送信し得る。モバイル通信モジュール150は、モデムプロセッサによって変調された信号をさらに増幅し、アンテナ1を介して放射のために信号を電磁波に変換し得る。いくつかの実施形態では、モバイル通信モジュール150内の少なくとも一部の機能モジュールは、プロセッサ110に配置されてよい。いくつかの実施形態では、モバイル通信モジュール150内の少なくとも一部の機能モジュールは、プロセッサ110内の少なくとも一部のモジュールと同一のデバイス内に配置されてよい。
モデムプロセッサは、変調器および復調器を含み得る。変調器は、送信されるべき低周波数ベースバンド信号を中高周波数信号に変調するように構成される。復調器は、受信した電磁波信号を低周波数ベースバンド信号に復調するように構成される。次いで、復調器は、復調によって取得された低周波数ベースバンド信号を処理のためにベースバンドプロセッサに送信する。低周波数ベースバンド信号は、ベースバンドプロセッサによって処理され、その後アプリケーションプロセッサに送信される。アプリケーションプロセッサは、オーディオ機器（スピーカー170Aや受信機170Bに限定されない）を使用することによって音響信号を出力するか、またはディスプレイ194を使用することによって画像もしくはビデオを表示する。いくつかの実施形態では、モデムプロセッサは、独立したデバイスであり得る。いくつかの他の実施形態では、モデムプロセッサは、プロセッサ110から独立しており、モバイル通信モジュール150または別の機能モジュールと同じ機器に配置され得る。
無線通信モジュール160は、電子デバイス100に適用され、無線ローカルエリアネットワーク（wireless local area networks、WLAN）（Wi－Fiネットワークなど）、ブルートゥース（登録商標）（blue tooth、BT）、全地球航法衛星システム（global navigation satellite system、GNSS）、周波数変調（frequency modulation、FM）、NFC、および赤外線（infrared、IR）技術などを含む、無線通信解決策を提供し得る。無線通信モジュール160は、少なくとも1つの通信処理モジュールを統合する1つまたは複数のデバイスであり得る。無線通信モジュール160は、アンテナ2を介して電磁波信号を受信し、電磁波信号に対して周波数変調およびフィルタリング処理を行い、処理された信号をプロセッサ110に送信する。無線通信モジュール160は、プロセッサ110から送信されるべき信号をさらに受信し、信号に対して周波数変調および増幅を実行し、放射するためにアンテナ2を介して処理された信号を電磁波に変換することができる。
いくつかの実施形態では、電子デバイス100において、アンテナ1はモバイル通信モジュール150に結合され、アンテナ2は無線通信モジュール160に結合され、その結果、電子デバイス100は、無線通信技術を使用してネットワークおよび別の電子デバイスと通信することができる。無線通信技術は、グローバル・システム・フォー・モバイル・コミュニケーションズ（global system for mobile communications、GSM）、汎用パケット無線サービス（general packet radio service、GPRS）、符号分割多元接続（code division multiple access、CDMA）、広帯域符号分割多元接続（wideband code division multiple access、WCDMA（登録商標））、時分割符号分割多元接続（time－division code division multiple access、TD－SCDMA）、ロングタームエボルーション（long term evolution、LTE）、BT、GNSS、WLAN、NFC、FM、IR技術などを含み得る。GNSSは、全地球測位システム（global positioning system、GPS）、全地球航法衛星システム（global navigation satellite system、GLONASS）、北斗航法衛星システム（beidou navigation satellite system、BDS）、準天頂衛星システム（quasi－zenith satellite system、QZSS）、および／または静止衛星型補強システム（satellite based augmentation systems、SBAS）を含み得る。
電子デバイス100は、GPU、ディスプレイ194、アプリケーションプロセッサなどを介して表示機能を実装する。GPUは、画像処理のためのマイクロプロセッサであり、ディスプレイ194およびアプリケーションプロセッサに接続される。GPUは、数学的計算および幾何学的計算を行い、グラフィックスレンダリングを行うように構成される。プロセッサ110は、プログラム命令を実行して表示情報を生成または変更する1つまたは複数のGPUを含んでもよい。
ディスプレイ194は、画像、ビデオなどを表示するように構成される。ディスプレイ194は、ディスプレイパネルを含む。ディスプレイパネルは、液晶ディスプレイ（liquid crystal display、LCD）、有機発光ダイオード（organic light－emitting diode、OLED）、アクティブマトリックス式有機発光ダイオード（active－matrix organic light emitting diode、AMOLED）、フレキシブル発光ダイオード（flex light－emitting diode、FLED）、Miniled、MicroLed、Micro－oLed、量子ドット発光ダイオード（quantum dot light emitting diodes、QLED）などであり得る。いくつかの実施形態では、電子デバイス100は1つまたはN個のディスプレイ194を含んでよく、Nは1より大きい正の整数である。
電子デバイス100は、ISP、カメラ193、ビデオコーデック、GPU、ディスプレイ194、アプリケーションプロセッサなどを使用して写真撮影機能を実施し得る。
ISPは、カメラ193によってフィードバックされたデータを処理するように構成される。例えば、撮影中、シャッターが押され、光がレンズを通してカメラの受光素子に伝達される。カメラの受光素子は、光信号を電気信号に変換し、処理のためにISPに電気信号を送信する。ISPは、電気信号を目に見える画像に変換する。ISPは、画像のノイズ、輝度、および肌色に対してアルゴリズムの最適化をさらに実行する場合がある。ISPは、写真撮影シナリオの露出や色温度などのパラメータをさらに最適化し得る。いくつかの実施形態では、ISPはカメラ193内に配置され得る。
カメラ193は、静止画像またはビデオを収集するように構成される。対象物の光学画像がレンズを通して生成され、受光素子上に投影される。受光素子は、電荷結合素子（charge coupled device、CCD）、または相補形金属酸化膜半導体（complementary metal－oxide－semiconductor、CMOS）光電トランジスタであり得る。受光素子は、光信号を電気信号に変換し、電気信号をISPに送信する。ISPは、電気信号をデジタル画像信号に変換し、処理のために、デジタル画像信号をDSPに出力する。DSPは、デジタル画像信号をRGBやYUVなどの標準的な画像信号に変換する。いくつかの実施形態では、電子デバイス100は、1つまたはN個のカメラ193を含んでよく、Nは、1より大きい正の整数である。
デジタル信号プロセッサは、デジタル信号を処理するように構成される。デジタル画像信号に加えて、デジタル信号プロセッサは、別のデジタル信号をさらに処理してもよい。例えば、電子デバイス100が周波数を選択するとき、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換を行うように構成される。
ビデオコーデックは、デジタルビデオを圧縮または展開するように構成される。電子デバイス100は、1つまたは複数のビデオコーデックをサポートし得る。したがって電子デバイス100は、複数の符号化フォーマット、例えば、MPEG（moving picture experts group、MPEG）－1、MPEG－2、MPEG－3、およびMPEG－4でビデオを再生または記録し得る。
NPUは、ニューラル・ネットワーク（neural－network、NN）コンピューティング・プロセッサである。NPUは、例えば、人間の脳ニューロン間の伝達の態様を参照することによって、生物学的ニューラル・ネットワーク構造を参照することによって入力情報を迅速に処理し、自己学習をさらに継続的に実行することができる。画像認識、顔認識、音声認識、およびテキスト理解などの電子デバイス100のインテリジェントな認知をNPUを使用することによって実施することができる。
外部メモリインタフェース120は、電子デバイス100の記憶容量を拡張するために、マイクロSDカードなどの外部メモリカードに接続するように構成され得る。外部メモリカードは、外部メモリインタフェース120を介してプロセッサ110と通信し、データ記憶機能を実装して、例えば、音楽やビデオなどのファイルを外部メモリカードに記憶する。
内部メモリ121は、コンピュータ実行可能プログラムコードを記憶するように構成されてもよく、実行可能プログラムコードは命令を含む。プロセッサ110は、内部メモリ121に格納された命令を実行して、電子デバイス100の様々な機能アプリケーションおよびデータ処理を実施する。内部メモリ121は、プログラム記憶領域およびデータ記憶領域を含み得る。プログラム記憶領域は、オペレーティングシステム、少なくとも1つの機能（例えば、音声再生機能または画像再生機能）が必要とするアプリケーションプログラムなどを記憶し得る。データ記憶領域は、電子デバイス100の使用中に作成された（オーディオデータおよび電話帳などの）データなどを記憶し得る。加えて、内部メモリ121は、高速ランダムアクセスメモリを含んでもよく、または不揮発性メモリ、例えば、少なくとも1つの磁気ディスク記憶装置、フラッシュ・メモリ・デバイス、またはユニバーサル・フラッシュストレージ（universal flash storage、UFS）を含んでもよい。
電子デバイス100は、オーディオモジュール170、スピーカー170A、受信機170B、マイクロフォン170C、ヘッドセットジャック170D、アプリケーションプロセッサなどを介して、音楽再生および録音などのオーディオ機能を実施し得る。
オーディオモジュール170は、デジタルオーディオ情報を出力のためにアナログオーディオ信号に変換するように構成され、アナログオーディオ入力をデジタルオーディオ信号に変換するようにも構成される。オーディオモジュール170は、オーディオ信号を符号化および復号するようにさらに構成され得る。いくつかの実施形態では、オーディオモジュール170は、プロセッサ110内に配置されてよく、またはオーディオモジュール170の一部の機能モジュールがプロセッサ110内に配置される。
スピーカー170Aは、「ホーン」とも呼ばれ、オーディオ電気信号を音響信号に変換するように構成される。電子デバイス100は、スピーカー170Aを介して音楽を聴いたり、ハンズフリー通話に応答したりしてよい。
受信機170Bは、「イヤホン」とも呼ばれ、オーディオ電気信号を音響信号に変換するように構成される。電子デバイス100が、通話に応答する、または音声情報を聞くのに使用されるとき、受信機170Bは、音声を聴くために人の耳の近くに置かれてよい。
マイクロフォン170Cは、「マイク」または「マイク（mic）」とも呼ばれ、音響信号を電気信号に変換するように構成される。電話をかけたり、音声メッセージを送ったりするときに、ユーザは、マイクロフォン170Cに音響信号を入力するために、ユーザの口を通してマイクロフォン170Cの近くで音を出してよい。少なくとも1つのマイクロフォン170Cが電子デバイス100内に配置され得る。いくつかの他の実施形態では、音響信号を収集し、雑音低減機能をさらに実施するために、2つのマイクロフォン170Cが電子デバイス100内に配置されてもよい。いくつかの他の実施形態では、音響信号を収集し、ノイズを低減し、音源を識別し、指向性録音機能を実装するなどのために、電子デバイス100内に3つ、4つ、またはそれ以上のマイクロフォン170Cが代替として配置されてもよい。
ヘッドセットジャック170Dは、有線ヘッドセットに接続するように構成される。ヘッドセットジャック170Dは、USBインタフェース・ポート130であり得るか、または3．5mmオープンモバイル電子デバイスプラットフォーム（open mobile terminal platform、OMTP）標準インタフェース、もしくは米国セルラー通信工業会（cellular telecommunications industry association of the USA、CTIA）標準インタフェースであり得る。
ボタン190は、電源ボタン、音量ボタンなどを含む。ボタン190は、機械的ボタンであり得るか、またはタッチボタンであり得る。電子デバイス100は、ボタン入力を受け取り、電子デバイス100のユーザ設定および機能制御に関連したボタン信号入力を生成し得る。
モータ191は、振動プロンプトを生成し得る。モータ191は、着信振動プロンプトに使用されてもよい、またはタッチ振動フィードバックに使用されてもよい。例えば、異なるアプリケーション（例えば、写真撮影およびオーディオ再生）上で行われたタッチ操作は、異なる振動フィードバック効果に対応してもよい。ディスプレイ194上の異なる領域に対して行われるタッチ操作は、モータ191の異なる振動フィードバック効果に対応し得る。異なる適用シナリオ（例えば、時間リマインダシナリオ、情報受信シナリオ、アラームクロックシナリオ、およびゲームシナリオ）もまた、異なる振動フィードバック効果に対応し得る。タッチ振動フィードバック効果が代替としてカスタマイズされてもよい。
インジケータ192は、インジケータライトであってもよく、充電状況および電力の変化を示すように構成されてよい、またはメッセージ、不在着信、通知などを示すように構成されてもよい。
SIMカードインタフェース195は、SIMカードに接続するように構成される。SIMカードは、電子デバイス100との接触または電子デバイス100からの分離を実施するために、SIMカードインタフェース195に挿入されるか、またはSIMカードインタフェース195から取り外されてよい。電子デバイス100は1つまたはN個のSIMカードインタフェースをサポートしてよく、Nは1より大きい正の整数である。SIMカードインタフェース195は、ナノSIMカード、マイクロSIMカード、SIMカードなどをサポートし得る。一つのSIMカードインタフェース195に複数のカードが同時に挿入されてもよい。複数のカードは、同一タイプまたは異なるタイプのものであり得る。SIMカードインタフェース195はまた、様々なタイプのSIMカードとの互換性を有してよい。SIMカードインタフェース195はまた、外部記憶カードと互換性があり得る。電子デバイス100は、SIMカードを使用することによってネットワークとインタラクトして、通話機能、データ通信機能などを実施する。いくつかの実施形態では、電子デバイス100は、eSIM、すなわち、組み込み式のSIMカードを使用する。eSIMカードは、電子デバイス100に組み込まれており、電子デバイス100から分離することができない。
図1Fは、本出願の一実施形態による電子デバイス100のソフトウェアシステムの概略アーキテクチャ図である。図1Fに示されるように、電子デバイス100のソフトウェアシステムは、複数のアプリケーション201と、カメラサービス202と、カメラプロセス203と、顔認識サービス204と、顔認識プロセス205と、ISPモジュール211と、画像データセキュリティバッファ（buffer）212と、深度計算モジュール213と、顔認識TA（信頼APP）214と、再生保護メモリブロック（replay protected memory block、RPMBを再生）215とを含んでよい。RPMB215は、セキュリティ機能付きの記憶領域である。RPMB215は、顔のテンプレート、すなわち、本出願の実施形態における元の画像を記憶するように構成される。
図1Fに示されるように、複数のアプリケーション201は、支払いアプリケーション、画面ロックアプリケーション、設定アプリケーション、およびアプリケーションロックなどのアプリケーションの顔認識ソフトウェア開発キット（software development kit、SDK）を含んでよい。複数のアプリケーション201は、異なるシナリオにおいて顔認識を実行するように電子デバイス100をトリガしてよい。
複数のアプリケーション210によって開始された顔認識要求を受信する際、電子デバイス100は、カメラサービス202がカメラプロセス203を作成することを可能にし、顔認識サービス204が顔認識プロセス205を作成することを可能にしてよい。
カメラサービス202が有効化された後、カメラモジュール210が有効化および初期化されてよく、カメラモジュール210は画像情報を収集し得る。本出願の実施形態では、カメラモジュール210は、第1のカメラ102および第2のカメラ103を含んでよい。カメラモジュール210によって収集された画像情報は、第1のカメラ102によって収集された第1の画像情報と、第2のカメラ103によって収集された第2の画像情報とを含んでよい。
顔認識プロセス205は、カメラモジュール210のオートフォーカス（auto focus、AF）、自動露出（automatic exposure、AE）、および自動ホワイトバランス（automatic white balance、AWB）などの初期化パラメータをカメラプロセス203に送信してよい。カメラプロセス203は、初期化パラメータにしたがってカメラモジュール210を初期化し得る。カメラプロセス203は、カメラモジュール210の初期化結果を顔認識プロセス205に送信してよい。
顔認識プロセス205は、顔認識CA（Client APP）を含み、顔認識CAは、顔認識サービスロジックを決定するために使用され得る。顔認識サービスロジックは、顔認識TA214による二次元画像認証、深度偽造防止認証、および赤外線偽造防止認証を実行するシーケンスを含んでよい。顔認識プロセス205は、顔認識サービスロジックを顔認識TA214に示してよい。例えば、顔認識プロセス205は、最初に二次元画像認証を実行し、次に深度偽造防止認証を実行し、最後に赤外線偽造防止認証を実行するように顔認識TA214に指示してよい。
カメラモジュール210によって収集される画像情報は、生（raw）画像である。したがって、カメラモジュール210によって収集された画像情報は、画像情報に対して画像処理（例えば、ノイズ低減）が実行された後にのみ、顔認識を実行するために使用されてよい。図1Fに示されるように、カメラプロセス203は、カメラモジュール210によって収集された画像情報に対して画像処理（例えば、ノイズ低減）を実行するようにISP 211に指示し得る。
ISP211は、第1の画像情報および第2の画像情報に対して画像処理を実行し、処理された第1の画像情報および第2の画像情報を画像データセキュリティバッファ212に記憶してよい。顔認識プロセス205は、画像データセキュリティバッファ212内の処理された第1の画像情報および第2の画像情報に基づいて、撮影された対象物の深度情報（これは、深度マップ、すなわち、depth mapと呼ばれてよい）を計算するように深度計算モジュール213に指示し得る。次に、深度計算モジュール213は、計算によって得られた深度マップを画像データセキュリティバッファ212に記憶してよい。画像データセキュリティバッファ212内の深度マップおよび一次デュアルパスカメラによって収集された画像（例えば、第1の画像情報）は、顔認識TA214に送信されてよい。顔認識TA214は、顔認識サービスロジックにしたがって、深度マップおよび第1の画像情報を使用することによって顔認識を実行する。
顔認識TA214は、顔の検知、ライブネス検知（深度偽造防止認証および赤外線偽造防止認証を含む）、特徴の抽出、特徴の比較、テンプレート管理などを実行してよい。顔の検知とは、顔認識TA214が、画像1に顔画像が含まれているかどうかを検知し得ることを意味する。画像1が顔画像を含む場合、顔認識TA214は、ライブネス検知、特徴の抽出、特徴の比較、テンプレート管理などの動作を実行することができる。特徴の抽出とは、顔認識TA214が、第1の画像情報から顔の特徴を抽出することを意味する。特徴の比較とは、顔認識TA214が、RPMB215内の顔テンプレートと、画像1から抽出された顔の特徴とを比較し、画像1から抽出された顔の特徴が顔テンプレートと一致するかどうか判定すること、すなわち二次元画像認証を行うことを意味する。
いくつかの実施形態では、RPMB215内の顔テンプレートは、第3のカメラ104（すなわち、RGBカメラ）によって収集されたRGB画像であってよい。あるいは、RPMB215内の顔テンプレートは、一次デュアルパスカメラ（例えば、第1のカメラ102）によって収集された第3の画像情報であってもよい。
いくつかの実施形態では、本出願の実施形態における顔認識（すなわち、ユーザ本人確認）は、二次元画像認証、深度偽造防止認証、および赤外線偽造防止認証のすべてが成功した場合にのみ成功することができる。そうでない場合、顔認識（すなわち、ユーザ本人確認）は失敗する。
複数のアプリケーション201、カメラサービス202、顔認識サービス204、カメラプロセス203、および顔認識プロセス205は、比較的低いセキュリティ要件を有する。図1Fに示されるように、複数のアプリケーション201、カメラサービス202、顔認識サービス204、カメラプロセス203、および顔認識プロセス205は、リッチ命令を実行することができるリッチ実行環境（rich execution environment、REE）において稼働し得る。ISP211、深度計算モジュール213、顔認識TA214などは、比較的高いセキュリティ要件を有し、TEE内で稼働し得る。画像データセキュリティバッファ212およびRFMB215もTEE内にある。
本出願の実施形態では、顔認識を実行するために使用されるすべての画像情報がREE（例えば、画像データセキュリティバッファ212またはRFMB215）に記憶されることに留意されたい。加えて、画像情報を使用することによって実行される顔認識が、REEにおいても行われる。このようにして、これにより、電子デバイス100における顔認識を実行するために使用される画像情報が盗まれる可能性を低減し、電子デバイス100のセキュリティ性能を向上させる。
顔認識TA214におけるテンプレート管理とは、顔認識TA214が、RPMB215に記憶されている顔テンプレートを更新し得ることを意味する。RPMB215に記憶された顔テンプレートを更新することは、RPMB215に新しい顔テンプレートを追加すること、またはRPMB215に記憶された顔テンプレートを新しい顔テンプレートと置き換えることを含み得る。
具体的には、顔認識TA214によって行われる顔認識（すなわち、ユーザ本人確認）が成功し、この顔認識を実行するために使用される二次元顔画像の画質が、第1の品質閾値よりも高く、二次元顔画像に対して顔認識を実行する周波数が予め設定された周波数閾値よりも高く、かつ二次元顔画像がRPMB215に記憶されている顔テンプレートとある程度異なる場合、顔認識TA214は、二次元顔画像を新しい顔テンプレートとして使用し、RPMB215に記憶されている顔テンプレートを更新してよい。
以下のシナリオでは、顔認識TA214は、前述の要件を満たす新しい顔テンプレートをRPMB215に記憶する。シナリオ（1）では、ユーザが異なる機会において異なる衣服を着ている場合、顔認識のために電子デバイス100によって収集されたユーザの二次元顔画像間に特有の違いが生じる。シナリオ（2）では、ユーザが化粧をした場合と、化粧をしない場合では、顔認識のために電子デバイス100によって収集されたユーザの二次元顔画像間には特有の違いが生じる。
二次元画像の画質は、二次元画像の精細度または完全性によって表されてよく、二次元画像の画質は代替として、二次元画像の精細度および完全性によって表されてもよい。二次元画像の精細度が高いほど、二次元画像の品質が高いことを示す。二次元画像の完全性が高いほど、二次元画像の品質が高いことを示す。本出願の実施形態では、第1の品質閾値は第2の品質閾値よりも高い。
本出願の一実施形態は顔認識方法を提供し、本方法は電子デバイス100に適用されてよい。電子デバイス100は、赤外線プロジェクタ101と、第1のカメラ102と、第2のカメラ103とを含む。図1Aに示されるように、第1のカメラ102のレンズ焦点距離と第2のカメラ103のレンズ焦点距離は共にfであり、第1の長さはTである。図2に示されるように、顔認識方法は、S201～S204を含んでよい。
S201．電子デバイス100は、第1の命令を受信する。第1の命令は、第1の対象物に対して顔認識を実行するように電子デバイス100をトリガする。
電子デバイス100は、ユーザの第1の操作を受信することができ、第1の操作は、第1のイベント（例えば、電子デバイス100のロックを解除するか、または支払いを完了する）を実行するように電子デバイス100をトリガするのに使用される。電子デバイス100は、第1のイベントを実行するために、第1の対象物の画像情報（第1の対象物の二次元画像および深度情報を含む）を使用する必要がある。したがって、第1の操作に応答して、電子デバイス100は第1の命令を取得してよく、第1の命令は、第1の対象物の二次元画像および深度情報を取得するように電子デバイス100をトリガしてよい。
例えば、本出願の本実施形態における方法は、顔ベースのロック解除シナリオおよび顔ベースの支払いシナリオなどの複数のシナリオに適用され得る。
顔ベースのロック解除シナリオでは、電子デバイス100の電源がオンになっており、電子デバイス100の画面がオフになっていると仮定する。第1の操作は、電子デバイス100の関連する物理ボタンに対してユーザによって行われるヒット操作（例えば、シングルヒット操作）であってよい。例えば、関連する物理ボタンは、ロック画面ボタンまたはHomeボタンであってよい。電子デバイス100が物理ボタンに対してユーザによって行われた第1の操作を受信した場合、ユーザが電子デバイス100のロックを解除しようとしている可能性があることを示している。
あるいは、電子デバイス100は、ユーザによって保持されている電子デバイス100の状態を検出するように構成された1つまたは複数のセンサを含んでもよい。電子デバイス100の電源がオンになっており、電子デバイス100の画面がオフであるか、または電子デバイス100にロック画面インタフェースが表示されていると仮定する。電子デバイス100が第1の操作を受信することは、具体的には以下の通りであってよく、すなわち、センサは、ユーザによって保持されている電子デバイス100の現在の状態が、予め設定された条件を満たす変化を受けることを検出する。ユーザによって保持されている電子デバイス100の状態が、予め設定された条件を満たす変化を受ける（例えば、電子デバイス100がユーザによって取り上げられ、ユーザは、電子デバイス100のディスプレイと水平面との間の挟角が特定の範囲内に入るように電子デバイス100を保持する）とき、ユーザが電子デバイス100のロックを解除しようとしている可能性があることを示す。
換言すると、第1の操作は、ロック解除（すなわち、第1のイベントを実行する）を実行するように電子デバイス100をトリガするために使用されてよい。電子デバイス100がロック解除される前に、ユーザ本人確認が実行される必要がある。顔認識は、ユーザ本人確認の1つの方式である。顔認識を実行するために、電子デバイス100は、第1の対象物の二次元画像および深度情報を取得し得る。
本出願の本実施形態では、1つまたは複数のセンサは、電子デバイス100が回転されているかどうか、電子デバイス100がユーザに対して前方に移動しているかどうか、または電子デバイス100が水平線に対して上方に移動しているかどうかを検出することによって、ユーザによって保持されている電子デバイス100の状態が予め設定された条件を満たす変化を受けたかどうかを判定してよい。具体的には、電子デバイス100は、電子デバイス100の動きパラメータを検出してよい。次いで、電子デバイス100は、動きパラメータに基づいて、電子デバイス100が回転されているかどうか、電子デバイス100がユーザに対して前方に移動しているかどうか、および電子デバイス100が水平線に対して上方に移動しているかどうかを判定してよい。最終的に、電子デバイス100は、判定結果に基づいて、ユーザによって保持されている電子デバイス100の状態が、予め設定された条件を満たす変化を受けたかどうかを判定してよい。
例えば、本実施形態では、「ユーザによって保持されている電子デバイス100の現在の状態が、予め設定された条件を満たす変化を受けること」は、具体的には、電子デバイス100が回転され、上方に移動していることをセンサが検出した後、電子デバイス100のディスプレイと水平面との間の挟角が予め設定された範囲内に入ることを含んでよい。
異なるユーザは異なる撮影習慣を有するため、電子デバイス100は、ほとんどまたはすべてのユーザが電子デバイス100を使用して顔画像を収集するプロセスにおいてセンサによって収集された状態変化パラメータに関する統計を収集し、状態変化パラメータの変化を予め設定された条件を満たす変化として判定し得ることに留意されたい。このようにして、電子デバイス100は、電子デバイス100内のセンサによって収集された状態変化パラメータの変化が予め設定された条件を満たす変化であることに応答して、ユーザが電子デバイス100のロック解除を望んでいる可能性が比較的高いと判定してよい。この場合、S202が実行されてよい。
例えば、顔ベースの支払いシナリオでは、第1の操作は、支払いインタフェース上の支払いボタンに対してユーザによって行われるタップ操作（例えば、シングルタップ操作）であり得る。例えば、図3（a）に示される支払いインタフェース301は、「今すぐ支払う」支払いボタン302を含み、第1の操作は、「今すぐ支払う」ボタン302に対してユーザによって行われるシングルタップ操作であり得る。あるいは、第1の操作は、支払いインタフェース上でユーザによって入力された予め設定されたジェスチャ、例えば、S字形のジェスチャであってもよい。第1の操作に応答して、電子デバイス100は注文のための支払いを行ってよい（すなわち、第1のイベントを実行してよい）。しかしながら、電子デバイス100が注文の代金を支払う前に、ユーザ本人確認が実行される必要がある。顔認識は、ユーザ本人確認の1つの方式である。顔認識を実行するために、電子デバイス100は、第1の対象物の深度情報を取得してよい。「今すぐ支払う」ボタン302に対してユーザによって行われたシングルタップ操作に応答して、電子デバイス100は、図3（b）に示される顔記録インタフェース303を表示してよい。
S202．第1の命令に応答して、電子デバイス100は、赤外線プロジェクタ101を使用することによって光点を有する赤外線を放射し、第1のカメラ102を使用することによって第1の対象物の第1の画像情報を収集し、第2のカメラ103を使用することによって第1の対象物の第2の画像情報を収集する。
第1の命令に応答して、電子デバイス100は、赤外線プロジェクタ101を有効化し、第1のカメラ102および第2のカメラ103を有効化および初期化してよい。電子デバイス100が赤外線プロジェクタ101を有効化した後、赤外線プロジェクタ101は、光点を有する赤外線を放射してよい。電子デバイス100が第1のカメラ102および第2のカメラ103を有効化および初期化した後、第1のカメラ102および第2のカメラ103は対象物（すなわち、第1の対象物）の画像情報を収集してよい。
電子デバイス100が第1のカメラ102および第2のカメラ103を初期化することは、電子デバイス100が、第1のカメラ102および第2のカメラ103によって収集された画像の初期化パラメータ（AE、AEB、およびAF）を電子デバイス100に予め記憶された初期化パラメータに合わせて調整することを特に含んでよい。予め記憶された初期化パラメータは、電子デバイス100が顔認識を実行するために使用される二次元顔画像を記録するときに使用される第1のカメラ102および第2のカメラ103の初期化パラメータである。カメラが画像を2回収集するときにカメラ（例えば、第1のカメラ102および第2のカメラ103）の同一の初期化パラメータが使用される場合、異なる初期化パラメータに起因する2回収集された画像間の比較的大きな違いによって引き起こされる顔認識の失敗を低減することができる。
本出願の本実施形態では、赤外線プロジェクタ101は、第1の対象物に対して光点を有する赤外線を放射し、光点を有する赤外線が第1の対象物の上に照射される。これにより、第1の対象物の特徴（すなわち、テクスチャ特徴）の数を増やし、第1のカメラ102および第2のカメラ103による第1の対象物の各特徴の認識率を高めることができる。
本出願の本実施形態では、赤外線プロジェクタ101によって放射される光点を有する赤外線、および赤外線プロジェクタ101によって光点を有する赤外線を放射する原理について説明する。
赤外線の波長は、760nm～1000nmである。一般に、赤外線は人間の目には見えない。しかしながら、一部の赤外線（例えば、850nmの赤外線）は顕著な赤色光の特徴を有し、少量の赤色光はなおも人間の目に見える。赤外線プロジェクタ101がこの種の赤外線を第1の対象物に放射する場合、ユーザは第1の対象物に照射された赤外線を見ることができ、これはユーザの視覚的体験に影響を及ぼす。
赤外線プロジェクタ101が第1の対象物に赤外線を放射するためにユーザの視覚的体験が影響を受けるのを防止するために、赤外線プロジェクタ101によって放射される赤外線は、人間の目には完全に見えない赤外線であってよい。例えば、赤外線プロジェクタ101によって放射される赤外線は、890nm～990nmの赤外線であってよく、具体的には、例えば940nmの赤外線である。
一部のカメラ（例えば、ローリングシャッター（rolling shutter）カメラ）の露光はラインごとに行われる。そのため、第1のカメラ102および第2のカメラ103の露光がラインごとに行われる場合、赤外線プロジェクタ101は、第1のカメラ102および第2のカメラ103の全露光期間において、光点を有する赤外線を放射できるようにする必要がある。そうでなければ、露光中に第1のカメラ102および第2のカメラ103によって収集された画像情報におけるいくつかの画像に光点が全く存在しない場合がある。この場合、赤外線プロジェクタ101の動作電力が過度に高いために赤外線プロジェクタ101が加熱されて比較的高温になり、これにより、赤外線プロジェクタ101による赤外線の放射の効率に影響を及ぼし（すなわち、赤外線の輝度に影響を与え）、さらに、光点を有する赤外線が対象物に照射されたときに形成されるテクスチャ特徴の効果にも影響を与えることを回避するために、赤外線プロジェクタ101の動作電力が過度に高くならないことが必要である。
当然ながら、赤外線プロジェクタ101の動作電力は、過度に低くすることもできない。赤外線プロジェクタ101の動作電力が低すぎると、赤外線プロジェクタ101による赤外線の放射の効率も影響を受け、さらに、光点を有する赤外線が対象物に照射されたときに形成されるテクスチャ特徴の効果も影響を受ける。
要約すると、赤外線が対象物に照射されるときに形成されるテクスチャ特徴の効果を確実にするために、赤外線プロジェクタ101の出力は、過度に高くなったり、過度に低くなったりするべきではない。赤外線プロジェクタ101の電力を安定させるために、赤外線プロジェクタ101の動作電流は、100mA～200mAの範囲であってよい。例えば、赤外線プロジェクタ101の動作電流は、150 mAであってよい。
一般に、赤外線プロジェクタは、以下の3つの部分を含んでよく、（1）赤外線光源、（2）コリメートミラー、（3）回折光学素子（diffractive optical elements、DOE）である。
赤外線光源は、レーザ光源であってよい。例えば、レーザ光源は、垂直共振器面発光レーザ（（vertical cavity surface emitting laser、VCSEL）であってもよい。VCSELは、前述の赤外線を放射し得る。
コリメートミラーは、1Pレンズであってもよいし、2Pレンズであってもよい。コリメートミラーが1Pレンズであることは、コリメートミラーが1つのレンズを含むことを意味する。2Pレンズとは、コリメートミラーが2枚のレンズで構成されていることを意味する。コリメートミラーは、非平行光をほぼ平行な光源に変換するように構成される。これにより、赤外線プロジェクタによって放射される赤外線のテクスチャのノイズレベルを低減することができ、すなわち、非テクスチャ部分の光を低減することができる。換言すると、この変換により、赤外線プロジェクタによって放射される赤外線における明るいドットをより明るくし、赤外線プロジェクタによって放射される赤外線における暗いドットをより暗くすることができる。
昼間の比較的強い可視光では、第1のカメラ102および第2のカメラ103によって収集された画像情報において、光点を有する赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴はほとんど見ることができない。この場合、電子デバイス100は、2つの画像情報において同一の特徴を認識する際、第1の対象物の特徴に基づいて判定を行ってよい。したがって、コリメートミラーが光を変換することによって取得された明るいドットが深度の計算に影響を与えることはない。
本出願の本実施形態では、赤外線プロジェクタ101においてコリメートミラーは省略されてもよい。具体的には、本出願の本実施形態では、赤外線プロジェクタ101はコリメートミラーを含まず、赤外線光源およびDOEのみを含む場合がある。コリメートミラーは、VCSELによって放射された光がコリメートミラーを通過した後にほぼ平行光になるように構成される。このようにして、コリメートミラーが存在する場合、光がDOEを通過した後は、光点径は小さく、コントラストが高くなる（具体的には、光点区域の輝度は高く、非光点区域の輝度は低い）。したがって、可視光の強度が非常に低い場合、または真っ暗（例えば、夜間）な場合、プロジェクタによって照明された第1の対象物は、黒くなるか、またはスポットまたは光点のない特定の区域では見ることができない。これは、コリメートミラーを有するプロジェクタの光点および光は、より集中され、光点のない場所は理論的には光が少ないか、またはわずかな周囲光しかないためである。コリメートミラーが赤外線プロジェクタから除去された場合、光は、DOEに入射する前は平行光ではないため、光点のコントラストは低く、光の一部は非光点区域になおも存在する。コリメートミラーのないプロジェクタは、プロジェクタ設計におけるノイズである。しかしながら、本出願の本実施形態では、深度情報を測定する精度を向上させることができる。コリメートミラーのないプロジェクタについて、弱い可視光または真っ暗な場合、第1の対象物の、光点が照射される区域では、第1の対象物は光点によって照明されてよく、光点によって照明されていない区域では、このノイズが理由で、比較的弱い光も第1の対象物に照射される。この場合、第1の対象物を全体として見ることが可能である。したがって、第1の対象物の特徴をより顕著にすることができ、深度情報の測定精度を向上させることができる。
DOEは、フーリエ光学原理を使用することにより、平行光を必要な光出力形態に変換するように構成される。出力形態は、点、線、または面であってよい。本出願の本実施形態では、DOEは、光点を有する赤外線を放射するように赤外線プロジェクタを制御するように配置され得る。光点の形状、数および配置はすべて、DOEを配置することによって実施されてよい。
いくつかの実施形態では、昼間の比較的強い可視光では、光点を有する赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴は、デュアルパスカメラによって収集された画像情報ではほとんど見ることができない。したがって、昼間の比較的強い可視光（例えば、光が2ルクスより大きい）では、赤外線プロジェクタ101が無効にされてもよい。この場合、電子デバイス100は、2つの画像情報において同一の特徴を認識する際、第1の対象物の特徴に基づいて判定を行ってよい。
具体的には、赤外線プロジェクタ101によって放射される赤外線は、複数の光点を含んでよい。複数の光点は、複数のスペックル格子群を含んでよい。複数のスペックル格子群のうちの第1のスペックル格子群は、1つまたは複数のスペックルアレイを含む。第1のスペックル格子群は、複数のスペックル格子群のうちのいずれか1つである。スペックル格子は、複数のスペックルを含む。図4は、本出願の一実施形態による複数のスペックル格子の一例の概略図である。例えば、図4に示されるスペックル格子401は、複数の円形スペックルを含むスペックル格子である。
いくつかの実施形態では、複数のスペックル格子内の第1のスペックル格子内の複数のスペックルの形状は同一であってよい。第1のスペックル格子は、複数のスペックル格子のうちのいずれか1つである。例えば、図4に示されるスペックル格子401、スペックル格子402、スペックル格子403、スペックル格子404、およびスペックル格子408のスペックルはすべて円形である。図4に示されるスペックル格子405内のすべてのスペックルは長方形である。
いくつかの他の実施形態では、スペックル格子内の複数のスペックルのうちの少なくとも2つは異なる形状を有する。例えば、図4に示されるスペックル格子406は、円形スペックルおよび長方形スペックルを含む。図4に示されるスペックル格子407は、異なる形状の複数のスペックルを含む。
異なるスペックル格子は異なる形状を有する場合があることに留意されたい。例えば、図4に示されるように、スペックル格子401は長方形のスペックル格子であり、スペックル格子402は三角形のスペックル格子であり、スペックル格子403は八角形のスペックル格子であり、スペックル格子404は別の八角形のスペックル格子である。スペックル格子401、スペックル格子402、スペックル格子403、およびスペックル格子404は異なる形状を有するため、スペックル格子401、スペックル格子402、スペックル格子403、およびスペックル格子404は異なるスペックル格子である。
異なるスペックル格子では、スペックルの数、スペックルの形状、およびスペックル格子の形状のうちの少なくとも1つが異なる。例えば、図4に示されるスペックル格子401と、スペックル格子408は同一形状を有するが、スペックル格子401と、スペックル格子408は異なる数のスペックルを含む（スペックル格子401はスペックル格子408よりも1つ多いスペックルを含む）。したがって、スペックル格子401と、スペックル格子408は異なるスペックル格子である。例えば、図4に示されるスペックル格子401と、スペックル格子405は同一形状であり、スペックル格子401と、スペックル格子405はそれぞれ同一数のスペックルを含むが、スペックル格子401におけるスペックルの形状（円形）と、スペックル格子405におけるスペックルの形状（長方形）は異なる。したがって、スペックル格子401と、スペックル格子405は異なるスペックル格子である。別の例として、図4に示されるスペックル格子402と、スペックル格子404に含まれるスペックルは同一形状を有し、2つのスペックル格子はそれぞれ同一数のスペックルを含むが、スペックル格子402の形状（三角形）は、スペックル格子404の形状（八角形）とは異なる。したがって、スペックル格子402と、スペックル格子404とは異なるスペックル格子である。
図4は、いくつかのスペックル格子の一例の単なる例示的な概略図である。赤外線における複数の光点のスペックル格子は、図4に示されるスペックル格子を含むが、これに限定されない。
いくつかの実施形態では、複数の光点は、複数の同一スペックル格子群を含む。各スペックル格子群は、1つのスペックル格子を含む。例えば、赤外線プロジェクタ101によって放射される赤外線は、図5に示す複数の光点501を有すると仮定する。複数の光点501は、複数の同一のスペックル格子群502を含む。スペックル格子群502は、1つのスペックル格子401を含む。別の例として、赤外線プロジェクタ101によって放射される赤外線は、図5に示される複数の光点503を有すると仮定する。複数の光点503は、複数の同一のスペックル格子群504を含む。スペックル格子群504は、1つのスペックル格子407を含む。
いくつかの他の実施形態では、複数の光点は、複数の同一のスペックル格子群を含む。各スペックル格子群は、複数のスペックル格子を含む。複数のスペックル格子のうちの少なくとも2つは異なっている。
例えば、赤外線プロジェクタ101によって放射される赤外線は、図6Aに示される複数の光点601を有すると仮定する。複数の光点601は、複数の同一のスペックル格子群602を含む。スペックル格子群602は、スペックル格子402およびスペックル格子404を含む。スペックル格子402は、スペックル格子404とは異なる。
別の例として、赤外線プロジェクタ101によって放射される赤外線は、図6Bに示される複数の光点603を有すると仮定する。複数の光点603は、複数の同一のスペックル格子群604を含む。スペックル格子群604は、2つのスペックル格子401と、2つのスペックル格子403とを含む。スペックル格子401は、スペックル格子403とは異なる。
別の例として、赤外線プロジェクタ101によって放射される赤外線は、図6Cに示される複数の光点605を有すると仮定する。複数の光点605は、複数の同一のスペックル格子群606を含む。スペックル格子群606は、スペックル格子404、スペックル格子408、スペックル格子406、およびスペックル格子407を含む。スペックル格子404、スペックル格子408、スペックル格子406、およびスペックル格子407は、互いに異なる。
いくつかの他の実施形態では、複数の光点は、複数のスペックル格子群を含む。複数のスペックル格子群は、少なくとも2つの異なるスペックル格子群を含む。例えば、赤外線プロジェクタ101によって放射される赤外線は、図7Aに示される複数の光点701を有すると仮定する。複数の光点701は、互いに異なる複数のスペックル格子群、例えば、スペックル格子群602、スペックル格子群604およびスペックル格子群606を含む。
いくつかの他の実施形態では、複数の光点は、異なる形状の複数のスペックルを含む。異なる形状の複数のスペックルがランダムに配置されている。例えば、図7Bに示されるように、複数の光点702は、異なる形状の複数のスペックルを含む。
図5、図6A、図6B、図6C、または図7Aは、赤外線における複数の光点の一例の単なる例示的な概略図であることに留意されたい。赤外線の複数の光点におけるスペックル格子の数は、図5、図6A、図6B、図6C、または図7Aに示されるスペックル格子の数に限定されない。
一般に、赤外線送信機101によって放射される赤外線のスペックルの数は、約3000である。当然ながら、赤外線送信機101によって放射される赤外線中のより多くの数のスペックルは、赤外線が第1の対象物に照射されたときに第1の対象物の特徴の数がより大きく増加し、電子デバイス100が第1の対象物の深度情報を計算するのがより簡便であることを示す。例えば、赤外線送信機101によって放射された赤外線のスペックルの数が約7000であるときに電子デバイス100によって計算される第1の対象物の深度情報は、スペックルの数が約3000であるときに電子デバイス100によって計算される第1の対象物の深度情報よりも正確である。
赤外線送信機101によって放射された赤外線におけるスペックル格子群が周期的に繰り返される場合、赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴も繰り返されることを理解することができる。本出願の本実施形態では、スペックル格子の繰り返し頻度は、予め設定された領域に現れる同一スペックル格子の数によって表されてよい。予め設定された領域に現れるより多くの数の同一スペックル格子群は、スペックル格子のより高い繰り返し頻度、およびスペックル格子のより小さい繰り返し間隔を示す。この場合、電子デバイス100が、第1のカメラ102で収集された画像情報と、第2のカメラ103で収集された画像情報において同一の特徴を認識する際に特徴のマッチングエラーが生じやすい。本出願の本実施形態では、特徴のマッチングとは、第1のカメラ102によって収集された画像情報と、第2のカメラ103によって収集された画像情報において同一の特徴を認識することを意味する。予め設定された領域に現れるより少ない数の同一スペックル格子群は、スペックル格子のより低い繰り返し頻度、およびスペックル格子のより大きな繰り返し間隔を示す。
画像に反映されるスペックル格子の繰り返し間隔は、2つの同一スペックル格子間の最短距離である。例えば、2つのスペックル格子間の距離は、2つのスペックル格子の中心点間の距離であってよい。例えば、図7Cに示されるように、複数の光点703は、複数の繰り返しスペックル格子群、例えば、スペックル格子群704、スペックル格子群705、およびスペックル格子群706を含む。スペックル格子群704、スペックル格子群705およびスペックル格子群706は、同一である。点K1は、スペックル格子群704におけるスペックル格子707の中心点である。点K2は、スペックル格子群705におけるスペックル格子708の中心点である。点K3は、スペックル格子群706におけるスペックル格子709の中心点である。図7Cに示されるスペックル格子の繰り返し間隔は、点K1と点K2との間の距離および点K1と点K3との間の距離の最短距離によって表されてよい。点K1と点K2との間の距離は、点K1と点K3との間の距離よりも短いので、図7Cに示されるスペックル格子の繰り返し間隔は、点K1と点K2との間の距離によって表されてよい。
本出願の本実施形態では、スペックル格子の繰り返し頻度が低いほど、赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴の繰り返しが少なく、電子デバイス100によって計算される第1の対象物の深度情報の精度が高いことを示す。
電子デバイス100は、式

Figure 0007195422000006
 を使用することによって三角測量の原理にしたがって第1の対象物の深度情報を計算する。具体的には、第1の対象物の深度情報は、第1のカメラ102と第2のカメラ103との間の距離（すなわち、第1の長さT）、第1のカメラ102および第2のカメラ103のレンズ焦点距離fおよび視差dに基づいて計算される。
赤外線プロジェクタ101によって放射される光点を有する赤外線が第1の対象物に照射されてよく、光点を有する赤外線が照射された第1の対象物を第1のカメラ102および第2のカメラ103によって撮影することができることを保証するために、本出願の本実施形態では、赤外線プロジェクタ101の視野（field of view、FOV）の到達範囲領域、第1のカメラ102のFOVの到達範囲領域、および第2のカメラ103のFOVの到達範囲領域は、部分的にまたは完全に重なる。FOVのサイズは、光学デバイス（例えば、カメラ）の視野を表してよい。
赤外線プロジェクタ101、第1のカメラ102、および第2のカメラ103のFOVの到達範囲領域のより大きな重なる区域は、第1のカメラ102および第2のカメラ103によって収集されるより多くの数のテクスチャ特徴を示す。赤外線プロジェクタ101、第1のカメラ102、および第2のカメラ103のFOVの到達範囲領域の重なる区域を比較的大きくするために、図1Aに示されるように、赤外線プロジェクタ101は、第1のカメラ102と第2のカメラ103との間に配置されてよい。
第1のカメラ102と第2のカメラ103との間の距離（すなわち、第1の長さ）もまた、重なる区域の大きさに影響を与えることを理解することができる。例えば、より大きな第1の長さは、第1のカメラ102および第2のカメラ103のFOVの到達範囲領域のより小さな重なる区域を示す。しかしながら、第1の長さが過度に小さい場合、第1の対象物の各特徴についての第1のカメラ102と第2のカメラ103との間の視差もまた非常に小さくなり、0に近くなる。したがって、第1の長さを過度に大きくする、または過度に小さくすることはできない。第1の長さが過度に大きい、または過度に小さい場合、電子デバイス100によって計算される深度情報の精度は影響を受ける。
実験から、第1の長さTが20mmから30mmの範囲の任意の長さであるとき、電子デバイス100によって計算される深度情報は比較的正確であることが分かる。したがって、本出願の本実施形態では、第1の長さTは、20mmから30mmの範囲の任意の長さであってよい。例えば、第1の長さTは29．5mmであってよい。2つのカメラ間の距離をどのように設定するかは、カメラパラメータによって影響され得ることに留意されたい。したがって、第1の長さTが20mm～30mmであることは単なる一例である。
赤外線プロジェクタ101が光点を有する赤外線を放射した後、第1のカメラ102および第2のカメラ103が光点を含む画像情報を収集できることが求められる場合、第1のカメラ102および第2のカメラ103は、赤外線を受光できることが求められる。例えば、第1のカメラ102および第2のカメラ103は、890nm～990nmの赤外線、例えば940nmの赤外線を受光するように構成されてよい。
前述の説明から、本出願の本実施形態では、第1のカメラ102および第2のカメラ103は赤外線を感知する（すなわち、赤外線を受光する）ことができる必要があることを知ることができる。しかしながら、一般的なRGBカメラは、可視光のみを感知することはできるが、赤外線を感知することはできない。一方、赤外線感知機能付き赤外線カメラを電子デバイス100に配置するコストは比較的高く、赤外線カメラを使用すると電子デバイス100の消費電力が増加する。
電子デバイス100のハードウェアコストを削減し、電子デバイス100の消費電力を削減するために、本出願の本実施形態では、赤外線を感知することができる第1のカメラ102および第2のカメラ103を取得するために、一般的なRGBカメラを改善してよい。
図8（a）は、本出願の一実施形態による一般的なRGBカメラモジュールの概略構造図である。図8（a）に示されるように、本出願の本実施形態では、本出願の本実施形態において第1のカメラ102および第2のカメラ103を取得するために一般的なRGBカメラを改善する方法を説明するために、rolling shutterカメラが一例として使用される。
図8（a）に示されるように、RGBカメラモジュール800は、3Pレンズ、光フィルタ（フィルタとも呼ばれる）804、およびセンサ（sensor）805を含み得る。3Pレンズとは、RGBカメラが、レンズ801、レンズ802、およびレンズ803の3つのレンズを含むことを意味する。センサ805は、2Mセンサであってよい。2Mとは、RGBカメラの最高解像度が2メガピクセルに達することができることを意味する。
図8（a）に示されるRGBカメラモジュール800が可視光と赤外線の両方を感知できるようにするために、図8（a）に示されるRGBカメラモジュール800は、以下のように改善されてよく、反射防止コーティングが、図8（a）に示されるRGBカメラモジュール800の各レンズ（例えば、レンズ801、レンズ802、およびレンズ803）の両側のそれぞれに施されて、図8（b）に示されるレンズ801、レンズ802、およびレンズ803を取得する。カットオフコーティングが光フィルタ804に施されて、図8（b）に示される光フィルタ804を取得する。本出願の本実施形態では、RGBカメラモジュール800内のセンサ805は改善されなくてもよい。本出願の本実施形態では、カットオフコーティングは、光フィルタ804の両側のそれぞれに施されてよい、または、光フィルタ804の一方の面にカットオフコーティングが施されてもよい。
第1のカメラ102および第2のカメラ103が赤外線プロジェクタ101によって放射された赤外線を感知できるようにするために、第1のカメラ102および第2のカメラ103は、赤外線プロジェクタ101によって放射された赤外線を感知する能力を有する必要があることに留意されたい。したがって、反射防止コーティングは、赤外線プロジェクタ101によって放射される赤外線の波長に応じた反射防止コーティングであってよい。例えば、反射防止コーティングは、890nm～990nmの赤外線用の反射防止コーティング、例えば、940nmの赤外線用の反射防止コーティングであり得る。
反射防止コーティングは、各レンズ（例えば、レンズ801、レンズ802、およびレンズ803）の両側のそれぞれに施され、その結果、赤外線プロジェクタ101によって放射された赤外線を感知するためのレンズ801、レンズ802、およびレンズ803の能力が改善されてよく、レンズ801、レンズ802、およびレンズ803は、赤外線プロジェクタ101によって放射された赤外線を可能な限り受け取ることができる。
カットオフコーティングは、赤外線プロジェクタ101によって放射された赤外線および可視光以外の光を除去し、赤外線の透過率を高めるために使用され得る。
例えば、波長850nmの赤外線を除去するためにカットオフコーティングが使用されてもよい。波長850nmの赤外線は顕著な赤色光の特徴を有するため、深刻な赤外線露光現象が発生する可能性があることが理解できる。それ故、カットオフコーティングを使用して、波長850nmの赤外線を除去することで、赤外線露光現象が発生する可能性を低減することができる。赤外線露光現象は、不完全な光フィルタリングの問題である。例えば、場合によっては、赤外線（すなわち、赤外線）のみが照明に使用されることが予想され得るため、フィルタを光源に追加して赤外線以外の光を除去してもよい。この場合、不完全な光フィルタリングにより、少量の赤外線が依然として人間の目に見える場合がある。このような現象は、赤外線露光現象と呼ばれる。
本出願の本実施形態では、改善されるべき一般的なRGBカメラは、前述のrolling shutterカメラを含むが、これに限定されない。前述の第1のカメラを取得するためにローリングシャッターカメラを改善する理由は、rolling shutterカメラの露光がラインごとに行われ、コストが比較的低いためである。本出願の本実施形態では、rolling shutterカメラは、第1のカメラ102および第2のカメラ103を取得するために改善され、その結果、コストをさらに削減することができる。
S203．電子デバイス100は、第1の画像情報、第2の画像情報、第1の長さおよびレンズ焦点距離に基づいて、第1の対象物の深度情報を計算する。
前述の式

Figure 0007195422000007
 から、第1の対象物の各特徴が位置する点の深度Zは、その点についての第1のカメラ102と第2のカメラ103との間の視差dに反比例し、各特徴が位置する点の深度Zはレンズ焦点距離fに正比例し、各特徴が位置する点の深度Zは第1の長さTに正比例することを知ることができる。
第1の長さTおよびレンズ焦点距離fは、第1のカメラ102および第2のカメラ103のハードウェアパラメータである。第1の長さTとレンズ焦点距離fは固定されている。この場合、第1の対象物の各点の深度Zの値は、その点についての第1のカメラ102と第2のカメラ103との間の視差dの値に依存する。
例えば、図10A－1に示されるように、第1のカメラ102は左側のデュアルパスカメラであり、第2のカメラ13は右側のデュアルパスカメラであると仮定する。笑顔、三角形、円柱および三日月は、第1の対象物の異なる特徴を別々に表している。笑顔、三角形、円柱および三日月の位置からカメラまでの距離は徐々に大きくなる。図10A－2に示されるように、OLは第1のカメラ102の位置であり、ORは第2のカメラ103の位置であり、OLとORとの間の距離はT（すなわち、第1の長さ）である。
図10A－2に示されるように、第1のカメラ102は画像Aを収集し、第2のカメラ103は画像Bを収集する。Ol（画像Aの左上隅）を原点として有する座標系（略して座標系Lと呼ばれる）のx軸上の三日月の座標は、xL1であり、座標系Lのx軸上の円柱の座標はxL2であり、x軸上の三角形の座標はxL3であり、座標系Lのx軸上の笑顔の座標はxL4である。Or（画像Bの左上の角）を原点として有するx軸上の三日月の座標（略して座標系Rと呼ぶ）はxR1であり、座標系Rのx軸上の円柱の座標をxR2であり、座標系Rのx軸上の三角形の座標をxR3であり、座標系Rのx軸上の笑顔の座標をxR4である。
三日月の第1のカメラ102と第2のカメラ103との間の視差はd1であり、d1＝xL1－xR1である。円筒についての第1のカメラ102と第2のカメラ103との間の視差はd2であり、d2＝xL2－xR2である。三角形に対する第1のカメラ102と第2のカメラ103の視差はd3であり、d3＝xL3－xR3である。笑顔の第1のカメラ102と第2のカメラ103の視差はd4であり、d4＝xL4－xR4である。
本出願の本実施形態では、図10A－2に示される笑顔は、笑顔の第1のカメラ102と第2のカメラ103との間の視差d4（d4＝xL4－xR4）を説明するために、本明細書の一例として使用される。
図10Bに示されるように、画像Aの座標系において第1のカメラ102によって収集された笑顔の座標は（xL4、y）であり、第2のカメラ103によって収集された笑顔の座標は、画像Bは（xR4、y）である。図10Bに示されるように、x軸上の座標（xL4、y）と座標（xR4、y）との間の差はd4であり、ここで、d4＝xL4－xR4、すなわち、第1のカメラ102間の視差d4である。そして、笑顔のための第2のカメラ103は、xL4－xR4に等しい。
d1＜d2＜d3＜d4第1の対象物の各特徴の深度Z（すなわち、特徴が位置する点）は、その点についての第1のカメラ102と第2のカメラ103との間の視差dに反比例する。したがって、図10Cに示されるように、視差dと深度zとの間の関係の概略図を得ることができる。図10Cに示されるように、視差dが徐々に増加するにつれて、深度zは徐々に減少する。
要約すると、電子デバイス100は、最初に、第1の対象物の特徴についての第1のカメラ102と第2のカメラ103との間の視差dを計算してよく、次いで、特徴の視差d、第1の長さT、およびレンズ焦点距離fに基づいて、特徴が位置する点の深度Zを計算し、次いで、複数の点の深度に基づいて第1の対象物の深度情報を取得する。具体的には、図9に示されるように、図2に示されるS203は、S203aおよびS203bを含み得る。
S203a．電子デバイス100は、第1の画像情報および第2の画像情報における複数の第1の特徴について、第1のカメラ102と第2のカメラ103との間の視差を計算し、第1の特徴は、第1の画像情報および第2の画像情報において同一の特徴である。
赤外線送信機101によって放射された光点を有する赤外線が第1の対象物に照射されるとき、第1の対象物のテクスチャ特徴の数が増加され得る。例えば、第1の対象物が図11（a）に示される顔1101であり、赤外線送信機101によって放射される図11（b）に示される赤外線1102が、図7Cに示される光点を含むと仮定する。赤外線送信機101によって放射された赤外線1102が顔1101に照射された後、図11（c）に示されるように、光点が照射された顔1103が取得されてよい。顔1101と比較して、光点が照射された顔1103は、より多くの特徴テクスチャを有する。
相違点は、第1のカメラ102によって収集された顔1103の画像情報（すなわち、第1の画像情報）および第2のカメラ103により収集された顔1103の画像情報（すなわち、第2の画像情報）において同一の特徴が位置する点が、座標系のx軸上の異なる位置にある点、すなわち、第1のカメラ102と第2のカメラ103とが視差を有する点にある。
電子デバイス100は、第1のカメラ102によって収集された第1の画像情報および第2のカメラ103によって収集された第2の画像情報を認識し、第1の画像情報および第2の画像情報において同一の特徴を判定してよい。第1の画像情報および第2の画像情報における同一の特徴は、第1の対象物の特徴と、光点を有する赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴とを含み得る。具体的には、本出願の本実施形態では、第1の画像情報および第2の画像情報において同一の特徴を認識する際、電子デバイス100は、第1の画像情報および第2の画像情報において第1の対象物の同一の特徴を認識するだけではなく、第1の画像情報および第2の画像情報にあり、光点を有する赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴の中にある同一の特徴を認識することができる。すなわち、2つの画像情報において同一の特徴を認識する際、電子デバイス100は、第1の対象物の特徴またはテクスチャ特徴に基づいて判定を実行し得る、または2つの特徴を組み合わせることによって判定を実行してもよい。例えば、第1の対象物の特徴のみ、またはテクスチャ特徴のみに基づいて判定を行うことができる場合、2つの特徴を組み合わせる必要はない。あるいは、第1の対象物の特徴に基づいて、特徴が同一の特徴であるかどうかを判定することが困難である、または不可能である場合、テクスチャ特徴と第1の対象物の特徴の両方に基づいて、特徴が同一の特徴であるかどうかが判定されてもよい。
昼間の比較的強い可視光では、第1のカメラ102および第2のカメラ103によって収集された画像情報において、光点を有する赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴はほとんど見ることができない。しかしながら、可視光は比較的強いため、可視光が第1の対象物に照射されるとき、第1の対象物の特徴は比較的顕著である。この場合、2つの画像情報において同一の特徴を認識するとき、電子デバイス100は、第1の対象物の特徴に基づく判定を行ってよい。
前述のスペックル格子内のスペックルは同一形状を有してもよい（例えば、スペックル格子は、複数のドットを含む）が、スペックル格子内のスペックルの位置は異なることに留意されたい。したがって、電子デバイス100は、スペックル格子と、スペックル格子におけるスペックルの位置に基づいて、第1の画像情報および第2の画像情報において同一形状のスペックルによって表わされる同一の特徴を認識し得る。
いくつかの実施形態では、複数の第1の特徴は、第1の画像情報および第2の画像情報におけるすべての同一の特徴を含む。電子デバイス100は、第1の対象物の深度情報を取得するために、第1の画像情報および第2の画像情報におけるすべての同一の特徴を認識し、次いで、各特徴について、S203bを実行して特徴の深度を計算してよい。
いくつかの他の実施形態では、複数の第1の特徴は、第1の画像情報および第2の画像情報における同一の特徴の一部である。電子デバイス100は、第1の対象物の深度情報を取得するために、予め設定された特徴頻度に基づいて第1の画像情報から複数の第1の特徴を選択し、次いで複数の第1の特徴と同一である特徴を求めて第2の画像情報を検索し、最終的に各第1の特徴について、S203bを実行してよい。
特徴頻度は、予め設定された領域に現れる同一の第1の特徴の数であってよい。画像に反映される特徴頻度は、電子デバイス100によって選択された2つの隣接する第1の特徴の間の距離（特徴の距離と呼ばれる）であり得る。電子デバイス100によって、予め設定された特徴頻度に基づいて第1の画像情報から複数の第1の特徴を選択するための方法は、電子デバイス100が、1つの特徴の距離の間隔で、第1の画像情報におけるすべての特徴から1つの第1の特徴を選択することを含み得る。あるいは、電子デバイス100は、ランダムにまたは間隔を置いて、第1の画像情報からいくつかの第1の特徴を選択してもよい。
換言すると、電子デバイス100は、第1の画像情報および第2の画像情報における同一の特徴の各々が位置する点の深度を計算する必要はなく、1つの特徴の距離の間隔で1つの特徴を選択し、選択された特徴が位置する点の深度を計算する。
例えば、本出願の本実施形態では、前述の周期的特徴は、第1の画像情報および第2の画像情報にあり、一例として光点を有する赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴を使用することによって本明細書で説明される。
図12に示されるように、特徴の距離は、スペックル1201とスペックル1202との間の距離、またはスペックル1202とスペックル1204との間の距離、またはスペックル1204とスペックル1203との間の距離、またはスペックル1201とスペックル1203との間の距離であってもよい。図12に示されるように、本出願の本実施形態では、スペックルを黒でマーキングする方法を使用して、光点を有する赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴の中のいくつかの第1の特徴を示す。換言すると、図12に示される黒色でマークされたスペックルは、いくつかの第1の特徴である。
スペックル格子内のいくつかのスペックルは、同一形状を有してよい（例えば、スペックル格子は、複数のドットを含む）。電子デバイス100は、スペックル格子内のスペックルの位置に基づいて異なるスペックルを区別し得るが、電子デバイス100がスペックル格子内のスペックルの位置に基づいて異なるスペックルを区別するには比較的長い時間がかかり、電子デバイス100の消費電力が浪費される。電子デバイス100が第1の特徴を選択するときに使用される特徴の距離は、複数の光点におけるスペックル格子の繰り返し間隔を下回る、またはそれと等しくてもよい。換言すると、特徴頻度は、複数の光点におけるスペックル格子の繰り返し頻度を上回る、またはそれと等しい。このようにして、電子デバイス100が第1の画像情報から選択した2つの隣接する第1の特徴が異なるスペックル格子のスペックルに対応することを保証することができ、その結果、電子デバイス100は2つの隣接する第1の特徴を区別することができる。これにより、特徴のマッチングエラーの可能性を低減することができ、電子デバイス100によって計算される深度情報の精度を向上させることができる。
S203b．第1の対象物の深度情報を取得するために、電子デバイス100は、各第1の特徴について、式（2）を使用することによって、ならびに第1の特徴についての第1のカメラ102と第2のカメラ103との間の視差d、第1の長さT、およびレンズ焦点距離fに基づいて、第1の特徴が位置する点の深度を計算する。
式（2）は、

Figure 0007195422000008
 である。
本出願の本実施形態では、電子デバイス100は、赤外線プロジェクタ101を使用することによって、光点を有する赤外線を放射してよい。このように、第1のカメラ102および第2のカメラ103によって収集された第1の対象物の画像は、第1の対象物の特徴を含むだけでなく、光点を有する赤外線が第1の対象物に照射されたときに形成されるテクスチャ特徴を含んでよい。すなわち、第1のカメラ102および第2のカメラ103によって収集される第1の対象物の画像における特徴の数を増加させることができる。第1のカメラ102および第2のカメラ103によって収集された第1の対象物の画像における特徴の数が増加された後、電子デバイス100は、第1の対象物の深度情報を取得するために、第1のカメラ102によって収集された画像情報および第2のカメラ103によって収集された画像情報における同一の特徴をより正確に認識し、同一の特徴について第1のカメラ102と第2のカメラ103との間の視差を判定し、各特徴が位置する点の深度を計算することができる。これにより、電子デバイス100によって計算される第1の対象物の深度情報の精度を向上させることができる。
前述の実施形態は、第1のカメラ102のレンズ焦点距離が第2のカメラ103のレンズ焦点距離と同一である例を使用することによって説明されていることに留意されたい。しかしながら、別の実施態様では、第1のカメラ102のレンズ焦点距離は代替として、第2のカメラ103のレンズ焦点距離と異なっていてもよい。2つのカメラのレンズ焦点距離が異なる場合、深度Zを計算するための前述の式は深度を計算するために修正される。具体的な計算式は、従来技術における式であってもよい。
S204．電子デバイス100は、第1の画像情報および第1の対象物の深度情報を使用することによって第1の対象物に対してユーザ本人確認を実行する。
さらに、電子デバイス100が、第1の画像情報および第1の対象物の深度情報を使用することによって第1の対象物に対してユーザ本人確認を実行する前に、電子デバイス100は、第1の画像情報が顔画像を含むかどうかを最初に判定してもよい。例えば、図1Fに示されるように、電子デバイス100は、顔認識TA214において顔の検知を実行してもよい。第1の画像情報が顔画像を含む場合、電子デバイス100はS204を実行してよい。第1の画像情報が顔画像を含まない場合、第1の画像情報を使用することによって実行されるユーザ本人確認は失敗し、電子デバイス100は、第1の画像情報を使用することによってユーザ本人確認を実行し続ける代わりに、第1の対象物の画像情報を再収集してもよい。このようにして、電子デバイス100の計算量を削減することができ、電子デバイス100の消費電力を削減することができる。
電子デバイス100は、キーポイントの位置決めを通して、第1の画像情報が顔画像を含むかどうかを判定してよい。例えば、キーポイントは、人の鼻、口、および目などの器官の特徴と一致する特徴を含んでよい。すなわち、電子デバイス100は、第1の画像情報が人の鼻、口、および目などの器官の画像特徴を含むかどうかを判定することによって、第1の画像情報が顔画像を含むかどうかを判定してもよい。
さらに、第1の画像情報が顔画像を含む場合、ユーザ本人確認を実行する前に、電子デバイス100は、第1の画像情報の顔画像に表示された顔の姿勢が予め設定された要件を満たすかどうかを判定してもよい。例えば、予め設定された要件は、第1の画像情報における顔画像に表示された顔の姿勢が、正面または正面との角度が特定の値未満である横顔であることであってよい。一般に、電子デバイス100に記憶され、顔認識を実行するために用いられる二次元画像は、正面または正面との角度が特定の値未満である複数の横画を記録する画像である。したがって、予め設定された要件を満たす二次元画像を使用することによって、電子デバイス100によって実行されるユーザ本人確認は成功し得る。この場合、電子デバイス100は、S204を実行することができる。
第1の画像情報における顔画像に表示された顔の姿勢が予め設定された要件を満たさない場合、第1の画像情報を使用することによって実行されるユーザ本人確認は失敗する。この場合、電子デバイス100は、ユーザ本人確認を実行するために第1の画像情報を使用し続ける代わりに、第1の対象物の画像情報を再収集してもよい。このようにして、電子デバイス100の計算量を削減することができ、電子デバイス100の消費電力を削減することができる。
さらに、第1の画像情報および第1の対象物の深度情報を使用することによって第1の対象物に対してユーザ本人確認を実行する前に、電子デバイス100は、第1の画像情報の画質が第2の品質閾値以上であるかどうかをさらに判定してもよい。第1の画像情報の画質が第2の品質閾値以上である場合、電子デバイス100はS204を実行してよい。第1の画像情報の画像品質が第2の品質閾値より低い場合、第1の画像情報を使用することによって行われるユーザ本人確認は失敗し、電子デバイス100は、第1の画像情報を使用することによってユーザ本人確認を実行し続ける代わりに、第1の対象物の画像情報を再収集してもよい。このようにして、電子デバイス100の計算量を削減することができ、電子デバイス100の消費電力を削減することができる。
いくつかの実施形態では、電子デバイス100によって実行される顔認識は、二次元画像認証および深度偽造防止認証を含んでもよい。例えば、図1Fに示されるように、顔認識TA214は、特徴の抽出および特徴の比較（すなわち、二次元画像認証）を含むだけでなく、ライブネス検知（例えば、深度偽造防止認証）も含む。具体的には、図13に示されるように、図2に示されるS204は、S1301～S1304を含み得る。
S1301．電子デバイス100は、第1の画像情報と元の画像とを比較する。
元の画像は、電子デバイス100に記憶され、ユーザ本人確認を実行するために使用される二次元画像である。例えば、元の画像は、図1Fに示すRPMB 215の顔テンプレートであってもよい。電子デバイス100は、第1の画像情報を図1Fに示すRPMB215内の顔テンプレートと比較して、第1の画像情報が顔テンプレートと一致するかどうかを判定することができる。
いくつかの実施形態では、第1の画像情報における顔の特徴を抽出するために、電子デバイス100は、図1Fの顔認識TA214で特徴の抽出を実行してよい。これに対応して、図1Fに示されるRPMB215内の顔テンプレートは、電子デバイス100によって記録された元の画像の顔の特徴を含み得る。抽出された顔の特徴が顔テンプレートと一致するかどうかを判定するために、電子デバイス100は、第1の画像情報から抽出された顔の特徴を図1Fに示されるRPMB215内の顔テンプレートと比較してよい。
具体的には、第1の画像情報が元の画像と一致する場合、第1の画像情報が、電子デバイス100が元の画像を記録したときの元の画像に対応する対象物（すなわち、第2の対象物）の二次元画像を含むことを示す。この場合、電子デバイス100は、第1の対象物の深度情報に対して深度偽造防止認証を実行してよい。すなわち、電子デバイス100は、S1302を実行してよい。
第1の画像情報が元の画像と一致しない場合、第1の画像情報が第2の対象物の二次元画像を含まないことを示す。この場合、電子デバイス100は、ユーザ本人確認が失敗したと判定してよく、電子デバイス100は、S1304を実行してよい。
S1302．電子デバイス100は、第1の対象物の深度情報が実際の顔の深度特徴を有するかどうかを判定する。
電子デバイス100によってS203を実行することによって取得された深度マップは、第1の対象物（例えば、顔）の深度情報を含む深度マップである。深度マップは、第1の対象物の深度情報に加えて、背景の深度情報をさらに含む。電子デバイス100は、深度マップ上に顔の特徴の深度をマークしてよい。電子デバイス100は、顔の特徴の複数のマークされた深度（すなわち、第1の対象物の深度情報）が実際の顔の深度特徴を有するかどうかを判定してよい。
あるいは、電子デバイス100は、顔の深度マップを取得するために、深度マップから顔の特徴の深度を抽出してもよい。顔の深度マップは、顔の特徴の複数の深度（すなわち、第1の対象物の深度情報）を含む。次いで、電子デバイス100は、顔の特徴の複数の深度が実際の顔の深度特徴を有するかどうかを判定してよい。
第1の対象物の深度情報が実際の顔の深度特徴を有する場合、電子デバイス100によって撮影された第1の対象物が二次元顔画像を含む写真ではなく、実際の顔であることを示し、電子デバイス100は、ユーザ本人確認が成功したと判定してよい。この場合、電子デバイス100はS1303を実行してよい。
第1の対象物の深度情報が実際の顔の深度特徴を有しない場合、電子デバイス100によって撮影された第1の対象物が実際の顔ではないことを示す。第1の対象物は、二次元顔画像を含む写真である可能性がある。この場合、電子デバイス100は、ユーザ本人確認が失敗したと判定してよく、電子デバイス100は、S1304を実行してよい。
S1303．電子デバイス100は、ユーザ本人確認が成功した後に取得されるグラフィカル・ユーザ・インタフェースを表示する。
例えば、顔ベースのロック解除シナリオでは、電子デバイス100は、S1303を実行して、電子デバイス100がロック解除された後、取得されたグラフィカル・ユーザ・インタフェースを表示することができる。例えば、電子デバイス100が携帯電話であるとき、ユーザ本人確認が成功した後、携帯電話は、携帯電話のホーム画面（すなわち、デスクトップ）を表示してよい。ホーム画面は、携帯電話にインストールされた複数のアプリケーションのアイコンを含むか、または携帯電話は、携帯電話がロックされる前に表示されるインタフェースを表示してもよい。顔ベースの支払いシナリオでは、電子デバイス100は、支払いが成功したことを示すグラフィカル・ユーザ・インタフェースを表示するためにS1303を実行してよい。例えば、図3（c）に示されるように、ユーザ本人確認が成功した場合、電子デバイス100は、支払い成功インタフェース304を表示してよい。支払い成功インタフェース304は、プロンプト情報305「注文支払い済みです！」を含む。
S1304．電子デバイス100は、第2のプロンプト情報を送信する。第2のプロンプト情報は、ユーザ本人確認が失敗したことをプロンプトするために使用される。
いくつかの実施形態では、第2のプロンプト情報は、音声プロンプト情報、テキストプロンプト情報、および振動プロンプト情報のうちの1つまたは複数であってもよい。例えば、図3（d）に示されるように、ユーザ本人確認に失敗した場合、電子デバイス100は、第2のプロンプト情報306「顔が認識されません。正しい顔を使用して再試行してください！」を送信してよい。
電子デバイス100によってS1301およびS1302を実行するシーケンスは、図1Fに示される顔認識プロセス205の顔認識CAによって決定され得ることに留意されたい。図1Fに示される顔認識プロセス205における顔認識CAは、電子デバイス100によってS1301およびS1302を実行するシーケンスをランダムに決定してよい。あるいは、電子デバイス100によってS1301およびS1302を実行するシーケンスは、電子デバイス100において事前に構成されてもよい。
いくつかの他の実施形態では、電子デバイス100によってS1301およびS1302を実行するシーケンスは限定されない。例えば、電子デバイス100は、最初にS1302を実行してもよい。S1302の後、第1の対象物の深度情報が実際の顔の深度特徴を有しない場合、S1304が実行される。第1の対象物の深度情報が実際の顔の深度特徴を有する場合、S1301が実行される。S1301の後、第1の画像情報が元の画像と一致する場合、S1303が実行される。第1の画像情報が元の画像と一致しない場合、S1304が実行される。
別の例では、電子デバイス100は、S1301およびS1302を同時に実行してもよい。本実施形態では、第1の画像情報が元の画像と一致し、第1の対象物の深度情報が実際の顔の深度特徴を有する場合、電子デバイス100はS1303を実行し得る。第1の画像情報が元の画像と一致しないか、または第1の対象物の深度情報が実際の顔の深度特徴を有しない場合、電子デバイス100はS1304を実行し得る。
本出願の本実施形態で提供される顔認識方法によれば、顔認識を実行するとき、電子デバイス100は、対象物の二次元画像が、電子デバイス100に記憶され、顔認識を実行するために使用される二次元顔画像と一致するかどうかを判定する必要があるだけでなく、対象物の深度情報が実際の顔の深度特徴を有するかどうかを判定する、すなわち、対象物の二次元画像が実際の顔の画像であるかどうかを判定する必要もある。写真の深度情報は、実際の顔の深度特徴を有しない。したがって、本出願の実施形態の方法によれば、電子デバイス100によって写真に対して実行されるユーザ本人確認は失敗し、その結果、電子デバイス内の情報が漏洩することを防止する、またはユーザに対して生じる資産の損失を回避し、それによって、電子デバイスの情報セキュリティを保証し、電子デバイスのセキュリティ性能を向上させることができる。
第1の対象物は、第2の対象物の頭部モデルであってよい。第2の対象物は、電子デバイス100が顔認識を実行するために使用される二次元画像（元の画像）を記録する際に電子デバイス100によって撮影された対象物である。すなわち、元の画像は、第2の対象物の二次元画像である。第2の対象物の頭部モデルの深度情報は、第2の対象物（例えば、実際の顔）の深度情報と極めて類似している。したがって、二次元画像認証および深度偽造防止認証の後、電子デバイス100は、第1の対象物が実際の顔ではないと認識しない場合がある。
これに基づいて、いくつかの他の実施形態では、電子デバイス100によって実行される顔認識は、二次元画像認証および深度偽造防止認証を含むだけでなく、赤外線偽造防止認証も含むことができる。例えば、図1Fに示されるライブネス検知は、深度偽造防止認証を含むだけでなく、赤外線偽造防止認証も含む。
赤外線偽造防止認証の原理は以下の通りであり、頭部モデルの画像と赤外線における実際の顔の画像との間には大きな違いがある。本出願の本実施形態では、この特徴に基づいて第1の画像情報に対して赤外線偽造防止認証を実行してよい。
例えば、図14に示されるように、図13に示されるS1302の後、本出願の本実施形態における方法は、S1401をさらに含んでもよい。S1401の後、本出願の本実施形態における方法は、S1303またはS1304をさらに含んでもよい。
S1401．電子デバイス100は、第1の画像情報における特徴が赤外線における実際の顔の特徴と一致するかどうかを判定する。
第1の画像情報の特徴が赤外線における実際の顔の特徴と一致する場合、電子デバイス100によって撮影された第1の対象物が二次元顔画像を含む写真ではなく、実際の顔であることを示し、電子デバイス100は、ユーザ本人確認が成功したと判定し得る。この場合、電子デバイス100はS1303を実行してよい。
第1の画像情報における特徴が赤外線における実際の顔の特徴と一致しない場合、電子デバイス100によって撮影された第1の対象物は実際の顔ではないことを示す。第1の対象物は、頭部モデルであってよい。この場合、電子デバイス100は、ユーザ本人確認が失敗したと判定してよく、電子デバイス100は、S1304を実行してよい。
いくつかの実施形態では、RPMB215内の顔テンプレートは、第3のカメラ104（すなわち、RGBカメラ）によって収集されたRGB画像である。この場合、S1301およびS1401の第1の画像情報をRGB画像に置き換えてもよい。
電子デバイス100によってS1301、S1302およびS1401を実行するシーケンスは、図1Fに示される顔認識プロセス205の顔認識CAによって決定され得ることに留意されたい。図1Fに示される顔認識プロセス205における顔認識CAは、電子デバイス100によってS1301、S1302およびS1401を実行するシーケンスをランダムに決定してよい。あるいは、電子デバイス100によってS1301、S1302およびS1401を実行するシーケンスは、電子デバイス100内で事前に構成されてもよい。
いくつかの他の実施形態では、電子デバイス100によってS1301、S1302およびS1401を実行するシーケンスは限定されない。例えば、電子デバイス100は、最初にS1302を実行してもよい。S1302の後、第1の対象物の深度情報が実際の顔の深度特徴を有しない場合、S1304が実行される。第1の対象物の深度情報が実際の顔の深度特徴を有する場合、S1301が実行される。S1301の後、第1の画像情報が元の画像と一致しない場合、S1304が実行される。第1の画像情報が元の画像と一致する場合、S1401が実行される。S1401の後、第1の画像情報における特徴が赤外線における実際の顔の特徴と一致する場合、S1303が実行される。第1の画像情報における特徴が赤外線における実際の顔の特徴と一致しない場合、S1304が実行される。
別の例では、電子デバイス100は最初にS1401を実行してもよい。S1401の後、第1の画像情報における特徴が赤外線における実際の顔の特徴と一致しない場合、S1304が実行される。第1の画像情報における特徴が赤外線における実際の顔の特徴と一致する場合、S1301が実行される。S1301の後、第1の画像情報が元の画像と一致しない場合、S1304が実行される。第1の画像情報が元の画像と一致する場合、S1302が実行される。S1302の後、第1の対象物の深度情報が実際の顔の深度特徴を有する場合、S1303が実行される。第1の対象物の深度情報が実際の顔の深度特徴を有しない場合、S1304が実行される。
いくつかの他の実施形態では、電子デバイス100は、S1301、S1302、およびS1401を同時に実行してもよい。本実施形態では、第1の画像情報が元の画像と一致し、第1の対象物の深度情報が実際の顔の深度特徴を有し、第1の画像情報における特徴が赤外線における実際の顔の特徴と一致する場合、電子デバイス100はS1303を実行し得る。第1の画像情報が元の画像と一致しないか、第1の対象物の深度情報が実際の顔の深度特徴を有しないか、または第1の画像情報における特徴が赤外線における実際の顔の特徴と一致しない場合、電子デバイス100はS1304を実行し得る。
本出願の本実施形態では、電子デバイス100は、二次元画像認識、深度偽造防止認証、および赤外線偽造防止認証の三者認識を介してユーザ本人確認を実行することができる。本出願の本実施形態の方法によれば、電子デバイスによって写真および頭部モデルに対して実行されるユーザ本人確認は失敗し、その結果、電子デバイス内の情報が漏洩することを防止することができる、またはユーザに対して生じる資産の損失を回避することができ、それによって電子デバイスの情報セキュリティを保証し、電子デバイスのセキュリティ性能を向上させる。
S201～S204を実行する前に、電子デバイス100は、ユーザ本人確認を実行するために使用される二次元画像（すなわち、元の画像）を記録し得ることが理解されよう。S201の前に、本出願の本実施形態で提供される方法は、S1501をさらに含んでもよい。例えば、図15に示されるように、S201～S204の前に、本出願の本実施形態における方法は、S1501をさらに含むことができる。
S1501．電子デバイス100は、第2の命令に応答して第1のインタフェースを表示する。第1のインタフェースは、ユーザ本人確認を実行するために使用される二次元画像を記録するために使用される。
いくつかの実施形態では、電子デバイス100は、ユーザ本人確認を実行するために使用される二次元画像を記録するようにユーザを案内するために、電子デバイス100の電源が最初に入れられたときに第1のインタフェースを表示してよい。
いくつかの他の実施形態では、電子デバイス100は、「設定」アプリケーションアイコンに対してユーザによって実行されたタップ操作を受信し、設定インタフェースを表示してもよい。電子デバイス100は、設定インタフェース内のセキュリティオプションに対してユーザによって実行されたタップ操作（例えば、シングルタップ操作）を受信し得る。セキュリティオプションの名前は、ブランドおよびモデルによって異なる。例えば、セキュリティオプションは、「顔パスワード」オプション、「顔認識」オプションなどと呼ばれる場合がある。例えば、図16（a）に示されるように、電子デバイス100は、設定インタフェース1601を表示してよい。設定インタフェース1601は、「顔パスワード」オプション1602（すなわち、セキュリティオプション）を含む。当然ながら、設定インタフェース1601は、「飛行機モード」オプション、「Bluetooth」オプション、「セルラー」オプション、「数値パスワード」オプション、「指紋パスワード」オプションなどをさらに含んでもよい。これらのオプションの機能については、従来技術における電子デバイスの設定インタフェースにおける対応するオプションの説明を参照されたい。本出願における本実施形態において、詳細はここでは説明されない。
設定インタフェース内のセキュリティオプションに対してユーザによって実行されたタップ操作（例えば、シングルタップ操作）に応答して、電子デバイス100は、パスワード入力インタフェースを表示してよい。パスワード入力インタフェースは、数値パスワード（すなわち、電子デバイス100のロック画面パスワード）を入力するために使用される。電子デバイス100は、数値パスワードの検証に成功した（すなわち、電子デバイス100が正しいロック画面パスワードを受信した）後のみ、顔パスワード設定インタフェースを表示することができる。例えば、図16（b）に示されるように、電子デバイス100は、パスワード入力インタフェース1603を表示してよい。電子デバイス100がパスワード入力インタフェース1603においてユーザによって入力された数値パスワードを受信し、数値パスワードの検証に成功した場合、電子デバイス100は、図16（c）に示される顔パスワード設定インタフェース1604を表示してよい。
顔パスワード設定インタフェース1604は、オプション1606「顔データを追加する」を含む。電子デバイス100は、オプション1606「顔データを追加する」に対してユーザによって実行された第2の操作（例えば、シングルタップ操作）を受信し、図17（a）に示される第1のインタフェース1701を表示し得る。第1のインタフェース1701は、ユーザ本人確認を実行するために使用される二次元画像を記録するために使用される。顔パスワードが電子デバイス100に設定されている（すなわち、記録されている）場合、顔パスワード設定インタフェース1604は、記録された顔パスワードのオプション、例えばオプション1605 「顔データ1」をさらに含んでよい。
第1のインタフェース1701は、顔画像表示ボックス1703を含んでよい。顔画像表示ボックス1703は、第3のカメラ104によって収集された顔画像を表示するように構成される。第1のインタフェース1701は、明るい光の中で顔を記録するようにユーザを促し、ユーザが顔を記録するときに、顔と電子デバイス100との間の角度に注意を払うようにユーザを促すために使用されるプロンプト情報、例えば、「顔を明るい光に向けたままにし、携帯電話の方を向いてください。」などをさらに含んでもよい。1702．
電子デバイス100が第2の操作（例えば、オプション1606「顔データを追加する」に対してユーザによって実行されるシングルタップ操作）を受信した場合、ユーザが顔認識を実行するために使用される顔データ（すなわち、二次元顔画像）を記録する意思があることを示すことが理解され得る。換言すると、第2の操作は、第1のインタフェースを表示するように電子デバイス100をトリガするだけでなく、第2のイベント（例えば、顔データの記録を開始する）を実行するように電子デバイス100をトリガするのにも使用されてよい。電子デバイス100は、第2の対象物の画像情報（第2の対象物の二次元画像および深度情報を含む）を使用することによって第2のイベントを実行する必要がある。したがって、第2の操作に応答して、電子デバイス100は第2の命令を取得してよく、第2の命令は第1のインタフェースを表示するように電子デバイス100をトリガし、第2の対象物の二次元画像および深度情報を取得し得る。
いくつかの実施形態では、電子デバイス100は、第1のカメラ102および第2のカメラ103を含む。第1のカメラ102および第2のカメラ103は可視光を検知し得る。第1のカメラ102は一次カメラとして使用されてよい。電子デバイス100は、電子デバイス100のディスプレイに、可視光で一次カメラによって収集された画像情報を表示し得る。さらに、第1のカメラ102および第2のカメラ103は、赤外線プロジェクタ101と協働して電子デバイス100が第1の対象物の深度情報を計算できるようにするために、赤外線をさらに感知してもよい。第1のカメラ102と第2のカメラ103は同一の解像度であってもよいし、異なる解像度であってもよい。例えば、第1のカメラ102は高解像度、例えば12メガピクセルを有してもよく、第2のカメラ103は低解像度、例えば2メガピクセルを有してもよい。第1のカメラ102が高い解像度を有し得る場合、第1のカメラ102は写真撮影を行うために直接使用されてもよい。2つのカメラが同一の仕様（同一解像度を含む）を有する場合、2つのカメラを使用することによって取得される深度情報は比較的正確であることに留意されたい。
しかしながら、第1のカメラ102および第2のカメラ103は赤外線を感知できるため、電子デバイス100によって収集された第1の対象物の画像情報はわずかに赤色である場合がある。この場合、一次カメラ（第1のカメラ102または第2のカメラ103）によって収集され、電子デバイス100のディスプレイに表示される画像情報は、わずかに赤色である場合がある。これは、ユーザの視覚的体験に影響を及ぼす。通常の撮影モードでの効果を達成するために、わずかに赤色の画像は調整および補正することができる。
電子デバイス100のディスプレイに表示される画像情報がわずかに赤色であるという問題を回避するために、いくつかの他の実施形態では、電子デバイス100は、第1のカメラ102および第2のカメラ103を含むだけでなく、第3のカメラ104を含んでもよい。第3のカメラ104は、RGBカメラ（すなわち、一般的なRGBカメラ）である。第3のカメラ104は、可視光の画像情報を収集するように構成される。第3のカメラ104は、第1のカメラ102と第2のカメラ103との間に配置されてもよいし、他の場所に配置されてもよい。
本実施形態では、第1のカメラ102および第2のカメラ103は、可視光を感知することができるだけでなく、赤外線も感知することができる、すなわち、第1のカメラ102および第2のカメラ103は、赤外線での画像情報を収集するだけでなく、可視光での画像情報も収集するように構成されてよい。しかしながら、第1のカメラ102および第2のカメラ103によって収集された画像情報は、撮影された対象物の深度情報を計算するためにのみ使用される。第3のカメラ104は、可視光の画像情報を収集するように構成される。第3のカメラ104によって収集された画像情報は、電子デバイス100のディスプレイに表示されるために使用される。これにより、電子デバイス100のディスプレイに表示される画像情報がわずかに赤色になるという問題を回避することができ、ユーザの視覚体験を保証することができる。具体的には、S1501の後、本出願の本実施形態における方法は、S1502を含むことができる。
S1502．電子デバイス100は、ユーザの第2の命令に応答して、赤外線プロジェクタ101を使用することによって光点を有する赤外線を放射し、第3のカメラ104を使用することによって第2の対象物のRGB画像を収集し、第1のカメラ102を使用することによって第2の対象物の第3の画像情報を収集し、第2のカメラ103を使用することによって第2の対象物の第4の画像情報を収集する。
第2の命令に応答して、電子デバイス100は、赤外線プロジェクタ101を有効化し、第1のカメラ102、第2のカメラ103および第3のカメラ104を有効化および初期化してよい。電子デバイス100が赤外線プロジェクタ101を有効化した後、赤外線プロジェクタ101は、光点を有する赤外線を放射してよい。電子デバイス100が第1のカメラ102、第2のカメラ103および第3のカメラ104を有効化および初期化した後、第1のカメラ102、第2のカメラ103および第3のカメラ104は対象物（すなわち、第1の対象物）の画像情報を収集してよい。
第2の命令に応答して、電子デバイス100は、周囲光センサ105をさらに有効化してもよい。周囲光センサ105は、周囲光の輝度を収集し、次いで、周囲光の輝度に基づいて電子デバイスのAEパラメータ、AFパラメータ、およびAWBパラメータを調整することができる。電子デバイス100は、AEパラメータ、AFパラメータおよびAWBパラメータを初期化パラメータとして記録してよい。S202を実行するとき、電子デバイス100は、初期化パラメータを使用することによって第1のカメラ102および第2のカメラ103を初期化してもよい。カメラが画像を2回収集するときにカメラ（例えば、第1のカメラ102および第2のカメラ103）の同一の初期化パラメータが使用される場合、異なる初期化パラメータに起因する2回収集された画像間の比較的大きな違いによって引き起こされる顔認識の失敗を低減することができる。
加えて、周囲光センサ105によって収集された周囲光の輝度が予め設定された輝度値未満である場合、電子デバイス100は第3のプロンプト情報を送信し得る。第3のプロンプト情報は、明るい環境で画像を記録するようにユーザを促すために使用される。
第3の画像情報は、第2の対象物の特徴と、光点を有する赤外線が第2の対象物に照射されたときに形成されるテクスチャ特徴とを含む。第4の画像情報は、第2の対象物の特徴と、光点を有する赤外線が第2の対象物に照射されたときに形成されるテクスチャ特徴とを含む。
S1503．電子デバイス100は、RGB画像を含む第2のインタフェースを表示する。
第3のカメラ104は赤外線を感知することができず、RGB画像は第3のカメラ104によって収集された画像である。したがって、電子デバイス104の第2のインタフェースに含まれるRGB画像は赤色を示さず、ユーザの視覚体験は影響を受けない。例えば、第3のカメラ104によって収集された画像は、図17（b）に示される顔画像1704であると仮定する。図17（b）に示されるように、電子デバイス100は、顔画像表示ボックス1703に顔画像1704を表示してよい。
本出願の本実施形態では、二次元顔画像を記録するとき、電子デバイス100は、異なる角度からユーザの顔の特徴を記録するように、頭部を円運動させるようにユーザに促す場合があることに留意されたい。例えば、電子デバイス100は、正面の顔によって、円を描くように頭を動かすことによって形成される「＊」形状の垂直方向、下向き方向、上向き方向および水平方向を含む8つの向きの顔の特徴を記録してよい。
S1504．電子デバイス100は、第3の画像情報、第4の画像情報、第1の長さ、第1のカメラのレンズ焦点距離および第2のカメラのレンズ焦点距離に基づいて、第2の対象物の深度情報を計算する。
電子デバイス100によって、第3の画像情報、第4の画像情報、第1の長さ、第1のカメラのレンズ焦点距離、および第2のカメラのレンズ焦点距離に基づいて、第2の対象物の深度情報を計算する方法については、本出願の本実施形態のS203の詳細な説明を参照されたい。本出願の本実施形態では、詳細はここには再度記載されていない。
電子デバイス100によってS1503およびS1504を実行するシーケンスは、本出願の本実施形態では限定されない。例えば、電子デバイス100は、最初にS1504を実行し、次にS1503を実行してもよい。例えば、電子デバイス100は代替として、最初にS1503を実行し、次にS1504を実行してもよい。例えば、電子デバイス100は代替として、S1503およびS1504を同時に実行してもよい。
S1505．電子デバイス100は、第2の対象物の深度情報が実際の顔の深度特徴を有するかどうかを判定する。
電子デバイス100によって、第2の対象物の深度情報が実際の顔の深度特徴を有するかどうかを判定するための方法については、本出願の本実施形態におけるS1302の詳細な説明を参照されたい。本出願の本実施形態では、詳細はここには再度記載されていない。
いくつかの実施形態では、第2の対象物の深度情報が実際の顔の深度特徴を有しない場合、電子デバイス100は、ユーザ本人確認が失敗したと判定してよく、電子デバイス100は、S1510を実行してよい。第1の対象物の深度情報が実際の顔の深度特徴を有する場合、電子デバイス100はユーザ本人確認が成功したと判定してよく、電子デバイス100はS1507を実行してよい。
いくつかの他の実施形態では、第3の画像情報を記憶する前に、電子デバイス100は、深度偽造防止認証を実行するだけでなく、赤外線偽造防止認証を実行してもよい。例えば、図15に示されるように、S1505の後、第2の対象物の深度情報が実際の顔の深度特徴を有しない場合、電子デバイス100は、ユーザ本人確認が失敗したと判定してよく、電子デバイス100は、S1510を実行してよい。第1の対象物の深度情報が実際の顔の深度特徴を有する場合、電子デバイス100はS1506を実行してよい。
S1506．電子デバイス100は、第3の画像情報における特徴が赤外線における実際の顔の特徴と一致するかどうかを判定する。
電子デバイス100によって、第3の画像情報における特徴が赤外線における実際の顔の特徴と一致するかどうかを判定する方法については、本出願の本実施形態におけるS1401の詳細な説明を参照されたい。本出願の本実施形態では、詳細はここには再度記載されていない。
具体的には、図15に示されるように、第3の画像情報における特徴が赤外線における実際の顔の特徴と一致する場合、電子デバイス100はS1507を実行してよい。第3の画像情報における特徴が赤外線における実際の顔の特徴と一致しない場合、電子デバイス100によって撮影された第1の対象物が実際の顔ではないことを示し、電子デバイス100はS1508を実行してよい。
S1507．電子デバイス100は、第3の画像情報を記憶する。
電子デバイス100に記憶された第3の画像情報は、ユーザ本人確認を実行するために使用された元の画像である。
電子デバイス100のセキュリティ性能を向上させ、元の画像が盗まれるのを防ぐために、電子デバイス100は、第3の画像情報を電子デバイスのTEEに記憶してもよい。例えば、図1Fに示されるように、顔モデルは、TEEに記憶される。これに対応して、電子デバイス100は、電子デバイスのTEE内の第1の画像情報および第1の対象物の深度情報を使用することによって、第1の対象物に対してユーザ本人確認を実行し得る。例えば、図1Fに示されるように、ISP211、深度計算モジュール213、顔認識TA214などは比較的高いセキュリティ要件を有し、TEE内で稼働し得る。
第2の対象物の深度情報が実際の顔の深度特徴を有し、第3の画像情報における特徴が赤外線における実際の顔の特徴と一致する場合、電子デバイス100は、顔データが正常に記録されたことを示すプロンプト情報を表示し得る。例えば、図17（c）に示されるように、電子デバイス100は、プロンプト情報1705「顔データの入力に成功しました。顔を使用することによって携帯電話のロックを解除することができます！」を表示してよい。
いくつかの実施形態では、電子デバイス100は、S1507を実行して、第3のカメラ104（すなわち、RGBカメラ）によって収集されたRGB画像を記憶してもよい。この場合、電子デバイス100に記憶されているRGB画像は、ユーザ本人確認を実行するために使用される元の画像である。
S1508．電子デバイス100は、第1のプロンプト情報を送信する。第1のプロンプト情報は、電子デバイス100によって記録された画像が利用できないことを示すために使用される。
例えば、第1のプロンプト情報は、音声プロンプト情報、テキストプロンプト情報、および振動プロンプト情報のうちの1つまたは複数であってもよい。例えば、電子デバイス100は、第1のプロンプト情報「顔画像が利用できません。もう一度試してみてください！」を送信してよい。
電子デバイス100によってS1505およびS1506を実行するシーケンスは、図1Fに示される顔認識プロセス205の顔認識CAによって決定され得ることに留意されたい。図1Fに示される顔認識プロセス205における顔認識CAは、電子デバイス100によってS1505およびS1506を実行するシーケンスをランダムに決定してよい。あるいは、電子デバイス100によってS1505およびS1506を実行するシーケンスは、電子デバイス100において事前に構成されてもよい。いくつかの他の実施形態では、電子デバイス100によってS1505およびS1506を実行するシーケンスは限定されない。
本出願の実施形態では、ユーザ本人確認を実行するために使用される二次元顔画像を記録するとき、電子デバイス100は、二次元顔画像に対して深度偽造防止認証および赤外線偽造防止認証の2つのレベルの偽造防止認証を実行することができる。このようにして、電子デバイス100に記録され、ユーザ本人確認を行うために使用される二次元顔画像が、頭部モデルの写真または二次元顔画像である可能性を低減することができ、それにより電子デバイスの情報セキュリティを保証し、電子デバイスのセキュリティ性能を向上させる。
いくつかの実施形態では、電子デバイス100は、RGBカメラ（すなわち、第3のカメラ104）および1つのデュアルパスカメラ（例えば、第1のカメラ102）を含み得る。昼間の比較的強い光の中では、RGBカメラおよびデュアルパスカメラは共に、可視光において第1の対象物の画像情報を収集し得る。電子デバイス100が、2つの画像情報における同一の特徴を認識するとき、目的の対象物の特徴に基づいて深度情報を取得することができる。
本実施形態では、夜間の比較的弱い可視光において、電子デバイス100は、光の補足（例えば、フラッシュライトを有効化するか、または画面を使用して光を補足する）を通して顔を照らすことができ、その結果、RGBカメラは比較的多数の顔の特徴を収集することができる。さらに、赤外線プロジェクタ101は赤外線を放射し、デュアルパスカメラは可視光および赤外線における顔の特徴を収集することができる。電子デバイス100は、RGBカメラによって収集された画像情報に基づいて二次元画像認証を実行し、RGBカメラによって収集された画像情報およびデュアルパスによって収集された画像情報に基づいて深度偽造防止認証を実行し、デュアルパスカメラによって収集された画像情報に基づいて赤外線偽造防止認証を実行し得る。端末は、最初に赤外線プロジェクタ101を有効化しない場合もあるが、最初にRGBカメラによって収集された画像情報およびデュアルパスカメラによって収集された画像情報に基づいて深度偽造防止認証を実行する場合もある。深度偽造防止認証が成功した後、端末は、赤外線プロジェクタ101を有効化し、デュアルパスカメラによって収集された画像情報に基づいて赤外線偽造防止認証を実行する。
本実施形態では、夜間の比較的弱い可視光において、RGBカメラによって収集された画像は、第1の対象物の比較的少ない数の特徴を含む。これに基づいて、実際の顔の深度特徴を学習するとき、電子デバイス100は、明るい光でのRGBカメラによって収集された画像情報と、薄暗い光でのデュアルパスカメラによって収集された画像情報（赤外線プロジェクタ101が薄暗い光の中で有効化されている場合）とに基づく計算を通して取得された深度マップを学習することができる。このように、本実施形態では、電子デバイス100は、顔認識を実行するとき、RGBカメラおよびデュアルパスカメラによって収集された画像情報に基づいた計算を通して取得された深度情報が、電子デバイス100によって学習された実際の顔の深度特徴を有するかどうかを判定することによって、深度偽造防止認証を実行することができる。
上記の実施形態では、赤外線プロジェクタ101は、赤外線LEDランプに置き換えられてもよい。赤外線LEDランプによって放射される赤外線は、赤外線プロジェクタ101によって放射される赤外線と同一種類の赤外線であり得る。その違いは、赤外線LEDランプは、光点ではなく均一な赤外線を放射することである。赤外線LEDランプは、比較的強い可視光で有効または無効にされてよい。たとえ赤外線スポットがなくても、光が比較的強いため、深度情報を得ることができる。赤外線LEDランプは、比較的弱い可視光または夜間の暗闇で有効化される。2台のデュアルパスカメラは、赤外線において画像情報を収集し、深度情報をさらに取得する場合がある。赤外線スポットがないため、薄暗い場所で取得された画像情報の特徴が顕著ではない場合があり、その結果、深度情報が不正確になる。深度情報の精度を向上させるために、フラッシュまたは画面を有効化して光を補う場合がある。したがって、赤外線プロジェクタ101を赤外線LEDランプと交換した後、深度情報は同様に一日中取得することができる。
上記の機能を実施するために、電子デバイスは、機能を実行するための対応するハードウェア構成および／またはソフトウェアモジュールを含むことを理解することができる。当業者は、本明細書に開示されている実施形態で説明されている例と組み合わせて、ユニット、アルゴリズム、およびステップが、ハードウェアによって、またはハードウェアとコンピュータソフトウェアとの組み合わせによって実施され得ることに容易に気付くはずである。機能がハードウェアによって実行されるか、コンピュータソフトウェアによって駆動されるハードウェアによって実行されるかは、特定のアプリケーションおよび技術的解決策の設計上の制約に依存する。当業者は、様々な方法を使用して、特定の用途ごとに記載された機能を実施することができるが、その実装形態は本出願の実施形態の範囲を超えるとみなされるべきではない。
本出願の実施形態では、電子デバイスは、前述の方法の例に基づいて機能モジュールに分割されてよい。例えば、各機能モジュールは、対応する各機能に基づく分割によって取得され得るか、または2つ以上の機能が、1つの処理モジュールに統合されてもよい。統合されたモジュールは、ハードウェアの形態で実現されてもよいし、あるいはソフトウェア機能モジュールの形態で実現されてもよい。本出願の本実施形態では、モジュールの分割は一例であり、単なる論理的な機能の分割であることに留意されたい。実際の実装形態では、別の分割方法が使用されてもよい。
統合ユニットが使用される場合、図18は、前述の実施形態における電子デバイス1800の可能な概略構造図である。電子デバイス1800は、処理モジュール1801、表示モジュール1802、赤外線放射モジュール1803、デュアルパス収集モジュール1804、デュアルパス収集モジュール1805、およびRGB収集モジュール1806を含み得る。任意選択で、電子デバイス1800は、通信モジュールをさらに含んでもよく、通信モジュールは、ブルートゥース（登録商標）モジュール、Wi－Fiモジュールなどを含む。
処理モジュール1801は、電子デバイス1800の動作を制御および管理するように構成される。RGB収集モジュール1806は、可視光における対象物の画像を収集するように構成される。表示モジュール1802は、処理モジュール1801によって生成された画像およびRGB収集モジュール1804によって収集された画像を表示するように構成される。赤外線放射モジュール1803は、光点を有する赤外線を放射するように構成される。デュアルパス収集モジュール1804およびデュアルパス収集モジュール1805は、可視光における目的の対象物の画像および赤外線における目的の対象物の画像を収集するように構成される。通信モジュールは、別のデバイスと通信する際に電子デバイス1800をサポートするように構成される。処理モジュール1801はさらに、デュアルパス収集モジュール1804によって収集された画像に基づいて目標の対象物の深度情報を計算するように構成される。
具体的には、処理モジュール1801は、前述の方法の実施形態において、S201、S203、S203a、S203b、S204、S1301、S1302、S1304、S1401、S1501、S1502、S1504からS1506およびS1508および／または本明細書に記載されている技術の別のプロセスを実行する際に電子デバイス1800をサポートするように構成されてよい。さらに、表示モジュール1802は、前述の方法の実施形態においてS1303およびS1503および／または本明細書に記載される技術の別のプロセスを実行する際に電子デバイス1800をサポートするように構成されてもよい。赤外線放射モジュール1803は、前述の方法の実施形態においてS202において「光点を有する赤外線を放射する」動作を実行する際に電子デバイス1800をサポートするように構成され得る、および／または本明細書で説明される技術の別のプロセスで使用されてもよい。デュアルパス収集モジュール1804は、前述の方法の実施形態におけるS202における「第1の画像情報を収集する」動作、および／または本明細書に記載の技術の別のプロセスを実行する際に電子デバイス1800をサポートするように構成され得る。デュアルパス収集モジュール1805は、前述の方法の実施形態におけるS202における「第2の画像情報の収集」の動作、および／または本明細書に記載の技術の別のプロセスを実行する際に電子デバイス1800をサポートするように構成され得る。RGB収集モジュール1806は、可視光の画像情報を収集する際に電子デバイス1800をサポートするように構成され得る、および／または本明細書で説明される技術の別のプロセスで使用されてもよい。
当然ながら、電子デバイス1800内のユニットモジュールは、処理モジュール1801、表示モジュール1802、赤外線放射モジュール1803、デュアルパス収集モジュール1804、RGB収集モジュール1806などを含むが、これらに限定されない。例えば、電子デバイス1800は、記憶モジュールをさらに含んでもよい。記憶モジュールは、電子デバイス1800のプログラムコードおよびデータを記憶するように構成される。例えば、デュアルパス収集モジュール1805は、前述の方法実施形態におけるS1507、および／または本明細書に記載された技術の別のプロセスを実行する際に電子デバイス1800をサポートするように構成され得る。
処理モジュール1801は、プロセッサまたはコントローラであってよく、例えば、中央処理装置（Central Processing Unit、CPU）、デジタル信号プロセッサ（Digital Signal Processor、DSP）、特定用途向け集積回路（Application－Specific Integrated Circuit、ASIC）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、FPGA）または別のプログラマブル論理デバイス、トランジスタ論理デバイス、ハードウェアコンポーネント、またはこれらの任意の組み合わせであってよい。プロセッサは、アプリケーションプロセッサおよびベースバンドプロセッサを含み得る。プロセッサは、本出願で開示された内容を参照して記載された様々な例示的な論理ブロック、モジュール、および回路を実装または実行することができる。プロセッサは、代替として、コンピューティング機能を実施するプロセッサの組み合わせ、例えば、1つまたは複数のマイクロプロセッサの組み合わせや、DSPとマイクロプロセッサとの組み合わせであってもよい。記憶モジュールはメモリであり得る。
例えば、処理モジュール1801は、1つまたは複数のプロセッサ（例えば、図1Fに示されるプロセッサ110）であり、通信モジュールは、無線通信モジュール（例えば、図1Fに示される無線通信モジュール160であり、無線通信モジュール160は、BT（すなわち、ブルートゥース（登録商標）モジュール）およびWLAN（例えば、Wi－Fiモジュール）を含む）を含む。無線通信モジュールは、通信インタフェースと呼ばれてもよい。記憶モジュールは、メモリ（図1Fに示される内部メモリ121）であってもよい。表示モジュール1802は、ディスプレイ（例えば、図1Fに示されるディスプレイ194）であってもよい。赤外線放射モジュール1803は、赤外線プロジェクタ（例えば、図1Fに示される赤外線プロジェクタ196、すなわち前述の実施形態における赤外線プロジェクタ101）であってもよい。デュアルパス収集モジュール1804およびデュアルパス収集モジュール1805は、2つのデュアルパスカメラ（例えば、図1Fに示されるデュアルパスカメラ193B（すなわち、前述の実施形態における第1のカメラ102）およびデュアルパスカメラ193C（すなわち、前述の実施形態における第2のカメラ103）であってもよい。RGB収集モジュール1806は、図1Fに示される1からN個の他のカメラ193Aにおける1つのEGBカメラ、すなわち、前述の実施形態における第3のカメラ104であり得る。2つのデュアルパス収集モジュール1804およびRGB収集モジュール1806は、電子デバイス100の同一側、例えば、前面または背面に配置されている。本出願の本実施形態で提供される電子デバイス1800は、図1Fに示される電子デバイス100であり得る。1つまたは複数のプロセッサ、メモリ、赤外線プロジェクタ、第1のカメラ、第2のカメラ、ディスプレイ、第3のカメラなどは接続されてよく、例えば、バスを介して接続されてよい。
本出願の一実施形態は、コンピュータ記憶媒体をさらに提供する。コンピュータ記憶媒体はコンピュータプログラムコードを記憶する。プロセッサがコンピュータプログラムコードを実行するとき、電子デバイス1800は、図2または図9のいずれかの関連する方法ステップを実行して、前述の実施形態の方法を実施する。
本出願の一実施形態は、コンピュータプログラム製品をさらに提供する。コンピュータプログラム製品がコンピュータ上で稼働されるとき、コンピュータは、前述の実施形態の方法を実施するために、図2または図9のいずれかの関連する方法ステップを実行することを可能にされる。
本出願の実施形態で提供される電子デバイス1800、コンピュータ記憶媒体、またはコンピュータプログラム製品はそれぞれ、上記で提供された対応する方法を実行するように構成される。したがって、電子デバイス1200、コンピュータ記憶媒体、コンピュータプログラム製品によって達成され得る有益な効果については、上記で提供された対応する方法における有益な効果を参照されたい。ここでは詳細は再度説明されない。
前述の実装の説明は、当業者が、簡便かつ簡単な説明の目的のために、前述の機能モジュールへの分割が例示のための例として取り上げられていることを明確に理解することを可能にする。実際の適用においては、上記各機能は、要件に基づいた実装のために異なるモジュールに割り振られる場合がある、すなわち、装置の内部構造は、上記の各機能のすべてまたは一部を実装するために異なる機能モジュールに分割される。
本出願において提供されたいくつかの実施形態では、開示された装置および方法は他の方式で実装されてもよいことを理解されたい。例えば、記載された装置の実施形態は単なる例にすぎない。例えば、モジュールまたはユニットへの分割は単に論理的な機能分割であり、実際の実装においては他の分割であってもよい。例えば、複数のユニットまたは構成要素は、組み合わされても別の装置に統合されてもよく、あるいは一部の特徴は、無視されても実行されなくてもよい。加えて、表示または論述された相互結合または直接結合または通信接続は、いくつかのインタフェースを介して実施される場合もある。装置間またはユニット間の間接的結合もしくは通信接続は、電気的形態、機械的形態、または他の形態で実施されてよい。
加えて、本出願の実施形態における機能ユニットは、1つの処理ユニットに統合されてもよく、または各ユニットが物理的に単独で存在してもよく、または2つ以上のユニットが、1つのユニットに統合される。統合ユニットは、ハードウェアの形態で実装されてもよく、ソフトウェア機能ユニットの形態で実装されてもよい。
統合されたユニットがソフトウェア機能ユニットの形で実装され、独立した製品として販売もしくは使用される場合、統合されたユニットは可読記憶媒体に格納されてよい。そのような理解に基づき、本出願の技術的解決策は、本質的に、または従来技術に寄与する部分が、または技術的解決策の全部もしくは一部が、ソフトウェア製品の形態で実施され得る。ソフトウェア製品は記憶媒体に格納され、本出願の実施形態で説明されている方法のステップの全部または一部を実行することをデバイス（シングルチップマイクロコンピュータ、チップなどであり得る）またはプロセッサ（processor）に命令するいくつかの命令を含む。前述の記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、ROM、磁気ディスク、または光ディスクなどの、プログラムコードを記憶することができる任意の媒体を含む。
前述の説明は、本出願の特定の実施態様にすぎず、本出願の保護範囲を限定するためのものではない。本出願で開示される技術的範囲内の変形または置換は、本出願の保護範囲内にあるものとする。したがって、本出願の保護範囲は、特許請求の保護範囲に従うものとする。
1 アンテナ
2 アンテナ
100 電子デバイス
101 赤外線プロジェクタ
102 第1のカメラ
103 第2のカメラ
104 第3のカメラ
105 周囲光センサ
110 プロセッサ
120 外部メモリインタフェース
121 内部メモリ
130 USBポート
140 充電管理モジュール
141 電源管理モジュール
142 バッテリ
150 モバイル通信モジュール
160 無線通信モジュール
170 オーディオモジュール
170A スピーカー
170B 受信機
170C マイクロフォン
170D ヘッドセットジャック
180 センサモジュール
180A 圧力センサ
180B ジャイロスコープセンサ
180C 気圧センサ
180D 磁気センサ
180E 加速度センサ
180F 距離センサ
180G 光学式近接センサ
180H 指紋センサ
180J 温度センサ
180K タッチセンサ
180L 周囲光センサ
180M 骨伝導センサ
190 ボタン
191 モータ
192 インジケータ
193 カメラ
193A 他のカメラ
193B デュアルパスカメラ
193C デュアルパスカメラ
194 ディスプレイ
195 SIMカードインタフェース
196 赤外線プロジェクタ
201 アプリケーション
202 カメラサービス
203 カメラプロセス
204 顔認識サービス
205 顔認識プロセス
210 カメラモジュール
211 ISPモジュール
212 画像データセキュリティバッファ
213 深度計算モジュール
214 顔認識TA
215 再生保護メモリブロック（RPMB）
301 支払いインタフェース
302 支払いボタン
303 顔記録インタフェース
304 支払い成功インタフェース
305 プロンプト情報
306 プロンプト情報
401 スペックル格子
402 スペックル格子
403 スペックル格子
404 スペックル格子
405 スペックル格子
406 スペックル格子
407 スペックル格子
408 スペックル格子
501 光点
502 スペックル格子群
503 光点
504 スペックル格子群
601 光点
602 スペックル格子群
603 光点
604 スペックル格子群
605 光点
606 スペックル格子群
701 光点
702 光点
703 光点
704 スペックル格子群
705 スペックル格子群
706 スペックル格子群
707 スペックル格子
708 スペックル格子
709 スペックル格子
800 RGBカメラモジュール
801 レンズ
802 レンズ
803 レンズ
804 光フィルタ
805 センサ
1101 顔
1102 赤外線
1103 顔
1200 電子デバイス
1201 スペックル
1202 スペックル
1203 スペックル
1204 スペックル
1601 設定インタフェース
1602 オプション
1603 パスワード入力インタフェース
1604 顔パスワード設定インタフェース
1605 オプション
1606 オプション
1701 第1のインタフェース
1703 顔画像表示ボックス
1704 顔画像
1705 プロンプト情報
1800 電子デバイス
1801 処理モジュール
1802 表示モジュール
1803 赤外線放射モジュール
1804 デュアルパス収集モジュール
1805 デュアルパス収集モジュール
1806 RGB収集モジュール
d 視差
f レンズ焦点距離
P 特徴
T 第1の距離
Z 深度

Claims (34)

  1. 顔認識方法であって、前記方法は電子デバイスに適用され、前記電子デバイスは、赤外線プロジェクタと、第1のカメラと、第2のカメラとを備え、前記第1のカメラと前記第2のカメラとの間の距離は第1の長さであり、前記方法は、
    前記電子デバイスによって、ユーザの第1の命令を受信するステップであって、前記第1の命令は、第1の対象物に対して顔認識を実行するように前記電子デバイスをトリガするために使用される、ステップと、
    前記第1の命令に応答して、前記電子デバイスによって、前記赤外線プロジェクタを使用することによって光点を有する赤外線を放射し、前記第1のカメラを使用することによって前記第1の対象物の第1の画像情報を収集し、前記第2のカメラを使用することによって前記第1の対象物の第2の画像情報を収集するステップであって、前記第1の画像情報および前記第2の画像情報はそれぞれ、前記第1の対象物の特徴と、前記光点を有する前記赤外線が前記第1の対象物に照射されたときに形成されるテクスチャ特徴とを含む、ステップと、
    前記電子デバイスによって、前記第1の画像情報、前記第2の画像情報、前記第1の長さ、前記第1のカメラのレンズ焦点距離、および前記第2のカメラのレンズ焦点距離に基づいて、前記第1の対象物の深度情報を計算するステップと、
    前記電子デバイスによって、前記第1の画像情報および前記第1の対象物の前記深度情報を使用することによって、前記第1の対象物に対してユーザ本人確認を実行するステップと
    を含む、方法。
  2. 前記電子デバイスによって、前記第1の画像情報および前記第1の対象物の前記深度情報を使用することによって前記第1の対象物に対してユーザ本人確認を実行する前記ステップは、
    前記電子デバイスによって、前記第1の画像情報を元の画像と比較するステップであって、前記元の画像は、前記電子デバイスに記憶され、前記ユーザ本人確認を実行するために使用される二次元画像である、ステップと、
    前記電子デバイスによって、前記第1の対象物の前記深度情報が実際の顔の深度特徴を有するかどうかを判定するステップと、
    前記第1の画像情報が前記元の画像と一致し、前記第1の対象物の前記深度情報が前記実際の顔の前記深度特徴を有する場合、前記電子デバイスによって前記ユーザ本人確認が成功したと判定するステップ、または
    前記第1の画像情報が前記元の画像と一致しない、または前記第1の対象物の前記深度情報が前記実際の顔の前記深度特徴を有しない場合、前記電子デバイスによって、前記ユーザ本人確認が失敗したと判定するステップと
    を含む、請求項1に記載の方法。
  3. 前記電子デバイスによって、前記第1の画像情報および前記第1の対象物の前記深度情報を使用することによって前記第1の対象物に対してユーザ本人確認を実行する前記ステップは、
    前記電子デバイスによって、前記第1の画像情報を元の画像と比較するステップであって、前記元の画像は、前記電子デバイスに記憶され、前記ユーザ本人確認を実行するために使用される二次元画像である、ステップと、
    前記電子デバイスによって、前記第1の対象物の前記深度情報が実際の顔の深度特徴を有するかどうかを判定するステップと、
    前記電子デバイスによって、前記第1の画像情報における前記特徴が赤外線における前記実際の顔の特徴と一致するかどうかを判定するステップと、
    前記第1の画像情報が前記元の画像と一致し、前記第1の対象物の前記深度情報が前記実際の顔の前記深度特徴を有し、前記第1の画像情報における前記特徴が赤外線における前記実際の顔の前記特徴と一致する場合、前記電子デバイスによって、前記ユーザ本人確認が成功したと判定するステップ、または
    前記第1の画像情報が前記元の画像と一致しない、前記第1の対象物の前記深度情報が前記実際の顔の前記深度特徴を有しない、または前記第1の画像情報における前記特徴が赤外線における前記実際の顔の前記特徴と一致しない場合、前記電子デバイスによって、前記ユーザ本人確認が失敗したと判定するステップと
    を含む、請求項1に記載の方法。
  4. 前記電子デバイスは第3のカメラをさらに含み、前記第3のカメラは赤緑青RGBカメラであり、前記第3のカメラは可視光において画像を収集するように構成され、
    前記電子デバイスによってユーザの第1の命令を受信する前記ステップの前に、前記方法は、
    前記ユーザの第2の命令に応答して、前記電子デバイスによって第1のインタフェースを表示するステップであって、前記第1のインタフェースは、前記ユーザ本人確認を実行するために使用される前記二次元画像を記録するために使用され、前記赤外線プロジェクタを使用することによって前記光点を有する前記赤外線を放射し、前記第3のカメラを使用することによって第2の対象物のRGB画像を収集し、前記第1のカメラを使用することによって前記第2の対象物の第3の画像情報を収集し、前記第3の画像情報は、前記第2の対象物の特徴と、前記光点を有する前記赤外線が前記第2の対象物に照射されたときに形成されるテクスチャ特徴とを含む、ステップと、
    前記電子デバイスによって、前記第1のインタフェースに前記RGB画像を表示するステップと、
    前記電子デバイスによって、前記第3の画像情報を記憶するステップであって、前記電子デバイスに記憶される前記第3の画像情報は、前記ユーザ本人確認を実行するために使用される前記元の画像である、ステップと
    をさらに含む、請求項2または3に記載の方法。
  5. 前記方法は、
    前記第2の命令に応答して、前記電子デバイスによって、前記第2のカメラを使用することによって前記第2の対象物の第4の画像情報を収集するステップであって、前記第4の画像情報は、前記第2の対象物の前記特徴と、前記光点を有する前記赤外線が前記第2の対象物に照射されたときに形成されるテクスチャ特徴とを含む、ステップと、
    前記電子デバイスによって、前記第3の画像情報、前記第4の画像情報、前記第1の長さ、前記第1のカメラの前記レンズ焦点距離、および前記第2のカメラの前記レンズ焦点距離に基づいて、前記第2の対象物の深度情報を計算するステップと、
    前記電子デバイスによって、前記第2の対象物の前記深度情報が前記実際の顔の前記深度特徴を有するかどうかを判定するステップと
    をさらに含み、
    前記電子デバイスによって前記第3の画像情報を記憶する前記ステップは、
    前記第2の対象物の前記深度情報が前記実際の顔の前記深度特徴を有する場合、前記電子デバイスによって前記第3の画像情報を記憶するステップ
    を含む、請求項4に記載の方法。
  6. 前記方法は、
    前記第2の対象物の前記深度情報が前記実際の顔の前記深度特徴を有しない場合、前記電子デバイスによって、第1のプロンプト情報を送信するステップであって、前記第1のプロンプト情報は、前記電子デバイスによって記録された前記画像が利用できないことを示すために使用される、ステップをさらに含む、請求項5に記載の方法。
  7. 前記電子デバイスによって、前記第3の画像情報を記憶する前記ステップの前に、前記方法は、
    前記電子デバイスによって、前記第3の画像情報における前記特徴が赤外線における前記実際の顔の前記特徴と一致するかどうかを判定するステップをさらに含み、
    前記第2の対象物の前記深度情報が前記実際の顔の前記深度特徴を有する場合、前記電子デバイスによって前記第3の画像情報を記憶する前記ステップは、
    前記第2の対象物の前記深度情報が前記実際の顔の前記深度特徴を有し、前記第3の画像情報における前記特徴が赤外線における前記実際の顔の前記特徴と一致する場合、前記電子デバイスによって、前記第3の画像情報を記憶するステップ
    を含む、請求項6に記載の方法。
  8. 前記方法は、
    前記第2の対象物の前記深度情報が前記実際の顔の前記深度特徴を有しないか、または前記第3の画像情報における前記特徴が赤外線における前記実際の顔の前記特徴と一致しない場合、前記電子デバイスによって前記第1のプロンプト情報を送信するステップであって、前記第1のプロンプト情報は、前記電子デバイスによって記録された前記画像が利用できないことを示すために使用される、ステップ
    をさらに含む、請求項7に記載の方法。
  9. 前記電子デバイスによって、前記第3の画像情報を記憶する前記ステップは、
    前記電子デバイスによって、前記電子デバイスのトラステッド実行環境TEEに前記第3の画像情報を記憶するステップ
    を含む、請求項4から8のいずれか一項に記載の方法。
  10. 前記電子デバイスによって、前記第1の画像情報および前記第1の対象物の前記深度情報を使用して前記第1の対象物に対してユーザ本人確認を実行する前記ステップは、
    前記電子デバイスによって、前記電子デバイスの前記TEE内の前記第1の画像情報および前記第1の対象物の前記深度情報を使用することによって前記第1の対象物に対して前記ユーザ本人確認を実行するステップ
    を含む、請求項9に記載の方法。
  11. 前記第1のカメラの前記レンズ焦点距離は前記第2のカメラの前記レンズ焦点距離と同一である、請求項1から10のいずれか一項に記載の方法。
  12. 前記電子デバイスによって、前記第1の画像情報、前記第2の画像情報、前記第1の長さ、前記第1のカメラのレンズ焦点距離、および前記第2のカメラのレンズ焦点距離に基づいて前記第1の対象物の深度情報を計算する前記ステップは、
    前記電子デバイスによって、前記第1の画像情報および前記第2の画像情報における複数の第1の特徴について、前記第1のカメラと前記第2のカメラとの間の視差を計算するステップであって、前記第1の特徴は、前記第1の画像情報および前記第2の画像情報における同一の特徴である、ステップと、
    前記第1の対象物の前記深度情報を取得するために、各第1の特徴の前記電子デバイスによって、前記第1の特徴についての前記第1のカメラと前記第2のカメラとの間の前記視差、前記第1の長さおよび前記レンズ焦点距離に基づいて、以下の式にしたがって前記第1の特徴が位置する点の深度Zを計算するステップであって、
    Figure 0007195422000009
     fは前記レンズ焦点距離であり、dは前記第1の特徴についての前記第1のカメラと前記第2のカメラとの間の前記視差であり、Tは前記第1の長さである、ステップと
    を含む、請求項11に記載の方法。
  13. 前記電子デバイスによって、前記第1の画像情報および前記第2の画像情報における複数の第1の特徴についての前記第1のカメラと前記第2のカメラとの間の視差を計算する前記ステップの前に、前記方法は、
    前記電子デバイスによって、予め設定された特徴頻度に基づいて前記第1の画像情報および前記第2の画像情報から前記複数の第1の特徴を選択するステップをさらに含み、
    前記複数の第1の特徴は、前記第1の画像情報および前記第2の画像情報における同一の特徴の一部である、
    請求項12に記載の方法。
  14. 前記光点を有する前記赤外線は複数の光点を含み、前記複数の光点は複数のスペックル格子群を含み、
    1つのスペックル格子群は、1つまたは複数のスペックル格子を含み、前記スペックル格子は、複数のスペックルを含むスペックルアレイである、
    請求項13に記載の方法。
  15. 前記複数のスペックル格子群のうちの少なくとも2つは異なる、請求項14に記載の方法。
  16. 第1のスペックル格子群は、前記複数のスペックル格子群のうちのいずれか1つであり、前記第1のスペックル格子群に含まれる複数のスペックル格子のうちの少なくとも2つは異なる、請求項14または15に記載の方法。
  17. 第1のスペックル格子は、前記複数のスペックル格子のいずれか一つであり、
    前記第1のスペックル格子における複数のスペックルのすべては同一形状を有するか、
    または前記第1のスペックル格子における複数のスペックルのうちの少なくとも2つは異なる形状を有する、
    請求項14から16のいずれか一項に記載の方法。
  18. 前記電子デバイスは、前記予め設定された特徴頻度に基づいて、前記第1の画像情報および前記第2の画像情報から前記複数の第1の特徴を選択し、
    前記特徴頻度は、前記複数の光点におけるスペックル格子の繰り返し頻度を上回る、またはそれと等しく、
    前記特徴頻度は、予め設定された領域を有する画像から前記電子デバイスによって選択された同一の第1の特徴の数によって表され、前記繰り返し頻度は、前記予め設定された領域に現れる同一のスペックル格子の数によって表される、
    請求項14から17のいずれか一項に記載の方法。
  19. 前記第1のカメラおよび前記第2のカメラの各レンズの2つの側面はそれぞれ反射防止コーティングを備え、前記第1のカメラおよび前記第2のカメラの光フィルタはそれぞれカットオフコーティングを備え、
    前記反射防止コーティングは、赤外線の透過率を高めるために使用され、前記カットオフコーティングは、赤外線および可視光以外の光を除去し、前記赤外線の前記透過率を高めるために使用される、
    請求項1から18のいずれか一項に記載の方法。
  20. 前記第1の長さは、20ミリメートル～30ミリメートルの範囲である、請求項1から19のいずれか一項に記載の方法。
  21. 前記赤外線プロジェクタによって放射される前記赤外線は、890nm～990nmの赤外線である、請求項1から20のいずれか一項に記載の方法。
  22. 前記赤外線プロジェクタによって放射される前記赤外線は、940nmの赤外線である、請求項1から21のいずれか一項に記載の方法。
  23. 電子デバイスであって、前記電子デバイスは、1つまたは複数のプロセッサと、メモリと、赤外線プロジェクタと、第1のカメラと、第2のカメラとを備え、前記第1のカメラと前記第2のカメラとの間の距離は第1の長さであり、前記メモリ、前記赤外線プロジェクタ、前記第1のカメラ、および前記第2のカメラは前記プロセッサに結合され、前記メモリは情報を記憶するように構成され、
    前記プロセッサは、ユーザの第1の命令を受信するように構成され、前記第1の命令は、第1の対象物に対して顔認識を実行するように前記電子デバイスをトリガするために使用され、
    前記プロセッサは、前記第1の命令に応答して、前記赤外線プロジェクタを使用することによって光点を有する赤外線を放射し、前記第1のカメラを使用することによって前記第1の対象物の第1の画像情報を収集し、前記第2のカメラを使用することによって前記第1の対象物の第2の画像情報を収集し、前記第1の画像情報および前記第2の画像情報はそれぞれ、前記第1の対象物の特徴と、前記光点を有する前記赤外線が前記第1の対象物に照射されたときに形成されるテクスチャ特徴とを含むようにさらに構成され、
    前記プロセッサは、前記第1の画像情報、前記第2の画像情報、前記第1の長さ、前記第1のカメラのレンズ焦点距離、および前記第2のカメラのレンズ焦点距離に基づいて前記第1の対象物の深度情報を計算するようにさらに構成され、
    前記プロセッサは、前記第1の画像情報および前記第1の対象物の前記深度情報を使用することによって、前記第1の対象物に対してユーザ本人確認を実行するようにさらに構成される、
    電子デバイス。
  24. 前記プロセッサが前記第1の画像情報および前記第1の対象物の前記深度情報を使用することによって前記第1の対象物に対してユーザ本人確認を実行するように構成されることは、
    前記プロセッサが、
    前記第1の画像情報を元の画像と比較し、前記元の画像は、前記電子デバイスに記憶され、前記ユーザ本人確認を実行するために使用される二次元画像であり、
    前記第1の対象物の前記深度情報が実際の顔の深度特徴を有するかどうかを判定し、
    前記第1の画像情報が前記元の画像と一致し、前記第1の対象物の前記深度情報が前記実際の顔の前記深度特徴を有する場合、前記ユーザ本人確認が成功したと判定する、または
    前記第1の画像情報が前記元の画像と一致しない場合、または前記第1の対象物の前記深度情報が前記実際の顔の前記深度特徴を有しない場合、前記ユーザ本人確認が失敗したと判定する、
    ように構成されることを含む、請求項23に記載の電子デバイス。
  25. 前記プロセッサが前記第1の画像情報および前記第1の対象物の前記深度情報を使用することによって前記第1の対象物に対してユーザ本人確認を実行するようにさらに構成されることは、
    前記プロセッサが、
    前記第1の画像情報を元の画像と比較し、前記元の画像は、前記電子デバイスに記憶され、前記ユーザ本人確認を実行するために使用される二次元画像であり、
    前記第1の対象物の前記深度情報が実際の顔の深度特徴を有するかどうかを判定し、
    前記第1の画像情報の前記特徴が赤外線における前記実際の顔の特徴と一致するかどうかを判定し、
    前記第1の画像情報が前記元の画像と一致し、前記第1の対象物の前記深度情報が前記実際の顔の前記深度特徴を有し、前記第1の画像情報における前記特徴が赤外線における前記実際の顔の前記特徴と一致する場合、前記ユーザ本人確認が成功したと判定する、または
    前記第1の画像情報が前記元の画像と一致しない、前記第1の対象物の前記深度情報が前記実際の顔の前記深度特徴を有しない、または前記第1の画像情報における前記特徴が赤外線における前記実際の顔の前記特徴と一致しない場合、前記ユーザ本人確認が失敗したと判定する、
    ように構成されることを含む、請求項23に記載の電子デバイス。
  26. 前記電子デバイスは、第3のカメラおよびディスプレイをさらに備え、前記第3のカメラは、赤緑青RGBカメラであり、前記第3のカメラは、可視光において画像を収集するように構成され、
    前記ディスプレイは、前記プロセッサが前記第1の命令を受信する前に、第2の命令に応答して第1のインタフェースを表示し、前記第1のインタフェースは、前記ユーザ本人確認を実行するために使用される前記二次元画像を記録するために使用される、ように構成され、
    前記プロセッサは、前記第2の命令に応答して、前記赤外線プロジェクタを使用することによって前記光点を有する前記赤外線を放射し、前記第3のカメラを使用することによって第2の対象物のRGB画像を収集し、前記第1のカメラを使用することによって前記第2の対象物の第3の画像情報を収集し、前記第3の画像情報は、前記第2の対象物の特徴と、前記光点を有する前記赤外線が前記第2の対象物に照射されたときに形成されるテクスチャ特徴とを含む、ようにさらに構成され、
    前記ディスプレイは、前記第1のインタフェースに前記RGB画像を表示するようにさらに構成され、
    前記メモリは、前記第3の画像情報を記憶し、前記メモリに記憶された前記第3の画像情報は、前記ユーザ本人確認を実行するために使用される前記元の画像である、
    ようにさらに構成される、請求項24または25に記載の電子デバイス。
  27. 前記プロセッサは、前記第2の命令に応答して、前記第2のカメラを使用することによって前記第2の対象物の第4の画像情報を収集し、前記第4の画像情報が、前記第2の対象物の前記特徴と、前記光点を有する前記赤外線が前記第2の対象物に照射されたときに形成されるテクスチャ特徴とを含む、ようにさらに構成され、
    前記プロセッサは、前記第3の画像情報、前記第4の画像情報、前記第1の長さ、前記第1のカメラの前記レンズ焦点距離、および前記第2のカメラの前記レンズ焦点距離に基づいて前記第2の対象物の深度情報を計算するようにさらに構成され、
    前記プロセッサは、前記第2の対象物の前記深度情報が前記実際の顔の前記深度特徴を有するかどうかを判定するようにさらに構成され、
    前記メモリが前記第3の画像情報を記憶するように構成されることは、
    前記メモリが、前記第2の対象物の前記深度情報が前記実際の顔の前記深度特徴を有する場合、前記第3の画像情報を記憶する
    ように構成されることを含む、請求項26に記載の電子デバイス。
  28. 前記プロセッサは、前記第2の対象物の前記深度情報が前記実際の顔の前記深度特徴を有しない場合、第1のプロンプト情報を送信し、前記第1のプロンプト情報が、前記電子デバイスによって記録された前記画像が利用できないことを示すために使用される、ようにさらに構成される、請求項27に記載の電子デバイス。
  29. 前記プロセッサは、前記プロセッサが前記第3の画像情報を記憶する前に、前記第3の画像情報における前記特徴が赤外線における前記実際の顔の前記特徴と一致するかどうかを判定するようにさらに構成され、
    前記メモリは、前記第2の対象物の前記深度情報が前記実際の顔の前記深度特徴を有し、前記第3の画像情報における前記特徴が赤外線における前記実際の顔の前記特徴と一致する場合、前記第3の画像情報を記憶する
    ように特に構成される、請求項28に記載の電子デバイス。
  30. 前記プロセッサは、前記第2の対象物の前記深度情報が前記実際の顔の前記深度特徴を有しないか、または前記第3の画像情報における前記特徴が赤外線における前記実際の顔の前記特徴と一致しない場合、前記第1のプロンプト情報を送信し、前記第1のプロンプト情報が、前記電子デバイスによって記録された前記画像が利用できないことを示すために使用される、ようにさらに構成される、請求項29に記載の電子デバイス。
  31. 前記メモリは、前記電子デバイスのトラステッド実行環境TEEに前記第3の画像情報を記憶するように特に構成される、請求項26から30のいずれか一項に記載の電子デバイス。
  32. 前記プロセッサが、前記第1の画像情報および前記第1の対象物の前記深度情報を使用することによって前記第1の対象物に対してユーザ本人確認を実行するようにさらに構成されることは、
    前記プロセッサが、前記電子デバイスの前記TEE内の前記第1の画像情報および前記第1の対象物の前記深度情報を使用することによって前記第1の対象物に対して前記ユーザ本人確認を実行する
    ように構成されることを含む、請求項31に記載の電子デバイス。
  33. コンピュータ命令を含むコンピュータ記憶媒体であって、前記コンピュータ命令が電子デバイス上で稼働されるとき、前記電子デバイスは、請求項1から22のいずれか一項に記載の顔認識方法を実行することを可能にされる、コンピュータ記憶媒体。
  34. コンピュータプログラム製品であって、前記コンピュータプログラム製品がコンピュータ上で稼働されるとき、前記コンピュータは、請求項1から22のいずれか一項に記載の顔認識方法を実行することを可能にされる、コンピュータプログラム製品。
JP2021524361A 2018-10-30 2019-10-22 顔認識方法および電子デバイス Active JP7195422B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811281139.2A CN109635539B (zh) 2018-10-30 2018-10-30 一种人脸识别方法及电子设备
CN201811281139.2 2018-10-30
PCT/CN2019/112406 WO2020088296A1 (zh) 2018-10-30 2019-10-22 一种人脸识别方法及电子设备

Publications (2)

Publication Number Publication Date
JP2022509756A JP2022509756A (ja) 2022-01-24
JP7195422B2 true JP7195422B2 (ja) 2022-12-23

Family

ID=66066833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021524361A Active JP7195422B2 (ja) 2018-10-30 2019-10-22 顔認識方法および電子デバイス

Country Status (5)

Country Link
US (1) US20210406350A1 (ja)
EP (1) EP3872658B1 (ja)
JP (1) JP7195422B2 (ja)
CN (1) CN109635539B (ja)
WO (1) WO2020088296A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635539B (zh) * 2018-10-30 2022-10-14 荣耀终端有限公司 一种人脸识别方法及电子设备
CN109544618B (zh) * 2018-10-30 2022-10-25 荣耀终端有限公司 一种获取深度信息的方法及电子设备
CN110059638A (zh) * 2019-04-19 2019-07-26 中控智慧科技股份有限公司 一种身份识别方法及装置
CN110456938B (zh) 2019-06-28 2021-01-29 华为技术有限公司 一种曲面屏的防误触方法及电子设备
CN110648314B (zh) * 2019-09-05 2023-08-04 创新先进技术有限公司 一种识别翻拍图像的方法、装置及设备
CN110942032B (zh) * 2019-11-27 2022-07-15 深圳市商汤科技有限公司 活体检测方法及装置、存储介质
CN111739241A (zh) * 2020-05-07 2020-10-02 深圳英飞拓智能技术有限公司 基于5g传输的人脸抓拍和监控方法及系统、设备
CN113673285B (zh) * 2020-05-15 2023-09-12 深圳市光鉴科技有限公司 深度相机抓拍时的深度重建方法、系统、设备及介质
CN112325793B (zh) * 2020-09-30 2022-02-18 张成林 防伪检测方法、装置及多目相机
CN112699846B (zh) * 2021-01-12 2022-06-07 武汉大学 一种具有身份一致性校验的特定人物与特定行为联合检索方法及装置
CN115046480B (zh) * 2021-03-09 2023-11-10 华为技术有限公司 一种测量长度的方法、电子设备以及移动设备
CN113609890A (zh) * 2021-05-25 2021-11-05 深圳市国基视讯技术有限公司 一种基于独立识别终端的协同人脸识别系统及识别方法
US11600112B2 (en) * 2021-07-08 2023-03-07 Black Sesame Technologies Inc. Bio-security system based on multi-spectral sensing
CN115937922B (zh) * 2021-08-11 2023-11-07 荣耀终端有限公司 一种人脸识别方法和装置
CN113780090B (zh) * 2021-08-12 2023-07-28 荣耀终端有限公司 数据处理方法及装置
CN115147705B (zh) * 2022-09-06 2023-02-03 平安银行股份有限公司 人脸翻拍检测方法、装置、电子设备及存储介质
US20240087308A1 (en) * 2022-09-12 2024-03-14 Communications Test Design, Inc. Method and system to detect components of facial recognition system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250856A (ja) 2012-06-01 2013-12-12 Mitsubishi Electric Corp 監視システム
CN108052878A (zh) 2017-11-29 2018-05-18 上海图漾信息科技有限公司 人脸识别设备和方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001507133A (ja) * 1996-12-20 2001-05-29 ライフェフ／エックス・ネットワークス・インク 高速３ｄイメージパラメータ表示装置および方法
CN101216881B (zh) * 2007-12-28 2011-07-06 北京中星微电子有限公司 一种图像自动获取方法和装置
CN201159818Y (zh) * 2008-01-22 2008-12-03 王金枝 940纳米红外发光二极管主动照明的抗干扰成像装置
US9584806B2 (en) * 2012-04-19 2017-02-28 Futurewei Technologies, Inc. Using depth information to assist motion compensation-based video coding
CN103345301B (zh) * 2013-06-18 2016-08-10 华为技术有限公司 一种深度信息获取方法和装置
CN103400108B (zh) * 2013-07-10 2017-07-14 小米科技有限责任公司 人脸识别方法、装置和移动终端
CN104394306B (zh) * 2014-11-24 2018-02-27 北京中科虹霸科技有限公司 用于虹膜识别的多通道多区域镀膜的摄像头模组及设备
CN105513221B (zh) * 2015-12-30 2018-08-14 四川川大智胜软件股份有限公司 一种基于三维人脸识别的atm机防欺诈装置及系统
CN205490848U (zh) * 2016-03-14 2016-08-17 上海市刑事科学技术研究院 红紫外及可见光的多波段成像系统
CN106067947A (zh) * 2016-07-25 2016-11-02 深圳市金立通信设备有限公司 一种拍照方法及终端
CN106407914B (zh) * 2016-08-31 2019-12-10 北京旷视科技有限公司 用于检测人脸的方法、装置和远程柜员机系统
CN106454053A (zh) * 2016-11-22 2017-02-22 宁波舜宇光电信息有限公司 一种用于虹膜识别的摄像头模组及其设备
CN106444222A (zh) * 2016-11-22 2017-02-22 宁波舜宇光电信息有限公司 一种用于虹膜识别的摄像头模组及使用该模组的设备
CN108563936B (zh) * 2017-12-04 2020-12-18 深圳奥比中光科技有限公司 任务执行方法、终端设备及计算机可读存储介质
CN207530934U (zh) * 2017-12-19 2018-06-22 北京中科虹霸科技有限公司 一种具有红外成像功能的双摄像头模组
CN108108704A (zh) * 2017-12-28 2018-06-01 努比亚技术有限公司 人脸识别方法及移动终端
CN108107662A (zh) * 2018-01-06 2018-06-01 广东欧珀移动通信有限公司 激光发射器、光电设备和深度相机
CN108089321A (zh) * 2018-01-10 2018-05-29 黄心铭 一种基于rgb-ir成像芯片的微光夜视成像结构及其应用
CN108388071B (zh) * 2018-02-07 2024-03-08 奥比中光科技集团股份有限公司 深度相机及其投影模组
CN108195305B (zh) * 2018-02-09 2020-03-31 京东方科技集团股份有限公司 一种双目检测系统及其深度检测方法
CN108490634B (zh) * 2018-03-23 2019-12-13 深圳奥比中光科技有限公司 一种结构光投影模组和深度相机
CN108595928A (zh) * 2018-04-12 2018-09-28 Oppo广东移动通信有限公司 人脸识别的信息处理方法、装置及终端设备
CN108521821A (zh) * 2018-04-18 2018-09-11 深圳阜时科技有限公司 身份鉴权方法、身份鉴权装置、和电子设备
CN108513661A (zh) * 2018-04-18 2018-09-07 深圳阜时科技有限公司 身份鉴权方法、身份鉴权装置、和电子设备
CN110248111B (zh) * 2018-04-28 2020-08-28 Oppo广东移动通信有限公司 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN109544618B (zh) * 2018-10-30 2022-10-25 荣耀终端有限公司 一种获取深度信息的方法及电子设备
CN109635539B (zh) * 2018-10-30 2022-10-14 荣耀终端有限公司 一种人脸识别方法及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013250856A (ja) 2012-06-01 2013-12-12 Mitsubishi Electric Corp 監視システム
CN108052878A (zh) 2017-11-29 2018-05-18 上海图漾信息科技有限公司 人脸识别设备和方法

Also Published As

Publication number Publication date
CN109635539A (zh) 2019-04-16
WO2020088296A1 (zh) 2020-05-07
JP2022509756A (ja) 2022-01-24
CN109635539B (zh) 2022-10-14
EP3872658A1 (en) 2021-09-01
EP3872658B1 (en) 2024-02-21
US20210406350A1 (en) 2021-12-30
EP3872658A4 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
JP7195422B2 (ja) 顔認識方法および電子デバイス
CN109544618B (zh) 一种获取深度信息的方法及电子设备
CN113132620B (zh) 一种图像拍摄方法及相关装置
CN111327814A (zh) 一种图像处理的方法及电子设备
TW202109358A (zh) 活體檢測方法、電子設備和儲存介質
TWI818211B (zh) 眼部定位裝置、方法及3d顯示裝置、方法
WO2023284715A1 (zh) 一种物体重建方法以及相关设备
WO2021037157A1 (zh) 图像识别方法及电子设备
CN110248037B (zh) 一种身份证件扫描方法及装置
WO2022116930A1 (zh) 内容共享方法、电子设备及存储介质
CN111144365A (zh) 活体检测方法、装置、计算机设备及存储介质
KR20200067027A (ko) 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
CN113741681A (zh) 一种图像校正方法与电子设备
CN110138999B (zh) 一种用于移动终端的证件扫描方法及装置
CN114727220A (zh) 一种设备搜寻方法以及电子设备
CN114222020B (zh) 位置关系识别方法、设备及可读存储介质
CN111837381A (zh) 增强现实的通信方法及电子设备
CN113592751A (zh) 图像处理方法、装置和电子设备
CN111027374B (zh) 一种图像识别方法及电子设备
CN112532854B (zh) 一种图像处理方法与电子设备
US20240046560A1 (en) Three-Dimensional Model Reconstruction Method, Device, and Storage Medium
CN115032640A (zh) 手势识别方法和终端设备
CN114390195B (zh) 一种自动对焦的方法、装置、设备及存储介质
WO2021135659A1 (zh) 车辆信息的推送方法、装置、用户账号服务器和用户设备
CN116055872B (zh) 图像获取方法、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221213

R150 Certificate of patent or registration of utility model

Ref document number: 7195422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150