KR102637512B1 - 얼굴 이미지 전송 방법, 수치 전달 방법, 장치, 및 전자 디바이스 - Google Patents

얼굴 이미지 전송 방법, 수치 전달 방법, 장치, 및 전자 디바이스 Download PDF

Info

Publication number
KR102637512B1
KR102637512B1 KR1020227001754A KR20227001754A KR102637512B1 KR 102637512 B1 KR102637512 B1 KR 102637512B1 KR 1020227001754 A KR1020227001754 A KR 1020227001754A KR 20227001754 A KR20227001754 A KR 20227001754A KR 102637512 B1 KR102637512 B1 KR 102637512B1
Authority
KR
South Korea
Prior art keywords
image
processor
target
facial
facial image
Prior art date
Application number
KR1020227001754A
Other languages
English (en)
Other versions
KR20220024680A (ko
Inventor
사오밍 왕
즈쥔 겅
쥔 저우
륀정 궈
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20220024680A publication Critical patent/KR20220024680A/ko
Application granted granted Critical
Publication of KR102637512B1 publication Critical patent/KR102637512B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/06—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols the encryption apparatus using shift registers or memories for block-wise or stream coding, e.g. DES systems or RC4; Hash functions; Pseudorandom sequence generators
    • H04L9/0618—Block ciphers, i.e. encrypting groups of characters of a plain text message using fixed encryption transformation
    • H04L9/0631—Substitution permutation network [SPN], i.e. cipher composed of a number of stages or rounds each involving linear and nonlinear transformations, e.g. AES algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0866—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving user or device identifiers, e.g. serial number, physical or biometrical information, DNA, hand-signature or measurable physical characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • H04L9/0897—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage involving additional devices, e.g. trusted platform module [TPM], smartcard or USB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
    • H04L9/3231—Biological data, e.g. fingerprint, voice or retina
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H04N1/448—Rendering the image unintelligible, e.g. scrambling
    • H04N1/4486—Rendering the image unintelligible, e.g. scrambling using digital data encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/44—Secrecy systems
    • H04N1/448—Rendering the image unintelligible, e.g. scrambling
    • H04N1/4493—Subsequently rendering the image intelligible using a co-operating image, mask or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/56—Financial cryptography, e.g. electronic payment or e-cash
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/60—Digital content management, e.g. content distribution
    • H04L2209/608—Watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Accounting & Taxation (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Bioethics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 출원은 네트워크 기술 분야에 속하는 얼굴 이미지 전송 방법, 수치 전달 방법, 장치, 전자 디바이스, 및 저장 매체를 제공한다. 본 출원에서, 센서, 제1 프로세서, 및 메모리는 단말기의 카메라 컴포넌트에 배치된다. 센서에 기초하여 얼굴 데이터 스트림이 획득된다. 얼굴 데이터 스트림은 센서에 의해 제1 프로세서에 전송된다. 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 제1 프로세서에 의해 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝이 수행된다. 제1 프로세서에 의해 메모리로부터 타깃 웹 어드레스가 판독된다. 제1 프로세서에 의해 적어도 하나의 타깃 얼굴 이미지가 타깃 웹 어드레스에 전송된다. 메모리가 TEE 요소 또는 SE 중 적어도 하나이므로, 카메라 컴포넌트는 TEE에서 실행되며, 이에 따라, 타깃 얼굴 이미지의 전송은 REE 하드웨어 리스스들을 통과할 필요가 없으며, 얼굴 이미지 전송 프로세스의 보안성을 향상시킨다.

Description

얼굴 이미지 전송 방법, 수치 전달 방법, 장치, 및 전자 디바이스
본 출원은 2019년 12월 16일자 출원된 발명의 명칭이 "얼굴 이미지 전송 방법, 수치 전달 방법, 장치, 및 전자 디바이스(FACE IMAGE TRANSMISSION METHOD, VALUE TRANSFER METHOD, APPARATUSES, AND ELECTRONIC DEVICE)"인 중국 특허 출원 번호 제 201911296473.X 호에 대한 우선권을 주장하며, 이는 그 전체가 참조로 본원에 포함된다.
본 출원은 네트워크 기술 분야에 관한 것으로서, 특히 얼굴 이미지 전송 방법, 수치 전달 방법, 장치, 전자 디바이스, 및 저장 매체에 관한 것이다.
네트워크 기술의 발달로 사용자는 단말기에 기초한 수치 전달 조작(value transfer operation)을 트리거할 수 있다. 예를 들어, 단말기는 먼저 얼굴 인식 기술에 기초하여 사용자가 사용자 자신인지를 확인하고, 검증이 성공한 이후에 수치 전달 조작을 수행한다.
현재, 단말기는, 카메라를 이용하여 사용자의 얼굴 이미지를 획득한 후에, 얼굴 이미지(원시 데이터(raw data)라 지칭하기도 함)를 풍부한 실행 환경(rich execution environment, REE)에서 프로세서로 직접 전송하고, REE에서 프로세서는 얼굴 이미지를 서버에 업로드하고, 서버는 해당 얼굴 이미지에 대해 얼굴 인식을 수행하여 인식 결과를 생성한다. 인식 결과가 "예(yes)"일 때, 후속 수치 전달 조작이 트리거된다. 단말기의 REE는 단말기의 일반적인 실행 환경이라고도 지칭한다. REE는 일부 플랫폼에 의해 제공되는 소프트웨어 및 하드웨어 리소스들에 액세스할 수 있다. 하드웨어 리소스들은 REE의 프로세서를 포함하고, 소프트웨어 리소스들은 안드로이드(Android)와 같이 일반적으로 사용되는 모바일 운영 체제들을 포함한다.
본 출원의 실시예들은 얼굴 이미지 전송 방법, 수치 전달 방법, 장치, 전자 디바이스 및 저장 매체를 제공한다. 기술적인 솔루션은 다음과 같다.
한 양태에 따르면, 단말기의 카메라 컴포넌트에 적용 가능한 얼굴 이미지 전송 방법이 제공되며, 카메라 컴포넌트는 센서, 제1 프로세서, 및 메모리를 포함하고, 메모리는 신뢰할 수 있는 실행 환경(trusted execution environment, TEE) 요소 또는 보안 요소(secure element, SE) 중 적어도 하나이며, 본 방법은,
센서에 기초하여 얼굴 데이터 스트림을 획득하고, 센서에 의해 얼굴 데이터 스트림을 제1 프로세서에 전송하는 단계;
적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 제1 프로세서에 의해 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝(screening)을 수행하는 단계 - 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 -;
제1 프로세서에 의해 메모리로부터 타깃 웹 어드레스를 판독하는 단계; 및
제1 프로세서에 의해 적어도 하나의 타깃 얼굴 이미지를 타깃 웹 어드레스에 전송하는 단계를 포함한다.
한 양태에 따르면, 단말기에 적용 가능한 수치 전달 방법이 제공되며, 단말기는 카메라 컴포넌트 및 호스트를 포함하고, 카메라 컴포넌트는 신뢰할 수 있는 실행 환경(TEE)에서 실행되며, 본 방법은,
카메라 컴포넌트에 의해 검증 요청을 서버에 전송하는 단계 - 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반하고, 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 -;
서버에 의한 검증 요청의 검증이 성공한 경우에, 카메라 컴포넌트에 의해 검증 성공 응답을 수신하는 단계 - 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반하고, 하나의 얼굴 이미지 식별은 적어도 하나의 타깃 얼굴 이미지에서 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용됨 -;
카메라 컴포넌트에 의해 적어도 하나의 얼굴 이미지 식별을 호스트에 전송하는 단계; 및
서버가 수치 전달 요청에 기초하여 수치 전달 조작을 수행하도록 호스트에 의해 수치 전달 요청을 서버에 전송하는 단계 - 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반함 -를 포함한다.
한 양태에 따르면, 수치 전달 방법은,
수치 전달 요청을 수신하는 단계 - 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반하고, 하나의 얼굴 이미지 식별은 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용되고, 각각의 타깃 얼굴 이미지는 타깃 조건을 충족함 -;
적어도 하나의 얼굴 이미지 식별에 대응하는 적어도 하나의 타깃 얼굴 이미지와 사용자 식별에 대응하는 표준 이미지를 조회(querying)하는 단계;
인식 결과를 획득하기 위해 적어도 하나의 타깃 얼굴 이미지 및 표준 이미지에 기초하여 얼굴 인식을 수행하는 단계; 및
인식 결과가 성공적인 때, 수치 전달 정보에 기초하여 수치 전달 조작을 수행하는 단계를 포함한다.
한 양태에 따르면, 단말기의 카메라 컴포넌트를 포함하는 얼굴 이미지 전송 장치가 제공되며, 카메라 컴포넌트는 센서, 제1 프로세서, 및 메모리를 포함하고, 메모리는 신뢰할 수 있는 실행 환경(TEE) 요소 또는 보안 요소(SE) 중 적어도 하나이며, 여기서,
센서는 얼굴 데이터 스트림을 획득하고 얼굴 데이터 스트림을 제1 프로세서에 전송하도록 구성되고;
제1 프로세서는 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝을 수행하도록 구성 - 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 -되고;
제1 프로세서는 메모리로부터 타깃 웹 어드레스를 판독하도록 추가로 구성되고; 그리고
제1 프로세서는 적어도 하나의 타깃 얼굴 이미지를 타깃 웹 어드레스에 전송하도록 추가로 구성된다.
가능한 구현에서, 제1 프로세서는,
적어도 하나의 얼굴 이미지에 대해 생체 검출(liveness detection)을 수행하고, 검출 결과가 생체인 각각의 얼굴 이미지를 적어도 하나의 타깃 얼굴 이미지로 결정하도록 구성된다.
가능한 구현에서, 제1 프로세서는,
적어도 하나의 얼굴 이미지의 품질 점수를 획득하기 위해 적어도 하나의 얼굴 이미지에 대해 품질 평가를 수행하고; 그리고
품질 점수가 점수 문턱치(score threshold)보다 큰 각각의 얼굴 이미지를 적어도 하나의 타깃 얼굴 이미지로 결정하도록 구성된다.
가능한 구현에서, 제1 프로세서는,
메모리로부터 타깃 키를 판독하고;
얼굴 이미지 암호문을 획득하기 위해 암호화 알고리즘 및 타깃 키에 기초하여 적어도 하나의 타깃 얼굴 이미지를 암호화하고; 그리고
적어도 하나의 타깃 얼굴 이미지를 운반하는 얼굴 이미지 암호문을 타깃 웹 어드레스에 전송하도록 구성된다.
가능한 구현에서, 본 장치는 제2 프로세서를 추가로 포함하고, 제2 프로세서는 REE에서 실행되며,
제1 프로세서는 추가로 적어도 하나의 얼굴 이미지 식별을 수신 - 하나의 얼굴 이미지 식별은 적어도 하나의 타깃 얼굴 이미지에서 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용됨 -하고, 적어도 하나의 얼굴 이미지 식별을 제2 프로세서에 전송하도록 구성되고; 그리고
제2 프로세서는 사용자 식별 및 적어도 하나의 얼굴 이미지 식별을 전송하도록 구성된다.
가능한 구현에서, 본 장치는 제2 프로세서를 추가로 포함하고, 제2 프로세서는 REE에서 실행되며;
제1 프로세서는, 적어도 하나의 마스킹된 이미지를 획득하기 위해 적어도 하나의 얼굴 이미지에 대해 마스킹을 수행하고; 적어도 하나의 마스킹된 이미지를 제2 프로세서에 전송하며; 그리고
제2 프로세서는 적어도 하나의 마스킹된 이미지를 디스플레이하도록 구성된다.
가능한 구현에서, 제1 프로세서는,
적어도 하나의 얼굴 이미지에 대해 얼굴 검출을 수행하고, 적어도 하나의 얼굴 이미지에서 얼굴 부분 영역을 결정하며; 그리고
적어도 하나의 마스킹된 이미지를 획득하기 위해 적어도 하나의 얼굴 이미지에서 얼굴 부분 영역에 대해 이미지 강화(image enhancement)를 수행하도록 구성된다.
한 양태에 따르면, 카메라 컴포넌트 및 호스트를 포함하는 수치 전달 장치가 제공되고, 카메라 컴포넌트는 신뢰할 수 있는 실행 환경(TEE)에서 실행되며, 여기서,
카메라 컴포넌트는 검증 요청을 서버에 전송 - 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반하고, 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 -하도록 구성되고;
카메라 컴포넌트는, 서버에 의한 검증 요청의 검증이 성공한 경우에, 검증 성공 응답을 수신 - 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 분반하고, 하나의 얼굴 이미지 식별은 적어도 하나의 타깃 얼굴 이미지에서 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용됨 -하도록 추가로 구성되고;
카메라 컴포넌트는 추가로 적어도 하나의 얼굴 이미지 식별을 호스트에 전송하도록 구성되며; 그리고
호스트는 서버가 수치 전달 요청에 기초하여 수치 전달 조작을 수행하도록 수치 전달 요청을 서버에 전송 - 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반함 -하도록 구성된다.
한 양태에 따르면, 수치 전달 장치가 제공되며, 장치는,
수치 전달 요청을 수신하도록 구성된 수신 모듈 - 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반하고, 하나의 얼굴 이미지 식별은 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용되며, 각각의 타깃 얼굴 이미지는 타깃 조건을 충족함 -;
적어도 하나의 얼굴 이미지 식별에 대응하는 적어도 하나의 타깃 얼굴 이미지, 및 사용자 식별에 대응하는 표준 이미지를 조회하도록 구성된 조회 모듈(query module);
인식 결과를 획득하기 위해 적어도 하나의 타깃 얼굴 이미지 및 표준 이미지에 기초하여 얼굴 인식을 수행하도록 구성된 얼굴 인식 모듈; 및
인식 결과가 성공적인 경우에, 수치 전달 정보에 기초하여 수치 전달 조작을 수행하도록 구성된 수치 전달 모듈을 포함한다.
가능한 구현에서, 장치는,
검증 요청을 수신 - 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반함 -하고;
적어도 하나의 타깃 얼굴 이미지에 대해 유효성 검증을 수행하고;
검증이 성공적인 경우에, 적어도 하나의 타깃 얼굴 이미지를 저장하고; 그리고
검증 성공 응답을 전송 - 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반함 -하도록 추가로 구성된다.
한 양태에 따르면, 하나 이상의 센서, 하나 이상의 프로세서, 및 하나 이상의 메모리를 포함하는 전자 디바이스가 제공되며, 하나 이상의 메모리는 적어도 하나의 프로그램 코드를 저장하고, 적어도 하나의 프로그램 코드는 상술한 가능 구현들 중 어느 하나에 따른 얼굴 이미지 전송 방법 또는 수치 전달 방법에서 실행되는 조작들을 구현하도록 하나 이상의 프로세서에 의해 로딩 및 실행된다.
한 양태에 따르면, 적어도 하나의 프로그램 코드를 저장하는 저장 매체가 제공되며, 적어도 하나의 프로그램 코드는 상술한 가능 구현들 중 어느 하나에 따른 얼굴 이미지 전송 방법 또는 수치 전달 방법에서 실행되는 조작들을 구현하도록 프로세서에 의해 로딩 및 실행된다.
본 출원의 실시예들에서 기술적인 솔루션을 보다 명확하게 설명하기 위하여, 이하에서는 실시예들을 설명하기 위해 필요한 첨부한 도면들을 간략히 소개한다. 명백히, 다음 설명에서 첨부 도면들은 단지 본 출원의 일부 실시예들을 도시하고, 본 기술 분야의 통상의 기술자는 창조적 노력 없이도 첨부한 도면들로부터 다른 도면들을 여전히 도출할 수 있다.
도 1은 본 출원의 실시예에 따른 얼굴 이미지 전송 방법의 구현 환경을 나타내는 개략적인 다이어그램이다.
도 2는 본 출원의 실시예에 따른 단말기(120)의 외관의 개략적인 다이어그램이다.
도 3은 본 출원의 실시예에 따른 얼굴 이미지 전송 방법의 상호작용 흐름도이다.
도 4는 본 출원의 일 실시예에 따른 수치 전달 방법의 상호작용 흐름도이다.
도 5는 본 출원의 실시예에 따른 수치 전달 방법의 개략적인 원리 다이어그램이다.
도 6은 본 출원의 실시예에 따른 얼굴 이미지 전송 장치의 개략적인 구조 다이어그램이다.
도 7은 본 출원의 실시예에 따른 수치 전달 장치의 개략적인 구조 다이어그램이다.
도 8은 본 출원의 실시예에 따른 수치 전달 장치의 개략적인 구조 다이어그램이다.
도 9는 본 출원의 예시적인 실시예에 따른 단말기(900)의 구조적인 블록 다이어그램이다.
도 10은 본 출원의 실시예에 따른 서버의 개략적인 구조 다이어그램이다.
본 출원의 목적, 기술적 솔루션, 및 이점을 보다 명확하게 하기 위하여, 다음은 첨부된 도면을 참조하여 본 출원의 구현들을 보다 상세히 설명한다.
종래 기술에서, REE에서 실행되는 운영 체제 및 다양한 애플리케이션들은 큰 코드와 빈번한 취약점이 있고, 이로 인해 REE의 보안이 취약하다. 즉, REE에 기초한 얼굴 이미지들을 전송하는 프로세스는 보안이 취약하다.
다음은 본 출원의 실시예들에서 관련된 용어들을 설명한다.
1. TEE 및 REE
모바일 네트워크들 및 단말기들의 급속한 발전과, 소비자 전자 제품 인텔리전스(consumer electronic product intelligence)의 대중화로 인하여, 애플리케이션들(APPs)의 유형과 양이 점점 더 많아지고 있다. 현재의 APP들은 단말기의 기본 기능들 및 엔터테인먼트 기능들의 확장에 제한되지 않고, APP들이 관여하는 분야는 모바일 결제 관련된 금융 APP들, 콘텐츠 저작권 보호 APP들, 클라우드 컴퓨팅에서 얇은 단말기들의 보안 APP들과 같은 모든 계층의 생활 영역(all walks of life)으로 점차 확대되고 있다. 이들 산업 APP들은 보안 수준이 더 높은 단말기 실행 환경을 필요로 한다.
그러나, 단말기의 운영 체제의 설계는, 보안 관점이 아닌, 기능적 요구사항들에 주로 초점을 두고 있다. 또한, 전체 시스템의 개방성, 거대성 및 복잡성으로 인해, 해당 시스템 취약점이 제거될 수 없고, 이로 인해, 그러한 취약점을 악용하는 악성 프로그램들이 지속적으로 출현하여, APP들이 위험하게 될 수 있다. 비록 방화벽들 및 안티-바이러스 소프트웨어와 같은 일부 소프트웨어 보호 수단들이 해당 보호를 위해 사용될 수 있지만, 새로운 바이러스 프로그램들의 끝없는 출현과 빈번한 시스템 업데이트 및 업그레이드로 인하여, 완전한 소프트웨어 보호는 달성될 수 없다.
이러한 문제들에 기초하여, 업계는 심층 연구를 수행하여 새로운 솔루션, 즉 동일한 하드웨어 디바이스를 2개의 독립적이고 하드웨어-분리된 실행 환경: REE(일반 실행 환경이라고도 지칭함) 및 TEE로 나누는 새로운 솔루션을 제안했다.
플랫폼의 소프트웨어 및 하드웨어 리소스들은 2개의 실행 환경 상태로 별도로 식별될 수 있다. 안전한 실행 상태로 식별된 소프트웨어 및 하드웨어 리소스들은 TEE에 의해서만 액세스될 수 있다. 일반 실행 상태로 식별된 소프트웨어 및 하드웨어 리소스들은 2개의 실행 환경(TEE 및 REE)에 의해 액세스될 수 있다. REE는 현재 일반적으로 사용되는 모바일 운영 체제, 예를 들어: 안드로이드(Android)를 실행할 수 있다. TEE는 간단한 기능들과 적은 양의 코드를 갖고 폐쇄형이며 수동으로 검사 및 제어할 수 있는 보안 운영 체제를 실행할 수 있다.
보안 요구 사항들이 높은 APP들은 보안 운영 체제에 배치할 수 있으며, 보안 요구 사항들이 낮은 APP들은 모바일 운영 체제에 배치되는 보안 서비스가 제공된다. 따라서, TEE에서 실행되는 APP들은 신뢰할 수 있는 애플리케이션들(trusted applications, TA)이라고 지칭되고, REE에서 실행되는 APP들은 클라이언트 애플리케이션들(client applications, CA: 일반 애플리케이션들이라고도 지칭됨)이라고 지칭된다. 일반 애플리케이션이 실행을 위해 해당 보안 애플리케이션을 호출할 때, 하드웨어 디바이스가 실행을 위해 REE에서 TEE로 전환된다. 이 경우에, 전체 하드웨어 디바이스는 신뢰할 수 있는 상태(trusted state)에 있고, 디바이스와 외부 사이의 상호 작용이 제어되어, 진실하고 신뢰할 수 있는 거동들(true and trusted behaviors)을 보장한다.
TEE의 소프트웨어 및 하드웨어 실행 환경은 REE의 것과 유사하다. TEE 및 REE의 물리적 운영 환경들의 분리는, TEE에서 신뢰할 수 있는 APP들의 보안을 보장하기 위해, 트러스트존 기술(Trustzone technology) 및 다중-중앙 처리 유닛(CPU) 기술과 같은 칩들의 고유한 기술들을 사용하여 달성될 수 있다. TEE에 의해 사용되는 주변기기들은, TEE가 주변기기들을 액세스할 때 보안 데이터 누출의 위험을 방지하기 위하여, 보안 속성들을 갖출 필요가 있다.
2. TEE 요소 및 SE
본 출원의 실시예들에 포함된 TEE 요소들은 또한 트러스트존 기술을 지원하는 요소들 또는 다중-CPU 기술을 지원하는 요소들과 같은 상술한 TEE의 하드웨어 실행 환경이다. TEE 요소는 프로세서에 내장된 보안 모듈일 수도 있고, 프로세서와 독립적인 보안 모듈일 수도 있다. TEE 요소는 민감한 데이터(예를 들어, 얼굴 이미지들)가 분리 및 신뢰할 수 있는 TEE에 저장, 처리 및 보호될 수 있도록 단말기에 보안 영역을 제공할 수 있다. TEE 요소가 프로세서에 내장되는지는 본 출원의 실시예들에서 특별히 제한되지 않는다.
본 출원의 실시예들에 관련된 SE는 일반적으로 칩의 형태로 제공된다. 외부의 악의적 분석 공격을 방지하고 데이터 보안을 보호하기 위하여, SE 칩에 암호화/복호화 논리 회로가 있다. 유사하게, SE는 프로세서에 내장된 보안 모듈일 수도 있고, 프로세서와 독립적인 보안 모듈일 수도 있다. SE가 프로세서에 내장되는지는 본 출원의 실시예들에서 특별히 제한되지 않는다.
TEE 요소 또는 SE는 "보안 모듈"로 총괄하여 지칭될 수 있다. 보안 모듈은 REE의 물리적 실행 환경에서 데이터 분리를 달성할 수 있다. 본 출원의 실시예들에서, 보안 모듈은 타깃 웹 어드레스 및 타깃 키를 저장하기 위해 사용될 수 있으며, 이에 따라, 보안 모듈은 특별하고, 안전하며, 신뢰할 수 있는 메모리로 간주될 수 있다. 타깃 웹 어드레스는 얼굴 이미지 식별을 요청하기 위해 사용되는 웹 어드레스를 지칭한다. 타깃 키는 얼굴 이미지의 암호화 키를 지칭한다. 보안 모듈은 단말기의 카메라 컴포넌트에 내장되어 있다. 타깃 키는 카메라 컴포넌트가 공장에서 출고될 때 TEE 요소 또는 SE 칩에 버닝(burned)될 수 있다. 본 출원의 실시예들의 구현 환경은 아래에 설명된다.
도 1은 본 출원의 실시예에 따른 얼굴 이미지 전송 방법의 구현 환경을 나타내는 개략적인 다이어그램이다. 도 1을 참조하면, 구현 환경은 단말기(120) 및 서버(140)를 포함할 수 있다. 단말기(120) 및 서버(140)는 모두 전자 디바이스로 지칭될 수 있다.
단말기(120)는 얼굴 이미지 전송을 수행하도록 구성된다. 단말기(120)는 카메라 컴포넌트(122) 및 호스트(124)를 포함할 수 있다. 카메라 컴포넌트(122)는 타깃 얼굴 이미지를 서버(140)에 전송하고 서버(140)에 의해 리턴된 얼굴 이미지 식별(FACE_KEY)을 수신하도록 구성된다. 카메라 컴포넌트(122)는 얼굴 이미지 식별을 호스트(124)에 전송한다. 호스트(124)는 얼굴 이미지 식별 및 사용자 식별을 서버(140)에 전송하며, 이에 따라, 서버(140)는 얼굴 이미지 식별에 기초하여 해당 타깃 얼굴 이미지를 조회하고 사용자 식별에 기초하여 해당 표준 이미지를 조회할 수 있으며, 이에 따라, 표준 이미지 및 타깃 얼굴 이미지에 기초하여 얼굴 인식을 완료하고 얼굴 인식이 성공적으로 된 후에 계정 로그인 및 수치 전달과 같은 서비스 조작들을 수행한다.
일부 실시예들에서, 카메라 컴포넌트(122)는 센서(1222) 및 제1 프로세서(1224)를 포함할 수 있고, 제1 프로세서(1224)는 보안 모듈(1226) 및 네트워크 모듈(1228)을 포함할 수 있다. 선택적으로, 카메라 컴포넌트(122)는 3차원(3D) 카메라 컴포넌트일 수 있다. 3D 카메라 컴포넌트는 얼굴 인식, 제스처 인식, 인간 골격 인식, 3D 측정, 환경 지각, 또는 3D 맵 재구성과 같은 기능들을 가질 수 있다. 획득된 이미지에서 각각의 픽셀과 카메라 사이의 거리에 관한 정보는 3D 카메라 컴포넌트를 이용하여 검출될 수 있으며, 이에 따라, 현재 획득된 얼굴 이미지에 해당하는 사용자가 생체인지가 결정되어, 수치 전달에 대한 다른 사람의 자금을 훔치기 위해 아이덴티티 검증(identity verification)을 수행하는 공격자들이 다른 사람의 사진들을 사용하는 것을 방지할 수 있다.
센서(1222)는 얼굴 이미지들을 획득하도록 구성된다. 센서(1222)는 카메라 컴포넌트(122)의 내부에 배치될 수 있다. 센서(1222)는 컬러 이미지 센서, 깊이 이미지 센서, 또는 적외선 이미지 센서 중 적어도 하나일 수 있다. 센서(1222)의 유형은 본 출원의 실시예들에서 특별히 제한되지 않는다. 이에 대응하여, 센서(1222)에 의해 획득된 얼굴 데이터 스트림은 적어도 하나의 얼굴 이미지를 포함할 수 있고, 각각의 얼굴 이미지는 컬러 이미지, 깊이 이미지, 또는 적외선 이미지 중 적어도 하나일 수 있다. 얼굴 이미지의 유형은 본 출원의 실시예들에서 특별히 제한되지 않는다.
제1 프로세서(1224)는 TEE에서 실행될 수 있다. 제1 프로세서(1224)는 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 센서(1222)에 의해 획득된 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝을 수행하도록 구성될 수 있다. 제1 프로세서(1224)는 추가로 서버(140)로부터 타깃 얼굴 이미지의 얼굴 이미지 식별을 획득하도록 구성될 수 있다. 예를 들어, 제1 프로세서(1224)는 디지털 신호 프로세서(DSP)일 수 있다. DSP는 디지털 신호로 많은 양의 정보를 처리할 수 있는 디바이스인 특수 마이크로프로세서이다. 물론, 제1 프로세서(1224)는 대안적으로 필드 프로그램 가능한 게이트 어레이(field programmable gate array, FPGA) 또는 프로그램 가능한 로직 어레이(programmable logic array, PLA)의 하드웨어 형태일 수 있다. 제1 프로세서(1224)의 하드웨어 형태는 본 출원의 실시예들에서 특별히 제한되지 않는다.
일부 실시예들에서, 제1 프로세서(1224)는 보안 모듈(1226) 및 네트워크 모듈(1228)을 포함할 수 있다. 보안 모듈(1226)은 타깃 키 및 타깃 웹 어드레스를 저장하도록 구성된다. 타깃 웹 어드레스는 얼굴 이미지 식별을 요청하기 위해 사용되는 웹 어드레스를 지칭한다. 타깃 키는 얼굴 이미지의 암호화 키를 지칭한다. 즉, 보안 모듈(1226)은 본질적으로 특별하고, 안전하며, 신뢰할 수 있는 메모리이다. 보안 모듈(1226)은 TEE 요소 또는 SE 중 적어도 하나일 수 있다. 타깃 키는 카메라 컴포넌트(122)가 공장에서 출고될 때 TEE 요소 또는 SE 칩에 버닝될 수 있다.
본 출원의 본 실시예에서, 보안 모듈(1226)이 카메라 컴포넌트(122)의 제1 프로세서(1224)에 내장된 예가 설명을 위해 사용된다. 이 경우에, 제1 프로세서(1224)는 TEE에서 수행되는 것이 고려될 수 있다. 선택적으로, 보안 모듈(1226)은 카메라 컴포넌트(122)의 제1 프로세서(1224)와 독립적인 메모리일 수 있다. 보안 모듈(1226)이 제1 프로세서(1224)에 내장되는지는 본 출원의 실시예들에서 특별히 제한되지 않는다.
일부 실시예들에서, 호스트(124)는 제2 프로세서(1242)를 포함할 수 있고, 제2 프로세서(1242)는 REE에서 실행된다. 제1 프로세서(1224)는 TEE에서 실행되기 때문에, 제1 프로세서(1224) 및 제2 프로세서(1242)는 물리적 실행 환경에서 데이터 분리를 달성할 수 있다. 제1 프로세서(1224)는 분리 및 신뢰할 수 있는 TEE 환경에서 얼굴 데이터 스트림을 저장, 처리 및 보호한다. 선택적으로, 데이터는 인터-프로세스 통신(IPC) 메커니즘(inter-process communication (IPC) mechanism)에 기초하여 제1 프로세서(1224)와 제2 프로세서(1242) 사이에서 전송될 수 있다.
단말기(120)와 서버(140)는 유선 또는 무선 네트워크로 연결될 수 있다.
서버(140)는 하나의 서버, 복수의 서버, 클라우드 컴퓨팅 플랫폼, 가상화 센터 중 적어도 하나를 포함할 수 있다. 서버(140)는 단말기(120)에서 실행되는 APP에 대한 백엔드 서비스를 제공하도록 구성된다. APP는 사용자에게 수치 전달 서비스를 제공하며, 이에 따라, 사용자는 단말기(120)에 기초하여 수치 전달 조작을 수행할 수 있다. 선택적으로, 서버(140)는 1차 컴퓨팅 작업을 수행할 수 있고, 단말기(120)는 2차 컴퓨팅 작업을 수행할 수 있으며, 대안적으로, 서버(140)는 2차 컴퓨팅 작업을 수행하고, 단말기(120)는 1차 컴퓨팅 작업을 수행하며, 대안적으로, 서버(140)와 단말기(120) 사이의 분산된 컴퓨팅 아키텍처를 사용하여 협업 컴퓨팅(collaborative computing)이 수행된다.
선택적으로, 서버(140)는 독립적인 물리적 서버이거나, 또는 복수의 물리적 서버로 형성되는 서버 클러스터 또는 분산된 시스템이거나, 클라우드 서비스, 클라우드 데이터베이스, 클라우드 컴퓨팅, 클라우드 기능, 클라우드 스토리지, 네트워크 서비스, 클라우드 통신, 미들웨어 서비스, 도메인 네임 서비스, 보안 서비스, 콘텐츠 전달 네트워크(content delivery network, CDN), 빅데이터, 및 AI 플랫폼과 같은 기본적인 클라우드 컴퓨팅 서비스들을 제공하는 클라우드 서버이다.
예시적인 시나리오에서, 얼굴 데이터 전송 프로세스는 얼굴 인식에 기초한 수치 전달의 프로세스에서 발생할 수 있다. 이 경우에, 단말기(120)는 "얼굴 인식 결제 단말기(facial recognition payment terminal)"라고 총괄하여 지칭될 수 있다. 얼굴 인식 결제 단말기는 카메라를 통합하여 사용자의 얼굴 데이터 스트림을 획득하여 결제할 수 있는 전자 디바이스를 지칭한다. 사용자는 카메라 컴포넌트(122)를 호출하도록 단말기(120)를 트리거하는 단말기(120)의 수치 전달 옵션에 대한 트리거 조작을 수행하여 실시간으로 사용자의 얼굴 데이터 스트림을 획득할 수 있다. 본 출원의 실시예들에 의해 제공되는 수치 전달 방법에 기초하여, 카메라 컴포넌트(122)는 검증 요청을 서버(140)에 전송한다. 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반한다. 전체 카메라 컴포넌트(122)가 TEE 상태이며, 이에 따라, 타깃 얼굴 이미지의 전송(즉, 검증 요청의 전송)은 높은 보안성과 신뢰성을 갖는 것을 보장하고, REE에서 타깃 얼굴 이미지를 노출시킬 필요가 없으며, 이는 REE에서 빈번한 네트워크 공격들을 피할 수 있다. 서버(140)에 의해 검증 요청의 검증이 성공적으로 된 후에, 서버(140)는 검증 성공 응답을 카메라 컴포넌트(122)에 리턴하고, 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반한다. 또한, 카메라 컴포넌트(122)는 얼굴 이미지 식별을 호스트(124)에 전송하고, 호스트(124)는 수치 전달 요청을 서버(140)에 전송한다. 수치 전달 요청은 수치 전달 정보, 사용자 식별, 및 적어도 하나의 얼굴 이미지 식별을 운반하며, 이에 따라, 서버(140)는 적어도 하나의 얼굴 이미지 식별에 따라 해당 타깃 얼굴 이미지를 발견하고, 사용자 식별에 따라 해당 표준 이미지를 발견하고, 타깃 얼굴 이미지와 표준 이미지에 기초하여 얼굴 인식을 수행할 수 있다. 얼굴 인식이 성공적으로 된 이후에, 수치 전달 조작이 수치 전달 정보에 기초하여 수행된다. 수치 전달 정보는 사용자 식별, 타깃 사용자 식별, 및 전달될 수치(to-be-transferred value)를 포함할 수 있다. 이 경우에, 비록 호스트(124)가 REE 상태에 있더라도, 호스트(124)는 타깃 얼굴 이미지를 전송할 필요가 없지만, 얼굴 이미지 식별을 전송하며, 이에 따라, 얼굴 이미지 전송 프로세스의 보안성이 크게 보장될 수 있다.
사용자와 타깃 사용자는 수치 전달의 특정 프로세스에서 서로 다른 아이덴티티들을 가진 사용자들을 위한 단지 구별된 이름들이다. 일부 수치 전달 프로세스들에서, 특정 사용자는 사용자 및 타깃 사용자 모두일 수 있는데, 즉, 사용자는 자신이 둘 모두를 소유한 한 계정에서 다른 계정으로 수치를 전달한다. 물론, 특정 사용자는 수치 전달 프로세스에서 사용자일 수 있고, 다른 수치 전달 프로세스에서 타깃 사용자일 수 있다.
도 2는 본 출원의 실시예에 따른 단말기(120)의 외관의 개략적인 다이어그램이다. 도 2를 참조하면, 단말기(120)는 디스플레이 스크린을 가질 수 있고, 사용자는 디스플레이 스크린에 기초하여 상호작용 조작(interaction operation)을 수행할 수 있고, 이에 의해, 얼굴 인식에 기초한 수치 전달 조작을 완료한다. 선택적으로, 단말기(120)의 디바이스 유형은 스마트폰, 태블릿 컴퓨터, 전자책 리더기(e-book reader), 동영상 전문가 그룹 오디오 레이어 III(Moving Picture Experts Group Audio Layer III, MP3) 플레이어, 동영상 전문가 그룹 오디오 레이어 IV(MP4) 플레이어, 랩톱 컴퓨터, 및 데스크톱 컴퓨터 중 적어도 하나를 포함할 수 있다.
선택적으로, 더 많거나 더 적은 단말기(120)가 있을 수 있으며, 예를 들어, 단지 하나의 단말기(120)가 있을 수 있거나, 수십 또는 수백 개 이상의 단말기들(120)이 있을 수 있다. 단말기(120)의 수량 및 디바이스 유형은 본 출원의 실시예에서 제한되지 않는다.
도 3은 본 출원의 실시예에 따른 얼굴 이미지 전송 방법의 상호작용 흐름도이다. 도 3을 참조하면, 본 실시예는 구체적으로 카메라 컴포넌트(122)와 호스트(124) 사이의 상호작용 프로세스를 포함하는 상술한 구현 환경에서 단말기(120)에 적용될 수 있다. 본 실시예는 다음 단계들을 포함한다.
301. 단말기의 카메라 컴포넌트는 센서에 기초하여 얼굴 데이터 스트림을 획득하고, 센서에 의해 얼굴 데이터 스트림을 제1 프로세서에 전송한다.
단말기는 얼굴 이미지 전송을 수행하도록 구성된다. 단말기는 카메라 컴포넌트와 호스트를 포함할 수 있다. 카메라 컴포넌트는 TEE에서 실행되고, 호스트는 REE에서 실행된다. 선택적으로, 카메라 컴포넌트는 3D 카메라 컴포넌트일 수 있으며, 이에 따라, 카메라 컴포넌트는 획득된 이미지에서 각각의 픽셀과 카메라 사이의 거리에 대한 정보를 검출하여 현재 획득된 얼굴 이미지에 대응하는 사용자가 생체인지를 결정함으로써, 현재 획득된 얼굴 이미지에 해당하는 사용자가 생체인지가 결정하여 수치 전달에 대한 다른 사람의 자금을 훔치기 위해 아이덴티티 검증을 수행하는 공격자들이 다른 사람의 사진들을 사용하는 것을 방지할 수 있다.
일부 실시예들에서, 카메라 컴포넌트는 센서, 제1 프로세서, 및 메모리를 포함할 수 있다. 메모리는 상술한 구현 환경에서 보안 모듈이다. 메모리는 TEE 요소 또는 SE 중 적어도 하나이다. 메모리는 제1 프로세서에 내장되거나, 또는 제1 프로세서와 독립적일 수 있다. 메모리가 제1 프로세서에 내장되는지는 본 출원의 실시예들에서 특별히 제한되지 않는다. 선택적으로, 메모리는 타깃 키와 타깃 웹 어드레스를 저장하도록 구성된다. 타깃 웹 어드레스는 얼굴 이미지 식별을 요청하기 위해 사용되는 웹 어드레스를 지칭한다. 타깃 키는 얼굴 이미지의 암호화 키를 지칭한다. 타깃 키는 카메라 컴포넌트가 공장에서 출고될 때 TEE 요소 또는 SE 칩에 버닝될 수 있다.
일부 실시예들에서, 호스트는 제2 프로세서를 포함할 수 있고, 제2 프로세서는 REE에서 실행된다. 제1 프로세서는 TEE에서 실행되기 때문에 제1 프로세서와 제2 프로세서는 물리적 실행 환경에서 데이터 분리를 달성할 수 있다. 제1 프로세서는 분리 및 신뢰할 수 있는 TEE 환경에서 얼굴 데이터 스트림을 저장, 처리, 및 보호한다. 선택적으로, 데이터는 IPC 메커니즘에 기초하여 제1 프로세서와 제2 프로세서 사이에서 전송될 수 있다.
단계(301)에서, 호스트의 제2 프로세서는 단말기 운영 체제를 실행할 수 있고, 단말기 운영 체제는 IPC 메커니즘에 기초하여 카메라 컴포넌트에 획득 명령을 전달하고, 카메라 컴포넌트는 획득 명령에 응답하여 촬영 프로세스(shooting process)를 생성하며, 촬영 프로세스는 카메라 컴포넌트의 센서를 호출하여 얼굴 데이터 스트림을 획득할 수 있고, 얼굴 데이터 스트림은 적어도 하나의 얼굴 이미지를 포함할 수 있으며, 센서는 획득된 얼굴 데이터 스트림을 실시간으로 제1 프로세서에 전송하여, 다음 단계(302)를 수행한다.
일부 실시예들에서, 다른 유형의 센서들은 다른 유형의 얼굴 이미지들을 획득할 수 있다. 예를 들어, 적외선 이미지 센서에 의해 획득된 얼굴 이미지는 적외선 이미지이고, 깊이 이미지 센서에 의해 획득된 얼굴 이미지는 깊이 이미지이며, 컬러 이미지 센서에 의해 획득된 얼굴 이미지는 컬러 이미지이다. 센서 및 얼굴 이미지의 유형은 본 출원의 실시예에서 특별히 제한되지 않는다.
302. 단말기의 카메라 컴포넌트는 적어도 하나의 마스킹된 이미지를 획득하기 위해 제1 프로세서에 의해 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 마스킹을 수행한다.
데이터 난독화(data obfuscation), 데이터 박탈(data deprivation), 또는 데이터 변형(data deformation)의 프로세스라고도 지칭하는 얼굴 이미지의 데이터 마스킹의 상술한 프로세스는 민감한 프라이버시 데이터(privacy data)의 안정적인 보호를 달성하기 위해 마스킹 규칙에 기초한 특정 민감한 프라이버시 데이터(특히, 본 출원의 본 실시예에서 얼굴 이미지의 얼굴 부분 영역)의 변형을 지칭한다.
일부 실시예들에서, 제1 프로세서는 다음과 같은 방식들로 마스킹을 수행할 수 있다. 단말기의 카메라 컴포넌트는 제1 프로세서에 의해 적어도 하나의 얼굴 이미지에 대해 얼굴 검출을 수행하고, 적어도 하나의 얼굴 이미지에서 얼굴 부분 영역을 결정하며, 단말기의 카메라 컴포넌트는 적어도 하나의 마스킹된 이미지를 획득하기 위해 제1 프로세서에 의해 적어도 하나의 얼굴 이미지에서 얼굴 부분 영역에 대한 이미지 강화를 수행한다.
선택적으로, 이미지 강화는 그레이스케일 변환 강화(grayscale transformation enhancement), 히스토그램 강화, 이미지 평활화, 이미지 선명화, 주파수 영역 강화 또는 컬러 강화 중 적어도 하나를 포함할 수 있다. 예를 들어, 그레이스케일 변환 강화는 선형 그레이스케일 강화, 조각별 선형 그레이스케일 강화 또는 비선형 그레이스케일 강화 중 적어도 하나를 포함할 수 있고, 히스토그램 강화는 히스토그램 균등화 또는 히스토그램 사양 중 적어도 하나를 포함할 수 있고, 이미지 평활화는 평균 필터링 및 가우시안 필터링(Gaussian filtering)과 같은 선형 필터링 방법들을 포함할 수 있으며, 또한 중간값 필터링(median filtering) 및 양방향 필터링(bilateral filtering)과 같은 비선형 필터링 방법들도 포함할 수 있으며, 이미지 선명화는 로버트 연산자(Robert operator), 소벨 연산자(Sobel operator), 라플라스 연산자(Laplace operator) 및 캐니 연산자(Canny operator)와 같은 다른 컨볼루션 연산자들(convolution operators)을 사용할 수 있고, 주파수 도메인 강화는 저역 통과 필터링, 고역 통과 필터링, 대역-정지 필터링(band-stop filtering), 또는 호모몰픽 필터링(homomorphic filtering) 중 적어도 하나를 포함할 수 있으며, 컬러 강화는 진짜 컬러 강화, 가짜 컬러 강화, 또는 모조 컬러 강화(pseudo color enhancement) 중 적어도 하나를 포함할 수 있다.
상술한 프로세스에서, 제1 프로세서는 마스킹된 이미지를 획득하기 위해 얼굴 이미지의 얼굴 부분 영역을 인식함으로써 얼굴 부분 영역에 대해서만 이미지 강화(즉, 노이즈 강화)를 수행하며, 이는 마스킹 프로세스의 계산량을 줄일 수 있다. 이러한 마스킹된 이미지는 본질적으로 얼굴 이미지의 원래의 얼굴 부분 영역에 대한 데이터 변형을 수행함으로써 획득되며, 이에 따라, 마스킹된 이미지가 REE에서 실행되는 제2 프로세서에 다음에 전송될 때, 마스킹된 이미지가 얼굴 부분 영역에 대해 노이즈 강화 이후에 얼굴 이미지이며, 이에 따라, 심지어 REE에서 누출이 있더라도, 누출된 마스킹된 이미지는 얼굴 인식에 사용할 수 없고, 이에 의해, 얼굴 데이터 전송 프로세스의 보안성이 향상된다.
일부 실시예들에서, 제1 프로세서는 얼굴 이미지의 얼굴 부분 영역을 인식하지 못하지만, 얼굴 이미지 전체에 대해 이미지 강화를 수행하여 마스킹된 이미지을 획득함으로써 마스킹 프로세스을 단순화할 수 있다.
303. 단말기의 카메라 컴포넌트는 적어도 하나의 마스킹된 이미지를 제1 프로세서에 의해 단말기의 제2 프로세서에 전송하고, 제2 프로세서는 REE에서 실행된다.
제2 프로세서는 단말기의 호스트 측에 배치된다. 호스트가 REE에서 실행되기 때문에, 제2 프로세서는 또한 REE에서 실행된다.
상술한 프로세스에서, 제1 프로세서는 IPC 메커니즘에 기초하여 적어도 하나의 마스킹된 이미지를 제2 프로세서에 전송할 수 있다. 예를 들어, 제1 프로세서는 적어도 하나의 마스킹된 이미지를 로컬 소켓 인터페이스를 통해 제2 프로세서에 전송할 수 있다. 물론, 마스킹된 이미지는 대안적으로 메시지 큐(message queue)들, 공유 메모리, 유닉스 도메인 프로토콜(Unix domain protocol)들 또는 파이프들을 통해 제1 프로세서와 제2 프로세서 사이에서 전송될 수 있다. 마스킹된 이미지의 전송 방식은 본 출원의 실시예들에서 특별히 제한되지 않는다.
304. 단말기의 호스트는 제2 프로세서에 의해 단말기에 적어도 하나의 마스킹된 이미지를 디스플레이한다.
상술한 프로세스에서, 단말기의 호스트는, 제1 프로세서에 의해 전송된 적어도 하나의 마스킹된 이미지를 제2 프로세서를 통해 수신한 후에, 그래픽 처리 장치(GPU)를 호출하여 적어도 하나의 마스킹된 이미지를 렌더링하여 적어도 하나의 마스킹된 이미지를 단말기의 디스플레이 스크린에 디스플레이하고, 이에 의해, 사용자가 디스플레이 스크린에서 마스킹된 이미지를 용이하게 미리 볼 수 있게 한다. 이 경우에, 비록 호스트 측은 여전히 큰 보안 위험이 있지만, 호스트 측에서는 마스킹된 이미지만 획득하고 얼굴 이미지의 민감한 프라이버시 데이터가 이미지 노이즈 강화를 통해 마스킹된 이미지에서 보호되기 때문에, 심지어 공격자가 네트워크 공격을 개시하여 호스트 측에 저장된 마스킹된 이미지를 인터셉트하더라도, 여전히 부정한 방식(fraudulent manner)으로 얼굴 인식을 수행할 수 없고, 이에 의해, 얼굴 데이터 전송 프로세스의 보안성을 향상시킬 수 있다.
305. 단말기의 카메라 컴포넌트는 제1 프로세서에 의해 적어도 하나의 얼굴 이미지에 대해 생체 검출을 수행하고, 검출 결과가 생체인 각각의 얼굴 이미지를 적어도 하나의 제1 얼굴 이미지로 결정한다.
상술한 프로세스에서, 제1 프로세서는 생체 검출 알고리즘을 저장할 수 있고, 따라서 생체 검출 알고리즘에 기초하여 적어도 하나의 얼굴 이미지에 대해 생체 검출을 수행하고, 적어도 하나의 얼굴 이미지의 검출 결과를 결정하고, 검출 결과가 생체인 각각의 얼굴 이미지를 적어도 하나의 제1 얼굴 이미지로 결정할 수 있다.
일부 실시예들에서, 각각의 얼굴 이미지가 깊이 이미지인 경우에, 제1 프로세서는 깊이 이미지에서 각각의 픽셀과 카메라 사이의 거리에 대한 정보를 판독할 수 있다. 거리 정보의 차이가 타깃 문턱치(target threshold)의 미만이면, 얼굴 이미지가 사진인 것을 나타내고, 생체가 아닌 검출 결과가 출력된다. 그렇지 않으면, 얼굴 이미지가 사진이 아닌 것을 나타내고, 생체인 검출 결과가 출력된다.
일부 실시예들에서, 제1 프로세서는 생체 검출 모델을 저장할 수 있고, 적어도 하나의 얼굴 이미지는 생체 검출 모델에 입력되고, 컨볼루션 처리는 생체 검출 모델을 통해 적어도 하나의 얼굴 이미지에 대해 수행되고, 적어도 하나의 얼굴 이미지의 검출 결과는 출력된다. 선택적으로, 생체 검출 모델은 컨볼류션 뉴런 네트워크(Convolutional Neural Networks, CNN)들 및 딥 뉴런 네트워크(Deep Neural Network, DNN)들과 같은 이진 분류 모델(binary classification model)일 수 있다. 생체 검출 모델의 유형들은 본 출원의 실시예들에서 특별히 제한되지 않는다.
일부 실시예들에서, 생체 검출 알고리즘은 추가로 동적 생체 검출, 정적 생체 검출, 적외선 생체 검출 또는 광학 흐름 중 적어도 하나를 포함할 수 있다. 생체 검출 알고리즘의 유형들은 본 출원의 실시예들에서 특별히 제한되지 않는다.
상술한 프로세스에서, 생체 검출은 제1 프로세서에 의해 얼굴 데이터 스트림에서 각각의 얼굴 이미지에 대해 수행되고, 검출 결과가 생체인 제1 얼굴 이미지를 스크리닝하기 위해 얼굴 데이터 스트림에 대해 1차 스크리닝이 수행될 수 있으며, 이는 위조된 사진들의 얼굴 공격에 저항할 수 있고 얼굴 데이터 전송 프로세스의 보안성을 향상시킬 수 있다.
일부 실시예들에서, 카메라 컴포넌트는 적어도 하나의 제1 얼굴 이미지를 적어도 하나의 타깃 얼굴 이미지로 직접 결정할 수 있는데, 즉, 검출 결과가 생체인 각각의 얼굴 이미지를 적어도 하나의 타깃 얼굴 이미지로 결정할 수 있으며, 이에 의해, 이미지 스크리닝 프로세스를 단순화할 수 있고, 이미지 스크리닝 프로세스에서 계산량을 줄일 수 있다.
일부 실시예들에서, 다음 단계들(306 및 307)을 참조하여, 품질 평가에 기초한 적어도 하나의 제1 얼굴 이미지에 대해 2차 스크리닝이 추가로 수행되어 적어도 하나의 타깃 얼굴 이미지를 획득하며, 이에 따라, 더욱 심층적인 이미지 스크리닝이 얼굴 데이터 스트림에 대해 수행될 수 있어 일부 낮은 품질의 얼굴 이미지들을 서버에 전송하는 것을 방지하고 데이터 전송 프로세스에서 시스템 대역폭을 낭비하는 것을 방지할 수 있다.
306. 단말기의 카메라 컴포넌트는 적어도 하나의 제1 얼굴 이미지의 품질 점수를 획득하기 위해 제1 프로세서에 의해 적어도 하나의 제1 얼굴 이미지에 대해 품질 평가를 수행한다.
상술한 프로세스에서, 제1 프로세서는 품질 평가 알고리즘을 저장할 수 있고, 따라서 품질 평가 알고리즘에 기초하여 적어도 하나의 제1 얼굴 이미지에 대해 품질 평가를 수행하여 적어도 하나의 제1 얼굴 이미지의 품질 점수를 획득할 수 있다.
일부 실시예들에서, 제1 프로세서는 이미지의 품질 점수를 평가하기 위해 구조적 유사성 지수(structural similarity index, SSIM) 또는 피크 신호 대 잡음비(peak signal to noise ratio, PSNR)와 같은 객관적인 지표들을 사용할 수 있으며, 이에 따라, 각각의 제1 얼굴 이미지의 품질 점수는 편리하고 빠르게 획득될 수 있다.
일부 실시예들에서, 제1 프로세서는 품질 평가 모델을 저장할 수 있고, 적어도 하나의 제1 얼굴 이미지는 품질 평가 모델에 입력되고, 품질 평가 모델을 통해 적어도 하나의 제1 얼굴 이미지에 대해 컨볼루션 처리가 수행되고, 적어도 하나의 제1 얼굴 이미지의 품질 점수가 출력된다. 선택적으로, 품질 평가 모델은 지원 벡터 머신(support vector machine, SVM), 지원 벡터 회귀(support vector regression, SVR), SVM+SVR 모델, CNN, 또는 DNN일 수 있다. 품질 평가 모델의 유형들은 본 출원의 실시예들에서 특별히 제한되지 않는다.
상술한 프로세스에서, 품질 평가는 제1 프로세서에 의해 1차 스크리닝 이후에 각각의 제1 얼굴 이미지에 대해 수행되고, 각각의 제2 얼굴 이미지에 대해 2차 스크리닝이 수행될 수 있으며, 이에 따라, 품질 점수가 점수 문턱치보다 큰 각각의 제1 얼굴 이미지는 다음 단계(307)에서 적어도 하나의 타깃 얼굴 이미지로 결정될 수 있으며, 이에 의해, 일부 저품질 얼굴 이미지들을 서버에 전송하는 것을 방지하고, 데이터 전송 프로세스에서 시스템 대역폭을 낭비하는 것을 방지할 수 있다.
일부 실시예들에서, 카메라 컴포넌트는 단계(305)를 수행하지 않지만 단계(304)를 수행한 후에 적어도 하나의 얼굴 이미지에 대해 품질 평가를 직접 수행하여 적어도 하나의 얼굴 이미지의 품질 점수를 획득하고, 품질 점수가 점수 문턱치보다 큰 각각의 얼굴 이미지를 적어도 하나의 타깃 얼굴 이미지로 결정할 수 있으며, 이에 의해, 이미지 스크리닝 프로세스를 단순화하고 이미지 스크리닝 프로세스에서 계산량을 줄일 수 있다.
307. 단말기의 카메라 컴포넌트는 품질 점수가 점수 문턱치보다 큰 각각의 제1 얼굴 이미지를 제1 프로세서에 의해 적어도 하나의 타깃 얼굴 이미지로 결정한다.
점수 문턱치는 0보다 크거나 같은 임의의 수치이다.
일부 실시예들에서, 제1 프로세서는 제1 얼굴 이미지들을 품질 점수의 내림차순으로 정렬하고, 전방 타깃 포지션에서 제1 얼굴 이미지를 타깃 얼굴 이미지로 결정할 수 있으며, 이에 따라, 매번 전송되는 타깃 얼굴 이미지들의 수량은 유연하게 제어될 수 있다. 타깃 포지션은 1보다 크거나 같은 임의의 정수이다.
일부 실시예들에서, 제1 프로세서는 제1 얼굴 이미지들을 품질 점수의 내림차순으로 정렬하고, 전방 타깃 비율로 제1 얼굴 이미지를 타깃 얼굴 이미지로 결정할 수 있으며, 이에 따라, 매번 전송되는 타깃 얼굴 이미지들의 비율은 유연하게 제어될 수 있다. 타깃 비율은 0보다 크거나 같고 1보다 작거나 같은 임의의 수치이다.
상술한 프로세스에서, 문턱치 스크리닝 전략에 기초하여, 제1 프로세서는 타깃 얼굴 이미지가 생체인 검출 결과를 갖는 얼굴 이미지뿐만 아니라, 점수 문턱치보다 높은 품질 점수를 갖는 얼굴 이미지인 것을 보장한다. 이는 낮은 품질 점수를 갖는 일부 얼굴 이미지들이 일반적으로 높은 흐릿함(blurriness)을 갖는 얼굴 이미지이기 때문이다. 이들 얼굴 이미지는 얼굴 인식에 사용될 수 없다. 따라서, 품질 점수가 낮은 이들 얼굴 이미지를 필터링하면 데이터 전송 프로세스에서 시스템 대역폭을 절약할 수 있다.
일부 실시예들에서, 제1 프로세서는 먼저 각각의 얼굴 이미지에 대해 품질 평가를 수행하여 품질 점수가 점수 문턱치보다 큰 적어도 하나의 제1 얼굴 이미지를 획득하고, 다음에, 검출 결과가 생체인 적어도 하나의 타깃 얼굴을 획득하기 위해 적어도 하나의 제1 얼굴 이미지에 대해 생체 검출을 수행할 수 있다. 품질 평가 및 생체 검출의 수행 순서는 본 출원의 실시예들에서 특별히 제한되지 않는다. 대안적으로, 상술한 것처럼, 제1 프로세서는 2차 스크리닝 없이 생체 검출만 수행하거나 품질 평가만 수행할 수 있으며, 이에 의해, 이미지 스크리닝 프로세스에서 계산량을 줄일 수 있다.
단계들(305 내지 307)에서, 이미지 스크리닝은 제1 프로세서에 의해 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 수행되어 적어도 하나의 타깃 얼굴 이미지를 획득하는데, 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족한다. 타깃 조건은, 각각의 타깃 얼굴 이미지에 대해, 검출 결과가 생체이고 품질 점수가 점수 문턱치보다 클 수 있거나, 또는 타깃 조건은 각각의 타깃 얼굴 이미지의 검출 결과가 생체(이 경우, 생체 검출만 수행됨)이건, 또는 타깃 조건은 각각의 타깃 얼굴 이미지의 품질 점수가 점수 문턱치보다 큰 것(이 경우, 품질 평가만 수행됨)일 수 있다.
308. 단말기의 카메라 컴포넌트는 제1 프로세서에 의해 메모리로부터 타깃 웹 어드레스 및 타깃 키를 판독한다.
상술한 프로세스에서, 메모리는 또한 보안 모듈이고, 메모리는 TEE 요소 또는 SE 중 적어도 하나이고 타깃 웹 어드레스와 타깃 키를 저장하도록 구성된다. 타깃 웹 어드레스는 얼굴 이미지 식별을 요청하기 위해 사용되는 웹 어드레스를 지칭한다. 예를 들어, 타깃 웹 어드레스는 유니폼 리소스 로케이터(Uniform Resource Locator, URL)이다. 타깃 키는 얼굴 이미지의 암호화 키를 지칭한다.
타깃 키는 상이한 암호화 알고리즘에 따라 상이한 유형들을 가질 수 있다. 암호화 알고리즘이 대칭형 암호화 알고리즘인 경우에, 서버 측에 저장된 복호화 키는 타깃 키와 동일하며, 암호화 알고리즘과 복호화 알고리즘 모두는 암호화 또는 복호화를 위해 타깃 키를 사용한다. 예를 들어, 타깃 키는 고급 암호화 표준(Advanced Encryption Standard, AES) 키일 수 있다.
일부 실시예들에서, 암호화 알고리즘이 비대칭 암호화 알고리즘일 때, 타깃 키는 일반적으로 카메라 컴포넌트의 공개 키와 카메라 컴포넌트의 개인 키를 포함한다. 단말기의 카메라 컴포넌트와 서버 사이의 데이터 전송 프로세스에서, 카메라 컴포넌트와 서버는 각각의 공개 키들을 교환한다. 카메라 컴포넌트는 또한 서버에 의해 제공된 공개 키를 메모리에 저장하며, 이에 따라, 후속 데이터가 서버에 전송될 때, 암호화는 서버에 의해 제공된 공개 키를 사용하여 실행되고, 서버는 자신의 개인 키에 기초하여 복호화를 수행할 수 있다. 마찬가지로, 서버가 카메라 컴포넌트에 데이터를 리턴할 때, 암호화는 카메라 컴포넌트의 공개 키를 사용하여 수행되고, 카메라 컴포넌트는 자신의 개인 키에 기초하여 복호화를 수행할 수 있다. 타깃 키의 유형들은 본 출원의 실시예들에서 특별히 제한되지 않는다.
309. 단말기의 카메라 컴포넌트는 얼굴 이미지 암호문을 획득하기 위해 제1 프로세서에 의해 암호화 알고리즘 및 타깃 키에 기초하여 적어도 하나의 타깃 얼굴 이미지를 암호화한다.
상술한 프로세스에서, 제1 프로세서에 의해 사용된 암호화 알고리즘은 암호화 기능일 수 있다. 제1 프로세서는 타깃 키 및 적어도 하나의 타깃 얼굴 이미지를 암호화 기능의 입력으로 사용하여 암호화 기능의 출력을 얼굴 이미지 암호문으로 결정한다.
일부 실시예들에서, 제1 프로세서는 먼저 적어도 하나의 타깃 얼굴 이미지를 압축하여 압축된 메시지를 획득할 수 있으며, 이에 따라, 타깃 키 및 압축된 메시지는 암호화 기능의 입력으로 사용하여 암호화 기능의 출력을 얼굴 이미지 암호문으로 결정할 수 있다.
상술한 프로세스에서, 각각의 타깃 얼굴 이미지는 제1 프로세서에 의해 암호화된다. 한편, 타깃 키는 TEE 요소 또는 SE에 저장되며, 이에 따라, 타깃 키의 보안성은 보장될 수 있으며, 타깃 키의 도용으로 인한 얼굴 이미지가 인터셉트되는 것을 방지할 수 있다. 다른 한편으로, 제1 프로세서는 TEE에서 실행되고, 적은 양의 코드와 높은 보안성을 갖고 폐쇄(REE와 분리됨)된 실행 환경은 얼굴 이미지 전송 프로세스의 보안성을 더욱 향상시킬 수 있다.
310. 단말기의 카메라 컴포넌트는 적어도 하나의 타깃 얼굴 이미지를 운반하는 얼굴 이미지 암호문을 제1 프로세서에 의해 타깃 웹 어드레스에 전송한다.
단계들(308 내지 310)에서, 적어도 하나의 타깃 얼굴 이미지는 제1 프로세서에 의해 타깃 웹 어드레스에 전송된다. 제1 프로세서가 TEE에서 실행되기 때문에, 타깃 얼굴 이미지의 전송은 REE 하드웨어 리소스들(예를 들어, 제2 프로세서)를 통과할 필요가 없으며, 열악한 REE 보안으로 인해 타깃 얼굴 이미지가 도용되는 문제를 방지하고, 얼굴 이미지 전송 프로세스의 보안성을 개선시킬 수 있다.
일부 실시예들에서, 얼굴 이미지 암호문을 수신한 이후에, 서버는 얼굴 이미지 암호문을 복호화하여 적어도 하나의 타깃 얼굴 이미지를 획득하고, 다음에, 적어도 하나의 타깃 얼굴 이미지에 대해 유효성 검증을 수행할 수 있다.
검증이 성공적인 때, 서버는 적어도 하나의 얼굴 이미지 식별을 단말기의 카메라 컴포넌트의 제1 프로세서에 전송하고, 단말기는 제1 프로세서에 의해 적어도 하나의 얼굴 이미지 식별을 수신한다. 하나의 얼굴 이미지 식별은 적어도 하나의 타깃 얼굴 이미지에서 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용된다. 단말기는 적어도 하나의 얼굴 이미지 식별을 제1 프로세서에 의해 단말기의 제2 프로세서에 전송한다. 단말기는 사용자 식별 및 적어도 하나의 얼굴 이미지 식별을 제2 프로세서에 의해 서버에 전송하며, 이에 따라, 서버는 사용자 식별 및 적어도 하나의 얼굴 이미지 식별에 기초하여 후속 서비스 조작들을 수행할 수 있다. 구체적인 프로세스는 다음의 실시예에서 상세히 설명하고, 여기서 상세 사항은 설명하지 않는다.
상술한 선택적인 기술적 솔루션들의 임의의 조합은 본 출원의 선택적인 실시예를 형성하기 위해 사용될 수 있다. 여기서 상세 사항은 다시 설명하지 않는다.
본 출원의 본 실시예에 의해 제공되는 방법에서, 센서, 제1 프로세서, 및 메모리는 단말기의 카메라 컴포넌트에 배치된다. 메모리는 TEE 요소 또는 SE 중 적어도 하나이다. 센서에 기초하여 얼굴 데이터 스트림이 획득된다. 얼굴 데이터 스트림은 센서에 의해 제1 프로세서에 전송된다. 이미지 스크리닝은 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 제1 프로세서에 의해 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 수행된다. 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족한다. 타깃 웹 어드레스는 제1 프로세서가 메모리로부터 판독된다. 적어도 하나의 타깃 얼굴 이미지는 제1 프로세서에 의해 타깃 웹 어드레스에 전송된다. 메모리가 TEE 요소 또는 SE 중 하나이므로, 카메라 컴포넌트는 TEE에서 실행되며, 이에 따라, 타깃 얼굴 이미지의 전송은 REE 하드웨어 리소스들을 통과할 필요가 없고, 열악한 REE 보안성으로 인한 타깃 얼굴이 도용되는 문제를 피할 수 있고, 얼굴 이미지 전송 프로세스의 보안성을 향상시킬 수 있다.
상술한 실시예에 의해 제공되는 얼굴 이미지 전송 방법은 카메라 컴포넌트가 REE에서 실행되고 카메라 컴포넌트가 호스트 측의 REE 하드웨어 리소스들을 통과하지 않고 제1 프로세서에 의해 얼굴 이미지 전송을 직접 수행하는 것을 보장할 수 있다. 각각의 사용자는 단말기의 호스트에 대한 하드웨어 업그레이드 또는 시스템 변환을 수행할 필요가 없고, 호스트 구성을 위한 필수 요구사항은 없다. 각각의 사용자는 얼굴 데이터 소스의 보안을 보장하기 위해 본 출원의 본 실시예에서 제공되는 카메라 컴포넌트를 단지 액세스할 필요가 있으며, 이는 얼굴 데이터 소스의 보안성을 보장하고 얼굴 데이터 소스의 보안성을 유지하기 위한 어려움을 크게 줄이며, 높은 휴대성 및 사용성을 갖는다. 얼굴 이미지 전송 방법은 얼굴 이미지들에 의존하는 다양한 서비스 시나리오들에 적용될 수 있다. 본 출원의 실시예에서, 얼굴 이미지에 기초하여 아이덴티티 검증을 수행하여 수치 전달 서비스를 완료하는 프로세스는 한 예로 사용된다. 이러한 프로세서는 얼굴 결제 시나리오 또는 얼굴 인식 결제 시나리오라고 지칭될 수 있으며, 이에 대해서는 아래에 상세히 설명한다.
도 4는 본 출원의 실시예에 따른 수치 전달 방법의 상호작용 흐름도이다. 도 4를 참조하면, 본 실시예는 상술한 구현 환경에서 단말기(120)와 서버(140) 사이의 상호작용 프로세스에 적용된다. 본 실시예는 다음 단계들을 포함한다.
401. 수치 전달 옵션에 대한 사용자의 트리거 조작을 검출할 때, 단말기는 얼굴 데이터 스트림을 획득하기 위해 카메라 컴포넌트를 호출한다.
상술한 프로세스에서, 단말기는 카메라 컴포넌트 및 호스트를 포함하고, 카메라 컴포넌트는 센서, 제1 프로세서 및 메모리를 포함하며, 메모리는 TEE 요소 및 SE 중 적어도 하나이고, 카메라 컴포넌트는 TEE에서 실행되며, 호스트는 제2 프로세서를 포함하고 호스트는 REE에서 실행된다. 단말기는 사용자의 개인 단말기일 수도 있거나, 또는 타깃 사용자가 위치한 매장에 설치된 '얼굴 인식 결제 단말기'일 수도 있다. 얼굴 인식 결제 단말기는 카메라를 내장하고 사용자의 얼굴 이미지를 획득하여 결제할 수 있는 전자 디바이스를 지칭한다. 단말기의 디바이스 유형들은 본 출원의 실시예들에서 제한되지 않는다.
사용자와 타깃 사용자는 수치 전달의 특정 프로세스에서 서로 다른 아이덴티티들을 가진 사용자들을 위한 단지 구별된 이름들이다. 일부 수치 전달 프로세스들에서, 특정 사용자는 사용자 및 타깃 사용자 모두일 수 있는데, 즉, 사용자는 자신이 둘 모두를 소유한 한 계정에서 다른 계정으로 수치를 전달한다. 물론, 특정 사용자는 수치 전달 프로세스에서 사용자일 수 있고, 다른 수치 전달 프로세스에서 타깃 사용자일 수 있다.
단계(401)에서, 수치 전달이 수행될 필요가 있을 때, 사용자는 디스플레이 스크린에 결제 인터페이스를 표시하기 위해 단말기를 트리거한다. 결제 인터페이스는 수치 전달 정보 및 수치 전달 옵션을 포함할 수 있다. 수치 전달 정보를 확인한 후에, 사용자는 수치 전달 옵션에 대한 트리거 조작을 수행할 수 있다. 수치 전달 옵션에 대한 사용자의 트리거 조작이 검출될 때, 단말기의 호스트의 제2 프로세서가 단말기 운영 체제를 실행하기 때문에, 단말기 운영 체제는 IPC 메커니즘에 기초하여 카메라 컴포넌트에 획득 명령을 전달할 수 있고, 카메라 컴포넌트는 획득 명령에 응답하여 촬영 프로세스를 생성하고, 촬영 프로세스는 얼굴 데이터 스트림을 획득하기 위해 카메라 컴포넌트의 센서를 호출할 수 있다.
선택적으로, 수치 전달 정보는 적어도 사용자 식별, 타깃 사용자 식별, 및 전달될 수치를 포함할 수 있다. 물론, 수치 전달 정보는 추가로 거래 항목 정보, 할인 정보, 거래 타임스탬프(transaction timestamp) 등을 포함할 수 있다.
402. 단말기는 적어도 하나의 마스킹된 이미지를 획득하기 위해 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 마스킹을 수행하고, 적어도 하나의 마스킹된 이미지를 디스플레이한다.
단계(402)는 단계들(302 내지 304)과 유사하다. 여기서 상세 사항은 다시 설명하지 않는다.
403. 단말기는 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝을 수행하고, 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족한다.
단계(403)는 단계들(305 내지 307)과 유사하다. 여기서 상세 사항은 다시 설명하지 않는다.
404. 단말기는 검증 요청을 생성하고, 카메라 컴포넌트에 의해 서버에 검증 요청을 전송하며, 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반한다.
단말기는, 압축 메시지를 획득하기 위해 적어도 하나의 타깃 얼굴 이미지를 압축하고, 얼굴 이미지 암호문을 획득하기 위해 암호화 알고리즘 및 타깃 키에 기초하여 압축된 메시지를 암호화하고, 검증 요청을 획득하기 위해 전송 프로토콜에 기초하여 얼굴 이미지 암호문을 캡슐화한다. 선택적으로, 전송 프로토콜은 인터넷 프로토콜(Internet Protocol, IP), 전송 제어 프로토콜(transmission control protocol, TCP), 또는 사용자 데이터그램 프로토콜(user datagram protocol, UDP) 중 적어도 하나를 포함할 수 있다. 전송 프로토콜의 유형들은 본 출원의 실시예들에서 제한되지 않는다.
타깃 웹 어드레스는 서버의 IP 어드레스이다. 타깃 키는 단말기와 서버 사이에 합의된 키이다. 타깃 웹 어드레스와 타깃 키는 모두 카메라 컴포넌트의 메모리(보안 모듈)에 저장된다.
단계(404)는 단계들(308 내지 310)과 유사하다. 여기서 상세 사항은 다시 설명하지 않는다.
405. 서버는 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 검증 요청을 수신 및 분석한다.
상술한 프로세스에서, 서버는, 검증 요청을 수신한 후에, 얼굴 이미지 암호문을 획득하기 위해 검증 요청을 분석하고, 압축된 메시지를 획득하기 위해 복호화 알고리즘 및 복호화 키에 기초하여 얼굴 이미지 암호문을 복호화하며, 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 압축된 메시지를 압축 해제할 수 있다.
복호화 키는 상이한 복호화 알고리즘에 따라 상이한 유형들을 가질 수 있다. 암호화 알고리즘이 대칭형 암호화 알고리즘인 경우에, 서버 측에 저장된 복호화 키는 단말기 측에 있는 타깃 키와 동일하며, 암호화 알고리즘과 복호화 알고리즘은 모두 동일한 키를 암호화 또는 복호화에 사용한다. 예를 들어, 복호화 키(또는 타깃 키)는 AES 키일 수 있다.
일부 실시예들에서, 암호화 알고리즘이 비대칭 암호화 알고리즘일 때, 복호화 키는 일반적으로 서버의 공개 키와 서버의 개인 키를 포함한다. 단말기와 서버 사이의 데이터 전송 프로세스에서, 단말기는 카메라 컴포넌트에 의해 서버와 공개 키들을 교환한다. 서버는 카메라 컴포넌트에 의해 제공된 공개 키를 저장하며, 이에 따라, 단말기는 서버의 공개 키를 사용하여 검증 요청을 암호화할 수 있고, 서버는 자신의 개인 키를 사용하여 검증 요청을 복호화한다. 또한, 서버가 검증 성공 응답을 단말기에 리턴할 필요가 있을 때, 서버는 카메라 컴포넌트에 의해 제공된 공개 키를 사용하여 검증 성공 응답을 암호화할 수 있고, 단말기는 자신의 개인 키를 사용하여 검증 성공 응답을 복호화할 수 있다. 타깃 키의 유형들은 본 출원의 실시예들에서 제한되지 않는다.
406. 서버는 적어도 하나의 타깃 얼굴 이미지에 대해 유효성 검증을 수행한다.
일부 실시예들에서, 유효성 검증 프로세스에서, 서버는 적어도 하나의 타깃 얼굴 이미지의 촬영 타임스탬프와 현재 시간 사이의 각각의 차이가 시간 차이 문턱치보다 크거나 같은지를 검증할 수 있다. 각각의 차이가 시간 차이 문턱치보다 작거나 같다면, 적어도 하나의 타깃 얼굴 이미지의 검증이 성공한 것으로 결정된다. 그렇지 않으면, 적어도 하나의 타깃 얼굴 이미지가 검증에 실패한 것으로 결정되어, 적어도 하나의 타깃 얼굴 이미지에 리플레이 공격 이미지(replay attack image)가 있음을 나타낸다. 리플레이 공격 이미지는 공격자에 의해 도용된 과거의 얼굴 이미지를 지칭한다.
일부 실시예들에서, 유효성 검증 프로세스에서, 제1 프로세서는 각각의 타깃 얼굴 이미지에 블라인드 워터마크(blind watermark)를 추가할 수 있다. 블라인드 워터마크는 카메라 컴포넌트에 의해 캡처된 각각의 타깃 얼굴 이미지가 어떤 이미지인지를 고유하게 식별할 수 있다. 블라인드 워터마크는 시간이 지남에 따라 계속 증가할 수 있다. 서버는 타깃 얼굴 이미지들에서 블라인드 워터마크들이 저장된 과거의 블라인드 워터마크들보다 많은지를 검증한다. 타깃 얼굴 이미지들에서 워터마크들이 저장된 과거의 블라인드 워터마크들보다 많다면, 적어도 하나의 타깃 얼굴 이미지의 검증이 성공한 것으로 결정한다. 그렇지 않으면, 적어도 하나의 타깃 얼굴 이미지가 검증에 실패한 것으로 결정되어, 적어도 하나의 타깃 얼굴 이미지에 리플레이 공격 이미지가 있음을 나타낸다.
상술한 프로세스에서, 검증이 촬영 타임스탬프에 기초한 것인지 또는 블라인드 워터마크에 기초한 것인지, 각각의 타깃 얼굴 이미지가 리플레이 공격 이미지인지가 검증될 수 있고, 이는 얼굴 데이터 전송 프로세스의 보안성을 크게 향상시킬 수 있고, 얼굴 이미지 전송에 기초한 수치 전달 프로세스의 보안성을 보장할 수 있다.
407. 검증이 성공적인 때, 서버는 적어도 하나의 타깃 얼굴 이미지를 저장하고 검증 성공 응답을 단말기에 전송하며, 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반한다.
하나의 얼굴 이미지 식별은 적어도 하나의 타깃 얼굴 이미지에서 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용된다.
상술한 프로세스에서, 유효성 검증이 성공적인 때, 서버는 각각의 타깃 얼굴 이미지에 얼굴 이미지 식별을 할당할 수 있다. 얼굴 이미지 식별은 "FACE_KEY"로 지칭될 수 있다. 얼굴 이미지 식별은 저장된 타깃 얼굴 이미지를 고유하게 결정할 수 있다.
408. 서버에 의한 검증 요청의 검증이 성공적인 때, 단말기는 카메라 컴포넌트에 의해 검증 성공 응답을 수신하고 적어도 하나의 얼굴 이미지 식별을 획득하기 위해 검증 성공 응답을 분석한다.
선택적으로, 서버는 검증 성공 응답을 암호화할 수 있고, 단말기는 적어도 하나의 얼굴 이미지 식별을 획득하기 위해 검증 성공 응답을 복호화할 수 있는데, 이는 얼굴 이미지 식별 전송 프로세스의 보안성을 보장하고 얼굴 이미지 전송에 기초한 수치 전달 프로세스의 보안성을 보장할 수 있다.
상술한 프로세서에서, 암호화 알고리즘이 대칭형 암호화 알고리즘일 때, 사용되는 암호화 키는 단말기의 카메라 컴포넌트에 저장된 타깃 키와 동일하고, 암호화 알고리즘이 비대칭형 암호화 알고리즘일 때, 사용되는 암호화 키는 카메라 컴포넌트와 교환하여 획득된 카메라 컴포넌트의 공개 키일 수 있다.
409. 단말기는 카메라 컴포넌트에 의해 적어도 하나의 얼굴 이미지 식별을 호스트에 전송한다.
상술한 프로세스에서, 카메라 컴포넌트는 IPC 메커니즘에 기초하여 적어도 하나의 얼굴 이미지 식별을 호스트에 전송할 수 있다. IPC 메커니즘은 로컬 소켓 인터페이스, 메시지 큐, 공유 메모리, 유닉스 도메인 프로토콜, 파이프 중 적어도 하나를 포함할 수 있다. 얼굴 이미지 식별의 전송 방식은 본 출원의 실시예들에서 특별히 제한되지 않는다.
410. 단말기는 호스트에 의해 수치 전달 요청을 서버에 전송하는데, 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반한다.
선택적으로, 사용자 식별은 하나의 사용자를 고유하게 식별하기 위해 사용되며, 사용자 식별은 사용자 휴대 전화번호, ID 번호, 식별 코드, 또는 이메일 어드레스 중 적어도 하나일 수 있다.
상술한 프로세스에서, 호스트는 REE에서 실행된다. REE의 취약한 보안으로 인해, 호스트는 타깃 얼굴 이미지를 서버에 전송할 필요가 없지만, 얼굴 이미지 식별(FACE_KEY)을 서버에 전송한다. 이 경우에, 심지어 얼굴 이미지 식별이 도용되더라도, 타깃 얼굴 이미지는 대체될 수 없으며, 다른 사람들의 자금은 얼굴 리플레이 공격에 기초하여 도용할 수 없다. 또한, 서버는 수치 전달 요청에 기초하여 수치 전달 조작을 수행하며, 이는 수치 전달 프로세스의 보안성을 보장한다.
411. 서버는 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 획득하기 위해 수치 전달 요청을 수신 및 분석한다.
단계(411)는 단계(405)와 유사하고, 여기서 상세 사항은 다시 설명하지 않는다.
412. 서버는 적어도 하나의 얼굴 이미지 식별에 대응하는 적어도 하나의 타깃 얼굴 이미지와 사용자 식별에 대응하는 표준 이미지를 조회한다.
상술한 프로세스에서, 적어도 하나의 타깃 얼굴 이미지는 유효성 검증이 단계(407)에서 성공적으로 된 후에 저장되고, TEE에서 실행되는 카메라 컴포넌트를 통해 단말기에 의해 서버에 안전하게 전송된다. 따라서, 적어도 하나의 타깃 얼굴 이미지의 보안성은 크게 보장된다.
적어도 하나의 얼굴 이미지 식별에 따라, 서버는 적어도 하나의 얼굴 이미지 식별에 대응하는 적어도 하나의 타깃 얼굴 이미지를 신속하게 발견할 수 있다. 구체적으로, 서버는 타깃 얼굴 이미지를 키-수치 쌍(key-value pair)의 형태로 저장할 수 있다. 즉, 각각의 타깃 얼굴 이미지에 해당하는 각각의 얼굴 이미지 식별은 키 이름(FACE_KEY)으로 사용되며, 각각의 타깃 얼굴 이미지는 키 수치(FACE_VALUE)로 사용되며, 이에 따라, 적어도 하나의 얼굴 이미지 식별은 적어도 하나의 키 이름으로 사용되고, 적어도 하나의 키 이름에 대응하는 데이터베이스에 저장된 적어도 하나의 키 수치가 조회되며, 적어도 하나의 키 수치는 적어도 하나의 타깃 얼굴 이미지로서 획득된다.
마찬가지로, 서버는 사용자 식별에 따라 사용자 식별에 해당하는 표준 이미지를 빠르게 발견할 수 있다. 표준 이미지는 얼굴 유사성 비교에 사용되는 사용자 이미지를 지칭한다. 예를 들어, 표준 이미지는 사용자에 의해 업로드된 IC 카드의 사진일 수 있거나, 또는 표준 이미지는 사용자에 의해 업로드된 생활 사진, 예술 사진 등일 수 있다. 구체적으로, 서버는 표준 이미지를 키-수치 쌍의 형태로 저장할 수 있다. 즉, 각각의 사용자에 해당하는 사용자 식별은 키 이름으로 사용되고, 각각의 사용자에 해당하는 표준 이미지는 키 수치로 사용되며, 이에 따라, 키 이름에 해당하는 데이터베이스에 저장된 키 수치는 사용자 식별에 따라 키 이름으로 조회되고, 키 수치는 표준 이미지로 획득된다.
413. 서버는 인식 결과를 획득하기 위해 적어도 하나의 타깃 얼굴 이미지 및 표준 이미지에 기초하여 얼굴 인식을 수행한다.
얼굴 인식의 프로세스에서, 서버는 적어도 하나의 타깃 얼굴 이미지와 표준 이미지를 얼굴 유사성 모델에 입력할 수 있고, 얼굴 유사성 모델을 이용하여 적어도 하나의 타깃 얼굴 이미지와 표준 이미지 사이의 적어도 하나의 유사성을 별도로 예측할 수 있다. 적어도 하나의 유사성의 평균 수치가 타깃 문턱치보다 크거나 동일하다면, 얼굴 이미지의 인식 결과가 성공적인 것으로 결정하고, 다음 단계(414)가 수행된다. 그렇지 않고, 유사성이 타깃 문턱치의 미만인 경우에, 얼굴 이미지의 인식 결과는 성공적이지 않은 것으로 결정하고, 서버는 인증 실패 응답을 단말기에 전송할 수 있다. 타깃 문턱치는 0보다 큰 임의의 수치이다.
414. 인식 결과가 성공적인 때, 서버는 수치 전달 정보에 기초하여 수치 전달 조작을 수행한다.
수치 전달 정보는 사용자 식별, 타깃 사용자 식별, 및 전달될 수치를 포함할 수 있다.
인식 결과가 성공적으로 된 때, 서버는 사용자 식별에 대응하여 저장된 수치에서 타깃 사용자에 대응하여 저장된 수치로 전달될 수치를 전달할 수 있다. 선택적으로, 수치 전달이 완료될 때, 서버는 추가로 수치 전달 조작이 성공적으로 수행되었음을 단말기에 알리기 위해 전달 성공 정보를 단말기에 전송할 수 있다.
상술한 선택적인 기술적 솔루션들의 임의의 조합은 본 출원의 선택적인 실시예를 형성하기 위해 사용될 수 있다. 여기서 상세 사항은 다시 설명하지 않는다.
본 출원의 본 실시예에서 제공되는 방법에서, 검증 요청은 TEE에서 실행되는 카메라 컴포넌트에 의해 서버에 전송되고, 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반한다. 서버에 의한 검증 요청의 검증이 성공적으로 된 때, 검증 성공 응답은 카메라 컴포넌트를 통해 수신되고, 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반한다. 적어도 하나의 얼굴 이미지 식별은 카메라 컴포넌트에 의해 호스트에 전송된다. 수치 전달 요청은 호스트에 의해 서버에 전송되고, 서버는 수치 전달 요청에 기초하여 수치 전달 조작을 수행하며, 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반한다. 카메라 컴포넌트가 TEE에서 실행되기 때문에, 카메라 컴포넌트와 서버 사이의 데이터 교환은 REE 하드웨어 리소스를 통과할 필요가 없으며, 이는 카메라 컴포넌트와 서버 사이의 데이터 교환이 안전하고 신뢰할 수 있는 것을 보장한다. 얼굴 이미지 식별을 획득한 후에, 카메라 컴포넌트는 얼굴 이미지 식별을 REE에서 실행되는 호스트에 전송한다. 호스트는 얼굴 이미지 식별이 포함된 수치 전달 요청을 서버에 전송한다. 수치 전달 요청은 타깃 얼굴 이미지 대신에 얼굴 이미지 식별을 운반하기 때문에, 심지어 REE 측의 호스트가 네트워크 공격을 받더라도, 타깃 얼굴 이미지는 누출되지 않을 것이며, 이는 전체 수치 전달 프로세스의 보안성을 효과적으로 보장할 수 있다. 추가로, 카메라 컴포넌트는 또한 마스킹된 이미지, 즉 마스킹 이후의 얼굴 이미지를 호스트에 전송할 수 있다. 호스트는 마스킹된 이미지를 실시간으로 디스플레이하며, 이에 따라, 사용자는 호스트에 기초하여 마스킹된 이미지를 미리 볼 수 있다. 민감한 얼굴 부분 영역이 마스킹된 이미지에서 마스킹되었기 때문에, 심지어 호스트가 네트워크 공격을 받아 데이터가 유출되더라도, 유출된 마스킹된 이미지는 얼굴 인식에 사용될 수 없으며, 이는 공격자가 얼굴 리플레이 공격의 개시를 방지할 수 있고, 수치 전달 프로세스의 보안성을 향상시킬 수 있다.
서버 측에서는, 수치 전달 요청이 수신되고, 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반하고, 적어도 하나의 얼굴 이미지 식별에 대응하는 적어도 하나의 타깃 얼굴 이미지와 사용자 식별에 대응하는 표준 이미지가 조회되며, 얼굴 인식은 인식 결과를 획득하기 위해 적어도 하나의 타깃 얼굴 이미지 및 표준 이미지에 기초하여 수행된다. 인식 결과가 성공적인 때, 수치 전달 조작이 수치 전달 정보에 기초하여 수행된다. REE에서 실행되는 호스트로부터 서버에 의해 수신된 수치 전달 요청은 타깃 얼굴 이미지 대신에 얼굴 이미지 식별을 운반하며, 이에 따라, 심지어 통신 링크에서 네트워크 공격이 발생하더라도, 타깃 얼굴 이미지는 유출되지 않으며, 이는 전체 수치 전달 프로세스의 보안성을 효과적으로 보장할 수 있다. 또한, 서버가 적어도 하나의 타깃 얼굴 이미지가 포함된 검증 요청을 수신할 때, 검증 요청이 성공적인 때, 얼굴 이미지 식별은 각각의 타깃 얼굴 이미지에 할당되고, 각각의 타깃 얼굴 이미지와 각각의 얼굴 이미지 식별은 대응적으로 저장되며, 이는 수치 전달 요청이 다음에 수신될 때 해당하는 저장 관계에 따라 해당하는 타깃 얼굴 이미지를 질의하여, 타깃 얼굴 이미지를 조회하는 프로세스를 용이하게 하고, 타깃 얼굴 이미지를 조회하는 효율성을 향상시킬 수 있다.
예시적인 시나리오에서, 도 5는 본 출원의 실시예에 따른 수치 전달 방법의 개략적인 원리 다이어그램이다. 도 5를 참조하면, 얼굴 결제의 인기와 함께, 점점 더 많은 상인은 얼굴 결제 서비스들을 액세스할 수 있다. 이용자들의 급격한 증가에 따라, 얼굴 결제의 보안성은 더욱 중요해지고 있다. 본 출원의 본 실시예에 의해 제공되는 수치 전달 방법에서, 얼굴 인식 결제 단말기의 카메라 컴포넌트의 내부적인 개선은 얼굴 데이터 소스의 보안성을 엄격하게 보장하는 호스트 측에 하드웨어 업그레이드를 수행할 필요 없이 얼굴 데이터 소스를 획득하는 카메라 컴포넌트에 보안 예방 조치를 추가할 수 있고, 얼굴 데이터의 "리플레이 공격"에 효과적으로 저항할 수 있다. 구체적으로, 단말기는 카메라 컴포넌트와 호스트를 포함하고, 카메라 컴포넌트는 TEE에서 실행되고, 호스트는 REE에서 실행되고, 센서(SENSOR) 및 제1 프로세서(DSP)는 카메라 컴포넌트에 구성되고, DSP는 얼굴 알고리즘 계산을 수행하도록 구성되고, 얼굴 알고리즘은 얼굴 생체 검출 알고리즘 및 품질 평가 알고리즘을 포함할 수 있으며, 네트워크 모듈 및 보안 모듈은 또한 DSP에 내장될 수 있으며, 네트워크 모듈은 얼굴 이미지 식별(FACE_KEY)에 대한 교환으로 얼굴 이미지 데이터(타깃 얼굴 이미지)를 서버(즉, 서버 백엔드, 이하 백엔드라 지칭함)에 전송하도록 구성되며, FACE_KEY는 얼굴 이미지 데이터가 백엔드에 업로드된 이후에 백엔드에 의해 발행된 얼굴 이미지 데이터를 고유하게 식별하는 식별을 지칭하고, 보안 모듈은 TEE 요소 또는 SE 중 적어도 하나일 수 있으며, 보안 모듈은 네트워크 요청의 콘텐츠에 서명하기 위한 키(타깃 키)와 백엔드를 요청하기 위한 타깃 웹 어드레스(URL)를 저장하도록 구성되고, 타깃 키는 카메라 컴포넌트가 공장에서 출고될 때 보안 모듈에 버닝될 수 있으며, 예를 들어, 백엔드에 의해 인증된 요청 콘텐츠가 신뢰할 수 있는지를 보장하기 위해, 타깃 키는 AES 키일 수 있다.
상술한 내용에 기초하여, 사용자는 단말기에 수치 전달 옵션을 트리거하고, 단말기는 얼굴 데이터 스트림을 획득하기 위해 카메라 컴포넌트의 SENSOR를 호출하고, SENSOR는 획득된 얼굴 데이터 스트림을 DSP에 실시간으로 전송하고, DSP는 얼굴 데이터 스트림에 대한 마스킹을 실행하며, 구체적으로 DSP는 적어도 하나의 마스킹된 이미지를 획득하기 위해 얼굴 부분 데이터에 대한 노이즈 강화를 수행(임의의 얼굴 이미지의 얼굴 부분 영역에 대한 이미지 강화를 수행)할 수 있다. DSP는 적어도 하나의 마스킹된 이미지를 REE에서 실행되는 호스트에 전송한다. 호스트는 적어도 하나의 마스킹된 이미지를 디스플레이하고, 사용자는 적어도 하나의 마스킹된 이미지를 미리 볼 수 있다. 이 경우에, 얼굴 데이터 스트림이 마스킹되었기 때문에, 심지어 유출되더라도, 얼굴 인식에 사용될 수 없으며, 이는 얼굴 데이터 전송 프로세스의 보안성을 보장할 수 있다.
설명을 위해 타깃 키가 AES 키인 예를 사용한다. DSP는 얼굴 알고리즘에 기초하여 얼굴 데이터 스트림에 대한 선택 및 생체 검출을 수행한다. 예를 들어, 얼굴 알고리즘에는 품질 평가 알고리즘 및 생체 검출 알고리즘을 포함한다. 높은 품질 점수를 갖는 얼굴 이미지가 품질 평가 알고리즘에 기초하여 선택된다. 검출 결과가 생체인 얼굴 이미지는 생체 검출 알고리즘에 기초하여 결정된다. 더블 스크리닝(double screening) 이후에, 타깃 조건에 충족하는 적어도 하나의 타깃 얼굴 이미지가 선택될 수 있다. 적어도 하나의 타깃 얼굴 이미지는 얼굴 이미지 암호문을 획득하기 위해 미리 설정된 AES 키를 사용하여 암호화된다. 얼굴 이미지 암호문은 검증 요청으로 캡슐화된다. 검증 요청은 검증 요청을 백엔드에 전송하기 위해 보안 모듈에 저장된 URL에 전송된다. 백엔드가 검증 요청을 수신한 이후에, 복호화는 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 백엔드의 AES 키를 사용하여 수행된다. 적어도 하나의 타깃 얼굴 이미지가 유효한지를 검증하는 경우에, 각각의 타깃 얼굴 이미지와 고유하게 일치하는 각각의 FACE_KEY는 DSP에 리턴된다. DSP가 각각의 FACE_KEY를 획득한 이후에, 각각의 FACE_KEY는 REE에서 실행되는 호스트에 전송된다. 각각의 FACE_KEY를 수신한 이후에, 호스트는 수치 전달 정보, 사용자 모바일 전화번호(사용자 식별), 및 각각의 FACE_KEY를 수치 전달 요청에 캡슐화한다. 호스트는 수치 전달 요청을 백엔드에 전송한다. 수치 전달 요청을 수신한 이후에, 백엔드는 사용자 모바일 전화번호에 따라 사용자의 ID 카드 사진(표준 이미지)을 조회하고, 각각의 FACE_KEY에 따라 사용자의 타깃 얼굴 이미지를 조회한다. 이후에, 얼굴 인식을 완료하기 위하여, 표준 이미지와 각각의 타깃 얼굴 이미지 사이의 유사성이 얼굴 유사성 모델에 기초한 비교를 통해 획득된다. 얼굴 인식이 성공적으로 되면, 수치 전달 정보에 기초하여 수치 전달 조작이 수행된다.
본 출원의 본 실시예에 의해 제공되는 방법에서, 카메라 컴포넌트에 대한 하드웨어 연구 및 개발이 수행되어, 네트워크 모듈과 보안 모듈이 카메라 컴포넌트에 통합되며, 이는, TEE에 기초하여 타깃 얼굴 이미지를 전송하기 위해, TEE에서 카메라 컴포넌트를 분리할 수 있다. 타깃 얼굴 이미지를 전송하기 위해 REE 하드웨어 리소스(호스트)를 통과할 필요가 없다. REE 하드웨어 리소스는 마스킹된 이미지와 FACE_KEY만을 획득할 수 있지만, 타깃 얼굴 이미지는 획득할 수 없다. 카메라 컴포넌트와 REE 하드웨어 리소스는 데이터에서 분리되며, 이는 얼굴 데이터 소스의 보안성과 얼굴 이미지 전송 프로세스의 보안성을 보장하여, 이에 의해 얼굴 인식에 기초하여 수치 전달 프로세스의 보안성을 보장한다.
도 6은 본 출원의 실시예에 따른 얼굴 이미지 전송 장치의 개략적인 구조 다이어그램이다. 도 6을 참조하면, 장치는 카메라 컴포넌트(601)를 포함하고, 카메라 컴포넌트(601)는 센서(602), 제1 프로세서(603), 및 메모리(604)를 포함하고, 메모리(604)는 TEE 요소 또는 SE 중 적어도 하나이다. 상세 사항은 다음과 같다.
센서(602)는 얼굴 데이터 스트림을 획득하고 얼굴 데이터 스트림을 제1 프로세서(603)에 전송하도록 구성되고;
제1 프로세서(603)는 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝을 수행 - 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 -하도록 구성되고;
제1 프로세서(603)는 메모리(604)로부터 타깃 웹 어드레스를 판독하도록 추가로 구성되고; 그리고
제1 프로세서(603)는 적어도 하나의 타깃 얼굴 이미지를 타깃 웹 어드레스에 전송하도록 추가로 구성된다.
본 출원의 본 실시예에 의해 제공된 장치에서, 센서(602), 제1 프로세서(603), 및 메모리(604)는 장치의 카메라 컴포넌트(601)에 배치된다. 메모리(604)는 TEE 요소 또는 SE 중 적어도 하나이다. 얼굴 데이터 스트림이 센서(602)에 기초하여 획득된다. 얼굴 데이터 스트림은 센서(602)에 의해 제1 프로세서(603)에 전송된다. 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 제1 프로세서(603)에 의해 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝이 수행된다. 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족한다. 타깃 웹 어드레스가 제1 프로세서(603)에 의해 메모리(604)로부터 판독된다. 적어도 하나의 타깃 얼굴 이미지는 제1 프로세서(603)에 의해 타깃 웹 어드레스에 전송된다. 메모리(604)가 TEE 요소 또는 SE 중 적어도 하나이므로, 카메라 컴포넌트(601)는 TEE에서 실행되며, 이에 따라, 타깃 얼굴 이미지의 전송은 REE 하드웨어 리소스들을 통과할 필요가 없으며, 열악한 REE 보안성으로 인해 타깃 얼굴 이미지가 도용되는 문제를 방지하고, 얼굴 이미지 전송 프로세스의 보안성을 향상시킨다.
가능한 구현에서, 가능한 구현에서, 제1 프로세서(603)는,
적어도 하나의 얼굴 이미지에 대해 생체 검출을 수행하고, 검출 결과가 생체인 각각의 얼굴 이미지를 적어도 하나의 타깃 얼굴 이미지로 결정하도록 구성된다.
가능한 구현에서, 제1 프로세서(603)는,
적어도 하나의 얼굴 이미지의 품질 점수를 획득하기 위해 적어도 하나의 얼굴 이미지에 대해 품질 평가를 수행하고; 그리고
점수 문턱치보다 큰 품질 점수를 갖는 각각의 얼굴 이미지를 적어도 하나의 타깃 얼굴 이미지로 결정하도록 구성된다.
가능한 구현에서, 제1 프로세서(603)는,
메모리(604)로부터 타깃 키를 판독하고;
얼굴 이미지 암호문을 획득하기 위해 암호화 알고리즘 및 타깃 키에 기초하여 적어도 하나의 타깃 얼굴 이미지를 암호화하고; 그리고
적어도 하나의 타깃 얼굴 이미지가 포함된 얼굴 이미지 암호문을 타깃 웹 어드레스에 전송하도록 구성된다.
가능한 구현에서, 도 6의 장치 구성에 기초하여, 장치는 추가로 제2 프로세서를 포함하고, 제2 프로세서는 REE에서 실행되고;
제1 프로세서(603)는 추가로 적어도 하나의 얼굴 이미지 식별을 수신하고, 하나의 얼굴 이미지 식별은 적어도 하나의 타깃 얼굴 이미지에서 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용되며; 적어도 하나의 얼굴 이미지 식별을 제2 프로세서에 전송하고; 그리고
제2 프로세서는 사용자 식별 및 적어도 하나의 얼굴 이미지 식별을 전송하도록 구성된다.
가능한 구현에서, 도 6의 장치 구성에 기초하여, 장치는 추가로 제2 프로세서를 포함하고, 제2 프로세서는 REE에서 실행되고;
제1 프로세서(603)는 추가로 적어도 하나의 마스킹된 이미지를 획득하기 위해 적어도 하나의 얼굴 이미지에 대해 마스킹을 수행하고; 적어도 하나의 마스킹된 이미지를 제2 프로세서에 전송하고; 그리고
제2 프로세서는 적어도 하나의 마스킹된 이미지를 디스플레이하도록 구성된다.
가능한 구현에서, 제1 프로세서(603)는,
적어도 하나의 얼굴 이미지에 대해 얼굴 검출을 수행하고, 적어도 하나의 얼굴 이미지에서 얼굴 부분 영역을 결정하고; 그리고
적어도 하나의 마스킹된 이미지를 획득하기 위해 적어도 하나의 얼굴 이미지에서 얼굴 부분 영역에 대한 이미지 강화를 수행하도록 구성된다.
상술한 선택적인 기술적 솔루션들의 임의의 조합은 본 출원의 선택적인 실시예를 형성하기 위해 사용될 수 있다. 여기서 상세 사항은 다시 설명하지 않는다.
상술한 실시예에서 제공된 얼굴 이미지 전송 장치가 얼굴 이미지를 전송할 때, 각각의 기능 모듈의 분할의 예가 예시되었다. 실제 애플리케이션에서, 기능 분배는 요구 사항에 따라 다른 기능 모듈들에 의해 구현될 수 있으며, 즉, 전자 디바이스(예들 들어, 단말기)의 내부 구조는 상술한 기능들의 전부 또는 일부를 구현하기 위해 서로 다른 기능의 모듈들로 분할된다. 또한, 상술한 실시예들에서 제공된 얼굴 이미지 전송 장치 및 얼굴 이미지 전송 방법은 동일한 개념에 속한다. 구체적인 구현 프로세서에 대해서는 얼굴 이미지 전송 방법의 실시예를 참조할 수 있으며, 여기서 상세 사항은 다시 설명하지 않는다.
도 7은 본 출원의 실시예에 따른 수치 전달 장치의 개략적인 구조 다이어그램이다. 도 7을 참조하면, 장치는 카메라 컴포넌트(701) 및 호스트(702)를 포함하고, 카메라 컴포넌트(701)는 TEE에서 실행된다. 상세 사항은 다음과 같다.
카메라 컴포넌트(701)는 검증 요청을 서버에 전송 - 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반하고, 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 -하도록 구성되고;
카메라 컴포넌트(701)는, 서버에 의한 검증 요청의 검증이 성공적인 경우에, 검증 성공 응답을 수신하도록 추가로 구성되며, 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반하고, 하나의 얼굴 이미지 식별은 적어도 하나의 타깃 얼굴 이미지에서 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용되며;
카메라 컴포넌트(701)는 추가로 적어도 하나의 얼굴 이미지 식별을 호스트(702)에 전송하도록 구성되며; 그리고
호스트(702)는 수치 전달 요청을 서버에 전송하도록 구성되며, 이에 따라, 서버는 수치 전달 요청에 기초하여 수치 전달 조작을 수행하고, 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반한다.
본 출원의 본 실시예에 의해 제공되는 장치에서, 검증 요청은 TEE에서 실행되는 카메라 컴포넌트(701)에 의해 서버에 전송되고, 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반한다. 서버에 의한 검증 요청의 검증이 성공적으로 된 때, 검증 성공 응답은 카메라 컴포넌트(701)를 통해 수신되고, 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반한다. 적어도 하나의 얼굴 이미지 식별은 카메라 컴포넌트(701)에 의해 호스트(702)에 전송된다. 수치 전달 요청은 호스트(702)에 의해 서버에 전송되고, 서버는 수치 전달 요청에 기초하여 수치 전달 조작을 수행하고, 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반한다. 카메라 컴포넌트(701)는 TEE에서 실행되기 때문에, 카메라 컴포넌트(701)와 서버 사이의 데이터 교환은 REE 하드웨어 리소스를 통해 통과할 필요가 없으며, 이는 카메라 컴포넌트(701)와 서버 사이의 데이터 교환이 안전하고 신뢰할 수 있다는 것을 보장한다. 얼굴 이미지 식별을 획득한 이후에, 카메라 컴포넌트(701)는 REE에서 실행되는 호스트(702)에 얼굴 이미지 식별을 전송한다. 호스트(702)는 얼굴 이미지 식별이 포함된 수치 전달 요청을 서버에 전송한다. 수치 전달 요청은 타깃 얼굴 이미지 대신에 얼굴 이미지 식별을 운반하기 때문에, 심지어 REE 측의 호스트(702)가 네트워크 공격을 받더라도, 타깃 얼굴 이미지는 누출되지 않으며, 이는 전체 수치 전달 프로세스의 보안성을 효과적으로 보장할 수 있다.
수치 전달 장치가 상술한 실시예에서 제공된 수치를 전달할 때, 각각의 기능 모듈의 분할의 예가 예시되었다. 실제 애플리케이션에서, 기능 분배는 요구 사항에 따라 다른 기능 모듈들에 의해 완료될 수 있으며, 즉, 전자 디바이스(예를 들어, 단말기)의 내부 구조는 상술한 기능들의 전부 또는 일부를 구현하기 위해 서로 다른 기능의 모듈들로 분할된다. 또한, 상술한 실시예들에서 제공된 수치 전달 장치 및 수치 전달 방법의 실시예들은 동일한 개념에 속한다. 구체적인 구현 프로세스에 대해서는 수치 전달 방법의 실시예를 참조할 수 있으며, 여기서 상세 사항은 다시 설명하지 않는다.
도 8은 본 출원의 실시예에 따른 수치 전달 장치의 개략적인 구조 다이어그램이다. 도 8를 참조하면, 장치는,
수치 전달 요청을 수신하도록 구성된 수신 모듈(801) - 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반하고, 하나의 얼굴 이미지 식별은 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용되며, 각각의 각각의 타깃 얼굴 이미지는 타깃 조건을 충족함 -;
적어도 하나의 얼굴 이미지 식별에 대응하는 적어도 하나의 타깃 얼굴 이미지와 사용자 식별에 대응하는 표준 이미지를 조회하도록 구성된 조회 모듈(802);
인식 결과를 획득하기 위해 적어도 하나의 타깃 얼굴 이미지 및 표준 이미지에 기초하여 얼굴 인식을 수행하도록 구성된 얼굴 인식 모듈(803); 및
인식 결과가 성공적인 경우에, 수치 전달 정보에 기초하여 수치 전달 조작을 수행하도록 구성된 수치 전달 모듈(804)을 포함한다.
본 출원의 본 실시예에 의해 제공되는 장치에서, 수치 전달 요청이 수신되고, 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반하고, 적어도 하나의 얼굴 이미지 식별에 대응하는 적어도 하나의 타깃 얼굴 이미지와 사용자 식별에 대응하는 표준 이미지가 조회되며, 얼굴 인식은 인식 결과를 획득하기 위해 적어도 하나의 타깃 얼굴 이미지 및 표준 이미지에 기초하여 수행된다. 인식 결과가 성공적인 때, 수치 전달 조작이 수치 전달 정보에 기초하여 수행된다. REE에서 실행되는 호스트로부터 서버에 의해 수신된 수치 전달 요청은 타깃 얼굴 이미지 대신에 얼굴 이미지 식별을 운반하며, 이에 따라, 심지어 통신 링크에서 네트워크 공격이 발생하더라도, 타깃 얼굴 이미지는 유출되지 않으며, 이는 전체 수치 전달 프로세스의 보안성을 효과적으로 보장할 수 있다.
가능한 구현에서, 장치는,
검증 요청을 수신 - 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반함 -하고;
적어도 하나의 타깃 얼굴 이미지에 대해 유효성 검증을 수행하고;
검증이 성공적인 경우에, 적어도 하나의 타깃 얼굴 이미지를 저장하고; 그리고
검증 성공 응답을 전송 - 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반함 -하도록 추가로 구성된다.
상술한 선택적인 기술적 솔루션들의 임의의 조합은 본 출원의 선택적인 실시예를 형성하기 위해 사용될 수 있다. 여기서 상세 사항은 다시 설명하지 않는다.
수치 전달 장치가 상술한 실시예에서 제공된 수치를 전달할 때, 각각의 기능 모듈의 분할의 예가 예시되었다. 실제 애플리케이션에서, 기능 분배는 요구 사항에 따라 다른 기능 모듈들에 의해 완료될 수 있으며, 즉, 전자 디바이스(예들 들어, 서버)의 내부 구조는 상술한 기능들의 전부 또는 일부를 구현하기 위해 서로 다른 기능의 모듈들로 분할된다. 또한, 상술한 실시예들에서 제공된 수치 전달 장치 및 수치 전달 방법은 동일한 개념에 속한다. 구체적인 구현 프로세서에 대해서는 수치 전달 방법의 실시예를 참조할 수 있으며, 여기서 상세 사항은 다시 설명하지 않는다.
도 9는 본 출원의 예시적인 실시예에 따른 단말기(900)의 구조적인 블록 다이어그램이다. 단말기(900)는 또한 전자 디바이스이다. 단말기(900)는 스마트폰, 태블릿 컴퓨터, MP3 플레이어, MP4 플레이어, 노트북 컴퓨터, 또는 데스크탑 컴퓨터일 수 있다. 단말기(900)는 또한 사용자 장비, 휴대용 단말기, 랩톱 단말기, 데스크탑 단말기 등으로 지칭될 수 있다.
일반적으로, 단말기(900)는 프로세서(901) 및 메모리(902)를 포함한다.
프로세서(901)는 하나 이상의 프로세싱 코어, 예를 들어, 4-코어 프로세서 또는 8-코어 프로세서를 포함할 수 있다. 프로세서(901)는 DSP, FPGA, 및 PLA 중 적어도 하나의 하드웨어 형태로 구현될 수 있다. 프로세서(901)는 또한 메인 프로세서 및 보조 프로세서(coprocessor)를 포함할 수 있다. 메인 프로세서는 어웨이크 상태(awake state)에서 데이터를 처리하도록 구성된 프로세서이고, 또한 CPU로 지칭된다. 보조 프로세서는 스탠바이 상태(standby state)에서 데이터를 처리하도록 구성된 저전력 소비 프로세서이다. 일부 실시예들에서, 프로세서(901)는 GPU와 통합될 수 있다. GPU는 디스플레이에 디스플레이할 필요가 있는 콘텐츠를 렌더링 및 드로잉하기 위한 역할을 하도록 구성된다. 일부 실시예들에서, 프로세서(901)는 AI 프로세서를 추가로 포함할 수 있다. AI 프로세서는 기계 학습과 관련된 컴퓨팅 조작을 처리하도록 구성된다.
메모리(902)는 비일시적일 수 있는 하나 이상의 컴퓨터-판독 가능한 저장 매체를 포함할 수 있다. 메모리(902)는 하나 이상의 자기 디스크 저장 디바이스 또는 플래시 저장 디바이스와 같은 고속 랜덤 액세스 메모리 및 비휘발성 메모리를 추가로 포함할 수 있다. 일부 실시예들에서, 메모리(902)의 비일시적 컴퓨터-판독 가능한 저장 매체는 적어도 하나의 명령어를 저장하도록 구성되고, 적어도 하나의 명령어는 본 출원의 실시예들에서 제공되는 얼굴 이미지 전송 방법 또는 수치 전달 방법을 구현하기 위해 프로세서(901)에 의해 실행되도록 구성된다.
일부 실시예들에서, 단말기(900)는 선택적으로 주변기기 인터페이스(903) 및 적어도 하나의 주변기기를 포함할 수 있다. 프로세서(901), 메모리(902), 및 주변기기 인터페이스(903)는 버스 또는 신호 케이블을 이용하여 연결될 수 있다. 각각의 주변기기는 버스, 신호 케이블, 또는 회로 기판을 이용하여 주변기기 인터페이스(903)에 연결될 수 있다. 구체적으로, 주변기기는 무선 주파수(RF) 회로(904), 디스플레이 스크린(905), 카메라 컴포넌트(906), 오디오 회로(907), 포지셔닝 컴포넌트(908), 및 전원 공급기(909) 중 적어도 하나를 포함한다.
주변기기 인터페이스(903)는 입출력(I/O)과 관련된 적어도 하나의 주변기기를 프로세서(901) 및 메모리(902)에 연결하도록 구성될 수 있다. 일부 실시예들에서, 프로세서(901), 메모리(902), 및 주변기기 인터페이스(903)는 동일한 칩 또는 회로 기판에 통합된다. 일부 다른 실시예들에서, 프로세서(901), 메모리(902), 및 주변기기 인터페이스(903) 중 임의의 하나 또는 둘은 독립적인 칩 또는 회로 기판 상에 구현될 수 있다. 이는 본 실시예에서 제한되지 않는다.
RF 회로(904)는 전자기 신호라고도 지칭하는 RF 신호를 수신 및 전송하도록 구성된다. RF 회로(904)는 전자기 신호를 통해 통신 네트워크 및 다른 통신 디바이스들과 통신한다. RF 회로(904)는 전송을 위해 전기 신호를 전자기 신호로 변환하거나, 수신된 전자기 신호를 전기 신호로 변환한다. 선택적으로, RF 회로(904)는 안테나 시스템, RF 트랜시버, 하나 이상의 증폭기, 튜너, 발진기, 디지털 신호 프로세서, 코덱 칩셋, 가입자 아이덴티티 모듈 카드 등을 포함한다. RF 회로(904)는 적어도 하나의 무선 통신 프로토콜을 이용하여 다른 단말기와 통신할 수 있다. 무선 통신 프로토콜은 대도시 지역 네트워크, 이동 통신 네트워크 세대들(2G, 3G, 4G, 및 5G), 무선 근거리 통신망 및/또는 무선 충실도(Wi-Fi) 네트워크를 포함하지만, 이에 제한되지 않는다. 일부 실시예들에서, RF(904)는 근거리 무선 통신(Near-Field Communication, NFC)에 관련된 회로를 추가로 포함할 수 있으며, 이는 본 출원에 제한되지 않는다.
디스플레이 스크린(905)은 사용자 인터페이스(UI)를 디스플레이하도록 구성된다. UI는 그래프, 텍스트, 아이콘, 비디오 및 이들의 임의의 조합을 포함할 수 있다. 디스플레이 스크린(905)이 터치 디스플레이 스크린일 때, 디스플레이 스크린(905)은 디스플레이 스크린(905)의 표면상에서 또는 그 위에서 터치 신호들을 추가로 수집할 수 있다. 터치 신호는 제어 신호로서 프로세서(901)에 입력될 수 있다. 이 경우에, 디스플레이 스크린(905)은 가상 버튼 및/또는 소프트 버튼 및/또는 소프트 키보드라고도 지칭하는 가상 키보드를 제공하도록 추가로 구성될 수 있다. 일부 실시예들에서, 단말기(900)의 전면 패널에 배치된 하나의 디스플레이 스크린(905)일 수 있다. 일부 다른 실시예들에서, 단말기(900)의 서로 다른 표면들에 각각 배치되거나 접힐 수 있는 형태로 설계된 적어도 2개의 디스플레이 스크린(905)일 수 있다. 또 다른 일부 실시예들에서, 디스플레이 스크린(905)은 단말기(900)의 곡면 또는 접힌 면에 배치된 플렉서블 디스플레이 스크린일 수 있다. 심지어, 디스플레이 스크린(905)은 직사각형이 아닌 불규칙한 패턴, 즉 특별한 형태의 스크린을 갖도록 추가로 설정될 수 있다. 디스플레이 스크린(905)은 액정 디스플레이(Liquid Crystal Display, LCD), 유기 발광 다이오드(Organic Light Emitting Diode, OLED) 등과 같은 물질을 사용하여 제조될 수 있다.
카메라 컴포넌트(906)는 이미지들 또는 비디오들을 캡처하도록 구성된다. 선택적으로, 카메라 컴포넌트(906)는 전면 카메라 및 후면 카메라를 포함한다. 일반적으로, 전면 카메라는 단말기의 전면 패널에 배치되고, 후면 카메라는 단말기의 후면에 배치된다. 일부 실시예들에서, 적어도 2개의 후면 카메라가 있으며, 이들 각각은 메인 카메라, 피사계 심도 카메라(depth-of-field camera), 광각 카메라(wide-angle camera), 및 망원 카메라(telephoto camera) 중 하나이고, 메인 카메라와 피사계 심도 카메라의 융합을 통해 배경 흐림 효과(background blur)와 메인 카메라와 광각 카메라의 융합, 또는 기타 융합 촬영 기능들을 통해 파노라마 촬영 및 가상 현실(VR) 촬영을 성취한다. 일부 실시예들에서, 카메라 컴포넌트(906)는 플래시라이트(flashlight)를 추가로 포함할 수 있다. 플래시는 단색 온도 플래시일 수도 있거나, 이중-색-온도 플래시일 수도 있다. 이중-색 온도 플래시는 따뜻한 빛 플래시와 차가운 빛 플래시의 조합을 지칭하고, 다른 색 온도하에 빛을 보상하기 위해 사용될 수 있다.
오디오 회로(907)는 마이크로폰 및 스피커를 포함할 수 있다. 마이크로폰은 사용자들 및 주변의 음파들을 수집하고, 음파들을 전기적 신호들로 변환하고, 처리하기 위해 프로세서(901)에 입력하거나, 음성 통신을 구현하기 위해 RF 회로(904)에 신호들을 입력하도록 구성된다. 스테레오 수집 또는 노이즈 감소를 위해, 단말기(900)의 서로 다른 부분들에 각각 배치되는 복수의 마이크로폰이 있을 수 있다. 마이크로폰은 또한 어레이 마이크로폰 또는 전방향성 수집형 마이크로폰일 수 있다. 스피커는 프로세서(901) 또는 RF 회로(904)로부터의 전기 신호들을 음파들로 변환하도록 구성된다. 스피커는 종래의 박막 스피커 또는 압전 세라믹 스피커일 수 있다. 스피커가 압전 세라믹 스피커일 때, 스피커는 전기 신호를 사람이 청취 가능한 음파들로 변환할 수 있을 뿐만 아니라, 거리 측정 및 기타 목적을 위해 전기 신호를 사람이 청취할 수 없는 음파들로 변환할 수 있다. 일부 실시예들에서, 오디오 회로(907)는 이어폰 잭을 포함할 수도 있다.
포지셔닝 컴포넌트(908)는 내비게이션 또는 위치 기반 서비스(location based service, LBS)를 구현하기 위해 단말기(900)의 현재 지리적 위치를 결정하도록 구성된다. 포지셔닝 컴포넌트(908)는 미국의 글로벌 포지셔닝 시스템(Global Positioning System, GPS), 중국의 베이더우(BeiDou) 시스템, 러시아의 글로나스(GLONASS) 시스템, 또는 유럽 연합의 갈릴레오(GALILEO) 시스템에 기초한 포지셔닝 컴포넌트일 수 있다.
전원 공급기(909)는 단말기(900)의 컴포넌트들에 전원을 공급하도록 구성된다. 전원 공급기(909)는 교류-전원 공급기, 직류 전원 공급기, 일회용 배터리, 또는 재충전 가능한 배터리일 수 있다. 전원 공급기(909)가 재충전 가능한 배터리를 포함하는 경우에, 재충전 가능한 배터리는 유선 충전 또는 무선 충전을 지원할 수 있다. 재충전 가능한 배터리는 급속 충전 기술을 지원하도록 추가로 구성될 수 있다.
일부 실시예들에서, 단말기(900)는 하나 이상의 센서(910)를 추가로 포함한다. 하나 이상의 센서(910)는 가속도 센서(911), 자이로스코프 센서(912), 압력 센서(913), 지문 센서(914), 광학 센서(915), 및 근접 센서(916)를 포함하지만, 이에 제한되지 않는다.
가속도 센서(911)는 단말기(900)에 의해 설정되는 좌표계의 3개의 좌표축에서 가속도의 크기를 검출할 수 있다. 예를 들어, 가속도 센서(911)는 3개의 좌표축에서 중력 가속도의 성분들을 검출하도록 구성될 수 있다. 프로세서(901)는 가속도 센서(911)에 의해 수집된 중력 가속도 신호에 따라 UI를 가로 보기 또는 세로 보기로 디스플레이하기 위해 터치 디스플레이 스크린(905)을 제어할 수 있다. 가속도 센서(911)는 게임 또는 사용자의 모션 데이터를 획득하도록 추가로 구성될 수 있다.
자이로스코프 센서(912)는 단말기(900)의 신체 방향 및 회전 각도를 검출할 수 있고, 가속도 센서(911)와 연동하여 사용자에 의해 수행되는 3D 액션을 단말기(900) 상에서 획득할 수 있다. 프로세서(901)는 자이로스코프 센서(912)에 의해 수집되는 데이터에 따라 다음과 같은 기능들, 즉 모션 센싱(예를 들어, 사용자의 틸트 조작에 따라 UI가 변경됨), 촬영 중 이미지 안정화, 게임 제어 및 관성 내비게이션을 구현할 수 있다.
압력 센서(913)는 단말기(900)의 측면 프레임 및/또는 디스플레이 스크린(905)의 하위 레이어에 배치될 수 있다. 압력 센서(913)가 단말기(900)의 측면 프레임에 배치될 때, 단말기(900)에서 사용자의 홀딩 신호가 검출될 수 있다. 프로세서(901)는 압력 센서(913)에 의해 수집된 홀딩 신호에 따라 왼손 및 오른손 인식 또는 빠른 조작을 수행한다. 압력 센서(913)가 디스플레이 스크린(905)의 하위 레이어에 배치될 때, 프로세서(901)는, 디스플레이 스크린(905)에서 사용자의 압력 조작에 따라, UI에서 조작 가능한 컨트롤을 제어한다. 조작 가능한 컨트롤은 버튼 컨트롤, 스크롤-바 컨트롤, 아이콘 컨트롤, 메뉴 컨트롤 중 적어도 하나를 포함한다.
지문 센서(914)는 사용자의 지문을 수집하도록 구성되고, 프로세서(901)는 지문 센서(914)에 의해 수집된 지문에 따라 사용자의 아이덴티티를 인식하거나, 지문 센서(914)는 수집된 지문에 따라 사용자의 아이덴티티를 인식한다. 사용자의 아이덴티티가 신뢰할 수 있는 것으로 인식될 때, 프로세서(901)는 관련된 민감한 작업을 수행하도록 사용자에게 권한을 부여한다. 민감한 작업에는 스크린 잠금 해제, 암호화된 정보 보기, 소프트웨어 다운로드, 결제, 설정 변경 등을 포함한다. 지문 센서(914)는 단말기(900)의 전면, 후면, 또는 측면에 배치될 수 있다. 단말기(900)에 물리적 버튼 또는 벤더 로고가 배치될 때, 지문 센서(914)는 물리적 버튼 또는 벤더 로고와 통합될 수 있다.
광학 센서(915)는 주변 광 강도를 획득하도록 구성된다. 실시예에서, 프로세서(901)는 광 센서(915)에 의해 수집된 주변 광 광도에 따라 디스플레이 스크린(905)의 디스플레이 휘도를 제어할 수 있다. 구체적으로, 주변 광 강도가 상대적으로 높을 때, 디스플레이 스크린(905)의 디스플레이 휘도가 증가한다. 주변 광 강도가 상대적으로 낮을 때, 디스플레이 스크린(905)의 디스플레이 휘도가 감소한다. 다른 실시예에서, 프로세서(901)는 추가로 광학 센서(915)에 의해 획득된 주변 광 강도에 따라 카메라 컴포넌트(906)의 카메라 파라미터를 동적으로 조정할 수 있다.
거리 센서라고 지칭되기도 하는 근접 센서(916)는 일반적으로 단말기(900)의 전면 패널에 배치된다. 근접 센서(916)는 사용자와 단말기(900)의 전면 사이의 거리를 수집하도록 구성된다. 실시예에서, 사용자와 단말기(900)의 전면 사이의 거리가 점차적으로 좁아지는 것을 근접 센서(916)가 검출할 때, 디스플레이 스크린(905)은 스크린-온 상태에서 스크린-오프 상태로 전환하도록 프로세서(901)에 의해 제어된다. 사용자와 단말기(900)의 전면 사이의 거리가 점차 멀어지는 것을 근접 센서(916)가 검출하는 경우에, 디스플레이 스크린(905)은 스크린-오프 상태에서 스크린-온 상태로 전환하도록 프로세서(901)에 의해 제어된다.
본 기술에 숙련된 사람은, 도 9에 도시된 구조가 단말기(900)를 제한하는 구성이 아니며, 단말기는 도면에 도시된 것보다 많거나 적은 컴포넌트들을 포함할 수 있거나, 일부 컴포넌트들이 결합될 수 있거나, 다른 컴포넌트 배치가 사용될 수 있다는 것을 이해할 수 있다.
상술한 실시예에서, 전자 디바이스가 단말기(900)인 예가 이용되어 전자 디바이스의 내부 구조를 설명하였다. 일부 실시예들에서, 전자 디바이스는 하나 이상의 센서, 하나 이상의 제1 프로세서, 및 하나 이상의 메모리를 포함하며, 하나 이상의 메모리는 신뢰할 수 있는 실행 환경(TEE) 요소 또는 보안 요소(SE) 중 하나이고, 하나 이상의 메모리는 적어도 하나의 프로그램 코드를 저장하고, 하나 이상의 프로그램 코드는 다음 조작들:
적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝을 수행하는 조작 - 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족하고, 얼굴 데이터 스트림은 하나 이상의 센서에 의해 획득됨 -;
하나 이상의 메모리로부터 타깃 웹 어드레스를 판독하는 조작; 및
적어도 하나의 타깃 얼굴 이미지를 타깃 웹 어드레스에 전송하는 조작을 구현하기 위해 하나 이상의 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는, 다음 조작들:
적어도 하나의 얼굴 이미지에 대해 생체 검출을 수행하는 조작, 및 검출 결과가 생체인 각각의 얼굴 이미지를 적어도 하나의 타깃 얼굴 이미지로 결정하는 조작을 구현하기 위해 하나 이상의 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는, 다음 조작들:
적어도 하나의 얼굴 이미지의 품질 점수를 획득하기 위해 적어도 하나의 얼굴 이미지에 대해 품질 평가를 수행하는 조작; 및
품질 점수가 점수 문턱치보다 큰 각각의 얼굴 이미지를 적어도 하나의 타깃 얼굴 이미지로 결정하는 조작을 구현하기 위해 하나 이상의 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는, 다음 조작들:
하나 이상의 메모리로부터 타깃 키를 판독하는 조작;
얼굴 이미지 암호문을 획득하기 위해 암호화 알고리즘 및 타깃 키에 기초하여 적어도 하나의 타깃 얼굴 이미지를 암호화하는 조작; 및
적어도 하나의 타깃 얼굴 이미지가 포함된 얼굴 이미지 암호문을 타깃 웹 어드레스에 전송하는 조작을 구현하기 위해 하나 이상의 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는, 다음 조작들:
적어도 하나의 얼굴 이미지 식별을 수신하는 조작 - 하나의 얼굴 이미지 식별은 적어도 하나의 타깃 얼굴 이미지에서 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용됨 -;
적어도 하나의 얼굴 이미지 식별을 전자 디바이스의 하나 이상의 제2 프로세서에 전송하는 조작 - 하나 이상의 제2 프로세서는 풍부한 실행 환경(rich execution environment, REE)에서 실행됨 -; 및
하나 이상의 제2 프로세서에 의해 사용자 식별 및 적어도 하나의 얼굴 이미지 식별을 전송하는 조작을 구현하기 위해 하나 이상의 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는, 다음 조작들:
적어도 하나의 마스킹된 이미지를 획득하기 위해 적어도 하나의 얼굴 이미지에 대해 마스킹을 수행하는 조작;
적어도 하나의 마스킹된 이미지를 전자 디바이스의 하나 이상의 제2 프로세서에 전송하는 조작 - 하나 이상의 제2 프로세서는 풍부한 실행 환경(REE)에서 실행됨 -; 및
하나 이상의 제2 프로세서에 의해 적어도 하나의 마스킹된 이미지를 전자 디바이스에 디스플레이하는 조작을 구현하기 위해 하나 이상의 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는, 다음 조작들:
적어도 하나의 얼굴 이미지에 대해 얼굴 검출을 수행하고, 적어도 하나의 얼굴 이미지에서 얼굴 부분 영역을 결정하는 조작; 및
적어도 하나의 마스킹된 이미지를 획득하기 위해 적어도 하나의 얼굴 이미지에서 얼굴 부분 영역에 대해 이미지 강화(image enhancement)를 수행하는 조작을 구현하기 위해 하나 이상의 제1 프로세서에 의해 로딩 및 실행된다.
상술한 실시예들에서, 전자 디바이스가 단말기(900)인 예가 이용되어 전자 디바이스의 내부 구조를 설명하였다. 일부 실시예들에서, 전자 디바이스는 카메라 컴포넌트 및 호스트를 포함하고, 카메라 컴포넌트는 하나 이상의 제1 프로세서 및 하나 이상의 메모리를 포함하고, 하나 이상의 메모리는 신뢰할 수 있는 실행 환경(TEE) 요소 또는 보안 요소(SE) 중 적어도 하나이고, 하나 이상의 메모리는 적어도 하나의 프로그램 코드를 저장하고, 적어도 하나의 프로그램 코드는 다음 조작들:
검증 요청을 서버에 전송하는 조작 - 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반하고, 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 -;
서버에 의한 검증 요청의 검증이 성공적인 경우에, 검증 성공 응답을 수신하는 조작 - 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반하고, 하나의 얼굴 이미지 식별은 적어도 하나의 타깃 얼굴 이미지에서 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용됨 -;
적어도 하나의 얼굴 이미지 식별을 호스트에 전송하는 조작; 및
서버가 수치 전달 요청에 기초하여 수치 전달 조작을 수행하도록 호스트에 의해 수치 전달 요청을 서버에 전송하는 조작 - 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반함 -을 구현하기 위해 하나 이상의 제1 프로세서에 의해 로딩 및 실행된다.
도 10은 본 출원의 실시예에 따른 서버의 개략적인 구조 다이어그램이다. 서버(1000)는 또한 전자 디바이스이다. 서버(1000)는 구성 또는 성능이 변하기 때문에 크게 변할 수 있고, 하나 이상의 프로세서(CPU)(1001) 및 하나 이상의 메모리(1002)를 포함할 수 있다. 메모리(1002)는 적어도 하나의 프로그램 코드를 저장하고, 적어도 하나의 프로그램 코드는 상술한 실시예들에서 제공된 수치 전달 방법을 구현하기 위해 프로세서(1001)에 의해 로딩 및 실행된다. 물론, 서버(1000)는 또한 입력/출력을 용이하게 하기 위해 유선 또는 무선 네트워크 인터페이스, 키보드, 입력/출력 인터페이스 및 다른 컴포넌트들을 가질 수 있다. 서버(1000)는 디바이스 기능들을 구현하기 위한 다른 컴포넌트들을 포함할 수 있다. 여기서 상세 사항은 설명하지 않는다.
상술한 실시예들에서, 전자 디바이스가 서버(1000)인 예가 이용되어 전자 디바이스의 내부 구조를 설명하였다. 일부 실시예들에서, 전자 디바이스는 하나 이상의 프로세서 및 하나 이상의 메모리를 포함하고, 하나 이상의 메모리는 적어도 하나의 프로그램 코드를 저장하고, 적어도 하나의 프로그램 코드는 다음 조작들:
수치 전달 요청을 수신하는 조작 - 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반하고, 하나의 얼굴 이미지 식별은 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용되며, 각각의 타깃 얼굴 이미지는 타깃 조건을 충족함 -
적어도 하나의 얼굴 이미지 식별에 대응하는 적어도 하나의 타깃 얼굴 이미지와 사용자 식별에 대응하는 표준 이미지를 조회하는 조작;
인식 결과를 획득하기 위해 적어도 하나의 타깃 얼굴 이미지 및 표준 이미지에 기초하여 얼굴 인식을 수행하는 조작; 및
인식 결과가 성공적인 경우에, 수치 전달 정보에 기초하여 수치 전달 조작을 수행하는 조작을 구현하기 위해 하나 이상의 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는 다음 조작들:
검증 요청을 수신하는 조작 - 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반함 -;
적어도 하나의 타깃 얼굴 이미지에 대해 유효성 검증을 수행하는 조작;
검증이 성공적인 경우에, 적어도 하나의 타깃 얼굴 이미지를 저장하는 조작; 및
검증 성공 응답을 전송하는 조작 - 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반함 -;을 구현하기 위해 하나 이상의 프로세서에 의해 로드 및 실행된다.
예시적인 실시예에서, 컴퓨터-판독 가능한 저장 매체, 예를 들어, 적어도 하나의 프로그램 코드를 포함하는 메모리가 추가로 제공된다. 적어도 하나의 프로그램 코드는 전술한 실시예들에서 얼굴 이미지 전송 방법 또는 수치 전달 방법을 구현하기 위해 단말기에서 프로세서에 의해 실행될 수 있다. 예를 들어, 컴퓨터-판독 가능한 저장 매체는 읽기 전용 메모리(ROM), RAM, 콤팩트디스크 읽기 전용 메모리(CD-ROM), 자기 테이프, 플로피 디스크, 광 데이터 저장 디바이스 등일 수 있다.
일부 실시예들에서, 저장 매체는 적어도 하나의 프로그램 코드를 저장하고, 적어도 하나의 프로그램 코드는 다음 조작들:
적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝을 수행하는 조작 - 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족하고, 얼굴 데이터 스트림은 전자 디바이스의 센서에 의해 획득됨 -;
전자 디바이스의 메모리로부터 타깃 웹 어드레스를 판독하는 조작 - 메모리는 TEE 요소 또는 SE 중 적어도 하나임-; 및
적어도 하나의 타깃 얼굴 이미지를 타깃 웹 어드레스에 전송하는 조작을 구현하기 위해 전자 디바이스의 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는 다음 조작들:
적어도 하나의 얼굴 이미지에 대해 생체 검출을 수행하고, 검출 결과가 생체인 각각의 얼굴 이미지를 적어도 하나의 타깃 얼굴 이미지로 결정하는 조작을 구현하기 위해 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는, 다음 조작들:
적어도 하나의 얼굴 이미지의 품질 점수를 획득하기 위해 적어도 하나의 얼굴 이미지에 대해 품질 평가를 수행하는 조작; 및
품질 점수가 점수 문턱치보다 큰 각각의 얼굴 이미지를 적어도 하나의 타깃 얼굴 이미지로 결정하는 조작을 구현하기 위해 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는, 다음 조작들:
메모리로부터 타깃 키를 판독하는 조작;
얼굴 이미지 암호문을 획득하기 위해 암호화 알고리즘 및 타깃 키에 기초하여 적어도 하나의 타깃 얼굴 이미지를 암호화하는 조작; 및
적어도 하나의 타깃 얼굴 이미지가 포함된 얼굴 이미지 암호문을 타깃 웹 어드레스에 전송하는 조작을 구현하기 위해 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는, 다음 조작들:
적어도 하나의 얼굴 이미지 식별을 수신하는 조작 - 하나의 얼굴 이미지 식별은 적어도 하나의 타깃 얼굴 이미지에서 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용됨 -;
적어도 하나의 얼굴 이미지 식별을 전자 디바이스의 제2 프로세서에 전송하는 조작 - 제2 프로세서는 풍부한 실행 환경(REE)에서 실행됨 -; 및
제2 프로세서에 의해 사용자 식별 및 적어도 하나의 얼굴 이미지 식별을 전송하는 조작을 구현하기 위해 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는, 다음 조작들:
적어도 하나의 마스킹된 이미지를 획득하기 위해 적어도 하나의 얼굴 이미지에 대해 마스킹을 수행하는 조작;
적어도 하나의 마스킹된 이미지를 전자 디바이스의 제2 프로세서에 전송하는 조작 - 제2 프로세서는 풍부한 실행 환경(REE)에서 실행됨 -; 및
제2 프로세서에 의해 적어도 하나의 마스킹된 이미지를 전자 디바이스에 디스플레이하는 조작을 구현하기 위해 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는, 다음 조작들:
적어도 하나의 얼굴 이미지에 대해 얼굴 검출을 수행하고, 적어도 하나의 얼굴 이미지에서 얼굴 부분 영역을 결정하는 조작; 및
적어도 하나의 마스킹된 이미지를 획득하기 위해 적어도 하나의 얼굴 이미지에서 얼굴 부분 영역에 대해 이미지 강화를 수행하는 조작을 구현하기 위해 제1 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 저장 매체는 적어도 하나의 프로그램 코드를 저장하고, 적어도 하나의 프로그램 코드는 다음 조작들;
검증 요청을 서버에 전송하는 조작 - 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반하고, 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 -;
서버에 의한 검증 요청의 검증이 성공적인 경우에, 검증 성공 응답을 수신하는 조작 - 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반하고, 하나의 얼굴 이미지 식별은 적어도 하나의 타깃 얼굴 이미지에서 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용됨 -;
적어도 하나의 얼굴 이미지 식별을 전자 디바이스의 호스트에 전송하는 조작; 및
서버가 수치 전달 요청에 기초하여 수치 전달 조작을 수행하도록 호스트에 의해 수치 전달 요청을 서버에 전송하는 조작 - 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반함 -을 구현하기 위해 전자 디바이스의 제1 프로세서에 의해 로딩 및 실행된다.
제1 프로세서는 TEE에서 실행된다.
일부 실시예들에서, 저장 매체는 적어도 하나의 프로그램 코드를 저장하고, 적어도 하나의 프로그램 코드는 다음 조작들;
수치 전달 요청을 수신하는 조작 - 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반하고, 하나의 얼굴 이미지 식별은 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용되며, 각각의 타깃 얼굴 이미지는 타깃 조건을 충족함 -;
적어도 하나의 얼굴 이미지 식별에 대응하는 적어도 하나의 타깃 얼굴 이미지와 사용자 식별에 대응하는 표준 이미지를 조회하는 조작;
인식 결과를 획득하기 위해 적어도 하나의 타깃 얼굴 이미지 및 표준 이미지에 기초하여 얼굴 인식을 수행하는 조작; 및
인식 결과가 성공적인 경우에, 수치 전달 정보에 기초하여 수치 전달 조작을 수행하는 조작을 구현하기 위해 전자 디바이스의 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드는 다음 조작들;
검증 요청을 수신하는 조작 - 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반함 -;
적어도 하나의 타깃 얼굴 이미지에 대해 유효성 검증을 수행하는 조작;
검증이 성공적인 경우에, 적어도 하나의 타깃 얼굴 이미지를 저장하는 조작; 및
검증 성공 응답을 전송하는 조작 - 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반함 -을 구현하기 위해 전자 디바이스의 프로세서에 의해 로딩 및 실행된다.
일부 실시예들에서, 적어도 하나의 프로그램 코드를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품이 추가로 제공되며, 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품은, 컴퓨터 디바이스에서 실행될 때, 컴퓨터 디바이스로 하여금 상술한 실시예들에서 제공된 얼굴 이미지 전송 방법 또는 수치 전달 방법에서 임의의 가능한 구현을 수행하도록 한다. 여기서 상세 사항은 설명하지 않는다.
본 기술분야의 통상의 기술자는 상술한 실시예들에서 단계들의 전부 또는 일부가 하드웨어 또는 관련 하드웨어에 명령하는 프로그램에 의해 구현될 수 있다는 것을 이해할 수 있다. 프로그램은 컴퓨터-판독 가능한 저장 매체에 저장될 수 있다. 저장 매체는 ROM, 자기 디스크, 또는 광 디스크, 등일 수 있다.
상술한 설명은 본 출원의 실시예들이지만, 본 출원을 제한하려는 것은 아니다. 본 출원의 정신과 원칙 내에서 이루어지는 모든 수정, 동등한 교체 또는 개선은 본 출원의 보호 범위에 속한다.

Claims (20)

  1. 단말기의 카메라 컴포넌트에 적용 가능한 얼굴 이미지 전송 방법으로서, 상기 카메라 컴포넌트는 센서, 제1 프로세서, 및 메모리를 포함하고, 상기 메모리는 신뢰할 수 있는 실행 환경(trusted execution Environment, TEE) 요소 또는 보안 요소(secure element, SE) 중 적어도 하나이고, 상기 카메라 컴포넌트는 신뢰할 수 있는 실행 환경(TEE)에서 실행되며, 상기 얼굴 이미지 전송 방법은,
    상기 센서에 기초하여 얼굴 데이터 스트림을 획득하고, 상기 센서에 의해 얼굴 데이터 스트림을 제1 프로세서에 전송하는 단계;
    상기 제1 프로세서에 의해, 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해, 상기 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝(image screening)을 수행하는 단계 - 상기 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 -;
    상기 제1 프로세서에 의해 상기 메모리로부터 타깃 웹 어드레스를 판독하는 단계;
    상기 제1 프로세서에 의해 상기 적어도 하나의 타깃 얼굴 이미지를 상기 타깃 웹 어드레스에 전송하는 단계;
    상기 제1 프로세서에 의해 적어도 하나의 얼굴 이미지 식별을 수신하는 단계 - 하나의 얼굴 이미지 식별은 상기 적어도 하나의 타깃 얼굴 이미지 중 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용됨 -;
    상기 제1 프로세서에 의해 상기 적어도 하나의 얼굴 이미지 식별을 상기 단말기의 제2 프로세서에 전송하는 단계 - 상기 제2 프로세서는 풍부한 실행 환경(rich execution environment, REE)에서 실행됨 -; 및
    상기 제2 프로세서에 의해 사용자 식별 및 상기 적어도 하나의 얼굴 이미지 식별을 전송하는 단계
    를 포함하는, 얼굴 이미지 전송 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해, 상기 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝을 수행하는 단계는,
    상기 적어도 하나의 얼굴 이미지에 대해 생체 검출(liveness detection)을 수행하고, 검출 결과가 생체인 각각의 얼굴 이미지를 상기 적어도 하나의 타깃 얼굴 이미지로 결정하는 단계
    를 포함하는, 얼굴 이미지 전송 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해, 상기 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝을 수행하는 단계는,
    상기 적어도 하나의 얼굴 이미지의 품질 점수를 획득하기 위해 상기 적어도 하나의 얼굴 이미지에 대해 품질 평가를 수행하는 단계; 및
    상기 품질 점수가 점수 문턱치(score threshold)보다 큰 각각의 얼굴 이미지를 상기 적어도 하나의 타깃 얼굴 이미지로 결정하는 단계
    를 포함하는, 얼굴 이미지 전송 방법.
  4. 제1항에 있어서,
    상기 제1 프로세서에 의해 상기 적어도 하나의 타깃 얼굴 이미지를 상기 타깃 웹 어드레스에 전송하는 단계는,
    상기 제1 프로세서에 의해 메모리로부터 타깃 키를 판독하는 단계;
    상기 제1 프로세서에 의해, 얼굴 이미지 암호문을 획득하기 위해, 암호화 알고리즘 및 타깃 키에 기초하여 상기 적어도 하나의 타깃 얼굴 이미지를 암호화하는 단계; 및
    상기 제1 프로세서에 의해, 상기 적어도 하나의 타깃 얼굴 이미지를 운반하는 상기 얼굴 이미지 암호문을 상기 타깃 웹 어드레스에 전송하는 단계
    를 포함하는, 얼굴 이미지 전송 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 센서에 기초하여 얼굴 데이터 스트림을 획득하고, 상기 센서에 의해 상기 얼굴 데이터 스트림을 제1 프로세서에 전송하는 단계 이후, 상기 얼굴 이미지 전송 방법은,
    상기 제1 프로세서에 의해, 적어도 하나의 마스킹된 이미지를 획득하기 위해 상기 적어도 하나의 얼굴 이미지에 대해 마스킹을 수행하는 단계;
    상기 제1 프로세서에 의해, 상기 적어도 하나의 마스킹된 이미지를 단말기의 제2 프로세서에 전송하는 단계 - 상기 제2 프로세서는 REE에서 실행됨 -; 및
    상기 제2 프로세서에 의해 상기 적어도 하나의 마스킹된 이미지를 단말기에 디스플레이하는 단계
    를 추가로 포함하는, 얼굴 이미지 전송 방법.
  7. 제6항에 있어서,
    상기 적어도 하나의 마스킹된 이미지를 획득하기 위해 상기 적어도 하나의 얼굴 이미지에 대해 마스킹을 수행하는 단계는,
    상기 적어도 하나의 얼굴 이미지에 대해 얼굴 검출을 수행하고, 상기 적어도 하나의 얼굴 이미지에서 얼굴 부분 영역을 결정하는 단계; 및
    상기 적어도 하나의 마스킹된 이미지를 획득하기 위해 상기 적어도 하나의 얼굴 이미지에서의 상기 얼굴 부분 영역에 대해 이미지 강화(image enhancement)를 수행하는 단계
    를 포함하는, 얼굴 이미지 전송 방법.
  8. 단말기에 적용 가능한 수치 전달 방법(value transfer method)으로서,
    상기 단말기는 카메라 컴포넌트 및 호스트를 포함하고, 상기 카메라 컴포넌트는 센서, 제1 프로세서, 및 메모리를 포함하고, 상기 메모리는 신뢰할 수 있는 실행 환경(trusted execution Environment, TEE) 요소 또는 보안 요소(secure element, SE) 중 적어도 하나이고, 상기 카메라 컴포넌트는 신뢰할 수 있는 실행 환경(TEE)에서 실행되며, 상기 호스트는 제2 프로세서를 포함하고, 상기 제2 프로세서는 풍부한 실행 환경(rich execution environment, REE)에서 실행되며, 상기 수치 전달 방법은:
    상기 단말기의 카메라 컴포넌트는 상기 센서에 기초하여 얼굴 데이터 스트림을 획득하고, 상기 센서에 의해 상기 얼굴 데이터 스트림을 상기 제1 프로세서에 전송하며, 상기 제1 프로세서에 의해, 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해, 상기 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝(image screening)을 수행하는 단계 - 상기 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 - ;
    상기 카메라 컴포넌트에 의해 검증 요청을 서버에 전송하는 단계 - 상기 검증 요청은 상기 적어도 하나의 타깃 얼굴 이미지를 운반함 -;
    상기 서버에 의한 검증 요청의 검증이 성공적인 경우에, 상기 카메라 컴포넌트의 상기 제1 프로세서에 의해 검증 성공 응답을 수신하는 단계 - 상기 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반하고, 하나의 얼굴 이미지 식별은 상기 적어도 하나의 타깃 얼굴 이미지 중 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용됨 -;
    상기 카메라 컴포넌트의 상기 제1 프로세서에 의해 상기 적어도 하나의 얼굴 이미지 식별을 상기 호스트의 상기 제2 프로세서에 전송하는 단계; 및
    상기 서버가 수치 전달 요청에 기초하여 수치 전달 조작을 수행하도록, 상기 호스트의 상기 제2 프로세서에 의해 상기 수치 전달 요청을 상기 서버에 전송하는 단계 - 상기 수치 전달 요청은 사용자 식별, 상기 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반함 -
    를 포함하는, 수치 전달 방법.
  9. 서버에 적용 가능한 수치 전달 방법으로서,
    단말기의 카메라 컴포넌트에 의해 전송된 검증 요청을 수신하는 단계 - 상기 단말기는 카메라 컴포넌트 및 호스트를 포함하고, 상기 카메라 컴포넌트는 신뢰할 수 있는 실행 환경(TEE)에서 실행되며, 상기 호스트는 풍부한 실행 환경(rich execution environment, REE)에서 실행되며, 상기 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반하고, 상기 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 - ;
    상기 적어도 하나의 타깃 얼굴 이미지에 대해 유효성 검증을 수행하는 단계;
    검증이 성공적인 경우에 상기 적어도 하나의 타깃 얼굴 이미지를 저장하는 단계;
    검증 성공 응답을 상기 단말기에 전송하는 단계 - 상기 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반하고, 하나의 얼굴 이미지 식별은 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용되며, 상기 단말기의 상기 카메라 컴포넌트에 의해 상기 검증 성공 응답이 수신되며, 상기 카메라 컴포넌트는 상기 호스트에 상기 적어도 하나의 타깃 얼굴 이미지 식별을 전송하기 위해 사용됨 - ;
    상기 호스트로부터 전송된 수치 전달 요청을 수신하는 단계 - 상기 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반함 -;
    상기 적어도 하나의 얼굴 이미지 식별에 대응하는 적어도 하나의 타깃 얼굴 이미지와 상기 사용자 식별에 대응하는 표준 이미지를 조회하는 단계 - 상기 표준 이미지는 얼굴 유사성 비교에 사용되는 사용자 이미지를 지칭함 - ;
    인식 결과를 획득하기 위해 상기 적어도 하나의 타깃 얼굴 이미지 및 상기 표준 이미지에 기초하여 얼굴 인식을 수행하는 단계; 및
    상기 인식 결과가 성공적인 경우에, 수치 전달 정보에 기초하여 수치 전달 조작을 수행하는 단계
    를 포함하는, 수치 전달 방법.
  10. 삭제
  11. 단말기의 카메라 컴포넌트를 포함하는 얼굴 이미지 전송 장치로서,
    상기 카메라 컴포넌트는 센서, 제1 프로세서, 및 메모리를 포함하고, 상기 메모리는 신뢰할 수 있는 실행 환경(TEE) 요소 또는 보안 요소(SE) 중 적어도 하나이고, 상기 카메라 컴포넌트는 신뢰할 수 있는 실행 환경(TEE)에서 실행되며,
    상기 센서는 얼굴 데이터 스트림을 획득하고 상기 얼굴 데이터 스트림을 상기 제1 프로세서에 전송하도록 구성되고;
    상기 제1 프로세서는 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해 상기 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝을 수행하도록 구성되고 - 상기 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 -;
    상기 제1 프로세서는 메모리로부터 타깃 웹 어드레스를 판독하도록 추가로 구성되고;
    상기 제1 프로세서는 상기 적어도 하나의 타깃 얼굴 이미지를 상기 타깃 웹 어드레스에 전송하도록 추가로 구성되고;
    상기 제1 프로세서는 적어도 하나의 얼굴 이미지 식별을 수신하도록 추가로 구성되고 - 하나의 얼굴 이미지 식별은 상기 적어도 하나의 타깃 얼굴 이미지 중 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용됨 - ;
    상기 제1 프로세서는 상기 적어도 하나의 얼굴 이미지 식별을 상기 단말기의 제2 프로세서에 전송하도록 추가로 구성되고; 상기 제2 프로세서는 풍부한 실행 환경(rich execution environment, REE)에서 실행되며, 상기 제2 프로세서는 사용자 식별 및 상기 적어도 하나의 얼굴 이미지 식별을 전송하기 위해 사용되는,
    얼굴 이미지 전송 장치.
  12. 카메라 컴포넌트 및 호스트를 포함하는 수치 전달 장치로서, 상기 카메라 컴포넌트는 센서, 제1 프로세서, 및 메모리를 포함하고, 상기 메모리는 신뢰할 수 있는 실행 환경(trusted execution Environment, TEE) 요소 또는 보안 요소(secure element, SE) 중 적어도 하나이고, 상기 카메라 컴포넌트는 신뢰할 수 있는 실행 환경(TEE)에서 실행되며, 상기 호스트는 제2 프로세서를 포함하고, 상기 제2 프로세서는 풍부한 실행 환경(rich execution environment, REE)에서 실행되며,
    상기 카메라 컴포넌트는 상기 센서에 기초하여 얼굴 데이터 스트림을 획득하고, 상기 센서에 의해 상기 얼굴 데이터 스트림을 상기 제1 프로세서에 전송하도록 구성되고;
    상기 제1 프로세서는 적어도 하나의 타깃 얼굴 이미지를 획득하기 위해, 상기 얼굴 데이터 스트림에서 적어도 하나의 얼굴 이미지에 대해 이미지 스크리닝(image screening)을 수행하도록 구성되고 - 상기 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 - ;
    상기 카메라 컴포넌트는 검증 요청을 서버에 전송하도록 추가로 구성되고 - 상기 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반함 -;
    상기 카메라 컴포넌트는, 상기 서버에 의한 검증 요청의 검증이 성공적인 경우에, 상기 제1 프로세서에 의해 검증 성공 응답을 수신하도록 추가로 구성되고 - 상기 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반하고, 하나의 얼굴 이미지 식별은 상기 적어도 하나의 타깃 얼굴 이미지 중 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용됨 -;
    상기 카메라 컴포넌트는 상기 적어도 하나의 얼굴 이미지 식별을 상기 호스트의 상기 제2 프로세서에 전송하도록 추가로 구성되며;
    상기 호스트는 상기 서버가 수치 전달 요청에 기초하여 수치 전달 조작을 수행하도록 상기 제2 프로세서에 의해 상기 수치 전달 요청을 상기 서버에 전송하도록 구성되고,
    상기 수치 전달 요청은 사용자 식별, 상기 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반하는,
    수치 전달 장치.
  13. 수신 모듈, 조회 모듈, 얼굴 인식 모듈 및 수치 전달 모듈을 포함하는 수치 전달 장치로서,
    상기 수신 모듈은 단말기의 카메라 컴포넌트에 의해 전송된 검증 요청을 수신하도록 구성되고 - 상기 단말기는 카메라 컴포넌트 및 호스트를 포함하고, 상기 카메라 컴포넌트는 신뢰할 수 있는 실행 환경(TEE)에서 실행되며, 상기 호스트는 풍부한 실행 환경(rich execution environment, REE)에서 실행되며, 상기 검증 요청은 적어도 하나의 타깃 얼굴 이미지를 운반하고, 상기 적어도 하나의 타깃 얼굴 이미지는 타깃 조건을 충족함 - ;
    상기 수신 모듈은 상기 적어도 하나의 타깃 얼굴 이미지에 대해 유효성 검증을 수행하고, 검증이 성공적인 경우에 상기 적어도 하나의 타깃 얼굴 이미지를 저장하고, 검증 성공 응답을 상기 단말기에 전송하도록 추가로 구성되고 -상기 검증 성공 응답은 적어도 하나의 얼굴 이미지 식별을 운반하고, 하나의 얼굴 이미지 식별은 하나의 타깃 얼굴 이미지를 고유하게 식별하기 위해 사용되며, 상기 단말기의 상기 카메라 컴포넌트에 의해 상기 검증 성공 응답이 수신되며, 상기 카메라 컴포넌트는 상기 호스트에 상기 적어도 하나의 타깃 얼굴 이미지 식별을 전송하기 위해 사용됨 - ;
    상기 수신 모듈은 상기 호스트로부터 전송된 수치 전달 요청을 수신하도록 추가로 구성되고 - 상기 수치 전달 요청은 사용자 식별, 적어도 하나의 얼굴 이미지 식별, 및 수치 전달 정보를 운반함 -;
    상기 조회 모듈은 상기 적어도 하나의 얼굴 이미지 식별에 대응하는 적어도 하나의 타깃 얼굴 이미지, 및 상기 사용자 식별에 대응하는 표준 이미지를 조회하도록 구성되고 - 상기 표준 이미지는 얼굴 유사성 비교에 사용되는 사용자 이미지를 지칭함 - ;
    상기 얼굴 인식 모듈은 인식 결과를 획득하기 위해 상기 적어도 하나의 타깃 얼굴 이미지 및 상기 표준 이미지에 기초하여 얼굴 인식을 수행하도록 구성되고;
    상기 수치 전달 모듈은 상기 인식 결과가 성공적인 경우에, 상기 수치 전달 정보에 기초하여 수치 전달 조작을 수행하도록 구성되는,
    수치 전달 장치.
  14. 하나 이상의 프로세서, 및 하나 이상의 메모리를 포함하는 전자 디바이스로서,
    상기 하나 이상의 메모리는 적어도 하나의 프로그램 코드를 저장하고, 상기 적어도 하나의 프로그램 코드는, 제1항 내지 제4항, 제6항, 제7항 중 어느 한 항에 따른 얼굴 이미지 전송 방법에서 수행되는 동작을 구현하기 위해 하나 이상의 프로세서에 의해 로딩 및 실행되는,
    전자 디바이스.
  15. 삭제
  16. 하나 이상의 프로세서, 및 하나 이상의 메모리를 포함하는 전자 디바이스로서,
    상기 하나 이상의 메모리는 적어도 하나의 프로그램 코드를 저장하고, 상기 적어도 하나의 프로그램 코드는, 제8항에 따른 수치 전달 방법에서 수행되는 동작을 구현하기 위해 하나 이상의 프로세서에 의해 로딩 및 실행되는,
    전자 디바이스.
  17. 하나 이상의 프로세서 및 하나 이상의 메모리를 포함하는 전자 디바이스로서,
    상기 하나 이상의 메모리는 하나 이상의 프로그램 코드를 저장하고, 상기 하나 이상의 프로그램 코드는,
    제9항에 따른 수치 전달 방법에서 수행되는 동작을 구현하기 위해 하나 이상의 프로세서에 의해 로딩 및 실행되는,
    전자 디바이스.
  18. 적어도 하나의 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 저장 매체로서,
    상기 적어도 하나의 컴퓨터 프로그램은 제1항 내지 제4항, 제6항, 제7항 중 어느 한 항에 따른 얼굴 이미지 전송 방법에서 수행되는 동작들을 구현하기 위해 프로세서에 의해 로딩 및 실행되는,
    컴퓨터 판독 가능한 저장 매체.
  19. 적어도 하나의 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 저장 매체로서,
    상기 적어도 하나의 컴퓨터 프로그램은 제8항에 따른 수치 전달 방법에서 수행되는 동작들을 구현하기 위해 프로세서에 의해 로딩 및 실행되는,
    컴퓨터 판독 가능한 저장 매체.
  20. 적어도 하나의 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 저장 매체로서,
    상기 적어도 하나의 컴퓨터 프로그램은 제9항에 따른 수치 전달 방법에서 수행되는 동작들을 구현하기 위해 프로세서에 의해 로딩 및 실행되는,
    컴퓨터 판독 가능한 저장 매체.
KR1020227001754A 2019-12-16 2020-10-12 얼굴 이미지 전송 방법, 수치 전달 방법, 장치, 및 전자 디바이스 KR102637512B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201911296473.X 2019-12-16
CN201911296473.XA CN111046365B (zh) 2019-12-16 2019-12-16 人脸图像传输方法、数值转移方法、装置及电子设备
PCT/CN2020/120302 WO2021120793A1 (zh) 2019-12-16 2020-10-12 人脸图像传输方法、数值转移方法、装置及电子设备

Publications (2)

Publication Number Publication Date
KR20220024680A KR20220024680A (ko) 2022-03-03
KR102637512B1 true KR102637512B1 (ko) 2024-02-15

Family

ID=70236873

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227001754A KR102637512B1 (ko) 2019-12-16 2020-10-12 얼굴 이미지 전송 방법, 수치 전달 방법, 장치, 및 전자 디바이스

Country Status (6)

Country Link
US (1) US11783630B2 (ko)
EP (1) EP3989089B1 (ko)
JP (1) JP7338044B2 (ko)
KR (1) KR102637512B1 (ko)
CN (1) CN111046365B (ko)
WO (1) WO2021120793A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046365B (zh) * 2019-12-16 2023-05-05 腾讯科技（深圳）有限公司 人脸图像传输方法、数值转移方法、装置及电子设备
CN111582144A (zh) * 2020-05-06 2020-08-25 Oppo（重庆）智能科技有限公司 人脸数据的安全处理方法、装置、电子设备及存储介质
CN111885339A (zh) * 2020-07-01 2020-11-03 海尔优家智能科技（北京）有限公司 隐私处理方法及装置、计算机可读的存储介质、电子介质
CN112183185A (zh) * 2020-08-13 2021-01-05 天津大学 基于光流法和cnn-svm的液体泄漏检测方法
CN113518061B (zh) * 2020-10-16 2024-01-05 腾讯科技（深圳）有限公司 人脸识别中的数据传输方法、设备、装置、系统及介质
CN112036386A (zh) * 2020-11-05 2020-12-04 中科创达软件股份有限公司 Tee环境下使用相机相近帧进行活体检测的方法及装置
CN114499903B (zh) * 2020-11-11 2024-01-30 腾讯科技（深圳）有限公司 一种人脸识别场景中的数据传输方法以及相关装置
CN112809697B (zh) * 2021-01-11 2022-05-13 福建思特电子有限公司 一种5g智能门卫机器人
US11928187B1 (en) * 2021-02-17 2024-03-12 Bank Of America Corporation Media hosting system employing a secured video stream
CN112784823B (zh) * 2021-03-17 2023-04-07 中国工商银行股份有限公司 人脸图像识别方法、装置、计算设备和介质
CN113505700A (zh) * 2021-07-12 2021-10-15 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及存储介质
CN114500054B (zh) * 2022-01-27 2024-03-01 百度在线网络技术（北京）有限公司 服务访问方法、服务访问装置、电子设备以及存储介质
CN114582053B (zh) * 2022-02-25 2023-03-10 珠海格力电器股份有限公司 智能锁的控制方法、装置、电子设备及存储介质
CN114647453B (zh) * 2022-03-01 2023-06-09 芯原微电子（成都）有限公司 多处理器的可信动态启动方法、系统、存储介质及终端
CN114973065B (zh) * 2022-04-29 2023-03-24 北京容联易通信息技术有限公司 一种基于视频智能分析的物品搬移、遗留检测方法及系统
CN114782422B (zh) * 2022-06-17 2022-10-14 电子科技大学 一种svr特征融合的无参考jpeg图像质量评价方法
CN116760935B (zh) * 2023-08-21 2023-10-17 湖南马栏山视频先进技术研究院有限公司 基于图像数据传输的数据围栏系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160321441A1 (en) * 2015-05-01 2016-11-03 Synaptics Incorporated Secure biometric authentication
CN110414200A (zh) * 2019-04-08 2019-11-05 广州腾讯科技有限公司 身份验证方法、装置、存储介质和计算机设备
CN110489951A (zh) * 2019-07-08 2019-11-22 招联消费金融有限公司 风险识别的方法、装置、计算机设备和存储介质
CN110555706A (zh) * 2019-08-30 2019-12-10 北京银联金卡科技有限公司 基于安全单元和可信执行环境的人脸支付安全方法及平台

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3961439B2 (ja) * 2003-03-31 2007-08-22 富士通サポートアンドサービス株式会社 指紋による個人認証システム
US20070127787A1 (en) * 2005-10-24 2007-06-07 Castleman Kenneth R Face recognition system and method
CN103167149A (zh) * 2012-09-20 2013-06-19 深圳市金立通信设备有限公司 基于人脸识别的手机安全系统及方法
US9082119B2 (en) * 2012-10-17 2015-07-14 Royal Bank of Canada. Virtualization and secure processing of data
CN103136357A (zh) * 2013-03-06 2013-06-05 广东欧珀移动通信有限公司 一种利用人脸识别技术定位网页的方法、装置和移动设备
WO2015120949A1 (en) * 2014-02-14 2015-08-20 Bancontact-Mistercash Nv/Sa Universal payment method and system
JP6417676B2 (ja) 2014-03-06 2018-11-07 ソニー株式会社 情報処理装置、情報処理方法、アイウェア端末および認証システム
CN105117463B (zh) * 2015-08-24 2019-08-06 北京旷视科技有限公司 信息处理方法和信息处理装置
US20180260546A1 (en) 2016-03-28 2018-09-13 Nec Corporation Biometric data processing apparatus, biometric data processing system, biometric data processing method, biometric data processing program, storage medium storing biometric data processing program
WO2018027148A1 (en) * 2016-08-05 2018-02-08 Nok Nok Labs, Inc. Authentication techniques including speech and/or lip movement analysis
CA3054667A1 (en) * 2017-02-26 2018-08-30 Yougetitback Limited System and method for detection of mobile device fault conditions
KR20180136274A (ko) 2017-06-14 2018-12-24 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN107832670B (zh) * 2017-10-11 2020-03-24 Oppo广东移动通信有限公司 人脸识别方法及相关产品
US10586070B2 (en) * 2017-11-14 2020-03-10 International Business Machines Corporation Privacy protection in captured image for distribution
US11989861B2 (en) * 2017-11-28 2024-05-21 Intel Corporation Deep learning-based real-time detection and correction of compromised sensors in autonomous machines
CN108804895B (zh) * 2018-04-28 2021-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN108809992B (zh) * 2018-06-15 2021-07-13 黄玉新 一种人脸识别验证系统及其与目标系统的关联方法
KR102646536B1 (ko) * 2019-04-25 2024-03-13 삼성전자주식회사 전자 장치 및 전자 장치에서 사용자 입력에 기반한 생체 인증 및 지능형 에이전트 기능 수행 방법
CN110163160A (zh) * 2019-05-24 2019-08-23 北京三快在线科技有限公司 人脸识别方法、装置、设备及存储介质
CN110189137A (zh) * 2019-05-28 2019-08-30 北京三快在线科技有限公司 刷脸支付的方法、装置、设备及存储介质
CN110414518B (zh) * 2019-06-26 2024-06-07 平安科技（深圳）有限公司 网址识别方法、装置、计算机设备和存储介质
CN111062323B (zh) * 2019-12-16 2023-06-02 腾讯科技（深圳）有限公司 人脸图像传输方法、数值转移方法、装置及电子设备
CN111046365B (zh) * 2019-12-16 2023-05-05 腾讯科技（深圳）有限公司 人脸图像传输方法、数值转移方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160321441A1 (en) * 2015-05-01 2016-11-03 Synaptics Incorporated Secure biometric authentication
CN110414200A (zh) * 2019-04-08 2019-11-05 广州腾讯科技有限公司 身份验证方法、装置、存储介质和计算机设备
CN110489951A (zh) * 2019-07-08 2019-11-22 招联消费金融有限公司 风险识别的方法、装置、计算机设备和存储介质
CN110555706A (zh) * 2019-08-30 2019-12-10 北京银联金卡科技有限公司 基于安全单元和可信执行环境的人脸支付安全方法及平台

Also Published As

Publication number Publication date
KR20220024680A (ko) 2022-03-03
CN111046365B (zh) 2023-05-05
WO2021120793A1 (zh) 2021-06-24
EP3989089A4 (en) 2022-11-02
US11783630B2 (en) 2023-10-10
CN111046365A (zh) 2020-04-21
EP3989089C0 (en) 2023-07-05
JP7338044B2 (ja) 2023-09-04
EP3989089A1 (en) 2022-04-27
JP2022547872A (ja) 2022-11-16
EP3989089B1 (en) 2023-07-05
US20220058376A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
KR102637512B1 (ko) 얼굴 이미지 전송 방법, 수치 전달 방법, 장치, 및 전자 디바이스
US20200082782A1 (en) Mobile computing device technology and systems and methods utilizing the same
WO2021208615A1 (zh) 用户邀请方法、装置、计算机设备及计算机可读存储介质
CN107968783B (zh) 流量管理方法、装置、终端及计算机可读存储介质
CN108769992B (zh) 用户认证方法、装置、终端及存储介质
JP7389236B2 (ja) 顔画像送信方法、価値転送方法、装置、電子デバイス
CN107959727B (zh) 网页与客户端之间进行通讯的方法及装置
US10038834B2 (en) Video call method and device
WO2020048392A1 (zh) 应用程序的病毒检测方法、装置、计算机设备及存储介质
CN113542290B (zh) 数据访问请求的处理方法、装置、设备及可读存储介质
CN110417710B (zh) 攻击数据捕获方法、装置及存储介质
CN112073421B (zh) 通信处理方法、装置、终端及存储介质
US20230021413A1 (en) Voice Payment Method and Electronic Device
CN111193724B (zh) 鉴权方法、装置、服务器及存储介质
CN108616835A (zh) 基于浏览器的网络资源获取方法、装置、系统及存储介质
CN111970298B (zh) 应用访问方法、装置、存储介质及计算机设备
CN115329309A (zh) 验证方法、装置、电子设备及存储介质
CN111191254B (zh) 访问校验方法、装置、计算机设备及存储介质
CN114124405A (zh) 业务处理方法、系统、计算机设备及计算机可读存储介质
CN110569631B (zh) 基于区块链的账号检测方法、装置、设备及存储介质
CN116633611A (zh) 信息验证方法、装置、电子设备及存储介质
CN118102295A (zh) 一种通信方法以及电子设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant