KR102387492B1 - 시계의 착용자의 안면 인식을 위한 방법 - Google Patents

시계의 착용자의 안면 인식을 위한 방법 Download PDF

Info

Publication number
KR102387492B1
KR102387492B1 KR1020190141761A KR20190141761A KR102387492B1 KR 102387492 B1 KR102387492 B1 KR 102387492B1 KR 1020190141761 A KR1020190141761 A KR 1020190141761A KR 20190141761 A KR20190141761 A KR 20190141761A KR 102387492 B1 KR102387492 B1 KR 102387492B1
Authority
KR
South Korea
Prior art keywords
wearer
face
watch
optical sensor
images
Prior art date
Application number
KR1020190141761A
Other languages
English (en)
Other versions
KR20200054883A (ko
Inventor
에도아르도 프란치
알랭-세르쥬 포레
Original Assignee
띠쏘 에스.에이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 띠쏘 에스.에이 filed Critical 띠쏘 에스.에이
Publication of KR20200054883A publication Critical patent/KR20200054883A/ko
Priority to KR1020210107309A priority Critical patent/KR20210103998A/ko
Application granted granted Critical
Publication of KR102387492B1 publication Critical patent/KR102387492B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G04—HOROLOGY
    • G04B—MECHANICALLY-DRIVEN CLOCKS OR WATCHES; MECHANICAL PARTS OF CLOCKS OR WATCHES IN GENERAL; TIME PIECES USING THE POSITION OF THE SUN, MOON OR STARS
    • G04B47/00—Time-pieces combined with other articles which do not interfere with the running or the time-keeping of the time-piece
    • G04B47/06—Time-pieces combined with other articles which do not interfere with the running or the time-keeping of the time-piece with attached measuring instruments, e.g. pedometer, barometer, thermometer or compass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/02—Detectors of external physical values, e.g. temperature
    • G04G21/025—Detectors of external physical values, e.g. temperature for measuring physiological data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/02—Detectors of external physical values, e.g. temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133—Verifying human interaction, e.g., Captcha

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 시계 (1) 의 착용자의 안면 인식을 위한 방법에 관한 것으로서, 하기 단계들:
- 착용자에 의해 수행된 적어도 하나의 트리거링 움직임/제스처의 검출 (11) 의 서브단계를 포함하는 인증 프로세스의 개시 (10);
- 광학 센서 (3) 의 정면에서 한 방향으로부터 다른 방향으로 피봇하는 착용자의 안면에 대한 이미지들의 적어도 하나의 시퀀스의 캡처 (13);
- 상기 이미지들의 적어도 하나의 시퀀스의 각각의 이미지와 연관된 안면의 표면 기하학적 데이터의 획득 (17);
- 이미지들의 상기 캡처된 적어도 하나의 시퀀스로부터 및 상기 획득된 표면 기하학적 데이터로부터 착용자의 안면의 3 차원 모델의 생성 (18);
- 3 차원 모델에 기초하여 검출된 시계 (1) 의 착용자의 안면의 특징인 복수의 피처들에 대한, 식별 데이터에 기초하여 생성된 식별 인덱스의 결정 (19); 및
- 식별 인덱스가 참조 식별 인덱스보다 더 크면, 착용자의 식별 (21) 을 포함한다.

Description

시계의 착용자의 안면 인식을 위한 방법{METHOD FOR FACIAL AUTHENTICATION OF A WEARER OF A WATCH}
본 발명은 시계의 착용자의 안면 인식을 위한 방법에 관한 것이다.
본 발명은 또한 이 방법을 구현하는 시계 뿐만 아니라 컴퓨터 프로그램에 관한 것이다.
시계는 착용자가 사용할 수 있는 일련의 기능들을 포함한다. 이러한 기능들은 시간 또는 날짜 조정 뿐만 아니라 착용자에게 고유하고 개인화된 서비스들에 액세스하는데 유용한 기밀 또는 프라이빗 데이터의 사용에 관련될 수 있다. 이 데이터는 예를 들어, 키들, 인증서들, 인증 코드들, 회사의 사설 네트워크에 시계의 안전한 접속을 수행할 수 있는 패스워드들 및 개인 코드들, 뱅크 서버와 같은 보안 서버들에 의한 인증 또는 암호화된 이메일들 및/또는 서명된 이메일들의 전송 및 수신을 위한 보안 메시징 서비스이다. 그 결과, 이러한 시계의 기능들의 사용에 액세스를 보장할 수 있는 것이 중요함을 이해해야 한다.
이를 위해, 인증 방법은 종래 기술에 공지되어 있으며, PIN 유형의 비밀 코드를 입력하는 것에 의해 시계의 이들 기능의 사용에 대한 액세스를 보장하도록 설계되었다.
그러나, 이러한 인증 방법들은 시계 착용자가 비밀 코드를 입력하는 것이 제 3 자에 의해 비교적 쉽게 관찰될 수 있기 때문에 완전히 만족스럽지는 않다. 이 메커니즘은 또한 비밀 코드를 착용한 사람이 암기해야 하기 때문에, 이는 당황스러운 상황이 될 수도 있다.
따라서, 특히 종래 기술의 단점들을 갖지 않는 대안의 솔루션에 대한 필요가 있음이 이해된다.
본 발명의 목적은 또한 구현하기에 용이한, 착용자의 강건하고 견고한 인증을 제안하는, 시계의 착용자의 안면 인식을 위한 방법을 제안하는 것이다.
이 목적을 위하여, 본 발명은 시계의 착용자의 안면 인식에 대한 방법에 관한 것으로, 하기의 단계들:
- 착용자에 의해 수행된 적어도 하나의 트리거링 움직임/제스처의 검출의 서브단계를 포함하는 인증 프로세스의 개시;
- 광학 센서의 정면에서 한 방향으로부터 다른 방향으로 피봇하는 착용자의 안면에 대한 이미지들의 적어도 하나의 시퀀스의 캡처;
- 상기 이미지들의 적어도 하나의 시퀀스의 각각의 이미지와 연관된 안면의 표면 기하학적 데이터의 획득;
- 상기 이미지들의 캡처된 적어도 하나의 시퀀스로부터 및 상기 획득된 기하학적 데이터로부터 착용자의 안면의 3 차원 모델의 생성;
-3 차원 모델에 기초하여 검출된 시계의 착용자의 안면의 특징인 복수의 피처들에 대한, 식별 데이터에 기초하여 생성된 식별 인덱스의 결정; 및
- 식별 인덱스가 참조 식별 인덱스보다 더 크면, 착용자의 식별을 포함한다.
다른 실시형태들에 있어서:
- 개시의 단계는 광학 센서의 반대편에 위치된 착용자의 안면이 생체에 속한다고 결정하는 서브단계를 포함하고;
- 이 안면이 광학 센서의 정면에서 한 방향으로부터 다른 방향으로 피봇할 때, 착용자의 안면을 형성하는 모든 부분들의 복수의 이미지들의 획득의 서브단계를 포함하고;
- 획득의 서브단계는 2 개의 상이한 광 노출들을 갖는 안면의 각각 동일한 부분에 대해 적어도 2 개의 이미지들을 캡처하는 캡처 단계를 포함하며, 하나의 노출은 가시광에 대한 것이고 하나의 노출은 적외선 광에 대한 것이며;
- 획득하는 서브단계는:
■ 안정적인 또는 실질적으로 안정적인 위치에 있는 시계;
■ 이미지들의 적어도 하나의 시퀀스의 각각의 이미지에 포함되도록 하기 위하여 광학 센서에 대해 최적의 위치에 있는 착용자의 안면
을 유지하는 것을 목표로 하기 위하여 시계의 착용자에게 시각적 및/또는 사운드 가이딩하는 단계를 포함한다,
- 획득 단계는 캡처 단계와 동시에 또는 실질적으로 동시에 수행되며;
- 결정 단계는 이 식별 데이터 간의 대응을 결정하기 위해 3 차원 모델로부터 유래하는 식별 데이터가 참조 3 차원 모델에 대해 사전-기록된 식별 데이터와 비교되는 프로세싱의 서브단계를 포함하고;
- 상기 적어도 하나의 트리거링 움직임/제스처는 이 시계의 광학 센서의 반대편에 있는 착용자의 안면의 위치결정 동안 시계를 포함하는 착용자의 신체의 부분에 의해 수행된다.
본 발명은 또한 이 방법을 구현하는 특히 스마트한 시계에 관한 것이고, 이 시계는 프로세싱 유닛, 광학 센서, 적어도 하나의 광원 및 행동적 및/또는 생리적 센서들을 포함하고, 상기 프로세싱 유닛은 광학 센서에, 상기 적어도 하나의 광원에, 그리고 행동적 및/또는 생리적 센서들에 접속된다.
본 발명은 또한 컴퓨터 프로그램이 시계의 프로세싱 유닛에 의해 실행될 때 이 방법의 단계들의 실행에 대한 프로그램 코드 명령들을 포함하는 상기 컴퓨터 프로그램에 관한 것이다.
다른 특징들 및 이점들은, 첨부 도면들을 참조하여, 어떠한 방식으로든 제한하지 않고 정보제공의 목적으로, 하기에서 주어지는 설명으로부터 분명해질 것이다.
- 도 1 은 본 발명의 실시형태에 따라 시계의 착용자의 안면 인식을 위한 방법에 관한 플로우차트를 도시한다.
- 도 2 는 본 발명의 실시형태에 따라 이 방법을 구현하는 시계를 도시한다.
도 1 은 시계 (1) 의 착용자의 안면 인식을 위한 방법을 예시한다. 이 방법은 특히 광학 센서 (3) 를 사용하여 수행되는 착용자의 안면의 3 차원 모델링/표현에 기초하여 시계 (1) 의 착용자에 대한 확실한 인증을 수행하는 것을 목표로 한다.
이러한 방법은 시계 (1), 특히 스마트 워치에 의해 구현된다. 도 2 에 예시된 이러한 시계 (1) 는 비배타적이고 비제한적인 방식으로 하기:
- 프로세싱 유닛 (2);
- 광학 센서 (3);
- 제 1 아날로그 디스플레이 컴포넌트 및 제 2 디지털 및/또는 영숫자 디스플레이 컴포넌트가 제공된 하이브리드 디스플레이 다이얼 (4);
- 발광 다이오드 또는 레이저 다이오드 타입의 제 1 광원 (5);
- 적외선 타입의 제 2 광원 (6);
- 사진 플래시로서 사용되도록 설계된 제 3 광원 (7);
- 스피커와 같은 사운드 인터페이스;
- 통신 인터페이스;
- 행동적 또는 생리적 움직임; 및
- 행동적 및/또는 생리적 센서들 (8) 을 포함한다.
시계 (1) 의 프로세싱 유닛 (2) 은 물리적 및 소프트웨어 리소스들, 특히 메모리 엘리먼트와 협력하는 적어도 하나의 프로세서를 포함한다. 이들 메모리 엘리먼트들은 착용자의 안면에 대한 참조 3 차원 모델, 참조 3 차원 모델에 포함된 착용자의 안면의 특징인 피처에 대한 정보 데이터, 및 참조 식별 인덱스를 포함한다. 이러한 프로세싱 유닛 (2) 은 그중에서도 광학 센서 (3) 에, 디스플레이 다이얼 (4) 에, 제 1, 제 2 및 제 3 광원들 (5, 6, 7) 에, 사운드 인터페이스에, 통신 모듈에, 및 움직임에 그리고 환경적, 행동적 및/또는 생리적 센서들 (8) 에 연결/접속된다.
이 시계 (1) 에서, 매트릭스 이미지 센서라 불리는 광학 센서 (3) 는 예를 들어 CCD 기술 (전하 전달 기술) 또는 CMOS 라 불리는 기술을 갖는 센서들을 포함할 수 있다. 이러한 센서는 감광성 이미지 포인트 (또는 픽셀) 의 매트릭스를 포함한다. 이 포인트들의 매트릭스는 또한, "픽셀 매트릭스" 로 지칭되고 광에 매우 우수한 감도를 갖는 NxM 유닛 픽셀들을 포함한다. 일 대안에서, 이러한 센서 (3) 는 종래의 포토사이트 대신에 광에 민감한 유기 필름을 포함할 수 있다. 이러한 광학 센서 (3) 는 또한 아날로그-디지털 변환기를 포함한다. 이 광학 센서 (3) 는 "자동 포커싱 기능", 또한 자동적인 "줌" 기능 뿐만 아니라 적외선 이미지들을 캡처하는 기능을 구현할 수 있다. 또한, 이 광학 센서 (3) 는 착용자의 안면과 같은 3 차원의 장면을 실시간으로 측정하기 위하여 운행 시간 (TOF; Time of Flight) 의 원리에 따라 동작할 수 있으며, 이 경우, 광학 센서 (3) 는 불필요한 주변광을 제거하기 위하여 적외선의 대역 통과 필터를 포함할 수 있다.
또한, 행동적 센서들 (8) 은 예를 들어 착용자에 의해 수행되는 움직임 또는 제스처와 같은 시계 (1) 의 착용자의 모든 유형의 행동 특성을 측정할 수 있다. 이를 위하여, 이들 행동적 센서들 (8) 은 가속도계들 및/또는 자이로스코프들을 연관시키는 복수의 축들에 따라 각속도 및 선형 가속도들을 검출가능한, 가속도계의 하나 이상의 관성 센서들, 자이로스코프 또는 미니에이처 다중축 자이로미터 타입, 이를 테면, MEMS 기술을 이용하여 제조된 다중축 센서들을 포함할 수 있다. 생리적 센서 (8) 와 관련하여, 이들은 예를 들어 맥박, 피부 임피던스, 혈압, 호흡 레이트, 호흡 부정맥, 피부 온도, 땀 레이트, 신체의 적외선 방사, 혈액의 산소 포화도 또는 혈류와 같은 착용자의 조직의 기능성에 대한 파라미터들을 측정할 수 있다. 시계 (1) 는 또한 예를 들어 이를 테면, 온도, 대기압 등의 환경 파라미터를 측정하도록 특별히 구성된 환경 센서를 포함할 수 있다.
이러한 방법은 착용자에 의해 수행된 적어도 하나의 트리거링 움직임/제스처의 검출의 서브단계 (11) 를 포함하는 인증 프로세스의 개시의 단계 (10) 를 포함한다. 이 상기 적어도 하나의 트리거링 움직임/제스처가 이 시계 (1) 의 광학 센서 (3) 의 반대편에 있는 착용자의 안면의 위치결정 동안 시계를 포함하는 착용자의 신체의 부분에 의해 수행된다. 이러한 단계 (10) 는 아래 설명된 이 단계 (10) 의 검출 및 결정의 서브 단계 (11, 12) 의 구현에 의해 충족되는 특정 조건 하에서 인증 프로세스를 개시하는 것을 목표로 한다.
검출의 서브단계 (11) 는 착용자가 실제로, 시작되려 하는 인증 프로세스에 대해 담당하도록 보장하는 것에 의해 시계 (1) 의 착용자를 미리 식별할 수 있게 한다. 이를 위해, 착용자가 인증되기를 원할 때, 착용자는 예를 들어 시계 (1) 가 제공된 착용자의 팔 및/또는 착용자 손목의 적어도 하나의 미리 정의된 움직임/제스처를 실행한다. 이 상기 적어도 하나의 움직임/제스처는 그 후, 착용자에 의해 실행된 이 상기 적어도 하나의 움직임/제스처를 캡처한 행동적 센서로부터 유래하는 측정 데이터의 적어도 하나의 피스 상에서, 착용자에 의해 수행된 프로세싱의 여러 동작들이 수행된 후에 프로세싱 유닛 (2) 에 의해 식별된다. 이들 동작은 특히 상기 적어도 하나의 측정 데이터를 하나 이상의 참조 임계값과 비교하는 것을 포함한다.
위에 언급된 바와 같이, 이 단계 (10) 는 또한 광학 센서 (3) 의 반대편에 위치된 착용자의 안면이 생체에 속한다는 결정의 서브단계 (12) 를 포함한다. 이러한 서브단계 (12) 는 센서의 반대편에 위치한 안면이 예를 들어 사진, 비디오 또는 사진에 포함될 수 있는 안면의 재현이 아닌 인증을 원하는 시계 착용자의 안면임을 효율적으로 검증하는 것을 목표로 한다. 이러한 서브단계 (12) 동안, 프로세싱 유닛 (2) 은 적어도 하나의 측정 데이터의 피스를 하나 이상의 참조 임계값들과 비교하기 위하여 광학 센서 (3) 의 반대편에 위치된 안면에서 수행되는 적어도 하나의 생리적 측정 데이터의 피스에 대한 다양한 프로세싱 동작을 수행한다. 이 측정은 이 안면으로 유래하는 적외선 방사의 방출, 사진 플래시 역할을 하는 제 3 광원 (6) 에 노출된 후의 이 안면의 적어도 하나의 눈에서의 동공의 사이즈에서의 변동, 눈꺼풀 깜박임의 검출에 기초하여 확립될 수 있다.
이 결정의 서브단계 (12) 는 검출의 서브단계 (11) 와 동시에 또는 실질적으로 동시에 구현될 수 있음에 유의한다.
개시 단계 (10) 가 수행되었다면, 방법은 그 후, 광학 센서 (3) 의 정면에서 한 방향으로부터 다른 방향으로 피봇하는 착용자의 안면에 대한 이미지들의 적어도 하나의 시퀀스의 캡처하는 단계 (13) 를 수행하는 것을 포함한다. 보다 구체적으로, 이 단계 (13) 는 이 안면이 광학 센서 (3) 의 정면에서 한 방향으로부터 다른 방향으로 피봇할 때, 착용자의 안면을 형성하는 모든 부분들의 복수의 이미지들의 획득의 서브단계 (14) 를 포함한다. 광학 센서 (3) 의 정면의 착용자의 안면의 피봇은 안면을 형성하는 모든 부분이 포착되는 방식으로 수행된다는 것이 이해된다. 이 서브단계 (14) 는 2 개의 상이한 광 노출들을 갖는 안면의 각각 동일한 부분에 대해 적어도 2 개의 이미지들을 캡처하는 캡처 단계 (15) 를 포함하며, 하나의 노출은 가시광에 대한 것이고 하나의 노출은 적외선 광에 대한 것이다.
이러한 조건에서, 이 서브단계 (14) 는 착용자의 안면의 이미지들의 적어도 2 개의 시퀀스들을 획득하게 하며, 이 안면의 이미지들의 제 1 시퀀스의 표면은 가시광에 의해 조명되고, 안면의 이미지들의 제 2 시퀀스의 표면은 적외선에 의해 조명된다.
가시광선에 노출된 안면을 포함하는 이미지들의 사용은 이들 이미지에서 안면의 피부색 또는 질감에 대한 안면의 특징인 피처의 검출을 용이하게 한다. 적외선 광에 노출된 안면을 포함하는 이미지들의 사용은 가시광에서 캡처된 안면의 이미지들의 사용보다 조명 조건에 덜 의존적이기 때문에 바람직하다.
이러한 서브단계 (14) 는:
- 안정적인 또는 실질적으로 안정적인 위치에 있는 시계 (1); 및/또는
- 이미지들의 적어도 하나의 시퀀스의 각각의 이미지에 포함되도록 하기 위하여 광학 센서 (3) 에 대해 최적의 위치에 있는 착용자의 안면
을 유지하는 것을 목표로 하기 위하여 시계 (1) 의 착용자에게 시각적 및/또는 사운드 가이딩하는 단계 (16) 를 포함한다.
이 서브단계 (14) 동안, 프로세싱 유닛 (2) 은 각각의 캡처된 이미지들의 시퀀스의 각각의 이미지에서의 착용자의 안면의 유지에 기여하기 위하여 광학 센서 (3) 의 포커싱 및 "줌"의 기능을 제어할 수 있다.
그 후, 이 방법은 착용자의 안면에 대한 이미지들의 적어도 하나의 시퀀스의 캡처 단계를 구현하는 동안 상기 적어도 하나의 시퀀스의 각각의 이미지와 연관된 안면의 표면 기하학적 데이터의 획득 단계 (17) 를 포함한다. 이 단계 (17) 동안, 착용자의 안면이 광학 센서 (3) 정면에서 한 방향에서 다른 방향으로 피봇할 때, 이 기하학적 데이터는 제 1 및 제 2 시퀀스에 포함된 각각의 획득된 이미지에 대해 생성된다. 보다 구체적으로, 착용자의 안면의 피봇 동안, 레이저 타입의 구조화된 광의 빔은 따라서, 안면의 이들 부분들 각각의 3 차원 형상을 스캔하는 방식으로, 제 1 및 제 2 시퀀스들의 각각의 이미지에 존재하는 안면의 각각의 캡처된 부분 상에 투사된다.
이러한 획득 단계 (17) 는 캡처 단계 (13) 와 동시에 또는 실질적으로 동시에 수행된다. 그 후, 제 1 및 제 2 시퀀스의 이미지는 이미지들 각각과 연관된 대응하는 기하학적 데이터와 함께 프로세싱 유닛 (2) 의 메모리 엘리먼트들에 아카이브된다.
그 후, 본 방법은 적어도 하나의 캡처된 이미지들의 시퀀스로부터 및 획득된 기하학적 데이터로부터 착용자의 안면의 3 차원 모델의 생성 단계 (18) 를 포함한다. 이 단계 (18) 동안, 프로세싱 유닛 (2) 은 이미지들의 적어도 하나의 시퀀스 및 기하학적 데이터에 기초하여 착용자의 안면의 3 차원 모델의 구성 알고리즘을 구현한다. 이러한 알고리즘은 이들이 포함할 수 있는 결함들, 이를 테면, 피크, 트로프, 또는 원하지 않는 부분의 존재, 이를 테면, 헤어 또는 옷, 또는 안면에 존재하는 악세서리들을 수정하기 위하여, 제 1 및 제 2 시퀀스의 이미지들의 전처리 단계를 포함할 수 있다. 따라서, 이 안면은 피크의 제거, 트로프의 충전 및 안면의 유용한 부분의 분할에 의한 결함의 수정을 포함할 수 있다. 이를 위해 노이즈를 제거하기 위해 입력에서 각각의 이미지에 2 차원 메디안 필터를 적용할 수 있다. 이 노이즈는 이웃과 코히어런트하지 않는 픽셀의 형태일 수 있다. 그 후 이 단계는 입을 열때 매우 간단하게 또는 홍채 또는 눈썹과 같은 안면의 어두운 영역에 의해 구조화된 광의 흡수로부터 유래하는 스로트들을 채우기 위하여 2차원 보간의 적용을 포함할 수 있다. 이들 각각의 시퀀스들 및 대응하는 기하학적 데이터에 대해 획득된 이미지에 기초하여, 3 차원 모델은 3 차원 메싱 프로세스의 구현에 의해 특히 생성된다.
본 방법은 그 후, 3 차원 모델에 기초하여 검출된 시계 (1) 의 착용자의 안면의 특징인 복수의 피처들에 대한, 식별 데이터에 기초하여 생성된 식별 인덱스의 결정 단계 (19) 를 포함한다. 안면의 포인트 특징이라고도 하는 안면의 특징인 피처들의 안면의 구조를 3 차원으로 분석할 수 있게 한다. 즉, 이들 특징적인 피처들은 높이, 폭 및 깊이로 디스패치된 특징의 피처들의 세트로서 안면을 해석할 수 있게 한다. 이러한 특징의 피처들은:
- 안면의 기하학성에 대해;
- 안면의 표면의 부분들의 기하학성에 대해;
- 안면의 부분의 상대적 위치들에 대해;
- 피부 또는 안면의 이 피부의 영역들의 질감에 대해;
- 피부의 또는 안면의 이 피부의 영역들의 색조/컬러에 대해
비제한적이고 비배타적 방식일 수 있다.
예를 들어, 이들 특징의 피처들은 주름, 턱, 주근깨, 흉터, 입술, 입술 모서리, 코, 코 끝, 귀, 귀 끝, 눈 사이의 거리, 코의 융부들 사이의 거리, 코마루 사이의 거리, 턱의 거리 등일 수 있다.
바람직하게는, 식별 인덱스의 결정을 위해 고려되는 안면의 이러한 특징의 피처들은 안면의 표현 동안 안정하게 유지되는 착용자의 안면의 영역/구역에 포함된다.
이 단계 (19) 동안, 프로세싱하는 단계 (20) 가 구현되며, 이 단계 동안, 3 차원 모델로부터 유래하는 식별 데이터가 이 식별 데이터 간의 대응을 결정하기 위해 유닛 (2) 의 메모리 엘리먼트들에 사전 기록된 식별 데이터와 비교된다. 이 비교 결과에 따라, 식별 인덱스는 프로세싱 유닛 (2) 에 의해 생성된다. 프로세싱의 이 서브단계 (20) 는 이 구현을 위하여 제한된 구성가능한 수의 식별 데이터의 피스들의 사용을 포함할 수 있다. 이러한 수는 이러한 인증 방법을 수행하는 신속성에 비해 이 방법을 제공하는데 원하는 견고성에 따라 파라미터화될 수 있다.
따라서, 이 방법은 식별 인덱스가 참조 식별 인덱스보다 더 크면, 착용자의 식별 단계 (21) 를 포함한다. 이 참조 인덱스는 생성 단계 (18) 동안 구성된 착용자의 안면의 3 차원 모델의 식별 데이터와, 착용자의 안면의 참조 3 차원 모델에 상대되는 프로세싱 유닛 (2) 의 메모리 엘리먼트들에 사전 기록된 식별 데이터 사이의 대응성을 검증할 수 있게 한다. 다시 말해, 결정된 식별 인덱스가 참조 식별 인덱스보다 더 클 때, 생성된 3 차원 모델은 착용자의 안면의 참조 3 차원 모델과 상당한 수의 유사도를 갖는다. 반대로, 결정된 식별 인덱스가 참조 식별 인덱스 이하일 때, 생성된 3 차원 모델과 참조 3 차원 모델 사이의 유사도의 수가 충분하지 않아서 그 결과 착용자가 식별되지 않는다. 이 경우, 착용자에게 착용자가 식별되지 않았음을 알려주는 시각적 및/또는 사운드 메시지가 착용자에게 브로드캐스트될 수 있다.
본 발명은 또한 컴퓨터 프로그램이 시계 (1) 의 프로세싱 유닛 (2) 에 의해 실행될 때 이 방법의 단계들 10 내지 21 의 실행에 대한 프로그램 코드 명령들을 포함하는 상기 컴퓨터 프로그램에 관한 것이다.

Claims (10)

  1. 시계 (1) 의 착용자의 안면 인식을 위한 방법으로서,
    하기 단계들:
    - 상기 착용자에 의해 수행된 적어도 하나의 트리거링 움직임/제스처의 검출 (11) 의 서브단계 및 광학 센서 (3) 의 반대편에 위치된 상기 착용자의 안면이 생체에 속한다고 결정하는 (12) 서브단계를 포함하는 인증 프로세스의 개시 (10);
    - 상기 광학 센서 (3) 의 정면에서 한 방향으로부터 다른 방향으로 피봇하는 상기 착용자의 안면에 대한 이미지들의 적어도 하나의 시퀀스의 캡처 (13);
    - 상기 적어도 하나의 시퀀스의 각각의 이미지와 연관된 안면의 표면 기하학적 데이터의 획득 (17);
    - 이미지들의 캡처된 상기 적어도 하나의 시퀀스로부터 및 획득된 상기 표면 기하학적 데이터로부터 상기 착용자의 안면의 3 차원 모델의 생성 (18);
    - 상기 3 차원 모델에 기초하여 검출된 상기 시계 (1) 의 상기 착용자의 안면의 특징인 복수의 피처들에 대한, 식별 데이터에 기초하여 생성된 식별 인덱스의 결정 (19); 및
    - 상기 식별 인덱스가 참조 식별 인덱스보다 더 크면, 상기 착용자의 식별 (21) 을 포함하고,
    상기 착용자의 안면이 생체에 속한다고 결정하는 (12) 서브단계를 위한 생리적 측정은: (i) 상기 착용자의 안면으로 유래하는 적외선 방사의 방출, (ii) 사진 플래시 역할을 하는 제 3 광원 (6) 에 노출된 후의 상기 착용자의 안면의 적어도 하나의 눈에서의 동공의 사이즈에서의 변동, 및 (iii) 눈꺼풀 깜박임의 검출 중 적어도 하나에 기초하여 확립되는, 시계 (1) 의 착용자의 안면 인식을 위한 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 캡처 (13) 의 단계는 이 안면이 상기 광학 센서 (3) 의 정면에서 한 방향으로부터 다른 방향으로 피봇할 때, 상기 착용자의 안면을 형성하는 모든 부분들의 복수의 이미지들의 획득 (14) 의 서브단계를 포함하는, 시계 (1) 의 착용자의 안면 인식을 위한 방법.
  4. 제 3 항에 있어서,
    상기 획득 (14) 의 서브단계는 2 개의 상이한 광 노출들을 갖는 안면의 각각 동일한 부분에 대해 적어도 2 개의 이미지들의 각각의 캡처 (15) 의 단계를 포함하며, 하나의 노출은 가시광에 대한 것이고, 하나의 노출은 적외선 광에 대한 것인, 시계 (1) 의 착용자의 안면 인식을 위한 방법.
  5. 제 3 항에 있어서,
    상기 획득 (14) 의 서브단계는:
    - 안정적인 위치에 있는 상기 시계 (1); 및/또는
    - 안면이 상기 이미지들의 적어도 하나의 시퀀스의 각각의 이미지에 포함되도록 하기 위하여 상기 광학 센서 (3) 에 대해 최적의 위치에 있는 상기 착용자의 안면
    을 유지하는 것을 목표로 하기 위하여 상기 시계 (1) 의 상기 착용자의 시각적 및/또는 사운드 가이딩 (16) 의 단계를 포함하는, 시계 (1) 의 착용자의 안면 인식을 위한 방법.
  6. 제 1 항에 있어서,
    상기 획득 (17) 의 단계는 상기 캡처 (13) 의 단계와 동시에 수행되는, 시계 (1) 의 착용자의 안면 인식을 위한 방법.
  7. 제 6 항에 있어서,
    상기 결정 (19) 의 단계는 이 식별 데이터 간의 대응을 결정하기 위해 상기 3 차원 모델로부터 유래하는 상기 식별 데이터가 참조 3 차원 모델에 대해 사전-기록된 식별 데이터와 비교되는 프로세싱 (20) 의 서브단계를 포함하는, 시계 (1) 의 착용자의 안면 인식을 위한 방법.
  8. 제 7 항에 있어서,
    상기 적어도 하나의 트리거링 움직임/제스처가 이 시계 (1) 의 상기 광학 센서 (3) 의 반대편에 있는 상기 착용자의 안면의 위치결정 동안 상기 시계 (1) 를 포함하는 상기 착용자의 신체의 부분에 의해 수행되는, 시계 (1) 의 착용자의 안면 인식을 위한 방법.
  9. 제 1 항 및 제 3 항 내지 제 8 항 중 어느 한 항에 기재된 방법을 구현하는 시계 (1) 로서,
    프로세싱 유닛 (2), 광학 센서 (3), 적어도 하나의 광원 (5, 6, 7) 및 행동적 및/또는 생리적 센서들 (8) 을 포함하고, 상기 프로세싱 유닛 (2) 은 상기 광학 센서 (3) 에, 상기 적어도 하나의 광원 (5, 6, 7) 에, 그리고 상기 행동적 및/또는 생리적 센서들 (8) 에 접속되는, 시계 (1).
  10. 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은, 상기 컴퓨터 프로그램이 시계 (1) 의 프로세싱 유닛 (2) 에 의해 실행될 때 제 1 항 및 제 3 항 내지 제 8 항 중 어느 한 항에 기재된 방법의 실행에 대한 프로그램 코드 명령들을 포함하는, 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020190141761A 2018-11-09 2019-11-07 시계의 착용자의 안면 인식을 위한 방법 KR102387492B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210107309A KR20210103998A (ko) 2018-11-09 2021-08-13 시계의 착용자의 안면 인식을 위한 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18205295.1 2018-11-09
EP18205295.1A EP3651057B1 (fr) 2018-11-09 2018-11-09 Procede d'authentification faciale d'un porteur d'une montre

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210107309A Division KR20210103998A (ko) 2018-11-09 2021-08-13 시계의 착용자의 안면 인식을 위한 방법

Publications (2)

Publication Number Publication Date
KR20200054883A KR20200054883A (ko) 2020-05-20
KR102387492B1 true KR102387492B1 (ko) 2022-04-15

Family

ID=64277504

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190141761A KR102387492B1 (ko) 2018-11-09 2019-11-07 시계의 착용자의 안면 인식을 위한 방법
KR1020210107309A KR20210103998A (ko) 2018-11-09 2021-08-13 시계의 착용자의 안면 인식을 위한 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210107309A KR20210103998A (ko) 2018-11-09 2021-08-13 시계의 착용자의 안면 인식을 위한 방법

Country Status (5)

Country Link
US (1) US11977615B2 (ko)
EP (1) EP3651057B1 (ko)
JP (1) JP2020077412A (ko)
KR (2) KR102387492B1 (ko)
CN (1) CN111177677A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111724571B (zh) * 2020-08-07 2022-11-04 新疆爱华盈通信息技术有限公司 智能手表、利用智能手表的测温方法、体温监测系统
CN114419718B (zh) * 2022-03-10 2022-08-02 荣耀终端有限公司 电子设备及人脸识别方法
CN115165115B (zh) * 2022-09-07 2023-07-04 中亿(深圳)信息科技有限公司 智能手表的体温测量方法、装置、介质及穿戴设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130286161A1 (en) * 2012-04-25 2013-10-31 Futurewei Technologies, Inc. Three-dimensional face recognition for mobile devices
JP2016051482A (ja) * 2014-08-28 2016-04-11 ケビン・アラン・チューシーＫｅｖｉｎ Ａｌａｎ Ｔｕｓｓｙ 認証システムにおいてユーザを登録および認証するための方法、顔認証システム、ならびに認証システムにおいてユーザを認証するための方法
US20160285865A1 (en) 2013-09-20 2016-09-29 Asmag-Holding Gmbh Authentication system for a mobile data terminal

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7512255B2 (en) * 2003-08-22 2009-03-31 Board Of Regents, University Of Houston Multi-modal face recognition
US8782775B2 (en) * 2007-09-24 2014-07-15 Apple Inc. Embedded authentication systems in an electronic device
DE102011054658A1 (de) * 2011-10-20 2013-04-25 Bioid Ag Verfahren zur Unterscheidung zwischen einem realen Gesicht und einer zweidimensionalen Abbildung des Gesichts in einem biometrischen Erfassungsprozess
US8959616B2 (en) * 2012-10-25 2015-02-17 2236008 Ontario Inc. System and method for accessing a restricted object
KR102136836B1 (ko) 2013-09-09 2020-08-13 삼성전자주식회사 생체 신호들을 이용하여 사용자 인증을 수행하는 착용형 기기 및 그 착용형 기기의 인증 방법
US9794542B2 (en) * 2014-07-03 2017-10-17 Microsoft Technology Licensing, Llc. Secure wearable computer interface
US11256792B2 (en) * 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
CN105095715A (zh) 2015-06-30 2015-11-25 国网山东莒县供电公司 一种电力系统网络的身份认证方法
MX2018003051A (es) * 2015-09-11 2018-06-08 Eyeverify Inc Calidad de imagen y características, mejora de imagen y extracción de características para reconocimiento ocular-vascular y facial, y fusión de información ocular-vascular con facial y/o sub-facial para sistemas biométricos.
CN105654048A (zh) 2015-12-30 2016-06-08 四川川大智胜软件股份有限公司 一种多视角人脸比对方法
US10210381B1 (en) * 2017-08-01 2019-02-19 Apple Inc. Multiple enrollments in facial recognition
CN108594995A (zh) 2018-04-13 2018-09-28 广东小天才科技有限公司 一种基于手势识别的电子设备操作方法及电子设备
CN108764180A (zh) 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 人脸识别方法、装置、电子设备及可读存储介质
CN108765869A (zh) 2018-05-31 2018-11-06 深圳市零度智控科技有限公司 基于人脸识别的儿童安全手表
US10769414B2 (en) * 2018-06-03 2020-09-08 Apple Inc. Robust face detection
US10303866B1 (en) * 2018-06-03 2019-05-28 Apple Inc. Automatic retries for facial recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130286161A1 (en) * 2012-04-25 2013-10-31 Futurewei Technologies, Inc. Three-dimensional face recognition for mobile devices
US20160285865A1 (en) 2013-09-20 2016-09-29 Asmag-Holding Gmbh Authentication system for a mobile data terminal
JP2016051482A (ja) * 2014-08-28 2016-04-11 ケビン・アラン・チューシーＫｅｖｉｎ Ａｌａｎ Ｔｕｓｓｙ 認証システムにおいてユーザを登録および認証するための方法、顔認証システム、ならびに認証システムにおいてユーザを認証するための方法

Also Published As

Publication number Publication date
EP3651057B1 (fr) 2023-06-14
US11977615B2 (en) 2024-05-07
CN111177677A (zh) 2020-05-19
KR20210103998A (ko) 2021-08-24
KR20200054883A (ko) 2020-05-20
US20200151307A1 (en) 2020-05-14
JP2020077412A (ja) 2020-05-21
EP3651057A1 (fr) 2020-05-13

Similar Documents

Publication Publication Date Title
KR20210103998A (ko) 시계의 착용자의 안면 인식을 위한 방법
EP3362946B1 (en) Eye pose identification using eye features
EP3414742B1 (en) Optimized object scanning using sensor fusion
CN104243800B (zh) 控制装置和存储介质
US20140254939A1 (en) Apparatus and method for outputting information on facial expression
KR20170019779A (ko) 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
KR20190129826A (ko) 생체 검측 방법 및 장치, 시스템, 전자 기기, 저장 매체
JP2004320287A (ja) デジタルカメラ
JP2004317699A (ja) デジタルカメラ
JP2015088099A (ja) 情報処理装置および情報処理方法
KR20060064553A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JPWO2014128773A1 (ja) ジェスチャ登録装置、ジェスチャ登録プログラムおよびジェスチャ登録方法
WO2020071008A1 (ja) 生体認証システム、生体認証方法およびプログラム
JP2004320286A (ja) デジタルカメラ
JP2015088096A (ja) 情報処理装置および情報処理方法
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
CN106662919A (zh) 安全可佩戴计算机接口
JP2015088098A (ja) 情報処理装置および情報処理方法
JP2004320285A (ja) デジタルカメラ
EP3572029B1 (fr) Dispositif d'analyse d'une situation dentaire
WO2019224056A1 (fr) Procede d'analyse d'une situation dentaire
JP2005149370A (ja) 画像撮影装置、個人認証装置及び画像撮影方法
KR101053253B1 (ko) 3차원 정보를 이용한 얼굴 인식 장치 및 방법
JP2022120681A (ja) 画像処理装置および画像処理方法
JP2021018729A (ja) 個人識別装置、ヘッドマウントディスプレイ、コンテンツ配信サーバ、および個人識別方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2021101002108; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20210813

Effective date: 20220125

GRNO Decision to grant (after opposition)
GRNT Written decision to grant