KR102556762B1 - 머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치 - Google Patents

머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치 Download PDF

Info

Publication number
KR102556762B1
KR102556762B1 KR1020227035415A KR20227035415A KR102556762B1 KR 102556762 B1 KR102556762 B1 KR 102556762B1 KR 1020227035415 A KR1020227035415 A KR 1020227035415A KR 20227035415 A KR20227035415 A KR 20227035415A KR 102556762 B1 KR102556762 B1 KR 102556762B1
Authority
KR
South Korea
Prior art keywords
features
feature
image
actual
distance
Prior art date
Application number
KR1020227035415A
Other languages
English (en)
Other versions
KR20220145412A (ko
Inventor
벤 호일르
Original Assignee
칼 자이스 비전 인터내셔널 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 칼 자이스 비전 인터내셔널 게엠베하 filed Critical 칼 자이스 비전 인터내셔널 게엠베하
Priority to KR1020227045411A priority Critical patent/KR20230006602A/ko
Publication of KR20220145412A publication Critical patent/KR20220145412A/ko
Application granted granted Critical
Publication of KR102556762B1 publication Critical patent/KR102556762B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179—Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Dentistry (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Supporting Of Heads In Record-Carrier Devices (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Adjustment Of The Magnetic Head Position Track Following On Tapes (AREA)
  • Image Processing (AREA)

Abstract

머리 특징부의 치수 또는 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치가 제공된다. 방법은, 사람의 머리의 영상에서 복수의 특징부를 식별하는 단계를 포함한다. 복수의 특징부 중 적어도 하나의 타겟 특징부와 영상을 포착하기 위해 사용된 카메라 장치 사이의 실제 거리, 또는 복수의 특징부 중 적어도 하나의 타겟 특징부의 실제 치수는, 복수의 특징부 중 적어도 하나의 특징부의 픽셀 치수, 및 복수의 특징부 중 적어도 하나의 특징부의 실제 치수에 대한 확률 분포에 기초하여 추정된다.

Description

머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치
본 출원은 머리의 하나 이상의 영상에 기초하여 머리 특징부(feature)의 치수 또는 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치에 관한 것이다.
안경 렌즈 피팅(fitting) 또는 안경테 피팅 분야의 다양한 적용예는 머리의 다양한 특징부의 치수에 대한 지식을 필요로 한다. 예를 들어, DIN EN ISO 13666:2013-10의 5.29에 정의된 바와 같은 동공간 거리(PD)는, 눈이 똑바른 위치의 무한 거리에 있는 물체를 응시하는 경우 동공의 중심 사이의 거리로서, 안경테를 맞춤화하기 위해 필요할 수 있을 뿐만 아니라, 경우에 따라, 안경 렌즈 자체를 특정 사람에게 맞추기 위해서도 필요할 수 있다.
안경테의 가상 피팅과 같은 기술을 사용하는 다수의 최근 접근법은, 사람의 머리로부터 획득된 하나 이상의 영상에 의존한다.
사람의 머리의 영상을 획득하는 경우, 영상으로부터, 동공간 거리와 같은, 머리의 특징부의 다양한 치수가 픽셀(화소)로 결정될 수 있다. 그러나, 픽셀의 이러한 크기를 실제 크기(예를 들어, 밀리미터)로 변환하기 위해, 일부 크기 조정(scale)이 필요하다.
이하에서, "실제 치수(real dimension)"라는 용어는, 영상으로부터 직접 획득될 수 있고 "픽셀 치수"로 지칭되는 픽셀로 주어진 치수와 대조적으로, 실세계의 특징부의 치수(밀리미터, 센티미터 등의 단위)를 지칭하기 위해 사용될 것이다.
이와 관련하여 "특징부"라는 용어는, 영상에서 식별될 수 있는 머리의 하나 이상의 부분, 및/또는 그러한 부분 사이의 관계를 지칭한다. 예를 들어, 코, 귀, 눈 등과 같은 단일 부분 뿐만 아니라, 동공간 거리가 이러한 특징부로서 간주될 수 있다.
그러한 크기 조정을 달성하기 위한 복수의 통상적인 접근법이 알려져 있다. 예를 들어, US 9 265 414 B2는 영상에서 다른 물체와 함께 포착되는 알려진 크기의 물체를 사용한다. 예를 들어, 알려진 크기의 물체는 플라스틱 신용카드일 수 있으며, 플라스틱 신용카드는 영상으로 포착될 머리와 접촉되게 홀딩된 다음, 신용카드(이의 실제 치수)에 의해 걸쳐 있는 영상의 픽셀의 수가 결정된다. 신용카드의 실제 치수(예를 들어, 밀리미터 단위)가 또한 알려져 있기 때문에, 이는 픽셀의 치수를 밀리미터의 치수로 변환할 수 있게 하는 크기 조정에 해당한다.
알려진 크기의 기준 물체를 사용하는(이 경우, 가상 착용 기술을 위해) 다른 공보는 US 6 535 233 A이다. 이러한 접근법은 알려진 크기의 물체를 필요로 하며, 이는 경우에 따라 불편할 수 있다.
US 6 995 762 B1은 2차원 영상에서 탐색된 물체의 입체 물체 재구성을 가능하게 한다. 이러한 접근법은 이미징된 물체의 정확한 물리적 크기에 대한 지식을 필요로 한다.
US 6 262 738 B1은 2차원 영상으로부터 체적 측정 거리 맵을 추정하기 위한 방법을 설명한다. 방법은 3차원 공간의 물체에 평행하게 그리고 물체에 수직으로 투영되는 물리적 광선을 사용한 다음, 결과적인 2차원 영상으로부터 크기 추정치를 재구성한다. 이러한 접근법의 경우, 깊이 영상을 획득하기 위한 특정 광선이 필요하다.
JP 6 392 756 B2는 측정될 물체가 알려진 회전 축 및 알려진 회전율을 갖는 플랫폼 상에서 회전되는 동안, 다수의 영상을 획득함으로써 물체의 크기를 추정하기 위한 방법을 개시한다. 이러한 접근법의 경우, 회전 플랫폼이 필요하다.
US 2010/0220285 A1에 개시된 다른 접근법에서, 사람의 머리의 영상을 포착하기 위해 사용되는 카메라와 머리 사이의 거리가 예를 들어 초음파 센서를 사용함으로써 측정된다. 영상에서 특징부의 픽셀 치수 및 거리를 인식하는 경우, 예를 들어 밀리미터 단위의 실제 치수는 카메라의 주어진 광학계에서 계산될 수 있다. 즉, 특정 광학계를 갖는 특정 카메라의 경우, 특징부의 픽셀 치수는, 카메라로부터의 특징부의 거리, 및 특징부의 실제 치수에 따라 좌우된다. 3개의 수치(즉, 특징부의 픽셀 치수, 실제 치수(예를 들어, 밀리미터 단위), 및 특징부로부터의 카메라의 거리) 중 2개가 알려져 있는 경우, 세 번째 것은 계산될 수 있다.
일부 적용예의 경우, WO 2018/002332 A1에 설명된 바와 같이, 예를 들어 편심 광굴절 측정을 위해, 카메라로부터의 특징부(특히, 눈)의 거리를 결정하는 것이 또한 필요하다.
Kumar M S Shashi 등의 "단안 카메라로부터의 얼굴 거리 추정"(2013년 IEEE 국제 영상 처리 컨퍼런스, 2013-09-15, 3532~3536 페이지, XP032966333, DOI: 10.1109/ICIP.2013.6738729); Sai Krishna Pathi 등의 "자기 중심적(Egocentric) RGB 카메라를 사용하여 로봇으로부터 인간까지의 거리를 추정하기 위한 새로운 방법"(Snesors Vol 19, No. 14, 2019-07-17, 1~13 페이지, XP055725398, DOI: 10.3390/s19143142); 및 Bianco Simone 등의 "픽셀-정밀 거리 추정을 위한 일관된 표현"(멀티미디어 도구 및 애플리케이션, Kluwer Academic 출판사, 보스턴, 미국, Vol. 78 No. 10, 2018-08-24, 13767~13786 페이지, XP036807892, ISSN: 1380-7501, DOI: 10.1007/S11042-018-6568-2)은, 얼굴 특징부에 기초하여 카메라와 얼굴 사이의 거리를 추정하기 위한 방법을 각각 개시한다.
위의 설명으로부터 알 수 있는 바와 같이, 영상을 획득할 때 카메라로부터의 특징부의 거리를 결정하거나, 영상에서 특징부의 실제 치수를 결정하기 위한 통상적인 접근법은, 회전 플랫폼 또는 특정 조명 광선과 같은 특정 장치, 다수의 영상, 또는 알려진 치수의 추가적인 물체를 요구하는 것과 같은, 다양한 단점이 있다.
따라서, 본 출원의 목적은, 추가적인 특수 하드웨어 또는 다수의 영상의 획득을 필요로 하지 않는, 머리 특징부의 실제 치수 또는 거리를 결정하기 위한 방법 및 해당 장치를 제공하는 것이다.
이러한 목적은 청구항 제1항 또는 제3항에 한정된 바와 같은 방법, 및 청구항 제12항 또는 제13항에 한정된 바와 같은 장치에 의해 달성된다. 종속 청구항은 컴퓨터 프로그램 뿐만 아니라 추가적인 실시형태, 및 이러한 컴퓨터 프로그램을 전달하는 데이터 신호 또는 저장 매체를 한정한다.
본 발명에 따라, 머리 특징부의 치수 또는 거리를 결정하기 위한 컴퓨터 구현 방법이 제공된다. 방법은,
사람의 머리의 영상을 제공하는 단계;
영상에서 복수의 특징부를 식별하는 단계; 및
복수의 특징부 중 적어도 하나의 특징부의 픽셀 치수, 및 복수의 특징부 중 적어도 하나의 특징부의 실제 치수에 대한 확률 분포에 기초하여, 복수의 특징부 중 적어도 하나의 타겟 특징부의 실제 치수, 또는 복수의 특징부 중 적어도 하나의 타겟 특징부와 영상을 포착하기 위해 사용된 카메라 장치 사이의 실제 거리 중 적어도 하나를 추정하는 단계를 포함한다.
이미 언급된 바와 같이, "실제" 치수 및 "실제" 거리는 실세계의 치수 및 거리(예를 들어, 밀리미터 단위의 사람의 동공 거리)이다. 픽셀 치수는, 영상으로부터 직접 획득될 수 있는 바와 같은 치수를 지칭한다. 예를 들어, 동공간 거리에 해당하는 픽셀 치수는, 영상에서 탐색된 바와 같은 동공 사이의 픽셀의 거리이다.
"복수의 특징부 중 적어도 하나의 타겟 특징부"는, 실제 치수 또는 실제 거리가 결정될 특징부 또는 특징부들을 지칭한다. "복수의 특징부 중 적어도 하나의 특징부"는, 이러한 결정을 위한 기초로서 사용되는 특징부 또는 특징부들을 지칭한다. 그 둘은 상호 배타적이지 않으며, 즉, 특징부는, "복수의 특징부 중 적어도 하나의 타겟 특징부"일 수 있을 뿐만 아니라, "복수의 특징부 중 적어도 하나의 특징부"일 수 있지만, 결정을 위한 기초로서 그리고 타겟 특징부(들)로서 상이한 특징부를 사용하는 것도 가능하다.
본 출원의 의미에서 확률 분포는, 정보, 특히 특징부의 상이한 실제 치수의 발생 확률에 관한 정보를 제공하는 수학 함수이다. 이는 수학적 의미에서 확률을 제공하기 위해 이의 적분이 1로 정규화되는 함수일 수 있다. 확률 분포는, 특징부의 실제 치수에 관한 사전 지식을 구성한다. 이러한 확률 분포는, 다수의 머리로부터 측정된 데이터를 사용하여 획득될 수 있다. 일반적으로, 머리, 특히 얼굴을 포함하는 인체의 치수는 오랫동안 의학 및 생물학에서 검사되었으므로, 광범위한 데이터 및 확률 분포가 이용 가능하며 공개되어 있다. 이러한 간행물의 실시예는, Patrick Caroline의 "소프트 렌즈 피팅에 대한 각막 직경의 효과"(2016년 11월 17일); www.contamac-globalinsight.com의 블로그로서, C. C. Gordon 등의 "2012 미 육군 인원의 인체 측정 조사: 방법 및 요약 통계"(2012년, 통계(번호: NATICK/TR-15/007)); http://www.dtic.mil/dtic/tr/fulltext/u2/a611869.pdf로부터 2017년 6월에 검색된 육군 Natick Soldier 연구 개발 및 엔지니어링 센터 MA.; B. Winn 등의 "정상 인간 대상자의 광 순응 동공 크기에 영향을 주는 요인"(안과 연구 및 시각 과학지 1994년); 또는 NA Dodgson의 "인간 동공간 거리의 편차 및 극값"(입체 디스플레이 및 가상 현실 시스템 XI 5291, 36-46, 2002)을 포함한다.
다른 실시형태에서, 물리적으로 유도된 수학적 모델이 확률 분포 함수로서 사용될 수 있다. 예를 들어, 물체(예를 들어, 귀)의 크기의 분포가 가우스 정규 분포에 의해 매우 잘 표현되는 것으로 알려져 있는 경우, 그러한 수학 함수(이 경우, 가우스 정규 분포)는, 이용 가능한 데이터로부터 완전한 확률 분포를 모델링할 필요 없이, 확률 분포로서 사용될 수 있거나, 분포는 전술한 컴퓨터 구현 방법을 구현하는 컴퓨터 프로그램의 제공자에 의해 사전에 측정될 수 있으며, 이 경우에도, 상이한 특징부의 상이한 치수의 분포 간의 공분산이 측정될 수 있다. 그 다음, 이러한 공분산은, 아래에 추가로 설명되는 바와 같이, 이후에 사용될 수 있다. 즉, 예를 들어, 많은 수의 머리 또는 얼굴 상의 특징부를 측정함으로써, 프로그램의 제공자가 확률 분포를 스스로 획득하는 경우, 상이한 특징부의 치수 간의 공분산도 결정될 수 있다(예를 들어, 큰 머리가 큰 귀와 상관되는지 여부). 전술한 바와 같은 확률 분포를 획득하기 위해 상이한 접근법을 사용하는 경우, 획득된 확률 분포는 이들이 기초로 하는 데이터에 따라서도 가변될 것임을 유의해야 한다. 이로 인해, 실제 치수 또는 실제 거리의 추정의 상응하게 가변되는 결과를 유발할 수 있다.
단지 단일 특징부만의 단일 확률 분포를 사용함으로써, 즉 복수의 특징부 중 적어도 하나의 특징부가 단지 단일 특징부인 경우, 타겟 특징부의 실제 치수 및 이에 따른 실제 거리의 대략적인 추정이 가능할 것이다(본질적으로, 단일 특징부의 확률 분포의 최대값은 특징부의 가장 가능성이 높은 실제 치수인 것으로 말할 수 있다).
따라서, 바람직하게는, 적어도 2개의 특징부의 각각의 실제 치수의 확률 분포가 사용된다(즉, 복수의 특징부 중 적어도 하나의 특징부는 적어도 2개의 특징부이다). 이러한 방식으로, 높은 정확도가 달성될 수 있도록, 추정이 정제될 수 있다.
이러한 방식으로, 단지 영상 및 이용 가능한 데이터를 사용하여, 실제 치수 또는 실제 거리 중 적어도 하나의 추정이 수행될 수 있다. 이와 관련하여, 도입부에서 이미 설명된 바와 같이, 특정 광학계를 갖는 특정 카메라 장치와 특징부 사이의 거리, 및 영상의 특징부의 실제 치수는 고정된 관계를 갖는다.
영상에서 복수의 특징부를 식별하는 단계는, Dlib 또는 공개 CV 소프트웨어를 사용하여 얼굴 특징부를 탐지하는 통상적인 방식으로 수행될 수 있거나(예를 들어, Adrian Rosebrock의 논문 "Dlib, OpenCV 및 파이썬을 통한 얼굴 랜드마크"(2017년 4월 3일, www.pyimageresearch.com); G. Bradski의 "OpenCV 라이브러리"; Dobb 박사의 소프트웨어 도구 학술지(2000년), 또는 D.E. King의 "Dlib-ml: 기계 학습 툴킷"(기계 학습 연구 학술지) 참조), 다른 통상적인 얼굴 분할 소프트웨어를 사용함으로써, 또는 보다 복잡한, 예를 들어 얼굴의 기계 학습 압축 표현물을 사용함으로써 수행될 수 있다. 이러한 압축 버전에서, 측정된 치수는, 인간 정의 측정의 측면에서 즉시 식별되는 것이 아니라, 기계 학습 기술에 의해 처리될 수 있다.
복수의 특징부를 식별하기 위한 다른 접근법은, 영상에서 사람의 얼굴을 탐지하는 단계로 시작된다. 이는 임의의 통상적인 얼굴 탐지 방법, 예를 들어 Dalal, N., Triggs, B.의 "인간 탐지를 위한 지향 기울기(oriented gradient)의 히스토그램"(컴퓨터 비전 및 패턴 인식에 관한 2005년 IEEE 컴퓨터 학회 컨퍼런스(CVPR'05), pp. 886-893 vol. 1. doi:10:1109/CVPR:2005:177)에 설명된 방법을 사용하여 수행될 수 있다.
얼굴 탐지를 위한 이러한 방법에서, 영상 피라미드가 구성되며, 지향 기울기의 히스토그램을 사용하여, 영상에 걸쳐서 슬라이딩되는 윈도우로부터 특징부를 추출한다. 이러한 특징부로부터, 얼굴을 포함하거나 포함하지 않는 것으로서 각각의 윈도우를 분류하는, 선형 지원 벡터 머신 분류기가 트레이닝된다.
그 다음, 현재 설명된 접근법에서, 예를 들어 Cootes, T.F., Edwards, G.J., Taylor, C.J.의 2001년 "능동 외형 모델(Active appearance models)"(패턴 분석 & 기계 지능에 관한 IEEE 보고서 23, 681-685. doi:10:1109/34:927467)에 설명된 바와 같은, 능동 외형 모델(AAM)은, 얼굴이 탐지되어 소위 랜드마크를 탐지하면 영상에 적용된다. 랜드마크 탐지를 통해, 얼굴 상의 다양한 지점이 식별되어, 예를 들어, 귀 및 귀의 상부 및 하부, 입술의 경계, 눈 및 홍채로서 표시될 수 있다. AAM은 변형 가능 물체의 통계적 파라미터화된 개념에 기초하는 생성 모델의 종류이며, 형상 모델 및 외형 모델의 2개의 부분으로 구성된다. 지점 분포 모델로도 지칭되는 형상 모델은, 물체를 랜드마크 좌표의 어레이로서 한정한다.
이의 트레이닝 동안, 트레이닝 세트의 모든 관심 물체의 형상은, 예를 들어, Gower, J.C.의 1975년 "일반화된 프로크루스테스 분석(procrustes analysis)"(Psychometrika 40, 33-51)에 설명된 바와 같은, 일반화된 프로크루스테스 분석을 통해 정렬되어 정규화된다. 본 출원에서, 관심 물체는 탐지되는 얼굴이다. 그 후에, 이러한 형상 세트를 위한 정규 직교 기준(orthonormal basis)은, 주성분 분석(PCA)을 사용하여 계산될 수 있다. 따라서, 물체(s)는 형상 모델에 의해 다음과 같이 한정될 수 있다:
여기서, 는 평균 형상을 나타내고, p는 이러한 하나의 물체에 대해 특정된 형상 파라미터이며, S는 형상의 주성분이다.
외형 모델은, 한정된 랜드마크 주변의 영상의 텍스처에 관한 정보를 포함하며, 이의 트레이닝 프로세스는 형상 모델의 트레이닝 프로세스와 매우 유사하다. 제1 단계는, 이러한 특정 적용예에서, 영상 기울기 방향으로 구성되는 트레이닝 영상으로부터 정보를 추출하는 것이다. 그 다음, 모든 영상이 평균 형상으로 왜곡됨으로써, 모든 영상의 해당 랜드마크의 픽셀이 정렬된다. 그 다음, 영상이 정렬됨으로써, PCA를 사용하여, 외형의 주성분을 계산하는 것이 가능하다. 마지막으로, 랜드마크 주변의 패치(patch)가 선택되고, 나머지 정보는 폐기된다.
그 다음, 얼굴의 외형(a)은, 형상 모델과 유사하게, 다음과 같이 벡터 표기법으로 한정될 수 있다:
여기서, 는 모든 트레이닝 영상의 평균 외형을 한정하고, c는 이러한 영상의 외형 파라미터이며, A는 외형의 주성분이다.
그 다음, 현재 설명된 특징부 탐지 접근법의 다음 단계는, 모델을 새로운 영상에 피팅하는 것이다. 이는 외형 모델과 형상 모델로부터 샘플링된 영상 텍스처 간의 차이를 최소화하는 최적 파라미터 세트(p 및 c)를 탐색하는 단계에 상응한다. 즉, 물체 형상(s)에 대한 초기 추정치 및 관심 물체를 포함하는 영상(I)을 고려하면, s 단위로 지점에서 샘플링된 영상 텍스처(As)와 현재 외형() 간의 차이(r)는, 로서 한정될 수 있다. 그 다음, 최적 모델 파라미터는 다음으로 주어진다:
이러한 비용 함수는, 임의의 최적화 알고리즘(예를 들어, 기울기 하강의 패밀리에 있는 것들)으로 최적화될 수 있다.
이와 같이 획득된 랜드마크로부터, 특징부가 결정될 수 있다. 특히, 특징부는 식별된 랜드마크 간의 픽셀 치수일 수 있다. 예를 들어, 전술한 얼굴 랜드마킹 모델이 영상에 적용되면, N개의 랜드마크 지점의 세트가 생성된다. 얼굴 상에 픽셀 치수 측정치를 갖는 세트의 고유하지만 상관된 특징부는, N개의 랜드마크 지점의 세트로 구성될 수 있다.
바람직하게는, 이하의 특징부 중 둘 이상이 식별되며, 픽셀 치수가 결정된다:
- 동공간 거리(PD);
- 눈의 한쪽 또는 양쪽 홍채의 직경;
- 눈의 동공의 직경;
- 귀의 수직 길이;
- 한쪽 눈 또는 양쪽 눈의 폭;
- 머리의 높이;
- 멘톤-셀리온(Menton-Sellion) 거리로 지칭되는, 눈 사이의 코의 중앙과 턱의 하부 사이의 거리;
- 턱의 상부에서 측정되는 얼굴에 걸친 가장 넓은 지점인 양협골 폭(bizygomatic breadth); 및/또는
- 귀 위의 이마의 최대 폭인 측두점 폭(Euryon breadth).
위의 특징부는 전술한 영상 분석 기술을 사용하여 용이하게 획득될 수 있으며, 적절하게 문서화되어 있으므로, 확률 분포가 이용 가능하거나 획득될 수 있다.
일부 실시형태에서, 픽셀 치수는, 특징부 중 하나의 픽셀 치수로 정규화될 수 있다. 예를 들어, 일부 실시형태는, 사람의 영상에 기초하여 사람의 동공간 거리를 궁극적으로 결정하는 것을 목표로 하며, 그러한 경우, 픽셀 치수는 픽셀 공간에서 측정된 바와 같은 동공간 거리에 의해 정규화될 수 있으므로, 여기서 앞에서 사용된 특징부는 치수가 없고, 영상의 크기에 따라 좌우되지 않는다. 정규화된 픽셀 치수는 이후의 처리를 원활하게 할 수 있으며, 후속 기계 학습 알고리즘에 의해 사용될 입력 특징부로서 식별될 수 있다. 일부 실시형태에서, 특징부의 자동 또는 수동 선택이 수행될 수 있다. 위에 언급된 바와 같이, N개의 랜드마크 지점의 경우, 특징부(지점 사이의 거리)가 결정될 수 있다. 이미 N=88인 경우, M=3827의 잠재적인 입력 특징부가 발생한다. 이러한 수를 감소시키기 위해, M개 특징부로부터 S개 특징부의 서브세트를 식별하기 위한 특징부 선택 기술이 적용될 수 있다.
예를 들어, 최소 중복성-최대 관련성(MRMR) 알고리즘을 사용하여, 특징부 세트를 감소시킬 수 있다. 이러한 알고리즘은, 예를 들어, Ding, C., Peng, H.의 2003년 "마이크로어레이 유전자 발현 데이터로부터의 최소 중복성 특징부 선택"(컴퓨터 시스템 생물 정보학, 2003년 IEEE 생물 정보학 컨퍼런스의 회의록, CSB2003, pp. 523-528. doi:10:1109/ CSB:2003:1227396), 또는 Peng, H., Long, F., Ding, C.의 2005년 "최대-의존성, 최대-관련성, 및 최소-중복성의 상호 정보 기준에 기초하는 특징부 선택"(패턴 분석 및 기계 지능에 관한 IEEE 보고서 27, 1226-1238. doi:10:1109/TPAMI:2005:159)에 설명되어 있다. MRMR 알고리즘은, 타겟 특징부에 관한 가장 많은 정보를 제공하고 이에 따라 가장 상관되는 그러한 특징부를 식별하는 동시에, 서로 중복되는 특징부(즉, 다른 특징부와 가장 상관되는 것들)를 폐기함으로써, 특징부 선택을 수행한다. Cover, T.M., Thomas, J.A.의 1991년 "정보 이론의 요소"(Wiley-Interscience, 미국)에 설명된 바와 같은 상호 정보(MI)는, 관련성 및 중복성을 측정하기 위한 상관 메트릭으로서 사용될 수 있다. 타겟 특징부는, 궁극적으로 사람의 영상으로부터 결정될 특징부로서, 예를 들어, 안경테를 피팅하기 위해 사용될 동공간 거리(PD)이다.
특징부의 전체 조합 공간의 철저한 탐색은 계산적으로 고비용이다. 위에 인용된 Peng 등에 설명된 바와 같이, 대욕 전진 탐색 알고리즘(greedy forward-search algorithm)이 구현될 수 있다. 초기 특징부 세트는 동공간 거리를 갖는 MI의 값에 의해 랭킹되며, 최고 P개 특징부가 선택되고, 여기서 P > S 및 P<<M이다. 그 다음, 이러한 P개 특징부 세트가 분석됨으로써, 최종 특징부 세트(S)를 식별한다. 특징부가 타겟 특징부와의 총 관련성을 최대화하는 동시에, 이미 S에 있는 다른 특징부와의 총 중복성을 최소화하는 경우, 특징부는 P로부터 S로 추가된다. 실제로, 특징부 세트를 크기 S로 증가시키는 각각의 단계에서, 가장 큰 상호 정보 차이()를 유발하는 특징부가 추가된다. 수치는 다음과 같이 한정된다:
여기서, S는 특징부 세트이고, PD는 여기서 예시적인 타겟 특징부로서 취해진 mm 단위의 동공간 거리이며, 는 상호 정보 연산이다.
비교적 소량의 레이블(labelled) 데이터(예를 들어, S=20)로부터 공분산 행렬의 추정을 가능하게 하기 위해, 크기의 최종 특징부 벡터가 선택될 수 있다.
본 발명의 일 양태에서, 식별된 특징부의 확률 분포 뿐만 아니라 픽셀 치수에 기초하여, 영상의 특징부로부터 추정되는 바와 같은, 밀리미터당 픽셀의 수()에 대한 확률 분포()는, 아래의 수식 (5)에 따라 획득될 수 있다:
수식 (5)에서, 는 복수의 특징부 중 적어도 하나의 특징부의 i=1,2,...,N번째 특징부에 걸쳐 있는 픽셀의 수(또는 즉, i번째 특징부의 픽셀 치수)이다. 는 특징부(i)의 실제 치수() 및/또는 다른 측정된 픽셀 치수와의 이의 공분산의 확률 분포를 나타낸다. 는, 주어진 에 대해 및 에 기초하여 를 측정하는 가능성을 산출하는 연산자이다. 추가로 설명하기 위해, 여기서, 는 얼굴의 평면(카메라 장치로부터 본질적으로 동일한 물리적 거리에 있고 이에 수직인 평면으로서, 이는 얼굴 영상의 경우에도 적어도 대략적으로 해당됨)에서 특징부(i)의 각각의 치수의 픽셀의 수이며, 는 밀리미터당 얼마나 많은 픽셀이 있는지에 대한 현재 또는 제1 추정치로 간주될 수 있는 변수이고, 는 물리적 단위의 특징부(i)의 크기이다. 확률 분포로서의 는, 특징부(i)의 크기 분포, 및 선택적으로, 측정이 이루어지기 전에 다른 측정된 픽셀 치수와의 이의 공분산(예를 들어, 위에 언급된 바와 같음)에 관한 사전 지식을 나타낸다. 는 를 에 곱함으로써 실제 치수(예를 들어, 밀리미터 단위)로 계산될 수 있다.
즉, 는, 로 나타낸 사전 지식을 고려할 때, 픽셀의 측정치에 비추어 크거나 작은 것으로 특징부(i)를 간주하는 확률이다. 는 공개 데이터베이스, 측정치 등에 기초하여 위에 설명된 바와 같이 획득될 수 있다. 근본적인 아이디어는, 모든 특징부가 실제 치수의 적정한 크기를 갖도록, 의 적정한 값이 무엇인지를 결정하기 위해, 의 상이한 값을 검토한다는 것이다. 매우 단순화된 수치 실시예를 제공하기 위해, 는, 2 mm인 특징부(i)의 실제 치수()의 확률이 0.25이고, 3 mm인 것은 0.5이며, 4 mm인 것은 0.25임을 나타낼 수 있다. 가 6 픽셀인 경우, 특징부(i)에 기초하는 mm당 2 픽셀의 추정치에 대한 확률은 0.5이며, mm당 3 픽셀의 경우 0.25이고, mm당 1.5 픽셀의 경우에도 0.25이다. 이는 매우 간단한 수치 실시예일 뿐이다. 수식 (5)는 이제 복수의 특징부(i)에 대한 그러한 추정치를 조합한다.
본 발명의 다른 양태에서, 측정될 특징부에 대한 d 및 θ에 기초하는 영상의 특징부를 사용하여 측정되는 바와 같은, (밀리미터당 픽셀의 수에 대한 확률 분포)가 계산된다. 는 영상의 임의의 타겟 특징부에 대해 사용 가능하며, MCMC(몬테 카를로 마르코프 체인) 유형 확률 공간 탐색, 또는 다른 실시형태에서 확률 분포의 수학적 조합에 기초하여 추정될 수 있다. 수식 (5)는 곱셈에 의해 그러한 수학적 조합을 제공한다. 특히, 복수의 확률 분포가 관련된 경우, 계산은 더 고차원 계산이며, 이는 많은 양의 컴퓨팅 전력, 메모리 또는 둘 모두를 필요로 한다. 이러한 경우, 예를 들어, 통계학에서 이러한 문제를 해결하는 표준 방식인, 위에 언급된 MCMC 접근법을 사용하여, 확률 분포가 특정 방식으로 샘플링될 수 있다. 이러한 접근법은, 예를 들어, 마르코프 체인 및 이들의 적용예(Biometrika Vol. 57, pp. 97 내지 109)를 사용하는 W. Hastings, 몬테 카를로 샘플링 방법에 설명된다.
단일 특징부(예를 들어, i=1)의 단일 측정치를 통해, 는 에만 기초할 수 있지만, 증가하는 수의 측정치(i > 1)를 통해, 가 더 정확해진다(예를 들어, 복수의 특징부의 치수를 사용함으로써). 는 비례를 나타낸다.
본질적으로, 수식 (5)에 따라, 일부 사전 정보()를 가지며, 추정치()를 획득할 수 있다.
및 궁극적으로 동공간 거리와 같은 타겟 특징부의 크기를 결정하는 다른 접근법은, Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., Duchesnay, E.의 2011년 "Scikit-학습: 파이썬의 기계 학습"(기계 학습 연구 학술지 12, 2825-2830)에 설명된 바와 같은 scikit-학습을 포함하는 기계 학습 기술을 사용하며, 회귀를 위해 Rasmussen, C., Williams, C.의 2006년 "기계 학습을 위한 가우스 프로세스"(적응형 계산 및 기계 학습, MIT 출판부, Cambridge, MA, USA)에 설명된 바와 같은 가우스 프로세스 및 K-최근접 이웃의 구현이 사용될 수 있다.
타겟 특징부로서의 동공간 거리의 경우, 는 주어진 얼굴 형상()(즉, 동공간 거리의 실제 치수에 대한 확률 분포)에 대해 계산될 수 있다. 는, 타겟 특징부(이 경우, 동공간 거리(PD))에 특정된, 위의 수식 (5)의 특수한 경우로서 간주될 수 있다. 아래의 가우스 프로세스에서, 결정에 대한 일 실시예가 주어질 것이다. 가우스 프로세스는, 트레이닝 데이터가 없는 데이터 공간의 영역에서 사전 정보의 사용을 가능하게 한다. 또한, 이는 단지 지점 예측이 아닌, 예측 값에 대한 전체 확률 분포 함수를 제공한다. 입력 데이터로서, 특징부, 및 특징부의 실제 치수에 관한 정보가 사용된다.
가우스 프로세스의 목표는, 가우스 분포를 일반화함으로써 함수의 특성을 모델링하는 것이다. 즉, 데이터가 얼굴 영상으로부터 측정되는 특징부(X)로 구성된다고 가정하면, 는 일부 추가된 노이즈를 갖는 일부 알려지지 않은 함수(f)를 통해 모델링될 수 있으므로, 이고(여기서, 입력 X는 얼굴 형상 벡터일 것이며, 출력 PD는 동공간 거리일 것임), 그 다음, f는 그 자체로 무작위 변수로서 간주될 수 있다. 여기서, 이러한 변수는, 다음과 같이 이의 평균 및 공분산에 의해 한정된 다변수 가우스 분포를 따를 것이다:
여기서, m(x)는 평균 함수를 한정하고, 는 커널 또는 공분산 함수이다.
대체로 평균은 0으로 설정되며, 공분산은 데이터를 포착하기에 충분히 유연하도록 선택되어야 한다. 여기서, 공분산이 K로서 행렬 형태로 표현되는 경우, 무작위 변수(f)의 확률은 일 것이다. 사실상, 이는 2개의 입력 벡터(x1 및 x2) 간의 공분산이 이들의 해당 출력 값(PD1 및 PD2) 간의 공분산과 매우 유사해야 함을 의미한다(즉, 유사한 얼굴 형상을 가진 두 사람은 유사한 동공간 거리를 가져야 한다). 함수(f)는, 동공간 거리에 대한 전제(prior)(예를 들어, 동공간 거리에 대한 통계에 기초하는 사전 정보)를 표현하는 가우스 분포를 사용하여 초기화된다. 아래의 수식 (9)에 나타낸 바와 같이, 베이스의 정리에 따라 f에 걸친 분포를 업데이트하는 가우스 프로세스에 데이터 지점이 추가된다. 이는 레이블 데이터 세트로 모델을 트레이닝하는 프로세스에 해당한다.
분포(f)가 트레이닝 데이터를 통해 제한되었기 때문에, 타겟 값(PD_) 또는 새로운 입력 지점(x_)에 대한 추정치가 획득될 수 있다. 이를 위해, 예측 분포가 필요하다. 가우스 프로세스의 맥락에서, 이는 다음과 같이 한정된 가우스 분포일 것이다:
여기서, 각각의 데이터 지점의 노이즈가 다른 데이터 지점과 무관하다고 가정하면, 는 노이즈 분산을 한정한다.
커널 K의 경우, 예를 들어, 지수 함수형 커널, 선형 커널, matern32 커널, matern52 커널, 또는 이의 선형 조합이 사용될 수 있다. 바람직하게는, 양호한 결과를 제공하고 다음과 같이 한정되는 지수 함수형 2차 커널이 사용된다:
여기서, l는 특성 길이-크기 조정이고, 는 신호 분산이다. 뿐만 아니라 이러한 파라미터의 값은 이들의 최대 확률 추정치로 설정되며, 이는 scikit-학습에 의해 제공되는 최적화 방법을 사용하여 획득될 수 있다.
가우스 프로세스 또는 임의의 다른 기계 학습 접근법은 트레이닝 데이터에 의해 트레이닝될 수 있으며, 실제 치수는 알려져 있으므로(예를 들어, 다른 수단에 의해 측정됨), 트레이닝 데이터로부터의 특징부의 실제 치수 및 픽셀 치수를 갖는 영상 둘 모두가 수식 (5)의 확률을 표현하는 함수를 근사화하기 위해 사용된다.
따라서, 수식 (5)로 돌아가면, 영상의 밀리미터당 픽셀의 수를 제공하는 크기 조정이 결정될 수 있으며, 결과적으로, 임의의 특징부(예를 들어, 동공간 거리)의 실제 치수가 결정될 수 있다. 픽셀 치수, 실제 치수, 및 카메라 장치 정보 간의 위의 관계를 통해, 카메라 장치로부터의 거리도 결정될 수 있다.
일부 실시형태에서, 그 사람에 관한 추가적인 정보에 기초하여, 확률 분포(예를 들어, 수식 (5)의 )가 선택된다. 이러한 방식으로, 모든 사람에 대한 일반적인 확률 분포보다 더 구체적인 확률 분포가 사용될 수 있다. 예를 들어, 이러한 추가적인 정보는, 성별(남성 또는 여성, 또는 다른 성별 스코어), 인종(백인, 아시아인 등), 사이즈, 또는 연령을 포함할 수 있다. 예를 들어, 성별, 연령, 및 인종이 알려져 있는 경우, 이러한 조합에 특정된 확률 분포가 사용될 수 있다. 유사한 고려사항이 사이즈에 적용된다. 예를 들어, 이러한 추가적인 정보는, 그 사람 또는 다른 사용자에 의해 입력될 수 있다. 일부 실시형태에서, 추가적인 정보는 영상으로부터 도출될 수도 있다. 예를 들어, 영상 분석에 의해, 인종 또는 성별의 추정치가 획득될 수 있다.
일부 실시형태에서, 단일 영상 대신에, 복수의 영상도 사용될 수 있으며, 복수의 영상에서 특징부를 식별하는 단계가 정확도를 증가시키기 위해 사용될 수 있다.
예를 들어, 안경테의 피팅, 안경의 제조, 또는 초기에 언급된 광굴절과 같은 시력 검사를 위해서도, 추정된 실제 치수 또는 거리가 사용될 수 있다.
또한, 프로세서를 통해 실행될 때, 위의 방법 중 어느 하나의 실행을 야기하는 명령을 포함하는 컴퓨터 프로그램이 제공된다.
해당 저장 매체, 특히, 이러한 컴퓨터 프로그램을 전송하는 데이터 캐리어 신호 뿐만 아니라, 이러한 컴퓨터 프로그램을 저장하는, 메모리 장치, 하드 디스크, DVD 또는 CD와 같은 실체적인 저장 매체가 또한 제공된다.
또한, 해당 장치가 제공되고, 해당 장치는,
사람의 머리의 영상을 제공하기 위한 수단;
영상에서 복수의 특징부를 식별하기 위한 수단; 및
적어도 하나의 특징부의 픽셀 치수, 및 복수의 특징부 중 적어도 하나의 특징부의 실제 치수에 대한 확률 분포에 기초하여, 영상을 포착하기 위해 사용된 카메라 장치와의 특징부 중 적어도 하나 사이의 실제 거리, 및 특징부 중 적어도 하나의 실제 치수 중 적어도 하나를 추정하기 위한 수단을 포함한다.
장치는 위의 방법 중 어느 하나를 수행하도록 구성될 수 있다.
위에 설명된 바와 같은 기술은, 머리의 특징부와 관련된 치수 및 거리를 결정하기 위한 적용예로 제한되는 것이 아니라, 일반적으로 영상에서 특징부의 실제 치수를 결정하기 위해 사용될 수 있다. 이러한 적용예에서, 전술한 방법 및 장치와 비교하여, 사람의 머리의 영상은 일반적인 영상으로 대체되며, 영상의 특징부는, 나무, 사람, 자동차 등과 같은 영상의 임의의 물체일 수 있다. 또한, 이러한 물체의 경우, 치수에 관한 확률 분포가 이용 가능하거나, 측정될 수 있다. 이 경우, 추가적인 정보는, 예를 들어, 자동차의 브랜드, 나무의 종 등일 수 있다. 그 외에는, 전술한 바와 같은 기술이 적용될 수 있다.
추가적인 실시형태는 첨부된 도면을 참조하여 설명될 것이며, 첨부된 도면으로서:
도 1은 일 실시형태에 따른 장치의 블록도이다;
도 2는 일 실시형태에 따른 방법을 도시하는 흐름도이다;
도 3은 사람의 머리의 다양한 특징부를 도시하는 도면이다; 그리고
도 4는 풍경 영상의 다양한 특징부를 도시한다.
도 1은 일 실시형태에 따른 장치의 블록도이다. 도 1의 장치는, 카메라 장치(10) 및 컴퓨팅 장치(11)를 포함한다. 카메라 장치(10)는, 사람의 머리의 영상을 포착하기 위한 영상 센서 및 하나 이상의 광학 요소를 포함한다. 영상은 컴퓨팅 장치(11)에 제공된다. 컴퓨팅 장치(11)는 하나 이상의 프로세서를 포함한다. 컴퓨팅 장치(11)는 개인용 컴퓨터일 수 있거나, 도 2와 관련하여 아래에 추가로 설명되는 바와 같은 방법을 수행하기 위해, 서로 통신하는 복수의 개별 개체를 더 포함할 수 있다. 일부 실시형태에서, 카메라 장치(10) 및 컴퓨팅 장치(11)는, 단일 장치(예를 들어, 스마트폰 또는 태블릿 컴퓨터)에 통합될 수 있다. 그 다음 설명될 도 2의 방법을 실행하기 위해, 컴퓨팅 장치(11)는 이에 따라 프로그래밍된다.
도 2는 본 발명의 방법의 일 실시형태의 개략적인 블록도이다. 20에서, 사람의 머리의 영상이 제공된다. 도 1의 실시형태에서, 영상은 카메라 장치(10)에 의해 제공된다.
21에서, 영상의 복수의 특징부가 식별된다. 특징부에 대한 일부 실시예는 도 3에 도시된다. 도 3에 도시된 특징부는, 동공간 거리(30), 홍채의 직경(33), 눈의 폭(31), 귀의 수직 길이(36), 멘톤-셀리온(Menton-Sellion) 거리(34), 양협골 폭(35), 측두점 폭(38), 또는 머리의 높이(37)를 포함한다.
도 2로 돌아가면, 22에서, 사람에 관한 추가적인 정보가 제공된다. 전술한 바와 같이, 이러한 추가적인 정보의 실시예는 사이즈, 성별, 연령, 인종 등을 포함한다.
23에서, 전술한 바와 같이, 복수의 특징부 중 적어도 하나(바람직하게는 적어도 2개)의 특징부의 실제 치수, 및 복수의 특징부 중 적어도 하나(바람직하게는 적어도 2개)의 픽셀 치수에 대한 확률 분포에 기초하여, 카메라 장치(10)와의 복수의 특징부 중 적어도 하나의 타겟 특징부 사이의 실제 거리, 또는 복수의 특징부 중 적어도 하나의 타겟 특징부의 실제 치수 중 적어도 하나가 추정된다.
전술한 바와 같이, 본원에 설명된 기술은, 도 3에 도시된 바와 같은 머리 특징부로부터 영상의 다른 특징부의 치수 추정으로 확장될 수 있다. 일 실시예가 도 4에 도시된다. 여기서, 나무(40), 자동차(41), 교통 표지판(42), 사람(45), 강아지(46), 및 도로(47)를 포함하는 장면이 제공된다. 이러한 모든 종류의 물체에 대해, 전형적인 치수 또는 치수에 대한 크기 확률 분포가 존재한다. 영상(43)의 이러한 특징부 또는 물체의 픽셀 치수는, 영상(43)을 획득하는 카메라 장치(44)로부터의 z 방향으로의 거리 및 이들의 실제 치수에 따라 좌우된다. 확률 분포 및 추가적인 정보(예를 들어, 나무(40)의 종, 사람(45)의 성별, 인종 또는 연령, 강아지(46)의 품종, 자동차(41)의 브랜드 또는 유형 등)를 사용하여, 이러한 실제 치수 및/또는 z 방향으로의 거리가 결정될 수 있다.
일부 실시형태는 이하의 실시예에 의해 한정된다:
실시예 1. 머리 특징부의 치수 또는 거리를 추정하거나 결정하기 위한 컴퓨터 구현 방법으로서,
사람의 머리의 영상을 제공하는 단계(20);
상기 영상에서 복수의 특징부(30-38)를 식별하는 단계(21)를 포함하며,
상기 복수의 특징부(30-38) 중 적어도 하나의 특징부의 픽셀 치수, 및 상기 복수의 특징부(30-38) 중 적어도 하나의 특징부의 실제 치수에 대한 확률 분포에 기초하여, 상기 영상을 포착하기 위해 사용된 카메라 장치(10)와 상기 복수의 특징부(30-38) 중 적어도 하나의 타겟 특징부 사이의 실제 거리, 또는 상기 복수의 특징부(30-38) 중 적어도 하나의 타겟 특징부의 실제 치수 중 적어도 하나를 추정하는 단계(23)를 특징으로 하는, 머리 특징부의 치수 또는 거리를 추정하거나 결정하기 위한 컴퓨터 구현 방법.
실시예 2. 실시예 1에 있어서, 상기 복수의 특징부 중 적어도 하나의 특징부는, 상기 복수의 특징부 중 적어도 2개의 특징부를 포함하는 것을 특징으로 하는, 방법.
실시예 3. 실시예 1 또는 2에 있어서, 상기 특징부(30-38)는,
- 동공간 거리(30);
- 홍채 직경(33);
- 동공 직경;
- 수직 귀 길이(36);
- 멘톤-셀리온 거리(34);
- 양협골 폭(35);
- 측두점 폭(38);
- 눈 폭(31); 및
- 머리 높이(37)로 구성되는 그룹으로부터 획득된 하나 이상의 특징부를 포함하는 것을 특징으로 하는, 방법.
실시예 4. 실시예 1 내지 3 중 어느 하나에 있어서, 상기 추정하는 단계는, 에 따라, 상기 영상의 밀리미터당 픽셀의 수()에 대한 확률 분포 를 계산하는 단계를 포함하며,
여기서, 는 i = 1,2,…,N번째 특징부에 걸쳐 있는 픽셀의 수이고, 는 특징부(i)의 실제 치수() 및/또는 다른 측정된 픽셀 치수와의 이의 공분산의 확률 분포를 나타내며, 는 상기 확률 분포()를 고려할 때 값에 대한 의 상기 실제 치수()의 확률을 제공하는 연산인 것을 특징으로 하는, 방법.
실시예 5. 실시예 1 내지 4 중 어느 하나에 있어서, 상기 사람에 관한 추가적인 정보를 제공하는 단계, 및 상기 추가적인 정보에 기초하여 상기 확률 분포를 선택하는 단계를 더 포함하는, 방법.
실시예 6. 실시예 5에 있어서, 상기 추가적인 정보를 제공하는 단계는, 사용자 입력으로서 상기 추가적인 정보를 수신하는 단계를 포함하거나/포함하며, 상기 영상에 기초하여 상기 추가적인 정보를 결정하는 단계를 포함하는 것을 특징으로 하는, 방법.
실시예 7. 실시예 5 또는 6에 있어서, 상기 추가적인 정보는, 상기 사람의 성별, 상기 사람의 연령, 상기 사람의 인종, 또는 상기 사람의 사이즈 중 하나 이상을 포함하는 것을 특징으로 하는, 방법.
실시예 8. 실시예 1 내지 7 중 어느 하나에 있어서, 상기 특징부(30-38) 중 적어도 하나의 실제 치수 중 적어도 하나를 추정하는 단계는, 상기 사람의 동공간 거리를 추정하는 단계를 포함하는, 방법.
실시예 9. 실시예 1 내지 8 중 어느 하나에 있어서, 영상을 제공하는 단계는 복수의 영상을 제공하는 단계를 포함하며, 상기 추정하는 단계(23)는 상기 복수의 영상에 기초하여 수행되는 것을 특징으로 하는, 방법.
실시예 10. 실시예 1 내지 9 중 어느 하나에 있어서,
- 상기 추정하는 단계(23)에 기초하여, 안경테를 상기 사람의 머리에 피팅하는 단계;
- 상기 추정하는 단계(23)에 기초하여 안경을 제조하는 단계; 또는
- 상기 추정하는 단계(23)에 기초하여 시력 검사를 수행하는 단계 중 하나 이상을 특징으로 하는, 방법.
실시예 11. 장치로서,
사람의 머리의 영상을 제공하기 위한 수단(10);
상기 영상에서 복수의 특징부(30-38)를 식별하기 위한 수단을 포함하며,
상기 복수의 특징부(30-38)의 픽셀 치수, 및 상기 복수의 특징부(30-38) 중 적어도 하나의 특징부의 실제 치수에 대한 확률 분포에 기초하여, 상기 영상을 포착하기 위해 사용된 수단(10)과의 상기 특징부(30-38) 중 적어도 하나 사이의 실제 거리, 또는 상기 특징부(30-38) 중 적어도 하나의 실제 치수 중 적어도 하나를 추정하기 위한 수단을 특징으로 하는, 장치.
실시예 12. 컴퓨터 프로그램으로서, 하나 이상의 프로세서를 통해 수행될 때, 실시예 1 내지 10 중 어느 하나의 방법의 실행을 야기하는 명령을 포함하는, 컴퓨터 프로그램.
실시예 13. 실시예 12의 컴퓨터 프로그램을 포함하는 데이터 캐리어.
실시예 14. 실시예 12의 컴퓨터 프로그램을 전달하는 데이터 신호.
실시예 15. 장치(11)로서, 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서를 통한 실행을 위해 저장된 실시예 12의 컴퓨터 프로그램을 포함하는, 장치(11).

Claims (20)

  1. 머리 특징부의 치수 또는 거리를 추정하거나 결정하기 위한 컴퓨터 구현 방법으로서,
    사람의 머리의 영상을 제공하는 단계(20);
    상기 영상에서 복수의 특징부(30-38)를 식별하는 단계(21)를 포함하며,
    상기 복수의 특징부(30-38) 중 적어도 하나의 특징부의 픽셀 치수, 및 상기 복수의 특징부(30-38) 중 적어도 하나의 특징부의 실제 치수에 대한 확률 분포에 기초하여, 상기 영상을 포착하기 위해 사용된 카메라 장치(10)와 상기 복수의 특징부(30-38) 중 적어도 하나의 타겟 특징부 사이의 실제 거리, 또는 상기 복수의 특징부(30-38) 중 적어도 하나의 타겟 특징부의 실제 치수 중 적어도 하나를 추정하는 단계(23)를 특징으로 하고,
    상기 추정하는 단계는,
    에 따라, 상기 영상의 밀리미터당 픽셀의 수()에 대한 확률 분포()를 계산하는 단계를 포함하며,
    여기서, 는 i = 1,2,…,N번째 특징부에 걸쳐 있는 픽셀의 수이고, 는 특징부(i)의 실제 치수() 및 측정 전의 다른 측정된 픽셀 치수와의 이의 공분산 중 적어도 하나의 사전 지식을 나타내는 확률 분포이고, 는 주어진 에 대해 및 에 기초하여 를 측정하는 가능성을 산출하는 연산자인 것을 특징으로 하는,
    머리 특징부의 치수 또는 거리를 추정하거나 결정하기 위한 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 복수의 특징부 중 적어도 하나의 특징부는, 상기 복수의 특징부 중 적어도 2개의 특징부를 포함하는 것을 특징으로 하는, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 영상의 밀리미터당 픽셀의 수에 대한 확률 분포를 계산하는 단계는 몬테 카를로 마르코프 체인 유형 확률 공간 탐색에 기초하는, 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항 또는 제2항에 있어서,
    상기 특징부(30-38)는,
    - 동공간 거리(30);
    - 홍채 직경(33);
    - 동공 직경;
    - 수직 귀 길이(36);
    - 멘톤-셀리온 거리(34);
    - 양협골 폭(35);
    - 측두점 폭(38);
    - 눈 폭(31); 및
    - 머리 높이(37)로 구성되는 그룹으로부터 획득된 하나 이상의 특징부를 포함하는 것을 특징으로 하는, 방법.
  8. 제1항 또는 제2항에 있어서,
    상기 사람에 관한 추가적인 정보를 제공하는 단계, 및 상기 추가적인 정보에 기초하여 상기 확률 분포를 선택하는 단계를 더 포함하는, 방법.
  9. 제8항에 있어서,
    상기 추가적인 정보를 제공하는 단계는, 사용자 입력으로서 상기 추가적인 정보를 수신하는 단계를 포함하거나, 또는 상기 영상에 기초하여 상기 추가적인 정보를 결정하는 단계를 포함하는 것을 특징으로 하는, 방법.
  10. 제8항에 있어서,
    상기 추가적인 정보는, 상기 사람의 성별, 상기 사람의 연령, 상기 사람의 인종, 또는 상기 사람의 사이즈 중 하나 이상을 포함하는 것을 특징으로 하는, 방법.
  11. 제1항 또는 제2항에 있어서,
    상기 특징부(30-38) 중 적어도 하나의 실제 치수를 추정하는 단계는, 상기 사람의 동공간 거리를 추정하는 단계를 포함하는, 방법.
  12. 제1항 또는 제2항에 있어서,
    영상을 제공하는 단계는 복수의 영상을 제공하는 단계를 포함하며,
    상기 추정하는 단계(23)는 상기 복수의 영상에 기초하여 수행되는 것을 특징으로 하는, 방법.
  13. 제1항 또는 제2항에 있어서,
    - 상기 추정하는 단계(23)에 기초하여 안경테를 상기 사람의 상기 머리에 피팅하는 단계;
    - 상기 추정하는 단계(23)에 기초하여 안경을 제조하는 단계; 또는
    - 상기 추정하는 단계(23)에 기초하여 시력 검사를 수행하는 단계 중 하나 이상을 특징으로 하는, 방법.
  14. 장치로서,
    사람의 머리의 영상을 제공하기 위한 수단(10);
    상기 영상에서 복수의 특징부(30-38)를 식별하기 위한 수단을 포함하며,
    상기 복수의 특징부(30-38)의 픽셀 치수, 및 상기 복수의 특징부(30-38) 중 적어도 하나의 특징부의 실제 치수에 대한 확률 분포에 기초하여, 상기 영상을 포착하기 위해 사용된 수단(10)과의 상기 특징부(30-38) 중 적어도 하나 사이의 실제 거리, 또는 상기 특징부(30-38) 중 적어도 하나의 실제 치수 중 적어도 하나를 추정하기 위한 수단을 특징으로 하고,
    상기 추정은, 에 따라, 상기 영상의 밀리미터당 픽셀의 수()에 대한 확률 분포()를 계산하는 단계를 포함하며,
    여기서, 는 i = 1,2,…,N번째 특징부에 걸쳐 있는 픽셀의 수이고, 는 특징부(i)의 실제 치수() 및 측정 전의 다른 측정된 픽셀 치수와의 이의 공분산 중 적어도 하나의 사전 지식을 나타내는 확률 분포이고, 는 주어진 에 대해 및 에 기초하여 를 측정하는 가능성을 산출하는 연산자인 것을 특징으로 하는,
    장치.
  15. 삭제
  16. 제14항에 있어서,
    상기 장치는, 제1항 또는 제2항에 따른 방법을 수행하도록 구성되는, 장치.
  17. 기록 매체에 저장된 컴퓨터 프로그램으로서,
    하나 이상의 프로세서를 통해 수행될 때, 제1항 또는 제2항에 따른 방법의 실행을 야기하는 명령을 포함하는,
    컴퓨터 프로그램.
  18. 삭제
  19. 삭제
  20. 장치(11)로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서를 통한 실행을 위해 저장된 제17항에 따른 컴퓨터 프로그램을 포함하는,
    장치(11).
KR1020227035415A 2020-03-16 2021-03-15 머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치 KR102556762B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227045411A KR20230006602A (ko) 2020-03-16 2021-03-15 머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20163342.7 2020-03-16
EP20163342.7A EP3882810B1 (en) 2020-03-16 2020-03-16 Computer implemented methods and devices for determining dimensions and distances of head features
PCT/EP2021/056528 WO2021185758A1 (en) 2020-03-16 2021-03-15 Computer implemented methods and devices for determining dimensions and distances of head features

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227045411A Division KR20230006602A (ko) 2020-03-16 2021-03-15 머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220145412A KR20220145412A (ko) 2022-10-28
KR102556762B1 true KR102556762B1 (ko) 2023-07-18

Family

ID=69844690

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227045411A KR20230006602A (ko) 2020-03-16 2021-03-15 머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치
KR1020227035415A KR102556762B1 (ko) 2020-03-16 2021-03-15 머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227045411A KR20230006602A (ko) 2020-03-16 2021-03-15 머리 특징부의 치수 및 거리를 결정하기 위한 컴퓨터 구현 방법 및 장치

Country Status (7)

Country Link
US (2) US11798189B2 (ko)
EP (2) EP3882810B1 (ko)
KR (2) KR20230006602A (ko)
CN (2) CN115861406A (ko)
BR (1) BR112022018308A2 (ko)
ES (1) ES2954483T3 (ko)
WO (1) WO2021185758A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230103129A1 (en) * 2021-09-27 2023-03-30 ResMed Pty Ltd Machine learning to determine facial measurements via captured images
WO2023242635A2 (en) * 2022-06-17 2023-12-21 6 Over 6 Vision Ltd. Single device remote visual acuity testing systems and methods

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024898A1 (en) 2013-03-13 2017-01-26 Mecommerce, Inc. Determining dimension of target object in an image using reference object

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) * 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
GB2344037B (en) 1998-11-20 2003-01-22 Ibm A method and apparatus for adjusting the display scale of an image
US6262738B1 (en) 1998-12-04 2001-07-17 Sarah F. F. Gibson Method for estimating volumetric distance maps from 2D depth images
KR100386962B1 (ko) * 2000-11-02 2003-06-09 김재준 사용자 얼굴 이미지에 안경 이미지를 착용시키는 방법 및시스템
US6995762B1 (en) 2001-09-13 2006-02-07 Symbol Technologies, Inc. Measurement of dimensions of solid objects from two-dimensional image(s)
GB0713461D0 (en) 2007-07-11 2007-08-22 Ct Meter Ltd Device and methods for obtaining measurements for spectacles fitting
JP5294995B2 (ja) * 2009-06-03 2013-09-18 パナソニック株式会社 距離計測装置及び距離計測方法
FR2957511B1 (fr) * 2010-03-19 2021-09-24 Fittingbox Procede et dispositif de mesure de distance inter-pupillaire
US8459792B2 (en) 2010-04-26 2013-06-11 Hal E. Wilson Method and systems for measuring interpupillary distance
US8867802B2 (en) 2011-04-19 2014-10-21 Microsoft Corporation Automatic organ localization
US8811726B2 (en) 2011-06-02 2014-08-19 Kriegman-Belhumeur Vision Technologies, Llc Method and system for localizing parts of an object in an image for computer vision applications
CN104813340B (zh) 2012-09-05 2018-02-23 体通有限公司 从2d图像序列导出准确身体尺寸测量的系统和方法
KR101850835B1 (ko) * 2012-12-31 2018-05-30 효성티앤에스 주식회사 광선추적법을 이용한 이동 로봇의 실내 위치 추정방법
US20150163036A1 (en) 2013-12-11 2015-06-11 Nokia Solutions And Networks Oy High Resolution Channel Sounding for FDD Communications
CN106464461A (zh) 2014-05-15 2017-02-22 诺基亚通信公司 用于发射和/或接收参考信号的方法和装置
WO2017205903A1 (en) * 2016-06-01 2017-12-07 Vidi Pty Ltd An optical measuring and scanning system and methods of use
DE102016112023A1 (de) 2016-06-30 2018-01-04 Carl Zeiss Ag Komponente, Computerprogramm, System und Kit zur Augenglasbestimmung
KR20180007016A (ko) * 2016-07-11 2018-01-22 김동욱 2장의 사진을 이용한 인체치수 측정 및 시스템
US11284439B2 (en) 2017-01-04 2022-03-22 Lg Electronics Inc. Method and apparatus for sharing spectrum between 3GPP LTE and NR in wireless communication system
US10799112B2 (en) * 2017-05-02 2020-10-13 Simple Contact, Inc. Techniques for providing computer assisted eye examinations
US10841062B2 (en) 2017-05-04 2020-11-17 Qualcomm Incorporated Sequence for reference signals during beam refinement
KR102540918B1 (ko) * 2017-12-14 2023-06-07 현대자동차주식회사 차량의 사용자 영상 처리 장치 및 그 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024898A1 (en) 2013-03-13 2017-01-26 Mecommerce, Inc. Determining dimension of target object in an image using reference object

Also Published As

Publication number Publication date
BR112022018308A2 (pt) 2022-11-22
KR20230006602A (ko) 2023-01-10
US20230014102A1 (en) 2023-01-19
EP3882810C0 (en) 2023-06-07
US11798189B2 (en) 2023-10-24
WO2021185758A1 (en) 2021-09-23
EP3882810B1 (en) 2023-06-07
CN115861406A (zh) 2023-03-28
US20230116779A1 (en) 2023-04-13
EP3882810A1 (en) 2021-09-22
KR20220145412A (ko) 2022-10-28
CN115428042A (zh) 2022-12-02
ES2954483T3 (es) 2023-11-22
EP4118565A1 (en) 2023-01-18

Similar Documents

Publication Publication Date Title
US10564446B2 (en) Method, apparatus, and computer program for establishing a representation of a spectacle lens edge
Fuhl et al. Pupilnet: Convolutional neural networks for robust pupil detection
CN111310731B (zh) 基于人工智能的视频推荐方法、装置、设备及存储介质
US11798189B2 (en) Computer implemented methods and devices for determining dimensions and distances of head features
WO2015149696A1 (en) Method and system for extracting characteristic of three-dimensional face image
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
CN111062328B (zh) 一种图像处理方法、装置及智能机器人
Abbasi et al. A robust and accurate particle filter-based pupil detection method for big datasets of eye video
Khan et al. Head pose estimation: A survey of the last ten years
dos Santos Rosa et al. Sparse-to-continuous: Enhancing monocular depth estimation using occupancy maps
US20210034836A1 (en) Geometrically constrained, unsupervised training of convolutional autoencoders for extraction of eye landmarks
Xia et al. Hybrid regression and isophote curvature for accurate eye center localization
Ahmad et al. An integrated approach for eye centre localization using deep networks and rectangular-intensity-gradient technique
JP7107380B2 (ja) 推定装置、推定方法、およびプログラム
CN113449550A (zh) 人体重识别数据处理的方法、人体重识别的方法和装置
US20230281863A1 (en) Model fitting using keypoint regression
Yun et al. Visible and infrared tracking based on multi-view multi-kernel fusion model
Skowronek et al. Eye Tracking Using a Smartphone Camera and Deep Learning
Li et al. Estimating gaze points from facial landmarks by a remote spherical camera
Yang et al. Spatialgaze: towards spatial gaze tracking for extended reality
US20230334326A1 (en) Geometrically constrained, unsupervised training of convolutional autoencoders for extraction of eye landmarks
Jain et al. Low-cost gaze detection with real-time ocular movements using coordinate-convolutional neural networks
Zhang et al. Improved eye center location system in low-resolution images
Brousseau Infrared Model-based Eye-tracking for Smartphones
Zhang Perception System: Object and Landmark Detection for Visually Impaired Users

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant