KR20220123311A - 얼굴 표정 추적 시스템 및 방법 - Google Patents

얼굴 표정 추적 시스템 및 방법 Download PDF

Info

Publication number
KR20220123311A
KR20220123311A KR1020227028186A KR20227028186A KR20220123311A KR 20220123311 A KR20220123311 A KR 20220123311A KR 1020227028186 A KR1020227028186 A KR 1020227028186A KR 20227028186 A KR20227028186 A KR 20227028186A KR 20220123311 A KR20220123311 A KR 20220123311A
Authority
KR
South Korea
Prior art keywords
face
face tracking
light
head
illuminator
Prior art date
Application number
KR1020227028186A
Other languages
English (en)
Inventor
차오 한
마노즈 버크만들라
Original Assignee
메타 플랫폼즈 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메타 플랫폼즈 테크놀로지스, 엘엘씨 filed Critical 메타 플랫폼즈 테크놀로지스, 엘엘씨
Publication of KR20220123311A publication Critical patent/KR20220123311A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

얼굴 추적 장치는 조명기와 광자 검출기를 포함한다. 상기 조명기는 사용자 머리의 제1 부분을 향해 광을 투영하도록 구성되고, 상기 광자 검출기는 사용자 머리의 제2 부분으로부터 반사된 광을 검출하도록 구성된다. 상기 얼굴 추적 장치는 프로세서를 추가로 포함하며, 상기 프로세서는 상기 조명기 및 광자 검출기에 연결되고 또한 상기 조명기로 하여금 사용자 머리를 향해 광을 투영하고, 상기 광자 검출기로부터 정보를 수신하고, 사용자의 얼굴 표정을 결정하게 하도록 구성된다.

Description

얼굴 표정 추적 시스템 및 방법
본 발명은 일반적으로 얼굴 추적 시스템에 관한 것이다. 보다 구체적으로, 본 발명은 얼굴 표정을 추적하는 시스템 및 방법에 관한 것이다.
본 발명은 일반적으로 얼굴 추적 시스템에 관한 것이다. 얼굴 추적 시스템 또는 장치는 다양한 전자 장치들에서 활용될 수 있다. 예를 들어, 얼굴 추적 시스템은 가상 현실(VR), 증강 현실(AR) 또는 혼합 현실(MR) 시스템 사용자의 얼굴에서 얼굴 표정을 결정하기 위해 사용될 수 있다.
본 발명의 주제는 첨부된 청구항들에 따른 얼굴 표정 추적을 위한 시스템 및 방법에 관한 것이다. 일부 실시예들에 있어서, 상기 시스템은 조명기, 단일의 또는 그룹의 광자 검출기, 하나 이상의 아날로그 회로, 및/또는 광자 검출기로부터의 정보에 기초하여 얼굴 표정을 재구성하기 위한 소프트웨어 알고리즘을 포함한다. 일부 실시예들에 있어서, 상기 광자 검출기 및/또는 조명기는 렌즈를 필요로 하지 않는다. 상기 시스템은 일부 실시예들에 있어서 카메라 또는 복잡한 이미지 데이터 처리를 필요로 하지 않는, 저비용, 낮은 계산 오버헤드(computational overhead) 얼굴 인식 시스템을 제공한다.
본 발명의 일 구현은 일부 실시예들에 따른 착용형 디스플레이(예를 들어, 머리 장착형(HMD))에 관한 것이다. 상기 착용형 디스플레이는 사용자 머리에 착용되도록 구성된 요소, 상기 소자와 함께 배치되고 상기 머리의 적어도 일부를 향해 광을 방출하도록 구성되는 조명기, 상기 요소와 함께 배치되고 상기 머리의 적어도 제2 부분으로부터 반사된 광을 수신하도록 구성되는 광자 검출기, 및 명령어들이 인코딩된 비일시적 컴퓨터 판독 가능 저장 매체에 연결되는 하나 이상의 프로세서로서, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 상기 조명기가 상기 머리의 일부를 향해 광을 투영하게 하하고, 상기 광자 검출기로부터 정보를 수신하게 하고, 그리고 적어도 상기 광자 검출기로부터의 정보에 기초하여 사용자의 얼굴 표정을 결정하게 하는, 상기 하나 이상의 프로세서를 포함한다. 일부 실시예들에 있어서, 상기 요소는 유리 프레임 및/또는 하우징이다.
본 발명에 따른 머리 착용형 디스플레이의 실시예에 있어서, 상기 머리의 일부와 상기 머리의 제2 부분이 적어도 부분적으로 중첩될 수 있다.
본 발명에 따른 머리 착용형 디스플레이의 실시예에 있어서, 상기 머리 착용형 디스플레이는 하나 이상의 광자 검출기를 추가로 포함할 수 있으며, 상기 하나 이상의 광자 검출기는 어레이로 배열되고 상기 머리의 각각의 부분들로부터 반사된 광을 수신하도록 구성된다.
본 발명에 따른 머리 착용형 디스플레이의 실시예에 있어서, 상기 얼굴 표정을 결정하기 위해, 상기 비일시적 컴퓨터 판독 가능 저장 매체는 인코딩된 명령어들을 가짐으로써, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 하나 이상의 광자 검출기 각각으로부터의 정보를 추가로 수신하게 할 수 있다.
본 발명에 따른 머리 착용형 디스플레이의 실시예에 있어서, 상기 머리 착용형 디스플레이는 하나 이상의 조명기를 추가로 포함할 수 있으며, 상기 하나 이상의 광자 검출기는 어레이로 배열되고, 각각은 상기 머리의 각각의 부분들을 향해 공간적으로 인코딩된 특성들을 갖는 광을 방출하도록 구성된다. 추가적으로, 상기 광자 검출기로부터의 정보는 상기 광자 검출기에 의해 수신된 광의 특성들을 포함할 수 있으며, 상기 요소는 유리 프레임 또는 하우징일 수 있다. 또한, 상기 머리의 제1 및 제2 부분은 사용자의 코의 일 측면상에 위치할 수 있다.
다른 구현에 있어서, 얼굴 추적 시스템은 사용자 얼굴의 적어도 일부를 향하여 광을 방출하도록 구성되는 조명기, 상기 얼굴의 적어도 제2 부분으로부터 반사된 광을 수신하도록 구성되는 광자 검출기, 및 프로세서를 포함한다. 상기 프로세서는 상기 광자 검출기에 의해 검출된 광의 특성들에 관한 정보를 수신하고, 또한 상기 광자 검출기에 의해 검출된 광의 특성들에 기초하여 상기 얼굴의 얼굴 표정을 결정하도록 구성된다.
다른 구현에 있어서, 얼굴 추적 방법은 얼굴 추적 시스템의 조명기를 이용하여 사용자의 얼굴을 향하여 광을 투영하는 단계, 상기 프로세서에서, 상기 얼굴로부터 반사된 광의 특성들을 포함하는 정보를 광자 검출기로부터 수신하는 단계, 및 상기 프로세서를 통해, 상기 광자 검출기로부터의 정보에 기초하여 상기 얼굴의 얼굴 표정을 결정하는 단계를 포함한다.
일 양태에 있어서, 본 발명은 또한 얼굴 추적 장치에 관한 것이며, 상기 얼굴 추적 장치는: 사용자의 얼굴의 적어도 일부를 향하여 광을 방출하도록 구성되는 조명기; 상기 얼굴의 적어도 제2 부분으로부터 반사된 광을 수신하도록 구성되는 광자 검출기; 및 상기 광자 검출기에 의해 검출된 광의 특성들에 관한 정보를 수신하고; 또한 상기 광자 검출기에 의해 검출된 광의 특성들에 기초하여 상기 얼굴의 얼굴 표정을 결정하도록 구성되는 프로세서를 포함한다.
일 실시예에 있어서, 상기 얼굴 추적 장치는 상기 광자 검출기에 의해 수신된 광의 특성들에 기초하여 상기 얼굴의 얼굴 표정을 나타내도록 구성되는 회로를 추가로 포함할 수 있다. 추가적으로, 상기 회로는 상기 프로세서에 대한 상기 얼굴의 얼굴 표정을 나타내는 신호를 상기 프로세서로 출력하도록 구성되는 위너 테이크 올 회로(winner take all circuit)를 포함할 수 있다.
일 실시예에 있어서, 상기 얼굴 추적 장치는 하나 이상의 광자 검출기를 추가로 포함할 수 있으며, 상기 하나 이상의 광자 검출기는 어레이로 배열되고 상기 머리의 각각의 부분들로부터 반사된 광을 수신하도록 구성된다. 추가적으로, 상기 머리의 각각의 부분들은 모두 상기 얼굴의 코의 제1 측면상에 위치될 수 있으며, 상기 얼굴 추적 장치는: 상기 얼굴의 제2 측면의 적어도 일부를 향해 광을 방출하는 제2 조명기; 및 하나 초과의 광자 검출기들의 제2 세트로서, 상기 제2 세트는 제2 어레이로 배열되고 상기 얼굴의 제2 측면의 각각의 부분들로부터 반사된 광을 수신하도록 구성되는, 상기 제2 세트를 추가로 포함할 수 있다. 추가적으로, 상기 얼굴 표정을 결정하기 위해, 상기 프로세서는 상기 하나 초과의 광자 검출기들 및 상기 하나 초과의 광자 검출기들의 상기 제2 세트로부터 상기 광의 특성들에 관한 정보를 수신하도록 추가로 구성될 수 있다.
본 발명에 따른 얼굴 추적 장치의 실시예에 있어서, 상기 얼굴의 일부와 상기 얼굴의 제2 부분은 적어도 부분적으로 중첩될 수 있다.
본 발명에 따른 얼굴 추적 장치의 실시예에 있어서, 상기 조명기의 광의 특성들은 상기 사용자의 얼굴 부분에 대응하여 공간적으로 인코딩될 수 있다.
일 양태에 있어서, 본 발명은 사용자의 얼굴 표정을 추적하는 방법에 관한 것으로서, 상기 방법은: 얼굴 추적 시스템의 조명기를 이용하여 사용자의 얼굴을 향하여 광을 투영하는 단계; 상기 얼굴 추적 시스템을 통해, 상기 얼굴로부터 반사된 광의 특성들을 포함하는 정보를 광자 검출기로부터 수신하는 단계; 및 상기 얼굴 추적 시스템을 통해, 상기 광자 검출기로부터의 정보에 기초하여 상기 얼굴의 얼굴 표정을 결정하는 단계를 포함한다.
본 발명에 따른 방법의 실시예에 있어서, 상기 조명기를 켜는 단계는 다중 조명기들 각각이 상기 얼굴의 각각의 부분들을 향해 상이한 특성들을 갖는 광을 투영하도록 상기 얼굴 추적 시스템의 상기 다중 조명기들을 켜는 단계를 추가로 포함할 수 있다. 추가적으로, 상기 얼굴 표정을 결정하는 단계는 상기 광자 검출기로부터의 정보에 기초하여 상기 얼굴의 적어도 일부의 이미지를 재구성하는 단계를 추가로 포함할 수 있다.
본 발명에 따른 방법의 실시예에 있어서, 상기 광자 검출기로부터 정보를 수신하는 단계는 상기 얼굴 추적 시스템을 통해 다중 광자 검출기들로부터 정보를 수신하는 단계를 추가로 포함할 수 있고, 상기 다중 광자 검출기들 각각은 상기 얼굴의 각각의 부분들로부터 광을 수신하도록 구성된다. 추가적으로, 상기 얼굴 표정을 결정하는 단계는 상기 다중 광자 검출기들로부터의 정보에 기초하여 상기 얼굴의 적어도 일부의 이미지를 재구성하는 단계를 추가로 포함할 수 있다.
이들 및 다른 양태들 및 구현들은 아래에서 상세히 논의된다. 상술된 정보 및 다음의 상세한 설명은 다양한 양태들 및 구현들의 예시적인 예를 포함하며, 청구된 양태들 및 구현들의 성질 및 특성을 이해하기 위한 개요 또는 근거를 제공한다. 도면들은 다양한 양태 및 구현들에 대한 예시 및 추가적인 이해를 제공하고, 본 명세서에 통합되어 본 명세서의 일부를 구성한다.
첨부된 도면들은 축척에 맞게 도시된 것이 아니다. 다양한 도면들에 있어서 유사한 참조 번호 및 명칭은 유사한 요소들을 나타낸다. 명확성을 위해, 모든 구성 요소가 모든 도면에 분류될 수 있는 것은 아니다. 도면들에서:
도 1은 예시적인 실시예에 따른 얼굴 추적 시스템의 블록도이다.
도 2는 예시적인 실시예에 따라 도시된 얼굴 추적 시스템과 통합된 머리 장착형 장치를 착용한 사용자의 도면이다.
도 3은 예시적인 실시예에 따른 얼굴 추적 장치의 예를 도시한다.
도 4는 예시적인 실시예에 따른 얼굴 추적 장치의 예를 도시한다.
도 5는 예시적인 실시예에 따라 객체를 검출하는 얼굴 추적 장치의 도면을 도시한다.
도 6은 예시적인 실시예에 따른 얼굴 추적 시스템의 도면을 도시한다.
도 7은 예시적인 실시예에 따른 얼굴 추적 시스템의 회로의 블록도를 도시한다.
도 8은 예시적인 실시예에 따른 얼굴 추적 장치의 예를 도시한다.
도 9는 예시적인 실시예에 따른 얼굴 추적 장치의 예를 도시한다.
도 10은 예시적인 실시예에 따른 얼굴 추적 시스템의 도면을 도시한다.
도 11은 예시적인 실시예에 따른 위너 테이크 올 회로 및 예시적인 출력의 개략도를 도시한다.
도 12는 예시적인 실시예에 따른 얼굴 추적 방법의 흐름도를 도시한다.
일반적으로 도면들을 참조하면, 일부 실시예들에 따른 얼굴 추적 시스템을 위한 시스템 및 방법이 도시되어 있다. 얼굴 추적 시스템은 얼굴 추적 회로를 포함한다. 얼굴 추적 회로는 조명기와 광자 검출기를 포함한다. 일부 실시예들에 있어서, 얼굴 추적 회로는 2개 이상의 조명기 또는 광자 검출기를 포함한다. 일부 실시예들에 있어서, 얼굴 추적 시스템은 사용자 얼굴의 제1 부분을 모니터링하도록 위치된 제1 얼굴 추적 회로 및 사용자 얼굴의 제2 부분을 모니터링하도록 위치된 얼굴 추적 회로를 포함한다. 일부 실시예들에 있어서, 얼굴 추적 시스템은 추가 얼굴 추적 회로를 포함할 수 있고, 각각은 사용자 얼굴의 각각의 부분들을 모니터링하도록 구성된다. 일부 실시예들에 있어서, 제1 조명기는 사용자 얼굴의 제1 부분(예를 들어, 사용자의 입의 우측)을 향해 광을 투영하도록 구성되고, 제1 검출기는 얼굴의 제1 부분으로부터 반사된 광을 수신하도록 구성되며, 제2 조명기는 사용자 얼굴의 제2 부분(예를 들어, 사용자의 입의 좌측)을 향해 제2 광을 투영하도록 구성되고, 제2 검출기는 얼굴의 제2 부분으로부터 반사된 제2 광을 수신하도록 구성된다. 제1 검출기에서 수신된 광 및 제2 검출기에서 수신된 제2 광은 얼굴의 각각의 부분들이 검출기로부터의 떨어진 거리를 결정하기 위해 사용될 수 있다. 이 때, 얼굴 추적 시스템은, 제1 및 제2 검출기들이 각각의 광을 수신하는 얼굴의 알려진 부분에 기초하여, 사용자가 얼굴 표정(예를 들어, 미소, 찡그린 표정, 흥분, 놀람 등)을 하고 있다고 결정할 수 있다. 이와 같은 방식으로, 얼굴 추적 시스템은 하나 이상의 조명기 및 광자 검출기로 사용자의 얼굴 표정을 추적할 수 있으며, 이는 얼굴 추적 시스템의 처리 요구 사항 및/또는 풋프린트를 감소시킬 수 있다. 다시 말해서, 얼굴 추적 시스템은 카메라나 복잡한 이미지 데이터 처리를 필요로 하지 않는 저비용, 낮은 계산 오버헤드 얼굴 인식 시스템을 제공한다.
일부 실시예들에 있어서, 얼굴 추적 시스템은 다양한 폼 팩터(form factor)들로 구현될 수 있다. 예를 들어, 얼굴 추적 시스템은 머리 장착형 장치 또는 사용자의 얼굴을 모니터링하도록 배치된 다른 장치와 같은 착용형 장치의 형태로 구현될 수 있다. 일부 실시예들에 있어서, 착용형 장치는 안경, 고글, 또는 다른 머리 착용형 장치를 포함할 수 있다. 또한, 얼굴 추적 시스템은 다양한 전자 장치에 구현되거나 연결될 수 있다. 예를 들어, 얼굴 추적 시스템은 가상 현실(VR) 시스템, 증강 현실(AR) 시스템 또는 혼합 현실(MR) 시스템으로 구현될 수 있다. 일부 실시예들에 있어서, 얼굴 추적 시스템은 게임 콘솔, 서버 시스템, 개인용 컴퓨터 또는 게임 시스템과 같은 전자 장치로 구현될 수 있다.
이제 도 1을 참조하면, 얼굴 추적 시스템(100)의 블록도가 도시되어 있다. 상기 얼굴 추적 시스템(100)은 얼굴 추적 장치(101), 및 처리 회로(102)를 포함할 수 있다. 상기 얼굴 추적 장치(101)는 조명기(110) 및 광자 검출기(111)를 포함한다. 일부 실시예들에 있어서, 상기 얼굴 추적 장치(101)는 2개 이상의 조명기들(110) 및 /또는 2개 이상의 광자 검출기들(111)을 포함할 수 있다. 일부 실시예들에 있어서, 상기 조명기(110)는 적외선 조명기, 다이오드, 발광 다이오드(LED), 램프, 레이저, 이들의 조합, 또는 다른 조명 소스들을 포함할 수 있다. 또한, 상기 광자 검출기(111)는 광전도 검출기, 광기전력 검출기, p-n 접합 광기전력 검출기, p-i-n 포토다이오드, 어발란체 포토다이오드(APD; Avalanche Photodiode), 쇼트키(Schottky) 포토다이오드, 포토-전자기(PEM) 검출기, 양자 웰 적외선 광검출기(QWIP), 이들의 조합, 또는 다른 유형의 광자 검출기들을 포함할 수 있다. 상기 조명기(110)는 사용자 얼굴의 제1 부분을 향하여 광을 투영하도록 위치되거나 배열되고, 상기 광자 검출기(111)는 사용자 얼굴의 제1 부분으로부터 반사된 광을 수신하도록 위치 또는 배열된다. 이와 같은 방식으로, 상기 얼굴 추적 시스템(100)은 움직임을 모니터링하고 그리고/또는 상기 제1 부분 내의 객체의 위치를 검출할 수 있다. 일부 실시예들에 있어서, 상기 얼굴 추적 시스템(100) 및/또는 얼굴 추적 장치(101)는 게임 콘솔, VR, AR, 또는 MR 콘솔, 또는 착용형 디스플레이의 일부이다.
상기 처리 회로(102)는 프로세서(120), 메모리(121), 및 입력/출력 인터페이스(122)를 포함할 수 있다. 일부 실시예들에 있어서, 상기 처리 회로(102)는 다양한 전자 장치와 통합될 수 있다. 예를 들어, 일부 실시예들에 있어서, 상기 처리 회로(102)는 머리 착용형 디스플레이, 스마트 워치, 착용형 고글, 또는 착용형 안경과 같은 착용형 디바이스와 통합될 수 있다. 일부 실시예들에 있어서, 상기 처리 회로(102)는 게임 콘솔, 개인용 컴퓨터, 서버 시스템, 또는 다른 계산 장치와 통합될 수 있다. 일부 실시예들에 있어서, 상기 처리 회로(102)는 또한, 상기 얼굴 추적 장치(101)와 통합되고 또는 본원에 설명된 단계들, 동작들, 공정들 또는 방법들 중 임의의 것을 수행할 때 상기 얼굴 추적 시스템(100)을 유발시키거나 돕도록 설계된, 하나 이상의 프로세서, 주문형 집적 회로(ASIC), 또는 회로(예를 들어, 위너 테이크 올 회로)를 포함할 수 있다.
상기 처리 회로(102)는 하나 이상의 회로, 프로세서(120), 및/또는 하드웨어 구성 요소들을 포함할 수 있다. 상기 처리 회로(102)는 본원에 설명된 임의의 동작들을 수행하기 위해 임의의 논리, 기능 또는 명령어를 구현할 수 있다. 상기 처리 회로(102)는 임의의 회로, 프로세서 또는 하드웨어 구성 요소들에 의해 실행 가능한 실행 가능한 명령어들을 저장하도록 구성된 임의의 유형 및 형태의 메모리(121)를 포함할 수 있다. 상기 실행 가능한 명령어들은 애플리케이션, 프로그램, 서비스, 작업, 스크립트, 라이브러리 프로세스 및/또는 펌웨어를 포함하는 임의의 유형일 수 있다. 일부 실시예들에 있어서, 상기 메모리(121)는 상기 프로세서(120)에 연결되고, 또한 상기 프로세서(120)에 의해 실행될 때, 상기 프로세서(120)로 하여금 본원에 설명된 임의의 단계들, 작업들, 공정들 또는 방법들을 실행되게 하거나 구현되게 하도록 구성되는 하나 이상의 실행 가능한 명령어를 저장하는 비일시적 판독 가능 매체를 포함할 수 있다. 일부 실시예들에 있어서, 상기 메모리(121)는 또한 각각의 조명기(110)가 방출할 수 있거나 방출하도록 구성된 광의 유형, 형태 또는 특성들에 관한 정보, 및 각각의 광자 검출기(111)가 모니터링 또는 검출을 위해 구성되거나 배열되는 위치, 부분 또는 객체에 관한 정보를 데이터베이스 내에 저장하도록 구성된다. 상기 처리 회로(102)는 변환기, 신호 처리 회로, 필터, 및 아날로그 도메인 및/또는 디지털 도메인의 다른 인터페이스 요소들을 포함할 수 있다.
일부 실시예들에 있어서, 상기 처리 회로(102)의 입력/출력 인터페이스(122)는 상기 처리 회로(102)가 상기 얼굴 추적 장치(101) 및 다른 장치들과 통신할 수 있도록 구성된다. 일부 실시예들에 있어서, 상기 입력/출력 인터페이스(122)는 상기 처리 회로(102)와 얼굴 추적 장치(101) 사이의 물리적 연결(예를 들어, 유선 또는 다른 물리적 전기적 연결)을 허용하도록 구성될 수 있다. 일부 실시예들에 있어서, 상기 입력/출력 인터페이스(122)는 상기 얼굴 추적 장치(101)(예를 들어, 상기 조명기(110)와 광자 검출기(111)에 연결된 얼굴 추적 장치(101)상의 ASIC, 집적 회로(IC), 또는 프로세서)와 상기 처리 회로(102) 사이의 무선 통신을 허용하도록 구성되는 무선 인터페이스를 포함할 수 있다. 상기 무선 통신은 블루투스, 무선 근거리 통신망(WLAN) 연결, 무선 주파수 식별(RFID) 연결, 또는 다른 유형의 무선 연결을 포함할 수 있다. 일부 실시예들에 있어서, 상기 입력/출력 인터페이스(122)는 또한 상기 처리 회로(102)가 (예를 들어, 유선 또는 무선 연결을 통해) 인터넷에 연결되는 것을 허용한다. 일부 실시예들에 있어서, 상기 입력/출력 인터페이스(122)는 또한 상기 처리 회로(102)가 디스플레이, 오디오 시스템, 다중 얼굴 추적 장치(101), 또는 다른 장치들과 같은 다른 장치들에 연결되도록 허용한다.
본 실시예들의 명료함을 위해 도시되지 않은 다양한 다른 구성 요소들이 상기 얼굴 추적 시스템(100)에 포함될 수 있음에 유의해야 한다. 이들은 아날로그-디지털 변환기, 멀티플렉서, 트랜지스터 등과 같은 다양한 전력 및/또는 신호 조절 구성 요소들을 포함할 수 있다. 이와 같은 추가 구성 요소들은 특정 실시예에 대해 적절한 상태로 상기 얼굴 추적 장치(101) 또는 처리 회로(102)에 포함될 수 있다.
이제 도 2를 참조하면, 얼굴 추적 시스템과 통합된 머리 장착형 장치를 착용한 사용자의 뷰(200)가 도시되어 있다. 상기 뷰(200)는 착용형 장치(202)(예를 들어, 사용자의 머리(203)에 고정된 머리 장착형 장치)를 갖는 사용자(201)를 도시한다. 상기 착용형 정치(202)는 얼굴 추적 시스템(204)을 포함한다. 상기 얼굴 추적 시스템(204)은 도 1을 참조하여 설명된 얼굴 추적 시스템(100)과 유사하거나 그와 같이 구현될 수 있다.
상기 얼굴 추적 시스템(204)은 제1 얼굴 추적 장치(240) 및 제2 얼굴 추적 장치(245)를 포함한다. 상기 제1 얼굴 추적 장치(240)는, 상기 제1 얼굴 추적 장치(240)가 머리(203)의 제1 부분(290) 내에서, 상기 제1 부분에서 또는 상기 제1 부분을 따라 객체(예를 들어, 사용자(201) 입(230)의 우측)의 움직임 또는 위치를 모니터링하거나 검출하도록 구성되도록, 상기 착용형 장치(202)상에 또는 상기 착용형 장치(202) 내부에 위치되거나 배열된다. 추가적으로, 상기 제2 얼굴 추적 장치(245)는, 상기 제2 얼굴 추적 장치(245)가 머리(203)의 제2 부분(295) 내에서, 상기 제2 부분에서 또는 상기 제2 부분을 따라 객체(예를 들어, 사용자(201) 입(230)의 좌측)의 움직임 또는 위치를 모니터링하거나 검출하도록 구성되도록, 상기 착용형 장치(202)상에 또는 상기 착용형 장치(202) 내에 위치되거나 배열된다. 일부 실시예들에 있어서, 특정 애플리케이션들에 기초하여, 더 적거나 추가적인 얼굴 추적 장치들(240, 245)이 구현될 수 있다.
일부 실시예들에 있어서, 상기 제1 얼굴 추적 장치(240)는 상기 제1 얼굴 추적 장치(240)가 사용자 코(231)의 제1 측면상에 위치하게 배열되도록 상기 착용형 장치(202)의 제1 측면에 장착되고, 상기 제2 얼굴 추적 장치(245)는 상기 제2 얼굴 추적 장치(245)가 상기 코(231)의 제2 측면상에 위치하게 배열되도록 상기 착용형 장치(202)의 제2 측면에 장착된다. 이와 같은 방식으로, 상기 얼굴 추적 시스템은 상기 코(231) 또는 다른 얼굴 특징부들로부터의 방해 없이 더 많은 양의 사용자(201) 머리(203) 영역을 모니터링할 수 있다.
상기 제1 얼굴 추적 장치(240)는 제1 조명기(110a) 및 제1 광자 검출기(111a)를 포함한다. 일부 실시예들에 있어서, 상기 제1 얼굴 추적 장치(240)는 1개 초과의 조명기(110a) 및/또는 1개 초과의 광자 검출기(111a)를 포함할 수 있다. 상기 제1 조명기(110a)는 적어도 제1 부분(290)을 향해 제1 광을 투영 또는 방출하도록 구성되고, 상기 제1 광자 검출기(111a)는 상기 제1 부분(290)으로부터 반사된 광을 수신하도록 구성된다. 그 후, 상기 반사된 제1 광은 상기 제1 얼굴 추적 장치(240)로부터 상기 제1 부분(290) 내의 객체의 거리를 계산, 결정 또는 추정하기 위해 사용될 수 있다. 예를 들어, 상기 반사된 광은 상기 광자 검출기(111a)에 의해 수신되고, 상기 광자 검출기(111a)는 상기 반사된 광의 특성들을 나타내는 대응하는 전기 신호를 생성한다. 일부 실시예들에 있어서, 상기 전기 신호는 수신된 광의 강도를 나타낸다(예를 들어, 더 강한 광을 수신하는 것에 응답하여 상기 광자 검출기에 의해 더 높은 전류가 생성된다). 상기 얼굴 추적 시스템(204)(예를 들어, 처리 회로(102))은 데이터베이스 내에서 상호 참조하거나 또는 상기 광자 검출기(111a)에 의해 수신된 광의 강도에 대한 거리를 상기 제1 얼굴 추적 장치(240)로부터 상기 제1 부분(290) 내의 객체들의 추정된 거리에 관련시키는 공식을 사용할 수 있다. 일부 실시예들에 있어서, 상기 데이터베이스 또는 공식은 상기 처리 회로(102)의 메모리 내에 사전 저장되고 사용되는 조명기(110a) 및 광자 검출기(111a) 유형에 고유할 수 있다.
상기 제2 얼굴 추적 장치(245)는 또한 제2 조명기(110b) 및 제2 광자 검출기(111b)를 포함한다. 일부 실시예들에 있어서, 상기 제2 얼굴 추적 장치(245)는 1개 초과의 조명기(110b) 및/또는 1개 초과의 광자 검출기(111b)를 포함할 수 있다. 상기 제2 조명기(110b)는 적어도 제2 부분(295)을 향해 제2 광을 투영 또는 방출하도록 구성되고, 상기 제2 광자 검출기(111b)는 상기 제2 부분(295)으로부터 반사된 광을 수신하도록 구성된다. 그 후, 상기 반사된 제2 광은 상기 제2 얼굴 추적 장치(245)로부터 상기 제2 부분(290) 내의 객체들의 거리를 계산, 결정 또는 추정하기 위해 사용될 수 있다. 예를 들어, 상기 반사된 광은 상기 제2 광자 검출기(111b)에 의해 수신되고, 상기 광자 검출기(111b)는 상기 반사된 광의 특성들을 나타내는 대응하는 전기 신호를 생성한다. 일부 실시예들에 있어서, 상기 전기 신호는 수신된 광의 강도를 나타낸다(예를 들어, 더 강한 광을 수신하는 것에 응답하여 상기 광자 검출기에 의해 더 높은 전류가 생성된다). 상기 얼굴 추적 시스템(204)은 데이터베이스 내에서 상호 참조하거나 또는 상기 제2 광자 검출기(111b)에 의해 수신된 광의 강도에 대한 거리를 상기 제2 얼굴 추적 장치(245)로부터 상기 제2 부분(295) 내의 객체들의 추정된 거리에 관련시키는 공식을 사용할 수 있다. 일부 실시예들에 있어서, 상기 데이터베이스 또는 공식은 상기 처리 회로(102)의 메모리 내에 사전 저장되고 사용되는 조명기(110b) 및 광자 검출기(111b) 유형에 고유할 수 있다.
일부 실시예들에 있어서, 상기 얼굴 추적 시스템(204)은 또한 처리 회로(102), 집적 회로(IC), 또는 머리 장착형 장치(202) 내에 적어도 부분적으로 수용되는 ASIC를 포함한다. 일부 실시예들에 있어서, 상기 처리 회로(102)는 또한 서버 시스템, 스마트폰, 개인용 컴퓨터 또는 머리 장착형 장치(202)를 보조하는 장치들과 같은 보조 장치 내에 위치한 프로세서, 메모리 또는 기계 판독 가능 매체를 포함한다. 상기 처리 회로(102)는 상기 얼굴 추적 장치들(240, 245)에 통신 가능하게 연결되고 이를 제어하도록 구성된다. 예를 들어, 상기 처리 회로(102)는 상기 제1 조명기(110a) 및 상기 제2 조명기(110b)에 통신 가능하게 연결되고 이를 제어하도록 구성되며, 상기 제1 광자 검출기(111a) 및 제2 광자 검출기(111b)로부터 데이터(원시 데이터, 처리된 데이터, 조절된 데이터 등)에 통신 가능하게 연결되고 이를 수신하도록 구성된다.
도 3을 시연할 목적으로 함께 이루어진 도 3 및 도 4를 모두 참조하면, 얼굴 추적 장치(300)의 예가 도시되어 있다. 도 4는 얼굴 추적 장치(400)가 도시된 제2의 예를 도시한다. 상기 얼굴 추적 장치(300 및 400)의 예는 조명기(110) 및 검출기들의 어레이(301)를 포함한다. 일부 실시예들에 있어서, 상기 조명기(110) 및 검출기들의 어레이(301)는 기판(302)에 또는 기판(302) 내에 장착된다. 상기 기판(302)은 (예를 들어, 도 2를 참조하여 설명된 착용형 장치(202)와 같은) 머리 장착형 장치의 일부일 수 있다. 일부 실시예들에 있어서, 상기 기판(302)은 머리 장착형 장치와 같은 개별 장치에 기계적으로 선택적으로 또는 영구적으로 부착되도록 구성되는 플라스틱, 금속, 합성물, 섬유 유리 또는 이들의 조합과 같은 강성 재료일 수 있다. 일부 실시예들에 있어서, 상기 기판(302)은 또한 기판에 또는 내부에 장착되는 처리 회로(102)의 하나 이상의 부분을 가질 수 있다.
검출기들의 어레이(301)는 (예를 들어, 도 2를 참고로 설명된 바와 같은 제1 부분(290) 또는 제2 부분과 같은) 각각의 영역 내의 하나 또는 다수의 객체들을 모니터링하거나 검출하기 위해 상기 얼굴 추적 장치(300 또는 400)의 해상도를 향상시키는 다중 검출기들(111a-h)을 포함한다. 예를 들어, 상기 조명기(110)는 사용자의 머리의 제1 영역을 향하여, 그 위로, 또는 전체에 걸쳐 광을 투영하도록 선택적으로 제어될 수 있고, 상기 다중 검출기들(111a-h) 각각은 상기 제1 영역의 각각의 부분들 내에 있는 객체들로부터 반사된 광의 일부를 수신하도록 배열 및 구성된다. 이 때, 상기 다중 검출기들(111a-h) 각각에 의해 수신된 광은 상기 제1 영역의 풍경 또는 얼굴 표정을 결정하기 위해 처리되거나 사용될 수 있다.
상기 검출기들의 어레이(301)의 정확한 구성(예를 들어, 상기 검출기들의 어레이(301) 내의 다중 검출기들(111a-h)의 수)은 각각의 얼굴 추적 장치(300 또는 400)가 통합될 특정 애플리케이션 또는 착용형 장치에 의존할 수 있다. 예를 들어, 이제 도 3을 참조하면, 일부 실시예들에 있어서, 상기 다중 검출기들(111a-h)은 선형으로 배열될 수 있다. 그와 같은 예에 있어서, 상기 다중 검출기들(111a-h)은 상기 얼굴 추적 장치(300)가 상기 제1 영역의 축을 따라 객체들의 위치를 모니터링하거나 검출하게 할 수 있다. 다른 예에 있어서, 이제 도 4를 참조하면, 상기 다중 검출기들(111a-h)은 행 및 열을 따라 배열될 수 있다. 그와 같은 예에 있어서, 상기 다중 검출기들(111a-h)은 상기 얼굴 추적 장치(400)가 상기 제1 영역의 제1 축 및 제2 축을 따라 객체들의 위치를 모니터링하거나 검출하도록 할 수 있다.
일부 실시예들에 있어서, 1개 초과의 조명기(110)가 상기 검출기들의 어레이(301)와 함께 사용될 수 있다. 일부 실시예들에 있어서, 상기 다중 검출기들(111a-h)은 2, 3, 4, 5, 6, 7, 8, 9, 10 또는 그 이상의 검출기를 포함할 수 있다. 일부 실시예들에 있어서, 상기 다중 검출기들(111a-h)은 원형, 정사각형, 무작위, 또는 상기 다중 검출기들(111a-h)이 각각의 영역의 분해능을 향상시키도록 허용하는 임의의 형상으로 배열될 수 있다. 일부 실시예들에 있어서, 상기 다중 검출기들(111a-h) 각각은 각각의 부분들이 중첩되지 않는 영역의 각각의 부분들로부터 반사되는 광을 수신하도록 구성될 수 있다. 일부 실시예들에 있어서, 상기 다중 검출기들(111a-h) 각각은 각각의 부분들 중 하나 이상이 중첩하는 영역의 각각의 부분들로부터 반사되는 광을 수신하도록 구성될 수 있다.
이제 도 5를 참조하면, 객체를 검출하는 얼굴 추적 장치의 도면(500)이 도시되어 있다. 상기 도면(500)은 객체(504)를 검출하거나 모니터링하는 얼굴 추적 장치(501)를 포함한다. 상기 얼굴 추적 장치(501)는 조명기(110) 및 광자 검출기(111)를 포함한다. 일부 실시예들에 있어서, 상기 객체(504)는 사용자의 눈썹, 입, 코 또는 턱의 일부와 같은 얼굴 특징을 포함할 수 있다.
상기 조명기(110)는 상기 객체(504)의 제1 영역(503)에 광을 방출하거나 투영하도록 구성된다. 상기 검출기(111)는 상기 객체의 제2 영역(502)으로부터 반사되는 광의 일부를 수신하도록 구성된다. 일부 실시예들에 있어서, 상기 제1 영역(503) 및 제2 영역(504)은 동일하다. 일부 실시예들에 있어서, 상기 제1 영역(503)은 더 크고 상기 제2 영역(504)을 포함한다. 그 경우, 상기 검출기(111)는 반사된 광의 부분을 수신할 수 있고, 상기 반사된 광의 특성들(예를 들어, 위상, 비행 시간, 강도, 주파수 등)은 상기 제2 영역(504) 내의 객체가 상기 얼굴 추적 장치(501)(예를 들어, 검출기(111))로부터의 거리를 결정하기 위해 사용될 수 있다. 일부 실시예들에 있어서, 상기 얼굴 추적 장치(501)는 주기적으로 미리 결정된 주파수에서 연속적으로 또는 이산적으로 상기 제2 영역(504) 내의 객체를 모니터링하거나 검출(예를 들어, 반사된 광을 투영 및 수신)한다. 일부 실시예들에 있어서, 다중 얼굴 추적 장치들이 사용되어, 상기 객체(504)의 다수의 영역들을 모니터링한다. 일부 실시예들에 있어서, 상기 조명기는 미리 결정된 주파수(예를 들어, 적외선 주파수)에서 광을 방출하도록 구성되거나 제어된다. 상기 미리 결정된 주파수는 다른 소스로부터 가능한 간섭을 감소시키도록 선택될 수 있다. 예를 들어, 적외선 범위에서 미리 결정된 주파수는 (예를 들어, 조명기로부터가 아닌) 다른 광이 상기 광자 검출기(111)에 의해 수신된 반사광과 간섭될 가능성을 감소시킬 수 있다. 일부 실시예들에 있어서, 1개 초과의 조명기로부터 발생할 수 있는 간섭을 감소시키기 위해 시분할 다중화(time division multiplexing)가 사용될 수 있다. 예를 들어, 1개 초과의 조명기가 있는 경우, 각각의 조명기는 1개 초과의 조명기들로부터의 광들 사이의 잠재적인 간섭을 감소시키기 위해 짧은 버스트(burst)(예를 들면, 특정 조명기가 광자 검출기에 의해 광을 수신할 때 광을 투영하지 않을 정도로 시간이 충분히 짧은 버스트)로 별도의 시간에 켜질 수 있다. 일부 실시예들에 있어서, 조명과 광자 검출기에서 광을 수신하는 사이의 비행 시간은 상기 얼굴 추적 장치로부터 객체의 거리를 계산하기 위해 사용될 수 있다. 일부 실시예들에 있어서, 다른 조명기로부터의 광 사이의 가능한 간섭을 감소시키기 위해 주파수 분할 다중화가 사용될 수 있다. 예를 들어, 일부 실시예들에 있어서, 각각의 조명기는 다른 조명기들과 상이한 미리 결정된 주파수에서 광을 투영하도록 구성되거나 제어될 수 있다.
이제 도 6을 참조하면, 얼굴 추적 시스템의 도면(600)이 도시되어 있다. 상기 도면(600)은 얼굴 추적 시스템(601), 얼굴 표정 결정(602)의 제1 예, 및 얼굴 표정 결정(603)의 제2 예를 포함한다. 상기 얼굴 추적 시스템(601)은 다중 얼굴 추적 장치들(611a-h)을 포함한다. 상기 다중 얼굴 추적 장치들의 제1 세트(611a-d)는 사용자 머리의 제1 측면(예를 들어, 사용자의 코(640)의 우측)상에 위치하도록(예를 들어, 기판 또는 머리 장착형 장치상에 배열되도록) 구성되고, 상기 다중 얼굴 추적 장치들(611a-h)의 제2 세트(611e-h)는 사용자 머리의 제2 측면(예를 들어, 상기 코(640)의 좌측)상에 위치하도록 구성된다.
상기 복수의 얼굴 추적 장치들(611a-h) 각각은 객체(예를 들어, 사용자의 입(641))의 각각의 부분(612a-h)을 모니터링하거나 검출하도록 배열 및 구성되는 조명기(110) 및 광자 검출기(111)를 포함한다. 예를 들어, 제1 얼굴 추적 장치(611a)는 조명기(110) 및 광자 검출기(111)를 포함한다. 상기 제1 얼굴 추적 장치(611a)의 조명기(110)는 상기 객체(예를 들어, 입(641))의 제1 부분(612a)을 포함하는 상기 객체의 제1 영역을 향해 광을 투영하도록 배열되고, 상기 광자 검출기(111)는 상기 제1 부분(612a)으로부터 반사된 광을 수신하도록 배열된다. 이와 같은 방식으로, 상기 다중 얼굴 추적 장치들(611a-h)은 상기 객체(예를 들어, 입(641))의 각각의 부분들(612a-h)의 거리를 검출하기 위해 사용될 수 있다.
상기 얼굴 추적 장치(601)는 상기 객체의 각각의 부분(612a-h)의 결정되거나 검출된 거리를 이용하여 사용자의 얼굴 표정을 결정할 수 있다. 즉, 상기 얼굴 추적 시스템(601)은 사용자의 얼굴 표정을 결정하기 위해 각각의 부분(612a-h)의 거리를 매핑, 보간, 그래프화하거나 또는 달리 처리할 수 있다. 예를 들어, 제1 얼굴 검출 장치(611a)는 입(641)의 외측 부분(612a)이 제1 거리에 있음을 검출하고, 제4 얼굴 검출 장치(611d)는 중앙 부분(612d)이 제2 거리에 있음을 검출한다.
얼굴 표정 결정(602)의 제1 예에서, 얼굴 추적 시스템(601)은 각각의 부분(612a-h)의 측정된 거리에 기초하여 상기 객체(예를 들어, 입(641))의 이미지를 매핑, 보간, 그래프화하거나 또는 달리 구성하며, 사용자가 인상을 찌푸리고 있는지를 결정한다. 일부 실시예들에 있어서, 상기 얼굴 추적 시스템(601)은 적어도 상기 제1 거리가 미리 결정된 임계값만큼 상기 제2 거리보다 더 큰 것에 기초하여 사용자가 인상을 찌푸리고 있다고 결정할 수 있다. 일부 실시예들에 있어서, 상기 미리 결정된 임계값은 0.5, 0.75, 1, 1.5, 2 또는 그 이상의 센티미터일 수 있다.
얼굴 표정 결정(603)의 제2 예에서, 얼굴 추적 시스템(601)은 각각의 부분(612a-h)의 측정된 거리에 기초하여 상기 객체(예를 들어, 입(641))의 이미지를 매핑, 보간, 그래프화하거나 또는 달리 구성하며, 사용자가 웃고 있는지를 결정한다. 일부 실시예들에 있어서, 상기 얼굴 추적 시스템(601)은 적어도 제1 거리가 미리 결정된 임계값만큼 상기 제2 거리보다 작은 것에 기초하여 사용자가 웃고 있다고 결정할 수 있다. 일부 실시예들에 있어서, 상기 미리 결정된 임계값은 0.5, 0.75, 1, 1.5, 2 또는 그 이상의 센티미터일 수 있다. 이와 같은 방식으로, 상기 얼굴 검출 시스템(601)은 카메라 또는 이미지 처리 없이 사용자의 얼굴 표정을 모니터링, 검출 또는 결정할 수 있고, 이는 필요호 하는 계산 능력의 양을 감소시킨다.
이제 도 7을 참조하면, 얼굴 추적 시스템의 회로의 블록도(700)가 도시되어 있다. 상기 블록도(700)는 검출기들의 어레이(701), 멀티플렉서(702), 복조기(703), 아날로그-디지털 변환기(ADC)(704), 및 처리 블록(705)을 포함한다. 상기 검출기들의 어레이(701)는 상기 멀티플렉서(702)상의 각각의 단자에 각각 연결되는 다중 광자 검출기들을 포함한다. 상기 멀티플렉서(702)는 (예를 들어, 처리 블록(705)에서) 프로세서가 상기 다중 검출기들 각각과 연관된 신호를 결정할 수 있도록 상기 다중 검출기들 각각에 대한 각각의 어드레스를 가질 수 있다. 상기 복조기(703)는 상기 멀티플렉서(702)에 연결되고 상기 다중 검출기들 각각에 의해 생성된 신호를 복조하도록 구성된다. 상기 ADC(704)는 상기 복조기(703)로부터의 복조된 신호를 상기 복조된 신호의 디지털 표현으로 변환하도록 구성된다. 상기 ADC(704)는 상기 얼굴 추적 시스템 사용자의 얼굴 표정을 결정하기 위해 상기 복조된 신호의 디지털 표현을 처리하도록 구성되는 프로세서(예를 들어, 처리 블록에서)에 연결된다. 예를 들어, 상기 프로세서는 검출기들의 어레이(701)에 의해 감지된 거리에 기초하여 (예를 들어, 다중 광자 검출기들 각각으로부터 감지된 객체들의 거리에 기초하여) 객체들의 프로파일을 결정하기 위해 상기 복조된 신호들의 디지털 표현을 사용할 수 있다. 그 다음, 상기 프로세서는 상기 검출기들의 어레이(702)에 의해 감지된 객체들의 프로파일에 기초하여 사용자의 얼굴 표정(예를 들어, 미소, 찡그림, 찌푸림, 능글맞은 웃음 등)을 결정할 수 있다.
도 8 및 도 9를 모두 시연할 목적으로 함께 참조된다. 도 8은 얼굴 추적 장치(800)의 제3 예를 도시한다. 도 9는 얼굴 추적 장치(900)의 제4 예를 도시한다. 상기 얼굴 추적 장치(800 및 900)의 예들은 조명기들의 어레이(801) 및 광자 검출기(111)를 포함한다. 일부 실시예들에 있어서, 상기 조명기들의 어레이(801) 및 광자 검출기(111)는 기판(802)에 또는 기판(802) 내에 장착된다. 상기 기판(802)은 (예를 들어, 도 2를 참조하여 설명된 바와 같은 착용형 장치(202)와 같은) 머리 장착형 장치의 일부일 수 있다. 일부 실시예들에 있어서, 상기 기판(302)은 머리 장착형 장치와 같은 개별 장치에 기계적으로 선택적으로 또는 영구적으로 부착되도록 구성된 플라스틱, 금속, 합성물, 섬유 유리 또는 이들의 조합과 같은 강성 재료일 수 있다. 일부 실시예들에 있어서, 상기 기판(802)은 또한 기판에 또는 내부에 장착된 처리 회로(102)의 하나 이상의 부분을 가질 수 있다.
상기 조명기들의 어레이(801)는 각각 공간적으로 인코딩되거나 공간적으로 인코딩된 광을 방출하도록 구성된 다중 조명기들(110a-h)을 포함한다. 상기 검출기(111)는 객체의 제1 영역으로부터 반사되는 광을 수신하도록 구성되고, 상기 다중 조명기들(110a-h) 각각은 상기 객체의 제1 영역의 각각의 부분들을 향해 각각의 광을 투영하도록 구성되거나 배열된다. 이와 같은 방식으로, 상기 검출기(111)는 상기 다중 조명기들(110a-h) 중 적어도 일부로부터 공간적으로 인코딩된 광을 포함하는 제1 영역으로부터 반사된 광을 수신한다. 다음에, 상기 검출기(111)에 연결된 대응 회로 및/또는 처리 회로는 상기 검출기(111)에 의해 수신된 광을 나타내는 데이터를 수신할 수 있고 대응하는 사용자의 얼굴 표정을 결정할 수 있다. 예를 들어, 상기 다중 조명기들(110a-h) 각각은 객체 영역의 각각의 부분들을 향해 공간적으로 인코딩된 광을 방출하도록 프로세서로 구성되거나 또는 프로세서에 의해 제어될 수 있다. 상기 프로세서는 다중 조명기들 각각이 광을 투영하도록 배열된 각각의 부분을 데이터베이스에 저장할 수 있다. 따라서, 상기 처리 회로는 각각이 고유한 특성(예를 들어, 주파수, 강도 등)을 갖는 광을 방출하도록 상기 다중 조명기들(110a-h) 각각을 제어할 수 있다. 다음에, 상기 처리 회로는 상기 공간적으로 인코딩된 광에 기초하여 상기 객체들의 각각의 부분들의 거리를 결정하기 위해 적어도 상기 고유 특성들에 기초하여, 상기 검출기(111)에 의해 수신된 광의 어느 부분들이 상기 각각의 다중 조명기들(110a-h)에 속하는지를 결정할 수 있다.
상기 조명기들의 어레이(801)는 상기 얼굴 추적 장치들(800 또는 900)이 다중 조명기들 및 적어도 하나의 검출기를 사용하여 객체의 이미지를 매핑, 보간, 그래프화 또는 구성하기 위해 사용될 수 있게 한다. 다시 말해서, 상기 조명기들의 어레이(801)는 (예를 들어, 도 2를 참고하여 설명된 바와 같은 제1 부분(290) 또는 제2 부분(295)과 같은) 각각의 영역의 거리 프로파일을 모니터링, 검출 또는 결정할 때 상기 얼굴 추적 장치들(800 또는 900)의 향상된 해상도를 허용할 수 있다. 상기 조명기들의 어레이(801)의 정확한 구성(예를 들어, 또는 상기 조명기들의 어레이(801) 내의 다중 조명기들(110a-h)의 수)은 상기 개별 얼굴 추적 장치(800 또는 900)가 통합되어야 하는 특정 애플리케이션 또는 머리 장착형 장치에 기초할 수 있다. 예를 들어, 이제 도 8에 도시된 바와 같이, 일부 실시예들에 있어서, 상기 다중 조명기들(110a-h)은 선형으로 배열될 수 있다. 이와 같은 예에 있어서, 상기 다중 조명기들(110a-h)은 상기 얼굴 추적 장치(800)가 제1 영역의 축을 따라 객체들의 위치를 모니터링하거나 검출하게 할 수 있다. 다른 예에 있어서, 이제 도 9에 도시된 바와 같이, 상기 다중 조명기들(110a-h)은 행 및 열을 따라 배열될 수 있다. 그와 같은 예에 있어서, 상기 다중 조명기들(110a-h)은 상기 얼굴 추적 장치(900)가 제1 영역의 제1 축 및 제2 축을 따라 객체들의 위치를 모니터링하거나 검출하게 할 수 있다.
일부 실시예들에 있어서, 하나 초과의 검출기(111)가 상기 조명기들의 어레이(801)와 함께 사용될 수 있다. 일부 실시예들에 있어서, 상기 다중 조명기들(110a-h)은 2, 3, 4, 5, 6, 7, 8, 9, 10개 또는 그 이상의 조명기들을 포함할 수 있다. 일부 실시예들에 있어서, 상기 다중 조명기들(110a-h) 각각은 각각의 부분들이 중첩되지 않는 제1 영역의 각각의 부분들을 향해 공간적으로 인코딩된 광을 투영하도록 구성될 수 있다. 일부 실시예들에 있어서, 상기 다중 조명기들(110a-h) 각각은 각각의 부분들 중 하나 이상이 중첩되는 제1 영역의 각각의 부분들을 향해 공간적으로 인코딩된 광을 투영하도록 구성될 수 있다. 일부 실시예들에 있어서, 상기 각각의 부분들은 미리 결정되거나 또는 미리 측정되고, 데이터베이스 내에 저장된다.
이제 도 10을 참조하면, 얼굴 추적 시스템(1000)의 도면이 도시되어 있다. 상기 얼굴 추적 시스템(1000)은 처리 회로(102)에 통신 가능하게 결합된 제1 얼굴 추적 장치(1001) 및 제2 얼굴 추적 장치(1002)를 포함한다. 상기 제1 얼굴 추적 장치(1001)는 사용자 머리의 제1 측면(예를 들어, 사용자 코(1040)의 우측)상에 위치되도록 구성(예를 들면, 기판 또는 머리 장착형 장치상에 배열)되며, 상기 제2 얼굴 추적 장치(1002)는 사용자 머리의 제2 측면(예를 들어, 코(1040)의 좌측)상에 위치되도록 구성된다.
상기 제1 얼굴 추적 장치(1001)는 제1 조명기(110a) 및 제1 세트의 검출기들(111a-d)을 포함한다. 상기 제1 조명기(110a)는 사용자 머리의 제1 영역 상에 광을 투영하도록 상기 처리 회로(102)에 의해 배열 및 제어된다. 예를 들어, 상기 제1 영역은 사용자 입의 우측 측면을 포함할 수 있다. 상기 제1 세트의 검출기들(111a-d) 각각은 상기 제1 영역의 각각의 부분들로부터 반사된 광을 수신하도록 배열된다. 예를 들어, 제1 검출기(111a)가 사용자 입의 바깥쪽 가장자리(예를 들어, 입술 또는 입의 오른쪽 우측 가장자리)에 대응하는 상기 제1 영역의 제1 부분으로부터 반사된 광을 수신하도록 배열될 수 있고, 제2 검출기(111b)가 상기 제1 부분보다 더 중심에 있는 입의 위치에 대응하는 상기 제1 영역의 제2 부분으로부터 반사된 광을 수신하도록 배열될 수 있으며, 상기 제 4 검출기(111d)가 입의 중심 부근(예를 들어, 및/또는 상기 제1 부분과 동일한 입의 측면상의 입의 중심 부근)의 위치로부터 반사된 광을 수신하도록 배열될 수 있다. 상기 제2 얼굴 추적 장치(1002)는 제2 조명기(110b) 및 제2 세트의 검출기들(111e-h)을 포함한다. 상기 제2 조명기(1002) 및 제2 세트의 검출기들(111e-h)은 상기 머리의 제2 영역상에 유사하지만 대칭적인 동작을 수행하도록 배열 및 구성될 수 있다. 예를 들어, 상기 제2 영역은 입의 좌측 측면을 포함할 수 있다.
상기 검출기들(111a-h) 각각은 일부 실시예들에 있어서 머리의 반사된 부분들로부터 광을 수신하도록 구성된다. 각각의 검출기(111a-h) 및 상기 머리의 대응하는 부분들의 정확한 위치 및/또는 배열은 데이터베이스 내에 알려지거나 또는 결정 및 저장될 수 있다.
이제 도 11을 참조하면, 위너 테이크 올 회로(1101) 및 예시적인 출력의 개략도(1100)가 도시되어 있다. 일부 실시예들에 있어서, 도 10을 참조하여 설명된 얼굴 추적 시스템(1000)과 같은 얼굴 추적 시스템이 상기 아날로그 영역에서 사용자의 얼굴 표정을 결정할 수 있다. 예를 들어, 얼굴 추적 시스템은 상기 회로의 출력에 기초하여 사용자의 얼굴 표정을 결정하기 위해 상기 위너 테이크 올 회로 또는 유사한 회로를 사용할 수 있다.
상기 개략도(1100)는 위너 테이크 올 회로(1101)를 포함한다. 상기 위너 테이크 올 회로(1101)는 각각 바이어스 전류원(1112)에 연결된 제1 분기(1110) 및 제2 분기(1111)를 포함한다. 일부 실시예들에 있어서, 상기 위너 테이크 올 회로(1101)는 대응하는 얼굴 추적 장치의 검출기들(111) 각각에 대한 분기로서 구비된다. 각각의 분기는 대응하는 검출기(110a), 전류원(1115), 제1 트랜지스터(1116), 및 제2 트랜지스터(1117)를 포함한다. 상기 전류원(1115)의 출력은 상기 검출기(110a)의 출력 및 상기 제1 트랜지스터(1116)의 제1 단자에 연결된다. 상기 제1 트랜지스터(1116)의 제2 단자는 접지에 연결된다. 상기 제1 트랜지스터(1116)의 제어 단자(예를 들어, 게이트 단자)는 상기 제2 트랜지스터(1117)의 제1 단자 및 상기 바이어스 전류원(1112)의 입력 단자에 연결된다. 제어 단자(예를 들어, 상기 제2 트랜지스터(1117)의 게이트 단자)는 상기 제1 트랜지스터(1116)의 제1 단자에 연결된다. 상기 제2 트랜지스터(1117)의 제2 단자는 상기 처리 회로(102)의 프로세서에 연결된다. 일부 실시예들에 있어서, 상기 제2 트랜지스터(1117)의 제2 단자는 멀티플렉서 또는 기타 어드레스 특정 장치의 각각의 입력에 연결된다.
상기 위너 테이크 올 회로(1101)는 가장 높거나 가장 강한 신호를 갖는 상기 검출기를 프로세서에 시그널링하도록 구성된다. 이 경우, 상기 처리 회로는 상기 분기들(예를 들어, 대응하는 검출기) 중 어느 것이 가장 높거나 가장 강한 신호를 갖는지에 기초하여 사용자의 얼굴 표정을 결정할 수 있다. 예를 들어, 상기 가장 높은 또는 가장 강한 신호는 상기 각각의 검출기가 다른 다이오드들보다 상기 각각의 검출기에 더 가까운 객체를 갖는다는 것을 나타낼 수 있다. 따라서, 이제 다시 도 10을 참조하면, 제1 다이오드(111a)에 대응하는 분기가 신호를 출력하는 경우, 상기 처리 회로는 상기 제1 다이오드(111a)에 대응하는 부분(예를 들어, 입의 바깥쪽 가장자리)이 가장 작은 거리를 갖는다고 결정할 수 있다. 다음에, (예를 들어, 입의 바깥쪽 가장자리가 입의 중심보다 검출기에 더 높거나 더 가깝기 때문에) 상기 프로세서는 사용자의 얼굴 표정이 미소라고 결정할 수 있다.
일부 실시예들에 있어서, 각각의 얼굴 추적 장치는 대응하는 위너 테이크 올 회로(1101)에 연결될 수 있다. 일부 실시예들에 있어서, 상기 얼굴 추적 장치들 중 2개 이상이 대응하는 위너 테이크 올 회로(1101)에 연결될 수 있다. 상기 위너 테이크 올 회로(1101)의 출력들 모두는 프로세서에 직접 연결되거나 멀티플렉서와 같은 회로를 통해 연결될 수 있다. 상기 멀티플렉서는 신호를 출력하고 있는 분기 또는 분기들의 어드레스를 프로세싱 회로에 시그널링하도록 구성될 수 있다. 상기 처리 회로는, 어드레스가 대응하는 머리상의 위치를 결정하고 상기 머리의 대응하는 위치에 기초하여 얼굴 표정을 결정하기 위해, 데이터베이스 내의 어드레스 또는 분기 위치를 상호 참조할 수 있다. 예를 들어, 하나의 위너 테이크 올 회로상의 검출기(111d)에 대응하는 분기가 신호를 출력하고 있고 또한 다른 위너 테이크 올 회로상의 검출기(111e)에 대응하는 분기가 신호를 출력하고 있다면, 상기 프로세서는 사용자의 얼굴 표정이 찡그린 표정이라고 결정할 수 있다.
이제 도 12를 참조하면, 얼굴 추적 방법의 흐름도(1200)가 도시되어 있다. 동작 1201에서, 상기 얼굴 추적 시스템은 조명기를 이용하여 사용자의 얼굴을 향하여 광을 투영한다. 일부 실시예들에 있어서, 상기 하나 이상의 조명기에 연결된 프로세서는 상기 하나 이상의 조명기로 하여금 각각 광을 투영하게 한다. 일부 실시예들에 있어서, 상기 얼굴 추적 시스템은 상기 하나 이상의 조명기로 하여금 각각 사용자의 머리(예를 들어, 얼굴 또는 입)의 각각의 부분들을 향하여 광을 투영하게 한다. 일부 실시예들에 있어서, 상기 얼굴 추적 시스템은 상기 조명기들 각각으로 하여금 머리의 각각의 부분들을 향해 공간적으로 인코딩된 광을 투영하게 한다. 일부 실시예들에 있어서, 상기 얼굴 추적 시스템은 상기 하나 이상의 조명기 각각으로 하여금 동일한 특성들을 갖는 광을 머리의 각각의 부분들을 향해 투영하게 한다. 일부 실시예들에 있어서, 상기 각각의 부분들은 서로 중첩될 수 있다. 일부 실시예들에 있어서, 상기 각각의 부분들은 다른 부분과 중첩되지 않을 수 있다.
동작 1202에서, 상기 얼굴 추적 시스템은 하나 이상의 광자 검출기로부터 수신된 광을 나타내는 데이터를 수신한다. 즉, 머리의 각각의 부분들로부터 반사된 광은 하나 이상의 광자 검출기에 의해 수신되고 상기 검출기는 상기 수신된 광을 나타내는 전기 신호를 생성한다. 일부 실시예들에 있어서, 상기 전기 신호는 위너 테이크 올 회로에 의해 수신되고 상기 위너 테이크 올 회로는 신호를 프로세서로 출력한다. 일부 실시예들에 있어서, 상기 전기 신호는 (예를 들어, ADC를 통해) 디지털 형태로 변환되고 상기 처리 회로에 의해 수신된다. 일부 실시예들에 있어서, 아날로그 및/또는 디지털 회로를 통한 전기 신호의 추가 처리는 상기 전기 신호들이 상기 처리 회로에 의해 수신되기 전에 발생할 수 있다.
동작 1203에서, 상기 얼굴 추적 시스템은 상기 하나 이상의 광자 검출기의 데이터에 기초하여 공간 정보를 재구성한다. 즉, 상기 처리 회로는 상기 전기 신호에 기초하여 얼굴의 프로파일을 재구성한다. 상기 전기 신호들은 얼굴의 프로파일을 생성하기 위해 재구성된다. 일부 실시예들에 있어서, 상기 처리 회로가 위너 테이크 올 회로로부터 신호를 수신할 때와 같이, 상기 프로세서는 (예를 들어, 특정 검출기와 연관된 신호의 어드레스에 기초하여) 얼굴의 어느 부분이 특정 검출기에 근접하거나 가장 가까운지를 결정한다. 다음에, 상기 처리 회로는 데이터베이스 내에서 상기 특정 검출기(예를 들어, 어드레스)를 상기 특정 검출기가 광을 수신하도록 위치된 얼굴의 위치 및 각각의 부분들과 상호 참조할 수 있다. 이와 같은 방식으로, 상기 처리 회로는 상기 신호에 기초하여 얼굴의 프로파일을 재구성할 수 있다.
일부 실시예들에 있어서, 상기 얼굴 추적 시스템은 전기 신호를 사용하여 각각의 검출기에 의해 감지된 객체들의 거리를 결정할 수 있다. 상기 각각의 검출기들에 의해 감지된 객체들의 거리는 상기 광자 검출기에 의해 생성된 강도(예를 들면, 전류의 세기 또는 크기)에 기초하여 결정될 수 있다. 이 때, 상기 각각의 광자 검출기들에 의해 생성된 신호(예를 들면, 전류)의 강도 또는 크기는 상기 거리들을 결정하기 위해 상기 광자 검출기로부터의 객체의 거리에 대한 상기 신호의 알려진 강도 또는 크기의 공식 내에서 상호 참조되거나 또는 사용될 수 있다. 다음에, 상기 처리 회로는 거리, 검출기들 각각의 알려진 어드레스, 및 상기 검출기들 각각이 반사된 광을 수신하여 얼굴의 프로파일을 생성하도록 구성된 머리의 알려진 각각의 부분들을 사용할 수 있다. 일부 실시예들에 있어서, 상기 얼굴 추적 시스템은 머리의 일부로부터 수신된 광을 포함하는 광자 검출기로부터 신호를 수신할 수 있고 또한 상기 광자 검출기에 의해 수신된 (그리고, 예를 들어, 상기 신호 내에서 인코딩된) 광의 특성들에 기초하여 얼굴의 프로파일을 재구성할 수 있다. 예를 들어, 다중 조명기들이 사용되는 실시예에 있어서, 각각은 공간적으로 인코딩된 광을 얼굴의 각각의 부분들을 향해 투영하도록 구성되며, 상기 광자 검출기는 상기 광자 검출기에 의해 수신된 각각의 공간적으로 인코딩된 광의 정보로 인코딩된 신호를 출력할 수 있고, 상기 처리 회로는 상기 신호와 알려진 특성들 및 공간적으로 인코딩된 광의 위치에 기초하여 프로파일을 재구성할 수 있다.
동작 1204에서, 상기 얼굴 추적 시스템은 재구성된 공간 정보에 기초하여 얼굴 표정을 결정한다. 일부 실시예들에 있어서, 상기 처리 회로는 재구성된 프로파일을 사용하여 사용자의 얼굴에 대한 얼굴 표정을 결정한다. 예를 들어, 일부 실시예들에 있어서, 상기 프로파일은 사용자 입의 프로파일일 수 있고, 상기 처리 회로는 상기 프로파일이 사용자가 웃고 있거나 찡그리고 있거나 찌푸리고 있거나 히죽거리고 있다는 것을 나타내는 것으로 결정할 수 있다. 일부 실시예들에 있어서, 프로파일 베이(profile bay)는 사용자의 눈썹 또는 이마의 프로파일일 수 있고, 상기 프로파일은 사용자가 상기 눈썹의 프로파일에 기초하여 걱정스러운 표정 또는 화난 표정을 표현하고 있음을 나타낼 수 있다.
이제 일부 예시적인 구현들을 설명하였지만, 전술한 내용은 예시적 방식으로 제안된 것이며 제한적이지 않음이 명백한다. 특히, 본원에 제시된 많은 예들이 방법 행위 또는 시스템 요소들의 특정 조합을 포함하지만, 그러한 행위들 및 해당 요소들은 동일한 목적을 달성하기 위해 다른 방식들로 결합될 수 있다. 하나의 구현과 관련하여 논의된 행위, 요소 및 기능은 다른 구현 또는 구현들에서 유사한 역할로부터 배제되도록 의도되지 않았다.
본원에 개시된 실시예들과 관련하여 설명된 다양한 공정, 동작, 예시적인 논리, 논리 블록, 모듈 및 회로들을 구현하기 위해 사용되는 하드웨어 및 데이터 처리 구성 요소들은 범용 단일- 또는 다중-칩 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그래밍 가능 게이트 어레이(FPGA) 또는 기타 프로그램 가능 논리 장치, 개별 게이트 또는 트랜지스터 로직, 개별 하드웨어 구성 요소, 또는 본원에 설명된 기능들을 수행하도록 설계된 이들의 조합으로 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로프로세서, 또는 임의의 기존 프로세서, 제어기, 마이크로컨트롤러 또는 상태 머신일 수 있다. 프로세서는 또한 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서, 또는 그와 같은 임의의 다른 구성과 같은, 컴퓨팅 장치의 조합으로서 구현될 수 있다. 일부 실시예들에 있어서, 특정 공정 및 방법은 주어진 기능에 특정되는 회로에 의해 수행될 수 있다. 상기 메모리(예를 들어, 메모리, 메모리 유닛, 저장 장치 등)는 데이터를 저장하기 위한 하나 이상의 장치(예를 들어, RAM, ROM, 플래시 메모리, 하드 디스크 저장소 등) 및/또는 본 발명에 기재된 다양한 공정, 층 및 모듈을 완료하거나 용이하게 하기 위한 컴퓨터 코드를 포함한다. 상기 메모리는 휘발성 메모리 또는 비휘발성 메모리이거나 이를 포함할 수 있고, 데이터베이스 구성 요소, 목적 코드 구성 요소, 스크립트 구성 요소, 또는 본 발명에 설명된 다양한 활동 및 정보 구조를 지원하기 위한 임의의 다른 유형의 정보 구조를 포함할 수 있다. 예시적인 실시예에 따르면, 상기 메모리는 프로세싱 회로를 통해 프로세서에 통신 가능하게 연결되고, (예를 들어, 상기 프로세싱 회로 및/또는 상기 프로세서에 의해) 본원에 설명된 하나 이상의 프로세스를 실행하기 위한 컴퓨터 코드를 포함한다.
본 발명은 다양한 동작들을 달성하기 위한 임의의 기계 판독 가능 매체상의 방법, 시스템 및 프로그램 제품을 고려한다. 본 발명의 실시예들은 기존의 컴퓨터 프로세서를 사용하여, 또는 이와 같은 또는 다른 목적을 위해 통합된 적절한 시스템을 위한 특수 목적 컴퓨터 프로세서에 의해, 또는 하드와이어 시스템(hardwired system)에 의해 구현될 수 있다. 본 발명의 범위 내의 실시예들은 기계 실행 가능 명령어 또는 그 안에 저장된 데이터 구조를 갖거나 운반하기 위한 기계 판독 가능 매체를 포함하는 프로그램 제품을 포함한다. 그와 같은 기계 판독 가능 매체는 범용 또는 특수 목적 컴퓨터 또는 프로세서를 구비한 기타 기계에 의해 액세스될 수 있는 임의의 사용 가능한 매체일 수 있다. 예를 들어, 그와 같은 기계 판독 가능 매체는 RAM, ROM, EPROM, EEPROM, 또는 기타 광 디스크 저장 장치, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 기계 실행 가능 명령어 또는 데이터 구조의 형태로 원하는 프로그램 코드를 운반하거나 저장하기 위해 사용될 수 있고 범용 또는 특수 목적 컴퓨터 또는 프로세서를 갖는 기타 기계에 의해 액세스될 수 있는 임의의 기타 매체를 포함할 수 있다. 위의 조합들도 또한 기계 판독 가능 매체의 범위 내에 포함된다. 기계 실행 가능 명령어들은 예를 들어 범용 컴퓨터, 특수 목적 컴퓨터 또는 특수 목적 처리 기계로 하여금 특정 기능 또는 기능 그룹을 수행하게 하는 명령어들 및 데이터를 포함한다.
본원에 사용된 어구 및 용어는 설명을 목적으로 한 것이며 제한하는 것으로 간주되어서는 안 된다. 본원에서 "포함하는" "구비하는" "갖는" "함유하는" "속하는" "~에 의해 특징지어지는" "~을 특징으로 하는" 및 그들의 변형된 사용은 그 다음에 나열된 항목, 그의 등가물, 및 추가 항목은 물론 그 다음에 배타적으로 나열된 항목들로만 구성된 대체 구현을 포괄하는 것을 의미한다. 일 구현에서, 본원에 설명된 시스템 및 방법은 설명된 요소, 행위 또는 구성 요소들 중 하나 이상, 또는 모두의 각각의 조합으로 구성된다.
본원에서 단수로 언급된 시스템 및 방법의 구현 또는 요소 또는 행위에 대한 임의의 언급은 또한 그와 같은 복수 요소들을 포함하는 구현들도 포함할 수 있으며, 분원에서 임의의 구현 또는 요소 또는 행위에 대한 복수의 언급은 또한 단일 요소만을 포함하는 구현들을 포함할 수 있다. 단수 또는 복수 형태의 언급은 현재 개시된 시스템 또는 방법, 그들의 구성 요소, 행위 또는 요소들을 단일 또는 복수의 구성으로 제한하려는 것이 아니다. 임의의 정보, 행위 또는 요소를 기반으로 하는 임의의 행위 또는 요소에 대한 언급은 상기 행위 또는 요소가 적어도 부분적으로 임의의 정보, 행위 또는 요소를 기반으로 하는 구현을 포함할 수 있다.
본원에 개시된 임의의 구현은 임의의 다른 구현 또는 실시예와 결합될 수 있으며, "일 구현", "일부 구현들", "하나의 구현" 등에 대한 언급은 반드시 상호 배타적이지 않으며, 상기 구현과 관련하여 설명된 특정 기능, 구조 또는 특성이 적어도 하나의 구현 또는 실시예에 포함될 수 있음을 나타내기 위해 의도된 것이다. 본원에 사용된 그와 같은 용어들은 반드시 모두 동일한 구현을 지칭하는 것은 아니다. 임의의 구현이 본원에 개시된 양태 및 구현들과 일치하는 임의의 방식으로 포괄적으로 또는 배타적으로 임의의 다른 구현들과 결합될 수 있다.
도면의 기술적 특징, 상세한 설명 또는 청구범위 뒤에 참조 부호를 붙인 경우, 그와 같은 참조 부호는 도면, 상세한 설명 및 청구범위의 명료성을 높이기 위해 포함되었다. 따라서, 그와 같은 참조 부호가 있거나 부재하는 경우 청구 요소들의 범위를 제한하는 효과를 갖지 않는다.
본원에 기술된 시스템 및 방법은 그 특성을 벗어나지 않는 한도 내에서 다른 특정 형태로 구현될 수 있다. 추가적인 상대적 평행, 수직, 직교 또는 기타 위치 또는 방향 설명에는 순수 수직, 평행 또는 직교 위치의 +/-10% 또는 +/-10도 이내의 변동이 포함된다. "대략", "약" "실질적으로" 또는 다른 정도의 용어들에 대한 언급은 달리 명시적으로 표시되지 않는 한 주어진 측정, 단위 또는 범위로부터 +/-10%의 변동을 포함한다. 결합된 요소들은 전기적으로, 기계적으로 또는 물리적으로 서로 직접 결합되거나 또는 중간 요소와 결합될 수 있다. 따라서, 본원에 기재된 시스템 및 방법의 범위는 전술한 설명보다는 첨부된 청구범위에 의해 표시되며, 청구범위의 등가의 의미 및 범위 내에 있는 변경은 본원에 포함된다.
"결합되는"이라는 용어 및 이의 변형은 2개의 부재들을 서로 직접 또는 간접적으로 결합하는 것을 포함한다. 이와 같은 결합은 고정식(예를 들면, 영구적 또는 고정적) 또는 이동식(예를 들면, 제거 가능 또는 해제 가능)일 수 있다. 이와 같은 결합은 서로 직접 결합되는 2개의 부재들, 별도의 중간 부재를 사용하여 서로 결합되는 2개의 부재들 및 서로 결합되는 임의의 추가 중간 부재, 또는 2개의 부재들 중 하나와 함께 단일 본체로서 일체로 형성되는 중간 부재를 사용하여 서로 결합되는 2개의 부재들에 의해 성취될 수 있다. "결합되는" 또는 그의 변형이 추가 용어에 의해 수정되는 경우(예를 들어, 직접 결합되는), 위에 제공된 "결합되는"의 일반 정의는 추가 용어의 일반 언어 의미로 수정되어(예를 들어, "직접 결합되는"은 별도로 개재되는 부재 없이 2개의 부재들을 결합하는 것을 의미한다), 위에서 제공된 "결합되는"의 일반적인 정의보다 더 좁게 정의된다. 그와 같은 결합은 기계적, 전기적 또는 유체적일 수 있다.
"또는"에 대한 언급은 "또는"을 사용하여 설명된 임의의 용어들이 단일, 하나 초과 및 설명된 모든 용어들 중 임의의 것을 나타낼 수 있도록 포괄적인 것으로 해석될 수 있다. 'A'와 'B' 중 적어도 하나"에 대한 언급은 'A'만 포함할 수 있고 'B'만 포함할 수 있으며, 또한 'A'와 'B' 모두를 포함할 수 있다. "포함하는" 또는 기타 공개 용어와 함께 사용되는 그와 같은 언급에는 추가 항목들이 포함될 수 있다.
다양한 요소들의 크기, 치수, 구조, 형상 및 비율의 변화, 매개변수들의 값, 장착 배열, 재료의 사용, 색상, 방향과 같은 설명된 요소들 및 동작들의 수정은 본원에 개시된 주제의 교시 및 장점으로부터 실질적으로 벗어나지 않고 발생할 수 있다. 예를 들어, 일체로 형성된 것으로 도시된 요소들은 다수의 부품들 또는 요소들로 구성될 수 있고, 상기 요소들의 위치는 역전되거나 달리 변경될 수 있으며, 개별 요소들 또는 위치들의 성질 또는 개수는 변형 또는 변경될 수 있다. 본 발명의 범위를 벗어나지 않는 한도 내에서, 개시된 요소들 및 동작들의 설계, 동작 조건 및 배열에 있어서의 다른 대체, 수정, 변경 및 생략이 또한 이루어질 수 있다.
상기 요소들의 위치(예를 들어, "상부", "하부", "위", "아래")에 대한 본원의 언급은 단지 도면들에서 다양한 요소들의 방향을 설명하기 위해서만 사용된다. 다양한 구성 요소들의 방향은 다른 예시적인 실시예들에 따라 상이할 수 있으며, 그와 같은 변형은 본 발명에 포함되도록 의도된다.

Claims (15)

  1. 머리 착용형 디스플레이(HWD)로서,
    사용자의 머리에 착용하도록 구성된 요소;
    상기 요소와 함께 배치되고 상기 머리의 적어도 일부를 향해 광을 방출하도록 구성되는 조명기;
    상기 요소와 함께 배치되고 상기 머리의 적어도 제2 부분으로부터 반사된 광을 수신하도록 구성되는 광자 검출기;
    명령어들이 인코딩된 비일시적 컴퓨터 판독 가능 저장 매체에 연결되는 하나 이상의 프로세서로서, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금:
    상기 조명기가 상기 머리의 일부를 향해 광을 투영하게 하고;
    상기 광자 검출기로부터 정보를 수신하게 하고; 그리고
    적어도 상기 광자 검출기로부터의 정보에 기초하여 사용자의 얼굴 표정을 결정하게 하는, 상기 하나 이상의 프로세서를 포함하는, 머리 착용형 디스플레이(HWD).
  2. 제1 항에 있어서, 상기 머리의 일부와 상기 머리의 제2 부분이 적어도 부분적으로 중첩되는, HWD.
  3. 제1 항에 있어서, 하나 초과의 광자 검출기들을 추가로 포함하고, 상기 하나 초과의 광자 검출기들은 어레이로 배열되고 상기 머리의 각각의 부분들로부터 반사된 광을 수신하도록 구성되고, 또한, 선택적으로, 상기 얼굴 표정을 결정하기 위해, 상기 비일시적 컴퓨터 판독 가능 저장 매체는 인코딩된 명령어들을 가짐으로써, 상기 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금 하나 초과의 광자 검출기들 각각으로부터의 정보를 추가로 수신하게 하는, HWD.
  4. 제1 항에 있어서, 하나 초과의 조명기를 추가로 포함하고, 상기 하나 초과의 광자 검출기들은 어레이로 배열되고, 각각은 상기 머리의 각각의 부분들을 향해 공간적으로 인코딩된 특성들을 갖는 광을 방출하도록 구성되는, HWD.
  5. 제4 항에 있어서, 상기 광자 검출기로부터의 정보는 상기 광자 검출기에 의해 수신된 광의 특성들을 포함하고, 상기 요소는 유리 프레임 또는 하우징이고, 또한, 선택적으로, 상기 머리의 제1 및 제2 부분은 사용자의 코의 일 측면상에 위치하는, HWD.
  6. 얼굴 추적 장치로서,
    사용자 얼굴의 적어도 일부를 향하여 광을 방출하도록 구성되는 조명기;
    상기 얼굴의 적어도 제2 부분으로부터 반사된 광을 수신하도록 구성되는 광자 검출기; 및
    프로세서로서:
    상기 광자 검출기에 의해 검출된 광의 특성들에 관한 정보를 수신하고;
    상기 광자 검출기에 의해 검출된 광의 특성들에 기초하여 상기 얼굴의 얼굴 표정을 결정하도록 구성되는, 상기 프로세서를 포함하는, 얼굴 추적 장치.
  7. 제6 항에 있어서, 상기 광자 검출기에 의해 수신된 광의 특성들에 기초하여 상기 얼굴의 얼굴 표정을 나타내도록 구성되는 회로를 추가로 포함하고, 선택적으로, 상기 회로는 상기 프로세서에 대한 상기 얼굴의 얼굴 표정을 나타내는 신호를 상기 프로세서로 출력하도록 구성되는 위너 테이크 올 회로(winner take all circuit)를 포함하는, 얼굴 추적 장치.
  8. 제6 항에 있어서, 하나 초과의 광자 검출기들을 추가로 포함하고, 상기 하나 초과의 광자 검출기들은 어레이로 배열되고 상기 머리의 각각의 부분들로부터 반사된 광을 수신하도록 구성되는, 얼굴 추적 장치.
  9. 제8 항에 있어서, 상기 머리의 각각의 부분들은 모두 상기 얼굴의 코의 제1 측면상에 위치하며, 상기 얼굴 추적 장치는:
    상기 얼굴의 제2 측면의 적어도 일부를 향해 광을 방출하는 제2 조명기; 및
    하나 초과의 광자 검출기들의 제2 세트로서, 상기 제2 세트는 제2 어레이로 배열되고 상기 얼굴의 제2 측면의 각각의 부분들로부터 반사된 광을 수신하도록 구성되며, 선택적으로, 상기 얼굴 표정을 결정하기 위해, 상기 프로세서는 상기 하나 초과의 광자 검출기들 및 상기 하나 초과의 광자 검출기들의 상기 제2 세트로부터 상기 광의 특성들에 관한 정보를 수신하도록 추가로 구성되는, 상기 제2 세트를 추가로 포함하는, 얼굴 추적 장치.
  10. 제6 항에 있어서, 상기 얼굴의 일부와 상기 얼굴의 제2 부분은 적어도 부분적으로 중첩되는, 얼굴 추적 장치.
  11. 제6 항에 있어서, 상기 조명기의 광의 특성들은 상기 사용자의 얼굴 부분에 대응하여 공간적으로 인코딩되는, 얼굴 추적 장치.
  12. 사용자의 얼굴 표정을 추적하는 방법으로서,
    얼굴 추적 시스템의 조명기를 이용하여 사용자의 얼굴을 향하여 광을 투영하는 단계;
    상기 얼굴 추적 시스템을 통해, 상기 얼굴로부터 반사된 광의 특성들을 포함하는 정보를 광자 검출기로부터 수신하는 단계; 및
    상기 얼굴 추적 시스템을 통해, 상기 광자 검출기로부터의 정보에 기초하여 상기 얼굴의 얼굴 표정을 결정하는 단계를 포함하는, 방법.
  13. 제12 항에 있어서, 상기 조명기를 켜는 단계는 다중 조명기들 각각이 상기 얼굴의 각각의 부분들을 향해 상이한 특성들을 갖는 광을 투영하도록 상기 얼굴 추적 시스템의 상기 다중 조명기들을 켜는 단계를 추가로 포함하는, 방법.
  14. 제13 항에 있어서, 상기 얼굴 표정을 결정하는 단계는 상기 광자 검출기로부터의 정보에 기초하여 상기 얼굴의 적어도 일부의 이미지를 재구성하는 단계를 추가로 포함하는, 방법.
  15. 제12 항에 있어서, 상기 광자 검출기로부터 정보를 수신하는 단계는 상기 얼굴 추적 시스템을 통해 다중 광자 검출기들로부터 정보를 수신하는 단계를 추가로 포함하고, 상기 다중 광자 검출기들 각각은 상기 얼굴의 각각의 부분들로부터 광을 수신하도록 구성되고, 선택적으로, 상기 얼굴 표정을 결정하는 단계는 상기 다중 광자 검출기들로부터의 정보에 기초하여 상기 얼굴의 적어도 일부의 이미지를 재구성하는 단계를 추가로 포함하는, 방법.
KR1020227028186A 2020-01-17 2021-01-11 얼굴 표정 추적 시스템 및 방법 KR20220123311A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/746,226 US11467659B2 (en) 2020-01-17 2020-01-17 Systems and methods for facial expression tracking
US16/746,226 2020-01-17
PCT/US2021/012971 WO2021146144A1 (en) 2020-01-17 2021-01-11 Systems and methods for facial expression tracking

Publications (1)

Publication Number Publication Date
KR20220123311A true KR20220123311A (ko) 2022-09-06

Family

ID=74554223

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227028186A KR20220123311A (ko) 2020-01-17 2021-01-11 얼굴 표정 추적 시스템 및 방법

Country Status (6)

Country Link
US (2) US11467659B2 (ko)
EP (1) EP4091092A1 (ko)
JP (1) JP2023509822A (ko)
KR (1) KR20220123311A (ko)
CN (1) CN115039146A (ko)
WO (1) WO2021146144A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4020319A4 (en) * 2019-08-23 2023-08-23 Kyocera Corporation RFID LABEL
US11803237B2 (en) * 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
WO2024018400A2 (en) * 2022-07-20 2024-01-25 Q (Cue) Ltd. Detecting and utilizing facial micromovements

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9625251B2 (en) * 2013-01-14 2017-04-18 Massachusetts Eye & Ear Infirmary Facial movement and expression detection and stimulation
US20180107275A1 (en) * 2015-04-13 2018-04-19 Empire Technology Development Llc Detecting facial expressions
US9910275B2 (en) * 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
KR101759444B1 (ko) * 2016-08-25 2017-07-18 연세대학교 산학협력단 착용형 헤드셋을 이용한 표정 인식 장치 및 그 방법

Also Published As

Publication number Publication date
EP4091092A1 (en) 2022-11-23
US20210223856A1 (en) 2021-07-22
WO2021146144A1 (en) 2021-07-22
US20230147801A1 (en) 2023-05-11
CN115039146A (zh) 2022-09-09
US11467659B2 (en) 2022-10-11
JP2023509822A (ja) 2023-03-10

Similar Documents

Publication Publication Date Title
KR20220123311A (ko) 얼굴 표정 추적 시스템 및 방법
US20220050290A1 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
EP3589978B1 (en) Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping
US10459220B2 (en) Systems, devices, and methods for laser eye tracking in wearable heads-up displays
KR102630754B1 (ko) 증강 현실 펄스 옥시미트리
US10721420B2 (en) Method and system of adaptable exposure control and light projection for cameras
US20130106692A1 (en) Adaptive Projector
CN110998223A (zh) 用于确定至少一个对像的位置的检测器
CN104380729A (zh) 摄像机参数的上下文驱动调整
CN105659200A (zh) 用于显示图形用户界面的方法、设备和系统
US10607352B2 (en) Reduced power operation of time-of-flight camera
KR102476757B1 (ko) 반사를 검출하는 장치 및 방법
US20150317516A1 (en) Method and system for remote controlling
KR20190134476A (ko) 동적 비전 센서(dvs) 스테레오 쌍 및 펄스형 스페클 패턴 프로젝터로부터의 반밀도 깊이 추정
TW202112123A (zh) 可動態程式化的圖像感測器
CN108475109A (zh) 眼睛姿态跟踪
US20160247286A1 (en) Depth image generation utilizing depth information reconstructed from an amplitude image
US10574938B1 (en) Variable frame rate depth camera assembly
US20200089318A1 (en) Eye tracking using reverse-biased light-emitting diode devices
US20200150758A1 (en) Display device, learning device, and control method of display device
Liu et al. Sensors for future VR applications
Berger The role of rgb-d benchmark datasets: an overview
US20200250819A1 (en) Multiwave dental imaging system
US20220312865A1 (en) Interactive wearable devices and facial coverings
Jayasuriya Computational imaging for human activity analysis