KR102226447B1 - 시선 추적 장치 및 헤드 마운티드 디스플레이 기기 - Google Patents

시선 추적 장치 및 헤드 마운티드 디스플레이 기기 Download PDF

Info

Publication number
KR102226447B1
KR102226447B1 KR1020197024516A KR20197024516A KR102226447B1 KR 102226447 B1 KR102226447 B1 KR 102226447B1 KR 1020197024516 A KR1020197024516 A KR 1020197024516A KR 20197024516 A KR20197024516 A KR 20197024516A KR 102226447 B1 KR102226447 B1 KR 102226447B1
Authority
KR
South Korea
Prior art keywords
infrared
infrared lamp
luminance
tracking device
control circuit
Prior art date
Application number
KR1020197024516A
Other languages
English (en)
Other versions
KR20190108603A (ko
Inventor
진싱 리우
통빙 후앙
Original Assignee
베이징 7인벤썬 테크놀로지 컴퍼니., 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 7인벤썬 테크놀로지 컴퍼니., 리미티드 filed Critical 베이징 7인벤썬 테크놀로지 컴퍼니., 리미티드
Publication of KR20190108603A publication Critical patent/KR20190108603A/ko
Application granted granted Critical
Publication of KR102226447B1 publication Critical patent/KR102226447B1/ko

Links

Images

Classifications

    • G06K9/00604
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

시선 추적 장치 및 헤드 마운티드 디스플레이 기기에 있어서, 해당 시선 추적 장치는 적외선 카메라(101), 적외선 램프 그룹(102) 및 제어 회로(103)를 포함하며, 상기 제어 회로(103)는 상기 적외선 램프 그룹(102)에 전기적으로 연결되고, 상기 적외선 램프 그룹(102)은 서로 다른 위치에 배치된 적어도 2 개의 적외선 램프(1021)를 포함하며; 상기 적외선 카메라(101)는 상기 적외선 램프(1021)가 점등될 때 사용자의 안구 이미지를 수집하도록 배치되고; 상기 제어 회로(103)는 상기 시선 추적 장치가 홍채 인식 및 시선 추적 모드로 동작할 때 상기 적외선 램프 그룹(102)에서 유효 동작 휘도에 도달한 적외선 램프(1021)의 개수를 각각 제어하도록 배치되며, 상기 유효 동작 휘도는 임계 휘도 이상인 휘도를 가리킨다. 해당 시선 추적 장치는 홍채 인식 모드로 동작할 때 사용자 신분을 신속하게 획득할 수 있고, 시선 추적 모드로 동작할 때 사용자의 시선 방향을 더 정확하게 획득할 수 있다.

Description

시선 추적 장치 및 헤드 마운티드 디스플레이 기기
본 출원은 전자기기 기술분야에 관한 것이며, 구체적으로 시선 추적 장치 및 헤드 마운티드 디스플레이 기기에 관한 것이다.
종래의 시선 추적 장치는 시선 추적 기능과 홍채 인식 기능을 동시에 구비할 수 있으며, 한편으로 시선 추적 장치는 사용자의 시선 방향을 획득할 수 있으며, 이와 동시에 사용자 신분을 정확하게 인식할 수 있다.
본 발명자는 연구 과정에서 다음과 같은 점을 발견하였다: 종래 기술에서는 시선 추적 기능과 홍채 인식 기능을 구현할 때, 모두 동시에 적외선 보광 램프(fill lamp)로 보광하는 상황에서 카메라를 사용하여 안부 영역을 촬영하여 안부 이미지를 포착한 다음, 부동한 이미지 인식 알고리즘에 의존하여 눈의 응시점과 사용자 신분 정보를 판단하였으며, 이 두 과정에서 유효 동작 휘도에 도달한 적외선 램프의 개수는 변하지 않으며, 즉 적외선 램프가 홍채 인식 및 시선 추적을 수행할 때 유효 동작 휘도에 도달한 적외선 램프의 개수는 모두 일치하다. 따라서, 유효 작동 휘도에 도달한 적외선 램프의 개수가 많으면, 시선 추적 장치가 홍채 인식 모드로 동작할 때, 적외선 카메라에 의해 수집된 안구 이미지에 적외선 스팟이 많이 포함되어 홍채 이미지가 부분적으로 차단될 수 있으므로 안부의 전반적 특징을 얻을 수 없는 문제를 초래한다. 또는, 적외선 램프의 개수가 적으면, 시선 추적 장치가 시선 추적 모드로 동작할 때, 적외선 카메라에 의해 수집된 안구 이미지에 적외선 스팟이 적어 홍채 영역에서 적외선 스팟을 수집하지 못하는 경우가 쉽게 발생하므로 시선 방향을 정확하게 계산하지 못하거나 시선 방향을 계산할 수 없는 문제를 초래한다.
이를 감안하여, 본 출원 실시예의 목적은 시선 추적 장치 및 헤드 마운티드 디스플레이 기기를 제공하여 해당 시선 추적 장치가 홍채 인식 모드로 동작할 때 적외선 램프 그룹에서 유효 동작 휘도에 도달하는 적외선 램프의 개수를 감소하여 너무 많은 적외선 램프가 안부 특징 값을 수집할 때의 간섭 문제를 피면하고, 해당 시선 추적 장치가 시선 추적 모드로 동작할 때에는 유효 동작 휘도에 도달하는 적외선 램프의 개수를 증가하여 시선 추적이 더 정확하도록 하는 것이다.
제1방면으로, 본 출원 실시예는 시선 추적 장치를 제공하였으며, 적외선 카메라, 적외선 램프 그룹 및 제어 회로를 포함하며, 상기 제어 회로는 상기 적외선 램프 그룹에 전기적으로 연결되고, 상기 적외선 램프 그룹은 서로 다른 위치에 배치된 적어도 2 개의 적외선 램프를 포함하며;
상기 적외선 카메라는 상기 적외선 램프가 점등될 때 사용자의 안구 이미지를 수집하도록 배치되며;
상기 제어 회로는, 상기 시선 추적 장치가 홍채 인식 또는 시선 추적 모드로 동작할 때, 상기 적외선 램프 그룹에서 유효 동작 휘도에 도달하는 적외선 램프의 개수를 각각 제어하도록 배치되며, 상기 유효 동작 휘도는 임계 휘도 이상인 휘도를 가리킨다.
제1방면에 결합하여, 본 출원 실시예에서 제공한 제1방면의 제1가능한 실시형태에 있어서, 상기 적외선 램프 그룹은 제1위치에 배치된 적외선 램프 그룹과 제2위치에 배치된 적외선 램프 그룹을 포함하며, 상기 제1위치에 배치된 적외선 램프 그룹이 동작할 때 방출되는 적외선은 사용자의 안구에 직접 조사되지 않고, 상기 제2위치에 배치된 적외선 램프 그룹이 동작할 때 방출되는 적외선은 사용자의 안구에 직접 조사되며;
상기 제어 회로는 상기 시선 추적 장치가 홍채 인식 모드로 동작할 때, 제1위치에 배치된 적외선 램프 그룹이 유효 동작 휘도에 도달하도록 제어하고, 상기 시선 추적 장치가 시선 추적 모드로 동작할 때, 제2위치에 배치된 적외선 램프 그룹이 유효 동작 휘도에 도달하도록 제어한다.
제1방면에 결합하여, 본 출원 실시예에서 제공한 제1방면의 제2가능한 실시형태에 있어서, 상기 적외선 카메라는 상기 제어 회로에 전기적으로 연결되고;
상기 적외선 카메라는 상기 안구 이미지 및 상기 적외선의 조사에 의해 상기 적외선 카메라에 형성된 홍채 이미지를 상기 제어 회로에 전송하도록 배치되며;
상기 제어 회로는 유효 동작 휘도에 도달한 상기 적외선 램프의 휘도를 조절하여 상기 안구 이미지의 그레이 값이 미리 설정된 그레이 값에 도달하도록 한다.
제1방면에 결합하여, 본 출원 실시예에서 제공한 제1방면의 제3가능한 실시형태에 있어서, 상기 적외선 램프 그룹은 제1적외선 램프와 제2적외선 램프를 포함하고, 상기 제1적외선 램프의 개수는 상기 제2적외선 램프의 개수보다 작으며;
상기 제어 회로는 상기 시선 추적 장치가 홍채 인식 모드로 동작할 때 상기 제1적외선 램프가 유효 동작 휘도에 도달하도록 제어하고, 상기 제2적외선 램프의 휘도가 상기 임계 휘도보다 작도록 제어하며; 및 상기 시선 추적 장치가 시선 추적 모드로 동작할 때 상기 제1적외선 램프의 휘도가 상기 임계 휘도보다 작도록 제어하고, 상기 제2적외선 램프의 휘도가 유효 동작 휘도에 도달하도록 제어한다.
제1방면에 결합하여, 본 출원 실시예에서 제공한 제1방면의 제4가능한 실시형태에 있어서, 상기 제어 회로는 각각의 상기 적외선 램프에 각각 전기적으로 연결되고;
상기 제어 회로는 상기 시선 추적 장치가 홍채 인식 모드로 동작할 때 제1설정 개수의 상기 적외선 램프가 유효 동작 휘도에 도달하도록 제어하고; 및 상기 시선 추적 장치가 시선 추적 모드로 동작할 때 제2설정 개수의 상기 적외선 램프가 유효 동작 휘도에 도달하도록 제어하며; 상기 제1설정 개수는 상기 제2설정 개수보다 작다.
제1방면의 제1가능한 실시형태에 결합하여, 본 출원 실시예에서 제공한 제1방면의 제5가능한 실시형태에 있어서, 상기 제1위치의 적외선 램프 그룹은 적어도 2 개의 적외선 램프를 포함하고, 상기 제2위치의 적외선 램프 그룹은 적어도 3 개의 적외선 램프를 포함하며;
상기 제1위치의 적외선 램프 그룹 중의 각각의 적외선 램프의 발광 파장은 상기 제2위치의 적외선 램프 그룹 중의 각각의 적외선 램프의 발광 파장보다 작다.
제1방면의 제5가능한 실시형태에 결합하여, 본 출원 실시예에서 제공한 제1방면의 제6가능한 실시형태에 있어서, 상기 제1위치의 적외선 램프 그룹 중의 적어도 2 개의 적외선 램프의 발광 파장은 서로 다르다.
제1방면의 제6가능한 실시형태에 결합하여, 본 출원 실시예에서 제공한 제1방면의 제7가능한 실시형태에 있어서, 상기 적외선 카메라는 제1적외선 카메라와 제2적외선 카메라를 포함하며, 상기 제어 회로는 시선 추적 장치가 홍채 인식 모드로 동작할 때 제1적외선 카메라가 동작하도록 제어하고; 시선 추적 장치가 시선 추적 모드로 동작할 때 제2적외선 카메라가 동작하도록 제어한다.
제1방면에 결합하여, 본 출원 실시예에서 제공한 제1방면의 제8가능한 실시형태에 있어서, 상기 제어 회로는 상기 적외선 램프가 유효 동작 휘도에 도달하면 상기 적외선 카메라가 동작을 시작(개시)하도록 제어한다.
제2방면으로, 본 출원 실시예는 제1방면 내지 제1방면의 제8가능한 실시형태 중의 어느 한 시선 추적 장치를 포함하는 헤드 마운티드 디스플레이 기기를 제공한다.
본 출원 실시예에서 제공한 시선 추적 장치 및 헤드 마운티드 디스플레이 기기는 종래 기술의 시선 추적 장치에 비해, 적외선 램프 그룹은 서로 다른 위치에 배치된 적어도 2 개의 적외선 램프를 포함하고, 제어 회로는 시선 추적 장치가 홍채 인식 및 시선 추적 모드로 동작할 때 상기 적외선 램프 그룹에서 유효 동작 휘도에 도달한 적외선 램프의 개수를 각각 제어할 수 있어, 시선 추적 장치가 이 두 가지 동작 상태에서 유효 동작 휘도에 도달한 적외선 램프의 개수가 서로 다르게 할 수 있다. 이로써, 시선 추적 장치가 홍채 인식 및 시선 추적 모드로 동작할 때 적외선 램프 그룹에서 유효 동작 휘도에 도달한 적외선 램프의 개수를 각각 제어할 수 있도록 함으로써, 시선 추적 장치가 홍채 인식 모드로 동작할 때 유효 동작 휘도에 도달한 적외선 램프의 개수를 적게 하여, 적외선 카메라가 획득한 사용자의 안구 이미지에 적외선 스팟이 적어지고, 이로써 안부의 전체적 특징을 획득함으로써 사용자의 신분을 인식할 수 있다. 또한, 시선 추적 장치가 시선 추적 모드로 동작할 때 유효 동작 휘도에 도달한 적외선 램프의 개수를 많게 하여, 적외선 카메라가 획득한 사용자의 안구 이미지에 적외선 스팟이 많아지고, 이로써 사용자의 시선 방향을 더 정확하게 획득한다.
본 출원의 상기 목적, 특징 및 이점을 더 명백하게 이해하기 위해, 아래에 바람직한 실시예에 첨부도면을 결합하여 상세하게 설명한다.
하기에서는, 본 발명 실시예의 기술방안을 더 명확하게 하기 위해, 실시예에서 필요한 도면에 도면에 대해 간략하게 설명한다. 하기의 도면은 본 출원의 일부 실시예만 도시하였음을 이해해야 하며, 본 발명은 이에 한정되지 않는다. 당업자는 창조적 노동이 필요없이 이러한 도면에 기반하여 기타 도면을 얻을 수 있다.
도 1은 본 출원 실시예에서 제공한 시선 추적 장치의 구조 개략도이다.
도 2는 본 출원 실시예에서 제공한 원환형 적외선 램프 플레이트의 실물 개략도이다.
도 3은 본 출원 실시예에서 제공한 제어 회로의 회로도이다.
도 4는 본 출원 실시예에서 제공한 헤드 마운티드 가상 현실 안경의 실물 개략도이다.
본 출원 실시예의 목적, 기술방안 및 이점을 더 명백하게 하기 위해, 이하, 본 출원 실시예 중의 도면을 결합하여 본 출원 실시예의 기술방안에 대해 명확하고 완정한 설명을 진행하는데, 분명한 것은 설명되는 실시예는 단지 본 출원의 일부 실시예일뿐, 전부 실시예가 아니다. 본 명세서에서 일반적으로 설명되고 도시된 본 출원의 실시예의 구성 요소는 다양하게 상이한 구성으로 배치되고 설계될 수 있다. 따라서, 이하 첨부도면에 개시된 본 출원의 실시예에 대한 상세한 설명은 본 출원에서 보호하려는 범위를 제한하지 않으며, 단지 본 출원의 선택적 실시예를 나타낸다. 본 출원 실시예에 기반하여, 본 분야 당업자가 창조성 노동을 부여하지 않은 전제하에서 얻은 기타 실시예는 전부 본 출원의 청구범위에 속한다.
[실시예 1]
본 출원 실시예 1은 시선 추적 장치를 제공하였으며, 도 1에 도시된 바와 같이, 적외선 카메라(101)를 포함하고, 적외선 램프 그룹(102)과 제어 회로(103)를 더 포함하며, 제어 회로(103)는 적외선 램프 그룹(102)에 전기적으로 연결되고, 적외선 램프 그룹(102)은 서로 다른 위치에 배치된 적어도 2 개의 적외선 램프(1021)를 포함하며, 적외선 카메라(101)는 제어 회로(103)에 전기적으로 연결될 수 있다.
적외선 카메라(101)는 상기 적외선 램프(1021)가 점등될 때 사용자의 안구 이미지를 수집하도록 배치된다.
상기 시선 추적 장치가 동작할 때 주위 환경이 비교적 어두우면, 적외선 카메라(101)는 적외선 램프(1021)가 점등될 때 사용자의 안구 이미지를 수집해야 한다.
제어 회로(103)는, 시선 추적 장치가 홍채 인식 및 시선 추적 모드로 동작할 때, 적외선 램프 그룹(102)에서 유효 동작 휘도에 도달하는 적외선 램프(1021)의 개수를 각각 제어하도록 배치되며, 상기 유효 동작 휘도는 임계 휘도 이상인 휘도를 가리킨다.
유효 동작 휘도에 도달한 적외선 램프(1021)는, 해당 휘도의 적외선 램프가 사용자의 안구에 직접 조사되면, 적외선 카메라(101)가 해당 사용자의 안구 이미지를 수집할 때 홍채 영역에서 수집된 적외선 스팟이 홍채 이미지를 부분적으로 차단하여 안부의 전체적 특징을 추출할 수 없음을 의미한다. 만일 휘도가 매우 어두운 적외선 램프(1021)가 사용자의 안구에 조사되면, 적외선 카메라가 추출한 안구 이미지 중의 홍채 이미지는 부분적으로 차단되지 않고 안부의 전체적 특징을 추출하는데 영향주지 않으며, 이때 휘도가 매우 어두운 이 부분의 적외선 램프(1021)는 유효 동작 휘도에 도달하지 않았다고 한다. 설명의 편의를 위해, 유효 동작 휘도에 도달한 적외선 램프(1021)의 조사에 의해 형성된 적외선 스팟은 적외선 스팟을 포함한다고 말하고, 유효 동작 휘도에 도달하지 않은 적외선 램프(1021)가 안구 이미지를 조사하여 형성된 적외선 스팟은 적외선 스팟을 형성하지 않는다고 말하며, 이때 적외선 스팟은 안부의 특징 값 수집에 대해 간섭하지 않으므로, 시선을 추적할 때 시선 방향을 계산하는 역할을 하지 못한다.
임계 휘도 값은 여러 번의 실험을 통하여 얻을 수 있으며, 임계 휘도보다 작은 적외선 램프가 사용자의 안구를 조사할 때, 적외선 카메라가 획득한 안구 이미지 중의 홍채 이미지에 형성된 적외선 스팟의 휘도가 특별히 낮거나 또는 적외선 스팟이 특별히 작으므로 사용자의 안부 특징 값 추출에 영향을 미치지 않는다.
본 출원 실시예 1에서 제기한 기술방안의 하나의 선택적 실시형태에 있어서, 적외선 램프 그룹은 제1위치에 배치된 적외선 램프 그룹과 제2위치에 배치된 적외선 램프 그룹을 포함하며, 상기 제1위치에 배치된 적외선 램프 그룹이 동작할 때 방출되는 적외선은 사용자의 안구에 직접 조사되지 않고, 상기 제2위치에 배치된 적외선 램프 그룹이 동작할 때 방출되는 적외선은 사용자의 안구에 직접 조사된다.
제어 회로는 시선 추적 장치가 홍채 인식 모드로 동작할 때 제1위치에 배치된 적외선 램프 그룹이 유효 동작 휘도에 도달하도록 제어하고, 시선 추적 장치가 시선 추적 모드로 동작할 때 제2위치에 배치된 적외선 램프 그룹이 유효 동작 휘도에 도달하도록 제어한다.
여기서, 제1위치에 배치된 적외선 램프가 동작할 때 사용자의 안구에 직접 조사되지 않는다는 것은 해당 위치의 적외선 램프가 유효 동작 휘도에 도달하였을 경우 사람의 눈에 직접 조사되지 않고 사용자의 눈까풀과 같은 다른 부위에 조사된 후 난반사를 통해 사람의 눈에 조사됨을 이미하며, 그 다음 적외선 카메라에 이미지가 형성되고, 이로써 적외선 카메라는 사용자의 안구 이미지를 획득하며 해당 안구 이미지 상의 홍채 영역에는 적외선 스팟이 존재하지 않는다. 그러나 제2위치에 배치된 적외선 램프가 동작할 때에는 사용자의 눈에 직접 조사되며, 안구의 정반사를 통해 적외선 카메라에 이미지가 형성되고, 이로써 적외선 카메라는 사용자의 안구 이미지를 획득하며 해당 안구 이미지 상의 홍채 영역에는 적외선 스팟이 존재한다.
예를 들어, 2 개의 원환형 램프 플레이트를 배치할 수 있고, 그 중의 하나는 직경이 다른 하나보다 약간 크며, 직경이 작은 원환형 램프 플레이트는 직경이 큰 원환형 램프 플레이트에 슬리브되고, 직경이 큰 원환형 램프 플레이트를 사용자의 안구로부터 멀리 떨어진 곳에 배치하며, 방출된 적외선은 사용자의 안구를 직접 비추지 않고 안구 주위 영역을 비추며, 해당 영역의 난반사를 통해 일부는 난반사 광으로 사용자의 안구를 조사하고, 그 다음 적외선 카메라에 이미지가 형성되므로 적외선 카메라가 획득한 안구 이미지에 적외선 스팟이 없게 된다.
상기 상황에서, 제1위치에 배치된 적외선 램프 그룹은 적어도 2 개의 적외선 램프를 포함하고, 제2위치에 배치된 적외선 램프 그룹은 적어도 3 개의 적외선 램프를 포함하며, 제1위치의 적외선 램프 그룹 중의 각각의 적외선 램프의 발광 파장은 제2위치의 적외선 램프 그룹 중의 적외선 램프의 발광 파장보다 작다.
홍채 인식 모드일 때, 사용자의 안구 이미지의 홍채 인식률을 향상시키고 홍채 특징 값의 추출을 용이하게 하기 위해, 일반적으로 파장이 760nm~ 850nm 사이인 적외선을 사용하며, 시선 추적 모드일 때, 안구 이미지 중의 적외선 스팟의 선명도를 향상시키고, 사용자의 안구를 보호하기 위해, 일반적으로 파장이 850nm~ 940nm 사이인 적외선을 사용한다.
특히, 홍채 인식 모드일 때, 홍채 인식률은 적외선 파장의 영향을 받을 뿐만 아니라 사용자 눈의 홍채 영역의 색상의 영향도 받는다. 따라서, 본 출원 실시예 1에서 제기한 기술방안의 하나의 선택적 실시형태에 있어서, 제1위치에 배치된 적외선 램프 그룹 중 적어도 2 개의 적외선 램프는 발광 파장이 서로 다르며, 예를 들어 3 개의 적외선 램프를 포함할 때 이들이 방출하는 적외선의 파장은 각각 770nm, 810nm 및 840nm이다. 어느 한 사용자가 해당 시선 추적 장치를 사용하여 홍채 인식을 수행할 때, 이 3 가지 파장의 램프가 각각 유효적으로 동작하도록 한 다음, 적외선 카메라가 각각 획득한 3 장의 이미지에서 가장 선명한 이미지, 즉 그레이 값이 가장 큰 이미지를 취하는데, 이에 대응하여 동작하는 적외선 램프가 해당 사용자에게 가장 적합한 적외선 램프이다.
본 출원 실시예 1에서 제기한 하나의 선택적 실시형태에 있어서, 적외선 카메라는 제1적외선 카메라와 제2적외선 카메라를 포함하며, 제어 회로는 시선 추적 장치가 홍채 인식 모드로 동작할 때 제1적외선 카메라가 동작하도록 제어하고; 시선 추적 장치가 시선 추적 모드로 동작할 때 제2적외선 카메라가 동작하도록 제어한다. 제1적외선 카메라에서 수신하는 적외선의 파장은 제2적외선 카메라에서 수신하는 적외선의 파장보다 작다.
시선 추적 장치가 홍채 인식 및 시선 추적 모드로 각각 동작할 때, 적외선 램프 그룹(102)에서 유효 동작 휘도에 도달한 적외선 램프(1021)의 개수가 서로 다르도록 제어함으로써, 시선 추적 장치가 홍채 인식 모드로 동작할 때, 적외선 카메라(101)가 수집한 사용자의 안구 이미지에 적외선 스팟이 포함되지 않거나 또는 매우 적게 포함되며, 이로써 적외선 카메라(101)가 획득한 안구 이미지에 적외선 스팟이 과다하게 존재하여 안구의 전체적 특징 값을 추출하지 못하여 홍채 인식을 실현하지 못하는 문제를 피면한다. 아울러, 시선 추적 장치가 시선 추적 모드로 동작할 때, 유효 동작 휘도에 도달한 비교적 많은 적외선 램프(1021)가 사용자 안구의 각막 영역을 조사하므로, 적외선 카메라(101)가 획득한 안구 이미지에서 적외선 스팟이 안구의 동공 중심 부근에 비교적 많이 분포되며, 동공 중심과 각 적외선 스팟의 거리를 계산하여 사용자의 시선 방향을 더욱 정확하게 확정할 수 있다.
해당 시선 추적 장치는 가상 현실 기기로 배치될 수 있고, 증강 현실 기기 또는 헤드 마운티드 아이 컨트롤 기기(eye controlled device)로 배치될 수도 있으며, 상기 기기는 사용자의 홍채 인식 기능과 사용자의 시선 방향을 판단하는 기능을 겸비할 수 있으며, 구체적인 응용 환경은 여기서 구체적으로 한정하지 않는다.
상기 제어 회로(103)는 프로세서를 포함하며, 프로세서는 펄스폭 변조 신호를 출력함으로써 적외선 램프 그룹(102)에서 유효 동작 휘도에 도달한 적외선 램프(1021)의 개수를 조절할 수 있다.
예를 들어, 사전 실험을 통해 적외선 램프(1021)가 유효 작동 휘도에 도달할 때 흐르는 최저 전류 값을 얻으면, 펄스폭 변조 신호를 출력함으로써 해당 전류가 상기 최소 전류 값 이상이 되도록 전류를 조정할 수 있다.
실제 작업 과정에서, 적외선 램프(1021)의 휘도가 유효 작동 휘도에 도달한 경우, 적외선 카메라가 획득한 안구 이미지 중의 홍채 이미지 또는 홍채 이미지 중의 적외선 스팟이 선명하지 못하면, 상기 홍채 이미지 및 적외선 스팟이 비교적 선명해지도록 적외선 램프(1021)의 휘도를 조절할 수 있다.
본 출원 실시예 1에서 제기한 하나의 선택적 실시형태에 있어서, 도 1을 참조하면, 적외선 카메라(101)는 제어 회로(103)에 전기적으로 연결되고;
여기서, 적외선 카메라(101)는 획득한 사용자의 안구 이미지를 제어 회로(103)에 전송하도록 배치된다.
제어 회로(103)는 유효 동작 휘도에 도달한 적외선 램프(1021)의 휘도를 조절하여 안구 이미지의 그레이 값이 미리 설정된 그레이 값에 도달하도록 한다.
이러한 상황은 다음과 같은 경우를 포함한다: 시선 추적 장치가 홍채 인식 모드로 동작할 때, 제어 회로(103)는 사용자 안구 이미지 중의 무늬 이미지의 그레이 값을 조절함으로써, 무늬가 더욱 선명해지고 무늬의 인식률을 증가하여 홍채 인식을 신속하게 완료할 수 있게 된다. 시선 추적 장치가 시선 추적 모드로 동작할 때, 제어 회로(103)는 획득한 사용자 안구 이미지 중의 동공과 적외선 스팟의 그레이 값을 조절함으로써, 비교적 용이하게 선명한 동공 이미지와 적외선 스팟 이미지를 획득하도록 한다.
예를 들어, 제어 회로(103) 내의 프로세서에 미리 설정된 안구 이미지 중의 무늬의 그레이 값이 108이고, 미리 설정된 스폿 이미지의 그레이 값이 100일 수 있으며, 또는 하나의 그레이 값의 범위를 미리 설정한다. 시선 추적 장치가 홍채 인식 모드로 동작할 때, 제어 회로(103) 내의 프로세서는 수신된 무늬 이미지의 그레이 값이 미리 설정된 그레이 값인 108에 도달했는지 판단하거나 또는 미리 설정된 그레이 값의 범위에 도달했는지 판단할 수 있으며, 도달하였을 경우, 이때의 적외선 램프(1021)의 휘도를 조절하지 않고, 도달하지 못했으면, 펄스폭 변조 신호를 출력함으로써 적외선 램프(1021)의 휘도를 조절할 수 있다.
시선 추적 장치가 시선 추적 모드로 동작할 때, 제어 회로(103) 내의 프로세서는 수신된 안구 이미지 중의 적외선 스팟 이미지의 그레이 값이 미리 설정된 그레이 값인 100에 도달했는지 판단하거나 또는 미리 설정된 그레이 값의 범위에 도달했는지 판단할 수 있으며, 도달하였으면, 이때의 적외선 램프(1021)의 휘도를 조절하지 않고, 도달하지 못했으면, 펄스폭 변조 신호를 출력함으로써 적외선 램프(1021)의 휘도를 조절할 수 있다.
여기서, 펄스폭 변조는 상응한 부하의 변화에 따라 트랜지스터 베이스 또는 MOS 트랜지스터 게이트의 바이어스를 변조함으로써, 트랜지스터 또는 MOS 트랜지스터의 온 타임의 변화를 실현하고, 따라서 스위칭 안정화 전원의 출력 변경을 실현하는 아날로그 제어 방법이다. 이와 같은 방법은 동작 조건이 변할 때 전원의 출력 전압을 일정하게 유지할 수 있으며, 이는 마이크로 프로세서의 디지털 신호를 이용하여 아날로그 회로를 제어하는 매우 효과적인 기술이다.
여기서, 펄스폭 변조 신호의 듀티비를 조절함으로써 출력 전류의 크기를 조절하고, 펄스폭 변조 신호를 출력함으로써 적외선 램프(1021)의 휘도를 조절하는 것은 단지 일 실시예에 불과하며, 이에 한정되는 것은 아니다.
본 출원 실시예 1에서 제기한 하나의 선택적 실시형태에 있어서, 적외선 램프 그룹(102)은 제1적외선 램프와 제2적외선 램프를 포함하고, 제1적외선 램프의 개수는 제2적외선 램프의 개수보다 작으며;
제어 회로(103)는 시선 추적 장치가 홍채 인식 모드로 동작할 때 제1적외선 램프가 유효 동작 휘도에 도달하도록 제어하고, 제2적외선 램프의 휘도가 임계 휘도보다 작도록 제어하며; 또한, 시선 추적 장치가 시선 추적 모드로 동작할 때 제1적외선 램프의 휘도가 임계 휘도보다 작도록 제어하고, 제2적외선 램프가 유효 동작 휘도에 도달하도록 제어한다.
여기서, 적외선 램프의 휘도가 임계 휘도보다 작도록 제어하는 것은 해당 적외선 램프를 직접 끄는 것을 포함한다.
예를 들어, 제1적외선 램프의 개수가 1 개이고, 제2적외선 램프의 개수가 8 개이며, 시선 추적 장치가 홍채 인식 모드로 동작할 때 제어 회로(103)를 통해 제1적외선 램프, 즉 1 개의 적외선 램프가 유효 동작 휘도에 도달하도록 제어하고; 시선 추적 장치가 시선 추적 모드로 동작할 때 제어 회로(103)를 통해 제2적외선 램프, 즉 8 개의 적외선 램프가 유효 동작 휘도에 도달하도록 제어한다.
본 출원 실시예 1에서 제기한 하나의 선택적 실시형태에 있어서, 제1적외선 램프와 제2적외선 램프는 병렬되게 배치되고, 제2적외선 램프 중의 각 적외선 램프는 직렬되게 배치될 수 있다.
본 출원 실시예 1에서 제기한 다른 한 선택적 실시형태에 있어서, 제어 회로(103)는 적외선 램프 그룹(102) 중의 각 적외선 램프(1021)에 전기적으로 연결되고;
이때, 제어 회로(103)는 시선 추적 장치가 홍채 인식 모드로 동작할 때 제1설정 개수의 적외선 램프(1021)가 유효 동작 휘도에 도달하도록 제어하고; 및 시선 추적 장치가 시선 추적 모드로 동작할 때 제2설정 개수의 적외선 램프(1021)가 유효 동작 휘도에 도달하도록 제어하며; 여기서 제1설정 개수는 제2설정 개수보다 작다.
예를 들어, 제1설정 개수는 1 개이고, 제2설정 개수는 8 개이며, 시선 추적 장치가 홍채 인식 모드로 동작할 때 제어 회로(103)는 적외선 램프 그룹(102) 중의 1 개의 적외선 램프(1021)가 유효 동작 휘도에 도달하도록 제어하고; 시선 추적 장치가 시선 추적 모드로 동작할 때 제어 회로(103)는 적외선 램프 그룹(102) 중의 8 개의 적외선 램프가 유효 동작 휘도에 도달하도록 제어하며, 이 8 개의 적외선 램프(1021)는 상기 홍채 인식에서 점등된 1 개의 적외선 램프(1021)를 포함할 수 있다.
본 출원 실시예 1에서 제기한 하나의 선택적 실시형태에 있어서, 상기 적외선 램프 그룹(102) 중의 각 적외선 램프(1021)는 병렬연결된다.
본 출원 실시예 1에서 제기한 하나의 선택적 실시형태에 있어서, 상기 시선 추적 장치는 적외선 램프 플레이트를 더 포함하며, 해당 적외선 램프 플레이트는 적외선 램프(1021)를 탑재되도록 배치되며, 또한 제어 회로(103)와 적외선 카메라(101)를 해당 적외선 램프 플레이트에 배치할 수도 있다.
본 출원 실시예 1에서 제기한 기술방안의 하나의 선택적 실시형태에 있어서, 해당 적외선 램프 플레이트는 원환형의 적외선 램프 플레이트(400)이며, 각각의 적외선 램프(1021)는 해당 적외선 램프 플레이트(400) 상에 균일하게 분포된다. 도 2에 도시된 바와 같이, 적외선 램프 그룹(102)은 총 8 개의 적외선 램프(1021)를 구비한다. 해당 8 개의 적외선 램프(1021)는 해당 적외선 램프 플레이트(400) 상에 균일하게 분포되어 하나의 원을 이루며, 인접한 적외선 램프의 간격은 서로 같다. 이때, 제어 회로(103)는 도 3에 도시된 바와 같다. 도 3에 도시된 바와 같이, 8 개의 적외선 램프(1021)는 각각 칩의 핀(11~ 18)에 1대1로 대응되게 연결되며, 각각의 적외선 램프(1021)는 모두 하나의 풀업 저항 (R)과 직렬된다. 칩의 핀(11~18)의 출력 레벨은 대응되게 연결되는 적외선 램프(1021)를 제어한기 위한 것이다. 칩의 핀(11~18)은 제어 신호(LED~ LED8)를 1대1로 대응되게 수신하며, 각각의 제어 신호는 대응되는 적외선 램프(1021)를 제어한다.
시선 추적 장치는 제어 회로와 적외선 카메라에 전력을 공급하도록 배치된 전원 모듈을 더 포함한다.
본 출원 실시예 1에서 제기한 기술방안의 하나의 선택적 실시형태에 있어서, 제어 회로는 적외선 램프가 유효 동작 휘도에 도달하면 적외선 카메라가 동작을 시작하도록 제어한다.
전원 모듈의 전력 소비를 줄이기 위해, 제어 회로(103)는 적외선 카메라(101)의 노광 시간과 적외선 램프(1021)의 점등 및 소등 시간을 제어할 수 있다.
실시예 1에서 제기한 기술방안의 하나의 선택적 실시형태에 있어서, 시선 추적 장치가 시선 추적 모드로 동작할 경우, 적외선 카메라의 노광 시간을 고정된 최대치로 설정하고, 제어 회로는 출력되는 펄스폭 변조 신호를 조절하여 시선 추적을 위해 동작하는 적외선 램프가 적합한 휘도로 조절될 때, 적외선 카메라를 제어하여 촬영 동기 신호를 출력하도록 하고, 촬영이 완료된 후 시선 추적을 위해 동작하는 적외선 램프가 소등되도록 제어한다. 이로써 시선 추적을 위해 동작하는 적외선 램프의 깜박임 빈도와 적외선 카메라 촬영 빈도가 같도록 한다.
시선 추적 장치가 홍채 인식 모드로 동작할 경우, 제어 회로는 마찬가지로 출력되는 펄스폭 변조 신호를 조절하여 홍채 인식을 위해 동작하는 적외선 램프가 적합한 휘도로 조절될 때, 적외선 카메라를 제어하여 촬영 동기 신호를 출력하도록 하고, 촬영이 완료된 후 홍채 인식을 위해 동작하는 적외선 램프가 소등되도록 제어한다. 이로써 홍채 인식을 위해 동작하는 적외선 램프의 깜박임 빈도와 적외선 카메라 촬영 빈도가 같도록 한다.
또한, 부동한 응용 환경에서 시선 추적 장치는 동작 모드를 선택할 수 있으며, 예를 들어, 단지 홍채 인식 모드만 개시하거나 단지 시선 추적 모드만 개시하거나, 또는 두가지 동작 모드를 모두 개시할 수 있다.
예를 들어, 시선 추적 장치는 높은 수준의 보안이 요구되는 환경으로 설정되어야 하며, 홍채 인식 모드가 일정한 시간 간격으로 한 번 개시될 수 있도록 해야 한다. 그리고 시선 추적 장치가 시선 추적을 수행하는 경우에도, 간헐적으로 홍채 인식 기능을 개시한다.
본 출원 실시예 1에서 제기한 기술방안의 하나의 선택적 실시형태에 있어서, 제어 회로는 시선 추적 및 홍채 인식이 교대로 순환하도록 제어하고, 제어 회로는 해당 모드의 적외선 램프가 번갈아 점등될 때 촬영하도록 적외선 카메라를 제어하며, 이로써 제1프레임 이미지를 아이 컨트롤 모드에서의 안구 이미지로 하고, 제2프레임을 홍채 인식 모드에서의 안구 이미지로 하며, 제3프레임을 아이 컨트롤 모드에서의 안구 이미지로 하고, ..., 이과 같은 방식으로 유추할 수 있다. 이로써 아이 컨트롤 모드 및 홍채 인식 모드를 동시에 구현할 수 있다. 예를 들어, 수집 빈도가 60fps인 경우, 홀수 프레임의 안구 이미지는 어느 하나의 동작 모드에서 획득된 것이고, 짝수 프레임의 안구 이미지는 다른 하나의 동작 모드에서 획득된 것이다. 이 경우, 2 개의 작동 모드의 스위칭 속도가 매우 빠르기 때문에, 기본상 인간의 눈으로는 2 개의 동작 모드에서 동작하는 적외선 램프의 스위칭을 느끼지 못한다.
또한, 해당 시선 추적 장치는 가상 현실 안경에 설치될 수 있으며, 도 4에 도시된 바와 같이, 해당 가상 현실 안경은 안경 프레임(401)을 포함하고, 해당 안경 프레임은 사용자의 눈에 대응되는 렌즈(402)를 포함하며, 원환형 적외선 램프 플레이트(400)의 내경은 렌즈(402)의 직경보다 크며, 원환형 적외선 램프 플레이트(400)는 렌즈(402)에 슬리브된다.
[실시예 2]
본 출원의 실시예 2는 헤드 마운티드 디스플레이 기기를 제공하였으며, 실시예 1 중의 임의의 시선 추적 장치는 헤드 마운티드 디스플레이 기기 본체를 더 포함하며, 해당 본체는 렌즈 그룹과 디스플레이 스크린을 포함하는 탑재 장치를 포함하며, 렌즈 그룹은 좌측 렌즈 또는 우측 렌즈를 포함한다.
렌즈 그룹은 볼록 렌즈 또는 오목 렌즈, 또는 보안경일 수 있으며, 디스플레이 스크린은 사용자의 부동한 요구에 맞춰 이미지를 표시하도록 설정된다.
실시예 1의 시선 추적 장치는 사용자 신분을 인식하고 사용자의 시선 방향을 확정하도록 배치되며, 해당 시선 추적 장치 중의 적외선 카메라, 적외선 램프 그룹 및 제어 회로는 하나의 원환형 적외선 램프 플레이트 상에 장착되며, 상기 헤드 마운티드 디스플레이 기기의 설계공간을 절약하기 위해, 해당 원환형의 적외선 램프 플레이트는 내경이 상기 렌즈 그룹 중의 좌측 렌즈 또는 우측 렌즈의 직경보다 약간 크게 설계될 수 있다.
하나의 선택적 실시형태에 있어서, 2 개의 원환형의 적외선 램프 플레이트는 상기 좌측 렌즈와 우측 렌즈에 각각 슬리브되며, 원환형의 적외선 램프 플레이트에는 각각 8 개의 적외선 램프와 1 개의 적외선 카메라가 균일하게 배치되며, 모두 동일한 제어 회로에 의해 제어된다.
아래에 실시예에 결합하여 상세하게 설명한다.
가상 현실 안경에 실시예 1에서 제공한 시선 추적 장치를 설치하였으며, 해당 시선 추적 장치는 제어 회로에 전기적으로 연결된 8 개의 적외선 램프를 포함하며, 이 8 개의 적외선 램프는 원환형의 적외선 램프 플레이트에 설치되고, 제어 회로도 원환형의 적외선 램프 플레이트에 배치되며, 원환형의 적외선 램프 플레이트는 가상 현실 안경의 하나의 원형 대안렌즈에 슬리브되고, 다른 하나의 원형 대안렌즈에는 8 개의 적외선 램프가 설치된 원환형의 적외선 램프 플레이트가 슬리브되며, 해당 8 개의 적외선 램프도 상기 제어 회로에 의해 제어된다.
사용자가 가상 현실 안경을 착용할 때, 먼저 가상 현실 안경의 스위치를 켜면, 시선 추적 장치가 사용자 신분을 확인하기 시작하며, 이 과정에서 2 개의 대안 렌즈 중의 각각 1 개의 적외선 램프가 유효 동작 휘도에 도달하고, 적외선 카메라가 사용자의 안구 이미지를 수집하여 해당 이미지를 제어 회로 내의 프로세서에 전송하며, 프로세서 내에는 홍채 인식 시의 이미지 그레이 값이 미리 설정되어 있으며, 프로세서는 안구 이미지를 수신할 때 안구 이미지의 그레이 값을 획득하여 미리 설정된 상기 이미지의 그레이 값과 비교하며, 비교 결과에 따라 적외선 램프의 휘도를 조절한다. 휘도가 적절할 때 적외선 카메라가 획득한 안구 이미지에 대한 처리를 수행하여 해당 사용자의 안부 특징 값을 얻고 미리 저장된 합법적 신분의 사용자 특징 값과 비교한다.
사용자가 합법적인 사용자로 판단되면 나머지 7 개의 램프를 모두 점등하도록 제어하고, 동시에 8 개의 램프의 휘도를 적절한 범위로 조절하여 적외선 카메라를 통해 실시간으로 사용자의 안구 이미지를 얻고, 상기 8 개의 램프가 각막에 의해 반사된 적외선 스팟의 위치 및 사용자의 동공 중심 위치를 통해 사용자의 시선방향을 확정한다.
상기는 단지 시선 추적 장치의 응용 환경일 뿐이며 응용 환경은 가상 현실 안경에 한정되지 않고, 증강 현실 기기 및 기타 헤드 마운티드 기기에도 응용될 수 있으며, 예를 들어, 사용자가 ATM에서 인출 또는 가타 업무를 수행할 때 시선 추적 장치를 포함하는 헤드 마운티드 기기를 통해 조작할 수 있다.
상기 응용 환경은 단지 실시예의 일부일 뿐이고, 실시예 1에서 언급된 시선 추적 장치를 응용하는 기기는 모두 본 보호 범위 내에 있다.
상기 분석에 기반하면 종래 기술의 시선 추적 장치에 비해, 적외선 램프 그룹은 서로 다른 위치에 배치된 적어도 2 개의 적외선 램프를 포함하고, 제어 회로는 시선 추적 장치가 홍채 인식 및 시선 추적 모드로 동작할 때 상기 적외선 램프 그룹에서 유효 동작 휘도에 도달한 적외선 램프의 개수를 각각 제어할 수 있으므로, 시선 추적 장치는 이 두 가지 동작 상태에서 유효 동작 휘도에 도달한 적외선 램프의 개수가 서로 다르게 된다. 이로써 시선 추적 장치가 홍채 인식 및 시선 추적 모드로 동작할 때 적외선 램프 그룹에서 유효 동작 휘도에 도달한 적외선 램프의 개수를 각각 제어할 수 있으며, 시선 추적 장치가 홍채 인식 모드로 동작할 때 유효 동작 휘도에 도달한 적외선 램프의 개수를 적게 하여, 적외선 카메라가 획득한 사용자의 안구 이미지에 적외선 스팟이 적어져 안부의 전체적 특징을 획득하여 사용자의 신분을 인식할 수 있다. 또한, 시선 추적 장치가 시선 추적 모드로 동작할 대 유효 동작 휘도에 도달한 적외선 램프의 개수를 많게 하여, 적외선 카메라가 획득한 사용자의 안구 이미지에 적외선 스팟이 많아져 사용자의 시선 방향을 더 정확하게 획득한다.
상기 설명으로부터 알 수 있는 바, 본 출원 실시예는 시선 추적 장치 및 헤드 마운티드 디스플레이 기기를 제공하였으며, 해당 시선 추적 장치는 적외선 카메라, 적외선 램프 그룹 및 제어 회로를 포함하며, 상기 제어 회로는 상기 적외선 램프 그룹에 전기적으로 연결되고, 상기 적외선 램프 그룹은 서로 다른 위치에 배치된 적어도 2 개의 적외선 램프를 포함하며; 상기 적외선 카메라는 상기 적외선 램프가 점등될 때 사용자의 안구 이미지를 수집하도록 배치되고; 상기 제어 회로는 상기 시선 추적 장치가 홍채 인식 및 시선 추적 모드로 동작할 때 상기 적외선 램프 그룹에서 유효 동작 휘도에 도달한 적외선 램프의 개수를 각각 제어하도록 배치되며, 상기 유효 동작 휘도는 임계 휘도 이상인 휘도를 가리킨다.
본 출원 실시예는 종래 기술에서 사용자의 시선 방향을 정확하게 획득할 수 없는 기술적 과제를 해결함으로써, 시선 추적 장치가 홍채 인식 모드로 동작할 때 사용자 신분을 신속하게 획득할 수 있고, 시선 추적 모드로 동작할 때 사용자의 시선 방향을 더 정확하게 획득할 수 있다.
이하의 도면에서 유사한 참조 부호 및 문자는 유사한 항목을 나타내므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 정의 및 설명할 필요는 없다는 것을 유의해야 한다.
본 출원 실시예의 설명에서 설명해야 할 것은, 용어 "중심", "상", "하", "좌", "우", "수직", "수평", "내", "외" 등 지시하는 방향 또는 위치 관계는 도면에 도시된 방향 또는 위치 관계, 또는 해당 출원의 실시예의 제품이 사용될 때 통상적으로 배치되는 방향 또는 위치 관계에 기초하며, 단지 본 출원 실시예를 쉽고 간략화하여 설명하기 위한것이며, 언급된 장치 또는 구성 요소가 특정 방향으로 구성 및 작동되도록 반드시 특정 방향을 가지도록 지시 또는 암시하는 것이 아니므로 본 출원에 대한 한정으로 해석되어서는 안된다. 또한, "제1", "제2", "제3"등의 용어는 단지 설명을 구별하기 위해 사용되며, 상대적 중요성을 지시하거나 암시하는 것으로서 해석되어서는 안된다.
본 출원에서의 실시예에 대한 설명에 있어서, 주의해야 할 것은, 별도의 명확한 규정 및 한정이 없는 한, 용어 “배치”, “설치”, “서로 연결” 및 “연결”은 광범위한 뜻으로 이해하여야 하며, 예들 들어, 고정 연결일 수도 있고, 탈착 가능한 연결일 수도 있고, 또는 일체적 연결일 수도 있으며; 기계적 연결일 수도 있고, 전기적 연결일 수도 있으며; 직접적인 연결일 수도 있고, 중간매체를 통한 간접적인 연결일 수도 있으며, 두개의 소자 내부의 연통일 수도 있다. 본 분야 당업자는 구체적인 상황에 따라 본 출원의 실시예에서의 상기 용어의 구체적인 의미를 이해할 수 있다.
마지막으로 설명해야 할 것은: 상기 실시예들은 본 출원 실시예의 하나의 선택적인 구체적 실시형태로서, 본 출원 실시예의 기술방안을 설명하기 위한 것일 뿐이며, 본 출원의 보호범위는 이에 한정되지 않는다. 전술한 실시예를 참조하여 본 출원의 실시예를 상세하게 설명하었지만, 본 분야의 당업자는 본 출원의 실시예에 개시된 기술적 범위 내에서 전술한 실시예들에 기재된 기술방안에 대해 수정하거나, 또는 쉽게 변경하거나, 또는 기술적 특징 중 일부에 대해 동등한 대체를 진행할 수 있으며; 이러한 수정, 변경 및 대체에 의한 기술방안의 본질은 본 출원 실시예의 기술방안의 정신 및 범위를 벗어나지 않음을 이해하여야 한다. 모든 사항은 본 출원의 보호 범위에 포함되어야 한다. 따라서, 본 출원의 보호범위는 청구항의 보호범위를 기준으로 한다.
101 : 적외선 카메라
102 : 적외선 램프 그룹
103 : 제어 회로
1021 : 적외선 램프
400 : 원환형 적외선 램프 플레이트
401 : 안경 프레임
402 : 렌즈

Claims (10)

  1. 시선 추적 장치에 있어서,
    적외선 카메라, 적외선 램프 그룹 및 제어 회로를 포함하며, 상기 제어 회로는 상기 적외선 램프 그룹에 전기적으로 연결되고, 상기 적외선 램프 그룹은 서로 다른 위치에 배치된 적어도 2 개의 적외선 램프를 포함하며;
    상기 적외선 카메라는 상기 적외선 램프가 점등될 때 사용자의 안구 이미지를 수집하도록 배치되고;
    상기 제어 회로는 상기 시선 추적 장치가 홍채 인식 모드 및 시선 추적 모드로 동작할 때 상기 적외선 램프 그룹에서 유효 동작 휘도에 도달한 적외선 램프의 개수를 각각 제어하도록 배치되며, 여기서 상기 유효 동작 휘도는 임계 휘도 이상인 휘도인 것을 특징으로 하며,
    상기 적외선 램프 그룹은 제1위치에 배치된 적외선 램프 그룹과 제2위치에 배치된 적외선 램프 그룹을 포함하며, 상기 제1위치에 배치된 적외선 램프 그룹이 동작할 때 방출되는 적외선은 사용자의 안구에 직접 조사되지 않고, 상기 제2위치에 배치된 적외선 램프 그룹이 동작할 때 방출되는 적외선은 사용자의 안구에 직접 조사되며;
    상기 제어 회로는 상기 시선 추적 장치가 홍채 인식 모드로 동작할 때 제1위치에 배치된 적외선 램프 그룹이 유효 동작 휘도에 도달하도록 제어하고, 상기 시선 추적 장치가 시선 추적 모드로 동작할 때 제2위치에 배치된 적외선 램프 그룹이 유효 동작 휘도에 도달하도록 제어하는 것을 특징으로 하는 시선 추적 장치.
  2. 제 1 항에 있어서,
    상기 적외선 램프와 상기 제어 회로는 전기적으로 연결되며;
    상기 적외선 카메라는 상기 안구 이미지 및 상기 적외선의 조사에 의해 상기 적외선 카메라에 형성된 홍채 이미지를 상기 제어 회로에 전송하도록 배치되며;
    상기 제어 회로는 유효 동작 휘도에 도달한 상기 적외선 램프의 휘도를 조절하여 상기 안구 이미지의 그레이 값이 미리 설정된 그레이 값에 도달하도록 하는 것을 특징으로 하는 시선 추적 장치.
  3. 제 1 항에 있어서,
    상기 적외선 램프 그룹은 제1적외선 램프와 제2적외선 램프를 포함하며, 상기 제1적외선 램프의 개수는 상기 제2적외선 램프의 개수보다 작으며;
    상기 제어 회로는 상기 시선 추적 장치가 홍채 인식 모드로 동작할 때 상기 제1적외선 램프가 유효 동작 휘도에 도달하도록 제어하고, 상기 제2적외선 램프의 휘도가 상기 임계 휘도보다 작도록 제어하며; 및 상기 시선 추적 장치가 시선 추적 모드로 동작할 때 상기 제1적외선 램프의 휘도가 상기 임계 휘도보다 작도록 제어하고, 상기 제2적외선 램프의 휘도가 유효 동작 휘도에 도달하도록 제어하는 것을 특징으로 하는 시선 추적 장치.
  4. 제 1 항에 있어서,
    상기 제어 회로는 각각의 상기 적외선 램프에 각각 전기적으로 연결되고;
    상기 제어 회로는 상기 시선 추적 장치가 홍채 인식 모드로 동작할 때, 제1설정 개수의 상기 적외선 램프가 유효 동작 휘도에 도달하도록 제어하고; 및 상기 시선 추적 장치가 시선 추적 모드로 동작할 때, 제2설정 개수의 상기 적외선 램프가 유효 동작 휘도에 도달하도록 제어하며;
    여기서, 상기 제1설정 개수는 상기 제2설정 개수보다 작은 것을 특징으로 하는 시선 추적 장치.
  5. 제 1 항에 있어서,
    상기 제1위치의 적외선 램프 그룹은 적어도 2 개의 적외선 램프를 포함하고, 상기 제2위치의 적외선 램프 그룹은 적어도 3 개의 적외선 램프를 포함하며;
    상기 제1위치의 적외선 램프 그룹 중의 각각의 적외선 램프의 발광 파장은 상기 제2위치의 적외선 램프 그룹 중의 각각의 적외선 램프의 발광 파장보다 작은 것을 특징으로 하는 시선 추적 장치.
  6. 제 5 항에 있어서,
    상기 제1위치의 적외선 램프 그룹 중의 적어도 2 개의 적외선 램프의 발광 파장은 서로 다른 것을 특징으로 하는 시선 추적 장치.

  7. 제 6 항에 있어서,
    상기 적외선 카메라는 제1적외선 카메라와 제2적외선 카메라를 포함하며, 상기 제어 회로는 시선 추적 장치가 홍채 인식 모드로 동작할 때 제1적외선 카메라가 동작하도록 제어하고; 시선 추적 장치가 시선 추적 모드로 동작할 때 제2적외선 카메라가 동작하도록 제어하는 것을 특징으로 하는 시선 추적 장치.
  8. 제 1 항에 있어서,
    상기 제어 회로는 상기 적외선 램프가 유효 동작 휘도에 도달하면 상기 적외선 카메라가 동작을 시작하도록 제어하는 것을 특징으로 하는 시선 추적 장치.
  9. 제 1 항 내지 제 8 항의 어느 한 항에 따른 시선 추적 장치를 포함하는 헤드 마운티드 디스플레이 기기.
  10. 삭제
KR1020197024516A 2017-03-31 2018-03-28 시선 추적 장치 및 헤드 마운티드 디스플레이 기기 KR102226447B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710208503.1 2017-03-31
CN201710208503.1A CN106874895B (zh) 2017-03-31 2017-03-31 一种视线追踪装置及头戴式显示设备
PCT/CN2018/080811 WO2018177311A1 (zh) 2017-03-31 2018-03-28 视线追踪装置及头戴式显示设备

Publications (2)

Publication Number Publication Date
KR20190108603A KR20190108603A (ko) 2019-09-24
KR102226447B1 true KR102226447B1 (ko) 2021-03-12

Family

ID=59160378

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197024516A KR102226447B1 (ko) 2017-03-31 2018-03-28 시선 추적 장치 및 헤드 마운티드 디스플레이 기기

Country Status (8)

Country Link
US (1) US11143869B2 (ko)
EP (1) EP3522070A4 (ko)
JP (1) JP6837142B2 (ko)
KR (1) KR102226447B1 (ko)
CN (1) CN106874895B (ko)
AU (1) AU2018243092A1 (ko)
CA (1) CA3042617C (ko)
WO (1) WO2018177311A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874895B (zh) 2017-03-31 2019-02-05 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
WO2019009883A1 (en) * 2017-07-03 2019-01-10 Hewlett-Packard Development Company, L.P. ROTARY MICRO-LED DISPLAY DEVICES BASED ON OCULAR MOVEMENTS
CN107463880A (zh) 2017-07-07 2017-12-12 广东欧珀移动通信有限公司 控制方法、电子装置和计算机可读存储介质
CN108111782B (zh) * 2017-12-15 2023-10-17 杭州晨安科技股份有限公司 一种红外目标抗干扰检测方法和用于该方法的检测装置
CN108227226B (zh) * 2017-12-22 2024-01-30 张家港康得新光电材料有限公司 3d显示装置及3d显示方法
CN108089326B (zh) * 2018-02-01 2023-12-26 北京七鑫易维信息技术有限公司 一种适配于与眼镜使用的装置
CN108401118B (zh) * 2018-03-05 2020-10-23 北京中科虹霸科技有限公司 控制红外灯开灯时间的虹膜采集装置及方法
TWI642972B (zh) * 2018-03-07 2018-12-01 和碩聯合科技股份有限公司 抬頭顯示系統及其控制方法
CN108681074A (zh) * 2018-07-17 2018-10-19 北京七鑫易维信息技术有限公司 一种头戴式显示设备
US10816810B1 (en) * 2019-04-08 2020-10-27 Htc Corporation Head mounted display apparatus
CN110187520A (zh) * 2019-06-19 2019-08-30 蓝润英 摄眼智能单片眼镜、开关夜灯系统和开关空调系统
CN110426845B (zh) * 2019-08-09 2021-03-23 业成科技(成都)有限公司 眼球追踪架构
CN110989166A (zh) 2019-12-25 2020-04-10 歌尔股份有限公司 一种近眼显示设备的眼球追踪系统及近眼显示设备
KR102305880B1 (ko) * 2020-06-26 2021-09-28 이종우 사용자의 시선 추적 방법 및 사용자의 시선 추적 방법을 실행시키는 프로그램이 기록된 기록 매체
WO2022049908A1 (ja) * 2020-09-07 2022-03-10 ソニーグループ株式会社 表示処理装置、表示処理方法、記憶媒体、および情報処理装置
CN112926523B (zh) * 2021-03-30 2022-07-26 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、系统
CN113138664A (zh) * 2021-03-30 2021-07-20 青岛小鸟看看科技有限公司 基于光场感知的眼球追踪系统、方法
CN115202043A (zh) * 2021-04-12 2022-10-18 华为技术有限公司 头戴显示设备及其控制方法
CN114035323B (zh) * 2021-10-29 2022-09-23 歌尔光学科技有限公司 一种用于眼球追踪的显示面板及智能眼镜
CN114136209B (zh) * 2021-11-24 2023-11-24 京东方科技集团股份有限公司 一种眼球位置定位电路、方法、基板及虚拟现实穿戴设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015013031A (ja) 2013-07-05 2015-01-22 ソニー株式会社 視線検出装置及び視線検出方法
CN105608436A (zh) 2015-12-23 2016-05-25 联想(北京)有限公司 一种功耗控制方法及电子设备
US20160363995A1 (en) * 2015-06-12 2016-12-15 Seeing Machines Limited Circular light element for illumination of cornea in head mounted eye-tracking

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3143491B2 (ja) 1991-05-27 2001-03-07 キヤノン株式会社 視線検出装置
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
US7986816B1 (en) * 2006-09-27 2011-07-26 University Of Alaska Methods and systems for multiple factor authentication using gaze tracking and iris scanning
CN202563433U (zh) * 2012-04-10 2012-11-28 南京信息工程大学 基于红外发光管的快速视点跟踪装置
US9430040B2 (en) 2014-01-14 2016-08-30 Microsoft Technology Licensing, Llc Eye gaze detection with multiple light sources and sensors
US9811159B2 (en) * 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9454699B2 (en) 2014-04-29 2016-09-27 Microsoft Technology Licensing, Llc Handling glare in eye tracking
EP3035656B1 (en) * 2014-12-18 2021-08-04 Samsung Electronics Co., Ltd. Method and apparatus for controlling an electronic device
CN111651045A (zh) 2015-01-07 2020-09-11 脸谱科技有限责任公司 动态相机或灯操作
WO2016158000A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
CN206594689U (zh) * 2017-03-31 2017-10-27 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备
CN106874895B (zh) * 2017-03-31 2019-02-05 北京七鑫易维信息技术有限公司 一种视线追踪装置及头戴式显示设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015013031A (ja) 2013-07-05 2015-01-22 ソニー株式会社 視線検出装置及び視線検出方法
US20160363995A1 (en) * 2015-06-12 2016-12-15 Seeing Machines Limited Circular light element for illumination of cornea in head mounted eye-tracking
CN105608436A (zh) 2015-12-23 2016-05-25 联想(北京)有限公司 一种功耗控制方法及电子设备

Also Published As

Publication number Publication date
CN106874895B (zh) 2019-02-05
WO2018177311A1 (zh) 2018-10-04
CA3042617A1 (en) 2019-05-02
CA3042617C (en) 2021-06-08
EP3522070A1 (en) 2019-08-07
KR20190108603A (ko) 2019-09-24
AU2018243092A1 (en) 2019-06-06
JP2019537149A (ja) 2019-12-19
EP3522070A4 (en) 2020-06-24
US11143869B2 (en) 2021-10-12
CN106874895A (zh) 2017-06-20
JP6837142B2 (ja) 2021-03-03
US20200012105A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
KR102226447B1 (ko) 시선 추적 장치 및 헤드 마운티드 디스플레이 기기
EP2543187B1 (en) Systems and methods for spatially controlled scene illumination
CN104573667B (zh) 一种提高移动终端的虹膜图像质量的虹膜识别装置
JP4808420B2 (ja) 目の検出を利用した電子装置の制御および電力管理
US20210325649A1 (en) System and method to automatically adjust illumination during a microsurgical procedure
US9921645B2 (en) Retinal projection device and method for activating a display of a retinal projection device
WO2006015315A2 (en) Intraocular video system
US20170255823A1 (en) Control system, information processing device, control method, and program
WO2015108923A1 (en) Method and apparatus for strobed illumination in eye based biometric systems
CN113132613A (zh) 一种摄像头补光装置、电子设备和补光方法
CN206594689U (zh) 一种视线追踪装置及头戴式显示设备
US20170188896A1 (en) System for controlling the accommodation demand detection in an artificial accommodation system
KR20160069181A (ko) 정맥 조사 장치
JPWO2018061539A1 (ja) 光走査装置及び網膜走査型ヘッドマウントディスプレイ
KR100366723B1 (ko) 홍채인식 시스템의 조명장치
JP2010217231A (ja) 照明制御装置および方法、照明装置、撮像装置、並びに、プログラム
US11874462B2 (en) Natural physio-optical user interface for intraocular microdisplay
KR102669768B1 (ko) 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템
US20240115345A1 (en) Illumination system for surgical microscope with tunable coaxial and oblique beams
WO2023053556A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20230121847A (ko) 동공 검출 및 시선 추적을 위한 이벤트 카메라 시스템
JP6086029B2 (ja) 画像表示装置及び画像表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right