KR102128894B1 - 스마트 안경의 시선 트래킹 시스템 및 그 방법 - Google Patents

스마트 안경의 시선 트래킹 시스템 및 그 방법 Download PDF

Info

Publication number
KR102128894B1
KR102128894B1 KR1020190125447A KR20190125447A KR102128894B1 KR 102128894 B1 KR102128894 B1 KR 102128894B1 KR 1020190125447 A KR1020190125447 A KR 1020190125447A KR 20190125447 A KR20190125447 A KR 20190125447A KR 102128894 B1 KR102128894 B1 KR 102128894B1
Authority
KR
South Korea
Prior art keywords
gaze
user
input
unit
tracking
Prior art date
Application number
KR1020190125447A
Other languages
English (en)
Inventor
인성일
임승준
Original Assignee
주식회사 메디씽큐
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 메디씽큐 filed Critical 주식회사 메디씽큐
Priority to KR1020190125447A priority Critical patent/KR102128894B1/ko
Application granted granted Critical
Publication of KR102128894B1 publication Critical patent/KR102128894B1/ko
Priority to US17/767,733 priority patent/US11808940B2/en
Priority to EP20875416.8A priority patent/EP4043999A4/en
Priority to CN202080070347.7A priority patent/CN114600031A/zh
Priority to JP2022521366A priority patent/JP7209128B2/ja
Priority to PCT/KR2020/013858 priority patent/WO2021071335A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 스마트 안경에 내장된 적어도 하나의 센서에 의해 사용자의 동공을 센싱하는 동공 센싱부; 복수의 타겟 오브젝트가 플로팅되는 스마트 렌즈를 포함하는 디스플레이부; 적어도 하나의 감지 센서를 통해 시선을 트래킹하고 복수의 타겟 오브젝트에 대한 사용자의 시선 상태 정보를 획득하는 시선 트래킹부; 및 시선 상태 정보에 기초하여 복수의 타겟 오브젝트 중 사용자의 시선이 일정 시간 이상 머무는 특정 오브젝트를 입력 오브젝트로 선택한 후 입력을 수행하는 입력부를 포함하되, 입력 오브젝트는 사용자의 시선 상태 정보를 기초로 크기, 색 및 이동방향 중 적어도 하나가 변화되록 구성된, 시선 트래킹 시스템을 제공한다.

Description

스마트 안경의 시선 트래킹 시스템 및 그 방법{A METHOD AND SYSTEM FOR EYESIGHT SENSING OF MEDICAL SMART GOGGLES}
본 발명은 시선 트래킹 시스템에 관한 것으로서, 보다 상세하게는 스마트 안경을 이용하여 개선된 타겟 검출 정확도와 작업 편의성이 증대된 시선 트래킹 시스템에 관한 것이다.
최근 들어 가상현실(Virtual Reality, “VR”), 증강현실(Augmented Reality, “AR”), 또는 혼합현실(Mixed Reality, “MR”)의 응용분야로 의료 및 헬스케어가 각광을 받고 있다. 고령화 시대의 도래와 경쟁 심화로 인한 심리질환 등 의료서비스 수요 증가에 대응하기 위한 의료전문가 육성 및 심리치료 대안으로 스마트 안경을 활용한 VR, AR 및 MR 기술이 부상하고 있다. 특히, 종래에는 트라우마 치료에 제한적으로 활용했던 것에서 벗어나 VR은 수술, 치료, 재활 등 의료 전 영역으로 적용 범위가 확대되고 있다. VR을 이용하면 가상 환자나 장기를 구현하여 수련 교육이 가능하며, 의료진이 수술 전 적합한 계획을 세우고 사전에 테스트할 수 있다.
단, 이러한 VR, AR, MR 기술은 일반적으로 입력이 매우 불편하다. 일부 음성 인식을 사용할 수도 있지만, 시각적인 정보를 활용하여 입력하는 기존의 컴퓨터나 휴대폰 등의 입력에 비하여 VR, AR, MR 기술의 입력수단은 매우 제한적이다. 의료진이 로봇 수술, 원격 수술 등의 치료 시, 환자의 상태 참조를 위하여 차트 또는 환자의 엑스레이 사진 파일 등의 필요한 정보를 검색하거나, 간단한 문자 입력 사항 등을 입력하여 처리하거나, 기기를 제어해야 할 경우가 종종 발생하는데, 기존의 VR, AR, MR에서 제공하는 사용자 인터페이스만으로는 상당히 불편할 경우가 많다.
따라서, 의료용 기기에서 VR, AR, MR 기기 이용 시 의료진이 불편없이 간단한 방법으로 문자 입력 또는 기기 제어를 할 수 있는 사용자 인터페이스가 절실히 요구되고 있었다.
한편, 발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안된다.
본 발명이 해결하고자 하는 과제는 사용자에 시선에 따라 입력되는 오브젝트의 크기, 형태 및 이동 방향을 변화시킴으로써 사용자의 작업의 편의성을 증대시킬 수 있는 스마트 안경의 시선 트래킹 시스템을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 스마트 렌즈 내에 사용자의 시선 범위를 설정함으로써 사용자의 입력의 정확도 및 응시의 정확도를 향상시킬 수 있는 스마트 안경의 시선 트래킹 시스템을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 과제는 입력된 오브젝트들을 기초로 자동 추천 단어를 제공함으로써 사용자의 작업 속도를 효과적으로 단축시킬 수 있는 스마트 안경의 시선 트래킹 시스템을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 스마트 안경의 시선 트래킹 시스템은 스마트 안경에 내장된 적어도 하나의 센서에 의해 사용자의 동공을 센싱하는 동공 센싱부; 복수의 타겟 오브젝트가 플로팅되는 스마트 렌즈를 포함하는 디스플레이부; 적어도 하나의 감지 센서를 통해 시선을 트래킹하고 복수의 타겟 오브젝트에 대한 사용자의 시선 상태 정보를 획득하는 시선 트래킹부; 및 시선 상태 정보에 기초하여 복수의 타겟 오브젝트 중 사용자의 시선이 일정 시간 이상 머무는 특정 오브젝트를 입력 오브젝트로 선택한 후 입력을 수행하는 입력부를 포함하되, 입력 오브젝트는 사용자의 시선 상태 정보를 기초로 크기, 색 및 이동방향 중 적어도 하나가 변화될 수 있다.
또한, 시선 상태 정보는 사용자의 동공의 움직임 및 사용자의 눈 개폐 여부를 포함하며, 사용자의 시선 상태 정보에 기초하여 입력 오브젝트가 결정될 수 있다.
또한, 타겟 오브젝트는 자음, 모음, 단어 및 이미지 중 어느 하나를 포함할 수 있다.
또한, 스마트 렌즈는 중심점을 기준으로 4-사분면(four-quadrant)으로 나뉘고, 4-사분면의 각 영역에는 타겟 오브젝트가 적어도 하나씩 플로팅될 수 있다.
또한, 4-사분면의 각 영역에 플로팅되는 타겟 오브젝트는 한 사이클(cycle)에 복수개가 한번에 플로팅되거나, 또는 여러 사이클에 거쳐서 순차적으로 플로팅될 수 있다.
또한, 타겟 오브젝트는 스마트 렌즈의 중심점으로 기준으로 서로 상이한 방향으로 플로팅되고, 방향은 대각선 방향, 시계 방향, 반시계 방향 및 회오리 방향 중 적어도 하나를 포함할 수 있다.
또한, 타겟 오브젝트는 스마트 렌즈의 일 측에서 타 측으로 나란히 플로팅될 수 있다.
또한, 타겟 오브젝트는 자동 추천 단어를 포함하며, 자동 추천 단어는 스마트 렌즈에 하나씩 플로팅되거나, 또는 리스트 형태로 팝업되어 표시될 수 있다.
또한, 자동 추천 단어는 사용자의 관심도에 기초하여 차등적인 속도로 플로팅되며, 관심도는 사용자에 의해 미리 설정된 관심 항목, 사용자의 업무 분야 및 타겟 오브젝트에 대한 사용자의 입력 빈도 중 어느 하나에 의해 결정될 수 있다.
또한, 시선 트래킹부로부터 트래킹된 시선 트래킹 데이터를 기초로 사용자의 시선 범위를 설정하는 시선 범위 설정부를 더 포함하며, 시선 범위 설정부는 4-사분면 중 사용자의 시선에 자주 노출되는 적어도 2개의 영역을 포함할 수 있다.
또한, 디스플레이부는 시선 범위 영역을 제외한 영역보다 시선 범위 영역에 타겟 오브젝트를 더 많이 플로팅할 수 있다.
한편, 본 발명의 실시예에 따른 시선 트래킹 방법은 동공 센싱부에 의해 사용자의 동공을 센싱하는 단계; 시선 트래킹부에 의해 디스플레이부에 플로팅되는 복수의 타겟 오브젝트에 대한 사용자의 시선을 트래킹하는 단계; 복수의 타겟 오브젝트에 대한 사용자의 시선 상태 정보를 획득하는 단계; 및 입력부에 의해 복수의 타겟 오브젝트 중 사용자의 시선이 일정 시간 이상 머무는 특정 오브젝트를 입력 오브젝트로 선택한 후 입력을 수행하는 단계를 포함하되, 입력 오브젝트는 사용자의 시선 상태 정보를 기초로 크기, 색 및 이동방향 중 적어도 하나가 변화될 수 있다.
또한, 입력 오브젝트는 디스플레이부의 중심점으로 기준으로 대각선 방향, 시계 방향, 반시계 방향 및 회오리 방향 중 적어도 한 방향으로 플로팅될 수 있다.
또한, 타겟 오브젝트에 대하여 사용자의 시선이 적어도 2초 머무는 경우 입력 오브젝트로 선택하며, 선택된 입력 오브젝트에 대하여 사용자의 눈이 적어도 2회 깜박이거나, 특정 단일근육 또는 근육군의 특이적인 움직임이 있는 경우에 선택된 입력 오브젝트에 대응하는 정보가 입력될 수 있다.
또한, 사용자의 시선이 적어도 2초 머무는 경우는, 타겟 오브젝트 주변에 시선이 머물되 오브젝트의 움직임 경로를 기초로 2초 이상 추적하는 경우 또는 타겟 오브젝트 주변에 시선이 머물되 추적 편차각이 35를 넘어가는 경우를 포함할 수 있다.
또한, 타겟 오브젝트 주변은 유동 편차각(FGR)이 3 이하일 수 있다.
또한, 입력 오브젝트는 타겟 오브젝트 주변에 시선이 머물되, 타겟 오브젝트의 움직임 경로를 기초로 1초 이상 추적하고 오브젝트의 움직임 예상 경로 상으로 편차각 45
Figure 112019103317481-pat00001
이상 되는 경로까지 시선을 미리 움직이는 경우를 포함할 수 있다.
한편, 본 발명의 실시예에 따른 컴퓨터 판독 가능 기록매체는 동공 센싱부에 의해 사용자의 동공을 센싱하고, 시선 트래킹부에 의해 디스플레이부에 플로팅되는 복수의 타겟 오브젝트에 대한 사용자의 시선을 트래킹하고, 복수의 타겟 오브젝트에 대한 사용자의 시선 상태 정보를 획득하고, 입력부에 의해 복수의 타겟 오브젝트 중 사용자의 시선이 일정 시간 이상 머무는 특정 오브젝트가 사용자에 의해 입력 오브젝트로 결정된 것으로 파악하여 입력으로 처리하되, 입력 오브젝트는 사용자의 시선 상태 정보를 기초로 크기, 색 및 이동방향 중 적어도 하나가 변화되게 하는 명령어들을 저장할 수 있다.
한편, 본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
본 발명은 사용자에 시선에 따라 입력되는 오브젝트의 크기, 형태 및 이동 방향을 변화시킴으로써 VR, AR 및 MR에서 사용자의 입력 작업의 편의성을 현저히 증대시킬 수 있다.
또한, 본 발명은 스마트 렌즈 내에 사용자의 시선 범위를 설정함으로써 사용자의 입력의 정확도 및 응시의 정확도를 향상시킬 수 있다.
또한, 본 발명은 입력된 오브젝트들을 기초로 자동 추천 단어를 제공함으로써 사용자의 작업 속도를 효과적으로 단축시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1a은 본 발명의 일 실시예에 따른 시선 트래킹 시스템의 개략도이다.
도 1b는 본 발명의 일 실시예에 따른 스마트 안경의 디스플레이 방식을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 스마트 안경의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 시선 트래킹에 따른 타겟 오브젝트 입력 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 동공 센싱 과정을 설명하기 위한 예시도이다.
도 5a 내지 도 5b는 본 발명의 일 실시예에 따른 시선을 이용한 타겟 오브젝트의 입력 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 시선을 이용한 타겟 오브젝트의 입력 과정을 설명하기 위한 예시도이다.
도 7은 본 발명의 다른 실시예에 따른 시선을 이용한 자동완성 오브젝트의 입력 과정을 설명하기 위한 예시도이다.
도 8은 본 발명의 또 다른 실시예에 따른 자동완성 리스트를 나타낸 예시도이다.
도 9는 본 발명의 실시예에 따른 시선 센서를 설명하기 위한 예시도이다.
도 10은 본 발명의 실시예에 따른 입력 오브젝트를 판단하고 입력으로 결정하는 과정을 설명하기 위한 예시도이다.
발명의 이점, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우, '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하에서는, 도 1a 내지 도 2를 참조하여 본 발명의 일 실시예에 따른 스마트 안경의 구성을 설명하기로 한다.
도 1a 및 도 1b은 본 발명의 일 실시예에 따른 시선 트래킹 시스템의 개략도이다. 도 2는 본 발명의 일 실시예에 따른 스마트 안경의 구성도이다.
도 1a을 참조하면, 시선 트래킹 시스템은 스마트 안경(100) 및 시선 트래킹 서버(200)를 포함할 수 있다. 스마트 안경(100) 및 시선 트래킹 서버(200)는 무선 통신, 예컨대, 블루투스, WiFi 등의 근거리 무선통신으로 연결될 수 있다. 다만, 도 1a의 실시예에서는 스마트 안경(100)과 시선 트래킹 서버(200)가 분리된 형태로 도시되었지만, 스마트 안경(100)과 시선 트래킹 서버(200)는 하나의 하우징 내에 탑재될 수도 있다. 하나의 하우징 내에 탑재된 경우에는 스마트 안경(100)과 시선 트래킹 서버(200)는 유선으로 연결될 수 있다. 스마트 안경(100)은 내장된 적어도 하나의 센서를 이용하여 시선을 센싱 및 트래킹하며, 또한 디스플레이부(103)의 화면 상에 플로팅(Floating)되는 타겟 오브젝트(target object)를 선택하고 해당 타겟 오브젝트와 관련된 정보를 입력할 수 있는 장치이다.
도 1a에 도시된 바와 같이, 스마트 안경(100)은 스마트 렌즈(111, 112), 안경 지지대(113), 동공 센싱부(101) 및 시선 트래킹부(102)로 구성될 수 있다.
본 발명에서 스마트 안경(100)은 예를 들어, 도 1b과 같이, 디스플레이 패널(제1 렌즈 및 제2 렌즈)의 마이크로 디스플레이부(10)에서 프로젝션되는 화면이 상기 제1 및 제2 렌즈를 통해서 반사되어 눈에 보여지는 방식으로 사용자가 볼 수 있다. 단, 본 명세서에서는 상술한 구조의 디스플레이를 중심으로 설명하고 있지만, 이에 제한되는 것은 아니다. HMD 디스플레이를 활용하면서, 씨쓰루(See-through) 모드를 통하여 외부 화면을 스마트 안경(100)의 카메라를 이용하여 촬영한 후에 VR의 화면을 통하여 정보 화면과 조합하여 보여주는 형태도 가능하다. 또는, 카메라가 환자의 환부 또는 수술 부위를 촬영하면서 스마트 안경(100)과 연동되어 촬영된 화면 위에 타겟 오브젝트를 표시할 수도 있다.
또한, 스마트 안경(100)은 도 1b과 같이, 스마트 안경(100)의 일 영역(예를 들면, 중앙부 상단)에 배치된 마이크로디스플레이(10, Microdisplay) 및 프리즘(prism)을 이용하여 상(14)을 디스플레이할 수도 있다. 구체적으로, 마이크로디스플레이(10)가 정면에 배치된 렌즈(11)를 통해 상을 조사하면, 조사된 상은 렌즈(11)를 통해 스마트 안경(100)의 디스플레이 패널(12)의 일 영역에 도달한 뒤 디스플레이 패널(12)의 일면에 부착된 스플리터(13, splitter)에 의해 상이 전반사(total　reflection)될 수 있다. 다시 말해, 양쪽 렌즈의 가운데 배치된 마이크로디스플레이(10)는 좌측 렌즈와 우측 렌즈로 상을 조사한 후, 스플리터의 전반사 특성을 이용하여 좌안 및 우안의 전면부에 입체 형상의 가상의 이미지(혹은 상(14))를 디스플레이 할 수 있다.
디스플레이부(103)는 복수의 타겟 오브젝트를 표시하는 구성으로서, 스마트 안경(100)의 정면부에서 사용자의 우안 및 좌안에 대응하는 위치에 배치된 제1 렌즈(111) 및 제2 렌즈(112)를 포함할 수 있다. 본 명세서에서, 제1 렌즈(111) 및 제2 렌즈(112)는 설명의 편의상 '스마트 렌즈'로 통칭한다. 한편, 스마트 렌즈(111, 112)는 VR의 화면 및 구글 안경에서의 마이크로디스플레이 및 프리즘을 이용하여 눈에 빛을 조사하는 디스플레이를 모두 포괄하는 개념으로 해석되어야 한다.
여기서, 타겟 오브젝트는 사용자가 시선을 통해 입력하고자 하는 정보로서, 문자 또는 이미지의 형태를 갖는 복수개의 오브젝트들을 포함할 수 있다. 예를 들면, 타겟 오브젝트는 각각의 글자, 단어 형태, 아이콘 형태 또는, 이미지 자체일 수 있다.
이때, 타겟 오브젝트는 사용자의 시선 상태 정보에 따라 크기, 색, 형태 및 이동방향 중 적어도 하나가 변화되어 디스플레이부(103)에 플로팅되는 것을 특징으로 한다. 시선에 따른 타겟 오브젝트의 다양한 변화는 추후 설명하기로 한다.
또한, 타겟 오브젝트는 실시예에 따라 일 렌즈에서는 자음이 플로팅되고, 타 렌즈에서는 모음이 플로팅될 수 있다.
또한, 본 발명에서 시선 상태 정보는 사용자의 동공(211)의 움직임 및 사용자의 눈 개폐 여부를 의미할 수 있다.
도 1a을 참조하면, 동공 센싱부(101)는 사용자의 동공(211)을 센싱하는 구성으로, 스마트 안경(100)의 정면부 즉, 제1 렌즈(111)가 고정되는 안경태의 가장자리를 따라 복수개가 배치될 수 있다. 이때, 동공 센싱부(101)는 적어도 하나 이상인 센서 유닛(114)으로 구성되는 것을 특징으로 한다. 센서 유닛(114)은 좌안 센서 유닛(114a) 및 우안 센서 유닛(114b)을 포함할 수 있다. 도 9를 참조하면, 센서 유닛(114)는 예컨대, 동공에 시력 손상이 없는 적외선을 조사한 후, 동공을 통하여 안구의 안저에서 반사된 거리(d1 + d2)를 특정할 수 있다. 이 경우, 반사 거리는 안저에서 동공까지의 거리(d1) 및 안구 표면에서 센서 유닛(114)까지의 거리(d2)로 세분할 수 있다. 이 경우, 복수의 센서를 통하여 구한 각각의 거리(d1 및 d2)를 이용하여 동공의 위치 및 시선 방향을 특정할 수 있다. 도 9와 같은 세밀한 시선 센싱을 통하여, 스마트 안경은 상세한 동공의 위치 및 시선을 취득할 수 있다.
시선 트래킹부(102)는 스마트 렌즈의 화면 상에 플로팅되는 복수의 타겟 오브젝트에 대한 사용자의 시선 상태 정보를 센싱하는 구성으로, 실시간으로 스마트 안경(100)을 착용한 사용자의 시선을 트래킹(tracking)할 수 있다. 도 1a 및 도 1b에 도시된 바와 같이, 시선 트래킹부(102)는 제2 렌즈(112)가 고정되는 안경태의 가장자리를 따라 나란히 배치될 수 있다. 이때, 시선 트래킹부(102)는 적어도 하나 이상인 센서 유닛(114b)을 포함하는 것을 특징으로 한다.
동공 센싱부(101) 및 시선 트래킹부(102)의 위치는 이에 제한되지 않으며 스마트 안경(100)의 안경 지지대(113) 또는 안경태의 적어도 일 영역에 내장되도록 배치될 수 있다. 예를 들면, 스마트 안경(100)의 측면부에 배치되거나, 스마트 안경(100)의 디스플레이부(103)에 직접 배치될 수도 있다. 동공 센싱부(101) 및 시선 트래킹부(102)의 구체적인 동작은 추후 설명하기로 한다.
입력부(104)는 시선 상태 정보에 기초하여 타겟 오브젝트에 대한 입력을 수행하는 구성이다. 구체적으로, 시선 트래킹부(102)를 이용하여 실시간으로 사용자의 시선 상태 정보를 획득함으로써, 입력부(104)는 복수의 타겟 오브젝트 중 사용자의 시선이 일정 시간 이상 머무는 특정 오브젝트를 입력 오브젝트로 선택하고, 추가적인 눈 또는 눈주변 단일근육 또는 근육군의 제스처가 있는 경우(예컨대, 눈을 일정시간 이상 감거나, 기준시간 동안 일정 회수 이상 깜빡일 때)에 해당 오브젝트에 대하여 입력을 수행한다.
추천 단어 제공부(105)는 적어도 둘 이상의 타겟 오브젝트가 입력되면, 해당 글자로 시작하는 자동 추천 단어를 플로팅 형태나 팝업 리스트 형태로 제공하는 구성이다. 이와 관련된 상세한 내용은 추후 설명하기로 한다.
제어부(106)는 동공 센싱부(101), 디스플레이부(103), 시선 트래킹부(102), 입력부(104) 및 추천 단어 제공부(105)에 대한 전반적인 동작을 제어하는 기능을 수행할 수 있다.
이하에서는, 도 3 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 타겟 오브젝트에 대한 시선 입력 방법을 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 시선 트래킹에 따른 타겟 오브젝트 입력 방법을 설명하기 위한 순서도이다. 도 4는 본 발명의 일 실시예에 따른 동공 센싱 과정을 설명하기 위한 예시도이다. 도 5a 내지 도 5b는 본 발명의 일 실시예에 따른 시선을 이용한 타겟 오브젝트의 입력 과정을 설명하기 위한 예시도이다. 도 6은 본 발명의 일 실시예에 따른 시선을 이용한 타겟 오브젝트의 입력 과정을 설명하기 위한 예시도이다.
먼저, 동공 센싱부(101)에 의해 사용자의 동공을 센싱한다(S100).
도 4를 참조하면, 사용자는 스마트 안경(100)을 착용한 상태에서 스마트 안경(100)의 제1 렌즈(111)와 제2 렌즈(112)를 통해 표시된 눈금의 중심점을 탐색하는 동작을 수행한다. 시선 트래킹부(102)가 시선을 트래킹하기에 앞서, 기본적인 눈의 움직임을 측정할 수 있도록 동공 센서부에 의해 동공을 포커싱을 센싱하는 과정이 필요하다.
구체적으로, 동공 센싱부(101)는 사용자의 스마트 렌즈(111, 112)의 중심점(C2)에 대한 사용자 동공의 포커싱(focusing) 여부를 센싱한 후, 사용자의 동공이 중심점(C2)에 포커싱되면 다음 단계를 진행할 준비를 한다. 그러나, 사용자의 동공이 중심점(C2)이 아닌 다른 지점(C1)을 바라보고 있을 경우에는 스마트 안경(100)에 내장된 스피커를 이용한 음성 출력, 또는 스마트 렌즈(111, 112)를 이용한 문구 출력을 통해 사용자가 중심점(C2)을 탐색할 수 있도록 안내 메세지를 더 제공할 수 있다.
이어서, 시선 트래킹부(102)에 의해 실시간으로 사용자의 시선을 트래킹한다(S200). 이어서, 시선 트래킹부(102)의 실시간 트래킹을 통해 디스플레이부(103)에 플로팅되는 복수의 타겟 오브젝트에 대한 사용자의 시선 상태 정보를 획득한다(S300). 이어서, 획득한 시선 상태 정보를 기초로 타겟 오브젝트에 대한 입력을 수행한다(S400).
우선, 본 발명에서 복수의 타겟 오브젝트(500)는 제한된 시간 내에 사용자에게 많은 오브젝트를 제공할 수 있도록, 제1 렌즈(111) 및 제2 렌즈(112) 양측에 플로팅되는 것을 기본으로 한다. 그러나, 복수의 타겟 오브젝트(500)가 플로팅되는 방식은 이에 제한되는 것이 아니다. 예를 들면, 제1 렌즈(111) 또는 제2 렌즈(112)의 일 측 방향에서 타 측 방향으로 이동하면서 플로팅될 수도 있다.
또한, 복수의 타겟 오브젝트(500)는 한 사이클(1 cycle)에 복수개가 양쪽 렌즈(111, 112)를 통하여 플로팅(Floating)될 수 있다. 이에 따라, 사용자는 사용자의 니즈를 입력하는데 소비되는 시간을 단축시킬 수 있다. 또는, 복수의 타겟 오브젝트(500)는 여러 사이클(n cycle)에 거쳐서 순차적으로 플로팅될 수도 있다. 이에 따라, 사용자는 보다 정확하게 사용자의 니즈를 입력할 수 있다.
도 5a (a)를 참조하면, 사용자의 좌안 및 우안에 각각 대응하도록 배치된 제1 렌즈(111) 및 제2 렌즈(112)를 통해서 바라본 영상은 특정 위치를 기준으로 4-사분면(four-quadrant)으로 나뉠 수 있다. 예를 들면, 제1 렌즈(111) 및 제2 렌즈(112)를 통하여 바라본 화면은 좌측 상단에 위치한 제1 영역(A1), 우측 상단에 위치한 제2 영역(A2), 좌측 하단에 위치한 제3 영역(A3), 우측 하단에 위치한 제4 영역(A4)을 포함한다.
도 5a (a)를 참조하면, 각각의 영역(A1, A2, A3, A4)에 플로팅된 복수의 타겟 오브젝트(500)들은 중심점에서 시계 방향으로 멀어지면서 회오리 모양으로 회전할 수 있다. 그러나, 타겟 오브젝트(500)가 플로팅되는 방식은 이에 제한되지 않으며, 다양한 방식으로 변형될 수 있다. 예를 들면, 사용자의 시선 상태 정보 혹은 타겟 오브젝트(500)의 중요도에 따라 도 5b (c)와 같이, 반시계 방향으로 회전할 수도 있고, 중심점에서 대각선 방향으로 흩어지도록 플로팅될 수도 있다. 또는 다각도로 흩어지면서 플로팅될 수도 있다.
도 5a (a)를 참조하면, 사용자가 제2 영역(A2)에 플로팅된 알파벳 'E'를 일정 시간 이상 응시한 후, 입력부(104)는 해당 알파벳 'E'를 입력 오브젝트(501)로 선택할 수 있다. 이때, 사용자가 단순히 시선을 움직이면서 입력과 무관한 타겟 오브젝트를 바라보는 것과는 구별하기 위해서, 일정 시간은 적어도 2초인 것을 의미하는 것이 바람직하다. 즉, 사용자의 시선이 적어도 2초 머무는 타겟 오브젝트(500)를 입력 오브젝트(501)로 판단한다. 이와 관련된 구체적인 설명은 이하에서 도 10을 함께 참조하여 설명하기로 한다.
다만, 사용자의 시선이 타겟 오브젝트에 적어도 2초 머무는 경우(입력 오브젝트(501)로서 판단하는 단계)는, 타겟 오브젝트 주변에 시선이 머물되 타겟 오브젝트의 움직임 경로를 기초로 2초 이상 추적하는 경우를 더 포함할 수 있다. 여기서, 타겟 오브젝트 주변이란 유동 편차각(FGR)이 3
Figure 112019103317481-pat00002
이하인 지점을 의미한다. 이때, 유동 편차각(FGR)은 유동적인 타겟 오브젝트 중심을 사용자가 바라봤을 때로 가정하여 연결한 가상의 선과 타겟 오브젝트 주변을 실제로 사용자가 바라봤을 때의 가상의 선 사이의 각도로 정의된다.
즉, 타겟 오브젝트를 기준으로 다양한 각도 방향에 위치하되, 유동 편차각(FGR)이 3
Figure 112019103317481-pat00003
이하인 지점에 시선이 머문 상태에서 타겟 오브젝트의 움직임 경로를 따라 시선이 2초 이상 움직이는 경우 시선이 적어도 2초 이상 머무는 것을 특징으로 한다.
또한, 사용자의 시선이 타겟 오브젝트에 적어도 2초 머무는 경우는, 타겟 오브젝트 주변에 시선이 머물되 상기 타겟 오브젝트에 대한 추적 편차각(TGR)이 35 이상인 경우를 포함할 수 있다. 여기서, 추적 편차각(TGR)은 사용자의 눈을 기준으로 시선이 머물기 시작하는 추적 시작점부터 추적이 이루어지는 현재 위치(시선이 머문 위치)까지의 각도로 정의될 수 있다.
또한, 입력 오브젝트(501)에 대하여 입력을 결정하는 경우에는 상기 타겟 오브젝트의 움직임 경로를 기초로 1초 이상 상기 타겟 오브젝트를 추적하고, 상기 타겟 오브젝트의 움직임 예상 경로 상으로 편차각 45
Figure 112019103317481-pat00004
이상 되는 경로까지 시선을 미리 움직이는 경우를 더 포함할 수 있다.
사용자가 스마트 렌즈(111, 112)에 플로팅되는 복수의 타겟 오브젝트(500) 중 입력하고자 하는 알파벳을 일정 시간 이상 응시할 경우, 도 5a (b)에 도시된 바와 같이, 입력 오브젝트(501)의 크기가 다른 타겟 오브 젝트에 비해 현저하게 큰 사이즈를 갖도록 증가할 수 있다. 이러한 동작을 통하여 사용자는 타겟 오브젝트(500)가 입력 오브젝트(501)로서 선택되었다는 사실을 알게 된다. 즉, 입력 오브젝트(501)는 사용자(혹은 시선 트래킹 시스템을 이용하는 유저)에 의해 결정되는 것을 특징으로 한다.
이때, 사용자가 무의식 상태로 타겟 오브젝트를 일정 시간 이상 응시하는 경우가 포함될 수 있으므로, 사이즈가 증가한 입력 오브젝트(501)에 대한 입력을 수행하기 위해서는, 추가적인 제스처가 요구될 수 있다.
예컨대, 상기 입력 오브젝트(501)에 대하여 적어도 2회의 눈 깜박임 또는 눈을 일정시간 이상 감는 움직임이 요구될 수 있다. 다만, 여기서 적어도 2회의 눈 깜박임은 기준시간 내에 2회이상 깜빡이는 것을 의미한다. 또는, 입력 오브젝트(501)에 대하여 특정 단일근육 또는 근육 군(group)의 특이적이 움직임이 요구될 수 있다. 여기서, 특정 단일근육 또는 근육 군은 안구 근처의 근육을 의미하고, 안근(眼筋), 안외근(眼外勤), 외안근(外眼筋), 상직근(上直筋), 하직근(下直筋), 내측직근(內側直筋), 외측직근(外側直筋) 등일 수 있다.
이에 따라, 사용자가 알파벳 'E'를 입력한 후에는, 도 5b (c)에 도시된 바와 같이, 제1 영역(A1)의 상단에 배치된 입력창(502)에 알파벳 'E'가 입력될 수 있다. 이때, 사용자가 입력을 잘못 한 경우에는 입력창(502) 내에 배치된 삭제버튼(503)을 이용하여 글자를 삭제할 수도 있다.
이어서, 도 5b (c), (d)를 참조하면, 사용자가 일정 시간 이상 바라본 입력 오브젝트(501)는 사이즈가 증가함과 동시에 색깔이 변화될 수 있다. 이때, 입력 오브젝트(501)의 색은 글자 색만 변할 수도 있고, 글자의 음영처럼 글자 주변의 색이 변할 수도 있다. 또한, 입력창(502)에는 입력 오브젝트인 알파벳 'X'가 입력될 수 있다. 이에 따라, 사용자는 자신이 응시한 타겟 오브젝트(500)를 보다 용이하게 식별할 수 있는 효과가 있다.
도 6을 참조하면, 시선 범위 설정부는 시선 트래킹부(102)로부터 트래킹한 시선 트래킹 데이터를 기초로 사용자의 시선 범위(SR)를 결정할 수 있다. 예를 들면, 도 5a 내지 도 5b에 도시된 바와 같이, 사용자는 제1 렌즈(111)의 우측 영역, 즉, 제2 영역(A2), 제4 영역(A4)과 제2 렌즈(112)의 좌측 영역, 즉, 제1 영역(A1), 제3 영역(A3)을 주로 응시하는 것을 알 수 있다. 이에 따라, 사용자의 시선 범위는 사용자의 시선의 중앙부로 결정될 수 있다.
본 발명은 사용자의 시선 범위를 설정함에 따라, 사용자에게 익숙한 시선 범위에 타겟 오브젝트를 빈번하게 노출시킴으로써 사용자가 보다 용이하게 선택할 수 있도록 작업의 편의성을 증대시킬 수 있다.
또한, 시선 범위 영역에서는 타겟 오브젝트가 빈번하게 플로팅 되거나, 중복되게 플로팅될 수 있다. 타겟 오브젝트를 중복되게 플로팅하는 것은 복수의 타겟 오브젝트를 플로팅시키는 한 사이클(cycle) 내에서 적어도 둘 이상의 동일한 문자가 플로팅되는 것을 의미한다.
시선 범위 영역에서 타겟 오브젝트를 중복적으로 플로팅함으로써 사용자의 응시 정확도를 증가시킬 수 있는 효과가 있다. 다시 말해, 시선 범위 영역 내에서도 사용자가 응시하기 편한 특정 위치가 존재할 수 있기 때문에, 중복되는 적어도 둘 이상의 문자를 중복적으로 플로팅할 시 입력의 정확도를 증가시킬 수 있다.
도 7은 본 발명의 또 다른 실시예에 따른 시선을 이용한 자동완성 오브젝트의 입력 과정을 설명하기 위한 예시도이다.
도 7에 도시된 바와 같이, 제1 렌즈(111)의 입력창에 'EXP'까지 입력된 경우, 스마트 렌즈(111, 112)에는 추천 단어 제공부(105)에 의해 'EXP'로 시작하는 자동 추천 단어가 플로팅될 수 있다. 여기서, 자동 추천 단어는 적어도 두 개 이상의 글자가 주어졌을 경우, 제공되는 자동 완성형 단어로 정의될 수 있고, 스마트 안경(100)을 착용한 사용자가 초기에 설정한 기본 정보를 토대로 제공되는 사용자 맞춤형 추천 단어로 정의될 수도 있다.
구체적으로, 제1 렌즈(111)에는 R, U, P, S, T 등과 같은 복수개의 타겟 오브젝트가 플로팅되며, 제2 렌즈(112)에는 'EXPLORE', 'EXPLORING', 'EXPLAIN', 'EXPECT'와 같은 자동 추천 단어가 플로팅 될 수 있다. 도 7에서는 자동 추천 단어가 제2 렌즈(112)에 플로팅되는 것으로 도시하였으나, 제1 렌즈(111) 또는 스마트 렌즈(111, 112) 모두에 플로팅될 수 있다.
도 7을 참조하면, 'EXPLORE'가 입력 오브젝트(701)로서 입력되는 것을 알 수 있다. 이때, 입력창(A11)에는 하나의 단어만이 입력되는 것처럼 도시하였으나, 복수개의 선택사항들이 입력될 수도 있다. 한편, 자동 추천 단어를 플로팅하는 단계에서 입력 오브젝트가 결정되는 경우, 결정된 입력 오브젝트는 다음 단계에서 플로팅되는 타겟 오브젝트에 제외될 수 있다.
또한, 플로팅되는 자동 추천 단어는 사용자의 관심도에 따라 서로 상이한 속도로 플로팅될 수 있다. 예를 들면, 사용자의 관심도가 높은 단어는 느리게 플로팅되고, 관심도가 낮은 단어는 빠르게 플로팅될 수 있다. 여기서, 관심도는 사용자가 초기에 설정한 기본 정보(예를 들면, 사용자의 관심 항목, 사용자의 업무 분야 등)을 기초로 설정될 수 있고, 사용자의 입력 빈도를 기초로 설정될 수도 있다.
따라서, 본 발명은 사용자에게 자동 추천 단어를 제공함으로써, 타겟 오브젝트를 하나씩 입력하는 과정을 생략할 수 있기 때문에 업무 속도를 효과적으로 단축시킬 수 있는 효과가 있다.
도 8은 본 발명의 또 다른 실시예에 따른 자동완성 리스트를 나타낸 예시도이다.
도 8을 참조하면, 제1 렌즈(111)의 입력창에 'EXP'까지 입력된 경우, 스마트 렌즈(111, 112)에는 추천 단어 제공부(105)에 의해 'EXP'로 시작하는 자동 추천 단어가 리스트 형태로 팝업(pop-up)될 수 있다.
도 8에 도시된 바와 같이, 입력부(104)는 사용자의 시선에 따라 팝업된 자동완성 리스트(800) 중에서 'EXPLORE'를 입력 오브젝트(801)로서 입력할 수 있다.
이때, 자동완성 리스트가 팝업(pop-up)되는 렌즈는 사용자에 의해 용이하게 변경 가능하다. 또한, 자동완성 리스트에 추천되는 자동 추천 단어가 많을 경우, 스마트 렌즈(111, 112) 모두에 팝업될 수도 있다.
따라서, 본 발명은 사용자에게 자동 추천 단어들을 리스트 형태로 제공함으로써, 사용자의 불필요한 시선 이동을 방지할 수 있다. 이에 따라, 사용자의 효율적인 업무 수행이 가능하다는 이점이 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 스마트 안경 111: 제1 렌즈
112: 제2 렌즈 113: 안경 지지대
114a, 114b: 제1,2 센서 유닛 210: 눈
211: 동공 212: 홍채
500, 700: 타겟 오브젝트 501, 701, 801: 입력 오브젝트
503: 삭제 버튼 800: 자동완성 리스트
A1,2,34:제1,2,3,4 영역 A11: 입력창

Claims (19)

  1. 스마트 안경에 내장된 적어도 하나의 센서에 의해 사용자의 동공을 센싱하는 동공 센싱부;
    복수의 타겟 오브젝트가 플로팅되는 스마트 렌즈를 포함하는 디스플레이부;
    적어도 하나의 감지 센서를 통해 시선을 트래킹하고 상기 복수의 타겟 오브젝트에 대한 상기 사용자의 시선 상태 정보를 획득하는 시선 트래킹부; 및
    상기 시선 상태 정보에 기초하여 상기 복수의 타겟 오브젝트 중 상기 사용자의 시선이 일정 시간 이상 머무는 특정 오브젝트를 입력 오브젝트로 선택한 후 입력을 수행하는 입력부 및
    상기 시선 트래킹부로부터 트래킹된 시선 트래킹 데이터를 기초로 상기 사용자의 시선 범위를 설정하는 시선 범위 설정부를 포함하되,
    상기 입력 오브젝트는 상기 사용자의 시선 상태 정보를 기초로 크기, 색 및 이동방향 중 적어도 하나가 변화되고,
    상기 디스플레이부는 상기 시선 범위 영역을 제외한 영역보다 상기 시선 범위 영역에 상기 타겟 오브젝트를 빈번하게 플로팅하는, 시선 트래킹 시스템.
  2. 제1항에 있어서,
    상기 시선 상태 정보는 상기 사용자의 동공의 움직임 및 상기 사용자의 눈 개폐 여부를 포함하며, 상기 사용자의 시선 상태 정보에 기초하여 상기 입력 오브젝트가 결정되는, 시선 트래킹 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 스마트 렌즈는 중심점을 기준으로 4-사분면(four-quadrant)으로 나뉘고, 상기 4-사분면의 각 영역에는 상기 타겟 오브젝트가 적어도 하나씩 플로팅되는, 시선 트래킹 시스템.
  5. 제4항에 있어서,
    상기 4-사분면의 각 영역에 플로팅되는 상기 타겟 오브젝트는 한 사이클(cycle)에 복수개가 한번에 플로팅되거나, 또는 여러 사이클에 거쳐서 순차적으로 플로팅되는, 스마트 안경의 시선 트래킹 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 타겟 오브젝트는 상기 스마트 렌즈의 일 측에서 타 측으로 나란히 플로팅되는, 시선 트래킹 시스템.
  8. 제1항에 있어서,
    상기 타겟 오브젝트는 자동 추천 단어를 포함하며, 상기 자동 추천 단어는 상기 스마트 렌즈에 하나씩 플로팅되거나, 또는 리스트 형태로 팝업되어 표시되는, 시선 트래킹 시스템.
  9. 제8항에 있어서,
    상기 자동 추천 단어는 상기 사용자의 관심도에 기초하여 차등적인 속도로 플로팅되며,
    상기 관심도는 상기 사용자에 의해 미리 설정된 관심 항목, 상기 사용자의 업무 분야 및 상기 타겟 오브젝트에 대한 상기 사용자의 입력 빈도 중 어느 하나에 의해 결정되는, 시선 트래킹 시스템.
  10. 제5항에 있어서,
    상기 시선 범위 설정부는 상기 4-사분면 중 상기 사용자의 시선에 자주 노출되는 적어도 2개의 영역을 포함하는, 시선 트래킹 시스템.
  11. 삭제
  12. 제10항에 있어서,
    상기 디스플레이부는 상기 시선 범위 영역 내에서 적어도 두 개의 동일한 타겟 오브젝트를 상기 스마트 렌즈의 서로 다른 영역에 동시에 플로팅하는, 시선 트래킹 시스템.
  13. 동공 센싱부, 시선 트래킹부 및 입력부를 포함하는 시선 트래킹 시스템을 이용한 시선 트래킹 방법에 있어서,
    동공 센싱부에 의해 사용자의 동공을 센싱하는 단계;
    시선 트래킹부에 의해 디스플레이부에 플로팅되는 복수의 타겟 오브젝트에 대한 사용자의 시선을 트래킹하는 단계;
    상기 시선 트래킹부에 의해 복수의 타겟 오브젝트에 대한 상기 사용자의 시선 상태 정보를 획득하는 단계; 및
    상기 시선 트래킹부로부터 트래킹된 시선 트래킹 데이터를 기초로 상기 사용자의 시선 범위를 설정하는 시선 범위 설정부를 포함하되,
    입력부에 의해 상기 복수의 타겟 오브젝트 중 상기 사용자의 시선이 일정 시간 이상 머무는 특정 오브젝트가 상기 사용자에 의해 입력 오브젝트로 결정된 것으로 파악하여 입력으로 처리하는 단계를 포함하되,
    상기 입력 오브젝트는 상기 사용자의 시선 상태 정보를 기초로 크기, 색 및 이동방향 중 적어도 하나가 변화되고,
    상기 시선 범위 영역을 제외한 영역보다 상기 시선 범위 영역에 상기 타겟 오브젝트를 빈번하게 플로팅하는, 시선 트래킹 방법.
  14. 삭제
  15. 제13항에 있어서,
    상기 타겟 오브젝트에 대하여 상기 사용자의 시선이 적어도 2초 머무는 경우에 상기 입력 오브젝트로서 선택하며, 선택된 입력 오브젝트에 대하여 상기 사용자의 눈이 적어도 2회 깜박이거나, 특정 단일근육 또는 근육군의 특이적인 움직임이 있는 경우에 선택된 입력 오브젝트에 대응하는 정보가 입력되는, 시선 트래킹 방법.
  16. 삭제
  17. 제13항에 있어서,
    상기 타겟 오브젝트 주변은 상기 타겟 오브젝트의 유동 편차각이 3도 이하인, 시선 트래킹 방법.
  18. 삭제
  19. 동공 센싱부에 의해 사용자의 동공을 센싱하고,
    시선 트래킹부에 의해 디스플레이부에 플로팅되는 복수의 타겟 오브젝트에 대한 사용자의 시선을 트래킹하고,
    상기 복수의 타겟 오브젝트에 대한 상기 사용자의 시선 상태 정보를 획득하고,
    입력부에 의해 상기 복수의 타겟 오브젝트 중 상기 사용자의 시선이 일정 시간 이상 머무는 특정 오브젝트가 상기 사용자에 의해 입력 오브젝트로 결정된 것으로 파악하여 입력으로 처리하되, 상기 입력 오브젝트는 상기 사용자의 시선 상태 정보를 기초로 크기, 색 및 이동방향 중 적어도 하나가 변화되고, 트래킹된 상기 시선에 대한 시선 트래킹 데이터를 기초로 상기 사용자의 시선 범위를 설정하되 상기 시선 범위 영역을 제외한 영역보다 상기 시선 범위 영역에 상기 타겟 오브젝트를 빈번하게 플로팅하게 하는 명령어들을 저장하는, 컴퓨터 판독 가능 기록매체.
KR1020190125447A 2019-10-10 2019-10-10 스마트 안경의 시선 트래킹 시스템 및 그 방법 KR102128894B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020190125447A KR102128894B1 (ko) 2019-10-10 2019-10-10 스마트 안경의 시선 트래킹 시스템 및 그 방법
US17/767,733 US11808940B2 (en) 2019-10-10 2020-10-12 Eye tracking system for smart glasses and method therefor
EP20875416.8A EP4043999A4 (en) 2019-10-10 2020-10-12 EYE TRACKING SYSTEM FOR SMART GLASSES AND METHOD THEREOF
CN202080070347.7A CN114600031A (zh) 2019-10-10 2020-10-12 智能眼镜的视线追踪系统及其方法
JP2022521366A JP7209128B2 (ja) 2019-10-10 2020-10-12 スマートグラスの視線トラッキングシステムおよびその方法
PCT/KR2020/013858 WO2021071335A1 (ko) 2019-10-10 2020-10-12 스마트 안경의 시선 트래킹 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190125447A KR102128894B1 (ko) 2019-10-10 2019-10-10 스마트 안경의 시선 트래킹 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102128894B1 true KR102128894B1 (ko) 2020-07-01

Family

ID=71601734

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190125447A KR102128894B1 (ko) 2019-10-10 2019-10-10 스마트 안경의 시선 트래킹 시스템 및 그 방법

Country Status (6)

Country Link
US (1) US11808940B2 (ko)
EP (1) EP4043999A4 (ko)
JP (1) JP7209128B2 (ko)
KR (1) KR102128894B1 (ko)
CN (1) CN114600031A (ko)
WO (1) WO2021071335A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021071335A1 (ko) * 2019-10-10 2021-04-15 주식회사 메디씽큐 스마트 안경의 시선 트래킹 시스템 및 그 방법
KR20220094542A (ko) * 2020-12-29 2022-07-06 서울대학교산학협력단 감염병 예찰을 위한 스마트 디바이스
KR20220106000A (ko) 2021-01-21 2022-07-28 주식회사 증강지능 튜터링을 위해 혼합현실 컨텐츠를 제공하는 인공지능 챗봇 시스템
WO2024075947A1 (ko) * 2022-10-04 2024-04-11 삼성전자 주식회사 객체 검색을 위한 이미지 쿼리를 생성하는 전자 장치 및 전자 장치의 동작 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040061831A1 (en) * 2002-09-27 2004-04-01 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
WO2012154620A2 (en) * 2011-05-06 2012-11-15 Magic Leap, Inc. Massive simultaneous remote digital presence world
KR20140034252A (ko) * 2011-06-23 2014-03-19 마이크로소프트 코포레이션 헤드 마운티드 디스플레이를 위한 ｔｆｏｖ 분류 기법
KR20160110315A (ko) * 2016-09-01 2016-09-21 주식회사 비주얼캠프 시선 추적형 입력 장치
KR101671838B1 (ko) * 2015-06-17 2016-11-03 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치
KR20170101730A (ko) * 2016-02-29 2017-09-06 삼성전자주식회사 사용자 데모그래픽 정보 및 콘텍스트 정보에 기초한 텍스트 입력 예측 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173274A (ja) * 1997-08-27 1999-03-16 Canon Inc 視線入力意思伝達装置、方法および記憶媒体
CN102193641B (zh) * 2010-03-09 2014-06-18 阿里巴巴集团控股有限公司 字符输入过程中的待选字符显示方法及装置
JP2013196158A (ja) * 2012-03-16 2013-09-30 Sony Corp 制御装置、電子機器、制御方法、及びプログラム
US9041741B2 (en) * 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US10152495B2 (en) * 2013-08-19 2018-12-11 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
US20170060413A1 (en) * 2014-02-21 2017-03-02 Drnc Holdings, Inc. Methods, apparatus, systems, devices and computer program products for facilitating entry of user input into computing devices
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
KR101671837B1 (ko) 2014-05-20 2016-11-16 주식회사 비주얼캠프 시선 추적형 입력 장치
US9706910B1 (en) * 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction
WO2016142933A1 (en) * 2015-03-10 2016-09-15 Eyefree Assisting Communication Ltd. System and method for enabling communication through eye feedback
KR102196975B1 (ko) 2015-08-15 2020-12-30 구글 엘엘씨 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법
JP6684559B2 (ja) 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
JP2019057057A (ja) 2017-09-20 2019-04-11 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
KR101993057B1 (ko) * 2017-12-05 2019-06-25 순천향대학교 산학협력단 안구 움직임 인식을 이용한 안전한 비밀번호 입력 장치 및 방법
KR102128894B1 (ko) 2019-10-10 2020-07-01 주식회사 메디씽큐 스마트 안경의 시선 트래킹 시스템 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040061831A1 (en) * 2002-09-27 2004-04-01 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
WO2012154620A2 (en) * 2011-05-06 2012-11-15 Magic Leap, Inc. Massive simultaneous remote digital presence world
KR20140034252A (ko) * 2011-06-23 2014-03-19 마이크로소프트 코포레이션 헤드 마운티드 디스플레이를 위한 ｔｆｏｖ 분류 기법
KR101671838B1 (ko) * 2015-06-17 2016-11-03 주식회사 비주얼캠프 시선 추적을 이용한 입력 장치
KR20170101730A (ko) * 2016-02-29 2017-09-06 삼성전자주식회사 사용자 데모그래픽 정보 및 콘텍스트 정보에 기초한 텍스트 입력 예측 방법 및 장치
KR20160110315A (ko) * 2016-09-01 2016-09-21 주식회사 비주얼캠프 시선 추적형 입력 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021071335A1 (ko) * 2019-10-10 2021-04-15 주식회사 메디씽큐 스마트 안경의 시선 트래킹 시스템 및 그 방법
US11808940B2 (en) 2019-10-10 2023-11-07 Medithinq Co., Ltd. Eye tracking system for smart glasses and method therefor
KR20220094542A (ko) * 2020-12-29 2022-07-06 서울대학교산학협력단 감염병 예찰을 위한 스마트 디바이스
KR102541538B1 (ko) * 2020-12-29 2023-06-12 서울대학교산학협력단 감염병 예찰을 위한 스마트 디바이스
KR20220106000A (ko) 2021-01-21 2022-07-28 주식회사 증강지능 튜터링을 위해 혼합현실 컨텐츠를 제공하는 인공지능 챗봇 시스템
WO2024075947A1 (ko) * 2022-10-04 2024-04-11 삼성전자 주식회사 객체 검색을 위한 이미지 쿼리를 생성하는 전자 장치 및 전자 장치의 동작 방법

Also Published As

Publication number Publication date
JP2022542490A (ja) 2022-10-03
US11808940B2 (en) 2023-11-07
EP4043999A4 (en) 2023-11-08
US20220413285A1 (en) 2022-12-29
EP4043999A1 (en) 2022-08-17
WO2021071335A1 (ko) 2021-04-15
CN114600031A (zh) 2022-06-07
JP7209128B2 (ja) 2023-01-19

Similar Documents

Publication Publication Date Title
KR102128894B1 (ko) 스마트 안경의 시선 트래킹 시스템 및 그 방법
US10082940B2 (en) Text functions in augmented reality
KR102196975B1 (ko) 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법
JP5887026B2 (ja) ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
US9323325B2 (en) Enhancing an object of interest in a see-through, mixed reality display device
US10298911B2 (en) Visualization of spatial and other relationships
JP2010061265A (ja) 人物検索登録システム
CN113709410A (zh) 基于mr眼镜的人眼视觉能力增强的方法、系统及设备
Schurink et al. Low vision aids for visually impaired children: a perception-action perspective
Zhao et al. Designing and evaluating a customizable head-mounted vision enhancement system for people with low vision
JP2023534213A (ja) 非球面角膜モデルを使用した眼追跡
CN114546102B (zh) 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置
US20220125294A1 (en) Systems and methods for visual field testing in head-mounted displays
Htike et al. Ability of head-mounted display technology to improve mobility in people with low vision: A systematic review
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
Lander et al. hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation
JPH09179062A (ja) コンピュータシステム
CN210383869U (zh) 一种屈光度检查设备和系统
CN106265005A (zh) 一种新型眼保健仪及应用方法
KR102304369B1 (ko) Vr을 이용한 안과검사방법 및 시스템
JP2017191546A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
US20230410306A1 (en) Alignment guidance user interface system
JP2017189498A (ja) 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法
KR102458553B1 (ko) 눈 건강 측정 디바이스 및 방법
CN116056623B (zh) 用于确定至少一只眼睛的至少一个散光作用的方法和装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant