KR102166861B1 - 시선 추적을 이용한 증강 현실의 인에이블링 - Google Patents

시선 추적을 이용한 증강 현실의 인에이블링 Download PDF

Info

Publication number
KR102166861B1
KR102166861B1 KR1020157018775A KR20157018775A KR102166861B1 KR 102166861 B1 KR102166861 B1 KR 102166861B1 KR 1020157018775 A KR1020157018775 A KR 1020157018775A KR 20157018775 A KR20157018775 A KR 20157018775A KR 102166861 B1 KR102166861 B1 KR 102166861B1
Authority
KR
South Korea
Prior art keywords
image
interest
region
object recognition
gaze
Prior art date
Application number
KR1020157018775A
Other languages
English (en)
Other versions
KR20150096474A (ko
Inventor
애쉬윈 스와미나탄
마헤쉬 라마찬드란
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20150096474A publication Critical patent/KR20150096474A/ko
Application granted granted Critical
Publication of KR102166861B1 publication Critical patent/KR102166861B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

시선 추적을 이용하여 증강 현실 애플리케이션들을 인에이블하는 것과 관련된 방법들 및 장치가 개시된다. 본 개시에 따른 예시적 방법은 사용자가 볼 수 있는 장면의 이미지를 사용자에게 디스플레이하는 단계, 사용자의 시선을 표시하는 정보를 수신하는 단계, 시선 정보에 기초하여 이미지 내의 관심 있는 영역을 결정하는 단계, 관심 있는 영역에 기초하여 이미지 세그먼트를 결정하는 단계, 이미지 세그먼트 상에서 객체 인식 프로세스를 개시하는 단계 및 객체 인식 프로세스의 결과들을 디스플레이하는 단계를 포함한다.

Description

시선 추적을 이용한 증강 현실의 인에이블링{ENABLING AUGMENTED REALITY USING EYE GAZE TRACKING}
[0001] 본원에 개시된 청구대상은 후방(back facing) 카메라들을 갖는 전자 디바이스들에 관한 것으로, 더 상세하게는, 예를 들어, 모바일 전자 디바이스들에서 증강 현실(AR: Augmented Reality)을 위해 이용하기 위한 방법들, 장치들 및 시스템들에 관한 것이다.
[0002] 모바일 컴퓨팅 디바이스들(모바일 디바이스들)은 무선 통신 시스템들을 통해 다양한 정보로의 액세스를 사용자들에게 제공한다. 예로서, 무선 셀룰러 네트워크들 및/또는 무선 로컬 영역 네트워크들, 이를테면, Wi-Fi 또는 WiMAX에 대해 이용하기 위해 인에이블되는 모바일 디바이스들은 인터넷의 방대한 정보 자원들로의 액세스를 사용자들에게 제공한다. 모바일 디바이스들은 또한, 사용자들이, 컴퓨터로 생성된 그래픽 컨텐츠와 병합(merge)되거나 그에 의해 증강되는 타겟 객체의 실-시간 뷰를 제공하는 증강 현실 환경들을 조사(explore)하는 것을 가능하게 할 수 있다. 예를 들어, 카메라 상주 온보드(cameras residing on-board) 모바일 디바이스는 모바일 디바이스의 카메라 뷰에서 캡처되는 관심 있는 타겟들에 관한 보충 정보를 사용자에게 제시하기 위해 그래픽 디스플레이와 함께 이용될 수 있다. 이러한 보충 정보는 모바일 디바이스의 카메라 뷰에서 캡처되는 실세계 객체(object)들을 오버레이하는 정보 레이어를 형성할 수 있다. 이 기능은 일반적으로, 증강 현실(AR) 뷰 모드로 지칭된다. AR 뷰에서, 카메라 뷰에서 캡처되는 객체들은 사용자가 정보 레이어에 더 쉽게 액세스하게 하기 위해 디스플레이 스크린과 정렬되도록 트랜지션될 수 있다.
[0003] 모바일 디바이스는 AR 모드 뷰를 가질 수 있고, AR 타겟 객체들은 그래픽 디스플레이 스크린 상에 제시될 수 있다. 일부 상황들에서, 사용자에게 디스플레이되는 AR 타겟 객체들의 수는 광대할 수 있다. AR 타겟 객체들은 사용자의 뷰를 산란(distract)시킬 수 있는 뷰 스크린 상의 클러터(clutter)를 생성할 수 있으며, 모바일 디바이스의 프로세싱 능력들에 대해 요구할 수 있다.
[0004] 본 개시에 따라 시선 추적(eye gaze)을 이용하여 증강 현실 애플리케이션들을 인에이블하기 위한 방법의 예는, 사용자가 볼 수 있는 장면(scene)의 이미지를 사용자에게 디스플레이하는 단계, 사용자의 시선을 표시하는 정보를 수신하는 단계, 시선 정보에 기초하여 이미지 내의 관심 있는 영역을 결정하는 단계, 관심 있는 영역의 위치에 기초하여 객체 태그가 장면의 이미지에 디스플레이되게 하는 단계, 및 관심 있는 영역이 객체 태그 상에 또는 객체 태그 주위에 머물면(linger), 증강 현실 정보를 디스플레이하는 단계를 포함한다.
[0005] 방법의 구현들은 다음의 특징들 중 하나 또는 둘 이상을 포함할 수 있다. 사용자에게 디스플레이되는 이미지는 모바일 디바이스에 커플링된 제 1 카메라에 의해 캡처될 수 있고, 시선 정보는 모바일 디바이스에 커플링된 제 2 카메라에 의해 캡처되는 이미지에 기초하여 결정될 수 있다. 관심 있는 영역이 객체 태그 상에 또는 객체 태그 주위에 머물지 않으면, 객체 태그를 숨긴다. 후방 카메라 또는 시선 추적 툴은 시선 정보를 수신하기 위해 이용될 수 있다. 객체 태그는 아이콘일 수 있다. 관심 있는 영역의 그래픽 표현은 이미지 상에 디스플레이될 수 있다. 그래픽 표현은 하나 또는 둘 이상의 원들 또는 다른 그래픽 아이콘일 수 있다. 이미지는 전방(front-facing) 카메라에 의해 캡처될 수 있다.
[0006] 본 개시에 따라 시선 추적을 이용하여 객체(object) 인식을 가능하게 하기 위한 방법의 예는, 사용자가 볼 수 있는 장면의 이미지를 사용자에게 디스플레이하는 단계, 사용자의 시선을 표시하는 정보를 수신하는 단계, 시선 정보에 기초하여 이미지 내의 관심 있는 영역을 결정하는 단계, 관심 있는 영역에 기초하여 이미지 세그먼트를 결정하는 단계, 이미지 세그먼트 상에서 객체 인식 프로세스를 개시하는 단계 및 객체 인식 프로세스의 결과들을 디스플레이하는 단계를 포함한다.
[0007] 방법의 구현들은 다음의 특징들 중 하나 또는 둘 이상을 포함할 수 있다. 개시하는 단계는 객체 인식 프로세스를 수행하는 단계를 포함할 수 있다. 개시하는 단계는 이미지 세그먼트를 원격 서버에 제공하는 단계, 및 원격 서버로부터 객체 인식 결과를 수신하는 단계를 포함할 수 있고, 이로써, 디스플레이하는 단계는 객체 인식 결과에 기초하여 증강 현실 정보를 디스플레이하는 단계를 포함할 수 있다. 원격 서버로부터 포우즈(pose) 정보를 수신하고, 포우즈 정보에 기초하여 증강 현실 정보를 디스플레이한다. 이미지는 모바일 디바이스에 커플링된 제 1 카메라에 의해 캡처될 수 있고, 시선 정보는 모바일 디바이스에 커플링된 제 2 카메라에 의해 캡처되는 이미지에 기초하여 결정될 수 있다. 객체 인식 프로세스의 결과들은 증강 현실 정보를 디스플레이하는 것을 포함할 수 있다. 관심 있는 영역이 이미지 세그먼트 상에 또는 이미지 세그먼트 주위에 머물면, 증강 현실 정보를 디스플레이한다. 객체 인식 프로세스의 결과들을 디스플레이하는 단계는 객체 태그를 디스플레이하는 단계를 포함할 수 있다. 관심 있는 영역이 객체 태그 상에 또는 객체 태그 주위에 머물면, 증강 현실 정보를 디스플레이한다. 이미지 세그먼트 경계 라인을 디스플레이한다.
[0008] 본 개시에 따라 위치 기반 증강 현실 정보를 디스플레이하기 위해 시선 추적을 이용하기 위한 방법의 예는, 모바일 디바이스 상에 이미지를 디스플레이하는 단계, 모바일 디바이스의 위치에 기초하여 위치 기반 증강 현실 객체를 결정하는 단계, 이미지 내의 아이콘을 디스플레이하는 단계 ― 이미지 내의 아이콘의 포지션은 이미지 내의 시각적 실세계 객체의 위치 또는 위치 기반 증강 현실 객체와 연관된 위치 정보에 기초함 ― , 사용자의 시선에 기초하여 이미지 내의 관심 있는 영역을 결정하는 단계, 및 관심 있는 영역이 아이콘의 포지션과 오버랩한다면, 위치 기반 증강 현실 객체 또는 실세계 객체와 연관된 증강 현실 정보를 모바일 디바이스 상에 디스플레이하는 단계를 포함한다.
[0009] 방법의 구현들은 다음의 특징들 중 하나 또는 둘 이상을 포함할 수 있다. 이미지는 모바일 디바이스 상의 전방 카메라에 의해 획득될 수 있다. 모바일 디바이스 상의 후방 카메라는 사용자의 시선을 결정하기 위해 이용될 수 있다. 이미지는 애플리케이션 내에 디스플레이되는 파일일 수 있다. 관심 있는 영역의 그래픽 표현이 디스플레이될 수 있다.
[0010] 본 개시에 따른 방법의 예는, 모바일 디바이스의 제 1 카메라에 의해 캡처되는 제 1 이미지를 모바일 디바이스 상에 디스플레이하는 단계, 모바일 디바이스의 제 2 카메라에 의해 캡처되는 제 2 이미지에 기초하여 모바일 디바이스의 사용자의 시선을 결정하는 단계, 결정된 시선(gaze)에 기초하여 제 1 이미지 내의 관심 있는 영역을 결정하는 단계 및 결정된 관심 있는 영역에 적어도 부분적으로 기초하여 증강 현실 기능과 연관된 하나 또는 둘 이상의 동작들을 모바일 디바이스에서 수행하는 단계를 포함한다.
[0011] 방법의 구현들은 다음의 특징들 중 하나 또는 둘 이상을 포함할 수 있다. 하나 또는 둘 이상의 동작들은 실질적으로 관심 있는 영역 내에 있는 제 1 이미지 내의 객체와 연관된 증강 정보를 디스플레이하는 것을 포함할 수 있다. 하나 또는 둘 이상의 동작들은 실질적으로 관심 있는 영역 내에 있는 제 1 이미지 내의 객체를 추적하는 것을 포함할 수 있다. 하나 또는 둘 이상의 동작들은 실질적으로 관심 있는 영역 내에 있는 제 1 이미지 내의 객체에 관하여 수행되는 객체 인식을 포함할 수 있다. 증강 현실 기능은 모바일 디바이스의 위치에 추가로 기초할 수 있다.
[0012] 본 개시에 따라 이미지 세그멘테이션을 이용하여 객체 추적을 가능하게 하기 위한 방법의 예는, 제 1 카메라 방향으로부터 사용자가 볼 수 있는 장면의 제 1 이미지를 사용자에게 디스플레이하는 단계, 사용자의 시선을 표시하는 정보를 수신하는 단계, 시선 정보에 기초하여 제 1 이미지 내의 관심 있는 영역을 결정하는 단계, 관심 있는 영역에 기초하여 이미지 세그먼트를 결정하는 단계, 이미지 세그먼트의 제 1 포우즈를 결정하기 위해 이미지 세그먼트 상에서 객체 추적 프로세스를 수행하는 단계 및 이미지 세그먼트의 제 1 포우즈에 기초하여 제 1 AR 포우즈 내의 증강 현실 객체를 디스플레이하는 단계를 포함한다.
[0013] 방법의 구현들은 다음의 특징들 중 하나 또는 둘 이상을 포함할 수 있다. 제 2 이미지가 이미지 세그먼트를 포함하도록 제 2 카메라 방향으로부터 사용자가 볼 수 있는 장면의 제 2 이미지를 사용자에게 디스플레이하고, 이미지 세그먼트의 제 2 포우즈를 결정하기 위해 이미지 세그먼트 상에서 객체 추적 프로세스를 수행하며, 이미지 세그먼트의 제 2 포우즈에 기초하여 제 2 증강 현실 포우즈 내의 증강 현실 객체를 디스플레이한다. 객체 추적 프로세스를 수행하는 단계는 이미지 세그먼트를 원격 서버에 제공하는 단계를 포함할 수 있다.
[0014] 본 개시에 따라 시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 방법의 예는, 사용자가 볼 수 있는 장면의 이미지를 사용자에게 디스플레이하는 단계, 사용자의 시선을 표시하는 정보를 수신하는 단계, 시선 정보에 기초하여 이미지 내의 관심 있는 영역을 결정하는 단계, 관심 있는 영역에 기초하여 이미지 세그먼트를 결정하는 단계, 이미지 세그먼트를 원격 서버에 제공하는 단계, 원격 서버로부터 객체 인식 결과를 수신하는 단계 및 객체 인식 결과에 기초하여 증강 현실 정보를 디스플레이하는 단계를 포함한다. 구현에서, 방법은 원격 서버로부터 포우즈 정보를 수신하고, 포우즈 정보에 기초하여 증강 현실 정보를 디스플레이할 수 있다.
[0015] 본 개시에 따라 시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치의 예는, 메모리, 메모리에 커플링된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는 사용자가 볼 수 있는 장면의 이미지를 사용자에게 디스플레이하고, 사용자의 시선을 표시하는 정보를 수신하고, 시선 정보에 기초하여 이미지 내의 관심 있는 영역을 결정하고, 관심 있는 영역에 기초하여 이미지 세그먼트를 결정하고, 이미지 세그먼트 상에서 객체 인식 프로세스를 개시하고, 그리고 객체 인식 프로세스의 결과들을 디스플레이하도록 구성된다.
[0016] 본 개시에 따라 위치 기반 증강 현실 정보를 디스플레이하기 위해 시선 추적을 이용하기 위한 장치의 예는, 메모리, 메모리에 커플링된 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는 모바일 디바이스 상에 이미지를 디스플레이하고, 모바일 디바이스의 위치에 기초하여 위치 기반 증강 현실 객체를 결정하고, 이미지 내의 아이콘을 디스플레이하고 ― 이미지 내의 아이콘의 포지션은 이미지 내의 시각적 실세계 객체의 위치 또는 위치 기반 증강 현실 객체와 연관된 위치 정보에 기초함 ― , 사용자의 시선에 기초하여 이미지 내의 관심 있는 영역을 결정하고, 관심 있는 영역이 아이콘의 포지션과 오버랩한다면, 위치 기반 증강 현실 객체 또는 실세계 객체와 연관된 증강 현실 정보를 모바일 디바이스 상에 디스플레이하도록 구성된다.
[0017] 본 개시에 따라 시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치의 예는, 사용자가 볼 수 있는 장면의 이미지를 사용자에게 디스플레이하기 위한 수단, 사용자의 시선을 표시하는 정보를 수신하기 위한 수단, 시선 정보에 기초하여 이미지 내의 관심 있는 영역을 결정하기 위한 수단, 관심 있는 영역에 기초하여 이미지 세그먼트를 결정하기 위한 수단, 이미지 세그먼트 상에서 객체 인식 프로세스를 개시하기 위한 수단 및 객체 인식 프로세스의 결과들을 디스플레이하기 위한 수단을 포함한다.
[0018] 본 개시에 따라 위치 기반 증강 현실 정보를 디스플레이하기 위해 시선 추적을 이용하기 위한 장치의 예는, 모바일 디바이스 상에 이미지를 디스플레이하기 위한 수단, 모바일 디바이스의 위치에 기초하여 위치 기반 증강 현실 객체를 결정하기 위한 수단, 이미지 내의 아이콘을 디스플레이하기 위한 수단 ― 이미지 내의 아이콘의 포지션은 이미지 내의 시각적 실세계 객체의 위치 또는 위치 기반 증강 현실 객체와 연관된 위치 정보에 기초함 ― , 사용자의 시선에 기초하여 이미지 내의 관심 있는 영역을 결정하기 위한 수단, 및 관심 있는 영역이 아이콘의 포지션과 오버랩한다면, 위치 기반 증강 현실 객체 또는 실세계 객체와 연관된 증강 현실 정보를 모바일 디바이스 상에 디스플레이하기 위한 수단을 포함한다.
[0019] 본 개시에 따라 비-일시적 컴퓨터 저장 매체의 예는, 프로세서로 하여금, 사용자가 볼 수 있는 장면의 이미지를 사용자에게 디스플레이하게 하고, 사용자의 시선을 표시하는 정보를 수신하게 하고, 시선 정보에 기초하여 이미지 내의 관심 있는 영역을 결정하게 하고, 관심 있는 영역에 기초하여 이미지 세그먼트를 결정하게 하고, 이미지 세그먼트 상에서 객체 인식 프로세스를 개시하게 하고, 그리고 객체 인식 프로세스의 결과들을 디스플레이하게 하도록 구성되는 프로세서 실행가능한 명령들을 포함한다.
[0020] 본 개시에 따라 비-일시적 컴퓨터 저장 매체의 예는, 프로세서로 하여금, 모바일 디바이스 상에 이미지를 디스플레이하게 하고, 모바일 디바이스의 위치에 기초하여 위치 기반 증강 현실 객체를 결정하게 하고, 이미지 내의 아이콘을 디스플레이하게 하고 ― 이미지 내의 아이콘의 포지션은 이미지 내의 시각적 실세계 객체의 위치 또는 위치 기반 증강 현실 객체와 연관된 위치 정보에 기초함 ― , 사용자의 시선에 기초하여 이미지 내의 관심 있는 영역을 결정하게 하고 그리고 관심 있는 영역이 아이콘의 포지션과 오버랩한다면, 위치 기반 증강 현실 객체 또는 실세계 객체와 연관된 증강 현실 정보를 모바일 디바이스 상에 디스플레이하게 하도록 구성되는 프로세서 실행가능한 명령들을 포함한다.
[0021] 본원에 설명된 아이템들 및/또는 기법들은 다음의 능력들뿐만 아니라 언급되지 않는 다른 능력들 중 하나 또는 둘 이상을 제공할 수 있다. 장면의 이미지들은 모바일 디바이스의 전방 카메라에 의해 캡처될 수 있고, 사용자의 시선은 모바일 디바이스 상의 후방 카메라에 의해 추적될 수 있다. 관심 있는 영역은 사용자의 시선의 위치에 기초하여 결정될 수 있다. 이미지 세그멘테이션 프로세스는 관심 있는 영역의 위치에 기초하여 개시될 수 있다. 객체 인식은 이미지 세그먼트 상에서 수행될 수 있다. 증강 현실 정보는 관심 있는 영역의 위치 및 머무는(linger) 시간에 기초하여 제시될 수 있다. 객체 태그들이 디스플레이될 수 있다. 다른 능력들이 제공될 수 있으며, 본 개시에 따른 모든 각각의 구현이, 논의되는 능력들 모두는 물론이고, 그들 중 임의의 것을 제공하여야 하는 것은 아니다. 추가로, 위에서 기술된 효과가 기술된 수단 외의 수단에 의해 달성되는 것이 가능할 수 있고, 기술된 아이템/기법이 반드시 기술된 효과를 산출하는 것은 아닐 수 있다.
[0022] 다음의 도면들을 참조하여 비제한적 그리고 비전면적(non-exhaustive) 양상들이 설명되고, 여기서 동일한 참조 번호들은 별도로 특정되지 않는다면 다양한 도면들 전체에 걸쳐 동일한 부분들을 지칭한다.
[0023] 도 1은 본 발명의 실시예들을 실시할 시 이용되는 디바이스의 부분들을 포함하는 예시적 컴퓨터 시스템을 예시한다.
[0024] 도 2는 본 발명의 실시예들을 수행하는 디바이스의 예시적 도면이다.
[0025] 도 3은 모바일 디바이스 상의 후방 카메라를 이용하여 시선 추적을 수행하기 위한 예시적 종래 기술의 프로세스 흐름이다.
[0026] 도 4는 모바일 디바이스 상의 전방 카메라에 의해 캡처되는 이미지 상의 관심 있는 영역을 식별하기 위해 시선 추적을 이용하는 예시적 도면이다.
[0027] 도 5는 AR 객체 태그들에 의해 클러터링(clutter)되는 이미지의 예시적 도면이다.
[0028] 도 6a는 사용자의 시선의 위치의 함수로써 디스플레이되는 AR 객체 태그를 갖는 이미지의 예시적 도면이다.
[0029] 도 6b는 AR 객체 태그 상에 로케이팅되는 사용자의 시선을 갖는 이미지의 예시적 도면이다.
[0030] 도 7은 디스플레이에 걸쳐 클러터링되는 위치 기반 증강 정보를 갖는 이미지의 예시적 도면이다.
[0031] 도 8은 위치 기반 증강 정보가 이용가능한 곳을 표시하는 아이콘들을 갖는 이미지의 예시적 도면이다.
[0032] 도 9는 시선 추적에 기초하여 이미지 세그멘테이션 및 객체 인식을 수행하도록 구성되는 디바이스의 예시적 도면이다.
[0033] 도 10은 시선 추적 구현들에 의한 그룹 비디오 컨퍼런스의 도면이다.
[0034] 도 11은 시선 위치에 기초하여 증강 객체들을 도시하기 위한 예시적 프로세스를 예시하는 프로세스 흐름도이다.
[0035] 도 12는 시선 위치의 인근에서 객체 인식을 수행하기 위한 예시적 프로세스를 예시하는 프로세스 흐름도이다.
[0036] 도 13은 위치 기반 증강 현실 객체들에 대한 아이콘들을 디스플레이하기 위한 예시적 프로세스를 예시하는 프로세스 흐름도이다.
[0037] 최근에, 많은 모바일 디바이스들은 다수의 카메라들 ― 전방 카메라, 후방 카메라 등 ― 을 갖고, 미래로 갈수록 더 많은 카메라들이 모바일 디바이스들에 포함될 수 있다. 대부분의 증강 현실 애플리케이션들에서, 전방 카메라는 이미지 타겟을 바라보고 있는 반면, 후방 카메라는 모바일 디바이스를 동작시키고 있는 사용자를 포인팅할 수 있다. 예를 들어, 전방 카메라는 사용자 시각의 이미지들을 캡처할 수 있는데, 이는 사용자의 시선 아래에 있는 현재 객체인, 디스플레이 스크린 상의 위치를 결정하기 위해 이용될 수 있다. 이 기능은 일반적으로 시선 추적으로 지칭된다. 시선 추적은 디스플레이 스크린 상의 이미지 내의 사용자의 관심대상을 평가하기 위해 이용될 수 있다.
[0038] 시선 추적을 이용하여 증강 현실 애플리케이션들을 인에이블하는 것과 관련된 구현들은 모바일 컴퓨팅 맥락에서 개시된다. 빌딩들, 도로 표지들, 잡지 광고들, 게시판들, 문서들 및 다른 실세계 2D 및 3D 객체들과 같은 타겟 객체들은 모바일 디바이스의 AR 뷰 모드에서 전방 카메라에 의해 캡처될 수 있다. 사용자의 시선은 모바일 디바이스 상의 후방(rear) 카메라에 의해 캡처되는 정보를 이용하여 결정될 수 있다. 증강 현실 정보는 타겟 영역들 및/또는 객체들의 전자 표현들을 획득하기 위해, 예를 들어, 활성 세그멘테이션 및 객체 인식 기법들의 애플리케이션에 의해 결정될 수 있다. 객체 인식 파이프라인은 사용자의 시선에 의해 정의되는 관심 있는 영역에 기초할 수 있다. 관심 있는 영역은 활성 세그멘테이션 알고리즘들에 의해 결정될 수 있다. 이러한 세그먼트들은 관심 있는 영역 내의 타겟 객체들의 AR 뷰로부터 획득되는 그들의 연관된 디스크립터들을 갖는 다수의 (핵심)포인트들을 포함할 수 있다. 이미지 세그먼트들은 색, 텍스처, 경계들 및 강도와 같은 이미지 양상들에 기초할 수 있다. 세그멘테이션의 조도(coarseness)는 모바일 디바이스 또는 원격 서버의 프로세싱 능력들 또는 애플리케이션에 의존할 수 있다. 사용자는 이용가능한 프로세싱 능력들 또는 전력 요건들에 기초하여 동작 성능을 향상시키기 위한 세그멘테이션 알고리즘을 선택할 수 있다. 증강 현실 환경들을 지원하는 정보 레이어들은 추출된 타겟 객체들의 이러한 전자 표현들에 부착될 수 있는 하나 또는 둘 이상의 제시 영역들 및/또는 활성화 영역들의 애플리케이션을 통해 모바일 디바이스 사용자에 의해 정의될 수 있다.
[0039] 미디어 컨텐츠 아이템에 대한 제시 영역은 위치(예를 들어, 포지션 및/또는 방향)의 정의를 목적으로 사용자에 의해 증강 현실 환경에 배치될 수 있는데, 여기서 미디어 컨텐츠 아이템은 그 증강 현실 환경 내에서 제시된다. 미디어 컨텐츠 아이템에 대한 활성화 영역은 연관된 제시 영역에서의 미디어 컨텐츠 아이템의 제시가 사용자 시선 위치 및/또는 추정된 모바일 디바이스 포지션 및/또는 방향에 응답하여 언제 그리고/또는 어떻게 인에이블 및/또는 개시될 수 있는지에 대한 조건들의 정의를 목적으로 사용자에 의해 증강 현실 환경 내에 배치될 수 있다. 활성화 영역은 증강 현실 환경으로부터 비-증강 현실 뷰(즉, 애플리케이션)로의 트랜지션을 개시하기 위해 사용자의 시선 내에 있을 수 있다. 트랜지션은 사용자의 시선이 활성화 영역 상에 머무는 시간에 기초하는 스테이지들을 포함할 수 있다.
[0040] 도 1은 본 발명의 실시예들을 실시할 시 이용되는 디바이스의 부분들을 포함하는 예시적 컴퓨터 시스템을 예시한다. 도 1에 예시된 바와 같은 컴퓨터 시스템은 아래에서 설명되는 컴퓨터화된 디바이스들의 부분으로서 포함될 수 있다. 예를 들어, 컴퓨터 시스템(100)은 모바일 디바이스 또는 스마트 폰의 컴포넌트들 중 일부를 표현할 수 있다. 모바일 디바이스는 카메라와 같은 입력 감지 유닛을 갖는 임의의 컴퓨팅 디바이스일 수 있으며, 또한 디스플레이 유닛을 포함할 수 있다. 모바일 디바이스의 예들은 비디오 게임 콘솔들, 태블릿들, 스마트 폰들 및 임의의 다른 핸드헬드 디바이스들을 포함하지만, 이들에 제한되는 것은 아니다. 도 1은 본원에 설명된 바와 같은, 다양한 다른 실시예들에 의해 제공되는 방법들을 수행하고 그리고/또는 호스트 컴퓨터 시스템, 원격 키오스크/단말, 판매 시점(point-of-sale) 디바이스, 모바일 디바이스, 셋탑 박스 및/또는 컴퓨터 시스템으로서 기능할 수 있는 컴퓨터 시스템(100)의 일 실시예의 개략도를 제공한다. 도 1은 단지 다양한 컴포넌트들의 일반화된 예시를 제공하는 것으로 의미되고, 이들 전부 또는 이들 중 임의의 것이 적절하게 이용될 수 있다. 따라서, 도 1은 개별 시스템 엘리먼트들이 비교적 별개의 또는 비교적 더 통합적 방식으로 어떻게 구현될 수 있는지를 광범위하게 예시한다.
[0041] 컴퓨터 시스템(100)은 버스(102)를 통해 전기적으로 커플링될 수 있는(또는 그 외에 적절하게 통신할 수 있는) 하드웨어 엘리먼트들을 포함하는 것으로 도시된다. 하드웨어 엘리먼트들은, (제한없이 하나 또는 둘 이상의 범용 프로세서들 및/또는 하나 또는 둘 이상의 특수 목적 프로세서들(이를테면, 디지털 신호 프로세싱 칩들, 그래픽 가속 프로세서들 등)을 포함하는) 하나 또는 둘 이상의 프로세서들(104); (제한없이 하나 또는 둘 이상의 카메라들, 센서들(관성 센서들을 포함함), 마우스, 키보드 등을 포함할 수 있는) 하나 또는 둘 이상의 입력 디바이스들(108); 및 (제한없이 도 4-10의 디바이스 디스플레이와 같은 디스플레이 유닛을 포함할 수 있는) 하나 또는 둘 이상의 출력 디바이스들(110)을 포함할 수 있다. 입력 디바이스(들)(108)와 더불어, 도 2에 도시된 바와 같은 전방 카메라(204) 및 후방 카메라(206)는 제 1 카메라(120) 및 제 2 카메라(122)로서 각각 구현될 수 있다. 게다가, 일부 실시예들에서, 입력 및 출력 디바이스는, 예를 들어, 터치 스크린 또는 용량성 디스플레이에 통합될 수 있다.
[0042] 컴퓨터 시스템(100)은, (제한없이 로컬 및/또는 네트워크 액세스가능한 저장소를 포함하고 그리고/또는 제한없이 프로그램가능하고, 플래시-업데이트 가능한 식일 수 있는 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 고체-상태 저장 디바이스, 이를테면, "RAM"(random access memory) 및/또는 판독-전용 메모리("ROM"(read-only memory)를 포함할 수 있는) 하나 또는 둘 이상의 비-일시적 저장 디바이스들(106)을 더 포함할 수 있다(그리고/또는 이들과 통신할 수 있다). 이러한 저장 디바이스들은, (제한없이 다양한 파일 시스템들, 데이터베이스 구조들 등을 포함하는) 임의의 적절한 데이터 저장소를 구현하도록 구성될 수 있다. 디바이스 저장소는 본원에 논의된 다수의 실시예들에서 이용될 수 있다.
[0043] 컴퓨터 시스템(100)은 또한, (제한없이 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스 및/또는 칩셋(이를테면, Bluetooth™디바이스, 802.11 디바이스, WiFi 디바이스, WiMax 디바이스, 셀룰러 통신 시설들 등) 등을 포함할 수 있는) 통신 서브시스템(112)을 포함할 수 있다. 통신 서브시스템(112)은 데이터가 네트워크(이를테면, 한 가지만 예를 들면, 아래에 설명되는 네트워크), 다른 컴퓨터 시스템들 및/또는 본원에 설명된 임의의 다른 디바이스들과 교환되게 허용할 수 있다. 많은 실시예들에서, 컴퓨터 시스템(100)은, 위에서 설명된 바와 같은, RAM 또는 ROM 디바이스를 포함할 수 있는 비-일시적 작업 메모리(114)를 더 포함할 것이다.
[0044] 컴퓨터 시스템(100)은 또한, 운영 시스템(116), 디바이스 드라이버들, 실행가능한 라이브러리들 및/또는 다른 코드, 이를테면, 본원에 설명된 바와 같이, 다양한 실시예들에 의해 제공되는 컴퓨터 프로그램들을 포함할 수 있고, 그리고/또는 다른 실시예들에 의해 제공되는 방법들을 구현하고 그리고/또는 시스템들을 구성하도록 설계될 수 있는 하나 또는 둘 이상의 애플리케이션 프로그램들(118)을 비롯하여, 작업 메모리(114) 내에 현재 위치되어 있는 것으로 도시된 소프트웨어 엘리먼트들을 포함할 수 있다. 단지 예로서, 위에서 논의된 방법(들)에 관하여 설명된 하나 또는 둘 이상의 프로시저들은 컴퓨터(및/또는 컴퓨터 내의 프로세서)에 의해 실행가능한 코드 및/또는 명령들로서 구현될 수 있고, 양상에서, 그 다음, 이러한 코드 및/또는 명령들은 설명된 방법들에 따라 하나 또는 둘 이상의 동작들을 수행하도록 범용 컴퓨터(또는 다른 디바이스)를 구성시키고 그리고/또는 적응시키기 위해 이용될 수 있다.
[0045] 이 명령들 및/또는 코드의 세트는, 위에서 설명된 저장 디바이스(들)(106)와 같은 컴퓨터 판독가능한 저장 매체 상에 저장될 수 있다. 일부 경우들에서, 저장 매체는 컴퓨터 시스템, 이를테면, 컴퓨터 시스템(100) 내에 포함될 수 있다. 다른 실시예들에서, 저장 매체는 컴퓨터 시스템(예를 들어, 이동식 매체, 이를테면, 컴팩트 디스크(disc))과 별개일 수도 있고, 그리고/또는 저장 매체가 저장 매체 상에 저장된 명령들/코드로 범용 컴퓨터를 프로그래밍하고, 구성하고 그리고/또는 적응시키는데 이용될 수 있도록 설치 패키지로 제공될 수 있다. 이 명령들은 컴퓨터 시스템(100)에 의해 실행가능한 실행가능 코드의 형태를 취할 수 있고 그리고/또는 (그 다음, 컴퓨터 시스템(100) 상에서의 컴파일(compilation) 및/또는 설치(installation) 시에, (예를 들어, 다양한 일반적으로 이용가능한 컴파일러들, 설치 프로그램들, 압축/압축해제 유틸리티들 등 중 임의의 것을 이용하여) 실행가능한 코드의 형태를 취하는) 소스 및/또는 설치가능한 코드의 형태를 취할 수 있다.
[0046] 특정 요건들에 따라 상당한 변형들이 이루어질 수 있다. 예를 들어, 커스터마이징된 하드웨어가 또한 이용될 수 있고 그리고/또는 특정 엘리먼트들이 하드웨어, 소프트웨어(애플릿들과 같은 휴대용 소프트웨어 등을 포함함) 또는 둘 모두로 구현될 수 있다. 추가로, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들로의 연결이 이용될 수 있다.
[0047] 일부 실시예들은 본 개시에 따라 방법들을 수행하기 위해 컴퓨터 시스템(이를테면, 컴퓨터 시스템(100))을 이용할 수 있다. 예를 들어, 프로세서(104)가 작업 메모리(114)에 포함되는 (운영 시스템(116) 및/또는 다른 코드, 이를테면, 애플리케이션 프로그램(118)에 포함될 수 있는) 하나 또는 둘 이상의 명령들의 하나 또는 둘 이상의 시퀀스들을 실행하는 것에 응답하여, 설명된 방법들의 프로시저들 전부 또는 일부가 컴퓨터 시스템(100)에 의해 수행될 수 있다. 이러한 명령들은 또 다른 컴퓨터 판독가능한 매체, 이를테면, 저장 디바이스(들)(106) 중 하나 또는 둘 이상의 저장 디바이스(들)로부터 작업 메모리(114)로 판독될 수 있다. 단지 예로서, 작업 메모리(114)에 포함된 명령들의 시퀀스들의 실행은 프로세서(들)(104)로 하여금 본원에 설명된 방법들의 하나 또는 둘 이상의 프로시저들을 수행하게 할 수 있다.
[0048] 본원에 이용되는 바와 같은 "기계 판독가능한 매체" 및 "컴퓨터 판독가능한 매체"라는 용어들은, 기계로 하여금 특정 방식으로 동작하게 하는 데이터를 제공하는데 참여하는 임의의 매체를 지칭한다. 컴퓨터 시스템(100)을 이용하여 구현되는 실시예에서, 다양한 컴퓨터 판독가능한 매체들이, 실행을 위한 명령들/코드를 프로세서(들)(104)에 제공하는데 수반될 수 있고, 그리고/또는 (예를 들어, 신호들과 같은) 이러한 명령들/코드를 저장 및/또는 전달하는데 이용될 수 있다. 많은 구현들에서, 컴퓨터 판독가능한 매체는 물리 그리고/또는 유형의 저장 매체이다. 이러한 매체는 비-휘발성 매체들, 및 휘발성 매체들을 포함하는(그러나, 이에 제한되는 것은 아님) 많은 형태들을 취할 수 있다. 비-휘발성 매체들은, 예를 들어, 광 그리고/또는 자기 디스크들, 이를테면, 저장 디바이스(들)(106)를 포함한다. 휘발성 매체들은, 제한없이, 동적 메모리, 이를테면, 작업 메모리(114)를 포함한다.
[0049] 물리적 그리고/또는 유형의 컴퓨터 판독가능한 매체들의 일반적 형태들은, 예를 들어, 플로피 디스크, 플렉서블 디스크, 하드 디스크, 자기 테이프 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광 매체, 펀치 카드들(punch cards), 페이퍼테이프(papertape), 홀들의 패턴들을 갖는 임의의 다른 물리 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
[0050] 다양한 형태들의 컴퓨터 판독가능한 매체들은 실행을 위한 하나 또는 둘 이상의 명령들의 하나 또는 둘 이상의 시퀀스들을 프로세서(들)(104)에 전달하는데 수반될 수 있다. 단지 예로서, 명령들은 초기에, 원격 컴퓨터의 자기 디스크 및/또는 광 디스크 상에서 전달될 수 있다. 원격 컴퓨터는 그것의 동적 메모리에 명령들을 로딩하며, 컴퓨터 시스템(100)에 의해 수신 및/또는 실행되도록 송신 매체 상에서 신호들로서 명령들을 전송할 수 있다. 전자기파 신호들, 어쿠스틱 신호들, 광학 신호들 등의 형태일 수 있는 이러한 신호들은 본 발명의 다양한 실시예들에 따라, 명령들이 인코딩될 수 있는 반송파들의 모든 예들이다.
[0096] 통신 서브시스템(112)(및/또는 이것의 컴포넌트들)은 일반적으로 신호들을 수신할 것이고, 그 다음, 버스(102)는 신호들(및/또는 신호들에 의해 전달되는 데이터, 명령들 등)을 작업 메모리(114)에 전달할 수 있고, 프로세서(들)(104)는 이 작업 메모리(114)로부터의 명령들을 리트리브하고 실행한다. 작업 메모리(114)에 의해 수신된 명령들은 프로세서(들)(104)에 의한 실행 이전에 또는 이후에 비-일시적 저장 디바이스(106) 상에 선택적으로 저장될 수 있다.
[0052] 위에서 논의된 방법들, 시스템들 및 디바이스들은 예들이다. 다양한 실시예들은 적절하게 다양한 프로시저들 또는 컴포넌트들을 생략, 치환 또는 부가할 수 있다. 예를 들어, 대안적 구성들에서, 설명된 방법들은 설명된 것과 서로 다른 순서로 수행될 수 있고, 그리고/또는 다양한 스테이지들이 부가, 생략 및/또는 결합될 수 있다. 또한, 특정 실시예들에 관하여 설명된 특징들은 다양한 다른 실시예들에서 결합될 수 있다. 실시예들의 서로 다른 양상들 및 엘리먼트들은 유사한 방식으로 결합될 수 있다. 또한, 기술은 진화하고, 따라서, 많은 엘리먼트들이 이 특정 예들에 대한 본 개시의 범위를 제한하지 않는 예들이다.
[0053] 특정 세부사항들이 실시예들의 완전한 이해를 제공하기 위해 설명에 주어진다. 그러나, 실시예들은 이러한 특정 세부사항들 없이 실시될 수 있다. 예를 들어, 공지된 회로들, 프로세스들, 알고리즘들, 구조들 및 기법들은 실시예들을 모호하게 하는 것을 회피하기 위해 불필요한 세부사항 없이 나타낸다. 이러한 설명은 단지 예시적 실시예들만을 제공하며, 본 발명의 범위, 적용가능성 또는 구성을 제한하는 것으로 의도되지 않는다. 오히려, 실시예들의 상기 설명은 본 발명의 실시예들을 구현하기 위한 가능한 설명을 당업자들에게 제공할 것이다. 본 발명의 사상 및 범위로부터 벗어나지 않으면서 엘리먼트들의 배열 및 기능에서 다양한 변화들이 이루어질 수 있다.
[0054] 또한, 일부 실시예들은 흐름도들 또는 블록도들로서 도시되는 프로세스들로서 설명되었다. 각각은 순차적 프로세스로서 동작들을 설명할 수 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않는 추가 단계들을 가질 수 있다. 게다가, 방법들의 실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술어들 또는 이들의 임의의 결합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로 코드로 구현될 때, 연관된 태스크들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 컴퓨터 판독가능한 매체에 저장될 수 있다. 프로세서들은 연관된 태스크들을 수행할 수 있다.
[0055] 몇몇 실시예들을 설명하였지만, 본 개시의 사상으로부터 벗어나지 않고 다양한 변경들, 대안적 구성들 및 등가물들이 이용될 수 있다. 예를 들어, 위의 엘리먼트들은 단지 더 큰 시스템의 컴포넌트일 수 있으며, 여기서 다른 규칙들이 본 발명의 애플리케이션보다 우선할 수도 있고 또는 그렇지 않으면 애플리케이션을 변경할 수도 있다. 또한, 다수의 단계들이 위의 엘리먼트들이 고려되기 이전에, 고려되는 동안에 또는 고려된 이후에 착수될 수 있다. 따라서, 위의 설명은 본 개시의 범위를 제한하지 않는다.
[0056] 도 2는 본 발명의 실시예들을 수행하는 디바이스(200)의 예시적 도면이다. 일 실시예에서, 도 2는 도 1을 참조하여 설명된 디바이스의 하나 또는 둘 이상의 컴포넌트들을 이용하여 이동국을 표현할 수 있다. 그러나, 본 발명의 실시예들은 스마트 폰들 또는 태블릿들을 이용하는 것으로 제한되지 않으며, 도 1과 유사한 능력들을 갖고 본 발명의 실시예들을 수행하기에 적합한 임의의 디바이스를 이용할 수 있다. 이러한 디바이스들은 모바일 디바이스들, 디지털 카메라들, 캠코더들, 태브릿들, PDA들 또는 임의의 다른 유사한 디바이스를 포함할 수 있다. 도 2는 스마트 폰의 전면 및 후면을 표현한다. 폰은 디스플레이(208) 및 제 1 카메라(206)를 포함한다. 디스플레이(208)는 도 1을 참조하여 논의된 바와 같은 출력 디바이스(110)일 수 있다. 스마트 폰의 전면에 커플링되고 사용자를 향하는 제 1 카메라는 후방 카메라로 지칭될 수 있다. 스마트 폰의 후면은 제 2 카메라(204)를 포함한다. 스마트 폰의 후면에 커플링되고 사용자를 등지고 향하는 제 2 카메라는 후방 카메라로 지칭될 수 있다. 후방 카메라는 디바이스의 사용자를 향할 수 있고, 전방 카메라는 디바이스의 사용자를 등질 수 있다. 전방 카메라 및 후방 카메라 둘 모두는 입력 디바이스(108)의 구현일 수 있거나, 도 1을 참조하여 논의된 바와 같은 제 1 카메라(120) 및 제 2 카메라(122)로 구현될 수 있다. 도 2의 디바이스(200)는 제한이 아닌 단지 예시이다. 다수의 카메라들 및 서로 다른 방향들을 갖는 다른 디바이스들이 이용될 수 있다. 예를 들어, 디바이스(200)는 헤드 마운트 디스플레이(HMD: Head Mounted Display)일 수 있으며, 서로 다른 형태의 인자를 가질 수 있다. 디바이스(200)는 디스플레이 및 다수의 광학 경로들을 포함하는 사진 장비(예를 들어, 디지털 카메라 또는 비디오 레코더)일 수 있다. 다른 디바이스들이 또한 이용될 수 있다. 일부 실시예들에서, 제 1 카메라(120) 및 제 2 카메라(122)는, 예를 들어, 카메라가 모바일 디바이스의 에지에 통합될뿐만 아니라 모바일 디바이스의 뒤 그리고/또는 앞에 카메라가 존재할 때, 서로에 대해 각이 지도록 배치된다.
[0057] 도 3을 참조하면, 모바일 디바이스 상의 후방 카메라를 이용하여 시선 추적을 수행하기 위한 예시적 종래 기술의 프로세스 흐름(300)이 도시된다. 그러나, 프로세스(300)는 제한이 아닌 단지 예시이다. 프로세스(300)는, 예를 들어, 스테이지들이 추가, 제거 또는 재배열되게 함으로써 변경될 수 있다. 시선 추적 정보를 수신하기 위한 다른 프로세스가 이용될 수 있다. 스테이지(302)에서, 모바일 디바이스(200)는 후방 카메라(206)를 이용하여 비디오 프레임을 하나 또는 둘 이상의 프로세서들(104)에 제공할 수 있다. 프로세스는 눈들의 좌표들을 눈 검출 알고리즘으로 전달하기 위해(306), 얼굴 검출 알고리즘을 이용하여 사용자의 얼굴을 식별하는 선택적 단계(304)를 포함할 수 있다. 시선 추적 정보는 사용자의 홍채의 상대적 포지션에 기초할 수 있다. 예를 들어, 눈 검출 알고리즘은 스테이지(308)에서 눈들의 좌표들을 홍채 검출 알고리즘으로 전달할 수 있다. 홍채의 좌표들은 스테이지(310)에서 눈으로부터 핵심 피처들을 추출하기 위해 사전-프로세싱 알고리즘으로 전달될 수 있다. 예를 들어, 홍채의 크기 및 포인트는 맵핑될 수 있고, 고정된 크기의 세그먼트가 선택될 수 있다. 세그먼트 내의 각각의 픽셀의 광도(brightness)가 이용될 수 있으며, 이는 스테이지(312)에서 값을 학습 알고리즘에 입력할 수 있다. 예에 의해, 신경 네트워크는 학습 알고리즘에 이용될 수 있다. 예에서, 신경 네트워크는 대칭적 시그모이드(sigmoid) 활성화 기능을 갖는 기본 2-레이어 네트워크이다. 추가 레이어들은 신경 네트워크의 정확성을 증가시키기 위해 이용될 수 있다. 2개의 출력 뉴런들은 스테이지(314)에서 (x, y) 스크린 좌표들에 대해 이용될 수 있다. 스크린 좌표들은 디바이스(100) 상에서 실행되는 애플리케이션에 의해 이용될 수 있는 관심 있는 영역에 대한 기반(basis)일 수 있다.
[0058] 도 1 및 2를 추가로 참조하여 도 4를 참조하면, 디바이스(402) 상의 전방 카메라에 의해 캡처되는 이미지 상의 관심 있는 영역을 식별하기 위해 시선 추적을 이용하는 예시적 도면이 도시된다. 실시예에서, 디바이스(402)는 모바일 디바이스(100)이다. 디바이스(402)는 전방 카메라(미도시), 후방 카메라(406) 및 디스플레이(408)를 포함한다. 디스플레이(408) 내의 이미지는 도로 표지(404), 배경 광 강화 영역(background light enhancing region)(410), 관심 있는 영역(412) 및 관심 있는 영역(414)의 그래픽 표현을 포함한다. 동작 시, 사용자는 도로 표지(404)와 같은 실시간 장면을 향해 전방 카메라를 지향할 수 있다. 이미지는 AR 뷰 모드 또는 카메라 뷰에서 디스플레이(408) 상에 제시될 수 있다. 이미지는 또한 메모리(106)에 저장될 수 있다. 후방 카메라(406)는 시선 추적 알고리즘(예를 들어, 도 3)에 기초하여 관심 있는 영역(414)을 결정하기 위해 이용될 수 있다. 실시예에서, 디스플레이(408)는 사용자의 눈들을 조명하는 것을 돕기 위해 배경 광 강화 영역(410)을 활성화시킬 수 있다. 예를 들어, 디스플레이(408)의 영역은 사용자의 얼굴 및 눈들을 향해 더 많은 광을 제공하기 위해 밝은 하얀 색으로 세팅될 수 있다. 실시예에서, 영역(410)은 이미지 주위에 프레임을 형성할 수 있다. 원들 및 밝은 점들과 같은 다른 형상들 및 패턴들, 또는 디스플레이(408)의 코너들에서의 서로 다른 형상들이 이용될 수 있다. 강화 영역(410)의 형상은 카메라(406)가 시선 프로세스(300)에서 스테이지(310)에서 핵심 피처를 검출하는 것을 돕기 위해 이용될 수 있다.
[0059] 실시예에서, 관심 있는 영역(414)은 피드백을 사용자에게 제공하기 위해, 하나 또는 둘 이상의 원들(412)과 같은 그래픽 표현에 의해 디스플레이(408) 상에서 표현될 수 있다. 원들(412)의 직경은 사용자의 시선이 영역 내에 머무는 시간의 양의 함수일 수 있다(예를 들어, 시간이 더 많을수록, 직경이 더 커짐). 다수의 원들은, 사용자의 시선이 디스플레이(408)에 걸쳐 이동할 때 추적 효과를 생성하기 위해 이용될 수 있다. 다른 형상들 또는 표시들이 이용될 수 있는 것처럼, 원들은 제한이 아닌 단지 예시이다.
[0060] 관심 있는 영역(414)의 위치는 이미지 세그멘테이션 알고리즘에 대한 시드 위치로서 이용될 수 있다. 예를 들어, 세그멘테이션 알고리즘은 타겟 객체(예를 들어, 표지(404))의 경계를 결정할 수 있고, 후속하는 이미지 프로세싱은 세그먼트에 의해 정의되는 영역으로 제한될 수 있다. 세그멘테이션의 이용은 이미지 인식을 위해 요구되는 프로세싱 전력을 감소시킬 수 있다. 결과적으로, 관심 있는 영역(414)이 AR 타겟 객체(예를 들어, 도로 표지(404))를 포함하는 영역 내에 머물 때, 디바이스(402)는 이미지 세그먼트를 결정하고, 세그먼트 상에서 이미지 인식을 수행하고, 이미지 인식과 연관된 임의의 AR 정보를 제시하도록 구성될 수 있다. 예에서, AR 정보는 이미지 상에 디스플레이되는 추가 데이터를 표현하는 AR 객체 태그일 수 있다. 실시예에서, 관심 있는 영역(414)이 AR 객체 태그를 포함하는 디스플레이(408)의 영역 상에 머물면, 디바이스(402)는 추가 AR 정보를 제시하거나 또 다른 애플리케이션(예를 들어, 도로 맵 또는 네비게이션 애플리케이션)을 실행하도록 구성될 수 있다. AR 정보는 관심 있는 영역이 또 다른 위치로 이동하면 디스플레이로부터 페이딩(fade)될 수 있다.
[0061] 도 4를 추가로 참조하여 도 5를 참조하면, AR 객체 태그들(504)의 수집에 의해 클러터링되는 이미지(502)의 예시적 도면이 도시된다. 이 예에서, 디바이스(402)는 모바일 디바이스(100)이다. 디바이스(402)는 전방 카메라(미도시), 후방 카메라(406) 및 디스플레이(408)를 포함한다. 디스플레이(408) 내의 이미지는 이미지(502) 및 몇몇 객체 태그들(504)을 포함한다. 이미지(502)는 전방 카메라(미도시)로부터의 입력 또는 메모리로부터 리트리브된 이미지 파일에 기초할 수 있다. 개별 객체 태그들 각각은 AR 정보가 이미지(502)의 적어도 일부분과 연관된다는 표시를 사용자에게 제공한다. 객체 태그들(504)은 디바이스(402)의 지리적 위치에 기초하여 서버로부터 리트리브된 위치 기반 정보일 수 있다. 실시예에서, 객체 태그들(504)은 이미지 세그멘테이션 및 인식 프로세스의 결과이거나, 이미지 파일(예를 들어, 메타데이터)과 연관될 수 있다. 도 5에 제시된 예는 사용자의 시선 추적 정보를 수신하는 것에 의존하지 않는다. 사용자가 관심있는 이미지의 영역을 알지 못한 결과로서, 디바이스(402)는 객체 태그들(504) 모두를 동시에 디스플레이할 수 있다. 따라서, 이미지(502)는 이미지의 컨텐츠의 사용자의 뷰를 모호하게 할 수 있는 AR 객체 태그들(504)의 수집에 의해 클러터링된다.
[0062] 도 5를 추가로 참조하여 도 6a를 참조하면, 사용자의 시선의 위치의 함수로써 디스플레이되는 AR 객체 태그(504-1)를 갖는 이미지(502)의 예시적 도면이 도시된다. 도 6a는 사용자의 시선 정보를 통합하여 도 5의 예를 계속한다. 디스플레이(408)는 이미지(502), 단일 객체 태그(504-1), Empire State Building(505)을 포함하는 이미지 세그먼트 및 사용자의 시선을 프로세싱함으로써 결정되는 관심 있는 영역(506)을 포함한다. 도 5에 도시된 몇몇 객체 태그들(504)에 반해, 단일 객체 태그(504-1)는 관심 있는 영역(506)에 대한 그것의 근접도에 기초하여 도시된다. 디바이스(402)는 사용자의 시선의 위치에 기초하여 관심 있는 영역(506)을 식별하기 위해 후방 카메라(406) 및 (즉, 메모리(114)에 저장된) 시선 추적 알고리즘을 이용하도록 구성될 수 있다. 몇몇 객체 태그들(504)은 관심 있는 영역(506)이 AR 타겟 객체와 연관된 포지션을 또는 그 근처를 지나칠 때까지 숨어 있는 채로 있을 수 있다. 이 예에서, 도 6a에 도시된 바와 같이, "Empire State Building" 텍스트는 객체 태그이며, 사용자의 시선이 Empire State Building을 포함하는 이미지의 세그먼트를 또는 그 근처를 지나칠 때 나타날 수 있다. 이미지 세그먼트는 증강 현실 정보가 이용가능함을 표시하기 위해 경계 라인 또는 다른 그래픽 강화(예를 들어, 환하게 함, 색 변경, 돌출(raised))를 이용하여 하이라이트(highlight)될 수 있다. 그러나, 도 6a에서, 이러한 하이라이팅은 예시되지도 않고, Empire State Building을 둘러싸는 세그먼트 라인도 아니다. 실시예에서, 객체 태그의 위치는, (예를 들어, 카메라의 방향이 변경될 때) 이미지가 이동하면 객체 태그가 이동하도록, 연관된 이미지 세그먼트 상의 또는 그 근처의 포지션을 유지한다. 관심 있는 영역(506)과 객체 태그(504-1) 간의 거리는 Cartesian 좌표 시스템(예를 들어, 디스플레이(408) 상의 픽셀들)에 기초할 수 있다. 이미지 세그멘테이션 및 인식 프로세스는, AR 타겟 객체를 인식하고 그 다음 하나 또는 둘 이상의 객체 태그들과의 연관을 생성하기 위해 이용될 수 있다. 실시예에서, 객체 태그(504-1)는 추가 증강 현실 정보가 이용가능함을 표시할 수 있다. 도 6a의 예에서, 사용자가 Empire State Building 또는 "Empire State Building" 텍스트(즉, 객체 태그)를 포함하는 이미지의 세그먼트 상에서 사용자들의 시선을 연장하면(즉, 머물게 하면), 추가 증강 현실 정보는 사용자에게 제시될 수 있다. 앞서 설명된 바와 같이, 증강 현실 정보는 미디어 파일들, 하이퍼링크들, GUI 객체들, 상호작용성 아이콘들, 실행 중인 하나 또는 둘 이상의 애플리케이션들, 또는 당해 기술 분야에 공지된 바와 같은 다른 증강 현실 피처와 같은, 스크린 상에 나타나는 추가 정보일 수 있지만, 이들에 제한되는 것은 아니다.
[0063] 도 6a를 추가로 참조하여 도 6b를 참조하면, AR 객체 태그(504-1) 상에 로케이팅되는 사용자의 시선을 갖는 이미지(502')의 예시적 도면이 도시된다. 디스플레이(408)는 움직이는 실시간 이미지(502'), 관심 있는 영역(506) 및 객체 태그(504-1)를 포함한다. 실시간 이미지 모드(즉, 카메라 모드)에서, 사용자는 디바이스(402)가 움직이지 않게(steady) 유지하도록 애쓴다. 디바이스(402)를 이동시킨 결과로서, 디스플레이(408) 상의 이미지는 또한 포지션을 시프트할 수 있다. 도 6b에 도시된 예에서, 사용자는 디바이스(402)를 이동시켰으며, 이는 이미지(502)가 시프트되게 하고 502'가 되게 하였다. 움직이는 이미지(502')는 사용자 및 이미지 프로세싱 알고리즘들이 타겟 객체를 인식하고 사용자의 시선이 타겟 객체 상에 머무는지 여부를 결정하는데 어려움들을 줄 수 있다. 실시예에서, Empire State Building(505)를 포함하는 이미지 세그먼트의 초기 인식 이후, 객체 태그(504-1)가 디스플레이될 수 있다. 객체 태그(504-1)의 위치는 디스플레이(408)에 대해 일정하게 유지하는 포지션에 고정될 수 있다. 결과적으로, 이미지(502')가 이동하는 경우에도(즉, 사용자가 전방 카메라의 방향을 변경할 때), 객체 태그(504-1)가 디스플레이(408) 상의 포지션에 고정된 것으로 유지되도록 나타날 것이다. 그 다음, 사용자는 추가 증강 현실 정보에 액세스하기 위해 객체 태그(504-1) 상의 관심 있는 영역(506)에 머물 수 있다. 객체 태그(504-1)가 유지될 듀레이션은 현재 시간 기간들(예를 들어, 1, 2, 5초)에, 또는 또 다른 타겟 객체를 검출하는 것 또는 사용자가 디스플레이(408)를 보고 있지 않는다고 결정하는 것과 같은 동적 이벤트에 기초할 수 있다. 시간 듀레이션 동안 디스플레이(408) 상의 고정된 포지션 내에 객체 태그(504-1)를 배치하기 위한 능력은 (예를 들어, 디스플레이(408) 내의 타겟 객체의 상대적 이동으로 인한) 드리프팅(drifting) 시선에 대한 계속적 조정들이 감소될 수 있다는 점에서 시선 추적 알고리즘의 효율성을 향상시킬 수 있다.
[0064] 도 4를 추가로 참조하여 도 7을 참조하면, 디스플레이에 걸쳐 클러터링되는 위치 기반 증강 정보를 갖는 이미지(702)의 예시적 도면이 도시된다. 디스플레이(408)는 몇몇 객체 태그들(704)을 갖는 이미지(702)를 도시한다. 실시예에서, 디바이스(402)는 SPS(Satellite Positioning System) 안테나를 통해 SPS 신호들을 수신할 수 있는 SPS(Satellite Positioning System) 수신기를 포함할 수 있다. SPS 수신기는 또한, SPS(Satellite Positioning System) 신호들을 전체적으로 또는 부분적으로 프로세싱할 수 있고, SPS 신호들을 이용하여 디바이스(400)의 위치를 결정할 수 있다. 일부 실시예들에서, SPS 신호들을 전체적으로 또는 부분적으로 프로세싱하고 그리고/또는 SPS 수신기와 함께 디바이스(402)의 위치를 계산하기 위해, 프로세서(들)(104), 메모리(114), DSP(들) 및 특수화된 프로세서들(미도시)이 또한 이용될 수 있다. Google StreetView 및 Yelp Monocle와 같은 기존의 애플리케이션들은 디바이스(402)의 위치 및 방향에 기초하여 객체 태그들을 디스플레이하기 위해 위치 정보를 이용할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 사용자가 거리 뷰에서 디바이스(402)의 전방 카메라를 포인팅할 때, 시스템은 위치 및 헤딩 정보를 이용하여 데이터베이스를 탐색하고 디스플레이(408) 상에 몇몇 객체 태그들(704)을 제시할 수 있다. 객체 태그들(704)은 대응하는 사업체(business) 또는 명소(attraction)의 근사한 포지션에 나타날 수 있다. 이러한 애플리케이션들의 구현이 늘어남에 따라, 이러한 거리 뷰들은 도 7에 도시된 바와 같이, 잠재적 객체 태그들에 의해 클러터링되게 될 수 있다.
[0065] 도 7을 추가로 참조하여 도 8을 참조하면, 위치 기반 증강 정보가 이용가능한 곳을 표시하는 아이콘들(804)을 갖는 이미지(802)의 예시적 도면이 도시된다. 디스플레이(408)는 몇몇 객체 태그 아이콘들(804), 특정 아이콘(804-1), 관심 있는 영역(806) 및 제 2 객체 태그(808)를 갖는 이미지(802)를 도시한다. 실시예에서, 도 7에 도시된 텍스트 태그들(704)은 이미지(802) 내의 클러터를 감소시키는 것을 돕기 위해 객체 태그 아이콘들(804)로 대체될 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 객체 태그 아이콘들(804)은 번개 표시들이며, 증강 현실 정보와 연관된 사업체들 또는 명소들의 근접한 위치들에 로케이팅된다. 다양한 서로 다른 형상들, 객체들 및 크기들이 이미지(802) 상의 클러터를 감소시키는 것을 돕기 위해 이용될 수 있는 것처럼, 객체 태그 아이콘들(804)은 제한이 아닌 단지 예시이다.
[0066] 객체 태그 아이콘들(804)을 디스플레이하는 것과 더불어, 디바이스(402)는 시선 추적을 수행하고 사용자의 시선에 기초하여 관심 있는 영역(806)을 결정하기 위해 후방 카메라(406)를 이용할 수 있다. 이 예에서, 사용자가 특정 객체 태그 아이콘(804-1)을 또는 그 근처를 응시할 때, 제 2 객체 태그(808)가 나타날 수 있다. 도 8의 예에서, 사용자는 영화관 및 브로드웨이 연극 "Momma Mia"와 연관된 객체 태그 아이콘(804-1) 상에 머문다. 관심 있는 영역(806)이 객체 태그 아이콘(804-1) 상에 머물 때, 제 2 객체 태그(808)는 추가 정보 또는 선택들을 사용자에게 제시하도록 디스플레이될 수 있다. 실시예에서, 제 2 객체 태그(808)는 이미지(802)에 대해 지오-레퍼런싱(geo-referenced)될 필요가 없으며, 전방 카메라의 방향과 관계없이 동일한 스크린 포지션 내에서 유지될 수 있다. 그 다음, 사용자는 추가 증강 현실 정보에 액세스하기 위해 제 2 객체 태그(808)의 부분들 상에 그들의 시선이 머물게 할 수 있다. 예를 들어, 사용자는 제 2 객체 태그(808)의 "Reviews" 텍스트 상에 머물 수 있고, 디바이스(402)는 연극의 현재 리뷰들을 갖는 팝-업 윈도우에 응답할 수 있다. 사용자는 또한 제 2 객체 태그(808)의 "Tickets" 텍스트 상에 그들의 시선을 머물게 할 수 있고, 디바이스(402)는 티켓 주문 애플리케이션으로 트랜지션할 수 있다. 다른 정보 및 애플리케이션들이 이용될 수 있는 것처럼, 제 2 객체 태그(808) 내의 텍스트 필드들은 예시이다. 추가로, 증강 현실 정보를 제시하기 위한 트리거들은 스크린 포지션 및/또는 사용자의 시선의 지오-레퍼런싱된 좌표들(예를 들어, x,y,z 좌표들)에 기초할 수 있다. 제 2 객체 태그(808) 내의 텍스트 필드의 컨텐츠는 또한, 추가 증강 현실 정보의 제시를 트리거할 수 있다. 예를 들어, 디바이스(402)는 사용자의 관심 있는 영역(806) 내의 단어 또는 심볼을 식별하도록 구성될 수 있으며, 증강 현실 컨텐츠 데이터베이스로의 탐색 입력으로서 그 정보를 이용할 수 있다.
[0067] 도 4를 추가로 참조하여 도 9를 참조하면, 시선 추적에 기초하여 이미지 세그멘테이션 및 객체 인식을 수행하는 예시적 도면이 도시된다. 디바이스(402)는 전방 카메라(미도시), 후방 카메라(406) 및 디스플레이(408)를 포함한다. 디스플레이(408) 내의 이미지는 이미지 전역에 퍼져 있는 몇몇 실세계 객체들을 포함하는 이미지(902)를 도시한다. 이 예에서, 실세계 객체들은 제 1 DVD 케이스(904-1), 제 2 DVD 케이스(904-2), 제 3 DVD 케이스(904-3) 및 제 4 DVD 케이스(904-1)를 포함한다. 이미지(902)는 또한, 관심 있는 영역(906), 이미지 세그먼트(908) 및 예시적 감탄 부호(exclamation point) 객체 태그(910)를 포함한다. 동작 시, 디바이스(402)는 전방 카메라(미도시)가 실세계 객체들의 이미지(902)를 캡처하도록 포지셔닝될 수 있다. 디바이스(402)는 카메라 뷰 모드, AR 모드에 있을 수 있거나, 이미지는 메모리에 사전에 저장된 파일에 기초할 수 있다. 사용자가 이미지(902)를 응시할 때, 후방 카메라(406)는 관심 있는 영역(906)을 결정하기 위해 시선 추적 프로세스(300)에 대해 이용될 수 있다. 관심 있는 영역(906)의 위치는 2-단계 증강 현실 프로세스를 개시하기 위해 이용될 수 있다. 제 1 스텝에서, 관심 있는 영역(906)의 위치는 세그먼트(908)를 결정하기 위해 이용된다. 제 2 단계에서, 이미지 인식 프로세스가 세그먼트(908) 상에서 수행되고, 연관된 증강 현실 정보가 제시될 수 있다. 예를 들어, 관심 있는 영역(906)이 제 1 DVD 케이스(904-1) 상에 머물 때, 디바이스(402)는 이미지 세그먼트(908)를 결정하기 위해 이미지 세그멘테이션 알고리즘들을 개시할 수 있다. 실시예에서, 세그멘테이션 프로세스의 결과들은 세그먼트 주위의 하이라이트된 경계선(border)(예를 들어, 도 9에 도시된 바와 같은 이미지 세그먼트 경계 라인)으로서 디스플레이될 수 있다. 그 다음, 디바이스(402)는 세그먼트에 대한 하나 또는 둘 이상의 객체 검출 파이프라인 알고리즘들을 실행시킬 수 있다. 실시예에서, 디바이스(402)는 세그먼트 이미지 정보를 원격 서버에 전송할 수 있고, 원격 서버는 세그먼트에 대한 객체 검출 알고리즘들을 실행시킬 수 있다. 어떠한 실시예에서든, 객체 검출 알고리즘들의 결과들은 그 객체 태그들을 표시할 수 있고, 추가 증강 현실 정보는 디스플레이(408) 상에 제시될 수 있다. 예를 들어, 객체 검출의 결과들은 제 1 DVD 케이스(904-1)와 연관된 증강 현실 정보가 존재함을 표시할 수 있으며, 디스플레이하는데 이용가능하다. 실시예에서, 증강 현실 정보는 관심 있는 영역(906)이 세그먼트(908) 상에 머물 때 디스플레이될 수 있다. 실시예에서, 객체 태그(예를 들어, 감탄 객체 태그(910))는 먼저 증강 현실 정보가 이용가능함을 사용자에게 알리기 위해 디스플레이될 수 있다. 그 다음, 관심 있는 영역(906)이 디스플레이되는 객체 태그(예를 들어, 감탄 객체 태그(910)) 상에 머물면, 증강 현실 정보가 디스플레이될 수 있다.
[0068] 세그먼트(908)는 또한, 디스플레이되는 증강 정보가 타겟 객체를 따르도록(예를 들어, 추적하도록) 증강 현실 추적 알고리즘으로의 입력으로서 제공될 수 있다. 프로세서(들)(104)는 세그먼트(908) 상에서 포우즈-추정(pose-estimation) 및/또는 추적 알고리즘을 실행시키도록 구성될 수 있다. 동작 시, 추적 알고리즘은 렌더링된 증강 현실 정보가 전방 카메라(204)의 포지션 및 방향과 대응하는 뷰에 디스플레이되게 할 수 있다. 예를 들어, 디바이스(202)가 제 1 방향에 있을 때, 증강 현실 객체는 제 1 AR 포우즈에서 디스플레이될 수 있다. 디바이스(202)가 제 2 방향에 있을 때, 증강 객체는 제 2 AR 포우즈에서 디스플레이될 수 있다. 세그먼트(908)를 객체 검출 및/또는 추적 알고리즘에 제공하는 것은 객체를 검출 및/또는 추적하기 위해 수반되는 계산 복잡도의 양을 감소시킬 수 있고, 이에 따라, 증강 현실 애플리케이션들에 대한 전력 드레인을 감소시킬 수 있다. 실시예에서, 객체 검출 알고리즘은 원격 서버 상에서 수행될 수 있다. 예를 들어, 모바일 디바이스는 이미지 세그먼트를 결정하고, 이미지 세그먼트 데이터를 원격 서버에 전송할 수 있다. 원격 서버는 이미지 세그먼트 상에서 객체 인식 프로세스 및 선택적으로 객체 추적 프로세스를 수행하도록 구성될 수 있다. 원격 서버는 객체 인식 프로세스의 결과들 및 선택적으로 포우즈 정보를 모바일 디바이스로 리턴할 수 있다. 세그먼트(908)를 식별하고 세그먼트(908)를 원격 서버에 전송하는 프로세스는 원격 서버(예를 들어, 네트워크, 클라우드)에 송신되는 데이터의 양을 감소시킬 수 있다.
[0069] 제한이 아닌 예로서, 관심 있는 영역(906)은 이미지 세그멘테이션 알고리즘에 대한 시드 포인트를 정의할 수 있거나, 관심 있는 영역(906)은 객체의 중심을 정의할 수 있거나, 관심 있는 영역(906)은 이미지의 전경(foreground)을 설정할 수 있다(본원에 인용에 의해 포함되는 Mishra, Aloimonos, Fah "Active Segmentation with Fixation" International Conference on Computer Vision (ICCV), 2009 참조). 다른 세그멘테이션 알고리즘들이 이용될 수 있다. 활성 세그멘테이션 알고리즘은 이미지의 경계 에지 프래그먼트들을 결정하기 위해 이용될 수 있다. 세그멘테이션의 조도는 세그멘테이션 알고리즘의 함수 및/또는 모바일 디바이스(100)의 이용가능한 프로세싱 능력들일 수 있다. 이미지 내의 세그먼트는 전체 이미지보다 작을 수 있다. 크기의 감소는 모바일 디바이스(100) 상에서 객체 인식 프로세싱을 가능하게 하거나 향상시킬 수 있는 감소된 메모리 및 프로세싱 요건들에 대응할 수 있다. 원격 프로세싱 애플리케이션에서, 세그먼트는 이미지 인식 프로세싱을 위해 원격 서버에 제공될 수 있다. 단지 세그먼트를 원격 서버에 제공하는 것은 기밀 정보를 포함할 수 있는 전체 이미지가 제공되지 않는다는 점에서 추가 보안 이익들을 제공할 수 있다.
[0070] 실시예에서, 객체 검출 알고리즘들은 이미지 세그먼트(908)를 다운샘플링하고, 세그먼트 내에서 피처 검출을 수행할 수 있다. 동작 시, 사용자의 시선이 세그먼트(908)(즉, DVD 케이스(904-1)) 상에 머물 때, 증강 현실 정보는 후속하는 이미지 인식 프로세스에 기초하여 디스플레이될 수 있다. 증강 현실 정보는 객체 태그 또는 다른 정보, 이를테면, DVD 케이스(904-1)와 연관된 영화 예고편, 온라인 예고편으로의 링크 또는 다른 타입의 주제 애니메이션일 수 있다. 다른 형태들의 증강 현실 정보가 또한 제시될 수 있다.
[0071] 도 10을 참조하면, 시선 추적 구현들에 의한 그룹 비디오 컨퍼런스의 도면이 도시된다. 디바이스(402)는 네트워크 연결(미도시), 후방 카메라(406) 및 디스플레이(408)를 포함한다. 디스플레이(408) 내의 이미지는 다수의 비디오 컨퍼런스 참여자들(예를 들어, 1004-1, 1004-2, 1004-3, 1004-4, 1004-5, 1004-6), 하나 또는 둘 이상의 원격 사용자 시선 위치 피드백 아이콘들(1006-1, 1006-4), 관심 있는 영역(1008) 및 비디오 컨퍼런스 제어 아이콘들(1010)의 비디오 표현들을 포함하는 이미지(1002)를 도시한다. 동작 시, 디바이스(402)는 비디오 컨퍼런스 참석자들의 거의 실시간 이미지들을 디스플레이하도록 구성되는 그룹 비디오 컨퍼런싱 애플리케이션에 대해 이용될 수 있다. 예를 들어, 컨퍼런싱 애플리케이션은 참여자들(1004)(즉, 1004-1 내지 1004-6)의 얼굴 뷰들을 포함할 수 있는 컨퍼런스 이미지(1002)를 제시할 수 있다. 후방 카메라(406)는 다른 참여자들로의 제시를 위해 사용자의 얼굴을 캡처하기 위해 이용될 수 있다. 카메라(406)는 또한 관심 있는 영역(1008)을 결정하기 위해 시선 추적 알고리즘에 대해 이용될 수 있다. 사용자의 시선이 참여자들(예를 들어, 1004-5) 중 한 명의 이미지들 중 하나 상에 머물 때, 그 참여자의 이미지는 디스플레이(408) 내에서 확장 및 중심화될 수 있다. 예를 들어, 관심 있는 영역(1008)(즉, 사용자의 시선)이 더 낮은 중심 이미지(1004-5) 상에 머물 때, 이미지(1004-5)는 확장되어 디스플레이(408)의 중심으로 이동된다. 관심 있는 영역(1008)이 멀리 드리프트될 때, 이미지(1004-5)는 자신의 원래의 더 낮은 중심 위치로 리턴할 수 있다.
[0072] 추가 기능이 관심 있는 영역(1008)의 위치에 기초하여 액세스될 수 있다. 예를 들어, 음소거(mute), 대화(talk), 채팅(chat), 볼륨(volume), 연결해제(disconnect) 등...과 같은 피처들은 선택된 이미지 상에서 비디오 컨퍼런스 제어 아이콘들(1010)로서 나타날 수 있다. 사용자는 아이콘 상에 그들의 시선(즉, 관심 있는 영역(1008))을 포커싱함으로써 이러한 제어 피처 비아(control features via)에 액세스할 수 있다. 다른 기능은 참여자에 대한 소셜 미디어 사이트들로의 링크들 및/또는 아이콘들을 제공하는 것, 또는 참여자에 대한 컨택 정보를 디스플레이하는 것을 포함할 수 있다. 아이콘들의 크기 및 간격은 시선 알고리즘의 민감도, 카메라(406)와 사용자 간의 거리 및 디스플레이(408)의 해상도에 의존할 수 있다.
[0073] 실시예에서, 사용자의 관심 있는 영역(1008) 정보는 비디오 컨퍼런스 데이터 스트림에 포함되고, 다른 참여자들에 제공될 수 있다. 관심 있는 영역 정보는 관심 있는 표시를 참여자들 중 하나 또는 둘 이상에 제공하기 위해 이용될 수 있다. 원격 사용자 시선 위치 피드백 아이콘(1006-1, 1006-2)은 원격 사용자가 현재 로컬 사용자의 이미지를 보고 있음을 표시하기 위해 이용될 수 있다. 예를 들어, 원격 비디오 컨퍼런스 호출 참여자가 현재 그들의 스크린 상에서 로컬 사용자의 이미지를 보고 있으면, 원격 사용자 시선 피드백 아이콘(1006-1)(예를 들어, 한 쌍의 눈들 또는 다른 아이콘)이 디스플레이(408) 상에서 로컬 사용자에게 제시될 수 있다. 도 10에 도시된 예를 이용하여, 좌측 상부(1004-1) 및 우측 하부(1004-4) 내의 이미지들과 연관된 원격 참여자들은 현재 사용자들 각각의 스크린들 상의 로컬 사용자의 이미지를 보고 있다. 로컬 사용자는 원격 참여자들(1004-1, 1004-4)에 대한 각각의 이미지들 상에 디스플레이되는 하나 또는 둘 이상의 원격 사용자 시선 위치 피드백 아이콘들(1006-1, 1006-4)을 통해 원격 참여자들의 관심 있는 영역 정보를 인지하게 될 수 있다.
[0074] 동작 시, 도 2, 6a 및 6b를 추가로 참조하여 도 11을 참조하면, 디바이스(200)를 이용하여 시선 위치에 기초하여 증강 객체를 도시하기 위한 프로세스(1100)가 도시된 스테이지들을 포함한다. 그러나, 프로세스(1100)는 제한이 아닌 단지 예시이다. 프로세스(1100)는, 예를 들어, 스테이지들을 추가, 제거 또는 재배열되게 함으로써 변경될 수 있다. "증강 현실 정보"라는 용어는 일반적으로 사용자의 동작들에 응답하여 사용자에게 제시되는 추가 정보를 지칭한다. 예를 들어, 사용자는 타겟 객체를 향하여 전방 카메라(204)를 지향시킬 수 있고, 디바이스(200)는 증강 현실 정보가 타겟 객체와 연관됨을 표시하기 위해 객체 태그를 제시할 수 있다. 실시예에서, 제시 객체 태그들(504), 디스플레이 텍스트 태그들(704), 디스플레이 객체 태그 아이콘들(804) 및 디스플레이 제 2 객체 태그들(808)과 같은 다양한 형태들의 객체 태그들이 이용될 수 있다. 다른 그래픽 엘리먼트들은 객체 태그들로서 이용될 수 있다. 타겟 객체 및/또는 사용자의 시선이 타겟 객체 및/또는 객체 태그 상에 머물 때 증강 현실 정보가 제시될 수 있다. 제한이 아닌 예로서, 증강 현실 정보는 이미지, 애니메이션, URL 어드레스, 상호작용성 게임 또는 다른 애플리케이션들과 같은 타겟과 연관된 다른 정보일 수 있다.
[0075] 스테이지(1102)에서, 사용자는 하나 또는 둘 이상의 타겟 객체들을 향해 디바이스(200)를 지향시킬 수 있고, 타겟 이미지(502)는 그래픽 디스플레이(208) 상에서 사용자에게 디스플레이될 수 있다. 타겟 이미지(502)는 (즉, 카메라 뷰 또는 AR 뷰 모드들에서) 전방 카메라(204)를 통해 획득될 수 있거나, 메모리(114)에 저장된 파일(예를 들어, 웹 다운로드)일 수 있다. 이미지는 연관된 객체 태그들 및 네트워크 서버 상에 저장되거나 메모리(114) 상에 로컬로 저장된 증강 현실 정보를 가질 수 있다.
[0076] 스테이지(1104)에서, 디바이스(200)는 사용자의 시선에 기초하여 관심 있는 영역을 결정할 수 있다. 실시예에서, 메모리(114)는 프로세서(들)(104)로 하여금, 타겟 이미지(502) 상의 관심 있는 영역을 결정하기 위해 시선 프로세싱 알고리즘을 실행하게 하도록 구성되는 컴퓨터 판독가능한 명령들을 포함할 수 있다. 제한이 아닌 예로서, 시선 알고리즘은 도 3에 도시된 바와 같을 수 있다. 다른 시선 알고리즘들 및 장치가 이용될 수 있다. 실시예에서, 관심 있는 영역은 눈 추적 툴들(예를 들어, LC 기술들의 EyeFollower, Eye Tracker), 눈 추적 안경(예를 들어, Tobii®기술), 또는 헤드 마운트 디스플레이들(예를 들어, GoogleGlasses)을 통해 결정될 수 있다. 관심 있는 영역(506)은 피드백을 사용자에게 제공하기 위해 디스플레이(208) 상에서 제시될 수 있다. 관심 있는 영역(506)의 형상 및 크기는 사용자의 시선의 속도 및 방향에 기초하여 변경될 수 있다. 프로세서(들)(104)는 추적(예를 들어, 사용자의 눈이 이미지에 걸쳐 패닝(pan)할 때 관심 있는 이전의 영역들을 도시하는 것) 및 머무는 시간(예를 들어, 머무는 시간이 더 길어질수록, 원은 더 커짐)과 같은 선택적 피처들을 갖는 관심 있는 영역(506)을 디스플레이하도록 구성될 수 있다.
[0077] 스테이지(1106)에서, 디바이스(402)는 관심 있는 영역(506)에 대한 근접도에 기초하여 객체 태그들을 디스플레이할 수 있다. 타겟 이미지(502)는 증강 현실 정보와 연관된 하나 또는 둘 이상의 피처들 또는 세그먼트들을 포함할 수 있다. 예를 들어, 증강 현실 정보와의 연관들은 이미지 인식 프로세스들, 위치 서비스들에 기초하거나, 정적 이미지에 대한 메타데이터 내에 포함될 수 있다. 피처들 또는 세그먼트들의 위치들은 디스플레이 상의 Cartesian 좌표들(예를 들어, 픽셀 위치)로 지칭될 수 있다. 메모리(114)는 프로세서(들)(104)로 하여금 관심 있는 영역과 특정 피처 또는 세그먼트의 위치 간의 거리를 결정하게 하도록 구성되는 명령들을 포함할 수 있다. 예에서, 관심 있는 영역(506)이 세그먼트의 특정한 피처를 또는 그 가까이를 지나칠 때, 객체 태그(504-1)가 도시될 수 있다(즉, 비저블 프로퍼티(visible property)가 참(true)으로 세팅될 수 있음). 유사하게, 관심 있는 영역(506)이 세그먼트의 그 특정한 피처로부터 멀어지게 이동할 때, 객체 태그(504-1)는 숨을 수 있다(즉, 비저블 프로퍼티는 거짓(false)으로 세팅될 수 있음). 객체 태그의 보이는 상태와 객체 태그의 숨은 상태 사이의 트랜지션은 희미해지거나, 사라지거나, 스와이핑(swipe)되거나 다른 그래픽 트랜지션일 수 있다.
[0078] 스테이지(1108)에서, 프로세서(들)(104)는 관심 있는 영역(506)이 피처 또는 디스플레이되는 객체 태그(504-1) 상에 또는 그 주위에 머무는지 여부를 결정하도록 구성될 수 있다. 시선 기술의 민감도는 관심 있는 영역이 머물러 있음을 결정하기 위해 요구되는 시간의 양에 영향을 미칠 수 있다. 머무는 듀레이션들의 예들은 0.25, 0.5, 0.75, 1.0, 1.5초를 포함할 수 있다. 다른 머무는 시간들은 또한, 증강 현실 정보의 특성에 기초하여 이용될 수 있다. 도 6a를 참조하면, 관심 있는 영역(506)의 위치는 이미지 피처 상에 또는 그 주위에서 유지될 수 있다. 예에서, 도 6b를 참조하면, 관심 있는 영역의 위치는 객체 태그(504-1)를 포함하는 디스플레이 내의 영역 상에서 또는 그 주위에서 유지될 수 있다.
[0079] 스테이지(1110)에서, 프로세서(들)(104)는 디스플레이(208) 상에 증강 현실 정보를 제시하도록 구성될 수 있다. 예에서, 증강 현실 정보는 사용자에게 디스플레이되는 추가 텍스트 또는 그래픽 정보일 수 있다. 설정된 머무는 듀레이션 임계치가 만족될 때, 스테이지(1106)에서 제시된 객체 태그는 증강 현실 정보로 트랜지션할 수 있다. 증강 현실 정보는 프로세서(104)로 하여금 타겟 객체와 연관될 수 있는 소프트웨어 애플리케이션(예를 들어, 웹 브라우저, 맵 애플리케이션, 미디어 플레이어 등...)을 실행하게 하도록 구성되는 명령들을 포함할 수 있다. 다른 증강 현실 정보가 또한 디스플레이될 수 있다.
[0080] 스테이지(1112)에서, 관심 있는 영역이 피처 또는 객체 태그(504-1)를 포함하는 이미지의 영역 상에 머물지 않으면(즉, 그 영역으로부터 이동한다면), 연관된 객체 태그(504-1)는 보이는 상태로부터 숨은 상태로 트랜지션할 수 있다. 프로세스는 스테이지(1104)에서 계속될 수 있다.
[0081] 동작 시, 예로서 도 9를 추가로 참조하여 도 12를 참조하면, 디바이스(402)를 이용하여 시선 위치의 인근에서 객체 인식을 수행하기 위한 프로세스(1200)가 도시된 스테이지들을 포함한다. 그러나, 프로세스(1200)는 제한이 아닌 단지 예시이다. 프로세스(1200)는, 예를 들어, 스테이지들이 추가, 제거 또는 재배열되게 함으로써 변경될 수 있다.
[0082] 스테이지(1202)에서, 사용자는 하나 또는 둘 이상의 타겟 객체들을 향해 디바이스(402) 상의 전방 카메라를 지향한다. 프로세서(들)(104)는 타겟 이미지(902)를 디스플레이 상에서 사용자에게 디스플레이하도록 구성된다. 전형적 AR 애플리케이션에서, 타겟 이미지(902)는 전방 카메라를 통해 획득된다. 예를 들어, 사용자는 표지, 게시판, 소비자 제품 또는 다른 실세계 객체를 향해 디바이스(402)를 포인팅할 수 있고, 이미지는 카메라 뷰 또는 AR 뷰 모드에서 디스플레이된다.
[0083] 스테이지(1204)에서, 프로세서(들)(104)는 사용자로부터의 시선에 기초하여 관심 있는 영역(906)을 결정하도록 구성될 수 있다. 설명된 바와 같이, 메모리(114)에 저장된 시선 추적 알고리즘은 관심 있는 영역(906)을 결정하기 위해 후방 카메라를 이용할 수 있다. 다른 시선 추적 하드웨어 및 소프트웨어가 또한 이용될 수 있다.
[0084] 스테이지(1206)에서, 프로세서(들)(104)는 관심 있는 영역(906)의 위치에 기초하여 이미지 세그멘테이션 알고리즘을 수행하도록 구성될 수 있다. 실시예에서, 관심 있는 영역이 미리 결정된 시간(예를 들어, 0.5, 1, 2, 4초) 동안 이미지(902)의 미리 결정된 영역(예를 들어, 10, 30, 100, 200 sq 픽셀들) 상에 머물면, 이미지 세그멘테이션 알고리즘이 실행될 수 있다. 관심 있는 영역(906)은 이미지 세그멘테이션 프로세스에 대한 시드 포인트를 정의하기 위해 이용될 수 있다. 관심 있는 영역은 객체의 중심을 정의하거나 이미지의 전경을 설정하기 위해 이용될 수 있다. 관심 있는 영역(906)의 위치는 관심 있는 세그먼트를 식별하기 위해 다른 세그멘테이션 알고리즘들로의 입력으로서 이용될 수 있다. 실시예에서, 이미지 세그멘테이션 알고리즘은 이미지 내의 세그먼트들을 결정하고, 관심 있는 영역(906)의 위치는 객체 인식 알고리즘에 의한 프로세싱을 위해 세그먼트들 중 하나 또는 둘 이상을 선택하기 위해 이용될 수 있다.
[0085] 스테이지(1208)에서, 프로세서(들)(104) 또는 원격 서버는 이미지 세그먼트 상에서 객체 인식을 수행하도록 구성될 수 있다. 실시예에서, 객체 검출 알고리즘들은 이미지 세그먼트(908)를 다운샘플링하고, 세그먼트 내에서 피처 검출을 수행할 수 있다. 실시예에서, 피처 검출 기법들은 일반적으로, 핵심포인트들의 로컬화 및 세그먼트 내에서의 피처 디스크립터들의 추출을 수행하기 위해 SIFT(scale invariant feature transform) 알고리즘들에 관하여 설명된다. 객체 인식을 위해, 피처 디스크립터 세트들 및 다른 구별 정보의 데이터베이스는 이미지들의 트레이닝(training)으로부터 파생될 수 있다. 그 다음, 피처 디스크립터들은 이미지 세그먼트로부터 추출되고, 주어진 질의 이미지의 컨텐츠들을 평가하기 위해 데이터베이스에 질의하는데 이용된다. 증강 현실 또는 시각적 탐색 애플리케이션들에 있어서, 디바이스(402)는 이미지를 캡처하고, 세그멘테이션 알고리즘을 수행하고, 이미지들, 피처들 및 메타데이터 정보의 데이터베이스에 대해 세그먼트 내의 피처들을 비교할 수 있다. 이 데이터베이스는 네트워크 상의 서버 상에 저장될 수 있으며, 로컬 프로세싱을 위해 디바이스(402)에 의해 리트리브될 수 있거나, 대안적으로, 질의는 네트워크 자원들을 이용하여 프로세싱되도록 원격 서버에 송신될 수 있다.
[0086] 스테이지(1210)에서, 프로세서(들)(104)는 관심 있는 영역(906)이 이미지 세그먼트(908)에 의해 정의되는 이미지(902)의 영역 상에 머무는지 여부를 결정하도록 구성될 수 있다. 세그먼트(908) 상의 관심 있는 영역(906)의 머무는 시간이 설정된 임계치(예를 들어, 1.0, 1.5, 2.0, 3.0초)를 초과하면, 디바이스(402)는 스테이지(1212)에서 객체와 연관된 증강 현실 정보를 디스플레이할 수 있다. 예를 들어, 제 1 DVD 케이스(904-1)와 연관된 증강 현실 정보는 영화 예고편, 온라인 상점, 상호작용성 게임 또는 다른 애플리케이션일 수 있다. 관심 있는 영역(906)이 세그먼트(908) 상에 머물지 않으면, 프로세스는 스테이지(1204)에서 반복할 수 있다. 일부 실시예들에서, 스테이지(1210)의 성능은 선택적이다.
[0087] 동작 시, 도 7 및 8을 추가로 참조하여 도 13을 참조하면, 디바이스(402)를 이용하여 위치 기반 증강 현실 객체들에 대한 아이콘들을 디스플레이하기 위한 예시적 프로세스(1300)는 도시된 스테이지들을 포함한다. 그러나, 프로세스(1300)는 제한이 아닌 단지 예시이다. 프로세스(1300)는, 예를 들어, 스테이지들이 추가, 제거 또는 재배열되게 함으로써 변경될 수 있다.
[0088] 스테이지(1302)에서, 디바이스(402)는 전방 카메라를 이용하여 이미지를 획득할 수 있다. 실시예에서, 이미지(702)는 카메라 뷰 또는 AR 뷰 모드에서 디스플레이(408) 상에 제시되는 스트릿 뷰일 수 있다. 도 8에 도시된 바와 같이, 타겟 이미지는 브라우저 또는 다른 애플리케이션(예를 들어, Google Streetview, Yelp Monocle)에서 디스플레이되는 파일일 수 있다. 디바이스(402)는 위치 기반 서비스들 시스템과 위치 정보를 교환할 수 있다. 예를 들어, 위치 정보는 당해 기술 분야에 공지된 바와 같은 GPS 포지션, WiFi 기반 포지션 또는 다른 포지셔닝 기법들에 기초할 수 있다. 위치 정보는 또한, 온보드 GPS 칩들 및 다른 내부 센서들로부터 파생되는 바와 같은 근사한 헤딩을 포함할 수 있다. 위치 기반 서비스 시스템은 위치 정보에 기초하여 증강 현실 정보를 디바이스(402)에 제공할 수 있다. 예를 들어, 도 7을 참조하면, 위치 기반 서비스 시스템은 이미지(702) 내에 도시된 위치들과 연관된 객체 태그들(704)을 제공할 수 있다.
[0089] 실시예에서, 스테이지(1304)에서, 디바이스(402)는 위치 기반 서비스 시스템 또는 다른 네트워킹된 자원으로부터 객체 태그들, 객체 아이콘들, 제 2 객체 태그들 및 다른 증강 현실 정보를 포함하는 증강 현실 객체들을 수신할 수 있다. 증강 현실 객체들은 또한, 메모리(114)에 사전에 저장될 수 있다. 증강 현실 정보는 이미지(802) 내의 객체들에 대해 지오-레퍼런싱(예를 들어, 지리적 위치에 기초하여 인덱싱)될 수 있다. 스테이지(1306)에서, 디바이스(402)는 이미지(702) 상의 적절한 위치에 하나 또는 둘 이상의 아이콘들(804)을 디스플레이하기 위해 위치 정보를 이용하도록 구성될 수 있다.
[0090] 스테이지(1308)에서, 디바이스(402)는 사용자의 시선 위치에 기초하여 관심 있는 영역(806)을 결정할 수 있다. 예를 들어, 디바이스는 후방 카메라(406) 및 메모리(114)에 저장된 시선 알고리즘을 이용할 수 있다. 실시예에서, 관심 있는 영역은 다른 눈 추적 기술, 이를테면, Tobii®기술 안경 또는 헤드 마운트 시선 추적 기술로부터 결정될 수 있다. 관심 있는 영역(806)의 표현은 관심 있는 영역의 현재 포지션에 관한 사용자 피드백을 제공하기 위해 디스플레이될 수 있다. 예를 들어, 도 8에 도시된 바와 같이, 관심 있는 영역(806)은 앞서 설명된 바와 같은 하나 또는 둘 이상의 확장가능한 원들일 수 있다. 관심 있는 영역의 그래픽 표현들의 다른 예들은 확대경 아이콘, 음영 효과, 오목(sunken) 효과, 돌출(raised) 효과, 버블 효과, 화살표 아이콘 또는 안구 아이콘을 포함하지만, 이에 제한되는 것은 아니다.
[0091] 스테이지(1310)에서, 프로세서(들)(104)는 관심 있는 영역(806)이 아이콘(804) 상에 또는 그 근처에 머무는 시간의 양을 결정하도록 구성될 수 있다. 머무는 시간의 양 및 포지션 허용오차는 눈 추적 기술의 민감도 및/또는 이미지 내에서의 이용가능한 증강 현실 정보의 밀도에 기초하여 변경될 수 있다. 예를 들어, 머무는 시간은 대략 1, 2 또는 3초일 수 있고, 포지션 허용오차는 대략 5, 10 또는 20 픽셀들일 수 있다. 다른 값들이 이용될 수 있다. 관심 있는 영역(806)이 아이콘(804) 상에 머물지 않으면, 프로세서(들)(104)는 스테이지(1308)에서 설명된 바와 같이, 관심 있는 영역을 계속 결정하도록 구성될 수 있다.
[0092] 스테이지(1312)에서, 프로세서(들)(104)는 위치와 연관된 증강 현실 정보가 제 2 객체 태그(808)를 포함하는지 여부를 결정하도록 구성될 수 있다. 제 2 객체 태그(808)는 텍스트, 또 다른 아이콘 또는 다른 GUI 프로그래밍 객체(예를 들어, 리스트 박스, 콤보 박스, 라디오 버튼, 커맨드 버튼 등...)를 포함할 수 있다. 제 2 객체 태그가 이용가능하면, 제 2 객체 태그는 스테이지(1314)에서 디스플레이될 수 있다. 실시예에서, 제 2 객체 태그(808)는 이미지(802)에 대해 지오-레퍼런싱될 수 있으며, 따라서, 이미지(802)가 디스플레이(408)에 걸쳐 이동함에 따라(즉, 전방 카메라의 방향이 변함에 따라) 이동할 것이다. 제 2 객체 태그(808)는 디스플레이(408) 상의 포지션으로 지칭될 수 있고, 따라서, (만약 있다면) 이미지(802)의 움직임과 관계없이 짧은 기간(예를 들어, 1, 2, 5초) 동안 디스플레이(408) 상의 동일한 상대적 포지션에서 또는 동일한(즉, 완충된(dampened)) 상대적 포지션 가까이에서 유지될 수 있다.
[0093] 스테이지(1316)에서, 디바이스(402)는 관심 있는 영역이 제 2 객체 태그(808) 상에 머무는지 여부를 결정하도록 구성될 수 있다. 제 2 객체 태그에 대한 머무는 시간의 듀레이션은 스테이지(1310)에서 설명된 바와 같이 객체 아이콘(804) 상에서 이용되는 머무는 시간 미만 일 수 있지만, 객체 아이콘(804) 상에서 이용되는 머무는 시간 미만일 필요는 없다. 실시예에서, 제 2 객체 태그(808)는 다수의 선택 옵션들을 포함하는 리스트 박스일 수 있다. 제 2 객체 태그(808)의 크기는 제 2 객체 태그(808)의 타겟 크기를 증가시키기 위해 디스플레이(408) 상에서 확장될 수 있다. 증가된 타겟 크기는 시선 추적 알고리즘의 효율성을 향상시킬 수 있으며, 시선 추적 선택 결과들을 향상시킬 수 있다.
[0094] 스테이지(1318)에서, 디바이스(402)는 증강 현실 정보를 디스플레이하도록 구성될 수 있다. 증강 현실 정보의 예들은 GUI 객체들, 미디어 파일들, 하이퍼텍스트 또는 실행 중인 하나 또는 둘 이상의 애플리케이션들(예를 들어, 웹 브라우저, 게임들, 맵핑 소프트웨어, 소셜 네트워크 애플리케이션들)을 포함할 수 있지만, 이들에 제한되는 것은 아니다.
[0095] 특별히 달리 서술되지 않으면, 다음의 논의로부터 명백해지는 바와 같이, 본 명세서 전체에 걸쳐 "프로세싱", "컴퓨팅", "계산", "식별", "결정", "설정", "획득" 등과 같은 용어들을 이용하는 논의들은 특정 장치, 이를테면, 특수 목적의 컴퓨터 또는 유사한 특수 목적의 전자 컴퓨팅 디바이스의 동작들 또는 프로세스들을 지칭한다는 것이 인식된다. 따라서, 본 명세서의 문맥에서, 특수 목적의 컴퓨터 또는 유사한 특수 목적의 전자 컴퓨팅 디바이스는 통상적으로 특수 목적의 컴퓨터 또는 유사한 특수 목적의 전자 컴퓨팅 디바이스의 메모리들, 레지스터들 또는 다른 정보 저장 디바이스들, 송신 디바이스들 또는 디스플레이 디바이스들 내에서의 물리 전자적 또는 자기적 수량들로서 표현되는 신호들을 조작하거나 또는 변환할 수 있다. 이러한 특정 특허 출원의 문맥에서, "특정 장치"라는 용어는, 프로그램 소프트웨어로부터의 명령들에 따라 특정 기능들을 수행하도록 프로그래밍되면 범용 컴퓨터를 포함할 수 있다.
[0096] 본 명세서 전체에 걸쳐 "일 예", "예", "특정 예들" 또는 "예시적 구현"이라는 지칭은 특징 및/또는 예와 관련하여 설명된 특정한 특징, 구조 또는 특성이 청구되는 청구대상의 적어도 하나의 특징 및/또는 예에 포함될 수 있다는 것을 의미한다. 따라서, 본 명세서 전체에 걸쳐 다양한 곳들에서 "일 예에서", "예", "특정 예들에서" 또는 "일부 구현들에서"라는 문구 또는 다른 유사한 문구들의 표현들은 반드시 모두 동일한 특징, 예 및/또는 제한을 지칭하는 것은 아니다. 게다가, 특정한 특징들, 구조들 또는 특성들은 하나 또는 둘 이상의 예들 및/또는 특징들에서 결합될 수 있다.
[0097] 본원에 설명된 방법들 및 모바일 디바이스는 본 출원에 따른 다양한 수단에 의해 구현될 수 있다. 예를 들어, 이 방법들은 하드웨어, 펌웨어, 소프트웨어 또는 이들의 임의의 결합으로 구현될 수 있다. 하드웨어 구현에 있어서, 프로세싱 유닛들은 하나 또는 둘 이상의 ASIC(application specific integrated circuit)들, DSP(digital signal processor)들, DSPD(digital signal processing device)들, PLD(programmable logic device)들, FPGA(field programmable gate array)들, 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본원에 설명된 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 결합 내에서 구현될 수 있다. 여기서, "제어 로직"이라는 용어는 소프트웨어, 하드웨어, 펌웨어 또는 결합에 의해 구현되는 로직을 포함한다.
[0098] 펌웨어 및/또는 소프트웨어 구현에 있어서, 방법들은 본원에 설명된 기능들을 수행하는 모듈들(예를 들어, 프로시저들, 함수들 등)로 구현될 수 있다. 명령들을 유형으로 구현하는 임의의 기계 판독가능한 매체는 본원에 설명된 방법들을 구현하는데 이용될 수 있다. 예를 들어, 소프트웨어 코드들은 메모리에 저장되고, 프로세싱 유닛에 의해 실행될 수 있다. 메모리는 프로세싱 유닛 내부에서 또는 프로세싱 유닛 외부에서 구현될 수 있다. 본원에 이용되는 바와 같이, "메모리"라는 용어는 임의의 타입의 롱 텀, 쇼트 텀, 휘발성, 비휘발성 또는 다른 저장 디바이스들을 지칭하며, 임의의 특정 타입의 메모리 또는 임의의 특정 수의 메모리들 또는 메모리가 저장되는 임의의 타입의 매체들에 제한되는 것은 아니다.
[0099] 컴퓨터 판독가능한 매체 상에서의 저장과 더불어, 명령들 및/또는 데이터는 통신 장치에 포함되는 송신 매체들 상에 신호들로서 제공될 수 있다. 예를 들어, 통신 장치는 명령들 및 데이터를 표시하는 신호들을 갖는 트랜시버를 포함할 수 있다. 명령들 및 데이터는 적어도 하나의 프로세서로 하여금 청구항들에서 약술되는 기능들을 구현하게 하도록 구성된다. 즉, 통신 장치는 개시된 기능들을 수행하기 위해 정보를 표시하는 신호들을 이용하는 송신 매체들을 포함한다. 첫 번째로, 통신 장치에 포함되는 송신 매체들은 개시된 기능들을 수행하기 위해 정보의 제 1 부분을 포함할 수 있는 한편, 두 번째로, 통신 장치에 포함되는 송신 매체들은 개시된 기능들을 수행하기 위해 정보의 제 2 부분을 포함할 수 있다.
[00100] 본 개시는 WWAN(wide area wireless network), WLAN(wireless local area network), WPAN(wireless personal area network) 등과 같은 다양한 무선 통신 네트워크들과 함께 구현될 수 있다. "네트워크" 및 "시스템"이라는 용어들은 종종 상호교환가능하게 이용된다. "포지션" 및 "위치"라는 용어들은 종종 상호교환가능하게 이용된다. WWAN은 CDMA(Code Division Multiple Access) 네트워크, TDMA(Time Division Multiple Access) 네트워크, FDMA(Frequency Division Multiple Access) 네트워크, OFDMA(Orthogonal Frequency Division Multiple Access) 네트워크, SC-FDMA(Single-Carrier Frequency Division Multiple Access) 네트워크, LTE(Long Term Evolution) 네트워크, WiMAX(IEEE 802.16) 네트워크 등일 수 있다. CDMA 네트워크는 cdma2000, W-CDMA(Wideband-CDMA) 등과 같은 하나 또는 둘 이상의 RAT(radio access technology)들을 구현할 수 있다. cdma2000은 IS-95, IS2000 및 IS-856 표준들을 포함한다. TDMA 네트워크는 GSM(Global System for Mobile Communications), D-AMPS(Digital Advanced Mobile Phone System), 또는 일부 다른 RAT를 구현할 수 있다. GSM 및 W-CDMA는 "3GPP(3rd Generation Partnership Project)"로 명명된 컨소시엄으로부터의 문서들에 설명되어 있다. cdma2000은 "3GPP2(3rd Generation Partnership Project 2)"로 명명된 컨소시엄으로부터의 문서들에 설명되어 있다. 3GPP 및 3GPP2 문서들은 공개적으로 입수가능하다. WLAN은 IEEE 802.11x 네트워크일 수 있고, WPAN은 블루투스 네트워크, IEEE 802.15x, 또는 일부 다른 타입의 네트워크일 수 있다. 기법들은 또한, WWAN, WLAN 및/또는 WPAN의 임의의 결합과 함께 구현될 수 있다.
[00101] 이동국은, 셀룰러 디바이스 또는 다른 무선 통신 디바이스, PCS(personal communication system) 디바이스, PND(personal navigation device), PIM(Personal Information Manager), PDA(Personal Digital Assistant), 랩탑 또는 무선 통신 및/또는 네비게이션 신호들을 수신할 수 있는 다른 적합한 모바일 디바이스와 같은 디바이스를 지칭한다. "이동국"이라는 용어는 또한 ― 위성 신호 수신, 보조 데이터 수신 및/또는 포지션-관련 프로세싱이 디바이스에서 발생하는지 아니면 PND(personal navigation device)에서 발생하는지에 관계없이 ― 이를테면, 단거리 무선, 적외선, 유선 연결 또는 다른 연결에 의해 PND와 통신하는 디바이스들을 포함하는 것으로 의도된다. 또한, "이동국"은, 이를테면, 인터넷, WiFi 또는 다른 네트워크를 통해, 그리고 위성 신호 수신, 보조 데이터 수신 및/또는 포지션-관련 프로세싱이 디바이스에서 발생하는지, 서버에서 발생하는지 아니면 네트워크와 연관된 다른 디바이스에서 발생하는지에 관계없이, 서버와 통신할 수 있는, 무선 통신 디바이스들, 컴퓨터들, 랩탑들 등을 포함하는 모든 디바이스들을 포함하는 것으로 의도된다. 위의 것들의 임의의 동작가능한 결합이 또한 "이동국"으로서 고려된다.
[00102] 어떠한 것이 "최적화", "요구"된다는 지정 또는 다른 지정은 본 개시가 최적화된 시스템들 또는 "요구되는" 엘리먼트들이 제시되는 시스템들(또는 다른 지정들로 인한 다른 제한)에만 적용됨을 표시하지 않는다. 이러한 지정들은 단지, 설명된 특정 구현만을 지칭한다. 물론, 많은 구현들이 가능하다. 기법들은 개발 중에 있거나 또는 개발될 프로토콜들을 포함하여 본원에 논의된 프로토콜들 외의 프로토콜들에 이용될 수 있다.
[00103] 당업자는 동일한 기초의 근본적 메커니즘들 및 방법들을 여전히 이용하면서, 개시된 실시예들의 결합들 및 많은 가능한 변경들이 이용될 수 있다는 것을 인지할 것이다. 설명을 목적들로, 위의 설명은 특정 실시예들을 참조하여 기재될 수 있다. 그러나, 위의 예시적 논의들은 완전한 것으로 또는 개시된 정확한 형태들로 본 개시를 제한하는 것으로 의도되는 것이 아니다. 위의 교시들을 고려하여 많은 변경들 및 변화들이 가능하다. 실시예들은, 본 개시의 원리들 및 이들의 실제 응용들을 설명하고 당업자들이 참작되는 특정 사용에 적합한 다양한 변경들에 본 개시 및 다양한 실시예들을 최대로 이용할 수 있게 하기 위해서 선택되고 설명되었다.

Claims (31)

  1. 시선(eye gaze) 추적을 이용하여 객체(object) 인식을 가능하게 하기 위한 방법으로서, 상기 방법은 전자 디바이스에 의해 수행되고,
    사용자가 볼 수 있는 장면(scene)의 이미지를 상기 사용자에게 디스플레이하는 단계;
    상기 사용자의 시선을 표시하는 정보를 수신하는 단계;
    상기 시선 정보에 기초하여 상기 이미지 내의 관심 있는 영역을 결정하는 단계;
    상기 관심 있는 영역 및 상기 관심 있는 영역과 연관되는 객체의 경계에 기초하여 이미지 세그먼트를 결정하는 단계;
    이미지 세그먼트 경계 라인을 디스플레이하는 단계 － 상기 이미지 세그먼트 경계 라인은 상기 관심 있는 영역과 연관되는 상기 객체의 상기 경계에 의해 한정됨 －;
    상기 이미지 세그먼트 상에서 객체 인식 프로세스를 개시하는 단계;
    증강 현실 정보가 이용가능하다고 상기 객체 인식 프로세스의 결과가 표시한다면, 객체 태그를 디스플레이하는 단계;
    상기 관심 있는 영역이 상기 객체 태그 상에 또는 그 주위에 머물면, 증강 현실 정보를 디스플레이하는 단계; 및
    상기 관심 있는 영역이 상기 객체 태그 상에 또는 그 주위에 머물지 않으면, 상기 이미지 세그먼트 경계 라인 및 상기 객체 태그를 숨기는 단계를 포함하는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 개시하는 단계는 상기 객체 인식 프로세스를 수행하는 단계를 포함하는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 개시하는 단계는 상기 이미지 세그먼트를 원격 서버에 제공하는 단계, 및 상기 원격 서버로부터 객체 인식 결과를 수신하는 단계를 포함하는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 방법.
  4. 제 3 항에 있어서,
    상기 원격 서버로부터 포우즈(pose) 정보를 수신하는 단계; 및
    상기 포우즈 정보에 기초하여 상기 증강 현실 정보를 디스플레이하는 단계를 포함하는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 이미지는 모바일 디바이스에 커플링된 제 1 카메라에 의해 캡처되고,
    상기 시선 정보는 상기 모바일 디바이스에 커플링된 제 2 카메라에 의해 캡처되는 이미지에 기초하여 결정되는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 방법.
  6. 제 1 항에 있어서,
    배경 광 강화 영역을 디스플레이하는 단계를 포함하는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 방법.
  7. 시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치로서,
    메모리; 및
    상기 메모리에 커플링된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    사용자가 볼 수 있는 장면의 이미지가 상기 사용자에게 디스플레이되게 하고;
    상기 사용자의 시선을 표시하는 정보를 수신하고;
    상기 시선 정보에 기초하여 상기 이미지 내의 관심 있는 영역을 결정하고;
    상기 관심 있는 영역 및 상기 관심 있는 영역과 연관되는 객체의 경계에 기초하여 이미지 세그먼트를 결정하고;
    이미지 세그먼트 경계 라인을 디스플레이하고 － 상기 이미지 세그먼트 경계 라인은 상기 관심 있는 영역과 연관되는 상기 객체의 상기 경계에 의해 한정됨 －;
    상기 이미지 세그먼트 상에서 객체 인식 프로세스를 개시하고;
    증강 현실 정보가 이용가능하다고 상기 객체 인식 프로세스의 결과가 표시한다면, 객체 태그가 디스플레이되게 하고;
    상기 관심 있는 영역이 상기 객체 태그 상에 또는 그 주위에 머물면, 증강 현실 정보가 디스플레이되게 하고; 그리고
    상기 관심 있는 영역이 상기 객체 태그 상에 또는 그 주위에 머물지 않으면, 상기 이미지 세그먼트 경계 라인 및 상기 객체 태그가 숨겨지게 되도록 구성되는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치.
  8. 제 7 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 객체 인식 프로세스를 수행하도록 구성되는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치.
  9. 제 7 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 이미지 세그먼트를 원격 서버에 제공하고, 그리고 상기 원격 서버로부터 객체 인식 결과를 수신하도록 구성되는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치.
  10. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 원격 서버로부터 포우즈 정보를 수신하고; 그리고
    상기 포우즈 정보에 기초하여 상기 증강 현실 정보가 디스플레이되게 하도록 구성되는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치.
  11. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는, 모바일 디바이스에 커플링된 제 1 카메라에 의해 상기 이미지를 캡처하고, 그리고 상기 모바일 디바이스에 커플링된 제 2 카메라에 의해 캡처되는 이미지에 기초하여 상기 시선 정보를 결정하도록 구성되는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치.
  12. 제 9 항에 있어서,
    상기 적어도 하나의 프로세서는 배경 광 강화 영역이 디스플레이되게 하도록 구성되는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치.
  13. 시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치로서,
    사용자가 볼 수 있는 장면의 이미지를 상기 사용자에게 디스플레이하기 위한 수단;
    상기 사용자의 시선을 표시하는 정보를 수신하기 위한 수단;
    상기 시선 정보에 기초하여 상기 이미지 내의 관심 있는 영역을 결정하기 위한 수단;
    상기 관심 있는 영역 및 상기 관심 있는 영역과 연관되는 객체의 경계에 기초하여 이미지 세그먼트를 결정하기 위한 수단;
    이미지 세그먼트 경계 라인을 디스플레이하기 위한 수단 － 상기 이미지 세그먼트 경계 라인은 상기 관심 있는 영역과 연관되는 상기 객체의 상기 경계에 의해 한정됨 －;
    상기 이미지 세그먼트 상에서 객체 인식 프로세스를 개시하기 위한 수단;
    증강 현실 정보가 이용가능하다고 상기 객체 인식 프로세스의 결과가 표시한다면, 객체 태그를 디스플레이하기 위한 수단;
    상기 관심 있는 영역이 상기 객체 태그 상에 또는 그 주위에 머물면, 증강 현실 정보를 디스플레이하기 위한 수단; 및
    상기 관심 있는 영역이 상기 객체 태그 상에 또는 그 주위에 머물지 않으면, 상기 이미지 세그먼트 경계 라인 및 상기 객체 태그를 숨기기 위한 수단을 포함하는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치.
  14. 제 13 항에 있어서,
    상기 개시하기 위한 수단은 상기 객체 인식 프로세스를 수행하기 위한 수단을 포함하는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치.
  15. 제 13 항에 있어서,
    상기 개시하기 위한 수단은 상기 이미지 세그먼트를 원격 서버에 제공하기 위한 수단, 및 상기 원격 서버로부터 객체 인식 결과를 수신하기 위한 수단을 포함하는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치.
  16. 제 15 항에 있어서,
    상기 원격 서버로부터 포우즈 정보를 수신하기 위한 수단; 및
    상기 포우즈 정보에 기초하여 상기 증강 현실 정보를 디스플레이하기 위한 수단을 포함하는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치.
  17. 제 13 항에 있어서,
    상기 이미지는 모바일 디바이스에 커플링된 제 1 카메라에 의해 캡처되고,
    상기 시선 정보는 상기 모바일 디바이스에 커플링된 제 2 카메라에 의해 캡처되는 이미지에 기초하여 결정되는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치.
  18. 제 13 항에 있어서,
    배경 광 강화 영역을 디스플레이하기 위한 수단을 포함하는,
    시선 추적을 이용하여 객체 인식을 가능하게 하기 위한 장치.
  19. 프로세서 실행가능한 명령들을 포함하는 비-일시적 컴퓨터 저장 매체로서,
    상기 명령들은 프로세서로 하여금,
    사용자가 볼 수 있는 장면의 이미지를 상기 사용자에게 디스플레이하게 하고;
    상기 사용자의 시선을 표시하는 정보를 수신하게 하고;
    상기 시선 정보에 기초하여 상기 이미지 내의 관심 있는 영역을 결정하게 하고;
    상기 관심 있는 영역 및 상기 관심 있는 영역과 연관되는 객체의 경계에 기초하여 이미지 세그먼트를 결정하게 하고;
    이미지 세그먼트 경계 라인을 디스플레이하게 하고 － 상기 이미지 세그먼트 경계 라인은 상기 관심 있는 영역과 연관되는 상기 객체의 상기 경계에 의해 한정됨 －;
    상기 이미지 세그먼트 상에서 객체 인식 프로세스를 개시하게 하고;
    증강 현실 정보가 이용가능하다고 상기 객체 인식 프로세스의 결과가 표시한다면, 객체 태그를 디스플레이하게 하고;
    상기 관심 있는 영역이 상기 객체 태그 상에 또는 그 주위에 머물면, 증강 현실 정보를 디스플레이하게 하고; 그리고
    상기 관심 있는 영역이 상기 객체 태그 상에 또는 그 주위에 머물지 않으면, 상기 이미지 세그먼트 경계 라인 및 상기 객체 태그를 숨기게 하도록 구성되는,
    프로세서 실행가능한 명령들을 포함하는 비-일시적 컴퓨터 저장 매체.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
KR1020157018775A 2012-12-19 2013-12-10 시선 추적을 이용한 증강 현실의 인에이블링 KR102166861B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261739518P 2012-12-19 2012-12-19
US61/739,518 2012-12-19
US13/838,467 2013-03-15
US13/838,467 US9996150B2 (en) 2012-12-19 2013-03-15 Enabling augmented reality using eye gaze tracking
PCT/US2013/074067 WO2014099479A1 (en) 2012-12-19 2013-12-10 Enabling augmented reality using eye gaze tracking

Publications (2)

Publication Number Publication Date
KR20150096474A KR20150096474A (ko) 2015-08-24
KR102166861B1 true KR102166861B1 (ko) 2020-10-16

Family

ID=50930270

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157018775A KR102166861B1 (ko) 2012-12-19 2013-12-10 시선 추적을 이용한 증강 현실의 인에이블링

Country Status (6)

Country Link
US (3) US9996150B2 (ko)
EP (1) EP2936300B1 (ko)
JP (1) JP6505606B2 (ko)
KR (1) KR102166861B1 (ko)
CN (1) CN104823152B (ko)
WO (1) WO2014099479A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132459A1 (ko) * 2022-01-10 2023-07-13 삼성전자 주식회사 Ar 객체를 표시하는 전자 장치 및 그 방법

Families Citing this family (292)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
CA2835120C (en) * 2011-05-06 2019-05-28 Magic Leap, Inc. Massive simultaneous remote digital presence world
TWI475474B (zh) * 2012-07-30 2015-03-01 Mitac Int Corp Gesture combined with the implementation of the icon control method
US9485459B2 (en) * 2012-12-14 2016-11-01 Biscotti Inc. Virtual window
US8914837B2 (en) 2012-12-14 2014-12-16 Biscotti Inc. Distributed infrastructure
US9654563B2 (en) 2012-12-14 2017-05-16 Biscotti Inc. Virtual remote functionality
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
JP6049452B2 (ja) * 2012-12-29 2016-12-21 キヤノン株式会社 情報表示装置、情報表示システム、それらの制御方法、及びプログラム
US9485290B1 (en) * 2013-03-14 2016-11-01 Parallels IP Holdings GmbH Method and system for controlling local display and remote virtual desktop from a mobile device
JP6022386B2 (ja) * 2013-03-21 2016-11-09 株式会社ジオ技術研究所 ３次元地図表示装置、３次元地図表示方法、および、コンピュータプログラム
US10432681B1 (en) 2013-04-24 2019-10-01 Parallels International Gmbh Method and system for controlling local display and remote virtual desktop from a mobile device
US10863098B2 (en) * 2013-06-20 2020-12-08 Microsoft Technology Licensing. LLC Multimodal image sensing for region of interest capture
US9113036B2 (en) 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
EP3025525B1 (en) 2013-07-25 2018-12-12 Convida Wireless, LLC End-to-end m2m service layer sessions
US20150035952A1 (en) * 2013-08-05 2015-02-05 Samsung Electronics Co., Ltd. Photographing apparatus, display apparatus, photographing method, and computer readable recording medium
US10152495B2 (en) * 2013-08-19 2018-12-11 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
JP2015046089A (ja) * 2013-08-29 2015-03-12 ソニー株式会社 情報処理装置および情報処理方法
KR101444858B1 (ko) * 2013-09-03 2014-11-03 재단법인 실감교류인체감응솔루션연구단 원격 존재 장치
US10356364B2 (en) * 2013-09-10 2019-07-16 Minerva Project, Inc. Registering and displaying visual attention metadata in a web video conferencing and seminar system
EP3044950A4 (en) * 2013-09-12 2017-05-17 Intel Corporation Techniques for providing an augmented reality view
WO2015054562A1 (en) * 2013-10-11 2015-04-16 Interdigital Patent Holdings, Inc. Gaze-driven augmented reality
US20150113454A1 (en) * 2013-10-21 2015-04-23 Motorola Mobility Llc Delivery of Contextual Data to a Computing Device Using Eye Tracking Technology
US9886087B1 (en) * 2013-11-30 2018-02-06 Allscripts Software, Llc Dynamically optimizing user interfaces
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
JP6393986B2 (ja) * 2013-12-26 2018-09-26 セイコーエプソン株式会社 頭部装着型表示装置、画像表示システム、および、頭部装着型表示装置の制御方法
US9639152B2 (en) * 2013-12-30 2017-05-02 Lenovo (Singapore) Pte. Ltd. Display alignment based on eye tracking
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) * 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US20160343156A1 (en) * 2014-02-18 2016-11-24 Hitachi Maxell, Ltd. Information display device and information display program
US9804753B2 (en) * 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9529428B1 (en) * 2014-03-28 2016-12-27 Amazon Technologies, Inc. Using head movement to adjust focus on content of a display
US10802582B1 (en) * 2014-04-22 2020-10-13 sigmund lindsay clements Eye tracker in an augmented reality glasses for eye gaze to input displayed input icons
US9961119B2 (en) 2014-04-22 2018-05-01 Minerva Project, Inc. System and method for managing virtual conferencing breakout groups
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
WO2015166299A1 (en) * 2014-04-28 2015-11-05 Sony Corporation Operating a display of a user equipment
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
GB2527306A (en) * 2014-06-16 2015-12-23 Guillaume Couche System and method for using eye gaze or head orientation information to create and play interactive movies
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
JP6642430B2 (ja) * 2014-07-23 2020-02-05 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
JP6432197B2 (ja) * 2014-07-31 2018-12-05 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP6385210B2 (ja) * 2014-09-05 2018-09-05 キヤノン株式会社 画像診断支援装置および制御方法、プログラム
US10359842B2 (en) * 2014-09-16 2019-07-23 Ricoh Company, Limited Information processing system and information processing method
WO2016053486A1 (en) 2014-09-30 2016-04-07 Pcms Holdings, Inc. Reputation sharing system using augmented reality systems
US9955059B2 (en) * 2014-10-29 2018-04-24 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
GB2532953A (en) 2014-12-02 2016-06-08 Ibm Overlay display
GB2532954A (en) 2014-12-02 2016-06-08 Ibm Display control system for an augmented reality display system
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
KR20160071242A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
EP3037915B1 (en) * 2014-12-23 2017-08-16 Nokia Technologies OY Virtual reality content control
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US10146303B2 (en) 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
US10740971B2 (en) 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
JP2016131741A (ja) 2015-01-20 2016-07-25 株式会社リコー 通信端末、面談システム、表示方法及びプログラム
JP2016140720A (ja) * 2015-02-05 2016-08-08 株式会社リコー 通信端末、面談システム、表示方法及びプログラム
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US9851790B2 (en) * 2015-02-27 2017-12-26 Lenovo (Singapore) Pte. Ltd. Gaze based notification reponse
US9767614B2 (en) * 2015-03-24 2017-09-19 Nokia Technologies Oy Augmented reality
JP6670549B2 (ja) * 2015-03-30 2020-03-25 大和ハウス工業株式会社 取引支援システム及び取引支援方法
DE102015006664A1 (de) * 2015-05-22 2016-11-24 Giesecke & Devrient Gmbh System und Verfahren zur Bearbeitung von Wertdokumenten
US10317994B2 (en) 2015-06-05 2019-06-11 International Business Machines Corporation Initiating actions responsive to user expressions of a user while reading media content
WO2016198723A1 (en) 2015-06-09 2016-12-15 Nokia Technologies Oy Causing performance of an active scan
JP6611501B2 (ja) * 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
CN105025131B (zh) * 2015-07-31 2018-06-08 瑞声声学科技(深圳)有限公司 一种手机的工作方法
JP6275087B2 (ja) * 2015-08-03 2018-02-07 株式会社オプティム ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。
CN105094335B (zh) * 2015-08-04 2019-05-10 天津锋时互动科技有限公司 场景提取方法、物体定位方法及其系统
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
US20170061482A1 (en) * 2015-08-24 2017-03-02 TCL Research America Inc. Focal-point based recommendation method and system
JP6361714B2 (ja) * 2015-09-30 2018-07-25 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
CN108604151A (zh) * 2015-12-01 2018-09-28 量子界面有限责任公司 使用2d构造、使用真实或虚拟控制器、使用预览取景以及团块数据控制器来实施3d控制的基于运动的系统、装置和方法
US9773372B2 (en) 2015-12-11 2017-09-26 Igt Canada Solutions Ulc Enhanced electronic gaming machine with dynamic gaze display
US9841813B2 (en) * 2015-12-22 2017-12-12 Delphi Technologies, Inc. Automated vehicle human-machine interface system based on glance-direction
US10102358B2 (en) * 2015-12-29 2018-10-16 Sensory, Incorporated Face-controlled liveness verification
US9659380B1 (en) 2016-01-07 2017-05-23 International Business Machines Corporation Object position tracking using motion estimation
US10129510B2 (en) 2016-02-18 2018-11-13 Samsung Electronics Co., Ltd. Initiating human-machine interaction based on visual attention
WO2017147527A1 (en) 2016-02-24 2017-08-31 Magic Leap, Inc. Polarizing beam splitter with low light leakage
CN105843383B (zh) * 2016-03-21 2019-03-12 努比亚技术有限公司 应用启动装置及方法
JP6649833B2 (ja) * 2016-03-31 2020-02-19 株式会社エヌ・ティ・ティ・データ 拡張現実ユーザインタフェース適用装置および制御方法
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
WO2017187708A1 (ja) * 2016-04-26 2017-11-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CA2999057C (en) * 2016-04-27 2023-12-05 Rovi Guides, Inc. Methods and systems for displaying additional content on a heads up display displaying a virtual reality environment
EP3242228A1 (en) * 2016-05-02 2017-11-08 Artag SARL Managing the display of assets in augmented reality mode
EP3453169A4 (en) * 2016-05-07 2019-09-18 Smart Third-i Ltd SYSTEMS AND METHODS WITH EDGE CAMERA ARRANGEMENTS IN HANDHELD DEVICES
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
US9990524B2 (en) * 2016-06-16 2018-06-05 Hand Held Products, Inc. Eye gaze detection controlled indicia scanning system and method
CN107544660B (zh) * 2016-06-24 2020-12-18 联想(北京)有限公司 一种信息处理方法及电子设备
EP3479160A4 (en) * 2016-06-30 2020-03-25 Magic Leap, Inc. ESTIMATE OF THE POSE IN A 3D SPACE
US11503314B2 (en) 2016-07-08 2022-11-15 Interdigital Madison Patent Holdings, Sas Systems and methods for region-of-interest tone remapping
US20180012411A1 (en) * 2016-07-11 2018-01-11 Gravity Jack, Inc. Augmented Reality Methods and Devices
JP6966443B2 (ja) * 2016-07-19 2021-11-17 富士フイルム株式会社 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
KR101826025B1 (ko) * 2016-07-22 2018-02-07 한국과학기술연구원 사용자 인터렉션이 가능한 3d 영상 콘텐츠 생성 시스템 및 방법
WO2018017936A1 (en) * 2016-07-22 2018-01-25 Vid Scale, Inc. Systems and methods for integrating and delivering objects of interest in video
KR102577634B1 (ko) * 2016-07-25 2023-09-11 매직 립, 인코포레이티드 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화
CN106155326A (zh) * 2016-07-26 2016-11-23 北京小米移动软件有限公司 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备
WO2018035133A1 (en) 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
CN107765842A (zh) * 2016-08-23 2018-03-06 深圳市掌网科技股份有限公司 一种增强现实方法及系统
JP6853638B2 (ja) * 2016-09-14 2021-03-31 株式会社スクウェア・エニックス 表示システム、表示方法、及び、コンピュータ装置
US10209772B2 (en) * 2016-09-19 2019-02-19 International Business Machines Corporation Hands-free time series or chart-based data investigation
US10347050B1 (en) * 2016-09-22 2019-07-09 Apple Inc. Augmented reality device to warp images
JP6884856B2 (ja) 2016-09-26 2021-06-09 ドルビー ラボラトリーズ ライセンシング コーポレイション コンテンツに基づいた映像データのストリーム分割
JP6964132B2 (ja) 2016-09-28 2021-11-10 マジック リープ, インコーポレイテッドMagic Leap, Inc. ウェアラブルデバイスによる顔モデル捕捉
JP7090601B2 (ja) 2016-10-05 2022-06-24 マジック リープ， インコーポレイテッド 複合現実較正のための眼球周囲試験
CN106445461B (zh) * 2016-10-25 2022-02-15 北京小米移动软件有限公司 文字信息处理方法及装置
CN111610858B (zh) 2016-10-26 2023-09-19 创新先进技术有限公司 基于虚拟现实的交互方法及装置
WO2018079166A1 (ja) * 2016-10-26 2018-05-03 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN115632686A (zh) 2016-11-03 2023-01-20 康维达无线有限责任公司 Nr中的帧结构
CN106484122A (zh) * 2016-11-16 2017-03-08 捷开通讯(深圳)有限公司 一种虚拟现实装置及其浏览轨迹跟踪方法
CN108124167A (zh) * 2016-11-30 2018-06-05 阿里巴巴集团控股有限公司 一种播放处理方法、装置和设备
WO2018106717A1 (en) * 2016-12-06 2018-06-14 Gurule Donn M Systems and methods for a chronological-based search engine
KR102626304B1 (ko) 2016-12-06 2024-01-18 삼성전자주식회사 콘텐츠 출력 방법 및 이를 지원하는 전자 장치
JP6816492B2 (ja) * 2016-12-14 2021-01-20 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US10127705B2 (en) * 2016-12-24 2018-11-13 Motorola Solutions, Inc. Method and apparatus for dynamic geofence searching of an incident scene
US10284806B2 (en) * 2017-01-04 2019-05-07 International Business Machines Corporation Barrage message processing
US10769679B2 (en) * 2017-01-25 2020-09-08 Crackle, Inc. System and method for interactive units within virtual reality environments
US10880716B2 (en) 2017-02-04 2020-12-29 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities, and services in connection with the reception of an electromagnetic signal
US10477602B2 (en) 2017-02-04 2019-11-12 Federico Fraccaroli Method, system, and apparatus for providing content, functionalities and services in connection with the reception of an electromagnetic signal
US10217239B2 (en) * 2017-02-15 2019-02-26 International Business Machines Corporation Personalized point of interest guidance in 360-degree views
US11765406B2 (en) 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video
KR101810671B1 (ko) * 2017-03-07 2018-01-25 링크플로우 주식회사 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
EP3593536A1 (en) 2017-03-07 2020-01-15 PCMS Holdings, Inc. Tailored video streaming for multi-device presentations
JP6874448B2 (ja) * 2017-03-17 2021-05-19 株式会社デンソーウェーブ 情報表示システム
US11830614B2 (en) * 2017-03-20 2023-11-28 Opticsurg, Inc. Method and system for optimizing healthcare delivery
WO2018180843A1 (ja) * 2017-03-29 2018-10-04 シャープ株式会社 表示装置
US10249095B2 (en) * 2017-04-07 2019-04-02 Microsoft Technology Licensing, Llc Context-based discovery of applications
US10504259B2 (en) 2017-04-24 2019-12-10 Intel Corporation Separately processing regions or objects or interest from a render engine to a display engine or a display panel
CN108875460B (zh) * 2017-05-15 2023-06-20 腾讯科技（深圳）有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
KR102351542B1 (ko) 2017-06-23 2022-01-17 삼성전자주식회사 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
US10319151B2 (en) 2017-07-07 2019-06-11 Motorola Solutions, Inc. Device and method for hierarchical object recognition
JP6717268B2 (ja) * 2017-07-12 2020-07-01 京セラドキュメントソリューションズ株式会社 情報処理装置及び情報処理プログラム
GB2565087A (en) * 2017-07-31 2019-02-06 Admoments Holdings Ltd Smart display system
TWI642030B (zh) 2017-08-09 2018-11-21 宏碁股份有限公司 視覺效用分析方法及相關眼球追蹤裝置與系統
EP3336848B1 (en) 2017-08-15 2023-09-27 Siemens Healthcare GmbH Method for operating a medical imaging device and medical imaging device
US10379823B1 (en) 2017-09-05 2019-08-13 Parallels International Gmbh Conversion of remote application dialogs to native mobile controls
US10778939B2 (en) * 2017-09-22 2020-09-15 Facebook, Inc. Media effects using predicted facial feature locations
CN109544698B (zh) * 2017-09-22 2023-04-07 阿里巴巴集团控股有限公司 图像展示方法、装置及电子设备
CN107908328A (zh) * 2017-11-15 2018-04-13 百度在线网络技术（北京）有限公司 增强现实方法和装置
US10134084B1 (en) 2017-11-17 2018-11-20 Capital One Services, Llc Augmented reality systems for facilitating a purchasing process at a merchant location
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
JP6463826B1 (ja) * 2017-11-27 2019-02-06 株式会社ドワンゴ 動画配信サーバ、動画配信方法及び動画配信プログラム
CN109918975B (zh) * 2017-12-13 2022-10-21 腾讯科技（深圳）有限公司 一种增强现实的处理方法、对象识别的方法及终端
WO2019143117A1 (en) * 2018-01-18 2019-07-25 Samsung Electronics Co., Ltd. Method and apparatus for adjusting augmented reality content
KR20190089627A (ko) * 2018-01-23 2019-07-31 삼성전자주식회사 Ar 서비스를 제공하는 디바이스 및 그 동작 방법
US20190253751A1 (en) * 2018-02-13 2019-08-15 Perfect Corp. Systems and Methods for Providing Product Information During a Live Broadcast
US20190265787A1 (en) * 2018-02-26 2019-08-29 Tobii Ab Real world interaction utilizing gaze
KR102574151B1 (ko) 2018-03-14 2023-09-06 스냅 인코포레이티드 위치 정보에 기초한 수집가능한 항목들의 생성
US10747312B2 (en) * 2018-03-14 2020-08-18 Apple Inc. Image enhancement devices with gaze tracking
CN108510525B (zh) * 2018-03-30 2019-03-12 百度在线网络技术（北京）有限公司 模板追踪方法、装置、增强现实系统及存储介质
US20190324548A1 (en) * 2018-04-18 2019-10-24 JG Management Pty. Ltd. Gesture-based designation of regions of interest in images
CN108563778B (zh) * 2018-04-24 2022-11-04 北京市商汤科技开发有限公司 一种关注信息的处理方法及装置、存储介质、电子设备
US11494988B2 (en) 2018-05-22 2022-11-08 Agilent Technologies, Inc. Method and system for implementing augmented reality (AR)-based assistance within work environment
CN108897474A (zh) * 2018-05-29 2018-11-27 高新兴科技集团股份有限公司 一种增强现实摄像机的虚拟标签的管理方法及管理系统
CN108737872A (zh) * 2018-06-08 2018-11-02 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
TWI726215B (zh) * 2018-06-08 2021-05-01 友達光電股份有限公司 影像監控系統及影像監控方法
JP2020005038A (ja) * 2018-06-25 2020-01-09 キヤノン株式会社 送信装置、送信方法、受信装置、受信方法、及び、プログラム
US11087538B2 (en) 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
US10520739B1 (en) 2018-07-11 2019-12-31 Valve Corporation Dynamic panel masking
US11169601B2 (en) 2018-07-12 2021-11-09 Toyota Research Institute, Inc. Methods and systems for determining teleoperating user intent via eye tracking
US10943115B2 (en) * 2018-07-24 2021-03-09 Apical Ltd. Processing image data to perform object detection
CN112689869A (zh) 2018-07-24 2021-04-20 奇跃公司 用于确定显示器与用户的眼睛之间的配准的显示系统和方法
US10803695B2 (en) 2018-08-08 2020-10-13 Igt Gaming system and method for collecting, communicating and tracking eye gaze data
US11336968B2 (en) * 2018-08-17 2022-05-17 Samsung Electronics Co., Ltd. Method and device for generating content
US11393170B2 (en) 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US11715302B2 (en) * 2018-08-21 2023-08-01 Streem, Llc Automatic tagging of images using speech recognition
US10991139B2 (en) * 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
US11630485B2 (en) * 2018-09-10 2023-04-18 Apple Inc. Housing structures and input-output devices for electronic devices
TWI718410B (zh) 2018-09-14 2021-02-11 財團法人工業技術研究院 目標物資訊的預載顯示方法及裝置
WO2020068251A1 (en) 2018-09-27 2020-04-02 Convida Wireless, Llc Sub-band operations in unlicensed spectrums of new radio
US10838488B2 (en) 2018-10-10 2020-11-17 Plutovr Evaluating alignment of inputs and outputs for virtual environments
US10678323B2 (en) 2018-10-10 2020-06-09 Plutovr Reference frames for virtual environments
WO2020076997A1 (en) * 2018-10-10 2020-04-16 Plutovr Evaluating alignment of inputs and outputs for virtual environments
US20210390306A1 (en) * 2018-10-23 2021-12-16 Finderscope, Inc. Ar system for enhanced book covers and related methods
FR3090256B1 (fr) * 2018-12-12 2021-07-02 Orange Procédé de reproduction sur un terminal d’un contenu principal en restituant un contenu secondaire associé à un objet affiché, terminal, serveur, et programme d’ordinateur correspondants
KR20200076325A (ko) 2018-12-19 2020-06-29 삼성전자주식회사 외부 객체를 컨트롤러로 이용하기 위한 웨어러블 장치 및 방법
KR102204212B1 (ko) * 2018-12-21 2021-01-19 주식회사 딥엑스 실감형 콘텐츠 제공 장치 및 방법
US10928898B2 (en) 2019-01-03 2021-02-23 International Business Machines Corporation Augmented reality safety
US20200219205A1 (en) 2019-01-09 2020-07-09 Charles Isgar System for social interaction regarding features based on geolocation
US12019696B2 (en) * 2019-01-09 2024-06-25 Charles Isgar System for obtaining websites having a geolocation near a location of a user computing device
US11488208B2 (en) * 2019-01-09 2022-11-01 Charles Isgar System for obtaining URLs of businesses based on geo-identification area
US11064255B2 (en) * 2019-01-30 2021-07-13 Oohms Ny Llc System and method of tablet-based distribution of digital media content
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
US20200288204A1 (en) * 2019-03-05 2020-09-10 Adobe Inc. Generating and providing personalized digital content in real time based on live user context
BR102019005162A2 (pt) 2019-03-15 2020-09-29 Samsung Eletrônica da Amazônia Ltda. Método para atualizar o campo de visão de interface gráfica de usuário em realidade aumentada
KR102250712B1 (ko) * 2019-03-29 2021-05-11 경북대학교 산학협력단 전자 장치 및 제어 방법
EP3742259B1 (en) * 2019-05-24 2023-08-23 General Electric Technology GmbH Method and apparatus for displaying information
US11017017B2 (en) * 2019-06-04 2021-05-25 International Business Machines Corporation Real-time vision assistance
CN110286754B (zh) * 2019-06-11 2022-06-24 Oppo广东移动通信有限公司 基于眼球追踪的投射方法及相关设备
RU2746201C2 (ru) * 2019-06-28 2021-04-08 Акционерное общество "Лаборатория Касперского" Система и способ невербальной активации сервиса на мобильном устройстве
CN110248165B (zh) * 2019-07-02 2021-04-06 高新兴科技集团股份有限公司 标签显示方法、装置、设备及存储介质
EP3760157A1 (en) * 2019-07-04 2021-01-06 Scopis GmbH Technique for calibrating a registration of an augmented reality device
US11589094B2 (en) * 2019-07-22 2023-02-21 At&T Intellectual Property I, L.P. System and method for recommending media content based on actual viewers
JP6655751B1 (ja) * 2019-07-25 2020-02-26 エヌ・ティ・ティ・コミュニケーションズ株式会社 映像表示制御装置、方法およびプログラム
JP2021026260A (ja) 2019-07-31 2021-02-22 セイコーエプソン株式会社 表示装置、表示方法、および、コンピュータープログラム
US11042259B2 (en) 2019-08-18 2021-06-22 International Business Machines Corporation Visual hierarchy design governed user interface modification via augmented reality
US11106929B2 (en) * 2019-08-29 2021-08-31 Sony Interactive Entertainment Inc. Foveated optimization of TV streaming and rendering content assisted by personal devices
JP6781977B1 (ja) * 2019-09-12 2020-11-11 株式会社ぴやまる 情報提示システム、情報分析システム、情報提示方法、情報分析方法およびプログラム
US11533434B2 (en) * 2019-09-18 2022-12-20 Google Llc Generating and rendering motion graphics effects based on recognized content in camera view finder
US11216065B2 (en) * 2019-09-26 2022-01-04 Lenovo (Singapore) Pte. Ltd. Input control display based on eye gaze
KR102637416B1 (ko) * 2019-10-30 2024-02-16 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
KR102383840B1 (ko) * 2019-11-08 2022-04-07 고려대학교 산학협력단 아이트래커기기를 사용한 외국어 읽기 능숙도 측정 도구
CN112874527A (zh) * 2019-11-29 2021-06-01 奥迪股份公司 辅助驾驶装置、包括其的车辆及相应的方法和介质
KR102477231B1 (ko) * 2019-12-30 2022-12-14 한국전자통신연구원 응시 대상 관심도 검출 장치 및 방법
US11163995B2 (en) 2019-12-31 2021-11-02 Logitech Europe S.A. User recognition and gaze tracking in a video system
US10928904B1 (en) * 2019-12-31 2021-02-23 Logitech Europe S.A. User recognition and gaze tracking in a video system
JP2021131441A (ja) * 2020-02-19 2021-09-09 キヤノン株式会社 電子機器
WO2021175920A1 (en) * 2020-03-06 2021-09-10 Telefonaktiebolaget Lm Ericsson (Publ) Methods providing video conferencing with adjusted/modified video and related video conferencing nodes
US11921917B2 (en) 2020-04-07 2024-03-05 Eyetech Digital Systems, Inc. Compact eye-tracking camera systems and methods
US10996753B1 (en) 2020-04-07 2021-05-04 Eyetech Digital Systems, Inc. Multi-mode eye-tracking with independently operable illuminators
CN111563432A (zh) * 2020-04-27 2020-08-21 歌尔科技有限公司 一种显示方法及增强现实显示设备
WO2021237430A1 (en) * 2020-05-26 2021-12-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of controlling image creating display device, and image creating display device
CN111652678B (zh) * 2020-05-27 2023-11-14 腾讯科技（深圳）有限公司 物品信息显示方法、装置、终端、服务器及可读存储介质
US11382713B2 (en) * 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US11050975B1 (en) * 2020-07-21 2021-06-29 Samuel J. Petuchowski Reciprocal signaling of participant gaze in multipoint video conferencing
US11490968B2 (en) * 2020-07-29 2022-11-08 Karl Storz Se & Co. Kg Devices, systems, and methods for labeling objects of interest during a medical procedure
US11561611B2 (en) * 2020-10-29 2023-01-24 Micron Technology, Inc. Displaying augmented reality responsive to an input
JP7453652B2 (ja) 2020-11-10 2024-03-21 日本電信電話株式会社 視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム
US11503090B2 (en) 2020-11-30 2022-11-15 At&T Intellectual Property I, L.P. Remote audience feedback mechanism
CN116508314A (zh) * 2020-12-08 2023-07-28 麦克赛尔株式会社 图像显示装置以及图像显示方法
CN116711302A (zh) * 2020-12-16 2023-09-05 三星电子株式会社 以低时延发送多条应用数据的方法和装置
CN112633128A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 余光区域中感兴趣对象信息的推送方法和系统
WO2022154847A1 (en) 2021-01-12 2022-07-21 Emed Labs, Llc Health testing and diagnostics platform
CN112819967A (zh) * 2021-01-14 2021-05-18 京东方科技集团股份有限公司 一种显示方法、装置及系统、存储介质、显示器
US11496854B2 (en) 2021-03-01 2022-11-08 International Business Machines Corporation Mobility based auditory resonance manipulation
US11615888B2 (en) 2021-03-23 2023-03-28 Emed Labs, Llc Remote diagnostic testing and treatment
US11373756B1 (en) 2021-05-24 2022-06-28 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US11929168B2 (en) 2021-05-24 2024-03-12 Emed Labs, Llc Systems, devices, and methods for diagnostic aid kit apparatus
US12001642B2 (en) 2021-04-19 2024-06-04 Apple Inc. User interfaces for managing visual content in media
US11902651B2 (en) 2021-04-19 2024-02-13 Apple Inc. User interfaces for managing visual content in media
US20220377413A1 (en) * 2021-05-21 2022-11-24 Rovi Guides, Inc. Methods and systems for personalized content based on captured gestures
WO2022255995A1 (en) * 2021-06-02 2022-12-08 Vertechs Energy Solutions Llc Augmented reality drilling, completion and production visualization system and synergy method based on holographic projection
US11610682B2 (en) 2021-06-22 2023-03-21 Emed Labs, Llc Systems, methods, and devices for non-human readable diagnostic tests
JP2023006771A (ja) * 2021-06-30 2023-01-18 キヤノン株式会社 制御装置およびその制御方法
EP4343516A4 (en) 2021-08-23 2024-04-24 Samsung Electronics Co., Ltd. PORTABLE ELECTRONIC DEVICE HAVING AUGMENTED REALITY OBJECT DISPLAYED THEREOF AND METHOD OF OPERATING THE SAME
US11687221B2 (en) 2021-08-27 2023-06-27 International Business Machines Corporation Augmented reality based user interface configuration of mobile and wearable computing devices
US12014829B2 (en) 2021-09-01 2024-06-18 Emed Labs, Llc Image processing and presentation techniques for enhanced proctoring sessions
WO2023048911A1 (en) * 2021-09-24 2023-03-30 Chinook Labs Llc Object-based glint grouping
WO2023049170A2 (en) * 2021-09-25 2023-03-30 Apple Inc. Gazed based interactions with three-dimensional environments
KR20230044833A (ko) * 2021-09-27 2023-04-04 삼성전자주식회사 전자 장치 및 컨텐츠 표시 방법
US11592899B1 (en) * 2021-10-28 2023-02-28 Tectus Corporation Button activation within an eye-controlled user interface
US20230156300A1 (en) * 2021-11-15 2023-05-18 Comcast Cable Communications, Llc Methods and systems for modifying content
US11928783B2 (en) 2021-12-30 2024-03-12 Snap Inc. AR position and orientation along a plane
US11887260B2 (en) * 2021-12-30 2024-01-30 Snap Inc. AR position indicator
US11619994B1 (en) 2022-01-14 2023-04-04 Tectus Corporation Control of an electronic contact lens using pitch-based eye gestures
US11954762B2 (en) 2022-01-19 2024-04-09 Snap Inc. Object replacement system
US12019842B2 (en) * 2022-02-17 2024-06-25 Rovi Guides, Inc. Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content
US11914765B2 (en) 2022-02-17 2024-02-27 Rovi Guides, Inc. Systems and methods for displaying and adjusting virtual objects based on interactive and dynamic content
US12002290B2 (en) 2022-02-25 2024-06-04 Eyetech Digital Systems, Inc. Systems and methods for hybrid edge/cloud processing of eye-tracking image data
US11874961B2 (en) 2022-05-09 2024-01-16 Tectus Corporation Managing display of an icon in an eye tracking augmented reality device
WO2023244811A1 (en) * 2022-06-17 2023-12-21 Magic Leap, Inc. Method and system for performing eye tracking in augmented reality devices
US12019796B2 (en) * 2022-07-29 2024-06-25 Qualcomm Incorporated User attention determination for extended reality

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
JP2011014082A (ja) * 2009-07-06 2011-01-20 Toshiba Tec Corp ウエアラブル端末装置及びプログラム
US20110221669A1 (en) 2010-02-28 2011-09-15 Osterhout Group, Inc. Gesture control in an augmented reality eyepiece
US20110222774A1 (en) * 2010-03-11 2011-09-15 Qualcomm Incorporated Image feature detection based on application of multiple feature detectors

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4109145A (en) 1974-05-20 1978-08-22 Honeywell Inc. Apparatus being controlled by movement of the eye
JP4061379B2 (ja) 2004-11-29 2008-03-19 国立大学法人広島大学 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
JP2006155236A (ja) 2004-11-29 2006-06-15 Japan Research Institute Ltd 対象物管理情報生成装置、対象物管理装置、対象物管理方法および対象物管理プログラム
EP1983884B1 (en) 2006-01-26 2016-10-26 Nokia Technologies Oy Eye tracker device
CN101495945A (zh) * 2006-07-28 2009-07-29 皇家飞利浦电子股份有限公司 用于被凝视物品的信息显示的凝视交互
US8285121B2 (en) * 2007-10-07 2012-10-09 Fall Front Wireless Ny, Llc Digital network-based video tagging system
JP5328810B2 (ja) * 2008-12-25 2013-10-30 パナソニック株式会社 情報表示装置および情報表示方法
US8819172B2 (en) * 2010-11-04 2014-08-26 Digimarc Corporation Smartphone-based methods and systems
US9039419B2 (en) * 2009-11-06 2015-05-26 International Business Machines Corporation Method and system for controlling skill acquisition interfaces
US20140063055A1 (en) * 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US20110273369A1 (en) 2010-05-10 2011-11-10 Canon Kabushiki Kaisha Adjustment of imaging property in view-dependent rendering
US8937592B2 (en) 2010-05-20 2015-01-20 Samsung Electronics Co., Ltd. Rendition of 3D content on a handheld device
JP5651386B2 (ja) 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
KR101690955B1 (ko) * 2010-10-04 2016-12-29 삼성전자주식회사 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치
JP5735128B2 (ja) * 2010-12-02 2015-06-17 エンパイア テクノロジー ディベロップメント エルエルシー 拡張現実システム
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8514295B2 (en) 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
CN102147658B (zh) 2011-02-12 2013-01-09 华为终端有限公司 实现扩增实境互动的方法、扩增实境互动装置及移动终端
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
US8670183B2 (en) 2011-03-07 2014-03-11 Microsoft Corporation Augmented view of advertisements
JP5776255B2 (ja) * 2011-03-25 2015-09-09 ソニー株式会社 端末装置、物体識別方法、プログラム及び物体識別システム
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8510166B2 (en) 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US10019962B2 (en) * 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US8379981B1 (en) * 2011-08-26 2013-02-19 Toyota Motor Engineering & Manufacturing North America, Inc. Segmenting spatiotemporal data based on user gaze data
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
CA3207408A1 (en) * 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
US20160011724A1 (en) * 2012-01-06 2016-01-14 Google Inc. Hands-Free Selection Using a Ring-Based User-Interface
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9210413B2 (en) * 2012-05-15 2015-12-08 Imagine Mobile Augmented Reality Ltd System worn by a moving user for fully augmenting reality by anchoring virtual objects
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US20130342672A1 (en) * 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US20140002443A1 (en) * 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US9111383B2 (en) * 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
JP2011014082A (ja) * 2009-07-06 2011-01-20 Toshiba Tec Corp ウエアラブル端末装置及びプログラム
US20110221669A1 (en) 2010-02-28 2011-09-15 Osterhout Group, Inc. Gesture control in an augmented reality eyepiece
US20110222774A1 (en) * 2010-03-11 2011-09-15 Qualcomm Incorporated Image feature detection based on application of multiple feature detectors

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132459A1 (ko) * 2022-01-10 2023-07-13 삼성전자 주식회사 Ar 객체를 표시하는 전자 장치 및 그 방법

Also Published As

Publication number Publication date
JP6505606B2 (ja) 2019-04-24
US20180253145A1 (en) 2018-09-06
KR20150096474A (ko) 2015-08-24
EP2936300A1 (en) 2015-10-28
US20140168056A1 (en) 2014-06-19
US11079841B2 (en) 2021-08-03
WO2014099479A1 (en) 2014-06-26
EP2936300B1 (en) 2022-08-10
CN104823152A (zh) 2015-08-05
CN104823152B (zh) 2017-10-24
US10474233B2 (en) 2019-11-12
US9996150B2 (en) 2018-06-12
US20200033943A1 (en) 2020-01-30
JP2016509705A (ja) 2016-03-31

Similar Documents

Publication Publication Date Title
US11079841B2 (en) Enabling augmented reality using eye gaze tracking
US9633479B2 (en) Time constrained augmented reality
US20190025909A1 (en) Human-body-gesture-based region and volume selection for hmd
EP2859718B1 (en) Augmented reality arrangement of nearby location information
US20150070347A1 (en) Computer-vision based augmented reality system
US20140210857A1 (en) Realization method and device for two-dimensional code augmented reality
US10147399B1 (en) Adaptive fiducials for image match recognition and tracking
EP3206163B1 (en) Image processing method, mobile device and method for generating a video image database
CN107710280B (zh) 对象可视化方法
US20220100265A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
CN103443743A (zh) 上下文知晓的增强交互
US10783714B2 (en) Methods and systems for automatically tailoring a form of an extended reality overlay object
US20140330814A1 (en) Method, client of retrieving information and computer storage medium
WO2014176938A1 (en) Method and apparatus of retrieving information
US20210201586A1 (en) Augmented reality remote communication method and system for providing security function for 3d space
US20180150957A1 (en) Multi-spectrum segmentation for computer vision
CN116546274B (zh) 视频切分方法、选取方法、合成方法及相关装置
CN113744172A (zh) 文档图像的处理方法及装置、训练样本的生成方法及装置
CN112423384A (zh) 增强现实精确定位寻人寻物方法及装置
CN117115481A (zh) 一种定位方法、电子设备及介质
Fan Mobile Room Schedule Viewer Using Augmented Reality
WO2015131950A1 (en) Creating an animation of an image

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant