KR20160068916A - 시선 구동 증강 현실 - Google Patents

시선 구동 증강 현실 Download PDF

Info

Publication number
KR20160068916A
KR20160068916A KR1020167012299A KR20167012299A KR20160068916A KR 20160068916 A KR20160068916 A KR 20160068916A KR 1020167012299 A KR1020167012299 A KR 1020167012299A KR 20167012299 A KR20167012299 A KR 20167012299A KR 20160068916 A KR20160068916 A KR 20160068916A
Authority
KR
South Korea
Prior art keywords
user
roi
emotional state
information
objects
Prior art date
Application number
KR1020167012299A
Other languages
English (en)
Inventor
에두아르도 아스분
유리 레즈니크
아리엘라 제이라
그레고리 에스 스턴버그
랄프 네프
Original Assignee
인터디지탈 패튼 홀딩스, 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지탈 패튼 홀딩스, 인크 filed Critical 인터디지탈 패튼 홀딩스, 인크
Publication of KR20160068916A publication Critical patent/KR20160068916A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112—Global tracking of patients, e.g. by using GPS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00302—
    • G06K9/00604—
    • G06K9/00671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Abstract

증강 현실(AR) 시스템, 방법, 및 수단이 개시된다. 사용자의 시선 포인트가 추정될 수 있고, 이 사용자의 시선 포인트는 정보, 예를 들어, 사용자가 포커싱하고 있는 영역들에 관한 정보를 검색하고 제공하는 데에 이용될 수 있다. 사용자의 시선 포인트는 사용자의 뷰 방향에 의해 제어될 수 있는 상호작용성 및/또는 사용자 인터페이스들의 모드들을 촉진시키거나 또는 인에이블시키는 데에 이용될 수 있다. 사용자의 감정 상태를 추정하기 위해 생체측정 기술들이 이용될 수 있다. 이 추정된 감정 상태는 사용자에게 제공되는 정보이도록 하는 데에 이용될 수 있다.

Description

시선 구동 증강 현실{GAZE-DRIVEN AUGMENTED REALITY}
본 출원은 2013년 10월 11일에 출원된 미국 가특허 출원 61/889,900의 이익을 청구하며, 이 가특허 출원 내용 전체는 참조로서 본 명세서내에 병합된다.
증강 현실(augmented reality; AR)에 있어서, 사용자의 실세계 뷰(view)는 (스마트폰, 태블릿, 또는 (GOOGLE GLASS® 시스템과 같은) 착용식 전자 디바이스와 같은) 디바이스를 통해 조망되는 이미지의 최상부 상에 디지털 정보의 층 또는 층들을 추가함으로써 디지털방식으로 증대(또는 증강)될 수 있다. AR의 몇몇 응용예들은 관광(예컨대, 근처의 업소들 또는 명소들에 관한 정보를 제공함), 게이밍(예컨대, 실세계 환경에서의 디지털 게임 플레이), 네비게이션, 기타 등등을 포함할 수 있다.
AR의 응용예들은 모바일 디바이스들과 같은 무선 송수신 유닛(wireless transmit/receive unit; WTRU)에 적합할 수 있는데, 그 이유는 모바일 디바이스들에는 카메라들, 센서들, GPS(global positioning system), 및 (카메라 뷰의 방향을 결정하기 위한) 자이로스코프가 장착될 수 있기 때문이다. WTRU는 또한 서버와 상호작용하기 위한 능력들을 송신/수신할 수 있다.
증강 현실(AR) 시스템, 방법, 및 수단이 개시된다. 사용자의 시선 포인트가 추정될 수 있고, 이 사용자의 시선 포인트는 정보 검색 및 제공을 위해, 예를 들어, 단지 사용자가 자신의 뷰 방향으로 포커싱하고 있는 영역들에 관한 정보를 제공하는 데에 이용될 수 있다. 사용자의 시선 포인트는 사용자의 뷰 방향에 의해 제어될 수 있는 상호작용성 및/또는 사용자 인터페이스들의 모드들을 촉진시키거나 또는 인에이블시키는 데에 이용될 수 있다.
사용자의 감정 상태를 추정하기 위해 생체측정 기술들이 이용될 수 있다. 이 추정된 감정 상태는 사용자에게 제공되는 정보를 정제(refine)시키는 데에 이용될 수 있다.
AR 시스템에서 정보를 제공하는 방법은 사용자의 시선 포인트 및 이 시선 포인트의 함수로서의 관심 영역(region of interest; ROI)을 결정하는 단계를 포함할 수 있다. ROI 내의 객체에 관한 정보가 제공될 수 있다. 사용자의 감정 상태는 사용자에 관한 생체측정 데이터의 함수로서 결정될 수 있다. 검색 결과는 결정된 감정 상태의 함수로서 필터링될 수 있다.
도 1은 증강 현실(AR) 시스템의 예시적인 엘리먼트들을 나타내는 도면이다.
도 2a는 이미지 상에 겹쳐 놓여진 예시적인 AR 정보를 나타내는 도면이다.
도 2b는 이미지 상에 겹쳐 놓여진 AR 정보의 부정확 또는 불일치의 예시를 나타내는 도면이다.
도 3은 AR 기술을 구현하기 위한 예시적인 시스템을 나타내는 블록도이다.
도 4는 AR 기술을 구현하기 위한 다른 예시적인 시스템을 나타내는 블록도이다.
도 5는 예시적인 AR 검색 결과를 나타내는 도면이다.
도 6은 위치 기반 및 시각적 검색 기술들을 이용할 수 있는 예시적인 AR 시스템을 나타내는 블록도이다.
도 7은 예시적인 AR 사용자 인터페이스를 나타내는 도면이다.
도 8은 예시적인 시선 포인트 검출 시스템을 나타내는 블록도이다.
도 9는 예시적인 안구 추적 시스템을 나타낸다.
도 10은 관심 영역(ROI)에 대한 검색을 한정시키기 위한 시선 포인트 검출을 이용하는 예시를 나타낸다.
도 11a는 타겟까지의 거리들을 상이하게 함으로써 초래된 ROI로부터의 상이한 결과들을 나타내는 도면이다.
도 11b는 ROI의 크기의 조정을 나타내는 도면이다.
도 12는 시선 구동 사용자 인터페이스(user interface; UI)를 포함한 예시적인 AR 시스템을 도시한다.
도 13은 시선 구동 사용자 인터페이스(UI) 상에서의 시선 포인트 검출의 이용의 예시를 나타낸다.
도 14는 감정 상태를 추정하기 위해 이용될 수 있는 예시적인 모듈을 나타내는 블록도이다.
도 15는 예시적인 시선 구동 AR 시스템을 나타내는 블록도이다.
도 16은 시선 구동 AR 사용자 인터페이스를 나타내는 도면이다.
도 17은 관심대상의 객체들의 개수를 감소시키기 위해 ROI의 크기를 적응적으로 조정하는 예시를 도시한다.
도 18a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템의 시스템도이다.
도 18b는 도 18a에서 도시된 통신 시스템 내에서 이용될 수 있는 예시적인 무선 송수신 유닛(WTRU)의 시스템도이다.
도 18c는 도 18a에서 도시된 통신 시스템 내에서 이용될 수 있는 예시적인 코어 네트워크와 예시적인 무선 액세스 네트워크의 시스템도이다.
도 18d는 도 18a에서 도시된 통신 시스템 내에서 이용될 수 있는 다른 예시적인 코어 네트워크 및 다른 예시적인 무선 액세스 네트워크의 시스템도이다.
도 18e는 도 18a에서 도시된 통신 시스템 내에서 이용될 수 있는 다른 예시적인 코어 네트워크 및 다른 예시적인 무선 액세스 네트워크의 시스템도이다.
이제부터는 다양한 도면들을 참조하여 예시적인 실시예들의 상세한 설명을 기술할 것이다. 본 설명은 가능할 수 있는 구현예들의 상세한 예시를 제공하지만, 본 상세한 설명은 예시에 불과할 뿐이지, 본 응용의 범위를 어떠한 식으로든지 한정시키려고자 한 것은 아님을 유념해야 한다.
도 1은 WTRU(100)와 같은, 모바일 디바이스를 포함하는 증강 현실(AR) 시스템의 예시적인 엘리먼트들을 나타낸다. AR 시스템에서의 사용자 경험은 사용자과 관련이 있을 수 있는 정보를 제공함으로써 증대될 수 있다. 사용자의 뷰 방향을 추정함으로써, 검색 공간은 특성화될 수 있는데, 예컨대 한정될 수 있다. 결과물들의 퀄리티는 향상될 수 있고, 프로세싱 및 네트워크 자원들의 활용은 감소될 수 있다. 사용자의 시선 포인트가 추정될 수 있고, 이 사용자의 시선 포인트는 정보 검색 및 제공을 위해, 예를 들어, 단지 사용자가 자신의 뷰 방향으로 포커싱하고 있는 영역들에 관한 정보를 제공하는 데에 이용될 수 있다. 사용자의 시선 포인트는 사용자의 뷰 방향에 의해 제어될 수 있는 상호작용성 및/또는 사용자 인터페이스들의 모드들을 촉진시키거나 또는 인에이블시키는 데에 이용될 수 있다. 사용자의 감정 상태를 추정하기 위해 생체측정 기술들이 이용될 수 있다. 이 추정된 감정 상태는 사용자에게 제공되는 정보를 정제시키는 데에 이용될 수 있다.
장면의 이미지(102) 또는 비디오를 캡처하기 위해 카메라가 이용될 수 있다. 모바일 디바이스의 지리학적 위치, 예컨대 GPS 좌표들(104)을 결정하기 위해 GPS가 이용될 수 있으며, 카메라 뷰(106)의 방향을 결정하기 위해 자이로스코프가 이용될 수 있다. 이 정보는 서버(108)에 보내질 수 있고, 이 서버(108)는 WTRU(100)가 관심대상의 객체들 근처에 위치해 있는지 여부 및 이 객체들이 카메라의 시야(field of view) 내에 있는지 여부를 결정할 수 있다. 결과물들은 AR 클라이언트(110)에 제공될 수 있으며, AR 클라이언트(110)는 디바이스의 디스플레이 상에 텍스트 또는 이미지들을 겹쳐 놓음으로써 이러한 객체들을 하이라이트화(highlight)할 수 있다.
위치 기반 AR에서, 관련 정보는 (예컨대, GPS 또는 무선 네트워크들을 이용하여 획득된) 사용자의 지오로케이션(geolocation) 및/또는 (예컨대, 자이로스코프 또는 콤파스를 이용하여 획득된) 배향 정보에 기초하여 선택될 수 있다. 이러한 유형의 AR은 맵핑 또는 네비게이션 애플리케이션들과 함께 이용될 수 있고, 이 경우 사용자들은 자신의 위치 근처에 있는 상점들 또는 서비스들을 찾기를 원할 수 있다.
도 2a는 결과물들이 기존의 이미지들 또는 비디오 상에 겹쳐 놓여있을 수 있거나, 또는 카메라를 이용하여 캡처된 이미지들 또는 비디오 상에 오버레이될 수 있는 것을 나타낸다. 이 기술의 장점은 비교적 적은 정보가 서버에 보내지고 서버로부터 수신될 수 있어서, 통신 오버헤드가 감소되고 응답 시간이 향상될 수 있다는 점이다. 하지만, 지오로케이션 및/또는 배향 정보는 틀릴 수 있고, 카메라의 뷰는 차단될 수 있고/있거나, 카메라는 관련없는 객체를 지향할 수 있다. 이러한 상황들은 부정확하거나 또는 불일치한 정보가 사용자에게 보여지는 것을 초래시킬 수 있는데, 도 2b에서와 같이, 카메라의 뷰가 스크린 상에 오버레이된 정보와 관련성이 거의 없거나 또는 완전히 관련없을 수 있다.
도 3은 사용자의 시각적으로 근접해 있는 객체들에 관한 시각적 검색을 수행하기 위해 카메라(302)에 의해 캡처된 이미지 또는 이미지들을 예컨대, 실시간으로 이용할 수 있는 AR 기술을 구현할 수 있는 예시적인 시스템(300)을 도시한다. 시각적 검색은 서버(304)에 의해, 예컨대 전적으로 서버(304)에 의해서 수행될 수 있다. 예를 들어, 이미지 또는 이미지들은 클라이언트(306)에 의해 서버(304)에 보내질 수 있고, 이 서버(304)는 검색을 수행할 수 있다. 그런 후, 결과물들은 클라이언트(306)에 의한 디스플레이를 위해 클라이언트(306)에 되보내진다. 이러한 접근법은 서버(304)에 대한 대부분의 프로세싱을 오프로드(offload)시킬 수 있지만, 네트워크(308)를 통한 잠재적으로 방대한 양의 정보의 전송을 수반할 수 있는데, 이것은 레이턴시를 증가시킬 수 있다.
도 4는 프로세싱의 일부가 클라이언트(402)(예컨대, "클라이언트-서버" 모델)에 의해 행해질 수 있는 AR 기술을 구현할 수 있는 예시적인 시스템(400)을 도시한다. 검색을 수행하기 위해 서버(404)에 의해 이용되는 디스크립터(descriptor)들의 세트를 획득하도록 클라이언트(402)는 캡처된 이미지(들)로부터 관련 특징물들을 추출할 수 있다. 이러한 접근법으로, 네트워크(406)를 통해 보내지는 정보의 양은 상당히 감소되어, 시스템 응답 시간을 향상시킬 수 있다. 하지만, 클라이언트(402)에서의 프로세싱 요건들은 증가할 수 있다. 클라이언트 능력이 높으면, 시스템 성능을 한층 더 향상시키기 위해 데이터베이스(408)의 서브세트가 클라이언트(402)에서 캐시(cach)될 수 있다.
사용자들은 예컨대, 조명, 폐색, 카메라 틸트 등의 다양한 조건들 하에서 이미지 또는 비디오를 캡처할 수 있다. 시스템의 견고성을 향상시키는 것은 이러한 조건들 하에서 성능을 향상시킬 수 있다. 또한, 검색 레이턴시를 감소시키는 것은 실시간 동작을 향상시킬 수 있다. 시각적 검색의 성능을 향상시키기 위해, 시각적 검색이 서버에서 이용가능한 데이터의 서브세트에 대해 수행될 수 있다. 예를 들어, 사용자의 위치에 가까운 위치들을 고려함으로써 관련없는 데이터가 한정될 수 있다.
사용자에게 제공된 정보는 디바이스의 디스플레이 상에 보여지고 있는 뷰에 대응할 수 있어서, 그 관련성을 증가시킬 수 있다. 하지만, 클라이언트-서버 모델들의 경우에서는, 사용자가 별다른 관심을 갖지 않는 객체들에 대한 디스크립터 추출에 프로세싱 시간이 소비될 수 있다. 또한, 서버 중심 시스템들의 경우에서는, 쿼리(query) 이미지들이 클라이언트들로부터 원격 서버에 보내질 수 있다. 이것은 상당한 양의 네트워크 트래픽을 생성시킬 수 있다.
다른 문제점들은 사용자 인터페이스와 관련이 있을 수 있다. 예를 들어, 검색은 방대한 수의 매칭 객체들을 초래시킬 수 있는데, 이것은 잠재적으로 온 스크린 주석(on-screen annotation)들을 복잡하게 만들 수 있다.
도 5는 예시적인 스크린샷(502)을 나타낸다. 시스템은, 디스플레이된 객체들 중 어느 것이 사용자에게 중요한 것인지를 알 방법이 없는 경우, 디스플레이된 객체들의 수를 감소시키는 것은 어렵거나 또는 불가능하다는 것을 파악할 수 있다. 몇몇의 사용자들은 자신들에게 관련없을 수 있는 결과물들이 사용자 자신들에게 제공될 때 정보 과부하를 경험할 수 있다. 또한, 작은 스크린들로 인해 또는 주석들이 오버랩되는 경우에는, 다수의 결과물들 중에서 특정 결과물을 선택하는 것은 번거로울 수 있다.
도 6은 위치 기반 및 시각적 검색 기술들 둘 다를 이용할 수 있는 예시적인 AR 시스템(600)을 도시한다. 위치 기반 검색은 사용자의 위치를 추정하기 위해, GPS와 무선 네트워크들과 같은 센서들(602)로부터의 입력을 이용할 수 있다. 서버(604)에게는 위치가 제공될 수 있고, 이 서버(604)는 디바이스의 디스플레이(606) 상에서 사용자에게 결과물들을 제공하기 전에 검색을 수행할 수 있다. 시각적 검색은 예컨대 카메라(608)에 의해 캡처될 수 있는 이미지들로부터, 특징물들, 예컨대 디스크립터들을 추출함으로써 수행될 수 있다. 이 정보는 요청의 일부로서 서버(604)에 보내질 수 있다. 하나의 예시적인 특징물 추출 알고리즘이 SIFT(Scale Invariant Feature Transform)(610)로서 알려져 있으나, 다른 알고리즘들이 이용될 수 있다. 이용될 수 있는 이미지 검색 알고리즘은 "BoF(bag of features)"(612)로서 알려져 있다. 이러한 특징물들은 보다 관련이 많은 결과물들을 획득하기 위해 서버(604)에 보내질 수 있는 검색 요청을 생성하는 데에 이용될 수 있다. 음성 인식과 같은 다른 입력 방법들이 검색 요청을 생성하는 데에 이용될 수 있다.
예시적인 AR 시스템(600)은 시각적 검색을 이행하는 능력들을 가질 수 있고, 연산을 가속화하고 네트워크 트래픽을 감소시키기 위해 로컬 데이터베이스(616)를 유지할 수 있는 클라이언트(614)를 포함할 수 있다. 로컬 데이터베이스(616)는 요청들 및 대응하는 결과물들이 서버(604)에 보내지고 서버(604)로부터 수신될 때 이 요청들 및 대응하는 결과물들을 수집함으로써 구축될 수 있다. 결과물들의 관련성을 유지하고 오래된 결과물들을 제공하는 것을 방지하기 위해, 로컬 데이터베이스(616)는 일정한 시구간 후에 결과물들을 제거할 수 있다. 로컬 데이터베이스(616)는 하나 이상의 위치 기준을 이용하여 결과물들을 제거할 수 있는데, 예컨대, 사용자가 위치를 변경하면, 결과물들이 다시 필요할 가능성이 낮을 수 있기 때문에, 또는 캐시된 콘텐츠들이 계속해서 사용자의 현재 위치로부터 조망가능할 수 있을지 여부에 기초하여 몇몇의 결과물들은 캐시로부터 제거될 수 있다. 예를 들어, 콘텐츠 결과물은 콘텐츠 결과물과 연관된 위치에 대한 사용자의 현재 위치의 비교에 기초하여 캐시로부터 제거될 수 있다. 여기서 설명된 바와 같이, 시각적 검색은 서버에서, 예컨대, 오로지 서버에서만 이행될 수 있다. 이 경우, 로컬 검색은 생략될 수 있다.
도 7은 GOOGLE GLASS® 시스템과 같은, AR 시스템에 의해 제공될 수 있는 예시적인 AR 사용자 인터페이스(702)를 도시한다. AR 사용자 인터페이스(702)는 스마트폰들에 의해 수행될 수 있는 기능들을 사용자들이 수행할 수 있도록 해주는 데에 이용될 수 있다. 도 7에서 도시된 바와 같이, AR 사용자 인터페이스(702) 상에 다양한 정보(예컨대, 아이콘, 경고, 방향 화살표, 및/또는 다른 시각적 신호들)가 디스플레이될 수 있는데, 예컨대, 이러한 정보는 착용식 전자 디바이스의 표면 상에 투사될 수 있다. AR이 아이웨어(eyewear) 또는 콘택트 렌즈와 같은 착용식 전자 디바이스들과 더욱더 밀접히 통합됨에 따라, 시각적 검색 기능성은 이러한 디바이스들의 기능성을 향상시킬 것이다.
시각적 검색 기능성을 갖는 AR 시스템들은 카메라의 시야 내에 있는 객체들에 관한 정보의 검색을 인에이블시킬 수 있다. 하지만, 몇몇의 시각적 검색 기술들을 이용하는 경우, 제공된 정보 중 적어도 몇몇은 사용자에게 관심대상이 아닐 수 있다. 또한, 시스템 및 네트워크 자원들은 사용자가 관심을 갖지 않은 결과물들에 대한 검색에 이용될 수 있다. 게다가, 사용자 인터페이스는 이용하기가 번거로울 수 있다.
개시된 발명내용에 따르면, AR 시스템의 사용자에게 제공된 정보의 관련성은 복수의 기술들을 개별적으로 또는 조합하여 이용함으로써 향상될 수 있다. 사용자의 시선 포인트가 추정될 수 있고, 사용자가 자신의 뷰 방향으로 포커싱하고 있는 영역들에서(예컨대, 오로지 이 영역들에서만) 정보가 제공될 수 있다. 사용자의 추정된 시선 포인트는 사용자의 뷰 방향에 의해 제어될 수 있는 상호작용성 및/또는 사용자 인터페이스들의 모드들을 촉진시키거나 또는 인에이블시키는 데에 이용될 수 있다. 사용자에게 제공되는 정보를 한층 더 정제시키기 위해 사용자의 감정 상태를 추정하는 데에 생체 기술들이 이용될 수 있다.
AR 시스템에서의 검색 결과물들의 관련성 및/또는 퀄리티를 향상시키기 위해 시선 구동 시각적 검색 엔진이 이용될 수 있다. 도 8은 예시적인 시선 포인트 검출 시스템(800)을 도시한다. 도 8에서 도시된 특정 아키텍처 이외의 다른 아키텍처들이 구현될 수 있다는 것을 알 것이다. 사용자(804) 대면 카메라 또는 카메라들(802)은 하나 이상의 이미지들을 캡처할 수 있고, 이 하나 이상의 이미지들은 사람 안구의 식별을 촉진하도록 사람 신체 특징물들(예컨대, 얼굴, 코, 귀)의 존재를 결정하는 데에 이용될 수 있다. 카메라 또는 카메라들(802)이 사용자의 얼굴 가까이에 위치하는 경우, 카메라들은 시선 포인트의 추정을 촉진시키는 데 충분한 해상도의 이미지들을 캡처할 수 있다. 착용식 디바이스들의 경우, 카메라는 사용자의 안구와 대면하여 시선 포인트 검출을 인에이블시키면서 디바이스 자체 상에 배치될 수 있다.
시선 포인트 검출 서브시스템(806)은 뷰의 방향을 추정하고/추정하거나 검출하기 위해 하나 이상의 안구 시선 포인트 방향 추정 및/또는 검출 기술들을 이용할 수 있다. 관심 영역(ROI) 서브시스템(808)은 카메라에 의해 캡처되고 있는 이미지(814) 상의 ROI(812)의 좌표들(810)을 결정할 수 있다. ROI의 크기 및 정확한 검출의 신뢰도 레벨은 시선 포인트 검출을 위해 이용되는 기술 또는 기술들에 의해 결정될 수 있다. 이러한 파라미터들 중 하나 또는 둘 다는 검색을 수행하기 위한 ROI의 크기를 결정하기 위해 시스템(800)에 의해 이용될 수 있다.
시선 포인트 검출은 임의의 다양한 기술들에 기초할 수 있으며, 사용자의 머리 상에 장착된 디바이스들이나 또는 덜 침습적인 시스템들(예컨대, 원격 또는 비머리 장착형 시스템들)을 이용할 수 있다. 예를 들어, 시선 포인트 검출 시스템은 안구의 이미지를 분석할 수 있고, 동공 중심에 의해 정의된 벡터와 적외선 조명기에 의해 안구 내에 생성된 섬광(glint)들의 세트를 계산함으로써 시선 방향을 결정할 수 있다. 벡터의 해상도를 증가시키기 위해, 좁은 시야를 갖춘 카메라가 이용될 수 있다. 이미지 내 중심에서 안구를 유지하기 위해, 카메라는 안구를 따라 이동하여 머리 이동을 보상할 수 있다.
다른 예시적인 시선 포인트 검출 시스템은 사용자의 안구 위치들과 시선 방향의 거의 실시간적인 추적의 조합을 가능하게 해줄 수 있다. 이러한 시스템은 디스플레이의 좌우측 상에 장착된 두 개의 비디오 카메라들을 이용할 수 있고, 안구 내 동공의 위치를 결정하기 위해 안면 특징물 검출을 이용할 수 있다. 시선 방향을 결정하기 위해 각막 반사 방법이 이용될 수 있다. 예를 들어, 저전력 적외선 발광 다이오드(light emitting diode; LED) 어레이는 안구를 조명할 수 있고 각막 표면 상에 하이라이트를 생성할 수 있다. 알고리즘은 동공 및 각막 표면 반사 둘 다의 중심을 식별하고 로컬화할 수 있다. 두 개의 중심들간의 거리와 이 중심들의 배향(예컨대, 시선 벡터)은 시선 방향의 측정치를 제공할 수 있다.
도 9는 예컨대, 웹캠 및 적외선 조명을 비롯한 컴포넌트들을 이용할 수 있는 예시적인 안구 추적 시스템(900)을 나타낸다. 도 9는 이러한 시스템이 예컨대, 사용자의 안구 내의 스크린(906)의 반사(904)와 결정된 동공 중심(902)에 기초하여, 시선의 방향을 결정할 수 있는 방법을 나타낸다.
도 10은 ROI에 대한 검색을 한정시키기 위한 시선 포인트 검출의 예시를 나타낸다. 사용자의 ROI로부터의 특징물들은 서버에 보내질 수 있고, 서버에서는 검색이 일어날 수 있다. 서버 단독 접근법에서, 서버는 클라이언트에 의해 제공된 ROI 정보를 이용하여 특징물 추출을 수행할 수 있다. 서버와의 통신은 로컬 검색을 제일먼저 수행함으로써 감소될 수 있다.
단계(1002)에서, 시선 포인트가 결정될 수 있다. 단계(1004)에서, ROI는 예컨대, 클라이언트에 의해 식별될 수 있다. 사용자의 ROI를 결정한 후, 검색의 범위는 한층 더 정제될 수 있다.
도 11a는 타겟까지의 거리에 따라 동일한 ROI가 상이한 결과들을 산출시킬 수 있다는 것을 나타낸다. 사용자가 타겟에 가까이에 있을 때, 검색에서는 오직 객체 A만이 발견될 수 있다. 사용자가 타겟으로부터 멀어지면, 검색에서 객체들 A~E이 발견될 수 있다. 이러한 상황을 해결하기 위해, 관심대상의 다중 객체들이 발견될 때 ROI의 크기는 적응적으로 조정될 수 있다. 이것은 도 11b에서 도시되는데, 여기서는 관심대상의 객체들의 개수를 감소시키기 위해 원래의 ROI 크기가 감소된다. ROI 크기의 적응은, 관심대상의 객체들의 개수가 문턱값 위에 있을 때, 응시함으로써, 버튼을 누름으로써, 음성 명령에 의해 또는 자동적으로 트리거될 수 있다.
도 10으로 되돌아가서, 결정된 시선 포인트의 신뢰도가 최소 문턱값보다 크면, 단계(1004)에서 ROI가 결정될 수 있다. 단계(1006)에서 클라이언트는 특징물 추출을 수행할 수 있다. 단계(1008)에서 클라이언트는 ROI로부터 서버에 결과적인 특징물들을 보낼 수 있다. 단계(1010)에서 서버는 결정된 ROI에 대한 검색을 수행할 수 있고, 결과물들을 클라이언트에게 반환할 수 있다. 단계(1012)에서 클라이언트는 ROI로부터 추출된 특징물들에 관한 관련 정보를 디스플레이할 수 있다.
시선 포인트 검출을 이용한 결과로서, 시각적 검색이 ROI 내 또는 그 주변에 포커싱될 수 있다. ROI로부터 관련 특징물들을 추출하는 것은 검색을 수행하기 위한 프로세싱 요건들을 감소시키고, 서버에 보내질 수 있는 정보의 양을 감소시키며/감소시키거나, 사용자에게 보여지는 결과물들의 관련성을 향상시킬 수 있다.
시스템은 사용자가 사용자 자신의 뷰 방향으로 포커싱하는 영역에서 결과물들을 제공할 수 있다. 사용자가 특정 객체들을 찾고 있는 중일 때 상이한 이용 경우가 발생할 수 있고, 이 특정 객체들이 어디에 위치해 있는지를 알지 못할 수 있다. 사용자는 자신이 찾고 있는 객체들에 대한 검색을 지시하기 위한 입력을 (예컨대, 음성 명령, 키보드, 또는 터치 스크린을 통해) 시스템에 제공할 수 있다. 입력은 일반적(예컨대, "박물관" 또는 "음식"과 같은 카테고리들)이거나 또는 구체적(예컨대, "스타벅스 커피")일 수 있다. 사용자는 자신의 뷰 방향을 카메라의 시야 내에 있는 상이한 영역들에 지향시킴으로써 카메라의 시야를 스캐닝할 수 있다. 객체가 ROI 내에 있는지 여부를 사용자가 결정할 수 있도록 결과물들은 추정된 ROI에서 보여질 수 있다. 사용자는 카메라의 시야 내의 모든 결과물들이 제공되도록 시선 구동 특징물을 일시적으로 디스에이블시킬 수 있다.
사용자 상호작용을 향상시키고/향상시키거나 AR 시스템에서의 상호작용의 모드들을 촉진시키거나 또는 인에이블시키기 위해 시선 포인트 방향이 이용될 수 있다. 예를 들어, 사용자 인터페이스는 사용자의 뷰 방향에 의해 제어될 수 있다. 이러한 유형의 인터페이스에서, 메뉴 또는 선택들의 세트가 디스플레이 상에 도시될 수 있다. 사용자는 자신의 안구를 이용하여 선택들을 취할 수 있다. 이러한 상호작용의 모드는 보다 내추럴(natural)할 수 있고, 예컨대 손, 키보드, 마우스, 및/또는 터치 스크린을 이용한 것보다 빠를 수 있다. 몇몇의 시스템들의 경우, 예컨대, 착용식 시스템들의 경우, 마우스 및 키보드와 같은 상호작용을 위해 이용될 수 있는 주변장치들이 이용가능하지 않을 수 있으므로, 시선 구동 상호작용 프로세싱은 내추럴 상호작용 방법일 수 있다.
도 12는 시선 구동 사용자 인터페이스(UI)(1202)를 포함한 예시적인 AR 시스템(1200)을 도시한다. 시선 포인트 검출은 시선 포인트 검출 서브시스템(1204)에 의해 결정될 수 있다. 이 정보는 상호작용 프로세싱(예컨대, UI) 엔진(1206)에 전달될 수 있으며, 이 엔진(1206)에서는, 시선 포인트 방향과 ROI(1208)이 카메라(1210)로부터의 입력 및/또는 위치 기반 또는 시각적 검색으로부터의 결과물들과 결합될 수 있다. 상호작용 프로세싱은 사용자의 시선 포인트가 카메라의 시야 내의 관심대상의 객체의 위치에 대응한지를 결정함으로써 달성될 수 있다. 만약 사용자의 시선 포인트가 카메라의 시야 내의 관심대상의 객체의 위치에 대응한 경우, 시스템은 관심대상의 객체에 대응하는 액션, 예컨대 사용자 인터페이스(1202)에서 보여지는 바와 같이, 관심대상의 객체 상에 추가적인 정보(1212)를 보여주기를 취함으로써 응답할 수 있다.
도 13은 시선 구동 사용자 인터페이스 상에서의 시선 포인트 검출의 이용의 예시를 나타낸다. 단계(1302)에서, 클라이언트는 카메라의 시야 내에서 관심대상의 객체들을 결정할 수 있다. 시스템 성능을 향상시키기 위해, 거친(coarse) 시각적 검색이 제일먼저 수행될 수 있거나 또는 위치 기반 검색이 이용될 수 있다. 단계(1304)에서, 사용자의 ROI가 결정될 수 있다.
사용자는 타겟과 연관된 많은 관심대상의 객체들을 가질 수 있는 원거리 타겟(예컨대, 많은 소형 가게들이 있는 원거리 빌딩)을 찾고 있을 수 있다. 이 경우, 단계(1306)에서, 클라이언트는 관심대상의 객체들의 서브세트만을 제공하도록 ROI의 크기를 적응적으로 조정할 수 있다. 또한, 단계(1308)에서, 사용자가 객체들을 정확하게 '시선 트리거'할 수 있도록 객체들이 배열될 수 있고/있거나 이미지가 줌잉될 수 있다. 디바이스가 이미지 자체를 줌잉할 수 없는 경우(예컨대, 카메라에 줌이 구비되어 있지 않거나 또는 그러한 능력들이 한정된 경우), 추가적인 이미지가 서버로부터 획득될 수 있다. 서버는, 디바이스 카메라가 원거리로부터 카메라 줌에 의해 생성할 수 없는 상세한 사진을 제공할 수 있다.
사용자의 시선이 관심대상의 객체를 포함한 ROI 상에 미리 결정된 수 초 동안 포커싱된 후, 단계(1310)에서 클라이언트는 서버로부터 또는 로컬 데이터베이스로부터 객체에 관한 정보를 가져올 수 있고, 단계(1312)에서 이 정보는 사용자에게 디스플레이될 수 있다. 시스템 성능을 향상시키기 위해, 초기에는 한정된 양의 정보가 가져오기되어 사용자에게 보여질 수 있다.
사용자는 디스플레이 상에 도시된 정보에 포커싱함으로써 관심대상의 객체에 관한 추가적인 정보를 획득할 수 있다. 사용자의 시선이 해당 정보를 포함한 ROI 상에 미리 결정된 수 초 동안 포커싱된 후, 단계(1314)에서 클라이언트는 객체에 관한 정보를 더 많이 가져올 수 있고, 단계(1316)에서 이것을 사용자에게 디스플레이할 수 있다. 클라이언트는 또한 추가적인 정보 그 자체를 보여주는 것 대신에 외부 애플리케이션(예컨대, 웹 브라우저 또는 미디어 플레이어)을 호출할 수 있다.
AR 시스템에서 검색 결과물들의 관련성을 증가시키기 위해, 사용자의 감정 상태가 추론되거나 또는 추정될 수 있다. 감정 상태는 기쁨 및 분노와 같은 통상적인 감정 상태들뿐만이 아니라, 통상적으로 감정이라고 간주되지 않을 수 있는 생리학적 상태들(예컨대, 피곤함, 조심함, 및/또는 배고픔) 또는 심리 상태들(예컨대, 신경과민 및/또는 불안)을 포함할 수 있다. 사용자의 감정 상태를 추정하기 위해 GSR(Galvanic Skin Response) 및/또는 EEG(Electroencephalography)와 같은 다양한 센서들이 이용될 수 있다. 이러한 추정을 수행하기 위해 (음성 분석, 표정 표현들로부터 감정을 인식하기 위한 진보된 컴퓨터 비젼 기술들, 생체 측정치 및/또는 기타들과 같은) 다른 방법들이 또한 예컨대, V/A(Valence/Arousal) 차트에서의 포인트로서 이용될 수 있다.
도 14는 감정 상태를 추정하기 위해 이용될 수 있는 예시적인 모듈(1400)을 나타낸다. 결과물은 사용자에게 제공되는 검색 결과물들을 필터링하고/필터링하거나 등급화하는 데에 이용될 수 있다. 예를 들어, 사용자가 피곤한 경우, 음식 또는 음료와 관련된 선택물들은 박물관보다 높게 등급이 매겨질 수 있다. 도 14에서 도시된 바와 같이, 모듈(1400)은 입력들로서 GSR, EEG, 및/또는 다른 센서들로부터의 데이터, 카메라 데이터, 음성 데이터, 및/또는 다른 생체측정 데이터를 수신할 수 있다. 모듈(1400)은 추정된 감정 상태를 출력할 수 있고, 이 추정된 감정 상태는 호감도(valence)와 각성도(arousal) 값들을 가질 수 있고/있거나 분노, 슬픔, 기쁨, 및/또는 여유로움과 같은 디스크립터들에 맵핑될 수 있다.
다양한 입력들로부터 사용자의 감정 상태를 추정하는 것은 여기서 기술된 하나 이상의 기술들을 이용하여 행해질 수 있다. 이러한 기술들 각각은 V/A 차트 내 포인트를 산출시킬 수 있다. 모듈에 대한 입력들 모두 또는 그 일부가 이용가능할 수 있다. 어느 정도의 신뢰도를 갖고 사용자의 감정 상태를 추정하기 위해 V/A 차트 내 이용가능한 포인트들은 결합될 수 있다.
GSR(Galvanic skin response)은 피부의 전기 전도도를 측정할 수 있다. GSR은 감정들(예컨대, 공포, 분노, 놀람 반응)과 교감 신경 반응(예컨대, 각성 상태)에 매우 민감할 수 있다. GSR 센서 데이터는 사용자의 감정 상태에 맵핑될 수 있다. 사용자의 생각, 느낌, 및 표현을 검출하기 위해, EEG(electroencephalography) 데이터가 이용될 수 있고, 이 데이터는 높은 수준의 시간 해상도를 가질 수 있다.
컴퓨터 비젼 기술들이 사용자의 표정 표현들 및 제스처들로부터 감정을 인식하기 위해 이용될 수 있다. 나이, 성별, 인종, 인적사항, 키, 및 몸무게가 카메라 입력으로부터 추정될 수 있다.
음성 분석 기술들(예컨대, 음성 패턴 인식, 기계 학습, 운율 및 음향 특징물들의 연구, 목소리 에너지, 말속도, 및 휴지기)이 사용자의 감정을 추정하기 위해 이용될 수 있다.
일부 스마트 헤드폰들은 심박수, 여행 거리, 발걸음 수, 호흡수, 속도, 대사율, 에너지 소비량, 소모 칼로리, 회복 시간 등과 같은 생체측정 데이터를 측정할 수 있다. 호흡수 및 심박수와 같은 생체측정 데이터는 사용자의 감정 상태와 상관이 있을 수 있다.
다수의 센서들이 서로 연합하여 이용되는 경우, 센서들로부터의 출력을 결합하기 위해 평균 연산을 이용하여 감정 추정치가 계산될 수 있다. 평균 연산은 가중화 방식으로 수행될 수 있다(예컨대, 보다 에러가 나기 쉬운 유형의 센서들로부터의 출력은 보다 정확한 유형의 센서들로부터의 출력보다 덜 가중화된다). 일정한 센서가 출력을 생성하지 않으면, 감정 추정치를 결정하기 위한 평균 연산에서의 해당 출력에 대한 가중치는 제로(0)일 수 있다.
사용자의 감정 상태의 추정치를 획득한 후, 결과물은 서버에 대한 검색 요청을 정제하거나 또는 로컬 검색을 위해 이용될 수 있거나, 또는 사용자에게 제공되는 결과물들을 필터링하기 위해 이용될 수 있다. 예를 들어, 결과물들의 관련성을 증가시키기 위해 조건들을 추가하여 검색 공간을 제한시키기 위해 사용자의 감정 상태가 이용될 수 있다. V/A 차트에서의 포인트들은 검색 용어들에서의 정성자(qualifier)들로서 이용될 수 있는 객체들의 카테고리들에 맵핑될 수 있다. 그러므로, 검색 결과물들은 이러한 검색 용어들과 관련된 객체들을 포함할 수 있고 사용자와 보다 관련이 있을 수 있다. 예를 들어, 사용자가 “기뻐하고 있다”라고 클라이언트가 추정하면, “쇼핑” 또는 “음식”과 같은 용어들이 이용될 수 있다. 다른 예시로서, 상태가 “여유로움”인 것으로 추정되면, “드링크” 또는 “예술”과 같은 용어들이 이용될 수 있다. 감정 상태는 또한 결과물들의 관련성을 증가시키기 위해 결과물들을 필터링하고/필터링하거나 등급화하는 데에 이용될 수 있다. 예를 들어, 사용자가 “슬퍼하고 있다”라고 클라이언트가 추정하면, “건강” 또는 “음악”과 관련이 있는 검색 결과물들이 사용자에게 제공되기 전에 보다 높게 등급이 매겨질 수 있다. 다른 예시로서, 상태가 “분노”인 것으로 추정되면, “여행” 또는 “자연”과 관련이 있는 결과물들이 보다 높게 등급이 매겨질 수 있다.
도 15는 예시적인 시선 구동 AR 시스템(1500)을 나타낸다. 시선 구동 AR 시스템(1500)은 시선 포인트 검출/추정 서브시스템(1502) 및/또는 감정 상태 검출/추정 서브시스템(1504)을 포함할 수 있다. 시선 포인트 검출을 인에이블시키기 위해 하나 이상의 안구 대면 카메라들(1506)이 이용될 수 있다. 이 정보는 검색이 포커싱될 ROI(1508)를 결정하기 위해 이용될 수 있다. 검색을 수행하기 위한 프로세싱 요건들을 잠재적으로 감소시키고/감소시키거나 서버(1510)에 보내질 수 있는 정보의 양을 감소시키면서, 관련 특징물들이 ROI로부터(예컨대, 오로지 ROI로부터만) 추출될 수 있다.
사용자의 감정 상태를 추정하기 위해 GSR(Galvanic Skin Response) 및 EEG(Electroencephalography) 센서들(1512)과 같은 다양한 센서들이 이용될 수 있다. 음성 분석 또는 진보된 이미지 분석 기술들과 같은 다른 방법들이 이러한 추정을 수행하는 데에 이용될 수 있다. 결과물은, 잠재적으로 사용자에게 보여지는 결과물들의 퀄리티를 향상시키면서, 검색을 한층 더 좁히는 데에 이용될 수 있다.
시선 구동 렌더링 및 상호작용 프로세싱 모듈(1514)은 사용자들이 디스플레이(1516) 상에 제공되는 결과물들 및 옵션들과 상호작용할 수 있도록 해줄 수 있다.
시선/시각적 검색 히스토리가, 예컨대 로컬 검색 모듈(1520)의 일부로서, 로컬 데이터베이스(1518) 내에 저장되고/저장되거나 유지될 수 있다. 이 히스토리를 계속해서 추적하는 것은 클라이언트들과 서버간의 트래픽을 감소시킬 수 있으므로, 네트워크의 부담을 감소시킬 수 있다. 이것은 방대한 수의 클라이언트들에 대한 시스템의 스케일링을 촉진시킬 수 있다.
사용자의 프로파일을 유지함으로써 검색 결과물들은 향상될 수 있다. 사용자는, 예컨대 생체측정 또는 인적사항 정보를 입력함으로써 검색 파라미터들을 구성할 수 있다. 대안적으로, 사용자의 승인 하에, 시스템(1500)은, 센서들, 카메라들, 및/또는 다른 방법들을 이용함으로써, 이러한 데이터를 추론할 수 있다. 사용자 프로파일들은 클라이언트(1522)에서, 또는 서버(1510)에서, 국지적으로 유지될 수 있다.
감정적 응답들은 또한 사용자와 가장 관련이 있는 시각적 검색을 트리거하는 데에 유용한 가이드일 수 있다. 예를 들어, 특정 검색 결과물 또는 검색 결과물들의 클래스가 사용자의 혐오감 반응을 유발시켰던 경우를 시스템(1500)이 여러 번 검출한 경우, 이러한 검색 결과물 또는 검색 결과물들의 클래스는 미래에 우선순위가 낮아질 수 있거나, 또는 필터링되어 완전히 제거될 수 있다. 예를 들어, 시스템(1500)은 특정 샌드위치 가게(”해리의 샌드위치”)에 대한 AR 콘텐츠의 디스플레이가 사용자에 대한 부정적인 감정적 응답을 일으키는 경우들을 검출할 수 있으며, 그 결과로서, 시스템은 미래에 검색 결과물들에서 나타날 때 “해리의 샌드위치 가게”의 디스플레이에 대해 보다 낮은 우선순위를 부여할 수 있다. 복수의 상이한 샌드위치 가게들에 대한 AR 콘텐츠의 디스플레이가 사용자에 대한 부정적인 감정적 응답을 일으키는 패턴을 시스템(1500)이 나중에 검출하는 경우, 시스템(1500)은 일반적으로 샌드위치 가게들의 디스플레이에 대해 보다 낮은 우선순위를 부여할 수 있거나, 또는 샌드위치 가게들 이외의 다른 레스토랑의 클래스들의 디스플레이에 대해 보다 높은 우선순위를 부여할 수 있다. 특정 검색 결과물 또는 검색 결과물들의 클래스가 사용자에 대해 기쁨의 반응(예컨대, 행복한 표현을 표출하거나 웃음짓기)을 유발시켰던 경우를 시스템(1500)이 여러 번 검출한 경우, 이러한 검색 결과물 또는 검색 결과물들의 클래스는 미래에 보다 높은 우선순위가 부여될 수 있다. 감정적 반응들의 히스토리(예컨대, 감정적 반응, 감정적 반응의 날짜 및/또는 시간, 및 감정적 반응을 표출했던 AR 콘텐츠 및/또는 실제 콘텐츠를 포함한 여러가지 기록들)는 국지적으로 또는 서버(1510)에 유지될 수 있다.
시선 추적은 머리 착용 AR 디바이스들과 같은 착용식 전자 디바이스들, 예컨대 GOOGLE GLASS® 시스템과 함께 이용될 수 있다. 사용자의 시선 포인트의 지식은 검색을 국지화하고 주석들의 관련성 및 유효성을 향상시키는 데에 이용될 수 있다. 시선 포인트 검출은 또한 AR 애플리케이션들과의 상호작용을 촉진시키거나 또는 인에이블시키는 데에 이용될 수 있다. 예를 들어, 시선 구동 시각적 검색 강화 AR을 이용함으로써, 검색 결과물들은 사용자 자신의 시선 포인트 근처, 예컨대 이 서신 포인트 근처에만 나타날 수 있다. 특정 주석에 포커싱함으로써, 사용자는 관심대상의 객체에 관한 정보를 갖는 보다 상세한 주석들로의 주석의 확장을 인보크할 수 있다.
도 16은 시선 구동 AR 사용자 인터페이스(1600)를 나타낸다. 도 16에서, 이미지(1602)는 AR 사용자 인터페이스를 통해 사용자에 의해 보여지는 뷰를 나타낸다. 사용자는 원(1604)에 의해 표현된 바와 같이, 자신의 시선을, 인식된 객체들 옆에 배치된 기호들, 예컨대 상세한 이미지(1606)에서 도시된 레스토랑 아이콘에 포커싱할 수 있다. 사용자가 수 초 동안 자신의 뷰를 어떤 기호에 포커싱하면, 인식된 객체에 관한 여분의 정보가 상세한 이미지(1608)에서 도시된 바와 같이 스크린 상에 제공될 수 있다.
도 17은 관심대상의 객체들의 개수를 감소시키기 위해 ROI의 크기를 적응적으로 조정하는 예시를 도시한다. 이미지(1702)는 AR 사용자 인터페이스를 통해 사용자에 의해 보여지는 뷰를 나타낸다. 사용자는 자신의 시선을 ROI(1704)에 포커싱할 수 있다. 클라이언트는 ROI를 결정할 수 있다. 이미지(1706)에서 도시된 바와 같이, ROI(1704)는 사용자에게 관심대상일 수 있는 복수의 객체들을 포함할 수 있다. 클라이언트는 오버랩된 윈도우(1708)에서 사용자에게 한정된 수의 객체들을 제공하도록 ROI 크기를 적응적으로 조정할 수 있다. 사용자는 새로운 윈도우(1708) 내의 객체에 대해 자신의 관심을 포커싱할 수 있다. 클라이언트는 새로운 ROI(1710)를 결정할 수 있다. 이미지(1712)에서 도시된 바와 같이, 클라이언트는, 자신의 줌잉 능력들이 한정될 수 있으므로, 서버로부터 추가적인 이미지를 획득할 수 있고, 새로운 윈도우(1714)에서 사용자에게 추가적인 정보(예컨대, “매장 시간”)를 제공할 수 있다. 사용자는 자신의 관심을 새로운 윈도우(1714)에 포커싱할 수 있고, 클라이언트는 새로운 애플리케이션(예컨대, 웹 브라우저)을 론칭(launch)할 수 있다.
서버로부터의 추가적인 이미지는 미리 기록된 이미지들 또는 비디오 콘텐츠를 포함할 수 있다. 예를 들어, 서버는 관심대상의 위치들로부터, 업소 또는 랜드마크에 대응하는 위치들로부터, 또는 길거리 또는 길거리들의 세트로부터 가시적인 모든 위치들로부터 이전에 기록된 추가적인 이미지의 데이터베이스를 가질 수 있다. 예를 들어, 서버는 지리학적 위치에 의해 인덱싱된 연속적인 길거리 이미지의 데이터베이스를 가질 수 있고, 이러한 이미지는 줌잉된 ROI 이미지들을 디스플레이하는 데에 이용될 수 있다. 예를 들어, 이러한 이미지는 사용자의 디바이스 상에서 이용가능한 카메라로부터 획득가능한 것들보다 더 상세한 이미지들을 디스플레이하는 데에 이용될 수 있다. 서버는 주어진 ROI에 대해 디스플레이하는 데에 적절한 이미지를 식별하기 위해, 데이터베이스 내에서 인덱싱된 바와 같이, 물리적 세계에서의 사용자의 시선 포인트의 위치를 추가적인 이미지에 대응하는 위치들에 상관시키고/상관시키거나 매칭시킬 수 있다.
서버로부터의 추가적인 이미지는 라이브 카메라로부터 캡처된 이미지들 또는 비디오 콘텐츠를 포함할 수 있다. 예를 들어, 서버는 관심대상의 위치들의 뷰들, 업소 또는 랜드마크에 대응하는 위치들의 뷰들, 또는 길거리 뷰들을 갖는 하나 이상의 카메라들에 대한 액세스를 가질 수 있다. 라이브 카메라로부터의 이미지 및/또는 비디오 콘텐츠는 고정된 연결을 통해, 또는 통신 네트워크를 통해 서버에 대해 이용가능할 수 있다. 서버는 물리적 세계에서의 사용자의 시선 포인트의 위치를 이용가능한 카메라들의 위치들에 상관시키고/상관시키거나 매칭시킬 수 있고, 이러한 방식으로 서버는 적절한 카메라를 위치시킬 수 있고/있거나 적절한 카메라가 이용가능한지 여부를 결정할 수 있다. 서버는 주어진 ROI에 대응하는 이미지들 및/또는 비디오 콘텐츠를 획득하기 위해 카메라와 통신할 수 있고, 이러한 이미지들을 사용자 디바이스 상에서의 디스플레이를 위해 사용자 디바이스에게 송신할 수 있다.
사용자 디바이스에 의해 디스플레이된 서버로부터의 추가적인 이미지는 이 추가적인 이미지의 범위와 연관된 관심대상의 객체들에 관한 정보와 함께 디스플레이될 수 있다. 사용자 인터페이스는 사용자로 하여금 이러한 방식으로 디스플레이된 관심대상의 객체들을 선택할 수 있게 해줄 수 있거나, 또는 사용자로 하여금 본 명세서에서 개시된 기술들을 이용하여 이미지를 한층 더 줌인할 수 있게 해줄 수 있다.
사용자 인터페이스는 사용자로 하여금 추가적인 이미지 내에서 패닝(pan)할 수 있게 해줄 수 있다. 예를 들어, 사용자 디바이스가 태블릿 컴퓨팅 디바이스인 경우, 사용자 디바이스는 패닝 이동으로 태블릿 컴퓨팅 디바이스를 사용자가 이동시킨 것에 응답하여 도 17의 이미지(1712)에서 도시된 줌잉된 뷰 내에 이미지를 패닝시킬 수 있다. 다른 예시로서, 사용자 디바이스가 머리 장착 디스플레이를 갖춘 착용식 카메라 디바이스인 경우, 사용자 디바이스는 사용자의 머리 이동 패닝에 응답하여 도 17의 이미지(1712)에서 도시된 줌잉된 뷰 내에 이미지를 패닝시킬 수 있다. 사용자 디바이스는 사용자 디바이스 상의 배향 센서들을 이용하여 패닝 이동을 검출할 수 있거나, 또는 사용자 디바이스의 카메라로부터의 이동을 검출함으로써 패닝 이동들을 추론할 수 있다. 사용자 디바이스는 패닝 이동, 사용자 디바이스 배향, 및/또는 사용자의 시선 포인트를 기술하는 업데이트된 정보를 서버에 보낼 수 있다. 이에 응답하여, 서버는 업데이트된 정보에 대응하는 업데이트된 이미지를 제공할 수 있고, 사용자 디바이스는 추가적인 이미지 내에서의 패닝을 위해 업데이트된 이미지를 디스플레이할 수 있다. 이러한 방식으로, 사용자는 사용자의 디바이스 상에서 이용가능한 카메라를 이용하여 캡처될 수 있는 것보다 더 많은 세부사항을 가질 수 있는 물리적 세계의 확대된 뷰 내에서 네비게이팅할 수 있다.
도 18a는 하나 이상의 개시된 실시예들이 구현될 수 있는 예시적인 통신 시스템(1800)의 도면이다. 통신 시스템(1800)은 음성, 데이터, 비디오, 메시징, 브로드캐스트 등과 같은 콘텐츠를 다중 무선 사용자들에게 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(1800)은 다중 무선 사용자들이 무선 대역폭을 비롯한 시스템 자원들의 공유를 통해 이러한 콘텐츠에 액세스할 수 있도록 해줄 수 있다. 예를 들어, 통신 시스템(1800)은 코드 분할 다중 액세스(code division multiple access; CDMA), 시분할 다중 액세스(time division multiple access; TDMA), 주파수 분할 다중 액세스(frequency division multiple access; FDMA), 직교 FDMA(Orthogonal FDMA; OFDMA), 단일 캐리어 FDMA(Single-Carrier FDMA; SC-FDMA) 등과 같은 하나 이상의 채널 액세스 방법들을 이용할 수 있다.
도 18a에서 도시된 바와 같이, 통신 시스템(1800)은 무선 송수신 유닛(WTRU)들(1802a, 1802b, 1802c 및/또는 1802d)(이것들을 WTRU(1802)라고 통칭하거나 또는 총칭한다), 무선 액세스 네트워크(radio access network; RAN)(1803/1804/1805), 코어 네트워크(1806/1807/1809), 공중 전화 교환망(public switched telephone network; PSTN)(1808), 인터넷(1810), 및 기타 네트워크들(1812)을 포함할 수 있지만, 개시된 실시예들은 임의의 갯수의 WTRU, 기지국, 네트워크, 및/또는 네트워크 엘리먼트를 구상할 수 있다는 것을 알 것이다. WTRU들(1802a, 1802b, 1802c, 1802d) 각각은 무선 환경에서 동작하거나 및/또는 통신하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로서, WTRU들(1802a, 1802b, 1802c, 1802d)은 무선 신호들을 송신하거나 및/또는 수신하도록 구성될 수 있으며, 사용자 장비(UE), 이동국, 고정 가입자 유닛 또는 이동 가입자 유닛, 페이저, 셀룰러 전화기, 개인 휴대 정보 단말기(PDA), 스마트폰, 랩탑, 넷북, 개인 컴퓨터, 무선 센서, 가전 전자제품 등을 포함할 수 있다.
통신 시스템(1800)은 또한 기지국(1814a)과 기지국(1814b)을 포함할 수 있다. 기지국들(1814a, 1814b) 각각은 코어 네트워크(1806/1807/1809), 인터넷(1810), 및/또는 네트워크(1812)와 같은, 하나 이상의 통신 네트워크들에 대한 액세스를 용이하게 해주기 위해 WTRU들(1802a, 1802b, 1802c, 1802d) 중 적어도 하나의 WTRU와 무선방식으로 인터페이싱하도록 구성된 임의의 유형의 디바이스일 수 있다. 예로서, 기지국들(1814a, 1814b)은 기지국 트랜스시버(base transceiver station; BTS), 노드 B, e노드 B, 홈 노드 B, 홈 e노드 B, 싸이트 제어기, 액세스 포인트(access point; AP), 무선 라우터 등일 수 있다. 기지국들(1814a, 1814b)은 각각 단일 엘리먼트로서 도시되었지만, 기지국들(1814a, 1814b)은 임의의 개수의 상호연결된 기지국들 및/또는 네트워크 엘리먼트들을 포함할 수 있다는 것을 이해할 것이다.
기지국(1814a)은 기지국 제어기(base station controller; BSC), 무선 네트워크 제어기(radio network controller; RNC), 중계 노드 등과 같은, 네트워크 엘리먼트들 및/또는 다른 기지국들(미도시)을 또한 포함할 수 있는 RAN(1803/1804/1805)의 일부일 수 있다. 기지국(1814a) 및/또는 기지국(1814b)은 셀(미도시)이라고 칭해질 수 있는 특정한 지리학적 영역 내에서 무선 신호들을 송신 및/또는 수신하도록 구성될 수 있다. 셀은 셀 섹터들로 더 분할될 수 있다. 예를 들어, 기지국(1814a)과 연관된 셀은 세 개의 섹터들로 분할될 수 있다. 따라서, 하나의 실시예에서, 기지국(1814a)은 세 개의 트랜스시버들, 예컨대, 셀의 각 섹터 마다 하나씩의 트랜스시버들을 포함할 수 있다. 또 다른 실시예에서, 기지국(1814a)은 다중 입력 다중 출력(multiple-input multiple output; MIMO) 기술을 이용할 수 있고, 이에 따라, 셀의 각 섹터 마다 다수의 트랜시버들을 이용할 수 있다.
기지국들(1814a, 1814b)은 임의의 적절한 무선 통신 링크(예컨대, 무선 주파수(radio frequency; RF), 마이크로파, 적외선(infrared; IR), 자외선(ultraviolet; UV), 가시광 등)일 수 있는 무선 인터페이스(1815/1816/1817)를 통해 하나 이상의 WTRU들(1802a, 1802b, 1802c, 1802d)과 통신할 수 있다. 무선 인터페이스(1815/1816/1817)는 임의의 적절한 무선 액세스 기술(radio access technology; RAT)을 이용하여 구축될 수 있다.
보다 구체적으로, 위에서 언급한 바와 같이, 통신 시스템(1800)은 다중 액세스 시스템일 수 있으며, CDMA, TDMA, FDMA, OFDMA, SC-FDMA, 등과 같은 하나 이상의 채널 액세스 방식들을 이용할 수 있다. 예를 들어, RAN(1803/1804/1805)에서의 기지국(1814a) 및 WTRU들(1802a, 1802b, 1802c)은 광대역 CDMA(wideband CDMA; WCDMA)를 이용하여 무선 인터페이스(1815/1816/1817)를 구축할 수 있는 유니버셜 이동 원격통신 시스템(Universal Mobile Telecommunications System; UMTS) 지상 무선 액세스(Terrestrial Radio Access)(UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 진화형 HSPA(Evolved HSPA; HSPA+)와 같은 통신 프로토콜들을 포함할 수 있다. HSPA는 고속 다운링크 패킷 액세스(High Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크 패킷 액세스(High Speed Uplink Packet Access; HSUPA)를 포함할 수 있다.
다른 실시예에서, 기지국(1814a) 및 WTRU들(1802a, 1802b, 1802c)은 롱 텀 에볼루션(Long Term Evolution; LTE) 및/또는 LTE 어드밴스드(LTE-Advanced; LTE-A)를 이용하여 무선 인터페이스(1815/1816/1817)를 구축할 수 있는 진화된 UMTS 지상 무선 액세스(Evolved UMTS Terrestrial Radio Access; E-UTRA)와 같은 무선 기술을 구현할 수 있다.
다른 실시예들에서, 기지국(1814a) 및 WTRU들(1802a, 1802b, 1802c)은 IEEE 802.16(예컨대, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), GSM(Global System for Mobile communications), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE(GERAN), 등과 같은 무선 기술들을 구현할 수 있다.
도 18a에서의 기지국(1814b)은 예컨대 무선 라우터, 홈 노드 B, 홈 e노드 B, 또는 액세스 포인트일 수 있으며, 회사, 가정, 차량, 캠퍼스 등의 장소와 같은 국지적 영역에서의 무선 연결을 용이하게 하기 위해 임의의 적절한 RAT을 이용할 수 있다. 하나의 실시예에서, 기지국(1814b) 및 WTRU들(1802c, 1802d)은 IEEE 802.11와 같은 무선 기술을 구현하여 무선 근거리 네트워크(wireless local area network; WLAN)를 구축할 수 있다. 또 다른 실시예에서, 기지국(1814b) 및 WTRU들(1802c, 1802d)은 IEEE 802.15와 같은 무선 기술을 구현하여 무선 개인 영역 네트워크(wireless personal area network; WPAN)를 구축할 수 있다. 또 다른 실시예에서, 기지국(1814b) 및 WTRU들(1802c, 1802d)은 셀룰러 기반 RAT(예컨대, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)을 이용하여 피코셀 또는 펨토셀을 구축할 수 있다. 도 18a에서 도시된 바와 같이, 기지국(1814b)은 인터넷(1810)에 대한 직접 연결을 가질 수 있다. 이에 따라, 기지국(1814b)은 코어 네트워크(1806/1807/1809)를 통해 인터넷(1810)에 액세스할 필요가 없을 수 있다.
RAN(1803/1804/1805)은 코어 네트워크(1806/1807/1809)와 통신할 수 있으며, 코어 네트워크(1806/1807/1809)는 음성, 데이터, 애플리케이션, 및/또는 VoIP(voice over internet protocol) 서비스들을 WTRU들(1802a, 1802b, 1802c, 1802d) 중 하나 이상의 WTRU에게 제공하도록 구성된 임의의 유형의 네트워크일 수 있다. 예를 들어, 코어 네트워크(1806/1807/1809)는 콜 제어, 빌링 서비스, 이동 위치 기반 서비스, 선납제 콜링, 인터넷 접속, 비디오 배포 등을 제공할 수 있으며, 및/또는 사용자 인증과 같은 상위레벨 보안 기능을 수행할 수 있다. 도 18a에서는 도시되지 않았지만, RAN(1803/1804/1805) 및/또는 코어 네트워크(1806/1807/1809)는 RAN(1803/1804/1805)과 동일한 RAT을 이용하거나 또는 상이한 RAT을 이용하는 다른 RAN들과 직접적 또는 간접적으로 통신할 수 있다는 것을 이해할 것이다. 예를 들어, 코어 네트워크(1806/1807/1809)는, E-UTRA 무선 기술을 이용하는 중일 수 있는 RAN(1803/1804/1805)에 접속하는 것에 더하여, 또한 GSM 무선 기술을 이용하는 또 다른 RAN(미도시)과 통신할 수도 있다.
코어 네트워크(1806/1807/1809)는 또한 WTRU들(1802a, 1802b, 1802c, 1802d)이 PSTN(1808), 인터넷(1810), 및/또는 다른 네트워크들(1812)에 액세스하기 위한 게이트웨이로서 역할을 할 수 있다. PSTN(1808)은 POTS(plain old telephone service)를 제공하는 회선 교환형 전화망을 포함할 수 있다. 인터넷(1810)은 송신 제어 프로토콜(transmission control protocol; TCP)/인터넷 프로토콜(internet protocol; IP) 슈트에서의, TCP, 사용자 데이터그램 프로토콜(user datagram protocol; UDP) 및 IP와 같은, 일반적인 통신 프로토콜들을 이용하는 상호연결된 컴퓨터 네트워크 및 디바이스의 글로벌 시스템을 포함할 수 있다. 네트워크(1812)는 다른 서비스 제공자들에 의해 소유되거나 및/또는 동작되는 유선 또는 무선 통신 네트워크들을 포함할 수 있다. 예를 들어, 네트워크(1812)는 RAN(1803/1804/1805)과 동일한 RAT 또는 상이한 RAT을 이용할 수 있는, 하나 이상의 RAN들에 접속된 또 다른 코어 네트워크를 포함할 수 있다.
통신 시스템(1800) 내의 WTRU들(1802a, 1802b, 1802c, 1802d) 중 몇몇 또는 그 전부는 멀티 모드 능력들을 포함할 수 있는데, 즉 WTRU들(1802a, 1802b, 1802c, 1802d)은 상이한 무선 링크들을 통한 상이한 무선 네트워크들과의 통신을 위한 다중 트랜시버들을 포함할 수 있다. 예를 들어, 도 18a에서 도시된 WTRU(1802c)는 셀룰러 기반 무선 기술을 이용할 수 있는 기지국(1814a)과 통신하며, IEEE 802 무선 기술을 이용할 수 있는 기지국(1814b)과 통신하도록 구성될 수 있다.
도 18b는 예시적인 WTRU(1802)의 시스템도이다. 도 18b에서 도시된 바와 같이, WTRU(1802)는 프로세서(1818), 트랜시버(1820), 송신/수신 엘리먼트(1822), 스피커/마이크로폰(1824), 키패드(1826), 디스플레이/터치패드(1828), 비탈착식 메모리(1830), 탈착식 메모리(1832), 전원(1834), 글로벌 위치확인 시스템(global positioning system; GPS) 칩셋(1836), 및 기타 주변장치들(1838)을 포함할 수 있다. WTRU(1802)는 실시예와 일관성을 유지하면서 전술한 엘리먼트들의 임의의 서브 조합을 포함할 수 있다는 것을 이해할 것이다. 또한, 실시예들은 기지국들(1814a, 1814b), 및/또는 비제한적인 예시로서, 여러가지 중에서도, 기지국 트랜스시버(BTS), 노드 B, 싸이트 제어기, 액세스 포인트(AP), 홈 노드 B, 진화형 홈 노드 B(eNodeB), 홈 진화형 노드 B(HeNB 또는 HeNodeB), 홈 진화형 노드 B 게이트웨이, 및 프록시 노드와 같이, 기지국들(1814a, 1814b)을 나타낼 수 있는 노드들이 도 18b에서 도시되고 여기서 설명된 엘리먼트들의 일부분 또는 그 전부를 포함할 수 있다는 것을 구상할 수 있다.
프로세서(1818)는 범용 프로세서, 특수 목적용 프로세서, 통상의 프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 복수개의 마이크로프로세서, DSP 코어와 연계된 하나 이상의 마이크로프로세서, 제어기, 마이크로제어기, 응용 특정 집적 회로(Application Specific Integrated Circuit; ASIC), 필드 프로그램가능 게이트 어레이(Field Programmable Gate Array; FPGA) 회로, 임의의 다른 유형의 집적 회로(integrated circuit; IC), 상태 머신 등일 수 있다. 프로세서(1818)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입력/출력 프로세싱, 및/또는 WTRU(1802)가 무선 환경에서 동작할 수 있도록 해주는 임의의 다른 기능을 수행할 수 있다. 프로세서(1818)는 송신/수신 엘리먼트(1822)에 결합될 수 있는 트랜시버(1820)에 결합될 수 있다. 도 18b는 프로세서(1818)와 트랜시버(1820)를 개별적인 컴포넌트들로서 도시하지만, 프로세서(1818)와 트랜시버(1820)는 전자 패키지 또는 칩내에서 합체될 수 있다는 것을 이해할 것이다.
송신/수신 엘리먼트(1822)는 무선 인터페이스(1815/1816/1817)를 통해 기지국(예컨대, 기지국(1814a))에 신호를 송신하거나, 또는 기지국으로부터 신호를 수신하도록 구성될 수 있다. 예를 들어, 하나의 실시예에서, 송신/수신 엘리먼트(1822)는 RF 신호를 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 또 다른 실시예에서, 송신/수신 엘리먼트(1822)는 예컨대 IR, UV, 또는 가시광 신호를 송신 및/또는 수신하도록 구성된 발광기/검출기일 수 있다. 또 다른 실시예에서, 송신/수신 엘리먼트(1822)는 RF와 광 신호 모두를 송신 및 수신하도록 구성될 수 있다. 송신/수신 엘리먼트(1822)는 임의의 조합의 무선 신호들을 송신 및/또는 수신하도록 구성될 수 있다는 것을 알 것이다.
또한, 도 18b에서는 송신/수신 엘리먼트(1822)가 단일 엘리먼트로서 도시되지만, WTRU(1802)는 임의의 갯수의 송신/수신 엘리먼트(1822)를 포함할 수 있다. 보다 구체적으로, WTRU(1802)는 MIMO 기술을 이용할 수 있다. 따라서, 하나의 실시예에서, WTRU(1802)는 무선 인터페이스(1815/1816/1817)를 통해 무선 신호를 송신 및 수신하기 위한 두 개 이상의 송신/수신 엘리먼트(1822)(예컨대, 다중 안테나)를 포함할 수 있다.
트랜시버(1820)는 송신/수신 엘리먼트(1822)에 의해 송신될 신호를 변조시키고 송신/수신 엘리먼트(1822)에 의해 수신되는 신호를 복조시키도록 구성될 수 있다. 상기와 같이, WTRU(1802)는 멀티 모드 능력들을 가질 수 있다. 따라서, 트랜스시버(1820)는 WTRU(1802)가 예컨대 UTRA 및 IEEE 802.11와 같은, 다중 RAT들을 통해 통신할 수 있도록 해주기 위한 다중 트랜스시버들을 포함할 수 있다.
WTRU(1802)의 프로세서(1818)는 스피커/마이크로폰(1824), 키패드(1826), 및/또는 디스플레이/터치패드(1828)(예컨대, 액정 디스플레이(liquid crystal display; LCD) 디스플레이 유닛 또는 유기 발광 다이오드(organic light emitting diode; OLED) 디스플레이 유닛)에 결합될 수 있고, 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(1818)는 또한 스피커/마이크로폰(1824), 키패드(1826), 및/또는 디스플레이/터치패드(1828)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(1818)는 비탈착가능형 메모리(1830) 및/또는 탈착가능형 메모리(1832)와 같은, 임의의 유형의 적절한 메모리로부터의 정보에 액세스하고, 이러한 메모리에 데이터를 저장할 수 있다. 비탈착가능형 메모리(1830)는 랜덤 액세스 메모리(random-access memory; RAM), 판독 전용 메모리(read-only memory; ROM), 하드 디스크, 또는 임의의 다른 유형의 메모리 저장 디바이스를 포함할 수 있다. 탈착식 메모리(1832)는 가입자 식별 모듈 (subscriber identity module; SIM) 카드, 메모리 스틱, 보안 디지털(secure digital; SD) 메모리 카드 등을 포함할 수 있다. 다른 실시예들에서, 프로세서(1818)는 서버 또는 가정 컴퓨터(미도시)상에서와 같이, WTRU(1802)상에서 물리적으로 위치하지 않는 메모리로부터의 정보에 액세스하고, 이러한 메모리에 데이터를 저장할 수 있다.
프로세서(1818)는 전원(1834)으로부터 전력을 수신할 수 있고, WTRU(1802) 내의 다른 컴포넌트들에게 이 전력을 분배하고 및/또는 제어하도록 구성될 수 있다. 전원(1834)은 WTRU(1802)에게 전력을 공급해주기 위한 임의의 적절한 디바이스일 수 있다. 예를 들어, 전원(1834)은 하나 이상의 건식 셀 배터리들(예컨대, 니켈 카드뮴(NiCd), 니켈 아연(NiZn), 니켈 금속 하이드라이드(NiMH), 리튬 이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.
프로세서(1818)는 또한 GPS 칩셋(1836)에 결합될 수 있으며, 이 GPS 칩셋(1836)은 WTRU(1802)의 현재 위치에 관한 위치 정보(예컨대, 경도 및 위도)를 제공하도록 구성될 수 있다. GPS 칩셋(1836)으로부터의 정보에 더하여, 또는 이를 대신하여, WTRU(1802)는 무선 인터페이스(1815/1816/1817)를 통해 기지국(예컨대, 기지국들(1814a, 1814b))으로부터 위치 정보를 수신하고, 및/또는 근처에 있는 두 개 이상의 기지국들로부터 신호들이 수신되는 타이밍에 기초하여 자신의 위치를 결정할 수 있다. WTRU(1802)는 실시예와 일관성을 유지하면서 임의의 적절한 위치 결정 구현예를 통해 위치 정보를 획득할 수 있는 것을 이해할 것이다.
프로세서(1818)는 또한 다른 주변장치들(1838)에 결합될 수 있으며, 이 주변장치들(1838)은 추가적인 특징들, 기능 및/또는 유선 또는 무선 연결을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈들을 포함할 수 있다. 예를 들어, 주변장치들(1838)은 가속도계, e콤파스, 위성 트랜스시버, 디지털 카메라(사진 또는 비디오용), 범용 직렬 버스(USB) 포트, 진동 디바이스, 텔레비젼 트랜스시버, 핸즈프리 헤드셋, 블루투스® 모듈, 주파수 변조(FM) 무선 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.
도 18c는 실시예에 따른 RAN(1803) 및 코어 네트워크(1806)의 시스템도이다. 상기와 같이, RAN(1803)은 무선 인터페이스(1815)를 통해 WTRU들(1802a, 1802b, 1802c)과 통신하기 위해 UTRA 무선 기술을 이용할 수 있다. RAN(1803)은 또한 코어 네트워크(1806)와 통신할 수 있다. 도 18c에서 도시된 바와 같이, RAN(1803)은 무선 인터페이스(1815)를 통해 WTRU들(1802a, 1802b, 1802c)과 통신하기 위한 하나 이상의 트랜스시버들을 각각 포함할 수 있는 노드 B들(1840a, 1840b, 1840c)을 포함할 수 있다. 노드 B들(1840a, 1840b, 1840c)은 각각 RAN(1803) 내의 특정 셀(미도시)과 연계될 수 있다. RAN(1803)은 또한 RNC들(1842a, 1842b)을 포함할 수 있다. RAN(1803)은 실시예와 일관성을 유지하면서 임의의 갯수의 노드 B들을 포함할 수 있다는 것을 이해할 것이다.
도 18c에서 도시된 바와 같이, 노드 B들(1840a, 1840b)은 RNC(1842a)와 통신할 수 있다. 추가적으로, 노드 B(1840c)는 RNC(1842b)와 통신할 수 있다. 노드 B들(1840a, 1840b, 1840c)은 Iub 인터페이스를 통해 각각의 RNC들(1842a, 1842b)과 통신할 수 있다. RNC들(1842a, 1842b)은 Iur 인터페이스를 통해 서로 통신할 수 있다. RNC들(1842a, 1842b) 각각은 자신과 접속되어 있는 각각의 노드 B들(1840a, 1840b, 1840c)을 제어하도록 구성될 수 있다. 또한, RNC들(1842a, 1842b) 각각은 외부 루프 전력 제어, 로드 제어, 승인 제어, 패킷 스케쥴링, 핸드오버 제어, 매크로다이버시티, 보안 기능, 데이터 암호화 등과 같은, 다른 기능을 수행하거나 또는 지원하도록 구성될 수 있다.
도 18c에서 도시된 코어 네트워크(1806)는 미디어 게이트웨이(media gateway; MGW)(1844), 이동 스위칭 센터(mobile switching center; MSC)(1846), 서빙 GPRS 지원 노드(serving GPRS support node; SGSN)(1848), 및/또는 게이트웨이 GPRS 지원 노드(gateway GPRS support node; GGSN)(1850)를 포함할 수 있다. 전술한 엘리먼트들 각각은 코어 네트워크(1806)의 일부로서 도시되었지만, 이들 엘리먼트들 중 임의의 엘리먼트들은 코어 네트워크 오퍼레이터 이외의 다른 엔티티에 의해 소유되고 및/또는 동작될 수 있다는 것을 알 것이다.
RAN(1803)에서의 RNC(1842a)는 IuCS 인터페이스를 통해 코어 네트워크(1806)에서의 MSC(1846)에 접속될 수 있다. MSC(1846)는 MGW(1844)에 접속될 수 있다. MSC(1846)와 MGW(1844)는 WTRU들(1802a, 1802b, 1802c) 및 전통적인 지상선 통신 디바이스들간의 통신을 원활하게 해주기 위해 WTRU들(1802a, 1802b, 1802c)에게 PSTN(1808)과 같은 회로 교환망에 대한 액세스를 제공할 수 있다.
RAN(1803)에서의 RNC(1842a)는 또한 IuPS 인터페이스를 통해 코어 네트워크(1806)에서의 SGSN(1848)에 접속될 수 있다. SGSN(1848)은 GGSN(1850)에 접속될 수 있다. SGSN(1848)과 GGSN(1850)은 WTRU들(1802a, 1802b, 1802c)과 IP 인에이블드 디바이스들간의 통신을 원활하게 해주기 위해 WTRU들(1802a, 1802b, 1802c)에게 인터넷(1810)과 같은 패킷 교환망에 대한 액세스를 제공할 수 있다.
상기와 같이, 코어 네트워크(1806)는 또한 다른 서비스 제공자들에 의해 소유되고 및/또는 동작되는 다른 유선 또는 무선 네트워크들을 포함할 수 있는 네트워크들(1812)에 접속될 수 있다.
도 18d는 실시예에 따른 RAN(1804) 및 코어 네트워크(1807)의 시스템도이다. 상기와 같이, RAN(1804)은 무선 인터페이스(1816)를 통해 WTRU들(1802a, 1802b, 1802c)과 통신하기 위해 UTRA 무선 기술을 이용할 수 있다. RAN(1804)은 또한 코어 네트워크(1807)와 통신할 수 있다.
RAN(1804)은 e노드 B들(1860a, 1860b, 1860c)을 포함할 수 있지만, RAN(1804)은 실시예와 일관성을 유지하면서 임의의 개수의 e노드 B들을 포함할 수 있다는 것을 이해할 것이다. e노드 B들(1860a, 1860b, 1860c)은 무선 인터페이스(1816)를 통해 WTRU들(1802a, 1802b, 1802c)과 통신하기 위한 하나 이상의 트랜스시버들을 각각 포함할 수 있다. 하나의 실시예에서, e노드 B들(1860a, 1860b, 1860c)은 MIMO 기술을 구현할 수 있다. 따라서, 예컨대 e노드 B(1860a)는 WTRU(1802a)에게 무선 신호를 송신하고, WTRU(1802a)로부터 무선 신호를 수신하기 위해 다중 안테나를 이용할 수 있다.
e노드 B들(1860a, 1860b, 1860c) 각각은 특정 셀(미도시)과 연계될 수 있고, 무선 자원 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서의 사용자들의 스케쥴링 등을 처리하도록 구성될 수 있다. 도 18d에서 도시된 바와 같이, e노드 B들(1860a, 1860b, 1860c)은 X2 인터페이스를 통해 서로 통신할 수 있다.
도 18d에서 도시된 코어 네트워크(1807)는 이동성 관리 게이트웨이(mobility management gateway; MME)(1862), 서빙 게이트웨이(1864), 및 패킷 데이터 네트워크(packet data network; PDN) 게이트웨이(1866)를 포함할 수 있다. 전술한 엘리먼트들 각각은 코어 네트워크(1807)의 일부로서 도시되었지만, 이들 엘리먼트들 중 임의의 엘리먼트들은 코어 네트워크 오퍼레이터 이외의 다른 엔티티에 의해 소유되고 및/또는 동작될 수 있다는 것을 알 것이다.
MME(1862)는 S1 인터페이스를 통해 RAN(1804)에서의 e노드 B들(1860a, 1860b, 1860c) 각각에 접속될 수 있고, 제어 노드로서 기능을 할 수 있다. 예를 들어, MME(1862)는 WTRU들(1802a, 1802b, 1802c)의 사용자들을 인증하는 것, 베어러 활성화/활성화해제, WTRU들(1802a, 1802b, 1802c)의 초기 접속 동안 특정한 서빙 게이트웨이를 선택하는 것 등을 담당할 수 있다. MME(1862)는 또한 GSM 또는 WCDMA와 같은 다른 무선 기술들을 이용하는 다른 RAN들(미도시)과 RAN(1804)간의 스위칭을 위한 제어 평면 기능을 제공할 수 있다.
서빙 게이트웨이(1864)는 S1 인터페이스를 통해 RAN(1804)에서의 e노드 B들(1860a, 1860b, 1860c) 각각에 접속될 수 있다. 일반적으로 서빙 게이트웨이(1864)는 WTRU들(1802a, 1802b, 1802c)에게/이로부터 사용자 데이터 패킷들을 라우팅 및 발송할 수 있다. 서빙 게이트웨이(1864)는 또한 e노드 B간 핸드오버들 동안의 사용자 평면들을 앵커링하는 것, 다운링크 데이터가 WTRU들(1802a, 1802b, 1802c)에 대해 이용가능할 때 페이징을 트리거링하는 것, WTRU들(1802a, 1802b, 1802c)의 컨텍스트들을 관리하고 저장하는 것 등과 같은 다른 기능들을 수행할 수 있다.
서빙 게이트웨이(1864)는 또한 PDN 게이트웨이(1866)에 연결될 수 있으며, 이 PDN 게이트웨이(146)는 WTRU들(1802a, 1802b, 1802c)과 IP 인에이블드 디바이스들간의 통신을 원활하게 해주기 위해 WTRU들(1802a, 1802b, 1802c)에게 인터넷(1810)과 같은 패킷 교환망에 대한 액세스를 제공해줄 수 있다.
코어 네트워크(1807)는 다른 네트워크들과의 통신을 원활하게 할 수 있다. 예를 들어, 코어 네트워크(1807)는 WTRU들(1802a, 1802b, 1802c)과 종래의 지상선 통신 디바이스들간의 통신을 원활하게 해주기 위해 WTRU들(1802a, 1802b, 1802c)에게 PSTN(1808)과 같은 회로 교환망에 대한 액세스를 제공해줄 수 있다. 예를 들어, 코어 네트워크(1807)는 코어 네트워크(1807)와 PSTN(1808)간의 인터페이스로서 역할을 하는 IP 게이트웨이(예컨대, IP 멀티미디어 서브시스템(IP multimedia subsystem; IMS) 서버)를 포함할 수 있거나, 또는 이 IP 게이트웨이와 통신할 수 있다. 또한, 코어 네트워크(1807)는 다른 서비스 제공자들에 의해 소유되고 및/또는 동작되는 다른 유선 또는 무선 네트워크들을 포함할 수 있는 네트워크들(1812)에 대한 액세스를 WTRU들(1802a, 1802b, 1802c)에게 제공해줄 수 있다.
도 18e는 실시예에 따른 RAN(1805) 및 코어 네트워크(1809)의 시스템도이다. RAN(1805)은 무선 인터페이스(1817)를 통해 WTRU들(1802a, 1802b, 1802c)과 통신하기 위해 IEEE 802.16 무선 기술을 이용하는 액세스 서비스 네트워크(access service network; ASN)일 수 있다. 아래에서 보다 자세히 설명하겠지만, WTRU들(1802a, 1802b, 1802c), RAN(1805), 및 코어 네트워크(1809)의 상이한 기능 엔티티들간의 통신 링크들은 기준점들로서 정의될 수 있다.
도 18e에서 도시된 바와 같이, RAN(1805)은 기지국들(1880a, 1880b, 1880c), 및 ASN 게이트웨이(1882)를 포함할 수 있지만, RAN(1805)은 실시예와 일관성을 유지하면서 임의의 갯수의 기지국들 및 ASN 게이트웨이들을 포함할 수 있다는 것을 이해할 것이다. 기지국들(1880a, 1880b, 1880c)은 각각 RAN(1805)에서의 특정 셀(미도시)과 연계될 수 있으며, 이들 각각은 무선 인터페이스(1817)를 통해 WTRU들(1802a, 1802b, 1802c)과 통신하기 위한 하나 이상의 트랜스시버들을 포함할 수 있다. 하나의 실시예에서, 기지국들(1880a, 1880b, 1880c)은 MIMO 기술을 구현할 수 있다. 따라서, 예컨대 기지국(1880a)은 WTRU(1802a)에게 무선 신호를 송신하고, WTRU(1802a)로부터 무선 신호를 수신하기 위해 다중 안테나를 이용할 수 있다. 기지국들(1880a, 1880b, 1880c)은 또한 핸드오프 트리거링, 터널 구축, 무선 자원 관리, 트래픽 분류, 서비스 품질(quality of service; QoS) 정책 강화 등과 같은, 이동성 관리 기능들을 제공할 수 있다. ASN 게이트웨이(1882)는 트래픽 집성점(aggregation point)으로서 기능을 할 수 있고, 페이징, 가입자 프로필의 캐싱(caching), 코어 네트워크(1809)로의 라우팅 등을 담당할 수 있다.
WTRU들(1802a, 1802b, 1802c)과 RAN(1805) 사이의 무선 인터페이스(1817)는 IEEE 802.16 규격을 구현하는 R1 기준점으로서 정의될 수 있다. 또한, WTRU들(1802a, 1802b, 1802c) 각각은 코어 네트워크(1809)와 로직 인터페이스(미도시)를 구축할 수 있다. WTRU들(1802a, 1802b, 1802c)과 코어 네트워크(1809) 사이의 논리적 인터페이스는 R2 기준점으로서 정의될 수 있고, 이것은 인증, 권한부여, IP 호스트 구성 관리, 및/또는 이동성 관리를 위하여 이용될 수 있다.
기지국들(1880a, 1880b, 1880c)들 각각 사이의 통신 링크는 WTRU 핸드오버 및 기지국들간의 데이터의 전송을 원활하게 해주는 프로토콜들을 포함한 R8 기준점으로서 정의될 수 있다. 기지국들(1880a, 1880b, 1880c)과 ASN 게이트웨이(1882) 사이의 통신 링크는 R6 기준점으로서 정의될 수 있다. R6 기준점은 각각의 WTRU(1802a, 1802b, 1802c)와 연계된 이동성 이벤트들에 기초하여 이동성 관리를 원활하게 해주기 위한 프로토콜들을 포함할 수 있다.
도 18e에서 도시된 바와 같이, RAN(1805)은 코어 네트워크(1809)와 접속될 수 있다. RAN(1805)과 코어 네트워크(1809) 사이의 통신 링크는 예컨대 데이터 전송 및 이동성 관리 능력들을 원활하게 해주기 위한 프로토콜들을 포함한 R3 기준점으로서 정의될 수 있다. 코어 네트워크(1809)는 모바일 IP 홈 에이전트(mobile IP home agent; MIP-HA)(1884), 인증/권한/계정(authentication, authorization, accounting; AAA) 서버(1886), 및 게이트웨이(1888)를 포함할 수 있다. 전술한 엘리먼트들 각각은 코어 네트워크(1809)의 일부로서 도시되었지만, 이들 엘리먼트들 중 임의의 엘리먼트들은 코어 네트워크 오퍼레이터 이외의 다른 엔티티에 의해 소유되고 및/또는 동작될 수 있다는 것을 알 것이다.
MIP-HA는 IP 어드레스 관리를 담당할 수 있고, WTRU들(1802a, 1802b, 1802c)이 상이한 ASN들 및/또는 상이한 코어 네트워크들간을 로밍할 수 있도록 해줄 수 있다. MIP-HA(1884)는 WTRU들(1802a, 1802b, 1802c)과 IP 인에이블드 디바이스들간의 통신을 원활하게 해주기 위해 WTRU들(1802a, 1802b, 1802c)에게 인터넷(1810)과 같은 패킷 교환망에 대한 액세스를 제공할 수 있다. AAA 서버(1886)는 사용자 인증을 담당할 수 있고 사용자 서비스들을 지원하는 것을 담당할 수 있다. 게이트웨이(1888)는 다른 네트워크들과의 상호 연동(interworking)을 원활하게 해줄 수 있다. 예를 들어, 게이트웨이(1888)는 WTRU들(1802a, 1802b, 1802c)과 종래의 지상선 통신 디바이스들간의 통신을 원활하게 해주기 위해 WTRU들(1802a, 1802b, 1802c)에게 PSTN(1808)과 같은 회로 교환망에 대한 액세스를 제공해줄 수 있다. 또한, 게이트웨이(1888)는 다른 서비스 제공자들에 의해 소유되고 및/또는 동작되는 다른 유선 또는 무선 네트워크들을 포함할 수 있는 네트워크들(1812)에 대한 액세스를 WTRU들(1802a, 1802b, 1802c)에게 제공해줄 수 있다.
비록 도 18e에서는 도시되지 않았지만, RAN(1805)은 다른 ASN들에 접속될 수 있고 코어 네트워크(1809)는 다른 코어 네트워크들에 접속될 수 있다는 것을 알 것이다. RAN(1805)과 다른 ASN들간의 통신 링크는 R4 기준점으로서 정의될 수 있고, 이 기준점은 RAN(1805)과 다른 ASN들간의 WTRU들(1802a, 1802b, 1802c)의 이동성을 조정하기 위한 프로토콜들을 포함할 수 있다. 코어 네트워크(1809)와 다른 코어 네트워크들간의 통신 링크는 R5 기준점으로서 정의될 수 있고, 이 기준점은 홈 코어 네트워크들과 방문 코어 네트워크들간의 상호 연동을 원활하게 해주기 위한 프로토콜들을 포함할 수 있다.
여기서 기술된 프로세스들 및 수단들은 임의의 조합으로 적용될 수 있으며, 다른 무선 기술 및 다른 서비스들(예컨대, 근접성 서비스들로 한정되지 않음)에 적용될 수 있다.
WTRU는 물리적 디바이스의 아이덴티티를 가리킬 수 있거나, 또는 가입 관련 아이덴티티들과 같은 사용자의 아이덴티티, 예컨대, MSISDN, SIP URI 등을 가리킬 수 있다. WTRU는 애플리케이션 기반 아이덴티티들, 예컨대, 애플리케이션별로 이용될 수 있는 사용자 명칭들을 가리킬 수 있다.
상술한 프로세스들은 컴퓨터 및/또는 프로세서에 의한 실행을 위한 컴퓨터 판독가능한 매체에 병합된 컴퓨터 프로그램, 소프트웨어, 및/또는 펌웨어로 구현될 수 있다. 컴퓨터 판독가능한 매체의 예시들에는, 비제한적인 예시로서, (유선 및/또는 무선 접속들을 통해 송신되는) 전자적 신호들 및/또는 컴퓨터 판독가능한 저장 매체를 포함한다. 컴퓨터 판독가능한 저장매체의 예시들에는, 비제한적인 예시로서, ROM(read only memory), RAM(random access memory), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 비제한적인 예시로서의 내부 하드 디스크와 탈착가능 디스크와 같은 자기 매체, 광자기 매체, 및/또는 CD-ROM 디스크, 및/또는 DVD(digital versatile disk)와 같은 광학 매체가 포함된다. WTRU, UE, 단말기, 기지국, RNC, 및/또는 임의의 호스트 컴퓨터에서 이용하기 위한 무선 주파수 트랜스시버를 구현하기 위해 소프트웨어와 연계된 프로세서가 이용될 수 있다.

Claims (21)

  1. 사용자에게 증강 현실(augmented reality; AR)을 제공하기 위한 방법에 있어서,
    관심 영역(region of interest; ROI)을 정의하기 위해 상기 사용자의 시선 포인트를 추정하는 단계;
    상기 사용자의 감정 상태를 추정하는 단계;
    상기 ROI 및 상기 사용자의 감정 상태와 연관된 정보를 서버에게 보내는 단계;
    상기 서버로부터 상기 ROI 내의 하나 이상의 객체들에 관한 정보를 수신하는 단계; 및
    상기 ROI 내의 상기 하나 이상의 객체들에 관한 정보를 디스플레이하는 단계
    를 포함하는 사용자에게 증강 현실(AR)을 제공하기 위한 방법.
  2. 제1항에 있어서,
    상기 사용자의 감정 상태에 기초하여 상기 ROI 내의 객체들에 관한 정보를 정제(refining)하거나 또는 필터링하는 단계
    를 더 포함하는 사용자에게 증강 현실(AR)을 제공하기 위한 방법.
  3. 제1항에 있어서,
    상기 ROI의 크기는 검출된 객체들의 개수에 기초하여 조정되는 것인, 사용자에게 증강 현실(AR)을 제공하기 위한 방법.
  4. 제1항에 있어서,
    상기 ROI의 크기는 사용자 활동성에 기초한 것인, 사용자에게 증강 현실(AR)을 제공하기 위한 방법.
  5. 제1항에 있어서,
    상기 사용자의 감정 상태는 V/A(valence/arousal) 차트 상에서의 상기 감정 상태에 대한 포인트를 추정함으로써 결정되는 것인, 사용자에게 증강 현실(AR)을 제공하기 위한 방법.
  6. 제1항에 있어서,
    상기 감정 상태를 결정하기 위해 상기 사용자의 음성 인식을 이용하는 단계
    를 더 포함하는 사용자에게 증강 현실(AR)을 제공하기 위한 방법.
  7. 제1항에 있어서,
    상기 감정 상태를 결정하기 위해 상기 사용자의 표정 인식(facial recognition)을 이용하는 단계
    를 더 포함하는 사용자에게 증강 현실(AR)을 제공하기 위한 방법.
  8. 제1항에 있어서,
    상기 감정 상태를 결정하기 위해, GSR(galvanic skin response) 또는 EEG(electroencephalographic) 데이터 중 적어도 하나를 이용하는 단계
    를 더 포함하는 사용자에게 증강 현실(AR)을 제공하기 위한 방법.
  9. 제1항에 있어서,
    상기 ROI로부터 이미지들을 추출하고, 상기 객체들의 특징(feature)들에 대한 디스크립터(descriptor)들의 세트를 생성하는 단계
    를 더 포함하는 사용자에게 증강 현실(AR)을 제공하기 위한 방법.
  10. 제9항에 있어서,
    상기 디스크립터들은 상기 ROI 내의 객체들에 관한 정보를 검색하는 데에 이용되는 것인, 사용자에게 증강 현실(AR)을 제공하기 위한 방법.
  11. 제9항에 있어서,
    상기 디스크립터들은 결정된 위치를 포함한 것인, 사용자에게 증강 현실(AR)을 제공하기 위한 방법.
  12. 제1항에 있어서,
    상기 ROI 및 상기 감정 상태와 연관된 정보를 저장하는 단계
    를 더 포함하는 사용자에게 증강 현실(AR)을 제공하기 위한 방법.
  13. 디바이스에 있어서,
    프로세서를 포함하고,
    상기 프로세서는,
    관심대상의 영역(ROI)을 정의하기 위해 상기 사용자의 시선 포인트를 추정하고;
    상기 사용자의 감정 상태를 추정하고;
    상기 ROI 및 상기 사용자의 감정 상태와 연관된 정보를 서버에게 보내고;
    상기 서버로부터 상기 ROI 내의 하나 이상의 객체들에 관한 정보를 수신하며;
    상기 ROI 내의 상기 하나 이상의 객체들에 관한 정보를 디스플레이하도록 적응된 것인, 디바이스.
  14. 제13항에 있어서,
    상기 ROI 내의 객체들에 관한 정보는 상기 사용자의 감정 상태에 기초하여 정제되거나 또는 필터링되는 것인, 디바이스.
  15. 제13항에 있어서,
    상기 ROI의 크기는 검출된 객체들의 개수에 기초하여 조정되는 것인, 디바이스.
  16. 제13항에 있어서,
    상기 ROI의 크기는 사용자 활동성에 기초한 것인, 디바이스.
  17. 제13항에 있어서,
    상기 사용자의 감정 상태는 V/A(valence/arousal) 차트 상에서의 상기 감정 상태에 대한 포인트를 추정함으로써 결정되는 것인, 디바이스.
  18. 제13항에 있어서,
    상기 감정 상태는 상기 사용자의 음성 인식, 상기 사용자의 표정 인식, 상기 사용자의 GSR(galvanic skin response), 또는 상기 사용자의 EEG(electroencephalographic) 중 적어도 하나를 이용하여 추정되는 것인, 디바이스.
  19. 제13항에 있어서,
    상기 ROI로부터 이미지들이 추출되며, 상기 객체들의 특징(feature)들에 대한 디스크립터(descriptor)들의 세트가 생성되는 것인, 디바이스.
  20. 제13항에 있어서,
    상기 ROI 및 상기 감정 상태와 연관된 정보가 저장되는 것인, 디바이스.
  21. 디바이스에 있어서,
    프로세서를 포함하고,
    상기 프로세서는,
    디바이스 사용자의 감정 상태를 추정하고;
    관심 영역(ROI) 내의 하나 이상의 객체들 및 상기 디바이스 사용자에 관한 정보를 서버에 보내며;
    상기 서버로부터의 상기 디바이스 사용자의 감정 상태의 추정치에 기초하여 상기 ROI 내의 객체들에 관한 정제되거나 또는 필터링된 정보를 수신하도록 적응된 것인, 디바이스.
KR1020167012299A 2013-10-11 2014-10-10 시선 구동 증강 현실 KR20160068916A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361889900P 2013-10-11 2013-10-11
US61/889,900 2013-10-11
PCT/US2014/060016 WO2015054562A1 (en) 2013-10-11 2014-10-10 Gaze-driven augmented reality

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020187016147A Division KR102154912B1 (ko) 2013-10-11 2014-10-10 시선 구동 증강 현실

Publications (1)

Publication Number Publication Date
KR20160068916A true KR20160068916A (ko) 2016-06-15

Family

ID=51845516

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187016147A KR102154912B1 (ko) 2013-10-11 2014-10-10 시선 구동 증강 현실
KR1020167012299A KR20160068916A (ko) 2013-10-11 2014-10-10 시선 구동 증강 현실

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187016147A KR102154912B1 (ko) 2013-10-11 2014-10-10 시선 구동 증강 현실

Country Status (5)

Country Link
US (3) US9922253B2 (ko)
EP (1) EP3055754B1 (ko)
KR (2) KR102154912B1 (ko)
CN (1) CN105814516B (ko)
WO (1) WO2015054562A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101960815B1 (ko) * 2017-11-28 2019-03-21 유엔젤주식회사 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
WO2019156480A1 (ko) * 2018-02-08 2019-08-15 삼성전자 주식회사 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
US11340700B2 (en) 2019-08-26 2022-05-24 Samsung Electronics Co., Ltd. Method and apparatus with image augmentation
US11933974B2 (en) 2019-02-22 2024-03-19 Semiconductor Energy Laboratory Co., Ltd. Glasses-type electronic device

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105814516B (zh) * 2013-10-11 2019-07-30 交互数字专利控股公司 注视驱动的增强现实
KR102343700B1 (ko) * 2015-01-22 2021-12-27 허들리 인코포레이티드 독립적으로 인코딩된 배경 업데이트들에 기초한 비디오 송신
US9916861B2 (en) * 2015-06-17 2018-03-13 International Business Machines Corporation Editing media on a mobile device before transmission
US9857871B2 (en) 2015-09-04 2018-01-02 Sony Interactive Entertainment Inc. Apparatus and method for dynamic graphics rendering based on saccade detection
US10037479B2 (en) * 2015-09-29 2018-07-31 Medstar Health Human-assisted learning in eye tracking applications
JP6985005B2 (ja) * 2015-10-14 2021-12-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 感情推定方法、感情推定装置、及び、プログラムを記録した記録媒体
WO2017090203A1 (ja) * 2015-11-27 2017-06-01 フォーブ インコーポレーテッド 視線検出システム、注視点特定方法及び注視点特定プログラム
CN108604237B (zh) * 2015-12-01 2022-10-14 英特吉姆公司股份有限公司 个性化交互式智能搜索方法和系统
US11010956B2 (en) 2015-12-09 2021-05-18 Imagination Technologies Limited Foveated rendering
US10622101B1 (en) * 2016-01-06 2020-04-14 United Services Automobile Association (Usaa) Electronic medical record transfer systems and methods
US10401952B2 (en) 2016-03-31 2019-09-03 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10169846B2 (en) * 2016-03-31 2019-01-01 Sony Interactive Entertainment Inc. Selective peripheral vision filtering in a foveated rendering system
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
WO2017181429A1 (en) 2016-04-22 2017-10-26 SZ DJI Technology Co., Ltd. Systems and methods for processing image data based on region-of-interest (roi) of a user
US10178293B2 (en) * 2016-06-22 2019-01-08 International Business Machines Corporation Controlling a camera using a voice command and image recognition
US9959792B2 (en) * 2016-09-29 2018-05-01 GM Global Technology Operations LLC System and method to place subjective messages on a vehicle
CN106657976B (zh) * 2016-11-17 2019-06-11 宇龙计算机通信科技(深圳)有限公司 一种可视范围延伸方法、装置及虚拟现实眼镜
US10979721B2 (en) 2016-11-17 2021-04-13 Dolby Laboratories Licensing Corporation Predicting and verifying regions of interest selections
WO2018127782A1 (en) * 2017-01-03 2018-07-12 Xing Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
KR102623391B1 (ko) * 2017-01-10 2024-01-11 삼성전자주식회사 영상 출력 방법 및 이를 지원하는 전자 장치
US10198068B2 (en) * 2017-02-28 2019-02-05 Microsoft Technology Licensing, Llc Blink detection, tracking, and stimulation
US10877647B2 (en) * 2017-03-21 2020-12-29 Hewlett-Packard Development Company, L.P. Estimations within displays
CN106991169A (zh) * 2017-03-31 2017-07-28 北京小米移动软件有限公司 基于增强现实ar设备的推荐方法及装置
US10388034B2 (en) * 2017-04-24 2019-08-20 International Business Machines Corporation Augmenting web content to improve user experience
US11311188B2 (en) * 2017-07-13 2022-04-26 Micro Medical Devices, Inc. Visual and mental testing using virtual reality hardware
USD835660S1 (en) * 2017-09-21 2018-12-11 Dong-Kwon LIM Display screen with graphical user interface
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
US10521961B2 (en) * 2017-12-10 2019-12-31 International Business Machines Corporation Establishing a region of interest for a graphical user interface for finding and depicting individuals
EP3724846A1 (en) * 2017-12-19 2020-10-21 Nokia Technologies Oy Gaze dependent foveated rendering apparatus, method, computer program and system
US10510137B1 (en) 2017-12-20 2019-12-17 Lockheed Martin Corporation Head mounted display (HMD) apparatus with a synthetic targeting system and method of use
JP7207809B2 (ja) 2018-01-18 2023-01-18 バルブ コーポレーション センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム
US10522143B2 (en) * 2018-02-27 2019-12-31 Microsoft Technology Licensing, Llc Empathetic personal virtual digital assistant
US11145096B2 (en) 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
WO2019173697A1 (en) * 2018-03-08 2019-09-12 Bose Corporation Prioritizing delivery of location-based personal audio
US11093100B2 (en) * 2018-03-08 2021-08-17 Microsoft Technology Licensing, Llc Virtual reality device with varying interactive modes for document viewing and editing
CN108509593A (zh) * 2018-03-30 2018-09-07 联想(北京)有限公司 一种显示方法及电子设备、存储介质
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
CN108681940A (zh) * 2018-05-09 2018-10-19 连云港伍江数码科技有限公司 储物装置中人机交互方法、装置、储物装置及存储介质
WO2019236568A1 (en) 2018-06-05 2019-12-12 Magic Leap, Inc. Matching content to a spatial 3d environment
KR102186580B1 (ko) * 2018-08-09 2020-12-03 주식회사 룩시드랩스 사용자의 감정을 판단하기 위한 방법 및 이를 위한 장치
US10785413B2 (en) * 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
CN113168526A (zh) * 2018-10-09 2021-07-23 奇跃公司 用于虚拟和增强现实的系统和方法
US10761597B2 (en) 2018-10-18 2020-09-01 International Business Machines Corporation Using augmented reality technology to address negative emotional states
WO2020123840A1 (en) * 2018-12-14 2020-06-18 Valve Corporation Player biofeedback for dynamically controlling a video game state
WO2020171637A1 (en) * 2019-02-20 2020-08-27 Samsung Electronics Co., Ltd. Apparatus and method for displaying contents on an augmented reality device
US11543884B2 (en) 2019-06-14 2023-01-03 Hewlett-Packard Development Company, L.P. Headset signals to determine emotional states
US11113375B2 (en) * 2019-09-09 2021-09-07 Motorola Mobility Llc Electronic devices with proximity authentication and gaze actuation of companion electronic devices and corresponding methods
US11071484B2 (en) * 2019-11-20 2021-07-27 International Business Machines Corporation Reduce electromagnetic frequency emissions from a mobile device
JP2021114731A (ja) * 2020-01-21 2021-08-05 キヤノン株式会社 撮像制御装置及びその制御方法
US11080879B1 (en) 2020-02-03 2021-08-03 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11176751B2 (en) * 2020-03-17 2021-11-16 Snap Inc. Geospatial image surfacing and selection
US20230176648A1 (en) * 2020-05-19 2023-06-08 Telefonaktiebolaget Lm Ericsson (Publ) Personal Device Activation and Unlocking Using Gaze Tracking
US11620855B2 (en) * 2020-09-03 2023-04-04 International Business Machines Corporation Iterative memory mapping operations in smart lens/augmented glasses
CN112346568B (zh) * 2020-11-05 2021-08-03 广州市南方人力资源评价中心有限公司 基于计数器和脑电波的vr试题动态呈现方法和装置
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
WO2023132459A1 (ko) * 2022-01-10 2023-07-13 삼성전자 주식회사 Ar 객체를 표시하는 전자 장치 및 그 방법

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010051160A1 (en) * 2000-01-24 2001-12-13 Jacobs Robert H. Satisfy composition and method of weight control
US20040210159A1 (en) * 2003-04-15 2004-10-21 Osman Kibar Determining a psychological state of a subject
JP2005315802A (ja) * 2004-04-30 2005-11-10 Olympus Corp ユーザ支援装置
US20150070262A1 (en) * 2005-09-21 2015-03-12 Richard Ross Peters Contextual annotations of a message based on user eye-tracking data
JP4907443B2 (ja) * 2007-06-13 2012-03-28 株式会社日本自動車部品総合研究所 車両用ドライビングポジション制御装置
US8264505B2 (en) * 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US8308562B2 (en) * 2008-04-29 2012-11-13 Bally Gaming, Inc. Biofeedback for a gaming device, such as an electronic gaming machine (EGM)
US7945632B2 (en) * 2008-11-21 2011-05-17 The Invention Science Fund I, Llc Correlating data indicating at least one subjective user state with data indicating at least one objective occurrence associated with a user
US7937465B2 (en) * 2008-11-21 2011-05-03 The Invention Science Fund I, Llc Correlating data indicating at least one subjective user state with data indicating at least one objective occurrence associated with a user
US20100208033A1 (en) * 2009-02-13 2010-08-19 Microsoft Corporation Personal Media Landscapes in Mixed Reality
US8494215B2 (en) * 2009-03-05 2013-07-23 Microsoft Corporation Augmenting a field of view in connection with vision-tracking
WO2011008793A1 (en) * 2009-07-13 2011-01-20 Emsense Corporation Systems and methods for generating bio-sensory metrics
KR101708682B1 (ko) * 2010-03-03 2017-02-21 엘지전자 주식회사 영상표시장치 및 그 동작 방법.
KR101303648B1 (ko) 2009-12-08 2013-09-04 한국전자통신연구원 감성신호 감지 장치 및 그 방법
US20120004575A1 (en) * 2010-06-30 2012-01-05 Sony Ericsson Mobile Communications Ab System and method for indexing content viewed on an electronic device
KR101337555B1 (ko) * 2010-09-09 2013-12-16 주식회사 팬택 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US9927940B2 (en) * 2011-06-03 2018-03-27 Massachusetts Institute Of Technology Method and apparatus accounting for independent cognitive capacities in the right vs. left half of vision
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20150153572A1 (en) * 2011-10-05 2015-06-04 Google Inc. Adjustment of Location of Superimposed Image
US9229231B2 (en) * 2011-12-07 2016-01-05 Microsoft Technology Licensing, Llc Updating printed content with personalized virtual data
US9230367B2 (en) * 2011-12-13 2016-01-05 Here Global B.V. Augmented reality personalization
US9230171B2 (en) * 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US20130204535A1 (en) * 2012-02-03 2013-08-08 Microsoft Corporation Visualizing predicted affective states over time
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
US20140049546A1 (en) * 2012-08-16 2014-02-20 The Penn State Research Foundation Automatically computing emotions aroused from images through shape modeling
WO2014047402A1 (en) * 2012-09-20 2014-03-27 MUSC Foundation for Research and Development Head-mounted systems and methods for providing inspection, evaluation or assessment of an event or location
US8928695B2 (en) * 2012-10-05 2015-01-06 Elwha Llc Formatting of one or more persistent augmentations in an augmented view in response to multiple input factors
US10269179B2 (en) * 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9030495B2 (en) * 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US10359841B2 (en) * 2013-01-13 2019-07-23 Qualcomm Incorporated Apparatus and method for controlling an augmented reality device
US20150262424A1 (en) * 2013-01-31 2015-09-17 Google Inc. Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD
US9507147B2 (en) * 2013-02-14 2016-11-29 Blackberry Limited Wearable display system with detached projector
US20140280296A1 (en) * 2013-03-14 2014-09-18 Google Inc. Providing help information based on emotion detection
KR20160016907A (ko) * 2013-05-29 2016-02-15 미쓰비시덴키 가부시키가이샤 정보 표시 장치
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
KR102098277B1 (ko) * 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP5787949B2 (ja) * 2013-08-28 2015-09-30 ヤフー株式会社 情報処理装置、特定方法および特定プログラム
CN105814626B (zh) * 2013-09-30 2018-03-13 Pcms控股公司 用于提供增强信息的方法和设备
CN105814516B (zh) * 2013-10-11 2019-07-30 交互数字专利控股公司 注视驱动的增强现实
EP3493031A4 (en) * 2016-07-27 2019-08-14 Sony Corporation INFORMATION PROCESSING SYSTEM, RECORDING MEDIA AND INFORMATION PROCESSING METHOD
US20190252063A1 (en) * 2018-02-14 2019-08-15 International Business Machines Corporation Monitoring system for care provider

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101960815B1 (ko) * 2017-11-28 2019-03-21 유엔젤주식회사 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법
WO2019156480A1 (ko) * 2018-02-08 2019-08-15 삼성전자 주식회사 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
US11176398B2 (en) 2018-02-08 2021-11-16 Samsung Electronics Co., Ltd Method of detecting region of interest on basis of gaze direction and electronic device therefor
US11933974B2 (en) 2019-02-22 2024-03-19 Semiconductor Energy Laboratory Co., Ltd. Glasses-type electronic device
US11340700B2 (en) 2019-08-26 2022-05-24 Samsung Electronics Co., Ltd. Method and apparatus with image augmentation
US11762454B2 (en) 2019-08-26 2023-09-19 Samsung Electronics Co., Ltd. Method and apparatus with image augmentation

Also Published As

Publication number Publication date
US20180211112A1 (en) 2018-07-26
EP3055754A1 (en) 2016-08-17
US20220092308A1 (en) 2022-03-24
KR20180066276A (ko) 2018-06-18
US11250263B2 (en) 2022-02-15
WO2015054562A1 (en) 2015-04-16
US9922253B2 (en) 2018-03-20
CN105814516B (zh) 2019-07-30
EP3055754B1 (en) 2023-08-02
CN105814516A (zh) 2016-07-27
KR102154912B1 (ko) 2020-09-11
US20160259977A1 (en) 2016-09-08

Similar Documents

Publication Publication Date Title
US20220092308A1 (en) Gaze-driven augmented reality
US11122258B2 (en) Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements
EP3053158B1 (en) Methods, apparatus, systems, devices, and computer program products for providing an augmented reality display and/or user interface
US10448098B2 (en) Methods and systems for contextual adjustment of thresholds of user interestedness for triggering video recording
US20150241962A1 (en) User presence detection in mobile devices
JP7115593B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101978299B1 (ko) 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치
US10368212B2 (en) Method and apparatus for providing augmented reality services
KR102421862B1 (ko) 현실 세계 장소와 관련된 현실감을 증강하기 위한 방법, 장치, 시스템, 디바이스 및 컴퓨터 프로그램 제품
WO2018200734A1 (en) Field-of-view prediction method based on non-invasive eeg data for vr video streaming services
US10163368B2 (en) Acoustic representations of environments
US11386870B2 (en) Information processing apparatus and information processing method
CN110049234A (zh) 一种成像方法、移动终端及存储介质
CN114648780A (zh) 评分方法、智能终端及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment