KR101694089B1 - 사고를 통한 증강 현실에서의 가상 물체의 조작 - Google Patents

사고를 통한 증강 현실에서의 가상 물체의 조작 Download PDF

Info

Publication number
KR101694089B1
KR101694089B1 KR1020157037131A KR20157037131A KR101694089B1 KR 101694089 B1 KR101694089 B1 KR 101694089B1 KR 1020157037131 A KR1020157037131 A KR 1020157037131A KR 20157037131 A KR20157037131 A KR 20157037131A KR 101694089 B1 KR101694089 B1 KR 101694089B1
Authority
KR
South Korea
Prior art keywords
virtual object
user
display
feature
state
Prior art date
Application number
KR1020157037131A
Other languages
English (en)
Other versions
KR20160016948A (ko
Inventor
브라이언 뮬린스
Original Assignee
데크리, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=51984517&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101694089(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 데크리, 엘엘씨 filed Critical 데크리, 엘엘씨
Publication of KR20160016948A publication Critical patent/KR20160016948A/ko
Application granted granted Critical
Publication of KR101694089B1 publication Critical patent/KR101694089B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Environmental & Geological Engineering (AREA)
  • Architecture (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

사고에 기초하여 가상 물체를 조작하기 위한 시스템 및 방법이 설명된다. 실물로부터 기준 식별자를 캡처한다. 사용자의 뇌 활동 데이터를 수신하여 뇌 활동 데이터를 획득한다. 기준 식별자 및 뇌 활동 데이터를 네트워크를 통해 원격 서버로 전송한다. 원격 서버는 기준 식별자 및 뇌 활동 데이터에 기초하여 가상 물체를 선택한다. 가상 물체를 식별하는 통신을 서버로부터 수신한다. 가상 물체를 가상 랜드스케이프 내에 표시한다.

Description

사고를 통한 증강 현실에서의 가상 물체의 조작{MANIPULATION OF VIRTUAL OBJECT IN AUGMENTED REALITY VIA THOUGHT}
관련 출원
본원은 2013년 6월 3일자로 출원된 미국 출원 제13/909,042호의 우선권을 주장하는 국제 출원이며, 그 출원 전체는 본 명세서에 참고로 포함된다.
기술 분야
본 명세서에서 개시되는 발명은 일반적으로 데이터의 처리에 관한 것이다. 구체적으로, 본 개시 내용은 사고를 통해 증강 현실에서 가상 물체들을 조작하기 위한 시스템 및 방법에 관한 것이다.
터치스크린을 갖는 이동 장치들 상의 사용자 인터페이스들은 흔히 사용자에게 애플리케이션들에서 특징들을 활성화하기 위해 이동 장치의 스크린을 물리적으로 탭핑 또는 스와이핑하라고 요구한다. 이동 장치들 상의 일부 애플리케이션들은 그 애플리케이션들에 입력을 제공하기 위해 사용자에게 사용자의 손가락 또는 스타일러스로 터치스크린과 상호작용하라고 요구한다. 사진을 찍을 때와 같이 양손으로 이동 장치들을 잡고 있으면서 이동 장치 상의 콘텐츠를 볼 때, 사용자는 예로서 애플리케이션에서 포토 셔터를 탭핑함으로써 명령을 활성화하기 위해 한쪽 손을 이동 장치에서 떼는 것이 필요하다.
일부 실시예들은 예로서 도시된 것이고 첨부 도면의 특징들로 제한하는 것은 아니다.
도 1은 일부 실시예들에 따른, 사고에 기초하여 콘텐츠의 선택 및 조작을 가능하게 하기에 적합한 장치이다.
도 2는 일부 실시예들에 따른, 도 1의 장치의 전기파 애플리케이션의 모듈들(예를 들어, 컴포넌트들)을 도시한 블록도이다.
도 3은 일부 실시예들에 따른, 도 1의 장치의 증강 현실 애플리케이션의 모듈들(예를 들어, 컴포넌트들)을 도시한 블록도이다.
도 4는 일부 실시예들에 따른, 도 3의 증강 현실 애플리케이션의 포커스 영역 검출기의 모듈들(예를 들어, 컴포넌트들)을 도시한 블록도이다.
도 5는 일부 실시예들에 따른, 도 3의 증강 현실 애플리케이션의 특징 상태 수정기의 모듈들(예를 들어, 컴포넌트들)을 도시한 블록도이다.
도 6a는 일부 실시예들에 따른, 사고에 기초하는 도 1의 장치에서의 가상 물체의 선택의 시각화의 예를 나타내는 도면이다.
도 6b는 일부 실시예들에 따른, 사고에 기초하는 도 1의 장치에서의 기존의 가상 물체에 대한 작용의 시각화의 예를 나타내는 도면이다.
도 6c는 일부 실시예들에 따른, 시각 제스처와 사고에 함께 기초하는 장치에서의 기존의 가상 물체에 대한 작용의 시각화의 예를 나타내는 도면이다.
도 7은 일부 실시예들에 따른, 도 1의 장치의 디스플레이에서 가상 물체의 특징의 상태의 변화를 트리거하기 위한 시각 제스처의 예를 나타내는 도면이다.
도 8은 일부 실시예들에 따른, 도 1의 장치에서 가상 물체의 특징에 포커싱하기 위한 시각 제스처의 예를 나타내는 도면이다.
도 9는 일부 실시예들에 따른, 도 1의 장치에서 가상 물체의 특징의 상태의 변화를 트리거하기 위한 시각 제스처의 예를 나타내는 도면이다.
도 10은 일부 실시예들에 따른, 사고에 기초하여 가상 물체를 생성하는 방법을 수행하는 데 있어서의 장치의 시각화 애플리케이션의 예시적인 동작을 도시한 흐름도이다.
도 11은 일부 실시예들에 따른, 사고에 기초하여 기존의 가상 물체를 조작하는 방법을 수행하는 데 있어서의 장치의 시각화 애플리케이션의 예시적인 동작을 도시한 흐름도이다.
도 12는 일부 실시예들에 따른, 사고 및 시각 제스처에 기초하여 가상 물체를 조작하는 방법을 수행하는 데 있어서의 장치의 시각화 애플리케이션의 예시적인 동작을 도시한 흐름도이다.
도 13은 기계 판독가능 매체로부터 명렁어들을 판독하고 본 명세서에서 설명되는 방법들 중 어느 하나 이상의 방법을 수행할 수 있는, 일부 실시예들에 따른 기계의 컴포넌트들을 도시한 블록도이다.
도 14는 일부 실시예들에 따른, 가상 물체 기반 두뇌 활동 데이터를 조작하는 예시적인 동작을 도시한 사다리도이다.
예시적인 방법들 및 시스템들은 사고에 기초하여 가상 물체를 조작하는 것에 관한 것이다. 예들은 가능한 변화들을 나타낼 뿐이다. 달리 명확히 설명되지 않는 한, 컴포넌트들 및 기능들은 옵션이고, 결합 또는 세분될 수 있으며, 동작들은 순서가 변경되거나, 결합 또는 세분될 수 있다. 다음의 설명에서는, 설명의 목적으로, 실시예들의 충분한 이해를 제공하기 위해 다양한 상세들이 설명된다. 그러나, 이 분야의 기술자에게는 본 발명이 이러한 구체적인 상세 없이도 실시될 수 있다는 것이 명백할 것이다.
증강 현실 애플리케이션들은 사용자가 장치의 카메라에 의해 캡처된 실물의 사진 위에 겹쳐진 3차원 가상 물체의 형태와 같은 정보를 경험하는 것을 가능하게 한다. 실물은 증강 현실 애플리케이션이 식별할 수 있는 시각적 기준을 포함할 수 있다. 실물의 이미지와 겹치거나 맞물리는 3차원 가상 물체와 같은 추가 정보의 시각화가 장치의 디스플레이 내에서 생성된다. 삼차원 가상 물체는 인식된 시각적 기준에 기초하여 선택될 수 있다. 삼차원 가상 물체의 시각화의 렌더링은 시각 기준에 대한 디스플레이의 위치에 기초할 수 있다.
사고에 기초하여 가상 물체를 생성하고 조작하는 시스템 및 방법이 설명된다. 실물로부터의 기준 식별자가 캡처된다. 사용자의 뇌 활동 데이터를 수신하여 뇌 활동 데이터를 얻는다. 기준 식별자와 뇌 활동 데이터는 네트워크를 통해 원격 서버에 전달된다. 원격 서버는 기준 식별자와 뇌 활동 데이터에 기초하여 가상 물체를 선택한다. 가상 물체를 식별하는 서버로부터의 통신이 수신된다. 가상 물체는 가상 랜드스케이프(virtual landscape) 내에 표시된다.
일 실시예에서, 장치는 전기파 애플리케이션, 기준 식별자 모듈, 및 가상 물체 생성 모듈을 갖는다. 전기파 애플리케이션은 사용자에 의해 생성된 전기파들의 출력의 강도 및 패턴에 기초하여 사용자의 마음의 상태를 식별한다. 기준 식별자 모듈은 실물 상의 시각적 기준을 식별한다. 가상 물체 생성 모듈은 시각적 기준 및 사용자의 마음의 상태에 기초하여 가상 물체를 식별하고, 실물의 이미지와 맞물린 가상 물체의 시각화를 디스플레이 내에 생성한다. 가상 물체의 시각화의 렌더링은 시각 기준에 대한 디스플레이의 위치에 기초한다.
다른 실시예에서, 장치는 또한 뇌파 데이터를 생성하기 위해 사용자의 머리에 결합된 EEG 뇌파 센서, 사용자의 심박수 데이터를 생성하기 위한 심박 센서, 디스플레이 상의 사용자의 시선을 결정하기 위한 눈 추적 센서, 장치의 지리적 위치를 결정하기 위한 위치 센서, 및 사용자와 관련된 소셜 네트워크 정보에 액세스하도록 구성된 소셜 네트워크 모듈을 포함한다. 전기파 애플리케이션은 뇌파 데이터, 심박수 데이터, 사용자의 시선, 장치의 지리적 위치, 및 사용자와 관련된 소셜 네트워크 정보에 기초하여 사용자의 마음의 상태를 식별한다.
다른 실시예에서, 장치는 또한 디스플레이 내의 포커스 영역 및 가상 물체의 특징을 결정하는 시각 제스처 모듈을 포함한다. 이어서, 시각 제스처 모듈은 특징이 디스플레이의 포커스 영역 내에 있는 것에 응답하여 특징의 상태를 변경한다. 따라서, 장치 내의 "시각 제스처들"은 사용자가 그의 손을 이용하여 장치의 디스플레이를 탭핑할 필요 없이 사용자가 장치의 디스플레이 내의 특징들을 선택 및 활성화하는 것을 가능하게 한다. 예를 들어, 장치의 카메라가 장치의 배면 카메라로부터 캡처된 실시간 이미지들을 표시하는 동안, 사용자는 장치를 물리적으로 이동 및 재배향시킴으로써 "시각 제스처"를 행한다. 장치는 묘사되는 실물을 생성된 가상 물체 및 그의 특징들과 겹치게 하므로, 장치의 물리적 움직임 및 재배향은 특징들 중 하나가 디스플레이의 포커스 영역 내로 이동시키는 제스처를 초래하고 액션이 생성되게 할 수 있다.
다른 실시예에서, 시각 제스처 모듈은 디스플레이 내의 포커스 영역 및 가상 물체의 특징을 결정한다. 이어서, 시각 제스처 모듈은 출력의 강도에 응답하여 특징의 상태를 변경한다.
다른 실시예에서, 저장 장치는 시각적 기준들, 시각적 기준들과 사용자로부터의 전기파들의 대응하는 강도 및 패턴들의 조합과 관련된 가상 물체들, 및 가상 물체들의 특징들을 저장하는 데이터베이스를 포함한다. 가상 물체들의 특징들은 출력의 강도에 응답하여 상태를 변경하도록 구성된다.
다른 실시예에서, 포커스 영역은 디스플레이의 미리 정해진 부분에 대응한다. 특징의 상태는 디스플레이의 미리 정해진 부분 내에 특징이 위치하는 것에 응답하여 변화한다.
다른 실시예에서, 디스플레이의 미리 정해진 부분은 디스플레이의 중심 영역, 디스플레이의 에지에 인접한 영역, 디스플레이의 코너에 인접한 영역, 또는 표시 영역의 사용자 정의 부분 중 적어도 하나를 포함한다.
다른 실시예에서, 특징의 상태는 시간 임계치를 초과하는 기간 동안 디스플레이의 미리 정의된 부분 내에 특징이 위치하는 것에 응답하여 변화한다.
다른 실시예에서, 특징의 상태는 특징의 상태는 시간 임계치를 초과하는 기간 동안 출력의 강도가 강도 임계치를 초과하는 것에 응답하여 변화한다.
다른 실시예에서, 시각 제스처 모듈은 포커스 영역 검출기 및 특징 상태 수정기를 포함한다. 포커스 영역 검출기는 디스플레이의 포커스 영역 내의 3차원 가상 물체의 특징의 존재를 검출한다. 특징 상태 수정기는 특징이 포커스 영역 내에 존재하는 것에 응답하여 특징의 상태를 변경한다.
다른 실시예에서, 특징 상태 수정기는 포커스 영역 내의 가상 물체의 제1 컴포넌트를 포커스 영역 내의 가상 물체의 제2 컴포넌트로 대체함으로써 특징의 상태를 변경한다.
다른 실시예에서, 비일시적 기계 판독가능 저장 장치는 적어도 하나의 프로세서에 의해 실행될 때, 적어도 하나의 프로세서로 하여금 본 명세서 내에서 설명되는 방법 동작들을 수행하게 하는 명령어들의 세트를 저장할 수 있다.
도 1은 일부 실시예들에 따른, 장치 상의 시각 제스처들 및 장치의 사용자로부터의 사고에 기초하여 콘텐츠의 선택을 가능하게 하기에 적합한 장치(100)를 도시한 블록도이다. 장치(100)는 센서들(102), 디스플레이(104), 프로세서(106) 및 저장 장치(108)를 포함할 수 있다. 예를 들어, 장치(100)는 데스크탑 컴퓨터, 차량용 컴퓨터, 태블릿 컴퓨터, 내비게이션 장치, 휴대용 미디어 장치, 사용자의 스마트폰, 또는 사용자 웨어러블 컴퓨팅 장치(예를 들어, 안경)일 수 있다. 사용자는 인간 사용자(예를 들어, 사람), 기계 사용자(예를 들어, 장치(100)와 상호 작용하도록 소프트웨어 프로그램에 의해 구성된 컴퓨터), 또는 이들의 임의의 적합한 조합(예를 들어, 기계에 의해 지원되는 사람 또는 사람에 의해 감독되는 기계)일 수 있다.
센서들(102)은 사람으로부터 전기적 활동을 측정하는 전극들을 포함할 수 있다. 예를 들어, 센서들(102)은 뇌의 EEG(뇌파 검사) 파, 근육의 EMG(근전도) 파, 및 눈의 EOG(안구 전도) 파를 측정하기 위한 전극들을 포함할 수 있다. 센서들(102)은 사람의 집중 레벨 또는 마음 상태에 대한 전기 신호들을 검출함으로써 EEG를 통해 뇌파들을 모니터링하는 데 사용될 수 있다. 센서들은 예를 들어 사용자의 머리에 부착된 헤드셋을 사용하여 구현될 수 있다. 다른 예에서, 센서들(102)은 사용자의 얼굴 표정들을 검출하기 위해 얼굴 근육들을 모니터링하는 데 사용될 수 있다.
다른 실시예에서, 센서들(102)은 또한 광센서(예를 들어, 전하 결합 장치(CCD)), 배향 센서(예를 들어, 자이로스코프), 및/또는 오디오 센서(예를 들어, 마이크)를 포함할 수 있다. 예를 들어, 장치(100)는 사용자의 눈 이동 및 얼굴 표정을 추적하기 위한 전면 카메라, 및 실물(또는 다른 표시된 가상 물체)의 사진 또는 비디오를 캡처하기 위한 배면 카메라를 포함할 수 있다. 본 명세서에서 설명되는 센서들(102)은 예시 목적을 위한 것이고, 따라서 센서들(102)은 설명되는 것으로 제한되지 않는다는 점에 유의한다. 다른 예에서, 센서들(102)은 장치(100)에 물리적으로 접속되지 않을 수 있지만, 대신에 Wi-Fi 및 Bluetooth®와 같은 무선 수단을 통해 장치(100)에 결합될 수 있다.
디스플레이(104)는 예를 들어, 터치스크린 디스플레이 상의 접촉을 통해 사용자 입력을 수신하도록 구성되는 터치스크린 디스플레이를 포함할 수 있다. 다른 예에서, 디스플레이(104)는 프로세서(106)에 의해 생성된 이미지들을 표시하도록 구성된 스크린 또는 모니터를 포함할 수 있다. 다른 예에서, 디스플레이(104)는 사용자가 디스플레이(104)를 통해 볼 수 있도록 투명 또는 반투명할 수 있다.
프로세서(106)는 전기파(예를 들어, EEG 뇌파) 애플리케이션(110) 및 증강 현실 애플리케이션(112)을 포함할 수 있다. 전기파 애플리케이션(110)은 센서들(102)로부터의 출력들에 기초하여 사용자의 마음의 상태(예를 들어, 이완, 긴장, 행복, 분노)를 결정할 수 있다. 마음의 상태는 센서들(102)의 출력들의 강도 또는 패턴에 기초할 수 있다. 증강 현실 애플리케이션(112)은 장치(100)의 디스플레이(104) 내에 장치(100)의 카메라(도시되지 않음)에 의해 캡처된 실물의 이미지 상에 겹쳐진 가상 물체(3차원 또는 2차원)의 시각화를 생성할 수 있다. 가상 물체는 사용자의 마음의 현재 상태에 기초하여 선택될 수 있다. 가상 물체 및 가상 물체의 특징들은 사용자의 마음의 상태의 변화에 기초하여 더 조작될 수 있다. 다른 실시예에서, 가상 물체는 장치(100)의 카메라 렌즈에 대한 실물의 위치를 조정함으로써 (예를 들어, 사용자에 의해) 더 조작될 수 있다. 유사하게, 가상 물체의 시각화는 실물에 대한 장치(100)의 카메라 렌즈의 위치를 조정함으로써 (예를 들어, 사용자에 의해) 조작될 수 있다.
한 실시예에서, 전기파 애플리케이션(110)은 단기간에 걸쳐 사람의 뇌로부터 방출된 전기파들의 강도 또는 패턴을 식별할 수 있다. 다수의 전극들이 사용자의 두피 전체에 걸쳐 배치될 수 있다. 각각의 전극은 다른 타입의 파들을 측정하도록 구성될 수 있다. 예를 들어, 델타 파들은 수면 중에 가장 많이 존재한다. 세타 파들은 수면, 깊은 휴식, 및 시각화와 관련된다. 알파 파들은 완화되고 조용할 때 발생한다. 베타 파들은 적극적으로 생각하거나 문제를 풀 때 발생한다. 감마 파들은 보다 높은 정신적 활동 및 정보의 통합에 관련될 때 발생한다. 이어서, 전기파 애플리케이션(110)은 센서들(102)의 출력들에 기초하여 사용자의 마음의 상태를 식별할 수 있다. 예를 들어, 전기파 애플리케이션(110)은 EEG 전극들 단독 또는 다른 감지 장치들(마이크, 카메라, 및 심박수 모니터)과 조합하여 사용할 수 있다.
한 실시예에서, 증강 현실 애플리케이션(112)은 실물 상의 시각적 기준을 식별하고 장치(100)의 디스플레이(104) 내의 시각적 기준의 위치를 추적할 수 있다. 시각적 기준은 또한 마커로서 지칭될 수 있고, 식별가능한 이미지, 심볼, 문자, 숫자, 기계 판독가능 코드로 이루어질 수 있다. 예를 들어, 시각적 기준은 바 코드, 고속 응답(QR) 코드, 또는 가상 물체와 이전에 관련되었던 이미지를 포함할 수 있다.
증강 현실 애플리케이션(112)은 디스플레이(104) 내에 실물의 이미지 또는 사진과 맞물리는 가상 물체의 시각화를 생성하고 표시할 수 있다. 가상 물체는 시각적 기준 및 사용자의 마음의 상태에 기초하여 생성될 수 있다. 각각의 가상 물체는 (예를 들어, 증강 현실 애플리케이션(112) 내의 해당 가상 물체에 고유한) 고유 시각적 기준 및 대응하는 마음 상태에 대응할 수 있다. 다른 실시예에서, 증강 현실 애플리케이션(112)은 실물에서의 시각적 기준에 대한 장치(100)의 위치 및 배향에 기초하여 가상 물체의 시각화를 렌더링한다.
증강 현실 애플리케이션(112)은 디스플레이(104) 내의 포커스 영역을 결정할 수 있다. 디스플레이(104) 내의 포커스 영역은 디스플레이(104) 내의 미리 정해진 영역에 대응할 수 있다. 미리 정해진 영역은 디스플레이(104) 내의 가상 물체의 특징에서 액션 또는 상태 변화를 트리거할 수 있다. 가상 물체의 특징은 센서들(102)의 출력들의 강도에 응답하여 또는 사용자의 마음의 현재 상태(예를 들어 사용자가 이완됨)에 응답하여 상태를 변화시킬 수 있다. 가상 물체의 특징은 또한 사용자의 마음의 상태의 변화에 응답하여(예를 들어, 사용자가 점점 더 집중함) 변화할 수 있다. 특징은 또한 특징이 디스플레이의 포커스 영역 내에 존재할 때(예를 들어, 표시된 가상 차량의 엔진이 포커스 영역 내에 있을 때) 상태를 변화시킬 수 있다. 포커스 영역은 증강 현실 애플리케이션(112)에 의해 미리 정해질 수 있거나 장치(100)의 사용자에 의해 맞춤화 및 정의될 수 있다.
저장 장치(108)는 시각적 기준들, 시각적 기준들에 대응하는 가상 물체들, 가상 물체들에 대응하는 가상 물체들의 특징들, 및 대응하는 마음의 상태의 데이터베이스를 저장하도록 구성될 수 있다. 가상 물체들의 특징들은 사용자의 마음의 상태에 따라 변화할 수 있다. 예를 들어, 가상 의자의 색은 사용자가 더 집중함에 따라 청색으로부터 적색으로 변화할 수 있다. 가상 의자는 사용자가 이완되는 경우 청색으로 표시될 수 있다. 다른 예에서, 가상 물체의 특징들은 특징들이 디스플레이(104)의 포커스 영역 내에 존재할 때 변화한다. 예를 들어, 시각적 기준은 기계 판독가능 코드 또는 이전에 식별된 이미지(예를 들어, 신발의 사진)를 포함할 수 있다. 쇼의 이전에 식별된 이미지는 신발의 사진에 대한 장치(100)의 위치를 조작함으로써 다른 각도들로부터 관찰될 수 있는 3차원 가상 신발에 대응할 수 있다. 3차원 가상 신발의 특징들은 3차원 가상 신발 상의 선택가능한 아이콘들을 포함할 수 있다. 아이콘은 디스플레이(104)의 포커스 영역 내에 아이콘을 표시하기 위해 장치(100)를 이동(예를 들어, 재배치, 재배향, 또는 둘 다)시킴으로써 선택되거나 활성화될 수 있다. 예를 들어, 포커스 영역은 디스플레이(104)의 중심 영역, 디스플레이(104)의 코너, 디스플레이(104)의 에지, 또는 이들의 임의의 적합한 조합일 수 있다.
한 실시예에서, 장치(100)는 시각적 기준들, 대응하는 3차원 가상 물체들, 3차원 가상 물체들의 대응하는 특징들, 및 대응하는 마음 상태들의 데이터베이스의 일부를 검색하기 위해 서버(도시되지 않음)와 네트워크(도시되지 않음)를 통해 통신할 수 있다. 네트워크는 기계들, 데이터베이스들, 및 장치들(예를 들어, 장치(100)) 간의 통신을 가능하게 하는 임의의 네트워크일 수 있다. 따라서, 네트워크는 유선 네트워크, 무선 네트워크(예를 들어, 이동 또는 셀룰러 네트워크), 또는 이들의 임의의 적합한 조합일 수 있다. 네트워크는 비공개 네트워크, 공개 네트워크(예를 들어, 인터넷), 또는 이들의 임의의 적합한 조합을 이루는 하나 이상의 부분을 포함할 수 있다.
본 명세서에서 설명되는 모듈들 중 어느 하나 이상은 하드웨어(예를 들어, 기계의 프로세서) 또는 하드웨어와 소프트웨어의 조합을 사용하여 구현될 수 있다. 예를 들어, 본 명세서에서 설명되는 임의의 모듈은 그 모듈에 대해 본 명세서에서 설명되는 동작들을 수행하도록 프로세서를 구성할 수 있다. 더욱이, 이들 모듈들 중 임의의 2개 이상은 단일 모듈로 결합될 수 있고, 단일 모듈에 대해 본 명세서에서 설명되는 기능들은 다수의 모듈 사이에 세분될 수 있다. 또한, 다양한 실시예들에 따르면, 단일 기계, 데이터베이스, 또는 장치 내에 구현되는 것으로 본 명세서에서 설명되는 모듈들은 다수의 기계, 데이터베이스 또는 장치에 걸쳐 분산될 수 있다.
도 2는 일부 실시예들에 따른, 장치(100) 내의 전기파 애플리케이션(110)의 모듈들(예를 들어, 컴포넌트들)을 도시한 블록도이다. 전기파 애플리케이션(110)은 센서 모듈(202), 초기화 모듈(208), 강도 모듈(204), 패턴 모듈(206) 및 마음 상태 식별 모듈(210)을 포함할 수 있다.
센서 모듈(202)은 센서들(102)로부터의 출력을 캡처한다. 예를 들어, 센서 모듈(202)은 사용자의 두피 상에 배치된 EEG 전극들을 사용하여 사용자의 뇌에 의해 생성되는 전기파들을 캡처할 수 있다. 앞서 설명된 바와 같이, 센서 모듈(202)은 또한 EEG 전극들로부터의 출력들을 더 보충하기 위해 심박 모니터 또는 안면 근육 모니터와 같은 다른 타입의 센서들로부터 출력들을 캡처할 수 있다. 다른 실시예에서, 센서들(102)은 사용자의 시선을 검출하고 사용자가 디스플레이(104) 상에서 어디를 보는지를 결정하기 위한 카메라를 포함할 수 있다.
초기화 모듈(208)은 전기파 애플리케이션(110)이 특정 사용자에 기초하여 센서들(102)로부터의 출력들을 초기화하고 교정하는 것을 가능하게 한다. 사용자는 사용자가 느슨한 마음 상태에 있는 동안에 초기화 모듈(208)이 센서들로부터의 출력들의 샘플을 캡처하는 동안에 느슨하도록 요구될 수 있다. 이어서, 샘플 출력들은 사용자에 대한 기준선 또는 기준으로서 사용될 수 있다.
강도 모듈(204)은 하나 이상의 센서의 강도를 측정할 수 있다. 예를 들어, 강도 모듈(204)은 사용자의 느슨한 마음 상태를 결정하기 위해 사용자의 심박과 조합하여 알파 파들의 전기 신호들의 강도를 측정할 수 있다. 다른 실시예에서, 강도는 선택된 센서들로부터의 하나 이상의 출력의 통계적 계산(예를 들어, 평균 또는 중간)에 기초할 수 있다.
패턴 모듈(206)은 EEG 전극들 또는 센서들의 조합의 패턴을 측정한다. 예를 들어, 사용자는 사용자가 특정한 차에 대해 생각하고 있을 때 고유 뇌파 패턴을 생성할 수 있다. 패턴 모듈(206)은 센서들(102)의 출력들의 패턴을 기록하고, 사용자로부터의 고유 패턴을 특정한 차에 관련시킬 수 있다. 다른 실시예에서, 패턴 모듈(206)은 선택된 또는 가장 관련된 센서들로부터의 하나 이상의 출력에 기초하여 패턴을 식별한다. 예를 들어, 패턴 모듈(206)은 사용자가 디스플레이에서 차를 볼 때 뇌파 패턴의 고유 조합을 식별할 수 있다. 패턴 모듈(206)은 사용자가 장치(100)의 광센서 또는 카메라를 사용하여 차를 보고 있다고 결정한다. 사용자의 근육들과 관련된 전기파들로부터의 출력들은 또한 고유 패턴(예를 들어, 알파 뇌파 패턴 A, 델타 뇌파 패턴 B, 안면 근육 패턴 C, 및 디스플레이에서 물체 D를 보는 눈)의 식별을 더욱 증가시키기 위해 뇌 EEG와 조합하여 사용될 수 있다. 따라서, 사용자로부터의 각각의 고유 패턴은 가상 물체 경험의 고유 시각화와 관련될 수 있다. 바꾸어 말하면, 센서들(102)의 고유 패턴은 디스플레이(104)에서 시각화될 특정한 가상 물체의 식별을 트리거한다. 예를 들어, 센서들(102)로부터의 강도 x'y'z'를 갖는 패턴 xyz은 비행기에 대응한다. 센서들(102)로부터의 강도 a'b'c'를 갖는 패턴 abc는 비행기가 상향으로 이동하는 것에 대응한다.
따라서, 마음 상태 식별 모듈(210)은 강도 모듈(204) 및 패턴 모듈(206)에 기초하여 사용자의 마음 상태를 결정하고 식별할 수 있다. 예를 들어, 마음 상태 식별 모듈(210)은 사용자가 행복하거나, 느슨하거나, 화나거나, 집중하거나, 배고프거나, 목이 마른 것으로 결정할 수 있다. 다른 실시예에서, 마음 상태 식별 모듈(210)은 사용자가 생각하고 있는 특정한 물체(예를 들어, 미니밴) 또는 특정한 액션(예를 들어, 문 개방)을 결정할 수 있다.
다른 실시예에서, 마음 상태 식별 모듈(210)은 강도 모듈(204) 및 패턴 모듈(206)로부터의 변화들에 기초하여 사용자의 마음 상태의 변화를 결정한다. 예를 들어, 마음 상태 식별 모듈(210)은 이전에 느슨했던 사용자가 긴장하게 되는 것을 결정할 수 있다.
도 3은 일부 실시예들에 따른, 장치(100)의 증강 현실 애플리케이션(112)의 모듈들(예를 들어, 컴포넌트들)을 도시한 블록도이다. 증강 현실 애플리케이션(112)은 기준 식별자 모듈(302), 마음 상태 모듈(312), 가상 물체 생성 모듈(304) 및 시각 제스처 모듈(306)을 포함할 수 있다.
마음 상태 모듈(312)은 전기파 애플리케이션(110)의 마음 상태 식별 모듈(210)에 기초하여 사용자의 마음 상태를 생성한다. 예를 들어, 마음 상태 모듈(312)은 사용자가 느슨해지거나 특정한 물체 또는 액션을 생각하고 있다는 것을 지시할 수 있다. 마음 상태 모듈(312)은 또한 마음 상태 식별 모듈(210)에 기초하여 사용자의 마음 상태의 변화를 식별할 수 있다.
기준 식별자 모듈(302)은 장치(100)의 센서들(102)에 의해 캡처된 실물 상의 시각적 기준을 식별한다. 예를 들어, 장치(100)의 카메라는 신문 상의 페이지와 같이, 실물의 이미지를 캡처한다. 신문 상의 페이지는 기사 및 사진을 포함할 수 있다. 사진은 저장 장치(108) 내에서 시각적 기준으로서 이미 식별되었다. 사진은 물체(예를 들어, 가상 소파)의 대응하는 3차원 모델과 관련될 수 있다.
가상 물체 생성 모듈(304)은 장치(100)의 센서(102)에 의해 캡처된 실물의 이미지와 맞물리는 3차원 가상 물체의 시각화를 생성하고 표시한다(예를 들어, 가상 소파가 잡지 페이지의 위에 떠서 회전한다). 가상 물체는 시각적 기준(예를 들어, 잡지 페이지 내의 가구 광고) 및 사용자의 마음 상태에 기초할 수 있다. 한 실시예에서, 각각의 가상 물체는 시각적 기준 및 특정한 마음 상태와 고유하게 관련될 수 있다. 가상 물체 생성 모듈(304)은 시각적 기준에 대한 장치(100)의 위치에 기초하여 가상 물체의 시각화를 렌더링한다. 다른 실시예에서, 가상 물체의 속성들은 사용자의 마음 상태에 기초할 수 있다. 예를 들어, 가상 물체 생성 모듈(304)은 사용자의 마음 상태가 사용자가 느슨해지고 소파를 생각하고 있다는 것을 지시할 때 청색 소파를 생성할 수 있다. 유사하게, 가상 물체 생성 모듈(304)은 사용자의 마음 상태가 사용자가 상기되어 있고 소파를 생각하고 있다는 것을 지시할 때 적색 소파를 생성할 수 있다.
또 다른 실시예에서, 가상 물체 생성 모듈(304)은 사용자의 마음 상태의 변화에 기초하여 가상 물체를 생성한다. 예를 들어, 사용자의 마음 상태가 사용자가 점점 더 상기되고 있다는 것을 지시할 때 청색 차가 적색 소파로 변할 수 있다.
시각 제스처 모듈(306)은 디스플레이(104) 내의 포커스 영역 및 가상 물체의 특징을 결정할 수 있다. 예를 들어, 그러한 특징들은 3차원 가상 물체 상의 관심 포인트들 또는 사용자 상호작용 물체들을 포함할 수 있다. 예를 들어, 3차원 가상 물체는 3차원 플로어 계획에서의 관심 포인트들에 대응하는 아이콘들을 갖는 3차원 플로어 계획을 포함할 수 있다. 3차원 플로어 계획에서 나타나는 방 안에 위치한 아이콘은 대응하는 방에 관한 보다 많은 정보(방의 크기, 방의 설명 등)를 생성하도록 활성화될 수 있다. 아이콘은 사용자가 디스플레이(104) 상의 아이콘의 표현을 탭핑함으로써 활성화될 수 있다.
한 실시예에서, 시각 제스처 모듈(306)은 특징이 디스플레이의 포커스 영역 내에 있을 때 또는 사용자의 마음 상태에 응답하여 특징의 상태를 변화시킬 수 있거나 특징을 활성화할 수 있다. 예를 들어, 포커스 영역은 디스플레이(104) 내의 중심 영역으로서 설정될 수 있다. 이전의 예를 사용하여, 사용자는 관심 방의 아이콘이 디스플레이(104) 내의 중심 영역 내에 표시될 수 있도록 장치(100)를 이동시킬 수 있다. 시각 제스처 모듈(306)은 아이콘이 선택되었다는 것을 사용자에게 표시하기 위해 아이콘의 색 또는 형상을 변화시킬 수 있다. 다른 예에서, 관심 방은 사용자가 상기되어 있다는 것을 표시하는 사용자 마음 상태에 기초하여 적색으로 강조될 수 있다.
또한, 사용자가 적어도 소정 양의 시간(예를 들어, 수초) 동안 디스플레이(104)의 중심 영역 내에 아이콘을 유지하면, 아이콘은 아이콘 상의 탭핑에 대응하는 액션을 개시하기 위해 상태를 변경하거나 활성화될 수 있다. 예를 들어, 사용자에 의해 선택된 방의 설명을 제공하기 위해 대화 상자가 디스플레이 내에 생성될 수 있다.
다른 실시예에서, 시각 제스처 모듈(306)은 포커스 영역 검출기(308) 및 특징 상태 수정기(310)를 포함한다. 포커스 영역 검출기(308)는 디스플레이(104)의 포커스 영역 내에서 가상 물체의 특징의 존재를 검출한다. 포커스 영역 검출기(308)는 사용자가 보고 있는 디스플레이 내의 특정한 영역을 결정하기 위해 장치(100)를 보는 사용자의 눈 움직임을 추적할 수 있다. 예를 들어, 포커스 영역 검출기(308)는 사용자 및 실물에 대한 장치(100)의 움직임, 배향 및 위치에 기초하여 사용자가 디스플레이(104) 내의 특정 영역을 보고 있는 것으로 결정할 수 있다. 포커스 영역 검출기(308)는 또한 사용자에 면하는 장치의 하나 이상의 카메라 렌즈를 사용하여, 사용자의 눈의 위치 및 이동, 따라서 사용자가 보고 있는 디스플레이(104) 상의 대응하는 영역을 추정할 수 있다.
특징 상태 수정기(310)는 특징이 디스플레이(104)의 포커스 영역 내에 존재할 때 특징의 상태를 변화하도록 구성될 수 있다. 예를 들어, 특징 상태 수정기(310)는 이전에 설명된 눈 추적 특징을 사용하여 사용자가 보고 있는 영역에 대응하는 특징을 활성화할 수 있다. 다른 예에서, 포커스 영역 검출기(308)는 디스플레이(104) 내에 표시된 플로어 계획에서 특정한 방을 보고 있을 때 사용자가 상기되어 있다는 것을 결정한다. 가상 물체 생성 모듈(304)은 밝은 벽 색들을 갖는 특정한 방의 가상 3차원 모델을 생성할 수 있다.
도 4는 일부 실시예들에 따른, 시각 제스처 모듈(306)의 포커스 영역 검출기(308)의 모듈들(예로서, 컴포넌트들)을 나타내는 블록도이다. 포커스 영역 검출기(308)는 장치 상대 위치 모듈(402), 센터 포커스 모듈(404), 에지 포커스 모듈(406), 타이머 모듈(408), 눈 추적 모듈(410), 및 사용자 정의 영역 포커스 모듈(412)을 포함할 수 있다.
장치 상대 위치 모듈(402)은 센서(102)를 사용하여 실물 상의 시각적 기준에 대한 장치(100)의 위치 및 배향을 검출하도록 구성될 수 있다. 예를 들어, 자이로스코프는 장치(100)의 배향 및 위치를 결정할 수 있다. 카메라는 시각적 기준에 대한 장치(100)의 겨냥 및 각도를 결정하는 데 사용될 수 있다. 바꾸어 말하면, 장치 상대 위치 모듈(402)은 장치(100)가 시각적 기준에 대해 얼마나 멀리 또는 얼마나 가까이 있는지 그리고 장치(100)가 시각적 기준에 대해 어떻게 겨냥되는지를 결정한다.
다른 실시예에서, 장치 상대 위치 모듈(402)은 장치의 배향을 검출한다. 예를 들어, 장치 상태 위치 모듈(402)은 장치(100)가 랜드스케이프 모드 또는 포트레이트 모드로 유지되는지를 검출할 수 있다. 포커스 영역의 위치는 장치(100)가 랜드스케이프 모드 또는 포트레이트 모드로 유지되는지에 의존할 수 있다. 또한, 3차원 가상 물체의 특징들은 장치(100)가 랜드스케이프 모드 또는 포트레이트 모드로 유지되는지에 기초하여 인에이블 또는 디스에이블될 수 있다.
센터 포커스 모듈(404)은 디스플레이(104)의 중심에 디스플레이(104)의 포커스 영역을 정의하도록 구성될 수 있다. 예를 들어, 센터 포커스 모듈(304)은 디스플레이(104)의 대략 중심 내의 영역을 포커스 영역으로서 정의하도록 구성될 수 있다. 영역은 원형, 타원형, 또는 임의의 다른 형상일 수 있다. 영역은 시각 제스처 모듈(306)에 의해 미리 정해질 수 있거나 사용자 선택에 기초하여 맞춤화될 수 있다. 예를 들어, 사용자는 포커스 영역을 디스플레이(104) 내의 다른 영역으로 이동시킬 수 있다.
에지 포커스 모듈(406)은 디스플레이(104)의 에지에 디스플레이(104)의 포커스 영역을 정의하도록 구성될 수 있다. 예를 들어, 에지 포커스 모듈(406)은 에지에서의 또는 디스플레이(104)의 코너 내의 영역을 포커스 영역으로서 정의하도록 구성될 수 있다. 영역은 원형, 타원형, 또는 임의의 다른 형상일 수 있다. 영역은 또한 시각 제스처 모듈(306)에 의해 미리 정해질 수 있거나 사용자 선택에 기초하여 맞춤화될 수 있다. 예를 들어, 사용자는 포커스 영역을 디스플레이(104) 내의 다른 영역으로 이동시킬 수 있다.
타이머 모듈(408)은 가상 물체의 특징이 디스플레이(104)의 포커스 영역 내에 위치하도록 장치(100)가 시각적 기준을 향했던 시간의 양을 측정하도록 구성될 수 있다.
눈 추적 모듈(410)은 사용자가 보고 있는 장치(100)의 디스플레이 내의 영역을 결정하기 위해 장치(100)를 보는 사용자의 눈 움직임을 추적하도록 구성될 수 있다.
사용자 정의 영역 포커스 모듈(412)은 사용자가 포커스 영역으로 사용될 디스플레이(104) 내의 영역의 임의 부분 또는 영역의 임의 형상을 정의하고 선택하는 것을 가능하게 하도록 구성될 수 있다.
도 5는 일부 실시예들에 따른, 시각 제스처 모듈(306)의 특징 상태 수정기(310)의 모듈들(예로서, 컴포넌트들)을 나타내는 블록도이다. 특징 상태 수정기(310)는 앞서 설명된 바와 같이 디스플레이(104) 내의 포커스 영역에 존재하는 특징의 상태를 변화하도록 구성될 수 있다. 예를 들어, 포커스 영역이 디스플레이(104)의 중심 영역 내에 있으면, 특징 상태 수정기 모듈(310)은 포커스 영역 검출기(308)가 사용자가 적어도 사전 결정된 양의 시간(예를 들어, 수 초) 동안 디스플레이(104)의 중심 영역 내의 아이콘을 유지한 것을 검출할 때 아이콘이 선택되었다는 것을 사용자에게 지시하기 위해 아이콘의 색을 변경할 수 있다. 그 경우에, 아이콘은 아이콘 상의 탭핑에 대응하는 액션을 개시하기 위해 상태를 변경하거나 활성화될 수 있다. 예를 들어, 사용자에 의해 선택된 방의 설명을 제공하기 위해 디스플레이 내에 대화 상자가 생성될 수 있다.
다른 예에서, 특징 상태 수정기 모듈(310)은 포커스 영역 검출기(308)가 적어도 사전 결정된 양의 시간(예를 들어, 수 초) 동안 사용자가 디스플레이(104)의 중심 영역 내에 아이콘을 유지했다는 것을 검출할 때 그리고 마음 상태 모듈(312)이 사용자가 적어도 사전 결정된 양의 시간(예로서, 수 초) 동안 특정한 마음 상태를 유지한 것으로 결정할 때 아이콘이 선택된 것을 사용자에게 표시하기 위해 아이콘의 색을 변경할 수 있다.
특징 상태 수정기(310)는 상태 변화 시각화 모듈(502) 및 액션 모듈(504)을 포함할 수 있다. 상태 변화 시각화 모듈(502)은 포커스 영역 내의 아이콘을 변경하도록 구성될 수 있다. 예를 들어, 아이콘의 색 또는 형상이 변경될 수 있거나, 아이콘이 다른 아이콘 또는 통지 상자와 같은 다른 사용자 인터페이스로 대체될 수 있다.
액션 모듈(504)은 디스플레이(104) 상의 아이콘의 탭핑과 유사한 액션을 트리거하도록 구성될 수 있다. 예를 들어, 액션 모듈(504)은 메시지 통지, 대화 상자, 메뉴, 또는 디스플레이(104) 내의 포커스 영역 내의 특징의 존재에 의해 또는 사용자의 마음 상태에 의해 트리거된 기타 액션을 생성할 수 있다. 다른 실시예에서, 액션 모듈(404)은 예를 들어 무선 네트워크를 통해 장치(100)로부터 다른 장치로의 통신을 생성하도록 구성될 수 있다.
도 6a는 일부 실시예들에 따른, 사고에 기초하는 장치 내의 가상 물체의 시각화의 일례를 나타내는 블록도이다. 사용자(601)는 사용자(601)의 두피 상에 배치된 전극들과 같은 센서들(610)을 구비한다. 앞서 설명된 바와 같이, 센서들(610)은 특히 안면 근육 활동 및 심박 활동을 측정하기 위한 다른 유형들의 측정 장치들을 포함할 수 있다. 센서들(610)은 장치(600)(예를 들어, 이동 통신 장치)에 와이어를 통해 물리적으로 결합될 수 있다. 다른 예에서, 센서들(610)은 무선 통신 수단(예를 들어, Bluetooth®, ZigBee®)을 사용하여 무선으로 장치(600)와 통신할 수 있다.
사용자(601)는 시각적 기준(606)을 갖는 실물(604)을 향해 장치(600)의 후방 카메라(612)를 지향시킨다. 앞서 설명된 바와 같이, 시각적 기준(606)은 사진, 기계 판독가능 코드, 또는 장치(600) 내의 증강 현실 애플리케이션(112)에 고유한 임의의 다른 식별자를 포함할 수 있다. 실물(604)은 예를 들어, 잡지 또는 신문의 페이지일 수 있다. 다른 실시예에서, 실물(604)과 시각적 기준(606)(예를 들어, 포스터 또는 컵)은 함께 결합될 수 있다. 이러한 경우에, 3차원 실물은 시각적 기준으로서 사용될 수 있다. 예를 들어, 특정한 패턴 또는 설계를 갖는 컵과 같은 3차원 물체가 시각적 기준으로서 사용될 수 있다. 장치(600)는 후방 카메라(612)를 사용하여 실물(604) 및 시각적 기준(606)의 이미지 또는 사진을 캡처한다.
장치(600)는 센서들(610)로부터의 출력들 및 시각적 기준(606)에 기초하여 장치(600)의 디스플레이(602) 내의 3차원 가상 물체의 시각화를 생성한다. 예를 들어, 장치(600)는 사용자(601)가 아키텍처 회사에 지리적으로 위치한다고 결정할 수 있다. 장치(600)는 사용자(601)의 마음 상태가 고층 빌딩에 집중된다는 것을 센서들(610)로부터 결정한다. 다른 실시예에서, 장치(600)의 전면 카메라(614)는 사용자(601)의 마음 상태에 대한 추가 데이터를 더 향상시키거나 제공할 수 있다. 예를 들어, 장치(600)는 미소 짓거나 찡그린 것을 결정하기 위해 전면 카메라(614)를 사용하여 사용자(601)의 라이브 사진을 얻을 수 있다. 다른 예에서, 전면 카메라(614)는 사용자(601)의 신원을 결정하기 위해 안면 인식을 위해 사용될 수 있다. 장치(600)는 예를 들어, 선호하는 색들 또는 아이템들과 같은 사용자(601)로부터의 선호들을 검색할 수 있다. 다른 예에서, 장치(600)는 장치(600)의 지리적 위치(예를 들어, 사무실, 집, 식당, 도시, 나라), 시각적 기준(606)의 캡처 시간(아침, 오후, 저녁, 휴일, 주말), 시각적 기준(606)에 대한 장치(600)의 배향(포트레이트 또는 랜드스케이프, 얼마나 가까운지), 사용자(601)의 식별(예로서, 얼굴 인식 또는 로그인 정보를 이용), 사용자(601)의 선호들(예를 들어, 선호하는 색깔, 선호하는 음악의 유형), 사용자(601)에 관련된 소셜 네트워크 정보(예를 들어, 친구들의 수, 관심, 친구들의 친밀도, 포스팅), 센서들(610)로부터의 출력들(예를 들어, EEG 뇌파, EMG 근육파, EOG 눈 파들, 심박, 혈압), 및 시각적 기준(606)의 조합에 기초하여 디스플레이(602)에 표시될 가상 물체를 결정, 식별, 및 조작한다.
이어서, 장치(600)는 사용자(601)의 마음 상태에 기초하여 실물(604)의 사진과 맞물리는 3차원 가상 물체의 시각화를 생성할 수 있다. 본 예에서, 고층 빌딩(608)의 3차원 모델은 집중 상태 동안 디스플레이(602) 내의 실물(604)의 이미지의 상부에 렌더링된다. 다른 예에서, 사용자의 마음 상태가 느슨하고 사용자가 비치 하우스에 대해 생각하면, 장치(600)는 디스플레이(602) 내의 실물(604)의 이미지의 상부에 렌더링되는 비치 하우스의 3차원 모델을 생성할 수 있다. 따라서, 장치(600)는 시각적 기준(606)의 캡처된 이미지 및 사용자(601)의 현재 마음 상태에 응답하여 디스플레이(602) 내에 표시될 가상 물체를 결정한다.
도 6b는 일부 실시예들에 따른, 사고에 기초하는 장치 내의 가상 물체에 대한 액션의 시각화의 일례를 나타내는 블록도이다. 장치(600)는 사용자(601)의 마음 상태의 변화(예를 들어, 사용자가 빌딩 위의 비에 관해 생각하는 것)를 결정한다. 이어서, 장치(600)는 센서들(610) 및 전면 카메라(614)로부터의 출력들의 변화에 응답하여 사용자(601)의 마음 상태의 변화에 기초하여 장치(600)의 디스플레이(602) 내의 3차원 가상 물체의 시각화의 변화를 생성한다. 예를 들어, 빌딩(608) 위의 비는 장치(600)가 사용자(601)가 비에 집중한다는 것을 검출할 때 디스플레이(602) 내에 동적으로 애니메이트될 수 있다.
따라서, 디스플레이(602) 내의 이미 표시된 3차원 가상 물체의 변화들은 사용자(601)의 마음 상태의 변화에 기초하여 결정된다. 다른 예에서, 빌딩(608)의 색은 사용자(601)가 빌딩(608)을 보고 있는 동안 더 느슨해질 때 더 밝은 색조로 변할 수 있다. 다른 예에서, 빌딩(608)의 텍스처는 사용자(601)가 흥분되고 있을 때 더 거친 텍스처로 변할 수 있다.
도 6c는 일부 실시예들에 따른, 시각 제스처와 결합된 사고에 기초하는 장치 내의 가상 물체에 대한 액션의 시각화의 일례를 나타내는 블록도이다.
장치(600)의 전면 카메라(614)는 사용자(601)의 시선을 캡처하고 모니터할 수 있다. 바꾸어 말하면, 장치(600)는 디스플레이(602) 상에서, 사용자가 어디를 보는지를 결정하기 위해 눈 움직임을 추적할 수 있다. 다른 실시예에서, 장치(600)의 전면 카메라(614)는 눈 추적 움직임 및 머리 추적 움직임의 조합을 사용하여 사용자(601)의 시선을 결정한다.
빌딩(608)은 관심 포인트 아이콘들(618, 620, 622)을 포함할 수 있다. 예를 들어, 관심 포인트 아이콘(618)은 관심 포인트 아이콘(618)이 트리거되거나 달리 선택될 때, 빌딩(608)의 3차원 모델에 대한 관심 포인트 아이콘(618)의 위치에 대응하는 추가 정보를 제공할 수 있다.
일 실시예에서, 관심 포인트 아이콘(618)의 상태는 사용자(601)가 관심 포인트(618)를 보는 것 및 사용자(601)의 마음 상태에 응답하여 변경될 수 있다. 예를 들어, 관심 포인트 아이콘(618)은 사용자(601)의 마음 상태에 기초하여 색을 변경할 수 있다.
다른 실시예에서, 장치(600)는 사용자(601)가 관심 포인트 아이콘(618)을 보고 있고, 사용자(601)의 마음 상태가 집중 상태에 대응하는 것으로 결정하는 것에 응답하여, 관심 포인트 아이콘(618)에 대한 더 많은 정보를 표시할 수 있다. 예를 들어, 사용자(601)가 관심 포인트 아이콘(618)을 보고 있고, 센서들(610)을 이용하여 사용자(601)가 집중 상태에 있는 것으로 결정될 때, 디스플레이(608) 내에 설명 상자가 팝업될 수 있다.
다른 실시예에서, 사용자(601)는 관심 포인트 아이콘(512)이 장치(600)의 디스플레이(602)의 중심 영역에 표시되도록 실물(604)에 대해 장치(600)를 배치하였다. 일 실시예에서, 관심 포인트 아이콘(618)의 상태는 선택을 사용자에게 통지하도록 변경될 수 있다. 예컨대, 장치(600)의 사용자에게 관심을 끌기 위해 관심 포인트 아이콘(618)의 색이 변경될 수 있다.
다른 실시예에서, 전면 카메라(614)는 장치(600)의 디스플레이(602) 내의 빌딩(608)을 관찰하는 사용자(601)의 눈 움직임을 추적한다. 장치(600)는 사용자(604)가 디스플레이(602) 상의 한 영역(예로서, 깃대)을 보고 있는 것으로 결정한다. 영역은 빌딩(608) 상의 사전 식별된 위치에 대응할 수 있다. 사전 식별된 위치는 영역과 관련된 빌딩(608) 상의 관심 포인트를 포함할 수 있다. 예를 들어, 장치(600)는 사용자(601)가 수 초 동안 빌딩(608)의 깃대를 보고 있다는 것을 검출한다. 일례에서, 깃대에 대한 더 많은 정보를 보여주는 대화 상자가 표시될 수 있다. 다른 예에서, 장치(600)는 빌딩(608) 상의 사전 식별된 위치와 관련된 임의의 다른 액션을 생성할 수 있다.
다른 실시예에서, 장치(600)는 실물 또는 실물 상의 특정 위치를 식별하는 데 사용될 수 있는 투명 디스플레이(미도시)를 포함할 수 있다. 일례에서, 투명 디스플레이는 (예로서, 안경 대 또는 모자 대를 통해) 사용자의 머리에 장착될 수 있다. 다른 예에서, 투명 디스플레이는 핸드헬드 장치일 수 있으며, 사용자(601)는 그를 파지하고 그를 통해 투명 디스플레이 뒤의 실물을 볼 수 있다. 장치(600)의 배면 카메라는 (예를 들어, 실물의 이미지와 기준 이미지를 비교함으로써) 사용자가 보고 있는 실물들을 인식할 수 있다. 구체적으로, 사용자 및 실물에 대한 투명 디스플레이의 위치 및 배향을 이용하여 사용자의 시선을 결정할 수 있다. 결정된 사용자 시선을 이용하여, 장치는 관찰되고 있는 실물, 특히 실물의 어느 부분이 관찰되고 있는지를 실시간으로 식별할 수 있다.
장치(600)가 인식되는 실물 또는 인식되는 실물의 부분이 사전 식별된 실물 또는 사전 식별된 실물의 부분에 대응한다는 것을 식별하면, 장치는 사용자(601)의 마음 상태에 기초하여 대응하는 액션(예로서, 이메일 전송, 사운드 생성 등)을 트리거할 수 있다. 예를 들어, 장치(600)는 사용자(601)가 투명 디스플레이를 통해 텔레비전 세트의 바닥 부분을 보고 있는 것을 검출한다. 장치(600)는 텔레비전 세트를 인식하고, (사용자(601)가 보고 있는) 텔레비전 세트의 바닥 부분이 TV를 스위치 온 또는 오프하기 위한 텔레비전 세트에 대한 통신을 생성하는 것에 대응하는 액션과 관련되는 것으로 결정한다. 사용자(601)가 적어도 수 초 동안 텔레비전 세트의 바닥 부분을 보았고, 마음 상태가 사용자가 집중한다는 것을 지시하는 경우, 장치(600)는 텔레비전 세트를 턴 온 또는 오프하기 위한 대응하는 신호를 생성한다.
다른 예에서, 장치(600)는 사용자(601)의 마음 상태에 기초하여 TV 상에 겹쳐지는 TV 채널들의 가상 메뉴를 표시할 수 있다. 예를 들어, 사용자가 상기된 경우, TV 채널들의 메뉴는 스포츠 채널들 및 액션 영화들을 포함할 수 있다. 다른 예에서, 사용자(601)는 장치(600)의 투명 디스플레이를 통해 라디오 장치를 볼 수 있다. 유사하게, 사용자(601)의 마음 상태에 기초하여 라디오 장치 위에 음악 채널들의 가상 메뉴가 표시될 수 있다. 예를 들어, 장치(600)는 센서들(610)이 사용자(601)가 이완되거나 졸립다는 것을 지시할 때 고전적인 또는 편안한 음악 채널들의 가상 메뉴를 표시할 수 있다.
도 7은 일부 실시예들에 따른, 장치의 디스플레이 내의 삼차원 가상 물체의 특징의 상태 변화를 트리거하기 위한 시각 제스처의 일례를 나타내는 블록도이다. 예를 들어, 장치(600)가 관심 포인트 아이콘(618)이 적어도 사전 결정된 양의 시간 동안 포커스 영역(예로서, 디스플레이(602)의 중심 영역)에 존재했다는 것을 검출할 때, 사용자(601)의 마음 상태에 기초하여 관심 포인트 아이콘(618)의 상태를 변경하기 위한 액션이 트리거된다. 예를 들어, 대화 상자(702)가 팝업될 수 있거나, 관심 포인트 아이콘(618) 및 사용자(601)의 마음 상태에 대응하는 다른 액션(예로서, 미디어 파일 실행, 관심 포인트(618) 저장, 설명 이메일링)이 장치(600) 상에 표시될 수 있다. 다른 예에서, 대화 상자(702)의 내용은 사용자(601)의 마음 상태에 기초할 수 있다.
도 8은 일부 실시예들에 따른, 장치 내의 삼차원 물체의 특징에 포커싱하기 위한 시각 제스처의 일례를 나타내는 블록도이다. 예를 들어, 장치(600)의 포커스 영역들은 장치(600)의 코너들(802, 804, 806, 808)에 위치할 수 있다. 각각의 코너는 사용자의 마음 상태에 또한 기초하는 대응하는 액션(예로서, 관심 포인트의 저장과 같은 액션의 트리거링)과 관련될 수 있다. 예를 들어, 코너(802)는 이메일 전송과 관련될 수 있다. 이메일의 수신자는 사용자의 마음 상태에 기초하여 결정될 수 있다. 사용자가 기쁜 경우, 이메일은 빌딩(608)을 설계한 아키텍처 회사의 수석 건축가에 대한 템플릿 칭찬 이메일을 포함한다. 사용자가 기쁘지 않은 경우, 이메일은 고객 서비스 부서에 대한 템플릿 불평 이메일을 포함할 수 있다.
도 9는 일부 실시예들에 따른, 장치 내의 삼차원 물체의 특징의 상태 변화를 트리거하기 위한 시각 제스처의 일례를 나타내는 블록도이다. 예를 들어, 관심 포인트 아이콘(620)은 적어도 수 초 동안 코너(802)의 포커스 영역 내에 존재하므로, 증강 현실 애플리케이션(112)은 관심 포인트 아이콘(510) 및 사용자의 현재 마음 상태와 관련된 설명을 제공하기 위한 대화 상자(902)를 생성할 수 있다. 따라서, 장치(601)의 사용자(601)는 장치(601)의 스크린 또는 디스플레이를 탭핑할 필요 없이 장치 내의 삼차원 물체와 관련된 액션들을 생성할 수 있다.
도 10은 일부 실시예들에 따른, 사고에 기초하여 가상 물체를 시각화하기 위한 방법(1000)을 수행함에 있어서의 장치의 시각화 애플리케이션의 예시적인 동작을 나타내는 흐름도이다. 동작 1002에서, 사용자로부터의 전기파들의 강도 및 패턴에 기초하여 사용자의 마음 상태가 식별된다. 일 실시예에서, 동작 1002는 도 1의 장치(100)의 전기파 애플리케이션(110)을 이용하여 수행될 수 있다.
동작 1004에서, 장치에 의해 캡처된 실물의 이미지가 인식되거나 식별된다. 일 실시예에서, 동작 1004는 실물 상의 시각적 기준을 식별하는 기준 식별자 모듈(302)에 의해 수행될 수 있다.
동작 1006에서, 가상 물체 생성 모듈(304)은 실물(또는 실물 상의 시각적 기준) 및 사용자의 전기파들의 강도 및 패턴에 기초하여 가상 물체를 식별한다. 다른 예에서는, 다른 파라미터들을 이용하여 가상 물체를 식별할 수 있다. 예를 들어, 심박수 데이터, 음성 데이터를 이용하여 가상 물체를 식별할 수 있다.
동작 1008에서, 가상 물체 생성 모듈(304)은 실물의 이미지와 맞물리는(예로서, 위에 겹쳐지는) 가상 물체의 시각화를 생성 및 표시한다. 가상 물체는 시각적 기준 및 사용자의 마음 상태(예로서, 강도 및 패턴)에 대응한다. 일 실시예에서, 가상 물체 생성 모듈(304)은 시각적 기준에 대한 디스플레이의 위치에 기초하여 가상 물체의 시각화를 렌더링한다.
도 11은 일부 실시예들에 따른, 사고에 기초하여 가상 물체를 조작하기 위한 방법(1100)을 수행함에 있어서의 장치의 시각화 애플리케이션의 예시적인 동작을 나타내는 흐름도이다.
동작 1102에서, 사용자에 결합된 센서들의 출력들의 강도 변화에 기초하여 사용자의 마음 상태의 변화가 식별된다. 일 실시예에서, 동작 1102는 도 1의 장치(100)의 전기파 애플리케이션(110)을 이용하여 수행될 수 있다.
동작 1104에서, 가상 물체 생성 모듈(304)은 디스플레이 내의 이전에 표시된 가상 물체의 시각화를 사용자의 마음 상태의 변화(예로서, 센서들의 출력의 강도 및 패턴 변화)에 기초하여 변경한다. 즉, 사용자의 마음 상태의 변화에 기초하여 디스플레이 내의 가상 물체에 대해 액션이 수행될 수 있다. 가상 물체는 센서들의 출력들의 변화에 기초하여 조작될 수 있다. 예를 들어, 사용자가 더 이완됨에 따라 가상 물체의 색이 적색에서 청색으로 변할 수 있다. 사용자가 더 집중함에 따라 가상 물체가 더 빠르게 회전할 수 있다. 사용자가 디스플레이 상의 문의 위치에 더 집중함에 따라 가상 차의 문이 열릴 수 있다. 다른 예에서, 사용자는 처음에 사자를 생각했다. 사자의 이미지가 표시된다. 이어서, 사용자는 표범을 생각한다. 그러면, 사자의 이미지는 장치 상에서 표범의 이미지로 변한다.
일 실시예에서, 가상 물체 생성 모듈(304)은 시각적 기준에 대한 디스플레이의 위치의 변화에 기초하여 가상 물체의 시각화를 렌더링한다.
도 12는 일부 실시예들에 따른, 사고 및 시각 제스처들에 기초하여 가상 물체를 조작하기 위한 방법(1200)을 수행함에 있어서의 장치의 시각화 애플리케이션의 예시적인 동작을 나타내는 흐름도이다.
동작 1202에서, 사람에 결합된 센서들의 출력들의 강도 및 패턴에 기초하여 사용자의 마음 상태가 식별된다. 출력은 예를 들어 전기 뇌파를 포함할 수 있다. 일 실시예에서, 동작 1002는 도 1의 장치(100)의 전기파 애플리케이션(110)을 이용하여 수행될 수 있다.
동작 1206에서, 시각 제스처 모듈(306)은 디스플레이 내의 포커스 영역 및 가상 물체의 특징을 결정한다. 시각 제스처 모듈(306)은 특징이 디스플레이의 포커스 영역에 있는 것에 응답하여 그리고 사용자의 마음 상태(또는 마음 상태의 변화)에 응답하여 특징의 상태를 변경한다.
일 실시예에서, 기준 식별자 모듈(302) 및 시각 제스처 모듈(306)은 시각적 기준들, 대응하는 가상 물체들, 대응하는 가상 물체들의 특징들, 대응하는 마음 상태의 데이터베이스를 장치의 저장 장치 내에 저장한다. 가상 물체들의 특징들은 디스플레이의 포커스 영역 내에 있는 것에 응답하여 상태를 변경한다.
일 실시예에서, 시각 제스처 모듈(306)은 특징이 디스플레이의 사전 정의된 부분 내에 위치하는 것 및 사용자의 마음 상태에 응답하여 특징의 상태를 변경한다. 포커스 영역은 디스플레이의 사전 정의된 부분에 대응한다.
일 실시예에서, 디스플레이의 사전 정의된 부분은 디스플레이의 중심 영역, 디스플레이의 에지에 인접하는 영역, 디스플레이의 코너에 인접하는 영역 또는 사용자 정의 영역을 포함한다.
일 실시예에서, 시각 제스처 모듈(306)은 특징이 시간 임계치를 초과하는 기간 동안 디스플레이의 사전 정의된 부분 내에 위치하는 것 및 시간 임계치를 초과하는 마음 상태의 유지에 응답하여 특징의 상태를 변경한다.
일 실시예에서, 시각 제스처 모듈(306)은 디스플레이의 포커스 영역에서 삼차원 가상 물체의 특징의 존재를 검출하고, 특징이 포커스 영역 내에 존재할 때(그리고 사용자의 마음 상태에 기초하여) 특징의 상태를 변경한다.
일 실시예에서, 시각 제스처 모듈(306)은 포커스 영역 내의 삼차원 가상 물체의 제1 컴포넌트를 포커스 영역 내의 삼차원 가상 물체의 제2 컴포넌트로 대체한다. 특징은 상호작용 물체가 포커스 영역 내에 있을 때(그리고 사용자의 마음 상태에 기초하여) 상태를 변경하는 상호작용 물체를 포함할 수 있다. 예를 들어, 상호작용 물체는 상호작용 물체가 포커스 영역 내에 있을 때 색을 변경할 수 있다.
도 14는 일부 실시예들에 따른, 뇌 활동 데이터에 기초하여 가상 물체를 조작하기 위한 예시적인 동작을 나타내는 사다리도이다. 동작 1406에서, (장치(100)와 같은) 장치(1402)가 실물로부터 기준 식별자의 이미지를 캡처한다. 동작 1408에서, 장치(1402)는 또한 장치의 사용자의 뇌 활동 데이터를 캡처한다. 동작 1410에서, 장치(1402)는 기준 식별자 및 뇌 활동 데이터를 네트워크를 통해 원격 서버(1404)로 전송한다. 원격 서버(1404)는 동작 1412에서 기준 식별자 및 뇌 활동 데이터와 관련된 가상 물체 데이터를 검색한다. 원격 서버(1404)는 동작 1414에서 가상 물체 데이터를 장치(1402)로 전송한다. 이어서, 장치(1402)는 1416에서 가상 물체 데이터를 이용하여 가상 이미지를 가상 랜드스케이프 내에 표시한다.
모듈, 컴포넌트 및 논리
소정 실시예들은 본 명세서에서 논리 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하는 것으로 설명된다. 모듈들은 소프트웨어 모듈들(예로서, 기계 판독 가능 매체 상에 또는 전송 신호 내에 구현되는 코드) 또는 하드웨어 모듈들을 구성할 수 있다. 하드웨어 모듈은 소정의 동작들을 수행할 수 있는 유형적인 유닛이며, 소정의 방식으로 구성 또는 배열될 수 있다. 실시예들에서, 하나 이상의 컴퓨터 시스템(예로서, 독립, 클라이언트 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈(예로서, 프로세서 또는 프로세서들의 그룹)은 소프트웨어(예로서, 애플리케이션 또는 애플리케이션 부분)에 의해 본 명세서에서 설명되는 바와 같은 소정의 동작들을 수행하도록 동작하는 하드웨어 모듈로서 구성될 수 있다.
다양한 실시예들에서, 하드웨어 모듈은 기계적으로 또는 전기적으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 소정의 동작들을 수행하도록 (예로서, 필드 프로그래머블 게이트 어레이(FPGA) 또는 주문형 집적 회로(ASIC)와 같은 특수 목적 프로세서로서) 영구적으로 구성되는 전용 회로 또는 논리를 포함할 수 있다. 하드웨어 모듈은 소정의 동작들을 수행하도록 소프트웨어에 의해 임시 구성되는 (예로서, 범용 프로세서 또는 다른 프로그래밍 가능 프로세서 내에 포함되는 바와 같은) 프로그래밍 가능 논리 또는 회로도 포함할 수 있다. 하드웨어 모듈을 기계적으로, 전용 및 영구 구성 회로로 또는 (예로서, 소프트웨어에 의해 구성되는) 임시 구성 회로로 구현할지에 대한 결정은 비용 및 시간 사정들에 기초할 수 있다는 것을 알 것이다.
따라서, 용어 "하드웨어 모듈"은 유형적인 엔티티, 예로서 소정의 방식으로 동작하고/하거나 본 명세서에서 설명되는 소정의 동작들을 수행하도록 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 하드와이어링되거나), 임시 구성되는(예로서, 프로그래밍되는) 엔티티를 포함하는 것으로 이해되어야 한다. 하드웨어 모듈들이 임시 구성되는(예로서, 프로그래밍되는) 실시예들을 고려하면, 하드웨어 모듈들 각각은 어느 하나의 시간 인스턴스에 구성 또는 인스턴스화될 필요가 없다. 예를 들어, 하드웨어 모듈이 소프트웨어를 이용하여 구성되는 범용 프로세서를 포함하는 경우, 범용 프로세서는 상이한 시간들에 각각의 상이한 하드웨어 모듈로서 구성될 수 있다. 따라서, 소프트웨어는 하나의 시간 인스턴스에 특정 하드웨어 모듈을 형성하고, 다른 시간 인스턴스에 다른 하드웨어 모듈을 형성하도록 프로세서를 구성할 수 있다.
하드웨어 모듈들은 다른 하드웨어 모듈들에 정보를 제공하고, 그들로부터 정보를 수신할 수 있다. 따라서, 설명되는 하드웨어 모듈들은 통신적으로 결합되는 것으로 간주될 수 있다. 다수의 그러한 하드웨어 모듈이 동시에 존재하는 경우, 하드웨어 모듈들을 접속하는 신호 전송을 통해(예로서, 적절한 회로들 및 버스들을 통해) 통신이 달성될 수 있다. 다수의 하드웨어 모듈이 상이한 시간들에 구성 또는 인스턴스화되는 실시예들에서, 그러한 하드웨어 모듈들 간의 통신은 예를 들어 다수의 하드웨어 모듈이 액세스를 갖는 메모리 구조들 내의 정보의 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 모듈이 동작을 수행하고, 그가 통신 결합된 메모리 장치 내에 그 동작의 출력을 저장할 수 있다. 이어서, 추가적인 하드웨어 모듈이 나중 시간에 메모리 장치에 액세스하여, 저장된 출력을 검색하여 처리할 수 있다. 하드웨어 모듈들은 또한 입력 또는 출력 장치들과의 통신을 개시할 수 있으며, 자원(예로서, 정보의 집합) 상에 작용할 수 있다.
본 명세서에서 설명되는 예시적인 방법들의 다양한 동작들은 적어도 부분적으로는 관련 동작들을 수행하도록 (예로서, 소프트웨어에 의해) 임시 구성되거나 영구적으로 구성되는 하나 이상의 프로세서에 의해 수행될 수 있다. 임시로 또는 영구적으로 구성되는지에 관계없이, 그러한 프로세서들은 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서 구현 모듈들을 구성할 수 있다. 본 명세서에서 설명되는 모듈들은 일부 실시예들에서 프로세서 구현 모듈들을 포함할 수 있다.
유사하게, 본 명세서에서 설명되는 방법들은 적어도 부분적으로는 프로세서에 의해 구현될 수 있다. 예를 들어, 방법의 동작들의 적어도 일부는 하나 이상의 프로세서 또는 프로세서 구현 모듈에 의해 수행될 수 있다. 소정 동작들의 수행은 하나 이상의 프로세서 사이에 분산될 수 있고, 단일 기계 내에 존재할 수 있을 뿐만 아니라 다수의 기계에 걸쳐 배치될 수 있다. 일부 실시예들에서 프로세서 또는 프로세서들은 단일 위치 내에(예로서, 집 환경, 사무실 환경 내에 또는 서버 팜으로서) 배치될 수 있는 반면, 다른 실시예들에서 프로세서들은 다수의 위치에 걸쳐 분산될 수 있다.
하나 이상의 프로세서들은 또한 "클라우드 컴퓨팅" 환경에서 또는 "SaaS(software as a service)"로서 관련 동작들의 수행을 지원하도록 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부는 (프로세서들을 포함하는 기계들의 예들로서의) 컴퓨터들의 그룹에 의해 수행될 수 있으며, 이러한 동작들은 네트워크를 통해 그리고 하나 이상의 적절한 인터페이스(예를 들어, API들)를 통해 액세스 가능하다.
전자 장치 및 시스템
예시적인 실시예들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 그들의 조합으로 구현될 수 있다. 예시적인 실시예들은 컴퓨터 프로그램 제품 예를 들어, 데이터 처리 장치 예컨대, 프로그램가능 프로세서, 컴퓨터, 또는 복수의 컴퓨터들에 의해 실행되거나 그 동작을 제어하기 위해, 정보 캐리어 예를 들어, 기계 판독 가능한 매체에 실체적으로 구현된 컴퓨터 프로그램을 이용하여 구현될 수 있다.
컴퓨터 프로그램은 컴파일되거나 해석되는 언어를 비롯한 임의의 형태의 프로그래밍 언어로 작성될 수 있고, 자립형 프로그램으로서, 또는 컴퓨팅 환경에서 사용하기에 적합한 모듈, 서브루틴, 또는 다른 유닛으로서 배치되는 것을 비롯하여 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서, 또는 한 장소에 있거나 복수의 장소들에 걸쳐 분산되어 통신 네트워크에 의해 상호접속되는 복수의 컴퓨터들 상에서 실행되도록 배치될 수 있다.
예시적 실시예들에서, 동작들은 입력 데이터에 대해 연산을 하고 출력을 생성함으로써 기능들을 수행하기 위해 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램가능 프로세서들에 의해 수행될 수 있다. 특수 목적 논리 회로(예를 들면, FPGA 또는 ASIC)에 의해 방법 동작들이 또한 수행될 수 있고, 예시적 실시예들의 장치가 그러한 특수 목적 논리 회로로서 구현될 수 있다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 떨어져 있으며, 통상적으로 통신 네트워크를 통해 상호작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터 상에서 실행되며 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의하여 발생한다. 프로그램가능 컴퓨팅 시스템을 활용하는 실시예들에서, 하드웨어와 소프트웨어 아키텍처들 둘 다의 장점을 고려하는 것이 이해될 것이다. 특히, 특정 기능을 영구히 구성되는 하드웨어(예를 들어, ASIC)로, 일시적으로 구성되는 하드웨어(예를 들어, 소프트웨어와 프로그램가능 프로세서의 조합)로, 또는 영구적으로 그리고 일시적으로 구성되는 하드웨어의 조합으로 구현할 지의 선택은 설계 선택일 수 있다는 것이 이해될 것이다. 아래에는 다양한 예시적 실시예들에서, 활용될 수 있는 하드웨어(예를 들어, 기계)와 소프트웨어 아키텍처들이 설명된다.
예시적 기계 아키텍처 및 기계 판독가능 매체
도 13은 기계로 하여금, 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하게 하는 명령어들이 실행될 수 있는 컴퓨터 시스템(1300)의 예시적 형태의 기계의 블록도이다. 대안 실시예들에서, 기계는 독립 장치로서 동작하거나, 다른 기계들에 접속(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 기계는 서버-클라이언트 네트워크 환경에서 서버 기계 또는 클라이언트 기계의 능력으로 동작할 수 있거나, 또는 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 기계로서 동작할 수 있다. 기계는 퍼스널 컴퓨터(PC), 태블릿 PC, 셋톱 박스(set-top box, STB), 개인 정보 단말기(Personal Digital Assistant, PDA), 셀룰러 폰, 웹 가전 제품, 네트워크 라우터, 스위치 또는 브리지, 또는 기계에 의해 취해질 동작들을 지정하는 명령어들을(순차적으로 또는 달리) 실행할 수 있는 임의의 기계일 수 있다. 또한, 단일 기계만이 예시되지만, 용어 "기계"은 또한 본 명세서에서 논의되는 방법론들 중 임의의 하나 이상을 수행하기 위해 명령어들의 세트(또는 복수의 세트들)를 개별적으로 또는 공동으로 실행하는 기계들의 임의의 집합을 포함하는 것으로도 간주될 것이다.
예시적 컴퓨터 시스템(1300)은 프로세서(1302)(예를 들면, 중앙 처리 유닛(CPU), 그래픽스 처리 유닛(GPU), 또는 둘 다), 메인 메모리(1304), 및 정적 메모리(1306)를 포함하는데, 이들은 버스(1308)를 통하여 서로 통신한다. 컴퓨터 시스템(1300)은 비디오 디스플레이 유닛(1310)(예를 들어, 액정 디스플레이(Liquid Crystal Display, LCD) 또는 음극선관(Cathode Ray Tube, CRT))을 더 포함할 수 있다. 컴퓨터 시스템(1300)은 또한 영숫자 입력 장치(1312)(예를 들어, 키보드), 사용자 인터페이스(UI) 내비게이션 (또는 커서 제어) 장치(1314)(예를 들어, 마우스), 디스크 드라이브 유닛(1316), 신호 생성 장치(1318)(예를 들어, 스피커), 및 네트워크 인터페이스 장치(1320)를 포함한다.
기계 판독가능 매체
디스크 드라이브 유닛(1316)은 본 명세서에서 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구현되거나 그에 의해 이용되는 데이터 구조들 및 명령어들(1324)(예를 들어, 소프트웨어)의 하나 이상의 세트들을 저장하는 기계 판독가능 매체(1322)를 포함한다. 명령어들(1324)은 또한 컴퓨터 시스템(1300)에 의한 그들의 실행 동안 메인 메모리(1304) 내에 그리고/또는 프로세서(1302) 내에 완전히 또는 적어도 부분적으로 상주할 수 있는데, 메인 메모리(1304)와 프로세서(1302)는 또한 기계 판독가능 매체를 구성한다. 명령어들(1324)은 또한 정적 메모리(1306) 내에 완전히 또는 적어도 부분적으로 상주할 수 있다.
기계 판독가능 매체(1322)는 예시적 실시예에서 단일 매체인 것으로 나타내어지지만, 용어 "기계 판독가능 매체"는 하나 이상의 명령어들(1324) 또는 데이터 구조들을 저장하는 단일 매체 또는 복수의 매체(예를 들어, 중앙 집중형, 또는 분산형 데이터베이스 및/또는 연관된 캐시들 및 서버들)를 포함할 수 있다. 용어 "기계 판독가능 매체"는 또한, 기계에 의한 실행을 위한 명령어들을 저장, 인코딩할 수 있고, 기계로 하여금 본 실시예들의 방법론들 중 임의의 하나 이상을 수행하게 하거나, 그러한 명령어들에 의해 이용되거나 그들과 연관되는 데이터 구조들을 저장, 인코딩할 수 있는 임의의 실체적 매체를 포함하는 것으로 간주될 것이다. 따라서, 용어 "기계 판독가능 매체"는 반도체 메모리, 및 광학 및 자기 매체를 포함하지만, 이에 한정되지 않는 것으로 간주될 것이다. 기계 판독가능 매체의 구체적인 예들은, 예로서 반도체 메모리 장치들(예를 들면, 소거 가능한 프로그램가능 판독 전용 메모리(EPROM), 전기적 소거 가능한 프로그램가능 판독 전용 메모리(EEPROM)), 및 플래시 메모리 장치들)을 포함하는 비-휘발성 메모리; 내부 하드 디스크들 및 이동식 디스크들과 같은 자기 디스크들; 광 자기 디스크들; 및 컴팩트 디스크 - 판독 전용 메모리(CD-ROM) 및 디지털 다기능 디스크(또는 디지털 비디오 디스크) 판독 전용 메모리(DVD-ROM) 디스크들을 포함한다.
전송 매체
명령어들(1324)은 전송 매체를 이용하여 통신 네트워크(1326)를 통해 더 송신 또는 수신될 수 있다. 명령어들(1324)은 다수의 주지된 전송 프로토콜들(예를 들어, HTTP) 중 어느 하나 및 네트워크 인터페이스 장치(1320)를 이용하여 전송될 수 있다. 통신 네트워크들의 예들은 LAN, WAN, 인터넷, 이동 전화 네트워크들, POTS 네트워크들, 및 무선 데이터 네트워크들(예를 들어, WiFi 및 WiMax 네트워크들)을 포함한다. 용어 "전송 매체"는 기계에 의한 실행을 위한 명령어들을 저장, 인코딩, 또는 전달할 수 있는 임의의 무형 매체를 포함하는 것으로 간주될 것이며, 디지털 또는 아날로그 통신 신호들 또는 그러한 소프트웨어의 통신을 가능하게 하기 위한 다른 무형 매체를 포함한다.
실시예가 특정 예시적 실시예들을 참조하여 기술되어 있지만, 본 개시의 광의의 정신 및 범위를 벗어나지 않고 이러한 실시예들에 여러 가지 수정들 및 변형들이 행해질 수 있다는 것은 명백할 것이다. 따라서, 명세서, 및 도면들은 제한적이라기보다는 예시적 것으로 간주되어야 한다. 본 명세서의 일부를 구성하는 첨부 도면은 주제가 실시될 수 있는 특정 실시예들을 제한적으로가 아니라 예시적으로 도시한다. 예시된 실시예들은 통상의 기술자가 본 명세서에 개시된 교시를 실시할 수 있도록 충분히 구체적으로 설명된다. 본 개시의 범위로부터 벗어남이 없이 구조적 및 논리적 대안들 및 변형들이 이루어질 수 있도록 다른 실시예들도 이용될 수 있고 그로부터 파생될 수 있다. 따라서, 본 상세한 설명은 제한적인 의미로 간주되지 않아야 하고, 다양한 실시예들의 범위는 청구항들에 부여되는 균등물들의 모든 범위와 더불어, 첨부의 청구항들에 의해서만 한정된다.
이러한 본 발명의 실시예들은 단지 편의를 위해 그리고 본 출원의 범위를, 실제로 하나보다 많이 개시되었다면 임의의 단일의 발명으로 또는 발명의 개념으로 자발적으로 제한하려는 의도 없이, 본 명세서에서 개별적으로 그리고/또는 집합적으로 "발명"이라는 용어로 지칭될 수 있다. 따라서, 비록 본 명세서에서 구체적인 실시예들이 예시되고 설명되었지만, 동일한 목적을 달성하기 위해 계획된 임의의 구조는 개시된 구체적인 실시예들을 대체할 수 있다는 것이 이해될 것이다. 본 개시 내용은 다양한 실시예들의 임의의 및 모든 개조들 또는 변형들을 포함하고자 의도된다. 전술한 실시예들의 조합들, 및 본 명세서에 구체적으로 기술되지 않은 다른 실시예들은 전술한 설명을 검토할 때 통상의 기술자에게 명백해질 것이다. 독자들이 기술적 개시의 본질을 빠르게 확인하게 해줄 요약서를 요구하는 37 C.F.R.§1.72(b)에 따라 본 개시의 요약서가 제공된다. 그것이 청구항들의 범위 또는 의미를 해석하거나 제한하는 데 이용되지는 않을 것이라고 이해하며 제출된다. 또한, 전술한 상세한 설명에서, 개시의 간소화를 위해 각종 특징들이 단일의 실시예에 함께 그룹화된 것을 알 수 있다. 이러한 개시의 방법은 청구되는 실시예들이 각각의 청구항에 명확히 기재된 것보다 더 많은 특징들을 필요로 한다는 의도를 반영하는 것으로서 해석되지 않아야 한다. 오히려, 하기의 청구항들이 반영하는 바와 같이, 본 발명의 내용은 단일의 개시된 실시예의 모든 특징들보다 더 적은 특징들에 존재한다. 따라서, 하기의 청구항들은, 각각의 청구항이 그 자체로 개별 실시예로서 성립하면서, 상세한 설명에 이에 의해 통합된다.

Claims (20)

  1. 장치로서,
    뇌파 데이터를 생성하기 위해 상기 장치의 사용자에 결합된 EEG(electroencephalography) 뇌파 센서;
    상기 사용자의 심박수 데이터를 생성하기 위한 심박 센서;
    상기 장치의 지리적 위치를 결정하기 위한 위치 센서;
    실물로부터 기준 식별자를 캡처하도록 구성되는 카메라;
    상기 기준 식별자에 기초하여 제1 가상 물체를 표시하도록 구성되는 디스플레이;
    상기 디스플레이 상의 사용자의 시선을 결정하기 위한 눈 추적 센서;
    적어도 하나의 하드웨어 프로세서를 이용하여 구현되는 가상 물체 생성 모듈; 및
    전기파 애플리케이션
    을 포함하고,
    상기 가상 물체 생성 모듈은
    상기 장치의 사용자의 뇌 활동 데이터를 수신하고 - 상기 뇌 활동 데이터는 상기 디스플레이에 상기 제1 가상 물체를 표시하는 것에 응답하여 생성됨 - ;
    상기 기준 식별자 및 상기 뇌 활동 데이터를 네트워크를 통해 원격 서버로 전송하여 - 상기 원격 서버는 상기 기준 식별자와 관련된 복수의 가상 물체들을 식별하도록 구성됨 - , 상기 복수의 가상 물체들에 기초하여 복수의 뇌파 패턴들을 검색하고 - 각각의 뇌파 패턴은 대응하는 가상 물체와 관련됨 - , 상기 사용자의 뇌 활동 데이터를 상기 복수의 뇌파 패턴들과 비교하고, 상기 복수의 가상 물체들로부터 제2 가상 물체를 식별하고 - 상기 제2 가상 물체는 상기 복수의 뇌파 패턴들로부터의 뇌파 패턴과 관련되고, 상기 뇌파 패턴은 상기 뇌 활동 데이터에 대응됨 - ;
    상기 서버로부터 상기 제2 가상 물체를 식별하는 통신을 수신하고;
    상기 제2 가상 물체를 상기 제1 가상 물체와 함께 상기 디스플레이에 표시하고;
    상기 실물에 대한 상기 장치의 위치에 기초하여 상기 디스플레이에서의 상기 제1 가상 물체 및 제2 가상 물체의 뷰(view)를 조정하도록 구성되며,
    상기 전기파 애플리케이션은 상기 뇌파 데이터, 심박수 데이터, 상기 장치의 지리적 위치 및 상기 사용자의 시선에 기초하여 상기 사용자의 마음 상태를 식별하도록 구성되는, 장치.
  2. 제1항에 있어서,
    대응하는 기준 식별자들을 갖는 복수의 가상 물체 모델을 저장하도록 구성되는 저장 장치를 더 포함하고,
    상기 가상 물체 생성 모듈은 상기 기준 식별자가 상기 저장 장치에 저장된 임의의 기준 식별자들에 대응하는지를 결정하고, 상기 저장 장치로부터 상기 기준 식별자에 대응하는 가상 물체 모델에 액세스하고, 상기 가상 물체 모델을 이용하여 상기 가상 물체를 생성하도록 구성되는 장치.
  3. 제1항에 있어서,
    상기 가상 물체 생성 모듈은 상기 원격 서버로부터 상기 기준 식별자에 대응하는 가상 물체 모델을 수신하고, 상기 가상 물체 모델을 이용하여 상기 가상 물체를 생성하도록 구성되는 장치.
  4. 제1항에 있어서,
    상기 사용자와 관련된 소셜 네트워크 정보에 액세스하도록 구성되는 소셜 네트워크 모듈을 더 포함하고,
    상기 전기파 애플리케이션은 상기 사용자와 관련된 소셜 네트워크 정보에 기초하여 상기 사용자의 마음 상태를 더 식별하는 장치.
  5. 제1항에 있어서,
    가상 랜드스케이프의 디스플레이 내의 포커스 영역 및 상기 가상 물체의 특징을 결정하고, 상기 사용자의 상기 뇌 활동 데이터의 변화에 응답하여 상기 포커스 영역 내의 상기 가상 물체의 상기 특징의 상태를 변경하도록 구성되는 시각 제스처 모듈을 더 포함하는 장치.
  6. 제5항에 있어서,
    상기 프로세서에 결합되는 저장 장치를 더 포함하고, 상기 저장 장치는 시각적 기준들, 시각적 기준과 상기 사용자로부터의 전기파들의 대응하는 강도 및 패턴들의 조합과 관련된 가상 물체들, 및 상기 가상 물체들의 특징들을 저장하도록 구성되는 데이터베이스를 포함하고, 상기 가상 물체들의 상기 특징들은 상기 사용자의 전기파들의 상기 강도 및 패턴들의 변화에 응답하여 상태를 변경하도록 구성되는 장치.
  7. 제5항에 있어서,
    상기 포커스 영역은 상기 디스플레이의 사전 정의된 부분에 대응하고, 상기 특징의 상기 상태는 상기 특징이 상기 디스플레이의 상기 사전 정의된 부분 내에 위치하는 것에 응답하여 변경되고, 상기 디스플레이의 상기 사전 정의된 부분은 상기 디스플레이의 중심 영역, 상기 디스플레이의 에지에 인접하는 영역, 상기 디스플레이의 코너에 인접하는 영역 또는 디스플레이 영역의 사용자 정의 부분 중 적어도 하나를 포함하는 장치.
  8. 제7항에 있어서,
    상기 특징의 상기 상태는 상기 특징이 시간 임계치를 초과하는 기간 동안 상기 디스플레이의 상기 사전 정의된 부분 내에 위치하는 것에 응답하여 변경되는 장치.
  9. 제5항에 있어서,
    상기 시각 제스처 모듈은 포커스 영역 검출기 및 특징 상태 수정기(feature state modifier)를 포함하고,
    상기 포커스 영역 검출기는 상기 디스플레이의 상기 포커스 영역에서 삼차원 가상 물체의 상기 특징의 존재를 검출하도록 구성되고,
    상기 특징 상태 수정기는 상기 특징이 상기 포커스 영역 내에 존재하는 것에 응답하여 상기 특징의 상태를 변경하도록 구성되는 장치.
  10. 제9항에 있어서,
    상기 특징 상태 수정기는 상기 포커스 영역 내의 상기 가상 물체의 제1 컴포넌트를 상기 포커스 영역 내의 상기 가상 물체의 제2 컴포넌트로 대체함으로써 상기 특징의 상기 상태를 변경하도록 구성되는 장치.
  11. 컴퓨팅 장치를 이용하여 실물로부터 기준 식별자를 캡처하는 단계;
    상기 컴퓨팅 장치의 디스플레이에서 제1 가상 물체를 표시하는 단계 - 상기 제1 가상 물체는 상기 기준 식별자에 기초함 - ;
    상기 컴퓨팅 장치의 사용자의 뇌 활동 데이터를 수신하는 단계 - 상기 뇌 활동 데이터는 상기 컴퓨팅 장치의 디스플레이에 상기 제1 가상 물체를 표시하는 단계에 응답하여 생성됨 - ;
    상기 기준 식별자 및 상기 뇌 활동 데이터를 네트워크를 통해 원격 서버로 전송하여 - 상기 원격 서버는 상기 기준 식별자와 관련된 복수의 가상 물체들을 식별하도록 구성됨 - , 상기 복수의 가상 물체들에 기초하여 복수의 뇌파 패턴들을 검색하고 - 각각의 뇌파 패턴은 대응하는 가상 물체와 관련됨 - , 상기 사용자의 뇌 활동 데이터를 복수의 뇌파 패턴들과 비교하고, 상기 복수의 가상 물체들로부터 제2 가상 물체를 식별하는 단계 - 상기 제2 가상 물체는 상기 복수의 뇌파 패턴들로부터의 뇌파 패턴과 관련되고, 상기 뇌파 패턴은 상기 뇌 활동 데이터에 대응됨 - ;
    상기 서버로부터 상기 제2 가상 물체를 식별하는 통신을 수신하는 단계;
    상기 제2 가상 물체를 상기 제1 가상 물체와 함께 상기 디스플레이에 표시하는 단계;
    상기 실물에 대한 상기 장치의 위치에 기초하여 상기 디스플레이에서 상기 제1 가상 물체 및 제2 가상 물체의 뷰를 조정하는 단계;
    상기 사용자에 결합되는 EEG 뇌파 센서를 이용하여 뇌파 데이터를 생성하는 단계;
    심박수 센서를 이용하여 상기 사용자의 심박수 데이터를 생성하는 단계;
    눈 추적 센서를 이용하여 상기 디스플레이 상에서 상기 사용자의 시선을 결정하는 단계;
    상기 컴퓨팅 장치의 지리적 위치를 결정하는 단계; 및
    상기 뇌파 데이터, 심박수 데이터, 상기 사용자의 시선, 상기 컴퓨팅 장치의 지리적 위치에 기초하여 상기 사용자의 마음 상태를 식별하는 단계
    를 포함하는 방법.
  12. 제11항에 있어서,
    대응하는 기준 식별자들을 갖는 복수의 가상 물체 모델을 상기 컴퓨팅 장치의 저장 장치 내에 저장하는 단계;
    상기 기준 식별자가 상기 저장 장치에 저장된 임의의 기준 식별자들에 대응하는지를 결정하는 단계;
    상기 저장 장치로부터 상기 기준 식별자에 대응하는 가상 물체 모델에 액세스하는 단계; 및
    상기 가상 물체 모델을 이용하여 상기 가상 물체를 생성하는 단계
    를 더 포함하는 방법.
  13. 제11항에 있어서,
    상기 원격 서버로부터 상기 기준 식별자에 대응하는 가상 물체 모델을 수신하는 단계; 및
    상기 가상 물체 모델을 이용하여 상기 가상 물체를 생성하는 단계
    를 더 포함하는 방법.
  14. 제11항에 있어서,
    상기 사용자와 관련된 소셜 네트워크 정보에 액세스하는 단계; 및
    상기 사용자와 관련된 소셜 네트워크 정보에 기초하여 상기 사용자의 마음 상태를 식별하는 단계
    를 더 포함하는 방법.
  15. 제11항에 있어서,
    상기 디스플레이 내의 포커스 영역 및 상기 가상 물체의 특징을 결정하는 단계; 및
    상기 특징이 상기 디스플레이의 상기 포커스 영역 내에 있는 것 또는 상기 사용자의 상기 뇌 활동 데이터의 변화에 응답하여 상기 가상 물체의 상기 특징의 상태를 변경하는 단계
    를 더 포함하는 방법.
  16. 제13항에 있어서,
    시각적 기준들, 시각적 기준과 상기 사용자로부터의 전기파들의 대응하는 강도 및 패턴들의 조합과 관련된 가상 물체들, 및 상기 가상 물체들의 특징들을 데이터베이스 내에 저장하는 단계를 더 포함하고, 상기 가상 물체들의 상기 특징들은 상기 사용자의 상기 뇌 활동 데이터의 변화에 응답하여 상태를 변경하도록 구성되는 방법.
  17. 제15항에 있어서,
    상기 포커스 영역은 상기 디스플레이의 사전 정의된 부분에 대응하고, 상기 특징의 상기 상태는 상기 특징이 상기 디스플레이의 상기 사전 정의된 부분 내에 위치하는 것에 응답하여 변경되고, 상기 디스플레이의 상기 사전 정의된 부분은 상기 디스플레이의 중심 영역, 상기 디스플레이의 에지에 인접하는 영역, 상기 디스플레이의 코너에 인접하는 영역 또는 디스플레이 영역의 사용자 정의 부분 중 적어도 하나를 포함하는 방법.
  18. 제17항에 있어서,
    상기 특징의 상기 상태를 상기 특징이 시간 임계치를 초과하는 기간 동안 상기 디스플레이의 상기 사전 정의된 부분 내에 위치하는 것에 응답하여 변경하는 단계를 더 포함하는 방법.
  19. 제15항에 있어서,
    상기 디스플레이의 상기 포커스 영역에서 상기 가상 물체의 상기 특징의 존재를 검출하는 단계; 및
    상기 특징이 상기 포커스 영역 내에 존재하는 것에 응답하여 상기 특징의 상태를 변경하는 단계
    를 더 포함하는 방법.
  20. 기계의 하나 이상의 프로세서에 의해 실행될 때, 상기 기계로 하여금,
    실물로부터 기준 식별자를 캡처하는 동작;
    컴퓨팅 장치의 디스플레이에서 제1 가상 물체를 표시하는 동작 - 상기 제1 가상 물체는 상기 기준 식별자에 기초함 - ;
    상기 컴퓨팅 장치의 사용자의 뇌 활동 데이터를 수신하는 동작 - 상기 뇌 활동 데이터는 상기 컴퓨팅 장치의 디스플레이에 상기 제1 가상 물체를 표시하는 동작에 응답하여 생성됨 - ;
    상기 기준 식별자 및 상기 뇌 활동 데이터를 네트워크를 통해 원격 서버로 전송하여 - 상기 원격 서버는 상기 기준 식별자와 관련된 복수의 가상 물체들을 식별하도록 구성됨 - , 상기 복수의 가상 물체들에 기초하여 복수의 뇌파 패턴들을 검색하고 - 각각의 뇌파 패턴은 대응하는 가상 물체와 관련됨 - , 상기 사용자의 뇌 활동 데이터를 복수의 뇌파 패턴들과 비교하고, 상기 복수의 가상 물체들로부터 제2 가상 물체를 식별하는 동작 - 상기 제2 가상 물체는 상기 복수의 뇌파 패턴들로부터의 뇌파 패턴과 관련되고, 상기 뇌파 패턴은 상기 뇌 활동 데이터에 대응됨 - ;
    상기 서버로부터 상기 제2 가상 물체를 식별하는 통신을 수신하는 동작;
    상기 제2 가상 물체를 상기 제1 가상 물체와 함께 상기 디스플레이에 표시하는 동작;
    상기 실물에 대한 상기 장치의 위치에 기초하여 상기 디스플레이에서 상기 제1 가상 물체 및 제2 가상 물체의 뷰를 조정하는 동작;
    상기 사용자에 결합되는 EEG 뇌파 센서를 이용하여 뇌파 데이터를 생성하는 동작;
    심박수 센서를 이용하여 상기 사용자의 심박수 데이터를 생성하는 동작;
    눈 추적 센서를 이용하여 상기 디스플레이 상에서 상기 사용자의 시선을 결정하는 동작;
    상기 컴퓨팅 장치의 지리적 위치를 결정하는 동작; 및
    상기 뇌파 데이터, 심박수 데이터, 상기 사용자의 시선, 상기 컴퓨팅 장치의 지리적 위치에 기초하여 상기 사용자의 마음 상태를 식별하는 동작
    을 포함하는 동작들을 수행하게 하는 명령어들을 포함하는 비일시적 기계 판독 가능 매체.
KR1020157037131A 2013-06-03 2014-06-02 사고를 통한 증강 현실에서의 가상 물체의 조작 KR101694089B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/909,042 2013-06-03
US13/909,042 US9354702B2 (en) 2013-06-03 2013-06-03 Manipulation of virtual object in augmented reality via thought
PCT/US2014/040552 WO2014197392A1 (en) 2013-06-03 2014-06-02 Manipulation of virtual object in augmented reality via thought

Publications (2)

Publication Number Publication Date
KR20160016948A KR20160016948A (ko) 2016-02-15
KR101694089B1 true KR101694089B1 (ko) 2017-01-06

Family

ID=51984517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157037131A KR101694089B1 (ko) 2013-06-03 2014-06-02 사고를 통한 증강 현실에서의 가상 물체의 조작

Country Status (6)

Country Link
US (2) US9354702B2 (ko)
EP (1) EP3005037A4 (ko)
JP (1) JP6040342B2 (ko)
KR (1) KR101694089B1 (ko)
AU (1) AU2014275189B2 (ko)
WO (1) WO2014197392A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996155B2 (en) 2013-06-03 2018-06-12 Daqri, Llc Manipulation of virtual object in augmented reality via thought
WO2023229178A1 (ko) * 2022-05-27 2023-11-30 주식회사 케이티앤지 가상 연기 구현 방법 및 장치

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9814426B2 (en) 2012-06-14 2017-11-14 Medibotics Llc Mobile wearable electromagnetic brain activity monitor
CN103970260B (zh) * 2013-01-31 2017-06-06 华为技术有限公司 一种非接触式手势控制方法及电子终端设备
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent
US10074401B1 (en) * 2014-09-12 2018-09-11 Amazon Technologies, Inc. Adjusting playback of images using sensor data
US10332283B2 (en) * 2014-09-16 2019-06-25 Nokia Of America Corporation Visualized re-physicalization of captured physical signals and/or physical states
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US9977241B2 (en) 2015-03-17 2018-05-22 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
US20160374616A1 (en) * 2015-06-24 2016-12-29 Daqri, Llc Electrode contact quality
JP6586818B2 (ja) * 2015-08-21 2019-10-09 オムロンヘルスケア株式会社 診療支援装置、診療支援方法、診療支援プログラム、生体情報測定装置
DE102015226581B4 (de) * 2015-12-22 2022-03-17 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
CN105528084A (zh) * 2016-01-21 2016-04-27 京东方科技集团股份有限公司 一种显示控制装置及其控制方法、显示控制系统
US10203751B2 (en) 2016-05-11 2019-02-12 Microsoft Technology Licensing, Llc Continuous motion controls operable using neurological data
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
KR20180067984A (ko) 2016-12-13 2018-06-21 현대자동차주식회사 마일드 하이브리드 차량의 mhsg 제어 방법 및 장치
KR102394561B1 (ko) 2016-12-13 2022-05-04 현대자동차 주식회사 마일드 하이브리드 차량의 엔진 시동 장치 및 방법
US10963774B2 (en) 2017-01-09 2021-03-30 Microsoft Technology Licensing, Llc Systems and methods for artificial intelligence interface generation, evolution, and/or adjustment
US10625170B2 (en) * 2017-03-09 2020-04-21 Lumena Inc. Immersive device
US11058961B2 (en) * 2017-03-09 2021-07-13 Kaleb Matson Immersive device
US10877647B2 (en) 2017-03-21 2020-12-29 Hewlett-Packard Development Company, L.P. Estimations within displays
EP3629912A4 (en) * 2017-05-30 2021-03-03 InteraXon Inc. PORTABLE COMPUTER DEVICE WITH ELECTROPHYSIOLOGICAL SENSORS
US10102659B1 (en) 2017-09-18 2018-10-16 Nicholas T. Hariton Systems and methods for utilizing a device as a marker for augmented reality content
CN107613121B (zh) * 2017-09-19 2020-05-12 华南理工大学 一种基于eog的移动通讯拨号方法
US10105601B1 (en) 2017-10-27 2018-10-23 Nicholas T. Hariton Systems and methods for rendering a virtual content object in an augmented reality environment
US10636188B2 (en) 2018-02-09 2020-04-28 Nicholas T. Hariton Systems and methods for utilizing a living entity as a marker for augmented reality content
CN108762476B (zh) * 2018-03-21 2021-04-09 Oppo广东移动通信有限公司 设备提示方法及相关产品
US10551921B2 (en) * 2018-03-23 2020-02-04 Abl Ip Holding Llc Electroencephalography control of controllable device
US10682069B2 (en) * 2018-03-23 2020-06-16 Abl Ip Holding Llc User preference and user hierarchy in an electroencephalography based control system
US10682099B2 (en) * 2018-03-23 2020-06-16 Abl Ip Holding Llc Training of an electroencephalography based control system
US10866638B2 (en) * 2018-03-23 2020-12-15 Abl Ip Holding Llc Neural control of controllable device
US10198871B1 (en) 2018-04-27 2019-02-05 Nicholas T. Hariton Systems and methods for generating and facilitating access to a personalized augmented rendering of a user
KR102581146B1 (ko) * 2018-11-23 2023-09-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10586396B1 (en) 2019-04-30 2020-03-10 Nicholas T. Hariton Systems, methods, and storage media for conveying virtual content in an augmented reality environment
WO2021215266A1 (ja) * 2020-04-23 2021-10-28 ソニーグループ株式会社 制御装置、及び制御方法
CN113747113A (zh) * 2020-05-29 2021-12-03 北京小米移动软件有限公司 图像显示方法及装置、电子设备、计算机可读存储介质
EP4202610A1 (en) 2021-12-27 2023-06-28 Koninklijke KPN N.V. Affect-based rendering of content data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140354534A1 (en) 2013-06-03 2014-12-04 Daqri, Llc Manipulation of virtual object in augmented reality via thought

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US935470A (en) * 1908-12-08 1909-09-28 Andrew Davis Drilling-machine table.
US5759044A (en) 1990-02-22 1998-06-02 Redmond Productions Methods and apparatus for generating and processing synthetic and absolute real time environments
FI111892B (fi) * 1997-04-22 2003-09-30 Nokia Oy Ab Monitoiminen viestinlaite
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
AU2002224398A1 (en) 2000-10-19 2002-04-29 Bernhard Dohrmann Apparatus and method for delivery of instructional information
US9153074B2 (en) * 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
WO2006012678A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
US7788075B2 (en) * 2004-08-16 2010-08-31 Mcw Research Foundation System and method for sensory defect simulation
US8614676B2 (en) 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
US20080191864A1 (en) * 2005-03-31 2008-08-14 Ronen Wolfson Interactive Surface and Display System
WO2006121956A1 (en) 2005-05-09 2006-11-16 Infinite Z, Inc. Biofeedback eyewear system
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8209620B2 (en) 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US9101279B2 (en) 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
US20080050711A1 (en) * 2006-08-08 2008-02-28 Doswell Jayfus T Modulating Computer System Useful for Enhancing Learning
US20080218472A1 (en) 2007-03-05 2008-09-11 Emotiv Systems Pty., Ltd. Interface to convert mental states and facial expressions to application input
US10198958B2 (en) 2007-05-04 2019-02-05 Freer Logic Method and apparatus for training a team by employing brainwave monitoring and synchronized attention levels of team trainees
NZ560457A (en) 2007-08-15 2010-02-26 William Bryan Woodard Image generation system
US9513699B2 (en) 2007-10-24 2016-12-06 Invention Science Fund I, LL Method of selecting a second content based on a user's reaction to a first content
US20130073978A1 (en) 2011-09-16 2013-03-21 Social Communications Company Capabilities based management of virtual areas
US7754955B2 (en) * 2007-11-02 2010-07-13 Mark Patrick Egan Virtual reality composer platform system
US20090156955A1 (en) 2007-12-13 2009-06-18 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for comparing media content
US20090327871A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation I/o for constrained devices
US9191238B2 (en) 2008-07-23 2015-11-17 Yahoo! Inc. Virtual notes in a reality overlay
EP2327003B1 (en) * 2008-09-17 2017-03-29 Nokia Technologies Oy User interface for augmented reality
US8671069B2 (en) * 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US8427508B2 (en) 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
US8531452B2 (en) 2009-07-21 2013-09-10 Konami Digital Entertainment Co., Ltd. Video game machine, gaming image display control method and display mode switching control method
US20110040155A1 (en) 2009-08-13 2011-02-17 International Business Machines Corporation Multiple sensory channel approach for translating human emotions in a computing environment
CN102791332A (zh) 2009-11-04 2012-11-21 代理并代表亚利桑那州立大学的亚利桑那董事会 调节大脑活动的设备和方法
KR101080803B1 (ko) 2009-11-17 2011-11-07 한국과학기술연구원 실감 인터랙션 시스템 및 방법
US9373123B2 (en) * 2009-12-30 2016-06-21 Iheartmedia Management Services, Inc. Wearable advertising ratings methods and systems
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8847879B2 (en) * 2010-04-08 2014-09-30 Disney Enterprises, Inc. Motionbeam interaction techniques for handheld projectors
US20120200600A1 (en) * 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
KR101347518B1 (ko) 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
US20120050144A1 (en) * 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
CN103299330A (zh) 2010-10-21 2013-09-11 圣脑私营有限责任公司 人类体验及购买行为的神经心理建模方法及装置
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
TW201227128A (en) * 2010-12-21 2012-07-01 J Touch Corp Three-dimensional image display device and electrochromic module thereof
PT105469A (pt) * 2011-01-04 2012-11-19 Marta Isabel Santos Paiva Ferraz Da Conceicao Fato interativo para videojogos em que se usam sensores eletrónicos e objetos físicos
US10109065B2 (en) 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US8810598B2 (en) * 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
US8676937B2 (en) 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US8676230B2 (en) * 2011-05-16 2014-03-18 Neurosky, Inc. Bio signal based mobile device applications
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101239284B1 (ko) 2011-05-31 2013-03-06 삼성에스디에스 주식회사 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
US10108783B2 (en) 2011-07-05 2018-10-23 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring health of employees using mobile devices
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
KR101280170B1 (ko) 2011-08-01 2013-06-28 김현아 이동 단말에서의 증강현실 기반 정보 처리 방법
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US8963956B2 (en) 2011-08-19 2015-02-24 Microsoft Technology Licensing, Llc Location based skins for mixed reality displays
US20130138248A1 (en) * 2011-11-30 2013-05-30 Honeywell International Inc. Thought enabled hands-free control of multiple degree-of-freedom systems
TWI482108B (zh) * 2011-12-29 2015-04-21 Univ Nat Taiwan To bring virtual social networks into real-life social systems and methods
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US20130201215A1 (en) * 2012-02-03 2013-08-08 John A. MARTELLARO Accessing applications in a mobile augmented reality environment
US9449446B1 (en) * 2012-05-27 2016-09-20 Make Ideas, LLC System employing a plurality of brain/body-generated inputs to control the multi-action operation of a controllable device
WO2013180798A1 (en) * 2012-05-29 2013-12-05 Icelero Inc Method, apparatus and system for expressing and exchanging opinions on virtual objects
US20140002443A1 (en) * 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US10180715B2 (en) * 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9030495B2 (en) * 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
KR102099086B1 (ko) * 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
US9773332B2 (en) * 2013-03-14 2017-09-26 Otoy, Inc. Visual cortex thought detector interface
US9235968B2 (en) * 2013-03-14 2016-01-12 Otoy, Inc. Tactile elements for a wearable eye piece
US20140267005A1 (en) * 2013-03-14 2014-09-18 Julian M. Urbach Eye piece for augmented and virtual reality
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US9383819B2 (en) 2013-06-03 2016-07-05 Daqri, Llc Manipulation of virtual object in augmented reality via intent

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140354534A1 (en) 2013-06-03 2014-12-04 Daqri, Llc Manipulation of virtual object in augmented reality via thought
EP3005037A1 (en) 2013-06-03 2016-04-13 Daqri, LLC Manipulation of virtual object in augmented reality via thought
JP2016521881A (ja) 2013-06-03 2016-07-25 ダクリ エルエルシーＤａｑｒｉ， ＬＬＣ 思考を介した拡張現実における仮想オブジェクトの操作

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996155B2 (en) 2013-06-03 2018-06-12 Daqri, Llc Manipulation of virtual object in augmented reality via thought
WO2023229178A1 (ko) * 2022-05-27 2023-11-30 주식회사 케이티앤지 가상 연기 구현 방법 및 장치

Also Published As

Publication number Publication date
AU2014275189B2 (en) 2016-12-22
KR20160016948A (ko) 2016-02-15
JP6040342B2 (ja) 2016-12-07
US9996155B2 (en) 2018-06-12
AU2014275189A1 (en) 2016-01-21
JP2016521881A (ja) 2016-07-25
US20160246371A1 (en) 2016-08-25
US9354702B2 (en) 2016-05-31
US20140354534A1 (en) 2014-12-04
WO2014197392A1 (en) 2014-12-11
EP3005037A1 (en) 2016-04-13
EP3005037A4 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
KR101694089B1 (ko) 사고를 통한 증강 현실에서의 가상 물체의 조작
US9996983B2 (en) Manipulation of virtual object in augmented reality via intent
US11650626B2 (en) Systems and methods for extending a keyboard to a surrounding surface using a wearable extended reality appliance
US9585581B1 (en) Real-time biometric detection of oscillatory phenomena and voltage events
US20140139551A1 (en) Augmented reality help
US20160374616A1 (en) Electrode contact quality
CN113383295A (zh) 调节数字内容以激发更大的瞳孔半径响应的生物反馈方法
US20170251945A1 (en) Low-noise multi-channel voltage recording device
US20240005612A1 (en) Content transformations based on reflective object recognition

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 4