KR20140113531A - 착용가능 햅틱 장치 - Google Patents

착용가능 햅틱 장치 Download PDF

Info

Publication number
KR20140113531A
KR20140113531A KR1020140030260A KR20140030260A KR20140113531A KR 20140113531 A KR20140113531 A KR 20140113531A KR 1020140030260 A KR1020140030260 A KR 1020140030260A KR 20140030260 A KR20140030260 A KR 20140030260A KR 20140113531 A KR20140113531 A KR 20140113531A
Authority
KR
South Korea
Prior art keywords
event
haptic
feedback
wearable
augmented reality
Prior art date
Application number
KR1020140030260A
Other languages
English (en)
Inventor
앨란 비지타시온
트레버 존스
대니엘 그레고리 파커
고헤이 이모토
케이트 리드
제시카 이 페로
애어론 카펠루스
닐 올리엔
대니 에이 그랜트
로버트 라크록스
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=50439132&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20140113531(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20140113531A publication Critical patent/KR20140113531A/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

착용가능 장치는, 착용가능 장치에 관련된 환경에서 발생하는 이벤트에 기초하여 피드백을 생성하도록 구성될 수 있다. 착용가능 장치는, 예를 들어, 착용가능 장치에 관련된 환경에서 발생하는 이벤트를 나타내는 제어 신호를 생성하도록 구성된 프로세서, 및 착용가능 장치의 제1 위치에 배치된 적어도 하나의 제1 햅틱 출력 장치를 포함할 수 있다. 제1 햅틱 출력 장치는 생성된 제어 신호에 기초하여 햅틱 피드백을 제공하도록 구성될 수 있다.

Description

착용가능 햅틱 장치{WEARABLE HAPTIC DEVICE}
본 발명은 착용가능 장치에 관련된 환경에서 발생하는 이벤트에 기초하여 피드백을 생성하도록 구성된 착용가능 장치에 관한 것이다.
증강 현실 장치는 물리 공간에서의 물리 오브젝트가 가상 공간에서의 가상 오브젝트와 함께 표시되는 증강 현실 환경을 제공한다. 다양한 증강 현실 장치는 물리 오브젝트에 배치된 특정 코드(예를 들어, QR 코드)를 인식하고, 시야에 하나 이상의 가상 오브젝트를 표시하며, 이러한 시야는 특정 코드에 기초하여 가상 오브젝트와 함께 증강된 물리 오브젝트를 포함한다. 다른 증강 현실 장치는 이미지 인식을 행하는 서버에 화상을 전송하는 것과 같은 화상 인식을 사용하여 특정한 공지된 물리 오브젝트를 인식할 수 있다.
증강 현실 시스템의 진보에도 불구하고, 증강된 가상 환경과 상호 작용하는 능력은 제한되어 있다. 사용자에게 유용한 피드백을 제공하는 것 또한 제한된다. 또한, 가상 증강 환경에서 오브젝트를 인식하는 것은 연산 집중적이고 많은 경우에 사용성을 저하시킬 수 있다.
본원은 착용가능 장치에 관련된 환경에서 발생하는 이벤트에 기초하여 피드백을 생성하도록 구성된 착용가능 장치에 관한 것이다. 착용가능 장치는, 예를 들어 착용가능 장치에 관련된 환경에서 발생하는 이벤트를 나타내는 제어 신호를 생성하도록 구성된 프로세서와, 착용가능 장치의 제1 위치에 배치되고, 생성된 제어 신호에 기초하여 햅틱 피드백을 제공할 수 있도록 구성된 제1 햅틱 출력 장치를 포함한다.
착용가능 장치는, 예를 들어, 프로세서, 입력 컴포넌트, 피드백 컴포넌트, 통신 포트, 촬상 컴포넌트, 저장 장치 및/또는 다른 컴포넌트들을 포함할 수 있다. 입력 컴포넌트는 예를 들어 버튼 가압, 제스쳐, 음성 명령 및/또는 다른 입력과 같은 입력을 수신하도록 구성될 수 있다. 피드백 컴포넌트는 착용가능 장치를 통해 피드백을 제공하도록 구성될 수 있다. 통신 포트는, 예를 들어 서버 및/또는 다른 장치와 통신 채널이 유지될 수 있는 인터페이스를 포함할 수 있다. 카메라와 같은 촬상 컴포넌트는 착용가능 장치에 관련된 물리 공간을 촬상하도록 구성될 수 있다. 일부 구현예에서, 착용가능 장치의 촬상 컴포넌트는 카메라, 적외선 검출기 및/또는 다른 이미지 기록 장치를 포함할 수 있다. 착용가능 장치의 저장 장치는 이벤트에 관련된 데이터를 저장할 수 있다.
일부 구현예에서, 착용가능 장치의 프로세서는, 예를 들어 이벤트 핸들러 모듈, 제어 신호 생성 모듈, 피드백 제어 모듈, 통신 모듈, 오브젝트 인식 모듈 및/또는 다른 컴퓨터 프로그램 모듈을 포함하는 하나 이상의 모듈을 실행하도록 구성될 수 있다. 이벤트 핸들러 모듈은 착용가능 장치에 관련된 환경에서 이벤트가 발생하였는지 여부를 검출하도록 구성될 수 있다. 제어 신호 생성 모듈은 이벤트에 관련된 정보를 수신하고 제어 신호를 생성하도록 구성될 수 있다. 제어 신호는 착용가능 장치에 관련된 환경에서 발생하는 이벤트를 나타낼 수 있다. 피드백 제어 모듈은 제어 신호를 수신하고 피드백 컴포넌트가 피드백을 제공하도록 구성될 수 있다. 통신 모듈은 착용가능 장치와 다른 장치 간의 통신을 가능하게 하도록 구성될 수 있다. 오브젝트 인식 모듈은 착용가능 장치에 관련된 물리 공간의 물리 오브젝트를 인식하도록 구성될 수 있다.
이벤트는, 예를 들어, 착용가능 장치의 소정의 근처 내의 물리 오브젝트의 표시, 환경에서 발생하는 환경 조건의 표시, 환경에서 발생하는 환경 조건의 변화의 표시, 착용가능 장치의 소정의 근처 내의 오브젝트의 이동의 표시, 착용가능 장치와 환경 내의 오브젝트 간의 상호 작용, 착용가능 장치가 환경 내의 오브젝트를 인식한다는 표시, 네비게이션 이벤트, 및/또는 착용가능 장치에 관련된 환경에서 발생하는 다른 이벤트를 포함할 수 있다.
일부 구현예에서, 피드백 제어 모듈은 피드백 컴포넌트에 제어 신호를 제공하도록 구성될 수 있다. 이들 일부 구현예에서, 제어 신호는 피드백을 야기하도록 피드백 컴포넌트에 직접적으로 적용될 수 있다. 일부 구현예에서, 피드백 제어 모듈은 수신된 제어 신호에 기초하여 피드백 신호를 결정하도록 구성될 수 있다. 이들 실시에서, 피드백 제어 모듈은 수신된 제어 신호에 기초하여 피드백 신호를 결정하도록 룩업 테이블을 찾아볼 수 있다.
통신 모듈은 착용가능 장치와 예를 들어 서버와 같은 다른 장치, 및/또는 착용가능 장치와 통신할 수 있는 또 다른 장치 간의 통신을 가능하게 하도록 구성될 수 있다. 통신 모듈은 착용가능 장치, 서버 및/또는 다른 장치 간의 통신을 위해 유선 또는 무선 통신 채널을 제공하도록 구성될 수 있다. 일부 구현예에서, 프로세서는 통신 모듈의 무선 또는 유선 통신 채널을 통해 다른 연산 장치에서 발생하는 이벤트를 나타내는 신호를 수신하도록 구성될 수 있다.
일부 구현예에서, 오브젝트 인식 모듈은 물리 공간 내의 오브젝트를 인식하도록 구성될 수 있다. 오브젝트 인식 모듈은 물리 공간 내의 오브젝트를 인식하기 위해 촬상 컴포넌트 및 착용가능 장치의 저장 장치와 통신할 수 있다. 예를 들어, 오브젝트 인식 모듈은 촬상 컴포넌트로부터 캡처된 시각 데이터를 수신하고, 캡처된 시각 데이터에 하나 이상의 오브젝트들이 존재하는 지를 결정하도록 시각 데이터를 처리할 수 있다. 오브젝트 인식 모듈은 저장 장치에 저장된 오브젝트들과 시각 데이터 내에 존재하는 캡처된 오브젝트들을 비교할 수 있다.
입력 컴포넌트는, 예를 들어, 버튼 가압, 제스쳐, 음성 명령 및/또는 다른 종류의 통신과 같은 입력을 수신하도록 구성될 수 있다. 입력 컴포넌트는, 프로세서에 의해, 통신 채널을 통해 예를 들어 서버 및/또는 착용가능 장치와 통신하는 다른 장치와 같은 다른 장치와 통신할 수 있다. 예를 들어, 입력 컴포넌트는 터치 패널, 터치 스크린, 기계식 버튼, 스위치, 마이크로폰과 같은 오디오 수신기 및/또는 입력을 수신할 수 있는 다른 입력 컴포넌트를 포함할 수 있다.
일부 구현예에서, 피드백 컴포넌트는 햅틱 피드백을 제공하도록 구성된 하나 이상의 햅틱 출력 장치와, 시각 피드백을 제공하도록 구성된 하나 이상의 시각화 장치와, 가청 피드백을 제공하도록 구성된 하나 이상의 오디오 장치 및/또는 피드백을 생성하는 다른 장치를 포함할 수 있다.
햅틱 출력 장치는 예를 들어, 편심 질량이 모터에 의해 구동되는 ERM(Eccentric Rotating Mass), 스프링에 부착된 질량이 전후방으로 구동되는 LRA(Linear Resonant Actuator), 또는 압전체, 전기 활성 중합체 또는 형상 기억 합금과 같은 "스마트 머티어리얼(smart material)"과 같은 전자기 액추에이터, 마크로 복합재(macro-composite) 섬유 액추에이터, 정전 액추에이터, 전기촉각(electro-tactile) 액추에이터 및/또는 햅틱(예를 들어, 진동 촉각(vibro-tactile)) 피드백과 같은 물리 피드백을 제공하는 다른 종류의 액추에이터인 액추에이터를 포함할 수 있다. 햅틱 출력 장치는, 정전 마찰(ESF)을 사용하는 것, 초음파 표면 마찰(USF)을 사용하는 것 또는 초음파 햅틱 트랜스듀서로 음파 방사 압력(acoustic radiation pressure)을 야기하는 것과 같은 비기계적 또는 비진동형 장치, 또는 공기 제트를 이용하여 공기의 퍼프(puff)와 같은 돌출된 햅틱 출력을 제공하는 것 등을 포함할 수 있다.
시각화 장치는 착용가능 장치에서 가시광과 같은 시각화 피드백을 생성하도록 구성될 수 있다. 예를 들어, 시각화 피드백은 착용가능 장치에 관련된 환경의 이벤트의 발생을 시각적으로 나타낼 수 있다.
오디오 장치는 착용가능 장치에서 하나 이상의 사운드와 같은 오디오 피드백을 생성하도록 구성될 수 있다. 예를 들어, 오디오 피드백은 착용가능 장치에 관련된 환경에서의 이벤트의 발생을 청각적으로 나타낼 수 있다.
피드백 컴포넌트는 피드백 제어 모듈로부터 하나 이상의 신호(예를 들어 하나 이상의 제어 신호 또는 하나 이상의 피드백 신호)를 수신하도록 구성될 수 있다. 하나 이상의 신호에 기초하여, 하나 이상의 햅틱 출력 장치, 하나 이상의 시각화 장치, 하나 이상의 오디오 장치 및/또는 다른 피드백 컴포넌트는 착용가능 장치를 통해 피드백을 제공할 수 있다.
통신 포트는 다른 장치와의 통신 채널을 확립하도록 구성될 수 있다. 통신 포트는, 예를 들어 서버와 같은 다른 장치 및/또는 착용가능 장치와 통신할 수 있는 또 다른 장치와 통신 채널이 유지될 수 있는 인터페이스를 유지할 수 있다. 일부 구현예에서, 제어 신호는 유선 또는 무선 통신 채널을 포함할 수 있는 통신 채널을 통해 수신될 수 있다.
일부 구현예에서, 착용가능 장치는 센서를 포함할 수 있다. 센서는 착용가능 장치에 관련된 하나 이상의 환경 조건을 감지하도록 구성될 수 있다.
일부 구현예에서, 착용가능 장치는 증강 현실 공간 및 물리 공간 모두를 포함하는 증강 현실("AR"(augmented reality)) 환경을 생성하도록 구성된 착용가능 증강 현실("AR") 장치일 수 있다. 착용가능 AR 장치는 예를 들어 물리 공간을 촬상하도록 구성된 촬상 장치와, 물리 공간과 일치하는 증강 현실 공간을 생성하고 물리 공간 내의 적어도 하나의 물리 오브젝트를 인식하고 AR 공간 내의 하나 이상의 가상 오브젝트와 함께 물리 오브젝트를 증강하고 AR 환경과 관련된 이벤트를 결정하고 결정된 이벤트에 기초하여 제어 신호를 생성하도록 구성된 하나 이상의 프로세서와, 착용가능 AR 장치의 제1 위치에 배치된 적어도 하나의 제1 햅틱 출력 장치를 포함할 수 있고, 제1 햅틱 출력 장치는 생성된 제어 신호에 기초하여 햅틱 피드백을 제공하도록 구성될 수 있다.
일부 구현예에서, 착용가능 AR 장치는, 예를 들어 프로세서, 입력 컴포넌ㅌ, 피드백 컴포넌트, 통신 포트, 촬상 컴포넌트, 저장 장치 및/또는 다른 컴포넌트를 포함할 수 있다. 입력 컴포넌트는, 예를 들어 버튼 가압, 제스쳐, 음성 명령 및/또는 다른 입력과 같은 입력을 수신하도록 구성될 수 있다. 피드백 컴포넌트는 착용가능 AR 장치를 통해 피드백을 제공하도록 구성될 수 있다. 통신 포트는 예를 들어, 서버 및/또는 다른 장치들과 통신 채널이 유지될 수 있는 인터페이스를 포함할 수 있다. 카메라와 같은 촬상 컴포넌트는 물리 공간을 촬상하도록 구성될 수 있다. 일부 구현예에서, 착용가능 AR 장치의 촬상 컴포넌트는 카메라, 적외선 검출기 및/또는 다른 이미지 기록 장치를 포함할 수 있다. 프로세서는 물리 공간과 일치하여 증강 현실 공간을 생성하도록 구성될 수 있다. 프로세서는 물리 공간 내의 적어도 하나의 물리 오브젝트를 인식하고, 적어도 하나의 물리 오브젝트를 AR 공간 내의 하나 이상의 가상 오브젝트와 함께 증강시키도록 구성될 수 있다. 프로세서는 AR 환경 내에서 이벤트를 결정하고, 이벤트를 나타내는 제어 신호를 생성하도록 구성될 수 있다. 제어 신호는 착용가능 AR 장치에서 피드백이 발생되도록 할 수 있다.
일부 구현예에서, 착용가능 AR 장치의 프로세서는, 예를 들어 이벤트 핸들러 모듈, 제어 신호 생성 모듈, 피드,백 제어 모듈, 통신 모듈, 오브젝트 인식 모듈, 오브젝트 생성 모듈 및/또는 다른 컴퓨터 프로그램 모듈을 포함하는 하나 이상의 모듈을 실행하도록 구성될 수 있다. 이벤트 핸들러 모듈은 증강 현실 환경에서 이벤트가 발생되었는지 여부를 감지하도록 구성될 수 있다. 제어 신호 생성 모듈은 이벤트와 관련된 정보를 수신하고 이벤트와 관련된 제어 신호를 생성하도록 구성될 수 있다. 피드백 제어 모듈은 제어 신호를 수신하고 피드백 컴포넌트가 피드백을 제공하도록 구성될 수 있다. 통신 모듈은 증강 현실 장치와, 서버와 같은 다른 장치들 간의 통신을 가능하게 하도록 구성될 수 있다. 오브젝트 인식 모듈은 물리 공간 내의 물리 오브젝트를 인식하도록 구성될 수 있다. 오브젝트 생성 모듈은 가상 오브젝트를 생성하여 인식된 물리 오브젝트를 증강하도록 구성될 수 있다.
일부 구현예에서, 착용가능 AR 장치의 프로세서에 의해 결정된 이벤트는 적어도 하나의 물리 오브젝트와 증강 현실 환경 간의 상호 작용, 증강 현실 환경에 대해 발생하는 작용의 확인, 적어도 하나의 물리 오브젝트가 증강 현실 장치에 의해 인식된다는 확인, 물리 공간 내의 오브젝트가 증강되었다는 확인, 증강 현실 장치의 소정의 근처 내에 적어도 하나의 물리 오브젝트가 있음을 표시, 증강 현실 장치에 관련된 환경 내에서 발생하는 환경 조건의 표시, 환경 내에서 발생하는 환경 조건의 변화의 표시, 증강 현실 장치의 소정의 근처 내에서의 오브젝트의 이동의 표시, 및/또는 증강 현실 내에서의 다른 발생을 포함할 수 있다.
일부 구현예에서, 착용가능 장치 및/또는 착용가능 AR 장치 중 하나 또는 모두는 안경류로서 구성될 수 있다. 예를 들어, 안경류는 예를 들어, 프레임, 프레임의 제1 부분에 연결된 제1 렌즈, 프레임의 제2 부분에 연결된 제2 렌즈, 제1 렌즈에 연결된 제1 노즈 패드, 제2 렌즈에 연결된 제2 노즈 패드 및/또는 다른 컴포넌트들을 포함하는 하나 이상의 컴포넌트들을 포함할 수 있다. 프레임은, 예를 들어 프레임의 제1 단부에서의 프레임의 제1 상측 부분, 프레임의 제1 단부에 대향하는 제2 단부에서의 프레임의 제2 상측 부분, 제1 상측 부분에 연결되고 제1 상측 부분에 직각인 방향으로 연장하는 제1 템플, 제2 상측 부분에 연결되고 제2 상측 부분에 직각인 방향으로 연장하며 제1 템플과 평행한 제2 템플, 및/또는 다른 컴포넌트를 포함할 수 있다. 제1 템플은 예를 들어, 제1 부분, 제2 부분 및/또는 다른 부분을 포함하는 하나 이상의 부분들을 포함할 수 있다. 제2 템플은 예를 들어 제1 부분, 제2 부분 및/또는 다른 부분을 포함하는 하나 이상의 부분들을 포함할 수 있다.
일부 구현예에서, 프레임의 제1 상측 부분은 프레임의 하나 이상의 각각의 위치에 위치된 피드백 컴포넌트의 하나 이상의 햅틱 출력 장치를 포함할 수 있다. 일부 구현예에서, 프레임의 제2 상측 부분은 프레임의 하나 이상의 각각의 위치에 위치된 피드백 컴포넌트의 하나 이상의 햅틱 출력 장치를 포함할 수 있다. 일부 구현예에서, 제1 템플은 제1 템플의 하나 이상의 각각의 위치에 위치된 하나 이상의 햅틱 출력 장치를 포함할 수 있다. 제2 템플은 제2 템플의 하나 이상의 각각의 위치에 위치된 하나 이상의 햅틱 출력 장치를 포함할 수 있다.
일부 구현예에서, 제1 템플은 변형가능 재료를 포함할 수 있다. 소정의 이들 실시에서, 제1 템플은 내측 측방으로 휘어지도록 구성될 수 있다. 소정의 이들 실시에서, 제1 템플의 제1 부분은 내측 측방으로 휘어질 수 있고, 제1 부분에 인접한 제1 템플의 제2 부분은 횡?향으로 내측으로 또는 외측 측방으로 휘어지도록 구성될 수 있다. 일부 구현예에서, 제2 템플은 변형가능 재료를 포함할 수 있다. 소정의 이들 실시에서, 제2 템플은 내측 측방으로 휘어지도록 구성될 수 있다. 소정의 이들 실시에서, 제2 템플의 제1 부분은 횡향으로 내측으로 휘어질 수 있고, 제1 부분에 인접한 제2 템플의 제2 부분은 내측 측방으로 또는 외측 측방으로 휘어지도록 구성될 수 있다.
일부 구현예에서, 제1 노즈 패드는 변형가능 재료를 포함할 수 있다. 제1 노즈 패드는 내측 측방으로 휘어지도록 구성될 수 있다. 일부 구현예에서, 제1 템플, 제2 템플, 제1 노즈 패드, 제2 노즈 패드 및/또는 변형가능 재료를 포함하는 다른 컴포넌트의 변형가능 재료는 안경류로서 구성되는 착용가능 장치의 하나 이상의 피드백 컴포넌트로서 피드백을 제공할 수 있다.
일부 구현예에서, 착용가능 AR 장치는 안경류의 하나 또는 두 렌즈를 통해 AR 환경을 디스플레이하도록 구성될 수 있다.
본원에 개시된 시스템 및/또는 방법의 이들 및 다른 목적, 특징 및 특성뿐만 아니라, 구조의 관련된 요소들의 동작 및 기능 방법과 부품의 조합 및 제조 경제성은, 본 명세서의 일부를 형성하며 동일한 도면부호가 다양한 도면에서 대응하는 부품을 지시하는 첨부된 도면을 참조하여 이하의 상세한 설명과 첨부된 청구의 범위를 고려하면 명백하게 될 것이다. 그러나, 도면은 도시 및 설명만을 위한 것이며, 본 발명을 제한하는 한정으로서 의도되는 것이 아님이 명확히 이해될 것이다. 명세서 및 청구범위에서 사용되는 단수 "a", "an" 및 "the"는, 문맥을 명확하게 달리 기술하지 않는 한, 복수의 지시 대상을 포함한다.
이하의 도면의 컴포넌트들은 본원의 일반적인 원리를 강조하도록 도시되었고, 반드시 비율에 맞춰 그려지지는 않는다. 대응하는 컴포넌트들을 나타내는 도면부호는 편의상 및 명확하게 하기 위해 필요에 따라 도면들에서 반복된다.
도 1은 본 발명의 다양한 실시에 따른, 착용가능 장치에 관련된 환경에서 발생하는 이벤트에 기초하여 피드백을 제공하도록 구성된 예시적인 착용가능 장치를 도시하는 블록도.
도 2는 본 발명의 다양한 실시에 따른, 착용가능 증강 현실 장치에 관련된 환경에서 발생하는 이벤트에 기초하여 피드백을 제공하도록 구성된 예시적인 착용가능 증강 현실 장치를 도시하는 블록도.
도 3은 본 발명의 다양한 실시에 따른 예시적인 피드백 컴포넌트의 개략도.
도 4는 본 발명의 다양한 실시에 따른 예시적인 증강 현실 환경을 도시하는 도면.
도 5는 본 발명의 다양한 실시에 따른, 안경류로서 구성된 예시적인 착용가능 증강 현실 장치를 도시하는 개략도.
도 6은 본 발명의 다양한 실시에 따른, 착용가능 장치에 관련된 환경에서 발생하는 이벤트에 기초하여 피드백을 제공하는 예시적인 프로세스를 도시하는 흐름도.
도 1은 착용가능 장치(100)에 관련된 환경에서 발생하는 이벤트에 기초하여 피드백을 제공하는 예시적인 시스템(10)의 블록도를 도시한다. 시스템(10)은 착용가능 장치(100), 서버(400), 통신 채널(300) 및/또는 착용가능 장치(100)와 통신할 수 있는 다른 장치를 포함할 수 있다.
착용가능 장치(100)는, 착용가능 장치(100)에 관련된 환경에서 발생하는 이벤트에 기초하여 피드백을 생성하도록 구성될 수 있다. 이벤트는, 예를 들어 착용가능 장치(100)의 소정의 근처 내의 물리 오브젝트의 표시, 환경에서 발생하는 환경 조건의 표시, 환경에서 발생하는 환경 조건의 변화의 표시, 착용가능 장치(100)의 소정의 근처 내의 오브젝트의 이동의 표시, 착용가능 장치(100)와 환경 내의 오브젝트 간의 상호 작용, 착용가능 장치(100)가 환경 내의 오브젝트를 인식한다는 표시, 네비게이션 이벤트, 및/또는 착용가능 장치(100)에 관련된 환경에서 발생하는 다른 이벤트를 포함할 수 있다.
착용가능 장치(100)는 예를 들어, 착용가능 장치(100)에 관련된 환경에서 발생하는 이벤트를 나타내는 제어 신호를 생성하도록 구성된 프로세서(110)와, 적어도 착용가능 장치(100)의 제1 위치에 배치된 제1 햅틱 출력 장치(예를 들어, 피드백 컴포넌트(130))를 포함하고, 제1 햅틱 출력 장치(예를 들어, 피드백 컴포넌트(130))는 생성된 제어 신호에 기초하여 햅틱 피드백을 제공하도록 구성될 수 있다.
착용가능 장치(100)는 또한 예를 들어, 입력 컴포넌트(120), 생성된 제어 신호에 기초하여 피드백(예를 들어, 햅틱 피드백, 햅틱 효과 등)을 제공하도록 구성된 피드백 컴포넌트(130), 통신 포트(140), 촬상 컴포넌트(150), 저장 장치(170) 및/또는 다른 컴포넌트를 포함할 수 있다. 입력 컴포넌트(120)는 예를 들어, 버튼 가압, 제스쳐, 음성 명령 및/또는 다른 입력과 같은 입력을 수신하도록 구성될 수 있다. 피드백 컴포넌트(130)는 착용가능 장치(100)를 통해 피드백을 제공하도록 구성될 수 있다. 통신 포트(140)는 예를 들어, 서버 및/또는 다른 장치와 통신 채널이 유지될 수 있는 인터페이스를 포함할 수 있다. 촬상 컴포넌트(150)는 착용가능 장치(100)에 관련된 물리 공간을 촬상하도록 구성될 수 있다. 일부 구현예에서, 착용가능 장치(100)의 촬상 컴포넌트(150)는 카메라, 적외선 검출기 및/또는 다른 이미지 기록 장치를 포함할 수 있다. 착용가능 장치(100)의 저장 장치(170)는, 착용가능 장치(100)가 인식할 수 있는 하나 이상의 이벤트에 관련된 데이터를 저장할 수 있다. 예를 들어, 착용가능 장치(100)의 저장 장치(170)는, 예를 들어 착용가능 장치(100)의 소정의 근처 내의 물리 오브젝트의 표시, 환경에서 발생하는 환경 조건의 표시, 환경에서 발생하는 환경 조건의 변화의 표시, 착용가능 장치(100)의 소정의 근처 내의 오브젝트의 이동의 표시, 착용가능 장치(100)와 환경 내의 오브젝트 간의 상호 작용, 착용가능 장치(100)가 환경 내의 오브젝트를 인식한다는 표시, 네비게이션 이벤트, 및/또는 착용가능 장치(100)에 관련된 환경에서 발생하는 다른 이벤트를 포함할 수 있다.
일부 구현예에서, 착용가능 장치(100)는 하나 이상의 센서(160)를 포함할 수 있다. 하나 이상의 센서(160)는 착용가능 장치(100)와 연관된 환경에서 하나 이상의 환경 조건을 감지하도록 구성될 수 있다. 예를 들어, 하나 이상의 센서(160)는 온도, 습도, 음향, 광, 자계, 중력, 하나 이상의 화학 물질의 존재, 공기의 질, 및/또는 환경 조건을 감지하도록 구성될 수 있다.
일부 구현예에서, 프로세서(110)는, 예를 들어 이벤트 핸들러 모듈(111), 제어 신호 생성 모듈(112), 피드백 제어 모듈(113), 통신 모듈(114), 오브젝트 인식 모듈(115), 및/또는 컴퓨터 프로그램 모듈을 포함하는 하나 이상의 모듈을 실행하도록 구성될 수 있다. 이벤트 핸들러 모듈(111)은 착용가능 장치(100)와 연관된 환경에서 이벤트가 발생하는지 여부를 검출하도록 구성될 수 있다. 제어 신호 생성 모듈(112)은 이벤트에 관한 정보를 수신하고 제어 신호를 생성하도록 구성될 수 있다. 제어 신호는 착용가능 장치(100)와 연관된 환경에서 발생하는 이벤트를 나타낼 수 있다. 피드백 제어 모듈(111)은 제어 신호를 수신하고, 피드백 컴포넌트(130)로 하여금 피드백을 제공하게 하도록 구성될 수 있다. 통신 모듈(112)은 착용가능 장치(100)와 다른 장치 사이에서 통신을 촉진하도록 구성될 수 있다.
일부 구현예에서, 이벤트 핸들러 모듈(111)은, 이벤트가 AR 환경에서 발생하는지 여부를 검출하도록 구성될 수 있다. 이벤트 핸들러 모듈(111)은, 촬상 컴포넌트(150), 오브젝트 인식 모듈(115), 입력 컴포넌트(120), 통신 포트(140), 저장 장치(170), 및/또는 착용가능 장치(100)의 다른 모듈 또는 컴포넌트로부터 데이터를 수신할 수 있다.
일부 구현예에서, 이벤트 핸들러 모듈(111)은 촬상 컴포넌트(150)로부터의 시각 데이터, 오브젝트 인식 모듈(115)로부터의 시각 데이터 내의 캡처된 오브젝트와 연관된 정보, 입력 컴포넌트(120)를 통해 수신된 정보; 통신 채널(300)을 통해 수신된 다른 연산 장치로부터의 정보, 및/또는 착용가능 장치와 연관된 환경의 다른 정보를 수신할 수 있다. 이벤트 핸들러 모듈(111)은 수신된 정보와 저장 장치(170)에 저장된 이벤트와 연관된 데이터를 비교하여, 정보(또는 정보의 일부)가 이벤트와 연관되는지 여부를 결정할 수 있다. 수신된 정보의 일부 또는 전부가 이벤트와 연관되는 경우, 이벤트 핸들러 모듈(111)은 수신된 정보와 연관된 이벤트에 관한 데이터를 포함하는 이벤트 데이터를 제어 신호 생성 모듈(112)로 송신할 수 있다.
일부 구현예에서, 이벤트 핸들러 모듈(111)은 착용가능 장치(100)와 착용가능 장치(100)에 관한 환경 내의 하나 이상의 오브젝트 사이에 발생되는 상호 작용, 변화된 착용가능 장치(100)에 관한 환경의 조건을 나타내는 데이터를 프로세서(110)로부터 수신할 수 있고, 입력은 착용가능 장치(100)에서 수신되었고, 다른 장치로부터 수신된 입력은 착용가능 장치(100)에 의해 처리되었고, 사용자와 착용가능 장치(100)에 관한 환경 사이에서 상호 작용이 발생하였고, 및/또는 다른 처리는 착용가능 장치(100)에 의해 수행되었다. 일부 구현예에서, 이벤트 핸들러 모듈(111)은 프로세서(110)로부터 수신된 데이터와 저장 장치(170)에 저장된 데이터를 비교하여, 데이터가 이벤트와 연관되는지 여부를 결정한다. 수신된 정보의 일부 또는 전부가 저장 장치(170)에 저장된 이벤트와 연관되는 경우, 이벤트 핸들러 모듈(111)은 수신된 정보와 연관된 이벤트에 관한 데이터를 포함하는 이벤트 데이터를 제어 신호 생성 모듈(112)로 송신할 수 있다.
일부 구현예에서, 수신된 정보가 저장 장치(170)에 저장된 이벤트와 연관되지 않는 경우, 이벤트 핸들러 모듈(111)은, 서버(400)가 이벤트 핸들링을 수행할 수 있도록 수신된 정보를 포함하는 이벤트 데이터를 서버(400)로 송신할 수 있다. 수신된 정보의 일부 도는 전부가 서버(400)의 저장 장치에 저장된 이벤트와 연관되는 경우, 서버(400)는 연관된 이벤트에 관한 정보를 이벤트 핸들러 모듈(111)로 전달할 수 있다. 이벤트 핸들러 모듈(111)은 수신된 정보와 연관된 이벤트에 관한 데이터를 포함하는 이벤트 데이터를 제어 신호 생성 모듈(112)로 송신할 수 있다. 수신된 정보가 서버(400)의 저장 장치에 저장된 이벤트와 연관되지 않는 경우, 서버(400)는 일치성이 발견되지 않는다는 표시를 전달할 수 있다.
일부 구현예에서, 제어 신호 생성 모듈(112)은 이벤트 핸들러 모듈(111)로부터 이벤트 데이터를 수신하고 이벤트 데이터에 기초하여 제어 신호를 생성하도록 구성될 수 있다. 착용가능 장치(100)의 저장 장치(170)는, 복수의 이벤트와 각각의 복수의 제어 신호를 연관시키는 룩업 테이블을 포함할 수 있다. 이벤트 핸들러 모듈(111)로부터 수신된 이벤트 데이터에 기초하여, 제어 신호 생성 모듈(112)은 수신된 이벤트 데이터와 저장 장치(170)에 저장된 데이터를 비교할 수 있다. 예를 들어, 제어 신호 생성 모듈(112)은 수신된 이벤트 데이터와 저장 장치(170)에 저장된 데이터를 비교할 수 있다. 이벤트 데이터의 일부 또는 전부가 저장 장치(170)에 저장된 이벤트와 일치하는 경우에, 제어 신호 생성 모듈(112)은 일치된 이벤트와 연관된 제어 신호에 관한 제어 신호를 생성할 수 있다. 이벤트 데이터가 저장 장치(170)에 저장된 이벤트와 일치하지 않는 경우, 제어 신호 생성 모듈(112)은 이벤트 데이터를 서버(400)로 전달하여, 서버(400)의 저장 장치가 이벤트 데이터의 일부 또는 전부와 연관된 제어 신호를 저장했는지 여부를 결정할 수 있다. 예를 들어, 제어 신호는, 이벤트가 발생하였다는 것을 나타내는 정보, 특정 유형의 이벤트가 발생하였다는 것을 나타내는 정보, 이벤트의 하나 이상의 오브젝트에 관한 정보, 이벤트의 하나 이상의 환경 조건에 관한 정보, 이벤트의 하나 이상의 상호 작용에 관한 정보, 이벤트의 타이밍에 관한 정보, 이벤트의 날짜에 관한 정보, 이벤트의 듀레이션(duration)에 관한 정보, 이벤트의 유형의 빈도에 관한 정보, 검출된 이벤트의 빈도에 관한 정보, 및/또는 이벤트에 관한 다른 정보를 포함할 수 있다.
피드백 제어 모듈(113)은 (예를 들어, 제어 신호 생성 모듈(112)로부터) 제어 신호를 수신하고, 피드백 컴포넌트(130)로 하여금 착용가능 장치(100)를 통해 피드백을 제공하게 하도록 구성될 수 있다. 제어 신호는 착용가능 장치(100)에 관한 환경에서 발생하는 이벤트를 나타낼 수 있다. 예를 들어, 이벤트는, 착용가능 장치(100)의 소정의 근처 내의 물리 오브젝트의 표시, 환경에서 발생하는 환경 조건의 표시, 환경에서 발생하는 환경 조건의 변화의 표시, 착용가능 장치(100)의 소정의 근처 내의 오브젝트의 이동의 표시, 착용가능 장치(100)와 환경에서의 오브젝트 사이의 상호 작용, 착용가능 장치(100)가 환경 내의 오브젝트를 인식한다는 표시, 네비게이션 이벤트, 및/또는 착용가능 장치(100)에 관한 환경에서 발생하는 다른 이벤트를 포함할 수 있다. 일부 구현예에서, 피드백 제어 모듈(113)은 제어 신호를 피드백 컴포넌트(130)에 제공하도록 구성될 수 있다. 본 구현예에서, 제어 신호는 피드백을 야기시키는 피드백 컴포넌트(130)에 직접 인가될 수 있다. 일부 구현예에서, 피드백 제어 모듈(113)은 수신된 제어 신호에 기초하여 피드백 응답을 결정하도록 구성될 수 있다. 본 구현예에서, 피드백 제어 모듈(113)은 수신된 제어 신호에 기초하여 피드백 응답을 결정하기 위해 룩업 테이블을 참조할 수 있다. 피드백 응답은 수신된 제어 신호에 기초하여 생성되는 나타내어진 피드백 유형의 하나 이상의 유형의 피드백 및 하나 이상의 피드백 신호를 포함할 수 있다. 피드백 제어 모듈(113)은 피드백 응답의 나타내어진 피드백 신호를 생성하고, 신호들이 대응하는 각각의 피드백 컴포넌트(130)에 피드백 신호를 송신하도록 구성될 수 있다.
일부 구현예에서, 피드백 제어 모듈(113)은 수신된 제어 신호에 기초하여 어느 유형의 피드백 및 어느 피드백 신호를 포함하여야 하는지를 결정하기 위해 착용가능 장치(100)의 룩업 테이블을 참조할 수 있다.
피드백 응답은, 단일 피드백 신호, 단일 피드백 컴포넌트(130)에 대한 복수의 피드백 신호, 복수의 피드백 컴포넌트(130)에 대한 복수의 피드백 신호, 하나 이상의 피드백 컴포넌트(130)에 대한 피드백 신호의 패턴, 및/또는 다른 유형의 피드백 응답을 포함할 수 있다. 일부 구현예에서, 복수의 피드백 컴포넌트(130)가 동시에 피드백 응답을 제공할 수 있다. 일부 구현예에서, 하나 이상의 피드백 컴포넌트(130)가 첫번째로 제1 피드백 응답을 제공할 수 있고, 하나 이상의 피드백 컴포넌트(130)가 첫번째에 후속하는 두번째로 제2 피드백 응답을 제공할 수 있다.
일부 구현예에서, 피드백 응답의 유형은 제어 신호에 의해 나타내어지는 이벤트의 유형을 나타낼 수 있다. 예를 들어, 단일 신호를 포함하는 피드백 응답은, 이벤트가 착용가능 장치(100)에 관한 환경에서의 오브젝트의 인식을 나타낸다는 것을 나타낼 수 있다. 신호의 패턴을 포함하는 피드백 응답은, 이벤트가 착용가능 장치(100)와 착용가능 장치(100)에 관한 환경에서의 오브젝트 사이의 상호 작용을 나타낸다는 것을 나타낼 수 있다. 상이한 유형의 피드백 응답과 연관된 표시는 상술한 예들에 한정되지 않는다.
일부 구현예에서, 룩업 테이블은 복수의 제어 신호와 복수의 피드백 응답 사이의 연관성을 저장할 수 있다. 예를 들어, 제어 신호가, 이벤트가 발생하였다는 것을 나타내는 정보를 포함하는 경우, 룩업 테이블은 그 제어 신호와 연관된 피드백 응답을 저장할 수 있다. 제어 신호가, 어느 유형의 이벤트가 발생했다는 것을 나타내는 정보를 포함하는 경우, 룩업 테이블은 제어 신호의 정보에 의해 나타내어질 수 있는 하나 이상의 유형의 이벤트에 대해 하나 이상의 상이한 피드백 응답을 저장할 수 있다. 제어 신호가 착용가능 장치(100)와 착용가능 장치(100)에 관한 환경에서의 하나 이상의 오브젝트 사이의 상호 작용을 나타내는 정보를 포함하는 경우, 룩업 테이블은 착용가능 장치(100)와 착용가능 장치(100)에 관한 환경에서의 하나 이상의 오브젝트 사이에 발생할 수 있는 상이한 상호 작용에 대한 상이한 피드백 응답을 저장할 수 있다. 일부 구현예에서, 피드백 제어 모듈(113)은 복수의 제어 신호와 연관된 피드백 응답을 포함하는 룩업 테이블을 저장하도록 구성되는 서버(400)로부터 피드백 응답을 수신할 수 있다.
통신 모듈(114)은 착용가능 장치(100)와 예를 들어 서버(400), 및/또는 착용가능 장치(100)와 통신할 수 있는 장치와 같은 다른 장치 사이에서 통신을 촉진하도록 구성될 수 있다. 통신 모듈(114)은, 착용가능 장치(100), 서버(400), 및/또는 다른 장치 사이에서의 통신을 위한 유선 또는 무선 통신 채널(300)을 제공하도록 구성될 수 있다. 일부 구현예에서, 프로세서(110)는 통신 모듈(114)의 무선 또는 유선 통신 채널(300)을 통해 착용가능 장치(100)에서 발생하는 이벤트를 나타내는 신호를 수신하도록 구성될 수 있다.
일부 구현예에서, 오브젝트 인식 모듈(115)은 물리 공간 내의 오브젝트를 인식하도록 구성될 수 있다. 오브젝트 인식 모듈(115)은 착용가능 장치(100)의 촬상 컴포넌트(150) 및 저장 장치(170)와 통신하여 물리 공간 내의 오브젝트를 인식할 수 있다. 예를 들어, 오브젝트 인식 모듈(115)은 촬상 컴포넌트(150)로부터 캡처된 시각 데이터를 수신할 수 있고, 시각 데이터를 처리하여 하나 이상의 오브젝트가 캡처된 시각 데이터에 존재하는지 여부를 결정할 수 있다. 오브젝트 인식 모듈(115)은 시각 데이터에 존재하는 캡처된 오브젝트와 저장 장치(170)에 저장된 오브젝트를 비교할 수 있다.
예를 들어, 오브젝트 인식 모듈(115)은 알려진 기술에 따라 저장 장치(170)에 저장된 오브젝트의 화소와 캡처된 오브젝트의 화소를 비교할 수 있다. 캡처된 오브젝트의 화소의 임계 퍼센티지(예를 들어, 80%, 90%, 100%, 및/또는 다른 퍼센티지)가 저장된 오브젝트의 화소와 일치하는 경우, 오브젝트 인식 모듈(115)은, 캡처된 오브젝트가 저장된 오브젝트로서 인식된 것으로 결정할 수 있다. 일부 구현예에서, 임계 퍼센티지는 촬상 컴포넌트(150)의 해상도에 따를 수 있다.
오브젝트 인식 모듈(115)은 저장된 오브젝트에 관한 정보를 취득할 수 있고, 저장된 오브젝트에 관한 정보와 캡처된 오브젝트에 관한 정보를 이벤트 핸들러 모듈(111)에 송신할 수 있다. 예를 들어, 이벤트 핸들러 모듈(111)에 송신된 정보는, 저장된 오브젝트에 대한 이미지 데이터, 저장된 오브젝트의 유형, 물리 공간 내의 캡처된 오브젝트의 위치, 다른 물리 오브젝트에 대한 캡처된 오브젝트의 근접도, 저장된 오브젝트에 관한 컨텍스트 정보, 캡처된 오브젝트에 관한 컨텍스트 정보, 및/또는 저장된 오브젝트 또는 캡처된 오브젝트와 연관된 다른 데이터를 포함할 수 있다. 일부 구현예에서, 오브젝트 인식 모듈(115)은 저장된 오브젝트에 관한 정보와 캡처된 오브젝트에 관한 정보를, 이벤트 핸들러 모듈(111), 제어 신호 생성 모듈(112), 피드백 제어 모듈(113) 및/또는 프로세서(110)의 다른 모듈 중 하나 이상에 송신할 수 있다.
일부 구현예에서, 캡처된 오브젝트가 저장된 오브젝트와 일치하지 않는 경우, 오브젝트 인식 모듈(115)은, 서버(400)가 오브젝트 인식을 수행할 수 있도록, 서버(400)로 캡처된 오브젝트에 관한 데이터를 송신할 수 있다. 서버(400)가 캡처된 오브젝트를 인식하는 경우, 서버(400)는 캡처된 오브젝트와 일치하는 저장된 오브젝트에 관한 정보를 오브젝트 인식 모듈(115)로 전달할 수 있다. 오브젝트 인식 모듈(115)은 서버(400)로부터의 저장된 오브젝트에 관한 정보와 캡처된 오브젝트에 관한 정보를 이벤트 핸들러 모듈(111)로 송신할 수 있다. 서버(400)가 캡처된 오브젝트를 인식하지 않는 경우, 서버(400)는 어떠한 일치도 발견되지 않는다는 표시를 전달할 수 있다.
입력 컴포넌트(120)는 예를 들어 버튼 누르기, 몸짓(gesture), 음성 명령, 및/또는 다른 입력과 같은 입력을 수신하도록 구성될 수 있다. 입력은 프로세서(110)에 의해 예를 들어, 서버(400) 및/또는 통신 채널(300)을 통해 장착가능 장치(100)와 통신하는 다른 장치와 같은 다른 장치에 전달될 수 있다. 예를 들어, 입력 컴포넌트(120)는 터치 패드, 터치 스크린, 기계적 버튼, 스위치, 마이크로폰과 같은 오디오 수신기, 및/또는 입력을 수신할 수 있는 다른 입력 컴포넌트를 포함할 수 있다.
피드백 컴포넌트(130)는 햅틱 피드백을 제공하도록 구성된 하나 이상의 햅틱 출력 장치, 시각적 피드백을 제공하도록 구성된 하나 이상의 시각적 장치, 가청 피드백을 제공하도록 구성된 하나 이상의 오디오 장치, 및/또는 피드백을 생성하는 다른 장치를 포함할 수 있다. 햅틱 출력 장치는, 예를 들어, 이심 질량이 모터에 의해 이동되는 이심 회전 질량("ERM: Ecentric Rotating Mass")과 같은 전자기 액튜에이터, 스프링에 부착된 질량이 전후로 구동되는 선형 공진 액튜에이터("LRA: Linear Resonant Actuator"), 또는 압전기, 전기-활성 중합체, 또는 형상 기억 합금과 같은 "스마트 재료", 매크로-복합 섬유 액튜에이터, 정전 액튜에이터, 전기-촉감 액튜에이터, 및/또는 햅틱(예를 들어, 진동촉감) 피드백과 같은 물리 피드백을 제공하는 다른 유형의 액튜에이터와 같은 액튜에이터를 포함할 수 있다. 햅틱 출력 장치는 정전 마찰(ESF: electrostatic friction), 초음파면 마찰(USF: ultrasonic surface friction)을 사용하는 것, 또는 초음파 햅틱 트랜스듀서로 음향 방사 압력을 유도하는 것, 또는 햅틱 기판 및 유연하고 변형가능한 표면을 사용하는 것 또는 에어 제트를 사용하여 에어의 퍼프(puff)와 같은 돌출된 햅틱 출력을 제공하는 것과 같은 비기계적 또는 비진동 장치를 포함할 수 있다. 시각적 장치는 장착가능 장치(100)에서 가시광과 같은 가시적 피드백을 생성하도록 구성될 수 있다. 예를 들어, 가시적 피드백은 장착가능 장치에 관한 환경에서 이벤트의 발생을 시각적으로 나타낼 수 있다. 오디오 장치는 장착가능 장치(100)에서 하나 이상의 사운드와 같은 오디오 피드백을 생성하도록 구성될 수 있다. 예를 들어, 오디오 피드백은 장착가능 장치에 관한 환경에서 이벤트의 발생을 청각적으로 나타낼 수 있다.
피드백 컴포넌트(130)는 피드백 제어 모듈(113)로부터 하나 이상의 신호(예를 들어, 하나 이상의 제어 신호 또는 하나 이상의 피드백 신호)를 수신하도록 구성될 수 있다. 하나 이상의 신호에 기초하여, 하나 이상의 햅틱 출력 장치, 하나 이상의 시각적 장치, 하나 이상의 오디오 장치, 및/또는 다른 피드백 컴포넌트(130)가 장착가능 장치(100)를 통해 피드백을 제공할 수 있다.
통신 포트(140)는, 인터페이스를 포함할 수 있으며, 이를 통해, 통신 채널(300)이 예를 들어 서버(400), 및/또는 장착가능 장치(100)와 통신할 수 있는 다른 장치와 같은 다른 장치와 함께 유지될 수 있다. 일부 구현예에서, 제어 신호는, 유선 또는 무선 통신 채널을 포함할 수 있는 통신 채널(300)을 통해 수신될 수 있다.
일부 구현예에서, 프로세서(110)는 다른 연산 장치로부터 신호를 수신하도록 구성될 수 있다. 예를 들어, 프로세서(110)는 통신 포트(140)에 의해 확립된 통신 채널(300)을 통해 다른 연산 장치로부터 신호를 수신하도록 구성될 수 있다. 신호는 연산 장치에서 발생하는 이벤트를 나타낼 수 있다. 예를 들어, 신호는 연산 장치에서 수신된 통신에 관한 정보를 포함할 수 있다. 다른 예에서, 신호는 감지 정보를 포함할 수 있다. 일부 구현예에서, 프로세서의 이벤트 핸들러(111)는 연산 장치로부터 신호를 수신할 수 있고 신호에 기초하여 이벤트를 검출할 수 있다. 예를 들어, 이벤트는 연산 장치에서의 통신의 표시(예를 들어, 연산 장치에서 수신된 통신, 연산 장치에 의해 송신된 통신, 연산 장치에 의해 생성된 통신, 및/또는 다른 통신), 연산 장치에서 발생된 처리의 표시, 연산 장치와 다른 장치 사이의 상호 작용, 및/또는 연산 장치에서 발생하는 다른 이벤트일 수 있다. 다른 예에서, 신호 내의 수신된 감지 정보에 기초하여, 이벤트는, 연산 장치에 관한 환경에서의 하나 이상의 환경 조건의 표시, 연산 장치로부터 분리된 환경에서의 하나 이상의 환경의 조건이 표시, 장착가능 장치(100)에 관한 환경에서 장래에 발생할 수 있는 하나 이상의 환경의 조건의 표시, 및/또는 감지 정보에 기초한 다른 이벤트를 포함할 수 있다. 이벤트 핸들러 모듈(111)은 신호 생성 모듈(112)을 제어하기 위해 이벤트에 관한 정보를 송신할 수 있다. 제어 신호 생성 모듈(112)은 이벤트를 나타내는 제어 신호를 생성할 수 있다. 피드백 제어 모듈(113)은 제어 신호를 수신할 수 있고, 피드백 컴포넌트로 하여금 제어 신호에 기초한 피드백을 생성하게 할 수 있다.
프로세서(110)는 입력 컴포넌트(120)를 통해 입력을 수신하도록 구성될 수 있다. 입력 컴포넌트(120)를 통해 수신된 입력은 예를 들어, 버튼 누르기, 몸짓, 음성 명령, 및/또는 다른 입력을 포함할 수 있다. 장착가능 장치(100)의 프로세서(110)는 수신된 데이터를 처리할 수 있고 처리에 기초한 기능을 수행할 수 있다. 일부 구현예에서, 입력 컴포넌트(120)를 통해 수신된 입력에 기초하여, 이벤트는 장착가능 장치(100)에 의해 검출될 수 있다. 본 구현예에서, 피드백은 수신된 입력으로부터 검출된 이벤트에 기초하여 장착가능 장치(100)를 통해 제공될 수 있다.
일부 구현예에서, 프로세서(110)는 장착가능 장치(100)에 의해 이벤트로서 검출되는 기능을 수행할 수 있다. 예를 들어, 프로세서(110)는 네비게이션 이벤트에 관한 기능을 수행할 수 있다. 예를 들어, 프로세서는 장착가능 장치(100)의 사용자를 위해 맵(map) 정보를 취득하기 위한 기능을 수행할 수 있다. 맵 정보는, 예를 들어 따라가야 할 장착가능 장치(100)의 사용자를 위한 방향의 설정을 포함할 수 있다. 일부 구현예에서, 하나 이상의 방향이 프로세서(110)의 이벤트 핸들러 모듈(111)에 의해 하나 이상의 네비게이션 이벤트로서 검출될 수 있다. 맵 정보의 하나 이상의 방향에 기초하여, 장착가능 장치(100)는 하나 이상의 방향을 나타내는 장착가능 장치(100)를 통해 피드백을 제공하도록 구성될 수 있다. 예를 들어, 피드백 컴포넌트(130)의 제1 햅틱 출력 장치를 통한 제1 햅틱 피드백은 네비게이션 이벤트와 연관된 제1 방향을 나타내도록 제공될 수 있고, 피드백 컴포넌트(130)의 제2 햅틱 출력 장치를 통한 제1 햅틱 피드백은 네비게이션 제1 방향과 상이한 제2 방향을 나타내도록 제공될 수 있다. 다른 예에서, 제1 햅틱 출력 장치를 통한 제1 햅틱 피드백은 제1 방향을 나타내도록 제공될 수 있고, 제2 햅틱 출력 장치를 통한 제2 햅틱 피드백은 제1 방향을 나타내도록 제공될 수 있다.
일부 구현예에서, 장착가능 장치(100)의 저장 장치(170)는, 장착가능 장치(100)의 하나 이상의 센서(160)로부터 상이한 시간에 판독하는 하나 이상의 센서를 저장할 수 있다. 예를 들어, 장착가능 장치(100)의 저장 장치(170)는 제1 시간에 판독하는 제1 센서와, 제1 시간에 후속하는 제2 시간에 판독하는 제2 센서를 저장할 수 있다. 저장 장치(170) 및/또는 이벤트 핸들러 모듈(111)은 하나 이상의 유형의 센서 판독에 관한 임계값을 저장할 수 있다. 이벤트 핸들러 모듈(111)은, 환경 조건과 연관된 임계값에 기초하여, 하나 이상의 센서 판독에 기초한 환경 조건에서의 변화를 나타내는 이벤트가 발생하였는지 여부를 결정할 수 있다. 예를 들어, 이벤트 핸들러 모듈(111)은, 5°를 초과하는 온도 변화가 특정 시간 주기에서 감지되었다면, 장착가능 장치(100)에 관한 환경에서의 온도 변화가 발생하였다는 것을 나타낼 수 있다.
일부 구현예에서, 장착가능 장치(100)는 도 2에 도시된 바와 같이 장착가능 증강 현실("AR") 장치(200)로서 구성될 수 있다. 장착가능 장치(100)는 증강 현실 공간 및 물리 공간 양쪽을 포함하는 증강 현실("AR") 환경을 생성하도록 구성될 수 있다. 장착가능 AR 장치(200)는 장착가능 장치(100)와 동일하거나 유사한 하나 이상의 컴포넌트 및 기능을 포함할 수 있다. 예를 들어, 장착가능 AR 장치(200)는, 예를 들어 프로세서(210), 입력 컴포넌트(120), 피드백 컴포넌트(130), 통신 포트(140), 촬상 컴포넌트(150), 저장 장치(270), 및/또는 다른 컴포넌트를 포함할 수 있다. 프로세서(210)는 물리 공간과 일치하는 증강 현실 공간을 생성하도록 구성될 수 있다. 프로세서(210)는 물리 공간에서 적어도 하나의 물리 오브젝트를 인식하고 AR 공간에서 하나 이상의 가상 오브젝트를 갖는 적어도 하나의 물리 오브젝트를 증강하도록 구성될 수 있다. 프로세서(210)는 AR 환경 내에서 이벤트를 결정하고 그 이벤트를 나타내는 제어 신호를 생성하도록 구성될 수 있다. 생성된 제어 신호에 기초하여, 프로세서(210)는 장착가능 AR 장치(200)에서 피드백이 생성되게 할 수 있다. 입력 컴포넌트(120)는 예를 들어 버튼 누르기, 몸짓, 음성 명령, 및/또는 다른 입력과 같은 입력을 수신하도록 구성될 수 있다. 피드백 컴포넌트(130)는 AR 장착가능 장치를 통해 피드백을 제공하도록 구성될 수 있다. 통신 포트(140)는 예를 들어, 서버(400) 및/또는 다른 장치와 통신 채널이 유지될 수 있는 인터페이스를 포함할 수 있다. 촬상 컴포넌트(150)는 물리 공간을 촬상하도록 구성될 수 있다. 일부 구현예에서, 장착가능 AR 장치(200)의 촬상 컴포넌트(150)는 카메라, 적외선 검출기, 및/또는 다른 이미지 기록 장치를 포함할 수 있다. 장착가능 AR 장치(200)의 저장 장치(270)는, 장착가능 AR 장치(200)가 인식할 수 있는 하나 이상의 이벤트에 관한 데이터를 저장할 수 있다. 예를 들어, 장착가능 AR 장치(200)의 저장 장치(270)는 예를 들어, 적어도 하나의 물리 오브젝트와 AR 환경 사이의 상호 작용, AR 환경에 대해 발생하는 작용의 확인, 물리 오브젝트와 AR 공간에서 표시되는 적어도 하나의 가상 오브젝트 사이의 상호 작용, 물리 오브젝트를 증강시키는 가상 오브젝트의 특정 유형의 생성, 물리 오브젝트의 인식, 물리 오브젝트가 장착가능 AR 장치(200)에 의해 인식된 것에 대한 확인, 장착가능 AR 장치(200)의 소정의 근처 내의 적어도 하나의 물리 오브젝트의 표시, 장착가능 AR 장치(200)에 관한 환경에서 발생하는 환경 조건의 표시, 환경에서 발생하는 환경 조건의 변화의 표시, 장착가능 AR 장치(200)의 소정의 근처 내의 오브젝트의 이동의 표시, 사용자와 증강된 현실 공간에서 표시되는 하나 이상의 가상 오브젝트 사이의 상호 작용, 및/또는 AR 환경에 관한 다른 발생을 포함하는 이벤트에 관한 데이터를 저장할 수 있다.
몇몇의 실시예에서, 착용가능 AR 장치(200)는 하나 이상의 센서(160)를 포함할 수 있다. 착용가능 AR 장치(200)의 센서(160)는 착용가능 장치(100)의 센서(160)와 동일하거나 유사한 컴포넌트 및/또는 기능을 가질 수 있다.
몇몇의 실시예에서, 착용가능 AR 장치(200)의 프로세서(210)는 착용가능 장치(100)의 프로세서(110)와 동일하거나 유사한 기능을 포함할 수 있다. 또한, 착용가능 AR 장치(200)의 프로세서(210)는 추가적인 기능을 가질 수 있다. 몇몇의 실시예에서, 착용가능 AR 장치(200)의 프로세서(210)는, 예를 들어 이벤트 핸들러 모듈(211), 제어 신호 생성 모듈(212), 피드백 제어 모듈(213), 통신 모듈(214), 오브젝트 인식 모듈(215), 오브젝트 생성 모듈(216), 및/또는 기타 컴퓨터 프로그램 모듈을 포함하는 하나 이상의 모듈을 실행시키도록 구성될 수 있다. 이벤트 핸들러 모듈(211)은 증강 현실 환경에서 이벤트가 발생했는지 여부를 검출하도록 구성될 수 있다. 제어 신호 생성 모듈(212)은 이벤트에 관한 정보를 수신하고 이벤트에 관련된 제어 신호를 생성하도록 구성될 수 있다. 피드백 제어 모듈(213)은 제어 신호를 수신하고 하나 이상의 피드백 컴포넌트(130)가 피드백을 제공하게 하도록 구성될 수 있다. 통신 모듈(214)은 착용가능 AR 장치(200)와, 예를 들어 서버(400), 및/또는 착용가능 AR 장치(200)와 통신하는 다른 장치 등의 기타 장치 사이의 통신을 가능하게 하도록 구성될 수 있다. 오브젝트 인식 모듈(215)은 물리 공간 내의 물리 오브젝트를 인식하도록 구성될 수 있다. 오브젝트 생성 모듈(216)은 가상 오브젝트를 생성하여 인식된 물리 오브젝트를 증강시키도록 구성될 수 있다.
몇몇의 실시예에서, 착용가능 AR 장치(200)의 프로세서(210)에 의해 결정된 이벤트는, 적어도 하나의 물리 오브젝트와 증강 현실 환경 사이의 상호 작용, 증강 현실 환경에 대해 발생하는 작용의 확인, 적어도 하나의 물리 오브젝트가 증강 현실 장치에 의해 인식되는 것에 대한 확인, 물리 공간 내의 오브젝트가 증강되는 것에 대한 확인, 착용가능 AR 장치(200)의 소정의 근처 내의 적어도 하나의 물리 오브젝트의 표시, 착용가능 AR 장치(200)에 관련된 환경 내에서 발생하는 환경 조건의 표시, 환경 내에서 발생하는 환경 조건에서의 변화의 표시, 착용가능 AR 장치(200)의 소정의 근처 내의 오브젝트의 이동의 표시, 사용자와 증강 현실 공간 내에 표시되는 하나 이상의 가상 오브젝트 사이의 상호 작용, 및/또는 착용가능 AR 장치(200)에 관련된 환경 내에서 발생하는 다른 이벤트를 포함할 수 있다.
몇몇의 실시예에서, 착용가능 AR 장치(200)의 이벤트 핸들러 모듈(211)은 착용가능 장치(100)의 이벤트 핸들러 모듈(111)과 동일하거나 유사한 기능을 포함할 수 있다. 또한, 착용가능 AR 장치(200)의 이벤트 핸들러 모듈(211)은 추가적인 기능을 포함할 수 있다. 몇몇의 실시예에서, 이벤트 핸들러 모듈(211)은 AR 환경 내에서 이벤트가 발생하는지 여부를 검출하도록 구성될 수 있다. 이벤트 핸들러 모듈(211)은 촬상 컴포넌트(150), 오브젝트 인식 모듈(215), 오브젝트 생성 모듈(216), 저장 장치(270), 및/또는 착용가능 AR 장치(200)의 다른 모듈 또는 컴포넌트들로부터 데이터를 수신할 수 있다.
몇몇의 실시예에서, 이벤트 핸들러 모듈(211)은, 촬상 컴포넌트(150)로부터의 시각 데이터, 오브젝트 인식 모듈(215)로부터의 시각 데이터 내의 캡처된 오브젝트에 관한 정보, 오브젝트 생성 모듈(216)에 의해 생성된 가상 오브젝트에 관한 정보, 입력 컴포넌트(120)를 통해 수신된 정보, 통신 채널(300)을 통해 수신된 다른 연산 장치로부터의 정보, 및/또는 AR 환경에 관련된 기타 정보를 수신할 수 있다. 이벤트 핸들러 모듈(211)은 수신된 정보를 저장 장치(270) 내에 저장된 이벤트에 관련된 데이터와 비교하여 정보(또는 정보의 일부분)가 이벤트와 연관되는지 여부를 결정할 수 있다. 수신된 정보가 이벤트와 연관되는 경우, 이벤트 핸들러 모듈(211)은, 수신된 정보 및 연관된 이벤트에 관한 데이터를 포함하는 이벤트 데이터를 제어 신호 생성 모듈(212)에 전송할 수 있다. 몇몇의 실시예에서, 이벤트 핸들러 모듈(211)은 오브젝트 생성 모듈(216)에 이벤트 데이터를 전송할 수도 있다.
몇몇의 실시예에서, 이벤트 핸들러 모듈(211)은, 착용가능 AR 장치(200)와 AR 환경 사이에 상호 작용이 발생되었고, AR 환경 내의 하나 이상의 가상 오브젝트가 변경되었으며, 착용가능 AR 장치(200)로부터 입력이 수신되었고, 착용가능 AR 장치(200)로부터 수신된 입력이 착용가능 AR 장치(200)에 의해 처리되었으며, 사용자와 AR 환경 사이에 상호 작용이 발생되었고, 착용가능 AR 장치(200)에 관한 환경에서의 조건이 변경되었으며, 및/또는 착용가능 AR 장치(200)에 의해 기타 처리가 행해졌음을 나타내는 프로세서(210)로부터의 데이터를 수신할 수 있다. 몇몇의 실시예에서, 이벤트 핸들러 모듈(211)은 프로세서(210)로부터 수신된 데이터와 저장 장치(270) 내에 저장된 데이터를 비교하여 데이터가 이벤트와 연관되었는지 여부를 결정할 수 있다. 수신된 정보의 일부 또는 전부가 저장 장치(270) 내에 저장된 데이터와 연관되는 경우, 이벤트 핸들러 모듈(211)은, 수신된 정보 및 연관된 이벤트에 관한 데이터를 포함하는 이벤트 데이터를 제어 신호 생성 모듈(212)에 전송할 수 있다.
몇몇의 실시예에서, 수신된 정보가 저장 장치(270) 내에 저장된 이벤트와 연관되지 않는 경우, 이벤트 핸들러 모듈(211)은, 서버(400)가 이벤트 핸들링을 행할 수 있도록, 수신된 정보를 포함하는 이벤트 데이터를 서버(400)에 전송할 수 있다. 수신된 정보의 일부 또는 전부가 서버(400)의 저장 장치 내에 저장된 이벤트와 연관되는 경우, 서버(400)는 연관된 이벤트에 관한 정보를 이벤트 핸들러 모듈(211)에 통신할 수 있다. 이벤트 핸들러 모듈(211)은, 수신된 데이터 및 연관된 이벤트에 관한 데이터를 포함하는 이벤트 데이터를 제어 신호 생성 모듈(212)에 전송할 수 있다. 수신된 데이터가 서버(400)의 저장 장치 내에 저장된 이벤트와 연관되지 않는 경우, 서버(400)는 일치가 발견되지 않았다는 표시를 통신할 수 있다.
몇몇의 실시예에서, 제어 신호 생성 모듈(212)은 이벤트 핸들러 모듈(211)로부터의 이벤트 데이터를 수신하고 이벤트 데이터에 기초하여 제어 신호를 생성하도록 구성될 수 있다. 착용가능 AR 장치(200)의 저장 장치(270)는 복수의 제어 신호 각각과 복수의 이벤트에 연관된 룩업 테이블을 포함할 수 있다. 이벤트 핸들러 모듈(211)로부터 수신된 이벤트 데이터에 기초하여, 제어 신호 생성 모듈(212)은 제어 신호를 생성할 수 있다. 예를 들어, 제어 신호 생성 모듈(212)은 수신된 이벤트 데이터와 저장 장치(270)에 저장된 데이터를 비교할 수 있다. 이벤트 데이터의 일부 또는 전부가 저장 장치(270) 내에 저장된 이벤트와 일치하는 경우, 제어 신호 생성 모듈(212)은 일치된 이벤트와 연관된 제어 신호에 관련된 제어 신호를 생성할 수 있다. 이벤트 데이터가 저장 장치(270) 내에 저장된 이벤트와 일치하지 않는 경우, 제어 신호 생성 모듈(212)은 서버(400)에 이벤트 데이터를 통신하여 서버의 저장 장치가 이벤트 데이터의 일부 또는 전부와 연관된 제어 신호를 저장했는지 여부를 결정할 수 있다. 제어 신호는, 예를 들어 이벤트가 발생되었다는 것을 나타내는 정보, 특정 종류의 이벤트가 발생되었다는 것을 나타내는 정보, 이벤트의 하나 이상의 오브젝트에 관한 정보, 이벤트의 하나 이상의 환경 조건에 관련된 정보, 이벤트의 하나 이상의 상호 작용에 과한 정보, 이벤트의 타이밍에 관한 정보, 이벤트의 날짜에 관련된 정보, 이벤트의 지속 기간에 관한 정보, 이벤트의 종류의 빈도에 관한 정보, 검출된 이벤트의 빈도에 관한 정보, 및/또는 이벤트에 관한 기타 정보를 포함할 수 있다.
착용가능 AR 장치(200)의 통신 모듈(214)은 착용가능 장치(100)의 통신 모듈(114)과 동일하거나 유사한 기능을 포함할 수 있다.
몇몇의 실시예에서, 착용가능 AR 장치(200)의 오브젝트 인식 모듈(215)은 착용가능 장치(100)의 오브젝트 인식 모듈(115)과 동일하거나 유사한 기능을 포함할 수 있다. 또한, 착용가능 AR 장치(200)의 오브젝트 인식 모듈(215)은 추가적인 기능을 가질 수 있다. 오브젝트 인식 모듈(215)은 물리 공간 내의 오브젝트를 인식하도록 구성될 수 있다. 오브젝트 인식 모듈(215)은 착용가능 AR 장치(200)의 촬상 컴포넌트(150) 및 저장 장치(270)와 통신하여 물리 공간 내의 오브젝트를 인식할 수 있다. 예를 들어, 오브젝트 인식 모듈(215)은 촬상 컴포넌트(150)로부터 캡처된 시각 데이터를 수신할 수 있고, 시각 데이터를 처리하여 캡처된 시각 데이터 내에 하나 이상의 오브젝트가 존재하는지 여부를 결정할 수 있다. 오브젝트 인식 모듈(215)은 시각 데이터 내에 존재하는 캡처된 오브젝트를 저장 장치(270) 내에 저장된 오브젝트와 비교할 수 있다.
예를 들어, 오브젝트 인식 모듈(215)은, 공지된 기술에 따라, 캡처된 오브젝트의 화소를 저장 장치(270) 내의 저장된 오브젝트의 화소와 비교할 수 있다. 캡처된 오브젝트의 화소의 임계 비율(예를 들어, 80%, 90%, 1000%, 및/또는 기타 비율)이 저장된 오브젝트의 화소와 일치하는 경우, 오브젝트 인식 모듈(215)은 캡처된 오브젝트가 저장된 오브젝트로서 인식된다는 것을 결정할 수 있다. 몇몇의 실시예에서, 임계 비율은 촬상 컴포넌트(150)의 해상도에 따를 수 있다.
오브젝트 인식 모듈(215)은, 저장된 오브젝트에 관한 정보를 취득하고, 저장된 오브젝트에 관한 정보 및 캡처된 오브젝트에 관한 정보를 이벤트 핸들러 모듈(211)에 전송할 수 있다. 이벤트 핸들러 모듈(211)에 전송된 정보는, 예를 들어 저장된 오브젝트에 대한 화상 데이터, 저장된 오브젝트의 종류, 물리 공간 내의 캡처된 오브젝트의 위치, 다른 물리 오브젝트에 대한 캡처된 오브젝트의 근접도, 저장된 오브젝트에 관한 컨텍스트 정보, 캡처된 오브젝트에 관한 컨텍스트 정보, 및/또는 저장된 오브젝트 또는 캡처된 오브젝트에 연관된 기타 데이터를 포함할 수 있다. 몇몇의 실시예에서, 오브젝트 인식 모듈(215)은, 저장된 오브젝트에 관한 정보 및 캡처된 오브젝트에 관한 정보를, 오브젝트 생성 모듈(216), 제어 신호 생성 모듈(212), 및/또는 프로세서(210)의 기타 모듈 중 하나 이상에 전송할 수 있다.
몇몇의 실시예에서, 캡처된 오브젝트가 저장된 오브젝트와 일치하지 않는 경우, 오브젝트 인식 모듈(215)은, 서버(400)가 오브젝트 인식을 행할 수 있도록, 캡처된 오브젝트에 관한 데이터를 서버(400)에 전송할 수 있다. 서버(400)가 캡처된 오브젝트를 인식하는 경우, 서버(400)는 캡처된 오브젝트와 일치하는 저장된 오브젝트에 관한 정보를 오브젝트 인식 모듈(215)에 통신할 수 있다. 오브젝트 인식 모듈은, 서버(400)로부터의 저장된 오브젝트에 관한 정보와 캡처된 오브젝트에 관한 정보를 이벤트 핸들러 모듈(211)에 전송할 수 있다. 서버(400)가 캡처된 오브젝트를 인식하지 못하는 경우, 서버(400)는 일치가 발견되지 않았다는 표시를 통신할 수 있다.
몇몇의 실시예에서, 오브젝트 생성 모듈(216)은 오브젝트 인식 모듈(215)로부터 물리 오브젝트에 관한 정보를 수신할 수 있고, 하나 이상의 가상 오브젝트를 생성하여 AR 환경 내의 물리 오브젝트를 증강시킬 수 있다. 오브젝트 생성 모듈(216)은 저장 장치(270)에 액세스하여 하나 이상의 가상 오브젝트가 물리 오브젝트에 연관되는지 여부를 결정할 수 있다. 물리 오브젝트와 연관되는 가상 오브젝트가 없는 경우, 오브젝트 생성 모듈(216)은 서버(400)와 통신하여 하나 이상의 물리 오브젝트와 하나 이상의 가상 오브젝트 사이의 하나 이상의 연관 관계를 서버(400)의 저장 장치가 저장하고 있는지 여부를 결정할 수 있다. 서버(400)의 저장 장치에서 연관 관계가 발견되는 경우, 서버(400)는, 오브젝트 생성 모듈(216)에, 연관된 가상 오브젝트에 관련된 데이터를 통신할 수 있다.
가상 오브젝트가 오브젝트 인식 모듈(215)로부터 수신된 정보 내에서 확인된 물리 오브젝트와 연관되는 경우, 오브젝트 생성 모듈(216)은 물리 공간과 일치하는 AR 공간을 생성할 수 있다. 도 3은 예시적인 AR 환경(500)의 블록도를 도시한다. AR 환경(500)은, 하나 이상의 물리 오브젝트(520a, 520b, …, 520n)를 포함하는 물리 공간(520)과, 물리 공간(520) 내의 하나 이상의 물리 오브젝트(520a, 520b, …, 520n)를 증강시키는 하나 이상의 가상 오브젝트(510a, 510b, …, 510n)를 포함하는 AR 공간(510)을 포함한다.
몇몇의 실시예에서, 오브젝트 생성 모듈(216)은 물리 오브젝트(520n)를 AR 공간(510) 내의 하나 이상의 가상 오브젝트(510a, 510b, …, 510n)와 함께 증강시킬 수 있다. 예를 들어, 오브젝트 생성 모듈(216)은 착용가능 AR 장치(200)의 디스플레이면을 통해 AR 공간(510)(및 하나 이상의 가상 오브젝트(510a, 510b, …, 510n))을 표시할 수 있다. 몇몇의 실시예에서, 표시되는 AR 공간(510) 및 하나 이상의 가상 오브젝트(510a, 510b, …, 510n)는 착용가능 AR 장치(200)의 디스플레이면을 통해 3차원 방식으로 표시될 수 있다.
착용가능 AR 장치(200)의 디스플레이를 통해 표시되는 AR 환경(500)은 물리 공간(520) 및 AR 공간(510)을 포함할 수 있다. 몇몇의 실시예에서, 물리 공간(520)은 촬상 컴포넌트(150)에 의해 촬상되고 디스플레이에 의해 표시될 수 있다. 몇몇의 실시예에서, 물리 공간(520)은, 물리 공간(520)이 보여질 수 있는 적어도 부분적으로 투명한 디스플레이(예를 들어, 렌즈)로서 디스플레이가 구성되는 실시예에서와 같이, 디스플레이를 통해 간단히 보여질 수 있다. 물리 공간(520)을 표시하는 어떠한 실시예가 사용되어도, 하나 이상의 가상 오브젝트(510a, 510b, …, 510n)는 물리 공간(520) 내에 존재하는 하나 이상의 물리 오브젝트(520a, 520b, …, 520n)와 일치되거나 연관되어 표시될 수 있음으로써, AR 환경(500) 내에서 하나 이상의 물리 오브젝트(520a, 520b, …, 520n)를 증강시킨다. 단일 가상 오브젝트(510a)가 단일 물리 오브젝트(520a) 또는 복수의 물리 오브젝트(520a, 520b, …, 520n)를 증강시킬 수 있다. 복수의 가상 오브젝트(510a, 510b, …, 510n)가 단일 물리 오브젝트(520a) 또는 복수의 물리 오브젝트(520a, 520b, …, 520n)를 증강시킬 수 있다. 물리 공간(520) 내에 존재하는 물리 오브젝트(520a, 520b, …, 520n)를 증강시키는 가상 오브젝트(510a, 510b, …, 510n)의 개수 및 종류는 기술된 예에 한정되지 않는다.
도 2로 돌아가서, 프로세서(210)는 착용가능 AR 장치(200)로부터의 입력을 수신하도록 구성될 수 있다. 예를 들어, 프로세서(210)는 입력 컴포넌트(150)를 통해 수신된 입력에 관련된 착용가능 AR 장치(200)로부터의 데이터를 수신할 수 있다. 입력 컴포넌트(150)를 통해 수신된 입력은, 예를 들어 버튼 누름, 제스처, 음성 명령, 및/또는 기타 입력을 포함할 수 있다. 착용가능 AR 장치(200)의 프로세서(210)는 수신된 데이터를 처리하고 상기 처리에 기초한 기능을 행할 수 있다. 예를 들어, 프로세서(210)는 AR 환경(500) 내에서 하나 이상의 가상 오브젝트(510a, 510b, …, 510n)를 추가하고, 삭제하며, 변경하고, 및/또는 그렇지 않으면 수정할 수 있다. 프로세서(210)는 처리에 기초하여 착용가능 장치(100)에 데이터를 송신할 수 있다. 프로세서(210)는 처리에 기초하여 다른 기능을 행할 수 있다. 몇몇의 실시예에서, 프로세서(210)는, 연산 장치에 대한 확인 표시를 포함하는 다른 연산 장치로부터의 입력과, 상기 입력이 확인 표시를 포함한다는 표시를 수신할 수 있다. 착용가능 AR 장치(200)는 확인 표시를 저장하고 상기 확인 표시를 연산 장치와 연관시킬 수 있다.
도 4에 도시된 바와 같이, 착용가능 장치(100)(또는 착용가능 AR 장치(200))의 피드백 컴포넌트(130)는 하나 이상의 장치를 포함할 수 있다. 몇몇의 실시예에서, 하나 이상의 장치는 착용가능 장치(100)(또는 착용가능 AR 장치(200))에 이격될 수 있다. 피드백 컴포넌트(130)는, 예를 들어 햅틱 피드백을 제공하도록 구성된 하나 이상의 햅틱 출력 장치(132)와, 시각 피드백을 제공하도록 구성된 하나 이상의 시각 장치(134)와, 가청 피드백을 제공하도록 구성된 하나 이상의 오디오 장치(136)와, 발광 밴드(138)와, 및/또는 피드백을 생성하는 다른 장치를 포함할 수 있다.
햅틱 출력 장치(132)는 액추에이터, 예를 들어 편심 질량이 모터에 의해 이동되는 ERM(Eccentric Rotating Mass), 스프링에 부탁된 질량이 왕복 구동되는 LRA(Linear Resonant Actuator) 등의 전자기 액추에이터, 또는 압전기, 전기 활성 고분자, 또는 형상 기억 합금 등의 "지능 재료(smart material)", 거시 복합 섬유 액추에이터, 정전 액추에이터, 전기 촉각 액추에이터, 및/또는 햅틱(예를 들어, 진동촉각) 피드백 등의 물리적 피드백을 제공하는 다른 방식의 액추에이터를 포함할 수 있다. 햅틱 출력 장치(132)는, 정전 마찰(ESF), 초음파 표면 마찰(USF)을 사용하는 것, 또는 초음파 햅틱 변환기로 음향 방사압을 유도하는 것, 또는 햅틱 기판과 가요성 또는 변형가능한 표면을 사용하는 것, 또는 에어 젯 등을 사용하여 에어 퍼프 등의 돌출형 햅틱 출력을 제공하는 것 등의 비기계적 또는 비진동성 장치를 포함할 수 있다. 몇몇의 실시예에서, 하나 이상의 햅틱 출력 장치(132)는 착용가능 장치(100)(또는 착용가능 AR 장치(200)) 전체에 걸쳐 이격될 수 있다.
시각 장치(134)는 착용가능 장치(100)에서 가시광 등의 시각 피드백을 생성하도록 구성될 수 있다. 예를 들어, 시각 피드백은 착용가능 장치(100)(또는 착용가능 AR 장치(200))에 의해 검출된 이벤트의 발생을 시각적으로 나타낼 수 있다.
오디오 장치(136)는 착용가능 장치(100)에서 하나 이상의 소리 등의 오디오 피드백을 생성하도록 구성될 수 있다. 예를 들어, 오디오 피드백은 착용가능 장치(100)(또는 착용가능 AR 장치(200))에 의해 검출된 이벤트의 발생을 들리도록 나타낼 수 있다.
발광 밴드(138)는 착용가능 장치(100)(또는 착용가능 AR 장치(200))로부터 및/또는 그 주위로 발하는 발광 밴드를 생성하도록 구성될 수 있다. 밴드(138)를 통해 발광되는 광은 색, 패턴, 및/또는 다른 시각적 특징을 포함할 수 있다. 시각적 특징은 착용가능 장치(100)(또는 착용가능 AR 장치(200))에 의해 검출된 하나 이상의 이벤트와 협력할 수 있다.
도 5에 도시된 바와 같이, 몇몇의 실시예에서, 착용가능 AR 장치(200)는 안경류의 형상으로 구성될 수 있다. 예를 들어, 착용가능 AR 장치(200)는 안경류의 하나 또는 양쪽 렌즈(180A, 180B)를 통해 AR 환경(500)(또는 AR 환경(500A, 500B))을 표시하도록 구성될 수 있다. 몇몇의 실시예에서, 렌즈(180A)의 일부는 AR 환경(500A)을 표시하도록 구성될 수 있고, 렌즈(180B)의 일부는 AR 환경(500B)을 표시하도록 구성될 수 있다. AR 환경(500A) 및 AR 환경(500B)은 AR 환경들이 분리될 수 있고, AR 환경들이 중첩될 수 있으며, 단일 AR 환경(500)으로서 2개의 개별 렌즈를 통해 표시될 수 있고, 및/또는 다른 방식으로 표시되는 하나 이상의 AR 환경을 포함할 수 있다.
안경류는, 예를 들어 프레임, 프레임의 제1 부분에 연결된 제1 렌즈(180A), 프레임의 제2 부분에 연결된 제2 렌즈(180B), 제1 렌즈(180A)에 인접한 프레임에 연결된 제1 노즈 패드(190A), 제2 렌즈(180B)에 인접한 프레임에 연결된 제2 노즈 패드(190B), 및/또는 기타 안경류 컴포넌트들을 포함하는 하나 이상의 컴포넌트를 포함할 수 있다. 프레임은, 예를 들어 프레임의 제1 단부에서의 프레임의 제1 정상부(171A), 프레임의 제1 단부에 대향하는 제2 단부에서의 프레임의 제2 정상부(171B), 제1 정상부(171A)에 연결되고 제1 정상부(171A)에 수직하는 방향으로 연장되는 제1 템플(172A), 제2 정상부(171B)에 연결되고 제2 정상부(171B)에 수직하는 방향으로 연장되며 제1 템플(172A)에 평행한 제2 템플(172B), 및/또는 기타 컴포넌트들을 포함할 수 있다. 제1 템플(172A)은, 예를 들어 제1 부분(173A), 제2 부분(174A), 제3 부분(175A), 및/또는 기타 부분들을 포함하는 하나 이상의 부분들을 포함할 수 있다. 제2 템플(172B)은, 예를 들어 제1 부분(173B), 제2 부분(174B), 제3 부분(175B), 및/또는 기타 부분들을 포함하는 하나 이상의 부분들을 포함할 수 있다.
착용가능 AR 장치(200)의 컴포넌트(예를 들어, 촬상 컴포넌트(150), 무선 송수신기, 프로세서 등)는 안경류의 각종 위치에 배치될 수 있다. 이하는 단순히 설명의 목적을 위한 것이며, 비제한적인 예시이다. 렌즈(180A) 중 하나(또는 렌즈(180A)의 일부) 근처의 프레임의 일부는 촬상 컴포넌트(150)를 포함할 수 있다. 다른 렌즈(180A)(또는 다른 렌즈(180B)의 일부) 근처의 프레임의 일부는 통신 포트를 포함할 수 있는 무선 송수신기(140)를 포함할 수 있다. 제1 정상부(171A) 및/또는 제2 정상부(171B) 중 하나 또는 양자는 프로세서, 통신 포트, 및/또는 착용가능 AR 장치(200)의 다른 컴포넌트들을 포함할 수 있다. 몇몇의 실시예에서, 제1 템플(172A) 및/또는 제2 템플(172B) 중 하나 또는 양자는 프로세서, 통신 포트, 및/또는 착용가능 AR 장치(200)의 다른 컴포넌트들 중 하나 이상을 포함할 수 있다.
몇몇의 실시예에서, 프레임의 제1 정상부(171A)는 프레임의 제1 정상부(171A)의 하나 이상의 각각의 위치에 위치된 피드백 컴포넌트(130)의 하나 이상의 햅틱 출력 장치를 포함할 수 있다. 프레임의 제2 정상부(171B)는 프레임의 제2 정상부(171B)의 하나 이상의 각각의 위치에 위치된 피드백 컴포넌트(130)의 하나 이상의 햅틱 출력 장치를 포함할 수 있다. 몇몇의 실시예에서, 제1 템플(172A)은 제1 템플(172A)의 하나 이상의 각각의 위치에 위치된 하나 이상의 햅틱 출력 장치를 포함할 수 있다. 제2 템플(172B)은 제2 템플(172B)의 하나 이상의 각각의 위치에 위치된 하나 이상의 햅틱 출력 장치를 포함할 수 있다.
일부 구현예에서, 제1 템플(172A)은 변형가능 재료를 포함해도 좋다. 일부의 이들 구현예에서, 제1 템플(172A)은 측방향 내측으로 구부러지도록 구성되어도 좋다. 일부의 이들 구현예에서, 제1 템플(172A)의 제1 부분(173A)은 측방향 내측으로 구부러지도록 구성되어도 좋고, 제1 부분에 인접한 제1 템플(172A)의 제2 부분(174A)은 측방향 내측이나 측방향 외측으로 구부러지도록 구성되어도 좋다. 제3 부분(175A)은 측방향 내측 및 측방향 외측으로 구부러지고 진동하도록 구성되어도 좋고, 안경류의 착용품에 대하여 간지러운 느낌을 제공하거나 및/또는 다른 형태의 반응을 제공하도록 구성되어도 좋다. 일부 구현예에서, 하나 이상의 제1 부분(173A), 제2 부분(174A), 제3 부분(175A) 및/또는 제1 템플(172A)의 다른 부분들은, 진동 효과 및 간지러운 느낌을 제공하고 측방향 내측으로 구부러지도록 구성된 변형가능 재료 및 측방향 내측 및 측방향 외측으로 구부러지도록 구성된 변형가능 재료를 포함할 수 있거나 및/또는 다른 형태의 햅틱 반응을 제공하도록 구성될 수 있는 하나 이상의 햅틱 출력 장치를 포함할 수 있다.
일부 구현예에서, 제2 템플(172B)은 변형가능 재료를 포함할 수 있다. 일부의 이들 구현예에서, 제2 템플(172B)은 측방향 내측으로 구부러지도록 구성되어도 좋다. 일부의 이들 구현예에서, 제2 템플(172B)의 제1 부분(173B)은 측방향 내측으로 구부러지도록 구성되어도 좋고, 제1 부분에 인접한 제2 템플(172B)의 제2 부분(174B)은 측방향 내측 또는 측방향 외측으로 구부러지도록 구성되어도 좋다. 제3 부분(175B)은 측방향 내측 및 측방향 외측으로 구부러지고 진동하도록 구성되어도 좋고, 안경류의 착용품에 대하여 간지러운 느낌을 제공하거나 및/또는 다른 형태의 반응을 제공하도록 구성되어도 좋다. 일부 구현예에서, 하나 이상의 제1 부분(173B), 제2 부분(174B), 제3 부분(175B) 및/또는 제2 템플(172B)의 다른 부분들은, 진동 효과 및 간지러운 느낌을 제공하도록 구성될 수 있고 측방향 내측으로 구부러지도록 구성된 변형가능 재료 및 측방향 내측 및 측방향 외측으로 구부러지도록 구성된 변형가능 재료를 포함하거나 및/또는 다른 햅틱 반응을 제공하도록 구성될 수 있는 하나 이상의 햅틱 출력 장치를 포함해도 좋다. 제1 템플(172A) 및 제2 템플(172B)의 다양한 부분은 제1 템플(172A) 및/또는 제2 템플(172B)에서 발생하는 하나 이상의 반응을 제공해도 좋다.
일부 구현예에서, 제1 노즈 패드(190A)는 변형가능 재료를 포함해도 좋다. 제1 노즈 패드(190A)는 측방향 내측으로 구부러지도록 구성되어도 좋다. 일부 구현예에서, 제1 노즈 패드(190A) 및 제2 노즈 패드(190B)의 하나 또는 모두는 하나 이상의 햅틱 출력 장치를 포함해도 좋다. 일부 구현예에서, 변형가능 재료를 포함하는 제1 탬플(172A), 제2 템플(172B), 제1 노즈 패드(190A), 제2 노즈 패드(190B), 및/또는 다른 컴포넌트들을 안경류와 같이 구성된 착용가능 AR 장치(200)의 하나 이상의 피드백 컴포넌트(130)로서의 반응을 제공해도 좋다.
안경류의 다른 구성 또한 사용되어도 좋다. 예를 들면, 일부 구현예에서, 안경류의 하나 이상의 부분은 하나 이상의 다음의 햅틱 느낌을 제공하도록 구성되어도 좋다: 사용자의 머리를 압박하는 안경류, 사용자의 귀를 압박하는 안경류, 사용자의 코를 압박하는 안경류, 사용자에 의해 느껴지는 소자(192)의 진동 배열을 갖는 안경류, 사용자의 귀에 대하여 이동하는 안경류, 사용자에 대한 프레임의 표면 감촉을 변경하고 프레임의 임의의 부분을 변형시키는 예컨대 소자(192)의 배열을 이용함으로써 안경류에 따른 느낌을 갖게 하고 안경류로부터 연장하고 사용자와 접촉하는 돌출부(194)를 갖는 안경류. 안경류에 대한 보다 많은 개선된 기능을 제공할수록, 보다 복잡한 햅틱 정보가 예컨대 게이밍 정보, 상태 정보, 방향 정보 및/또는 대상 상호 작용 정보를 제공하기 위해 사용자와 통신되어도 좋다.
상술된 햅틱 기능은 압전 재료, 스마트 젤, 형상 기억 합금, 전기 활성 고분자, 전자기 물질, 유체 저장고 등을 포함하지만 이에 한정되지 않으며 액츄에이터를 포함하는 공지된 액츄에이션 기술에 의해 제공되어도 좋다. 예를 들면 "스퀴즈 이어(squeeze ear)" 형태는 안경류 프레임에 내장된 형상 기억 합금으로 생성되어도 좋다. 섬유는, 작동될 때 사용자의 귀에 압력이 가해져 귀의 반경이 약간 수축하여 햅틱 효과가 사용자의 귀에 전달되도록 프레임을 수축 및 인장하여도 좋다.
일부 구현예에서, 안경류는 안경류 프레임에 직접 구현되는 적어도 하나 이상의 터치 반응식 표면을 포함해도 좋다. 일부 구현예에서, 정전(electrostatic) 형태의 디스플레이는 예컨대 액티브 기능 또는 확인(confirmation)을 나타내기 위해 안경류 프레임의 표면 감촉을 변경하는데 사용되어도 좋다. 일부 구현예에서, 소자(192)의 구성은 터치 패드와 같은 터치 반응식 표면의 구성이어도 좋다.
상술된 각각의 햅틱 형태는 많은 특정 용도를 가질 수 있다. 예를 들면, "스퀴즈 이어" 형태와 관련된 햅틱 효과는 행위의 사용자에게 확인을 제공하기 위해, 또는 이벤트의 상태를 나타내거나 또는 어떤 방향을 주목해야 하는가와 같은 방향 정보를 제공하기 위해 사용자에게 알리는 데 사용되어도 좋다. 햅틱 효과의 독특한 점은 부가 정보를 제공할 수 있다는 것이다. 예를 들면, 코에 대한 햅틱 효과는 사용자와 대면하는 가상 오브젝트와의 상호 작용을 나타내는 데 사용될 수 있으며, 안경류의 탬플을 따른 머리의 좌우측 또는 귀의 뒤에 대한 햅틱 효과는 각각 사용자의 좌우측에 대한 오브젝트와의 상호 작용을 위해 사용되어도 좋다.
일부 구현예에서, 착용가능 장치(100)는 안경류의 형상으로 구성되어도 좋다. 착용가능 장치(100)를 포함하는 안경류는, 안경류와 같이 구성된 착용가능 AR 장치(200)와 동일한 하나 이상의 또는 유사한 컴포넌트 및 기능을 가져도 좋다. 일부 구현예에서, 안경류와 같이 구성된 착용가능 장치(100)는 렌즈(180A, 180B)의 하나 또는 모두 또는 안경류의 프레임을 통하여 AR 환경(500)을 디스프레이해도 좋다.
일부 구현예에서, 착용가능 장치(100)는, 예컨대 차양, 고글, 얼굴 마스크, 스키 마스크, 연구실 안경, 보호 안경, 모자, 야구 모자, 두건, 머리띠, 귀마개, 머리 빗, 머리 체인, 및/또는 사용자 머리 주변에 착용하는 다른 악세사리로 구성되어도 좋다. 일부 구현예에서, 착용가능 AR 장치(200)는 예컨대 차양, 고글, 얼굴 마스크, 스키 마스크, 연구실 안경, 보호 안경, 모자, 야구 모자, 두건, 머리끈, 귀마개, 목걸이, 귀걸이, 머리 빗, 헤어 체인 및/또는 사용자의 머리 주위에 착용하는 다른 악세사리로 구성되어도 좋다.
도 1 및 도 2를 다시 참조하면, 일부 구현예에서, 서버(400)는 하나 이상의 착용가능 장치(100), 착용가능 AR 장치(200) 및/또는 서버(400)와 통신하는 다른 장치와 통신하도록 구성되어도 좋다. 일부 구현예에서, 서버(400)는 프로세서, 저장 장치 및 통신 포트를 포함해도 좋다.
서버(400)의 프로세서는 데이터를 수신하고 오브젝트를 인식하고 이벤트를 다루며 데이터를 송신하고 및/또는 다른 기능을 제공하도록 구성되어도 좋다. 일부 구현예에서, 서버(400)는 착용가능 장치(100)의 프로세서(110)로부터 제어 신호를 수신하도록 구성되어도 좋다. 서버(400)의 저장 장치는, 복수의 제어 신호 및 복수의 피드백 응답을 포함하는 착용가능 장치(100)의 룩업 테이블과 유사하거나 동일한 방식으로 구성될 수 있는 룩업 테이블을 포함해도 좋다. 룩업 테이블이 제어 신호와 관련된 엔트리를 포함하는 경우, 서버(400)는 룩업 테이블에서 발견되는 제어 신호와 관련된 정보를 제어 신호 생성 모듈(112)과 통신해도 좋다. 서버(400)의 룩업 테이블이 제어 신호와 관련된 엔트리를 포함하지 않는 경우, 서버(400)는 제어 신호에 대하여 매칭된 것이 없다는 표시를 피드백 제어 모듈(111)과 통신하여도 좋다. 일부 구현예에서, 서버(400)는 착용가능 장치(100)로부터 수신된 데이터에 관련된 화상 처리 및/또는 오브젝트 인식을 수행해도 좋다.
일부 구현예에서, 서버(400)는 착용가능 장치(100)의 프로세서(110)의 이벤트 핸들러 모듈(111)로부터 이벤트 데이터를 수신하도록 구성되어도 좋다. 서버(400)의 저장 장치는 복수의 이벤트와 각각 복수의 제어 신호를 관련시키는 룩업 테이블을 포함해도 좋다. 일부 도면은 모든 이벤트 데이터가 서버(400)의 저장 장치에 저장된 이벤트와 매칭되는 경우, 서버(400)의 프로세서는 이벤트에 관련된 이벤트 데이터를 이벤트 핸들러 모듈(111)과 통신해도 좋다. 이벤트 데이터가 저장 장치에 저장된 이벤트와 매칭되지 않는 경우, 서버(400)의 프로세서는 매칭된 것이 없다고 착용가능 장치(100)와 통신하여도 좋다.
일부 구현예에서, 서버(400)는 착용가능 장치(100)의 촬상 컴포넌트(150)에 의해 캡처된 오브젝트와 관련된 데이터를 수신하여도 좋다. 서버(400)의 프로세서는 캡처된 오브젝트와 관련된 오브젝트 인식을 수행하여도 좋다. 서버(400)의 저장 장치는 하나 이상의 물리 오브젝트를 포함하는 룩업 테이블을 포함하여도 좋다. 서버(400)는 룩업 테이블이 수신된 데이터로부터 인식된 오브젝트와 관련된 엔트리를 포함하는지를 결정하여도 좋다. 룩업 테이블이 인식된 오브젝트와 관련된 엔트리를 포함하는 경우, 서버(400)는 인식된 오브젝트와 매칭되는 저장된 오브젝트와 관련된 정보를 오브젝트 인식 모듈(115)과 통신하여도 좋다. 서버(400)가 인식된 오브젝트를 인식하지 못한 경우, 서버(400)는 발견된 매칭이 없다는 표시를 오브젝트 인식 모듈(115)과 통신하여도 좋다.
일부 구현예에서, 서버(400)는 착용가능 AR 장치(200)의 프로세서(210)의 오브젝트 인식 모듈(215)에 의해 인식된 물리 오브젝트와 관련된 데이터를 수신하여도 좋다. 서버(400)의 프로세서는 서버(400)의 저장 장치가 물리 오브젝트와 하나 이상의 가상 오브젝트 간의 관계를 저장했는지를 판단하여도 좋다. 일부 구현예에서, 서버(400)의 저장 장치는 물리 오브젝트, 가상 오브젝트, 및 하나 이상의 물리 오브젝트와 하나 이상의 가상 오브젝트 간의 하나 이상의 상관 관계를 포함하는 룩업 테이블을 포함하여도 좋다. 서버(400)의 저장 장치에 관련이 발견된다면, 서버(400)는 연관된 가상 오브젝트와 관련된 데이터를 오브젝트 생성 모듈(216)과 통신하여도 좋다. 서버(400)의 저장 장치에 관련이 없다고 발견되면, 서버(400)는 관련이 발견되지 않았다고 통신할 수 있다.
서버(400)의 통신 포트는, 통신 채널(300)이 예컨대 착용가능 장치(100), 착용가능 AR 장치(200) 및/또는 서버(400)와 통신하는 다른 장치와 유지될 수 있는 인터페이스를 포함해도 좋다. 데이터 및/또는 신호는 통신 채널(300) 및/또는 서버(400)가 데이터 및/또는 신호를 수신하는 다른 통신 채널을 통하여 수신되어도 좋다.
도 6은 본 발명의 구현에 따라, 착용가능 장치(100)와 관련된 환경에서 발생하는 이벤트에 기초한 피드백을 제공하는 예시적 방법(600)의 순서도를 도시한다. 도 6 및 다른 도면들의 상기 동작은 상술된 시스템 컴포넌트의 일부 또는 전체를 이용하여 달성되어도 좋으며, 일부 구현예에서, 다양한 동작이 상이한 순서로 수행되어도 좋다. 다른 구현예에서, 추가 동작이 도 6 및 다른 도면들에 도시된 동작의 일부 또는 전체에 따라 수행되어도 좋다. 다른 구현예에서, 하나 이상의 동작이 동시에 수행되어도 좋다. 또 다른 구현예에서, 다양한 동작의 하나 이상의 조합이 수행되어도 좋다. 일부 구현은 도 6 및 다른 도면들과 관련하여 설명된 동작의 전체를 수행하지 않을 수도 있다. 따라서, 상술된 동작은 예시이며 한정적인 것이 아니다.
일부 구현예에서, 도 6 및 다른 도면들의 동작은 하나 이상의 처리 장치(예컨대, 착용가능 장치(100), 착용가능 AR 장치(200), 서버(400) 및/또는 다른 장치)로 구현되어도 좋다. 하나 이상의 처리 장치는 전자 저장 장치 매체 상에 전자적으로 저장된 지시에 응하여 도 6 및 다른 도면들의 동작의 일부 또는 전체를 실행하는 하나 이상의 장치를 포함해도 좋다. 하나 이상의 처리 장치는, 도 6 및 다른 도면들의 하나 이상의 동작의 실행을 위해 특정적으로 설계된 하드웨어, 펌웨어 및/또는 소프트웨어를 통하여 구성된 하나 이상의 장치를 포함해도 좋다.
동작(602)에 있어서, 이베트의 발생은 착용가능 장치(100)와 관련된 환경에서 검출되어도 좋다. 이벤트 핸들러 모듈(111)은 하나 이상의 프로세서(110) 또는 촬상 컴포넌트(150)로부터 수신된 정보에 기초하여 착용가능 장치(100)와 관련된 환경에서 이벤트가 발생하였는지를 판단하도록 구성되어도 좋다. 이벤트는, 착용가능 장치(100)의 소정의 근처 내에서의 물리 오브젝트의 표시와, 상기 환경에서 발생하는 환경 조건의 표시와, 상기 환경에서 발생하는 환경 조건의 변경 표시와, 착용가능 장치(100)의 소정의 근처 내의 오브젝트의 이동 표시와, 착용가능 장치(100)와 상기 환경에서의 오브젝트와의 상호 작용과, 착용가능 장치(100)가 상기 환경에서의 오브젝트를 인식하는 표시와, 네비게이션 이벤트 및/또는 착용가능 장치(100)와 관련된 환경에서 발생하는 다른 이벤트를 포함한다. 일부 구현예에서, 이벤트의 발생이 착용가능 AR 장치(200)와 관련된 환경에서 감지되는 경우, 이벤트는, 적어도 하나 이상의 물리 오브젝트와 증강된 현실 환경과의 상호 작용과, 증강 현실 환경에 대하여 발생하는 작용의 확인과, 증강된 현실 장치에 의해 적어도 하나 이상의 물리 오브젝트가 인식된 확인과, 물리 공간 내의 오브젝트가 증강된 확인과, 착용가능 AR 장치(200)의 소정의 근처 내의 적어도 하나의 물리 오브젝트의 표시와, 착용가능 AR 장치(200)와 관련된 환경에서 발생하는 환경 조건의 표시와, 상기 환경에서 발생하는 환경 조건에서의 변경의 표시와, 착용가능 AR 장치(200)의 소정의 근처 내의 오브젝트의 이동의 표시와, 증강된 현실 공간에서 디스플레이되는 하나 이상의 가상 오브젝트와의 상호 작용 및/또는 착용가능 AR 장치(200)와 관련된 환경에서 발생하는 다른 이벤트를 포함하여도 좋다. 하나 이상의 가상 오브젝트와의 상호 작용은 하나 이상의 가상 오브젝트의 조작과, 증강 현실 공간에서 디스플레이된 하나 이상의 가상 오브젝트와 사용자 간의 상호 작용과, 물리 공간에서의 하나 이상의 물리 오브젝트와 하나 이상의 가상 오브젝트 간의 상호 작용 및/또는 착용가능 AR 장치(200)와 관련된 환경에서의 가상 오브젝트와 관련된 다른 이벤트를 포함해도 좋다.
동작(604)에 있어서, 착용가능 장치(100)는 검출된 이벤트에 기초한 제어 신호를 생성하여도 좋다. 예를 들어, 착용가능 장치(100)의 이벤트 핸들러 모듈(111)이 이벤트를 검출한 경우, 제어 신호 생성 모듈(112)은 검출된 이벤트와 연관된 제어 신호를 결정하도록 구성되어도 좋다. 일부 구현예에서, 이벤트의 발생이 착용가능 AR 장치(200)와 관련된 환경에서 검출된 경우, 착용가능 장치(100)의 이벤트 핸들러 모듈(211)은 이벤트를 검출하고 제어 신호 생성 모듈(212)은 검출된 이벤트와 연관된 제어 신호를 결정하도록 구성되어도 좋다.
동작(606)에 있어서, 프로세서(110)의 피드백 제어 모듈(113)은 제어 신호를 수신하여도 좋다. 피드백은 착용가능 장치(100)를 통하여 제공되어도 좋다. 피드백 제어 모듈(113)은 피드백 컴포넌트(130)로 하여금 착용가능 장치(100)를 통하여 피드백을 제공하도록 하여도 좋다. 일부 구현예에서, 피드백 제어 모듈(113)은 제어 신호를 피드백 컴포넌트(130)에 제공하도록 구성되어도 좋다. 이들 구현예에서, 제어 신호는 하나 이상의 피드백 컴포넌트(130)에 직접 전달되어 피드백을 일으킬 수 있다. 일부 구현예에서, 피드백 제어 모듈(113)은 수신된 제어 신호에 기초하여 피드백 응답을 결정하도록 구성되어도 좋다. 피드백 제어 모듈(113)은 하나 이상의 형태의 피드백과 생성될 표시된 피드백 형태의 하나 이상의 피드백 신호를 포함하는 피드백 응답을 제공하여도 좋다. 피드백 제어 모듈(113)은 피드백 응답의 표시된 피드백 신호를 생성하여 신호가 대응하는 각각의 피드백 컴포넌트(130)에 피드백 신호를 전송하도록 구성되어도 좋다.
착용가능 장치(100)의 하나 이상의 피드백 컴포넌트(130)는 착용가능 장치(100)를 통하여 피드백을 제공하여도 좋다. 일부 구현예에서, 제공된 피드백은 피드백 제어 모듈(113)로부터 수신된 하나 이상의 피드백 신호에 기초하여도 좋다. 피드백은 착용가능 장치와 관련된 환경 내에서 검출된 이벤트에 대응하여도 좋다. 예를 들면, 피드백은 이벤트의 표현일 수도 있다.
일부 구현예에서, 이벤트의 발생이 착용가능 AR 장치(200)와 관련된 환경에서 검출된 경우, 프로세서(210)의 피드백 제어 모듈(213)은 제어 신호를 수신하여도 좋다. 피드백은 착용가능 AR 장치(200)를 통하여 제공되어도 좋다. 피드백 제어 모듈(213)은 피드백 컴포넌트(120)로 하여금 착용가능 AR 장치(200)를 통하여 피드백을 제공하게 하여도 좋다. 일부 구현예에서, 피드백 제어 모듈(213)은 제어 신호를 피드백 컴포넌트(130)에 제공하도록 구성되어도 좋다. 이들 구현예에서, 제어 신호는 하나 이상의 피드백 컴포넌트(130)에 직접 전달되어 피드백을 일으켜도 좋다. 일부 구현예에서, 피드백 제어 모듈(213)은 수신된 제어 신호에 기초하여 피드백 응답을 결정하도록 구성되어도 좋다. 피드백 제어 모듈(213)은 하나 이상의 형태의 피드백과 생성될 표시된 피드백 형태의 하나 이상의 피드백 신호를 포함하는 피드백 응답을 제공하여도 좋다. 피드백 제어 모듈(213)은 피드백 응답의 표시된 피드백 신호를 생성하여 신호가 대응하는 각각의 피드백 컴포넌트(130)에 피드백 신호를 송신하도록 구성되어도 좋다.
착용가능 AR 장치(200)의 하나 이상의 피드백 컴포넌트(130)는 착용가능 AR 장치(200)를 통하여 피드백를 제공하여도 좋다. 일부 구현예에서, 제공된 피드백은 피드백 제어 모듈(213)로부터 수신된 하나 이상의 피드백 신호에 기초하여도 좋다. 피드백은 착용가능 장치와 관련된 환경 내에서 검출된 이벤트에 대응하여도 좋다. 예를 들면, 피드백은 각각의 이벤트이여도 좋다.
착용가능 장치(100)는 저장 장치(170), 하나 이상의 프로세서(110), 및/또는 다른 컴포넌트를 포함해도 좋다. 착용가능 장치(100)는 통신 회선, 또는 네트워크 및/또는 다른 통신 플랫폼과 정보를 교환하기 위한 포트를 포함하여도 좋다. 도 1의 착용가능 장치(100)의 도시는 한정을 위한 것이 아니다. 착용가능 장치(100)는 착용가능 장치(100)에 부여된 기능을 제공하기 위해 함께 동작하는 복수의 하드웨어, 소프트웨어 및/또는 펌웨어 컴포넌트를 포함하여도 좋다.
저장 장치(170)는 정보를 전자적으로 저장하는 비일시적 저장 매체를 포함하여도 좋다. 저장 장치(170)의 전자 저장 매체는 착용가능 장치(100)와 일체로(즉, 실질적으로 비-제거가능한) 제공된 시스템 저장 장치, 및/또는 예컨대 포트(예컨대 USB 포트, 방어벽 포트 등) 또는 드라이브(예컨대 디스크 드라이브 등)를 통하여 착용가능 장치(100)와 제거가능하게 접속 가능한 제거 가능한 저장 장치의 하나 또는 모두를 포함하여도 좋다. 저장 장치(170)는 하나 이상의 광학적으로 판독가능한 저장 매체(예컨대, 광학 디스크 등), 자기적으로 판독가능한 저장 매체(예컨대, 자기 테이프, 자기 하드 드라이브, 플로피 드라이브 등), 전하계 저장 매체(예컨대, EEPROM, RAM 등), 솔리드 스테이트 저장 매체(예컨대 플래시 드라이브 등) 및/또는 다른 전자적으로 판독가능한 저장 매체를 포함하여도 좋다. 저장 장치(170)는 하나 이상의 가상 저장 리소스(예컨대, 클라우드 저장 장치, 가상 전용망 및/또는 다른 가상 저장 장치 리소스)를 포함하여도 좋다. 저장 장치(170)에는 소프트웨어 알고리즘, 프로세서(110)에 의해 결정된 정보, 착용가능 장치(100)로부터 수신된 정보, 및/또는 착용가능 장치(100)를 본 명세서에 설명된 바와 같이 기능되도록 하는 다른 정보가 저장되도록 하여도 좋다.
프로세서(들)(110)는 착용가능 장치(100)에 정보 처리 능력을 제공하도록 구성된다. 이와 같이, 프로세서(110)는 하나 이상의 디지털 프로세서, 아날로그 프로세서, 정보를 처리하도록 설계된 디지털 회로, 정보를 처리하도록 설계된 아날로그 회로, 상태 기계, 및/또는 정보를 전자적으로 처리하는 다른 매커니즘을 포함해도 좋다. 프로세서(110)는 단일체로서 도 1에 도시되었으나, 이는 오로지 도시를 위한 것이다. 일부 구현예에서, 프로세서(110)는 복수의 처리 유닛을 포함해도 좋다. 이들 처리 유닛은 동일 장치 내에 물리적으로 위치되어도 좋고, 또는 프로세서(110)는 조화를 이루어 동작하는 복수의 장치의 처리 기능들을 나타낼 수도 있다. 프로세서(110)는 모듈(111, 112, 113, 114, 115)을 실행하도록 구성되어도 좋다. 프로세서(110)는, 소프트웨어, 하드웨어, 펌웨어, 소프트웨어, 하드웨어 및/또는 펌웨어의 일부 조합, 및/또는 프로세서(110)상의 처리 능력을 구성하는 메커니즘에 의해, 모듈(111, 112, 113, 114, 115)을 실행하도록 구성되어도 좋다. 본 명세서에 기재되어 있는 바와 같이, "모듈"이란 용어는 모듈에 부여된 기능을 수행하는 임의의 컴포넌트 또는 컴포넌트의 조합을 가리킬 수 있다. 이는, 명령을 판독가능한 프로세서의 실행 동안에 하나 이상의 물리적 프로세서, 명령을 판독 가능한 프로세서, 회로, 하드웨어, 저장 장치 매체, 또는 임의의 다른 컴포넌트를 포함해도 좋다.
모듈(111, 112, 113, 114, 115)이 단일 처리 유닛 내에서 구현되는 것으로 도 1에 도시되어 있지만, 프로세서(110)가 다수의 처리 유닛을 포함하는 실행에 있어서, 하나 이상의 모듈(111, 112, 113, 114, 115)은 다른 모듈로부터 원격으로 실행되어도 좋다. 후술될 서로 다른 모듈(111, 112, 113, 114, 115)에 의해 제공되는 기능의 설명은 예시를 위한 것일 뿐, 이러한 예시로 제한되지 않으며, 임의의 모듈(111, 112, 113, 114, 115)은 본 명세서에서 설명된 것보다 많거나 적은 기능을 제공하여도 좋다. 예를 들면, 하나 이상의 모듈(111, 112, 113, 114, 115)은 제거될 수도 있으며, 이의 기능들의 일부 또는 전부는 모듈(111, 112, 113, 114, 115)의 다른 것에 의해 제공되어도 좋다. 다른 예로서, 프로세서(110)는, 모듈(111, 112, 113, 114, 115) 중 하나에 부여된 기능의 일부 또는 전부를 수행할 수 있는 하나 이상의 추가 모듈을 실행하도록 구성되어도 좋다.
착용 가능한 AR 장치(200)는 저장 장치(270), 하나 이상의 프로세서(210), 및/또는 다른 컴포넌트를 포함해도 좋다. 착용가능 AR 장치(200)는, 네트워크 및/또는 다른 컴퓨팅 플랫폼과 정보 교환이 가능한 통신 회선, 또는 포트를 포함해도 좋다. 또한, 도 2에서의 착용가능 AR 장치(200)의 도시로 한정되는 것은 아니다. 착용가능 AR 장치(200)는, 착용가능 AR 장치(200)에 부여된 기능을 함께 제공하도록 동작하는 복수의 하드웨어, 소프트웨어, 및/또는 펌웨어 컴포넌트를 포함해도 좋다.
저장 장치(270)는 전자적으로 정보를 저장하는 비일시적 저장 매체를 포함해도 좋다. 저장 장치(270)의 전자 저장 매체는, 예컨대 포트(예컨대 USB 포트, 펌웨어 포트 등) 또는 드라이브(예컨대 디스크 드라이브 등)를 통하여, 착용가능 AR 장치(200)와 일체로(즉, 실질적으로 비-제거가능한) 제공된 시스템 저장 장치, 및/또는 AR 장치(200)에 제거가능하게 접속 가능한 제거 가능한 저장 장치 중 하나 또는 모두를 포함해도 좋다. 저장 장치(270)는, 하나 이상의 광학적으로 판독가능한 저장 장치 매체(예컨대 광학 디스크 등), 자기(magnetically) 판독가능한 저장 장치 매체(예컨대, 자기 테이프, 자기 하드 드라이브, 플로피 드라이브 등), 전하계 저장 장치 매체(예컨대, EEPROM, RAM 등), 솔리드 스테이트 저장 장치 매체(예컨대 플래시 드라이브 등), 및/또는 다른 전자적으로 판독가능한 저장 장치 매체를 포함해도 좋다. 저장 장치(270)는 하나 이상의 가상 저장 장치 리소스(예컨대, 클라우드 저장 장치, 가상 전용망, 및/또는 다른 가상 저장 장치 리소스)를 포함해도 좋다. 저장 장치(270)에는, 소프트웨어 알고리즘, 프로세서(210)에 의해 결정된 정보, 착용가능 장치(200)로부터 수신된 정보 및/또는 착용가능 AR 장치(200)로 하여금 본 명세서에 설명된 바와 같이 기능하도록 하는 다른 정보가 저장되어도 좋다.
프로세서(들)(210)는 착용가능 AR 장치(200)에서 정보 처리 능력을 제공하도록 구성된다. 이처럼, 프로세서(210)는, 디지털 프로세서, 아날로그 프로세서, 정보를 처리하도록 구성된 디지털 회로, 정보를 처리하도록 설계된 아날로그 회로, 상태 기계, 및/또는 정보를 전자적으로 처리하기 위한 다른 기구 중 하나 이상을 포함할 수 있다. 도 2에서는 프로세서(210)를 단일 엔티티로서 도시하고 있지만, 이는 예시일 뿐이다. 일부 구현예에서, 프로세서(210)는 복수의 처리 유닛을 포함할 수도 있다. 이러한 처리 유닛들은 동일한 장치 내에 물리적으로 위치할 수 있고, 프로세서(210)가 동작하는 복수의 장치의 처리 기능을 나타낼 수 있다. 프로세서(210)는 모듈들(211, 212, 213, 214, 215, 216)을 실행하도록 구성될 수 있다. 프로세서(210)는, 소프트웨어; 하드웨어; 펌웨어; 소프트웨어, 하드웨어, 및/또는 펌웨어의 일부 조합; 및/또는 프로세서(210)에서의 처리 능력을 구성하기 위한 다른 기구에 의해 모듈들(211, 212, 213, 214, 215, 216)을 실행하도록 구성될 수 있다. 본 명세서에서 사용하는 바와 같이, "모듈"이라는 용어는 모듈에 기인하는 기능을 수행하는 임의의 컴포넌트 또는 컴포넌트들의 세트를 가리킬 수 있다. 이는, 프로세서 판독가능 명령의 실행 동안 하나 이상의 물리 프로세서, 프로세서 판독가능 명령, 회로, 하드웨어, 저장 매체, 또는 다른 임의의 컴포넌트를 포함할 수 있다.
도 2에서는 모듈들(211, 212, 213, 214, 215, 216)이 단일 처리 유닛 내에 구현된 것으로 예시되어 있지만, 프로세서(210)가 다수의 처리 유닛들을 포함하는 구현예에서는, 모듈들(211, 212, 213, 214, 215, 216) 중 하나 이상이 나머지 모듈들로부터 원격되어 구현될 수 있다는 점을 인식하기 바란다. 후술하는 모듈들(211, 212, 213, 214, 215, 216)에 의해 제공되는 기능의 설명은 예시를 위한 것이며, 한정적인 것이 아니며, 모듈들(211, 212, 213, 214, 215, 216) 중 어떠한 것도 설명하는 것보다 많은 또는 적은 기능을 제공해도 된다. 예를 들어, 모듈들(211, 212, 213, 214, 215, 216) 중 하나 이상을 제거할 수도 있고, 그 기능 중 일부 또는 모두를 모듈들(211, 212, 213, 214, 215, 216) 중 다른 모듈들에 의해 제공할 수도 있다. 다른 일례로, 프로세서(210)는, 모듈들(211, 212, 213, 214, 215, 216) 중 하나에 기인하는 기능의 일부 또는 모두를 수행할 수 있는 하나 이상의 추가 모듈을 실행하도록 구성될 수 있다.
서버(400)는, 저장 장치, 하나 이상의 프로세서, 및/또는 다른 컴포넌트를 포함할 수 있다. 서버(400)는, 네트워크 및/또는 다른 연산 플랫폼과의 정보 교환을 가능하게 하는 통신 라인 또는 포트를 포함할 수 있다. 도 1과 도 2의 서버(400)는 한정적으로 예시한 것이 아니다. 서버(400)는, 본 명세서의 서버(400)에 기인하는 기능을 제공하도록 함께 동작하는, 복수의 하드웨어, 소프트웨어, 및/또는 펌웨어 컴포넌트를 포함할 수 있다. 예를 들어, 서버(400)는 서버(400)로서 함께 동작하는 연산 플랫폼들의 클라우드에 의해 구현될 수 있다.
본 개시 내용의 시스템(들) 및/또는 방법(들)을 예시를 위해 현재 가장 실용적이고 바람직한 것으로 고려되는 구현예들에 기초하여 상세히 설명하였지만, 이러한 상세는 예시를 위한 것일 뿐이며, 본 개시 내용은, 개시된 구현예들로 한정되지 않으며, 오히려, 청구범위의 사상과 범위 내에 있는 수정과 균등 구성을 포함하려는 것이라는 점을 이해하기 바란다. 예를 들어, 본 개시 내용은, 임의의 구현예의 하나 이상의 특징을 다른 임의의 구현예의 하나 이상의 특징과 조합할 수 있음을 최대한 고려한다는 점을 이해하기 바란다.

Claims (38)

  1. 햅틱 피드백(haptic feedback)을 제공하도록 구성된 착용가능 장치로서,
    상기 착용가능 장치에 관련된 환경에서 발생하는 이벤트를 나타내는 제어 신호를 생성하도록 구성된 프로세서와,
    상기 착용가능 장치의 제1 위치에 배치되고, 생성된 상기 제어 신호에 기초하여 햅틱 피드백을 제공하도록 구성된 제1 햅틱 출력 장치를 포함하는, 착용가능 장치.
  2. 제1항에 있어서, 상기 제1 햅틱 출력 장치는 햅틱 효과를 생성하도록 구성된 액추에이터를 포함하는, 착용가능 장치.
  3. 제1항에 있어서, 상기 제1 햅틱 출력 장치는 햅틱 효과를 생성하도록 구성된 비기계적(non-mechanical) 햅틱 출력 장치를 포함하는, 착용가능 장치.
  4. 제1항에 있어서, 상기 착용가능 장치의 제1 위치와는 다른 제2 위치에 배치된 제2 햅틱 출력 장치를 더 포함하고, 상기 제2 햅틱 출력 장치는 상기 생성된 제어 신호에 기초하여 제2 햅틱 피드백을 제공하도록 구성된, 착용가능 장치.
  5. 제4항에 있어서, 상기 이벤트는 네비게이션 이벤트를 포함하고, 상기 햅틱 피드백은 상기 네비게이션 이벤트에 연관된 제1 방향을 가리키고, 상기 제2 햅틱 피드백은 상기 제1 방향과는 다른 제2 방향을 가리키는, 착용가능 장치.
  6. 제4항에 있어서, 상기 이벤트는 네비게이션 이벤트를 포함하고, 상기 햅틱 피드백은 상기 네비게이션 이벤트에 연관된 제1 방향을 가리키고, 상기 제2 햅틱 피드백은 상기 제1 방향을 가리키는, 착용가능 장치.
  7. 제4항에 있어서, 상기 제2 햅틱 출력 장치는 상기 햅틱 피드백에 후속하는 상기 제2 햅틱 피드백을 제공하도록 구성된, 착용가능 장치.
  8. 제1항에 있어서, 상기 이벤트는, 상기 착용가능 장치의 소정의 근처 내의 물리 오브젝트의 표시, 상기 환경에서 발생하는 환경 조건의 표시, 상기 환경에서 발생하는 환경 조건의 변화의 표시, 상기 착용가능 장치의 소정의 근처 내의 오브젝트의 이동의 표시, 상기 착용가능 장치와 상기 환경 내의 오브젝트 간의 상호 작용의 표시, 또는, 상기 착용가능 장치가 상기 환경 내의 오브젝트를 인식한다는 표시를 포함하는, 착용가능 장치.
  9. 제1항에 있어서, 상기 착용가능 장치에 관련된 하나 이상의 환경 조건을 감지하도록 구성된 센서를 더 포함하고, 상기 이벤트는 상기 센서에 의해 감지되는 상기 하나 이상의 환경 조건을 포함하는, 착용가능 장치.
  10. 제1항에 있어서, 상기 착용가능 장치로부터 원격되어 있는 연산 장치와의 무선 또는 유선 통신 채널을 확립하도록 구성된 통신 포트를 더 포함하고,
    상기 프로세서는, 상기 무선 또는 유선 통신 채널을 통해 상기 연산 장치에서 발생하는 이벤트를 나타내는 신호를 수신하고 수신된 신호에 기초하여 상기 제어 신호를 생성하도록 구성된, 착용가능 장치.
  11. 제10항에 있어서, 상기 수신된 신호는 감지 정보를 포함하고, 상기 이벤트는 상기 감지 정보에 기초하는 하나 이상의 환경 조건을 포함하는, 착용가능 장치.
  12. 제11항에 있어서, 상기 수신된 신호는 상기 연산 장치에서의 통신에 관한 정보를 포함하고, 상기 이벤트는 상기 연산 장치에서의 통신의 표시를 포함하는, 착용가능 장치.
  13. 제1항에 있어서, 상기 착용가능 장치는 안경류로서 구성된, 착용가능 장치.
  14. 제13항에 있어서, 상기 안경류의 프레임의 상측 부분은, 상기 프레임의 제1 부분에 배치된 상기 제1 햅틱 출력 장치 및 상기 프레임의 제2 부분에 배치된 제2 햅틱 출력 장치를 포함하는 복수의 햅틱 출력 장치를 포함하는, 착용가능 장치.
  15. 제14항에 있어서, 상기 이벤트는 네비게이션 이벤트를 포함하고, 상기 햅틱 피드백은 상기 네비게이션 이벤트에 연관된 제1 방향을 가리키고, 상기 제2 햅틱 출력 장치는 상기 제1 방향과는 다른 제2 방향을 나타내는 제2 햅틱 피드백을 제공하도록 구성된, 착용가능 장치.
  16. 제14항에 있어서, 상기 프레임의 상측 부분은, 상기 프레임의 제1 부분에 배치된 제3 햅틱 출력 장치 및 상기 프레임의 제2 부분에 배치된 제4 햅틱 출력 장치를 더 포함하고,
    상기 이벤트는 네비게이션 이벤트를 포함하고, 상기 제3 햅틱 출력 장치는 상기 제1 방향을 나타내는 제3 햅틱 피드백을 제공하도록 구성되고, 상기 제4 햅틱 출력 장치는 상기 제1 방향과는 다른 제2 방향을 나타내는 제4 햅틱 피드백을 제공하도록 구성된, 착용가능 장치.
  17. 제14항에 있어서, 상기 안경류는 상기 프레임의 제1 단부에서 상기 프레임의 상측 부분에 연결된 제1 템플(temple)을 포함하고, 상기 제1 템플은, 상기 제1 템플의 제1 단부에 배치된 제1 햅틱 출력 장치 및 상기 제1 단부의 반대측인 상기 제1 템플의 제2 단부에 배치된 제2 햅틱 출력 장치를 포함하는, 착용가능 장치.
  18. 제17항에 있어서, 상기 제1 템플은 변형가능 재료를 포함하고, 상기 제1 템플은 상기 햅틱 피드백에 기초하여 내측 측방으로 휘어지도록 구성된, 착용가능 장치.
  19. 제17항에 있어서, 상기 제1 템플은,
    상기 프레임에 인접하며, 제1 변형가능 재료를 포함하고, 상기 햅틱 피드백에 기초하여 내측 측방으로 휘어지도록 구성된, 제1 부분과,
    상기 제1 부분에 인접하며, 제2 변형가능 재료를 포함하고, 상기 햅틱 피드백에 기초하여 내측 측방으로 또는 외측 측방으로 휘어지도록 구성된, 제2 부분을 포함하는, 착용가능 장치.
  20. 제13항에 있어서, 상기 안경류는, 변형가능 재료를 포함하는 제1 노즈 패드, 및 상기 변형가능 재료를 포함하는 제2 노즈 패드를 포함하고, 상기 제1 노즈 패드 또는 상기 제2 노즈 패드 중 하나 이상은 상기 햅틱 피드백에 기초하여 내측 측방으로 휘어지도록 구성된, 착용가능 장치.
  21. 증강 현실(augmented reality) 공간과 물리 공간을 포함하는 증강 현실 환경을 생성하도록 구성된 증강 현실 장치로서,
    상기 물리 공간을 촬상하도록 구성된 촬상 컴포넌트와,
    상기 물리 공간과 일치하는 증강 현실 공간을 생성하고, 상기 물리 공간 내의 적어도 하나의 물리 오브젝트를 인식하고 상기 적어도 하나의 물리 오브젝트를 상기 증강 현실 공간 내의 하나 이상의 가상 오브젝트와 함께 증강하고, 상기 증강 현실 환경에 연관된 이벤트를 결정하고, 결정된 상기 이벤트에 기초하여 제어 신호를 생성하도록 구성된 프로세서와,
    상기 증강 현실 장치의 제1 위치에 배치되고, 생성된 상기 제어 신호에 기초하여 햅틱 피드백을 제공하도록 구성된 제1 햅틱 출력 장치를 포함하는, 증강 현실 장치.
  22. 제21항에 있어서, 상기 제1 햅틱 출력 장치는 햅틱 효과를 생성하도록 구성된 액추에이터를 포함하는, 증강 현실 장치.
  23. 제21항에 있어서, 상기 제1 햅틱 출력 장치는 햅틱 효과를 생성하도록 구성된 비기계적 햅틱 출력 장치를 포함하는, 증강 현실 장치.
  24. 제21항에 있어서, 상기 증강 현실 장치의 제1 위치와는 다른 제2 위치에 배치된 제2 햅틱 출력 장치를 더 포함하고, 상기 제2 햅틱 출력 장치는 상기 생성된 제어 신호에 기초하여 제2 햅틱 피드백을 제공하도록 구성된, 증강 현실 장치.
  25. 제24항에 있어서, 상기 제2 햅틱 피드백은 상기 햅틱 피드백과는 다른, 증강 현실 장치.
  26. 제24항에 있어서, 상기 이벤트는 네비게이션 이벤트를 포함하고, 상기 햅틱 피드백은 상기 네비게이션 이벤트에 연관된 제1 방향을 가리키고, 상기 제2 햅틱 피드백은 상기 제1 방향과는 다른 제2 방향을 가리키는, 증강 현실 장치.
  27. 제24항에 있어서, 상기 제2 햅틱 출력 장치는 상기 햅틱 피드백에 후속하는 제2 햅틱 피드백을 제공하도록 구성된, 증강 현실 장치.
  28. 제21항에 있어서, 상기 이벤트는, 가상 오브젝트와의 상호 작용, 상기 적어도 하나의 물리 오브젝트와 상기 증강 현실 환경 간의 상호 작용, 상기 증강 현실 환경에 대하여 발생하는 작용의 확인, 상기 적어도 하나의 물리 오브젝트가 상기 증강 현실 장치에 의해 인식된다는 확인, 또는, 상기 물리 공간 내의 오브젝트가 증강되었다는 확인을 포함하는, 증강 현실 장치.
  29. 제21항에 있어서, 상기 이벤트는, 상기 증강 현실 장치의 소정의 근처 내의 상기 적어도 하나의 물리 오브젝트의 표시, 상기 증강 현실 장치에 관련된 환경에서 발생하는 환경 조건의 표시, 상기 환경에서 발생하는 환경 조건의 변화의 표시, 또는, 상기 증강 현실 장치의 소정의 근처 내의 오브젝트의 이동의 표시를 포함하는, 증강 현실 장치.
  30. 제21항에 있어서, 상기 증강 현실 장치는 안경류로서 구성된, 증강 현실 장치.
  31. 제30항에 있어서, 상기 증강 현실 환경은 상기 안경류의 렌즈를 통해 전달되는, 증강 현실 장치.
  32. 제30항에 있어서, 상기 안경류의 프레임의 상측 부분은, 상기 프레임의 제1 부분에 배치된 상기 제1 햅틱 출력 장치 및 상기 제1 부분과는 다른 상기 프레임의 제2 부분에 배치된 제2 햅틱 출력 장치를 포함하는 복수의 햅틱 출력 장치를 포함하는, 증강 현실 장치.
  33. 제32항에 있어서, 상기 안경류는 상기 프레임의 제1 단부에서 상기 프레임의 상측 부분에 연결된 제1 템플을 포함하고, 상기 제1 템플은, 상기 제1 템플의 제1 단부에 배치된 제1 햅틱 출력 장치 및 상기 제1 단부의 반대측인 상기 제1 템플의 제2 단부에 배치된 제2 햅틱 출력 장치를 포함하는, 증강 현실 장치.
  34. 제33항에 있어서, 상기 이벤트는 네비게이션 이벤트를 포함하고, 상기 햅틱 피드백은 상기 네비게이션 이벤트에 연관된 제1 방향을 가리키고, 상기 제2 햅틱 출력 장치는 상기 제1 방향과는 다른 제2 방향을 나타내는 제2 햅틱 피드백을 제공하도록 구성된, 증강 현실 장치.
  35. 제34항에 있어서, 상기 프레임의 상측 부분은, 상기 프레임의 제1 부분에 배치된 제3 햅틱 출력 장치 및 상기 프레임의 제2 부분에 배치된 제4 햅틱 출력 장치를 더 포함하고, 상기 제3 햅틱 출력 장치는 상기 제1 방향을 나타내는 제3 햅틱 피드백을 제공하도록 구성되고, 상기 제4 햅틱 출력 장치는 상기 제2 방향을 나타내는 제4 햅틱 피드백을 제공하도록 구성된, 증강 현실 장치.
  36. 제33항에 있어서, 상기 제1 템플은 변형가능 재료를 포함하고, 상기 제1 템플은 상기 햅틱 피드백에 기초하여 내측 측방으로 휘어지도록 구성된, 증강 현실 장치.
  37. 제33항에 있어서, 상기 제1 템플은,
    상기 프레임에 인접하며, 제1 변형가능 재료를 포함하고, 상기 햅틱 피드백에 기초하여 내측 측방으로 휘어지도록 구성된, 제1 부분과,
    상기 제1 부분에 인접하며, 제2 변형가능 재료를 포함하고, 상기 햅틱 피드백에 기초하여 내측 측방으로 또는 외측 측방으로 휘어지도록 구성된, 제2 부분을 포함하는, 증강 현실 장치.
  38. 제30항에 있어서, 상기 안경류는, 변형가능 재료를 포함하는 제1 노즈 패드, 및 상기 변형가능 재료를 포함하는 제2 노즈 패드를 포함하고, 상기 제1 노즈 패드 또는 상기 제2 노즈 패드 중 하나 이상은 상기 햅틱 피드백에 기초하여 내측 측방으로 휘어지도록 구성된, 증강 현실 장치.
KR1020140030260A 2013-03-15 2014-03-14 착용가능 햅틱 장치 KR20140113531A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/841,551 US9092954B2 (en) 2013-03-15 2013-03-15 Wearable haptic device
US13/841,551 2013-03-15

Publications (1)

Publication Number Publication Date
KR20140113531A true KR20140113531A (ko) 2014-09-24

Family

ID=50439132

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140030260A KR20140113531A (ko) 2013-03-15 2014-03-14 착용가능 햅틱 장치

Country Status (5)

Country Link
US (3) US9092954B2 (ko)
EP (1) EP2778854A3 (ko)
JP (2) JP2014194767A (ko)
KR (1) KR20140113531A (ko)
CN (2) CN111078015A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086508A1 (ko) * 2015-11-19 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어 방법

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
US9773332B2 (en) * 2013-03-14 2017-09-26 Otoy, Inc. Visual cortex thought detector interface
US9274603B2 (en) 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US20150162000A1 (en) * 2013-12-10 2015-06-11 Harman International Industries, Incorporated Context aware, proactive digital assistant
US9542801B1 (en) 2014-04-28 2017-01-10 Bally Gaming, Inc. Wearable wagering game system and methods
US9690370B2 (en) 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
EP3187968B1 (en) * 2014-08-29 2021-05-19 Sony Corporation Force display device, force display system, and force display method
US9858751B2 (en) 2014-09-26 2018-01-02 Bally Gaming, Inc. Wagering game wearables
DE102014015024A1 (de) * 2014-10-08 2016-04-14 Marc Ebel Farblichtvorrichtung und Wärmevorrichtung für Head Mounted Displays
DE102014015103A1 (de) * 2014-10-10 2016-04-14 Marc Ebel Vorrichtung für Head Mounted Displays
US9846484B2 (en) 2014-12-04 2017-12-19 Immersion Corporation Systems and methods for controlling haptic signals
CN105739671A (zh) * 2014-12-08 2016-07-06 北京蚁视科技有限公司 一种振动反馈装置及含有该装置的近眼显示器
US9600076B2 (en) 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US10082872B2 (en) * 2014-12-30 2018-09-25 Immersion Corporation Deformable haptic wearables with variable physical properties
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
WO2016168117A2 (en) * 2015-04-14 2016-10-20 John James Daniels Wearable electric, multi-sensory, human/machine, human/human interfaces
WO2016170717A1 (ja) * 2015-04-23 2016-10-27 ソニー株式会社 ウェアラブルディスプレイ、情報処理システム及び制御方法
CN104850229B (zh) 2015-05-18 2019-03-22 小米科技有限责任公司 识别物体的方法及装置
CN106662949B (zh) * 2015-06-26 2020-12-15 微软技术许可有限责任公司 作为主动触觉机构的参考的被动触觉机构
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
US10390139B2 (en) * 2015-09-16 2019-08-20 Taction Technology, Inc. Apparatus and methods for audio-tactile spatialization of sound and perception of bass
ITUB20159238A1 (it) * 2015-11-25 2017-05-25 Beniamino Tambelli montatura per lenti di protezione con sistema integrato intelligente per rilevamento interferenze tra pedone e carrello elevatore/mezzo in movimento
CN106997235B (zh) * 2016-01-25 2018-07-13 亮风台(上海)信息科技有限公司 用于实现增强现实交互和展示的方法、设备
US10163282B2 (en) * 2016-03-30 2018-12-25 Intermec, Inc. Systems and methods for authentication
US9760744B1 (en) 2016-06-01 2017-09-12 International Business Machines Corporation Physical interactive IDs (P2D)
US10095311B2 (en) 2016-06-15 2018-10-09 Immersion Corporation Systems and methods for providing haptic feedback via a case
DE102016212801A1 (de) * 2016-07-13 2018-01-18 Bayerische Motoren Werke Aktiengesellschaft Datenbrille zur Anzeige von Informationen
JP2018082363A (ja) * 2016-11-18 2018-05-24 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
CN106648092B (zh) * 2016-12-16 2020-04-10 英业达科技有限公司 触觉仿真系统
EP3538232A4 (en) 2017-01-23 2020-09-02 Hewlett-Packard Development Company, L.P. SOMATOSENSORY FEEDBACK SYSTEM
US10371544B2 (en) 2017-05-04 2019-08-06 Wearworks Vibrating haptic device for the blind
US11408749B2 (en) 2017-05-30 2022-08-09 Stephen Wesley Schad, JR. Personal navigation system haptic device
CA3006939A1 (en) * 2017-06-01 2018-12-01 Monroe Solutions Group Inc. Systems and methods for establishing telepresence of a remote user
WO2018230790A1 (ko) * 2017-06-13 2018-12-20 주식회사 비햅틱스 헤드 마운티드 디스플레이
EP3485355A1 (en) 2017-06-29 2019-05-22 Apple Inc. Finger-mounted device with sensors and haptics
WO2019083863A1 (en) 2017-10-23 2019-05-02 Patent Holding Company 001, Llc DEVICES, METHODS, AND COMMUNICATION SYSTEMS
EP3531192B1 (en) * 2018-02-21 2021-09-29 Essilor International An eyewear frame, an eyewear, and a method of adjusting an eyewear frame
DE102018212869A1 (de) * 2018-08-01 2020-02-06 Volkswagen Aktiengesellschaft Konzept zum Vermitteln einer Richtungsangabe an einen Nutzer
US10860101B1 (en) * 2018-11-21 2020-12-08 Facebook Technologies, Llc Systems and methods using patterned nanovoids for actuation and deformation sensing
US11139756B2 (en) * 2018-12-11 2021-10-05 Facebook Technologies, Llc Transducers with electrostatic repulsion and associated systems and methods
US11107972B2 (en) 2018-12-11 2021-08-31 Facebook Technologies, Llc Nanovoided tunable optics
US11755107B1 (en) 2019-09-23 2023-09-12 Apple Inc. Finger devices with proximity sensors
US11302083B1 (en) * 2020-01-29 2022-04-12 Splunk Inc. Web-based three-dimensional extended reality workspace editor
WO2021252580A1 (en) * 2020-06-11 2021-12-16 Carefusion 303, Inc. Hands-free medication tracking
JP2022012926A (ja) * 2020-07-02 2022-01-18 秋夫 湯田 人との接触記録装置。
US11709554B1 (en) 2020-09-14 2023-07-25 Apple Inc. Finger devices with adjustable housing structures
US11287886B1 (en) 2020-09-15 2022-03-29 Apple Inc. Systems for calibrating finger devices
WO2022094439A1 (en) 2020-10-30 2022-05-05 Datafeel Inc. Wearable data communication apparatus, kits, methods, and systems
US20230206238A1 (en) * 2021-12-27 2023-06-29 Mastercard International Incorporated System and method for authentication and payment while wearing a face covering
US11928981B2 (en) 2022-06-22 2024-03-12 Kevin Fan Tactile vision

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4109806B2 (ja) * 1999-08-31 2008-07-02 株式会社東芝 触覚を利用した方向提示装置及びその方法
JP2004173660A (ja) 2002-11-22 2004-06-24 Hashimoto Kaihatsu Kogyo:Kk 自動湿潤式家庭菜園プランタン
JP4002970B2 (ja) * 2002-11-29 2007-11-07 独立行政法人産業技術総合研究所 力覚型ヒューマンナビゲーションシステム及びそれに用いるデバイス
EP1524586A1 (en) * 2003-10-17 2005-04-20 Sony International (Europe) GmbH Transmitting information to a user's body
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
JP4838499B2 (ja) * 2004-05-21 2011-12-14 オリンパス株式会社 ユーザ支援装置
JP2006146778A (ja) * 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ装置
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
TWI434718B (zh) * 2006-12-07 2014-04-21 Cel Kom Llc 觸覺式可穿戴型遊戲裝置
US7839269B2 (en) * 2007-12-12 2010-11-23 Immersion Corporation Method and apparatus for distributing haptic synchronous signals
US8123660B2 (en) * 2007-12-28 2012-02-28 Immersion Corporation Method and apparatus for providing communications with haptic cues
GB2468811B (en) 2008-01-17 2012-12-19 Articulate Technologies Inc Methods and devices for intraoral tactile feedback
JP5344388B2 (ja) * 2008-07-10 2013-11-20 学校法人立命館 操作システム
US8077020B2 (en) * 2008-07-10 2011-12-13 International Business Machines Corporation Method and apparatus for tactile haptic device to guide user in real-time obstacle avoidance
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
CN103119512A (zh) * 2008-11-02 2013-05-22 大卫·乔姆 近眼式显示系统和装置
CN100595635C (zh) * 2009-01-14 2010-03-24 长春大学 智能盲人导航眼镜
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
CN101797197B (zh) * 2009-11-23 2012-07-04 常州超媒体与感知技术研究所有限公司 便携式盲人自主导航系统
WO2011106520A1 (en) * 2010-02-24 2011-09-01 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20130314303A1 (en) * 2010-02-28 2013-11-28 Osterhout Group, Inc. Ar glasses with user action control of and between internal and external applications with feedback
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
CN102907008B (zh) * 2010-03-25 2015-09-30 锐沙·塔加维 用于颈部的触觉通信装置
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
WO2011127379A2 (en) 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
GB201101618D0 (en) * 2011-01-31 2011-03-16 Univ Sheffield Active sensory augmentation device
US8965049B2 (en) * 2011-02-01 2015-02-24 Panasonic Intellectual Property Corporation Of America Function extension device, function extension method, computer-readable recording medium, and integrated circuit
US20120229264A1 (en) * 2011-03-09 2012-09-13 Analog Devices, Inc. Smart linear resonant actuator control
CN102175251A (zh) * 2011-03-25 2011-09-07 江南大学 双目智能导航系统
RU2621644C2 (ru) * 2011-05-06 2017-06-06 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
WO2013085639A1 (en) * 2011-10-28 2013-06-13 Magic Leap, Inc. System and method for augmented and virtual reality
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台系统及应用方法
CN102915111B (zh) * 2012-04-06 2017-05-31 寇传阳 一种腕上手势操控系统和方法
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
US9767720B2 (en) * 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9189021B2 (en) * 2012-11-29 2015-11-17 Microsoft Technology Licensing, Llc Wearable food nutrition feedback system
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
EP4083758A1 (en) 2013-07-05 2022-11-02 Rubin, Jacob A. Whole-body human-computer interface
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
WO2015107386A1 (en) 2014-01-15 2015-07-23 Sony Corporation Haptic notification on wearables
EP3382443B1 (en) * 2014-03-21 2023-07-26 Samsung Electronics Co., Ltd. Head-mounted display and method of operating the same
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
CN104127301B (zh) 2014-07-15 2016-03-02 深圳先进技术研究院 导盲智能眼镜及其导盲方法
EP3648072A1 (en) 2014-07-28 2020-05-06 CK Materials Lab Co., Ltd. A method for providing haptic information
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
WO2017053878A1 (en) 2015-09-25 2017-03-30 Oculus Vr, Llc Haptic surface with damping apparatus
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
WO2017095951A1 (en) 2015-11-30 2017-06-08 Nike Innovate C.V. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
CN106997241B (zh) 2016-01-22 2020-04-21 宏达国际电子股份有限公司 虚拟现实环境中与真实世界互动的方法与虚拟现实系统
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10743595B2 (en) 2016-09-22 2020-08-18 The Ford Meter Box Company, Inc. Finger guard
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017086508A1 (ko) * 2015-11-19 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10776618B2 (en) 2015-11-19 2020-09-15 Lg Electronics Inc. Mobile terminal and control method therefor

Also Published As

Publication number Publication date
US20190164394A1 (en) 2019-05-30
US10269222B2 (en) 2019-04-23
US9092954B2 (en) 2015-07-28
US20150332566A1 (en) 2015-11-19
US20140266647A1 (en) 2014-09-18
JP2014194767A (ja) 2014-10-09
EP2778854A3 (en) 2017-01-18
CN111078015A (zh) 2020-04-28
JP2018190453A (ja) 2018-11-29
EP2778854A2 (en) 2014-09-17
CN104049739B (zh) 2020-01-14
CN104049739A (zh) 2014-09-17

Similar Documents

Publication Publication Date Title
KR20140113531A (ko) 착용가능 햅틱 장치
JP6713445B2 (ja) 触覚フィードバックを備えた拡張現実ユーザ・インタフェース
EP3320413B1 (en) System for tracking a handheld device in virtual reality
CN110018736B (zh) 人工现实中的经由近眼显示器界面的对象增强
US6862006B2 (en) Image processing apparatus and image processing method, and image processing program and recording medium of the same
CN105094313A (zh) 用于为远程交互提供触觉反馈的系统和方法
CN107667328A (zh) 用于在增强和/或虚拟现实环境中跟踪手持设备的系统
KR20160081809A (ko) 증강 및 가상 현실 애플리케이션들에 대한 햅틱 향상 객체들을 생성하기 위한 시스템 및 방법
CN109669530A (zh) 用于触觉设备的振动触觉驱动器电路
US20160171646A1 (en) Rigid curved wearable display device
CN115777091A (zh) 检测装置及检测方法
US20220397958A1 (en) Slippage resistant gaze tracking user interfaces
US11144194B2 (en) Interactive stereoscopic display and interactive sensing method for the same
US11934585B2 (en) Method for performing interactive operation upon a stereoscopic image and stereoscopic image display system
US20230353860A1 (en) System, imaging apparatus, information processing apparatus, information processing method, and information processing program
US11474609B1 (en) Systems and methods for haptic equalization
WO2024049463A1 (en) Virtual keyboard
KR101970534B1 (ko) 손가락에 착용가능한 진동발생 웨어러블 장치 및 진동에 관한 정보에 대응하는 작업을 수행하는 방법

Legal Events

Date Code Title Description
WITB Written withdrawal of application