KR20190101886A - 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 시스템들 및 방법들 - Google Patents

스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20190101886A
KR20190101886A KR1020190019864A KR20190019864A KR20190101886A KR 20190101886 A KR20190101886 A KR 20190101886A KR 1020190019864 A KR1020190019864 A KR 1020190019864A KR 20190019864 A KR20190019864 A KR 20190019864A KR 20190101886 A KR20190101886 A KR 20190101886A
Authority
KR
South Korea
Prior art keywords
sticker
processor
haptic
sensor
user
Prior art date
Application number
KR1020190019864A
Other languages
English (en)
Inventor
리웬 우
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20190101886A publication Critical patent/KR20190101886A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00—Details of, or arrangements associated with, antennas
    • H01Q1/12—Supports; Mounting means
    • H01Q1/22—Supports; Mounting means by structural association with other equipment or articles
    • H01Q1/2208—Supports; Mounting means by structural association with other equipment or articles associated with components used in interrogation type services, i.e. in systems for information exchange between an interrogator/reader and a tag/transponder, e.g. in Radio Frequency Identification [RFID] systems
    • H01Q1/2225—Supports; Mounting means by structural association with other equipment or articles associated with components used in interrogation type services, i.e. in systems for information exchange between an interrogator/reader and a tag/transponder, e.g. in Radio Frequency Identification [RFID] systems used in active tags, i.e. provided with its own power source or in passive tags, i.e. deriving power from RF signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 시스템들 및 방법들이 교시된다. 하나의 예시적인 스티커 디바이스는 햅틱 출력 디바이스; 프로세서 실행 가능 명령어들을 저장하는 비-일시적 컴퓨터 판독 가능 매체; 및 햅틱 출력 디바이스, 및 비-일시적 컴퓨터 판독 가능 매체와 통신하는 프로세서를 포함하고, 프로세서는 프로세서 실행 가능 명령어들을 실행하여, 센서로부터 센서 신호를 수신하도록; 센서 신호에 기초하여 햅틱 효과를 결정하도록; 그리고 햅틱 출력 디바이스로 하여금 햅틱 효과를 출력하게 하는 햅틱 신호를 햅틱 출력 디바이스에 송신하도록 구성된다.

Description

스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR HAPTIFYING VIRTUAL OBJECTS USING SMART STICKERS}
본 출원은 일반적으로 햅틱에 관한 것으로, 보다 구체적으로는 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 시스템들 및 방법들에 관한 것이다.
사용자 인터페이스는 햅틱 효과들을 이용하여 인터페이스의 사용자들에게 촉각 응답들을 제공할 수 있다. 예를 들어, 스마트폰에 의한 전화 통화 또는 텍스트 메시지의 수신 시에 진동 효과들이 플레이될 수 있다. 이러한 효과들은 발생 중인 이벤트들을 사용자에게 통지할 수 있거나, 또는 이들은, 사용자의 차량에 의해 취해지는 손상 또는 무기의 발사를 표시하기 위해서와 같이, 비디오 게임들 동안 출력될 수 있다.
스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 시스템들 및 방법들에 대한 다양한 예들이 설명된다. 예를 들어, 하나의 예시적인 스티커 디바이스는 햅틱 출력 디바이스; 프로세서 실행 가능 명령어들을 저장하는 비-일시적 컴퓨터 판독 가능 매체; 및 햅틱 출력 디바이스, 및 비-일시적 컴퓨터 판독 가능 매체와 통신하는 프로세서를 포함하고, 프로세서는 프로세서 실행 가능 명령어들을 실행하여, 센서로부터 센서 신호를 수신하도록; 센서 신호에 기초하여 햅틱 효과를 결정하도록; 그리고 햅틱 출력 디바이스로 하여금 햅틱 효과를 출력하게 하는 햅틱 신호를 햅틱 출력 디바이스에 송신하도록 구성된다.
다른 예시적인 디바이스는 센서; 프로세서 실행 가능 명령어들을 저장하는 비-일시적 컴퓨터 판독 가능 매체; 및 센서 및 비-일시적 컴퓨터 판독 가능 매체와 통신하는 프로세서를 포함하고, 프로세서는 프로세서 실행 가능 명령어들을 실행하여, 센서로부터 센서 신호를 수신하도록; 센서 신호에 기초하여 증강 또는 가상 현실에서의 햅틱 상호 작용을 위한 스티커 디바이스를 검출하도록; 스티커 디바이스와 연관된 가상 객체를 결정하도록; 그리고 디스플레이 디바이스로 하여금 가상 객체를 디스플레이하게 하는 신호를 출력하도록 구성된다.
이러한 예시적인 예들은 본 개시 내용의 범위를 제한하거나 또는 정의하기 위해서가 아니라, 오히려 그것의 이해를 돕기 위한 예들을 제공하기 위해 언급된다. 예시적인 예들은 추가의 설명을 제공하는 상세한 설명에서 논의된다. 다양한 예들에 의해 제공되는 이점들은 본 명세서를 검토하는 것에 의해 추가로 이해될 수 있다.
본 명세서에 통합되어 그 일부를 구성하는, 첨부 도면들은 하나 이상의 특정 예를 도시하고, 해당 예의 설명과 함께, 특정 예들의 원리들 및 구현들을 설명하는 역할을 한다.
도 1은 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 시스템을 도시한다.
도 2a 및 도 2b는 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 시스템을 도시한다.
도 3은 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 시스템을 도시한다.
도 4는 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 시스템들 및 방법들과 함께 사용하기에 적합한 예시적인 스티커 디바이스를 도시한다.
도 5는 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 시스템들 및 방법들과 함께 사용하기에 적합한 예시적인 컴퓨팅 디바이스를 도시한다.
도 6 및 도 7은 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 방법들을 도시한다.
예들은 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 시스템들 및 방법들의 정황에서 본 명세서에 설명된다. 해당 분야에서의 통상의 기술자는 다음의 설명이 단지 예시적인 것이며 어떤 식으로든 제한하려고 의도되는 것은 아니라는 점을 인식할 것이다. 이제 첨부 도면들에 도시되는 예들의 구현들이 상세히 참조될 것이다. 동일한 참조 표시자들은 도면들 및 다음의 설명 전반적으로 동일한 또는 유사한 아이템들을 참조하는데 사용될 것이다.
명확성을 위해, 본 명세서에 설명되는 예들의 일상적인 특징들 전부가 도시되고 설명되는 것은 아니다. 물론, 임의의 이러한 실제 구현의 개발에서, 애플리케이션 및 비즈니스 관련 제약들의 준수와 같은, 개발자의 특정 목표들을 달성하기 위해 수많은 구현 특정적 결정이 이루어져야 한다는 점, 및 이러한 특정 목표들은 구현마다 그리고 개발자마다 달라질 것이라는 점이 이해될 것이다.
하나의 예시적인 예에서, 사용자는 사용자가 그들 주위의 실제 환경을 볼 수 있는 부분적으로 투명한 바이저를 갖는 "HMD"(head-mounted device)를 착용하면서 "AR"(augmented reality) 환경과 상호 작용할 수 있다. 그러나, HMD는 실제 환경을 증강시키기 위해 바이저 상에 정보를 디스플레이하는 디스플레이 디바이스를 포함한다. 이러한 예에서, HMD는 실제 환경의 이미지들을 캡처하고 실제 환경에서의 하나 이상의 객체들에 적용된 햅틱 스티커들을 검출하는 카메라를 포함한다. 햅틱 스티커를 검출한 이후, 이것은, 실제 환경 내의 자신의 배치에 의해서와 같이, 스티커 상의 마킹들을 식별하는 것에 기초하여, 또는 스티커로부터 무선으로 수신되는 정보에 기초하여, 스티커를 식별한다. HMD는 다음으로 스티커의 아이덴티티, 또는 스티커로부터 수신되는 정보에 기초하여 해당 환경에서의 특정 객체를 결정하고, 이것이 스티커 상에 중첩되는 것으로 보이도록 HMD 바이저 상에 가상 객체를 디스플레이할 수 있다.
예를 들어, 사용자는 바이저를 통해 실제 환경을 볼 수 있고, 그녀의 손목에 밴드 상의 스티커를 착용할 수 있다. 그녀가 그녀의 시선을 스티커로 돌릴 때, HMD는 카메라를 사용하여 스티커를 검출하고, 스티커 상의 식별 마킹들에 기초하여 스티커가 가상 스마트워치에 대응하는 것으로 결정하고, 스티커 상에 중첩되는 가상 스마트워치를 디스플레이한다. 따라서, HMD는 AR 환경에서 스마트워치를 착용하는 외관을 사용자에게 제공한다. 추가로, HMD는, 사용자가 실제 스마트워치를 착용한 것처럼, 시간, 날짜, 날씨 정보, 텍스트 메시지 또는 이메일 정보, 소셜 미디어 정보, 경보 정보 등과 같은 정보를 사용자에게 제공하는데 가상 스마트워치를 사용할 수 있다. 사용자는 HMD의 카메라(또는 스티커 내로 구축되는 카메라)에 의해 검출될 수 있는 공간에서 제스처들을 수행하는 것에 의해 AR 환경에서 가상 스마트워치와 상호 작용할 수 있다. 이러한 제스처들은 텍스트 메시지들 또는 이메일에 응답하고, 경보 통지들을 턴 오프하고, 상이한 정보 스크린들(예를 들어, 날씨, 날짜/시간, 달력 등)을 통해 스크롤하는 등에 사용될 수 있다. 이러한 제스처들에 응답하여, 스티커 또는 HMD는 사용자에게 하나 이상의 햅틱 효과를 출력할 수 있다. 이러한 예에서, 스티커는 햅틱 효과들로서 인지 가능한 초음파 진동들을 출력하는 스피커를 구비한다. 이러한 햅틱 효과들은, 제스처들과 같은, 사용자 액션들에 기초하여, 또는 사용자에게 하나 이상의 통지들 또는 이벤트들을 알리기 위해 출력될 수 있다. 이러한 구현은 인근 다른 사람들이 그녀에게 제시되는 정보를 보는 것이 가능할 수 있는 위험 없이 사용자로 하여금 가상 스마트워치로부터 정보를 수신하고 이에 응답할 수 있게 할 수 있다.
그리고 이러한 예는 웨어러블 디바이스로서의 스티커의 사용을 논의하였지만, 스티커들은, 디바이스에 대한 사용자 인터페이스를 제공하는 것, 게임 환경 내에서 객체들을 제공하는 것, 대응하는 객체에 관한 정보를 제공하는 것 등에 의해서와 같이, 디바이스와의 AR 또는 "VR"(virtual reality) 상호 작용들을 가능하게 하는 실제 환경에서의 임의의 객체와 연관되고 이에 적용될 수 있다. 추가로, 이러한 스티커들은, 햅틱 출력 디바이스들을 구비할 때, 사용자에게 햅틱 장갑들을 착용하거나 또는 다른 햅틱 인에이블형 디바이스들을 보유할 것을 요구하지 않고 AR 또는 VR 환경 내의 촉각 상호 작용들을 가능하게 할 수 있다.
이러한 예시적인 예는 본 명세서에서 논의되는 일반적인 주제를 독자에게 소개하기 위해 제공되고, 본 개시 내용이 이러한 예에 제한되는 것은 아니다. 다음의 섹션들은 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 시스템들 및 방법들의 다양한 추가적인 비-제한적 예들 및 예들을 설명한다.
이제 도 1을 참조하면, 도 1은 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 시스템(100)을 도시한다. 시스템(100)은 HMD(120)에 통신 가능하게 연결되는 컴퓨팅 디바이스(110)를 포함한다. HMD(120)는 사용자가 자신의 눈 위에 착용하는 바이저(122) 및 사용자의 시야 내에서 실제 환경의 이미지들을 캡처하도록 배향되는 카메라를 포함한다. 동작 동안, HMD(120)는 (게임 환경에서와 같이) 위치, 아바타의 건강 또는 다른 통계, 타겟팅 정보, AR 또는 VR 환경 내에 중첩되는 가상 객체들 등과 같은 AR 또는 "VR"(virtual reality) 환경에 관한 정보를 포함할 수 있는 이미지들을 바이저 상에 디스플레이한다. 시스템(100)은 실제 환경 내의 객체(130)에 부착된 스티커 디바이스(140)를 또한 포함한다.
"실제 환경(real environment)"은, 집에서의 방, 거리, 공원 등과 같은, 하나 이상의 물리적 객체를 포함할 수 있는 물리적 환경을 지칭한다. 대조적으로, AR 또는 VR 환경들과 같은 "가상 환경(virtual environment)"은 하나 이상의 가상 객체를 포함할 수 있는 컴퓨팅 디바이스에 의해 유지되는 환경이다. 사용자는 하나 이상의 사용자 인터페이스 디바이스 또는 센서를 통해 가상 환경과 상호 작용할 수 있다. 일부 예들에서, 사용자가 상호 작용할 수 있고, 한편 물리적 객체 상에 중첩되는 가상 객체의 시각적 표현과 함께 디스플레이 디바이스를 통해 제시되는 물리적 장애물들 또는 물리적 객체들을 제공하는 것에 의해서와 같이, 실제 환경을 증강시키도록, 또는 가상 환경과 상호 작용하는 사용자들에게 촉각 응답을 제공하는데 사용될 수 있는 실제 환경 내의 물리적 객체들을 이용하도록, 가상 환경이 실제 환경 상에 중첩될 수 있다. 이러한 물리적 객체들이 없으면, 가상 환경 내의 촉각 응답들은 사용자에 의해 착용될 수 있거나 또는 사용자에 의해 보유되거나 또는 터치되는 사용자 인터페이스 디바이스들 내에 있을 수 있는 햅틱 출력 디바이스들을 사용하여 시뮬레이션될 수 있다.
바이저(122) 상에 정보를 디스플레이하는 것 외에도, HMD(120)는 자신의 카메라를 사용하여 이미지들을 또한 캡처한다. 캡처된 이미지들은 다음으로 실제 환경 내의 객체들을 식별하도록 HMD(120) 또는 컴퓨팅 디바이스(110)에 의해 처리될 수 있다. 이러한 예에서, HMD(120)는 스티커(140)를 포함하는 하나 이상의 이미지를 캡처할 수 있다. HMD(120) 또는 컴퓨팅 디바이스(110)는, 바 코드 또는 문자들 또는 숫자들과 같은, 스티커 상의 마킹들을 식별하는 것에 기초하여 스티커를 식별할 수 있다. 스티커(140)를 인식한 이후에, HMD(120) 또는 컴퓨팅 디바이스(110)는 스티커(140)와 연관된 가상 객체를 결정하고 가상 환경 내에 가상 객체를 디스플레이하기 위해 데이터베이스를 액세스할 수 있다. 이러한 예에서, HMD(120)는 스티커(140)의 검출된 위치에 대응하는 위치에 가상 객체를 디스플레이하여 가상 객체가 스티커(140)의 상부 상에 위치되는 것으로 사용자에게 보인다.
이러한 예에서, 컴퓨팅 디바이스(110) 및 HMD(120)는 WiFi를 통해 서로 통신하는 별개의 하우징들이 있는 개별 컴포넌트들이다. 상이한 예시적인 시스템들은, "BT"(Bluetooth), "BLE"(low-energy BT), WiFi, "NFC"(near-field communications), 셀룰러, Ethernet, HDMI, DisplayPort 등을 포함하는, 다른 종류의 적합한 유선 또는 무선 통신 기술들을 이용할 수 있다. 일부 예들에서, 컴퓨팅 디바이스(110) 및 HMD(120)는 2개 이상의 상이한 디바이스들 중에서 분리되기보다는 오히려 단일 웨어러블 디바이스 내로 집적될 수 있다.
도 1에 도시되는 시스템(100)은 단지 하나의 스티커를 포함하지만, 임의의 적합한 수 및 배열의 스티커들이 상이한 예들에 따라 이용될 수 있다. 추가로, 이러한 예는 단지 하나의 HMD(120) 및 하나의 컴퓨팅 디바이스(110)를 포함하지만, HMD 또는 다른 사용자 인터페이스 디바이스를 갖는 임의의 수의 사용자들이 공통 가상 환경 내에서 상호 작용할 수 있다. 하나의 이러한 예에서, HMD들 각각이 공통 컴퓨팅 디바이스(110)와 통신할 수 있거나, 또는 하나 이상의 HMD들이 다른 컴퓨팅 디바이스, 예를 들어, 서버와 통신하는 자신의 컴퓨팅 디바이스를 가질 수 있어, 가상 환경에 관한 정보를 획득하고 가상 환경 내의 상호 작용들을 가능하게 한다. 예를 들어, HMD(120)는 집적된 컴퓨팅 디바이스를 가질 수 있고, 이러한 컴퓨팅 디바이스(110)는 가상 환경을 유지하고 가상 환경과 상호 작용하는 하나 이상의 HMD들과 통신하는 서버 컴퓨터를 나타낼 수 있다.
이러한 예에서 시스템 (100)은 HMD(120)를 포함하지만, 다른 예들은, 키보드들, 마우스들, 조이스틱들, 스티어링 휠들, 디스플레이 디바이스들, 막대들, 스타일러스들, 칼들, 시뮬레이션된 화기들 등을 포함하는, 가상 환경들과 함께 사용하기에 적합한 인터페이스 디바이스들을 포함하는, 다른 사용자 인터페이스 디바이스들을 포함할 수 있다. 이러한 인터페이스 디바이스들은 입력 신호들을 제공하거나 또는 HMD(120) 또는 컴퓨팅 디바이스(110)로부터 신호들을 수신하기에 적합한 임의의 유선 또는 무선 통신 기술을 사용하여 HMD(120) 또는 컴퓨팅 디바이스(110)와 통신할 수 있어, 햅틱 효과들, 오디오 또는 시각적 효과들, 변경 구성 파라미터들 등과 같은, 출력을 제공한다. 일부 예들에서, HMD(120) 또는 컴퓨팅 디바이스(110)는 이러한 사용자 인터페이스 디바이스들로부터 이동 또는 입력들을 검출하기 위한 센서 신호를 수신할 수 있다. 예를 들어, 하나 이상의 카메라가 인터페이스 디바이스의 이동들을 검출할 수 있다.
이제 도 2a 및 도 2b를 참조하면, 도 2a는 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 시스템(200)을 도시한다. 이러한 예에서, 사용자는 바이저(212)를 포함하는 HMD(120)를 착용하고 있고, AR 기반 비디오 게임에 참여하고 있다. 이러한 예에서의 HMD(210)는, 도 1에 도시되는 컴퓨팅 디바이스(110)와 같이, 집적된 컴퓨팅 디바이스를 포함한다. 이러한 시스템은 실제 환경 내에서 객체(230)에 부착된 스티커(240)를 또한 포함한다. 이러한 예에서, 스티커(240)는 실제 환경 내에서 스티커(240)를 고유하게 식별하는 2차원 바 코드를 디스플레이하는 디스플레이 디바이스를 포함한다. 또한, 스티커(240)는 BLE를 사용하는 무선 통신을 위한 무선 송수신기 및 초음파를 출력하는 스피커를 포함하여 비-접촉 기반 햅틱 효과들을 제공한다.
이러한 예에서, 사용자의 HMD(210)는 사용자의 시야 내의 실제 환경의 이미지들을 캡처하는 카메라를 사용하여 스티커(240)를 검출한다. 카메라는 스티커(140) 및 2차원 바 코드를 포함하는 이미지를 캡처하고, 이를 HMD(210)가 스티커(240)의 아이덴티티를 결정하기 위해 파싱하지만, 일부 예들에서, 2차원 바코드는 스티커 자체가 아니라 오히려 가상 객체를 대신 식별할 수 있다. 이러한 예에서, 스티커(240)는 비디오 게임 내에서 금고를 열기 위해 전자 키패드를 제공하는 가상 객체에 대응한다. 따라서, HMD(210)는 스티커의 아이덴티티에 기초하여 스티커(240)와 연관된 가상 객체(242)- 이러한 경우에는 전자 키패드가 있는 금고 -를 결정하고, 스티커(240)에 대응하는 위치에서 바이저(212) 상에 가상 객체(242)를 디스플레이한다.
HMD(210)가 가상 객체(242)를 디스플레이한 이후에, 사용자는 금고를 열려고 시도하기 위해 가상 객체(242)와 상호 작용할 수 있다. 예를 들어, 사용자는 누름 제스처들을 사용하여 가상 전자 키패드 상의 가상 키들을 누르는 것에 의해 가상 금고에 대한 열림 번호를 넣으려고 시도할 수 있다. 이러한 예에서, HMD(210)는 사용자의 손(220)을 그녀가 이것을 키패드 상의 키들 중 하나 위로 이동시키고 다음으로 제어 패드를 향해 외측으로 눌러 제스처를 만듦에 따라 추적한다. 일부 예들에서, 스티커 디바이스는, 스티커 자체에 또는 그 내에 접속되는 자기 자신의 카메라 또는 다른 센서들을 사용하는 것에 의해서와 같이, 제스처를 검출할 수 있다.
도 2b는 사용자의 손을 그녀가 이것을 누름 제스처에서 앞으로 이동시킨 이후의 것을 도시하며, 이는 버튼의 누름으로서 HMD(210)에 의해 해석된다. 누름 제스처는 HMD(210)에 의해 비디오 게임으로의 입력을 제공 받는 가상 키패드 상의 가상 키와의 상호 작용을 생성한다. 또한, HMD(210)는 스티커(240)에 메시지를 송신하여 스티커(240)로 하여금 초음파 햅틱 효과를 출력하게 한다. 스티커(240)는 다음으로 자신의 스피커를 사용하여 초음파 사운드 웨이브를 출력하고, 이는 사용자의 손가락 끝(또는 손)에 의해 느껴질 수 있다. 사용자가 가상 키패드 상의 키들을 계속 누르기 때문에, 그녀는 스티커(240)로부터 햅틱 효과들을 계속 수신하고, 그녀가 정확한 열림 번호를 넣으면, 그녀는 추가의 햅틱 효과를 수신하고 스티커(240) 위에 디스플레이되는 금고 문 열기 및 금고의 내부의 애니메이션을 제시 받을 수 있다. 그녀가 정확한 열림 번호를 넣지 않으면, 스티커(240)는 잘못된 열림 번호가 넣어진 것을 표시하는 햅틱 효과를 출력할 수 있다.
따라서, 도 2a 및 도 2b에서의 시스템(200)은 사용자가 가상 환경과의 상호 작용을 돕는데 스마트 스티커들을 어떻게 사용할 수 있는지 도시한다. 위에 논의된 예는 비디오 게임의 정황에서 설명되었지만, 이러한 기술들은, 사람의 가정 내의 기기들(예를 들어, 냉장고, 온수기, 텔레비전, 라디오, 스트리밍 디바이스, 게임 콘솔 등)을 제어하는 것, 온도 조절 장치, 도어 록 등과 상호 작용하는 것과 같은, 다른 설정들에서 사용 가능할 수 있다. 일부 예들에서는 웨어러블 디바이스와 물리적으로 상호 작용할 필요 없이 스마트폰들, 스마트워치들, 또는 다른 웨어러블 디바이스들에 대한 사용자 인터페이스들과 같이 가상 객체들과 함께 사용 가능할 수 있다.
예를 들어, 그녀의 가정 내에서 사용자는 기기들 또는 전자 디바이스들에 하나 이상의 스티커 디바이스들을 부착했을 수 있다. 따라서, 사용자가 가정에서 HMD를 이용하면, 그녀는 스티커 디바이스들을 적용한 기기들 또는 전자 디바이스들에 대한 가상 사용자 인터페이스들을 제시 받을 수 있다. 예를 들어, 거실에서 안락 의자에 앉아 있는 동안, 사용자는 스테레오에 있는 방을 건너편에서 바라보고, 볼륨 손잡이, 라디오 다이얼, 입력 선택들 등과 같은 스테레오에 대한 인터페이스 제어들을 갖는 가상 객체를 제시 받을 수 있다. 그녀는 다음으로 스테레오로부터 방 건너편에서 안락 의자에 남아 있으면서 인터페이스 제어들과 상호 작용하여 제스처들을 수행하는 것에 의해 라디오 국들을 변경하고, 볼륨을 변경하고, 상이한 오디오 또는 오디오/비주얼 입력 등으로 전환할 수 있다. 이러한 인터페이스들은, 온도들을 변경하는 온도 조절 장치에 관하여 또는 공기 컨디셔닝으로부터 가열, 경보 시스템들, 오븐들, 요리 범위들 등으로와 같이 다른 정황들에서 마찬가지로 제공될 수 있다. 따라서 스티커들은 가상 사용자 인터페이스들을 실제 환경 내의 임의의 적합한 디바이스에 제공하는데 이용될 수 있다.
이제 도 3을 참조하면, 도 3은 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 시스템(300)을 도시한다. 이러한 예에서, 시스템(300)은 (각각 각자의 바이저(320a-b)가 있는) 다수의 HMD들(320a-b)과 통신하는 서버(310)를 포함한다. 실제 환경 내에 배치되는 객체들(330a-b)은 스티커(340a-b)를 각각 구비한다. 서버(310)는, 게임 환경(예를 들어, 비디오 게임과 같은, 전체적으로 시뮬레이션된 게이밍 환경, 또는, 레이저 태그 또는 페인트볼 경기장에서와 같은, AR 게임 환경), 사무실 환경, 가정 환경 등과 같은, 가상 환경을 HMD들(320a-b)에 제공한다. 서버(310)는 네트워크(350)를 통해 원격 서버(360)로부터 정보를 획득한다. 획득된 정보는 가상 환경 정보(예를 들어, 가상 객체들 및 연관된 스티커들의 위치들 및 아이덴티티들), 햅틱 효과 정보, 사용자 계정 또는 프로파일 정보(하나 이상의 가상 객체와 상호 작용하기 위한 권한과 같은, 보안 정보를 포함함) 등을 포함할 수 있다.
이러한 예에서, 2명의 사용자들은 각각 그들 각자의 HMD(320a-b)를 통해 동일한 가상 환경과 상호 작용하고 있다. HMD들(320a-b)은 서버(310)와 무선으로 통신하여 가상 환경에 관한 정보를 획득하고, 하나 이상의 식별된 스티커(340a-b)에 관한 정보를 획득하고, 가상 환경 내의 가상 객체들을 획득하는 등이다. 또한, HMD들(320a-b)은 각자의 바이저(322a-b) 상에 가상 환경에 관한 정보를 디스플레이하고, 실제 환경 내의 HMD의 위치 또는 배향을 감지하는데 또는 스티커들(340a-b), 제스처들, 또는 다른 사용자 입력들을 검출하는데 사용될 수 있는 하나 이상의 센서를 포함한다.
서버(360)는 본 개시 내용에 따른 임의의 적합한 컴퓨팅 디바이스일 수 있다. 도 3에 도시되는 시스템(300) 내에서, 서버(360)는 서버(310)에 가상 환경 정보를 제공한다. 예를 들어, 서버(310)는 사용자가 비디오 게임을 활성화할 때, 또는 사용자가 가상 환경 내에서 상이한 영역을 넣을 때 가상 환경에 관한 정보를 획득하라는 요청을 서버(360)에 송신할 수 있다. 일부 예들에서, 서버(360)는 하나보다 많은 서버(310)와 통신하여, 상이한 위치들에 있는 다수의 사용자들로 하여금, 멀티플레이어 또는 대규모 멀티플레이어 게임의 정황에서와 같이, 공통 가상 환경과 상호 작용하게 할 수 있다.
네트워크(350)는 도 3에 도시되는 예에서 인터넷이다; 그러나 상이한 예들에서, 네트워크(350)는, 로컬 영역 네트워크, 광역 네트워크, 대도시 영역 네트워크 등과 같은, 임의의 적합한 통신 네트워크일 수 있다.
이제 도 4를 참조하면, 도 4는 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 시스템들 및 방법들과 함께 사용 가능한 예시적인 스티커 디바이스(400)를 도시한다. 이러한 예에서, 스티커 디바이스(400)는 메모리(420), 햅틱 출력 디바이스(430), 디스플레이(440), 무선 송수신기(450), 및 센서(460)와 통신하는 프로세서(410)를 포함한다.
프로세서(410)는, 햅틱 효과들을 결정하는, 햅틱 신호들을 생성하는, 디스플레이 신호들을 생성하는, 센서 신호들을 수신하는, 그리고 RF 송수신기(440)를 사용하여 정보를 송신 및 수신하는 것과 같은, 메모리(420)에 저장되는 프로세서 실행 가능 명령어들을 실행하도록 구성된다. 이러한 명령어들은 스티커가 설치되거나 또는 제조될 때 스티커 디바이스(400) 상에 프로그래밍될 수 있거나, 또는 이러한 명령어들은, RF 송수신기를 통해서와 같이, 동적으로 제공될 수 있다. 예를 들어, 햅틱 효과들 또는 아이덴티티 정보와 같은, 구성 파라미터들은 사용자가 게임을 시작할 때 컴퓨팅 디바이스 또는 사용자 인터페이스 디바이스(예를 들어, HMD)에 의해 스티커 디바이스(400)에 제공될 수 있다.
예를 들어, 도 2에 관하여 위에서 논의된 예시적인 시스템(200)에 관하여, 스티커 디바이스(400)에는 가상 금고 객체와 연관된 아이덴티티 정보가 제공될 수 있다. 추가적으로, 스티커 디바이스(400)에는, 키 누름 효과들, 열림 번호 성공 효과들, 및 열림 번호 실패 효과들과 같은, 가상 금고에 대한 가상 키패드와 연관된 햅틱 효과들이 제공될 수 있다. 이러한 효과들은 사용자가 게임을 시작할 때, 또는 사용자가 게임 환경 내에서 가상 금고를 마주칠 때 즉시 스티커 디바이스(400)에 송신될 수 있다. 따라서, 스티커 디바이스의 아이덴티티는, 게임 이벤트들(또는 다른 이벤트들)에 기초하여, 시간에 따라 변경될 수 있고, 새로운 정보가 스티커 디바이스(400)에 송신될 수 있다. 그러나, 일부 예들에서, 스티커 디바이스의 아이덴티티는 정적으로 배정될 수 있다.
이러한 예에서의 센서(460)는 이미지들을 프로세서(410)에 제공할 수 있는 카메라이다. 프로세서(410)는 카메라로부터 센서 신호들을 수신하고 사용자에 의해 수행되는 제스처들을 결정할 수 있다. 예를 들어, 프로세서(410)는 스티커 디바이스(400)와 연관된 가상 객체와 상호 작용하기 위해 사용자에 의해 수행되는 누름 제스처를 결정할 수 있다. 일부 예들에서는, 누름들, 트위스트들, 풀들, 스와이프들 등과 같은, 다른 타입들의 제스처들이 마찬가지로 결정될 수 있다.
다른 타입들의 센서들이 다양한 예들에 따라 이용될 수 있다. 예를 들어, 터치 센서들이 이용될 수 있고, 이는, 압력 기반 입력들(예를 들어, 누르기, 스와이프들 등), 접촉 제스처 입력들(멀티 터치 제스처들을 포함함) 등을 적용하기 위해서와 같이, 사용자로 하여금 스티커와 터치하고 상호 작용하게 한다. 적합한 터치 센서들은 용량성 또는 저항성 터치 센서들, 변형 게이지들, 압전 엘리먼트들, 광 커튼들 등을 포함할 수 있다. 터치 센서들은, 터치 감지 디스플레이의 경우에서와 같이, 일부 예들에서 디스플레이(440) 내에 통합될 수 있다. 그러나, 일부 예들에서, 터치 센서는 스티커 디바이스(400)의 임의의 표면에 연결될 수 있다.
일부 예들에서, 스티커 디바이스(400)는 하나 이상의 관성 센서들, "GPS"(Global Positioning System) 또는 유사한 위치 지정 센서들 등을 포함할 수 있다. 예를 들어, 스티커 디바이스(400)는 자신의 위치 또는 배향에서의 변경들을 검출하는 하나 이상의 가속도계, 자이로스코프 등을 포함할 수 있고, 이는 스티커 디바이스(400)로 하여금 실제 환경 내에서 자신의 배치를 결정하는 것 또는 자신의 이동을 추적하는 것을 가능하게 할 수 있다. 일 예에서, 스티커 디바이스(400)는 GPS 수신기를 포함할 수 있고, 이는 스티커 디바이스(400)로 하여금 자기 자신의 지리적 배치를 결정할 수 있게 할 수 있다. 이러한 배치 또는 배향 정보는 서버(310) 또는 원격 컴퓨터(360)에, 또는 하나 이상의 HMD에 제공될 수 있다. 이러한 배치 또는 배향은 다음으로 하나 이상의 가상 객체의 적절한 배치 및 배향을 결정하는데 이용될 수 있다.
스티커 디바이스(400)는 햅틱 출력 디바이스(430)를 또한 포함한다. 이러한 예에서의 햅틱 출력 디바이스(430)는 초음파들을 출력하는 스피커를 포함하는 비-접촉 기반 햅틱 출력 디바이스이다. 초음파들은 스피커에 근접하는 사용자의 손 또는 손가락(또는 다른 신체 부분)에 대한 비-접촉 촉각 자극을 생성하는데 사용될 수 있다. 일부 예들에서, 초음파들은, 압전 액추에이터들과 같은, 다른 타입들의 액추에이터들을 사용하여 생성될 수 있다. 추가로, 다른 타입들의 비-접촉 기반 햅틱 출력 디바이스들이 일부 예들에서 사용될 수 있다. 예를 들어, 적합한 비-접촉 기반 햅틱 출력 디바이스들은, 압축된 공기 카트리지, 정전기 햅틱 출력 디바이스들, 열 출력 디바이스들(예를 들어, 저항기들 또는 적외선 광원들) 등으로부터 공기의 퍼프들을 방출하는 밸브들 또는 노즐들과 같은, 압축된 공기 디스펜서들을 포함할 수 있다. 본 명세서에서 사용될 때, "비-접촉(non-contact)" 또는 "비-접촉 기반(non-contact-based)"이라는 용어는 객체, 예를 들어, 손가락 끝이 표면에 접촉하지 않는 동안 적용될 수 있는 힘들을 지칭한다는 점이 주목되어야 한다. 그러나, 이것이 객체와 표면 사이의 접촉을 배제하는 것은 아니다. 예를 들어, 햅틱 효과들은 표면과 접촉하는 손가락 끝에 여전히 적용될 수 있고, 사용자에 의해 여전히 느껴질 수 있거나, 또는 본 개시 내용에 따른 예들은, "ESF"(electrostatic force) 타입 햅틱 효과의 출력 동안과 같은, 비-접촉 기반 햅틱 효과의 출력 동안 객체와 표면 사이의 접촉을 초래할 수 있다.
본 개시 내용에 따른 예시적인 스티커 디바이스들은, DC 모터들, "ERM"(eccentric rotating masses), 선형 액추에이터들, 정전기 마찰 햅틱 출력 디바이스들, "MEMS"(micro-electromechanical systems) 엘리먼트들, 변형 햅틱 출력 디바이스들(예를 들어, 하이드로겔들, 형상 기억 합금들, 쌍 안정 엘리먼트들 등), 전자석들 등과 같은, 접촉 기반 햅틱 출력 디바이스를 포함할 수 있다. 추가로, 예시적인 스티커 디바이스는, 다수의 상이한 타입들의 햅틱 출력 디바이스들을 포함하는, 다수의 햅틱 출력 디바이스들을 포함할 수 있다.
이러한 예에서의 디스플레이(440)는, "LCD"(liquid crystal display), "LED"(light emitting diode) 디스플레이, "OLED"(organic LED) 디스플레이, e-잉크 디스플레이 등과 같은, 전자 디스플레이 디바이스를 포함한다. 디스플레이(440)는 디스플레이(440)로 하여금 이미지들 또는 텍스트를 디스플레이하게 하는 디스플레이 신호를 프로세서(410)로부터 수신할 수 있다. 예를 들어, 프로세서(410)는 디스플레이(440)로 하여금 스티커 디바이스(400)에 대한 식별 정보를 디스플레이하게 하는 디스플레이 신호를 생성하고 송신할 수 있다. 식별 정보는 바 코드(2차원 바 코드를 포함함), 영숫자 코드, 하나 이상의 심볼 또는 글리프 등일 수 있다. 일부 예들에서, 프로세서(410)는 디스플레이(440)로 하여금, 스티커 디바이스(400)에 대한 구성 정보, 스티커 디바이스(440)와 상호 작용하는 사용자 인터페이스 등과 같은, 다른 정보를 출력하게 하는 디스플레이 신호를 생성하고 송신할 수 있다.
RF 송수신기(450)는 프로세서(410)로 하여금 이러한 예에서 BLE를 사용하여 통신할 수 있게 하도록 구성된다. 그러나, BT, WiFi, NFC 등을 포함하는 다른 적합한 RF 송수신기들 또는 서브시스템들이 이용될 수 있다. 일부 예들에서, 스티커 디바이스(400)는 다수의 상이한 RF 송수신기들, 또는 다수의 상이한 무선 통신 기술들에 사용 가능한 RF 송수신기를 포함할 수 있다. 일부 예들에서, 스티커 디바이스(400)는 RF 송수신기를 통해 전력을 수신할 수 있다. 예를 들어, 스티커 디바이스(400)는 RFID 태그이거나 또는 이를 포함할 수 있고, RF 송신기로부터 전력을 획득할 수 있고, 후방산란 기술들을 사용하여 통신할 수 있다. 이러한 기술들은, 예를 들어, 스티커 디바이스(400)에 관한 아이덴티티 정보를 제공하는데 사용될 수 있다. 따라서, 임의의 적합한 무선 통신 기술(들)이 상이한 예들에 따라 이용될 수 있다.
위에서 논의된 스티커 디바이스(400)의 컴포넌트들은 스티커 디바이스(400)의 하우징 내에 배치된다. 이러한 하우징은 다양한 컴포넌트들이 배치될 수 있는 하나 이상의 내부 캐비티를 정의할 수 있다. 이러한 하우징은 스티커 디바이스(400)로 하여금 다른 객체에 물리적으로 연결될 수 있게 하는 연결 디바이스를 가질 수 있다. 적합한 연결 디바이스들은, 압력 감지 접착제와 같은, 접착제를 포함할 수 있다. 다른 예들은 객체로의 자기 연결을 가능하게 하는 강자성 재료 또는 철 재료를 포함할 수 있다. 일부 예들에서, 스티커들은 스트랩, 스크류, 못 등에 의해 객체에 부착될 수 있다. 일부 예들에서, 스티커들은, 손목밴드, 목걸이, 귀걸이들 등과 같은, 웨어러블 디바이스들에 통합될 수 있다.
도 4에 도시되는 예시적인 스티커 디바이스(400)는 다른 예들에서 존재하지 않을 수 있는 특정 컴포넌트들을 포함한다는 점이 이해되어야 한다. 예를 들어, 스티커 디바이스들은 센서들, 햅틱 출력 디바이스들, 디스플레이들, RF 송수신기들, 프로세서들, 또는 메모리를 포함하지 않을 수 있다. 예를 들어, 저렴한 실시예는 그것 상에 인쇄되는 고유 바 코드를 갖지만 임의의 처리 또는 다른 전자 컴포넌트들이 없는 접착제 레이블을 포함할 수 있다. 추가로, 도 4에 도시되는 컴포넌트들 중 하나 이상의 제거는, 본 명세서에 따른 적어도 일부 기능성을 여전히 가능하게 하면서, 비용 효율적인 스티커 디바이스들을 가능하게 할 수 있다. 예를 들어, 센서들 또는 햅틱 출력 디바이스들은, 여전히 HMD로 하여금 센서를 검출하고 센서와 연관된 가상 객체를 디스플레이하게 하면서, 일부 예들에서 이용되지 않을 수 있다. 또는 디스플레이가 포함되지 않을 수 있고, 대신에 식별 마킹들이 스티커 디바이스(400)에 대한 하우징 상에 인쇄되거나 또는 이에 부착될 수 있다. 이러한 예는, 도 1, 도 2a 및 2b, 및 도 3에 관하여 위에서 논의된 시스템들과 같은, 본 개시 내용에 따른 다양한 시스템들과 함께 이용될 수 있다.
이제 도 5를 참조하면, 도 5는 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 시스템들 및 방법들과 함께 사용 가능한 예시적인 컴퓨팅 디바이스(500)를 도시한다. 컴퓨팅 디바이스(500)는 메모리(520), 햅틱 출력 디바이스(530), 디스플레이(540), 네트워크 인터페이스(550), 및 센서(560)와 통신하는 프로세서(510)를 포함한다. 프로세서(510)는, 햅틱 효과들을 결정하는, 햅틱 신호들을 생성하는, 디스플레이 신호들을 생성하는, 센서 신호들을 수신하는, 그리고 네트워크 인터페이스(550)를 사용하여 정보를 송신 및 수신하는 것과 같은, 메모리(520)에 저장되는 프로세서 실행 가능 명령어들을 실행하도록 구성된다.
이러한 예에서, 컴퓨팅 디바이스(500)는 HMD의 일부이고, 디스플레이(540)는 HMD의 바이저 내에 통합된다. 그러나, 일부 예들에서, 컴퓨팅 디바이스는, 도 1에 도시되는 컴퓨팅 디바이스(110)와 같이, HMD 또는 다른 사용자 인터페이스 디바이스로부터 분리될 수 있다. 추가로, 도 3에 도시되는 것과 같이, 하나 이상의 서버 디바이스가 예시적인 컴퓨팅 디바이스들일 수 있거나 또는 이들을 포함할 수 있다.
이러한 예에서, 프로세서(510)는 센서(560)로부터 신호들을 수신하고 실제 환경 내의 하나 이상의 스티커를 검출하고, 검출된 스티커들과 연관된 하나 이상의 가상 객체에 기초하여 디스플레이 신호들을 생성한다. 디스플레이 신호들은 디스플레이(540)로 하여금 검출된 스티커들에 대응하는 HMD 바이저 내의 위치들에 가상 객체들을 디스플레이하게 하도록 구성된다. 예를 들어, 프로세서(510)는, 센서(560)로부터 수신되는 하나 이상의 센서 신호에 기초하여와 같이, 바이저에 관하여 스티커의 위치를 결정할 수 있다. 프로세서(510)는 다음으로 스티커에 대응하는 바이저 상의 위치를 결정하고, 바이저 상의 결정된 위치에 기초하여 가상 객체에 대한 디스플레이 위치를 결정할 수 있다. 추가로, 프로세서(510)는, 가상 객체로 하여금 검출된 스티커에 대응하는 위치에 남아 있게 하도록, 사용자에 의한 HMD 및 바이저의 이동에 기초하여와 같이, 시간이 지남에 따라 상이한 위치들에 가상 객체를 디스플레이할 수 있다.
프로세서(510)는 햅틱 출력 디바이스(530)로 하여금 하나 이상의 햅틱 효과를 출력하게 하는 햅틱 출력 신호들을 생성한다. 이러한 효과들은 도 4의 스티커 디바이스(400)에 관하여 위에서 논의된 것들 중 임의의 것일 수 있다. 추가로, 햅틱 출력 디바이스(530)는 본 개시 내용에 따른 임의의 적합한 햅틱 출력 디바이스일 수 있다. 이러한 햅틱 출력 디바이스(530)는 컴퓨팅 디바이스(500)의 하우징 내에 위치될 수 있거나, 손목밴드 또는 햅틱 장갑과 같이, 사용자에 의해 착용될 수 있거나, 또는 사용자에 의해 파지되는 조작체 내에 포함될 수 있다.
네트워크 인터페이스(550)는 본 개시 내용에 따른 임의의 적합한 유선 또는 무선 네트워크 인터페이스일 수 있다. 프로세서(510)는, HMD 또는 조작체와 같은, 사용자 디바이스와 통신하는데 네트워크 인터페이스(550)를 이용할 수 있다. 일부 예들에서, 네트워크 인터페이스(550)는, 도 3에 관하여 위에 설명된 바와 같이, 원격 서버 디바이스와의 통신들을 가능하게 할 수 있다. 네트워크 인터페이스 디바이스(550)는, BLE, BT, WiFi, 또는 NFC 통신 기술들을 통해서와 같이, 스티커 디바이스와의 무선 통신들을 추가로 가능하게 할 수 있다. 추가로, 일부 예시적인 컴퓨팅 디바이스들(500)은 다수의 네트워크 인터페이스들(550)을 포함할 수 있다.
이러한 예에서의 센서(560)는 카메라이다; 그러나, 일부 예들에서는 다수의 카메라들이 이용될 수 있다. 추가의 다른 타입들의 센서들이 마찬가지로 이용될 수 있다. 예를 들어, 센서들은 실제 환경에서 사용자 디바이스, 예를 들어, HMD의 배치 또는 배향을 감지하는 가속도계들, 자이로스코프들 등을 포함할 수 있다.
본 개시 내용에 따른 예시적인 컴퓨팅 디바이스들은 위에서 논의된 컴포넌트들 전부를 포함하지 않을 수 있다는 점이 이해되어야 한다. 예를 들어, 서버들로서 동작하도록 구성되는 컴퓨팅 디바이스들은 햅틱 출력 디바이스(530) 또는 센서(560)를 포함하지 않을 수 있거나, 또는 디스플레이(540)를 포함하지 않을 수 있다. 추가로, 일부 컴퓨팅 디바이스들은 센서들 또는 햅틱 출력 디바이스들을 포함하지 않을 수 있다. 대신에, 프로세서(510)는, HMD에 부착되는 컴퓨팅 디바이스와 같은, 다른 컴퓨팅 디바이스로부터 센서 정보를 수신할 수 있다. 유사하게, 컴퓨팅 디바이스(500)는 햅틱 출력 디바이스가 없을 수 있다. 일부 예들에서, 이러한 컴퓨팅 디바이스(500)는, HMD 또는 다른 사용자 조작체 내의 것과 같은, 햅틱 출력 디바이스(530)를 포함하는 다른 컴퓨팅 디바이스와 통신할 수 있어, 햅틱 신호들 또는 햅틱 커맨드들을 다른 컴퓨팅 디바이스에 제공한다. 컴퓨팅 디바이스들의 더욱 추가의 구성들이 상이한 예들에 따라 이용될 수 있다.
이제 도 6을 참조하면, 도 6은 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 방법(600)을 도시한다. 도 6의 설명은 도 3에 도시되는 예시적인 시스템(300), 도 4에 도시되는 예시적인 스티커 디바이스(400), 및 도 5에 도시되는 예시적인 컴퓨팅 디바이스(500)를 참조할 것이지만, 임의의 적합한 시스템, 스티커 디바이스, 또는 컴퓨팅 디바이스(500)가 본 개시 내용에 따라 이용될 수 있다는 점이 이해되어야 한다.
블록 610에서는, 스티커(340a)가 센서(460) 또는 센서들로부터 하나 이상의 센서 신호를 수신한다. 이러한 예에서, 센서(460)는 카메라이고 센서 신호(들)는 하나 이상의 이미지를 포함한다. 그러나, 일부 예들에서는, 근접 센서들(예를 들어, 초음파 센서들, 광 방출기/검출기, BT 비컨들 등), 터치 센서들, 압력 센서들 등과 같은, 다른 타입들의 센서들이 이용될 수 있다.
블록 620에서는, 스티커(340a)가 센서 신호들 중 하나 이상에 기초하여 제스처를 검출한다. 이러한 예에서, 스티커(340a)는 카메라로부터 수신되는 이미지들에 기초하여 제스처를 검출한다. 스티커의 프로세서(410)는 수신되는 이미지들을 입력들로서 사용하여 제스처 인식 기술을 실행한다. 이러한 기술들은 트레이닝된 머신 학습 기술들, 또는 임의의 다른 적합한 제스처 인식 기술을 사용하여 구현될 수 있다. 일부 예들에서, 사용자는 제스처 인식을 용이하게 하기 위해 또는 머신 학습 기술을 트레이닝하기 위해 프로세서(410) 또는 트레이닝된 머신 학습 기술에 의해 검출될 수 있는 하나 이상의 식별 마킹, 예를 들어, 광들, 대비 스폿들, 라인들, 또는 해시들 등이 있는 장갑을 착용하거나 또는 디바이스를 보유할 수 있다. 일부 예들에서, 프로세서(410)는 사용자에 의해 수행되는 검출된 제스처를 식별하는 정보를 원격 디바이스, 예를 들어, HMD 또는 서버로부터 수신할 수 있다.
블록 630에서는, 프로세서(410)가 검출된 제스처에 기초하여 햅틱 효과를 결정한다. 예를 들어, 프로세서(410)는 제스처들 및 대응하는 햅틱 효과들이 있는 룩-업 테이블을 액세스할 수 있다. 일부 예들에서, 메모리(420)는 다수의 룩-업 테이블들을 저장할 수 있고, 이들 중 하나 이상은 상이한 가상 환경, 상이한 애플리케이션, 상이한 가상 객체들 등과 연관될 수 있다. 따라서, 프로세서(410)는 현재-이후 가상 환경, 애플리케이션, 객체 등과 연관된 룩-업 테이블을 선택할 수 있다. 다음으로 이것은 검출된 제스처에 대응하는 햅틱 효과를 식별하기 위해 룩-업 테이블을 액세스할 수 있다. 예를 들어, 프로세서(410)는 사용자가 누름 제스처를 수행한 것으로 결정할 수 있고, 룩-업 테이블을 액세스하는 것 및 "누름(press)" 제스처에 대응하는 햅틱 효과를 식별하는 것에 의해 "누름(press)" 햅틱 효과를 결정할 수 있다.
햅틱 효과를 결정함에 있어서, 프로세서(410)는 햅틱 효과의 타입에 외에도 햅틱 효과의 크기 또는 지속 기간을 결정할 수 있지만, 일부 예들에서, 햅틱 효과는 디폴트 크기 및 지속 기간을 가질 수 있다. 예를 들어, 프로세서(410)는 스티커 디바이스(400)에 대한 사용자의 결정된 근접성에 기초하여 크기를 결정할 수 있다. 스티커 디바이스(400)가 비-접촉 기반 햅틱 출력 디바이스(430)를 포함하면, 프로세서(410)는 사용자까지의 또는 제스처를 수행한 사용자의 신체 부분까지의 결정된 거리에 기초하여 햅틱 효과의 크기를 결정할 수 있다. 이러한 결정은, 블록 610에 관하여 위에서 논의된 바와 같이, 근접 센서로부터 수신되는 센서 신호들에 기초할 수 있거나, 또는 HMD 또는 서버 디바이스와 같은, 원격 컴퓨팅 디바이스로부터 수신될 수 있다. 사용자 또는 사용자의 신체 부분이 스티커 디바이스(430)로부터 더 멀리 떨어져 있으면 더 큰 크기의 햅틱 효과가 필요할 수 있다. 예를 들어, 프로세서(410)는 룩 업 테이블에서와 같이 또는 하나 이상의 수학식들(예를 들어, 특정 출력 크기에서의 햅틱 효과의 인지 강도는 거리에 걸쳐 지수적으로 떨어질 수 있음)에 기초하여 계산되는 바와 같이 거리들에 대한 크기들의 스케일링 인자 또는 매핑을 액세스할 수 있다. 따라서, 프로세서는 사용자 또는 사용자의 신체 부분까지의 검출된 근접성 또는 거리 또는 적용될 햅틱 효과의 강도에 기초하여 크기를 결정할 수 있다(또는 디폴트 크기를 조정할 수 있음). 예를 들어, 결정된 햅틱 효과는, 룩-업 테이블에서와 같이, 연관된 크기를 가질 수 있다; 그러나, 명시된 크기를 적용하기 위해, 스티커 디바이스는 사용자까지의 거리를 수용하도록 햅틱 출력 디바이스의 출력을 스케일링할 필요가 있을 수 있다.
프로세서(410)는 햅틱 효과의 지속 기간을 또한 결정할 수 있다. 예를 들어, 프로세서(410)는 수행되는 제스처에 기초하여 지속 기간을 결정할 수 있다. 사용자가 누름 제스처를 수행하면, 프로세서(410)는, 스티커 디바이스(400)로부터 그들의 손을 드롭하는 것에 의해서 또는 그들의 손을 떨어지게 하는 것에 의해서와 같이, 사용자가 누름 제스처를 중단할 때까지 지속되는 지속 기간을 결정할 수 있다. 그러나, 일부 예들에서는, 햅틱 효과에 대한 디폴트 지속 기간이 사용될 수 있다. 대안적으로, 지속 기간은 사용자 또는 사용자의 신체 부분의 검출된 근접성에 기초할 수 있다. 예를 들어, 사용자 또는 신체 부분이 스티커 디바이스(400)로부터 더 멀리 떨어질 수록, 지속 기간이 더 길어질 수 있다. 이러한 예는, 심지어 스티커 디바이스(400)로부터 멀리 떨어져 있는 동안에도, 사용자가 햅틱 효과를 여전히 인지할 수 있다는 점을 보장하는데 도움이 될 수 있다.
블록 640에서는, 햅틱 효과로 하여금 출력되게 하도록 구성되는 햅틱 신호를 프로세서(410)가 송신한다. 이러한 예에서, 프로세서(410)는 햅틱 신호를 햅틱 출력 디바이스(430)에 송신한다. 일부 예들에서, 스티커 디바이스(400)는 다수의 햅틱 출력 디바이스(430)를 포함할 수 있고, 따라서 프로세서(410)는 출력될 햅틱 효과의 타입에 대응하는 햅틱 신호를 햅틱 출력 디바이스(430)에 출력할 수 있다. 예를 들어, 햅틱 효과가 비-접촉 기반 햅틱 효과인 것으로 결정되면, 프로세서(410)는 햅틱 효과 신호를, ERM과 같은 접촉 기반 햅틱 출력 디바이스 보다는 오히려, 압축된 공기 디바이스와 같은, 비-접촉 기반 햅틱 출력 디바이스에 송신할 수 있다. 일부 예들에서, 프로세서(410)는 햅틱 출력 디바이스의 유효 범위에 기초하여 하나 이상의 햅틱 출력 디바이스를 선택할 수 있다. 예를 들어, ESF 햅틱 출력 디바이스는 비-접촉 기반 햅틱 효과들을 제공할 수 있지만, 수 밀리미터의 범위 내에서이고, 한편 압축된 공기-타입 햅틱 출력 디바이스는 수 센티미터 내지 미터 이상의 유효 범위를 가질 수 있다. 따라서, 사용자까지의 검출된 거리가 20 센티미터이면, 프로세서(410)는 ESF 햅틱 출력 디바이스보다는 오히려 압축된 공기 타입 햅틱 출력에 햅틱 신호를 송신할 수 있다. 추가로, 프로세서(410)는, 룩-업 테이블로부터 햅틱 출력 디바이스를 결정하는 것에 의해서와 같이, 햅틱 효과를 결정할 때 블록 630에서 이러한 결정을 행할 수 있다.
일부 예들에서, 스티커 디바이스(400)는 햅틱 출력 디바이스를 포함하지 않을 수 있다. 따라서, 하나의 이러한 예에서, 프로세서(410)는 RF 송수신기를 사용하여 햅틱 신호를 사용자에 의해 이용되는 HMD(320a) 또는 다른 조작체에 송신할 수 있다.
이제 도 7을 참조하면, 도 7은 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 예시적인 방법(700)을 도시한다. 도 7의 설명은 도 3에 도시되는 예시적인 시스템(300), 도 4에 도시되는 예시적인 스티커 디바이스(400), 및 도 5에 도시되는 예시적인 컴퓨팅 디바이스(500)를 참조할 것이지만, 임의의 적합한 시스템, 스티커 디바이스, 또는 컴퓨팅 디바이스(500)가 본 개시 내용에 따라 이용될 수 있다는 점이 이해되어야 한다.
블록 710에서는, HMD(320a)와 연관된 프로세서(510)가 센서(560) 또는 센서들로부터 하나 이상의 센서 신호를 수신한다. 이러한 예에서, 센서(460)는 카메라이고 센서 신호(들)는 하나 이상의 이미지를 포함한다. 그러나, 일부 예들에서는, 레이저-기반 바코드 센서들, RF 센서들(예를 들어, NFC, RFID, BT, BLE 등) 등과 같은, 다른 타입들의 센서들이 이용될 수 있다. 위에서 논의된 바와 같이, 컴퓨팅 디바이스(500)는 실제 환경 내의 사용자의 배치, 배향, 이동 등을 검출하는 임의의 수의 센서들을 포함할 수 있다. 따라서, 일부 예들에서, 이러한 배치-관련 센서들은 실제 환경에서의 사용자의 배치를 결정하고 하나 이상의 스티커 디바이스에 대한 근접성을 결정하는데 이용될 수 있다. 예를 들어, 서버(310)는 실제 환경에서의 각각의 스티커 디바이스(340a-b)에 대한 물리적 위치들을 유지하고, 사용자들과 스티커들(340a-b) 사이의 상대적 근접성들을 결정할 수 있다. 대안적으로, HMD들(320a-b)은 이러한 정보를 액세스하고 사용자들과 스티커들(340a-b) 사이의 상대적 근접성들을 결정할 수 있다. 따라서, 일부 예들에서, 프로세서(510)는 실제 환경 내의 사용자의 배치를 결정하기 위해 이러한 센서들, 예를 들어, 가속도계들, 자이로스코프들 등 중 하나 이상으로부터 센서 신호들을 수신할 수 있다.
블록 720에서는, 프로세서(510)가 하나 이상의 스티커 디바이스(340a-b)를 검출한다. 이러한 예에서, 프로세서(510)는 블록 710에서 수신되는 하나 이상의 이미지를 사용하는 트레이닝된 머신 학습 객체 인식 기술을 사용하여 스티커를 검출한다. 객체 인식 기술은 시스템(300)에서 스티커들, 바코드들(일차원 또는 다차원), 숫자들 또는 문자들(예를 들어, "MICR"(magnetic ink character recognition)-스타일 폰트를 사용하여 디스플레이됨), 스티커들과 연관된 다른 글리프들 또는 심볼들의 형상들을 인식하도록 트레이닝될 수 있다
일부 예들에서, 프로세서(510)는 다른 타입들의 정보를 갖는 센서 신호들에 기초하여 스티커들을 검출할 수 있다. 예를 들어, HMD의 컴퓨팅 디바이스(500)는 BLE 비컨 또는 브로드캐스트 통신을 수신할 수 있거나, 또는 이것은 하나 이상의 스티커 디바이스(340a-b)에 의해 방출되는 가시 광 또는 인간 인지 범위 밖의 광, 예를 들어, 적외선 또는 자외선을 검출하는 것에 의해 이들을 검출할 수 있다.
일부 예들에서, HMD의 컴퓨팅 디바이스(500)는 서버(310,360)로부터 수신되거나, 또는 컴퓨팅 디바이스(500)에 의해 다른 방식으로 액세스 가능한 스티커 정보에 기초하여 스티커들을 검출할 수 있다. 이러한 스티커 정보는 스티커의 배치 정보, 배향 정보, 식별 정보, 능력들(예를 들어, RF 통신, 햅틱 출력 등) 등을 포함할 수 있다. HMD(320a)는 배치 센서들(예를 들어, 가속도계들, 자이로스코프들 등)을 사용하여 실제 환경 내의 자신의 배치 및 배향을 결정하고, 스티커 정보 및 HMD의 결정된 배치 및 배향에 기초하여 실제 환경 내의 알려진 위치들에 있는 하나 이상의 스티커가 사용자에게 보이는지 결정할 수 있다. 컴퓨팅 디바이스(500)는 다음으로 이러한 결정에 기초하여 하나 이상의 스티커를 검출한다.
일부 예들에서, 컴퓨팅 디바이스(500)는 검출된 스티커와 연관된 식별을 결정한다. 예를 들어, 컴퓨팅 디바이스(500)는, 카메라로부터 수신되는 하나 이상의 이미지로부터 이러한 정보를 추출하는 것에 의해서와 같이, 스티커로부터 바코드 또는 영숫자 시퀀스를 획득할 수 있다. 일부 예들에서, 컴퓨팅 디바이스(500)는 스티커 디바이스로부터 수신되는 RF 신호들에 기초하여 식별을 결정할 수 있다. 스티커 디바이스를 검출한 이후에, 컴퓨팅 디바이스(500)는 식별 정보를 요청하는 검출된 스티커에 RF 신호를 송신할 수 있다. 컴퓨팅 디바이스(500)는, 위에 설명된 바와 같이, 이러한 스티커들에 관한 배치 정보를 수신하는 것과 함께 환경에서의 하나 이상의 스티커에 관한 식별 정보를 수신할 수 있다.
블록 730에서는, 프로세서(510)가 검출된 스티커 디바이스와 연관된 가상 객체를 결정한다. 이러한 예에서, 프로세서(510)는 검출된 스티커에 기초하여 서버(310)로부터 하나 이상의 가상 객체를 요청하고, 이에 응답하여, 하나 이상의 가상 객체에 관한 정보를 수신한다. 이러한 정보는 가상 객체를 렌더링하는 그래픽 정보, 메모리(520)에 저장되는 하나 이상의 가상 객체에 관한 식별 정보, 햅틱 정보 등을 포함할 수 있다.
일부 예들에서는 특정 가상 객체를 결정하는 것 외에도, 컴퓨팅 디바이스(500)는 스티커 디바이스의 배치 또는 배향에 기초하여 가상 객체의 디스플레이되는 크기 또는 배향을 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스는 HMD로부터 검출된 스티커까지의 거리를 결정하고, 가상 객체의 명백한 크기가 HMD와 스티커 디바이스 사이의 거리에 기초하도록 가상 객체에 대한 스케일링 인자를 결정할 수 있다. 거리 정보는, 배치 또는 배향 정보와 같은, 스티커 디바이스로부터 수신되는 정보에 기초할 수 있거나, 또는 HMD(320a-b), 서버(310), 또는 원격 컴퓨팅 디바이스(360)에 의해 결정될 수 있다. 유사하게, 가상 객체의 배향은 스티커 디바이스로부터 수신되는 정보에 기초하여, 또는 카메라로부터 수신되는 하나 이상의 이미지로부터 결정된 배향과 같은, 수신되는 센서 신호로부터 결정되는 배향에 기초하여, 또는 스티커 디바이스의 배치 또는 배향을 감지하도록 구성되는 실제 환경 내의 하나 이상의 센서에 기초하여 결정될 수 있다.
블록 740에서는, 프로세서(510)가 가상 객체(들)를 디스플레이는 디스플레이 신호를 생성하여 HMD 디스플레이에 송신한다. 가상 객체들은 사용자 인터페이스 객체들, 게임 객체들(예를 들어, 무기, 게임 내 돈, 갑옷, 파워-업들 등), 비디오 게임 내의 하나 이상의 플레이어 캐릭터들 또는 비-플레이어 캐릭터들의 아바타들, 정보 디스플레이들, 광고 또는 홍보들 등을 포함할 수 있다. 일부 예들에서, 가상 객체들은 정적일 수 있고 시간에 따라 변경되지 않을 수 있다. 그러나, 사용자가 실제 환경 내에서 이동함에 따라, 가상 환경에서의 그녀의 관점이 변경될 수 있고, 이는 가상 객체에 대한 관점으로 하여금 변경되게 하여, 가상 객체의 상이한 부분을 디스플레이할 수 있다는 점이 이해되어야 한다. 따라서, 정적 가상 객체에 대한 디스플레이 신호들은 가상 객체의 상이한 부분들이 디스플레이됨에 따라 시간에 따라 변경될 수 있다. 또한, 시스템(300)은, 사용자 상호 작용 없이 가상 객체들이 이동하는 경우, 애니메이션된 가상 객체들을, 또는 사용자 상호 작용들에 기초하여 변경되고, 따라서 시간에 따라 변경될 수 있는 가상 객체들을 디스플레이할 수 있다.
또한, 사용자는, 가상 객체를 인벤토리에 수집하는 것, 또는 가상 객체에 의해 제공되는 기능성을 활성화 또는 비활성화하는 것, 가상 객체를 사용하여 디바이스에 대한 사용자 인터페이스 설정들을 변경하는 것, 또는 가상 객체를 이동시키키는 것, 또는 가상 객체와 싸우거나 또는 이를 파괴하는 것, 또는 다른 방식으로 가상 객체를 조작하는 것에 의해서와 같이, 일부 가상 객체들과 상호 작용하는 것이 가능할 수 있다. 이러한 가상 객체들과 상호 작용하기 위해, 사용자는 하나 이상의 제스처를 수행하고, 스티커 디바이스에 물리적으로 접촉하여 입력들(예를 들어, 압력 기반 제스처들을 포함하는 접촉 기반 제스처들)을 제공하고, 가상 객체 또는 가상 환경에 영향을 미치는 하나 이상의 커맨드들을 컴퓨팅 디바이스(500) 또는 서버(310)에 제공하는 조작체를 이용하는 등을 할 수 있으며, 이는 가상 객체의 디스플레이로 하여금 변경되게 할 수 있다.
블록 750에서는, 컴퓨팅 디바이스(500)가 햅틱 효과를 결정한다. 이러한 예에서 프로세서(510)는 디스플레이되는 가상 객체에 기초하여 햅틱 효과를 결정한다. 예를 들어, 프로세서(510)는 처음 디스플레이되는, 예를 들어, 사용자의 시야에 처음 나타나는 가상 객체에 기초하여 햅틱 효과를 결정할 수 있다. 일부 예들에서, 프로세서(510)는 가상 객체에 의해 취해지는 액션 또는 가상 객체와의 상호 작용에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 사용자는 가상 고양이와 연관되는 스티커를 그들의 팔뚝 또는 손에 적용할 수 있다. 사용자가 스티커를 볼 때, 그녀는 그녀의 팔 또는 손 상의 고양이 걸음의 애니메이션을 제시 받을 수 있다. 프로세서는 사용자의 팔 상의 고양이 걸음에 기초하여 하나 이상의 햅틱 효과를 결정할 수 있다. 대안적으로, 스티커가 실제 환경 내의 객체에 적용되고 전투 게임에서의 방어 시스템, 예를 들어, 레이저 무기와 연관되면, 프로세서(510)는 사용자가 방어 시스템에 의해 검출되었다는 또는 타겟화되었다는 것을 표시하는 햅틱 효과를 결정할 수 있다.
햅틱 효과들을 결정하는 것은 가상 객체와 연관된 햅틱 효과들, 또는, 경보들, 가상 객체로부터 취해지는 손상, 무기를 발사하는 것, 가상 객체의 이동 등과 같은, 가상 객체와 연관된 상호 작용들을 식별하는 하나 이상의 룩-업 테이블들을 액세스하는 것을 포함할 수 있다. 일부 예들에서, 프로세서(510)는 서버(310,360)로부터, 또는 스티커 디바이스(340a-b)로부터 햅틱 효과들 또는 햅틱 신호들을 수신할 수 있다. 예를 들어, 스티커 디바이스(340a)는 사용자와의 감지된 상호 작용에 기초하여 햅틱 효과를 결정할 수 있고, 사용자의 HMD(320)에 햅틱 효과를 생성하고 송신할 수 있으며, 여기서 컴퓨팅 디바이스(500)는 수신되는 햅틱 효과에 기초하여 햅틱 효과를 결정한다.
블록 760에서는, 햅틱 효과를 결정한 이후에, 프로세서(510)가 햅틱 신호를 햅틱 출력 디바이스에 송신한다. 이러한 예에서, 프로세서(510)는 햅틱 신호를 컴퓨팅 디바이스의 햅틱 출력 디바이스(530)에 송신한다. 그러나, 일부 예들에서 프로세서(510)는 스티커 디바이스로 하여금 햅틱 효과를 출력하게 하는 햅틱 신호를 스티커 디바이스에, RF 송신을 통해, 송신할 수 있다. 프로세서(510)는 햅틱 신호를 다른 HMD와 연관된 컴퓨팅 디바이스에, 또는 햅틱 효과들을 야기하는 다수의 상이한 디바이스들에 송신할 수 있다.
본 명세서의 방법들 및 시스템들의 일부 예들은 다양한 머신들에서 실행되는 소프트웨어의 관점에서 설명되지만, 이러한 방법들 및 시스템들은, 다양한 방법들을 구체적으로 실시하는 FPGA(field-programmable gate array)와 같은, 구체적으로 구성되는 하드웨어로서 또한 구현될 수 있다. 예를 들어, 디지털 전자 회로로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 이들의 조합으로 예들이 구현될 수 있다. 일 예에서, 디바이스는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는, 프로세서에 연결되는 RAM(random access memory)와 같은, 컴퓨터 판독 가능 매체를 포함한다. 프로세서는, 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리에 저장되는 컴퓨터-실행 가능 프로그램 명령어들을 실행한다. 이러한 프로세서들은 마이크로프로세서, DSP(digital signal processor), ASIC(application-specific integrated circuit), FPGA들(field programmable gate arrays), 및 상태 머신들을 포함할 수 있다. 이러한 프로세서들은 PLC들, PIC들(programmable interrupt controllers), PLD들(programmable logic device), PROM들(programmable read-only memories), EPROM들 또는 EEPROM들(electronically programmable read-only memories), 또는 다른 유사한 디바이스들과 같은 프로그램 가능 전자 디바이스들을 추가로 포함할 수 있다.
이러한 프로세서들은, 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세서에 의해 수행되거나, 또는 보조되는 것으로서 본 명세서에 설명되는 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들어, 컴퓨터 판독 가능 저장 매체를 포함할 수 있거나, 또는 이와 통신할 수 있다. 컴퓨터 판독 가능 매체의 예들은, 이에 제한되는 것은 아니지만, 웹 서버에서의 프로세서와 같은, 프로세서에 컴퓨터 판독 가능 명령어들을 제공할 수 있는 전자, 광학, 자기, 또는 다른 저장 디바이스를 포함할 수 있다. 매체의 다른 예들은, 이에 제한되는 것은 아니지만, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성되는 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함한다. 설명되는 프로세서 및 처리는 하나 이상의 구조로 이루어질 수 있고, 하나 이상의 구조를 통해 분산될 수 있다. 프로세서는 본 명세서에 설명되는 방법들(또는 방법들의 부분들) 중 하나 이상을 수행하기 위한 코드를 포함할 수 있다.
일부 예들의 전술한 설명은 예시 및 설명의 목적으로만 제시되었으며, 배타적인 것으로, 또는 본 개시 내용을 개시된 정확한 형태들로 제한하는 것으로 의도되는 것은 아니다. 본 개시 내용의 사상 및 범위를 벗어나지 않으면서 해당 분야에서의 기술자들에게는 그것의 수많은 수정들 및 적응들이 명백할 것이다.
본 명세서에서 예 또는 구현에 대한 참조는 해당 예와 관련하여 설명되는 특정 특징, 구조, 동작, 또는 다른 특성이 본 개시 내용의 적어도 하나의 구현에 포함될 수 있다는 점을 의미한다. 본 개시 내용은 이와 같이 설명되는 특정 예들 또는 구현들로 제한되는 것은 아니다. 본 명세서에서의 다양한 곳들에서의 문구들 "일 예에서(in one example)", "예에서(in an example)", "일 구현에서(in one implementation)", 또는 "구현에서(in an implementation)", 또는 동일한 것의 변형들의 출현이 반드시 동일한 예 또는 구현을 지칭하는 것은 아니다. 일 예 또는 구현에 관련하여 본 명세서에 설명되는 임의의 특정 특징, 구조, 동작, 또는 다른 특성은 임의의 다른 예 또는 구현에 관하여 설명되는 다른 특징들, 구조들, 동작들, 또는 다른 특성들과 조합될 수 있다.
본 명세서에서 단어 "또는(or)"의 사용은 포괄적 및 배타적 OR 조건들을 커버하도록 의도된다. 다시 말해서, A 또는 B 또는 C는 특정 사용에 적합한 다음의 대안 조합들 중 임의의 것 또는 모두를 포함한다: A 단독; B 단독; C 단독; A 및 B만; A 및 C만; B 및 C만; 및 A 및 B 및 C.

Claims (19)

  1. 증강 또는 가상 현실에서의 햅틱 상호 작용을 위한 스티커 디바이스로서,
    햅틱 출력 디바이스;
    프로세서 실행 가능 명령어들을 저장하는 비-일시적 컴퓨터 판독 가능 매체; 및
    상기 햅틱 출력 디바이스, 및 상기 비-일시적 컴퓨터 판독 가능 매체와 통신하는 프로세서를 포함하고, 상기 프로세서는 상기 프로세서 실행 가능 명령어들을 실행하여,
    센서로부터 센서 신호를 수신하도록;
    상기 센서 신호에 기초하여 햅틱 효과를 결정하도록; 그리고
    상기 햅틱 출력 디바이스로 하여금 햅틱 효과를 출력하게 하는 햅틱 신호를 상기 햅틱 출력 디바이스에 송신하도록 구성되는 스티커 디바이스.
  2. 제1항에 있어서,
    상기 햅틱 출력 디바이스는 비-접촉 햅틱 출력 디바이스를 포함하는 스티커 디바이스.
  3. 제2항에 있어서,
    상기 비-접촉 햅틱 출력 디바이스는 초음파 디바이스, 정전기 마찰 디바이스, 압축된 공기 디바이스를 포함하는 스티커 디바이스.
  4. 제1항에 있어서,
    하우징을 추가로 포함하고, 상기 하우징은 식별 메커니즘을 포함하는 스티커 디바이스.
  5. 제4항에 있어서,
    상기 식별 메커니즘은 바 코드, 디스플레이, 또는 "RFID"(radio frequency identification) 태그 중 적어도 하나인 스티커 디바이스.
  6. 제1항에 있어서,
    하우징을 추가로 포함하고, 상기 하우징은 상기 하우징을 객체에 연결하는 연결 디바이스를 포함하는 스티커 디바이스.
  7. 제6항에 있어서,
    상기 연결 디바이스는 접착제, 강자성 재료, 또는 철 재료인 스티커 디바이스.
  8. 제1항에 있어서,
    센서를 추가로 포함하고, 상기 센서는 카메라를 포함하고, 상기 센서 신호는 하나 이상의 이미지를 포함하고, 상기 프로세서는 상기 프로세서 실행 가능 명령어들을 실행하여 상기 센서 신호에 기초하여 제스처를 결정하도록 구성되는 스티커 디바이스.
  9. 디바이스로서,
    센서;
    프로세서 실행 가능 명령어들을 저장하는 비-일시적 컴퓨터 판독 가능 매체; 및
    상기 센서 및 상기 비-일시적 컴퓨터 판독 가능 매체와 통신하는 프로세서를 포함하고, 상기 프로세서는 상기 프로세서 실행 가능 명령어들을 실행하여,
    센서로부터 센서 신호를 수신하도록;
    상기 센서 신호에 기초하여 증강 또는 가상 현실에서의 햅틱 상호 작용을 위한 스티커 디바이스를 검출하도록;
    상기 스티커 디바이스와 연관된 가상 객체를 결정하도록; 그리고
    디스플레이 디바이스로 하여금 상기 가상 객체를 디스플레이하게 하는 신호를 출력하도록 구성되는 디바이스.
  10. 제9항에 있어서,
    상기 프로세서는 상기 프로세서 실행 가능 명령어들을 실행하여 상기 디스플레이 디바이스로 하여금 상기 스티커 디바이스에 대응하는 위치에 상기 가상 객체를 디스플레이하게 하는 신호를 출력하도록 구성되는 디바이스.
  11. 제9항에 있어서,
    상기 프로세서는 상기 프로세서 실행 가능 명령어들을 실행하여,
    원격 컴퓨팅 디바이스로부터 스티커 위치 정보를 수신하도록;
    상기 센서 신호에 기초하여 실제 환경에서 상기 디바이스에 대한 배치 및 위치 정보를 결정하도록; 그리고
    상기 디바이스에 대한 배치 및 위치 정보 및 상기 스티커 위치 정보에 기초하여 상기 스티커 디바이스를 검출하도록 구성되는 디바이스.
  12. 제9항에 있어서,
    상기 센서는 카메라를 포함하는 디바이스.
  13. 제12항에 있어서,
    상기 프로세서는 상기 프로세서 실행 가능 명령어들을 실행하여 상기 스티커 디바이스의 시각적 식별자를 결정하도록, 그리고 상기 시각적 식별자에 기초하여 상기 가상 객체를 결정하도록 구성되는 디바이스.
  14. 제12항에 있어서,
    상기 프로세서는 상기 프로세서 실행 가능 명령어들을 실행하여 상기 센서 신호에 기초하여 제스처를 결정하도록 구성되는 디바이스.
  15. 제9항에 있어서,
    상기 센서는 "RFID"(radio frequency identification) 판독기를 포함하는 디바이스.
  16. 제12항에 있어서,
    상기 프로세서는 상기 프로세서 실행 가능 명령어들을 실행하여 상기 RFID 판독기로부터 식별자를 수신하도록- 상기 식별자는 상기 스티커 디바이스와 연관된 RFID 태그로부터 획득됨 -, 그리고 상기 식별자에 기초하여 상기 가상 객체를 결정하도록 구성되는 디바이스.
  17. 제9항에 있어서,
    상기 프로세서는 상기 프로세서 실행 가능 명령어들을 실행하여 상기 디스플레이 디바이스로 하여금 상기 스티커 디바이스에 대응하는 위치에 상기 가상 객체의 애니메이션을 디스플레이하게 하는 신호를 출력하도록 구성되는 디바이스.
  18. 제9항에 있어서,
    상기 프로세서는 상기 프로세서 실행 가능 명령어들을 실행하여,
    상기 스티커가 사용자에 연결되어 있다고 결정하는 것에 응답하여, 상기 스티커로 하여금 접촉 기반 햅틱 효과를 출력하게 하는 신호를 상기 스티커 디바이스에 출력하도록; 그리고
    상기 스티커 디바이스가 상기 사용자에 연결되어 있지 않다고 그리고 상기 스티커 디바이스가 상호 작용 범위 내에 있다고 결정하는 것에 응답하여, 상기 스티커 디바이스로 하여금 비-접촉 햅틱 효과를 출력하게 하는 신호를 상기 스티커 디바이스에 출력하도록 구성되는 디바이스.
  19. 제18항에 있어서,
    상기 비-접촉 햅틱 효과는 초음파 효과, 정전기 마찰 효과, 압축된 공기 효과를 포함하는 디바이스.
KR1020190019864A 2018-02-23 2019-02-20 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 시스템들 및 방법들 KR20190101886A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/903,837 2018-02-23
US15/903,837 US20190265792A1 (en) 2018-02-23 2018-02-23 Systems and methods for haptifying virtual objects using smart stickers

Publications (1)

Publication Number Publication Date
KR20190101886A true KR20190101886A (ko) 2019-09-02

Family

ID=65576262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190019864A KR20190101886A (ko) 2018-02-23 2019-02-20 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 시스템들 및 방법들

Country Status (5)

Country Link
US (1) US20190265792A1 (ko)
EP (1) EP3531246A1 (ko)
JP (1) JP2019145103A (ko)
KR (1) KR20190101886A (ko)
CN (1) CN110187754A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11954324B2 (en) 2020-07-22 2024-04-09 Samsung Electronics Co., Ltd. Method for performing virtual user interaction, and device therefor

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3738108A4 (en) * 2018-01-11 2021-03-03 Access Solutions, LLC SYSTEMS AND PROCESSES ALLOWING AN ACCOUNTABILITY FOR THE EXCLUSION OF FOREIGN COMPONENTS
US10748391B2 (en) * 2018-12-27 2020-08-18 Immersion Corporation Haptic signal conversion system
US11790070B2 (en) 2021-04-14 2023-10-17 International Business Machines Corporation Multi-factor authentication and security
US11676311B1 (en) 2021-11-29 2023-06-13 International Business Machines Corporation Augmented reality replica of missing device interface
CN114281195B (zh) * 2021-12-27 2022-08-05 广东景龙建设集团有限公司 一种基于虚拟触觉手套的装配石材的选择方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9035874B1 (en) * 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
WO2014152729A2 (en) * 2013-03-14 2014-09-25 Matthew Weiner Finger splint system
US9619027B2 (en) * 2013-07-12 2017-04-11 Disney Enterprises, Inc. Using vortices to provide tactile sensations corresponding to a visual presentation
US9600076B2 (en) * 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9754464B1 (en) * 2015-04-27 2017-09-05 Evernote Corporation Haptic communications
US9934754B2 (en) * 2015-09-30 2018-04-03 Daqri, Llc Dynamic sensor array for augmented reality system
US10102722B2 (en) * 2015-12-18 2018-10-16 Immersion Corporation Wearable article having an actuator that performs non-haptic and haptic operations
US10073525B2 (en) * 2016-06-16 2018-09-11 Immersion Corporation Systems and methods for a low profile haptic actuator

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11954324B2 (en) 2020-07-22 2024-04-09 Samsung Electronics Co., Ltd. Method for performing virtual user interaction, and device therefor

Also Published As

Publication number Publication date
CN110187754A (zh) 2019-08-30
EP3531246A1 (en) 2019-08-28
US20190265792A1 (en) 2019-08-29
JP2019145103A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
KR20190101886A (ko) 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 시스템들 및 방법들
CN108170262B (zh) 触觉环绕功能
US11045725B1 (en) Controller visualization in virtual and augmented reality environments
CN110168618B (zh) 增强现实控制系统和方法
CN105094313B (zh) 用于为远程交互提供触觉反馈的系统和方法
JP6591805B2 (ja) 静電触覚効果を提供する表面要素のためのシステム及び方法
CN111566599B (zh) 交互式系统和方法
JP2020091904A (ja) システムおよびコントローラ
CN105739683A (zh) 为增强和虚拟现实应用生成触觉加强的对象的系统和方法
EP3540561A1 (en) Systems and methods for viewport-based augmented reality haptic effects
US20180232051A1 (en) Automatic localized haptics generation system
US11755111B2 (en) Spatially aware computing hub and environment
CN103970265A (zh) 具有触觉反馈的增强现实用户接口
US20230185364A1 (en) Spatially Aware Computing Hub and Environment
EP3262437A1 (en) Controller visualization in virtual and augmented reality environments
EP3214528B1 (en) Gesture feedback
US20150084848A1 (en) Interaction between generic interaction devices and an interactive display
US20200201438A1 (en) Haptic Fiducial Sticker
US11455035B2 (en) Inputs to virtual reality devices from touch surface devices
US20240012496A1 (en) Computer Systems with Handheld Controllers
CN117298590A (zh) 一种虚拟现实的交互方法、相关装置、设备以及存储介质