KR20200079176A - 햅틱 기준 스티커 - Google Patents

햅틱 기준 스티커 Download PDF

Info

Publication number
KR20200079176A
KR20200079176A KR1020190138581A KR20190138581A KR20200079176A KR 20200079176 A KR20200079176 A KR 20200079176A KR 1020190138581 A KR1020190138581 A KR 1020190138581A KR 20190138581 A KR20190138581 A KR 20190138581A KR 20200079176 A KR20200079176 A KR 20200079176A
Authority
KR
South Korea
Prior art keywords
haptic
sticker
uid
reference sticker
computer
Prior art date
Application number
KR1020190138581A
Other languages
English (en)
Inventor
알렉시아 맨더빌
산야 아타리
지. 더글라스 빌링톤
제이. 크리스토퍼 울리히
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20200079176A publication Critical patent/KR20200079176A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 증강 현실(AR) 환경을 위한 햅틱 기준 스티커를 제공한다. 햅틱 기준 스티커는 터치 센서, 무선 통신 인터페이스 및 햅틱 출력 디바이스를 포함한다. 터치 센서는 터치 또는 사용자 접촉을 검지하도록 구성된다. 무선 통신 인터페이스는 고유 식별자(unique identifier)(UID)를 송신하고, 햅틱 효과를 포함하며 UID와 연관된 햅틱 콘텐츠를 수신하도록 구성된다. 햅틱 출력 디바이스는, 터치 센서가 터치 또는 사용자 접촉을 검지할 때, 햅틱 효과를 렌더링하도록 구성된다.

Description

햅틱 기준 스티커{HAPTIC FIDUCIAL STICKER}
본 발명은 햅틱 디바이스에 관한 것이다. 보다 구체적으로, 본 발명은 햅틱 기준 스티커(haptic fiducial sticker)에 관한 것이다.
예를 들어, 증강 현실(AR) 환경, 가상 현실(VR) 환경, 컴퓨터 게임 등과 같은 컴퓨터-생성된 환경(computer-generated environment)들은 전형적으로 시각적 및 청각적 신호들(cues)을 사용하여 사용자에게 피드백을 제공한다. 특정 AR 환경들에서, 호스트 전자 디바이스는 촉감 피드백 및/또는 운동감각 피드백을 사용자에게 제공할 수 있다. 촉감 피드백은 "촉감 햅틱 피드백" 또는 "촉감 햅틱 효과들"로 알려져 있고, 예를 들어, 진동, 질감, 온도 변화 등을 포함할 수 있다. 운동감각 피드백은 "운동감각 햅틱 피드백" 또는 "운동감각 햅틱 효과들"로 알려져 있으며, 예를 들어, 활동력 및 저항력 피드백을 포함할 수 있다. 일반적으로, 촉감 및 운동감각 피드백은 집합적으로 "햅틱 피드백" 또는 "햅틱 효과들"로 알려져 있다. 햅틱 효과들은 특정 이벤트에 대한 간단한 경고들을 증강시키는 것으로부터 AR 환경 내의 사용자를 위한 더 감각적인 몰입을 창출하는 것에 이르기까지 사용자의 호스트 전자 디바이스와의 상호 작용을 강화시키는 신호들을 제공한다.
특정 AR 환경들에서, 기준 마커들(fiducial markers)은, 사용자의 헤드 마운티드 디스플레이(HMD) 또는 AR, VR 또는 혼합된 현실 상호 작용들을 가능하게 하는 임의의 다른 디바이스의 위치를 추적하는 것을 용이하게 하기 위한 기준 점으로서 기능하기 위해, 사용자의 물리적 환경에 배치될 수 있다. 디바이스에 장착된 카메라는, 사용자의 물리적 환경을 보고, AR 애플리케이션은 카메라의 시야에 존재할 수 있는 임의의 기준 마커들을 검지한다. 기준 마커들은 그들의 형상, 색상 또는 임의의 다른 시각적 특성에 의해 검지되는 물리적 객체들이다. 예를 들어, 일부 기준 마커들은 QR(quick response) 코드와 같이 가시적 표면(visible surface)상에 각인된 매트릭스 바코드(matrix barcode)를 포함할 수 있다. AR 애플리케이션은 AR 환경 내의 컴퓨터-생성된 이미지들을 표시함으로써 기준 마커의 검지에 응답할 수 있지만, 공지된 기준 마커들은 사용자와 상호 작용하지 않는 수동 객체들이다.
본 발명의 실시예들은 AR 환경을 위한 햅틱 시스템, AR 환경을 위한 햅틱 인터페이스 또는 기준 스티커, 및 햅틱 가능 AR 시스템(haptically-enabled AR system)에서 햅틱 콘텐츠를 렌더링하기 위한 방법을 유리하게 제공한다.
햅틱 인터페이스 또는 기준 스티커는 터치 센서, 무선 통신 인터페이스 및 햅틱 출력 디바이스를 포함한다. 터치 센서는 터치 또는 사용자 접촉을 검지하도록 구성된다. 무선 통신 인터페이스는 고유 식별자(unique identifier)(UID)를 송신하고, 햅틱 효과를 포함하며 UID와 연관된 햅틱 콘텐츠를 수신하도록 구성된다. 햅틱 출력 디바이스는, 터치 센서가 터치 또는 사용자 접촉을 검지할 때, 햅틱 효과를 렌더링하도록 구성된다.
도 1은 본 발명의 일 실시예에 따른 햅틱 가능 AR 시스템의 블록도를 도시한다.
도 2는 본 발명의 일 실시예에 따른, AR 환경을 위한 햅틱 시스템의 블록도를 도시한다.
도 3은 본 발명의 일 실시예에 따른, AR 환경을 위한 햅틱 기준 스티커의 블록도를 도시한다.
본 발명의 일 실시예에 따라, 도 4a는 햅틱 기준 스티커를 도시하고, 도 4b는 햅틱 기준 스티커와 연관된 시각적 콘텐츠를 도시하고, 도 4c는 햅틱 기준 스티커와 연관된 햅틱 콘텐츠를 도시한다.
본 발명의 다른 실시예에 따라, 도 5a는 햅틱 기준 스티커를 도시하고, 도 5b는 햅틱 기준 스티커와 연관된 시각적 콘텐츠를 도시하고, 도 5c 및 5d는 햅틱 기준 스티커와 연관된 햅틱 콘텐츠를 도시한다.
도 6은, 본 발명의 일 실시예에 따라, 햅틱 가능 AR 시스템에서 시각적 및 햅틱 콘텐츠를 창출하기 위한 기능성을 나타내는 흐름도를 도시한다.
도 7은, 본 발명의 일 실시예에 따라, 햅틱 가능 AR 시스템에서 햅틱 콘텐츠를 렌더링하기 위한 기능성을 나타내는 흐름도를 도시한다.
도 8 및 9는, 본 발명의 일 실시예에 따라, 햅틱 가능 AR 시스템에서 햅틱 콘텐츠를 렌더링하기 위한 선택적 기능성을 도시한다.
도 10은, 본 발명의 일 실시예에 따라, 햅틱 가능 AR 시스템을 위한 햅틱 콘텐츠를 렌더링하기 위한 기능성을 나타내는 흐름도를 도시한다.
이제 본 발명의 실시예들이 도면들을 참조하여 설명될 것이고, 도면들에서 전체에 걸쳐 유사한 참조 번호들은 동일한 부분들을 지칭한다. 본 발명의 실시예들은 AR 환경을 위한 햅틱 시스템, AR 환경을 위한 햅틱 기준 스티커, 및 햅틱 가능 AR 시스템에서 햅틱 콘텐츠를 렌더링하기 위한 방법을 유리하게 제공한다.
도 1은 본 발명의 일 실시예에 따른 햅틱 가능 AR 시스템의 블록도를 도시한다. 햅틱 가능 AR 시스템(10)은 AR 서버(20), 네트워크(30) 및 햅틱 시스템(40)을 포함한다.
AR 서버(20)는 콘텐츠 개발자가 AR 애플리케이션을 위한 시각적 및 햅틱 콘텐츠를 창출하는 컴퓨터이다. 특정 실시예들에서, AR 서버(20)는 또한, 햅틱 시스템(40)을 위한 AR 애플리케이션을 공개하고, 호스팅하고, 서비스하는 것 등을 행한다.
네트워크(30)는, 예를 들어, 구리선 또는 동축 케이블 네트워크, 광섬유 네트워크, 블루투스 무선 네트워크, WiFi 무선 네트워크, CDMA, FDMA 및 TDMA 셀룰러 무선 네트워크 등과 같은 유선 및/또는 무선 네트워크들의 다양한 조합들을 포함할 수 있고, 예를 들어, 유선 및 무선 이더넷, 블루투스 등과 같은 다양한 네트워크 프로토콜들을 실행한다.
이 실시예에서, 햅틱 시스템(40)은 스마트 폰(50) 및 하나 이상의 햅틱 기준 스티커(200)를 포함한다. 스마트 폰(50)은, 하기에 더 상세히 논의되는 바와 같이, 컴퓨터(100), 디스플레이(170) 및 하나 이상의 입력/출력(I/O) 디바이스(180)(예를 들어, 카메라)를 포함한다.
AR 서버(20) 및 스마트 폰(50)은 네트워크(30)에 연결된다. 햅틱 기준 스티커(200)들은 전형적으로 네트워크(30)에 연결되지 않지만, 특정 예들에서, 햅틱 기준 스티커(200)들은 네트워크(30)에 연결될 수 있다.
도 2는, 본 발명의 일 실시예에 따른, AR 환경을 위한 햅틱 시스템의 블록도를 도시한다. 햅틱 시스템(40)은 컴퓨터(100), 디스플레이(170), 하나 이상의 I/O 디바이스(180) 및 햅틱 기준 스티커(200)들을 포함한다.
컴퓨터(100)는, 예를 들어, 스마트 폰, 스마트워치, 휴대용 게임 디바이스, 가상 현실 헤드셋 등과 같이, 휴대용 전자 디바이스 내에 통합될 수 있다. 컴퓨터(100)는, 버스(110), 프로세서(120), 메모리(130), 디스플레이 인터페이스(140), I/O 인터페이스(들)(150) 및 무선 통신 인터페이스(들)(160)를 포함한다. 디스플레이 인터페이스(140)는 디스플레이(170)에 결합된다. I/O 인터페이스(150)는 I/O 디바이스(180)에 결합된다. 일반적으로, 무선 통신 인터페이스(160)는, 컴퓨터(100)가 특정 무선 통신 프로토콜에 따라 가변될 수 있는 무선 통신 범위 내에 있을 때, 햅틱 기준 스티커(200)에 무선으로 결합될 수 있다.
버스(110)는, 프로세서(120), 메모리(130), 디스플레이 인터페이스(140), I/O 인터페이스(150) 및 무선 통신 인터페이스(160)뿐만 아니라 도 1에 도시되지 않은 다른 구성요소들 사이에서 데이터를 전송하는 통신 시스템이다. 전원 커넥터(112)는, 버스(110) 및 배터리 등과 같은 전원(도시 생략)에 결합된다.
프로세서(120)는, 컴퓨터(100)를 위한 계산 및 제어 기능들을 수행하기 위한 하나 이상의 범용 또는 애플리케이션-전용 마이크로 프로세서를 포함한다. 프로세서(120)는, 마이크로-프로세싱(micro-processing) 디바이스와 같은 단일 집적 회로, 또는 프로세서(120)의 기능들을 달성하기 위해 협력하여 작동하는 다중 집적 회로 디바이스들 및/또는 회로 기판들을 포함할 수 있다. 또한, 프로세서(120)는, 메모리(130) 내에 저장되는 운영체제(132), AR 애플리케이션(134), 기타 애플리케이션(136) 등과 같은 컴퓨터 프로그램들을 실행할 수 있다.
메모리(130)는 프로세서(120)에 의해 실행되기 위한 명령어들 및 정보를 저장한다. 메모리(130)는 데이터를 검색, 제시, 수정 및 저장하기 위한 다양한 구성요소들을 포함할 수 있다. 예를 들어, 메모리(130)는, 프로세서(120)에 의해 실행될 때, 기능성을 제공하는 소프트웨어 모듈들을 저장할 수 있다. 모듈들은 컴퓨터(100)에 운영체제 기능성을 제공하는 운영체제(132)를 포함할 수 있다. 모듈들은 또한, 시각적 및 햅틱 콘텐츠를 사용자에게 제공하는 AR 애플리케이션(134)을 포함할 수 있다. 특정 실시예들에서, AR 애플리케이션(134)은 복수의 모듈을 포함할 수 있고, 각각의 모듈은 시각적 및 햅틱 콘텐츠를 사용자에게 제공하기 위한 특정 개별 기능성을 제공한다. 애플리케이션(136)은 시각적 및 햅틱 콘텐츠를 사용자에게 제공하기 위해 AR 애플리케이션(134)과 협력하는 다른 애플리케이션들을 포함할 수 있다.
일반적으로, 메모리(130)는 프로세서(120)에 의해 액세스될 수 있는 다양한 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다. 다양한 실시예들에서, 메모리(130)는 휘발성 및 비휘발성 매체, 비이동식 매체 및/또는 이동식 매체를 포함할 수 있다. 예를 들어, 메모리(130)는 임의 접근 메모리("RAM"), 동적 RAM(DRAM), 정적 RAM(SRAM), 읽기 전용 메모리("ROM"), 플래시 메모리, 캐시 메모리 및/또는 임의의 기타 유형의 비일시적 컴퓨터 판독가능 매체를 포함할 수 있다.
디스플레이 인터페이스(140)는 디스플레이(170)에 결합된다.
I/O 인터페이스(150)는 I/O 디바이스(180)로부터 데이터를 송신 및/또는 수신하도록 구성된다. I/O 인터페이스(150)는 프로세서(120)로부터 I/O 디바이스(180)로 전송될 데이터를 인코딩하는 것, 및 I/O 디바이스(180)로부터 수신된 데이터를 프로세서(120)를 위해 디코딩하는 것에 의해, 프로세서(120)와 I/O 디바이스(180) 사이의 접속을 가능하게 한다. 데이터는, USB(Universal Serial Bus) 연결, 이더넷 등과 같은 유선 연결, 또는 Wi-Fi, 블루투스 등과 같은 무선 연결을 통해, 전송될 수 있다.
무선 통신 인터페이스(160)는 안테나(162)에 결합된다. 무선 통신 인터페이스(160)는 하나 이상의 무선 프로토콜을 사용하여 햅틱 기준 스티커(200)들과의 무선 연결을 제공한다. 블루투스, BLE(Bluetooth Low Energy), iBeacon, RFID(Radio-Frequency Identification), NFC(Near Field Communication) 등을 비롯하여 다양한 저전력 무선 통신 기술들이 이용될 수 있다.
디스플레이(170)는 스마트 폰의 액정 디스플레이(LCD), AR 헤드셋의 LCD, 한 쌍의 AR 안경의 이미지 프로젝터들 및 렌즈 등일 수 있다.
일반적으로, I/O 디바이스(180)는 컴퓨터(100)에 입력을 제공하도록 구성되는 주변 디바이스이고, 햅틱 피드백을 사용자에게 제공할 수 있다. I/O 디바이스(180)는 무선 연결 또는 유선 연결을 사용하여 컴퓨터(100)에 작동 가능하게 연결된다. I/O 디바이스(180)는 유선 또는 무선 연결을 사용하여 컴퓨터(100)와 통신하도록 구성되는 통신 인터페이스에 결합된 로컬 프로세서를 포함할 수 있다.
I/O 디바이스(180)는 사용자가 보는 물리적 환경의 전방(forward-looking) 비디오 이미지를 제공하는 카메라일 수 있다.
일례에서, 컴퓨터(100), 디스플레이(170) 및 I/O 디바이스(180) (즉, 카메라)는 도 1에 도시된 바와 같이 스마트 폰(50) 내에 통합된다. 스마트 폰(50)은 손에 들고 사용할 수 있거나, AR 헤드셋에 장착될 수 있다. 다른 예에서, 컴퓨터(100), 디스플레이(170) 및 카메라는 AR 헤드셋 내에 통합된다. 다른 예에서, 디스플레이(170) 및 카메라는 AR 헤드셋 또는 AR 안경에 통합되고, 반면에 컴퓨터(100)는 AR 헤드셋 또는 AR 안경에 통신 가능하게 결합된 별도의 전자 디바이스이다. AR 헤드셋들 및 스마트폰-기반의 헤드 마운티드 디바이스(HDM)들의 경우, 컴퓨터-생성된 AR 환경이 카메라에 의해 제공되는 비디오 이미지 상에 중첩된(overlaid) 다음, 디스플레이(170)에 표시된다. AR 안경의 경우, 물리적 환경은 렌즈를 통해 직접 보이고 컴퓨터-생성된 AR 환경은 렌즈 상에 투영된다.
I/O 디바이스(180)는 웨어러블 디바이스일 수 있다. 예를 들어, I/O 디바이스(180)는 햅틱 장갑, 스마트워치, 스마트 팔찌, 핑거팁 햅틱 디바이스(fingertip haptic device)(FHD) 등일 수 있다.
I/O 디바이스(180)는 하나 이상의 센서를 포함할 수 있다. 센서는 에너지 또는 다른 물리적 특성의 형태를 검지하고, 검지된 에너지 또는 다른 물리적 특성을 전기 신호로 변환하도록 구성된다. 그런 다음, I/O 디바이스(180)는 변환된 신호를 I/O 인터페이스(150)로 전송한다.
일반적으로, 센서는 음향 또는 사운드 센서, 전기 센서, 자기 센서, 압력 센서, 가속도계 등과 같은 모션 센서, GPS(Global Positioning System) 수신기 등과 같은 내비게이션 센서, 위치 센서, 근접 센서, 이동-관련 센서, 카메라와 같은 이미징 또는 광학 센서, 힘 센서, 온도 또는 열 센서 등일 수 있다. 센서는 일부 실시예들에서, 센서 및 액추에이터 둘 다로서 기능하는 압전 폴리머들과 같은 스마트 재료(smart material)들을 포함할 수 있다.
I/O 디바이스(180)는 햅틱 액추에이터 등과 같은 하나 이상의 햅틱 출력 디바이스를 포함할 수 있다. 햅틱 출력 디바이스는, 햅틱 신호를 수신하는 것에 응답하여, 진동촉감 햅틱 효과, 운동감각 햅틱 효과, 변형 햅틱 효과 등과 같은 햅틱 효과들을 출력한다.
일반적으로, 햅틱 출력 디바이스는 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기-활성 폴리머, 솔레노이드, 편심 회전 질량 모터("ERM"), 고조파 ERM 모터("HERM"), 선형 액추에이터, 선형 공진 액추에이터("LRA"), 압전 액추에이터, 고대역폭 액추에이터, 전기활성 폴리머("EAP") 액추에이터, 정전기 마찰 디스플레이, 초음파 진동 발생기 등일 수 있다. 일부 경우에, 햅틱 액추에이터는 액추에이터 구동 회로를 포함할 수 있다.
햅틱 기준 스티커(200)들은, 사용자에 의해 터치되거나 접촉될 때, 사용자에게 햅틱 피드백을 직접 제공하거나, 시각적 스캔의 결과로서 다른 형태 인자들에 대한 햅틱들의 활성화를 용이하게 할 수 있는 전자 디바이스들이다. 특정 실시예들에서, 사용자가 햅틱 기준 스티커(200)에 근접할 때, I/O 디바이스(180)는 햅틱 기준 스티커(200)에 의해 사용자에게 직접 제공되는 임의의 햅틱 피드백과 조합되거나, 이와 무관하게, 햅틱 피드백을 사용자에게 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른, AR 환경을 위한 햅틱 기준 스티커의 블록도를 도시한다.
햅틱 기준 스티커(200)는 무선 통신 인터페이스(202), 프로세서(204), 햅틱 출력 디바이스(206), 메모리(208) 및 전원(210)을 포함한다.
햅틱 기준 스티커(200)는 프로세서(204)의 비휘발성 메모리 또는 메모리(208) 내에 인코딩된 고유 식별자(UID)를 갖는다. 터치 센서(205)는 프로세서(204)에 결합된다. 특정 실시예들에서, 프로세서(204)는 존재하지 않고, 무선 통신 인터페이스(202)는 터치 센서(205) 및 햅틱 출력 디바이스(206)에 결합된다. 이들 실시예에서, UID는 무선 통신 인터페이스(202)의 비휘발성 메모리 또는 메모리(208) 내에 인코딩될 수 있다.
용량성 센서, 광학 센서, 근접 센서, 전압 변경 회로, 터치 힘 센서 등과 같은 여러 다른 기술들이 사용자의 터치, 접촉 또는 근접성을 감지하기 위해 사용될 수 있다.
용량성 센서들은, 손가락이나 물체가 용량성 센서를 터치하거나 접촉하거나 근접해 있을 때, 커패시턴스(capacitance)에서의 변화를 검지한다. 용량성 센서들은, 전형적으로, 동박(copper foil)과 같은 도전성 물질의 작고 얇은 시트를 포함하지만, 임의의 적절한 도전성 물질이 사용될 수도 있다. 용량성 센서들은, 인쇄 회로 기판(PCB) 또는 플렉스 회로(flex circuit) 상의 금속 트레이스들(metal traces)을 포함할 수 있고, 매우 저렴하다. 용량성 센서를 위한 검지 회로는, 예를 들어, 커패시턴스에서의 변화를 검지하기 위해 발진기들을 사용하는 단일 집적 회로(IC)일 수 있다. 다른 예에서, 프로세서(204)는 포트 핀(port pin)을 통해 액세스 가능한 내장형 용량 감지(CAP SENSE) 회로를 포함할 수 있다. 기타 검지 회로 설계들이 또한, 고려된다.
특정 광학 센서들은, 전자기 스펙트럼의 적외선, 가시 광선 또는 자외선 부분에서 반사되거나 차단되는 광을 감지한다. 이들 광학 센서는 광을 송신하는 "송신기" 및 송신기로부터 수신된 광량을 검지하는 "수신기"를 포함한다. 광이 반사되거나 차단되고, 검지된 광량이 특정 임계값 미만으로 떨어지면, 광학 센서는 터치 또는 접촉 이벤트가 발생했다는 통지(notification)를 제공한다. 다른 광학 센서들은 "수신기"를 포함할 수 있지만 "송신기"는 포함하지 않을 수 있다. 이들 광학 센서는 주변 광에 대해 작동하며 근접 이벤트들도 감지할 수 있다.
근접 센서들은 반드시 사용자가 센서를 터치하거나 접촉할 것을 요구하는 것은 아니며; 대신에, 근접 센서는 사용자가 해당 센서에 "근접해 있을" 시점을 감지한다. 예를 들어, 특정 근접 센서들은 유전 물질(dielectric material)을 통해서도 특정 거리에서 손가락, 손, 물체 등의 존재를 감지하도록 "전하이동(charge-transfer)" 원리를 이용하여 작동한다. 여러 근접 센서들이 근접뿐만 아니라 터치도 감지할 수 있다. 예를 들어, Quantum QT240-ISSG는 터치 또는 부근-근접성(near-proximity)을 감지할 수 있는 독립된(self-contained) 디지털 센서 IC이다. 다른 근접 센서들은 여러 상이한 감지 기술들을 포함할 수 있다. 예를 들어, Azoteq IQS621은 다기능, 주변 광 감지(ambient light sensing)(ALS), 커패시턴스, 홀-효과 및 유도형(Hall-effect and inductive) 센서이다.
전압 변경 회로들은, 손가락이 트리거 핀(trigger pin)에 부착된 금속을 터치할 때 존재하는 작은 전압을 "트리거링"함으로써, 터치 또는 접촉을 감지하는 간단한 원샷(one-shot) 디지털 디바이스이다. 예를 들어, Signetics NE555 시간 IC는 이러한 유형의 터치 또는 접촉 검지 회로에서 플립 플롭 소자로서 사용될 수 있고, 이는 사용자의 손가락에 의해 야기된 전압의 변화를 검지한다. 터치 힘 센서들은 터치 또는 접촉 감지에 사용될 수도 있는 변형계(strain gauge)들 및 FSR(Force Sensing Resistor)들을 포함한다. Interlink FSR 400은 전자 디바이스들의 인간 터치 제어에 사용하기 위해 최적화된 FSR 센서이다.
무선 통신 인터페이스(202)는 안테나(203)에 연결되고 컴퓨터(100)와의 무선 연결을 제공한다. 무선 통신 인터페이스(202)는 블루투스, BLE(Bluetooth Low Energy), iBeacon, RFID(Radio-Frequency Identification), NFC(Near Field Communication) 등을 포함하는 하나 이상의 무선 통신 프로토콜을 제공할 수 있다.
햅틱 출력 디바이스(206)는 진동촉감 햅틱 효과, 운동감각 햅틱 효과, 변형 햅틱 효과, 온도 햅틱 효과(temperature haptic effect), 후각 햅틱 효과(olfactory haptic effect) 등을 제공할 수 있다. 햅틱 출력 디바이스(206)는, 예를 들어, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기-활성 폴리머, 솔레노이드, 편심 회전 질량 모터("ERM"), 고조파 ERM 모터("HERM"), 선형 액추에이터, 선형 공진 액추에이터("LRA"), 압전 액추에이터, 고대역폭 액추에이터, 전기활성 폴리머(electroactive polymer)("EAP") 액추에이터, 정전기 마찰 디스플레이, 초음파 진동 발생기, 후각 효과 또는 향기 발생기 등일 수 있다. 일부 경우에, 햅틱 액추에이터는 액추에이터 구동 회로를 포함할 수 있다. 단일 햅틱 출력 디바이스(206)가 도 3에 도시되어 있지만, 햅틱 기준 스티커(200)의 다른 예들은, 예를 들어, 진동 햅틱 효과(vibration haptic effect) 및 후각 햅틱 효과 등과 같은 상이한 햅틱 효과들을 렌더링하는 다수의 햅틱 출력 디바이스(206)를 포함할 수 있다.
특정 실시예들에서, UID와 연관된 햅틱 콘텐츠는 메모리(208)에 저장된다. 햅틱 콘텐츠는 하나 이상의 햅틱 효과를 포함한다. 이들 실시예에서, 햅틱 기준 스티커(200)는, 사용자에 의해 터치되거나 접촉될 때, 메모리(208)에 저장된 햅틱 효과를 사용자에게 렌더링한다.
전원(210)은 무선 통신 인터페이스(202), 프로세서(204), 햅틱 출력 디바이스(206) 및 메모리(208)에 결합된다. 전원(210)은 배터리, 태양열, 주위 무선 주파수(RF), 미생물 연료 전지, 압전 등을 포함할 수 있다. 이들 전원의 조합들이 또한, 고려된다.
도 4a는 본 발명의 일 실시예에 따른 햅틱 기준 스티커를 도시한다.
햅틱 기준 스티커(400)는, 예를 들어, 집의 방, 식당의 테이블과 같은 물리적 환경의 객체 상에 배치될 수 있는 게임 피스(game piece)(즉, 도미노)의 물리적 표현이다. 햅틱 기준 스티커(400)는, 직사각형과, 중심선에 의해 2개의 영역으로 분할된 전면을 갖는다. 각각의 지역은, 전형적으로, 0 스팟에서 6 스팟까지 다수의 스팟으로 마킹된다. 이들 물리적 특성은 컴퓨터(100)에 의한 햅틱 기준 스티커(400)의 시각적 검지를 용이하게 한다. 햅틱 기준 스티커(400)는, 햅틱 기준 스티커(400)를 물리적 환경의 물체에 일시적으로(또는 영구적으로) 부착시키기 위해, 비-영구적인 접착제, 미끄럼 방지 재료(non-slip material), 고무 패드 등을 포함할 수 있는 후면을 갖고, 이는 상이한 목적으로 고정부(fixture)의 재배치를 용이하게 할 것이다.
도 5a는 본 발명의 다른 실시예에 따른 햅틱 기준 스티커를 도시한다.
햅틱 기준 스티커(500)는, 예를 들어, 식당, 집의 테이블과 같은 물리적 환경의 객체 상에 배치될 수 있는 소금통의 물리적 표현이다. 햅틱 기준 스티커(500)는, 단부가 돔 형상인 장방형을 갖는다. 이들 물리적 특성은 컴퓨터(100)에 의한 햅틱 기준 스티커(500)의 시각적 검지를 용이하게 한다. 햅틱 기준 스티커(500)는 또한, 물리적 환경의 대상에 햅틱 기준 스티커(500)를 제거 가능하게(또는 영구적으로) 부착하기 위해, 비-영구적인 접착제, 미끄럼 방지 재료, 고무 패드 등을 포함할 수 있는 후면을 갖는다.
도 6은, 본 발명의 일 실시예에 따라, 햅틱 가능 AR 시스템을 위한 시각적 및 햅틱 콘텐츠를 창출하기 위한 기능성을 도시한 흐름도를 도시한다.
일반적으로, AR 애플리케이션은 물리적 환경의 시각적 도시와 시각적 정보와 같은 컴퓨터-생성된 정보를 결합한 AR 환경을 창출한다. 임의의 AR 애플리케이션은 본 명세서에 설명된 햅틱 기준 스티커들의 장점들을 통합할 수 있다. 따라서, AR 서버(20)는 콘텐츠 개발자로 하여금 시각적 콘텐츠 및 햅틱 콘텐츠를 창출하여 AR 애플리케이션으로 통합할 수 있게 하는 콘텐츠 개발 소프트웨어 도구들을 포함할 수 있다.
AR 애플리케이션은, 카메라(I/O 디바이스(180))로부터 비디오 신호를 수신하고 비디오 신호를 처리한 다음, 비디오 신호를 디스플레이(170) 상에 디스플레이하는 것에 의해, 물리적 환경의 시각적 도시(visual depiction)를 창출할 수 있다. 예를 들어, 전방 카메라를 갖춘 AR 헤드셋(HMD); 헤드 마운티드 스마트 폰(HMD); 핸드 헬드 스마트 폰; 가시 광선, 근적외선, 적외선 및/또는 열 화상을 갖춘 헬멧 마운티드 나이트 비전 디바이스(NVD); 핸드헬드 NVD 등을 비롯하여, 다양한 휴대용 전자 디바이스가 AR 환경을 호스팅하기 위해 사용될 수 있다.
대안적으로, 사용자는 한 쌍의 AR 안경의 렌즈를 통해 물리적 환경을 직접 볼 수 있고, AR 애플리케이션은 컴퓨터-생성된 정보를 AR 안경의 렌즈(디스플레이(170))상에 투영할 수 있다. 사용자가 물리적 환경을 직접 보고 보다 최근의 HMD 모델들은 내장 카메라를 포함하더라도, 햅틱 기준 스티커(200)를 검지하기 위해 카메라(I/O 디바이스(180))가 AR 안경에 장착될 수 있다.
실시예(600)와 관련하여, 610에서, 햅틱 기준 스티커에 대한 시각적 콘텐츠가 AR 서버(20)에서 창출된다. 시각적 콘텐츠는 그래픽, 3D 모델, 애니메이션 등을 포함할 수 있다. 도 4b는 한 줄로 넘어지는 도미노들의 애니메이션(410)(또는 애니메이션 시퀀스)인 햅틱 기준 스티커(400)에 대한 시각적 콘텐츠를 도시한다. 다른 예에서, 도 5b는 소금을 뿌리는 소금통의 애니메이션(510)(또는 애니메이션 시퀀스)인 햅틱 기준 스티커(500)에 대한 시각적 콘텐츠를 도시한다. 햅틱 기준 스티커(500)에 대한 시각적 콘텐츠는 또한, 식당의 새로운 메뉴 항목을 도시하는 그래픽(도시 생략)을 포함할 수 있다. 일반적으로, 특정 햅틱 기준 스티커(200)에 대한 시각적 콘텐츠의 창출은 선택적이다.
620에서, 햅틱 기준 스티커에 대한 햅틱 콘텐츠가 AR 서버(20)에서 창출된다. 햅틱 콘텐츠는 진동, 힘, 온도, 냄새 등을 포함할 수 있다. 일례에서, 도 4c는 한 줄의 넘어지는 도미도들과 연관된 진동 햅틱 효과(420)인 햅틱 기준 스티커(400)에 대한 햅틱 콘텐츠를 도시한다. 다른 예에서, 도 5c 및 5d는 햅틱 기준 스티커(500)에 대한 햅틱 콘텐츠를 도시한다. 도 5c는 소금을 뿌리는 소금통과 연관된 진동 햅틱 효과(520)를 도시하고, 반면에 도 5d는 소금을 뿌리는 소금통과 연관된 후각 햅틱 효과(530)를 도시한다. 예를 들어, 후각 햅틱 효과(530)는 햅틱 기준 스티커(500) 내에 통합된 향기 발생기에 의해 재현될 수 있는 사전-정의된(pre-defined) 향기들의 목록으로부터 특정 향기 식별자(ID)에 대한 선택을 포함할 수 있다.
630에서, 시각적 콘텐츠 및 햅틱 콘텐츠는 AR 서버(20)에서 햅틱 기준 스티커(200)에 링크된다. 햅틱 기준 스티커(200)에 대한 시각적 콘텐츠가 창출되면, 시각적 콘텐츠는 햅틱 기준 스티커(200)의 UID에 링크된다. 예를 들어, 애니메이션(410)은 햅틱 기준 스티커(400)의 UID에 링크되고, 애니메이션(510)은 햅틱 기준 스티커(500)의 UID에 링크된다. 햅틱 콘텐츠는 각각의 햅틱 기준 스티커(200)에 대해 창출되므로, 각각의 햅틱 콘텐츠는 각각의 햅틱 기준 스티커(200)의 UID에 링크된다. 예를 들어, 진동 햅틱 효과(420)는 햅틱 기준 스티커(400)의 UID에 링크되고, 진동 햅틱 효과(520) 및 후각 햅틱 효과(530)는 햅틱 기준 스티커(500)의 UID에 링크된다.
일반적으로, 시각적 콘텐츠는 하나 이상의 애니메이션, 3D 모델, 그래픽 등과 같은 다수의 요소를 포함할 수 있다. 유사하게, 햅틱 콘텐츠는 하나 이상의 진동 햅틱 효과, 힘 피드백 햅틱 효과, 온도 햅틱 효과, 후각 햅틱 효과 등을 포함할 수 있다.
추가적으로, 햅틱 콘텐츠는 각각의 사용자에 대해 맞춤화될 수 있다. 예를 들어, 특정 햅틱 기준 스티커(200)가 두 상이한 향기, 예를 들어, 여성의 퍼퓸(perfume) 또는 남성 콜로뉴(cologne)를 생성하는 햅틱 출력 디바이스(206)를 포함하면, 컴퓨터(100)로부터 특정 햅틱 기준 스티커(200)로 송신되는 햅틱 콘텐츠는, 단일 향기 효과, 즉 여성 사용자를 위한 여성 퍼퓸 또는 남성 사용자를 위한 남성 콜로뉴를 포함할 것이다. 일반적으로, 햅틱 기준 스티커(200)에 대한 햅틱 콘텐츠는 성별, 연령 등과 같은 특정 사용자 특성들 또는 설정들, 또는 특정 정책들에 따라 사용자에 대해 필터링될 수 있다.
햅틱 기준 스티커(200)들이 배치될 수 있는 다른 예시적인 물리적 환경들은 박물관, 식료품점 등을 포함한다. 박물관 전시회들은 식료품점 제품 디스플레이들이 행하는 것처럼 햅틱 기준 스티커(200)들을 갖는 AR 환경을 통한 증강에 특히 적합하다. 햅틱 기준 스티커(200)들에 대한 다른 예시적인 용도는, 가구, 의류, 게임 등과 같은 광고 및 정치 캠페인을 포함한다.
640에서, 시각 및 햅틱 콘텐츠를 포함하는 AR 애플리케이션이 AR 서버(20)상에 공개된다. 컴퓨터(100)는 수개의 상이한 방식으로 AR 서버(20)상의 AR 애플리케이션에 액세스할 수 있다.
예를 들어, 컴퓨터(100)는, 네트워크(30)를 통해 AR 서버(20)로부터 독립형 AR 애플리케이션을 다운로드하고, 독립형 AR 애플리케이션을 메모리(130)에 저장한 다음, 프로세서(120)를 사용하여 독립형 AR 애플리케이션을 실행하여, AR 환경을 사용자에게 제공할 수 있다.
다른 예에서, 컴퓨터(100)는 네트워크(30)를 통해 AR 서버(20)로부터 클라이언트 AR 애플리케이션을 다운로드하고, 클라이언트 AR 애플리케이션을 메모리(130)에 저장한 다음, 프로세서(120)를 사용하여 클라이언트 AR 애플리케이션을 실행하여, AR 서버(20)에 의해 호스팅되는 서버 AR 애플리케이션과 협력하여 AR 환경을 제공할 수 있다.
다른 예에서, 컴퓨터(100)는 네트워크(30)를 통해 AR 서버(20)로부터 씬 클라이언트(thin client) AR 애플리케이션을 다운로드하고, 씬 클라이언트 AR 애플리케이션을 메모리(130)에 혹은 프로세서(120)에 로컬인 메모리에 저장한 다음, 프로세서(120)를 사용하여 씬 클라이언트 AR 애플리케이션을 실행하여, AR 서버(20)에 의해 호스팅되는 서버 AR 애플리케이션과 협력하여 AR 환경을 제공할 수 있다. 씬 클라이언트 AR 애플리케이션은 광범위한 메모리 등이 없는 컴퓨터(100)의 특정 구현예에 바람직할 수 있고, 전형적으로 서버 AR 애플리케이션 내에 AR 환경의 기능성의 대부분을 할당한다.
650에서, 햅틱 기준 스티커들은 사용자의 물리적 환경에 배치된다. 예를 들어, 햅틱 기준 스티커(400)는 집의 방에 있는 테이블에 배치될 수 있고, 햅틱 기준 스티커(500)는 식당의 테이블 등에 배치될 수 있다.
도 7은, 본 발명의 일 실시예에 따라, 햅틱 가능 AR 시스템을 위한 햅틱 콘텐츠를 렌더링하기 위한 기능성을 나타내는 흐름도를 도시한다.
실시예(700)와 관련하여, 710에서, 컴퓨터(100)는 햅틱 기준 스티커(200)를 검지한다. 일 실시예에서, 햅틱 기준 스티커(200)는 카메라(I/O 디바이스(180))를 사용하여 검지될 수 있다. 예를 들어, 햅틱 기준 스티커(200)의 특정 시각적 특성은, 고유한 형상, 고유한 마킹들, QR 코드 등과 같이, 카메라의 시야에서 인식될 수 있다.
다른 실시예에서, 햅틱 기준 스티커(200)는 컴퓨터(100)와 햅틱 기준 스티커(200) 사이의 무선 신호를 사용하여 검지될 수 있다. 예를 들어, 무선(블루투스, BLE, RFID 등) 신호 강도 표지기(signal strength indicator)가 컴퓨터(100)와 햅틱 기준 스티커(200) 사이의 거리를 결정하기 위해 사용될 수 있다. 햅틱 기준 스티커(200)들은 그들의 UID를 연속적으로 방송하는 능동 디바이스(active device) 또는 비콘으로서 구성될 수 있다. 대안적으로, 햅틱 기준 스티커(200)들은 컴퓨터(100)로부터 무선 신호를 청취하고, 일단 수신되면, 그들의 UID를 무선 연결을 통해 컴퓨터(100)에 송신하는 수동 디바이스로서 구성될 수 있다.
다른 실시예에서, 컴퓨터(100)는 GPS 수신기(I/O 디바이스(180))를 포함한다. 예를 들어, 햅틱 기준 스티커(200)의 위치가 선험적으로 알려진 경우, 컴퓨터(100)는, 햅틱 기준 스티커(200)의 위치, 및 십진법(decimal degrees)(DD), 도, 분, 초(degrees, minutes, seconds)(DMS) 등의 위도/경도 좌표와 같은 GPS 위치 정보에 기초하여, 햅틱 기준 스티커(200)가 사용자에게 근접해 있는지를 검지할 수 있다.
720에서, 컴퓨터(100)는 컴퓨터(100)와 햅틱 기준 스티커(200) 사이의 무선 연결을 통해 햅틱 기준 스티커(200)로부터 UID를 수신한다. 여러 예들에서, 무선 연결은 블루투스, BLE, RFID 등을 사용하여 로컬로 확립된다. 다른 예들에서, 무선 연결은 WiFi 등을 사용하여 네트워크(30)를 통해 확립된다. UID는 표준 또는 주문형 무선 통신 프로토콜에 따라 포맷된 메시지를 통해 수신될 수 있다.
730에서, 컴퓨터(100)는 UID와 연관된 햅틱 콘텐츠를 결정한다. 독립형 AR 애플리케이션(134)의 경우, 프로세서(120)는 메모리(130)에서 UID와 연관된 햅틱 콘텐츠를 검색한다. 클라이언트 AR 애플리케이션(134)의 경우, 프로세서(120)는 UID와 연관된 햅틱 콘텐츠를 결정하기 위해 네트워크(30)를 통해 AR 서버(20)와 통신한다.
740에서, 컴퓨터(100)는, 컴퓨터(100)와 햅틱 기준 스티커(200) 사이의 무선 연결을 통해, UID와 연관된 햅틱 콘텐츠를 햅틱 기준 스티커(200)에 송신한다. 이전과 같이, 여러 예들에서, 무선 연결은 블루투스, BLE, RFID 등을 사용하여 로컬로 확립된다. 다른 예들에서, 무선 접속은 WiFi 등을 사용하여 네트워크(30)를 통해 확립된다.
750에서, 햅틱 기준 스티커(200)는, 예를 들어, 하나 이상의 손가락, 손 등을 사용하여 사용자가 햅틱 기준 스티커(200)를 터치하고 있는지 또는 접촉하고 있는지를 결정한다. 사용자가 햅틱 기준 스티커(200)를 터치하거나 접촉하고 있다면, 흐름이 계속된다.
760에서, 햅틱 콘텐츠가 사용자에게 렌더링된다. 일례에서, 햅틱 기준 스티커(200)는 전체 햅틱 효과를 사용자에게 렌더링한다. 햅틱 효과는 진동 햅틱 효과(420), 진동 햅틱 효과(520) 등과 같은 진동 햅틱 효과일 수 있다. 햅틱 효과는 또한, 힘 피드백 햅틱 효과, 온도 햅틱 효과, 후각 햅틱 효과(530) 등과 같은 향기일 수 있다.
다른 예에서, 햅틱 기준 스티커(200)는 햅틱 효과의 제1 부분을 사용자에게 렌더링하고, 컴퓨터(100)는 하나 이상의 햅틱 출력 디바이스(I/O 디바이스(180))를 통해 햅틱 효과의 제2 부분을 사용자에게 렌더링한다. 햅틱 효과의 제1 부분은 햅틱 기준 스티커(200)에 의해 사용자의 손가락에 직접 렌더링되는 진동 햅틱 효과일 수 있고, 반면에 햅틱 효과의 제2 부분은 햅틱 출력 디바이스에 의해 렌더링되는 다른 진동 햅틱 효과일 수 있다. 대안적으로, 진동 햅틱 효과들은 동일할 수 있다. 타이밍과 관련하여, 햅틱 효과의 제1 부분은 햅틱 효과의 제2 부분과 동시에 렌더링될 수 있고, 햅틱 효과의 제1 부분은 햅틱 효과의 제2 부분과 상이한 시간에 렌더링될 수 있고, 햅틱 효과의 제1 부분 및 햅틱 효과의 제2 부분의 렌더링은 시간 등에서 부분적으로 중첩될 수 있다. 컴퓨터(100) 및 햅틱 출력 디바이스는 사용자가 소지하고 있는 웨어러블 디바이스에 제공될 수 있다. 햅틱 효과들의 다양한 조합들이 고려된다.
다른 예에서, 컴퓨터(100)는 하나 이상의 햅틱 출력 디바이스(I/O 디바이스(180))를 통해 햅틱 효과를 사용자에게 렌더링한다. 예를 들어, AR HMD(I/O 디바이스(180))는 햅틱 기준 스티커(200) 상의 QR 코드를 스캔하고, 관련 햅틱 효과는 햅틱 출력 디바이스에 의해 렌더링된다. 컴퓨터(100) 및 햅틱 출력 디바이스는, 스마트워치, AR HMD 등과 같이, 사용자가 소지하고 있는 웨어러블 디바이스에 제공될 수 있다. 이 예에서는, 어떤 직접적인 사용자 터치 또는 접촉도 필요하지 않다.
도 8은, 본 발명의 일 실시예에 따라, 햅틱 가능 AR 시스템에서 햅틱 콘텐츠를 렌더링하기 위한 선택적 기능성을 도시한다.
720(도 7) 이후에, 722에서, 컴퓨터(100)는 UID와 연관된 시각적 콘텐츠를 결정한다. 독립형 AR 애플리케이션(134)의 경우, 프로세서(120)는 메모리(130)에서 UID와 연관된 시각적 콘텐츠를 검색한다. 클라이언트 AR 애플리케이션(134)의 경우, 프로세서(120)는 네트워크(30)를 통해 AR 서버(20)와 통신하여 UID와 연관된 시각적 콘텐츠를 결정한다.
724에서, 컴퓨터(100)는 디스플레이(170)를 통해 UID와 연관된 시각적 콘텐츠를 사용자에게 렌더링한다. 예를 들어, 애니메이션(410)은 디스플레이(170)를 통해 사용자에게 렌더링될 수 있고, 애니메이션(510)은 디스플레이(170) 등을 통해 사용자에게 렌더링될 수 있다. 흐름은 730(도 7)으로 계속된다.
도 9는, 본 발명의 일 실시예에 따라, 햅틱 가능 AR 시스템에서 햅틱 콘텐츠를 렌더링하기 위한 선택적 기능성을 도시한다.
740(도 7) 이후에, 742에서, 컴퓨터(100)는 사용자가 햅틱 기준 스티커(200)에 근접해 있는지를 결정한다.
일 실시예에서, 햅틱 기준 스티커(200)에 대한 근접성은 카메라(I/O 디바이스(180))를 사용하여 결정될 수 있다. 예를 들어, 햅틱 기준 스티커(200)에 대한 근접성이 결정될 수 있는, 고유한 형상, 고유한 마킹들, QR 코드 등과 같은 햅틱 기준 스티커(200)의 특정 시각적 특성의 크기는, 카메라의 시야에서 인식될 수 있다.
다른 실시예에서, 햅틱 기준 스티커(200)에 대한 근접성은 컴퓨터(100)와 햅틱 기준 스티커(200) 사이의 무선(블루투스, BLE, RFID 등) 신호를 사용하여 결정될 수 있다. 예를 들어, 무선 신호 강도 표지기는 컴퓨터(100)와 햅틱 기준 스티커(200) 사이의 거리를 결정하기 위해 사용될 수 있다.
다른 실시예에서, 햅틱 기준 스티커(200)에 대한 근접성은 GPS 수신기(I/O 디바이스(180))를 사용하여 결정될 수 있다. 예를 들어, 햅틱 기준 스티커(200)의 위치가 선험적으로 알려진 경우, 햅틱 기준 스티커(200)애 대한 근접성은 햅틱 기준 스티커(200)의 알려진 위치, 및 십진법(DD), 도, 분, 초(DMS) 등의 위도/경도 좌표와 같은 GPS 위치 정보에 기초하여 결정될 수 있다.
햅틱 기준 스티커(200)가 사용자에게 근접해 있는 것으로 결정된 거리 또는 근접 임계값은, 예를 들어, 1 피트, 2 피트, 5 피트, 10 피트 등과 같이 모든 햅틱 기준 스티커(200)에 대해 동일할 수 있다. 대안적으로, 상이한 햅틱 기준 스티커(200)들이 상이한 근접 임계값들을 가질 수 있다.
사용자가 햅틱 기준 스티커(200)에 근접해 있으면, 흐름은 760(도 7)으로 계속되고, 여기서 햅틱 콘텐츠는 사용자에게 렌더링된다. 일례에서, 컴퓨터(100)는 스마트워치, AR HMD 등과 같은 하나 이상의 웨어러블 햅틱 출력 디바이스(I/O 디바이스(180))를 통해 전체 햅틱 효과를 사용자에게 렌더링한다. 이 예에서, 햅틱 기준 스티커(200)와의 어떤 직접적인 사용자 터치 또는 접촉도 필요하지 않고, 햅틱 효과는 진동 햅틱 효과(420), 진동 햅틱 효과(520) 등과 같은 진동 햅틱 효과, 후각 햅틱 효과(530) 등과 같은 후각 햅틱 효과, 힘 피드백 햅틱 효과, 온도 햅틱 효과 등일 수 있다. 다른 예에서, 햅틱 기준 스티커(200)는 햅틱 효과의 제1 부분을 사용자에게 렌더링하고, 컴퓨터(100)는, 위에서 논의된 바와 같이, 하나 이상의 웨어러블 햅틱 출력 디바이스(I/O 디바이스(180))를 통해 햅틱 효과의 제2 부분을 사용자에게 렌더링한다. 다른 예에서, 햅틱 기준 스티커(200)는 전체 햅틱 효과를 사용자에게 렌더링한다. 햅틱 효과는 후각 햅틱 효과(530) 등과 같은 후각 햅틱 효과일 수 있다. 햅틱 기준 스티커(200)와 접촉할 때 사용자에 의해 경험될 수 있는 다른 햅틱 효과들, 예를 들어, 진동 햅틱 효과, 힘 피드백 햅틱 효과, 온도 햅틱 효과 등도 햅틱 기준 스티커(200)에 의해 렌더링될 수 있다.
도 10은, 본 발명의 일 실시예에 따라, 햅틱 가능 AR 시스템을 위한 햅틱 콘텐츠를 렌더링하기 위한 기능성을 나타내는 흐름도를 도시한다.
실시예(800)와 관련하여, 810에서, 컴퓨터(100)는 햅틱 기준 스티커(200)를 검지한다. 일 실시예에서, 햅틱 기준 스티커(200)는 카메라(I/O 디바이스(180))를 사용하여 검지될 수 있다. 예를 들어, 고유한 형상, 고유한 마킹들, QR 코드 등과 같은 햅틱 기준 스티커(200)의 특정 시각적 특성은, 카메라의 시야에서 인식될 수 있다.
다른 실시예에서, 햅틱 기준 스티커(200)는 컴퓨터(100)와 햅틱 기준 스티커(200) 사이의 무선 신호를 사용하여 검지될 수 있다. 예를 들어, 무선(블루투스, BLE, RFID 등) 신호 강도 표지기(signal strength indicator)가 컴퓨터(100)와 햅틱 기준 스티커(200) 사이의 거리를 결정하기 위해 사용될 수 있다. 햅틱 기준 스티커(200)들은 그들의 UID를 연속적으로 방송하는 능동 디바이스(active device) 또는 비콘으로서 구성될 수 있다. 대안적으로, 햅틱 기준 스티커(200)들은 컴퓨터(100)로부터 무선 신호를 청취하고, 일단 수신되면, 그들의 UID를 표준 또는 주문형 무선 통신 프로토콜에 따라 포맷된 메시지를 통해 컴퓨터(100)에 송신하는 수동 디바이스로서 구성될 수 있다.
다른 실시예에서, 컴퓨터(100)는 GPS 수신기(I/O 디바이스(180))를 포함한다. 예를 들어, 햅틱 기준 스티커(200)의 위치가 선험적으로 알려진 경우, 컴퓨터(100)는, 햅틱 기준 스티커(200)의 위치, 및 십진법(decimal degrees)(DD), 도, 분, 초(degrees, minutes, seconds)(DMS) 등의 위도/경도 좌표와 같은 GPS 위치 정보에 기초하여, 햅틱 기준 스티커(200)가 사용자에게 근접해 있는지를 검지할 수 있다.
820에서, 컴퓨터(100)는 컴퓨터(100)와 햅틱 기준 스티커(200) 사이의 무선 연결을 통해 햅틱 기준 스티커(200)로부터 UID를 수신한다. 여러 예들에서, 무선 연결은 블루투스, BLE, RFID 등을 사용하여 로컬로 확립된다. 다른 예들에서, 무선 연결은 WiFi 등을 사용하여 네트워크(30)를 통해 확립된다. UID는 표준 또는 주문형 무선 통신 프로토콜에 따라 포맷된 메시지를 통해 수신될 수 있다.
830에서, 컴퓨터(100)는 UID와 연관된 햅틱 콘텐츠를 결정한다. 독립형 AR 애플리케이션(134)의 경우, 프로세서(120)는 메모리(130)에서 UID와 연관된 햅틱 콘텐츠를 검색한다. 클라이언트 AR 애플리케이션(134)의 경우, 프로세서(120)는 UID와 연관된 햅틱 콘텐츠를 결정하기 위해 네트워크(30)를 통해 AR 서버(20)와 통신한다.
840에서, 컴퓨터(100)와 햅틱 기준 스티커(200) 사이의 무선 연결을 통해, 햅틱 기준 스티커(200)로부터, 사용자가, 예를 들어, 하나 이상의 손가락, 손 등을 사용하여 햅틱 기준 스티커(200)를 터치하거나 접촉하고 있다는 통지를 수신한다. 해당 통지는 사용자가 터치하거나 접촉하고 있는 햅틱 기준 스티커(200)의 UID를 포함할 수 있다. 해당 통지는 표준 또는 주문형 무선 통신 프로토콜에 따라 포맷된 메시지를 통해 수신될 수 있다.
850에서, 사용자가 터치하거나 접촉하고 있는 UID와 연관된 햅틱 콘텐츠가 사용자에게 렌더링된다. 이 실시예에서, 컴퓨터(100)는 하나 이상의 햅틱 출력 디바이스(I/O 디바이스(180))를 통해 햅틱 효과를 사용자에게 렌더링한다. 컴퓨터(100) 및 햅틱 출력 디바이스는, 스마트워치, AR HMD 등과 같이, 사용자가 소지하고 있는 웨어러블 디바이스에 제공될 수 있다. 햅틱 효과는 진동 햅틱 효과, 힘 피드백 햅틱 효과, 온도 햅틱 효과, 후각 햅틱 효과 등일 수 있다.
본 발명의 일 실시예는 AR 환경을 위한 햅틱 시스템을 제공한다. 햅틱 시스템은 햅틱 기준 스티커 및 컴퓨터를 포함한다. 햅틱 기준 스티커는 터치 센서, 무선 통신 인터페이스 및 햅틱 출력 디바이스를 포함한다. 터치 센서는 터치 또는 사용자 접촉을 검지하도록 구성된다. 무선 통신 인터페이스는, 고유 식별자(UID)를 송신하고, 햅틱 효과를 포함하며 UID와 연관된 햅틱 콘텐츠를 수신하도록 구성된다. 햅틱 출력 디바이스는, 터치 센서가 터치 또는 사용자 접촉을 검지할 때, 햅틱 효과를 렌더링하도록 구성된다. 컴퓨터는 무선 통신 인터페이스 및 프로세서를 포함한다. 무선 통신 인터페이스는, 햅틱 기준 스티커로부터 UID를 수신하고, UID와 연관된 햅틱 콘텐츠를 햅틱 기준 스티커에 송신하도록 구성된다. 프로세서는, 햅틱 기준 스티커를 검지하고, UID와 연관된 햅틱 콘텐츠를 결정하도록 구성된다.
본 발명의 일 실시예는 AR 환경을 위한 햅틱 기준 스티커를 제공한다. 햅틱 기준 스티커는 터치 센서, 무선 통신 인터페이스 및 햅틱 출력 디바이스를 포함한다. 터치 센서는 터치 또는 사용자 접촉을 검지하도록 구성된다. 무선 통신 인터페이스는 고유 식별자(UID)를 송신하고, 햅틱 효과를 포함하며 UID와 연관된 햅틱 콘텐츠를 수신하도록 구성된다. 햅틱 출력 디바이스는, 터치 센서가 터치 또는 사용자 접촉을 검지할 때, 햅틱 효과를 렌더링하도록 구성된다.
본 발명의 일 실시예는 햅틱 가능 AR 시스템에서 햅틱 콘텐츠를 렌더링하기 위한 방법을 제공한다. 이 방법은, 컴퓨터의 프로세서에 의해, 햅틱 기준 스티커를 검지하는 단계; 무선 연결을 통해, 햅틱 기준 스티커로부터 고유 식별자(UID)를 수신하는 단계; 햅틱 효과를 포함하며 UID와 연관된 햅틱 콘텐츠를 결정하는 단계; 무선 연결을 통해, UID와 연관된 햅틱 콘텐츠를 햅틱 기준 스티커에 송신하는 단계; 햅틱 기준 스티커에 의해, 사용자가 햅틱 기준 스티커를 터치하거나 접촉하고 있는지를 결정하는 단계; 및 햅틱 효과를 사용자에게 렌더링하는 단계를 포함한다.
본 발명의 다른 실시예는 햅틱 가능 AR 시스템에서 햅틱 콘텐츠를 렌더링하기 위한 방법을 제공한다. 이 방법은, 컴퓨터의 프로세서에 의해, 햅틱 기준 스티커를 검지하는 단계; 무선 연결을 통해, 햅틱 기준 스티커로부터 고유 식별자(UID)를 수신하는 단계; 햅틱 효과를 포함하며 UID와 연관된 햅틱 콘텐츠를 결정하는 단계; 무선 연결을 통해, 햅틱 기준 스티커로부터, 사용자가 햅틱 기준 스티커를 터치하거나 접촉하고 있다는 통지를 수신하는 단계; 및 햅틱 효과를 사용자에게 렌더링하는 단계를 포함한다.
본 명세서에 설명된 다양한 실시예들 및 예들은, 달리 언급되지 않는 한, 조합될 수 있다.
본 발명의 여러 특징들 및 장점들은 상세한 설명으로부터 명백하므로, 첨부된 청구항들은 본 발명의 진정한 정신(spirit) 및 범위 내에 속하는 본 발명의 모든 그러한 특징들 및 장점들을 포괄하는 것으로 의도된다. 또한, 다수의 수정들 및 변형들이 본 기술분야의 통상의 기술자에게서 쉽사리 행해질 것이기 때문에, 본 발명을 도시되고 설명된 정확한 구조 및 동작에 한정하는 것은 바람직하지 않고, 이에 따라, 모든 적절한 수정들 및 등가물들이 본 발명의 범위 내에 속하는 것에 의존할 수 있다.

Claims (20)

  1. 증강 현실(augmented reality)(AR) 환경을 위한 햅틱 시스템으로서,
    햅틱 기준 스티커(haptic fiducial sticker)와 컴퓨터를 포함하고,
    상기 햅틱 기준 스티커는,
    터치 또는 사용자 접촉을 검지하도록 구성되는 터치 센서;
    고유 식별자(unique identifier)(UID)를 송신하고, 햅틱 효과를 포함하며 상기 UID와 연관된 햅틱 콘텐츠를 수신하도록 구성되는 무선 통신 인터페이스; 및
    상기 터치 센서가 상기 터치 또는 사용자 접촉을 검지할 때, 상기 햅틱 효과를 렌더링하도록 구성되는 햅틱 출력 디바이스를 포함하고,
    상기 컴퓨터는,
    상기 햅틱 기준 스티커로부터 상기 UID를 수신하고, 상기 UID와 연관된 상기 햅틱 콘텐츠를 상기 햅틱 기준 스티커에 송신하도록 구성되는 무선 통신 인터페이스; 및
    상기 햅틱 기준 스티커를 검지하고, 상기 UID와 연관된 상기 햅틱 콘텐츠를 결정하도록 구성되는 프로세서를 포함하는,
    햅틱 시스템.
  2. 제1항에 있어서,
    상기 컴퓨터에 결합되며 비디오 신호를 출력하도록 구성되는 카메라; 및
    상기 컴퓨터에 결합되며 상기 UID와 연관된 시각적 콘텐츠를 표시하도록 구성되는 디스플레이를 더 포함하고,
    상기 프로세서는, 상기 UID와 연관된 상기 시각적 콘텐츠를 결정하도록 더 구성되는, 햅틱 시스템.
  3. 제2항에 있어서,
    상기 컴퓨터는 상기 햅틱 콘텐츠 및 상기 시각적 콘텐츠를 메모리에 저장하는, 햅틱 시스템.
  4. 제2항에 있어서,
    상기 프로세서는 상기 비디오 신호에 기초하여 상기 햅틱 기준 스티커를 검지하는, 햅틱 시스템.
  5. 제1항에 있어서,
    상기 프로세서는 상기 햅틱 기준 스티커와 상기 컴퓨터 사이의 무선 통신 신호에 기초하여 상기 햅틱 기준 스티커를 검지하는, 햅틱 시스템.
  6. 제1항에 있어서,
    상기 햅틱 기준 스티커는 상기 터치 센서, 상기 무선 통신 인터페이스 및 상기 햅틱 출력 디바이스에 결합된 프로세서를 포함하는, 햅틱 시스템.
  7. 제1항에 있어서,
    상기 햅틱 효과는 진동 햅틱 효과(vibratory haptic effect)인, 햅틱 시스템.
  8. 제1항에 있어서,
    상기 햅틱 효과는 힘 피드백 햅틱 효과(force feedback haptic effect), 온도 햅틱 효과(temperature haptic effect) 또는 후각 햅틱 효과(olfactory haptic effect)인, 햅틱 시스템.
  9. 제1항에 있어서,
    상기 햅틱 효과의 제1 부분은 상기 햅틱 기준 스티커에 의해 렌더링되고, 상기 햅틱 효과의 제2 부분은 상기 컴퓨터에 결합된 햅틱 출력 디바이스에 의해 렌더링되는, 햅틱 시스템.
  10. 증강 현실(AR) 환경을 위한 햅틱 기준 스티커로서,
    터치 또는 사용자 접촉을 검지하도록 구성되는 터치 센서;
    고유 식별자(UID)를 송신하고, 햅틱 효과를 포함하며 상기 UID와 연관된 햅틱 콘텐츠를 수신하도록 구성되는 무선 통신 인터페이스; 및
    상기 터치 센서가 상기 터치 또는 사용자 접촉을 검지할 때, 상기 햅틱 효과를 렌더링하도록 구성되는 햅틱 출력 디바이스를 포함하는, 햅틱 기준 스티커.
  11. 제10항에 있어서,
    상기 햅틱 기준 스티커는 상기 터치 센서, 상기 무선 통신 인터페이스 및 상기 햅틱 출력 디바이스에 결합된 프로세서를 포함하는, 햅틱 기준 스티커.
  12. 제10항에 있어서,
    상기 햅틱 효과는 진동 햅틱 효과, 힘 피드백 햅틱 효과, 온도 햅틱 효과 또는 후각 햅틱 효과인, 햅틱 기준 스티커.
  13. 햅틱 가능(haptically-enabled) 증강 현실(AR) 시스템에서 햅틱 콘텐츠를 렌더링하기 위한 방법으로서,
    컴퓨터의 프로세서에 의해, 햅틱 기준 스티커를 검지하는 단계;
    무선 연결을 통해, 상기 햅틱 기준 스티커로부터 고유 식별자(UID)를 수신하는 단계;
    햅틱 효과를 포함하며 상기 UID와 연관된 햅틱 콘텐츠를 결정하는 단계;
    상기 무선 연결을 통해, 상기 UID와 연관된 상기 햅틱 콘텐츠를 상기 햅틱 기준 스티커에 송신하는 단계;
    사용자가 상기 햅틱 기준 스티커를 터치하거나 접촉하고 있는지, 또는 상기 사용자가 상기 햅틱 기준 스티커에 근접해 있는지를 결정하는 단계; 및
    상기 햅틱 효과를 상기 사용자에게 렌더링하는 단계를 포함하는, 방법.
  14. 제13항에 있어서,
    상기 UID와 연관된 시각적 콘텐츠를 결정하는 단계; 및
    상기 UID와 연관된 상기 시각적 콘텐츠를 사용자에게 표시하는 단계를 더 포함하는, 방법.
  15. 제13항에 있어서,
    상기 햅틱 효과는 상기 햅틱 기준 스티커에 의해 렌더링되는, 방법.
  16. 제13항에 있어서,
    상기 컴퓨터는 햅틱 출력 디바이스를 포함하는 웨어러블 디바이스이고,
    상기 햅틱 효과의 제1 부분은 상기 햅틱 기준 스티커에 의해 렌더링되고,
    상기 햅틱 효과의 제2 부분은 상기 햅틱 출력 디바이스에 의해 렌더링되는, 방법.
  17. 제13항에 있어서,
    상기 햅틱 기준 스티커는 상기 컴퓨터에 결합된 카메라에 의해 생성된 비디오 신호에 기초하여 검지되는, 방법.
  18. 제13항에 있어서,
    상기 햅틱 기준 스티커는 상기 햅틱 기준 스티커와 상기 컴퓨터 사이의 무선 통신 신호에 기초하여 검지되는, 방법.
  19. 제13항에 있어서,
    상기 햅틱 효과는 진동 햅틱 효과인, 방법.
  20. 제13항에 있어서,
    상기 햅틱 효과는 힘 피드백 햅틱 효과, 온도 햅틱 효과 또는 후각 햅틱 효과인, 방법.
KR1020190138581A 2018-12-24 2019-11-01 햅틱 기준 스티커 KR20200079176A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/231,811 US20200201438A1 (en) 2018-12-24 2018-12-24 Haptic Fiducial Sticker
US16/231,811 2018-12-24

Publications (1)

Publication Number Publication Date
KR20200079176A true KR20200079176A (ko) 2020-07-02

Family

ID=68281278

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190138581A KR20200079176A (ko) 2018-12-24 2019-11-01 햅틱 기준 스티커

Country Status (4)

Country Link
US (1) US20200201438A1 (ko)
JP (1) JP2020102196A (ko)
KR (1) KR20200079176A (ko)
CN (1) CN111352500A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11819999B2 (en) 2021-01-27 2023-11-21 Toyota Research Institute, Inc. Input devices having a deformable membrane and methods of using the same
US11811964B1 (en) * 2022-07-19 2023-11-07 Snap Inc. Olfactory stickers for chat and AR-based messaging

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10095311B2 (en) * 2016-06-15 2018-10-09 Immersion Corporation Systems and methods for providing haptic feedback via a case
AU2018205044B2 (en) * 2017-01-02 2019-10-24 Merge Labs, Inc. Three-dimensional augmented reality object user interface functions

Also Published As

Publication number Publication date
US20200201438A1 (en) 2020-06-25
CN111352500A (zh) 2020-06-30
JP2020102196A (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
JP6713445B2 (ja) 触覚フィードバックを備えた拡張現実ユーザ・インタフェース
US11045725B1 (en) Controller visualization in virtual and augmented reality environments
US10234948B2 (en) System for haptically representing sensor input
US10395116B2 (en) Dynamically created and updated indoor positioning map
KR101794493B1 (ko) 햅틱 기술을 채용한 이동 디바이스들 및 방법들
JP2018147517A (ja) ウェアラブルデバイスマネージャー
CN109213728A (zh) 基于增强现实的文物展示方法及系统
CN103314344A (zh) 触敏触觉显示器
CN107710009B (zh) 虚拟和增强现实环境中的控制器可视化
US10163198B2 (en) Portable image device for simulating interaction with electronic device
JP2017146651A (ja) 画像処理方法及び画像処理プログラム
CN111427447B (zh) 虚拟键盘的显示方法、头戴显示设备及系统
KR20190101886A (ko) 스마트 스티커들을 사용하여 가상 객체들을 햅틱화하기 위한 시스템들 및 방법들
KR20200079176A (ko) 햅틱 기준 스티커
US10318004B2 (en) Apparatus and method for providing feedback at a predetermined distance
CN113168282A (zh) 用于生成增强现实表情符号的电子装置及其方法
CN109995804A (zh) 目标资源信息的显示方法、信息提供方法及装置
US10198072B2 (en) Haptic feedback for opportunistic displays
CN113204724A (zh) 创建互动信息的方法、装置、电子设备及存储介质
US11930420B1 (en) Handheld electronic devices with contextual input-output capabilities
CN109213303A (zh) 基于增强现实的图书浏览方法及系统
US11693491B1 (en) Tracking a paired peripheral input device based on a contact criterion
US20240086659A1 (en) Fast data accessing system using optical beacons
KR20210112905A (ko) 광고 제공 방법 및 그 장치
JP2023531303A (ja) 誇張されたコンテンツを用いた動的なスケッチのためのシステム及び方法