KR101794493B1 - 햅틱 기술을 채용한 이동 디바이스들 및 방법들 - Google Patents

햅틱 기술을 채용한 이동 디바이스들 및 방법들 Download PDF

Info

Publication number
KR101794493B1
KR101794493B1 KR1020137002983A KR20137002983A KR101794493B1 KR 101794493 B1 KR101794493 B1 KR 101794493B1 KR 1020137002983 A KR1020137002983 A KR 1020137002983A KR 20137002983 A KR20137002983 A KR 20137002983A KR 101794493 B1 KR101794493 B1 KR 101794493B1
Authority
KR
South Korea
Prior art keywords
haptic
class
user
different
physical object
Prior art date
Application number
KR1020137002983A
Other languages
English (en)
Other versions
KR20130137124A (ko
Inventor
토니 에프. 로드리게스
윌아이엠 와이 콘웰
Original Assignee
디지맥 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디지맥 코포레이션 filed Critical 디지맥 코포레이션
Publication of KR20130137124A publication Critical patent/KR20130137124A/ko
Application granted granted Critical
Publication of KR101794493B1 publication Critical patent/KR101794493B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/02—Calling substations, e.g. by ringing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Abstract

이동 디바이스들에서 유용한 다양한 햅틱 개선들이 상세히 설명된다. 하나에서, 스마트폰은 물리적 객체로부터 이미지 데이터를 포착하고, (예를 들면, 워터마크, 바코드, 또는 지문 기술들을 이용하여) 이미지로부터 객체 식별자를 파악한다. 이러한 식별자는 원격 데이터 구조로 보내지고, 이는 그 객체와 연관된 독특한 햅틱 시그니처를 설정하는 데이터를 되돌려준다. 이러한 스마트폰은 이후 이러한 햅틱 신호를 사용자에게 렌더링시킨다. 다른 장치에서, 햅틱 피드백은 제품 또는 장소에 대한 사회적 네트워크 정보를 신호발신한다. 또 다른 장치에서, 텔레비전 스크린 상에서 영화를 보는 경험이 시청자의 무릎 위의 태블릿 컴퓨터에 의해 발생된 촉각 영향들에 의해 증강된다. 또 다른 장치에서, 상업적 판매자들은 예를 들면 이러한 사용자(들)에게 그들의 제품들/서비스들을 알려주기 위하여 하나 또는 그 이상의 사용자들의 스마트폰들 상에 햅틱 신호들의 라이브러리 중 상이한 신호들을 채용할 수 있는 권리들을 제시한다.

Description

햅틱 기술을 채용한 이동 디바이스들 및 방법들{MOBILE DEVICES AND METHODS EMPLOYING HAPTICS}
미국에서, 본 출원은 2010년 7월 9일 출원된 가특허 출원 61/363,143을 우선권으로 주장한다.
본 기술의 대부분의 실시예들은 스마트폰 디바이스들에서와 같은, 햅틱 액추에이터들(haptic actuators)의 사용에 관한 것이다.
햅틱 기술의 디바이스들(때때로 "포스 피드백(force feedback)" 디바이스들이라고도 불림)이 더욱 널리 퍼지고 있으나, 상대적으로 적은 시스템들이 이 기술을 사용하고, 종종 단지 제한된 목적들만을 위해 사용하기 때문에 그들의 인기는 제한된다.
모범적인 예는 이동 전화들이다. 이러한 디바이스들은 일상적으로 햅틱 디바이스들을 갖지만, 그들은 대부분 - 들어오는 호출들과 메시지들을 알려주는 - "무음 링어들(silent ringers)"로 배타적으로 이용된다.
일부 인기있는 소프트웨어 애플리케이션들 - 주로 게임들 - 은 햅틱 디바이스들을 지원한다. 예를 들어, 도로 레이싱 게임들은 종종 사용자가 도로를 벗어나 운전할 때 포스 피드백을 조이스틱, 스티어링 휠 또는 다른 게임 제어기들로 인가한다. 효과들의 힘과 빈도는 속도와 지형과 같은 다양한 문맥적 요소들에 의존할 수 있다. 그러나, 이러한 애플리케이션들에서, 소프트웨어 작성자들은 햅틱 기술의 특별한 효과들을 "저작(author)하여서", 그들이 원하는 시나리오들에서 원하는 파라미터들로 발생하도록 하여야 한다(게임에 오디오를 곁들여 저작하는 것과 같이). 햅틱 기술 효과들을 "저작"하는 필요는 햅틱 기술의 더 넓은 사용에 장애가 된다.
햅틱 기술 저작에 대한 필요가 간소화되거나 또는 없는 특정 애플리케이션들이 존재한다. 그 중 하나는 햅틱 액추에이터가 더 쉽게 햅틱 센서에 의해 감지된 터치 또는 힘을 간단히 출력하는 것이다. 일반적인 예는 로봇 시스템들의 원격조종(tele-manipulation)이다. 로봇 상의 햅틱 센서가 터치 또는 압력을 검출하고, 이러한 효과가 원격 위치의 운영자로 전달되어 햅틱 액추에이터를 이용하여 인가된다.
더욱 정교한 것은 예를 들면, 맹인들이 시각 세계에서 길을 찾는 것을 도와주는 비전 대체(vision substitution) 시스템들이다. 이러한 장치에서, 카메라는 전형적으로 사용자의 환경의 시야를 포착하며, 이러한 이미지 정보가 대응하는 촉각적 출력을 생성하기 위해 일부 방식으로 매핑된다. 이러한 하나의 시스템이 특허 출원 20080058894에 도시된다. 다른 것이 Zelek에 의한 Seeing by Touch (Haptics) for Wayfinding, International Congress Series 1282(2005), pp.1108-1112에서 상세히 설명된다.
일부 비전 대체 장치들은 일정한 패턴들에 응답하여 특별하게 만들어진다. 예를 들면, 하나는 다양한 교통 신호들을 인식하고, 햅틱 출력을 제공한다. (Lee에 의한 Tactile Visualization with Mobile AR on a Handheld Device, LNCS 4813 pp.11-21, 2007.) 다른 것은 시각 장애인들이 수퍼마켓들의 바코드들의 위치를 찾고 디코딩하는 것을 도와준다(Kulyukin에 의한 Eyes-Free Barcode Localization and Decoding for Visually Impaired Mobile Phone Users, ICIP Computer Vision and Pattern Recognition 2010). 바코드 시스템에서, 판독기 디바이스(이동 전화)는 사용자가 전화 디바이스를 위, 아래, 좌, 우로 이동시키거나, 또는 기울여 바코드와 관련된 적절한 방향으로 디바이스가 향하게 하도록 진동시켜 신호발신한다.
알려진 패턴들의 인식은 때때로 햅틱이 구비된 게임들에서 사용된다. 한 예가 Henrysson, AR Tennis(SIGGRAPH-ART, 2006)에서 도시된다. 이러한 방식에서, 이동 전화가 구비된 두 사람의 플레이어들이 그들 사이의 책상 위에 위치된 인쇄된 ARToolKit 마커를 두고 서로 마주 보며 앉는다. 전화들은 마커로 향하는 전화의 방향에 의존하는 관점으로 테니스 코트의 증강 현실 모습을 제공하는 것에 의해 마커에 응답한다. 플레이어들은 디스플레이된 코트 상의 네트 너머로 가상의 공을 치기 위하여 그들의 전화들을 움직인다. 공이 성공적으로 쳐질 때마다 전화는 진동한다.
ARToolKit 마커들의 인식에 기초한 다른 햅틱 장치들이 Adcock에 의한 Augnented Reality Haptics - Using ARToolkit for Display of Haptic Applications, IEEE Augmented Reality Toolkit Workshop, 2003에 상세히 설명된다.
인쇄된 지도들과 상호작용하는 이동 전화 애플리케이션은 Rohs등에 의한 Map Navigation with Mobile Devices - Virtual Versus Physical Movement With and Without Visual Context, Proc. 9th Int. Conf. on Multimodal Interfaces, 2007 에서 도시된다. 이러한 시스템에서, 전화는 주차 로트 상징("P")을 위해 전화의 카메라에 의해 포착된 지도 이미지를 분석하고, 이러한 상징이 카메라의 시야에 나타날 때 사용자에게 알려주기 위해 진동한다.
이미지에 응답하는 햅틱 기반 시스템들이 있는 것처럼, 오디오에 응답하는 햅틱 기반 시스템들이 또한 있다. 하나는 텍추에이터(Tactuator)이며, 이는 음성 소리들을 상이한 속도들과 진폭들로 세개의 손가락들로 인가되는 진동 패턴들에 매핑시킨다. (Tan등에 의한 Information Transmission with a Multi-Finger Tactual Display, Perception and Psychophysics, Vol. 61, No.6, pp.993-1008. 1999)
햅틱 기술은 촉각 기술들과 밀접하게 관련이 있다. ("배타적으로(exclusively) 햅틱"과 같은 용어들에 의해서와 같이) 다르게 언급되는 것을 제외하고, 햅틱 기술 및 디바이스들에 대한 참조들은 촉각 기술 및 디바이스들을 포함하는 것으로 이해되어야 하며, 그 반대도 그러하다.
햅틱 기술의 선구자는 미국 캘리포니아 산호세 소재의 Immersion Corporation이다. Immersion의 공개된 특허들 및 출원들의 큰 규모의 포트폴리오는 업계에 넓은 범위의 지침서로 작용한다. 예들은 5,691,898, 5,734,373, 2001043847, 2002033802, 2002072814, 2002109708, 20080294984, 20090085882, 20090305744, 20100013653, 20100073304, 20100141407, 20100149111, 20100160041, 및 이들에서 인용된 참조문헌들을 포함한다.
소비자 디바이스들의 촉각 액추에이터들은 원래 오프셋 질량을 이용하여 전기 모터들을 진동시키도록 제한되었다. 점점 전기활성 폴리머들, 압전(piezoelectrics), 음향 방사 압력, 및 정전기 표면 구동에 기초한 것들을 포함하는 정교한 액추에이터들이 더욱 널리 사용할 수 있게 되었다. 기술이 진화함에 따라, 대개 정교한 또는 실험적인 시스템들에서만 발견되었던 3D 햅틱 효과들이 점점 소비자 디바이스들에서 발견될 것이며, 예를 들면, 객체들의 특별한 질감의 표면들, 반동, 운동량, 물리적 존재, 등의 햅틱 시뮬레이션을 허용한다.
하나의 이러한 예가 Luk 등에 의한 A Role for Haptics in Mobile Interaction: Initial Design Using a Handheld Tactile Display Prototype, CHI'06 에서 상세히 설명된다. 이러한 시스템은 측면 피부 확장을 가져오는 다중-소자 압전 촉각 액추에이터("디스플레이")를 사용한다. (특히, 8개의 압전 밴더(bender)들이 함께 적층되고 작은 놋쇠 막대들에 의해 분리된다. 압전 액추에이터들에 구부리는 움직임을 유도하는 것에 의해, 압축과 확장의 부분적 영역들이 사용자의 피부에 걸쳐 생성된다. 감각은 자극 파형, 진폭, 속도 및 지속기간의 형태로 제어될 수 있다). 이러한 액추에이터는 예를 들면, 빗의 돌기들을 가로지르는 리플링(riffling)의 느낌을 시뮬레이션할 수 있다. 액추에이터는 자극들의 상이한 패턴들을 사용자에게 제공할 수 있고("햅틱 아이콘들" 또는 "택톤(tacton)들"), 이들의 각각은 예를 들면, 리스트 메뉴의 상이한 아이템과 연관될 수 있다. 액추에이터는 이동 전화의 측면 상에, 사용자의 엄지 손가락이 위치하는 슬라이더 입력 디바이스 상에 얹어질 수 있다. 이러한 방식에 의해, 사용자의 엄지 손가락은 햅틱 출력을 수신하고, 또한 연관된 움직임 또는 압력 입력을 제공하도록 작용할 수 있다.
많은 작업이 햅틱 기술로 수행되었으나, 해결되어야 할 많은 것들이 남아있다. 그의 상이한 양상들에 따라, 본 기술은 이전에 고려되지 않은 특성들 및 방식을 제공하고, 이전에 사용가능하지 않았던 이득들을 제공한다.
본 기술의 한 양상에 따른 방법은 물리적 객체를 나타내는 이미지 데이터를 포착하기 위해 이동 디바이스를 이용하는 것을 포함한다. 이러한 데이터는 이후 (예를 들면 이동 디바이스에 의해, 및/또는 원격 시스템에 의해) 처리되어 객체에 대응하는 메타데이터를 얻게 된다. 이러한 메타데이터는 원격 시스템으로 송신된다. 이에 대응하여, 객체와 연관되는 햅틱 시그니처(signature)를 나타내는 데이터가 수신된다. 이러한 햅틱 시그니처는 예를 들면, 하나 또는 그 이상의 장착중인(onboard) 또는 링크된 햅틱 액추에이터들을 통하여 이동 디바이스의 사용자에게 제공된다.
메타데이터는 물리적 객체가 속하는 복수의 클래스들 중 하나를 나타낼 수 있다. 그것이 제 1 클래스에 속한다면, 하나의 햅틱 시그니처가 만들어질 수 있고; 그것이 제 2 클래스에 속한다면, 상이한 햅틱 시그니처가 만들어질 수 있다. 이러한 시그니처들은 예를 들면, 파형, 진폭, 주파수, 그리고 지속기간의 하나 또는 그 이상에서 상이할 수 있다. 클래스들은 사람들의 클래스, 책들의 클래스, DVD들의 클래스, 바코드들의 클래스, 인쇄된 텍스트의 클래스, 빌딩들과 같은 랜드마크들의 클래스, 로고들의 클래스, 예술 작품들의 클래스, 및 제품 용기들의 클래스와 같은 클래스들일 수 있다. 또는 각 클래스는 고유한 물리적 객체를 포함할 수 있다.
전형적인 물리적 객체는 음료 용기이다. 용기는 상표 소유자(예를 들면, 코카 콜라 회사(Coca Cola Company))가 소유한 상표(예를 들면, 미닛 메이드(Minute Maid))를 가질 수 있다. 이러한 객체를 감지하는 것에 응답하여 제공되는 햅틱 시그니처는 예를 들면, 그의 상표 효과들의 일부로서 상표 소유자에 의해 한정될 수 있다. 따라서 각 상표가 붙은 제품이 독특한 가시적 "외관"을 가질 수 있는 것과 같이, 이는 유사하게 독특한 햅틱 "느낌"을 가질 수 있다.
관련 방식에서, 제품은 (예를 들면 이미지 데이터로부터) 그의 시각적 외형을 참조하는 것에 의해서가 아니라, ("근거리 통신"이라고도 알려진) RFID 칩에 의해 방출된 식별자에 의해 식별된다. RFID 식별자는 원격 시스템으로 보내진다. 이에 대응하여, 전화는 그 식별자/제품과 연관된 햅틱 시그니처 데이터를 얻는다.
본 기술의 다른 양상에 따른 방법은 "시각적 검색" 또는 "이동 발견" 애플리케이션(예를 들면, 구글의 구글스(Goggles) 애플리케이션 또는 노키아의 포인트 앤 파인드(Point & Find) 애플리케이션)을 수행하는 이동 디바이스를 포함한다. 이러한 이동 디바이스는, 시각적 검색 애플리케이션이 응답하여야 하는 (바코드들, 텍스트, 책들, DVD들, 랜드마크들, 로고들, 예술 작품들, 제품 용기들, 등과 같은 복수의 상이한 클래스들 중에) 시각적 자극의 제 1 클래스를 - 적어도 부분적으로 - 결정하는데 사용되는 위치 데이터와 같은 입력을 수신한다. (예를 들어, 슈퍼마켓 위치에 있을 때, 디바이스는 바코드 자극에 응답할 수 있다.) 이후, 이동 디바이스에 의해 포착된 이미지가 그러한 제 1 클래스의 시각적 자극을 포함할 때, 대응하는 타입의 햅틱 신호가 사용자에게 출력된다. 시스템은 따라서 그의 위치(또는 다른 입력)에 기초하여 객체들의 상이한 클래스들로 자동적으로 동조된다.
본 기술의 다른 양상에 따른 방법은 이동 전화 디바이스로 만든 사용자의 제 1 제스처를 감지하는 것을 포함한다. 제 1 제스처가 제 1 조건에 부합할 때, 제 1 햅틱 피드백이 사용자에게 제공된다. 사용자에 의한 다른 제스처가 이후 감지된다. 이러한 다른 제스처가 제 2 조건에 부합할 때, 다른 응답이 사용자에게 제공된다. (제스처들은 이동 전화 디바이스의 움직임을 파악하기 위하여 이미지의 프레임들을 분석하는 것에 의해 파악될 수 있다. 대안적으로, 전화의 움직임과 위치 감지 디바이스들, 예를 들면, 가속도계들, 자이로스코프들, 및 자력계들로부터의 데이터가 제스처들을 파악하기 위해 조사될 수 있다.
본 기술의 또 다른 양상에 따른 방법은 카메라가 구비된 전화를 인쇄된 객체에 대략적으로 평행한 평면에서(예를 들면, 인쇄된 객체의 평면의 +/- 30도 내) 이동시키는 것을 포함한다. 전화가 이동하는 동안, 전화는 객체로부터 이미지를 포착한다. 이러한 이미지는 제 1 방향으로부터(예를 들면, 우측, 상부, 등) 카메라의 시야로 진입한다. 이러한 이미지는 하나 또는 그 이상의 특성들을 위해 분석된다. 특성(들)의 검출시, 제 1 방향과 연관된 햅틱 피드백을 제공하기 위한 방식으로 전화의 복수의 햅틱 트랜스듀서들(transducers) 중 적어도 하나가 활성화된다.
하나의 특별한 이러한 구현에서, 인쇄된 객체는 인쇄된 지도이며, 특성은 지도에 의해 표시된 지형의 지형적 특성을 나타내는 표시(indicia)이다(예를 들면, 강 또는 절벽을 나타내는 표시). 상이한 햅틱 피드백이 포착된 이미지로부터 감지된 표시에 의존하여 출력될 수 있다. 표시가 여행자에게 통행불가능한 지리적 특성(예를 들면, 강 또는 절벽)을 알려주면, 이후 대응하는 햅틱 피드백이 사용자에게 제공될 수 있다. 일부 장치들에서, 표시는 디지털 워터마크 데이터와 같은 - 비밀메시지(steganographic) 표식들을 제공할 수 있다.
본 기술의 다른 양상에 따라, 카메라가 구비된 이동 전화는 소비자 제품을 위한 꾸러미(예를 들면, 씨리얼 상자)로부터 이미지를 포착한다. 이러한 이미지는 특성을 파악하기 위해 분석된다. 이러한 특성을 참조하는 것에 의해, 전화는 그의 화면 상에 증강 현실 오버레이(overlay)를 제공한다. 사용자는 입력(예를 들면, 기울어짐(tilting))을 제공하기 위해 전화를 동작시켜서, 증강 현실 오버레이의 경로를 따라 길을 탐색한다. 탐색의 경로동안, 전화의 복수의 햅틱 트랜스듀서들 중 하나 또는 그 이상이 탐색 경로에 관련한 방향 피드백을 제공하기 위해 활성화된다.
본 기술의 다른 양상은 센서가 구비된 이동 전화가 제 1 위치에서 정보(예를 들면, 오디오 또는 시각적 자극, RFID 정보, 또는 위치 정보)를 포착하는 방법이다. 이러한 포착된 정보의 이용을 통하여, 전화는 사용자를 제 2의, 상이한 위치로 안내하도록 사용자에게 탐색 정보를 제공한다. 이러한 탐색 정보는 예를 들면, 사용자를 직접 돕기위해 상이한 시간들에서 활성화된 상이한 햅틱 액추에이터들과 햅틱 신호들을 포함할 수 있다.
하나의 이러한 실시예에서, 사용자는 백화점 윈도의 마네킹에 입혀진 옷의 아이템에 관심이 있다. 사용자는 옷의 이미지를 포착한다. 이러한 이미지는 옷을 인식하도록 분석되고, 서버 컴퓨터는 그 아이템이 가게에서 구입가능한 위치를 나타내도록 데이터를 제공한다. 이후 정보가 이동 전화를 통해 사용자에게 제공되어, 사용자를 옷이 전시된 위치로 인도하여 - 그의 구매를 용이하게 한다.
포착된 이미지에 의해 디스플레이된 아이템을 식별하는 대신, 디스플레이된 아이템과 연관된 RFID 칩에 의해 발산된 식별자가 감지될 수 있다. 이후, 전과 같이, 서버 컴퓨터가 가게 내의 그 아이템의 위치를 나타낼 수 있고, 사용자가 그리로 안내될 수 있다.
대안적으로, 디스플레이된 제품 자체로부터 정보를 포착하는 대신, 사용자의 휴대 전화가 디스플레이 윈도 앞의 사용자의 위치에서 주변의 오디오를 샘플링할 수 있다. 주변의 오디오는 사용자의 위치와 관련될 수 있는 낮은 레벨의 신호(예를 들면, 비밀메시지의 디지털 워터마크)를 가질 수 있다(예를 들면, Nielsen의 특허 공보 US20100134278을 보라). 사용자의 위치를 알 때, 시스템은 전과 같이 근처에 디스플레이된 옷의 아이템을 식별하여 사용자를 그리로 안내할 수 있다.
유사하게, 이미지 또는 오디오를 포착하는 대신, 이동 전화는 (터치 스크린 UI 상의 특성을 활성화시키는 것에 의해, 또는 제스처에 의해서와 같이) 사용자가 근처에 디스플레이된 아이템에 관심을 나타낼 때 (예를 들면, GPS에 의해서) 그의 위치를 간단히 기록(note)할 수 있다. 전화는, 관심이 전달될 때 사용자가 아이템을 대면하고 있다는 것을 유추하여 사용자가 명백하게 대면하고 있는 방향을 부가적으로 기록할 수 있어서, 스크린이 사용자를 대면하고, 사용자가 아이템을 대면하고 있다는 것을 유추한다. 이러한 위치 정보는 근처에 디스플레이된 제품과 관련된다. 다시, 명백한 관심 제품의 지식으로, 정보는 다시 사용자를 그 아이템을 보유한 가게의 위치로 안내하도록 제공된다.
사용자가 제품으로 걸어갈 때, 이동 전화는 길을 따라 다른 정보(사용자의 현재 위치를 나타내는)를 감지할 수 있다. 전과 같이, 이러한 다른 정보는 다양한 타입들일 수 있다. 예를 들어, 전화는 (제품들과 연관된 이미지, 오디오, 또는 RFID 태크들에 의해서와 같이) 근처의 선반들 위의 제품을 인식할 수 있고, 이러한 정보로부터 아이템 탐색시 사용자의 진행을 결정할 수 있다. 또는 오디오 신호들이 사용자의 위치에 대한 정보를 제공하기 위해 분석될 수 있다. 적절하다면, 원래의 안내가 처음부터 고려되었던 경로로부터 벗어나는 사용자를 고려하여 변경될 수 있다.
본 기술의 또 다른 양상에 따라, 이동 전화의 센서는 제약 또는 음식 제품으로부터, 또는 이러한 제품의 포장으로부터 데이터를 감지한다. 데이터 저장소는 하나 또는 그 이상의 사람들(예를 들면, 사용자 및 가족 구성원들)에 의해 제약 또는 음식 제품들에 대한 역 반응들과 관련한 정보(예를 들면, 땅콩 알러지)에 대하여 체크된다. 전화는 이후 감지된 데이터가 그 제품 또는 포장이 이러한 사람(들)에 대한 역 반응과 연관된다는 것을 나타낸다면, 경고 신호를 (예를 들면, 햅틱적으로) 발생시킨다.
반대의 반응들에 대한 체크시, 방법은 예를 들면, 그 사람에 대한 처방된 약물들을 식별하거나, 또는 처방된 약물들과 반대로 상호작용하는 제품들을 식별하여 그 사람(들)에 대한 저장된 의료 기록 데이터를 참고하는 것을 포함할 수 있다.
본 기술의 또 다른 양상에 따라, 휴대용 장치가 청소년에 의해 사용되도록 적응된다. 장치는 햅틱 액추에이터와 센서를 포함한다. 센서는 가석방된 사람 또는 등록된 범죄자가 착용한 방사체(emitter)(예를 들면, 성 범죄자에 착용된 발찌의 RFID 칩)에 반응한다. 햅틱 액추에이터는 센서가 이러한 사람을 감지한다면, 청소년에게 무음 경고를 발생시킨다.
본 기술의 또 다른 양상에 따른 방법은 제 1 당사자로부터 제 2 당사자로의 배달을 위한 메시지를 수용하는 시스템을 포함한다. 그러나, 시스템은 제 1 당사자가 정의된 물리적 영역 내에(예를 들어, 바 또는 커피숍과 같은 상업적 장소에, 또는 지리적 좌표들의 참조에 의해 정의된 제한된 영역 내에) 있을 때에만 메시지를 수용하도록 적응된다. 시스템은 또한, 제 2 당사자가 그러한 정의된 물리적 영역 내에 있을 때에만 메시지를 제 2 당사자로 전송한다. 시스템은 제 2 당사자로의 메시지의 전송을 나타내는 햅틱 신호의 제공을 제 1 당사자로 트리거할 수 있다.
본 기술의 많은 다른 양상들 중에 상술한 방법들을 실행하는 시스템들, 상술한 시스템들을 사용하는 방법들, 그리고 이러한 방법들과 연관된 행동들의 하나 또는 그 이상을 수행하도록 프로그램가능한 하드웨어 처리 시스템들을 구성하기 위해 일시적이지 않은 소프트웨어 명령들을 포함하는 컴퓨터 판독가능한 저장 매체가 있다.
본 기술의 상술한 및 부가적인 특성들과 장점들이 첨부 도면들을 참조하여 진행하는, 상세한 설명으로부터 더욱 명확해질 것이다.
다른 센서들과 함께 움직임을 부여하며, 이러한 움직임을 정확히 이해할 수 있는 장치가 제공된다.
도 1a는 본 기술의 하나의 특별한 실시예에 따른, 복수의 햅틱 액추에이터들이 장착된 이동 전화의 전면 평면도.
도 1b는 도 1a의 이동 전화의 상면도.
도 1c 및 1d는 도 1a의 이동 전화의 좌측 및 우측면도.
도 2는 상이한 액추에이터들을 제어하는 신호들이 어떻게 상이한 파형들, 진폭들 및 주파수들의 신호들이 될 수 있는지를 도시하는 도면.
본 기술의 한 양상은 이동 디바이스, 예를 들면, 아이폰(iPhone) 또는 노키아(Nokia)의 전화에 관한 것이며, 이들은 그의 환경의 물리적 객체를 인식하고 그 객체에 대응하는 특정 햅틱 시그니처를 식별하여 만든다.
인식은 시각적 검색 기술을 포함하는, 알려진 기술들에 의해 수행될 수 있다. 노키아의 포인트 앤 파인드 애플리케이션이 예시적이다. 이러한 기술은 예를 들면, 두개의 상이한 책들, 또는 두개의 상이한 소다캔들을 그들의 시각적 외관에 대한 참조에 의해 구별할 수 있다.
노키아의 기술은 "월드(Worlds)"의 개념을 채용하며, 이는 일반적으로 사용자가 흥미를 보이는 객체들 또는 활동들의 클래스에 대응한다. 하나의 "월드"는 "쇼핑(Shopping)"이다. 다른 것은 "영화들(Movies)"이다. 다른 것들은 "도시 안내(City Guide)"와 "2D 바코드(Barcode)" 등을 포함한다. 사용자들은 그들의 선호들에 어울리는 다른 월드들을 정의할 수 있다.
사용자가 책들에 관심이 있을 수 있고, 전화를 "책(Book)" 월드로 설정할 수 있다. 책이 전화의 시야 내에서 인식되면, 전화는 햅틱 피드백의 독특한 패턴을 제공한다. 이는 사용자가 찾는 객체의 종류를 카메라가 찾았다는 것을 사용자에게 알려준다(반대로, 햅틱 피드백의 부재, 또는 상이한 패턴의 햅틱 피드백은 카메라가 상이한 무엇인가를 찾고 있다는 것을 알려준다).
관련 장치는 시각 장애인을 위한 돈/동전 판독기로서 작용한다. US $20짜리 지폐는 US $5짜리 지폐와 시각적으로 구별될 수 있다(또한 10센트짜리 동전이 유사하게 1펜스 동전과 시각적으로 구별될 수 있다). 이러한 아이템들에 동조된 모드에서 동작하는 이동 전화는 이러한 객체들이 시야로 들어올 때 돈을 나타내는 피드백을 제공할 수 있다. 또한, 피드백은 액면(denomination)에 따라 달라질 수 있다.
(노키아의 포인트 앤 파인드 시각적 검색 애플리케이션은 예를 들면, 특허 문서들 US20070106721, US20080267504, US20080270378, US20090083237, US20090083275, 및 US20090094289에 상세히 설명된 기술을 이용하여 이해된다. 구글의 구글스 시각적 검색 애플리케이션은 예를 들면, 특허 문서들 US7751805, US7565139, US20050185060, US20080002914, US20090279794 및 US20090319388에 상세히 설명된 기술을 이용하여 이해된다. 본 분야의 양수인 자신의 작업은 2010년 6월 9일 출원된 특허 출원 12/797,503과, 등록된 국제 특허 출원 WO2010022185를 포함한다.)
시각적 검색과 다른 기술들이 객체들을 식별하는데 사용될 수 있다. 많은 다른 대안의 식별 기술들 중 하나는 RFID 칩들에 의존한다. 이들은 일반적으로(배타적인 것은 아니지만) 질문(interrogation) 신호에 의해 전력이 공급되고 다중 비트 식별자를 전달하는 RF 신호에 응답하는, 전력이 공급되지 않는 디바이스들이다. (14443, 15693 및 18000을 포함하여, RFID들에 대한 다양한 ISO/IEC 표준이 공지되어 있다.) 점점, 전화들은 소위 "근거리 통신" 기술을 포함하며, 이들은 이러한 칩들에 질문하고, 수신된 데이터에 기초하여 행동을 취한다.
근처 객체에 대하여 한번 식별 데이터가 얻어졌으면, 전화는 어떤 햅틱 시그니처를 만들것인지를 결정할 수 있다. 일반적인, 또는 일반적으로 만나게 되는 객체들의 경우에, 이러한 시그니처 데이터는 전화의 메모리에 저장될 수 있다. 그러나, 종종, 전화는 특별한 식별 데이터(또는 식별된 객체)에 대응하는 햅틱 시그니처 데이터를 얻기 위하여 물리적으로 떨어진 데이터 저장소를 참고할 필요가 있을 것이다. 데이터가 한번 이러한 방식으로 얻어지면, 이는 그것이 곧 다시 상관되는 경우에 전화의 캐시 메모리에 저장할 수 있다.
애플리케이션이 코카 콜라(Coke)의 캔을 식별한다면, 전화는 코카 콜라의 웹 사이트로부터 그 객체에 대한 햅틱 시그니처 데이터를 얻을 수 있다. 회사의 웹사이트들은 회사가 판매하는 물리적 객체들/제품들에 대한 햅틱 시그니처들을 포함하는 robot.txt와 같은 표준화된 파일을 가질 수 있다. 예를 들어, 코카 콜라 회사의 웹 사이트인 www.coca-cola.com 은 알려진 주소에 알려진 이름(예를 들면, www.coca-cola.com/haptic.dat)으로 그의 제품들의 각각(예를 들면, 코카 콜라(Coke), 다이어트 코카 콜라(Diet coke), 코카 콜라 블랙 체리(Coca Cola Black Cherry), 코카 콜라 라임(Coca Cola with Lime), 다이어트 체리 코카 콜라 프레스카(Diet cherry Coke Fresca), 스프라이트(Sprite), 다사니(Dasani), 미닛메이드(Minute Maid), 오드왈라(Odwalla), 등)에 대한 햅틱 시그니처 데이터를 포함하는 파일을 포함할 수 있다. 파일은 제품 이름들에 대한 태그들과 햅틱 시그니처들에 대한 태그들을 갖는 XML 형식으로 구조화될 수 있다. 일부 경우들에서, 이러한 파일은 햅틱 시그니처 데이터를 문자그대로 포함할 수 없으나, 이러한 데이터가 다운로드될 수 있는 웹에서 액세스가능한 다른 주소로의 포인터를 제공할 수 있다. 각각의 객체들의 햅틱 시그니처가 상이한 포맷들로 제공될 수 있으며, 상이한 디바이스들 또는 그들의 각각의 햅틱 액추에이터 시스템들의 역량들을 만드는데 적응될 수 있다. 따라서, 이러한 파일의 부분적인 콘텐츠는 다음 형식을 가질 수 있다:
<Device>iPhone3GS</Device>
<Object>Coke</Object>
<Signature>(object0device dependent data)</Signature>
<Object>Diet Coke</Object>
<Signature>(object0device dependent data)</Signature>
<Object>Sprite</Object>
<Signature>(object0device dependent data)</Signature>
...
<Device>iPhone4</Device>
<Object>Coke</Object>
<Signature>(object0device dependent data)</Signature>
<Object>Diet Coke</Object>
<Signature>(object0device dependent data)</Signature>
<Object>Sprite</Object>
<Signature>(object0device dependent data)</Signature>
...
본 예는 예시를 위해 단순화되었지만, 더욱 정교한 XML 스킴들이 본 기술을 사용하기 위해 적합화될 수 있다. 예를 들어, Zhou 등에 의한 XML-Based Representation of Haptic Information, IEEE Int. Workshop on Haptic Audio Visual Environments, 2005; 및 El-Far에 의한 Haptic Applications Meta-Language, 10th IEEE Int.Symp. on Distributed Simulation, 2004; 및 Al-Osman에 의한 Evaluating ALPHAN: A Communication Protocol for Haptic Interaction, Proc. 2008 IEEE Symp. on Haptic Interfaces for Virtual Environment and Teleoperator Systems를 보라. (후자의 논문은 또한 햅틱 데이터에 대한 통신 프로토콜들을 해결한다.)
표준화된 객체와 연관된 햅틱 시그니처들이 더욱 광범위하게 될수록, 집중화된 레지스트리들, 예를 들면, 다양한 상이한 객체들을 위한 시그니처 데이터를 저장하는 서버들이 생겨날 수 있다. 이러한 데이터는 DNS 표들이 폭넓게 분포되는 것과 같이, 인터넷 전반의 사이트들에서 복제되고 지역적으로 캐시될 수 있다.
본 기술의 다른 양상들에 따라, 햅틱 액추에이터들이 3D 공간의 사용자 탐색을 위한 피드백을 제공하도록 사용된다.
예시적인 애플리케이션은 상이한 디지털 워터마크들로 인코딩된 상이한 영역들을 갖는 인쇄된 객체를 사용한다. 하나의 이러한 방식은 2010년 5월 5일 출원된 계류중인 출원 12/774,512에서 상세히 설명된다. 보호된 정보(예를 들면, 패스워드들의 리스트)를 액세스하기 위하여, 사용자는 객체와 관련된 전화를 움직임들의 미리설정된 시퀀스로 조종하도록 요청받을 수 있다. 시퀀스가 정확하게 입력되면, 시퀀스는 보호된 정보로의 액세스를 허용하는 암호키로 작용할 수 있다.
영역들이 피아노 키보드 상의 음표들의 범위와 같이 배열될 수 있으며, 시각적으로 표시될 수 있다. 이러한 음표들의 특별한 순서에 의해 시퀀스가 정의될 수 있다. 시퀀스를 입력하기 위하여, 사용자는 전화를 각 음표 상에 차례로 위치시키고 전화를 이러한 위치로 팁(tip) 또는 탭(tap)하여야 한다. 사용자는 이후 시퀀스의 다음 위치로 이동하여 반복한다.
각 올바르게 입력된 탭 후에(또는 일련의 올바르게 입력된 탭들 후에), 전화는 예를 들면, 시퀀스의 그 위치의 정확한 입력을 확인하는 햅틱 피드백을 생성할 수 있다.
관련된 방식은 일상적인 명함 또는 다른 부적(talisman)을 사용한다. 이동 전화 애플리케이션은 카드를 이미지화하고, 그것이 예상된 외관과 일치한다는 것을 확인한다. 이후 사용자는 카드와 관련한 움직임들의 시퀀스로, 예를 들면 앞으로/뒤로/좌측으로/우측으로 전화를 조종하여야 한다. 다시, 공간적 조합의 정확한 입력시 진행을 신호발신하도록 햅틱 피드백이 제공될 수 있다.
현재 익숙한 동작은 아니지만, 근육의 메모리가 이러한 시퀀스들에 대해 발전함에 따라 이러한 공간적 움직임들은 - 적어도 일반적으로 수행된 기능들에 대해서는 암기될 것이다(적어도 저장된 속도 다이얼링의 부재시 - 친숙한 전화 번호를 다이얼링하도록 동작하는 터치-톤(touch-tone) 버튼들의 패턴이 종종 암기화되는 것과 같이).
(일부 관점들에서, 상술한 내용들은 특허 6,947,571에 소개된 제스처 기술에 나와 있다.)
본 기술의 특정 실시예들은 복수의 햅틱 액추에이터들을 채용하는 이동 디바이스들을 사용한다. 도 1a - 도 1d는 이러한 종류의 예시적인 이동 전화(100)를 도시한다.
도시된 장치에서, 전화기의 내부에, 네 모서리들과 측면부들의 중간점들에 배치된 복수의 진동 액추에이터들(102)이 있다. 이들은 좌측-우측 방향으로, 상-하 방향으로, 또는 내부-외부 방향으로(즉, 전화의 전면으로부터 밖으로 및 전화의 전면을 향해) 선형 진동 움직임을 제공하는 것을 목적으로 한다. 또는 액추에이터들(102)이 다양한 복수의 축으로 구성되어 그들이 적절한 제어 신호들에 대응하여 둘 또는 그 이상의 직각 평면들에서 움직일 수 있다. 물론, 또한 세가지의 인용된 평면들 중 임의의 평면으로 향하는 편심 하중 회전 엑추에이터들이 또한 사용될 수 있다.
전화의 상부 상의 외부 버튼(104)은 햅틱 엑추에이터(106)와 결합된다. 전화의 좌측 상의 외부 잠금 버튼(108)은 두개의 내부 햅틱 엑추에이터들(110a 및 110b)과 결합된다. 이러한 방식을 통해, 사용자의 손가락들이 이러한 버튼들 상에 머무르거나, 이들을 통해 입력을 제공하는 동안 햅틱 시뮬레이션이 사용자에게 출력될 수 있다.
전화(100)의 좌측 상에 사용자의 손가락이 머물 수 있는 커다란 압전 햅틱 액추에이터(112)가 유사하지만 작은 액추에이터(114)와 함께 있다. 전화의 우측 상에는 다른 이러한 액추에이터(116)가 있다. 이들은 Hayward에 의한 Tactile Display Device Using Distributed Lateral Skin Stretch, Proc. IEEE Haptic Interfaces for Virtual Environment and Teleoperator Sys. Symp., 2000, p.1309-1314 및 특허들 6,445,284 와 7,077,015에서 상세하게 설명된 바와 같은(및 또한 앞서 인용된 Luk의 시스템에서 사용된 바와 같은), 피부 확장 및 압축을 행하는 다중 소자 액추에이터들일 수 있다.
도시된 전화(100)는 또한 4개의 틸트 액추에이터들(118)을 포함한다. 이러한 액추에이터들은 전화의 상부, 하부, 좌측 및/또는 우측들을 기울이도록 제어가능하게 동작할 수 있다. 한 특별한 실시예에서, 이러한 액추에이터들은 전화의 뒷면 케이스를 돌출하게 만들거나, 또는 전화의 뒷부분을 탄력적으로 변형할 수 있는 부분을 가짐으로써 - 인접한 신체(예를 들면, 사용자의 손)에 대하여 신체로부터 전화를 들어올리도록 활동할 수 있게 한다. (액추에이터들(118)은 예시적으로 소위 "디지털 클레이(digital clay)" 장치의 클래스로 이루어지며, 이는 연관된 제어 신호들에 응답하여 물품-여기서는, 전화-의 크기를 제어가능하게 변형한다. 특허 7,047,143은 다른, 유체 기반 디지털 클레이 시스템의 상세한 설명들을 제공한다.
전화(100)는 또한 두 개의 액추에이터들(120)을 포함한다. 이러한 디바이스들은 긴 선형 축을 따라 질량을 이동시키도록 동작할 수 있는데 - 하나는 전화의 몸체를 가로질러 측면에서 측면으로 확장하고, 다른 하나는 상부 근처로부터 바닥 근처로 확장한다. 질량들은 자기 흡인/반발, 나사못, 등을 통해서와 같이 다양한 방법들로 이동될 수 있다.
복수의 액추에이터들의 제공은 단일의 액추에이터로 실질적이거나 가능하지 않은 햅틱 효과들의 생성을 허용한다는 것이 인식될 것이다. 특히 콘서트에서 사용될 때, 상이한 액추에이터들이 매우 다양한 종류의 햅틱 효과들을 시뮬레이트할 수 있다. 예를 들어, 액추에이터들(120)이 동작되어 전화의 질량 중심이 원형, 또는 타원형, 또는 임의의 다른 모양으로 움직일 수 있어서, 사용자에게 고유한 느낌들을 제공한다. 유사하게, 복수의 액추에이터들(102)이 다양한 시퀀스들(예를 들면, 인접한 디바이스들의 순서로, 또는 디바이스에 대하여 교번적으로)로 동작될 수 있어서, 다양한 효과들을 제공한다.
전화 몸체의 작은 크기와, 디바이스를 경량으로 유지하는데 잦은 할증이 제공되면, 특정 햅틱 액추에이터들의 효과들은 액추에이터 움직임의 주파수(그들의 효과들을 강조하는)에 공명하여 만들어진 내부의 서스펜션 장치의 사용에 의해 증폭될 수 있다. (예를 들면, Immersion의 특허 7,209,118을 참조.)
도시된 전화는 단지 예시적인 것이며, 특별한 구현들은 대부분 상이한 구성들의 상이한 타입들의 액추에이터들을 확실히 사용할 것임이 인식될 것이다.
햅틱 액추에이터들은 -(종종 디지털-아날로그 변환기 회로와 함께) 일반적으로 프로그램할 수 있는 프로세서에 의해 주어진 전기 제어 신호들에 응답한다. 햅틱 액추에이터들을 제어하기 위한 소프트웨어 명령들이 스크래치로부터 기록될 수 있으나, 기술자는 이러한 목적으로 설계된 현존하는 도구들 중 하나를 가장 일반적으로 이용할 것이다. 하나의 인기있는 도구는 Immersion for Java SDK이다. 이는 자바 객체들(예를 들면, JImmWebAPI 객체들)의 예시화를 통한 액추에이터들의 제어를 허용한다. Immersion은 또한 특히 이동 플랫폼들을 위한 햅틱 SDK인, TouchSense Mobile Developer SDK를 제공한다. 일부 개발자들에게 인기있는 다른 햅틱 도구는 SensAble Technologies에 의한 OpenHaptics이다.
다른 코멘트들
상세하게 설명된 실시예들에서, 햅틱 액추에이터는 이동 전화 디바이스의 일부일 수 있으며, 또는 전용 및/또는 개별적인 유닛일 수 있다(예를 들면, 유선에 의해, 또는 블루투스와 같은 무선에 의해 - 이동 디바이스에 결합된, 햅틱 액추에이터들이 장착된 오디오 이어버드들(earbuds)).
사람의 시각 및 청각 시스템들은 다양한 방식들로 많은 동시적 자극들에 대응하도록 진화하였는데, 예를 들면, 친구가 하는 단어들을 인식하면서 또한 배경 음악을 인식할 수 있고, 시야 내의 많은 객체들을 빠르게 인식한다. 우리의 촉각은 잠재적인 촉각 방해/혼란을 해결할 만큼 매우 발달하지는 않았다.
한 관점에서, 상이한 햅틱 자극들이 라우팅되는(routed) 공간적으로 떨어진 햅틱 액추에이터들의 사용에 의해 이것이 해결될 수 있다. 사용자가 선호하는 햅틱 입력이 액추에이터가 구비된 (또한 가청 출력을 제공하는) 이어버드들을 통과할 수 있다. 자극이 이미 (독립적으로 동작될 수 있는) 두개의 이어버드들로 인가되고 있다면, 새로운 자극이 2차 장소, 예를 들면 사용자의 발들의 발바닥들로 사용자의 신발들 내에 설치된 액추에이터 디바이스에 의해 인가될 수 있다. (또한, 이들은 독립적으로 동작될 수 있다.) 제 3의 장소는 안경에 의해서와 같이, 사용자의 코의 브리지 상에 위치된 액추에이터일 수 있다. 다음 우선 순위 체인에서 다른, 더욱 선호되는 액추에이터들이 점유된다면, 자극이 라우팅되는 사용자의 이동 전화의 액추에이터가 있을 수 있다. 등등.
햅틱 자극을 이미 점유되지 않은 가장 높은 우선순위의 액추에이터로 인가하는 대신, 자극 자체가 우선순위화될 수 있고, 적절하게 라우트될 수 있다. 사용자의 선호된 액추에이터(예를 들면, 이어버드들)가 사회적 네트워크 친구들에 대한 근접도를 나타내는 신호를 제공하고, 더 높은 우선 순위의 햅틱 신호가 사용가능하게 된다면(예를 들면, 사용자의 배우자로부터 들어오는 전화 호출을 알려주는 것), 더 높은 우선 순위의 햅틱 신호가 선호된 액추에이터로 라우팅될 수 있으며, 그 액추에이터로 먼저 제공된 신호는 다음의 선호된 액추에이터(예를 들면, 발의 발바닥들)로 변경될 수 있다.
햅틱 자극들을 공간적으로 분배하는 대신, 그들은 시간적으로 분배될 수 있다. 단일 액추에이터는 상이한 햅틱 자극들을 수용하기 위하여 (하나를, 그리고 그 후 다른 하나를, 그리고 그 후 세 번째를, 등으로 렌더링하여) 시간분할 다중될 수 있다. 다양한 자극 신호들로 할당된 시간의 간격은 더 높은 우선 순위 신호들이 더 많은 액추에이터의 렌더링 대역폭을 할당받는 상태로, 그들의 각각의 우선 순위들에 따라 변화될 수 있다. 구동들의 주기는 각 자극을 차례로 렌더링할 수 있으며(예를 들면, 1, 2, 3, 1, 2, 3,...), 또는 더 높은 우선 순위 자극들이 더욱 자주 렌더링될 수 있다(예를 들면, 1, 2, 1, 2, 1, 3, 1, 2, 1, 2, 1, 3, ...). 자극들은 또한 그들의 상대적인 우선 순위들에 관련된 진폭들로 렌더링될 수 있다.
피부의 주어진 영역이 우리의 시각 및 청각적 감각들이 그러한 것처럼 경쟁하는 자극들을 처리하는데 능숙하지 않을 수 있으나, 그럼에도 불구하고 복수의 상이한 촉각 자극들이 동시에 감지되고 구별될 수 있다. 한 예는 반복적인 펄스로 오버레이된 일정한 버저 음(buzz)이다.
이러한 실시예들에서, 자극들의 진폭들이 그들의 우선 순위에 따라 변화될 수 있다. 버저 음이 더욱 중요한 신호라면, 그것이 강할 수 있고, 펄스는 상대적으로 작은 진폭일 수 있다. 펄스 신호가 더욱 중요하다면, 진폭들은 역전될 수 있다.
일부 예들에서, 겹쳐지는 자극을 구별하는 것을 용이하게 하기 위하여, 그들이 진폭과 시간에서 변화되어, 상이한 순간들에서, 상이한 자극들을 강조할 수 있다. 예로써, 하나의 햅틱 신호의 진폭이 낮은 주파수의 사인파에 의해 제어될 수 있으며, 다른 것의 진폭이 동일한 주파수의 코사인파에 의해 제어될 수 있다. 하나가 최대에 있을 때, 다른 하나는 최소에 있다. (사인/코사인 신호의 절대값이 햅틱 진폭을 제어한다.) 다른 장치에서, 진폭들이 변화되는 파형들은 상이한 햅틱 신호들에 대해 상이할 수 있다. 하나의 햅틱 신호는 상대적으로 큰 사인파 신호의 값으로 묶인 그의 진폭을 가질 수 있고; 동반 신호는 단지 20%의 듀티 사이클을 갖는 더 작은 삼각파형의 값으로 묶일 수 있다(도 2에 도시된 바와 같은). 더욱 일반적으로, 각각의 햅틱 액추에이터 신호는 그 자신의 파형, 주파수, 진폭, 그리고 지속기간을 가질 수 있으며, 다른 이러한 신호들에 대하여 원하는 타이밍 관계(예를 들면, 위상)를 가질 수 있다.
사용자는 햅틱 신호들이 렌더링되는 파라미터들의 개별화(customization)를 허용하는 선호 데이터를 정의할 수 있다. 이러한 데이터는 예를 들면, 집으로부터의 전화 호출이 직장으로부터의 전화 호출보다 더욱 중요하다고(또는 반대로) 규정할 수 있다. 집으로부터의 전화 호출은 항상 우측 이어버드의 액추에이터를 이용하여 신호발신되어야 하고, 친구들의 근접도를 나타내는 신호들은 두 발의 발바닥들 모두로 우선적으로 라우팅되어야 한다고 규정할 수 있다. 유사하게, 이러한 데이터는 상이한 액추에이터들에 대한 사용자의 선호 계층을 밝힐 수 있다. (선호 데이터는 사용자 디바이스, 원격 서버, 클라우드 리소스, 등에 저장될 수 있다.)
인기있는 이메일 프로그램들(예를 들면, 아웃룩(Outlook), 지메일(Gmail))이 상이한 환경들에서 상이한 메일의 상이한 처리를 한정하는 상세하게 설명된 규칙들이 공표되는 것을 허용하는 도구들을 제공하는 것과 같이, 유사한 UI 제약들이 상이한 환경들에서 상이한 햅틱 자극들의 상이한 처리를 한정하는 상세하게 규정된 규칙들을 사용자가 공표하는 것을 허용하도록 채용될 수 있다.
일부 사람들이 다른것들보다 읽기에서 더 나은 것과 같이 - 상이한 사용자들은 촉각 자극들을 다루는데 더 많은 또는 더 적은 능숙함을 보여줄 수 있다. E-북 리더들 및 웹 브라우저들은 종종 시각적 텍스트를 사용자 설정가능한 속도로 스크린을 스크롤 다운(scroll down)하는 모드를 가진다. 더 빠른 독자들은 더 빠른 속도를 선택한다. 유사한 방식으로, 햅틱 방식은 사용자들이 햅틱 렌더링들에 대한 기본 파라미터들을 설정할 수 있는 UI 제어를 포함할 수 있다. 한 사람이 특히 촉각 느낌이 정밀하다면, 그 사람은 햅틱 신호들이 그들의 기본 속도의 150%에서, 또는 그들의 기본 진폭의 70%에서 렌더링되도록 명령할 수 있다. 못이 박힌 손가락을 가진 다른 사람은 액추에이터 장갑을 통해 인가된 햅틱 신호들이 그들의 기본 진폭의 두배로 인가되도록 명령할 수 있다. 이러한 파라미터들은 또한 상이한 사용자들과 연관된 선호 데이터로서 저장될 수 있다. (진폭과 속도는 환경 문맥에 기초하여 동적으로 적응될 수 있다. 예를 들어, 스마트폰의 움직임 센서들이 사용자가 햅틱적으로 소란한 환경에 있다는 것-거친 도로 위를 운전하는 동안 발생할 수 있는 경우와 같은-을 감지하면, 햅틱 시스템을 제어하는 전화 프로세서는 보상을 돕기 위해 햅틱 출력 신호들의 진폭을 증가시킬 수 있다.)
(상이한 상표 로고들과 브랜드 처리들이 매력과 유효성에서 다른 것처럼) 햅틱 시그니처들은 사용자의 주의를 얻는 그들의 매력과, 그들의 유효성이 다르다. 스마트폰들의 인기있는 모델들에서 발견될 수 있는 것과 같은 - 액추에이터들의 고정된 설정을 고려하면, 사용될 수 있는 햅틱 시그니처들(예를 들면, 설계자의 팔레트의 - 상이한 주파수들, 진폭들 및 주기들을 포함하여)의 유한 수가 존재한다. 특정 회사들은 창조적 원작자의 작업물들로서 - 그들의 특수성으로 인한, 또는 저작권 보호를 위해 - 상표 보호를 위한 자격을 갖는 그들의 제품들/서비스들에 사용하기 위해 햅틱 시그니처들을 사용할 수 있다. 그러나 다른 시그니처들은 하나의 회사에 의해 배타적인 법적 권리들을 청구하는 것을 목적으로 하지 않을 수 있다(특정 단어들이 하나의 회사에 의해 배타적인 법적 권리들을 청구할 수 없는 것과 같이). 이러한 햅틱 시그니처들의 사용을 할당하기 위하여, 경매 모델이 사용될 수 있는데 - 이는 특정 검색 용어들이 그의 검색 페이지에 입력될 때 지불된 광고의 제시를 트리거하도록 구글에 의해 사용된 것과 유사하다.
특별한 실시예에서, 버라이즌(Verizon)과 같은 서비스 제공자는, 회사들이 특정 버라이즌의 전화들 상에서 특별한 햅틱 시그니처들을 사용할 수 있는 권리들을 제시할 수 있는 경매를 (자동의, 컴퓨터로 구현된 기술들을 이용하여) 주기적으로 실행할 수 있다. (전화들은 다양한 인기있는/효율적인 시그니처들에 대응하는, 저장된 햅틱 시그니처 데이터의 라이브러리로 프로그램될 수 있다.) 한 달동안, 코카 콜라 회사가 전자적으로 가장 높은 호가를 제출하여, 캘리포니아의 모든 버라이즌 전화들 상에(또는 24 내지 44세 사이의 사용자들에게 등록된 모든 버라이즌 전화들 상에, 또는 특정 소비자의 전화 상에) 일정한 자극들(예를 들면, 코카 콜라의 만화 상의 NFC 칩에 대한 물리적 근접, 또는 코카 콜라 제품의 시각적 인식)에 응답하여 특별한 햅틱 시그니처들을 트리거할 수 있는 권리를 획득한다. 만일, 다음달에, 페데랄 익스프레스(Federal Express)가 그 특정 햅틱 시그니처에 대한 권리를 원한다면, 이는 코카 콜라의 호가보다 높을 수 있으며, 이후 전화가 (예를 들면, 이러한 페덱스 위치들의 위치들을 식별하는 데이터 구조를 전화로부터의 GPS 위치 데이터와 비교하는 것에 의해 결정되는) 페덱스/킨코스(FedEx/Kinko's) 점포 전면의 100 야드 내에 있을 때 신호를 발생시키는 그 시그니처를 사용할 수 있다.
(어떻게 그것이 인식되었는지 - 시각적으로, RFID 칩에 의해, GPS 위치에 의해, 등에 상관없이) 인식된 객체 또는 현장을 상호작용시킬 때, 햅틱 피드백이 크라우드-소싱되는(crowd-sourced), 또는 현존하는 사회적 네트워크들로부터 사용가능하게 만들어진 일시적 디지털 정보를 나타내도록 제공될 수 있다. 예를 들어, 발로 돌아다니도록 의도된 마을 전역의 맥주 축제의 지도를 살펴볼 때, 디바이스는 다른 사용자가 (예를 들어, 지도가 첨부된 블로그 포스트 또는 트위터에 의해) 보행자에 대해 존재할 수 있는 장벽(예를 들면, 상술된 지도의 예와 유사한, 안전하지 않은 거리 횡단)을 보고하였을 때 진동할 수 있다. 부가적으로, 디바이스는 현재 그 위치를 금지하는 이동 디바이스들의 수에 기초한 수립들 중 하나의 상대적인 인기도를 (예를 들면, 주파수 또는 진폭에 의해) 나타내는 햅틱 시그니처를 제공할 수 있다. 유사하게, 지도의 그 위치가 감지될 때 (또는 사용자가 축제의 그 물리적 위치에 접근할 때) 독특한 "친구(들) 여기 있음"의 시그니처에 의해 그러한 위치에서의 사용자의 사회적 네트워크로 친구들의 존재를 햅틱적으로 나타낼 수 있다.
포장은 또한 크라우드 소스 관련, 또는 사회적 네트워크 관련, 햅틱 시그니처를 포함할 수 있다. 예를 들어, 사용자가 (예를 들면, 시각적으로, 또는 NFC/RFID 칩 검출에 의해 감지된) 지역 상점의 맥주 통로에서 Young's Double Chocolate Stout를 한병 집어들 때, 사용자의 스마트폰은 이 제품이 사용자의 사회적 네트워크 친구들 중 한 명 또는 그 이상에게 인기 있다는 것을 나타내는 (아마도 주파수와 진폭으로 박수를 연상시키는) 시그니처로 승인시 진동할 수 있다. (이러한 정보는, 예를 들면, 하나 또는 그 이상의 페이스북 친구들이 그들이 그 제품을 "좋아한다"는 것을 나타내는 버튼을 클릭했다는 것을 나타낼 수 있는, 페이스북으로부터 수집될 수 있다.)
유사하게, 사용자는 다양한 패션 액세서리들을 강조하는 럭키 매거진(Lucky Magazine)의 발행을 통해 플리핑(flipping)될 수 있다. 상이한 아이템들의 인기를 읽기 위하여, 사용자는 도시된 제품들 위로 간단히 그들의 스마트폰을 지나가게 하여, 이미지를 포착할 수 있다. 이력적 클릭률(click through rates;CTR) 또는 호버 타임(hover time)(예를 들면, 발행인에 의해 로그된)에 기초하여, 확률 밀도 함수가 계산되어 페이지 상의 모든 액세서리들에 적용될 수 있다. 디바이스가 가장 인기있는 이러한 아이템들 위에 머물 때 전화는 더욱 적극적으로 진동할 것이다. 이러한 행동에 정밀성을 부가하는 것은 (예를 들면, 전화에 또는 원격 사이트에 저장된 프로파일 데이터를 참조하는 것에 의해) 그러한 특별한 사용자의 과거 머뭄 또는 CTR 행동, 또는 사용자의 인구학적 또래들 또는 사회적 네트워크 친구들을 고려하는 예측성 논리가 될 수 있다. 따라서, 예를 들어, 사용자가 자켓들에 대한 설명된 성향을 가진다면, 이후 (그의 공적인 인기로 인해) 잡지에 도시된 자켓과 일반적으로 연관된 햅틱 신호가 사용자에 의해 이미지화될 때 증폭될 수 있다.
햅틱 피드백은 또한 이벤트들을 관찰하는 것이 힘들다는 것을 사용자에게 알려주기 위한 매카니즘을 제공한다. 하나의 예는 그들의 결과들을 (예를 들면, 웹페이지들 또는 데이터베이스들 상에) 공적으로 게시하는 센서들에 의해 감지될 수 있는 환경의 변화이다. 기압의 극적인 감소는 임박한 폭풍을 나타낼 수 있다. 더 높은 고도에서 바람들의 갑작스런 솟구침은 윈드 서퍼에게 장비를 싸서 물로 가야할 시간임을 알리는 단서가 될 수 있다. 둘 다 사용자의 스마트폰이 대응하는 햅틱 알림을 발생시키게 할 수 있다. 디지털 이벤트들이 또한 다양한 무선 핫스팟들(알려져 있든 알려져 있지 않든) 안으로 또는 이로부터 밖으로 이동하는 것, 블루투스 신호들의 사용가능성, 또는 NFC/RFID 칩들 또는 판독기 디바이스들에 대한 근접성과 같은 것들을 유발할 수 있다. 상태 정보가 또한 이러한 방식으로 통신될 수 있다. 예를 들어, 영화를 다운로드하는 이동 디바이스는 성취된 유효 대역폭/다운로드 속도를 나타내는 카덴스(cadence)에서 진동할 수 있다.
햅틱 기술은 또한 미디어 소비와 연관하여 적용될 수 있다. 음악을 들을 때, 이동 디바이스 또는 태블릿 컴퓨터가 음악의 낮은 주파수 구성성분들(예를 들면, 100, 50 또는 20Hz보다 낮은)에 따라 진동할 수 있다. (작은 이어버드 헤드폰들은 서브우퍼(subwoofer)의 앞에 서는 것에 의해서 경험된 촉감을 생성하는데 사용될 수 없다.) 텔레비전 또는 영화들을 위해, (사용자가 상이한 화면을 보고 있다고 하더라도) 시청자의 무릎의 태블릿 컴퓨터의 햅틱 액추에이터들을 통해 햅틱 트랙이 저작되고 전달될 수 있다. 예를 들어, Bullitt이라는 영화의 30분짜리 자동차 추격 장면에서, 태블릿은 액션동안 운전자가 경험하는 스트레스들과 움직임들을 강조하는 진동 느낌들을 렌더링할 수 있다. 유사한 방식에서, 큰 스크린의 디바이스 상의 스포츠 이벤트를 시청할 때, 태블릿 또는 다른 이동 디바이스는 움직임, 예를 들면, 포켓의 밖으로 시도하는 쿼터백의 발걸음, 또는 선수가 허들들을 건너뛰는 것, 또는 테니스 선수가 공을 서브하거나 받아치는 것에 대응하는 촉각 자극을 렌더링할 수 있다.
일반적으로 햅틱 기술은, 그리고 특히 3D 다양성들은 (예를 들면, 디지털 클레이), 이동 디바이스들에 움직임을 부여할 수 있는 능력을 갖는다. 단일 디바이스의 움직임은 사용자에게 정보를 신호발신하도록 사용될 수 있다. 책상 위에 놓인 전화기를 고려하면, 시간의 경과를 나타내기 위한 방향으로 회전한다(예를 들면, 분, 시간, 또는 12 시간의 회전을 완성한다). 다른 모드에서, 전화기는 그의 방향을 변화시켜 그의 상부 모서리가 (아이에 의해 옮겨진, 전화와 같은, GPS 센서로부터 신호를 받아서) 사용자의 아이의 현재의 위치를 가리키도록 할 수 있다. 유사하게, 전화는 다른 근처의 디바이스를 가리키도록 그 자신을 물리적으로 재위치시킬 수 있다. 두개의 디바이스들이 서로 근처에 위치된다면, 객체들의 아이덴티티와 연관된 규칙들에 의해 나타내지는 바에 따라 서로 가까이 움직이도록 또는 서로 멀어지도록 선택할 수 있다. 가속도계들, 자력계들 및 다른 센서들(카메라, 마이크로폰들)과 함께, 이동 디바이스는 움직임을 부여할 뿐만 아니라, 그가 수행한 것을 정확하게 이해할 수 있다.
마지막 주의들
본 발명 작업의 원리들이 예시적인 예들을 참조하여 설명되고 도시되었지만, 기술은 이에 제한되지 않는다는 것이 인식될 것이다.
예를 들어, 스마트폰들을 참조하는 동안, 이러한 기술은 디바이스들의 모든 방식-이동식 및 고정식에 대한 사용을 찾을 수 있다는 것이 인식될 것이다. 휴대용 음악 재생기들, 게임 디바이스들, 전자 지갑들, 태블릿 컴퓨터들, 입는 컴퓨터들, 등이 모두 여기서 상세히 설명된 원리들을 사용할 수 있다.
특히 고려된 스마트폰들은 애플의 아이폰4와 구글의 안드로이드 규정을 따르는 스마트폰들(예를 들면, HTC Corp.에 의해 제조된 버라이즌 드로이드 에리스(Verizon Droid Eris) 전화, 및 모토로라 드로이드 2(Motorola Droid 2) 전화)을 포함한다. "스마트폰"(또는 "휴대 전화(cell phone)")이라는 용어는 그들이 엄격하게 말하기 위한 휴대 전화가 아니거나, 전화기들이 아니라고 하여도, 모든 이러한 디바이스들을 포함하는 것으로 해석되어야 한다.
(터치 인터페이스를 포함하는 아이폰의 세부사항들이 애플의 공개된 특허 출원 20080174570에 제공된다. 예시적인 휴대 전화의 세부사항들이 노키아의 공개된 특허 공보 20080267504에 제공된다.)
본 명세서에서 참조된 스마트폰들 및 다른 디바이스들의 설계는 기술자에게 친숙하다. 일반적인 용어들에서, 각각은 하나 또는 그 이상의 프로세서들, 하나 또는 그 이상의 메모리들(예를 들면, RAM), 저장 장치(예를 들면, 디스크 또는 플래시 메모리), 사용자 인터페이스(예를 들면, 그래픽 사용자 인터페이스를 제공하기 위한 소프트웨어 명령들과 함께, 키패드, TFT LCD 또는 OLED 디스플레이 스크린, 터치 또는 다른 제스처 센서들, 카메라 또는 다른 광학 센서, 지자기(compass) 센서, 3D 자력계, 3축 가속도계, 3축 자이로스코프, 하나 또는 그 이상의 마이크로폰들, 등을 포함할 수 있는), 이러한 소자들 사이의 상호연결들(예를 들면, 버스들), 및 다른 디바이스들과 통신하기 위한 인터페이스(GSM, CDMA, W-CDMA, CDMA2000, TDMA, EV-DO, HSDPA, WiFi, WiMax, 또는 블루투스와 같은 무선, 및/또는 이더넷 로컬 영역 네트워크, T-1 인터넷 연결, 등을 통하는 것과 같은 유선일 수 있는)를 포함한다.
본 명서세에서 개시된 상이한 실시예들 내의 요소들 및 교시들은 또한 변화되고 조합되는 것을 의미한다.
본 명세서에서 상세히 설명된 프로세스들 및 시스템 구성성분들은 마이크로프로세서들(예를 들면, Atom 및 A4), 그래픽 프로세싱 유닛들(nVidia Tegra APX 2600과 같은 GPU들), 및 디지털 신호 프로세서들(예를 들면, Texas Instruments TMS320 시리즈의 디바이스들), 등을 포함하는 다양한 프로그램가능한 프로세서들을 위한 범용 프로세서 명령들을 포함하는 컴퓨팅 디바이스들을 위한 명령들로 구현될 수 있다. 이러한 명령들은 소프트웨어, 펌웨어, 등으로 구현될 수 있다. 이러한 명령들은 또한 프로그램가능한 논리 디바이스들, 필드 프로그래머블 게이트 어레이들(예를 들면, Xilinx Virtex 시리즈의 디바이스들), 필드 프로그래머블 오브젝트 어레이들, 및 디지털, 아날로그 및 혼합 아날로그/디지털 회로를 포함하는 애플리케이션 특정 회로들을 포함하는, 다양한 형태의 프로세서 회로로 구현될 수 있다. 명령들의 실행은 프로세서들 중에 분포될 수 있으며 및/또는 디바이스 내의 프로세서들 또는 디바이스들의 네트워크를 가로질러 병렬로 만들어질 수 있다. 콘텐트 신호 데이터의 처리가 또한 상이한 프로세서 및 메모리 디바이스들 사이에 분포될 수 있다. "클라우드(Cloud)" 컴퓨팅 리소스들이 또한 사용될 수 있다. "프로세서들", "모듈들", 또는 "구성성분들"로의 참조들은 구현의 특별한 형식을 필요로 하는 것이 아니라 기능성을 참조하는 것으로 이해되어야 한다.
상세히 설명된 기능성을 구현하기 위한 소프트웨어 명령들은 예를 들면, C, C++, Visual Basic, Java, Python, Tcl, Perl, Scheme, Ruby, 등으로 기록되어 여기서 제공된 설명들로부터의 지나친 실험없이 기술자들에 의해 저작될 수 있다. 본 기술의 특정한 구현들에 따른 스마트폰들 및 다른 디바이스들은 상이한 기능들 및 움직임들을 수행하기 위한 소프트웨어 모듈들을 포함할 수 있다.
소프트웨어 및 하드웨어 구성 데이터/명령들은 일반적으로 자기 또는 광학 디스크들, 메모리 카드들, ROM, 등과 같은 유형의 매체들에 의해 전달된 하나 또는 그 이상의 데이터 구조들에 명령들로서 저장되고, 네트워크 전반으로부터 원격적으로 액세스될 수 있다. 일부 실시예들은 - 운영 체계의 소프트웨어 및 애플리케이션 소프트웨어가 사용자에게 구별불가능한(예를 들어, 기본적인 휴대 전화들의 경우에는 공통적인) 특별 목적 컴퓨터 시스템인 - 임베디드 시스템들로 구현될 수 있다. 본 명세서에서 상세하게 설명된 기능성은 운영 체계 소프트웨어, 애플리케이션 소프트웨어 및/또는 임베디드 시스템 소프트웨어로 구현될 수 있다.
본 명세서가 행위들의 특별한 순서 및 소자들의 특별한 조합들을 상세하게 설명하였으나, 다른 고려된 방법들은 행위들(가능하게는 일부를 생략하는 것 및 다른 것들을 부가하는 것)을 재순서화할 수 있고, 다른 고려된 조합들은 일부 요소들을 생략하거나 다른 것들을 부가할 수 있다는 것 등이 인식될 것이다.
표시된 바와 같이, 디지털 워터마킹이 객체들을 식별하고 이미지로부터 식별자들을 추출하는데 사용될 수 있다. 이러한 기술은 예를 들면, 특허 문서들 6,590,996과 20100150434를 포함하는, 업계의 양수인의 등록된 작업으로부터 알 수 있다.
유사하게, 감지된 콘텐트(예를 들면, 오디오 또는 이미지)로부터 식별자를 추출하기 위하여 지문이 사용될 수 있다. 기준 지문들의 데이터베이스가 이후 유사한 매칭을 식별하고 따라서 콘텐트의 아이덴티티를 파악하도록 참조될 수 있다. 적절한 지문 기술들은 예를 들면, 특허 6,671,407과, Bay 등에 의한 "SURF: Speeded Up Robust Features," Eur. Conf. on Computer Vision(1), pp.404-417,2006 뿐만 아니라; Chen 등에 의한 "Efficient Extraction of Robust Image Features on Mobile Devices," Proc. of the 6th IEEE and ACM Int. Symp. On Mixed and Augmented Reality, 2007; 및 Takacs 등에 의한 "Outdoors Augmented Reality on Mobile Phone Using Loxel-Based Visual Feature Organization," ACM Int. Conf. on Multimedia Information Retrieval, October 2008에서 개시된 SIFT 및 SURF를 포함한다.
종합적인 개시를 제공하기 위해, 간결성의 법정 요건에 순응하면서, 출원인은 특허들, 특허 출원들 및 여기에 참조된 다른 문서들을 참조로서 병합한다. (이러한 재료들은 상기에서 특정한 그들의 교시들에 관해 인용되었지만, 그들의 전체가 병합된다.) 이러한 참조들은 여기서 상세히 설명된 방식에 포함될 수 있고, 여기서 상세히 설명된 기술들 및 교시들이 포함될 수 있는 기술들 및 교시들을 개시한다. 독자는 이러한 종래 기술과 친숙하다고 가정된다.
100: 이동 전화 102: 진동 액추에이터
104: 외부 버튼 106: 햅틱 액추에이터
108: 잠금 버튼 118: 틸트 액추에이터

Claims (18)

  1. 방법에 있어서:
    이동 디바이스로, 물리적 객체를 나타내는 이미지 데이터를 포착하는 단계;
    상기 물리적 객체에 대응하는 메타데이터를 얻기 위해 상기 이미지 데이터를 처리하는 단계;
    상기 메타데이터를 제 1 원격 시스템으로 송신하는 단계;
    상기 송신에 응답하여, 상기 물리적 객체와 연관된 햅틱 시그니처(haptic signature)를 나타내는 데이터를 수신하는 단계; 및
    상기 햅틱 시그니처를 상기 이동 디바이스의 사용자에게 제공하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서:
    상기 메타데이터는 상기 물리적 객체가 속하는 복수의 클래스들 중 하나를 나타내며;
    상기 제공하는 단계는, 상기 물리적 객체가 제 1 클래스에 속하면 제 1 햅틱 시그니처를 제공하고, 상기 물리적 객체가 제 2 클래스에 속하면 상기 제 1 햅틱 시그니처와는 상이한 제 2 햅틱 시그니처를 제공하는 단계를 포함하는, 방법.
  3. 제 2 항에 있어서, 상기 제 1 및 제 2 햅틱 시그니처들은 파형이 상이한, 방법.
  4. 제 2 항에 있어서, 상기 제 1 및 제 2 햅틱 시그니처들은 진폭이 상이한, 방법.
  5. 제 2 항에 있어서, 상기 제 1 및 제 2 햅틱 시그니처들은 주파수가 상이한, 방법.
  6. 제 2 항에 있어서, 상기 제 1 및 제 2 햅틱 시그니처들은 지속기간이 상이한, 방법.
  7. 제 2 항에 있어서, 상기 제 1 및 제 2 햅틱 시그니처들은: 파형, 진폭, 주파수 및 지속기간 중 둘 이상이 상이한, 방법.
  8. 제 2 항에 있어서, 상기 복수의 클래스들은: 사람들의 클래스, 책들의 클래스, DVD들의 클래스, 바코드들의 클래스, 인쇄된 텍스트의 클래스, 빌딩들과 같은 랜드마크들의 클래스, 로고들의 클래스, 예술 작품들의 클래스, 및 제품 용기들의 클래스 중 적어도 두개를 포함하는, 방법.
  9. 제 1 항에 있어서, 상기 처리 단계는 상기 제 1 원격 시스템과 상이한 제 2 원격 시스템에 의해 처리하는 단계를 포함하는, 방법.
  10. 제 1 항에 있어서, 상기 물리적 객체는 상표를 가진 음료 용기이며, 상기 햅틱 시그니처는 상기 상표의 소유자에 의해 미리 규정되는, 방법.
  11. 제 1 항에 있어서, 상기 메타데이터는 상기 물리적 객체에 관한 텍스트(text)를 포함하는, 방법.
  12. 방법에 있어서:
    이동 전화 디바이스의 근거리 센서로, 물리적 객체와 연관된 칩으로부터 식별 데이터를 포착하는 단계;
    상기 칩으로부터 포착된 상기 식별 데이터의 적어도 일부를 제 1 원격 시스템으로 송신하는 단계;
    상기 송신에 응답하여, 상기 물리적 객체와 연관된 햅틱 시그니처를 나타내는 데이터를 수신하는 단계; 및
    상기 햅틱 시그니처를 상기 이동 전화 디바이스의 사용자에게 제공하는 단계를 포함하는, 방법.
  13. 시각적 검색 애플리케이션을 수행하는 카메라가 구비된 이동 전화를 채용하는 방법에 있어서,
    입력을 수신하고, 복수의 상이한 클래스들 중에서 상기 시각적 검색 애플리케이션이 응답하여야 할 시각적 자극의 제 1 클래스를 -적어도 일부를- 결정하기 위해 상기 입력을 이용하는 단계;
    상기 이동 전화에 의해 포착된 이미지가 상기 제 1 클래스의 시각적 자극을 포함하는지 여부를 검출하는 단계; 및
    만일 그렇다면, 상기 이동 전화로부터, 상기 제 1 클래스의 시각적 자극의 검출을 알리는 햅틱 출력을 제공하는 단계를 포함하는, 카메라가 구비된 이동 전화를 채용하는 방법.
  14. 제 13 항에 있어서, 상기 입력은 사용자 입력을 포함하는, 카메라가 구비된 이동 전화를 채용하는 방법.
  15. 제 13 항에 있어서, 상기 입력은 상기 이동 전화의 위치에 관한 데이터를 포함하는, 카메라가 구비된 이동 전화를 채용하는 방법.
  16. 제 13 항에 있어서, 시각적 자극의 상기 복수의 상이한 클래스들은: 바코드들, 텍스트, 책들, DVD들, 랜드마크들, 로고들, 예술 작품들, 및 제품 용기들 중 적어도 두 개를 포함하는, 카메라가 구비된 이동 전화를 채용하는 방법.
  17. 제 13 항에 있어서, 시각적 자극의 상기 복수의 상이한 클래스들은: 바코드들, 텍스트, 책들, DVD들, 랜드마크들, 로고들, 예술 작품들, 및 제품 용기들 중 적어도 세 개를 포함하는, 카메라가 구비된 이동 전화를 채용하는 방법.
  18. 제 1 항에 있어서, 상기 메타데이터를 얻기 위해 상기 이미지 데이터를 처리하는 단계는 상기 포착된 이미지 데이터로부터 바코드, 워터마크, 또는 지문 정보를 추출하는 단계를 포함하는, 방법.
KR1020137002983A 2010-07-09 2011-07-08 햅틱 기술을 채용한 이동 디바이스들 및 방법들 KR101794493B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US36314310P 2010-07-09 2010-07-09
US61/363,143 2010-07-09
US13/174,301 2011-06-30
US13/174,301 US8798534B2 (en) 2010-07-09 2011-06-30 Mobile devices and methods employing haptics
PCT/US2011/043394 WO2012015579A1 (en) 2010-07-09 2011-07-08 Mobile devices and methods employing haptics

Publications (2)

Publication Number Publication Date
KR20130137124A KR20130137124A (ko) 2013-12-16
KR101794493B1 true KR101794493B1 (ko) 2017-11-07

Family

ID=45527218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137002983A KR101794493B1 (ko) 2010-07-09 2011-07-08 햅틱 기술을 채용한 이동 디바이스들 및 방법들

Country Status (3)

Country Link
US (3) US8798534B2 (ko)
KR (1) KR101794493B1 (ko)
WO (1) WO2012015579A1 (ko)

Families Citing this family (124)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101545736B1 (ko) * 2009-05-04 2015-08-19 삼성전자주식회사 휴대용 단말기에서 3차원 컨텐츠를 생성하기 위한 장치 및 방법
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US8798534B2 (en) * 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US9335181B2 (en) * 2010-11-10 2016-05-10 Qualcomm Incorporated Haptic based personal navigation
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US8848970B2 (en) 2011-04-26 2014-09-30 Digimarc Corporation Salient point-based arrangements
US10180722B2 (en) * 2011-05-27 2019-01-15 Honeywell International Inc. Aircraft user interfaces with multi-mode haptics
WO2012177719A2 (en) * 2011-06-21 2012-12-27 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
KR20130020060A (ko) * 2011-08-18 2013-02-27 주식회사 케이티 정보 제공 시스템, 이동통신단말 및 방법
US9342108B2 (en) * 2011-09-16 2016-05-17 Apple Inc. Protecting an electronic device
CN108014002A (zh) 2011-11-04 2018-05-11 马萨诸塞眼科耳科诊所 自适应视觉辅助装置
US20130227409A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Integrating sensation functionalities into social networking services and applications
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
EP2631746A1 (en) * 2012-02-24 2013-08-28 Research In Motion Limited Portable electronic device including touch-sensitive display and method of controlling same
KR101945822B1 (ko) * 2012-03-02 2019-02-11 삼성전자 주식회사 단말기에서 페이지 표시 방법 및 장치
US9400805B2 (en) 2012-03-29 2016-07-26 Digimarc Corporation Image-related social network methods and arrangements
EP2856289A4 (en) * 2012-05-25 2016-01-06 Immerz Inc HAPTIC INTERFACE FOR PORTABLE ELECTRONIC DEVICE
GB2502549A (en) 2012-05-30 2013-12-04 Ibm Navigation system
CN102780802B (zh) * 2012-07-13 2017-10-10 中兴通讯股份有限公司 一种快速拨号的方法及终端
CA2882453C (en) 2012-08-27 2021-07-20 Universite Du Quebec A Chicoutimi Method to determine physical properties of the ground, foot-worn sensor therefore, and method to advise a user of a risk of falling based thereon
US9116546B2 (en) * 2012-08-29 2015-08-25 Immersion Corporation System for haptically representing sensor input
US9046925B2 (en) 2012-09-11 2015-06-02 Dell Products L.P. Method for using the GPU to create haptic friction maps
US10671165B2 (en) 2012-09-25 2020-06-02 Nokia Technologies Oy Method and display device with tactile feedback
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US9046926B2 (en) * 2012-12-17 2015-06-02 International Business Machines Corporation System and method of dynamically generating a frequency pattern to realize the sense of touch in a computing device
US20140214631A1 (en) * 2013-01-31 2014-07-31 Intermec Technologies Corporation Inventory assistance device and method
US9432492B2 (en) 2013-03-11 2016-08-30 Apple Inc. Drop countermeasures for electronic device
US9904394B2 (en) 2013-03-13 2018-02-27 Immerson Corporation Method and devices for displaying graphical user interfaces based on user contact
US9547366B2 (en) * 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9505032B2 (en) 2013-03-14 2016-11-29 Apple Inc. Dynamic mass reconfiguration
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9818150B2 (en) 2013-04-05 2017-11-14 Digimarc Corporation Imagery and annotations
US9274603B2 (en) 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US9565503B2 (en) 2013-07-12 2017-02-07 Digimarc Corporation Audio and location arrangements
US9652040B2 (en) 2013-08-08 2017-05-16 Apple Inc. Sculpted waveforms with no or reduced unforced response
US9317120B2 (en) * 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9779592B1 (en) 2013-09-26 2017-10-03 Apple Inc. Geared haptic feedback element
WO2015047343A1 (en) 2013-09-27 2015-04-02 Honessa Development Laboratories Llc Polarized magnetic actuators for haptic response
CN105579928A (zh) * 2013-09-27 2016-05-11 苹果公司 具有触觉致动器的带体
US10126817B2 (en) 2013-09-29 2018-11-13 Apple Inc. Devices and methods for creating haptic effects
CN105683865B (zh) 2013-09-30 2018-11-09 苹果公司 用于触觉响应的磁性致动器
US9317118B2 (en) * 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
US10276001B2 (en) 2013-12-10 2019-04-30 Apple Inc. Band attachment mechanism with haptic response
US9489048B2 (en) * 2013-12-13 2016-11-08 Immersion Corporation Systems and methods for optical transmission of haptic display parameters
GB2521436A (en) * 2013-12-20 2015-06-24 Nokia Corp Method and apparatus for adaptive feedback
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
US9501912B1 (en) 2014-01-27 2016-11-22 Apple Inc. Haptic feedback device with a rotating mass of variable eccentricity
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US9313610B2 (en) * 2014-03-28 2016-04-12 Intel Corporation On demand customization of mobile computing devices
WO2015153803A1 (en) * 2014-04-01 2015-10-08 Apple Inc. Devices and methods for a ring computing device
US9715257B2 (en) 2014-04-18 2017-07-25 Apple Inc. Active screen protection for electronic device
CN106489116B (zh) 2014-04-21 2019-08-16 苹果公司 用于电子设备的多触摸输入设备的力的分配
US9510154B2 (en) 2014-04-28 2016-11-29 Samsung Electronics Co., Ltd Location determination, mapping, and data management through crowdsourcing
US9665198B2 (en) * 2014-05-06 2017-05-30 Qualcomm Incorporated System and method for optimizing haptic feedback
US9507420B2 (en) * 2014-05-13 2016-11-29 Qualcomm Incorporated System and method for providing haptic feedback to assist in capturing images
DE102015209639A1 (de) 2014-06-03 2015-12-03 Apple Inc. Linearer Aktuator
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
US9454915B2 (en) * 2014-08-20 2016-09-27 Thieab Ibrahim Aldossary Electro tactile communication apparatus, method, and computer program product
KR102373337B1 (ko) 2014-09-02 2022-03-11 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR102143310B1 (ko) 2014-09-02 2020-08-28 애플 인크. 햅틱 통지
KR102437373B1 (ko) * 2014-10-31 2022-08-30 삼성전자주식회사 가상의 진동을 출력하는 포터블 디바이스 및 기계적 진동을 이용한 디바이스 간의 통신 방법
US9846484B2 (en) 2014-12-04 2017-12-19 Immersion Corporation Systems and methods for controlling haptic signals
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US9600076B2 (en) 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US10073523B2 (en) * 2014-12-23 2018-09-11 Immersion Corporation Position control of a user input element associated with a haptic output device
US10268985B1 (en) * 2015-01-02 2019-04-23 Stocket, Inc. Electronic gaming platforms allowing users to real-time addition of third party products/services while maintaining persistent electronic links to third party inventory management computer systems and methods of use thereof
US9619034B2 (en) 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US10372212B2 (en) * 2015-05-29 2019-08-06 Google Llc Techniques for simulated physical interaction between users via their mobile computing devices
US9734699B2 (en) 2015-06-05 2017-08-15 GM Global Technology Operations LLC System for providing alerts to vehicle occupants
CN104951686B (zh) * 2015-07-07 2020-08-04 京东方科技集团股份有限公司 一种移动终端及控制移动终端的方法
CN107925333B (zh) 2015-09-08 2020-10-23 苹果公司 用于在电子设备中使用的线性致动器
US20170091753A1 (en) * 2015-09-28 2017-03-30 Paypal, Inc. Sensory feedback payment system
US10282052B2 (en) 2015-10-15 2019-05-07 At&T Intellectual Property I, L.P. Apparatus and method for presenting information associated with icons on a display screen
US9847000B2 (en) 2015-10-29 2017-12-19 Immersion Corporation Ambient triggered notifications for rendering haptic effects
US9990815B2 (en) * 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
US9942701B2 (en) 2016-04-07 2018-04-10 At&T Intellectual Property I, L.P. Apparatus and method for detecting objects and navigation
US10754334B2 (en) 2016-05-09 2020-08-25 Strong Force Iot Portfolio 2016, Llc Methods and systems for industrial internet of things data collection for process adjustment in an upstream oil and gas environment
US11774944B2 (en) 2016-05-09 2023-10-03 Strong Force Iot Portfolio 2016, Llc Methods and systems for the industrial internet of things
US11327475B2 (en) * 2016-05-09 2022-05-10 Strong Force Iot Portfolio 2016, Llc Methods and systems for intelligent collection and analysis of vehicle data
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
DK180122B1 (en) 2016-06-12 2020-05-19 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
EP3291054B8 (en) * 2016-09-06 2019-07-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US10845881B2 (en) * 2016-09-14 2020-11-24 Sony Corporation Information processing apparatus, information processing method, and information processing system for presentation of haptic feedback with respect to an object based on the electronic information
US10528815B2 (en) * 2016-12-31 2020-01-07 Vasuyantra Corp. Method and device for visually impaired assistance
US10007347B1 (en) * 2017-03-09 2018-06-26 Immersion Corporation Fiber actuator for haptic feedback
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
KR102364678B1 (ko) * 2017-06-20 2022-02-18 엘지전자 주식회사 이동 단말기
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10678233B2 (en) 2017-08-02 2020-06-09 Strong Force Iot Portfolio 2016, Llc Systems and methods for data collection and data sharing in an industrial environment
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
US10955922B2 (en) * 2017-11-29 2021-03-23 International Business Machines Corporation Simulating tactile information for haptic technology
CN108465237B (zh) * 2018-03-27 2022-09-09 京东方科技集团股份有限公司 一种移动设备及其改变质心的方法
CN111860020A (zh) 2018-04-25 2020-10-30 创新先进技术有限公司 业务处理方法、装置以及设备
US10121355B1 (en) 2018-06-26 2018-11-06 Capital One Services, Llc Condition-responsive wearable device for sensing and indicating proximity of an article with a specific characteristic
US10685552B2 (en) 2018-06-26 2020-06-16 Capital One Services, Llc Condition-responsive wearable device for sensing and indicating proximity of an article with a specific characteristic
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
US10976820B2 (en) * 2018-07-12 2021-04-13 Microsoft Technology Licensing, Llc Natural interactions with virtual objects and data through touch
US11016568B2 (en) 2018-07-24 2021-05-25 The Nielsen Company (Us), Llc Methods and apparatus to monitor haptic vibrations of touchscreens
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
DE102018215291A1 (de) * 2018-09-07 2020-03-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Interaktion eines Benutzers mit einem Fahrzeug, Anwenderschnittstelle und Kraftfahrzeug
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
CN109766501B (zh) * 2019-01-14 2021-08-17 北京搜狗科技发展有限公司 爬虫协议管理方法及装置、爬虫系统
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11223732B1 (en) 2020-10-08 2022-01-11 Xerox Corporation Multi-modal multi-device alerts
US11550469B2 (en) * 2021-02-24 2023-01-10 Huawei Technologies Co., Ltd. Devices, methods and systems for control of an electronic device using force-based gestures
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065721A (ja) * 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
JP2006338146A (ja) * 2005-05-31 2006-12-14 Fuji Xerox Co Ltd 情報提示システム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6161126A (en) 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US6252583B1 (en) 1997-11-14 2001-06-26 Immersion Corporation Memory and force output management for a force feedback system
JP2002057759A (ja) * 2000-08-09 2002-02-22 Nec Saitama Ltd 折り畳み可能な携帯電話
DE10114470A1 (de) * 2001-03-24 2002-09-26 Bosch Gmbh Robert Spurhalte- und Fahgeschwindigkeitsregeleinrichtung für Kraftfahrzeuge
US7225115B2 (en) 2001-10-04 2007-05-29 Novint Technologies, Inc. Coordinating haptics with visual images in a human-computer interface
US7779166B2 (en) 2002-12-08 2010-08-17 Immersion Corporation Using haptic effects to enhance information content in communications
US6853919B2 (en) * 2003-02-04 2005-02-08 General Motors Corporation Method for reducing repeat false alarm indications in vehicle impact detection systems
US7437397B1 (en) * 2003-04-10 2008-10-14 At&T Intellectual Property Ii, L.P. Apparatus and method for correlating synchronous and asynchronous data streams
CA2467985C (en) * 2003-05-22 2011-07-12 At&T Corp. Apparatus and method for providing near-optimal representations over redundant dictionaries
US8090402B1 (en) * 2003-09-26 2012-01-03 Iwao Fujisaki Communication device
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7283120B2 (en) * 2004-01-16 2007-10-16 Immersion Corporation Method and apparatus for providing haptic feedback having a position-based component and a predetermined time-based component
US9495009B2 (en) 2004-08-20 2016-11-15 Immersion Corporation Systems and methods for providing haptic effects
US20060218031A1 (en) 2005-03-25 2006-09-28 The Weinberg Group Llc System and methodology for collecting autobiographical data concerning use of consumer products or exposures to substances
US20070106457A1 (en) 2005-11-09 2007-05-10 Outland Research Portable computing with geospatial haptic compass
US20080120029A1 (en) 2006-02-16 2008-05-22 Zelek John S Wearable tactile navigation system
US8239032B2 (en) 2006-08-29 2012-08-07 David Charles Dewhurst Audiotactile vision substitution system
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
US7839269B2 (en) 2007-12-12 2010-11-23 Immersion Corporation Method and apparatus for distributing haptic synchronous signals
US8123660B2 (en) 2007-12-28 2012-02-28 Immersion Corporation Method and apparatus for providing communications with haptic cues
US20090251421A1 (en) 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications Ab Method and apparatus for tactile perception of digital images
US20090259359A1 (en) 2008-04-09 2009-10-15 David Michael Whitton Variable intensity haptic level control based on vehicle conditions
US8180296B2 (en) 2008-04-29 2012-05-15 Immersion Corporation Providing haptic effects to users in a short range wireless system
US8319620B2 (en) * 2008-06-19 2012-11-27 Personics Holdings Inc. Ambient situation awareness system and method for vehicles
US8306576B2 (en) 2008-06-27 2012-11-06 Lg Electronics Inc. Mobile terminal capable of providing haptic effect and method of controlling the mobile terminal
US8638301B2 (en) * 2008-07-15 2014-01-28 Immersion Corporation Systems and methods for transmitting haptic messages
US8385971B2 (en) 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US9727139B2 (en) 2008-12-12 2017-08-08 Immersion Corporation Method and apparatus for providing a haptic monitoring system using multiple sensors
US8378979B2 (en) * 2009-01-27 2013-02-19 Amazon Technologies, Inc. Electronic device with haptic feedback
US20100198458A1 (en) 2009-02-02 2010-08-05 Ford Global Technologies, Llc Navigation system with haptic assist
US8429173B1 (en) 2009-04-20 2013-04-23 Google Inc. Method, system, and computer readable medium for identifying result images based on an image query
KR101785255B1 (ko) * 2009-05-09 2017-10-16 바이탈 아트 앤드 사이언스, 엘엘씨. 형상 구별 시력 평가 및 추적 시스템
US8116724B2 (en) * 2009-05-11 2012-02-14 Vocare, Inc. System containing location-based personal emergency response device
US8798534B2 (en) * 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002065721A (ja) * 2000-08-29 2002-03-05 Komatsu Ltd 視覚障害者用環境認識支援装置及びその方法
JP2006338146A (ja) * 2005-05-31 2006-12-14 Fuji Xerox Co Ltd 情報提示システム

Also Published As

Publication number Publication date
KR20130137124A (ko) 2013-12-16
US20150080060A1 (en) 2015-03-19
US20160005278A1 (en) 2016-01-07
US9131035B2 (en) 2015-09-08
WO2012015579A1 (en) 2012-02-02
US9836929B2 (en) 2017-12-05
US20120028577A1 (en) 2012-02-02
US8798534B2 (en) 2014-08-05

Similar Documents

Publication Publication Date Title
KR101794493B1 (ko) 햅틱 기술을 채용한 이동 디바이스들 및 방법들
US10248298B2 (en) Haptically enhanced interactivity with interactive content
US20200342681A1 (en) Interaction system for augmented reality objects
KR101832693B1 (ko) 직관적 컴퓨팅 방법들 및 시스템들
KR101796008B1 (ko) 센서-기반 모바일 검색, 관련 방법들 및 시스템들
JP5879637B2 (ja) 直観的コンピューティング方法及びシステム
KR20160075333A (ko) 대상들과의 햅틱으로 인에이블되는 상호작용을 위한 시스템들 및 방법들
CN108491534B (zh) 虚拟环境中的信息展示方法、装置及计算机设备
US20220335661A1 (en) System and method for playback of augmented reality content triggered by image recognition
CN105684012A (zh) 提供情境信息
KR20230003388A (ko) 시각적 검색을 위한 디지털 보충물 연관 및 검색
CN107479687A (zh) 用于伺机显示器的触觉反馈
CN113632445A (zh) 模糊媒体通信
US11302079B2 (en) Systems and methods for displaying and interacting with a dynamic real-world environment
NL2014682B1 (en) Method of simulating conversation between a person and an object, a related computer program, computer system and memory means.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant