KR20160075332A - 햅틱 피드백을 이용하는 대상 조작을 위한 시스템들 및 방법들 - Google Patents

Abstract

본원에 개시된 일 예시적인 컴퓨팅 디바이스는 물리적 대상과의 사용자 상호작용을 검출하고, 사용자 상호작용과 연관된 센서 신호를 송신하도록 구성된 센서를 포함한다. 예시적인 컴퓨팅 디바이스는 또한 센서와 통신하는 프로세서를 포함하고, 프로세서는: 센서 신호를 수신하고, 센서 신호에 기초하여 물리적 대상의 특성을 판정하고, 특성과 연관된 햅틱 효과를 판정하고, 햅틱 효과와 연관된 햅틱 신호를 송신하도록 구성된다. 예시적인 컴퓨팅 디바이스는 또한 프로세서와 통신하는 햅틱 출력 디바이스를 더 포함하고, 햅틱 출력 디바이스는 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성된다.

Description

햅틱 피드백을 이용하는 대상 조작을 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR OBJECT MANIPULATION WITH HAPTIC FEEDBACK}

관련 출원에 대한 상호 참조

본 출원은, 발명의 명칭이 "Systems and Methods for Haptically-Enabled Interactions with Objects"인 미국 특허출원 제14/577,565호(대리인 관리번호 IMM548 (58518-922294)호)와 관련되고, 그 출원의 전부가 본 명세서에 참조로 통합된다.

발명의 분야

본 발명은 사용자 인터페이스 디바이스들의 분야에 관한 것이다. 보다 구체적으로는, 본 발명은 햅틱 피드백을 이용하는 대상 조작에 관련된다.

사람들은 각종의 일상 활동들을 위해 컴퓨터 기반 시스템들을 점점 더 이용하고 있다. 예를 들어, 소비자들은 모바일 디바이스들(예를 들어, 스마트폰)을 이용하여 제품에 관한 리뷰를 읽거나 또는 쇼핑하는 동안 상이한 상점들에서의 제품의 가격들을 비교할 수 있다. 그러나, 소비자가 모바일 디바이스의 작은 사용자 인터페이스(예를 들어, 터치스크린 디스플레이)와 상호작용하여 쇼핑하는 동안 관련 정보를 획득하는 것은 어렵고 시간 소모적일 수 있다. 따라서, 사용자에게 그러한 정보를 신속하고 쉽게 제공할 수 있는 개선된 사용자 인터페이스에 대한 요구가 있다. 그러한 사용자 인터페이스들을 개선하기 위해 햅틱 피드백(예를 들어, 기계적 진동)을 사용하는 것이 바람직하다.

본 개시내용의 실시예들은 햅틱 피드백을 이용하는 대상 조작을 포함한다. 일 실시예에서, 본 개시내용의 컴퓨팅 디바이스는: 물리적 대상과의 사용자 상호작용을 검출하고 사용자 상호작용과 연관된 센서 신호를 송신하도록 구성된 센서를 포함할 수 있다. 컴퓨팅 디바이스는 또한 센서와 통신하는 프로세서를 포함할 수 있고, 프로세서는: 센서 신호를 수신하고, 센서 신호에 기초하여 물리적 대상의 특성을 판정하고; 특성과 연관된 햅틱 효과를 판정하고; 햅틱 효과와 연관된 햅틱 신호를 송신하도록 구성된다. 컴퓨팅 디바이스는 프로세서와 통신하는 햅틱 출력 디바이스를 더 포함하고, 햅틱 출력 디바이스는 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성된다.

다른 실시예에서, 본 개시내용의 방법은: 센서로부터 센서 신호를 수신하는 단계를 포함하고, 센서 신호는 물리적 대상과의 사용자 상호작용과 연관된다. 방법은 또한 센서 신호에 기초하여 물리적 대상의 특성을 판정하는 단계; 및 특성과 연관된 햅틱 효과를 판정하는 단계를 포함한다. 방법은 햅틱 출력 디바이스에 햅틱 효과와 연관된 햅틱 신호를 송신하는 단계를 더 포함하고, 햅틱 출력 디바이스는 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성된다. 또 다른 실시예는 그러한 방법을 개선하기 위한 컴퓨터 판독가능한 매체를 포함한다.

이러한 예시적인 실시예들은 본 발명의 한계들을 제한하거나 또는 정의하려는 것이 아니라 본 발명의 이해를 돕는 예들을 제공하려고 언급된다. 추가적인 실시예들이 상세한 설명에서 논의되고, 거기에 추가 설명이 제공된다. 다양한 실시예들에 의해 제공되는 이점들은 본 명세서를 살펴봄으로써 및/또는 청구되는 발명의 하나 이상의 실시예들을 실시함으로써 더욱 이해될 수 있다.

상세하고 실시가능한 개시내용이 본 명세서의 나머지 부분에 보다 구체적으로 제시된다. 본 명세서는 이하의 첨부 도면들을 참조한다.
도 1은 일 실시예에 따른 햅틱 피드백을 이용하는 대상 조작을 위한 시스템을 도시하는 블록도이다.
도 2는 다른 실시예에 따른 햅틱 피드백은 이용하는 대상 조작을 위한 시스템을 도시하는 다른 블록도이다.
도 3은 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 실시예를 도시한다.
도 4는 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 다른 실시예를 도시한다.
도 5a는 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 또 다른 실시예를 도시한다.
도 5b는 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 또 다른 실시예를 도시한다.
도 6은 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 다른 실시예를 도시한다.
도 7은 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 또 다른 실시예를 도시한다.
도 8은 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 또 다른 실시예를 도시한다.
도 9는 다른 실시예에 따른 햅틱 피드백을 이용하는 대상 조작을 제공하는 방법을 수행하기 위한 단계들의 흐름도이다.

이제, 다양한 그리고 대안적인 예시적인 실시예들 및 첨부 도면들에 대한 참조가 상세하게 이루어질 것이다. 각각의 예는 제한으로서가 아니라 설명으로서 제공된다. 수정들 및 변형들이 행해질 수 있다는 점이 본 기술분야의 통상의 기술자에게 명백할 것이다. 예를 들어, 일 실시예의 일부로서 예시되거나 설명되는 특징들이 다른 실시예에서 사용되어 또 다른 실시예를 만들어 낼 수 있다. 따라서, 본 개시내용은 첨부된 청구항들 및 그들의 등가물들의 범위 내에 있는 수정들 및 변형들을 포함하는 것으로 의도된다.

햅틱 피드백을 이용하는 대상 조작의 예시적인 예들

본 개시내용의 일 예시적인 실시예는 컴퓨팅 디바이스를 포함한다. 컴퓨팅 디바이스는 버스를 통해 메모리에 결합된 프로세서를 포함한다. 예시적인 실시예에서, 컴퓨팅 디바이스는 사용자에 의해 착용되도록 구성된다. 예를 들어, 컴퓨팅 디바이스는 사용자의 손가락에 착용되도록 구성된 반지를 포함한다.

예시적인 실시예에서, 컴퓨팅 디바이스는 대상과의 사용자 상호작용을 검출하고, 센서 신호를 프로세서에 송신하도록 구성되는 센서를 포함한다. 본원에서 사용되는 대상은 사용자가 잠재적으로 상호작용할 수 있는 임의의 것(예를 들어, 실재의 것 또는 가상의 것)이다. 예를 들어, 식료품점을 둘러보는 동안, 사용자는 우유병을 터치할 수 있다. 컴퓨팅 디바이스는, 센서를 통해, 사용자가 우유병을 터치하였음을 검출할 수 있다. 예시적인 실시예에서, 컴퓨팅 디바이스는 센서 신호들에 기초하여 대상과 연관된 특성을 판정한다. 예를 들어, 컴퓨팅 디바이스는 우유의 브랜드를 판정하고 우유의 성분을 판정하기 위해 (예를 들어, 인터넷을 통해) 하나 이상의 서버와 통신할 수 있다. 또한, 예시적인 실시예에서, 컴퓨팅 디바이스는 대상과 연관된 특성이 기준과 매칭하는지를 판정한다. 예를 들어, 사용자는 콩에 알러지가 있을 수 있다. 사용자는 이러한 알레르겐 정보(allergen information)를 컴퓨팅 디바이스에 입력하였을 수 있다. 컴퓨팅 디바이스는 우유의 성분을 분석하여 우유가 콩을 포함하는지를 판정할 수 있다. 예시적인 실시예에서, 특성이 기준과 매칭하면, 컴퓨팅 디바이스는 햅틱 출력 디바이스를 통해 햅틱 효과를 출력한다. 예를 들어, 우유의 내용물이 콩을 포함하면, 컴퓨팅 디바이스는 햅틱 효과, 예를 들어, 쇼크 감각(shock sensation)을 출력할 수 있다. 이것은 사용자가 건강한 구매 판단을 행하는 것을 도울 수 있다.

다른 예로서, 사용자는 할인 의류 상점에서 저렴한 것을 찾고 있을 수 있다. 할인 의류 상점은 모두 함께 혼합된 할인 의류 상자를 갖고 있을 수 있다. 사용자는 그녀의 셔츠 사이즈를 컴퓨팅 디바이스에 입력할 수 있다. 예시적인 실시예에서, 사용자가 혼합된 의류의 박스를 통해 손을 이동시키면, 컴퓨팅 디바이스는 사용자가 접촉한 각각의 의류의 바코드(또는 그에 대한 RFID 코드)를 판정한다. 컴퓨팅 디바이스는 바코드(또는 RFID 코드)에 기초하여 각각의 의류의 사이즈를 판정하기 위해 서버(예를 들어, 상점과 연관된)와 더 통신한다. 예시적인 실시예에서, 의류의 사이즈가 사용자의 셔츠 사이즈와 매칭하는 경우, 컴퓨팅 디바이스는 햅틱 효과, 예를 들어, 짧은 진동을 출력할 수 있다. 이것은 사용자가 다량의 제품들을 신속하고 쉽게 살펴보는 것을 도울 수 있다.

다른 예시적인 실시예는 대상과의 사용자 상호작용을 검출하도록 구성된 컴퓨팅 디바이스를 포함한다. 컴퓨팅 디바이스는 이어서 대상과 연관된 브랜드, 제조자, 유통자, 및/또는 생산자와 같은 정보를 판정한다. 또한, 예시적인 실시예에서, 컴퓨팅 디바이스는 햅틱 출력 디바이스를 통해 이러한 정보와 연관된 햅틱 효과를 출력한다.

예를 들어, 제조자는 고유한 햅틱 효과 또는 일련의 햅틱 효과들을 제조자의 회사와 연관시킬 수 있다. 이러한 고유한 햅틱 효과들은 "햅틱 브랜드"로서 지칭될 수 있다. 예를 들어, 회사 A는 예를 들어, 모르스(Morse) 코드 또는 다른 코드로, "재미"라는 단어에 대응하는 일련의 진동을 포함하는 햅틱 브랜드를 가질 수 있다. 다른 예로서, 회사 A는, 이전의 펄스보다 더 큰 진폭을 갖는 각각의 연속하는 펄스인, 세개의 진동 펄스들을 포함하는 햅틱 브랜드를 가질 수 있다. 그러한 햅틱 브랜드는 사용자에게 재미 및 흥분(fun and excitement)를 전달할 수 있다. 또 다른 예로서, 회사 A는 오디오 또는 시각적 브랜딩과 연관된 햅틱 브랜드를 가질 수 있다. 하나의 그러한 실시예에서, 회사 A는 회사의 오디오 징글(audio jingle)과 연관된 햅틱 브랜드를 가질 수있다. 예를 들어, 햅틱 브랜드는 오디오 징글에서의 음들과 연관된 크기들 및/또는 주파수들을 갖는 진동들을 포함할 수 있다. 제조사는 제조사의 타겟 시장, 특정 제품의 타겟 시장, 햅틱 효과에 대한 사용자 인지(예를 들어, 햅틱 효과가 재미있게, 심각하게, 고통스럽게 또는 만족스럽게 인지되는지), 및/또는 다른 기준에 기초하여 햅틱 브랜드를 판정할 수 있다.

예시적인 실시예에서, 컴퓨팅 디바이스는 대상과의 사용자 상호작용에 기초하여 햅틱 브랜드를 출력한다. 예를 들어, 사용자는 새로운 모바일 디바이스에 대해 쇼핑하고 있을 수 있다. 사용자는 회사 A에 의해 제조된 스마트폰 박스를 집어들 수 있다. 예시적인 실시예에서, 컴퓨팅 디바이스는 사용자가 회사 A에 의해 제조된 대상을 집어들었다고 판정한다. 컴퓨팅 디바이스는 "재미"라는 단어에 모르스 코드로 대응하는 진동들을 포함하는 (예를 들어, 룩업 테이블을 참고하여 또는 인터넷을 통해 서버를 쿼리하여)햅틱 효과를 판정한다. 예시적인 실시예에서, 컴퓨팅 디바이스는 이어서 햅틱 효과를 출력한다. 이것은, 사용자가 제품에 대해 시각적으로 집중하고 있지 않더라도, 사용자가 스마트폰의 제조자가 회사 A라고 판정하게 할 수 있다. 햅틱 브랜드는, 그것이, 사용자가 제품에 대해 시각적으로 집중하고 있지 않더라도, 사용자가 제품을 식별하게 할 수 있기 때문에 효과적인 마켓팅 도구일 수 있다. 이것은 또한, 브랜드를 구별하는 것을 돕고 사용자에게 보다 실감있는 마켓팅 경험을 제공할 수 있는 고유한 물리적인 상호작용을 브랜드와 연관시킬 수 있다.

전술한 예시적인 실시예에 대한 설명은 단지 예로서 제공된다. 본 발명의 다양한 다른 실시예들이 본원에서 설명되고, 그러한 실시예들의 변형들이 본 기술분야의 통상의 기술자에게 이해될 것이다. 다양한 실시예들에 의해 제공되는 장점들은 본 명세서를 살펴보고 및/또는 청구된 발명의 하나 이상의 실시예들을 실시함으로써 더 이해될 수 있다.

햅틱 피드백을 이용하는 대상 조작을 위한 예시적인 시스템들

도 1은 일 실시예에 따른 햅틱 피드백을 이용하는 대상 조작을 위한 컴퓨팅 디바이스(101)를 도시하는 블록도이다. 일부 실시예들에서, 컴퓨팅 디바이스(101)는 붙잡을 수 있는(graspable) 디바이스(예를 들어, 스마트폰, 태블릿, e-리더, 및/또는 휴대형 게임 디바이스)를 포함할 수 있다. 다른 실시예들에서, 컴퓨팅 디바이스(101)는 착용가능한 디바이스(예를 들어, 반지, 구두, 암밴드(armband), 소매(sleeve), 재킷(jacket), 안경, 장갑, 시계, 손목밴드, 팔찌, 의류, 모자, 머리띠 및/또는 보석류)를 포함할 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스(101)의 컴포넌트들(예를 들어, 프로세서(202), 네트워크(110), 상호작용 센서(132), 센서(130) 등)은 단일의 하우징 내에 통합될 수 있다. 다른 실시예들에서, 컴포넌트들은 (예를 들어, 다수의 하우징들 또는 위치들 사이에) 분산될 수 있고, 서로 전기적으로 통신할 수 있다. 컴퓨팅 디바이스(101)는 도 1에 도시된 컴포넌트들 전부를 포함하거나 전부를 포함하지는 않을 수 있다. 예를 들어, 일부 실시예들에서, 컴퓨팅 디바이스(101)는 프로세서(102), 버스(106), 메모리(104), 네트워크(110) 및 햅틱 출력 디바이스(118)를 포함할 수 있다.

컴퓨팅 디바이스(101)는 다른 하드웨어와 버스(106)를 통해 인터페이스된 프로세서(102)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적절한 유형의(tangible)(그리고 비-일시적인) 컴퓨터 판독가능한 매체를 포함할 수 있는 메모리(104)는 컴퓨팅 디바이스(101)의 동작을 구성하는 프로그램 컴포넌트들을 구현할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(101)는 또한 하나 이상의 네트워크 인터페이스 디바이스들(110), 입력/출력(I/O) 인터페이스 컴포넌트들(112) 및 추가의 저장소(114)를 포함할 수 있다.

네트워크 인터페이스 디바이스(110)는 전자 디바이스들 간의 네트워크 접속을 용이하게 하거나 달리 통신을 용이하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 그 예들은, 이것으로 한정되는 것은 아니지만, 이더넷, USB, IEEE 1394와 같은 유선 인터페이스 및/또는 IEEE 802.11, 블루투스, 근거리 통신(near-field communication)(NFC) 인터페이스들, RFID 인터페이스들과 같은 무선 인터페이스들, 또는 셀룰러 전화 네트워크에 액세스하기 위한 라디오(radio) 인터페이스들(예를 들어, CDMA, GSM, UMTS 또는 다른 모바일 통신 네트워크에 액세스하기 위한 트랜시버/안테나)을 포함한다.

I/O 컴포넌트들(112)은 하나 이상의 디스플레이, 터치 감지 표면들(116), 키보드들, 마우스들, 스피커들, 마이크로폰들, 버튼들 및/또는 데이터를 입력하거나 데이터를 출력하는데 이용되는 다른 하드웨어와 같은 디바이스들에 대한 접속을 용이하게 하는데 이용될 수 있다. 저장소(114)는 컴퓨팅 디바이스(101)에 포함되거나 프로세서(102)에 결합된 판독 전용 메모리, 플래시 메모리, F-RAM(ferroelectric-RAM), 자기, 광학, 또는 기타 스토리지 매체와 같은 비휘발성 저장소를 나타낸다.

컴퓨팅 디바이스(101)는 터치 감지 표면(116)을 포함할 수 있다. 터치 감지 표면(116)은 사용자의 촉각 입력을 감지하도록 구성되는 임의의 표면을 나타낸다. 하나 이상의 터치 센서(108)는 터치 영역 내의 터치(예를 들어, 대상이 터치 감지 표면(116)을 접촉하는 경우)를 검출하고, 터치와 연관된 신호를 프로세서(102)에 송신하도록 구성된다. 터치 센서들(108)의 임의의 적절한 수, 유형, 또는 배열이 이용될 수 있다. 예를 들어, 저항성 및/또는 용량성 센서가, 터치 감지 표면(116)에 임베딩되어 있을 수 있고, 터치의 위치, 및 압력, 속도 및/또는 방향과 같은 다른 정보를 판정하는데 사용될 수 있다. 다른 예로서, 터치 감지 표면(116)이 보이는 광 센서들이 터치 위치를 판정하는 데 사용될 수 있다. 또 다른 예로서, 터치 감지 표면(116)은 디스플레이의 측면에 장착된 LED(Light Emitting Diode) 핑거(finger) 검출기를 포함할 수 있다. 일부 실시예들에서, 터치 센서(108)는 사용자 상호작용의 다수의 양태들을 검출하도록 구성될 수 있다. 예를 들어, 터치 센서(108)는, 사용자 상호작용의 속도 및 압력 모두를 검출하고, 이러한 정보를 프로세서(102)에 송신되는 신호에 통합할 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스(101)는 터치 감지 표면(116)과 디바이스의 디스플레이를 결합하는 터치 인에이블형 디스플레이를 포함한다. 터치 감지 표면(116)은 디스플레이 외부 또는 디스플레이의 컴포넌트들 위의 하나 이상의 재료층에 대응할 수 있다. 다른 실시예들에서, 터치 감지 표면(116)은, 컴퓨팅 디바이스(101)의 특정 구성에 따라서, 디스플레이(또는 다른 방식으로 이에 대응하는 것)를 포함하지 않을 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스(101)는 상호작용 센서(132)를 포함한다. 상호작용 센서(132)는 사용자에 의한(예를 들어, 손가락, 발, 손, 팔, 머리, 다리, 또는 다른 신체 부분을 이용하여) 컴퓨팅 디바이스(101) 및/또는 대상(예를 들어, 상점의 선반의 제품)과의 상호작용을 검출하도록 구성된다. 일부 실시예들에서, 사용자 상호작용은 대상을 터칭하는 것, 실제 공간에서 제스처하는 것, 대상을 이용하여 제스처하는 것(대상을 집어 들거나 실제 공간에서 그것을 이동시키는 것), 및/또는 대상에 대해 제스처하는 것(예를 들어, 대상의 표면을 따라 손가락을 스와이프하는 것)을 포함할 수 있다. 상호작용 센서(132)는 프로세서(102)에 대한 상호작용과 연관된 센서 신호를 송신하도록 더 구성된다. 상호작용 센서(132)는 가속도계, 자이로스코프, 카메라, RFID(radio frequency identification) 태그 또는 판독기, 실내 근접 시스템(indoor proximity system), NFC 통신 디바이스, GPS(global positioning system) 디바이스, 자력계, 초음파 트랜스듀서(ultrasonic transducer), 무선 인터페이스(예를 들어, IEEE 802.11 또는 블루투스 인터페이스), 적외선 센서, 깊이 센서, 및/또는 범위 센서를 포함할 수 있다.

예를 들어, 일 실시예에서, 상호작용 센서(132)는 대상에 의해 방출된 무선 신호의 강도를 검출하도록 구성되는 무선 인터페이스를 포함한다. 상호작용 센서(132)는 무선 신호 강도와 연관된 센서 신호를 프로세서(102)에 송신할 수 있다. 무선 신호 강도에 기초하여, 프로세서(102)는, 예를 들어, 컴퓨팅 디바이스(101)가 대상의 미리정의된 거리 내에 있는 지를 판정할 수 있다. 그렇다면, 프로세서(102)는 발생된 상호작용(예를 들어, 대상의 미리정의된 거리 내에 들어오는지)을 판정할 수 있다.

다른 실시예에서, 상호작용 센서(132)는 대상을 향하여 배향된 카메라를 포함한다. 사용자는 대상 근처의 공기 중에서(예를 들어, 손가락, 손, 팔, 발, 머리, 또는 다리와 같은 신체 부분으로) 제스처(예를 들어, 체크 마크 기호(check mark sign))를 행할 수 있다. 상호작용 센서(132)는 제스처와 연관된 이미지들을 캡처하고 센서 신호들을 프로세서(102)에 송신할 수 있다. 센서 신호들에 기초하여, 프로세서(102)는 발생된 사용자 상호작용을 판정할 수 있다. 프로세서(102)는 또한 발생된 제스처의 특정 유형을 판정하기 위해 센서 신호들을 분석할 수 있다. 예를 들어, 프로세서(102)는 센서 신호들을 분석하고 사용자가 공기 중에서 손가락으로 체크 마크를 행하였음을 판정할 수 있다.

일부 실시예들에서, 상호작용 센서(132)는 컴퓨팅 디바이스(101) 외부에 잇고, 컴퓨팅 디바이스(101)와 유선 또는 무선 통신한다. 예를 들어, 상호작용 센서(132)는 착용가능한 디바이스(예를 들어, 안경 또는 타이)와 연관되고 컴퓨팅 디바이스(101)와 통신하는 카메라를 포함할 수 있다. 다른 예로서, 상호작용 센서(132)는 3D 촬상 시스템(예를 들어, Microsoft Kinect® 상표하에서 통상 판매되는 3D 촬상 시스템) 또는 컴퓨팅 디바이스(101) 외부(예를 들어, 상점의 선반 위)에 위치되고 컴퓨팅 디바이스(101)와 통신하는 LED 기반 추적 시스템을 포함할 수 있다.

컴퓨팅 디바이스(101)는 하나 이상의 추가적인 센서(들)(130)을 더 포함할 수 있다. 센서(들)(130)은 센서 신호들을 프로세서(102)에 송신하도록 구성된다. 일부 실시예들에서, 센서(130)는, 예를 들어, 습도 센서, 주변 광 센서, 자이로스코프, GPS 유닛, 가속도계, 범위 센서, 깊이 센서, 바이오 센서, 카메라, 또는 온도 센서를 포함할 수 있다. 일부 실시예들에서, 센서(130)는 컴퓨팅 디바이스(101)에 대해 외부에 있고 컴퓨팅 디바이스(101)와 유선 또는 무선으로 통신한다. 예를 들어, 센서(130)는 착용가능한 디바이스(예를 들어, 반지 또는 손목밴드)에 결합된 바이오센서를 포함할 수 있다. 바이오센서는, 예를 들어, 사용자의 주머니 내에 위치될 수 있는 컴퓨팅 디바이스(101)에 센서 신호들을 무선으로 송신하도록 구성될 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스(101)는 프로세서(102)와 통신하는 햅틱 출력 디바이스(118)를 포함한다. 이러한 햅틱 출력 디바이스(118)는 햅틱 신호에 응답하여 햅틱 효과를 출력하도록 구성된다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 진동, 인지된 마찰 계수의 변화, 시뮬레이팅된 텍스처, 온도의 변화, 스트로킹 감각(stroking sensation), 전기 촉각 효과 또는 표면 변형(예를 들어, 컴퓨팅 디바이스(101)와 연관된 표면의 변형)을 포함하는 햅틱 효과를 출력하도록 구성된다. 또한, 일부 햅틱 효과들은 동일하거나 상이한 유형들의 다수의 햅틱 출력 디바이스들(118)을 순차적으로 및/또는 일제히 이용할 수 있다. 단일 햅틱 출력 디바이스(118)가 도 1에 도시되지만, 실시예들은 동일하거나 상이한 유형의 다수의 햅틱 출력 디바이스들(118)을 사용하여 햅틱 효과들을 생성할 수 있다.

일부 실시예들에서, 햅틱 출력 디바이스(118)는 컴퓨팅 디바이스(101) 외부에 있고 (예를 들어, 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들 및/또는 IEEE 802.11, 블루투스와 같은 무선 인터페이스들 또는 라디오 인터페이스들을 통해) 컴퓨팅 디바이스(101)와 통신한다. 예를 들어, 햅틱 출력 디바이스(118)는 착용가능한 디바이스와 연관될 수 있고(예를 들어, 결합될 수 있고) 프로세서(102)로부터 햅틱 신호들을 수신하도록 구성될 수 있다.

일부 실시예들에서, 햅틱 출력 디바이스(118)는 진동을 포함하는 햅틱 효과를 출력하도록 구성된다. 햅틱 출력 디바이스(118)는, 예를 들어, 압전 액추에이터(piezoelectric actuator), 전기 모터, 전자기 액추에이터(electro-magnetic actuator), 음성 코일, 형상 기억 합금, 전기 활성 폴리머(electro-active polymer), 솔레노이드(solenoid), ERM(Eccentric Rotating Mass motor), 또는 LRA(Linear Resonant Actuator) 중 하나 이상을 포함할 수 있다.

일부 실시예들에서, 햅틱 출력 디바이스(118)는 햅틱 출력 디바이스(118)와 연관된 표면의 인지된 마찰 계수를 변조하는 햅틱 효과를 출력하도록 구성된다. 일 실시예에서, 햅틱 출력 디바이스(118)는 초음파 액추에이터를 포함한다. 초음파 액추에이터는 초음파 주파수, 예를 들어, 20kHz로 진동하여 연관된 표면의 인지된 마찰 계수를 증가 또는 감소시킬 수 있다. 일부 실시예들에서, 초음파 액추에이터는 압전 재료를 포함할 수 있다.

일부 실시예들에서, 햅틱 출력 디바이스(118)는 햅틱 효과를 출력하기 위해, 예를 들어 정전 액추에이터(electrostatic actuator)를 사용하여 정전기적 인력을 이용한다. 햅틱 효과는 컴퓨팅 디바이스(101)와 연관되는 표면상에서의 시뮬레이팅된 질감(texture), 시뮬레이팅된 진동, 스트로킹 감각, 또는 인지된 마찰 계수의 변화를 포함할 수 있다. 일부 실시예들에서, 정전 액추에이터는 도전층 및 절연층을 포함할 수 있다. 도전층은, 임의의 반도체, 또는 구리, 알루미늄, 금 또는 은과 같은 다른 도전성 재료일 수 있다. 절연층은 유리, 플라스틱, 폴리머 또는 임의의 다른 절연 재료일 수 있다. 또한, 프로세서(102)는 전기 신호, 예를 들어, AC 신호를 도전층에 인가함으로써 정전 액추에이터를 동작시킬 수 있다. 일부 실시예들에서는, 고 전압 증폭기가 AC 신호를 발생시킬 수 있다. 이러한 전기 신호는 햅틱 출력 디바이스(118) 근처 또는 이를 터치하는 대상(예를 들어, 사용자의 손가락, 머리, 발, 어깨, 다리, 또는 다른 신체 부위, 또는 스타일러스)과 도전층 사이에 용량성 결합을 발생시킬 수 있다. 대상과 도전층 사이의 인력 레벨들을 변경하는 것은 사용자에 의해 인지되는 햅틱 효과를 변경할 수 있다.

일부 실시예들에서, 햅틱 출력 디바이스(118)는 변형 햅틱 효과(deformation haptic effect)를 출력하도록 구성되는 변형 디바이스를 포함한다. 변형 햅틱 효과는 컴퓨팅 디바이스(101)와 연관되는 표면의 부분들을 높이거나 낮추는 것을 포함할 수 있다. 예를 들어, 컴퓨팅 디바이스(101)가 제품(예를 들어, 상점 내의) 내에 위치되는 경우, 변형 햅틱 효과는 제품의 패키징의 표면의 부분들을 높여서 울퉁불퉁한 질감을 발생시키는 것을 포함할 수 있다. 일부 실시예들에서, 변형 햅틱 효과는 컴퓨팅 디바이스(101)와 연관된 표면을 구부리기(bending), 접기(folding), 말기(rolling), 비틀기(twisting), 스퀴징(squeezing), 플렉싱(flexing), 형상을 변경, 또는 다른 방식으로 변형하는 것을 포함할 수 있다. 예를 들어, 변형 햅틱 효과는 컴퓨팅 디바이스(101) 상에 또는 컴퓨팅 디바이스(101)와 연관된 표면 상에 힘을 인가여, 그것이 구부러지고, 접히고, 말리고, 비틀리고, 스퀴징되고, 플렉싱되고, 형상을 변경하고, 또는 다른 방식으로 변형하게 할 수 있다. 예를 들어, 컴퓨팅 디바이스(101)가 제품의 패키징 내에 위치되면, 변형 햅틱 효과는 사용자를 향하는 제품의 패키징의 상부를 구부리는 것을 포함할 수 있다. 이것은 사용자가, 제품이 사용자가 원하는(예를 들어, 판매중인 제품) 특성을 갖는다는 것을 사용자에게 통지할 수 있다.

일부 실시예들에서, 햅틱 출력 디바이스(118)는 변형 햅틱 효과를 출력하도록(예를 들어, 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)와 연관된 표면을 구부리거나 변형시키도록) 구성되는 유체를 포함한다. 예를 들어, 유체는 스마트 겔(smart gel)을 포함할 수 있다. 스마트 겔은 자극 또는 자극들(예를 들어, 전계, 자계, 온도, 자외선, 흔들기, 또는 pH 변동)에 응답하여 변하는 기계적이거나 구조적 특성들을 가진 유체를 포함한다. 예를 들어, 자극에 응답하여, 스마트 겔은 강성(stiffness), 부피, 투명도, 및/또는 색이 변경될 수 있다. 일부 실시예들에서, 강성은 변형에 대한 컴퓨팅 디바이스(101)와 연관된 표면의 저항을 포함할 수 있다. 일부 실시예들에서는, 하나 이상의 배선들이 스마트 겔에 매립되거나 또는 이에 연결될 수 있다. 전류가 배선들을 통해 흐름에 따라, 열이 방출되어 스마트 겔이 확장 또는 수축하도록 야기한다. 이는 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)와 연관된 표면이 변형되게 할 수 있다.

또 다른 예로서, 유체는 유동학적(rheological)(예를 들어, 자기 유동학적 또는 전기 유동학적) 유체를 포함할 수 있다. 유동학적 유체는 유체(예를 들어, 기름 또는 물)에 떠 있는 금속 입자들(예를 들어, 철 입자들)을 포함한다. 전계 또는 자계에 응답하여, 유체에서의 분자들의 순서가 재정렬되어, 유체의 전체적 댐핑(damping) 및/또는 점도를 변경시킨다. 이는 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)와 관련된 표면이 변형되게 할 수 있다.

일부 실시예들에서, 햅틱 출력 디바이스(118)는 기계적 변형 디바이스를 포함한다. 예를 들어, 일부 실시예들에서, 햅틱 출력 디바이스(118)는 변형 컴포넌트를 회전시키는 암에 결합된 액추에이터를 포함할 수 있다. 이러한 변형 컴포넌트는, 예를 들어, 타원형, 스타버스트(starburst), 또는 주름 잡힌 형상을 포함할 수 있다. 변형 컴포넌트는 일부 회전 각도들로 컴퓨팅 디바이스(101)와 연관된 표면을 이동시키도록 구성될 수 있는데, 다른 것들에서는 그렇지 않다. 액추에이터는, 압전 액추에이터, 회전/선형 액추에이터, 솔레노이드, 전기 활성 폴리머 액추에이터, MFC(macro fiber composite) 액추에이터, SMA(shape memory alloy) 액추에이터, 및/또는 다른 액추에이터를 포함할 수 있다. 액추에이터가 변형 컴포넌트를 회전시킴에 따라, 변형 컴포넌트는 표면을 이동시킬 수 있어, 이것이 변형되게 한다. 이러한 실시예에서, 변형 컴포넌트는 표면이 평탄한 위치에서 시작할 수 있다. 프로세서(102)로부터 신호를 수신하는 것에 응답하여, 액추에이터는 변형 컴포넌트를 회전시킬 수 있다. 변형 컴포넌트를 회전시키는 것은 표면의 하나 이상의 부분들이 올라가거나 낮아지게 할 수 있다. 변형 컴포넌트는, 일부 실시예들에서, 변형 컴포넌트를 그 원래 위치로 회전시키도록 프로세서(102)가 액추에이터에 신호를 보낼 때까지 이러한 회전된 상태로 유지된다.

또한, 다른 기술들 또는 방법들이 컴퓨팅 디바이스(101)와 연관된 표면을 변형시키는데 사용될 수 있다. 예를 들어, 햅틱 출력 디바이스(118)는 (예를 들어 섬유들, 나노 튜브들, 전기 활성 폴리머들, 압전 소자들, 또는 형상 기억 합금들을 포함하지만 이것들에만 국한되지는 않는) 표면 재구성 가능 햅틱 기판으로부터의 접촉에 기초하여 그 표면을 변형시키거나 또는 그 질감을 변경하도록 구성되는 가요성 표면층(flexible surface layer)을 포함할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는, 예를 들어, 변형 메커니즘(예를 들어, 배선들에 결합된 모터), 공기 또는 유체 포켓들, 재료들의 국부적 변형, 공진하는 기계적 요소들, 압전 재료들, MEMS(micro-electromechanical systems) 요소들 또는 펌프들, 열 유체 포켓들, 가변 다공성 막들(variable porosity membranes), 또는 층류 변조(laminar flow modulation)에 의해 변형된다.

일부 실시예들에서, 햅틱 출력 디바이스(118)는 햅틱 효과들을 사용자에게 원거리에서 투사하도록 구성된다. 예를 들어, 햅틱 출력 디바이스(118)는 사용자를 향해(사용자의 손의 후면을 향해) 물질들(예를 들어, 고체, 액체, 기체, 또는 플라즈마)을 방출하도록 구성된 하나 이상의 분사구를 포함할 수 있다. 하나의 그러한 실시예에서, 햅틱 출력 디바이스(118)는 햅틱 신호의 수신 시에 변화하는 특성들을 갖는 산소, 질소, 이산화 탄소 또는 일산화 탄소의 퍼프(puff) 또는 스트림을 방출하도록 구성된 기체 분사구를 포함한다. 다른 예로서, 햅틱 출력 디바이스(118)는 사용자의 방향으로 압력파(pressure wave)를 투사하도록 구성된 하나 이상의 초음파 트랜스듀서 또는 스피커들을 포함할 수 있다. 하나의 그러한 실시예에서, 사용자가 대상과 상호작용할 시에, 프로세서(102)는 햅틱 출력 디바이스(118)가 사용자를 향해 집중된 압력파를 방출하게 할 수 있다. 집중된 압력파는 사용자의 신체의 일부(예를 들어, 손)를 진동시킬 수 있다.

일부 실시예들에서, 햅틱 출력 디바이스(118)는 컴퓨팅 디바이스(101)의 하우징의 일부일 수 있다. 다른 실시예들에서, 햅틱 출력 디바이스(118)는 컴퓨팅 디바이스(101)와 연관된 표면(예를 들어, 컴퓨팅 디바이스(101)의 전면 또는 후면)에 오버레이되는 가요성 하우징 내부에 하우징될 수 있다. 예를 들어, 컴퓨팅 디바이스(101)는 시계를 포함할 수 있다. 햅틱 출력 디바이스(118)는 시계의 밴드의 내부에 오버레이되는 스마트 겔의 층을 포함할 수 있다. 햅틱 출력 디바이스(118)를 작동시킬 시에(예를 들어, 전류 또는 전계로), 스마트 겔이 확장될 수 있다. 이는 사용자가 사용자의 손목 주위에 스퀴징 감각을 포함하는 햅틱 효과를 인지하게 할 수 있다.

메모리(104)와 관련하여, 모듈들(124, 125, 126 및 128)은 일부 실시예들에서 디바이스가 햅틱 효과들을 이용하는 대상 조작을 제공하도록 구성될 수 있는 방법을 보이도록 도시된다. 이 예에서, 대상 상호작용 검출 모듈(124)은 상호작용 센서(132) 및/또는 추가의 센서(130)를 모니터링하여 사용자가 대상과 상호작용하였는지를 판정하도록 프로세서(102)를 구성하는 코드를 포함한다. 대상 상호작용 검출 모듈(124)은 사용자가 대상과 상호작용하고 있는지를 판정하도록 프로세서(102)에 의해 사용가능한 하나 이상의 알고리즘 또는 룩업 테이블을 포함할 수 있다.

예를 들어, 컴퓨팅 디바이스(101)는 상점의 제품 내에 위치될 수 있다. 예를 들어, 사용자는 제품을 선반으로부터 들어올릴 수 있다. 대상 상호작용 검출 모듈(124)은 제품의 가속도를 추적하기 위해 센서(130)(예를 들어, 가속도계)를 샘플링하는 코드를 포함할 수 있다. 가속도의 양이 임계값을 초과하면, 대상 상호작용 검출 모듈(124)은 제품이 조작되고 있다고 판정할 수 있다(예를 들어, 사용자가 제품을 들어 올렸다고).

다른 예로서, 상호작용 센서(132)는 대상을 향해 배향된 범위 센서를 포함할 수 있다. 대상 상호작용 검출 모듈(124)은 범위 센서로부터의 데이터를 수신하도록 프로세서(102)를 구성하는 코드를 포함할 수 있다. 대상 상호작용 검출 모듈(124)은, 사용자 상호작용을 나타낼 수 있는, 사용자가 대상의 특정 거리 내에 있는지를 판정하기 위한 데이터를 분석하는 코드를 더 포함할 수 있다.

또 다른 예로서, 상호작용 센서(132)는 대상을 향해 배향된 3D 촬상 시스템을 포함할 수 있다. 대상 상호작용 검출 모듈(124)은 사용자가 대상과 상호작용하고 있는지를 판정하기 위해 3D 촬상 시스템으로부터의 이미지들을 분석하는 코드를 포함할 수 있다. 대상과의 사용자 상호작용들을 검출하는 방법들의 추가의 예들이 도 9와 관련하여 설명된다.

일부 실시예들에서, 대상은 가상 대상을 포함할 수 있다. 가상 대상은, 예를 들어, 터치 감지 표면(116)을 포함하는 터치스크린 디스플레이 상에 출력될 수 있다. 대상 상호작용 검출 모듈(124)은 가상 대상과의 사용자 상호작용을 검출하도록 프로세서(102)를 구성하는 코드를 포함할 수 있다. 예를 들어, 사용자는 가상 대상과 연관된 터치 감지 표면(116) 상의 위치를 탭핑할 수 있다. 대상 상호작용 검출 모듈(124)은 터치 센서(108)로부터 사용자 상호작용과 연관된 하나 이상의 센서 신호를 수신할 수 있다. 일부 실시예들에서, 센서 신호들은 사용자 상호작용의 위치, 압력, 방향 및/또는 속도를 포함할 수 있다. 대상 상호작용 검출 모듈(124)은 센서 신호에 기초하여 사용자 상호작용의 하나 이상의 특성을 판정할 수 있다.

다른 예로서, 가상 대상은, 예를 들어, 터치스크린 디스플레이, 고글, 안경 또는 콘택트 렌즈를 통한 증강 현실 환경 출력의 일부일 수 있다. 증강 현실 환경은 텍스트 또는 이미지들과 같은 가상 콘텐츠로 보강된("증강된") 카메라 데이터를 포함할 수 있다. 예를 들어, 상호작용 센서(132)는 카메라를 포함할 수 있다. 일부 실시예들에서, 상호작용 센서(132)는, 프로세서(102)가 증강 현실 환경을 발생시키기 위해 사용할 수 있는 사용자의 주방의 이미지들을 캡처할 수 있다. 프로세서(102)는 증강 현실 환경 내의 하나 이상의 가상 대상을 더 발생시킬 수 있다. 예를 들어, 일 실시예에서, 프로세서(102)는 증강 현실 환경에서 가상 테이블을 포함할 수 있다. 사용자는, 예를 들어, 터칭 또는 가상 대상과 연관된 실제 공간에서의 영역 내에서 제스처하는 것에 의해 가상 대상과 상호작용할 수 있다. 일부 실시예들에서, 대상 상호작용 검출 모듈(124)은, 예를 들어, 상호작용 센서(132)로부터의 이미지들을 분석함으로써 사용자 상호작용의 하나 이상의 특성을 판정할 수 있다.

일부 실시예들에서, 대상 상호작용 검출 모듈(124)은 상호작용과 연관된 특성(예를 들어, 압력의 양, 속도, 방향, 위치, 또는 제스처)을 판정하는 코드를 포함한다. 예를 들어, 대상 상호작용 검출 모듈(124)은 센서(130) 및/또는 상호작용 센서(132)로부터의 센서 신호들을 분석하여 특성을 판정하는 코드를 포함할 수 있다. 일 실시예에서, 예를 들어, 대상 상호작용 검출 모듈(124)은 사용자에 의해 행해진 제스처(예를 들어, 스와이프, 2-손가락 핀치(pinch), 흔들기 등)의 유형을 판정하기 위해 3D 촬상 시스템으로부터의 이미지들을 분석하는 코드를 포함할 수 있다.

대상 특성 판정 모듈(125)은 대상과 연관된 특성을 판정하기 위해 대상에 관한 데이터를 분석하는 프로그램 컴포넌트를 나타낸다. 대상 특성 판정 모듈(125)은 대상과 연관된 특성을 판정하기 위해 프로세서(102)에 의해 사용가능한 룩업 테이블들 또는 하나 이상의 알고리즘을 포함할 수 있다.

일부 실시예들에서, 대상 특성 판정 모듈(125)은 대상과 연관된 특성을 판정하기 위해 상호작용 센서(132) 및/또는 추가의 센서들(130)로부터의 데이터를 분석하는 코드를 포함한다. 예를 들어, 대상 특성 판정 모듈(125)은 카메라로부터의 대상의 이미지들을 수신하고 대상과 연관된 텍스트의 콘텐츠를 판정하기 위해 OCR(Optical Character Recognition)을 적용하는 코드를 포함할 수 있다. 다른 예로서, 대상 특성 판정 모듈(125)은 높이, 폭, 색, 사이즈, 형상, 패턴, 질감, 명칭, QR 코드, 바코드, 라벨, 로고, 색 방식(color scheme), 형상 및/또는 대상의 다른 특성을 판정하기 위해 상호작용 센서(132)로부터의 이미지들을 분석하는 코드를 포함할 수 있다.

일부 실시예들에서, 대상 특성 판정 모듈(125)은 대상의 특성을 판정하기 위해 네트워크 인터페이스 디바이스(110)를 통해 수신된 데이터를 분석하는 코드를 포함한다. 예를 들어, 대상은 블루투스, IEEE 802.11, RFID 또는 NFC를 이용하여 컴퓨팅 디바이스(101)에 신호를 송신할 수 있다. 신호는 대상의 특성을 포함할 수 있다(예를 들어, 신호는 유형, 브랜드, 바코드, 가격, RFID 코드, 또는 전기적 특성을 포함할 수 있음). 대상 특성 판정 모듈(125)은 대상의 특성을 판정하기 위해 신호의 파라미터를 분석할 수 있다.

일부 실시예들에서, 대상 특성 판정 모듈(125)은 인터넷 또는 다른 네트워크(예를 들어, LAN)를 이용하여 대상과 연관된 특성을 판정하는 코드를 포함한다. 예를 들어, 대상 특성 판정 모듈(125)은 인터넷을 통해 하나 이상의 서버 또는 웹페이지와 통신함으로써 대상(예를 들어, 야구 배트, 헬멧 또는 저지(jersey))과 연관된 스포츠 팀(예를 들어, 야구팀)의 명칭을 검색하는 코드를 포함할 수 있다. 다른 예로서, 대상 특성 판정 모듈(125)은 상점과 연관된 서버(예를 들어, 상점의 로컬 서버)와 통신함으로써 상점 내의 음식 제품와 연관된 영양 정보를 검색하는 코드를 포함할 수 있다.

일부 실시예들에서, 대상 특성 판정 모듈(125)은 가상 대상의 특성을 판정하는 코드를 포함한다. 예를 들어, 대상 특성 판정 모듈(125)은 가상 대상의 특성을 판정하기 위해 메모리(104) 내의 위치들을 참고할 수 있다.

햅틱 효과 판정 모듈(126)은 발생시킬 햅틱 효과를 판정하기 위해 데이터를 분석하는 프로그램 컴포넌트를 나타낸다. 햅틱 효과 판정 모듈(126)은 하나 이상의 알고리즘 또는 룩업 테이블을 이용하여 출력할 하나 이상의 햅틱 효과들을 선택하는 코드를 포함할 수 있다.

일부 실시예들에서, 햅틱 효과 판정 모듈(126)은 대상의 특성에 기초하여 출력할 햅틱 효과를 판정하는 코드를 포함한다. 예를 들어, 햅틱 효과 판정 모듈(126)은 제품의 별표 등급(star rating)에 대응하는 다수의 펄스형 진동들을 포함하는 햅틱 효과를 판정할 수 있다. 다른 예로서, 햅틱 효과 판정 모듈(126)은 대상의 브랜드 또는 제조자와 연관된 햅틱 효과를 판정하는 코드를 포함할 수 있다. 예를 들어, Immersion Corporation은 그의 브랜드를 4개의 짧은 펄스형 진동을 포함하는 햅틱 효과와 연관시킬 수 있다. 사용자가 Immersion Corporation에의해 생산된 대상과 상호작용할 시에, 햅틱 효과 판정 모듈(126)은 4개의 짧은 펄스형 진동을 포함하는 햅틱 효과를 판정할 수 있다. 이는 사용자가 Immersion Corporation으로부터의 제품과 상호작용하고 있다는 것을 사용자에게 통지할 수 있다.

일부 실시예들에서, 햅틱 효과 판정 모듈(126)은 네트워크를 통해 햅틱 효과 및/또는 햅틱 효과의 특성을 검색하는 코드를 포함한다. 예를 들어, 사용자는 Immersion Corporation에 의해 생산된 대상과 상호작용할 수 있다. 햅틱 효과 판정 모듈(126)은 Immersion Corporation의 서버에 (인터넷과 같은 네트워크를 통해) 쿼리하고 햅틱 효과 데이터(예를 들어, 진폭, 파형 및/또는 주파수 및 타이밍 데이터)를 수신할 수 있다. 햅틱 효과 판정 모듈(126)은 수신된 햅틱 효과 데이터에 기초하여 햅틱 효과를 판정할 수 있다.

일부 실시예들에서, 햅틱 효과 판정 모듈(126)은 대상의 특성이 하나 이상의 기준을 충족하는 지에 기초하여 햅틱 효과를 판정하는 코드를 포함한다. 예를 들어, 기준은 전자 제품에 대한 승인된 제조자들의 리스트를 포함할 수 있다. 사용자가 전자 디바이스와 상호작용할 시에, 프로세서(102)는 전자 디바이스가 승인된 제조자에 의해 생산되었는지를 판정할 수 있다. 그렇지 않은 경우, 햅틱 효과 판정 모듈(126)은 버징 감각(buzzing sensation)을 포함하는 햅틱 효과를 판정할 수 있다. 다른 예로서, 기준은 치수들(예를 들어, 가구에 대한 길이, 폭, 및 높이)을 포함할 수 있다. 사용자가 거실 가구를 위해 가구 상점을 둘러보고 있는 동안 사용자는 긴 의자와 상호작용할 수 있다. 햅틱 효과 판정 모듈(126)은 긴 의자의 사이즈가 치수들보다 적거나 그와 동일한 지를 판정할 수 있다. 만약 그렇다면, 햅틱 효과 판정 모듈(126)은 스트로킹 감각을 포함하는 햅틱 효과를 판정할 수 있다. 이것은 긴 의자가 거실에(또는 긴 의자를 위해 지정된 공간에) 들어맞을 것이라고 사용자에게 통지할 수 있다.

햅틱 효과 발생 모듈(128)은 프로세서(102)가 햅틱 신호들을 발생시키고 햅틱 신호들을 햅틱 출력 디바이스(118)에 송신하여 선택된 햅틱 효과를 발생시키게 하는 프로그래밍을 나타낸다. 예를 들어, 햅틱 효과 발생 모듈(128)은 원하는 효과를 생성하기 위해 햅틱 출력 디바이스(118)에 전송할 저장된 파형들 또는 명령들을 액세스할 수 있다. 일부 실시예들에서, 햅틱 효과 발생 모듈(128)은 햅틱 신호를 판정할 알고리즘을 포함할 수 있다. 또한, 일부 실시예들에서, 햅틱 효과 발생 모듈(128)은 햅틱 효과에 대한 타겟 좌표들(예를 들어, 햅틱 효과를 출력할 컴퓨팅 디바이스(101) 또는 대상에 대한 위치에 대한 좌표들)을 판정하는 알고리즘을 포함할 수 있다.

모듈들(124, 125, 126, 128)이 도 1에서 메모리(104) 내의 프로그램 컴포넌트로서 도시되지만, 일부 실시예들에서, 모듈들(124, 125, 126, 128)은 하드웨어를 포함할 수 있다. 예를 들어, 모듈들(124, 125, 126, 128)은 아날로그-디지털 변환기, 프로세서들, 마이크로프로세서들, 비교기들, 증폭기들, 트랜지스터들 및 다른 아날로그 또는 디지털 회로를 포함할 수 있다.

도 2는 다른 실시예에 따른 햅틱 피드백을 이용하는 대상 조작을 위한 시스템을 도시하는 다른 블록도이다. 시스템(200)은 하나 이상의 원격 햅틱 출력 디바이스들(206)을 포함할 수 있다. 시스템(200)은 또한 하나 이상의 컴퓨팅 디바이스(202a-f)를 포함할 수 있다.

도 2에 도시된 실시예에서, 시스템(200)은 착용가능한 컴퓨팅 디바이스(202a), 패키징 컴퓨팅 디바이스(202b), 선반 컴퓨팅 디바이스(202c), 상점 컴퓨팅 디바이스(202d), 플로어 컴퓨팅 디바이스(202e), 및 캐리어 컴퓨팅 디바이스(202f)를 포함한다. 착용가능한 컴퓨팅 디바이스(202a)는 사용자에 의해 착용되도록 구성되는 착용가능한 디바이스(예를 들어, 반지)와 연관된 컴퓨팅 디바이스(202a)를 포함할 수 있다. 패키징 컴퓨팅 디바이스(202b)는 대상의 패키징(예를 들어, 대상의 랩퍼(wrapper) 또는 컨테이너(container)) 내에 적어도 부분적으로 내장되는 컴퓨팅 디바이스를 포함할 수 있다. 선반 컴퓨팅 디바이스(202c)는 (예를 들어, 상점 또는 선반에서 판매를 위해 제품을 유지시키기 위해) 선반 내에 적어도 부분적으로 내장되거나 그에 결합되는 컴퓨팅 디바이스를 포함할 수 있다. 상점 컴퓨팅 디바이스(202d)는 대상의 판매자, 제조자, 및/또는 유통자와 연관된 컴퓨팅 디바이스를 포함할 수 있다. 플로어 컴퓨팅 디바이스(202e)는 플로어 내에(예를 들어, 상점의 하나 이상의 플로어 타일들 내에) 적어도 부분적으로 내장되거나 그에 결합되는 컴퓨팅 디바이스를 포함할 수 있다. 캐리어 컴퓨팅 디바이스(202f)는 대상을 유지하기 위한 캐링 디바이스(carrying device)(예를 들어, 쇼핑 카트, 바구니, 백, 또는 백팩) 내에 적어도 부분적으로 내장되거나 또는 그에 결합되는 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨팅 디바이스들(202a-f)가 이하에 더 상세하게 설명된다.

컴퓨팅 디바이스들(202a-f) 및 원격 햅틱 출력 디바이스(들)(206)은 네트워크(204)에 결합될 수 있다. 네트워크(204)는, 이것으로 제한되는 것은 아니지만, 다이얼 업(dial-up) 네트워크, LAN(local area network), WAN(wide area network), PSTN(public switched telephone network), 셀룰러 네트워크, WiFi 네트워크, 인터넷, 인트라넷 또는 하드-와이어드 및/또는 무선 통신 링크들의 임의의 조합을 포함하는 임의의 적절한 수 또는 유형의 네트워크들 또는 링크들일 수 있다. 일부 실시예들에서, 네트워크(204)는 단일 네트워크이다. 다른 실시예들에서, 네트워크(204)는 2개 이상의 네트워크를 포함할 수 있다.

컴퓨팅 디바이스들(202a-f) 및 원격 햅틱 출력 디바이스(들)(206)은 서로 직접 통신할 수 있고 및/또는 네트워크(204)를 통해 서로 통신할 수 있다. 예를 들어, 선반 컴퓨팅 디바이스(202c)는 상점 컴퓨팅 디바이스(들)(202d)과 (예를 들어, 블루투스를 이용하여) 무선으로 통신할 수 있다. 또한, 컴퓨팅 디바이스들(202a-f) 및 원격 햅틱 출력 디바이스(들)(206)은 하나 이상의 원격 서버들(예를 들어, 클라우드 서버들, 웹서버들, 또는 다른 서버들), 데이터베이스들, 및/또는 컴퓨팅 디바이스들과 네트워크(204)를 통해 통신할 수 있다.

전술한 바와 같이, 시스템(200)은 착용가능한 컴퓨팅 디바이스(202a)를 포함할 수 있다. 착용가능한 컴퓨팅 디바이스(202a)는, 예를 들어, 시계, 손목 밴드, 모자, 소매, 재킷, 깃(collar), 안경, 장갑, 반지, 의류, 머리띠, 및/또는 보석류를 포함하는 착용가능한 디바이스와 연관될 수 있다. 사용자가 대상과 상호작용할 시에, 착용가능한 컴퓨팅 디바이스(202a)는 사용자의 신체 일부(예를 들어, 사용자의 손목, 팔, 다리, 발, 손, 손가락, 목, 머리, 또는 흉부)에 햅틱 효과를 출력할 수 있다. 예를 들어, 착용가능한 컴퓨팅 디바이스(202a)는 반지를 포함할 수 있다. 사용자가 손가락으로 제품을 접촉할 시에, 착용가능한 컴퓨팅 디바이스(202a)는 사용자의 손가락을 스퀴징하도록 구성된 햅틱 효과를 출력할 수 있다. 이것은 제품의 특성을 사용자에게 경고할 수 있다. 예를 들어, 제품은 음식 제품을 포함할 수 있고 햅틱 효과는 사용자에게 부정적인 특성, 예를 들어, 음식 제품이 높은 양의 나트륨(sodium)을 포함하고 있다고 경고하도록 구성될 수 있다.

전술한 바와 같이, 시스템(200)은 패키징 컴퓨팅 디바이스(202b)를 포함할 수 있다. 예를 들어, 패키징 컴퓨팅 디바이스(202b)는 대상의 패키징 내에 내장되거나 그에 결합될 수 있다. 패키징 컴퓨팅 디바이스(202b)는 대상과의 사용자 상호작용을 검출하도록 구성된 센서(가속도계, 압력 센서, 용량 센서, 저항 센서, 3D 촬상 시스템 또는 LED 기반 추적 시스템)를 포함할 수 있다. 예를 들어, 센서는 대상의 패키징의 일부 내에 내장된 압력 센서를 포함할 수 있다. 압력 센서는 사용자에 의한 접촉을 검출할 수 있다. 센서로부터의 신호들에 기초하여, 패키징 컴퓨팅 디바이스(202b)는 (예를 들어, 사용자가 대상을 접촉함에 따라 사용자의 손 또는 손가락에 직접적으로) 햅틱 효과를 출력하도록 구성될 수 있다.

전술한 바와 같이, 시스템(200)은 선반 컴퓨팅 디바이스(202c)를 포함할 수 있다. 선반 컴퓨팅 디바이스(202c)는 대상과의 사용자 상호작용을 검출하도록 구성된 센서(예를 들어, 압력 센서, 가속도계, 위치 센서, 3D 촬상 시스템, 또는 LED 기반 추적 시스템)를 포함할 수 있다. 예를 들어, 센서는 선반의 대상 아래에 위치된 압력 센서를 포함할 수 있다. 센서는 사용자가 선반으로부터 대상을 들어올리는 것을 검출하도록 구성될 수 있다. 센서로부터의 신호에 기초하여, 선반 컴퓨팅 디바이스(202c)는 햅틱 효과를 출력하도록 구성될 수 있다.

전술한 바와 같이, 시스템(200)은 상점 컴퓨팅 디바이스(202d)를 포함할 수 있다. 상점 컴퓨팅 디바이스(202d)는 대상의 판매자, 제조자, 및/또는 유통자와 연관될 수 있다. 예를 들어, 상점 컴퓨팅 디바이스(202d)는 대상을 판매하고 있는 상점에 의해 소유 또는 운용될 수 있다. 상점 컴퓨팅 디바이스(202d)는 대상과 연관된 데이터(예를 들어, 데이터베이스 내의)를 포함할 수 있다. 예를 들어, 상점 컴퓨팅 디바이스(202d)는 명칭, 무게, 사이즈, 가격, 할인, 제조자, 성분의 리스트, 및/또는 대상과 연관된 다른 특성을 포함할 수 있다. 하나 이상의 다른 컴퓨팅 디바이스들(202a-c, 202e-f)은 대상과 연관된 특성을 판정하기 위해 상점 컴퓨팅 디바이스(202d)와 통신할 수 있다. 예를 들어, 착용가능한 컴퓨팅 디바이스(202a)는 대상과 연관된 쿼리를 상점 컴퓨팅 디바이스(202d)에 송신할 수 있다. 상점 컴퓨팅 디바이스(202d)는 쿼리를 수신하고, 데이터베이스를 참고하여 상점에서 판매에 이용가능한 대상의 수량을 판정할 수 있다. 상점 컴퓨팅 디바이스(202d)는 그 수량과 연관된 신호를 착용가능한 컴퓨팅 디바이스(202a)에 송신할 수 있다.

일부 실시예들에서, 상점 컴퓨팅 디바이스(202d)는 대상과의 사용자 상호작용을 검출하도록 구성될 수 있다. 예를 들어, 상점 컴퓨팅 디바이스(202d)는 상호작용 센서와 유선 또는 무선 통신할 수 있다. 상호작용 센서는, 예를 들어, 대상을 향해 배향된 깊이 센서를 포함할 수 있다. 사용자가 대상과 상호작용할 시에, 상점 컴퓨팅 디바이스(202d)는 대상과 연관된 정보를 판정할 수 있다. 정보에 기초하여, 상점 컴퓨팅 디바이스(202d)는 원격 햅틱 출력 디바이스(206) 및/또는 다른 컴퓨팅 디바이스(202a-c, 202e-f)가 햅틱 효과를 출력하게 할 수 있다. 예를 들어, 상점 컴퓨팅 디바이스(202d)는 착용가능한 컴퓨팅 디바이스(202a)가 햅틱 효과를 출력하게 하도록 구성된 신호를 착용가능한 컴퓨팅 디바이스(202a)에 송신할 수 있다.

전술한 바와 같이, 시스템(200)은 플로어 컴퓨팅 디바이스(202e)를 포함할 수 있다. 플로어 컴퓨팅 디바이스(202e)는 대상과의 사용자 상호작용시에 햅틱 효과(예를 들어, 진동)를 출력할 수 있다. 예를 들어, 사용자가 상점에서 제품을 터칭할 시에, 플로어 컴퓨팅 디바이스(202e)는 큰 크기(high-magnitude)의 진동을 출력할 수 있다. 사용자는 사용자의 발 또는 다른 신체 부분을 통해 햅틱 효과를 인지할 수 있다. 큰 크기의 진동은, 예를 들어, 제품이 판매중이라는 것을 사용자에게 표시할 수 있다. 다른 실시예들에서, 플로어 컴퓨팅 디바이스(202e)는 플로어 내에 내장되거나 그에 결합되는 원격 햅틱 출력 디바이스(206)와 통신하는 컴퓨팅 디바이스를 포함할 수 있다. 사용자가 대상과 상호작용할 시에, 플로어 컴퓨팅 디바이스(202e)는 원격 햅틱 출력 디바이스(206)가 햅틱 효과를 출력하게 할 수 있다(예를 들어, 사용자의 발 또는 다른 신체 부분에).

전술한 바와 같이, 시스템(200)은 캐리어 컴퓨팅 디바이스(202f)를 포함할 수 있다. 일부 실시예들에서, 캐리어 컴퓨팅 디바이스(202f)는 사용자가 대상과 상호작용할 시에 햅틱 효과를 출력한다. 예를 들어, 사용자는 캐리어 컴퓨팅 디바이스(202f)를 포함하는 쇼핑 바구니를 잡고 있을 수 있다. 사용자가 술병을 잡을 때, 캐리어 컴퓨팅 디바이스(202f)는 사용자가 21세 미만인지를 판정할 수 있다. 그렇다면, 캐리어 컴퓨팅 디바이스(202f)는 강한 진동을 출력할 수 있다. 사용자는 사용자가 쇼핑 바구니를 잡고 있는 손을 통해 강한 진동을 느낄 수 있다. 이것은 사용자에게, 구매하려는 대상이 사용자에게는 불법적인 것임을 통지할 수 있다. 다른 실시예들에서, 캐리어 컴퓨팅 디바이스(202f)는 사용자가 대상을 캐링 디바이스 내에 두었는지를 검출하도록 구성된 하나 이상의 센서를 포함한다. 예를 들어, 캐리어 컴퓨팅 디바이스(202f)는 쇼핑 카트를 포함하거나 쇼핑 카트 내에 내장될 수 있다. 캐리어 컴퓨팅 디바이스(202f)는 사용자가 쇼핑 카트 내에 대상을 두었는지를 검출할 수 있다. 하나의 그러한 실시예에서, 사용자가 제품을 쇼핑 카트 내에 두면, 캐리어 컴퓨팅 디바이스(202f)는 쇼핑 카트 내의 모든 아이템들의 총 가격이 임계값을 초과하는지를 판정할 수 있다. 그렇다면, 캐리어 컴퓨팅 디바이스(202f)는 강한 진동을 출력할 수 있다.

시스템(200)은 다른 위치들 또는 구성들 내에 위치된 하나 이상의 컴퓨팅 디바이스들을 추가적으로 또는 대안적으로 포함할 수 있다. 예를 들어, 시스템(200)은 대상 내에 위치된 컴퓨팅 디바이스를 포함할 수 있다. 다른 예로서, 시스템(200)은 핸드-헬드 디바이스 또는 잡을 수 있는 디바이스(예를 들어, 모바일 폰, e-리더, 태블릿, 막대기, 스타일러스 또는 펜)과 연관된 컴퓨팅 디바이스를 포함할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스는, 예를 들어, 사용자의 바지 주머니(또는 셔츠 주머니) 내에 위치될 수 있다. 사용자가 대상과 상호작용할 시에, 컴퓨팅 디바이스는 햅틱 효과를 사용자의 넓적다리(또는 흉부)에 출력할 수 있다. 다른 실시예들에서, 사용자는, 예를 들어, 도 5b에 관하여 이하에 설명하는 바와 같이, 매개 대상을 이용하여 대상과 상호작용할 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스들(202a-f) 중 임의의 것은 다른 컴퓨팅 디바이스(202a-f)(및/또는 원격 햅틱 출력 디바이스(206)) 중 임의의 것이 햅틱 효과를 출력하게 할 수 있다. 예를 들어, 사용자는 착용가능한 컴퓨팅 디바이스(202a)를 포함하는 착용가능한 안경일 수 있다. 착용가능한 컴퓨팅 디바이스(202a)는 사용자가 상점 내의 선반으로부터 제품을 집어내는 것을 검출할 수 있다. 착용가능한 컴퓨팅 디바이스(202a)는 제품의 패키징 내의 패키징 컴퓨팅 디바이스(202b)에 신호를 송신할 수 있다. 신호는 패키징 컴퓨팅 디바이스(202b)가 햅틱 효과, 예를 들어, 사용자의 손에 출력하게 할 수 있다. 이것은 (예를 들어, 안경이 사용자의 머리에 위치될 수 있기 때문에) 착용가능한 컴퓨팅 디바이스(202a)가 달리 햅틱 효과를 출력할 수 없는 사용자의 신체 부분에 햅틱 효과가 출력되게 하도록 착용가능한 컴퓨팅 디바이스(202a)를 허용할 수 있다.

다른 예로서, 패키징 컴퓨팅 디바이스(202b)는 사용자가 상점의 선반으로부터 대상을 집어 올리는 것을 검출할 수 있다. 패키징 컴퓨팅 디바이스(202b)는 원격 햅틱 출력 디바이스(206)에 신호를 송신할 수 있다. 신호는 원격 햅틱 출력 디바이스(206)가 사용자의 흉부에서 공기의 퍼프를 출력하도록 구성될 수 있다. 이것은 패키징 컴퓨팅 디바이스(202b)가 달리 햅틱 효과를 출력할 수 없는 사용자의 신체 부분(예를 들어, 사용자의 흉부)에 햅틱 효과가 출력되게 하도록 패키징 컴퓨팅 디바이스(202b)를 허용할 수 있다.

도 3은 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 실시예를 도시한다. 시스템(300)은 선반(308) 위에 위치된 대상(306)을 포함한다. 대상(306)은 장난감, 컴퓨터, 모바일 디바이스, 자동차 컴포넌트, 영화, 비디오 게임, 비디오 게임 콘솔, 기기, 텔레비전, 의료 디바이스, 기계 또는 전기적 컴포넌트, 리모트 컨트롤, 음식 등을 포함할 수 있다. 시스템(300)은 상점, 창고, 식당, 의료 센터, 차고, 집, 사무실, 아파트, 또는 다른 위치과 연관될 수 있다.

도 3에 도시된 실시예에서, 상호작용 센서(315)(예를 들어, 3D 촬상 시스템)은 대상(306)을 향해 배향된다. 상호작용 센서(315)는 대상(306)과의 사용자 상호작용(예를 들어, 탭핑, 터치, 위에서의 제스처, 흔들기, 들어올리기, 향하는 제스처 등)을 검출할 수 있다. 사용자는, 예를 들어, 대상(306)과 연관된 정보(예를 들어, 유형, 브랜드, 제조자, 사이즈, 색, 영양가 또는 정보, 기능, 콘텐츠, 무게, 등급, 가격, 유통 기한, 전력 소비, 잡음 레벨 등)를 수신하기 위해 대상(306)과 상호작용할 수 있다. 상호작용 센서(315)는 하나 이상의 컴퓨팅 디바이스(304, 310, 312, 318)에 센서 신호를 송신할 수 있다. 사용자 상호작용에 기초하여, 컴퓨팅 디바이스들(304, 310, 312, 318) 중 하나 이상은 대상(306)과 연관된 정보를 (예를 들어, 인터넷을 통해 서버에 쿼리함으로써) 판정할 수 있다. 하나 이상의 컴퓨팅 디바이스(304, 310, 312, 318)은 이어서 정보와 연관된 햅틱 효과를 출력할 수 있다.

이 예에서, 시스템(300)은 손목 밴드 또는 시계를 포함하는 착용가능한 컴퓨팅 디바이스(304)를 포함한다. 시스템(300)은 또한 패키징 컴퓨팅 디바이스(310), 선반 컴퓨팅 디바이스(312), 플로어 컴퓨팅 디바이스(318) 및 원격 햅틱 출력 디바이스(314)를 포함한다. 원격 햅틱 출력 디바이스(314)는 컴퓨팅 디바이스들(304, 310, 312, 318)과 유선 또는 무선 통신할 수 있다. 일부 실시예들에서, 사용자가 대상(306)과 상호작용할 시에, 하나 이상의 컴퓨팅 디바이스들(304, 310, 312, 318)은 대상(306)과 연관된 정보를 판정할 수 있다. 예를 들어, 정보는 대상(306)이 판매중인지를 포함할 수 있다. 컴퓨팅 디바이스들(304, 310, 312, 318) 중 하나 이상은 원격 햅틱 출력 디바이스(314)가 정보와 연관된 원격 햅틱 효과를 출력하게 할 수 있다. 예를 들어, 착용가능한 컴퓨팅 디바이스(304)는 원격 햅틱 출력 디바이스(314)가 사용자의 손을 향해 초음파 압력파를 출력하게 하도록 구성된 신호를 송신할 수 있다. 사용자는 초음파 압력파를 사용자의 손에 대한 진동으로서 인지할 수 있다. 햅틱 효과는 대상(306)이 판매중이라는 것을 사용자에게 표시할 수 있다. 일부 실시예들에서, 착용가능한 컴퓨팅 디바이스(304)는, 대상(306)이 판매중이 아닌 경우, 원격 햅틱 출력 디바이스(314)가 햅틱 효과를 출력하게 하지 않을 수 있다. 햅틱 효과의 결여는 사용자에게 대상(306)이 판매중이 아니라는 것을 표시할 수 있다.

도 4는 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 다른 실시예를 도시한다. 이 예에서, 사용자(402)는 반지를 포함하는 착용가능한 컴퓨팅 디바이스(406)를 착용하고 있다. 사용자(402)는 허공에서의 제스처를 행함으로써 대상(404)과 상호작용하고 있다. 일부 실시예들에서, 제스처는 대상(404)을 향해 배향되거나 또는 대상(404)으로부터 미리정의된 거리(예를 들어, 2 피트) 내에 있을 수 있다. 예를 들어, 사용자(402)는 대상(404)의 정면에서, 흔들거나, 가리키거나, 도달하거나, 및/또는 손가락을 사용하여 허공에서 심볼을 그릴 수 있다. 컴퓨팅 디바이스(406)는 사용자 상호작용을 검출하고 사용자의 제스처를 판정할 수 있다. 제스처의 특성 및/또는 대상(404)에 기초하여, 컴퓨팅 디바이스는 대상(404)과 연관된 정보를 판정할 수 있다. 컴퓨팅 디바이스(406)는 이어서 정보와 연관된 햅틱 효과를 출력할 수 있다.

예를 들어, 사용자(402)는 허공에서 제스처를 행하여 대상(404)에 관한 정보를 판정, 예를 들어, 대상(404)과 연관된 전력 소비 정보를 판정할 수 있다. 도 4에 도시된 실시예에서, 사용자는 허공에서 대상(404)의 정면에서 "P" 형상을 그리고 있다. 컴퓨팅 디바이스(406)는 제스처를 검출하고 사용자가 "P" 형상을 제스처를 행하고 있다는 것을 판정할 수 있다. 컴퓨팅 디바이스는 또한 대상(404)이 특정 전자 디바이스들(예를 들어, 특정 모델의 랩톱 컴퓨터)를 포함한다는 것을 판정할 수 있다. "P" 제스처에 기초하여, 컴퓨팅 디바이스는, 동작에서 전자 디바이스에 의해 소비된 평균 전력량을 (예를 들어, 인터넷을 통해) 판정할 수 있다. 일부 실시예들에서, 전력량이 (예를 들어, 사용자에 의해 입력되거나 업계 표준인)임계값 아래이면, 컴퓨팅 디바이스(406)는 햅틱 효과(예를 들어, 짧은 진동)를 출력할 수 있다. 이것은 대상(404)이 사용자가 수용할 만한 평균 전력량을 소비한다는 것을 사용자에게 표시할 수 있다. 다른 실시예들에서, 전력량이 임계값 위라면, 컴퓨팅 디바이스(406)는 대상(404)이 수용불가능한 전력량을 소비한다는 것을 사용자(402)에게 표시하도록 구성된 햅틱 효과를 출력할 수 있다.

도 5a는 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 또 다른 실시예를 도시한다. 이 예에서, 사용자(502)는 컴퓨팅 디바이스(506)를 포함하는 시계를 착용하고 있다. 사용자(502)는 대상(504)과 접촉함으로써(예를 들어, 탭핑 또는 터칭) 대상(504)(예를 들어, 스크류 드라이버)과 상호작용하고 있다. 컴퓨팅 디바이스(506)는 상호작용 센서(510)(예를 들어, 컴퓨팅 디바이스(506) 내에 내장된)를 통해 접촉을 검출할 수 있다. 상호작용 센서(510)는, 예를 들어, 대상(504)을 향해 배향된 카메라를 포함할 수 있다. 접촉의 특성 및/또는 대상(504)에 기초하여, 컴퓨팅 디바이스(506)는 대상(404)과 연관된 정보를 판정할 수 있다. 컴퓨팅 디바이스(506)는 이어서 햅틱 출력 디바이스(512)를 통해 정보와 연관된 햅틱 효과를 출력할 수 있다.

일부 실시예들에서, 사용자는 상호작용을 위한 매개 대상(예를 들어, 스타일러스, 펜, 지팡이, 막대기)을 사용할 수 있고, 컴퓨팅 디바이스(506)는 그러한 상호작용을 검출할 수 있다. 예를 들어, 도 5b에 도시된 바와 같이, 사용자(502)는 모바일 폰을 포함하는 매개 대상(514)으로 대상(504)을 접촉할 수 있다. 컴퓨팅 디바이스(506)는 접촉을 검출하고 연관된 햅틱 효과를 출력할 수 있다. 일부 실시예들에서, 매개 대상(514)은 (예를 들어, 매개 대상(514)으로부터 컴퓨팅 디바이스(506)가 분리되고 있기 보다는) 컴퓨팅 디바이스(506)를 포함할 수 있다. 예를 들어, 사용자(502)가 손목에 컴퓨팅 디바이스(506)를 착용하고 있기 보다는, 모바일 폰이 컴퓨팅 디바이스일 수 있다.

일부 실시예들에서, 사용자(502)는, 예를 들어, 대상(504)이 수용가능한 가격인 경우, 대상에 관한 정보를 판정하기 위해 대상(504)을 접촉할 수 있다. 컴퓨팅 디바이스(506)는 접촉을 검출하고 대상(504)의 가격을 판정할 수 있다. 일부 실시예들에서, 가격이 임계값(예를 들어, 사용자에 의해 입력된) 아래라면, 컴퓨팅 디바이스(506)는 햅틱 효과(예를 들어, 펄스형 진동)를 출력할 수 있다. 이것은 사용자(502)에게, 대상(504)이 사용자(502)가 수용가능한 가격을 갖는다는 것을 표시할 수 있다. 다른 실시예들에서, 컴퓨팅 디바이스(506)는 다른 로컬 상점들과의 가격 비교를 수행할 수 있다. 컴퓨팅 디바이스(506)는, 사용자(502)에게 다른 로컬 상점(예를 들어, 15마일 반경 내의 상점) 또는 온라인 소매상을 통해 가격이 더 저렴할 수 있다는 것을 통지하도록 구성된 햅틱 효과(예를 들어, 2개의 펄스형 진동을 포함함)를 출력할 수 있다.

일부 실시예들에서, 대상(504)은 도구(예를 들어, 해머, 스크류 드라이버, 드릴, 못, 톱, 나사, 또는 볼트)를 포함한다. 사용자(502)는 가구를 제작하고(또는 수리하고) 있을 수 있다. 사용자(502)는 컴퓨팅 디바이스(506)의 디스플레이(508) 상에서 가구 제작을 위한 지시들을 읽고 있을 수 있고, 특정 단계에서, 도구를 잡을 수 있다. 컴퓨팅 디바이스(506)는 (예를 들어, 상호작용 센서(510)를 통해) 접촉을 검출하고 도구의 유형(예를 들어, 사이즈 1 필립스 헤드 스크류 드라이버)을 판정할 수 있다. 컴퓨팅 디바이스(506)는 그 프로젝트를 위해 또는 그 프로젝트의 특정 단계를 위해 도구가 올바른지를 판정할 수 있다. 그렇지 않다면, 컴퓨팅 디바이스(506)는 강한 진동을, 예를 들어, 사용자(502)의 손목에 햅틱 출력 디바이스(512)를 통해 출력할 수 있다. 이것은 사용자(502)에게 사용자(502)가 잘못된 도구를 집어들었다는 것을 경고할 수 있다.

다른 예로서, 일부 실시예들에서, 대상(504)은 의료 도구를 포함한다. 사용자(502)는 의료적 절차(예를 들어, 수술)를 수행하고 있을 수 있고, 의료 도구를 잡을 수 있다. 컴퓨팅 디바이스(506)는 접촉을 검출하고 의료 도구의 유형(예를 들어, 11번 칼날을 갖는 메스)을 판정할 수 있다. 컴퓨팅 디바이스(506)는 의료 도구가 의료 절차 또는 의료 절차의 특정 단계에 대해 올바른지를 판정할 수 있다. 의료 도구가 프로젝트 또는 프로젝트의 특정 단계에 대해 올바르지 않은 경우, 컴퓨팅 디바이스(506)는 강한 진동을 출력할 수 있다. 이것은 사용자(502)에게 사용자(502)가 잘못된 도구를 집었다고 경고 할 수 있고, 이는 환자가 다치는 것을 방지할 수 있다.

컴퓨팅 디바이스(506)는 대상(504)의 임의의 곳과의 접촉 또는 대상(504)의 특정 위치(예를 들어, 라벨)와의 접촉을 검출할 수 있다. 컴퓨팅 디바이스(506)는 접촉의 위치를 검출할 수 있다. 예를 들어, 컴퓨팅 디바이스(506)는 대상(504)의 어느 부분(예를 들어, 상부, 하부, 좌측, 우측, 정면, 후면, 라벨, 이미지, 로고, 텍스트, 등)이 사용자에 의해 접촉되었는지를 검출할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(506)는 사용자(502)가 대상(504)의 특정 부분과 상호작용할 시에 햅틱 효과를 출력할 수 있다. 예를 들어, 사용자(502)는 대상(504)의 제조자의 로고를 접촉할 수 있다. 컴퓨팅 디바이스(506)는 제조자의 로고와의 상호작용을 검출하고 대상(504)의 제조자 또는 브랜드와 연관된 햅틱 효과를 출력할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(506)는, 사용자(502)가 대상(504)의 다른 부분과 상호작용하는 경우, 햅틱 효과를 출력하지 않을 수 있거나, 상이한 햅틱 효과를 출력할 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스(506)는 대상(504)과의 다수의 사용자 상호작용(또는 다수의 접촉을 포함하는 단일 사용자 상호작용)을 검출할 수 있다. 예를 들어, 일부 실시예들에서, 대상(504)은 지도를 포함할 수 있다. 사용자(502)는 지도 상의 시작점에서 손가락으로 지도를 터치할 수 있다. 사용자(502)는 순차적으로 또는 동시에 (다른 손가락으로) 목적지 위치에서 지도를 터치할 수 있다. 컴퓨팅 디바이스(506)는 사용자 상호작용들을 검출하고 맵핑 애플리케이션을 실행할 수 있다. 컴퓨팅 디바이스(506)는 시작점과 목적지 위치 사이의 거리를 더 판정할 수 있다. 거리가 임계값 아래이면, 컴퓨팅 디바이스(506)는 햅틱 효과를 출력할 수 있다.

일부 실시예들에서, 대상(504)은 가상 대상을 포함할 수 있다. 가상 대상은, 예를 들어, 디스플레이(508) 상의 출력일 수 있다. 하나의 그러한 실시예에서, 가상 대상은 사용자의 냉장고 내의 음식 아이템들을 나타내는 이미지들일 수 있다. 예를 들어, 가상 대상은 한병의 우유, 당근, 고기 덩어리 등의 이미지를 포함할 수 있다. 컴퓨팅 디바이스(506)는 가상 대상과의 사용자 상호작용을 검출하도록 구성될 수 있다. 예를 들어, 사용자는 한병의 우유와 연관된 위치 상의 디스플레이(예를 들어, 터치스크린 디스플레이일수 있는) 상에서 더블 탭핑할 수 있다. 사용자 상호작용에 기초하여, 컴퓨팅 디바이스(506)는 가상 대상와 연관된 정보를 판정할 수 있다. 예를 들어, 더블 탭핑에 기초하여, 컴퓨팅 디바이스(506)는, 예를 들어, 사용자가 얼마나 많은 우유를 사용자의 냉장고에 갖고 있는지를 판정할 수 있다. 컴퓨팅 디바이스(506)는 정보와 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(506)는 사용자의 냉장고 내의 우유병의 수와 동일한 양의 펄스형 진동을 출력할 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스(506)는 사용자 상호작용에 기초하여 음향(예를 들어, 스피커를 통해) 출력한다. 예를 들어, 컴퓨팅 디바이스(506)는 대상(504)과의 사용자 상호작용을 검출하고 대상(504)의 가격을 판정할 수 있다. 가격이 임계값(예를 들어, 사용자에 의해 입력된) 아래이면, 컴퓨팅 디바이스(506)는 계산대(cash register) 개방에 대한 음향(예를 들어, "칭 칭(ching ching)"을 출력할 수 있다. 이것은 사용자에게 대상(504)이 수용가능한 가격을 갖는다는 것을 통지할 수 있다. 다른 예로서, 컴퓨팅 디바이스(506)는 대상(504)(예를 들어, 블루-레이 DVD)이 사용자(502)가 소유한 다른 대상(예를 들어, DVD 플레이어)와 호환가능하다면, 비프(beep)를 출력할 수 있다. 이것은 대상(504)에 관한 추가적인 정보를 사용자(502)에게 제공할 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스(506)는 사용자 상호작용에 기초하여 디스플레이(508) 상에 데이터를 출력한다. 예를 들어, 사용자는 상점 내의 대상(504)에 대해 탭핑할 수 있다. 컴퓨팅 디바이스(506)는 상점 내의 대상(504)의 가격 및 대상(504)의 평균 가격을 판정할 수 있다(예를 들어, 복수의 상점으로부터의 가격들에 기초하여 판정됨). 상점의 가격이 대상(504)의 평균 가격보다 낮다면, 컴퓨팅 디바이스(506)는 디스플레이(508) 상에 단일 달러 기호를 출력할 수 있다. 가격이 대상(504)의 평균 가격보다 높다면, 컴퓨팅 디바이스(506)는 디스플레이(508) 상에 세개의 달러 기호를 출력할 수 있다. 다른 예로서, 컴퓨팅 디바이스(506)는 상점이 재고로 갖고 있는 대상(504)의 수량을 판정할 수 있다(예를 들어, 상점과 연관된 서버를 쿼리함으로써). 컴퓨팅 디바이스(506)는 디스플레이(508) 상에 수량을 출력할 수 있다. 이것은 대상(504)에 관한 추가적인 정보를 사용자(502)에게 제공할 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스(506)는 사용자 상호작용과 실질적으로 동시에 햅틱 효과, 음향, 및/또는 데이터를 디스플레이(508) 상에 출력한다. 예를 들어, 컴퓨팅 디바이스(506)는 다수의 동작(예를 들어, 대상(504)과의 사용자 상호작용이 발생하였다고 판정, 대상(504)의 특성을 판정, 및 햅틱 효과를 판정)을 수행하고, 사용자 상호작용와 실질적으로 동시인 것으로서 사용자가 햅틱 효과를 인지하도록 충분히 신속하게 햅틱 효과를 출력할 수 있다.

도 6은 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 다른 실시예를 도시한다. 이 예에서, 사용자(602)는 손목 밴드를 포함하는 컴퓨팅 디바이스(606)를 착용하고 있다. 사용자는 대상(604)의 표면 상에서 제스처하여 대상과 상호작용할 수 있다. 예를 들어, 사용자는 2개 손가락 핀치를 수행하고, 다수의 손가락을 이동시키고, 또는 대상(604)의 표면 상에 체크마크를 만들 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스(406)는 제스처를 검출하고, 제스처에 기초하여, 대상(404)의 특정 특성을 판정한다. 예를 들어, 도 6에 도시된 실시예에서, 사용자(602)는 대상(604)의 정면 표면을 따라 종방향 위쪽으로 손가락을 이동시킴으로써 대상(604)와 상호작용하고 있다. 이 사용자는, 예를 들어, 대상(604)의 높이가 미리정의된 높이보다 작은지를 판정하기 위해 이 제스처를 행하고 있을 수 있다. 이러한 특정 제스처에 기초하여, 컴퓨팅 디바이스(606)는 대상(604)의 치수를 판정하기 위해 네트워크를 통해 로컬 서버와 통신할 수 있다. 일부 실시예들에서, 대상(604)의 높이가 임계값 아래라면, 컴퓨팅 디바이스(606)는 햅틱 효과(예를 들어, 저주파 진동)을 출력할 수 있다. 이것은 대상(604)이 수용가능한 높이, 예를 들어, 사용자의 집안의 공간(찬장과 같은)에 들어맞을 수 있는 높이라는 것을 사용자에게 표시할 수 있다. 다른 실시예들에서, 대상(604)의 높이가 임계값 위라면, 컴퓨팅 디바이스(606)는, 예를 들어, 대상(604)이 수용가능한 높이가 아니라는 것을 사용자(602)에게 표시하도록 구성된 다른 햅틱 효과를 출력할 수 있다.

도 7은 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 또 다른 실시예를 도시한다. 일부 실시예들에서, 사용자(702)는 대상(704)을 이용하여 제스처를 행함으로써 대상(704)과 상호작용할 수 있다. 예를 들어, 사용자(702)는 실제 공간에서의 대상(704)을 이동시킬 수 있다(예를 들어, 허공에서 글자 또는 숫자를 그리기 위한 대상을 이용하여, 대상을 회전시키고, 대상을 기울이고 등).

도 7에 도시된 실시예에서, 사용자(702)는 대상(704)을 위 아래로 흔들고 있다. 사용자(702)는, 예를 들어, 대상(704)이 반환 정책 하에서 환불가능하지 않은지를 판정하기 위해 대상(704)을 흔들 수 있다. 컴퓨팅 디바이스(706)(예를 들어, 대상(704) 내에 위치된)는 검출하고 흔들고 대상(704)과 연관된 반환 정책을 판정할 수 있다(예를 들어, 상점 컴퓨팅 디바이스 또는 인터넷과 통신함으로써). 일부 실시예들에서, 컴퓨팅 디바이스(706)는 반환 정책과 연관된 햅틱 효과를 출력할 수 있다. 예를 들어, 대상(704)이 반환불가능하다면, 컴퓨팅 디바이스(706)는 세개의 펄스형 진동을 포함하는 햅틱 효과를 출력할 수 있다. 대상(704)이 환불가능하다면, 컴퓨팅 디바이스(706)는 스트로킹 감각을 포함하는 햅틱 효과를 출력할 수 있다.

일부 실시예들에서, 사용자 상호작용은 사용자의 신체의 일부(예를 들어, 발, 팔, 다리, 어깨, 손, 목, 머리, 등, 흉부, 배, 넓적 다리 등)에 근접하도록 또는 사용자의 신체의 일부와 대상(704)이 접촉하도록 대상(704)을 이동시키는 것을 포함할 수 있다. 예를 들어, 사용자(702)는 한병의 소다를 구매하기를 원할 수 있다. 사용자(702)는 한 병의 소다를 집어 들고 그의 오른쪽 넓적 다리(예를 들어, 그의 오른쪽 주머니안의 그의 지갑위에서)를 소다병으로 탭핑할 수 있다. 컴퓨팅 디바이스(706)는 탭핑을 검출하고, 사용자(702)가 가정의 냉장고 안에 이미 갖고 있는 대상(704)의 수량을 판정할 수 있다. 일부 실시예들에서, 사용자(702)는 컴퓨팅 디바이스(706) 내에 수량을 입력하였을 수 있다. 예를 들어, 컴퓨팅 디바이스(706)는 쇼핑 리스트 애플리케이션을 실행할 수 있다. 사용자는 쇼핑 리스트 애플리케이션 내에 수량을 입력하였을 수 있다. 컴퓨팅 디바이스(706)는 쇼핑 리스트 애플리케이션으로부터 수량을 판정할 수 있다. 다른 실시예들에서, 사용자(702)는 스마트 냉장고 또는 냉장고의 콘텐츠를 판정할 수 있고 수량을 컴퓨팅 디바이스(706)에 송신할 수 있는 다른 디바이스를 가질 수 있다. 사용자(702)가 임계값 아래의 제품 수량을 갖는다면(예를 들어, 사용자(702)가 소다병 세개보다 적게 갖고 있으면), 컴퓨팅 디바이스(706)는 햅틱 효과를 출력하지 않을 수 있다. 사용자(702)가 임계값 위의 제품 수량을 갖고 있다면, 컴퓨팅 디바이스(706)는 버징 감각을 출력할 수 있다. 이것은 사용자(702)가 보다 스마트한 구매 판단을 행하는 것을 도울 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스(706)는 대상(704)과의 복수의 사용자 상호작용(예를 들어, 대상(704)의 정면에서의 제스처 행하기, 대상(704)을 접촉하기, 대상(704)의 표면을 따라 제스처 행하기, 및 대상(704)을 이용하여 제스처 행하기)을 검출할 수 있다. 컴퓨팅 디바이스(706)는 각각의 검출된 사용자 상호작용에 대한 대상(704)과 연관된 하나 이상의 특성을 판정할 수 있다. 컴퓨팅 디바이스(706)는 또한 특성들 중 하나 이상과 연관된 하나 이상의 햅틱 효과를 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(706)는 사용자가 대상(704)을 향해 손가락으로 가리키는 것을 검출하고 대상(704)의 가격과 연관된 햅틱 효과를 출력할 수 있다. 컴퓨팅 디바이스(706)는 또한 사용자가 대상(704)에 대해 탭핑하는 것을 검출하고 대상(704)의 제조 또는 모델과 연관된 햅틱 효과를 출력할 수 있다. 컴퓨팅 디바이스(706)는 또한 사용자가 대상(704)을 들어 올리고 90도로 회전시키는 것을 검출하고 대상(704)의 별표 등급과 연관된 햅틱 효과를 출력할 수 있다.

일부 실시예들에서, 사용자 상호작용은 다수의 대상들 사이에서의 상호작용을 야기하는 것을 포함할 수 있다. 예를 들어, 사용자(702)는 다른 대상에 대해 대상(704)을 탭핑할 수 있다. 예를 들어, 사용자(702)는 모바일 폰 도킹 스테이션에 대해 모바일 폰을 탭핑할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(706)는 대상들 사이의 상호작용을 검출하고 대상들 중 하나 이상과 연관된 정보를 판정할 수 있다. 예를 들어, 컴퓨팅 디바이스(706)는 모바일 폰과 도킹 스테이션 사이의 상호작용을 검출하고 도킹 스테이션이 모바일 폰과 호환가능한지를 판정할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(706)는, 예를 들어, 2개의 대상이 호환가능하다고 또는 호환가능하지 않다고 사용자에게 통지하는, 정보와 연관된 햅틱 효과(예를 들어, 진동)를 출력할 수 있다.

다른 예로서, 컴퓨팅 디바이스(706)는 사용자(702)가 제1 신체 부분으로 제1 대상(704)과 상호작용하는 것(예를 들어, 탭핑, 보유, 위에서 제스처하기, 또는 향하여 제스처하기) 및 제2 신체 부분으로 제2 대상(704)과 상호작용하는 것을 검출할 수 있다. 예를 들어, 컴퓨팅 디바이스(706)는 사용자(702)가 사용자의 오른손으로 제1 대상(704)과 상호작용하는 것 및 사용자의 왼손으로 제2 대상(704)과 상호작용하는 것을 검출할 수 있다. 컴퓨팅 디바이스(706)는, 예를 들어, 어느 대상(704)이 더 무거운지를 판정할 수 있다. 일부 실시예들에서, 제1 대상(704)이 더 무거운 경우, 컴퓨팅 디바이스(706)는 사용자의 제1 신체 부분(예를 들어, 사용자의 오른손)에 햅틱 효과(예를 들어, 진동)를 출력할 수 있다. 제2 대상(704)이 더 무거운 경우, 컴퓨팅 디바이스(706)는 사용자의 제2 신체 부분(예를 들어, 사용자의 왼손)에 햅틱 효과를 출력할 수 있다. 일부 실시예들에서, 대상들(704)이 동일한 무게이면(또는 0.5lbs와 같이 서로 미리정의된 오차한도 내에 있는 무게를 가지면), 컴퓨팅 디바이스(706)는 복수의 신체 부분들(예를 들어, 사용자의 양손)에 펄스형 진동을 포함하는 햅틱 효과를 출력할 수 있다.

도 8은 햅틱 피드백을 이용하는 대상 조작을 위한 시스템의 또 다른 실시예를 도시한다. 이 예에서, 대상은 다른 사람(804)을 포함한다. 사용자(806)는, 예를 들어, 사람(804)과 악수를 함으로써 사람(804)과 상호작용할 수 있다. 사용자(806)와 연관된 컴퓨팅 디바이스(802)는 상호작용을 검출하고 사람(804)과 연관된 특성을 판정할 수 있다. 컴퓨팅 디바이스(802)는, 예를 들어, 카메라로부터의 사람(804)에 대한 이미지를 분석하고, 인터넷 검색을 수행하고(예를 들어, 사람(804)의 이름을 이용하여), 소셜 미디어 웹사이트를 검색하고, 및/또는 데이터베이스(예를 들어, 공공 레코드 데이터베이스)를 검색함으로써 특성을 판정할 수 있다. 특성을 판정하는 방법들의 다른 예들이 이하에 더 설명된다. 일부 실시예들에서, 특성은, 예를 들어, 이름, 사회 보장 번호, 순 자산, 키, 나이, 인종(heritage), 머리 색, 국적, 안구 색, 질병, 신용 점수, 성별, 신용카드 번호, 유저네임(예를 들어, 웹사이트 또는 계정에 대한), 비밀번호, 기질, 분위기, 고용주, 직업, 취미, 좋아하는 것 및/또는 싫어하는 것을 포함할 수 있다. 컴퓨팅 디바이스(808)는 특성과 연관된 햅틱 효과를 출력할 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스(802)는 다른 컴퓨팅 디바이스(808) 및/또는 전자 디바이스(예를 들어, RFID 태그)로부터 수신된 데이터(예를 들어, 무선으로)에 기초하여 특성을 판정한다. 다른 컴퓨팅 디바이스(808) 및/또는 전자 디바이스는 다른 사람(804)과 연관될 수 있다. 예를 들어, 사람(804)은 바이오센서(810)를 포함하는 컴퓨팅 디바이스(808)를 착용하고 있을 수 있다. 바이오센서(810)는 사람(804)의 심박, 온도, 혈압, 바이오리듬, 및/또는 다른 생물학적 특성을 측정할 수 있다. 컴퓨팅 디바이스(808)는 사용자(806)와 연관된 컴퓨팅 디바이스(802)에 이러한 정보를 송신할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스(802)는 정보를 특성으로서 사용할 수 있다. 다른 실시예들에서, 컴퓨팅 디바이스(802)는 정보를 사용하여 사람(804)에 관한 특성을 판정한다. 예를 들어, 컴퓨팅 디바이스(802)는 정보를 사용하여 사람(804)의 분위기, 기질, 또는 정서 상태를 판정할 수 있다. 하나의 그러한 실시예에서, 컴퓨팅 디바이스(802)는, 예를 들어, 높은 혈압을 포함하는 정보에 기초하여 사람(804)이 화가 났다고 판정할 수 있다. 그러한 실시예에서, 컴퓨팅 디바이스(808)는, 예를 들어, 사용자(806)에게 위험 또는 사람(804)이 화가 났다고 경고하도록 구성된 햅틱 효과를 출력할 수 있다.

다른 예로서, 컴퓨팅 디바이스(808)는 데이트 사이트와 연관된 유저네임을 컴퓨팅 디바이스(802)에 송신할 수 있다. 컴퓨팅 디바이스(802)는, 사람(804)이, 사용자(806)가 원하는 하나 이상의 특성에 매칭하는 특성들을 갖는지를 판정하기 위해 데이트 웹사이트를 참고할 수 있다. 그렇다면, 컴퓨팅 디바이스(802)는 스트로킹 감각을 출력할 수 있다. 이것은 사람(804)이 잠재적 로맨틱 매칭이라고 사용자(806)에게 통지할 수 있다. 사람(804)이 사용자(806)에게 바람직하지 않은 특성을 갖는 경우, 컴퓨팅 디바이스(802)는 찌르는 감각(stinging sensation)을 출력할 수 있다. 이것은 사람(804)이 좋은 로맨틱 매칭이 아닐 수 있다고 사용자(806)에게 통지할 수 있다.

또 다른 예로서, 사람(804)은 제품을 판매하고 있는 판매원일 수 있다. 컴퓨팅 디바이스(808)는 제품과 연관된 데이터를 컴퓨팅 디바이스(802)에 송신할 수 있다. 컴퓨팅 디바이스(802)는 사용자(806)가 제품을 구매하는 것에 관심있는지를 판정할 수 있다(예를 들어, 사용자(806)의 구매 습성을 분석하거나 사용자(806)에 의해 입력된 데이터를 이용하여). 그렇다면, 컴퓨팅 디바이스(802)는 고주파 진동을 출력할 수 있다.

다른 실시예들에서, 컴퓨팅 디바이스(802)는 특성을 판정하기 위해 사람(804)과 연관된 하나 이상의 이미지 및/또는 물리적 특징들을 분석할 수 있다. 예를 들어, 컴퓨팅 디바이스(802)는 카메라를 이용하여 사람(804)의 이미지를 캡처할 수 있다. 컴퓨팅 디바이스(802)는 얼굴 인식을 수행하기 위해 이미지를 사용하고, 사람(804)과 연관된 이름 태그를 판독하고, 및/또는 다른 방식으로 사람(804)을 식별할 수 있다. 컴퓨팅 디바이스(802)는 이어서 서버(예를 들어, 소셜 네트워크, 데이트 웹사이트, 검색 엔진, 또는 개인적 웹사이트에 대한)와 통신하여 사람(804)에 관한 추가의 특성들을 판정할 수 있다.

일부 실시예들에서, 대상은 동물(예를 들어, 고양이, 개, 거북이, 햄스터, 흰담비, 또는 새)을 포함한다. 사용자(806)가 동물과 상호작용할 시에, 컴퓨팅 디바이스(802)는 동물의 하나 이상의 특성(예를 들어, 번식, 알레르겐 정보, 기질 또는 분위기)을 판정할 수 있다. 컴퓨팅 디바이스(802)는, 예를 들어, 사용자(806)가 동물에 알러지가 있을 수 있다고 사용자(806)에게 경고하도록 구성된 햅틱 효과를 출력할 수 있다.

햅틱 피드백을 이용하는 대상 조작을 위한 예시적인 방법들

도 9는 일 실시예에 따른 햅틱 피드백을 이용하는 대상 조작을 제공하는 방법을 수행하는 흐름도 또는 단계들이다. 일부 실시예들에서, 도 9의 단계들은 프로세서, 예를 들어, 범용 컴퓨터 내의 프로세서, 모바일 디바이스, 또는 서버에 의해 실행되는 프로그램 코드로 구현될 수 있다. 일부 실시예들에서, 이러한 단계들은 프로세서의 그룹에 의해 구현될 수 있다. 일부 실시예들에서, 도 9에 도시된 하나 이상의 단계들은 생략되거나 또는 상이한 순서로 구현될 수 있다. 마찬가지로, 일부 실시예들에서, 도 9에 도시되지 않은 추가적인 단계들이 또한 수행될 수 있다. 이하의 단계들은 도 1에 도시된 컴퓨팅 디바이스(101)에 관하여 전술한 컴포넌트들을 참조하여 설명된다.

방법(900)은 프로세서(102)가 센서 신호를 수신하는 경우 단계(901)에서 시작한다. 프로세서(102)는 상호작용 센서(132) 및/또는 추가의 센서(130)로부터 센서 신호를 수신할 수 있다. 센서 신호는 대상과의 사용자 상호작용과 연관되는 데이터를 포함할 수 있다. 예를 들어, 일 실시예에서, 데이터는 대상이 놓여있는 상점 선반의 하나 이상의 이미지를 포함할 수 있다. 그러한 실시예에서, 이미지는 대상, 선반, 대상 근처의 다른 것들, 및 사용자의 신체 부분(예를 들어, 사용자의 손가락)과 같은 특징을 포함할 수 있다. 사용자의 신체 부분은 대상에 접촉하거나 근처에 있을 수 있다.

방법(900)은 프로세서(102)가 센서 신호에 기초하여 사용자 상호작용을 검출하는 경우, 단계(902)에서 계속된다. 예를 들어, 컴퓨팅 디바이스(101)는 대상 내에 위치될 수 있고 상호작용 센서(132)는 가속도계를 포함할 수 있다. 사용자가 대상을 흔들 시에, 프로세서(102)는 가속도계로부터의 센서 신호들을 통해 흔들기를 검출할 수 있다. 다른 예로서, 상호작용 센서(132)는 대상을 향해 배향되는 3D 촬상 시스템을 포함할 수 있다. 사용자가 대상의 정면에서, 또는 대상의 표면을 따라 제스처를 행할 시에, 프로세서(102)는 3D 촬상 시스템으로부터의 이미지들을 분석할 수 있다. 이미지들을 분석할 시에, 프로세서(102)는 사용자의 손에 상관되는 픽셀들이 대상과 접촉하고 있는 또는 대상 근처에서 제스처를 행하고 있는 사용자와 연관된 특정 방식으로 배향된다고 판정할 수 있다.

일부 실시예들에서, 사용자 상호작용은 선반, 테이블, 또는 대상이 위치되는 다른 위치로부터 대상을 제거하는 것을 포함한다. 예를 들어, 컴퓨팅 디바이스(101)는 대상이 놓이는 선반 내에 내장될 수 있다. 스위치 또는 압력 센서를 포함하는 상호작용 센서(132)는 선반 상에 그리고 대상 아래에 위치될 수 있다. 사용자는 대상을 선반으로부터 제거하고 상호작용 센서(132)는 압력이 떨어지는 것 또는 스위치의 상태 변경을 검출하고 센서 신호를 프로세서(102)에 송신할 수 있다. 센서 신호에 기초하여, 프로세서(102)는 사용자가 대상을 선반으로부터 들어올렸다고 판정할 수 있다. 일부 실시예들에서, 미리결정된 시간 기간(예를 들어, 2초) 동안 낮은 압력이 계속되거나 스위치가 특정 상태로 유지되는 경우, 프로세서(102)는 사용자가 대상을 잡고 있다고 판정할 수 있다.

일부 실시예들에서, 사용자 상호작용은 컴퓨팅 디바이스(101)를 대상으로부터 미리정의된 거리 내에 위치시키는 것을 포함한다. 예를 들어, 대상은 (네트워크 인터페이스 디바이스(110)를 통해) 프로세서(102)에 무선 신호(예를 들어, IEEE 802.11, 블루투스, NFC 신호, 또는 RFID 신호)를 송신할 수 있다. 무선 신호의 존재 또는 강도에 기초하여(예를 들어, 강도가 임계값을 초과하면), 프로세서(102)는 대상이 컴퓨팅 디바이스(101)로부터 미리정의된 거리(예를 들어, 3인치) 내에 있는지를 판정할 수 있다. 그렇다면, 프로세서(102)는 사용자 상호작용이 발생하였다고 판정할 수 있다.

다른 예로서, 프로세서(102)는 상호작용 센서(132)로부터 제1 세트의 GPS 데이터를 수신할 수 있다. 대상은 또한 GPS 기능을 포함하고 제2 세트의 GPS 데이터를 컴퓨팅 디바이스(101)에 송신할 수 있다. 프로세서(102)는 제1 세트의 GPS 데이터를 제2 세트의 GPS 데이터와 비교하고 컴퓨팅 디바이스(101)와 대상과의 상대적 거리를 판정할 수 있다. 컴퓨팅 디바이스(101)가 대상으로부터 미리결정된 거리 내에 있는 경우, 프로세서(102)는 사용자 상호작용이 발생하였다고 판정할 수 있다.

방법(900)은 프로세서(102)가 사용자 상호작용과 연관된 특성을 판정하는 경우, 단계(904)에서 계속된다. 일부 실시예들에서, 프로세서(102)는 센서(130) 및/또는 상호작용 센서(132)로부터의 신호를 분석하여 상호작용의 방향, 배향, 패턴, 압력량, 속도, 및/또는 사용자 다른 특성을 판정할 수 있다.

예를 들어, 일부 실시예들에서, 컴퓨팅 디바이스(101)는 대상 내에 위치되고 상호작용 센서(132)는 자이로스코프를 포함할 수 있다. 프로세서(102)는 자이로스코프로부터의 배향 센서 신호에 기초하여 사용자가 대상을 회전시켰음을(그리고 얼마나 많이 회전시켰음을) 판정할 수 있다. 다른 예로서, 일부 실시예들에서, 상호작용 센서(132)는 대상을 향해 배향된 3D 촬상 시스템을 포함한다. 프로세서(102)는 3D 촬상 시스템으로부터의 복수의 이미지를 분석하여 제스처의 특성을 판정할 수 있다. 예를 들어, 프로세서(102)는 복수의 이미지를 분석하고 사용자가 손가락으로 허공에서 "X" 형상을 만들었다고 판정할 수 있다. 또 다른 예로서, 일부 실시예들에서, 컴퓨팅 디바이스(101)는 대상 내에 위치되고 센서(130)는 가속도계를 포함할 수 있다. 프로세서(102)는 가속도계로부터 하나 이상의 센서 신호를 수신할 수 있고, 예를 들어, 사용자가 대상을 흔들고 있다고 판정할 수 있다.

방법(900)은 프로세서(102)가 사용자 상호작용과 연관된 대상을 판정하는 경우, 단계(906)에서 계속된다. 일부 실시예들에서, 대상은 상점의 제품(한 박스의 시리얼), 도구(예를 들어, 해머 또는 스크류 드라이버), 의료 디바이스(예를 들어, 투관침(trocar), 바늘, 또는 심박 모니터), 자동차, 사람, 동물 등을 포함할 수 있다.

일부 실시예들에서, 프로세서(102)는 대상에 대한 컴퓨팅 디바이스(101)의 근접성에 기초하여 사용자 상호작용을 특정 대상과 연관시킬 수 있다. 예들은 GPS 데이터 및 무선 신호의 강도를 이용하여(예를 들어, 단계(902)에서 전술한 바와 같이) 컴퓨팅 디바이스(101)가 대상에 대해 미리정의된 거리 내에 있는지를 판정하는 것을 포함한다. 그렇다면, 프로세서(102)는 대상과 사용자 상호작용을 연관시킬 수 있다.

일부 실시예들에서, 프로세서(102)는 대상에 대한 사용자 상호작용의 근접성에 기초하여 사용자 상호작용과 특정 대상을 연관시킨다. 예를 들어, 사용자는 손가락으로 대상의 정면에서 제스처를 행할 수 있다. 상호작용 센서(132)는 제스처를 검출하고 센서 신호를 프로세서(102)에 송신할 수 있다. 프로세서(102)는 센서 신호를 분석하여 손가락과 대상 사이의 거리를 판정할 수 있다. 손가락이 대상으로부터 특정 거리(예를 들어, 6 인치) 내에 있는 경우, 프로세서(102)는 대상과 제스처를 연관시킬 수 있다.

일부 실시예들에서, 프로세서(102)는 사용자 상호작용의 방향 또는 배향에 기초하여 사용자 상호작용과 특정 대상을 연관시킨다. 예를 들어, 사용자는, 사용자가 구매에 관심있는 대상을 가리킬 수 있다. 상호작용 센서(132)는 제스처를 검출하고 센서 신호를 프로세서(102)에 송신할 수 있다. 프로세서(102)는 센서 신호를 분석하고 포인트 제스처가 대상을 향하고 있다고 판정할 수 있다. 제스처의 방향에 기초하여, 프로세서(102)는 대상과 포인트 상호작용을 연관시킬 수 있다.

일부 실시예들에서, 프로세서(102)는 대상으로부터의 센서 데이터를 컴퓨팅 디바이스(101)로부터의 센서 데이터와 비교함으로써 사용자 상호작용과 특정 대상을 연관시킨다. 예를 들어, 사용자는 컴퓨팅 디바이스(101)를 포함하는 손목 밴드를 착용할 수 있다. 사용자는 대상을 집어 들고 흔들 수 있다. 프로세서(102)는 손목 밴드 내의 상호작용 센서(132)로부터 흔들기와 연관된 제1 세트의 가속도계 데이터를 수신할 수 있다. 프로세서(102)는 또한 대상 내의 가속도계로부터 제2 세트의 가속도계 데이터를 수신할 수 있다(예를 들어, 대상은 가속도계 데이터를 컴퓨팅 디바이스(101)에 무선으로 통신할 수 있음). 프로세서(102)는 2개의 세트의 가속도계 데이터를 포함할 수 있다. 예를 들어, 프로세서(102)는 2개의 세트의 가속도계 데이터에서의 피크들의 시간 스탬프들을 비교할 수 있다. 2개의 시간 스탬프들 사이의 시간 차이가 임계값(예를 들어, 0.5s) 아래이면, 프로세서(102)는 흔들기가 특정 대상에 대한 것이었다고 판정할 수 있다.

다른 예로서, 사용자는 선반으로부터 대상을 집어들 수 있다. 선반은, 대상이 제거되는 것을 검출하고 대상이 선반으로부터 제거되는 경우와 연관된 시간 스탬프를 (예를 들어, 무선으로) 송신하도록 구성된 컴퓨팅 디바이스(101)를 포함할 수 있다. 프로세서(102)는 시간 스탬프를 수신하고 상호작용 센서(132)로부터의 데이터(예를 들어, 이미지)와 연관된 시간 스탬프와 시간 스탬프를 비교할 수 있다. 2개의 시간 스탬프 사이의 시간 차이가 임계값 아래이면, 프로세서(102)는 사용자가 특정 대상을 집어 들었다고 판정할 수 있다.

방법(900)은 프로세서(102)가 대상과 연관된 특성을 판정하는 경우, 단계(908)에서 계속된다. 일부 실시예들에서, 프로세서(102)는 대상 특성 판정 모듈(125)에서의 프로그래밍에 의존하여 특성을 판정할 수 있다. 특성은 대상에 관한 정보를 포함할 수 있다. 예를 들어, 대상의 유형에 따라, 특성은 영양 분석(대상이 음식 제품인 경우), 사이즈, 무게, 깊이, 색, 질감, 형상, 치수, 가격, 할인, 제품 등급(예를 들어, "별표 등급"과 같은 그레이드(grade) 또는 비교 메트릭(comparative metric), 유통 기한, 기능 또는 이용성(예를 들어, 대상이 어떤 기능을 수행하는지 또는 어디에 사용될 수 있는지), 이용가능한 수량 또는 대상이 재고가 있는지, 사용상 제약, 보장, 브랜드, 제조사, 생산자, 생산 장소, 전력 소비량 또는 다른 전기적 특성, 잡음량, 기계적 특성, 최고 속도, 평균 속도, 재료(예를 들어, 대상이 나무, 유리, 세라믹, 플라스틱, 및/또는 금속으로 이루어진 경우), 및/또는 대상과 연관된 호환성 정보(예를 들어, 대상이 호환가능한 디바이스들)를 포함할 수 있다.

일부 실시예들에서, 프로세서(102)는 사용자 상호작용과 연관된 특성에 기초하여 대상과 연관된 특성을 판정한다. 예를 들어, 프로세서(102)는 상이한 사용자 상호작용에 응답하여 대상과 연관된 상이한 특성들을 판정할 수 있다. 예를 들어, 프로세서(102)는 사용자가 음식 제품을 탭핑할 시에 음식 제품의 칼로리 수를 판정할 수 있다. 프로세서(102)는 사용자가 음식 제품의 표면을 따라 "S" 형상으로 손가락을 이동시킬 때, 음식 제품의 설탕의 양을 판정할 수 있다.

일부 실시예들에서, 프로세서(102)는 유선 또는 무선 신호(예를 들어, 다른 컴퓨팅 디바이스(101)로부터의)에 기초하여 대상과 연관된 특성을 판정한다. 예를 들어, 대상은 컴퓨팅 디바이스(101) 또는 컴퓨팅 디바이스(101)를 포함하는 선반을 포함할 수 있다. 대상 또는 선반은 프로세서(102)에 의해 수신될 수 있는 대상에 관한 정보를 송신할 수 있다. 정보는, 예를 들어, 대상과 연관된 식별자(예를 들어, 명칭, QR 코드, 바 코드, QR 코드, RFID 코드, 또는 고유 식별자), 분류(예를 들어, 제품 유형, 제조자, 생산자 또는 브랜드), 가격, 할인, 쿠폰, 또는 기능(예를 들어, 제품이 무엇을 하는지 또는 어디에 사용되는지)을 포함할 수 있다. 예를 들어, 대상이 샴푸병인 경우, 정보는 정확하게 이것이 어떤 샴푸병인지(예를 들어, 선반의 3번), 어떤 종류의 제품인지(예를 들어, 샴푸), 구체적으로 어떤 제품인지(예를 들어, 좋은 머리를 위한 Hair Company의 샴푸 또는 바코드), 또는 어떤 브랜드의 제품인지(예를 들어, Hair Company 브랜드)를 포함할 수 있다.

일부 실시예들에서, 프로세서(102)는 인터넷 또는 LAN을 이용하여 특성을 판정한다. 프로세서(102)는 인터넷 또는 LAN을 통해 하나 이상의 서버, 데이터베이스, 및/또는 웹페이지와 통신하여 특성을 판정할 수 있다. 예를 들어, 프로세서(102)는 사용자에게 근접하여(예를 들어, 10 마일 내에서) 대상을 판매하는 상점들의 수를 판정하기 위해 다수의 데이터베이스를 인터넷을 통해(예를 들어, 대상의 바코드를 이용하여) 쿼리할 수 있다. 프로세서(102)는 또한 어느 상점이 가장 저렴한 가격을 갖는지를 판정할 수 있다.

방법(900)은 프로세서(102)가 특성이 기준에 매칭하는지를 판정하는 경우, 단계(910)에서 계속된다. 기준은, 예를 들어, 영양 특성(예를 들어, 나트륨 레벨, 칼로리 레벨, 영양가, 대상이 특정 음식 또는 화학물질을 포함하는지), 유통 기한, 생산 또는 제조 특성(예를 들어, 대상이 로컬로 생산되었거나 또는 특정 국가에서 생산되었는지), 반환 정책(예를 들어, 대상의 판매가 최종인지, 환불불가능인지), 전력 소비량, 잡음량(예를 들어, 대상에 의해 생성되는), 호환성 정보(예를 들어, 대상이 다른 디바이스와 호환가능한지), 치수, 형상, 사이즈, 사용자가 이미 소유하고 있는 대상의 양, 및/또는 대상과 연관된 임의의 다른 기준을 포함할 수 있다.

일부 실시예들에서, 사용자는 컴퓨팅 디바이스(101)에 기준을 입력한다(예를 들어, 터치 스크린 디스플레이, 버튼, 스위치, 마우스, 키보드, 또는 컴퓨팅 디바이스(101)와 통신하는 다른 디바이스를 통해). 예를 들어, 사용자는 모바일 애플리케이션을 이용하여 복수의 이용가능한 기준, 또는 입력된 기준 중에서 선택할 수 있다. 모바일 애플리케이션은 컴퓨팅 디바이스(101)와 통신하는(또는 그를 포함하는) 모바일 디바이스 상에서 실행될 수 있다. 모바일 디바이스는 메모리(104)에 기준을 저장할 수 있는 컴퓨팅 디바이스(101)에 기준을 송신할 수 있다.

일부 실시예들에서, 기준은 리스트 상의 아이템을 포함한다. 예를 들어, 사용자는 컴퓨팅 디바이스(101) 상으로 결혼 준비(wedding registry) 리스트를 다운로드할 수 있다. 사용자가 상점들을 통해 둘러봄에 따라, 사용자는 기기(appliance)와 상호작용할 수 있다. 상호작용에 기초하여, 프로세서(102)는 기기의 명칭 및/또는 제조자를 판정할 수 있다. 기기의 명칭 및/또는 제조자가 결혼 준비 리스트의 아이템에 대응하면, 프로세서(102)는 매칭을 판정할 수 있다.

일부 실시예들에서, 기준은 호환성 정보를 포함한다. 예를 들어, 사용자는 컴퓨팅 디바이스(101) 내에 게임 콘솔(예를 들어, 사용자가 소유한)의 명칭을 입력할 수 있다. 사용자가 상점을 둘러봄에 따라, 사용자는 비디오 게임과 상호작용할 수 있다. 상호작용에 기초하여, 프로세서(102)는 비디오 게임의 명칭, 바코드 및/또는 QR 코드를 판정할 수 있다. 프로세서(102)는, 비디오 게임이 게임 콘솔과 호환가능한지를 판정할 수 있다(예를 들어, 인터넷 또는 상점 컴퓨팅 디바이스를 통해). 비디오 게임이 게임 콘솔과 호환가능하지 않다면, 프로세서(102)는 매칭이 존재하지 않는다고 판정할 수 있다. 비디오 게임이 게임 콘솔과 호환가능하다면, 프로세서(102)는 매칭이 존재한다고 판정할 수 있다.

일부 실시예들에서, 제3자(예를 들어, 의사, 영양사, 친구, 및/또는 가족 구성원)이 기준을 입력한다. 예를 들어, 사용자는 다이어트하고 있을 수 있다. 영양사는 컴퓨팅 디바이스(101)에 다이어트 정보를 입력할 수 있다. 사용자는 사용자가 식료품점을 둘러봄에 따라 하나 이상의 음식과 상호작용할 수 있다. 프로세서(102)는 상호작용을 검출하고 음식 아이템이 다이어트에 부합하는지를 판정할 수 있다. 음식 아이템이 다이어트에 부합하지 않는다면, 프로세서(102)는 매칭이 존재하지 않는다고 판정할 수 있다. 음식 아이템이 다이어트에 부합한다면, 프로세서(102)는 매칭이 존재한다고 판정할 수 있다.

일부 실시예들에서, 애플리케이션(예를 들어, 컴퓨팅 디바이스(101) 상에서 실행하고 있는)은 기준을 생성한다. 예를 들어, 프로세서(102)는 자금 예산 애프리케이션을 실행할 수 있다. 자금 예산 애플리케이션은 월별 소비 한도를 발생시켜, 예를 들어, 사용자가 자금을 예산 세우는 것을 돕는다. 사용자가 대상과 상호작용할 시에(예를 들어, 쇼핑 카트에 대상을 두는 것), 프로세서(102)는 대상의 가격이 월별 소비 한도를 초과하는지를 판정할 수 있다. 그렇다면, 프로세서(102)는 매칭이 존재하지 않는다고 판정할 수 있다. 제품의 가격이 월별 소비 한도를 초과하지 않는다면, 프로세서(102)는 매칭이 존재한다고 판정할 수 있다.

다른 예로서, 프로세서(102)는 분석 애플리케이션을 실행할 수 있다. 애플리케이션은 사용자의 특성을 분석할 수 있다. 예를 들어, 애플리케이션은 사용자의 쇼핑 이력 및/또는 사용자에 의해 이루어진 구매 판정을 분석하는 쇼핑 분석 애플리케이션을 포함할 수 있다. 분석에 기초하여, 애플리케이션은 대상의 특성이 비교될 수 있는 기준을 개발할 수 있다. 예를 들어, 타이(tie)와의 사용자 상호작용 시에, 프로세서(102)는 타이가 사용자에 의해 최근에 구매된 하나 이상의 셔츠와 매칭하는지(예를 들어, 색, 스타일, 및/또는 재질에 있어서)를 판정할 수 있다. 그렇다면, 프로세서(102)는 매칭이 존재한다고 판정할 수 있다. 이것은 사용자가 이전에 구매한 제품들과 매칭하는 것들을 찾기 위해 다수의 타이(또는 다른 의류 또는 제품들)을 신속하게 살펴보게 할 수 있다. 일부 실시예들에서, 프로세서(102)는 사용자가 대상을 이미 소유하는지를 판정한다. 그렇다면, 프로세서(102)는 매칭을 판정할 수 있다. 그렇지 않다면, 프로세서(102)는 매칭이 존재하지 않는다고 판정할 수 있다.

일부 실시예들에서, 프로세서(102)는 대상의 특성이 기준의 미리결정된 허용 오차 내에 있다면, 매칭을 판정한다. 예를 들어, 프로세서(102)는 대상의 가격이 미리결정된 가격(예를 들어, ＄100)의 5% 내에 있는 경우 매칭을 판정할 수 있다. 다른 예로서, 프로세서(102)는 대상의 색이 2개의 음영진 어두운 녹색 색상에 있다면, 매칭을 판정할 수 있다. 또 다른 예로서, 프로세서(102)는 신발의 사이즈가 남자 신발 사이즈(10)의 절반의 신발 사이즈 내에 있다면, 매칭을 판정할 수 있다.

일부 실시예들에서, 프로세서(102)는 프로세서(102)가 대상과 연관된 매칭을 이전에 판정하지 않은 경우에만 매칭을 판정할 수 있다. 예를 들어, 사용자는 자동차를 터치할 수 있다. 자동차는 컴퓨팅 디바이스(101) 상의 사용자의 희망 리스트 상에 있을 수 있고, 따라서, 프로세서(102)는 매칭을 판정할 수 있다. 그 후에, 사용자가 자동차를 다시 터치하는 경우, 프로세서(102)는 매칭이 이미 발생하였다고 판정할 수 있고, 다시 매칭을 판정하지 않을 수 있다.

일부 실시예들에서, 프로세서(102)는 프로세서(102)가 시간 기간 내에 대상과 연관된 매칭을 이전에 판정하지 않았던 경우에만 매칭을 판정할 수 있다. 예를 들어, 전술한 자동차 예를 사용하면, 사용자가 동일한 날에 자동차를 다시 터치하는 경우, 프로세서(102)는 매칭이 이미 발생하였다고 판정할 수 있다. 따라서, 프로세서(102)는 다시 매칭을 판정하지 않을 수 있다. 그러나, 사용자가 다음날 자동차를 다시 터치하는 경우, 프로세서(102)는 매칭을 판정할 수 있다.

일부 실시예들에서, 프로세서(102)는 프로세서(102)가 대상의 특정 특성과 연관된 매칭을 이전에 판정하지 않았던 경우에만 매칭을 판정할 수 있다. 예를 들어, 사용자는 ＄250 가격의 스노우보드를 터치할 수 있다. 사용자가 ＄300 아래인 스노우보드의 가격을 포함하는 기준을 입력하였을 수 있기 때문에, 프로세서(102)는 매칭을 판정할 수 있다. 사용자가 스노우보드와 다시 상호작용하는 경우, 프로세서(102)는 가격 기준과의 매칭이 이미 발생하였다고 판정할 수 있고, 다시 매칭을 판정하지 않을 수 있다. 그 후에, 사용자가 스노우보드의 코어 유형(예를 들어, 자작나무)을 포함하는 추가 기준을 입력할 수 있다. 이것은 상이한 기준이기 때문에, 사용자가 동일한 스노우보드와 상호작용하고, 그리고 스노우보드가 자작나무 코어를 갖는 경우, 프로세서(102)는 자작나무 코어 기준과의 매칭을 판정할 수 있다.

일부 실시예들에서, 프로세서(102)는 프로세서(102)가 시간 기간 내에 특정 기준와의 매칭을 이전에 판정하지 않았던 경우에만 특정 기준와의 매칭을 판정할 수 있다. 예를 들어, 전술한 스노우보드 예를 사용하면, 사용자가 동일한 날에 스노우보드를 다시 터치하는 경우, 프로세서(102)는 가격 및 코어 기준과의 매칭이 이미 발생하였다고 판정할 수 있다. 따라서, 프로세서(102)는 다른 매칭을 판정하지 않을 수 있다. 그러나, 사용자가 다음날 스노우보드를 터치하는 경우, 프로세서(102)는 하나 또는 양쪽 기준과의 매칭을 판정할 수 있다.

일부 실시예들에서, 프로세서(102)는 제품에 대한 타겟 시장이 사용자의 특성에 매칭하는 경우 매칭을 판정할 수 있다(예를 들어, 기준은 사용자의 특성일 수 있음). 예를 들어, 사용자는 나이, 키, 성별, 머리 색, 분위기, 및/또는 다른 물리적 또는 정서적 특성을 입력할 수 있다(또는 컴퓨팅 디바이스(101)가 다른 방식으로 소셜 미디어, 인터넷 및/또는 다른 리소스들을 사용하여 판정할 수 있음). 제품이 그 특성을 갖는 사용자를 위해 설계되었다면(예를 들어, 제품이 남자를 위해 설계된 것이고 사용자가 남자라면), 프로세서(102)는 매칭을 판정할 수 있다.

방법(900)은 프로세서(102)가 햅틱 효과를 판정하는 경우, 단계(912)에서 계속된다. 일부 실시예들에서, 프로세서(102)는 매칭이 존재하는 경우의 햅틱 효과 및/또는 매칭이 존재하지 않는 경우의 햅틱 효과를 판정한다. 예를 들어, 프로세서(102)는 매칭이 존재하는 경우 진동을 포함하는 햅틱 효과를 판정할 수 있다. 프로세서(102)는 매칭이 존재하지 않는 경우 어떠한 햅틱 효과도 없는 것을 판정할 수 있다.

일부 실시예들에서, 프로세서(102)는 대상과 연관된 특성에 기초하여 햅틱 효과를 판정한다. 예를 들어, 프로세서(102)는 대상의 브랜드, 높이, 폭, 형상, 기능, 색, 재료, 제조자, 위치, 가격, 품질, 및/또는 유통 기한에 기초하여 햅틱 효과를 판정할 수 있다. 예를 들어, 전술한 바와 같이, 프로세서(102)는 대상의 브랜드와 연관된 햅틱 효과를 판정할 수 있다.

일부 실시예들에서, 프로세서(102)는 대상의 긍정적 또는 부정적 특성을 사용자에게 통지하도록 구성되는 햅틱 효과를 판정한다. 예를 들어, 대상이 농약 또는 화학 물질을 포함하는 음식 제품인 경우, 프로세서(102)는 찌르는 감각을 포함하는 햅틱 효과를 판정할 수 있다. 이것은 사용자에게 음식 제품이 해로운 성분을 포함한다고 경고할 수 있다. 다른 예로서, 대상이 유기농 성분을 포함하는 음식 제품인 경우, 프로세서(102)는 스트로킹 감각을 포함하는 햅틱 효과를 판정할 수 있다. 찌르는 감각 또는 스트로킹 감각 중 어느 하나를 인지함으로써, 사용자는 음식 제품의 콘텐츠에 대해 통지받을 수 있고 제품을 구매 또는 구매하지 않도록 가이드받을 수 있다.

일부 실시예들에서, 프로세서(102)는, 구매가 얼마나 "좋은지" 또는 "나쁜지"를 나타낼 수 있는 크기(magnitude)를 갖는 햅틱 효과를 판정한다. 예를 들어, 대상이 건강한 성분을 포함하고, 가격이 저렴하고, 사용자의 소비 또는 구매 습관과 맞고, 사용자의 특성 등을 갖는 사람들을 대상으로 한다면, 구매는 "좋은" 것일 수 있다. 구매는, 대상이 건강하지 않거나 해로운 성분을 포함하고, 가격이 높고, 사용자의 소비 또는 구매 습관과 맞지 않고, 사용자의 것과는 상이한 특성 등을 갖는 사람들을 대상으로 한다면, "나쁜" 것일 수 있다. 예를 들어, 프로세서(102)는, 사용자가 사용자가 좋아하지 않는 성분을 포함하는 음식 제품과 상호작용하는 경우, 작은 크기의 진동을 포함하는 햅틱 효과를 판정할 수 있다. 프로세서(102)는, 사용자가 사용자가 가벼운 알러지가 있는 성분을 포함하는 음식 제품과 상호작용하는 경우, 중간 크기의 진동을 포함하는 햅틱 효과를 판정할 수 있다. 프로세서(102)는 사용자가 높은 알러지가 있는 성분을 포함하는 음식 제품과 상호작용하는 경우, 큰 크기의 진동을 포함하는 햅틱 효과를 판정할 수 있다.

일부 실시예들에서, 프로세서(102)는 다수의 기준에 기초하여 햅틱 효과를 판정할 수 있다. 예를 들어, 프로세서(102)는 대상을 구매하는 것이, 예를 들어, 사용자의 구매 이력에 기초하여 사용자의 소비 습관들에 맞는지를 판정할 수 있다. 프로세서(102)가 대상을 구매하는 것이 사용자의 소비 습관에 맞지 않을 것이라고 판정하는 경우, 프로세서(102)는, 예를 들어, 진동을 포함하는 햅틱 효과를 판정할 수 있다. 일부 실시예들에서, 프로세서(102)는 또한 대상을 구매하는 것이 사용자의 소비 습관과 맞지 않는다는 것을 프로세서(102)가 얼마나 "신뢰하는"지(예를 들어, 어떤 레벨의 통계적 정확성으로 판정이 이루어졌는지)를 또한 판정할 수 있다. 하나의 그러한 실시예에서, 프로세서(102)는 신뢰 수준(confidence level)에 기초하여 햅틱 효과의 크기를 판정할 수 있다. 예를 들어, 신뢰 수준이 높다면(예를 들어, 80%보다 높은 경우), 프로세서(102)는 진동이 더 큰 크기를 가져야 한다고 판정할 수 있다.

다른 예로서, 프로세서(102)는 대상의 별표 등급을 판정할 수 있다. 일부 실시예들에서, 별표 등급이 세개 미만의 별이면, 프로세서(102)는 진동을 포함하는 햅틱 효과를 판정할 수 있다. 별표 등급이 세개 이상의 별이면, 프로세서(102)는 스트로킹 감각을 포함하는 햅틱 효과를 판정할 수 있다. 일부 실시예들에서, 프로세서(102)는 대상이 사용자의 예산 내에 있는지를 더 판정할 수 있다. 하나의 그러한 실시예에서, 프로세서(102)는 대상이 사용자의 예산 내에 있는지에 기초하여 햅틱 효과의 주파수를 판정할 수 있다. 예를 들어, 대상이 사용자의 예산 내에 있는 경우, 프로세서(102)는 햅틱 효과가 낮은 주파수를 가져야 한다고 판정할 수 있다. 대상이 사용자의 예산 내에 있지 않은 경우, 프로세서(102)는 햅틱 효과가 높은 주파수를 가져야 한다고 판정할 수 있다. 따라서, 사용자는 대상이 햅틱 효과의 특성에 기초하여 다수의 기준을 충족하는지를 판정할 수 있다.

일부 실시예들에서, 프로세서(102)는 사용자 상호작용과 연관된 특성에 기초하여 햅틱 효과를 판정한다. 예를 들어, 프로세서(102)는 사용자 상호작용의 유형, 위치, 지속기간 또는 다른 특성에 기초하여 햅틱 효과를 판정할 수 있다. 예를 들어, 프로세서(102)는 사용자가 영양 라벨과 같은 제품의 특정 부분과 접촉하는 경우, 진동을 포함하는 햅틱 효과를 판정할 수 있다. 다른 예로서, 프로세서(102)는 사용자 상호작용이 대상의 표면을 따른 스와이프를 포함하는 경우 햅틱 효과 및 사용자 상호작용이 대상에 대한 탭핑을 포함하는 경우 햅틱 효과 없음을 판정할 수 있다.

일부 실시예들에서, 컴퓨팅 디바이스(101)는, 대상의 특정 특성과 연관된, 사용자가 좋아할 햅틱 효과들의 "프로파일"을 사용자가 판정하고 메모리(104) 내에 저장할 수 있는 연관된 "햅틱 프로파일"을 저장할 수 있다. 예를 들어, 일 실시예에서, 사용자는 대상의 가격, 배터리 수명, 영양가, 또는 재료와 관련하여 사용자가 어느 햅틱 효과를 좋아할지를 옵션 리스트로부터 선택할 수 있다. 일부 실시예들에서, 리스트는, 예를 들어, 작은 크기의 진동, 펄스형 진동, 큰 크기의 진동 또는 시뮬레이팅된 질감과 같은 햅틱 효과를 포함할 수 있다. 일부 실시예들에서, 프로세서(102)는 사용자의 햅틱 프로파일을 참고하여 어느 햅틱 효과를 발생시킬지를 판정할 수 있다. 예를 들어, 사용자의 햅틱 프로파일이 로컬로 생산된 제품을 낮은 주파수의 진동을 포함하는 햅틱 효과와 연관시키는 경우, 사용자가 로컬로 만들어진 초콜릿 바를 터치하는 것에 응답하여, 프로세서(102)는 낮은 주파수의 진동을 포함하는 햅틱 효과를 판정할 수 있다.

일부 실시예들에서, 프로세서(102)는 디폴트 햅틱 효과를 판정할 수 있다. 예를 들어, 프로세서(102)가 동작을 수행할 수 없는 경우(예를 들어, 사용자 상호작용과 연관된 특성, 대상과 연관된 특성, 기준, 대상과 연관된 특성이 기준과 매칭하는지, 및/또는 햅틱 효과를 판정할 수 없는), 프로세서(102)는 진동을 포함하는 햅틱 효과를 판정할 수 있다. 이것은 사용자에게 동작이 수행될 수 없다고 경고할 수 있다.

예를 들어, 컴퓨팅 디바이스(101)는 사용자가 알레르겐을 포함하는 음식 아이템과 상호작용하는 경우 충격(jolt)을 출력하도록 구성될 수 있다. 컴퓨팅 디바이스(101)는 사용자가 안전한 음식 아이템과 상호작용하는 경우 어떤 햅틱 효과도 출력하지 않도록 구성될 수 있다. 그러한 실시예에서, 프로세서(102)가 음식 아이템의 성분을 판정할 수 없는 경우(예를 들어, 인터넷에 접속할 수 없기 때문에), 프로세서(102)는 세개의 펄스형 진동을 포함하는 햅틱 효과를 판정할 수 있다. 따라서, 컴퓨팅 디바이스(101)가 어떤 햅틱 효과도 출력하지 않아서 사용자가 음식 아이템이 안전하다고 믿도록 잘못 인도할 수 있기 보다는, 세개의 펄스형 진동들이 사용자에게 프로세서(102)가 음식 콘텐츠를 판정할 수 없었다고 경고할 수 있다. 사용자는 이어서 라벨을 판독할 수 있거나 다른 방식으로 음식 아이템이 알레르겐을 포함하는지를 판정할 수 있다.

일부 실시예들에서, 프로세서(102)는 동작 동안에 대상의 느낌을 시뮬레이팅하도록 구성되는 햅틱 효과를 판정한다. 예를 들어, 대상이 전기 드릴을 포함하면, 햅틱 효과는 동작 동안에 드릴에 의해 발생되는 진동의 실제 크기에 대응하는 크기를 갖는 진동을 포함할 수 있다. 이것은 사용자가 드릴을 동작시키는 것이 실제로 동작 동안처럼 느낄수 있도록 인지하게 하고, 이에 의해 보다 현명한 구매 판단을 행할 수 있다.

일부 실시예에서, 프로세서(102)는 대상의 기능을 표시(또는 시뮬레이팅)하도록 구성되는 햅틱 효과를 판정한다. 예를 들어, 대상이 자동차를 포함하는 경우, 프로세서(102)는, 예를 들어, 자동차의 엔진을 시뮬레이팅하기 위해, 우르릉거리는 진동(rumbling vibration)을 포함하는 햅틱 효과를 판정할 수 있다. 대상이 병 오프너를 포함하면, 프로세서(102)는, 예를 들어, 병 뚜껑을 여는 것을 시뮬레이팅하기 위해, 팝 감각(pop sensation)을 포함하는 햅틱 효과를 판정할 수 있다. 이것은 사용자가 (예를 들어, 대상은 보지 않고) 대상의 기능을 판정하게 할 수 있다.

일부 실시예들에서, 프로세서(102)는 사용자의 특성에 기초하여 햅틱 효과를 판정한다. 예를 들어, 프로세서(102)가 사용자가 남성이라고 판정하면, 프로세서(102)는, 프로세서(102)가 사용자가 여성이라고 판정하는 경우와는 상이한 햅틱 효과를 판정할 수 있다. 다른 예로서, 프로세서(102)는 사용자가 40세 미만인 경우, 사용자가 40세 초과인 경우와는 상이한 햅틱 효과를 판정할 수 있다. 이런 식으로, 햅틱 효과들은 상이한 인구통계학에 대해 맞춤화될 수 있고, 이는 햅틱 효과에 대한 사용자의 응답을 개선시킬 수 있다.

일부 실시예들에서, 프로세서(102)는 대상과 관련하여 실제 공간에서 컴퓨팅 디바이스(101)의 위치에 기초하여 햅틱 효과를 판정한다. 예를 들어, 컴퓨팅 디바이스(101)와 대상 사이의 거리가 증가함에 따라, 햅틱 효과 판정 모듈(126)은 감소하는 크기를 포함하는 햅틱 효과를 판정할 수 있다. 컴퓨팅 디바이스(101)와 대상 사이의 거리가 감소함에 따라, 햅틱 효과 판정 모듈은 증가하는 크기를 포함하는 햅틱 효과를 판정할 수 있다. 따라서, 햅틱 효과는 사용자를 대상을 향하도록 또는 그로부터 멀어지도록 가이드할 수 있거나, 또는 사용자에게 사용자가 대상으로부터 얼마나 멀리 있는지를 표시할 수 있다.

일부 실시예들에서, 프로세서(102)는 복수의 햅틱 효과를 판정한다. 복수의 햅틱 효과 각각은 대상의 상이한 특성과 연관될 수 있다. 예를 들어, 프로세서(102)는 대상의 사이즈와 연관된 햅틱 효과를 판정할 수 있다(예를 들어, 대상이 미리지정된 공간 내에 들어맞을 것임을 표시하도록 구성될 수 있는 긴 진동). 프로세서(102)는 또한 대상의 별표 등급와 연관된 햅틱 효과를 판정할 수 있다(예를 들어, 다수의 펄스형 진동들은 대상이 갖는 별들의 수에 대응함). 복수의 햅틱 효과에 기초하여, 사용자는, 예를 들어, (지루하고 시간 소모적일 수 있는) 대상을 측정하거나 인터넷을 통해 대상에 관한 정보를 브라우징할 필요 없이 대상의 다수의 특성을 판정할 수 있다(예를 들어, 대상이 사용자의 집에 들어맞을 것이고 4개의 별을 갖는다).

일부 실시예들에서, 프로세서(102)는 특정 햅틱 효과가 다른 햅틱 효과보다 더 높은 우선순위를 갖다고 판정하고, 따라서, 높은 우선순위 효과만을 출력한다. 예를 들어, 전술한 사이즈 및 별표 등급 예에서, 프로세서(102)는 사이즈와 연관된 햅틱 효과가 다른 효과들보다 더 높은 우선순위를 갖는다고 판정할 수 있고(예를 들어, 별표 등급과 연관된 햅틱 효과), 따라서, 사이즈 햅틱 효과만을 출력할 수 있다. 대안적으로, 프로세서(102)는 가장 강한 효과가 출력되어야 한다는 것을 판정할 수 있다. 따라서, 일부 실시예들에서, 프로세서(102)는 낮은 강도의 진동 및 높은 강도의 진동을 판정할 수 있지만, 높은 강도의 진동만을 출력할 수 있다.

일부 실시예들에서, 프로세서(102)는 대상과의 상호작용을 더 쉽게 또는 더 어렵게 하도록 구성된 햅틱 효과를 판정할 수 있다. 예를 들어, 대상은 선반 위에 위치될 수 있다. 사용자가 대상에 접근함에 따라, 프로세서(102)는 대상이 사용자에게 해로운 약물을 포함한다고 판정할 수 있다. 해로운 약물에 기초하여, 프로세서(102)는 패키징 컴퓨팅 디바이스에 신호를 송신할 수 있다. 패키징 컴퓨팅 디바이스는 신호를 수신하고 대상의 패키징의 표면 상의 인지된 마찰 계수를 낮추도록 구성된 햅틱 효과를 출력할 수 있다. 이것은 사용자가 집어들 대상을 쥐거나 잡는 것을 어렵게 할 수 있다. 또한, 일부 실시예들에서, 대상(예를 들어, 대상의 패키징)은 금속 바닥을 가질 수 있다. 해로운 약물에 기초하여, 프로세서(102)는 신호를 선반 컴퓨팅 디바이스에 송신할 수 있다. 선반 컴퓨팅 디바이스는 신호를 수신하고 대상의 금속 바닥에 강한 자계를 인가하도록 구성된 전자기 디바이스를 작동시킬 수 있다. 이것은 사용자가 선반으로부터 대상을 들어올리는 것을 어렵게 할 수 있다(예를 들어, 그를 구매하는 것을).

다른 예로서, 대상은, 선반과 같은 다른 대상 주위에서 변형될 수 있다(예를 들어, 대상을 선반에 고정시키기 위해). 예를 들어, 선반은 바를 포함할 수 있고, 대상을 바에 고정시키기 위해 바 주위에서 대상이 구부러진다. 일부 실시예들에서, 사용자가 대상과 상호작용할 시에, 프로세서(102)는 데이터(예를 들어, 구매 수신 코드, 이름, 신용 카드 번호, 또는 고객 식별자)를 대상(예를 들어, 대상 내에 위치된 다른 컴퓨팅 디바이스(101))에 송신할 수 있다. 데이터는 사용자가 이미 아이템을 구매하였다고(예를 들어, 온라인으로) 표시할 수 있거나, 다른 방식으로 제품의 구매와 연관될 수 있다(예를 들어, 데이터는 실시간 구매를 수행하기 위해 대상이 사용할 수 있는 신용 카드 번호를 포함할 수 있음). 데이터에 기초하여, 대상은 대상의 형상을 변형시키도록 구성된 햅틱 효과를 출력할 수 있다. 예를 들어, 대상은 바 주위에서부터 대상을 펴도록(unbend) 구성된 햅틱 효과를 출력할 수 있다(예를 들어, 선반으로부터 대상을 고정해제(de-secure)하기 위해). 이것은 사용자가 대상을 취하게 할 수 있다.

일부 실시예들에서, 대상은 선반 위에 위치될 수 있다. 기계적 결합 디바이스가 대상과 선반 사이에 위치될 수 있다. 사용자가 대상에 접근함에 따라, 프로세서(102)는 대상이 부정적 특성을 갖는다고(예를 들어, 대상은 사용자에게 해로운 화학물질을 포함한다고) 판정할 수 있다. 프로세서(102)는 신호를 결합 디바이스에 송신할 수 있다. 신호에 기초하여, 결합 디바이스는 대상을 선반에 결합 또는 래칭(latch)할 수 있고, 이는 사용자가 대상을 들어올리는 것을 어렵게 한다.

방법(900)은 프로세서(102)가 햅틱 효과를 출력하는 경우, 단계(914)에서 계속된다. 프로세서(102)는, 햅틱 효과를 출력하는 햅틱 출력 디바이스(118)에 햅틱 효과와 연관된 햅틱 신호를 송신할 수 있다. 햅틱 효과는 질감(예를 들어, 모래같은(sandy), 울퉁불퉁한(bumpy), 또는 부드러운), 진동, 인지된 마찰 계수의 변화, 온도의 변화, 스트로킹 감각, 전기-촉각 효과, 또는 변형(즉, 컴퓨팅 디바이스(101)와 연관된 표면의 변형)을 포함할 수 있다.

추가적으로 또는 대안적으로, 일부 실시예들에서, 컴퓨팅 디바이스(101)는 디스플레이 상에서 음향 및/또는 정보를 출력할 수 있다. 음향 및/또는 정보는 대상의 특성과 연관될 수 있다. 예를 들어, 사용자는 장난감을 탭핑할 수 있다. 컴퓨팅 디바이스(101)는 장난감의 명칭을 판정할 수 있고, 명칭에 기초하여, 장난감이 휴일 쇼핑 리스트(예를 들어, 사용자, 사용자의 가족 구성원, 및/또는 사용자의 친구들에 의해 입력된) 상에 존재하는지를 판정할 수 있다. 그렇다면, 컴퓨팅 디바이스(101)는 스피커를 통해 휴일 노래의 일부를 플레이할 수 있다. 컴퓨팅 디바이스(101)는 또한 디스플레이 상의 장난감과 연관된 사람(예를 들어, 친구, 또는 가족 구성원)의 이름을 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(101)는 "빈센트의 선물"을 디스플레이 상에 출력할 수 있다. 휴일 리스트가 다수의 사람들에 대한 선물을 포함하는 경우, 또는 제3자에 의해 만들어진 경우, 이것은 사용자가 특정 선물이 누구를 위한 것인지를 판정하는 것을 돕는다.

햅틱 피드백을 이용하는 대상 조작의 장점들

햅틱 피드백을 이용하는 대상 조작에 대한 다수의 장점들이 존재한다. 그러한 시스템들은 대상에 관한 정보를 신속하고 효율적으로 제공할 수 있다. 예를 들어, 사용자는 대상을 탭핑하면서 실질적으로 동시에 대상의 가격 또는 등급에 관한 정보를 수신할 수 있다(예를 들어, 햅틱 효과를 통해). 이것은, 예를 들어, 모바일 디바이스를 이용하여 그러한 정보를 찾아 보거나 또는 상점 점원과 상의하는 것보다 더 신속하고 더 쉬울 수 있다.

일부 실시예들에서, 햅틱 피드백을 이용하는 대상 조작은 사용자가 좋은 구매를 행하거나 또는 나쁜 구매를 행하는 것을 피하도록 가이드할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 음식 제품이 사용자의 다이어트에 부합하는 경우 긍정적인 햅틱 피드백을(예를 들어, 가벼운 진동 또는 스트로킹 감각), 또는 음식 제품이 사용자의 건강에 해로운 경우 부정적인 햅틱 피드백을(예를 들어, 쇼크 또는 강한 진동) 사용자에게 제공할 수 있다. 다른 예로서, 사용자가 사용자가 구매에 관심있는 제품을 탭핑할 시에, 컴퓨팅 디바이스는 사용자에게 사용자가 이미 제품을 소유하고 있다는 것을 경고하도록 구성된 햅틱 효과를 출력할 수 있다.

일부 실시예들에서, 햅틱 피드백을 이용하는 대상 조작은 사용자를 대상과 연관된 위치로 가이드할 수 있다. 예를 들어, 간호사는 반지를 포함하는 컴퓨팅 디바이스를 착용하고 있을 수 있다. 간호사는 약병을 집어 들고 그것을 그것이 속하지 않는 위치에 내려 놓을 수 있다. 간호사가 약을 잘못된 위치에 내려 놓을 시에, 컴퓨팅 디바이스는 간호사의 손가락에 강한 진동을 출력할 수 있다. 이것은 간호사가 잘못된 위치에 약을 두었다고 간호사에게 경고할 수 있다.

일부 실시예들에서, 햅틱 피드백을 이용하는 대상 조작은 사용자에게 안전 정보 또는 의학 정보를 제공할 수 있다. 예를 들어, 약사는 약병을 들고 다른 약병을 집으려 이동할 수 있다. 그 둘이 함께 섞이면 부상을 야기하거나 어떤식으로든 서로 함께 하지 않아야 하는 경우, 컴퓨팅 디바이스는 펄스형 진동을 출력할 수 있다. 이것은 약사에게 2개의 약물들이 섞이거나 함께 다루어지지 않아야 한다고 경고할 수 있다.

일부 실시예들에서, 햅틱 피드백을 이용하는 대상 조작은 브랜딩(branding)을 개선하고 강화된 마케팅 경험을 제공할 수 있다. 예를 들어, 사용자가 제품 또는 제품의 로고와 상호작용시에, 컴퓨팅 디바이스는 제품의 브랜드와 연관된 햅틱 효과를 출력할 수 있다. 이것은 사용자가 제품에 시각적으로 집중하지 않더라도 제품의 제조자를 식별하게 할 수 있다. 이것은 또한 사용자와 브랜드 사이에 더 강한 관계를 발생시킬 수 있다.

일반적 고려사항

위에 논의된 방법들, 시스템들 및 디바이스들은 예들이다. 다양한 구성들은 적절하게 다양한 절차들 또는 컴포넌트들을 생략하거나, 대체하거나, 또는 추가할 수 있다. 예를 들어, 대안적인 구성들에서, 방법들은 설명된 것과는 상이한 순서로 수행될 수 있고, 및/또는 다양한 단계들이 추가, 생략 및/또는 조합될 수 있다. 또한, 특정 구성들과 관련하여 설명된 특징들이 다양한 다른 구성들에서 조합될 수 있다. 이러한 구성들의 상이한 양상들 및 엘리먼트들은 유사한 방식으로 조합될 수 있다. 또한, 기술이 발전되고, 그에 따라, 많은 구성요소들은 예들이며, 본 개시내용 또는 청구항들의 범위를 제한하는 것은 아니다.

(구현들을 포함하는) 예시적인 구성들의 철저한 이해를 제공하기 위해서 본 설명에서 특정 상세들이 주어진다. 그러나, 구성들은 이들 특정 상세들 없이 실시될 수 있다. 예를 들어, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들 및 기술들은 이러한 구성들을 불명료하게 하는 것을 회피하기 위해서 불필요한 상세 없이 제시되었다. 본 설명은 단지 예시적인 구성들만을 제공하며, 청구항들의 범위, 적용가능성 또는 구성들을 제한하는 것은 아니다. 오히려, 구성들의 앞선 설명은, 설명된 기술들을 구현할 수 있게 하는 설명을 본 기술분야의 통사의 기술자들에게 제공할 것이다. 본 개시내용의 사상 또는 범위로부터 벗어나지 않고 구성요소들의 기능 및 배열에서 다양한 변경들이 이루어질 수 있다.

또한, 구성들은 블록도 또는 흐름도로 도시되는 프로세스로서 설명될 수 있다. 각각 순차적인 프로세스로서 동작들을 설명할 수 있지만, 많은 동작들은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 부가적인 단계들을 가질 수 있다. 또한, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어(hardware description languages), 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 태스크들을 수행하는 프로그램 코드 또는 코드 세그먼트들은 스토리지 매체와 같은 비일시적인 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서들은 설명된 태스크들을 수행할 수 있다.

여러 예시적인 구성들을 설명하였지만, 본 개시내용의 사상으로부터 벗어나지 않고 다양한 변형들, 대안적인 구성들 및 등가물들이 사용될 수 있다. 예를 들어, 전술한 구성요소들은 더 큰 시스템의 컴포넌트들일 수 있는데, 여기서 다른 규칙들이 본 발명의 애플리케이션보다 우선하거나 다른 방식으로 이를 수정할 수 있다. 또한, 전술한 구성요소들이 고려되기 이전에, 그 동안에, 또는 그 이후에, 다수의 단계들이 취해질 수 있다. 따라서, 위 설명이 청구항들의 범위를 한정하는 것은 아니다.

본 명세서에서 "하도록 적응된" 또는 "하도록 구성된"의 사용은 추가적인 작업들 또는 단계들을 수행하도록 적응된 또는 구성된 장치들을 배제하지 않는 개방적이고 포괄적인 표현으로 의도된 것이다. 추가로, "에 기초한"의 사용은 하나 이상의 언급된 조건들 또는 값들"에 기초한" 프로세스, 단계, 계산, 또는 다른 액션은, 실제로는, 언급된 것들 이외에 추가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이고 포괄적인 것으로 의도된 것이다. 본 명세서에 포함되는 표제들, 목록들 및 넘버링은 설명의 편의를 위한 것일 뿐이며, 제한하는 것으로 의도된 것은 아니다.

본 발명 대상의 양상들에 따른 실시예들은, 디지털 전자 회로에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 선행하는 것들의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 결합되는 RAM(Random Access Memory)와 같은 컴퓨터 판독가능 매체를 포함하거나 또는 이를 액세스한다. 프로세서는, 상술된 방법들을 수행하기 위해 센서 샘플링 루틴, 선택 루틴들 및 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램들을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어들을 실행한다.

이러한 프로세서들은, 마이크로프로세서, DSP(digital signal processor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 및 상태 머신들을 포함할 수 있다. 이러한 프로세서들은, PLC들, PIC들(programmable interrupt controllers), PLD들(programmable logic devices), PROM들(programmable read-Only memories), EPROM들 또는 EEPROM들(electronically programmable read-Only memories), 또는 다른 유사한 디바이스들과 같은 프로그램가능 전자 디바이스들을 더 포함할 수 있다.

이러한 프로세서들은, 프로세서에 의해 실행될 때, 이 프로세서로 하여금, 프로세서에 의해 수행되거나 지원되는 바와 같은 본 명세서에 설명된 단계들을 수행하도록 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들어 유형의 컴퓨터 판독가능 매체를 포함할 수 있거나, 또는 이 매체와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예들은, 웹 서버에서의 프로세서와 같은 프로세서에 컴퓨터 판독가능 명령어들을 제공할 수 있는 모든 전자, 광학, 자기 또는 다른 스토리지 디바이스들을 포함할 수 있지만, 이에 제한되는 것은 아니다. 매체의 다른 예들은, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되는 것은 아니다. 또한, 라우터, 사설 또는 공중 네트워크, 또는 다른 송신 디바이스와 같은 다양한 다른 디바이스들이 컴퓨터 판독가능 매체를 포함할 수 있다. 설명된 프로세서 및 처리는, 하나 이상의 구조들로 이루어질 수 있으며, 하나 이상의 구조들을 통해 분산될 수 있다. 프로세서는 본 명세서에 설명된 방법들 중 하나 이상(또는 방법들의 일부)을 수행하는 코드를 포함할 수 있다.

본 발명 대상이 그 특정 실시예들과 관련하여 상세하게 설명되었지만, 기술분야의 통상의 기술자라면, 전술한 내용을 이해하게 되면, 이러한 실시예들에 대한 변경물들, 변형물들 및 등가물들을 용이하게 생성할 수 있다는 점이 인식될 것이다. 따라서, 본 개시내용은 제한이 아니라 예시를 위해 제시되었으며, 본 기술분야의 통상의 기술자에게 용이하게 명백히 되는 바와 같은 본 발명 대상에 대한 이러한 수정물들, 변형물들 및/또는 추가물들의 포함을 배제하지는 않는다는 점이 이해되어야 한다.

Claims (20)

1. 컴퓨팅 디바이스로서,
   물리적 대상과의 사용자 상호작용을 검출하고 상기 사용자 상호작용과 연관된 센서 신호를 송신하도록 구성된 센서;
   상기 센서와 통신하는 프로세서 - 상기 프로세서는,
   상기 센서 신호를 수신하고,
   상기 센서 신호에 기초하여 상기 물리적 대상의 특성을 판정하고,
   상기 특성과 연관된 햅틱 효과를 판정하고,
   상기 햅틱 효과와 연관된 햅틱 신호를 송신하도록 구성됨 - ; 및
   상기 프로세서와 통신하는 햅틱 출력 디바이스 - 상기 햅틱 출력 디바이스는 상기 햅틱 신호를 수신하고 상기 햅틱 효과를 출력하도록 구성됨 -
   를 포함하는 컴퓨팅 디바이스.
2. 제1항에 있어서,
   상기 프로세서는,
   상기 특성이 적어도 하나의 기준과 매칭하는지를 판정하고,
   상기 특성이 상기 적어도 하나의 기준과 매칭하는지에 기초하여 상기 햅틱 효과를 판정하도록 더 구성되는 컴퓨팅 디바이스.
3. 제2항에 있어서,
   상기 적어도 하나의 기준은 애플리케이션에 의해 발생되거나 제3자에 의해 입력되는 컴퓨팅 디바이스.
4. 제1항에 있어서,
   상기 프로세서는,
   상기 사용자 상호작용과 연관된 제2 특성을 판정하고,
   상기 제2 특성에 적어도 부분적으로 기초하여 상기 햅틱 효과를 판정하도록 더 구성되는 컴퓨팅 디바이스.
5. 제1항에 있어서,
   상기 물리적 대상은, 장소 내에 판매를 위한 제품을 포함하는 컴퓨팅 디바이스.
6. 제5항에 있어서,
   상기 프로세서는, 상기 장소와 연관된 서버와 네트워크를 통해 무선 통신하는 것에 의해 상기 특성을 판정하도록 더 구성되는 컴퓨팅 디바이스.
7. 제1항에 있어서,
   상기 사용자 상호작용은 실제 공간에서 제스처를 행하는 것 또는 상기 물리적 대상을 이용하여 상기 제스처를 행하는 것을 포함하는 컴퓨팅 디바이스.
8. 제1항에 있어서,
   상기 컴퓨팅 디바이스는, 신발, 암밴드, 소매, 재킷, 안경, 장갑, 반지, 시계, 손목 밴드, 팔찌, 의류, 모자, 머리띠, 또는 보석류를 포함하는 착용가능한 디바이스와 연관되거나, 또는 상기 컴퓨팅 디바이스는 모바일 폰, 태블릿, e-리더, 휴대형 게이밍 디바이스, 막대기, 스타일러스, 또는 펜을 포함하는 잡을 수 있는 디바이스와 연관되는 컴퓨팅 디바이스.
9. 제1항에 있어서,
   상기 컴퓨팅 디바이스는 선반, 플로어, 또는 캐링 디바이스에 결합되는 컴퓨팅 디바이스.
10. 방법으로서,
    센서로부터 센서 신호를 수신하는 단계 - 상기 센서 신호는 물리적 대상과의 사용자 상호작용과 연관됨 - ;
    상기 센서 신호에 기초하여 상기 물리적 대상와 연관된 특성을 판정하는 단계;
    상기 특성과 연관된 햅틱 효과를 판정하는 단계; 및
    상기 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스에 송신하는 단계 - 상기 햅틱 출력 디바이스는 상기 햅틱 신호를 수신하고 상기 햅틱 효과를 출력하도록 구성됨 -
    를 포함하는 방법.
11. 제10항에 있어서,
    상기 특성이 적어도 하나의 기준과 매칭하는지를 판정하는 단계; 및
    상기 특성이 상기 적어도 하나의 기준과 매칭하는지에 기초하여 상기 햅틱 효과를 판정하는 단계
    를 더 포함하는 방법.
12. 제11항에 있어서,
    상기 적어도 하나의 기준은 애플리케이션에 의해 발생되거나 또는 제3자에 의해 입력되는 방법.
13. 제10항에 있어서,
    상기 사용자 상호작용과 연관된 제2 특성을 판정하는 단계; 및
    상기 제2 특성에 적어도 부분적으로 기초하여 상기 햅틱 효과를 판정하는 단계
    를 더 포함하는 방법.
14. 제10항에 있어서,
    상기 물리적 대상은 장소 내의 판매를 위한 제품을 포함하고, 상기 장소 또는 상기 물리적 대상과 연관된 서버와 네트워크를 통해 통신하는 것에 의해 상기 특성을 판정하는 단계를 더 포함하는 방법.
15. 제10항에 있어서,
    상기 센서는 신발, 암밴드, 소매, 재킷, 안경, 장갑, 반지, 시계, 손목 밴드, 팔찌, 의류, 모자, 머리띠 또는 보석류를 포함하는 착용가능한 디바이스와 연관되거나, 또는 상기 센서는 모바일 폰, 태블릿, e-리더, 휴대형 게이밍 디바이스, 막대기, 스타일러스, 또는 펜을 포함하는 잡을 수 있는 디바이스와 연관되는 방법.
16. 제10항에 있어서,
    상기 센서는 선반, 플로어, 또는 캐링 디바이스에 결합되는 방법.
17. 프로그램 코드를 포함하는 비-일시적인 컴퓨터 판독가능한 매체로서,
    상기 프로그램 코드는 프로세서에 의해 실행되는 경우, 상기 프로세서로 하여금,
    센서로부터 센서 신호를 수신하고 - 상기 센서 신호는 물리적 대상과의 사용자 상호작용과 연관됨 - ,
    상기 센서 신호에 기초하여 상기 물리적 대상과 연관된 특성을 판정하고,
    상기 특성과 연관된 햅틱 효과를 판정하고,
    상기 햅틱 효과와 연관된 햅틱 신호를 햅틱 출력 디바이스에 송신하게 하도록 구성되고,
    상기 햅틱 출력 디바이스는 상기 햅틱 신호를 수신하고 상기 햅틱 효과를 출력하도록 구성되는 비-일시적인 컴퓨터 판독가능한 매체.
18. 제17항에 있어서,
    프로그램 코드를 더 포함하고, 상기 프로그램 코드는 상기 프로세서에 의해 실행되는 경우, 상기 프로세서로 하여금,
    상기 특성이 적어도 하나의 기준과 매칭하는지를 판정하고,
    상기 특성이 상기 적어도 하나의 기준과 매칭하는지에 기초하여 상기 햅틱 효과를 판정하게 하도록 구성되는 비-일시적인 컴퓨터 판독가능한 매체.
19. 제17항에 있어서,
    프로그램 코드를 더 포함하고, 상기 프로그램 코드는 상기 프로세서에 의해 실행되는 경우, 상기 프로세서로 하여금,
    상기 사용자 상호작용과 연관된 제2 특성을 판정하고,
    상기 제2 특성에 적어도 부분적으로 기초하여 상기 햅틱 효과를 판정하게 하도록 구성되는 비-일시적인 컴퓨터 판독가능한 매체.
20. 제17항에 있어서,
    상기 센서는 선반, 플로어, 또는 캐링 디바이스에 결합되는 비-일시적인 컴퓨터 판독가능한 매체.

Images