KR20190140402A

KR20190140402A - 진술 명령들을 사용하여 햅틱을 설계하기 위한 시스템들 및 방법들

Info

Publication number: KR20190140402A
Application number: KR1020190066380A
Authority: KR
Inventors: 자말 사본; 에르난데스 주앙 마뉘엘 크루즈
Original assignee: 임머숀 코퍼레이션
Priority date: 2018-06-11
Filing date: 2019-06-05
Publication date: 2019-12-19
Also published as: CN110580099A; JP2019220168A; EP3582101A1; US20190378384A1; US10360775B1

Abstract

진술 명령들을 사용하여 햅틱들을 설계하기 위한 시스템들 및 방법들이 개시된다. 본 명세서에 설명된 하나의 예시적인 시스템은: 오디오 캡처 디바이스로부터 오디오 신호를 수신하고 - 오디오 신호는 음성 사용자 상호작용과 연관됨 -; 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하고 - 햅틱 효과는 햅틱 출력 디바이스에 의해 출력되도록 구성됨 -; 및 햅틱 효과를 데이터 저장소에 저장하도록 구성된 프로세서를 포함한다.

Description

진술 명령들을 사용하여 햅틱을 설계하기 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR DESIGNING HAPTICS USING SPEECH COMMANDS}

본 출원은 햅틱 효과들을 설계하는 것에 관한 것으로, 더 구체적으로는 진술 명령들을 사용하여 햅틱 효과들을 설계하기 위한 시스템들 및 방법들에 관한 것이다.

햅틱 인에이블형 디바이스들은 햅틱 인에이블형 환경들이 대중화됨에 따라 점점 더 대중화되어 왔다. 예를 들어, 사용자가 터치 감응 디스플레이의 부분들을 터치함으로써 입력을 제공할 수 있도록 모바일 디바이스 및 기타 디바이스가 터치 감응 표면들로 구성될 수 있다. 대안적으로, 햅틱 인에이블형 디바이스 또는 환경을 위한 제스처 입력 및 다른 입력이 또한 웨어러블, VR 또는 AR 디바이스, 자동차, 게이밍, 라이브 이벤트, 그룹 이벤트 및 다른 환경에 대해 인기 있게 되었다. 유사하게, 전자 디바이스들의 음성 인식 및 제어를 위한 시스템들 및 방법들이 더 흔하게 되고 있다. 따라서, 햅틱 효과들을 설계하기 위한 추가적인 시스템들이 필요하다.

일 실시예에서, 본 개시내용에 따른 시스템은: 오디오 캡처 디바이스로부터 오디오 신호를 수신하고 - 오디오 신호는 음성 사용자 상호작용과 연관됨 -; 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하고 - 햅틱 효과는 햅틱 출력 디바이스에 의해 출력되도록 구성됨 -; 및 햅틱 효과를 데이터 저장소에 저장하도록 구성된 프로세서를 포함한다.

또 다른 실시예에서, 본 개시내용에 따른 방법은: 오디오 캡처 디바이스로부터 오디오 신호를 수신하는 단계 - 오디오 신호는 음성 사용자 상호작용과 연관됨 -; 상기 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하는 단계 - 상기 햅틱 효과는 햅틱 출력 디바이스에 의해 출력되도록 구성됨 -; 및 햅틱 효과를 데이터 저장소에 저장하는 단계를 포함한다.

또 다른 실시예에서, 비일시적 컴퓨터 판독가능 매체는 프로그램 코드를 포함할 수 있고, 프로그램 코드는, 프로세서에 의해 실행될 때, 프로세서로 하여금 오디오 캡처 디바이스로부터 오디오 신호를 수신하고 - 오디오 신호는 음성 사용자 상호작용과 연관됨 -; 상기 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하고 - 상기 햅틱 효과는 햅틱 출력 디바이스에 의해 출력되도록 구성됨 -; 및 햅틱 효과를 데이터 저장소에 저장하도록 구성된 프로세서를 포함한다.

이 예시적인 실시예들은 본 발명 주제의 범위를 제한하거나 한정하기 위한 것이 아니라, 오히려 본 발명의 이해를 돕기 위한 예들을 제공하기 위해 언급된다. 예시적인 실시예들이 상세한 설명에서 논의되며, 추가적인 설명이 그 곳에 제공된다. 다양한 실시예들에 의해 제공되는 이점은 본 명세서를 검토함으로써 및/또는 특허청구범위 주제의 하나 이상의 실시예를 실시함으로써 더욱 이해될 수 있다.

상세하고 실시가능케 하는 개시내용이 명세서의 나머지 부분에 더 구체적으로 제시된다. 명세서는 이하의 첨부 도면들을 참조한다.
도 1a는 본 개시내용의 일 실시예에 따라 진술 명령들을 이용하여 햅틱 효과들을 설계하기 위한 예시적인 시스템을 도시한다.
도 1b는 도 1a에 도시된 시스템의 일 실시예의 외형도이다.
도 1c는 도 1a에 도시된 시스템의 또 다른 실시예의 외형도이다.
도 2a는 본 개시내용의 일 실시예에 따라 진술 명령들을 이용하여 햅틱 효과들을 설계하기 위한 예시적인 실시예를 도시한다.
도 2b는 본 개시내용의 일 실시예에 따라 진술 명령들을 이용하여 햅틱 효과들을 설계하기 위한 또 다른 예시적인 실시예를 도시한다.
도 3a는 본 개시내용의 일 실시예에 따라 진술 명령들을 이용하여 햅틱 효과들을 설계하기 위한 또 다른 예시적인 실시예를 도시한다.
도 3b는 본 개시내용의 일 실시예에 따라 진술 명령들을 이용하여 햅틱 효과들을 설계하기 위한 또 다른 예시적인 실시예를 도시한다.
도 4는 본 개시내용의 일 실시예에 따라 진술 명령들을 이용하여 햅틱 효과들을 설계하기 위한 방법 단계들의 흐름도이다.
도 5는 본 개시내용의 일 실시예에 따라 진술 명령들을 이용하여 햅틱 효과들을 설계하기 위한 방법 단계들의 흐름도이다.

지금부터 다양한 그리고 대안의 예시적인 실시예들에 대한 그리고 첨부 도면들에 대한 참조가 상세히 이뤄질 것이다. 각각의 예는 제한이 아니라 설명으로 제공된다. 관련 기술분야의 통상의 기술자들에게 수정들 및 변형들이 이루어질 수 있다는 것이 명백할 것이다. 예를 들어, 일 실시예의 일부로서 도시되거나 설명된 특징들이 또 다른 실시예에서 사용되어 추가의 또 다른 실시예를 산출할 수 있다. 따라서, 본 개시내용은 첨부된 특허청구범위 및 그 등가물의 범위 내에 속하는 수정들 및 변형들을 포함하는 것으로 의도된 것이다.

진술 명령을 이용하여 햅틱 효과들을 설계하기 위한 시스템의 예시적인 예

본 개시내용의 하나의 예시적인 실시예는 태블릿, e-리더, 이동 전화, 또는 랩톱 또는 데스크톱 컴퓨터와 같은 컴퓨터, 웨어러블 디바이스, 또는 VR(Virtual Reality) 또는 AR(Augmented Reality)을 위한 인터페이스와 같은 전자 디바이스를 포함한다. 전자 디바이스는 (터치 스크린 디스플레이와 같은) 디스플레이, 메모리, 및 이들 요소 각각과 통신 상태에 있는 프로세서를 포함한다. 예시적인 실시예에서, 전자 디바이스는 햅틱 효과들을 출력하도록 구성된 햅틱 출력 디바이스를 포함한다. 또한, 예시적인 전자 디바이스는 종래의 인터페이스 디바이스들, 예를 들어 터치스크린, 마우스, 조이스틱, 다기능 제어기 등 중 하나 이상과의 사용자 상호작용을 수신하도록 구성될 수 있다.

예시적인 실시예에서, 전자 디바이스는, 예를 들어 마이크로폰을 통해, 음성 사용자 상호작용을 수신하도록 추가로 구성된다. 전자 디바이스는 마이크로폰으로부터 수신된 오디오를 처리하고 음성 사용자 상호작용과 연관된 정보를 결정하도록 프로그래밍된 프로세서를 더 포함한다. 예를 들어, 예시적인 전자 디바이스는, 예를 들어 HMM(Hidden Markov Model), GMM(Gaussian Mixture Model), 딥 러닝 등과 같은, ASR(Automatic Speech Recognition) 기술 또는 스피치-대-텍스트(speech-to-text)인, 구두의 단어를 이해하기 위한 프로그래밍을 포함할 수 있다. 예시적인 실시예에서, 전자 디바이스는 음성 사용자 상호작용에 기초하여 햅틱 효과를 결정하도록 추가로 구성된다.

예시적인 실시예에서, 음성 사용자 상호작용은 임의의 인공 사운드를 포함할 수 있다. 일 실시예에서, 음성 사용자 상호작용은 원하는 햅틱 효과를 기술하는 진술을 포함한다. 예를 들어, 진술은, 햅틱 효과의 특성들의 설명, 예를 들어, 파 형태, 주파수, 강도, 유형, 또는 지속기간 중 하나 이상과 같은, 원하는 파형(waveform)을 기술하는 진술을 포함할 수 있다. 예시적인 전자 디바이스는 이 음성 사용자 상호작용을 이용하여 원하는 특성들과 일치하는 햅틱 신호를 생성할 수 있다. 또한, 예시적인 실시예에서, 음성 사용자 상호작용은 원하는 햅틱 효과, 예를 들어, 충격, 폭발, 또는 강우와 연관된 개념의 설명을 포함할 수 있다. 그러한 실시예에서, 전자 디바이스는 해당 개념을 시뮬레이트하는 특성들을 갖는 햅틱 효과를 결정할 것이다. 또 다른 예에서, 음성 사용자 상호작용은 원하는 햅틱 효과를 흉내내는 사운드를 포함할 수 있다. 그러한 실시예에서, 전자 디바이스는 사운드와 연관된 햅틱 효과를 결정할 것이다.

일부 실시예들에서, 가청 상호작용은 전술된 실시예들의 혼합을 포함할 수 있다. 예를 들어, 사용자는 "최고 강도 및 50 Hz 주파수에서 200ms의 굉음(BOOM)을 갖는 폭발 효과를 제공하라"고 말함으로써 효과를 기술할 수 있다. 이러한 실시예에서, 전자 디바이스는 사용자에 의해 제공된 설명과 매칭되는 햅틱 효과를 결정할 것이다.

예시적인 실시예에서, 전자 디바이스는 햅틱 효과들과 연관된 새로운 파형들을 생성하는 소프트웨어를 포함할 수 있다. 또한, 전자 디바이스는 기존의 햅틱 효과를 수정하도록 구성될 수 있다. 예를 들어, 사용자는 더 높은 빈도를 갖는 강우 효과를 기술할 수 있고, 전자 디바이스는 예를 들어 햅틱 신호의 주파수 및/또는 진폭을 증가시킴으로써 강우와 연관된 햅틱 효과의 빈도를 증가시킬 수 있다. 전자 디바이스는 원하는 특성들을 갖는 효과를 식별하기 위해 햅틱 효과들의 원격 또는 로컬 데이터베이스를 검색하도록 구성될 수 있다. 대안적으로, 일부 실시예들에서, 데이터베이스는 시스템이 유사성들을 결정하기 위해 오디오 및/또는 비주얼 입력에 비교할 수 있고, 따라서, 입력과 파일 사이의 유사성들에 기초하여 햅틱 효과를 선택하는 오디오 및/또는 비디오 파일들을 포함할 수 있다.

예시적인 실시예에서, 전자 디바이스는 기존의 햅틱 신호를 수신하고 해당 햅틱 신호를 원하는 효과들에 매칭되게 수정하도록 구성된다. 예를 들어, 전자 디바이스는 데이터베이스를 검색하여 햅틱 효과들을 찾아낼 수 있다. 이 데이터베이스는 태그들에 의해 조직되는 대단히 많은 수의 햅틱 효과를 포함할 수 있다. 프로세서는 결정된 진술과 연관된 태그들, 예를 들어 특정 단어들과 연관된 태그들을 추출하고, 결정된 진술에서의 태그들과 매칭되는 햅틱 효과들을 찾도록 구성될 수 있다. 예를 들어, 사용자는 강우와 연관된 햅틱 효과를 기술할 수 있고, 전자 디바이스는 강우와 연관된 태그를 갖는 햅틱 효과에 대한 햅틱 효과들의 데이터베이스를 검색할 수 있다.

일부 실시예들에서, 전자 디바이스는 사용자가 데이터베이스에 햅틱 효과들을 저장할 수 있게 하도록 더 구성될 수 있다. 예를 들어, 사용자가 새로운 햅틱 효과를 생성하거나 또는 기존 햅틱 효과를 수정할 때, 사용자는 해당 햅틱 효과를 데이터베이스에 저장할 수 있다. 또한, 사용자는 데이터베이스와 연관되는 태그들, 예를 들어, "폭발", "자동차 사고", "파손된 공" 등과 같은 태그들을 생성할 수 있다. 이러한 햅틱 효과들은 소프트웨어 애플리케이션, 예를 들어 오디오 애플리케이션, 비디오 애플리케이션, 게임 애플리케이션, 및/또는 VR 또는 AR에 대한 애플리케이션에 사용하기 위한 이벤트들과 연관될 수 있다. 또한, 사용자는 기존의 햅틱 효과들에 대한 새로운 태그들을 생성함으로써 데이터베이스를 향상시킬 수 있다. 예를 들어, 사용자가 햅틱 효과를 경험할 때, 사용자는 햅틱 효과와 연관된 새로운 태그를 생성할 수 있다. 이러한 새로운 태그는 데이터베이스가 더 쉽고 효율적으로 검색되는 것을 가능하게 하기 위해 햅틱 효과, 예를 들어 "강한 충돌", "유리병 깨기" 등을 기술하는 것일 수 있다. 또한, 일부 실시예들에서, 사용자는 데이터베이스의 검색 가능성을 더 향상시키기 위해 연관된 햅틱 효과들을 가진 비디오 및/또는 오디오 세그먼트들에 태그들을 적용할 수 있다.

예시적인 실시예에서, 일단 햅틱 효과가 결정되면, 이는 메모리, 예를 들어, 로컬 또는 원격 데이터 저장소에 저장될 수 있다. 대안적으로 또는 추가적으로, 전자 디바이스는 햅틱 출력 디바이스를 통해 햅틱 효과를 출력할 수 있다. 일부 실시예들에서, 햅틱 효과는 오디오 및/또는 비디오 효과들과 함께 출력될 수 있다. 이러한 효과들은 AR 또는 VR 경험의 사실성을 향상시키거나, 또는 오디오 또는 비디오 효과와 함께 출력될 수 있다. 또한, 예시적인 실시예에서, 사용자에게 전자 디바이스가 원하는 햅틱 효과를 생성한다는 것을 확인하는 옵션이 주어질 수 있다. 예시적인 실시예에서, 햅틱 효과는 사용자가 이러한 확인을 제공하지 않는 한 저장되지 않을 수 있다.

이 예시적인 예는 본 명세서에서 논의되는 일반적인 주제를 독자에게 소개하기 위해 주어졌고, 본 개시내용은 이 예에 한정되지 않는다. 이하의 섹션들은 본 개시내용의 다양한 추가적인 비제한적 예들을 설명한다.

진술 명령들을 사용하여 햅틱 효과들을 설계하기 위한 예시적 시스템들

도 1a는 진술 명령들을 사용하여 햅틱 효과들을 설계하기 위한 예시적인 시스템(100)을 도시한다. 특정하게는, 이 예에서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이스되는 프로세서(102)를 갖는 컴퓨팅 디바이스(101)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적절한 유형의(tangible)(및 비일시적) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(104)는 컴퓨팅 디바이스(101)의 동작을 구성하는 프로그램 컴포넌트들을 구체화한다. 이 예에서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스(110), 입/출력(I/O) 인터페이스 컴포넌트들(112), 및 추가의 스토리지(114)를 더 포함한다.

네트워크 디바이스(110)는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 예들은, 이더넷, USB, IEEE 1394와 같은 유선 인터페이스, 및/또는 IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크에 액세스하기 위한 무선 인터페이스들(예를 들어, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크에 액세스하기 위한 송수신기/안테나)과 같은 무선 인터페이스를 포함하지만, 이들로만 제한되지는 않는다.

I/O 컴포넌트들(112)은 하나 이상의 디스플레이, 디스플레이들(예를 들어, VR 또는 AR을 위한 것)을 포함하는 헤드셋들, 곡면형 디스플레이들(예를 들어, 디스플레이는 이미지들이 그 상에 디스플레이될 수 있는 컴퓨팅 디바이스(101)의 하나 이상의 측상으로 연장되는 각진 표면들을 포함함), 키보드들, 마우스들, 스피커들, 마이크로폰들, 카메라들(예를 들어, 모바일 디바이스상의 전방 및/또는 후방 대향 카메라), 및/또는 데이터를 입력하거나 데이터를 출력하기 위해 사용되는 다른 하드웨어와 같은 디바이스들에 대한 접속을 용이하게 하기 위해 사용될 수 있다. 스토리지(114)는 디바이스(101)에 포함되는 자기, 광학, 또는 다른 스토리지 매체와 같은 비휘발성 스토리지를 나타낸다.

오디오/비주얼 출력 디바이스(들)(115)는 프로세서(들)(102)로부터 신호들을 수신하고 사용자에게 오디오 또는 비주얼 출력을 제공하도록 구성된 하나 이상의 디바이스를 포함한다. 예를 들어, 일부 실시예들에서, 오디오/비주얼 출력 디바이스(들)(115)는 터치 스크린 디스플레이, LCD 디스플레이, 플라즈마 디스플레이, CRT 디스플레이, 프로젝션 디스플레이, 각각의 눈에 대한 디스플레이를 포함하는 헤드셋(예를 들어, VR 또는 AR에서의 사용을 위한 것), 또는 본 기술분야에 공지된 몇몇 다른 디스플레이와 같은 디스플레이를 포함할 수 있다. 또한, 오디오/비주얼 출력 디바이스들은 사용자에게 오디오를 출력하도록 구성된 하나 이상의 스피커를 포함할 수 있다.

시스템(100)은, 이 예에서, 디바이스(101)에 통합되는 터치 표면(116)을 더 포함한다. 터치 표면(116)은 사용자의 터치 입력을 감지하도록 구성된 임의의 표면을 나타낸다. 일부 실시예들에서, 터치 표면(116)은 터치 입력과 연관된 추가 정보, 예를 들어, 압력, 움직임 속력, 움직임 가속도, 사용자 피부의 온도, 또는 터치 입력과 연관된 일부 다른 정보를 검출하도록 구성될 수 있다. 하나 이상의 센서(108)가 물체가 터치 표면과 접촉할 때 터치 영역에서 터치를 검출하고 프로세서(102)에 의해 사용되는 적절한 데이터를 제공하도록 구성될 수 있다. 센서들의 임의의 적합한 수, 유형, 또는 배열이 사용될 수 있다. 예를 들어, 저항성 및/또는 용량성 센서가 터치 표면(116)에 임베디드될 수 있고 터치의 위치 및 압력과 같은 기타 정보를 결정하는 데 사용될 수 있다. 또 다른 예로서, 터치 표면의 뷰를 가진 광 센서가 터치 위치를 결정하는 데 사용될 수 있다.

또한, 일부 실시예들에서, 터치 표면(116) 및/또는 센서(들)(108)는 터치 센서에 의존하지 않고 사용자 상호작용을 검출하는 센서를 포함할 수 있다. 예를 들어, 일 실시예에서, 센서는 표면상에 사용자에 의해 인가된 압력을 검출하기 위해 근전도 검사(EMG) 신호들을 사용하도록 구성된 센서를 포함할 수 있다. 또한, 일부 실시예들에서, 센서는 RGB 또는 열상 카메라들을 포함하고, 사용자가 표면상에 가하고 있는 압력의 양을 추정하기 위해 이러한 카메라들에 의해 캡처된 이미지들을 사용할 수 있다.

일부 실시예들에서, 센서(108) 및 터치 표면(116)은 터치 스크린 디스플레이 또는 터치 패드를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 터치 표면(116) 및 센서(108)는 디스플레이 신호를 수신하고 이미지를 사용자에게 출력하도록 구성된 디스플레이의 상부에 탑재된 터치 스크린을 포함할 수 있다. 다른 실시예들에서, 센서(108)는 LED 검출기를 포함할 수 있다. 예를 들어, 일 실시예에서, 터치 표면(116)은 디스플레이의 측면에 장착된 LED 핑거 검출기(finger detector)를 포함할 수 있다. 일부 실시예들에서, 프로세서는 단일 센서(108)와 통신 상태에 있고, 다른 실시예들에서, 프로세서는 복수의 센서(108), 예를 들어, 제1 터치 스크린 및 제2 터치 스크린과 통신 상태에 있다.

일부 실시예들에서, 하나 이상의 센서(들)(108)는 모바일 디바이스의 움직임을 검출하도록 구성된 하나 이상의 센서(예를 들어, 가속도계들, 자이로스코프들, 카메라들, GPS, 또는 다른 센서들)를 더 포함한다. 이러한 센서들은 X, Y, 또는 Z 평면에서 디바이스를 이동시키는 사용자 상호작용을 검출하도록 구성될 수 있다. 센서(108)는 사용자 상호작용을 검출하고, 사용자 상호작용에 기초하여 신호들을 프로세서(102)에 전송하도록 구성된다. 일부 실시예들에서, 센서(108)는 사용자 상호작용의 다중의 양태를 검출하도록 구성될 수 있다. 예를 들어, 센서(108)는 사용자 상호작용의 속력 및 압력을 검출하고, 이 정보를 인터페이스 신호에 통합할 수 있다. 또한, 일부 실시예들에서, 사용자 상호작용은 디바이스로부터 떨어져 있는 다차원 사용자 상호작용을 포함한다. 예를 들어, 일부 실시예들에서, 디바이스와 연관된 카메라는 사용자 움직임들, 예를 들어, 손, 손가락, 몸, 머리, 눈, 또는 발 움직임들 또는 또 다른 사람 또는 물체와의 상호작용들을 검출하도록 구성될 수 있다.

컴퓨팅 디바이스는 오디오 캡처 디바이스(117)를 더 포함한다. 오디오 캡처 디바이스(117)는 음성 사용자 상호작용을 검출하고 음성 사용자 상호작용과 연관된 신호들을 프로세서(들)(102)에 전송하도록 구성된 하나 이상의 컴포넌트를 포함한다. 일부 실시예들에서, 오디오 캡처 디바이스(117)는 하나 이상의 마이크로폰을 포함할 수 있고, 예를 들어 오디오 캡처 디바이스(117)는 동적 마이크로폰, 콘덴서 마이크로폰, 압전 마이크로폰, MEMS(MicroElectrical-Mechanical System) 마이크로폰, 레이저 마이크로폰, 또는 광섬유 마이크로폰 중 하나 이상을 포함할 수 있다. 또한, 일부 실시예들에서, 오디오 캡처 디바이스(117) 및 오디오 출력 디바이스는 단일 컴포넌트에 통합될 수 있다.

이 예에서, 프로세서(102)와 통신 상태에 있는 햅틱 출력 디바이스(118)는 터치 표면(116)에 결합된다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는, 햅틱 신호에 응답하여, 터치 표면의 컴플라이언스(compliance)를 시뮬레이트하는 햅틱 효과를 출력하도록 구성된다. 추가적으로 또는 대안적으로, 햅틱 출력 디바이스(118)는 터치 표면을 제어된 방식으로 이동시키는 진동촉각 햅틱 효과들을 제공할 수 있다. 일부 햅틱 효과는 디바이스의 하우징에 결합된 액추에이터를 활용할 수 있고, 일부 햅틱 효과는 다중의 액추에이터를 순차적으로 및/또는 일제히 이용할 수 있다. 예를 들어, 일부 실시예들에서, 표면 질감은 상이한 주파수들에서 표면을 진동시킴으로써 시뮬레이트될 수 있다. 그러한 실시예에서, 햅틱 출력 디바이스(118)는, 예를 들어 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기활성 고분자, 솔레노이드, ERM(eccentric rotating mass motor), 또는 LRA(linear resonant actuator) 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 복수의 액추에이터, 예를 들어 ERM 및 LRA를 포함할 수 있다. 또 다른 실시예들에서, 햅틱 출력 디바이스(118)는 더 거친 표면들을 전달하기 위한 수단으로서 저항을 제공하는 비-액추에이트된 햅틱들(예를 들어, 공기, 유체, 또는 초음파 출력)을 사용할 수 있다.

일부 실시예들에서, 햅틱 효과는 사용자 상호작용에 관한 다른 감지된 정보, 예를 들어, 가상 환경에서의 손들의 상대적 위치, VR/AR 환경에서의 물체 위치, 물체 변형, GUI, UI, AR, VR에서의 상대적 물체 상호작용 등에 기초하여 변조될 수 있다. 또 다른 실시예들에서, 햅틱 효과들을 생성하는 방법들은 짧은 지속기간의 효과의 변화를 포함하고, 여기서 효과의 크기는 감지된 신호 값(예를 들어, 사용자 상호작용과 연관된 신호 값)의 함수로서 변한다. 일부 실시예들에서, 효과의 빈도가 변화될 수 있는 경우, 고정된 인지된 크기가 선택될 수 있고, 효과의 빈도는 감지된 신호 값의 함수로서 변할 수 있다.

여기서는 단일 햅틱 출력 디바이스(118)가 도시되어 있지만, 실시예들은 동일하거나 상이한 유형의 다중의 햅틱 출력 디바이스를 이용하여 햅틱 효과를 출력할 수 있다. 예를 들어, 일 실시예에서, 압전 액추에이터는 일부 실시예들에서 20-25 kHz보다 큰 주파수들에서 이동하는 액추에이터를 사용함으로써 그런 것과 같이, 초음파 주파수들에서 수직으로 및/또는 수평으로 터치 표면(116)의 일부 또는 전부를 변위시키는 데 사용될 수 있다. 일부 실시예들에서, 상이한 질감 및 기타 햅틱 효과를 제공하기 위해 ERM(eccentric rotating mass motor) 및 LRA(linear resonant actuator)와 같은 다중의 액추에이터가 단독으로 또는 일제히 사용될 수 있다.

또 다른 실시예들에서, 햅틱 출력 디바이스(118)는, 예를 들어, 정전 표면 액추에이터에 의해 정전기력을 사용함으로써, 터치 표면(116)의 표면상의 질감을 시뮬레이트할 수 있다. 유사하게, 일부 실시예들에서, 햅틱 출력 디바이스(118)는 정전기력을 사용함으로써 터치 표면(116)의 표면상에서 사용자가 느끼는 마찰을 변화시킬 수 있다. 예를 들어, 일 실시예에서, 햅틱 출력 디바이스(118)는 햅틱 효과를 생성하기 위해 기계적 움직임 대신에 전압들 및 전류들을 인가하는 정전 디스플레이 또는 임의의 다른 디바이스를 포함할 수 있다. 이러한 실시예에서, 정전 액추에이터는 도전층 및 절연층을 포함할 수 있다. 이러한 실시예에서, 도전층은 구리, 알루미늄, 금, 또는 은과 같은 임의의 반도체 또는 다른 도전성 재료일 수 있다. 그리고 절연 층은 유리, 플라스틱, 폴리머, 또는 임의의 다른 절연 재료일 수 있다.

프로세서(102)는 전기 신호를 도전층에 인가함으로써 정전 액추에이터를 작동시킬 수 있다. 전기 신호는, 일부 실시예들에서, 도전층을 터치 표면(116) 근처의 또는 터치 표면에 터치하는 물체와 용량성으로 결합하는 AC 신호일 수 있다. 일부 실시예들에서, AC 신호는 고전압 증폭기에 의해 생성될 수 있다. 다른 실시예들에서, 용량성 결합은 터치 표면(116)의 표면상의 마찰 계수 또는 질감을 시뮬레이트할 수 있다. 예를 들어, 일 실시예에서, 터치 표면(116)의 표면은 매끄러울 수 있지만, 용량성 결합은 터치 표면(116)의 표면 근처의 물체 사이에 인력을 생성할 수 있다. 일부 실시예들에서, 물체와 도전층 사이의 인력의 레벨들을 변화시키는 것은 터치 표면(116)의 표면을 가로질러 이동하는 물체상의 시뮬레이트된 질감을 변화시키거나, 또는 물체가 터치 표면(116)의 표면을 가로질러 움직임에 따라 느껴지는 마찰 계수를 변화시킬 수 있다. 더욱이, 일부 실시예들에서, 정전 액추에이터는 터치 표면(116)의 표면상에서 시뮬레이트된 질감을 변화시키기 위해 전통적인 액추에이터들과 연계하여 사용될 수 있다. 예를 들어, 액추에이터들은 터치 표면(116)의 표면의 질감의 변화를 시뮬레이트하도록 진동할 수 있는 한편, 동시에, 정전 액추에이터는 터치 표면(116)의 표면상에서 또는 컴퓨팅 디바이스(101)의 또 다른 부분(예를 들어, 그의 하우징 또는 또 다른 입력 디바이스)상에서 상이한 질감 또는 다른 효과들을 시뮬레이트할 수 있다.

일부 실시예들에서, 정전 액추에이터는 터치 표면(116) 근처에서 또는 터치 표면과 접촉하여 바디의 부분들을 자극함으로써 햅틱 효과를 생성하기 위해 사용될 수 있다. 예를 들어, 일부 실시예들에서, 정전 액추에이터는 사용자의 손가락의 피부에서의 신경 단부들 또는 정전 액추에이터에 응답할 수 있는 스타일러스에서의 컴포넌트들을 자극할 수 있다. 예를 들어, 피부에서의 신경 단부들은 자극되고, 정전 액추에이터(예를 들어, 용량성 결합)를 진동 또는 어느 정도 더 특정한 느낌으로서 감지할 수 있다. 예를 들어, 일 실시예에서, 정전 액추에이터의 도전층은 사용자의 손가락의 도전성 부분들과 결합하는 AC 전압 신호를 수신할 수 있다. 사용자가 터치 표면(116)을 터치하고 터치 표면상에서 자신의 손가락을 움직임에 따라, 사용자는 뾰족함(prickliness), 오돌토톨함(graininess), 울퉁불퉁함, 꺼칠꺼칠함, 점착성의 질감, 또는 어떤 다른 질감을 감지할 수 있다.

메모리(104)를 참조하면, 예시적인 프로그램 컴포넌트들(124, 126, 및 128)은 디바이스가 일부 실시예들에서 진술 명령들을 사용하여 햅틱 효과들을 설계하도록 어떻게 구성될 수 있는지를 예시하는 것으로 묘사되어 있다. 이 예에서, 검출 모듈(124)은 오디오 캡처 디바이스(117)로부터 수신된 신호들을 모니터링하여 음성 사용자 상호작용이 수신되었는지를 결정하도록 프로세서(102)를 구성한다. 예를 들어, 모듈(124)은 오디오 캡처 디바이스(117)를 샘플링하여 음성 사용자 상호작용의 존재 또는 부재, 예를 들어 햅틱 효과를 설명하는 진술을 결정할 수 있다. 또한, 일부 실시예들에서, 검출 모듈(124)은 또한 센서(들)(108)로부터의 입력을 모니터링하는데, 이것은 음성 사용자 상호작용에 대한 모니터링을 활성화하기 위한 그래픽 사용자 인터페이스상의 상호작용을 나타낼 수 있다. 또한, 일부 실시예들에서, 검출 모듈(124)은 햅틱 효과들을 설명하는 진술에 대한 모니터링을 시작하라는 트리거 단어의 존재를 결정하기 위해 오디오 캡처 디바이스(117)로부터의 입력을 모니터링할 수 있다. 예를 들어, 일 실시예에서, 이러한 트리거 단어는 "햅틱 효과 생성"과 같은 구문을 포함할 수 있다.

검출 요소(124)는, 예를 들어 HMM(Hidden Markov Model), GMM(Gaussian Mixture Model), 딥 러닝 등과 같은 ASR(Automatic Speech Recognition) 기술들 또는 음성-대-텍스트인, 가청 효과에서의 구두 단어들을 이해하기 위한 프로그래밍을 포함할 수 있다. 또한, 또 다른 실시예에서, 전체 단어들을 추출하는 대신에, 검출 요소(124)는, 예를 들어, MFC(Mel-Frequency Cepstrum), 멜-빈도 분석(mel-frequency analysis), ZCR(Zero-Crossing Rate) 등인 저 레벨 오디오 특징들, 및/또는 사전 훈련된 딥 러닝 네트워크(VGGish, AlexNet, LSTM, RNN 등)를 사용하여 추출된 고 레벨 특징들인 가청 입력들의 특징들만을 추출하도록 구성될 수 있다. 검출 요소(124)는 데이터베이스 검색을 가능하게 하기 위해 텍스트에 태그를 적용하는 기능을 더 포함할 수 있다. 예를 들어, 태그들은 특정한 알려진 단어들, 예를 들어, "빈도"와 같은 햅틱 효과들과, 또는 예를 들어 "폭발"과 같이 효과들의 유형들과 연관된 단어들에 적용될 수 있다.

일부 실시예들에서, 데이터베이스 및 컴퓨팅 디바이스(101)는 사용자가 햅틱 효과들을 저장할 수 있게 하는 기능을 포함할 수 있다. 또한, 사용자는 더 빠르고 더 효율적인 검색을 가능하게 하기 위해 햅틱 효과들에 새로운 태그들을 적용함으로써 데이터베이스를 향상시킬 수 있다. 예를 들어, 일 실시예에서, 사용자가 햅틱 효과를 경험할 때, 사용자는 햅틱 효과와 연관된 새로운 태그를 생성할 수 있다. 이 새로운 태그는 데이터베이스가 더 쉽고 효율적으로 검색되는 것을 가능하게 하기 위해 햅틱 효과, 예를 들어 "강한 충격(hard bang)을 갖는 50 Hz 구형파 ", "스페이스 셔틀 발사" 등을 기술할 수 있다. 또한, 일부 실시예들에서, 사용자는 데이터베이스의 검색 가능성을 더 향상시키기 위해 연관된 햅틱 효과들로 비디오 및/또는 오디오 세그먼트들에 태그들을 적용할 수 있다.

또 다른 실시예에서, 햅틱 효과는 콘텐츠(오디오 및/또는 비디오)와 관련될 수 있고, 콘텐츠 자체는 키워드들로 태깅될 수 있다. 또 다른 실시예에서, 시스템은 사전 훈련된 머신 러닝 모델을 이용하여, 태그들/라벨들을 햅틱 효과들 및 오디오 콘텐츠와 연관시킬 수 있다. 예를 들어, 이러한 실시예에서, 데이터베이스 또는 데이터베이스와 연관된 컴퓨팅 시스템은, 햅틱 효과들, 이미지들, 비디오들, 또는 오디오 파일들과 연관된 특징들을 태깅된 효과들을 갖는 다른 햅틱 효과들, 이미지들, 비디오들, 또는 오디오 파일들과 비교함으로써 햅틱 효과들, 이미지들, 비디오들, 또는 오디오 파일들을 자동으로 태깅할 수 있다. 또한, 일부 실시예들에서, 효과들 사이의 관계성은 단일 물체, 예를 들어, "열차들", "비행기들", "폭발들" 등과 연관될 수 있다. 태그들은 대안적으로 효과의 특성들(예를 들어, "선명하고 짧은 햅틱 효과", "적당히 질척질척한 효과(muddy moderate effect)"를 포함할 수 있다. 또한, 더 이산적인 특성들, 예를 들어 "20% 크기에서 30 Hz"의 경우에, 태깅은 또한 간단한 휴리스틱 방법들을 사용하여 적용될 수 있다.

햅틱 효과 결정 모듈(126)은 오디오 캡처 디바이스(117)로부터 수신된 오디오 데이터를 분석하여 생성할 햅틱 효과를 선택하는 프로그램 컴포넌트를 나타낸다. 예를 들어, 일 실시예에서, 모듈(126)은, 가청 상호작용에 기초하여, 생성할 햅틱 효과를 결정하는 코드를 포함한다. 예를 들어, 모듈(126)은 가청 상호작용에 부분적으로 기초하여, 햅틱 신호에 대해 주파수, 진폭, 파 유형, 듀티 사이클, 입자 크기, 입자 밀도, 사이클당 최대 입자, 및/또는 입자 크기 중 하나 이상을 결정하도록 구성된 프로그램 코드를 포함할 수 있다. 대안적으로, 일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 하나 이상의 사전 로딩된 햅틱 효과들, 예를 들어 VR 또는 AR 환경에서 특정 오브젝트들과 연관된 햅틱 효과들을 포함할 수 있다. 이러한 햅틱 효과들은 햅틱 출력 디바이스(들)(118)가 생성할 수 있는 임의의 유형의 햅틱 효과를 포함할 수 있다.

일부 실시예들에서, 햅틱 효과 결정 모듈(126)은 미리 결정된 햅틱 효과들의 데이터베이스, 또는 미리 결정된 햅틱 효과들의 로컬 또는 원격 데이터베이스에 액세스하기 위한 코드를 포함하거나 그에 액세스한다. 그러한 실시예에서, 햅틱 효과 결정 모듈(126)은 햅틱 효과의 원하는 특성과 매칭되는 햅틱 효과들에 대해 데이터베이스를 검색하도록 구성될 수 있다. 햅틱 효과들의 데이터베이스는 효과들을 물체들 및 작용들에 쉽게 연관시키는 태깅된 키워드들을 포함할 수 있다. 이런 키워드들은 결정 모듈(124)과 관련하여 위에서 설명된 키워드들과 매칭될 수 있고, 따라서 더 쉬운 데이터베이스 검색을 가능하게 한다. 예를 들어, 결정 모듈(126)은 결정 모듈(124)에 의해 결정된 태그들과 매칭되는 햅틱 효과들에 대해 데이터베이스를 검색할 수 있다. 그러한 실시예에서, 많은 태그가 식별되는 경우, 햅틱 효과 결정 모듈(126)은 더 많은 수의 태그를 갖는 햅틱 효과들을 검색할 수 있다. 또한, 햅틱 효과 결정 모듈(126)은 적어도 하나의 매칭 태그로 햅틱 효과들을 식별하지만, 더 많은 수의 태그로 햅틱 효과들을 우선순위화할 수 있다. 예를 들어, 일부 실시예들에서, 시스템은 특징들 사이의 거리 벡터를 계산함으로써 특징들 사이의 거리를 결정할 수 있다. 일부 실시예들에서, 이들 거리 벡터들은 유클리드 또는 마할라노비스(Mahalanobis) 거리로서 추정될 수 있다. 다른 실시예들에서, 입력 특징들은 (예를 들어, KNN, SVM 등을 사용하여) DB 요소 특징들에 대해 분류될 수 있다.

또한, 일부 실시예들에서, 모듈(126)은 햅틱 효과의 특성들, 예를 들어, 효과의 강도, 빈도, 지속기간, 듀티 사이클, 또는 햅틱 효과와 연관된 임의의 다른 특성들을 조작하도록 구성된 프로그램 코드를 포함할 수 있다. 일부 실시예들에서, 모듈(126)은 사용자로 하여금, 예를 들어 오디오 캡처 디바이스(117)로부터의 가청 상호작용, 버튼, 터치스크린, 및/또는 그래픽 사용자 인터페이스와 같은 사용자 인터페이스와의 상호작용을 통해 이러한 특성들을 조작하는 것을 허용하는 프로그램 코드를 포함할 수 있다.

햅틱 효과 생성 모듈(128)은 프로세서(102)로 하여금 햅틱 신호를 생성하여 햅틱 출력 디바이스(118)로 전송하게 야기하는 프로그래밍을 나타내며, 이 신호는 햅틱 출력 디바이스(118)로 하여금 선택된 햅틱 효과를 생성하도록 야기한다. 예를 들어, 생성 모듈(128)은 햅틱 출력 디바이스(118)에 송신하기 위해 저장된 파형들 또는 명령들에 액세스할 수 있다. 또 다른 예로서, 햅틱 효과 생성 모듈(128)은 원하는 효과 유형을 수신하고 신호 처리 알고리즘을 활용하여 햅틱 출력 디바이스(118)에 송신할 적절한 신호를 생성할 수 있다. 추가의 예로서, 원하는 효과가, 하나 이상의 액추에이터에 송신되는 적절한 파형 및 햅틱 효과에 대한 목표 좌표와 함께 표시될 수 있어서 표면(및/또는 기타 디바이스 컴포넌트)의 적절한 변위를 발생하여 햅틱 효과를 제공하도록 한다. 일부 실시예들은 햅틱 효과를 출력하기 위해 다중의 햅틱 출력 디바이스를 일제히 활용할 수 있다.

컴퓨팅 시스템의 특정 구성에 좌우되어, 터치 표면은 디스플레이를 오버레이하거나 (또는 다른 방식으로 그에 대응)할 수 있다. 도 1b에서, 컴퓨팅 시스템(100B)의 외형도가 도시되어 있다. 컴퓨팅 디바이스(101)는 디바이스의 터치 표면 및 디스플레이를 결합하는 터치 인에이블형 디스플레이(116)를 포함한다. 터치 표면(116)은 실제 디스플레이 컴포넌트들 위의 하나 이상의 재료층 또는 디스플레이 외면에 대응할 수 있다.

도 1c는 터치 표면이 디스플레이를 오버레이하지 않는 터치 인에이블형 컴퓨팅 시스템(100C)의 또 다른 예를 나타낸 것이다. 이 예에서, 컴퓨팅 디바이스(101)는, 디바이스(101)와 인터페이싱되는 컴퓨팅 시스템(120)에 포함되는 디스플레이(122)에 제공된 그래픽 사용자 인터페이스에 매핑될 수 있는 터치 표면(116)을 특징으로 한다. 예를 들어, 컴퓨팅 디바이스(101)는 마우스, 트랙패드, 및 기타 디바이스를 포함할 수 있는 한편, 시스템(120)은 데스크톱 또는 랩톱 컴퓨터, 셋톱 박스(예를 들어, DVD 플레이어, DVR, 케이블 텔레비전 박스), 또는 또 다른 컴퓨팅 시스템을 포함할 수 있다. 또 다른 예로서, 디스플레이(122)를 특징으로 하는 랩톱 컴퓨터에서의 터치 인에이블형 트랙패드와 같이, 터치 표면(116) 및 디스플레이(122)가 동일한 디바이스에 배치될 수 있다. 디스플레이와 일체로 되어 있든 그렇지 않든 간에, 본 명세서에서의 예들에서 평면 터치 표면들을 묘사하는 것은 제한하기 위한 것이 아니다. 다른 실시예들은 햅틱 효과들을 제공하도록 더 구성되는 만곡된 또는 불규칙한 터치 인에이블형 표면들을 포함한다.

도 2a 및 도 2b는 진술 명령들을 이용하여 햅틱 효과를 설계하기 위한 디바이스의 예시적인 실시예를 도시한다. 도 2a는 터치 인에이블형 디스플레이(202)를 특징으로 하는 컴퓨팅 디바이스(201)를 포함하는 시스템(200)의 외형도를 도시하는 도면이다. 도 2b는 디바이스(201)의 단면도를 도시한 것이다. 디바이스(201)는 도 1a의 디바이스(101)와 유사하게 구성될 수 있는데, 명확함을 위해 프로세서, 메모리, 센서 등과 같은 컴포넌트들이 동 도면에 도시되어 있지 않다.

도 2b에서 알 수 있는 바와 같이, 디바이스(201)는 복수의 햅틱 출력 디바이스(218) 및 추가적인 햅틱 출력 디바이스(222)를 특징으로 한다. 햅틱 출력 디바이스(218-1)는 디스플레이(202)에 수직 힘을 부여하도록 구성된 액추에이터를 포함할 수 있는 반면, (218-2)는 디스플레이(202)를 측방향으로 이동시킬 수 있다. 이 예에서, 햅틱 출력 디바이스들(218, 222)은 디스플레이에 직접 결합되지만, 햅틱 출력 디바이스들(218, 222)이 디스플레이(202) 위의 재료층과 같은 또 다른 터치 표면에 결합될 수 있다는 것을 이해해야 한다. 더욱이, 앞서 논의한 바와 같이, 햅틱 출력 디바이스들(218 또는 222) 중 하나 이상이 정전 액추에이터를 포함할 수 있다는 것을 이해해야 한다. 더욱이, 햅틱 출력 디바이스(222)는 디바이스(201)의 컴포넌트들을 포함하는 하우징에 결합될 수 있다. 도 2a 및 도 2b의 예들에서, 디스플레이(202)의 영역이 터치 영역에 대응하지만, 이 원리는 디스플레이와 완전히 분리되어 있는 터치 표면에 적용될 수 있다.

일 실시예에서, 햅틱 출력 디바이스(218)는 각각 압전 액추에이터를 포함하는 반면, 추가의 햅틱 출력 디바이스(222)는 편심 회전 질량 모터, 선형 공진 액추에이터 또는 또 다른 압전 액추에이터를 포함한다. 햅틱 출력 디바이스(222)는 프로세서로부터의 햅틱 신호에 응답하여 진동촉각 햅틱 효과를 제공하도록 구성될 수 있다. 진동촉각 햅틱 효과는 표면 기반 햅틱 효과와 관련하여 및/또는 다른 목적을 위해 활용될 수 있다.

일부 실시예들에서, 햅틱 출력 디바이스들(218-1 및 218-2) 중 어느 하나 또는 둘 다는 압전 액추에이터 이외의 액추에이터를 포함할 수 있다. 액추에이터들 중 임의의 것은, 예를 들어, 압전 액추에이터, 전자기 액추에이터, 전기활성 고분자(electroactive polymer), 형상 기억 합금, 가요성 복합 압전 액추에이터(flexible composite piezo actuator)(예를 들어, 가요성 재료를 포함하는 액추에이터), 정전, 및/또는 자기 변형 액추에이터들을 포함할 수 있다. 추가적으로, 햅틱 출력 디바이스(222)가 도시되어 있지만, 다중의 다른 햅틱 출력 디바이스들이 디바이스(201)의 하우징에 결합될 수 있고 및/또는 햅틱 출력 디바이스들(222)이 다른 곳에 결합될 수 있다. 디바이스(201)는, 또한 상이한 위치들에서 터치 표면에 결합된 다중의 햅틱 출력 디바이스(218-1/218-2)를 특징으로 할 수 있다.

이제 도 3a를 참조하면, 도 3a는 본 개시내용의 일 실시예에 따라 진술 명령들을 이용하여 햅틱 효과들을 설계하기 위한 또 다른 예시적인 실시예를 도시한다. 도 3a는 스마트폰 또는 태블릿을 포함할 수 있는 전자 디바이스(300)를 포함한다. 전자 디바이스(300)는 터치 스크린 디스플레이(302), 및 오디오 입력 디바이스를 포함한다. 도 3a에 도시된 바와 같이, 전자 디바이스(300)는 오디오 입력을 수신하였고, 오디오 입력과 연관된 그래픽(304)을 디스플레이했다. 일부 실시예들에서, 이 그래픽(304)은 오디오 신호를 측정하는 오실로스코프에 의해 디스플레이되는 바와 같은 파 패턴을 포함할 수 있다. 대안적으로, 그래픽(304)은 모든 햅틱 효과에 사용되는 선재하는 아이콘을 포함할 수 있다. 일단 오디오 신호가 수신되면, 전자 디바이스(300)는 오디오 신호를 처리하고 오디오 신호와 연관된 햅틱 효과를 결정하도록 구성된다.

일 실시예에서, 오디오 입력은 햅틱 효과가 연관되어야 하는 특정 물체 유형의 설명을 포함할 수 있다. 예를 들어, 사용자는 전자 디바이스(300)에게 특정 물체 또는 개념(예를 들어, 강우) 또는 작용(예를 들어 사람이 공을 타격하는 것)과 관련된 햅틱 효과를 생성하라고 말할 수 있다. 그러한 실시예에서, 전자 디바이스(300)는 사용자의 진술 입력을 인식하고, 이후 사용자 명령에서 식별된 키워드들이 주어지면 로컬 또는 원격 데이터베이스로부터 적절한 효과들을 페치할 것이다. 전술한 바와 같이, 데이터베이스에서의 햅틱 효과들은 키워드들 또는 태그들로 태깅될 수 있고, 이는 효과들을 물체들 또는 작용들과 연관된 데이터와 빠르고 효율적으로 연관시킨다.

또 다른 실시예에서, 사용자는 높은 수준의 효과의 설명을 제공할 수 있다. 예를 들어, 사용자는, 예를 들어 파 형태/리듬(예를 들어, 램핑 업(ramping up)), 강도(예를 들어, 강한), 유형 (예를 들어, 질감), 지속기간 (예를 들어, 짧은) 등의 관점에서 햅틱 효과를 설명할 수 있다. 이러한 실시예에서, 전자 디바이스(300)는 진술 입력을 인식하고, 사용자가 설명한 특성들 또는 태그들을 갖는 햅틱 효과를 데이터베이스로부터 페치할 것이다. 또 다른 실시예에서, 시스템은 특성들을 인식하고, 사용자에 의해 제공되는 설명과 매칭되는 햅틱 효과 또는 햅틱 신호를 생성한다.

또 다른 실시예에서, 설계자는 작용을 모방하는 사운드들을 이용하여 햅틱 효과를 설명한다. 이러한 실시예에서, 전자 디바이스(300)는 사운드, 예를 들어 "붕(BOOM)"을 캡처하고, 그 특성들 및/또는 그것의 성질(예를 들어, 폭발)을 식별할 것이다. 이어서, 시스템(300)은 이러한 특성들을 햅틱 효과의 형태로 복제하고 및/또는 적절한 태그들 또는 설명을 갖는 효과를 페치한다. 또 다른 실시예에서, 전자 디바이스(300)는 사운드를 캡처하고, 유사한 사운드에 대해 데이터베이스를 검색하고, 데이터베이스로부터 이 사운드와 연관된 햅틱 효과들을 반환할 것이다.

이제 도 3b를 참조하면, 도 3b는 본 개시내용의 일 실시예에 따라 진술 명령들을 이용하여 햅틱 효과들을 설계하기 위한 또 다른 예시적인 실시예를 도시한다. 도 3b에 도시된 바와 같이, 전자 디바이스(300)는 하나 이상의 햅틱 출력 디바이스를 이용하여 햅틱 효과를 출력한다. 그 다음, 전자 디바이스는 햅틱 효과(306)를 수락하는 옵션을 사용자에게 제공한다. 그 후, 사용자는 전자 디바이스와의 인터페이스를 이용하여 또는 오디오 입력을 사용하여, 예를 들어, 햅틱 효과의 수락을 확인하기 위한 구문을 말함으로써 햅틱 효과를 수락할 수 있다. 시스템(300)에 도시된 언어 및 설계는 하나의 예시적인 실시예이다. 햅틱 효과를 수락하는 다른 언어가 햅틱 효과의 수락을 확인하기 위해 디스플레이되거나 사용될 수 있다.

일부 실시예들에서, 사용자는 햅틱 효과를 거부하고 햅틱 효과를 생성하는 프로세스를 재시작할 수 있다. 또한, 일부 실시예들에서, 사용자는 생성된 햅틱 효과를 수정할 수 있다. 예를 들어, 사용자는 음성 명령들, 예를 들어 "더 높은 빈도", "더 낮은 진폭 ", "끝에서 격한 정지를 포함하는" 등을 사용하여 생성된 햅틱 효과를 수정할 수 있다. 시스템(300)은 이 오디오 입력을 수신하고, 그것을 인식하고, 사용자의 설명에 따라 햅틱 효과를 수정하도록 구성된다.

진술 명령을 사용하여 햅틱 효과를 설계하기 위한 예시적인 방법

도 4 및 도 5는 일 실시예에 따라 진술 명령들을 이용하여 햅틱 효과들을 설계하기 위한 방법을 수행하기 위한 단계들의 흐름도들이다. 일부 실시예들에서, 도 4 및 도 5의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 가상 현실 제어 시스템, 또는 서버에서의 프로세서에 의해 실행되는 프로그램 코드로 구현될 수 있다. 일부 실시예들에서, 이러한 단계들은 프로세서들의 그룹에 의해 구현될 수 있다. 일부 실시예들에서, 도 4 또는 도 5에 도시된 하나 이상의 단계가 생략되거나 또는 상이한 순서로 수행될 수 있다. 유사하게, 일부 실시예들에서, 도 4 또는 도 5에 도시되지 않은 추가 단계들이 또한 수행될 수 있다. 이하의 단계들은 도 1a에 도시된 컴퓨팅 디바이스(101)와 관련하여 전술한 컴포넌트들을 참조하여 설명된다.

방법(400)은 프로세서(102)가 오디오 신호를 수신하는 단계(402)에서 시작한다. 오디오 신호는 오디오 캡처 디바이스(117)에 의해 검출되는 가청 사용자 입력을 포함하고, 오디오 캡처 디바이스는 이후 가청 사용자 입력과 연관된 신호를 프로세서(102)에 전송한다. 가청 사용자 입력은 원하는 햅틱 효과와 연관된다. 예를 들어, 가청 사용자 입력은, 원하는 파형(waveform)의 설명(예를 들어, 파 형태(wave shape), 주파수, 강도, 유형(예를 들어, 진동, 마찰, 변형 등), 또는 지속기간 중 하나 이상을 설명하는 진술), 원하는 햅틱 효과(예를 들어, 충격, 폭발, 또는 강우)와 연관된 개념 또는 물체의 설명, 또는 원하는 햅틱 효과(예를 들어, 붕(BOOM), 쾅(BANG) 등)를 모방하는 사운드 중 하나 이상을 설명할 수 있다. 또한, 일부 실시예들에서, 가청 상호작용은 전술된 실시예들의 혼합을 포함할 수 있다. 예를 들어, 사용자는 "최대한의 크기 및 50 Hz 주파수에서의 200 ms의 붕(BOOM)을 갖는 폭발 효과를 제공하라"고 말함으로써 효과를 기술할 수 있다.

단계(404)에서, 프로세서(102)는 위에서 설명된 오디오 상호작용에 기초하여 햅틱 효과를 결정한다. 프로세서(102)는 단계(402)에서 검출된 음성 사용자 상호작용과 매칭되는 햅틱 효과를 결정하도록 구성될 수 있다. 일부 실시예들에서, 프로세서(102)는 새로운 햅틱 효과를 결정하고, 선재하는 햅틱 효과를 식별하고(예를 들어, 데이터베이스를 검색함으로써), 또는 선재하는 햅틱 효과에 대한 수정을 결정할 수 있다. 프로세서(102)가 햅틱 효과를 결정하기 위해 취할 수 있는 추가적인 단계들이 이하의 방법(500)과 관련하여 논의된다.

단계(406)에서, 프로세서(102)는 햅틱 신호를 햅틱 출력 디바이스(118)에 출력하고, 햅틱 출력 디바이스는 햅틱 효과를 출력한다. 햅틱 신호는 하나 이상의 햅틱 출력 디바이스(118)에 대한 하나 이상의 신호 출력을 포함할 수 있으며, 하나 이상의 출력 디바이스는 햅틱 신호(들)를 수신하고 원하는 햅틱 효과에 대응하는 햅틱 효과를 출력하도록 구성된다.

단계(408)에서, 프로세서(102)는 사용자 입력을 수신한다. 예를 들어, 일부 실시예들에서, 프로세서(102)는 결정된 햅틱 효과가 정확한 것을 사용자가 확인하는 것을 허용하도록 구성될 수 있다. 이러한 실시예에서, 프로세서(102)는 햅틱 신호를 햅틱 출력 디바이스(118)에 출력할 수 있으며, 햅틱 출력 디바이스는 햅틱 효과를 출력한다. 그 후 프로세서(102)는 햅틱 효과가 정확한 것을 확인하는 사용자 입력을 수신하도록 구성될 수 있다. 이 사용자 입력은 오디오 입력 디바이스(117)에 의해 검출된 음성 사용자 상호작용을 포함할 수 있거나, 또는 전통적인 사용자 인터페이스, 예를 들어 터치스크린을 통한 사용자 상호작용을 포함할 수 있다. 또한, 사용자 입력이 햅틱 효과가 부정확한 것을 나타내는 경우, 프로세서(102)는 사용자 입력에 기초하여 햅틱 효과를 수정하도록 구성될 수 있다. 예를 들어, 사용자는 햅틱 효과의 하나 이상의 특성을 변경하기 위해, 예를 들어 효과의 강도, 주파수, 지속기간, 듀티 사이클, 또는 햅틱 효과와 연관된 임의의 다른 특성을 변경하기 위해, 입력을 제공할 수 있다. 프로세서(102)는 이러한 변경을 행하고 그 후 수정된 햅틱 신호를 햅틱 출력 디바이스(118)에 출력하도록 구성될 수 있다.

단계(410)에서, 프로세서(102)는 햅틱 효과를 저장한다. 프로세서는 햅틱 효과를 로컬 메모리(104)에 저장하도록 구성될 수 있다. 대안적으로, 프로세서(102)는 햅틱 효과를 원격 데이터 저장소 및/또는 햅틱 효과들의 데이터베이스에 저장하도록 구성될 수 있다. 또한, 일부 실시예들에서, 프로세서(102)는 햅틱 효과에 태그 또는 다른 기술자(descriptor)를 적용하도록 구성될 수 있다. 이 태그는 효과의 더 높은 레벨의 설명(예를 들어, 폭우, 소프트 충돌, 탁구 공 등) 또는 햅틱 효과의 더 낮은 레벨의 설명(예를 들어, 효과의 유형, 주파수, 및 진폭)을 포함할 수 있다. 일부 실시예들에서, 이 태그는 다른 디바이스들에 의해 햅틱 효과를 더 용이하게 검색하는 것을 가능하게 할 수 있다.

이제, 햅틱 효과를 결정하기 위한 추가 단계들의 방법(500)을 묘사하는 도 5를 참조한다. 방법(500)은 프로세서(102)가 오디오 신호의 콘텐츠를 결정하는 단계(502)에서 시작한다. 예를 들어, 프로세서(102)는, 예를 들어 HMM(Hidden Markov Model), GMM(Gaussian Mixture Model), 딥 러닝 등과 같은 ASR(Automatic Speech Recognition) 기술들 또는 음성-대-텍스트 중 하나 이상을 이용하여, 음성 사용자 상호작용에서의 구두 단어들을 이해하도록 구성될 수 있다. 또한, 또 다른 실시예에서, 전체 단어들을 추출하는 것이 아니라, 프로세서(102)는 대신에, 예를 들어, MFC(Mel-Frequency Cepstrum), 멜-빈도 분석(mel-frequency analysis), ZCR(Zero-Crossing Rate)인 저 레벨 오디오 특징들, 및/또는 사전 훈련된 딥 러닝 네트워크(VGGish, AlexNet, LSTM, RNN 등)를 사용하여 추출된 고 레벨 특징들인 가청 입력의 특징들만을 추출하도록 구성될 수 있다.

단계(504)에서, 프로세서(102)는 데이터베이스를 검색하여 햅틱 효과를 식별한다. 데이터베이스는 원격 또는 로컬 데이터베이스를 포함할 수 있다. 데이터베이스는 햅틱 효과들을 포함할 수 있고, 프로세서(102)는 음성 사용자 상호작용과 매칭하는 적절한 햅틱 효과에 대해 데이터베이스를 검색할 수 있다. 대안적으로, 데이터베이스는 연관된 햅틱 효과들을 포함하는 오디오 및/또는 비디오 파일들을 포함할 수 있다. 이러한 실시예에서, 프로세서(102)는 음성 사용자 상호작용에 대응하는 파일에 대해 데이터베이스를 검색할 수 있다. 그 후 프로세서(102)는 대응 파일과 연관된 햅틱 효과가 매칭되는 햅틱 효과인 것을 결정할 수 있다. 또한, 일부 실시예들에서, 프로세서(102)는 사용자의 설명과 매칭하기 위해 데이터베이스에서의 햅틱 효과에 대한 수정을 결정하도록 구성될 수 있다. 예를 들어, 프로세서(102)는 데이터베이스에서의 폭발과 연관된 햅틱 효과를 식별할 수 있다. 그 후 프로세서(102)는 이 햅틱 효과를 수정하여, 사용자의 큰 폭발에 대한 설명을 70% 듀티 사이클에서의 구형파와 매칭시킬 수 있다.

진술 명령들을 사용하여 햅틱 효과를 설계하는 다수의 장점이 있다. 본 명세서에 개시된 실시예들은 햅틱 효과들을 설계하기 위한 프로세스를 용이하게 할 수 있다. 예를 들어, 설계자는 햅틱 효과를 설계하기 위해 전문화된 지식을 필요로 하지 않을 수 있다. 또한, 본 명세서에 설명된 실시예들은 기존 햅틱 효과들의 데이터베이스를 생성하고 검색하는 것을 제공한다. 이것은 설계 및 햅틱 효과들을 구현하는 것을 더 효율적으로 만들 수 있다. 이것은 햅틱 효과들을 포함하는 디바이스들의 수를 증가시킬 수 있다. 이것은 사용자에 대한 더 강력한 햅틱 경험 및 설계자에 대한 보다 효율적인 프로세스로 이어질 수 있다.

일반 고려 사항

위에서 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 구성들은 적절한 경우 다양한 절차들 또는 컴포넌트들을 생략하거나, 대체하거나 또는 추가할 수 있다. 예를 들어, 대안적인 구성들에서, 방법들은 설명된 것과 상이한 순서로 수행될 수 있고, 다양한 스테이지들이 추가, 생략, 및/또는 조합될 수 있다. 또한, 특정 구성들과 관련하여 설명된 특징들은 다양한 다른 구성들로 조합될 수 있다. 구성들의 상이한 양태들 및 요소들은 유사한 방식으로 조합될 수 있다. 또한, 기술이 진화하고, 따라서, 많은 요소들이 예들이고 본 개시내용 또는 청구항들의 범위를 제한하지 않는다.

예시적인 구성들(구현들을 포함함)의 철저한 이해를 제공하기 위해 특정 상세 사항들이 설명에 주어진다. 그러나, 구성들은 이들 특정 상세 사항 없이 실시될 수 있다. 예를 들어, 구성들을 불명확하게 하는 것을 회피하기 위해 공지 회로들, 프로세스들, 알고리즘들, 구조들 및 기술들은 불필요한 상세 사항 없이 보여졌다. 이 설명은 예시적인 구성들만을 제공하고, 청구항들의 범위, 적용가능성, 또는 구성들을 제한하지 않는다. 오히려, 구성들의 선행 설명은 설명된 기술들을 구현하는 것을 가능케 하는 설명을 본 기술분야의 통상의 기술자에게 제공할 것이다. 본 개시내용의 사상 또는 범위로부터 벗어나지 않고 요소들의 기능 및 배열에서 다양한 변경들이 이루어질 수 있다.

또한, 구성들은 흐름도 또는 블록도로서 묘사되는 프로세스로서 설명될 수 있다. 각각이 동작들을 순차적인 프로세스로서 설명할 수 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가 단계들을 가질 수 있다. 또한, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 스토리지 매체와 같은 비일시적 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서들은 설명된 작업들을 수행할 수 있다.

여러 예시적 구성들을 설명하였지만, 본 개시내용의 사상으로부터 벗어나지 않고 다양한 수정들, 대안적 구성들, 및 등가물들이 사용될 수 있다. 예를 들어, 상기 요소들은 더 큰 시스템의 컴포넌트들일 수 있고, 여기서 다른 규칙들이 본 개시내용의 적용보다 우위에 서거나 이것을 달리 수정할 수 있다. 또한, 상기 요소들이 고려되기 전에, 그 동안에, 또는 그 이후에 다수의 단계들이 착수될 수 있다. 따라서, 상기 설명은 청구항들의 범위를 제한하지 않는다.

본 명세서에서 "~하는 데 적응되는" 또는 "~하도록 구성되는"의 사용은 부가의 작업 또는 단계를 수행하는 데 적응되는 또는 그를 위해 구성되는 디바이스를 배제하지 않는 개방적이고 포함적 어구를 의미한다. 추가로, "에 기초한"의 사용은, 하나 이상의 기재된 조건들 또는 값들"에 기초한" 프로세스, 단계, 계산, 또는 다른 작용이, 실제로는, 기재된 것들을 넘어서는 추가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이고 포괄적인 것으로 의도된 것이다. 본 명세서에 포함된 표제들, 목록들, 및 번호 기재는 설명의 편의를 위한 것일 뿐이고 제한하는 것으로 의도된 것은 아니다.

본 발명 주제의 양태들에 따른 실시예들은, 디지털 전자 회로, 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 결합되는 RAM(Random Access Memory)와 같은 컴퓨터 판독가능 매체에의 액세스를 포함하거나 또는 구비한다. 프로세서는 센서 샘플링 루틴, 선택 루틴들, 및 전술한 방법들을 수행하기 위한 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어들을 실행한다.

이러한 프로세서들은 마이크로프로세서, 디지털 신호 프로세서(DSP), ASIC(application-specific integrated circuit), FPGA들(field-programmable gate arrays), 및 상태 기계들을 포함할 수 있다. 이러한 프로세서들은 PLC, PIC들(programmable interrupt controllers), PLD들(programmable logic devices), PROM들(programmable read-only memories), 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM), 또는 기타 유사한 디바이스들과 같은 프로그램가능 전자 디바이스들을 추가로 포함할 수 있다.

그러한 프로세서들은 매체, 예를 들어, 프로세서에 의해 실행될 때, 프로세서로 하여금, 프로세서에 의해 수행되거나 도움을 받아 본 명세서에 설명된 단계들을 수행하게 야기할 수 있는 명령어들을 저장할 수 있는 유형의(tangible) 컴퓨터 판독가능 매체를 포함할 수 있거나, 또는 그와 통신 상태에 있을 수 있다. 컴퓨터 판독가능 매체의 실시예들은 웹 서버에서의 프로세서와 같은 프로세서에 컴퓨터 판독가능 명령어들을 제공할 수 있는 모든 전자, 광학, 자기, 또는 다른 스토리지 디바이스들을 포함할 수 있지만, 이에 제한되지는 않는다. 매체의 다른 예들은, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 그로부터 판독할 수 있는 임의의 다른 매체를 포함하지만, 이들로만 제한되지는 않는다. 또한, 라우터, 사설 또는 공중 네트워크, 또는 다른 전송 디바이스와 같은 다양한 다른 디바이스들이 컴퓨터 판독가능 매체를 포함할 수 있다. 설명된 프로세서 및 프로세싱은 하나 이상의 구조에 있을 수 있고, 하나 이상의 구조에 걸쳐서 분산될 수 있다. 프로세서는 본 명세서에 설명된 방법들(또는 방법들의 부분들) 중 하나 이상을 실행하기 위한 코드를 포함할 수 있다.

본 발명이 그 특정 실시예들에 관련하여 상세히 설명되었지만, 본 기술 분야의 통상의 기술자들은, 전술한 내용을 이해하게 되면, 그러한 실시예들에 대한 변경들, 변형들, 및 등가물들을 쉽게 만들어 낼 수 있음을 알 것이다. 따라서, 본 개시내용은 제한보다는 예시의 목적으로 제시되었고, 본 기술분야의 통상의 기술자가 쉽게 알 수 있을 본 발명에 대한 그러한 수정들, 변형들 및/또는 추가 사항들을 포함하는 것을 배제하지 않는다는 것을 이해해야 한다.

Claims

시스템으로서:
프로세서를 포함하고, 상기 프로세서는:
오디오 캡처 디바이스로부터 오디오 신호를 수신하고 - 상기 오디오 신호는 음성 사용자 상호작용과 연관됨 -;
상기 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하고 - 상기 햅틱 효과는 햅틱 출력 디바이스에 의해 출력되도록 구성됨 -; 및
상기 햅틱 효과를 데이터 저장소에 저장하도록 구성되는, 시스템.
제1항에 있어서, 상기 음성 사용자 상호작용은 구두 단어들을 포함하고, 상기 프로세서는 상기 구두 단어들의 내용을 결정하도록 추가로 구성되는 시스템.
제2항에 있어서, 상기 구두 단어들의 내용은 원하는 햅틱 효과의 특성들의 설명을 포함하고, 상기 햅틱 효과를 결정하는 것은 상기 원하는 햅틱 효과의 특성들을 갖는 햅틱 신호를 결정하는 것을 포함하는, 시스템.
제3항에 있어서, 상기 원하는 햅틱 효과의 특성들은 파 형태, 주파수, 강도, 유형, 또는 지속기간 중 하나 이상을 포함하는, 시스템.
제2항에 있어서, 상기 구두 단어들의 내용은 원하는 햅틱 효과와 연관된 개념을 포함하고, 상기 햅틱 효과를 결정하는 것은 상기 개념과 연관된 저장된 햅틱 효과에 대해 복수의 햅틱 효과와 연관된 데이터를 포함하는 데이터베이스를 검색하는 것을 포함하는, 시스템.
제1항에 있어서, 상기 음성 사용자 상호작용은 원하는 햅틱 효과를 모방하는 사운드들을 포함하고, 상기 햅틱 효과를 결정하는 것은 상기 원하는 햅틱 효과를 모방하는 사운드들과 연관된 햅틱 효과를 결정하는 것을 포함하는, 시스템.
제1항에 있어서, 상기 프로세서는 상기 햅틱 효과와 연관된 햅틱 신호를 상기 햅틱 출력 디바이스에 출력하도록 추가로 구성되는, 시스템.
제7항에 있어서, 상기 프로세서는 상기 햅틱 효과를 상기 데이터 저장소에 저장하기 전에 상기 햅틱 효과를 확인하는 사용자 상호작용과 연관된 입력 신호를 수신하도록 추가로 구성되는 시스템.
제7항에 있어서, 상기 햅틱 출력 디바이스는 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기활성 고분자, 솔레노이드, ERM(eccentric rotating mass motor), 또는 LRA(linear resonant actuator) 중 하나 이상을 포함하는, 시스템.
방법으로서:
오디오 캡처 디바이스로부터 오디오 신호를 수신하는 단계 - 상기 오디오 신호는 음성 사용자 상호작용과 연관됨 -;
상기 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하는 단계 - 상기 햅틱 효과는 햅틱 출력 디바이스에 의해 출력되도록 구성됨 -; 및
상기 햅틱 효과를 데이터 저장소에 저장하는 단계를 포함하는 방법.
제10항에 있어서, 상기 음성 사용자 상호작용은 구두 단어들을 포함하고, 상기 방법은 상기 구두 단어들의 내용을 결정하는 단계를 추가로 포함하는 방법.
제11항에 있어서, 상기 구두 단어들의 내용은 원하는 햅틱 효과의 특성들의 설명을 포함하고, 상기 햅틱 효과를 결정하는 단계는 상기 원하는 햅틱 효과의 특성들을 갖는 햅틱 신호를 결정하는 단계를 포함하는, 방법.
제12항에 있어서, 상기 원하는 햅틱 효과의 특성들은 파 형태, 주파수, 강도, 유형, 또는 지속기간 중 하나 이상을 포함하는, 방법.
제11항에 있어서, 상기 구두 단어들의 내용은 원하는 햅틱 효과와 연관된 개념을 포함하고, 상기 햅틱 효과를 결정하는 단계는 상기 개념과 연관된 저장된 햅틱 효과에 대해 복수의 햅틱 효과와 연관된 데이터를 포함하는 데이터베이스를 검색하는 단계를 포함하는, 방법.
제10항에 있어서, 상기 음성 사용자 상호작용은 원하는 햅틱 효과를 모방하는 사운드들을 포함하고, 상기 햅틱 효과를 결정하는 단계는 상기 원하는 햅틱 효과를 모방하는 사운드들과 연관된 햅틱 효과를 결정하는 단계를 포함하는, 방법.
제10항에 있어서, 상기 햅틱 효과와 연관된 햅틱 신호를 상기 햅틱 출력 디바이스에 출력하는 단계를 추가로 포함하는 방법.
제16항에 있어서, 상기 햅틱 효과를 상기 데이터 저장소에 저장하기 전에 상기 햅틱 효과를 확인하는 사용자 상호작용과 연관된 입력 신호를 수신하는 단계를 추가로 포함하는 방법.
프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체로서, 상기 프로그램 코드는 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
오디오 캡처 디바이스로부터 오디오 신호를 수신하고 - 상기 오디오 신호는 음성 사용자 상호작용과 연관됨 -;
상기 오디오 신호에 부분적으로 기초하여 햅틱 효과를 결정하고 - 상기 햅틱 효과는 햅틱 출력 디바이스에 의해 출력되도록 구성됨 -; 및
상기 햅틱 효과를 데이터 저장소에 저장하도록 야기하게 구성되는, 비일시적 컴퓨터 판독가능 매체.
제18항에 있어서, 상기 음성 사용자 상호작용은 구두 단어들을 포함하고, 상기 프로세서는 상기 구두 단어들의 내용을 결정하도록 추가로 구성되는, 비일시적 컴퓨터 판독가능 매체.
제19항에 있어서, 상기 구두 단어들의 내용은 원하는 햅틱 효과의 특성들의 설명을 포함하고, 상기 햅틱 효과를 결정하는 것은 상기 원하는 햅틱 효과의 특성들을 갖는 햅틱 신호를 결정하는 것을 포함하는, 비일시적 컴퓨터 판독가능 매체.