KR20140113392A

KR20140113392A - 햅틱 피드백 콜을 싱크하는 시스템 및 방법

Info

Publication number: KR20140113392A
Application number: KR1020140028090A
Authority: KR
Inventors: 장-프랑수아 디온; 코스타 헨리 다; 대니 그랜트
Original assignee: 임머숀 코퍼레이션
Priority date: 2013-03-14
Filing date: 2014-03-11
Publication date: 2014-09-24
Also published as: JP2014209325A; EP2778851A2; CN104049743A; CN104049743B; JP6377373B2; US9189098B2; US20140267069A1; EP2778851A3

Abstract

햅틱 피드백 콜을 싱크하는 시스템 및 방법이 개시된다. 예를 들어, 하나의 서술된 방법은, 사용자 인터페이스 이벤트와 연관된 입력 신호를 수신하는 단계; 적어도 부분적으로 상기 입력 신호를 기초로 햅틱 피드백 신호를 결정하는 단계; 및 적어도 부분적으로 햅틱 피드백 레이트를 기초로 상기 햅틱 피드백 신호를 햅틱 출력 장치로 출력할지 여부를 결정하는 단계를 구비한다.

Description

햅틱 피드백 콜을 싱크하는 시스템 및 방법{Systems and Methods for Syncing Haptic Feedback Calls}

본 발명은, 일반적으로 햅틱 피드백에 관한 것으로, 보다 상세하게는 햅틱 피드백 콜을 싱크하는 시스템 및 방법에 관한 것이다.

햅틱 피드백은 전자 장치가 사용자에게 정보를 전달할 수 있도록 콘딧(conduit)을 제공할 수 있다. 이 콘딧은 표준적인 시각적 또는 청각적 효과에 추가될 수 있다. 일부 종류의 햅틱 피드백을 구비하는 장치의 수는 지난 수년 간 급격하게 증가해왔다. 그러나, 장치의 대역폭 제한 때문에, 일부 햅틱 효과는 지연될 수 있다. 이는 덜 강렬한 효과를 초래할 수 있다. 이에 따라, 본원에서 논의되는 시스템 및 방법에 대한 필요가 있다.

본 개시의 실시예는 햅틱 피드백 콜을 싱크하는 시스템 및 방법을 포함한다. 하나의 실시예에서, 본 개시에 따른 방법은 사용자 인터페이스 이벤트와 연관된 입력 신호를 수신하고; 적어도 부분적으로 입력 신호를 기초로 햅틱 피드백 신호를 결정하고; 적어도 부분적으로 햅틱 피드백 레이트를 기초로 햅틱 피드백 신호를 햅틱 출력 장치에 출력할 것인지 여부를 결정하는 것을 포함할 수 있다.

이 예시적인 실시예들은 본 주제(subject matter)를 제한하거나, 본 주제의 제한을 규정하기 위한 것이 아니라, 이들의 이해를 돕도록 예를 제공하기 위해 언급된다. 예시적인 실시예들은, 상세한 설명에서 논의되고, 더 나아가 그 부분에서 설명이 제공된다. 다양한 실시예에 의해 제안되는 이점들은, 이 명세서를 검토함으로써 및/또는 청구되는 주제의 하나 이상의 실시예를 실행함으로써 더 이해될 수 있다.

본 개시의 이들 또는 다른 특징, 양상 및 이점들은, 수반하는 도면을 참조하여 다음의 상세한 설명이 읽혀질 때 더 잘 이해된다.
도 1은 하나의 실시예에 따른 햅틱 피드백 콜을 싱크하는 시스템 및 방법에 대한 블록도이다.
도 2a는 햅틱 피드백 콜을 싱크하는 시스템의 하나의 실시예에 대한 도면이다.
도 2b는 햅틱 피드백 콜을 싱크하는 시스템의 하나의 실시예에 대한 도면이다.
도 3a는 햅틱 피드백 콜을 싱크하는 시스템의 하나의 실시예에 따른 타임 차트에 대한 도면이다.
도 3b는 햅틱 피드백 콜을 싱크하는 시스템의 하나의 실시예에 따른 타임 차트에 대한 또 다른 도면이다.
도 3c도 햅틱 피드백 콜을 싱크하는 시스템의 하나의 실시예에 따른 타임 차트에 대한 또 다른 도면이다.
도 4는 햅틱 피드백 콜을 싱크하는 방법의 하나의 실시예의 흐름도에 대한 도면이다.

수개의 예시적인 실시예들은, 본원의 일부를 형성하는, 수반하는 도면에 관하여 이제 서술될 것이다. 개시의 하나 이상의 양상이 이행될 수 있는 특정 실시예들이 아래에서 서술될 것이나, 다른 실시예도 사용될 수 있고, 첨부된 청구항의 개시 또는 의미의 범위에서 벗어남이 없이 다양한 수정이 이루어질 수 있다.

햅틱 피드백 콜을 싱크하는 것에 대한 예시적인 실시예

본 개시의 하나의 예시적인 실시예는, 햅틱 효과를 출력할 능력을 가진 장치, 예를 들어 햅틱 출력 장치 및 사용자가 이를 통해 햅틱 효과를 느끼는 사용자 인터페이스를 포함하는 스마트폰을 포함한다. 예시적인 실시예에서, 장치는 구글 사(Google, Inc.)에 의해 이용가능하게 만들어진 안드로이드 운영 시스템(Android® Operating System)의 버전("Android®")을 포함한다. 예시적인 실시예에서, Android®는 임의 간격의 펄스 또는 VSync 싱크화 신호(VSync synchronization signal)를 출력한다. 예시적인 실시예에서, 이 간격은 일반적으로 약 60Hz(16ms 주기)일 수 있으나, 일부 실시예에서는, 주파수는 프로세서 이용도(processor utilization) 또는 디스플레이 해상도에 따라 가변적이다.

예시적인 실시예에서, 디스플레이 처리 및 출력은 VSync 신호를 기초로 스케쥴링된다. 즉, 각각의 디스플레이 프레임에 대한 처리는, 그 프레임이 디스플레이되기 전 하나 이상의 펄스인 VSync 펄스와 연관된다. 이러한 스케쥴링은, 모든 디스플레이 처리가 프레임이 디스플레이될 때에 앞서 발생할 수 있게 한다. 앞서 디스플레이 처리를 완료하는 것은, 장치가 프레임을 정시에 출력하는 것을 보장하도록 돕고, 또한, 때때로 "jank"라고 불리는 과중한 프로세서 이용도의 시간 동안 동일한 프레임을 반복하거나 프레임을 놓치는 것을 피할 수 있다.

더욱이, 예시적인 실시예에서, 운영 시스템은, 각각의 프레임이 디스플레이되기에 앞서 프레임을 저장하기 위해 하나 이상의 버퍼를 포함한다. 몇몇의 실시예에서, 운영 시스템은, 더블 버퍼(두 개의 프레임을 저장하기 위한 두 개의 버퍼), 트리플 버퍼(세 개의 프레임을 저장하기 위한 세 개의 버퍼) 또는 더 많은 버퍼를 포함할 수 있다. 예시적인 실시예에서, 버퍼의 수는 적어도 부분적으로 프로세서 이용도를 기초로 결정될 수 있다. 이 버퍼들은, 더 나아가, 디스플레이 신호가 일정한 간격으로(at even intervals) 디스플레이에 출력될 수 있게 한다. 이는, 특히 이미지 처리가 16ms보다 더 걸리는 경우에서, 더 부드러운 이미지 처리와 전반적으로 더 나은 디스플레이 질을 초래할 수 있다.

이전에 언급한 바와 같이, 예시적인 실시예는 햅틱 효과를 출력하도록 구성된 하나 이상의 햅틱 출력 장치를 더 포함한다. 예시적인 실시예에서, 프로세서는, 이 햅틱 효과를 결정하고, 이어서 햅틱 효과를 출력할지 여부 및 언제 햅틱 효과를 출력할지를 결정하도록 구성된다. 예시적인 실시예에서, 프로세서는 부분적으로 VSync 신호를 기초로 햅틱 효과를 출력하기로 결정한다. 따라서, 햅틱 효과는 오직 VSync의 초반에만 출력될 수 있다. 더욱이, 프로세서는, 부분적으로 VSync를 기초로 햅틱 효과를 언제 멈출지를 결정하도록 구성된다. 예를 들어, 햅틱 효과는 VSync의 세 주기 동안 출력될 수 있다.

더욱이, 예시적인 실시예에서, 프로세서는 햅틱 효과가 출력되도록 트리거하는 VSync에 앞서 햅틱 효과를 결정하도록 구성될 수 있다. 더욱이, 예시적인 실시예에서, 운영 시스템은 햅틱 효과가 출력될 때에 앞서 햅틱 효과를 저장하는 버퍼를 포함한다. 일부 실시예에서, 운영 시스템은 추가적인 버퍼를 포함할 수 있다. 이 버퍼는 더욱이, 특히 햅틱 효과의 처리가 16ms보다 더 걸릴 수 있는 경우에, 햅틱 효과가 부드럽게 출력될 수 있게 한다.

유사하게, 예시적인 실시예에서, 각각의 햅틱 효과가 또 다른 햅틱 효과를 간섭하거나 또 다른 햅틱 효과의 상부에 겹치지 않도록(run over), 프로세서가 순서대로 또는 시간 간격 내에 햅틱 효과를 출력하도록 프로그래밍될 수 있다. 예를 들어, 하나의 실시예에서, 액츄에이터(actuator)는 햅틱 효과를 출력하기 위해 가속하기 위한 임의의 주기의 시간을 필요로 한다. 효과가 출력되는 동안의 총 시간은 효과의 지속 시간과 가속 시간 둘 다를 포함한다. 따라서, 예시적인 실시예에서, 프로세서는 효과의 지속 시간 그 자체에 추가하여 햅틱 효과가 시작하는데 임의의 주기의 시간이 걸릴 것인지를 결정하도록 구성될 수 있다. 더욱이, 예시적인 실시예에서, 예를 들어 액츄에이터가 감속하기 위해 필요로 하기 때문에, 프로세서는, 햅틱 효과가 멈추는데 임의의 주기의 시간보다 더 걸릴지 여부를 결정하도록 구성된다. 예시적인 실시예에서, 프로세서는 각각의 햅틱 효과 사이에 전달할 필요가 있는 하나 이상의 VSync(들)의 주기를 결정하도록 이 계산을 사용한다.

더욱이, 예시적인 실시예에서, 운영 시스템은, 다음 효과가 출력되기 전에, 프로세서가 너무 과부하되어서 햅틱 효과를 처리하고 출력할 수 없는지를 결정하도록 구성된 프로그래밍을 포함할 수 있다. 따라서, 운영 시스템은, 잔여 햅틱 효과가 적절한 시간에(예를 들어, VSync 신호의 적절한 포인트에) 부드럽게 출력될 수 있도록 보장하기 위해 특정 햅틱 효과를 스킵하는 것을 결정하도록 구성될 수 있다. 일부 실시예에서, 이 결정은 복수의 요인들, 예를 들어 햅틱 효과 대 다른 햅틱 효과의 우선도, 이용가능한 햅틱 출력 장치의 유형, VSync의 현재 레이트, 입력의 소스, 또는 햅틱 효과와 연관된 몇몇의 다른 요인 중 하나 이상을 기초로 이루어질 수 있다.

이 예시적인 예들은 독자에게 본원에서 논의되는 일반적인 주제를 소개하기 위해 주어진다. 발명은 이 예들에 제한되지 않는다. 다음 섹션에서는 햅틱 피드백 콜을 싱크하는 시스템 및 방법에 대한 다양한 추가적인 실시예와 예를 서술한다.

햅틱 피드백 콜을 싱크하는 시스템

이제 수개의 도면에 걸쳐 유사한 번호가 유사한 요소를 가리키는 도면을 참조하면, 도 1은 본 개시의 하나의 실시예에 따른 햅틱 피드백 콜을 싱크하는 시스템에 대한 블록도이다.

도 1에 도시된 시스템(100)은 장치(102)를 포함한다. 일부 실시예에서, 장치(102)는 모바일 폰, 개인 휴대용 단말기(personal digital assistant; PDA), 또는 핸드헬드 네비게이션 시스템과 같은 여러 가지의 핸드헬드 장치 중 하나를 포함할 수 있다. 다른 실시예는 자동차 콘솔(console), 비행기 콘솔, 산업 장비용 콘솔, 가전 제품, 게임 콘솔 또는 다른 전자 장치에서 이행될 수 있다.

본 개시의 실시예는 디지털 전자 회로, 컴퓨터 하드웨어, 펌웨어, 및 소프트웨어에 의한 조합으로 이행될 수 있고, 또는 디지털 전자 회로, 컴퓨터 하드웨어, 펌웨어, 및 소프트웨어에 의한 조합을 포함할 수 있다. 도 1에 도시된 장치(102)는 프로세서(110)를 포함한다. 프로세서(110)는 통신, 디스플레이, 및 햅틱 피드백에 대한 신호를 생성하고 입력 신호를 수신한다. 프로세서(110)는 램(random access memory; RAM)을 포함할 수 있는 메모리(112)와 같은 하나 이상의 컴퓨터 판독가능 매체와 통신하거나 이를 포함한다.

프로세서(110)는, 햅틱 피드백을 생성하거나 메세징하기 위한 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같은 메모리(112)에 저장된 컴퓨터 실행가능 프로그램 명령어를 실행한다. 프로세서(110)는, 마이크로프로세서, 디지털 신호 프로세서(digital signal processor; DSP), 응용 주문형 집적 회로(application-specific integrated circuit; ASIC), 하나 이상의 필드 프로그램가능한 게이트 어레이(field programmable gate arrays; FPGAs), 또는 스테이트 머신을 포함할 수 있다. 프로세서는, PLC, 프로그램가능한 인터럽트 제어기(programmable interrupt controller; PIC), 프로그램가능한 논리 장치(programmable logic device; PLD), 피롬(programmable read-only memory; PROM), 이피롬(electronically programmable read-only memory; EPROM 또는 EEPROM), 또는 다른 유사한 장치와 같은 프로그램가능한 전자 장치를 더 포함할 수 있다.

메모리(112)는, 프로세서(110)에 의해 실행될 때, 그것이 본원에 서술된 것과 같은 다양한 단계들을 수행하도록 하는 명령어들을 저장할 수 있는 컴퓨터 판독가능한 매체를 포함한다. 컴퓨터 판독가능한 매체의 실시예들은, 프로세서(110)에 컴퓨터 판독가능한 명령어를 제공할 수 있는 전자, 광, 자기 또는 다른 저장 장치나 전송 장치를 포함할 수 있으나, 이에 제한되지 않는다. 매체의 다른 예로, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 설정된 프로세서(configured processor), 모든 광 매체, 모든 자기 테이프나 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 또 다른 매체를 포함하나, 이에 제한되지 않는다. 또한, 다양한 다른 장치들은, 라우터, 사설 또는 공중 네트워크, 또는 다른 전송 장치와 같은 컴퓨터 판독가능 매체를 구비할 수 있다. 서술된 처리와 프로세서(110)는 하나 이상의 구조로 있을 수 있고, 하나 이상의 구조에 걸쳐 분산될(dispersed) 수도 있다.

더욱이, 일부 실시예에서, 메모리(112)는 프로세서(110)가 햅틱 효과를 결정한 후에, 햅틱 신호를 저장하도록 구성된 버퍼를 더 포함한다. 일부 실시예에서, 이는 (두 개의 햅틱 효과를 저장할 수 있는) 더블 버퍼 또는 (세 개의 햅틱 효과를 저장할 수 있는) 트리플 버퍼일 수 있다. 더 나아간 실시예에서, 버퍼는 더 많은 햅틱 효과를 저장할 수도 있다. 또 다른 실시예에서, 버퍼는 하나 이상의 미리 결정된 유형의 효과를 포함할 수 있고, 이에 따라 각각이 출력될 수 있는 효과의 햅틱 룩업 테이블을 포함할 수 있다.

다시 도 1을 참조하면, 장치(102)는 또한, 프로세서(110)와 통신하는 사용자 입력 장치(114)를 포함한다. 예를 들어, 일부 실시예에서, 사용자 입력 장치(114)는 터치스크린을 포함할 수 있다. 이러한 실시예에서, 사용자 입력 장치(114)는 상호작용의 위치뿐만 아니라 사용자 상호작용도 감지할 수 있다. 이러한 하나의 실시예는 커패시턴스 기반의 터치스크린(capacitance-based touchscreen)을 포함한다. 또 다른 실시예에서, 사용자 입력 장치(114)는 키보드, 하나 이상의 버튼 또는 스위치, 슬라이더, 손잡이(knob), 터치패드, 또는 트랙볼을 포함할 수 있다. 여전히 다른 실시예에서, 장치(102)는 터치스크린 및 하나 이상의 추가적인 사용자 입력 장치(들)(114) 모두를 포함할 수 있다.

장치(102)는 또한, 디스플레이(116)를 포함한다. 디스플레이(116)는 프로세서(110)와 통신하고, 프로세서(110)로부터의 출력을 사용자에게 디스플레이하도록 구성된다. 예를 들어, 하나의 실시예에서, 장치(102)는 사용자 입력 장치(114) 아래에 배치된 LCD(liquid crystal display; LCD)를 포함한다. 일부 실시예에서, 디스플레이(116) 및 사용자 입력 장치(114)는 터치스크린 LCD와 같은 단일의 통합 컴포넌트를 포함할 수 있다. 일부 실시예에서, 장치(102)는 디스플레이를 포함하지 않을 수 있다.

장치(102)는 또한, 프로세서(110)와 통신하고 햅틱 효과를 출력하도록 구성된 햅틱 출력 장치(118)를 포함한다. 프로세서(110)는 햅틱 효과를 결정한 후에, 햅틱 신호를 햅틱 출력 장치(118)로 송신한다. 햅틱 신호는 햅틱 출력 장치(118)가 결정된 햅틱 효과를 출력하게 하도록 구성된다. 햅틱 출력 장치(118)는, 예를 들어 압전 액츄에이터(piezoelectric actuator), 전동기, 전자기 액츄에이터, 음성 코일, 선형 공명 액츄에이터(linear resonant actuator), 형상 기억 합금, 전기 활성 폴리머(electro-active polymer), 솔레노이드, 이심 회전 질량 모터(eccentric rotating mass motor; ERM) 또는 선형 공명 액츄에이터(linear resonant actuator; LRA)와 같은 액츄에이터일 수 있다. 또 다른 실시예에서, 햅틱 출력 장치(118)는 하나 이상의 정전기 액츄에이터 또는 장치(102)의 컴포넌트의 모양을 변형시키거나 수정하도록 구성된 액츄에이터를 포함할 수 있다.

일부 실시예에서, 프로세서(110)로부터 수신한 햅틱 신호에 응답하여, 햅틱 출력 장치(118)는 터치 표면의 마찰 계수를 다양하게 하는 햅틱 효과를 출력하도록 구성된다. 추가적으로 또는 대안적으로, 햅틱 출력 장치(118)는, 사용자 입력 장치(114) 또는 장치(102)의 다른 컴포넌트를 제어된 방법으로 움직이는 진동촉각(vibrotactile) 또는 운동감각(kinesthetic) 햅틱 효과를 제공할 수 있다. 또 다른 실시예에서, 햅틱 출력 장치(118)는, 장치(102)의 하나 이상의 컴포넌트의 모양, 예를 들어 하나 이상의 사용자 입력 장치(들)(114)의 모양을 변형하거나 수정하도록 구성된 것 또는 액츄에이터를 포함할 수 있다.

단일의 햅틱 출력 장치(118)가 도 1에 도시되지만, 일부 실시예는 햅틱 효과를 출력하는 유형을 다양하게 하는 다수의 햅틱 출력 장치를 사용할 수 있다. 예를 들어, 하나의 실시예에서, 압전 액츄에이터는, 예를 들어 20kHz보다 큰 주파수로 움직이는 액츄에이터를 사용함으로써, 초음파 주파수로 일부 또는 모든 터치 표면을 수직적으로 및/또는 수평적으로 옮기기(displace) 위해 사용된다. 더 나아가, 이러한 실시예에서, 서로 다른 질감(textures) 및 다른 햅틱 효과를 제공하기 위해 이심 회전 질량 모터 및 선형 공명 액츄에이터와 같은 하나 이상의 추가적인 액츄에이터가 단독으로 또는 협력하여 사용될 수 있다.

프로세서(110)는 네트워크 인터페이스(120)와 통신한다. 네트워크 인터페이스(120)는, 블루투스, 적외선, 무선, Wi-Fi, 또는 셀룰러 네트워크 통신과 같은 이동 통신용의 하나 이상의 시스템 또는 방법을 포함할 수 있다. 다른 변형으로, 네트워크 인터페이스(120)는 이더넷과 같은 유선 네트워크 인터페이스를 포함한다. 장치(102)는 셀룰러 폰 네트워크 및/또는 인터넷과 같은 네트워크를 통해 다른 장치(도시되지 않음)와 메시지 또는 가상 메시지 오브젝트를 교환하도록 구성될 수 있다. 장치 간에 교환되는 메시지의 실시예는, 음성 메시지, 텍스트 메시지, 데이터 메시지 또는 다른 종류의 디지털 메시지를 포함할 수 있다.

이제, 햅틱 피드백 콜을 싱크하는 시스템의 예를 도시하는 도 2a-2b를 참조한다. 도 2a는 터치가능한 디스플레이(202)를 포함하는 컴퓨팅 장치(201)를 포함하는 시스템(200)의 외부 뷰를 도시하는 도면이다. 사용자는, 예를 들어 디스플레이(202) 상의 하나 이상의 이미지와 상호작용하기 위해 그 또는 그녀의 손가락을 터치가능한 디스플레이(202)의 표면상에 댐으로써(swiping) 터치가능한 디스플레이(202)와 상호작용할 수 있다. 그리고, 사용자 상호작용에 대한 응답으로, 하나 이상의 햅틱 출력 장치는 햅틱 효과를 출력할 수 있다.

도 2b는 장치(201)의 단면도를 도시한다. 프로세서, 메모리, 센서 및 그 비슷한 것과 같은 컴포넌트가 명료성을 목적으로 이 뷰에서는 도시되지 않지만, 장치(201)는 도 1을 참조하여 위에서 서술된 장치(102)와 유사하게 구성될 수 있다.

도 2b에서 보일 수 있는 바와 같이, 장치(201)는 복수의 햅틱 출력 장치(218) 및 추가적인 햅틱 출력 장치(222)를 구비한다. 햅틱 출력 장치(218-2)는 디스플레이(202)를 측면으로 움직일 수 있는 반면, 햅틱 출력 장치(218-1)는 디스플레이(202)에 수직력을 가하도록 구성되는 액츄에이터를 포함할 수 있다. 이 예에서, 햅틱 출력 장치는 디스플레이에 직접적으로 결합되지만, 액츄에이터가 디스플레이(202)의 상부의 물질층과 같은 또 다른 터치 표면과 결합될 수 있음을 이해해야만 한다. 추가적인 햅틱 출력 장치(222)는 장치(201)의 컴포넌트가 들어있는 하우징(housing)과 결합될 수 있다. 원칙은 프로세서에 입력을 제공하는데 사용되는 터치패드와 같은 디스플레이로부터 완전히 분리된 터치 표면에 적용될 수 있지만, 도 2a-2b의 예에서, 디스플레이(202)의 영역은 터치 영역과 대응된다.

추가적인 액츄에이터(222)는 이심 회전 질량 모터, 선형 공명 액츄에이터, 또는 또 다른 압전 액츄에이터를 포함하는 반면, 하나의 실시예에서, 햅틱 출력 장치(218-1 및 218-2) 각각은 압전 액츄에이터를 포함한다. 액츄에이터(222)는 프로세서로부터의 햅틱 신호에 응답하여 진동촉각 햅틱 효과를 제공하도록 구성될 수 있다. 진동촉각 햅틱 효과는 표면 기반의 햅틱 효과와 함께 및/또는 다른 목적으로 활용될 수 있다.

일부 실시예에서, 햅틱 출력 장치(218-1 및 218-2) 중에 하나 또는 둘 다는 압전 액츄에이터와 같은 액츄에이터를 포함할 수 있다. 또 다른 실시예에서, 햅틱 출력 장치(218-1 및 218-2)는, 예를 들어 전자기 액츄에이터, 전기 활성 폴리머, 형상 기억 합금, 유연 복합재 피에조 액츄에이터(flexible composite piezo actuator; 예를 들어, 탄성재를 포함하는 액츄에이터), 정전기 및/또는 자기 변형 액츄에이터를 포함할 수 있다. 추가적으로, 다수의 다른 햅틱 출력 장치가 장치(201)의 하우징에 결합될 수 있고/있거나 다른 액츄에이터(222)가 다른 곳에서 결합될 수 있지만, 단일의 추가적인 햅틱 출력 장치(222)가 도시된다. 장치(201)는, 서로 다른 위치의 터치 표면에 결합된 다수의 햅틱 출력 장치(218-1/218-2)를 또한 특징으로 할 수 있다.

일부 실시예에서, 도 2에 도시되지 않지만, 장치(200)는 다수의 햅틱 출력 장치의 어레이를 더 포함할 수 있다. 예를 들어, 하나의 실시예에서, 장치(200)는 터치스크린과 연관된 액츄에이터의 어레이를 포함할 수 있다. 하나의 실시예에서, 이 어레이는, 각각이 독립적으로 또는 협력하여 하나 이상의 햅틱 효과를 출력하도록 구성된 100 X 100그리드의 액츄에이터를 포함할 수 있다. 이러한 실시예에서, 본원에 논의된 시스템 및 방법은 각각의 햅틱 출력 장치에 출력될 햅틱 신호에 대한 타이밍 및 햅틱 신호를 결정하도록 프로세서에 의해 사용될 수 있다.

햅틱 피드백 콜을 싱크하는 예시적인 시스템

이제, 도 3a-3b로 넘어가서, 도 3a는 16ms(60Hz) 주기를 가지는 주기적인 구형파(square wave)로 도시된 Sync 신호(300)를 포함한다. 일부 실시예에서, 이 신호는 위에서 논의된 Android® 운영 시스템의 VSync 신호를 포함할 수 있다. 다른 실시예에서, 이 신호는 다른 주파수 또는 모양의 신호를 포함할 수 있다. 예를 들어, 모양에 관해, 일부 실시예에서, Sync 신호는 사인파, 톱니파, 또는 몇몇의 다른 파(wave)를 포함할 수 있다. 주파수에 관해, 일부 실시예에서, Sync 신호는 더 높은(예를 들어, 120Hz) 또는 더 낮은 주파수(예를 들어, 30Hz)를 포함할 수 있다. 유사하게, 일부 실시예에서, Sync 신호는 가변적인 주파수를 포함할 수 있다. 예를 들어, 하나의 실시예에서, 프로세서가 낮은 이용율에 있을 때, Sync 신호는 상대적으로 더 높은 주파수(예를 들어, 90Hz)를 포함할 수 있고, 이에 따라 햅틱 효과를 빨리 결정할 수 있다. 더 나아가, 이러한 실시예에서, 프로세서가 상대적으로 더 높은 이용율에 있을 때, Sync 신호는 상대적으로 더 낮은 주파수(예를 들어, 45Hz)를 포함할 수 있고, 이에 따라 햅틱 효과를 빨리 결정할 수 없을 것이다. 더 나아가, 일부 실시예에서, Sync 신호의 주파수는 복수의 요인, 예를 들어 현재 프로세서 이용도, 사용자 선택, 장치 상에 이용가능한 하드웨어, 이용가능한 햅틱 출력 장치의 유형, 네트워크 연계성(network connectivity)의 현재 속도나 파일 다운로드 또는 업로드 레이트, 미디어 플레이어에 의해 현재 재생되는 파일, 디스플레이(116)의 프레임 레이트 또는 해상도, 또는 몇몇의 다른 특성 중 하나 이상을 기초로 다양하게 될 수 있다.

일부 실시예에서, Sync 신호는 프로세서의 내부 컴포넌트에 의해 생성될 수 있다. 다른 실시예에서, Sync 신호는 프로세서 또는 장치 외부에 있는 또 다른 회로에 의해 생성될 수 있다. 예를 들어, 신호는 수정 발진기(crystal oscillator)와 같은 신호 생성 회로에 의해 생성될 수 있다. 더 나아가, 일부 실시예에서, 이 신호 생성 회로는 위에서 논의된 바대로 Sync 신호의 주파수를 다양하게 하도록 구성될 수 있다.

일부 실시예에서, Sync 신호는 서로 다른 햅틱 효과가 출력될 수 있는 최대 주파수와 연관된 신호를 포함할 수 있다. 위에서 논의된 바와 같이, 이 최대값은 시스템 부하(예를 들어, 프로세서(110)의 현재의 이용 또는 현재 이용가능한 햅틱 출력 장치(118))를 기초로 위나 아래로 다양하게 할 수 있다. 유사하게, 일부 실시예에서, 최대 레이트는, 네트워크 연결, 예를 들어 네트워크 연결(120)의 현재 이용가능한 대역폭에 의해 정의될 수 있다. 따라서, 예를 들어 햅틱 효과의 레이트는 전송된 데이터의 레이트와 연관될 수 있다. 예를 들어, 하나의 실시예에서, 데이터는 원격 햅틱 피드백 장치로 전송될 수 있다. 또 다른 실시예에서, 수신된 데이터는 햅틱 컴포넌트를 포함하는 스트리밍된 미디어 파일과 연관될 수 있다.

더 나아가, 일부 실시예에서, 이 레이트는 미디어 플레이어와 연관될 수 있다. 예를 들어, 하나의 실시예에서, 햅틱 효과는 미디어 플레이어의 출력과 연관될 수 있다. 따라서, 일부 실시예에서, 햅틱 피드백 레이트는 디스플레이된 비디오 파일의 현재 프레임 레이트와 연관될 수 있다. 더 나아가, 일부 실시예에서, 햅틱 피드백 레이트는 고정된 최대값으로 설정될 수 있다. 따라서, 예를 들어, 사용자가 최대 레이트보다 더 빠르게 리스트를 따라 스크롤할 때, 장치는 임의의 레이트보다 빠르게 햅틱 효과를 출력하도록 시도할 수 없다.

이제, 도 3b로 넘어가서, 도 3b는, 도 3a에 관해 위에서 논의된 Sync 신호의 유형을 포함할 수 있는 Sync 신호(325)를 포함한다. 도 3b에 도시된 바와 같이, Sync 신호(325)는 효과 시작 시간(326) 및 효과 종료 시간(328)을 더 도시한다. 도 3b에 도시된 실시예에서, 프로세서는, 예를 들어 사용자 입력을 기초로 햅틱 효과를 출력하기로 결정할 수 있다.

프로세서는 Sync 신호의 제1 주기, 예를 들어 0ms부터 16ms까지의 주기 동안 햅틱 효과를 결정할 수 있다. 이어서, Sync 신호의 다음 주기의 발생시에, 예를 들어 16ms에, 프로세서는 햅틱 효과(326)를 시작한다. 더 나아가, 도 3b에 도시된 바와 같이 햅틱 효과는 2개의 Sync 신호 펄스의 주기 길이, 예를 들어 32ms 동안 지속된다. 그 기간이 후에, 햅틱 효과는 다음 Sync 펄스 발생 시에 종료한다.

일부 실시예에서, 햅틱 효과는 Sync 신호와 연관된 다른 주기, 예를 들어 Sync 신호의 중간지점 또는 하강 시점에 시작하거나 멈출 수 있다. 유사하게, 일부 실시예에서, 햅틱 효과는 풀 Sync 신호보다 적은 주기 동안, 또는 심지어 Sync 신호의 주기의 배수가 아닌 주기 동안 지속될 수도 있다.

일부 실시예는, 프로세서는, 오직, 그들이 또 다른 햅틱 효과를 간섭하거나 또 다른 햅틱 효과의 상부에 겹치지 않도록 하는 시간에만 햅틱 효과를 출력하도록 프로그래밍될 수 있다. 따라서, 일부 실시예에서, 프로세서는 햅틱 효과를 출력하기 시작하는데 얼마나 오래 걸릴 것인지(예를 들어, 햅틱 출력 장치를 가속하는 시간) 및 또한 햅틱 효과를 출력하는 것을 멈추는데 걸릴 시간(예를 들어, 햅틱 출력 장치가 감속하는 시간)을 결정하도록 구성될 수 있다.

도 3c로 넘어가서, 도 3c는 Sync 신호(350)를 포함한다. Sync 신호(350)는 도 3a에 관해 위에서 논의된 Sync 신호의 유형을 포함할 수 있다. 도 3c에 도시된 바와 같이, Sync 신호(325)는 제1 햅틱 효과 시작 시간(352)과 제1 햅틱 효과 종료 시간(354)을 더 도시한다. 더 나아가, 제1 햅틱 효과의 종료 시간(354) 후에, 제2 햅틱 효과 시작 시간(356) 뒤에 제2 햅틱 효과 종료 시간(358)이 뒤따른다.

도 3c에 도시된 실시예에서, 프로세서는, 제1 햅틱 효과와 제2 햅틱 효과가 두 효과 사이에 충분한 분리 없이 함께 작동할 것이라고 결정할 수 있다. 이는, 예를 들어 두 개의 효과 중 하나가 다른 것보다 더 지각할(perceptible) 수 있다면, 효과 중 하나가 다른 것에 의해 압도되도록 하거나 덜 바람직한 효과를 초래할 수 있다. 예를 들어, 하나의 실시예에서, 제2 햅틱 효과는 정전기 효과를 포함할 수 있는 반면, 제1 햅틱 효과는 낮은 주파수, 높은 진폭 진동을 포함할 수 있다. 정전기 햅틱 효과가 진동 효과에 의해 압도되는 것을 피하기 위해, 프로세서는, 제1 햅틱 효과의 종료 및 제2 햅틱 효과의 시작 사이에 Sync 신호의 적어도 한 주기가 지나가야만 한다고 결정할 수 있다. 다른 실시예에서, 프로세서는 두 효과 사이에 놓일 다른 길이의 시간을 결정할 수 있다. 일부 실시예에서, 프로세서는, 예를 들어 효과의 주파수, 효과의 진폭, 효과의 유형, 각각의 효과를 출력하는 햅틱 출력 장치, 또는 하나 이상의 햅틱 효과와 연관된 몇몇의 다른 요인을 기초로 이 결정을 할 수 있다.

더 나아가, 도 3c에 도시된 실시예에서, 프로세서는 Sync 신호의 제1 주기, 예를 들어 0ms부터 16ms까지의 주기 동안 제1 햅틱 효과를 결정할 수 있다. 이어서, Sync 신호에서 다음 주기가 발생할 때, 예를 들어 16ms에, 프로세서는 햅틱 효과(352)를 시작한다. 햅틱 효과를 결정하는 시간이 16ms보다 덜 걸린다면, 프로세서는 버퍼, 예를 들어 도 1에 관해 서술된 메모리(112)에 저장된 버퍼에 햅틱 효과를 저장할 수 있다. 더 나아가, 제1 햅틱 효과를 결정한 후에, 프로세서는 제2 햅틱 효과와 연관된 햅틱 신호를 결정할 수 있다. 다시, 제2 햅틱 효과를 결정한 후에, 프로세서는 제2 햅틱 효과를 출력하기 전에 버퍼에 제2 햅틱 효과를 저장할 수 있다. 유사하게, 일부 실시예에서, 프로세서는, 효과와 연관된 신호가 출력되는 때에 앞서 복수의 햅틱 효과를 결정하도록 구성될 수 있다. 이러한 실시예에서, 복수의 햅틱 효과 각각은 버퍼에 저장될 수 있고, 이에 따라 햅틱 효과가 즉시, 그리고 처리에 지연 없이, 트리거하는 Sync 신호(예를 들어, Sync 신호의 임의의 주기의 증가와 감소)에 따라 출력될 수 있게 한다.

더 나아가, 일부 실시예에서, 프로세서는 하나 이상의 햅틱 효과의 우선도를 결정하고, 그 우선도를 기초로 효과를 출력하거나 현재 효과의 순서를 변경하지 않도록 결정할 수 있다. 일부 실시예에서, 효과의 우선도는 결정될 수 있거나, 다른 실시예에서, 햅틱 효과의 우선도는 햅틱 효과에 대한 콜에 포함될 수 있다. 예를 들어, 하나의 실시예에서, 프로세서는 임의의 햅틱 효과가 매우 낮은 우선도를 가지고, 더 높은 우선도의 또 다른 햅틱 효과를 간섭할 것 같다고 결정할 수 있다. 따라서, 일부 실시예에서, 프로세서는 더 낮은 우선도 햅틱 효과를 출력하지 않기로 결정할 수 있다. 유사하게, 하나의 실시예에서, 프로세서는 햅틱 효과가 매우 높은 우선도를 가지고, 또 다른 효과가 낮은 우선도를 가지고, 높은 우선도 효과를 간섭할 것이라고 결정할 수 있다. 이러한 실시예에서, 프로세서는 현재의 낮은 우선도 효과를 멈추고, 높은 우선도 효과를 출력할 수 있다.

일부 실시예에서, 프로세서는 햅틱 효과가 스킵되어야만 한다고 결정할 수 있다. 예를 들어, 일부 실시예에서, 프로세서는 두 개의 효과가 실질적으로 동일할 수 있다고 결정할 수 있다. 예를 들어, 햅틱 효과는 리스트에 따라 빨리 스크롤링하는 것으로부터 초래된다. 일부 실시예에서, 프로세서는, 이 효과 중 오직 하나가 주어진 시간 슬롯 내에(예를 들어, Sync 신호의 주기 내에) 출력되도록 이 효과 중 하나 이상이 무시될 수 있다고 결정할 수 있다. 유사하게, 일부 실시예에서, 유사하지만 동일하지 않는 효과는 생략되거나 무시되거나 또 다른 효과와 결합될 수 있다. 일부 실시예에서, 둘 이상의 햅틱 효과의 유사성은, 부분적으로, 지속 기간, 크기, 반복률, 엔벨로프(envelope), 또는 효과와 연관된 패턴과 같은 파라미터를 기초로 결정될 수 있다. 더욱이, 일부 실시예에서, 햅틱 효과의 유사성은, 적어도 부분적으로 지각 모델(perceptual model)을 기초로 결정될 수 있다. 일부 실시예에서, 이 지각 모델은 둘 이상의 효과가 인간에게 어떻게 다르게 느껴질 수 있는지에 대한 결정을 포함할 수 있다. 예를 들어, 일부 실시예에서, 짧고 강한 효과는 더 길고 더 약한 효과와 유사하게 느껴질 수 없다. 더욱이, 일부 실시예에서, 예를 들어, 프로세서가 특히 과중한 부하에 놓여있을 때 시간 슬롯 동안 모든 효과를 무시하는 것이 바람직한, 조건이 있을 수 있다.

일부 실시예에서, 프로세서는 대체적인 햅틱 효과(alternate haptic effect)를 결정할 수 있다. 예를 들어, 다음 햅틱 효과 이전에 햅틱 효과를 결정하고 출력하기 불충분한 시간이 있기 때문에 프로세서는 이러한 결정을 할 수 있다. 따라서, 일부 실시예에서, 프로세서는 햅틱 효과를 대신하여 출력할 수 있는 더 간단하거나 더 짧은 햅틱 효과를 결정할 수 있다. 일부 실시예에서, 이는, 버퍼에 저장된 또 다른 햅틱 효과가 현재의 효과 대신에 출력되어야만 한다고 결정하는 것을 포함할 수 있다. 여전히 또 다른 실시예에서, 프로세서는, 그것이 현재의 효과보다 더 높은 우선도를 포함할 수 있는 또 다른 햅틱 효과를 간섭할 것이기 때문에, 효과가 출력되어서는 안 된다고 결정할 수 있다. 여전히 또 다른 실시예에서, 프로세서는 현재의 햅틱 효과가 출력될 수 있도록 더 낮은 우선도인 하나 이상의 햅틱 효과를 지연하기로 결정할 수 있다.

햅틱 피드백 콜을 싱크하는 예시적인 방법

이제 도 4를 참조하면, 도 4는 햅틱 피드백 콜을 싱크하는 방법에 대한 예시적 실시예를 설명하는 흐름도이다. 일부 실시예에서, 도 4에서의 단계들은, 프로세서, 예를 들어 범용 컴퓨터, 이동 장치 또는 서버에서의 프로세서에 의해 실행되는 프로그램 코드에서 구현될 수 있다. 일부 실시예에서, 이 단계들은, 프로세서 그룹, 예를 들어 이동 장치 상의 프로세서 및 서버와 같은 하나 이상의 범용 컴퓨터 상의 프로세서에 의해 이행될 수 있다. 더 나아가, 도 4에 도시된 동작이 순차적인 프로세스처럼 설명되지만, 동작의 많은 부분은 병렬로 또는 동시에 수행될 수 있다. 추가적으로, 동작의 순서는 재배열될 수 있다. 유사하게, 도 4에 도시된 프로세스는 도 4에 구비되어 있지 않은 추가적인 스텝들을 포함할 수 있다. 아래의 단계는, 도 1에 관해 설명된 장치(102)의 컴포넌트에 관해 설명된다.

도 4에 도시된 바와 같이, 방법(400)은 프로세서(110)가 사용자 인터페이스 이벤트와 연관된 입력 신호를 수신할 때 시작한다. 일부 실시예에서, 입력 신호는 사용자 입력, 예를 들어 사용자 입력 장치(114)와 연관된 사용자 입력과 연관된 신호를 포함할 수 있다. 일부 실시예에서, 이 입력은 터치스크린 디스플레이에 의한 사용자 입력, 예를 들어 터치스크린 디스플레이에 디스플레이된 인터페이스에 의한 사용자 입력을 포함할 수 있다. 다른 실시예에서, 입력 신호는 네트워크 인터페이스(120)로부터 수신된 신호를 포함할 수 있다. 예를 들어, 하나의 실시예에서, 입력 신호는 원격 장치로부터 수신된 신호를 포함할 수 있다. 예를 들어, 하나의 실시예에서, 신호는, 전화 콜, 보이스메일, 이메일, 문자 메시지, 날씨 경보, 뉴스 특보, 또는 또 다른 장치로부터 수신된 몇몇의 다른 유형의 메시지를 포함할 수 있다. 여전히 또 다른 실시예에서, 사용자 인터페이스 이벤트는 프로세서(110)의 동작과 연관된 이벤트를 포함할 수 있다. 예를 들어, 하나의 실시예에서, 사용자 인터페이스 이벤트는 프로세서(110)에 의해 재생되는 오디오 또는 비디오 파일과 같은 미디어 파일과 연관될 수 있다. 여전히 다른 실시예에서, 사용자 인터페이스 이벤트는 프로세서(110)에 의해 실행되는 게임, 뉴스, 미디어 또는 네트워크 어플리케이션과 같은 어플리케이션과 연관된 이벤트를 포함할 수 있다. 여전히 또 다른 실시예에서, 입력 신호는 내부적으로 생성된 신호를 포함할 수 있다. 예를 들어, 하나의 실시예에서, 입력 신호는 장치(102)의 동작과 연관된 신호, 예를 들어 예를 들어 그것의 현재 배터리 수준, 온도 경고, 타이머 기반 경보, 또는 장치(102)의 동작과 연관된 몇몇의 다른 경고를 포함할 수 있다.

방법(400)은 프로세서(110)가 햅틱 피드백 신호(404)를 결정하는 경우로 계속된다. 프로세서는 햅틱 효과를 결정하기 위해 메모리(112)의 메모리 모듈에 들어있는 프로그래밍에 의존할 수 있다. 예를 들어, 프로세서(110)는 메모리(112)에 저장되고 특정 햅틱 효과와 연관된 드라이브 신호에 액세스할 수 있다. 또 다른 예로서, 신호는 저장된 알고리즘에 액세스하고 효과와 연관된 파라미터를 입력함으로써 생성될 수 있다. 예를 들어, 알고리즘은, 진폭 및 주파수 파라미터를 기초로 드라이브 신호를 생성하는데 사용되는 데이터를 출력할 수 있다.

방법(400)은, 프로세서(110)가 부분적으로 햅틱 피드백 레이트(406)를 기초로 햅틱 신호를 출력할지 여부를 결정하는 경우로 계속된다. 일부 실시예에서, 이는 Android®운영 시스템에서의 VSync와 같은 동기화 신호 상에 현재 포인트를 결정하는 것을 포함할 수 있다. 예를 들어, 하나의 실시예에서, 프로세서(110)는 햅틱 효과가 Sync 신호의 현재 주기 동안(예를 들어, Sync 신호의 다음 증가 또는 감소 시에) 출력되어야만 할지 여부를 결정할 수 있다. 더 나아가, 프로세서(110)는 하나의 햅틱 효과가 또 다른 햅틱 효과를 간섭하거나, 또 다른 햅틱 효과의 상부에 겹칠 수 있도록 하는 시간(예를 들어, Sync 신호의 주기 동안)에는 햅틱 효과를 출력할 수 없다. 따라서, 프로세서(110)는, 예를 들어 햅틱 출력 장치가 가속할 필요가 있기 때문에 햅틱 효과가 시작되기 위해 임의의 주기의 시간이 걸릴지 여부를 결정하도록 구성될 수 있다. 더욱이, 프로세서는, 예를 들어 햅틱 출력 장치가 감속할 필요가 있기 때문에 햅틱 효과를 멈추기 위해 임의의 주기의 시간보다 더 걸릴지 여부를 결정하도록 구성될 수 있다. 일부 실시예에서, 프로세서(110)는 각각의 햅틱 효과 사이에 경과될 필요가 있는 하나 이상의 Sync 신호의 주기를 결정하기 위해 이 계산을 이용할 수 있다.

일부 실시예에서, 햅틱 효과를 출력할지 여부를 결정하는 것은, 현재의 프로세서 이용도와 연관된 결정을 포함할 수 있다. 예를 들어, 일부 실시예에서, 프로세서(110)는 그 현재의 이용율을 기초로 햅틱 효과를 출력할지 안 할지 여부를 결정할 수 있다. 또 다른 실시예에서, 햅틱 피드백 레이트는 가변적인 주파수를 포함할 수 있다. 예를 들어, 하나의 실시예에서, 프로세서(110)의 이용율이 낮을 때, 이에 따라 햅틱 효과를 빨리 결정할 수 있을 때, 햅틱 피드백 레이트는 상대적으로 높은 주파수(예를 들어, 90Hz)를 포함할 수 있다. 더 나아가, 이러한 예에서, 프로세서(110)의 이용도가 높고, 이에 따라 프로세서(110)가 빨리 햅틱 효과를 결정할 수 없을 때, 햅틱 피드백 레이트는 상대적으로 더 낮은 주파수(예를 들어, 45Hz)를 포함할 수 있다. 더 나아가, 일부 실시예에서, 햅틱 피드백 레이트는 복수의 요인, 예를 들어 현재 프로세서 이용도, 사용자 선택, 장치 상의 이용가능한 하드웨어, 장치 상의 액츄에이터 유형 또는 몇몇의 다른 특성 중 하나 이상을 기초로 다양할 수 있다.

더 나아가, 일부 실시예에서, 햅틱 효과를 출력할지 여부를 결정하는 것은, 햅틱 효과의 우선도를 결정하는 것을 포함할 수 있다. 일부 실시예에서, 이는 다른 햅틱 효과의 우선도를 결정하는 것을 포함할 수 있다. 예를 들어, 프로세서(110)가 출력하기로 스케쥴링한 하나 이상의 햅틱 효과는 현재 효과의 우선도와 비교될 수 있다. 예를 들어, 하나의 실시예에서, 프로세서(110)는 임의의 효과가 매우 낮은 우선도를 가지고 더 높은 우선도의 또 다른 햅틱 효과를 간섭할 것 같다고 결정할 수 있다. 따라서, 일부 실시예에서, 프로세서(110)는 더 낮은 우선도의 햅틱 효과를 출력하지 않기로 결정할 수 있다. 유사하게, 하나의 실시예에서, 프로세서(110)는 햅틱 효과가 매우 높은 우선도를 가지고, 또 다른 효과가 더 낮은 우선도를 가지고 높은 우선도 효과를 간섭할 것이라고 결정할 수 있다. 이러한 실시예에서, 프로세서(110)는 더 낮은 우선도 효과를 멈추고, 높은 우선도 효과를 출력할 수 있다. 유사하게, 일부 실시예에서, 프로세서(110)가 동시에 출력되기로 스케쥴링된 복수의 햅틱 효과를 수신할 때, 프로세서(110)는 유사한 결정을 할 수 있다.

일부 실시예에서, 햅틱 효과의 우선도는 부분적으로, 햅틱 효과를 출력하는 액츄에이터, 햅틱 효과와 연관된 입력(예를 들어, 메시지, 폰 콜, 이메일, 사용자 상호작용, 또는 낮은 배터리 경보와 같은 장치 경고), 햅틱 효과의 길이, 햅틱 효과의 주파수 또는 진폭, 장치가 현재 사용 중에 있는지 여부, 사용자에 의한 우선도 지정 중 하나 이상을 기초로 결정될 수 있다.

방법(400)은, 프로세서(110)가 대체적인 햅틱 피드백 신호를 햅틱 피드백 신호(408) 대신에 출력하기로 결정하는 때로 계속된다. 일부 실시예에서, 프로세서(110)는, 다음 햅틱 효과 전에 햅틱 효과를 결정하고 출력하기에 불충분한 시간이 있기 때문에 대체적인 햅틱 효과를 결정할 수 있다. 따라서, 일부 실시예에서, 프로세서(110)는 햅틱 효과를 대신하여 출력할 수 있는 더 간단하거나 더 짧은 햅틱 효과를 결정할 수 있다. 일부 실시예에서, 이는, 버퍼, 예를 들어 메모리(112)의 버퍼에 저장된 또 다른 햅틱 효과를 현재의 효과 대신에 출력하기로 결정하는 것을 포함할 수 있다. 여전히 또 다른 실시예에서, 프로세서(110)는, 햅틱 효과가 또 다른 햅틱 효과를 간섭할 수 있기 때문에, 햅틱 효과를 출력하지 않기로 결정할 수 있다. 여전히 또 다른 실시예에서, 프로세서는, 더 낮은 우선도의 하나 이상의 햅틱 효과를 지연하고, 그 대신 현재의 햅틱 효과를 출력하기로 결정할 수 있다.

방법(400)은, 프로세서(110)가 햅틱 출력 장치로 햅틱 피드백 신호를 출력하기로 한 때로 계속된다. 위에서 논의된 바와 같이, 일부 실시예에서, 햅틱 출력 장치(118)는 장치(102) 내의 다른 컴포넌트 또는 터치 표면(116)에 연결된 전동기 또는 압전 액츄에이터와 같은 전통적인 액츄에이터를 포함할 수 있다. 다른 실시예에서, 햅틱 출력 장치(118)는 질감을 시뮬레이트하거나 정전기장을 사용하여 감지된 표면 상의 마찰 계수를 다양하게 하도록 구성된 하나 이상의 정전기 액츄에이터를 포함할 수 있다. 더 나아가, 일부 실시예에서, 햅틱 효과는 복수의 이용가능한 질감 중 하나 이상과 연관될 수 있다. 예를 들어, 복수의 질감은, 물, 풀, 얼음, 금속, 모래, 자갈, 벽돌, 털, 가죽, 피부, 섬유, 고무, 잎, 또는 임의의 다른 이용가능한 질감, 예를 들어 폭발이나 불과 연관된 질감 중 하나 이상의 질감을 포함할 수 있다. 여전히 다른 실시예에서, 햅틱 효과는, 사용자가 장치(102)의 터치 표면(예를 들어, 터치스크린 디스플레이의 표면)과 상호작용함으로써 느껴지는 마찰계수를 다르게 하도록 구성된 햅틱 효과를 포함할 수 있다. 이러한 실시예에서, 햅틱 효과는 정전기 액츄에이터에 의해 출력되는 효과, 액츄에이터에 의해 출력되는 초음파 진동을 포함할 수 있다.

하나의 실시예에서, 프로세서(110)는 햅틱 출력 장치(118)에 의해 디코딩되는 햅틱 데이터를 포함하는 햅틱 신호를 출력할 수 있다. 예를 들어, 햅틱 출력 장치(118)는 진폭 및 주파수와 같은 파라미터를 명시하는 명령에 그 자체로 응답할 수 있다. 더 나아가, 일부 실시예에서, 프로세서(110)는 햅틱 신호를 햅틱 출력 장치(118)로 이어 출력하는 버퍼, 예를 들어 메모리(112) 내의 버퍼에 신호를 출력할 수 있다.

본 개시의 다양한 실시예의 이점

본 개시의 실시예는 햅틱 효과를 출력하는 종래의 방법보다 수많은 이점을 제공한다. 예를 들어, 각각의 효과가 별개로 느껴질 수 있는 방법으로 이들이 결정되고, 스케쥴링되고, 버퍼링될 수 있기 때문에 하나의 이점은 햅틱 효과가 "부드럽게" 출력될 수 있다는 것이다. 이들이 하나의 햅틱 효과가 또 다른 효과를 간섭하지 못하도록 하는 방법으로 출력된다면, 햅틱 효과는 더 유용해질 수 있기 때문에, 이는 사용자에게 더 큰 만족을 초래할 수 있다.

유사하게, 본 개시의 실시예는, 더 높은 우선도의 햅틱 효과가 다른 더 낮은 우선도의 햅틱 효과 전이나, 다른 더 낮은 우선도의 햅틱 효과를 대신하여 출력될 수 있다. 일부 실시예에서, 가장 중요한 햅틱 효과(예를 들어, 미팅 리마인더)가 덜 중요한 햅틱 효과(예를 들어, 사용자가 거의 보지 않는 어플리케이션으로부터의 뉴스 경보)에 의해 약해지지 않을 것이기 때문에, 이는 햅틱 효과가 더 유용하도록 할 수 있을 것이다.

더 나아가, 햅틱 효과는 미리 결정되고, 버퍼링될 수 있어, 임의의 시간에 프로세서 이용도를 잠재적으로 줄일 수 있기 때문에, 본 개시의 실시예는 햅틱 능력을 가진 장치가 더 효율적으로 동작하도록 할 수 있다. 더욱이, 본 개시의 일부 실시예는 동기화를 위해 이미 사용하고 있는 신호, 예를 들어 VSync 신호를 사용할 수 있다.

일반적인 고려사항

위에서 논의된 방법, 시스템 및 장치는 예이다. 다양한 구성은, 다양한 절차나 컴포넌트를 적절히 생략하거나, 교체하거나, 추가할 수 있다. 예를 들어, 대체적인 구성에서, 방법은 서술된 것과 다른 순서대로 수행될 수 있고/있거나 다양한 단계가 추가, 생략 및/또는 결합될 수 있다. 또한, 임의의 구성에 대해 서술된 특징은 다양한 다른 구성과 결합될 수 있다. 구성의 서로 다른 양상 및 요소는 비슷한 방법으로 결합될 수 있다. 또한, 기술은 진보할 것이고, 이에 따라 본 명세서에 기재된 요소의 많은 부분은 예이고, 개시 또는 청구항의 범주를 제한하지 않는다.

구체적인 세부사항은 (구현을 포함한) 구성 예의 철저한 이해를 제공하기 위해 설명에서 주어진다. 그러나, 구성은 이 구체적인 사부사항 없이 실행될 수 있다. 예를 들어, 잘 알려진 회로, 프로세스, 알고리즘, 구조 및 기술은 구성을 모호하게 하는 것을 피하기 위해 필요 없는 세부사항 없이 도시되었다. 이 서술은 오직 구성 예를 제공할 뿐, 청구항의 구성, 적용, 또는 범위를 제한하다. 오히려, 구성의 선행하는 설명은 본 기술 분야의 통상의 기술자가 설명된 기술을 이행하는 것을 가능하게 하는 설명을 제공할 것이다. 다양한 변경은 개시의 의미와 범위를 벗어나지 않고, 요소의 배열과 기능 안에서 이루어질 수 있다.

또한, 구성은 흐름도 또는 블록도로서 묘사되는 프로세스로 설명될 수 있다. 각각은 순차적인 프로세스로서 동작을 설명할 수 있지만, 동작의 많은 부분은 병렬적으로 또는 동시에 수행될 수 있다. 추가적으로, 동작의 순서는 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가적인 스텝을 가질 수 있다. 더욱이, 방법의 예는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어, 또는 이들의 임의의 조합에 의해 이행될 수 있다. 소프트웨어, 펌웨어, 미들웨어, 또는 마이크로코드에서 이행될 때, 필요한 작업을 수행하기 위한 프로그램 코드 또는 코드 세그먼트는 저장 매체와 같은 비일시적인 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서는 서술된 작업을 수행할 수 있다.

수개의 구성 예를 서술하였지만, 다양한 수정, 대체적인 구조, 및 등가물은 개시의 의미를 벗어남이 없이 사용될 수 있다. 다른 규칙이 개시의 응용의 우위에 있거나 그렇지 않으면 개시의 응용을 수정할 수 있는, 예를 들어, 위의 요소는 더 큰 시스템의 컴포넌트일 수 있다. 또한, 많은 스텝은 위의 요소가 고려되기 전, 동안 또는 후에 착수될 수 있다. 이에 따라, 위의 설명은 청구항의 범위를 구속할 수 없다.

본원에서 "적용되는" 또는 "구성되는"의 사용은 추가적인 작업 또는 스텝을 수행하도록 적용되거나 구성되는 장치를 배제하지 않는 열린 그리고 포괄적인 언어로 의미된다. 추가적으로, "을 기초로"의 사용은, 하나 이상의 인용된 조건 또는 값"을 기초로" 프로세스, 스텝, 계산 또는 다른 액션이 인용된 것을 넘어서 실제로 추가적인 조건 또는 값을 기초로 할 수 있다는 점에서 열린 그리고 포괄적인 것으로 의미된다. 본원에 포함된 헤딩, 리스트, 넘버링은 오직 쉽게 설명하기 위한 것이고, 제한으로 의미되지 않는다.

본 주제의 양상에 따라 실시예는 디지털 전자 회로에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어에서, 또는 선행의 조합에서 이행될 수 있다. 하나의 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는, 프로세서에 결합된 램(random access memory; RAM)과 같은, 컴퓨터 판독가능 매체로의 액세스를 포함하거나 가진다. 프로세서는, 상술한 방법을 수행하기 위한 센서 샘플링 루틴, 선택 루틴, 및 다른 루틴을 구비하는 하나 이상의 컴퓨터 프로그램을 실행하는 것과 같은 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어를 실행한다.

이러한 프로세서는 마이크로프로세서, 디지털 신호 처리기(DSP), 응용 주문형 집적 회로(application-specific integrated circuit; ASIC), 필드 프로그램가능한 게이트 어레이(field programmable gate arrays; FPGAs) 및 상태 머신을 포함할 수 있다. 이러한 프로세서는 PLC들, 프로그램가능한 인터럽트 제어기(programmable interrupt controllers; PICs), 프로그램가능한 논리 장치(programmable logic devices; PLDs), 피롬(programmable read-only memories; PROMs), 이피롬(electronically programmable read-only memories; EPROMs or EEPROMs), 또는 다른 유사한 장치와 같은 프로그램가능한 전자 장치를 더 포함할 수 있다.

이러한 프로세서는, 프로세서의 의해 실행될 때, 프로세서가 프로세서에 의해 실행되고 어시스트되는 본원에 서술된 스텝을 수행하도록 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들어 유형의 컴퓨터 판독가능 매체를 포함할 수 있거나 이와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예는, 웹 서버에 있는 프로세서와 같은 프로세서에 컴퓨터 판독가능 명령어를 제공할 수 있는 모든 전자, 광, 자기, 또는 다른 저장 장치를 포함할 수 있으나, 이에 제한되지 않는다. 매체의 다른 예는 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되지 않는다. 또한, 다양한 다른 장치는, 라우터, 사설 또는 공중 네트워크, 또는 다른 전송 장치와 같은 컴퓨터 판독가능 매체를 구비할 수 있다. 서술된 프로세서 및 처리는 하나 이상의 구조 내에 있을 수 있고, 하나 이상의 구조를 통해 분산될 수도 있다. 프로세서는 본원에 서술된 방법(또는 방법의 일부분)의 하나 이상을 실행하기 위한 코드를 포함할 수 있다.

본 주제는 이들의 구체적인 실시예에 대해 상세히 서술되었지만, 앞서 말한 것의 이해가 이루어짐에 따라 본 기술분야의 통상의 기술자가 이러한 실시예에 변화, 변형, 동등물을 기꺼이 생성할 수 있다고 평가될 것이다. 이에 따라, 본 개시는, 제한이라기보다는 예를 목적으로 주어졌고, 본 기술분야의 통상의 기술자에게 기꺼이 분명한 것처럼 본 주제에 이러한 수정, 변형 및/또는 추가의 포함을 불가능하게 하지 않는다는 것을 이해해야 한다.

Claims

햅틱 피드백을 제공하는 방법으로서,
사용자 인터페이스 이벤트와 연관된 입력 신호를 수신하는 단계;
적어도 부분적으로 상기 입력 신호를 기초로 하여 햅틱 피드백 신호를 결정하는 단계; 및
적어도 부분적으로 햅틱 피드백 레이트를 기초로 하여 햅틱 출력 장치에 상기 햅틱 피드백 신호를 출력할지 여부를 결정하는 단계
를 포함하는, 햅틱 피드백을 제공하는 방법.
제1항에 있어서,
상기 햅틱 피드백 신호를 상기 햅틱 출력 장치로 출력하는 단계
를 더 포함하는, 햅틱 피드백을 제공하는 방법.
제1항에 있어서, 상기 사용자 인터페이스 이벤트는,
터치 감응식 디스플레이와의 사용자 상호작용과 연관되는, 햅틱 피드백을 제공하는 방법.
제1항에 있어서, 상기 사용자 인터페이스 이벤트는,
사용자 인터페이스의 변경과 연관되는, 햅틱 피드백을 제공하는 방법.
제1항에 있어서, 상기 사용자 인터페이스 이벤트는,
메시지를 수신하는 것과 연관되는, 햅틱 피드백을 제공하는 방법.
제1항에 있어서,
상기 햅틱 피드백 신호를 대신해 출력할 대체적인 햅틱 피드백 신호(alternate haptic feedback signal)를 결정하는 단계
를 더 포함하는, 햅틱 피드백을 제공하는 방법.
제1항에 있어서,
상기 햅틱 피드백 신호는 제1 햅틱 피드백 신호를 포함하고,
상기 제1 햅틱 피드백 신호보다 제2 햅틱 피드백 신호를 우선시키는 단계를 더 포함하는 햅틱 피드백을 제공하는 방법.
제1항에 있어서,
상기 햅틱 피드백 신호는 제1 햅틱 피드백 신호를 포함하고,
상기 햅틱 피드백 신호를 햅틱 출력 장치에 출력할지 여부를 결정하는 단계는,
상기 제1 햅틱 피드백 신호와 연관된 제2 햅틱 피드백 신호를 결정하는 단계; 및
상기 제2 햅틱 피드백 신호를 상기 햅틱 출력 장치에 출력하는 단계를 포함하는, 햅틱 피드백을 제공하는 방법.
제1항에 있어서, 상기 햅틱 피드백 레이트는,
VSync 레이트, 오디오 샘플링 레이트, 적어도 부분적으로 CPU 이용도의 측정을 기초로 한 결정, 적어도 부분적으로 타이머를 기초로 한 결정, 적어도 부분적으로 데이터 전송 레이트를 기초로 한 결정, 및 적어도 부분적으로 디스플레이의 해상도를 기초로 한 결정
중 하나 이상을 포함하는, 햅틱 피드백을 제공하는 방법.
사용자 인터페이스를 디스플레이하도록 구성된 디스플레이;
햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성된 햅틱 출력 장치; 및
상기 디스플레이 및 상기 햅틱 출력 장치와 통신하고,
사용자 인터페이스 이벤트와 연관된 입력 신호를 수신하고, 적어도 부분적으로 상기 입력 신호를 기초로 하여 햅틱 피드백 신호를 결정하고, 적어도 부분적으로 햅틱 피드백 레이트를 기초로 하여 상기 햅틱 피드백 신호를 상기 햅틱 출력 장치로 출력할지 여부를 결정하도록 구성된 프로세서
를 포함하는 전자 장치.
제10항에 있어서, 상기 프로세서는,
상기 햅틱 피드백 신호를 상기 햅틱 출력 장치로 출력하도록 더 구성되는, 전자 장치.
제10항에 있어서,
상기 디스플레이는 터치 감응식 디스플레이를 포함하고,
상기 사용자 인터페이스 이벤트는 상기 터치 감응식 디스플레이와의 사용자 상호작용과 연관되는, 전자 장치.
제10항에 있어서, 상기 사용자 인터페이스 이벤트는,
상기 사용자 인터페이스의 변경과 연관되는, 전자 장치.
제10항에 있어서, 상기 사용자 인터페이스 이벤트는,
메시지를 수신하는 것과 연관되는, 전자 장치.
제10항에 있어서, 상기 프로세서는,
상기 햅틱 피드백 신호 대신에 대체적인 햅틱 피드백 신호를 출력하기로 결정하도록 더 구성된, 전자 장치.
제10항에 있어서,
상기 햅틱 피드백 신호는 제1 햅틱 피드백 신호를 포함하고,
상기 제1 햅틱 피드백 신호보다 제2 햅틱 피드백 신호를 우선시키는 것을 더 포함하는, 전자 장치.
제10항에 있어서,
상기 햅틱 피드백 신호는 제1 햅틱 피드백 신호를 포함하고,
상기 햅틱 피드백 신호를 햅틱 출력 장치로 출력할지 여부를 결정하는 것은, 상기 제1 햅틱 피드백 신호와 연관된 제2 햅틱 피드백 신호를 결정하고, 상기 제2 햅틱 피드백 신호를 상기 햅틱 출력 장치로 출력하는 것을 포함하는, 전자 장치.
제10항에 있어서, 상기 햅틱 피드백 레이트는,
VSync 레이트, 오디오 샘플링 레이트, 적어도 부분적으로 CPU 이용도의 측정을 기초로 한 결정, 적어도 부분적으로 타이머를 기초로 한 결정, 적어도 부분적으로 데이터 전송 레이트를 기초로 한 결정, 및 적어도 부분적으로 상기 디스플레이의 해상도를 기초로 한 결정
중 하나 이상을 포함하는, 전자 장치.
프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체(non-transient computer readable medium)로서,
상기 프로그램 코드는,
프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
사용자 인터페이스 이벤트와 연관된 입력 신호를 수신하고,
적어도 부분적으로 상기 입력 신호를 기초로 하여 햅틱 피드백 신호를 결정하고,
적어도 부분적으로 햅틱 피드백 레이트를 기초로 하여 상기 햅틱 피드백 신호를 햅틱 출력 장치로 출력할지 여부를 결정하게 하도록 구성된, 비일시적 컴퓨터 판독가능 매체.
제19항에 있어서,
프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
상기 햅틱 피드백 신호를 상기 햅틱 출력 장치로 출력하게 하도록 구성된 프로그램 코드를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.