KR101902421B1 - 클릭 느낌을 시뮬레이션하는 햅틱 피드백을 생성하는 터치 감지 디바이스 - Google Patents

클릭 느낌을 시뮬레이션하는 햅틱 피드백을 생성하는 터치 감지 디바이스 Download PDF

Info

Publication number
KR101902421B1
KR101902421B1 KR1020177022984A KR20177022984A KR101902421B1 KR 101902421 B1 KR101902421 B1 KR 101902421B1 KR 1020177022984 A KR1020177022984 A KR 1020177022984A KR 20177022984 A KR20177022984 A KR 20177022984A KR 101902421 B1 KR101902421 B1 KR 101902421B1
Authority
KR
South Korea
Prior art keywords
touch sensitive
sensitive surface
signal
audio signal
exciters
Prior art date
Application number
KR1020177022984A
Other languages
English (en)
Other versions
KR20170098968A (ko
Inventor
네일 존 해리스
Original Assignee
엔브이에프 테크 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엔브이에프 테크 리미티드 filed Critical 엔브이에프 테크 리미티드
Publication of KR20170098968A publication Critical patent/KR20170098968A/ko
Application granted granted Critical
Publication of KR101902421B1 publication Critical patent/KR101902421B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Position Input By Displaying (AREA)

Abstract

터치 감지(touch sensitive) 디바이스로서, 터치 감지 표면, 상기 터치 감지 표면상의 사용자의 터치를 검출하도록 배열되고 구성되는 하나 이상의 센서, 상기 터치 감지 표면과 커플링되는 복수의 힘 여진기 또는 액츄에이터, 상기 복수의 힘 여진기 또는 액츄에이터와 커플링되는 신호 생성기, 및 상기 하나 이상의 센서 및 상기 신호 생성기와 통신하는 프로세서를 포함하고, 상기 프로세서는, 사용자의 상기 터치 감지 표면의 터치에 반응하여 상기 복수의 힘 여진기 또는 액츄에이터에, 상기 사용자에 의하여 터치된 영역에서의 햅틱 감각, 및 상기 사용자에 의하여 터치된 영역에 국소화(localised)되고 상기 햅틱 감각과 시간적으로 동기하도록 조향(steered)되는 오디오 신호를 제공한다.

Description

클릭 느낌을 시뮬레이션하는 햅틱 피드백을 생성하는 터치 감지 디바이스{TOUCH SENSITIVE DEVICE GENERATING A HAPTIC FEEDBACK THAT SIMULATES A CLICK FEELING}
본 발명은 터치 감지 스크린들 또는 패널들을 포함하는 터치 감지 디바이스들에 관한 것이다.
미국특허 US 4,885,565, US 5,638,060, US 5,977,867, US 2002/0075135는 터치 되었을 때, 사용자에 대한 촉각 피드백(tactile feedback)을 가지는 터치-동작 장치(touch-operated apparatus)를 설명한다. 미국특허 US 4,885,565에서는, 촉각 피드백을 제공하기 위해 동력이 공급될 때, CRT에 움직임을 전하는 액추에이터(actuator)가 제공된다. US 5,638,060에서는, 사용자의 손가락에 대해 반동력(reaction force)을 인가하는 요소들을 진동시키기 위한 스위치를 형성하는 압전 소자(piezo-electric element)에 전압이 인가된다. US 5,977,867에서는, 촉각 피드백 유니트가 터치 스크린이 손가락 또는 포인터에 의해 터치 되었을 때, 사용자가 느끼는 기계적 진동(mechanical vibration)을 생성한다. 기계적 진동의 진폭, 진동 주파수, 및 펄스 길이는, 느끼기에는 충분히 길지만 다음 키의 터치 전에 종료되기에 충분히 짧은 펄스폭으로 제어된다. US 2002/0075135는 버튼 클릭을 시뮬레이션하기 위해, 과도 스파이크 형태의 펄스를 제공하는 제2 트랜스듀서(transducer)의 사용을 설명한다.
상기 설명된 종래 기술 명세서 각각에서, 촉각 피드백은 사용자의 손가락 또는 포인터의 개별 터치에 대한 응답으로 제공된다.
본 발명은 터치 감지 스크린들 또는 패널들을 포함하는 터치 감지 디바이스들을 제공하는 것을 목적으로 한다.
본 발명에 따라, 터치-감지 표면 및 상기 터치-감지 표면에 연결된 힘 여진기(force exciter) 또는 액추에이터(actuator)를 포함하는 결합 시스템에서, 키보드 스위치 햅틱 감각(haptic sensation)을 생성하는 방법으로서, 상기 방법은
상기 결합 시스템의 주파수 대역폭 내의 주파수들에서 반송파 신호(carrier wave signal)를 발생시키는 단계,
변조된 반송파 신호가 근접하게 이격된 피크 쌍을 가지도록 포락 변조로 상기 반송파 신호를 변조하는 단계, 및
근접하게 이격된 임펄스 쌍을 제공하도록 상기 터치-감지 표면을 여진하기 위해 상기 변조된 반송파 신호로 상기 여진기 또는 액추에이터를 구동하는 단계로서, 상기 키보드 스위치 햅틱 감각이 상기 터치-감지 표면을 터치하는 사용자에게 시뮬레이션되는 상기 구동하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 측면에 따라, 터치-감지 표면,
상기 터치-감지 표면에 결합되는 힘 여진기로서, 상기 힘 여진기는 자신에게 송신된 신호에 응답하여 상기 표면에 진동을 여진시키고, 상기 터치-감지 표면과 함께 결합 시스템을 형성하는 상기 힘 여진기, 및
상기 신호를 생성하는 신호 생성기로서, 상기 생성기는 상기 결합 시스템의 주파수 대역폭 내의 주파수들에서 반송파 신호를 생성하고, 변조된 반송파 신호가 근접하게 이격된 피크 쌍을 갖도록 상기 반송파 신호를 포락 변조로 변조하며, 이로 인해 상기 변조된 반송파 신호에 응답하여 상기 여진기가 여진한 상기 터치-감지 표면을 터치하는 사용자는 키보드 스위치 햅틱 감각을 경험하게 되는 상기 신호 생성기를 포함하는 터치 감지 디바이스가 제공된다.
본 발명의 다른 측면에 따라, 터치-감지 표면 및 상기 터치-감지 표면에 연결되는 힘 여진기 또는 액추에이터를 포함하는 결합 시스템에서의 방법으로서,
상기 결합 시스템의 주파수 대역폭 내의 주파수들에서 신호를 생성하는 단계; 및
상기 터치-감지 표면을 여진시켜서, 가청 신호를 방출하고 또한 상기 터치-감지 표면을 터치하는 사용자에 응답하여 햅틱 감각을 시뮬레이션하기 위해 상기 신호로 상기 여진기 또는 액추에이터를 구동하는 단계를 포함하는 방법이 제공된다.
신호는 햅틱 감각을 시뮬레이션을 위해 오디오 성분과 저주파 성분을 모두 가진다.
위의 측면은 서로 결합될 수 있고 다음과 같은 특징 중 하나는 모든 측면에 적용할 수 있다.
펄스 쌍은 10 내지 40ms, 15내지 30ms, 22 내지 26ms의 정도의 시간 간격만큼 이격된 피크들을 가진다. 피크 쌍의 제 2 피크는 제 1 피크 폭의 3-4배 사이의 폭을 가질 수 있다.
포락변조로 반송파 신호를 변조하고, 포락변조는 반송파 신호가 인접하여 이격된 피크 쌍을 가지도록 감쇠율이 서로 다른 두 개의 지수 함수(exponential functions)의 합을 포함할 수 있다. 두 지수 함수는 다른 감쇠율 사이의 비율 r에 의존하는 인자 n의 함수이고 이로 인해 각 지수 함수의 감쇠율은 피크 쌍이 나타나는 것을 확인하도록 증가된다. 각 지수 함수는 동일한 인자 n 또는 두 개의 다른 인자 n1 및 n2 의 함수가 될 수 있다. 특히, 변조된 반송파 신호가 근접하게 이격된 피크 쌍을 가지도록 인자 또는 각 인자(n 또는 n1 및 n2)의 임계값이 결정될 수 있고, 값 n은 상기 임계값 이상이 되도록 설정하는 것이 바람직하다.
변조된 반송파 신호가 근접하게 이격된 피크 쌍을 가지며 피크들 사이에 있는 국소적 최소값은 미리 결정된 양 이상이도록 인자 또는 각각의 인자(n 또는 n1 및 n2)의 제2 값을 결정할 수 있고, 값 n이 제2 값 이상이 되도록 설정한다. 포락 변조는 다음과 같이 정의될 수 있다.
Figure 112017079498773-pat00001
여기서, α 및 α/r 는 각 지수 함수의 감쇠율이다. t는 시간, n1 및 n2는 r에 의존하는 인자이다(n1은 n2와 동일할 수 있음).
함수 f의 1차 및 2차 미분이 동일 지점에서 0이 되도록 값을 결정함으로써, n의 임계값이 계산될 수 있다.
햅틱신호와 시간적으로 동기하는 오디오 신호로 여진기를 구동한다. 오디오 신호는 실질적으로 1/3 옥타브 대역폭을 가지는 음향 특징을 가진다. 오디오 신호는 실질적으로 800 Hz에서 4HKz까지의 범위의 주파수를 가진다. 터치 감지 표면상의 오디오 신호를 사용자에 의해 터치된 영역에 대해 국소화(localising)할 수 있다. 선형 진폭 패닝(linear amplitude panning)을 이용하여 상기 오디오 신호가 조종(steering)되고/되거나, 동시에 터치 감지 표면의 다른 영역들로 조종될 수 있다. 복수의 힘 여진기 또는 액추에이터에서의 오디오신호들은 조종될 수 있다.
변조된 반송파 신호는 100ms의 영역에서 듀레이션을 가질 수 있다. 반송파 신호는 단일 주파수에서 사인파가 될 수 있다. 대안으로, 반송파 신호는 주파수 범위를 덮는 다중 사인파들을 포함할 수 있거나, 사인파(FM 변조됨) 또는 대역-제한 노이즈 신호가 소인(sweep)될 수 있다.
생성된 반송파 신호는 원하는 햅틱 감각을 생성하는 신호의 주파수와 화성적으로(harmonically) 관련된 주파수들에서 정보를 포함할 수 있고 이로 인해 햅틱 감각은 개선된다. 이것은 피치 인식(pitch recognition)이라는 잘 알려진 음향 심리학 현상(psychoacoustic phenomenon)을 따르고, 조화 급수(harmonic series)의 기본 원칙의 재구축은 실제 부재인 주파수의 인식이 가능하도록 한다.
진동은 굽힘파(bending wave) 진동 및 더욱 구체적으로는 공진 굽힘파 진동을 포함하는 임의 형태의 진동을 포함할 수 있다.
진동 여진기는 스크린 표면에 굽힘파 진동을 인가하는 수단을 포함할 수 있다. 진동 여진기는 전기-기계적일 수 있다. 이 여진기는 100Hz 내지 400Hz의 영역에서 결합 시스템을 위한 주파수 대역을 제공할 수 있다. 액추에이터는 높은 B1 또는 힘 인자(force factor)를 가질 수 있다. Bl은 3보다 큰 값 또는 5보다 큰 값을 가질 수 있다. B1은 표준 전자기 여진기에서, 보이스 코일 갭 내의 자기장 강도와 이 자기장에서 와이어의 길이의 곱으로서 정의되며, 단위는 테슬라 미터(Tㆍm)이다.
여진기는 전자기 여진기일 수 있고, 결합 시스템을 위해 150Hz 내지 300Hz의 주파수 대역을 가질 수 있다. 그러한 여진기들은 예컨대, 참조로서 여기에 병합되고 본 출원인이 소유한, WO97/09859, WO98/34320 및 WO99/13684로부터 본 기술분야에 잘 알려져 있다. 대안적으로, 여진기는 압전식 트랜스듀서, 자기-왜곡 여진기, 또는 굽힘식이거나 비틀림식 트랜스듀서(예컨대, WO00/13464에 개시된 형태)일 수 있다. 압전식 트랜스듀서는 결합 시스템용 주파수 대역을 가질 수 있고, 그 대역의 하한은 100Hz 내지 350Hz의 범위 내에 있다. 여진기는 참조로서 여기에 병합된 WO01/54450에서 설명한 바와 같은 분산 모드 액추에이터일 수 있고, 결합 시스템용 주파수 대역으로 150Hz 내지 350Hz를 가질 수 있다. 복수의 여진기들(다른 형태들일 수 있음)은 조화된 방식으로 동작하도록 선택될 수 있다. 여진기, 또는 각각의 여진기는 관성적(inertial)일 수 있다.
터치 표면은 굽힘파 디바이스(예를 들어, 공진 굽힘파 디바이스)인 패널-형식 부재(member)일 수 있다. 또한 터치 스크린은 음향 출력을 생산하는 진동을 제2 진동 여진기가 여진하는 확성기일 수 있다. 예를 들어, 터치 스크린은 참조로서 병합된 국제 특허 출원 WO97/09842에서 설명하는 바와 같이, 공진 굽힘파 모드 확성기일 수 있다.
터치 스크린상에서의 접촉은 본 출원인의 소유한 국제 특허 출원 WO01/48684, WO03/005292 및/또는 WO04/053781에서 설명된 것처럼, 감지되거나 및/또는 추적될 수 있다. 이러한 국제 특허 출원들은 참조로서 여기에 병합된다. 대안으로, 다른 알려진 방법들도 그러한 접촉들을 수신 및 기록하거나 감지하는데 이용될 수 있다.
본 발명은 상기 설명한 방법들을 실현하기 위한 프로세서 제어 코드를, 특히, 디스크, CD- 또는 DVD-ROM, 읽기 전용 메모리와 같은 프로그램된 메모리(펌웨어)와 같은 데이터 캐리어(carrier)에 제공하거나, 광학 또는 전기적 신호 캐리어와 같은 데이터 캐리어에 제공한다. 본 발명의 실시예들을 구현하는 코드(및/또는 데이터)는, C나 어셈블리 코드와 같은 기존 프로그래밍 언어(해독되거나 컴파일됨)의 소스, 객체, 또는 실행가능 코드; ASIC(Application Specific Integrated Circuit) 또는 FPGA(Field Programmable Gate Array)를 설정하거나 제어하는 코드; 베릴로그(Verilog; 상표) 또는 VHDL(Very high speed integrated circuit Hardware Description Language)과 같은 하드웨어 기술어용 코드를 포함할 수 있다. 통상의 기술자는 그러한 코드 및/또는 데이터가 서로 통신하는 복수의 결합 구성요소들 사이에서 분배될 수 있음을 이해할 것이다.
본 발명은 터치 감지 스크린 또는 패널들을 포함하는 터치 감지 디바이스들을 제공할 수 있다.
본 발명은 첨부 도면들에 예시적으로 도시된다.
도 1a는 터치 감지 스크린의 평면도;
도 1b는 도 1a의 터치 감지 스크린을 사용하는 시스템의 블럭도;
도 2a는 ISO/DIS 9241/4.2 표준에서 명시된 바와 같이, 키 힘 및 키 변위 사이의 관계를 설명하는 도면;
도 2b는 대표적인 키 타격 힘 기록을 위해 시간(들)에 대한 키 타격 힘(N))을 플롯하는 그래프;
도 3은 2개의 보정 포락 함수 h의 시간이 지남에 따른 변동을 플롯하는 도면;
도 4는 4개의 복합 포락 함수 f의 시간이 지남에 따른 변동을 플롯하는 도면;
도 5는 포락 함수 f에서 주요 변수(n)의 변동과 포락 함수 f에서 다른 주요 변수(r)의 변동 간의 관계를 도시하는 도면;
도 6은 3개의 복합 포락 함수 f의 시간이 지남에 따른 변동을 도시하는 도면;
도 7은 특정된 기준에 합리적으로 일치하는 2개의 복합 함수 f의 시간이 지남에 따른 변동을 플롯하는 도면;
도 8은 Hz 단위의 υ에 대해 F(0)=1로 스케일된 두 개의 펄스 후보(candidate double pulses)의 스펙트럼을 도시하는 도면;
도 9a는 r=3.2, p=5, q=12를 이용하여 샘플 햅틱 신호의 시간에 대한 변동을 플롯하는 도면;
도 9b는 FFT에 의해 계산된 도 9a의 신호에 대한 스펙트럼을 도시하는 도면;
도 10a는 r=5.8, p=5, q=13을 이용하여 샘플 햅틱 신호의 시간에 대한 변동을 플롯하는 도면;
도 10b는 FFT에 의해 계산된 도 10a의 신호의 스펙트럼들을 도시하는 도면;
도 11a는 기본 주파수가 880 Hz(음표 A2)인 두 개의 톤 버스트의 시간에 따른 진폭의 변동을 도시하는 도면;
도 11b는 기본 주파수가 2093 Hz(음표 C0)인 두 개의 톤 버스트의 시간에 따른 진폭의 변동을 도시하는 도면;
도 12a는 도 3의 보정된 포락 함수 h에 대한 n에 따라 변화하는 펄스 폭을 플롯하는 도면; 및
도 12b는 n에 따라 변화하는 정규화된 컷-오프 주파수를 플롯하는 도면이다.
도 1a는 터치 감지 스크린(12)과 그 위에 텍스트(20)를 쓰기 위해 사용되는 스타일러스(18), 펜슬 또는 유사한 쓰기 도구를 포함하는 터치 감지 디바이스(10)를 도시한다.
대안으로, 스크린은 사용자의 손가락에 의해 접촉될 수도 있다(미도시). 하나 또는 그 이상의 센서들(16)은 그 스크린 상의 터치 또는 움직임을 감지하기 위해 사용되고, 여진기(exciter;17)는 그 스크린 내에 신호를 생성하기 위해 제공된다.
도 1b는 터치 감지 디바이스(10)가 햅틱 방법과 사용자에게 터치 관련 피드백을 생성하기 위한 기계적인 피드백 기술을 사용하기 위해 어떻게 채택될 수 있는지를 도시한다. 도 1b에 도시한 바와 같이, 터치 감지 스크린(12)은 스타일러스로부터의 접촉 종류를 감지하는 센서(16)에 연결된다. 센서는 임펄스 생성기(28)를 지시하는 센서로부터의 신호들을 처리하는 프로세서(260)에 연결되고, 임펄스 생성기(28)는 사용자에게 햅틱 신호로서 전달되는 터치 스크린의 진동을 생성하는 신호를 생성한다.
키보드 스위치의 F-X 특성에 대한 ISO 인체공학 표준이 있다. 그것은 도 2a에 도시되고, "컴퓨터 키보드 키들의 임피던스 특성의 측정"("Measurement of impedance characteristics of computer keyboard keys", Proceedings of the 7th Mediterranean Conference on Control and Automation (MED99) Haifa, Israel - June 28-30, 1999)에서 취한다. 이 응답의 주요 특징은 음의 "네거티브 임피던스(negative impedance)" 영역이다.
로버트 G 레드윈과 배리 A 로팔로의 논문, "컴퓨터 키 스위치 힘-변위 특성과 지역화된 피로에 대한 단기 효과"("Computer key switch force-displacement characteristics and short-term effects on localized fatigue", ERGONOMICS, 1999, VOL. 42, NO. 1, 160 - 170)에 기술된 바와 같이, 근전도검사(EMG)는 키 탭핑(key tapping)을 위해 지속적인 집게 손가락의 사용노력으로 인한 근육의 활성화신호를 기록 및 평가하는데 사용된다. 대표적인 키 타격힘 기록에 대한 EMG의 RMS 진폭은 그림 2b에 도시된다. 또한, 주요 특징은 이중 피크이다.
도 2b는 응답이 키-누름과 키-누름 사이에 동일한 형태가 아님을 보여준다. 다이내믹 시스템의 저널의 마크 나구라(Mark Nagurka) 및 리차드 마크린(Richard Marklin)에 의한 다른 논문, "컴퓨터 키보드 키들의 단단함 및 댐핑 특성들의 측정"("Measurement of Stiffness and Damping Characteristics of Computer Keyboard Keys", Journal of Dynamic Systems, Measurement, and Control - JUNE 2005, Vol. 127, 283-288)은, 세부 항목들이 또한 어느 키가 눌리는 지와 타이핑의 속도에 따라 변화하는 것을 도시한다. 이러한 변동성에도 불구하고 모델링 될 수 있는 공통 특징들이 존재한다. 즉,
1) 두 개 피크들 ~ 22 - 26 ms 이격됨
2) 제 2 피크 폭 ~ 제 1피크 폭의 3에서 4배
3) 트로프(trough) 깊이에서의 총 폭~ 44 ms +/- 6 ms
4) 만드는 힘 ~ 1/2 폭~54ms +/- 2ms.
5) 제 2 피크에 대한 지연은 제 1 피크에 대한 지연보다 2-3배 큼
6) 지연~ 제 1 피크의 폭 ~ 10 - 15 ms
7) 신호 듀레이션(duration)은 대략 100ms
클릭의 시뮬레이션을 생성하는 햅틱 신호는
Figure 112017079498773-pat00002
이다.
여기서, h(t)는 포락 함수인 g(t)와 주파수 변조 함수인 fm(t)의 곱이다.
여기서,
Figure 112017079498773-pat00003
이고, t=1/α에서 1의 최대값을 가지며,
α는 포락선(envelope)의 감쇠율(decay rate)이고,
β는 주파수 변조율을 제어하는 파라미터이고,
ωc는 t=0일 때 각주파수(angular frequency)이다.
수학식 (1)로 주어진 형태이며, a가 합리적으로 다른 두 클릭들을 단순히 더하면, 감쇠가 충분히 빠르지 않으므로 그 응답에 딥(dip)이 없다. 감쇠율이 빠른 포락 함수의 변동은 아래에 제공된다.
Figure 112017079498773-pat00004
여기서, n은 상수이고,
α는 포락선의 감쇠율이다.
이 함수는 t가 1/α 일때 1인 최대값을 가진다. 가역적 방법(reciprocal manner)으로 α와 t를 조정하는 것이 형태상의 변화를 주지 않으므로, 포락선은 (α.t)곱과 n의 함수로서 고려될 수도 있다. 여기서, n은 정수일 필요는 없다는 것을 유의한다. α=1/18ms, n = 2와 α= l/42ms, n = 8의 값을 가지는 이러한 다양한 포락 함수의 두 예는 도 3에 각각 도시된다.
이 함수의 일부 속성들은 도 12a 및 도 12b와 관련하여 연구되었으나, 지금 유의해야하는 단 하나는 우리에게 스펙트럼을 제공하는 라플라스 변환(Laplace transform)이다.
Figure 112017079498773-pat00005
수학식 (3)은 함수 스펙트럼이 n+1차의 저역 통과(low pass)임을 보여준다.
그 자체로서, 수학식 (2)의 함수는 우리가 필요로 하는 두 개의 피크들을 제공하지 않는다. 출원인은 n이 일부 임계값보다 크다면, α만이 변경되는 이 유형의 두 함수를 서로 더함으로써, 요구되는 두 피크를 생성하는 복합 포락 함수 f가 얻어짐을 인식했다. n은 또한 변경될 수 있으나 미미한 이득을 위해 많은 별도의 복잡도를 추가한다.
Figure 112017079498773-pat00006
Figure 112017079498773-pat00007
도 4는 α=1/16ms, r=3이고 n이 3과 6 사이의 정수값인 복합 포락 함수의 4가지 변동을 플롯한다. 도시된 바와 같이, 복합 함수에서 제 1 피크와 제 2 피크 사이의 딥은 n의 값이 증가함에 따라 더욱 분명하게 보인다. 곡선이 "단지" 제 2 피크를 가지는 경우에 대한 n의 임계값은 오직 r에 의존한다. 유사하게, 피크들 사이에 3dB 딥을 제공하는 n의 값은 r의 함수로서 정의될 수 있다.
n_crit(r) 값은 f의 1차와 2차 미분이 동일한 위치에서 제거되도록 하는 값이다. n_3dB(r) 값은 피크들 사이의 국부 최소값이 제 1 피크 이하로 3dB가 되도록 하는 값이다.
Figure 112017079498773-pat00008
r에 대한 이러한 값들의 변동은 도 5에 플롯되어 있다. r이 2 쪽으로 감소할 때, n_crit(r)와 n_3dB(r)의 값들은 점근적으로 증가하기 시작한다. 도 6은 각각 r=2.5, n_3dB=9.2와 r=3, n_3dB= 6.3 및 r=3.5, n_3dB=4.7인 복합 포락 함수 f의 3가지 변화들을 도시한다. r=3인 함수는 16ms에서 제 1 피크를 가지고 48ms에서 제 2 피크를 가진다. 다른 두 함수들 또한 대략 16ms에서 제 1 피크를 가진다. 그러나 n_3dB의 변화에도 불구하고, r의 값이 작은 함수는 48ms보다 일찍 제 2 피크를 갖고, r의 값이 큰 함수는 48ms 후에 제 2 피크를 가진다.
타겟 스펙트라와 매치하기 위한 신호를 산출하는 r 및 α(및 n, 그러나 우리는 n=n_3dB(r)라고 가정)의 범위를 지정하는 것이 바람직하다. 이것을 얻기 위한 하나의 방법은 αt0에서 αt4까지, 5개의 키 시점(key time points)을 정의하는 것이다. 이것들은 각각 -3dB의 처음 교차점, 제 1 피크, 딥, 제 2 피크 및 -3dB의 마지막 교차점의 정규화된 시점들이다. 다음 테이블들에서 설정된 것과 같이, 타겟 기준은 이 값들 사이의 관계로 바꿔질 수 있다.
Figure 112017079498773-pat00009
Figure 112017079498773-pat00010
Figure 112017079498773-pat00011
Figure 112017079498773-pat00012
도 7은 특정 기준으로 합리적으로 매치되는 두 함수들을 도시한다. 그것들은 둘다 대략 25ms에 의해 이격된 2개의 피크들을 가진다. 함수는 키 비율(key ratios)이 합리적으로 충족되는 경우 가능한 범위를 나타낸다. α를 변경함으로써 이러한 비율들을 보존하면서 시간에서의 단순 스케일링이 가능하다. 두 곡선들의 속성들을 결합하는 하나의 방법은 두 개의 펄스들에 대한 다른 n을 사용하는 것이나, 아마도 불필요한 복잡도를 추가한다. 두 개의 곡선들 중, 제 1 곡선은 좀 더 빠른 감쇠(100ms에서 절단을 용이하게 함) 및 좀 더 느린 상승-시간(빠른 HF 롤-오프)을 가진다.
이러한 함수들은 햅틱신호의 포락선을 정의하고, 베이스밴드(baseband) 신호로서 고려될 수 있다. 함수들은 매우 저주파 성분을 가지며, 각각은 10Hz 이하의 컷-오프(cut-off) 주파수를 가진다. 두 신호들의 스펙트럼들은 도 8에 도시된다. 제한된 저-주파 응답을 가지는 임의의 햅틱 하드웨어의 사용을 위해, 신호들은 적당한 캐리어에 의해 변조되어야 한다. 즉, "단일 범프" 함수에 대해 아래 상세하게 도시된 cos(ω0.t)에 의해 변조된다. 명확하게, 이것은 "이중 범프" 함수에도 적용가능하다.
Figure 112017079498773-pat00013
Figure 112017079498773-pat00014
Figure 112017079498773-pat00015
대략적인 스펙트럼에서, 센터 주파수(centre frequency)는 명확하게 ω0이고, 컷-오프 주파수들은 ω0±ωc이고, 여기서 ωc는 이하 도 12b의 설명에서 정의된다.
단일-주파수 캐리어를 사용하는 것을 가능하게 하나, 주파수 변조(FM)의 사용은 유용할 수 있다. 음향 심리학적 고려 및 포락의 지수적 함수성 때문에, 지수적으로 소인된 캐리어(swept carrier)를 사용하는 것이 타당하며, 비공식적인 시도에 따르면, 상향 소인보다 하향 소인이 우수하다. 위상 기준을 신호 피크 t1에서 설정하는 것이 적당하다고 판단된다. 따라서,
Figure 112017079498773-pat00016
Figure 112017079498773-pat00017
여기서 g(t)는 주파수 변조 함수이고,
β는 주파수 변조율을 제어하는 파라미터이다.
g(t)는 예를 들어 t3에서 피크이고, t2에서 0을 통과하도록 특정될 수 있다. 경우에, 두 파라미터의 값들은 아래와 같이 제한된다.
Figure 112017079498773-pat00018
Figure 112017079498773-pat00019
따라서, 정수값들, p 및 q는 소인의 주파수 범위를 설정한다. 따라서 (9)/(10)을 β에 대하여 풀이하고 나서, (10)을 ω0에 대하여 풀이할 수 있다. 도 9a는 p=5, q=12를 사용하는 도 7의 포락선 f32를 기반으로 하는 전체 신호를 도시한다. ω0와 β의 값은 각각 2492.2와 20.537이다.
추가적인 종속 파라미터, 중간 주파수ωμ 와 최대 주파수 ωmax에 의해 소인을 특성화하는 것이 유용할 수 있다. 후자는 ω(t0)로서 쉽게 정의되고, 또한 ωmin 을 ω(t4)로서 정의할 수 있다. 전자는 약간의 고려가 필요하다. 신호 크기는 실질적으로 무한하므로, 단순 산술 평균은 항상 제로와 동일하다. 가중 함수가 단지 변조 포락인 경우에 가중 평균을 계산하면 유용한 답을 얻는다. 적분은 라플라스 변환과 실질적으로 동일하므로, 아래와 같이 알려져 있다. 즉,
Figure 112017079498773-pat00020
따라서,
Figure 112017079498773-pat00021
은 평균 및 표준편차(standard deviation)이다.
상기 신호의 경우, 주파수 파라미터들은 테이블 5에서와 같이 요약되고, 스펙트럼은 도 9b에 도시된다. 매우 유사한 ωμ 및 ωmax를 가지도록 설계된 변조 신호 f58 이 도 10a 및 10b에 도시되고, HF 롤-오프가 더 느린 것은 명백하다.
Figure 112017079498773-pat00022
따라서, 실제 스위치 힘 특성 및 관련 신경 반응을 모델링하는 신호들이 설명된다. 이들 신호가 키보드 스위치들을 시뮬레이션하는데 적합한 유일한 신호들일 가능성은 낮지만, 그 신호들은 사운드 철학적 기초(sound philosophical basis)를 사용하여 개발되었다. 특히, 포락 함수와 변조를 개별적으로 고려하는 것이 유용하다고 입증되었다. 포락 함수는 인체공학이 동기가 되었고, 변조는 대상 시스템의 기계학(mechanics)이 동기가 되었다.
터치 인터페이스를 사용할 때, 음향 피드백(acoustic feedback)이 주관적 및 객관적 임무 수행성을 신장시킬 수 있음을 보여주는 많은 연구가 있었다. 또한, 다른 큐(cue)는 멀티-감각 피드백(촉각+청각+시각과 같은)을 제공하기 위해 결합되는 경우, 개선이 크게 확대된다(예를 들어, 엠. 에르칸 알틴소이 및 세바스챤 메르샤(TU 드레스덴)의 HAID'09에서의 "터치 스크린을 위한 청각 및 촉각의 피드백 설계"와 이주환, 엘렌 폴리아코프, 찰스 스펜스(옥스포드 멘체스터)의 HAID'09에서의 "노인 수행성에 대한 터치 스크린을 통한 표현되는 멀티 감각 피드백의 효과").
감각 형식들(modalities)의 결합은 강하고, 사운드의 존재는 예를 들어, http://www.newscientist.com/article/mg20126997.900-tactile-illusions-7-parchment-skin.html과 http://www.boingboing.net/2009/03/17/tactile-illusions.html에 설명된 바와 같이, 사람들이 느끼는 것을 바꿀 수 있다. 오디오 은유(metaphors)를 사용하는 것은 또 다른 유용한 트릭이다. 예를 들면, 키 누름은 푸쉬(push) 될 때 하강 톤(falling tone)을 사용하고 릴리즈(release)될 때 상승 톤(rising tone)을 사용할 수 있다. 사람들은 훈련을 필요로 하지 않고 어떤 일이 일어나고 있는지를 즉시 이해한다.
다른 피드백들이 시간과 공간 모두에서 동기되는 것은 매우 중요하다. HAID'09에서의 자신의 개막 기조 연설 발표에서, 찰스 스펜스 교수(옥스포드 대학의 실험 심리학과에 기반한 크로스감각 연구 실험실의 리더)는 오디오가 제일 먼저 들어오면 음향 및 햅틱에 대한 도착시간의 평균 최소 식별차(JND)는 7ms이고 햅틱이 먼저 들어오면 12ms 인것을 보여주는 실험 결과를 보고 했다.
따라서, 음향 특징(sound signature)은 위에서 식별된 신호 외에 키보드 스위치 시뮬레이션에 대해 적합할 수 있다.
실험은 정확한 시간과 장소에서 오디오 큐의 존재가 큐의 음향 특징의 세부보다 더 중요하다는 것을 보여주었다. 그렇긴 해도, 품질의 주관적인 평가가 매우 강하게 영향받을 수 있다
독일 연구가인 알렉센더 트레비어(Http://iaf.hs-heilbronn.de/wiki/AlexanderTreiber 참조)는 로터리 스위치의 음향과 심리-음향에 대한 많은 연구를 해왔다. 그는 고-품질 스위치가 2kHz 주변에서 강력한 오디오 성분을 가지고, 이러한 오디오 큐를 연속 로터리 엔코딩에 추가하는 것은 개별 스위칭의 착각을 생성한다고 보고한다. 즉, 사용자들은 햅틱 피드백이 전혀 사용되지 않은 경우에도 클릭을 느낀다고 보고한다. 주파수도 또한 스위치 품질의 주관적인 평가(주파수가 너무 낮으면 스위치가 저가이고 플라스틱 소리를 내고, 주파수가 너무 높으면 스위치가 듣기 거북한 소리를 낸다)에 영향을 미친다.
약간 다른 각 키의 사운들이 어떤 키가 입력되고 있는지 엿듣는데 어떻게 이용될 수 있는지 기술하고 하고 있는 드미트리 아소노브 및 라캐쉬 아그로올(IBM 알마든 연구 센터)의 논문, "키보드 음향 발산"("Keyboard Acoustic Emanations", Proceedings of the IEEE Symposium on Security and Privacy (2004), pp. 3-11)의 예를 제외하고, 컴퓨터 키보드의 사운드에 대한 유사한 어떠한 연구도 찾아볼 수 없다. 　그들의 음향 특징은 기본적으로 약 3.5kHz에서 4kHz의 1/3 옥타브 대역폭이다. 이는 구형 키보드에 대해서는 적당해 보이나, 현대식 키보드에 대해서는 다소 높아 보이며, 2-3kHz가 더 적당해 보인다.
비공식 테스트에 의하면 1/3 옥타브 밴드폭이 거의 정확하다(이 결과는 인간-심리 측면에서 예상되는데, 이 폭이 인간 청각 시스템의 임계 대역폭과 일치하기 때문이다). 대역폭이 넓을수록 너무 과도적으로 들리고, 대역폭이 좁을수록 너무 토널(tonal)하게 들린다. 테스트에 의하면, 800Hz 에서 4kHz 내의 임의의 주파수는 기능하고, "최적" 주파수의 선택은 매우 주관적일 가능성이 있다.
위에 명시된 바와 같이, "클릭"은 단순 정현파에 의해 변조된 "단일 범프" 함수를 사용하여 시뮬레이션 될 수 있다. 이 신호의 정의와 스펙트럼에 대한 더욱 자세한 정보는 도 12a와 관련하여 아래에서 찾을 수 있지만, 아래에서 함수 hm으로서 정의된다.
Figure 112017079498773-pat00023
Figure 112017079498773-pat00024
Figure 112017079498773-pat00025
위상 기준이 포락선의 피크와 일치하도록 정현파가 또한 위상-이동될 수 있다. 이것은 위상 이동을 제외한 다른 스펙트럼((3) 및 (6)의 선형 조합)상에 거의 영향을 미치지 않는다.
Figure 112017079498773-pat00026
Figure 112017079498773-pat00027
Figure 112017079498773-pat00028
질문은 α 및 n의 타당한 값은 무엇인가이다. 위의 테이블 3을 참조하면, 이론적인 스위칭 지점이 t2가 되어야 한다. 비공식 테스트에 의하면, t2의 사용은 약간 늦게 소리가 나고, t1을 사용하는 것이 현저히 좋다. t1 및 t2가 단지 10ms가량 차이가 난다는 사실은, 햅틱과 오디오 큐 사이의 낮은-레이턴시(low-latency)의 중요성을 강조한다.
센터 주파수의 선택과 1/3 옥타브의 대역폭을 가정하면, 바로 위에서 정의된 함수 hm의 클릭을 직접 설계할 수 있다. 실제로, n값이 매우 높게 요구되어, 테이블에서 t0에 해당하는 순수한 지연을 추가하는 것이 좋다.
Figure 112017079498773-pat00029
여기서,
Figure 112017079498773-pat00030
Figure 112017079498773-pat00031
주관적으로, 사운드는 n의 증가에 따라 거의 변하지 않는다. n=1에서 n=1.5로의 변화는 인지할 수 있고, n=2까지의 변화는 간신히 인지할 수 있으나 그 이후의 변화는 본질적으로 인지할 수 없다.
도 11a 및 11b는 예시를 도시한다. 오디오 신호의 진폭이 햅틱 신호의 진폭 이하임을 주목해라(대략 1/4이 충분해보임).
위에서 설명된 절차에 따르면, 햅틱 신호들과 시간적으로 동기된 신호들이 얻어지지만, 이 신호들은 또한 공간적으로도 동기되어야 한다. 동일한 오디오 신호가 각 채널에 공급되는 경우, 사운드는 항상 패널의 중심에서 방사하는 것으로 보일 것이다. 사운드가 햅틱 타겟을 추적하도록 하기 위해, 소정 형태의 조종(steering)이 필요하다. 2-채널 시스템의 경우, 단순한 스테레오 선형 진폭 패닝이 충분하다. 더욱 많은 채널들의 경우, 패닝 규칙이 약간 더 복잡할수 있지만 원칙은 정확하게 동일하다.
예시로서, 패널의 각 코너에 또는 그 주변에 여진기를 갖는 4-채널 시스템을 고려한다. 이들의 위치에 (±1, ±1)의 개념적 좌표(co-ordinates)가 주어지면, 임의의 점의 좌표를 아래와 같이 얻을 수 있다.
Figure 112017079498773-pat00032
각 여진기에 대해 여진기의 위치에서 단위값을 가지고 모든 다른 여진기의 위치에서 제로값을 가지는 함수가 존재하도록 쌍일차(bilinear) 매핑 함수 N을 정의한다.
Figure 112017079498773-pat00033
여진기 i에 대해 부호는 적절하게 선택된다.
타겟 위치를 위한 여진기 i에서의 신호 강도는
Figure 112017079498773-pat00034
이다.
다시 말해서, 데이터와 명령어의 사용자 엔트리(entry)를 위해서, 예를 들어, 스크린 장치와 같은 제어 표면을 작동하고 있는 사용자에게 어떻게 햅틱 피드백을 제공할 것인가에 대한 설계 프로세스는 다양한 단계로 구성될 수 있다. 그 프로세스는 표면이 반응하도록 만들기 위해 표면에 적용되는 간단한 기계적인 클릭을 시뮬레이션할 목적으로 시작될 수 있다. 비가청 촉각 느낌(non-audible tactile impression)에 주파수와 진폭의 미묘한 차이(shading)를 추가하는 것 같은 개선사항이 고려될 수도 있다. 유용한 설계 대역 내의 전력이 합성되어 더 낮은 주파수의 감각 범위 내에서 촉각 효과를 지니도록 하기 위해서, 햅틱에 대한 동작 주파수 대역/에너지 제어가 또한 고려될 수 있다( 참조문헌으로 본 명세서에 통합된 계류중인 공동출원 GB0905692.0 을 참조).
또한 촉각 느낌을 강화하기 위하여 일부 가청 신호 성분이 추가될 수도 있다. 이러한 사운드에 대한 개선들은, 예를 들어, 고급 푸시 버튼 스위치의 친숙하고 보장적인 느낌과 사운드로, 본질적으로 움직일 수 없는 햅틱 표면이 상당히 움직인다고 사용자가 잘 연상할 수 있도록, 양질의 스위치에 대한 연관 사운드를 모델링하여 이루어질 수 있다. 이러한 느낌을 만들어내는데, 스위치 사운드에 대한 주파수 합성, 주파수 대역 및 진폭 포락선이 이용될 수 있다. 필요하다면, 음향 트랜스듀서 시스템의 전송 주파수 응답이 고려될 수 있다. 이러한 시스템은 햅틱 스크린 또는 표면과 이상적으로 결합되거나 일체화된, 종래 혹은 굽힘파(bending wave) 패널일 수 있다.
일반 사운드 출력이 유용하고 널리 사용되고 있지만, 인식성, 데이터 엔트리의 입력에 대한 사용자 정확성 및 신뢰성에서의 상당한 개선이 음원에 대한 지향성 또는 위치를 추가하는 단계에 의해 증명됨에 주의한다. 소스의 방사 위치가 기하학적으로 데이터 및 명령어의 사용자 촉각 입력을 위한 지점이나 근처에 있는 것을 보증함으로써 달성된다. 값 증가는 놀라울 정도로 상당하다.
위에 명시된 바와 같이, 다중 여진기/트랜스듀서들은 햅틱 감각을 제공하기 위해 터치스크린에 연결될 수 있다. 이러한 트랜듀서들의 수와 위치는 햅틱 신호들의 의도적으로 국지화된(localized) 성능을 지원하며, 이러한 성능은 출력 그룹의 파동 진폭 및 위상 제어에 의해 증가되어, 위치 구별성을 증가시킬 수 있다. 햅틱 신호들은 주파수가 상대적으로 낮고, 디바이스의 배경 하에서, 주로 비가청이거나 희미하게 들린다. 그리고 이와 다른 더 높은 주파수 범위에서, 트랜듀서 어레이 또는 다른 트랜듀서 배치는 표면에 사운드 주파수 진동을 지향시킬 수 있다. 진동은 예를 들면, 굽힘파 동작을 포함하는 햅틱 표면 그 자체, 다중 미니어쳐 사운드 라디에이터, 심지어 마이크로 스피커에 의해 방출될 수 있다. 이러한 마이크로 스피커의 출력 및 상대적 위상은 적절한 입력신호에 의해 제어되고, 유용한 지향성 및 위치 소스들을 생성하는데 사용될 수 있고, 그 지향성 및 위치 소스들은 데이터 입력의 위치 및 사용자로의 상응하는 햅틱 피드백에 연관된다. 즉, 햅틱 클릭의 향상되고 처리된 사운드는 입력/햅틱 피드백 위치에서 나오는 것으로 보인다.
터치스크린은 '버튼' 또는 그 밖의 시각 컨트롤 아이콘들이 표시되는 시각적 스크린을 구비할 수 있다. 회전 볼륨 컨트롤에서부터 아날로그 라디오 튜너의 스핀 휠 또는 게임 박스 및 유사한 컨트롤러들의 '엄지 스틱'(조이스틱 종류)까지의 다양한 시각적 아이콘이 사용될 수 있다. 이러한 시각 컨트롤 아이콘들 각각은 매우 다양한 촉각 및 그들과 고유하게 연관된 사운드 신호들을 가질 수 있다.
도 12a는 위에서 정의한 "단순 범프" 함수 h에 대한 n의 펄스 폭 변동을 도시한다. 그것의 미분은 다음과 같다:
Figure 112017079498773-pat00035
Figure 112017079498773-pat00036
Figure 112017079498773-pat00037
h''(αt,n)=0에서 최대 곡선이 있다. 즉,
Figure 112017079498773-pat00038
h'(αt,n)=0에서 경사 고정 값(slope stationary values)이 있다.
Figure 112017079498773-pat00039
도 12a에 도시된 변동은 다음과 같이 설명된다:
Figure 112017079498773-pat00040
Figure 112017079498773-pat00041
추가적인 관련 수학식은 아래와 같다:
A.1.3. 적분 및 라플라스 변환
Figure 112017079498773-pat00042
Figure 112017079498773-pat00043
8
Figure 112017079498773-pat00044
Figure 112017079498773-pat00045
A.1.4 스펙트럼 컷-오프 주파수
Figure 112017079498773-pat00046
"더블 범프" 함수 f는 또한 스위치의 시뮬레이션에 관련하여 위에서 설명되어 있다. 그 미분은 다음과 같다:
Figure 112017079498773-pat00047
Figure 112017079498773-pat00048
적분 및 라플라스 함수는 아래에 도시된다.
Figure 112017079498773-pat00049
Figure 112017079498773-pat00050
Figure 112017079498773-pat00051
스펙트럼 컷-오프 주파수는 "단일 범프" 함수의 컷-오프 주파수에 비해 더욱 복잡하다. 그러나, r과 n이 "합리적으로" 크다 가정하면, 주요한 컷-오프는 단일 펄스의 컷-오프와 많이 다르지 않을 것이다. 즉,
Figure 112017079498773-pat00052
"단일 범프" 함수와 "더블 범프" 함수 모두에 대한 스펙트럼 컷-오프 주파수는 도 12b에 플롯된다.
당업자에게는 다수의 다른 효과적인 대안들이 있을 수 있다는 점에는 의심의 여지가 없다. 본 발명이 상술한 실시형태에 한정되지 않으며, 여기에 첨부한 청구항의 사상과 범위 내에 존재하는 당업자에게 명백한 변경사항들을 포함한다는 점을 이해할 것이다.
10 : 터치 감지 디바이스 12 : 터치 스크린
16 : 센서
17 : 여진기 26 : 프로세서
18 : 스타일러스 28 : 임펄스 생성기
20 : 텍스트

Claims (17)

  1. 터치 감지(touch sensitive) 디바이스로서,
    터치 감지 표면;
    상기 터치 감지 표면상의 사용자의 터치를 검출하도록 배열되고 구성되는 하나 이상의 센서;
    상기 터치 감지 표면과 커플링되며, 상기 터치 감지 디바이스의 미리 정해진 이격된 영역에 각각 위치하는 복수의 힘 여진기 또는 액츄에이터;
    상기 복수의 힘 여진기 또는 액츄에이터와 커플링되는 신호 생성기; 및
    상기 하나 이상의 센서 및 상기 신호 생성기와 통신하는 프로세서;를 포함하고,
    상기 프로세서는,
    사용자의 상기 터치 감지 표면의 터치에 반응하여, 상기 터치 감지 표면상에 상기 복수의 힘 여진기 또는 액츄에이터의 결합된 효과로서,
    상기 사용자에 의하여 터치된 영역에서의 햅틱 감각; 및
    상기 햅틱 감각과 시간적으로 동기하면서 상기 사용자에 의하여 터치된 영역에 국소화(localised)되도록 조향(steered)되는 오디오 신호;를 제공하도록,
    상기 복수의 힘 여진기 또는 액츄에이터 각각을 구동하도록 구성되는, 터치 감지 디바이스.
  2. 청구항 1에 있어서,
    상기 오디오 신호는 1/3 옥타브 대역폭을 가지는, 터치 감지 디바이스.
  3. 청구항 1에 있어서,
    상기 오디오 신호는 진폭 패닝(amplitude panning)을 사용하여 조향되는, 터치 감지 디바이스.
  4. 청구항 3에 있어서,
    상기 진폭 패닝을 제공하기 위하여 상기 복수의 힘 여진기로서 두 개의 힘 여진기를 포함하는, 터치 감지 디바이스.
  5. 청구항 4에 있어서,
    상기 두 개의 힘 여진기는 스테레오 선형 진폭 패닝을 제공하는, 터치 감지 디바이스.
  6. 청구항 1에 있어서,
    상기 오디오 신호를 조향하기 위하여 상기 복수의 힘 여진기로서 네 개의 힘 여진기를 포함하는, 터치 감지 디바이스.
  7. 청구항 1에 있어서,
    상기 오디오 신호는, 상기 오디오 신호를 제공하는 여진기들의 상대적 위상을 사용하여 조향되는, 터치 감지 디바이스.
  8. 청구항 1에 있어서,
    상기 터치 감지 표면의 상이한 영역들에 동시에 조향되는 복수의 오디오 신호들을 제공하도록 더 구성되는, 터치 감지 디바이스.
  9. 청구항 1에 있어서,
    상기 오디오 신호는 스위치에 모델링되는, 터치 감지 디바이스.
  10. 청구항 9에 있어서,
    상기 오디오 신호는 주파수 합성을 사용하여 상기 스위치에 모델링되는, 터치 감지 디바이스.
  11. 청구항 1에 있어서,
    상기 터치 감지 표면을 여진시켜 가청 신호를 방사하는 상기 오디오 신호의 진폭은 상기 햅틱 감각을 제공하는 햅틱 신호 진폭보다 작은, 터치 감지 디바이스.
  12. 청구항 1에 있어서,
    상기 터치 감지 표면을 여진시켜 가청 신호를 방사하는 상기 오디오 신호의 진폭은 상기 햅틱 감각을 제공하는 햅틱 신호 진폭의 1/4인, 터치 감지 디바이스.
  13. 청구항 1에 있어서,
    상기 터치 감지 표면은 상기 오디오 신호를 형성하는 상기 오디오 신호와 상기 햅틱 감각을 제공하는 저주파수 성분을 모두 포함하는 신호에 의하여 구동되는, 터치 감지 디바이스.
  14. 청구항 1에 있어서,
    상기 오디오 신호 및 햅틱 신호에 의하여 구동되는 여진기를 더 포함하여 가청 신호 및 상기 햅틱 감각을 모두 제공하는 터치 감지 디바이스.
  15. 청구항 1에 있어서,
    상기 터치 감지 표면은 패널형식(panel-form) 부재인, 터치 감지 디바이스.
  16. 청구항 1에 있어서,
    상기 터치 감지 표면은 상기 터치 감지 표면에 인가되는 굽힘파를 지원하는, 터치 감지 디바이스.
  17. 터치 감지 표면 및 복수의 여진기 또는 액츄에이터를 가지는 디바이스의 사용자에게 피드백을 제공하는 방법으로서,
    상기 사용자의 상기 터치 감지 표면의 영역의 터치에 반응하여:
    상기 사용자에 의하여 터치된 상기 영역에서 햅틱 감각을 제공하는 단계; 및
    상기 터치 감지 표면상의 상기 복수의 여진기 또는 액츄에이터의 결합된 효과가 상기 햅틱 감각과 시간적으로 동기하면서 상기 사용자에 의하여 터치된 영역에 국소화되는 오디오 신호이도록 상기 복수의 여진기 또는 액츄에이터를 구동하는 단계를 포함하며,
    상기 복수의 여진기 또는 액츄에이터는 상기 디바이스의 미리 정해진 이격된 영역에 각각 위치하는, 피드백을 제공하는 방법.
KR1020177022984A 2009-10-02 2010-10-01 클릭 느낌을 시뮬레이션하는 햅틱 피드백을 생성하는 터치 감지 디바이스 KR101902421B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0917284.2A GB2474047B (en) 2009-10-02 2009-10-02 Touch sensitive device
GB0917284.2 2009-10-02
PCT/GB2010/051640 WO2011039545A2 (en) 2009-10-02 2010-10-01 Touch sensitive device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127008528A Division KR101770793B1 (ko) 2009-10-02 2010-10-01 클릭 느낌을 시뮬레이션하는 햅틱 피드백을 생성하는 터치 감지 디바이스

Publications (2)

Publication Number Publication Date
KR20170098968A KR20170098968A (ko) 2017-08-30
KR101902421B1 true KR101902421B1 (ko) 2018-09-28

Family

ID=41393750

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177022984A KR101902421B1 (ko) 2009-10-02 2010-10-01 클릭 느낌을 시뮬레이션하는 햅틱 피드백을 생성하는 터치 감지 디바이스
KR1020127008528A KR101770793B1 (ko) 2009-10-02 2010-10-01 클릭 느낌을 시뮬레이션하는 햅틱 피드백을 생성하는 터치 감지 디바이스

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020127008528A KR101770793B1 (ko) 2009-10-02 2010-10-01 클릭 느낌을 시뮬레이션하는 햅틱 피드백을 생성하는 터치 감지 디바이스

Country Status (9)

Country Link
US (2) US9001060B2 (ko)
EP (1) EP2483760B1 (ko)
JP (1) JP5746186B2 (ko)
KR (2) KR101902421B1 (ko)
CN (1) CN102640095A (ko)
BR (1) BR112012007551A2 (ko)
CA (1) CA2775848A1 (ko)
GB (1) GB2474047B (ko)
WO (1) WO2011039545A2 (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0905692D0 (en) * 2009-04-02 2009-05-20 Tno Touch sensitive device
WO2013114792A1 (ja) * 2012-01-31 2013-08-08 パナソニック株式会社 触感呈示装置および触感呈示方法
WO2013170099A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Calibration of haptic feedback systems for input devices
US9977499B2 (en) 2012-05-09 2018-05-22 Apple Inc. Thresholds for determining feedback in computing devices
CN104737096B (zh) * 2012-05-31 2018-01-02 诺基亚技术有限公司 显示装置
US20150109223A1 (en) 2012-06-12 2015-04-23 Apple Inc. Haptic electromagnetic actuator
US8860563B2 (en) * 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
CN103713753B (zh) * 2012-09-29 2017-06-27 联想(北京)有限公司 一种信息处理的方法及一种电子设备
US9304683B2 (en) 2012-10-10 2016-04-05 Microsoft Technology Licensing, Llc Arced or slanted soft input panels
US9547430B2 (en) 2012-10-10 2017-01-17 Microsoft Technology Licensing, Llc Provision of haptic feedback for localization and data input
US20140098038A1 (en) * 2012-10-10 2014-04-10 Microsoft Corporation Multi-function configurable haptic device
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
JP2015028766A (ja) * 2013-06-24 2015-02-12 パナソニックＩｐマネジメント株式会社 触感呈示装置および触感呈示方法
CN103456540B (zh) * 2013-08-09 2016-06-08 苏州达方电子有限公司 对无段落感按键产生力回馈信号的方法以及键盘
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
JP6172284B2 (ja) * 2013-09-26 2017-08-02 富士通株式会社 駆動制御装置、電子機器、及び駆動制御方法
FR3015383B1 (fr) * 2013-12-19 2017-01-13 Dav Dispositif de controle pour vehicule automobile et procede de commande
CN103760974B (zh) * 2014-01-02 2016-09-07 北京航空航天大学 用于模块化力觉交互设备的音乐调制处理方法
TWI528256B (zh) * 2014-01-07 2016-04-01 緯創資通股份有限公司 觸控模擬輸入裝置
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
FR3024560B1 (fr) * 2014-07-31 2016-10-28 Dav Procede et interface de commande a retour haptique pour vehicule automobile
US10297119B1 (en) * 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
CN105225877B (zh) * 2015-08-24 2017-05-03 苏州达方电子有限公司 键盘
KR101704517B1 (ko) 2016-03-28 2017-02-09 엘지디스플레이 주식회사 패널 진동형 음향 발생 표시 장치
US10219079B2 (en) 2016-03-28 2019-02-26 Lg Display Co., Ltd. Display device for generating sound by vibrating panel
KR102663406B1 (ko) 2016-04-04 2024-05-14 엘지디스플레이 주식회사 패널 진동형 음향 발생 액츄에이터 및 그를 포함하는 양면 표시 장치
KR20170114471A (ko) 2016-04-05 2017-10-16 엘지디스플레이 주식회사 유기발광 표시 장치
US10310610B2 (en) * 2017-10-19 2019-06-04 Facebook Technologies, Llc Haptic device for artificial reality systems
US10216231B1 (en) 2018-02-20 2019-02-26 Nvf Tech Ltd Moving magnet actuator for haptic alerts
US10620705B2 (en) 2018-06-01 2020-04-14 Google Llc Vibrating the surface of an electronic device to raise the perceived height at a depression in the surface
US10504342B1 (en) * 2018-06-12 2019-12-10 Immersion Corporation Devices and methods for providing localized haptic effects to a display screen
DE102018215213A1 (de) 2018-09-07 2020-03-12 Robert Bosch Gmbh Vorrichtung zur Erzeugung einer akustischen Rückmeldung bei Betätigung eines Bedienelements und Verfahren zur Erzeugung einer akustischen Rückmeldung bei Betätigung eines Bedienelements
FR3088454B1 (fr) * 2018-11-12 2020-12-11 Univ Sorbonne Interface haptique
CN111142659A (zh) * 2019-12-05 2020-05-12 瑞声科技(新加坡)有限公司 触感信号的实现方法、装置、终端及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017691A1 (en) * 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
JP2006079135A (ja) * 2004-09-06 2006-03-23 Fujitsu Component Ltd 触覚提示装置
JP2008225690A (ja) * 2007-03-09 2008-09-25 Sony Corp 振動体、触覚機能付きの入力装置及び電子機器

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4885565A (en) 1988-06-01 1989-12-05 General Motors Corporation Touchscreen CRT with tactile feedback
JP2804937B2 (ja) 1992-10-15 1998-09-30 矢崎総業株式会社 システムスイッチ装置
GB9517816D0 (en) 1995-09-01 1995-11-01 Lucas Ind Plc Optical position sensor
AU703020B2 (en) 1995-09-02 1999-03-11 New Transducers Limited Inertial vibration transducers
UA51671C2 (uk) 1995-09-02 2002-12-16 Нью Транзд'Юсез Лімітед Акустичний пристрій
GB9701983D0 (en) 1997-01-31 1997-03-19 New Transducers Ltd Electro-dynamic exciter
GB9718878D0 (en) 1997-09-06 1997-11-12 New Transducers Ltd Vibration Transducer
US5977867A (en) 1998-05-29 1999-11-02 Nortel Networks Corporation Touch pad panel with tactile feedback
GB9818719D0 (en) 1998-08-28 1998-10-21 New Transducers Ltd Vubration exciter
DE20080209U1 (de) * 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
BR0016706A (pt) 1999-12-23 2002-09-24 New Transducers Ltd Dispositivo sensìvel a contato
US7157649B2 (en) * 1999-12-23 2007-01-02 New Transducers Limited Contact sensitive device
TW511391B (en) 2000-01-24 2002-11-21 New Transducers Ltd Transducer
JP3949912B2 (ja) * 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
US6911901B2 (en) * 2000-12-20 2005-06-28 New Transducers Limited Multi-functional vibro-acoustic device
US7346172B1 (en) * 2001-03-28 2008-03-18 The United States Of America As Represented By The United States National Aeronautics And Space Administration Auditory alert systems with enhanced detectability
GB0116310D0 (en) 2001-07-04 2001-08-29 New Transducers Ltd Contact sensitive device
US7369115B2 (en) * 2002-04-25 2008-05-06 Immersion Corporation Haptic devices having multiple operational modes including at least one resonant mode
JP3937982B2 (ja) * 2002-08-29 2007-06-27 ソニー株式会社 入出力装置および入出力装置を有する電子機器
GB0228512D0 (en) 2002-12-06 2003-01-15 New Transducers Ltd Contact sensitive device
US20050248549A1 (en) * 2004-05-06 2005-11-10 Dietz Paul H Hand-held haptic stylus
US7564980B2 (en) * 2005-04-21 2009-07-21 Sensimetrics Corporation System and method for immersive simulation of hearing loss and auditory prostheses
GB0614631D0 (en) * 2006-07-22 2006-08-30 Howard Mark Detector
JP4697095B2 (ja) * 2006-08-29 2011-06-08 ソニー株式会社 タッチパネルディスプレイ装置、電子機器および遊技機器
US7468573B2 (en) * 2006-10-30 2008-12-23 Motorola, Inc. Method of providing tactile feedback
US8248277B2 (en) * 2007-07-06 2012-08-21 Pacinian Corporation Haptic keyboard systems and methods
GB0724149D0 (en) 2007-12-11 2008-01-23 New Transducers Ltd Touch-sensitive device
US20110267294A1 (en) * 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017691A1 (en) * 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
JP2006079135A (ja) * 2004-09-06 2006-03-23 Fujitsu Component Ltd 触覚提示装置
JP2008225690A (ja) * 2007-03-09 2008-09-25 Sony Corp 振動体、触覚機能付きの入力装置及び電子機器

Also Published As

Publication number Publication date
CN102640095A (zh) 2012-08-15
GB2474047B (en) 2014-12-17
GB2474047A (en) 2011-04-06
KR20170098968A (ko) 2017-08-30
JP2013506899A (ja) 2013-02-28
CA2775848A1 (en) 2011-04-07
KR20120092584A (ko) 2012-08-21
WO2011039545A2 (en) 2011-04-07
BR112012007551A2 (pt) 2016-11-29
US10705608B2 (en) 2020-07-07
GB0917284D0 (en) 2009-11-18
WO2011039545A3 (en) 2011-09-15
US9001060B2 (en) 2015-04-07
US20120200520A1 (en) 2012-08-09
JP5746186B2 (ja) 2015-07-08
KR101770793B1 (ko) 2017-09-05
US20160034034A1 (en) 2016-02-04
EP2483760A2 (en) 2012-08-08
EP2483760B1 (en) 2019-02-13

Similar Documents

Publication Publication Date Title
KR101902421B1 (ko) 클릭 느낌을 시뮬레이션하는 햅틱 피드백을 생성하는 터치 감지 디바이스
US10705610B2 (en) Apparatus for unified audio tactile feedback
Park et al. Perceptual space of amplitude-modulated vibrotactile stimuli
KR101571914B1 (ko) 터치 감지 장치
JP6370099B2 (ja) 低周波数効果ハプティック変換システム
US10649529B1 (en) Modification of user-perceived feedback of an input device using acoustic or haptic output
Marshall et al. Vibrotactile feedback in digital musical instruments
CN108845673A (zh) 使用映射的声音-触觉效应转换系统
Park et al. Tactile effect design and evaluation for virtual buttons on a mobile device touchscreen
KR20070045954A (ko) 전자 기기
CN103294191A (zh) 使用基元的高精确度触觉效应生成
WO2012010911A2 (en) Haptic device
KR100957005B1 (ko) 이종 액츄에이터를 이용한 햅틱 피드백 제공모듈, 이를 갖는 휴대기기 및 그 제공방법
JP2004265281A (ja) 振動応答型タッチパネル
US11934580B2 (en) Touch interface offering improved localised vibrotactile feedback
JP7032048B2 (ja) 制御装置、入力システムおよび制御方法
Bongers Tactual display of sound properties in electronic musical instruments
Altinsoy et al. Touchscreens and musical interaction
JP2016081366A (ja) 振動提示装置及び電子機器
Birnbaum The Touch Flute: Exploring roles of vibrotactile feedback in music performance
Kurzweg et al. Assignment of a Vibration to a Graphical Object Induced by Resonant Frequency
WO2005083553A1 (ja) 振動波形パラメータの変化による触覚感度の測定装置および触覚型マンマシンインターフェース
WO2024217204A1 (zh) 触觉反馈方法及装置
KR102631306B1 (ko) 국소 진동장 형성 장치 및 방법과, 가진기 배치 방법
de Jong Making grains tangible: microtouch for microsound

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant