KR101197876B1 - 다중접촉 촉각 스크린 상에서 가상 대상의 조작을 통한제어기 - Google Patents

다중접촉 촉각 스크린 상에서 가상 대상의 조작을 통한제어기 Download PDF

Info

Publication number
KR101197876B1
KR101197876B1 KR1020067019321A KR20067019321A KR101197876B1 KR 101197876 B1 KR101197876 B1 KR 101197876B1 KR 1020067019321 A KR1020067019321 A KR 1020067019321A KR 20067019321 A KR20067019321 A KR 20067019321A KR 101197876 B1 KR101197876 B1 KR 101197876B1
Authority
KR
South Korea
Prior art keywords
touch point
contact
specific processing
processing rule
touch
Prior art date
Application number
KR1020067019321A
Other languages
English (en)
Other versions
KR20070031286A (ko
Inventor
파스칼 조구에트
길라움 라길리어
Original Assignee
스탕텀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=34834225&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101197876(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 스탕텀 filed Critical 스탕텀
Publication of KR20070031286A publication Critical patent/KR20070031286A/ko
Application granted granted Critical
Publication of KR101197876B1 publication Critical patent/KR101197876B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/047—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using sets of wires, e.g. crossed wires
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G10H1/055—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/32—Constructional details
    • G10H1/34—Switch arrangements, e.g. keyboards or mechanical switches specially adapted for electrophonic musical instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/221—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
    • G10H2220/241—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another on touchscreens, i.e. keys, frets, strings, tablature or staff displayed on a touchscreen display for note input purposes

Abstract

본 발명은 가상의 대상을 조작하는 촉각 스크린을 통해 음악 소프트웨어의 제어를 가능케 하는 인간-기계 인터페이스에 관한 것이다.
본 발명은 촉각 정보의 포착을 위한 다중-접촉 2차원 센서를 포함하고, 또한 이러한 촉각 정보의 함수로서 명령 신호를 생성하는 계산 수단을 포함하는 디바이스에 의한, 컴퓨터화된 장비의 제어 방법에 관한 것으로, 이 제어 방법은, 투명 다중-접촉 촉각 센서 아래에 위치한 스크린 상에 그래픽 대상을 생성하기 위한 단계를 포함하고, 각각의 그래픽 대상은 하나 이상의 특정 처리 규칙과 관련되고, 상기 센서는 각 포착 상태 도중에 복수의 촉각 정보를 전달하고, 상기 촉각 정보의 각 단편은, 이들 그래픽 대상 중 하나의 위치에 대한 지역화에 의해 결정되는 특정 처리의 대상을 형성하는 것을 특징으로 한다.

Description

다중접촉 촉각 스크린 상에서 가상 대상의 조작을 통한 제어기{CONTROLLER BY THE MANIPULATION OF VIRTUAL OBJECTS ON A MULTI-CONTACT TACTILE SCREEN}
본 발명은 음악 제어기 분야에 관한 것이다.
본 발명은 보다 상세하게, 예컨대 가상 대상의 조작을 통한 다중-접촉 촉각 스크린에 의한 음악 소프트웨어 또는 제어기의 제어를 허용하는 인간-기계 인터페이스에 관한 것이다.
종래 기술은 이미 수동형 소프트웨어 제어기를 포함한다. 이들은 예컨대 콘솔의 형태로 사용자에 의해 조작될 수 있고, 음악 소프트웨어의 다른 기능을 제어할 수 있는 가변저항이다. 이러한 콘솔은 예컨대 PCT 출원(WO 01/69399호)의 요지를 형성한다.
이러한 형태의 제어기의 단점은 이들이 소프트웨어의 효율적인 조작을 위해 그다지 인간공학적이지 않다는 점이다.
본 발명에 의해 제안된 해결책은 소프트웨어 기능의 조작 및 이에 대한 액세스를 위한 촉각 스크린을 실현하는 것이다.
촉각 제어기의 분야에서, 종래 기술은 이미 PCT 출원(WO 03/041006) 또는 미국특허(US6,570,078)에서 매트릭스 센서 상에서 촉각 제어 기능을 갖는 음악 제어 기를 포함한다. 이들 문헌에 설명된 기술은 소프트웨어 제어를 위해 모든 손가락이 개입될 수 있는 다중-접촉 형태의 촉각 제어를 허용한다.
그러나, 이들 문헌은 다른 매트릭스 센서가 불투명한 형태이기 때문에 조작의 시각적인 반환(return)을 제안하지는 않는다.
종래 기술은, 미국 특허출원 US2002/005108호(Lester Franck Ludwig의 "음악 신호 처리, 믹싱, 비디오 및 조명의 실시간 제어를 위한 촉각, 시각 및 어레이 제어기")에서, 촉각 센서로부터, 압력 센서의 매트릭스로부터, 광 트랜스듀서의 매트릭스로부터, 화학 센서의 매트릭스, 신체 센서의 매트릭스로부터, 및 디지털 처리로부터 유도된 영상을 사용하여 상연, 녹음 도중에, 또는 작곡 환경 내에서 프로세서, 합성기, 악기, MIDI 프로세서, 조명, 비디오 및 특수 효과를 실시간으로 제어하기 위한 시스템 및 방법을 포함한다. 이러한 미국 특허출원의 발명은, 접촉 제어의 인터페이스로서 압력 센서의 매트릭스와 신체 센서의 매트릭스인 터치패드(touchpads), 비디오 카메라와 광 트랜스듀서와 같은 광 센서의 매트릭스, 및 컴퓨터 상의 처리로부터 또는 디지털 시뮬레이션으로부터 디지털 영상을 생성하기 위한 화학 센서의 매트릭스 또는 다른 장치의 매트릭스를 제공한다. 접촉 트랜스듀서는 종래 기기의 키(keys) 위에 배치될 수 있거나, 기존의 기기 위에 부착될 수 있거나, 또는 새로운 기기 또는 새로운 제어기를 생성하기 위하여 사용될 수도 있다. 컴퓨터 처리로부터 또는 디지털 시뮬레이션으로부터 디지털 영상을 생성하기 위한 화학 센서의 매트릭스 또는 다른 장치의 매트릭스는, 환경 조건 또는 자체-구성 프로세스의 거동과 같은 자연적인 물리 현상을 관찰 또는 시뮬레이션하기 위하여 사 용될 수 있다. 스칼라 또는 벡터 매트릭스는 처리되어, 패턴 한계점, 한계점(기하학적 중심, 가중 모멘트, 등) 내 픽셀의 기하학적 특성을 추출하고, 또한 외부 비디오 및 비쥬얼 장비에 대한 제어 신호를 생성하기 위하여, 그리고 제어 또는, 심지어 알고리즘을 위하여 사용되는 더 높은 레벨(회전 방향, 분할 영역, 패턴 분류, 구문, 문법, 시퀀스, 등)로부터 도출되는 정보를 추출한다. 본 발명에 의해 또한 MIDI 또는 비-MIDI 제어 신호가 제공된다.
이러한 미국 특허출원은 조작의 시각적인 반환을 제안하지 않는다. 이러한 미국 특허출원은 명령 규칙을 언급하지 않는다. 결국, 이 특허출원은 센서 상에서 직교 방식으로 수 개의 숫자가 정렬 또는 위치할 때 개입하는 차폐 현상에 대한 기술적인 해결책을 제안하지 않는다. 이들 문제점의 해결책은 다중-접촉 촉각 센서를 실현하기 위하여 필수적이다.
종래 기술은 또한 미국 특허 US5,027,689(Yamaha)("음악 톤 발생 장치")에서, 음악적인 소리를 생성하기 위한 장치를 포함한다. 이 장치는, 악기의 위치에 대한 정보(PS)를 평면 좌표 값으로 생성하기 위한 위치 정보 생성 디바이스를 포함한다. 이러한 정보(PS)는 메모리 디바이스에 저장되거나, 수동 조작에 의해 선택적인 방식으로 결정된다. 이 장치는 또한, 정보(PS)를 음악 소리의 파라미터(PD)를 제어하기 위한 정보로 변환하기 위한 정보 변환용 디바이스를 포함한다. 이러한 PD 제어 정보는, 무대 위에 배치된 악기의 위치에 대응하는 음장(sound field)을 생성하기 위하여, 음악 소리의 소스 신호(S11, S12 및 S13)를 제어한다. 이것은 조작자가 무대 위의 악기의 위치를 확인할 수 있게 하여, 실제로 라이브 공연 중인 것과 같은 감각을 제공한다.
상기 미국특허는 다중-접촉을 언급하지만, 직각 좌표계가 아닌 한 축 상의 단지 두 개의 접촉만을 언급한다. 이러한 미국특허의 장치는 다중점 선택을 위해 단지 선형적으로 기능하고, (궤적을 따르는) 추적을 허용하지 않는다. 더욱이, 이러한 미국특허의 장치는 각각의 악기에 특정한 복수의 센서를 필요로 하는 반면에, 본 발명은 일반적인 센서에 관련된다.
종래 기술은 또한, 미국 특허(제5,559,301호)를 통해, 조작된 대상의 시각적인 반환값을 갖는 촉각 스크린의 형태인 음악 제어기 유형의 해결책을 포함한다. 그러나, 이러한 특허는 미리 결정된 (필수적으로 슬라이더 유형 및 원형 가변저항 유형인)대상을 기술한다. 이들 대상 유형은 상당히 제한적이고, 특정 조작을 위해 매우 인간공학적이지 않은 것으로 밝혀졌다. 더욱이, 이러한 특허에 기술된 포착 모드는 실시간이 아니다. 실제로, 아이콘은 먼저 손가락과의 첫 번째 접촉에 의해 활성화될 것이고, 그 후, 조작된 대상과 값은 아이콘이 해제된 이후에만 갱신된다. 이러한 해결책은 대상과 관련된 파라미터의 실시간 관리를 허용하지 않는다. 결국, 이 특허에서 사용된 촉각 센서는 예컨대 단일 손가락을 위한 포착, 따라서 한 번에 하나의 대상에 대한 제어만을 허용하는 "단일-접촉" 센서이다. 이러한 특징은 대상의 효율적인 조작을 상당히 제한한다.
다음의 설명에 있어서, "다중-접촉"이란 용어는 예컨대, 선행 미국특허(US5,559,301호)에서, 단일 손가락 또는 스타일러스(stylus)에 대한 포착만을 허용하는 "단일-접촉" 센서와는 대조적으로 한 번에 수 개의 손가락 접촉 영역의 포 착을 허용하는 촉각 센서를 한정한다.
본 발명은 파라미터화 가능한 대상 위에 사용자의 다른 행동의 시각적인 반환값을 갖는, 다중-접촉 촉각의 음악 제어를 위한 스크린을 제안함으로써, 종래 기술의 단점을 수정하는 과제를 갖는다.
이를 달성하기 위하여, 본 발명은 상술한 유형으로 이루어지고, 본 발명이 촉각 정보의 포착을 위한 다중-접촉 2차원 센서를 포함하고, 또한 이러한 촉각 정보의 함수로서 명령 신호를 생성하는 계산 수단을 포함하는 디바이스에 의해 컴퓨터화 가능한 기기의 제어를 위한 방법에 관련되는 점에서, 본 발명은 그 폭넓은 의미에서 주목할만하며, 상기 방법은 또한, 투명 다중-접촉 촉각 센서 아래에 위치한 스크린 상에 그래픽 대상을 생성하기 위한 단계를 포함하고, 각각의 그래픽 대상은 하나 이상의 특정 처리 규칙과 관련되고, 상기 센서는 각 포착 상태 도중에 복수의 촉각 정보를 전달하고, 상기 촉각 정보의 각 단편은, 이들 그래픽 대상 중 하나의 위치에 대한 지역화에 의해 결정되는 특정 처리의 대상을 형성하는 것을 특징으로 한다.
이 처리는 바람직하게 촉각 센서를 갖는 대상의 접촉 영역의 경계 영역 검출을 포함한다.
이 처리는 중심의 검출을 포함하는 것이 바람직하다.
하나 이상의 이전 포착 단계 도중에 수행된 처리의 함수로서 그래픽 대상의 리프레싱(refreshing)을 위한 단계를 포함하는 것이 바람직하다.
일 실시예에 따라, 그래픽 성분 및 함수의 자료실로부터 그래픽 표현을 생성하고, 관련 처리 규칙을 결정하기 위해, 그래픽 대상을 편집하는 단계를 포함한다.
촉각 정보의 포착 주파수는 50Hz 이상인 것이 바람직하다.
본 발명은 또한, 촉각 정보의 포착을 위한 다중-접촉 2차원 센서를 포함하는 기기의 컴퓨터화 가능한 부분의 제어를 위한 디바이스에 관한 것으로, 이 디바이스는, 2차원 촉각 센서 아래에 놓이는 시청 스크린과, 각각이 하나 이상의 처리 규칙과 관련된 그래픽 대상을 기록하기 위한 메모리와, 획득한 촉각 정보의 위치 분석과 그래픽 대상의 위치에 대한 이 위치의 함수로서 처리 규칙의 적용을 위한 국부적인 계산기를 더 포함하는 것을 특징으로 한다.
더욱이, 제어기 네트워크를 형성하기 위한 허브(다중-소켓 네트워크)에 연결되는 것이 바람직하다.
이 다중-접촉 2차원 촉각 센서는 저항성 타일인 것이 유리하다.
더욱이, 이 디바이스는 네트워크 케이블을 수용하기에 적합한 네트워크 출력을 포함하는 것이 바람직하다.
도 1a는 본 발명에 따른 제어기의 기능도.
도 1b는 본 발명의 기능도에 관련된 제어기의 구조를 나타내는 도면.
도 1c는 센서에서 전송되는 데이터의 포착을 위한 처리, 다른 손가락에 관련된 커서 생성, 그래픽 대상과의 상호작용 및 제어 메시지의 생성에 있어서의 다른 단계의 기능도를 나타내는 도면.
도 2a는 촉각 매트릭스 센서를 설명하는 도면.
도 2b는 다중-접촉 정보를 얻기 위하여 센서의 스캐닝 기능의 제 1단계를 기술하는 도면.
도 2c, 도 2e 및 도 2f는 직교성 문제의 해결을 설명하는 도면.
도 2d는 캡쳐 인터페이스의 기능도.
도 3a 내지 도 3d는, 커서의 생성, 필터링, 중심 계산 및 맵핑을 위한 단계와 그래픽 대상의 제어를 위한 단계를 설명하는 도면.
도 4 및 도 5는 그래픽 대상의 다른 예를 도시하는 도면.
도 6 내지 도 10은 제어기 상의 그래픽 대상 조합의 다른 예를 도시하는 도면.
도 11은 사용자 컴퓨터와 관련된 제어기의 네트워크 사용을 도시하는 도면.
본 발명은 첨부된 도면을 참조하여 본 발명의 일 실시예의 단지 설명을 통해 이하에 주어진 다음의 설명의 도움으로 더 잘 이해될 것이다.
다음의 모든 설명에 있어서, 예컨대 음악 소프트웨어, 제어기, 오디오비디오 기기 또는 멀티미디어 기기가 될 수 있는 기기의 컴퓨터화된 부분 위에서 제어가 수행된다.
도 1a, 도 1b 및 보다 정확히는 도 2a에 도시한 바와 같이, 본 발명의 제 1기본 요소는 캡쳐 인터페이스(102)의 도움으로 포착(다중-접촉 조작)을 위해 필요한 매트릭스 센서(101)이다. 이 센서는 필요한 경우에 캡쳐를 가속시키기 위하여 수 개의 부분으로 분할될 수 있고, 각 부분은 동시에 스캐닝된다.
일반 원리는 센서 위에서 검출된 영역만큼의 커서(마우스 커서와 같은)를 생성하고, 시간에 맞춰 이들의 전개를 추적하는 것이다.
사용자가 자신의 손가락을 센서로부터 제거하였을 때 관련 커서는 소멸된다.
이러한 방식에 있어서, 수 개의 손가락의 위치와 전개는 센서 위에서 동시에 캡쳐된다. 이것은 이러한 형태의 제어기에 대해 상당히 혁신적인 다중-접촉 캡쳐이다.
본 발명의 이러한 실시예를 위하여 사용된 센서는 알려진 유형의 저항성 촉각 매트릭스 타일이다.
저항성 촉각 매트릭스 타일은 겹쳐진 2개의 면으로 구성되고, 이들 면 위에는 반투명 전도성 재질인 ITO(인듐 주석 산화물)의 트랙이 구성된다. 이 트랙은 상부층에서 라인으로, 그리고 하부층에서는 열로 놓여, 매트릭스를 형성한다(도 2a 참조).
두 개의 전도성 층은 공간 지주에 의해 서로 절연된다. 라인과 열의 교차점은 접촉점을 형성한다. 손가락이 타일 상에 놓일 때, 상부층에 놓인 열(들)은 하부층위에 놓인 라인(들)과 접촉하여, 하나 또는 수 개의 접촉점을 형성한다(도 2b 참조).
본 발명의 변형은 유리하게, 저항값이 압력의 함수로서 변하는 투명 저항성 재질(예, 전도성 중합체)로 지주를 교체하는데 있고, 이러한 저항값은 충분한 압력이 가해진다면 떨어진다. 이러한 방식에 있어서, 각 라인-열 교차점에서 저항 측정 을 수행함으로써 표면 상에 가해지는 압력값을 추출할 수도 있다.
이들 타일의 음악 또는 오디오비디오 용도에 관해, 손가락의 활동을 최대 20ms의 지연을 갖고 측정하는 것이 불가피 하다.
타일의 상태는 초당 적어도 100회 측정되고, 이러한 타일은 이들 영역에서 병렬 처리를 수행하기 위하여 수 개의 영역으로 분할될 수 있다.
따라서, 본 발명에 따라, 타일의 샘플링 주파수는 적어도 100 Hz이다.
다른 기본 요소는 촉각 타일을 스캐닝하기 위한 전자 디바이스이고, 이 디바이스는 매트릭스 센서 상에서 수 개의 접촉점의 동시 검출을 가능케 한다. 실제로, 이러한 유형의 센서를 포착하기 위한 알려진 방법은 수 개의 동시 접촉점의 검출을 허용하지 않는다.
과거에 알려진 방법은 도 2c에 도시한 문제를 해결하지 못한다.
하나의 열(column)에 전원을 공급하면서, 모든 라인의 동시 측정이 수행되면, 직교성 문제가 발생한다. 접촉점 No.1은 접촉점 No.2를 차단할 것이다. 마찬가지로, 모든 열에 전원이 공급될 때 하나의 라인이 측정되면, 접촉점 No.2가 접촉점 No.1에 의해 차단될 것이다. 이러한 문제점을 해결하기 위하여 제안된 해결책은 센서의 순차적인 스캐닝을 수행하는데 있다.
열은 예컨대 5V로 전원이 차례로 공급되고, 라인의 레벨(높거나 낮은 레벨)은 순차적으로 측정된다.
열중 하나에 전압이 가해질 때, 다른 열은 이들로의 전류의 전파를 방지하기 위하여 높은 임피던스 상태가 된다.
따라서, 열 1이 먼저 전원을 공급받고, 동시에 다른 열은 높은 임피던스 상태가 된다.
라인은 한 라인씩 순차적으로 측정된다. 제 1라인 상에서의 값이 초기에 판독되고, 동시에 모든 다른 라인은 접지에 연결된다. 그 후 라인 1은 접지에 연결되고, 라인 2상의 값이 판독되며, 이와 같은 방식으로 모든 라인의 값이 판독될 때까지 진행된다.
열 1은 그 후 높은 임피던스 상태에 놓이고, 열 2에 전원이 공급된다. 각 라인의 상태 판독이 개시된다.
스캐닝은 이러한 방식으로 마지막 열까지 수행된다.
목표가 다중-접촉 타일을 형성하는 것이기 때문에, 초당 수 차례에 걸쳐 각각의 타일 교차점의 값을 얻기 위하여, 증가된 주파수로 매트릭스의 전체 스캐닝을수행한다.
타일 데이터의 포착을 허용하는 디바이스는 도 2d에 도시되 있다. 이 도 2d는 100 개 라인(L)과 135개 열(C)을 포함하는 타일의 포착 알고리즘을 나타낸다.
하나 또는 수 개의 다른 점에 의해 한 점의 차단에서 특정 문제가 출현할 수 있다.
실제로, 열과 라인을 구성하는 투명 재질(ITO)의 저항값은 트랙의 길이에 비례하여 증가한다. 따라서, 센서의 왼쪽 하부 구석에서 측정된 전위는 오른쪽 상부 구석에서 측정된 전위보다 클 것이다.
도 2e와 도 2f에서, 점들의 구름은 전원이 공급된 열의 전기 전위의 대부분 을 흡수한다. 분리된 점에서 측정된 전위는 따라서 너무 낮아 검출되지 않는다.
이러한 문제점에 대한 해결책으로는, 촉각 타일 상에서 손가락의 작용에 의해 초래되는 것으로 고려할 만큼 관찰된 장력이 충분한지의 여부를 결정하기 위하여, 라인의 출력에서 디지털 조정식 전압 비교기를 사용하는데 있다. 비교기의 기준 값(비교 임계값)은 각 라인 측정마다 감소된다. 따라서, 마지막 라인의 비교값은 첫 번째 라인의 비교값보다 낮고, 이러한 점은 왼쪽 하부 또는 오른쪽 상부에 위치한 접촉점이 동일한 방식으로 검출될 수 있도록 한다.
따라서, 예컨대 타일의 완전한 샘플링은 열과 라인에 대해 초당 적어도 100회 수행된다.
캡쳐 인터페이스(102)로부터의 데이터는 따라서 센서 전체를 나타내는 영상을 형성한다. 이러한 영상은 메모리 내에 위치하여, 프로그램이 손가락의 필터링, 검출, 및 커서의 생성을 거치게 된다. 이러한 작용에 대해서는 도 1a 내지 도 1c를 참조한다.
도 3b에 도시된 필터링 상태는 포착 인터페이스 또는 센서 자체에 의해 생성될 수 있는 잡음을 제거하는 것을 나타낸다. 수 개의 접촉점의 구름만이 손가락의 압력에 대응할 수 있다고 간주된다. 따라서, 독립 접촉점을 제거하기 위하여 경계 영역의 검출이 수행된다.
다음 단계는 각 지지점과 관련시키는데 있다(도 3c). 이를 위해, 각 경계 영역의 중심이 계산된다. 손가락을 떼었을 때, 대응하는 커서가 자유롭게 된다.
주 프로세서에 의해 국부적으로 실행된 프로그램은 이들 커서가 그래픽 대 상과 연관되도록 허용한다. 이 그래픽 대상은 이들을 조작하기 위하여 스크린(105) 상에 디스플레이 된다. 그와 동시에, 국부 프로그램은 호스트 컴퓨터 또는 피제어 장치로 어드레스가 지정되는 제어 메시지를 생성하기 위하여 이들 커서를 사용한다.
또한, 프로그램은 커서와 그래픽 대상 사이의 상호작용 규칙의 변경을 허용하는 물리적인 모델의 시뮬레이터를 포함한다. 스프링 장전 시스템, 줄의 진동, 충돌 관리, 중력 법칙, 전자기 장과 같은, 다른 물리적인 모델을 사용할 수 있다.
프로그램은 커서의 위치설정을 고려하고, 각각이 어느 그래픽 대상에 위치하는 지를 고려한다. 특정 처리는 고려되는 대상의 함수로서 센서로부터 나오는 데이터에 제공될 수 있다. 예컨대, 압력 측정(시간의 짧은 간격에서 촉각 타일 상에서 손가락에 의해 만들어진 점의 전개에 대응)을 해석할 수 있다. 가속도, 속도, 궤적 등과 같은, 다른 파라미터를 대상의 특성 함수로서 추론할 수 있다. 다른 손가락을 구별하기 위하여 유형의 인식 알고리즘을 적용할 수 있다.
주 프로그램(103)은 또한 스크린(105) 상에 디스플레이될 데이터를 그래픽 인터페이스(104)에 송신한다. 더욱이, 이러한 그래픽 인터페이스는 그래픽 프로세서에 의해 구성된다. 이러한 그래픽 프로세서는 예컨대, 알려진 유형이다. 알려진 유형은 원시 그래픽 함수로써 구성할 수 있고, 이러한 그래픽 함수는 비트맵의 디스플레이, 다각형 폰트의 디스플레이, 2차원 및 3차원 그림의 디스플레이, 벡터 설계, 앤티-앨리어싱, 텍스쳐 맵핑, 투명성, 및 색 보간을 가능케 한다.
본 발명의 이러한 표현에 있어서, 주 프로그램은 또한 수학식의 분석기를 포 함한다. 이 분석기는 수학 함수가 실시간으로 입력되어 계산될 수 있도록 한다. 이들 함수는 어떤 변수의 값이 변경될 수 있게 한다. 예컨대, 대상 내부의 커서의 좌표(x,y)는 0과 1 사이에 포함되는 두 변수로서 고려될 수 있다. 수학식 분석기는 600과 1600 사이에 포함되는 새로운 변수를 얻기 위하여 "x*1000+600" 유형의 수학식이 생성될 수 있도록 한다. 얻어진 변수는 예컨대 600과 1600 Hz 사이에 포함되는 발진기 주파수의 제어를 가능케 한다.
수학식은 스칼라 값뿐만 아니라, 벡터에도 적용할 수 있다.
수학식 분석기는 대상의 변수 위에서 실시간 계산이 수행될 수 있게 하는 도구이다.
국부적인 프로그램(103)은 또한 네트워크 포트(106)를 위한 메시지의 형태로 데이터의 포맷팅을 수행하고, 네트워크 포트는 데이터를 컴퓨터 애플리케이션이 수행되는 컴퓨터에 전달한다.
네트워크 인터페이스는 예컨대 프로토콜 TCP/IP를 통해 패킷으로 통신하는 이더넷 10/100 baseT 표준 인터페이스이다. 이는 또한 무선 유형의 네트워크 인터페이스이다.
도 11에 도시한 바와 같이, 간단한 허브(다중-소켓 네트워크)를 사용하는 이더넷 연결은, 본 발명에 따라 제어기 네트워크를 구성함으로써, 제어 장치를 무한히 확장할 가능성을 사용자에게 제공하는 점을 주목해야 한다.
네트워크에 존재하는 제어기(들)는 따라서 그들 사이에서 그리고 호스트 컴퓨터와 메시지의 반복적인 송신 형태로 통신한다.
더욱이, 머신을 구성하는 유니트는 알려진 유형의 배터리(미도시)에 의해 또는 AC 어댑터에 의해 전원을 공급받는다.
마지막으로, 사용자의 컴퓨터 레벨에서의 인터페이스 편집기(107)는 인터페이스, 즉 스크린(105) 상에 디스플레이되는 그래픽 대상의 전체가 그래픽 방식으로 프로그램될 수 있게 한다. 본 발명의 이러한 실시예에 있어서, 인터페이스는 그 자체가 높은 계층 구조인 장면들로 구성된다. 실제로 각 장면은 수 개의 인터페이스를 포함한다. 사용자는 I/O 포트(108)에 연결된 버튼 키보드 또는 제어 페달 보드의 도움으로 인터페이스를 교체할 수 있다.
인터페이스 편집기의 다른 기능은 제어 데이터를 사용자가 제어하기 원하는 파라미터에 할당하는 것이다.
사용자는 자신의 뜻대로 파라미터화할 수 있는 그래픽 대상의 자료실을 가질 수 있어, 원하는 애플리케이션에 따라 다른 인터페이스의 구성을 가능케 한다. 도 4 및 도 5는 사용자의 의도대로 배치한 다른 그래픽 대상을 나타낸다.
이들은 특별히 오디오비디오 설비 또는 컴퓨터화된 장치의 음악 또는 제어에 미리 조립하거나 전용으로 할 수 있다. 예컨대, 선형 가변저항(403, 404)은 특별히 음향 신호의 음량, 필터의 주파수와 같은 연속적인 파라미터를 제어하도록 적응된다. 톱니모양의 휠(401)은 예컨대 오디오 또는 비디오 리더의 재생을 제어하는데 도움이 될 수 있다. 이러한 대상은 알려진 유형의 개발 키트(SDK)(109)와 함께 자유롭게 전개될 수 있다. 개발 키트는 제어기의 원시 그래픽 함수에 대한 액세스를 제공한다.
인터페이스 편집기(107)는 따라서 사용자로 하여금 개인화된 제어 인터페이스를 쉽게 생성하는 것을 가능케 한다. 이는 사용자의 컴퓨터에서 실행되는 소프트웨어이다. 이는 타일의 촉각 표면을 나타내는 메인 윈도우로 구성되고, 타일의 표면 상에는 제안대상의 자료실로부터의 그래픽 대상이 위치할 수 있다. 표면상에서의 대상의 조작 및 배치는 예컨대 마우스를 통해 수행된다. 윈도우에 배치된 대상은 동시에 제어기 상에도 디스플레이되고, 대상은 제어기의 메모리 내에 기록된다. 제어기는 후속적으로 편의에 따라 대상을 이동시키거나 그 크기를 조정할 수 있다.
메인 윈도우 상에서의 그래픽 대상의 위치 설정에 부가하여, 다른 제 2차 윈도우는 대상 내에서 고유한 다른 파라미터(그래픽 특성, 물리적인 거동)의 조정을 허용한다. 예컨대, 버튼(402)은 스위치 또는 트리거로서 작용할 수도 있다. 트리거 모드의 경우, 압력 측정을 선택적으로 수행할 수 있다. 파라미터화 가능한 대상의 다른 예로는, 제한된 영역 내에서 폰(pawn)을 움직이는 원리를 갖는 2D 영역(503, 504)을 들 수 있다. 2D 영역에 존재하는 폰의 수는 파라미터화 가능한 선택사항이다. 영역은 단일평면 모드, 폰이 서로 충돌하는 모드, 또는 폰이 뚜렷이 겹쳐진 평면 위에 배치되는 모드인 다중-평면으로 구성될 수 있다. 평면상에서 폰의 마찰 계수, 가장자리 또는 그들 사이에서 폰의 리바운드 및 인력과 같은 물리적인 파라미터 역시 구성될 수 있다.
편집기는 또한 표면 위에 존재하는 대상이 나열되는 것을 허용하고, 수학식 분석기와 함께 함수와 변수의 생성을 허용한다.
따라서, 대상은 그들의 원시 축에 대응하는 일정한 수의 변수(x, y, z,..)를 디폴트로서 구비한다. 이들 변수는 항상 0과 1 사이에서 구성되고, 유동 소수점을 갖는 32비트 수의 형태로 변한다. 사용자는, 제어하기를 원하는 것을 더 나타내는 다른 값에 이들 변수를 연결할 수 있어야 한다. 따라서, 수학식 분석기는 단순한 수학식의 도움으로 새로운 변수를 생성할 가능성을 제공한다. 예컨대, 직선의 가변저항은 x인 원시축을 갖는다. 사용자가 500 내지 2500 Hz의 주파수를 제어하기를 원한다면, 변수(a=2000x+500)를 생성해야 한다.
상태 디스플레이 선택사항이 또한 요구된다. 이들은 파라미터 상태의 시각적인 제어를 허용한다.
타일상의 조작을 통해 주 계산 유니트(103)의 레벨에서 대상에 적용될 추가 처리는 대상의 각 유형에 특정된다.
실제로, 가상의 선형 가변저항(403, 404) 위에서 손가락의 원운동은 가변저항의 상태에 영향을 미치지 않아야 하는데, 반면에 이는 원형 가변저항(401)의 경우에는 상태를 변경해야 한다. 마찬가지로, 특정 대상은 한 번에 단일 손가락(예컨대, 선형 가변저항)만을 고려할 수 있는 반면, 다른 대상은 수 개의 손가락의 상호작용(키보드, 2D 영역)을 수용할 수 있다.
예컨대, "2D 영역"(503, 504)은 각각이 자신의 위치를 갖는 일정한 수의 폰을 포함하는 직사각형 표면이다. 폰은 사용자에 의해 움직일 수 있다.
원리는 대상의 전체에 대해 물리적인 시스템을 시행하는 것이다, 즉 사용자에 의해 이동된 폰은 사용자가 폰을 이동시킬 때 보유하는 관성의 속도를 획득하고; 이러한 방식으로 자신의 속도를 조건으로 하는 폰은 "2D 영역"의 가장자리에서 리바운드되고, 또한 그들 사이에서도 리바운드된다. 더욱이, 이들은 가장자리 또는 다른 폰 위에서 인력/반발의 힘과 특정 시간의 종료시 폰을 중지시키기 위한 2D 영역의 표면에서의 마찰계수에 종속될 것이다. 모든 이들 파라미터는 파라미터화가 가능하다.
2D 영역의 다른 변형은 "스프링 장전" 유형의 물리 법칙을 적용하는 것이다. 가상적인 고무 띠는 각 커서와 각 폰 사이에서 연신된다. 사용자는 마찰과 보간 인자를 구성함으로써 이러한 대상의 거동을 변경할 수 있다. 이들 특성은 다른 대상의 도움으로 실시간으로 변경할 수 있다.
다른 예는 총수가 구성될 수 있는 커서의 표인 "멀티슬라이드"(501)이다. 전형적인 용도는 그래픽 이퀄라이저 또는 스펙트럼 포락선의 제어이다. "멀티슬라이더"와 수 개의 단순한 병렬 선형 가변저항 사이의 차이점은 커서 전체가 손가락의 미끄러짐에 의한 단일 접촉으로 변경될 수 있다는 점이다. 멀티슬라이드는 개별적인 줄로서서 사용할 수 있다. 이를 위해, 장력이 사용자에 의해 파라미터화 가능한 줄의 물리적인 모델을 적용하는 것만으로 충분하다.
다른 유형의 대상을 통합하는 인터페이스의 다른 예의 시각화가 수 개의 설명한 대상을 관찰할 수 있는 도 6내지 도 9에 도시되었다.
도 6은 1 개의 폰을 각각 포함하는 6개의 2D 영역(601)을 도시한다. 이러한 인터페이스는 예컨대, 하나 또는 수 개의 음향 소스에 할당된 6개의 다른 필터를 제어할 수 있다. 이 경우, 각 지역에서 각 폰의 가로좌표의 움직임은 필터의 주파수를 제어하는 반면, 세로좌표 움직임은 품질 인자 또는 필터 대역의 폭을 제어한 다.
도 7은 알려진 유형의 합성기 또는 샘플러의 제어 예를 도시한다. 인터페이스는, 예컨대 다이내믹 포락선(어택 시간, 유지 레벨, 릴리스 시간)의 제어를 허용하는 4개의 수직 가변저항(703)의 그룹을 통해 음향의 고저를 제어하는 평균율 건반(704)으로 구성된다. 3개의 폰을 포함하는 2D 영역(701)은 음향에 가해지는 효과(반향, 에코, 필터)의 제어를 허용한다. 16개 버튼(702)은 예컨대 16개의 기록된 다른 음악 시퀀스를 방출하거나, 또한 이전에 기술된 제어의 미리 기록된 16개의 구성을 호출한다.
본 발명의 다른 적용 예는, 수 개의 스피커로 구성된 디바이스 상에서 다른 음향 소스를 공간으로 방송하기 위한 디바이스의 제어를 나타내는 도 8에 도시되어 있다. 이러한 구성에 있어서, 방송 공간을 나타내는 2D 영역(801)은 4개의 음향 소스에 대응하는 4개의 폰(803)을 포함한다. 2D 영역은 또한 5개 스피커의 위치를 나타내는 5개의 아이콘(802)을 포함한다. 각 밀폐된 공간에 대한 각 음향 소스의 레벨 및/또는 위상은, 다른 폰(803)을 이동시킴으로써 조정되는데, 이러한 이동은 공간에서 그 위치를 결정한다. 더욱이, 4개의 선형 가변저항(805)의 그룹에 의해 각 소스의 상대적인 레벨의 조정이 가능하다. 4개 버튼(804)의 한 유니트는 각 음향 소스를 활성시키거나 활성을 해제시킨다.
다른 예는, 도 7에 의해 도시된 것과는 다른 구성에 따른 합성기 또는 음향 생성기의 제어를 나타내는 도 9를 통해 도시된다. 여기에서, 음향 생성기의 주파수는 4개의 가상 줄(903)에 의해 제어된다. 각 줄의 초기 장력(고저)은 그 자체가 선 형 가변저항(902)에 의해 제어될 수 있다. 2D 영역(901) 예컨대 출력 레벨, 음질, 패닝(panning) 등과 같은 음향 생성기의 다른 파라미터를 제어한다.
도 10은 알려진 유형의 오디오 및/또는 비디오 편집을 위한 장비의 제어를 도시한다. 톱니 휠(1001)은 오디오 및/또는 비디오 소스의 판독 속도의 제어를 가능하게 한다. 상태 디스플레이 대상(1002)는 판독 위치가 알려진 유형의 포맷(시간, 분, 초, 영상)에 따른 표현을 가능하게 한다. 한 세트의 버튼(1003)은 제어 장치의 판독 및 편집 기능으로의 액세스를 허용한다.
본 발명은 예를 통하여 위에서 기술되었다. 당업자라면 발명의 범주를 벗어남이 없이도 본 발명의 다른 변형을 실현할 수 있음이 이해된다.
본 발명은 가상 물체의 조작을 통한 다중-접촉 촉각 스크린에 의한 음악 소프트웨어 또는 제어기의 제어를 허용하는 인간-기계 인터페이스를 제공한다.

Claims (12)

  1. 촉각 정보의 포착(acquisition)을 위한 다중-접촉 2차원 터치 스크린을 포함하고, 또한 이러한 촉각 정보의 함수로서 명령 신호들을 생성하는 계산 수단을 포함하는 디바이스에 의한, 컴퓨터화된 장비의 제어 방법으로서,
    상기 다중-접촉 2차원 터치 스크린 상의 제1 그래픽 대상(object) 및 제2 그래픽 대상을 제1 대상 위치 및 제2 대상 위치에 각각 디스플레이하는 단계;
    상기 제1 그래픽 대상 및 상기 제2 그래픽 대상에 제1 특정 처리 규칙 및 제2 특정 처리 규칙을 각각 연관시키는 단계;
    상기 다중-접촉 2차원 터치 스크린 상의 제1 터치 지점 및 제2 터치 지점을 검출하는 단계와, 상기 제1 터치 지점 및 상기 제2 터치 지점에 대한 제1 터치 위치 및 제2 터치 위치를 각각 정의하는 단계;
    상기 제1 그래픽 대상의 상기 제1 특정 처리 규칙을 상기 제1 터치 위치와 상기 제1 대상 위치 간의 상대적 위치의 함수로서 적용하는 단계;
    상기 제2 그래픽 대상의 상기 제2 특정 처리 규칙을 상기 제2 터치 위치와 상기 제2 대상 위치 간의 상대적 위치의 함수로서 적용하는 단계;
    상기 제1 그래픽 대상 또는 상기 제1 대상 위치 중 적어도 하나를 상기 제1 특정 처리 규칙을 적용한 결과에 기초하여 변경하는 단계; 및
    상기 제2 그래픽 대상 또는 상기 제2 대상 위치 중 적어도 하나를 상기 제2 특정 처리 규칙을 적용한 결과에 기초하여 변경하는 단계
    를 포함하는 것을 특징으로 하는 컴퓨터화된 장비의 제어 방법.
  2. 제1항에 있어서,
    상기 다중-접촉 2차원 터치 스크린은 매트릭스 센서를 이용하고, 상기 검출하는 단계는 상기 센서의 순차적인 스캐닝을 포함하는 것을 특징으로 하는 컴퓨터화된 장비의 제어 방법.
  3. 제1항에 있어서,
    상기 검출하는 단계는 상기 제1 터치 지점 및 상기 제2 터치 지점으로부터 제1 접촉 지역 및 제2 접촉 지역을 생성하는 단계, 상기 제1 접촉 지역 및 상기 제2 접촉 지역에 대한 경계 지역을 계산하는 제1 계산 단계, 및 상기 제1 접촉 지역 및 상기 제2 접촉 지역에 대한 커서 위치를 계산하는 제2 계산 단계를 포함하는 것을 특징으로 하는 컴퓨터화된 장비의 제어 방법.
  4. 제3항에 있어서,
    상기 제2 계산 단계는 상기 경계 지역의 중심에 기초하여 상기 커서 위치를 더 계산하는 것을 특징으로 하는 컴퓨터화된 장비의 제어 방법.
  5. 촉각 정보의 포착을 위한 다중-접촉 2차원 터치 스크린을 포함하는, 컴퓨터화된 장비를 제어하기 위한 디바이스로서,
    다중-접촉 터치 스크린은 상기 다중-접촉 터치 스크린 상의 제1 터치 지점 및 제2 터치 지점을 검출하고, 상기 제1 터치 지점 및 상기 제2 터치 지점에 대한 제1 터치 위치 및 제2 터치 위치를 각각 정의하도록 구성되며,
    상기 디바이스는,
    제1 그래픽 대상 및 제2 그래픽 대상과, 상기 제1 그래픽 대상 및 상기 제2 그래픽 대상에 연관된 제1 특정 처리 규칙 및 제2 특정 처리 규칙을 저장하는 메모리;
    상기 제1 그래픽 대상 및 상기 제2 그래픽 대상을 제1 대상 위치 및 제2 대상 위치에 각각 디스플레이하는 그래픽 디스플레이 유닛; 및
    상기 제1 그래픽 대상에 연관된 상기 제1 특정 처리 규칙을 상기 제1 터치 위치와 상기 제1 대상 위치 간의 상대적 위치의 함수로서 적용하도록 구성되고, 상기 제2 그래픽 대상에 연관된 상기 제2 특정 처리 규칙을 상기 제2 터치 위치와 상기 제2 대상 위치 간의 상대적 위치의 함수로서 적용하도록 구성되고, 상기 제1 그래픽 대상 또는 상기 제1 대상 위치 중 적어도 하나를 상기 제1 특정 처리 규칙을 적용한 결과에 기초하여 변경하도록 구성되고, 상기 제2 그래픽 대상 또는 상기 제2 대상 위치 중 적어도 하나를 상기 제2 특정 처리 규칙을 적용한 결과에 기초하여 변경하도록 구성되는 프로세서
    를 더 포함하는 것을 특징으로 하는 컴퓨터화된 장비를 제어하기 위한 디바이스.
  6. 제5항에 있어서,
    상기 다중-접촉 터치 스크린은 투명한 매트릭스 센서를 포함하는 것을 특징으로 하는 컴퓨터화된 장비를 제어하기 위한 디바이스.
  7. 제6항에 있어서,
    상기 투명한 매트릭스 센서는 복수의 전도성 행들과 열들의 어레이를 포함하는 것을 특징으로 하는 컴퓨터화된 장비를 제어하기 위한 디바이스.
  8. 제7항에 있어서,
    행과 열의 교차점들의 전기적 특성을 측정하여 상기 제1 터치 지점 및 상기 제2 터치 지점을 검출하기 위해 상기 매트릭스 센서의 행들과 열들을 순차적으로 스캔하도록 구성되는 제어기를 더 포함하는 것을 특징으로 하는 컴퓨터화된 장비를 제어하기 위한 디바이스.
  9. 제5항에 있어서,
    상기 프로세서는 상기 제1 터치 지점 및 상기 제2 터치 지점으로부터 제1 접촉 지역 및 제2 접촉 지역을 각각 생성하고, 상기 제1 접촉 지역 및 상기 제2 접촉 지역에 대한 경계 지역을 계산하고, 상기 접촉 지역에 대한 커서 위치를 계산하도록 더 구성되는 컴퓨터화된 장비를 제어하기 위한 디바이스.
  10. 제9항에 있어서,
    상기 프로세서는 상기 경계 지역의 중심에 기초하여 상기 커서 위치를 계산하도록 더 구성되는 컴퓨터화된 장비를 제어하기 위한 디바이스.
  11. 삭제
  12. 삭제
KR1020067019321A 2004-02-23 2005-02-23 다중접촉 촉각 스크린 상에서 가상 대상의 조작을 통한제어기 KR101197876B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0450329A FR2866726B1 (fr) 2004-02-23 2004-02-23 Controleur par manipulation d'objets virtuels sur un ecran tactile multi-contact
FR0450329 2004-02-23
PCT/FR2005/000428 WO2005091104A2 (fr) 2004-02-23 2005-02-23 Controleur par manipulation d’objets virtuels sur un ecran tactile multi-contact

Publications (2)

Publication Number Publication Date
KR20070031286A KR20070031286A (ko) 2007-03-19
KR101197876B1 true KR101197876B1 (ko) 2012-11-05

Family

ID=34834225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067019321A KR101197876B1 (ko) 2004-02-23 2005-02-23 다중접촉 촉각 스크린 상에서 가상 대상의 조작을 통한제어기

Country Status (12)

Country Link
US (6) US8049730B2 (ko)
EP (5) EP2278440A2 (ko)
JP (2) JP4932500B2 (ko)
KR (1) KR101197876B1 (ko)
CN (1) CN100447723C (ko)
AT (1) ATE402436T1 (ko)
CA (1) CA2557063C (ko)
DE (1) DE602005008384D1 (ko)
ES (1) ES2311218T3 (ko)
FR (1) FR2866726B1 (ko)
PL (1) PL1719047T3 (ko)
WO (1) WO2005091104A2 (ko)

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6610917B2 (en) 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US9024884B2 (en) * 2003-09-02 2015-05-05 Apple Inc. Touch-sensitive electronic apparatus for media applications, and methods therefor
FR2866726B1 (fr) * 2004-02-23 2006-05-26 Jazzmutant Controleur par manipulation d'objets virtuels sur un ecran tactile multi-contact
US8717301B2 (en) 2005-08-01 2014-05-06 Sony Corporation Information processing apparatus and method, and program
JP4201775B2 (ja) * 2005-03-02 2008-12-24 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置の制御方法及びプログラム
EP1783593A3 (en) * 2005-10-07 2012-12-19 Sony Corporation Information processing apparatus with a user interface comprising a touch panel, method and program
EP1881398B1 (de) * 2006-06-30 2009-02-18 Christian Iten Verfahren zur Positionierung eines Cursors auf einem berührungsempfindlichen Bildschirm
US8144129B2 (en) * 2007-01-05 2012-03-27 Apple Inc. Flexible touch sensing circuits
US8970503B2 (en) * 2007-01-05 2015-03-03 Apple Inc. Gestures for devices having one or more touch sensitive surfaces
US20080168478A1 (en) 2007-01-07 2008-07-10 Andrew Platzer Application Programming Interfaces for Scrolling
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US20080168402A1 (en) 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
FR2914756B1 (fr) * 2007-04-05 2012-09-21 Jazzmutant Capteur multi-tactile transparent.
US9052817B2 (en) 2007-06-13 2015-06-09 Apple Inc. Mode sensitive processing of touch data
KR101395780B1 (ko) * 2007-07-27 2014-05-16 삼성전자주식회사 촉각 감지를 위한 압력 센서 어레이 장치 및 방법
CN101458586B (zh) * 2007-12-11 2010-10-13 义隆电子股份有限公司 以多根手指在触控屏幕上操作对象的方法
AR064377A1 (es) * 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
FR2925716B1 (fr) 2007-12-19 2010-06-18 Stantum Circuit electronique d'analyse a modulation de caracteristiques de balayage pour capteur tactile multicontacts a matrice passive
FR2925714B1 (fr) * 2007-12-19 2010-01-15 Stantum Circuit electronique d'analyse a alternance de mesure capacitive/resistive pour capteur tactile multicontacts a matrice passive
TWI358028B (en) * 2007-12-25 2012-02-11 Htc Corp Electronic device capable of transferring object b
US8797271B2 (en) 2008-02-27 2014-08-05 Microsoft Corporation Input aggregation for a multi-touch device
US8645827B2 (en) 2008-03-04 2014-02-04 Apple Inc. Touch event model
US8416196B2 (en) 2008-03-04 2013-04-09 Apple Inc. Touch event model programming interface
US8717305B2 (en) 2008-03-04 2014-05-06 Apple Inc. Touch event model for web pages
US20090237374A1 (en) * 2008-03-20 2009-09-24 Motorola, Inc. Transparent pressure sensor and method for using
US9018030B2 (en) * 2008-03-20 2015-04-28 Symbol Technologies, Inc. Transparent force sensor and method of fabrication
US8345014B2 (en) 2008-07-12 2013-01-01 Lester F. Ludwig Control of the operating system on a computing device via finger angle using a high dimensional touchpad (HDTP) touch user interface
FR2934921B1 (fr) * 2008-08-05 2010-09-24 Stantum Capteur tactile multicontacts a moyens d'espacement de taille et impedance variables
FR2934908B1 (fr) 2008-08-05 2013-09-27 Stantum Procede d'acquisition et d'analyse d'un capteur tactile multicontacts suivant un principe dichotomique, circuit electronique et capteur tactile multicontacts mettant en oeuvre un tel procede
FR2936326B1 (fr) * 2008-09-22 2011-04-29 Stantum Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts
US8749495B2 (en) * 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US20100079400A1 (en) * 2008-09-26 2010-04-01 Sony Ericsson Mobile Communications Ab Touch sensitive display with conductive liquid
US8310464B2 (en) * 2008-10-16 2012-11-13 Texas Instruments Incorporated Simultaneous multiple location touch systems
US8477103B2 (en) 2008-10-26 2013-07-02 Microsoft Corporation Multi-touch object inertia simulation
US8466879B2 (en) 2008-10-26 2013-06-18 Microsoft Corporation Multi-touch manipulation of application objects
US20100141604A1 (en) * 2008-12-09 2010-06-10 Nokia Corporation Resistive multi touch screen
US8330732B2 (en) * 2008-12-19 2012-12-11 Honeywell International Inc. Method and apparatus for avionic touchscreen operation providing sensible feedback
US9342202B2 (en) * 2009-01-23 2016-05-17 Qualcomm Incorporated Conductive multi-touch touch panel
FR2942329B1 (fr) 2009-02-17 2011-07-15 Stantum Capteur multipoints
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US8285499B2 (en) 2009-03-16 2012-10-09 Apple Inc. Event recognition
US8566045B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US9459734B2 (en) * 2009-04-06 2016-10-04 Synaptics Incorporated Input device with deflectable electrode
TWI466004B (zh) 2009-04-17 2014-12-21 Egalax Empia Technology Inc 電阻式多點觸控裝置及方法
CN101866253B (zh) * 2009-04-20 2013-03-20 禾瑞亚科技股份有限公司 电阻式多点触控装置及方法
KR101611511B1 (ko) * 2009-05-12 2016-04-12 삼성전자주식회사 터치스크린을 구비한 휴대 단말기를 이용한 음악 생성 방법
TWI402738B (zh) * 2009-05-27 2013-07-21 Wintek Corp 觸控裝置以及觸控感測方法
EP2435896A1 (en) * 2009-05-29 2012-04-04 Haptyc Technology S.R.L. Method for determining multiple touch inputs on a resistive touch screen and multiple touch controller
US9383881B2 (en) * 2009-06-03 2016-07-05 Synaptics Incorporated Input device and method with pressure-sensitive layer
IT1394716B1 (it) * 2009-06-09 2012-07-13 Corona Dispositivo e metodo di acquisizione di dati da strumenti musicali aerofoni, in particolare per launeddas e similari
CN101989143B (zh) * 2009-07-31 2013-05-01 群康科技(深圳)有限公司 触控装置及其控制方法
GB0913734D0 (en) * 2009-08-06 2009-09-16 Binstead Ronald P Masked touch sensors
US8988191B2 (en) * 2009-08-27 2015-03-24 Symbol Technologies, Inc. Systems and methods for pressure-based authentication of an input on a touch screen
JP5278766B2 (ja) * 2009-09-07 2013-09-04 Ｎｌｔテクノロジー株式会社 タッチ位置検出装置、情報入力システム、タッチ位置検出方法、タッチ位置検出プログラム
US8558722B2 (en) * 2009-12-10 2013-10-15 Industrial Technology Research Institute Touch apparatus, transparent scan electrode structure, and manufacturing method thereof
FR2954981A1 (fr) * 2010-01-05 2011-07-08 Stantum Afficheur et capteur tactile bidimensionnel multicontacts a elements longitudinaux conducteurs inclines
US20110163944A1 (en) * 2010-01-05 2011-07-07 Apple Inc. Intuitive, gesture-based communications with physics metaphors
FR2954982A1 (fr) * 2010-01-05 2011-07-08 Stantum Capteur tactile multicontacts a resistance de contact electrique elevee
TWI426427B (zh) * 2010-02-12 2014-02-11 Wintek Corp 觸控面板
US8587422B2 (en) 2010-03-31 2013-11-19 Tk Holdings, Inc. Occupant sensing system
JP5805974B2 (ja) 2010-03-31 2015-11-10 ティーケー ホールディングス，インコーポレーテッド ステアリングホイールセンサ
JP5759230B2 (ja) 2010-04-02 2015-08-05 ティーケー ホールディングス，インコーポレーテッド 手センサを有するステアリング・ホイール
US8686960B2 (en) * 2010-04-23 2014-04-01 Lester F. Ludwig Piecewise-linear and piecewise-affine transformations for high dimensional touchpad (HDTP) output decoupling and corrections
US9501145B2 (en) * 2010-05-21 2016-11-22 Disney Enterprises, Inc. Electrovibration for touch surfaces
US8552999B2 (en) 2010-06-14 2013-10-08 Apple Inc. Control selection approximation
US8963874B2 (en) 2010-07-31 2015-02-24 Symbol Technologies, Inc. Touch screen rendering system and method of operation thereof
JP5821170B2 (ja) * 2010-08-31 2015-11-24 ヤマハ株式会社 電子音楽装置及びプログラム
US8330033B2 (en) 2010-09-13 2012-12-11 Apple Inc. Graphical user interface for music sequence programming
US9158369B2 (en) * 2010-10-12 2015-10-13 Tactonic Technologies, Llc Sensors having a connecting frame and method for composite sensors
FR2968102B1 (fr) * 2010-11-26 2013-01-04 Stantum Capteur tactile a réseau matriciel de pistes conductrices et écran de contrôle tactile
FR2971068B1 (fr) 2011-01-31 2013-09-27 Stantum Capteur tactile multicontacts a couche intermédiaire résistive
FR2971346A1 (fr) * 2011-02-03 2012-08-10 Stantum Procede et dispositif d'acquisition de donnees d'un capteur tactile matriciel multicontacts
FR2972288B1 (fr) 2011-03-04 2013-04-05 Stantum Procédé de fabrication d'un film transparent, notamment pour un capteur tactile matriciel transparent
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
FR2974200B1 (fr) 2011-04-15 2014-08-01 Stantum Procede de fabrication d'un capteur tactile matriciel, et capteur tactile matriciel associe
TWI469024B (zh) * 2011-08-03 2015-01-11 Raydium Semiconductor Corp 驅動信號轉換之觸控輸入裝置
FR2979025A1 (fr) 2011-08-12 2013-02-15 Stantum Procede de caracterisation de toucher sur un ecran tactile
EP2763378B1 (en) * 2011-09-27 2019-07-24 NEC Corporation Portable electronic device, touch operation processing method and program
US8607651B2 (en) 2011-09-30 2013-12-17 Sensitronics, LLC Hybrid capacitive force sensors
FR2981765B1 (fr) 2011-10-20 2013-12-27 Stantum Procede d'acquisition de donnees d'un capteur tactile matriciel, notamment pour un ecran tactile
WO2013147871A1 (en) * 2012-03-30 2013-10-03 Hewlett-Packard Development Company, L.P. Detecting a first and a second touch to associate a data file with a graphical data object
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
JP6086188B2 (ja) * 2012-09-04 2017-03-01 ソニー株式会社 音響効果調整装置および方法、並びにプログラム
WO2014043664A1 (en) 2012-09-17 2014-03-20 Tk Holdings Inc. Single layer force sensor
US9671943B2 (en) 2012-09-28 2017-06-06 Dassault Systemes Simulia Corp. Touch-enabled complex data entry
US9122330B2 (en) 2012-11-19 2015-09-01 Disney Enterprises, Inc. Controlling a user's tactile perception in a dynamic physical environment
US20140239815A1 (en) * 2013-02-28 2014-08-28 Power One Data International, Inc. Method and system for controlling lighting operation
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
CA2925692C (en) 2013-09-27 2021-09-21 Sensel, Inc. Touch sensor detector system and method
US11221706B2 (en) 2013-09-27 2022-01-11 Sensel, Inc. Tactile touch sensor system and method
JP6358554B2 (ja) * 2013-12-19 2018-07-18 カシオ計算機株式会社 楽音制御装置、楽音制御方法およびプログラム
US9542027B2 (en) * 2014-04-16 2017-01-10 At&T Intellectual Property I, L.P. Pressure-based input method for user devices
US9336762B2 (en) * 2014-09-02 2016-05-10 Native Instruments Gmbh Electronic music instrument with touch-sensitive means
US9779709B2 (en) * 2014-11-05 2017-10-03 Roger Linn Polyphonic multi-dimensional controller with sensor having force-sensing potentiometers
EP3329484A4 (en) * 2015-07-29 2019-06-05 Sensel Inc. SYSTEMS AND METHODS FOR HANDLING A VIRTUAL ENVIRONMENT
KR101784420B1 (ko) * 2015-10-20 2017-10-11 연세대학교 산학협력단 감압 센서를 구비한 터치 스크린을 이용한 사운드 모듈레이션 장치 및 그 방법
CN109154872B (zh) 2016-03-25 2020-06-30 森赛尔股份有限公司 用于检测和表征表面上的力输入的系统和方法
US20190291224A1 (en) * 2018-03-22 2019-09-26 Ford Motor Company Workpiece alignment system having pressure sensors for assessing alignment of a workpiece with a fixture
US10921159B1 (en) 2018-03-29 2021-02-16 Cirrus Logic, Inc. Use of reference sensor in resonant phase sensing system
US10908200B2 (en) 2018-03-29 2021-02-02 Cirrus Logic, Inc. Resonant phase sensing of resistive-inductive-capacitive sensors
US10725549B2 (en) * 2018-03-29 2020-07-28 Cirrus Logic, Inc. Efficient detection of human machine interface interaction using a resonant phase sensing system
US11537242B2 (en) 2018-03-29 2022-12-27 Cirrus Logic, Inc. Q-factor enhancement in resonant phase sensing of resistive-inductive-capacitive sensors
US10642435B2 (en) 2018-03-29 2020-05-05 Cirrus Logic, Inc. False triggering prevention in a resonant phase sensing system
US11092657B2 (en) 2018-03-29 2021-08-17 Cirrus Logic, Inc. Compensation of changes in a resonant phase sensing system including a resistive-inductive-capacitive sensor
WO2020037439A1 (es) * 2018-08-23 2020-02-27 Pontificia Universidad Católica De Chile Controlador midi con sensibilidad personalizable
US11402946B2 (en) 2019-02-26 2022-08-02 Cirrus Logic, Inc. Multi-chip synchronization in sensor applications
US10935620B2 (en) 2019-02-26 2021-03-02 Cirrus Logic, Inc. On-chip resonance detection and transfer function mapping of resistive-inductive-capacitive sensors
US11536758B2 (en) 2019-02-26 2022-12-27 Cirrus Logic, Inc. Single-capacitor inductive sense systems
US10948313B2 (en) 2019-02-26 2021-03-16 Cirrus Logic, Inc. Spread spectrum sensor scanning using resistive-inductive-capacitive sensors
US11079874B2 (en) 2019-11-19 2021-08-03 Cirrus Logic, Inc. Virtual button characterization engine
US11579030B2 (en) 2020-06-18 2023-02-14 Cirrus Logic, Inc. Baseline estimation for sensor system
US11835410B2 (en) 2020-06-25 2023-12-05 Cirrus Logic Inc. Determination of resonant frequency and quality factor for a sensor system
US11868540B2 (en) 2020-06-25 2024-01-09 Cirrus Logic Inc. Determination of resonant frequency and quality factor for a sensor system
US11619519B2 (en) 2021-02-08 2023-04-04 Cirrus Logic, Inc. Predictive sensor tracking optimization in multi-sensor sensing applications
US11808669B2 (en) 2021-03-29 2023-11-07 Cirrus Logic Inc. Gain and mismatch calibration for a phase detector used in an inductive sensor
US11821761B2 (en) 2021-03-29 2023-11-21 Cirrus Logic Inc. Maximizing dynamic range in resonant sensing
US11507199B2 (en) 2021-03-30 2022-11-22 Cirrus Logic, Inc. Pseudo-differential phase measurement and quality factor compensation
US11979115B2 (en) 2021-11-30 2024-05-07 Cirrus Logic Inc. Modulator feedforward compensation
US11854738B2 (en) 2021-12-02 2023-12-26 Cirrus Logic Inc. Slew control for variable load pulse-width modulation driver and load sensing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5027689A (en) * 1988-09-02 1991-07-02 Yamaha Corporation Musical tone generating apparatus
US5053585A (en) * 1990-10-12 1991-10-01 Interlink Electronics, Incorporated Multipurpose keyboard using digitizer pad featuring spatial minimization of a pressure contact area and method of making same
US20020005108A1 (en) * 1998-05-15 2002-01-17 Ludwig Lester Frank Tactile, visual, and array controllers for real-time control of music signal processing, mixing, video, and lighting
US6762752B2 (en) * 2001-11-29 2004-07-13 N-Trig Ltd. Dual function input device and method

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5816504B2 (ja) * 1979-09-27 1983-03-31 沖電気工業株式会社 感圧式手書き図形入力装置
US4296406A (en) * 1979-12-28 1981-10-20 Sperry Corporation Pressure sensitive switch structure
DE3220622A1 (de) * 1982-06-01 1983-12-15 M.A.N.- Roland Druckmaschinen AG, 6050 Offenbach Dateneingabeeinrichtung an druckmaschinen
US4550221A (en) * 1983-10-07 1985-10-29 Scott Mabusth Touch sensitive control device
AU582181B2 (en) * 1984-12-28 1989-03-16 Wang Laboratories, Inc. Information display and entry device
US5153829A (en) * 1987-11-11 1992-10-06 Canon Kabushiki Kaisha Multifunction musical information processing apparatus
US4914624A (en) * 1988-05-06 1990-04-03 Dunthorn David I Virtual button for touch screen
JP3089421B2 (ja) * 1988-09-02 2000-09-18 ヤマハ株式会社 音処理装置
US5113042A (en) * 1990-11-20 1992-05-12 Summagraphics Corporation Digitizer tablet with reduced radiation susceptibility
US5159159A (en) * 1990-12-07 1992-10-27 Asher David J Touch sensor and controller
JP2975467B2 (ja) * 1991-11-28 1999-11-10 シャープ株式会社 表示一体型位置読取装置
JPH0743627B2 (ja) * 1993-08-12 1995-05-15 セイコーエプソン株式会社 入力装置
US5565657A (en) * 1993-11-01 1996-10-15 Xerox Corporation Multidimensional user interface input device
GB9406702D0 (en) * 1994-04-05 1994-05-25 Binstead Ronald P Multiple input proximity detector and touchpad system
JPH07281813A (ja) * 1994-04-08 1995-10-27 Oki Electric Ind Co Ltd タッチパネル装置とその位置検出方法
JP3239017B2 (ja) * 1994-07-05 2001-12-17 シャープ株式会社 反射防止タブレットの座標検出装置
US5559301A (en) 1994-09-15 1996-09-24 Korg, Inc. Touchscreen interface having pop-up variable adjustment displays for controllers and audio processing systems
GB9507817D0 (en) * 1995-04-18 1995-05-31 Philips Electronics Uk Ltd Touch sensing devices and methods of making such
JPH08307954A (ja) * 1995-05-12 1996-11-22 Sony Corp 座標入力装置および方法、並びに情報処理装置
US6255604B1 (en) * 1995-05-31 2001-07-03 Canon Kabushiki Kaisha Coordinate detecting device for outputting coordinate data when two points are simultaneously depressed, method therefor and computer control device
US6107997A (en) * 1996-06-27 2000-08-22 Ure; Michael J. Touch-sensitive keyboard/mouse and computing device using the same
US6028593A (en) * 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
JPH09282095A (ja) * 1996-02-13 1997-10-31 Pilot Corp:The 液晶シートを用いた座標入力装置
US5949501A (en) * 1996-02-13 1999-09-07 Kabushiki Kaisha Pilot Coordinates input device using liquid crystal sheet
US6073036A (en) * 1997-04-28 2000-06-06 Nokia Mobile Phones Limited Mobile station with touch input having automatic symbol magnification function
US6229529B1 (en) 1997-07-11 2001-05-08 Ricoh Company, Ltd. Write point detecting circuit to detect multiple write points
JPH11112254A (ja) * 1997-10-01 1999-04-23 Sony Corp 遠隔制御装置ならびに制御装置
JP3470995B2 (ja) * 1997-10-31 2003-11-25 株式会社デジタル プログラム式表示装置用の表示画面作成装置
KR100595917B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
JP2000222130A (ja) * 1999-02-02 2000-08-11 Toshiba Corp 入力装置および方法および記憶媒体
JP3632522B2 (ja) * 1999-09-24 2005-03-23 ヤマハ株式会社 演奏データ編集装置、方法及び記録媒体
TW501000B (en) * 2000-01-05 2002-09-01 Iomega Corp Storage device in an expansion slot of a computer input device
FR2806497B1 (fr) 2000-03-17 2002-05-03 Naguy Caillavet Interface materielle et logicielle de controle par messages midi
DE10042300A1 (de) 2000-08-29 2002-03-28 Axel C Burgbacher Elektronisches Musikinstrument
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP4686886B2 (ja) * 2001-04-06 2011-05-25 ソニー株式会社 情報処理装置
JP2003008808A (ja) * 2001-06-19 2003-01-10 Fuji Xerox Co Ltd タッチパネル入力装置、表示装置及び画像記録装置
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
TW565798B (en) * 2001-10-12 2003-12-11 High Tech Comp Corp Pressing point coordinate detecting method for resistor type touch panel
FR2831707B1 (fr) * 2001-10-25 2004-10-29 Siemens Vdo Automotive Surface sensible au toucher ainsi qu'aux niveaux de pression
US6995752B2 (en) 2001-11-08 2006-02-07 Koninklijke Philips Electronics N.V. Multi-point touch pad
JP3847641B2 (ja) * 2002-02-28 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理プログラム、情報処理プログラムを記録したコンピュータ読み取り可能な記録媒体、及び情報処理方法
US7038659B2 (en) * 2002-04-06 2006-05-02 Janusz Wiktor Rajkowski Symbol encoding apparatus and method
US6882337B2 (en) * 2002-04-18 2005-04-19 Microsoft Corporation Virtual keyboard for touch-typing using audio feedback
US6809280B2 (en) * 2002-05-02 2004-10-26 3M Innovative Properties Company Pressure activated switch and touch panel
JP2003337659A (ja) * 2002-05-20 2003-11-28 Sharp Corp 入力装置およびタッチ領域登録方法
US7461356B2 (en) * 2002-06-03 2008-12-02 Fuji Xerox Co., Ltd. Function control unit and method thereof
US7151532B2 (en) * 2002-08-09 2006-12-19 3M Innovative Properties Company Multifunctional multilayer optical film
US20040090429A1 (en) * 2002-11-12 2004-05-13 Geaghan Bernard O. Touch sensor and method of making
TWI231453B (en) * 2003-01-20 2005-04-21 Htc Corp Method and apparatus for avoiding pressing inaccuracies on a touch panel
FR2866726B1 (fr) * 2004-02-23 2006-05-26 Jazzmutant Controleur par manipulation d'objets virtuels sur un ecran tactile multi-contact
US7213125B2 (en) * 2004-07-31 2007-05-01 Hewlett-Packard Development Company, L.P. Method for patching virtually aliased pages by a virtual-machine monitor
US7943310B2 (en) * 2006-08-30 2011-05-17 Centocor Ortho Biotech Inc. Methods for assessing response to therapy in subjects having ulcerative colitis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5027689A (en) * 1988-09-02 1991-07-02 Yamaha Corporation Musical tone generating apparatus
US5053585A (en) * 1990-10-12 1991-10-01 Interlink Electronics, Incorporated Multipurpose keyboard using digitizer pad featuring spatial minimization of a pressure contact area and method of making same
US20020005108A1 (en) * 1998-05-15 2002-01-17 Ludwig Lester Frank Tactile, visual, and array controllers for real-time control of music signal processing, mixing, video, and lighting
US6762752B2 (en) * 2001-11-29 2004-07-13 N-Trig Ltd. Dual function input device and method

Also Published As

Publication number Publication date
PL1719047T3 (pl) 2009-03-31
US20110181546A1 (en) 2011-07-28
ATE402436T1 (de) 2008-08-15
EP1950649A3 (fr) 2008-12-24
KR20070031286A (ko) 2007-03-19
CA2557063C (fr) 2013-08-13
FR2866726B1 (fr) 2006-05-26
US20070198926A1 (en) 2007-08-23
CN100447723C (zh) 2008-12-31
WO2005091104A2 (fr) 2005-09-29
US8665232B2 (en) 2014-03-04
EP2278440A2 (fr) 2011-01-26
CN1947087A (zh) 2007-04-11
US20110273392A1 (en) 2011-11-10
DE602005008384D1 (de) 2008-09-04
EP1719047B1 (fr) 2008-07-23
JP2007527061A (ja) 2007-09-20
WO2005091104A3 (fr) 2006-07-13
US8049730B2 (en) 2011-11-01
JP4932500B2 (ja) 2012-05-16
US20110119580A1 (en) 2011-05-19
CA2557063A1 (fr) 2005-09-29
FR2866726A1 (fr) 2005-08-26
US20110115736A1 (en) 2011-05-19
EP1950649A2 (fr) 2008-07-30
US20110181547A1 (en) 2011-07-28
JP2012089150A (ja) 2012-05-10
EP2278439A2 (fr) 2011-01-26
ES2311218T3 (es) 2009-02-01
EP2306279A2 (fr) 2011-04-06
EP1719047A2 (fr) 2006-11-08
US8659545B2 (en) 2014-02-25

Similar Documents

Publication Publication Date Title
KR101197876B1 (ko) 다중접촉 촉각 스크린 상에서 가상 대상의 조작을 통한제어기
US8717287B2 (en) Force sensations for haptic feedback computer interfaces
US6292170B1 (en) Designing compound force sensations for computer applications
US20100013613A1 (en) Haptic feedback projection system
US20020054021A1 (en) Designing force sensations for force feedback computer applications
KR20130050251A (ko) 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들
US20040160415A1 (en) Designing force sensations for force feedback computer applications
CN107257506A (zh) 多画面特效加载方法和装置
Berthaut et al. Piivert: Percussion-based interaction for immersive virtual environments
JP2005078310A (ja) 触覚呈示装置、触覚呈示方法、及びプログラム
CN111782865A (zh) 音频信息的处理方法、装置及存储介质
WO2013029083A1 (en) Graphics communication apparatus
US20230137647A1 (en) Non-transitory storage medium having information processing program stored therein, information processing apparatus, and information processing method
Shibuya et al. Introduction of action interface and its experimental uses for device control, performing art, and menu selection
JP2008191240A (ja) 音データ生成装置およびプログラム
CN117492631A (zh) 触觉增强虚拟拨盘交互控件装置
Wozniewski A framework for interactive three-dimensional sound and spatial audio processing in a virtual environment
Romaios Design and development of an interaction surface (Audio Tablet) for musical expression and performance.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee