KR100502221B1 - 사용자피드백메커니즘을갖는커서제어 - Google Patents

사용자피드백메커니즘을갖는커서제어 Download PDF

Info

Publication number
KR100502221B1
KR100502221B1 KR10-1998-0705125A KR19980705125A KR100502221B1 KR 100502221 B1 KR100502221 B1 KR 100502221B1 KR 19980705125 A KR19980705125 A KR 19980705125A KR 100502221 B1 KR100502221 B1 KR 100502221B1
Authority
KR
South Korea
Prior art keywords
feedback
cursor
level
tone
pixel
Prior art date
Application number
KR10-1998-0705125A
Other languages
English (en)
Other versions
KR19990076995A (ko
Inventor
리챠드 데이빗 갤러리
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR19990076995A publication Critical patent/KR19990076995A/ko
Application granted granted Critical
Publication of KR100502221B1 publication Critical patent/KR100502221B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/015—Force feedback applied to a joystick

Abstract

이차원 또는 삼차원적 그래픽 사용자 인터페이스를 위한 커서 제어 메커니즘과 결합한 피드백 수단이 제공된다. 피드백 레벨들은 현재 커서에 의해 표시된 픽셀(P)에서 톤 변화(그레이 비율 또는 컬러 성분)에 의해 결정된다. 적절하게, 상기 레벨들은 상기 표시된 픽셀 주위의 픽셀들의 패치(A)에 걸쳐 미분들을 발생시킴으로써 세팅되며, 상호 수직적인 방향들(X 와 Y)에서의 미분 생성은 둘 또는 세 방향들에서 독립적인 피드백을 제공한다. 상기 기술은, 표시될 때 피드백을 유발하는 그러한 특징들에 대해서 특별히 저작된 소프트웨어가 요구됨 없이 윈도우 경계(36) 또는 텍스쳐된 패치들(texture patches)과 같은 인터페이스 형태가 사용자에게 인식되는 것을 가능하게 한다.

Description

사용자 피드백 메커니즘을 갖는 커서 제어
본 발명은 시스템의 사용자에게 제공된 그래픽 사용자 인터페이스에 관하여 커서의 제어 이동을 위한 사용자-작동 가능한 장치들을 갖는 데이터 처리 시스템들에 관한 것이다. 특히, 본 발명은 사용자에게 피드백을 제공하는 수단을 갖는 시스템들에 관한 것인데, 특히, 그러나 배타적으로는 아니고, 그래픽 사용자 인터페이스의 특징들에 관련된 현재 커서 위치에 관한 부가적인 정보를 사용자에게 제공하기 위한 촉각식 피드백(tactile feedback)을 제공하는 수단을 갖는 시스템들에 관한 것이다.
그러한 피드백 메커니즘의 한 사례가, 피드백 신호가 커서와 관련된 위치 정보에 관하여 발생되고 그러한 위치 정보는 상기 커서의 윈도우 핸들(window handle)을 포함하는 유럽 특허 출원 EP-A-0 607 580(Selker/IBM)에서 설명된다. 로드(rod)가 엑츄에이터(actuator)의 한쪽 끝에서 엑츄에이터에 부착되는 인디케이팅 로드(indicating rod) 메커니즘이 설명되는데, 위치 정보에 기초해서 호스트 컴퓨터 시스템에 의해 발생된 일시적 피드백 신호가 상기 인디케이팅 로드에 힘을 가하기 위해 엑츄에이터를 활성화시킨다. 호스트 컴퓨터 시스템에 대한 키보드상의 키 가운데의 포인팅 스틱 장치내에 또는 마우스 커서 제어기내에 설치될 수 있는 이러한 로드는 상기 로드의 반대쪽 끝에 연결된 엑츄에이터의 활성화에 따라서 사용자의 손가락 끝에 부딪쳐서 누르도록 배열된다. 상기 로드의 움직임에 의해 윈도우 경계 및 핸들과 같은 형태들을 표시하기 위하여 위치 정보에 기초한 활성화에 의해, EP-A-0 607 580의 시스템은, 위치를 표시하는 디스플레이된 커서의 형태로 변화를 조사하기 위하여 또는 커서 제어기의 이동에 대해 물리적인 저항의 형태로 제공된 피드백의 결과로써, 스크린상의 커서의 이동을 느리게 할 필요없이 커서가 스크린 상에 디스플레이된 특징들(features)을 작동시키거나 조작하는 위치에 정확히 언제 존재하는지에 관한 사용자의 감지를 개선하는 것을 목적으로 한다.
커서 이동을 동반하는 피드백의 선택적인 형태가 맹인 및 부분적으로는 시력을 가진 사용자를 위한 컴퓨터 인터페이스를 설명하는 미합중국 특허 5,186,629(Rohen/IBM)에서 설명된다. 커서 위치와 메뉴의 선택은 음조 발생과 음향 합성을 포함하는 오디오 피드백에 의해 표시된다. 부가적으로, 촉각식 피드백이 마우스상의 패드를 통하여 사용자의 손에 전달되는 가벼운 교류 전류의 형태로 제공된다. 이러한 시스템에서, 오디오 및 촉각식 큐는 사용자가 사용자 인터페이스의 마음의 그림을 구상하도록 도와준다.
상기 양 시스템에 관련된 문제는 촉각식 또는 다른 피드백 발생을 유도하기 위하여 언제 커서가 윈도우 핸들 또는 활성화한 아이콘상에 위치되는가와 같은 커서 위치 정보를 제공하기 위하여 사용자 인터페이스 표현을 위한 특정한 고안에 대한 그들의 의존성이다. 촉각식 및 다른 피드백 메커니즘이 좀 더 보급될수록, 그러한 메커니즘의 활성화를 위해 필요한 큐를 포함하는 소프트웨어 패키지는 좀 더 보급될 것이다. 각각의 나머지 하나에 대한 현재의 의존성으로, 기대되는 또는 요구되는 특징으로써 촉각식 및 다른 피드백 메커니즘에 대한 사용자의 받아들임은 느리게 다가올 수 있다.
본 발명의 부가적인 특성들 및 장점들은 첨부된 도면들을 참조하고, 예시적인 방식으로 주어진 양호한 실시예들의 다음 설명을 읽음으로서 명확하게 될 것이다.
제 1도는 본 발명을 구현하는, 이차원 그래픽 사용자 인터페이스를 구비한 개인용 컴퓨터(PC)를 나타내는 도면.
제 2도는 본 발명의 동작을 도시하는 제 1도의 픽셀 디스플레이의 일부분의 확장도.
제 3도는 제 1도의 실시예의 기능적인 특징들을 나타내는 블록 도식적인 다이어그램.
제 4도는 본 발명의 또 다른 실시예에 따른, 삼차원 가상 환경을 발생시키는 수단 및 상기 수단과 상호작용하는 사용자 작동 가능한 수단의 블록 도식적인 다이어그램.
제 5 도 내지 8도는 본 발명과 결합하여 적절하게 사용될 수 있는 촉각식 피드백 메커니즘을 설치한 커서 제어 장치의 상이한 구성들을 나타내는 도면.
따라서 본 발명의 목적은 상기 인터페이스의 동작을 관리하는 어떤 소프트웨어 제어 기능들과 독립적인 커서로 제어되는 사용자 인터페이스와 관련된 피드백 큐들(feedback cues)을 발생시키기 위한 수단을 제공하는 것이다.
본 발명에 따라서 픽셀 디스플레이상의 커서를 제어하는 커서 제어 시스템이 제공되되, 상기 시스템은 커서 제어 신호를 발생시키고 상기 커서 제어 신호를 상기 디스플레이에 전송하는 제어 수단과, 상기 커서 제어 장치의 조작자에게 파라미터 세팅(parameter setting)을 표시하는 피드백 수단을 포함하고, 상기 커서가 놓여진 디스플레이의 적어도 하나의 제 1 픽셀에 대한 톤 레벨을 결정하도록 배열된 모니터링 수단에 특징이 있으며, 사용자에게 표시되는 상기 파라미터 세팅은 적어도 부분적으로는 상기 결정된 톤 레벨로부터 피드백 제어 수단에 의해 얻어진다.
또한 본 발명에 따라서, 커서를 표시하기 위한 픽셀 디스플레이와 상기 픽셀 디스플레이에 결합된 호스트 컴퓨터와 커서 제어 신호를 발생시키기 위해 상기 호스트 컴퓨터에 결합된 커서 제어 수단을 포함하는 컴퓨터 시스템이 제공되되, 상기 호스트 컴퓨터는 상기 커서 제어 신호를 수신하고, 커서 디스플레이 신호를 발생시키고, 상기 커서 디스플레이 신호를 상기 픽셀 디스플레이에 보내며, 상기 커서 제어 수단은 상기 커서 제어 수단의 작동자에게 파라미터 세팅을 표시하기 위한 피드백 수단을 포함하며, 상기 커서가 놓여진 디스플레이의 적어도 하나의 제 1 픽셀에 대한 톤 레벨을 결정하기 위하여 배열된 모니터링 수단에 특징이 있으며, 사용자에게 표시되는 상기 파라미터 세팅은 적어도 부분적으로는 결정된 톤 레벨로부터 피드백 제어 수단에 의해 얻어진다.
결정된 톤(tone) 레벨은 그레이 레벨 또는 상기 적어도 하나의 픽셀에 대한 하나 이상의 픽셀 컬러 성분의 레벨이 될 수 있고, 상기 피드백 수단은 상기 결정된 톤 레벨이 제 1 임계값을 초과할 때 동작할 수 있거나, 또는 순간 톤 레벨에 의하여 직접적으로 결정된 연속적으로 변화하는 피드백 레벨을 출력하기 위하여 동작가능하다. 상기 모니터링 수단은 제 1 영역 주위의 하나 이상의 추가적인 영역내의 (예를 들어, 제 1 선택된 픽셀 주위의 여덟 개의 픽셀 각각의) 톤 레벨을 결정하기 위하여, 그리고 제 1 및 추가적인 영역에 걸쳐 적어도 하나의 방향에서 톤 변화에 대한 미분을 결정하기 위하여, 그리고 순간 미분에 의하여 결정된 레벨에서 사용자에게 피드백을 발생시키기 위하여 배열될 수 있다. 그러한 배열에서, 상기 모니터링 수단은 제 1 및 추가적인 영역에 걸쳐 두 개의 상호 수직인 방향에서 미분을 결정하기 위해 적절하게 배열되고, 상기 피드백 수단은 두 방향에서의 톤 변화를 각각 표시하는 두 개의 독립적으로 동작되는 피드백 수단을 포함할 수 있다.
전형적인 윈도우-기반의 컴퓨터 인터페이스에 관하여, 윈도우 경계는 버튼이나 슬라이더인 것처럼 그레이 레벨(또는 각각의 컬러 성분(color component) 레벨)에서의 변화에 의해 명확하게 구분된다. X 와 Y 방향의 하나 또는 두 방향에서, 현재 커서 위치에서의 미분은 윈도우 경계를 차례로 표시하는 그레이 또는 컬러 성분 레벨에서의 변화의 정도를 표시하는 값을 생성한다. 선택적인 실시예에서, 상기 모니터링 수단은 커서의 최근 이동의 라인에 따른 톤 변화로부터 얻어진 톤 변화에 대한 미분과 함께, 겹쳐 쓰여진 디스플레이 픽셀 값의 기록을 유지하기 위해 배열된 커서 픽셀 저장 수단을 포함할 수 있다.
상기 피드백 수단은 결정된 톤 레벨에 의해 제어된 레벨에서 장치의 사용자의 신체에 힘을 가하도록 배열된 힘 발생 수단(force generation means)을 포함할 수 있다. 선택적으로, 그러한 힘 발생 수단은 어떤 다른 요소에 의해 결정된 레벨에서 힘을 가할 수 있는데, 이러한 힘은 그후 결정된 톤 레벨로부터 얻어진 양에 의해 변경된다(조정되거나 또는 보충된다).
본 발명은 이차원 인터페이스에 제한되는 것은 아니고 디스플레이가 삼차원적으로 컴퓨터-발생된 환경을 나타내고 커서가 상기 삼차원내에서 사용자 제어하에 이동 가능한 아이콘인 응용을 가지며, 그러한 사용을 위한 장치는 충돌이 지속될 동안 작동 가능하게 되는 피드백 수단과 함께, 커서가 가상 환경의 특징들을 접촉하는 때를 결정하기 위하여 작동 가능한 충돌(또는 접촉) 검출 수단을 적절하게 포함한다.
종래의 이차원 그래픽 사용자 인터페이스의 제공과 함께 촉각식 큐를 제공하는 본 발명의 단순한 구현을 먼저 고려하면, 제 1도는 키보드(12)로부터의 입력과 모니터 스크린(14)를 통한 디스플레이를 가진 개인용 컴퓨터(10)을 포함하는 일반적인 개인용 컴퓨터(PC) 장치를 나타낸다. 보여진 바대로, 상기 그래픽 사용자 인터페이스는 잘 알려진 윈도우 형식인데, 두 개의 윈도우(16),(18)은 "열린" 위치에서 보여지고, 두 개의 추가적인 윈도우는 "닫혀져 있고" 아이콘(20)으로 사용자가 이용 가능하다. 상기 윈도우(16),(18)과 아이콘(20)은 단순한 백색 또는 유색 배경 또는 좀 더 복잡한 텍스쳐된 패턴을 포함할 수 있는 배경 "월페이퍼(wallpaper)" (22)상에 일반적으로 위치된다. 상이한 월페이퍼의 메뉴로부터 사용자가 선택할 수 있는 범위가 다수의 잘 알려진 그래픽 사용자 인터페이스 패키지들의 하나의 특징이다. 사용자 선택, 아이콘과 윈도우의 활성화와 조작(관련된 메뉴 버튼과 슬라이더 제어와 함께)은, 키보드(12)상의 방향키의 작동에 의해 또는 좀 더 사용자에게 친숙한 방법으로는, 마우스(26), 트래커볼(trackerball) 또는 조이스틱 (보여지지 않음)과 같은 추가적인 사용자 입력 장치(UID)의 사용에 의해 스크린 상에서 이동될 수 있는 커서(24)를 통해서이다. 상기 마우스(26) 또는 다른 UID는 하나 또는 그이상의 버튼(28)이 전형적으로 제공되는데, 이러한 버튼에 의해 커서(24)가 아이콘, 커서 버튼 또는 메뉴 항목위에 위치될 때, 아이콘, 커서 버튼, 메뉴 항목은 활성화된다. 그러한 그래픽 사용자 인터페이스의 발생과 커서 동작을 위한 기술은 당업자에게 친숙할 것이며, 본 발명의 동작을 나타내기 위하여 요구되는 부분외에는 더 이상 설명되지 않을 것이다.
동작에서, 커서(24)가 스크린 상에서 이동될 때, 아이콘의 가장자리나 윈도우 경계에서의 커서의 일치는, 마우스(26)에 설치되고 사용자의 손목 아래에 위치된 단순한 엑츄에이터(30)과 같은 힘 피드백 메커니즘(force feedback mechanism)을 통하여 사용자에게 표시되며, 상기 엑츄에이터(30)은 경계가 넘어갔다는 것을 표시하기 위하여 사용자의 손을 톡톡친다("tapping"). 다음의 내용을 읽는 것으로부터 이해될 것이지만, 피드백 장치의 상기 특정한 형태는 본 발명의 동작에 밀접한 관계가 있는 것이 아니다. 대부분의 기본적인 구현에서, 경계가 넘어갔다는 것을 사용자에게 단순히 사용자에게 표시할 수 있는 것이 요구되고, 그것은 엑츄에이터와 같은 촉각식 수단 및/또는 단순한 신호음과 같은 오디오 피드백을 포함할 수 있다. 좀 더 복잡한 형태의 장치가 사용될 수 있고, 예시를 위해서, 피드백 수단의 몇몇의 다른 구성과 그것에 관한 유용한(그러나 선택적인) 특징들이 이하에서 설명될 것이다.
제 2도는 본 발명의 한 실시예에 따른 동작을 도식적으로 나타내며, 윈도우 (18)의 바닥에서 오른쪽 모서리 근처에 있는 제 1도의 디스플레이 일부분을 보여준다. 상기 윈도우는 상기 윈도우(18)내에 사용된 배경색 및 스크린 월페이퍼(22)에 대한 배경색과는 다른 색이 사용된 두 픽셀 폭의 어두운 테두리(36)을 가진다. 윈도우(18)의 모서리를 가로지르는 커서(24)의 이동은 일반적으로 화살표(38)에 의해 표시된다. 일련의 3×3 픽셀 패치 A 내지 G는 상기 커서의 경로에 따라서 보여진다. 이러한 각 패치에 대해서, 그레이 레벨에서의 및/또는 하나 이상의 컬러 성분 레벨(일반적으로 이하에서 톤 레벨이라고 언급되는)에서의 변화는 사용자에게 촉각식 피드백을 유발하고, 바람직하게는 부가적으로 상기 패치에 대한 레벨을 설정하는데 사용된다. 제 1도의 마우스(26)상에 있는 엑츄에이터(30)과 같이, 오로지 단일 촉각식 피드백 장치가 제공될 때에는, 각 패치 A 내지 G의 전체적인 톤 레벨을 다르게 함으로써, 커서가 각 패치의 중심에 있는 위치에 있을 때, 엑츄에이터에 대한 각 힘 레벨(force level)을 설정하는데 사용될 수 있다. 실시예에 의하여, 상기 엑츄에이터(30)은 커서가 위치 B, C, E, F 에 있을 때 활성화되는데 일반적으로는 위치 B와 F에 있을 때 더 큰 적용력을 가지며(테두리와 윈도우(18)의 배경사이의 톤 대비에 비교하여, 테두리(36)과 월페이퍼(22)사이의 톤 대비가 더 크기 때문), 패치에 걸쳐 일정한 톤를 가진 위치 A, D, G 에서는 피드백이 발생되지 않는다.
사용자에게 피드백되는 큐를 개선하기 위해서, 수평 또는 수직 경계가 넘어가고 있을 때, 사용자에게 인지시키기 위해 피드백은 두 개의 상호 수직적인 방향 (적합하게 스크린 X 및 Y 좌표)에서 얻어지고 적용된다. 제 2도의 실시예로 되돌아가서, 이것은 이러한 각 방향들에 대한 독립적인 피드백을 제공하기 위해서, X 와 Y 방향에 있는 A 내지 G의 각 패치에 걸쳐 톤 레벨의 미분을 취하는 것에 의해 달성된다. 실시예에 의하여, 위치 A, D 또는 G 에서는 어느 방향에서도 피드백이 존재하지 않을 것이고, 위치 B와 C에서는 Y 방향으로 피드백이 있을 것이지만, 수평 경계 때문에 톤은 X 방향에서는 패치에 걸쳐서 일정하고 따라서 수평 피드백은 발생되지 않을 것이다. 반대로, 위치 E와 F에서는 톤이 Y 방향으로 일정하므로, 이러한 방향에서는 피드백을 주지 않으며, 수평 X 방향에서는 피드백의 발생을 유도하는 톤 기울기를 가진다.
제 3도는 제 1도의 실시예에 근거한 PC의 블록 도식적인 다이어그램이다. 일반적인 종래의 방법에서, 중앙 처리 장치(40)은 데이터 및 어드레싱 버스(46)를 통해서 읽기-전용 및 임의 접근 메모리(42),(44)에 결합된다. 데이터 입력은 키보드(12)와 UID(26)(제 1도에서 보여진 마우스 또는 트래커볼 또는 조이스틱 메커니즘과 같은)을 통해서이다. UID(26)은 피드백 레벨을 획득하는 대부분의 부품 동작이 PC 내에서 수행되는 상대적으로 단순한 장치일 수 있고, 또는 독립적인 능력의 정도를 지니며 점선 윤곽(26')내에 포함된 부품들의 일부 또는 전부를 포함하는 좀 더 복잡한 장치일 수 있다는 것을 주목하라.
디스플레이를 위한 이미지는 프레임 스토어(frame store)(50)내에 디지틀 형태로 어셈블링되고, 디스플레이(14)에 제공하기 위해 데이터는 상기 프레임 스토어로부터 디스플레이 처리기(disply processor)(52)에 의해 판독된다. 피드백 레벨을 발생하기 위해, CPU(40)은 패치 어드레스(patch address) PADDR을 라인(54)상으로 패치 버퍼(patch buffer)(56)에 출력하는데, 이러한 패치 어드레스는 현재 커서 위치를 중심으로 하는 패치의 3×3 픽셀들을 식별한다. 이러한 패치 어드레스를 수신하는 즉시, 패치 버퍼(56)는 프레임 스토어(50)으로부터 픽셀 값을 판독하고, 그 다음으로 상기 픽셀 값들은 패치 버퍼(56)으로부터 한 쌍의 필터 스테이지들(filter stages)(58, 60)(X와 Y방향에 대해 각 하나) 각각에게 동시에 읽힌다. 독립형의 UID 배열에 특히 적당한 선택적인 배열(보여지지는 않음)에서, 상기 패치 버퍼의 내용은 상기 디스플레이 처리기(52)로부터 아날로그 출력을 샘플링하고 나서 상기 필터 단계로 공급을 위해서 디지털화하는 것에 의해 얻어질 수 있다. 각 기울기 Dx 와 Dy를 주는 필터링 다음으로, 필터링된 값은 직렬 포트를 통해서 사용자 인터페이스 장치(26)내의 힘 피드백 메커니즘(force feedback mechanism)(62)으로 전달될 수 있고, 또는 상기 값들은 먼저 하나 이상의 선택적인 추가 처리를 받을 수 있다. 하나의 선택적인 처리(보여지지 않음)는 단일 피드백 레벨 값을 제공하기 위해 Dx 와 Dy의 값을 혼합하거나 합산하는 것인데, 이것은 예를 들어, 오직 단일 힘 피드백 장치를 가진 제 1도에서 보여진 마우스(26)에 의해 요구될 것이다. 추가적인 선택적 처리는 Dx 와 Dy 의 값을 각 소정의 임계값 이하로 차단하기 위해서, Dx 와 Dy를 각 임계 단계(threshold stages)(64),(65)를 통하여 전달하는 것이다. 토글 스위치(toggle switch)(68)에 의해 스위치 인(in) 또는 아웃(out)될 수 있는 임계(thresholding) 및 (CPU의 제어하에 라인(69)상으로) 제어적으로 변화될 수 있는 임계 레벨은 예를 들어, 상기 스크린 월페이퍼(22)가 미세하게 텍스쳐될 때 요구될 수 있다. 커서가 월페이퍼(22)의 넓은 영역에 걸쳐 끌려지고 있을 때 상기 피드백 수단이 활성화되는 것을 막기위해서, 사용자는 촉각식 피드백을 스위치 오프하도록 선택할 수 있거나 또는 임계 레벨이 그러한 월페이퍼의 평균 텍스쳐 기울기보다 약간 위에 설정될 수 있다. 후자의 경우에, 윈도우와 아이콘의 경계는 그들이 사용자에 의해 보여지는 것이 가능하도록 배경과 충분한 대비를 가질 것이고 따라서, 임계값을 초과하는 충분한 톤 기울기를 가질 것이다.
다른 상황들에서, 모든 레벨에 대한 톤 기울기를 위한 피드백을 제공하는 것이 바람직할 수 있고, 이러한 것의 특정한 실례는 3차원 컴퓨터 모형 환경(소위 가상 랜드스케이프)과의 상호작용에 의해서이며, 여기서 커서는 사용자의 손을 표시하는 형태로 또는 하나 이상의 사용자 입력 장치의 작동에 대응하여 가상 랜드스케이프내에서 삼차원적으로 이동 가능한 어떤 다른 조작기의 형태로 될 수 있다. 동작에서, 사용자는 모션을 제한하는 또는 적어도 커서가 가상 랜드스케이프내에 모형설정된 "고체" 물체를 접촉하게 되는 때를 적어도 표시하는 힘 피드백 수단(force feedback means)을 적절하게 제공받는다. 전형적으로, 힘 피드백을 통하여 텍스쳐의 인상을 주기 위해서, 예를 들어, 커서(가상 손)를 가상 랜드스케이프내의 벽돌 벽의 표현을 따라서 움직일 때, 힘 피드백이 기초될 수 있는 완전한 삼차원적 모형을 제공하기 위하여 그들 사이에 각각의 벽돌과 공간을 모형화하는 것이 필요했다. 본 발명을 구체화시킴으로써, 벽돌 벽 사례와 같은 물체들은 벽돌 텍스쳐가 종래의 방법으로 그려지는 평평한 표면으로써 모형 설정될 수 있다. 커서의 벽에 대한 충돌 또는 접촉에 의해 발생된 피드백 힘은 삼차원적 환경내의 촉각식 피드백을 제공하기 전에, 얻어진 톤 미분에 의해 조정된다.
제 4도는 사용자에게 가상 랜드스케이프를 발생시키고 제공하기 위한 아키텍쳐의 일부분을 도식적으로 나타낸다. 랜드스케이프의 전망은 CPU(72)의 제어하에 랜더링 단계(rendering stage)(70)에 의해 발생된다. 발생된 이미지는 가상 랜드스케이프의 설계를 구체화하는 제 1 스토어(74)로부터의 데이터와 또한 예를 들어 사용자에 의해 설치된 헤드(head) 장착된 디스플레이의 이동을 모니터하는 계산수단(보여지지 않음)으로부터 미리-설정되거나 입력될 수 있는(라인(76)상으로) 관점 위치(X,Y,Z)와 방위 (θ,Ø)에 기초한다. 메모리(74)로부터의 데이터에서 구체화된 가상 랜드스케이프의 목적물과 특징들의 기본적인 기하학적 표면에 기초해서 다양한 텍스쳐가 랜더링 단계(70)과 결합된 제 2 메모리 스토어(78)내의 데이터로부터 그려질 수 있다. 텍스쳐 매핑(mapping)은 잘 알려진 기술이고 지극히 미세한 세부까지 삼차원 모형을 발생시킬 필요를 없애준다.
앞서 설명된 단순한 이차원 인터페이스와 마찬가지로, 사용자 제어 커서가 제공되며, 이 커서는 손 또는 다른 가상 조작기의 형태가 될 수 있다. 데이터 및/또는 그것의 동작을 관리하는 규칙과 함께 이 커서의 모양은, 적절한 위치(CPU (72)로부터 랜더링 단계에 공급되는 커서 위치와 방위)에서 가상 랜드스케이프 위에 있는 커서의 표현을 발생하기 위해서 랜더링 단계(70)에 의해 호출을 위한 추가적인 메모리(80)에 저장된다. 디스플레이를 위한 단일 또는 3차원 쌍의 이미지를 평평한 스크린 또는 입체 디스플레이 상에 각각 발생시키고, 상기 합성된 이미지는 디스플레이 장치로 연속적인 출력을 위해서 프레임 버퍼(82)에 전달된다.
일반적으로 점선(84)에 의해 표시된 사용자 입력 장치는 상기 장치의 모션을 검출하고 그것을 CPU(72)로 전달하기 위한 수단(86)을 포함한다. 커서 모션 메모리(cursor motion memory)(88)에 저장된, 커서에 대한 최근의 모션 히스토리(motion history)의 기록을 참조하여, CPU(72)는 랜더링 단계(70)에 공급하기 위한 현재 커서 위치를 계산한다. 보여진 것처럼, UID(84)는 CPU(72)로의 추가적인 연결을 가지며 이 연결을 통해서 UID(84)상의 하나 이상의 제어기 또는 스위치 동작이 CPU(72)로 통보되는데, 아마도 이차원적 인터페이스를 가진 종래의 마우스 버튼의 동작과 같은 방법으로 커서가 가상 랜드스케이프내의 물체를 잡거나 놓아주는 것을 표시하기 위해서이다. 알게되겠지만, UID(84)에 있는 제어기(controls)(90)의 형태는 가상 랜드스케이프 성분들의 설계, 커서의 설계 및 상기 둘이 상호작용할 수 있는 방법에 놓여진 어떤 제한과 같은 많은 특징들에 의존할 것이다.
보여진 것처럼, UID(84)는 가상 랜드스케이프내에서 커서와 물체사이의 충돌을 표시하기 위하여, 사용자에게 X 와 Y 방향에서 힘 피드백을 각각 제공하는 제 1 및 제 2 피드백 메커니즘(92) 와 (94)를 또한 포함한다. UID(84)가 삼차원내의 모션이 가능한 장치라면 Z 방향의 힘 피드백이 바람직하게는 또한 제공된다. 충돌의 발생은 CPU(72)에 결합된 비교기(96)과 또한 Z 버퍼(98)에 의해 결정되는데, 상기 Z 버퍼는 프레임 버퍼(82)내의 스크린의 베이스 픽셀 값(base pixel values)에 대한 대응하는 깊이 값(depth values)을 보유하고, 일반적으로 알려진 방법으로 숨겨진 표면 제거(hidden surface removal)를 위해 사용된다. 충돌이 발생했다고 결정하는 즉시, 커서 모션 메모리(88)에 결합된 충돌 계산 단계(impact calculation stage)(100)는 커서의 이전의 속도와 그것에 할당된 어떤 명목 관성(inertia)에 근거해서 UID(84)내의 피드백 장치(92),(94)에 공급될 피드백의 힘과 방향을 결정한다.
힘 피드백 장치(92),(94)에 가해지기 전에, 수평 및/또는 수직 충격력은 랜더링 단계(70)에 결합된 패치 버퍼(patch buffer)(108)로부터 단계(104)와 (106)에서 각각 얻어진 각 톤 기울기의 미분 Dx 와 Dy에 의해 단계(102)에서 조정된다. 제 3도의 실시예와 관련하여, CPU(72)로부터의 패치 어드레스 PADDR은 톤 기울기의 도출을 위해 사용되는 픽셀을 패치 버퍼(108)에 인식시킨다. 단계(102)에 의해 적용된 조정은 단지 단순한 가산일 수 있어서, 충돌 힘 피드백(impact force feedback)은 가상 환경내의 특정한 성분 위치에 대해 구체화되고, 상기 위치의 꼭대기에는 덮혀진 텍스쳐에 대응하는 힘이 존재한다. 그러한 조정으로, 가상 랜드스케이프내의 삼차원 환경내에 모형설정된 표면은 상기 설명된 단순한 이차원 사용자 인터페이스와 같은 방법으로 텍스쳐 피드백을 제공한다.
상기 설명된 것처럼, 촉각식 또는 힘 피드백 장치의 특정한 형태는 본 발명을 제한하는 특징이 아니다. 그러나, 예시를 위해서, 약간의 사례 구성들이 제 5도 내지 제 8도와 관련하여 설명될 것이다.
제 5도는 한 쌍의 작동 스위치(122)를 가진 단순한 마우스 제어기(120)의 평면도이고, 작동 스위치중의 하나는 촉각식 피드백(tactile feedback)을 온 또는 오프로 토글하는데 사용될 수 있다. 상기 마우스의 측부에 있는 제 1 엑츄에이터(124)는 수평 피드백 힘에 의해 결정된 범위와 속도를 가지고 내외로 이동하며 사용자의 손가락에 충돌한다.(케이스의 반대편에 엑츄에이터(124)를 가진 마우스가 왼손 동작을 위해서 요구될 것이다) 마우스의 전방부에는 수직 방향에서 계산된 피드백을 제공하기 위해 사용자의 손가락 끝을 향해서 움직이는 제 2 엑츄에이터(126)이 있다. 이러한 배열은 비록 상기 장치 그 자체가 조금 부피가 크더라도 마우스의 부드러운 움직임이 영향받지 않는다는 장점이 있다. 힘 피드백을 제공하기 위하여 모션 브레이킹(motion braking)을 활발히 사용하는 마우스의 선택적인 배열이 제 6도의 하부 설계 개략도에 의해 도식적으로 나타내진다. 종래의 3지지(three support) 모션 검출 롤러(motion detection rollers)(130)에 부가하여, 한쌍의 마찰륜(friction wheels)(132)이 각 브레이킹 모터(134)의 축상에 제공된다. 힘 피드백은 마찰륜(132)의 회전 방향과 반대로 모터(134)의 권선에 가해지는 브레이킹 전류의 형태로 제공된다.
트래커볼 장치(140)에 대한 촉각식 피드백 엑츄에이터의 배열은 각각 제 7A도와 제 7B도의 측면도와 하부계획도에서 나타난다. 네 개의 엑츄에이터(142)는 상기 장치의 하부에 위치되고 장치를 위한 지지발로써 작용한다. 각 엑츄에이터(142)는 수평 및/또는 수직 방향에서 요구되는 피드백 레벨에 의해 결정된 양만큼 제어된 연장 또는 수축을 할 수 있어서, 트래커볼 장치의 케이스는 회전하는 공(144)의 움직임에 영향을 주지 않고 촉각식 피드백을 제공하기 위하여 X 와 Y 양 방향에서 전방으로 및 후방으로 기울여 질 수 있다.
조이스틱 장치에 관한 또 다른 실시예가 제 8도에서 보여진다. 조이스틱(150)은 회전하는 조인트(rotating joint)(152)상에 설치되고, X 와 Y 방향에서 이동의 표시를 출력하는 위치 센서(154)에 결합된다. 피드백은, 링크(158)에 수직으로 설치되고 링크(158)을 통해서 조이스틱(150)의 연장에까지 결합된 한쌍의 엑츄에이터(156)를 제공받으며, 상기 엑츄에이터(156)은 구체화된 피드백 레벨에 의해 결정된 범위로 조이스틱의 움직임에 대립되도록 작동한다.
본 발명의 개시를 읽는 것으로부터, 다른 변경과 변형이 당업자에게 명백할 것이다. 그러한 변경과 변형은 이미 해당 기술에서 알려진 동등한 특징 및 다른 특징들을 포함할 수 있고, 여기에서 이미 개시된 특징들에 대신하여 또는 부가하여 사용될 수 있다. 비록 본 출원에서 청구범위가 특징들의 특정 조합으로 형성되어졌지만, 본 출원의 개시의 범위는, 그것이 어느 청구항에서 현재 청구된 동일한 발명에 관한 것이든지 아닌지, 그것이 본 발명이 하는 것과 같은 동일한 기술적 문제의 어느 또는 모든 것을 완화시키든지 아니든지, 여기에서 외재적으로 또는 내재적으로 개시된 어떤 그리고 모든 신규한 특징 또는 특징들의 어떤 신규한 조합 및 그것에 관한 일반화를 포함한다는 것을 이해해야 한다. 여기에서 출원인은 본 출원 또는 그것으로부터 얻어진 어떤 추가적인 출원의 계류중에 새로운 청구항이 그러한 특징으로 및/또는 그러한 특징들의 조합으로 형식화될 수 있다는 것을 알린다.

Claims (22)

  1. 픽셀 디스플레이 상의 커서를 제어하는 컴퓨터 시스템으로서;
    커서(24)를 디스플레이하는 픽셀 디스플레이(14);
    상기 픽셀 디스플레이에 결합된 컴퓨터(10);
    상기 컴퓨터에 결합된, 커서 제어 신호들을 발생하는 커서 제어 장치(26)로서, 상기 컴퓨터는 상기 커서 제어 신호들을 수신하고, 커서 디스플레이 신호들을 발생하며, 상기 커서 디스플레이 신호들을 상기 디스플레이에 보내는, 상기 커서 제어 장치(26); 및
    파라미터 세팅을 상기 커서 제어 장치의 사용자에게 표시하는 피드백 수단(30)을 포함하는, 상기 컴퓨터 시스템에 있어서,
    상기 디스플레이 커서(24)에 의해 덮힌 적어도 제1 픽셀에 대한 톤 레벨을 결정하도록 동작하는 모니터링 수단(56)이 제공되고,
    상기 피드백 수단에 의해 상기 사용자에게 표시된 파라미터 세팅은 적어도 부분적으로 상기 결정된 톤 레벨로부터 피드백 제어 수단(58)에 의해 유도되는 것을 특징으로 하는, 컴퓨터 시스템.
  2. 픽셀 디스플레이(14) 상의 커서를 제어하는 커서 제어 장치(26')로서, 상기 장치는 커서 제어 신호들을 발생시키고 상기 신호들을 상기 디스플레이로 전송하며, 상기 장치의 조작자에게 파라미터 세팅을 표시하기 위한 피드백 수단(30)을 포함하는, 상기 커서 제어 장치(26')에 있어서,
    모니터링 수단(56) 및 피드백 제어 수단(58)을 더 포함하며, 상기 모니터링 수단은 상기 디스플레이된 커서(24)에 의해 덮힌 적어도 제 1 픽셀에 대한 톤 레벨을 결정하도록 동작하고, 상기 피드백 수단에 의해 상기 사용자에게 표시되는 상기 파라미터 세팅은 상기 결정된 톤 레벨로부터 적어도 부분적으로 피드백 제어 수단에 의해 유도되는 것을 특징으로 하는 커서 제어 장치.
  3. 제 1 항에 있어서, 상기 결정된 톤 레벨은 상기 적어도 하나의 픽셀에 대한 그레이 레벨(gray level)인, 컴퓨터 시스템.
  4. 제 1 항에 있어서, 상기 결정된 톤 레벨은 상기 적어도 하나의 픽셀에 대해서 하나 이상의 픽셀 컬러 성분들(color components)의 레벨인, 컴퓨터 시스템.
  5. 제 1 항에 있어서, 상기 피드백 수단은 상기 결정된 톤 레벨이 제 1 임계값을 초과할 때 작동하는, 컴퓨터 시스템.
  6. 제 1 항에 있어서, 상기 피드백 수단은 순간 톤 레벨(instantaneous tone level)에 의하여 직접적으로 결정된 연속적으로 변화하는 피드백 레벨을 출력하도록 작동가능한, 컴퓨터 시스템.
  7. 제 1 항에 있어서, 상기 모니터링 수단은 제 1 영역을 감싸는 하나 이상의 추가적인 영역들에서 톤 레벨을 결정하도록, 제 1 및 추가적인 영역들에 걸쳐 적어도 하나의 방향에서 톤 변화에 대한 미분(differentail)을 결정하도록, 그리고 순간 미분에 의하여 결정된 레벨로 사용자에게 상기 피드백을 발생시키도록 배열되는, 컴퓨터 시스템.
  8. 제 7 항에 있어서, 상기 모니터링 수단은 상기 제 1 및 추가적인 영역들에 걸쳐 두 상호 수직인 방향들에서 미분들을 결정하도록 배열되고, 상기 피드백 수단은 상기 두 방향들에서 톤 변화를 각각 표시하는 두 개의 독립적으로 작동되는 피드백 수단을 포함하는, 컴퓨터 시스템.
  9. 제 7 항에 있어서, 상기 모니터링 수단은 겹쳐 쓰여진 디스플레이 픽셀 값들의 기록을 지속시키도록 배열된 커서 픽셀 저장 수단을 포함하고, 톤 변화에 대한 상기 미분은 커서들의 최근 이동의 라인을 따라서 상기 톤 변화로부터 유도되는, 컴퓨터 시스템.
  10. 제 1 항에 있어서, 상기 디스플레이는 삼차원적으로 컴퓨터-발생된 환경을 나타내고 상기 커서는 상기 삼차원내에서 사용자 제어하에 이동가능한 아이콘이며, 상기 장치는 상기 커서가 가상 환경의 특징들과 접촉하는 때를 결정하도록 작동가능한 충돌 검출 수단(collision detection means)을 포함하고 상기 피드백 수단은 그러한 접촉이 지속되는 동안 작동가능하게 되는, 컴퓨터 시스템.
  11. 제 1 항에 있어서, 상기 피드백 수단은 상기 결정된 톤 레벨에 의해 제어되는 레벨로 상기 장치의 사용자의 신체에 힘을 가하도록 배열된 힘 발생 수단(force generation means)을 포함하는, 컴퓨터 시스템.
  12. 제 1 항에 있어서, 상기 피드백 수단은 미리 정해진 외부 조건에 의해 결정된 그리고 상기 결정된 톤 레벨로부터 유도된 양에 의해 수정된 레벨로 상기 장치의 사용자의 신체에 힘을 가하도록 배열된 힘 발생 수단을 포함하는, 컴퓨터 시스템.
  13. 제 2 항에 있어서, 상기 결정된 톤 레벨은 상기 적어도 하나의 픽셀에 대한 그레이 레벨인, 커서 제어 장치.
  14. 제 2 항에 있어서, 상기 결정된 톤 레벨은 상기 적어도 하나의 픽셀에 대해서 하나 이상의 픽셀 컬러 성분들의 레벨인, 커서 제어 장치.
  15. 제 2 항에 있어서, 상기 피드백 수단은 상기 결정된 톤 레벨이 제 1 임계값을 초과할 때 작동하는, 커서 제어 장치.
  16. 제 2 항에 있어서, 상기 피드백 수단은 순간 톤 레벨에 의하여 직접적으로 결정된 연속적으로 변화하는 피드백 레벨을 출력하도록 작동가능한, 커서 제어 장치.
  17. 제 2 항에 있어서, 상기 모니터링 수단은 제 1 영역을 감싸는 하나 이상의 추가적인 영역들에서 톤 레벨을 결정하도록, 제 1 및 추가적인 영역들에 걸쳐 적어도 하나의 방향에서 톤 변화에 대한 미분을 결정하도록, 그리고 순간 미분에 의하여 결정된 레벨로 사용자에게 상기 피드백을 발생시키도록 배열되는, 커서 제어 장치.
  18. 제 17 항에 있어서, 상기 모니터링 수단은 상기 제 1 및 추가적인 영역들에 걸쳐 두 상호 수직인 방향들에서 미분들을 결정하도록 배열되고, 상기 피드백 수단은 상기 두 방향들에서 톤 변화를 각각 표시하는 두 개의 독립적으로 작동되는 피드백 수단을 포함하는, 커서 제어 장치.
  19. 제 17 항에 있어서, 상기 모니터링 수단은 겹쳐 쓰여진 디스플레이 픽셀 값들의 기록을 지속시키도록 배열된 커서 픽셀 저장 수단을 포함하고, 톤 변화에 대한 상기 미분은 커서들의 최근 이동의 라인을 따라서 상기 톤 변화로부터 유도되는, 커서 제어 장치.
  20. 제 2 항에 있어서, 상기 디스플레이는 삼차원적으로 컴퓨터-발생된 환경을 나타내고 상기 커서는 상기 삼차원내에서 사용자 제어하에 이동가능한 아이콘이며, 상기 장치는 상기 커서가 가상 환경의 특징들과 접촉하는 때를 결정하도록 작동가능한 충돌 검출 수단을 포함하고, 상기 피드백 수단은 그러한 접촉이 지속되는 동안 작동가능하게 되는, 커서 제어 장치.
  21. 제 2 항에 있어서, 상기 피드백 수단은 상기 결정된 톤 레벨에 의해 제어되는 레벨로 상기 장치의 사용자의 신체에 힘을 가하도록 배열된 힘 발생 수단을 포함하는, 커서 제어 장치.
  22. 제 2 항에 있어서, 상기 피드백 수단은 미리 정해진 외부 조건에 의해 결정된 그리고 상기 결정된 톤 레벨로부터 유도된 양에 의해 수정된 레벨로 상기 장치의 사용자의 신체에 힘들 가하도록 배열된 힘 발생 수단을 포함하는, 커서 제어 장치.
KR10-1998-0705125A 1996-10-30 1997-09-03 사용자피드백메커니즘을갖는커서제어 KR100502221B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9622556.0 1996-10-30
GBGB9622556.0A GB9622556D0 (en) 1996-10-30 1996-10-30 Cursor control with user feedback mechanism

Publications (2)

Publication Number Publication Date
KR19990076995A KR19990076995A (ko) 1999-10-25
KR100502221B1 true KR100502221B1 (ko) 2005-11-28

Family

ID=10802148

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-1998-0705125A KR100502221B1 (ko) 1996-10-30 1997-09-03 사용자피드백메커니즘을갖는커서제어

Country Status (7)

Country Link
US (1) US5973689A (ko)
EP (1) EP0882260B1 (ko)
JP (1) JP4229244B2 (ko)
KR (1) KR100502221B1 (ko)
DE (1) DE69724416T2 (ko)
GB (1) GB9622556D0 (ko)
WO (1) WO1998019228A1 (ko)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5754023A (en) 1995-10-26 1998-05-19 Cybernet Systems Corporation Gyro-stabilized platforms for force-feedback applications
US5825308A (en) 1996-11-26 1998-10-20 Immersion Human Interface Corporation Force feedback interface having isotonic and isometric functionality
US8508469B1 (en) 1995-12-01 2013-08-13 Immersion Corporation Networked applications including haptic feedback
US6161126A (en) 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US6300936B1 (en) 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US6374255B1 (en) * 1996-05-21 2002-04-16 Immersion Corporation Haptic authoring
US6411276B1 (en) 1996-11-13 2002-06-25 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
US6686911B1 (en) 1996-11-26 2004-02-03 Immersion Corporation Control knob with control modes and force feedback
US6128006A (en) * 1998-03-26 2000-10-03 Immersion Corporation Force feedback mouse wheel and other control wheels
US6292170B1 (en) 1997-04-25 2001-09-18 Immersion Corporation Designing compound force sensations for computer applications
US6285351B1 (en) 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US7472047B2 (en) * 1997-05-12 2008-12-30 Immersion Corporation System and method for constraining a graphical hand from penetrating simulated graphical objects
JPH1139135A (ja) * 1997-07-22 1999-02-12 Sanyo Electric Co Ltd カーソル表示装置
US6292174B1 (en) * 1997-08-23 2001-09-18 Immersion Corporation Enhanced cursor control using limited-workspace force feedback devices
US6252579B1 (en) 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US6243078B1 (en) 1998-06-23 2001-06-05 Immersion Corporation Pointing device with forced feedback button
US6448977B1 (en) * 1997-11-14 2002-09-10 Immersion Corporation Textures and other spatial sensations for a relative haptic interface device
US6211861B1 (en) 1998-06-23 2001-04-03 Immersion Corporation Tactile mouse device
US6252583B1 (en) 1997-11-14 2001-06-26 Immersion Corporation Memory and force output management for a force feedback system
US6219034B1 (en) * 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
US6184868B1 (en) 1998-09-17 2001-02-06 Immersion Corp. Haptic feedback control devices
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6707443B2 (en) 1998-06-23 2004-03-16 Immersion Corporation Haptic trackball device
US6697043B1 (en) 1999-12-21 2004-02-24 Immersion Corporation Haptic interface device and actuator assembly providing linear haptic sensations
US6411280B1 (en) * 1998-07-31 2002-06-25 Koninklijke Philips Electronics N.V. Input device generating tactual cues
US6373463B1 (en) * 1998-10-14 2002-04-16 Honeywell International Inc. Cursor control system with tactile feedback
US6424356B2 (en) 1999-05-05 2002-07-23 Immersion Corporation Command of force sensations in a forceback system using force effect suites
DE20080209U1 (de) 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
US6693626B1 (en) 1999-12-07 2004-02-17 Immersion Corporation Haptic feedback using a keyboard device
US6822635B2 (en) 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US20020171688A1 (en) * 2002-06-12 2002-11-21 Koncelik Lawrence J. Computer mouse with cursor placement device
GB2413416B8 (en) 2002-12-08 2006-09-07 Immersion Corp Haptic massaging in handheld communication devices
US8059088B2 (en) 2002-12-08 2011-11-15 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
US8830161B2 (en) 2002-12-08 2014-09-09 Immersion Corporation Methods and systems for providing a virtual touch haptic effect to handheld communication devices
US7339574B2 (en) * 2003-01-16 2008-03-04 Korean Advanced Institute Of Science And Technology Haptic mouse interface system for providing force and tactile feedbacks to user's fingers and arm
US7280095B2 (en) * 2003-04-30 2007-10-09 Immersion Corporation Hierarchical methods for generating force feedback effects
JP2005044241A (ja) * 2003-07-24 2005-02-17 Nec Corp ポインティングデバイス通知装置および通知方法
FR2860308B1 (fr) * 2003-09-26 2006-01-13 Inst Nat Rech Inf Automat Modulation de position de curseur dans les donnees video pour ecran d'ordinateur
US7982711B2 (en) * 2003-12-19 2011-07-19 Immersion Corporation Haptic profiling system and method
US7742036B2 (en) 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US7667687B2 (en) * 2003-12-30 2010-02-23 Immersion Corporation Resistive and hybrid control schemes for haptic feedback interface devices
US20050227217A1 (en) * 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US7394459B2 (en) * 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7787706B2 (en) * 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7636897B2 (en) 2004-11-19 2009-12-22 Microsoft Corporation System and method for property-based focus navigation in a user interface
US7631278B2 (en) * 2004-11-19 2009-12-08 Microsoft Corporation System and method for directional focus navigation
US7911444B2 (en) * 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US8060840B2 (en) * 2005-12-29 2011-11-15 Microsoft Corporation Orientation free user interface
EP3287874A1 (en) * 2006-04-06 2018-02-28 Immersion Corporation Systems and methods for enhanced haptic effects
US7549132B2 (en) * 2006-04-28 2009-06-16 International Business Machines Corporation Presenting identifiers and states of processes in a stacked cursor
KR101533465B1 (ko) 2006-12-27 2015-07-02 임머숀 코퍼레이션 진동 촉각 피드백을 통한 가상 디텐트
WO2008099564A1 (ja) * 2007-01-12 2008-08-21 Capcom Co., Ltd. 表示制御装置、その表示制御装置を実現するためのプログラム及びそのプログラムを記録した記録媒体
US8212857B2 (en) 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US8167813B2 (en) * 2007-05-17 2012-05-01 Immersion Medical, Inc. Systems and methods for locating a blood vessel
US8156809B2 (en) * 2008-03-27 2012-04-17 Immersion Corporation Systems and methods for resonance detection
WO2010019508A1 (en) * 2008-08-11 2010-02-18 Immersion Corporation A haptic enabled gaming peripheral for a musical game
US20100295667A1 (en) * 2009-05-22 2010-11-25 Electronics And Telecommunications Research Institute Motion based pointing apparatus providing haptic feedback and control method thereof
US8875035B2 (en) * 2009-05-29 2014-10-28 Apple Inc. Graphical representation of out-of-bound image selection
US9030305B2 (en) * 2009-12-11 2015-05-12 Gwangju Institute Of Science And Technology Method for expressing haptic information using control information, and system for transmitting haptic information
TWI431516B (zh) * 2011-06-21 2014-03-21 Quanta Comp Inc 觸覺回饋方法及其電子裝置
US9582178B2 (en) 2011-11-07 2017-02-28 Immersion Corporation Systems and methods for multi-pressure interaction on touch-sensitive surfaces
US9569059B2 (en) * 2012-11-01 2017-02-14 Blackberry Limited Reference-point-based static-scale mapping application
US9547366B2 (en) 2013-03-14 2017-01-17 Immersion Corporation Systems and methods for haptic and gesture-driven paper simulation
US20160239085A1 (en) 2015-02-18 2016-08-18 Lenovo (Singapore) Pte, Ltd. Force indication of a boundary
US10691406B2 (en) 2017-02-16 2020-06-23 Microsoft Technology Licensing, Llc. Audio and visual representation of focus movements
US11226690B2 (en) * 2020-04-10 2022-01-18 Dell Products, L.P. Systems and methods for guiding a user with a haptic mouse

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8602624A (nl) * 1986-10-20 1988-05-16 Oce Nederland Bv Invoerinrichting met taktiele terugkoppeling.
US4752772A (en) * 1987-03-30 1988-06-21 Digital Equipment Corporation Key-embedded Braille display system
JPH07120384B2 (ja) * 1987-12-14 1995-12-20 キヤノン株式会社 パターン読取装置
GB9014130D0 (en) * 1990-06-25 1990-08-15 Hewlett Packard Co User interface
US5270688A (en) * 1990-12-12 1993-12-14 Apple Computer, Inc. Apparatus for generating a cursor or other overlay which contrasts with the background on a computer output display
US5223828A (en) * 1991-08-19 1993-06-29 International Business Machines Corporation Method and system for enabling a blind computer user to handle message boxes in a graphical user interface
US5186629A (en) * 1991-08-22 1993-02-16 International Business Machines Corporation Virtual graphics display capable of presenting icons and windows to the blind computer user and method
DE4140780C2 (de) * 1991-12-06 1995-05-18 Matthias Dipl Ing Goebel Eingabevorrichtung für Bildschirmgeräte mit taktilem Feedback
US5287102A (en) * 1991-12-20 1994-02-15 International Business Machines Corporation Method and system for enabling a blind computer user to locate icons in a graphical user interface
EP0607580A1 (en) * 1993-01-21 1994-07-27 International Business Machines Corporation Tactile feedback mechanism for cursor control
DE4319795A1 (de) * 1993-06-15 1994-01-13 Jochen Dr Guelker Computerbildschirmzeigegerät
JP3236180B2 (ja) * 1994-12-05 2001-12-10 日本電気株式会社 座標指示装置
US5825308A (en) * 1996-11-26 1998-10-20 Immersion Human Interface Corporation Force feedback interface having isotonic and isometric functionality
SE519661C2 (sv) * 1996-02-23 2003-03-25 Immersion Corp Pekdon och förfarande för markering av grafiska detaljer på en display med sensorisk återkoppling vid påträffande av nämnda detalj

Also Published As

Publication number Publication date
US5973689A (en) 1999-10-26
EP0882260A1 (en) 1998-12-09
JP2000504450A (ja) 2000-04-11
DE69724416T2 (de) 2004-06-24
KR19990076995A (ko) 1999-10-25
EP0882260B1 (en) 2003-08-27
WO1998019228A1 (en) 1998-05-07
JP4229244B2 (ja) 2009-02-25
DE69724416D1 (de) 2003-10-02
GB9622556D0 (en) 1997-01-08

Similar Documents

Publication Publication Date Title
KR100502221B1 (ko) 사용자피드백메커니즘을갖는커서제어
JP5244277B2 (ja) ３次元ヒューマンコンピュータインタフェース
JP4093823B2 (ja) 視野移動操作方法
US7492362B2 (en) Virtual space rendering/display apparatus and virtual space rendering/display method
US5844547A (en) Apparatus for manipulating an object displayed on a display device by using a touch screen
US6654035B1 (en) Computer system and method of manipulating a graphical user interface component on a computer display through collision with a pointer
US20110273392A1 (en) Devices and methods of controlling manipulation of virtual objects on a multi-contact tactile screen
JP5839220B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20090083662A1 (en) Navigation system for a 3d virtual scene
JPH04503726A (ja) 統合キーボード、及び、ポインティング装置システム
JP2003122506A (ja) 座標入力及び操作方法指示装置
EP0360599B1 (en) A video processing system for movement simulation
JPH0269798A (ja) デイスプレイされたオブジエクトを回転する方法
JP3263140B2 (ja) 三次元ポインティング支援システムおよび方法
JP2977489B2 (ja) コンピュータ切換制御装置
Chen et al. A 3d mouse for interacting with virtual objects
JPH05274421A (ja) カーソル制御装置
JPH05108263A (ja) マウス入力装置
JPH04294416A (ja) ディスプレイに表示された対象の１つを選択する方法
JPH10171597A (ja) マウス
Knöpfle Interacting with simulation data in an immersive environment
KR20000016239A (ko) 복합 커서가 있는 인터페이스
JPH04242819A (ja) マウス制御方式
JPH06259187A (ja) 入力装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120711

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee