KR101130396B1 - 촉각 전송 시스템 및 그 작동 방법 - Google Patents

촉각 전송 시스템 및 그 작동 방법 Download PDF

Info

Publication number
KR101130396B1
KR101130396B1 KR1020067005744A KR20067005744A KR101130396B1 KR 101130396 B1 KR101130396 B1 KR 101130396B1 KR 1020067005744 A KR1020067005744 A KR 1020067005744A KR 20067005744 A KR20067005744 A KR 20067005744A KR 101130396 B1 KR101130396 B1 KR 101130396B1
Authority
KR
South Korea
Prior art keywords
data
tactile output
force
output device
signal
Prior art date
Application number
KR1020067005744A
Other languages
English (en)
Other versions
KR20060126452A (ko
Inventor
앤드류 존 하드윅
스테판 마이클 퍼너
Original Assignee
브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니 filed Critical 브리티쉬 텔리커뮤니케이션즈 파블릭 리미티드 캄퍼니
Publication of KR20060126452A publication Critical patent/KR20060126452A/ko
Application granted granted Critical
Publication of KR101130396B1 publication Critical patent/KR101130396B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • A63F13/12
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/358Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/534Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for network load management, e.g. bandwidth optimization, latency reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/54Store-and-forward switching systems 
    • H04L12/56Packet switching systems
    • H04L12/5601Transfer mode dependent, e.g. ATM
    • H04L2012/5603Access techniques

Abstract

본 발명은 네트워크를 통해 수신된 신호에 의해 제어되는 촉각 이펙터의 포지션에서의 촉각 전송에 있어 네트워크 지연을 보상하기 위한 방법에 관한 것이다. 본 발명에 의한 방법은 촉각 이펙터의 일련의 포지션을 저장하고, 상기 일련의 포지션으로부터 푸리에 변환 또는 다른 수단을 사용하여 진폭이 증가되는 주파수를 결정하고, 촉각 이펙터의 방향과 힘을 지시하는 신호로부터 상기 증가하는 주파수를 제거하기 위한 필터 기능을 만드는 것을 포함하는 것을 특징으로 한다.

Description

촉각 전송 시스템 및 그 작동 방법{HAPTICS TRANSMISSION SYSTEM}
본 발명은 촉각 전송 시스템에 관한 것으로, 특히 지연 수정 개선에 관한 시스템 및 지연 수정 개선 방법에 관한 것이다.
본 발명은 촉각 통신에 관한 것으로 특히 통신 네트워크에 의해 연결된 촉각 장치의 응답 개선에 관한 것이다.
컴퓨터의 촉각 출력은 게임 플레이에 "느낌"을 부가하는 것을 강화하기 위해 사용되는데 예를 들어 바이브레이션은 게임에 부가적인 지각 감각을 더한다. 이러한 출력은 시력이 손상된 사람이 문서를 읽거나, 그림과 같은 것을 느낄 수 있도록 하는 데에 사용된다. 촉각 출력 장치의 기본적인 동작은 터치 감각의 사용자 간 차이를 수정하기 위해 촉각 인터페이스 출력 특성을 적응시키는 방법이 개시된 본 출원인의 유럽 특허출원 제01305947.2호에 설명되어 있다. 다른 유럽 특허출원 제01307951.2호에는 촉각 출력장치를 사용하여 Moon 알파벳을 읽도록 하는 방법이 개시되어 있다. 컴퓨터나 데이터 저장 장치로부터 촉각 출력장치로 캐릭터 세트의 전송에서 출력신호에 따라 좌우되는 시간에 민감한 활동이 없다. 그러나, 게임 플레이가 포함되면, 특히 플레이어가 서로 경쟁하거나 경쟁방식으로 기계에 대항하는 경우 정방향력 또는 역방향력 파라미터(parameter)의 전송 딜레이(delay)는 지각 경험(sensed experience)에 현저한 영향을 미친다.
게임 플레이가 점 대 점 통신 링크 대신에 인터넷이나 월드와이드웹과 같이 접속없는(connectionless) 네트워크를 통해 수행될 가능성이 더 크기 때문에, 입력에 비하여 출력의 감지 동작에 있어서 불일치를 가져오는 신호 지연이 생길 수 있다.
또한, 감지 동작의 느낌과 사용자 응답에 대한 리액션이 현실감 있으려면 감지 장치는 양 신호 방향으로 빈번한 갱신이 요구된다. 현실감 유지를 위해 요구되는 갱신 횟수는 촉각 출력 장치가 발생 프로세서에 근접해 있고 직접 연결된 경우의 문제가 아니지만, 단시간에 통신 네트워크에 과부하가 되고, 및/또는 대역폭의 최대 할당이 필요하게 된다.
본 발명의 일 측면에 따르면, 지향성 힘을 정의하는 신호에 반응하는 촉각(haptic) 출력 장치의 작동 방법이 제공된다. 본 발명에 의한 촉각 출력 장치 작동 방법은, 각 패킷이 현재 위치(location)로 전달하기 위해 하나의 위치에 인가되는 지향성 힘을 정의하는, 복수의 데이터 패킷을 규정하는 일련의 신호를 수신하는 단계, 상기 데이터 패킷으로부터 촉각 출력장치가 움직일 포지션을 정의하는 정보를 결정하는 단계, 현재의 포지션 데이터를 사용하여 힘과 방향을 정의하는 출력 신호를 생성하는 단계, 상기 힘과 방향 신호에 댐핑 팩터를 적용하여 이전에 정의된 포지션으로부터 현재 정의된 포지션을 향한 움직임 속도를 늦추는 단계, 상기 촉각 출력 장치가 움직인 복수의 포지션 각각을 정의하는 데이터를 저장하는 단계, 상기 데이터를 분석하여 상기 움직임 중에서 증가하는 주파수 성분을 결정하는 단계, 상기 증가하는 주파수 성분을 제거하는 필터 기능을 생성하는 단계, 및 상기 필터 기능을 상기 힘과 방향 신호에 적용하여 촉각 출력 장치에 의한 움직임으로부터 상기 주파수 성분을 제거하는 단계를 포함한다.
바람직하게 상기 방법은 현재 정의된 포지션을 향해 인가되는 힘에 반응하여 하나의 장치에 인가되는 촉각력이 일련의 재귀(return) 데이터 패킷의 현재 포지션 신호의 형태로 상응하는 장치로 반사되도록 하는 각 방향으로 시그널링하는 단계를 추가로 포함한다.
본 발명의 일 측면에 의한 양방향 촉각 출력 단말기는, 하나 이상의 촉각 출력장치와, 제어수단을 포함하고, 상기 제어수단은, 상기 촉각 출력 장치로부터의 신호를 수신하여, 상기 장치의 현재 포지션을 결정하고, 상기 전송 장치로부터 수신된 신호로부터 상기 촉각 출력 장치의 선호되는 현재 포지션을 결정하며, 상기 제어수단은, 상기 촉각 출력장치가 현재 포지션으로부터 선호되는 포지션으로 움직이기 위하여 필요한 출력되는 힘과 방향을 결정하고, 상기 촉각 출력 장치가 움직인 복수의 포지션 각각을 정의하는 데이터를 저장하여 상기 출력되는 힘과 방향을 조절하고, 상기 데이터를 분석하여 상기 움직임 중 증가하는 주파수 성분을 결정하고, 상기 증가하는 주파수 성분을 제거하기 위한 필터 기능을 생성하고, 상기 촉각 출력 장치에 의한 움직임으로부터 상기 주파수 성분을 제거하기 위해 상기 힘과 방향 신호에 필터 기능을 적용하는 것을 특징으로 한다.
상기 제어수단은 촉각 출력 장치로부터 신호를 수신하고, 상기 신호는 특정 시간에 상기 장치의 포지션을 정의하는 데이터를 포함하고, 상기 제어수단은 상기 데이터를 기설정된 간격으로 상기 양방향 전송 장치에 송신하기 위한 신호로 변환한다.
선호되는 현재 포지션을 정의하는 상기 신호는, 프로그램된 컴퓨터와 같은 환경 시뮬레이터에 의해 생성되거나, 또는, 선호되는 현재 포지션을 정의하는 상기 신호는, 전송 장치의 반대 측 단부에서 대응하는 상호 출력 단말기에 의해 생성되는 것을 특징으로 한다.
바람직한 포지션을 정의하는 일련의 패킷이 수신될 때, 각 패킷은 현재 위치로 전달하기 위해 다른 위치에 인가되는 지향성 힘을 정의하고, 상기 제어수단은 패킷 데이터로부터 전송 순서를 결정하는 수단을 포함하고, 순서대로 보정된 시리즈로 상기 데이터를 재배열하며, 먼저 수신된 패킷으로부터 이어서 수신되는 패킷에 의해 정의되는 예상되는 선형 움직임을 추정하고, 빠진 데이터 패킷에 관하여 상기 예상되는 선형 움직임에 일치하도록 출력되는 지향성 힘 신호를 적용한다.
본 발명에 의한 촉각 전송 시스템을 다음과 같은 도면을 참고로 하여 설명하기로 한다.
도 1은 네트워크가 환경 시뮬레이션을 촉각 입출력 장치에 상호 연결하는 제 1 촉각 통신 시스템을 나타낸 블럭도;
도 2는 상호 연결된 복수 개의 촉각 입출력 장치를 포함하는 촉각 통신 시스 템을 나타낸 블럭도;
도 3은 도 2의 시스템 내에서 데이터 교환을 나타낸 도면;
도 4는 도 2의 시스템의 조정을 이루기 위해 두 위치 사이의 지연을 측정하는 방법을 나타낸 흐름도;
도 5는 내부적으로 인가되는 힘의 계산 방법을 나타낸 흐름도; 및
도 6 내지 도 8은 본 발명의 실시 형태를 나타낸 흐름도이다.
도 1을 참조하면, 본 출원인의 유럽 특허출원 제01305947.2호에서, 대상 모델 데이터로서 저장된 장면의 촉각 출력 표현을 예를 들어 제공하는 방법이 개시된다. 이 경우 프로세서(1)는, 대상 모델 데이터에 근거한 반발력을 출력하기 위하여, 촉각 출력 장치(예를 들면, 미국의 센스 에이블 테크롤러지사(Sense Able Technologies Inc)의 팬텀 1.0 촉각 출력 장치)의 포지션에 응답하는 프로그램을 포함한다. 데이터 저장부(4)에 저장된 대상 모델 데이터(3)는 촉각 출력 인터페이스(2)의 사용자에 의해 지각될 수 있는 고정되거나 움직일 수 있는 대상의 질감, 표면, 및 위치를 정의할 수 있다. 상기 출원에서 개시된 또 다른 개선점에서 플레이어 ID(6)를 기초로 데이터 저장부(4)에 보관된 정보는, 플레이어 선호(preference)사항(7), 및 감마 보정 계수(8)가 다른 플레이어가 촉각 출력 인터페이스(2)의 출력을 거의 동일하게 지각하도록 보장하기 위해 적절한 출력조정을 제공하는 데 사용되도록 허용했다.
개시된 바와 같이 프로세서(1)는 촉각 출력 인터페이스(2)에 가깝게 연결되 었고, 그것에 의하여 장치의 x, y, z 축에 대한 사용자 손가락의 위치를 거의 연속적으로 검출하여 제공할 수 있으므로 대상 모델 데이터(3)에 의해 정의된 환경의 실시간 시뮬레이션을 허용하게 된다.
상기한 바와 같이, 일단 네트워크(5)가 촉각 출력 인터페이스(2)와 프로세서(1) 사이에 도입된 경우, 거의 연속적인 속도로 시그널링(signaling) 업데이트가 요구된다면, 프로세서(1)에 대한 입출력 인터페이스(6)에 의한 사용자의 응답과 위치를 결정하는 응답 시그널링과 가상환경의 연속적인 통신은 비실용적이 된다. 또한, 네트워크에 의해 시그널링에 도입된 지연은 전송되는 정보에 극도로 떨리는 느낌을 가져온다.
이제 도 2를 참조하면, 복수 개의 촉각 출력장치(21,22)가 각각의 입출력 인터페이스(25,26)에 의해 각각의 프로세서(23,24)로 통신하는 경우 네트워크 지연과 시그널링 제한 문제는 더욱 중요해 진다. 이와 같이, 프로세서(23)가 촉각 출력장치(22)에 대한 포지션을 나타내는 신호를 네트워크 어댑터(27)에 의해 수신하고 상기 포지션으로 촉각 장치(21)를 즉각적으로 움직이고자 한다면, 움직임에서 실질적 떨림(jerk)이 명백해 질 것이다. 어떠한 경우에도, 촉각 출력장치(21)의 사용자는 그러한 움직임을 막는 역방향 힘을 인가하고 그렇게 하여 프로세서(23)가 촉각 출력장치(22)의 포지션으로 촉각 출력장치(21)의 포지션을 정렬하는 것을 방지한다. 상응하게, 촉각 출력장치(21)의 위치를 측정하는 프로세서(23)는 네트워크 어댑터(28)와 네트워크(5)를 통해 프로세서(24)로 신호를 돌려보낼 것이며 이것은 촉각 출력장치(22) 내에 상응하는 움직임을 만들고자 시도할 것이다. 이와 같이, 촉각 장치(21,22) 사이의 통신이 더 이상 연속 모드가 아니고 포지션 정보를 때때로 수신 및 송신하기 때문에 사용자의 경험은 심각하게 약화될 것이다. 또한, 신호가 네트워크를 횡단하는데 소요되는 시간 간격(네트워크 지연(Network Latency))이 사용자 지각을 더욱 손상하게 될 것이다.
또한, 도 3을 참조하면, 사용자가 위치A에서 촉각 출력장치(21)의 "포지션(position)"을 정하고 촉각 출력 장치로부터 힘을 수신하면, "포지션"으로부터 도출된 로컬 포지션 데이터는 PC(23)에 의해 도출되고 네트워크로 전송되는 것을 인식하는 것이 가능하다. 동시에 네트워크로부터 수신된 원격 포지션 데이터는 PC(23)에 의해 로컬 힘 데이터로 변환된다.
상응하는 포지션과 힘 파생 데이터는 PC(24)에 의해 위치(B)에서도 사용될 것이다.
실제 네트워크에서 상기 포지션 데이터와 힘 출력은 거의 5 msec 간격으로 각 종단 사이에 전송된다. 그러므로 새로운 포지션이 수신될 때마다 효과적으로 모터가 로컬 사용자를 밀어서 상기 출력장치를 새로운 포지션으로 움직이기 위한 시도로 힘이 출력된다. 사실상, 위치 A와 B에서 사용자의 각 단부는 서로 연결되고, 양 방향 활동과 데이터 전송은 효과적으로 양 출력장치(21, 22)를 상응하는 포지션으로 움직이려 한다. 이것이, 예를 들어 스프링 또는 유연한 막대와 같은 탄성 장치 종류에 의해 함께 연결되는 것과 같은 방식으로 양 사용자의 연결을 시뮬레이션한다. 각 단부에 반발력이 있기 때문에 두 장치 사이에 불안정이 있을 수 있고, 힘을 지연 전송하는 피드백 루프는 효과적인 정 피드백(positive feedback)이 된다.
또한, 네트워크 지연은 촉각 정보를 네트워크를 통해 전송하는 시스템에 불안정을 야기한다. 이러한 불안정은 윙윙거리는 느낌과 같이 그 자체로 명백히 서비스의 질을 감소시키고, 촉각 출력 장치에 손상을 줄 수 있으며, 반복성 긴장 장애를 야기할 수 있다. 극단적인 케이스로, 상기 불안정은 촉각 출력 장치를 제어할 수 없게 되어 사용하지 못하게 될 수도 있고, 출력장치에 중대한 손상을 야기시켜 사용자에게 부상을 일으킬 수도 있다.
터치(touch)는 상호 감각이기 때문에 촉각 전송은 속성상 수동적인 오디오와 비쥬얼의 전송보다 피드백 문제에 보다 민감하다. 터치로 대상을 관찰하는 것은 사용자로부터의 힘을 가지고 대상에 반드시 영향을 미치며, 반면 사용자는 대상으로부터 반발력을 받는다. 이것은 밀접하게 결합된 피드백 루프를 효과적으로 제공한다. 네트워크 지연 때문에 피드백 루프에 딜레이가 들어가서 특정 주파수에서 부 피드백(negative feedback)이 정 피드백(positive feedback)으로 변환하며 그 결과 시스템이 불안정하게 된다.
상기 불안정은 특정 주파수에서 부 피드백을 정 피드백으로 변환하는 효과가 있으므로 그러한 주파수에서 진동(oscillation)은 증가한다. 그러한 진동이 발생하는 주파수는 사용되는 촉각 출력장치의 고유 특성에 종속하여 시간에 따라 변할 것이다. 하지만 구체적으로는 특히 연결 설정하지 않는(connectionless) 네트워크가 사용된 경우에 시간에 따라 역시 변하는 네트워크 지연에 따라 변할 것이다.
따라서, 본 발명은 진동이 증가하는 주파수를 확인하고, 그러한 주파수의 신 호를 필터링하여 상기 효과를 보완하고자 한다.
그러므로, 상기에 설명하는 바와 같이, 다시 도 3을 참조하면, 인터넷(5)을 통해 링크된 PC(23, 24)에 각각 접속된 두 촉각 출력 장치(21, 22)를 포함하는 시스템은 상술한 네트워크 지연 문제를 받기 쉽다.
사용시, 각 컴퓨터(23,24)는 연결된 촉각 출력장치(21,22) 각각의 포지션을 읽고, 촉각 디스플레이의 핸드피스의 포지션 좌표를 정의하는 데이터를, 상기 연결된 촉각 디스플레이의 각 핸드피스를 동일한 좌표로 강제하기 위해 필요한 힘을 계산하는 다른 컴퓨터에 전송한다. 그러면 컴퓨터는 촉각 디스플레이가 핸드피스를 통해 사용자에게 그 힘을 가하도록 지시한다. 대칭 통신은 두 디스플레이가 일치하여 계속 움직이도록 하여 둘 사이에서 단순한 힘, 포지션, 형상 질감, 및 동작이 전송 가능하도록 한다.
이제 본 발명의 시스템에서 각 컴퓨터는 그것의 각각의 촉각 디스플레이 핸드피스의 최근 포지션의 레코드를 유지하며, 이는 하나의 방법으로 상기 움직임의 주파수 성분의 스펙트럼을 제공하기 위해 푸리에 변환된다. 스펙트럼의 비교에 의해 진폭이 지속적으로 증가하는 주파수가 있는 지를 판정하고, 그러한 주파수가 발견되면, 상기 핸드피스의 움직임에 인가되는 힘을 계산하는 데 있어 상기 주파수가 억제된다.
또는, 전송된 데이터 패킷의 왕복 지연시간 결정에 의해 어떤 주파수가 불안정이 증가할 것 같은 지를 결정하는 것이 가능하다. 이 경우 왕복 지연 시간의 2배에 의해 나뉘어진 홀수 정수의 주파수는 부 피드백이 왕복 중에 정 피드백으로 전 환되기 때문에 위험하다. 고려할 필요가 있는 다른 요인이 있는데, 이것은 하나의 시스템에 연결된 2개의 촉각 장치의 자연 진동 주파수이다. 이 경우 상수는 아니나 반복적으로 측정이 가능한 지연과, 연결된 촉각 장치의 기계적 특성과 시뮬레이션 된 기계적 특성(소프트웨어로 설정될 수 있음)과, 및 기지(旣知)의 힘이 인가될 때 출력 장치 핸드피스의 응답으로부터 측정되거나 추정될 수 있는 사용자 손의 기계적 응답을 결정할 필요가 있다.
포지션에 대해 좀 더 고려하면, 푸리에 변환 비교를 수행하기 위해 필요한 계산능력은, 진폭이 증가하는 리스크가 발생할 가능성이 가장 큰 주파수가 결정되고 그러한 리스크가 있는 주파수만이 증가하는 스펙트럼 성분에 대해 체크될 필요가 있다면, 감소할 것이다.
도 4를 참조하면, 위치 A와 B 각각에서 PC(23,24)의 각각의 로컬 클럭(30,40)이 네트워크 지연을 결정하기 위해 사용된다. 이와 같이 위치 A에서 로컬 클럭의 시각은 전송 패킷 내에 포함되고(단계 31), 네트워크(5)를 통해 송신된다(단계 32). 상기 패킷은 위치 B에서 수신되고(단계 33), 네트워크(5)를 통해 즉시 재송신되고(단계 34), 위치 A에서 다시 수신된다(단계 35). 수신 시각이 분리되고(송신이 처음 일어난 시각임), 로컬 클럭(30)과 다시 비교되어(단계 37), 유용한 네트워크(5) 지연의 측정을 제공한다(단계 38).
각 종단이 같은 지연을 사용하도록 네트워크를 통해 지연 정보의 전송이 가능하지만, 네트워크 변경의 경우, 지시한 바와 같이 단계 31 내지 단계 37에 대응하는 단계 41 내지 단계 47의 방법에 의해 지연 측정을 도출하기 위해 비슷한 지연 측정이 각각의 로컬 클럭(40)을 사용하여 위치 B에서 수행된다.
지연 측정 결정에 하나의 클럭 만이 포함되기 때문에 두 통신 시스템의 클럭의 동조가 요구되지 않는다. 물론 패킷화가 명확한 클럭 시각을 가질 필요는 없지만 단순히 송신 및 수신되는 시리얼 넘버일 수 있고, 현재 시각과의 비교를 위하여 시리얼 넘버 패킷의 전송 시각을 결정하는데 검색 테이블이 사용된다는 것을 알 수있을 것이다.
전방향과 역방향 전송 경로에서 경로 다양화 때문에 네트워크를 통해 경험하는 지연 사이에 차이가 있는 경우 각각의 단부가 각각의 지연 측정을 수행한다는 것을 주목해야 한다.
일단 각 방향에서 지연을 결정하면 지연 문제에 대한 두 가지 방법이 사용된다. 하나는 반대 단부에 전송하기 위한 포지션 데이터를 수정하기 위하여 로컬 단부에서 (-)로 작용하도록 지연 측정이 사용된다.
도 5를 참조하면, 네트워크를 통한 전형적인 촉각 결합에서, 단계 51에서 지시된 바와 같이 촉각 출력 장치 센서로부터 도출된 로컬 포지션과, 네트워크로부터 수신된 원격 포지션(단계 52)은 차이를 계산하여, 두 촉각 출력장치의 x,y,z 좌표에 대하여 차이 벡터를 제공하기 위해 사용된다(단계 53). 두 장치 사이의 결합 강도(단계 54) 또는 탄성은, x, y, z 벡터가 모터를 위한 로컬 힘을 제공하기 위하여 전송될 수 있도록(단계 56), 상기 로컬 촉각 장치가 원격 장치의 상대적인 포지션으로 강제하기 위해 필요한 힘을 계산하는 데 사용된다(단계 55).
도 6을 참조하면, 원격 핸드피스에 대한 로컬 핸드피스의 상대 포지션을 강제하기 위하여 필요한 힘을 계산한 후에, 입력 움직임을 한정하는 포지션 이력 레코드가 로컬 촉각 출력 장치의 가속도 계산을 위해 사용되고(단계 57), 앞서 결정된 지연 측정(단계 58)은 인가될 힘을 결정할 때 더해 질 관성치를 계산하기 위해 사용된다. 다른 방법에서, 측정된 지연치와 적절한 관성치 사이에 링크를 제공하기 위하여 색인 테이블이 사용된다. 가속도와 관성치는 원격 핸드피스와 로컬 핸드피스의 상대적인 포지션을 강제하기 위하여 계산된 힘과 조합하여 사용될 수 있는 관성력 특성을 제공하기 위하여 사용되어서(단계 61), 로컬 촉각 출력 장치의 모터에 출력되는 x,y,z 힘은 이제 지연 또는 출력을 고려하여 조절된다.
도 7을 참조하면, 본 발명에서 센서로부터의 로컬 포지션(단계 51)이 포지션 이력 레코드에 더해지고(단계 63), 포지션 이력 레코드는 상기한 바와 같은 진폭의 증가를 나타내는 상기 성분들을 결정하기 위하여 푸리에 변화 또는 더욱 제한된 주파수 분석된다(단계 64). 증가하는 주파수 성분을 제거하기 위한 필터 기능이 생성되어(단계 65), 원격 핸드피스의 상대적인 포지션에 로컬 핸드피스를 강제하기 위해 필요한 힘을 계산하기 위해 사용되는 차이 벡터를 계산하기 위해 로컬 포지션 데이터를 사용하기에 앞서 로컬 포지션 데이터에 적용된다(단계 66).
도 8의 보다 복잡한 구성에서, 지연 측정 사용자 선호 사항에 결합 강도를 추가로 도입하는 것이 가능하다. 그러므로, 예를 들어 원격 센서의 상대적인 포지션에 로컬 핸드피스를 강제하기 위한 힘을 계산하는데 있어 사용자 선호 사항들은 결합 강도(54)에 영향을 미칠 수 있으며, 이것은 포지션 이력과 사용자 선호를 고려하도록 조절될 수 있다(단계 70).
사용자 선호 사항(72)은 필터링 특성(73)을 보정하는 데 사용될 수도 있으며, 가속도를 포함하는(한정되지는 않음) 동적 변수(77)는 로컬 하드웨어 파라미터(75)를 고려하기 위해 필터링(74)을 사용하여 이전과 같이 계산될 수 있으며, 이와 같은 모든 힘(76)은 출력 신호 데이터를 로컬 힘 모터(78)에 적응시키는데 기여한다.
시간 정보를 운반하는 패킷은 촉각 이펙터(effector) 포지션 정보를 운반하는 것과 같을 수 있다. 이것은 상기 포지션 정보를 위한 적절한 네트워크 스택 딜레이가 상기 측정된 지연에 포함되도록 보장하는 이점이 있고, 보내질 필요가 있는 패킷 수를 감소시킨다.
불안정성을 야기한 지연을 제거하도록 조절될 수 있는 질량 이외에 다른 물리적 파라미터도 있다. 여기에는 점성항력(viscous drag, 속도에 비례하고, 방향이 반대인 힘)과 마찰력(속도와 반대방향이고 속도가 0이 아닐 경우 상수량이며, 그렇지 않으면 한계까지 가해진 힘과 크기가 같고 방향이 반대인 힘)이 있다.
촉각이펙터에 물리적으로 관련된 파라미터를 사용하는 대신에 촉각이펙터 사이의 결합에 관련된 파라미터를 사용할 수 있다. 예를들어, 각 이펙터가 다른 이펙터의 포지션으로 점프하려는 강도를 감소시키는 것이 불안정을 감소시킬 수 있다.
상기한 다른 필터링 수단이 개별적으로는 물론 함께 적용될 수 있다.
다른 촉각 전송 방법(예를 들어 이펙터의 환경으로부터의 반발력을 측정하고, 다른 이펙터를 거쳐 그것을 전송 및 출력)이 시뮬레이션 된 스프링력을 사용하여 이펙터 핸드피스를 상호간의 포지션에 강제하는 대신에 사용될 수 있다.
다른 네트워킹 방법(예를 들어, ISDN, TCP/IP, PSTN을 통한 모뎀간 RS-232 직렬접속)이 UDP 대신에 사용될 수 있다. 다른 네트워크 지연 측정(예를 들어, 'ping' 시간, 네트워크의 다른 컴퓨터로부터의 네트워크 성능 측정, 또는 동조 클럭에 의한 단 방향 측정)이 사용될 수 있다.
다른 형태의 조절 가능한 불안정 억제는 지연 측정에 응답하여 조절될 수 있다.
필터링 파라미터는 지연 측정 대신 다른 수단에 의해 자동으로 조절될 수 있다. 예를 들어 그것은 불안정성을 나타내는 진동(oscillations)의 징후가 검출될 때마다 자동으로 증가될 수 있고 불안정이 한 시기 동안 검출되지 않을 때 점차 감소한다.
설명된 불안정성 필터링의 형태는 자동 조절 없이 사용될 수 있다. 예를 들어 미리 정의되거나 사용자에 의해 정해진 값으로 시뮬레이션 된 질량이 유지된다. 불안정성은 이펙터 동작에 사용자가 어떻게 응답하는지에 의해 또한 영향을 받는다. 우리의 시도에서, 일부의 사용자는 그들 스스로 불안정성을 감소시키는 것을 배울 수 있다. 따라서 그러한 사용자는 안정성의 댓가로 스피드와 세밀한 느낌을 증가시키기 위하여 덜 필터링 되는 것을 선호한다. 그러므로 사용자가 어느 정도 제어하는 파라미터를 보정의 정도를 계산하는 데 포함할 필요가 있다.
또한, 상기 시스템은 사용자에 자동으로 맞추도록 필터링 정도를 적응시킬 수 있다(예를 들어, 불안정성을 지시하는 진동의 시작이 검출될 때까지 필터링을 감소시킴으로써).
사용자별 파라미터가, 수동으로 또는 자동으로 설정되든지 간에, 장래 사용 을 위해 저장될 수 있다.
포지션 파라미터에 대해 이루어진 조정은 다른 감각에 결합 될 수 있다. 가장 분명한 것은 촉각 장면의 시각적 표현이지만, 사운드, 냄새, 그리고 다른 지각할 수 있는 자극에 의해 표현된다.

Claims (10)

  1. 지향성 힘을 정의하는 신호에 반응하는 촉각(haptic) 출력 장치의 작동 방법에 있어서,
    각 패킷이 현재 위치로 전달하기 위해 하나의 위치에 인가되는 지향성 힘을 정의하는, 복수의 데이터 패킷을 규정하는 일련의 신호를 수신하는 단계,
    상기 데이터 패킷으로부터 촉각 출력장치가 움직일 포지션을 정의하는 정보를 결정하는 단계,
    현재의 포지션 데이터를 사용하여 힘과 방향을 정의하는 출력 신호를 생성하는 단계,
    상기 힘과 방향 신호에 댐핑 팩터를 적용하여 이전에 정의된 포지션으로부터 현재 정의된 포지션을 향한 움직임 속도를 늦추는 단계,
    상기 촉각 출력 장치가 움직인 복수의 포지션 각각을 정의하는 데이터를 저장하는 단계,
    상기 데이터를 분석하여 상기 움직임 중에서 증가하는 주파수 성분을 결정하는 단계,
    상기 증가하는 주파수 성분을 제거하는 필터 기능을 생성하는 단계, 및
    상기 필터 기능을 상기 힘과 방향 신호에 적용하여 촉각 출력 장치에 의한 움직임으로부터 상기 주파수 성분을 제거하는 단계를 포함하는 것을 특징으로 하는 촉각 출력 장치 작동 방법.
  2. 제 1 항에 있어서,
    현재 정의된 포지션을 향해 인가되는 힘에 반응하여 하나의 장치에 인가되는 촉각력이 일련의 재귀(return) 데이터 패킷의 현재 포지션 신호의 형태로 상응하는 장치로 반사되도록 하는 각 방향으로 시그널링하는 단계를 추가로 포함하는 것을 특징으로 하는 촉각 출력 장치 작동 방법,
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 데이터 패킷을 전송하는 전송 네트워크의 결정된 파라미터로부터 상기 필터 기능을 계산하는 단계를 추가로 포함하는 것을 특징으로 하는 촉각 출력 장치 작동 방법.
  4. 제 3 항에 있어서,
    상기 네트워크의 지연은,
    시간 결정 인자 식별 요소(time determinant identity)를 포함하는 데이터 패킷을 네트워크로 송신하고,
    네트워크를 통해 상기 데이터 패킷을 반사하고, 및
    상기 필터 기능이 결정되는 지연 파라미터를 공급하기 위해 송신 시간과 수신 시간을 비교함으로써 결정되는 것을 특징으로 하는 촉각 출력 장치 작동 방법.
  5. 제 4 항에 있어서,
    상기 송신된 패킷의 전부 또는 일부는 시간 결정 데이터를 포함하는 포지션 데이터를 운반하고, 상기 시간 결정 인자 데이터의 일부는 지연 파라미터의 갱신을 허용하기 위해 재귀되는 것을 특징으로 하는 촉각 출력 장치 작동 방법.
  6. 제 1 항 또는 제 2 항에 있어서,
    미리 설정된 사용자 선호(preference) 사항 데이터로부터 도출되는 조절 팩터를 상기 힘과 방향 신호에 적용하는 단계를 추가로 포함하는 것을 특징으로 하는 촉각 출력 장치 작동 방법.
  7. 양방향 전송 장치와 결합하는 상호 작용 촉각 출력 단말기에 있어서,
    하나 이상의 촉각 출력장치와,
    제어수단을 포함하고,
    상기 제어수단은, 상기 촉각 출력 장치로부터의 신호를 수신하여, 상기 장치의 현재 포지션을 결정하고, 상기 전송 장치로부터 수신된 신호로부터 상기 촉각 출력 장치의 선호되는 현재 포지션을 결정하며,
    상기 제어수단은, 상기 촉각 출력장치가 현재 포지션으로부터 선호되는 포지션으로 움직이기 위하여 필요한 출력되는 힘과 방향을 결정하고, 상기 촉각 출력 장치가 움직인 복수의 포지션 각각을 정의하는 데이터를 저장하여 상기 출력되는 힘과 방향을 조절하고, 상기 데이터를 분석하여 상기 움직임 중 증가하는 주파수 성분을 결정하고, 상기 증가하는 주파수 성분을 제거하기 위한 필터 기능을 생성하고, 상기 촉각 출력 장치에 의한 움직임으로부터 상기 주파수 성분을 제거하기 위해 상기 힘과 방향 신호에 필터 기능을 적용하는 것을 특징으로 하는 촉각 출력 단말기.
  8. 제 7 항에 있어서,
    상기 제어수단은 촉각 출력 장치로부터 신호를 수신하고, 상기 신호는 특정 시간에 상기 장치의 포지션을 정의하는 데이터를 포함하고, 상기 제어수단은 상기 데이터를 기설정된 간격으로 상기 양방향 전송 장치에 송신하기 위한 신호로 변환하는 것을 특징으로 하는 촉각 출력 단말기.
  9. 제 7 항 또는 제 8 항에 있어서,
    선호되는 현재 포지션을 정의하는 상기 신호는, 프로그램된 컴퓨터와 같은 환경 시뮬레이터에 의해 생성되는 것을 특징으로 하는 촉각 출력 단말기.
  10. 제 7 항 또는 제 8 항에 있어서,
    선호되는 현재 포지션을 정의하는 상기 신호는, 전송 장치의 반대 측 단부에서 대응하는 상호 출력 단말기에 의해 생성되는 것을 특징으로 하는 촉각 출력 단말기.
KR1020067005744A 2003-09-25 2004-09-22 촉각 전송 시스템 및 그 작동 방법 KR101130396B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0322489.6 2003-09-25
GBGB0322489.6A GB0322489D0 (en) 2003-09-25 2003-09-25 Haptics transmission systems
PCT/GB2004/004033 WO2005032070A2 (en) 2003-09-25 2004-09-22 Haptics transmission systems

Publications (2)

Publication Number Publication Date
KR20060126452A KR20060126452A (ko) 2006-12-07
KR101130396B1 true KR101130396B1 (ko) 2012-03-27

Family

ID=29286837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067005744A KR101130396B1 (ko) 2003-09-25 2004-09-22 촉각 전송 시스템 및 그 작동 방법

Country Status (8)

Country Link
US (1) US7746320B2 (ko)
EP (1) EP1665017B1 (ko)
JP (1) JP4800949B2 (ko)
KR (1) KR101130396B1 (ko)
CN (1) CN100437438C (ko)
CA (1) CA2537622A1 (ko)
GB (1) GB0322489D0 (ko)
WO (1) WO2005032070A2 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7486273B1 (en) * 2008-02-12 2009-02-03 Novint Technologies, Inc. Communications in a system comprising a computer and a haptic interface device
KR101404367B1 (ko) * 2008-07-15 2014-06-20 임머숀 코퍼레이션 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법
KR101054359B1 (ko) * 2009-02-16 2011-08-04 한국과학기술원 근감각 피드백을 이용한 상호작용장치 및 이의 작동방법
KR101239830B1 (ko) * 2009-12-11 2013-03-06 광주과학기술원 데이터 포멧의 정의를 통한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
US8736559B2 (en) * 2010-04-23 2014-05-27 Blackberry Limited Portable electronic device and method of controlling same
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
CN103607395A (zh) * 2013-11-20 2014-02-26 深圳先进技术研究院 一种传输触觉数据的方法及装置
US10067566B2 (en) * 2014-03-19 2018-09-04 Immersion Corporation Systems and methods for a shared haptic experience
US10613628B2 (en) * 2014-12-23 2020-04-07 Immersion Corporation Media driven haptics
CN105892690B (zh) * 2016-05-17 2019-09-06 京东方科技集团股份有限公司 动作获取装置及方法、动作仿真装置及方法、触觉通信系统
JP7248568B2 (ja) 2016-07-22 2023-03-29 ハーマン インターナショナル インダストリーズ インコーポレイテッド 触覚による操縦誘導システム
KR20190079613A (ko) * 2016-09-14 2019-07-05 소닉센서리, 인크. 동기화를 구비한 멀티-디바이스 오디오 스트리밍 시스템
US10444840B2 (en) 2017-08-30 2019-10-15 Disney Enterprises, Inc. Systems and methods to synchronize visual effects and haptic feedback for interactive experiences
US20190105562A1 (en) * 2017-10-11 2019-04-11 Immersion Corporation Haptic effects with multiple peripheral devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734373A (en) * 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
WO2003044609A2 (en) * 2001-11-21 2003-05-30 Handshake Interactive Technologies Inc. Real time control of hardware and software via communications network

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3178202B2 (ja) * 1992-12-10 2001-06-18 松下電器産業株式会社 サーボモータの制御パラメータ調整装置及び調整方法
US5739811A (en) * 1993-07-16 1998-04-14 Immersion Human Interface Corporation Method and apparatus for controlling human-computer interface systems providing force feedback
GB2281444B (en) * 1993-08-25 1996-07-03 Wah Leung Chan Directional control device
JPH08121477A (ja) * 1994-10-24 1996-05-14 Seiko Seiki Co Ltd 磁気軸受の制御装置
JP3442900B2 (ja) * 1995-04-07 2003-09-02 株式会社東芝 ボンディング装置
US5959613A (en) 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
US6411276B1 (en) * 1996-11-13 2002-06-25 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
US6005551A (en) 1997-04-25 1999-12-21 Microsoft Corporation Offline force effect rendering
DE20080209U1 (de) * 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
US7202851B2 (en) * 2001-05-04 2007-04-10 Immersion Medical Inc. Haptic interface for palpation simulation
EP1293950A1 (en) 2001-09-18 2003-03-19 BRITISH TELECOMMUNICATIONS public limited company Haptic interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734373A (en) * 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
WO2003044609A2 (en) * 2001-11-21 2003-05-30 Handshake Interactive Technologies Inc. Real time control of hardware and software via communications network

Also Published As

Publication number Publication date
WO2005032070A2 (en) 2005-04-07
CA2537622A1 (en) 2005-04-07
KR20060126452A (ko) 2006-12-07
EP1665017A2 (en) 2006-06-07
GB0322489D0 (en) 2003-10-29
JP4800949B2 (ja) 2011-10-26
US7746320B2 (en) 2010-06-29
JP2007507767A (ja) 2007-03-29
CN1856763A (zh) 2006-11-01
US20080231594A1 (en) 2008-09-25
WO2005032070A3 (en) 2005-06-16
CN100437438C (zh) 2008-11-26
EP1665017B1 (en) 2016-03-16

Similar Documents

Publication Publication Date Title
KR101130396B1 (ko) 촉각 전송 시스템 및 그 작동 방법
US6448977B1 (en) Textures and other spatial sensations for a relative haptic interface device
US7636080B2 (en) Networked applications including haptic feedback
CA2832462C (en) System and methods to remotely and asynchronously interact with rehabilitation video-games
JP6063749B2 (ja) 仮想エンジニアリングのためのシステムおよび方法
US20040169483A1 (en) Haptic interface
Hwang et al. Toward event-based haptics: Rendering contact using open-loop force pulses
EP1376316A1 (en) Haptic communications
KR101074234B1 (ko) 촉각 전송 시스템 및 그 작동 방법
US8508469B1 (en) Networked applications including haptic feedback
Sakr et al. Prediction-based haptic data reduction and transmission in telementoring systems
WO2019053273A1 (en) VIBRO-TACTILE FEEDBACK METHOD AND DEVICE
Susa et al. Haptic rendering based on finite element simulation of vibration
Schuwerk et al. Delay compensation in shared haptic virtual environments
Sinclair Velocity-driven audio-haptic interaction with real-time digital acoustic models

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150305

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160310

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170310

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180308

Year of fee payment: 7