KR20180126586A - 가상 물체로부터의 반응력을 시뮬레이션하는 시스템 및 방법 - Google Patents

가상 물체로부터의 반응력을 시뮬레이션하는 시스템 및 방법 Download PDF

Info

Publication number
KR20180126586A
KR20180126586A KR1020187032056A KR20187032056A KR20180126586A KR 20180126586 A KR20180126586 A KR 20180126586A KR 1020187032056 A KR1020187032056 A KR 1020187032056A KR 20187032056 A KR20187032056 A KR 20187032056A KR 20180126586 A KR20180126586 A KR 20180126586A
Authority
KR
South Korea
Prior art keywords
lra
axis
reaction force
pair
virtual object
Prior art date
Application number
KR1020187032056A
Other languages
English (en)
Other versions
KR102131545B1 (ko
Inventor
바바로스 키리스켄
Original Assignee
베스텔 일렉트로닉 사나이 베 티카레트 에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 filed Critical 베스텔 일렉트로닉 사나이 베 티카레트 에이에스
Publication of KR20180126586A publication Critical patent/KR20180126586A/ko
Application granted granted Critical
Publication of KR102131545B1 publication Critical patent/KR102131545B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Apparatuses For Generation Of Mechanical Vibrations (AREA)

Abstract

본 발명은 가상 물체로부터의 반응력을 시뮬레이션하는 시스템을 제공한다. 이 시스템은 적어도 입력 힘 센서, 입력 힘 센서에 연결된 계산 수단, 선형 공진 액추에이터 (LRAs)의 적어도 제1 선형 공진 액추에이터(LRA) 쌍(201a, 201b) 및 계산 수단에 연결된 LRA를 위한 드라이버를 포함한다. 입력 힘 센서는 사용자에 의해 가상 물체에 가해지는 입력 힘을 감지하는 것이다. 계산 수단은 입력 힘 센서로부터 입력 힘을 수신하고 사용자에게 적용할 반응력을 계산하는 것이다. LRA 쌍(201a, 201b)은 제1축(Y)을 따라 이동하도록 구속된다. 드라이버는 계산 수단으로부터 구동 신호를 수신하여 LRA 쌍(201a, 201b)의 각각을 반응력에 의해 결정된 양만큼 제1축을 따르는 제1방향으로 교대로 구동하는 한편, LRA 쌍의 다른 하나가 제1방향의 반대 방향으로보다 더 완만하게 복귀하는 것을 허용한다. 또한, 본 발명은 가상 물체로부터의 반응력을 시뮬레이션하는 방법 및 적어도 이러한 시스템을 포함하는 모바일 장치(101)를 제공한다.

Description

가상 물체로부터의 반응력을 시뮬레이션하는 시스템 및 방법
본 발명은 청구항 1에 따른 가상 물체(virtual object)로부터의 반응력을 시뮬레이션하는 시스템 및 방법과, 청구항 9에 따른 모바일 장치와, 청구항 10에 따른 방법에 관한 것이다.
가상 물체로부터의 반응력을 시뮬레이션하는 시스템 및 방법은, 사용자에 의해 가상 물체에 적용된 입력 힘(input force)에 반응하여 사용자에게 촉각 피드백을 제공하기 위한 것으로 알려져 있다. 그러한 촉각 피드백을 제공하는 시스템의 예는 WO 2005/143365 A에 기재되어 있다. 그러나 만일 가상 물체가 디스플레이되는 장치가 사용자가 느끼는 자체 무게를 갖거나 휴대형 또는 모바일 장치라면, 그러한 장치상에 디스플레이되는 가상 물체로부터의 반응력을 시뮬레이션하기 위한 만족스러운 방법이 현재로서는 없다. 예를 들면, WO 2009/138814는 장치상에 디스플레이되는 가상 물체로부터가 아니라, 장치 그 자체 특히 모바일 장치의 모션의 기능 또는 결과를 식별하기 위해 사용자에게 촉각 피드백을 제공하는 것만을 기재하고 있다.
따라서 본 발명의 목적은 가상 물체로부터의 반응력을 시뮬레이션하는 시스템, 그런 시스템을 포함하는 모바일 장치 및 가상 물체로부터의 반응력을 시뮬레이션하는 시스템을 제공하는 것이다.
본 발명의 목적은 청구항 1에 의한 시스템에 의해 해결된다. 바람직하게는, 상기 시스템은 적어도 입력 힘 센서, 상기 입력 힘 센서에 연결된 계산 수단, 적어도 제1 선형 공명 액추에이터(LRA: linear resonant actuator) 쌍 및 상기 계산 수단에 연결된 LRA들을 위한 드라이버를 포함한다. 상기 입력 힘 센서는 사용자에 의해 가상 물체에 적용된 입력 힘을 감지한다. 상기 계산 수단은 입력 힘 센서로부터 입력 힘을 수신하고 반응력을 계산하여 사용자에게 적용한다. 상기 제1 LRA 쌍은 제1축을 따라 이동하는 것에 구속된다. 상기 드라이버는 계산 수단으로부터 구동 신호를 수신하여 반응력에 의해 결정된 양만큼 제1축을 따르는 제1방향으로 제1 LRA 쌍 중 각각을 번갈아 구동하는 한편, 제1 LRA 쌍 중 다른 하나가 제1방향에 반대인 방향으로 더 완만하게 복귀하는 것을 허용한다.
이 해결책은, 사용자가 느끼는 자체 무게를 갖고 및/또는 휴대형 또는 모바일 장치인 장치상에 디스플레이되는 가상 물체로부터의 반응력을 시뮬레이션하기 위해 사용될 수 있기 때문에, 유익하다. 예를 들어 상기 장치는 모바일 장치일 수 있는데, 통상적으로 무게가 약 800g 미만인 태블릿 컴퓨터 또는 통상적으로 무게가 200g 미만인 모바일 폰을 예로 들 수 있다. 반응력은 적어도 한 쌍의 선형 공명 액추에이터를 구동하여 방금 설명한 방식으로 서로 반대위상으로 스트로크(strokes)를 수행함으로써 시뮬레이션 된다. LRA(linear resonant actuator, linear resonance actuator 또는 linear resonating actuator의 약어)들은 급속 가속되어 뉴튼의 제2 운동 법칙, 즉 F=ma에 따라 힘(F)을 발생시킬 수 있는 중량체(massive bodies)(m)을 포함한다. 힘은 벡터이므로, 본 발명의 시스템 내 계산 수단은 사용자에게 적용할 반응력의 크기 및 방향을 계산한다.
본 발명의 특징은 제1축을 따라 이동하도록 구속된 LRA 쌍을 사용하여, LRA 쌍 중 하나가 드라이버에 의해 급속 가속되어 제1축을 따르는 제1방향으로 스트로크를 수행할 수 있고, 그에 의해 제1 힘을 발생시키는 한편, LRA 쌍 중 다른 하나는 제1방향에 반대인 방향으로 더욱 완만하게 복귀하는 것이 허용되고, 그에 의해 더욱 완만한 복귀로 인해 더 적은 반대인 힘을 발생시킬 수 있다는 것이다. 따라서 제1 힘에서 더 적은 반대 힘을 차감하여 얻어진 순수한 힘은 제1축의 방향으로 작용하는 가상 물체로부터의 반응력의 성분을 시뮬레이션하기 위해 사용될 수 있다. 다시 말하면, 서로 반대 위상으로 이동하는 LRA들의 쌍에 의해 발생된 제1 힘 및 더 적은 반대 힘은 서로 상쇄하지 않는다. 그에 의해 상기 시스템은 상기 시스템이 위치된 장치가 자체 무게를 갖고 및/또는 휴대형 또는 모바일이더라도, 가상 물체로부터의 반응력을 시뮬레이션할 수 있으며, 상기 LRA 쌍에 의해 발생되는 순수한 힘은 상기 계산 수단에 의해 계산된 반응력에 의해 결정된다. LRA 내의 중량체의 이동 속도를 변경함으로써, 스트로크 또는 복귀라고도 함, 가상 물체의 인공적인 질량/무게 영향이 시뮬레이션 될 수 있다. 그렇지만, 상기 시스템이 경량의 및/또는 모바일 장치에서 사용하기에 특히 적합하더라도, 더 크고, 더 무겁고 및/또는 정적인/고정된 장치들에서 사용될 수도 있다.
전형적으로는, LRA에 의해 시뮬레이션 된 반응력은 시스템이 위치된 장치의 전체적인 동작을 유발하여 사용자에게 전송되며, 이는 사용자에 의해 감지된다. 그러나 반응력은 대신에 다른 수단, 예컨대 입력 힘 센서에 의해 사용자에게 전송될 수도 있다. 이러한 후자의 방법은 더 무겁고 및/또는 고정된 장치들의 경우에 더욱 적절할 수도 있다.
본 발명의 바람직한 실시예들은 임의의 청구항 및/또는 다음 설명의 일부에 따라 구성될 수 있다.
바람직하게는, 상기 시스템의 입력 힘 센서는 가상 물체를 디스플레이하기 위한 터치-감지 스크린을 포함한다. 따라서 사용자는 터치-감지 스크린 상의 가상 물체를 조작할 수 있고, 시스템은 사용자가 스크린 상의 물체를 조작할 때 사용자에게 촉각 피드백을 제공할 수 있다. 터치-감응식 스크린은 예를 들면 스크린 상의 사용자의 터치의 전기용량 효과(capacitive effect)를 통해 사용자로부터의 입력 힘을 검출할 수 있다.
본 발명의 바람직한 실시예에 따르면, 상기 시스템은 계산 수단에 연결된 중력 검출기를 추가로 포함한다. 중력 검출기는 중력의 국지적 방향을 검출하고 그것을 계산 수단에 공급하며, 그러면 계산 수단은 가상 물체의 무게를 계산하기 위해 그것을 사용할 수 있다. 무게는 힘이므로, 계산 수단은 중력 검출기에 의해 검출된 중력의 국지적 방향과 가상 물체의 질량에 따라 무게의 크기 및 방향 양자를 계산할 수 있다. 가상 물체의 무게는 그러면 반응력의 적어도 일부를 형성할 수 있다. 예를 들어, 만일 사용자가 중력의 국지적 힘에 대항해서 가상 물체를 들어올리려고 하면, 계산 수단은 물체의 무게에 포함하기 위해 사용자에게 적용할 반응력을 계산할 수 있다.
중력 검출기는 예를 들어 자이로스코프 나침반 및 가속도계, 바라직하게는 상기 시스템이 3차원에 위치되는 장치의 배향 및/또는 모션, 및 그에 의해 중력의 국지적 방향에 대한 가상 물체의 배향을 결정하는데 적절한 한 세트의 그러한 자이로스코프 나침반 및 가속도계를 포함할 수 있다.
반응력은, 제한 없이, 다음 중 하나 이상을 포함할 수 있다: 가상 질량으로 인한 가상 물체의 관성, 가상 물체에 작용하는 마찰력, 예를 들어 같은 터치 스크린 상에 디스플레이되는 등의 같은 가상 환경에서 가상 물체와 다른 가상 물체의 상호작용에 의한 반응력, 같은 가상 환경에서 유체 매체 내 가상 물체의 담금(immersion)으로 인한 부양력 및/또는 항력, 및 탄성 복원 또는 가상 물체의 하나 이상의 다른 기계적 특성에 의한 입력. 그러나 바람직하게는 반응력은 가상 물체의 무게로 인한 것이거나 가상 물체의 무게를 포함한다.
바람직하게는, 상기 시스템은 제1축과 교차하는 제2 축을 따라 이동하도록 구속된 적어도 제2 LRA 쌍을 추가로 포함한다. 따라서 이러한 방식으로 2개의 평행하지 않은 축을 따라 각각 정렬된 적어도 2개의 상이한 LRA 쌍에 의해, 전체 평면에서 임의의 방향으로 작용하는 반응력이, 계산 수단에 의해 계산된 반응력의 적절한 성분을 시뮬레이션하기 위한 구동 신호를 제1 및 제2 LRA 쌍들에 제공함으로써, 시뮬레이션 될 수 있다. 이것은 단 하나의 축을 따라, 예를 들면 상기 시스템을 포함하는 장치가 가상 물체의 무게의 우선적 시뮬레이션을 위해 중력에 대해서 가장 자주 배향될 것으로 예상되는 방향에 평행한 축을 따라, 이동하도록 구속된 LRA들을 가진 시스템보다 더욱 융통성 있게 만든다.
더욱 바람직하게는, 상기 시스템은 제1 및 제2축에 의해 형성된 평면의 바깥에 놓이는 제3축을 따라 이동하도록 구속된 적어도 제3 LRA 쌍을 추가로 포함한다. 이것은 계산 수단에 의해 계산된 반응력의 적절한 성분을 시뮬레이션하기 위한 구동 신호를 제1, 제2, 제3 LRA 쌍들에 제공함으로, 3차원에서 임의의 방향으로 작용하는 반응력을 상기 시스템이 시뮬레이션하는 것을 허용한다. 바람직하게는, 제1, 제2, 및 제3 축들은 구성 및 동작의 용이를 위해, 그리고 계산 수단에 의한 반응력의 적절한 성분들의 더 간단한 계산을 위해 서로에 대해 직각이다.
상기 시스템은 축당 3개 이상의 LRA를 포함할 수 있다. 이것은 사용자에 의한 반응력의 지각 및 촉각 효과를 증가시키는데 유리하다.
LRA는 바람직하게는 80 Hz 이상, 더욱 바람직하게는 90 Hz 이상 및 가장 바람직하게는 100 Hz 이상의 공진 주파수를 갖는다. LRA가 공진 주파수에서 또는 공진 주파수 근처에서 구동될 필요는 없는데, 이것은 LRA의 각 쌍이, 바람직하게는 160Hz 이상, 더 바람직하게는 180Hz 이상 및 가장 바람직하게는 200Hz 이상의 결합된 주파수에서 서로 반대 위상으로 공진 주파수에서 또는 공진 주파수 근처에서 가장 효율적으로 구동될 수 있음을 의미한다. 그러한 주파수에서 LRA들의 개별 움직임은 사용자가 서로를 구별할 수 없을 만큼 빠르며, 대신 사용자는 단일의 연속 반응력을 경험한다.
본 발명은 또한 청구항 제 1 항 내지 제 8 항 중 어느 한 항에 따른 시스템을 적어도 포함하는 모바일 장치에 관한 것이다. 따라서 입력 힘 센서는 모바일 장치의 터치 스크린을 포함할 수 있고 계산 수단은 모바일 장치의 중앙 및 보조 처리 유닛 중 하나 이상을 포함할 수 있다. 모바일 장치는 예를 들어, 태블릿 컴퓨터 또는 모바일 폰일 수 있다.
본 발명은 또한 가상 물체로부터의 반응력을 시뮬레이션하는 방법에 관한 것이다. 상기 방법은 바람직하게는 적어도: 사용자에 의해 가상 물체에 가해지는 입력 힘을 감지하는 단계, 사용자에게 적용할 반응력을 계산하는 단계, 및 적어도 제1 선형 공진 액추에이터(LRA) 쌍을 사용하여 사용자에게 반응력을 적용하는 단계를 포함한다. 상기 반응력은, 상기 제1 LRA 쌍을 제1축을 따라 이동하도록 구속함으로써 사용자에게 가해지며 그리고 반응력에 의해 결정된 양만큼 제1축을 따르는 제1방향으로 상기 LRA 쌍 중 각각을 교대로 구동하는 한편, 상기 LRA 쌍 중 다른 하나가 제1방향의 반대 방향으로 더 완만하게 복귀하는 것을 허용한다.
바람직하게는, 가상 물체는 터치-감지 스크린상에 디스플레이되고, 사용자에 의해 가상 물체에 적용된 입력 힘은 터치-감지 스크린에 의해 감지된다.
바람직한 실시 예에서, 상기 방법은 국지적 중력 방향을 검출하는 단계와, 상기 가상 물체의 무게를 상기 반응력의 적어도 일부로서 계산하는 단계를 더 포함한다.
바람직하게는, 상기 반응력은 제1축과 교차하는 제2축을 따라 제2 LRA 쌍이 이동하도록 구속함으로써 제2 LRA 쌍을 사용하여 사용자에게 적용되며, 상기 반응력에 의해 결정된 양만큼 상기 제2축을 따르는 상기 제2방향으로 제2 LRA 쌍 중 각각을 교대로 구동하는 한편, 상기 제2 LRA 쌍 중 다른 하나가 제2방향과 반대 방향으로 더 완만하게 복귀하는 것을 허용한다.
더욱 바람직하게는, 상기 반응력은 제1축 및 제2축에 의해 형성된 평면 밖에 있는 제3축을 따라 제3 LRA 쌍이 이동하도록 구속함으로써 제3 LRA 쌍을 사용하여 사용자에게 적용되며, 상기 반응력에 의해 결정된 양만큼 상기 제3축을 따르는 상기 제3 방향으로 제3 LRA 쌍 중 각각을 교대로 구동하는 한편, 상기 제3 LRA 쌍 중 다른 하나가 제3방향과 반대 방향으로 더 완만하게 복귀하는 것을 허용한다.
상기 LRA 쌍의 각각은, 바람직하게는 80 Hz 이상, 더 바람직하게는 90 Hz 이상 및 가장 바람직하게는 100 Hz 이상의 주파수에서 교대로 구동된다. 이것은 상기 LRA 쌍이 바람직하게는 160Hz 이상, 더 바람직하게는 180Hz 이상 및 가장 바람직하게는 200Hz 이상의 결합 주파수로 구동될 수 있음을 의미한다.
이것은 LRA들의 개별 움직임이 사용자가 그것들을 구별할 수 없을 만큼 빠르고, 대신 사용자는 단일의 연속 반응력을 경험할 수 있는 장점이 있다.
본 발명은 또한 본 명세서에서 설명된 방법들 중 하나 이상을 실행하기 위한 컴퓨터 프로그램 제품 또는 프로그램 코드 또는 시스템에 관한 것이다.
이제 본 발명의 다른 특징, 목표 및 이점이 본 발명의 예시적인 구성 요소들이 도시된 첨부 도면과 관련하여 설명될 것이다. 그 기능과 관련하여 본질적으로 동등한 본 발명에 따른 시스템, 장치 및 방법의 구성 요소들은 동일한 참조 번호로 표시될 수 있으며, 이러한 구성 요소들은 모든 도면에서 표시되거나 설명될 필요는 없다.
이하의 설명에서, 본 발명은 첨부된 도면들에 대해서 단지 예로서 설명된다.
도 1은 사용자가 손에 쥔 모바일 장치의 실시 예의 개략적인 사시도이고;
도 2는 도 1에 도시된 모바일 장치를 한 측면에서 본 내부의 개략도이고;
도 3은 도 1 및 도 2에 도시된 모바일 장치를 배면에서 본 내부의 개략도이고;
도 4는 한 쌍의 선형 공진 액추에이터(LRAs)의 스트로크 및 복귀 사이클을 개략적으로 도시하고;
도 5는 한 쌍의 LRA의 가속 및 감속 곡선의 일례를 나타내는 그래프이고;
도 6은 한 쌍의 LRA를 구동하는 데 사용될 수 있는 구동 신호의 예를 나타내는 그래프이고;
도 7은 도 2 및 도 3에 도시된 것과 같은 모바일 장치의 스크린상에 디스플레이된 가상 물체의 무게를 시뮬레이션하기 위해 한 쌍의 LRA로부터의 스트로크가 어떻게 사용될 수 있는지의 일례를 보여주는 개략도이다.
도 1은 사용자의 손에 쥔 모바일 장치(101)의 실시 예를 개략적으로 도시하고, 참조 번호 104는 사용자의 손가락을 나타내고, 참조 번호 105는 사용자의 엄지손가락을 나타낸다. 화살표 102는 중력의 방향 및 따라서 국지적 중력에 대한 모바일 장치(101)의 방향을 나타낸다. 모바일 장치(101)는 가상 물체(106)가 디스플레이되는 터치 스크린(107)을 갖는다. 예를 들어, 사용자는 화살표 103에 의해 도 1에 나타낸 방향으로 그의 엄지손가락(105)으로 물체(106)를 밀려고 시도하고 있다. 터치 스크린(107)은 엄지손가락(105)의 전기용량 효과에 의해 사용자의 엄지손가락(105)으로부터의 입력 힘을 감지한다. 가상 물체(106)는 가상 질량을 갖는다. 상기 모바일 장치는 본 발명에 따른 시스템의 예시적인 실시 예를 포함한다. 사용자가 그의 엄지손가락(105)의 움직임에 의해 물체(106)를 들어올리려고 하기 때문에, 시스템은 물체(106)의 무게를 나타내는 반응력을 생성하고, 사용자는 그것을 그의 손에 있는 모바일 장치(101)의 전체적인 움직임에 의해 경험한다.
도 2 및 도 3은 도 1에 도시된 모바일 장치(101)의 내부의 개략도들로서, 모바일 장치(101)의 일 측면 및 배면에서 각각 본 것이다. 도 2 및 도 3에 도시된 바와 같이, 모바일 장치(101)는 제1 LRA 쌍(201a, 201b), 제2 LRA 쌍(202a, 202b) 및 제3 LRA 쌍(203a, 203b)을 포함하는 세 쌍의 선형 공진 액추에이터(LRAs)를 포함한다. 각 LRA는, 도면에서 검게 표시되고 LRA의 공간 내에 포함되며 도면에 작은 점으로 표시된 중량체를 포함한다. 중량체는 앞뒤로 진동하도록 구동될 수 있다. 제1 LRA 쌍(201a, 201b)은 도 2에 도시된 Y축 방향으로 전후 진동하도록 구동될 수 있고, 제2 LRA 쌍(202a, 202b)은 도 2에 도시된 X축 방향으로 전후 진동하도록 구동될 수 있으며, 제3 LRA 쌍(203a, 203b)은 도 2에 도시된 Z축의 방향으로 페이지의 평면의 안과 밖으로 전후 진동하도록 구동될 수 있다. 모바일 장치(101)는 또한 3개의 각각의 LAR 쌍을 위한 드라이버 및 도 2 및 도 3에 도시되지 않은 중앙 및/또는 보조 프로세서와 같은 계산 수단을 포함한다.
도 4는 도 1 내지 3에 도시된 모바일 장치(101)에서와 같은 LRA 쌍(401a, 401b)을 개략적으로 도시한다. LRA 쌍(401a, 401b)의 스트로크 및 복귀 단계는 각각 도 4에서 길고 짧은 화살표로 개략적으로 표현된다. LRA 쌍(401a, 401b)은 서로 반대 위상으로 진동하도록 구동된다. 따라서, 제1 LRA(401a)가 도 4의 상단에 도시된 바와 같이 좌측으로 스트로크 하는 한편, 제2 LRA(401b)는 도 4의 하단에 도시된 바와 같이 우측으로 복귀한다. 제1 LRA(401a)는 그 다음에 제2 LRA(401b)가 좌측으로 스트로크함에 따라 우측으로 복귀하고, 그 후 LRA 쌍(401a, 401b) 각각에 대한 스트로크 및 복귀 사이클이 동일한 방식으로 반복된다.
도 5는 도 4에 도시된 것과 같은 LRA 쌍의 가속 및 감속 곡선의 일례를 도시한다. 곡선(501a)은 LRA 쌍의 제1 LRA(401a)의 단일의 스트로크 및 복귀 사이클을 나타내고, 곡선(501b)은 제2 LRA(401b)의 단일의 스트로크 및 복귀 사이클을 나타낸다. 도 5에서, 곡선(501a, 501b)은 관찰의 용이성을 향상시키기 위해 x 축으로부터 수직 방향으로 모두 이동되었다. 도 5로부터 알 수 있는 바와 같이, 곡선(501a)은 곡선(501b)과 반대 위상이기 때문에, 제1 LRA(401a)가 스트로크에서 가속 중인 동안 제2 LRA(401b)는 복귀 단계에 있고, 반대의 경우도 가능하다. 각 LRA의 복귀 단계는 각 스트로크보다 완만하므로, 각 스트로크 및 복귀 사이클은 스트로크 방향으로 순 힘을 생성한다. 도 5에 도시된 곡선(501a, 501b)의 형상은 단지 예시적인 것이며, 전술한 스트로크 및 복귀 사이클의 스트로크와 복귀 위상 사이의 동일한 관계를 보존하는 임의의 다른 형상이 가능하다.
도 6은 LRA 쌍을 구동하는데 사용될 수 있는 구동 신호의 예를 도시한다. 601a는 LRA 쌍의 제1 LRA(401a)에 대한 구동 신호를 나타내고, 601b는 LRA 쌍의 제2 LRA(401b)에 대한 구동 신호를 나타낸다. 도 6에서, 구동 신호들(601a, 601b)은 관찰의 용이성 향상을 위해 x축으로부터 수직 방향으로 모두 이동되어 있다. 603은 제1 LRA가 스트로크를 수행하도록 구동되는 구동 신호(601a)의 일부 구간을 나타내며, 604는 제1 LRA가 그 시작 위치로 복귀하도록 구동되는 구동 신호(601a)의 일부 구간을 나타낸다. 참조 번호 602는 제1 LRA(401a)가 스트로크를 수행하도록 구동되는 주기(T)를 나타낸다. 도 6으로부터 알 수 있는 바와 같이, LRA 쌍 중 제2 LRA(401b)에 대한 구동 신호(601b)는 구동 신호(601a)와 유사한 파형을 가지지만 시간에서 그것에 대해 오프셋 되어, 제1 LRA(401a)에 대한 구동 신호(601a)는 제2 LRA(402b)에 대한 구동 신호(601b)와 반대 위상이다. 도 6에 도시된 구동 신호(601a, 601b)의 형상은 단지 예시적인 것이며, 상이한 촉각 효과를 생성하도록 변경될 수 있다.
도 7은 도 1 내지 3에 도시된 것과 같은 모바일 장치(101)의 터치 스크린(107) 상에 디스플레이되는 가상 물체(106)의 무게가 어떻게 LRA 쌍에서 스트로크에 의해 시뮬레이션 될 수 있는지의 예를 도시한다. 모바일 장치(101)의 사용자는 화살표(103)로 표시된 방향으로 터치 스크린에 입력 힘을 가한다. 시스템은 그 중력 검출기(도시되지 않음)로부터 모바일 장치(101)의 배향과 그에 따라, 화살표(102)에 의해 도 7에 도시된 바와 같이, 중력의 힘이 가상 물체(106)에 작용하는 것으로 느껴지는 방향을 결정한다. 따라서, 시스템은 화살표(701)의 방향으로 스트로크를 적용하여 중력 방향(102)에 평행한 결과적인 힘을 제공함으로써 사용자에 대한 가상 물체(106)의 무게를 시뮬레이션한다.
도 1 내지 7과 관련하여 위에 설명된 특정 실시 예가, 터치 스크린상에 표시된 중량체의 중력으로 인한 무게의 시뮬레이션과 관련하여 설명되었지만, 본 발명의 시스템은 또한 다른 반응력들을 시뮬레이션하는데 사용될 수 있는데, 중량체의 관성으로 인한 반응력, 가상 물체에 작용하는 마찰력, 예를 들어 동일한 터치 스크린상에 디스플레이된 동일한 가상 환경에서의 가상 물체와 다른 물체의 상호 작용에 의한 반응력, 동일한 가상 환경 내의 유체 매체 내에 디스플레이된 물체의 담금으로 인한 부양력, 및 탄성 복원 또는 가상 물체의 하나 이상의 다른 기계적 특성에 기인한 힘 중 하나 이상을 포함한.
본 발명은 가상 물체로부터의 반응력을 시뮬레이션하는 시스템을 제공한다. 상기 시스템은 적어도 입력 힘 센서, 입력 힘 센서에 연결된 계산 수단, 적어도 제1 선형 공진 액추에이터(LRAs) 쌍(201a, 201b) 및 상기 계산 수단에 연결된 LRA들을 위한 드라이버를 포함한다. 입력 힘 센서는 사용자에 의해 가상 물체에 가해지는 입력 힘을 감지하는 것이다. 계산 수단은 입력 힘 센서로부터 입력 힘을 수신하고 사용자에게 적용할 반응력을 계산하는 것이다. LRA 쌍(201a, 201b)은 제1축(Y)을 따라 이동하도록 구속된다. 드라이버는 계산 수단으로부터 구동 신호를 수신하여 상기 반응력에 의해 결정된 양만큼 제1축을 따르는 제1방향으로 LRA 쌍(201a, 201b)의 각각을 교대로 구동하는 한편, 상기 LRA 쌍 중 다른 하나가 상기 제1방향과는 반대 방향으로 더 완만하게 복귀하는 것을 허용한다. 본 발명은 또한 가상 물체로부터의 반응력을 시뮬레이션하는 대응하는 방법 및 적어도 그러한 시스템을 포함하는 모바일 장치(101)를 제공한다.
101 모바일 장치 102 중력의 방향
103 사용자에 의해 가해진 입력 힘의 방향
104 사용자의 손가락
105 사용자의 엄지손가락
106 가상 물체 107 터치 스크린
201a, 201b 제1 LRA 쌍
202a, 202b 제2 LRA 쌍
203a, 203b 제3 LRA 쌍
401a LRA 쌍 중 제1 LRA
401b LRA 쌍 중 제2 LRA
501a LRA 쌍 중 제1 LRA의 스트로크 및 복귀 사이클
501b LRA 쌍 중 제2 LRA의 스트로크 및 복귀 사이클
601a LRA 쌍 중 제1 LRA를 위한 구동 신호
601b LRA 쌍 중 제2 LRA를 위한 구동 신호
602 스트로크에 대한 주기
603 구동 신호의 스트로크 부분
604 구동 신호의 복귀 부분
701 스트로크 방향

Claims (15)

  1. 가상 물체(106)로부터의 반응력(701)을 시뮬레이션하는 시스템에 있어서,
    사용자에 의해 상기 가상 물체에 가해지는 입력 힘(103)을 감지하는 입력 힘 센서;
    상기 입력 힘 센서에 연결되고 상기 입력 힘을 수신하여 사용자에게 적용할 반응력을 계산하는 계산 수단;
    제1축(Y)을 따라 이동하도록 구속된 적어도 하나의 제1 선형 공진 액추에이터(LRA) 쌍(201a, 201b); 및
    상기 계산수단으로부터 구동 신호(601a, 601b)를 수신하도록 상기 계산 수단에 연결되어 상기 제1축을 따르는 제1방향으로 상기 반응력에 의해 결정된 양만큼 상기 LRA 쌍의 각각을 교대로 구동하는 한편, 상기 LRA 쌍 중 다른 하나가 제1방향의 반대 방향으로 더 완만하게 복귀하는 것을 허용하는 상기 LRA 용 드라이버;
    를 포함하는, 시스템.
  2. 제 1 항에 있어서,
    상기 입력 힘 센서는 상기 가상 물체를 디스플레이하기 위한 터치-감지 스크린을 포함하는, 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 국지적인 중력 방향을 검출하는 중력 검출기를 더 포함하고,
    상기 중력 검출기는 상기 계산 수단에 연결되고, 상기 계산 수단에 상기 국지적인 중력 방향을 제공하여 상기 계산 수단이 상기 반응력의 일부 또는 전부로서 상기 가상 물체의 무게를 계산하도록 하는, 시스템.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제1축(Y)과 교차하는 제2축(X)을 따라 이동하도록 구속된 적어도 하나의 제2 LRA 쌍(202a, 202b)을 더 포함하는, 시스템.
  5. 제 4 항에 있어서,
    상기 제1축 및 제2축에 의해 정의되는 평면 외부에 있는 제3축(Z)을 따라 이동하도록 구속된 적어도 하나의 제3 LRA 쌍(203a, 203b)을 더 포함하는, 시스템.
  6. 제 5 항에 있어서,
    상기 제1축, 제2축 및 제3축(X, Y, Z)은 서로 직교하는, 시스템.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    축(X, Y, Z) 당 3개 이상의 LRA를 포함하는, 시스템.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 LRA들은 각각 100 Hz 이상의 공진 주파수를 가지는, 시스템.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 따른 시스템을 적어도 포함하는, 모바일 장치(101).
  10. 가상 물체로부터의 반응력을 시뮬레이션하는 방법에 있어서,
    사용자에 의해 상기 가상 물체에 가해지는 입력 힘을 감지하는 단계;
    상기 사용자에게 적용할 반응력을 계산하는 단계; 및
    적어도 하나의 제1 선형 공진 액추에이터 쌍(LRA)(201a, 201b)을 사용하여 사용자에게 상기 반응력을 적용하는 단계;
    를 적어도 포함하고,
    상기 반응력은 상기 LRA 쌍을 제1축(Y)을 따라 이동하도록 구속함으로써 사용자에게 적용되며, 상기 LRA 쌍의 각각을 상기 제1축을 따르는 제1방향으로 상기 반응력에 의해 결정된 양만큼 교대로 구동시키는 한편, 상기 LRA 쌍 중 다른 하나가 제1방향과 반대 방향으로 더 완만하게 복귀하는 것을 허용하는, 방법.
  11. 제 10 항에 있어서,
    상기 가상 물체는 터치-감지 스크린(107) 상에 디스플레이되고, 상기 사용자에 의해 상기 가상 물체에 적용된 입력 힘은 상기 터치-감지 스크린에 의해 감지되는, 방법.
  12. 제 10 항 또는 제 11 항에 있어서,
    국지적인 중력 방향을 검출하는 단계와, 상기 반응력의 적어도 일부로서 상기 가상 물체의 무게를 계산하는 단계를 더 포함하는, 방법.
  13. 제 10 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 반응력은 적어도 하나의 제2 LRA 쌍(202a, 202b)이 제1축(Y)과 교차하는 제2축(X)을 따라 이동하도록 구속함으로써 상기 제2 LRA 쌍(202a, 202b)을 사용하여 사용자에게 적용되며, 상기 제2 LRA 쌍의 각각을 제2축을 따르는 제2방향으로 상기 반응력에 의해 결정된 양만큼 교대로 구동시키는 한편, 상기 제2 LRA 쌍 중 다른 하나가 제2방향과 반대 방향으로 더 완만하게 복귀하는 것을 허용하는, 방법.
  14. 제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 반응력은 상기 제1축 및 제2축(X,Y)에 의해 정의된 평면 외측에 놓인 제3축을 따라 이동하도록 구속함으로써 적어도 하나의 제3 LRA 쌍을 사용하여 사용자에게 적용되며, 상기 제3 LRA 쌍의 각각을 제3축을 따르는 제3방향으로 상기 반응력에 의해 결정된 양만큼 교대로 구동시키는 한편, 상기 제3 LRA 쌍 중 다른 하나가 제3방향과 반대 방향으로 더 완만하게 복귀하는 것을 허용하는, 방법.
  15. 제 10 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 LRA 쌍의 각각은 100 Hz 이상의 주파수로 교대로 구동되는, 방법.
KR1020187032056A 2016-05-04 2017-05-04 가상 물체로부터의 반응력을 시뮬레이션하는 시스템 및 방법 KR102131545B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16168363.6 2016-05-04
EP16168363.6A EP3242187B1 (en) 2016-05-04 2016-05-04 System and method for simulating a reaction force from a virtual object
PCT/EP2017/060615 WO2017191237A1 (en) 2016-05-04 2017-05-04 System and method for simulating a reaction force from a virtual object

Publications (2)

Publication Number Publication Date
KR20180126586A true KR20180126586A (ko) 2018-11-27
KR102131545B1 KR102131545B1 (ko) 2020-07-08

Family

ID=55919668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187032056A KR102131545B1 (ko) 2016-05-04 2017-05-04 가상 물체로부터의 반응력을 시뮬레이션하는 시스템 및 방법

Country Status (7)

Country Link
US (1) US10775893B2 (ko)
EP (1) EP3242187B1 (ko)
JP (1) JP6723380B2 (ko)
KR (1) KR102131545B1 (ko)
CN (1) CN109074163B (ko)
TR (1) TR201702256A2 (ko)
WO (1) WO2017191237A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7200790B2 (ja) * 2019-03-26 2023-01-10 日本電信電話株式会社 電子機器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110072211A (ko) * 2009-12-22 2011-06-29 엘지디스플레이 주식회사 터치 스크린 장치
KR20140112386A (ko) * 2011-03-17 2014-09-23 코액티브 드라이브 코포레이션 다수의 동기화 진동 액츄에이터로부터의 비대칭적이고 일반적인 진동 파형

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7411576B2 (en) 2003-10-30 2008-08-12 Sensable Technologies, Inc. Force reflecting haptic interface
US8232969B2 (en) * 2004-10-08 2012-07-31 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
WO2015023670A1 (en) * 2013-08-13 2015-02-19 Coactive Drive Corporation Differential haptic guidance for personal navigation
US9370704B2 (en) * 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
US8378965B2 (en) * 2007-04-10 2013-02-19 Immersion Corporation Vibration actuator with a unidirectional drive
US20090280860A1 (en) 2008-05-12 2009-11-12 Sony Ericsson Mobile Communications Ab Mobile phone with directional force feedback and method
KR101404367B1 (ko) 2008-07-15 2014-06-20 임머숀 코퍼레이션 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법
FR2934066B1 (fr) 2008-07-21 2013-01-25 Dav Dispositif de commande a retour haptique
US8294557B1 (en) * 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
TWI571808B (zh) 2010-08-02 2017-02-21 國立清華大學 因子分析系統及其分析方法
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
US9524030B2 (en) * 2013-04-26 2016-12-20 Immersion Corporation Haptic feedback for interactions with foldable-bendable displays
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
EP3343318B1 (en) * 2016-12-29 2019-09-11 Vestel Elektronik Sanayi ve Ticaret A.S. Method and device for generating a haptic effect

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110072211A (ko) * 2009-12-22 2011-06-29 엘지디스플레이 주식회사 터치 스크린 장치
KR20140112386A (ko) * 2011-03-17 2014-09-23 코액티브 드라이브 코포레이션 다수의 동기화 진동 액츄에이터로부터의 비대칭적이고 일반적인 진동 파형

Also Published As

Publication number Publication date
WO2017191237A1 (en) 2017-11-09
CN109074163B (zh) 2021-10-29
US10775893B2 (en) 2020-09-15
EP3242187B1 (en) 2018-11-21
JP6723380B2 (ja) 2020-07-15
TR201702256A2 (tr) 2017-11-21
CN109074163A (zh) 2018-12-21
KR102131545B1 (ko) 2020-07-08
JP2019519032A (ja) 2019-07-04
US20190129502A1 (en) 2019-05-02
EP3242187A1 (en) 2017-11-08

Similar Documents

Publication Publication Date Title
US10936072B2 (en) Haptic information presentation system and method
JP7366961B2 (ja) 錯触力覚を駆動する方法及び装置
US11385723B2 (en) Haptic information presentation system and method
US20210141457A1 (en) Haptic information presentation system
US5555894A (en) Force sensation exhibiting device, data input device and data input equipment
JP2013516708A (ja) 触力覚アクチュエータを使用した３次元の動きのシミュレーション
CN108431734A (zh) 用于非触摸式表面交互的触觉反馈
EP3096206A1 (en) Haptic effects based on predicted contact
KR20200008946A (ko) 동적 시스템 식별에 기반한 적응적 햅틱 효과 렌더링
KR102131545B1 (ko) 가상 물체로부터의 반응력을 시뮬레이션하는 시스템 및 방법
US20190204928A1 (en) Information processing device, information processing method, program, and information processing system
Evreinova et al. From kinesthetic sense to new interaction concepts: Feasibility and constraints
Moosavi et al. A review of the state-of-the-art of sensing and actuation technology for robotic grasping and haptic rendering
JP3713381B2 (ja) 物体の把持動作シミュレーション装置
Fontana et al. On the integration of tactile and force feedback
KR101649206B1 (ko) 터치 스크린 장치
CN108459760A (zh) 输入装置
Menezes et al. Touching is believing-Adding real objects to Virtual Reality
Tanaka et al. Shaking a box to estimate the property of content
Leon et al. An add-on device to perform dexterous grasping tasks with a haptic feedback system
JP2018181185A (ja) 力覚提示器及び仮想力覚提示装置
Roumeliotis et al. Development of a wearable embedded system providing tactile and kinesthetic haptics feedback for 3d interactive applications
TWI479364B (zh) 具三維磁力觸控反饋之行動裝置及三維磁力觸控反饋裝置
Hirota et al. Transmission of information through haptic interaction
Kim et al. Rubby; Two Degree-of-Freedom Interface with Haptic and Auditory Feedback

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant