KR20170069936A - Systems and methods for position-based haptic effects - Google Patents

Systems and methods for position-based haptic effects Download PDF

Info

Publication number
KR20170069936A
KR20170069936A KR1020160165843A KR20160165843A KR20170069936A KR 20170069936 A KR20170069936 A KR 20170069936A KR 1020160165843 A KR1020160165843 A KR 1020160165843A KR 20160165843 A KR20160165843 A KR 20160165843A KR 20170069936 A KR20170069936 A KR 20170069936A
Authority
KR
South Korea
Prior art keywords
haptic
user
computing device
gesture
haptic effect
Prior art date
Application number
KR1020160165843A
Other languages
Korean (ko)
Inventor
바히드 코쉬카바
빈센트 레베스크
후안 마누엘 크루즈-헤르난데즈
만수르 알그후네
윌리엄 린
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20170069936A publication Critical patent/KR20170069936A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 명세서에 개시되는 하나의 예시적인 시스템은 제스처를 검출하고 연관된 센서 신호를 전송하도록 구성된 센서를 포함한다. 제스처는 표면으로부터 거리를 두고 있는 제1 위치 및 표면과 접촉하는 제2 위치를 포함한다. 본 시스템은 또한 센서와 통신하는 프로세서를 포함하고, 프로세서는 센서로부터 센서 신호를 수신하고 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정하도록 구성된다. 하나 이상의 햅틱 효과들은 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된다. 프로세서는 또한 하나 이상의 햅틱 효과들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 신호들을 발생시키고 하나 이상의 햅틱 신호들을 전송하도록 구성된다. 본 시스템은 하나 이상의 햅틱 신호들을 수신하고 하나 이상의 햅틱 효과들을 출력하는 햅틱 출력 디바이스를 포함한다.One exemplary system disclosed herein includes a sensor configured to detect a gesture and transmit an associated sensor signal. The gesture includes a first position at a distance from the surface and a second position in contact with the surface. The system also includes a processor in communication with the sensor, wherein the processor is configured to receive the sensor signal from the sensor and to determine one or more haptic effects based at least in part on the sensor signal. The one or more haptic effects are configured to provide substantially continuous haptic feedback throughout the gesture. The processor is also configured to generate one or more haptic signals and at least one haptic signals based at least in part on the one or more haptic effects. The system includes a haptic output device that receives one or more haptic signals and outputs one or more haptic effects.

Description

위치 기반 햅틱 효과를 위한 시스템 및 방법{SYSTEMS AND METHODS FOR POSITION-BASED HAPTIC EFFECTS}[0001] SYSTEM AND METHODS FOR POSITION-BASED HAPTIC EFFECTS [0002]

본 발명은 사용자 인터페이스 디바이스의 분야에 관한 것이다. 더욱 구체적으로는, 본 발명은 위치 기반 햅틱 효과에 관한 것이다.The present invention relates to the field of user interface devices. More particularly, the present invention relates to position based haptic effects.

사람들이 컴퓨터 기반 시스템들과 상호작용하는 데 사용되는 인터페이스들의 품질이 점점 더 중요하게 되고 있다. 보다 직관적이고 향상된 사용자 경험들을 생성하기 위해, 이러한 시스템들은 물리적 세계에서의 상호작용들의 양태들을 재현하기 위해 시각적, 오디오, 및/또는 햅틱 피드백을 사용할 수 있다. 이러한 피드백은 종종 사용자가 터치스크린 디스플레이 또는 다른 사용자 인터페이스 컨트롤과 접촉하는 것에 의해 발생된다. 예를 들어, 컴퓨터 기반 시스템은 사용자가 터치스크린 디스플레이 상의 가상 버튼과 접촉할 때 햅틱 피드백을 발생시킬 수 있다. 그렇지만, 접촉 기반 햅틱 피드백은 현실 세계 객체와의 상호작용을 정확하게 시뮬레이트하지 않을 수 있다. 따라서, 햅틱 피드백을 제공하는 부가의 시스템 및 방법이 필요하다.The quality of the interfaces that people use to interact with computer-based systems is becoming increasingly important. To create more intuitive and improved user experiences, such systems may use visual, audio, and / or haptic feedback to reproduce aspects of the interactions in the physical world. This feedback is often generated by the user touching the touch screen display or other user interface controls. For example, a computer-based system may generate haptic feedback when a user contacts a virtual button on a touch screen display. However, contact-based haptic feedback may not accurately simulate interaction with real-world objects. Accordingly, there is a need for additional systems and methods for providing haptic feedback.

본 개시내용의 실시예들은 위치 기반 햅틱 효과들을 발생시키도록 구성된 컴퓨팅 디바이스들을 포함한다. 일 실시예에서, 본 개시내용의 시스템은 제스처를 검출하고 제스처와 연관된 센서 신호를 전송하도록 구성된 센서를 포함할 수 있다. 제스처는 적어도 2개의 위치를 포함할 수 있고, 적어도 2개의 위치 중 제1 위치는 표면으로부터의 거리를 포함하고 적어도 2개의 위치 중 제2 위치는 표면과의 접촉을 포함한다. 본 시스템은 또한 센서와 통신하는 프로세서를 포함할 수 있다. 프로세서는 센서로부터 센서 신호를 수신하도록 구성될 수 있다. 프로세서는 또한 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정하도록 구성될 수 있다. 하나 이상의 햅틱 효과들은 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성될 수 있다. 프로세서는 하나 이상의 햅틱 효과들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 신호들을 발생시키고 하나 이상의 햅틱 신호들을 전송하도록 추가로 구성될 수 있다. 본 시스템은 프로세서와 통신하는 햅틱 출력 디바이스를 추가로 포함할 수 있다. 햅틱 출력 디바이스는 하나 이상의 햅틱 신호들을 수신하고 하나 이상의 햅틱 효과들을 출력하도록 구성될 수 있다.Embodiments of the present disclosure include computing devices configured to generate location based haptic effects. In one embodiment, the system of the present disclosure may comprise a sensor configured to detect a gesture and transmit a sensor signal associated with the gesture. The gesture can include at least two positions, wherein the first of the at least two positions comprises a distance from the surface and the second of the at least two positions comprises the contact with the surface. The system may also include a processor in communication with the sensor. The processor may be configured to receive the sensor signal from the sensor. The processor may also be configured to determine one or more haptic effects based at least in part on the sensor signal. The one or more haptic effects may be configured to provide substantially continuous haptic feedback throughout the gesture. The processor may be further configured to generate one or more haptic signals and to transmit the one or more haptic signals based at least in part on the one or more haptic effects. The system may further include a haptic output device in communication with the processor. The haptic output device may be configured to receive one or more haptic signals and output one or more haptic effects.

다른 실시예에서, 본 개시내용의 방법은 센서로부터 제스처와 연관된 센서 신호를 수신하는 단계를 포함할 수 있고, 여기서 제스처는 적어도 2개의 위치를 포함하고, 적어도 2개의 위치 중 제1 위치는 표면으로부터의 거리를 포함하고 적어도 2개의 위치 중 제2 위치는 표면과의 접촉을 포함한다. 본 방법은 또한 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정하는 단계를 포함할 수 있다. 하나 이상의 햅틱 효과들은 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된다. 본 방법은 게다가 하나 이상의 햅틱 효과들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 신호들을 발생시키는 단계, 및 하나 이상의 햅틱 신호들을 햅틱 출력 디바이스로 전송하는 단계를 추가로 포함할 수 있다. 햅틱 출력 디바이스는 하나 이상의 햅틱 신호들을 수신하고 하나 이상의 햅틱 효과들을 출력하도록 구성될 수 있다. 또 다른 실시예는 이러한 방법을 구현하기 위한 컴퓨터 판독가능 매체를 포함한다.In another embodiment, a method of the present disclosure may comprise receiving a sensor signal associated with a gesture from a sensor, wherein the gesture includes at least two positions, wherein a first one of the at least two positions And the second of the at least two locations comprises the contact with the surface. The method may also include determining at least one haptic effect based at least in part on the sensor signal. The one or more haptic effects are configured to provide substantially continuous haptic feedback throughout the gesture. The method may further include generating one or more haptic signals based at least in part on the one or more haptic effects, and transmitting the one or more haptic signals to the haptic output device. The haptic output device may be configured to receive one or more haptic signals and output one or more haptic effects. Yet another embodiment includes a computer readable medium for implementing the method.

이 예시적인 실시예들은 본 발명 요지의 범위를 제한하거나 한정하기 위한 것이 아니라 그의 이해를 돕기 위한 예들을 제공하기 위해 언급되어 있다. 예시적인 실시예들이 발명을 실시하기 위한 구체적인 내용에서 논의되어 있으며, 추가적인 설명이 그곳에서 제공된다. 다양한 실시예들에 의해 제공되는 장점들이 또한 본 명세서를 살펴보면 그리고/또는 청구된 발명 요지의 하나 이상의 실시예들을 실시해보면 이해될 수 있다.These exemplary embodiments are not intended to limit or limit the scope of the present invention, but rather to provide examples to assist in the understanding thereof. Exemplary embodiments are discussed in the Detailed Description for carrying out the invention, and further description is provided therein. Advantages provided by the various embodiments may also be understood by reference to the specification and / or by one or more embodiments of the claimed subject matter.

자세한 실시가능한 개시 내용이 명세서의 나머지 부분에 보다 상세히 기재되어 있다. 명세서는 이하의 첨부 도면들을 참조하고 있다.
도 1a는 위치 기반 햅틱 효과들을 제공하는 시스템의 일 실시예를 나타낸 도면;
도 1b는 위치 기반 햅틱 효과들을 제공하는 시스템의 다른 실시예를 나타낸 도면;
도 2는 위치 기반 햅틱 효과들을 제공하는 시스템을 나타낸 블록도;
도 3은 위치 기반 햅틱 효과들을 제공하는 시스템의 일 실시예를 나타낸 도면;
도 4는 위치 기반 햅틱 효과들을 제공하는 시스템의 다른 실시예를 나타낸 도면;
도 5는 위치 기반 햅틱 효과들을 제공하는 시스템의 또 다른 실시예를 나타낸 도면;
도 6은 일 실시예에 따른, 위치 기반 햅틱 효과들을 제공하는 방법을 수행하는 단계들의 플로우차트.
The details of what is possible are described in more detail in the remainder of the specification. The specification refers to the following drawings.
1A illustrates one embodiment of a system for providing location based haptic effects;
1B illustrates another embodiment of a system for providing position based haptic effects;
2 is a block diagram illustrating a system for providing location based haptic effects;
Figure 3 illustrates one embodiment of a system for providing location based haptic effects;
Figure 4 illustrates another embodiment of a system for providing location based haptic effects;
Figure 5 illustrates another embodiment of a system for providing location based haptic effects;
6 is a flowchart of steps of performing a method of providing location based haptic effects, in accordance with one embodiment.

이제부터, 다양한 그리고 대안의 예시적인 실시예들 및 첨부 도면들에 대해 상세히 언급할 것이다. 각각의 예는 제한이 아니라 설명으로서 제공되어 있다. 수정들 및 변형들이 행해질 수 있다는 것이 본 기술분야의 통상의 기술자에게는 명백할 것이다. 예를 들어, 일 실시예의 일부로서 예시되거나 기술된 특징들이 다른 추가의 실시예를 산출하기 위해 다른 실시예에서 사용될 수 있다. 따라서, 본 개시내용이 첨부된 청구항들 및 그의 등가물들의 범주 내에 속하는 수정들 및 변형들을 포함하는 것으로 의도되어 있다.BRIEF DESCRIPTION OF THE DRAWINGS The various and alternative exemplary embodiments and the accompanying drawings will now be described in detail. Each example is provided as an illustration, not a limitation. It will be apparent to those of ordinary skill in the art that modifications and variations can be made. For example, features illustrated or described as part of one embodiment may be used in other embodiments to produce other additional embodiments. It is therefore intended that the present disclosure cover all such modifications and variations as fall within the scope of the appended claims and their equivalents.

위치 기반 햅틱 효과들의 예시적인 예An Illustrative Example of Location-Based Haptic Effects

본 개시내용의 하나의 예시적인 실시예는 모바일 디바이스(예컨대, 스마트폰, 태블릿, e-리더(e-reader) 등)를 포함한다. 모바일 디바이스는 하나 이상의 가상 버튼들을 갖는 그래픽 사용자 인터페이스(GUI)를 출력하도록 구성된 터치 스크린 디스플레이를 포함한다. GUI는, 예를 들어, 모바일 디바이스 상에 저장된 프로그램들과 연관된 다수의 아이콘들을 포함하는 홈 화면을 포함할 수 있다. 사용자는, 예컨대, 프로그램을 실행하거나 입력을 모바일 디바이스에 다른 방식으로 제공하기 위해 가상 버튼과 상호작용할 수 있다.One exemplary embodiment of the present disclosure includes a mobile device (e.g., a smart phone, tablet, e-reader, etc.). The mobile device includes a touch screen display configured to output a graphical user interface (GUI) having one or more virtual buttons. The GUI may include, for example, a home screen that includes a plurality of icons associated with programs stored on the mobile device. A user may interact with a virtual button, for example, to execute a program or otherwise provide input to a mobile device.

예시적인 실시예에서, 사용자가, 예컨대, 가상 버튼과 상호작용하기 위해, 터치 스크린 디스플레이에 접근하고 궁극적으로 그와 접촉할 때, 모바일 디바이스는 실질적으로 연속적인 햅틱 피드백을 사용자에게 제공하도록 구성된다. 예를 들어, 예시적인 실시예에서, 모바일 디바이스는 사용자의 손가락과 터치 스크린 디스플레이 사이의 거리를 검출하도록 구성된다. 사용자의 손가락이 터치 스크린 디스플레이 상의 가상 버튼 출력에 점점 더 가까이 다가갈 때, 모바일 디바이스는 원격 햅틱 효과들(예컨대, 공기 뿜기, 초음파 압력파, 및/또는 레이저 빔 자극)을 사용자의 손가락에 실질적으로 연속적으로 출력하도록 구성된다. 일부 실시예에서, 모바일 디바이스는 사용자가 터치 스크린 디스플레이에 접근함에 따라 강도가 점차적으로 증가하는 원격 햅틱 효과들을 출력한다. 이것은, 전형적으로 실제의 물리적 버튼과 연관된, 스프링 힘 또는 다른 형태의 저항을 시뮬레이트할 수 있다. 게다가, 예시적인 실시예에서, 모바일 디바이스는 사용자가 터치 스크린 디스플레이를 통해 가상 버튼과 접촉한 것에 응답하여 로컬 햅틱 효과(예컨대, 클릭 느낌)를 출력하도록 구성된다. 로컬 햅틱 효과는 물리적 버튼의 작동을 시뮬레이트할 수 있다. 이러한 실시예에서, 사용자가 터치 스크린 디스플레이 상에 출력되는 가상 버튼에 접근하고 궁극적으로 그와 접촉할 때 연속적인 햅틱 피드백을 제공하는 것은 물리적 버튼과의 실제 상호작용을 보다 정확하게 시뮬레이트하고 그리고/또는 그렇지 않았으면 2차원인 사용자 인터페이스에 3차원 느낌을 제공할 수 있다.In an exemplary embodiment, the mobile device is configured to provide substantially continuous haptic feedback to a user when the user approaches and, ultimately, contacts the touch screen display, e.g., to interact with a virtual button. For example, in an exemplary embodiment, the mobile device is configured to detect a distance between the user's finger and the touch screen display. As the user's fingertips are getting closer and closer to the virtual button output on the touch screen display, the mobile device is able to substantially remotely manipulate remote haptic effects (e.g., pneumatic, ultrasonic pressure waves, and / or laser beam stimulation) And is configured to output continuously. In some embodiments, the mobile device outputs remote haptic effects whose intensity gradually increases as the user approaches the touch screen display. This can simulate a spring force or other type of resistance, typically associated with an actual physical button. In addition, in an exemplary embodiment, the mobile device is configured to output a local haptic effect (e.g., a click feeling) in response to a user contacting the virtual button via a touch screen display. Local haptic effects can simulate the operation of physical buttons. In such an embodiment, providing a continuous haptic feedback when a user approaches and ultimately contacts a virtual button output on the touch screen display more accurately simulates the actual interaction with the physical button and / or otherwise The user interface can provide a three-dimensional feel to the two-dimensional user interface.

다른 예시적인 실시예에서, 모바일 디바이스는 사용자와 상호작용할 수 있는 다수의 사용자 인터페이스 레벨들을 포함하는 GUI를 포함한다. 사용자가 터치 스크린 디스플레이에 접근하고 궁극적으로 그와 접촉할 때, 모바일 디바이스는 상이한 사용자 인터페이스 레벨들을 활성화시키도록 구성된다. 사용자는 사용자 인터페이스 레벨과 연관된 (모바일 디바이스로부터의) 거리에서 제스처를 수행하는 것에 의해 특정의 사용자 인터페이스 레벨과 상호작용할 수 있다.In another exemplary embodiment, the mobile device includes a GUI that includes a plurality of user interface levels that can interact with a user. When the user approaches and ultimately contacts the touch screen display, the mobile device is configured to activate different user interface levels. A user may interact with a particular user interface level by performing a gesture at a distance (from the mobile device) associated with the user interface level.

예를 들어, 일부 실시예에서, 모바일 디바이스는 다수의 사용자 인터페이스 레벨들을 갖는 GUI를 포함하는 의료 시뮬레이션을 실행할 수 있다. 각각의 사용자 인터페이스 레벨은 신체 부위(예컨대, 사람의 팔)의 상이한 측면들의 영상을 출력하고 그리고/또는 그들과 연관된 정보를 제공하도록 구성될 수 있다. 예를 들어, 모바일 디바이스는, 사용자의 손가락이 모바일 디바이스로부터 먼 거리에 있다는 것을 검출한 것에 응답하여, 제1 사용자 인터페이스 레벨을 활성화시킬 수 있다. 제1 사용자 인터페이스 레벨은 신체 부위(예컨대, 피부, 털 등)의 외부의 영상을 출력할 수 있다. 모바일 디바이스는, 사용자의 손가락이 모바일 디바이스로부터 중간 거리에 있다는 것을 검출한 것에 응답하여, 제2 사용자 인터페이스 레벨을 활성화시킬 수 있다. 제2 사용자 인터페이스 레벨은 주요 특징들이 라벨링되어 있는 신체 부위와 연관된 조직 및/또는 인대의 영상을 출력할 수 있다. 모바일 디바이스는, 사용자가 모바일 디바이스와 접촉한 것에 응답하여, 제3 사용자 인터페이스 레벨을 활성화시킬 수 있다. 제3 사용자 인터페이스 레벨은 신체 부위와 연관된 뼈의 영상을 출력할 수 있다. 이와 같이, 사용자가 모바일 디바이스에 접근하고 그리고/또는 그와 접촉할 때, 모바일 디바이스는, 사용자가 점차적으로 보다 많은 및/또는 상이한 정보에 액세스할 수 있는, "보다 깊은" 사용자 인터페이스 레벨들을 활성화시킬 수 있다. 이것은, 그에 부가하여 또는 대안적으로, 3차원 느낌을 그렇지 않았으면 2차원인 인터페이스에 제공할 수 있다.For example, in some embodiments, the mobile device may execute a medical simulation that includes a GUI having a plurality of user interface levels. Each user interface level may be configured to output images of different sides of a body part (e.g., a person's arm) and / or to provide information associated with them. For example, the mobile device may activate the first user interface level in response to detecting that the user's finger is a long distance from the mobile device. The first user interface level may output an image of the outside of the body part (e.g., skin, hair, etc.). The mobile device may activate the second user interface level in response to detecting that the user's finger is at a medium distance from the mobile device. The second user interface level may output images of tissues and / or ligaments associated with body parts where key features are labeled. The mobile device may activate the third user interface level in response to the user contacting the mobile device. The third user interface level may output an image of the bone associated with the body part. As such, when the user accesses and / or contacts the mobile device, the mobile device activates the "deeper" user interface levels, where the user can gradually access more and / or different information . This, in addition or alternatively, can provide a three-dimensional feel to a two-dimensional interface if not otherwise.

일부 실시예에서, 사용자가 터치 스크린 디스플레이에 접근하고 그와 접촉할 때, 모바일 디바이스는 사용자 인터페이스 레벨들과 연관된 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된다. 예를 들어, 전술한 의료 시뮬레이션 예에서, 사용자가 터치 스크린 디스플레이에 접근하고 그와 접촉할 때, 모바일 디바이스는 실제 신체 부위의 상이한 계층들을 통해 손가락을 보다 깊게 미는 것을 시뮬레이트하도록 구성된 실질적으로 연속적인 햅틱 피드백을 출력할 수 있다. 이러한 실시예에서, 모바일 디바이스는, 사용자의 손가락이 제1 사용자 인터페이스 레벨과 연관된 거리에 있다는 것을 검출한 것에 응답하여, 피부 및/또는 털을 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 모바일 디바이스는, 사용자의 손가락이 제2 사용자 인터페이스 레벨과 연관된 거리에 있다는 것을 검출한 것에 응답하여, 조직 및/또는 인대를 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 모바일 디바이스는, 사용자의 손가락이 모바일 디바이스와 접촉했다는 것을 검출한 것에 응답하여, 뼈를 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 예컨대, 실질적으로 연속적인 방식으로 제공되는, 햅틱 효과들의 조합은 신체 부위와의 현실 세계 상호작용을 보다 실감나게 시뮬레이트할 수 있다.In some embodiments, when the user approaches and contacts the touch screen display, the mobile device is configured to provide substantially continuous haptic feedback associated with the user interface levels. For example, in the medical simulation example described above, when a user approaches and touches the touch screen display, the mobile device is configured to simulate a substantially continuous haptic device configured to simulate pushing the finger deeper through different layers of the actual body part. Feedback can be output. In this embodiment, the mobile device may output a haptic effect configured to simulate skin and / or hair, in response to detecting that the user's finger is at a distance associated with the first user interface level. The mobile device may output a haptic effect configured to simulate the tissue and / or ligament in response to detecting that the user's finger is at a distance associated with the second user interface level. The mobile device may output a haptic effect configured to simulate the bone in response to detecting that the user's finger has contacted the mobile device. For example, a combination of haptic effects, provided in a substantially continuous manner, can more realistically simulate real-world interactions with body parts.

이상에서의 예시적인 실시예의 설명은 단지 일 예로서 제공되어 있다. 본 발명의 다양한 다른 실시예들이 본 명세서에 기술되어 있고, 이러한 실시예들의 변동들이 본 기술 분야의 통상의 기술자에 의해 이해될 것이다. 다양한 실시예들에 의해 제공되는 장점들이 또한 본 명세서를 살펴보면 그리고/또는 청구된 발명 요지의 하나 이상의 실시예들을 실시해보면 이해될 수 있다.The above description of the exemplary embodiments is provided as an example only. Various other embodiments of the invention are described herein and variations of these embodiments will be understood by those of ordinary skill in the art. Advantages provided by the various embodiments may also be understood by reference to the specification and / or by one or more embodiments of the claimed subject matter.

위치 기반 햅틱 효과를 위한 예시적인 시스템An exemplary system for position-based haptic effects

도 1a는 위치 기반 햅틱 효과들을 제공하는 시스템의 일 실시예를 나타내고 있다. 이 실시예에서, 본 시스템은, 사용자가 컴퓨팅 디바이스(100)에 접근하고 궁극적으로 그와 접촉할 때, 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된 컴퓨팅 디바이스(100)를 포함한다. 그에 부가하여 또는 대안적으로, 컴퓨팅 디바이스(100)가 사용자에 접근하고 궁극적으로 그와 접촉할 때, 컴퓨팅 디바이스(100)는 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성될 수 있다. 본 명세서에서 사용되는 바와 같이, 실질적으로 연속적인 햅틱 피드백은 실질적으로 사용자에 의해 수행되는 제스처의 지속기간 동안 내내 제공되는 하나 이상의 햅틱 효과들을 포함한다.Figure 1a shows an embodiment of a system for providing location based haptic effects. In this embodiment, the system includes a computing device 100 configured to provide substantially continuous haptic feedback when a user approaches and is ultimately in contact with the computing device 100. Additionally or alternatively, the computing device 100 may be configured to provide substantially continuous haptic feedback when the computing device 100 approaches and ultimately contacts the user. As used herein, substantially continuous haptic feedback includes one or more haptic effects that are provided throughout the duration of the gesture performed by the user.

제스처는 의미 또는 사용자 의도를 전달하는 신체 및/또는 물리 객체의 임의의 움직임 및/또는 위치결정(positioning)이다. 보다 복잡한 제스처들을 형성하기 위해 간단한 제스처들이 결합될 수 있다는 것이 인식될 것이다. 예를 들어, 손가락을 표면과 접촉시키는 것은 "핑거 온(finger on)" 제스처라고 지칭될 수 있는 반면, 손가락을 표면으로부터 떼어내는 것은 별개의 "핑거 오프(finger off)" 제스처라고 지칭될 수 있다. "핑거 온" 제스처와 "핑거 오프" 제스처 사이의 시간이 비교적 짧은 경우, 결합된 제스처는 "탭핑(tapping)"이라고 지칭될 수 있고; "핑거 온" 제스처와 "핑거 오프" 제스처 사이의 시간이 비교적 긴 경우, 결합된 제스처는 "긴 탭핑(long tapping)"이라고 지칭될 수 있으며; "핑거 온" 제스처와 "핑거 오프" 제스처의 2차원(x, y) 위치들 사이의 거리가 비교적 큰 경우, 결합된 제스처는 "스와이핑(swiping)"이라고 지칭될 수 있고; "핑거 온" 제스처와 "핑거 오프" 제스처의 2차원(x, y) 위치들 사이의 거리가 비교적 작은 경우, 결합된 제스처는 "스미어링(smearing)", "스머징(smudging)", 또는 "플리킹(flicking)"이라고 지칭될 수 있다. 제스처들은, 그에 부가하여 또는 대안적으로, 3차원일 수 있다. 예를 들어, 제스처는 신체 부위 및/또는 물리 객체를 현실 공간에서의 특정의 위치에 위치시키는 것을 포함할 수 있다. 일부 실시예에서, (예컨대, 현실 공간에서의) 손가락 움직임 동안 3차원(x, y, z) 위치들 사이의 거리가 비교적 큰 경우, 결합된 제스처는 "스와이핑(swiping)"이라고 지칭될 수 있다. 손가락 움직임 동안 3차원(x, y, z) 위치들 사이의 거리가 비교적 작은 경우, 결합된 제스처는 "스미어링", "스머징", 또는 "플리킹"이라고 지칭될 수 있다. 임의의 수의 다른 제스처들을 형성하기 위해 임의의 수의 간단하거나 복잡한 2차원 또는 3차원 제스처들이 임의의 방식으로 결합될 수 있다. 제스처는 또한 컴퓨팅 디바이스(100)에 의해 인식되어 전자 신호들로 변환되는 (예컨대, 신체 부위 또는 물리 객체의) 임의의 형태의 움직임 또는 위치결정일 수 있다. 이러한 전자 신호들은, 실질적으로 연속적인 햅틱 피드백과 같은, 햅틱 효과를 활성화시킬 수 있고, 여기서 위치 센서(104)는 햅틱 효과를 발생시키는 사용자 의도를 포착한다.A gesture is any movement and / or positioning of a body and / or physical object that conveys meaning or user intent. It will be appreciated that simple gestures can be combined to form more complex gestures. For example, touching a finger with a surface may be referred to as a "finger on" gesture, while detaching a finger from a surface may be referred to as a separate "finger off" . If the time between the "finger on" gesture and the "finger off" gesture is relatively short, the combined gesture can be referred to as "tapping"; If the time between the "finger on" gesture and the "finger off" gesture is relatively long, the combined gesture can be referred to as "long tapping"; If the distance between the two-dimensional (x, y) positions of the "finger on" gesture and the "finger off" gesture is relatively large, the combined gesture can be referred to as "swiping"; If the distance between the two-dimensional (x, y) positions of the "finger on" gesture and the "finger off" gesture is relatively small, the combined gesture may be "smearing", "smudging" May be referred to as "flicking. &Quot; The gestures can, in addition or alternatively, be three-dimensional. For example, a gesture can include locating a body part and / or a physical object at a specific location in the real space. In some embodiments, if the distance between three-dimensional (x, y, z) positions during finger movement (e.g., in real space) is relatively large, the combined gesture may be referred to as "swiping" have. If the distance between the three-dimensional (x, y, z) positions during finger movement is relatively small, the combined gesture can be referred to as "smearing", "smoothing", or "flicking". Any number of simple or complex two-dimensional or three-dimensional gestures can be combined in any manner to form any number of different gestures. The gesture may also be any type of movement or positioning (e.g., of a body part or physical object) that is recognized by the computing device 100 and converted into electronic signals. These electronic signals can activate a haptic effect, such as substantially continuous haptic feedback, where the position sensor 104 captures the intent of the user to generate the haptic effect.

일부 실시예에서, 컴퓨팅 디바이스(100)는 사용자를 터치 스크린 디스플레이(102) 상에 출력되는 특정의 가상 객체(예컨대, 인에이블된 가상 버튼)의 위치로 안내하기 위해 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된다. 예를 들어, 이러한 실시예에서, 컴퓨팅 디바이스(100)는, 사용자가 특정의 가상 객체 상에 위치된 것을 검출한 것에 응답하여, (예컨대, 햅틱 출력 디바이스(106)를 통해) 원격 햅틱 효과를 출력하도록 구성된다. 사용자가 컴퓨팅 디바이스(100)와 접촉하고 있지 않을 때는, 원격 햅틱 효과가 사용자에 의해 인지가능할 수 있다. 원격 햅틱 효과는 사용자가 처음에 가상 객체를 위치확인하는 데 도움을 줄 수 있다. 이러한 실시예에서, 사용자가 가상 객체 위에 위치된 채로 있는 동안 터치 스크린 디스플레이(102) 쪽으로 제스처를 할 때, 컴퓨팅 디바이스(100)는 원격 햅틱 효과들을 사용자에게 연속적으로 출력하도록 추가로 구성된다. 이것은 사용자가 가상 객체에 접근하고 있다는 것을 사용자에게 통지할 수 있다. 이러한 실시예에서, 컴퓨팅 디바이스(100)는 또한 사용자가 터치 스크린 디스플레이(102)를 통해 가상 버튼과 접촉하는 것을 검출한 것에 응답하여 로컬 햅틱 효과를 출력하도록 구성된다. 사용자가 컴퓨팅 디바이스(100)와 접촉하고 있을 때는, 로컬 햅틱 효과가 사용자에 의해 인지가능할 수 있다. 로컬 햅틱 효과는 사용자가 가상 객체와 상호작용했다는 것을 사용자에게 통지할 수 있다. 사용자가 가상 객체 위에서 호버링하고, 그에 접근하며, 궁극적으로 그와 접촉할 때의 연속적인 햅틱 피드백은, 예컨대, 사용자가 터치 스크린 디스플레이(102)를 쳐다볼 필요 없이, 사용자를 가상 객체로 안내할 수 있다.In some embodiments, the computing device 100 provides substantially continuous haptic feedback to guide the user to the location of a particular virtual object (e.g., an enabled virtual button) output on the touch screen display 102 . For example, in such an embodiment, the computing device 100 may output a remote haptic effect (e.g., via the haptic output device 106) in response to detecting that the user is located on a particular virtual object . When the user is not in contact with the computing device 100, the remote haptic effect may be perceivable by the user. The remote haptic effect can help the user to initially locate the virtual object. In this embodiment, the computing device 100 is further configured to continuously output remote haptic effects to the user when the user makes a gesture toward the touch screen display 102 while remaining positioned over the virtual object. This may notify the user that the user is accessing the virtual object. In this embodiment, the computing device 100 is also configured to output a local haptic effect in response to the user detecting touching the virtual button via the touch screen display 102. [ When the user is in contact with the computing device 100, the local haptic effect may be perceivable by the user. The local haptic effect may notify the user that the user has interacted with the virtual object. Continuous haptic feedback when the user hovers over, approaches, and ultimately contacts the virtual object can guide the user to the virtual object, for example, without the user having to look at the touch screen display 102 .

보다 구체적인 예로서, 일부 실시예에서, 컴퓨팅 디바이스(100)는, 가상 객체 위쪽에서 (예컨대, 컴퓨팅 디바이스(100)로부터 거리 범위(112) 내에 있는) 컴퓨팅 디바이스(100)로부터의 제1 거리에서 제스처를 검출한 것에 응답하여, 제1 햅틱 효과를 (예컨대, 햅틱 출력 디바이스(106)를 통해) 출력하도록 구성된다. 이러한 실시예에서, 컴퓨팅 디바이스(100)는, 가상 객체 위쪽에서 (예컨대, 거리 범위(114) 내에 있지만 컴퓨팅 디바이스(100)와 접촉하지 않는) 컴퓨팅 디바이스(100)로부터의 제2 거리에서 제스처를 검출한 것에 응답하여, 제2 햅틱 효과를 (예컨대, 햅틱 출력 디바이스(108)를 통해) 출력하도록 구성된다. 게다가, 이러한 실시예에서, 컴퓨팅 디바이스(100)는, 가상 객체 위쪽에서 (예컨대, 컴퓨팅 디바이스(100) 및/또는 터치 스크린 디스플레이(102)와 접촉하는) 컴퓨팅 디바이스(100)로부터의 제3 거리에서 제스처를 검출한 것에 응답하여, 제3 햅틱 효과를 (예컨대, 햅틱 출력 디바이스(110)를 통해) 출력하도록 구성된다. 제1 햅틱 효과, 제2 햅틱 효과, 및/또는 제3 햅틱 효과는 서로 동일하거나 상이할 수 있다. 예를 들어, 제1 햅틱 효과는 공기 뿜기를 포함할 수 있고, 제2 햅틱 효과는 (예컨대, 도 2와 관련하여 보다 상세히 기술되는 바와 같은) 정적 ESF 효과를 포함할 수 있으며, 제3 햅틱 효과는 진동을 포함할 수 있다.As a more specific example, in some embodiments, the computing device 100 may generate a gesture at a first distance from the computing device 100 (e.g., within the distance range 112 from the computing device 100) (E.g., via the haptic output device 106) in response to detecting the first haptic effect. In this embodiment, the computing device 100 is configured to detect a gesture at a second distance from the computing device 100 (e.g., within the distance range 114 but not in contact with the computing device 100) (E.g., via the haptic output device 108) in response to the first haptic effect. In addition, in such an embodiment, the computing device 100 is capable of communicating at a third distance from the computing device 100 (e.g., in contact with the computing device 100 and / or the touch screen display 102) In response to detecting the gesture, output a third haptic effect (e.g., via the haptic output device 110). The first haptic effect, the second haptic effect, and / or the third haptic effect may be the same or different from each other. For example, the first haptic effect may include air flushing, and the second haptic effect may include a static ESF effect (e.g., as described in more detail in connection with FIG. 2) May include vibration.

일부 실시예에서, 컴퓨팅 디바이스(100)는, 적어도 2개의 햅틱 효과들 사이의 전환이 사용자에게 매끄럽게 인지가능하도록, 적어도 2개의 햅틱 효과들의 특성들(예컨대, 출력의 파형, 유형, 진폭, 지속기간, 주파수, 및/또는 시간)을 구성한다. 예를 들어, 컴퓨팅 디바이스(100)는, 햅틱 효과들 사이의 전환이 사용자에게 매끄럽게 인지가능하도록, 제1 햅틱 효과, 제2 햅틱 효과, 및 제3 햅틱 효과의 특성들을 구성할 수 있다. 이것은, 예컨대, 제스처 동안 내내, 실질적으로 일관성있는 햅틱 경험을 사용자에게 제공할 수 있다. 예를 들어, 이것은, 사용자가 컴퓨팅 디바이스(100)에 접근하고, 그와 접촉하며, 그리고/또는 그로부터 멀어지는 쪽으로 움직일 때, 실질적으로 일관성있는 햅틱 경험을 사용자에게 제공할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(100)는, 적어도 2개의 햅틱 효과들이 사용자에게 명확히 구별가능하도록, 적어도 2개의 햅틱 효과들의 특성들을 구성한다. 예를 들어, 컴퓨팅 디바이스(100)는, 햅틱 효과들 사이의 적어도 하나의 전환이 사용자에게 구별되게 인지가능하도록, 제1 햅틱 효과, 제2 햅틱 효과, 및 제3 햅틱 효과의 특성들을 구성할 수 있다. 이것은, 사용자의 신체 부위와 컴퓨팅 디바이스(100) 사이의 거리와 같은, 정보를 사용자에게 제공할 수 있다.In some embodiments, the computing device 100 is configured to include at least two characteristics of haptic effects (e.g., waveform, type, amplitude, duration of the output, duration of the output, , Frequency, and / or time). For example, the computing device 100 may configure the characteristics of the first haptic effect, the second haptic effect, and the third haptic effect, such that the transition between haptic effects is smooth to the user. This may provide the user with a substantially consistent haptic experience, for example throughout the gesture. For example, it may provide a substantially consistent haptic experience to a user as the user approaches the computing device 100, moves in contact with it, and / or moves away from it. In some embodiments, the computing device 100 constructs the characteristics of the at least two haptic effects so that the at least two haptic effects are clearly distinguishable to the user. For example, computing device 100 may configure the characteristics of a first haptic effect, a second haptic effect, and a third haptic effect such that at least one transition between haptic effects is discernible to the user have. This may provide information to the user, such as the distance between the body part of the user and the computing device 100.

실시예들은 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하기 위해 임의의 수 및 구성의 햅틱 효과들을 출력할 수 있다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스(100)는 컴퓨팅 디바이스(100)로부터 다른 거리 범위 내에서 다른 제스처를 검출한 것에 응답하여 제4 햅틱 효과를 출력하고, 컴퓨팅 디바이스(100)로부터 또 다른 거리 범위 내에서 또 다른 제스처를 검출한 것에 응답하여 제5 햅틱 효과와 제6 햅틱 효과를 출력하며, 기타이다.Embodiments may output haptic effects of any number and configuration to provide substantially continuous haptic feedback throughout the gesture. For example, in some embodiments, the computing device 100 may output a fourth haptic effect in response to detecting another gesture within a different distance range from the computing device 100, Outputs the fifth haptic effect and the sixth haptic effect in response to detecting another gesture within the distance range, and the like.

앞서 논의된 실시예들이 사용자가 컴퓨팅 디바이스(100)에 접근하고 궁극적으로 그와 접촉하는 것에 대한 것이지만, 일부 실시예는 사용자가 (예컨대, 컴퓨팅 디바이스(100)의) 표면과 접촉하고 있지 않는 적어도 하나의 위치 및 사용자가 표면과 접촉하고 있는 하나의 위치를 포함하는 임의의 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공할 수 있다. 예를 들어, 일부 실시예는 사용자가 손가락으로 컴퓨팅 디바이스(100)에 접근하고, 손가락으로 컴퓨팅 디바이스(100)와 접촉하며, 이어서 컴퓨팅 디바이스(100)로부터 멀어지게 손가락을 들어올리는 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공할 수 있다. 이와 같이, 실질적으로 연속적인 햅틱 피드백이 시작되고 사용자가 컴퓨팅 디바이스(100)와 접촉하지 않는 것에 의해 끝날 수 있다.Although the embodiments discussed above relate to a user accessing and ultimately contacting a computing device 100, some embodiments may include at least one (e.g., one or more) And one position in which the user is in contact with the surface. ≪ RTI ID = 0.0 > [0034] < / RTI > For example, some embodiments may allow a user to access the computing device 100 with his / her fingers, contact the computing device 100 with his / her fingers, and subsequently, substantially during the gesture of lifting his / her fingers away from the computing device 100 It is possible to provide continuous haptic feedback. As such, substantially continuous haptic feedback can be initiated and ended by the user not contacting the computing device 100.

다른 예로서, 일부 실시예는 사용자가 컴퓨팅 디바이스(100)와 접촉한 후에 시작되고 사용자가 컴퓨팅 디바이스(100)로부터 떨어지게 손가락을 들어올린 후에 끝나는 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공한다. 예를 들어, 사용자는 신체 부위로 컴퓨팅 디바이스(100)의 표면(예컨대, 터치 스크린 디스플레이(102))과 상호작용할 수 있다. 컴퓨팅 디바이스(100)는 사용자 상호작용을 검출하고 로컬 햅틱 효과를 출력할 수 있다. 사용자는 이어서 (예컨대, 사용자가 컴퓨팅 디바이스(100)와 상호작용하는 것을 끝냈을 때) 신체 부위를 컴퓨팅 디바이스(100)로부터 떨어지게 들어올릴 수 있다. 일부 실시예에서, 예컨대, 사용자의 신체 부위가 컴퓨팅 디바이스(100)로부터 거리 범위(114) 및/또는 거리 범위(112) 내에 있는 동안, 컴퓨팅 디바이스(100)는 햅틱 피드백을 (예컨대, 원격 햅틱 효과들의 형태로) 사용자에게 계속 출력할 수 있다. 예컨대, 사용자의 신체 부위와 컴퓨팅 디바이스(100) 사이의 거리가 문턱값을 초과할 때까지, 컴퓨팅 디바이스(100)는 이러한 햅틱 피드백을 출력할 수 있다. 이와 같이, 사용자가 컴퓨팅 디바이스(100)와 접촉하고 있는 동안 실질적으로 연속적인 햅틱 피드백이 시작되고 사용자가 컴퓨팅 디바이스(100)와 접촉하지 않는 동안 끝날 수 있다.As another example, some embodiments provide substantially continuous haptic feedback throughout a gesture that begins after the user contacts the computing device 100 and ends after the user lifts the finger away from the computing device 100. [ For example, a user may interact with the surface of the computing device 100 (e.g., the touch screen display 102) with a body part. The computing device 100 may detect user interaction and output a local haptic effect. The user may then lift the body part off of the computing device 100 (e.g., when the user has finished interacting with the computing device 100). In some embodiments, computing device 100 may provide haptic feedback (e. G., A remote haptic effect < / RTI > The user can continue to output. For example, the computing device 100 may output such haptic feedback until the distance between the user ' s body part and the computing device 100 exceeds a threshold value. As such, substantially continuous haptic feedback is initiated while the user is in contact with the computing device 100 and may end while the user is not in contact with the computing device 100.

일부 실시예에서, 컴퓨팅 디바이스(100)는, 예컨대, 제스처 동안 내내 상이한 위치들에서 상이한 느낌들을 사용자에게 출력하기 위해 동일한 부류의 햅틱 효과들(예컨대, 정적 ESF 햅틱 효과들)을 사용할 수 있다. 예를 들어, 컴퓨팅 디바이스(100)는 컴퓨팅 디바이스(100)로부터 거리 범위(112) 내에서 제스처를 검출한 것에 응답하여 (예컨대, 하위 크기 진동을 시뮬레이트하도록 구성된) 제1 정적 ESF 효과, 컴퓨팅 디바이스(100)로부터 거리 범위(114) 내에서 제스처를 검출한 것에 응답하여 (예컨대, 중간 크기 진동을 시뮬레이트하도록 구성된) 제2 정적 ESF 효과, 및/또는 컴퓨팅 디바이스(100)와 접촉하는 것을 포함하는 제스처를 검출한 것에 응답하여 제3 정적 ESF 효과(예컨대, 상위 크기 진동)를 출력하도록 구성될 수 있다.In some embodiments, the computing device 100 may use the same class of haptic effects (e.g., static ESF haptic effects) to output different sensations to the user, e.g., at different locations throughout the gesture. For example, the computing device 100 may be configured to respond to a first static ESF effect (e.g., configured to simulate sub-amplitude vibrations) in response to detecting a gesture within a distance range 112 from the computing device 100, A second static ESF effect (e.g., configured to simulate medium size vibration), and / or a gesture that includes contacting the computing device 100 in response to detecting a gesture within the distance range 114 from the computing device 100 And outputting a third static ESF effect (e.g., a higher magnitude vibration) in response to the detection.

도 1b는 위치 기반 햅틱 효과들을 제공하는 시스템의 다른 실시예를 나타내고 있다. 이 실시예에서, 본 시스템은 사용자와 상호작용할 수 있는 다수의 사용자 인터페이스 레벨들을 포함하는 사용자 인터페이스를 (예컨대, 터치 스크린 디스플레이(102)를 통해) 출력하도록 구성된 컴퓨팅 디바이스(100)를 포함한다. 사용자 인터페이스는 임의의 수의 사용자 인터페이스 레벨들을 포함할 수 있다. 게다가, 컴퓨팅 디바이스(100)는 임의의 수 및/또는 구성의 사용자 위치들을 제스처 동안 내내 임의의 수 및/또는 구성의 사용자 인터페이스 레벨들과 연관시킬 수 있다. 예를 들어, 일부 실시예에서, 모바일 디바이스는 3개의 상이한 사용자 위치들을 제스처 동안 내내 동일한 사용자 인터페이스 레벨과 연관시킬 수 있다. 일부 실시예에서, 사용자 인터페이스 레벨들은, 예를 들어, 시뮬레이트된 깊이를 사용자 인터페이스에 제공하기 위해, 서로 오버레이하는 것으로서 시뮬레이트될 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(100)는 각각의 사용자 인터페이스 레벨과 연관된 하나 이상의 기능들을 실행하도록 구성된다.1B illustrates another embodiment of a system for providing location based haptic effects. In this embodiment, the system includes a computing device 100 configured to output (e.g., via a touch screen display 102) a user interface that includes a plurality of user interface levels that can interact with a user. The user interface may include any number of user interface levels. In addition, the computing device 100 may associate any number and / or configuration of user locations with any number and / or configuration of user interface levels throughout the gesture. For example, in some embodiments, the mobile device may associate three different user locations with the same user interface level throughout the gesture. In some embodiments, the user interface levels may be simulated as overlaying each other, for example, to provide a simulated depth to the user interface. In some embodiments, the computing device 100 is configured to execute one or more functions associated with each user interface level.

도 1b에 도시된 실시예에서, 컴퓨팅 디바이스(100)는 내비게이션 애플리케이션과 연관된 가상 지도를 출력하고 있다. 사용자가 (예컨대, 파선으로 도시된 바와 같이) 컴퓨팅 디바이스(100)에 접근하고 그리고/또는 그와 접촉할 때, 컴퓨팅 디바이스(100)는 하나 이상의 사용자 인터페이스 레벨들을 순환하도록 구성되며, 예컨대, 가상 지도와 연관된 상이한 레벨들의 세부를 사용자에게 제공하도록 구성된다. 예를 들어, 사용자가 손가락을 컴퓨팅 디바이스(100)로부터 거리 범위(112) 내에 위치시킨 것에 응답하여 컴퓨팅 디바이스(100)는, 예컨대, 가상 지도 상의 주 또는 도시와 연관된 정보를 출력하도록 구성된 제1 사용자 인터페이스 레벨을 활성화시킬 수 있다. 사용자가 손가락을 컴퓨팅 디바이스(100)로부터 제2 거리 범위(114) 내로 그러나 그와 접촉하지 않게 움직일 때, 컴퓨팅 디바이스(100)는, 예컨대, 소도시(town) 또는 거리 이름과 같은, 세부를 가상 지도에 추가하도록 구성된 제2 사용자 인터페이스 레벨을 활성화시킬 수 있다. 사용자가 컴퓨팅 디바이스(100)와 접촉한 것에 응답하여, 컴퓨팅 디바이스(100)는, 예컨대, 가상 지도 상의 특정의 위치에서 줌인하도록 구성된 제3 사용자 인터페이스 레벨을 활성화시킬 수 있다. 이와 같이, 컴퓨팅 디바이스(100)는, 사용자가 컴퓨팅 디바이스(100)로부터 상이한 거리 범위들 내에서 제스처를 하는 것을 검출한 것에 응답하여, 가상 지도와 연관된 상이한 사용자 인터페이스 레벨들을 활성화시킬 수 있다.In the embodiment shown in FIG. 1B, the computing device 100 is outputting a virtual map associated with the navigation application. When the user approaches (and / or contacts) the computing device 100 (e.g., as shown by the dashed line), the computing device 100 is configured to cycle through one or more user interface levels, To provide details of the different levels associated with the user. For example, in response to a user placing a finger within a distance range 112 from the computing device 100, the computing device 100 may be configured to provide a first user You can activate the interface level. When the user moves his or her finger from the computing device 100 into the second distance range 114 but not in contact therewith, the computing device 100 determines the details, such as, for example, a town or street name, Lt; RTI ID = 0.0 > user interface < / RTI > In response to the user contacting the computing device 100, the computing device 100 may activate a third user interface level configured to zoom in, e.g., at a particular location on the virtual map. As such, the computing device 100 may activate different user interface levels associated with the virtual map, in response to the user detecting that the gaming device is performing gestures within different distance ranges from the computing device 100.

일부 실시예에서, 컴퓨팅 디바이스(100)는 사용자 인터페이스 레벨 및/또는 제스처에 적어도 부분적으로 기초하여 출력할 햅틱 효과를 결정하도록 구성된다. 이러한 햅틱 효과들은, 예컨대, 사용자와 상호작용하고 있는 특정의 사용자 인터페이스 레벨을 그리고/또는 사용자가 사용자 인터페이스 레벨들 간에 전환했다는 것을 사용자에게 통지하도록 구성될 수 있다. 예를 들어, 컴퓨팅 디바이스(100)는, 제1 사용자 인터페이스 레벨을 활성화시킨 것에 응답하여, 제2 사용자 인터페이스 레벨을 활성화시키는 것과 연관된 제2 햅틱 효과와 명확히 구별가능한 제1 햅틱 효과를 출력할 수 있다. 구별가능한 햅틱 효과들이 사용자가 사용자 인터페이스 레벨들 간에 전환했다는 것을 사용자에게 통지할 수 있다.In some embodiments, the computing device 100 is configured to determine a haptic effect to output based at least in part on a user interface level and / or gesture. These haptic effects can be configured, for example, to notify a user that a particular user interface level has been interacting with the user and / or that the user has switched between user interface levels. For example, the computing device 100 may, in response to activating the first user interface level, output a first haptic effect that is distinctly distinct from the second haptic effect associated with activating the second user interface level . The distinguishable haptic effects may inform the user that the user has switched between user interface levels.

일부 실시예에서, 컴퓨팅 디바이스(100)는 컴퓨팅 디바이스(100)가 제스처를 검출했던 정밀도를 표시하도록 구성된 햅틱 효과들을 출력하도록 구성된다. 예를 들어, 제스처가 컴퓨팅 디바이스(100)로부터 보다 먼 거리에서 수행될 때, 컴퓨팅 디바이스(100)는 제스처(예컨대, 또는, 사용자의 특정의 위치와 같은, 제스처의 일부분)를 보다 낮은 정밀도로 검출할 수 있다. 예를 들어, 제스처가 컴퓨팅 디바이스(100)로부터 1 미터의 거리에서 수행될 때, 컴퓨팅 디바이스(100)는 제스처와 연관된 위치를 실제 위치로부터 1 센티미터 내로 검출할 수 있다. 제스처가 컴퓨팅 디바이스(100)로부터 1 센티미터의 거리에 있을 때, 컴퓨팅 디바이스(100)는 제스처와 연관된 위치를 실제 위치로부터 1 밀리미터 내로 검출할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(100)는 보다 낮은 정밀도로 제스처를 검출한 것에 응답하여 사용자가 애매한 것으로 인지하는 햅틱 효과를 출력한다. 컴퓨팅 디바이스(100)는 보다 높은 정밀도로 제스처를 검출한 것에 응답하여 사용자가 뚜렷한 것으로 인지하는 햅틱 효과를 출력한다. 일부 실시예에서, 컴퓨팅 디바이스(100)는 보다 낮은 정밀도로 제스처를 검출한 것에 응답하여 사용자의 신체의 보다 큰 표면적에 햅틱 효과를 출력한다. 컴퓨팅 디바이스(100)는 보다 높은 정밀도로 제스처를 검출한 것에 응답하여 사용자의 신체의 보다 작은 표면적에 햅틱 효과를 출력할 수 있다.In some embodiments, the computing device 100 is configured to output haptic effects configured to indicate the accuracy with which the computing device 100 detected the gesture. For example, when a gesture is performed at a greater distance from the computing device 100, the computing device 100 may detect the gesture (e.g., a portion of the gesture, such as a user's particular location) can do. For example, when a gesture is performed at a distance of one meter from the computing device 100, the computing device 100 may detect the location associated with the gesture within one centimeter of the actual location. When the gesture is at a distance of one centimeter from the computing device 100, the computing device 100 may detect the position associated with the gesture within one millimeter of the actual position. In some embodiments, the computing device 100 outputs a haptic effect that the user perceives as ambiguous in response to detecting the gesture with less precision. The computing device 100 outputs a haptic effect that the user perceives as distinct in response to detecting the gesture with higher precision. In some embodiments, the computing device 100 outputs a haptic effect to a larger surface area of the user's body in response to detecting the gesture with less precision. The computing device 100 may output the haptic effect to a smaller surface area of the user's body in response to detecting the gesture with greater precision.

도 2는 일 실시예에 따른, 위치 기반 햅틱 효과들을 위한 시스템을 나타낸 블록도이다. 컴퓨팅 디바이스(201)는 랩톱 컴퓨터, 데스크톱 컴퓨터, 게임 컨트롤러, 게임패드, 리모콘(remote control), 의료 디바이스, 자동차 컴퓨팅 디바이스(예컨대, 스테레오, HVAC, 조명, 내비게이션, 또는 다른 차량 기능들과 같은 하나 이상의 자동차 시스템들 또는 디바이스들을 제어하기 위한 컴퓨터), 완드(wand), 스타일러스, 펜, 및/또는 휴대용 게임 디바이스를 포함할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는 웨어러블 디바이스(예컨대, 반지, 신발, 완장, 소매, 재킷, 안경, 장갑, 손목시계, 손목 밴드, 팔찌, 의복, 모자, 헤드밴드, 및/또는 보석류)와 연관되고, 사용자에 의해 착용되고 그리고/또는 사용자의 신체에 결합되도록 구성된다.2 is a block diagram illustrating a system for position based haptic effects, in accordance with one embodiment. The computing device 201 may be a computing device such as a laptop computer, a desktop computer, a game controller, a game pad, a remote control, a medical device, an automotive computing device (e.g., a stereo, HVAC, lighting, navigation, A computer for controlling automotive systems or devices), a wand, a stylus, a pen, and / or a portable game device. In some embodiments, computing device 201 may be a wearable device (e.g., a ring, a shoe, an armband, a sleeve, a jacket, a spectacle, a glove, a wrist watch, a wristband, a bracelet, a garment, a hat, a headband, And is configured to be worn by a user and / or coupled to a user ' s body.

일부 실시예에서, 컴퓨팅 디바이스(201)의 컴포넌트들(예컨대, 프로세서(202), 네트워크 인터페이스 디바이스(210), 햅틱 출력 디바이스(218), 센서들(230), 위치 센서(232), 터치 감응 표면(216) 등)은 단일의 하우징 내에 통합될 수 있다. 다른 실시예에서, 컴포넌트들은 (예컨대, 다수의 하우징들 또는 위치들 간에) 분산되고 서로 전기 통신할 수 있다. 컴퓨팅 디바이스(201)는 도 2에 도시된 컴포넌트들 전부를 포함할 수 있거나 전부를 포함하는 것은 아닐 수 있다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스(201)는 센서(230)를 포함하지 않을 수 있다.In some embodiments, components of computing device 201 (e.g., processor 202, network interface device 210, haptic output device 218, sensors 230, position sensor 232, (216), etc.) may be integrated within a single housing. In other embodiments, components may be distributed (e.g., between multiple housings or locations) and in electrical communication with one another. The computing device 201 may or may not include all of the components shown in FIG. For example, in some embodiments, the computing device 201 may not include the sensor 230.

컴퓨팅 디바이스(201)는 버스(206)를 통해 다른 하드웨어와 인터페이싱하는 프로세서(202)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적당한 유형적(tangible)(및 비일시적) 컴퓨터 판독가능 매체를 포함할 수 있는 메모리(204)는 컴퓨팅 디바이스(201)의 동작을 구성하는 프로그램 컴포넌트들을 구현할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는 하나 이상의 네트워크 인터페이스 디바이스들(210), 입출력(I/O) 인터페이스 컴포넌트들(212), 및 부가의 저장소(214)를 추가로 포함할 수 있다.The computing device 201 includes a processor 202 for interfacing with other hardware via a bus 206. The memory 204, which may include any suitable tangible (and non-volatile) computer readable medium such as RAM, ROM, EEPROM, etc., may implement program components that constitute the operation of the computing device 201. In some embodiments, computing device 201 may further include one or more network interface devices 210, input / output (I / O) interface components 212, and additional storage 214.

네트워크 인터페이스 디바이스(210)는 네트워크 연결을 용이하게 하는 임의의 컴포넌트들 중 하나 이상을 나타내거나 전자 디바이스들 사이의 통신을 다른 방식으로 용이하게 할 수 있다. 예로는 이더넷, USB, IEEE 1394와 같은 유선 인터페이스(wired interface), 및/또는 IEEE 802.11, 블루투스, NFC(near-field communication) 인터페이스, RFID 인터페이스, 또는 셀룰러 전화 네트워크에 액세스하는 무선 인터페이스(radio interface)(예컨대, CDMA, GSM, UMTS 또는 다른 모바일 통신 네트워크에 액세스하기 위한 송수신기/안테나)와 같은 무선 인터페이스(wireless interface)가 있지만, 이들로 제한되지 않는다.The network interface device 210 may represent one or more of any components that facilitate network connectivity or may facilitate communication between electronic devices in other manners. Examples include a wired interface such as Ethernet, USB, IEEE 1394, and / or a radio interface for accessing IEEE 802.11, Bluetooth, near-field communication (NFC) (E.g., a transceiver / antenna for accessing CDMA, GSM, UMTS or other mobile communication networks).

I/O 컴포넌트들(212)은 하나 이상의 디스플레이들, 터치 감응 표면들(216), 키보드들, 마우스들, 스피커들, 마이크로폰들, 버튼들, 및/또는 데이터를 입력하거나 데이터를 출력하는 데 사용되는 다른 하드웨어와 같은 디바이스들에의 연결을 용이하게 하는 데 사용될 수 있다. 저장소(214)는 컴퓨팅 디바이스(201)에 포함되거나 프로세서(202)에 결합된 판독 전용 메모리, 플래시 메모리, F-RAM(ferroelectric RAM), 자기, 광학, 또는 다른 저장 매체와 같은 비휘발성 저장소를 나타낸다.I / O components 212 may be used to input or output data, one or more displays, touch sensitive surfaces 216, keyboards, mice, speakers, microphones, buttons, and / Lt; RTI ID = 0.0 > hardware, e. The storage 214 represents a non-volatile storage such as read-only memory, flash memory, ferroelectric RAM (F-RAM), magnetic, optical, or other storage media included in or coupled to the computing device 201 .

컴퓨팅 디바이스(201)는 터치 감응 표면(216)을 포함할 수 있다. 일부 실시예에서, 터치 감응 표면(216)은 연성이거나 변형가능하다. 터치 감응 표면(216)은 사용자의 촉각 입력을 감지하도록 구성되어 있는 임의의 표면을 나타낸다. 하나 이상의 터치 센서들(208)은 (예컨대, 사용자의 손가락 또는 스타일러스와 같은 객체가 터치 감응 표면(216)과 접촉할 때) 터치 영역에서 터치를 검출하고 터치와 연관된 신호들을 프로세서(202)로 전송하도록 구성되어 있다. 임의의 적당한 수, 유형 또는 배열의 터치 센서들(208)이 사용될 수 있다. 예를 들어, 일부 실시예에서, 저항성 및/또는 용량성 센서들이 터치 감응 표면(216)에 매립되고 터치의 위치 및, 터치의 압력, 속력, 및/또는 방향과 같은, 다른 정보를 결정하는 데 사용될 수 있다. 일부 실시예에서, 용량성 센서들은 (예컨대, 터치 감응 표면(216)에 매립된) 터치 센서(208)에의 사용자의 손가락의 근접성을 검출할 수 있다. 예를 들어, 터치 센서(208)는 사용자의 손가락이 터치 센서(208)에 접근할 때 커패시턴스의 변화를 검출하도록 구성된 용량성 센서를 포함할 수 있다. 터치 센서(208)는 커패시턴스의 변화에 기초하여 사용자의 손가락이 터치 센서(208)로부터 특정의 거리 내에 있는지를 결정할 수 있다.The computing device 201 may include a touch sensitive surface 216. In some embodiments, the touch sensitive surface 216 is soft or deformable. The touch sensitive surface 216 represents any surface that is configured to sense the tactile input of the user. The one or more touch sensors 208 detect a touch in the touch region (e.g., when an object such as a user's finger or stylus contacts the touch sensitive surface 216) and transmit signals associated with the touch to the processor 202 . Any suitable number, type or arrangement of touch sensors 208 may be used. For example, in some embodiments, resistive and / or capacitive sensors are embedded in the touch sensitive surface 216 and are used to determine other information, such as the position of the touch and the pressure, speed, and / or direction of the touch Can be used. In some embodiments, capacitive sensors may detect proximity of the user's finger to the touch sensor 208 (e.g., embedded in the touch sensitive surface 216). For example, the touch sensor 208 may include a capacitive sensor configured to detect a change in capacitance as the user's finger approaches the touch sensor 208. [ The touch sensor 208 can determine whether the user's finger is within a certain distance from the touch sensor 208 based on the change in capacitance.

터치 센서(208)는, 그에 부가하여 또는 대안적으로, 다른 유형의 센서들을 포함할 수 있다. 예를 들어, 터치 감응 표면(216)의 뷰와 함께 광학 센서들이 터치 위치를 결정하는 데 사용될 수 있다. 다른 예로서, 터치 센서(208)는 디스플레이의 측면에 탑재된 LED(Light Emitting Diode) 손가락 검출기를 포함할 수 있다. 일부 실시예에서, 터치 센서(208)는 사용자 상호작용의 다수의 양태를 검출하도록 구성될 수 있다. 예를 들어, 터치 센서(208)는 사용자 상호작용의 속력, 압력, 및 방향을 검출하고, 이 정보를 프로세서(202)로 전송되는 신호 내에 포함시킬 수 있다.The touch sensor 208 may additionally or alternatively include other types of sensors. For example, optical sensors along with a view of the touch sensitive surface 216 may be used to determine the touch location. As another example, the touch sensor 208 may include a light emitting diode (LED) finger detector mounted on the side of the display. In some embodiments, the touch sensor 208 may be configured to detect multiple aspects of user interaction. For example, the touch sensor 208 may detect the speed, pressure, and direction of user interaction and may include this information in the signal transmitted to the processor 202.

일부 실시예에서, 컴퓨팅 디바이스(201)는 터치 감응 표면(216)과 디바이스의 디스플레이를 겸비한 터치 지원 디스플레이를 포함한다. 터치 감응 표면(216)은 디스플레이 외부 또는 디스플레이의 컴포넌트들 상의 하나 이상의 재료 층들에 대응할 수 있다. 다른 실시예에서, 터치 감응 표면(216)은, 컴퓨팅 디바이스(201)의 특정의 구성에 따라, 디스플레이를 포함하지 않을 수 있다(또는 다른 방식으로 그에 대응할 수 있다).In some embodiments, the computing device 201 includes a touch sensitive display 216 that combines a touch sensitive surface 216 and a display of the device. The touch sensitive surface 216 may correspond to one or more material layers on the outside of the display or components of the display. In other embodiments, the touch sensitive surface 216 may not (or otherwise correspond to) the display, depending on the particular configuration of the computing device 201. [

일부 실시예에서, 컴퓨팅 디바이스(201)는 하나 이상의 센서(들)(230)를 포함한다. 센서(들)(230)는 센서 신호들을 프로세서(202)로 전송하도록 구성된다. 센서(들)(230)는, 예를 들어, 레인지 센서(range sensor), 깊이 센서, 바이오센서, 카메라, 및/또는 온도 센서를 포함할 수 있다. 컴퓨팅 디바이스(201)는 센서(230)로부터의 센서 신호들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정할 수 있다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스(201)는 햅틱 효과가 적용될 사용자의 신체 부위의 하나 이상의 특성들을 결정하기 위해 센서(들)(230)로부터의 데이터를 사용할 수 있다. 컴퓨팅 디바이스(201)는, 예컨대, 인지된 햅틱 효과의 품질을 개선시키기 위해 그리고/또는 사용자에 대한 부상을 방지하기 위해, 신체 부위에 기초하여 햅틱 효과의 하나 이상의 특성들을 결정할 수 있다.In some embodiments, the computing device 201 includes one or more sensor (s) The sensor (s) 230 are configured to transmit the sensor signals to the processor 202. The sensor (s) 230 may include, for example, a range sensor, a depth sensor, a biosensor, a camera, and / or a temperature sensor. The computing device 201 may determine one or more haptic effects based, at least in part, on the sensor signals from the sensor 230. For example, in some embodiments, the computing device 201 may use data from the sensor (s) 230 to determine one or more characteristics of a user's body part to which the haptic effect will be applied. The computing device 201 may determine one or more characteristics of the haptic effect based on the body part, for example, to improve the quality of the perceived haptic effect and / or to prevent injury to the user.

예를 들어, 일부 실시예에서, 컴퓨팅 디바이스(201)는, 전쟁 게임과 같은, 게임을 실행한다. 컴퓨팅 디바이스(201)는, 가상 폭발과 같은, 게임 이벤트에 응답하여, 햅틱 효과(예컨대, 원격 햅틱 효과)를 출력하도록 구성될 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는 센서(230)(예컨대, 사용자의 신체가 보이는 곳에 있는 카메라)로부터 하나 이상의 영상들을 수신할 수 있다. 컴퓨팅 디바이스(201)는 영상들을 분석하고 햅틱 효과를 위한 사용자의 신체 상의 목적지 위치가, 예컨대, 털을 포함한다고 결정할 수 있다. 일부 실시예에서, 사용자는 털을 포함하는 신체 부위 상에서 털이 없는 신체 부위 상에서보다 더 약한 것으로 햅틱 효과를 인지할 수 있다. 이러한 실시예에서, 컴퓨팅 디바이스(201)는 검출된 털에 기초하여 햅틱 효과를 결정하고 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는 증가된 진폭을 포함하는 햅틱 효과를 결정하고 출력할 수 있다. 이것은 사용자에 의해 인지되는 햅틱 효과의 품질을 개선시킬 수 있다.For example, in some embodiments, the computing device 201 executes a game, such as a war game. The computing device 201 may be configured to output a haptic effect (e.g., a remote haptic effect) in response to a game event, such as a virtual explosion. In some embodiments, the computing device 201 may receive one or more images from the sensor 230 (e.g., a camera where the user's body is visible). The computing device 201 may analyze the images and determine that the destination location on the user's body for the haptic effect includes, for example, hair. In some embodiments, the user may perceive the haptic effect as being weaker than on the hairless body part on the body part including the hair. In such an embodiment, the computing device 201 may determine and output the haptic effect based on the detected hair. For example, the computing device 201 may determine and output a haptic effect that includes an increased amplitude. This can improve the quality of the haptic effect perceived by the user.

다른 예로서, 일부 실시예에서, 컴퓨팅 디바이스(201)는 햅틱 효과(예컨대, 투사된/원격 햅틱 효과)가 적용되어야 하는 신체 부위가, 예컨대, 특히 민감한 신체 부위(예컨대, 귀 또는 눈)를 포함한다고 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는 센서(230)로부터의 하나 이상의 영상들을 분석하고, 영상들에 기초하여, 컴퓨팅 디바이스(201)가 햅틱 효과를 특정의 신체 부위로 출력할 것이라고 결정할 수 있다. 컴퓨팅 디바이스(201)는, 예컨대, 룩업 테이블 및/또는 알고리즘을 사용하여, 특정의 신체 부위가 민감한 신체 부위를 포함한다고 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는 특정의 신체 부위를 대응하는 민감도 레벨에 매핑하기 위해 룩업 테이블을 사용할 수 있다. 컴퓨팅 디바이스(201)는, 그에 응답하여, 신체 부위에 대한 부상의 가능성을 방지하고 그리고/또는 감소시키도록 구성된 하나 이상의 특성들(예컨대, 유형, 진폭, 파형, 주파수, 또는 다른 특성)을 갖는 햅틱 효과를 결정할 수 있다.As another example, in some embodiments, the computing device 201 may include a body part to which a haptic effect (e.g., a projected / remote haptic effect) should be applied, such as a body part that is particularly sensitive . For example, the computing device 201 may analyze one or more images from the sensor 230 and, based on the images, determine that the computing device 201 will output the haptic effect to a particular body part. Computing device 201 may use a look-up table and / or algorithm, for example, to determine that a particular body part includes a sensitive body part. For example, the computing device 201 may use a look-up table to map a particular body part to a corresponding sensitivity level. The computing device 201 is responsive to a haptic device having one or more characteristics (e.g., type, amplitude, waveform, frequency, or other characteristics) configured to prevent and / or reduce the likelihood of injury to a body part The effect can be determined.

예를 들어, 컴퓨팅 디바이스(201)는 가상 벌레들을 시뮬레이트하는 게임을 실행하고 있을 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는, 사용자의 귀와 같은, 사용자 상에 기어다니는 벌레들을 시뮬레이트하도록 구성된 햅틱 효과들을 결정하고 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 예컨대, 사용자의 귀에 있는 벌레를 시뮬레이트하기 위해, 사용자의 귀 쪽으로 방출되어야 하는 공기 뿜기(또는 초음파)를 포함하는 원격 햅틱 효과를 결정할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는 사용자의 귀가 민감한 신체 부위라고 결정할 수 있다. 컴퓨팅 디바이스(201)는, 그에 응답하여, 사용자를 다치게 할 가능성을 줄이기 위해 햅틱 효과의 특성을 변경할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는, 예컨대, 사용자의 청각을 손상시킬 가능성을 줄이기 위해, 공기 뿜기(또는 초음파)의 진폭 또는 세기를 감소시킬 수 있다.For example, the computing device 201 may be executing a game simulating virtual worms. In some embodiments, the computing device 201 may determine and output haptic effects configured to simulate worms crawling on the user, such as a user's ear. For example, a computing device may determine a remote haptic effect, including air purge (or ultrasound), which should be emitted towards the user's ear, e.g., to simulate a worm in the user's ear. In some embodiments, the computing device 201 may determine that the user's ears are a sensitive body part. In response, computing device 201 may change the nature of the haptic effect to reduce the likelihood of hurting the user. For example, the computing device 201 may reduce the amplitude or intensity of the airflow (or ultrasound), for example, to reduce the likelihood of impairing the hearing of the user.

다른 예로서, 컴퓨팅 디바이스(201)는 사용자가 가상 캐릭터를 제어할 수 있는 군사 게임을 실행하고 있을 수 있다. 가상 캐릭터가 총탄을 맞은 것에 응답하여, 컴퓨팅 디바이스(201)는 햅틱 효과(예컨대, 원격 햅틱 효과)를 가상 캐릭터가 총탄을 맞은 곳과 연관된 사용자의 신체의 일부분으로 출력하도록 구성될 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는 단단한 재료(예컨대, 플라스틱 총알)를 가상 캐릭터가 총탄을 맞은 곳과 연관된 사용자의 신체의 일부분 쪽으로 투사하도록 구성될 수 있다. 이것은 사격을 시뮬레이트할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는 햅틱 효과가, 사용자의 눈과 같은, 사용자의 신체의 민감한 부분에 적용되거나 그 쪽으로 투사되어야 한다고 결정할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는, 그에 응답하여, 햅틱 효과를 한 유형(예컨대, 플라스틱 총알과 같은, 단단한 재료의 방출을 포함하는 원격 햅틱 효과)으로부터 다른 유형(공기의 분출과 같은, 기체의 방출을 포함하는 원격 햅틱 효과)으로 변경할 수 있다. 이것은 사용자의 눈에 대한 부상의 가능성을 줄일 수 있다.As another example, the computing device 201 may be executing a military game in which a user may control a virtual character. In response to the virtual character being shot, the computing device 201 may be configured to output a haptic effect (e.g., a remote haptic effect) as part of the user's body associated with where the virtual character hit the bullet. For example, the computing device 201 may be configured to project a solid material (e.g., a plastic bullet) onto a portion of the user's body associated with where the virtual character hit the bullet. This can simulate shooting. In some embodiments, the computing device 201 may determine that the haptic effect should be applied to or projected onto a sensitive portion of the user's body, such as the user ' s eyes. In some embodiments, the computing device 201 may in response cause the haptic effect to be of a different type (such as ejection of air) from one type (e.g., a remote haptic effect involving the release of a rigid material, such as a plastic bullet) A remote haptic effect involving the release of gas). This can reduce the possibility of injury to the user's eyes.

일부 실시예에서, 컴퓨팅 디바이스(201)는 햅틱 효과가 민감한 신체 부위에 적용되거나 그 쪽으로 투사될 위험이 있다고 결정할 수 있다. 예를 들어, 상기 군사 게임 실시예에서, 컴퓨팅 디바이스(201)는 사용자의 코 쪽으로 투사되도록 구성된 원격 햅틱 효과를 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는, 사용자의 가상 캐릭터가 코에 총탄을 맞은 것에 응답하여, 플라스틱 총알이 사용자의 코 쪽으로 투사되어야 하는 것으로 결정할 수 있다. 그러나 컴퓨팅 디바이스(201)는 또한 사용자가 움직이고 있어, 투사된 재료가, 사용자의 눈과 같은, 민감한 신체 부위와 접촉할지도 모를 가능성을 증가시키고 있다고 결정할 수 있다. 컴퓨팅 디바이스(201)는, 그에 응답하여, 햅틱 효과를 한 유형(예컨대, 플라스틱 총알과 같은, 단단한 재료의 방출을 포함하는 원격 햅틱 효과)으로부터 다른 유형(거품과 같은, 부드러운 재료의 방출을 포함하는 원격 햅틱 효과)으로 변경할 수 있다. 이것은 민감한 신체 부위에 대한 부상의 가능성을 감소시킬 수 있다.In some embodiments, the computing device 201 may determine that there is a risk that the haptic effect will be applied to or projected onto a sensitive body part. For example, in the military game embodiment, the computing device 201 may determine a remote haptic effect that is configured to be projected towards the user's nose. For example, the computing device 201 may determine that, in response to the user's virtual character being shot at the nose, the plastic bullet should be projected toward the user's nose. However, the computing device 201 may also determine that the user is moving and that the projected material is increasing the likelihood of contact with sensitive body parts, such as the user's eyes. Computing device 201 may be adapted to receive a haptic effect from one type (e.g., a remote haptic effect, including the release of a rigid material, such as a plastic bullet) Remote haptic effect). This can reduce the likelihood of injury to sensitive body parts.

일부 실시예에서, 센서(230)(예컨대, 온도 센서)는 사용자의 온도(예컨대, 사용자의 피부 온도)를 검출하도록 구성될 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는 온도에 기초하여 햅틱 효과의 특성을 수정할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는, 예컨대, 가상 폭발과 같은, 게임 이벤트에 응답하여, 사용자의 신체의 적어도 일부분(예컨대, 사용자의 복부)에 열을 가하는 것을 포함하는 햅틱 효과를 출력하도록 구성될 수 있다. 이러한 실시예에서, 컴퓨팅 디바이스(201)는, 예컨대, 사용자의 체온이 문턱값 초과라는 것을 나타내는 센서(230)로부터의 센서 신호에 응답하여 햅틱 효과 없음을 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(201)는, 사용자의 신체가 너무 뜨겁다고 결정한 것에 응답하여, 햅틱 효과를 출력하지 않을 수 있다. 이것은 사용자에 대한 부상(예컨대, 열사병)의 가능성을 방지하고 그리고/또는 줄일 수 있다.In some embodiments, the sensor 230 (e.g., a temperature sensor) can be configured to detect the temperature of the user (e.g., the skin temperature of the user). In some embodiments, the computing device 201 may modify the characteristics of the haptic effect based on temperature. For example, the computing device 201 may be configured to output a haptic effect that includes applying heat to at least a portion of a user's body (e.g., a user's abdomen) in response to a game event, such as a virtual explosion . In such an embodiment, the computing device 201 may determine, for example, that there is no haptic effect in response to the sensor signal from the sensor 230 indicating that the user's body temperature is above a threshold. For example, the computing device 201 may not output a haptic effect, in response to determining that the user's body is too hot. This can prevent and / or reduce the likelihood of injury to the user (e.g., heat stroke).

컴퓨팅 디바이스(201)는 위치 센서(232)와 통신한다. 일부 실시예에서, 위치 센서(232)는 카메라, 3D 영상 시스템(예컨대, Microsoft Kinect ®라는 상표명으로 흔히 판매되는 3D 영상 시스템), 깊이 센서, 초음파 트랜스듀서, 가속도계, 자이로스코프, RFID(radio frequency identification) 태그 또는 판독기, 실내 근접 시스템, NFC 통신 디바이스, 글로벌 포지셔닝 시스템(global positioning system)(GPS) 디바이스, 자력계, 무선 인터페이스(예컨대, IEEE 802.11 또는 블루투스 인터페이스), 적외선 센서, 레인지 센서, 및/또는 LED 기반 추적 시스템을 포함한다. 위치 센서(232)는 사용자의 신체 부위 및/또는 물리 객체의 하나 이상의 위치들을 검출하고 하나 이상의 연관된 센서 신호들을 프로세서(202)로 전송하도록 구성된다. 위치는 현실 공간에서의 3차원 위치 또는 컴퓨팅 디바이스(201)에 대한 상대 위치일 수 있다. 일부 실시예에서, 위치 센서(232)는, 예컨대, 사용자의 신체 부위 및/또는 물리 객체의 복수의 검출된 3차원 위치들에 기초하여, 현실 공간에서 3차원 제스처를 검출하도록 구성된다.The computing device 201 communicates with the position sensor 232. In some embodiments, the position sensor 232 may be a camera, a 3D imaging system (e.g., a 3D imaging system commonly sold under the trademark Microsoft Kinect®), a depth sensor, an ultrasonic transducer, an accelerometer, a gyroscope, a radio frequency identification (GPS) device, a magnetometer, a wireless interface (e.g., an IEEE 802.11 or Bluetooth interface), an infrared sensor, a range sensor, and / or an LED Based tracking system. The position sensor 232 is configured to detect one or more positions of a user's body part and / or physical object and to transmit one or more associated sensor signals to the processor 202. [ The location may be a three-dimensional location in the real space or a location relative to the computing device 201. In some embodiments, the position sensor 232 is configured to detect a three-dimensional gesture in the real space, e.g., based on a user's body part and / or a plurality of detected three-dimensional positions of the physical object.

일부 실시예에서, 프로세서(202)는 위치 센서(232)로부터의 하나 이상의 센서 신호들에 기초하여 제스처를 결정하도록 구성된다. 예를 들어, 사용자는 제스처(예컨대, 현실 공간에서의 스와이핑 제스처)를 행할 수 있다. 컴퓨팅 디바이스(201)는 (예컨대, 위치 센서(232)에 의해 촬영된) 제스처와 연관된 복수의 카메라 영상들을 분석하고 복수의 카메라 영상들에 기초하여 제스처의 하나 이상의 특성들(예컨대, 제스처의 유형)을 결정할 수 있다. 예를 들어, 프로세서(202)는 카메라 영상들에 기초하여 사용자가 특정 유형의 제스처를 행했다고 결정할 수 있다. 다른 예로서, 일부 실시예에서, 위치 센서(232)는 사용자가 착용한 그리고/또는 사용자의 신체에 결합된(예컨대, 사용자가 잡고 있는) 전자 디바이스에 의해 방출되는 무선 신호의 강도를 검출하도록 구성되어 있는 무선 인터페이스를 포함한다. 위치 센서(232)는 무선 신호 강도와 연관된 센서 신호를 프로세서(202)로 전송할 수 있다. 어떤 기간에 걸쳐 위치 센서(232)에 의해 검출된 복수의 상이한 무선 신호 강도들에 기초하여, 프로세서(202)는, 예를 들어, 전자 디바이스가 특정의 제스처와 연관된 특정의 패턴으로 움직였다고 결정할 수 있다.In some embodiments, the processor 202 is configured to determine a gesture based on one or more sensor signals from the position sensor 232. For example, a user may perform a gesture (e.g., a sweeping gesture in a real space). The computing device 201 may analyze a plurality of camera images associated with the gesture (e.g., photographed by the position sensor 232) and determine one or more characteristics of the gesture (e.g., type of gesture) based on the plurality of camera images Can be determined. For example, the processor 202 may determine that the user has performed a particular type of gesture based on the camera images. As another example, in some embodiments, the position sensor 232 may be configured to detect the strength of a wireless signal that is worn by a user and / or emitted by an electronic device (e.g., held by a user) Lt; / RTI > The position sensor 232 may transmit a sensor signal associated with the wireless signal strength to the processor 202. [ Based on a plurality of different radio signal strengths detected by the position sensor 232 over a period of time, the processor 202 may determine, for example, that the electronic device has moved in a particular pattern associated with a particular gesture have.

일부 실시예에서, 위치 센서(232)는 (예컨대, 도 3과 관련하여 도시된 바와 같이) 컴퓨팅 디바이스(201)의 외부에 있고 컴퓨팅 디바이스(201)와 유선 또는 무선 통신을 한다. 예를 들어, 위치 센서(232)는 웨어러블 디바이스(예컨대, 안경 또는 넥타이)와 연관된 카메라를 포함하고 컴퓨팅 디바이스(201)와 통신할 수 있다. 다른 예로서, 위치 센서(232)는 컴퓨팅 디바이스(201)의 외부에(예컨대, 사용자의 집에서 선반 위에) 위치된 3D 영상 시스템 및/또는 LED 기반 추적 시스템을 포함하고 컴퓨팅 디바이스(201)와 통신할 수 있다.In some embodiments, the position sensor 232 is external to the computing device 201 (e.g., as shown in connection with FIG. 3) and is in wired or wireless communication with the computing device 201. For example, the position sensor 232 may include a camera associated with a wearable device (e.g., a pair of glasses or a tie) and may communicate with the computing device 201. As another example, the position sensor 232 may include a 3D imaging system and / or an LED-based tracking system located outside the computing device 201 (e.g., on a shelf in the user's home) and may communicate with the computing device 201 can do.

일부 실시예에서, 컴퓨팅 디바이스(201)는 프로세서(202)와 통신하는 햅틱 출력 디바이스(218)를 포함한다. 일부 실시예에서, 단일의 햅틱 출력 디바이스(218)가 로컬 햅틱 효과와 원격 햅틱 효과 둘 다를 출력하도록 구성된다. 햅틱 출력 디바이스(218)는, 햅틱 신호에 응답하여, 햅틱 효과(예컨대, 원격 햅틱 효과 및/또는 로컬 햅틱 효과)를 출력하도록 구성된다. 햅틱 효과는, 예를 들어, 온도의 변화, 쓰다듬는 느낌, 전기 촉각 효과, 온도의 변화, 및/또는 표면 변형(예컨대, 컴퓨팅 디바이스(201)와 연관된 표면의 변형)을 포함할 수 있다. 게다가, 일부 햅틱 효과들은 동일하거나 상이한 유형의 다수의 햅틱 출력 디바이스들(218)을 순차적으로 그리고/또는 한꺼번에 사용할 수 있다. 도 2에 단일의 햅틱 출력 장치(218)가 도시되어 있지만, 실시예들은 햅틱 효과를 생성하기 위해 동일하거나 상이한 유형의 다수의 햅틱 출력 디바이스들(218)을 사용할 수 있다.In some embodiments, the computing device 201 includes a haptic output device 218 in communication with the processor 202. In some embodiments, a single haptic output device 218 is configured to output both local haptic effects and remote haptic effects. The haptic output device 218 is configured to output a haptic effect (e.g., a remote haptic effect and / or a local haptic effect) in response to the haptic signal. The haptic effect may include, for example, a change in temperature, a feeling of stroking, an electrotactic effect, a change in temperature, and / or a surface variation (e.g., a variation in surface associated with computing device 201). In addition, some haptic effects may use multiple haptic output devices 218 of the same or different types sequentially and / or at once. Although a single haptic output device 218 is shown in FIG. 2, embodiments can use multiple haptic output devices 218 of the same or different types to generate a haptic effect.

일부 실시예에서, 햅틱 출력 디바이스(218)는 컴퓨팅 디바이스(201)의 외부에 있고 (이더넷, USB, IEEE 1394와 같은 유선 인터페이스, 및/또는 IEEE 802.11, 블루투스, 또는 무선 인터페이스(radio interface)와 같은 무선 인터페이스(wireless interface)를 통해) 컴퓨팅 디바이스(201)와 통신할 수 있다. 예를 들어, 햅틱 출력 디바이스(218)는 웨어러블 디바이스와 연관(예컨대, 그에 결합)되고 프로세서(202)로부터 햅틱 신호들을 수신하도록 구성될 수 있다.In some embodiments, the haptic output device 218 is external to the computing device 201 (such as Ethernet, USB, a wired interface such as IEEE 1394, and / or a wireless interface such as an IEEE 802.11, Bluetooth, or radio interface) (E.g., via a wireless interface) to the computing device 201. For example, the haptic output device 218 may be configured to be associated (e.g., coupled to) a wearable device and receive haptic signals from the processor 202.

일부 실시예에서, 햅틱 출력 디바이스(218)는 진동을 포함하는 햅틱 효과를 출력하도록 구성된다. 햅틱 출력 디바이스(218)는, 예를 들어, 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 중합체, 솔레노이드, ERM(eccentric rotating mass motor), LRA(linear resonant actuator), 및/또는 전극들 사이의 정전기 인력 및 척력으로 인해 진동하도록 구성된 복수의 전도성 전극들 중 하나 이상을 포함할 수 있다.In some embodiments, the haptic output device 218 is configured to output a haptic effect that includes vibration. The haptic output device 218 may be, for example, a piezoelectric actuator, an electric motor, an electromagnetic actuator, a voice coil, a shape memory alloy, an electroactive polymer, a solenoid, an eccentric rotating mass motor (ERM) And / or a plurality of conductive electrodes configured to vibrate due to electrostatic attraction and repulsion between the electrodes.

일부 실시예에서, 햅틱 출력 디바이스(218)는 햅틱 출력 디바이스(218)와 연관된 표면의 인지된 마찰 계수를 변조하는 햅틱 효과를 출력하도록 구성된다. 일 실시예에서, 햅틱 출력 디바이스(218)는 초음파 액추에이터를 포함한다. 초음파 액추에이터는 초음파 주파수, 예를 들어, 20 kHz로 진동하여, 연관된 표면의 인지된 계수를 증가 또는 감소시킬 수 있다. 일부 실시예에서, 초음파 액추에이터는 압전 재료를 포함할 수 있다.In some embodiments, the haptic output device 218 is configured to output a haptic effect that modulates the perceived friction coefficient of the surface associated with the haptic output device 218. In one embodiment, the haptic output device 218 includes an ultrasonic actuator. The ultrasonic actuator may vibrate at an ultrasonic frequency, for example, 20 kHz, to increase or decrease the perceived coefficient of the associated surface. In some embodiments, the ultrasonic actuator may comprise a piezoelectric material.

일부 실시예에서, 햅틱 출력 디바이스(218)는 정전기 햅틱 효과를 출력하기 위해 정전기 인력을 사용한다. 일부 실시예에서, 정전기 햅틱 효과는 시뮬레이트된 텍스처, 시뮬레이트된 진동, 쓰다듬는 느낌, 및/또는 컴퓨팅 디바이스(201)와 연관된 표면 상에서의 마찰 계수의 인지된 변화를 포함할 수 있다.In some embodiments, the haptic output device 218 uses electrostatic attraction to output an electrostatic haptic effect. In some embodiments, the electrostatic haptic effect may include a perceived change in the simulated texture, simulated vibration, stroking feeling, and / or friction coefficient on the surface associated with the computing device 201.

예를 들어, 일부 실시예에서, 햅틱 출력 디바이스(218)는 전도층 및 절연층을 포함할 수 있다. 일부 실시예에서, 전도층은, 구리, 알루미늄, 금, 은, 그래핀, 탄소 나노튜브, ITO(Indium tin oxide), 백금, 폴리(3,4-에틸렌디옥시티오펜) 폴리스티렌 술폰산염("PEDOT:PSS), 또는 이들의 임의의 조합과 같은, 임의의 반도체 또는 다른 전도성 재료를 포함할 수 있다. 일부 실시예에서, 절연층은 유리, 플라스틱, 중합체, 실리카, 파릴렌, 캡톤 테이프, 이산화실리콘(SiO2), 산화알루미늄(Al2O3), 질화실리콘(Si3N4), 또는 이들의 임의의 조합을 포함할 수 있다. 게다가, 프로세서(202)는 전기 신호, 예를 들어, AC 신호를 전도층에 인가함으로써 햅틱 출력 디바이스(218)를 작동시킬 수 있다. 일부 실시예에서, 고전압 증폭기는 AC 신호를 발생시킬 수 있다. 전기 신호는 전도층과 햅틱 출력 디바이스(218)의 근방에 있거나 그와 맞닿은 객체(예컨대, 사용자의 손가락, 머리, 발, 팔, 어깨, 다리, 또는 다른 신체 부위, 또는 스타일러스) 사이에 용량성 결합을 발생시킬 수 있다. 객체와 전도층 사이의 인력 레벨들을 변화시키는 것은 사용자에 의해 인지되는 햅틱 효과를 변화시킬 수 있다.For example, in some embodiments, the haptic output device 218 may include a conductive layer and an insulating layer. In some embodiments, the conductive layer is formed of a material selected from the group consisting of copper, aluminum, gold, silver, graphene, carbon nanotubes, indium tin oxide (ITO), platinum, poly (3,4- ethylenedioxythiophene) polystyrenesulfonate : ≪ / RTI > PSS), or any combination thereof. In some embodiments, the insulating layer is formed of a material selected from the group consisting of glass, plastic, polymer, silica, parylene, (SiO 2), aluminum oxide (Al 2 O 3), silicon nitride (Si 3 N 4), or may include any combination thereof. in addition, the processor 202 is an electrical signal, for example, AC The high voltage amplifier may generate an AC signal, which may be applied to the conductive layer and the haptic output device 218. In some embodiments, (E.g., a user's finger, head, foot, Arms, shoulders, legs, or other body parts, or stylus.) Changing the attraction levels between the object and the conductive layer may change the haptic effect perceived by the user.

일부 실시예에서, 전도층은 복수의 전극들을 포함한다. 복수의 전극들은 특정의 패턴 또는 구성으로 배열될 수 있다. 예를 들어, 복수의 전극들은 복수의 전극 스트립들을 포함할 수 있다. 전극 스트립들은 컴퓨팅 디바이스(201)의 하나 이상의 표면들에 걸쳐 대각 패턴, 수평 패턴, 수직 패턴, 또는 다른 패턴으로 배열될 수 있다. 다른 예로서, 전극들 중 하나 이상은 원형, 삼각형, 타원형, 정사각형, 직사각형, 또는 다른 형상을 포함할 수 있다. 예를 들어, 전극들의 주변부 또는 외주부는 원형, 삼각형, 타원형, 정사각형, 직사각형, 또는 다른 형상을 포함할 수 있다. 복수의 전극들은, 임의의 구성으로 배열되고 임의의 수의 형상들을 포함하는, 임의의 수의 전극들을 포함할 수 있다. 일부 실시예에서, 프로세서(202)는 복수의 전극들 전부 또는 그의 서브셋에 전기 신호를 인가하는 것에 의해 햅틱 출력 디바이스(218)를 작동시킬 수 있다. 전기 신호는 전극들과 전극들의 근방에 있거나 그와 접촉하는 객체 사이에 용량성 결합을 발생시킬 수 있다. 사용자는 용량성 결합을 햅틱 효과로서 인지할 수 있다.In some embodiments, the conductive layer comprises a plurality of electrodes. The plurality of electrodes may be arranged in a specific pattern or configuration. For example, the plurality of electrodes may comprise a plurality of electrode strips. The electrode strips may be arranged in a diagonal pattern, a horizontal pattern, a vertical pattern, or other pattern across one or more surfaces of the computing device 201. As another example, one or more of the electrodes may comprise a circular, triangular, elliptical, square, rectangular, or other shape. For example, the peripheral or peripheral portion of the electrodes may include a circular, triangular, oval, square, rectangular, or other shape. The plurality of electrodes may comprise any number of electrodes arranged in any configuration and including any number of shapes. In some embodiments, the processor 202 may operate the haptic output device 218 by applying an electrical signal to all or a subset of the plurality of electrodes. The electrical signal can cause capacitive coupling between the electrodes and objects in the vicinity of or in contact with the electrodes. The user can recognize the capacitive coupling as a haptic effect.

일부 실시예에서, 정전기 햅틱 효과는 "동적 ESF 효과"를 포함한다. 동적 ESF 효과는 사용자의 신체 부위(예컨대, 손가락)가 햅틱 출력 디바이스(218)와 연관된 표면에 대해 움직일 때 사용자에 의해 인지가능한 정전기 햅틱 효과를 포함할 수 있다. 예를 들어, 동적 ESF 효과는 사용자가 햅틱 출력 디바이스(218)의 절연체층의 표면을 따라 손가락을 슬라이딩시킬 때 사용자에 의해 인지가능할 수 있다. 다른 예로서, 동적 ESF 효과는 (예컨대, 사용자가 정지한 채로 있는 동안) 컴퓨팅 디바이스(201)가 사용자의 신체와 맞닿아 움직일 때 사용자에 의해 인지가능할 수 있다.In some embodiments, the electrostatic haptic effect includes a "dynamic ESF effect ". The dynamic ESF effect may include a perceived electrostatic haptic effect as the user's body part (e.g., a finger) moves relative to the surface associated with the haptic output device 218. For example, the dynamic ESF effect may be perceivable by the user as the user slides the finger along the surface of the insulator layer of the haptic output device 218. [ As another example, the dynamic ESF effect may be recognizable by the user as the computing device 201 moves against the user ' s body (e.g., while the user remains stationary).

예를 들어, 컴퓨팅 디바이스(201)는 하나 이상의 가상 사용자 인터페이스 컴포넌트들(예컨대, 버튼, 슬라이더, 노브 등)을 포함하는 그래픽 사용자 인터페이스(GUI)를 터치 스크린 디스플레이 상에 출력할 수 있다. 예를 들어, GUI는 가상 버튼을 포함할 수 있다. 사용자 인터페이스 컴포넌트는, 플라스틱 텍스처와 같은, 가상 텍스처를 포함할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는, 사용자가 사용자 인터페이스 컴포넌트와 연관된 터치 스크린 디스플레이 상의 위치를 가로질러 손가락을 슬라이딩시킨 것에 응답하여, 햅틱 효과를 출력할 수 있다. 햅틱 효과는, 예컨대, 플라스틱 텍스처를 시뮬레이트하도록 구성된 동적 ESF 효과를 포함할 수 있다.For example, the computing device 201 may output a graphical user interface (GUI) comprising one or more virtual user interface components (e.g., buttons, sliders, knobs, etc.) on the touch screen display. For example, the GUI may include a virtual button. The user interface component may include a virtual texture, such as a plastic texture. In some embodiments, the computing device 201 may output a haptic effect in response to a user sliding a finger across a location on the touch screen display associated with the user interface component. The haptic effect may include, for example, a dynamic ESF effect configured to simulate a plastic texture.

일부 실시예에서, 정전기 햅틱 효과는 정적 ESF 효과를 포함한다. 정적 ESF 효과는 사용자가 신체 부위를 햅틱 출력 디바이스(218)와 연관된 표면에 대해(예컨대, 그를 가로질러 또는 그에 수직으로) 움직일 필요 없이 사용자에 의해 인지가능한 정전기 햅틱 효과를 포함할 수 있다. 예를 들어, 사용자는 표면에 대해 실질적으로 움직이지 않고 여전히 햅틱 효과를 인지할 수 있다. 게다가, 사용자는 정적 ESF 효과를 인지하기 위해 표면과 전혀 접촉할 필요가 없을 수 있다. 예를 들어, 상기 GUI 환경에서, 컴퓨팅 디바이스(201)는, 사용자가 손가락을 터치 스크린 디스플레이 위쪽에서 그리고 사용자 인터페이스 컴포넌트 상에서 호버링한 것에 응답하여, 정적 ESF 햅틱 효과를 출력할 수 있다. 일부 실시예에서, 정적 ESF 효과는, 예컨대, 진동 느낌을 발생시키기 위해 정전기력을 사용하여 사용자의 신체 부위(예컨대, 손가락)를 반복하여 끌어당기고 밀어내는 것을 포함한다. 햅틱 효과는, 예를 들어, 사용자가 인에이블된 버튼 또는 디스에이블된 버튼에 접근하고 그리고/또는 그 위쪽에 호버링하고 있다는 것을 사용자에게 통지할 수 있다.In some embodiments, the electrostatic haptic effect includes a static ESF effect. The static ESF effect may include a perceivable electrostatic haptic effect without requiring the user to move the body part against a surface associated with the haptic output device 218 (e.g., across it or perpendicular thereto). For example, the user can still perceive the haptic effect without substantially moving against the surface. In addition, the user may not need to make any contact with the surface to recognize the static ESF effect. For example, in the GUI environment, the computing device 201 may output a static ESF haptic effect in response to the user hovering the finger above the touch screen display and on the user interface component. In some embodiments, static ESF effects include repeatedly pulling and pushing a user's body part (e.g., a finger) using an electrostatic force to generate a vibrational impression, for example. The haptic effect may, for example, notify the user that the user is accessing and / or hovering over an enabled or disabled button.

일부 실시예에서, 햅틱 출력 디바이스(218)는 변형 햅틱 효과를 출력하도록 구성된 변형 디바이스를 포함한다. 변형 햅틱 효과는 컴퓨팅 디바이스(201)와 연관된 표면의 부분들을 상승 또는 하강시키는 것을 포함할 수 있다. 예를 들어, 변형 햅틱 효과는 울퉁불퉁한 텍스처를 발생시키기 위해 컴퓨팅 디바이스(201)의 표면의 부분들을 상승시키는 것을 포함할 수 있다. 일부 실시예에서, 변형 햅틱 효과는 컴퓨팅 디바이스(201)와 연관된 표면을 굴곡시키는 것, 주름지게 하는 것, 롤링하는 것, 휘는 것, 쥐어짜는 것, 구부리는 것, 그의 형상을 변경하는 것, 또는 다른 방식으로 변형시키는 것을 포함할 수 있다. 예를 들어, 변형 햅틱 효과는 컴퓨팅 디바이스(201) 또는 컴퓨팅 디바이스(201)와 연관된 표면에 힘을 가하여, 그로 하여금 굴곡하거나, 주름지거나, 롤링하거나, 휘거나, 쥐어짜지거나, 구부러지거나, 형상을 변경하거나, 또는 다른 방식으로 변형되게 할 수 있다. 예를 들어, 사용자가 컴퓨팅 디바이스(201)에 접근한 것에 응답하여, 컴퓨팅 디바이스(201)는 컴퓨팅 디바이스(201)로 하여금 사용자 쪽으로 굴곡하게 하도록 구성된 햅틱 효과를 출력할 수 있다. 이 변형 햅틱 효과는, 사용자가 컴퓨팅 디바이스(201)에 접근하고 궁극적으로 그와 접촉할 때, 사용자에게 제공되는 실질적으로 연속적인 햅틱 피드백의 적어도 일부일 수 있다.In some embodiments, the haptic output device 218 includes a modification device configured to output a modified haptic effect. The deformation haptic effect may include raising or lowering portions of the surface associated with the computing device 201. For example, the deformation haptic effect may include elevating portions of the surface of the computing device 201 to generate a rugged texture. In some embodiments, the deformed haptic effect may be achieved by bending, corrugating, rolling, bending, squeezing, bending, changing its shape, or otherwise deforming the surface associated with computing device 201 Or may be modified in other ways. For example, a deformed haptic effect may apply a force to a surface associated with computing device 201 or computing device 201 to cause it to bend, wrinkle, roll, bend, squeeze, bend, Altered, or otherwise modified. For example, in response to a user accessing the computing device 201, the computing device 201 may output a haptic effect configured to cause the computing device 201 to bend towards the user. This modified haptic effect may be at least part of the substantially continuous haptic feedback provided to the user when the user approaches and eventually contacts the computing device 201.

일부 실시예에서, 햅틱 출력 디바이스(218)는 변형 햅틱 효과를 출력하도록(예컨대, 컴퓨팅 디바이스(201) 또는 컴퓨팅 디바이스(201)와 연관된 표면을 굴곡시키거나 변형시키도록) 구성된 유체 또는 다른 재료들을 포함한다. 예를 들어, 유체는 스마트 젤(smart gel)을 포함할 수 있다. 스마트 젤은 자극 또는 자극들(예컨대, 전기장, 자기장, 온도, 자외광, 흔들림, 또는 pH 변동)에 응답하여 변하는 기계적 또는 구조적 특성들을 갖는 재료를 포함한다. 예를 들어, 자극에 응답하여, 스마트 젤은 강성, 체적, 투명도, 및/또는 색상이 변할 수 있다. 일부 실시예에서, 강성은 컴퓨팅 디바이스(201)와 연관된 표면의 변형에 대한 내성을 포함할 수 있다. 일부 실시예에서, 하나 이상의 와이어들이 스마트 젤에 매립되거나 그에 결합될 수 있다. 와이어들을 통해 전류가 흐를 때, 열이 방출되어, 스마트 젤을 팽창 또는 수축시킨다. 이것은 컴퓨팅 디바이스(201) 또는 컴퓨팅 디바이스(201)와 연관된 표면을 변형시킬 수 있다.In some embodiments, the haptic output device 218 includes a fluid or other material configured to output a deforming haptic effect (e.g., to flex or deform a surface associated with the computing device 201 or the computing device 201) do. For example, the fluid may include a smart gel. Smart gels include materials with mechanical or structural properties that vary in response to stimuli or stimuli (e.g., electric field, magnetic field, temperature, ultraviolet light, shake, or pH variation). For example, in response to stimulation, the smart gel may vary in stiffness, volume, transparency, and / or color. In some embodiments, the stiffness may include resistance to deformation of the surface associated with the computing device 201. In some embodiments, one or more wires may be embedded in or coupled to the smart gel. As current flows through the wires, heat is released, causing the smart gel to expand or contract. This may modify the surface associated with the computing device 201 or the computing device 201.

다른 예로서, 유체는 유변(예컨대, 자기 유변 또는 전기 유변) 유체를 포함할 수 있다. 유변 유체는 유체(예컨대, 오일 또는 물)에 현탁되어 있는 금속 입자들(예컨대, 철 입자들)을 포함한다. 전기장 또는 자기장에 응답하여, 유체에서의 분자들의 순서가 재정렬되어, 유체의 전체적인 감쇠 및/또는 점도를 변경시킬 수 있다. 이것은 컴퓨팅 디바이스(201) 또는 컴퓨팅 디바이스(201)와 연관된 표면을 변형시킬 수 있다.As another example, the fluid may comprise a rheological (e.g., magnetorheological or electrorheological) fluid. A rheological fluid includes metal particles (e.g., iron particles) that are suspended in a fluid (e.g., oil or water). In response to an electric field or magnetic field, the order of the molecules in the fluid can be rearranged to change the overall attenuation and / or viscosity of the fluid. This may modify the surface associated with the computing device 201 or the computing device 201.

일부 실시예에서, 햅틱 출력 디바이스(218)는 기계적 변형 디바이스를 포함한다. 예를 들어, 일부 실시예에서, 햅틱 출력 디바이스(218)는 변형 컴포넌트를 회전시키는 아암(arm)에 결합된 액추에이터를 포함할 수 있다. 변형 컴포넌트는, 예를 들어, 타원형, 별 모양의, 또는 물결 모양의 형상을 포함할 수 있다. 변형 컴포넌트는 컴퓨팅 디바이스(201)와 연관된 표면은 어떤 회전 각도로 움직이고 다른 것들은 움직이지 않도록 구성될 수 있다. 액추에이터는 압전 엑추에이터, 회전/선형 액추에이터, 솔레노이드, 전기 활성 중합체 액추에이터, 매크로 섬유 복합재(macro fiber composite)(MFC) 액추에이터, 형상 기억 합금(shape memory alloy)(SMA) 액추에이터, 및/또는 다른 액추에이터를 포함할 수 있다. 액추에이터가 변형 컴포넌트를 회전시킬 때, 변형 컴포넌트는 표면을 움직여, 표면을 변형시킬 수 있다. 이러한 실시예에서, 변형 컴포넌트는 표면이 편평한 위치에서 시작될 수 있다. 프로세서(202)로부터 신호를 수신한 것에 응답하여, 액추에이터는 변형 컴포넌트를 회전시킬 수 있다. 변형 컴포넌트를 회전시키는 것은 표면의 하나 이상의 부분들을 상승 또는 하강시킬 수 있다. 변형 컴포넌트는, 일부 실시예에서, 프로세서(202)가 변형 컴포넌트를 다시 그의 원래의 위치로 회전시키라고 액추에이터에 신호할 때까지, 이 회전된 상태에 있는 채로 있을 수 있다.In some embodiments, the haptic output device 218 includes a mechanical deforming device. For example, in some embodiments, the haptic output device 218 may include an actuator coupled to an arm that rotates the deformable component. The deformable component may, for example, comprise an oval, star, or wavy shape. The deformation component may be configured such that the surface associated with computing device 201 moves at some rotational angle while the others do not. The actuators include piezoelectric actuators, rotary / linear actuators, solenoids, electroactive polymer actuators, macrofiber composite (MFC) actuators, shape memory alloy (SMA) actuators, and / or other actuators can do. As the actuator rotates the deformable component, the deformable component can move the surface to deform the surface. In such an embodiment, the deforming component can be started at a flat surface. In response to receiving a signal from the processor 202, the actuator may rotate the deformable component. Rotating the deforming component may raise or lower one or more portions of the surface. The deformation component may remain in this rotated state until, in some embodiments, the processor 202 signals the actuator to rotate the deformation component back to its original position.

게다가, 컴퓨팅 디바이스(201)와 연관된 표면을 변형시키기 위해 그리고/또는 햅틱 효과들을 다른 방식으로 발생시키기 위해 다른 기법들 또는 방법들이 사용될 수 있다. 예를 들어, 햅틱 출력 디바이스(218)는, (예컨대, 섬유 및 나노튜브(이들로 제한되지 않음)를 포함하는) 표면 재구성가능 햅틱 기판으로부터의 접촉에 기초하여, 그의 표면을 변형시키거나 그의 텍스처를 변화시키도록 구성된 연성 표면층을 포함할 수 있다. 일부 실시예에서, 햅틱 출력 디바이스(218)는, 예컨대, 와이어들에 결합된 모터, 공기 또는 포켓, 공진 기계 요소, MEMS(micro-electromechanical systems) 요소 또는 펌프, 열 유체 포켓, 가변 다공성 막, 또는 층류 변조(laminar flow modulation)를 사용하여 변형되거나 햅틱 효과들을 다른 방식으로 발생시킨다.In addition, other techniques or methods may be used to modify the surface associated with computing device 201 and / or to generate haptic effects in other ways. For example, the haptic output device 218 may be configured to modify its surface or to modify its texture (e.g., based on contact from a surface reconfigurable haptic substrate (including, but not limited to, fibers and nanotubes) And a flexible surface layer configured to vary the thickness of the substrate. In some embodiments, the haptic output device 218 may include, for example, a motor coupled to the wires, air or a pocket, a resonating mechanical element, a micro-electromechanical systems (MEMS) element or pump, a thermal fluid pocket, Laminar flow modulation is used to generate deformed or haptic effects in different ways.

일부 실시예에서, 햅틱 출력 디바이스(218)는 (예컨대, 원격 햅틱 효과들을 발생시키기 위해) 햅틱 출력들을 사용자에게 원격적으로 투사하도록 구성된다. 예를 들어, 햅틱 출력 디바이스(218)는 재료들(예컨대, 고체, 액체, 기체, 또는 플라즈마)을 사용자(예컨대, 사용자의 신체 부위) 쪽으로 방출하도록 구성된 하나 이상의 분출구들을 포함할 수 있다. 하나의 이러한 실시예에서, 햅틱 출력 디바이스(218)는 햅틱 신호의 수신 시에 다양한 특성들을 갖는 산소, 질소, 또는 다른 기체의 뿜기 또는 흐름을 방출하도록 구성된 기체 분출구를 포함한다. 다른 예로서, 햅틱 출력 디바이스(218)는 압력파들을 사용자의 방향으로 투사하도록 구성된 하나 이상의 초음파 트랜스듀서들 또는 스피커들을 포함할 수 있다. 하나의 이러한 실시예에서, 프로세서(202)는, 사용자가 현실 공간에서 제스처를 한 것에 응답하여, 햅틱 출력 디바이스(218)로 하여금 집중된 압력파를 사용자 쪽으로 방출하게 할 수 있다. 집중된 압력파는 사용자의 신체의 일부분(예컨대, 사용자의 손가락)을 진동시킬 수 있다. 사용자는 진동을 햅틱 효과로서 인지할 수 있다.In some embodiments, the haptic output device 218 is configured to remotely project the haptic outputs to the user (e.g., to generate remote haptic effects). For example, the haptic output device 218 may include one or more vents configured to emit materials (e.g., solids, liquids, gases, or plasmas) toward a user (e.g., a user's body part). In one such embodiment, the haptic output device 218 includes a gas inlet configured to emit a stream or a flow of oxygen, nitrogen, or other gas having various characteristics upon receipt of a haptic signal. As another example, the haptic output device 218 may include one or more ultrasonic transducers or speakers configured to project pressure waves in the direction of the user. In one such embodiment, the processor 202 may cause the haptic output device 218 to emit a concentrated pressure wave toward the user, in response to the user making a gesture in real space. The concentrated pressure wave may vibrate a portion of the user's body (e.g., the user's finger). The user can perceive the vibration as a haptic effect.

일부 실시예에서, 햅틱 출력 디바이스(218)는 컴퓨팅 디바이스(201)의 하우징의 일부분일 수 있다. 다른 실시예에서, 햅틱 출력 디바이스(218)는 컴퓨팅 디바이스(201)와 연관된 표면(예컨대, 컴퓨팅 디바이스(201)의 전면 또는 배면)을 덮고 있는 연성 하우징 내부에 하우징될 수 있다. 일부 실시예에서, 햅틱 출력 디바이스(218) 자체가 연성일 수 있다.In some embodiments, the haptic output device 218 may be part of the housing of the computing device 201. The haptic output device 218 may be housed within a flexible housing that covers a surface associated with the computing device 201 (e.g., the front or back of the computing device 201). In some embodiments, the haptic output device 218 itself may be malleable.

메모리(204)를 살펴보면, 일부 실시예에서 어떻게 디바이스가 위치 기반 햅틱 효과들을 제공하도록 구성될 수 있는지를 보여주기 위해 모듈들(224, 226, 및 228)이 도시되어 있다. 일부 실시예에서, 제스처 검출 모듈(224)은, 예를 들어, 사용자에 의한 제스처를 결정하기 위해 프로세서(202)에 의해 사용가능한 하나 이상의 알고리즘들 또는 룩업 테이블들을 포함한다.Looking at memory 204, modules 224, 226, and 228 are shown in some embodiments to show how a device can be configured to provide position-based haptic effects. In some embodiments, the gesture detection module 224 includes one or more algorithms or lookup tables that can be used by the processor 202, for example, to determine a gesture by a user.

일부 실시예에서, 제스처 검출 모듈(224)은 컴퓨팅 디바이스(201)와의 접촉을 검출하기 위한 코드를 포함한다. 예를 들어, 이러한 실시예에서, 제스처 검출 모듈(224)은 사용자가 터치 감응 표면(216)과 접촉했는지를 결정하기 위해 터치 센서(208)를 샘플링할 수 있다. 다른 이러한 실시예에서, 제스처 검출 모듈(224)은 위치 센서(232)로부터의 복수의 화상들을 분석하고 사용자의 신체 부위에 대응하는 픽셀들이 컴퓨팅 디바이스(201)와 연관된 픽셀들을 오버레이하고 있는지를 결정할 수 있다. 그러한 경우, 제스처 검출 모듈(224)은, 예컨대, 사용자가 컴퓨팅 디바이스(201)와 접촉하고 있다고 결정할 수 있다.In some embodiments, the gesture detection module 224 includes code for detecting contact with the computing device 201. For example, in this embodiment, the gesture detection module 224 may sample the touch sensor 208 to determine if the user has contacted the touch sensitive surface 216. In other such embodiments, the gesture detection module 224 may analyze a plurality of images from the position sensor 232 and determine whether the pixels corresponding to the user ' s body part are overlaid with pixels associated with the computing device 201 have. In such a case, the gesture detection module 224 may determine, for example, that the user is in contact with the computing device 201.

일부 실시예에서, 제스처 검출 모듈(224)은 컴퓨팅 디바이스(201)에 대한 사용자의 위치를 결정하기 위해 네트워크 인터페이스 디바이스(210)를 통해 수신된 데이터를 분석하기 위한 코드를 포함한다. 예를 들어, 일부 실시예에서, 사용자는 GPS 센서를 포함하는, 스마트 반지 또는 스마트 워치와 같은, 디바이스를 착용하고 있을 수 있다. 이러한 실시예에서, 디바이스는 디바이스의 GPS 위치(예컨대, 사용자의 신체 부위의 GPS 위치)와 연관된 신호들을 컴퓨팅 디바이스(201)로 전송하도록 구성될 수 있다. 일부 실시예에서, 제스처 검출 모듈(224)은 디바이스로부터 GPS 위치를 수신하고 GPS 위치를 (예컨대, 센서(230)에 의해 검출되는 바와 같은) 컴퓨팅 디바이스(201)의 GPS 위치와 비교하기 위한 코드를 포함한다. 이것은 컴퓨팅 디바이스(201)가 컴퓨팅 디바이스(201)에 대한 디바이스(예컨대, 사용자)의 위치를 결정할 수 있게 할 수 있다. 제스처 검출 모듈(224)은 위치에 기초하여 제스처를 결정하기 위한 코드를 포함할 수 있다.In some embodiments, the gesture detection module 224 includes code for analyzing the data received via the network interface device 210 to determine the location of the user with respect to the computing device 201. For example, in some embodiments, a user may be wearing a device, such as a smart ring or a smart watch, which includes a GPS sensor. In such an embodiment, the device may be configured to send signals associated with the GPS location of the device (e.g., the GPS location of the user's body part) to the computing device 201. [ In some embodiments, the gesture detection module 224 receives a GPS location from the device and provides a code for comparing the GPS location with the GPS location of the computing device 201 (e.g., as detected by the sensor 230) . This may allow the computing device 201 to determine the location of the device (e.g., user) for the computing device 201. Gesture detection module 224 may include code for determining a gesture based on location.

햅틱 효과 결정 모듈(226)은 발생시킬 햅틱 효과를 결정하기 위해 데이터를 분석하는 프로그램 컴포넌트를 나타낸다. 햅틱 효과 결정 모듈(226)은 하나 이상의 알고리즘들 또는 룩업 테이블들을 사용하여 출력할 하나 이상의 햅틱 효과들을 선택하는 코드를 포함할 수 있다. 일부 실시예에서, 햅틱 효과 결정 모듈(226)은 검출된 제스처에 기초하여 출력할 하나 이상의 햅틱 효과들을 결정하기 위한 코드를 포함한다. 예를 들어, 프로세서(202)는 특정 제스처를, 공기 뿜기 또는 정전기 햅틱 효과와 같은, 특정의 햅틱 효과에 매핑하기 위해 햅틱 효과 결정 모듈(226)에 저장된 룩업 테이블에 액세스할 수 있다.The haptic effect determination module 226 represents a program component that analyzes the data to determine the haptic effect to generate. The haptic effect determination module 226 may include code for selecting one or more haptic effects to output using one or more algorithms or lookup tables. In some embodiments, the haptic effect determination module 226 includes code for determining one or more haptic effects to output based on the detected gesture. For example, processor 202 may access a look-up table stored in haptic effect determination module 226 to map a particular gesture to a specific haptic effect, such as a pneumatic or electrostatic haptic effect.

일부 실시예에서, 햅틱 효과 결정 모듈(226)은, 예컨대, 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하기 위해, 하나 이상의 햅틱 출력 디바이스들(218)을 사용하여 출력할 복수의 햅틱 효과들을 결정하는 코드를 포함한다. 예를 들어, 햅틱 효과 결정 모듈(226)은, 사용자가 컴퓨팅 디바이스(201)에 접근하고 그와 접촉할 때, 실질적으로 연속적인 햅틱 피드백을 제공하기 위해 서로 결합하여 사용할 복수의 이용가능한 햅틱 출력 디바이스들 중에서 2개 이상의 상이한 햅틱 출력 디바이스들을 선택하기 위한 코드를 포함할 수 있다.In some embodiments, haptic effect determination module 226 determines a plurality of haptic effects to output using one or more haptic output devices 218, for example, to provide substantially continuous haptic feedback throughout the gesture . For example, the haptic effect determination module 226 may include a plurality of available haptic output devices 226 for use in combination with one another to provide substantially continuous haptic feedback when a user approaches and contacts the computing device 201, May include code for selecting two or more different haptic output devices from among the plurality of haptic output devices.

햅틱 효과 발생 모듈(228)은, 선택된 햅틱 효과를 발생시키기 위해, 프로세서(202)로 하여금 햅틱 신호들을 발생시켜 햅틱 출력 디바이스(218)로 전송하게 하는 프로그래밍을 나타낸다. 예를 들어, 햅틱 효과 발생 모듈(228)은 원하는 햅틱 효과를 생성하기 위해 햅틱 출력 디바이스(218)로 송신할 저장된 파형들 또는 커맨드들에 액세스할 수 있다. 일부 실시예에서, 햅틱 효과 발생 모듈(228)은 햅틱 신호를 결정할 알고리즘들을 포함할 수 있다. 게다가, 일부 실시예에서, 햅틱 효과 발생 모듈(228)은 햅틱 효과에 대한 목표 좌표들(예컨대, 햅틱 효과를 출력할 사용자의 신체 상의 위치에 대한 좌표들)을 결정하는 알고리즘들을 포함할 수 있다.The haptic effect generating module 228 represents programming that causes the processor 202 to generate and transmit haptic signals to the haptic output device 218 to generate the selected haptic effect. For example, the haptic effect generation module 228 may access stored waveforms or commands to be transmitted to the haptic output device 218 to produce a desired haptic effect. In some embodiments, the haptic effect generating module 228 may comprise algorithms for determining a haptic signal. In addition, in some embodiments, the haptic effect generating module 228 may include algorithms for determining target coordinates (e.g., coordinates for a position on the body of the user to output a haptic effect) for the haptic effect.

모듈들(224, 226, 228)이 도 2에서 메모리(204) 내에 프로그램 컴포넌트들로서 도시되어 있지만, 일부 실시예에서, 모듈들(224, 226, 228)이 하드웨어를 포함할 수 있다. 예를 들어, 모듈들(224, 226, 228)은 아날로그-디지털 변환기, 프로세서, 마이크로컨트롤러, 비교기, 증폭기, 트랜지스터, 및 다른 아날로그 또는 디지털 회로부를 포함할 수 있다.Although modules 224, 226, 228 are shown as program components in memory 204 in Figure 2, in some embodiments modules 224, 226, 228 may comprise hardware. For example, modules 224, 226, and 228 may include analog-to-digital converters, processors, microcontrollers, comparators, amplifiers, transistors, and other analog or digital circuitry.

도 3은 위치 기반 햅틱 효과들을 제공하는 시스템(300)의 일 실시예를 나타내고 있다. 시스템(300)은 웨어러블 컴퓨팅 디바이스(302), 파지가능 컴퓨팅 디바이스(304), 위치 센서(316), 및/또는 네트워크(314)에 연결된 원격 햅틱 출력 디바이스(318)를 포함한다. 웨어러블 컴퓨팅 디바이스(302) 및/또는 파지가능 컴퓨팅 디바이스는 도 2의 컴퓨팅 디바이스(201)와 실질적으로 동일하게 구성될 수 있다.Figure 3 illustrates one embodiment of a system 300 that provides location based haptic effects. System 300 includes a wearable computing device 302, a graspable computing device 304, a position sensor 316, and / or a remote haptic output device 318 coupled to a network 314. The wearable computing device 302 and / or the graspable computing device may be configured substantially the same as the computing device 201 of FIG.

컴퓨팅 디바이스들(302, 304), 위치 센서(316), 및/또는 원격 햅틱 출력 디바이스(318)는 서로 직접 통신할 수 있고 그리고/또는 네트워크(314)를 통해 서로 통신할 수 있다. 예를 들어, 웨어러블 컴퓨팅 디바이스(302)는 (예컨대, 블루투스를 사용하여) 파지가능 컴퓨팅 디바이스(304)와 직접 무선으로 통신할 수 있다.The computing devices 302 and 304, the position sensor 316, and / or the remote haptic output device 318 may communicate with one another directly and / or via the network 314. For example, the wearable computing device 302 may communicate directly with the graspable computing device 304 (e.g., using Bluetooth) wirelessly.

시스템(300)은 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하기 위해 임의의 수, 조합, 및/또는 구성의 웨어러블 컴퓨팅 디바이스들(302), 파지가능 컴퓨팅 디바이스들(304), 위치 센서들(316), 및/또는 원격 햅틱 출력 디바이스들(318)을 사용할 수 있다. 예를 들어, 일부 실시예에서, 웨어러블 컴퓨팅 디바이스(302), 파지가능 컴퓨팅 디바이스(304), 위치 센서(316), 및 원격 햅틱 출력 디바이스(318)는, 예컨대, 사용자가, 트리거(306), 조이스틱(308), 버튼(310), 및/또는 방향 패드(312)와 같은, 파지가능 컴퓨팅 디바이스(304)의 사용자 인터페이스 컴포넌트에 접근하고, 그와 접촉하며 그리고/또는 그로부터 손가락을 들어올릴 때, 실질적으로 연속적인 햅틱 피드백을 사용자에게 제공하기 위해 협력한다.System 300 may include any number, combination, and / or configuration of wearable computing devices 302, graspable computing devices 304, position sensors (not shown) to provide substantially continuous haptic feedback throughout the gesture 316, and / or remote haptic output devices 318. For example, in some embodiments, the wearable computing device 302, the graspable computing device 304, the position sensor 316, and the remote haptic output device 318 may be configured such that, for example, When accessing, contacting, and / or lifting a finger of a user interface component of the fingable computing device 304, such as a joystick 308, a button 310, and / or a directional pad 312, And cooperate to provide substantially continuous haptic feedback to the user.

특정의 예로서, 일부 실시예에서, 사용자는 사용자의 시야가 실질적으로 차단되는 비디오 게임을 플레이하기 위해 가상 현실 헤드셋을 착용하고 있을 수 있다. 이러한 실시예에서, 시스템(300)은, 사용자가 파지가능 컴퓨팅 디바이스(304)에 접근하고 그를 궁극적으로 집어들 때, 사용자가 그렇지 않았으면 볼 수 없을지도 모르는 파지가능 컴퓨팅 디바이스(304)로 사용자를 안내하기 위해 실질적으로 연속적인 햅틱 피드백을 출력하도록 구성될 수 있다. 예를 들어, 위치 센서(316)는 사용자가 파지가능 컴퓨팅 디바이스(304)에 접근하는 것을 검출하고 연관된 센서 신호들을 웨어러블 컴퓨팅 디바이스(302) 및/또는 원격 햅틱 출력 디바이스(318)로 전송할 수 있다. 웨어러블 컴퓨팅 디바이스(302) 및/또는 원격 햅틱 출력 디바이스(318)는, 그에 응답하여, 햅틱 효과들을, 사용자가 파지가능 컴퓨팅 디바이스(304)에 보다 가까워짐에 따라, 예컨대, 감소하는 크기들로 출력할 수 있다. 사용자가 최종적으로 파지가능 컴퓨팅 디바이스(304)와 접촉한 것에 응답하여, 파지가능 컴퓨팅 디바이스(304)는, 진동과 같은, 햅틱 효과를 출력할 수 있다. 일부 실시예에서, 시스템(300)의 다양한 컴포넌트들로부터의 햅틱 효과들의 조합은, 예컨대, 사용자를 파지가능 컴퓨팅 디바이스(304) 쪽으로 안내하기 위해, 실질적으로 연속적인 햅틱 피드백을 사용자에게 제공할 수 있다.As a specific example, in some embodiments, a user may be wearing a virtual reality headset to play a video game in which the user's view is substantially blocked. In such an embodiment, the system 300 may be configured to allow a user to access a user with a phageable computing device 304, which may not be visible if the user does not otherwise, when the user accesses and ultimately picks up the phonable computing device 304 And output substantially continuous haptic feedback for guidance. For example, the position sensor 316 may detect a user accessing the graspable computing device 304 and transmit the associated sensor signals to the wearable computing device 302 and / or the remote haptic output device 318. The wearable computing device 302 and / or the remote haptic output device 318 may responsively output haptic effects as the user approaches the graspable computing device 304, e.g., in decreasing sizes . In response to the user finally contacting the graspable computing device 304, the graspable computing device 304 may output a haptic effect, such as vibration. In some embodiments, a combination of haptic effects from various components of the system 300 may provide a substantially continuous haptic feedback to the user, for example, to guide the user towards the graspable computing device 304 .

일부 실시예에서, 시스템(300)은 정보를 사용자에게 제공하도록 구성된 하나 이상의 햅틱 효과들을 출력하도록 구성된다. 예를 들어, 사용자는, 예컨대, 비디오 게임을 플레이하기 위해, 파지가능 컴퓨팅 디바이스(304)를 잡을 수 있다. 시스템(300)은 사용자의 신체 부위가 파지가능 컴퓨팅 디바이스(304)(예컨대, 트리거(306))의 특정의 사용자 인터페이스 컴포넌트와 접촉하지 않고 그 위쪽에 호버링하는 것을 검출할 수 있다. 일부 실시예에서, 시스템(300)은, 그에 응답하여, 햅틱 효과(예컨대, 공기 뿜기)를 사용자 쪽으로(예컨대, 트리거(306) 위쪽에서 사용자의 손가락의 배면 쪽으로) 출력할 수 있다. 햅틱 효과는, 예를 들어, 사용자 인터페이스 컴포넌트의 특성을 사용자에게 통지하도록 구성될 수 있다. 예를 들어, 이러한 실시예에서, 햅틱 효과는, 사용자 인터페이스 컴포넌트가 인에이블되어 있는지와 같은, 사용자 인터페이스 컴포넌트의 유형, 위치, 기능, 및/또는 상태를 사용자에게 통지할 수 있다. 이것은 사용자가, 예를 들어, 특정의 사용자 인터페이스가 사용자 인터페이스 컴포넌트와 물리적으로 접촉함이 없이 인에이블되어 있는지를 결정할 수 있게 할 수 있다.In some embodiments, the system 300 is configured to output one or more haptic effects configured to provide information to a user. For example, the user may capture the graspable computing device 304, e.g., to play a video game. The system 300 may detect that a user's body part is hovering above it without contacting a particular user interface component of the graspable computing device 304 (e.g., the trigger 306). In some embodiments, the system 300 may, in response, output a haptic effect (e.g., air blast) towards the user (e.g., toward the back of the user's finger above the trigger 306). The haptic effect can be configured, for example, to notify the user of the characteristics of the user interface component. For example, in this embodiment, the haptic effect may notify the user of the type, location, function, and / or status of the user interface component, such as whether the user interface component is enabled. This may allow a user to determine, for example, whether a particular user interface is enabled without physically touching the user interface component.

게다가, 일부 실시예에서, 시스템(300)은, 사용자가 사용자 인터페이스 컴포넌트 위쪽에서 호버링하고, 그에 접근하며, 궁극적으로 그와 접촉할 때, 연속적인 햅틱 피드백을 제공하도록 구성된다. 일부 실시예에서, 시스템(300)은, 그에 부가하여 또는 대안적으로, 사용자가 (예컨대, 사용자 인터페이스 컴포넌트와 상호작용한 후에) 사용자 인터페이스 컴포넌트로부터 멀어지게 손가락을 움직일 때, 연속적인 햅틱 피드백을 제공하도록 구성된다. 사용자가 사용자 인터페이스 컴포넌트로부터 멀어지게 움직일 때의 햅틱 피드백 출력은 사용자가 사용자 인터페이스 컴포넌트에 접근하고 그리고/또는 그와 접촉할 때의 햅틱 피드백 출력과 상이할 수 있다. 예를 들어, 시스템(300)은, 사용자가 사용자 인터페이스 컴포넌트가 더 이상 인에이블되어 있지 않다는 것을 사용자에게 알려주도록 구성되어 있는 사용자 인터페이스 컴포넌트로부터 멀어지게 움직일 때, 햅틱 피드백을 출력할 수 있다.In addition, in some embodiments, the system 300 is configured to provide continuous haptic feedback when the user hoveres above, approaches, and ultimately contacts the user interface component. In some embodiments, the system 300 may additionally or alternatively provide continuous haptic feedback when the user moves his / her finger away from the user interface component (e.g., after interacting with the user interface component) . The haptic feedback output when the user moves away from the user interface component may differ from the haptic feedback output when the user approaches and / or contacts the user interface component. For example, the system 300 may output haptic feedback when the user moves away from a user interface component that is configured to inform the user that the user interface component is no longer enabled.

일부 실시예에서, 시스템(300)은, 그에 부가하여 또는 대안적으로, 다수의 사용자 인터페이스 레벨들을 갖는 사용자 인터페이스를 (예컨대, 디스플레이를 통해) 출력한다. 예를 들어, 시스템(300)은 사용자 인터페이스를 포함하는 비디오 게임을 실행할 수 있다(예컨대, 파지가능 컴퓨팅 디바이스(304) 자체가 비디오 게임을 실행할 수 있다). 비디오 게임은, 가상 레이저 건과 같은, 가상 객체를 포함할 수 있다. 일부 실시예에서, 시스템(300)은, 제1 제스처(예컨대, 사용자가 신체 부위 및/또는 물리 객체를 파지가능 컴퓨팅 디바이스(304)에 대해 제1 위치에 위치시키는 것)에 응답하여, 사용자가 사용자 인터페이스의 제1 사용자 인터페이스 레벨과 상호작용하는 것 및/또는 그를 활성화시키는 것을 검출할 수 있다. 예를 들어, 시스템(300)은, 사용자가 파지가능 컴퓨팅 디바이스(304)의 트리거(306) 위쪽에서 손가락을 호버링하는 것에 응답하여, 사용자가 제1 사용자 인터페이스 레벨과 상호작용하는 것 및/또는 그를 활성화시키는 것을 검출할 수 있다. 일부 실시예에서, 시스템(300)은 제1 사용자 인터페이스 레벨과 연관된 기능(예컨대, 탄창을 가상 레이저 건에 장전하는 것)을 수행할 수 있다. 그에 부가하여 또는 대안적으로, 시스템(300)은, 탄창을 가상 레이저 건에 장전하는 것을 시뮬레이트하도록 구성된 햅틱 효과와 같은, 제1 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다.In some embodiments, the system 300 may additionally or alternatively output (e.g., via a display) a user interface having a plurality of user interface levels. For example, the system 300 may execute a video game that includes a user interface (e.g., the phishable computing device 304 itself may execute a video game). A video game may include virtual objects, such as virtual laser guns. In some embodiments, the system 300 may be configured to allow a user to interact with a first gesture (e.g., a user placing a body part and / or a physical object in a first position relative to the graspable computing device 304) And may interact with and / or activate the first user interface level of the user interface. For example, in response to a user hovering a finger above the trigger 306 of the graspable computing device 304, the system 300 may allow the user to interact with the first user interface level and / Activation can be detected. In some embodiments, the system 300 may perform a function associated with a first user interface level (e.g., loading a magazine into a virtual laser gun). Additionally or alternatively, the system 300 may output a haptic effect associated with the first user interface level, such as a haptic effect configured to simulate loading the magazine into the virtual laser gun.

게다가, 일부 실시예에서, 시스템(300)은, 사용자가 신체 부위를 파지가능 컴퓨팅 디바이스(304)에 대해 제2 위치에 위치시키는 것에 응답하여, 사용자가 제2 사용자 인터페이스 레벨과 상호작용하는 것 및/또는 그를 활성화시키는 것을 검출할 수 있다. 예를 들어, 시스템(300)은, 사용자가 파지가능 컴퓨팅 디바이스(304)에 보다 가깝게 트리거(306) 위쪽에서 손가락을 호버링하는 것에 응답하여, 사용자가 제2 사용자 인터페이스 레벨과 상호작용하는 것 및/또는 그를 활성화시키는 것을 검출할 수 있다. 일부 실시예에서, 시스템(300)은 제2 사용자 인터페이스 레벨과 연관된 기능(예컨대, 가상 레이저 건에 장전하는 것)을 수행할 수 있다. 시스템(300)은, 그에 부가하여 또는 대안적으로, 가상 레이저 건에 장전하는 것을 시뮬레이트하도록 구성된 햅틱 효과와 같은, 제2 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다.In addition, in some embodiments, the system 300 may be configured to allow a user to interact with a second user interface level, and / or, in response to the user placing a body part in a second position relative to the graspable computing device 304, / RTI > and / or activating it. For example, in response to a user hovering a finger above the trigger 306 closer to the graspable computing device 304, the system 300 may allow the user to interact with the second user interface level and / Or activating it. In some embodiments, the system 300 may perform a function associated with a second user interface level (e.g., loading a virtual laser gun). The system 300 can additionally or alternatively output a haptic effect associated with a second user interface level, such as a haptic effect configured to simulate loading on a virtual laser gun.

게다가, 일부 실시예에서, 시스템(300)은, 사용자가 신체 부위를 파지가능 컴퓨팅 디바이스(304)에 대해 제3 위치에 위치시키는 것에 응답하여, 사용자가 제3 사용자 인터페이스 레벨과 상호작용하는 것 및/또는 그를 활성화시키는 것을 검출할 수 있다. 예를 들어, 시스템(300)은, 사용자가 파지가능 컴퓨팅 디바이스(304)의 트리거(306)를 누르는 것에 응답하여, 사용자가 제3 사용자 인터페이스 레벨과 상호작용하는 것 및/또는 그를 활성화시키는 것을 검출할 수 있다. 일부 실시예에서, 시스템(300)은 제3 사용자 인터페이스 레벨과 연관된 기능(예컨대, 가상 레이저 건을 발사하는 것)을 수행할 수 있다. 시스템(300)은, 그에 부가하여 또는 대안적으로, 가상 레이저 건을 발사하는 것을 시뮬레이트하도록 구성된 햅틱 효과와 같은, 제3 사용자 인터페이스 레벨과 연관된 햅틱 효과를 출력할 수 있다. 이와 같이, 사용자는 신체 부위를 특정의 사용자 인터페이스 컴포넌트 위쪽에서 상이한 위치들에 위치시키는 것에 의해 복수의 기능들을 수행할 수 있을 수 있다. 이것은 사용자에 대한 보다 직관적이고 단순화된 경험을 제공할 수 있다.In addition, in some embodiments, the system 300 may be configured to allow a user to interact with a third user interface level, and / or in response to a user placing a body part in a third position relative to the graspable computing device 304, / RTI > and / or activating it. For example, the system 300 may detect that the user interacts with and / or activates a third user interface level in response to the user pressing the trigger 306 of the graspable computing device 304 can do. In some embodiments, the system 300 may perform a function associated with a third user interface level (e.g., firing a virtual laser gun). The system 300 may additionally or alternatively output a haptic effect associated with a third user interface level, such as a haptic effect configured to simulate firing a virtual laser gun. As such, a user may be able to perform a plurality of functions by locating body parts at different locations above a particular user interface component. This can provide a more intuitive and simplified experience for the user.

도 4는 위치 기반 햅틱 효과들을 제공하는 시스템(400)의 다른 실시예를 나타내고 있다. 시스템(400)은 차량을 포함한다. 차량은 (예컨대, 차량의 내부에 있는) 컴퓨팅 디바이스를 포함한다. 도 4의 차량이 자동차를 포함하지만, 다른 실시예에서, 차량은 트럭, 보트, 비행기, 모터사이클 등을 포함할 수 있다.Figure 4 illustrates another embodiment of a system 400 that provides location based haptic effects. System 400 includes a vehicle. The vehicle includes a computing device (e.g., internal to the vehicle). Although the vehicle of Fig. 4 includes an automobile, in other embodiments, the vehicle may include a truck, a boat, an airplane, a motorcycle, and the like.

컴퓨팅 디바이스는 하나 이상의 사용자 인터페이스 컴포넌트들(예컨대, 조이스틱, 버튼, 트리거, 스위치, 노브, 터치 감응 표면 등)을 통신한다. 도 4에 도시된 예에서, 컴퓨팅 디바이스는 터치스크린 디스플레이(402) 및 다수의 버튼들(406)과 통신한다. 시스템(400)은 또한 위치 센서(404) 및 햅틱 출력 디바이스를 포함한다. 햅틱 출력 디바이스는 로컬 및/또는 원격 햅틱 효과들을 사용자에게 제공하도록 구성된다.A computing device communicates one or more user interface components (e.g., a joystick, button, trigger, switch, knob, touch sensitive surface, etc.). In the example shown in FIG. 4, a computing device communicates with a touch screen display 402 and multiple buttons 406. The system 400 also includes a position sensor 404 and a haptic output device. The haptic output device is configured to provide local and / or remote haptic effects to a user.

일부 실시예에서, 컴퓨팅 디바이스는, 현실 공간에서의 제스처에 응답하여, 햅틱 피드백(예컨대, 실질적으로 연속적인 햅틱 피드백)을 사용자에게 제공하도록 구성된다. 예를 들어, 컴퓨팅 디바이스는, 예컨대, 오디오 볼륨, 라디오 방송국, 에어컨 또는 열 레벨, 및/또는 GPS 내비게이션 설정과 같은, 하나 이상의 차량 설정들을 변경하도록 구성된 GUI를 터치스크린 디스플레이(402)를 통해 출력할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는, 사용자가 GUI의 특정의 가상 객체(예컨대, 오디오 볼륨을 조절하기 위한 가상 버튼)에 접근하고, 그와 접촉하며, 그리고/또는 그로부터 멀어지게 움직일 때, 실질적으로 연속적인 햅틱 피드백을 사용자에게 제공하도록 구성된다. 이러한 실시예에서, 컴퓨팅 디바이스는, 사용자가 더 이상 가상 객체 위쪽에서 제스처하는 것(예컨대, 가상 객체 위쪽에서 손가락을 호버링하는 것)을 하지 않는 것, 및/또는 가상 객체와 사용자 사이의 거리가 문턱값을 초과한다(예컨대, 사용자가 가상 객체로부터 충분히 멀리 떨어지게 움직였다)는 것을 검출한 것에 응답하여, 햅틱 피드백을 출력하는 것을 중단할 수 있다. 일부 실시예에서, 이러한 연속적인 햅틱 피드백은 사용자가 원하는 사용자 인터페이스 컴포넌트를 위치확인할 수 있게 하고 그리고/또는, 예컨대, 시각적으로 터치스크린 디스플레이 상에 집중하지 않고, 컴퓨팅 디바이스와 안전하게 상호작용할 수 있게 할 수 있으며, 이는 사고 또는 부상을 방지할 수 있다.In some embodiments, the computing device is configured to provide haptic feedback (e.g., substantially continuous haptic feedback) to a user in response to a gesture in real space. For example, the computing device may output via the touchscreen display 402 a GUI configured to change one or more vehicle settings, such as, for example, audio volume, radio station, air conditioner or thermal level, and / or GPS navigation settings . In some embodiments, the computing device may be configured so that when a user approaches, interacts with, and / or moves away from a particular virtual object (e.g., a virtual button for adjusting audio volume) of the GUI, To provide the user with haptic feedback. In such an embodiment, the computing device may be configured so that the user no longer does what the user gestures above the virtual object (e.g., hovering the finger above the virtual object), and / In response to detecting that the user has moved far enough away from the virtual object (e.g., the user moved far enough away from the virtual object). In some embodiments, such continuous haptic feedback may allow the user to position the desired user interface components and / or securely interact with the computing device, for example, without visually focusing on the touch screen display Which can prevent accidents or injuries.

일 예로서, 일부 실시예에서, 컴퓨팅 디바이스는 사용자가, 예컨대, 라디오 방송국을 변경하기 위해, GUI 상에 출력되는 가상 버튼 위쪽에서 (예컨대, 손가락으로) 제스처하는 것을 검출하도록 구성된다. 컴퓨팅 디바이스는, 그에 응답하여, 예컨대, 사용자가 특정의 가상 객체 위쪽에서 제스처하고 있다는 것을 사용자에게 통지하도록 구성된 원격 햅틱 효과(예컨대, 초음파 압력파)를 출력하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스는, 사용자가 가상 버튼에 접근한다는 것을 검출한 것에 응답하여, 원격 햅틱 효과들을 계속 출력하도록 구성된다. 이러한 실시예에서, 컴퓨팅 디바이스는, 예컨대, 사용자가 원격 햅틱 효과들을 실질적으로 일정한 크기를 갖는 것으로 인지하도록, 원격 햅틱 효과들의 강도를 변조할 수 있다. 이와 같이, 예컨대, 사용자가 원격 햅틱 효과들의 소스에 보다 가까이에서 움직이고 있을 수 있더라도, 사용자는 원격 햅틱 효과들을 실질적으로 일정한 크기를 갖는 것으로 인지할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는 사용자가 (예컨대, 터치스크린 디스플레이(402) 및/또는 위치 센서(404)를 통해) 가상 객체와 접촉한 것을 검출하도록 구성된다. 컴퓨팅 디바이스는, 그에 응답하여, 원격 햅틱 효과들을 출력하는 것을 중단하고 그리고/또는, 예컨대, 펄스형 진동을 포함하는 로컬 햅틱 효과를 출력할 수 있다. 이것은 컴퓨팅 디바이스가 사용자 입력을 수신했다는 것을 사용자에게 확인시켜줄 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는, 예컨대, 컴퓨팅 디바이스가 사용자가 신체 부위를 가상 객체로부터 멀어지게 움직인 것 및/또는 그와 더 이상 접촉하지 않는 것을 검출할 때까지, 로컬 햅틱 효과를 연속적으로 출력하도록 구성된다. 컴퓨팅 디바이스는 이어서, 예컨대, 사용자와 가상 객체 사이의 거리가 문턱값을 초과할 때까지, 하나 이상의 원격 햅틱 효과들을 출력할 수 있다.As an example, in some embodiments, the computing device is configured to detect that a user is gesturing (e.g., with a finger) above a virtual button that is output on the GUI to change, for example, a radio station. The computing device is configured to output a remote haptic effect (e. G., An ultrasonic pressure wave) configured to notify a user that, for example, the user is gesturing over a particular virtual object in response. In some embodiments, the computing device is configured to continue outputting remote haptic effects, in response to detecting that the user is accessing a virtual button. In such an embodiment, the computing device may modulate the intensity of the remote haptic effects, for example, so that the user perceives the remote haptic effects as having a substantially constant magnitude. Thus, for example, even though the user may be moving closer to the source of remote haptic effects, the user may perceive the remote haptic effects as having a substantially constant size. In some embodiments, the computing device is configured to detect that a user has contacted a virtual object (e.g., via touchscreen display 402 and / or location sensor 404). The computing device may, in response, stop outputting remote haptic effects and / or output local haptic effects, e.g., including pulsed vibrations. This may allow the user to confirm that the computing device has received the user input. In some embodiments, the computing device may continuously output a local haptic effect, for example, until the computing device detects that the user is moving away from the virtual object and / . The computing device may then output one or more remote haptic effects, for example, until the distance between the user and the virtual object exceeds a threshold value.

상기 논의가 (예컨대, 터치스크린 디스플레이(402) 상에 출력되는) 가상 객체를 참조하지만, 일부 실시예에서, 컴퓨팅 디바이스는, 버튼들(406), 트리거들, 스위치들, 조이스틱들(408), 노브들 등과 같은, 하나 이상의 물리적 사용자 인터페이스 컴포넌트들에 대해 수행되는 제스처들에 기초하여 햅틱 효과들을 출력하도록 구성될 수 있다.Although the discussion above refers to a virtual object (e.g., output on the touch screen display 402), in some embodiments the computing device may include buttons 406, triggers, switches, joysticks 408, Knobs, and the like, based on gestures performed on one or more physical user interface components.

일부 실시예에서, 컴퓨팅 디바이스는 다수의 사용자 인터페이스 레벨들을 포함하는 사용자 인터페이스를, 예컨대, 터치스크린 디스플레이(402)를 통해, 출력한다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스는 자동차에 있는 라디오와 연관된 GUI를 출력하도록 구성된다. 일부 실시예에서, 사용자는 터치스크린 디스플레이(402) 상에 출력되는, 라디오 방송국 스캔 버튼과 같은, 가상 버튼 위쪽에서 손가락을 호버링하는 것에 의해 사용자 인터페이스의 제1 사용자 인터페이스 레벨과 상호작용할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는 제1 사용자 인터페이스 레벨과 연관된 기능을 수행할 수 있다. 예를 들어, 컴퓨팅 디바이스는, "HOVER CLOSER TO SCAN, TAP TO TURN OFF"와 같은, 가상 버튼과 연관된 기능의 설명을 (예컨대, 터치스크린 디스플레이(402)를 통해) 출력할 수 있다. 컴퓨팅 디바이스는, 예컨대, 물리 버튼의 존재 또는 작동을 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 게다가, 일부 실시예에서, 사용자는 가상 버튼에 보다 가까이에서 제스처하는 것에 의해 제2 사용자 인터페이스 레벨과 상호작용할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는, 그에 응답하여, 복수의 라디오 방송국들을 스캔하도록 구성된다. 게다가, 일부 실시예에서, 사용자는 터치스크린 디스플레이(402)(예컨대, 및/또는 그 상에 출력되는 가상 버튼)와 접촉하는 것에 의해 제3 사용자 인터페이스 레벨과 상호작용할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스는, 그에 응답하여, 라디오를 끄도록 구성된다. 이와 같이, 일부 실시예에서, 컴퓨팅 디바이스는, 사용자가 다양한 사용자 인터페이스 레벨들과 상호작용한 것에 응답하여, 다수의 기능들을 수행하도록 구성된다.In some embodiments, the computing device outputs a user interface including a plurality of user interface levels, e.g., via the touchscreen display 402. For example, in some embodiments, the computing device is configured to output a GUI associated with the radio in the vehicle. In some embodiments, the user may interact with the first user interface level of the user interface by hovering the finger above the virtual button, such as a radio station scan button, output on the touch screen display 402. In some embodiments, the computing device may perform the functions associated with the first user interface level. For example, the computing device may output (e.g., via the touchscreen display 402) a description of the function associated with the virtual button, such as "HOVER CLOSER TO SCAN, TAP TO TURN OFF ". The computing device may, for example, output a haptic effect configured to simulate the presence or operation of a physical button. In addition, in some embodiments, the user may interact with the second user interface level by gesturing closer to the virtual button. In some embodiments, the computing device is configured to scan a plurality of radio stations in response. In addition, in some embodiments, the user may interact with the third user interface level by contacting the touch screen display 402 (e.g., and / or a virtual button output thereon). In some embodiments, the computing device is configured to turn off the radio in response. As such, in some embodiments, the computing device is configured to perform a plurality of functions in response to a user interacting with various user interface levels.

도 5는 위치 기반 햅틱 효과들을 제공하는 시스템의 또 다른 실시예를 나타내고 있다. 본 시스템은 가상 객체(506)를 디스플레이(예컨대, 터치스크린 디스플레이) 상에 출력하는 컴퓨팅 디바이스(502)(예컨대, 스마트폰 또는 태블릿)를 포함한다. 컴퓨팅 디바이스(502)는, 예컨대, 불을 포함하는 가상 객체(506)를 (예컨대, 디스플레이를 통해) 출력하고 있다. 컴퓨팅 디바이스(502)는, (예컨대, 파선 화살표로 도시된 바와 같이) 사용자가 가상 객체(506)에 접근하고 그리고/또는 그로부터 멀어지게 움직이는 것과 같은, 제스처를 검출하고, 그에 응답하여, 햅틱 효과들을 출력하도록 구성된다. 햅틱 효과들은 사용자에 대한 보다 실감나고 그리고/또는 몰입적인 햅틱 경험을 제공하도록 구성된다. 예를 들어, 햅틱 효과들은, 예컨대, 불의 열을 시뮬레이트하도록 구성될 수 있다. 예를 들어, 도 5에 도시된 예에서, 컴퓨팅 디바이스(502)는 사용자가 컴퓨팅 디바이스(502)에 접근하는 것을 검출한 것에 응답하여 증가하는 세기들 및/또는 사용자가 컴퓨팅 디바이스(502)로부터 멀어지게 움직이는 것에 응답하여 감소하는 세기들을 포함하는 햅틱 효과들(예컨대, 진동 또는 투사된 열)을 출력하도록 구성된다. 게다가, 일부 실시예에서, 컴퓨팅 디바이스(502)는 사용자가 컴퓨팅 디바이스(502)와 접촉하는 것을 검출한 것에 응답하여, 강타 또는 충격 느낌과 같은, 로컬 햅틱 효과를 출력하도록 구성된다. 일부 실시예에서, 실질적으로 연속적인 원격 및/또는 로컬 햅틱 효과들의 조합은, 사용자가 불에 대해 움직일 때 불의 증가하거나 감소하는 열과 같은, 가상 객체의 특성을 보다 실감나게 시뮬레이트할 수 있다.Figure 5 illustrates another embodiment of a system for providing location based haptic effects. The system includes a computing device 502 (e.g., a smartphone or tablet) that outputs a virtual object 506 on a display (e.g., a touch screen display). The computing device 502 is outputting (e.g., via a display) a virtual object 506 that includes, for example, fire. Computing device 502 may detect a gesture, such as a user accessing and / or moving away from virtual object 506 (e.g., as shown by the dashed arrow), and in response, . The haptic effects are configured to provide a more realistic and / or immersive haptic experience for the user. For example, haptic effects can be configured to simulate, for example, the heat of fire. For example, in the example illustrated in FIG. 5, the computing device 502 may be configured to receive incremental intensities in response to detecting a user accessing the computing device 502 and / (E.g., vibrational or projected heat) that includes the decreasing intensities in response to motion. In addition, in some embodiments, the computing device 502 is configured to output a local haptic effect, such as a striking or shock impression, in response to detecting a user contacting the computing device 502. In some embodiments, a substantially continuous combination of remote and / or local haptic effects may more realistically simulate the characteristics of a virtual object, such as a row of increasing or decreasing fire as the user moves against fire.

다른 예로서, 일부 실시예에서, 컴퓨팅 디바이스(502)는, 예컨대, 자석 및/또는 역장(force field)을 포함하는 가상 객체(506)를 (예컨대, 디스플레이를 통해) 출력하도록 구성된다. 이러한 실시예에서, 컴퓨팅 디바이스(502)는, 사용자가 컴퓨팅 디바이스(502)에 접근하는 것을 검출한 것에 응답하여, 증가하는 세기들을 포함하는 햅틱 효과들을 출력할 수 있다. 예를 들어, 햅틱 효과는 사용자의 움직임에 저항하도록 구성된 유체 또는 기체의 흐름을 포함할 수 있다. 이것은 사용자가 가상 객체(506)에 접근하는 것에 대해 저항할 수 있다(예컨대, 자기 저항 또는 역장을 시뮬레이트함). 컴퓨팅 디바이스(502)는, 사용자가 컴퓨팅 디바이스(502)로부터 멀어지게 움직이는 것을 검출한 것에 응답하여, 감소하는 세기들을 포함하는 햅틱 효과들을 출력할 수 있다. 예를 들어, 햅틱 효과는 사용자가 컴퓨팅 디바이스(502)로부터 멀어지게 움직이는 것을 돕도록 구성된 유체 또는 기체의 흐름을 포함할 수 있다. 이것은 자석의 자기장 및/또는 역장의 효과들을 보다 실감나게 시뮬레이트할 수 있다.As another example, in some embodiments, the computing device 502 is configured to output (e.g., via a display) a virtual object 506 that includes, for example, magnets and / or force fields. In such an embodiment, the computing device 502 may output haptic effects including increasing intensities, in response to the user detecting that the computing device 502 is approaching. For example, the haptic effect may comprise a flow of fluid or gas configured to resist movement of a user. This may allow the user to resist accessing the virtual object 506 (e.g., simulating magnetoresistance or force field). The computing device 502 may output haptic effects including decreasing intensities in response to detecting that the user is moving away from the computing device 502. For example, the haptic effect may include a flow of fluid or gas configured to help the user move away from the computing device 502. This makes it possible to more realistically simulate the effects of the magnetic field and / or the force field of the magnet.

일부 실시예에서, 햅틱 효과들은 정보를 사용자에게 제공하도록 구성된다. 예를 들어, 컴퓨팅 디바이스(502)는 애플리케이션을 실행할 수 있다. 애플리케이션은 기능이 중단되는 경우, 예컨대, 컴퓨팅 디바이스(502)에 손상을 야기할 수 있는 기능을 실행할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(502)는 사용자가 (예컨대, 위치 센서(504)를 통해) 컴퓨팅 디바이스(502) 쪽으로 제스처하는 것을 검출하고, 그에 응답하여, 예컨대, 컴퓨팅 디바이스(502) 쪽으로의 사용자의 움직임에 저항하도록 구성된 원격 햅틱 효과를 출력하도록 구성된다. 일부 실시예에서, 컴퓨팅 디바이스(502)는, 사용자가 컴퓨팅 디바이스(502)에 계속 접근할 때, 저항의 세기 및/또는 양을 증가시킬 수 있다. 이것은 사용자가 컴퓨팅 디바이스(502)와 상호작용해서는 안된다는 것을 사용자에게 알려줄 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(502)는 사용자가 궁극적으로 컴퓨팅 디바이스(502)와 접촉하는 것을 검출하고, 그에 응답하여, 예컨대, 일련의 펄스형 진동들을 포함하는 햅틱 효과를 출력하도록 구성된다. 이것은 사용자가 컴퓨팅 디바이스(502)와 상호작용해서는 안된다는 것을 사용자에게 알려줄 수 있다. 게다가, 일부 실시예에서, 컴퓨팅 디바이스(502)는 사용자가 손가락을 컴퓨팅 디바이스(502)의 표면을 가로질러 (예컨대, 터치 스크린 디스플레이 상에 출력되는 가상 버튼 쪽으로) 슬라이딩하는 것을 검출하고, 그에 응답하여, 예컨대, 마찰 계수의 인지된 증가를 포함하는 햅틱 효과를 출력하도록 구성된다. 이것은 사용자가 컴퓨팅 디바이스(502)와 상호작용하는 것을 물리적으로 보다 어렵게 만들 수 있다. 햅틱 효과들의 조합은 애플리케이션의 상태, 특성, 및/또는 다른 특징을 사용자에게 보다 적절히 통지할 수 있다.In some embodiments, haptic effects are configured to provide information to a user. For example, the computing device 502 may execute an application. The application may perform a function that may cause damage to the computing device 502, for example, when the function is interrupted. In some embodiments, computing device 502 may detect that a user is gesturing towards computing device 502 (e.g., via location sensor 504) and may, in response, A remote haptic effect configured to resist movement of the haptic device. In some embodiments, the computing device 502 may increase the strength and / or amount of resistance when the user continues to access the computing device 502. This may inform the user that the user should not interact with the computing device 502. In some embodiments, the computing device 502 is configured to detect that the user is ultimately in contact with the computing device 502 and, responsive thereto, is configured to output a haptic effect, e.g., comprising a series of pulsed vibrations. This may inform the user that the user should not interact with the computing device 502. In addition, in some embodiments, computing device 502 may detect that a user is sliding a finger across the surface of computing device 502 (e.g., toward a virtual button that is output on the touch screen display) For example, a sensed increase in the coefficient of friction. This may make it physically more difficult for a user to interact with the computing device 502. The combination of haptic effects may more appropriately inform the user of the status, characteristics, and / or other characteristics of the application.

일부 실시예에서, 컴퓨팅 디바이스(502)는, 그에 부가하여 또는 대안적으로, 예컨대, 상이한 깊이들에서 가상 객체(506)와 상호작용하는 것 및/또는 가상 객체(506)의 상이한 표면들과 상호작용하는 것을 시뮬레이트하도록 구성된, 다수의 사용자 인터페이스 레벨들을 포함하는 사용자 인터페이스를 출력한다. 예를 들어, 가상 객체(506)는, 복숭아와 같은, 가상 과일을 포함할 수 있다. 사용자는 현실 공간에서의 제1 위치에서 제스처하는 것(예컨대, 신체 부위를 위치시키는 것)에 의해, 외부 층과 같은, 가상 과일의 일부분과 상호작용할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(502)는 제스처를 검출하고, 그에 응답하여, 예컨대, 과일의 솜털 또는 외피를 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 게다가, 사용자는, 현실 공간에서의 제2 위치에서 제스처하는 것에 의해, 내부 층과 같은, 가상 과일의 다른 부분과 상호작용할 수 있다. 제2 위치는 제1 위치보다 컴퓨팅 디바이스(502)에 더 가까울 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(502)는 제2 위치에서 제스처를 검출하고, 그에 응답하여, 예컨대, 질척질척하거나 부드러운 텍스처와 같은, 과일의 내부 특성을 시뮬레이트하도록 구성된 햅틱 효과를 출력할 수 있다. 이러한 방식으로, 컴퓨팅 디바이스(502)는, 상이한 제스처들에 응답하여, 가상 객체(506)의 상이한 표면들 및/또는 깊이들을 시뮬레이트할 수 있다.In some embodiments, the computing device 502 may additionally or alternatively, for example, interact with the virtual object 506 at different depths and / or interact with different surfaces of the virtual object 506 And outputs a user interface comprising a plurality of user interface levels configured to simulate operating. For example, the virtual object 506 may include a virtual fruit, such as a peach. The user may interact with a portion of the virtual fruit, such as an outer layer, by gesturing at a first location in the real space (e.g., by locating a body part). In some embodiments, the computing device 502 may detect the gesture and in response may output a haptic effect configured to, for example, simulate the fuzziness or skin of the fruit. In addition, the user can interact with other portions of the virtual fruit, such as an inner layer, by gesturing at a second location in the real space. The second location may be closer to the computing device 502 than the first location. In some embodiments, the computing device 502 may detect the gesture in a second position and in response may output a haptic effect configured to simulate internal characteristics of the fruit, such as, for example, a vignetted or soft texture. In this manner, the computing device 502 may simulate different surfaces and / or depths of the virtual object 506, in response to different gestures.

위치 기반 햅틱 효과를 제공하는 예시적인 방법Exemplary methods of providing location based haptic effects

도 6은 일 실시예에 따른, 위치 기반 햅틱 효과들을 제공하는 방법을 수행하는 단계들의 플로우차트이다. 일부 실시예에서, 도 6에서의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 또는 서버 내의 프로세서에 의해 실행되는 프로그램 코드로 구현될 수 있다. 일부 실시예에서, 이 단계들은 일군의 프로세서들에 의해 구현될 수 있다. 일부 실시예에서, 도 6에 도시된 하나 이상의 단계들이 생략되거나 상이한 순서로 수행될 수 있다. 이와 유사하게, 일부 실시예에서, 도 6에 도시되지 않은 부가 단계들이 또한 수행될 수 있다. 이하의 단계들은 도 2에 도시된 컴퓨팅 디바이스(201)와 관련하여 앞서 기술한 컴포넌트들을 참조하여 기술된다.6 is a flow chart of steps for performing a method of providing location based haptic effects, in accordance with an embodiment. In some embodiments, the steps in FIG. 6 may be implemented in a processor, e. G., A general purpose computer, mobile device, or program code executed by a processor in a server. In some embodiments, these steps may be implemented by a set of processors. In some embodiments, one or more of the steps shown in Figure 6 may be omitted or performed in a different order. Similarly, in some embodiments, additional steps not shown in Fig. 6 may also be performed. The following steps are described with reference to the components described above in connection with the computing device 201 shown in FIG.

간단함을 위해, 이하의 단계들은 드로잉 애플리케이션을 참조하여 기술된다. 그러나, 이하의 단계들은 이러한 실시예로 제한되지 않고, 단계들의 임의의 조합이 다른 유형의 애플리케이션들 및/또는 디바이스들을 통해 이용될 수 있다.For simplicity, the following steps are described with reference to the drawing application. However, the following steps are not limited to such an embodiment, and any combination of steps may be used with other types of applications and / or devices.

방법(600)은 프로세서(202)가 적어도 (예컨대, 컴퓨팅 디바이스(201)의) 표면과의 접촉 및 표면과의 비접촉을 포함하는 제스처와 연관된 센서 신호를 수신하는 단계(602)에서 시작된다. 예를 들어, 프로세서(202)는 드로잉 애플리케이션을 실행할 수 있다. 사용자는, 예컨대, 드로잉 애플리케이션에서 하나 이상의 드로잉 동작들을 수행하기 위해, 스타일러스(예컨대, 또는 펜 또는 다른 객체)를 컴퓨팅 디바이스(201) 쪽으로 움직일 수 있다. 위치 센서(232)(예컨대, 카메라)는 스타일러스의 움직임과 연관된 하나 이상의 영상들을 포착하고 연관된 센서 신호를 프로세서(202)로 전송할 수 있다. 이러한 실시예에서, 영상들은, 스타일러스의 일부분과 같은, 전경 특징들 및, 의자, 테이블, 벽, 책상 등과 같은, 배경 특징들을 포함할 수 있다.The method 600 begins at step 602 where the processor 202 receives a sensor signal associated with a gesture that includes at least a contact with a surface (e.g., of the computing device 201) and a noncontact with the surface. For example, the processor 202 may execute a drawing application. A user may move a stylus (e.g., a pen or other object) toward the computing device 201, for example, to perform one or more drawing operations in the drawing application. The position sensor 232 (e.g., a camera) may capture one or more images associated with the movement of the stylus and transmit the associated sensor signal to the processor 202. In such an embodiment, the images may include foreground features, such as a portion of a stylus, and background features, such as a chair, table, wall, desk, and the like.

방법(600)은 프로세서(202)가 제스처에 적어도 부분적으로 기초하여 사용자 인터페이스 레벨을 결정하는 단계(604)에서 계속된다. 일부 실시예에서, 프로세서(202)는 사용자 인터페이스 레벨을 결정하기 위해 메모리(204)에 포함된 프로그래밍, 룩업 테이블, 및/또는 알고리즘에 의존하도록 구성된다. 예를 들어, 프로세서(202)는 (제스처와 연관되어 있는) 현실 공간에서의 위치를 드로잉 애플리케이션의 특정의 사용자 인터페이스 레벨에 매핑하기 위해 룩업 테이블을 사용할 수 있다. 예를 들어, 프로세서(202)는 컴퓨팅 디바이스(201)로부터 먼 거리에 있는 현실 공간에서의 제1 위치를 드로잉 애플리케이션에서 출력되는 드로잉의 사시도와 연관된 제1 사용자 인터페이스 레벨에 매핑할 수 있다. 프로세서(202)는 컴퓨팅 디바이스(201)로부터 중간 거리에 있는 제2 위치를 드로잉 애플리케이션에서 출력되는 드로잉의 확대도 및/또는 단면도와 연관된 제2 사용자 인터페이스 레벨에 매핑할 수 있다.The method 600 continues at step 604 where the processor 202 determines a user interface level based at least in part on the gesture. In some embodiments, the processor 202 is configured to rely on programming, lookup tables, and / or algorithms included in the memory 204 to determine the user interface level. For example, the processor 202 may use a look-up table to map a location in the real space (associated with the gesture) to a particular user interface level of the drawing application. For example, the processor 202 may map a first location in the real space a long distance from the computing device 201 to a first user interface level associated with a perspective of the drawing output in the drawing application. The processor 202 may map a second location at a medium distance from the computing device 201 to a second user interface level associated with an enlargement and / or cross-section of the drawing output in the drawing application.

일부 실시예에서, 프로세서(202)는 단일의 제스처를 사용자 인터페이스 레벨과 연관시킬 수 있다. 예를 들어, 프로세서(202)는 하나의 특정 제스처를 제1 사용자 인터페이스 레벨과 그리고 다른 제스처를 제2 사용자 인터페이스 레벨과 연관시킬 수 있다. 다른 실시예에서, 프로세서(202)는 복수의 제스처들을 사용자 인터페이스 레벨과 연관시킬 수 있다. 예를 들어, 일부 실시예에서, 프로세서(202)는 컴퓨팅 디바이스(201)로부터 일정 범위의 거리들 내에(예컨대, 컴퓨팅 디바이스(201)의 표면으로부터 4 인치 내지 8 인치에서) 일어나는 임의의 제스처들을 단일의 사용자 인터페이스 레벨과 연관시킬 수 있다. In some embodiments, the processor 202 may associate a single gesture with a user interface level. For example, processor 202 may associate one specific gesture with a first user interface level and another gesture with a second user interface level. In another embodiment, the processor 202 may associate a plurality of gestures with a user interface level. For example, in some embodiments, the processor 202 may perform any gestures that occur within a range of distances from the computing device 201 (e.g., at 4 inches to 8 inches from the surface of the computing device 201) 0.0 > user interface < / RTI >

방법(600)은 프로세서(202)가 제스처에 기초하여 사용자 상호작용을 결정하는 단계(606)에서 계속된다. 예를 들어, 프로세서(202)는, 예컨대, 제스처의 3차원 시작 위치 및/또는 끝 위치에 기초하여, 제스처가 스와이프 제스처, 호버링 제스처, 또는 다른 유형의 제스처를 포함한다고 결정할 수 있다. 프로세서(202)는 제스처의 특정의 유형 및/또는 위치를, 선 도구, 정사각형 형상 도구, 페인트 브러시 크기 수정 도구 등을 활성화시키는 것과 같은, 드로잉 애플리케이션과 연관된 특정 사용자 상호작용에 상관시킬 수 있다.The method 600 continues at step 606 where the processor 202 determines a user interaction based on the gesture. For example, the processor 202 may determine that the gesture includes a swipe gesture, a hovering gesture, or other type of gesture based on, for example, the three-dimensional starting and / or ending position of the gesture. The processor 202 may correlate a particular type and / or location of the gesture with a particular user interaction associated with the drawing application, such as activating a line tool, a square shape tool, a paint brush size modification tool, or the like.

방법(600)은 프로세서(202)가 사용자 인터페이스 레벨 및/또는 사용자 상호작용에 적어도 부분적으로 기초하여 기능을 결정하는 단계(608)에서 계속된다. 일부 실시예에서, 기능은 오디오 데이터, 비디오 데이터, 및/또는 정보(예컨대, 근방의 주유소, 레스토랑, 극장, 경찰서, 또는 병원, 또는 교통 상황 또는 속도 제한)를 출력하는 것; 전화를 거는 것; 문자 메시지, SMS 메시지, 또는 이메일을 송신하는 것; 웹 브라우저를 여는 것 또는 웹 사이트에 액세스하는 것; 애플리케이션을 여는 것; 애플리케이션을 닫는 것; 백그라운드 처리(background processing)를 수행하는 것; 포어그라운드 처리(foreground processing)를 수행하는 것; 파일을 저장하는 것; 파일을 여는 것; 게임 기능을 수행하는 것; 데이터를 수신하는 것; 데이터를 송신하는 것; 애플리케이션 설정을 변경하는 것; 네트워크를 통해 제품을 주문하는 것; 문서를 인쇄하는 것; 엔트리를 목록에 추가하는 것; 목록으로부터 엔트리를 제거하는 것; 사운드를 녹음하는 것; 미디어 콘텐츠를 재생하는 것; e-북(e-book)을 여는 것; 계산을 수행하는 것; 가격 비교를 수행하는 것; 은행 잔고를 검사하는 것; 및/또는 임의의 다른 수 및/또는 구성의 컴퓨터 기능들을 포함한다.The method 600 continues at step 608 where the processor 202 determines a function based at least in part on user interface level and / or user interaction. In some embodiments, the function is to output audio data, video data, and / or information (e.g., near a gas station, restaurant, theater, police station, or hospital, or traffic situation or speed limit); Calling; Sending a text message, an SMS message, or an e-mail; Opening a web browser or accessing a web site; Opening an application; Closing the application; Performing background processing; Performing foreground processing; Saving the file; Opening a file; Performing game functions; Receiving data; Transmitting data; Changing application settings; Ordering products through a network; Printing a document; Adding entries to the list; Removing entries from the list; Recording sound; Playing media content; opening an e-book; Performing calculations; Performing a price comparison; Checking bank balances; And / or any other number and / or configuration of computer functions.

일부 실시예에서, 기능은 사용자 인터페이스에서 가상 객체를 출력하는 것, 제거하는 것, 변경하는 것, 업데이트하는 것, 및/또는 삭제하는 것을 포함한다. 예를 들어, 드로잉 애플리케이션 실시예에서, 컴퓨팅 디바이스(201)는, 예컨대, 사용자가 컴퓨팅 디바이스(201)로부터 먼 거리에서 손가락 또는 스타일러스를 호버링하는 것을 검출한 것에 응답하여, 제1 사용자 인터페이스 레벨과 연관된 제1 기능을 결정할 수 있다. 제1 기능은, 예컨대, 드로잉의 사시도를 출력하는 것을 포함할 수 있다. 컴퓨팅 디바이스(201)는, 예컨대, 컴퓨팅 디바이스(201)로부터 먼 거리에서 현실 공간에서의 다른 제스처를 검출한 것에 응답하여, 제1 사용자 인터페이스 레벨과 연관된 제2 기능을 추가로 결정할 수 있다. 제2 기능은, 예컨대, 가상 캔버스 상에서 (예컨대, 가상 페인트 브러시로) 제스처의 움직임에 의해 정의되는 경로를 따라 드로잉을 하는 것을 포함할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는, 예컨대, 사용자가 컴퓨팅 디바이스(201)로부터 중간 거리에서 손가락을 호버링하는 것을 검출한 것에 응답하여, 제2 사용자 인터페이스 레벨과 연관된 제3 기능을 결정할 수 있다. 이 기능은, 예컨대, 드로잉의 확대도 및/또는 단면도를 출력하는 것을 포함할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는, 예컨대, 컴퓨팅 디바이스(201)로부터 중간 거리에서 다른 제스처를 검출한 것에 응답하여, 제2 사용자 인터페이스 레벨과 연관된 제4 기능을 추가로 결정할 수 있다. 제4 기능은, 예컨대, 제스처의 움직임에 의해 정의된 경로를 따라 소거하는 것을 포함할 수 있다. 일부 실시예에서, 컴퓨팅 디바이스(201)는, 예컨대, 사용자가 컴퓨팅 디바이스(201)와 접촉하는 것을 검출한 것에 응답하여, 제3 사용자 인터페이스 레벨과 연관된 제5 기능을 결정할 수 있다. 이 기능은, 예컨대, 가상 영상을 저장하는 것을 포함할 수 있다.In some embodiments, the functionality includes outputting, removing, changing, updating, and / or deleting a virtual object in the user interface. For example, in the drawing application embodiment, the computing device 201 may be configured to determine whether the user is hovering a finger or stylus at a distance from the computing device 201, for example, The first function can be determined. The first function may include, for example, outputting a perspective view of the drawing. The computing device 201 may further determine a second function associated with the first user interface level, e.g., in response to detecting another gesture in the real space at a distance from the computing device 201. [ The second function may include, for example, drawing along a path defined by the motion of the gesture on a virtual canvas (e.g., with a virtual paint brush). In some embodiments, computing device 201 may determine a third function associated with a second user interface level, e.g., in response to a user detecting hovering a finger at an intermediate distance from computing device 201 . This function may include, for example, outputting an enlarged view of the drawing and / or a section view. In some embodiments, the computing device 201 may further determine a fourth function associated with the second user interface level, e.g., in response to detecting another gesture at a medium distance from the computing device 201. The fourth function may include, for example, erasing along a path defined by the motion of the gesture. In some embodiments, computing device 201 may determine a fifth function associated with a third user interface level, e.g., in response to detecting a user contacting computing device 201. This function may include, for example, storing a virtual image.

방법(600)은 프로세서(202)가 기능을 실행하는 단계(610)에서 계속된다. 일부 실시예에서, 프로세서(202)는 하나 이상의 하위기능들을 실행하는 것에 의해 기능을 실행할 수 있다. 예를 들어, 기능이 가상 영상을 저장하는 것을 포함하는 경우, 프로세서(202)는 가상 영상을 데이터베이스에 안전하게 저장하기 위한 비밀 키 또는 패스워드를 획득하기 위해 하나 이상의 서버들(예컨대, 영상 저장 데이터베이스)과 통신할 수 있다. 프로세서(202)는 이어서 영상을 데이터베이스에 저장할 수 있다.The method 600 continues at step 610 where the processor 202 performs the function. In some embodiments, the processor 202 may perform a function by executing one or more sub-functions. For example, if the function includes storing a virtual image, the processor 202 may include one or more servers (e.g., an image storage database) to obtain a secret key or password for securely storing the virtual image in a database Communication can be performed. Processor 202 may then store the image in a database.

방법(600)은 프로세서(202)가 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된 하나 이상의 햅틱 효과들을 결정하는 단계(612)에서 계속된다.The method 600 continues at step 612 where the processor 202 determines one or more haptic effects that are configured to provide substantially continuous haptic feedback throughout the gesture.

일부 실시예에서, 프로세서(202)는 제스처 및/또는 제스처와 연관된 현실 공간에서의 위치에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정한다. 예를 들어, 프로세서(202)는 제스처 동안 내내의 위치들을 특정 햅틱 효과들에 매핑하기 위해 메모리(204)에 저장된 룩업 테이블에 액세스할 수 있다. 이러한 실시예에서, 룩업 테이블은 메모리에 미리 프로그래밍되고 그리고/또는 사용자에 의해 프로그래밍가능할 수 있다.In some embodiments, the processor 202 determines one or more haptic effects based, at least in part, on the position in the real space associated with the gesture and / or gesture. For example, processor 202 may access a lookup table stored in memory 204 to map positions throughout the gesture to specific haptic effects. In such an embodiment, the look-up table may be pre-programmed in memory and / or programmable by the user.

일부 실시예에서, 프로세서(202)는 사용자와 컴퓨팅 디바이스(201) 사이의 거리에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정한다. 예를 들어, 일부 실시예에서, 사용자는, 예컨대, 투사된 고체, 액체, 기체, 플라즈마, 음압파(sound pressure wave), 및/또는 레이저 빔을 포함하는, 제1 햅틱 효과를 컴퓨팅 디바이스(201)로부터 제1 거리 범위 내에서(예컨대, 1 mm 내지 10 cm에서) 다른 유형의 햅틱 효과보다 더 강한 것으로 인지할 수 있다. 이와 같이, 일부 실시예에서, 프로세서(202)는, 사용자가 컴퓨팅 디바이스(201)로부터 제1 거리 범위 내에(예컨대, 1 mm 내지 10 cm에) 위치되어 있다는 것을 검출한 것에 응답하여, 제1 원격 햅틱 효과를 결정한다.In some embodiments, the processor 202 determines one or more haptic effects based, at least in part, on the distance between the user and the computing device 201. For example, in some embodiments, a user may provide a first haptic effect to a computing device 201 (e.g., a computer system), including a projected solid, liquid, gas, plasma, sound pressure wave, and / (E.g., from 1 mm to 10 cm) from a first distance range (e.g., from about 1 mm to about 10 cm). As such, in some embodiments, the processor 202, in response to detecting that the user is located within a first distance range (e.g., from 1 mm to 10 cm) from the computing device 201, The haptic effect is determined.

다른 예로서, 일부 실시예에서, 사용자는, 예컨대, 정전기 기반 용량성 결합을 포함하는, 제2 햅틱 효과를 컴퓨팅 디바이스(201)로부터 제2 거리 범위 내에서(예컨대, 0 mm 내지 1 mm에서) 다른 유형의 햅틱 효과보다 더 강한 것으로 인지할 수 있다. 이와 같이, 일부 실시예에서, 프로세서(202)는, 사용자가 컴퓨팅 디바이스(201)로부터 제2 거리 범위 내에 위치되어 있다는 것을 검출한 것에 응답하여, 제2 햅틱 효과를 결정한다. 또 다른 예로서, 일부 실시예에서, 사용자는, 예컨대, 로컬 햅틱 효과를 포함하는, 제3 햅틱 효과를 컴퓨팅 디바이스(201)로부터 제3 거리 범위 내에서(예컨대, 0 mm 및/또는 컴퓨팅 디바이스(201)와 접촉함) 다른 유형의 햅틱 효과보다 더 강한 것으로 인지할 수 있다. 이와 같이, 일부 실시예에서, 프로세서(202)는, 사용자가 컴퓨팅 디바이스(201)로부터 제3 거리 범위 내에 위치되어(예컨대, 컴퓨팅 디바이스와 접촉하고) 있다는 것을 검출한 것에 응답하여, 제3 햅틱 효과를 결정한다.As another example, in some embodiments, a user may select a second haptic effect from computing device 201 within a second distance range (e.g., from 0 mm to 1 mm), including electrostatic-based capacitive coupling, It can be perceived as stronger than other types of haptic effects. As such, in some embodiments, the processor 202 determines a second haptic effect in response to detecting that the user is located within a second distance range from the computing device 201. As another example, in some embodiments, a user may select a third haptic effect from a computing device 201 within a third distance range (e.g., 0 mm and / or a computing device (e.g., 201), which is more robust than other types of haptic effects. As such, in some embodiments, the processor 202, in response to detecting that the user is located within a third distance range (e.g., in contact with a computing device) from the computing device 201, .

일부 실시예에서, 프로세서(202)는, 사용자가, 예컨대, 컴퓨팅 디바이스(201)에 접근하고 컴퓨팅 디바이스(201)로부터 다양한 거리 범위들에 걸쳐 움직일 때, 복수의 햅틱 효과들을 결정한다. 복수의 햅틱 효과들은 실질적으로 연속적인 햅틱 피드백을 사용자에게 제공하기 위해 원격 및/또는 로컬 햅틱 효과들의 임의의 조합을 포함할 수 있다.In some embodiments, the processor 202 determines a plurality of haptic effects when the user accesses, for example, the computing device 201 and moves across the range of distances from the computing device 201. The plurality of haptic effects may include any combination of remote and / or local haptic effects to provide the user with substantially continuous haptic feedback.

일부 실시예에서, 프로세서(202)는 이전에 출력된 햅틱 효과와 실질적으로 동일한 것으로 사용자에 의해 인지되도록 구성된 하나 이상의 특성들(예컨대, 크기, 주파수, 지속기간)을 포함하는 햅틱 효과를 결정한다. 예를 들어, 일부 실시예에서, 프로세서(202)는 사용자가 현실 공간에서 제스처하는 것(예컨대, 손가락을 컴퓨팅 디바이스(201) 쪽으로 움직이는 것)을 검출할 수 있다. 이러한 실시예에서, 프로세서(202)는, 그에 따라, 사용자가 컴퓨팅 디바이스(201)에 보다 가까워지게 움직이고 있다고 결정한 것에 응답하여, 햅틱 효과의 크기를 감소시키고 그리고/또는, 사용자가 컴퓨팅 디바이스(201)로부터 보다 멀어지게 움직이고 있다고 결정한 것에 응답하여, 햅틱 효과의 크기를 증가시킬 수 있다. 이것은, 예컨대, 사용자가 컴퓨팅 디바이스(201)(예컨대, 햅틱 출력 디바이스(218))에 얼마나 가깝게 또는 멀리 있는지에 관계없이, 실질적으로 일관성있는 햅틱 경험을 사용자에게 제공할 수 있다.In some embodiments, the processor 202 determines a haptic effect that includes one or more characteristics (e.g., size, frequency, duration) configured to be recognized by the user as being substantially the same as the previously output haptic effect. For example, in some embodiments, the processor 202 may detect what the user is gesturing in the real world (e.g., moving a finger towards the computing device 201). In such an embodiment, the processor 202 may thereby reduce the size of the haptic effect and / or allow the user to interact with the computing device 201 in response to determining that the user is moving closer to the computing device 201, The size of the haptic effect can be increased in response to determining that the haptic effect is moving further away from the haptic effect. This may provide the user with a substantially consistent haptic experience, for example, regardless of how close or far the user is to computing device 201 (e.g., haptic output device 218).

일부 실시예에서, 프로세서(202)는 이전에 출력된 햅틱 효과와 별개이고 그리고/또는 구별가능한 것으로 사용자에 의해 인지되도록 구성된 하나 이상의 특성들(예컨대, 크기, 주파수, 지속기간)을 포함하는 햅틱 효과를 결정한다. 예를 들어, 일부 실시예에서, 프로세서(202)는 사용자가 현실 공간에서 제스처하는 것을 검출할 수 있다. 이러한 실시예에서, 프로세서(202)는, 그에 응답하여, 햅틱 효과의 특성들을 일정하게 유지할 수 있다. 사용자가, 제스처를 하는 동안, 햅틱 효과의 소스에 보다 가까워지게 그리고/또는 그로부터 보다 멀어지게 움직이고 있을 수 있기 때문에, (예컨대, 프로세서(202)가 햅틱 효과의 특성들을 일정하게 유지하고 있더라도) 사용자는 햅틱 효과의 강도가 변하는 것으로 인지할 수 있다. 이것은, 사용자가 컴퓨팅 디바이스(201)에 얼마나 가까이 있는지와 같은, 정보를 사용자에게 제공할 수 있다.In some embodiments, the processor 202 may include a haptic effect including one or more characteristics (e.g., size, frequency, duration) configured to be perceived by the user as being distinct and / or distinguishable from previously output haptic effects . For example, in some embodiments, the processor 202 may detect that the user is gesturing in the real space. In this embodiment, the processor 202, in response, can maintain the characteristics of the haptic effect constant. Since the user may be moving closer and / or further away to the source of the haptic effect during the gesture, the user may (e.g., have the processor 202 keep the characteristics of the haptic effect constant) It can be recognized that the intensity of the haptic effect is changed. This may provide information to the user, such as how close the user is to the computing device 201. [

일부 실시예에서, 프로세서(202)는 사용자 인터페이스 레벨, 제스처, 및/또는 사용자 상호작용에 적어도 부분적으로 기초하여 햅틱 효과를 결정한다. 예를 들어, 프로세서(202)는 (예컨대, 드로잉 애플리케이션에서 보는 것 또는 가상 캔버스 상에 드로잉하는 것과 연관된) 사용자 인터페이스 레벨을, 공기 뿜기 또는 다른 원격 햅틱 효과와 같은, 특정 햅틱 효과들에 매핑하기 위해 메모리(204)에 저장된 룩업 테이블에 액세스할 수 있다. 일부 실시예에서, 프로세서(202)는 제스처의 유형, 위치, 지속기간, 및/또는 다른 특성들에 기초하여 햅틱 효과를 결정하도록 구성된다. 일부 실시예에서, 프로세서(202)는 사용자 상호작용의 유형, 위치, 지속기간, 및/또는 다른 특성들에 기초하여 햅틱 효과를 결정할 수 있다. 예를 들어, 일부 실시예에서, 프로세서(202)는 사용자 상호작용이 드로잉 애플리케이션에서 영상을 소거하도록 구성되어 있다고 결정하고, 이 사용자 상호작용에 기초하여, 예컨대, 칠판지우개로 칠판을 지우는 느낌을 시뮬레이트하도록 구성되어 있는 연관된 햅틱 효과를 결정한다.In some embodiments, the processor 202 determines a haptic effect based at least in part on a user interface level, gestures, and / or user interaction. For example, the processor 202 may be configured to map a user interface level (e.g., associated with viewing in a drawing application or drawing on a virtual canvas) to specific haptic effects, such as air spitting or other remote haptic effects The lookup table stored in the memory 204 can be accessed. In some embodiments, the processor 202 is configured to determine a haptic effect based on the type, location, duration, and / or other characteristics of the gesture. In some embodiments, the processor 202 may determine the haptic effect based on the type, location, duration, and / or other characteristics of the user interaction. For example, in some embodiments, the processor 202 determines that the user interaction is configured to erase the image in the drawing application and, based on the user interaction, simulates, for example, erasing the board with a blackboard eraser To determine the associated haptic effect.

일부 실시예에서, 프로세서(202)는 기능(예컨대, 기능과 연관된 특성)에 적어도 부분적으로 기초하여 햅틱 효과를 결정한다. 예를 들어, 일부 실시예에서, 프로세서(202)는 기능의 유형과 연관된 햅틱 효과를 결정할 수 있다. 예를 들어, 일 실시예에서, 프로세서(202)는, 기능이, 드로잉 애플리케이션과 같은, 애플리케이션을 여는 것을 포함하는 경우, 한 번의 짧은 공기 뿜기를 포함하는 햅틱 효과를 결정할 수 있다. 이러한 실시예에서, 프로세서(202)는, 기능이 애플리케이션을 닫는 것을 포함하는 경우, 세 번의 짧은 공기 뿜기를 포함하는 햅틱 효과를 결정할 수 있다. 이것은 사용자에게 기능을 알려줄 수 있다. 일부 실시예에서, 프로세서(202)는 기능이 실행되었다는 것을 알려주도록 구성된 햅틱 효과를 결정한다. 예를 들어, 프로세서(202)는, 드로잉 애플리케이션에서 페인트 브러시 도구에 대한 새로운 색상을 선택하는 것을 포함하는 기능이 실행되었으면, 정전기 햅틱 효과를 포함하는 햅틱 효과를 결정할 수 있다. 일부 실시예에서, 프로세서(202)는 기능을 실행한 결과에 기초하여 상이한 햅틱 효과들을 결정하도록 구성된다. 예를 들어, 프로세서(202)는, 기능이 성공적으로 실행된 경우, 기능이 성공적으로 실행되지 않은 경우와 상이한 햅틱 효과를 출력할 수 있다.In some embodiments, the processor 202 determines a haptic effect based at least in part on a function (e.g., a characteristic associated with the function). For example, in some embodiments, the processor 202 may determine the haptic effect associated with the type of function. For example, in one embodiment, the processor 202 can determine a haptic effect, including a short burst of air if the function includes opening an application, such as a drawing application. In such an embodiment, the processor 202 may determine a haptic effect that includes three short bursts of air if the function involves closing the application. This can inform the user of the function. In some embodiments, the processor 202 determines a haptic effect that is configured to indicate that the function has been performed. For example, the processor 202 may determine a haptic effect that includes an electrostatic haptic effect, once the function has been executed that includes selecting a new color for the paint brush tool in the drawing application. In some embodiments, the processor 202 is configured to determine different haptic effects based on the results of performing the function. For example, the processor 202 may output a different haptic effect than when the function was not successfully executed, if the function was successfully executed.

방법(600)은 프로세서(202)가 하나 이상의 햅틱 효과들을 출력하는 단계(614)에서 계속된다. 프로세서(202)는 하나 이상의 햅틱 효과들과 연관된 하나 이상의 햅틱 신호들을 햅틱 출력 디바이스(218)로 전송하고, 햅틱 출력 디바이스(218)는 하나 이상의 햅틱 효과들을 출력한다. 일부 실시예에서, 하나 이상의 햅틱 효과들은 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된다. 예를 들어, 프로세서(202)는 복수의 햅틱 효과들(예컨대, 원격 및/또는 로컬 햅틱 효과들)과 연관된 복수의 햅틱 신호들을 전송할 수 있다. 복수의 햅틱 효과들은 제스처 및/또는 현실 공간에서의 다른 움직임 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성된다.The method 600 continues at step 614 where the processor 202 outputs one or more haptic effects. The processor 202 transmits one or more haptic signals associated with the one or more haptic effects to the haptic output device 218 and the haptic output device 218 outputs one or more haptic effects. In some embodiments, the one or more haptic effects are configured to provide substantially continuous haptic feedback throughout the gesture. For example, the processor 202 may transmit a plurality of haptic signals associated with a plurality of haptic effects (e.g., remote and / or local haptic effects). The plurality of haptic effects are configured to provide substantially continuous haptic feedback throughout gestures and / or other motions in the real space.

위치 기반 햅틱 효과들의 장점들Advantages of location-based haptic effects

위치 기반 햅틱 효과들의 수많은 장점들이 있다. 예를 들어, 이러한 시스템들은 보다 실감나거나 몰입적인 사용자 경험을 제공할 수 있다. 예를 들어, 일부 실시예에서, 이러한 시스템들은 제스처 동안 내내, 예컨대, 사용자가 컴퓨팅 디바이스에 접근하고 그리고/또는 그와 접촉할 때, 실질적으로 연속적인 햅틱 피드백을 사용자에게 제공할 수 있다. 이것은 중력, 자기장, 전기장, 바람 부는 것, 힘의 인가에 대한 저항, 및/또는 열과 같은, 물리적 현상들을 보다 실감나게 시뮬레이트할 수 있다. 예를 들어, 일부 실시예에서, 컴퓨팅 디바이스는 가상 원자로가 노심 용해되는 가상 종말 게임을 실행할 수 있다. 컴퓨팅 디바이스는 사용자가 컴퓨팅 디바이스 쪽으로 제스처하는 것을 검출하고, 그에 응답하여, 예컨대, 방사능 오염을 시뮬레이트하도록 구성된 햅틱 효과들을 출력할 수 있다. 예를 들어, 컴퓨팅 디바이스는, 사용자가 컴퓨팅 디바이스에 접근하는 것을 검출한 것에 응답하여 증가하는 진폭을 갖고, 사용자가 컴퓨팅 디바이스와 접촉한 것에 응답하여 강렬한 진동으로 끝나는 원격 햅틱 효과들을 실질적으로 연속적으로 출력할 수 있다. 연속적인, 격렬해지는 햅틱 효과들은 방사능으로 오염된 현장에 접근하는 것을 보다 실감나게 시뮬레이트할 수 있다.There are a number of advantages of position based haptic effects. For example, such systems can provide a more realistic or immersive user experience. For example, in some embodiments, such systems may provide substantially continuous haptic feedback to a user throughout a gesture, e.g., when a user approaches and / or contacts a computing device. This can more realistically simulate physical phenomena such as gravity, magnetic field, electric field, wind, resistance to force application, and / or heat. For example, in some embodiments, the computing device may execute a virtual terminal game in which the virtual reactor is core dissolved. The computing device may detect that the user is gesturing towards the computing device and in response may output haptic effects configured to, for example, simulate radioactive contamination. For example, a computing device may have substantially constant amplitude, in response to detecting a user approaching a computing device, substantially continuously outputting remote haptic effects that end in intense vibration in response to a user contacting the computing device can do. Continuous, intense haptic effects can more realistically simulate approaching a radioactive contaminated site.

다른 예로서, 일부 실시예에서, 사용자는 제1 사용자 인터페이스 레벨과 연관된 현실 공간에서의 제1 위치에서 제스처하는 것에 의해 (예컨대, 디스플레이 상에 출력되는) 가상 객체와 상호작용할 수 있다. 컴퓨팅 디바이스는, 그에 응답하여, 가상 객체와 연관된 표면(예컨대, 베개 상의 베개 시트)을 시뮬레이트하도록 구성된 햅틱 피드백을 출력할 수 있다. 사용자는 제2 사용자 인터페이스 레벨과 연관된 제2 위치에서 제스처하는 것에 의해 가상 객체와 추가로 상호작용할 수 있다. 컴퓨팅 디바이스는, 그에 응답하여, 가상 객체와 연관된 상이한 표면(예컨대, 깃털 또는 메모리폼과 같은, 베개의 내부)을 시뮬레이트하도록 구성된 햅틱 피드백을 출력할 수 있다. 일부 실시예에서, 이것은 가상 객체가 보다 실감나게 그리고/또는 3차원으로 느껴지게 할 수 있다. 게다가, 상이한 햅틱 효과들을 상이한 사용자 인터페이스 레벨들과 연관시키는 것에 의해, 사용자는 단일의 가상 객체와 상호작용하면서 복수의 햅틱 효과들을 인지할 수 있을 것이다. 이것은 보다 큰 범위의 햅틱 경험들을 가능하게 할 수 있다.As another example, in some embodiments, a user may interact with a virtual object (e.g., output on a display) by gesturing at a first location in a real space associated with a first user interface level. The computing device may, in response, output haptic feedback configured to simulate a surface associated with the virtual object (e.g., a pillow seat on a pillow). The user may further interact with the virtual object by gesturing at a second location associated with a second user interface level. The computing device may, in response, output haptic feedback configured to simulate different surfaces associated with the virtual object (e.g., the interior of the pillow, such as a feather or memory foam). In some embodiments, this may make the virtual object feel more realistic and / or three-dimensional. In addition, by associating different haptic effects with different user interface levels, the user will be able to recognize multiple haptic effects while interacting with a single virtual object. This may enable a greater range of haptic experiences.

일부 실시예에서, 위치 기반 햅틱 효과들은 사용자가 디바이스를 쳐다보지 않고 상태 결정(예컨대, 디바이스가 있는 모드를 결정하는 것)을 할 수 있게 할 것이다. 이와 같이, 사용자는 다른 작업들에 초점을 유지할 수 있을 것이다. 예를 들어, 컴퓨팅 디바이스는 프로그램에서 또는 사용자 인터페이스 상에서 이용가능한 동작들과 연관된 원격 햅틱 효과들을 사용자에게 투사할 수 있다. 이것은 사용자가, 시각적으로 디스플레이 상에 집중할 필요 없이, 사용자 인터페이스와 상호작용할 수 있게 할 수 있다. 이와 유사하게, 햅틱 효과는 동작이 이용가능하거나, 완료되었거나, 특정 중요도를 갖는다는 확인으로서 역할할 수 있다.In some embodiments, the location based haptic effects will allow the user to make a state determination (e.g., to determine the mode in which the device is located) without looking at the device. As such, the user will be able to keep focus on other tasks. For example, the computing device may project remote haptic effects to the user in a program or associated with operations available on the user interface. This allows the user to interact with the user interface without having to visually focus on the display. Similarly, the haptic effect may serve as an acknowledgment that the action is available, completed, or has a particular importance.

일부 실시예에서, 위치 기반 햅틱 효과들은 보다 독자적이고, 상호작용적이며, 효과적인 사용자 인터페이스들을 가능하게 할 수 있다. 예를 들어, 일부 실시예에서, 사용자는 사용자 인터페이스 컴포넌트와 연관된 상이한 사용자 인터페이스 레벨들과 상호작용하면서 광범위한 기능들을 수행할 수 있을 것이다. 게다가, 일부 실시예에서, 사용자는 사용자 인터페이스 컴포넌트 위쪽에서 신체 부위를 호버링하는 것에 의해 사용자 인터페이스 컴포넌트의 위치를 위치확인하고 신체 부위를 현실 공간에서의 다른 위치로(예컨대, 사용자 인터페이스 컴포넌트 쪽으로) 움직이는 것에 의해 사용자 인터페이스 컴포넌트를 활성화시킬 수 있을 것이다. 이것은 사용자가, 예컨대, 사용자 인터페이스 컴포넌트와 물리적으로 접촉하는 것(예컨대, 사용자 인터페이스 컴포넌트를 탭핑하는 것 및/또는 그 상에서 제스처하는 것) 없이 사용자 인터페이스와 상호작용할 수 있게 할 것이다. 사용자 인터페이스 컴포넌트와 물리적으로 접촉하는 것이, 예를 들어, 주변 움직임, 인지 부하, 및 시각적 주의산만이 사용자 인터페이스 컴포넌트를 정확하게 탭핑하는 것을 어렵게 만들 수 있는, 움직이는 차량에서는 어려울 수 있다.In some embodiments, location based haptic effects may enable more unique, interactive, and effective user interfaces. For example, in some embodiments, a user may perform a wide range of functions while interacting with different user interface levels associated with the user interface component. In addition, in some embodiments, a user may be required to position the user interface component by hovering the body part above the user interface component and to move the body part to another location in the physical space (e.g., toward the user interface component) To activate the user interface component. This will allow the user to interact with the user interface, for example, without physically touching the user interface component (e.g., tapping and / or gesturing the user interface component). Physical contact with a user interface component may be difficult in a moving vehicle, for example, where ambient motion, cognitive load, and visual distractions can make it difficult to accurately tap user interface components.

다른 실시예에서, 위치 기반 햅틱 효과들은 비시각 인터페이스(non-visual interface)를 가능하게 할 수 있다. 예를 들어, 일부 실시예에서, 사용자는 현실 공간에서(예컨대, 사용자 인터페이스 레벨과 연관된 위치에서) 제스처하는 것에 의해 사용자의 손가락으로 비시각 사용자 인터페이스를 탐색할 수 있을 것이다. 사용자의 손가락이 보이지 않는 인터페이스 컴포넌트(예컨대, 가상 볼륨 스위치)의 위치와 상호작용할 때, 컴퓨팅 디바이스는 햅틱 피드백을 출력할 수 있다. 이것은 사용자가 보이지 않는 인터페이스 컴포넌트의 위치를 식별할 수 있게 할 것이다. 인터페이스 컴포넌트의 위치를 식별할 때, 사용자는, 예컨대, 사용자의 손가락을 (예컨대, 다른 사용자 인터페이스 레벨과 연관된) 현실 공간에서의 다른 위치로 움직이는 것에 의해, 인터페이스 컴포넌트와 상호작용할(예컨대, 인터페이스 컴포넌트를 누를) 수 있을 것이다. 이것은 컴퓨팅 디바이스로 하여금 보이지 않는 인터페이스 컴포넌트와 연관된 기능(예컨대, 볼륨 레벨을 증가시키는 것)을 수행하게 할 수 있다. 컴퓨팅 디바이스는, 예를 들어, 사용자 입력의 수신을 확인해주기 위해 햅틱 피드백을 사용자에게 추가로 제공할 수 있다.In another embodiment, the location-based haptic effects may enable a non-visual interface. For example, in some embodiments, a user may be able to navigate a non-visual user interface with the user's finger by gesturing in real space (e.g., at a location associated with the user interface level). When the user's finger interacts with the location of an invisible interface component (e.g., a virtual volume switch), the computing device may output haptic feedback. This will allow the user to identify the location of the invisible interface component. When identifying a location of an interface component, the user may interact with the interface component (e.g., by interacting with the interface component) by, for example, moving the user's finger to another location in the physical space You will be able to press). This may allow the computing device to perform functions associated with invisible interface components (e.g., increasing the volume level). The computing device may further provide haptic feedback to the user, for example, to confirm receipt of the user input.

일반 고려사항General Considerations

앞서 논의된 방법들, 시스템들 및 디바이스들은 예이다. 다양한 구성들은, 적절한 경우, 다양한 절차들 또는 컴포넌트들을 생략, 치환 또는 추가할 수 있다. 예를 들어, 대안의 구성들에서, 방법들이 기술된 것과 상이한 순서로 수행될 수 있고, 그리고/또는 다양한 스테이지들이 추가, 생략 및/또는 결합될 수 있다. 또한, 특정의 구성들과 관련하여 기술된 특징들이 다양한 다른 구성들에서 결합될 수 있다. 구성들의 상이한 양태들 및 요소들이 유사한 방식으로 결합될 수 있다. 또한, 기술이 발전하고, 따라서 요소들 중 다수는 예이고, 본 개시내용 또는 청구항들의 범주를 제한하지 않는다.The methods, systems and devices discussed above are examples. The various configurations, where appropriate, may omit, replace, or add various procedures or components. For example, in alternate configurations, the methods may be performed in a different order than described, and / or the various stages may be added, omitted, and / or combined. In addition, the features described in connection with the specific arrangements may be combined in various other arrangements. Different aspects and elements of the arrangements may be combined in a similar manner. Also, techniques are evolving, and thus many of the elements are examples, and do not limit the scope of the present disclosure or claims.

예시적인 구성들(구현들을 포함함)에 대한 완전한 이해를 제공하기 위해 구체적인 상세들이 설명에 제공되어 있다. 그렇지만, 구성들이 이 구체적인 상세들 없이 실시될 수 있다. 예를 들어, 공지된 회로들, 프로세스들, 알고리즘들, 구조들 및 기법들이 구성들을 불명료하게 하는 것을 피하기 위해 불필요한 상세 없이 나타내어져 있다. 이 설명은 예시적인 구성들만을 제공하고, 청구항들의 범주, 적용성 또는 구성을 제한하지 않는다. 오히려, 구성들에 대한 이상의 설명은 기술된 기법들을 구현하는 것을 가능하게 하는 설명을 본 기술분야의 통상의 기술자에게 제공할 것이다. 본 개시내용의 사상 또는 범주를 벗어나지 않고, 요소들의 기능 및 배열에 다양한 변경들이 행해질 수 있다.Specific details are set forth in the description to provide a thorough understanding of exemplary configurations (including implementations). However, configurations may be practiced without these specific details. For example, well-known circuits, processes, algorithms, structures and techniques are shown without unnecessary detail in order to avoid obscuring the configurations. This description provides only exemplary configurations and does not limit the scope, applicability, or configuration of the claims. Rather, the foregoing description of the embodiments will provide those skilled in the art with a description that makes it possible to implement the techniques described. Various changes may be made in the function and arrangement of the elements without departing from the spirit or scope of the disclosure.

또한, 구성들이 흐름도 또는 블록도로서 나타내어져 있는 프로세스로서 기술될 수 있다. 각각이 동작들을 순차적 프로세스로서 기술할 수 있지만, 동작들 중 다수가 병렬로 또는 동시에 수행될 수 있다. 그에 부가하여, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 부가의 단계들을 가질 수 있다. 게다가, 방법들의 예는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어(hardware description language), 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하는 프로그램 코드 또는 코드 세그먼트들이 저장 매체와 같은 비일시적 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서들은 기술된 작업들을 수행할 수 있다.Also, configurations may be described as a process or a process represented as a block diagram. Although each of these operations may be described as a sequential process, many of the operations may be performed in parallel or concurrently. In addition, the order of operations can be rearranged. The process may have additional steps not included in the drawing. In addition, examples of methods may be implemented in hardware, software, firmware, middleware, microcode, hardware description language, or any combination thereof. When implemented in software, firmware, middleware or microcode, program code or code segments that perform the necessary tasks may be stored on non-volatile computer readable media, such as a storage medium. Processors can perform the described tasks.

몇몇 예시적인 구성들을 기술하였지만, 본 개시내용의 사상을 벗어나지 않고 다양한 수정들, 대안의 구성들, 및 등가물들이 사용될 수 있다. 예를 들어, 이상의 요소들은 보다 큰 시스템의 컴포넌트들일 수 있고, 여기서 다른 규칙들이 본 발명의 응용분야보다 우선순위를 가지거나 다른 방식으로 그 응용분야를 수정할 수 있다. 또한, 이상의 요소들이 고려되기 전에, 그 동안에, 또는 그 후에, 다수의 단계들이 행해질 수 있다. 그에 따라, 이상의 설명은 청구항들의 범주를 한정하지 않는다.While several exemplary configurations have been described, various modifications, alternative constructions, and equivalents may be used without departing from the scope of the present disclosure. For example, the above elements may be components of a larger system, where other rules may prioritize or otherwise modify the application field of the present invention. Also, before, during, or after a number of factors are considered, a number of steps may be performed. Accordingly, the above description does not limit the scope of the claims.

본 명세서에서 "~하도록 되어 있는" 또는 "~하도록 구성되어 있는"의 사용은 부가의 작업들 또는 단계들을 수행하도록 되어 있거나 구성되어 있는 디바이스들을 배제하지 않는 개방적이고 포함적인 표현으로서 의도되어 있다. 그에 부가하여, "~에 기초하여"의 사용은, 하나 이상의 언급된 조건들 또는 값들"에 기초한" 프로세스, 단계, 계산 또는 다른 동작이, 실제로는, 언급된 것들 이외의 부가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이고 포함적인 것으로 의도되어 있다. 본 명세서에 포함되는 제목들, 목록들 및 번호 매기기는 단지 설명의 편의를 위한 것이고 제한하는 것으로 의도되어 있지 않다.The use of " comprising "or" configured to " herein is intended to be an open, inclusive representation that does not exclude devices configured or configured to perform additional tasks or steps. In addition, the use of "based on" means that a process, step, calculation, or other operation based on one or more of the stated conditions or values is, in fact, And is intended to be open-ended and inclusive. The titles, lists, and numbering included herein are for convenience of description and are not intended to be limiting.

본 발명 요지의 양태들에 따른 실시예들은 디지털 전자 회로부에서, 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 이들의 조합들로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는, 프로세서에 결합된 랜덤 액세스 메모리(RAM)와 같은, 컴퓨터 판독가능 매체를 포함하거나 그에 액세스한다. 프로세서는, 앞서 기술된 방법들을 수행하기 위해 센서 샘플링 루틴, 선택 루틴들, 및 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램들을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어들을 실행한다.Embodiments in accordance with aspects of the present invention may be implemented in digital electronic circuitry, in computer hardware, in firmware, in software, or in combinations thereof. In one embodiment, the computer may comprise a processor or processors. A processor includes or accesses a computer-readable medium, such as random access memory (RAM), coupled to a processor. The processor executes computer executable program instructions stored in memory, such as executing one or more computer programs including sensor sampling routines, selection routines, and other routines to perform the methods described above.

이러한 프로세서들은 마이크로프로세서, DSP(digital signal processor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 및 상태 머신을 포함할 수 있다. 이러한 프로세서들은 PLC, PIC(programmable interrupt controller), PLD(programmable logic device), PROM(programmable read-only memory), 전기적 프로그램가능 판독 전용 메모리(EPROM 또는 EEPROM), 또는 다른 유사한 디바이스들과 같은 프로그래밍가능 전자 디바이스들을 추가로 포함할 수 있다.Such processors may include a microprocessor, a digital signal processor (DSP), an application-specific integrated circuit (ASIC), a field programmable gate array (FPGA), and a state machine. Such processors may be programmable electronic devices, such as programmable logic controllers (PLCs), programmable logic controllers (PICs), programmable logic devices (PLDs), programmable read-only memories (PROMs), electrically programmable read only memories (EPROMs or EEPROMs) Devices. ≪ / RTI >

이러한 프로세서들은, 프로세서에 의해 실행될 때, 프로세서로 하여금 프로세서에 의해 수행되거나 지원되는 것으로 본 명세서에 기술되는 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들어, 유형적 컴퓨터 판독가능 매체를 포함할 수 있거나 그와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예들은 웹 서버 내의 프로세서와 같은 프로세서에게 컴퓨터 판독가능 명령어들을 제공할 수 있는 모든 전자, 광학, 자기 또는 다른 저장 디바이스들을 포함할 수 있지만, 이들로 제한되지 않는다. 매체의 다른 예는 컴퓨터 프로세서가 판독할 수 있는 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 임의의 다른 매체를 포함하지만, 이들로 제한되지 않는다. 또한, 라우터, 사적 또는 공중 네트워크, 또는 다른 전송 디바이스와 같은, 다양한 다른 디바이스들은 컴퓨터 판독가능 매체를 포함할 수 있다. 기술된 프로세서 및 처리는 하나 이상의 구조물들에 있을 수 있고, 하나 이상의 구조물들에 걸쳐 분산되어 있을 수 있다. 프로세서는 본 명세서에 기술되는 방법들 중 하나 이상(또는 방법들의 일부)을 수행하기 위한 코드를 포함할 수 있다.Such processors include, but are not limited to, a medium, such as a tangible computer readable medium, which when executed by a processor may store instructions that cause the processor to perform the steps described herein as being performed or supported by the processor And may communicate with it. Embodiments of computer readable media can include, but are not limited to, any electronic, optical, magnetic or other storage device capable of providing computer readable instructions to a processor, such as a processor within a web server. Other examples of media include, but are not limited to, a floppy disk, a CD-ROM, a magnetic disk, a memory chip, a ROM, a RAM, an ASIC, a configured processor, any optical media, any magnetic tape or other magnetic medium, Media, but are not limited thereto. In addition, various other devices, such as routers, private or public networks, or other transport devices, may include computer readable media. The described processors and processes may be in one or more structures and may be distributed over one or more structures. A processor may include code for performing one or more (or portions of methods) of the methods described herein.

본 발명 요지가 그의 특정 실시예들과 관련하여 상세히 기술되어 있지만, 본 기술분야의 통상의 기술자가, 이상의 내용을 이해할 때, 이러한 실시예들에 대한 변경들, 그의 변형들 및 그에 대한 등가물들을 용이하게 제조할 수 있다는 것을 잘 알 것이다. 그에 따라, 본 기술 분야의 통상의 기술자에게는 곧바로 명백할 것인 바와 같이, 본 개시내용이 제한이 아니라 예로서 제시되어 있고 본 발명 요지에 이러한 수정들, 변형들 및/또는 추가들을 포함시키는 것을 배제하지 않는다는 것을 잘 알 것이다.While the present invention has been described in detail with respect to specific embodiments thereof, those skilled in the art will readily appreciate that many modifications are possible in the embodiments without materially departing from the scope of the invention, It is possible to manufacture it. Accordingly, it is intended that the present disclosure be shown by way of illustration and not of limitation, as would be readily apparent to those of ordinary skill in the art, and that the inclusion of such modifications, variations, and / You will know that you do not.

Claims (23)

시스템으로서,
제스처를 검출하고 상기 제스처와 연관된 센서 신호를 전송하도록 구성된 센서 - 상기 제스처는 적어도 2개의 위치를 포함하고, 상기 적어도 2개의 위치 중 제1 위치는 표면으로부터의 거리를 포함하고 상기 적어도 2개의 위치 중 제2 위치는 상기 표면과의 접촉을 포함함 -; 및
상기 센서와 통신하는 프로세서 - 상기 프로세서는
상기 센서로부터 상기 센서 신호를 수신하고,
상기 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정하고 - 상기 하나 이상의 햅틱 효과들은 상기 제스처 동안 내내(throughout the gesture) 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성됨 -,
상기 하나 이상의 햅틱 효과들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 신호들을 발생시키고,
상기 하나 이상의 햅틱 신호들을 전송하도록 구성됨 -; 및
상기 프로세서와 통신하고, 상기 하나 이상의 햅틱 신호들을 수신하여 상기 하나 이상의 햅틱 효과들을 출력하도록 구성되는 햅틱 출력 디바이스
를 포함하는, 시스템.
As a system,
A sensor configured to detect a gesture and transmit a sensor signal associated with the gesture, the gesture comprising at least two positions, wherein a first one of the at least two positions includes a distance from a surface, The second location including contact with the surface; And
A processor in communication with the sensor,
Receiving the sensor signal from the sensor,
Wherein the one or more haptic effects are configured to provide substantially continuous haptic feedback throughout the gesture,
Generate one or more haptic signals based at least in part on the one or more haptic effects,
Configured to transmit the at least one haptic signals; And
A haptic output device configured to communicate with the processor and receive the at least one haptic signals to output the at least one haptic effects,
.
제1항에 있어서, 상기 제스처는 상기 표면으로부터 멀리 떨어져 있는 시작하는 위치와 상기 표면으로부터 멀리 떨어져 있는 끝나는 위치를 포함하는, 시스템.2. The system of claim 1, wherein the gesture includes a starting position that is remote from the surface and an ending position that is remote from the surface. 제1항에 있어서, 상기 제스처는 상기 적어도 2개의 위치 사이에 있고, 상기 제스처는 상기 제1 위치에서 시작하고 상기 제2 위치에서 끝나는, 시스템.2. The system of claim 1, wherein the gesture is between the at least two positions, the gesture starting at the first position and ending at the second position. 제3항에 있어서, 상기 하나 이상의 햅틱 효과들은 원격 햅틱 효과와 로컬 햅틱 효과를 포함하고, 상기 프로세서는
상기 제1 위치에서 제1 상호작용을 검출한 것에 응답하여 상기 햅틱 출력 디바이스로 하여금 상기 원격 햅틱 효과를 출력하게 하고;
상기 제2 위치에서 제2 상호작용을 검출한 것에 응답하여 상기 햅틱 출력 디바이스로 하여금 상기 로컬 햅틱 효과를 출력하게 하도록 추가로 구성되는, 시스템.
4. The method of claim 3, wherein the one or more haptic effects include a remote haptic effect and a local haptic effect,
Cause the haptic output device to output the remote haptic effect in response to detecting a first interaction at the first location;
And to cause the haptic output device to output the local haptic effect in response to detecting a second interaction at the second location.
제4항에 있어서, 상기 햅틱 출력 디바이스는 사용자에 의해 착용되도록 구성된 웨어러블 디바이스에 위치된 제1 햅틱 출력 디바이스와 상기 표면에 결합된 제2 햅틱 출력 디바이스를 포함하고;
상기 프로세서는
상기 제1 위치에서 상기 제1 상호작용을 검출한 것에 응답하여 상기 제1 햅틱 출력 디바이스로 하여금 상기 원격 햅틱 효과를 출력하게 하고;
상기 제2 위치에서 상기 제2 상호작용을 검출한 것에 응답하여 상기 제2 햅틱 출력 디바이스로 하여금 상기 로컬 햅틱 효과를 출력하게 하도록 추가로 구성되는, 시스템.
5. The haptic device of claim 4, wherein the haptic output device comprises a first haptic output device located on a wearable device configured to be worn by a user and a second haptic output device coupled to the surface;
The processor
Cause the first haptic output device to output the remote haptic effect in response to detecting the first interaction at the first location;
Wherein the second haptic output device is further configured to cause the second haptic output device to output the local haptic effect in response to detecting the second interaction at the second location.
제4항에 있어서,
상기 제스처는 신체 부위의 움직임을 포함하고;
상기 원격 햅틱 효과는 상기 신체 부위와의 정전기 결합을 발생시키는 것 또는 고체, 액체, 기체, 플라즈마, 음압파, 또는 레이저 빔을 상기 신체 부위 쪽으로 방출하는 것을 포함하며;
상기 로컬 햅틱 효과는 진동, 텍스처, 마찰 계수의 인지된 변화, 표면 변형, 또는 온도의 변동을 포함하고;
상기 센서는 카메라, 3D 영상 디바이스, 자이로스코프, 글로벌 포지셔닝 시스템(global positioning system)(GPS), 발광 다이오드(light emitting diode)(LED), 적외선 센서, 또는 초음파 트랜스듀서를 포함하는, 시스템.
5. The method of claim 4,
The gesture comprising movement of a body part;
Wherein the remote haptic effect comprises generating electrostatic coupling with the body part or releasing a solid, liquid, gas, plasma, acoustic wave, or laser beam toward the body part;
The local haptic effect includes vibrations, textures, perceived changes in friction coefficients, surface deformations, or variations in temperature;
Wherein the sensor comprises a camera, a 3D imaging device, a gyroscope, a global positioning system (GPS), a light emitting diode (LED), an infrared sensor, or an ultrasonic transducer.
제1항에 있어서, 상기 프로세서는
상기 적어도 2개의 위치들의 위치에 적어도 부분적으로 기초하여, 복수의 이용가능한 사용자 인터페이스 레벨들로부터 사용자 인터페이스 레벨을 결정하고;
상기 사용자 인터페이스 레벨과 연관된 기능을 결정하며;
상기 기능을 실행하도록 추가로 구성되는, 시스템.
2. The apparatus of claim 1, wherein the processor
Determine a user interface level from a plurality of available user interface levels based at least in part on the location of the at least two locations;
Determine a function associated with the user interface level;
Wherein the system is further configured to perform the function.
제1항에 있어서, 상기 프로세서는
제2 센서로부터의 제2 센서 신호에 기초하여 신체 부위를 결정하고;
상기 신체 부위가 민감한 신체 부위를 포함한다고 결정하며;
상기 하나 이상의 햅틱 효과들 중 적어도 하나의 햅틱 효과가 상기 민감한 신체 부위에 적용되도록 구성되어 있다고 결정하고;
상기 민감한 신체 부위에 대한 부상의 가능성을 감소시키도록 구성된 상기 적어도 하나의 햅틱 효과의 특성을 결정하도록 추가로 구성되는, 시스템.
2. The apparatus of claim 1, wherein the processor
Determine a body part based on a second sensor signal from a second sensor;
Determine that said body part comprises a sensitive body part;
Determine that at least one haptic effect of the one or more haptic effects is configured to apply to the sensitive body part;
Wherein the system is further configured to determine a characteristic of the at least one haptic effect configured to reduce the likelihood of injury to the sensitive body part.
방법으로서,
센서로부터 제스처와 연관된 센서 신호를 수신하는 단계 - 상기 제스처는 적어도 2개의 위치를 포함하고, 상기 적어도 2개의 위치 중 제1 위치는 표면으로부터의 거리를 포함하고 상기 적어도 2개의 위치 중 제2 위치는 상기 표면과의 접촉을 포함함 -;
상기 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정하는 단계 - 상기 하나 이상의 햅틱 효과들은 상기 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성됨 -;
상기 하나 이상의 햅틱 효과들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 신호들을 발생시키는 단계; 및
상기 하나 이상의 햅틱 신호들을 햅틱 출력 디바이스로 전송하는 단계 - 상기 햅틱 출력 디바이스는 상기 하나 이상의 햅틱 신호들을 수신하고 상기 하나 이상의 햅틱 효과들을 출력하도록 구성됨 - 를 포함하는, 방법.
As a method,
Receiving a sensor signal associated with a gesture from a sensor, the gesture comprising at least two positions, a first one of the at least two positions comprising a distance from a surface, and a second one of the at least two positions Contacting the surface;
Determining one or more haptic effects based at least in part on the sensor signal, wherein the one or more haptic effects are configured to provide substantially continuous haptic feedback throughout the gesture;
Generating one or more haptic signals based at least in part on the one or more haptic effects; And
And transmitting the one or more haptic signals to a haptic output device, the haptic output device configured to receive the one or more haptic signals and output the one or more haptic effects.
제9항에 있어서, 상기 제스처는 상기 표면으로부터 멀리 떨어져 있는 시작하는 위치와 상기 표면으로부터 멀리 떨어져 있는 끝나는 위치를 포함하는, 방법.10. The method of claim 9, wherein the gesture includes a starting position that is remote from the surface and an ending position that is remote from the surface. 제9항에 있어서, 상기 제스처는 상기 적어도 2개의 위치 사이에 있고, 상기 제스처는 상기 제1 위치에서 시작하고 상기 제2 위치에서 끝나는, 방법.10. The method of claim 9, wherein the gesture is between the at least two locations, and wherein the gesture starts at the first location and ends at the second location. 제11항에 있어서, 상기 하나 이상의 햅틱 효과들은 원격 햅틱 효과와 로컬 햅틱 효과를 포함하고, 상기 방법은
상기 제1 위치에서 제1 상호작용을 검출한 것에 응답하여 상기 원격 햅틱 효과를 출력하는 단계; 및
상기 제2 위치에서 제2 상호작용을 검출한 것에 응답하여 상기 로컬 햅틱 효과를 출력하는 단계를 추가로 포함하는, 방법.
12. The method of claim 11, wherein the one or more haptic effects include a remote haptic effect and a local haptic effect,
Outputting the remote haptic effect in response to detecting a first interaction at the first location; And
Further comprising outputting the local haptic effect in response to detecting a second interaction at the second location.
제12항에 있어서, 상기 햅틱 출력 디바이스는 웨어러블 디바이스에 위치된 제1 햅틱 출력 디바이스와 상기 표면에 결합된 제2 햅틱 출력 디바이스를 포함하고;
상기 방법은
상기 제1 위치에서 상기 제1 상호작용을 검출한 것에 응답하여 상기 제1 햅틱 출력 디바이스를 통해 상기 원격 햅틱 효과를 출력하는 단계; 및
상기 제2 위치에서 상기 제2 상호작용을 검출한 것에 응답하여 상기 제2 햅틱 출력 디바이스를 통해 상기 로컬 햅틱 효과를 출력하는 단계를 추가로 포함하는, 방법.
13. The haptic device of claim 12, wherein the haptic output device comprises a first haptic output device located at the wearable device and a second haptic output device coupled to the surface;
The method
Outputting the remote haptic effect via the first haptic output device in response to detecting the first interaction at the first location; And
And outputting the local haptic effect via the second haptic output device in response to detecting the second interaction at the second location.
제12항에 있어서,
상기 제스처는 신체 부위의 움직임을 포함하고;
상기 원격 햅틱 효과는 상기 신체 부위와의 정전기 결합을 발생시키는 것 또는 고체, 액체, 기체, 플라즈마, 음압파, 또는 레이저 빔을 상기 신체 부위 쪽으로 방출하는 것을 포함하며;
상기 로컬 햅틱 효과는 진동, 텍스처, 마찰 계수의 인지된 변화, 표면 변형, 또는 온도의 변동을 포함하고;
상기 센서는 카메라, 3D 영상 디바이스, 자이로스코프, 글로벌 포지셔닝 시스템(GPS), 또는 초음파 트랜스듀서를 포함하는, 방법.
13. The method of claim 12,
The gesture comprising movement of a body part;
Wherein the remote haptic effect comprises generating electrostatic coupling with the body part or releasing a solid, liquid, gas, plasma, acoustic wave, or laser beam toward the body part;
The local haptic effect includes vibrations, textures, perceived changes in friction coefficients, surface deformations, or variations in temperature;
Wherein the sensor comprises a camera, a 3D imaging device, a gyroscope, a global positioning system (GPS), or an ultrasonic transducer.
제9항에 있어서,
상기 적어도 2개의 위치들의 위치에 적어도 부분적으로 기초하여, 복수의 이용가능한 사용자 인터페이스 레벨들로부터 사용자 인터페이스 레벨을 결정하는 단계;
상기 사용자 인터페이스 레벨과 연관된 기능을 결정하는 단계; 및
상기 기능을 실행하는 단계를 추가로 포함하는 방법.
10. The method of claim 9,
Determining a user interface level from a plurality of available user interface levels, based at least in part on the location of the at least two locations;
Determining a function associated with the user interface level; And
And performing the function.
제9항에 있어서,
제2 센서로부터의 제2 센서 신호에 기초하여 신체 부위를 결정하는 단계;
상기 신체 부위가 민감한 신체 부위를 포함한다고 결정하는 단계;
상기 하나 이상의 햅틱 효과들 중 적어도 하나의 햅틱 효과가 상기 민감한 신체 부위에 적용되도록 구성되어 있다고 결정하는 단계; 및
상기 민감한 신체 부위에 대한 부상의 가능성을 감소시키도록 구성된 상기 적어도 하나의 햅틱 효과의 특성을 결정하는 단계를 추가로 포함하는, 방법.
10. The method of claim 9,
Determining a body part based on a second sensor signal from a second sensor;
Determining that said body part comprises a sensitive body part;
Determining that at least one haptic effect of the one or more haptic effects is configured to apply to the sensitive body part; And
Further comprising determining a characteristic of the at least one haptic effect configured to reduce the likelihood of injury to the sensitive body part.
프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체로서, 상기 프로그램 코드는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
센서로부터 제스처와 연관된 센서 신호를 수신하게 하고 - 상기 제스처는 적어도 2개의 위치를 포함하고, 상기 적어도 2개의 위치 중 제1 위치는 표면으로부터의 거리를 포함하고 상기 적어도 2개의 위치 중 제2 위치는 상기 표면과의 접촉을 포함함 -;
상기 센서 신호에 적어도 부분적으로 기초하여 하나 이상의 햅틱 효과들을 결정하게 하며 - 상기 하나 이상의 햅틱 효과들은 상기 제스처 동안 내내 실질적으로 연속적인 햅틱 피드백을 제공하도록 구성됨 -;
상기 하나 이상의 햅틱 효과들에 적어도 부분적으로 기초하여 하나 이상의 햅틱 신호들을 발생시키게 하고;
상기 하나 이상의 햅틱 신호들을 햅틱 출력 디바이스로 전송하게 하도록 - 상기 햅틱 출력 디바이스는 상기 하나 이상의 햅틱 신호들을 수신하고 상기 하나 이상의 햅틱 효과들을 출력하도록 구성됨 - 구성되는, 비일시적 컴퓨터 판독가능 매체.
18. A non-transitory computer readable medium comprising program code, wherein the program code, when executed by a processor,
Wherein the gesture includes at least two positions, a first one of the at least two positions includes a distance from a surface, and a second one of the at least two positions Contacting the surface;
Determine one or more haptic effects based at least in part on the sensor signal, wherein the one or more haptic effects are configured to provide substantially continuous haptic feedback throughout the gesture;
Cause one or more haptic signals to be generated based at least in part on the one or more haptic effects;
Wherein the haptic output device is configured to receive the at least one haptic signals and output the at least one haptic effects to cause the at least one haptic signals to be transmitted to the haptic output device.
제17항에 있어서, 상기 제스처는 상기 표면으로부터 멀리 떨어져 있는 시작하는 위치와 상기 표면으로부터 멀리 떨어져 있는 끝나는 위치를 포함하는, 비일시적 컴퓨터 판독가능 매체.18. The non-transitory computer readable medium of claim 17, wherein the gesture comprises a starting position remote from the surface and an ending position remote from the surface. 제17항에 있어서,
상기 제스처는 상기 적어도 2개의 위치 사이에 있고, 상기 제스처는 상기 제1 위치에서 시작하고 상기 제2 위치에서 끝나며;
상기 하나 이상의 햅틱 효과들은 원격 햅틱 효과와 로컬 햅틱 효과를 포함하고;
상기 비일시적 컴퓨터 판독가능 매체는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
상기 제1 위치에서 제1 상호작용을 검출한 것에 응답하여 상기 햅틱 출력 디바이스로 하여금 상기 원격 햅틱 효과를 출력하게 하고;
상기 제2 위치에서 제2 상호작용을 검출한 것에 응답하여 상기 햅틱 출력 디바이스로 하여금 상기 로컬 햅틱 효과를 출력하게 하도록 구성되는 프로그램 코드를 추가로 포함하는, 비일시적 컴퓨터 판독가능 매체.
18. The method of claim 17,
The gesture being between the at least two positions, the gesture starting at the first position and ending at the second position;
Wherein the one or more haptic effects include a remote haptic effect and a local haptic effect;
The non-transitory computer readable medium, when executed by the processor, causes the processor to:
Cause the haptic output device to output the remote haptic effect in response to detecting a first interaction at the first location;
And program code configured to cause the haptic output device to output the local haptic effect in response to detecting a second interaction at the second location.
제19항에 있어서, 상기 햅틱 출력 디바이스는 웨어러블 디바이스에 위치된 제1 햅틱 출력 디바이스와 상기 표면에 결합된 제2 햅틱 출력 디바이스를 포함하고;
상기 비일시적 컴퓨터 판독가능 매체는, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
상기 제1 위치에서 상기 제1 상호작용을 검출한 것에 응답하여 상기 제1 햅틱 출력 디바이스로 하여금 상기 원격 햅틱 효과를 출력하게 하고;
상기 제2 위치에서 상기 제2 상호작용을 검출한 것에 응답하여 상기 제2 햅틱 출력 디바이스로 하여금 상기 로컬 햅틱 효과를 출력하게 하도록 구성되는 프로그램 코드를 추가로 포함하는, 비일시적 컴퓨터 판독가능 매체.
20. The haptic device of claim 19, wherein the haptic output device comprises a first haptic output device located at the wearable device and a second haptic output device coupled to the surface;
The non-transitory computer readable medium, when executed by the processor, causes the processor to:
Cause the first haptic output device to output the remote haptic effect in response to detecting the first interaction at the first location;
And program code configured to cause the second haptic output device to output the local haptic effect in response to detecting the second interaction at the second location.
제19항에 있어서,
상기 제스처는 신체 부위의 움직임을 포함하고;
상기 원격 햅틱 효과는 상기 신체 부위와의 정전기 결합을 발생시키는 것 또는 고체, 액체, 기체, 플라즈마, 음압파, 또는 레이저 빔을 상기 신체 부위 쪽으로 방출하는 것을 포함하며;
상기 로컬 햅틱 효과는 진동, 텍스처, 마찰 계수의 인지된 변화, 표면 변형, 또는 온도의 변동을 포함하고;
상기 센서는 카메라, 3D 영상 디바이스, 자이로스코프, 글로벌 포지셔닝 시스템(GPS), 또는 초음파 트랜스듀서를 포함하는, 비일시적 컴퓨터 판독가능 매체.
20. The method of claim 19,
The gesture comprising movement of a body part;
Wherein the remote haptic effect comprises generating electrostatic coupling with the body part or releasing a solid, liquid, gas, plasma, acoustic wave, or laser beam toward the body part;
The local haptic effect includes vibrations, textures, perceived changes in friction coefficients, surface deformations, or variations in temperature;
Wherein the sensor comprises a camera, a 3D imaging device, a gyroscope, a global positioning system (GPS), or an ultrasonic transducer.
제17항에 있어서, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
상기 적어도 2개의 위치들의 위치에 적어도 부분적으로 기초하여, 복수의 이용가능한 사용자 인터페이스 레벨들로부터 사용자 인터페이스 레벨을 결정하게 하고;
상기 사용자 인터페이스 레벨과 연관된 기능을 결정하게 하며;
상기 기능을 실행하게 하도록 구성되는 프로그램 코드를 추가로 포함하는, 비일시적 컴퓨터 판독가능 매체.
18. The method of claim 17, further comprising: when executed by the processor,
Determine a user interface level from a plurality of available user interface levels based, at least in part, on the location of the at least two locations;
Determine a function associated with the user interface level;
Further comprising program code configured to cause the computer to perform the function.
제17항에 있어서, 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금
제2 센서로부터의 제2 센서 신호에 기초하여 신체 부위를 결정하게 하고;
상기 신체 부위가 민감한 신체 부위를 포함한다고 결정하게 하며;
상기 하나 이상의 햅틱 효과들 중 적어도 하나의 햅틱 효과가 상기 민감한 신체 부위에 적용되도록 구성되어 있다고 결정하게 하고;
상기 민감한 신체 부위에 대한 부상의 가능성을 감소시키도록 구성된 상기 적어도 하나의 햅틱 효과의 특성을 결정하게 하도록 구성되는 프로그램 코드를 추가로 포함하는, 비일시적 컴퓨터 판독가능 매체.
18. The method of claim 17, further comprising: when executed by the processor,
Determine a body part based on a second sensor signal from a second sensor;
Determine that said body part comprises a sensitive body part;
Determine that at least one haptic effect of the one or more haptic effects is configured to apply to the sensitive body part;
Further comprising program code configured to determine a characteristic of the at least one haptic effect configured to reduce the likelihood of injury to the sensitive body part.
KR1020160165843A 2015-12-11 2016-12-07 Systems and methods for position-based haptic effects KR20170069936A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/966,652 US9990078B2 (en) 2015-12-11 2015-12-11 Systems and methods for position-based haptic effects
US14/966,652 2015-12-11

Publications (1)

Publication Number Publication Date
KR20170069936A true KR20170069936A (en) 2017-06-21

Family

ID=57530612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160165843A KR20170069936A (en) 2015-12-11 2016-12-07 Systems and methods for position-based haptic effects

Country Status (5)

Country Link
US (3) US9990078B2 (en)
EP (1) EP3179340A1 (en)
JP (2) JP7182851B2 (en)
KR (1) KR20170069936A (en)
CN (1) CN106896910A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185441B2 (en) 2015-12-11 2019-01-22 Immersion Corporation Systems and methods for position-based haptic effects
KR20190058111A (en) * 2017-11-21 2019-05-29 삼성전자주식회사 Method and apparatus for providing vibration

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
JP6427279B2 (en) 2015-04-30 2018-11-21 グーグル エルエルシー RF based fine motion tracking for gesture tracking and recognition
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10915220B2 (en) * 2015-10-14 2021-02-09 Maxell, Ltd. Input terminal device and operation input method
KR101807655B1 (en) * 2015-12-01 2017-12-11 주식회사 퓨처플레이 Method, device, system and non-transitory computer-readable recording medium for providing user interface
US11003345B2 (en) 2016-05-16 2021-05-11 Google Llc Control-article-based control of a user interface
US9886829B2 (en) 2016-06-20 2018-02-06 Immersion Corporation Systems and methods for closed-loop control for haptic feedback
US10169918B2 (en) * 2016-06-24 2019-01-01 Microsoft Technology Licensing, Llc Relational rendering of holographic objects
JP6940223B2 (en) * 2016-08-18 2021-09-22 ソニーグループ株式会社 Information processing equipment, information processing system and information processing method
JP2018045349A (en) * 2016-09-13 2018-03-22 カシオ計算機株式会社 Processing device, processing method, and program
US10373452B2 (en) * 2016-11-29 2019-08-06 Immersion Corporation Targeted haptic projection
FR3059945B1 (en) * 2016-12-14 2019-10-04 Faurecia Interieur Industrie CONTROL DEVICE PARTICULARLY FOR VEHICLE
JP7000683B2 (en) * 2017-01-20 2022-01-19 富士フイルムビジネスイノベーション株式会社 Information processing system and program
US10559283B2 (en) * 2017-03-20 2020-02-11 Paypal, Inc. Automated user device damage remediation
DE112017007543T5 (en) * 2017-06-14 2020-02-20 Ford Global Technologies, Llc Portable haptic feedback
CN107309874B (en) * 2017-06-28 2020-02-07 歌尔科技有限公司 Robot control method and device and robot
US10712931B2 (en) * 2017-08-29 2020-07-14 Apple Inc. Systems for modifying finger sensations during finger press input events
CA3125495C (en) * 2017-09-06 2023-01-03 Damon Motors Inc. Motorcycle with haptic feedback
US10474236B1 (en) 2017-09-13 2019-11-12 Facebook Technologies, Llc Haptic device for variable bending resistance
CA3079092A1 (en) 2017-11-02 2019-05-09 Damon Motors Inc. Anticipatory motorcycle safety system
US10678333B2 (en) * 2017-11-14 2020-06-09 Verizon Patent And Licensing Inc. Methods and systems for presenting haptically perceptible virtual objects
KR102486453B1 (en) * 2017-12-08 2023-01-09 삼성디스플레이 주식회사 Display device
EP3502835A1 (en) * 2017-12-20 2019-06-26 Nokia Technologies Oy Gesture control of a data processing apparatus
US20190324549A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Systems, devices, and methods for providing immersive reality interface modes
US20200192480A1 (en) * 2018-12-18 2020-06-18 Immersion Corporation Systems and methods for providing haptic effects based on a user's motion or environment
US11068688B2 (en) * 2019-01-04 2021-07-20 Pierre T. Gandolfo Multi-function ultrasonic sensor controller with fingerprint sensing, haptic feedback, movement recognition, 3D positioning and remote power transfer capabilities
CN111602171A (en) * 2019-07-26 2020-08-28 深圳市大疆创新科技有限公司 Point cloud feature point extraction method, point cloud sensing system and movable platform
JP7316383B2 (en) 2019-07-26 2023-07-27 グーグル エルエルシー Authentication management via IMU and radar
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
KR102479012B1 (en) 2019-08-30 2022-12-20 구글 엘엘씨 Visual indicator for paused radar gestures
CN112753005B (en) 2019-08-30 2024-03-01 谷歌有限责任公司 Input method of mobile device
DE102019216411B4 (en) * 2019-10-24 2022-09-29 Volkswagen Aktiengesellschaft Device for detecting an input by means of an actuation object and method for operating a device for detecting an input
WO2021207330A2 (en) * 2020-04-08 2021-10-14 Tactual Labs Co. Non-uniform electrode spacing with a bend sensor
JP2021192178A (en) * 2020-06-05 2021-12-16 ソニーグループ株式会社 Device, control method, and program
CN114429811A (en) * 2020-10-29 2022-05-03 京东方科技集团股份有限公司 Registration system
US11681399B2 (en) * 2021-06-30 2023-06-20 UltraSense Systems, Inc. User-input systems and methods of detecting a user input at a cover member of a user-input system
CN113703607A (en) * 2021-08-25 2021-11-26 北京京东方技术开发有限公司 Interactive display device
US11681373B1 (en) 2021-12-08 2023-06-20 International Business Machines Corporation Finger movement management with haptic feedback in touch-enabled devices

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7890863B2 (en) 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
WO2009037379A1 (en) 2007-09-18 2009-03-26 Senseg Oy Method and apparatus for sensory stimulation
US8933892B2 (en) * 2007-11-19 2015-01-13 Cirque Corporation Touchpad combined with a display and having proximity and touch sensing capabilities to enable different functions or interfaces to be displayed
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US8576181B2 (en) * 2008-05-20 2013-11-05 Lg Electronics Inc. Mobile terminal using proximity touch and wallpaper controlling method thereof
KR101498622B1 (en) 2008-06-25 2015-03-04 엘지전자 주식회사 Mobile terminal for providing haptic effect and control method thereof
KR101481556B1 (en) 2008-09-10 2015-01-13 엘지전자 주식회사 A mobile telecommunication terminal and a method of displying an object using the same
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
KR20120028553A (en) * 2010-09-15 2012-03-23 삼성전자주식회사 Operation method for touch panel, portable device including the same and operation method thereof
JP5728866B2 (en) * 2010-09-24 2015-06-03 ソニー株式会社 Information processing apparatus, information processing terminal, information processing method, and computer program
US20120242793A1 (en) * 2011-03-21 2012-09-27 Soungmin Im Display device and method of controlling the same
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
IN2014CN03103A (en) 2011-10-20 2015-07-03 Koninkl Philips Nv
US9733706B2 (en) * 2011-10-26 2017-08-15 Nokia Technologies Oy Apparatus and associated methods for touchscreen displays
US9207852B1 (en) * 2011-12-20 2015-12-08 Amazon Technologies, Inc. Input mechanisms for electronic devices
CN104205958A (en) * 2011-12-29 2014-12-10 米格蒂卡斯特有限公司 Interactive base and token capable of communicating with computing device
JP5957893B2 (en) * 2012-01-13 2016-07-27 ソニー株式会社 Information processing apparatus, information processing method, and computer program
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
JP2013186737A (en) * 2012-03-08 2013-09-19 Stanley Electric Co Ltd Touch panel type operation device
US9201585B1 (en) * 2012-09-17 2015-12-01 Amazon Technologies, Inc. User interface navigation gestures
KR102035134B1 (en) * 2012-09-24 2019-10-22 엘지전자 주식회사 Image display apparatus and method for operating the same
KR102091077B1 (en) * 2012-12-14 2020-04-14 삼성전자주식회사 Mobile terminal and method for controlling feedback of an input unit, and the input unit and method therefor
JP2014209336A (en) * 2013-03-28 2014-11-06 株式会社Nttドコモ Information processing device and input support method
JP2014222488A (en) 2013-05-14 2014-11-27 株式会社東芝 Drawing device and drawing system
EP3144780A1 (en) 2013-06-11 2017-03-22 Immersion Corporation Systems and methods for pressure-based haptic effects
WO2015001875A1 (en) * 2013-07-05 2015-01-08 クラリオン株式会社 Information processing device
JP6117075B2 (en) * 2013-10-10 2017-04-19 株式会社東海理化電機製作所 Tactile presentation device
US9639158B2 (en) 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US9248840B2 (en) * 2013-12-20 2016-02-02 Immersion Corporation Gesture based input system in a vehicle with haptic feedback
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
JP2017513165A (en) 2014-03-21 2017-05-25 イマージョン コーポレーションImmersion Corporation System and method for force-based object manipulation and tactile sensation
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US10031582B2 (en) 2014-06-05 2018-07-24 Immersion Corporation Systems and methods for induced electrostatic haptic effects
KR102328100B1 (en) * 2014-11-20 2021-11-17 삼성전자주식회사 Apparatus and method for controlling a plurality of i/o devices
US9600076B2 (en) 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9658693B2 (en) 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
US20160342208A1 (en) 2015-05-20 2016-11-24 Immersion Corporation Haptic effects based on predicted contact
US9990078B2 (en) 2015-12-11 2018-06-05 Immersion Corporation Systems and methods for position-based haptic effects

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10185441B2 (en) 2015-12-11 2019-01-22 Immersion Corporation Systems and methods for position-based haptic effects
US10551964B2 (en) 2015-12-11 2020-02-04 Immersion Corporation Systems and methods for manipulating a graphical user interface through gestures in real space and providing associated haptic effects
KR20190058111A (en) * 2017-11-21 2019-05-29 삼성전자주식회사 Method and apparatus for providing vibration
US11262845B2 (en) 2017-11-21 2022-03-01 Samsung Electronics Co., Ltd. Device and method for providing vibration

Also Published As

Publication number Publication date
US10185441B2 (en) 2019-01-22
US10551964B2 (en) 2020-02-04
US20180321787A1 (en) 2018-11-08
JP2022003535A (en) 2022-01-11
JP2017107567A (en) 2017-06-15
US9990078B2 (en) 2018-06-05
CN106896910A (en) 2017-06-27
US20170168630A1 (en) 2017-06-15
EP3179340A1 (en) 2017-06-14
US20190179477A1 (en) 2019-06-13
JP7182851B2 (en) 2022-12-05

Similar Documents

Publication Publication Date Title
US10551964B2 (en) Systems and methods for manipulating a graphical user interface through gestures in real space and providing associated haptic effects
JP6616546B2 (en) Tactile device incorporating stretch characteristics
US10606356B2 (en) Systems and methods for haptically-enabled curved devices
US10248210B2 (en) Systems and methods for haptically-enabled conformed and multifaceted displays
US10474238B2 (en) Systems and methods for virtual affective touch
EP3333674A1 (en) Systems and methods for compliance simulation with haptics
US20180011538A1 (en) Multimodal haptic effects
JP2016219002A (en) Haptic effects based on predicted contact
KR20190073281A (en) Haptically-enabled peripheral usable for two-dimensional and three-dimensional tracking
EP3367216A1 (en) Systems and methods for virtual affective touch
US20200286298A1 (en) Systems and methods for a user interaction proxy

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal