KR102169206B1 - 햅틱 피드백 제어 시스템 - Google Patents

햅틱 피드백 제어 시스템 Download PDF

Info

Publication number
KR102169206B1
KR102169206B1 KR1020130073571A KR20130073571A KR102169206B1 KR 102169206 B1 KR102169206 B1 KR 102169206B1 KR 1020130073571 A KR1020130073571 A KR 1020130073571A KR 20130073571 A KR20130073571 A KR 20130073571A KR 102169206 B1 KR102169206 B1 KR 102169206B1
Authority
KR
South Korea
Prior art keywords
haptic
control element
feedback
user
haptic feedback
Prior art date
Application number
KR1020130073571A
Other languages
English (en)
Other versions
KR20140001149A (ko
Inventor
아마야 벡바 웨들
데이비드 번바움
삿비르 싱 바티아
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20140001149A publication Critical patent/KR20140001149A/ko
Application granted granted Critical
Publication of KR102169206B1 publication Critical patent/KR102169206B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Abstract

피드백 제어 시스템을 제공한다. 피드백 제어 시스템은 사용자 입력을 수신한다. 피드백 제어 시스템은 컨텍스트를 결정한다. 피드백 제어 시스템은 사용자 입력에 응답하여 그리고 컨텍스트에 기초하여 제어요소를 표시한다. 피드백 제어 시스템은 제어요소에 따라 피드백 파라미터를 조정하고, 제어요소는 조정된 피드백 파라미터에 기초하여 사용자에게 출력되는 피드백을 조정하도록 구성된다.

Description

햅틱 피드백 제어 시스템{HAPTIC FEEDBACK CONTROL SYSTEM}
본 출원은 2012년 6월 27일자로 출원된 미국 가출원 제61/664,918호의 우선권을 주장하며, 그 전문 내용은 본원에 참조로서 원용된다.
본 발명의 일 실시예는 일반적으로 피드백에 관한 것으로, 특히, 햅틱 피드백(haptic feedback)에 관한 것이다.
전자 기기 제조사들은 사용자를 위해 풍부한(rich) 인터페이스를 만들려고 노력하고 있다. 통상의 기기들은 시각 및 청각 큐(cues)를 이용하여 사용자에게 피드백을 제공한다. 일부 인터페이스 기기 중에는, 일반적으로는 총칭하여 "햅틱 피드백" 또는 "햅틱 효과"로 잘 알려져 있는, 신체 감각 피드백(예를 들어, 활동력 및 저항력 피드백) 및/또는 촉각 피드백(예를 들어, 진동, 감촉 및 열) 또한 사용자에게 제공된다. 햅틱 피드백은 사용자 인터페이스를 향상시키고 단순화시키는 큐를 제공할 수 있다. 구체적으로, 사용자에게 특정 이벤트를 알리거나, 모의 또는 가상 환경 내에서의 더 높은 감각적인 몰입을 발생시키기 위한 현실감(realistic) 피드백을 제공하기 위한 큐를 전자 기기의 사용자에게 제공함에 있어 진동 효과, 또는 진동 및 촉각(vibrotactile) 햅틱 효과가 유용할 수 있다.
또한, 이동 전화, PDA, 테블릿, 스마트폰 및 휴대형 게임 기기 등의 "핸드핼드(handheld) 기기" 또는 "휴대형 기기"로 불리는 휴대형 전자 기기에 햅틱 피드백을 내장시키는 것이 증가하고 있다. 예를 들어, 일부 휴대형 게임 어플리케이션은, 햅틱 피드백을 제공하도록 구성되는 대형 게임 시스템에서 이용되는 제어 기기(예를 들어, 조이스틱 등)와 유사한 방식으로 진동할 수 있다. 또한, 이동 전화 및 스마트폰 등의 기기는 진동 방식으로 사용자에게 다양한 알림(alert)을 제공할 수 있다. 예를 들어, 이동 전화는 착신 전화에 대하여 진동으로 사용자에게 알릴 수 있다. 유사하게, 스마트폰은 스케줄링된 일정 항목을 사용자에게 알리거나 "해야할 일" 리스트 항목 또는 일정 약속에 대한 리마인더(reminder)를 사용자에게 제공할 수 있다.
또한, 그러한 기기는, 보다 몰입적인 경험을 제공하기 위해, 기기가 사용자에게 출력 가능한 오디오 및/또는 비디오 효과를 보완하는 햅틱 피드백을 제공할 수 있다. 예를 들어, 사용자가 스마트폰에 의해 출력되는 비디오를 보거나 스마트폰에 의해 출력되는 음악을 듣는 경우, 스마트폰은 오디오 및/또는 비디오를 보완하는 햅틱 피드백을 출력할 수 있다.
본 발명의 일 실시예는 사용자에게 출력되는 피드백을 제어하는 시스템이다. 시스템은 사용자 입력을 수신한다. 시스템은 컨텍스트를 결정한다. 시스템은 사용자 입력에 응답하여 그리고 컨텍스트에 기초하여 제어요소(control)를 표시한다. 시스템은 제어요소에 따라 피드백 파라미터를 조정하고, 제어요소는 조정된 피드백 파라미터에 기초하여 사용자에게 출력되는 피드백을 조정하도록 구성된다.
첨부하는 도면과 관련하여 취해지는 바람직한 실시예에 대한 다음의 상세 설명으로부터 부가의 실시예, 상세설명, 이점 및 변형이 명백히 가능해 진다.
도 1은 본 발명의 일 실시예에 따른 햅틱 지원 시스템의 블록도를 도시한다.
도 2는 본 발명의 다른 실시예에 따른 햅틱 피드백 시스템의 블록도를 도시한다.
도 3은 본 발명의 일 실시예에 따른, 기기의 사용자 인터페이스 내에 표시되는 예시적인 햅틱 제어요소를 도시한다.
도 4는 본 발명의 일 실시예에 따른, 기기의 사용자 인터페이스 내에 표시되는 햅틱 제어요소의 예시적인 설정을 도시한다.
도 5는 본 발명의 일 실시예에 따른, 사용자 인터페이스 내에 표시되는 예시적인 오디오 제어요소를 도시한다.
도 6은 본 발명의 일 실시예에 따른, 사용자 인터페이스 내에 예시적 오디오 제어요소와 함께 동시에 표시되는 예시적인 햅틱 제어요소를 도시한다.
도 7은 본 발명의 일 실시예에 따른, 햅틱 피드백 제어 모듈의 기능에 대한 흐름도를 도시한다.
도 8은 본 발명의 일 실시예에 따른, 사용자 인터페이스 내에 예시적인 오디오 제어요소와 함께 동시에 표시되는 예시적인 가상 키보드 햅틱 제어요소를 도시한다.
일 실시예는, 기기의 기계적인 버튼 또는 스위치에 의해 제공되는 입력에 기초하여, 그리고 기기의 컨텍스트에 기초하여, 사용자에게 출력되는 햅틱 피드백을 제어하는 햅틱 피드백 제어 시스템이다. 햅틱 피드백 제어 시스템은, 기계적인 버튼 또는 스위치에 의해 제공된 입력에 응답하여, 그리고 기기의 컨텍스트가 사용자에게 출력되는 햅틱 피드백을 제어하기에 적합하다는 결정에 응답하여, 햅틱 제어 사용자 인터페이스를 표시할 수 있다. 사용자는, 예를 들어, 햅틱 제어 사용자 인터페이스를 터치함으로써, 햅틱 제어 사용자 인터페이스와 상호작용하여, 사용자 자신에게 출력되고 기기에 의해 제공되는 햅틱 피드백을 제어할 수 있다.
본원에 기재된 바와 같이, "제스처(gesture)"는 의미 또는 사용자 의도를 전달하는 신체의 임의의 움직임이다. 단순한 제스처들이 결합되어 보다 복잡한 제스처를 형성할 수 있다. 예를 들어, 터치 감응 면에 손가락을 접촉하는 것을 "핑거 온(finger on)" 제스처라고 칭할 수 있는 한편, 터치 감응 면으로부터 손가락을 떼는 것을 별개의(separate) "핑거 오프(finger off)" 제스처라고 칭할 수 있다. "핑거 온" 제스처와 "핑거 오프" 제스처 사이의 시간이 비교적 짧다면, 결합된 제스처를 "탭핑(tapping)" 또는 "프레싱(pressing)"이라고 칭할 수 있다. "핑거 온" 제스처와 "핑거 오프" 제스처 사이의 시간이 비교적 길다면, 결합된 제스처를 "긴 탭핑" 또는 "긴 프레싱"이라고 칭할 수 있다. "핑거 온" 제스처와 "핑거 오프" 제스처의 2차원 (x,y) 위치 사이의 거리가 비교적 멀다면, 결합된 제스처를 "스위핑(swiping)"이라고 칭할 수 있다. "핑거 온" 제스처와 "핑거 오프" 제스처의 2차원 (x,y) 위치 사이의 거리가 비교적 가깝다면, 결합된 제스처를 "스미어링(smearing)", "스머깅(smudging)" 또는 "플리킹(flicking)"이라고 칭할 수 있다. 2차원 또는 3차원의 단순 또는 복잡한 임의의 수의 제스처들은, 기기에의 복수의 손가락 접촉, 손바닥 또는 주먹 접촉, 또는 근접을 포함하지만 그에 한정되지는 않는 임의의 수의 다른 제스처들을 형성하는 임의의 방식으로 결합될 수 있다. 제스처는 또한, 가속도계, 자이로스코프, 또는 다른 움직임 감지기를 포함하는 기기에 의해 인식되어, 전자 신호로 변환되는 임의의 형태의 손동작일 수 있다. 그러한 전자 신호는 진동 등의 햅틱 효과를 활성화할 수 있고, 감지기는 햅틱 효과를 발생시키는 사용자 의도를 캡처한다. 또한, "제어 사용자 인터페이스" 또는 "제어요소"는 사용자가 사용자 인터페이스 내에서 제스처를 취할 때, 기기에 의해 출력되는 피드백을 사용자가 제어하도록 하게 하는 기기에 의해 표시될 수 있는 사용자 인터페이스이다.
도 1은 본 발명의 일 실시예에 따라 햅틱 지원 시스템(110)의 블록도를 도시한다. 시스템(110)은, 하우징(115) 내에 장착된 터치 감응 면(111) 또는 다른 유형의 사용자 인터페이스를 포함하고, 기계적인 버튼/스위치(113)를 포함할 수 있다. 시스템(110)의 내부는 시스템(110)에 진동 등의 햅틱 효과를 발생시키는 햅틱 피드백 시스템이다. 일 실시예에서, 햅틱 효과는 터치 감응 면(111)에서 발생된다.
햅틱 피드백 시스템은 프로세서(112)를 포함한다. 프로세서(112)에는 메모리(120) 및 출력 장치 구동 회로(116)가 연결되며, 출력 장치 구동 회로(116)는 (액추에이터 등의) 출력 장치(118)에 연결된다. 프로세서(112)는 임의의 유형의 범용 프로세서일 수 있거나, 햅틱 효과를 제공하도록 특수하게 설계된 주문형 반도체(ASIC, application-specific integrated circuit) 등의 프로세서일 수도 있다. 프로세서(112)는 시스템(110) 전체를 운영하는 프로세서와 동일한 프로세서일 수도 있거나, 별도의 프로세서일 수도 있다. 프로세서(112)는 상위 레벨 파라미터(high level parameters)에 기초하여 효과를 내는 순서와 어떤 햅틱 효과를 내야하는지를 결정할 수 있다. 일반적으로, 특수 햅틱 효과를 규정하는 상위 레벨 파라미터는 크기, 진동수 및 지속 기간을 포함한다. 또한, 스트리밍 모터 커맨드 등의 하위 레벨 파라미터를 이용하여 특수 햅틱 효과를 결정할 수도 있다. 햅틱 효과가 이 효과가 발생될 때 이들 파라미터의 일부 변동 또는 사용자의 상호작용에 기초한 이들 파라미터의 변동을 포함할 경우, 햅틱 효과는 동적인 것으로 고려될 수 있다.
프로세서(112)는 제어 신호를 구동 회로(116)에 출력하며, 구동 회로(116)는 원하는 햅틱 효과를 일으키는 데 필요한 전류 및 전압을 출력 장치(118)에 공급하는 데 사용되는 전자 부품 및 회로들을 포함한다. 시스템(110)은 둘 이상의 출력 장치(118)를 포함할 수 있고, 각각의 출력 장치는 개별 구동 회로(116)를 포함할 수 있으며, 이들 모두는 공통 프로세서(112)에 연결된다. 메모리 장치(120)는 랜덤 액세스 메모리("RAM") 또는 판독 전용 메모리("ROM") 등의, 임의의 유형의 기억 장치 또는 컴퓨터-판독가능 매체일 수 있다. 메모리(120)는 프로세서(112)에 의해 실행되는 명령어들을 기억한다. 이들 명령어들 가운데, 메모리(120)는, 프로세서(112)에 의해 실행될 때, 출력 장치(118)에 구동 신호를 발생시키고, 또한 출력 장치(118)로부터의 피드백을 결정하여 구동 신호를 조정하는 명령어들인 출력 장치 구동 모듈(122)을 포함한다. 모듈(122)의 기능은 이하에 상세히 설명한다. 메모리(120)는 또한 프로세서(112) 내부에 위치되거나, 내부와 외부 메모리의 임의의 조합일 수도 있다.
터치 감응 면(111)은 터치를 인식하며, 또한, 터치 면에서의 터치의 위치 및 크기 또는 압력을 인식할 수 있다. 터치에 대응하는 데이터는 프로세서(112), 또는 시스템(110) 내의 다른 프로세서로 송신되고, 프로세서(112)는 그 터치를 해석하고 그 응답으로 햅틱 효과 신호를 발생시킨다. 터치 면(111)은 용량성 감지, 저항성 감지, 표면 탄성파(surface acoustic wave) 감지, 압력 감지, 광학적 감지 등을 포함한 임의의 감지 기술을 이용하여 터치를 감지할 수 있다. 터치 면(111)은 멀티-터치 접촉을 감지할 수 있어, 동시에 발생하는 다수의 터치들을 구별할 수 있다. 터치 감응 면(111)은 사용자가 키, 다이얼 등을 이용하여 상호작용하기 위한 이미지들을 생성하여 표시하는 터치스크린일 수 있거나, 최소한의 이미지를 갖거나 이미지를 갖지 않는 터치패드일 수 있다.
시스템(110)은, 이동 전화, PDA, 컴퓨터 태블릿, 게임 콘솔 등의 핸드핼드 기기일 수 있거나, 사용자 인터페이스를 제공하며 하나 이상의 ERM(eccentric rotating mass motor), 선형 공진 액추에이터(LRA, linear resonant actuator), 정전기 또는 다른 유형의 액추에이터를 포함하는 햅틱 효과 시스템을 포함하는 임의의 다른 유형의 기기일 수 있다. 사용자 인터페이스는 터치 감응 면일 수 있거나, 또는 마우스, 터치패드, 미니-조이스틱, 스크롤 휠, 트랙볼, 게임 패드나 게임 제어기 등의 임의의 다른 유형의 사용자 인터페이스일 수 있다. 둘 이상의 액추에이터를 갖는 실시예들에서, 각각의 액추에이터는 기기에 광범위한 햅틱 효과를 발생시키기 위해 서로 다른 출력 능력을 가질 수 있다. 각각의 액추에이터는 임의의 유형의 햅틱 액추에이터일 수 있거나, 단일의 또는 다차원 배열의 액추에이터일 수 있다.
도 2는 본 발명의 다른 실시예에 따라 햅틱 피드백 시스템(210)의 블록도를 도시한다. 일 실시예에서, 햅틱 피드백 시스템(210)은 (도 1의 기기(110) 등의) 기기의 일부이며, 햅틱 피드백 시스템(210)은 기기에 햅틱 피드백 제어 기능을 제공한다. 단일 시스템으로서 도시하고 있지만, 햅틱 피드백 시스템(210)의 기능은 분산된 시스템으로서도 구현될 수 있다. 햅틱 피드백 시스템(210)은 정보의 통신을 위한 버스(212) 또는 다른 통신 메커니즘, 및 정보의 처리를 위한, 버스(212)에 연결된 프로세서(222)를 포함한다. 프로세서(222)는 임의의 유형의 범용 프로세서 또는 특정 목적의 프로세서일 수 있다. 햅틱 피드백 시스템(210)은 프로세서(222)에 의해 실행되는 정보 및 명령어들을 기억하는 메모리(214)를 더 포함한다. 메모리(214)는 RAM, ROM, 자기 또는 광학 디스크 등의 정적 메모리, 또는 임의의 다른 유형의 컴퓨터 판독가능한 매체의 임의의 조합으로 구성될 수 있다.
컴퓨터 판독가능한 매체는 프로세서(222)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있고, 휘발성 및 비휘발성 매체, 이동식 및 고정식 매체, 통신 매체, 및 기억 매체를 포함할 수 있다. 통신 매체는 컴퓨터 판독가능한 명령어들, 데이터 구조, 프로그램 모듈 또는 반송파 또는 다른 전송 매커니즘 등의 변조된 데이터 신호 내의 다른 데이터를 포함할 수 있고, 본 기술 분야에서 공지된 임의의 다른 형태의 정보 전달 매체를 포함할 수 있다. 기억 매체는 RAM, 플래시 메모리, ROM, EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), 레지스터, 하드 디스크, 이동식 디스크, CD-ROM, 또는 본 기술 분야에서 공지된 임의의 다른 형태의 기억 매체를 포함할 수 있다.
일 실시예에서, 메모리(214)는, 프로세서(222)에 의해 실행될 때, 기능을 제공하는 소프트웨어 모듈을 기억한다. 모듈은, 햅틱 피드백 시스템(210)뿐만 아니라 일 실시예에서의 모바일 기기의 나머지 부분에 운영 시스템 기능을 제공하는 운영 시스템(215)을 포함한다. 모듈은, 하기에 보다 상세히 기재된 바와 같이, 햅틱 피드백을 제어하는 햅틱 피드백 제어 모듈(216)을 더 포함한다. 소정의 실시예에서, 햅택 피드백 제어 모듈(216)은 복수의 모듈을 포함할 수 있고, 각각의 개별 모듈은 햅틱 피드백을 제어하기 위한 특수한 개별 기능을 제공한다. 햅틱 피드백 시스템(210)은 통상, 부가적인 기능을 포함하도록, Immersion Corporation에 의한 IntegratorTM 등의 하나 이상의 추가 어플리케이션 모듈(218)을 포함할 것이다.
원격 소스로부터 데이터를 송신 및/또는 수신하는 본 실시예에서의 햅틱 피드백 시스템(210)은, 적외선, 무선(radio), Wi-Fi, 또는 셀룰러망 통신 등의 모바일 무선망 통신을 제공하기 위해, 네트워크 인터페이스 카드 등의 통신 기기(220)를 더 포함한다. 다른 실시예에서, 통신 기기(220)는 이더넷 접속 또는 모뎀 등의 유선 네트워크 접속을 제공한다.
프로세서(222)는 또한, 사용자에게 사용자 인터페이스 또는 도식적 표현을 표시하기 위해, LCD 등의 디스플레이(224)에 버스(212)를 통해 연결된다. 디스플레이(224)는, 프로세서(222)로부터 신호를 송수신하도록 구성된, 터치스크린 등의 터치-감응 입력 장치일 수 있고, 멀티-터치 터치스크린일 수 있다. 프로세서(222)는 또한, 사용자가 햅틱 피드백 시스템(210)과 상호작용하도록 하게 하는, 키보드, 또는 마우스 또는 스타일러스 등의 커서 제어요소(228)에 연결될 수도 있다.
일 실시예에서, 시스템(210)은 액추에이터(226)를 더 포함한다. 프로세서(222)는 발생된 햅틱 효과와 연관된 햅틱 신호를 액추에이터(226)에 송신할 수 있고, 이어서 액추에이터(226)가 진동 및 촉각(vibrotactile) 햅틱 효과 등의 햅틱 효과를 출력한다. 액추에이터(226)는 액추에이터 구동 회로를 포함한다. 액추에이터(226)는, 예를 들어, 전기 모터, 전자기 액추에이터, 음성 코일, 형상 기억 합금, 전기 활성 폴리머, 솔레노이드, ERM, LRA, 압전 액추에이터, 높은 대역폭 액추에이터, EAP(electroactive polymer) 액추에이터, 정전기 마찰 디스플레이, 또는 초음파 진동 발생기일 수 있다. 다른 실시예에서, 햅틱 피드백 시스템(210)은 액추에이터(226)(도 2에 도시하지 않음) 외에도, 하나 이상의 추가 액추에이터를 포함할 수 있다. 다른 실시예에서, 햅틱 피드백 시스템(210)으로부터 분리된 장치는 햅틱 효과를 발생시키는 액추에이터를 포함하고, 햅틱 피드백 시스템(210)은 발생된 햅틱 효과 신호를 통신 장치(220)를 통해 그 분리된 장치에 송신한다.
햅틱 피드백 시스템(210)은 또한, 데이터베이스(230)에 동작적으로(operatively) 연결될 수 있고, 데이터베이스(230)는 모듈(216 및 218)에 의해 이용되는 데이터를 저장하도록 구성될 수 있다. 데이터베이스(230)는 운영(operational) 데이터베이스, 분석 데이터베이스, 데이터 창고, 분산형 데이터베이스, 최종 사용자(end user) 데이터베이스, 외부 데이터베이스, 탐색 데이터베이스, 메모리 내 데이터베이스, 문서 지향형 데이터베이스, 실시간 데이터베이스, 관계형 데이터베이스, 객체 지향형 데이터베이스, 또는 본 기술 분야에서 공지된 임의의 다른 데이터베이스일 수 있다.
도 3은 본 발명의 일 실시예에 따른, 기기(310)의 사용자 인터페이스 내에 표시되는 예시적인 햅틱 제어요소(320)를 도시한다. 기기(310)는 이동 전화, PDA, 컴퓨터 태블릿, 게임 콘솔 등의 핸드핼드 기기일 수 있거나, 사용자 인터페이스를 제공하며 하나 이상의 ERMs, LRAs, 정전기 또는 다른 유형의 액추에이터를 포함하는 햅틱 효과 시스템을 포함하는 임의의 다른 유형의 기기일 수 있다. 상기 설명한 바와 같이, 기기(310)는, 단독으로 또는 오디오 및/또는 비디오와 함께 사용자 햅틱 피드백을 제공할 수 있다. 예를 들어, 기기(310)는 사용자에게 (음악 재생 등의) 오디오를 제공하고, 하나 이상의 알고리즘을 이용하여 오디오를 햅틱 피드백으로 변환하여, 그 햅틱 피드백을 오디오와 함께 제공할 수 있다. 일반적으로, 사용자는 그러한 햅틱 피드백이 엄격히 제어되기를 원하므로, 햅틱 피드백을 조정하기 위해, 오디오 및/또는 비디오를 출력하는 어플리케이션을 종료하는 것 (이에 따라, 그들의 엔터테인먼트를 중단하는 것)은 부담일 수 있다. 또한, 사용자가 기기(310)에 의해 제공되는 햅틱 피드백을 엄격하게 제어하기를 원하기 때문에, 기기(310)가 햅틱 피드백을 사용자에게 제공하는 방법을 조정하기 위해, 사용자가 기기(310)에 의해 제공되는 피드백을 중단시키는 것은 매우 번거로울 수 있다. 예를 들어, 사용자는, 그에게 제공되는 햅틱 피드백을 조정하기 위해 기기(310)에 의한 오디오의 제공을 일시 정지하여 기기(310)의 "설정" 사용자 인터페이스에 액세스할 수 있지만, 설정 사용자 인터페이스에 대한 액세스는 시간 집약형(time-intensive) 프로세스일 수 있어, 기기(310)에 의해 제공되는 오디오의 향유를 방해할 수 있다.
본 실시예에 따르면, 기기(310)는 햅틱 제어요소(320)를 표시할 수 있고, 이 햅틱 제어요소(320)는 기기(310)에 의해 제공 가능한 햅틱 피드백을 제어하도록 구성된다. 보다 구체적으로는, 햅틱 제어요소(320)는 기기(310)에 의해 제공 가능한 햅틱 피드백의 하나 이상의 햅틱 파라미터를 조정하도록 구성될 수 있고, 이 하나 이상의 햅틱 파라미터의 조정은 햅틱 피드백을 조정하는 것이다. 예시적인 햅틱 피드백 파라미터는 햅틱 피드백의 강도를 제어하는 강도 파라미터이다. 다른 예시적인 햅틱 피드백 파라미터는 햅틱 피드백의 밀도를 제어하는 밀도 파라미터이다. 또 다른 예시적인 햅틱 피드백 파라미터는 햅틱 피드백의 선명도(sharpness)를 제어하는 선명도 파라미터이다.
추가의 예시적인 햅틱 피드백 파라미터는 햅틱 피드백의 "모드"를 제어하는 모드 파라미터이다. 보다 구체적으로는, 소정의 햅틱 피드백 파라미터 구성은 "모드들"로 분류될 수 있는데, 여기서, 햅틱 피드백 파라미터 구성은 복수의 햅틱 파라미터 및 대응하는 복수의 미리 규정된 값을 포함한다. 일례로, 강도, 밀도 및 선명도 파라미터가 특정한 큰 값과 연관되어 있는 햅틱 피드백 구성은 "강(strong)" 모드로 분류될 수 있다. 반대로, 강도, 밀도 및 선명도 파라미터가 특정한 작은 값과 연관되어 있는 햅틱 피드백 구성은 "약(light)" 모드로 분류될 수 있다. 햅틱 피드백은, "약" 모드에서 "강" 모드로 모드 파라미터를 조정하여 조정될 수 있으며, 이때 그 햅틱 피드백의 강도, 밀도 및 선명도 모두는 그들 각각의 작은 값으로부터 그들 각각의 큰 값으로 증가된다. 소정의 실시예에서는, 햅틱 피드백이 보완될 수 있는 컨텐츠(content)에 기초하여 모드들이 규정될 수 있다. 예를 들어, "오디오" 모드는, 오디오를 보완하는 햅틱 피드백을 생성(produce)하는 복수의 햅틱 파라미터 및 대응하는 복수의 미리 규정된 값을 포함하도록 규정될 수 있다. 다른 예로서, "비디오" 모드는 비디오를 보완하는 햅틱 피드백을 생성하는 복수의 햅틱 파라미터 및 대응하는 복수의 미리 규정된 값을 포함하도록 규정될 수 있다.
도시한 실시예에서, 햅틱 제어요소(320)는 아이콘, 타이틀, 슬라이더, 라벨, 확인(OK) 버튼 및 취소(Cancel) 버튼을 포함한다. 그러나, 도시한 실시예는 단지 예시적인 실시예이며, 다른 실시예에서, 햅틱 제어요소(320)는 다른 외형(alternate appearance)을 가질 수 있다.
실시예에 따르면, 기기(310)에 의한 햅틱 제어요소(320)의 표시는, 기기(310)와 연관된 "컨텍스트"에 기초하여 제어될 수 있다. "컨텍스트"는 기기(310)에 의해 행해지는 기능의 유형이다. 비-제한적인 예로서, 기기(310)는, 음성 호출이나 오디오 알림 등의 통신 기반 컨텐츠를 출력하는 기능을 행할 수 있다. 이러한 기능은 "통신" 컨텍스트로 분류될 수 있으며, 햅틱 피드백이 이러한 컨텍스트에 적합하지 않은 것으로 결정될 수 있다. 다른 비-제한적인 예로서, 기기(310)는, 오디오 노래 또는 비디오 영화 등의 미디어 컨텐츠를 출력하는 기능을 행할 수 있다. 이러한 기능은 "미디어" 컨텍스트로 분류될 수 있으며, 햅틱 피드백이 이러한 컨텍스트에 적합한 것으로 결정될 수 있다. 이들은 단지 기기(310)의 컨텍스트의 비-제한적인 예일 뿐이며, 기기(310)에 의해 행해진 다른 유형의 기능에 기초한 다른 유형의 컨텍스트일 수 있다. 본 실시예에 따르면, 햅틱 제어요소(320)는, 기기(310)와 연관된 컨텍스트가 햅틱 피드백을 제어하는데 적합한 컨텍스트인 경우에만 기기(310)에 의해 표시될 수 있다. 상기 비-제한적인 예에서, 기기(310)는, 기기(310) 자신이 통신 컨텍스트의 기능을 행하는 경우에는 햅틱 제어요소(320)가 표시되는 것을 방지할 수 있다. 이에 반해, 기기(310)는, 기기(310)가 미디어 컨텍스트의 기능을 행하는 경우에는 햅틱 제어요소가 표시되도록 할 수 있다. 소정의 실시예에서, 기기(310)는, 기기(310) 자신과 연관된 컨텍스트를 식별하는 컨텍스트 메타데이터를 생성할 수 있다. 또한, 소정의 실시예에서, 기기(310)는, 기기(310)와 연관된 컨텍스트가 어떤 것이든 간에 햅틱 제어요소(320)가 표시되는 것을 방지할 수 있다.
다른 비-제한적인 예로서, 기기(310)는 하나 이상의 미리 제작되거나 미리 오소링된(pre-authored) 햅틱 효과를 포함하는 미디어 컨텐츠를 출력하는 기능을 행할 수 있다. 이러한 기능은 "햅틱 미디어" 컨텍스트로 분류될 수 있으며, 햅틱 피드백이 이러한 컨텍스트에 적합하지 않은 것으로 결정될 수 있다. 예를 들어, 영화나 게임이, 그 컨텐츠의 프로듀서나 프로그래머가 삽입한, 하나 이상의 미리 제작되거나 미리 오소링된 햅틱 효과를 포함하는 경우에는, 이들 햅틱 효과가 미리 제작되거나 미리 오소링된 햅틱 효과와 상충될 수 있으므로, 최종 사용자로 하여금 오디오 발생(audio-generated) 햅틱 효과를 가능하게 하지 못하게 하는 것이 바람직할 수 있다. 이러한 비-제한적인 예에서, 일관성과 명료성을 위해, 햅틱 제어요소는 사용자가 기기(310)의 기계적 스위치 (또는 일부 다른 입력)와 상호작용할 때 여전히 나타날 수는 있지만, 그 햅틱 제어요소는 사용이 불가능하게 되어, 최종 사용자는 햅틱 제어요소와 상호작용하지 못하게 된다.
일 실시예에서, 기기(310)는 출력되는 오디오를 햅틱 피드백으로 자동 변환하는 기능을 행할 수 있다. 이러한 실시예에서, 기기(310)는 출력해야 할 오디오를 햅틱 피드백으로 자동 변환하는 하나 이상의 알고리즘을 이용하여, 오디오와 햅틱 피드백 둘다 출력할 수 있다. 이러한 기능은 "오디오-햅틱" 컨텍스트로 분류될 수 있으며, 햅틱 피드백이 이러한 컨텍스트에 적합한 것으로 결정될 수 있다. 따라서, 기기(310)는, 기기(310) 자신이 오디오-햅틱 컨텍스트와 연관될 때 햅틱 제어요소(320)가 표시되도록 할 수 있고, 햅틱 제어요소(320)는 기기(310)에 의해 또한 생성되는 오디오가 햅틱 피드백으로 자동 변환되어 생성되는 햅틱 피드백의 하나 이상의 파라미터를 제어하는데 이용될 수 있다.
본 실시예에 따르면, 기기(310)는 하나 이상의 기계적인 버튼 또는 기계적인 스위치 등의 하나 이상의 기계적인 입력 장치를 포함할 수 있다. 일반적으로, 핸드핼드 기기는, 누름 버튼 등의 하나 이상의 기계적인 버튼, 또는 잠금 스위치, 토글 스위치, 인-라인 스위치 또는 누름 버튼 스위치 등의 하나 이상의 기계적인 스위치를 포함한다. 본 실시예에 따르면, 사용자는, 기기(310)의 기계적인 버튼 또는 기계적인 스위치를 터치하여, 기기(310)가 햅틱 제어요소(320)를 표시하도록 하게 할 수 있다. 또한, 사용자는, 기기(310)의 기계적인 버튼 또는 기계적인 스위치를 터치하여, 기기(310)가 햅틱 제어요소(320)의 하나 이상의 설정을 조정하게 할 수 있다. 예를 들어, 사용자는, 기기(310)의 기계적인 버튼 또는 기계적인 스위치를 터치하여, 기기(310)가 기기(310) 자신에 의해 제공될 수 있는 햅틱 피드백의 하나 이상의 파라미터를 조정하게 할 수 있고, 이 하나 이상의 햅틱 파라미터의 조정은 햅틱 피드백을 조정하는 것이다. 소정의 실시예에서, 사용자가 기기(310)의 기계적인 버튼 또는 기계적인 스위치를 터치하는 경우, 기기(310)는, 기기(310) 자신과 연관된 컨텍스트가 햅틱 피드백을 제어하는데 적합한 컨텍스트일 때에만 햅틱 제어요소(320)를 표시한다. 소정의 실시예에서, 기기(310)의 기계적인 버튼 또는 기계적인 스위치는, 햅틱 제어요소(320)의 표시 및 햅틱 제어요소(320)의 하나 이상의 설정을 조정하는데 있어 전용이며, 어떤 다른 기능도 행하지 않는다. 다른 실시예에서, 기기(310)의 기계적인 버튼또는 기계적인 스위치는 기기(310)에 의해 출력되는 오디오의 하나 이상의 특성을 조정하는 등의, 기기(310)의 다른 기능을 제어하기도 한다.
소정의 실시예에서, 기기(310)는, 사용자가, 기기(310)의 복수의 기계적인 버튼 또는 기계적인 스위치를 터치하는 경우, 햅틱 제어요소(320)를 표시한다. 복수회의 터치는 터치들의 임의의 조합일 수 있다. 다른 실시예에서, 사용자가 시간의 특정 기간 동안 기기(310)의 기계적인 버튼 또는 기계적인 스위치를 터치하는 경우, 기기(310)는 햅틱 제어요소(320)를 표시한다. 이는 "긴 터치(long-touch)" 또는 "긴 누름(long-press)"로서 식별될 수 있다. 따라서, 햅틱 제어요소(320)는, 사용자가 기기(310)의 기계적인 버튼 또는 기계적인 스위치를 길게 터치하거나 길게 누를 때만, 기기(310) 내에 표시된다.
소정의 실시예에서, 기기(310)는, 사용자가, 기기(310)에 의해 표시될 수 있는 가상 버튼 또는 스위치를 터치하는 경우, 햅틱 제어요소(320)를 표시한다. 예를 들어, 일 실시예에서, 기기(310)는, 사용자가 설정 어플리케이션에 액세스하여 기기(310)에 의해 표시될 수 있는 설정 어플리케이션의 가상 버튼 또는 스위치를 터치하는 경우, 햅틱 제어요소(320)를 표시한다. 다른 실시예에서, 기기(310)는, 사용자가 기기(310)의 표면 내에서 제스처를 취할 때 햅틱 제어요소(320)를 표시한다. 다른 실시예에서, 기기(310)는, 사용자가 기기(310)의 감지기의 근접 거리 내에서 제스처를 취할 때 햅틱 제어요소(320)를 표시한다.
소정의 실시예에서, 햅틱 제어요소(320)는 슬라이더를 포함할 수 있다. 이들 실시예에서, 햅틱 제어요소(320)의 슬라이더는 햅틱 피드백 파라미터를 제어하는데 이용되는 하나 이상의 값과 연관될 수 있다. 사용자는, 햅틱 제어요소(320)의 슬라이더를 좌측 또는 우측으로 이동하여, 햅틱 제어요소(320)와 연관된 값을 제어할 수 있으므로, 햅틱 제어요소(320)와 연관된 햅틱 파라미터를 제어(즉, 햅틱 파라미터와 연관된 값을 증가 또는 감소)할 수 있다. 따라서, 사용자는, 햅틱 제어요소(320)의 슬라이더를 좌측 또는 우측으로 이동하여, 기기(310)에 의해 출력되는 햅틱 피드백을 제어할 수 있다. 또한, 햅틱 제어요소(320)의 슬라이더에 대하여는 도 4와 관련하여 보다 상세히 설명한다.
소정의 실시예에서, 기기(310)는, 오디오 제어요소와 함께 햅틱 제어요소(320)를 동시에 표시하고, 이 오디오 제어요소는 기기(310)에 의해 제공될 수 있는 오디오를 제어하도록 구성된다. 또한, 오디오 제어요소와 함께 햅틱 제어요소(320)를 동시 표시하는 것에 대하여는 도 5 및 도 6과 관련하여 보다 상세히 설명한다.
소정의 실시예에서는, 기기(310)에 의해 제공될 수 있는 햅틱 피드백을 제어하도록 구성되는 햅틱 제어요소(320)의 표시 대신에, 기기(310)는, 기기(310)에 의해 제공될 수 있고 또한 사용자에게 출력될 수 있는 다른 컨텐츠 또는 피드백을 제어하도록 구성되는 제어요소를 표시할 수 있다. 그러한 피드백 또는 컨텐츠는 오디오 또는 비디오를 포함할 수 있다. 다른 실시예에서, 기기(310)는, 가상 키보드 상에서의 한번 이상의 키 누름(keystroke)에 의해 트리거링되는 햅틱 피드백 등의 미디어 컨텐츠와 관련되지 않은 햅틱 피드백을 제어하도록 구성되는 제어요소를 표시할 수 있다. 그러한 실시예에 대하여는 도 8과 관련하여 하기에 보다 상세히 설명한다. 또 다른 실시예에서, 기기(310)는, 상기 설명한 바와 같이, 미리 제작되거나 미리 설계된 햅틱 효과가 존재하는 경우에 햅틱 피드백을 제어하도록 구성되는 제어요소를 표시할 수 있다. 이러한 다른 실시예에서는, 제어요소가 존재할 수는 있지만 사용이 불가능할 수도 있다. 미리 제작되거나 미리 설계된 햅틱 효과가 존재하는 다른 실시예에서는, 제어요소는, 이 미리 제작되거나 미리 설계된 햅틱 효과의 하나 이상의 햅틱 피드백 파라미터를 조정할 수 있다. 예를 들어, 비디오 또는 다른 미디어 콘텐츠의 프로듀서는, 비디오가 또한 기기(310)에 의해 출력되는 경우, 기기(310)에 의해 출력될 수 있는 하나 이상의 햅틱 효과를 설계하거나 제작할 수 있다. 그 후, 사용자는, 예를 들어, 이러한 제작되거나 설계된 햅틱 효과의 강도를 제어요소에 의해 제어할 수 있다. 또한, 이 제어요소에 의해 하나 이상의 햅틱 피드백 파라미터가 조정될 수 있고, 이 하나 이상의 햅틱 피드백이 제어요소에 의해 조정될 수 있는 방법이 프로듀서에 의해 결정될 수 있다. 예를 들어, 프로듀서는 햅틱 효과 중에서 밀도가 아니라 강도만 사용자가 제어할 수 있도록 결정할 수 있다. 따라서, 미디어 컨텐츠에 내포될 수 있는 햅틱 컨텐츠는, 사용자에 의해 햅틱 피드백 파라미터가 제어될 수 있다는 정보를 포함할 수 있다. 또 다른 실시예에서, 사용자 인터페이스 이벤트는 소정의 컨텍스트에 연관 제어(associated control)를 포함할 수 있다. 예를 들어, 기기(310)가 오디오가 재생되지 않지만, 사용자가 음악 어플리케이션의 사용자 인터페이스 내에서 재생할 노래나 트랙을 검색 중인 음악 어플리케이션을 실행하는 경우, 사용자는 그때 (예를 들어, 강도 햅틱 피드백 파라미터, 밀도 햅틱 피드백 파라미터 또는 선명도 햅틱 피드백 파라미터 등의 하나 이상의 햅틱 피드백 파라미터를 제어하는) 사용자 인터페이스 이벤트를 위한 햅틱 제어요소를 트리거링시킬 수 있다. 그러나, 일단 노래나 트랙이 선택되어 음악 어플리케이션에 의해 재생되면, 컨텍스트는 미디어 컨텍스트 등의 다른 컨텍스트로 전환될 수 있고, 사용자는 사용자 인터페이스 이벤트를 위한 햅틱 제어요소를 더 이상 트리거링시키지 않을 수 있다. 또 다른 실시예에서, 기기(310)는, (유선 또는 무선의 주변 기기 등의) 다른 기기로부터 기기(310)에 의해 수신되는 하나 이상의 신호에 의해 생성되는 햅틱 피드백을 제어하도록 구성되는 제어요소를 표시할 수 있다. 다른 실시예에서, 기기(310)는 기기(310) 자신의 표시 밝기를 제어하도록 구성되는 제어요소를 표시할 수 있다.
도 4는 본 발명의 일 실시예에 따른, 기기(400)의 사용자 인터페이스 내에 표시되는 햅틱 제어요소(즉, 햅틱 제어 요소들(420, 430, 440 및 450))의 예시적인 설정을 도시한다. 소정의 실시예에서, 상기 설명한 바와 같이, 햅틱 제어요소는 슬라이더를 포함할 수 있고, 이 슬라이더는 햅틱 피드백 파라미터를 제어하는데 이용되는 하나 이상의 값과 연관될 수 있다. 도 4에 도시한 실시예에서, 햅틱 제어요소의 슬라이더는 4개의 위치와 연관되어 있고, 각각의 위치는 햅틱 피드백 파라미터를 제어하는데 이용되는 값에 대응하며, 햅틱 제어요소(420)는 제1 위치와 연관된 슬라이더를 도시하고, 햅틱 제어요소(430)는 제2 위치와 연관된 슬라이더를 도시하고, 햅틱 제어요소(440)는 제3 위치와 연관된 슬라이더를 도시하며, 햅틱 제어요소(450)는 제4 위치와 연관된 슬라이더를 도시한다. 그러나, 도 4에 도시한 실시예는 단지 예시적인 실시예일 뿐이며, 다른 실시예에서, 햅틱 제어요소의 슬라이더는 임의의 수의 위치와 연관될 수 있다. 또한, 소정의 실시예에서, 슬라이더는 무한수의 위치와 연관되는 것으로 여겨질 수 있다.
다른 실시예에서, 햅틱 제어요소는 키 프레임(즉, 보간점(point of interpolation))을 이용하는 하나 이상의 동적 햅틱 효과를 제어할 수 있다. 예를 들어, "유한(FINITE)" 및 "무한(INFINITE)" 위치를 포함하는 슬라이더가 동적 햅틱 효과의 컨텍스트 내에 표시될 수 있고, 키 프레임은 그에 따라 이동되어 실시간으로 조정될 수 있다.
상기 설명한 바와 같이, 사용자는, 햅틱 제어요소의 슬라이더를 좌측 또는 우측으로 이동하여, 햅틱 제어요소와 연관된 값을 제어할 수 있으므로, 햅틱 제어요소와 연관된 햅틱 파라미터도 제어(햅틱 파라미터와 연관된 값을 증가 또는 감소)할 수 있다. 따라서, 사용자는, 햅틱 제어요소의 슬라이더를 좌측 또는 우측으로 이동하여, 기기(410)에 의해 출력되는 햅틱 피드백을 제어할 수 있다. 도 4에 도시한 실시예에서, 슬라이더는, 햅틱 파라미터의 제1 값이 "오프(Off)"의 라벨과 연관된 제1 위치(햅틱 제어요소(420)에 의해 도시됨)를 갖는다. 슬라이더는 또한, 햅틱 파라미터의 제2 값이 "약(Light)"의 라벨과 연관된 제2 위치(햅틱 제어요소(430)에 의해 도시됨)를 갖는다. 슬라이더는 또한, 햅틱 파라미터의 제3 값이 "중(Moderate)"의 라벨과 연관된 제3 위치(햅틱 제어요소(440)에 의해 도시됨)를 갖는다. 슬라이더는 또한, 햅틱 파라미터의 제4 값이 "강(Strong)"의 라벨과 연관된 제4 위치(햅틱 제어요소(450)에 의해 도시됨)를 갖는다. 도시한 실시예에 따르면, 사용자가 기기(410)의 햅틱 제어요소 내에서 제스처를 취할 경우, 슬라이더는 햅틱 제어요소(420, 430, 440 및 450)에 의해 도시된 위치 중 하나로 이동될 수 있다. 또한, 햅틱 제어요소(420, 430, 440 및 450)에 의해 도시된 바와 같이, 햅틱 제어요소 내에 표시된 라벨은 슬라이더가 이동함에 따라 동적으로 변화될 수 있다. 다른 실시예에서는, 사용자는, 기기의 햅틱 제어요소 내에서 제스처를 취하는 대신에, 기기(410)의 기계적인 버튼 또는 스위치를 터치하여 슬라이더를 이동시킬 수 있다. 소정의 실시예에서, 햅틱 제어요소는, 일단 사용자가 다른 위치로 슬라이더를 이동시키면, 실시간으로 햅틱 파라미터를 조정한다. 다른 실시예에서, 햅틱 제어요소는, (예를 들어, 사용자가 확인 버튼을 누르는 등의 제스터를 취하길 대기하거나, 기기(410)가 햅틱 제어요소를 표시하지 않길 대기함으로써) 햅틱 파라미터를 조정하는 것을 대기할 수 있다. 소정의 실시예에서, 햅틱 제어요소는 이전의 값과 새로운 값 사이에 햅틱 파라미터를 보간하여 햅틱 파라미터를 조정한다.
도 5는 본 발명의 일 실시예에 따른, 사용자 인터페이스(510) 내에 표시되는 예시적인 오디오 제어요소(520)를 도시한다. 소정의 실시예에서, 상기 설명한 바와 같이, 기기는 오디오 제어요소와 함께 햅틱 제어요소를 동시에 표시하고, 이 오디오 제어요소는 기기에 의해 제공될 수 있는 오디오를 제어하도록 구성된다. 소정의 실시예에서, 기기는, 기기와 연관된 컨텍스트가 햅틱 피드백을 제어하는데 적합한 컨텍스트인 경우에만 오디오 제어요소와 함께 햅틱 제어요소를 동시에 표시한다. 그 외에는, 기기는 오디오 제어요소만을 표시하고, 햅틱 제어요소는 표시하지 않는다. 또한, 소정의 실시예에서, 기기는, 사용자가 기기의 기계적인 버튼 또는 스위치를 터치하는 것에 응답하여, 햅틱 제어요소와 오디오 제어요소를 동시에 표시하거나, 오디오 제어요소만을 표시한다.
도시한 실시예에 따르면, 오디오 제어요소(520)는, 사용자가, 사용자 인터페이스(510)를 표시하는 기기의 기계적인 버튼 또는 스위치를 터치하는 것에 응답하여 사용자 인터페이스(510) 내에 표시된다. 또한, 본 실시예에 따르면, 기기는, (예를 들어, 기기가 "벨소리" 등의 오디오를 출력할 때,) 기기 자신이 햅틱 피드백의 제어에 적합하지 않은 연관 컨텍스트를 갖는다고 결정한다. 기기가 햅틱 피드백의 제어에 적합하지 않은 연관 컨텍스트를 갖기 때문에, 기기는 사용자 인터페이스(510) 내에 오디오 제어요소(520)는 표시하고, 사용자 인터페이스(510) 내에 햅틱 제어요소는 표시하지 않는다.
도 6은 본 발명의 일 실시예에 따른, 사용자 인터페이스(610) 내에 예시적인 오디오 제어요소(620)와 함께 동시에 표시되는 예시적인 햅틱 제어요소(630)를 도시한다. 도시한 실시예에 따르면, 오디오 제어요소(620)는, 사용자가, 사용자 인터페이스(610)를 표시하는 기기의 기계적인 버튼 또는 스위치를 터치하는 것에 응답하여 사용자 인터페이스(610) 내에 표시된다. 또한, 본 실시예에 따르면, 기기는, 기기 자신이 햅틱 피드백의 제어(예를 들어, 기기가 오디오를 출력하여, 오디오를 햅틱 피드백으로 자동으로 변환하여 이 또한 출력되는 경우)에 적합한 연관 컨텍스트를 갖는다고 결정한다. 기기가 햅틱 피드백의 제어에 적합한 연관 컨텍스트를 갖기 때문에, 기기는 사용자 인터페이스(610) 내에 오디오 제어요소(620)와 햅틱 제어요소(630)를 동시에 표시한다. 햅틱 제어요소(630)는 도 3의 햅틱 제어요소(320) 및 도 4의 햅틱 제어요소(420, 430, 440 및 450)와 유사한 기능을 행할 수 있다. 소정의 실시예에서, 사용자는 오디오 제어요소(620) 또는 햅틱 제어요소(630) 중 어느 하나 내에서 제스처를 취할 수 있고, 이 후, 사용자가, 사용자 인터페이스(610)를 표시하는 기기의 기계적인 버튼 또는 스위치를 터치하는 경우, 사용자는 오디오 제어요소(620) 또는 햅틱 제어요소(630) 중 어느 하나의 슬라이더를 제어할 수 있다. 다른 실시예에서, 사용자는, 사용자 자신이 사용자 인터페이스(610)를 표시하는 기기의 기계적인 버튼 또는 스위치를 터치하는 경우에는, 오디오 제어요소(620)의 슬라이더를 제어할 수 있고, 햅틱 제어요소(630) 내에서 제스처를 취한 경우에는, 햅틱 제어요소(630)의 슬라이더를 제어할 수 있다. 다른 실시예에서, 사용자는, 사용자 자신이 사용자 인터페이스(610)를 표시하는 기기의 기계적인 버튼 또는 스위치를 터치하는 경우에는, 우선 오디오 제어요소(620)를 제어한다. 오디오 제어요소(620)의 슬라이더가 "0"의 값을 나타내는 위치에 있는 경우에는, 사용자 인터페이스(610)를 표시하는 기기의 기계적인 버튼 또는 스위치를 후속 터치(subsequent touch)하여 햅틱 제어요소(630)를 제어한다.
소정의 실시예에서, 기기는, 사용자 인터페이스(610) 내에 (오디오 제어요소(620) 등의) 단일의 오디오 제어요소를 표시하는 대신에, 사용자 인터페이스(610) 내에 복수의 오디오 제어요소를 표시할 수 있다. 이들 실시예에서는, 기기는 복수의 오디오 제어요소와 함께 햅틱 제어요소(630)를 동시에 표시할 수 있다.
도 7은 본 발명의 일 실시예에 따른, (도 1의 출력 장치 구동 모듈(122) 또는 도 2의 햅틱 피드백 제어 모듈(216) 등의) 햅틱 피드백 제어 모듈의 기능에 대한 흐름도를 도시한다. 일 실시예에서, 도 7의 기능은, 메모리 또는 다른 컴퓨터 판독가능하거나 유형의 매체에 기억되고 프로세서에 의해 실행되는 소프트웨어에 의해 구현된다. 다른 실시예에서, 그 기능은, (예를 들어, ASIC, PGA(programmable gate array), FPGA(filed programmable gate array) 등을 이용하여) 하드웨어에 의해, 또는 하드웨어와 소프트웨어의 임의의 조합에 의해 행해질 수 있다. 또한, 다른 실시예에서, 그 기능은 아날로그 컴포넌트를 이용하는 하드웨어에 의해 행해질 수 있다.
플로우가 시작되어 단계(710)로 진행한다. 단계(710)에서, 기기의 하나 이상의 하드웨어 버튼 또는 스위치로부터 사용자 입력을 수신한다. 소정의 실시예에서, 사용자 입력은, 기기의 하나 이상의 하드웨어 버튼 또는 스위치의 한번 이상의 터치에 응답하여 발생된 신호를 포함할 수 있다. 이들 실시예 중 일부에서, 사용자 입력은 기기의 단일의 하드웨어 버튼 또는 스위치의 한번의 터치에 응답하여 발생된 신호를 포함할 수 있다. 이들 실시예 중 다른 실시예에서는, 사용자 입력은 기기의 복수의 하드웨어 버튼 또는 스위치의 터치의 조합에 응답하여 발생된 하나 이상의 신호를 포함할 수 있다. 이들 실시예 중 다른 실시예에서는, 사용자 입력은 기기의 단일의 하드웨어 버튼 또는 스위치의 긴 터치에 응답하여 발생된 신호를 포함할 수 있다. 다른 실시예에서, 사용자 입력은, 하나 이상의 하드웨어 버튼 또는 스위치 대신에, 기기의 하나 이상의 가상 버튼 또는 스위치로부터 수신될 수 있다. 다른 실시예에서, 사용자 입력은 하나 이상의 하드웨어 버튼 또는 스위치 대신에, 기기의 감지기로부터 수신될 수 있다. 또한, 다른 실시예에서, 사용자 입력은 사용자가 기기에 행하는 제스처에 응답하여 발생된 신호를 포함할 수 있다. 플로우는 단계(720)로 진행한다.
단계(720)에서, 기기의 현재의 컨텍스트를 결정한다. 현재의 컨텍스트는 기기에 의해 현재 행해지는 기능의 유형을 포함할 수 있다. 현재의 컨텍스트의 결정은 현재의 컨텍스트가 햅틱 피드백을 제어하는데 적합한지 여부를 결정하는 것을 포함할 수 있다. 플로우는 단계(730)로 진행한다.
단계(730)에서는, 사용자 입력에 응답하여 그리고 현재의 컨텍스트에 기초하여 햅틱 제어 사용자 인터페이스 (또는 "햅틱 제어요소")를 표시한다. 소정의 실시예에서, 햅틱 제어요소는 사용자 입력에 응답하여, 오디오 제어 사용자 인터페이스 (또는 "오디오 제어요소")와 함께 표시될 수 있고, 이 오디오 제어요소는 오디오를 조정하도록 구성된다. 이들 실시예들 중 일부에서는, 기기의 사용자 인터페이스 내에 햅틱 제어요소 및 오디오 제어요소가 동시에 표시될 수 있다. 소정의 실시예에서, 햅틱 제어요소는 슬라이더를 포함할 수 있다. 다른 실시예에서, 햅틱 제어요소 대신에, 사용자 입력에 응답하여 그리고 현재의 컨텍스트에 기초하여 임의의 유형의 제어요소를 표시할 수 있다. 소정의 실시예에서, 제어요소는, 가상 키보드에 의해 발생된 햅틱 피드백을 조정하도록 구성되는 가상 키보드 햅틱 제어요소일 수 있다. 다른 실시예에서, 제어요소는 하나 이상의 미리 설계된 햅틱 효과에 의해 발생된 햅틱 피드백을 조정하도록 구성되는 햅틱 제어요소일 수 있다. 또 다른 실시예에서, 제어요소는, 사용자 인터페이스 엘리먼트에 의해 발생된 햅틱 피드백을 조정하도록 구성되는 햅틱 제어요소일 수 있다. 또 다른 실시예에서, 제어요소는, 하나 이상의 키 프레임을 이용하는 하나 이상의 동적 햅틱 효과에 의해 발생된 햅틱 피드백을 조정하도록 구성되는 햅틱 제어요소일 수 있다. 또 다른 실시예에서, 제어요소는 수신된 하나 이상의 신호에 의해 생성된 햅틱 피드백을 조정하도록 구성되는 햅틱 제어요소일 수 있다. 또 다른 실시예에서, 제어요소는 디스플레이의 밝기를 조정하도록 구성된 제어요소일 수 있다. 플로우는 단계(740)로 진행한다.
단계(740)에서, 햅틱 제어요소에 대한 제2 사용자 입력을 수신한다. 소정의 실시예에서, 제2 사용자 입력은 기기의 하나 이상의 하드웨어 버튼 또는 스위치의 한번 이상의 터치에 응답하여 발생된 신호를 포함할 수 있다. 이들 실시예들 중 일부에서, 제2 사용자 입력은 기기의 단일의 하드웨어 버튼 또는 스위치의 한번의 터치에 응답하여 발생된 신호를 포함할 수 있다. 이들 실시예들 중 다른 실시예에서, 제2 사용자 입력은 기기의 복수의 하드웨어 버튼 또는 스위치의 터치의 조합에 응답하여 발생된 하나 이상의 신호를 포함할 수 있다. 이들 실시예들 중 다른 실시예에서, 제2 사용자 입력은 기기의 단일의 하드웨어 버튼 또는 스위치의 긴 터치에 응답하여 발생된 신호를 포함할 수 있다. 다른 실시예에서, 제2 사용자 입력은, 하나 이상의 하드웨어 버튼 또는 스위치 대신에, 기기의 하나 이상의 가상 버튼 또는 스위치로부터 수신될 수 있다. 다른 실시예에서, 제2 사용자 입력은, 하나 이상의 하드웨어 버튼 또는 스위치 대신에, 기기의 감지기로부터 수신될 수 있다. 소정의 실시예에서, 제2 사용자 입력은 햅틱 제어요소 내에서의 제스처에 응답하여 발생된 신호를 포함할 수 있다. 플로우는 단계(750)로 진행한다.
단계(750)에서, 제2 사용자 입력에 기초하여 햅틱 피드백 파라미터를 조정한다. 햅틱 제어요소는 조정된 햅틱 피드백 파라미터에 기초하여 햅틱 피드백을 조정할 수 있다. 소정의 실시예에서, 햅틱 피드백 파라미터는 강도 파라미터, 밀도 파라미터, 선명도 파라미터 또는 모드 파라미터이다. 또한, 소정의 실시예에서, 햅틱 피드백은 오디오에 기초하여 생성된다. 햅틱 제어요소 대신 임의의 유형의 제어요소가 표시되는 실시예에서는, 제어요소는 다른 유형의 피드백 파라미터를 조정할 수 있고, 그 제어요소는 조정된 피드백 파라미터에 기초하여 다른 유형의 피드백을 조정할 수 있다. 그러한 피드백의 예는 가상 키보드에 의해 생성된 햅틱 피드백, 하나 이상의 미리 설계된 햅틱 효과에 의해 발생된 햅틱 피드백, 사용자 인터페이스 엘리먼트에 의해 발생된 햅틱 피드백, 하나 이상의 키 프레임을 이용하는 하나 이상의 동적 햅틱 효과에 의해 발생된 햅틱 피드백, 또는 수신된 하나 이상의 신호에 의해 발생된 햅틱 피드백을 포함할 수 있다. 햅틱 제어요소 대신 다른 유형의 제어요소가 표시되는 실시예에서는, 제어요소는 디스플레이의 밝기 등의 다른 컨텐츠를 조정할 수 있다. 그 후, 플로우는 종료된다.
도 8은 본 발명의 일 실시예에 따른, 사용자 인터페이스(810) 내에 예시적인 오디오 제어요소(820)와 함께 동시에 표시되는 예시적인 가상 키보드 햅틱 제어요소(830)를 도시한다. 도시한 실시예에 따르면, 오디오 제어요소(820)는, 사용자가, 사용자 인터페이스(810)를 표시하는 기기의 기계적인 버튼 또는 스위치를 터치하는 것에 응답하여 사용자 인터페이스(810) 내에 표시된다. 또한 본 실시예에 따르면, 기기는, 기기 자신이 가상 키보드(840)에 의해 생성된 햅틱 피드백의 제어에 적합한 연관 컨텍스트를 갖는다고 결정한다. 기기가 가상 키보드(840)에 의해 생성된 햅틱 피드백의 제어에 적합한 연관 컨텍스트를 갖기 때문에, 기기는 사용자 인터페이스(810) 내에 오디오 제어요소(820)와 가상 키보드 햅틱 제어요소(830)를 동시에 표시한다. 가상 키보드 햅틱 제어요소(830)는 가상 키보드(840)에 의해 제공될 수 있는 햅틱 피드백을 제어도록 구성된다. 보다 구체적으로는, 가상 키보드 햅틱 제어요소(830)는 가상 키보드(840)에 의해 제공될 수 있는 햅틱 피드백의 하나 이상의 햅틱 파라미터를 조정하도록 구성될 수 있고, 이 하나 이상의 햅틱 파라미터의 조정은 햅틱 피드백을 조정하는 것이다. 예시적인 햅틱 피드백 파라미터는 햅틱 피드백의 강도를 제어하는 강도 파라미터이다. 다른 예시적인 햅틱 피드백 파라미터는 햅틱 피드백의 밀도를 제어하는 밀도 파라미터이다. 또 다른 예시적인 햅틱 피드백 파라미터는 햅틱 피드백의 선명도를 제어하는 선명도 파라미터이다.
따라서, 본 실시예에 따르면, 기기의 컨텍스트 및 사용자 입력에 기초하여 햅틱 피드백을 제어하는 햅틱 피드백 제어 시스템을 제공할 수 있다. 햅틱 피드백 제어 시스템은 기기 사용자의 관점에서 햅틱 피드백 제어요소를 아주 단순화할 수 있다.
본 명세서에 걸쳐 기재된 본 발명의 특징, 구조 또는 특성은 하나 이상의 실시예들의 임의의 적당한 방식으로 조합될 수 있다. 예를 들어, 본 명세서에 걸쳐 "일 실시예", "일부 실시예", "소정의 실시예", "소정의 실시예들" 또는 다른 유사 표현을 사용한 것은 본 실시예와 관련하여 기재된 특정한 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시예에 포함될 수 있다는 점을 지칭한다. 따라서, 본 명세서에 걸쳐 "일 실시예", "일부 실시예", "소정의 실시예", "소정의 실시예들" 또는 다른 유사 표현의 구문의 출현은 반드시 모두 동일한 그룹의 실시예들을 지칭하는 것은 아니며, 기재된 특징, 구조 또는 특성은 하나 이상의 실시예들의 임의의 적당한 방식으로 조합될 수 있다.
상술한 바와 같이 본 발명이, 단계들이 상이한 순서로 실행될 수 있고, 및/또는 기재된 것과 다른 구성의 구성요소로 실행될 수 있다는 것은 본 기술 분야의 통상의 기술자라면 쉽게 이해할 것이다. 따라서, 본 발명이 이들 바람직한 실시예들에 기초하여 기재되었더라도, 본 발명의 사상 및 범주 내에 있는 한, 소정의 변형, 변경 및 대체 구성을 명확히 알 수 있다는 점은 본 기술 분야의 기술자에게는 명백할 것이다. 따라서, 본 발명의 경계(metes and bounds)를 결정하기 위해서는 첨부하는 특허청구범위를 참고해야 한다.

Claims (15)

  1. 사용자에게 출력되는 피드백을 제어하기 위한 컴퓨터 구현 방법으로서,
    사용자 입력을 수신하는 단계;
    상기 사용자 입력을 수신하는 때에 기기에 의해 수행되는 기능에 기초하는 현재의 컨텍스트(context)를 결정하는 단계;
    상기 현재의 컨텍스트가 햅틱 피드백의 제어를 가능하게 하는 데 적합하면 상기 사용자 입력에 응답하여 제어요소(control)를 상기 현재의 컨텍스트 내에 표시하는 단계; 및
    상기 제어요소에 따라 피드백 파라미터를 조정하는 단계
    를 포함하고,
    상기 사용자에게 출력되는 상기 햅틱 피드백은 상기 피드백 파라미터에 기초하여 조정되는, 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 기기가 상기 기능을 수행하는 동안 상기 현재의 컨텍스트가 상기 햅틱 피드백의 제어를 가능하게 하는 데 적합한지를 결정하는 단계를 더 포함하고,
    상기 제어요소는 햅틱 제어요소를 포함하고,
    상기 피드백 파라미터는 햅틱 피드백 파라미터를 포함하고,
    상기 사용자에게 출력되는 상기 햅틱 피드백은 상기 햅틱 피드백 파라미터에 기초하여 조정되는, 컴퓨터 구현 방법.
  3. 제1항에 있어서,
    상기 사용자 입력을 수신하는 단계는 기계적인 버튼 또는 스위치로부터의 신호를 수신하는 단계를 포함하는, 컴퓨터 구현 방법.
  4. 제1항에 있어서,
    상기 사용자 입력을 수신하는 단계는 복수의 기계적인 버튼 또는 스위치로부터의 하나 이상의 신호를 수신하는 단계를 포함하는, 컴퓨터 구현 방법.
  5. 제1항에 있어서,
    상기 피드백 파라미터는 강도 파라미터, 밀도 파라미터, 선명도(sharpness) 파라미터 또는 모드 파라미터 중 적어도 하나를 포함하는, 컴퓨터 구현 방법.
  6. 제1항에 있어서,
    상기 사용자 입력에 응답하여 오디오 제어요소를 표시하는 단계를 더 포함하고,
    상기 오디오 제어요소는 오디오를 조정하도록 구성되는, 컴퓨터 구현 방법.
  7. 제1항에 있어서,
    상기 피드백 파라미터를 조정하는 단계는,
    상기 제어요소에 대한 제2 사용자 입력을 수신하는 단계; 및
    상기 제2 사용자 입력에 기초하여 상기 피드백 파라미터를 조정하는 단계
    를 더 포함하는, 컴퓨터 구현 방법.
  8. 제1항에 있어서,
    상기 제어요소는 슬라이더를 포함하는, 컴퓨터 구현 방법.
  9. 제1항에 있어서,
    상기 제어요소는, 미리 설계된 하나 이상의 햅틱 효과에 의해 발생되는, 상기 사용자에게 출력되는 상기 햅틱 피드백을 조정하도록 구성되는 햅틱 제어요소를 포함하는, 컴퓨터 구현 방법.
  10. 제1항에 있어서,
    상기 제어요소는 하나 이상의 동적 햅틱 효과에 의해 발생되는, 상기 사용자에게 출력되는 상기 햅틱 피드백을 조정하도록 구성되는 햅틱 제어요소를 포함하고, 상기 하나 이상의 동적 햅틱 효과는 하나 이상의 키 프레임을 이용하는, 컴퓨터 구현 방법.
  11. 피드백 제어 시스템으로서,
    피드백 제어 모듈을 저장하도록 구성된 메모리; 및
    상기 메모리에 저장된 상기 피드백 제어 모듈을 실행하도록 구성된 프로세서
    를 포함하고,
    상기 피드백 제어 모듈은 또한, 사용자 입력을 수신하도록 구성되고,
    상기 피드백 제어 모듈은 또한, 상기 사용자 입력을 수신하는 때에 기기에 의해 수행되는 기능에 기초하는 현재의 컨텍스트를 결정하도록 구성되고,
    상기 피드백 제어 모듈은 또한, 상기 현재의 컨텍스트가 햅틱 피드백의 제어를 가능하게 하는 데 적합하면 상기 사용자 입력에 응답하여 제어요소를 상기 현재의 컨텍스트 내에 표시하도록 구성되고,
    상기 피드백 제어 모듈은 또한, 상기 제어요소에 따라 피드백 파라미터를 조정하도록 구성되고, 사용자에게 출력되는 상기 햅틱 피드백은 상기 조정된 피드백 파라미터에 기초하여 조정되는, 피드백 제어 시스템.
  12. 제11항에 있어서,
    상기 피드백 제어 모듈은 또한, 상기 기기가 상기 기능을 수행하는 동안 상기 현재의 컨텍스트가 상기 햅틱 피드백의 제어를 가능하게 하는 데 적합한지를 결정하도록 구성되고,
    상기 제어요소는 햅틱 제어요소를 포함하고,
    상기 피드백 파라미터는 햅틱 피드백 파라미터를 포함하고,
    상기 사용자에게 출력되는 상기 햅틱 피드백은 조정된 햅틱 피드백 파라미터에 기초하여 조정되는, 피드백 제어 시스템.
  13. 제11항에 있어서,
    상기 피드백 제어 모듈은 또한 기계적인 버튼 또는 스위치로부터의 신호를 수신하도록 구성되는, 피드백 제어 시스템.
  14. 제11항에 있어서,
    상기 피드백 제어 모듈은 또한, 상기 사용자 입력에 응답하여, 오디오를 조정하도록 구성되는 오디오 제어요소를 표시하도록 구성되는, 피드백 제어 시스템.
  15. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제10항 중 어느 한 항에 따른 방법을 구현하도록 하게 하는 명령어가 저장된 컴퓨터 판독가능한 저장 매체.
KR1020130073571A 2012-06-27 2013-06-26 햅틱 피드백 제어 시스템 KR102169206B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261664918P 2012-06-27 2012-06-27
US61/664,918 2012-06-27
US13/613,004 US9063570B2 (en) 2012-06-27 2012-09-13 Haptic feedback control system
US13/613,004 2012-09-13

Publications (2)

Publication Number Publication Date
KR20140001149A KR20140001149A (ko) 2014-01-06
KR102169206B1 true KR102169206B1 (ko) 2020-10-22

Family

ID=48699553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130073571A KR102169206B1 (ko) 2012-06-27 2013-06-26 햅틱 피드백 제어 시스템

Country Status (5)

Country Link
US (2) US9063570B2 (ko)
EP (1) EP2680107B1 (ko)
JP (1) JP6226574B2 (ko)
KR (1) KR102169206B1 (ko)
CN (1) CN103513767B (ko)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
US9280206B2 (en) * 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
CN103869960B (zh) * 2012-12-18 2018-02-23 富泰华工业（深圳）有限公司 触感反馈系统及其提供触感反馈的方法
US9436282B2 (en) * 2013-03-14 2016-09-06 Immersion Corporation Contactor-based haptic feedback generation
US9411422B1 (en) * 2013-12-13 2016-08-09 Audible, Inc. User interaction with content markers
DE102015201177B4 (de) 2014-01-23 2016-01-28 Honda Motor Co., Ltd. Abgasreinigungssystem für einen Verbrennungsmotor
US10467401B2 (en) * 2014-04-14 2019-11-05 Sony Corporation Method and system for device authentication
KR20150118813A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
US20160162092A1 (en) * 2014-12-08 2016-06-09 Fujitsu Ten Limited Operation device
DE102015209593A1 (de) * 2015-01-05 2016-07-07 Volkswagen Aktiengesellschaft Bedienvorrichtung mit schneller haptischer Rückmeldung
US20160246375A1 (en) * 2015-02-25 2016-08-25 Immersion Corporation Systems And Methods For User Interaction With A Curved Display
WO2016141306A1 (en) * 2015-03-04 2016-09-09 The Trustees Of The University Of Pennsylvania User interface input method and system for handheld and mobile devices
CN106662949B (zh) * 2015-06-26 2020-12-15 微软技术许可有限责任公司 作为主动触觉机构的参考的被动触觉机构
US9681217B2 (en) * 2015-09-08 2017-06-13 Apple Inc. Electronic device including acoustically isolated serpentine port and related methods
US9681216B2 (en) * 2015-09-08 2017-06-13 Apple Inc. Electronic device including acoustically isolated passive radiator within a baffle space and related methods
JP2018531442A (ja) * 2015-09-22 2018-10-25 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 圧力ベースのハプティクス
US10282052B2 (en) 2015-10-15 2019-05-07 At&T Intellectual Property I, L.P. Apparatus and method for presenting information associated with icons on a display screen
US9990815B2 (en) * 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings
WO2018116544A1 (ja) * 2016-12-19 2018-06-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN110537215B (zh) * 2017-04-21 2021-09-17 深圳市大疆创新科技有限公司 风速力反馈
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
CN107506027B (zh) * 2017-07-31 2021-06-01 瑞声科技(新加坡)有限公司 一种触觉反馈控制方法、处理器、控制系统及终端
US20190041987A1 (en) 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10572016B2 (en) * 2018-03-06 2020-02-25 Microsoft Technology Licensing, Llc Spatialized haptic device force feedback
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
CN108683731B (zh) * 2018-05-14 2021-09-21 浙江口碑网络技术有限公司 一种管理多屏互动的方法、装置
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US20200209967A1 (en) * 2018-12-27 2020-07-02 Immersion Corporation Haptic Effect Signal Processing
KR102273804B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 사용자 입력신호를 고려한 햅틱 모터 구동 방법
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
US20210110841A1 (en) * 2019-10-14 2021-04-15 Lofelt Gmbh System and method for transforming authored haptic data to fit into haptic bandwidth
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
EP4137915A4 (en) * 2020-04-13 2023-09-06 Vivo Mobile Communication Co., Ltd. CONTROL METHOD AND ELECTRONIC DEVICE
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11775084B2 (en) * 2021-04-20 2023-10-03 Microsoft Technology Licensing, Llc Stylus haptic component arming and power consumption
JP7386363B2 (ja) 2021-05-19 2023-11-24 アルプスアルパイン株式会社 感覚制御方法、感覚制御システム、変換モデル生成方法、変換モデル生成システム、関係式変換方法、およびプログラム
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005506614A (ja) * 2001-10-10 2005-03-03 イマージョン コーポレイション 触覚フィードバックを使用する音声データ出力および操作

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433771B1 (en) * 1992-12-02 2002-08-13 Cybernet Haptic Systems Corporation Haptic device attribute control
KR100368508B1 (ko) * 1994-09-07 2005-10-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 사용자-프로그래밍가능한촉각피드백을갖고있는가상작업공간과상호작용하는정보처리시스템
US6300936B1 (en) * 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
DE102006029506B4 (de) 2005-10-28 2018-10-11 Volkswagen Ag Eingabevorrichtung
JP4283282B2 (ja) * 2006-04-07 2009-06-24 株式会社エヌ・ティ・ティ・ドコモ ハンズフリー切り替え方法及び移動体端末装置
US20080005679A1 (en) * 2006-06-28 2008-01-03 Microsoft Corporation Context specific user interface
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
US7952498B2 (en) 2007-06-29 2011-05-31 Verizon Patent And Licensing Inc. Haptic computer interface
WO2009018347A1 (en) * 2007-07-30 2009-02-05 Telcordia Technologies, Inc. Method and system for presenting a mash-up, or personalized mixture, and associated contextual suggestions to mobile users
US8138896B2 (en) * 2007-12-31 2012-03-20 Apple Inc. Tactile feedback in an electronic device
US8243038B2 (en) * 2009-07-03 2012-08-14 Tactus Technologies Method for adjusting the user interface of a device
US8294600B2 (en) * 2008-02-15 2012-10-23 Cody George Peterson Keyboard adaptive haptic response
US9513704B2 (en) 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
US20090295739A1 (en) * 2008-05-27 2009-12-03 Wes Albert Nagara Haptic tactile precision selection
EP2321019B1 (en) 2008-08-11 2019-04-10 Immersion Corporation A haptic enabled gaming peripheral for a musical game
US8749495B2 (en) 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US8378979B2 (en) * 2009-01-27 2013-02-19 Amazon Technologies, Inc. Electronic device with haptic feedback
US20110095875A1 (en) * 2009-10-23 2011-04-28 Broadcom Corporation Adjustment of media delivery parameters based on automatically-learned user preferences
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US8576171B2 (en) 2010-08-13 2013-11-05 Immersion Corporation Systems and methods for providing haptic feedback to touch-sensitive input devices
JP5183790B2 (ja) * 2010-09-27 2013-04-17 京セラ株式会社 携帯端末装置
US20120113008A1 (en) 2010-11-08 2012-05-10 Ville Makinen On-screen keyboard with haptic effects
US20120268285A1 (en) * 2011-04-22 2012-10-25 Nellcor Puritan Bennett Llc Systems and methods for providing haptic feedback in a medical monitor
TWI453652B (zh) * 2011-10-05 2014-09-21 Quanta Comp Inc 虛擬觸覺回饋方法及其電子裝置
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
US8896524B2 (en) * 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005506614A (ja) * 2001-10-10 2005-03-03 イマージョン コーポレイション 触覚フィードバックを使用する音声データ出力および操作

Also Published As

Publication number Publication date
CN103513767B (zh) 2019-02-19
US20140002346A1 (en) 2014-01-02
CN103513767A (zh) 2014-01-15
JP6226574B2 (ja) 2017-11-08
US9348416B2 (en) 2016-05-24
EP2680107A2 (en) 2014-01-01
KR20140001149A (ko) 2014-01-06
EP2680107A3 (en) 2015-09-02
JP2014010831A (ja) 2014-01-20
EP2680107B1 (en) 2023-05-03
US20150248163A1 (en) 2015-09-03
US9063570B2 (en) 2015-06-23

Similar Documents

Publication Publication Date Title
KR102169206B1 (ko) 햅틱 피드백 제어 시스템
KR102104910B1 (ko) 입력 유닛에 촉각 피드백을 제공하는 휴대 장치 및 그 방법
RU2669087C2 (ru) Способ и устройство управления тактильной отдачей инструмента ввода для терминала мобильной связи
US20180052556A1 (en) System and Method for Feedforward and Feedback With Haptic Effects
US9690377B2 (en) Mobile terminal and method for controlling haptic feedback
KR102016975B1 (ko) 디스플레이 장치 및 그 제어 방법
EP2752754B1 (en) Remote mouse function method and terminals
US20170357398A1 (en) Accelerated scrolling
US20140365895A1 (en) Device and method for generating user interfaces from a template
US20090231271A1 (en) Haptically Enabled User Interface
JP2016035784A (ja) 動的な触覚効果を有するマルチタッチデバイス
KR20150006180A (ko) 채팅 창 제어 방법 및 이를 구현하는 전자 장치
US20140282204A1 (en) Key input method and apparatus using random number in virtual keyboard
JP2014179877A (ja) 携帯端末装置の表示制御方法
US20150067570A1 (en) Method and Apparatus for Enhancing User Interface in a Device with Touch Screen
US20190286322A1 (en) Information processing apparatus, program, and information processing system
US10306047B2 (en) Mechanism for providing user-programmable button
KR20140131051A (ko) 압력 센서를 포함하는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
G170 Re-publication after modification of scope of protection [patent]