KR20130091687A - 햅틱 플렉스 제스처를 위한 방법 및 장치 - Google Patents

햅틱 플렉스 제스처를 위한 방법 및 장치 Download PDF

Info

Publication number
KR20130091687A
KR20130091687A KR1020130014011A KR20130014011A KR20130091687A KR 20130091687 A KR20130091687 A KR 20130091687A KR 1020130014011 A KR1020130014011 A KR 1020130014011A KR 20130014011 A KR20130014011 A KR 20130014011A KR 20130091687 A KR20130091687 A KR 20130091687A
Authority
KR
South Korea
Prior art keywords
gesture
flex
haptic
action
sensor
Prior art date
Application number
KR1020130014011A
Other languages
English (en)
Inventor
로버트 더블유. 휴벨
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20130091687A publication Critical patent/KR20130091687A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

대화형 전자 디바이스는, 플렉시블 표면과의 사용자 인터페이스, 상기 플렉시블 표면에 가해지는 플렉스 제스처를 감지하도록 구성된 센서, 상기 플렉스 제스처에 응답하여 햅틱 효과를 생성하도록 구성된 햅틱 디바이스, 및 상기 센서 및 상기 햅틱 디바이스와 신호 통신을 행하는 컨트롤러를 갖는다. 상기 컨트롤러는, 플렉스 제스처의 햅틱 확인을 제공하도록 햅틱 디바이스를 트리거하고, 상기 플렉스 제스처와 연관된 애플리케이션 액션을 트리거하도록 구성된다.

Description

햅틱 플렉스 제스처를 위한 방법 및 장치{METHOD AND APPARATUS FOR HAPTIC FLEX GESTURING}
본 발명은 햅틱 플렉스 제스처를 위한 방법 및 장치에 관한 것이다.
알려진 일부 전자 디스플레이는 플렉시블(flexible)하고, 구부러지거나 말리는 기능 등의 종이의 속성을 모방할 수 있지만, 사용자와 인터페이스하는 방법에는 제한이 있었다. 사용자 입력은, 플렉시블 디스플레이에 결합되는 버튼들 또는 키들을 통해, 혹은 플렉시블 디스플레이에 가해지는 플렉스 제스처(flex gesture)를 통해 수신될 수 있다. 플렉스 제스처에 응답하여, 디스플레이상에 나타나는 화상의 변화가, 사용자 출력으로서 제공될 수 있다.
본 발명의 일 양상에 따르면, 대화형 전자 디바이스(electronic interactive device)를 통해 햅틱 효과(haptic effect)를 제공하도록 구성된 시스템이 제공된다. 대화형 전자 디바이스는, 플렉시블 표면을 갖는 사용자 인터페이스, 및 이 플렉시블 표면에 가해지는 플렉스 제스처를 감지하도록 구성된 센서를 포함할 수 있다. 대화형 전자 디바이스는 햅틱 디바이스 및 컨트롤러를 더 포함할 수 있다. 햅틱 디바이스는 플렉스 제스처에 응답하여 햅틱 효과를 생성하도록 구성될 수 있다. 컨트롤러는, 센서 및 햅틱 디바이스와 신호 통신을 행할 수 있고, 플렉스 제스처의 햅틱 확인을 제공하도록 햅틱 디바이스를 트리거하고 플렉스 제스처와 연관된 애플리케이션 액션을 트리거하도록 구성될 수 있다.
일부 실시예들에서, 센서에 의해 감지된 플렉스 제스처는 플렉시블 표면의 구부림(bending) 또는 플렉시블 표면의 비틀기(twisting)를 포함할 수 있다.
일부 실시예들에서, 컨트롤러는, 구부림에 응답하여 제1 햅틱 효과를 제공하도록 햅틱 디바이스를 트리거하도록 구성되고, 비틀기에 응답하여 제2 햅틱 효과를 제공하도록 햅틱 디바이스를 트리거하도록 구성될 수 있다. 일 실시예에서, 센서는, 제1 방향의 플렉스 제스처를 감지하고 반대 방향의 플렉스 제스처를 감지하도록 구성될 수 있다. 컨트롤러는, 제1 방향의 플렉스 제스처를 감지하는 센서에 응답하여 제1 애플리케이션 액션을 트리거하고 반대 방향의 플렉스 제스처를 감지하는 센서에 응답하여 제2 애플리케이션 액션을 트리거하도록 구성될 수 있다. 예를 들어, 제1 애플리케이션 액션 및 제2 애플리케이션 액션은, 온-오프 토글 액션(on-off toggle action), 선택-선택해제 토글 액션(select-deselect toggle action), 업-다운 토글 액션(up-down toggle action), 좌-우 토글 액션(left-right toggle action), 전방-후방 토글 액션(forward-reverse toggle action), 줌인-줌아웃 토글 액션(zoom-in-zoom-out toggle action) 또는 이들의 임의 조합의 액션일 수 있다.
일부 실시예들에서, 컨트롤러는, 플렉스 제스처에 연관된 신호를, 해당 애플리케이션 액션에 연관된 애플리케이션을 실행하도록 구성된 컴퓨팅 디바이스에 출력함으로써 애플리케이션 액션을 트리거하도록 구성될 수 있다. 무선 통신 디바이스는, 예를 들어, 대화형 전자 디바이스의 일부일 수 있고, 신호를 컴퓨팅 디바이스에 송신하도록 구성될 수 있다. 일 실시예에서, 사용자 인터페이스는 플렉시블 디스플레이 스크린을 포함할 수 있다. 컨트롤러는, 디스플레이 스크린상에 애플리케이션 액션을 제시함으로써 애플리케이션 액션을 트리거하도록 구성될 수 있다.
일부 실시예들에서, 대화형 전자 디바이스는 플렉시블 표면에 가해지는 터치 제스처를 감지하도록 구성된 제2 센서를 포함할 수 있다. 컨트롤러는, 제2 센서가 터치 제스처를 감지하고, 그 센서가 플렉스 제스처를 감지한 경우에만 애플리케이션 액션을 트링거링하도록 구성될 수 있다.
일부 실시예들에서, 대화형 전자 디바이스의 플렉시블 표면은 대화형 전자 디바이스의 가장자리에 위치될 수 있다. 일 실시예에서, 센서는, 스트레인 게이지(strain gauge), 압전 변환기(piezoelectric transducer), 가속도계(accelerometer), 자이로스코프(gyroscope) 또는 이들의 임의의 조합을 포함할 수 있다.
본 발명의 이러한 양상 및 다른 양상, 특징 및 특성뿐만 아니라, 구조 관련 구성요소의 동작 방법 및 기능, 및 부품의 조합 및 제조상의 경제성은, 이 명세서의 일부를 구성하는 첨부 도면들을 참조하여 하기의 설명 및 첨부된 청구항들을 고려하면 보다 분명해질 것이며, 동일한 참조 부호는 다양한 도면들에서 대응하는 부분을 나타낸다. 하지만, 도면들은 도시 및 설명을 위한 것일 뿐, 본 발명의 한계를 규정하고자 하는 것은 아니라는 점을 명확히 이해해야 한다. 명세서 및 청구항들에 사용된, "하나의("a", "an")" 및 "상기(the)"라는 단수 형태는, 문맥상 달리 명확히 지시하지 않는 한, 복수의 지시대상을 포함한다.
도 1은 본 발명의 일 실시예에 따른 장치를 개략적으로 도시한 도면.
도 2는 도 1의 장치의 구성요소를 개략적으로 도시한 도면.
도 3은 도 1의 장치에 가해지는 플렉스 제스처를 개략적으로 도시한 도면.
도 3의 (a)는 라인 3A-3A을 따라 취해진 도 3의 장치의 단면도.
도 4는 도 1의 장치에 가해지는 플렉스 제스처를 개략적으로 도시한 도면.
도 4의 (a)는 라인 4A-4A를 따라 취해진 도 4의 장치의 단면도.
도 4의 (b)는 라인 4B-4B를 따라 취해진 도 4의 장치의 단면도.
도 5는 도 1의 장치에 가해지는 플렉스 제스처를 개략적으로 도시한 도면.
도 5의 (a)는 라인 5A-5A를 따라 취해진 도 5의 장치의 단면도.
도 5의 (b)는 라인 5B-5B를 따라 취해진 도 5의 장치의 단면도.
도 6은 도 1의 장치에 가해지는 플렉스 제스처를 개략적으로 도시한 도면.
도 6의 (a)는 라인 6A-6A를 따라 취해진 도 6의 장치의 단면도.
도 6의 (b)는 라인 6B-6B를 따라 취해진 도 6의 장치의 단면도.
도 7은 도 1의 장치에 가해지는 플렉스 제스처를 개략적으로 도시한 도면.
도 7의 (a)는 라인 7A-7A를 따라 취해진 도 7의 장치의 단면도.
도 7의 (b)는 라인 7B-7B를 따라 취해진 도 7의 장치의 단면도.
도 1은, 햅틱 효과를 제공할 수 있고 디바이스의 플렉시블 표면(110)에 가해지는 플렉스 제스처에 응답하여 애플리케이션 액션을 트리거할 수 있는 대화형 전자 디바이스(100)의 일 실시예를 도시한다. 플렉스 제스처는, 일반적으로, 예를 들어, 터치 스크린 표면이 눌려질 때 발생할 수 있는 약간의 휨(slight flexures)과는 상반되는, 표면의 상당한 변형(gross deformation)을 지칭한다. 플렉스 제스처는, 표면에 가해지는 구부림, 비틀기, 말기(rolling) 또는 이들의 임의의 조합을 포함할 수 있다. 애플리케이션 액션은, 사용자 입력에 대하여 애플리케이션 또는 기타 프로그램이 행할 수 있는 임의의 응답을 포함할 수 있다. 따라서, 플렉스 제스처는, 버튼 누르기, 풀링 트리거(pulling a trigger), 또는 마우스 클릭하기 등의 다른 형태의 사용자 입력을 보충하거나 대체할 수 있다. 일부 실시예들에서, 대화형 전자 디바이스(100)는 사용자 입력 디바이스(122, 124, 126 및 128) 및 스크린(130)을 더 포함할 수 있다. 따라서, 디바이스(100)는, 게임 컨트롤러 또는 임의의 기타 리모트 컨트롤(예를 들어, TV 리모트, 핸들 게임 리모트), eReader(예를 들어, 전자 신문, 잡지, 지도 또는 서적), 대화식 장난감, 태블릿 게임장치 또는 모바일 멀티미디어 디바이스, 또는 임의의 기타 대화형 전자 디바이스의 일부로서 사용될 수 있는 사용자 인터페이스를 제공한다.
플렉시블 표면(110)은 사용자에 의해 가해지는 플렉스 제스처의 결과로서 상당한 탄성 변형을 견딜 수 있는 플라스틱 등의 하나 이상의 플렉시블 재료로 형성될 수 있다. 일부 실시예들에서, 플렉시블 표면(110)은 하나 이상의 강성부(rigid portion)를 가질 수 있는 대화형 전자 디바이스(100)의 일부만을 커버할 수 있다. 예를 들어, 디바이스(100)의 가장자리 또는 모서리가 플렉시블 표면(110)을 포함할 수 있지만, 디바이스(100)의 중앙부는 강성 PCB 보드를 내장할 수 있다. 일부 실시예들에서, 플렉시블 표면(110)은 디바이스(100)의 전체면을 구성할 수 있다. 일부 실시예들에서, 플렉시블 표면(110)은 조절가능한 강성(stiffness)을 가질 수 있다. 예를 들어, 표면은, 전류 또는 열에 의해 영향을 받는 강성을 갖는 재료를 포함할 수 있다. 디바이스(100)의 컨트롤러는, 전류 또는 열이 재료에 인가되도록 하여 플렉시블 표면(110)의 강성을 제어할 수 있다.
사용자 입력 디바이스(122, 124, 126, 128)는 버튼, 트리거, 조이스틱, 노브(knob), 스위치, 슬라이드 바, 터치 패드 또는 임의의 기타 사용자 입력 디바이스를 포함할 수 있다. 하나 이상의 사용자 입력 디바이스는, 디바이스(100)의 플렉시블 표면(110)에 결합되거나, 강성부가 있을 경우엔 이 강성부에 결합될 수 있다. 하나 이상의 사용자 입력 디바이스는 기계적 사용자 입력 디바이스이거나 터치-감지 디바이스일 수 있다. 예를 들어, 사용자 입력 디바이스(122)는 기계적 조이스틱을 모방하도록 구성된 2개의 터치패드를 포함할 수 있지만, 사용자 입력 디바이스(126)는 4개의 기계적 버튼을 포함할 수 있다. 이 예 또는 다른 예에서, 사용자 입력 디바이스(124)는 플렉시블 표면(110)의 터치-감지 영역 등의 디바이스(100)의 터치-감지 영역으로 형성된 4개의 버튼을 포함할 수 있다. 사용자 입력 디바이스(128)는 디바이스(100)의 정면(front side)에 결합된 2개의 기계적 트리거를 포함하거나, 정면에 형성된 2개의 터치-감지 버튼을 포함할 수 있다.
일부 실시예들에서, 스크린(130)은 또한 터치 스크린 등의 사용자 입력 디바이스일 수 있다. 일부 실시예들에서, 스크린(130)은 사용자 출력만을 제공할 수 있다. 스크린(130)은, 대화형 전자 디바이스(100)의 강성부가 있을 경우엔 이 강성부의 일부이거나, 플렉시블 표면(110)에 동작가능하게 결합되거나, 플렉시블 표면(110)의 일부를 형성할 수 있다. 예를 들어, 스크린(130)은 표면(110) 내에 내장되거나 표면(110)에 장착될 수 있다. 일부 실시예들에서, 플렉시블 스크린(130)은, Xerox PARC®(Palo Alto Research Center)에서 개발한 일종의 전자 페이퍼인 자이리콘 시트(Gyricon sheet)로 형성될 수 있다. 자이리콘 시트는 여러번 재기입될 수 있다는 점을 제외하고 전형적인 페이퍼 시트와 유사한 물리적 특성을 갖는다. 자이리콘 기술은, 본질적으로 인가되는 전압 패턴에 응답하여 토너 입자가 배치되는 박층의 투명한 플라스틱에서 수 백만개의 작은 토너 입자를 조작하는 기술이다. 자이리콘 시트에 의해 표시되는 화상은 새로운 전압 패턴이 인가될 때까지 유지될 것이다. 유기 발광 다이오드(OLED), 유기/중합체 박막 트랜지스터(TFT), 또는 이들의 임의의 조합 등의 플렉시블 디스플레이를 제작하기 위한 기타 플렉시블 디스플레이 기술이 사용될 수 있음에 주목해야 한다.
도 2는 액추에이터(142, 144, 146 및 148), 정전 디바이스(149; electrostatic device), 무선 송수신기(160), 터치 센서(152), 플렉스 제스처 센서(156), 가속도계(154) 및 컨트롤러(170) 등의 대화형 전자 디바이스(100)의 일부일 수 있는 다른 구성요소를 도시한다.
액추에이터(142, 144, 146 및 148) 및 정전 디바이스(149)는, 대화형 전자 디바이스(100)의 표면(110) 등의 표면에 햅틱 효과를 생성시키도록 구성될 수 있다. 햅틱 효과는, 디바이스(100)의 진동 등의 기계적 움직임, 또는 사용자와 접촉하는 표면으로부터 돌출되는 핀 또는 막대 등의 물체의 구동을 포함할 수 있다. 햅틱 효과는, 사용자의 손가락을 표면(110)으로 끌어오는 힘(force)과 같이, 물체에 인력을 발생시키거나, 사용자의 손가락의 신경 또는 스타일러스의 센서와 같이, 신호를 인지할 수 있는 물체에 전기 신호를 보내는 정전 상호작용을 포함할 수 있다. 하나 이상의 액추에이터는, EAP(electroactive polymers; 전기활성 중합체) 섬유(또는 나노튜브), 압전 요소 스트립, 형상 기억 합금(SMA) 섬유, 보이스 코일, 솔레노이드 등의 자기 액추에이터, 공압(pneumatic) 액추에이터, 초음파 에너지 액추에이터, 편심 질량(eccentric mass) 액추에이터 또는 이들의 임의의 조합을 포함할 수 있다. 하나 이상의 액추에이터는, SMA 섬유로 형성된 것 등의 플렉시블 액추에이터일 수 있다. 이들 액추에이터는, 진동, 좌우 움직임, 상하 움직임, 회전 움직임 또는 이들의 임의의 조합을 생성할 수 있다. 햅틱 액추에이터는, 발명의 명칭이 "햅틱 가능 플렉시블 터치 감지 표면을 위한 방법 및 장치(METHOD AND APPARATUS FOR HAPTIC ENABLED FLEXIBLE TOUCH SENSITIVE SURFACE)"로서 2007년 6월 5일에 출원되어 동시 계류중인 미국 특허 출원 제11/758,638호에 보다 상세히 설명되고, 그 전체 내용이 본원에 참조로서 원용된다. 도 2에는 4개의 액추에이터가 도시되어 있지만, 다른 실시예들의 디바이스(100)는 보다 적은 수(예를 들어, 0, 1, 2, 3)의 액추에이터 또는 보다 많은 수(예를 들어, 5 이상)의 액추에이터를 가질 수 있다. 액추에이터 각각은, 대화형 전자 디바이스(100)의 가장자리, 모서리 또는 중심 등의 다양한 위치에 위치될 수 있다. 액추에이터들은, 또한 서로 다른 사이즈, 혹은 동일한 사이즈일 수 있다.
정전 디바이스(149)는, 햅틱 효과를 생성하는 기계적 움직임 대신에 전압 및 전류를 인가하는 임의의 디바이스를 포함할 수 있다. 일부 실시예들에서, 정전 디바이스(149)는 도전층 위에 절연층을 포함할 수 있다. 일례에서, 절연층은 플렉시블 표면(110)의 일부를 포함할 수 있다. 정전 디바이스(149)는, 교류(alternating-current) 전기 신호를 도전층에 인가함으로써 동작할 수 있다. 이 신호는, 절연층 근방 또는 절연층 상에서 사용자의 손가락 또는 스타일러스 등의 물체와 도전층을 용량 결합시킬 수 있다. 용량 결합은, 절연층을 가로질러 물체가 움직일 때 물체가 겪게되는 마찰력을 변화시킴으로써 햅틱 효과를 생성할 수 있다. 햅틱 정전 디바이스는, 발명의 명칭이 "전자-진동 촉각 디스플레이(ELECTRO-VIBROTACTILE DISPLAY)로서 2011년 4월 22일 출원되어 동시 계류중인 미국 특허 출원 제13/092,269호에 보다 상세히 설명되어 있으며, 그 전체 내용이 본원에 참조로서 원용된다.
플렉스 제스처 센서(156)는 표면(110) 등의 플렉시블 표면에 가해지는 플렉스 제스처를 감지하도록 구성될 수 있다. 일부 실시예들에서, 플렉스 제스처를 감지하는 것은, 제스처의 크기(a magnitude of the gesture) 및 제스처의 방향(a direction of the gesture)을 감지하는 것을 포함할 수 있다. 예를 들어, 센서(156)는, 구부림 제스처뿐만 아니라 플렉시블 표면이 구부러지는 방향(예를 들어, 업 또는 다운)과 구부림의 크기도 감지하도록 구성될 수 있다. 구부림의 크기는, 표면이 구부러지는 속도, 표면이 구부러지는 정도, 표면이 구부러져 있는 지속시간(duration) 또는 이들의 임의의 조합을 포함할 수 있다. 센서(156)는 표면에서의 상당한 변형을 감지하도록 구성된 임의의 디바이스를 포함할 수 있다. 예를 들어, 센서(156)는, 스트레인 게이지, 가속도계, 자이로스코프, 압전 변환기, 압력 센서, 광 섬유 또는 이들의 임의의 조합을 포함할 수 있다. 일부 실시예들에서, 가속도계(154)는 센서(156)의 일부일 수 있다. 예를 들어, 센서(156)는, 플렉스 제스처의 크기를 감지하는 스트레인 게이지 및 가속도계를 포함할 수 있다. 이 예에서, 가속도계가 변형 속도를 감지하는 동안, 스트레인 게이지는 변형 정도를 감지할 수 있다. 이 예에서, 센서(156)는, 변형의 방향을 감지함으로써 플렉스 제스처의 방향을 감지할 수 있는 자이로스코프를 더 포함할 수 있다.
일부 실시예들에서, 가속도계(154)는 센서(156)의 임의의 가속도계와는 분리될 수 있다. 가속도계(154)는, 예를 들어, 디바이스(100)를 소지하는 사람의 이동 속도를 측정하도록 구성될 수 있다. 일부 실시예들에서, 디바이스(100)는 센서(156)의 임의의 자이로스코프와 분리된 자이로스코프를 가질 수 있다. 이 자이로스코프는, 예를 들어, 디바이스(100)가 기울어진(tilted) 각도를 측정하도록 구성될 수 있다. 일부 실시예들에서, 액추에이터(142, 144, 146 또는 148)의 임의의 압전 변환기는, 센서(156)의 임의의 압전 변환기와 분리될 수 있다. 일부 실시예들에서, 센서(156)의 압전 변환기는, 또한 디바이스(100)의 액추에이터들 중 하나의 액추에이터의 일부일 수 있다.
일부 실시예들에서, 디바이스(100)의 압전 변환기 등의 하나 이상의 변환기는, 디바이스의 제스처 또는 기타 움직임으로부터 전력을 얻도록 구성될 수 있다. 일부 실시예들에서, 디바이스(100)는 배터리가 없을 수 있고, 하나 이상의 변환기에 의해 얻어진 전력으로, 디바이스(100)의 센서, 무선 송수신기, 컨트롤러 및 햅틱 디바이스에 완벽히 전력을 공급할 수 있다.
터치 센서(152)는, 스크린(130)의 표면, 사용자 입력 디바이스(122)의 표면, 또는 이들의 임의의 조합 등의, 대화형 전자 디바이스(100)의 표면의 근방 혹은 이 표면과 접촉하는 사용자의 손가락 또는 스타일러스 등의 물체를 검출하도록 구성된 하나 이상의 센서를 포함할 수 있다. 일례에서, 터치 센서(152)는, 디바이스(100)에 내장된 하나 이상의 정전 용량 센서(capacitance sensor)를 포함할 수 있고, 사용자의 터치로 인해 발생하는 정전 용량의 변화를 감지하고 터치 위치를 감지하도록 구성될 수 있다. 일례에서, 터치 센서(152)는, 디바이스(100)의 표면에서 터치 입력을 감지하도록 구성된 압력 센서, 저항 센서, 표면 탄성파(SAW; surface acoustic wave) 센서, 적외선 센서, 광 센서 또는 임의의 기타 센서를 포함할 수 있다. 일부 실시예들에서, 터치 센서(152)는, 하나 이상의 사용자 입력 디바이스(122, 124, 126, 128) 또는 스크린(130)의 일부일 수 있다.
무선 송수신기(160)는, 감지된 터치 제스처 및 감지된 플렉스 제스처를, 예를 들어, 게임 콘솔, 데스크탑 컴퓨터, 라우터, 가정용 오락 시스템 또는 이들의 임의의 조합에 전달하도록 구성될 수 있다. 무선 송수신기는, IEEE 802.11, Bluetooth®, 적외선 통신 프로토콜, CDMA 프로토콜 또는 임의의 기타 무선 통신 프로토콜 등의 무선 프로토콜을 통해 통신하도록 구성될 수 있다.
컨트롤러(170)는, 디바이스(100)의 하나 이상의 구성요소의 동작을 제어하고, 플렉스 제스처에 응답하여 햅틱 효과 및 애플리케이션 액션을 트리거하도록 구성될 수 있다. 일례에서, 컨트롤러(170)는, 사용자 입력 디바이스(122, 124, 126 및 128)에 통신가능하게 결합되어 이들 디바이스에서 수신되는 사용자 입력을 수신할 수 있다. 일례에서, 컨트롤러(170)는, 스크린(130)이 터치 스크린이면 스크린상에 시각(visual) 콘텐츠를 제시하고 사용자 입력을 수신하도록, 스크린(130)에 통신가능하게 결합될 수 있다. 일부 실시예들에서, 컨트롤러(170)는, 스크린(130)상에 액션을 제시함으로써, 애플리케이션 액션을 트리거할 수 있다. 예를 들어, 애플리케이션 액션이 줌 액션인 경우, 컨트롤러(170)는 스크린(130)상에 제시된 시각 콘텐츠를 줌(zoom)할 수 있다. 일부 실시예들에서, 컨트롤러(170)는, 터치 센서(152), 플렉스 제스처 센서(156) 및 무선 송수신기(160)에 통신가능하게 결합될 수 있다. 센서(152 또는 156)에 의해 감지된 제스처에 응답하여, 컨트롤러(170)는, 송수신기(160)로 하여금 제스처와 연관된 신호를 게임 콘솔에 전송하게 할 수 있고, 제스처와 연관된 애플리케이션 액션을 TV 스크린상에 제시할 수 있다. 일부 실시예들에서, 컨트롤러(170)는, 감지된 제스처를 수신하는 것에 응답하여 햅틱 효과를 제공하도록, 액추에이터(142, 144, 146, 148), 및 정전 디바이스(149)에 통신가능하게 결합될 수 있다. 컨트롤러(170)는, 논리 회로, 하나 이상의 프로세서 또는 임의의 기타 컴퓨팅 회로를 포함할 수 있다.
일부 실시예들에서, 디바이스(100)의 하나 이상의 구성요소는, 플렉시블하고, 표면(110) 등의 플렉시블 표면의 일부를 형성할 수 있거나, 플렉시블 표면에 동작가능하게 결합될 수 있다.
도 3 내지 도 7은, 대화형 전자 디바이스(100)의 플렉시블 표면(110)에 가해질 수 있는 플렉스 제스처의 예를 도시한다. 도 3은 플렉시블 표면(110)에 가해질 수 있는 구부림 제스처를 도시한다. 라인 3A-3A을 따라 취해진 구부러진 표면의 정면도가 도 3의 (a)에 도시되어 있다. 도면에 도시된 바와 같이, 플렉스 제스처는, 아래쪽 또는 안쪽 등의 제1 방향으로 가해질 수 있고, 위쪽 또는 바깥쪽 등의 제2 방향으로 가해질 수 있고, 다른 방향으로 가해질 수 있다. 일부 실시예들에서, 제2 방향은 제1 방향과 반대 방향일 수 있다. 일부 실시예들에서, 제2 방향은, 제1 방향에 수직이거나 제1 방향과는 일부 다른 관계를 가질 수 있다. 예를 들어, 제1 방향은 디바이스(100)의 좌측 및 우측 가장자리의 구부림과 관련될 수 있는 반면, 수직의 제2 방향은 디바이스(100)의 상측 및 하측 가장자리의 구부림과 관련될 수 있다. 일부 실시예들에서, 변형은 크기를 가질 수 있다. 그 크기는, 변형 정도, 표면이 변형되는 속도, 변형의 지속시간 또는 이들의 임의의 조합을 포함할 수 있다. 일부 실시예들에서, 임계 정도 이하까지 표면(110)을 구부림으로써 제1 플렉스 제스처가 형성될 수 있는 반면, 임계 정도를 초과하여 표면을 구부림으로써 제2 플렉스 제스처가 형성될 수 있다.
도 4는 플렉시블 표면(110)의 한쪽에 가해질 수 있는 비틀기 제스처를 나타낸다. 라인 4A-4A을 따라 비틀어진 표면의 정면도를 나타내는 도 4의 (a)에 도시된 바와 같이, 비틀기는 표면(110)의 좌측에만 가해질 수 있다. 라인 4B-4B를 따라 비틀어진 표면의 측면도를 나타내는 도 4의 (b)에 도시된 바와 같이, 플렉스 제스처는 제1 방향으로 가해질 수 있고, 이 경우, 좌측 상부 모서리가 사용자로부터 멀어지면서 바깥쪽으로 구부러지거나(표면은 사용자와 대향하고 있다고 가정함) 아래쪽으로 구부러진다(표면이 위를 향하고 있다고 가정함). 제1 방향에서는, 좌측 하부 모서리가 사용자를 향하여 안쪽으로 구부러지거나 위쪽으로 구부러진다.
도 5에 도시된 바와 같이, 플렉스 제스처는 반대의 제2 방향으로 가해질 수 있다. 라인 5B-5B을 따라 비틀어진 표면(110)의 측면도를 도시하는 도 5의 (b)에 도시된 바와 같이, 좌측 상부 모서리는 사용자를 향하여 안쪽으로 구부러지거나 위쪽으로 구부러지고, 좌측 하부 모서리는 사용자로부터 멀어지면서 바깥쪽으로 구부러지거나 아래쪽으로 구부러진다. 도 5의 (a)는 제2 방향의 비틀기가 표면(110)의 좌측에 가해질 수 있는 것을 도시한다. 비틀기 제스처는 마찬가지 방식으로 표면(110)의 우측에 가해질 수 있다. 일부 실시예들에서, 임계 정도 이하까지 비틀기에 의해 제1 비틀기 제스처가 형성될 수 있는 반면, 임계 정도를 초과하는 비틀기에 의해 제2 비틀기 제스처가 형성될 수 있다.
도 6 및 도 7은 표면(110)의 2개의 대향 측에 가해질 수 있는 비틀기 플렉스 제스처를 도시한다. 도 6의 (a) 및 (b)에 도시된 바와 같이, 비틀기 제스처가 제1 방향으로 가해질 수 있고, 이 경우 표면(110)의 좌측 상부 모서리가 사용자로부터 멀어지면서 바깥쪽으로 비틀어지거나 아래쪽으로 비틀어지고, 우측 하부 모서리는 사용자로부터 멀어지면서 바깥쪽으로 구부러지거나 아래쪽으로 구부러진다. 도 7의 (a) 및 (b)에 도시된 바와 같이, 비틀기 제스처는 반대의 제2 방향으로 가해질 수 있고, 이 경우 우측 상부 모서리가 사용자로부터 멀어지면서 바깥쪽으로 비틀어지거나 아래쪽으로 비틀어지고, 좌측 하부 모서리는 사용자로부터 멀어지면서 바깥쪽으로 비틀어지거나 아래쪽으로 비틀어진다. 도시된 플렉스 제스처는 단지 예일 뿐이며, 임의의 다른 플렉스 제스처가 대화형 전자 디바이스의 플렉시블 표면에 가해질 수 있다. 예를 들어, 플렉스 제스처는, 플렉시블 표면(110)을 말(roll) 수 있거나, 표면(110)을 비틀지 않고 표면의 모서리만을 구부릴 수 있거나, 플렉시블 표면(110)의 한쪽만을 구부릴 수 있다.
대화형 전자 디바이스(100)에 의해 감지된 플렉스 제스처는, 애플리케이션 액션을 트리거하는 사용자 입력으로서 사용될 수 있다. 액션은, 예를 들어, 컨트롤러(170)에 의해 트리거될 수 있다. 일부 실시예들에서, 애플리케이션 액션은, 게임 등의 가상 환경 또는 시뮬레이션 환경에서의 액션들에 관련될 수 있다. 예를 들어, 애플리케이션 액션은, 게임에서 전방 또는 후방으로 이동하기, 게임에서 무기를 발사하거나 무기를 장전하기, 게임 환경의 양안 뷰(binocular view)를 줌인 또는 줌아웃하기, 혹은 게임에서 카드 섞기(shuffling) 또는 카드 돌리기(passing)를 포함할 수 있다. 애플리케이션 액션 각각은, 플렉스 제스처에 연관될 수 있고, 또한 플렉스 제스처의 방향, 크기, 또는 이들의 조합에 연관될 수 있다. 예를 들어, 바깥쪽 방향으로의 구부림 제스처는 게임 환경에서 전방으로 이동하기와 연관될 수 있는 반면, 안쪽 방향으로의 구부림 제스처는 게임 환경에서 후방으로 이동하기와 연관될 수 있다. 위쪽 방향으로 우측 상부 모서리를 구부리는 비틀기 제스처는 게임에서 무기를 발사하기와 연관될 수 있는 반면, 아래쪽 방향으로 우측 상부 모서리를 구부리는 비틀기 제스처는 게임에서 무기를 재장전하기(reloading)와 연관될 수 있다. 일부 실시예들에서는, 게임 또는 임의의 기타 애플리케이션에서 플렉스 제스처와 애플리케이션 액션의 연관성은, 사용자에 의해 맞춤화(customization)될 수 있다. 맞춤화는, 예를 들어, 컨트롤러(170) 또는 디바이스(100)와는 별도의 컴퓨팅 디바이스에 의해 실행될 수 있다.
일부 실시예들에서, 게임 및 기타 애플리케이션에서 사용되는 플렉스 제스처는 다른 형태의 사용자 입력과 함께 가해질 수 있다. 일례에서, 가속도계(154)로부터의 신호가 조종 액션과 연관될 수 있으면서, 플렉스 제스처는 게임에서 차량의 가속 또는 감속 액션에 연관될 수 있다. 일례에서, 사용자 입력 디바이스(128)를 누르기가 게임에서 무기 발사 액션과 연관될 수 있으면서, 플렉스 제스처는 게임에서 이동 액션과 연관될 수 있다. 일례에서, 디바이스(100)의 자이로스코프가 게임에서 무기의 조준 방향(또는 자동차의 조종 방향)과 연관된 지향성을 측정할 수 있으면서, 플렉스 제스처는 무기 발사 액션과 연관될 수 있다. 일례에서, 사용자 입력 디바이스(124)를 누르기가 활을 쏘아 화살을 날리기와 연관될 수 있으면서, 구부림 제스처는 게임에서 활을 당기기와 연관될 수 있다.
일부 실시예들에서, 애플리케이션 액션은 메뉴를 검색하기(navigating)와 관련될 수 있다. 이들 실시예에서, 구부림 제스처는, 메뉴를 전진하기 또는 후진하기(retreating), 메뉴 옵션을 스크롤 업하기 또는 스크롤 다운하기, 혹은 메뉴 옵션을 선택하기 또는 선택해제하기와 연관될 수 있다. 비틀기 제스처는, 스크린상에 제시하기 위한 메뉴 간에 전환하는 액션과 연관될 수 잇다.
일부 실시예들에서, 애플리케이션 액션은, 디바이스(100)상에서 실행되는 eBook, 음악 또는 비디오 애플리케이션 등의 멀티미디어 플랫폼, 혹은 디바이스(100)와 통신하는 가정용 오락 시스템을 제어하는 것과 관련될 수 있다. 이들 실시예에서, 구부림 제스처는, 서적 페이지, 미디어 트랙 또는 채널을 전방으로 브라우징(browsing forward) 또는 후방으로 브라우징(browsing backward)하는 것과 연관될 수 있다. 비틀기 제스처는, 볼륨 업 또는 볼륨 다운 액션과 연관될 수 있다. 다른 예에서, 표면(110)의 모서리를 구부리기 등의 플렉스 제스처는, 디바이스(100)를 턴온하기 또는 디바이스(100)를 턴오프하기, 혹은 TV를 턴온하기 또는 TV를 턴오프하기와 연관될 수 있다. 본원에 설명된 애플리케이션 액션은 단지 일례일 뿐이며, 플렉스 제스처는 사용자 입력에 대한 임의의 응답 및 임의의 애플리케이션과 연관될 수 있다.
본원에 설명된 일부 예들은, 상반된 2개의 방향으로의 플렉스 제스처가 상반된 2개의 애플리케이션 액션(예를 들어, 전방으로 이동 및 후방으로 이동)과 연관될 수 있지만, 상반된 2개의 방향으로의 플렉스 제스처는 임의의 2개의 애플리케이션 액션과 연관될 수 있다. 예를 들어, 아래쪽 방향으로 구부림 제스처가 음악을 재생하는 애플리케이션 액션과 연관될 수 있으면서, 위쪽 방향으로 구부림 제스처는 전화기 다이얼 스크린을 제시하는 애플리케이션 액션과 연관될 수 있다.
일부 실시예들에서, 플렉스 제스처는 조합될 수 있다. 예를 들어, 디바이스(100)에 의해 제어되는 TV를 슬립 모드(sleep mode)로 두기 등의 애플리케이션 액션은, 제1 방향으로의 구부림 제스처와 이에 후속한 제2 방향으로의 비틀기 제스처를 필요로 한다. 비틀기 제스처는, 표면(110)이 여전히 구부러져 있으면서 가해지거나, 표면(110)이 구부러졌다 펴진 뒤에 가해질 수 있다. TV 하이버네이션(hibernation) 액션 등의, 플렉스 제스처들의 시퀀스와 연관된 애플리케이션 액션의 경우, 상기 시퀀스의 하나 이상의 제스처 뒤에, 음성 확인 출력(outputting of an audio confirmation) 등의 다른 애플리케이션 액션이 제공되어, 해당 시퀀스가 올바르게 이행되고 있다는 것을 확인시켜 줄 수 있다. 다른 예에서, 구부림 제스처는 게임에서 활을 잡아당기는 것과 연관될 수 있고, 표면이 구부러져 있는 동안에 가해지는 비틀기 제스처는 활을 쏘아 화살을 날리기와 연관될 수 있다.
일부 실시예들에서, 애플리케이션 액션은 터치 제스처 및 플렉스 제스처를 갖는 시퀀스와 연관될 수 있다. 예를 들어, 구부림 제스처는, 디바이스(100)상에서 전화기 진동 모드와 전화기 링 모드 간에 토글링(toggling)하는 것과 연관될 수 있지만, 컨트롤러(170)는, 사용자가 플렉스 제스처 전에 임계 시간량 이내에 터치 제스처를 표면(110)에 가하지 않는 한, 애플리케이션 액션을 트리거하는 것을 선택하지 않는다. 예를 들어, 사용자가 표면(110)을 구부리기 전에 스크린(130)상의 임의의 방향으로 스와이핑 움직임(swiping motion)을 가할 필요가 있다. 구부림 제스처만 검출된 경우, 컨트롤러(170)는, 터치 제스처가 수신되지 않았기 때문에 응답하지 않거나, 애플리케이션 액션의 토글링을 트리거할 수 없음을 나타내는 시각 또는 청각 출력을 제시할 수 있다. 터치 제스처를 토글링 액션에 포함시킴으로써, 디바이스(100)는, 부주의하게 진동 모드로부터 링 모드로 토글링되는 것을 방지할 수 있다. 일부 실시예들에서, 임의의 플렉스 제스처가 의도한 애플리케이션 액션을 트리거할 수 있기 전에, 터치 제스처가 가해질 필요가 있다. 터치 제스처를 표면에 가하는 것은, 표면을 터치하는 것, 표면을 스와이핑하는 것, 표면을 핀칭(pinching) 또는 확대(expanding)하는 것, 또는 임의의 다른 터치 제스처를 가하는 것을 포함할 수 있다.
일부 실시예들에서, 애플리케이션 액션은 가속도계 기반의 제스처 및 플렉스 제스처를 갖는 시퀀스와 연관될 수 있다. 예를 들어, 스윙 제스처 등의 가속도계 기반의 제스처는, 디바이스(100)에 행해질 수 있고, 가상의 테니스 게임용 테니스 스윙(swing)을 시뮬레이션하는 것과 연관될 수 있다. 가속도계(154) 및 자이로스코프는, 예를 들어, 스윙을 검출할 수 있다. 스윙의 검출에 응답하여, 컨트롤러(170) 등에 의해, 스크린상의 테니스 스윙의 애니메이션이 트리거될 수 있다. 이 예에서, 플렉스 제스처는, 예를 들어, 서브(serve)용 테니스 볼 던지기를 시뮬레이션하는 것과 연관될 수 있다. 플렉스 제스처 센서(156)는, 예를 들어, 플렉스 제스처를 검출할 수 있다. 플렉스 제스처의 검출에 응답하여, 컨트롤러(170)는 스크린상의 테니스 서브의 애니메이션을 트리거할 수 있다.
애플리케이션 액션을 트리거하는 것은, 애플리케이션 액션을 스크린상에 제시하거나 임의의 기타 사용자 출력 디바이스(예를 들어, 스피커)에 제시하는 것을 포함할 수 있다. 일례에서, 컨트롤러(170)는, 게임에서 이동 액션 또는 메뉴 선택 액션을 스크린상(130)에 제시할 수 있다. 액션을 제시하는 것은, 컨트롤러(170) 내의 비디오 칩으로 하여금 액션에 대응하는 시각 콘텐츠를 렌더링하게 하는 것을 포함할 수 있다. 일례에서, 컨트롤러(170)는, 무선 송수신기(160)로 하여금 게임 콘솔 등의 다른 컴퓨팅 디바이스에 플렉스 제스처와 연관된 신호를 전송하게 함으로써, 해당 플렉스 제스처와 연관된 줌 액션을 트리거할 수 있다. 그 후, 게임 콘솔은, 해당 액션을 TV 스크린상에 제시할 수 있다. 이 예에서, 컨트롤러(170)는, 무선 송수신기(160)로 하여금 이동 커맨드를 게임 콘솔에 전송하게 하거나, 컨트롤러(170)는, 무선 송수신기(160)로 하여금, 예를 들어, 바깥쪽 방향으로 구부림 제스처가 발생했음을 나타내는 신호를 단순히 전송하게 할 수 있다. 후자의 경우, 게임 콘솔은, 콘솔에 저장된 제스처-대-액션 매핑에 기초하여 구부림 제스처로부터 이동 커맨드를 생성할 수 있다.
일부 실시예들에서, 플렉스 제스처는 햅틱 효과를 트리거할 수 있다. 햅틱 효과는, 자극(stimulus) 또는 힘을 지칭하며, 진동, 인력 또는 척력, 전압 또는 전류, 일부 기타 기계적 힘 또는 전자기력, 가열 또는 냉각, 또는 일부 기타 자극을 포함하지만 이에 제한되는 것은 아니다. 햅틱 효과는, 본원에 기술된 힘 또는 자극 중 하나 또는 이들의 조합을 포함할 수 있다. 복수의 햅틱 효과가 조합되어 전체 햅틱 효과를 형성할 수 있다. 일례에서, 컨트롤러(170)는, 플렉스 제스처를 감지할 수 있고, 하나 이상의 액추에이터(142, 144, 146, 148) 및 정전 디바이스(149)를 활성화시킬 수 있다. 플렉스 제스처들 간에 햅틱 효과가 동일할 수 있거나, 상이할 수 있다. 예를 들어, 컨트롤러(170)는, 위쪽 방향으로 구부림 제스처에 응답하여 액추에이터(144)만을 활성화시킬 수 있고, 아래쪽 방향으로 구부림 제스처에 응답하여 액추에이터(142 및 144)를 활성화시킬 수 있고, 비틀기 제스처에 응답하여 4개의 액추에이터 전부를 활성화시킬 수 있다. 일부 실시예들에서, 햅틱 효과의 유형, 지속시간 또는 강도는, 또한 어떤 플렉스 제스처가 가해지는가 또는 어떤 애플리케이션 액션이 트리거되는가에 기초하여 변화될 수 있다. 예를 들어, 음악 볼륨을 높이는 플렉스 제스처에 응답하여 트리거되는 햅틱 효과는, 음악 볼륨을 낮추는 플렉스 제스처에 응답하여 트리거되는 햅틱 효과보다 강할 수 있다. 플렉스 제스처가 TV 채널을 변경하거나 메뉴를 스크롤링하는 액션 등의 기타 애플리케이션 액션과 이후에 연관되는 경우, 다른 유형의 햅틱 효과(예를 들어, 정전 또는 열 기반의 햅틱 효과)가 해당 플렉스 제스처와 연관될 수 있다. 일부 실시예들에서, 햅틱 효과의 유형, 지속시간 또는 강도는 플렉스 제스처에 의해 제어될 수 있다. 예를 들어, 햅틱 효과의 강도(예를 들어, 주파수 및/또는 진폭)는 플렉스 제스처의 크기(예를 들어, 구부림 속도 또는 정도)에 기초할 수 있다. 게임에서 더 큰 가속도를 트리거하거나 전자 문서에서 더 빠르게 스크롤링하는 것과 마찬가지로, 대화형 전자 디바이스의 플렉시블 표면을 더 많이 또는 더 빠르게 구부릴수록, 더 큰 주파수 또는 진폭의 햅틱 효과가 있을 수 있다.
일부 실시예들에서, 해당 플렉스 제스처에 응답하는 햅틱 효과는, 플렉스 제스처가 유효한 경우에만, 트리거될 수 있다. 예를 들어, 플렉스 제스처와 연관된 애플리케이션 액션을 갖지 않는 경우, 해당 플렉스 제스처는 무효화될 수 있다. 일부 실시예들에서, 제스처가 무효하다는 것을 사용자에게 나타내기 위해, 디폴트 햅틱 효과(예를 들어, 강도 레벨 3으로 2초간 액추에이터(144)의 진동)가 트리거될 수 있다.
일부 실시예들에서, 햅틱 효과는, 터치 제스처와 플렉스 제스처의 시퀀스 등의 제스처들의 시퀀스와 연관될 수 있다. 이 시퀀스는, 상술한 바와 같이, TV를 슬립 모드로 두는 액션, 또는 전화기 진동 모드와 전화기 링 모드 간에 토글링하는 액션 등의 애플리케이션 액션과 연관될 수 있다. 일례에서, 제스처들의 시퀀스가 정확하게 가해지는 경우에만, 햅틱 효과(예를 들어, 액추에이터(142 및 144)의 진동)가 제공될 수 있다. 해당 시퀀스가 정확하게 이행되고 있음을 확인해 줄 수 있도록, 시퀀스에서 하나 이상의 제스처에 후속하여 상이한 햅틱 효과(예를 들어, 액추에이터(142)의 진동)가 트리거될 수 있다. 일례에서, 디폴트 햅틱 효과(예를 들어, 강도 레벨 3로 2초간 액추에이터(144)의 진동)는, 모든 무효한 제스처들의 시퀀스에 응답하여 트리거될 수 있다.
본 발명은, 예시를 위해, 현재 가장 실용적이고 바람직한 실시예들이라고 간주되는 것에 기초하여 상세히 기술되었지만, 이러한 상세는 단지 예시를 위한 것일 뿐이며, 본 발명은 개시된 실시예들에 한정되지 않고, 첨부된 청구항들의 사상 및 범위 내의 변형 및 등가 구성을 포함하고자 한다는 점을 이해해야 한다. 예를 들어, 본 발명은, 임의의 실시예의 하나 이상의 특징이, 가능한 한도까지, 임의의 기타 실시예의 하나 이상의 특징과 결합될 수 있다는 점을 고려하고 있다는 것을 이해해야 한다.

Claims (20)

  1. 대화형 전자 디바이스(electronic interactive device)로서,
    플렉시블 표면(flexible surface)을 포함하는 사용자 인터페이스;
    상기 플렉시블 표면에 가해지는 플렉스 제스처(flex gesture)를 감지하도록 구성된 센서;
    상기 플렉스 제스처에 응답하여 햅틱 효과(haptic effect)를 생성하도록 구성된 햅틱 디바이스; 및
    상기 센서 및 상기 햅틱 디바이스와 신호 통신을 행하는 컨트롤러
    를 포함하고,
    상기 컨트롤러는,
    상기 플렉스 제스처의 햅틱 확인을 제공하도록 상기 햅틱 디바이스를 트리거(trigger)하고,
    상기 플렉스 제스처와 연관된 애플리케이션 액션을 트리거하도록 구성된, 대화형 전자 디바이스.
  2. 제1항에 있어서,
    상기 햅틱 디바이스는 액추에이터(actuator)를 포함하는, 대화형 전자 디바이스.
  3. 제1항에 있어서,
    상기 컨트롤러는, 상기 애플리케이션 액션과 연관된 애플리케이션을 실행하도록 구성된 컴퓨팅 디바이스에 상기 플렉스 제스처와 연관된 신호를 출력함으로써, 상기 애플리케이션 액션을 트리거하도록 구성된, 대화형 전자 디바이스.
  4. 제3항에 있어서,
    상기 컴퓨팅 디바이스에 상기 신호를 전송하도록 구성된 무선 통신 디바이스를 더 포함하는, 대화형 전자 디바이스.
  5. 제1항에 있어서,
    상기 사용자 인터페이스는 플렉시블 디스플레이 스크린을 포함하고, 상기 컨트롤러는 상기 애플리케이션 액션을 상기 디스플레이 스크린상에 제시함으로써, 상기 애플리케이션 액션을 트리거하도록 구성된, 대화형 전자 디바이스.
  6. 제1항에 있어서,
    상기 플렉시블 표면에 가해지는 터치 제스처(touch gesture)를 감지하도록 구성된 제2 센서를 더 포함하는, 대화형 전자 디바이스.
  7. 제6항에 있어서,
    상기 컨트롤러는, 상기 제2 센서가 상기 터치 제스처를 감지하고, 상기 센서가 상기 플렉스 제스처를 감지한 경우에만, 상기 애플리케이션 액션을 트리거하도록 구성된, 대화형 전자 디바이스.
  8. 제1항에 있어서,
    상기 플렉시블 표면은 상기 대화형 전자 디바이스의 가장자리에 위치되는, 대화형 전자 디바이스.
  9. 제1항에 있어서,
    상기 센서는, 스트레인 게이지(strain gauge), 압전 변환기(piezoelectric transducer), 가속도계(accelerometer) 또는 자이로스코프(gyroscope)를 포함하는, 대화형 전자 디바이스.
  10. 제1항에 있어서,
    상기 센서에 의해 감지되는 상기 플렉스 제스처는 상기 플렉시블 표면의 구부림(bending)을 포함하는, 대화형 전자 디바이스.
  11. 제10항에 있어서,
    상기 센서에 의해 감지되는 상기 플렉스 제스처는 상기 플렉시블 표면의 비틀기(twisting)를 포함하는, 대화형 전자 디바이스.
  12. 제11항에 있어서,
    상기 컨트롤러는, 상기 구부림에 응답하여 제1 햅틱 효과를 제공하도록 상기 햅틱 디바이스를 트리거하고, 상기 비틀기에 응답하여 제2 햅틱 효과를 제공하도록 상기 햅틱 디바이스를 트리거하도록 구성된, 대화형 전자 디바이스.
  13. 제1항에 있어서,
    상기 센서는, 제1 방향의 플렉스 제스처를 감지하고, 반대 방향의 플렉스 제스처를 감지하도록 구성된, 대화형 전자 디바이스.
  14. 제13항에 있어서,
    상기 컨트롤러는, 상기 제1 방향의 플렉스 제스처를 감지한 상기 센서에 응답하여 제1 애플리케이션 액션을 트리거하고, 상기 반대 방향의 플렉스 제스처를 감지한 상기 센서에 응답하여 제2 애플리케이션 액션을 트리거하도록 구성된, 대화형 전자 디바이스.
  15. 제14항에 있어서,
    상기 제1 애플리케이션 액션 및 상기 제2 애플리케이션 액션은, 온-오프 토글 액션(on-off toggle action), 선택-선택해제 토글 액션(select-deselect toggle action), 업-다운 토글 액션(up-down toggle action), 좌-우 토글 액션(left-right toggle action), 전방-후방 토글 액션(forward-reverse toggle action), 줌인-줌아웃 토글 액션(zoom-in-zoom-out toggle action) 또는 이들의 임의의 조합의 액션인, 대화형 전자 디바이스.
  16. 제1항에 있어서,
    상기 컨트롤러는, 상기 햅틱 디바이스로 하여금 상기 플렉스 제스처의 크기(a magnitude of the flex gesture)에 대한 햅틱 확인을 주파수 또는 진폭(amplitude)에 기초하도록 구성된, 대화형 전자 디바이스.
  17. 햅틱 제스처 인식 방법으로서,
    사용자 인터페이스의 플렉시블 표면에 가해지는 플렉스 제스처를 감지하는 단계;
    상기 플렉스 제스처를 감지하는 것에 응답하여, 상기 사용자 인터페이스에 햅틱 효과를 생성하는 단계; 및
    상기 플렉스 제스처와 연관된 애플리케이션 액션을 트리거하는 단계
    를 포함하는, 햅틱 제스처 인식 방법.
  18. 제17항에 있어서,
    상기 애플리케이션 액션을 트리거하는 단계는, 상기 애플리케이션 액션과 연관된 애플리케이션을 실행하는 컴퓨팅 디바이스에, 상기 플렉스 제스처에 연관된 신호를 출력하거나 상기 애플리케이션 액션을 상기 사용자 인터페이스의 디스플레이 스크린상에 제시하는 것을 포함하는, 햅틱 제스처 인식 방법.
  19. 제17항에 있어서,
    상기 플렉스 제스처를 감지하는 단계는, 상기 플렉시블 표면의 구부림 또는 상기 플렉시블 표면의 비틀기를 감지하는 것을 포함하는, 햅틱 제스처 인식 방법.
  20. 제17항에 있어서,
    상기 플렉스 제스처를 감지하기 전에, 상기 사용자 인터페이스에 가해지는 터치 제스처를 감지하는 단계를 더 포함하고, 상기 햅틱 효과를 생성하는 단계는 상기 터치 제스처를 감지하는 것과 상기 플렉스 제스처를 감지하는 것에 응답하는, 햅틱 제스처 인식 방법.
KR1020130014011A 2012-02-08 2013-02-07 햅틱 플렉스 제스처를 위한 방법 및 장치 KR20130091687A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/368,828 US9411423B2 (en) 2012-02-08 2012-02-08 Method and apparatus for haptic flex gesturing
US13/368,828 2012-02-08

Publications (1)

Publication Number Publication Date
KR20130091687A true KR20130091687A (ko) 2013-08-19

Family

ID=47666031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130014011A KR20130091687A (ko) 2012-02-08 2013-02-07 햅틱 플렉스 제스처를 위한 방법 및 장치

Country Status (5)

Country Link
US (3) US9411423B2 (ko)
EP (1) EP2626775A3 (ko)
JP (2) JP6442132B2 (ko)
KR (1) KR20130091687A (ko)
CN (2) CN103246472B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150032475A (ko) * 2013-09-18 2015-03-26 임머숀 코퍼레이션 배향 조정 가능 멀티-채널 햅틱 장치
KR20150060279A (ko) * 2013-11-26 2015-06-03 엘지디스플레이 주식회사 터치 및 제스쳐 센싱 시스템과 그 구동 방법
KR20160127282A (ko) * 2015-04-24 2016-11-03 삼성디스플레이 주식회사 가요성 디스플레이의 햅틱 구동 방법 및 장치
KR20160141895A (ko) * 2015-06-01 2016-12-12 삼성디스플레이 주식회사 표시장치

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US9672796B2 (en) * 2012-02-17 2017-06-06 Lg Electronics Inc. Electronic device including flexible display
US9851811B2 (en) * 2012-02-20 2017-12-26 Beijing Lenovo Software Ltd. Electronic device and method for controlling the same
US9684382B2 (en) 2012-06-13 2017-06-20 Microsoft Technology Licensing, Llc Input device configuration having capacitive and pressure sensors
US9459160B2 (en) 2012-06-13 2016-10-04 Microsoft Technology Licensing, Llc Input device sensor configuration
KR102052370B1 (ko) 2012-06-14 2020-01-08 엘지전자 주식회사 플렉서블 포터블 디바이스
KR101971200B1 (ko) * 2012-06-19 2019-04-23 삼성디스플레이 주식회사 단말기 시스템 및 플렉시블 단말기
US20140002376A1 (en) * 2012-06-29 2014-01-02 Immersion Corporation Method and apparatus for providing shortcut touch gestures with haptic feedback
KR102145533B1 (ko) * 2012-10-04 2020-08-18 삼성전자주식회사 플렉서블 디스플레이 장치 및 그의 제어 방법
US9046926B2 (en) 2012-12-17 2015-06-02 International Business Machines Corporation System and method of dynamically generating a frequency pattern to realize the sense of touch in a computing device
KR20140095711A (ko) * 2013-01-25 2014-08-04 삼성전자주식회사 전자 장치 및 그 동작 방법
US10578499B2 (en) * 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
US20140232679A1 (en) * 2013-02-17 2014-08-21 Microsoft Corporation Systems and methods to protect against inadvertant actuation of virtual buttons on touch surfaces
US9524633B2 (en) * 2013-03-14 2016-12-20 Lutron Electronics Co., Inc. Remote control having a capacitive touch surface and a mechanism for awakening the remote control
CN105144035B (zh) 2013-04-26 2019-03-22 意美森公司 利用触觉单元阵列模拟有形用户界面交互和手势
US9524030B2 (en) 2013-04-26 2016-12-20 Immersion Corporation Haptic feedback for interactions with foldable-bendable displays
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
KR20150010516A (ko) * 2013-07-19 2015-01-28 삼성전자주식회사 플렉서블 디바이스가 객체를 디스플레이 하는 방법 및 장치
CN104375713B (zh) * 2013-08-14 2017-08-25 华为终端有限公司 数据处理方法和移动设备
JP2015058127A (ja) 2013-09-18 2015-03-30 株式会社コナミデジタルエンタテインメント ゲーム制御プログラム、ゲームシステム、およびゲーム制御方法
CN105683865B (zh) 2013-09-30 2018-11-09 苹果公司 用于触觉响应的磁性致动器
US9317118B2 (en) 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
KR102256677B1 (ko) * 2013-12-02 2021-05-28 삼성디스플레이 주식회사 플렉서블 표시장치 및 이의 영상 표시방법
CN105814510B (zh) 2013-12-10 2019-06-07 苹果公司 具有触觉响应的带体附接机构
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
KR102117526B1 (ko) * 2014-01-02 2020-06-09 삼성전자주식회사 디스플레이 시스템, 플렉서블 리모컨, 플렉서블 디스플레이 장치 및 그 제어 방법
US9575512B2 (en) 2014-04-15 2017-02-21 Lg Electronics Inc. Flexible touch sensitive display device and control method thereof
KR102224478B1 (ko) 2014-04-15 2021-03-08 엘지전자 주식회사 터치 센서티브 플렉서블 디스플레이 디바이스 및 그 제어 방법
WO2015163842A1 (en) 2014-04-21 2015-10-29 Yknots Industries Llc Apportionment of forces for multi-touch input devices of electronic devices
JP6325659B2 (ja) * 2014-05-08 2018-05-16 Ｎｅｃソリューションイノベータ株式会社 操作画面表示装置、操作画面表示方法およびプログラム
KR102262721B1 (ko) 2014-05-12 2021-06-09 엘지전자 주식회사 폴더블 디스플레이 디바이스 및 그 제어 방법
US9507420B2 (en) * 2014-05-13 2016-11-29 Qualcomm Incorporated System and method for providing haptic feedback to assist in capturing images
KR102210632B1 (ko) 2014-06-09 2021-02-02 엘지전자 주식회사 벤딩 오퍼레이션을 실행하는 디스플레이 디바이스 및 그 제어 방법
KR102246554B1 (ko) 2014-06-18 2021-04-30 엘지전자 주식회사 휴대용 디스플레이 디바이스 및 그 제어 방법
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR20160024605A (ko) * 2014-08-26 2016-03-07 삼성전자주식회사 접철식 기기
EP3195088A2 (en) 2014-09-02 2017-07-26 Apple Inc. Haptic notifications
JP6538825B2 (ja) 2014-09-02 2019-07-03 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 可変触覚出力のための意味論的フレームワーク
KR102243655B1 (ko) 2014-09-02 2021-04-23 엘지전자 주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR102338003B1 (ko) * 2014-10-07 2021-12-10 삼성전자 주식회사 플렉서블 디스플레이를 포함하는 전자 장치
DE102014016328B3 (de) * 2014-11-03 2016-03-17 Audi Ag Verfahren zum Betreiben einer Anzeigevorrichtung, Anzeigevorrichtung für einen Kraftwagen und Kraftwagen mit einer Anzeigenvorrichtung
CN111651159A (zh) * 2014-11-21 2020-09-11 习得智交互软件开发公司 提供原型设计工具的方法及非暂时性计算机可解读的媒介
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
CN105718182A (zh) * 2014-12-02 2016-06-29 天津富纳源创科技有限公司 触控装置
US9596538B2 (en) * 2014-12-12 2017-03-14 Intel Corporation Wearable audio mixing
WO2016097841A2 (en) * 2014-12-16 2016-06-23 Quan Xiao Methods and apparatus for high intuitive human-computer interface and human centric wearable "hyper" user interface that could be cross-platform / cross-device and possibly with local feel-able/tangible feedback
US9851805B2 (en) 2014-12-24 2017-12-26 Immersion Corporation Systems and methods for haptically-enabled holders
KR102277260B1 (ko) 2014-12-29 2021-07-14 엘지전자 주식회사 단말 장치 및 단말 장치의 제어 방법
KR20160080851A (ko) 2014-12-29 2016-07-08 엘지전자 주식회사 디스플레이 장치 및 제어 방법
US9612660B2 (en) * 2014-12-29 2017-04-04 Continental Automotive Systems, Inc. Innovative knob with variable haptic feedback
KR102358110B1 (ko) 2015-03-05 2022-02-07 삼성디스플레이 주식회사 표시 장치
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
KR102287583B1 (ko) * 2015-04-08 2021-08-09 삼성디스플레이 주식회사 표시 장치
WO2016167672A1 (es) * 2015-04-14 2016-10-20 Delmar Lissa Jose Antonio Dispositivo portátil de comunicación para transmitir mensajes táctiles
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
CN105138076B (zh) * 2015-08-03 2020-01-31 联想(北京)有限公司 一种电子设备的控制方法及电子设备
CN105094646B (zh) * 2015-08-24 2018-06-01 联想(北京)有限公司 一种电子设备的控制方法和电子设备
CN107925333B (zh) 2015-09-08 2020-10-23 苹果公司 用于在电子设备中使用的线性致动器
US10013060B2 (en) 2015-09-18 2018-07-03 Immersion Corporation Systems and methods for providing haptic effects in response to deformation of a cover for an electronic device
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
EP3249909B1 (en) 2016-05-23 2020-01-01 Funai Electric Co., Ltd. Display device
DK180122B1 (en) 2016-06-12 2020-05-19 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
CN105997144A (zh) * 2016-06-13 2016-10-12 杭州融超科技有限公司 一种超声系统及其多图成像方法
US10095311B2 (en) 2016-06-15 2018-10-09 Immersion Corporation Systems and methods for providing haptic feedback via a case
DK179802B1 (en) * 2016-09-06 2019-06-26 Apple Inc. Devices, methods and graphical user interfaces for generating tactile outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
CN106775351B (zh) * 2016-12-09 2020-07-24 联想(北京)有限公司 一种信息处理方法及装置、电子设备
US10037660B2 (en) * 2016-12-30 2018-07-31 Immersion Corporation Flexible haptic actuator
KR102343806B1 (ko) 2017-05-16 2021-12-28 삼성디스플레이 주식회사 터치 센서 및 이를 포함하는 표시 장치
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10440848B2 (en) 2017-12-20 2019-10-08 Immersion Corporation Conformable display with linear actuator
US11030921B2 (en) 2018-06-08 2021-06-08 Wells Fargo Bank, N.A. Change data driven tactile response
US20190384394A1 (en) 2018-06-15 2019-12-19 Immersion Corporation Method and apparatus for providing resistive feedback
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
CN109491506B (zh) 2018-11-13 2020-06-09 云谷（固安）科技有限公司 一种显示终端以及显示控制方法
US20200174612A1 (en) * 2018-11-30 2020-06-04 Immersion Corporation Variable curvature interactive devices
US10838544B1 (en) 2019-08-21 2020-11-17 Raytheon Company Determination of a user orientation with respect to a touchscreen device
JP6688425B1 (ja) 2019-08-30 2020-04-28 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
JP6688424B1 (ja) 2019-08-30 2020-04-28 任天堂株式会社 情報処理システム、情報処理プログラム、情報処理装置、および情報処理方法
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
JP2021145928A (ja) * 2020-03-19 2021-09-27 任天堂株式会社 ゲームシステム、情報処理プログラム、情報処理装置、および情報処理方法
US11175755B1 (en) * 2020-06-08 2021-11-16 Wacom Co., Ltd. Input system and input method
US12090390B2 (en) * 2020-11-30 2024-09-17 Lepton Computing Llc Gaming motion control interface using foldable device mechanics
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
CN113066383B (zh) * 2021-03-31 2023-04-07 深圳创维－Rgb电子有限公司 一种显示装置
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
WO2023181313A1 (ja) * 2022-03-24 2023-09-28 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、情報処理システム、コントローラ装置の制御方法、及びプログラム
GB2624463A (en) * 2022-11-21 2024-05-22 Yair Energy Ltd An electronic device

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4149574B2 (ja) * 1997-08-29 2008-09-10 ゼロックス コーポレイション ユーザインターフェースサポートデバイス、及び情報入力方法
US6297838B1 (en) * 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US6160540A (en) * 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US7289121B1 (en) * 2000-03-31 2007-10-30 Autodesk, Inc. System for creating and modifying curves and surfaces
KR100769783B1 (ko) * 2002-03-29 2007-10-24 가부시끼가이샤 도시바 표시 입력 장치 및 표시 입력 시스템
US20030188627A1 (en) * 2002-04-05 2003-10-09 Longo Nicholas C. Interactive performance interface for electronic sound device
JP4135487B2 (ja) * 2002-12-10 2008-08-20 ソニー株式会社 ユーザ・インタフェース装置および携帯情報装置
JP4447823B2 (ja) * 2002-06-14 2010-04-07 ソニー株式会社 携帯情報機器
US7456823B2 (en) * 2002-06-14 2008-11-25 Sony Corporation User interface apparatus and portable information apparatus
JP2004362428A (ja) * 2003-06-06 2004-12-24 Denso Corp タッチ操作入力装置、タッチ操作入力装置における振動発生方法
JP2005174006A (ja) * 2003-12-11 2005-06-30 Canon Inc 表示装置
EP1728142B1 (en) * 2004-03-23 2010-08-04 Fujitsu Ltd. Distinguishing tilt and translation motion components in handheld devices
US7629966B2 (en) * 2004-12-21 2009-12-08 Microsoft Corporation Hard tap
WO2006086508A2 (en) * 2005-02-08 2006-08-17 Oblong Industries, Inc. System and method for genture based control system
US20060238494A1 (en) * 2005-04-22 2006-10-26 International Business Machines Corporation Flexible displays as an input device
JP3911515B2 (ja) * 2005-10-13 2007-05-09 パイオニア株式会社 表示制御装置、表示方法、表示プログラムおよび記録媒体
US20100045705A1 (en) * 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
US20070247422A1 (en) * 2006-03-30 2007-10-25 Xuuk, Inc. Interaction techniques for flexible displays
GB0611452D0 (en) * 2006-06-12 2006-07-19 Plastic Logic Ltd Page refreshing e-reader
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US9823833B2 (en) 2007-06-05 2017-11-21 Immersion Corporation Method and apparatus for haptic enabled flexible touch sensitive surface
KR101345755B1 (ko) * 2007-09-11 2013-12-27 삼성전자주식회사 휴대용 단말기의 조작제어장치 및 그 방법
US8098235B2 (en) * 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
DE102007048596A1 (de) * 2007-10-10 2009-04-23 Vodafone Holding Gmbh Flexibles elektronisches Gerät und Verfahren zu dessen Steuerung
US8004501B2 (en) * 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
JP2009223875A (ja) * 2008-02-18 2009-10-01 Advanced Telecommunication Research Institute International 電子ブック装置、ブックカバー装置、電子ブック処理方法、およびプログラム
JP4909922B2 (ja) * 2008-02-29 2012-04-04 株式会社日立製作所 可撓操作可能な情報表示端末装置、及び情報表示用インタフェース
US20100011291A1 (en) * 2008-07-10 2010-01-14 Nokia Corporation User interface, device and method for a physically flexible device
KR101472021B1 (ko) * 2008-09-02 2014-12-24 엘지전자 주식회사 플렉서블 디스플레이부를 구비한 휴대 단말기 및 그 제어방법
KR101482125B1 (ko) * 2008-09-09 2015-01-13 엘지전자 주식회사 휴대 단말기 및 그 동작방법
WO2010041227A1 (en) * 2008-10-12 2010-04-15 Barit, Efrat Flexible devices and related methods of use
KR101517082B1 (ko) * 2008-11-10 2015-04-30 엘지전자 주식회사 플렉서블 디스플레이를 이용하는 휴대 단말기 및 그 제어방법
KR101521219B1 (ko) * 2008-11-10 2015-05-18 엘지전자 주식회사 플렉서블 디스플레이를 이용하는 휴대 단말기 및 그 제어방법
KR20100065418A (ko) * 2008-12-08 2010-06-17 삼성전자주식회사 가요성 표시부를 가지는 단말기 및 그의 데이터 표시 방법
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
JP4885938B2 (ja) * 2008-12-25 2012-02-29 京セラ株式会社 入力装置
JP2010157060A (ja) * 2008-12-26 2010-07-15 Sony Corp 表示装置
CA2761700C (en) * 2009-07-24 2014-12-02 Research In Motion Limited Method and apparatus for a touch-sensitive display
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
KR101602643B1 (ko) * 2009-08-19 2016-03-11 삼성전자주식회사 전자 종이를 위한 사용자 인터페이스 제공 장치 및 방법
EP2315186B1 (en) * 2009-10-26 2016-09-21 Lg Electronics Inc. Mobile terminal with flexible body for inputting a signal upon bending said body
US8305200B2 (en) * 2009-12-02 2012-11-06 Analog Devices, Inc. Reactive networks to reduce acoustic noise and ensure maximum efficiencies in driving piezoelectric elements in haptic applications
JP5440136B2 (ja) * 2009-12-04 2014-03-12 ソニー株式会社 表示装置及び表示装置の制御方法
US8432368B2 (en) * 2010-01-06 2013-04-30 Qualcomm Incorporated User interface methods and systems for providing force-sensitive input
EP2561424B1 (en) * 2010-04-23 2019-02-20 Immersion Corporation Systems and methods for providing haptic effects
JP2011242386A (ja) * 2010-04-23 2011-12-01 Immersion Corp 接触センサと触覚アクチュエータとの透明複合圧電材結合体
US8462106B2 (en) * 2010-11-09 2013-06-11 Research In Motion Limited Image magnification based on display flexing
KR20120059823A (ko) * 2010-12-01 2012-06-11 삼성전자주식회사 객체 제어 장치 및 방법
US20120169609A1 (en) * 2010-12-29 2012-07-05 Nokia Corporation Methods and apparatuses for facilitating content navigation
US8587539B2 (en) * 2011-01-21 2013-11-19 Blackberry Limited Multi-bend display activation adaptation
US20120260220A1 (en) * 2011-04-06 2012-10-11 Research In Motion Limited Portable electronic device having gesture recognition and a method for controlling the same
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US10684765B2 (en) * 2011-06-17 2020-06-16 Nokia Technologies Oy Causing transmission of a message
US20130009882A1 (en) * 2011-07-07 2013-01-10 Nokia Corporation Methods and apparatuses for providing haptic feedback
US9007300B2 (en) * 2011-10-14 2015-04-14 Blackberry Limited Method and system to control a process with bend movements
US20130100011A1 (en) * 2011-10-21 2013-04-25 Industrial Technology Research Institute Human-machine interface device
US8669956B2 (en) * 2011-12-30 2014-03-11 Lg Electronics Inc. Bending threshold and release for a flexible display device
US8610663B2 (en) * 2012-02-06 2013-12-17 Lg Electronics Inc. Portable device and method for controlling the same
US8854335B2 (en) * 2012-03-22 2014-10-07 Eminent Electronic Technology Corp. Ltd. Electronic apparatus having touch sensing ability and non-touch sensing ability and control method thereof
WO2013169854A2 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
JP2014067291A (ja) * 2012-09-26 2014-04-17 Toshiba Corp 情報処理装置、入力装置及び情報処理方法
KR20140044237A (ko) * 2012-10-04 2014-04-14 삼성전자주식회사 플렉서블 장치 및 그의 제어 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150032475A (ko) * 2013-09-18 2015-03-26 임머숀 코퍼레이션 배향 조정 가능 멀티-채널 햅틱 장치
KR20150060279A (ko) * 2013-11-26 2015-06-03 엘지디스플레이 주식회사 터치 및 제스쳐 센싱 시스템과 그 구동 방법
KR20160127282A (ko) * 2015-04-24 2016-11-03 삼성디스플레이 주식회사 가요성 디스플레이의 햅틱 구동 방법 및 장치
KR20160141895A (ko) * 2015-06-01 2016-12-12 삼성디스플레이 주식회사 표시장치

Also Published As

Publication number Publication date
CN108459721A (zh) 2018-08-28
JP6442132B2 (ja) 2018-12-19
EP2626775A3 (en) 2013-09-04
US9411423B2 (en) 2016-08-09
JP2019050040A (ja) 2019-03-28
US10133401B2 (en) 2018-11-20
US20160334924A1 (en) 2016-11-17
CN103246472A (zh) 2013-08-14
US20130201115A1 (en) 2013-08-08
EP2626775A2 (en) 2013-08-14
JP2013178759A (ja) 2013-09-09
US20190064996A1 (en) 2019-02-28
CN103246472B (zh) 2018-05-08

Similar Documents

Publication Publication Date Title
US10133401B2 (en) Method and apparatus for haptic flex gesturing
US9606625B2 (en) Haptically-enabled deformable device with rigid component
US10048758B2 (en) Haptic feedback for interactions with foldable-bendable displays
JP6431126B2 (ja) モバイルデバイス上での共有されたフィードバックのための双方向性モデル
US9639158B2 (en) Systems and methods for generating friction and vibrotactile effects
JP6545955B2 (ja) ストレッチ特性を組み込んだ触覚デバイス
US9715278B2 (en) User interface device provided with surface haptic sensations
KR20180041049A (ko) 상황 압력 감지 햅틱 응답

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application