KR20160003031A - 햅틱 셀들의 어레이를 이용한 유형의 사용자 인터페이스 상호작용들 및 제스처들의 시뮬레이션 - Google Patents

햅틱 셀들의 어레이를 이용한 유형의 사용자 인터페이스 상호작용들 및 제스처들의 시뮬레이션 Download PDF

Info

Publication number
KR20160003031A
KR20160003031A KR1020157033334A KR20157033334A KR20160003031A KR 20160003031 A KR20160003031 A KR 20160003031A KR 1020157033334 A KR1020157033334 A KR 1020157033334A KR 20157033334 A KR20157033334 A KR 20157033334A KR 20160003031 A KR20160003031 A KR 20160003031A
Authority
KR
South Korea
Prior art keywords
haptic
user interface
user
control signal
cells
Prior art date
Application number
KR1020157033334A
Other languages
English (en)
Inventor
알리 모다레스
후안 마누엘 크루즈-에르난데스
대니 에이. 그랜트
빈센트 레베스크
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20160003031A publication Critical patent/KR20160003031A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Telephone Function (AREA)

Abstract

사용자 인터페이스 장치는, 사용자에 의한 터치를 수신하도록 구성된 터치 표면을 포함하는 플렉서블 층; 상기 플렉서블 층에 의해 커버된 복수의 햅틱 셀들 - 상기 각각의 햅틱 셀은 햅틱 출력 장치를 포함함 -; 사용자가 터치 표면을 터치할 때 상기 플렉서블 층의 변형의 양 및/또는 비율을 감지하도록 구성된 센서; 및 상기 센서로부터 출력 신호를 수신하고, 상기 센서로부터의 상기 출력 신호를 기반으로 햅틱 제어 신호를 생성하고, 상기 햅틱 제어 신호를 상기 복수의 햅틱 셀들의 적어도 하나의 햅틱 출력 장치에 출력하여, 상기 햅틱 출력 장치가 상기 플렉서블 층의 상기 감지된 변형에 응답하여 연관된 햅틱 셀을 변형시키게 하도록 구성된 프로세서를 포함한다.

Description

햅틱 셀들의 어레이를 이용한 유형의 사용자 인터페이스 상호작용들 및 제스처들의 시뮬레이션{SIMULATION OF TANGIBLE USER INTERFACE INTERACTIONS AND GESTURES USING ARRAY OF HAPTIC CELLS}
[관련 출원에 대한 상호 참조]
본 출원은 2013년 4월 26일에 출원된 미국 가특허 출원 일련 번호 제61/816,605호의 우선권을 주장하며, 그 전체 콘텐츠는 참조로서 본 명세서에 포함된다.
본 발명은 햅틱 셀들의 어레이를 이용한 유형의 사용자 인터페이스 상호작용들 및 제스처들의 시뮬레이션에 관한 것이다.
터치스크린들의 형태의 현재 사용자 인터페이스들은 오디오, 비디오, 그리고 일부 경우에서는 진동촉각 햅틱들을 사용하여, 디지털 정보를 사용자에게 디스플레이한다. 터치스크린들의 현재 구현들은 또한 일반적으로 상호작용을 위한 특정한 시각적 주의를 필요로 한다. 유형의(즉, 물리적) 사용자 인터페이스 요소들이 드라이빙과 같은, 특히 시각적으로 사용되는 시나리오들에서, 사용자 인터페이스 상호작용들을 용이하게 할 수 있을지라도, 디지털 장치들에서 현재 구현되는 사용자 인터페이스 상호작용들과 제스처들은 물리적이고 사실적 양태들에서는 일반적으로 부족하다.
터치스크린의 인식된 해상도를 증가시키고 그와 같은 터치스크린들에 의해 전달될 수 있는 햅틱 정보의 폭과 깊이를 확대한 것과 같이, 촉각 활성화 터치스크린들의 응용 범위를 증가시키는 것은 바람직하다. 유형 및 효율적인 상호작용들/인터페이스들을 생성하고, 사용자 경험을 개선하기 위해 사용자 인터페이스 요소들의 물리적 시뮬레이션을 통하여 사용자 인터페이스 상호작용들과 제스처들의 충실도와 사실성을 개선하는 것이 또한 바람직하다.
본 발명의 한 양태에 따르면, 사용자에 의한 터치를 수신하도록 구성된 터치 표면을 포함하는 플렉서블 층, 상기 플렉서블 층에 의해 커버된 복수의 햅틱 셀들 - 각각의 햅틱 셀은 햅틱 출력 장치를 포함함 -, 사용자가 터치 표면을 터치할 때 상기 플렉서블 층의 변형의 양 및/또는 비율을 감지하도록 구성된 센서, 및 상기 센서로부터 출력 신호를 수신하고, 상기 센서로부터의 출력 신호를 기반으로 햅틱 제어 신호를 생성하고, 상기 햅틱 제어 신호를 상기 복수의 햅틱 셀들의 적어도 하나의 햅틱 출력 장치에 출력하여, 상기 햅틱 출력 장치가 상기 플렉서블 층의 감지된 변형에 응답하여 연관된 햅틱 셀을 변형시키게 하도록 구성된 프로세서를 포함하는 사용자 인터페이스 장치가 제공된다.
한 실시 형태에서, 상기 프로세서는 집합적으로 햅틱 효과를 생성하기 위해 서로에 근접하여 위치한 복수의 햅틱 출력 장치들에 복수의 햅틱 제어 신호들을 출력하도록 구성된다.
한 실시 형태에서, 상기 햅틱 효과는 버튼 또는 조이스틱을 시뮬레이션한다.
한 실시 형태에서, 상기 복수의 햅틱 출력 장치들 중 최소한 2개는 그들의 연관된 햅틱 셀들의 상이한 양들의 변형들을 만들어, 상기 햅틱 효과를 만든다.
한 실시 형태에서, 상기 프로세서는 상기 센서로부터의 출력 신호를 기반으로 복수의 햅틱 제어 신호들을 생성하고 상기 햅틱 제어 신호들을 순차적으로 복수의 햅틱 출력 장치들에 출력하여, 햅틱 효과를 만들도록 구성된다.
한 실시 형태에서, 상기 햅틱 효과는 웨이브 또는 리플을 시뮬레이션한다. 한 실시 형태에서, 상기 햅틱 효과는 조이스틱 또는 슬라이더의 움직임을 시뮬레이션한다.
한 실시 형태에서, 상기 프로세서는 상기 햅틱 제어 신호와는 다른 제2 햅틱 제어 신호를 생성하고 상기 제2 햅틱 제어 신호를 상기 햅틱 출력 장치에 출력하여, 상기 햅틱 출력 장치가 진동촉각 햅틱 효과를 출력하게 하도록 구성된다.
한 실시 형태에서, 상기 사용자 인터페이스 장치는 상기 터치 표면에서 사용자에게 상기 햅틱 셀에 의해 보여지는 저항을 감지하도록 구성된 압력 센서를 더 포함한다. 한 실시 형태에서, 상기 프로세서는 상기 햅틱 셀에 의해 보여지는 감지된 저항을 기반으로 상기 햅틱 제어 신호를 변경하도록 구성된다.
본 발명의 한 양태에 따르면, 사용자 인터페이스 장치의 플렉서블 층의 변위의 양 및/또는 비율을 감지하고, 프로세서를 이용하여 상기 플렉서블 층의 감지된 변위의 양 및/또는 비율을 기반으로 햅틱 제어 신호를 생성하고, 상기 햅틱 제어 신호를 기반으로 햅틱 출력 장치를 이용하여 햅틱 셀을 변형시키는 단계를 포함하는 방법이 제공된다.
한 실시 형태에서, 상기 방법은 복수의 햅틱 제어 신호들을 생성하고 상기 복수의 햅틱 제어 신호들을 기반으로 복수의 햅틱 출력 장치들을 이용하여 서로에 근접하여 위치한 복수의 햅틱 셀들을 변형시켜, 집합적으로 햅틱 효과를 생성하는 단계를 포함한다. 한 실시 형태에서, 상기 햅틱 셀들 중 최소한 2개는 상이한 양들만큼 변형되어 햅틱 효과를 만든다.
한 실시 형태에서, 상기 방법은 복수의 햅틱 제어 신호들을 생성하고 상기 복수의 햅틱 제어 신호들을 기반으로 복수의 햅틱 출력 장치들을 이용하여 서로에 근접하여 위치한 복수의 햅틱 셀들을 순차적으로 변형시켜, 집합적으로 햅틱 효과를 생성하는 단계를 포함한다.
한 실시 형태에서, 상기 방법은 햅틱 제어 신호와는 다른 제2 햅틱 제어 신호를 생성하고 햅틱 출력 장치를 이용하여 진동촉각 햅틱 효과를 생성하는 단계를 포함한다.
한 실시 형태에서, 상기 방법은 사용자 인터페이스 장치의 사용자에게 햅틱 셀에 의해 보여지는 저항을 감지하는 단계를 포함한다. 한 실시 형태에서, 상기 방법은 햅틱 셀에 의해 보여지는 감지된 저항을 기반으로 햅틱 제어 신호를 변경하는 단계를 포함한다.
본 발명의 이러한 및 다른 양태들, 특징들 및 특성들뿐만 아니라 구조의 관련 요소들의 동작 방법들과 기능들, 및 부품들의 조합과 제조의 경제성은, 첨부 도면과 관련하여 다음의 설명 및 첨부된 청구항들을 고려할 때 더 명백해질 것이며, 이들 모두는 이 명세서의 일부를 형성한다. 그러나, 도면들이 단지 예시 및 설명의 목적을 위한 것이며, 발명의 제한들의 정의로서 의도되지는 않는다는 점이 명백하게 이해되어야 한다. 본 명세서 및 청구항들에서 사용된 바와 같이, 단수 형태의 "a", "an", 및 "the"는 문맥이 명백히 달리 지시하지 않는 한 복수의 지시 대상물들을 포함한다.
다음의 도면들의 컴포넌트들은 본 개시 내용의 일반적인 원리들을 강조하도록 예시되며, 반드시 축척에 맞게 도시되지는 않는다. 대응하는 컴포넌트들을 지정하는 참조 부호들은 일관성 및 명료성을 위해 도면들 전반에 걸쳐 필요한 경우 반복된다.
도 1은 본 발명의 실시 형태들에 따른 시스템의 개략도이고;
도 2는 사용자 인터페이스의 형태의 도 1의 시스템의 실시 형태의 개략적인 분해도이고;
도 3은 도 2의 사용자 인터페이스의 개략 평면도이고;
도 4a는 제1 상태에서 도 2의 사용자 인터페이스의 햅틱 셀의 개략 측면도이고;
도 4b는 제2의 변형된 상태에서 도 4a의 사용자 인터페이스의 햅틱 셀의 개략 측면도이고;
도 5는 도 1의 시스템의 프로세서의 실시 형태이고;
도 6은 도 2의 사용자 인터페이스 장치의 햅틱 셀의 실시 형태의 개략 측면도이고;
도 7은 도 4a의 햅틱 셀의 햅틱 출력 장치를 구동하기 위한 2개의 상이한 햅틱 제어 신호들에 대한 시간의 함수로서의 전압을 나타내는 도면이고;
도 8은 도 4a의 햅틱 셀의 햅틱 출력 장치를 구동하기 위한 단일 햅틱 제어 신호에 대한 시간의 함수로서의 전압을 나타내는 도면이다.
도 1은 발명의 실시 형태에 따른 시스템(100)의 개략적 예시이다. 예시된 바와 같이, 시스템(100)은 프로세서(110), 메모리 장치(120), 및 입력/출력 장치들(130)을 포함하고, 이들은 버스(140)를 통해 상호 접속된다. 한 실시 형태에서, 입력/출력 장치들(130)은 터치스크린 장치(150), 햅틱 출력 장치(160) 및/또는 시스템(100)의 사용자로부터의 입력을 수신하는 다른 입력 장치들, 및 시스템(100)의 사용자들에게 정보를 출력하는 출력 장치들을 포함할 수 있다. 한 실시 형태에서, 시스템(100)은 단일 통합 장치에서 도 1에 설명된 모든 컴포넌트들을 포함하는 터치 모바일 또는 태블릿 장치의 형태의 사용자 인터페이스 장치일 수 있다.
터치스크린 장치(150)는 임의의 적절한 사용자 인터페이스 또는 터치/접촉 표면 어셈블리로서 구성될 수 있고, 스타일러스, 손가락, 등과 같은 사용자 제어 장치와의 물리적 상호작용을 위해 구성될 수 있다. 일부 실시 형태들에서, 터치스크린 장치(150)는 적어도 하나의 출력 장치 및 적어도 하나의 입력 장치를 포함할 수 있다. 예를 들어, 터치스크린 장치(150)는, 예를 들어 이미지들을 디스플레이하도록 구성된 시각적 디스플레이(152), 및 사용자의 손가락 또는 사용자에 의해 제어되는 스타일러스로부터 입력들을 수신하기 위해 그 위에 겹쳐지는 적어도 하나의 센서(154)를 포함하는 터치 감지 스크린을 포함할 수 있다. 시각적 디스플레이(152)는 고해상도 디스플레이 스크린을 포함할 수 있다.
센서(154)는 사용자와 터치스크린 장치(150) 사이의 상호작용들 동안의 변형 크기를 측정하기 위한 스트레인 게이지 센서, 터치스크린 장치(150)에 가해진 힘/스트레스를 측정하기 위한 힘 감지 저항기("FSR") 센서, 사용자의 단일 또는 다중 터치 상호작용들에서 터치 입력(들)의 위치를 탐지하기 위한 멀티 터치 터치센서, 및/또는 각각의 터치 위치 아래에 가해진 압력을 측정하기 위한 멀티 터치 압력 센서를 포함할 수 있다. 일부 실시 형태들에서, 센서(154)는 환경 조건들을 캡처하기 위한 온도 또는 습도 또는 대기압 센서, 장치의 모션, 속도, 가속도 및/또는 오리엔테이션을 특징짓기 위한 가속도계 또는 자이로스코프 또는 자력계, 또는 사용자의 음성 명령 또는 환경적 오디오 정보를 캡처하기 위한 마이크로폰을 포함할 수 있다. 또한, 센서(154)는 무선으로 기타 장치들로부터/로 정보를 수신하거나 전송하기 위해 무선 송신기를 포함할 수 있다.
다양한 실시 형태들에서, 햅틱 출력 장치(160)는 사용자가 시스템(100)의 적어도 일부분과 접촉하는 동안 시스템(100)의 사용자에게 햅틱 피드백을 제공하도록 구성된다. 예를 들어, 햅틱 출력 장치(160)는 사용자가 터치스크린 장치(150)와 접촉할 때 햅틱 효과를 부여하기 위해 터치스크린 장치(150) 자체에 및/또는 적어도 입력/출력 장치들(130)을 포함하는 하우징과 같은 시스템(100)의 또 다른 부분에 햅틱 피드백을 제공할 수 있다. 하기에 더 상세하게 논의되는 바와 같이, 햅틱 효과들은 시스템(100)과 상호작용할 때 사용자 경험을 향상시키기 위해 사용될 수 있다.
햅틱 출력 장치(160)에 의해 제공된 햅틱 피드백은 변형(deformation), 운동 감각(kinesthetic sensation), 진동(vibration), 정전기 또는 초음파 마찰(ultrasonic friction) 등과 같은 햅틱 효과들을 생성하는 임의의 방법들을 이용하여 생성될 수 있다. 한 실시 형태에서, 햅틱 출력 장치(160)는 정전기적 마찰(electrostatic friction)("ESF"), 초음파 표면 마찰(ultrasonic surface friction)("USF")을 이용하는 것들, 또는 초음파 햅틱 트랜스듀서(ultrasonic haptic transducer)를 이용하여 음향 복사 압력(acoustic radiation pressure)을 유도하는 것들, 또는 햅틱 기판 및 플렉서블 또는 변형가능 표면을 이용하는 것들, 또는 에어 제트를 사용하여 공기 내뿜음(puff)과 같은 발사된(projected) 햅틱 출력을 제공하는 것들, 등등과 같은 비 기계식 또는 비 진동식 장치들을 포함할 수 있다. 햅틱 출력 장치(160)는 액추에이터, 예를 들어, 편심 질량체(eccentric mass)가 모터에 의해 이동되는 편심 회전 질량체(Eccentric Rotating Mass)("ERM"), 스프링에 부착된 질량체가 전후로 구동되는 선형 공진 액추에이터(Linear Resonant Actuator)("LRA")와 같은 전자기 액추에이터, 또는 압전 물질, 전기 활성 중합체 또는 형상 기억 합금과 같은 "스마트 물질(smart material)", 매크로 복합 섬유(macro-composite fiber)("MCF") 액추에이터, 정전기 액추에이터, 전기촉각 액추에이터, 및/또는 진동촉각(vibrotactile) 피드백과 같은 물리적 피드백을 제공하는 또 다른 타입의 액추에이터를 포함할 수 있다. 다수의 햅틱 출력 장치(160)들은 상이한 햅틱 효과들을 생성하는데 사용될 수 있다.
프로세서(110)는 시스템(100)의 동작들 및 기능들을 관리 또는 제어하기 위한 범용 또는 특수-목적 프로세서 또는 마이크로컨트롤러일 수 있다. 예를 들어, 프로세서(110)는 햅틱 효과들을 제공하기 위해 햅틱 출력 장치(160)에의 출력 신호들을 제어하기 위한 주문형 집적 회로("ASIC")로서 특정하게 설계될 수 있다. 프로세서(110)는, 미리 정의된 인자들에 기초하여, 어떤 햅틱 효과들이 프로세서(110)에 의해 수신되거나 결정된 햅틱 제어 신호에 기초하여 생성될지, 햅틱 효과들이 생성되는 순서, 및 햅틱 효과들의 크기, 주파수, 지속기간, 및/또는 다른 파라미터들을 결정하도록 구성될 수 있다. 프로세서(110)는 또한 특별한 햅틱 효과를 제공하기 위한 햅틱 출력 장치(160)를 구동하는데 사용될 수 있는 스트리밍 명령들을 제공하도록 구성될 수 있다. 일부 실시 형태들에서, 프로세서(110)는 실제로 복수의 프로세서들을 포함할 수 있으며, 이들 각각은 시스템(100) 내에서 특정 기능들을 수행하도록 구성된다. 프로세서(110)는 하기에서 더 상세히 설명된다.
메모리 장치(120)는 하나 이상의 내부에 고정된 저장 유닛들, 착탈식 저장 유닛들, 및/또는 원격으로 액세스가능한 저장 유닛들을 포함할 수 있다. 다양한 저장 유닛들은 휘발성 메모리와 비휘발성 메모리의 임의의 조합을 포함할 수 있다. 저장 유닛들은 정보, 데이터, 명령어들, 소프트웨어 코드 등의 임의의 조합을 저장하도록 구성될 수 있다. 특히, 저장 유닛들은 햅틱 효과 프로필들, 햅틱 출력 장치(160)를 어떻게 구동시킬지에 대한 명령어들, 또는 햅틱 효과들을 발생하기 위한 다른 정보를 포함할 수 있다.
도 2는 사용자 인터페이스 장치(200)의 형태의 도 1의 시스템(100)의 실시 형태를 도시한다. 도시된 바와 같이, 사용자 인터페이스 장치(200)는 터치스크린 장치(210), 디스플레이(220) 및 하우징(230)을 포함한다. 한 실시 형태에서, 터치스크린 장치(210)는 디스플레이(220)에 의해 출력된 이미지들이 터치스크린 장치(230)를 통하여 보일 수 있도록 본질적으로 투명한 물질들로 만들어질 수 있다. 디스플레이(220)는 음극선관("CRT"), 액정 디스플레이("LCD"), 발광 다이오드("LED") 디스플레이, 플라즈마 디스플레이, 평판 디스플레이, 플렉서블 디스플레이 또는 그와 유사한 것과 같은 임의의 타입의 디스플레이일 수 있다. 터치스크린 장치(210)와 디스플레이(220)는 하우징(230) 내에 함께 설치될 수 있다. 한 실시 형태에서, 터치스크린 장치(210)와 디스플레이(220)는 동일한 유닛 또는 장치에 통합될 수 있다. 한 실시 형태에서, 사용자 인터페이스 장치(200)는 디스플레이(220)를 포함하지 않을 수 있다. 한 실시 형태에서, 사용자 인터페이스 장치(200)는 플렉서블하거나 예를 들어 영구히 적합하게 된, 벤더블, 폴더블, 또는 롤러블할 수 있다.
한 실시 형태에서, 터치스크린 장치(210)는 어레이 또는 그리드 내에 배열된 플렉서블 층(402)(도 4a에 도시)과 복수의 햅틱 셀들(212)을 포함한다. 햅틱 셀들(212)은 터치스크린 장치(210)의 개략 평면도를 보여주는 도 3에 도시된 바와 같이, 테두리들(214)에 의해 분리될 수 있다. 한 실시 형태에서, 햅틱 셀들(212)은 테두리들에 의해 분리되지 않고 그 대신 서로에 대하여 인접할 수 있다. 각각의 햅틱 셀들(212)은 다른 햅틱 셀들(212)과 관계없는 입력에 응답하여 햅틱 효과를 제공하도록 구성된다. 예를 들어, 다접점들이 동시에 본질적으로 터치스크린 장치(210) 위에 눌려질 때, 햅틱 셀들(212)은 다접점들에 응답하여 다수의 햅틱 효과들을 생성하도록 구성될 수 있다. 다접점들은 하나의 손가락 또는 복수의 손가락들에 의해 만들어질 수 있다. 각각의 햅틱 셀들(212)의 치수 또는 사이즈는 5mm x 5mm보다 작거나 4mm x 4mm보다 작거나 3mm x 3mm보다 작거나 2mm x 2mm보다 작거나 1mm x 1mm보다 작게 되도록 구성될 수 있다.
도 4a는 햅틱 셀들(212) 중 하나의 실시 형태의 개략 측면도를 도시한다. 햅틱 셀(212)은 햅틱 출력 장치(410), 그리고 위에서 설명된 전력원과 프로세서(110)에 햅틱 출력 장치(410)를 연결한 전기적 커넥터들(411)을 포함한다. 설명된 바와 같이, 플렉서블 층(402)은 장치의 사용자로부터 입력들을 수신하고 햅틱 출력 장치(410)를 덮어씌우도록 구성된 터치 표면(403)을 갖는다. 한 실시 형태에서, 플렉서블 층(402)은 햅틱 셀들(212)의 전체 어레이를 덮어씌울 수 있다. 한 실시 형태에서, 각각의 햅틱 셀(212)은 인접한 햅틱 셀들(212)의 플렉서블 층들(402)로부터 분리되는 플렉서블 층(402)을 포함할 수 있다. 한 실시 형태에서, 위에서 설명된 센서들(154) 중 적어도 하나는 센서(154)가 사용자에 의해 터치 표면(403)에서 터치 입력을 탐지할 수 있도록 플렉서블 층(402) 내에 내장 또는 그렇지 않으면 그에 결합될 수 있다.
햅틱 출력 장치(410)는 전력원, 예를 들어, 도 1의 햅틱 출력 장치(160)에 관하여 위에서 설명된 임의의 장치들에 의해 충전될 때 플렉서블 층(402)의 변형의 원인이 될 수 있는 임의의 타입의 햅틱 출력 장치를 포함할 수 있다. 예를 들어, 햅틱 출력 장치는 마이크로-유체 디스플레이, 압전 물질 또는 압전 복합 물질, 전기 활성 중합체("EAP"), 형상 기억 합금, 미세 전자-기계 시스템("MEMS") 장치를 포함할 수 있으며, 이는 MEMS 펌프, 스마트 겔들, 전기/자기 유변 유체들, 열 유체 포켓, 공진 장치, 가변 다공성 멤브레인, 층류 변조 장치, 및/또는 전자기 액추에이터를 포함할 수 있다.
하기에 더 상세히 설명된 바와 같이, 프로세서(110)가 햅틱 제어 신호를 햅틱 출력 장치(410)에 출력하면, 햅틱 출력 장치(410)와 그에 따라 햅틱 셀(212)의 형상은 도 4b에 도시된 바와 같이, 변형될 수 있다. 햅틱 셀들(212)의 어레이는 모바일과 태블릿 장치들의 터치스크린에 통합될 수 있으며, 각각의 햅틱 셀(212)은 쿼지-정적 변형에서부터 고주파 진동까지, 광범위한 주파수들에 걸쳐 햅틱 효과들을 디스플레이(즉, 출력)하도록 구성된다. 하기에 더 상세히 설명된 바와 같이, 햅틱 셀들(212)의 기계적 어셈블리 구성 및 배치는 인접한 햅틱 셀들의 힘 및 변위를 축적하여, 프로그램가능한 부드러운 완화된(돌출) 또는 리세스(오목) 피처들, 즉 자유 형식 변형을 생성하게 할 수 있다.
도 5는 더 상세히 상술된 프로세서(110)의 실시 형태를 도시한다. 프로세서(110)는 하나 이상의 컴퓨터 프로그램 모듈들을 실행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램 모듈들은 센서 모듈(112), 결정 모듈(114), 햅틱 출력 장치 제어 모듈(116), 및/또는 다른 모듈들 중 하나 이상을 포함할 수 있다. 프로세서(110)는 메모리 장치(120)와 동일하거나 메모리 장치(120) 이외의 것일 수 있는 전자 저장소(118)를 또한 포함할 수 있다. 프로세서(110)는 소프트웨어, 하드웨어, 펌웨어, 소프트웨어, 하드웨어 및/또는 펌웨어의 일부 조합, 및/또는 프로세서(110) 상의 처리 능력들을 구성하기 위한 다른 메커니즘들에 의해 모듈들(112, 114 및/또는 116)을 실행하도록 구성될 수 있다.
모듈들(112, 114 및 116)이 단일 처리 유닛 내에 공존하는 것으로서 도 2에 도시되어 있지만, 프로세서(110)가 다수의 처리 유닛을 포함하는 실시 형태들에서는, 모듈들(112, 114 및/또는 116) 중 하나 이상이 다른 모듈들로부터 원격으로 위치할 수 있다는 것을 알 수 있어야 한다. 후술되는 상이한 모듈들(112, 114 및/또는 116)에 의해 제공된 기능의 설명은 예시를 위한 것이며, 제한하는 것으로 의도되지는 않는데, 그 이유는 모듈들(112, 114 및/또는 116) 중 임의의 것이 설명된 것보다 더 많거나 더 적은 기능을 제공할 수 있기 때문이다. 예를 들어, 모듈들(112, 114 및/또는 116) 중 하나 이상이 제거될 수 있으며, 그 기능의 일부 또는 전부는 모듈들(112, 114 및/또는 116) 중 다른 것들에 의해 제공될 수 있다. 다른 예로서, 프로세서(110)는 아래에서 모듈들(112, 114 및/또는 116) 중 하나에 귀속된 기능의 일부 또는 전부를 수행할 수 있는 하나 이상의 부가적인 모듈을 실행하도록 구성될 수 있다.
센서 모듈(112)은 센서(154)가 시스템(100) 또는 사용자 인터페이스 장치(200)의 사용자로부터의 입력을 검출할 때 생성되는 센서(154)로부터의 입력 신호를 수신하도록 구성된다. 다수의 센서들이 존재하는 실시 형태들에서, 센서 모듈(112)은 다수의 센서들로부터의 입력 신호들을 수신하고 처리하도록 구성된다. 센서 모듈(112)은 입력 신호의 강도를 의도적 입력에 대응하는 미리 결정된 임계 강도와 비교함으로써 감지된 입력이 터치스크린 장치(150, 210)에 대해 의도적 입력인지 또는 단순히 우연한 터치인지를 결정하도록 구성될 수 있다. 센서 모듈(112)은 추가 처리를 위해 신호를 결정 모듈(114)로 송신하도록 또한 구성된다.
결정 모듈(114)은 센서(154)에 입력을 제공할 때 사용자에 의해 무엇이 의도되었는지를 결정하도록 구성된다. 예를 들어, 사용자는 터치스크린(150, 210)의 특정 위치를 터치하거나 또는 특정 기능이 시스템(100)에 의해 실행될 것을 나타내는 특정 제스처를 터치스크린 장치(150, 210)에 제공할 수 있다. 결정 모듈(114)은, 사용자가 터치스크린 장치(150, 210) 상의 특정 위치를 터치하거나 터치스크린 장치(150, 210)에 제스처를 제공할 때 결정 모듈(114)이 대응하는 출력을 결정할 수 있도록, 미리 결정된 제스처들 및 터치스크린 장치(150, 210) 상의 터치 위치들의 라이브러리로 프로그래밍될 수 있다. 또한, 결정 모듈(114)은 하기 설명된 발명의 실시 형태들에 따른 햅틱 효과가 사용자에게 제공될 수 있도록 햅틱 출력 장치 제어 모듈(116)에 신호를 또한 출력할 수 있다.
햅틱 출력 장치 제어 모듈(116)은 결정 모듈(114)로부터 출력 신호를 수신하고 결정 모듈(114)에 의해 생성된 신호에 기초하여, 햅틱 출력 장치(160)에 의해 생성될 햅틱 효과를 결정하도록 구성된다. 하기에 더 상세하게 논의되어 있는 바와 같이, 햅틱 효과의 결정은 예를 들어, 제어 버튼과 같은 유형의 사용자 인터페이스 요소를 증강시킬 햅틱 효과의 진폭, 주파수, 지속 시간 등과 같은 햅틱 효과의 하나 이상의 파라미터들 및 햅틱 효과의 타입을 결정하는 것을 포함할 수 있다.
한 실시 형태에서, 사용자 인터페이스(200)는 그것의 일부가 도 6에 설명된 임피던스 디스플레이(600)를 포함할 수 있으며, 이는 터치스크린 장치(210)의 디스플레이(220)에 의해 디스플레이되는 가상 환경들에서 객체 또는 매체의 기계적 임피던스/강성을 시뮬레이션하기 위해 햅틱 셀들(212)의 어레이의 압력 감지, 변형/변위 감지, 변형 비율/변위 비율, 및/또는 변형 디스플레이 기능들의 조합을 사용한다. 한 실시 형태에서, 임피던스는 하기에 더 상세히 설명된 바와 같이, 위치 피드백으로 루프를 닫는 힘 제어 스킴들을 통하여 제공될 수 있다. 그러한 실시 형태의 구현들은 게임 애플리케이션들, 증강 현실 애플리케이션들, 의학 애플리케이션들, 핸드셰이크 통신, 등에서 하드 대 소프트 객체 상호작용들을 디스플레이할 수 있는 능력을 제공한다.
변형에 대하여 디스플레이된 저항의 관점에서, 대부분의 물리적 객체들의 기계적 특성들은 강성(k) 및 댐핑(λ) 파라미터들을 이용하여 특징지어질 수 있다. 예를 들어, 본 발명의 한 실시 형태에서, 사용자의 손가락의 상호작용은 시간의 각 순간에서, 발생된 플렉서블 층(402)의 변형량("x"로 표현)과 변형률("v"로 표현)의 관점에서 설명될 수 있다. 이 실시 형태에서, 변형량(x) 및/또는 변형률(v)은 플렉서블 층(402) 내에 내장 또는 그렇지 않으면 그에 결합될 수 있는 스트레인 게이지, 등과 같은, 변위 센서(602)에 의해 측정될 수 있다. 사용자에게 보여지는 저항("Fr"로 표현)은 플렉서블 층(402) 내에 내장 또는 그렇지 않으면 그에 결합될 수 있는 압력 센서(604)를 이용하여 측정될 수 있다. 특정 물질을 시뮬레이션하기 위해, 사용자의 움직임에 대하여 디스플레이된 바람직한 저항("F"로 표현)은 다음 수학식 1을 따라야 한다:
Figure pct00001
이 실시 형태에서, 프로세서(110)는 사용자에게 디스플레이된 저항(Fr)이 수학식 1에 따라서 사용자의 움직임에 대하여 디스플레이된 바람직한 저항 (F)과 사실상 동일하도록 프로그램될 수 있다. 예를 들어, F의 값이 Fr의 값 이하이면, 프로세서(110)는 F=Fr이 될 때까지, 예를 들어, 더 높은 전압을 햅틱 출력 장치(410)에 인가함으로써 플렉서블 층(402)의 저항을 증가시키기 위해 햅틱 출력 장치(410)에 햅틱 출력 장치 제어 모듈(116)을 통해 햅틱 제어 신호를 출력할 수 있다. 유사하게, F의 값이 Fr의 값보다 더 크면, 프로세서(110)는 F=Fr이 될 때까지, 예를 들어, 더 낮은 전압을 햅틱 출력 장치(410)에 인가함으로써 플렉서블 층의 저항을 감소시키기 위해 햅틱 출력 장치(410)에 햅틱 제어 신호를 출력할 수 있다. 압력 센서에 의한 Fr과 변위 센서에 의한 변위량(x) 및/또는 변위율(v)의 상수 측정뿐만 아니라, F의 값의 계산은 프로세서(110)의 결정 모듈(114)에 의해 실행된 닫힌 제어 루프에서 완료될 수 있다. 한 실시 형태에서, k와 λ의 값들은 일정할 수 있고 원하는 촉감의 저항에 근거할 수 있다. 한 실시 형태에서, k와 λ의 값들은 시간의 각 순간에 변형량(x) 및/또는 변형률(v)의 함수일 수 있다.
예를 들어, 한 실시 형태에서, 디스플레이(220)가 꿀의 이미지를 보여주고 있다면 꿀의 촉감을 시뮬레이션하는 것이 바람직할 수 있다. 꿀의 점탄 특성들 때문에, 변형의 비율이 상대적으로 높으면 더 높은 양의 저항을, 그리고 변형의 비율이 상대적으로 낮으면 더 낮은 양의 저항을 출력하는 것이 바람직하며, 이는 그/그녀가 꿀에 대고 압박하고 있었던 것처럼 사용자에게 촉감을 주게 된다. 프로세서(110)는 좀 더 현실적 효과가 사용자에 의해 경험될 수 있도록 변형 비율(v)의 함수로서의 강성(k) 및 댐핑(λ) 계수들로 프로그램될 수 있다. 또 다른 예로서, 프로세서(110)는 터치 표면(403)에 대하여 사용자가 가압할 때 디스플레이(220)에 의해 디스플레이되는 객체의 물리적 상태의 변화를 시뮬레이션하도록 프로그램될 수 있다. 예를 들어, 디스플레이되는 항목이 취성인 경우, 사용자가 터치 표면(403)에 대고 압박하기 시작하면, 사용자에게 보여지는 저항은 단단한 객체를 시뮬레이션하기 위해 상대적으로 높을 수 있지만, 객체가 "부서지면", 저항은 객체의 부서짐을 시뮬레이션하기 위해 급격하게 감소될 수 있다.
한 실시 형태에서, 플렉서블 층(402)의 터치 표면(403)은 도 4b에 도시된 바와 같이, 터치 표면(403)으로부터 드러나는 버튼 또는 조이스틱과 같은, 물리적으로 현실적인 사용자 인터페이스 피처를 시뮬레이션할 수 있다. 사용자는 터치 표면에 접선 방향으로 조이스틱을 움직일 수 있다. 이러한 실시 형태에서, 프로세서(110)는 터치 표면(403)과 평행한 사용자의 모션에 대한 저항력의 형태로 햅틱 출력 장치(410)를 통해 프로그램가능 운동 감각 햅틱들을 디스플레이하는 것으로 프로그램될 수 있다. 위에서 설명된 실시 형태와 유사하게, 미리 결정된 강성(k)과 댐핑(λ)은 조이스틱을 움직이는 것과 연관될 수 있다. 변형량(x) 및/또는 변형률(v)은 내장된 변위 센서(602)를 이용하여 측정될 수 있고, 사용자 대하여 디스플레이된 저항(Fr)은 압력 센서(604)를 이용하여 측정될 수 있다. 사용자에 대하여 디스플레이된 측정된 힘(Fr)이 사용자에 대하여 디스플레이되기 위해, 상기 수학식 1을 이용하여 계산된, 바람직한 힘 F보다 작으면, 프로세서는 예를 들어, F를 Fr과 일치시키기 위해 햅틱 출력 장치(410)에 더 높은 전압을 인가함으로써 저항을 증가시킬 수 있고, 상술한 바와 같이, 그 반대로도 가능하다.
일부 실시 형태들에서, 사용자는 단일 햅틱 셀(212) 바로 위에 있지 않지만, 그 대신에 테두리(214)에서와 같이, 햅틱 셀들(212) 사이에서 있거나, 햅틱 셀들(212)의 사이즈에 따라서, 복수의 햅틱 셀들(212) 위에 있는 위치에서 터치 표면(403)을 터치할 수 있다. 그와 같은 상황들에서, 프로세서(110)는 사용자가 단일 햅틱 셀(212) 바로 위에 있는 감각을 복제하기 위해 적절한 내삽법 기법을 이용할 수 있다. 예를 들어, 사용자의 손가락이 2개의 햅틱 셀들(212) 사이에 위치할 때, 햅틱 렌더링은 사용자가 단일 셀(212) 위에 있는 감각을 복제하기 위해서 양쪽 셀들(212)의 햅틱 출력 장치들(410)을 부분적으로 작동시키는 것으로 이루어질 수 있다. 이러한 실시 형태의 구현들은 인식된 햅틱 해상도가 증가된 것을 사용자에게 제공할 수 있다. 또한, 이러한 실시 형태의 구현들은 예를 들어, 피부 스트레치 효과들, 등을 디스플레이하기 위해, 서브-손가락 레벨에서 사용자 정의 변형 피처 사이즈를 정보 표시하기 위한 셀간 전이 효과들을 가능하게 할 수 있다.
한 실시 형태에서, 프로세서(110)는 움직임 또는 흐름의 느낌이 디스플레이될 수 있고 물리적 웨이브와 유사한 감각이 생성될 수 있도록 순차적으로 인접 햅틱 셀들(212)의 햅틱 출력 장치들(410)을 제어하도록 프로그램될 수 있다. 예를 들어, 사용자가 터치 터치 표면(403)을 터치하고 터치 표면(403)을 가로질러 그의/그녀의 손가락을 슬라이드시키면, 프로세서(110)는 감지된 터치들에 응답하여 햅틱 제어 신호들을 생성할 수 있으므로, 복수의 햅틱 셀들(212)의 햅틱 출력 장치들(410)이 초기 터치에 해당하는 위치로부터 터치의 끝에 해당하는 위치로 순차적으로 작동되어, 사용자가 객체가 터치 표면을 가로질러 연속적으로 이동하는 것처럼 느낄 것이다. 한 실시 형태에서, 웨이브의 형상과 웨이브의 진행 페이스는 터치스크린 장치(210)에 의해 시뮬레이션되고 있는 물질의 특성들의 함수일 수 있다. 한 실시 형태에서, 리플들은 터치의 위치로부터 멀어진 순서로 터치 입력 이동의 위치 주위의 둘레에 다수의 햅틱 출력 장치들(410)을 위치시킴으로써 만들어질 수 있다. 다수의 햅틱 출력 장치들(410)의 그러한 순차적 활성화는 흐름형 모션, 진행파들, 및/또는 리플들을 생성하는데 사용될 수 있으며, 이는 와류 또는 리플 형상을 생성하는 것과 같이, 디스플레이(220)에 회전과 이동 모션을 증강시킬 수 있어, 센터가 이벤트 또는 통지의 소스로서 식별될 수 있게 한다.
한 실시 형태에서, 프로세서(110)는 플렉서블 층(402)이 특정한 위치들에 운동 감각적으로 변형시킬 수 있는 방식으로 중첩된 햅틱 제어 신호들로 햅틱 셀들(212)의 어레이를 제어하도록 구성될 수 있고, 동시에 진동촉각 자극을 제공한다. 예를 들어, 한 실시 형태에서, 프로세서(110)는 운동 감각적 변형을 통해 버튼을 생성하기 위한 적어도 하나의 햅틱 셀(212)의 햅틱 출력 장치(410)에 햅틱 제어 신호를 출력할 수 있고, 그리고 나서 센서가 사용자가 생성된 버튼에 해당하는 플렉서블 층(402)의 위치를 눌렀음을 감지할 때, 프로세서(110)는 또 다른 햅틱 제어 신호를 햅틱 출력 장치(410)에 출력하여 클릭 확인을 진동-촉각 효과를 통해 생성할 수 있다.
한 실시 형태에서, 프로세서(110)에 의해 출력된 햅틱 제어 신호는 상이한 특성을 가진 2개의 컴포넌트들로 구성될 수 있다. 먼저, 도 7에 도시된 바와 같이, 저주파 및 대형 크기 정현파(710)가 생성될 수 있는데, 이는 그 자체로 재생되는 경우 햅틱 셀(212)이 센터에서 상하로 이동할 수 있도록 각각의 햅틱 셀(212)에서 저주파 변형을 만들 수 있다. 그 다음, 고주파 및 낮은 크기 신호(720)가 생성될 수 있는데, 이는 단독으로 재생되는 경우 햅틱 셀(212)에서 고주파 진동들을 야기할 수 있고, 진동촉각 피드백으로서 인식될 수 있다. 햅틱 출력 신호가 도 8에서 신호(810)로서 나타낸, 저주파 및 대형 크기 정현파(710)와 고주파 및 낮은 크기 신호(720)의 조합인 경우, 햅틱 셀(212)은 운동 감각 햅틱 변형과 동시에 진동촉각 햅틱들을 디스플레이할 수 있다.
한 실시 형태에서, 복수의 햅틱 셀들(212)은 다수의 입력들에 응답하는 멀티-출력 애플리케이션들을 위한 분리된 진동 효과들을 생성하는데 사용될 수 있다. 한 실시 형태에서, 복수의 햅틱 셀들(212)은 매크로 변형들과 스트링들과 연관된 고주파(마이크로-레벨) 진동들 모두가 디스플레이될 수 있는 기타(guitar) 애플리케이션을 시뮬레이션하는데 사용될 수 있다.
한 실시 형태에서, 햅틱 셀들(212)의 어레이는 유형의 터치스크린 키보드를 물리적으로 시뮬레이션하고 터치스크린 모바일 및 태블릿 장치들 내의 텍스트 입력/키보드 상호작용들을 물리적으로 증강시키는데 사용될 수 있다. 다시 말하면, 햅틱 셀들(212)의 어레이는 텍스트 입력 애플리케이션에서 키보드의 키들 사이의 각각의 키 또는 에지들을 물리적으로 디스플레이하는데 사용될 수 있다. 다른 유형의 특징들은 키 디스플레이를 증강시키기 위해 시뮬레이션될 수도 있다. 예를 들어, F 및 J 키들은 이들이 일부 물리적 키보드에 있기 때문에, 촉각적으로 표시될 수 있어, 타이핑을 용이하게 하고, 또는 보조 키들(예를 들면, CTRL)의 홀딩 시에, 사전 규정된 기능들을 갖는 소정의 키들이 촉각적으로 강조될 수 있다(예를 들면, CTRL+C, CTRL+B, CTRL+V 등). 각각 키와 연관된 트래블 스트로크와 힘 프로파일은 그것이 기하학, 트래블과 힘 프로파일을 실제 키보드와의 상호작용과 비교하여 텍스트 입력/타이핑 경험의 피델리티와 정밀도를 개선하는 것이 실제 버튼의 그것과 같게 하도록 조정되고 조절될 수 있다. 또한, 키들은 엄지 손가락들쪽으로 둥글게 되는 것 등과 같이, 키보드를 더 인체 공학적으로 만들도록 성형될 수 있다.
또 다른 실시 형태에서, 햅틱 셀들(212)의 어레이는 스크롤된 또는 정적 목록에서 항목들을 융기 또는 함몰하게 하므로써 항목들의 목록(예를 들어, 목록 스크롤링)과의 사용자의 상호작용을 향상시키는데 사용되어, 선택을 용이하게 하고 현실감을 증가시킬 수 있다. 예를 들면, 정적 목록에서 각 항목은 손가락 끝이 하나에서 다음으로 슬라이드할 때 사용자의 손가락 끝이 전환을 느끼도록 융기될 수 있다. 또한, 표시된 항목, 이를테면 "선호(favorites)"는 상이한 형상, 텍스처, 또는 진동촉각 피드백을 가질 수 있으며, 항목들(예를 들어, 카테고리들, 알파벳 그룹들)의 그룹 간의 전환은 또한 융기되거나 함몰된 라인과 같은 뚜렷한 피처로 강조될 수 있다. 유사한 변형들은 형상이 목록을 가볍게 터치하여 항목들을 스쳐 지나가는 것으로 느낌으로써 느껴지게 되도록 스크롤된 목록에 적용될 수 있다.
또 다른 실시 형태에서, 햅틱 셀들(212)의 어레이는 사용자가 객체에 "결합된" 돌출부 또는 함몰부와 물리적으로 상호작용할 수 있게 하기 때문에, 가상 환경에서 객체들을 물리적으로 증강시키고 따라서 용이하게 조작하는데 사용될 수 있다. 그러한 능력은 실세계 객체 상호작용 시나리오와 유사한 인식을 제공하기 때문에 상호작용을 더 현실적이게 해 줄 수 있다. 또한, 그와 같은 상호작용들과 연관된 힘 프로파일은 상술한 바와 같이, 프로그램가능할 수 있는데, 이는 객체와 그것의 속성에 대하여 폭넓은 범위의 데이터를 디스플레이할 수 있는 더 풍부한 촉각에 의하여 활성화된 사용자 인터페이스를 고려할 수 있게 한다. 이러한 실시 형태로부터 이점을 얻을 수 있는 사용자 상호작용들의 예들은, 스크린을 가로 질러 위젯들, 애플리케이션 아이콘들, 파일들, 폴더들, 등과 같은, 특정한 사용자 인터페이스 요소에 덮어씌워지거나 그에 결합된 돌출부(또는 함몰부)를 움직이거나 밀어내는 것 에 제한되지 않지만 이를 포함한다. 일단 변형된 손가락에 의해 종종 시각적으로 가려지는 크기 조정 핸들(resize handles)들과 같은 작은 사용자 인터페이스 위젯들은 터치 운동감각적 피드백을 통해 검출 및 조작될 수 있다. 유사한 예에서, 사용자는 손가락이 에지를 가리는 경우에도, 형상이 예를 들어, 넘치지 않고 충진(즉, 가상적으로 채색)될 수 있는 방식으로 디지털 드로잉의 에지들을 느끼고/탐색할 수 있다. 또 다른 예로서, 스크린 상에서 드래그된 객체와 다른 콘텐츠 사이의 상호작용의 디스플레이가 본 발명의 실시 형태들을 통해 느껴질 수 있다. 예를 들면, 이동 라인은 원도우의 에지에 걸쳐 이동되기 때문에 융기된 아이콘을 통해 느낄 수 있다. 유사한 예에서, 사용자가 객체를 드래그하는 동안, 객체는 장벽에 부딪쳐 더 이상 이동할 수 없다. 본 발명의 실시 형태들은 텍스트 조작과 함께 사용될 수 있다. 예를 들어, 텍스트 중 하나의 상부에 변형 피처들을 덮어씌우는 것은 텍스트 조작을 용이하게 하고 텍스트 상호작용들에서 시각적 폐색 문제를 다룰 수 있고, 이동, 복사, 및 페이스트와 같은 동작들은 텍스트의 상부에 덮어씌워진 변형 피처와 물리적으로 상호작용함으로써 수행될 수 있다. 동일한 기능은 또한, 사용자가 그것이 그 방향으로 이동하는 것을 느낄 수 있도록 가상 객체가 스스로(예를 들면, 가상 중력의 효과 하에서) 움직일 때 이용될 수 있다.
한 실시 형태에서, 햅틱 셀들(212)의 어레이는 터치스크린 장치(210)에서 물리적 제어기를 시뮬레이션하는데 사용될 수 있다. 예를 들어, 변형 피처들은 D-패드와 같은, 표준 물리적 사용자 인터페이스 제어들을 나타내기 위해 평평한 터치 표면(403)으로부터 융기될 수 있다. 햅틱 셀들(212)의 어레이는 D-패드의 물리적 형상을 시뮬레이션할 수 있을 뿐 아니라, 실제 제어기와 상호작용할 때 사용자의 경험을 복제할 수도 있다. 예를 들면, D-패드의 왼쪽이 눌려지면, 사용자의 손가락 아래의 햅틱 셀들(212)은 아래로 이동하고 반면에 오른쪽의 햅틱 셀들(212)은 위로 이동할 수 있으며, 이는 상호작용을 실제 D-패드 제어기를 이용하는 것과 유사하게 한다. 한 실시 형태에서, 사용자와 상호작용할 수 있는 융기된 피처는 예를 들어, 랩톱 컴퓨터들에서 발견된 2차원 ("2D") 조이스틱, 대화형 게임 콘솔, 또는 트랙 포인트를 시뮬레이션하기 위해 제공될 수 있다.
한 실시 형태에서, 햅틱 셀들(212)의 어레이는 매크로 규모로, 실제 세상에서 발견된 텍스처들과 같은, 물리적 텍스처들을 시뮬레이션하는데 사용될 수 있다. 햅틱 셀들(212)의 작은 변형들은 모래에서 유리까지의 범위의 텍스처들을 생성하는데 사용될 수 있다.
한 실시 형태에서, 햅틱 셀들(212)의 어레이는 육안 검사 없이 수행된 제스처들을 용이하게 하고 또한 햅틱 피드백을 제공하기 위해 변형을 제공함으로써 비-시각적 사용자 인터페이스 상호작용들 및 제스처들을 가능하게 하는데 사용될 수 있다. 예를 들어, 손가락 안내는 사용자의 손가락을 특정한 타겟 위치를 향해 안내한 다음, 손가락이 타겟 스폿에 도달할 때 손가락을 차단하는 터치스크린(210) 위의 경로들을 생성함으로써 용이해질 수 있다. 좀 더 일반적으로, 본 발명의 실시 형태들은 사용자가 소정의 그리드 또는 형상으로 "스냅(snap)"하게 할 수 있다. 예를 들어, 드로잉 애플리케이션에서, 그러한 기능은 형상의 트레이스를 만들 수 있지만, 동시에 사용자가 원하는 경우에는, 그 형상을 따르지 않게 할 수 있다. 사용자 인터페이스 장치(200)가 전화기인 실시 형태에서, 사용자는 전화에 응답하고, 전화를 끊고, 무선 헤드셋으로 전송하는 등, 타겟 기능을 나타내는 변형 피처의 검사를 통해 그의/그녀의 포켓의 전화기와 상호작용함으로써 호출에 응답할 수 있다. 유사하게, 사전 정의된 메시지들은 안내를 위해 터치스크린의 시뮬레이션된 유형의 피처들을 느낄 수 있게 함으로써 터치스크린을 볼 필요없이 전송될 수 있다.
상술한 프로그램가능한 변형 디스플레이는 또한 폭넓은 범위의 신규한 제스처 상호작용들을 가능하게 하는데 사용될 수 있으며, 이는 제스처 언어를 더 풍부하게 한다. 예를 들면, 사용자는 플렉서블 층(402)이 점토(clay) 또는 다른 유사한 재료로 이루어진 것처럼 터치 표면(403)을 조작함으로써 공간 정보를 입력할 수 있다. 한 실시 형태에서, 사용자는 맵에서의 고도를 조작/변경하거나, 이미지에서의(로컬적으로는 이미지의 분리된 부분에서, 또는 글로벌적으로는 이미지 전체에 걸쳐) 휘도는 2차원 표면에 매핑된 파라미터들을 조작함으로써 오디오 신호에서의 왜곡들을 생성할 수 있거나, 문서와 같은 특정 콘텐츠를 표시하기 위해 시뮬레이션된 점토에서 마크를 생성할 수 있다.
본 발명의 실시 형태들은 또한 변형을 갖는 자유 공간 제스처를 촉각적으로 증강하는데 사용될 수 있다. 예를 들어, 한 실시 형태에서, 사용자 인터페이스 장치(200)는 6개의 자유도들로 이동될 수 있고 정보의 다양한 피스들을 나타내는 변형 햅틱 효과들이 재생될 수 있다. 예를 들어, 사용자는 사용자 인터페이스 장치(200)를 좌우로 스윙시키거나 사용자 인터페이스 장치(200)를 이산 각도들로 회전시킬 수 있고, 범프 햅틱 효과가 재생될 수 있거나 변형 햅틱 텍스처가 터치스크린 장치(210)를 통해 디스플레이될 수 있다. 한 실시 형태에서, 사용자 인터페이스 장치(200)보다 더 큰 객체들과의 상호작용은 햅틱 셀들(212)의 어레이를 이용하여 활성화될 수 있다. 터치스크린 장치(210)에 대한 변형은 사용자에게 단지 객체의 일부분에 대한 햅틱 정보를 수신함으로써 가상 객체를 탐색하거나 느낄 수 있는 능력을 제공한다(공간 위치 및 파지(grasping) 방향에 따라, 표시된 정보는 다를 수 있다). 손으로 구체를 탐색하는 것과 유사하게, 햅틱 셀들(212)의 어레이는 마치 사용자가 그것을 터치한 것처럼 특정 위치에서 손으로 느낄 수 있는 가상 객체의 형상을 디스플레이할 수 있다. 한 실시 형태에서, 부드러움과 온도와 같은 다른 속성들은 터치스크린 장치(210)에 의해 디스플레이될 수 있다.
특정한 제스처 표현들/통신들에서, 변형 피처들(요철/함몰)의 위치, 역학 및 모션 패턴들은 상호작용 동안 사용자의 손가락의 것들과 정확하게 동일할 필요는 없다. 예를 들어, 객체 조작 시나리오에서, 사용자는 객체를 선택할 수 있고 (그리고 그 결과 돌출부가 객체 위에 만들어지고), 그리고 나서 터치스크린 장치(210) 상의 또 다른 포인트 위를 가볍게 두드리며, 거기서 제2 돌출부가 디스플레이될 수 있다. 사용자는 그리고 나서 스크린을 가로질러 객체를 누르기 위해 병치된 돌출부(객체 상부 상의 하나)를 이용하거나 또는 비-병치된 돌출부를 이용하기로 선택할 수 있다. 또 다른 예에서, 객체의 이미지의 상부에 드러난 단일의 돌출부를 누르는 것 대신에, 사용자는 이미지의 경계선들을 따라 위치한 2개 이상의 돌출부들 사이에 그의/그녀의 손가락을 위치시킬 수 있고 객체와의 주변으로 돌출부들을 이동시킬 수 있다.
한 실시 형태에서, 햅틱 셀들(212)의 어레이는 적어도 하나의 프로그램가능한 변형 가능 "버튼"을 통하여 다양한 콘텐츠/메타 데이터를 디스플레이할 수 있다. 그러한 물리적 버튼은 다양한 기하학들, 폼 팩터들, 트래블 스트로크들 및 햅틱 힘 프로필들을 채택할 수 있으며, 그로 인해 사용자 정의 버튼의 상호작용과 확인 경험들을 허용한다. 버튼의 특정한 힘 프로파일(저항, 동적 관성, 디텐트들, 등) 또는 클릭 프로필(한번 누름)은 버튼과 상호작용하는 사용자에게 다양한 메타 데이터를 전달하는데 사용될 수 있다. 비슷한 애플리케이션들의 예들은 다음을 포함한다: 필요한 보류 조치를 나타내는 깜박이는 버튼, 활성화되지 않으면 눌러질 수 없는(또는 함몰되는) 버튼, 또는 그것의 형상으로 어포던스(affordance) 또는 상호작용 테마들을 보여주는 버튼. 예를 들어, 버튼의 기울어진 형상은 버튼이 옆으로 눌러져야 하는 것을 나타낼 수 있다. 한 실시 형태에서, 다중-기능 버튼은 새로운 기능을 보여주기 위해 그것의 형상을 변경하도록 구성될 수 있다. 예를 들어, 사용자가 평평한 버튼을 누를 때, 버튼은 버튼이 지금 슬라이더로서 이용될 수 있다는 것을 보여주기 위해 둥글게 될 수 있다. 사용자는 그리고 나서 표면을 따라 버튼을 슬라이드시킬 수 있다.
한 실시 형태에서, 콘텐츠 정보는 위에서 기술된 터치스크린 풀 키보드를 통해, 햅틱 셀들(212)의 어레이를 이용하여 디스플레이될 수 있다. 예를 들어, 근접 감지로 인한 햅틱 키 확대는 플렉서블 층(402)에 있는 또는 그 내부의 근접 센서가 터치스크린 장치(210) 상의 특정 키에 접근하는 손가락의 모션을 감지하면, 손가락의 타겟 포인트에 근접한 키/키들의 세트만이 융기될 수 있도록 제공될 수 있다(즉, 변형으로 촉각 디스플레이된다). 한 실시 형태에서, 텍스트 예측을 기반으로, 다음에 두드려질 가능성이 가장 높은 키들만이 물리적으로 변형될 수 있다. 프로그램가능 변형은 사용자의 선호에 따라서, 키 에지들이 더 강하게 또는 더 부드럽게 만들어지게 되고, 또는 버튼 형상들 또는 컴플라이언스들이 변경되게 할 수 있다. 한 실시 형태에서, 현재 사용자 인터페이스에서 유용한 기능을 가지고 있는 키들은 융기될 수 있고, 반면에 즉시 유용한 기능을 가지고 있지 않거나 비활성적인 키들은 함몰될 수 있다.
한 실시 형태에서, 디스플레이(220)에 의해 디스플레이된 시각적인 콘텐츠는 특정한 감각 또는 메타 데이터로 증강될 수 있는데, 여기서 추가적/증강 정보는 디스플레이(220)에 의해 디스플레이된 이미지의 상부에 중첩된 터치스크린 장치(210)의 변형의 형태로 디스플레이된다. 예를 들어, 그와 같은 추가 정보는 대조, 휘도, 풀 스펙트럼 포토그래피, 등과 같은, 이미지의 "시각적" 특성일 수 있다.
한 실시 형태에서, 변형 피처들(예를 들면, 돌출부, 함몰부, 등)의 형태의 "비-시각적" 정보는 가상 환경에서 특정한 캐릭터들(예를 들면, 영화, 게임, 등에서)을 증강시키는데 사용될 수 있다. 예를 들어, 게임 애플리케이션에서, 지도에 전개된 게임의 캐릭터 장비, 건강 상태 또는 군대들의 위치와 크기는 변형으로 인해 증강(강조)될 수 있다. 타겟 캐릭터(들)에 특정한 촉감들을 연관시키는 것 이외에, 그와 같은 변형 피처들은 또한 그것의(그들의) 시각적 외관을 변경할 수 있다. 후자는 예를 들어, 햅틱 셀들(212)의 어레이가 캐릭터의 상부에 오목하거나 볼록한 형상을 형성하고 따라서 로컬적으로 스크린의 효과적인 광학 특성들을 변경하는 경우에 발생할 수 있다. 이러한 방법을 이용하면, 가상 환경에서 일부 영역들(캐릭터들)이 흐릿하고/감소하는 것으로 보이는 반면에, 일부 다른 영역들은 더 밝고/향상된 것으로 보이는 것이 가능할 수 있다. 한 실시 형태에서, 사용자 인터페이스 장치(200)의 특정 영역들은 터치스크린 장치(210)를 가로질러 햅틱 셀들(212)의 어레이를 이용하여 생성된 분리된 진동들에 의해 상이한 오디오 데이터/사운드를 사용자에게 디스플레이하는데 사용될 수 있다.
한 실시 형태에서, 시각 장애인을 위한 점자 언어 피처들이 예를 들어, 전체 터치스크린 장치(210)를 점자 표시기로 전환함으로써 디스플레이될 수 있다. 캐릭터를 나타내는 각각의 점자 셀은, 직사각형 형상의 폼 팩터에 배열된, 2×4 도트들의 어레이로 구성될 수 있고, 사용자들은 점자 셀들의 사이즈 또는 다른 속성을 선택할 수 있다. 한 실시 형태에서, 시각 장애인을 위한 "촉각 그래픽"은 터치스크린 장치(210)에 제공될 수 있다.
한 실시 형태에서, 햅틱 셀들(212)의 어레이를 통한 변형 기반 햅틱들은 사용자에게 정보를 비-시각적 방식으로 디스플레이하는데 사용될 수 있으며, 그로 인해 시각적으로 터치스크린 장치(210)를 탐색하기 위한 필요성을 최소로 한다. 예를 들어, 서치 과제(텍스트, 웹페이지, 등)의 결과들은 요철/함몰 피처들을 이용하여 디스플레이될 수 있다. 서치 결과들은 요철/함몰을 통해 물리적으로 "강조되며", 그로 인해 사용자가 간단하게 터치 표면(403)을 검사함으로써 그들의 위치를 찾을 수 있다. 이것은, 예를 들어, 손가락들을 이용하여 스크린을 탐색하거나, 또는 촉각에 의해 강조된 항목(들)의 위치를 찾기 위해 손의 전체 손바닥을 스크린 위에 둠으로써 행해질 수 있다. 한 실시 형태에서, 호출자 ID 또는 메시지 발송인 ID와 같은 정보는 요철/함몰 피처들로 인코딩될 수 있으며, 그로 인해 사용자가, 예를 들어 그의/그녀의 전화기가 계속 그의/그녀의 포켓에 있는 동안 호출자를 식별할 수 있게 한다. 한 실시 형태에서, GPS 루트 안내 정보는 물리적 경로들의 형태로 켜기 위해 도로, 교차로들, 및 다음 도로를 시뮬레이션함으로써 터치스크린 장치(210)에 디스플레이될 수 있고, 자동차 자체는 이동하는 돌출 블록에 의해 표현될 수 있다.
한 실시 형태에서, 햅틱 셀들(212)의 어레이는 사용자가 디지털 환경에서 사용자 인터페이스 요소들 또는 객체들의 조작에 관련된 것처럼 특정한 메타 데이터를 전달하는데 사용될 수 있다. 예를 들어, 사용자가 햅틱 셀들(212)의 어레이를 이용하여 물리적으로 시뮬레이션되는 가상 객체들을 조작하려고 시도하고 있는 동안, 사용자 인터페이스 요소들의 조작/움직임 동안 모션(예를 들면, 스틱, 슬립, 디텐트 효과들, 등)에 대한 조정가능한 저항의 형태의 프로그램가능 힘 디스플레이는 타입, 사이즈, 및 객체의 다른 속성들에 관한 정보를 전달할 수 있다. 또한, 돌출부 또는 함몰부 변형은 객체의 파지 또는 선택이 성공적이였는지의 여부를 나타내는데 사용될 수 있다. 예를 들어, 디스플레이(220)에 의해 디스플레이된 텍스트의 일부가 선택되거나 강조될 때, 선택/강조된 텍스트의 일부는 선택/강조된 텍스트의 위치와 연관된 햅틱 셀들(212)의 변형을 통해 그것의 상부에 돌출부 또는 함몰 변형을 가질 수 있다.
본 발명의 실시 형태들은 터치스크린 장치(210)가 햅틱 "시그니처"의 형태, 또는 특정한 OEM을 나타내는 메타 데이터의 형태로 설계되고, 사용자 정의되고, 배열될 수 있는 햅틱 효과들을 디스플레이하도록 구성될 수 있는, 브랜딩 애플리케이션에 사용될 수 있다. 예를 들어, 사용자 인터페이스 장치(200)가 켜지면, 특정한 햅틱 패턴 또는 시그니처가 디스플레이될 수 있는데, 이는 상응하는 OEM의 적절한 정적 또는 동적 요철/함몰 정보의 디스플레이를 포함할 수 있다. 한 실시 형태에서, 타겟 OEM의 로고는 정적으로 또한 디스플레이될 수 있다.
한 실시 형태에서, 설명된 시스템들과 방법들은 원격 정보 표시 기능에 사용될 수 있다. 예를 들어, 햅틱 셀들(212)의 어레이는 사용자 인터페이스 장치(200)를 홀딩하거나 터치하는 것 없이, 시각적으로 원격 탐지되거나 검사되거나 분석될 수 있는 큰 정적 변형을 생성할 수 있다. 호출자 ID, 시계, 캘린더 날짜, 등과 같은 정보는, 정적 요철 디스플레이로 디스플레이되는 경우에, 사용자 인터페이스 장치(200)가 사용자로부터 꽤 떨어진 거리에 위치하고 있을 때에도 사용자 인터페이스 장치(200)를 간단하게 봄으로써 접근될 수 있다.
본 발명의 실시 형태들은 또한 웨어러블 장치에서 구현될 수 있으며, 여기서 특정한 문맥들에서의 무음 통지들이 웨어러블 장치가 보디에 대고 눌릴 때 특정한 정보를 전달하기 위해 디스플레이될 수 있다. 한 실시 형태에서, 손목 시계는 그것의 아래쪽에 딤플들을 생성하고 착용자의 손목의 피부를 밀음으로써 시간을 전할 수 있다. 한 실시 형태에서, 팔찌는 착용자의 피부에 웨이브들과 다른 패턴들을 생성함으로써 경고를 전하도록 구성될 수 있다. 한 실시 형태에서, 신발은 그/그녀가 걸어가는 방향을 나타내기 위해 착용자의 발에 대하여 딤플을 만들도록 구성될 수 있다.
본 발명의 실시 형태들은 또한 의료 장치들에서 구현될 수 있다. 예를 들어, 복강경 핸들의 내측은, 심박수, 등과 같이, 수술 중에 측정된 생체 신호와 관련되는 압력 감각을 외과 의사에게 디스플레이할 수 있는 햅틱 셀들(212)의 어레이를 가질 수 있다.
한 실시 형태에서, 분위기, 사용자, 전화기, 등 관련된 상태 정보의 범위는 햅틱 셀들(212)의 어레이를 이용하여 전달될 수 있다. 예를 들어, 뺨이나 턱에 접한 터치스크린 장치(210)와 전화 통화 시에, 배터리 상태 또는 서비스 드롭을 나타낼 수 있는 변형 기반 경보들이 사용자의 피부에 디스플레이될 수 있다. 또한, 포켓의 전화기에 있어서도, 사용자는 터치스크린 장치(210)를 가볍게 두드리고 햅틱 셀들(212)의 어레이에 의해 제공된 변형 피처들의 형태로 인코딩된 피드백을 수신함으로써 부재중 호출들의 수, 수신된 메시지들, 또는 캘린더의 다가오는 이벤트들과 같은 정보를 질의할 수 있다. 한 실시 형태에서, 햅틱 셀들(212)의 어레이의 변형은 기압, 온도, 나침반 방향들, 등과 같은, 주변 정보를 디스플레이하는데 사용될 수 있다. 한 실시 형태에서, 햅틱 셀들(212)의 어레이의 변형은 사회적 분위기에 대한 인식에 사용될 수 있고 어떤 공통점을 가진 사람들의 수 및/또는 위치와 같은 정보를 전할 수 있다.
위에서 설명된 본 발명의 실시 형태들은 사용자 인터페이스 컴포넌트들 및 변형 가능한 햅틱 셀들과의 연관된 상호작용들을 물리적으로 증강시킴으로써 사용자 인터페이스 요소들의 잃어버린 현실감/가촉성을 복원할 수 있는데, 이는 더 풍부하고, 더 직관적이며 덜 인지적인 대화형 경험들을 로딩하는 것을 가능하게 할 수 있다. 유형의 사용자 인터페이스는 또한 예를 들어, 텍스트 타이핑을 위한 유형의 키보드를 가능하게 함으로써 더 효율적이고 에러가 적은 상호작용들로 이어질 수 있다.
상용 장치들에서 변형 디스플레이들의 구현 시에 잠재적 도전들 중 하나는 햅틱 셀들의 고해상도(즉, 단위 면적당 대량의 셀들) 어레이들의 비용이다. 상술한 바와 같이, 셀들 사이에서 힘 프로필/효과들 사이의 보간에 의해, 변형 가능한 햅틱 셀들의 조잡한 어레이에도 불구하고, 매우 정교한 햅틱 해상도들을 시뮬레이션하는 것이 가능할 수 있다.
위에서 설명된 본 발명의 실시 형태들은 촉각적으로 증강된 유형의 사용자 인터페이스들과 콘텐츠/정보 디스플레이들을 렌더링 및 제어하기 위한 시스템들, 방법들과 기본적 고찰들을 제공한다. 상기 설명된 실시 형태들은 사용자 입력과 햅틱 출력을 감안하여, 상이한 타입들의 햅틱 정보를 효과적으로 디스플레이하고 직관적 유형의 사용자 인터페이스들을 가능하게 하기 위해, 변형 가능한 햅틱 셀들의 어레이를 구현시키는 것 주위에 설계된 다양한 제어와 렌더링 스킴들을 제공한다. 상기의 방법들은 증가된 인지 해상도, 등과 같이, 기능성들을 확대하고 변형 가능한 햅틱 셀들의 어레이의 유효성을 증가시키며, 더 세련되고 비싼 하드웨어에 대한 필요성을 제거한다.
위에서 설명된 본 발명의 실시 형태들은 변형 가능한 햅틱 셀들의 어레이가 유형의 사용자 인터페이스 상호작용들과 콘텐츠/메타 데이터 디스플레이를 가능하게 하도록 명령하는데 사용될 수 있는 렌더링과 제어 스킴들을 제공한다. 위에서 설명된 본 발명의 실시 형태들은 변형 가능한 햅틱 셀들의 어레이를 이용하여 디지털 콘텐츠와 메타 데이터를 디스플레이하고, 따라서 풍부하고 더 많은 정보가 있으며, 더 직관적인 대화형 경험들을 가능하게 하기 위한 시스템들과 방법들을 제공한다. 위에서 설명된 본 발명의 실시 형태들은 콘텐츠/정보/메타 데이터를 유형의, 현실적인, 그리고 효율적 방식으로 디스플레이하기 위해 변형 가능한 햅틱 셀들의 촉각적으로 활성화되고 프로그램가능한 어레이를 사용하기 위한 혁신적인 기술들을 제공한다. 상기 설명된 실시 형태들은 또한 변형 가능한 햅틱 셀들의 어레이의 애플리케이션들의 범위를 증가시키고 사용자 인터페이스 장치가 전달할 수 있는 햅틱 정보의 폭과 깊이를 확대할 수 있다.
위에서 설명된 본 발명의 실시 형태들은 콘텐츠와 메타 데이터를 더 현실적, 실체적이고, 직관적 방식으로 디스플레이할 수 있는 프로그램가능 자유 형식 변형을 기반으로 새로운 출력 치수를 제공한다. 또 다른 햅틱 기반 콘텐츠 디스플레이 치수로서, 변형의 사용은 정보 디스플레이 매체의 폭과 깊이를 확대하고, 데이터 전송 대역폭을 크게 한다.
여기서 설명된 실시 형태들은 다수의 가능한 구현예들 및 예시들을 나타내며 본 개시 내용을 반드시 임의의 특정 실시 형태들로 제한하도록 의도되지 않는다. 대신에, 이들 실시 형태에 대하여 본 기술분야의 통상의 기술자에 의해서 이해될 수 있는 다양한 수정들이 이루어질 수 있다. 임의의 이러한 수정들은 본 개시 내용의 사상 및 범위 내에 포함되며 후속하는 청구항들에 의해 보호되도록 의도된다.

Claims (22)

  1. 사용자 인터페이스 장치로서,
    사용자에 의한 터치를 수신하도록 구성된 터치 표면을 포함하는 플렉서블 층;
    상기 플렉서블 층에 의해 커버된 복수의 햅틱 셀들 - 각각의 햅틱 셀은 햅틱 출력 장치를 포함함 -;
    사용자가 상기 터치 표면을 터치할 때 상기 플렉서블 층의 변형의 양 및/또는 비율을 감지하도록 구성된 센서; 및
    상기 센서로부터 출력 신호를 수신하고, 상기 센서로부터의 상기 출력 신호를 기반으로 햅틱 제어 신호를 생성하고, 상기 햅틱 제어 신호를 상기 복수의 햅틱 셀들의 적어도 하나의 햅틱 출력 장치에 출력하여, 상기 햅틱 출력 장치가 상기 플렉서블 층의 상기 감지된 변형에 응답하여 연관된 햅틱 셀을 변형시키게 하도록 구성된 프로세서를 포함하는, 사용자 인터페이스 장치.
  2. 제1항에 있어서, 상기 프로세서는 집합적으로 햅틱 효과를 생성하기 위해 서로에 근접하여 위치한 복수의 햅틱 출력 장치들에 복수의 햅틱 제어 신호들을 출력하도록 구성되는, 사용자 인터페이스 장치.
  3. 제2항에 있어서, 상기 햅틱 효과는 버튼 또는 조이스틱을 시뮬레이션하는, 사용자 인터페이스 장치.
  4. 제2항에 있어서, 상기 복수의 햅틱 출력 장치들 중 최소한 2개는 상기 햅틱 효과를 생성하기 위해 그들의 연관된 햅틱 셀들의 상이한 양들의 변형들을 생성하는, 사용자 인터페이스 장치.
  5. 제1항에 있어서, 상기 프로세서는 상기 센서로부터의 상기 출력 신호를 기반으로 복수의 햅틱 제어 신호들을 생성하고 상기 햅틱 제어 신호들을 순차적으로 복수의 햅틱 출력 장치들에 출력하여, 햅틱 효과를 생성하도록 구성되는, 사용자 인터페이스 장치.
  6. 제5항에 있어서, 상기 햅틱 효과는 웨이브 또는 리플을 시뮬레이션하는, 사용자 인터페이스 장치.
  7. 제5항에 있어서, 상기 햅틱 효과는 조이스틱의 움직임을 시뮬레이션하는, 사용자 인터페이스 장치.
  8. 제5항에 있어서, 상기 햅틱 효과는 슬라이더의 움직임을 시뮬레이션하는, 사용자 인터페이스 장치.
  9. 제1항에 있어서, 상기 프로세서는 상기 햅틱 제어 신호와는 다른 제2 햅틱 제어 신호를 생성하고 상기 제2 햅틱 제어 신호를 상기 햅틱 출력 장치에 출력하여, 상기 햅틱 출력 장치가 진동촉각 햅틱 효과를 출력하게 하도록 구성되는, 사용자 인터페이스 장치.
  10. 제1항에 있어서, 상기 터치 표면에서 상기 사용자에게 상기 햅틱 셀에 의해 보여지는 저항을 감지하도록 구성된 압력 센서를 더 포함하는, 사용자 인터페이스 장치.
  11. 제10항에 있어서, 상기 프로세서는 상기 햅틱 셀에 의해 보여지는 상기 감지된 저항을 기반으로 상기 햅틱 제어 신호를 변경하도록 구성되는, 사용자 인터페이스 장치.
  12. 방법으로서,
    사용자 인터페이스 장치의 플렉서블 층의 변위의 양 및/또는 비율을 감지하는 단계;
    상기 플렉서블 층의 상기 감지된 변위의 양 및/또는 비율을 기반으로 한 햅틱 제어 신호를 프로세서를 이용하여 생성하는 단계; 및
    상기 햅틱 제어 신호를 기반으로 햅틱 출력 장치를 이용하여 햅틱 셀을 변형시키는 단계를 포함하는, 방법.
  13. 제12항에 있어서, 복수의 햅틱 제어 신호들을 생성하고 상기 복수의 햅틱 제어 신호들을 기반으로 복수의 햅틱 출력 장치들을 이용하여 서로에 근접하여 위치한 복수의 햅틱 셀들을 변형시켜 집합적으로 햅틱 효과를 생성하는 단계를 더 포함하는, 방법.
  14. 제13항에 있어서, 상기 햅틱 효과는 버튼 또는 조이스틱을 시뮬레이션하는, 방법.
  15. 제13항에 있어서, 상기 햅틱 셀들 중 최소한 2개는 상이한 양들만큼 변형되어 상기 햅틱 효과를 생성하는, 방법.
  16. 제12항에 있어서, 복수의 햅틱 제어 신호들을 생성하고 상기 복수의 햅틱 제어 신호들을 기반으로 복수의 햅틱 출력 장치들을 이용하여 서로에 근접하여 위치한 복수의 햅틱 셀들을 순차적으로 변형시켜 집합적으로 햅틱 효과를 생성하는 단계를 더 포함하는, 방법.
  17. 제16항에 있어서, 상기 햅틱 효과는 웨이브 또는 리플을 시뮬레이션하는, 방법.
  18. 제16항에 있어서, 상기 햅틱 효과는 조이스틱의 움직임을 시뮬레이션하는, 방법.
  19. 제16항에 있어서, 상기 햅틱 효과는 슬라이더의 움직임을 시뮬레이션하는, 방법.
  20. 제12항에 있어서, 상기 햅틱 제어 신호와는 다른 제2 햅틱 제어 신호를 생성하고 상기 햅틱 출력 장치를 이용하여 진동촉각 햅틱 효과를 생성하는 단계를 더 포함하는, 방법.
  21. 제12항에 있어서, 상기 사용자 인터페이스 장치의 사용자에게 상기 햅틱 셀에 의해 보여지는 저항을 감지하는 단계를 더 포함하는, 방법.
  22. 제21항에 있어서, 상기 햅틱 셀에 의해 보여지는 상기 감지된 저항을 기반으로 상기 햅틱 제어 신호를 변경하는 단계를 더 포함하는, 방법.
KR1020157033334A 2013-04-26 2014-04-25 햅틱 셀들의 어레이를 이용한 유형의 사용자 인터페이스 상호작용들 및 제스처들의 시뮬레이션 KR20160003031A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361816605P 2013-04-26 2013-04-26
US61/816,605 2013-04-26
PCT/US2014/035508 WO2014176532A1 (en) 2013-04-26 2014-04-25 Simulation of tangible user interface interactions and gestures using array of haptic cells

Publications (1)

Publication Number Publication Date
KR20160003031A true KR20160003031A (ko) 2016-01-08

Family

ID=50513838

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020157033334A KR20160003031A (ko) 2013-04-26 2014-04-25 햅틱 셀들의 어레이를 이용한 유형의 사용자 인터페이스 상호작용들 및 제스처들의 시뮬레이션
KR1020157032818A KR20160002941A (ko) 2013-04-26 2014-04-25 플렉서블 디스플레이를 위한 수동 강성 및 능동 변형 햅틱 출력 장치
KR1020140050655A KR20140128275A (ko) 2013-04-26 2014-04-28 햅틱적으로 사용가능한 합치된 다면적 디스플레이를 위한 시스템 및 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020157032818A KR20160002941A (ko) 2013-04-26 2014-04-25 플렉서블 디스플레이를 위한 수동 강성 및 능동 변형 햅틱 출력 장치
KR1020140050655A KR20140128275A (ko) 2013-04-26 2014-04-28 햅틱적으로 사용가능한 합치된 다면적 디스플레이를 위한 시스템 및 방법

Country Status (6)

Country Link
US (10) US9405369B2 (ko)
EP (5) EP2989530B1 (ko)
JP (7) JP6276385B2 (ko)
KR (3) KR20160003031A (ko)
CN (6) CN109582150A (ko)
WO (2) WO2014176528A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170085670A (ko) * 2016-01-15 2017-07-25 한국전자통신연구원 촉감과 온도를 동시에 제공하는 하이브리드 디스플레이 제어 장치 및 방법

Families Citing this family (254)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD353539S (en) * 1990-07-20 1994-12-20 Norden Pac Development Ab Combined tube and cap
WO2007111909A2 (en) * 2006-03-24 2007-10-04 Northwestern University Haptic device with indirect haptic feedback
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US10013058B2 (en) 2010-09-21 2018-07-03 Apple Inc. Touch-based user interface with haptic feedback
US10120446B2 (en) 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US9582035B2 (en) 2014-02-25 2017-02-28 Medibotics Llc Wearable computing devices and methods for the wrist and/or forearm
US20140029190A1 (en) * 2012-07-25 2014-01-30 Kabushiki Kaisha Toshiba Electronic device
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US9502193B2 (en) 2012-10-30 2016-11-22 Apple Inc. Low-travel key mechanisms using butterfly hinges
US9449772B2 (en) 2012-10-30 2016-09-20 Apple Inc. Low-travel key mechanisms using butterfly hinges
US9710069B2 (en) 2012-10-30 2017-07-18 Apple Inc. Flexible printed circuit having flex tails upon which keyboard keycaps are coupled
EP2954384B1 (en) 2013-02-06 2023-08-02 Apple Inc. Input/output device with a dynamically adjustable appearance and function
CN109582150A (zh) * 2013-04-26 2019-04-05 意美森公司 利用触觉单元阵列模拟有形用户界面交互和手势
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
JP6103543B2 (ja) 2013-05-27 2017-03-29 アップル インコーポレイテッド 短行程スイッチアッセンブリ
US9908310B2 (en) 2013-07-10 2018-03-06 Apple Inc. Electronic device with a reduced friction surface
KR102265083B1 (ko) * 2013-08-22 2021-06-15 삼성전자주식회사 가변강성 필름, 가변강성 유연 디스플레이 및 이의 제조 방법
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
WO2015047356A1 (en) 2013-09-27 2015-04-02 Bodhi Technology Ventures Llc Band with haptic actuators
WO2015047343A1 (en) 2013-09-27 2015-04-02 Honessa Development Laboratories Llc Polarized magnetic actuators for haptic response
WO2015047364A1 (en) 2013-09-29 2015-04-02 Pearl Capital Developments Llc Devices and methods for creating haptic effects
WO2015047372A1 (en) 2013-09-30 2015-04-02 Pearl Capital Developments Llc Magnetic actuators for haptic response
WO2015047606A1 (en) 2013-09-30 2015-04-02 Apple Inc. Keycaps having reduced thickness
KR101787301B1 (ko) 2013-09-30 2017-10-18 애플 인크. 감소된 두께를 가지는 키 캡
WO2015050345A1 (en) * 2013-10-01 2015-04-09 Lg Electronics Inc. Control apparatus for mobile terminal and control method thereof
US9317118B2 (en) * 2013-10-22 2016-04-19 Apple Inc. Touch surface for simulating materials
US10276001B2 (en) 2013-12-10 2019-04-30 Apple Inc. Band attachment mechanism with haptic response
US9501147B2 (en) 2013-12-29 2016-11-22 Immersion Corporation Haptic device incorporating stretch characteristics
US20170038795A1 (en) * 2014-01-05 2017-02-09 Vorbeck Materials Corp. Coated leather articles and method of preparation
US9793066B1 (en) 2014-01-31 2017-10-17 Apple Inc. Keyboard hinge mechanism
KR102251081B1 (ko) * 2014-02-05 2021-05-13 삼성디스플레이 주식회사 플렉서블 디스플레이 장치
US10429888B2 (en) 2014-02-25 2019-10-01 Medibotics Llc Wearable computer display devices for the forearm, wrist, and/or hand
WO2015143124A1 (en) 2014-03-21 2015-09-24 Immersion Corporation Systems and methods for haptically-enabled curved devices
US9779889B2 (en) 2014-03-24 2017-10-03 Apple Inc. Scissor mechanism features for a keyboard
WO2015143694A1 (en) * 2014-03-28 2015-10-01 Intel Corporation Rotation sensor device
JP6344006B2 (ja) * 2014-03-28 2018-06-20 カシオ計算機株式会社 携帯情報機器、携帯情報機器におけるオブジェクトの報知方法、及び携帯情報機器のプログラム
US20150286402A1 (en) * 2014-04-08 2015-10-08 Qualcomm Incorporated Live non-visual feedback during predictive text keyboard operation
DE112014006608B4 (de) * 2014-04-21 2024-01-25 Apple Inc. Verfahren, Systeme und elektronische Vorrichtungen zum Bestimmen der Kräfteaufteilung für Multi-Touch-Eingabevorrichtungen elektronischer Vorrichtungen
US9704665B2 (en) 2014-05-19 2017-07-11 Apple Inc. Backlit keyboard including reflective component
US9715978B2 (en) 2014-05-27 2017-07-25 Apple Inc. Low travel switch assembly
DE102015209639A1 (de) 2014-06-03 2015-12-03 Apple Inc. Linearer Aktuator
US9400557B2 (en) * 2014-06-25 2016-07-26 Intel Corporation Multimodal haptic effect system
DE202014103215U1 (de) * 2014-07-11 2014-09-30 Christian Stroetmann Elektronisches, visuelles Gerät, das eine flexible beziehungsweise biegbare Vorrichtung zur optischen Signalisierung von veränderlichen Informationen, ein flexibles beziehungsweise biegbares Gehäuse mit mindestens einem Gelenk/Scharnier und ein Regel-/Steuerungssystem besitzt
US9965036B2 (en) * 2014-07-18 2018-05-08 Google Technology Holdings LLC Haptic guides for a touch-sensitive display
US10121335B2 (en) 2014-07-18 2018-11-06 Google Technology Holdings LLC Wearable haptic device for the visually impaired
US9727182B2 (en) 2014-07-18 2017-08-08 Google Technology Holdings LLC Wearable haptic and touch communication device
US10796863B2 (en) 2014-08-15 2020-10-06 Apple Inc. Fabric keyboard
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR20160024605A (ko) * 2014-08-26 2016-03-07 삼성전자주식회사 접철식 기기
KR20160025830A (ko) * 2014-08-28 2016-03-09 삼성전자주식회사 전자 장치
US10082880B1 (en) 2014-08-28 2018-09-25 Apple Inc. System level features of a keyboard
KR102096146B1 (ko) 2014-09-02 2020-04-28 애플 인크. 가변 햅틱 출력을 위한 시맨틱 프레임워크
WO2016036671A2 (en) 2014-09-02 2016-03-10 Apple Inc. Haptic notifications
KR102228857B1 (ko) * 2014-09-05 2021-03-17 엘지전자 주식회사 휴대 전자기기
GB2530036A (en) * 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
US9870880B2 (en) 2014-09-30 2018-01-16 Apple Inc. Dome switch and switch housing for keyboard assembly
WO2016059514A1 (en) * 2014-10-17 2016-04-21 Semiconductor Energy Laboratory Co., Ltd. Electronic device
JP2016085457A (ja) * 2014-10-24 2016-05-19 株式会社半導体エネルギー研究所 電子機器
US9791929B2 (en) * 2014-10-31 2017-10-17 Elwha Llc Tactile control system
JP6654743B2 (ja) * 2014-11-06 2020-02-26 天馬微電子有限公司 電子機器、電子機器の操作制御方法および操作制御プログラム
CN105589594B (zh) 2014-11-06 2019-12-31 天马微电子股份有限公司 电子装置和电子装置的操作控制方法
US9535550B2 (en) * 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
CN104460089B (zh) * 2014-12-12 2018-02-16 京东方科技集团股份有限公司 一种多面显示器件
US10001837B2 (en) * 2014-12-23 2018-06-19 Intel Corporation Technologies for interacting with computing devices using haptic manipulation
WO2016101160A1 (en) * 2014-12-24 2016-06-30 Intel Corporation User interface for liquid container
US9466188B2 (en) * 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
CN105808112B (zh) * 2014-12-30 2019-10-29 联想(北京)有限公司 电子装置、穿戴式设备和信息处理方法
US9763628B2 (en) 2014-12-31 2017-09-19 Immersion Corporation Systems and methods for providing enhanced haptic feedback
CN112150985B (zh) * 2015-01-07 2023-04-18 三星电子株式会社 可弯曲用户终端装置及其显示方法
KR102341879B1 (ko) * 2015-01-14 2021-12-23 삼성디스플레이 주식회사 폴더블 표시장치
KR20160089164A (ko) * 2015-01-19 2016-07-27 삼성전자주식회사 플렉서블 디바이스의 디스플레이의 형상을 제어하는 방법 및 플렉서블 디바이스
KR20160090981A (ko) * 2015-01-22 2016-08-02 삼성디스플레이 주식회사 표시 장치 및 표시 장치의 윈도우 보호 방법
ES2908299T3 (es) 2015-02-20 2022-04-28 Ultrahaptics Ip Ltd Mejoras del algoritmo en un sistema háptico
KR102319466B1 (ko) * 2015-02-25 2021-10-29 삼성디스플레이 주식회사 표시장치 및 이를 이용한 표시장치의 구동방법
KR102113201B1 (ko) * 2015-02-27 2020-05-20 삼성전자주식회사 기능 실행 방법 및 이를 지원하는 전자 장치
CN105988577A (zh) * 2015-02-28 2016-10-05 北京智谷睿拓技术服务有限公司 基于柔性器件的交互方法、交互装置及用户设备
KR102354505B1 (ko) * 2015-03-03 2022-01-21 삼성디스플레이 주식회사 착용형 표시 장치
US10353467B2 (en) 2015-03-06 2019-07-16 Apple Inc. Calibration of haptic devices
US9983673B2 (en) 2015-03-17 2018-05-29 Queen's University At Kingston Haptic rendering for a flexible computing device
KR102287583B1 (ko) * 2015-04-08 2021-08-09 삼성디스플레이 주식회사 표시 장치
KR102367252B1 (ko) * 2015-04-16 2022-02-25 삼성디스플레이 주식회사 표시 장치
AU2016100399B4 (en) 2015-04-17 2017-02-02 Apple Inc. Contracting and elongating materials for providing input and output for an electronic device
KR102274908B1 (ko) * 2015-04-30 2021-07-08 엘지디스플레이 주식회사 햅틱 구동 장치 및 햅틱 기능을 갖는 전자 기기
EP3295466B1 (en) 2015-05-13 2023-11-29 Apple Inc. Keyboard assemblies having reduced thicknesses and method of forming keyboard assemblies
WO2016183498A1 (en) 2015-05-13 2016-11-17 Apple Inc. Low-travel key mechanism for an input device
JP6637070B2 (ja) 2015-05-13 2020-01-29 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 電子デバイス用のキーボード
CN206134573U (zh) 2015-05-13 2017-04-26 苹果公司 键、用于键盘的键和用于电子装置的输入结构
US9934915B2 (en) 2015-06-10 2018-04-03 Apple Inc. Reduced layer keyboard stack-up
WO2016206069A1 (en) * 2015-06-26 2016-12-29 Microsoft Technology Licensing, Llc Passive haptics as reference for active haptics
US10268831B2 (en) * 2015-07-08 2019-04-23 International Business Machines Corporation Self-protecting device
KR102378357B1 (ko) * 2015-08-24 2022-03-25 삼성디스플레이 주식회사 폴딩 가능한 디스플레이 장치 및 그 운용방법
US10566888B2 (en) 2015-09-08 2020-02-18 Apple Inc. Linear actuators for use in electronic devices
EP3144774A1 (en) * 2015-09-15 2017-03-22 Thomson Licensing Methods and apparatus of transmitting a rotation angle information to a set of actuators associated with a surface
US10365736B2 (en) * 2015-09-15 2019-07-30 Visteon Global Technologies, Inc. Morphing pad, system and method for implementing a morphing pad
KR102483379B1 (ko) 2015-09-21 2023-01-02 삼성디스플레이 주식회사 표시장치
US9971084B2 (en) 2015-09-28 2018-05-15 Apple Inc. Illumination structure for uniform illumination of keys
US10664053B2 (en) 2015-09-30 2020-05-26 Apple Inc. Multi-transducer tactile user interface for electronic devices
USD804443S1 (en) 2015-10-02 2017-12-05 Samsung Electronics Co., Ltd. Mobile terminal
KR102423447B1 (ko) * 2015-10-22 2022-07-21 삼성전자 주식회사 벤디드 디스플레이를 구비한 전자 장치 및 그 제어 방법
US10152125B2 (en) * 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
US9849379B2 (en) * 2015-11-25 2017-12-26 Immersion Corporation Haptic peripheral having a deformable substrate configured for amplified deformation
US9895607B2 (en) * 2015-12-15 2018-02-20 Igt Canada Solutions Ulc Haptic feedback on a gaming terminal display
US9875625B2 (en) 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
WO2017113103A1 (zh) * 2015-12-29 2017-07-06 深圳市柔宇科技有限公司 中控系统及具有该中控系统的汽车
US20170192457A1 (en) * 2015-12-31 2017-07-06 AAC Technologies Pte. Ltd. Touch panle, haptics touch display using same, and manufacturing method for making same
KR20170081401A (ko) * 2016-01-04 2017-07-12 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR102530469B1 (ko) * 2016-01-08 2023-05-09 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102462941B1 (ko) 2016-01-26 2022-11-03 삼성디스플레이 주식회사 표시 장치
US10039080B2 (en) 2016-03-04 2018-07-31 Apple Inc. Situationally-aware alerts
CN105809003B (zh) * 2016-03-10 2018-03-27 广东欧珀移动通信有限公司 一种指纹识别的终端屏幕解锁方法及终端
CN107832596B (zh) 2016-03-14 2020-12-15 Oppo广东移动通信有限公司 一种解锁控制方法及终端设备和相关介质产品
US20170269687A1 (en) * 2016-03-17 2017-09-21 Google Inc. Methods and apparatus to provide haptic feedback for computing devices
US10268272B2 (en) 2016-03-31 2019-04-23 Apple Inc. Dampening mechanical modes of a haptic actuator using a delay
EP3242143B1 (en) * 2016-05-02 2023-03-01 Rohde & Schwarz GmbH & Co. KG Measurement apparatus
US10585480B1 (en) 2016-05-10 2020-03-10 Apple Inc. Electronic device with an input device having a haptic engine
KR102492732B1 (ko) * 2016-06-10 2023-01-27 삼성디스플레이 주식회사 표시 장치
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
US10401962B2 (en) 2016-06-21 2019-09-03 Immersion Corporation Haptically enabled overlay for a pressure sensitive surface
KR102460466B1 (ko) * 2016-07-06 2022-10-28 삼성전자주식회사 플렉서블 디스플레이를 포함하는 접철식 전자 장치
KR102359245B1 (ko) * 2016-07-08 2022-02-04 가부시키가이샤 한도오따이 에네루기 켄큐쇼 전자 기기
CN106227634B (zh) 2016-07-08 2017-11-14 广东欧珀移动通信有限公司 一种充电提醒的方法、装置以及终端
US10353485B1 (en) 2016-07-27 2019-07-16 Apple Inc. Multifunction input device with an embedded capacitive sensing layer
JP1583195S (ko) * 2016-07-27 2017-08-07
CN106293211A (zh) * 2016-08-01 2017-01-04 京东方科技集团股份有限公司 触控盖板和触控显示装置
US9921609B2 (en) 2016-08-02 2018-03-20 Immersion Corporation Systems and methods for deformation and haptic effects
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US10416771B2 (en) 2016-08-03 2019-09-17 Apple Inc. Haptic output system for user input surface
US10115544B2 (en) 2016-08-08 2018-10-30 Apple Inc. Singulated keyboard assemblies and methods for assembling a keyboard
US10755877B1 (en) 2016-08-29 2020-08-25 Apple Inc. Keyboard for an electronic device
US10109162B2 (en) 2016-09-01 2018-10-23 Immersion Corporation Haptic effect enabled system using fluid
US9916003B1 (en) * 2016-09-02 2018-03-13 Microsoft Technology Licensing, Llc 3D haptics for interactive computer systems
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US10268273B1 (en) * 2016-09-09 2019-04-23 Apple Inc. Stylus with multiple inputs
US10725544B1 (en) 2016-09-09 2020-07-28 Apple Inc. Pencil haptics
US11500538B2 (en) 2016-09-13 2022-11-15 Apple Inc. Keyless keyboard with force sensing and haptic feedback
US9799279B1 (en) * 2016-09-15 2017-10-24 Essential Products, Inc. Electronic display with a relief
US10268288B1 (en) 2016-09-20 2019-04-23 Apple Inc. Stiffness rendering for a pencil
US10261586B2 (en) 2016-10-11 2019-04-16 Immersion Corporation Systems and methods for providing electrostatic haptic effects via a wearable or handheld device
CN106598391B (zh) * 2016-12-13 2019-02-01 珠海格力电器股份有限公司 一种移动终端的盲操实现方法和装置
DE102016224838A1 (de) * 2016-12-13 2018-06-14 Zf Friedrichshafen Ag Bedienvorrichtung zum Auswählen zumindest einer Getriebestufe eines Fahrzeugs, Fahrzeug mit einer Bedienvorrichtung und Verfahren zum Betreiben einer Bedienvorrichtung
CN107995971A (zh) * 2016-12-29 2018-05-04 深圳市柔宇科技有限公司 智能终端及其控制方法
JP6715192B2 (ja) 2017-01-06 2020-07-01 任天堂株式会社 ゲームシステム、ゲームプログラム、情報処理装置およびゲーム制御方法
JP7043171B2 (ja) * 2017-01-25 2022-03-29 株式会社ジャパンディスプレイ 表示装置
CN206412029U (zh) 2017-01-25 2017-08-15 合肥鑫晟光电科技有限公司 一种膜状结构及柔性显示装置
CN106910427B (zh) * 2017-02-23 2019-11-22 武汉华星光电技术有限公司 一种显示器及其柔性显示屏的平展方法
US10437359B1 (en) 2017-02-28 2019-10-08 Apple Inc. Stylus with external magnetic influence
DE212017000015U1 (de) * 2017-03-03 2018-02-27 Google Llc Systeme zum Detektieren einer unzweckmässigen Implementierung einer Präsentation von Inhaltselementen durch Anwendungen, die auf Client-Geräten ablaufen
CN106843506A (zh) * 2017-03-21 2017-06-13 淮阴师范学院 一种纹理触觉再现接口装置
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US9983678B1 (en) * 2017-05-01 2018-05-29 Immersion Corporation User interface device configured to selectively hide components from tactile perception
US10396272B2 (en) * 2017-05-04 2019-08-27 International Business Machines Corporation Display distortion for alignment with a user gaze direction
CN108874243B (zh) 2017-05-11 2021-11-12 京东方科技集团股份有限公司 触控面板、电子装置及其驱动方法
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
CN107193420B (zh) * 2017-05-25 2020-06-02 京东方科技集团股份有限公司 一种触控器件及制备触控器件的方法
US10627906B2 (en) 2017-06-02 2020-04-21 International Business Machines Corporation Tactile display using microscale electrostatic accelerators
US10353506B2 (en) * 2017-06-16 2019-07-16 Apple Inc. Dual resistive strain and pressure sensor for force touch
EP3646159B1 (en) * 2017-06-28 2021-01-13 Telefonaktiebolaget LM Ericsson (PUBL) Flexible communication device and method for changing the shape of the device
US10572011B2 (en) * 2017-06-30 2020-02-25 Microsoft Technology Licensing, Llc Haptic feedback system
CN107291296A (zh) * 2017-07-03 2017-10-24 京东方科技集团股份有限公司 触控感应结构、工作方法、触控基板、制作方法、触控显示装置
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
CN117270637A (zh) 2017-07-26 2023-12-22 苹果公司 具有键盘的计算机
US10768747B2 (en) 2017-08-31 2020-09-08 Apple Inc. Haptic realignment cues for touch-input displays
CN107770307B (zh) * 2017-09-06 2019-10-22 深圳市金立通信设备有限公司 一种移动终端
US11054932B2 (en) 2017-09-06 2021-07-06 Apple Inc. Electronic device having a touch sensor, force sensor, and haptic actuator in an integrated module
KR102409993B1 (ko) * 2017-09-13 2022-06-15 엘지디스플레이 주식회사 접촉 감응 소자 및 이를 포함하는 표시 장치
US10509473B2 (en) * 2017-09-21 2019-12-17 Paypal, Inc. Providing haptic feedback on a screen
US10768738B1 (en) 2017-09-27 2020-09-08 Apple Inc. Electronic device having a haptic actuator with magnetic augmentation
CN109584719A (zh) 2017-09-28 2019-04-05 京东方科技集团股份有限公司 柔性显示模组及制备方法与弯折方法、电子设备
US10871847B2 (en) * 2017-09-29 2020-12-22 Apple Inc. Sensing force and press location in absence of touch information
WO2019070249A1 (en) 2017-10-04 2019-04-11 Hewlett-Packard Development Company, L.P. USER INTERFACES WITH STRAIN SENSORS
USD893475S1 (en) * 2017-10-11 2020-08-18 Samsung Display Co., Ltd. Display device
USD885381S1 (en) * 2017-10-11 2020-05-26 Samsung Display Co., Ltd. Display device
JP7155505B2 (ja) 2017-10-23 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
US10866697B2 (en) * 2017-10-24 2020-12-15 Microchip Technology Incorporated Touch-sensitive user-interface including configurable virtual widgets
USD891427S1 (en) * 2017-11-13 2020-07-28 Samsung Display Co., Ltd. Display device
CN110753896A (zh) * 2017-11-16 2020-02-04 深圳市柔宇科技有限公司 一种解锁方法、装置、待解锁设备以及终端设备
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
KR102490861B1 (ko) * 2017-12-14 2023-01-19 엘지디스플레이 주식회사 백 플레이트 및 이를 포함하는 폴더블 표시장치
US10440848B2 (en) * 2017-12-20 2019-10-08 Immersion Corporation Conformable display with linear actuator
JP6964293B2 (ja) * 2018-03-08 2021-11-10 地方独立行政法人神奈川県立産業技術総合研究所 力触覚伝達システム、力触覚伝達方法及びプログラム
US10948370B2 (en) * 2018-04-10 2021-03-16 The Boeing Company Haptic pin field sensor and manipulator
SG11202010752VA (en) 2018-05-02 2020-11-27 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
JP6765394B2 (ja) * 2018-05-22 2020-10-07 京セラ株式会社 測定装置及び測定装置の制御方法
JP6926029B2 (ja) * 2018-05-23 2021-08-25 京セラ株式会社 構造体及び触感呈示装置
US11353967B2 (en) 2018-05-31 2022-06-07 Arkh Litho Holdings, LLC Interacting with a virtual environment using a pointing controller
KR102255793B1 (ko) * 2018-06-14 2021-05-25 삼성전자주식회사 디스플레이 영역의 크기 변경이 가능한 플렉시블 디스플레이를 포함하는 전자 장치 및 그 제어 방법
US10585483B2 (en) * 2018-06-15 2020-03-10 Immersion Corporation Haptic actuator assembly with a pre-load device
US10748389B2 (en) * 2018-06-15 2020-08-18 Immersion Corporation Damping for a haptic actuator
US20190384394A1 (en) * 2018-06-15 2019-12-19 Immersion Corporation Method and apparatus for providing resistive feedback
US10942571B2 (en) 2018-06-29 2021-03-09 Apple Inc. Laptop computing device with discrete haptic regions
KR102072991B1 (ko) * 2018-07-03 2020-02-04 서울대학교산학협력단 구조색을 이용한 무선 센서 및 그의 제조방법
US10976820B2 (en) * 2018-07-12 2021-04-13 Microsoft Technology Licensing, Llc Natural interactions with virtual objects and data through touch
US11360558B2 (en) * 2018-07-17 2022-06-14 Apple Inc. Computer systems with finger devices
DE102018213384A1 (de) * 2018-08-09 2020-02-13 Robert Bosch Gmbh Berührungsempfindliche Oberfläche mit haptischen Elementen
US10936071B2 (en) 2018-08-30 2021-03-02 Apple Inc. Wearable electronic device with haptic rotatable input
CN109324714A (zh) * 2018-09-13 2019-02-12 武汉华星光电半导体显示技术有限公司 Oled触控显示面板
US10613678B1 (en) 2018-09-17 2020-04-07 Apple Inc. Input device with haptic feedback
JP6472109B1 (ja) * 2018-09-20 2019-02-20 株式会社ネットアプリ タッチパネルシステム及び記録媒体
US10966007B1 (en) 2018-09-25 2021-03-30 Apple Inc. Haptic output system
US10691211B2 (en) 2018-09-28 2020-06-23 Apple Inc. Button providing force sensing and/or haptic output
US10599223B1 (en) 2018-09-28 2020-03-24 Apple Inc. Button providing force sensing and/or haptic output
US20200159326A1 (en) * 2018-11-21 2020-05-21 Immersion Corporation Systems and methods for providing haptic feedback related to lifting or manipulating a virtual object
JP2020087207A (ja) * 2018-11-29 2020-06-04 株式会社デンソー 入力装置
CN109669612A (zh) * 2018-11-29 2019-04-23 惠州Tcl移动通信有限公司 移动终端控制方法、装置、移动终端及存储介质
US11068688B2 (en) * 2019-01-04 2021-07-20 Pierre T. Gandolfo Multi-function ultrasonic sensor controller with fingerprint sensing, haptic feedback, movement recognition, 3D positioning and remote power transfer capabilities
KR102562126B1 (ko) 2019-01-04 2023-08-02 삼성전자주식회사 폴더블 디스플레이를 갖는 전자 장치 및 그 제어 방법
KR20210138584A (ko) * 2019-01-31 2021-11-19 베르-헬라 테르모콘트롤 게엠베하 차량용 조작장치
EP3928187A1 (en) 2019-02-18 2021-12-29 Arkh Litho Holdings, LLC Interacting with a smart device using a pointing controller
CN113504866A (zh) * 2019-02-22 2021-10-15 华为技术有限公司 屏幕控制方法、电子设备及存储介质
US10754428B1 (en) * 2019-02-25 2020-08-25 Facebook Technologies, Llc Systems, methods, and devices for audio-tactile mapping
US11027194B2 (en) * 2019-03-01 2021-06-08 Sony Interactive Entertainment Inc. Force feedback to improve gameplay
KR20200109737A (ko) 2019-03-14 2020-09-23 삼성전자주식회사 햅틱 액츄에이터를 포함하는 전자 장치
US10852833B2 (en) * 2019-03-29 2020-12-01 Google Llc Global and local haptic system and mobile devices including the same
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
KR20200126480A (ko) * 2019-04-29 2020-11-09 삼성디스플레이 주식회사 폴딩 부재 및 이를 포함하는 표시 장치
CN110209302B (zh) * 2019-05-31 2024-02-20 武汉天马微电子有限公司 一种显示面板、显示装置和显示面板的使用方法
WO2021005871A1 (ja) * 2019-07-05 2021-01-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10650163B2 (en) * 2019-08-14 2020-05-12 BehavioSec Inc Bot detection and access grant or denial based on bot identified
US11380470B2 (en) 2019-09-24 2022-07-05 Apple Inc. Methods to control force in reluctance actuators based on flux related parameters
EP4034974A4 (en) 2019-09-24 2024-01-03 Arkh, Inc. SMART RING
EP4036690A4 (en) * 2019-09-25 2022-11-09 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, SERVER DEVICE AND PROGRAM
KR20210038108A (ko) * 2019-09-30 2021-04-07 삼성전자주식회사 햅틱 액츄에이터를 포함하는 전자 장치
DE102019126754A1 (de) * 2019-10-04 2021-04-08 Audi Ag Gebogenes OLED-Display mit Bedienelement in einem Faltbereich
CN110955368B (zh) * 2019-11-06 2022-04-29 维沃移动通信有限公司 屏幕形变控制方法和电子设备
US12009576B2 (en) 2019-12-03 2024-06-11 Apple Inc. Handheld electronic device
CN110728916B (zh) * 2019-12-05 2022-03-01 京东方科技集团股份有限公司 一种折叠屏及显示装置
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
CN111176455B (zh) * 2020-01-07 2021-01-19 北京航空航天大学 一种温度和纹理一致性呈现的柔性触觉反馈装置
US20210232308A1 (en) 2020-01-28 2021-07-29 Immersion Corporation Systems, devices, and methods for providing localized haptic effects
US11755111B2 (en) 2020-03-16 2023-09-12 Arkh, Inc. Spatially aware computing hub and environment
US11093005B1 (en) 2020-05-05 2021-08-17 International Business Machines Corporation Virtual reality rollable display device
KR102324562B1 (ko) 2020-05-07 2021-11-11 삼성전자주식회사 플렉서블 디스플레이를 포함하는 전자 장치
EP4150411A1 (en) * 2020-05-13 2023-03-22 Apple Inc. Wearable electronic device with glass shell
US11024135B1 (en) 2020-06-17 2021-06-01 Apple Inc. Portable electronic device having a haptic button assembly
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
WO2022058738A1 (en) 2020-09-17 2022-03-24 Ultraleap Limited Ultrahapticons
US11455039B2 (en) * 2020-09-17 2022-09-27 Rockwell Collins, Inc. Advanced haptics in touchscreen avionics lower level device simulators
US11460293B2 (en) * 2020-09-25 2022-10-04 Apple Inc. Surface quality sensing using self-mixing interferometry
USD1009861S1 (en) 2020-09-25 2024-01-02 Arkh, Inc. Smart ring
CN112331080A (zh) * 2020-11-10 2021-02-05 四川长虹电器股份有限公司 一种可卷曲柔性屏
US11819999B2 (en) * 2021-01-27 2023-11-21 Toyota Research Institute, Inc. Input devices having a deformable membrane and methods of using the same
US11977683B2 (en) 2021-03-12 2024-05-07 Apple Inc. Modular systems configured to provide localized haptic feedback using inertial actuators
CN113093948B (zh) * 2021-04-28 2024-03-01 东南大学 一种柔性触觉式移动机器人操作输入装置及交互方法
CN113687713B (zh) * 2021-07-14 2023-07-18 北京航空航天大学 一种纹理呈现装置及其制造方法
US11809631B2 (en) 2021-09-21 2023-11-07 Apple Inc. Reluctance haptic engine for an electronic device
DE102021005263A1 (de) 2021-10-21 2023-04-27 Giesecke+Devrient Mobile Security Gmbh Kartenförmiger Datenträger für sehbehinderte Personen und Verfahren zum Betreiben eines kartenförmigen Datenträgers
US11954256B2 (en) * 2021-12-17 2024-04-09 Google Llc Haptic interface for computing devices
US11921929B2 (en) * 2022-02-24 2024-03-05 Electronics And Telecommunications Research Institute Stereoscopic surface display device and operation method of the same
WO2023179879A1 (en) * 2022-03-25 2023-09-28 Telefonaktiebolaget Lm Ericsson (Publ) Haptic profiles for electronic devices
CN114706496B (zh) * 2022-04-19 2023-08-01 业成科技（成都）有限公司 触控显示模组、电子设备和监控方法
US11907427B1 (en) * 2022-08-31 2024-02-20 Fca Us Llc Display with localized haptic response

Family Cites Families (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4330730A (en) 1980-03-27 1982-05-18 Eastman Kodak Company Wound piezoelectric polymer flexure devices
US5631861A (en) 1990-02-02 1997-05-20 Virtual Technologies, Inc. Force feedback and texture simulating interface device
DE4012267A1 (de) 1990-03-13 1991-11-28 Joerg Fricke Geraet zur tastbaren darstellung von information
US5717423A (en) 1994-12-30 1998-02-10 Merltec Innovative Research Three-dimensional display
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US7800592B2 (en) 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP2000148393A (ja) 1998-11-06 2000-05-26 Minolta Co Ltd 視触覚情報伝達装置
US20040217877A1 (en) 1999-05-04 2004-11-04 William Kokonaski Flexible electronic display and wireless communication system
CA2271416A1 (en) 1999-05-10 2000-11-10 Vincent Hayward Electro-mechanical transducer suitable for tactile display and article conveyance
US7561142B2 (en) 1999-07-01 2009-07-14 Immersion Corporation Vibrotactile haptic feedback devices
US6337678B1 (en) 1999-07-21 2002-01-08 Tactiva Incorporated Force feedback computer input and output device with coordinated haptic elements
US6496200B1 (en) 1999-11-02 2002-12-17 Interval Research Corp. Flexible variation of haptic interface resolution
US6509892B1 (en) * 1999-12-17 2003-01-21 International Business Machines Corporation Method, system and program for topographical interfacing
AU2001259203A1 (en) * 2000-04-28 2001-11-12 Texas Tech University Haptic virtual environments
AU2001264961A1 (en) * 2000-05-24 2001-12-03 Immersion Corporation Haptic devices using electroactive polymers
DE10046099A1 (de) * 2000-09-18 2002-04-04 Siemens Ag Berührungssensitive Anzeige mit taktiler Rückkopplung
US6303008B1 (en) 2000-09-21 2001-10-16 Delphi Technologies, Inc. Rotating film carrier and aperture for precision deposition of sputtered alloy films
JP2002157087A (ja) 2000-11-20 2002-05-31 Sony Corp 入力装置
WO2002047363A2 (en) 2000-12-05 2002-06-13 E Ink Corporation Portable eclectronic apparatus with additional electro-optical display
US20020108439A1 (en) 2001-02-14 2002-08-15 Whitehead Dennis D. Systems and methods for displaying status of consumable resource
US6819316B2 (en) 2001-04-17 2004-11-16 3M Innovative Properties Company Flexible capacitive touch sensor
US7409441B2 (en) * 2001-05-18 2008-08-05 Sony Computer Entertainment Inc. Display apparatus for accessing desired web site
JP4934924B2 (ja) 2001-08-09 2012-05-23 パナソニック株式会社 強誘電体アクチュエータ素子およびその製造方法
US7254775B2 (en) 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
US6819304B2 (en) 2001-10-11 2004-11-16 International Business Machines Corporation Adjustable display device with display adjustment function and method therefor
DE60209776T2 (de) 2001-12-12 2006-10-19 Koninklijke Philips Electronics N.V. Anzeigensystem mit taktiler führung
US7352356B2 (en) 2001-12-13 2008-04-01 United States Of America Refreshable scanning tactile graphic display for localized sensory stimulation
JP3824529B2 (ja) 2001-12-21 2006-09-20 アルプス電気株式会社 入力装置
US7009595B2 (en) 2002-01-03 2006-03-07 United States Of America Extended refreshable tactile graphic array for scanned tactile display
JP2003288158A (ja) 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
JP2003280546A (ja) 2002-03-27 2003-10-02 Matsushita Electric Ind Co Ltd 自己変形型フレキシブルディスプレイ及びそれを用いた情報処理端末
JP4447823B2 (ja) * 2002-06-14 2010-04-07 ソニー株式会社 携帯情報機器
JP2004029999A (ja) * 2002-06-24 2004-01-29 Matsushita Electric Ind Co Ltd 力触覚ディスプレイハンドおよびその製造方法
EP1376316A1 (en) * 2002-06-26 2004-01-02 BRITISH TELECOMMUNICATIONS public limited company Haptic communications
JP2004071765A (ja) * 2002-08-05 2004-03-04 Sony Corp 電気粘性流体装置及び電子機器
US7161590B2 (en) 2002-09-04 2007-01-09 John James Daniels Thin, lightweight, flexible, bright, wireless display
US7138985B2 (en) 2002-09-25 2006-11-21 Ui Evolution, Inc. Tactilely enhanced visual image display
US6940485B2 (en) 2003-01-15 2005-09-06 Xerox Corporation Flexible micron-thin display device
US6964201B2 (en) 2003-02-25 2005-11-15 Palo Alto Research Center Incorporated Large dimension, flexible piezoelectric ceramic tapes
DE10324579A1 (de) 2003-05-30 2004-12-16 Daimlerchrysler Ag Bedienvorrichtung
WO2005020190A2 (en) 2003-08-11 2005-03-03 Virtualblue, Llc Rectractable flexible digital display apparatus
DE10340188A1 (de) * 2003-09-01 2005-04-07 Siemens Ag Bildschirm mit einer berührungsempfindlichen Bedienoberfläche zur Befehlseingabe
US7245292B1 (en) 2003-09-16 2007-07-17 United States Of America As Represented By The Secretary Of The Navy Apparatus and method for incorporating tactile control and tactile feedback into a human-machine interface
US20080297878A1 (en) 2003-10-01 2008-12-04 Board Of Regents, The University Of Texas System Compositions, methods and systems for making and using electronic paper
JP4341360B2 (ja) 2003-10-03 2009-10-07 日本ビクター株式会社 表示装置
JP2005182687A (ja) * 2003-12-24 2005-07-07 Canon Inc 表示と入力の少なくとも一方を行なうための装置
JP2006011646A (ja) 2004-06-23 2006-01-12 Pioneer Electronic Corp 触覚表示装置及び触覚表示機能付タッチパネル装置
US8589156B2 (en) * 2004-07-12 2013-11-19 Hewlett-Packard Development Company, L.P. Allocation of speech recognition tasks and combination of results thereof
JP2006053678A (ja) * 2004-08-10 2006-02-23 Toshiba Corp ユニバーサルヒューマンインタフェースを有する電子機器
JP2006154380A (ja) 2004-11-30 2006-06-15 Victor Co Of Japan Ltd 表示装置
KR100590576B1 (ko) * 2004-12-28 2006-11-23 삼성전자주식회사 영상의 촉각 제공 장치 및 방법
US7382357B2 (en) 2005-04-25 2008-06-03 Avago Technologies Ecbu Ip Pte Ltd User interface incorporating emulated hard keys
EP1920408A2 (en) 2005-08-02 2008-05-14 Ipifini, Inc. Input device having multifunctional keys
US7625287B2 (en) * 2005-10-05 2009-12-01 Nintendo Co., Ltd. Driving game steering wheel simulation method and apparatus
JP2007121765A (ja) 2005-10-28 2007-05-17 Pioneer Electronic Corp 表示制御装置、表示方法、表示プログラムおよび記録媒体
US7639237B2 (en) 2006-03-03 2009-12-29 Perkins Michael T Roll-out touch screen support system (ROTS3)
US20080035306A1 (en) * 2006-08-08 2008-02-14 White John M Heating and cooling of substrate support
TWI306051B (en) * 2006-12-14 2009-02-11 Ind Tech Res Inst Robotic apparatus with surface information displaying and interaction capability
WO2008130621A1 (en) 2007-04-20 2008-10-30 White Electronic Designs Corp. Bezelless display system
US20080266273A1 (en) 2007-04-24 2008-10-30 White Electronic Designs Corp. Interactive display system
US9823833B2 (en) 2007-06-05 2017-11-21 Immersion Corporation Method and apparatus for haptic enabled flexible touch sensitive surface
US20090002328A1 (en) * 2007-06-26 2009-01-01 Immersion Corporation, A Delaware Corporation Method and apparatus for multi-touch tactile touch panel actuator mechanisms
US20090015560A1 (en) 2007-07-13 2009-01-15 Motorola, Inc. Method and apparatus for controlling a display of a device
JP2009098899A (ja) * 2007-10-16 2009-05-07 Toyota Motor Corp 情報提示装置
US8232976B2 (en) * 2010-03-25 2012-07-31 Panasonic Corporation Of North America Physically reconfigurable input and output systems and methods
US20090115734A1 (en) * 2007-11-02 2009-05-07 Sony Ericsson Mobile Communications Ab Perceivable feedback
ATE495485T1 (de) 2007-11-16 2011-01-15 Research In Motion Ltd Touchscreen für ein elektronisches gerät
US10488926B2 (en) * 2007-11-21 2019-11-26 Immersion Corporation Method and apparatus for providing a fixed relief touch screen with locating features using deformable haptic surfaces
US8004501B2 (en) * 2008-01-21 2011-08-23 Sony Computer Entertainment America Llc Hand-held device with touchscreen and digital tactile pixels
US20100250071A1 (en) * 2008-03-28 2010-09-30 Denso International America, Inc. Dual function touch switch with haptic feedback
US9829977B2 (en) * 2008-04-02 2017-11-28 Immersion Corporation Method and apparatus for providing multi-point haptic feedback texture systems
US8174372B2 (en) 2008-06-26 2012-05-08 Immersion Corporation Providing haptic feedback on a touch surface
US20100013613A1 (en) * 2008-07-08 2010-01-21 Jonathan Samuel Weston Haptic feedback projection system
EP2741177B1 (en) * 2008-07-15 2019-06-26 Immersion Corporation Systems and Methods for Transmitting Haptic Messages
US8947320B2 (en) * 2008-09-08 2015-02-03 Qualcomm Incorporated Method for indicating location and direction of a graphical user interface element
US8836611B2 (en) 2008-09-08 2014-09-16 Qualcomm Incorporated Multi-panel device with configurable interface
US8427433B2 (en) 2008-10-17 2013-04-23 Honeywell International Inc. Tactile-feedback touch screen
KR101521219B1 (ko) * 2008-11-10 2015-05-18 엘지전자 주식회사 플렉서블 디스플레이를 이용하는 휴대 단말기 및 그 제어방법
US20100117809A1 (en) 2008-11-11 2010-05-13 Motorola Inc. Display module with piezoelectric haptics
US8368658B2 (en) * 2008-12-02 2013-02-05 At&T Mobility Ii Llc Automatic soft key adaptation with left-right hand edge sensing
US9600070B2 (en) * 2008-12-22 2017-03-21 Apple Inc. User interface having changeable topography
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
US8345013B2 (en) * 2009-01-14 2013-01-01 Immersion Corporation Method and apparatus for generating haptic feedback from plasma actuation
CA2749984A1 (en) * 2009-01-21 2010-07-29 Bayer Materialscience Ag Electroactive polymer transducers for tactile feedback devices
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
WO2010105012A1 (en) * 2009-03-12 2010-09-16 Immersion Corporation Systems and methods for a texture engine
US9746923B2 (en) * 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
KR20190020180A (ko) 2009-03-12 2019-02-27 임머숀 코퍼레이션 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법
JP5606462B2 (ja) 2009-03-12 2014-10-15 イマージョン コーポレーション テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
KR101885740B1 (ko) * 2009-03-12 2018-08-06 임머숀 코퍼레이션 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
US9927873B2 (en) * 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US7864517B2 (en) * 2009-03-30 2011-01-04 Microsoft Corporation Mobile computer device binding feedback
KR101718680B1 (ko) 2009-05-07 2017-03-21 임머숀 코퍼레이션 햅틱 피드백 모양 변경 디스플레이를 제공하기 위한 방법 및 장치
JP2010282259A (ja) * 2009-06-02 2010-12-16 Panasonic Corp 収音機器および映像表示機器
TW201101137A (en) * 2009-06-29 2011-01-01 J Touch Corp Touch panel with matrix type tactile feedback
WO2011011025A1 (en) * 2009-07-24 2011-01-27 Research In Motion Limited Method and apparatus for a touch-sensitive display
JP5527797B2 (ja) * 2009-08-06 2014-06-25 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 電子機器
US8390594B2 (en) * 2009-08-18 2013-03-05 Immersion Corporation Haptic feedback using composite piezoelectric actuator
EP2315186B1 (en) * 2009-10-26 2016-09-21 Lg Electronics Inc. Mobile terminal with flexible body for inputting a signal upon bending said body
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
WO2011062910A1 (en) 2009-11-17 2011-05-26 Immersion Corporation Systems and methods for a friction rotary device for haptic feedback
CN102725716B (zh) * 2009-12-21 2016-04-13 泰克图斯科技公司 用户界面系统
US9436280B2 (en) * 2010-01-07 2016-09-06 Qualcomm Incorporated Simulation of three-dimensional touch sensation using haptics
US20110216013A1 (en) * 2010-03-05 2011-09-08 Sony Ericsson Mobile Communications Ab Touch-sensitive input device, touch screen device, mobile device and method for operating a touch-sensitive input device
JP2011221676A (ja) * 2010-04-07 2011-11-04 Sony Corp 情報提示装置、触覚提示方法及びプログラム
US9417695B2 (en) * 2010-04-08 2016-08-16 Blackberry Limited Tactile feedback method and apparatus
US8552997B2 (en) * 2010-04-23 2013-10-08 Blackberry Limited Portable electronic device including tactile touch-sensitive input device
JP2011242386A (ja) * 2010-04-23 2011-12-01 Immersion Corp 接触センサと触覚アクチュエータとの透明複合圧電材結合体
US20110261002A1 (en) * 2010-04-27 2011-10-27 Microsoft Corporation Displaying images on solid surfaces
US8791800B2 (en) * 2010-05-12 2014-07-29 Nokia Corporation Detecting touch input and generating perceptible touch stimulus
KR101319347B1 (ko) * 2010-06-10 2013-10-16 엘지디스플레이 주식회사 터치 패널 일체형 액정 표시 장치
KR101677631B1 (ko) * 2010-06-21 2016-11-18 엘지전자 주식회사 이동 단말기 및 이에 구비되는 디스플레이 모듈의 제조방법
FR2964761B1 (fr) * 2010-09-14 2012-08-31 Thales Sa Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores
EP2456175B1 (en) * 2010-11-19 2014-01-15 BlackBerry Limited Portable electronic device including flexible display
US20120133494A1 (en) 2010-11-29 2012-05-31 Immersion Corporation Systems and Methods for Providing Programmable Deformable Surfaces
JP5841175B2 (ja) * 2011-03-21 2016-01-13 アップル インコーポレイテッド フレキシブルディスプレイを伴う電子装置
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
JP5134706B2 (ja) * 2011-05-16 2013-01-30 日本写真印刷株式会社 曲面タッチパネル、その製造方法及び曲面タッチパネル付表示装置
US9176535B2 (en) * 2011-06-03 2015-11-03 Microsoft Technology Licensing, Llc Flexible display flexure assembly
US9563274B2 (en) * 2011-06-10 2017-02-07 Sri International Adaptable input/output device
US20130009882A1 (en) * 2011-07-07 2013-01-10 Nokia Corporation Methods and apparatuses for providing haptic feedback
US20130009892A1 (en) * 2011-07-07 2013-01-10 Nokia, Inc. Methods and apparatuses for providing haptic feedback
US20130016042A1 (en) * 2011-07-12 2013-01-17 Ville Makinen Haptic device with touch gesture interface
CN202205176U (zh) * 2011-07-21 2012-04-25 北京三五九投资有限公司 一种基于压容效应的印刷型柔性触摸显示屏
US9501179B2 (en) * 2011-08-04 2016-11-22 Atmel Corporation Touch sensor for curved or flexible surfaces
US8723824B2 (en) * 2011-09-27 2014-05-13 Apple Inc. Electronic devices with sidewall displays
US8929085B2 (en) * 2011-09-30 2015-01-06 Apple Inc. Flexible electronic devices
SG11201401634RA (en) * 2011-10-21 2014-09-26 Univ Singapore An array of elements forming a human-computer interface device
US9411423B2 (en) 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
JP2013196623A (ja) * 2012-03-22 2013-09-30 Sharp Corp ディスプレイ装置、ディスプレイシステム、およびディスプレイ制御方法、ならびにそのプログラム。
KR20140023066A (ko) * 2012-08-16 2014-02-26 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 피드백 제공 방법
KR102058990B1 (ko) * 2012-09-19 2019-12-24 엘지전자 주식회사 모바일 디바이스 및 그 제어 방법
US20140125471A1 (en) * 2012-11-05 2014-05-08 Advanced Input Devices, Inc. Haptic feedback systems and methods
US20140232679A1 (en) * 2013-02-17 2014-08-21 Microsoft Corporation Systems and methods to protect against inadvertant actuation of virtual buttons on touch surfaces
US9715300B2 (en) * 2013-03-04 2017-07-25 Microsoft Technology Licensing, Llc Touch screen interaction using dynamic haptic feedback
US10628025B2 (en) * 2013-03-15 2020-04-21 Apple Inc. Device, method, and graphical user interface for generating haptic feedback for user interface elements
US9939900B2 (en) * 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
CN109582150A (zh) 2013-04-26 2019-04-05 意美森公司 利用触觉单元阵列模拟有形用户界面交互和手势
EP3144780A1 (en) * 2013-06-11 2017-03-22 Immersion Corporation Systems and methods for pressure-based haptic effects
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170085670A (ko) * 2016-01-15 2017-07-25 한국전자통신연구원 촉감과 온도를 동시에 제공하는 하이브리드 디스플레이 제어 장치 및 방법

Also Published As

Publication number Publication date
US9715281B2 (en) 2017-07-25
KR20160002941A (ko) 2016-01-08
JP6276385B2 (ja) 2018-02-07
JP2018152103A (ja) 2018-09-27
CN105144035B (zh) 2019-03-22
KR20140128275A (ko) 2014-11-05
US20160216767A1 (en) 2016-07-28
JP2014216026A (ja) 2014-11-17
EP2989530A4 (en) 2017-01-25
US20140320396A1 (en) 2014-10-30
EP2989525A1 (en) 2016-03-02
JP6335613B2 (ja) 2018-05-30
EP2989530B1 (en) 2019-08-07
US20160306426A1 (en) 2016-10-20
CN105144052A (zh) 2015-12-09
WO2014176532A1 (en) 2014-10-30
US9405369B2 (en) 2016-08-02
US9971409B2 (en) 2018-05-15
US20190204924A1 (en) 2019-07-04
US9983676B2 (en) 2018-05-29
JP2016520915A (ja) 2016-07-14
EP2989525B1 (en) 2019-09-25
US9335823B2 (en) 2016-05-10
US10248210B2 (en) 2019-04-02
US20180246574A1 (en) 2018-08-30
EP3462297A2 (en) 2019-04-03
EP2796983B1 (en) 2018-11-14
JP6670884B2 (ja) 2020-03-25
CN110069157A (zh) 2019-07-30
CN109582150A (zh) 2019-04-05
EP3575941A1 (en) 2019-12-04
US10503262B2 (en) 2019-12-10
US9405368B2 (en) 2016-08-02
CN104122996A (zh) 2014-10-29
US20180224941A1 (en) 2018-08-09
US20140320436A1 (en) 2014-10-30
WO2014176528A1 (en) 2014-10-30
CN105144052B (zh) 2019-02-15
CN105144035A (zh) 2015-12-09
JP2019197576A (ja) 2019-11-14
EP3462297A3 (en) 2019-07-10
JP2018088264A (ja) 2018-06-07
US20160306427A1 (en) 2016-10-20
JP2016520914A (ja) 2016-07-14
EP2989530A1 (en) 2016-03-02
CN104122996B (zh) 2018-04-24
EP2796983A1 (en) 2014-10-29
US20170285752A1 (en) 2017-10-05
CN108563326A (zh) 2018-09-21
JP2019050003A (ja) 2019-03-28
EP2989525A4 (en) 2016-12-21
US20140320435A1 (en) 2014-10-30

Similar Documents

Publication Publication Date Title
US9983676B2 (en) Simulation of tangible user interface interactions and gestures using array of haptic cells
JP6616546B2 (ja) ストレッチ特性を組み込んだ触覚デバイス
US8963882B2 (en) Multi-touch device having dynamic haptic effects
KR102104463B1 (ko) 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들
CA2731042A1 (en) Portable electronic device and method of controlling same
US20180011538A1 (en) Multimodal haptic effects

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right