KR20140128270A - 접이식 굽힘 가능 디스플레이들과의 상호 작용들을 위한 햅틱 피드백 - Google Patents

접이식 굽힘 가능 디스플레이들과의 상호 작용들을 위한 햅틱 피드백 Download PDF

Info

Publication number
KR20140128270A
KR20140128270A KR1020140050196A KR20140050196A KR20140128270A KR 20140128270 A KR20140128270 A KR 20140128270A KR 1020140050196 A KR1020140050196 A KR 1020140050196A KR 20140050196 A KR20140050196 A KR 20140050196A KR 20140128270 A KR20140128270 A KR 20140128270A
Authority
KR
South Korea
Prior art keywords
haptic
flap
flaps
bending
display
Prior art date
Application number
KR1020140050196A
Other languages
English (en)
Inventor
알리 모다레스
빈센트 레베스크
대니 그랜트
후안 마누엘 크루즈-헤르난데즈
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20140128270A publication Critical patent/KR20140128270A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268—Details of the structure or mounting of specific components for a display module assembly including a flexible display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Telephone Function (AREA)
  • Telephone Set Structure (AREA)

Abstract

플렉서블 장치는 힌지에 의해 연결된 굽힘 가능 플랩들을 가진 굽힘 가능 접이식 디스플레이를 포함한다. 디스플레이는 적어도 2개의 플랩들 간의 접기 특성을 검출하고 적어도 하나의 플랩의 굽힘 특성을 검출하기 위한 센서들을 가진다. 디스플레이는 햅틱 출력 장치들을 가진 햅틱 시스템을 가지며, 햅틱 시스템은 굽힘 가능 접이식 디스플레이 장치의 변형을 나타내는 입력을 센서들로부터 수신한다. 플렉서블 장치는 장치와의 사용자 상호 작용을 확대하기 위해 센서들 및 액추에이터들을 가진 굽힘 가능, 접이식, 또는 말기 가능 디스플레이들을 또한 포함한다. 입력에 의해 제공된 하나 이상의 측정값들에 기초하여, 햅틱 시스템은 입력을 해석해서 굽힘 가능 접이식 디스플레이 장치의 변형 특성들을 결정한다. 햅틱 시스템은 변형 특성들에 기초하여 햅틱 피드백을 생성한다.

Description

접이식 굽힘 가능 디스플레이들과의 상호 작용들을 위한 햅틱 피드백{HAPTIC FEEDBACK FOR INTERACTIONS WITH FOLDABLE-BENDABLE DISPLAYS}
<관련 출원 상호 참조>
본 출원은, 2013년 4월 26일에 출원된, 임시 특허 출원 번호 제61/816,605호의 우선권을 주장하여, 그 내용이 본 명세서에서 참조용으로 원용된다.
일 실시예는 햅틱-지원(heptically-enabled) 장치에 관한 것이다. 특히, 일 실시예는 햅틱-지원 접이식 굽힘 가능 디스플레이에 관한 것이다.
전자 장치 제조사들은 사용자들을 위해 풍부한 인터페이스를 만들려고 노력하고 있다. 종래의 장치들은 시각 및 청각 큐들을 사용해서 사용자에게 피드백을 제공한다. 일부 사용자 인터페이스들에서, 보다 일반적으로 총괄하여 "햅틱 피드백" 또는 "햅틱 효과들"로 알려져 있는 신체 감각 피드백(예를 들어, 활동력 및 저항력 피드백) 및/또는 촉각 피드백(예를 들어, 진동, 촉감 및 열)이 또한 사용자에게 제공된다. 햅틱 피드백은 사용자 인터페이스를 향상시키고 간소화시키는 큐들을 제공할 수 있다. 예를 들어, 사용자에게 특정 이벤트들을 알리거나 시뮬레이션 또는 가상 환경 내에서 더 큰 감각 몰입을 생성하기 위한 현실적인 피드백을 제공하기 위한 큐들을 전자 장치들의 사용자들에게 제공함에 있어, 진동 효과들 또는 진동 촉각 햅틱 효과들이 유용할 수 있다.
진동 또는 다른 효과들을 생성하기 위해, 다수의 장치들은 소정 타입의 액추에이터 또는 햅틱 출력 장치를 사용한다. 이러한 목적을 위해 사용된 공지된 액추에이터들은 솔레노이드 액추에이터 등의 전자기 액추에이터, 편심 질량이 모터에 의해 이동되는 ERM(Eccentric Rotating Mass) 액추에이터, LRA(Linear Resonant Actuator) 진동 모터, 전기 활성 고분자(electro-active polymer) 액추에이터 또는 압전 액추에이터 등을 포함한다. 신체 감각 피드백 액추에이터들은 장치의 기계적인 이동을 통해 햅틱 피드백을 제공하는데 사용될 수 있다.
일 실시예는 힌지에 의해 연결된 적어도 2개의 플랩들을 가진 굽힘 가능 접이식 디스플레이이며, 각각의 플랩은 굽힘 가능하다. 디스플레이는 적어도 2개의 플랩들 간의 접기(folding) 특성을 검출하고 적어도 하나의 플랩의 굽힘(bending) 특성을 검출하기 위한 센서들을 가진다. 디스플레이는 햅틱 출력 장치들을 가진 햅틱 시스템을 가지며, 햅틱 시스템은 굽힘 가능 접이식 디스플레이 장치의 변형을 나타내는 입력을 센서들로부터 수신한다. 입력에 의해 제공된 하나 이상의 측정값들에 기초하여, 햅틱 시스템은 입력을 해석해서 굽힘 가능 접이식 디스플레이 장치의 변형 특성들을 결정한다. 햅틱 시스템은 변형 특성들에 기초하여 햅틱 피드백을 생성한다.
일 실시예는 적어도 굽힘 가능하거나, 접이식이거나, 말 수 있는 플렉서블 디스플레이이다. 디스플레이는 디스플레이의 변형 또는 시도된 변형을 검출하기 위한 센서들을 가진다. 디스플레이는 하나 이상의 햅틱 출력 장치들을 가진 햅틱 시스템을 포함한다. 햅틱 시스템은 플렉서블 디스플레이 장치의 변형을 나타내는 입력을 하나 이상의 센서들로부터 수신한다. 입력에 기초하여, 햅틱 시스템은 입력을 해석해서 플렉서블 디스플레이 장치의 변형 특성들을 결정한다. 햅틱 시스템은 변형 특성들에 기초하여 햅틱 피드백을 생성한다.
도 1은 본 발명의 일 실시예에 따른 햅틱-지원 시스템의 도면이다.
도 2는 일 실시예의 변형 특성과 연관된 동작을 도시한다.
도 3은 일 실시예의 변형 특성과 연관된 동작을 도시한다.
도 4는 일 실시예의 변형 특성과 연관된 동작을 도시한다.
도 5는 일 실시예의 변형 특성과 연관된 동작을 도시한다.
도 6은 일부 실시예들에 따른 접이식 굽힘 가능 장치에서의 햅틱 피드백의 제공을 도시한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 햅틱-지원 시스템의 블록도이다.
도 8은 일부 실시예들에 따른 플렉서블 장치에서의 햅틱 피드백의 확대를 도시한 흐름도이다.
도 9는 일 실시예의 변형 특성과 연관된 동작을 도시한다.
도 10은 일부 실시예들에 따른 플렉서블 장치에서의 햅틱 피드백의 제공을 도시한 흐름도이다.
도 11은 일부 실시예들에 따른 플렉서블 장치에서의 햅틱 피드백의 제공을 도시한 흐름도이다.
도 12는 일부 실시예들에 따른 플렉서블 장치에서의 햅틱 피드백의 제공을 도시한 흐름도이다.
플렉서블 디스플레이들은 차세대 스마트폰들의 가장 기대되는 특징들 중 하나이며, 지난 몇 년 동안 산업계 및 학계에서 많은 이목을 끌어 왔다. 플렉서블 디스플레이들은 다수의 상호 작용들을 가능케 할 수 있다. 접이식 디스플레이들은 디스플레이에서의 픽셀 표현의 파손을 야기하지 않고 매끄러운 힌지 등을 가질 수 있다. 말기 가능 디스플레이들(rollable displays)은 유연하거나 또는 특정 곡선 형태에 순응할 수 있다. 말기 가능 디스플레이들은 또한 단일 방향으로 굽힘 가능 디스플레이로서 이해될 수 있다. 햅틱 피드백은 이러한 장치들에 포함될 수 있다.
일 실시예는 접이식인 동시 굽힘 가능 디스플레이 장치에서 검출된 제스처들 및 조작과 연관된 햅틱 피드백을 제공하는 시스템이다. 사용자는, 하나 이상의 플랩들을 굽히거나 휘는 것 또는 플랩들 간의 열린 각도(angle of the opening)를 변경하는 것을 포함해서, 디스플레이를 변형함으로써 장치에서 실행중인 애플리케이션과 상호 작용할 수 있다. 시스템은 변형을 특징지어서 사용자의 동작 또는 제스처로 해석하고 적합한 햅틱 피드백 응답을 제공할 수 있다. 일 실시예에서, 이-리더 애플리케이션(e-reader application)에서 책의 페이지를 넘기는 것과 유사한 제스처의 경우, 디스플레이는 다음 페이지로 변경할 수 있으며, 햅틱 피드백은 디스플레이에서 페이지가 변경되었음을 의미하도록 제공될 수 있다. 일 실시예에서, 책의 모서리를 부채질하는 것과 유사한 제스처의 경우, 디스플레이는 현재 페이지로부터 다수의 페이지들이 넘어간 페이지로 변경할 수 있으며, 햅틱 피드백은 변경된 페이지를 디스플레이하기 전에 다수의 페이지들이 넘겨졌음을 의미하도록 제공될 수 있다. 일 실시예에서, 신체 감각 피드백은 굽힘 가능 표면을 더 단단하게 할 수 있으며, 또는 굽힘 가능 표면은 본래 꽤 단단할 수 있다. 따라서, 사용자는 실제 변형이 발생하지 않으면서 압력을 가할 수 있다. 감각 시스템은 사용자에 의해 가해진 힘/압력을 포착할 수 있으며, 사용자에 의한 이러한 상호 작용들, 즉, 변형이라고 할 정도는 아니지만 가해진 힘에 대한 진동 촉각 또는 다른 타입의 "햅틱 응답"을 여전히 제공할 수 있다.
다른 실시예에서, 시스템은 굽힘 가능 접이식 디스플레이의 각각의 플랩에서 다수의 객체들을 나란히 나타낼 수 있다. 시스템은 제시된 객체들에 대한 물리적 속성 정보를 사용해서, 플랩들과 상호 작용하는 사용자에 응답해서 신체 감각 피드백을 제공하여, 객체들의 물리적 속성 정보에 따라 디스플레이의 굽힘성(bendability)(견고성(stiffness)) 특성들을 변경할 수 있다.
다른 실시예에서, 책을 닫는 것과 유사한 제스처의 경우, 시스템은 플랩들을 함께 닫는 동작을 검출할 수 있으며, 플랩들을 완전히 닫기 전에, 플랩들이 닫히게 야기하고 책을 닫는 것과 같이 딱 하는 스냅 느낌의 햅틱 피드백을 제공할 수 있다. 일 실시예에서, 책을 여는 것과 유사한 제스처의 경우, 시스템은 플랩들을 따로 여는 동작을 검출할 수 있으며, 플랩들을 완전히 열기 전에, 플랩들이 열리게 야기하고 책을 여는 것과 같이 딱딱거리는 느낌의 햅틱 피드백을 제공할 수 있다.
다른 실시예는 플렉서블 디스플레이에서 검출된 제스처들 및 조작과 연관된 확대된 햅틱 피드백을 제공하는 시스템이다. 햅틱 경험의 강화는 프로그래밍 가능한 진동 촉각 및 신체 감각 피드백 햅틱을 통해 플렉서블 디스플레이들의 연속 (아날로그) 변형 입력 치수들과 관련된 자연스러운 햅틱을 확대함으로써 달성될 수 있다.
다른 실시예는 목표 상호 작용에 기초하여 디스플레이의 탄성(elasticity) 또는 변형성(deformability)을 조정하기 위해 플렉서블 디스플레이와 연관된 신체 감각 피드백 햅틱 피드백을 제공하는 시스템이다. 일부 상호 작용들 및 기능들은 스크린이 더 견고해지거나 또는 심지어 단단해질 것을 요구할 수 있으며, 다른 상호 작용들 및 기능들은 인터페이스의 더 높은 유연성(flexibiltiy)/부드러움(softness)에 의해 더 용이하게 된다. 실시예들은 목표 상호 작용에 따라 디스플레이의 탄성 또는 변형성을 조정하기 위한 프로그래밍 가능한 햅틱 견고성 제어 메커니즘을 기술한다.
다른 실시예는 플렉서블 디스플레이의 형태 변경 기능들을 제공하는 시스템이다. 특정 형태를 취하는 목적들은 특정 기능 또는 애플리케이션에 더 적합한 형식을 취하는 기능을 포함할 수 있으며, 따라서, 기하학적 형태를 통해 특정 정보를 디스플레이하기 위해, 특정 물리적 형태로만 실현 가능한 기능들을 가능케 하기 위해, 또는 장치가 가상 객체의 물리적 표현으로서 작용하는 경우에, 그 형태를 모방함으로써 대상 객체의 더 현실적인 시뮬레이션을 내놓기 위해 인터페이스와의 사용자 상호 작용들을 용이하게 한다.
도 1은 본 발명의 일 실시예에 따른 햅틱-지원 시스템(10)의 블록도이다. 시스템(10)은 하우징(15) 내에 장착된 터치 센서티브 접이식 굽힘 가능 표면(11) 또는 다른 타입의 사용자 인터페이스를 포함하고, 2개의 플랩들 간에 기계적인 키들/버튼들(13) 및 힌지(14)를 포함할 수 있다. 시스템(10) 내부에는 시스템(10)에서 진동들을 생성하는 햅틱 피드백 시스템이 있다. 일 실시예에서, 진동들은 터치 표면(11)에서 생성된다.
햅틱 피드백 시스템은 프로세서 또는 제어기(12)를 포함한다. 액추에이터(18)에 연결된 액추에이터 구동 회로(16) 및 메모리(20)가 프로세서(12)에 연결된다. 액추에이터(18)는 ERM(an Eccentric Rotating Mass), LRA(a Linear Resonant Actuator vibration motor), 압전 모터 또는 솔레노이드 액추에이터를 포함하지만 이들로만 제한되지 않은 임의의 타입의 직류("DC") 모터일 수 있다. 액추에이터(18) 외에 또는 그 대신에, 시스템(10)은 정전기 마찰("ESF"), 초음파 표면 마찰("USF")을 생성하는 장치들, 초음파 햅틱 트랜스듀서로 음향 방사 압력을 유도하는 장치들, 햅틱 기판 및 플렉서블 또는 변형 가능한 표면 또는 형태 변경 장치들을 사용하고 사용자의 몸에 부착될 수 있는 장치들, 공기 분사를 사용하는 공기의 퍼프 등의 계획된 햅틱 출력을 제공하는 장치들, 전기 근육 자극을 제공하는 장치들 등의 비-기계적 또는 진동 촉각 햅틱 장치들일 수 있는 다른 타입들의 햅틱 출력 장치들(도시되지 않음)을 포함할 수 있다.
프로세서(12)는 임의의 타입의 범용 프로세서일 수 있으며, 또는 주문형 반도체("ASIC") 등의 햅틱 효과들을 제공하도록 구체적으로 설계된 프로세서일 수 있다. 프로세서(12)는 전체 시스템(10)을 동작시키는 동일한 프로세서일 수 있으며, 또는 별개의 프로세서일 수 있다. 프로세서(12)는 어떤 햅틱 효과들이 재생될 것인 지와 고 수준 파라미터들에 기초하여 효과들이 재생되는 순서를 결정할 수 있다. 일반적으로, 특정 햅틱 효과를 정의하는 고 수준 파라미터들은 크기, 빈도 및 지속 기간을 포함한다. 스트리밍 모터 커맨드들 등의 저 수준 파라미터들이 특정 햅틱 효과를 결정하는데 또한 사용될 수 있다. 햅틱 효과가 생성될 때의 파라미터들의 일부 변화 또는 사용자의 상호 작용에 기초한 파라미터들의 변화를 포함하면, 햅틱 효과는 "동적"이라고 생각될 수 있다.
프로세서(12)는 희망 햅틱 효과들을 야기하기 위해 필요한 전기 전류 및 전압(즉, "모터 신호들")을 액추에이터(18)에 제공하는데 사용되는 전자 컴포넌트들 및 회로를 포함하는 액추에이터 구동 회로(16)에 제어 신호들을 출력한다. 햅틱 효과들이 비디오 파일 등의 멀티미디어 파일의 재생에 대응하는 실례들에서, 프로세서(12)는 햅틱 구동 회로에 햅틱 제어 신호를 제공할 수 있다. 시스템(10)은 하나 보다 많은 액추에이터(18)를 포함할 수 있으며, 각각의 액추에이터는 모두 공통 프로세서(12)에 연결된 별개의 구동 회로(16)를 포함할 수 있다. 메모리 장치(20)는 랜덤 액세스 메모리("RAM") 또는 판독 전용 메모리("ROM") 등의 임의의 타입의 기억 장치 또는 컴퓨터 판독 가능 매체일 수 있다. 메모리(20)는 프로세서(12)에 의해 실행되는 명령어들을 저장한다. 명령어들 중에, 메모리(20)는, 더 상세히 후술되는 바와 같이, 프로세서(12)에 의해 실행될 때, 햅틱 효과들을 제공하는 액추에이터(18)용 구동 신호들을 생성하는 명령어들인 햅틱 효과 모듈(22)을 포함한다. 메모리(20)는 또한 프로세서(12) 내부에 위치할 수 있으며, 또는 내부 및 외부 메모리의 임의의 조합일 수 있다.
터치 표면(11)은 사용자에 의해 제공된 터치들 등의 터치들을 인식하고, 또한, 위치, 압력 크기 및 표면에서의 터치들의 지속 기간 중 임의의 것을 인식할 수 있다. 터치들에 대응하는 데이터는 프로세서(12) 또는 시스템(10) 내의 다른 프로세서에 송신되고, 프로세서(12)는 터치들을 해석하며 응답으로 햅틱 효과 신호들을 생성한다. 터치 표면(11)은 용량형 감지, 저항성 감지, 표면 음파 감지, 압력 감지, 광 감지 등을 포함하는 임의의 감지 기술을 사용해서 터치들을 감지할 수 있다. 터치 표면(11)은 멀티-터치 접촉들을 감지할 수 있으며, 다수의 터치들 및 동시에 발생하는 터치들의 위치를 구별할 수 있다. 터치 표면(11)은 키들, 다이얼들 등의 사용자가 상호 작용하기 위한 이미지들을 생성 및 디스플레이하는 터치스크린일 수 있으며, 또는 최소 이미지들을 갖거나 또는 이미지들이 없는 터치패드일 수 있다.
시스템(10)은, 무엇보다, 상호 작용들 중에 변형 크기를 측정하기 위한 스트레인 게이지 센서들, 플렉서블 디스플레이 구조들에 가해진 힘/응력을 측정하기 위한 힘 감지 저항기("FSR") 센서들, 터치-지원 디스플레이의 단일 또는 다중 터치 입력들의 위치를 검출하기 위한 멀티-터치 터치 센서들, 각각의 터치 위치에서 가해진 압력을 측정하기 위한 멀티-터치 압력 센서들, 환경 조건들을 포착하기 위한 온도/습도/기압 센서들, 디스플레이의 움직임, 속도, 가속도 및 방향을 특징짓기 위한 가속도계/자이로스코프/자력계, 사용자의 음성 커맨드 또는 환경 오디오 정보를 포착하기 위한 마이크, 및 다른 장치들과 무선으로 정보를 수신/송신하기 위한 무선 송신기들을 포함하는 도 1에 도시된 접이식 굽힘 가능 디스플레이와의 상호 작용들을 감지하기 위한 센서(17) 등의 각종 센서들을 포함할 수 있다. 센서(17)에 대응하는 데이터는 프로세서(12) 또는 시스템(10) 내의 다른 프로세서에 송신되고, 프로세서(12)는 센서 데이터를 해석하여 응답으로 햅틱 효과 신호들을 생성한다.
상술된 액추에이터들 외에, 시스템(10)은 EAP(Electro Active Polymer) 액추에이터들, 지능형 유체 액추에이터들, 유동성 유체 액추에이터들, MFC(Macro-Fiber Composite) 액추에이터들, SMA(Shape Memory Alloy) 액추에이터들, 압전 액추에이터들, 및 MEMS(Micro-Electro-Mechanical System) 액추에이터들을 포함하는 플렉서블, 반강성(semi-rigid), 또는 단단한 액추에이터들을 포함하는 진동 촉각 또는 신체 감각 피드백을 제공하기 위한 각종 액추에이터들을 포함할 수 있다.
시스템(10)은 휴대 전화, 개인 휴대 정보 단말기("PDA"), 스마트폰, 컴퓨터 태블릿, 게임 콘솔, 차량 기반 인터페이스 등의 핸드헬드 장치일 수 있으며, 또는 하나 이상의 액추에이터들을 포함하는 햅틱 효과 시스템을 포함하는 임의의 다른 타입의 접이식 굽힘 가능 장치일 수 있다. 사용자 인터페이스는 터치 센서티브 표면일 수 있으며, 또는 마우스, 터치패드, 미니-조이스틱, 스크롤 휠, 트랙볼, 게임 패드들 또는 게임 제어기들 등의 임의의 다른 타입의 사용자 인터페이스일 수 있다. 하나 보다 많은 액추에이터를 가진 실시예들에서, 회전 기능을 가진 각각의 액추에이터는 장치에서 광범위한 햅틱 효과들을 생성하기 위해 상이한 회전 기능을 가질 수 있는데, 예를 들어, 각각의 액추에이터는 개별적으로 제어될 수 있고, 또한, 일부 회전 액추에이터들은 다른 회전 액추에이터들의 회전 축에 대해 비스듬한 각도의 회전 축을 가진다. 유사하게, 다른 기능들을 가진 다수의 액추에이터들을 가진 실시예들에서, 각각의 액추에이터는 장치에서 광범위한 햅틱 효과들을 드러내기 위해 개별적으로 제어될 수 있다.
사용자 인터페이싱 햅틱 효과들을 제공하는 것 외에, 시스템(10)은, 예를 들어, 비디오 또는 오디오 파일과 함께 시스템(10)에서의 재생을 위해 정적으로 생성된 햅틱 효과들을 제공할 수 있다.
플렉서블 디스플레이들은 일반적으로 추가 정보 입력 메커니즘으로서 변형을 이용함으로써 다수의 새로운 상호 작용들을 허용한다. 그러나, 플렉서블 디스플레이들과의 변형 상호 작용들로부터 야기된 균일한/연속 피드백은 논-디지털 공간으로부터의 물리적 상호 작용들과 디지털 방식으로 발생하는 이벤트들을 관련시키는 직관적인 메타포들(methaphors)을 제공하지 않을 수 있다. 다시 말해서, 사용자들은, 실제 책들 및 잡지들과 반대로, 전화 및 태블릿의 크기의 작은 평평한 객체들과 논-디지털 공간에서 통상 상호 작용하지 않는다. 실시예들은 햅틱 통신 채널들을 통해 사용자에게 사용자 상호 작용들 및 디지털 환경에 대한 추가 정보를 강요하기 위한 시스템을 제공한다. 실시예들은 사용자 인터페이스 설계 공간을 확장하고, 플렉서블 디스플레이들과의 상호 작용 경험을 강화하며, 변형-기반 제스처들이 더 직관적이고 자연스럽게 만든다. 더욱이, 실시예들은 햅틱 형식으로 디지털 세계에 대한 정보를 번역 및 전달하기 위한 효과적인 방법을 제공한다.
단일 표면 플렉서블 디스플레이보다는, 접이식인 동시 굽힘 가능 플렉서블 디스플레이들은 인접한 플랩들에 대하여 단일 힌지 또는 다수의 힌지들 주위에서 돌 수 있는 2개 이상의 "플랩들"(플렉서블 디스플레이들의 서브컴포넌트들 각각)로 구성되며, 각각의 플랩은 또한 굽혀지거나/구부러질 수 있다(국부적으로 변형). 접기 가능인 동시 굽힘 가능한 특성은 실생활에서 특정 사용자 상호 작용 시나리오들을 시뮬레이션하는 메타포들을 가능케 한다. 책들과의 상호 작용들은 이 카테고리의 가장 관련 있는 일례들 중 하나를 나타낸다. 예를 들어, 페이지 "넘김" 제스처는 페이지의 "굽힘성"(국부적 유연성)의 결과이고, 각각의 단일 페이지 또는 페이지들의 집합은 책의 메인 스파인(힌지) 주위의 접는 움직임을 거친다. 실시예들은 굽힘 가능인 동시 접이식 부류의 디스플레이들과의 사용자 인터페이스 상호 작용들을 강화 및 풍부하게 하기 위해 햅틱 피드백을 사용하는 방법들을 제공한다. 따라서, 이러한 디스플레이들과의 상호 작용들을 확대하기 위한 프로그래밍 가능 진동 촉각 및 신체 감각 피드백 햅틱의 이용은 디스플레이의 접이식 및 국부적 굽힘/구부러짐 자유도의 햅틱 제어 및 햅틱 확대를 도입함으로써 달성될 수 있다. 추가 촉각 정보 층의 추가뿐만 아니라 상호 작용의 사실성을 증가시키기 위한 촉각 피드백의 도입은 이러한 장치들의 사용자들에게 장치들과 더 유기적으로 상호 작용하는 기능을 제공한다.
굽힘 가능 접이식 디스플레이들과의 상호 작용들을 확대하고 사용자들의 논-디지털 경험들로부터의 메타포들에 의지하기 위해 프로그래밍 가능한 진동 촉각 및 신체 감각 피드백 햅틱을 이용할 수 있는 특정 실시예들이 이제 기술된다.
실제 책의 페이지를 넘기는 동작은 동시에 스파인 주위를 돌면서(접힘성(foldability)), 페이지의 코너들 또는 모서리를 점점 휘는 것(굽힘성)으로 구성된다. 책에서, 상호 작용의 촉각 감각은 제본의 타입뿐만 아니라, 페이지 재료/타입 및 두께에 좌우된다. 일 실시예에서, 도 2에 도시된 바와 같이, 사용자는 2개의 플렉서블 플랩들로 구성된 접이식인 동시 굽힘 가능 플렉서블 디스플레이에서 전자책을 읽고 있다. 전자책의 페이지를 "넘기기" 위해, 사용자는 디스플레이의 우측 플랩의 하부 우측 코너를 약간 굽힌다.
도 2는 일 실시예의 변형 특성과 연관된 동작을 도시한다. 변형 특성은 접이식 굽힘 가능 디스플레이의 변형의 해석이다. 변형 특성은 굽힘 가능 플랩들 간의 힌지의 위치를 포함할 수 있고, 또한, 플랩들의 굽힘 상태를 포함할 수 있다. 변형 특성은 힌지 위치 또는 굽힘 상태의 속성들을 측정하는 센서들과 연관된 원(raw) 데이터를 포함할 수 있다. 변형 특성은 접이식 굽힘 가능 디스플레이가 "약간 열림, 우측 플랩이 강하게 굽혀짐"이라는 해석 등의 더 일반화된 의미를 가질 수 있는 형식으로 센서 데이터를 해석함으로써 굽힘 가능 접이식 디스플레이의 결정된 상태일 수 있다. 또한, 변형 특성은 "약간 열림, 느리게 열림, 우측 플랩이 강하게 굽혀짐, 우측 플랩이 점점 더 굽혀짐"으로서 센서 측정값들을 해석하기 위해 순차적 센서 측정값들을 비교함으로써 결정될 수 있는 등, 동작 또는 제스처의 해석일 수 있다.
계속해서 도 2에서, 도 2의 좌측, 요소들(205, 210, 215 및 220)은 2개의 플렉서블 플랩들을 가진 접이식 굽힘 가능 장치의 측면도를 도시한다. 사용자가 장치에서 책을 읽고 있는 경우, 페이지를 "넘기기" 위해, 205에서, 사용자의 손가락은 코너 또는 모서리 중간에서 장치의 모서리와 접촉한다. 210에서, 사용자의 손가락은 모서리에서 압력을 가하기 시작해서, 굽힘 가능 표면의 변형을 야기한다. 215에서, 사용자의 손가락은 접이식 굽힘 가능 디스플레이의 힌지의 방향으로 압력을 옆으로 가해서, 장치를 약간 닫고 굽힘 반경을 더 증가시킨다. 사용자의 손가락은 장치의 모서리를 풀어줄 수 있다. 205 내지 215의 사용자의 상호 작용은 접이식 굽힘 가능 장치의 상이한 변형 상태들을 야기한다. 205, 210 및 215에서 제공된 바와 같은 특정 변형 시퀀스는 사용자가 접이식 굽힘 가능 장치로 하고 있는 특정 제스처 또는 상호 작용을 식별할 수 있다. 시스템은 어떤 햅틱 피드백을 제공할 것인 지를 변형 시퀀스로부터 결정할 수 있다. 예를 들어, 시스템은 사용자로부터의 페이지 넘김 제스처를 표현하기 위해 센서(17) 등의 센서들에 의해 수신된 파라미터들을 해석함으로써 변형 시퀀스를 특징지어줄 수 있다. 시스템은 이-리더 애플리케이션에서 페이지를 넘기기 위한 촉각 경험을 제공하면서, 페이지 넘김 제스처를 위한 햅틱 피드백을 제공할 수 있으며, 220에서, 페이지 넘김 후에, 플랩을 페이지 넘김 전으로부터 원래의 위치로 다시 돌려놓는다. 햅틱 피드백을 제공하기 위한 특정 세부 사항들은 상세히 후술된다.
요소들(225, 230 및 235)은 상부도 관점으로부터의 사용자의 동작을 도시한다. 요소(225)는 힌지, 좌측 플랩 및 우측 플랩을 가진 접이식 굽힘 가능 장치를 도시한다. 230에서, 장치는 2개의 플랩들 간의 좁거나 작은 열림 각도로 도시된다. 235에서, 사용자의 제스처는 플랩들 간의 열림을 증가시키면서, 한 플랩의 굽힘 및 열린 각도에서의 회전을 야기하기 위해 장치의 모서리에 압력을 가한다. 함께 수행되는 이 2가지 이동들은 적합한 햅틱 피드백을 결정하기 위해 특징지어질 수 있는 변형 시퀀스이다.
페이지-넘김 상호 작용 중에, 신체 감각 피드백 햅틱 액추에이터는 실제 책 페이지 넘김과 유사한 현실적인 상호 작용을 시뮬레이션하면서, 디스플레이의 힌지 주위에서 굽힐 뿐만 아니라 약간 회전하는 방법으로 플랩의 움직임을 제어할 수 있다. 프로그래밍 가능 신체 감각 피드백 햅틱은, 견고성의 시공간적 제어를 통해, 사용자가 플랩의 굽힘 및 접는 움직임 중에 적합한 현실적인 촉각 피드백을 수신함을 보장할 수 있다. 일부 실시예들에서, 굽힘/접기 플랩의 인식된 저항/견고성은 굽힘 타입, 종이 타입/두께, 매체 타입(책, 신문, 얇은 잡지 등) 또는 책의 끝 또는 한 장의 끝에 다다름 등의 다른 은유적 정보 등의 책/종이의 물리적 속성들을 나타내도록 조절될 수 있다. 또한, 페이지 내용이 갱신된 후에(페이지 넘김이 발생한 후에), 220에 도시된 바와 같이, 햅틱 제어기는 우측 플랩을 원래의 위치로 돌려놓을 수 있다. 우측 플랩을 다시 원래의 위치로 돌려 놓는 것은, 특정 제스처 입력을 통해 사용자에 의해(예를 들어, 사용자가 자신의 손가락을 플랩으로부터 떼어 놓기 시작함) 촉발될 수 있으며, 또는 페이지 내용이 그래픽 디스플레이에서 다음 페이지로 갱신되자마자 자동으로 실행될 수 있다. 따라서, 굽힘 및 접기의 촉각 피드백의 조합은 상호 작용의 직관력 및 사실성을 증가시키고 정보 통신 대역폭을 증가시킬 수 있다.
본 발명의 다른 실시예에서, 사용자는 전자책의 페이지들을 통해 빨리 둘러보거나 또는 훑어보기 위해 굽힘/접기 제스처를 이용할 수 있다. 실제 책을 훑어보는 동작은 책의 모서리에 대한 압력을 유지하지만, 구부러진 아치 및 책의 좌측 및 우측 페이지들 간의 각도를 변화시키면서, 책의 굽힘과 동시 접기 기술을 통해 책의 페이지들을 부채질하는 단계를 수반한다.
도 3은 일 실시예의 변형 특성과 연관된 동작을 도시한다. 305에서, 접이식 굽힘 가능 디스플레이의 상부도 관점은 힌지, 좌측 플랩 및 우측 플랩을 갖는 것으로 도시된다. 310에서, 전자책의 페이지들을 훑어보기/둘러보기 위해, 사용자는 거의 닫힌 접이식 디스플레이 플랩들(약간만 떨어진 플랩들)로 시작한 후, (실제 책과의 상호 작용과 유사하게) 우측 플랩을 약간 굽히기를 시도할 수 있다. 315에서, 사용자가 열린 디스플레이를 접기/구부림에 따라, 도 2와 관련해서 설명된 바와 유사하게, 햅틱 제어기는 실제 책을 구부림과 유사한 현실적인 햅틱 감각을 보장한다. 320에서, 사용자는 플랩을 약간 구부린 후에 풀어준다(release). 풀릴 때, 손가락 및 플랩 간의 접촉이 상실될 때까지, 플랩은 사용자의 손가락으로부터 (제어된 굽힘 및 접기 움직임으로) 멀리 이동한다. 325에서, 사용자의 손가락을 다시 터치하는 방법으로, 햅틱 제어기는 풀기 전에 우측 위치로 플랩을 다시 가져온다. 플랩은 이러한 왔다 갔다하는 움직임을 반복해서 (및 자동으로) 실행한다. 각각의 반복에서, 플랩은 사용자의 손가락을 약간 터치하고, 손가락-페이지 접촉의 각각의 인스턴스는 한 페이지(또는 가능한 대로 다수의 페이지들) 둘러봄을 나타낸다. 햅틱은 손가락 아래로부터 떨어지는 책의 페이지들과 유사하게 느끼는 감각을 생성한다. 따라서, 페이지들을 둘러보거나 훑어보는 것은 기술된 햅틱 피드백 방식에 기초하여 상호 작용을 풍부하게 하기 위해 효과적으로 모방되고 햅틱으로 확대될 수 있는 다른 관련 메타포이다.
일부 실시예들에서, 320에서, 플랩을 풀어 주는 것이 아니라, 사용자는 플랩과의 접촉을 유지할 수 있다. 페이지들이 한 페이지로부터 다음 페이지로 변하는 속도는 플랩의 굽힘을 증가 또는 감소시킴으로써 제어될 수 있다. 굽힘 반경이 감소됨에 따라(굽힘을 증가시킴에 따라), 페이지 넘김의 속도는 증가한다. 2개의 플랩들 간의 열린 각도가 또한 스크린에서 페이지들이 얼마나 빨리 변하는 지를 정의하는데 사용될 수 있다. 325에서, 다시 접촉하는 플랩 대신, 모서리를 따라 디텐트는 손가락 끝을 살짝 통과하는 페이지들의 느낌을 제공하면서, 손가락 끝을 스치도록 액추에이터를 하우징할 수 있다.
일부 실시예들에서, 325에서, 햅틱 제어기가 플랩을 다시 풀어주기 바로 전의 위치로 가져올 때, 사용자의 손가락은 다시 터치하지 않는다. 접촉이 이루어지지 않을 때, 페이지들은 넘김을 멈출 수 있다. 사용자가 장치와 다시 상호 작용할 때까지 페이지들은 넘겨질 수 있다. 페이지들은 넘김을 멈추기 전에 다수의 또는 일정 비율의 추가 페이지들을 넘길 수 있다. 플랩은 넘기는 동안 왔다 갔다하는 움직임을 반복해서 (및 자동으로) 실행할 수 있으며, 또는 정지 상태를 유지할 수 있다.
도 4는 일 실시예의 변형 특성과 연관된 동작을 도시한다. 일부 실시예들에서, 시스템(10)은 플렉서블 디스플레이의 2개의 플랩들 중 하나에 각각 디스플레이된 2개의 객체들(410 및 420)의 물리적/햅틱 특성들을 비교하기 위해 사용되는 접이식 굽힘 가능 디스플레이 장치이다. 시스템(10)은 객체(410 및 420) 각각에 대한 물리적 속성 정보를 저장한다. 프로그래밍 가능 신체 감각 피드백 햅틱을 사용해서, 각각의 플랩의 굽힘 견고성/저항이 디스플레이된 대응 객체의 물리적 속성들에 매핑될 수 있다. 진동 촉각 햅틱이 또한 조작됨에 따라 대응 디스플레이 객체들의 물리적 속성들을 모델링하는데 사용될 수 있다. 따라서, 사용자는 물리적 속성들 및 특히 나란히 디스플레이된 객체들의 견고성을 검사할 수 있다. 사용자가 시스템(10)의 각각의 플랩을 조작함에 따라, 각각의 플랩의 굽힘 견고성/저항은 디스플레이의 굽힘 지점, 디스플레이에서의 객체 위치 및 객체에 대한 물리적 속성 정보에 따라 변할 수 있다. 예를 들어, 객체가 객체의 특정 장소에서 견고할 때, 그 지점에서 플랩을 굽히는 것은 객체가 견고하지 않은 지점에서 플랩을 굽히는 것보다 더 큰 저항과 만나게 된다. 또한, 객체들의 물리적 속성들은 입력에 기초하여 변할 수 있다. 예를 들어, 객체(410)가 유리이면, 신체 감각 피드백 햅틱은 객체가 디스플레이되는 곳에서 플랩의 굽힘성을 견고하게 할 수 있다. 사용자가 어쨌든 플랩을 굽히면, 이미지는 실제 유리처럼 깨짐으로써 반응할 수 있으며, 유리 깨짐 효과를 강조하기 위해 진동 촉각 햅틱을 제공할 수 있다. 굽힘 특성은 깨진 유리 객체(410)의 새로운 물리적 특성들에 적합하도록 변경될 수 있다.
도 5는 일 실시예의 변형 특성과 연관된 동작을 도시한다. 일부 실시예들에서, 디스플레이가 완전히 열리게 접히거나 완전히 닫히게 접는 제스처는 스냅-클로즈(snap-close) 또는 스냅-오픈(snap-open) 메타포를 모방하기 위해 촉각 피드백을 사용해서 햅틱으로 확대될 수 있다. 이는 책을 탁 열거나 닫는 등, 실제 책, 신문, 잡지 등을 열거나 닫을 때의 햅틱 피드백 경험을 시뮬레이션할 수 있다. 510에서, 사용자는 애플리케이션을 닫거나 또는 책을 닫기 위해 디스플레이를 닫히게 접는다. 510에서, 각도, θ는 플랩들이 닫힘에 따라 0 쪽으로 변할 수 있다. 515에서, 일부 각도, θ'에서, 변형 특성은 책을 닫는 것으로 해석될 수 있고, 신체 감각 피드백 액추에이터들은 플랩들을 닫는 것을 인수하기 위해 플랩의 각도를 제어할 수 있다. 각도 θ가 0과 동일하거나 플랩들이 닫혀 있다고 시스템이 결정하는 지점에서, 책을 닫는 실세계 시나리오와 닮은 추가 진동 촉각 및 청각 햅틱 피드백이 제공될 수 있다. 520에서, 사용자는 애플리케이션을 열거나 책을 열기 위해 디스플레이를 열리게 접는다. 520에서, 각도, θ는 플랩들이 열림에 따라 180°쪽으로 변할 수 있다. 525에서, 일부 각도 θ'에서, 변형 특성은 책을 여는 것으로 해석될 수 있고, 신체 감각 액추에이터들은 플랩들을 여는 것을 인수하기 위해 플랩의 각도를 제어할 수 있다. 각도 θ가 0으로부터 양수로 증가하거나 플랩들이 열려 있다고 시스템이 결정하는 지점에서, 책을 여는 실세계 경험과 닮은 추가 진동 촉각 및 청각 햅틱 피드백이 제공될 수 있다.
도 6은 일부 실시예들에 따른 접이식 굽힘 가능 장치에서의 햅틱 피드백의 제공을 도시한 흐름도이다. 일부 실시예들에서, 도 6의 흐름도의 기능은 메모리 또는 다른 컴퓨터 판독 가능 또는 유형 매체에 저장된 소프트웨어에 의해 구현되고, 프로세서에 의해 실행된다. 다른 실시예들에서, 기능은 하드웨어(예를 들어, 주문형 반도체("ASIC"), 프로그래밍 가능 게이트 어레이("PGA"), 필드 프로그래밍 가능 게이트 어레이("FPGA") 등을 사용해서), 또는 하드웨어 및 소프트웨어의 임의의 조합에 의해 실행될 수 있다.
스텝 605에서, 애플리케이션은 장치에서 개시된다. 애플리케이션은 접이식 굽힘 가능 장치에서 동작하는 임의의 소프트웨어 프로그램일 수 있다. 예를 들어, 애플리케이션은 책, 잡지, 종이 패드 등의 종이에 전형적으로 인쇄될 수 있는 읽기 자료들을 위한 이-리더 애플리케이션일 수 있다. 애플리케이션은 접이식 굽힘 가능 디스플레이 장치에서 햅틱 피드백을 제공하는 환경에서 구체적으로 작업하도록 구성될 수 있다. 스텝 610에서, 접이식 굽힘 가능 디스플레이에 위치한 하나 이상의 센서들은 디스플레이의 변형을 나타내는 속성들의 변경을 등록한다. 변형은 플랩들의 또는 플랩들 중 한 플랩의 굽힘 또는 휨 및/또는 플랩들 간의 각도(열린 각도)의 변경을 포함할 수 있다. 하나 이상의 센서들은 개별 측정값들을 각각 제공할 수 있으며, 후에 측정값들은 분석되어 임의의 소정의 시간의 또는 일정 시간의 기간 동안의 사용자의 동작들을 특징지어줄 수 있다. 스텝 615에서, 하나 이상의 센서들의 값들에 기초하여, 변형은 접이식 굽힘 가능 장치에서 사용자가 어떤 타입의 동작을 실행하고 있는 지를 설정하도록 특징지어진다. 하나 이상의 센서들의 값들은 상이한 시간들의 하나 이상의 센서들의 값들과 비교될 수 있다. 예를 들어, 2개의 플랩들 간의 열린 각도를 검출하는 센서의 값은 변형을 특징짓는 것을 돕기 전 1초, 2초, 또는 n초의 동일한 센서의 값과 비교될 수 있다. 변형이 특징지어질 수 있을 때까지, 시스템은 계속해서 하나 이상의 센서들을 모니터할 수 있다. 스텝 620에서, 변형이 특징지어졌을 때, 시스템은 변형의 특성에 기초하여 햅틱 피드백을 제공한다. 햅틱 피드백은 진동 촉각 또는 신체 감각 피드백을 포함할 수 있다. 햅틱 피드백은 또한 시각 또는 청각 피드백과 조율될 수 있다. 예를 들어, 페이지 넘김 제스처에서, 페이지를 넘기는 그래픽 또는 사운드는 진동 촉각 또는 신체 감각 피드백과 일치할 수 있다. 시스템은 계속해서 하나 이상의 센서들을 모니터하여 추가 변형 특성들을 모델링할 수 있다.
센서(17) 등의 굽힘 센서들은 모서리를 위로 굽힘, 코너를 아래로 굽힘, 코너를 위로 굽힘, 코너들을 모두 위로 안으로 굽힘, 모서리를 뒤로 굽힘, 및 코너들을 모두 뒤로 안으로 굽혀서 중간 모서리를 위로 굽힘 등의 한 모서리와 2개의 코너들의 굽힘 동작들을 검출할 수 있다. 다른 모서리들 및 코너들에 대한 유사한 굽힘들 및 디스플레이의 표면에 대하여 모서리들 및 코너들로부터 멀리 굽힘들을 포함하는 다른 굽힘 동작들이 상기 굽힘 동작들과 유사한 방식으로 감지될 수 있음을 당업자는 알 것이다.
센서(17) 등의 굽힘 센서들은 일정 시간 기간 동안 센서의 전압 응답을 측정할 수 있다. 전압 응답은 센서에서 굽힘이 감지되지 않았는지, 약간의 굽힘이 감지되었는지, 또는 강한 굽힘이 감지되었는 지를 나타낼 수 있다. 변형이 시간이 지남에 따라 변함에 따라 시간이 지남에 따라 이 값들은 특정 제스처들을 나타낼 수 있다. 또한, 센서(17) 등의 추가 센서들이 굽힘 가능 접이식 디스플레이(10)의 상이한 지점들에서 굽힘 및 변형 특성들을 획득하기 위해 추가 데이터 기준점들을 제공하는데 사용될 수 있다.
센서(17) 등의 접기 센서들은 일부 실시예들에 따라 힌지에서 접는 동작들을 검출할 수 있다. 검출될 수 있는 접기 타입들은 접히지 않음(평평함), 대칭적으로 아래로 접힘, 대칭적으로 위로 접힘, 닫히도록 백 플랩(back flap)으로부터 프론트 플랩(front flap)으로 접힘, 백 플랩을 열기 위해 프론트 플랩으로부터 접힘, 백 플랩으로부터 프론트 플랩으로 뒤로 접힘, 역으로 열기 위해 프론트 플랩으로부터 백 플랩으로 접힘, 업다운 방식의 연속 접힘, 및 완전히 닫히도록 접힘을 포함한다. 접힘의 형식들은 각각의 플랩이 대략 동일한 크기인 중심 접기, 힌지가 중심으로부터 오프셋된 것으로 보이도록 각각의 플랩이 상이한 크기들일 수 있는 부분적 접힘, 및 2개보다 많은 플랩들을 가진 실시예들의 각종 조합들을 포함한다. 터치 센서(11) 등의 터치 센서들이 한 손 접기, 양 손 접기, 단일 손가락, 및 다중 손가락 접기를 감지하기 위해 접기 센서와 연관해서 사용될 수 있다. 접기 감지를 포착하는 센서(17)로부터의 데이터는 변형 특성들을 결정하기 위해 시간이 지남에 따라 차트로 기록될 수 있다. 또한, 센서(17) 등의 추가 센서들은 굽힘 가능 접이식 디스플레이(10)의 변형 동작들을 정의하기 위해 굽힘 특성들의 추가 데이터 기준점들을 제공하는데 사용될 수 있다.
굽힘 가능 접이식 디스플레이와의 상이한 상호 작용들은 논-디지털 아날로그와 유사한 변형 특성들로 매핑될 수 있다. 예를 들어, 책 읽기 애플리케이션에서, 굽힘 가능 접이식 디스플레이(10)의 플랩을 열리게 접는 동작은 책의 커버를 열거나 닫는 것에 대응할 수 있다. 굽힘 가능 접이식 디스플레이(10)를 약간 열린 상태로 유지하면서 손가락을 모서리 아래로 슬라이딩하는 동작은 페이지 검색의 시작점을 조정하는 것에 대응할 수 있다. 굽힘 가능 접이식 디스플레이(10)의 코너를 굽히고 풀어 주는 동작은 페이지를 넘기를 것에 대응할 수 있다. 플랩들을 약간 더 닫히게 접으면서 굽힘 가능 접이식 디스플레이(10)의 모서리를 뒤로 약하게 굽히는 동작은 페이지들을 느리게 훑어보는 것에 대응할 수 있다. 플랩들을 약간 더 닫히게 접으면서 굽힘 가능 접이식 디스플레이(10)의 모서리를 뒤로 크게 굽히는 동작은 페이지들을 빨리 훑어보는 것에 대응할 수 있다. 양 모서리들을 약간 뒤로 굽히면서 굽힘 가능 접이식 디스플레이(10)의 양 플랩들을 약간 닫힌 상태로 유지하는 동작은 책을 엎어 놓는 것에 대응할 수 있다. 굽힘 가능 접이식 디스플레이(10)의 플랩들을 접고 힌지에 가깝게 휘두르는 동작은 북마크를 삽입하는 것에 대응할 수 있다. 한 손가락을 한 플랩 위에서 유지하고 다른 손가락을 모서리 아래로 슬라이딩하면서 플랩들을 약간 닫힌 상태로 유지하는 동작은 관심 있는 페이지들 사이에서 손가락을 유지하면서(손가락 북마크) 페이지들을 넘기는 것에 대응할 수 있다. 이러한 동작들은 다른 애플리케이션들에서 상이한 기능들에 매핑할 수 있음을 당업자는 알 것이다. 예를 들어, 사진 앨범의 애플리케이션은 동일한 동작들을 사용해서 애플리케이션과의 상이한 상호 작용들을 결정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 햅틱-지원 시스템(10)의 블록도이다. 시스템(10)은 하우징(15) 내에 장착된 터치 센서티브 플렉서블 표면(711) 또는 다른 타입의 사용자 인터페이스를 포함하고, 기계적인 키들/버튼들(13)을 포함할 수 있다. 시스템(10) 내부에는 시스템(10)에서 진동들을 생성하는 햅틱 피드백 시스템이 있다. 일 실시예에서, 진동들은 터치 표면(711)에서 생성된다. 굽힘 가능, 접힘 가능, 말기 가능 또는 그 임의의 조합일 수 있도록 표면(711)이 유연함을 제외하고, 도 1에 대하여 상술된 설명은 도 7에 동일하게 적용됨을 주지하라. 플렉서블 표면(711)의 인식된 물리적 속성들은 거의 단단하지 않게 (종이 한 장처럼) 매우 유연하게 형성되도록 변경될 수 있다(어느 정도의 유연성을 가짐). 실시예들은 디스플레이가 부분적으로 유연한 경우(일부 파트들은 단단하고 일부 다른 파트들은 변형 가능함)를 포함한다. 실시예들은 디스플레이가 균일하지 않게 탄력적이며, 인식된 균일하고 한결같은 탄성 및 변형성을 제공하기 위해 신체 감각 햅틱을 사용할 수 있는 경우를 포함한다. 실시예들은 또한 그 반대의 경우, 신체 감각 햅틱이 자연스럽게 동질의 탄성을 가진 표면에 걸쳐 변하는 인식된 탄성을 제공할 수 있는 경우를 포함한다.
플렉서블 디스플레이들은 유기적 사용자 인터페이스들의 기본 생성 블록들 중 하나이며, 더 직관적이고, 현실적이며, 실세계에서 발생하는 것과 비교될 수 있는 디지털 사용자 상호 작용들을 잠재적으로 가능케 할 수 있다. 영구적으로 순응된 부류의 굽힘 가능 디스플레이들을 제외하고, 플렉서블 디스플레이(711) 등의 플렉서블 디스플레이들과의 상호 작용들은 입력 제스처로서 디스플레이를 변형하는 것(굽힘, 접기 및 말기)을 수반한다. 이러한 변형들은 수개의 입력 치수들로 확장될 수 있는 연속 (아날로그) 방향 정보 입력 메커니즘을 제공한다. 예를 들어, "굽힘" 제스처는 폭/길이/대각선을 따르는 굽힘, 코너들의 굽힘 등으로 확장될 수 있다.
플렉서블 디스플레이들과의 변형-기반 상호 작용들은 일부 레벨의 (자연스러운) 햅틱을 이미 제공한다. 예를 들어, 임의의 햅틱 확대 없이 굽힘 가능 장치에서, 장치는 굽힘에 대한 자연스러운 저항을 제공할 것이다. 그러나, 변형 상호 작용들로부터 야기된 자연스러운, 균일한 연속 촉각 피드백은 디지털 세계에서 발생하는 이벤트들에 대한 정보를 지니지 않으며 프로그래밍 가능하지 않다. 햅틱 경험의 강화는 프로그래밍 가능 진동 촉각 및 신체 감각 햅틱을 통해 플렉서블 디스플레이들에 따른 연속 (아날로그) 변형 입력 치수들과 관련된 자연스러운 햅틱을 확대함으로써 달성될 수 있다.
자연스러운 변형 상호 작용들은 실세계의 상호 작용들과 유사하지만, 합성 햅틱은 디지털 환경에 대한 상세한 정보를 전달하기 위한 직관적인 방법을 제공할 가능성을 유지한다. 합성 프로그래밍 가능 촉각 피드백과의 자연스러운/직관적인 변형 상호 작용들을 확대하는 것은, 디지털 세계의 변형 입력의 결과들/결말들에 대한 정보를 햅틱으로 번역하는 피드백을 허용한다.
도 8은 일부 실시예들에 따른 플렉서블 장치에서의 햅틱 피드백의 확대를 도시한 흐름도이다. 스텝 805에서, 플렉서블 장치 기능이 개시된다. 이는 플렉서블 디스플레이(711) 등의 플렉서블 디스플레이에서 사용자의 제스처들에 햅틱으로 응답할 수 있는 애플리케이션 또는 인터페이스를 개시하는 것을 포함할 수 있다. 스텝 810에서, 제스처의 검출이 센서(17) 등의 센서에 의해 플렉서블 디스플레이에서 발생한다. 제스처들은 디스플레이를 굽힘, 접기 또는 말기에 의한 플렉서블 디스플레이의 변형을 포함한다. 제스처들은, 예를 들어, 깃발처럼 디스플레이를 흔드는 것과 같이, 자유 공간에서 플렉서블 디스플레이을 변형하는 것을 포함한다. 제스처들은 또한 제스처들의 변형과 관련해서 실행되는 터치 제스처들을 포함할 수 있다. 제스처들은 실제 변형 없이 변형 가능한 표면에 가해진 압력을 포함할 수 있다.
스텝 815에서, 진동 촉각 햅틱 또는 신체 감각 햅틱이 제스처에 기초하여 또한 플렉서블 디스플레이에서의 애플리케이션 또는 인터페이스의 상태에 기초하여 생성된다. 애플리케이션 또는 인터페이스의 상태는 디지털 세계에서, 즉, 디스플레이에서 발생하는 이벤트들에 대한 맥락을 사용자에게 제공한다. 진동 촉각 햅틱은 디스플레이 장치에서 하나 이상의 진동 촉각 액추에이터들에 의해 재생되거나 또는 플렉서블 디스플레이 장치의 사용자에 의해 착용될 수 있는 임의의 효과들을 포함할 수 있다. 신체 감각 햅틱은 플렉서블 디스플레이 장치의 이동을 생성하거나 플렉서블 디스플레이의 인식된 물리적 특성들을 변경하는 임의의 효과들을 포함한다.
스텝 820에서, 제스처의 효과들은 애플리케이션 또는 인터페이스에서 실행된다. 이는 효과들을 디스플레이하는 것, 예를 들어, 진동 촉각 응답을 디스플레이하는 것, 제스처를 확대하는 것, 예를 들어, 신체 감각 햅틱 피드백을 사용자에게 제공하는 것, 및 디스플레이의 햅틱 인식을 변경하는 것, 예를 들어, 상호 작용에 기초하여 디스플레이의 시각 또는 청각 출력을 갱신하는 것과 관련해서 진동 큐를 포함하는 것을 포함한다. 예를 들어, 애플리케이션은 플렉서블 디스플레이(711)에서 사진을 디스플레이하고 있을 수 있다. 특정 방법으로의 디스플레이의 변형은 커맨드가 인식됨을 나타내는 피드백을 제공하기 위한 진동 촉각 감각, 디스플레이를 다시 평평하게 만들기 위한 신체 감각 응답, 디스플레이된 사진이 변하고 있음을 예고하기 위한 청각 피드백, 및 갤러리에서 다음 사진으로 디스플레이될 사진을 제기하기 위한 시각 피드백을 야기할 수 있다. 시스템은 추가 입력을 위해 센서(17) 및 다른 입력 메커니즘들을 계속해서 모니터한다. 따라서, 진동 촉각 햅틱 및 신체 감각 햅틱은 상호 작용의 완료/달성을 확인하는데 사용될 수 있다.
일 실시예에서, 사용자는 전자책 애플리케이션을 실행중인 플렉서블 휴대형 디지털 장치와 상호 작용할 수 있다. 장치에는 플렉서블 (굽힘 가능) 디스플레이 인터페이스가 갖춰져 있다. 공지된 애플리케이션에서, 디스플레이의 코너를 굽히는 제스처는 디지털 환경에서 전자책의 페이지들을 훑어보기에 매핑될 수 있다. 굽힘 가능 디스플레이에는 또한 전신 진동 촉각 햅틱 기능이 갖춰져 있을 수 있다. 사용자가 디스플레이의 코너를 서서히 굽힘에 따라, 전자책의 페이지들이 넘겨진다. 페이지 넘김 속도는 굽히는 정도/굽힘 각도와 상관될 수 있다.
그러나, 변형의 크기나 각도도, 굽힘 견고성 또는 저항력(즉, 자연스러운 햅틱)도 넘겨진 페이지들의 수 및/또는 페이지 넘김 속도와의 직접적인 일대일 매핑을 사용자에게 제공하지 않는다. 일부 실시예들에서, 코너 굽힘 제스처는 진동 촉각 프로그래밍 가능 디텐트들로 확대될 수 있으며, 각각의 디텐트(햅틱 클릭)는 단일(또는 특정 수의) 페이지(들) 넘김을 나타낸다. 따라서, 촉각 디텐트들의 수는 넘겨진 페이지들의 수에 대해 사용자에게 햅틱으로 알려주고, 디텐트들의 속도는 페이지들을 둘러보는 상대적인 페이스의 촉각 표시를 나타낸다. 이러한 타입의 진동 촉각 피드백을 인터페이스에 추가하는 것은, 사용자가 햅틱 감각(합성 햅틱에 따라 확대된 변형) 및 디지털 환경에서 발생하는 이벤트(페이지 넘김) 간의 심적 모델을 설정할 수 있게 한다.
도 9는 일 실시예의 변형 특성과 연관된 동작을 도시한다. 901에서, 사용자는 플렉서블 (굽힘 가능) 장치의 코너를 굽힌다. 햅틱 응답은 진동 촉각 피드백의 형식으로 재생된다. 그러나, 대응 상호 작용 매핑은 굽힘 크기의 범위/임계값에 좌우된다. 4개의 상이한 매핑 방식들이 도 9에서 구별된다. 각각의 스테이지는 특정 굽힘 각도 범위에 대응하는데, 예를 들어, (910에서) 스테이지 1은 굽힘 각도가 0 내지 10°이고, (920에서) 스테이지 2는 10 내지 20°이며, (930에서) 스테이지 3은 20 내지 30°이고, (940에서) 스테이지 4는 30 내지 40°이며, 기타 등등이다. 각각의 스테이지는 상이한 기능 또는 연관된 매핑을 가질 수 있다. 예를 들어, 사진 브라우징 애플리케이션에서, 장치의 코너를 (앞뒤로) 0 내지 10°(910) 사이에서 굽히는 것은 한 집합의 사진들을 스크롤하는 것에 매핑될 수 있다. 장치의 코너를 10°를 넘어 최대 20°까지(920) 굽히는 것은 사용자가 사진들을 연속해서 줌 인/아웃할 수 있게 할 수 있다. 스테이지 3(930)에서, 사용자는 사진의 밝기를 조정하기 위해 굽힘 제스처를 사용할 수 있다. 마지막으로, 스테이지 4(940)에서, 굽힘 입력은 사진의 투명도를 변경하는데 사용될 수 있다. 본 실시예에서, 스테이지들(910, 920, 930 및 940) 각각을 동반하는 그래프들에 표시된 바와 같이, 사용자에게 전달된 촉각 효과들의 타입, 세기 및 패턴은 각각의 스테이지에서 상이할 수 있다. 햅틱은 각각의 스테이지에서 연속 상호 작용을 확대할 뿐만 아니라, 사용자가 각종 기능들과 관련된 상이한 스테이지들/매핑 방식들을 구별하는 것을 돕는다. 또한, 스테이지들 간의 전이는 스테이지들 간의 더 감지할 수 있는 통찰력을 사용자에게 제공하도록 햅틱으로 표시될 수 있다. 다시 말해서, 사용자는 햅틱 마크들을 사용해서, 반드시 시청각 큐들을 의지하지 않고 각종 기능들을 이용할 수 있다. 상술된 일례에서 굽힘 각도가 범위 구분 파라미터로서 사용되더라도, 특정 굽힘 각도들이 상이하게 선택될 수 있고, 힘 등의 다른 파라미터들이 또한 이러한 목적을 위해 사용될 수 있음을 당업자는 알 것이다.
다른 실시예들에서, 접이식 디스플레이에 적용된 연속 "접기" 제스처들은 상술된 바와 같이 프로그래밍 가능 디텐트들을 사용해서 유사하게 햅틱으로 확대될 수 있다. 진동 촉각 피드백 효과들의 사용은 디텐트들로만 제한되지 않으며, 사실상, 임의의 타입의 진동 촉각 효과들이 상호 작용들을 확대하는데 사용될 수 있다.
진동 촉각 피드백과 유사하게, 신체 감각 햅틱은 상호 작용들을 확대함으로써 유사한 또는 상이한 맥락들로 값을 제공할 수 있다. 신체 감각 햅틱에 대한 방법들의 일례들은 프로그래밍 가능 견고성 디스플레이(견고성 제어), 구조적 댐핑(굽힘, 접기 및 다른 변형 자유도에 저항하는 댐핑 인자) 등을 포함한다. 피드백은 진동 촉각 햅틱 및 신체 감각 햅틱 둘 다의 조합일 수 있다.
일부 실시예들에서, 플렉서블 디스플레이들에서 사용된 물질들의 자연스러운 또는 구조적 견고성 및 댐핑은 변형 제스처 언어를 풍부하게 하고 인터페이스의 유효성(effectiveness)을 강화하기 위해 프로그래밍 가능 햅틱 견고성 제어로 확대될 수 있다. 예를 들어, 일 실시예에서, 사용자는 굽힘 변형 제스처들을 사용해서 자신의 연락처들을 둘러볼 수 있다. 사용자가 연락처 끝에 더 가까이 감에 따라, 햅틱 견고성 제어 기능은 변형에 대항하는 인식된 저항을 변화시킬 수 있어서, 사용자가 자신이 연락처 어디에 있는 지를 감지하게 한다. 사용자가 연락처 끝에 도달하면, 햅틱 견고성 방식은 디스플레이를 한 방향으로 변형 불가능하게/단단하게 만들어서 햅틱 "장벽"을 생성해서, 사용자가 더 굽히는 것을 방지할 수 있다. 유사하게, 사용자가 연락처 끝에서 멀리 있을 때, 디스플레이는 신체 감각 햅틱을 사용해서 장치의 자연스러운 변형 저항에 대응함으로써 덜 단단하게 될 수 있다. 다시 말해서, 굽힘 가능 디스플레이의 변형의 범위는 햅틱을 사용해서 제어될 수 있다.
또한, 신체 감각 견고성/댐핑 제어 또는 진동 촉각 효과들은 프로그래밍 가능 디텐트들로 연락처의 각각의 항목을 햅틱으로 표시하는데 사용될 수 있다. 예를 들어, 상이한 햅틱 효과/마크가 사용자가 상이한 알파벳 그룹들을 지나갈 때 사용될 수 있다. 동일한 햅틱 확대가 접이식 디스플레이 인터페이스에서 접기 제스처에 적용될 수 있다.
일 실시예에서, 디스플레이의 인식된 햅틱 "견고성" 또는 변형 저항은 현재 애플리케이션 또는 필요한 기능의 요구 사항들에 맞춰 만들어질 수 있다. 예를 들어, 사용자는 작은 증분들 또는 시간 단계들로 사운드 트랙을 빨리 감기 위해 굽힘 또는 접기 제스처를 사용하기로 작정할 수 있다. 디스플레이의 견고성은 제어된 점진적인 방식으로 디스플레이를 변형하기(굽히거나 접기) 위해 사용자를 보조하도록 활동적으로 제어될 수 있으며, 굽힘 또는 접기 레벨은 고정된 크기 증가로서 또는 파일 길이의 백분율로서 증분들 또는 시간 단계들의 크기에 대응한다.
다시 도 7로 돌아가면, 다른 실시예는 목표 상호 작용에 기초하여 디스플레이의 인식된 탄성 또는 변형성을 조정하기 위해 플렉서블 디스플레이와 연관된 신체 감각 햅틱 피드백을 제공하는 시스템이다. 여기서, 장치의 자연스러운 "탄성"은 물질 속성들 및 장치 생성에 기초하여 플렉서블 디스플레이가 자연스러운 상태에서 가지는 구부리기, 접기 또는 말기의 용이성을 의미한다. 플렉서블 디스플레이들의 탄성이 풍부해진 제스처 언어 및 진보된 직관적 상호 작용들을 위한 스테이지를 설정하더라도, 너무 많은 유연성은 일부 사용자 인터페이스 상호 작용들에 악영향을 끼칠 수 있으며, 일부 경우들에서, 실행 불가능하게 할 수 있다. 스크린 프레스 등의 일부 상호 작용들 및 기능들은 스크린을 더 견고하게 또는 심지어 단단하게 될 것을 요구할 수 있으며, 다른 상호 작용들 및 기능들은 인터페이스의 더 높은 유연성 또는 부드러움에 의해 더 좋게 용이하게 된다. 실시예들은 목표 상호 작용에 따라 디스플레이의 탄성 또는 변형성을 조정하기 위한 프로그래밍 가능한 햅틱 견고성 제어 메커니즘을 기술한다. 다시 말해서, 상호 작용들 및 목표 기능에 따라, 굽힘 가능 인터페이스는, 더 단단한 인터페이스가 요구되면 더 견고하게 되며, 또는 사용자가 변형 기반 제스처를 적용하는 경우 더 부드럽게(변형하기가 더 쉽게) 된다.
그러나, 디스플레이의 변형은 반드시 발행하지 않을 수 있으며, 감각 시스템은 사용자에 의해 가해진 힘/압력을 포착할 수 있음을 당업자는 알 것이다. 예를 들어, 신체 감각 햅틱은 디스플레이를 꽤 견고하게 할 수 있으며, 이 경우에, 사용자에 의해 가해진 작은 양의 힘은 어떠한 물리적 변형도 야기하지 않을 것이다. 그러나, 시스템은 사용자에 의한 이러한 상호 작용들, 즉, 변형이 발생하지 않으면서 가해진 압력에 대한 진동 촉각 또는 다른 타입의 "햅틱 응답"을 여전히 제공할 수 있다.
도 10은 일부 실시예들에 따른 플렉서블 장치에서의 햅틱 피드백의 제공을 도시한 흐름도이다. 도 10은 애플리케이션이 실행중인 동안 정적인 플렉서블 디스플레이의 특정 견고성 또는 유연성을 애플리케이션이 요구하는 흐름을 도시한다. 스텝 1010에서, 디스플레이 기능은 플렉서블 디스플레이 장치에서 시작된다. 플렉서블 장치는 굽힘 가능, 접이식, 말기 가능 또는 그 조합일 수 있다. 스텝 1020에서, 애플리케이션은 특정 탄성을 요청하는 기능을 가진 플렉서블 디스플레이 장치에서 시작된다. 애플리케이션은 홈 스크린, 세팅 스크린 또는 통지 스크린 등의 운영 체제에 고유한 프로세스일 수 있으며, 또는 사용자 설치 애플리케이션일 수 있다.
스텝 1030에서, 흐름은 애플리케이션이 매우 유연한 인터페이스를 요구하는 지를 고려한다. 예를 들어, 장치는 (유연성을 요구하면서) 장치를 굽힐 의도 인지 또는 터치 입력의 위치에 기초하여 (단단함을 요구하면서) 터치스크린과 상호 작용할 의도인 지를 결정할 수 있다. 모서리들을 움켜잡을 때, 사용자는 유연한 상태를 유지해야만 하는 장치를 막 굽히려고 할 수 있다. 스크린의 중간에 더 가깝게 터치할 때, 사용자는 스크린과 상호 작용하기를 원할 가능성이 있으며, 단단한 표면이 더 나을 수 있다. 표면은 또한 스타일러스를 사용해서 사용자가 상호 작용할 때 또한 단단하게 될 수 있다. 높은 유연성이 요구되면, 스텝 1040에서, 액추에이터 구동 회로(16) 등의 햅틱 견고성 제어기는 디스플레이를 더 탄력적이게 또는 변형 가능하게 할 수 있다. 더 큰 유연성은 장치가 자연스럽게 구부러지게 함으로써 또는 장치를 구부리고 조작하기 위해 사용자에게 "더 쉽게" 보이게 하기 위해 사용자가 굽히거나/접거나/마는 힘을 가할 때 구부리기를 보조하기 위해 장치의 유연성을 확대함으로써 달성될 수 있다. 스텝 1030에서, 애플리케이션이 낮은 유연성을 요구하면(또한, 유연성을 요구하지 않으면), 스텝 1050에서, 햅틱 견고성 제어기는 디스플레이를 더 단단하게 또는 완전히 단단하게 할 수 있다. 단단함은 플렉서블 디스플레이의 변형을 저항하도록 액추에이터(18) 등의 하나 이상의 액추에이터들을 제어함으로써 달성될 수 있다. 사용자가 애플리케이션들을 전환할 때 또는 애플리케이션의 기능이 변경될 때, 흐름은 스텝 1040 또는 스텝 1050으로부터 스텝 1020으로 다시 반복할 수 있다.
도 11은 일부 실시예들에 따른 플렉서블 장치에서의 햅틱 피드백의 제공을 도시한 흐름도이다. 도 11은 애플리케이션 및 장치와의 사용자의 상호 작용에 기초하여 애플리케이션이 실행중인 동안 동적으로 조정 가능한 플렉서블 디스플레이의 견고성 또는 유연성을 애플리케이션이 요구하는 흐름을 도시한다. 스텝 1110에서, 디스플레이 기능은 플렉서블 디스플레이 장치에서 시작된다. 플렉서블 장치는 굽힘 가능, 접이식, 말기 가능 또는 그 조합일 수 있다. 스텝 1120에서, 애플리케이션은 애플리케이션 실행 과정 도처에서 디스플레이의 특정 탄성을 동적으로 요청하는 기능을 가진 플렉서블 디스플레이 장치에서 시작된다. 애플리케이션은 홈 스크린, 세팅 스크린 또는 통지 스크린 등의 운영 체제에 고유한 프로세스일 수 있으며, 또는 사용자 설치 애플리케이션일 수 있다. 스텝 1130에서, 입력 또는 제스처가 플렉서블 디스플레이(717), 터치 인터페이스(11) 또는 다른 입력 인터페이스를 통해 장치에 의해 검출된다. 입력은 애플리케이션에 의해 측정되고 특징지어진다. 스텝 1140에서, 디스플레이의 탄성은 사용자의 입력 및 애플리케이션 세팅들에 기초하여 조정된다. 탄성은 더 단단하게 또는 더 유연하게 조정될 수 있다. 단단함은 변형을 저항하도록 또는 디스플레이를 각각 더 단단하게 또는 덜 단단하게 하기 위해 플렉서블 디스플레이의 변형을 보조하도록 액추에이터(18) 등의 하나 이상의 액추에이터들을 제어하기 위해 액추에이터 구동 회로(16) 등의 햅틱 견고성 제어기에 의해 제어될 수 있다. 일부 실시예들에서, 햅틱 견고성 제어기는 탄성이 장치의 자연스러운 탄성과 동일하게 될 수 있도록 수동적이게 제어될 수 있다. 흐름은 다른 입력 및 반응을 계속해서 검출하도록 스텝 1130으로 계속될 수 있다.
도 10에 도시된 흐름과 일관되는 일 실시예에서, 디스플레이(711) 등의 플렉서블 디스플레이의 단단함은 사용자가 텍스트를 입력중일 때 더 견고하게 조정될 수 있다. 텍스트 입력을 구현하는 애플리케이션들은 스크린이 단단하게 될 것을 요구하지만, 다른 경우, 디스플레이는 키를 누르기를 원할 때마다 사용자의 손가락으로부터 멀리 변형된다. 또한, 장치의 형태 및 키들의 공간적인 배열들은 글쓰기 중에 더 효과적이도록 근육 메모리를 위한 키보드 입력 중에 고정 상태로 유지되어야만 한다. 사용자가 키보드 입력 애플리케이션을 착수하자마자, 햅틱 제어기는 기능에 적합하게 하면서(타이핑 상호 작용들을 용이하게 하면서), 디스플레이를 견고하게 할 수 있다.
도 11에 도시된 흐름과 일관되는 다른 실시예에서, 플렉서블 디스플레이에는, 사용자에 의해 가해진 변형 및 힘 입력들을 특징지을 수 있는 센서(17) 등의 내장된 스트레인 게이지들 및 힘 센서들, 및 플렉서블 디스플레이에 장착된 터치 표면(711) 등의 압력-민감 터치 스크린이 갖춰져 있을 수 있다. 원래의 모드의 장치는 단단할 수 있어서, 사용자가 상이한 OS/인터페이스 기능들과 상호 작용할 수 있게 한다. 그러나, 사용자가 특정 값 또는 임계값을 넘어서 굽히는 힘 또는 터치 압력을 가할 때, 장치는 변형 가능하게 되거나 또는 덜 단단하게 되도록 전환할 수 있다. 따라서, 사용자는 더 부드러운 인터페이스가 요구될 때 부드럽게 되도록 장치에 명령할 수 있지만, 다른 시나리오들에서는 디스플레이의 단단함을 이용할 수 있다. 플렉서블 장치들은 과도한 변형에 의해 손상될 수 있다. 따라서, 다른 일례에서, 햅틱 피드백은 사용자들이 지원된 최대 변형을 초과하려고 할 때 사용자들에게 경고하는데 사용될 수 있다. 장치는 단단하게 될 수 있으며, 진동으로 추상적이지만 확실한 경고를 야기하거나, 또는 너무 많이 굽혀짐을 직관적으로 전달하는 과립 합성(granular synthesis)을 가진 끽소리 감각을 야기할 수 있다. 이 입력 모니터링 및 동적 탄성 조정은 각종 기능들에 걸쳐 플렉서블 디스플레이들과의 상호 작용들을 용이하게 하며, 더 견고한 디스플레이를 요구할 뿐만 아니라 부드러운 디스플레이를 요구하는 상호 작용들 둘 다에 더 효과적이게 인터페이스를 만든다.
다른 실시예에서, 플렉서블 디스플레이는 착용 가능한 구성으로 변형 및 유지될 수 있다. 본 실시예에서, 인체 공학적으로 몸의 특정 위치(예를 들어, 손목)에 장치를 착용할 수 있게 하기 위해, 사용자는 몸의 형태에 순응하게 장치를 변형할 수 있다(예를 들어, 손목 주위에서 굽힘). 그러나, 장치가 손목 주위에서 굽혀지면, 착용 가능한 휴대형 장치로서 고정되도록 단단하게 또는 견고하게 될 수 있다. 목표 형태가 취해지면 디스플레이의 견고성을 증가시키는 것은, 사용자가 디스플레이를 특정 기능들에 적합한 물리적 형태들로 만들 수 있게 하고, 요구될 때면 언제든지 형태를 유지하도록 디스플레이를 만들 수 있게 한다.
다른 실시예에서, 플렉서블 디스플레이는 게임과의 상호 작용에 적합한 형태를 취하거나 착용 가능할 수 있는 게임 콘솔 애플리케이션에 따라 변형될 수 있다. 여기서, 플렉서블 디스플레이(711)는 플렉서블 인터페이스 및 별개의 디스플레이로 분리될 수 있으며, 여기서, 플렉서블 인터페이스는 게임 콘솔 애플리케이션에 대한 인터페이스이다.
다시 도 7로 돌아가면, 다른 실시예는 플렉서블 디스플레이의 형태 변경 기능들을 제공하는 시스템이다. 디스플레이의 형태를 변경하는 것은 사용자에게 전달되는 정보의 타입 및 내용뿐만 아니라, 상호 작용의 타입에 좌우될 수 있다. 일 실시예에서, 디스플레이(711) 등의 플렉서블 디스플레이는 셀프-작동 제어 방식으로 형태를 변경하도록 햅틱으로 확대될 수 있다. 특정 형태를 취하는 목적들은 특정 기능 또는 애플리케이션에 더 적합한 형식을 취하는 기능을 포함할 수 있으며, 따라서, 기하학적 형태를 통해 특정 정보를 디스플레이하기 위해, 특정 물리적 형태로만 실현 가능한 기능들을 가능케 하기 위해, 또는 장치가 가상 객체의 물리적 표현으로서 작용하는 경우에, 그 형태를 모방함으로써 대상 객체의 더 현실적인 시뮬레이션을 내놓기 위해 인터페이스와의 사용자 상호 작용들을 용이하게 한다.
형태 변경이 정보를 나타내는 경우, (상세한 검사를 시각으로 또는 청각으로 파악할 필요 없이) 정보 수신을 위해 형태 변경을 보거나 경험하기 위해 시각으로 또는 햅틱으로 장치를 검사할 수 있다. 예를 들어, 평평한 장치는 새로운 메시지들 또는 통지들을 갖지 않을 수 있으며, 굽힌 장치는 새로운 메시지들을 가질 수 있으며, 굽힘 정도는 메시지들의 수를 나타낸다. 이는 상세히 검사하지 않고 또는 예를 들어, 사용자의 포켓의 장치와 상호 작용함으로써 시각적으로 보일 수 있다.
도 12는 일부 실시예들에 따른 플렉서블 장치에서의 햅틱 피드백의 제공을 도시한 흐름도이다. 스텝 1210에서, 디스플레이 기능은 플렉서블 디스플레이 장치에서 시작된다. 플렉서블 장치는 굽힘 가능, 접이식, 말기 가능 또는 그 조합일 수 있다. 스텝 1220에서, 애플리케이션은 정보 디스플레이를 요구하거나 상태 변경을 나타내며 장치의 특정 형태를 요청하는 기능을 가진 플렉서블 디스플레이 장치에서 시작, 재개 또는 통지된다. 애플리케이션은 홈 스크린, 세팅 스크린 또는 통지 스크린 등의 운영 체제에 고유한 프로세스일 수 있으며, 또는 사용자 설치 애플리케이션일 수 있다. 스텝 1230에서, 플렉서블 디스플레이 장치는 장치의 정보 또는 상태를 햅틱으로 디스플레이하거나, 또는 기능에 적합한 형식을 취하기 위해 자체적으로 형태를 변경한다.
예를 들어, 플렉서블 디스플레이가 긴급한 착신 호출이 있을 때 굽혀지거나 접히는 굽힘 가능 또는 접이식 전화일 수 있다. 호출이 도착하고 전화는 호출자를 인식하거나 긴급성을 결정할 수 있고, 호출 또는 호출자의 긴급성을 의미하도록 형태를 변경할 수 있다. 유사하게, 플렉서블 디스플레이는 장치의 물리적 형식이 디스플레이된 내용/정보와 더 잘 일치하는 방법으로 형태를 변경할 수 있다. 예를 들어, 사용자는 사진 브라우징 애플리케이션을 개시할 수 있다. 이 애플리케이션이 개시되자마자, 플렉서블 장치는 (사용자 경험을 실세계 상호 작용들과 더 가깝게 하면서) 사진을 보는 상호 작용을 더 현실적으로 시뮬레이션하기 위해, 또한, 사용할 기능을 용이하게 하기 위해, 사진 프레임이 서있는 형식을 취할 수 있다.
다시 도 7을 참조하면, 다른 실시예는 센서(17) 및 액추에이터(18) 등의 굽힘-센서들 및 액추에이터들을 포함한다. 일 실시예에서, LG 회사의 "G Flex" 전화 등의 플렉서블 디스플레이는 프로세서(12) 등의 센서 판독 및 프로세싱 회로뿐만 아니라, 센서(17) 등의 디자인에 부착 또는 통합된 굽힘 센서를 가질 수 있다. "G Flex"는 약간 구부러질 수 있는 곡선형 전화이고, 내장된 진동 촉각 햅틱 장치를 포함한다. 굽힘 센서 값들은 블루투스를 통해 전화 또는 디스플레이에 연결된 또는 직접 연결된 인터페이스를 사용해서 감지될 수 있다. 플렉서블 표면에 액추에이터를 직접 장착하는 것은 장착 위치에서 굽혀짐을 방지할 수 있으며, 또는 장착이 실패하게 야기할 수 있다. 예를 들어, 비교적 큰 액추에이터들은 시간이 지남에 따라 플렉서블 표면으로부터 떨어지거나 붙어있지 않게 될 수 있다. 이 문제는, 액추에이터가 굽힘 표면을 억제하지 않도록, 플렉서블 표면에 훨씬 더 작은 픽스처(굽힘 방향과 반대로 굽힘 표면과 덜 접촉하는 표면 지역을 가짐)를 부착한 후에, 액추에이터를 부착해서, 표면으로부터 멀리 더 큰 액추에이터를 배치함으로써 극복될 수 있다. 한가지 해결책은 플렉서블 장치에 부착된 스터드 또는 포스트를 사용하고 스터드 또는 포스트 헤드에 액추에이터를 붙이거나 부착하는 것일 수 있다. 일부 실시예들에서, 굽힘 표면이 액추에이터를 접촉하기 시작함에 따라, 액추에이터는 스터드 또는 포스트를 타고 오를 수 있다. 따라서, 작고 단단한 장착 픽스처는 표면의 굽힘을 방해하지 않고 액추에이터들을 안전하게 부착할 수 있다. 오직 한 방향으로만 굽히는 장치들에서, 작은 픽스처는 굽힘 방향과 수직인 방향으로 얇을 수 있다. 모든 방향으로 굽히는 장치들에서, 작은 픽스처는 접촉점에서의 형태가 원형일 수 있다.
다른 실시예에서, 도 7로부터의 액추에이터들, 센서들 등은 디스플레이의 입력 장치로서 플렉서블 표면에 통합될 수 있다. 다시 말해서, 플렉서블 디스플레이(711)는 플렉서블 표면 및 디스플레이(도시되지 않음)로 분할될 수 있다. 사용자는 표면을 굽히거나 뒤틀거나 또는 코너들을 굽힘을 포함해서, 표면을 변형함으로써 입력 장치로 제스처를 취할 수 있다. 그래픽은 무선으로 또는 유선으로 디스플레이에 제스처들을 송신함으로써 인근 전화 또는 디스플레이에 도시될 수 있다. 그래픽은 플렉서블 표면을 변형함으로써 제어 및 갱신될 수 있다.
"G Flex" 등의 플렉서블 표면 또는 플렉서블 디스플레이를 사용하는 실시예들에서, 이하의 일례들에서와 같이, 햅틱 피드백이 또한 플렉서블 표면 또는 디스플레이에서 생성될 수 있다. 굽힘 임계값에 도달될 때, 표면이 쌍안정인 것처럼 또한 다른 위치로 움직인 것처럼, "펑하는 소리" 감각을 생성하면서, 순식간의 진동이 발생할 수 있다. 이러한 아이디어는, 글로우 스틱, 허쉬의 "Kit Kat" 등을 부러뜨리는 것처럼, 객체가 2개로 부서짐 등의 임의의 갑작스런 상태 변경을 나타내는데 사용될 수 있다. 다른 일례에서, 디텐트들의 느낌을 제공하기 위해 굽힘 범위의 특정 지점들에서 순식간의 진동이 발생할 수 있다. 예를 들어, 디텐트들은 25%, 50%, 75% 및 100%로 표면이 굽혀질 때 방출될 수 있다.
다른 일례에서, 과립 합성이 표면의 굽힘이 특정 관립 양만큼 변경될 때마다 실제로 순식간의 진동을 출력하는 것보다 더 많이 표면이 굽혀지고 있다는 착각을 제공하기 위해 또는 삐걱거리는 소리 느낌을 생성하는데 사용될 수 있다. 굽힘이 특정양만큼(예를 들어, 굽힘 범위 동안 30 그레인)이 변경될 때마다 순식간의 진동(예를 들어, 10 ms)이 출력될 수 있다. 이는 적어도 2개의 효과들을 생성하기 위해 실행될 수 있다. 먼저, 세팅들은 상이한 촉감들을 시뮬레이션하기 위해 조정될 수 있다. 이는, 예를 들어, 사용자가 상이한 두께들의 나무, 플라스틱 또는 유리 표면을 굽히고 있다는 느낌을 제공할 수 있다. 둘째로, 삐걱거리는 소리는 표면이 실제보다 더 많이 굽혀지고 있다는 느낌을 제공할 수 있다. 이는, 플렉서블 장치들이 더 널리 유용해지고 더 유연해짐에 따라, 과도적인 장치들에서 중요하다. 유연하지만 견고한 장치는 실제보다 훨씬 더 많이 유연한 것처럼 느낄 수 있다.
이러한 기술들을 사용하는 일 실시예는 스크린에 도시된 글로우 스틱을 포함한다. 표면 또는 장치가 굽혀짐에 따라, 먼저 햅틱 재생 장치를 사용해서 삐걱거리는 소리를 낸다. 글로우 스틱이 삐걱거리고 표면 또는 장치가 굽혀짐에 따라, 글로우 스틱의 디스플레이는 사용자에 의해 제공된 감지된 굽힘 압력에 따라 굽혀지기 시작하는 글로우 스틱을 도시한다. 도시된 글로우 스틱이 부러짐 없이 더 이상 굽혀질 수 없을 때, 부러지는 감각이 햅틱 재생 장치를 사용해서 느껴진다. 애플리케이션은 응답하고 글로우 스틱은 밝혀진다.
이러한 기술들을 사용하는 다른 실시예는 스크린에 도시된 카메라 앱을 포함한다. 전화 디스플레이 또는 표면의 굽힘은 초점 또는 줌을 제어할 수 있다. 연속 햅틱 효과들이 카메라의 기법을 모방하기 위해 출력될 수 있다.
"G Flex" 또는 굽힘 가능 표면 등의 약간 굽혀질 수 있는 장치에서 이러한 기술들을 사용하는 다른 실시예는 스크린에 도시된 전자책 앱을 포함한다. 페이지들은 표면의 모서리들 또는 코너들을 굽힐 때 한 장씩 넘겨질 수 있다. 확인 피드백이 각각의 넘김에서 출력될 수 있다. 대안으로, 표면은 구부러지고 그 상태로 유지될 수 있어서, 페이지들이 빠른 속도로 연속해서 넘어가게 야기할 수 있다. 햅틱 효과는 사용자가 페이지들의 넘김을 느낄 수 있게 하도록 재생될 수 있다. 또한, 애플리케이션에서 더 일찍 유사하게, 장치가 한 방향으로 굽혀지지거나 또는 다른 장치가 임계값을 지나갈 때 애플리케이션은 책을 닫거나 열 수 있다.
기술된 바와 같이, 실시예들은 접이식 굽힘 가능 디스플레이 장치를 포함하는 플렉서블 장치들의 신체 감각 및 진동 촉각 햅틱 피드백 시스템을 구현한다. 사용자의 동작들과 연관된 변형 입력이, 장치에서 실행중인 애플리케이션에 기초하여, 장치의 변형 특성들을 결정해서, 적합한 신체 감각 및 진동 촉각 피드백을 사용자에게 제공하는데 사용될 수 있다. 이러한 피드백은, 단일 페이지 넘김 효과 및 페이지 브라우징 효과 등, 장치를 이-리더로 사용할 때 유용한 효과들을 포함한다. 이러한 피드백은 또한 디스플레이 장치의 각각의 플랩에 있는 객체들을 비교할 때 유용한 효과들을 포함한다. 이러한 피드백은 또한 장치의 플랩들을 열고 닫을 때 유용한 효과들을 포함한다. 이러한 피드백은 또한 장치의 애플리케이션 및 장치에 가해진 변형 또는 변형 압력에 기초하여 장치 단단함을 증가시키거나 감소시키기 위해 또는 피드백을 제공하기 위해 장치의 확대를 포함한다.
수개의 실시예들이 본 명세서에서 구체적으로 도시 및/또는 기술된다. 그러나, 기술된 실시예들의 변경들 및 변형들은 본 발명의 원리 및 의도된 범위로부터 벗어나지 않은 채로 첨부된 청구항들의 권한 내에 또한 상술된 교시들에 의해 포함됨을 알 것이다.

Claims (15)

  1. 굽힘 가능 접이식 디스플레이에서 햅틱 효과들을 제공하기 위한 컴퓨터 구현 방법으로서,
    힌지에 의해 연결된 제1 플랩 및 제2 플랩을 가진 굽힘 가능 접이식 디스플레이 장치의 변형을 나타내는 입력을, 상기 제1 및 제2 플랩들 간의 접기 특성(folding characteristic)을 검출하도록 구성되고 상기 제1 플랩의 굽힘 특성(bending characteristic)을 검출하도록 구성되는 하나 이상의 센서들로부터 수신하는 단계;
    상기 입력에 의해 제공된 하나 이상의 측정값들에 기초하여 상기 굽힘 가능 접이식 디스플레이 장치의 변형 특성들을 결정하는 단계; 및
    상기 변형 특성들에 기초하여 햅틱 피드백을 생성하는 단계
    를 포함하는, 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    상기 햅틱 피드백은 신체 감각 피드백 또는 진동 촉각 피드백 중 적어도 하나를 포함하는, 컴퓨터 구현 방법.
  3. 제1항에 있어서,
    상기 굽힘 특성은 상기 제1 플랩을 구부리는(flexing) 동작에 대응하고, 상기 접기 특성은 상기 제1 및 제2 플랩들을 여는 동작에 대응하며;
    상기 햅틱 피드백은 상기 제1 및 제2 플랩들을 여는 신체 감각 피드백 및 상기 제1 플랩을 구부리는 신체 감각 피드백을 포함하는, 컴퓨터 구현 방법.
  4. 제3항에 있어서,
    상기 신체 감각 피드백은 상기 장치의 애플리케이션에 대한 애플리케이션 세팅들 및 상기 접기 특성에 기초하여 상기 여는 동작의 견고성(stiffness)을 조절하고;
    상기 제1 플랩의 신체 감각 피드백은 상기 애플리케이션 세팅들 및 상기 굽힘 특성에 기초하여 상기 구부리는 동작의 견고성을 조절하는, 컴퓨터 구현 방법.
  5. 제3항에 있어서,
    상기 접기 특성의 변경 전에 미리 접힌 상태로서 상기 접기 특성을 저장하는 단계;
    상기 접기 특성의 변경을 검출하는 단계; 및
    상기 미리 접힌 상태를 상기 접기 특성으로서 대략 산출하도록 상기 제1 및 제2 플랩들을 제어하는 단계를 더 포함하고;
    상기 디스플레이의 애플리케이션은 변경되는 상기 접기 특성에 기초하여 상기 디스플레이에 시각적 변경을 제공하는, 컴퓨터 구현 방법.
  6. 제1항에 있어서,
    상기 제1 플랩에 디스플레이된 객체의 물리적 속성 정보에 기초하여 상기 제1 플랩의 굽힘성(bendability)을 견고하게 하거나 또는 완화하기 위해 상기 제1 플랩의 굽힘 특성에 응답해서 신체 감각 피드백을 제공하도록 상기 제1 플랩에 객체를 디스플레이하는 장치의 애플리케이션에 응답해서 상기 장치를 제어하는 단계를 더 포함하고, 상기 애플리케이션은 상기 디스플레이된 객체에 대한 물리적 속성 정보를 저장하는, 컴퓨터 구현 방법.
  7. 제1항에 있어서,
    상기 제1 및 제2 플랩들이 닫히고 있음을 나타내는 상기 접기 특성 신호에 응답해서 상기 제1 및 제2 플랩들을 닫히게 제어하도록 신체 감각 피드백을 제공하는 단계를 더 포함하고, 상기 신체 감각 피드백을 제공하는 단계는 상기 제1 및 제2 플랩들이 닫혀 있음을 나타내는 상기 접기 특성 전에 발생하는, 컴퓨터 구현 방법.
  8. 굽힘 가능 접이식 디스플레이에 통합된 하나 이상의 햅틱 출력 장치들을 포함하는 햅틱 시스템으로서,
    힌지에 의해 연결된 제1 플랩 및 제2 플랩을 가진 상기 굽힘 가능 접이식 디스플레이 장치의 변형을 나타내는 입력을 수신하기 위한 하나 이상의 센서들로서, 상기 제1 및 제2 플랩들 간의 접기 특성을 검출하도록 구성되고 상기 제1 플랩의 굽힘 특성을 검출하도록 구성되는 하나 이상의 센서들;
    상기 입력에 의해 제공된 하나 이상의 측정값들에 기초하여 상기 굽힘 가능 접이식 디스플레이 장치의 변형 특성들을 결정하기 위한 변형 특성화 모듈; 및
    상기 변형 특성들에 기초하여 햅틱 피드백을 생성하는 햅틱 피드백 생성기
    를 포함하는, 햅틱 시스템.
  9. 제8항에 있어서,
    상기 햅틱 피드백은 신체 감각 피드백 또는 진동 촉각 피드백 중 적어도 하나를 포함하는, 햅틱 시스템.
  10. 제8항에 있어서,
    상기 굽힘 특성은 상기 제1 플랩을 구부리는 동작에 대응하고, 상기 접기 특성은 상기 제1 및 제2 플랩들을 여는 동작에 대응하며;
    상기 햅틱 피드백은 상기 제1 및 제2 플랩들을 여는 신체 감각 피드백 및 상기 제1 플랩을 구부리는 신체 감각 피드백을 포함하는, 햅틱 시스템.
  11. 제10항에 있어서,
    상기 신체 감각 피드백은 상기 장치의 애플리케이션에 대한 애플리케이션 세팅들 및 상기 접기 특성에 기초하여 상기 여는 동작의 견고성을 조절하고;
    상기 제1 플랩의 신체 감각 피드백은 상기 애플리케이션 세팅들 및 상기 굽힘 특성에 기초하여 구부림의 견고성을 조절하는, 햅틱 시스템.
  12. 제10항에 있어서,
    상기 변형 특성화 모듈은 변형 전에 상기 하나 이상의 센서들로부터의 선-변형(pre-deformation) 접기 특성을 저장하고;
    상기 변형 특성화 모듈은 상기 접기 특성의 변경을 검출하며;
    상기 햅틱 피드백 생성기는
    상기 선-변형 접기 특성에 가까운 상기 제1 및 제2 플랩들을 되돌리도록(return) 하나 이상의 햅틱 액추에이터들을 제어하고;
    상기 디스플레이의 애플리케이션으로 하여금 상기 접기 특성에 대응하는 시각적 변경을 제공하도록 하는, 햅틱 시스템.
  13. 제10항에 있어서,
    상기 햅틱 피드백 생성기는
    상기 제1 플랩에 디스플레이된 객체의 물리적 속성 정보에 기초하여 상기 제1 플랩의 굽힘성을 견고하게 하거나 또는 완화하기 위해 상기 제1 플랩의 굽힘 특성에 응답해서 상기 제1 플랩에 객체를 디스플레이하는 상기 장치의 애플리케이션에 응답해서 신체 감각 피드백을 제어하고;
    상기 애플리케이션은 상기 디스플레이된 객체에 대한 물리적 속성 정보를 저장하는, 햅틱 시스템.
  14. 제8항에 있어서,
    상기 접기 특성은 상기 제1 및 제2 플랩들이 닫히고 있는, 상기 제1 및 제2 플랩들의 위치의 변경을 나타내고;
    상기 햅틱 피드백 생성기는, 상기 제1 및 제2 플랩들이 닫혀 있음을 나타내는 상기 접기 특성 전에, 상기 제1 및 제2 플랩들을 닫히게 제어하도록 신체 감각 피드백을 산출하는, 햅틱 시스템.
  15. 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제7항 중 한 항에 따른 방법을 구현하도록 하는 명령어들이 저장되어 있는, 컴퓨터 판독 가능 매체.
KR1020140050196A 2013-04-26 2014-04-25 접이식 굽힘 가능 디스플레이들과의 상호 작용들을 위한 햅틱 피드백 KR20140128270A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361816605P 2013-04-26 2013-04-26
US61/816,605 2013-04-26
US14/222,303 2014-03-21
US14/222,303 US9524030B2 (en) 2013-04-26 2014-03-21 Haptic feedback for interactions with foldable-bendable displays

Publications (1)

Publication Number Publication Date
KR20140128270A true KR20140128270A (ko) 2014-11-05

Family

ID=50513736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140050196A KR20140128270A (ko) 2013-04-26 2014-04-25 접이식 굽힘 가능 디스플레이들과의 상호 작용들을 위한 햅틱 피드백

Country Status (5)

Country Link
US (3) US9524030B2 (ko)
EP (1) EP2796976B1 (ko)
JP (2) JP6382564B2 (ko)
KR (1) KR20140128270A (ko)
CN (2) CN104122992B (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160104177A (ko) * 2015-02-25 2016-09-05 삼성디스플레이 주식회사 폴더블 디스플레이 장치
KR20160127282A (ko) * 2015-04-24 2016-11-03 삼성디스플레이 주식회사 가요성 디스플레이의 햅틱 구동 방법 및 장치
KR20200085174A (ko) * 2019-01-04 2020-07-14 삼성전자주식회사 폴더블 디스플레이를 갖는 전자 장치 및 그 제어 방법
WO2023106888A1 (en) * 2021-12-10 2023-06-15 Samsung Electronics Co., Ltd. Foldable electronic device and method for determining health of display assembly

Families Citing this family (118)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9063731B2 (en) 2012-08-27 2015-06-23 Samsung Electronics Co., Ltd. Ultra low power apparatus and method to wake up a main processor
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
US10315220B2 (en) * 2014-02-11 2019-06-11 Vibrant Composites Inc. Complex mass trajectories for improved haptic effect
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US9524030B2 (en) * 2013-04-26 2016-12-20 Immersion Corporation Haptic feedback for interactions with foldable-bendable displays
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
WO2015060280A1 (ja) * 2013-10-25 2015-04-30 株式会社村田製作所 電子機器、および、操作入力プログラム
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
KR102561200B1 (ko) 2014-02-10 2023-07-28 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
US10067641B2 (en) * 2014-02-10 2018-09-04 Samsung Electronics Co., Ltd. User terminal device and displaying method thereof
KR102119843B1 (ko) 2014-02-10 2020-06-05 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
KR102331956B1 (ko) 2014-02-10 2021-11-29 삼성전자주식회사 사용자 단말 장치 및 이의 디스플레이 방법
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
KR20160041693A (ko) * 2014-10-08 2016-04-18 엘지전자 주식회사 이동 단말기
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
EP3028639B1 (en) 2014-12-05 2018-10-03 Samsung Medison Co., Ltd. Portable ultrasonic diagnostic apparatus and method of controlling the same
CN104407675B (zh) 2014-12-12 2017-07-28 京东方科技集团股份有限公司 显示屏卷绕系统及其控制方法
US9600076B2 (en) 2014-12-19 2017-03-21 Immersion Corporation Systems and methods for object manipulation with haptic feedback
US9658693B2 (en) * 2014-12-19 2017-05-23 Immersion Corporation Systems and methods for haptically-enabled interactions with objects
KR102198473B1 (ko) * 2014-12-30 2021-01-05 엘지전자 주식회사 이동단말기 및 그 제어방법
US10082872B2 (en) * 2014-12-30 2018-09-25 Immersion Corporation Deformable haptic wearables with variable physical properties
CN107407963A (zh) * 2015-02-25 2017-11-28 意美森公司 用于与弯曲显示器的用户交互的系统和方法
KR102319466B1 (ko) * 2015-02-25 2021-10-29 삼성디스플레이 주식회사 표시장치 및 이를 이용한 표시장치의 구동방법
DE102015103407A1 (de) * 2015-03-09 2016-09-15 Preh Gmbh Bedienelement mit von der Detektionsrichtung abhängigem haptischem Feedback
US9983673B2 (en) 2015-03-17 2018-05-29 Queen's University At Kingston Haptic rendering for a flexible computing device
CN106156554B (zh) * 2015-03-25 2019-03-15 北京智谷睿拓技术服务有限公司 交互方法、交互装置以及用户设备
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
CN104932616A (zh) * 2015-06-08 2015-09-23 清华大学 基于铰链结构的可变形交互设备及交互系统
KR102345270B1 (ko) 2015-06-15 2022-01-03 삼성디스플레이 주식회사 표시장치
CN106357842A (zh) * 2015-07-17 2017-01-25 中兴通讯股份有限公司 一种移动终端上输出告警信息的方法和移动终端
CN105138076B (zh) * 2015-08-03 2020-01-31 联想(北京)有限公司 一种电子设备的控制方法及电子设备
US10366583B2 (en) * 2015-08-25 2019-07-30 Immersion Corporation Bistable haptic feedback generator
US10013060B2 (en) * 2015-09-18 2018-07-03 Immersion Corporation Systems and methods for providing haptic effects in response to deformation of a cover for an electronic device
US10152125B2 (en) 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
CN107209591B (zh) * 2015-12-29 2020-11-24 深圳市柔宇科技有限公司 中控系统及具有该中控系统的汽车
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10297234B2 (en) 2016-03-11 2019-05-21 International Business Machines Corporation Curved virtual display surface for displaying digital objects
CN107203291B (zh) * 2016-03-18 2020-06-30 上海和辉光电有限公司 可弯曲式触控传感器及包括该触控传感器的显示装置
CN105843572B (zh) * 2016-03-21 2020-02-21 联想(北京)有限公司 一种信息处理方法及可形变的电子设备
CN105912899A (zh) * 2016-03-31 2016-08-31 联想(北京)有限公司 一种控制电子设备的方法以及电子设备
EP3242187B1 (en) * 2016-05-04 2018-11-21 Vestel Elektronik Sanayi ve Ticaret A.S. System and method for simulating a reaction force from a virtual object
US20170344120A1 (en) * 2016-05-24 2017-11-30 Intel Corporattion User-input interaction for movable-panel mobile device
KR20170140976A (ko) * 2016-06-14 2017-12-22 엘지전자 주식회사 폴더블 디바이스 및 그 제어방법
JP6261675B1 (ja) 2016-07-19 2018-01-17 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
JP6261674B1 (ja) 2016-07-19 2018-01-17 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
US9921609B2 (en) * 2016-08-02 2018-03-20 Immersion Corporation Systems and methods for deformation and haptic effects
US10558277B2 (en) 2016-08-04 2020-02-11 Microsoft Technology Licensing, Llc Folding angle sensing of a foldable device
US10234945B2 (en) * 2016-09-09 2019-03-19 Immersion Corporation Compensated haptic rendering for flexible electronic devices
US20180074607A1 (en) * 2016-09-11 2018-03-15 Ace Zhang Portable virtual-reality interactive system
US10545900B2 (en) 2016-09-23 2020-01-28 Microsoft Technology Licensing, Llc Physical configuration of a device for interaction mode selection
US10528088B2 (en) 2016-09-28 2020-01-07 Microsoft Technology Licensing, Llc Opening state detection of a foldable device using self-capacitance
US10346117B2 (en) 2016-11-09 2019-07-09 Microsoft Technology Licensing, Llc Device having a screen region on a hinge coupled between other screen regions
JP2018081503A (ja) * 2016-11-16 2018-05-24 富士ゼロックス株式会社 表示装置およびプログラム
US10409335B2 (en) * 2016-12-12 2019-09-10 Motorola Mobility Llc Method to recover permanent set in a foldable display
JP2018097706A (ja) * 2016-12-15 2018-06-21 株式会社東海理化電機製作所 触聴覚呈示装置
JP6535353B2 (ja) 2017-01-10 2019-06-26 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
JP6507183B2 (ja) 2017-01-10 2019-04-24 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
US10416710B2 (en) 2017-01-10 2019-09-17 Lenovo (Singapore) Pte. Ltd. Portable information device
US10409332B2 (en) 2017-01-10 2019-09-10 Lenovo (Singapore) Pte. Ltd. Portable information device
US10481634B2 (en) 2017-01-10 2019-11-19 Lenovo (Singapore) Pte. Ltd. Portable information device
JP6429909B2 (ja) 2017-01-10 2018-11-28 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
US10296176B2 (en) * 2017-01-30 2019-05-21 Microsoft Technology Licensing, Llc Navigational aid for a hinged device via semantic abstraction
US10539993B2 (en) * 2017-03-14 2020-01-21 Microsoft Technology Licensing, Llc Integrated energy storage systems in computing facilities
JP6513732B2 (ja) 2017-04-27 2019-05-15 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
CN107277229A (zh) * 2017-05-26 2017-10-20 努比亚技术有限公司 一种信息输入方法、终端及计算机可读存储介质
ES2863276T3 (es) 2017-06-28 2021-10-11 Ericsson Telefon Ab L M Dispositivo flexible de comunicación y método para cambiar la forma del dispositivo
US10719987B1 (en) 2017-06-28 2020-07-21 Kilburn Live, Llc Augmented reality in a virtual reality environment
US20190012000A1 (en) * 2017-07-05 2019-01-10 Motorola Mobility Llc Deformable Electronic Device with Methods and Systems for Controlling the Deformed User Interface
JP6453413B1 (ja) 2017-10-04 2019-01-16 レノボ・シンガポール・プライベート・リミテッド 携帯用情報機器
JP7155505B2 (ja) * 2017-10-23 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
CN207381016U (zh) * 2017-10-31 2018-05-18 昆山国显光电有限公司 一种可折叠显示屏
US10440848B2 (en) * 2017-12-20 2019-10-08 Immersion Corporation Conformable display with linear actuator
CN108037880A (zh) * 2017-12-29 2018-05-15 努比亚技术有限公司 一种曲面屏控制方法、终端及计算机可读存储介质
CN108509079B (zh) * 2018-03-29 2022-04-08 北京小米移动软件有限公司 触控组件及包括该触控组件的电子设备
CN108538203A (zh) * 2018-04-16 2018-09-14 努比亚技术有限公司 柔性屏非正常弯曲告警方法、移动终端及可读存储介质
CN108597512A (zh) * 2018-04-27 2018-09-28 努比亚技术有限公司 移动终端控制方法、移动终端及计算机可读存储介质
KR102255793B1 (ko) 2018-06-14 2021-05-25 삼성전자주식회사 디스플레이 영역의 크기 변경이 가능한 플렉시블 디스플레이를 포함하는 전자 장치 및 그 제어 방법
EP3794429B1 (en) * 2018-06-29 2023-11-22 Samsung Electronics Co., Ltd. Method for managing flexible display and electronic device thereof
EP3796133A4 (en) 2018-07-10 2021-08-11 Samsung Electronics Co., Ltd. ELECTRONIC PROCESS AND DEVICE FOR PERFORMING AN OPERATION BASED ON BENDING
WO2020013596A1 (ko) * 2018-07-10 2020-01-16 삼성전자주식회사 벤딩에 기초하여 동작을 수행하는 방법 및 전자 장치
CN109240585A (zh) * 2018-08-08 2019-01-18 瑞声科技(新加坡)有限公司 一种人机交互的方法、装置、终端和计算机可读存储介质
US11029759B2 (en) 2018-09-19 2021-06-08 International Business Machines Corporation Haptic movable display for spatial correlation
JP7081048B2 (ja) * 2018-09-30 2022-06-06 華為技術有限公司 システムナビゲーションバー表示方法、システムナビゲーションバー制御方法、グラフィカルユーザインターフェース、および電子機器
US11353934B2 (en) 2018-11-02 2022-06-07 Hewlett-Packard Development Company, L.P. Magnetic suspensions for displays
DE102018219721A1 (de) 2018-11-16 2020-05-20 Audi Ag Bedien- und Anzeigevorrichtung für ein Kraftfahrzeug sowie Verfahren zum Bedienen einer Bedien- und Anzeigevorrichtung
US20200174612A1 (en) * 2018-11-30 2020-06-04 Immersion Corporation Variable curvature interactive devices
CN109739465B (zh) * 2018-12-21 2021-01-29 维沃移动通信有限公司 音频输出方法及移动终端
CN109753118B (zh) * 2018-12-29 2021-03-19 维沃移动通信有限公司 一种终端控制方法及终端
US11216071B2 (en) 2019-01-02 2022-01-04 The Johns Hopkins University Low-profile tactile output apparatus and method
KR102700032B1 (ko) * 2019-01-21 2024-08-29 삼성전자주식회사 디스플레이의 손상을 방지하기 위한 전자 장치 및 방법
CN110035352B (zh) * 2019-02-22 2020-09-29 维沃移动通信有限公司 一种展现音效效果的方法、柔性设备及存储介质
KR20200109737A (ko) 2019-03-14 2020-09-23 삼성전자주식회사 햅틱 액츄에이터를 포함하는 전자 장치
US10747264B1 (en) * 2019-04-03 2020-08-18 Dell Products, L.P. Hinge actions and virtual extended display modes for multi-form factor information handling system (IHS)
KR20200117638A (ko) * 2019-04-05 2020-10-14 삼성전자주식회사 디스플레이의 굴곡부의 시인성을 향상시키는 전자 장치 및 전자 장치의 동작 방법
US11079845B2 (en) * 2019-04-29 2021-08-03 Matt Giordano System, method, and apparatus for therapy and computer usage
KR102670212B1 (ko) 2019-08-21 2024-05-30 삼성디스플레이 주식회사 윈도우, 이의 제조방법 및 이를 포함하는 표시장치
US11561587B2 (en) 2019-10-01 2023-01-24 Microsoft Technology Licensing, Llc Camera and flashlight operation in hinged device
US11201962B2 (en) * 2019-10-01 2021-12-14 Microsoft Technology Licensing, Llc Calling on a multi-display device
US11416130B2 (en) 2019-10-01 2022-08-16 Microsoft Technology Licensing, Llc Moving applications on multi-screen computing device
CN112987957A (zh) * 2019-12-17 2021-06-18 群创光电股份有限公司 电子装置
CN111262994B (zh) * 2020-01-09 2021-07-16 三星电子（中国）研发中心 一种折叠屏智能设备的任务选择方法和装置
US11209929B2 (en) 2020-02-17 2021-12-28 Robert Bosch Gmbh Faulty pressure sensor determination of a portable communication device touch display
KR20220101742A (ko) * 2020-02-26 2022-07-19 후아웨이 테크놀러지 컴퍼니 리미티드 햅틱 및 사운드 효과로 제어가능한 폴더블 디스플레이를 위한 장치 및 방법
KR102324562B1 (ko) 2020-05-07 2021-11-11 삼성전자주식회사 플렉서블 디스플레이를 포함하는 전자 장치
US11009921B1 (en) * 2020-05-14 2021-05-18 Apple Inc. Electronic devices with adjustable hinges
US11481035B2 (en) * 2020-05-15 2022-10-25 Huawei Technologies Co., Ltd. Method and system for processing gestures detected on a display screen of a foldable device
CN111862813A (zh) * 2020-07-21 2020-10-30 维沃移动通信有限公司 电子设备
US11488331B2 (en) 2020-11-03 2022-11-01 International Business Machines Corporation Smart interactive simulation-based content on a flexible display device
KR20220061752A (ko) 2020-11-06 2022-05-13 삼성전자주식회사 플렉서블 디스플레이를 제어하는 방법 및 전자 장치
US12090390B2 (en) * 2020-11-30 2024-09-17 Lepton Computing Llc Gaming motion control interface using foldable device mechanics
EP4242798A4 (en) * 2021-03-11 2024-05-22 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE FOR PROVIDING VIBRATION FEEDBACK, AND METHOD OF OPERATING THE SAME
US11921547B2 (en) * 2021-08-20 2024-03-05 Lenovo (Singapore) Pte. Ltd. Apparatus, methods, and program products for modifying a size and/or shape of a computing display screen
US11635817B1 (en) 2021-10-07 2023-04-25 Microsoft Technology Licensing, Llc Stylus haptic component
EP4170461B1 (en) 2021-10-25 2024-07-10 STMicroelectronics S.r.l. Method for detecting an open or closed state of a foldable electronic device
US11989065B2 (en) 2022-01-18 2024-05-21 Stmicroelectronics S.R.L. Screen state detection using an electrostatic charge variation sensor
CN114613119B (zh) * 2022-01-19 2023-09-19 浙江大丰体育设备有限公司 支持无线群控荧光棒群控的基站
US11984095B1 (en) 2023-04-13 2024-05-14 Dell Products L.P. Information handling system display curvature adjustments based on viewing distance and content

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456823B2 (en) 2002-06-14 2008-11-25 Sony Corporation User interface apparatus and portable information apparatus
JP4447823B2 (ja) * 2002-06-14 2010-04-07 ソニー株式会社 携帯情報機器
JP2006011646A (ja) * 2004-06-23 2006-01-12 Pioneer Electronic Corp 触覚表示装置及び触覚表示機能付タッチパネル装置
JP3911515B2 (ja) * 2005-10-13 2007-05-09 パイオニア株式会社 表示制御装置、表示方法、表示プログラムおよび記録媒体
KR101472021B1 (ko) 2008-09-02 2014-12-24 엘지전자 주식회사 플렉서블 디스플레이부를 구비한 휴대 단말기 및 그 제어방법
KR101521219B1 (ko) * 2008-11-10 2015-05-18 엘지전자 주식회사 플렉서블 디스플레이를 이용하는 휴대 단말기 및 그 제어방법
US20100225578A1 (en) * 2009-03-03 2010-09-09 Chueh-Pin Ko Method for Switching Multi-Functional Modes of Flexible Panel and Calibrating the Same
WO2010119397A2 (en) * 2009-04-15 2010-10-21 Koninklijke Philips Electronics N.V. A foldable tactile display
CN102422244A (zh) * 2009-05-07 2012-04-18 伊梅森公司 用于提供触觉反馈形状变化显示器的方法和设备
KR101587211B1 (ko) * 2009-05-25 2016-01-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
EP2315186B1 (en) * 2009-10-26 2016-09-21 Lg Electronics Inc. Mobile terminal with flexible body for inputting a signal upon bending said body
US20120256821A1 (en) * 2010-05-18 2012-10-11 Seektech, Inc. User interface devices, apparatus, and methods
CN102609078B (zh) * 2011-01-20 2014-12-31 宏达国际电子股份有限公司 具有触觉反馈的电子装置及提供触觉反馈的方法
EP3734407A1 (en) * 2011-02-10 2020-11-04 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
US9866660B2 (en) * 2011-03-21 2018-01-09 Apple Inc. Electronic devices with concave displays
US20130009882A1 (en) 2011-07-07 2013-01-10 Nokia Corporation Methods and apparatuses for providing haptic feedback
US20130009892A1 (en) * 2011-07-07 2013-01-10 Nokia, Inc. Methods and apparatuses for providing haptic feedback
US8929085B2 (en) * 2011-09-30 2015-01-06 Apple Inc. Flexible electronic devices
US9614981B2 (en) * 2012-01-31 2017-04-04 Nokia Technologies Oy Deformable apparatus, method and computer program
US9411423B2 (en) 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
CN102629446B (zh) * 2012-03-22 2015-08-05 京东方科技集团股份有限公司 显示面板及其操作控制方法和显示装置
KR101692252B1 (ko) * 2012-04-08 2017-01-04 삼성전자주식회사 플렉서블 디스플레이 장치 및 제어 방법
KR101721046B1 (ko) * 2012-04-08 2017-03-29 삼성전자주식회사 디스플레이 장치 및 그에 대한 제어 방법
US9524030B2 (en) * 2013-04-26 2016-12-20 Immersion Corporation Haptic feedback for interactions with foldable-bendable displays
US9392085B2 (en) * 2013-05-08 2016-07-12 At&T Intellectual Property I, L.P. Charging a mobile device having a flexible display

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160104177A (ko) * 2015-02-25 2016-09-05 삼성디스플레이 주식회사 폴더블 디스플레이 장치
KR20160127282A (ko) * 2015-04-24 2016-11-03 삼성디스플레이 주식회사 가요성 디스플레이의 햅틱 구동 방법 및 장치
KR20200085174A (ko) * 2019-01-04 2020-07-14 삼성전자주식회사 폴더블 디스플레이를 갖는 전자 장치 및 그 제어 방법
WO2023106888A1 (en) * 2021-12-10 2023-06-15 Samsung Electronics Co., Ltd. Foldable electronic device and method for determining health of display assembly

Also Published As

Publication number Publication date
CN109062414A (zh) 2018-12-21
US20140320393A1 (en) 2014-10-30
US9524030B2 (en) 2016-12-20
JP2018190452A (ja) 2018-11-29
EP2796976A1 (en) 2014-10-29
US10048758B2 (en) 2018-08-14
JP2014216025A (ja) 2014-11-17
US20190073035A1 (en) 2019-03-07
JP6382564B2 (ja) 2018-08-29
EP2796976B1 (en) 2020-01-22
CN104122992A (zh) 2014-10-29
US20170060248A1 (en) 2017-03-02
CN104122992B (zh) 2018-09-18

Similar Documents

Publication Publication Date Title
US10048758B2 (en) Haptic feedback for interactions with foldable-bendable displays
US9606625B2 (en) Haptically-enabled deformable device with rigid component
EP2796964B1 (en) System and Method for a Haptically-Enabled Deformable Surface
US10310614B2 (en) Systems and methods for providing haptic effects in response to deformation of a cover for an electronic device
US9983676B2 (en) Simulation of tangible user interface interactions and gestures using array of haptic cells
EP2778856B1 (en) Systems and methods for haptic and gesture-driven paper simulation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application