KR101589345B1 - 형상 변화 장치의 물리적 변화로서 사용자 인터페이스 메타포를 표현하기 위한 방법 및 기기 - Google Patents

형상 변화 장치의 물리적 변화로서 사용자 인터페이스 메타포를 표현하기 위한 방법 및 기기 Download PDF

Info

Publication number
KR101589345B1
KR101589345B1 KR1020130067004A KR20130067004A KR101589345B1 KR 101589345 B1 KR101589345 B1 KR 101589345B1 KR 1020130067004 A KR1020130067004 A KR 1020130067004A KR 20130067004 A KR20130067004 A KR 20130067004A KR 101589345 B1 KR101589345 B1 KR 101589345B1
Authority
KR
South Korea
Prior art keywords
screen
deformation
virtual
virtual element
flexible surface
Prior art date
Application number
KR1020130067004A
Other languages
English (en)
Other versions
KR20130139785A (ko
Inventor
데이빗 엠 번바움
리 지앙
주앙 마누엘 크루즈-헤르난데츠
알리 모다레스
크리스토프 람스테인
대니 에이 그랜트
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20130139785A publication Critical patent/KR20130139785A/ko
Application granted granted Critical
Publication of KR101589345B1 publication Critical patent/KR101589345B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/218—Input arrangements for video game devices characterised by their sensors, purposes or types using pressure sensors, e.g. generating a signal proportional to the pressure applied by the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가요성 표면을 구비하는 사용자 인터페이스 장치, 가요성 표면에 동작적으로 연결되고 가요성 표면의 변형을 일으키도록 구성된 햅틱 출력 장치, 및 햅틱 출력 장치와 신호로 통신하는 컨트롤러를 구비하는 전자 장치. 컨트롤러는 사용자 인터페이스 상에 표현되는 가상 요소의 시뮬레이션 된 물리적 행동에 기초하여 가요성 표면의 변형을 일으키도록 햅틱 출력 장치를 트리거하도록 구성된다.

Description

형상 변화 장치의 물리적 변화로서 사용자 인터페이스 메타포를 표현하기 위한 방법 및 기기{METHOD AND APPARATUS FOR REPRESENTING USER INTERFACE METAPHORS AS PHYSICAL CHANGES ON A SHAPE-CHANGING DEVICE}
본 발명은 형상 변화 장치(shape-changing device)의 물리적 변화로서 사용자 인터페이스 메타포(metaphors)를 표현하기 위한 방법 및 기기(apparatus)에 관한 것이다.
어떤 전자 사용자 인터페이스 장치(electronic user interface devices)는, 게임 환경과 같은, 가상 환경을 사용자에게 시각적으로 전달(convey)할 수 있다. 가상 환경(virtual environment)의 가상 요소(virtual elements)는 전자 사용자 인터페이스 장치 중 하나의 화면(screen)상에 표시될 수 있다. 사용자는 화면상의 요소를 터치(touching)하는 것 및 드래그(dragging)하는 것과 같은 메타포를 통해 가상 요소와 상호작용할 수 있다. 가상 환경은 화면에 의해 제한될 수 있고, 사용자는 화면의 경계를 넘어서는 가상 요소를 드래그할 수 없다.
본 발명의 일 양태에 따르면, 물리적 변화로서 사용자 인터페이스 메타포를 이용가능하도록 구성된 전자 사용자 인터페이스 장치가 제공된다. 장치는 가요성 표면(flexible surface)을 포함하는 사용자 인터페이스, 햅틱 출력 장치(haptic output device), 및 컨트롤러(controller)를 포함할 수 있다. 햅틱 출력 장치는 가요성 표면에 동작적으로(operatively) 연결되고 가요성 표면의 변형을 일으키도록 구성될 수 있다. 컨트롤러는 햅틱 출력 장치와 신호로 통신할 수 있고, 가요성 표면의 변형을 일으키도록 햅틱 출력 장치를 트리거하도록 구성될 수 있다. 일으켜진 변형은 사용자 인터페이스 상에 표현되는 가상 요소의 시뮬레이션 된 물리적 행동에 기초할 수 있다.
실시 예에서, 물리적 행동은 가요성 표면과 가상 요소의 물리적 상호작용이다. 가상 요소는 사용자 인터페이스의 화면상에 시각적으로 표현될 수 있다.
실시 예에서, 컨트롤러는 가상 요소의 일부분만을 화면상에 시각적으로 표현하도록 구성될 수 있다. 컨트롤러는 변형이 화면상에 시각적으로 표현되지 않은 가상 요소의 다른 부분을 표현하도록 햅틱 출력 장치를 트리거함으로써 가요성 표면과 가상 요소의 물리적 상호작용을 시뮬레이션 하도록 구성될 수 있다.
실시 예에서, 변형의 속도(rate)는 화면상의 가상 요소의 부분이 가요성 표면에 대해 움직이도록 시각적으로 표현된 속도에 기초할 수 있다.
실시 예에서, 컨트롤러는 가요성 표면의 변형의 변화에 응답하여 화면상의 가상 요소의 부분의 움직임을 화면상에 시각적으로 표현함으로써 물리적 상호작용을 시뮬레이션 하도록 구성된다. 실시 예에서, 컨트롤러는 가상 요소의 시뮬레이션 된 저항(resistance)에 기초하여 상기 가요성 표면의 가요성을 조절하도록 구성될 수 있다.
실시 예에서, 가요성 표면은 화면의 앞, 뒤, 또는 부분이다. 컨트롤러는 화면상의 가상 요소를 확대(enlarging) 또는 축소(shrinking)하고 확대 또는 축소에 기초하여 변형을 일으키도록 햅틱 출력 장치를 트리거함으로써 물리적 상호작용을 시뮬레이션 하도록 구성될 수 있다.
실시 예에서, 컨트롤러는 가상 요소와 연관된 물리적 요소(physical element)의 물리적 행동에 기초하여 변형을 일으키도록 햅틱 출력 장치를 트리거함으로써 물리적 행동을 시뮬레이션 하도록 구성된다. 물리적 행동은 물리적 요소의 확장 또는 수축을 포함할 수 있다.
이와 같은 혹은 다른 본 발명의 여러 가지 양태, 특징, 및 특성에 더하여, 제조의 경제성과 부분의 조합, 구조의 관련 요소의 기능 및 동작의 방법이, 같은 참조부호가 여러 도면에서 대응되는 부분을 지시하고, 본 명세서의 일부분을 구성하는, 첨부된 도면을 참조하여 첨부된 청구항 및 다음의 설명을 고려하면 한층 더 명백해질 것이다. 그러나, 도면은 묘사 및 설명만을 목적으로 하고 본 발명을 제한하는 의미로서 의도되지 않는다는 것이 분명하게 이해될 것이다. 본 명세서 및 청구항에서 사용되는, "한(a)", "하나의(an)", 및 "상기(the)"라는 지시 형태는 문맥에서 명백히 다르게 의미를 지시하지 않는 이상 복수의 지시 대상을 포함한다.
도 1a는 본 발명의 실시 예에 따른 기기를 개략적으로 도시.
도 1b는 도 1a의 기기의 구성요소(components)를 개략적으로 도시.
도 2a-2g는 도 1a의 기기의 사용자 인터페이스 상에 표현된 가상 요소의 물리적 행동을 시뮬레이션하는 변형을 도시.
도 3은 도 1a의 기기의 사용자 인터페이스 상에 표현된 가상 요소의 물리적 행동을 시뮬레이션하는 변형을 도시.
도 4a-4c는 도 1a의 기기의 사용자 인터페이스 상에 표현된 가상 요소의 물리적 행동을 시뮬레이션하는 변형을 도시.
도 5a-5b는 도 1a의 기기의 사용자 인터페이스 상에 표현된 가상 요소의 물리적 행동을 시뮬레이션하는 변형을 도시.
도 6은 도 1a의 기기의 사용자 인터페이스 상에 표현된 가상 요소의 물리적 행동을 시뮬레이션하는 변형을 도시.
도 7a-7b는 도 1a의 기기의 사용자 인터페이스 상에 표현된 가상 요소의 물리적 행동을 시뮬레이션하는 변형을 도시.
도 1a는 가상 환경의 가상 요소가 물리적 세계와 상호작용하는 것처럼 보이거나 그렇지 않으면 물리적 행동을 드러내는(manifest) 것처럼 보이도록 가능하게 하는 사용자 인터페이스 메타포를 이용가능하게 할 수 있는 전자 사용자 인터페이스 장치(100)의 실시 예를 도시한다. 소정의 경우에는, 가상 요소는 아이콘, 애니메이션, 비디오, 또는 기타 이미지와 같은 것을 통해, 화면(110)상에 시각적으로 표현되는 오브젝트(object)일 수 있다. 가상 요소는 화면을 경계짓는(bordering) 가요성 표면(120 또는 130)의 변형을 통해 화면을 넘어서 물리적 세계로 확장되는 것처럼 보일 수 있다. 변형은 가요성 표면(120 또는 130)과 가상 요소 사이의 물리적 상호작용을 시뮬레이션 할 수 있다. 상호작용은 가상 요소에 의해 가요성 표면(120 또는 130)상에 가해지는 힘 또는 압력을 시뮬레이션 할 수 있다. 따라서 변형은 가상 요소가 화면을 넘어서 드러나는 물리적 행동을 하는 것처럼 보이도록 가능하게 한다. 소정의 경우에는, 가상 요소는 시각적으로 표현되지 않을 수 있다. 예컨대, 가상 요소는 유체 압력 또는 힘과 같은 시각적으로 감지할 수 없는 요소를 표현할 수 있다. 표면(120 또는 130)의 변형은 가상 요소에 의해 표면상에 가해지는 압력 또는 힘을 시뮬레이션 할 수 있다. 실시 예에서, 가요성 표면(120 및 130)의 변형은 햅틱 출력 장치(121 및 131)에 의해 각각 일으켜질 수 있다. 실시 예에서, 변형은, 표면을 단순히 터치하거나 가볍게 눌러서 생기는 변형과 대조적일 수 있는, 전체적 변형(gross deformation)일 수 있다. 실시 예에서, 전체적 변형은 사용자가 보거나 느낄 수 있는 변형일 수 있다.
실시 예에서, 가요성 표면(120 또는 130)은 수 마이크로미터, 수 밀리미터, 수 센티미터, 또는 수십 센티미터까지 탄성적으로 변형될 수 있는 소재(material)와 같은, 변형을 견딜 수 있는 임의의 소재를 포함할 수 있다. 도 1a에 도시된 바와 같이, 표면(120 또는 130)은, 각각, 참조부호(120a, 120b, 120c), 및 참조부호(130a, 130b, 130c)로 표현되는, 복수의 다른 위치로 각각 변형될 수 있다. 표면(120 또는 130)은, 바깥쪽 방향(예컨대, 장치(100)로부터 멀리), 안쪽 방향(예컨대, 장치(100)를 향해), 측면(예컨대, 비틀거나(twisting) 잡아당기는(stretching) 움직임), 또는 이들의 임의의 조합과 같은, 하나 이상의 자유도를 가진 움직임을 따라 변형되도록 동작될 수 있다. 실시 예에서, 표면(120 또는 130) 중 하나는 스폰지와 같은 소재의 변형에서와 같이, 자유로운 형태의 방식으로 변형되도록 동작될 수 있다.
실시 예에서, 햅틱 출력 장치(121 또는 131)는 액츄에이터(actuator)일 수 있고 솔레노이드(solenoid), 모터, 압전 소재(piezoelectric material), 섬유 복합체(예컨대, 매크로 섬유 복합체(macro-fiber composite)) 액츄에이터, 또는 이들의 임의의 조합을 포함할 수 있다. 실시 예에서, 액추에이터는 가요성 표면의 일부일 수 있다. 예컨대, 압전 소재는 가요성 표면의 일부일 수 있고, 전기 신호가 압전 소재에 인가될 때 표면을 변형하도록 구성될 수 있다. 실시 예에서, 햅틱 출력 장치(121 또는 131)는, 각각, 가요성 표면(120 또는 130)에 가해지는, 예컨대 사용자로부터의, 힘에 기초하여 신호를 출력할 수 있는 트랜스듀서(transducer)일 수 있다.
실시 예에서, 햅틱 출력 장치(121 또는 131)는 정전기 장치(electrostatic device)일 수 있다. 정전기 장치는 전기진동촉각(electrovibrotactile) 장치 또는 햅틱 효과를 생성하는 기계적인 움직임 대신에 전압과 전류를 인가하는 임의의 기타 장치일 수 있다. 본 실시 예에서의 정전기 장치는 적어도 전도층(conductive layer) 및 절연층(insulating layer)을 구비한다. 전도층은 구리, 알루미늄, 금, 또는 은과 같은, 임의의 반도체 또는 기타 전도성 소재일 수 있다. 절연층은 유리, 플라스틱, 고분자, 또는 임의의 기타 절연 소재일 수 있다. 시스템은 전도층(conducting layer)으로 전기 신호를 인가함으로써 정전기 장치를 동작시킬 수 있다. 전기 신호는, 본 실시 예에서, 표면(120 또는 130)에서 터치한 오브젝트 또는 표면(120 또는 130) 근처에 있는 오브젝트와 전도층을 용량성으로(capacitively) 연결하는 AC 신호일 수 있다. AC 신호는 고전압 증폭기에 의해 생성될 수 있다. 전자 사용자 인터페이스 장치(100)는 햅틱 효과를 생성하도록 용량성으로 연결하는 것 이외에 다른 원리에도 또한 의존할 수 있다. 용량성 연결은 표면(120 또는 130)상의 마찰 계수 또는 질감을 시뮬레이션 할 수 있다. 표면(120 또는 130)이 매끄러울 수 있지만, 용량성 결합이 표면(120 또는 130) 근처의 개체와 전도층 사이의 인력(attractive force)을 생성할 수 있다는 점에서 마찰 계수는 시뮬레이션 된 항목이다. 인력은 표면에서 소재의 구조가 변화되지 않는 경우에도 표면상의 마찰을 증가시킨다. 마찰력의 변화는 마찰 계수의 변화를 시뮬레이션 한다.
용량성 연결은 또한, 사용자 손가락의 피부 내의 미립자(corpuscles)와 같이, 표면(120 또는 130)에서 터치한 오브젝트 또는 표면(120 또는 130) 근처에 있는 오브젝트의 부분들을 자극함으로써 햅틱 효과를 생성할 수 있다. 피부 내의 미립자는, 예컨대, 자극될 수 있고 진동 또는 소정의 더 구체적인 감각으로 용량성 연결을 감지할 수 있다. 예컨대, 전도층에 사용자 손가락의 전도성 부분과 연결되는 AC 전압 신호를 인가할 수 있다.
실시 예에서, 햅틱 출력 장치(121 또는 131)는, 각각, 표면(120 또는 130)에서 저주파 펄스 또는 고주파 진동을 생성하도록 구성될 수 있다. 저주파 펄스 또는 고주파 진동은 햅틱 효과로서 사용될 수 있다. 실시 예에서, 햅틱 출력 장치(121 또는 131)는 가요성 표면이 다양한 임의의 3차원 윤곽(contours)으로 변형되게 하도록 구성될 수 있다. 예컨대, 햅틱 출력 장치(121 또는 131)는 복수의 솔레노이드를 각각 포함할 수 있고, 각 솔레노이드에 의해 일으켜진 변형은 이미지의 픽셀에 대응할 수 있다. 복수의 솔레노이드는 이미지와 연관된 높이 정보, 색상 정보, 또는 기타 정보를 전달하는 표면 변형을 일으킬 수 있다.
실시 예에서, 장치(100)는 화면(110)과 공면(coplanar)이고 화면(110)의 부분 또는 화면의(110) 위 또는 아래인 가요성 표면을 구비할 수 있다. 실시 예에서, 장치(100)는 가요성 표면의 변형을 일으킬 수 있는 햅틱 출력 장치를 포함할 수 있다. 실시 예에서, 햅틱 효과는 화면 (110)의 표면에서 생성될 수 있다. 실시 예에서, 스크린(110)은 터치 스크린일 수 있다.
도 1b에 도시된 바와 같이, 햅틱 출력 장치(121 및 131)는 컨트롤러(160)와 신호로 통신할 수 있고, 컨트롤러(160)는, 각각, 가요성 표면(120 또는 130)의 변형을 일으키도록 햅틱 출력 장치(121 또는 131)를 트리거하도록 구성될 수 있다. 실시 예에서, 전자 사용자 인터페이스 장치(100)는 햅틱 출력 장치(141 및 151)를 더 포함할 수 있고, 햅틱 출력 장치(141 및 151)는 하나 이상의 가요성 표면의 변형을 일으키도록 컨트롤러(160)에 의해 트리거 될 수 있다. 하나 이상의 가요성 표면은, 예컨대, 화면(110)과 공면이고 화면(110)의 부분 또는 화면의(110) 위 또는 아래인 가요성 표면을 포함할 수 있다. 하나 이상의 가요성 표면은, 예컨대, 장치(100)의 뒷면 상에 가요성 표면을 포함할 수 있다. 햅틱 출력 장치(141 및 151)는 서로 다른 가요성 표면의 변형을 일으킬 수 있거나, 같은 가요성 표면의 변형을 함께 일으킬 수 있다.
도 2a-2g는 가상 환경이 물리적 공간 주위로 확장하는 것처럼 보이도록 가능하게 할 수 있는 사용자 인터페이스 메타포를 도시한다. 가상 환경은 게임, 제품 데모(product demonstration), 또는 임의의 기타 어플리케이션(application)의 부분일 수 있다. 도 2a에서 도시된 바와 같이, 가상 환경은 가상 공(virtual ball)을 포함할 수 있다. 가상 공은 화면(110)상에 시각적으로 표현되는 일부분(301)을 구비할 수 있다(즉, 온스크린(on-screen) 부분(301)을 구비한다). 화면(110)을 넘어서 물리적 공간으로 가상 환경을 확장하기 위해, 가요성 표면(120)은 가상 공의 오프스크린(off-screen) 부분을 표현하도록 변형될 수 있다. 변형은 화면(110)을 넘어서 걸쳐있는 가상 공의 부분에 의해 밀려진(pushed) 가요성 표면(120)과 같은 물리적 상호작용을 시뮬레이션 할 수 있다. 실시 예에서, 시뮬레이션은 표면(120)의 변형과 시뮬레이션 된 상호작용 사이의 직접적 매핑(direct mapping)을 포함할 수 있다. 예컨대, 가요성 표면(120)은 유사 물리적 행동(similar physical behavior)을 갖는 물리적 공이 표면(120)을 어떻게 변형할 것인지와 실질적으로 매칭(matching)되는 모양 및 크기를 가지도록 변형될 수 있다. 모양은 활 모양일 수 있고, 예컨대, 한편 크기는 가상 공이 화면(110)을 넘어서 얼마나 확장하는지에 대응할 수 있다. 표면(120)은 가상 공의 온스크린 부분(301)이 표면(120)과 접하는(border) 장소에서 변형될 수 있다. 실시 예에서, 시뮬레이션은 표면(120)의 변형과 시뮬레이션 된 상호작용 사이의 표현적 매핑(representative mapping)을 포함할 수 있다. 예컨대, 표현적 매핑에 기초한 가요성 표면(120)의 변형은 직접적 매핑에서의 변형과 유사한 모양을 가질 수도 있지만, 직접적 매핑에서의 변형에 비해 실질적으로 더 크거나 실질적으로 더 작은 크기를 가질 수 있다. 다른 예에서, 표현적 매핑에 기초한 가요성 표면(120)의 변형은 유사 물리적 요소(similar physical element)가 표면(120)을 어떻게 변형할 것인지에 의존하지 않는 모양을 가질 수 있다.
도 2b는 표면(120)과 가상 공 사이의 시뮬레이션 된 물리적 상호작용을 더 도시한다. 일례에서, 표면(120)으로부터 밖으로 움직이는 것으로 보이는 가상 공의 온스크린 부분(301)에 응답하여 표면(120)의 변형이 감소한다. 변형이 감소하는 속도는 가상 공이 표면(120)으로부터 밖으로 움직이는 것으로 보이는 속도와 실질적으로 매칭될 수 있다.
일례에서, 가상 공은 표면(120)의 변형을 감소시키는 힘에 응답하여 표면(120)으로부터 밖으로 움직이는 것으로 보일 수 있다. 힘은 표면(120) 안쪽으로 사용자가 손으로 쥐어짜는 것(squeezing)과 같이, 사용자로부터 기인할 수 있다. 가상 공이 화면(110)상에 움직이는 속도 또는 정도(amount)는 힘의 지속시간(duration), 크기(magnitude), 또는 이들의 조합에 기초할 수 있다. 지속시간 또는 크기는, 예컨대, 표면(120)에 동작적으로 연결되는 트랜스듀서(transducer)에 의해 감지될 수 있다. 가상 공이 화면(110) 상에서 움직이는 방향은 가해진 힘의 방향에 기초할 수 있다.
일례에서, 가상 공의 움직임은 표면(120)의 변형에 있어서의 변화와 동시에 렌더링(rendered) 될 수 있다. 이러한 예에서, 가상 공의 움직임 또는 표면(120)의 변형에 있어서의 변화는 자동으로 또는 사용자 상호작용을 요구하지 않는 임의의 기타 방식으로 발생할 수 있다.
도 2c 및 2d에서 도시된 바와 같이, 가요성 표면(120 및 130)은 가상 공이 화면(110)의 경계로부터 멀어지는 것으로, 또는 더 일반적으로는 화면(110)상에 완전히 있는 것으로 보일 때 변형되지 않을 수 있다. 실시예에서, 도 5a 및 5b에서 도시되고 이하 설명된 바와 같이, 가요성 표면(120 또는 130)은 가상 요소가 화면(110)상에 완전히 있는 것으로 보일 때에도 변형될 수 있다. 변형은 가요성 표면(120 또는 130)과 가상 요소 사이의 접촉을 요구하지 않는 물리적 상호작용을 시뮬레이션 할 수 있거나, 장치(100)의 앞 또는 뒤로 가상 요소를 움직이는 것을 시뮬레이션 할 수 있다.
도 2e 및 2f에서 도시된 바와 같이, 가요성 표면(130)은 가상 공의 오프스크린 부분과의 상호작용을 시뮬레이션 하도록 변형될 수 있다. 시뮬레이션은 가상 공의 오프스크린 부분과의 시뮬레이션 된 상호작용과 변형 사이의 직접적 매핑을 포함할 수 있거나, 상호작용과 변형 사이의 표현적 매핑을 포함할 수 있다. 실시 예에서, 가요성 표면(130)의 변형의 속도 또는 정도는 가요성 표면(130)에 접근하는 것으로 보이는 가상 공의 속도에 기초할 수 있다. 실시 예에서, 가요성 표면(130)의 변형의 속도 또는 정도는 표면(130)의 시뮬레이션 된 또는 실제 강성(stiffness)에 기초할 수 있다. 예컨대, 더 높은 시뮬레이션 된 강성은 더 낮은 시뮬레이션 된 강성에 비해 표면(130)이 더 적게 변형되도록 할 수 있다. 실시 예에서, 실제 또는 시뮬레이션 된 강성은 가상 공이 화면(110)상에서 어떻게 행동하는지(behave)에 영향을 줄 수 있다. 예컨대, 가상 공은 표면의 시뮬레이션 된 또는 실제 강성에 기초한 속도에서 표면(130)에 의해 느려지는 것으로 보일 수 있다.
실시 예에서, 가요성 표면(130)의 변형의 속도 또는 정도는, 사용자가 쥐어짜는 것 또는 그렇지 않으면 표면을 누르는 것과 같이, 표면(130)에 대해 가해진 힘에 기초할 수 있다. 예컨대, 도 2g에서 도시된 바와 같이, 장치(100)가 사용자 손(211a)에 의해 단단히 잡히면, 가요성 표면(130)은 수 밀리미터 또는 센티미터 정도의 변형만 겪을 수 있을 수 있고, 가상 공의 움직임은 표면(130)에서 빠르게 감속되는 것으로 보일 수 있다. 가해진 힘이, 예컨대 표면(130) 안쪽으로 사용자 손(211a)이 쥐어짜는 것을 통해, 표면(130)의 변형을 일으키면, 가상 공은 가해진 힘의 방향으로 움직이는 것으로 보일 수 있다. 이 움직임은, 예컨대, 표면(120)으로 가상 공을 밀어내는 표면(130)을 시뮬레이션 할 수 있다.
실시 예에서, 가요성 표면(120 또는 130)은 시뮬레이션 된 또는 실제 스프링 같은(spring-like) 속성을 가질 수 있고, 화면(110)상의 가상 공의 움직임은 시뮬레이션 된 또는 실제 스프링 같은 속성에 기초할 수 있다. 예컨대, 변형된 가요성 표면(120 또는 130)은 스프링 같은 방식으로 가상 공에 밀려나도록 시뮬레이션 될 수 있다. 가상 공은 그런 다음 스프링 같은 표면(120 및 130) 사이에서 사용자 상호작용 없이 튕기도록(bounce) 시뮬레이션 될 수 있다. 실시 예에서, 가요성 표면(120 또는 130)은 비탄력적(inelastic)이도록 시뮬레이션 될 수 있고 가상 요소가 표면 밖으로 움직이거나 그렇지 않으면 표면과의 상호작용을 멈추는 것으로 보인 후에도 변형된 모양을 유지할 수 있다. 시뮬레이션 된 비탄력적 속성은, 예컨대, 찌그러진(dented) 표면을 시뮬레이션할 수 있다.
실시 예에서, 가요성 표면(120 또는 130)의 실제 강성은 조절가능할 수 있다. 예컨대, 햅틱 출력 장치(121 및 131)와 같은, 하나 이상의 햅틱 출력 장치는 컨트롤러(160)에 의해 변형에 있어서의 변화에 저항하도록 트리거될 수 있다. 표면(120 또는 130)의 실제 강성의 조절은, 움직임에 대한 시뮬레이션 된 저항과 같은, 가상 환경의 물리적 속성을 시뮬레이션 할 수 있다. 예컨대, 도 2f에 도시된 바와 같이, 표면(130)이 변형된 후에, 하나 이상의 햅틱 출력 장치는 사용자가 장치(100)를 쥐어짜는 것과 같이, 표면(130)에 대해 가해진 안쪽으로의 힘(inward force)에 저항하도록 구성될 수 있다. 변형에 있어서의 변화에 대한 저항은 가상 공의 질량을 사용자에게 시뮬레이션 할 수 있다. 질량이 더 큰 공은 밀리는 것에 대해 더 큰 저항을 가지도록 시뮬레이션 될 수 있다. 일례에서, 변형에 있어서의 변화에 대한 저항은 가상 유체의 점성(viscosity)을 시뮬레이션 할 수 있다. 점성이 더 큰 유체는 압축되는 것에 대해 더 큰 저항을 가지도록 시뮬레이션 될 수 있다.
도 2a-2g가 화면(110)상에 적어도 부분적으로 표현되어 있는 가상 공을 도시하지만, 소정의 실시 예들에서 가상 요소는 일시적으로 또는 영구적으로 완전히 오프스크린 상태로 표현될 수 있다.
도 3은 화면(110)상에 비디오로 시각적으로 표현된 사용자와 같은, 가상 요소와 가요성 표면(130) 사이의 시뮬레이션 된 물리적 상호작용을 도시한다. 예컨대, 가요성 표면(130)은 비디오 안의 사용자가 밀고 있는 벽 또는 기타 표면을 표현할 수 있다. 표면(130)의 변형은 벽 또는 기타 표면상의 변위(displacement) 정도, 벽 또는 기타 표면상에 가해지는 힘의 크기, 또는 이들의 임의의 조합에 기초할 수 있다.
도 4a-4c는 표면(130)이 가상 화살 및 가상 활의 오프스크린 부분과의 상호작용을 시뮬레이션 하도록 변형될 수 있는 게임을 도시한다. 가상 활의 오프스크린 부분은 활 시위(bow string)를 표현할 수 있는데, 한편 가상 화살의 오프스크린 부분은 가상 화살의 온스크린 부분(305)을 보완할 수 있다. 실시 예에서, 표면(130)으로의 가상 화살의 움직임에 응답하여 표면(130)은 변형될 수 있다. 가상 화살은 온스크린 부분(305) 위로 가해진 터치 입력을 통해 움직여질 수 있다. 변형은 당겨진 가상 화살 및 가상 활을 시뮬레이션 할 수 있다.
실시 예에서, 가상 화살은 화면(130)에서 수신된 사용자 입력에 응답하여 화면(110)상을 움직이는 것으로 보일 수 있다. 예컨대, 사용자는 바깥쪽 방향으로 표면(130)을 당기거나 표면(130)을 스트로크(stroke) 할 수 있어서 그 방향으로 표면(130)을 변형할 수 있다. 이에 응답하여, 가상 화살의 온스크린 부분(305)은 그 방향으로 당겨지는 것으로 보일 수 있다. 실시 예에서, 표면(130)의 변형은 화살 및 활의 오프스크린 부분이 표면(130)을 어떻게 변형할 것인지 시뮬레이션하는 직접적 매핑에 기초할 수 있거나, 변형의 모양 또는 크기가 유사 물리적 활(similar physical bow) 또는 화살이 표면(130)을 어떻게 변형할 것인지에 의존하지 않는 표현적 매핑에 기초할 수 있다. 실시 예에서, 표면(130)이 활 시위를 표현한다면, 변형은 가상 활 시위의 변형 또는 임의의 기타 물리적 행동을 시뮬레이션 할 수 있다.
가상 활에 의해 쏘아지는 가상 화살을 시뮬레이션 하기 위해, 화살의 온스크린 부분(305)은 움직이는 것으로 보일 수 있고, 표면(130)의 변형이 감소할 수 있다. 온스크린 움직임 및 변형에 있어서의 변화는 동시에 일어날 수 있거나, 한쪽이 다른 한쪽을 일으킬 수 있다. 가상 활 상의 장력(tension) 효과를 시뮬레이션 하기 위해, 활 시위를 놓기 전 표면(130)의 변형의 더 큰 정도는 활 시위를 놓은 후 가상 화살의 더 빠른 온스크린 움직임 및 화면(130)의 변형의 더 빠른 감소 속도를 일으킬 수 있다.
실시 예에서, 화면(110)과 동면(예컨대, 위, 아래, 또는 부분)인 가요성 표면은 화면 밖으로 나오거나 화면으로 들어가는(recessing) 가상 요소를 시뮬레이션 하도록 변형될 수 있다. 가요성 표면은 장치(100)의 앞면, 뒷면, 또는 양면 상에 있을 수 있다. 실시 예에서, 가요성 표면은 삼차원 윤곽을 시뮬레이션 하도록 변형될 수 있다. 예컨대, 표면은 가상 키보드의 시뮬레이션 된 윤곽에 기초하여 변형될 수 있다. 실시 예에서, 가상 요소의 온스크린 부분은 크기가 증가할 수 있어서 가상 요소가 사용자에게 접근하고 있는 것을 사용자에게 시뮬레이션 할 수 있다. 이에 응답하여, 동면 가요성 표면은 사용자에게 향하는 방향으로 변형될 수 있다. 변형은 동면 가요성 표면과 가상 요소 사이의 물리적 상호작용을 시뮬레이션할 수 있다. 시뮬레이션은 시뮬레이션 된 물리적 상호작용과 변형 사이의 직접적 매핑 또는 표현적 매핑을 포함할 수 있다. 예컨대, 직접적 매핑에 기초한 변형은 가상 요소의 온스크린 부분의 크기에 응답하는 변형 정도를 가질 수 있고, 온스크린 부분의 크기가 증가 또는 감소하는 속도에 대응하는 변형 속도를 가질 수 있다. 가상 요소는 화면(110)상에 완전히 보일 수 있거나 화면(110)과 표면(120 또는 130) 사이의 경계를 넘어서 확장하는 부분을 가지는 것으로 보일 수 있다.
도 5a-5b는 가상 줄(string)에 기초한 가요성 표면(120 및 130)의 변형을 도시하고, 이는 화면상에 완전히 보일 수 있다. 실시 예에서, 변형은 가상 줄의 온스크린 부분(307)과 가요성 표면(120 및 130) 사이의 물리적 상호작용을 시뮬레이션 한다. 시뮬레이션 된 물리적 상호작용은 상호작용하는 요소들 사이의 접촉을 요구하지 않는 상호작용일 수 있다. 예컨대, 물리적 상호작용은 가상 요소에 의해 생성되고 표면(120 또는 130)상에 가해지는 자기력(magnetic force) 또는 유체 압력(fluid pressure)을 표현할 수 있거나, 상호작용하는 요소 사이의 접촉을 요구하지 않는 임의의 기타 상호작용을 표현할 수 있다. 시뮬레이션은 변형과 상호작용 사이의 직접적 매핑을 포함할 수 있거나, 표현적 매핑을 포함할 수 있다.
실시 예에서, 장치(100)의 표면(120 및 130)은 각각 가상 줄을 표현할 수 있고, 도 5a-5b에 도시된 변형은 가상 줄의 움직임과 같은 물리적 행동을 시뮬레이션 할 수 있다. 본 실시 예에서, 표면(120 또는 130)은 화면(110)상에 도시된 가상 줄의 모양, 크기, 또는 이들의 조합에 매칭 또는 실질적으로 매칭되도록 변형될 수 있다.
실시 예에서, 변형은 가상 요소와 연관된 물리적 요소의 물리적 행동에 기초할 수 있다. 예컨대, 표면(120 및 130)은 사용자의 심장박동수 또는 호흡 속도에 기초하여 변형될 수 있다. 따라서 장치(100)는 사용자의 실제 심장 또는 실제 혈압과 연관된 가상 심장을 구현(embody)할 수 있다. 사용자 심장의 확장 및 수축 또는 사용자 혈압의 고저가 표면(120 및 130)의 확장 및 수축에 반영될 수 있고, 이는 사용자 심장의 물리적 상태(예컨대, 확장된 또는 수축된)를 표현할 수 있다.
도 6은, 한 장치상에서 드러나는 물리적 행동이 다른 장치상에서 경험될 수 있는 사용자 인터페이스 메타포의 부분으로서, 손으로 흔들기 또는 손으로 쥐어짜기 행동에 기초하여 표면(120 및 130)이 변형될 수 있는 예를 도시한다. 예컨대, 제1 사용자의 손(211A)이 장치(100)를 쥐어짜거나 그렇지 않으면 장치(100)상에 힘을 가할 때, 제2 사용자의 손(213B)은 이에 응답하여 장치(100A)상의 변형을 경험할 수 있다. 장치(100A)상의 변형은 가해진 힘을 나타내는 장치(100)로부터의 신호에 기초할 수 있다.
실시 예에서, 장치(100)는 제1 사용자의 손(211A)에 의해 가해진 힘에 의해 압축된 가상 유체를 표현할 수 있다. 장치(100)는 장치(100A)로의 힘을 나타내는 신호를 전송할 수 있다. 장치(100A)는 또한 가상 유체를 표현할 수 있고, 장치(100)상에 표현된 압축된 가상 유체에서 가상 장치(100A)상에 표현된 가상 유체로의 압력 전달(transfer)과 같은 신호를 해석할 수 있다. 이에 응답하여, 장치(100A)의 표면(120A 및 130A)은 압력 전달에 의해 확장된 장치(100A)의 가상 유체를 시뮬레이션 하도록 바깥으로 변형될 수 있다.
실시 예에서, 장치(100A)는 물리적 장치(100)의 가상 복사(virtual copy)를 표현할 수 있거나 장치(100)와 연관된 임의의 기타 가상 요소를 표현할 수 있다. 장치(100)상의 표면(120 및 130)의 변형과 같은 물리적 행동이 변형에 의해 장치(100A)상에 반영될 수 있다. 예컨대, 제1 사용자의 손(211A)이 표면(120 및 130)을 안쪽으로 쥐어짤 때, 장치(100A)의 표면(120A 및 130A)은 이에 응답하여 안쪽으로 변형될 수 있다. 변형은 두 사용자가 그들의 인터페이스 장치를 통해 물리적으로 상호작용하는 메타포를 촉진시킬 수 있다. 예컨대, 상호작용은 손으로 흔들기 또는 손으로 잡기를 흉내낼 수 있다. 후자는 사용자 사이의 애정(affection) 또는 기타 감성을 전달하도록 사용될 수 있다. 일례에서, 장치(100A)에서의 변형은 장치(100)에 대한 거리에 기초할 수 있다. 예컨대, 표면(120A 및 130A)의 변형 속도 또는 정도는 두 장치 사이의 거리에 선형적으로 비례하여 감소할 수 있다.
실시 예에서, 표면(120 또는 130)의 변형은 가상 메뉴(예컨대, 옵션 메뉴), 가상 페이지(예컨대, 웹페이지), 가상 문서, 또는 화면(110) 밖에 있는 위치로 스크롤 될 수 있는 시각적으로 표현된 부분을 구비하는 임의의 기타 가상 요소의 물리적 행동을 시뮬레이션 할 수 있다. 예컨대, 가상 메뉴, 페이지, 또는 문서의 온스크린 부분을 왼쪽으로 스크롤하는 것은 표면(120)의 변형을 일으킬 수 있다. 변형은 화면(110)의 왼쪽 상의 위치로 스크롤되는 가상 요소의 일부분을 시뮬레이션 할 수 있다. 변형 정도, 변형 속도, 또는 이들의 조합은 스크롤링 속도, 화면 밖으로 스크롤 된 부분의 시뮬레이션 된 위치, 또는 이들의 임의의 조합에 기초할 수 있다. 도 7a 및 도 7b에서 도시된 바와 같이, 스크롤링 행동(scrolling behavior)이 가상 메뉴, 페이지, 또는 문서를 위 또는 아래로 움직이면, 표면(120 또는 130)의 변형은 스크롤링 행동을 더욱더 일반적으로 표현할 수 있다. 예컨대, 표면(120 또는 130)은 스크롤링 속도를 표현하거나 온스크린 부분이 가상 요소, 페이지, 또는 문서의 위 또는 아래에 얼마나 가까이 있는지를 표현하도록 변형될 수도 있다.
위에 설명된 실시 예들에서, 장치(100)는 모바일 장치(mobile device), 원격 제어장치(remote control), 태블릿(tablet), 데스크탑(desktop), 또는 노트북 컴퓨터, 전자 디스플레이(electronic display), 또는 임의의 기타 사용자 인터페이스 장치일 수 있다. 컨트롤러(160)는 마이크로프로세서, 논리 회로(logic circuit), 또는 임의의 기타 컴퓨팅 장치(computing device)를 포함할 수 있다.
가장 실제적이고 바람직한 실시 예들인 것으로 현재 고려되는 것에 기초하여 설명을 위한 목적으로 상세하게 본 발명이 설명되지만, 이러한 세부사항은 단지 설명을 위한 목적을 위한 것이고, 본 발명은 개시된 실시 예들에 한정되지 않으며, 반대로, 첨부된 청구항의 사상 및 범위 내에 있는 수정 및 균등물을 포함하도록 의도된다. 예컨대, 본 발명은, 가능한 한, 임의의 실시 예의 하나 이상의 특징이 임의의 기타 실시 예의 하나 이상의 기능과 조합될 수 있다는 점을 고려한다는 것이 이해될 것이다.

Claims (24)

  1. 전자 장치에 있어서,
    가요성 표면(flexible surface)을 포함하는 사용자 인터페이스;
    상기 가요성 표면에 동작적으로(operatively) 연결되고 상기 가요성 표면의 변형(deformation)을 일으키도록 구성된 햅틱 출력 장치;
    화면(screen)의 한 부분에서 상기 화면의 다른 부분으로의 가상 요소의 움직임을 시각적으로 표현하도록 구성된 화면; 및
    상기 햅틱 출력 장치와 신호로 통신하고, 상기 화면상에 표현되는 상기 가상 요소와 상기 가요성 표면과의 시뮬레이션 된 물리적 상호작용(physical interaction)에 기초하여 상기 가요성 표면의 변형을 일으키도록 상기 햅틱 출력 장치를 트리거(trigger)하도록 구성된 컨트롤러를 포함하고,
    상기 가요성 표면의 변형은 상기 가상 요소의 움직임과 대응하는, 전자 장치.
  2. 제1항에 있어서, 상기 컨트롤러는 상기 가상 요소의 일부분만을 상기 화면에 시각적으로 표현하도록 구성되고, 상기 컨트롤러는 상기 변형이 상기 화면상에 시각적으로 표현되지 않은 상기 가상 요소의 다른 부분을 표현하도록 상기 햅틱 출력 장치를 트리거함으로써 상기 가요성 표면과 상기 가상 요소의 상기 물리적 상호작용을 시뮬레이션 하도록 구성되는, 전자 장치.
  3. 제2항에 있어서, 상기 변형의 크기가 상기 화면에 시각적으로 표현되지 않은 상기 가상 요소의 다른 부분의 크기에 기초하도록 상기 컨트롤러는 상기 햅틱 출력 장치를 트리거하도록 구성되는, 전자 장치.
  4. 제2항에 있어서, 상기 컨트롤러는 상기 변형의 속도(rate)가 상기 가상 요소의 부분이 상기 가요성 표면에 대해 움직이도록 시각적으로 표현된 속도에 기초하도록 상기 햅틱 출력 장치를 트리거하도록 구성되는, 전자 장치.
  5. 제2항에 있어서, 상기 컨트롤러는 상기 가요성 표면의 변형의 변화에 응답하여 상기 가상 요소의 부분의 움직임을 상기 화면상에 시각적으로 표현함으로써 상기 물리적 상호작용을 시뮬레이션 하도록 구성되는, 전자 장치.
  6. 제5항에 있어서, 상기 컨트롤러는 상기 가상 요소의 시뮬레이션 된 저항(resistance)에 기초하여 상기 가요성 표면의 가요성을 조절함으로써 상기 물리적 상호작용을 시뮬레이션하도록 구성되는, 전자 장치.
  7. 제1항에 있어서, 상기 컨트롤러는 상기 가상 요소와 연관된 물리적 요소(physical element)의 물리적 행동에 기초하여 상기 변형을 일으키도록 상기 햅틱 출력 장치를 트리거함으로써 물리적 행동을 시뮬레이션 하도록 더 구성되는, 전자 장치.
  8. 제7항에 있어서, 상기 물리적 행동은 상기 물리적 요소의 확장(expansion) 또는 수축(contraction)을 포함하는, 전자 장치.
  9. 제1항에 있어서, 상기 햅틱 출력 장치는 액츄에이터(actuator)를 포함하는, 전자 장치.
  10. 사용자 인터페이스에 적용되는 사용자 인터페이스 메타포(metaphor)를 표현하기 위한 방법에 있어서, 상기 방법은
    상기 사용자 인터페이스의 화면의 한 부분에서 상기 화면의 다른 부분으로의 가상 요소의 움직임을 시각적으로 표현하는 단계; 및
    상기 가상 요소의 움직임과 대응하는 가요성 표면의 변형을 일으키도록, 상기 사용자 인터페이스의 상기 가요성 표면에 동작적으로 연결된 햅틱 출력 장치를 트리거함으로써 상기 화면상에 표현된 상기 가상 요소와 상기 사용자 인터페이스의 가요성 표면과의 물리적 상호작용을 시뮬레이션 하는 단계를 포함하는, 방법.
  11. 제10항에 있어서, 상기 화면상에 상기 가상 요소를 시각적으로 표현하는 단계는 상기 가상 요소의 일부분만 상기 화면상에 시각적으로 표현하는 단계를 포함하고, 상기 가요성 표면과 상기 가상 요소의 물리적 상호작용을 시뮬레이션 하는 단계는 상기 화면상에 시각적으로 표현되지 않은 상기 가상 요소의 다른 부분을 표현하기 위해 상기 변형을 일으키도록 상기 햅틱 출력 장치를 트리거하는 단계를 포함하는, 방법.
  12. 제11항에 있어서, 상기 변형을 일으키도록 상기 햅틱 출력 장치를 트리거하는 단계는 상기 변형의 크기가 상기 화면상에 시각적으로 표현되지 않은 상기 가상 요소의 다른 부분의 크기에 기초하도록 하는 단계를 포함하는, 방법.
  13. 제11항에 있어서, 상기 변형을 일으키도록 상기 햅틱 출력 장치를 트리거하는 단계는 상기 변형의 속도가 상기 가상 요소의 부분이 상기 가요성 표면에 대해 움직이도록 시각적으로 표현된 속도에 기초하도록 하는 단계를 포함하는, 방법.
  14. 제11항에 있어서, 상기 물리적 상호작용을 시뮬레이션하는 단계는 상기 가요성 표면의 상기 변형의 변화에 응답하여 상기 가상 요소의 부분의 움직임을 상기 화면상에 시각적으로 표현하는 단계를 포함하는, 방법.
  15. 제14항에 있어서, 상기 물리적 상호작용을 시뮬레이션하는 단계는 상기 가상 요소의 시뮬레이션 된 저항에 기초하여 상기 가요성 표면의 가요성을 조절하는 단계를 포함하는, 방법.
  16. 제10항에 있어서, 상기 물리적 상호작용을 시뮬레이션 하는 단계는 상기 가상 요소와 연관된 물리적 요소의 물리적 행동에 기초하여 상기 변형을 일으키도록 상기 햅틱 출력 장치를 트리거하는 단계를 포함하는, 방법.
  17. 제16항에 있어서, 상기 물리적 행동은 상기 물리적 요소의 확장 또는 수축을 포함하는, 방법.
  18. 사용자 인터페이스에 적용되는 사용자 인터페이스 메타포를 표현하기 위한 방법에 있어서, 상기 방법은
    가요성 표면의 변형을 일으키기 위해 상기 사용자 인터페이스의 상기 가요성 표면에 동작적으로 연결된 햅틱 출력 장치를 트리거함으로써 상기 사용자 인터페이스의 화면상에 시각적으로 표현된 가상 요소의 행동(behavior)을 표현하는 단계 - 상기 행동은 상기 사용자 인터페이스의 화면상의 상기 가상 요소의 움직임을 포함함 - 를 포함하는, 방법.
  19. 제18항에 있어서, 상기 행동은 상기 화면상의 상기 가상 요소의 스크롤링(scrolling)을 포함하고, 상기 행동을 표현하는 단계는 상기 가상 요소가 스크롤된 방향과 일치하지 않는 방향으로 상기 가요성 표면의 변형을 일으키도록 상기 햅틱 출력 장치를 트리거하는 단계를 포함하는, 방법.
  20. 제18항에 있어서, 상기 행동은 상기 화면상의 상기 가상 요소의 스크롤링을 포함하고, 상기 행동을 표현하는 단계는 상기 화면에서 스크롤 되어나간(scroll off) 상기 가상 요소의 일부분과 상기 가요성 표면의 시뮬레이션 된 물리적 상호작용에 기초하여 상기 가요성 표면의 변형을 일으키도록 상기 햅틱 출력 장치를 트리거하는 단계를 포함하는, 방법.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
KR1020130067004A 2012-06-13 2013-06-12 형상 변화 장치의 물리적 변화로서 사용자 인터페이스 메타포를 표현하기 위한 방법 및 기기 KR101589345B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/495,235 US9703378B2 (en) 2012-06-13 2012-06-13 Method and apparatus for representing user interface metaphors as physical changes on a shape-changing device
US13/495,235 2012-06-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140052196A Division KR102077349B1 (ko) 2012-06-13 2014-04-30 형상 변화 장치의 물리적 변화로서 사용자 인터페이스 메타포를 표현하기 위한 방법 및 기기

Publications (2)

Publication Number Publication Date
KR20130139785A KR20130139785A (ko) 2013-12-23
KR101589345B1 true KR101589345B1 (ko) 2016-01-27

Family

ID=48699545

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020130067004A KR101589345B1 (ko) 2012-06-13 2013-06-12 형상 변화 장치의 물리적 변화로서 사용자 인터페이스 메타포를 표현하기 위한 방법 및 기기
KR1020140052196A KR102077349B1 (ko) 2012-06-13 2014-04-30 형상 변화 장치의 물리적 변화로서 사용자 인터페이스 메타포를 표현하기 위한 방법 및 기기

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020140052196A KR102077349B1 (ko) 2012-06-13 2014-04-30 형상 변화 장치의 물리적 변화로서 사용자 인터페이스 메타포를 표현하기 위한 방법 및 기기

Country Status (5)

Country Link
US (2) US9703378B2 (ko)
EP (1) EP2690526B1 (ko)
JP (2) JP2014002378A (ko)
KR (2) KR101589345B1 (ko)
CN (2) CN103577043B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10593132B2 (en) 2016-12-26 2020-03-17 Hyundai Motor Company System for controlling input interface for receiving control command of vehicle and control method thereof

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9703378B2 (en) * 2012-06-13 2017-07-11 Immersion Corporation Method and apparatus for representing user interface metaphors as physical changes on a shape-changing device
US20140278393A1 (en) 2013-03-12 2014-09-18 Motorola Mobility Llc Apparatus and Method for Power Efficient Signal Conditioning for a Voice Recognition System
US20140270249A1 (en) 2013-03-12 2014-09-18 Motorola Mobility Llc Method and Apparatus for Estimating Variability of Background Noise for Noise Suppression
JP2015011636A (ja) * 2013-07-01 2015-01-19 富士通株式会社 端末装置、画面切替方法及び画面切替プログラム
KR102256677B1 (ko) * 2013-12-02 2021-05-28 삼성디스플레이 주식회사 플렉서블 표시장치 및 이의 영상 표시방법
US9535550B2 (en) * 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
KR20160089722A (ko) * 2015-01-20 2016-07-28 삼성전자주식회사 화면 표시 장치 및 방법
US10347047B2 (en) * 2015-11-25 2019-07-09 Google Llc Trigger regions
US9849379B2 (en) * 2015-11-25 2017-12-26 Immersion Corporation Haptic peripheral having a deformable substrate configured for amplified deformation
CN106371573B (zh) * 2015-12-04 2020-06-02 北京智谷睿拓技术服务有限公司 触觉反馈的方法、装置和虚拟现实交互系统
CN106210273A (zh) * 2016-06-27 2016-12-07 联想(北京)有限公司 一种信息处理方法及电子设备
US10003872B2 (en) * 2016-10-06 2018-06-19 Microsoft Technology Licensing, Llc Speaker arrangement
US11983829B2 (en) * 2021-01-27 2024-05-14 Square Enix Co., Ltd. Non-transitory computer readable medium including augmented reality processing program and augmented reality processing system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100283727A1 (en) 2009-05-07 2010-11-11 Immersion Corporation System and method for shape deformation and force display of devices

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4149574B2 (ja) 1997-08-29 2008-09-10 ゼロックス コーポレイション ユーザインターフェースサポートデバイス、及び情報入力方法
US6160540A (en) * 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
AU6754400A (en) * 1999-07-31 2001-02-19 Craig L. Linden Method and apparatus for powered interactive physical displays
US6535201B1 (en) 1999-12-17 2003-03-18 International Business Machines Corporation Method and system for three-dimensional topographical modeling
US7088343B2 (en) * 2001-04-30 2006-08-08 Lenovo (Singapore) Pte., Ltd. Edge touchpad input device
JP2005142929A (ja) 2003-11-07 2005-06-02 Sony Ericsson Mobilecommunications Japan Inc 携帯端末
JP3895720B2 (ja) * 2003-12-10 2007-03-22 株式会社コナミデジタルエンタテインメント ゲームプログラム、及びゲーム装置
KR100456601B1 (ko) * 2004-03-18 2004-11-10 엔에이치엔(주) 게임 아이템 판매 등록 시스템 및 게임 아이템 판매 등록방법
US7490295B2 (en) * 2004-06-25 2009-02-10 Apple Inc. Layer for accessing user interface elements
US7355595B2 (en) * 2005-04-15 2008-04-08 Microsoft Corporation Tactile device for scrolling
US20060279531A1 (en) * 2005-05-25 2006-12-14 Jung Edward K Physical interaction-responsive user interface
US7986917B2 (en) * 2006-07-10 2011-07-26 Sony Ericsson Mobile Communications Ab Method and system for data transfer from a hand held device
US20110043476A1 (en) * 2006-08-17 2011-02-24 Nokia Corporation Scrollbar and Touchpad with Tactile and/or Audible Feedback
EP2062113A1 (en) * 2006-09-05 2009-05-27 Nokia Corporation Mobile electronic device with competing input devices
US8157650B2 (en) * 2006-09-13 2012-04-17 Immersion Corporation Systems and methods for casino gaming haptics
US20080204420A1 (en) 2007-02-28 2008-08-28 Fuji Xerox Co., Ltd. Low relief tactile interface with visual overlay
US20090015560A1 (en) 2007-07-13 2009-01-15 Motorola, Inc. Method and apparatus for controlling a display of a device
US20100236843A1 (en) * 2009-03-20 2010-09-23 Sony Ericsson Mobile Communications Ab Data input device
US20100283731A1 (en) 2009-05-07 2010-11-11 Immersion Corporation Method and apparatus for providing a haptic feedback shape-changing display
CN102473035B (zh) * 2009-07-22 2015-01-21 意美森公司 具有横跨平台的触觉反馈的交互式触摸屏游戏象征
US8531485B2 (en) * 2009-10-29 2013-09-10 Immersion Corporation Systems and methods for compensating for visual distortion caused by surface features on a display
US9696809B2 (en) * 2009-11-05 2017-07-04 Will John Temple Scrolling and zooming of a portable device display with device motion
KR101080803B1 (ko) * 2009-11-17 2011-11-07 한국과학기술연구원 실감 인터랙션 시스템 및 방법
US8432368B2 (en) * 2010-01-06 2013-04-30 Qualcomm Incorporated User interface methods and systems for providing force-sensitive input
JP2012058856A (ja) 2010-09-06 2012-03-22 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
US20130215079A1 (en) * 2010-11-09 2013-08-22 Koninklijke Philips Electronics N.V. User interface with haptic feedback
US20120122570A1 (en) * 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
US20130009882A1 (en) * 2011-07-07 2013-01-10 Nokia Corporation Methods and apparatuses for providing haptic feedback
US8723824B2 (en) * 2011-09-27 2014-05-13 Apple Inc. Electronic devices with sidewall displays
US9400600B2 (en) * 2011-12-16 2016-07-26 Samsung Electronics Co., Ltd. Method, apparatus, and graphical user interface for providing visual effects on a touchscreen display
US9964990B2 (en) * 2012-02-21 2018-05-08 Nokia Technologies Oy Apparatus and associated methods
KR101943435B1 (ko) * 2012-04-08 2019-04-17 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 동작 방법
US9703378B2 (en) * 2012-06-13 2017-07-11 Immersion Corporation Method and apparatus for representing user interface metaphors as physical changes on a shape-changing device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100283727A1 (en) 2009-05-07 2010-11-11 Immersion Corporation System and method for shape deformation and force display of devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10593132B2 (en) 2016-12-26 2020-03-17 Hyundai Motor Company System for controlling input interface for receiving control command of vehicle and control method thereof

Also Published As

Publication number Publication date
EP2690526A3 (en) 2014-04-30
US10551924B2 (en) 2020-02-04
JP2019049983A (ja) 2019-03-28
US9703378B2 (en) 2017-07-11
KR102077349B1 (ko) 2020-02-13
CN108196685A (zh) 2018-06-22
US20130335454A1 (en) 2013-12-19
JP2014002378A (ja) 2014-01-09
EP2690526A2 (en) 2014-01-29
CN103577043B (zh) 2018-03-27
US20170277262A1 (en) 2017-09-28
EP2690526B1 (en) 2019-03-06
KR20130139785A (ko) 2013-12-23
CN103577043A (zh) 2014-02-12
KR20140075656A (ko) 2014-06-19

Similar Documents

Publication Publication Date Title
KR101589345B1 (ko) 형상 변화 장치의 물리적 변화로서 사용자 인터페이스 메타포를 표현하기 위한 방법 및 기기
JP6616546B2 (ja) ストレッチ特性を組み込んだ触覚デバイス
EP2876528B1 (en) Systems and methods for generating friction and vibrotactile effects
JP6234364B2 (ja) 電気振動型タクタイル・ディスプレイ
JP6431126B2 (ja) モバイルデバイス上での共有されたフィードバックのための双方向性モデル
JP6442132B2 (ja) ハプティック・フレックス・ジェスチャリングのための方法及び装置
US20120223880A1 (en) Method and apparatus for producing a dynamic haptic effect
JP2018142313A (ja) 仮想感情タッチのためのシステム及び方法

Legal Events

Date Code Title Description
A201 Request for examination
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190109

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200109

Year of fee payment: 5