KR102094886B1 - 택타일 피드백 및 비주얼 피드백을 선택적으로 출력하는 디스플레이 디바이스 및 그 제어 방법 - Google Patents

택타일 피드백 및 비주얼 피드백을 선택적으로 출력하는 디스플레이 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR102094886B1
KR102094886B1 KR1020130022317A KR20130022317A KR102094886B1 KR 102094886 B1 KR102094886 B1 KR 102094886B1 KR 1020130022317 A KR1020130022317 A KR 1020130022317A KR 20130022317 A KR20130022317 A KR 20130022317A KR 102094886 B1 KR102094886 B1 KR 102094886B1
Authority
KR
South Korea
Prior art keywords
user interface
display device
user
unit
tactile feedback
Prior art date
Application number
KR1020130022317A
Other languages
English (en)
Other versions
KR20140107985A (ko
Inventor
김지환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130022317A priority Critical patent/KR102094886B1/ko
Priority to PCT/KR2013/002486 priority patent/WO2014133217A1/en
Priority to US13/862,144 priority patent/US9395816B2/en
Publication of KR20140107985A publication Critical patent/KR20140107985A/ko
Application granted granted Critical
Publication of KR102094886B1 publication Critical patent/KR102094886B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

본 명세서의 일 실시예에 따른 디스플레이 디바이스 제어 방법은 유저 인터페이스 유닛을 이용하여 제1 유저 인터페이스의 비주얼 피드백 및 택타일 피드백 중 적어도 하나를 출력하는 단계, 카메라 유닛을 이용하여 유저 인터페이스 유닛에 대한 사용자의 시선을 디텍팅하는 단계, 센서 유닛을 이용하여 제1 유저 인터페이스를 슬라이딩하는 컨택트를 센싱하는 단계, 사용자의 시선이 디텍팅된 경우, 제1 유저 인터페이스를 슬라이딩하는 컨택트에 대응하여 제2 유저 인터페이스의 비주얼 피드백을 출력하는 단계 및 사용자의 시선이 디텍팅되지 않은 경우, 제1 유저 인터페이스를 슬라이딩하는 컨택트에 대응하여 제1 유저 인터페이스의 택타일 피드백을 출력하는 단계를 포함할 수 있다.

Description

택타일 피드백 및 비주얼 피드백을 선택적으로 출력하는 디스플레이 디바이스 및 그 제어 방법{Display device and controlling method thereof for outputing tactile and visual feedback selectively}
본 명세서는 디스플레이 디바이스에 대한 것으로, 특히 비주얼 피드백 및 택타일 피드백 중 적어도 하나를 선택적으로 출력하는 터치 센서티브 디스플레이 디바이스 및 그의 제어 방법에 대한 것이다.
디스플레이 유닛이 포함된 디스플레이 디바이스가 보급되면서 사용자는 디스플레이 유닛이 제공하는 비주얼 피드백을 통해 디스플레이 디바이스의 동작 상태를 시각으로 확인하고 제어할 수 있다. 또한 디스플레이 디바이스는 택타일 피드백 유닛을 포함할 수 있으며 택타일 피드백을 통해 디스플레이 디바이스의 동작 상태를 사용자에게 인디케이트할 수 있다. 따라서 사용자는 시각뿐만 아니라 촉각을 이용하여 디스플레이 디바이스의 동작 상태를 확인하고 제어할 수 있다.
하지만, 디스플레이 유닛 및 택타일 피드백 유닛은 각각 비주얼 피드백 및 택타일 피드백을 사용자에게 제공하기 위해 전력을 소모한다. 배터리를 통해 전력을 공급받는 디스플레이 디바이스는 불필요한 전력 소모를 최소화하기 위한 파워 세이빙 방법이 요구된다. 또한 택타일 피드백을 제공하는 디스플레이 디바이스는 사용자의 터치 인풋이 택타일 피드백을 확인하기 위한 터치 인풋인지 유저 인터페이스를 제어하기 위한 터치 인풋인지 구별하기 어려운 문제점이 발생한다.
본 명세서는, 택타일 인터페이스를 제공하는 디스플레이 디바이스 및 그의 제어 방법을 제공하고자 한다. 특히, 본 명세서에서 디스플레이 디바이스는 불필요한 전력 소모를 최소화하고 사용자의 터치 인풋의 의도를 정확히 구별할 필요가 있다.
본 명세서의 일 실시예에 따른 디스플레이 디바이스는 유저 인터페이스를 출력하는 유저 인터페이스 유닛, 유저 인터페이스 유닛에 대한 사용자의 시선을 디텍팅하는 카메라 유닛, 및 유저 인터페이스 유닛 및 카메라 유닛을 제어하는 컨트롤러를 포함하고, 유저 인터페이스 유닛은 유저 인터페이스의 비주얼 피드백을 출력하는 디스플레이 유닛, 유저 인터페이스의 택타일 피드백을 출력하는 택타일 피드백 유닛 및 디스플레이 유닛에 대한 컨택트를 센싱하는 센서 유닛을 포함하고, 컨트롤러는, 유저 인터페이스 유닛을 이용하여 제1 유저 인터페이스의 제1 비주얼 피드백 및 제1 택타일 피드백 중 적어도 하나를 출력하고, 카메라 유닛을 이용하여 유저 인터페이스 유닛에 대한 사용자의 시선을 디텍팅하고, 센서 유닛을 이용하여 제1 유저 인터페이스를 슬라이딩하는 제1 컨택트를 센싱하고, 사용자의 시선이 디텍팅된 경우, 제1 유저 인터페이스를 슬라이딩하는 제1 컨택트에 대응하여 제2 유저 인터페이스의 제2 비주얼 피드백을 디스플레이 유닛을 이용하여 출력하고, 사용자의 시선이 디텍팅되지 않은 경우, 제1 유저 인터페이스를 슬라이딩하는 제1 컨택트에 대응하여 제1 유저 인터페이스의 제1 택타일 피드백을 택타일 피드백 유닛을 이용하여 출력할 수 있다.
또한 본 명세서의 일 실시예에 따른 디스플레이 디바이스 제어 방법은 유저 인터페이스 유닛을 이용하여 제1 유저 인터페이스의 제1 비주얼 피드백 및 제1 택타일 피드백 중 적어도 하나를 출력하는 단계, 카메라 유닛을 이용하여 유저 인터페이스 유닛에 대한 사용자의 시선을 디텍팅하는 단계, 센서 유닛을 이용하여 제1 유저 인터페이스를 슬라이딩하는 컨택트를 센싱하는 단계, 사용자의 시선이 디텍팅된 경우, 제1 유저 인터페이스를 슬라이딩하는 컨택트에 대응하여 제2 유저 인터페이스의 제2 비주얼 피드백을 출력하는 단계 및 사용자의 시선이 디텍팅되지 않은 경우, 제1 유저 인터페이스를 슬라이딩하는 컨택트에 대응하여 제1 유저 인터페이스의 제1 택타일 피드백을 출력하는 단계를 포함할 수 있다.
본 명세서에 따르면, 디스플레이 디바이스는 비주얼 피드백 및 택타일 피드백을 출력할 수 있다.
또한, 본 명세서에 따르면, 디스플레이 디바이스는 사용자의 시선을 센싱하여 비주얼 피드백 및 택타일 피드백 중 적어도 하나의 피드백을 출력할 수 있다.
또한, 본 명세서에 따르면, 디스플레이 디바이스는 시선이 센싱되었는지 여부에 따라 동일한 터치 입력에 대해 유저 인터페이스를 다르게 제어할 수 있다.
또한, 본 명세서에 따르면, 디스플레이 디바이스는 사용자의 시선이 디텍팅되지 않은 경우, 디스플레이 유닛 상을 슬라이딩하는 터치 인풋이 입력되면 출력된 유저 인터페이스를 유지할 수 있다.
또한, 본 명세서에 따르면, 디스플레이 디바이스는 사용자의 시선이 디텍팅된 경우, 디스플레이 유닛 상을 슬라이딩하는 터치 인풋이 입력되면 출력된 유저 인터페이스를 다른 유저 인터페이스로 변경할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 디스플레이 디바이스의 비주얼 피드백 및 택타일 피드백을 나타낸 도면이다.
도 2는 본 명세서의 일 실시예에 따른 시선이 디텍팅된 경우, 제1 유저 인터페이스의 택타일 피드백을 제2 유저 인터페이스의 비주얼 피드백으로 변경하는 방법을 나타낸 도면이다.
도 3은 본 명세서의 일 실시예에 따른 시선이 디텍팅된 경우, 제1 유저 인터페이스의 택타일 피드백을 제2 유저 인터페이스의 택타일 피드백 및 비주얼 피드백으로 변경하는 방법을 나타낸 도면이다.
도 4는 본 명세서의 일 실시예에 따른 시선이 디텍팅된 경우, 제1 유저 인터페이스의 택타일 피드백을 제2 유저 인터페이스의 택타일 피드백으로 변경하는 방법을 나타낸 도면이다.
도 5는 본 명세서의 일 실시예에 따른 시선이 디텍팅되지 않은 경우, 유저 인터페이스의 택타일 피드백을 유지하는 방법을 나타낸 도면이다.
도 6은 본 명세서의 일 실시예에 따른 시선이 디텍팅되지 않은 경우, 유저 인터페이스의 비주얼 피드백을 유저 인터페이스의 택타일 피드백으로 변경하는 방법을 나타낸 도면이다.
도 7은 본 명세서의 일 실시예에 따른 디스플레이 디바이스의 시선 디텍팅 여부에 따른 오브젝트의 상태 변화를 나타낸 도면이다.
도 8은 본 명세서의 일 실시예에 따른 디스플레이 디바이스의 블록도를 나타낸 도면이다.
도 9는 본 명세서의 일 실시예에 따른 디스플레이 디바이스의 제어 방법을 나타낸 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 디스플레이 디바이스는 스마트폰, 스마트패드, 태블릿 컴퓨터, 노트북, 스마트 테이블, 키오스크, 월(wall) 디스플레이, 뮤직플레이어, 리모컨 및 모니터 중 적어도 하나를 포함할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 디스플레이 디바이스의 비주얼 피드백 및 택타일 피드백을 나타낸 도면이다. 디스플레이 디바이스(10)는 유저 인터페이스를 출력하기 위해 비주얼 피드백 및 택타일 피드백 중 적어도 하나를 출력할 수 있다. 디스플레이 디바이스(10)는 유저 인터페이스를 사용자에게 제공하는 유저 인터페이스 유닛(11)을 포함할 수 있다. 유저 인터페이스 유닛(11)은 택타일 피드백 유닛 및 디스플레이 유닛을 포함할 수 있고, 택타일 피드백 유닛은 택타일 피드백을, 디스플레이 유닛은 비주얼 피드백을 각각 발생하고, 사용자에게 제공할 수 있다.
디스플레이 디바이스(10)는 하나의 유저 인터페이스에 대해 비주얼 피드백과 택타일 피드백을 각각 출력할 수 있다. 하나의 유저 인터페이스에 대한 비주얼 피드백과 택타일 피드백은 서로 대응될 수 있다. 예를 들어, 디스플레이 디바이스(10)가 제1 유저 인터페이스에 대해 유저 인터페이스 유닛(11)의 제1 영역에 제1 모양으로 비주얼 피드백을 발생하는 경우, 디스플레이 디바이스(10)는 이에 대응하여 제1 유저 인터페이스에 대해 유저 인터페이스 유닛(11)의 제1 영역에 제1 모양의 택타일 피드백을 발생할 수 있다.
디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 유저 인터페이스를 디스플레이하여 비주얼 피드백(12)을 사용자에게 제공할 수 있다. 여기서, 비주얼 피드백은 그래픽 유저 인터페이스를 포함할 수 있다. 사용자는 디스플레이된 유저 인터페이스를 시각적으로 확인하고, 디스플레이 디바이스(10)를 제어할 수 있다. 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 대한 사용자의 터치 인풋을 센싱할 수 있으며, 사용자의 터치 인풋이 입력된 위치에 대응되는 유저 인터페이스의 기능 또는 디스플레이 디바이스의 기능을 실행할 수 있다. 예를 들어, 도 1의 좌측 도면에서 사용자가 플레이 버튼을 시각으로 확인하고, 이를 손가락으로 컨택트하면 디스플레이 디바이스(10)는 플레이 동작을 실행할 수 있다. 즉, 디스플레이 디바이스(10)는 저장된 음악 파일이나 미디어 파일을 플레이할 수 있다.
디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 미세 전류를 인가하거나 초음파 진동을 발생하여 유저 인터페이스에 대응하는 택타일 피드백(13)을 사용자에게 제공할 수 있다. 여기서, 디스플레이 디바이스(10)는 유저 인터페이스의 비주얼 피드백(12)에 대응하는 위치 및 모양으로 택타일 피드백(13)을 발생할 수 있다. 디스플레이 디바이스는 비주얼 피드백(12)이 디스플레이한 소프트 버튼의 모양 및 위치에 대응하여 택타일 피드백(13)을 발생할 수 있다.
예를 들어, 도 1에서 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)의 중앙에 플레이 버튼을 삼각형 모양으로, 스탑 버튼을 사각형 모양으로 비주얼 피드백을 디스플레이할 수 있다. 디스플레이 디바이스(10)는 비주얼 피드백에 대응하여 유저 인터페이스 유닛(11)의 중앙에 플레이 버튼을 위해 삼각형 모양의 택타일 피드백을 발생하고, 스탑 버튼을 위해 사각형 모양의 택타일 피드백을 발생할 수 있다. 사용자는 발생된 택타일 피드백을 촉각으로 확인하고, 디스플레이 디바이스(10)를 제어할 수 있다. 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 대한 사용자의 터치 인풋을 센싱할 수 있으며, 사용자의 터치 인풋이 입력된 위치에 대응되는 유저 인터페이스의 기능을 실행할 수 있다. 예를 들어, 도 1의 우측 도면에서 사용자가 삼각형의 플레이 버튼을 촉각으로 확인하고, 이를 손가락으로 다시 컨택트하거나 누르면 디스플레이 디바이스(10)는 플레이 동작을 실행할 수 있다. 즉, 디스플레이 디바이스(10)는 저장된 음악 파일이나 미디어 파일을 플레이할 수 있다.
디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 대한 사용자의 컨택트를 디텍팅할 수 있다. 디스플레이 디바이스(10)는 컨택트에 대응하여 유저 인터페이스를 변경하고 사용자에게 제공할 수 있다. 예를 들어 사용자가 제1 유저 인터페이스를 슬라이딩하는 제1 컨택트를 입력하면, 디스플레이 디바이스(10)는 제1 유저 인터페이스의 위치를 제1 컨택트에 대응하여 이동시킬 수 있다. 즉, 제1 컨택트의 이동 방향과 속도에 대응하여 제1 유저 인터페이스를 이동시킬 수 있다. 디스플레이 디바이스는 제1 유저 인터페이스의 위치를 이동함에 따라 제1 유저 인터페이스가 제공되었던 위치에 제2 유저 인터페이스를 제공할 수 있다. 여기서, 제1 컨택트는 제1 유저 인터페이스를 슬라이딩하는 터치 인풋뿐만 아니라 제1 유저 인터페이스를 제2 유저 인터페이스로 변경하는 사용자의 터치 인풋을 포함할 수 있다.
디스플레이 디바이스(10)는 제1 유저 인터페이스 또는 제2 유저 인터페이스를 제공함에 있어서, 사용자의 시선을 디텍팅할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선이 디텍팅되었는지 여부에 따라 제1 유저 인터페이스 및 제2 유저 인터페이스 중 어느 하나를 출력할 수 있다. 즉, 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 대한 동일한 제1 컨택트에 대해, 시선 디텍팅 여부에 따라 각각 다른 유저 인터페이스를 출력할 수 있다. 예를 들어 사용자의 시선이 디텍팅되지 않은 경우, 제1 유저 인터페이스를 출력 중인 디스플레이 디바이스(10)는 제1 컨택트에 대해 제1 유저 인터페이스를 유지할 수 있다. 디스플레이 디바이스(10)는 제1 컨택트를, 사용자가 제1 유저 인터페이스의 택타일 피드백을 확인하고자 하는 터치 인풋으로 인식하고 제1 유저 인터페이스의 택타일 피드백을 발생할 수 있다.
이와 달리, 사용자의 시선이 디텍팅된 경우, 제1 유저 인터페이스를 출력 중인 디스플레이 디바이스(10)는 제1 컨택트에 대해 제1 유저 인터페이스를 제2 유저 인터페이스로 변경하여 출력할 수 있다. 즉, 디스플레이 디바이스(10)는 제1 컨택트를, 사용자가 제1 유저 인터페이스를 제2 유저 인터페이스로 변경하고자 하는 터치 인풋으로 인식하고 제2 유저 인터페이스의 비주얼 피드백 및 택타일 피드백 중 적어도 하나를 출력할 수 있다.
아래서, 도 2, 도 3 및 도 4는 디스플레이 디바이스에 의해 사용자의 시선이 디텍팅된 경우에 대한 실시예이다. 또한 도 5 및 도 6은 디스플레이 디바이스에 의해 사용자의 시선이 디텍팅되지 않은 경우에 대한 실시예이다.
도 2는 본 명세서의 일 실시예에 따른 시선이 디텍팅된 경우, 제1 유저 인터페이스의 택타일 피드백을 제2 유저 인터페이스의 비주얼 피드백으로 변경하는 방법을 나타낸 도면이다. 도 2의 좌측 상단 도면에서 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)을 이용하여 제1 유저 인터페이스(20)를 사용자에게 제공할 수 있다. 디스플레이 디바이스(10)는 제1 유저 인터페이스(20)의 택타일 피드백(21)을 발생할 수 있다. 디스플레이 디바이스(10)는 카메라 유닛을 이용하여 사용자의 시선을 디텍팅할 수 있다. 디스플레이 디바이스(10)는 사용자의 눈 깜빡임, 사용자의 얼굴 및 사용자의 동공 중 적어도 하나를 디텍팅하여 사용자의 시선을 디텍팅할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선이 디텍팅된 경우 다음과 같이 동작할 수 있다.
디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 대한 사용자의 제1 컨택트(22)를 센싱할 수 있다. 디스플레이 디바이스(10)는 제1 유저 인터페이스(20)를 좌측으로 슬라이딩하는 제1 컨택트(22)를 센싱할 수 있다. 디스플레이 디바이스(10)는 제1 컨택트(22)에 대응하여 제1 유저 인터페이스(20)를 좌측으로 이동시킬 수 있다. 사용자가 제1 컨택트(22)를 입력하면서 제1 유저 인터페이스(20)의 택타일 피드백(21)이 발생된 영역을 터치하는 경우, 사용자는 제1 유저 인터페이스(20)의 택타일 피드백(21)을 촉각으로 확인할 수 있다. 디스플레이 디바이스(10)는 사용자의 제1 컨택트(22)가 소프트 버튼의 영역을 터치하더라도 해당 소프트 버튼에 대한 터치 입력을 바이패스할 수 있다. 즉, 소프트 버튼의 기능을 실행하지 않을 수 있다.
도 2의 우측 상단 도면에서 디스플레이 디바이스(10)는 제1 컨택트(22)에 대응하여 제1 유저 인터페이스(20)를 좌측으로 슬라이딩하여 이동시킬 수 있다. 디스플레이 디바이스(10)는 제1 컨택트(22)가 이동하는 속도 및 방향에 대응하여 제1 유저 인터페이스(20)를 이동시킬 수 있다. 또한 디스플레이 디바이스(10)는 제1 유저 인터페이스(20)가 이동됨에 따라, 제2 유저 인터페이스(23)를 유저 인터페이스 유닛(11)의 오른쪽 사이드로부터 좌측 사이드로 이동시킬 수 있다. 디스플레이 디바이스는 제2 유저 인터페이스(23)의 비주얼 피드백(24)을 디스플레이할 수 있다.
도 2의 우측 하단 도면에서 제1 유저 인터페이스(20)가 유저 인터페이스 유닛(11)의 좌측 경계로 이동하여 사라지면, 디스플레이 디바이스(10)는 제2 유저 인터페이스(23)를 유저 인터페이스 유닛(11)의 전체 영역에 출력할 수 있다. 즉, 디스플레이 디바이스(10)는 제2 유저 인터페이스(23)의 비주얼 피드백(24)을 디스플레이할 수 있다.
상술한 바와 같이, 사용자의 시선이 디텍팅된 경우에 디스플레이 디바이스(10)는 제1 유저 인터페이스(20)를 슬라이딩하는 제1 컨택트를 디텍팅하고, 택타일 피드백(21)을 포함하는 제1 유저 인터페이스(20)의 위치를 이동시킬 수 있다. 또한 이에 연속하여 디스플레이 디바이스(10)는 비주얼 피드백(24)을 포함하는 제2 유저 인터페이스(23)를 출력할 수 있다. 이를 통해 사용자는 디스플레이 디바이스(10)에 디스플레이된 제2 유저 인터페이스(23)의 비주얼 피드백(24)을 시각으로 확인하고 디스플레이 디바이스(10)를 제어할 수 있다.
도 3은 본 명세서의 일 실시예에 따른 시선이 디텍팅된 경우, 제1 유저 인터페이스의 택타일 피드백을 제2 유저 인터페이스의 택타일 피드백 및 비주얼 피드백으로 변경하는 방법을 나타낸 도면이다. 도 3의 좌측 상단 도면에서 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)을 이용하여 제1 유저 인터페이스(30)를 사용자에게 제공할 수 있다. 디스플레이 디바이스(10)는 제1 유저 인터페이스(30)의 택타일 피드백(31)을 발생할 수 있다. 디스플레이 디바이스(10)는 카메라 유닛을 이용하여 사용자의 시선을 디텍팅할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선이 디텍팅된 경우 다음과 같이 동작할 수 있다.
디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 대한 사용자의 제1 컨택트(22)를 센싱할 수 있다. 디스플레이 디바이스(10)는 제1 유저 인터페이스(30)를 좌측으로 슬라이딩하는 제1 컨택트(22)를 센싱할 수 있다. 디스플레이 디바이스(10)는 제1 컨택트(22)에 대응하여 제1 유저 인터페이스(30)를 좌측으로 이동시킬 수 있다. 사용자가 제1 컨택트(22)를 입력하면서 제1 유저 인터페이스(30)의 택타일 피드백(31)이 발생된 영역을 터치하는 경우, 사용자는 제1 유저 인터페이스(30)의 택타일 피드백(31)을 촉각으로 확인할 수 있다.
도 3의 우측 상단 도면에서 디스플레이 디바이스(10)는 제1 컨택트(22)에 대응하여 제1 유저 인터페이스(30)를 좌측으로 슬라이딩하여 이동시킬 수 있다. 디스플레이 디바이스(10)는 제1 컨택트(22)가 이동하는 속도 및 방향에 대응하여 제1 유저 인터페이스(30)를 이동시킬 수 있다. 또한 디스플레이 디바이스(10)는 제1 유저 인터페이스(30)가 이동됨에 따라, 제2 유저 인터페이스(32)를 유저 인터페이스 유닛(11)의 오른쪽 사이드로부터 좌측 사이드로 이동시킬 수 있다. 디스플레이 디바이스(10)는 제2 유저 인터페이스(32)의 택타일 피드백(33) 및 비주얼 피드백(34)을 각각 출력할 수 있다. 즉, 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 제2 유저 인터페이스(32)의 택타일 피드백(33)을 발생하고, 비주얼 피드백(34)을 디스플레이할 수 있다.
도 3의 우측 하단 도면에서 제1 유저 인터페이스(30)가 유저 인터페이스 유닛(11)의 좌측 경계로 이동하여 사라지면, 디스플레이 디바이스(10)는 제2 유저 인터페이스(32)를 유저 인터페이스 유닛(11)의 전체 영역에 출력할 수 있다. 디스플레이 디바이스(10)는 제2 유저 인터페이스(32)의 택타일 피드백(33)을 발생하고, 비주얼 피드백(34)을 디스플레이할 수 있다.
상술한 바와 같이, 사용자의 시선이 디텍팅된 경우에 디스플레이 디바이스(10)는 제1 유저 인터페이스(30)를 슬라이딩하는 제1 컨택트를 디텍팅하고, 택타일 피드백(31)을 포함하는 제1 유저 인터페이스(30)의 위치를 이동시킬 수 있다. 또한 이에 연속하여 디스플레이 디바이스(10)는 택타일 피드백(33) 및 비주얼 피드백(34)을 포함하는 제2 유저 인터페이스(32)를 출력할 수 있다. 이를 통해 사용자는 디스플레이 디바이스(10)에 디스플레이된 제2 유저 인터페이스(32)의 택타일 피드백(33)을 촉각으로 확인하고, 비주얼 피드백(34)을 시각으로 확인하고 디스플레이 디바이스(10)를 제어할 수 있다.
도 4는 본 명세서의 일 실시예에 따른 시선이 디텍팅된 경우, 제1 유저 인터페이스의 택타일 피드백을 제2 유저 인터페이스의 택타일 피드백으로 변경하는 방법을 나타낸 도면이다. 도 4의 좌측 상단 도면에서 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)을 이용하여 제1 유저 인터페이스(40)를 사용자에게 제공할 수 있다. 디스플레이 디바이스(10)는 제1 유저 인터페이스(40)의 택타일 피드백(41)을 발생할 수 있다. 디스플레이 디바이스(10)는 카메라 유닛을 이용하여 사용자의 시선을 디텍팅할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선이 디텍팅된 경우 다음과 같이 동작할 수 있다.
디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 대한 사용자의 제1 컨택트(22)를 센싱할 수 있다. 디스플레이 디바이스(10)는 제1 유저 인터페이스(40)를 좌측으로 슬라이딩하는 제1 컨택트(22)를 센싱할 수 있다. 디스플레이 디바이스(10)는 제1 컨택트(22)에 대응하여 제1 유저 인터페이스(40)를 좌측으로 이동시킬 수 있다. 사용자가 제1 컨택트(22)를 입력하면서 제1 유저 인터페이스(40)의 택타일 피드백(41)이 발생된 영역을 터치하는 경우, 사용자는 제1 유저 인터페이스(40)의 택타일 피드백(41)을 촉각으로 확인할 수 있다.
도 4의 우측 상단 도면에서 디스플레이 디바이스(10)는 제1 컨택트(22)에 대응하여 제1 유저 인터페이스(40)를 좌측으로 슬라이딩하여 이동시킬 수 있다. 디스플레이 디바이스(10)는 제1 컨택트(22)가 이동하는 속도 및 방향에 대응하여 제1 유저 인터페이스(40)를 이동시킬 수 있다. 또한 디스플레이 디바이스(10)는 제1 유저 인터페이스(40)가 이동됨에 따라, 제2 유저 인터페이스(42)를 유저 인터페이스 유닛(11)의 오른쪽 사이드로부터 좌측 사이드로 이동시킬 수 있다. 디스플레이 디바이스(10)는 제2 유저 인터페이스(42)의 택타일 피드백(43)을 출력할 수 있다. 즉, 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 제2 유저 인터페이스(42)의 택타일 피드백(43)을 발생할 수 있다.
도 4의 우측 하단 도면에서 제1 유저 인터페이스(40)가 유저 인터페이스 유닛(11)의 좌측 경계로 이동하여 사라지면, 디스플레이 디바이스(10)는 제2 유저 인터페이스(42)를 유저 인터페이스 유닛(11)의 전체 영역에 출력할 수 있다. 디스플레이 디바이스(10)는 제2 유저 인터페이스(42)의 택타일 피드백(43)을 발생할 수 있다.
상술한 바와 같이, 사용자의 시선이 디텍팅된 경우에 디스플레이 디바이스(10)는 제1 유저 인터페이스(40)를 슬라이딩하는 제1 컨택트를 디텍팅하고, 택타일 피드백(41)을 포함하는 제1 유저 인터페이스(40)의 위치를 이동시킬 수 있다. 또한 이에 연속하여 디스플레이 디바이스(10)는 택타일 피드백(43)을 포함하는 제2 유저 인터페이스(42)를 출력할 수 있다. 이를 통해 사용자는 디스플레이 디바이스(10)에 디스플레이된 제2 유저 인터페이스(42)의 택타일 피드백(43)을 촉각으로 확인하고 디스플레이 디바이스(10)를 제어할 수 있다.
도 5는 본 명세서의 일 실시예에 따른 시선이 디텍팅되지 않은 경우, 유저 인터페이스의 택타일 피드백을 유지하는 방법을 나타낸 도면이다. 도 5의 좌측 도면에서 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)을 이용하여 유저 인터페이스(50)를 사용자에게 제공할 수 있다. 디스플레이 디바이스(10)는 유저 인터페이스(50)의 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 유저 인터페이스(50)에 포함된 영역에 택타일 피드백을 발생할 수 있다. 예를 들어 도 5의 좌측 도면과 같이 유저 인터페이스(50)에 제1 영역(51)에 제1 택타일 피드백을 발생하고, 제2 영역(52)에 제2 택타일 피드백을 발생할 수 있다.
디스플레이 디바이스(10)는 카메라 유닛을 이용하여 사용자의 시선을 디텍팅할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선이 디텍팅되지 않은 경우 다음과 같이 동작할 수 있다.
디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 대한 사용자의 제1 컨택트(22)를 센싱할 수 있다. 디스플레이 디바이스(10)는 유저 인터페이스(50)를 좌측으로 슬라이딩하는 제1 컨택트(22)를 센싱할 수 있다. 디스플레이 디바이스(10)는 제1 컨택트(22)에 대응하여 유저 인터페이스(50)의 위치를 유지하고 유저 인터페이스(50)의 택타일 피드백을 발생할 수 있다. 즉, 디스플레이 디바이스는 제1 영역(51)을 컨택트한 제1 컨택트(22)에 대해 제1 택타일 피드백을 발생할 수 있다. 또한 디스플레이 디바이스는 제1 컨택트(22)가 유저 인터페이스 유닛(11) 상을 슬라이딩하여 이동하는 경우에도, 유저 인터페이스(50)의 위치를 유지한 채, 제1 택타일 피드백을 발생할 수 있다. 따라서 사용자는 제1 택타일 피드백을 촉각으로 확인하고 제1 영역에 어떠한 모양의 택타일 피드백이 발생되었는지 인지할 수 있다.
도 5의 우측 도면에서, 제1 컨택트(22)가 유저 인터페이스(50) 상을 슬라이딩하여 제1 영역(51)에서 제2 영역(52)으로 이동하는 경우, 디스플레이 디바이스(10)는 제2 영역(52)으로 이동한 제1 컨택트(22)에 대해 제2 택타일 피드백을 발생할 수 있다. 여기서, 디스플레이 디바이스(10)는 제1 컨택트(22)가 이동하는 동안 유저 인터페이스(50)의 위치를 유지할 수 있다. 따라서 사용자는 제2 택타일 피드백을 촉각으로 확인하고 제2 영역에 어떠한 모양의 택타일 피드백이 발생되었는지 인지할 수 있다.
상술한 바와 같이, 디스플레이 디바이스(10)는 사용자의 시선이 디텍팅되지 않은 경우, 유저 인터페이스(50)를 슬라이딩하는 제1 컨택트(22)가 입력되면 유저 인터페이스(50)의 위치를 유지한 채, 각 영역에 대한 택타일 피드백을 발생할 수 있다. 이를 통해 사용자는 유저 인터페이스(50)에 포함된 영역에 따른 택타일 피드백을 촉각으로 확인할 수 있다. 따라서 사용자는 촉각으로 확인된 택타일 피드백에 기초하여 디스플레이 디바이스(10)를 제어할 수 있다.
도 6은 본 명세서의 일 실시예에 따른 시선이 디텍팅되지 않은 경우, 유저 인터페이스의 비주얼 피드백을 유저 인터페이스의 택타일 피드백으로 변경하는 방법을 나타낸 도면이다. 도 6의 좌측 도면에서 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)을 이용하여 유저 인터페이스(60)를 사용자에게 제공할 수 있다. 디스플레이 디바이스(10)는 유저 인터페이스(60)의 비주얼 피드백(61)을 발생할 수 있다. 디스플레이 디바이스(10)는 카메라 유닛을 이용하여 사용자의 시선을 디텍팅할 수 있다. 디스플레이 디바이스(10)는 사용자의 시선이 디텍팅되지 않은 경우 다음과 같이 동작할 수 있다.
디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 대한 사용자의 제1 컨택트(22)를 센싱할 수 있다. 디스플레이 디바이스(10)는 유저 인터페이스(60)를 좌측으로 슬라이딩하는 제1 컨택트(22)를 센싱할 수 있다. 여기서, 사용자의 시선이 디텍팅되지 않았으므로, 디스플레이 디바이스(10)는 도 6의 우측 도면과 같이 제1 컨택트(22)에 대응하여 유저 인터페이스(60)의 위치를 유지하고 유저 인터페이스(60)의 택타일 피드백(62)을 발생할 수 있다. 디스플레이 디바이스는 제1 컨택트(22)가 유저 인터페이스 유닛(11) 상을 슬라이딩하여 이동하는 경우에도, 유저 인터페이스(60)의 위치를 유지한 채, 택타일 피드백을 발생할 수 있다. 따라서 사용자는 택타일 피드백(62)을 촉각으로 확인하고 유저 인터페이스(60)에 포함된 택타일 피드백(62)이 어느 영역에 어떠한 모양으로 발생되었는지 인지할 수 있다. 실시예에 따라 디스플레이 디바이스(10)는 사용자의 시선이 디텍팅되지 않을 때, 디스플레이되었던 비주얼 피드백(60)을 비활성화하여 전력 소모를 줄일 수 있다.
상술한 바와 같이, 디스플레이 디바이스(10)는 사용자의 시선이 디텍팅되지 않은 경우, 유저 인터페이스(60)를 슬라이딩하는 제1 컨택트(22)가 입력되면 유저 인터페이스(60)의 위치를 유지할 수 있다. 또한 디스플레이 디바이스(10)는 디스플레이된 유저 인터페이스(60)의 비주얼 피드백(61)을 택타일 피드백(62)으로 변경하고, 비주얼 피드백(61)이 디스플레이된 위치에 대응하는 영역에 택타일 피드백(62)을 발생할 수 있다. 이를 통해 사용자는 유저 인터페이스(60)에 포함된 영역에 따른 택타일 피드백(62)을 촉각으로 확인할 수 있다. 따라서 사용자는 촉각으로 확인된 택타일 피드백(62)에 기초하여 디스플레이 디바이스(10)를 제어할 수 있다.
도 7은 본 명세서의 일 실시예에 따른 디스플레이 디바이스의 시선 디텍팅 여부에 따른 오브젝트의 상태 변화를 나타낸 도면이다. 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 유저 인터페이스(70)를 디스플레이할 수 있다. 디스플레이 디바이스(10)는 유저 인터페이스(70)의 컨텐츠로써 적어도 하나의 오브젝트를 디스플레이할 수 있다.
디스플레이 디바이스(10)는 오브젝트를 제1 상태 또는 제2 상태로 디스플레이할 수 있다. 제1 상태는 안정 상태(steady-state)로써, 디스플레이 디바이스(10)가 제1 상태인 오브젝트에 대한 사용자의 컨택트를 디텍팅하면, 디스플레이 디바이스(10)는 오브젝트에 대응되는 어플리케이션을 실행할 수 있다. 제2 상태는 과도기적 상태(transient-state)로써, 일시적으로 제1 상태를 벗어난 상태를 의미할 수 있다. 예를 들어, 디스플레이 디바이스(10)는 사용자의 컨택트에 따라 제2 상태인 오브젝트의 위치를 변경하거나 삭제할 수 있다. 또한 디스플레이 디바이스(10)는 사용자의 컨택트에 따라 제2 상태인 오브젝트의 서브 메뉴를 디스플레이할 수 있다. 아래에서는 제2 상태에 대해 오브젝트의 위치를 변경할 수 있는 상태를 예로 들어 설명한다.
도 7의 좌측 상단에 도시된 바와 같이, 디스플레이 디바이스(10)는 유저 인터페이스 유닛(11)에 유저 인터페이스(70)를 디스플레이할 수 있다. 디스플레이 디바이스(10)는 유저 인터페이스(70)의 컨텐츠로써 적어도 하나의 오브젝트의 비주얼 피드백을 디스플레이할 수 있다. 디스플레이 디바이스(10)는 제1 상태의 오브젝트를 제1 비주얼 피드백(71)으로써 디스플레이할 수 있다. 디스플레이 디바이스(10)는 제1 비주얼 피드백(71)으로써 디스플레이된 제1 상태의 오브젝트에 대해 제1 시간-스레시홀드 이상의 시간동안 유지되는 컨택트(72)를 디텍팅할 수 있다. 제1 시간-스레시홀드는 디스플레이 디바이스(10)의 제조 단계에서 설정되거나 사용자에 의해 설정될 수 있다. 이하에서는 제1 상태의 오브젝트에 대해 제1 시간-스레시홀드 이상의 시간동안 유지되는 컨택트(72)를 롱-터치(long-touch)로 지칭할 수 있다.
도 2에서 설명한 바와 같이, 디스플레이 디바이스(10)는 카메라 유닛을 이용하여 사용자의 시선을 디텍팅할 수 있다. 디스플레이 디바이스(10)는 사용자의 롱-터치가 디텍팅될 때, 사용자의 시선이 함께 디텍팅되는지 여부에 따라 오브젝트에 대해 별개의 동작을 실행할 수 있다. 도 7의 우측 상단 도면은 디스플레이 디바이스(10)가 롱-터치를 디텍팅할 때, 사용자의 시선을 함께 디텍팅한 경우 디스플레이 디바이스의 동작 방법을 나타낸 도면이다. 디스플레이 디바이스(10)는 롱-터치를 디텍팅하면서 사용자의 시선이 함께 디텍팅되면 제1 상태의 오브젝트를 제2 상태의 오브젝트로 전환할 수 있다. 디스플레이 디바이스(10)는 제2 상태의 오브젝트에 대응하여 제2 비주얼 피드백(73)을 디스플레이할 수 있다. 디스플레이 디바이스(10)는 제2 비주얼 피드백(73)으로써 제1 비주얼 피드백(71)을 확대하거나 반투명하게 처리할 수 있다. 또한 디스플레이 디바이스(10)는 제2 비주얼 피드백(73)으로써 제1 비주얼 피드백(71)이 흔들리는(wobbly) 그래픽 효과를 디스플레이할 수 있다.
사용자는 제2 비주얼 피드백(73)을 시각으로 확인하고 제2 상태의 오브젝트를 제어할 수 있다. 예를 들어, 사용자는 제2 상태의 오브젝트의 위치를 이동시키거나, 제2 상태의 오브젝트를 삭제할 수 있다.
도 7의 우측 하단 도면은 디스플레이 디바이스(10)가 롱-터치를 디텍팅할 때, 사용자의 시선을 함께 디텍팅되지 않은 경우 디스플레이 디바이스의 동작 방법을 나타낸 도면이다. 디스플레이 디바이스(10)는 롱-터치를 디텍팅하면서 사용자의 시선이 함께 디텍팅되지 않으면 오브젝트를 제1 상태로 유지할 수 있다. 또한 디스플레이 디바이스(10)는 오브젝트의 영역에 택타일 피드백(74)을 발생할 수 있다. 사용자는 택타일 피드백(74)을 촉각으로 확인하고 제1 상태의 오브젝트를 제어할 수 있다. 예를 들어, 사용자는 해당 오브젝트를 연속하여 터치하거나 기설정된 압력-스레시홀드 이상의 압력으로 터치하여, 오브젝트에 대응하는 어플리케이션을 실행시킬 수 있다.
따라서, 디스플레이 디바이스(10)는 사용자의 시선이 디텍팅되지 않은 경우, 롱-터치가 입력되더라도 오브젝트를 제1 상태로 유지할 수 있다. 이를 통해 사용자는 촉각으로 오브젝트를 인지하고 해당 오브젝트를 실행시킬 수 있는 효과가 있다. 실시예에 따라 디스플레이 디바이스(10)는 오브젝트의 택타일 피드백(74)이 발생될 때, 오브젝트의 제1 비주얼 피드백(71)을 비활성화할 수 있다.
도 8은 본 명세서의 일 실시예에 따른 디스플레이 디바이스의 블록도를 나타낸 도면이다. 디스플레이 디바이스는 유저 인터페이스 유닛(101), 카메라 유닛(105) 및 컨트롤러를 포함할 수 있다.
유저 인터페이스 유닛(101)은 사용자가 디스플레이 유닛을 제어할 수 있도록 유저 인터페이스를 제공할 수 있다. 유저 인터페이스 유닛(101)은 디스플레이 디바이스의 표면에 위치하여 사용자의 터치 인풋을 센싱하고, 사용자에게 유저 인터페이스를 제공할 수 있다. 유저 인터페이스 유닛(101)은 사용자와 디스플레이 디바이스 사이에 정보 교환을 위한 매개체 역할을 할 수 있다. 유저 인터페이스 유닛(101)은 시각으로 확인할 수 있는 비주얼 유저 인터페이스 및 촉각으로 확인할 수 있는 택타일 유저 인터페이스를 유저 인터페이스로써 제공할 수 있다. 유저 인터페이스 유닛(101)은 센서 유닛(102), 디스플레이 유닛(103) 및 택타일 피드백 유닛(104)을 포함할 수 있다.
센서 유닛(102)은 유저 인터페이스 유닛(101)에 대한 사용자의 컨택트 또는 터치 인풋을 센싱할 수 있다. 센서 유닛(102)은 유저 인터페이스 유닛(101) 상에서 유저 인터페이스를 제어하는 사용자의 컨택트를 센싱할 수 있다. 센서 유닛(102)은 감압식 터치 센서 및 정전식 터치 센서 중 적어도 하나를 이용하여 사용자의 컨택트 또는 터치 인풋을 센싱할 수 있다. 또한 센서 유닛(102)은 근접 센서 및 이미지 센서 중 적어도 하나를 이용하여 사용자의 호버링 동작을 센싱할 수 있다. 센서 유닛(102)은 유저 인터페이스 유닛(101)과 일정 거리를 유지하면서 움직이는 사용자의 호버링 동작을 센싱할 수 있다. 센서 유닛(102)은 센싱된 컨택트, 터치 인풋 또는 호버링 동작을 전기적 신호로 전환하여 사용자의 컨택트, 터치 인풋 또는 호버링 동작에 대한 정보를 컨트롤러에 전달할 수 있다.
센서 유닛은 유저 인터페이스의 소프트 버튼에 대한 사용자의 컨택트를 센싱할 수 있다. 소프트 버튼을 터치하는 컨택트가 센싱되면, 디스플레이 디바이스는 사용자의 손가락과 유저 인터페이스 유닛과의 컨택트된 시간이 시간-스레시홀드 이상인 때 소프트 버튼에 대응되는 기능을 실행할 수 있다. 실시예에 따라 센서 유닛이 압전 센서인 경우, 디스플레이 디바이스는 소프트 버튼에 대한 압력을 센싱할 수 있다. 디스플레이 디바이스는 제2 컨택트가 센싱되면 제2 컨택트의 압력이 압력-스레시홀드 이상인 때 소프트 버튼에 대응되는 기능을 실행할 수 있다.
디스플레이 유닛(103)은 유저 인터페이스의 비주얼 피드백을 디스플레이할 수 있다. 디스플레이 유닛(103)은 유저 인터페이스에 포함된 오브젝트들에 대응하여 비주얼 피드백을 디스플레이할 수 있다. 사용자는 디스플레이 유닛(103)에 의한 유저 인터페이스의 비주얼 피드백을 시각으로 확인하고 디스플레이 디바이스를 제어할 수 있다. 디스플레이 유닛(103)은 터치 센서티브 디스플레이 유닛인 경우, 상술한 센서 유닛(102)과 결합하여 하나의 유닛으로 구성될 수 있다. 따라서 디스플레이 유닛(103)에 대한 사용자의 컨택트 또는 터치 인풋을 센싱하여 이에 대한 정보를 컨트롤러(106)에 전달할 수 있다. 디스플레이 유닛(103)은 플렉서블 디스플레이를 포함할 수 있다. 디스플레이 유닛(103)은 액정표시장치(Liquid Crystal Display, LCD), 발광다이오드(Light Emitting Diode, LED), 유기발광다이오드(Organic Light Emitting Diode, OLED) 및 전자잉크(Electronic ink) 패널을 포함할 수 있다.
택타일 피드백 유닛(104)은 유저 인터페이스의 오브젝트가 위치한 영역에 택타일 피드백을 발생할 수 있다. 택타일 피드백 유닛(104)은 유저 인터페이스 유닛(101) 상에 택타일 피드백을 발생하여 사용자에게 유저 인터페이스를 제공할 수 있다. 사용자는 유저 인터페이스 유닛(101) 상에서 택타일 피드백을 촉각으로 확인하고 이에 따라 디스플레이 디바이스를 제어할 수 있다.
택타일 피드백 유닛(104)이 사용자에게 택타일 피드백을 발생하는 방법은 다음과 같다. 택타일 피드백 유닛(104)은 미세진동 액츄에이터(actuator)를 이용하여 유저 인터페이스 유닛(101)을 터치하는 사용자의 손가락에 대해 택타일 피드백을 발생할 수 있다. 택타일 피드백 유닛(104)은 진동 주파수 및 진동 크기를 제어할 수 있으며 이에 따라 사용자의 손가락과 유저 인터페이스 유닛(101) 사이의 택타일 피드백의 세기를 조절할 수 있다.
다른 실시예에 따르면 택타일 피드백 유닛(104)은 유저 인터페이스 유닛(101) 상에 미세전류를 발생하여 사용자에게 택타일 피드백을 발생할 수 있다. 택타일 피드백 유닛(104)은 전류의 세기, 발생 주기를 제어할 수 있으며, 이에 따라 사용자는 다른 촉감을 느낄 수 있다.
또한 택타일 피드백 유닛(104)은 초음파 공진을 사용하여 택타일 피드백을 발생할 수 있다. 택타일 피드백 유닛(104)은 복수의 초음파를 발생하여, 이들을 특정 영역에서 공진시켜 사용자에게 택타일 피드백을 발생할 수 있다. 택타일 피드백 유닛(104)은 호버링 동작이 센싱된 영역에 택타일 피드백을 발생할 수 있다. 택타일 피드백 유닛(104)은 공진 주파수의 크기, 공진을 발생시키는 주기를 조절하여 서로 다른 택타일 피드백을 발생할 수 있다.
카메라 유닛(105)은 사용자의 시선을 디텍팅할 수 있다. 카메라 유닛(105)은 사용자의 눈 깜빡임, 사용자의 얼굴 및 사용자의 동공 중 적어도 하나를 디텍팅하여 사용자의 시선을 디텍팅할 수 있다. 카메라 유닛(105)은 유저 인터페이스 유닛(101)에 대한 컨택트 또는 터치 인풋이 입력될 때 사용자의 시선을 디텍팅할 수 있다. 카메라 유닛(105)은 사용자의 시선이 디텍팅되었는지 여부에 대한 정보를 컨트롤러에 전달할 수 있다.
컨트롤러(106)는 유저 인터페이스 유닛(101) 및 카메라 유닛(105)을 제어할 수 있다. 컨트롤러(106)는 센서 유닛(102)으로부터 컨택트 또는 터치 인풋에 대한 제1 정보를 수신할 수 있다. 또한 컨트롤러(106)는 카메라 유닛(105)으로부터 사용자의 시선이 디텍팅되었는지 여부에 대한 제2 정보를 수신할 수 있다. 컨트롤러(106)는 제1 정보 및 제2 정보에 기초하여 유저 인터페이스 유닛(101)을 제어할 수 있다.
컨트롤러(106)는 유저 인터페이스 유닛(101)에 대한 사용자의 컨택트가 입력되고 사용자의 시선이 디텍팅된 경우, 사용자의 컨택트에 따라 출력중인 유저 인터페이스를 다른 유저 인터페이스로 변경할 수 있다. 예를 들어, 컨트롤러(106)는 유저 인터페이스 유닛(101)을 이용하여 제1 유저 인터페이스를 출력할 수 있다. 도 2 내지 4에서 설명한 바와 같이 제1 유저 인터페이스를 슬라이딩하는 컨택트가 센싱되고, 사용자의 시선이 디텍팅되면, 컨트롤러(106)는 출력된 제1 유저 인터페이스를 제2 유저 인터페이스로 전환할 수 있다.
컨트롤러(106)는 유저 인터페이스 유닛(101)에 대한 사용자의 컨택트가 입력되고 사용자의 시선이 디텍팅되지 않은 경우, 사용자의 컨택트에 대해 출력중인 유저 인터페이스를 유지할 수 있다. 또한 컨트롤러(106)는 출력중인 유저 인터페이스의 택타일 피드백을 발생할 수 있다. 예를 들어, 컨트롤러(106)는 유저 인터페이스 유닛(101)을 이용하여 제1 유저 인터페이스를 출력할 수 있다. 도 5 내지 6에서 설명한 바와 같이 제1 유저 인터페이스를 슬라이딩하는 컨택트가 센싱되고, 사용자의 시선이 디텍팅되지 않으면, 컨트롤러(106)는 출력된 제1 유저 인터페이스를 유지하고 제1 유저 인터페이스의 택타일 피드백을 발생할 수 있다.
도 8은 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디스플레이 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘러먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 9는 본 명세서의 일 실시예에 따른 디스플레이 디바이스의 제어 방법을 나타낸 순서도이다. 디스플레이 디바이스는 유저 인터페이스 유닛을 이용하여 제1 유저 인터페이스를 출력할 수 있다(S10). 도 1에 도시된 바와 같이, 디스플레이 디바이스는 제1 유저 인터페이스의 택타일 피드백 및 비주얼 피드백 중 적어도 하나를 출력할 수 있다. 디스플레이 디바이스는 디스플레이 유닛을 이용하여 비주얼 피드백을 디스플레이할 수 있고, 택타일 피드백 유닛을 이용하여 택타일 피드백을 발생할 수 있다.
디스플레이 디바이스는 카메라 유닛을 이용하여 유저 인터페이스 유닛에 대한 사용자의 시선을 디텍팅할 수 있다(S20). 도 8에서 설명한 바와 같이, 디스플레이 디바이스는 사용자의 눈 깜빡임, 사용자의 얼굴 및 사용자의 동공 중 적어도 하나를 디텍팅하여 사용자의 시선을 디텍팅할 수 있다. 실시예에 따라 디스플레이 디바이스는 다음 단계인 S30에서 제1 유저 인터페이스를 슬라이딩하는 제1 컨택트가 센싱될 때, 사용자의 시선을 디텍팅할 수 있다. 디스플레이 디바이스는 디텍팅된 사용자의 시선에 대한 정보를 컨트롤러에 전달할 수 있다.
디스플레이 디바이스는 센서 유닛을 이용하여 제1 유저 인터페이스를 슬라이딩하는 제1 컨택트를 센싱할 수 있다(S30). 도 8에서 설명한 바와 같이, 디스플레이 디바이스는 센서 유닛으로서, 정전식 센서 및 감압식 센서 중 적어도 하나를 포함할 수 있다. 또한 디스플레이 디바이스는 센서 유닛을 이용하여 제1 유저 인터페이스를 슬라이딩하는 호버링 동작을 센싱할 수 있다. 사용자의 손가락이 유저 인터페이스 유닛을 터치하지 않고, 유저 인터페이스 유닛과 일정 거리를 유지하면서 제1 유저 인터페이스를 슬라이딩하기 위해 호버링 하더라도 디스플레이 디바이스는 이러한 호버링 동작을 센싱할 수 있다. 디스플레이 디바이스는 센싱한 결과를 전기적 신호로 전환하여 제1 유저 인터페이스를 슬라이딩하는 제1 컨택트에 대한 정보를 컨트롤러에 전달할 수 있다. 실시예에 따라 S20 단계의 사용자 시선에 대한 디텍팅 단계는 제1 컨택트를 센싱한 이후에 실행될 수 있다.
디스플레이 디바이스는 사용자의 시선이 디텍팅되었는지 여부를 판단할 수 있다(S35). 디스플레이 디바이스는 제1 컨택트에 대응하여 동작함에 있어서, S20 단계에서 디텍팅된 사용자의 시선에 대한 정보를 이용할 수 있다. 실시예에 따라 사용자의 시선이 디텍팅되었는지 여부에 대한 판단은 사용자의 시선을 디텍팅한 시점이 실행될 수도 있다.
디스플레이 디바이스는 사용자의 시선이 디텍팅된 경우, 제1 유저 인터페이스를 슬라이딩하는 제1 컨택트에 대응하여 제2 유저 인터페이스의 비주얼 피드백을 출력할 수 있다(S40). 도 2 내지 3에서 설명한 바와 같이, 디스플레이 디바이스는 제1 컨택트의 이동 방향 및 속도에 대응하여 제2 유저 인터페이스의 비주얼 피드백을 디스플레이할 수 있다. 사용자는 출력된 제2 유저 인터페이스를 시각으로 확인하고 디스플레이 디바이스를 제어할 수 있다. 디스플레이 디바이스는 제1 컨택트의 슬라이딩의 방향에 대응하여 S10에서 출력되었던 제1 유저 인터페이스를 디스플레이 디바이스의 측면으로 이동시킬 수 있다. 이를 통해 디스플레이 디바이스는 유저 인터페이스 유닛 상에서 제1 유저 인터페이스를 제거할 수 있다. 또한 디스플레이 디바이스는 제2 유저 인터페이스의 비주얼 피드백에 대응되는 택타일 피드백을 더 출력할 수 있다.
디스플레이 디바이스는 사용자의 시선이 디텍팅되지 않은 경우, 제1 유저 인터페이스를 슬라이딩하는 제1 컨택트에 대해 제1 유저 인터페이스의 택타일 피드백을 출력할 수 있다(S50). 도 5 내지 6에서 설명한 바와 같이, 디스플레이 디바이스는 제1 유저 인터페이스를 슬라이딩하는 제1 컨택트에 대응하여 S10에서 출력되었던 제1 유저 인터페이스의 위치를 유지할 수 있다. 디스플레이 디바이스는 제1 유저 인터페이스의 위치를 유지하면서 제1 유저 인터페이스의 택타일 피드백을 출력할 수 있다.
제1 유저 인터페이스의 위치가 제1 컨택트에 따라 이동되는 경우, 사용자가 제1 유저 인터페이스의 택타일 피드백을 정확히 인지하기 어려울 수 있다. 따라서 디스플레이 디바이스는 제1 유저 인터페이스의 택타일 피드백을 출력할 때, 제1 유저 인터페이스의 위치를 고정시킬 수 있다. 사용자는 출력된 제1 유저 인터페이스를 촉각으로 확인하고 디스플레이 디바이스를 제어할 수 있다. 실시예에 따라 제1 컨택트가 호버링 동작인 경우, 디스플레이 디바이스는 호버링 동작이 발생한 공간에 초음파 공진을 발생시켜 택타일 피드백을 발생할 수 있다.
디스플레이 디바이스는 제1 유저 인터페이스의 제1 택타일 피드백을 이용하여 제1 유저 인터페이스에 포함된 소프트 버튼의 모양 및 위치 중 적어도 하나를 인디케이트할 수 있다. 제1 택타일 피드백에 의해 인디케이트된 소프트 버튼을 터치하는 제2 컨택트가 센싱되면, 디스플레이 디바이스는 제2 컨택트의 터치 시간이 시간-스레시홀드 이상인 때 소프트 버튼에 대응되는 기능을 실행할 수 있다. 실시예에 따라 센서 유닛이 압전 센서인 경우, 디스플레이 디바이스는 소프트 버튼에 대한 압력을 센싱할 수 있다. 디스플레이 디바이스는 제2 컨택트가 센싱되면 제2 컨택트의 압력이 압력-스레시홀드 이상인 때 소프트 버튼에 대응되는 기능을 실행할 수 있다.
10: 디스플레이 디바이스 11: 유저 인터페이스 유닛
12: 비주얼 피드백 13: 택타일 피드백
20: 제1 유저 인터페이스 23: 제2 유저 인터페이스
101: 유저 인터페이스 유닛 102: 센서 유닛
103: 디스플레이 유닛 104: 택타일 피드백 유닛
105: 카메라 유닛 106: 컨트롤러

Claims (20)

  1. 유저 인터페이스를 출력하는 유저 인터페이스 유닛;
    상기 유저 인터페이스 유닛에 대한 사용자의 시선을 디텍팅하는 카메라 유닛; 및
    상기 유저 인터페이스 유닛 및 상기 카메라 유닛을 제어하는 컨트롤러를 포함하는 디스플레이 디바이스로서,
    상기 유저 인터페이스 유닛은,
    상기 유저 인터페이스의 비주얼 피드백을 출력하는 디스플레이 유닛;
    상기 유저 인터페이스의 택타일 피드백을 출력하는 택타일 피드백 유닛; 및
    상기 디스플레이 유닛에 대한 컨택트를 센싱하는 센서 유닛을 포함하고,
    상기 컨트롤러는,
    상기 유저 인터페이스 유닛을 이용하여 제1 유저 인터페이스의 제1 비주얼 피드백 및 제1 택타일 피드백 중 적어도 하나를 출력하고,
    상기 카메라 유닛을 이용하여 상기 유저 인터페이스 유닛에 대한 상기 사용자의 시선을 디텍팅하고,
    상기 센서 유닛을 이용하여 상기 제1 유저 인터페이스를 슬라이딩하는 제1 컨택트를 센싱하고,
    상기 사용자의 시선이 디텍팅된 경우, 상기 제1 유저 인터페이스를 슬라이딩하는 상기 제1 컨택트에 대응하여 제2 유저 인터페이스의 제2 비주얼 피드백을 상기 디스플레이 유닛을 이용하여 출력하고,
    상기 사용자의 시선이 디텍팅되지 않은 경우, 상기 제1 유저 인터페이스를 슬라이딩하는 상기 제1 컨택트에 대응하여 상기 제1 유저 인터페이스의 상기 제1 택타일 피드백을 상기 택타일 피드백 유닛을 이용하여 출력하는 디스플레이 디바이스.
  2. 제 1 항에 있어서,
    상기 컨트롤러가 상기 제 1 유저 인터페이스의 제 1 비주얼 피드백 및 제 1 택타일 피드백을 동시에 출력할 때, 상기 제1 유저 인터페이스의 상기 제1 택타일 피드백은 상기 제1 비주얼 피드백의 위치 및 모양 중 적어도 하나에 대응하여 출력되는 디스플레이 디바이스.
  3. 제 1 항에 있어서,
    상기 컨트롤러는 상기 사용자의 시선이 디텍팅된 경우,
    상기 제2 유저 인터페이스의 상기 제2 비주얼 피드백에 대응되는 제2 택타일 피드백을 더 출력하는 디스플레이 디바이스.
  4. 제 1 항에 있어서,
    상기 컨트롤러는 상기 사용자의 시선이 디텍팅된 경우,
    상기 제1 컨택트의 슬라이딩의 방향에 대응하여 상기 제1 유저 인터페이스를 이동시켜 상기 유저 인터페이스 유닛에서 상기 제1 유저 인터페이스를 제거하는 디스플레이 디바이스.
  5. 제 1 항에 있어서,
    상기 컨트롤러는 상기 사용자의 시선이 디텍팅되지 않은 경우,
    상기 제1 유저 인터페이스를 슬라이딩하는 상기 제1 컨택트에 대해 상기 제1 유저 인터페이스의 위치를 유지하는 디스플레이 디바이스.
  6. 제 1 항에 있어서,
    상기 컨트롤러는 상기 사용자의 시선이 디텍팅되지 않은 경우,
    상기 제1 유저 인터페이스의 상기 제1 비주얼 피드백을 비활성화하는 디스플레이 디바이스.
  7. 제 1 항에 있어서,
    상기 제1 유저 인터페이스를 슬라이딩하는 상기 제1 컨택트는 상기 유저 인터페이스 유닛과 제1 거리를 유지하면서 호버링하는 동작을 포함하는 디스플레이 디바이스.
  8. 제 7 항에 있어서,
    상기 호버링 동작이 상기 제1 컨택트로 센싱된 경우,
    상기 컨트롤러는 상기 유저 인터페이스 유닛으로부터 상기 제1 거리만큼 떨어진 곳에 초음파를 공진시켜 상기 제1 택타일 피드백을 발생하는 디스플레이 디바이스.
  9. 제 1 항에 있어서,
    상기 제1 유저 인터페이스는 적어도 하나의 소프트 버튼을 포함하고,
    상기 적어도 하나의 소프트 버튼은 어플리케이션 또는 상기 디스플레이 디바이스의 기능에 각각 대응되는 디스플레이 디바이스.
  10. 제 9 항에 있어서,
    상기 사용자의 시선이 디텍팅되지 않은 경우,
    상기 컨트롤러는
    상기 소프트 버튼을 터치하는 제2 컨택트를 더 센싱하고,
    상기 제2 컨택트의 터치 시간이 시간-스레시홀드 이상인 때 상기 소프트 버튼에 대응되는 기능 또는 상기 어플리케이션을 더 실행하는 디스플레이 디바이스.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020130022317A 2013-02-28 2013-02-28 택타일 피드백 및 비주얼 피드백을 선택적으로 출력하는 디스플레이 디바이스 및 그 제어 방법 KR102094886B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130022317A KR102094886B1 (ko) 2013-02-28 2013-02-28 택타일 피드백 및 비주얼 피드백을 선택적으로 출력하는 디스플레이 디바이스 및 그 제어 방법
PCT/KR2013/002486 WO2014133217A1 (en) 2013-02-28 2013-03-26 Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same
US13/862,144 US9395816B2 (en) 2013-02-28 2013-04-12 Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130022317A KR102094886B1 (ko) 2013-02-28 2013-02-28 택타일 피드백 및 비주얼 피드백을 선택적으로 출력하는 디스플레이 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20140107985A KR20140107985A (ko) 2014-09-05
KR102094886B1 true KR102094886B1 (ko) 2020-03-30

Family

ID=51428467

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130022317A KR102094886B1 (ko) 2013-02-28 2013-02-28 택타일 피드백 및 비주얼 피드백을 선택적으로 출력하는 디스플레이 디바이스 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR102094886B1 (ko)
WO (1) WO2014133217A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10001837B2 (en) * 2014-12-23 2018-06-19 Intel Corporation Technologies for interacting with computing devices using haptic manipulation
US11137905B2 (en) * 2018-12-03 2021-10-05 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11314409B2 (en) 2018-12-03 2022-04-26 Microsoft Technology Licensing, Llc Modeless augmentations to a virtual trackpad on a multiple screen computing device
US11294463B2 (en) 2018-12-03 2022-04-05 Microsoft Technology Licensing, Llc Augmenting the functionality of user input devices using a digital glove
US11199901B2 (en) 2018-12-03 2021-12-14 Microsoft Technology Licensing, Llc Augmenting the functionality of non-digital objects using a digital glove

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110316798A1 (en) 2010-02-26 2011-12-29 Warren Jackson Tactile Display for Providing Touch Feedback

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8963842B2 (en) * 2007-01-05 2015-02-24 Visteon Global Technologies, Inc. Integrated hardware and software user interface
KR101351487B1 (ko) * 2009-08-13 2014-01-14 엘지전자 주식회사 휴대 단말기 및 그 제어방법
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP6203637B2 (ja) * 2010-11-09 2017-09-27 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 触覚型フィードバックを備えたユーザインタフェース
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110316798A1 (en) 2010-02-26 2011-12-29 Warren Jackson Tactile Display for Providing Touch Feedback

Also Published As

Publication number Publication date
WO2014133217A1 (en) 2014-09-04
KR20140107985A (ko) 2014-09-05

Similar Documents

Publication Publication Date Title
US9395816B2 (en) Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same
KR102108062B1 (ko) 택타일 피드백을 발생하는 스마트 워치 및 그 제어 방법
AU2018282404B2 (en) Touch-sensitive button
KR102091597B1 (ko) 포터블 디바이스 및 그 제어 방법
KR102047689B1 (ko) 택타일 사용자 인터페이스의 미니-맵을 제공하는 터치 센서티브 디바이스 및 제어 방법
CN104685447B (zh) 显示装置及其控制方法
KR101958779B1 (ko) 디스플레이 디바이스 및 그 제어 방법
KR20140042280A (ko) 포터블 디바이스 및 그 제어 방법
KR102094886B1 (ko) 택타일 피드백 및 비주얼 피드백을 선택적으로 출력하는 디스플레이 디바이스 및 그 제어 방법
KR102138526B1 (ko) 퀵 컨트롤 메뉴를 제공하는 디지털 디바이스 및 그 제어 방법
US9261992B2 (en) Touch method for palm rejection and electronic device using the same
TW201642114A (zh) 電子裝置及其操作方法
KR102201730B1 (ko) 택타일 피드백을 발생하는 디스플레이 디바이스 및 그 제어 방법
JP5845585B2 (ja) 情報処理装置
JP2010061493A (ja) 情報処理装置、明滅制御方法およびコンピュータプログラム
CN104615377B (zh) 一种信息处理方法及电子设备
CN204515599U (zh) 一种电子设备
KR20100107996A (ko) 터치면을 구비한 펜형 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
JP2018180740A (ja) 入力処理装置
JP6079857B2 (ja) 情報処理装置
KR102348671B1 (ko) 터치 패널 장치와 이의 구동방법
JP5758956B2 (ja) 情報入力装置
KR20150065420A (ko) 접촉면 디스플레이를 위한 스타일러스 펜 및 그의 접촉면 디스플레이 방법
WO2014196944A1 (ru) Сенсорная полоса для управления электронным устройством

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant