KR101958779B1 - 디스플레이 디바이스 및 그 제어 방법 - Google Patents

디스플레이 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
KR101958779B1
KR101958779B1 KR1020120108823A KR20120108823A KR101958779B1 KR 101958779 B1 KR101958779 B1 KR 101958779B1 KR 1020120108823 A KR1020120108823 A KR 1020120108823A KR 20120108823 A KR20120108823 A KR 20120108823A KR 101958779 B1 KR101958779 B1 KR 101958779B1
Authority
KR
South Korea
Prior art keywords
touch
tactile feedback
display device
user
display unit
Prior art date
Application number
KR1020120108823A
Other languages
English (en)
Other versions
KR20140042279A (ko
Inventor
김지환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120108823A priority Critical patent/KR101958779B1/ko
Priority to US13/679,582 priority patent/US8451248B1/en
Priority to PCT/KR2012/009830 priority patent/WO2014051200A1/en
Priority to US13/857,831 priority patent/US8743072B2/en
Priority to PCT/KR2013/003284 priority patent/WO2014051231A1/en
Priority to EP13841064.2A priority patent/EP2901251B1/en
Priority to CN201380051115.7A priority patent/CN104685447B/zh
Priority to US14/204,817 priority patent/US9367134B2/en
Publication of KR20140042279A publication Critical patent/KR20140042279A/ko
Priority to US15/152,294 priority patent/US9939903B2/en
Application granted granted Critical
Publication of KR101958779B1 publication Critical patent/KR101958779B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

본 발명은 디스플레이 디바이스에 대한 것으로, 특히 택타일 사용자 인터페이스를 이용하여 사용자에게 택타일 피드백을 제공하는 디스플레이 디바이스 및 그의 제어 방법에 대한 것이다. 본 발명의 디스플레이 디바이스는 오브젝트를 디스플레이하는 터치 센서티브 디스플레이 유닛, 택타일 피드백을 발생하는 택타일 피드백 유닛 및 다른 유닛들을 제어하는 컨트롤러를 포함하고, 컨트롤러는 디스플레이 유닛 상에 디스플레이된 제1 오브젝트의 영역을 컨택트하는 제1 터치를 디텍팅하고, 제1 터치에 연속하여 제1 오브젝트를 제어하는 제2 터치를 디텍팅하고, 제2 터치에 따라 제1 오브젝트를 제어하고, 제1 오브젝트가 제어됨에 따라 제2 터치에 대해 제1 오브젝트의 속성에 대응하여 제1 택타일 피드백을 발생하고, 제2 터치에 연속하여 제1 오브젝트를 제어하는 제3 터치를 디텍팅하고, 여기서 제3 터치는 디스플레이 유닛 상에 디스플레이된 제2 오브젝트의 영역에서 디텍팅됨, 제1 오브젝트가 제어됨에 따라 제3 터치에 대해 제1 택타일 피드백을 발생할 수 있다.

Description

디스플레이 디바이스 및 그 제어 방법{Display device and controlling method thereof}
본 발명은 디스플레이 디바이스에 대한 것으로, 특히 택타일 사용자 인터페이스를 이용하여 사용자에게 택타일 피드백을 제공하는 디스플레이 디바이스 및 그의 제어 방법에 대한 것이다.
디스플레이 디바이스는 전자기기를 제어하기 위한 사용자 인터페이스를 사용자에게 제공할 수 있다. 사용자는 디스플레이 디바이스를 이용하여 전자기기의 동작 상태를 시각적으로 확인하고 전자기기를 제어할 수 있다. 최근 디스플레이 디바이스는 터치 센서티브 기능을 통해 사용자의 터치 제스쳐를 디텍팅하여 사용자의 제어 명령을 수신할 수 있다. 이를 통해 사용자는 키보드나 마우스 등의 입력도구를 사용하지 않아도 직접 디스플레이 디바이스를 터치하여 전자기기를 제어할 수 있다. 디스플레이 디바이스는 사용자에게 다양한 사용자 인터페이스를 제공할 수 있으며, 비주얼 사용자 인터페이스 및 택타일 사용자 인터페이스를 그 예로 들 수 있다. 기존의 디스플레이 디바이스의 택타일 사용자 인터페이스는 사용자의 제어 동작과 무관하게 일정한 택타일 피드백만을 발생하여 사용자의 제어 동작에 적응적으로 반응하지 못하는 단점이 있었다.
본 발명은, 디스플레이 디바이스 및 그의 제어 방법을 제공하고자 한다. 특히, 본 발명에서 디스플레이 디바이스는 사용자의 제어 동작에 따라 적응적으로 택타일 피드백을 발생하는 택타일 사용자 인터페이스를 제공할 필요가 있다.
본 발명의 일 실시예에 따른 디스플레이 디바이스는 오브젝트를 디스플레이하는 터치 센서티브 디스플레이 유닛, 택타일 피드백을 발생하는 택타일 피드백 유닛 및 유닛들을 제어하는 컨트롤러를 포함하고, 컨트롤러는, 디스플레이 유닛 상에 디스플레이된 제1 오브젝트의 영역을 컨택트하는 제1 터치를 디텍팅하고, 제1 터치에 연속하여 제1 오브젝트를 제어하는 제2 터치를 디텍팅하고, 제2 터치에 따라 제1 오브젝트를 제어하고, 제1 오브젝트가 제어됨에 따라 제2 터치에 대해 제1 오브젝트의 속성에 대응하여 제1 택타일 피드백을 발생하고, 제2 터치에 연속하여 제1 오브젝트를 제어하는 제3 터치를 디텍팅하고, 여기서 제3 터치는 디스플레이 유닛 상에 디스플레이된 제2 오브젝트의 영역에서 디텍팅됨, 제1 오브젝트가 제어됨에 따라 제3 터치에 대해 제1 택타일 피드백을 발생할 수 있다.
또한 본 발명의 일 실시예에 따른 터치 센서티브 디스플레이 디바이스를 제어하는 방법은 디스플레이 유닛 상에 디스플레이된 제1 오브젝트의 영역을 컨택트하는 제1 터치를 디텍팅하는 단계, 제1 터치에 연속하여 제1 오브젝트를 제어하는 제2 터치를 디텍팅하는 단계, 제2 터치에 따라 제1 오브젝트를 제어하는 단계, 제1 오브젝트가 제어됨에 따라 제2 터치에 대해 제1 오브젝트의 속성에 대응하여 제1 택타일 피드백을 발생하는 단계, 제2 터치에 연속하여 제1 오브젝트를 제어하는 제3 터치를 디텍팅하는 단계, 제3 터치는 디스플레이 유닛 상에 디스플레이된 제2 오브젝트의 영역에서 디텍팅됨, 제1 오브젝트가 제어됨에 따라 제3 터치에 대해 제1 택타일 피드백을 발생하는 단계를 포함할 수 있다.
본 발명에 따르면, 디스플레이 디바이스는 사용자의 제어 동작에 따라 적응적으로 택타일 피드백을 발생할 수 있다.
또한, 본 발명에 따르면, 디스플레이 디바이스는 영역별로 기설정된 택타일 피드백을 변경하여 제공할 수 있다.
또한, 본 발명에 따르면, 디스플레이 디바이스는 사용자의 터치 제스쳐에 대해 연속성있는 택타일 피드백을 제공할 수 있다.
또한, 본 발명에 따르면, 디스플레이 디바이스는 사용자가 오브젝트를 제어하는 동안 사용자의 터치 제스쳐에 대한 택타일 피드백을 잠금하여 일정한 택타일 피드백을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 비주얼 사용자 인터페이스와 택타일 사용자 인터페이스를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 오브젝트의 이동에 따른 택타일 피드백 영역의 이동을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 오브젝트의 이동에 따른 이동방향의 잠금 방법을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 오브젝트의 이동에 따른 택타일 피드백의 잠금 방법을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 디바이스를 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 오브젝트를 제어하는 터치 제스쳐에 대해 연속성 있는 택타일 피드백을 제공하는 방법을 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 오브젝트를 제어하는 터치 제스쳐에 대해 연속성 있는 택타일 피드백을 제공하는 방법을 나타내는 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시 예를 상세하게 설명하지만, 본 발명이 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 발명에서 디스플레이 디바이스는 디스플레이 유닛과 택타일 피드백 유닛을 포함하여 사용자에게 비주얼 사용자 인터페이스와 택타일 사용자 인터페이스를 제공하는 전자기기일 수 있다. 디스플레이 디바이스는 스마트폰, PDA(personal digital assistant), 셀룰러폰, MP3 뮤직 플레이어, 노트북, 스마트패드, 태블릿 PC(personal computer), 텔레비젼, 스마트 테이블 등 디스플레이 유닛을 구비한 전자기기를 포함할 수 있다. 본 발명의 디스플레이 디바이스는 비주얼 사용자 인터페이스와 택타일 사용자 인터페이스를 이용하여 사용자에게 정보를 전달할 수 있다. 비주얼 사용자 인터페이스는 디스플레이 디바이스의 디스플레이 유닛을 이용하여 사용자에게 시각적인 피드백을 제공할 수 있다. 사용자는 눈을 통해 디스플레이 디바이스에서 제공하는 정보를 확인하고 디스플레이 디바이스를 제어할 수 있다. 택타일 사용자 인터페이스는 디스플레이 디바이스의 택타일 피드백 유닛을 이용하여 사용자에게 택타일 피드백을 제공할 수 있다. 사용자는 손가락 등 촉각을 느낄 수 있는 신체 기관을 통해 디스플레이 디바이스에서 제공하는 정보를 확인하고 디스플레이 디바이스를 제어할 수 있다. 비주얼 사용자 인터페이스와 택타일 사용자 인터페이스는 각각 분리되어 제공되거나 동시에 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비주얼 사용자 인터페이스와 택타일 사용자 인터페이스를 나타낸 도면이다. 디스플레이 디바이스(10)는 터치 센서티브 디스플레이 유닛 상에 오브젝트를 디스플레이하여 비주얼 사용자 인터페이스를 제공할 수 있다. 디스플레이 디바이스(10)는 제1 오브젝트(11)와 제2 오브젝트(12)를 포함하는 복수의 오브젝트들을 디스플레이할 수 있다. 사용자는 디스플레이된 오브젝트들을 시각으로 확인하고 터치 센서티브 디스플레이 유닛을 터치하여 해당 오브젝트들을 제어할 수 있다. 디스플레이 디바이스(10)는 비주얼 사용자 인터페이스에 대응하여 택타일 피드백을 발생하는 택타일 사용자 인터페이스를 제공할 수 있다. 택타일 사용자 인터페이스는 제1 오브젝트(11)와 제2 오브젝트(12)가 디스플레이된 영역에 발생될 수 있다. 디스플레이 디바이스는 제1 오브젝트(11)의 속성을 대응하여 제1 택타일 피드백(13)을 제1 오브젝트(11)가 디스플레이된 영역에 발생할 수 있다. 마찬가지로, 디스플레이 디바이스는 제2 오브젝트(12)의 속성에 대응하여 제2 택타일 피드백(14)을 제2 오브젝트(12)가 디스플레이된 영역에 발생할 수 있다. 여기서 오브젝트의 속성이란 디스플레이된 오브젝트의 색깔, 질감, 무게감, 패턴 및 밝기 중 적어도 하나를 포함할 수 있다. 디스플레이 디바이스는 서로 다른 속성을 갖는 오브젝트에 대해서는 각 오브젝트에 대한 택타일 피드백도 다르게 발생할 수 있다. 예를 들어, 도 1에서 제1 오브젝트(11)와 제2 오브젝트(12)의 질감이 다르다면, 제1 택타일 피드백(13)과 제2 택타일 피드백(14)은 상이한 택타일 피드백일 수 있다.
디스플레이 디바이스는 디스플레이된 제1 오브젝트와 사용자의 손가락 사이의 마찰력에 대응하는 택타일 피드백을 추가적으로 발생할 수 있다. 또한 디스플레이 디바이스는 배경 이미지를 디스플레이하고 그 배경 이미지 상에 제1 오브젝트를 디스플레이한 경우, 제1 오브젝트의 속성 및 배경 이미지의 속성에 대응하여 제1 택타일 피드백을 발생할 수 있다.
디스플레이 디바이스는 사용자가 디스플레이 유닛을 터치하여 누르는 터치 제스쳐의 압력을 디텍팅할 수 있다. 디스플레이 디바이스는 터치 제스쳐의 압력에 비례하여 택타일 피드백의 세기를 제어할 수 있다. 이를 통해 사용자는 자신이 어느 정도의 압력으로 디스플레이 유닛을 터치하는지 감지할 수 있다. 디스플레이 디바이스는 압전 센서를 이용하거나 터치 제스쳐가 디텍팅되는 면적에 기초하여 터치 제스쳐의 압력을 디텍팅할 수 있다.
도 2는 본 발명의 일 실시예에 따른 오브젝트의 이동에 따른 택타일 피드백 영역의 이동을 나타낸 도면이다. 디스플레이 디바이스는 사용자의 터치 제스쳐에 의해 디스플레이된 오브젝트가 이동되면, 오브젝트의 이동에 따라 해당 오브젝트에 대해 발생하는 택타일 피드백의 영역도 함께 이동할 수 있다. 도 2의 상단에 도시된 바와 같이 디스플레이 디바이스는 비주얼 사용자 인터페이스로써 제1 오브젝트(11)와 제2 오브젝트(12)를 디스플레이할 수 있다. 또한 디스플레이 디바이스는 사용자에게 택타일 사용자 인터페이스를 제공하기 위해 제1 오브젝트(11)에 대해 제1 택타일 피드백(13)을 발생하고, 제2 오브젝트(12)에 대해 제2 택타일 피드백(14)을 발생할 수 있다. 각 택타일 피드백은 오브젝트가 디스플레이된 영역에 발생될 수 있다. 도 2의 하단에 도시된 바와 같이 사용자가 제1 오브젝트(11)를 터치하여 드래그(20)하면 디스플레이 디바이스는 제1 오브젝트의 위치를 이동시켜 디스플레이할 수 있다. 디스플레이 디바이스는 제1 오브젝트가 이동함에 따라 제1 오브젝트(11)에 대한 제1 택타일 피드백(13)도 함께 이동시킬 수 있다. 이 때 제1 택타일 피드백(13)은 이동하는 오브젝트가 디스플레이된 영역에 발생될 수 있다.
디스플레이 디바이스는 제1 오브젝트의 속성에 따라 제1 택타일 피드백을 발생할 수 있다. 여기서 제1 오브젝트의 속성은 도 1에서 설명한 바와 같이 질감, 패턴, 색상 등을 포함할 수 있다. 또한 디스플레이 디바이스는 디스플레이된 제1 오브젝트와 사용자의 손가락 사이의 마찰력에 대응하는 택타일 피드백을 제1 택타일 피드백에 추가적으로 발생할 수 있다. 또한 디스플레이 디바이스는 배경 이미지를 디스플레이하고 그 배경 이미지 상에서 제1 오브젝트를 제어한 경우, 제1 오브젝트의 속성 및 배경 이미지의 속성에 대응하는 택타일 피드백을 제1 택타일 피드백에 추가적으로 발생할 수 있다.
사용자의 터치 앤 드래그(touch & drag) 동작의 대상이 아닌 제2 오브젝트(12)는 동일한 위치에 디스플레이되고 이에 따라 제2 오브젝트에 대한 제2 택타일 피드백(14)도 위치 이동 없이 제2 오브젝트(12)가 디스플레이된 영역에 발생될 수 있다. 이를 통해 디스플레이 디바이스는 사용자가 오브젝트를 선택하고 해당 오브젝트를 이동시키더라도, 오브젝트에 대한 택타일을 사용자에게 연속성 있게 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 오브젝트의 이동에 따른 이동방향의 잠금 방법을 나타낸 도면이다. 디스플레이 디바이스(10)는 사용자의 터치 제스쳐에 따라 오브젝트를 이동시킬 때 오브젝트의 이동 방향을 잠금할 수 있다. 터치 센서티브 디스플레이 유닛 상에서 사용자의 터치 제스쳐는 x축 성분과 y축 성분으로 구분될 수 있다. 오브젝트를 이동시키는 사용자의 터치 제스쳐가 복수의 방향 성분을 포함할 때, 디스플레이 디바이스는 터치 제스쳐의 주된 이동방향의 성분만을 추출하여 오브젝트를 이동시킬 수 있다. 즉, 도 3에 도시된 바와 같이 제1 오브젝트를 이동시키는 터치 제스쳐(20)의 이동방향이 x축 성분과 y축 성분을 포함하는 것으로 디텍팅되더라도, 디스플레이 디바이스(10)는 터치 제스쳐의 이동 방향 중 y축 성분만을 추출할 수 있다. 결과적으로 디스플레이 디바이스는 제1 오브젝트(11)를 x축 방향으로의 움직임 없이, 양의 y축 방향으로 이동시킬 수 있다.
디스플레이 디바이스는 오브젝트의 속성을 고려하여 이동방향을 잠금할 수 있다. 예를 들어, 상하 스크롤이 요구되는 문서나 웹페이지의 경우에 터치 제스쳐(20)의 이동 방향이 x축 성분과 y축 성분을 포함하더라도 디스플레이 디바이스는 이중 상하 방향의 y축 성분만을 이용하여 오브젝트를 이동할 수 있다. 마찬가지로 좌우 스크롤이 요구되는 문서나 웹페이지의 경우에 터치 제스쳐의 이동 방향이 x축 성분과 y축 성분을 포함하더라도 디스플레이 디바이스는 이중 좌우 방향의 x축 성분만을 이용하여 오브젝트를 이동할 수 있다.
디스플레이 디바이스는 오브젝트를 이동시키는 사용자의 터치 제스쳐에 따라 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 도 3의 우측 도면과 같이 사용자의 터치 제스쳐(20)에 대해 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 사용자의 터치 제스쳐(20)가 제1 오브젝트의 영역에서 디텍팅된 때, 제1 택타일 피드백(13)을 발생할 수 있다. 디스플레이 디바이스는 터치 제스쳐에 의해 제1 오브젝트가 이동됨에 따라 제1 택타일 피드백(13)이 발생하는 영역도 함께 이동시킬 수 있다. 사용자의 터치 제스쳐가 제1 오브젝트(11)를 이동시키면서 제2 오브젝트(12)가 디스플레이된 영역으로 진입한 경우, 디스플레이 디바이스는 제2 오브젝트의 영역에 제2 택타일 피드백(14)을 발생할 수 있다. 제1 오브젝트와 제2 오브젝트의 속성이 다른 경우, 디스플레이 디바이스는 제2 오브젝트의 영역에 제1 택타일 피드백(13)과 상이한 제2 택타일 피드백(14)을 발생할 수 있다. 사용자는 촉각을 통해 제2 택타일 피드백(14)을 감지하고 자신의 터치 제스쳐가 제1 오브젝트의 영역을 벗어나 제2 오브젝트의 영역에 진입했음을 알 수 있다. 따라서 디스플레이 디바이스는 사용자에게 사용자의 터치 제스쳐가 제어하고자하는 제1 오브젝트의 영역을 벗어나 제2 오브젝트의 영역에 진입했음을 인디케이트 할 수 있다.
실시예에 따라 상술한 제2 오브젝트는 디스플레이 디바이스의 디스플레이 유닛에 디스플레이된 배경 이미지일 수 있다. 따라서 디스플레이 디바이스는 제1 오브젝트를 이동시키던 터치 제스쳐가 제1 오브젝트가 디스플레이된 영역 밖으로 벗어난 경우에도 제1 택타일 피드백과 다른 택타일 피드백을 발생할 수 있다. 이 경우에도 사용자는 제1 택타일 피드백과 상이한 택타일 피드백을 감지하고 자신의 터치 제스쳐가 제1 오브젝트의 영역에서 벗어났음을 인지할 수 있다.
도 4는 본 발명의 일 실시예에 따른 오브젝트의 이동에 따른 택타일 피드백의 잠금 방법을 나타낸 도면이다. 디스플레이 디바이스는 사용자의 터치 제스쳐에 따라 디스플레이된 오브젝트를 제어할 때 사용자에게 연속성 있는 택타일 피드백을 제공할 수 있다. 디스플레이 디바이스는 제1 택타일 피드백을 발생하는 제1 영역을 터치한 터치 제스쳐가 터치 센서티브 디스플레이 유닛과의 컨택트를 유지한 채 제2 택타일 피드백을 발생하는 제2 영역에 진입하더라도 최초의 제1 택타일 피드백을 발생할 수 있다.
디스플레이 디바이스는 도 4의 좌측 도면과 같이 사용자의 터치 제스쳐에 따라 디스플레이된 오브젝트를 제어할 수 있다. 오브젝트를 제어함은 오브젝트를 이동, 회전, 확대, 축소하는 동작을 포함할 수 있다. 또한 오브젝트를 제어함은 오브젝트를 선택하거나 오브젝트에 대한 하위 메뉴를 불러오는 동작을 포함할 수 있다. 디스플레이 디바이스는 오브젝트를 제어하는 사용자의 터치 제스쳐에 대해 연속성 있는 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 도 4의 우측 도면과 같이 사용자의 터치 제스쳐(20)에 대해 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 사용자의 터치 제스쳐(20)가 제1 오브젝트의 영역에서 디텍팅된 때, 제1 택타일 피드백(13)을 발생할 수 있다.
디스플레이 디바이스는 터치 제스쳐에 의해 제1 오브젝트가 이동됨에 따라 제1 택타일 피드백(13)이 발생하는 영역도 함께 이동시킬 수 있다. 디스플레이 디바이스는 도 3에서 설명한 바와 같이 터치 제스쳐의 이동 방향 중 상하 방향 성분만을 추출하여 제1 오브젝트(11)를 이동시킬 수 있다. 따라서 사용자의 터치 제스쳐는 제1 오브젝트(11)를 벗어나 제2 오브젝트(12)의 영역으로 진입할 수 있다.
사용자의 터치 제스쳐가 제1 오브젝트(11)를 이동시키면서 제2 오브젝트(12)가 디스플레이된 영역에서 디텍팅된 경우, 디스플레이 디바이스는 터치 제스쳐에 대해 택타일 피드백을 잠금하여, 제2 오브젝트의 영역에 제1 택타일 피드백(13)을 발생할 수 있다. 제1 오브젝트와 제2 오브젝트의 속성이 다른 경우에도, 디스플레이 디바이스는 제2 오브젝트의 영역에 제2 택타일 피드백 대신 제1 택타일 피드백(13)을 발생할 수 있다. 즉, 디스플레이 디바이스는 도 2와 같이 제2 오브젝트(12)의 영역에 제2 택타일 피드백(14)을 발생했더라도, 제1 오브젝트(11)를 제어하는 터치 제스쳐가 제2 오브젝트(12)의 영역에서 디텍팅되면, 제2 택타일 피드백을 제1 택타일 피드백으로 변경하여 발생할 수 있다. 이와 같이 디스플레이 디바이스는 사용자의 터치 제스쳐가 제1 오브젝트를 제어하는 동안에 터치 제스쳐에 대한 택타일 피드백을 잠금하여 터치 제스쳐가 디텍팅된 영역에 관계없이 제1 택타일 피드백을 발생할 수 있다.
상술한 바와 같이, 디스플레이 디바이스는 터치 제스쳐가 디텍팅된 영역에 관계없이 제1 택타일 피드백(13)을 연속성 있게 발생함으로써 사용자가 제어하고 있는 오브젝트가 여전히 제1 오브젝트(11)임을 사용자에게 인디케이트할 수 있다. 사용자는 시각을 통해 자신의 터치 제스쳐가 제2 오브젝트(12)의 영역을 터치하고 있음을 확인하고, 촉각을 통해 제1 택타일 피드백(13)을 발생하는 제1 오브젝트(11)를 제어하고 있음을 인지할 수 있다.
디스플레이 디바이스는 제1 오브젝트에 대한 터치 제스쳐의 제어가 종료된 때, 해당 터치 제스쳐에 대해 잠금했던 택타일 피드백을 잠금해제할 수 있다. 디스플레이 디바이스는 사용자가 터치 센서티브 디스플레이 유닛으로부터 손을 떼는 동작을 제1 오브젝트에 대한 제어가 종료된 것으로 디텍팅할 수 있다. 따라서 사용자가 제1 오브젝트를 제어하던 터치 제스쳐를 제2 오브젝트의 영역에서 터치 해제한 후 다시 제2 오브젝트의 영역을 터치하면 디스플레이 디바이스는 해당 영역에 잠금되었던 제1 택타일 피드백이 아닌 제2 택타일 피드백을 발생할 수 있다. 다만, 디스플레이 디바이스는 시간 스레시홀드를 설정할 수 있으며, 사용자가 터치를 해제한 후 시간 스레시홀드 내에 제2 오브젝트의 영역을 다시 터치하면 택타일 피드백에 대한 잠금을 유지하여 제2 오브젝트의 영역에 제1 택타일 피드백을 발생할 수도 있다.
디스플레이 디바이스는 터치 제스쳐가 디텍팅되는 위치와 제1 오브젝트 사이의 거리가 기설정된 거리 스레시홀드를 초과하는 경우 잠금했던 택타일 피드백을 잠금해제할 수 있다. 디스플레이 디바이스는 제1 오브젝트를 컨트롤하는 터치 제스쳐가 제1 오브젝트로부터 거리 스레시홀드를 초과하는 영역에서 디텍팅되면 잠금된 택타일 피드백을 잠금해제할 수 있다. 또한 사용자가 제1 오브젝트를 터치한 후, 디스플레이 유닛과의 컨택트를 유지하면서 제1 오브젝트로부터 거리 스레시홀드 이상 떨어진 곳으로 손가락을 이동하는 경우에도 잠금된 택타일 피드백을 잠금해제할 수 있다. 디스플레이 디바이스는 택타일 피드백이 잠금해제되면 터치 제스쳐가 디텍팅된 영역에 디스플레이된 오브젝트의 속성에 대응하여 택타일 피드백을 발생할 수 있다.
실시예에 따라 상술한 제2 오브젝트는 디스플레이 디바이스의 디스플레이 유닛에 디스플레이된 배경 이미지일 수 있다. 따라서 디스플레이 디바이스는 제1 오브젝트를 이동시키던 터치 제스쳐가 제1 오브젝트가 디스플레이된 영역 밖으로 벗어난 경우에도 제1 택타일 피드백을 발생할 수 있다. 이 경우에도 사용자는 연속적으로 제1 택타일 피드백을 감지하고 자신의 터치 제스쳐가 제1 오브젝트의 영역에서 벗어났으나 계속하여 제1 오브젝트를 제어하고 있음을 인지할 수 있다.
디스플레이 디바이스는 위에서 설명한 바와 같이 복수의 오브젝트 또는 오브젝트와 배경 이미지 사이에서 택타일 피드백을 잠금할 수 있다. 본 발명의 실시예는 하나의 오브젝트 내에서 복수의 택타일 피드백을 발생하는 경우에도 적용될 수 있다. 예를 들어, 제1 오브젝트 내에 각각 제1 택타일 피드백과 제2 택타일 피드백을 발생하는 제1 영역 및 제2 영역이 존재할 수 있다. 디스플레이 디바이스는 상술한 바와 같이 제1 영역을 터치한 터치 제스쳐가 제1 영역을 제어하면서 제2 영역에 진입하는 경우 해당 터치 제스쳐에 대한 택타일 피드백을 제1 택타일 피드백으로 잠금할 수 있다. 따라서 디스플레이 디바이스는 터치 제스쳐에 대해 제2 영역에서 제1 택타일 피드백을 발생할 수 있다.
도 5는 본 발명의 일 실시예에 따른 디스플레이 디바이스를 나타낸 블록도이다. 도 5에서, 디스플레이 디바이스는 센서 유닛(101), 디스플레이 유닛(102), 택타일 피드백 유닛(103), 및 컨트롤러(104)를 포함할 수 있다.
센서 유닛(101)은 디스플레이 디바이스에 장착된 복수의 센서를 사용하여 사용자의 인풋 또는 디스플레이 디바이스가 인식하는 환경을 컨트롤러(104)로 전달할 수 있다. 센서 유닛(101)은 복수의 센싱 수단을 포함할 수 있다. 일 실시예로서, 복수의 센싱 수단은 압전 센서, 비디오 센서, 터치 센서 등의 센싱 수단을 포함할 수 있다. 본 발명에서, 압전 센서 및 터치 센서는 사용자의 터치 제스쳐를 디텍팅할 수 있다. 디스플레이 디바이스는 센서 유닛을 이용하여 터치 제스쳐가 디텍팅된 디스플레이 유닛 상의 위치를 결정할 수 있다. 디스플레이 디바이스는 터치 제스쳐가 디텍팅된 위치 또는 영역에 대응하여 택타일 피드백을 제공할 수 있다. 센서 유닛(101)은 상술한 다양한 센싱 수단을 통칭하는 것으로, 다양한 속성을 갖는 터치 제스쳐를 디텍팅하여 디스플레이 디바이스가 그에 따른 동작을 수행할 수 있도록 센싱 결과를 컨트롤러(104)로 전달할 수 있다. 상술한 센서들은 별도의 엘러먼트로 디스플레이 디바이스에 포함되거나, 적어도 하나 이상의 엘러먼트로 통합되어 포함될 수 있다.
디스플레이 유닛(102)은 디스플레이 화면에 이미지를 출력할 수 있다. 디스플레이 유닛(102)은, 디스플레이가 터치 센서티브 디스플레이인 경우, 상술한 터치 센서로 사용될 수 있다. 따라서 디스플레이 유닛(102)에 대한 터치 제스쳐를 디텍팅하여 컨트롤러(104)에 전달할 수 있다. 디스플레이 유닛(102)은 디스플레이 패널에 비주얼 사용자 인터페이스를 디스플레이하거나, 이미지 디스플레이를 제어하는 역할을 수행할 수 있다. 본 발명에서 디스플레이 유닛(102)은 비주얼 사용자 인터페이스를 디스플레이하고 사용자의 터치 제스쳐를 디텍팅할 수 있다. 또한 아래에서 설명할 택타일 피드백 유닛(103)과 결합하여 사용자에게 택타일 피드백을 제공할 수 있다. 디스플레이 유닛(102)은 플렉서블 디스플레이를 포함할 수 있다.
택타일 피드백 유닛(103)은 택타일 사용자 인터페이스를 제공할 수 있다. 택타일 피드백 유닛(103)은 디스플레이 유닛(102)이 제공하는 비주얼 사용자 인터페이스에 대응하여 택타일 사용자 인터페이스를 제공할 수 있다. 택타일 피드백 유닛(103)은 디스플레이된 오브젝트의 속성에 따라 서로 다른 택타일 피드백을 발생할 수 있다. 오브젝트의 속성은 디스플레이된 오브젝트의 색깔, 질감, 무게감, 패턴 및 밝기 중 적어도 하나를 포함할 수 있다.
택타일 피드백 유닛(103)이 사용자에게 택타일 사용자 인터페이스를 제공하는 방법은 다음과 같다. 미세진동 액츄에이터(actuator)를 이용하여 디스플레이 유닛(102)을 터치하는 사용자의 손가락 또는 스타일러스에 대해 택타일 피드백을 제공할 수 있다. 택타일 피드백 유닛(103)은 진동 주파수 및 진동 크기를 조절할 수 있으며 이에 따라 사용자의 손가락과 디스플레이 유닛 사이의 마찰력을 조절할 수 있다. 이에 더하여 택타일 피드백 유닛(103)은 디스플레이 유닛 상에 미세전류를 발생하여 사용자에게 택타일 피드백을 제공할 수 있다. 택타일 피드백 유닛(103)은 전류의 세기, 발생 주기를 조절할 수 있으며, 이에 따라 사용자는 다른 촉감을 느낄 수 있다. 또한 택타일 피드백 유닛(103)은 초음파 공진을 사용하여 택타일 피드백을 제공할 수 있다. 택타일 피드백 유닛(103)은 복수의 초음파를 발생하여, 이들을 특정 영역에서 공진시켜 사용자에게 택타일 피드백을 제공할 수 있다. 택타일 피드백 유닛(103)은 공진 주파수의 크기, 공진을 발생시키는 주기를 조절하여 서로 다른 택타일 피드백을 제공할 수 있다.
컨트롤러(104)는 상술한 디스플레이 디바이스의 유닛들을 제어하며, 유닛들 간의 데이터 송수신을 매니지할 수 있다. 본 발명에서 컨트롤러(104)는 사용자의 터치 제스쳐가 제어하고 있는 대상과 터치 제스쳐가 디텍팅된 위치 또는 터치 제스쳐의 연속성에 기초하여 터치 제스쳐에 대한 택타일 피드백을 잠금할 것인지 여부를 결정할 수 있다. 예를 들어, 컨트롤러는 제1 오브젝트가 디스플레이된 영역에서 디텍팅된 터치 제스쳐에 대해 제1 택타일 피드백을 제공할 수 있다. 제1 택타일 피드백은 제1 오브젝트의 속성에 대응하여 발생될 수 있다. 터치 제스쳐가 제1 오브젝트를 컨트롤하면서 제2 오브젝트 또는 배경 이미지가 디스플레이된 영역으로 드래그되면, 컨트롤러는 해당 터치 제스쳐에 대한 택타일 피드백을 잠금할 수 있다. 즉, 컨트롤러는 터치 제스쳐가 제1 오브젝트를 제어하는 중에 제1 오브젝트가 디스플레이된 영역 외부에서 디텍팅되더라도, 터치 제스쳐가 디텍팅된 영역에 제1 택타일 피드백을 발생할 수 있다. 컨트롤러는 터치 제스쳐에 의해 디스플레이 유닛에 사용자의 손가락이 접촉해 있는 동안 택타일 피드백의 잠금상태를 유지할 수 있다. 컨트롤러는 터치 제스쳐와 디스플레이 유닛 간의 컨택트가 종료되면 터치 제스쳐에 대한 택타일 피드백의 잠금을 해제할 수 있다. 다시말해, 사용자가 터치 센서티브 디스플레이 유닛에서 손을 떼면 비로소 택타일 피드백의 잠금을 해제할 수 있다.
본 발명에서 컨트롤러는 사용자의 터치 제스쳐를 디텍팅하기 위해 터치 센서티브 디스플레이 유닛을 활성화할 수 있다. 이때 터치 센서티브 디스플레이 유닛은 비주얼 사용자 인터페이스를 제공하지 않은 채, 택타일 사용자 인터페이스만 제공할 수 있다. 도한 컨트롤러는 사용자의 터치 제스쳐를 디텍팅하기 위해 터치 센서티브 디스플레이 유닛 대신 센서 유닛의 터치 센서나 압전 센서, 압력센서를 활성화할 수 있다.
도 5는 본 발명의 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 디바이스의 엘러먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 6은 본 발명의 일 실시예에 따른 오브젝트를 제어하는 터치 제스쳐에 대해 연속성 있는 택타일 피드백을 제공하는 방법을 나타내는 도면이다.
디스플레이 디바이스는 디스플레이 유닛 상에 디스플레이된 제1 오브젝트의 영역을 컨택트하는 제1 터치를 디텍팅할 수 있다(S10). 제1 오브젝트는 디스플레이 유닛 상에 디스플레이되어 사용자는 시각으로 제1 오브젝트를 확인할 수 있다. 사용자는 제1 오브젝트를 제어하기 위해 제1 오브젝트가 디스플레이된 영역을 터치할 수 있다.
디스플레이 디바이스는 제1 터치에 연속하여 제1 오브젝트를 제어하는 제2 터치를 디텍팅할 수 있다(S20). 제2 터치는 제1 터치에 연속한 터치 제스쳐를 의미할 수 있다. 여기서 연속한 터치 제스쳐란, 도 4에서 설명한 바와 같이 디스플레이 유닛과 사용자의 손가락 사이의 컨택트를 유지한 채 입력되는 터치 제스쳐 또는 컨택트가 유지되지 않더라도 이전 터치 제스쳐가 종료된 이후에 기설정된 시간 스레시홀드 내에 디텍팅된 터치 제스쳐를 나타낼 수 있다. 디스플레이 디바이스는 제1 오브젝트를 제어하는 제2 터치를 디텍팅할 수 있다. 제2 터치는 제1 오브젝트를 제어하여 이동시키거나 회전시킬 수 있다. 또한 제2 터치는 제1 오브젝트를 확대하거나 축소하는 동작을 포함할 수 있다.
디스플레이 디바이스는 제2 터치에 따라 제1 오브젝트를 제어할 수 있다(S30). 디스플레이 디바이스는 디텍팅된 제2 터치에 대응하여 제1 오브젝트를 제어할 수 있다. 제1 오브젝트는 제2 터치에 의해 디스플레이 유닛 상에서 이동되거나 회전될 수 있다. 또한 제1 오브젝트는 제2 터치에 의해 그 크기가 확대되거나 축소될 수 있다.
디스플레이 디바이스는 오브젝트가 제어됨에 따라 제2 터치에 대해 제1 오브젝트의 속성에 대응하여 제1 택타일 피드백을 발생할 수 있다(S40). 디스플레이 디바이스는 택타일 피드백 유닛을 이용하여 제1 오브젝트의 속성에 대응하는 제1 택타일 피드백을 발생할 수 있다. 택타일 피드백 유닛은 도 5에서 설명한 바와 같이 초음파 진동, 미세전류 또는 초음파 공진을 이용하여 제2 터치에 대해 제1 택타일 피드백을 발생할 수 있다. 사용자는 제1 택타일 피드백을 감지함으로써 자신이 제1 오브젝트를 제어하고 있음을 인지할 수 있다. 즉, 디스플레이 디바이스는 디스플레이 유닛을 이용하여 제1 오브젝트가 제어되는 것을 디스플레이할 수 있으며, 택타일 피드백 유닛을 이용하여 제1 오브젝트가 제어되고 있음을 나타내는 제1 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 제1 오브젝트의 속성에 대응하여 제1 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 디스플레이된 제1 오브젝트의 질감, 패턴, 모양, 크기, 명암 및 밝기 중 적어도 하나를 고려하여 제1 택타일 피드백을 발생할 수 있다.
또한 디스플레이 디바이스는 배경 이미지의 속성에 대응하여 추가적인 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 배경 이미지 및 제1 오브젝트의 속성을 함께 고려하여 추가적인 택타일 피드백을 발생할 수 있다. 예를 들면, 배경 이미지와 제1 오브젝트의 질감을 고려하여 이들 사이의 마찰력에 대응하는 택타일 피드백을 제1 택타일 피드백에 추가하여 발생할 수 있다.
또한 디스플레이 디바이스는 제1 오브젝트와 사용자의 손가락 사이의 마찰력에 대응하여 추가적인 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 제1 오브젝트의 텍스쳐에 대응하여 터치 사용자의 손가락과의 마찰력을 결정하여 이에 대한 택타일 피드백을 제1 택타일 피드백에 추가하여 발생할 수 있다.
디스플레이 디바이스는 제2 터치에 연속하여 제1 오브젝트를 제어하는 제3 터치를 디텍팅할 수 있다(S50). 이 때, 제3 터치는 디스플레이 유닛 상에 디스플레이된 제2 오브젝트의 영역에서 디텍팅될 수 있다. 사용자의 터치 제스쳐는 도 4에 도시한 바와 같이 제1 오브젝트를 제어하는 동안에 제1 오브젝트가 디스플레이된 영역을 벗어나 제2 오브젝트가 디스플레이된 영역에 진입할 수 있다. 디스플레이 디바이스는 제1 오브젝트를 제어하는 터치 제스쳐가 제2 오브젝트가 디스플레이된 영역에서 디텍팅되면 이를 제3 터치로 인식할 수 있다. 도 4에서 설명한 바와 같이 제3 터치는 제2 터치에 이어서 디스플레이 유닛과 사용자의 손가락 사이의 컨택트를 유지한 채 입력되는 터치 제스쳐일 수 있다. 또한 제3 터치는 컨택트가 유지되지 않더라도 제2 터치가 종료된 이후에 기설정된 시간 스레시홀드 내에 디텍팅된 터치 제스쳐를 나타낼 수도 있다.
디스플레이 디바이스는 오브젝트가 제어됨에 따라 제3 터치에 대해 제1 택타일 피드백을 발생할 수 있다(S60). 디스플레이 디바이스는 도 4에서 설명한 바와 같이, 오브젝트가 제어되는 동안 택타일 피드백을 잠금할 수 있다. 따라서 디스플레이 디바이스는 제1 오브젝트를 제어하는 제3 터치에 대해 제1 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 제3 터치가 제1 오브젝트를 제어하는 동안에는 제3 터치가 디텍팅된 영역 또는 위치에 관계없이 제1 택타일 피드백을 발생할 수 있다. 다른 실시예로 디스플레이 디바이스는 제3 터치에 의한 디스플레이 유닛과 사용자의 손가락의 컨택트가 해제될 때까지 제1 택타일 피드백을 발생할 수 있다.
디스플레이 디바이스는 제3 터치에 의한 제1 오브젝트에 대한 제어가 종료되면 잠금된 택타일 피드백을 잠금해제할 수 있다. 다른 실시예로 디스플레이 디바이스는 제3 터치에 의한 디스플레이 유닛과 사용자의 손가락의 컨택트가 해제될 때 잠금된 택타일 피드백을 잠금해제할 수 있다. 또한 디스플레이 디바이스는 제3 터치가 제1 오브젝트로부터 기설정된 거리 스레시홀드를 초과한 위치에서 디텍팅되는 경우에도 잠금된 택타일 피드백을 잠금해제할 수 있다. 디스플레이 디바이스는 택타일 피드백에 대한 잠금이 해제되면, 사용자의 터치 제스쳐가 디텍팅된 영역에 디스플레이된 오브젝트 또는 배경 이미지의 속성에 따라 택타일 피드백을 발생할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 오브젝트를 제어하는 터치 제스쳐에 대해 연속성 있는 택타일 피드백을 제공하는 방법을 나타내는 도면이다.
디스플레이 디바이스는 디스플레이 유닛 상에 디스플레이된 제1 오브젝트의 영역을 컨택트하는 제1 터치를 디텍팅할 수 있다(S110). 제1 오브젝트는 디스플레이 유닛 상에 디스플레이되어 사용자는 시각으로 제1 오브젝트를 확인할 수 있다. 사용자는 제1 오브젝트를 제어하기 위해 제1 오브젝트가 디스플레이된 영역을 터치할 수 있다.
디스플레이 디바이스는 제1 터치에 연속하여 제1 오브젝트를 제어하는 제2 터치를 디텍팅하고 제2 터치에 따라 제1 오브젝트를 제어할 수 있다(S120). 제2 터치는 제1 터치에 연속한 터치 제스쳐를 의미할 수 있다. 여기서 연속한 터치 제스쳐란, 도 4에서 설명한 바와 같이 디스플레이 유닛과 사용자의 손가락 사이의 컨택트를 유지한 채 입력되는 터치 제스쳐 또는 컨택트가 유지되지 않더라도 이전 터치 제스쳐가 종료된 이후에 기설정된 시간 스레시홀드 내에 디텍팅된 터치 제스쳐를 나타낼 수 있다. 디스플레이 디바이스는 제1 오브젝트를 제어하는 제2 터치를 디텍팅할 수 있다. 제2 터치는 제1 오브젝트를 제어하여 이동시키거나 회전시킬 수 있다. 또한 제2 터치는 제1 오브젝트를 확대하거나 축소하는 동작을 포함할 수 있다.
디스플레이 디바이스는 디텍팅된 제2 터치에 대응하여 제1 오브젝트를 제어할 수 있다. 제1 오브젝트는 제2 터치에 의해 디스플레이 유닛 상에서 이동되거나 회전될 수 있다. 또한 제1 오브젝트는 제2 터치에 의해 그 크기가 확대되거나 축소될 수 있다.
디스플레이 디바이스는 오브젝트가 제어됨에 따라 제2 터치에 대해 제1 오브젝트의 속성에 대응하여 제1 택타일 피드백을 발생할 수 있다(S130). 디스플레이 디바이스는 택타일 피드백 유닛을 이용하여 제1 오브젝트의 속성에 대응하는 제1 택타일 피드백을 발생할 수 있다. 택타일 피드백 유닛은 도 5에서 설명한 바와 같이 초음파 진동, 미세전류 또는 초음파 공진을 이용하여 제2 터치에 대해 제1 택타일 피드백을 발생할 수 있다. 사용자는 제1 택타일 피드백을 감지함으로써 자신이 제1 오브젝트를 제어하고 있음을 인지할 수 있다. 즉, 디스플레이 디바이스는 디스플레이 유닛을 이용하여 제1 오브젝트가 제어되는 것을 디스플레이할 수 있으며, 택타일 피드백 유닛을 이용하여 제1 오브젝트가 제어되고 있음을 나타내는 제1 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 제1 오브젝트의 속성에 대응하여 제1 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 디스플레이된 제1 오브젝트의 질감, 패턴, 모양, 크기, 명암 및 밝기 중 적어도 하나를 고려하여 제1 택타일 피드백을 발생할 수 있다.
또한 디스플레이 디바이스는 배경 이미지의 속성에 대응하여 추가적인 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 배경 이미지 및 제1 오브젝트의 속성을 함께 고려하여 추가적인 택타일 피드백을 발생할 수 있다. 예를 들면, 배경 이미지와 제1 오브젝트의 질감을 고려하여 이들 사이의 마찰력에 대응하는 택타일 피드백을 제1 택타일 피드백에 추가하여 발생할 수 있다.
또한 디스플레이 디바이스는 제1 오브젝트와 사용자의 손가락 사이의 마찰력에 대응하여 추가적인 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 제1 오브젝트의 텍스쳐에 대응하여 터치 사용자의 손가락과의 마찰력을 결정하여 이에 대한 택타일 피드백을 제1 택타일 피드백에 추가하여 발생할 수 있다.
디스플레이 디바이스는 제2 터치가 제1 오브젝트의 영역을 벗어났는지 여부를 판단할 수 있다(S140). 사용자의 터치 제스쳐는 도 4에 도시한 바와 같이 제1 오브젝트를 제어하는 동안에 제1 오브젝트가 디스플레이된 영역을 벗어날 수 있다. 디스플레이 디바이스는 제2 터치가 제1 오브젝트의 영역을 벗어나지 않은 경우 제1 택타일 피드백을 발생할 수 있다.
디스플레이 디바이스는 제2 터치가 제1 오브젝트의 영역을 벗어난 경우 제2 터치와 디스플레이 유닛과의 컨택트가 해제되었는지 여부를 판단할 수 있다(S150). 디스플레이 디바이스는 도 4에서 설명한 바와 같이, 제2 터치와 디스플레이 유닛과의 컨택트가 유지되는 동안에 제2 터치에 대한 택타일 피드백을 제1 택타일 피드백으로 잠금할 수 있다. 디스플레이 디바이스는 제2 터치와 디스플레이 유닛과의 컨택트가 해제되지 않은 경우 제2 터치가 디텍팅되는 영역에 관계없이 제1 택타일 피드백을 발생할 수 있다.
디스플레이 디바이스는 제2 터치와 디스플레이 유닛과의 컨택트가 해제된 경우, 제2 택타일 피드백을 발생할 수 있다(160). 도 5에서 설명한 바와 같이, 제2 택타일 피드백은 제1 택타일 피드백과 상이한 택타일 피드백일 수 있다. 디스플레이 디바이스는 제2 터치가 디텍팅된 영역에 위치한 오브젝트 또는 배경 이미지의 속성에 따라 제2 택타일 피드백을 발생할 수 있다. 디스플레이 디바이스는 디스플레이된 제2 터치가 디텍팅된 영역에 위치한 오브젝트 또는 배경 이미지의 질감, 패턴, 모양, 크기, 명암 및 밝기 중 적어도 하나를 고려하여 제2 택타일 피드백을 발생할 수 있다.
이상 설명한 바와 같이, 디스플레이 디바이스는 사용자의 터치 제스쳐에 대한 택타일 피드백을 연속성 있게 제공함으로써 사용자가 제어하고 있는 오브젝트와 택타일 피드백이 일관성 있게 제공되는 효과를 제공할 수 있다.
10: 디스플레이 디바이스 11:제1 오브젝트
12: 제2 오브젝트 13: 제1 택타일 피드백
14: 제2 택타일 피드백 20: 사용자의 터치 제스쳐

Claims (20)

  1. 오브젝트를 디스플레이하는 터치 센서티브 디스플레이 유닛;
    택타일 피드백을 발생하는 택타일 피드백 유닛; 및
    상기 유닛들을 제어하는 컨트롤러를 포함하는 디스플레이 디바이스로써,
    상기 컨트롤러는,
    상기 디스플레이 유닛 상에 디스플레이된 제1 오브젝트의 영역을 컨택트하는 제1 터치를 디텍팅하고,
    상기 제1 터치에 연속하여 상기 제1 오브젝트를 제어하는 제2 터치를 디텍팅하고,
    상기 제2 터치에 따라 상기 제1 오브젝트를 제어하고,
    상기 제1 오브젝트가 제어됨에 따라 상기 제2 터치에 대해 상기 제1 오브젝트의 속성에 대응하여 제1 택타일 피드백을 발생하고,
    상기 제2 터치에 연속하여 상기 제1 오브젝트를 제어하는 제3 터치를 디텍팅하고, 여기서 상기 제3 터치는 상기 디스플레이 유닛 상에 디스플레이된 제2 오브젝트의 영역에서 디텍팅됨,
    상기 제1 오브젝트가 제어됨에 따라 상기 제3 터치에 대해 상기 제1 택타일 피드백을 발생하고,
    상기 제 3 터치의 상기 제 1 오브젝트에 대한 제어가 종료되면, 상기 제3 터치에 대해 상기 제 2 오브젝트의 속성에 대응하는 제 2 택타일 피드백을 발생하는,
    디스플레이 디바이스.
  2. 제 1 항에 있어서,
    상기 컨트롤러는
    상기 디스플레이 유닛과의 컨택트가 해제된 후 상기 제2 오브젝트의 영역에서 입력되는 제4 터치를 디텍팅하고,
    상기 제4 터치에 대해 상기 제2 오브젝트의 속성에 대응하는 제2 택타일 피드백을 발생하는 디스플레이 디바이스.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 제2 오브젝트는 상기 디스플레이 유닛 상에 디스플레이된 배경 이미지인 디스플레이 디바이스.
  5. 제 1 항에 있어서,
    상기 제1 택타일 피드백을 발생하는 동작은 상기 제1 오브젝트와 사용자의 손가락 사이의 마찰력에 대응하는 제3 택타일 피드백을 추가로 발생하는 디스플레이 디바이스.
  6. 제 1 항에 있어서,
    상기 컨트롤러는 배경 이미지를 디스플레이하고,
    상기 제1 택타일 피드백을 발생하는 동작은 상기 제1 오브젝트의 텍스쳐 및 상기 배경 이미지의 텍스쳐에 대응하여 상기 제1 택타일 피드백을 발생하는 디스플레이 디바이스.
  7. 제 1 항에 있어서,
    상기 컨트롤러는
    상기 제3 터치가 상기 제2 오브젝트의 영역에서 디텍팅되기 시작하는 시점에 일시적으로 상기 제1 택타일 피드백과 상이한 제2 택타일 피드백을 발생하는 디스플레이 디바이스.
  8. 제 1 항에 있어서,
    상기 제1 오브젝트가 디스플레이된 위치와 상기 제3 터치가 디텍팅된 위치 간의 거리가 기설정된 거리 스레시홀드를 초과하면, 상기 제3 터치에 대해 상기 제2 오브젝트의 속성에 대응하는 제2 택타일 피드백을 발생하는 디스플레이 디바이스.
  9. 제 1 항에 있어서,
    상기 컨트롤러는
    상기 디스플레이 유닛과의 컨택트가 해제된 후 상기 제2 오브젝트의 영역에서 입력되는 제4 터치를 디텍팅하고,
    상기 컨택트가 해제된 시점으로부터 상기 제4 터치가 디텍팅된 시점까지의 시간이 기설정된 시간 스레시홀드 이하이면 상기 제1 택타일 피드백을 발생하고,
    상기 컨택트가 해제된 시점으로부터 상기 제4 터치가 디텍팅된 시점까지의 시간이 기설정된 시간 스레시홀드를 초과하면 상기 제2 오브젝트의 속성에 대응하는 제2 택타일 피드백을 발생하는 디스플레이 디바이스.
  10. 제 1 항에 있어서,
    제1 오브젝트의 속성은 제1 오브젝트가 디스플레이된 질감, 색상, 무게감, 패턴 및 밝기 중 적어도 하나를 포함하는 디스플레이 디바이스.
  11. 제 1 항에 있어서,
    상기 터치 센서티브 디스플레이 유닛은,
    사용자의 터치 제스쳐를 디텍팅하는 센서 유닛; 및
    비주얼 사용자 인터페이스를 디스플레이하는 디스플레이 유닛;을 포함하는 디스플레이 디바이스.
  12. 제 1 항에 있어서,
    상기 제1 터치, 상기 제2 터치 및 상기 제3 터치는 상기 디스플레이 유닛과의 사용자의 손가락의 컨택트를 유지한 채 연속하여 입력되는 디스플레이 디바이스.
  13. 제 1 항에 있어서,
    상기 컨트롤러는
    상기 제2 터치에 따라 상기 제1 오브젝트를 제어함에 있어서,
    상기 제2 터치의 x축 성분 또는 y축 성분 중 어느 하나에 따라 상기 제1 오브젝트를 제어하는 디스플레이 디바이스.
  14. 제 1 항에 있어서,
    상기 제1 오브젝트에 대한 제어는 상기 제1 오브젝트를 이동, 회전, 확대 및 축소하는 동작 중 적어도 하나를 포함하는 디스플레이 디바이스.
  15. 제 1 항에 있어서,
    상기 컨트롤러는
    사용자가 상기 디스플레이 유닛을 누르는 터치 제스쳐의 압력을 디텍팅하고, 상기 압력에 비례하여 택타일 피드백의 세기를 제어하는 디스플레이 디바이스.
  16. 제 15 항에 있어서,
    상기 컨트롤러는
    상기 터치 제스쳐가 디텍팅되는 면적에 기초하여 상기 터치 제스쳐의 압력을 디텍팅하는 디스플레이 디바이스.
  17. 삭제
  18. 제 1 항에 있어서,
    상기 택타일 피드백 유닛은 초음파 진동을 이용하여 택타일 피드백을 발생하고, 상기 초음파 진동의 주파수 및 크기를 변화시켜 상기 택타일 피드백의 세기를 제어하는 디스플레이 디바이스.
  19. 제 1 항에 있어서,
    상기 택타일 피드백 유닛은 상기 디스플레이 유닛 상에 미세전류를 발생하여 택타일 피드백을 제공하고, 상기 미세전류의 세기, 발생 주기를 조절하여 상기 택타일 피드백을 제어하는 디스플레이 디바이스.
  20. 삭제
KR1020120108823A 2012-09-28 2012-09-28 디스플레이 디바이스 및 그 제어 방법 KR101958779B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
KR1020120108823A KR101958779B1 (ko) 2012-09-28 2012-09-28 디스플레이 디바이스 및 그 제어 방법
US13/679,582 US8451248B1 (en) 2012-09-28 2012-11-16 Display device and control method thereof
PCT/KR2012/009830 WO2014051200A1 (en) 2012-09-28 2012-11-20 Display device and control method thereof
US13/857,831 US8743072B2 (en) 2012-09-28 2013-04-05 Display device and control method thereof
PCT/KR2013/003284 WO2014051231A1 (en) 2012-09-28 2013-04-18 Display device and control method thereof
EP13841064.2A EP2901251B1 (en) 2012-09-28 2013-04-18 Display device and control method thereof
CN201380051115.7A CN104685447B (zh) 2012-09-28 2013-04-18 显示装置及其控制方法
US14/204,817 US9367134B2 (en) 2012-09-28 2014-03-11 Display device and control method thereof
US15/152,294 US9939903B2 (en) 2012-09-28 2016-05-11 Display device and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120108823A KR101958779B1 (ko) 2012-09-28 2012-09-28 디스플레이 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20140042279A KR20140042279A (ko) 2014-04-07
KR101958779B1 true KR101958779B1 (ko) 2019-03-15

Family

ID=48445342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120108823A KR101958779B1 (ko) 2012-09-28 2012-09-28 디스플레이 디바이스 및 그 제어 방법

Country Status (3)

Country Link
US (1) US8451248B1 (ko)
KR (1) KR101958779B1 (ko)
WO (1) WO2014051200A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
US9240129B1 (en) * 2012-05-01 2016-01-19 Google Inc. Notifications and live updates for braille displays
JP2014032506A (ja) * 2012-08-02 2014-02-20 Sharp Corp 情報処理装置、選択操作検出方法およびプログラム
KR101946366B1 (ko) * 2012-08-23 2019-02-11 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US8539387B1 (en) * 2012-10-22 2013-09-17 Google Inc. Using beat combinations for controlling electronic devices
JP2014112335A (ja) * 2012-12-05 2014-06-19 Fuji Xerox Co Ltd 情報処理装置及びプログラム
CN103869960B (zh) * 2012-12-18 2018-02-23 富泰华工业（深圳）有限公司 触感反馈系统及其提供触感反馈的方法
US9285880B2 (en) * 2012-12-26 2016-03-15 Panasonic Intellectual Property Management Co., Ltd. Touch panel device and method of controlling a touch panel device
KR102201730B1 (ko) * 2013-09-02 2021-01-12 엘지전자 주식회사 택타일 피드백을 발생하는 디스플레이 디바이스 및 그 제어 방법
KR102205283B1 (ko) 2014-02-12 2021-01-20 삼성전자주식회사 적어도 하나의 어플리케이션을 실행하는 전자 장치 및 그 제어 방법
KR20150104808A (ko) * 2014-03-06 2015-09-16 삼성전자주식회사 피드백을 출력하는 전자 장치 및 방법
US10261584B2 (en) 2015-08-24 2019-04-16 Rambus Inc. Touchless user interface for handheld and wearable computers
KR102591807B1 (ko) * 2016-11-21 2023-10-23 한국전자통신연구원 촉감자극을 생성하는 방법 및 장치
DE102016223476A1 (de) * 2016-11-25 2018-05-30 BSH Hausgeräte GmbH Haptisches Bedienelement für ein Haushaltsgerät
US11397956B1 (en) 2020-10-26 2022-07-26 Wells Fargo Bank, N.A. Two way screen mirroring using a smart table
US11457730B1 (en) 2020-10-26 2022-10-04 Wells Fargo Bank, N.A. Tactile input device for a touch screen
US11727483B1 (en) 2020-10-26 2023-08-15 Wells Fargo Bank, N.A. Smart table assisted financial health
US11429957B1 (en) 2020-10-26 2022-08-30 Wells Fargo Bank, N.A. Smart table assisted financial health
US11741517B1 (en) 2020-10-26 2023-08-29 Wells Fargo Bank, N.A. Smart table system for document management
US11740853B1 (en) 2020-10-26 2023-08-29 Wells Fargo Bank, N.A. Smart table system utilizing extended reality
US11572733B1 (en) 2020-10-26 2023-02-07 Wells Fargo Bank, N.A. Smart table with built-in lockers

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US7509588B2 (en) * 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US7956847B2 (en) * 2007-01-05 2011-06-07 Apple Inc. Gestures for controlling, manipulating, and editing of media files using touch sensitive devices
KR100942704B1 (ko) * 2007-11-26 2010-02-16 한국전자통신연구원 촉각 피드백이 가능한 입력 장치, 이를 이용한 촉각 상호작용 시스템 및 방법
US9857872B2 (en) * 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
JP5181093B2 (ja) * 2008-12-08 2013-04-10 韓國電子通信研究院 タッチスクリーン及びその動作方法
US9746923B2 (en) * 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
KR101553842B1 (ko) * 2009-04-21 2015-09-17 엘지전자 주식회사 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
CA2761700C (en) * 2009-07-24 2014-12-02 Research In Motion Limited Method and apparatus for a touch-sensitive display
US8610549B2 (en) * 2009-10-16 2013-12-17 Immersion Corporation Systems and methods for providing haptic feedback at multiple resonance frequencies
EP2386934B1 (en) * 2010-05-14 2015-08-05 BlackBerry Limited Method of providing tactile feedback and electronic device
KR101167399B1 (ko) * 2010-05-31 2012-07-19 삼성전기주식회사 햅틱 디바이스

Also Published As

Publication number Publication date
KR20140042279A (ko) 2014-04-07
WO2014051200A1 (en) 2014-04-03
US8451248B1 (en) 2013-05-28

Similar Documents

Publication Publication Date Title
KR101958779B1 (ko) 디스플레이 디바이스 및 그 제어 방법
EP2901251B1 (en) Display device and control method thereof
US7952566B2 (en) Apparatus and method for touch screen interaction based on tactile feedback and pressure measurement
KR101946365B1 (ko) 디스플레이 디바이스 및 그 제어 방법
KR102108061B1 (ko) 디스플레이 디바이스 및 그 제어 방법
CN104685445B (zh) 便携式装置及其控制方法
US9395816B2 (en) Display device for selectively outputting tactile feedback and visual feedback and method for controlling the same
EP3114555B1 (en) System and method for gesture control
KR102047689B1 (ko) 택타일 사용자 인터페이스의 미니-맵을 제공하는 터치 센서티브 디바이스 및 제어 방법
EP2733591A1 (en) User interface device capable of execution of input by finger contact in plurality of modes, input operation assessment method, and program
KR20100068393A (ko) 디스플레이되는 이미지를 조작하기 위한 방법 및 장치
KR20100041006A (ko) 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US20130154938A1 (en) Combined touchpad and keypad using force input
KR102201731B1 (ko) 택타일 피드백을 발생하는 디스플레이 디바이스 및 그 제어 방법
US11726653B2 (en) Non-contact gesture commands for touch screens
KR20120023405A (ko) 사용자 인터페이스 제공 방법 및 장치
US9507419B2 (en) Display device generating tactile feedback and method for controlling the same
KR102094886B1 (ko) 택타일 피드백 및 비주얼 피드백을 선택적으로 출력하는 디스플레이 디바이스 및 그 제어 방법
KR100896129B1 (ko) 팜 레스트 영역에 터치스크린이 장착된 노트북 컴퓨터 및 그 제어방법
WO2012117690A1 (en) Electronic apparatus, display method, and program
US20070216656A1 (en) Composite cursor input method
TW201106221A (en) Touch panel device
JP6659109B2 (ja) 電子機器、その制御方法、およびプログラム、並びに記憶媒体
JP2019101815A (ja) 制御装置、入力装置、情報処理装置、およびプログラム
US20130154967A1 (en) Electronic device and touch control method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant