KR20160074315A - User terminal and method for providing haptic service of the same - Google Patents

User terminal and method for providing haptic service of the same Download PDF

Info

Publication number
KR20160074315A
KR20160074315A KR1020140183509A KR20140183509A KR20160074315A KR 20160074315 A KR20160074315 A KR 20160074315A KR 1020140183509 A KR1020140183509 A KR 1020140183509A KR 20140183509 A KR20140183509 A KR 20140183509A KR 20160074315 A KR20160074315 A KR 20160074315A
Authority
KR
South Korea
Prior art keywords
user
haptic
information
mapped
haptic information
Prior art date
Application number
KR1020140183509A
Other languages
Korean (ko)
Other versions
KR102073222B1 (en
Inventor
김대식
곽기욱
이현수
박성미
정경희
Original Assignee
한국과학기술원
코오롱인더스트리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 코오롱인더스트리 주식회사 filed Critical 한국과학기술원
Priority to KR1020140183509A priority Critical patent/KR102073222B1/en
Publication of KR20160074315A publication Critical patent/KR20160074315A/en
Application granted granted Critical
Publication of KR102073222B1 publication Critical patent/KR102073222B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a user terminal and a haptic service providing method to make a user avoid the need to perform a separate finger pointing motion by automatically reproducing a text displayed in a place where eyes of the user used to be or haptic information mapped to an object by including a user eye tracing function. The user terminal provides a user terminal comprising: a touch screen to display content including one or more information object wherein a haptic generation condition and haptic information are mapped on a screen and to obtain and output a user control value corresponding to a user input operation; an event detection unit to grasp a user generation event based on at least one among a user eye line, a three-dimensional motion of the user, a user touch position, and a user touch gesture; a control unit to change a screen display portion of the content according to a user control unit and to call and output the haptic information mapped to the information object if there is the haptic generation condition corresponding to the user generation event; and a haptic reproducing unit to generate a haptic simulation corresponding to the haptic information.

Description

사용자 단말 및 이의 햅틱 서비스 제공 방법{USER TERMINAL AND METHOD FOR PROVIDING HAPTIC SERVICE OF THE SAME}USER TERMINAL AND METHOD FOR PROVIDING HAPTIC SERVICE OF THE SAME

본 발명은 햅틱 자극을 통해 인스턴스 메시지, 전자문서 등과 같은 콘텐츠에 포함된 텍스트 또는 객체에 대응되는 인간의 감정을 보다 효율적으로 제공할 수 있도록 하는 것으로, 특히 사용자 시선 추적 기능을 구비하여 사용자의 시선에 머무르는 곳에 매핑된 햅틱 정보가 자동 재현될 수 있도록 하는 사용자 단말 및 이의 햅틱 서비스 제공 방법에 관한 것이다. The present invention enables to more efficiently provide human emotions corresponding to texts or objects included in contents such as an instance message, an electronic document, and the like through haptic stimulation, and more particularly, And a haptic service providing method for automatically reproducing the mapped haptic information.

오늘날, 사용자기기는 이동통신 단말(예. 피처폰, 스마트폰), 휴대용 멀티미디어 플레이어(PMP: Portable Multimedia Player), 디엠비(DMB: Digital Multimedia Broadcasting) 수신기, 전자 사전, 디지털 카메라, 휴대용 게임기기 등과 같이 개인이 휴대하고 다니면서 필요할 때 사용하는 기기들(Hand-held Device)이 다양하게 출현되었고, 이러한 개인 휴대용 가전기기(Portable Device)들, 즉 사용자기기들을 이용하는 사람들이 기하급수적으로 늘어나고 있다. 그 인터페이스 방식도 화면을 직접 접촉하여 입력되는 터치스크린(Touch Screen)을 사용하여 사용이 편리한 인터페이스를 제공하고 있으며, 이러한 방식은 휴대폰이나 스마트폰, 태블릿 PC 등에 탑재된 터치스크린은 저항막(감압) 방식과 정전용량 방식으로 다양한 기기에서 사용하고 있다.Nowadays, user equipments can be used in various fields such as mobile communication terminals (e.g., feature phone, smart phone), portable multimedia player (PMP), digital multimedia broadcasting (DMB) receiver, electronic dictionary, digital camera, There have been various hand-held devices that are used by individuals when they need to carry them, and the number of people using such personal portable electronic devices (user devices) is increasing exponentially. The interface method also provides an easy-to-use interface by using a touch screen that is input by directly touching the screen. In this method, a touch screen mounted on a mobile phone, a smart phone, a tablet PC, Type and capacitive type.

이러한 사용자기기들은 모두 일정량 이상의 저장장치를 가지고 있으며, 디지털 콘텐츠를 저장하는 것이 가능하므로, 몇몇 사용자기기들은 무선 모뎀 무선 통신을 통해 무선 인터넷 망에 접속하여 콘텐츠 서비스를 이용하거나, 이동통신망과 접속하여 다른 사용자기기와 음성 및 영상 통화를 수행하고, 문자 메시지 및 멀티미디어 메시지를 송수신하고 있다. 또한 사용자기기들은 인스턴트 메신저(Instant Messenger)를 이용하여 실시간 동기화된 커뮤니케이션이 가능하다.Since all of these user devices have storage devices of a predetermined amount or more and can store digital contents, some user devices access the wireless Internet network through the wireless modem wireless communication and use the contents service or access the mobile communication network Performs voice and video communication with the user device, and transmits and receives a text message and a multimedia message. In addition, user devices can communicate in real time synchronized using Instant Messenger.

이와 같이 사용자기기들을 통해 송수신되는 각종 콘텐츠는 텍스트, 이미지 객체, 이모티콘 객체, 메뉴 객체 등과 같은 시각적 표현 요소만으로 구성되어 있으나, 최근에 들어서는 상기 텍스트 또는 객체 각각에 대응되는 촉각적인 표현 요소가 추가적으로 포함되고 있다. 즉, 개인적인 커뮤니케이션에 효과적이고, 순간적으로 주의를 집중하게 하는 기능과 함께 사람의 감정을 자극할 수 있는 주요 수단 중의 하나로 알려져 촉각적인 표현 요소를 추가 제공함으로써, 사용자각 시각적으로 정보를 제공받으면서 동시에 시각적 정보에 대응되는 피부 자극을 추가 제공받아 그 표현 효과가 증가되도록 해준다(한국공개특허 제2007-0023064호, 한국등록번호 제10-044904호, 한국등록번호 제10-0471669호 참고). In this way, various contents transmitted and received through the user equipments are composed only of visual expression elements such as text, image objects, emoticon objects, menu objects and the like, but in recent years, tactile expression elements corresponding to the text or objects are additionally included have. In other words, it is known as one of the main means to stimulate the emotions of the person, together with the function of being effective in the personal communication, momentarily focusing attention, and providing the tactile expression element, The skin stimulation corresponding to the information is additionally provided to increase the expression effect (Korean Patent Publication No. 2007-0023064, Korean Registration No. 10-044904, Korean Registration No. 10-0471669).

그러나 이와 같은 기술들은 메시지에 햅틱 정보를 포함시켜 상대방에게 제공하고, 상대방의 단말이 이에 대응되는 햅틱 자극을 재현하는 기술만을 개시하고 있을 뿐, 햅틱 정보가 매핑된 정보가 한 화면에 동시 표시되는 경우, 어느 메시지에 매핑된 햅틱 정보를 선택적으로 재현할 것인지에 대해 전혀 명시하지 못하고 있다. 예를 들어, 인스턴트 메신저(Instant Messenger)를 사용하여 두 명 이상의 사용자가 메시지를 송수신하는 경우, 한 화면에는 다수의 메시지가 동시 표시되나, 다수의 메시지 중 어느 메시지에 매핑된 햅틱 정보를 재현할 것인지를 규정하지 못하고 있다. However, such techniques include providing haptic information in a message and providing the message to the other party, and the terminal of the other party only discloses a technique for reproducing the haptic stimulus corresponding to the message. In a case where information in which the haptic information is mapped is displayed simultaneously on one screen , It does not specify at all whether to selectively reproduce the haptic information mapped to a message. For example, when two or more users send and receive a message by using an instant messenger, a plurality of messages are simultaneously displayed on one screen, but the haptic information mapped to one of the plurality of messages is to be reproduced .

물론, 사용자가 특정 메시지가 디스플레이된 영역을 손가락으로 터치함으로써 재현하고자 하는 햅틱 정보를 선택하는 것이 가능할 것이나, 이는 사용자가 별도의 손가락 포인팅 동작을 반드시 수행해야 한다는 번거로움을 단점으로 가진다. Of course, it is possible for the user to select the haptic information to be reproduced by touching the area in which the specific message is displayed with the finger, but this has a disadvantage that the user must perform a separate finger pointing operation.

이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 사용자 시선 추적 기능을 구비하여 사용자의 시선에 머무르는 곳에 디스플레이된 텍스트 또는 객체에 매핑된 햅틱 정보를 자동 재현함으로써, 사용자가 별도의 손바락 포인팅 동작을 수행할 필요가 없도록 하는 사용자 단말 및 이의 햅틱 서비스 제공 방법을 제공하고자 한다. In order to solve the above problems, the present invention has a user's eye-gaze tracking function to automatically reproduce the haptic information mapped to a text or object displayed at a user's eyes, And to provide a haptic service providing method thereof.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 햅틱 발생 조건 및 햅틱 정보가 매핑된 정보 객체를 적어도 하나 포함하는 콘텐츠를 화면 표시하고, 사용자 입력 동작에 상응하는 사용자 제어값을 획득 및 출력하는 터치 스크린; 사용자 시선, 사용자 3차원 모션, 사용자 터치 위치, 및 사용자 터치 제스처 중 적어도 하나를 기반으로 사용자 발생 이벤트를 파악하는 이벤트 검출부; 상기 사용자 제어값에 따라 상기 콘텐츠의 화면 표시 부분을 변경하되, 상기 사용자 발생 이벤트에 대응되는 햅틱 발생 조건이 매핑된 정보 객체가 존재하면, 상기 정보 객체에 매핑된 햅틱 정보를 호출 및 출력하는 제어부; 및 상기 햅틱 정보에 상응하는 햅틱 자극을 발생하는 햅틱 재현부를 포함하는 사용자 단말을 제공한다. According to an embodiment of the present invention, there is provided a method for displaying a content including at least one information object to which a haptic generating condition and a haptic information are mapped is displayed, and a user control value corresponding to a user input operation is displayed A touch screen for acquiring and outputting; An event detection unit for recognizing a user occurrence event based on at least one of a user's gaze, a user's three-dimensional motion, a user's touch position, and a user's touch gesture; A controller for changing a screen display portion of the content according to the user control value and calling and outputting the haptic information mapped to the information object when the information object to which the haptic generation condition corresponding to the user generated event is mapped exists; And a haptic reproducing unit for generating a haptic stimulus corresponding to the haptic information.

상기 사용자 단말은 적어도 하나의 햅틱 센싱 장치를 구비하고, 상기 햅틱 센싱 장치를 통해 센싱된 햅틱 자극을 기반으로 햅틱 정보를 생성하는 햅틱 센싱부를 더 포함할 수 있다. The user terminal may further include at least one haptic sensing device and a haptic sensing unit for generating haptic information based on the sensed haptic stimulus through the haptic sensing device.

상기 제어부는 콘텐츠 작성 서비스를 제공하고, 상기 콘텐츠 내 특정 정보 객체에 대한 햅틱 정보 입력이 요청되면, 사용자에게 햅틱 발생 조건 및 햅틱 정보 입력을 요청한 후 이에 응답하여 상기 이벤트 검출부와 상기 햅틱 센싱부를 통해 획득되는 사용자 발생 이벤트와 햅틱 정보를 상기 특정 정보 객체에 매핑하는 기능을 더 포함할 수 있다. Wherein the control unit provides a content creation service and, when a haptic information input for a specific information object in the content is requested, requests the haptic generation condition and haptic information input to the user, and in response thereto, acquires the haptic information through the event detection unit and the haptic sensing unit And mapping the generated user event and haptic information to the specific information object.

또한 상기 제어부는 기 정의된 햅틱 정보들을 사용자에게 안내하고, 사용자에 의해 선택된 햅틱 정보를 상기 특정 정보 객체에 매핑하는 기능을 더 포함할 수 있다.
The controller may further include a function of guiding the predefined haptic information to the user and mapping the selected haptic information to the specific information object.

상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따른 사용자 단말의 햅틱 서비스 제공 방법은, 상기 사용자 단말이 햅틱 발생 조건 및 햅틱 정보가 매핑된 정보 객체를 적어도 하나 포함하는 콘텐츠를 수신 및 화면 표시하는 단계; 사용자 시선, 사용자 터치 위치, 사용자 터치 제스처, 및 사용자 3차원 움직임 중 적어도 하나를 기반으로 사용자 발생 이벤트를 파악하는 단계; 및 상기 사용자 발생 이벤트에 대응되는 햅틱 발생 조건이 매핑된 정보 객체를 검출하고, 상기 정보 객체에 매핑된 햅틱 정보를 호출 및 재현하는 단계를 포함할 수 있다.
According to another aspect of the present invention, there is provided a method of providing a haptic service for a user terminal, the method comprising: receiving and storing a content including at least one information object to which a haptic generating condition and haptic information are mapped; Screen display; Recognizing a user occurrence event based on at least one of a user's gaze, a user's touch position, a user's touch gesture, and a user's three-dimensional motion; And a step of detecting an information object to which the haptic generation condition corresponding to the user occurrence event is mapped, and recalling and reproducing the haptic information mapped to the information object.

본 발명에서는 사용자 시선 추적 기능을 구비하여 사용자의 시선에 머무르는 곳에 디스플레이된 텍스트 또는 객체에 매핑된 햅틱 정보를 자동 재현함으로써, 사용자가 별도의 손바락 포인팅 동작을 수행할 필요가 없도록 하고, 이에 따라 사용자의 편이성이 극대화되도록 한다.
In the present invention, a haptic information mapped to a text or an object displayed in a user's eyes is automatically reproduced by providing a user's gaze tracking function so that a user does not need to perform a separate hand pointing operation, So that the convenience of the user can be maximized.

도1은 본 발명의 일 실시예에 따른 햅틱 서비스를 제공할 수 있는 사용자 단말을 설명하기 위한 도면이다.
도2는 본 발명의 일 실시예에 따른 사용자 단말의 햅틱 서비스 제공 방법을 설명하기 위한 도면으로, 이는 메신저 프로그램을 이용하여 햅틱 서비스를 제공하는 방법에 관한 것이다.
도3은 본 발명의 일 실시예에 따른 사용자 단말의 햅틱 서비스 제공 방법의 햅틱 정보 입력 과정을 설명하기 위한 도면이다.
도4는 본 발명의 다른 실시예에 따른 사용자 단말의 햅틱 서비스 제공 방법을 설명하기 위한 도면으로, 이는 전자책을 이용하여 햅틱 서비스를 제공하는 방법에 관한 것이다. 1 is a view for explaining a user terminal capable of providing a haptic service according to an embodiment of the present invention.
2 is a diagram for explaining a method of providing a haptic service of a user terminal according to an embodiment of the present invention, and it relates to a method of providing a haptic service using a messenger program.
3 is a view for explaining a haptic information inputting process of a method of providing a haptic service of a user terminal according to an embodiment of the present invention.
FIG. 4 is a view for explaining a method of providing a haptic service of a user terminal according to another embodiment of the present invention, and it relates to a method of providing a haptic service using an electronic book.

본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will be more apparent from the following detailed description taken in conjunction with the accompanying drawings, in which: FIG. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.The following terms are defined in consideration of the functions of the present invention, and these may be changed according to the intention of the user, the operator, or the like.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. These embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art to which the present invention pertains. Only. Therefore, the definition should be based on the contents throughout this specification.

도1은 본 발명의 일 실시예에 따른 햅틱 서비스를 제공할 수 있는 사용자 단말을 설명하기 위한 도면이다. 1 is a view for explaining a user terminal capable of providing a haptic service according to an embodiment of the present invention.

도1을 참고하면, 본 발명의 사용자 단말은 카메라(10), 모션 센싱부(15), 터치 스크린(20), 스피커(30), 이벤트 검출부(40), 제어부(50), 햅틱 재현부(60), 통신부(80), 및 메모리(90) 등을 포함할 수 있다. 1, the user terminal of the present invention includes a camera 10, a motion sensing unit 15, a touch screen 20, a speaker 30, an event detection unit 40, a control unit 50, a haptic reproduction unit 60 ), A communication unit 80, a memory 90, and the like.

본 발명의 사용자 단말은 스마트 폰, 태블릿 PC, 전자 책등과 같이 통신 기능을 가지는 각종 전자 장치로 구현될 수 있으며, 특히 메신저 프로그램, SNS(Social Network Service) 프로그램 등을 통해 다른 사람들과 대화하거나 각종 정보를 공유하거나, 전자책 프로그램을 통해 각종 전자 문서를 열람할 수 있도록 하는 특징을 가진다. The user terminal of the present invention can be implemented by various electronic devices having a communication function such as a smart phone, a tablet PC, an electronic book, etc. In particular, the user terminal can communicate with other people through a messenger program, an SNS (Social Network Service) Or to read various electronic documents through the e-book program.

또한, 대화 메시지, 전자 문서 등과 같이 터치 스크린을 통해 화면 표시되는 콘텐츠에 햅틱 정보가 포함되어 있는 경우, 햅틱 정보에 상응하는 햅틱 자극을 발생하여 사용자에게 제공할 수 있는 특징을 가진다. In addition, when haptic information is included in a content displayed on a touch screen, such as a conversation message, an electronic document, or the like, haptic stimulation corresponding to the haptic information can be generated and provided to the user.

이하, 각 구성 요소의 기능을 보다 상세하게 살펴보면 다음과 같다. Hereinafter, the function of each component will be described in more detail as follows.

카메라(10)는 사용자 단말을 바라보는 사람의 얼굴을 촬영할 수 있도록 사용자 단말의 전면부에 배치된 카메라로, 사용자가 특정 콘텐츠를 선택 및 열람하는 동안 사용자 얼굴 영상을 반복적으로 획득하여 이벤트 검출부(40)에 제공하도록 한다. The camera 10 is a camera disposed on the front side of the user terminal so as to capture a face of a user looking at the user terminal. The camera 10 repeatedly acquires a user face image while the user selects and browsing a specific content, ).

모션 센싱부(15)는 각속도 센서, 가속도 센서, 나침판 센서, 중력 센서 등을 구비하고, 이를 통해 사용자의 3차원 모션을 감지 및 통보하도록 한다. The motion sensing unit 15 includes an angular velocity sensor, an acceleration sensor, a compass sensor, a gravity sensor, and the like to sense and notify the user's three-dimensional motion.

터치 스크린(20)은 각종 콘텐츠를 화면 표시함과 동시에, 사용자 입력 동작에 상응하는 사용자 제어값을 획득 및 출력하도록 한다. 이때, 터치 스크린(20)을 통해 화면 표시되는 콘텐츠로는 메신저 프로그램, 및 SNS 프로그램 등의 대화 메시지, 전자책 프로그램 등을 통해 화면 표시되는 전자 문서 등이 적용 가능하다. 그리고 이는 텍스트, 이미지 객체, 이모티콘 객체, 메뉴 객체 등과 같은 정보 객체들로 구성될 수 있으며, 정보 객체들 중 적어도 하나에는 햅틱 발생 조건, 햅틱 정보, 및 오디오 정보 등이 매핑될 수 있을 것이다. The touch screen 20 displays various contents and simultaneously acquires and outputs a user control value corresponding to a user input operation. At this time, as contents to be displayed on the touch screen 20, a messenger program, an interactive message such as an SNS program, an electronic document displayed on the screen through an electronic book program, or the like can be applied. It may be composed of information objects such as text, image objects, emoticon objects, menu objects, etc., and at least one of the information objects may be mapped with haptic generation conditions, haptic information, and audio information.

또한, 터치 스크린(20)는 사용자 터치 위치 또는 사용자 터치 제스처를 검출 및 출력하여, 차후 이벤트 검출부(40)가 이를 기반으로 사용자 발생 이벤트를 검출할 수도 있도록 한다. Also, the touch screen 20 detects and outputs a user touch position or a user touch gesture so that the subsequent event detection unit 40 can detect a user occurrence event based on the detected result.

스피커(30)는 터치 스크린(20)를 통해 화면 표시되는 정보 객체들에 매핑된 오디오 정보를 가청 주파수 대역으로 소리로 변환한 후 화면 표시순으로 순차적으로 출력하도록 한다. The speaker 30 converts the audio information mapped to the information objects displayed on the screen through the touch screen 20 into sound in an audible frequency band, and sequentially outputs the audio information in a screen display order.

이벤트 검출부(40)은 시선 추적 알고리즘을 구비하고, 이를 통해 사용자 얼굴 영상을 분석하여 사용자의 현재 시선이 사용자 단말의 터치 스크린내 어느 위치에 머무르고 있는 지 파악하도록 한다. 더욱 상세하게는, 사용자 얼굴 영상에서 얼굴 영역을 추출한 후, 얼굴 영역을 수직 방향으로 소정의 비율로 나누어 눈 후보 영역을 검출하고, 검출된 눈 후보 영역에서 미리 결정된 방법을 이용하여 눈 영역들을 검출하도록 한다. 그리고 눈 영역들을 이진화하여 동공을 검출하고, 상기 검출된 동공의 성분을 추적하여 동공의 중심 좌표를 검출하며, 상기 검출된 동공의 중심 좌표를 화면의 논리 좌표에 대응시켜 상기 화면상에 사상되는 커서의 위치를 계산하고, 이를 사용자 발생 이벤트로써 출력하도록 한다. The event detection unit 40 includes a line-of-sight tracking algorithm to analyze the user's face image to determine where the user's current line of sight is staying in the touch screen of the user terminal. More specifically, after extracting a face region from a face image of a user, an eye candidate region is detected by dividing the face region in a vertical direction at a predetermined ratio, and eye regions are detected using a predetermined method in the detected eye candidate region do. The pupil detection unit detects the pupil by binarizing the eye regions, detects the center coordinates of the pupil by tracking the detected pupil components, and correlates the center coordinates of the detected pupil with the logical coordinates of the screen, And outputs it as a user occurrence event.

또한, 필요한 경우 이벤트 검출부(40)는 사용자 3차원 모션, 사용자 터치 위치, 및 사용자 터치 제스처 중 적어도 하나를 기반으로 사용자 발생 이벤트를 파악할 수도 있도록 한다. In addition, if necessary, the event detection unit 40 can grasp the user occurrence event based on at least one of the user's three-dimensional motion, the user's touch position, and the user's touch gesture.

제어부(50)는 메신저 프로그램, SNS 프로그램, 및 전자책 프로그램 등을 구비하고, 사용자의 요청하에 이들 프로그램 중 하나를 실행하도록 한다. 그리고 현재 실행 중인 프로그램을 통해 외부 장치로부터 전송 또는 내부 메모리에 저장된 콘텐츠를 불러와 터치 스크린(20)을 통해 화면 표시하거나, 콘텐츠의 화면 표시 부분을 변경하는 등의 작업을 수행한다. The control unit 50 includes a messenger program, an SNS program, and an electronic book program, and executes one of these programs at the request of the user. In addition, the content is transferred from an external device through a program currently being executed or loaded in a content stored in the internal memory, and is displayed on the touch screen 20, or the screen display portion of the content is changed.

또한 제어부(50)는 실행 프로그램을 이용한 콘텐츠 화면 표시 동작을 수행함과 더불어, 사용자 발생 이벤트에 대응되는 햅틱 발생 조건이 매핑된 정보 객체가 존재하면, 해당 정보 객체에 매핑된 햅틱 정보를 획득하여 햅틱 재현부(60)에 제공하도록 한다.The controller 50 performs a content screen display operation using an execution program and acquires the haptic information mapped to the information object when the information object to which the haptic generating condition corresponding to the user occurrence event is mapped exists, (60).

더하여 제어부(50)는 사용자의 콘텐츠 작성 작업을 지원할 수 있다. 그리고 사용자의 콘텐츠 작성 중에 특정 정보 객체를 선택하고 햅틱 정보 입력을 요청하는 경우에는, 사용자에게 햅틱 발생 조건 및 햅틱 정보 입력을 요청한 후 이에 응답하여 이벤트 검출부(40)와 햅틱 센싱부(70)를 통해 획득되는 사용자 발생 이벤트와 햅틱 정보를 해당 정보 객체 햅틱에 대응되는 햅틱 발생 조건 및 햅틱 정보로 매핑할 수 있도록 한다. 또한 사용자가 햅틱 정보를 직접 만들 수 없거나 기 정의된 햅틱 정보의 안내를 요청하는 경우에는 기 정의되어 있는 햅틱 정보들의 목록을 사용자에게 안내함으로써, 사용자가 목록 검색 및 선택 동작을 통해 자신이 원하는 햅틱 정보를 손쉽게 설정할 수도 있도록 한다.
In addition, the control unit 50 can support the user's content creation job. When a specific information object is selected and a haptic information input request is made during the creation of a user, the haptic generating condition and the haptic information input are requested to the user, and then the event detecting unit 40 and the haptic sensing unit 70 The generated user generated event and haptic information can be mapped to the haptic generation condition and haptic information corresponding to the information object haptic. In addition, when the user can not directly generate haptic information or requests guidance of predefined haptic information, the user is guided to a list of predefined haptic information, so that the user can select desired haptic information So that it can be set easily.

햅틱 재현부(60)는 3차원적인 움직임(진동)을 발생할 수 있는 햅틱 엑추에이터를 적어도 하나 구비하고, 제어부(50)로부터 제공되는 햅틱 정보에 상응하는 햅틱 자극을 발생하도록 한다. 즉, 사용자는 햅틱 재현부(60)의 동작을 통해 자신의 시선이 머무르는 곳에 존재하는 텍스트 또는 객체에 대응되는 햅틱 자극을 제공받을 수 있게 된다. The haptic reproducing unit 60 includes at least one haptic actuator capable of generating a three-dimensional motion (vibration), and generates a haptic stimulus corresponding to the haptic information provided from the controller 50. That is, the user can receive the haptic stimulus corresponding to the text or the object existing at the sight of the user through the operation of the haptic representation unit 60.

햅틱 센싱부(70)는 햅틱 센싱 장치를 적어도 하나 구비하고, 이를 통해 사용자가 발생하는 각종 햅틱 자극을 센싱하고, 센싱 결과를 기반으로 햅틱 정보를 생성 및 출력하도록 한다. The haptic sensing unit 70 includes at least one haptic sensing device, which senses various haptic stimuli generated by the user, and generates and outputs haptic information based on the sensing result.

통신부(80)는 제어부(50)에 의해 현재 실행 중인 프로그램을 위한 각종 콘텐츠를 외부 장치로부터 제공받거나, 실행 중인 프로그램에 의해 생성된 각종 콘텐츠를 외부 장치로부터 제공하는 동작을 수행한다. The communication unit 80 receives various contents for the program currently being executed by the control unit 50 from the external apparatus or performs an operation of providing various contents generated by the executing program from the external apparatus.

메모리(90)는 각종 콘텐츠를 저장하고, 제어부(50)에 의해 현재 실행 중인 프로그램에 의해 요청된 콘텐츠를 불러와 제어부(50)에 제공하는 동작을 수행한다.
The memory 90 stores various contents and performs an operation of calling up the contents requested by the program currently being executed by the control unit 50 and providing the contents to the control unit 50. [

이하, 도2 내지 도4를 참고하여 사용자 시선 기반으로 사용자 단말의 햅틱 서비스를 제공하는 방법을 설명하기로 한다. Hereinafter, a method of providing a haptic service of a user terminal based on a user's gaze will be described with reference to FIG. 2 to FIG.

도2는 본 발명의 일 실시예에 따른 사용자 단말의 햅틱 서비스 제공 방법을 설명하기 위한 도면으로, 이는 메신저 프로그램을 이용하여 햅틱 서비스를 제공하는 방법에 관한 것이다. FIG. 2 illustrates a method for providing a haptic service of a user terminal according to an embodiment of the present invention, and a method for providing a haptic service using a messenger program. Referring to FIG.

이하에서는 설명의 편이를 위해, 제1 및 제2 사용자 단말은 도1에서와 같이 구성되나, 제1 사용자 단말(110)은 메시지 전송을, 제2 사용자 단말(120)는 메시지 수신 동작을 수행하는 경우에 한하여 설명하기로 한다. Hereinafter, for convenience of explanation, the first and second user terminals are configured as shown in FIG. 1, but the first user terminal 110 performs message transmission and the second user terminal 120 performs a message reception operation The following description will be given only in the case of FIG.

먼저, 제1 사용자가 제1 사용자 단말(110)의 메신저 프로그램을 통해 메시지를 작성한 후(S1), 메시지 내 특정 텍스트, 이미지 객체, 이모티콘 객체, 또는 메시지 자체를 햅틱 정보 입력 대상으로 선택하면(S2), 제1 사용자 단말(110)는 햅틱 정보 입력창을 제공하도록 한다(S3). First, a first user creates a message through a messenger program of the first user terminal 110 (S1), and then selects a specific text, an image object, an emoticon object, or a message itself as a haptic information input object (S2 , The first user terminal 110 provides a haptic information input window (S3).

햅틱 정보 입력창은 도3의 (a)에 도시된 바와 같이, 햅틱 정보 수동 입력 메뉴, 햅틱 정보 리스트 제공 메뉴 등으로 구성되어 있으며, 햅틱 정보 수동 입력 메뉴가 선택되면 햅틱 센싱 장치를 동작 활성화하여 사용자가 직접 발생하는 햅틱 자극을 센싱, 센싱 결과를 기반으로 햅틱 정보를 생성하도록 한다. 또한 햅틱 정보 리스트 제공 메뉴가 선택되면, 도3의 (b)에 도시된 바와 같이, 사전에 정의된 햅틱 정보들을 모두 수집 및 리스트화하여 제공함으로써, 사용자가 햅틱 정보 리스트 검색 동작을 통해 필요로 하는 햅틱 정보 하나를 선택할 수 있도록 한다. As shown in FIG. 3A, the haptic information input window includes a menu for manually inputting a haptic information, a menu for providing a haptic information list, and the like. When the menu for manually inputting a haptic information is selected, And the haptic information is generated based on the sensing result. When the menu providing haptic information list is selected, as shown in FIG. 3 (b), all of the haptic information defined in advance are collected and listed and provided, So that one haptic information can be selected.

그리고 햅틱 정보 입력창을 통해 획득된 햅틱 정보를 단계 S2를 통해 선택된 텍스트 또는 객체에 매핑한 후(S4), 메시지 작성을 완료하고 제2 사용자 단말(120)로의 전송을 수행한다(S5). Then, the haptic information obtained through the haptic information input window is mapped to the selected text or object in step S2 (S4), and the message is completed and transmitted to the second user terminal 120 (S5).

그러면, 제2 사용자 단말(120)는 해당 메시지를 수신하여 해당 메시지에 포한된 텍스트와 객체들을 화면 표시하고(S6), 이와 동시에 이벤트 검출부(40)을 이용한 시선 추적 동작을 수행하여 사용자가 화면내 어느 지점을 바라보고 있는 즉각 파악하도록 한다(S7). Then, the second user terminal 120 receives the corresponding message and displays the text and objects included in the message on the screen (S6). At the same time, the second user terminal 120 performs the gaze tracking operation using the event detection unit 40, (S7).

그리고 제2 사용자 단말(120)는 사용자 시선이 머무르는 텍스트 또는 객체에 매핑된 햅틱 정보가 있는지 확인하고(S8), 만약 사용자 시선이 머무르는 텍스트 또는 객체에 매핑된 햅틱 정보가 있으면, 햅틱 재현부(60)를 통해 해당 햅틱 정보를 재현하여 제2 사용자 단말(120)의 사용자가 이에 상응하는 햅틱 자극을 제공받을 수 있도록 한다(S9). The second user terminal 120 checks whether there is haptic information mapped to the text or object in which the user's gaze stays (S8), and if there is haptic information mapped to the text or object where the user's gaze stays, So that the user of the second user terminal 120 can receive the corresponding haptic stimulus (S9).

즉, 본 발명은 두 명 이상의 사용자가 메신저, SNS 등을 통해 서로의 메시지를 주고받으면서 자신의 감정, 의미 등을 포함하기 위한 햅틱 정보를 메시지에 추가 삽입할 수 있도록 하고, 사용자 단말 각각은 사용자 시선이 머무르는 메시지, 더 나아가 메시지 내 텍스트 또는 객체에 대응되는 햅틱 정보를 자동 재현하도록 한다. 메시지 송신자는 자신이 전달하고자 하는 바를 보다 다양한 형태로 표현할 수 있게 되고, 메시지 수신자가 자신의 의도를 오해하는 문제가 발생하는 것을 최소화할 수 있도록 해준다.
That is, the present invention enables two or more users to additionally insert haptic information into their messages to include their feelings, meanings, etc., while exchanging messages with each other through messengers, SNS, etc., So as to automatically reproduce the haptic information corresponding to the text or object in the message. The sender of the message can express his or her wishes in more various forms, and it can minimize the problem of the receiver of the message misunderstanding his intention.

도4는 본 발명의 다른 실시예에 따른 사용자 단말의 햅틱 서비스 제공 방법을 설명하기 위한 도면으로, 이는 전자책을 이용하여 햅틱 서비스를 제공하는 방법에 관한 것이다. FIG. 4 is a view for explaining a method of providing a haptic service of a user terminal according to another embodiment of the present invention, and it relates to a method of providing a haptic service using an electronic book.

먼저, 제1 사용자가 제1 사용자 단말(110)의 전자 문서를 작성한 후(S11) 특정 텍스트, 이미지 객체, 이모티콘 객체, 메뉴 객체, 또는 문단 등을 햅틱 정보 입력 대상으로 선택하면(S12), 제1 사용자 단말(110)는 이에 응답하여 도3의 (a)와 같은 햅틱 정보 입력창을 제공하도록 한다(S13). First, a first user creates an electronic document of the first user terminal 110 (S11) and selects a specific text, an image object, an emoticon object, a menu object, a paragraph or the like as a haptic information input object (S12) 1 user terminal 110 provides the haptic information input window shown in FIG. 3 (a) in response thereto (S13).

그리고 햅틱 정보 입력창을 통해 획득된 햅틱 정보를 단계 S2를 통해 선택된 텍스트 또는 객체에 매핑한다(S14). Then, the haptic information obtained through the haptic information input window is mapped to the selected text or object in step S2 (S14).

단계 S12 내지 S14의 햅틱 정보 입력 동작은 제1 사용자의 요청하에 반복 수행될 수 있으며, 햅틱 정보 입력이 완료되면 전자 무서 작성을 완료하고 외부 서버에 업로드 하도록 한다(S15). The haptic information input operation of steps S12 to S14 can be repeatedly performed at the request of the first user. When the input of the haptic information is completed, the electronic scaffolding is completed and uploaded to the external server (S15).

이에 제2 사용자가 제2 사용자 단말(120)들 통해 외부 서버에 접속하여 제1 사용자가 작성한 전자 문서를 선택 및 다운로드하면(S17), 제2 사용자 단말(120)는 다운로드된 전자 문서를 화면 표시하되, 터치 스크린(20) 등을 통해 획득되는 사용자 제어값에 따라 상기 콘텐츠의 화면 표시 부분을 변경하도록 한다(S18). When the second user accesses the external server through the second user terminals 120 to select and download the electronic document created by the first user (S17), the second user terminal 120 displays the downloaded electronic document on the screen , And changes the screen display portion of the content according to the user control value obtained through the touch screen 20 or the like (S18).

그리고 이와 동시에 이벤트 검출부(40)을 통해 시선 추적 동작을 수행하여, 사용자가 화면내 어느 지점을 바라보고 있는 즉각 파악하도록 한다(S19). At the same time, a gaze tracking operation is performed through the event detection unit 40 to allow the user to immediately recognize which point in the screen the user is looking at (S19).

그리고 제2 사용자 단말(120)는 사용자 시선이 머무르는 텍스트 또는 객체에 매핑된 햅틱 정보가 있는지 확인하고(S20), 만약 사용자 시선이 머무르는 텍스트 또는 객체에 매핑된 햅틱 정보가 있으면, 햅틱 재현부(60)를 통해 해당 햅틱 정보를 재현하여 제2 사용자 단말(120)의 사용자가 이에 상응하는 햅틱 자극을 제공받을 수 있도록 한다(S21). If there is haptic information mapped to the text or object to which the user's gaze stays, then the second user terminal 120 determines whether there is haptic information mapped to the text or object in which the user's gaze stays (S20) So that the user of the second user terminal 120 can receive the corresponding haptic stimulus (S21).

즉, 본 발명은 전자 문서 작성자(예를 들어, 개인, 작가, 에디터 등)가 독자에게 특정 내용을 강조하거나, 특정 의미를 내포하는 것임을 알려주기 위해 텍스트, 이미지 객체, 이모티콘 객체, 메뉴 객체 등에 바이너리(binary) 햅틱 또는 다양한 패턴의 햅틱 자극을 삽입하여 독자들에 전달하도록 할 수 있다. That is, the present invention is applicable to a text, an image object, an emoticon object, a menu object, and the like in order to inform the reader that the electronic document creator (for example, an individual, a writer, an editor, etc.) emphasizes a specific content, binary haptics or haptic stimuli of various patterns can be inserted and transmitted to the readers.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

Claims (5)

햅틱 발생 조건 및 햅틱 정보가 매핑된 정보 객체를 적어도 하나 포함하는 콘텐츠를 화면 표시하고, 사용자 입력 동작에 상응하는 사용자 제어값을 획득 및 출력하는 터치 스크린;
사용자 시선, 사용자 3차원 모션, 사용자 터치 위치, 및 사용자 터치 제스처 중 적어도 하나를 기반으로 사용자 발생 이벤트를 파악하는 이벤트 검출부;
상기 사용자 제어값에 따라 상기 콘텐츠의 화면 표시 부분을 변경하되, 상기 사용자 발생 이벤트에 대응되는 햅틱 발생 조건이 매핑된 정보 객체가 존재하면, 상기 정보 객체에 매핑된 햅틱 정보를 호출 및 출력하는 제어부; 및
상기 햅틱 정보에 상응하는 햅틱 자극을 발생하는 햅틱 재현부를 포함하는 사용자 단말.A touch screen for displaying a content including at least one information object to which haptic generation conditions and haptic information are mapped, and acquiring and outputting a user control value corresponding to a user input operation;
An event detection unit for recognizing a user occurrence event based on at least one of a user's gaze, a user's three-dimensional motion, a user's touch position, and a user's touch gesture;
A controller for changing a screen display portion of the content according to the user control value and calling and outputting the haptic information mapped to the information object when the information object to which the haptic generation condition corresponding to the user generated event is mapped exists; And
And a haptic reproduction unit for generating a haptic stimulus corresponding to the haptic information. 제1항에 있어서,
적어도 하나의 햅틱 센싱 장치를 구비하고, 상기 햅틱 센싱 장치를 통해 센싱된 햅틱 자극을 기반으로 햅틱 정보를 생성하는 햅틱 센싱부를 더 포함하는 것을 특징으로 하는 사용자 단말.The method according to claim 1,
Further comprising a haptic sensing unit having at least one haptic sensing device and generating haptic information based on the sensed haptic stimulus through the haptic sensing device. 제2항에 있어서, 상기 제어부는
콘텐츠 작성 서비스를 제공하고, 상기 콘텐츠 내 특정 정보 객체에 대한 햅틱 정보 입력이 요청되면, 사용자에게 햅틱 발생 조건 및 햅틱 정보 입력을 요청한 후 이에 응답하여 상기 이벤트 검출부와 상기 햅틱 센싱부를 통해 획득되는 사용자 발생 이벤트와 햅틱 정보를 상기 특정 정보 객체에 매핑하는 기능을 더 포함하는 것을 특징으로 하는 사용자 단말.3. The apparatus of claim 2, wherein the control unit
A haptic information generating unit for generating a haptic information based on the haptic information generated by the haptic sensing unit and the event detection unit in response to the haptic generating condition and haptic information input request to the user, And mapping the event and haptic information to the specific information object. 제3항에 있어서, 상기 제어부는
기 정의된 햅틱 정보들을 사용자에게 안내하고, 사용자에 의해 선택된 햅틱 정보를 상기 특정 정보 객체에 매핑하는 기능을 더 포함하는 것을 특징으로 하는 사용자 단말.4. The apparatus of claim 3, wherein the control unit
Further comprising: guiding predefined haptic information to a user and mapping the selected haptic information to the specific information object. 사용자 단말의 햅틱 서비스 제공 방법에 있어서,
상기 사용자 단말이
햅틱 발생 조건 및 햅틱 정보가 매핑된 정보 객체를 적어도 하나 포함하는 콘텐츠를 수신 및 화면 표시하는 단계;
사용자 시선, 사용자 터치 위치, 사용자 터치 제스처, 및 사용자 3차원 움직임 중 적어도 하나를 기반으로 사용자 발생 이벤트를 파악하는 단계; 및
상기 사용자 발생 이벤트에 대응되는 햅틱 발생 조건이 매핑된 정보 객체를 검출하고, 상기 정보 객체에 매핑된 햅틱 정보를 호출 및 재현하는 단계를 포함하는 사용자 단말의 햅틱 서비스 제공 방법.A method of providing a haptic service for a user terminal,
The user terminal
Receiving and displaying a content including at least one information object to which haptic generation conditions and haptic information are mapped;
Recognizing a user occurrence event based on at least one of a user's gaze, a user's touch position, a user's touch gesture, and a user's three-dimensional motion; And
Detecting the information object to which the haptic generating condition corresponding to the user occurrence event is mapped, and calling and reproducing the mapped haptic information to the information object.
KR1020140183509A 2014-12-18 2014-12-18 User terminal and method for providing haptic service of the same KR102073222B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140183509A KR102073222B1 (en) 2014-12-18 2014-12-18 User terminal and method for providing haptic service of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140183509A KR102073222B1 (en) 2014-12-18 2014-12-18 User terminal and method for providing haptic service of the same

Publications (2)

Publication Number Publication Date
KR20160074315A true KR20160074315A (en) 2016-06-28
KR102073222B1 KR102073222B1 (en) 2020-02-04

Family

ID=56366261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140183509A KR102073222B1 (en) 2014-12-18 2014-12-18 User terminal and method for providing haptic service of the same

Country Status (1)

Country Link
KR (1) KR102073222B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087510A (en) * 2016-12-26 2019-07-24 미쓰비시덴키 가부시키가이샤 A touch panel input device, a touch gesture judging device, a touch gesture judging method, and a touch gesture judging program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100000742A (en) * 2008-06-25 2010-01-06 엘지전자 주식회사 Mobile terminal for providing haptic effect and control method thereof
KR20120058947A (en) * 2010-11-30 2012-06-08 삼성전자주식회사 Method and apparatus for displaying contents using eye tracking
KR20140092134A (en) * 2013-01-15 2014-07-23 삼성전자주식회사 Method for providing haptic effect in portable terminal, machine-readable storage medium and portable terminal
KR20140097902A (en) * 2013-01-30 2014-08-07 삼성전자주식회사 Mobile terminal for generating haptic pattern and method therefor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100000742A (en) * 2008-06-25 2010-01-06 엘지전자 주식회사 Mobile terminal for providing haptic effect and control method thereof
KR20120058947A (en) * 2010-11-30 2012-06-08 삼성전자주식회사 Method and apparatus for displaying contents using eye tracking
KR20140092134A (en) * 2013-01-15 2014-07-23 삼성전자주식회사 Method for providing haptic effect in portable terminal, machine-readable storage medium and portable terminal
KR20140097902A (en) * 2013-01-30 2014-08-07 삼성전자주식회사 Mobile terminal for generating haptic pattern and method therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190087510A (en) * 2016-12-26 2019-07-24 미쓰비시덴키 가부시키가이샤 A touch panel input device, a touch gesture judging device, a touch gesture judging method, and a touch gesture judging program

Also Published As

Publication number Publication date
KR102073222B1 (en) 2020-02-04

Similar Documents

Publication Publication Date Title
KR102438458B1 (en) Implementation of biometric authentication
KR102054633B1 (en) Devices, methods, and graphical user interfaces for wireless pairing with peripherals and displaying status information about the peripherals
US20200241641A1 (en) Devices, Methods, and Graphical User Interfaces for a Wearable Electronic Ring Computing Device
US11100349B2 (en) Audio assisted enrollment
US11468625B2 (en) User interfaces for simulated depth effects
US10592103B2 (en) Mobile terminal and method for controlling the same
CN104777958B (en) Display device and its control method
CN103970441B (en) Execute the method and apparatus for carrying out the process of the function of equipment
WO2019024700A1 (en) Emoji display method and device, and computer readable storage medium
KR101978299B1 (en) Apparatus for service contents in contents service system
EP3182265B1 (en) Mobile terminal and method for controlling the same
US10466786B2 (en) Method and device for providing content
Emiliani et al. Technology and inclusion–Past, present and foreseeable future
US20220084374A1 (en) User interfaces for indicating distance
CN110113659A (en) Generate method, apparatus, electronic equipment and the medium of video
CN112749956A (en) Information processing method, device and equipment
WO2020055613A1 (en) User interfaces for simulated depth effects
CN110795660B (en) Data analysis method, data analysis device, electronic device, and medium
KR102073222B1 (en) User terminal and method for providing haptic service of the same
CN114296627A (en) Content display method, device, equipment and storage medium
US20180356973A1 (en) Method And System For Enhanced Touchscreen Input And Emotional Expressiveness
Schmitt et al. Predicting tap locations on touch screens in the field using accelerometer and gyroscope sensor readings
Jamalzadeh et al. Hap2Gest: An Eyes-Free Interaction Concept with Smartphones Using Gestures and Haptic Feedback
KR102240861B1 (en) Method for automatically setting healthcare device fitting value by interaction between a plurality of terminals and system thereof
KR101595363B1 (en) Mobile terminal and control method thereof

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant