KR102073222B1 - 사용자 단말 및 이의 햅틱 서비스 제공 방법 - Google Patents

사용자 단말 및 이의 햅틱 서비스 제공 방법 Download PDF

Info

Publication number
KR102073222B1
KR102073222B1 KR1020140183509A KR20140183509A KR102073222B1 KR 102073222 B1 KR102073222 B1 KR 102073222B1 KR 1020140183509 A KR1020140183509 A KR 1020140183509A KR 20140183509 A KR20140183509 A KR 20140183509A KR 102073222 B1 KR102073222 B1 KR 102073222B1
Authority
KR
South Korea
Prior art keywords
haptic
user
information
mapped
content
Prior art date
Application number
KR1020140183509A
Other languages
English (en)
Other versions
KR20160074315A (ko
Inventor
김대식
곽기욱
이현수
박성미
정경희
Original Assignee
한국과학기술원
코오롱인더스트리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원, 코오롱인더스트리 주식회사 filed Critical 한국과학기술원
Priority to KR1020140183509A priority Critical patent/KR102073222B1/ko
Publication of KR20160074315A publication Critical patent/KR20160074315A/ko
Application granted granted Critical
Publication of KR102073222B1 publication Critical patent/KR102073222B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자 시선 추적 기능을 구비하여 사용자의 시선에 머무르는 곳에 디스플레이된 텍스트 또는 객체에 매핑된 햅틱 정보를 자동 재현함으로써, 사용자가 별도의 손바락 포인팅 동작을 수행할 필요가 없도록 하는 사용자 단말 및 이의 햅틱 서비스 제공 방법에 관한 것으로 ,
상기 사용자 단말은 햅틱 발생 조건 및 햅틱 정보가 매핑된 정보 객체를 적어도 하나 포함하는 콘텐츠를 화면 표시하고, 사용자 입력 동작에 상응하는 사용자 제어값을 획득 및 출력하는 터치 스크린; 사용자 시선, 사용자 3차원 모션, 사용자 터치 위치, 및 사용자 터치 제스처 중 적어도 하나를 기반으로 사용자 발생 이벤트를 파악하는 이벤트 검출부; 상기 사용자 제어값에 따라 상기 콘텐츠의 화면 표시 부분을 변경하되, 상기 사용자 발생 이벤트에 대응되는 햅틱 발생 조건이 매핑된 정보 객체가 존재하면, 상기 정보 객체에 매핑된 햅틱 정보를 호출 및 출력하는 제어부; 및 상기 햅틱 정보에 상응하는 햅틱 자극을 발생하는 햅틱 재현부를 포함하는 사용자 단말을 제공한다.

Description

사용자 단말 및 이의 햅틱 서비스 제공 방법{USER TERMINAL AND METHOD FOR PROVIDING HAPTIC SERVICE OF THE SAME}
본 발명은 햅틱 자극을 통해 인스턴스 메시지, 전자문서 등과 같은 콘텐츠에 포함된 텍스트 또는 객체에 대응되는 인간의 감정을 보다 효율적으로 제공할 수 있도록 하는 것으로, 특히 사용자 시선 추적 기능을 구비하여 사용자의 시선에 머무르는 곳에 매핑된 햅틱 정보가 자동 재현될 수 있도록 하는 사용자 단말 및 이의 햅틱 서비스 제공 방법에 관한 것이다.
오늘날, 사용자기기는 이동통신 단말(예. 피처폰, 스마트폰), 휴대용 멀티미디어 플레이어(PMP: Portable Multimedia Player), 디엠비(DMB: Digital Multimedia Broadcasting) 수신기, 전자 사전, 디지털 카메라, 휴대용 게임기기 등과 같이 개인이 휴대하고 다니면서 필요할 때 사용하는 기기들(Hand-held Device)이 다양하게 출현되었고, 이러한 개인 휴대용 가전기기(Portable Device)들, 즉 사용자기기들을 이용하는 사람들이 기하급수적으로 늘어나고 있다. 그 인터페이스 방식도 화면을 직접 접촉하여 입력되는 터치스크린(Touch Screen)을 사용하여 사용이 편리한 인터페이스를 제공하고 있으며, 이러한 방식은 휴대폰이나 스마트폰, 태블릿 PC 등에 탑재된 터치스크린은 저항막(감압) 방식과 정전용량 방식으로 다양한 기기에서 사용하고 있다.
이러한 사용자기기들은 모두 일정량 이상의 저장장치를 가지고 있으며, 디지털 콘텐츠를 저장하는 것이 가능하므로, 몇몇 사용자기기들은 무선 모뎀 무선 통신을 통해 무선 인터넷 망에 접속하여 콘텐츠 서비스를 이용하거나, 이동통신망과 접속하여 다른 사용자기기와 음성 및 영상 통화를 수행하고, 문자 메시지 및 멀티미디어 메시지를 송수신하고 있다. 또한 사용자기기들은 인스턴트 메신저(Instant Messenger)를 이용하여 실시간 동기화된 커뮤니케이션이 가능하다.
이와 같이 사용자기기들을 통해 송수신되는 각종 콘텐츠는 텍스트, 이미지 객체, 이모티콘 객체, 메뉴 객체 등과 같은 시각적 표현 요소만으로 구성되어 있으나, 최근에 들어서는 상기 텍스트 또는 객체 각각에 대응되는 촉각적인 표현 요소가 추가적으로 포함되고 있다. 즉, 개인적인 커뮤니케이션에 효과적이고, 순간적으로 주의를 집중하게 하는 기능과 함께 사람의 감정을 자극할 수 있는 주요 수단 중의 하나로 알려져 촉각적인 표현 요소를 추가 제공함으로써, 사용자각 시각적으로 정보를 제공받으면서 동시에 시각적 정보에 대응되는 피부 자극을 추가 제공받아 그 표현 효과가 증가되도록 해준다(한국공개특허 제2007-0023064호, 한국등록번호 제10-044904호, 한국등록번호 제10-0471669호 참고).
그러나 이와 같은 기술들은 메시지에 햅틱 정보를 포함시켜 상대방에게 제공하고, 상대방의 단말이 이에 대응되는 햅틱 자극을 재현하는 기술만을 개시하고 있을 뿐, 햅틱 정보가 매핑된 정보가 한 화면에 동시 표시되는 경우, 어느 메시지에 매핑된 햅틱 정보를 선택적으로 재현할 것인지에 대해 전혀 명시하지 못하고 있다. 예를 들어, 인스턴트 메신저(Instant Messenger)를 사용하여 두 명 이상의 사용자가 메시지를 송수신하는 경우, 한 화면에는 다수의 메시지가 동시 표시되나, 다수의 메시지 중 어느 메시지에 매핑된 햅틱 정보를 재현할 것인지를 규정하지 못하고 있다.
물론, 사용자가 특정 메시지가 디스플레이된 영역을 손가락으로 터치함으로써 재현하고자 하는 햅틱 정보를 선택하는 것이 가능할 것이나, 이는 사용자가 별도의 손가락 포인팅 동작을 반드시 수행해야 한다는 번거로움을 단점으로 가진다.
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 사용자 시선 추적 기능을 구비하여 사용자의 시선에 머무르는 곳에 디스플레이된 텍스트 또는 객체에 매핑된 햅틱 정보를 자동 재현함으로써, 사용자가 별도의 손바락 포인팅 동작을 수행할 필요가 없도록 하는 사용자 단말 및 이의 햅틱 서비스 제공 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 햅틱 발생 조건 및 햅틱 정보가 매핑된 정보 객체를 적어도 하나 포함하는 콘텐츠를 화면 표시하고, 사용자 입력 동작에 상응하는 사용자 제어값을 획득 및 출력하는 터치 스크린; 사용자 시선, 사용자 3차원 모션, 사용자 터치 위치, 및 사용자 터치 제스처 중 적어도 하나를 기반으로 사용자 발생 이벤트를 파악하는 이벤트 검출부; 상기 사용자 제어값에 따라 상기 콘텐츠의 화면 표시 부분을 변경하되, 상기 사용자 발생 이벤트에 대응되는 햅틱 발생 조건이 매핑된 정보 객체가 존재하면, 상기 정보 객체에 매핑된 햅틱 정보를 호출 및 출력하는 제어부; 및 상기 햅틱 정보에 상응하는 햅틱 자극을 발생하는 햅틱 재현부를 포함하는 사용자 단말을 제공한다.
상기 사용자 단말은 적어도 하나의 햅틱 센싱 장치를 구비하고, 상기 햅틱 센싱 장치를 통해 센싱된 햅틱 자극을 기반으로 햅틱 정보를 생성하는 햅틱 센싱부를 더 포함할 수 있다.
상기 제어부는 콘텐츠 작성 서비스를 제공하고, 상기 콘텐츠 내 특정 정보 객체에 대한 햅틱 정보 입력이 요청되면, 사용자에게 햅틱 발생 조건 및 햅틱 정보 입력을 요청한 후 이에 응답하여 상기 이벤트 검출부와 상기 햅틱 센싱부를 통해 획득되는 사용자 발생 이벤트와 햅틱 정보를 상기 특정 정보 객체에 매핑하는 기능을 더 포함할 수 있다.
또한 상기 제어부는 기 정의된 햅틱 정보들을 사용자에게 안내하고, 사용자에 의해 선택된 햅틱 정보를 상기 특정 정보 객체에 매핑하는 기능을 더 포함할 수 있다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따른 사용자 단말의 햅틱 서비스 제공 방법은, 상기 사용자 단말이 햅틱 발생 조건 및 햅틱 정보가 매핑된 정보 객체를 적어도 하나 포함하는 콘텐츠를 수신 및 화면 표시하는 단계; 사용자 시선, 사용자 터치 위치, 사용자 터치 제스처, 및 사용자 3차원 움직임 중 적어도 하나를 기반으로 사용자 발생 이벤트를 파악하는 단계; 및 상기 사용자 발생 이벤트에 대응되는 햅틱 발생 조건이 매핑된 정보 객체를 검출하고, 상기 정보 객체에 매핑된 햅틱 정보를 호출 및 재현하는 단계를 포함할 수 있다.
본 발명에서는 사용자 시선 추적 기능을 구비하여 사용자의 시선에 머무르는 곳에 디스플레이된 텍스트 또는 객체에 매핑된 햅틱 정보를 자동 재현함으로써, 사용자가 별도의 손바락 포인팅 동작을 수행할 필요가 없도록 하고, 이에 따라 사용자의 편이성이 극대화되도록 한다.
도1은 본 발명의 일 실시예에 따른 햅틱 서비스를 제공할 수 있는 사용자 단말을 설명하기 위한 도면이다.
도2는 본 발명의 일 실시예에 따른 사용자 단말의 햅틱 서비스 제공 방법을 설명하기 위한 도면으로, 이는 메신저 프로그램을 이용하여 햅틱 서비스를 제공하는 방법에 관한 것이다.
도3은 본 발명의 일 실시예에 따른 사용자 단말의 햅틱 서비스 제공 방법의 햅틱 정보 입력 과정을 설명하기 위한 도면이다.
도4는 본 발명의 다른 실시예에 따른 사용자 단말의 햅틱 서비스 제공 방법을 설명하기 위한 도면으로, 이는 전자책을 이용하여 햅틱 서비스를 제공하는 방법에 관한 것이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도1은 본 발명의 일 실시예에 따른 햅틱 서비스를 제공할 수 있는 사용자 단말을 설명하기 위한 도면이다.
도1을 참고하면, 본 발명의 사용자 단말은 카메라(10), 모션 센싱부(15), 터치 스크린(20), 스피커(30), 이벤트 검출부(40), 제어부(50), 햅틱 재현부(60), 통신부(80), 및 메모리(90) 등을 포함할 수 있다.
본 발명의 사용자 단말은 스마트 폰, 태블릿 PC, 전자 책등과 같이 통신 기능을 가지는 각종 전자 장치로 구현될 수 있으며, 특히 메신저 프로그램, SNS(Social Network Service) 프로그램 등을 통해 다른 사람들과 대화하거나 각종 정보를 공유하거나, 전자책 프로그램을 통해 각종 전자 문서를 열람할 수 있도록 하는 특징을 가진다.
또한, 대화 메시지, 전자 문서 등과 같이 터치 스크린을 통해 화면 표시되는 콘텐츠에 햅틱 정보가 포함되어 있는 경우, 햅틱 정보에 상응하는 햅틱 자극을 발생하여 사용자에게 제공할 수 있는 특징을 가진다.
이하, 각 구성 요소의 기능을 보다 상세하게 살펴보면 다음과 같다.
카메라(10)는 사용자 단말을 바라보는 사람의 얼굴을 촬영할 수 있도록 사용자 단말의 전면부에 배치된 카메라로, 사용자가 특정 콘텐츠를 선택 및 열람하는 동안 사용자 얼굴 영상을 반복적으로 획득하여 이벤트 검출부(40)에 제공하도록 한다.
모션 센싱부(15)는 각속도 센서, 가속도 센서, 나침판 센서, 중력 센서 등을 구비하고, 이를 통해 사용자의 3차원 모션을 감지 및 통보하도록 한다.
터치 스크린(20)은 각종 콘텐츠를 화면 표시함과 동시에, 사용자 입력 동작에 상응하는 사용자 제어값을 획득 및 출력하도록 한다. 이때, 터치 스크린(20)을 통해 화면 표시되는 콘텐츠로는 메신저 프로그램, 및 SNS 프로그램 등의 대화 메시지, 전자책 프로그램 등을 통해 화면 표시되는 전자 문서 등이 적용 가능하다. 그리고 이는 텍스트, 이미지 객체, 이모티콘 객체, 메뉴 객체 등과 같은 정보 객체들로 구성될 수 있으며, 정보 객체들 중 적어도 하나에는 햅틱 발생 조건, 햅틱 정보, 및 오디오 정보 등이 매핑될 수 있을 것이다.
또한, 터치 스크린(20)는 사용자 터치 위치 또는 사용자 터치 제스처를 검출 및 출력하여, 차후 이벤트 검출부(40)가 이를 기반으로 사용자 발생 이벤트를 검출할 수도 있도록 한다.
스피커(30)는 터치 스크린(20)를 통해 화면 표시되는 정보 객체들에 매핑된 오디오 정보를 가청 주파수 대역으로 소리로 변환한 후 화면 표시순으로 순차적으로 출력하도록 한다.
이벤트 검출부(40)은 시선 추적 알고리즘을 구비하고, 이를 통해 사용자 얼굴 영상을 분석하여 사용자의 현재 시선이 사용자 단말의 터치 스크린내 어느 위치에 머무르고 있는 지 파악하도록 한다. 더욱 상세하게는, 사용자 얼굴 영상에서 얼굴 영역을 추출한 후, 얼굴 영역을 수직 방향으로 소정의 비율로 나누어 눈 후보 영역을 검출하고, 검출된 눈 후보 영역에서 미리 결정된 방법을 이용하여 눈 영역들을 검출하도록 한다. 그리고 눈 영역들을 이진화하여 동공을 검출하고, 상기 검출된 동공의 성분을 추적하여 동공의 중심 좌표를 검출하며, 상기 검출된 동공의 중심 좌표를 화면의 논리 좌표에 대응시켜 상기 화면상에 사상되는 커서의 위치를 계산하고, 이를 사용자 발생 이벤트로써 출력하도록 한다.
또한, 필요한 경우 이벤트 검출부(40)는 사용자 3차원 모션, 사용자 터치 위치, 및 사용자 터치 제스처 중 적어도 하나를 기반으로 사용자 발생 이벤트를 파악할 수도 있도록 한다.
제어부(50)는 메신저 프로그램, SNS 프로그램, 및 전자책 프로그램 등을 구비하고, 사용자의 요청하에 이들 프로그램 중 하나를 실행하도록 한다. 그리고 현재 실행 중인 프로그램을 통해 외부 장치로부터 전송 또는 내부 메모리에 저장된 콘텐츠를 불러와 터치 스크린(20)을 통해 화면 표시하거나, 콘텐츠의 화면 표시 부분을 변경하는 등의 작업을 수행한다.
또한 제어부(50)는 실행 프로그램을 이용한 콘텐츠 화면 표시 동작을 수행함과 더불어, 사용자 발생 이벤트에 대응되는 햅틱 발생 조건이 매핑된 정보 객체가 존재하면, 해당 정보 객체에 매핑된 햅틱 정보를 획득하여 햅틱 재현부(60)에 제공하도록 한다.
더하여 제어부(50)는 사용자의 콘텐츠 작성 작업을 지원할 수 있다. 그리고 사용자의 콘텐츠 작성 중에 특정 정보 객체를 선택하고 햅틱 정보 입력을 요청하는 경우에는, 사용자에게 햅틱 발생 조건 및 햅틱 정보 입력을 요청한 후 이에 응답하여 이벤트 검출부(40)와 햅틱 센싱부(70)를 통해 획득되는 사용자 발생 이벤트와 햅틱 정보를 해당 정보 객체 햅틱에 대응되는 햅틱 발생 조건 및 햅틱 정보로 매핑할 수 있도록 한다. 또한 사용자가 햅틱 정보를 직접 만들 수 없거나 기 정의된 햅틱 정보의 안내를 요청하는 경우에는 기 정의되어 있는 햅틱 정보들의 목록을 사용자에게 안내함으로써, 사용자가 목록 검색 및 선택 동작을 통해 자신이 원하는 햅틱 정보를 손쉽게 설정할 수도 있도록 한다.
햅틱 재현부(60)는 3차원적인 움직임(진동)을 발생할 수 있는 햅틱 엑추에이터를 적어도 하나 구비하고, 제어부(50)로부터 제공되는 햅틱 정보에 상응하는 햅틱 자극을 발생하도록 한다. 즉, 사용자는 햅틱 재현부(60)의 동작을 통해 자신의 시선이 머무르는 곳에 존재하는 텍스트 또는 객체에 대응되는 햅틱 자극을 제공받을 수 있게 된다.
햅틱 센싱부(70)는 햅틱 센싱 장치를 적어도 하나 구비하고, 이를 통해 사용자가 발생하는 각종 햅틱 자극을 센싱하고, 센싱 결과를 기반으로 햅틱 정보를 생성 및 출력하도록 한다.
통신부(80)는 제어부(50)에 의해 현재 실행 중인 프로그램을 위한 각종 콘텐츠를 외부 장치로부터 제공받거나, 실행 중인 프로그램에 의해 생성된 각종 콘텐츠를 외부 장치로부터 제공하는 동작을 수행한다.
메모리(90)는 각종 콘텐츠를 저장하고, 제어부(50)에 의해 현재 실행 중인 프로그램에 의해 요청된 콘텐츠를 불러와 제어부(50)에 제공하는 동작을 수행한다.
이하, 도2 내지 도4를 참고하여 사용자 시선 기반으로 사용자 단말의 햅틱 서비스를 제공하는 방법을 설명하기로 한다.
도2는 본 발명의 일 실시예에 따른 사용자 단말의 햅틱 서비스 제공 방법을 설명하기 위한 도면으로, 이는 메신저 프로그램을 이용하여 햅틱 서비스를 제공하는 방법에 관한 것이다.
이하에서는 설명의 편이를 위해, 제1 및 제2 사용자 단말은 도1에서와 같이 구성되나, 제1 사용자 단말(110)은 메시지 전송을, 제2 사용자 단말(120)는 메시지 수신 동작을 수행하는 경우에 한하여 설명하기로 한다.
먼저, 제1 사용자가 제1 사용자 단말(110)의 메신저 프로그램을 통해 메시지를 작성한 후(S1), 메시지 내 특정 텍스트, 이미지 객체, 이모티콘 객체, 또는 메시지 자체를 햅틱 정보 입력 대상으로 선택하면(S2), 제1 사용자 단말(110)는 햅틱 정보 입력창을 제공하도록 한다(S3).
햅틱 정보 입력창은 도3의 (a)에 도시된 바와 같이, 햅틱 정보 수동 입력 메뉴, 햅틱 정보 리스트 제공 메뉴 등으로 구성되어 있으며, 햅틱 정보 수동 입력 메뉴가 선택되면 햅틱 센싱 장치를 동작 활성화하여 사용자가 직접 발생하는 햅틱 자극을 센싱, 센싱 결과를 기반으로 햅틱 정보를 생성하도록 한다. 또한 햅틱 정보 리스트 제공 메뉴가 선택되면, 도3의 (b)에 도시된 바와 같이, 사전에 정의된 햅틱 정보들을 모두 수집 및 리스트화하여 제공함으로써, 사용자가 햅틱 정보 리스트 검색 동작을 통해 필요로 하는 햅틱 정보 하나를 선택할 수 있도록 한다.
그리고 햅틱 정보 입력창을 통해 획득된 햅틱 정보를 단계 S2를 통해 선택된 텍스트 또는 객체에 매핑한 후(S4), 메시지 작성을 완료하고 제2 사용자 단말(120)로의 전송을 수행한다(S5).
그러면, 제2 사용자 단말(120)는 해당 메시지를 수신하여 해당 메시지에 포한된 텍스트와 객체들을 화면 표시하고(S6), 이와 동시에 이벤트 검출부(40)을 이용한 시선 추적 동작을 수행하여 사용자가 화면내 어느 지점을 바라보고 있는 즉각 파악하도록 한다(S7).
그리고 제2 사용자 단말(120)는 사용자 시선이 머무르는 텍스트 또는 객체에 매핑된 햅틱 정보가 있는지 확인하고(S8), 만약 사용자 시선이 머무르는 텍스트 또는 객체에 매핑된 햅틱 정보가 있으면, 햅틱 재현부(60)를 통해 해당 햅틱 정보를 재현하여 제2 사용자 단말(120)의 사용자가 이에 상응하는 햅틱 자극을 제공받을 수 있도록 한다(S9).
즉, 본 발명은 두 명 이상의 사용자가 메신저, SNS 등을 통해 서로의 메시지를 주고받으면서 자신의 감정, 의미 등을 포함하기 위한 햅틱 정보를 메시지에 추가 삽입할 수 있도록 하고, 사용자 단말 각각은 사용자 시선이 머무르는 메시지, 더 나아가 메시지 내 텍스트 또는 객체에 대응되는 햅틱 정보를 자동 재현하도록 한다. 메시지 송신자는 자신이 전달하고자 하는 바를 보다 다양한 형태로 표현할 수 있게 되고, 메시지 수신자가 자신의 의도를 오해하는 문제가 발생하는 것을 최소화할 수 있도록 해준다.
도4는 본 발명의 다른 실시예에 따른 사용자 단말의 햅틱 서비스 제공 방법을 설명하기 위한 도면으로, 이는 전자책을 이용하여 햅틱 서비스를 제공하는 방법에 관한 것이다.
먼저, 제1 사용자가 제1 사용자 단말(110)의 전자 문서를 작성한 후(S11) 특정 텍스트, 이미지 객체, 이모티콘 객체, 메뉴 객체, 또는 문단 등을 햅틱 정보 입력 대상으로 선택하면(S12), 제1 사용자 단말(110)는 이에 응답하여 도3의 (a)와 같은 햅틱 정보 입력창을 제공하도록 한다(S13).
그리고 햅틱 정보 입력창을 통해 획득된 햅틱 정보를 단계 S2를 통해 선택된 텍스트 또는 객체에 매핑한다(S14).
단계 S12 내지 S14의 햅틱 정보 입력 동작은 제1 사용자의 요청하에 반복 수행될 수 있으며, 햅틱 정보 입력이 완료되면 전자 무서 작성을 완료하고 외부 서버에 업로드 하도록 한다(S15).
이에 제2 사용자가 제2 사용자 단말(120)들 통해 외부 서버에 접속하여 제1 사용자가 작성한 전자 문서를 선택 및 다운로드하면(S17), 제2 사용자 단말(120)는 다운로드된 전자 문서를 화면 표시하되, 터치 스크린(20) 등을 통해 획득되는 사용자 제어값에 따라 상기 콘텐츠의 화면 표시 부분을 변경하도록 한다(S18).
그리고 이와 동시에 이벤트 검출부(40)을 통해 시선 추적 동작을 수행하여, 사용자가 화면내 어느 지점을 바라보고 있는 즉각 파악하도록 한다(S19).
그리고 제2 사용자 단말(120)는 사용자 시선이 머무르는 텍스트 또는 객체에 매핑된 햅틱 정보가 있는지 확인하고(S20), 만약 사용자 시선이 머무르는 텍스트 또는 객체에 매핑된 햅틱 정보가 있으면, 햅틱 재현부(60)를 통해 해당 햅틱 정보를 재현하여 제2 사용자 단말(120)의 사용자가 이에 상응하는 햅틱 자극을 제공받을 수 있도록 한다(S21).
즉, 본 발명은 전자 문서 작성자(예를 들어, 개인, 작가, 에디터 등)가 독자에게 특정 내용을 강조하거나, 특정 의미를 내포하는 것임을 알려주기 위해 텍스트, 이미지 객체, 이모티콘 객체, 메뉴 객체 등에 바이너리(binary) 햅틱 또는 다양한 패턴의 햅틱 자극을 삽입하여 독자들에 전달하도록 할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (5)

  1. 햅틱 발생 조건 및 햅틱 정보가 매핑된 정보 객체를 적어도 하나 포함하는 콘텐츠를 화면 표시하고, 사용자 입력 동작에 상응하는 사용자 제어값을 획득 및 출력하는 터치 스크린;
    사용자 시선, 사용자 3차원 모션, 사용자 터치 위치, 및 사용자 터치 제스처 중 적어도 하나를 기반으로 사용자 발생 이벤트를 파악하는 이벤트 검출부;
    상기 사용자 제어값에 따라 상기 콘텐츠의 화면 표시 부분을 변경하되, 상기 사용자 발생 이벤트에 대응되는 햅틱 발생 조건이 매핑된 정보 객체가 존재하면, 상기 정보 객체에 매핑된 햅틱 정보를 호출 및 출력하는 제어부; 및
    상기 햅틱 정보에 상응하는 햅틱 자극을 발생하는 햅틱 재현부를 포함하고,
    적어도 하나의 햅틱 센싱 장치를 구비하고, 상기 햅틱 센싱 장치를 통해 센싱된 햅틱 자극을 기반으로 햅틱 정보를 생성하는 햅틱 센싱부를 더 포함하며,
    상기 제어부는
    콘텐츠 작성 서비스를 제공하고, 상기 콘텐츠 내 특정 정보 객체에 대한 햅틱 정보 입력이 요청되면, 사용자에게 햅틱 발생 조건 및 햅틱 정보 입력을 요청한 후 이에 응답하여 상기 이벤트 검출부와 상기 햅틱 센싱부를 통해 획득되는 사용자 발생 이벤트와 햅틱 정보를 상기 특정 정보 객체에 매핑하는 기능을 더 포함하고,
    작성 완료된 콘텐츠는 외부 서버로 업로드되며, 상기 작성 완료된 콘텐츠는 타 사용자 단말로 다운로드되어 상기 작성 완료된 콘텐츠 내 특정 정보 객체에 매핑된 햅틱 정보가 상기 타 사용자 단말에서 재현되도록 하는 것을 특징으로 하는 사용자 단말.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 제어부는
    기 정의된 햅틱 정보들을 사용자에게 안내하고, 사용자에 의해 선택된 햅틱 정보를 상기 특정 정보 객체에 매핑하는 기능을 더 포함하는 것을 특징으로 하는 사용자 단말.
  5. 사용자 단말의 햅틱 서비스 제공 방법에 있어서,
    제1 사용자 단말이
    햅틱 발생 조건 및 햅틱 정보가 매핑된 정보 객체를 적어도 하나 포함하는 콘텐츠를 수신 및 화면 표시하는 단계;
    사용자 시선, 사용자 터치 위치, 사용자 터치 제스처, 및 사용자 3차원 움직임 중 적어도 하나를 기반으로 사용자 발생 이벤트를 파악하는 단계; 및
    상기 사용자 발생 이벤트에 대응되는 햅틱 발생 조건이 매핑된 정보 객체를 검출하고, 상기 정보 객체에 매핑된 햅틱 정보를 호출 및 재현하는 단계를 포함하며,
    상기 제1 사용자 단말이
    콘텐츠를 작성하는 단계;
    작성된 상기 콘텐츠 내 특정 정보 객체에 대한 햅틱 정보 입력이 요청되면, 상기 제1 사용자 단말의 사용자에게 햅틱 정보 입력창을 제공하는 단계;
    상기 햅틱 정보 입력창을 통해 획득된 햅틱 정보를 상기 특정 정보 객체에 매핑하는 단계; 및
    햅틱 정보 입력이 완료되면 상기 콘텐츠의 작성을 완료하고 외부 서버에 업로드하는 단계를 포함하고,
    제2 사용자 단말이
    상기 외부 서버에 접속하여 상기 제1 사용자 단말에 의해 업로드된 콘텐츠를 다운로드하는 단계;
    다운로드한 상기 콘텐츠를 화면에 표시하는 단계; 및
    상기 콘텐츠 내 특정 정보 객체에 매핑된 사용자 발생 이벤트가 검출되면 상기 특정 정보 객체에 매핑된 햅틱 정보를 재현하는 단계를 더 포함하는 사용자 단말의 햅틱 서비스 제공 방법.
KR1020140183509A 2014-12-18 2014-12-18 사용자 단말 및 이의 햅틱 서비스 제공 방법 KR102073222B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140183509A KR102073222B1 (ko) 2014-12-18 2014-12-18 사용자 단말 및 이의 햅틱 서비스 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140183509A KR102073222B1 (ko) 2014-12-18 2014-12-18 사용자 단말 및 이의 햅틱 서비스 제공 방법

Publications (2)

Publication Number Publication Date
KR20160074315A KR20160074315A (ko) 2016-06-28
KR102073222B1 true KR102073222B1 (ko) 2020-02-04

Family

ID=56366261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140183509A KR102073222B1 (ko) 2014-12-18 2014-12-18 사용자 단말 및 이의 햅틱 서비스 제공 방법

Country Status (1)

Country Link
KR (1) KR102073222B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6177482B1 (ja) * 2016-12-26 2017-08-09 三菱電機株式会社 タッチパネル入力装置、タッチジェスチャ判定装置、タッチジェスチャ判定方法、及びタッチジェスチャ判定プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101498622B1 (ko) * 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
KR20120058947A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 눈동자 추적을 이용한 컨텐츠 출력 방법 및 장치
KR102035305B1 (ko) * 2013-01-15 2019-11-18 삼성전자주식회사 휴대 단말에서 햅틱 효과를 제공하는 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR20140097902A (ko) * 2013-01-30 2014-08-07 삼성전자주식회사 햅틱 패턴을 생성하는 휴대 단말 및 방법

Also Published As

Publication number Publication date
KR20160074315A (ko) 2016-06-28

Similar Documents

Publication Publication Date Title
US11809784B2 (en) Audio assisted enrollment
US20230185428A1 (en) Smart carousel of image modifiers
US11095946B2 (en) User interfaces for recommending and consuming content on an electronic device
US20230252659A1 (en) Displaying and editing images with depth information
US11157234B2 (en) Methods and user interfaces for sharing audio
US10157455B2 (en) Method and device for providing image
US20190339822A1 (en) User interfaces for sharing contextually relevant media content
EP2759909A2 (en) Method for generating an augmented reality content and terminal using the same
US11863700B2 (en) Providing user interfaces based on use contexts and managing playback of media
US11670144B2 (en) User interfaces for indicating distance
US20240161425A1 (en) 3d captions with semantic graphical elements
CN112136099B (zh) 来自远程设备的直接输入
US10466786B2 (en) Method and device for providing content
WO2017213861A1 (en) Communicating information via a computer-implemented agent
US11777881B2 (en) User interfaces and associated systems and processes for sharing portions of content items
CN111565143B (zh) 即时通信方法、设备及计算机可读存储介质
US11363382B2 (en) Methods and user interfaces for audio synchronization
US20230394886A1 (en) Providing personalized audio
KR102448223B1 (ko) 그래픽 사용자 인터페이스를 위한 미디어 캡처 잠금 어포던스
US20220377248A1 (en) User interface for managing audible descriptions for visual media
US11785277B2 (en) User interfaces for managing audio for media items
KR102073222B1 (ko) 사용자 단말 및 이의 햅틱 서비스 제공 방법
US20230254448A1 (en) Camera-less representation of users during communication sessions
KR20200131339A (ko) 다중 참가자 라이브 통신 사용자 인터페이스
US20180129376A1 (en) Method, computer program product, computer readable medium, computer system and electronic apparatus for associating visual indication of emotion experienced by user in response to emotion-causing object or event with digital object

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant