KR20160033969A

KR20160033969A - 단말 장치 및 그 제어방법

Info

Publication number: KR20160033969A
Application number: KR1020140124882A
Authority: KR
Inventors: 배유동; 이은화; 인두르캬 비핀; 단기 악쉬타; 삼팟드 하리니
Original assignee: 삼성전자주식회사; 아이아이아이티 하이데라바드
Priority date: 2014-09-19
Filing date: 2014-09-19
Publication date: 2016-03-29
Also published as: US20170277330A1; WO2016043390A1; US10198107B2; KR102254705B1

Abstract

단말장치가 개시된다. 본 단말장치는, 주파수, 강도 , 파장 및 리듬 중 적어도 하나를 가변하여 햅틱 효과를 제공하는 햅틱부, 감정 상태에 대응되는 정보를 입력받는 입력부 및 입력받은 정보에 대응한 감정상태의 햅틱 효과가 사용자에게 제공되도록 햅틱부를 제어하는 제어부를 포함한다.

Description

단말 장치 및 그 제어방법 {TERMINAL APPARATUS AND CONTROLLING METHOD THEREOF}

본 발명은 단말 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 사용자의 감정을 유발하는 다양한 자극을 생성할 수 있는 단말 장치 및 그 제어방법에 관한 것이다.

전자 기술의 발달에 힘입어 기계와 사용자 간의 인터렉션 방법은 다양해지고 있다. 일 예로, 단말 장치는 사용자가 단말 장치로부터 촉각을 느낄 수 있도록 햅틱(Haptic) 효과를 제공할 수 있었다.

예를 들어, 단말 장치에서 제공되는 햅틱 효과에는, 메시지가 수신되었음을 알리는 피드백, 버튼이 눌러졌음을 알리는 피드백, 시각 장애인에게 위험 상태를 알리는 피드백, 또는 게임기에서 가상 현실 느낌을 주기 위한 피드백 등이 있었다.

이와 같이 종래 기술에서 햅틱 효과를 제공하는 주된 목적은, 사용자를 경각(alert)시키기 위한 것에 제한되어 있었다. 즉, 기계가 사용자에게 일반적인 통지를 하는 개념이므로, 진정한 의미의 기계와 사용자 간의 인터렉션이라고 볼 순 없었다.

한편, 인간-컴퓨터 상호작용(Human Computer Interaction, HCI)기술에 대한 관심도가 높아짐에 따라 사용자의 인지적, 감성적, 그리고 생활 경험을 증진시킬 수 있는 인터렉션 수단에 대한 다양한 연구가 진행되고 있었다. 특히, 사용자의 특정 감정을 유발시키기 위한 인터렉션 방법에 대한 연구가 있었으며, 이들은 주로 사용자의 시각, 청각을 통한 인터렉션에 집중하였을 뿐이었다.

시각, 청각 외의 다른 감각, 그 중에서도 촉각을 이용한 진정한 의미의 인간-컴퓨터 상호작용은 시도된 바 없고, 사용자의 니즈가 점차 다양해 짐에 따라 좀 더 새로운 방식으로 인간-컴퓨터 상호작용할 수 있는 기술에 대한 필요성이 대두되었다.

본 발명은 상술한 요구의 충족을 위해 안출된 것으로, 본 발명의 목적은, 사용자의 감정을 유발하는 다양한 자극을 생성할 수 있는 단말 장치 및 그 제어방법을 제공하는 데 있다.

상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 단말장치는, 주파수, 강도 , 파장 및 리듬 중 적어도 하나를 가변하여 햅틱 효과를 제공하는 햅틱부, 감정 상태에 대응되는 정보를 입력받는 입력부 및 상기 입력받은 정보에 대응한 감정상태의 햅틱 효과가 사용자에게 제공되도록 상기 햅틱부를 제어하는 제어부를 포함한다.

이 경우, 본 실시 예에 따른 단말 장치는, 복수의 감정 상태 및 상기 복수의 감정 상태 각각에 대응되는 햅틱 조건을 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 입력받은 정보에 대응되는 감정상태의 햅틱 조건으로 상기 햅틱 효과가 제공되도록 상기 햅틱부를 제어할 수 있다.

한편, 본 실시 예에 따른 단말 장치는, 영상을 표시하기 위한 디스플레이부를 더 포함하며, 상기 제어부는, 영상의 특징 데이터를 추출하고, 상기 추출된 특징 데이터에 기초하여 상기 영상의 감정상태를 판단하며, 상기 영상을 상기 디스플레이부에 표시하고, 상기 입력받은 정보에 대응되는 감정상태와 상기 판단된 감정상태 간에 차이가 있는 것으로 판단되면, 상기 차이를 보상하기 위한 햅틱 효과를 상기 영상이 표시되고 있는 동안 제공하도록 상기 햅틱부를 제어할 수 있다.

이 경우, 상기 감정 상태는, 흥분 정도를 나타내는 제1 파라미터 값과 쾌감 정도를 나타내는 제2 파라미터 값의 조합으로 정의되며, 상기 제어부는, 상기 영상의 감정상태를 정의하는 제1 파라미터 값이 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제1 파라미터 값 미만인 경우, 상기 영상의 감정상태를 정의하는 제1 파라미터 값과 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제1 파라미터 값 사이의 제1 파라미터 값으로 정의되는 감정상태에 대응하는 햅틱 효과를 제공하도록 상기 햅틱부를 제어할 수 있다.

한편, 본 실시 예에 따른 단말 장치는, 음향을 출력하기 위한 스피커부를 더 포함하며, 상기 제어부는, 음향의 특징 데이터를 추출하고, 상기 추출된 특징 데이터 기초하여 상기 음향의 감정상태를 판단하며, 상기 음향을 상기 스피커부를 통해 출력하고, 상기 입력받은 정보에 대응되는 감정상태와 상기 판단된 감정상태 간에 차이가 있는 것으로 판단되면, 상기 차이를 보상하기 위한 햅틱 효과를 상기 음향이 출력되는 동안 제공하도록 상기 햅틱부를 제어할 수 있다.

한편, 본 발명의 또 다른 실시 예에 따른 단말 장치는 영상을 표시하는 디스플레이부를 더 포함하며, 상기 감정상태는, 흥분 정도를 나타내는 제1 파라미터 값과 쾌감 정도를 나타내는 제2 파라미터 값의 조합으로 정의되며, 상기 제어부는, 상기 햅틱부를 통해 제공된 햅틱 효과의 감정상태를 정의하는 제2 파라미터 값이 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제2 파라미터 값과 차이가 있는 경우, 상기 제공된 햅틱 효과의 감정상태를 정의하는 제2 파라미터 값과 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제2 파라미터 값 사이의 제2 파라미터 값으로 정의되는 감정상태에 대응하는 영상을 상기 디스플레이부를 통해 표시할 수 있다.

한편, 상기 입력부는, 햅틱 접촉 정보를 입력받고, 상기 제어부는, 상기 햅틱 접촉 정보에 기초하여, 상기 입력받은 정보에 대응한 감정상태의 햅틱 효과가 사용자에게 제공되도록 상기 햅틱부를 제어할 수 있다.

한편, 본 발명의 일 실시 예에 따른, 주파수, 강도, 파장 및 리듬 중 적어도 하나를 가변하여 햅틱 효과를 제공하는 햅틱부를 포함하는 단말장치의 제어방법은, 감정 상태에 대응되는 정보를 입력받는 단계 및 상기 입력받은 정보에 대응한 감정상태의 햅틱 효과가 사용자에게 제공되도록 상기 햅틱부를 제어하는 단계를 포함한다.

이 경우, 본 실시 예에 따른 제어방법은 복수의 감정 상태 및 상기 복수의 감정 상태 각각에 대응되는 햅틱 조건을 저장하는 단계를 더 포함하고, 상기 제어하는 단계는, 상기 입력받은 정보에 대응되는 감정상태의 햅틱 조건으로 상기 햅틱 효과가 제공되도록 상기 햅틱부를 제어할 수 있다.

한편, 본 실시 예에 따른 제어방법은, 영상의 특징 데이터를 추출하고, 상기 추출된 특징 데이터에 기초하여 상기 영상의 감정상태를 판단하는 단계 및 상기 영상을 표시하는 단계를 더 포함하며, 상기 제어하는 단계는, 상기 입력받은 정보에 대응되는 감정상태와 상기 판단된 감정상태 간에 차이가 있는 것으로 판단되면, 상기 차이를 보상하기 위한 햅틱 효과를 상기 영상이 표시되고 있는 동안 제공하도록 상기 햅틱부를 제어할 수 있다.

이 경우, 상기 감정 상태는, 흥분 정도를 나타내는 제1 파라미터 값과 쾌감 정도를 나타내는 제2 파라미터 값의 조합으로 정의되며, 상기 제어하는 단계는, 상기 영상의 감정상태를 정의하는 제1 파라미터 값이 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제1 파라미터 값 미만인 경우, 상기 영상의 감정상태를 정의하는 제1 파라미터 값과 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제1 파라미터 값 사이의 제1 파라미터 값으로 정의되는 감정상태에 대응하는 햅틱 효과를 제공하도록 상기 햅틱부를 제어할 수 있다.

한편, 본 실시 예에 따른 제어방법은, 음향의 특징 데이터를 추출하고, 상기 추출된 특징 데이터 기초하여 상기 음향의 감정상태를 판단하는 단계, 상기 음향을 출력하는 단계를 더 포함하며, 상기 제어하는 단계는, 상기 입력받은 정보에 대응되는 감정상태와 상기 판단된 감정상태 간에 차이가 있는 것으로 판단되면, 상기 차이를 보상하기 위한 햅틱 효과를 상기 음향이 출력되는 동안 제공하도록 상기 햅틱부를 제어할 수 있다.

한편, 상기 감정상태는, 흥분 정도를 나타내는 제1 파라미터 값과 쾌감 정도를 나타내는 제2 파라미터 값의 조합으로 정의되며, 상기 단말장치의 제어방법은,상기 햅틱부를 통해 제공된 햅틱 효과의 감정상태를 정의하는 제2 파라미터 값이 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제2 파라미터 값과 차이가 있는 경우, 상기 제공된 햅틱 효과의 감정상태를 정의하는 제2 파라미터 값과 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제2 파라미터 값 사이의 제2 파라미터 값으로 정의되는 감정상태에 대응하는 영상을 표시하는 단계를 더 포함할 수 있다.

한편, 본 실시 예에 따른 제어방법은, 햅틱 접촉 정보를 입력받는 단계를 더 포함하며, 상기 제어하는 단계는, 상기 햅틱 접촉 정보에 기초하여, 상기 입력받은 정보에 대응되는 감정상태의 햅틱 효과가 사용자에게 제공되도록 상기 햅틱부를 제어할 수 있다.

한편, 본 실시 예에 따른 제어방법은, 상기 햅틱부가 동작가능한 주파수, 강도, 파장 및 리듬 중 적어도 하나를 판단하는 단계를 더 포함하며, 상기 제어하는 단계는, 상기 판단결과에 기초하여, 상기 입력받은 정보에 대응되는 감정상태의 햅틱 효과가 사용자에게 제공되도록 상기 햅틱부를 제어할 수 있다.

한편, 본 발명의 일 실시 예에 따른, 주파수, 강도, 파장 및 리듬 중 적어도 하나를 가변하여 햅틱 효과를 제공하는 햅틱부를 포함하는 단말장치의 제어방법을 수행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록 매체에 있어서, 상기 단말장치의 제어방법은, 감정 상태에 대응되는 정보를 입력받는 단계 및 상기 입력받은 정보에 대응한 감정상태의 햅틱 효과가 사용자에게 제공되도록 상기 햅틱부를 제어하는 단계를 포함한다.

이상과 같은 본 발명의 다양한 실시 예에 따르면, 단말 장치를 통하여 사용자의 감정 상태의 조절이 가능하게 된다.

도 1은 본 발명의 일 실시 예에 따른 단말 장치를 설명하기 위한 블럭도,
도 2는 본 발명의 일 실시 예에 따른 단말 장치의 햅틱부에 의해 제공되는 리듬을 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른, 감정상태의 구별 기준을 설명하기 위한 도면,
도 4 내지 도 5는 본 발명의 다양한 실시 예에 따른 단말 장치를 도시한 도면, 그리고,
도 6은 본 발명의 일 실시 예에 따른 단말 장치의 제어방법을 설명하기 위한 흐름도이다.

본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

실시 예에 있어서 ‘모듈’ 혹은 ‘부’는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의‘모듈’ 혹은 복수의‘부’는 특정한 하드웨어로 구현될 필요가 있는 ‘모듈’ 혹은 ‘부’를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 단말 장치를 설명하기 위한 블럭도이다.

도 1을 참고하면, 단말 장치(100)는 입력부(110), 햅틱부(120) 및 제어부(130)를 포함할 수 있다.

본 단말 장치(100)는 사용자의 촉각을 자극할 수 있는 효과를 제공할 수 있도록 진동 장치 또는 전기 발생 장치가 실장 가능하다면 어떤 장치든지 가능하다. 예컨대, 휴대폰, PDA, 스마트폰, 전자수첩, 스마트 패드, 안마기, 지압기 등이 될 수 있다. 본 단말 장치(100)는 사용자로부터 감정 상태에 대응되는 정보를 입력받아, 그 정보에 대응하는 햅틱 효과를 발생할 수 있다. 즉, 본 단말 장치(100)는 타깃 감정(target emotion)을 유발시키기 위한 햅틱 효과를 사용자에게 제공할 수 있다.

입력부(110)는 단말 장치(100)를 제어하기 위한 각종 입력을 받는 구성이다. 특히, 입력부(110)는 감정 상태에 대응되는 정보를 입력받을 수 있다. 입력부(110)는 마우스, 키보드, 터치 스크린, 마이크 등 다양한 입력 수단으로 구현될 수 있다. 그리고 텍스트, 이미지, 음성, 영상 등 어떠한 형태의 입력이라도 여기서 말하는 감정 상태에 대응되는 정보의 입력에 포함된다.

햅틱부(120)는 햅틱(haptic) 효과를 발생시키는 구성이다. 햅틱 효과란, 사용자의 촉각을 자극시킬 수 있는 효과를 의미한다. 예를 들어, 햅틱부(120)는 액추에이터를 포함할 수 있고, 액추에이터는 에너지원으로부터 전류, 작동 유압, 전압 등의 형태로 된 에너지를 제공받아, 제공받은 에너지를 예컨대 진동과 같은 움직임으로 변환할 수 있다.

구체적으로, 햅틱부(120)는 제어부(130)의 제어에 따라, 주파수, 강도, 파장 및 리듬 중 적어도 하나를 가변하여 햅틱 효과를 제공할 수 있다.

햅틱부(120)가 제공가능한 일 실시 예에 다른 리듬을 도면을 통해 설명하자면, 도 2에 도시된 것처럼 복수의 리듬 패턴(R1 내지 R10)이 단말 장치(100)의 저장부에 저장되어 있을 수 있다. 도 2에서 각 박스는 지속 시간을 나타내며, 어두운 부분은 진동이 있음을 나타내고, 밝은 부분은 진동이 없음을 나타낸다.

그리고 본 발명의 일 실시 예에 따르면, 햅틱부(120)는 서로 다른 복수의 파형을 발생시킬 수 있다. 예컨대 햅틱부(120)는 Sine, Sawtooth, Pulse와 같은 3 가지의 파형을 발생시킬 수 있다.

그리고 본 발명의 일 실시 예에 따르면 햅틱부(120)는 서로 다른 주파수를 발생시킬 수 있다. 예컨대 햅틱부(120)는 55 Hz, 110 Hz, 165 Hz와 같은 4 가지의 주파수를 발생시킬 수 있다.

그리고 본 발명의 일 실시 예에 따르면, 햅틱부(120)는 서로 다른 강도를 발생시킬 수 있다. 예컨대 햅틱부(120)는 20 dB, 35 dB와 같은 2 가지의 강도를 발생시킬 수 있다.

이상과 같은 서로 다른 리듬, 파형, 주파수 및 강도의 조합으로 햅틱부(120)는 다양한 햅틱 효과를 발생할 수 있다.

햅틱부(120)의 촉각 발생 능력은, 햅틱부(120)가 동작 가능한 주파수, 강도, 파장 및 리듬 범위 중 적어도 하나에 의해 정의될 수 있고, 단말 장치에 따라 다를 수 있다. 이러한 햅틱부(120)의 촉각 발생 능력에 대한 정보는 저장부(미도시)에 저장될 수 있고, 제어부(130)는 저장된 정보에 기초하여 목적하는 감정상태에 대응하는 햅틱 효과가 발생되도록 햅틱부(120)를 제어할 수 있다. 즉, 타깃 감정상태가 같을지라도, 햅틱 효과를 발생시키기 위한 햅틱 조건은 단말 장치마다 다를 수 있다.

제어부(130)는 단말 장치(100)의 동작을 위한 전반적인 제어 동작을 수행한다. 특히 제어부(130)는 입력부(110)를 통해 입력받은 정보에 대응한 감정상태의 햅틱 효과가 사용자에게 제공되도록 햅틱부(120)를 제어할 수 있다.

구체적으로 제어부(130)는, 입력된 정보에 포함된 데이터를 분석하여 입력된 정보가 복수의 감정상태 중 어떤 감정상태에 해당되는지 판단할 수 있다. 본 발명의 일 실시 예에 따르면, 저장부에는 복수의 감정상태에 대한 정보가 저장되어 있고, 복수의 감정상태 각각은 수치화된 흥분 정도 및 수치화된 쾌감 정도의 서로 다른 조합으로 정의된다.

또한 저장부는 복수의 감정 상태 각각에 대응되는 햅틱 조건을 저장하고 있으며, 제어부(130)는 입력부(110)를 통해 입력받은 정보에 대응되는 감정상태의 햅틱 조건으로 햅틱 효과가 제공되도록 햅틱부(120)를 제어할 수 있다.

복수의 감정상태에 대한 구별 기준은 본 발명을 단말 장치(100)에 적용하고자 하는 개발자의 의도에 따라 결정될 수 있는 것이므로, 매우 다양하다. 그 중, 일 예를 도 3을 통해 설명하도록 한다.

도 3을 참고하면, 복수의 감정상태는 Valence 정도(기분이 좋은지, 나쁜지,즉, 쾌감정도) 및 Arousal 정도(흥분되는지, 차분해지는지, 즉, 흥분 정도)로 파라미터화된 2 차원 공간에 정의된다. 이상과 같이 정의된 복수의 감정상태에 복수의 햅틱 조건이 맵핑되어 저장부에 저장된다.

구체적으로, 복수의 햅틱 조건은 주파수, 강도, 파장 및 리듬 중 적어도 하나가 서로 다르다. 이러한 복수의 햅틱 조건을 복수의 감정상태에 맵핑시킨 데이터 베이스를 구축하기 위하여, 여러 명의 피험자를 대상으로한 실험을 수행할 수 있다. 실험에서, 피험자에게 각 햅틱 조건에 대응하는 햅틱 효과를 제공하고 피험자는 자신이 경험한 햅틱 효과를 도 3과 같이 분류된 복수의 감정상태 중에서 대응된다고 느끼는 감정상태를 선택하도록 지시받는다. 이와 같은 실험 결과에 기초하여, 복수의 햅틱 효과가 어떤 감정 상태에 대응되는지를 결정할 수 있다. 그리고 결정된 결과에 대한 데이터 베이스가 단말장치(100)의 저장부에 저장될 수 있다.

한편, 제어부(130)는 이상과 같은 실험에 의한 데이터 베이스를 저장부에 저장하여 이용할 수 있을 뿐만 아니라, 단말 장치(100)의 사용자와의 인터렉션을 통하여 데이터 베이스를 적응적으로 업데이트할 수 있다. 예컨대, 제어부(130)는 감정 상태와 햅틱 효과를 맵핑시키기 위한 사용자 명령이 입력되면, 기 저장된 복수의 햅틱 조건에 따라 복수의 햅틱 효과를 기 설정된 시간 간격을 두고 사용자에게 제공하도록 햅틱부(120)를 제어할 수 있다. 그리고 햅틱효과를 제공하면서, 제공된 햅틱 효과가 어떤 감정 상태에 해당하는지를 선택받을 수 있는 UI 화면(예컨대 도 3에 도시된 이미지를 포함한 UI 화면)을 단말 장치(100)의 디스플레이부(미도시)에 표시할 수 있다. 사용자는 각 햅틱 효과가 제공될 때마다 UI 화면에 표시된 복수의 감정상태 중 어느 하나를 선택하고, 제어부(130)는 이와 같은 사용자 입력 결과에 기초하여 저장부에 저장된 데이터 베이스를 업데이트할 수 있다.

상술한 데이터 베이스는 단말 장치(100)의 저장부에 저장되고, 저장된 데이터 베이스에 기초하여, 제어부(130)는 감정 상태에 대응되는 정보가 입력되면, 입력된 정보에 대응하는 감정상태에 맵핑된 햅틱 효과를 제공하도록 햅틱부(120)를 제어할 수 있다. 이 경우, 본 발명의 일 실시 예에 따르면, 감정상태에 대응되는 정보를 사용자로부터 입력받기 위하여, 제어부(130)는 도 3에 도시된 것과 같은 이미지를 포함한 UI 화면을 단말 장치(100)의 디스플레이부에 표시할 수 있다.

또 다른 실시 예에 따르면, 단말 장치(100)는 입력부(110)를 통해 텍스트, 이미지, 음향, 영상 등 다양한 형태의 입력을 받을 수 있고, 제어부(130)는 이와 같이 입력된 정보를 해석하여, 입력된 정보가 복수의 감정상태 중 어떤 감정상태에 대응하는지 판단할 수 있다. 예컨대, 단말 장치(100)의 저장부에는 음성 인식을 위한 프로그램이 저장되어 있고, 마이크로 구현된 입력부(110)를 통해 "기분 좋게 해줘" 라는 음성이 입력되면, 제어부(130)는 입력된 음성의 구문을 분석하여 텍스트 정보로 변환하고, 텍스트와 감정상태의 매칭에 대한 기 저장된 정보에 기초하여, 입력된 음성에 대응되는 감정상태를 결정할 수 있다. 그리고 결정된 감정 상태의 햅틱 효과가 제공되도록 햅틱부(120)를 제어할 수 있다.

한편, 감정상태와 햅틱효과가 반드시 일대일 매칭되어야하는 것은 아니며, 하나의 감정상태에 대응하는 복수의 햅틱효과에 대한 정보가 저장부에 저장되어 있을 수 있다. 따라서 제어부(130)는 입력된 정보에 대응하는 감정상태에 해당되는 복수의 햅틱 효과 중 어느 하나의 햅틱 효과가 제공되도록 햅틱부(120)를 제어할 수 있다. 또는 제어부(130)는 하나의 감정 상태에 대응하는 복수의 햅틱 효과가 기 설정된 시간 간격을 두고 제공되도록 햅틱부(120)를 제어할 수도 있다. 이에 따라 사용자는 하나의 감정상태에 대응하는 다양한 자극을 제공받게 된다.

한편, 본 발명의 일 실시 예에 따르면, 단말 장치(100)는 영상의 감정상태를 판단할 수 있고, 영상의 감정상태와 목적하는 감정상태(입력부(110)를 통해 입력된 정보에 대응하는 감정상태, 타깃 감정 상태) 간에 차이가 있으면, 그 차이를 보상하기 위한 햅틱 효과를 영상이 표시되고 있는 동안 사용자에게 제공할 수 있다. 도 4를 통해 설명하자면, 디스플레이부(140)상에 영상이 표시되고 있는 상태에서, 표시되는 영상의 감정상태와 타깃 감정상태 간에 차이가 있는 것으로 판단되면, 제어부(130)는 그 차이를 보상하기 위한 햅틱 효과인 진동이 사용자(10)에게 제공되도록 햅틱부(120)를 제어할 수 있다.

이를 위하여, 제어부(130)는 영상으로부터 특징 데이터를 추출하고, 추출된 특징 데이터에 기초하여 영상의 감정상태를 판단할 수 있다. 예컨대, 영상을 표시하도록 하는 명령이 입력되면, 제어부(130)는 영상을 디스플레이부(140)에 표시하며, 그 영상의 감정상태를 판단한다. 표시된 영상이 예를 들어, 얼굴 이미지이면, 영상에서 색상 정보를 이용하여 사용자의 얼굴 영역을 추출하고, 추출된 얼굴 영역을 복수의 블록으로 분할하고, 복수의 블록에서 특징 벡터를 추출하여, 눈의 찡그려짐, 입꼬리의 올라감 등을 판단할 수 있다. 판단 결과에 기초하여 영상의 감정상태를 결정할 수 있다. 또 다른 예로, 제어부(130)는 영상 프레임에 포함된 색상 정보를 분석하여, 영상의 감정상태를 결정할 수 있다. 초록색, 푸른색 계열은 일반적으로 사람의 감정을 평안하게 하므로, 초록색 또는 푸른색을 지배적으로 포함한 프레임으로 구성된 영상은 평안한 감정상태(예를 들어 도 3의 가로축 아래에 배치된 감정 상태)인 것으로 결정될 수 있다. 반대로, 붉은색을 지배적으로 포함한 프레임으로 구성된 영상은 흥분된 감정상태(예를 들어 도 3의 가로축 위에 배치된 감정상태)인 것으로 결정될 수 있다.

또는, 제어부(130)는 영상의 감정상태에 대한 정보에 기초하여, 영상의 감정상태를 판단할 수 있다. 예를 들어, 단말 장치(100)가 메시지 송수신이 가능한 휴대폰등으로 구현되는 경우에 있어서, 메시지 송신측 단말 장치의 사용자가 영상을 포함한 메시지를 보낼 때, 영상의 감정상태에 대한 정보를 함께 보낼 수 있다. 예를 들어, 송신측 단말 장치는 보내고자하는 영상의 감정상태를 설정하기 위한 메뉴(예컨대, 기쁨, 슬픔, 우울함 등을 설정할 수 있는 아이콘)를 사용자에게 제공할 수 있다. 그리고 수신측 단말 장치의 제어부(130)는 수신한 영상의 감정상태에 대한 정보에 기초하여 영상의 감정상태를 결정할 수 있다.

또는, 단말장치(100)의 저장부에는 기 설정된 감정상태를 갖는 복수의 영상이 기 저장되어 있으며, 사용자로부터 감정상태에 대응하는 정보, 즉 타깃 감정상태를 입력받으면, 제어부(130)는 복수의 기저장된 영상 중 임의의 영상을 디스플레이부(140)에 표시하거나, 타깃 감정상태에 가장 가까운 감정상태를 갖는 영상을 디스플레이부(140)에 표시할 수 있다.

그리고, 제어부(130)는 영상의 감정상태를 판단하고, 타깃 감정상태와 영상의 감정상태의 차이를 계산한다. 상술한 바와 같이 감정상태는 파라미터화되어 수치화될 수 있으므로, 각 감정상태를 나타내는 수치들의 차이를 계산함으로써 감정상태의 차이를 계산할 수 있다. 한편, 타깃 감정상태와 영상의 감정상태의 차이가 기 설정된 차이 미만이라면, 그 차이는 없는 것으로 간주될 수 있고, 따라서 차이를 보상하기 위한 별도의 과정이 수행되지 않을 수도 있다.

차이를 보상할 필요가 있는 경우, 제어부(130)는 계산된 차이를 보상하기 위한 햅틱 효과를 햅틱부(120)를 통해 사용자에게 제공할 수 있다. 구체적으로, 도 4에 도시된 바와 같이, 영상이 디스플레이부(140)를 통해 표시되고 있는 상태에서 제어부(130)는 영상의 감정상태와 입력된 정보에 대응하는 감정 상태의 차이를 보상하기 위한 햅틱효과를 햅틱부(120)를 통해 사용자에게 제공할 수 있다.

다음과 같은 예시적인 방식으로 타깃 감정상태와 영상의 감정상태의 차이를 보상하기 위한 햅틱 효과가 제공될 수 있다.

감정상태를 두 파라미터인 흥분 정도(Arousal)와 쾌감 정도(Valence)로 정의하고, 여러 명의 피험자를 대상으로 실험한 결과, 피험자에게 영상만 보여준 경우와, 영상과 햅틱 자극을 동시에 준 경우, 영상과 햅틱 자극을 동시에 준 경우의 흥분 정도가 더 높다는 것이 본 발명자에 의해 발견되었다. 이러한 발견은, 햅틱 자극의 존재가 시각 자극의 흥분 정도를 증대시켜 준다는 점을 시사한다. 즉, 시각 자극이 주어지는 상태에서 햅틱 자극을 동시에 줌으로써 타깃 감정상태가 유발될 수 있다는 점을 이용하여, 햅틱 효과에 의해 영상의 감정상태와 타깃 감정상태의 차이를 보상할 수 있다.

구체적으로, 제어부(130)는 영상의 감정상태를 정의하는 Arousal 파라미터 값이 입력부(110)를 통해 입력받은 정보에 대응되는 감정상태(타깃 감정상태)를 정의하는 Arousal 파라미터 값 미만인 경우, 영상의 감정상태를 정의하는 Arousal 파라미터 값과 타깃 감정상태를 정의하는 Arousal 파라미터 값 사이의 Arousal 파라미터 값으로 정의되는 감정상태에 대응하는 햅틱 효과를 제공하도록 햅틱부(120)를 제어할 수 있다.

한편, 상술한 실시 예에선 햅틱 효과를 통해 감정상태의 차이를 보상하는 것에 대하여 설명하였으나, 또 다른 실시 예에 따르면, 영상에 의한 시각 자극으로 햅틱 효과의 감정상태와 타깃 감정상태의 차이를 보상할 수 있다.

다음과 같은 예시적인 방식으로 타깃 감정상태와 햅틱 효과의 감정상태의 차이를 보상하기 위한 영상이 디스플레이부(140)를 통해 제공될 수 있다.

감정상태를 두 파라미터인 흥분 정도(Arousal)와 쾌감 정도(Valence)로 정의하고, 여러 명의 피험자를 대상으로 실험한 결과, 피험자에게 햅틱 자극만 제공한 경우와, 영상과 햅틱 자극을 동시에 준 경우, 동시에 준 경우의 쾌감 정도가 더 높다는 것이 본 발명자에 의해 발견되었다. 이러한 발견은, 영상, 즉 시각 자극의 존재가 촉각 자극의 흥분 정도를 증대시켜 준다는 점을 시사한다.

즉, 햅틱 자극이 주어지는 상태에서 시각 자극을 동시에 줌으로써 타깃 감정상태가 유발될 수 있다는 점을 이용하여, 햅틱 효과의 감정상태와 타깃 감정상태의 차이를 영상을 통해 보상할 수 있다.

구체적으로, 제어부(130)는 햅틱부(120)를 통해 제공된 햅틱 효과의 감정상태를 정의하는 Valence 파라미터 값이 입력부(110)를 통해 입력받은 정보에 대응되는 감정상태(타깃 감정상태)를 정의하는 Valence 파라미터 값과 차이가 있는 경우, 제공된 햅틱 효과의 감정상태를 정의하는 Valence 파라미터 값과 타깃 감정상태를 정의하는 Valence 파라미터 값 사이의 Valence 파라미터 값으로 정의되는 감정상태에 대응하는 영상을 디스플레이부(140)를 통해 표시할 수 있다.

한편, 이상에선 시각 자극과 햅틱 자극의 조합으로 타깃 감정상태를 유발하는 실시 예에 대하여 설명하였으나, 설명된 방식과 유사한 견지에서, 청각 자극과 햅틱 자극의 조합으로 타깃 감정상태가 유발될 수 있다. 본 실시 예에 대해선 아래에서 좀 더 구체적으로 설명하겠다.

본 발명의 또 다른 실시 예에 따르면, 단말 장치(100)는 스피커부(미도시)를 더 포함할 수 있다. 그리고 단말 장치(100)는 음향의 감정상태를 판단할 수 있고, 음향의 감정상태와 목적하는 감정상태(입력부(110)를 통해 입력된 정보에 대응하는 감정상태, 타깃 감정 상태) 간에 차이가 있으면, 그 차이를 보상하기 위한 햅틱 효과를 음향이 출력되는 동안 사용자에게 제공할 수 있다. 다시 말해, 단말 장치(100)와 연결된 스피커를 통해 음향이 출력되고 있는 상태에서, 출력되는 음향의 감정상태와 타깃 감정상태 간에 차이가 있는 것으로 판단되면, 제어부(130)는 그 차이를 보상하기 위한 햅틱 효과인 진동이 사용자에게 제공되도록 햅틱부(120)를 제어할 수 있다.

이를 위하여, 제어부(130)는 음향으로부터 특징 데이터를 추출하고, 추출된 특징 데이터에 기초하여 음향의 감정상태를 판단할 수 있다. 예컨대, 음향을 출력하도록 하는 명령이 입력되면, 제어부(130)는 음향을 스피커부를 통해 출력하며, 그 음향의 감정상태를 판단한다. 구체적으로, 제어부(130)는 출력되는 음향의 특징 데이터인 주파수, 파형, 세기, 리듬 중 적어도 하나를 분석하여 음향의 감정상태를 결정할 수 있다. 예컨대, 음향의 세기가 작거나 리듬이 느리면, 제어부(130)는 음향이 평안한 감정상태(예를 들어 도 3의 가로축 아래에 배치된 감정 상태)인 것으로 판단할 수 있다. 반대로, 음향의 세기가 크거나 리듬이 빠르면, 제어부(130)는 그 음향을 흥분된 감정상태(예를 들어 도 3의 가로축 위에 배치된 감정상태)인 것으로 판단할 수 있다.

또는, 제어부(130)는 기설정된 감정상태에 대한 정보를 포함하는 음향에 대한 정보에 기초하여, 음향의 감정상태를 판단할 수 있다. 예를 들어, 단말 장치(100)는 음악을 제공하는 외부 서버와 통신하며, 외부 서버는 음악의 감정상태 정보를 음악과 함께 단말 장치(100)로 전송할 수 있다. 그리고 이를 수신한 단말 장치(100)의 제어부(130)는 수신한 음악의 감정상태에 대한 정보에 기초하여 음악의 감정상태를 결정할 수 있다.

또는, 단말장치(100)의 저장부에는 감정상태가 기 설정되어 있는 복수의 음향 데이터가 저장되어 있으며, 사용자로부터 감정상태에 대응하는 정보, 즉 타깃 감정상태를 입력받으면, 제어부(130)는 복수의 기저장된 음향 데이터 중 임의의 음향 데이터를 스피커부를 통해 출력하거나, 타깃 감정상태에 가장 가까운 감정상태가 기 설정되어 있는 음향을 출력할 수 있다.

그리고, 제어부(130)는 음향의 감정상태를 판단하고, 타깃 감정상태와 음향의 감정상태의 차이를 계산한다. 상술한 바와 같이 감정상태는 파라미터화되어 수치화될 수 있으므로, 각 감정상태를 나타내는 수치들의 차이를 계산함으로써 감정상태의 차이를 계산할 수 있다.

제어부(130)는 계산된 차이를 보상하기 위해 햅틱부(120)를 통해 햅틱 효과를 제공할 수 있다. 음향의 감정상태와 타깃 감정상태의 차이를 보상하는 방법은 앞서 설명한, 영상의 감정상태와 타깃 감정상태의 차이를 보상하는 방법과 유사한 견지에서 이해될 수 있으므로, 반복 설명은 생략하기로 한다.

이상에선 시각 자극 및 햅틱 자극의 조합과 음향 자극 및 햅틱 자극의 조합을 이용하여 타깃 감정상태를 유발시키는 단말 장치에 대해 설명하였다. 따라서, 시각 자극, 청각 자극 및 햅틱 자극의 조합으로 타깃 감정상태가 유발될 수 있다는 점도 역시 이해될 수 있을 것이다. 따라서 본 발명은 이러한 다양한 자극들의 조합으로 감정을 유발시킬 수 있는 단말 장치를 구현하는데 적용될 수 있을 것이다. 본 실시 예는 도 5를 통해 이해될 수 있다.

도 5를 참고하면, 단말 장치(100)의 제어부(130)는 디스플레이부(140)를 포함한 외부 디스플레이 장치에서 표시되는 영상의 감정상태 및 스피커(150)를 통해 출력되는 음향의 감정상태가 조합된 감정상태를 분석한다. 그리고 제어부(130)는 타깃 감정상태와 조합된 감정상태의 차이를 보상하기 위한 햅틱 효과가 사용자에게 제공되도록 햅틱부(120)를 제어할 수 있다. 이 경우, 단말 장치(100)는 스피커(150) 등과 같은 외부 장치와 무선 또는 유선으로 통신할 수 있는 통신인터페이스부(미도시)를 더 포함할 수 있다.

단말 장치(100)는 다양한 형상으로 구현가능하며, 웨어러블 디바이스 형태일 수 있다. 예컨대 도 5에 도시된 것처럼 사용자가 머리에 착용할 수 있는 헤어 밴드 형태의 디바이스, 손목에 착용할 수 있는 시계 형태의 디바이스, 옷 형태의 디바이스 등 다양한 형태로 단말 장치(100)를 구현하는 것이 가능하다.

이와 같이 단말 장치(100)는 사용자의 신체의 어느 부위에라도 접촉 가능한 형상으로 다양하게 구현될 수 있다. 이 경우, 인간의 신체는 민감한 부위와 둔감한 부위가 있고, 이들은 서로 다른 촉각 능력을 가지므로, 단말 장치(100)가 신체에 배치되는 위치에 따라 햅틱 자극은 가변되어야할 것이다. 예컨대, 같은 감정상태인 경우라도, 민감한 부위인 손가락에 단말 장치(100)가 접촉되는 경우라면, 햅틱 효과의 강도가 약하게 조절되고, 둔감한 부위인 종아리에 단말 장치(100)가 접촉된 경우라면, 햅틱 효과의 강도가 좀 더 세게 조절될 수 있다.

구체적으로, 본 발명의 일 실시 예에 따르면, 단말 장치(100)가 배치될 신체의 일부를 나타내는 햅틱 접촉 정보를 입력부(110)를 통해 입력받을 수 있으며, 제어부(130)는 입력부(110)를 통해 입력받은 햅틱 접촉 정보에 기초하여, 타깃 감정상태의 햅틱 효과가 사용자에게 제공되도록 햅틱부(120)를 제어할 수 있다. 예컨대, 입력부(110)를 통해 입력된 햅틱 접촉 정보를 통해 단말 장치(100)의 접촉 부위가 손가락인 것으로 판단되면, 제어부(130)는 손가락에 해당하는 강도로 햅틱 효과가 제공되도록 햅틱부(120)를 제어할 수 있다.

상술한 다양한 실시 예에 따른 단말 장치(100)는 사용자에게 목적하는 감정을 유발시켜줄 수 있다.

이하에선 본 발명의 다양한 실시 예에 따른, 단말 장치의 제어방법에 대해 설명하도록 한다.

도 6은 본 발명의 일 실시 예에 따른, 주파수, 강도, 파장 및 리듬 중 적어도 하나를 가변하여 햅틱 효과를 제공하는 햅틱부를 포함하는 단말 장치의 제어방법을 설명하기 위한 흐름도이다.

도 6을 참고하면, 단말 장치(100)는 감정 상태에 대응되는 정보를 입력받는다(S610). 그리고, 입력받은 정보에 대응한 감정상태의 햅틱 효과가 사용자에게 제공되도록 햅틱부를 제어한다(S620).

이 경우, 본 제어 방법을 수행할 수 있는 프로그램이 저장된 기록매체는 기존의 단말 장치에 탑재되어 이용될 수 있고, 따라서 단말 장치의 성능에 따라 단말 장치마다 표현할 수 있는 햅틱 효과가 다를 수 있다. 따라서 본 발명의 일 실시 예에 따르면, 단말 장치(100)는 햅틱부가 동작가능한 주파수, 강도, 파장 및 리듬 중 적어도 하나를 판단할 수 있다. 그리고, 판단결과에 기초하여, 입력받은 정보에 대응되는 감정상태(타깃 감정상태)의 햅틱 효과가 사용자에게 제공되도록 햅틱부를 제어할 수 있다.

또한, 본 단말 장치(100)는 영상의 감정상태, 음향의 감정상태 및 햅틱 효과의 감정상태를 판단할 수 있다. 또한 본 단말 장치(100)는 타깃 감정상태를 유발하도록, 시각, 청각 및 촉각 중 적어도 하나의 조합으로 이루어진 복합 자극을 사용자에게 제공할 수 있다. 이러한 동작들에 대해서는 상술한 다양한 실시 예들에서 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.

이상과 같이, 본 발명의 다양한 실시 예에 따르면, 단말 장치가 사용자에게 어떤 알림을 주는 역할을 넘어서서, 사용자의 감정에 영향을 줄 수 있는, 진정한 사용자와 장치 간의 인터렉션을 가능하게 한다.

한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.

구체적으로는, 본 발명의 일 실시 예에 따르면, 주파수, 강도, 파장 및 리듬 중 적어도 하나를 가변하여 햅틱 효과를 제공하는 햅틱부를 포함하는 단말장치를 제어하기 위하여, 감정 상태에 대응되는 정보를 입력받는 단계 및 입력받은 정보에 대응한 감정상태의 햅틱 효과가 사용자에게 제공되도록 햅틱부를 제어하는 단계를 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다. 이러한 비일시적 판독 가능 매체는 다양한 장치에 탑재되어 사용될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 방법을 수행하기 위한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

이에 따라, 상술한 프로그램이 기존의 다양한 단말 장치에 설치되어, 사용자의 감정을 유발할 수 있는 단말 장치가 구현될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.

100: 단말장치 110: 입력부
120: 햅틱부 130: 제어부

Claims

단말장치에 있어서,
주파수, 강도, 파장 및 리듬 중 적어도 하나를 가변하여 햅틱 효과를 제공하는 햅틱부;
감정 상태에 대응되는 정보를 입력받는 입력부; 및
상기 입력받은 정보에 대응한 감정상태의 햅틱 효과가 사용자에게 제공되도록 상기 햅틱부를 제어하는 제어부;를 포함하는 단말장치.
제1항에 있어서,
복수의 감정 상태 및 상기 복수의 감정 상태 각각에 대응되는 햅틱 조건을 저장하는 저장부;를 더 포함하고,
상기 제어부는,
상기 입력받은 정보에 대응되는 감정상태의 햅틱 조건으로 상기 햅틱 효과가 제공되도록 상기 햅틱부를 제어하는 것을 특징으로 하는 단말장치.
제1항에 있어서,
영상을 표시하기 위한 디스플레이부;를 더 포함하며,
상기 제어부는,
영상의 특징 데이터를 추출하고, 상기 추출된 특징 데이터에 기초하여 상기 영상의 감정상태를 판단하며, 상기 영상을 상기 디스플레이부에 표시하고, 상기 입력받은 정보에 대응되는 감정상태와 상기 판단된 감정상태 간에 차이가 있는 것으로 판단되면, 상기 차이를 보상하기 위한 햅틱 효과를 상기 영상이 표시되고 있는 동안 제공하도록 상기 햅틱부를 제어하는 것을 특징으로 하는 단말장치.
제3항에 있어서,
상기 감정 상태는,
흥분 정도를 나타내는 제1 파라미터 값과 쾌감 정도를 나타내는 제2 파라미터 값의 조합으로 정의되며,
상기 제어부는,
상기 영상의 감정상태를 정의하는 제1 파라미터 값이 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제1 파라미터 값 미만인 경우, 상기 영상의 감정상태를 정의하는 제1 파라미터 값과 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제1 파라미터 값 사이의 제1 파라미터 값으로 정의되는 감정상태에 대응하는 햅틱 효과를 제공하도록 상기 햅틱부를 제어하는 것을 특징으로 하는 단말장치.
제1항에 있어서,
음향을 출력하기 위한 스피커부;를 더 포함하며,
상기 제어부는,
음향의 특징 데이터를 추출하고, 상기 추출된 특징 데이터 기초하여 상기 음향의 감정상태를 판단하며, 상기 음향을 상기 스피커부를 통해 출력하고, 상기 입력받은 정보에 대응되는 감정상태와 상기 판단된 감정상태 간에 차이가 있는 것으로 판단되면, 상기 차이를 보상하기 위한 햅틱 효과를 상기 음향이 출력되는 동안 제공하도록 상기 햅틱부를 제어하는 것을 특징으로 하는 단말장치.
제1항에 있어서,
영상을 표시하는 디스플레이부;를 더 포함하며,
상기 감정상태는,
흥분 정도를 나타내는 제1 파라미터 값과 쾌감 정도를 나타내는 제2 파라미터 값의 조합으로 정의되며,
상기 제어부는,
상기 햅틱부를 통해 제공된 햅틱 효과의 감정상태를 정의하는 제2 파라미터 값이 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제2 파라미터 값과 차이가 있는 경우, 상기 제공된 햅틱 효과의 감정상태를 정의하는 제2 파라미터 값과 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제2 파라미터 값 사이의 제2 파라미터 값으로 정의되는 감정상태에 대응하는 영상을 상기 디스플레이부를 통해 표시하는 것을 특징으로 하는 단말장치.
제1항에 있어서,
상기 입력부는,
햅틱 접촉 정보를 입력받고,
상기 제어부는,
상기 햅틱 접촉 정보에 기초하여, 상기 입력받은 정보에 대응한 감정상태의 햅틱 효과가 사용자에게 제공되도록 상기 햅틱부를 제어하는 것을 특징으로 하는 단말장치.
주파수, 강도, 파장 및 리듬 중 적어도 하나를 가변하여 햅틱 효과를 제공하는 햅틱부를 포함하는 단말장치의 제어방법에 있어서,
감정 상태에 대응되는 정보를 입력받는 단계; 및
상기 입력받은 정보에 대응한 감정상태의 햅틱 효과가 사용자에게 제공되도록 상기 햅틱부를 제어하는 단계;를 포함하는 단말장치의 제어방법.
제8항에 있어서,
복수의 감정 상태 및 상기 복수의 감정 상태 각각에 대응되는 햅틱 조건을 저장하는 단계;를 더 포함하고,
상기 제어하는 단계는,
상기 입력받은 정보에 대응되는 감정상태의 햅틱 조건으로 상기 햅틱 효과가 제공되도록 상기 햅틱부를 제어하는 것을 특징으로 하는 단말장치의 제어방법.
제8항에 있어서,
영상의 특징 데이터를 추출하고, 상기 추출된 특징 데이터에 기초하여 상기 영상의 감정상태를 판단하는 단계; 및
상기 영상을 표시하는 단계;를 더 포함하며,
상기 제어하는 단계는,
상기 입력받은 정보에 대응되는 감정상태와 상기 판단된 감정상태 간에 차이가 있는 것으로 판단되면, 상기 차이를 보상하기 위한 햅틱 효과를 상기 영상이 표시되고 있는 동안 제공하도록 상기 햅틱부를 제어하는 것을 특징으로 하는 단말장치의 제어방법.
제10항에 있어서,
상기 감정 상태는,
흥분 정도를 나타내는 제1 파라미터 값과 쾌감 정도를 나타내는 제2 파라미터 값의 조합으로 정의되며,
상기 제어하는 단계는,
상기 영상의 감정상태를 정의하는 제1 파라미터 값이 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제1 파라미터 값 미만인 경우, 상기 영상의 감정상태를 정의하는 제1 파라미터 값과 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제1 파라미터 값 사이의 제1 파라미터 값으로 정의되는 감정상태에 대응하는 햅틱 효과를 제공하도록 상기 햅틱부를 제어하는 것을 특징으로 하는 단말장치의 제어방법.
제8항에 있어서,
음향의 특징 데이터를 추출하고, 상기 추출된 특징 데이터 기초하여 상기 음향의 감정상태를 판단하는 단계;
상기 음향을 출력하는 단계;를 더 포함하며,
상기 제어하는 단계는,
상기 입력받은 정보에 대응되는 감정상태와 상기 판단된 감정상태 간에 차이가 있는 것으로 판단되면, 상기 차이를 보상하기 위한 햅틱 효과를 상기 음향이 출력되는 동안 제공하도록 상기 햅틱부를 제어하는 것을 특징으로 하는 단말장치의 제어방법.
제8항에 있어서,
상기 감정상태는,
흥분 정도를 나타내는 제1 파라미터 값과 쾌감 정도를 나타내는 제2 파라미터 값의 조합으로 정의되며,
상기 단말장치의 제어방법은,
상기 햅틱부를 통해 제공된 햅틱 효과의 감정상태를 정의하는 제2 파라미터 값이 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제2 파라미터 값과 차이가 있는 경우, 상기 제공된 햅틱 효과의 감정상태를 정의하는 제2 파라미터 값과 상기 입력받은 정보에 대응되는 감정상태를 정의하는 제2 파라미터 값 사이의 제2 파라미터 값으로 정의되는 감정상태에 대응하는 영상을 표시하는 단계;를 더 포함하는 것을 특징으로 하는 단말장치의 제어방법.
제8항에 있어서,
햅틱 접촉 정보를 입력받는 단계;를 더 포함하며,
상기 제어하는 단계는,
상기 햅틱 접촉 정보에 기초하여, 상기 입력받은 정보에 대응되는 감정상태의 햅틱 효과가 사용자에게 제공되도록 상기 햅틱부를 제어하는 것을 특징으로 하는 단말장치의 제어방법.
제8항에 있어서,
상기 햅틱부가 동작가능한 주파수, 강도, 파장 및 리듬 중 적어도 하나를 판단하는 단계;를 더 포함하며,
상기 제어하는 단계는,
상기 판단결과에 기초하여, 상기 입력받은 정보에 대응되는 감정상태의 햅틱 효과가 사용자에게 제공되도록 상기 햅틱부를 제어하는 것을 특징으로 하는 단말장치의 제어방법.
주파수, 강도, 파장 및 리듬 중 적어도 하나를 가변하여 햅틱 효과를 제공하는 햅틱부를 포함하는 단말장치의 제어방법을 수행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록 매체에 있어서,
상기 단말장치의 제어방법은,
감정 상태에 대응되는 정보를 입력받는 단계; 및
상기 입력받은 정보에 대응한 감정상태의 햅틱 효과가 사용자에게 제공되도록 상기 햅틱부를 제어하는 단계;를 포함하는 기록 매체.