KR20090065098A - 사용자기기를 이용한 감성 메시지 작성 및 표현 방법과이를 위한 사용자기기 - Google Patents

Abstract

본 발명은 사용자기기를 이용한 감성 메시지 작성 및 표현 기술에 관한 것으로, 사용자기기에서 시각적, 촉각적, 청각적 표현 패턴을 조합하여 감성 메시지를 작성하고, 작성된 감성 메시지를 다른 사용자기기로 전송하며, 다른 사용자기기에서 전송받은 상기 감성메시지를 사용자 확인 시점 및 다감각 표현의 동기화에 맞추어 표현하는 것을 특징으로 한다. 본 발명에 의하면, 사용자기기로 감성 메시지 작성을 가능하도록 함으로써, 보다 다양한 메시지의 구성이 가능해지고, 표현하고자 하는 의미를 여러 가지 매체를 이용하여 조화롭게 나타낼 수 있으며, 특히 사용자의 인지와 동기화된 표현을 가능하게 함으로써 감성적인 표현에 보다 효과적으로 사용될 수 있다.

사용자기기, 감성 메시지, 시각, 청각, 촉각, 감성 메시지 작성부, 감성 메시지 분석부, 감성 메시지 표현부

Description

사용자기기를 이용한 감성 메시지 작성 및 표현 방법과 이를 위한 사용자기기{METHOD FOR MAKING AND EXPRESSING OF EMOTION MESSAGE BY USING USER DEVICE AND USER DEVICE THEREFOR}

본 발명은 이동통신 단말을 포함하는 사용자기기에서 다른 사용자기기로 전송하는 메시지의 작성 및 표현 기술에 관한 것으로서, 특히 사용자기기에서 텍스트, 이미지, 사운드, LED 동작, 영상, 진동 및 피부자극을 이용하여 보고 듣고 느낄 수 있는 감성 메시지를 작성하고 다른 사용자기기로 전송 및 표현하는데 적합한, 사용자기기를 이용한 감성 메시지 작성 및 표현 방법과 이를 위한 사용자기기에 관한 것이다.

본 발명은 정보통신부 및 정보통신연구진흥원의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2006-S-032-02, 과제명: 퍼스널 Life Log기반 지능형 서비스 기술 개발].

오늘날, 이동통신 단말, MP3 플레이어, 휴대용 멀티미디어 플레이어(PMP: Portable Multimedia Player), 디엠비(DMB: Digital Multimedia Broadcasting) 수신기, 전자 사전, 디지털 카메라, 휴대용 게임기기(예를 들어, 소니사의 PSP, 닌텐 도사의 DS) 등과 같이 개인이 휴대하고 다니면서 필요할 때 사용하는 기기들(Hand-Held Device)이 다양하게 출현하고 있고, 이러한 개인 휴대용 가전기기(Portable Device)들, 즉 사용자기기들을 이용하는 사람들은 기하급수적으로 늘어나고 있다.

이러한 사용자기기들은 모두 일정량 이상의 저장장치를 가지고 있으며, 디지털 콘텐츠를 저장하는 것이 가능하므로, 몇몇 사용자기기들은 무선 모뎀 및 무선 통신 모듈을 통해 무선 인터넷 망에 접속하여 콘텐츠 서비스를 이용하거나, 이동통신망과 접속하여 다른 사용자기기와 음성 및 영상 통화를 수행하고, 문자 메시지 및 멀티미디어 메시지를 송수신하고 있다.

이와 같이 이동통신 단말을 포함하는 사용자기기들에서 송수신하는 메시지는 텍스트로 이루어진 문자 메시지에서부터 시작하여 현재는 문자, 사운드, 그래픽 등의 요소가 복합적으로 지원되는 멀티미디어 메시지 전송도 가능하도록 구현되고 있다. 메시지에 정보를 담는 것과 더불어, 최근에는 메시지에 송신자의 감정 상태를 더 잘 표현하기 위해서 텍스트 이모티콘, 또는 그래픽 이모티콘, 배경 이미지, 사운드 등을 사용하는 기술도 이용되고 있다. 하지만 이런 기술들은 시각적, 청각적 표현 요소로 한정되어 있다.

또한, 기존의 사용자기기를 이용한 메시지 전송 시, 시각적, 청각적 표현요소 외에 진동 등의 촉각적인 표현 기능이 포함될 수 있다. 이때, 촉각적인 표현은 특히나 개인적인 커뮤니케이션에 효과적이고, 순간적으로 주의를 집중하게 하는 기능과 함께 사람의 감성을 자극할 수 있는 주요 수단 중의 하나로 알려져 있다. 특히 이러한 촉각적인 표현은 시청각적 표현과 동기화되어 질 때 그 효과가 증가된 다. 즉, 사용자가 특정 콘텐츠를 보고 듣고 있으며 동시에 촉각 장치의 피부 자극이 전달된다면 그 표현 효과가 증가되는 것이다.

이와 같이 이동통신 단말과 같은 기기를 이용하여 다양한 효과를 나타내는 메시지를 전송 기술로는 여러 특허 및 논문에서 제안되고 있는데, 관련 선행 특허로써 "이동통신 단말기에서 메신저를 이용한 멀티미디어 효과를 가진 이모티콘 사용방법" (한국공개특허 2007-0023064)에서는 단순한 진동 효과를 포함하는 멀티미디어 이모티콘에 대해서 언급하고 있으나, 상기 특허의 경우 송, 수신 방법에 관하여 제한적으로 기술하고 있고, 특히 멀티미디어 이모티콘의 작성과 이동통신 단말에서의 멀티미디어 요소들의 동기화된 표현 방법에 대해서는 설명하고 있지 않다.

특히 메신저를 이용한 이모티콘의 사용은 지속적으로 정보를 주고받는 사용자에게 효과가 떨어질 수 있고, 동기화 표현 시점을 정의하는데도 어려움이 있다. 또한 이것은 현재 일부 이동통신 단말에서 제공되고 있는 진동 이모티콘과 유사한 것으로, 진동 표현을 이모티콘과 함께 제공하는 것으로써 진동 표현이 단순한 통지 역할 이상을 가지지 않는 문제점이 있다.

또한 다른 관련 선행 특허로서, "진동 기능성 콘텐츠의 서비스 방법" (등록번호 10-0449041)에서도 진동 기능성 콘텐츠를 언급하고 있으나, 이것은 진동만을 또는 음향과 연계된 진동만을 활용하는 방법을 설명하고 있다.

한편, "이동 통신 단말의 진동 장치를 이용한 감정 표현 방법 및 이를 위한 이동 통신 단말" (등록번호 10-0471669)과 같은 특허에서는 이동통신 단말에서 메시지의 텍스트를 대신하여 진동을 통해 감정을 표현하는 방법에 대해 설명하고 있 다. 이 특허에서는 메시지에서 감정표현 문자열을 추출하고 이에 대응된 진동패턴을 제공하는 것을 특징으로 하고 있는데, 진동 표현은 메시지와는 독립적으로 표현되어지는 것이므로, 특히 특정 감정을 표현하기 위해서 진동 패턴만을 사용하는 것에는 표현의 한계가 있다.

상기한 바와 같이 동작하는 종래 기술에 의한 이동통신 단말에서 다양한 표현을 수행하는 메시지 전송 방식에 있어서는, 메시지 전송 시 그래픽, 사운드, 진동 등을 이용하여 시각적, 청각적, 촉각적 표현이 가능하도록 구현하고 있으나, 단순히 각 표현들을 이용한 통지 역할에 지나지 않으며, 각각의 표현 방식을 동기화하여 표현하는 방법에 대해서는 아직까지 별다른 방안이 없었다.

이에 본 발명은 사용자기기에서 사용되는 메시지, 즉 많은 정보를 단발적으로 한번에 표현하고자 하는 전송 수단에 적용하기 위하여, 시각적, 청각적, 촉각적 표현 요소의 조합으로 동기화된 멀티미디어 패턴을 생성하고, 이를 적합한 데이터 포맷으로 상대방에게 전송하여, 상대방의 사용자기기를 통하여 사용자의 메시지 확인 시점에 맞추어서 시각, 촉각, 청각적 표현을 동기화하여 표현하는 사용자기기를 이용한 감성 메시지 작성 및 표현 방법과 이를 위한 사용자기기를 제공한다.

본 발명의 일 실시예 방법은, 사용자기기에서 시각적, 촉각적, 청각적 표현 패턴을 조합하여 감성 메시지를 작성하는 과정과, 상기 작성된 감성 메시지를 다른 사용자기기로 전송하는 과정과, 상기 다른 사용자기기에서 전송받은 상기 감성메시지를 사용자 확인 시점 및 다감각 표현의 동기화에 맞추어 표현하는 과정을 포함한다.

본 발명의 다른 실시 예 방법은, 다른 사용자기기로부터 전달 받은 감성메시 지로부터 시각적 표현 패턴 데이터를 추출하는 과정과, 상기 감성 메시지에서 촉각적 표현 패턴 데이터를 추출하는 과정과, 상기 감성 메시지에서 청각적 표현 패턴 데이터를 추출하는 과정과, 상기 추출된 메시지들 간의 조합 방식과 동기화 정보에 대한 데이터를 인식하는 과정과, 상기 인식된 데이터를 토대로 사용자의 메시지 확인 인터페이스를 인지하는 과정과, 기 감성메시지를 사용자기기에서 표현되도록 구현하는 과정을 포함한다.

본 발명의 일 실시예 장치는, 감성메시지의 송수신을 담당하는 데이터 송수신부와, 상기 감성메시지를 저장하는 콘텐츠 DB와, 사용자 인터페이스를 이용하여 사용자기기에서 상기 감성메시지를 작성을 위한 사용자 명령을 입력받는 감성메시지 작성부와, 다른 사용자기기로부터 전달받은 상기 감성메시지에서 구성된 콘텐츠를 추출하고, 상기 추출된 감성메시지의 사용자 확인 시점 및 감성메시지의 다감각 표현 패턴간의 동기화를 지원하기 위한 감성메시지 표현부를 포함한다.

본 발명의 일 실시예 장치는, 감성메시지 작성부에 있어서, 전달할 텍스트 메시지를 작성하는 텍스트 메시지 작성부와, 이미지 및 동영상 데이터를 작성하거나 기 저장된 데이터를 삽입하는 시각적 패턴 메시지 작성부와, 진동 모터, 핀어레이, 전기자극을 이용한 촉각적 동작 데이터를 작성하는 촉각적 패턴 메시지 작성부와, 상기 메시지들의 조합 방식과 동기화 패턴에 대한 정보를 관리하는 조합 관리부와, 상기 조합 관리부의 조합에 의해 생성된 감성 메시지를 저장하는 메시지 DB관리부와, 상기 감성 메시지의 생성, 조합 등의 편집을 위한 사용자 인터페이스를 관리하는 UI부를 포함한다.

또한 본 발명의 일 실시예 장치는, 감성메시지 표현부에 있어서, 다른 사용자기기로부터 전달받은 상기 감성메시지에서 구성된 콘텐츠를 추출하고, 상기 추출된 콘텐츠 데이터들을 분석하는 감성 메시지 분석부와, 사용자의 메시지 확인 시점 인지를 위한 사용자 확인 인지부와, 상기 감성 메시지 분석부에서 분석된 각 데이터별 패턴에 대해, 시간정보, 동기화에 대한 이벤트 정보, 즉 사용자의 메시지 확인 이벤트, 감성메시지의 다감각 표현 패턴의 동작 이벤트들을 이용하여 상기 감성 메시지를 표현하는 메시지 표현 패턴 제어부와, 상기 데이터별 패턴에 해당하는 구동기 동작을 제어하는 엑츄에이터 동작 관리부와, 상기 데이터별 패턴 중 시각적 패턴을 제어하는 시각적 엑츄에이터와, 상기 데이터별 패턴 중 촉각적 패턴을 제어하는 촉각적 엑츄에이터와, 상기 데이터별 패턴 중 청각적 패턴을 제어하는 청각적 엑츄에이터를 포함한다.

또한 본 발명의 일 실시예 장치는, 감성메시지 분석부에 있어서, 감성 메시지에서 시각적 표현 요소 중에서 텍스트 부분을 추출하는 텍스트 메시지 추출부와, 텍스트 이외의 시각적 표현 요소를 추출하는 시각적 패턴 메시지 추출부와, 다양한 피부자극을 유도하는 촉각적 패턴 메시지 추출부와, 각각의 표현 패턴의 동기화 제어를 위한 조합 관리부와, 전송받은 메시지를 불러오거나 또는 다시 저장하는 등의 메시지 데이터의 관리를 위한 메시지 DB 관리부와, 사용자 개인의 감성메시지 표현 방법에 대한 프로파일을 저장하고 관리 및 적용하는 사용자 표현 정의부를 포함한다.

본 발명에 있어서, 개시되는 발명 중 대표적인 것에 의하여 얻어지는 효과를 간단히 설명하면 다음과 같다.

본 발명은, 사용자기기로 감성 메시지 작성을 가능하도록 함으로써, 보다 다양한 메시지의 구성이 가능해지고, 표현하고자 하는 의미를 여러가지 매체를 이용하여 조화롭게 나타낼 수 있으며, 특히 감성적인 표현에 보다 효과적으로 사용될 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

본 발명은 이동통신 단말, 기타 통신 수단, 또는 서버 등을 이용하여 단순한 메시지 전달, 그 이상으로써 사람의 감성을 자극하는 패턴화된 멀티미디어간의 하모니를 중요시 하는 메시지, 즉 감성메시지를 작성하고, 이를 원격지의 다른 사용자기기를 가진 상대방에게 전달하고, 또한 전달 받은 메시지가 사용자기기를 통하여 표현되어 질 때, 감성메시지가 담고 있는 멀티미디어 패턴간의 동기화를 제어하여 감성적 표현의 효과를 극대화시키기 위한 것이다.

이에 사용자기기에서 사용되는 메시지, 즉 많은 정보를 단발적으로 한번에 표현하고자 하는 전송 수단에 적용하기 위하여, 전달하고자 하는 감성메시지에 시각적, 청각적, 촉각적 요소가 동기화된 하나의 패턴으로 조합하여 작성하고, 이를 적합한 데이터 포맷으로 상대방에게 전송하여, 상대방의 사용자기기를 통하여 사용자의 메시지 확인 시점에 맞추어서 다감각적인 표현을 수행하게 된다.

따라서 상대방의 사용자 기기를 통해 표현되는 감성메시지는 예를 들어, 노래가 나오면서 LED가 흐르듯이 반짝임 등과 이의 표현 패턴에 맞추어 동기화된 촉각 표현, 즉 다수의 진동모터가 반짝임의 흐름을 맞추어 진동하고, 문자메시지는 "사랑해"라는 문자가 위에서 아래로 흘러내리도록 할 수 있다.

한편, 본 발명에서는 보다 효과적인 메시지 전달을 위한 방법으로써 기존의 시각, 청각적인 표현 방법과는 달리 사용자기기가 가지고 있는 촉각적인 표현 장치를 이용하여 디스플레이 화면상에 2, 3차원적으로 나타낼 수 있는 아바타, 그래픽 이모티콘, 배경 화면 등과 사용자기기 자체적으로 구현할 수 있는 시각적인 표현과 함께 진동 등의 촉각적인 표현 방법을 동시에 동기화하여 사용함으로써 그 표현 효과를 높이고, 특히 촉각 자극에 유용하게 사용될 수 있는 감성 메시지 표현 방법으로 활용하고자 한다.

시각적, 청각적, 촉각적 표현 장치를 사용한 메시지의 표현은 감성을 전달하는 것에 보다 효과적이므로 여기서 사용되는 메시지를 감성메시지라고 정의할 수 있으며, 본 발명에서 감성메시지 작성 및 표현방식의 설명은 감성 메시지의 생성 방법과 감성메시지의 데이터 구성, 그리고 감성메시지의 표현 방법으로 세분할 수 있다.

먼저 감성메시지의 생성 방법은 메시지를 작성해서 송신하는 부분에서 발생하는 행위로써 일반적으로 인터넷에 연결된 컴퓨터와 같은 휴대용 사용자기기 이외의 장치를 이용한 감성 메시지 작성, 휴대용 사용자기기에서의 감성 메시지 작성으로 구분되어진다. 물론 감성 메시지 서비스를 위한 서버 또는 사용자의 이동통신 단말기 내에 저장된 감성 메시지 DB로부터 감성 메시지를 선택하여 사용하는 방법도 가능하다.

이에 새로운 감성 메시지의 작성은 텍스트 작성, 이미지(색상패턴, 아바타, 이모티콘 등) 작성, 촉각 패턴 작성, 음악 작성 및 선택으로 크게 구분 지을 수 있다.

사용자가 컴퓨터와 같은 환경에서라면 좀 더 구체적인 UI로 각 요소들의 동기화 조건, 강도, 패턴, 이미지 등을 직접 편집할 수도 있고, 휴대 단말과 같은 환경에서는 제한된 항목에서 선택하는 UI로 지원할 수 있다. 즉, 사용자는 사용자 자신만의 메시지를 실제 이미지 그리기에서부터 또는 간단히 리스트 내에서의 선택하기까지 그 참여도를 조정하여 새롭게 감성 메시지를 작성할 수도 있고, 또는 인터넷, 서비스 서버 등을 통하여 이미 작성되어진 감성메시지를 받아와서 사용할 수도 있다.

도 1은 본 발명의 바람직한 실시예에 따른 감성메시지 작성부와 감성메시지 분석부의 구조를 도시한 블록도이다.

도 1을 참조하면, 특정 사용자기기의 감성메시지 작성부(100)는 기본적으로 다양한 글꼴 및 글자 모양 등으로 텍스트 메시지를 작성하는 텍스트 메시지 작성부(102)와, 텍스트 메시지 작성부(102)에서 작성된 텍스트 메시지를 움직이게 하고, 2, 3차원 그래픽, 이미지 및 동영상을 생성하거나, 사용자기기에 기 저장된 그래픽 및 동영상 데이터를 삽입하는 시각적 패턴 메시지 작성부(104)와, 진동 모터를 이용한 진동 및 핀 구동기를 이용한 촉각 정보, 전기 자극, 기기 발열을 이용한 온도 조절을 통해 촉각적 패턴을 형성하는 촉각적 패턴 메시지 작성부(106)를 포함한다.

또한, 감성메시지 작성부(100)는 각 메시지의 조합 방식과 동기화 패턴에 대한 정보를 관리하는 조합 관리부(108), 그리고 감성 메시지들을 관리하며, 작성된 감성 메시지들을 데이터 저장소에 저장 또는 불러오기 위한 메시지 DB 관리부(110)와 사용자 인터페이스(UI)부(112)를 포함한다. 사용자 인터페이스부(112)는 사용자 기기의 성능 및 환경에 따라 사용자 인터페이스의 정밀도는 차별화되고 메시지 작성을 위한 제작 툴로써의 기능에도 차이를 가지게 된다. 감성메시지는 조합관리부(108)를 통한 각 요소의 조합으로 구성되며 이때 텍스트, 이미지 패턴, 촉각 패턴의 콘텐츠 요소 중에서 하나 이상이 존재하면 감성 메시지를 생성한다. 여기서 사운드 효과를 내기 위해 청각적 패턴을 추가할 수 있으며, 청각적 표현 효과는 표현하고자 하는 음향의 선택으로 가능하다.

또한, 조합관리부(108)에서는 각각 개별적으로 작성된 시각, 촉각, 청각의 메시지들에 대한 동기화를 수행하여 동기화 정보를 생성하고, 생성한 동기화 정보를 감성 메시지에 포함하게 된다. 이때, 동기화 정보는 하나의 개별 표현 요소를 중심으로 그 외의 표현 요소의 발생 시점 시간 정보, 콘텐츠 정보, 제어 정보 등을 포함하는 데이터로 표현할 수 있다.

감성 메시지 작성부(100)를 통해 작성된 감성메시지는 부호화된 데이터로 상대방의 사용자기기로 전송된다. 이때 데이터포맷은 구현 조건에 따라서 다양한 형태를 가질 수 있고 사용자기기에서 분석 가능한 포맷으로 데이터를 패키지화하여 전송한다. 감성메시지 데이터는 기존의 멀티미디어 데이터 포맷과 같이 개별 콘텐츠, 즉 시각콘텐츠-텍스트, 이미지, 촉각콘텐츠-진동, 핀 자극 등의 개별 콘텐츠의 표현 정보와 함께 이들 콘텐츠들 간의 동기화 정보를 메타데이터 등으로 표기하여 전송 받은 사용자기기에서 조합 표현이 가능하도록 데이터를 규격화하여 작성한다. 이때 데이터의 규격은 기존의 다양한 표준화된 포맷을 사용할 수도 있고 또는 특정 통신망에서 사용하는 독자적인 데이터 포맷에 맞추어서 사용될 수도 있으며, 이는 구현 조건에 따라서 다양한 형태를 따를 수 있다.

감성 메시지를 전송 받은 사용자기기의 감성메시지 분석부(150)는 기본적으로 텍스트 메시지 추출부(152), 시각적 패턴 메시지 추출부(154), 촉각적 패턴 메시지 추출부(156)를 포함하며, 조합 관리부(158)와, 메시지 DB 관리부(160)와, 사용자 표현 정의부(162)를 포함한다.

이와 같이 감성 메시지는 감성메시지 분석부(150) 내에 포함된 텍스트 메시지 추출부(152), 시각적 패턴 메시지 추출부(154), 촉각적 패턴 메시지 추출부(156)에서 해당 텍스트 메시지, 시각적 패턴 메시지, 촉각적 패턴 메시지를 추출하여 분석하고, 추출된 메시지들 간의 조합 방식과 동기화 정보에 대한 데이터를 조합관리부(158)에서 인식하고 사용자 표현 정의부(162)에 기 설정된 사용자 성향의 프로파일 정보에 따라서 표현 여부, 표현 강도 등의 부가정보를 감성메시지 데이터에 반영한다. 이후 사용자의 의도에 따라서 메시지DB관리부(160)를 통하여 특정 감성메시지가 저장되거나 또는 로딩되어 다시 표현 되는 기능을 제공한다.

도 2는 본 발명의 바람직한 실시예에 따른 감성 메시지 작성 및 표현을 수행하는 전체 구조를 도시한 블록도이다.

도 2를 참조하면, 사용자기기내의 감성 메시지 작성부(100)에서 작성된 감성 메시지를 먼저 데이터 송신부(202)로 전달하고, 데이터 송신부(202)에서는 사용자기기에서 감성 메시지를 보내고자 하는 착신 사용자기기로 감성 메시지를 전송한다. 이에 착신 사용자기기의 데이터 수신부(206)에서는 수신한 감성 메시지를 감성메시지 표현부(200)내의 감성 메시지 분석부(105)로 전달함으로써, 사용자기기에서 감성메시지에 대한 분석 및 표현을 수행하게 된다.

감성메시지 표현부(200)는 도 1에서 설명한 감성메시지 분석부(150)와, 사용자의 메시지 확인시점 인지를 위한 사용자 확인 인지부(207)를 포함하며, 전송받은 데이터에 대한 분석이 이루어진 패턴에 대해 동작을 제어하는 메시지 표현 패턴 제어부(208)와 실제 하드웨어(H/W) 구동기의 동작을 제어하는 엑츄에이터(Actuator) 동작 관리부(210)를 가진다. 즉, 메시지 표현 패턴 제어부(208)는 표현 요소들의 동기화와 개별 표현 요소들에 대한 동작 및 전체 진행에 대한 제어를 담당한다.

그리고 엑츄에이터 동작 관리부(210)는 실제 엑츄에이터를 구동하고 하드웨어적인 요소를 관리하기 위한 중계자적인 역할과 함께 사용자기기가 가지는 엑츄에 이터의 하드웨어적인 스펙과 제공된 표현 데이터간의 상이한 부분을 적절하게 조정하여 장치를 구동시키는 기능을 수행한다.

이와 같이 감성 메시지 표현부(200)내의 각 기능블록들은 기능적 차이를 위해 분리된 블록이며, 본 감성 메시지 표현부(200)의 구현 시 각각의 분리된 블록에 한정되지 않음은 물론이다.

엑츄에이터 동작 관리부(210)는 시각 엑츄에이터부(visual actuators)(212)와 촉각 엑츄에이터부(tactile actuators)(214)와 청각 엑츄에이터부(auditory actuators)(216)의 구동동작을 제어하게 된다. 시각 엑츄에이터(212)는 그래픽적 이미지 등을 표현하는 2, 3차원 영상 디스플레이 장치뿐 아니라 사용자기기의 성능에 따라서 사용자기기에 부착된 LED등으로도 표현될 수 있다.

또한 촉각 엑츄에이터부(214)는 촉각 표현 장치로써 일반적으로 사용되는 진동 모터를 이용한 주기, 강도 등을 조정한 진동(vibration) 패턴으로 표현될 수도 있고 또는 다수의 진동 모터를 개별 제어하여 진동의 위치, 시간차, 진동의 흐름 등을 패턴으로 표현할 수도 있다. 이는 핀형 핀 엑츄에이터 등이 부착된 사용자기기에서도 적용이 가능할 것이다. 한편, 청각 엑츄에이터부(216)는 청각 표현 장치로서, 수신된 감성메시지에 음악 데이터가 포함되어 있는 경우는 이를 추출하여 해당 음악 데이터를 동기화된 각 감성 메시지 패턴들과 함께 출력하고,

한편, 경우에 따라서는 향기 콘텐츠를 부가하여 시각, 청각, 촉각, 후각에 대한 동기화된 패턴을 함께 제작하여 모든 패턴이 함께 표현되는 것이 가능하다.

즉, 수신된 감성메시지에 향기입자를 포함하고 있는 후각 엑츄에이터가 구비 된 사용자기기는 수신된 감성 메시지에 향기 입자 분출 메시지가 포함된 경우, 향기 입자 분출 메시지에 포함된 해당 향기 입자를 분출할 수도 있다. 이를 통해 시각, 촉각, 청각, 촉각, 후각을 통한 감성 메시지 수신이 가능하다.

도 3은 본 발명의 바람직한 실시예에 따른 감성메시지 작성 절차를 도시한 흐름도이다.

도 3을 참조하면, 300단계에서 사용자가 새로운 감성 메시지를 작성할 경우 302단계로 진행하여, 자신의 사용자기기 또는 인터넷에 연결된 PC 등의 기기에서 감성메시지 작성을 위한 에디터를 실행시키고, 다감각 표현 패턴을 편집 작성한다. 예를 들어, "사랑해"라는 텍스트를 입력한 경우, 문자가 한 글자씩 나타나서 움직이는 이미지를 리스트에서 선택하고 여기에 어울리는 2개의 진동모터를 사용한 톡톡 튀는 느낌의 촉각 패턴을 리스트에서 다시 선택한다. 사용자는 촉각 패턴의 상세 보기를 통하여 촉각 패턴의 강도와 주기를 조정한다.

다만, 300단계에서 새로운 감성메시지를 작성하지 않는 경우는, 304단계로 진행하여 기존에 미리 설정해두거나, 발송했던 감성 메시지 중에서 불러오기를 수행한다.

이후 사용자는 306단계에서 미리보기를 수행한 경우, 310단계로 진행하여, 자신의 사용자기기에서 감성 메시지를 분석하고, 311단계에서 사용자 확인 시점에 대한 인지가 이루어지면, 312단계에서 메시지 표현패턴을 제어한 후, 314단계에서 구동기를 동작하여 사용자에게 미리 작성되거나 불러온 감성메시지가 표현되는 패턴을 확인한다. 이후 308단계로 진행하여 미리 보기를 수행한 감성메시지에 대한 전송 여부를 판단한다. 한편, 306단계에서 미리 보기를 수행하지 않은 경우는 바로 308단계로 진행하여 전송여부를 판단하게 된다.

이에 308단계에서 감성 메시지를 착신할 사용자기기로 전송을 수행하지 않는다면, 300단계로 복귀하여 다시금 새로운 감성 메시지를 작성하거나, 저장된 감성 메시지를 불러오게 된다. 그러나 감성메시지를 전송할 경우에는 316단계에서 착신할 사용자기기로 감성메시지를 전송하고, 318단계에서 보낸 감성 메시지에 대해 사용자기기에 저장여부를 판단한다. 이에 사용자가 보낸 메시지를 저장하지 않는다면, 종료하고, 보낸 메시지를 저장한다면, 320단계로 진행하여 메시지 DB 관리부를 통하여 감성 메시지 데이터를 저장한다.

한편, 모든 보낸 메시지에 대해 저장되도록 미리 설정된 경우는 감성 메시지 전송 후, 바로 메시지 DB관리부에 저장하도록 한다.

도 4는 본 발명의 바람직한 실시예에 따른 감성메시지 표현 절차를 도시한 흐름도이다.

도 4를 참조하면, 400단계에서 특정 사용자기기 사용자로부터 감성 메시지가 수신된 경우는 402단계로 진행한다. 그러나 감성 메시지를 수신하지 않은 경우에는 404단계로 진행하여 저장된 감성 메시지의 사용자 선택에 의한 표현 여부를 확인하여, 사용자가 저장된 감성메시지에 대한 메시지 재확인을 원하는 경우는 406단계에서 감성 메시지 데이터를 로딩하여 402단계로 진행한다. 그러나 404단계에서 사용자가 저장된 감성 메시지를 확인하고 싶지 않은 경우에는 400단계로 복귀한다.

402단계에서는 수신된 감성 메시지를 감성메시지 분석부(150)를 통하여 감성 메시지에 대한 표현 정보를 추출하고 메시지 데이터를 생성하며, 감성메시지의 수신확인 여부를 사용자기기의 메시지 알림 기능을 통하여 사용자에게 알린다. 사용자는 408단계에서 메시지의 확인을 위해 메시지 보기에 해당하는 확인 이벤트를 발생시키고, 409단계로 진행한다.

409단계에서는 발생된 이벤트를 통해 사용자의 메시지 확인 명령을 인지하였다면, 사용자기기의 확인 버튼을 누르거나 사용자기기의 특정 부분을 움직이게 하여 감성메시지 표현 이벤트를 사용자기기에 발생시킨다. 410단계에서 메시지 표현 패턴 제어부(208)를 동작시켜 감성메시지의 시각적, 촉각적, 청각적 패턴이 동기화되어 조합된 콘텐츠로 표현될 수 있도록 제어하고 412단계에서 Actuator동작 관리부(210)의 제어에 따라 각 구동기(시각적, 촉각적, 청각적 엑츄에이터)는 주어진 신호에 맞추어 동작한다.

이에 사용자는 도 3에서 감성메세지의 작성 예를 통해 설정된 바와 같이 사용자기기의 디스플레이 장치 주변 LED에서 핑크 빛이 흐르듯 반짝이고, 디스플레이 장치에서는 입술이 쭉 내밀어 지는 움직이는 그림과 "사랑해"라는 문자가 한 글자씩 나타나면서 그때에 맞춰 진동 패턴이 톡톡 튀어지는 느낌으로 전해오는 감성 메시지를 전달받게 된다.

이후 414단계에서 확인한 감성메시지에 대해 사용자가 재확인을 요청한 경우는 409단계로 복귀하여 이를 인지하고, 410단계에서 메시지 표현 패턴 동기화와 개별 구동기 동작을 통하여 감성 메시지를 구동시키고, 재확인이 필요 없는 경우, 416단계로 진행하여 저장여부를 판단하게 된다.

이에 저장이 필요한 경우는 418단계로 진행하여 감성 메시지를 메시지 DB 관리부(160)내의 메시지 수신부에 저장하게 되나, 저장이 필요없는 경우는 수신한 감성 메시지를 삭제하고, 종료하게 된다.

도 5는 본 발명의 바람직한 실시예에 따른 감성메시지 작성부의 사용자인터페이스를 도시한 도면이다.

도 5를 참조하면, 감성 메시지 작성을 위한 인터페이스(500) 내에는 시각적 패턴 편집을 위해 기존의 만들어진 시각적 패턴들로부터 선택할 수 있는 리스트(502)와 상세 시각적 패턴 편집을 위한 고급 인터페이스(504)가 있다. 마찬가지로 촉각적 패턴 편집을 위해 기존의 만들어진 촉각적 패턴들로부터 선택할 수 있는 리스트(506)와 상세 촉각적 패턴 편집을 위한 고급 인터페이스(508)가 있다.

예를 들어, 고급(508) 버튼을 선택하면 촉각적 패턴 편집을 위한 고급 인터페이스(600)가 나타나고 여기에서 좀 더 상세한 패턴을 생성 할 수 있다. 다양한 촉각 요소, 즉 진동 모터, 핀어레이, 전기자극 등에서 선택하고, 선택된 요소에 대하여 강도, 빠르기, 주기를 편집할 수도 있으며, 기타 패턴에 대한 추가 선택도 가능하게 하는 등 감각 요소의 특징에 따라 다양한 고급인터페이스를 제공할 수 있다. 청각적 표현 패턴도 리스트(510)로부터 선택할 수 있으며 추가 사운드의 선택, 다운받기, 녹음하여 생성하기 등의 인터페이스는 고급(512) 버튼의 선택하여 나타나는 고급인터페이스에서 수행한다.

즉, 소리의 경우는 사용자기기에 저장되어 있는 소리를 선택하거나, 사용자가 작곡 가능한 사운드 애플리케이션이 포함된 사용자기기인 경우는 자신이 직접 작성한 멜로디를 입력소리로서 사용할 수 있다. 이후 미리보기(514)를 수행하여 본인의 사용자기기에서 동작하는 감성메시지를 확인한 후 저장하기(516)를 통해 생성한 감성메시지를 저장하고, 이후 다른 사용자기기로 전송 동작을 수행하게 된다.

이와 같이 본 발명의 실시예는 현재 사용되는 사용자기기의 문자메시지, 영상메시지 등에 바로 적용할 수 있으며, PDA, PMP 등의 개인 정보 관리 단말기에서도 단말이 제공하는 메시지를 감성메시지의 형식으로 표현해 줄 수 있다.

이상 설명한 바와 같이, 본 발명은 사용자기기에서 시각적, 청각적, 촉각적 표현이 가능한 멀티미디어 패턴을 생성하여, 생성된 멀티미디어 패턴간의 동기화 제어를 통해 감성 메시지를 작성하는 것으로서, 문자, 소리, 화면 및 사용자기기내의 발광부의 발광, 동영상 등을 동기화하여 감성 메시지를 작성하고, 작성한 감성 메시지를 다른 사용자기기에서 전송한다.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 바람직한 실시예에 따른 감성메시지 작성부와 감성메시지 분석부의 구조를 도시한 블록도,

도 2는 본 발명의 바람직한 실시예에 따른 감성 메시지 작성 및 표현을 수행하는 전체 구조를 도시한 블록도,

도 3은 본 발명의 바람직한 실시예에 따른 감성메시지 작성 절차를 도시한 흐름도,

도 4는 본 발명의 바람직한 실시예에 따른 감성메시지 표현 절차를 도시한 흐름도,

도 5는 본 발명의 바람직한 실시예에 따른 감성메시지 작성부의 사용자인터페이스를 도시한 도면.

< 도면의 주요 부분에 대한 부호 설명 >

100 : 감성 메시지 작성부 150 : 감성 메시지 분석부

200 : 감성 메시지 표현부 202 : 데이터 송신부

204 : 콘텐츠 DB 206 : 데이터 수신부

Claims (11)

1. 사용자기기에서 시각적, 촉각적, 청각적 표현 패턴을 조합하여 감성 메시지를 작성하는 과정과,

   상기 작성된 감성 메시지를 다른 사용자기기로 전송하는 과정과,

   상기 다른 사용자기기에서 전송받은 상기 감성메시지를 사용자 확인 시점 및 다감각 표현의 동기화에 맞추어 표현하는 과정

   을 포함하는 사용자기기를 이용한 감성 메시지 작성 및 표현 방법.
2. 제 1항에 있어서,

   상기 감성 메시지를 작성하는 과정은,

   시각적 요소로서 텍스트, 이미지, 동영상, LED 중 적어도 하나를 포함하는 주변 표현 장치의 동작을 조합해서 시각적 표현 패턴 메시지를 작성하는 과정과,

   진동 모터, 핀, 전기자극 중 적어도 하나를 포함하는 촉각적 표현 요소의 제어를 통한 촉각적 표현 패턴 메시지를 작성하는 과정과,

   상기 작성된 메시지들과 사운드를 포함하는 청각적 표현 패턴 메시지를 서로 조합하여 동기화된 감성 메시지를 생성하는 과정

   을 포함하는 사용자기기를 이용한 감성메시지 작성 및 표현 방법.
3. 제 1항에 있어서,

   상기 방법은,

   특정 향기를 방출하는 동작 절차를 작성하여 후각적 표현 패턴을 작성하는 과정

   을 더 포함하는 것을 특징으로 하는 사용자기기를 이용한 감성 메시지 작성 및 표현 방법.
4. 제 1항에 있어서,

   상기 감성 메시지는,

   하나의 표현 패턴 메시지를 중심으로 그 외 표현 패턴 메시지의 발생 시점 시간 정보와, 콘텐츠 정보와, 제어 정보를 포함하는 동기화 정보를 포함하는 것을 특징으로 하는 사용자기기를 이용한 감성 메시지 작성 및 표현 방법.
5. 제 1항에 있어서,

   상기 감성 메시지는,

   개별 표현 패턴 데이터들과, 상기 데이터들 간의 동기화 정보를 포함하는 것을 특징으로 하는 사용자기기를 이용한 감성 메시지 작성 및 표현 방법.
6. 다른 사용자기기로부터 전달 받은 감성메시지로부터 시각적 표현 패턴 데이터를 추출하는 과정과,

   상기 감성 메시지에서 촉각적 표현 패턴 데이터를 추출하는 과정과,

   상기 감성 메시지에서 청각적 표현 패턴 데이터를 추출하는 과정과,

   상기 추출된 메시지들 간의 조합 방식과 동기화 정보에 대한 데이터를 인식하는 과정과,

   상기 인식된 데이터를 토대로 사용자의 메시지 확인 인터페이스를 인지하는 과정과,

   상기 감성메시지를 사용자기기에서 표현되도록 구현하는 과정

   을 포함하는 사용자기기를 이용한 감성 메시지 작성 및 표현 방법.
7. 제 6항에 있어서,

   상기 방법은,

   기 설정된 사용자 성향의 프로파일 정보에 따라서 표현 여부, 표현 강도의 부가정보를 상기 감성메시지 데이터에 반영하는 과정과,

   상기 사용자 성향이 반영된 상기 감성 메시지를 구현하는 과정

   을 더 포함하는 것을 특징으로 하는 사용자기기를 이용한 감성 메시지 표현 방법.
8. 감성메시지의 송수신을 담당하는 데이터 송수신부와,

   상기 감성메시지를 저장하는 콘텐츠 DB와,

   사용자 인터페이스를 이용하여 사용자기기에서 상기 감성메시지를 작성을 위한 사용자 명령을 입력받는 감성메시지 작성부와,

   다른 사용자기기로부터 전달받은 상기 감성메시지에서 구성된 콘텐츠를 추출하고, 상기 추출된 감성메시지의 사용자 확인 시점 및 감성메시지의 다감각 표현 패턴간의 동기화를 지원하기 위한 감성메시지 표현부

   를 포함하는 감성 메시지 작성을 위한 사용자기기.
9. 제 8항에 있어서,

   상기 감성메시지 작성부는,

   전달할 텍스트 메시지를 작성하는 텍스트 메시지 작성부와,

   이미지 및 동영상 데이터를 작성하거나 기 저장된 데이터를 삽입하는 시각적 패턴 메시지 작성부와,

   진동 모터, 핀어레이, 전기자극을 이용한 촉각적 동작 데이터를 작성하는 촉각적 패턴 메시지 작성부와,

   상기 메시지들의 조합 방식과 동기화 패턴에 대한 정보를 관리하는 조합 관리부와,

   상기 조합 관리부의 조합에 의해 생성된 감성 메시지를 저장하는 메시지 DB관리부와,

   상기 감성 메시지의 생성, 조합 등의 편집을 위한 사용자 인터페이스를 관리하는 사용자 인터페이스부

   를 포함하는 것을 특징으로 하는 감성 메시지 작성을 위한 사용자기기.
10. 제 8항에 있어서,

    상기 감성메시지 표현부는,

    다른 사용자기기로부터 전달받은 상기 감성메시지에서 구성된 콘텐츠를 추출하고, 상기 추출된 콘텐츠 데이터들을 분석하는 감성 메시지 분석부와,

    사용자의 메시지 확인 시점 인지를 위한 사용자 확인 인지부와,

    상기 감성 메시지 분석부에서 분석된 각 데이터별 패턴에 대해, 시간정보, 동기화에 대한 이벤트 정보, 즉 사용자의 메시지 확인 이벤트, 감성메시지의 다감각 표현 패턴의 동작 이벤트들을 이용하여 상기 감성 메시지를 표현하는 메시지 표현 패턴 제어부와,

    상기 데이터별 패턴에 해당하는 구동기 동작을 제어하는 엑츄에이터 동작 관리부와,

    상기 데이터별 패턴 중 시각적 패턴을 제어하는 시각적 엑츄에이터와,

    상기 데이터별 패턴 중 촉각적 패턴을 제어하는 촉각적 엑츄에이터와,

    상기 데이터별 패턴 중 청각적 패턴을 제어하는 청각적 엑츄에이터

    를 포함하는 것을 특징으로 하는 감성 메시지 표현을 위한 사용자기기.
11. 제 10항에 있어서,

    상기 감성메시지 분석부는,

    상기 감성 메시지에서 시각적 표현 요소 중에서 텍스트 부분을 추출하는 텍스트 메시지 추출부와,

    텍스트 이외의 시각적 표현 요소를 추출하는 시각적 패턴 메시지 추출부와,

    다양한 피부자극을 유도하는 촉각적 패턴 메시지 추출부와,

    콘텐츠들 간의 조합 방식과 동기화 정보를 제어하기 위한 조합 관리부와,

    전송받은 메시지를 불러오거나 또는 다시 저장하는 등의 메시지 데이터의 관리를 위한 메시지 DB 관리부와,

    사용자 개인의 감성메시지 표현 방법에 대한 프로파일을 저장하고 관리 및 적용하는 사용자 표현 정의부

    를 포함하는 것을 특징으로 하는 감성 메시지 표현을 위한 사용자기기.

Images