KR20090106989A - 감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말및 메시지 기억 서버 - Google Patents

감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말및 메시지 기억 서버 Download PDF

Info

Publication number
KR20090106989A
KR20090106989A KR1020090027452A KR20090027452A KR20090106989A KR 20090106989 A KR20090106989 A KR 20090106989A KR 1020090027452 A KR1020090027452 A KR 1020090027452A KR 20090027452 A KR20090027452 A KR 20090027452A KR 20090106989 A KR20090106989 A KR 20090106989A
Authority
KR
South Korea
Prior art keywords
message
emotion
communication terminal
mobile communication
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020090027452A
Other languages
English (en)
Other versions
KR101027406B1 (ko
Inventor
신이치 이소베
마사미 야부사키
Original Assignee
가부시키가이샤 엔.티.티.도코모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔.티.티.도코모 filed Critical 가부시키가이샤 엔.티.티.도코모
Priority to KR1020090027452A priority Critical patent/KR101027406B1/ko
Publication of KR20090106989A publication Critical patent/KR20090106989A/ko
Application granted granted Critical
Publication of KR101027406B1 publication Critical patent/KR101027406B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42025—Calling or Called party identification service
    • H04M3/42034—Calling party identification service
    • H04M3/42042—Notifying the called party of information on the calling party
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
    • H04M3/53—Centralised arrangements for recording incoming messages, i.e. mailbox systems
    • H04M3/533—Voice mail systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/25—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service
    • H04M2203/251—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably
    • H04M2203/253—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably where a visual mode is used instead of a voice mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

메시지 기억 서버는, 모바일 통신 단말로부터 송신된 음성 메시지 또는 영상 메시지를 기억하고, 메시지에 대해 감정 인식을 수행해서 감정 데이터를 생성한다. 모바일 통신 단말은, 다른 통신 단말에 대한 메시지로서 송신한 메시지에 대해 메시지 기억 서버로부터 확인 요청을 받으면, 송신한 메시지에 할당된 감정 데이터를 디스플레이 상에 표시한다.

Description

감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말 및 메시지 기억 서버{EMOTION RECOGNITION MESSAGE SYSTEM, MOBILE COMMUNICATION TERMINAL THEREFOR AND MESSAGE STORAGE SERVER THEREFOR}
본 발명은 통신 단말을 위한 메시지 시스템에 관한 것으로서, 더 구체적으로는 음성이나 영상 등의 메시지를 서버를 통해 전송하기 위한 시스템에 관한 것이다.
일반적으로, 휴대 전화용의 모바일 통신 시스템에 사용되는 음성 메시지 서비스에서, 발신측이 수신측 단말을 호출했지만 여러 이유에 의해 수신측이 응답하지 않은 경우, 발신측 단말은 메시지를 음성이나 영상으로 서버에 남길 수 있다. 수신측 단말은, 메시지가 등록되었다는 통지를 서버로부터 수신하면, 해당 메시지를 수신하기 위해 서버에 접속하게 된다. 따라서, 발신측 단말의 사용자가 수신측의 사용자와 직접 통신을 행할 수 없는 경우라도, 발신측 단말의 사용자가 수신측 단말의 사용자에게 메시지를 전송할 수 있다.
그러나, 음성 메시지 서비스의 경우에, 발신측 단말의 사용자는 수신측 단말의 사용자와 직접 통화하는 경우에 비해, 감정을 표현하는 것이 더 어렵다. 바디 랭귀지나 목소리의 톤에 의해 감정을 표현할 수 있는 범위는, 상대방 없이 기계에 대고 말하는 경우에 비해 아무래도 더 떨어지게 되어 있으며, 메시지에 영상이 포함되어 있지 않고 음성만이 포함되어 있는 경우에 더 그렇다. 따라서, 발신측이 의도한 감정이 음성 메시지로 남긴 메시지에 완전히 반영되지 않는 경우가 많다.
이러한 문제를 해결하기 위해, 발신측 단말이 사용자가 입력한 감정의 종류를 나타내는 정보를 수신측에 보낼 음성 메시지에 추가할 수 있으며, 수신측 단말이 그 음성 메시지를 수신하기 전에 감정 정보가 포함된 메시지를 수신할 수 있는 모바일 통신 시스템이 공지되어 있다[예를 들어, 일본특허출원 공개번호 2007-184987호(요약서, 단락번호 [0023] 참조)].
또한, 음성 메시지 내의 음성 신호에 기초하여 발신측의 감정을 판단할 수 있으며, 수신한 음성 메시지의 중요도 또는 감정의 등급을 나타내는 값에 따라 재생할 메시지의 순서를 제어할 수 있는 전화 응답 머신도 공지되어 있다[예컨대, 일본특허출원 공개번호 2007-049657호(요약서) 참조].
또한, 이미지 메시지(image message)에서, 샷 이미지의 얼굴 표정이 정해지면, 비디오폰에서의 사용을 위해 강조할 성분이 가시화되는 이미지 처리 시스템이 알려져 있다[예를 들어, 일본특허출원 공개번호 2007-193824호(요약서) 참조].
또한, 음성 데이터와 이미지 데이터에 기초해서 감정 인자를 검출해서 감정 데이터를 생성하는 채팅 서버를 포함하고, 이 감정 데이터를 이미지 데이터로부터 추출한 안면 표정 데이터와 합성함으로써 합성된 안면 표정 데이터를 생성하며, 합성된 안면 표정 데이터와 캐릭터 데이터를 합성함으로써 캐릭터 합성 이미지를 생 성하는 통신 시스템이 알려져 있다[예를 들어, 일본특허출원 공개번호 2006-330958호(요약서) 참조].
또한, 사용자가 입력한 음성에 대해 음성 감정 인식을 수행함으로써 이메일을 작성할 수 있는 휴대 전화도 공지되어 있다[예를 들어, 일본특허출원 공개번호 2006-277567호(요약서) 참조].
그러나, 발신측 단말의 사용자가 감정을 나타내는 정보를 선택하는 경우에도, 사용자는 그 자신의 감정 상태를 반드시 정확하게 이해하고 있지 못할 수 있다. 그러므로, 발신측 단말의 사용자가 전송하고자 하는 감정은, 메시지가 실제로 수신측 단말의 사용자에게 전송될 때에, 수신측 단말의 사용자가 실제로 받아들이는 느낌과 항상 일치하는 것은 아니다. 반대로, 감정 인식 소프트웨어에 의해 자동으로 메시지의 감정을 읽어내는 것만으로는 수신측 단말의 사용자에게 정확하지 않은 느낌을 줄 수 있는데, 이는 그 감정 인식의 결과가 발신측 단말의 사용자가 의도한 감정에 상응하지 않은 경우가 있기 때문이다.
본 발명은 앞서 설명한 과제를 해결하기 위한 것으로서, 본 발명은 송신측 단말과 수신측 단말의 사용자들 사이에서, 단말에 과도한 처리 부하를 부담시키지 않고도, 더 원활한 통신을 가능하게 하는, 메시지 시스템, 모바일 통신 단말, 및 메시지 기억 서버를 제공하는 것을 목적으로 한다.
본 발명의 하나의 관점으로서, 본 발명은 메시지 기억 서버와 둘 이상의 모바일 통신 단말을 포함하는 메시지 시스템을 제공하는데, 둘 이상의 모바일 통신 단말은, 메시지 기억 서버와 데이터를 주고 받는 송수신부; 이미지를 표시하는 디스플레이; 사용자로부터 음성 또는 영상의 입력을 수신하는 입력 수신부; 및 송수신부, 디스플레이 및 입력 수신부를 각각 제어하는 컨트롤러를 각각 포함하며, 컨트롤러는, 다른 모바일 통신 단말에 대한 음성 메시지 또는 영상 메시지가 입력 수신부에 의해 수신되면, 수신한 메시지를 송수신부를 통해 메시지 기억 서버에 전송한다. 메시지 기억 서버는, 해당 모바일 통신 단말로부터 다른 모바일 통신 단말에 대한 메시지를 수신하는 메시지 수신부; 메시지 수신부에 의해 수신된 메시지를 기억하는 기억 장치; 메시지에 대해 감정 인식(emotion recognition)을 수행하고, 인식된 감정을 나타내는 감정 데이터(emotion data)를 메시지에 할당하는 감정 인식부(emotion recognizer); 및 메시지를 송신한 모바일 통신 단말에 감정 인식부에 의해 할당된 감정 데이터를 확인 요청(confirmation request)으로서 송신하는 확인 요청 송신부를 포함하며, 컨트롤러는, 메시지 기억 서버로부터 확인 요청을 수신하면, 수신한 감정 데이터에 대응하는 이미지를 디스플레이 상에 표시한다.
본 발명의 메시지 시스템에 의하면, 메시지를 송신한 단말에 감정 데이터의 확인 요청이 전송되기 때문에, 송신측 단말의 사용자는 메시지 기억 서버의 감정 인식부에 의해 인식된 감정이 자신이 의도했던 감정에 대응하는지 여부를 확인할 수 있다. 따라서, 인식된 감정 데이터와 사용자의 의도 간의 차이를 최소로 할 수 있어서, 모바일 통신 시스템에서의 메시지 기억 서비스의 신뢰성을 향상시킬 수 있다.
또한, 감정 인식이 메시지 기억 서버에 의해 수행되기 때문에, 모바일 통신 단말은 감정 인식 기능을 구비하고 있을 필요가 없다. 따라서, 송신측 단말의 사용자의 의도에 부합하는 감정 데이터가 메시지에 할당될 수 있음에도, 통신 단말에 대한 처리 부하의 부담이 최소로 될 수 있다.
본 발명에서, 음성 또는 영상에 의한 메시지는 음성 메시지 또는 영상 메시지이다. 따라서, 음성 메시지는 오디오 데이터가 포함되며, 영상 메시지에는 오디오 데이터와 비디오 데이터가 모두 포함된다.
다른 관점으로서, 본 발명은 메시지 기억 서버를 갖는 모바일 통신 시스템에 접속되어, 다른 모바일 통신 단말과 통신을 행하는 모바일 통신 단말을 제공한다. 모바일 통신 단말은, 메시지 기억 서버와 데이터를 주고 받으면서, 모바일 통신 단말로부터 수신한 음성 메시지 또는 영상 메시지에 대하여 감정 인식을 수행하고, 인식된 감정을 나타내는 감정 데이터를 수신한 메시지에 할당한 후에, 모바일 통신 단말로부터 수신한 메시지를 등록하는 송수신부; 이미지를 표시하는 디스플레이; 사용자로부터 음성 또는 영상의 입력을 수신하는 입력 수신부; 및 송수신부, 디스플레이 및 입력 수신부를 각각 제어하는 컨트롤러를 포함한다. 컨트롤러는, 다른 모바일 통신 단말에 대한 음성 메시지 또는 영상 메시지가 입력 수신부에 의해 수신되면, 수신한 메시지를 송수신부를 통해 메시지 기억 서버에 전송하며, 컨트롤러는, 전송한 메시지에 대한 감정 데이터를 메시지 기억 서버로부터 확인 요청으로서 수신하면, 수신한 감정 데이터에 대응하는 이미지를 디스플레이 상에 표시하고, 컨트롤러는, 사용자가 디스플레이 상에 표시된 이미지가 나타내는 감정의 종류에 동의하는 것을 나타내는 입력 지시를, 입력 수신부를 통해 수신하면, 감정 데이터에 대한 승인을 나타내는 승인 응답을 송수신부를 통해 메시지 기억 서버에 전송한다. 본 발명의 모바일 통신 단말에 의하면, 앞서 설명한 메시지 시스템과 동일한 효과를 얻을 수 있다.
바람직한 실시예로서, 컨트롤러는, 메시지 기억 서버에의 모바일 통신 단말에 대한 메시지의 등록(registration)을 통지하는 등록 통지를, 송수신부를 통해 메시지 기억 서버로부터 수신하면, 등록된 메시지에 대한 액세스 요청을 송수신부를 통해 메시지 기억 서버에 전송할 수 있으며, 컨트롤러는, 등록된 메시지의 속성을 나타내는 메시지 정보가 표시되는 선택 화면을 표현하는 화면 데이터를, 메시지 기억 서버로부터 송수신부를 통해 수신하면, 화면 데이터에 의해 표현된 선택 화면을 디스플레이 상에 표시할 수 있고, 선택 화면은 모바일 통신 단말이 다운로드 가능한 하나 이상의 메시지의 메시지 정보를 표시하며, 메시지 정보는 메시지의 감정 데이터가 나타내는 감정의 종류에 따라 분류된 후에 표시되고, 컨트롤러는, 하나 이상의 메시지 중 하나의 메시지가 선택 화면으로부터 선택되면, 선택된 메시지에 대한 다운로드 요청을 메시지 기억 서버에 전송할 수 있다.
본 실시예에 의하면, 각각의 메시지가 여러 종류의 감정의 카테고리에 따라 선택 화면에 표시된다. 따라서, 사용자에 의해 다운로드하고자 하는 메시지의 선택이 용이하게 이루어질 수 있다.
다른 바람직한 실시예로서, 컨트롤러는, 메시지 기억 서버에의 모바일 통신 단말에 대한 메시지의 등록을 통지하는 등록 통지를, 메시지 기억 서버로부터 송수신부를 통해 수신하면, 등록된 메시지에 대한 액세스 요청을, 송수신부를 통해 메시지 기억 서버에 전송할 수 있으며, 컨트롤러는, 모바일 통신 단말이 다운로드 가능한 하나 이상의 메시지의 메시지 정보로서 등록된 메시지의 속성을 나타내는 메시지 정보를 표시하는 선택 화면을 표현하는 화면 데이터를, 메시지 기억 서버로부터 송수신부를 통해 수신하면, 화면 데이터가 표현하는 선택 화면을 디스플레이 상에 표시할 수 있고, 메시지 정보는 메시지에 할당된 감정 데이터가 나타내는 감정을 가장 잘 표현하는 이미지를 포함하고, 컨트롤러는, 하나 이상의 메시지 중의 하나의 메시지가 선택 화면으로부터 선택되면, 선택된 메시지에 대한 다운로드 요청을 메시지 기억 서버에 전송할 수 있다.
바람직하게, 선택 화면에는, 모바일 통신 단말이 다운로드 가능한 하나 이상의 메시지의 메시지 정보가, 메시지의 감정 데이터가 나타내는 감정의 종류에 따라 분류된 후에 표시된다.
이 경우, 메시지의 각각의 감정을 가장 잘 표현하는 이미지가 수신측 단말의 선택 화면에 표시되기 때문에, 이러한 선택 화면에 의해, 수신된 메시지가 관련되어 있는 감정의 종류가 무엇인지에 대해 수신측 단말의 사용자에게 용이하게 문의할 수 있게 된다. 또한, 감정의 종류에 따라 메시지가 분류된 경우, 사용자의 편의성이 향상된다.
또 다른 관점으로서, 본 발명은 둘 이상의 모바일 통신 단말 사이에서 통신을 중계하기 위한, 모바일 통신 단말의 메시지 기억 서버를 제공한다. 메시지 기억 서버는, 제2 모바일 통신 단말에 보낼 음성 메시지 또는 영상 메시지를 제1 모바일 통신 단말로부터 수신하는 메시지 수신부; 메시지 수신부에 의해 수신된 메시지를 기억하는 기억 장치; 메시지에 대해 감정 인식을 수행하고, 인식된 감정을 나타내는 감정 데이터를 메시지에 할당하는 감정 인식부(emotion recognizer); 및 메시지를 전송한 제1 모바일 통신 단말에, 감정 인식부에 의해 할당된 감정 데이터를 확인 요청으로서 전송하는 확인 요청 송신부를 포함한다.
본 발명의 메시지 기억 서버에 의하면, 앞서 설명한 메시지 시스템과 동일한 효과를 얻을 수 있다.
바람직한 실시예로서, 메시지 기억 서버는, 감정 데이터에 대한 승인을 나타내는 승인 응답을 제1 모바일 통신 단말로부터 수신하면, 기억 장치에 기억되어 있는 메시지로서, 승인된 감정 데이터에 대응하는 메시지의 등록 통지를, 제2 모바일 통신 단말에 전송하는 등록 통지부(registration notifier)를 포함할 수 있다.
이러한 본 발명의 구성에서, 메시지의 수신은, 감정 데이터가 송신측 단말에 의해 승인되지 않으면, 수신측 단말에 통지되지 않기 때문에, 수신측 단말의 사용자는 감정 데이터가 송신측에 의해 확인된 경우에만, 서버에 기억된 메시지에 대한 액세스를 갖는다. 따라서, 송신측 사용자의 의도와 다른 감정 데이터가 수신측으로 전송되지 않는다.
다른 바람직한 실시예로서, 메시지 기억 서버는 등록 통지에 대한 응답으로서 제2 모바일 통신 단말로부터 액세스 요청을 수신하면, 기억된 메시지의 속성을 나타내는 메시지 정보가 표시되는 선택 화면을 표현하는 화면 데이터를 생성하는 제1 생성부; 및 제1 생성부에 의해 생성된 화면 데이터를 제2 모바일 통신 단말에 전송하는 화면 데이터 송신부를 더 포함할 수 있으며, 제1 생성부는, 메시지 정보를 분류한 후에, 제2 모바일 통신 단말이 다운로드 가능한 메시지의 메시지 정보를 표시하는 화면을 선택 화면으로서 생성할 수 있고, 메시지 정보는 메시지의 감정 데이터가 나타내는 감정의 종류에 따라 분류될 수 있다.
이러한 본 발명의 구성에 의하면, 각각의 메시지는 여러 종류의 감정의 카테고리 중 하나에 따라 선택 화면에 표시된다. 따라서, 사용자에 의해 다운로드할 메시지의 선택이 용이하게 행해질 수 있다. 또한, 메시지 기억 서버는 생성된 선택 화면을 표현하는 화면 데이터를 수신측 단말에 전송하기 위해 수신측 통신 단말로부터의 액세스 요청에 응답하여 이러한 선택 화면을 생성하기 때문에, 수신측 단말은 화면 데이터를 생성하지 않아도 된다. 따라서, 수신측 단말의 부담이 최소로 될 수 있다.
다른 예로서, 메시지 기억 서버는, 등록 통지에 응답하여 제2 모바일 통신 단말로부터 액세스 요청을 수신하면, 기억된 메시지가 영상 메시지인 경우, 메시지에 대응하는 감정 데이터에 의해 나타낸 감정을 가장 잘 표현하는 이미지를, 메시지의 영상 데이터로부터 추출하는 이미지 추출부(image extractor); 이미지 추출부에 의해 추출된 이미지를, 기억된 메시지의 속성을 나타내는 메시지 정보의 일부로서 표시하는 선택 화면을 표현하는 화면 데이터를 생성하는 제2 생성부; 및 제2 생성부에 의해 생성된 화면 데이터를 제2 모바일 통신 단말에 전송하는 화면 데이터 송신부를 더 포함할 수 있다.
바람직하게는, 제2 생성부는, 메시지 정보를 분류한 후에, 제2 모바일 통신 단말에 의해 다운로드 가능한 메시지의 메시지 정보를 표시하는 화면을 선택 화면으로서 생성할 수 있으며, 메시지 정보는 메시지의 감정 데이터에 의해 나타낸 감정의 종류에 따라 분류될 수 있다.
이 경우, 메시지의 각각의 감정을 가장 잘 표현하는 이미지가 수신측 단말의 선택 화면에 표시되기 때문에, 이러한 선택 화면에 의하면, 수신된 메시지가 어떤 종류의 감정과 관련되어 있는지에 대해 수신측 단말의 사용자에게 용이하게 문의할 수 있다. 또한, 영상 메시지의 경우, 선택 화면에 표시될 이미지가 최초의 영상 메시지로부터 추출되기 때문에, 송신측 단말의 사용자의 각각의 특징이 선택 화면에 표시된 메시지의 속성 정보로서 포함될 수 있다. 또한, 메시지 기억 서버는, 생성된 선택 화면을 표현하는 화면 데이터를 수신측 단말에 전송하기 위해, 수신측 통신 단말로부터의 액세스 요청에 응답하여 이러한 선택 화면을 생성하기 때문에, 수신측 단말은 화면 데이터를 생성할 필요가 없다. 따라서, 수신측 단말에 부과되 는 부담이 최소로 될 수 있다.
메시지가 감정의 종류에 따라 분류된 경우에는, 사용자의 편리성이 더욱 향상된다.
본 발명에 의하면, 메시지를 송신하는 송신측 단말의 사용자는, 감정 인식부에 의해, 메시지에 할당된 감정 데이터가 사용자의 의도에 부합하는지 여부를 확인할 수 있다. 따라서, 통신 단말에 과도한 처리 부하를 부담시키지 않고도, 송신측 및 수신측 단말 사이에서 원활한 통신을 가능하게 하는 메시지 시스템을 제공할 수 있다.
이하, 본 발명의 실시예에 의한 감정 인식 메시지 시스템(emotion recognition message system)에 대하여, 첨부 도면을 참조하여 설명한다.
먼저, 본 발명의 실시예에 따른 감정 인식 기능(emotion recognition function)을 갖는 메시지 시스템의 구성에 대하여 설명한다. 도 1은 본 실시예에 따른 메시지 시스템의 구성을 나타내는 도면이다. 도 1에 나타낸 바와 같이, 메시지 시스템은, 음성 메시지 또는 영상 메시지(음성에 의한 메시지 또는 영상에 의한 메시지)를 송신 및 수신하는 통신 단말(10a, 10b), 통신 단말(10a, 10b)로부터 송신된 음성 또는 영상 메시지를 저장하는 메시지 기억 서버(20), 및 통신 단말(10a, 10b)과 메시지 기억 서버(20)를 접속시키는 네트워크(N)를 포함한다. 예를 들어, 통신 단말(10a, 10b)은, 모바일 통신 단말이 될 수 있지만, 이에 한정되지 않는다. 통신 단말(10a, 10b)은, 예를 들어 음성 통신 또는 인터넷 프로토콜(IP) 전화 통신을 수행할 수 있는 개인용 컴퓨터가 될 수 있다. 그러나, 본 실시예에서는, 통신 단말(10a, 10b)이 모바일 통신 단말인 것으로 하여 설명한다. 이 경우, 네트워크(N)는 모바일 통신용 네트워크이다. 따라서, 도시하고 있지는 않지만, 네트워크(N)는 통신 단말(10a, 10b)이 무선으로 접속한 접속점으로서 기지국(base station)을 포함한다.
이하의 설명에서는 설명을 간단히 하기 위해, 통신 단말(10a)을 송신측 통신 단말(제1 모바일 통신 단말)이라 하고, 통신 단말(10b)을 수신측 통신 단말(제2 모바일 통신 단말)이라 한다. 또한, 본 실시예에서는, 송신측 통신 단말(10a)이 수신측 통신 단말(10b)을 호출하지만, 이 호출에 대해 수신측 통신 단말(10b)은 응답을 하지 않고, 송신측 통신 단말(10a)이 수신측 통신 단말(10b)에 대해 메시지를 남기는 것으로 가정한다.
본 실시예의 구성을 도 6에 나타낸 시퀀스 차트를 참조하여 간단히 나타내기 위해, 송신측 통신 단말(10a)은 수신측 통신 단말(10b)에 대한 메시지를 메시지 기억 서버에 전송해서 기억되도록 한다(S1, S2a, S2b). 메시지 기억 서버(20)에 메시지가 기억되면, 메시지의 감정 인식 프로세스가 트리거된다(S3). 감정 인식의 결과로서, 기억된 메시지에 감정 데이터(emotion data)가 할당된다. 이어서, 메시지 기억 서버(20)는 송신측 통신 단말(10a)에 확인 요청(confirmation request)을 전송한다(S4). 송신측 통신 단말(10a)의 사용자는, 자신의 메시지를, 메시지 기억 서버(20)에 의해 할당되고 메시지 기억 서버로부터 전송된 감정 데이터와 함께 확 인한다(S5). 사용자의 메시지와 감정 데이터에 문제가 없는 경우, 송신측 통신 단말(10a)은 메시지 기억 서버(20)에 다시 접속해서, 감정 데이터에 대한 승인 응답(approval response)을 전송한다(S6).
메시지가 등록되면(S7), 메시지 기억 서버(20)에 의한 수신측 통신 단말(10b)에 대한 통지 프로세스가 트리거된다. 이러한 통지 프로세스에서는, 메시지 기억 서버(20)가 수신측 통신 단말(10b)에 메시지 등록의 통지를 전송한다(S8). 이러한 메시지 등록의 통지를 수신한 수신측 통신 단말(10b)은 메시지 기억 서버에 액세스 요청(access request)을 전송하고(S9), 이에 응답해서, 메시지 기억 서버(20)는 수신측 통신 단말(10b)에 의해 다운로드 가능한 각각의 메시지에 할당된 감정의 종류를 나타내는 선택 화면을 생성해서(S10, S11), 수신측 통신 단말에 전송한다(S12). 수신측 통신 단말(10b)은 선택 화면을 표시하고(S13), 이에 의하여, 사용자는 화면에 표시된 각각의 메시지와 관련된 감정의 유형을 보고 다운로드하고자 하는 메시지를 선택할 수 있다. 수신측 통신 단말(10b)은 사용자에 의해 선택된 메시지에 대한 다운로드 요청을 메시지 기억 서버(20)에 전송한다(S14). 이어서, 메시지 기억 서버(20)는 선택된 메시지를 수신측 통신 단말(10b)에 전송해서 표시되도록 한다(S15, S16).
도 2는 본 발명의 실시예에 따른 통신 단말(10)의 기능적 구성을 나타내는 블록도이다. 통신 단말(10)은 송신측 통신 단말(10a)이 되거나 수신측 통신 단말(10b)이 될 수 있다. 도 2에 나타낸 바와 같이, 통신 단말(10)은, 송수신부(101), 입력부(입력 수신부)(102), 컨트롤러(103), 디스플레이(104), 및 음성 출 력부(105)를 포함한다. 송수신부(101)는, 메시지 기억 서버(20)와 무선 통신을 수행하는 것으로서, 안테나 등이 될 수 있지만, 공지된 다른 유형의 구성을 사용해도 된다. 디스플레이(104)는, 이미지를 표시하기 위한 것으로서, 액정 디스플레이 스크린 등이 될 수 있지만, 공지된 다른 유형의 구성을 사용해도 된다. 입력부(102)로서는, 키의 입력을 위한 키패드, 버튼, 오디오 입력을 위한 마이크로폰(즉, 음성에 의한 메시지용의 음성 및 영상에 의한 메시지용의 음성을 취득하는 것), 영상을 얻기 위한 비디오 카메라 등이 포함될 수 있지만, 다른 공지된 유형의 구성을 사용해도 된다. 예를 들어, 디스플레이(104)는 화면에의 터치 조작에 의해 입력 신호를 생성할 수 있으며, 이러한 터치 조작을 통한 입력이 입력부(102)에 포함될 수 있다. 음성 출력부(105)는 오디오 데이터에 기초하여 사운드를 생성해서 출력한다.
통신 단말(10)은 CPU(Central Processing Unit), RAM(Random Access Memory), 1차 기억 장치로서의 ROM(Read Only Memory), 통신을 수행하기 위한 통신 모듈, 보조 기억 장치로서 하드 디스크 등의 하드웨어, 및 통신 단말(10)의 사용자에 의해 조작되는 조작 유닛을 구성요소로서 포함하는 컴퓨터(도시 안 됨)이다. 이들 구성요소는 함께 작용하여 동작하며, 이에 의하여 통신 단말(10)의 기능이 구현된다.
도 3은 본 발명의 실시예에 따른 메시지 기억 서버(20)의 기능적 구성을 나타내는 도면이다. 도 3에 나타낸 바와 같이, 메시지 기억 서버(20)는, 입출력부(201), 기억 장치(202), 통지부(203), 감정 인식부(emotion recognizer)(204), 데이터 추출부(205), 생성부(206), 및 확인 요청부(207)를 포함한다.
메시지 기억 서버(20)는, CPU, RAM, 1차 기억 장치로서의 ROM, 통신을 수행하기 위한 통신 모듈, 및 보조 기억 장치로서 하드 디스크 등의 하드웨어를 구성요소로서 포함하는 컴퓨터(도시 안 됨)이다. 이들 구성요소는 함께 작용하여 동작하며, 이에 의하여 메시지 기억 서버(20)의 기능이 구현된다.
입출력부(메시지 수신부, 화면 데이터 송신부)(201)는, 음성 메시지 또는 영상 메시지를 통신 단말과 주고 받는 장치로서, 예컨대 통신 인터페이스가 될 수 있다. 입출력부(201)는, 수신측 통신 단말(10b)에 대한 음성 메시지 또는 영상 메시지를 송신측 통신 단말(10a)로부터 수신하면, 수신한 메시지를 기억 장치(202)에 전달한다. 확인 요청부(207)는, 감정 인식부(204)에 의해 인식된 감정의 종류를 나타내는 감정 데이터가 기억 장치(202)에 기억되면, 감정 데이터와, 기억 장치(202)로부터의 대응하는 음성 메시지 또는 영상 메시지의 데이터를 판독하고, 입출력부(201)로 하여금 그 판독한 데이터를 확인 요청으로서 송신측 통신 단말(10a)에 전송하도록 지시한다. 입출력부(201)는, 확인 요청부(207)로부터의 확인 요청을 전송하도록 하는 지시를 수신하면, 해당 확인 요청을 송신측 통신 단말(10a)에 전송한다. 통지부(notifier)(203)는, 송신측 통신 단말(10a)로부터의 음성 메시지 또는 영상 메시지가 등록되면, 입출력부(201)로 하여금 메시지의 통지(등록 통지)를 전송하도록 지시한다. 입출력부(201)는, 통지부(203)로부터 통지의 전송에 대한 지시를 수신하면, 해당 통지를 수신측 통신 단말(10b)에 전송한다.
본 명세서에서, "음성 메시지 또는 영상 메시지의 등록"은, 메시지가 단순히 기억 장치(202)에 기억되는 것을 의미하는 것이 아니라, 송신측 통신 단말(10a)의 사용자가 저장된 메시지에 대해 감정 인식부(204)에 의해 수행된 감정 인식의 결과를 승인하는 상황을 나타낸다. 등록을 행하는 과정에 대해서는 나중에 설명한다.
수신측 통신 단말(10b)은, 등록 통지(registration notification)를 수신하면, 등록된 메시지에 액세스하기 위한 액세스 요청을 메시지 기억 서버(20)에 전송한다. 입출력부(201)는, 수신측 통신 단말(10b)로부터의 액세스 요청에 따라 생성부(206)에 의해 생성된 화면 데이터(screen data)를 수신하면, 그 화면 데이터를 수신측 통신 단말(10b)에 전송한다. 화면 데이터는 수신측 통신 단말(10b)에 표시될 선택 화면의 이미지 데이터이다.
기억 장치(202)는, 음성 메시지 또는 영상 메시지의 데이터와 함께, 등록 시간, 메시지의 작성자, 메시지의 전체 재생 시간(즉, 길이), 감정이 가장 두드러진 메시지의 인식 포인트를 기억한다[기억 장치(202)의 데이터 구성에 대한 도 4를 참조]. 기억 장치(202)는, 입출력부(201)로부터 음성 메시지 또는 영상 메시지를 수신하면, 그 수신한 메시지를 기억한다. 감정 인식부(204)에 의해 음성 메시지 또는 영상 메시지에 대해 감정 인식이 수행되면, 기억 장치(202)는 감정 인식의 결과로서 생성된 감정 데이터를 대응하는 음성 메시지 또는 영상 메시지와 함께 기억한다. 감정 데이터는, 감정 인식에 의해 인식된 여러 가지 종류의 감정 중에서 가장 두드러진 감정을 나타낸다.
감정 인식부(204)는, 음성 메시지 또는 영상 메시지가 기억 장치(202)에 기억된 경우, 기억 장치로부터 해당 메시지를 판독해 내고, 메시지 내의 감정의 종류 를 인식한 다음, 그 인식의 결과에 대응하는 감정을 나타내는 감정 데이터를 음성 메시지 또는 영상 메시지와 함께 기억 장치(201)로 다시 전송해서 기억시킨다. 감정의 인식은 초 단위로 또는 메시지의 단위 시간마다 수행되도록 할 수 있다. 인식될 수 있는 감정의 종류에는, 예컨대 행복, 놀람, 분노, 싫음, 공포, 슬픔 등이 포함된다.
또한, 하나의 메시지 내에 복수 종류의 감정이 인식될 수 있기 때문에, 감정의 판정을 위한 가장 높은 빈도 또는 가장 높은 파라미터 값을 갖는 감정의 종류가 각각의 음성 메시지 또는 영상 메시지에 대해 식별되고, 이에 의하여 식별된 감정은 음성 메시지 또는 영상 메시지에 대한 감정의 종류로서 식별될 수 있다. 또한, 인식된 복수 종류의 감정을 나타내는 복수의 감정 데이터를 메시지와 함께 기억 장치(202)에 기억시킬 수 있다. 그러나, 본 실시예에서는, 감정 인식부(204)가 하나의 메시지에 하나의 감정 데이터를 할당한다.
감정을 인식하기 위한 방법으로서, 예컨대 음성 메시지인 경우, "나는 행복하다", "나는 슬프다"와 같은 감정적인 표현에 대한 데이터, 또는 볼륨, 속도, 톤 또는 음색에 대응하는 파형 데이터를, 여러 종류의 감정과 관련시켜 기억시키고, 각 종류의 감정에 대해 기억된 데이터와 감정 인식부(204)에 입력된 음성 메시지를 비교함으로써 감정의 종류가 인식된다. 영상 메시지인 경우에는, 영상으로부터 사용자의 안면 표정(예를 들어, 눈썹, 눈 및 입의 특징점 중에서 위치 관계)이나 몸짓을 추출하고, 추출한 데이터를, 여러 종류의 감정과 관련해서 미리 기억시켜 둔 안면 표정이나 몸짓에 대한 데이터를 비교함으로써 감정이 인식될 수 있다. 본 실 시예에서 사용된 음성 데이터 및 영상 데이터의 감정 인식은, 임의의 다른 유형의 공지된 방법이 될 수 있다.
확인 요청부(확인 요청 송신부)(207)는, 감정 인식부(204)에 의해 인식된 감정의 종류를 나타내는 감정 데이터가 기억 장치(202)에 기억된 경우에, 기억 장치(202)로부터 감정 데이터와 대응하는 음성 메시지 또는 영상 메시지를 판독하고, 판독한 데이터를, 감정 데이터에 의해 나타낸 감정의 종류가 사용자의 의도에 의한 것인지 여부에 대한 확인을 요청하기 위한 확인 요청으로서 송신측 통신 단말(10a)에 전송한다.
통지부(등록 통지부)(203)는, 메시지가 기억 장치(202)에 등록된 경우[즉, 송신측 통신 단말(10a)로부터의 승인 응답을 수신한 경우]에, 수신측 통신 단말(10b)에 송신할 메시지 등록 통지(간단히, 등록 통지), 음성 메시지 또는 영상 메시지를 등록한 송신측 통신 단말(10a)에 대한 정보를 포함하는 메시지 등록 통지, 등록 시간 등을 생성하고, 생성한 통지를 입출력부(201)로 하여금 수신측 통신 단말(10b)에 전송하도록 지시한다.
바람직하게는, 감정 인식부(204)에 의해 가장 두드러진 감정으로서 인식된 감정 데이터를 메시지 등록 통지에 포함시켜도 된다.
데이터 추출부(이미지 추출부)(205)는, 수신측 통신 단말(10b)로부터 액세스 요청을 수신하면, 수신측 통신 단말(10b)에 대한 음성 메시지 또는 영상 메시지와 이에 대응하는 감정 데이터를 기억 장치(202)로부터 판독한다. 판독한 메시지가 영상 데이터인 경우에는, 데이터 추출부(205)가 영상 데이터로부터 감정 데이터에 의해 나타낸 감정의 종류를 가장 잘 나타내는 장면의 이미지에 대응하는 이미지를 추출한다. 추출된 이미지 데이터는 생성부(206)로 전달된다. 음성 데이터인 경우에는, 일련의 캐릭터 또는 이미지가 감정의 종류에 따라 생성부(206)로 전달된다.
감정 데이터로 나타낸 감정의 종류를 가장 잘 나타내는 이미지를 추출함에 있어서, 비디오 메시지인 경우, 데이터 추출부(205)는 기억 장치(202)에 기억된 감정 데이터에 대한 인식 점(recognition point)(도 4)으로 표시된 시간 포인트(time point)의 이미지를 추출한다. 따라서, 데이터 추출부(205)는 기억 장치(202)로부터 인식 포인트의 데이터를 얻는다. 음성 메시지의 경우, 데이터 추출부(205)는, 일련의 캐릭터 및 이미지의 데이터가 각각의 감정 종류에 대해 미리 기억된 메모리(도시 안 됨)로부터 감정 데이터에 대응하는 일련의 캐릭터 또는 이미지를 판독한다.
생성부(제1 생성부, 제2 생성부)(206)는, 데이터 추출부(205)로부터 등록 메시지의 이미지 데이터를 수신하면, 기억 장치(202)로부터 메시지의 속성 정보를 구한다. 이 속성 정보에는, 작성자, 등록일, 전체 재생 시간 등이 포함되어 있다. 이어서, 생성부(206)는, 이미지 데이터와 속성 정보에 기초하여, 감정의 종류에 따라 하나 이상의 메시지를 표시하는 화면 이미지를 나타내는 화면 데이터를 생성하고, 이 화면 데이터를 입출력부(201)에 전송한다. 구체적으로 말해서, 생성부(206)는 사용자가 다운로드 하고자 하는 메시지를 선택하도록 수신측 통신 단말(10b)의 사용자에게 촉구하기 위한 선택 화면을 생성하는데, 이러한 경우는, 등록 통지가 메시지 기억 서버(20)로부터 수신측 통신 단말(10b)로 전송된 후에, 수 신측 통신 단말(10b)이 이에 따라 액세스 요청을 메시지 기억 서버(20)에 전송하는 경우이다. 이때, 선택 화면은, 선택 화면이 표시되어 있는 수신측 통신 단말(10b)의 사용자가 표시된 이미지 중 하나를 클릭하도록 구성되며, 다운로드 요청은 메시지 기억 서버(20)에 자동으로 전송되며, 음성 메시지 또는 영상 메시지를 다운로드하기 위한 기억 장치(202)에 기억된 메시지 중에서 클릭한 이미지에 대응하고, 이어서 원하는 메시지가 다운로드되어 재생된다.
도 5는 본 실시예의 수신측 통신 단말(10b)에 표시된 선택 화면의 예를 나타내는 도면이다.
수신측 통신 단말(10b)이, 메시지 기억 서버(20)로부터 메시지 등록 통지를 수신하는 경우에, 메시지 기억 서버(20)에 접속하면, 선택 화면의 화면 데이터는 메시지 기억 서버(20)로부터 수신되며, 선택 화면은, 등록된 메시지의 일련의 이미지, 작성자, 등록일, 및 전체 재생 시간을 각각의 등록 메시지에 대해 나타낸다. 이들 정보는 각 메시지의 속성을 나타내며, 사용자는 표시된 속성 정보를 보고, 어떤 메시지를 다운로드할 것인지를 결정한다.
도 5에 나타낸 예에서는, 감정의 종류별로 분류된 행복을 나타내는 2개의 메시지와 분노를 나타내는 하나의 메시지가 표시되어 있다. 각 메시지에 대해 감정을 가장 잘 나타내는 장면은 섬네일(thumbnail)로 처리되어 있다. 각각의 섬네일 장면은 데이터 추출부(205)에 의해 각 메시지로부터 추출된 이미지 데이터에 해당한다. 음성 메시지 또는 영상 메시지 중의 하나가 수신측 통신 단말(10b)에서 사용자에 의해 화면상에서 선택된 경우, 음성 메시지 또는 영상 메시지는 메시지 기 억 서버(20)로부터 다운로드되어 재생된다.
도 4 및 도 5에 나타낸 예의 경우, 메시지 기억 서버(20)에는 수신측 통신 단말(10b)에 대한 메시지가 등록되어 있다. 등록된 메시지는, 사용자로부터의 지시에 의해 삭제될 수 있으며, 삭제되지 않는 경우에는 재생을 위해 다운로드될 수 있다. 따라서, 등록된 메시지는 수신측 통신 단말(10b)에 의해 다운로드 가능한 메시지이다. 또한, 메시지 기억 서버(20)는, 미리 정해진 규칙에 따라, 등록된 메시지를 삭제할 수 있다.
이하, 본 실시예에 의한 감정 인식 메시지 시스템의 동작에 대하여 설명한다. 도 6은 감정 인식 메시지 시스템의 동작을 나타내는 시퀀스 차트이다. 도 6에 나타낸 바와 같이, 송신측 통신 단말(10a)은 먼저 음성 메시지 또는 영상 메시지의 입력을 수신하고(S1), 이에 의해 감정 인식 메시지 시스템의 동작이 개시된다. 음성 메시지 또는 영상 메시지의 입력은, 마이크로폰이나 비디오 카메라와 같은 입력부(102)를 통해 메시지를 입력하는 송신측 통신 단말(10a)의 사용자에 의해 수행된다.
입력된 음성 메시지 또는 영상 메시지는, 송신측 통신 단말(10a) 및 수신측 통신 단말(10b)에 의해 메시지의 목적지로서 특정되는 동시에, 메시지 기억 서버(20)에 전송된다(S2a). 메시지 기억 서버(20)는, 메시지를 수신하면, 수신한 메시지를 기억 장치(202)에 기억시킨다(S2b). 이러한 메시지의 기억에 의해 감정 인식 프로세스가 트리거된다.
메시지 기억 서버(20)는, 메시지가 기억되면, 감정 인식부(204)로 하여금 기 억된 메시지의 감정을 인식하도록 한다(S3). 감정 인식부(204)는 감정 인식의 결과인 감정 데이터를 대응하는 메시지에 할당한다. 구체적으로 말하면, 감정 데이터가 기억 장치(202) 내의 대응하는 메시지와 관련되어 기억된다.
메시지 기억 서버(20)에 의해, 확인 요청부(207)는 단계 S3에서 수행된 감정 인식의 결과인 감정 데이터와 기억된 음성 메시지 또는 영상 메시지의 데이터를 확인 요청(confirmation request)으로서 송신측 통신 단말(10a)에 전송하게 되고, 이에 의하여, 송신측 통신 단말(10a)에서 음성 메시지 또는 영상 메시지의 내용과 감정 데이터로 나타낸 감정의 종류가 확인된다(S4).
송신측 통신 단말(10a)은, 감정 인식의 결과인 감정 데이터와 음성 메시지 또는 영상 메시지를 메시지 기억 서버(20)로부터 수신하면, 수신한 음성 메시지 또는 영상 메시지를 재생하고, 동시에 수신한 감정 데이터에 의해 표현된 감정의 종류를 표시한다(S5). 이 표시 화면은 사용자에게 메시지에 대해 인식된 감정의 종류가 자신이 의도한 것에 맞는지 여부의 확인을 알려주기 위한 것이다. 따라서, 메시지의 재생이 완료되면, 송신측 통신 단말(10a)은 계속해서 사용자가 디스플레이(104)에 표시된 감정 인식의 결과에 동의하는지 여부를 입력하도록 사용자에게 촉구하기 위한 화면을 표시한다.
사용자가 음성 메시지 또는 영상 메시지에 대해 표시된 감정의 종류에 동의하는 경우, 송신측 통신 단말(10a)은 감정 인식의 결과에 대한 승인을 나타내는 응답 메시지(승인 응답)을 메시지 기억 서버(20)에 전송한다(S6). 한편, 사용자가 표시된 감정 인식의 결과에 동의하지 않는 경우, 송신측 통신 단말(10a)은, 인식의 결과의 불승인을 나타내는 응답 메시지를 메시지 기억 서버(20)에 전송한다(S6). 이 경우, 메시지 기억 서버(20)에 의해, 감정 인식부(204)는 이전 인식 결과를 배제하고(S3), 수정한 인식 결과를 음성 메시지 또는 영상 메시지와 함께 송신측 통신 단말(10a)에 전송한다(S4). 따라서, 메시지 기억 서버(20)는, 송신측 통신 단말(10a)로부터 승인 응답을 수신할 때까지, 단계 S3부터 단계 S5까지의 프로세스를 반복한다. 이와 달리, 사용자는 원하는 종류의 감정을 특정할 수도 있는데, 이는 사용자가 감정 인식이 여러 번 반복되는 경우에도 인식의 결과에 승인하지 않을 수 있기 때문이다. 또 다른 실시예로서, 사용자가 첫 번째 인식의 결과에 동의하지 않는 경우, 감정 인식 프로세스를 반복하지 않 고, 사용자는 원하는 종류의 감정을 특정할 수 있도록 해도 된다.
메시지 기억 서버(20)는, 송신측 통신 단말(10a)로부터 승인 응답을 수신하면, 대응하는 음성 메시지 또는 영상 메시지가 등록된 것으로 판정하고(S7), 음성 메시지 또는 영상 메시지가 등록된 것을 통지하기 위해 수신측 통신 단말(10b)에 대한 통지 메시지(등록 통보)를 생성한다(S8). 통지 메시지를 송신함에 있어서, 메시지 기억 서버(20)는 해당 메시지의 등록과 함께, 인식된 감정 데이터를 통지할 수도 있다.
단계 S3에서 기억 장치(202)에 기억된 감정 데이터 및 메시지는, 인식 결과에 대한 송신측 통신 단말(10a)로부터의 승인없이는 등록이 되지 않는다. 따라서, 인식 결과에 대한 송신측 통신 단말(10a)로부터의 승인이 없으면, 단계 S3에서 기억 장치(202)에 기억된 메시지는 수신측 통신 단말(10b)에 통지되지 않는다. 그러 므로, 본 실시예에 의하면, 메시지의 감정 인식이 감정 인식부(204)에 의해 수행되기 때문에, 대응하는 감정과의 메시지의 확인이 보장될 수 있다. 또한, 감정 인식의 결과는 결과가 메시지의 송신측에 의해 승인된 후에 상대측에 통지되기 때문에, 송신측의 의도와 전혀 다른 감정의 종류는 상대측에 전달되지 않게 된다. 따라서, 객관성과 주관성 사이에서 균형을 맞춘 후에 정해진 감정 데이터가 메시지에 할당되고, 송신측과 수신측 사용자 사이에서 원활한 통신이 증진된다.
기억 장치(202)는 송신측 통신 단말(10a)로부터의 승인이 소정의 기간 동안 또는 시간 만료될 때까지 수신하지 못한 기억된 메시지를 자동으로 삭제하도록 구성해도 된다.
수신측 통신 단말(10b)은, 등록 통지 메시지를 수신하면, 음성 메시지 또는 영상 메시지에 액세스하기 위한 액세스 요청을 전송하도록 메시지 기억 서버(20)에 접속한다(S9).
메시지 기억 서버(20)의 데이터 추출부(205)는, 수신측 통신 단말(10b)로부터 액세스 요청을 수신하면, 수신측 통신 단말(10b)에 대한 메시지와 이에 대응하는 감정 데이터를 기억 장치(202)로부터 판독한다. 판독한 메시지가 영상 메시지인 경우, 데이터 추출부(205)는, 감정 인식부(204)에 의해 인식된 감정 데이터에 의해 지시되는 감정의 종류를 가장 잘 나타내는 장면의 이미지를 추출한다. 판독한 메시지가 음성 메시지인 경우, 데이터 추출부(205)는 메모리로부터 감정 데이터에 적합한 일련의 캐릭터 또는 이미지를 판독한다. 수신측 통신 단말(10b)에 대한 메시지가 기억 장치(202)에 하나 이상 기억되어 있는 경우, 데이터 추출부(205)는 이미지의 추출을 실행하고 각 메시지에 대한 이미지 또는 일련의 캐릭터를 판독한다(S10).
메시지 기억 서버(20)의 생성부(206)는, 수신측 통신 단말(10b)에 표시되는 선택 화면의 이미지를 표현하는 화면 데이터를 생성하기 위해, 등록일, 작성자, 전체 재생 시간 등과 같은, 기억 장치(202)로부터 얻은 메시지의 속성 정보와 데이터 추출부(205)로부터 전달된 이미지를 사용한다. 선택 화면은 각 메시지에 할당된 감정 데이터에 기초하여 감정의 종류에 의한 메시지를 표시한다(S11). 데이터 추출부(205)에 의해 추출된 이미지는 각각의 등록된 메시지에 대한 감정 인식부(204)에 의해 인식된 감정 데이터에 대응하는 이미지이다. 따라서, 추출된 이미지는 속성 정보의 일부로서 간주된다.
메시지 기억 서버(20)는 선택 화면의 생성된 화면 데이터를 수신측 통신 단말(10b)에 전송한다(S12).
수신측 통신 단말(10b)은, 메시지 기억 서버(20)로부터 화면 데이터를 수신하면, 화면 데이터에 의해 표현된 이미지를 표시한다(S13).
수신측 통신 단말(10b)의 사용자는, 표시된 화면을 보고, 자신이 재생시키고자 하는 메시지의 이미지의 선택 결과를 입력한다. 입력된 선택 결과의 신호는, 선택된 메시지의 다운로드 요청으로서 메시지 기억 서버(20)로 전송된다(S14). 다운로드 요청은 어떤 메시지를 다운로드할 것인지를 특정하는 정보를 포함한다.
메시지 기억 서버(20)는, 다운로드 요청을 수신하면, 기억 장치(202)로부터 관련 음성 메시지 또는 영상 메시지의 데이터를 독출하고, 해당 메시지를 수신측 통신 단말(10b)에 전송한다(S15).
수신측 통신 단말(10b)은, 음성 메시지 또는 영상 메시지의 데이터를 수신하면, 해당 메시지를 재생한다(S16).
변형 실시예
앞서 설명한 실시예에서, 생성부(206)는 메시지 기억 서버(20)에 설치되지만, 대신에, 수신측 통신 단말(10b)이 선택 화면의 화면 데이터를 생성하는 것으로 해도 된다. 도 7은 이러한 경우에 감정 인식 시스템의 동작을 나타내는 시퀀스 차트이다. 이 경우, 수신측 통신 단말(10b)이 메시지 등록 통지(S8)에 따라 메시지 기억 서버(20)에 액세스 요청(S9)을 전송하면, 메시지 기억 서버(20)의 데이터 추출부(205)는 감정 인식부(204)에 의해 인식된 감정 데이터에 의해 나타낸 감정의 종류에 적합한 이미지를 추출한다. 따라서, 메시지 기억 서버(20)는, 선택 화면을 생성하지 않고도, 추출한 데이터, 메시지에 할당된 감정 데이터, 및 메시지의 등록일, 작성자, 전체 재생 시간 등과 같은 메시지의 속성에 대한 정보를 수신측 통신 단말(10b)에 전송한다(S11'). 수신측 통신 단말(10b)에서는, 컨트롤러(102)가 수신한 데이터에 기초하여 화면 데이터를 생성해서, 디스플레이(104)에 표시한다(S12', S13). 이 경우, 수신측 통신 단말(10b)의 컨트롤러(102)는 감정의 종류에 따라 분류한 다음 메시지를 표시한다.
수신측 통신 단말(10b)에 대한 메시지가 기억 장치(202)에 하나 이상 기억되어 있는 경우, 메시지 기억 서버(20)는 각 메시지에 대한 이미지의 추출을 수행하고, 추출한 데이터와 각 메시지에 대한 메시지의 속성에 대한 정보를 수신측 통신 단말(10b)에 전송한다. 수신측 통신 단말(10b)의 컨트롤러(102)는 수신한 데이터에 기초해서 복수의 메시지가 감정의 종류에 의해 나타난 선택 화면을 생성한다.
상기 실시예에서, 감정 인식은, 송신측 통신 단말(10a)로부터 수신된 메시지가 메시지 기억 서버(20)의 기억 장치(202)에 기억되면, 트리거된다. 다른 예로서, 감정 인식은, 메시지 기억 서버(20)의 입출력부(201)가 송신측 통신 단말(10a)로부터 송신된 메시지를 수신하면 트리거되도록 할 수 있다. 이러한 경우, 확인 요청이 송신측 통신 단말(10a)에 전송된 시점에서, 메시지와 그 감정 데이터가 기억 장치(202)에 기억되지 않도록 구성할 수도 있다. 메시지와 그 감정 데이터는, 메시지 기억 서버(20)가 나중에 송신측 통신 단말(10a)로부터 등록을 위한 요청(즉, 승인 응답)을 수신한 후에, 기억 장치(202)에 기억될 수 있다.
상기 실시예에서, 도 6의 단계 S4에서, 메시지 기억 서버(20)의 확인 요청부(207)는, 감정 인식부(204)에 의해 수행된 감정 인식의 결과인 감정 데이터를, 단계 S2a에서 수신된 메시지와 함께, 송신측 통신 단말(10a)에 전송한다. 다른 예로서, 확인 요청부(207)가 메시지를 송신측 통신 단말(10a)에 전송하지 않고 감정 데이터만을 전송하도록 구성할 수도 있다. 이 경우, 확인 요청부(207)는 대응하는 메시지를 확인하는 정보와 함께 감정 데이터를 전송할 수 있다. 메시지는 음성 데이터 또는 영상 데이터이기 때문에, 송신측 통신 단말(10a)과 메시지 기억 서버(20) 사이에서 메시지를 여러 번 전송하는 것은 통신 시스템에 과도한 부담을 주게 된다. 그러나, 본 변형예에 의하면, 이러한 부담을 경감시킬 수 있다.
상기 실시예에서, 메시지 기억 서버(20)의 데이터 추출부(205)는 수신측 통 신 단말(10b)이 메시지 기억 서버(20)에 액세스 요청을 전송한 후에 이미지를 추출한다. 다른 예로서, 데이터 추출부(205)는 메시지 데이터의 등록시의 이미지를 추출함으로써, 선택 화면 이미지가 생성부(206)에 의해 바로 생성되도록 할 수 있다. 구체적으로 말해서, 데이터 추출부(205)는 수신측 통신 단말(10b)에 대한 등록 통지 메시지의 전송과 동시에 이미지를 추출할 수 있다. 이러한 구성에 의하면, 수신측 통신 단말(10b)은, 선택 화면을 표시할 때까지, 메시지 기억 서버(20)에 액세스 요청을 전송하기 때문에, 필요한 시간을 감소시킬 수 있다.
본 실시예에서, 도 5에 나타낸 선택 화면은 메시지가 여러 종류의 감정으로 표시되도록 했지만, 본 발명은 이에 한정되지 않는다. 다른 예로서, 메시지는 등록일이나 시간 또는 메시지의 작성자에 따라 분류될 수 있다.
상기 실시예에서, 데이터 추출부(205)와 생성부(206)는 메시지 기억 서버(20)에 제공되어 있지만, 데이터 추출부(205)와 생성부(206)는 다른 서버에 제공될 수도 있다. 즉, 메시지 기억 서버는 음성 메시지 또는 영상 메시지의 기억과 감정 인식 프로세스에 전용인 것으로 할 수 있으며, 데이터 추출부와 생성부는 웹서버로서 구성할 수도 있다. 이에 의하면, 메시지 기억 서버를 단순한 구성으로 할 수 있으며, 웹 인터페이스와 같은 범용의 인터페이스를 사용하여 통신 단말로부터의 액세스를 용이하게 할 수 있다.
상기 실시예에서, 수신측 통신 단말(10b)은 단계 S16에서 음성 메시지 또는 영상 메시지만을 재생하는 것으로 했지만, 메시지의 재생과 함께 감정 데이터가 추가로 표시되도록 할 수도 있다. 구체적으로 말해서, 통신 단말의 화면을 2개의 부 분으로 분할함으로써, 음성이나 영상이 하나의 화면에 재생되어 보이게 되며, 대응하는 감정 데이터는 다른 화면상에 표시될 수 있다. 이 변형예에 의하면, 메시지의 각 장면의 감정의 종류가 메시지의 재생 과정에서 동시에 표시될 수 있다. 이 경우, 감정 인식부(204)에 의해 인식된 감정 데이터의 복수 개의 부분 각각에 대해, 그 인식 포인트를 대응하는 감정 데이터와 관련시켜서 기억 장치에 기억시키는 것이 바람직하다.
상기 실시예에서, 인식의 대상이 되는 감정의 종류는 메시지 기억 서버(20)에 의해 설정되는 것으로 했지만, 다른 예에서는 수신측 통신 단말(10b)이 인식할 감정의 종류를 특정하도록 해도 된다. 즉, 통신 단말은, "즐거움"에만 관련된 장면으로부터 감정을 인식하거나 사용자에 의해 특정된 수의 감정의 종류를 인식하도록 요청하기 위해 메시지 기억 서버에 로그인할 수 있다. 이 변형예에 의하면, 수신측 사용자가 원하는 감정의 종류에 집중한 감정 인식을 수행할 수 있다.
상기 실시예에서는, 데이터 추출부(205)가 음성 메시지에 대해 감정 데이터에 대응하는 이미지 또는 일련의 캐릭터를 취득하는 것으로 했지만, 다른 예에서는, 데이터 추출부(205)가 감정 인식부(204)에 의해 인식된 감정의 종류를 가장 잘 나타내는 음성 데이터를 추출하고, 추출한 음성 데이터를 생성부(206)로 전달하는 것으로 해도 된다. 이 경우, 감정 데이터의 인식 포인트에 대응하는 음성 데이터가 추출되며, 데이터 추출부(205)는 재생 기간이 인식 포인트를 포함하는 어구나 단어를 추출할 수 있다.
도 1은 본 발명의 실시예에 의한 감정 인식 메시지 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 실시예에 의한 통신 단말의 기능적 구성을 나타내는 도면이다.
도 3은 본 발명의 실시예에 의한 메시지 기억 서버의 기능적 구성을 나타내는 도면이다.
도 4는 본 발명의 실시예에 의한 메시지 기억 서버에서의 데이터 구성을 나타내는 표이다.
도 5는 본 발명의 실시예에 의한 수신측 통신 단말에 표시되는 화면의 예를 나타내는 도면이다.
도 6은 본 발명의 실시예에 의한 동작을 나타내는 시퀀스 차트이다.
도 7은 본 발명의 변형예에 의한 동작을 나타내는 시퀀스 차트이다.

Claims (10)

  1. 메시지 기억 서버와 둘 이상의 모바일 통신 단말을 포함하는 메시지 시스템으로서,
    상기 둘 이상의 모바일 통신 단말은,
    상기 메시지 기억 서버와 데이터를 주고 받는 송수신부;
    이미지를 표시하는 디스플레이;
    사용자로부터 음성 또는 영상의 입력을 수신하는 입력 수신부; 및
    상기 송수신부, 상기 디스플레이, 및 상기 입력 수신부를 각각 제어하는 컨트롤러를 각각 포함하며,
    상기 컨트롤러는, 다른 모바일 통신 단말에 대한 음성 메시지 또는 영상 메시지가 상기 입력 수신부에 의해 수신되면, 수신한 상기 메시지를 상기 송수신부를 통해 상기 메시지 기억 서버에 전송하고,
    상기 메시지 기억 서버는,
    상기 모바일 통신 단말로부터 다른 모바일 통신 단말에 대한 메시지를 수신하는 메시지 수신부;
    상기 메시지 수신부에 의해 수신된 메시지를 기억하는 기억 장치;
    상기 메시지에 대해 감정 인식(emotion recognition)을 수행하고, 인식된 감정을 나타내는 감정 데이터(emotion data)를 상기 메시지에 할당하는 감정 인식부(emotion recognizer); 및
    상기 메시지를 송신한 모바일 통신 단말에 상기 감정 인식부에 의해 할당된 감정 데이터를 확인 요청(confirmation request)으로서 송신하는 확인 요청 송신부를 포함하며,
    상기 컨트롤러는, 상기 확인 요청을 상기 메시지 기억 서버로부터 수신하면, 수신한 상기 감정 데이터에 대응하는 이미지를 상기 디스플레이 상에 표시하는, 메시지 시스템.
  2. 메시지 기억 서버를 갖는 모바일 통신 시스템에 접속되어, 다른 모바일 통신 단말과 통신을 행하는 모바일 통신 단말로서,
    상기 메시지 기억 서버와 데이터를 주고 받으면서, 상기 모바일 통신 단말로부터 수신한 음성 메시지 또는 영상 메시지에 대하여 감정 인식을 수행하고, 인식된 감정을 나타내는 감정 데이터를 상기 수신한 메시지에 할당한 후에, 상기 모바일 통신 단말로부터 수신한 상기 메시지를 등록하는 송수신부;
    이미지를 표시하는 디스플레이;
    사용자로부터 음성 또는 영상의 입력을 수신하는 입력 수신부; 및
    상기 송수신부, 상기 디스플레이, 및 상기 입력 수신부를 각각 제어하는 컨트롤러를 포함하고,
    상기 컨트롤러는, 상기 다른 모바일 통신 단말에 대한 음성 메시지 또는 영상 메시지가 상기 입력 수신부에 의해 수신되면, 수신한 메시지를 상기 송수신부를 통해 상기 메시지 기억 서버에 전송하며,
    상기 컨트롤러는, 전송한 상기 메시지에 대한 감정 데이터를 상기 메시지 기억 서버로부터 확인 요청으로서 수신하면, 수신한 상기 감정 데이터에 대응하는 이미지를 상기 디스플레이 상에 표시하고,
    상기 컨트롤러는, 사용자가 상기 디스플레이 상에 표시된 이미지가 나타내는 감정의 종류에 동의하는 것을 나타내는 입력 지시를, 상기 입력 수신부를 통해 수신하면, 상기 감정 데이터에 대한 승인을 나타내는 승인 응답을 상기 송수신부를 통해 상기 메시지 기억 서버에 전송하는, 모바일 통신 단말.
  3. 제2항에 있어서,
    상기 컨트롤러는, 상기 메시지 기억 서버에의 상기 모바일 통신 단말에 대한 메시지의 등록(registration)을 통지하는 등록 통지를, 상기 송수신부를 통해 상기 메시지 기억 서버로부터 수신하면, 등록된 상기 메시지에 대한 액세스 요청을 상기 송수신부를 통해 상기 메시지 기억 서버에 전송하며,
    상기 컨트롤러는, 상기 등록된 메시지의 속성을 나타내는 메시지 정보가 표시되는 선택 화면을 표현하는 화면 데이터를, 상기 메시지 기억 서버로부터 상기 송수신부를 통해 수신하면, 상기 화면 데이터에 의해 표현된 선택 화면을 상기 디스플레이 상에 표시하고, 상기 선택 화면은 상기 모바일 통신 단말이 다운로드 가능한 하나 이상의 메시지의 메시지 정보를 표시하며, 상기 메시지 정보는 상기 메시지의 감정 데이터가 나타내는 감정의 종류에 따라 분류된 후에 표시되고,
    상기 컨트롤러는, 상기 하나 이상의 메시지 중의 하나의 메시지가 상기 선택 화면으로부터 선택되면, 선택된 상기 메시지에 대한 다운로드 요청을 상기 메시지 기억 서버에 전송하는, 모바일 통신 단말.
  4. 제2항에 있어서,
    상기 컨트롤러는, 상기 메시지 기억 서버에의 상기 모바일 통신 단말에 대한 메시지의 등록을 통지하는 등록 통지를, 상기 메시지 기억 서버로부터 상기 송수신부를 통해 수신하면, 등록된 메시지에 대한 액세스 요청을, 상기 송수신부를 통해 상기 메시지 기억 서버에 전송하며,
    상기 컨트롤러는, 상기 모바일 통신 단말이 다운로드 가능한 하나 이상의 메시지의 메시지 정보로서 상기 등록된 메시지의 속성을 나타내는 메시지 정보를 표시하는 선택 화면을 표현하는 화면 데이터를, 상기 메시지 기억 서버로부터 상기 송수신부를 통해 수신하면, 상기 화면 데이터가 표현하는 선택 화면을 상기 디스플레이 상에 표시하고, 상기 메시지 정보는 상기 메시지에 할당된 감정 데이터가 나타내는 감정을 가장 잘 표현하는 이미지를 포함하고,
    상기 컨트롤러는, 상기 하나 이상의 메시지 중의 하나의 메시지가 상기 선택 화면으로부터 선택되면, 선택된 메시지에 대한 다운로드 요청을 상기 메시지 기억 서버에 전송하는, 모바일 통신 단말.
  5. 제4항에 있어서,
    상기 선택 화면에는, 상기 모바일 통신 단말이 다운로드 가능한 상기 하나 이상의 메시지의 상기 메시지 정보가, 상기 메시지의 감정 데이터가 나타내는 감정의 종류에 따라 분류된 후에 표시되는, 모바일 통신 단말.
  6. 둘 이상의 모바일 통신 단말 사이에서 통신을 중계하기 위한, 모바일 통신 단말의 메시지 기억 서버로서,
    제2 모바일 통신 단말에 보낼 음성 메시지 또는 영상 메시지를 제1 모바일 통신 단말로부터 수신하는 메시지 수신부;
    상기 메시지 수신부에 의해 수신된 메시지를 기억하는 기억 장치;
    상기 메시지에 대해 감정 인식을 수행하고, 인식된 감정을 나타내는 감정 데이터를 상기 메시지에 할당하는 감정 인식부(emotion recognizer); 및
    상기 메시지를 전송한 상기 제1 모바일 통신 단말에, 상기 감정 인식부에 의해 할당된 감정 데이터를 확인 요청으로서 전송하는 확인 요청 송신부
    를 포함하는 메시지 기억 서버.
  7. 제6항에 있어서,
    상기 감정 데이터에 대한 승인을 나타내는 승인 응답을 상기 제1 모바일 통신 단말로부터 수신하면, 상기 기억 장치에 기억되어 있는 메시지로서, 승인된 상기 감정 데이터에 대응하는 메시지의 등록 통지를, 상기 제2 모바일 통신 단말에 전송하는 등록 통지부(registration notifier)를 더 포함하는 메시지 기억 서버.
  8. 제7항에 있어서,
    상기 등록 통지에 대한 응답으로서 상기 제2 모바일 통신 단말로부터 액세스 요청을 수신하면, 상기 기억된 메시지의 속성을 나타내는 메시지 정보가 표시되는 선택 화면을 표현하는 화면 데이터를 생성하는 제1 생성부; 및
    상기 제1 생성부에 의해 생성된 화면 데이터를 상기 제2 모바일 통신 단말에 전송하는 화면 데이터 송신부를 더 포함하며,
    상기 제1 생성부는, 상기 메시지 정보를 분류한 후에, 상기 제2 모바일 통신 단말이 다운로드 가능한 상기 메시지의 메시지 정보를 표시하는 화면을 선택 화면으로서 생성하고,
    상기 메시지 정보는 상기 메시지의 감정 데이터가 나타내는 감정의 종류에 따라 분류되는, 메시지 기억 서버.
  9. 제7항에 있어서,
    상기 등록 통지에 응답하여 상기 제2 모바일 통신 단말로부터 액세스 요청을 수신하면, 상기 기억된 메시지가 영상 메시지인 경우, 상기 메시지에 대응하는 감정 데이터에 의해 나타낸 감정을 가장 잘 표현하는 이미지를, 상기 메시지의 영상 데이터로부터 추출하는 이미지 추출부(image extractor);
    상기 이미지 추출부에 의해 추출된 이미지를, 상기 기억된 메시지의 속성을 나타내는 메시지 정보의 일부로서 표시하는 선택 화면을 표현하는 화면 데이터를 생성하는 제2 생성부; 및
    상기 제2 생성부에 의해 생성된 화면 데이터를 상기 제2 모바일 통신 단말에 전송하는 화면 데이터 송신부를 더 포함하는 메시지 기억 서버.
  10. 제9항에 있어서,
    상기 제2 생성부는, 상기 메시지 정보를 분류한 후에, 상기 제2 모바일 통신 단말에 의해 다운로드 가능한 상기 메시지의 메시지 정보를 표시하는 화면을 선택 화면으로서 생성하며, 상기 메시지 정보는 상기 메시지의 감정 데이터에 의해 나타낸 감정의 종류에 따라 분류되는, 메시지 기억 서버.
KR1020090027452A 2008-04-07 2009-03-31 감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말및 메시지 기억 서버 Expired - Fee Related KR101027406B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090027452A KR101027406B1 (ko) 2008-04-07 2009-03-31 감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말및 메시지 기억 서버

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2008-099750 2008-04-07
KR1020090027452A KR101027406B1 (ko) 2008-04-07 2009-03-31 감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말및 메시지 기억 서버

Publications (2)

Publication Number Publication Date
KR20090106989A true KR20090106989A (ko) 2009-10-12
KR101027406B1 KR101027406B1 (ko) 2011-04-11

Family

ID=41536834

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090027452A Expired - Fee Related KR101027406B1 (ko) 2008-04-07 2009-03-31 감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말및 메시지 기억 서버

Country Status (1)

Country Link
KR (1) KR101027406B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012057561A3 (ko) * 2010-10-28 2012-07-26 (주)엠씨에스로직 인스턴트 메신저 서비스 제공시스템 및 그 제공방법, 및 통신 단말기 및 그 통신방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102011495B1 (ko) 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
KR101632662B1 (ko) * 2015-01-06 2016-06-22 주식회사 엘지유플러스 사운드콘을 재생하는 방법 및 이동 단말
KR102191337B1 (ko) 2019-05-13 2020-12-16 전남대학교산학협력단 감정인식을 위한 비디오 데이터 구축 방법 및 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100605143B1 (ko) * 2005-01-14 2006-07-31 (주)필링크 멀티미디어메시지 생성 시스템 및 방법
JP4670431B2 (ja) 2005-03-30 2011-04-13 日本電気株式会社 音声感情認識によるメール作成機能付携帯端末、携帯端末システム、及び、音声感情認識によるメール作成方法
JP2007049657A (ja) 2005-08-05 2007-02-22 Seiya Takada 留守番電話装置
KR20080004815A (ko) * 2006-07-06 2008-01-10 주식회사 이지티이케이 계층형 음성 분석을 이용한 감정 탐지 시스템 및 서비스방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012057561A3 (ko) * 2010-10-28 2012-07-26 (주)엠씨에스로직 인스턴트 메신저 서비스 제공시스템 및 그 제공방법, 및 통신 단말기 및 그 통신방법

Also Published As

Publication number Publication date
KR101027406B1 (ko) 2011-04-11

Similar Documents

Publication Publication Date Title
US8285257B2 (en) Emotion recognition message system, mobile communication terminal therefor and message storage server therefor
RU2442294C2 (ru) Устройство и способ для обеспечения и отображения анимированных sms-сообщений
CN101455066B (zh) 目录服务器装置、服务器控制方法和服务器-客户机系统
WO2003063483A1 (fr) Dispositif de communication
KR20080058124A (ko) 촉각 서비스를 제공하는 휴대단말기 및 그 방법
KR101027406B1 (ko) 감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말및 메시지 기억 서버
JP2007280074A (ja) 携帯端末および制御方法
JP2019197977A (ja) 問い合わせ処理方法、システム、端末、自動音声対話装置、表示処理方法、通話制御方法、及び、プログラム
KR100941598B1 (ko) 감정적 콘텐츠 효과를 포함하는 전화 통신 서비스를제공하는 ＶｏＩＰ 전화 통신 시스템 및 방법
JP2002057693A (ja) メッセージ交換システムおよび記録媒体
JP2015060380A (ja) 情報端末および情報処理システム
JP2004193809A (ja) 通信装置
KR20040044256A (ko) 발신 번호 표시 서비스와 연동되는 부가 컨텐츠 제공 방법및 장치
KR20090044362A (ko) 사용자 커뮤니케이션을 위한 메시징 서비스 제공 방법 및그 시스템
KR20180128653A (ko) 대화 검색 방법, 대화 검색이 가능한 휴대형 단말 및 대화 관리 서버
KR101677622B1 (ko) 영상 표시 방법 및 그 장치
JP4783264B2 (ja) 電子メール作成方法及び通信端末装置
JP2015115926A (ja) 携帯端末装置、読唇通信方法、及びプログラム
JP6824457B1 (ja) プログラム、携帯電話装置、情報処理システム及び情報処理方法
KR100596001B1 (ko) 사용자 단말기에 소정의 콘텐츠를 제공하기 위한 방법 및그 시스템
KR102818060B1 (ko) 선물 카드를 제공하는 방법, 서버 및 사용자 단말
JP6196850B2 (ja) コミュニケーションシステム、コミュニケーション方法及びコンピュータプログラム
WO2017163324A1 (ja) コミュニケーションシステム、コミュニケーション方法及びプログラム
KR102221015B1 (ko) 대리통화 서비스 장치 및 방법
JP2007019600A (ja) 電話装置及び着信通知方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20090331

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20100824

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20110221

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20110330

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20110330

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20140228

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20140228

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20150302

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20150302

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20160304

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20160304

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20170302

Start annual number: 7

End annual number: 7

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20190110