KR20080102035A - 이동통신에서의 감정 레터링 서비스 시스템 및 방법 - Google Patents

이동통신에서의 감정 레터링 서비스 시스템 및 방법 Download PDF

Info

Publication number
KR20080102035A
KR20080102035A KR20070048329A KR20070048329A KR20080102035A KR 20080102035 A KR20080102035 A KR 20080102035A KR 20070048329 A KR20070048329 A KR 20070048329A KR 20070048329 A KR20070048329 A KR 20070048329A KR 20080102035 A KR20080102035 A KR 20080102035A
Authority
KR
South Korea
Prior art keywords
lettering
user
mobile communication
communication terminal
transmitting
Prior art date
Application number
KR20070048329A
Other languages
English (en)
Inventor
오형규
양중근
김문기
전용하
강성욱
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR20070048329A priority Critical patent/KR20080102035A/ko
Publication of KR20080102035A publication Critical patent/KR20080102035A/ko

Links

Images

Landscapes

  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 이동통신에서의 감정 레터링 서비스 시스템 및 방법에 관한 것이다.
본 발명은 상대방에게 전화를 걸어 통화하는 이동통신단말기 사용자의 얼굴을 촬영하여 포착한 사용자 얼굴 영상에 의거하여 얼굴 표정을 인식하여 그에 대응되는 감정 상태를 나타내는 레터링 문구를 결정하여 상대방에게 전송하여서 상대방의 이동통신단말기 화면에 해당 레터링 문구를 표시함으로써, 이동통신단말기의 사용자가 전화 통화를 할 때마다 사용자의 얼굴 표정에 따라 실시간으로 파악한 이동통신단말기 사용자의 감정 상태를 통화 상대방에게 전달하여 통화시에 효과적인 커뮤니케이션이 이루어지게 한다.
이동통신, 레터링 서비스

Description

이동통신에서의 감정 레터링 서비스 시스템 및 방법{System and Method for Sentiment Lettering Service in Mobile Telecommunication}
도 1은 본 발명에 따른 이동통신에서의 감정 레터링 서비스 시스템을 도시한 도.
도 2는 도 1에 도시된 이동통신단말기의 구성을 도시한 도.
도 3은 본 발명에서의 감정 레터링 서비스 처리의 개요를 도시한 도.
도 4는 본 발명에 따른 감정 레터링 서비스 시스템에서의 감정 레터링 서비스 처리 과정을 도시한 흐름도.
* 도면의 주요 부분에 대한 부호의 설명 *
10a, 10b; 이동통신단말기 21, 25; 기지국
22, 26; 기지국 제어기 23, 27; 교환기
24, 28; HLR 30; 레터링 서비스 서버
본 발명은 이동통신에 관한 것으로, 특히 이동통신에서 상대방에게 전화를 걸어 통화하는 이동통신단말기 사용자의 얼굴 표정을 인식하여 그에 대응되는 감정 상태를 나타내는 레터링(Lettering) 문구를 결정하여 상대방에게 전송하여서 상대방의 이동통신단말기 화면에 해당 레터링 문구를 표시함으로써 이동통신단말기 사용자의 감정 상태를 통화 상대방에게 전달하여 효과적인 커뮤니케이션이 이루어지도록 하는 이동통신에서의 감정 레터링 서비스 시스템 및 방법에 관한 것이다.
일반적으로 사용자가 위치 이동하면서 통화할 수 있다는 이점에 기인하여 이동통신단말기가 널리 보급되어 사용되고 있으며, 이동통신단말기 사용자들이 일상생활에서 이동통신을 통해 상대방과 통화하는 일이 매우 빈번하다.
종래에는 이와 같이 사용자들이 이동통신을 통해 통화하는 경우에 상대방과 주로 음성을 주고받으면서 통화하기 때문에 상대방의 현재 감정 상태를 알 수 없기 때문에 상대방과의 통화시에 상대방의 감정 상태에 따라 적절히 응대하기가 어렵다는 문제점이 있었다.
본 발명은 상술한 바와 같은 종래기술의 문제점을 해결하기 위하여 제안한 것으로, 이동통신에서 상대방에게 전화를 걸어 통화하는 이동통신단말기 사용자의 얼굴 표정을 인식하여 그에 대응되는 감정 상태를 나타내는 레터링 문구를 결정하여 상대방에게 전송하여서 상대방의 이동통신단말기 화면에 해당 레터링 문구를 표시함으로써, 이동통신단말기의 사용자가 전화 통화를 할 때마다 사용자의 얼굴 표 정에 따라 실시간으로 파악한 이동통신단말기 사용자의 감정 상태를 통화 상대방에게 전달하여 효과적인 커뮤니케이션이 이루어지도록 하는 이동통신에서의 감정 레터링 서비스 시스템 및 방법을 제공함에 목적이 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 이동통신에서의 감정 레터링 서비스 시스템은, 제1 이동통신단말기에서 촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 전송하여 레터링 서비스 요구하기 위한 서비스 요구 전송 수단과; 상기 레터링 서비스 요구에 따라 상기 사용자 감정 상태를 나타내는 레터링 문구를 포함하는 레터링 메시지를 제2 이동통신단말기에 전송하여 제2 이동통신단말기의 화면에 상기 레터링 문구를 표시하기 위한 서비스 전달수단을 포함한다.
그리고, 상기 서비스 요구 전송 수단은, 촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 전송하는 제1 이동통신단말기와; 상기 제1 이동통신단말기로부터 전송되는 레터링 메시지를 송신측 기지국 및 송신측 기지국 제어기를 통해 수신하여 전달하는 송신측 교환기와; 상기 송신측 교환기로부터 전달된 레터링 메시지를 수신하여 상기 제1 이동통신단말기의 사용자가 레터링 서비스 이용자임을 확인하고 레터링 메시지를 전달하여 레 터링 요구하는 송신측 HLR를 포함하는 것을 특징으로 한다.
또한, 상기 서비스 전달수단은, 상기 송신측 HLR로부터의 레터링 요구를 수신하여 상기 제1 이동통신단말기의 사용자가 적법한 사용자임을 확인하고 최종 레터링 메시지를 작성하여 수신 요구 신호와 함께 전송하는 레터링 서비스 서버와; 상기 레터링 서비스 서버로부터 전송된 레터링 메시지와 수신 요구 신호를 수신하여 전송하는 수신측 HLR과; 상기 수신측 HLR로부터 전송된 레터링 메시지와 수신 요구 신호를 수신하여 수신측 기지국 제어기를 통해 수신측 기지국에 전송하는 수신측 교환기와; 상기 수신측 기지국을 통해 통화 연결되어서 수신측 기지국을 통해 전송되는 레터링 메시지를 수신하여 상대방의 감정 상태를 나타내는 레터링 문구를 화면에 시각적으로 확인할 수 있도록 표시하는 제2 이동통신단말기를 포함하는 것을 특징으로 한다.
그리고, 상기 제1 이동통신단말기는, 카메라부에 의해 촬영한 사용자 얼굴 영상으로부터 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 결정하는 영상처리부와; 상기 영상처리부에 의해 결정된 사용자 감정 상태에 대응하는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 생성하여 통신처리부를 통해 상기 송신측 기지국에 전송하는 제어부와; 상기 영상처리부와 제어부의 구동을 위한 프로그램을 저장하고, 상기 영상처리부에서 사용자 얼굴 표정을 인식하여 그에 대응되는 감정 상태를 결정함에 사용되는 데이터와, 상기 제어부에서 레터링 문구를 결정함에 사용되는 상기 감정 상태에 대응되는 레터링 문구를 저장하는 메모리부를 포함하는 것을 특징으로 한다.
또한, 상기 제2 이동통신단말기는, 레터링 문구를 표시하는 표시부와; 수신측 기지국으로부터 수신되는 레터링 메시지에 포함된 레터링 문구를 추출하여 상기 표시부에 출력하는 제어부를 포함하는 것을 특징으로 한다.
한편, 상기 목적을 달성하기 위한 본 발명에 따른 이동통신에서의 감정 레터링 서비스 방법은, 제1 이동통신단말기에서 촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 레터링 서비스 서버에 전송하여 레터링 서비스 요구하는 서비스 요구 과정과; 상기 레터링 서비스 서버에서 상기 레터링 서비스 요구에 따라 상기 사용자 감정 상태를 나타내는 레터링 문구를 포함하는 레터링 메시지를 제2 이동통신단말기에 전송하여 제2 이동통신단말기의 화면에 상기 레터링 문구를 표시하는 전송 표시 과정을 포함한다.
그리고, 상기 서비스 요구 과정은, 상기 제1 이동통신단말기에서 촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 송신측 기지국 및 기지국 제어기를 통해 송신측 교환기에 전송하는 단계와; 상기 송신측 교환기에서 상기 전송된 레터링 메시지를 통해 수신하여 송신측 HLR에 전달하는 단계와; 상기 송신측 HLR에서 송신측 교환기로부터 전달된 레터링 메시지를 수신하여 상기 제1 이동통신단말기의 사용자가 레터링 서비스 이용자인지의 여부를 확인하는 단계와; 상기 송신측 HLR에서 상기 제1 이동통신단말기의 사용자가 레터링 서비스 이용자이면 상기 레터링 서비스 서버에 레터링 메시지를 전달 하여 레터링 요구하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 전송 표시 과정은, 상기 레터링 서비스 서버에서 상기 레터링 요구를 수신하여 상기 제1 이동통신단말기의 사용자가 적법한 사용자인지의 여부를 확인하는 단계와; 상기 레터링 서비스 서버에서 상기 제1 이동통신단말기의 사용자가 적법한 사용자임을 확인하면 최종 레터링 메시지를 작성하여 수신 요구 신호와 함께 수신측 HLR에 전송하는 단계와; 상기 수신측 HLR에서 레터링 서비스 서버로부터 전송된 레터링 메시지와 수신 요구 신호를 수신하여 수신측 교환기에 전송하는 단계와; 상기 수신측 교환기에서 상기 전송된 레터링 메시지와 수신 요구 신호를 수신하여 수신측 기지국 제어기와 수신측 기지국을 통해 제2 이동통신단말기에 전송하는 단계와; 상기 제2 이동통신단말기에서 상기 수신측 기지국을 통해 전송되는 레터링 메시지를 수신하여 상대방의 감정 상태를 나타내는 레터링 문구를 화면에 시각적으로 확인할 수 있도록 표시하는 단계를 포함하는 것을 특징으로 한다.
그리고, 상기 제1 이동통신단말기에서 촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 나타내는 레터링 문구를 결정하는 처리는, 상기 제1 이동통신단말기에서 다수개의 사용자 감정 상태를 설정하고 각 감정에 해당하는 송신자 얼굴 영상의 특징벡터를 추출하여 메모리부에 데이터베이스를 구축하는 단계와; 상기 각 감정 상태에 대하여 레터링 문구를 설정하여 메모리부에 저장하는 단계와; 발신을 위해 키패드부의 키가 조작되는 동안에 카메라부에 의해 촬영된 사용자 얼굴 영상을 영상처리부에서 영상 처리를 수행하여 사용자 얼굴 영상의 특징벡터를 추출하는 단계와; 상기 추출한 특징벡터와 상기 데이터베이스의 얼굴 고유벡터의 가중치와의 상관관계를 통해 사용자의 감정 상태를 결정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 제1 이동통신단말기에서 촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 사용자 감정 상태를 결정하는 경우에, 얼굴의 표정을 결정하는 눈, 코, 입 등의 크기, 위치 등을 추출하여 신경망 알고리즘을 이용하여 송신자의 감정 상태를 결정하는 것을 특징으로 한다.
이하 첨부 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
본 발명은 이동통신에서 상대방에게 전화를 걸어 통화하는 이동통신단말기 사용자의 얼굴 표정을 인식하여 그에 대응되는 감정 상태를 나타내는 레터링 문구를 결정하여 상대방에게 전송하여서 상대방의 이동통신단말기 화면에 해당 레터링 문구를 표시함으로써, 이동통신단말기의 사용자가 전화 통화를 할 때마다 사용자의 얼굴 표정에 따라 실시간으로 파악한 이동통신단말기 사용자의 감정 상태를 통화 상대방에게 전달하여 효과적인 커뮤니케이션이 이루어지도록 구현된다.
이와 같이 본 발명을 구현하기 위한 이동통신에서의 감정 레터링 서비스 시스템은 도 1에 도시된 바와 같이 이루어지는데, 이동통신단말기(10a)에서 촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 전송하여 레터링 서비스를 요구하는 서비스 요구 전송 수단과, 상기 레터링 서비스 요구에 따라 상기 사용자 감정 상태를 나타내는 레터링 문구를 포함하는 레터링 메시지를 이동통신단말기(10b)에 전송하여 이동통신단말기(10b)의 화 면에 상기 레터링 문구를 표시하는 서비스 전달수단을 포함하여 이루어진다.
레터링 서비스 요구 전송수단은 송신측 이동통신단말기(10a), 송신측 기지국(21), 송신측 기지국 제어기(22), 송신측 교환기(23) 송신측 HLR(24; Home Location Register)을 포함하고, 서비스 전달수단은 수신측 이동통신단말기(10b), 수신측 기지국(25), 수신측 기지국 제어기(26), 수신측 교환기(27), 수신측 HLR(28) 및 레터링 서비스 서버(30)를 포함한다.
이동통신단말기(10a)는 사용자가 통화하기 위하여 키패드부의 키를 수동 조작하는 동안에 카메라부에 의해 해당 사용자의 얼굴을 촬영하고 해당 사용자의 얼굴 표정을 인식하여 그에 대응되는 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 기지국(21)에 무선 전송하고, 이동통신단말기(10b)는 기지국(25)을 통해 착신이 발생되어 상대방과 통화하는 중에 기지국(25)을 통해 전송되는 상대방의 감정 상태를 나타내는 레터링 문구를 포함하는 레터링 메시지를 수신하여 화면에 시각적으로 확인할 수 있도록 표시한다.
그리고, 기지국(21)은 이동통신단말기와의 무선 통신을 담당하여 이동통신단말기에 대해 송수신되는 신호를 중계하여 전달하는데, 이동통신단말기(10a)로부터 전송되는 레터링 메시지를 기지국 제어기(22)에 전달한다. 기지국 제어기(22)는 기지국(21)을 통해 이동통신단말기(10a)에 대한 통신 접속을 진행하도록 기지국(21)을 제어 및 관리하되, 기지국(21)으로부터 전달되는 레터링 메시지를 교환기(23)에 전송한다.
또한, 교환기(23)는 기지국 제어기(22)에 접속되어 이동통신단말기(10a)에 대한 통화 설정 및 해제를 수행함과 아울러 호 처리를 수행하는데, 기지국 제어기(22)를 통해 이동통신단말기(10a)의 호 발신이 인가되는 경우에 기지국 제어기(22)를 통해 수신되는 레터링 메시지를 HLR(24)에 전송하되 함께 수신한 송신자 정보와 수신자 정보를 HLR(24)에 전송한다.
그리고, HLR(24)은 교환기(23)로부터 전송되는 수신자 전화번호와 레터링 메시지를 수신하는 경우에 해당 레터링 메시지를 전송한 송신자가 레터링 서비스에 가입되어 있는지를 확인하여 레터링 서비스에 가입되어 있음을 확인하면 레터링 서비스 서버(30)에 레터링 메시지를 전달하여 해당 송신자의 레터링을 요구한다.
또한, 레터링 서비스 서버(30)는 HLR(24)로부터 송신자의 레터링을 요구받으면 해당 전달받은 레터링 메시지에 의거하여 최종 레터링 메시지를 작성하여서 HLR(28)에 전송한다.
HLR(28)은 레터링 서비스 서버(30)로부터 전송되는 레터링 메시지를 수신하여 교환기(27)에 전달한다. 그리고, 교환기(27)는 기지국 제어기(26)에 접속되어 이동통신단말기(10b)에 대한 통화 설정 및 해제를 수행함과 아울러 호 처리를 수행하는데, 레터링 서비스 서버(30)로부터 HLR(28)을 통해 전송되는 레터링 메시지를 수신하여 기지국 제어기(26)에 전달한다.
그리고, 기지국 제어기(26)는 기지국(25)을 통해 이동통신단말기(10b)에 대한 통신 접속을 진행하도록 기지국(25)을 제어 및 관리하되, 교환기(27)로부터 전달되는 레터링 메시지를 기지국(25)에 전송한다. 기지국(25)은 이동통신단말기와의 무선 통신을 담당하여 이동통신단말기(10b)에 대해 송수신되는 신호를 중계하여 전 달하는데, 기지국 제어기(26)를 통해 전달되는 레터링 메시지를 이동통신단말기(10b)에 전송한다.
이동통신단말기(10a)의 사용자가 통화하기 위하여 키패드부의 키를 수동 조작하는 동안에 이동통신단말기(10a)는 카메라부에 의해 해당 사용자의 얼굴을 촬영하고 해당 사용자의 얼굴 표정을 인식하여 그에 대응되는 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 송신측 기지국(21)에 무선 전송하면, 송신측 기지국(21)은 이동통신단말기(10a)로부터 전송되는 레터링 메시지를 송신측 기지국 제어기(22)를 통해 송신측 교환기(23)에 전달하고, 이에 송신측 교환기(23)가 수신된 레터링 메시지를 송신측 HLR(24)에 전송하되 함께 수신한 송신자 정보와 수신자 정보를 송신측 HLR(24)에 전송하면, 송신측 HLR(24)은 해당 레터링 메시지를 전송한 송신자가 레터링 서비스에 가입되어 있는지를 확인하여 레터링 서비스에 가입되어 있음을 확인하면 레터링 서비스 서버(30)에 레터링 메시지를 전달하여 해당 송신자의 레터링을 요구하며, 이때 레터링 서비스 서버(30)는 송신측 HLR(24)로부터 송신자의 레터링을 요구받음에 따라 송신측 HLR(24)을 통해 전달받은 레터링 메시지에 의거하여 최종 레터링 메시지를 작성하여서 수신측 HLR(28)에 전송하고, 수신측 HLR(28)이 레터링 서비스 서버(30)로부터 수신한 레터링 메시지를 수신측 교환기(27)에 전송하고, 수신측 교환기(27)가 해당 전송받은 레터링 메시지를 수신측 기지국 제어기(26)를 통해 수신측 기지국(25)에 전송하여서, 수신측 기지국(25)에 의해 수신자의 이동통신단말기(10b)에 무선 전송함으로써 수신자의 이동통신단말기(10b)에서 해당 레터링 메시지를 수신하여 상대 방 송신자의 감정에 대응하는 레터링 문구를 시각적으로 확인할 수 있도록 표시한다.
상술한 바와 같이, 이동통신단말기(10a)는 사용자가 통화하기 위하여 키패드부의 키를 수동 조작하는 동안에 카메라부에 의해 해당 사용자의 얼굴을 촬영하고 해당 사용자의 얼굴 표정을 인식하여 그에 대응되는 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 기지국(21)에 무선 전송하고, 이동통신단말기(10b)는 기지국(25)을 통해 착신이 발생되어 상대방과 통화하는 중에 기지국(25)을 통해 전송되는 상대방의 감정 상태를 나타내는 레터링 문구를 포함하는 레터링 메시지를 수신하여 화면에 시각적으로 확인할 수 있도록 표시하도록 구현되는데, 해당 이동통신단말기(10a, 10b)의 각각은 도 2에 도시된 바와 같이 제어부(11), 카메라부(12), 영상처리부(13), 키패드부(14), 통신처리부(15), 메모리부(16), 표시부(17) 및 음성처리부(18)를 포함한다.
제어부(11)는 해당 이동통신단말기의 구동을 위한 제반 제어 처리를 수행하는데, 기지국으로의 무선 통신을 제어함과 아울러 사용자 감정에 따른 레터링 메시지를 생성하여 전송하는 처리와 레터링 메시지를 수신하여 수신 레터링 메시지에 의거하여 레터링 문구를 표시하는 레터링 메시지 송수신 처리를 제어한다. 카메라부(12)는 사용자가 발신을 위하여 키패드부(14)의 키를 수동 조작하는 동안에 제어부(11)의 제어에 따라 구동되어 사용자의 얼굴 표정을 촬영하여 해당 촬영된 영상을 영상처리부(13)에 인가하되, 사용자의 얼굴을 선명하게 포착하기 위하여 오토 포커싱(auto-focusing) 기능이나 수동 초점 조절 기능을 구비한다. 그리고, 영상처 리부(13)는 카메라부(12)를 통해 획득한 사용자의 얼굴 영상으로부터 사용자의 표정을 인식하여 사용자의 감정 상태를 판정하여 해당 판정 정보를 제어부(11)에 인가한다. 제어부(11)는 영상처리부(13)에 의해 판정된 사용자의 감정 상태에 대응하는 레터링 문구를 결정하고 해당 레터링 문구를 포함하는 레터링 메시지를 생성하여 통신처리부(15)를 통해 기지국에 무선 전송한다. 또한 메모리부(16)는 이동통신단말기의 구동에 사용되는 프로그램을 저장함과 아울러 이동통신단말기의 구동시에 발생되는 데이터를 저장하는 기능을 수행하는데, 사용자 얼굴 영상으로부터 사용자의 표정을 인식 처리하여 대응되는 레터링 메시지를 생성하기 위한 프로그램을 저장함과 아울러 그에 필요한 데이터를 저장한다. 통신처리부(15)는 제어부(11)의 제어에 따라 기지국에 대한 무선 통신을 수행하며, 음성 처리부(18)는 제어부(11)의 제어에 따라 통화시에 입출력되는 음성 처리를 담당한다. 그리고, 표시부(17)는 제어부(11)의 제어에 따라 정보를 시각적으로 확인할 수 있도록 표시하되 수신되는 레터링 문구를 표시한다.
또한, 이동통신단말기가 상대방 수신자로의 발신을 시도하는 때에 사용자의 얼굴 표정을 인식하여 결정한 감정 상태에 대응하는 레터링 문구를 포함하는 레터링 메시지를 기지국에 전송하는 경우에 해당 레터링 메시지에는 해당 발신 이동통신단말기를 식별하기 위한 송신자 정보와 착신 대상 이동통신단말기를 식별하기 위한 수신자 정보를 함께 포함하여 전송한다.
그리고, 상술한 설명에서는 송신측 이동통신단말기(10a)와 수신측 이동통신단말기(10b) 모두가 도 2에 도시된 바와 같이 구성된 것으로 설명하였으나, 이에 한정되는 것은 아니고 송신측 이동통신단말기(10a)는 도 2와 같이 구성하고, 수신측 이동통신단말기(10b)는 영상처리부(13)를 구비하지 않은 형태로 구성되어도 된다.
한편, 이동통신단말기의 제어부(11)는 송신자가 수신자에게 발신하기 위하여 키패드부(14)의 키를 수동 조작하는 동안에 카메라부(12)를 구동하여 카메라부(12)에 의해 한 장 이상의 송신자 얼굴을 촬영하고, 영상처리부(13)가 해당 촬영한 영상을 이용하여 송신자의 감정 상태를 판단하는데, 기본적으로 획득한 영상에서 피부색을 이용하여 얼굴 영역을 결정하고 해당 결정된 얼굴 영역에 대해서 PCA(Principal Component Analysis) 기법을 기본으로 하는 아이젠페이스(Eigenface) 알고리즘을 사용하여 영상을 고차원의 픽셀공간으로부터 저차원의 필셀공간으로 변환하는 과정을 거쳐서 감정 상태를 판단한다. 영상처리부(13)에서 촬영 영상에 의해 송신자의 표정을 인식하여 송신자의 감정 상태를 결정하는 경우에, 송신자의 감정 상태를 판단하기 위해 미리 여러 사람의 얼굴 표정에 따른 얼굴 고유벡터 들의 데이터베이스를 생성하여 메모리부(16)에 저장하고 입력된 송신자 얼굴 영상의 특징벡터를 추출하여, 데이터베이스의 얼굴 고유벡터의 가중치와의 상관관계를 통해 송신자의 감정 상태를 결정하거나, 얼굴의 표정을 결정하는 눈, 코, 입 등의 크기, 위치 등을 추출하여 신경망 알고리즘을 이용하여 송신자의 감정 상태를 결정한다. 물론 이러한 기법들은 입력 영상이 기쁨, 행복, 놀람, 공포, 분노, 혐오, 슬픔 등 미리 설정되어 있는 대표적인 감정들과 가까운 정도를 판단하여 가장 가까운 감정으로 결정하기 때문에 사전에 설정되어 있는 감정들과 가장 가깝다 고 계산한 결과라도 그 차이값이 어느 정도 이상이면 설정되어 있는 감정 이외의 감정으로 판단하는 처리가 요구된다. 또한, 사전에 분류한 각 감정에 따른 레터링 문구를 메모리부(16)에 입력 저장하여 놓아야 하며, 제어부(11)는 영상처리부(13)에 의한 표정 인식을 통해 판단한 감정에 대응하여 입력 저장되어 있는 레터링 문구를 메모리부(16)로부터 선택하여 통신처리부(15)를 통해 전송함으로써 수신자에게 송신한다.
이와 같이 이동통신단말기에서 감정 상태 판단에 따른 레터링 메시지를 생성하여 상대방 수신자에게 전송하는 처리를 도 3을 참조하여 설명하면 다음과 같다. 사람은 무수히 많은 감정을 가질 수 있지만 이동통신단말기에서 카메라부(12)에 의해 획득한 송신자 얼굴 영상의 표정을 인식하여 모든 감정을 판단한다는 것은 불가능하므로 도 3의 (a)와 같이 기쁨, 행복, 슬픔, 놀람, 분노 등 유한개의 대표 감정 상태를 결정하고 각 감정에 해당하는 송신자 얼굴 영상의 특징벡터를 추출하여 메모리부(16)에 데이터베이스를 구축한다. 그리고, 이동통신단말기 사용자는 각각의 대표 감정 상태에 대하여 자신이 원하는 레터링 문구를 설정하여 메모리부(16)에 저장하여 해당 레터링 문구를 사용하며, 사용자가 해당 레터링 문구를 설정하여 저장하지 않은 경우에는 제어부(11)는 프로그램상에서 디폴트로 정해진 레터링 문구를 사용한다. 또한, 대표 감정 상태라고 판단할 수 없는 감정일 경우에 해당하는 레터링 문구도 사용자가 설정하여 메모리부(16)에 저장하여 해당 레터링 문구를 사용거나, 프로그램상에서 디폴트로 정해진 레터링 문구를 사용한다. 이와 같이 감정 상태에 해당하는 송신자 얼굴 영상의 특징벡터를 추출하여 이동통신단말기의 메모 리부(16)에 데이터베이스를 구축함과 아울러 해당 감정 상태에 해당하는 레터링 문구를 설정하여 이동통신단말기의 메모리부(16)에 저장해 놓은 이후에, 도 3의 (b)와 같이 사용자가 상대방 수신자로의 발신을 위해 키패드부(14)의 키를 수동 조작하는 동안에 카메라부(12)에 의해 사용자의 얼굴 영상을 획득하여 영상처리부(13)에서 영상 처리를 수행하여 사용자 얼굴 영상의 특징벡터를 추출하여 데이터베이스의 얼굴 고유벡터의 가중치와의 상관관계를 통해 사용자의 감정 상태를 결정하고 해당 감정 상태에 대응되는 레터링 문구를 통신처리부(15)를 통해 기지국에 도 3의 (c)와 같이 무선 전송함으로써 사용자의 감정 상태에 맞는 레터링 문구를 레터링 서비스 서버(30)에 전송하여 레터링 서비스 서버(30)에 의해 상대방 수신자의 이동통신단말기에 전송하여 도 3의 (d)와 같이 송신자의 감정에 따른 레터링 문구를 화면에 표시한다.
상술한 바와 같은 기능을 구비하는 본 발명에 따른 이동통신에서의 감정 레터링 서비스 시스템은 이동통신단말기 사용자의 얼굴 표정 인식을 통해 결정된 감정 상태에 대응하는 레터링 문구를 상대방 이동통신단말기에 전송하여 표시하는 레터링 서비스를 수행하는 경우에 도 4에 도시된 바와 같은 처리를 통해 진행한다.
먼저, 송신측 이동통신단말기(10a)의 사용자가 통화하기 위하여 키패드부(14)의 키를 수동 조작하는 동안에, 이동통신단말기(10a)는 카메라부(12)에 의해 해당 사용자의 얼굴을 촬영하고 영상처리부(13)에 의해 해당 사용자의 얼굴 표정을 인식하여 인식 결과를 제어부(11)에 전달하여 제어부(11)에 의해 그에 대응되는 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 통신처리부(15)를 통해 송신측 기지국(21)에 무선 전송하면, 송신측 기지국(21)은 이동통신단말기(10a)로부터 전송되는 레터링 메시지를 송신측 기지국 제어기(22)를 통해 송신측 교환기(23)에 전달한다.
이에, 송신측 교환기(23)가 수신된 레터링 메시지를 송신측 HLR(24)에 전송하되 함께 수신한 송신자 정보와 수신자 정보를 송신측 HLR(24)에 전송하면(단계 S1), 송신측 HLR(24)은 해당 레터링 메시지를 전송한 송신자가 레터링 서비스에 가입되어 있는지를 확인하여(단계 S2), 레터링 서비스에 가입되어 있음을 확인하면 레터링 서비스 서버(30)에 레터링 메시지를 전달하여 해당 송신자의 레터링을 요구한다(단계 S3).
이때, 레터링 서비스 서버(30)는 송신측 HLR(24)로부터 송신자의 레터링을 요구받음에 따라 자체의 데이터베이스를 확인하여 해당 송신자가 적법한 사용자인지의 여부를 확인하여(단계 S4), 해당 송신자가 적법한 사용자인 것으로 확인되면 송신측 HLR(24)을 통해 전달받은 레터링 메시지에 의거하여 최종 레터링 메시지를 작성하고(단계 S5), 해당 작성한 레터링 메시지를 수신측 HLR(28)에 전송하여 수신 요구 신호를 전송하고(단계 S6), 수신측 HLR(28)이 레터링 서비스 서버(30)로부터 수신한 레터링 메시지 및 수신 요구 신호를 수신측 교환기(27)에 전송한다(단계 S7).
이에 따라, 수신측 교환기(27)가 해당 전송받은 레터링 메시지를 수신측 기지국 제어기(26)를 통해 수신측 기지국(25)에 전송하여서, 수신측 기지국(25)에 의해 수신자의 이동통신단말기(10b)에 무선 전송함으로써, 수신자의 이동통신단말 기(10b)에서 해당 레터링 메시지를 수신하여 상대방 송신자의 감정에 대응하는 레터링 문구를 시각적으로 확인할 수 있도록 표시한다.
상술한 바와 같이, 본 발명에 따른 이동통신에서의 감정 레터링 서비스 시스템에서는 상대방에게 전화를 걸어 통화하는 이동통신단말기 사용자의 얼굴을 촬영하여 포착한 사용자 얼굴 영상에 의거하여 얼굴 표정을 인식하여 그에 대응되는 감정 상태를 나타내는 레터링 문구를 결정하여 상대방에게 전송하여서 상대방의 이동통신단말기 화면에 해당 레터링 문구를 표시하므로, 이동통신단말기의 사용자가 전화 통화를 할 때마다 사용자의 얼굴 표정에 따라 실시간으로 파악한 이동통신단말기 사용자의 감정 상태를 통화 상대방에게 전달하여 통화시에 효과적인 커뮤니케이션이 이루어지게 한다.
본 발명은 상술한 설명에 한정되는 것은 아니고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명을 여러 가지로 변경하여 실시할 수 있을 것이며, 이와 같은 변경 실시는 본 발명의 기술적 범주에 해당한다 할 것이다.
이상 설명한 바와 같이, 본 발명은 상대방에게 전화를 걸어 통화하는 이동통신단말기 사용자의 얼굴을 촬영하여 포착한 사용자 얼굴 영상에 의거하여 얼굴 표정을 인식하여 그에 대응되는 감정 상태를 나타내는 레터링 문구를 결정하여 상대방에게 전송하여서 상대방의 이동통신단말기 화면에 해당 레터링 문구를 표시함으로써, 이동통신단말기의 사용자가 전화 통화를 할 때마다 사용자의 얼굴 표정에 따 라 실시간으로 파악한 이동통신단말기 사용자의 감정 상태를 통화 상대방에게 전달하여 통화시에 효과적인 커뮤니케이션이 이루어지게 한다.

Claims (10)

  1. 제1 이동통신단말기에서 촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 전송하여 레터링 서비스 요구하기 위한 서비스 요구 전송 수단과;
    상기 레터링 서비스 요구에 따라 상기 사용자 감정 상태를 나타내는 레터링 문구를 포함하는 레터링 메시지를 제2 이동통신단말기에 전송하여 제2 이동통신단말기의 화면에 상기 레터링 문구를 표시하기 위한 서비스 전달수단을 포함하는 것을 특징으로 하는 이동통신에서의 감정 레터링 서비스 시스템.
  2. 제1항에 있어서,
    상기 서비스 요구 전송 수단은,
    촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 전송하는 제1 이동통신단말기와;
    상기 제1 이동통신단말기로부터 전송되는 레터링 메시지를 송신측 기지국 및 송신측 기지국 제어기를 통해 수신하여 전달하는 송신측 교환기와;
    상기 송신측 교환기로부터 전달된 레터링 메시지를 수신하여 상기 제1 이동 통신단말기의 사용자가 레터링 서비스 이용자임을 확인하고 레터링 메시지를 전달하여 레터링 요구하는 송신측 HLR를 포함하는 것을 특징으로 하는 이동통신에서의 감정 레터링 서비스 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 서비스 전달수단은,
    상기 송신측 HLR로부터의 레터링 요구를 수신하여 상기 제1 이동통신단말기의 사용자가 적법한 사용자임을 확인하고 최종 레터링 메시지를 작성하여 수신 요구 신호와 함께 전송하는 레터링 서비스 서버와;
    상기 레터링 서비스 서버로부터 전송된 레터링 메시지와 수신 요구 신호를 수신하여 전송하는 수신측 HLR과;
    상기 수신측 HLR로부터 전송된 레터링 메시지와 수신 요구 신호를 수신하여 수신측 기지국 제어기를 통해 수신측 기지국에 전송하는 수신측 교환기와;
    상기 수신측 기지국을 통해 통화 연결되어서 수신측 기지국을 통해 전송되는 레터링 메시지를 수신하여 상대방의 감정 상태를 나타내는 레터링 문구를 화면에 시각적으로 확인할 수 있도록 표시하는 제2 이동통신단말기를 포함하는 것을 특징으로 하는 이동통신에서의 감정 레터링 서비스 시스템.
  4. 제3항에 있어서,
    상기 제1 이동통신단말기는,
    카메라부에 의해 촬영한 사용자 얼굴 영상으로부터 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 결정하는 영상처리부와;
    상기 영상처리부에 의해 결정된 사용자 감정 상태에 대응하는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 생성하여 통신처리부를 통해 상기 송신측 기지국에 전송하는 제어부와;
    상기 영상처리부와 제어부의 구동을 위한 프로그램을 저장하고, 상기 영상처리부에서 사용자 얼굴 표정을 인식하여 그에 대응되는 감정 상태를 결정함에 사용되는 데이터와, 상기 제어부에서 레터링 문구를 결정함에 사용되는 상기 감정 상태에 대응되는 레터링 문구를 저장하는 메모리부를 포함하는 것을 특징으로 하는 이동통신에서의 감정 레터링 서비스 시스템.
  5. 제3항에 있어서,
    상기 제2 이동통신단말기는 레터링 문구를 표시하는 표시부와;
    수신측 기지국으로부터 수신되는 레터링 메시지에 포함된 레터링 문구를 추출하여 상기 표시부에 출력하는 제어부를 포함하는 것을 특징으로 하는 이동통신에서의 감정 레터링 서비스 시스템.
  6. 제1 이동통신단말기에서 촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 레터링 서비스 서버에 전송하여 레터링 서비스 요구하는 서비스 요구 과정과;
    상기 레터링 서비스 서버에서 상기 레터링 서비스 요구에 따라 상기 사용자 감정 상태를 나타내는 레터링 문구를 포함하는 레터링 메시지를 제2 이동통신단말기에 전송하여 제2 이동통신단말기의 화면에 상기 레터링 문구를 표시하는 전송 표시 과정을 포함하는 것을 특징으로 하는 이동통신에서의 감정 레터링 서비스 방법.
  7. 제6항에 있어서,
    상기 서비스 요구 과정은,
    상기 제1 이동통신단말기에서 촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 나타내는 레터링 문구를 결정하여 해당 레터링 문구를 포함하는 레터링 메시지를 송신측 기지국 및 기지국 제어기를 통해 송신측 교환기에 전송하는 단계와;
    상기 송신측 교환기에서 상기 전송된 레터링 메시지를 통해 수신하여 송신측 HLR에 전달하는 단계와;
    상기 송신측 HLR에서 송신측 교환기로부터 전달된 레터링 메시지를 수신하여 상기 제1 이동통신단말기의 사용자가 레터링 서비스 이용자인지의 여부를 확인하는 단계와;
    상기 송신측 HLR에서 상기 제1 이동통신단말기의 사용자가 레터링 서비스 이용자이면 상기 레터링 서비스 서버에 레터링 메시지를 전달하여 레터링 요구하는 단계를 포함하는 것을 특징으로 하는 이동통신에서의 감정 레터링 서비스 방법.
  8. 제6항에 있어서,
    상기 전송 표시 과정은,
    상기 레터링 서비스 서버에서 상기 레터링 요구를 수신하여 상기 제1 이동통신단말기의 사용자가 적법한 사용자인지의 여부를 확인하는 단계와;
    상기 레터링 서비스 서버에서 상기 제1 이동통신단말기의 사용자가 적법한 사용자임을 확인하면 최종 레터링 메시지를 작성하여 수신 요구 신호와 함께 수신측 HLR에 전송하는 단계와;
    상기 수신측 HLR에서 레터링 서비스 서버로부터 전송된 레터링 메시지와 수신 요구 신호를 수신하여 수신측 교환기에 전송하는 단계와;
    상기 수신측 교환기에서 상기 전송된 레터링 메시지와 수신 요구 신호를 수신하여 수신측 기지국 제어기와 수신측 기지국을 통해 제2 이동통신단말기에 전송하는 단계와;
    상기 제2 이동통신단말기에서 상기 수신측 기지국을 통해 전송되는 레터링 메시지를 수신하여 상대방의 감정 상태를 나타내는 레터링 문구를 화면에 시각적으로 확인할 수 있도록 표시하는 단계를 포함하는 것을 특징으로 하는 이동통신에서의 감정 레터링 서비스 방법.
  9. 제6항 또는 제7항에 있어서,
    상기 제1 이동통신단말기에서 촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 그에 대응되는 사용자 감정 상태를 나타내는 레터링 문구를 결정하는 처리는,
    상기 제1 이동통신단말기에서 다수개의 사용자 감정 상태를 설정하고 각 감정에 해당하는 송신자 얼굴 영상의 특징벡터를 추출하여 메모리부에 데이터베이스를 구축하는 단계와;
    상기 각 감정 상태에 대하여 레터링 문구를 설정하여 메모리부에 저장하는 단계와;
    발신을 위해 키패드부의 키가 조작되는 동안에 카메라부에 의해 촬영된 사용자 얼굴 영상을 영상처리부에서 영상 처리를 수행하여 사용자 얼굴 영상의 특징벡터를 추출하는 단계와;
    상기 추출한 특징벡터와 상기 데이터베이스의 얼굴 고유벡터의 가중치와의 상관관계를 통해 사용자의 감정 상태를 결정하는 단계를 포함하는 것을 특징으로 하는 이동통신에서의 감정 레터링 서비스 방법.
  10. 상기 제6항 또는 제7항에 있어서,
    상기 제1 이동통신단말기에서 촬영한 사용자 얼굴 영상에 의거하여 사용자 얼굴 표정을 인식하여 사용자 감정 상태를 결정하는 경우에, 얼굴의 표정을 결정하는 눈, 코, 입 등의 크기, 위치 등을 추출하여 신경망 알고리즘을 이용하여 송신자의 감정 상태를 결정하는 것을 특징으로 하는 이동통신에서의 감정 레터링 서비스 방법.
KR20070048329A 2007-05-17 2007-05-17 이동통신에서의 감정 레터링 서비스 시스템 및 방법 KR20080102035A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20070048329A KR20080102035A (ko) 2007-05-17 2007-05-17 이동통신에서의 감정 레터링 서비스 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20070048329A KR20080102035A (ko) 2007-05-17 2007-05-17 이동통신에서의 감정 레터링 서비스 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20080102035A true KR20080102035A (ko) 2008-11-24

Family

ID=40288005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20070048329A KR20080102035A (ko) 2007-05-17 2007-05-17 이동통신에서의 감정 레터링 서비스 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20080102035A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665563B2 (en) 2009-05-28 2017-05-30 Samsung Electronics Co., Ltd. Animation system and methods for generating animation based on text-based data and user information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665563B2 (en) 2009-05-28 2017-05-30 Samsung Electronics Co., Ltd. Animation system and methods for generating animation based on text-based data and user information

Similar Documents

Publication Publication Date Title
US8210848B1 (en) Method and apparatus for determining user feedback by facial expression
US7634731B2 (en) System and method for remotely controlling character avatar image using mobile phone
US20080151786A1 (en) Method and apparatus for hybrid audio-visual communication
CN105120122A (zh) 报警方法及装置
CN102170617A (zh) 移动终端及其远程控制方法
KR20060094343A (ko) 화상 통화를 위한 감정표현 애니메이션 서비스 시스템 및방법과 이를 위한 이동 통신 단말
KR20030063137A (ko) 전자기기 및 프로그램
CN108064445A (zh) 虚拟现实设备及其来电管理方法
CN102364965A (zh) 手机通信信息精化显示方法
JP2002014923A (ja) 在否管理装置
KR20080102035A (ko) 이동통신에서의 감정 레터링 서비스 시스템 및 방법
KR100941598B1 (ko) 감정적 콘텐츠 효과를 포함하는 전화 통신 서비스를제공하는 ＶｏＩＰ 전화 통신 시스템 및 방법
KR100698330B1 (ko) 인스턴트 메신저 서비스 기능을 갖는 이동통신 단말기 및이를 이용한 무선 신호 처리방법
KR20110023524A (ko) 영상통화 중 감정 전달 시스템 및 방법
JP5396789B2 (ja) 電話システム
KR100994889B1 (ko) 영상 채팅 시스템 및 영상 채팅 서비스 제공 방법
JP2003092628A (ja) 電話リレーサービス方法
KR20090034522A (ko) 사용자 감정 상태 정보 제공 장치 및 방법
US20030210767A1 (en) TTY messaging
KR20070069303A (ko) 이동통신 단말기에서 채팅하는 방법 및 장치
CN108169898B (zh) 一种具有通信功能的vr设备
KR100931724B1 (ko) 이동 통신 시스템에서의 명함 서비스 방법 및 시스템
JP3949051B2 (ja) インターホン装置
JP7222802B2 (ja) インターホンシステム
KR200234151Y1 (ko) 청각 장애인용 전화기

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application