KR100654135B1 - 노인의 감성을 아바타로 표시하는 무선 이동 단말기 및 그 무선 이동 단말기를 이용한 서비스 방법 - Google Patents

Abstract

노인의 감성을 아바타로 표시하는 무선 이동 단말기 및 그 단말기를 이용한 무선 이동 서비스 방법이 개시된다. 본 발명에 따른 노인의 감성을 아바타로 표시하는 무선 이동 단말기는 발신자 휴대폰과 수신자 휴대폰 사이에서 통화중인 상태에서 통화자의 감성을 휴대폰의 액정 화면상에 표시하는 무선 이동 단말기에 있어서, 노인의 감성 상태를 반영하는 소정의 신호를 입력하여 평가함으로써 쾌도와 긴장도로 구분되는 감성값을 구하여 감성값을 나타내는 감성 데이터를 출력하는 감성 입력부와, 음성과 감성 데이터를 인코딩하여 실시간 감성 정보를 포함하는 음성 패킷 신호를 출력하는 인코더와, 실시간 감성 정보를 포함하는 음성 패킷 신호를 상대방에게 무선으로 전송하는 무선 송신부와, 실시간 감성 정보를 포함한 음성 패킷 신호를 수신하는 무선 수신부와, 수신된 음성 패킷 신호를 디코딩하여 음성과 감성 데이터를 출력하는 디코더와, 감성 데이터를 기반으로 통화자의 쾌도와 긴장도를 구하고 구한 쾌도와 긴장도에 따라 구별되는 표정을 가지는 하나 이상의 아바타를 구성하는 감성 표시 제어부, 및 음성 통화중에 구성된 아바타를 상대방의 감성 상태로써 표시하는 LCD 디스플레이를 포함하는 것을 특징으로 한다.

본 발명에 따르면 통화자의 목소리만이 아닌 통화자의 감성 상태를 아바타 및/또는 이차원 그래프 형태로 전달할 수 있는 노인의 감성을 아바타로 표시하는 무선 이동 단말기 및 그 무선 이동 단말기를 이용한 서비스 방법을 제공한다. 또한, 초기에 기본 아바타를 다운로드하고, 쾌도 및 긴장도를 반영할 수 있는 모양의 눈 이미지와 입 이미지를 포함한 부분 아바타를 송신하여 기본 아바타에 눈 이미지와 입 이미지를 교체하여 표시할 수 있도록 지원함으로써 무선 전송률을 낮출 수 있을 뿐만 아니라 접속 요금도 낮출 수 있도록 한다.

감성, 아바타, 무선 이동 단말기

Description

노인의 감성을 아바타로 표시하는 무선 이동 단말기 및 그 무선 이동 단말기를 이용한 서비스 방법{Mobile terminal for displaying emotion of old human by avata and the mobile service method using the same}

도 1은 본 발명의 바람직한 실시예에 따른 노인의 감성을 아바타로 표시하는 무선 이동 단말기를 포함하는 시스템의 일예를 나타낸 블록도.

도 2 및 도 3은 본 발명의 바람직한 실시예에 따른 노인의 감성을 아바타로 표시하는 서비스 방법의 주요 단계들을 나타낸 흐름도.

도 4는 감성 처리 프로그램을 다운로드하고 호출하여 실행하는 과정의 일예를 설명하기 위한 도면.

도 5는 본 발명의 바람직한 실시예에 따른 무선 이동 단말기의 본체 및 이어폰에 센서가 장착되는 개념을 설명하기 위한 도면.

도 6은 본 발명의 바람직한 실시예에 따른 무선 이동 단말기가 개인휴대단말이고 상기 개인 휴대 단말의 화면상에서 쾌/불쾌축 및 긴장/이완축으로 구분된 이차원 평면상의 한 점을 그 순간의 사용자의 주관적 감성 정보로써 입력하는 디지타이져부를 구현한 예를 설명하기 위한 도면.

도 7은 부분 아바타의 개념을 설명하기 위한 도면.

본 발명은 휴대폰나 개인휴대단말기(PDA)와 같은 무선 이동 단말기에 관한 것으로, 특히 노인의 감성을 아바타로 표시하는 무선 이동 단말기에 관한 것이다.

최근 휴대폰의 기술은 빠르게 발전하고 있다. 예를 들어, 흑백 액정 화면을 개선하여 컬러 TFT-LCD를 적용한 칼라폰으로 발전되었고, 단순한 착신 통화음을 16 화음에서 64 화음등으로 개선한 휴대폰도 출시되었다. 최근에는 사진 영상의 촬영 및 전송이 가능한 카메라폰에서 동영상의 촬영 및 전송이 가능한 캠코더폰으로 발전하고 있다. 최근에는 휴대폰 내부에 삽입되는 CPU의 발전으로 각종 3D 게임까지 소화할 수 있는 기종들의 출시도 예상되고 있다.

하지만, 기본적으로 전화를 통한 통화시에는 상대방의 목소리 또는 표정만을 듣거나 볼 수 밖에 없기 때문에 상대방의 진실한 심리 상태가 어떠한지에 대한 정보를 전혀 얻을 수 없다는 문제점이 있다.

무선 통신 기술의 발달로 최근에는 음성 통화 뿐만 아니라 고속의 데이터와 음성을 동시에 통화할 수 있는 IMT-2000 기반의 각종 프로토콜들이 개발되고 있다. 이러한 통신 프로토콜들은 그 패킷내에 음성 통화뿐만 아니라 다양한 부가 서비스를 제공하기 위한 각종 헤더 영역, 및 여유 데이터 비트들을 구비하고 있다. 이러한 헤더 영역, 및 여유 데이터 비트들을 이용하여 다양한 부가 서비스를 제공하기 위한 각종 서비스가 개발되고 있다.

한편, 핵가족화가 급속히 진행되면서 떨어져 홀로 지내는 노인들이 늘어나고 있다. 이러한 노인들에게 휴대폰을 선물하여 수시로 안부를 묻고 있으나 대부분의 노인들은 자식들이 자신의 건강을 염려하는 것을 꺼려하여 아무런 문제가 없다고 하기 쉬울뿐만 아니라 목소리만으로 부모님의 건강 상태나 감성 상태를 파악하기에는 무리가 있다. 이에 노인들의 건강 상태를 종합적으로 나타내는 감성 상태를 실시간으로 제공할 수 있는 휴대폰에 대한 요구가 존재한다고 할 수 있다.

본 발명이 이루고자 하는 기술적 과제는 노인의 감성을 아바타로 표시하는 무선 이동 단말기 및 그 무선 이동 단말기를 이용한 서비스 방법을 제공하는 것이다.

상기 기술적 과제를 이루기 위한 본 발명의 일측면에 따른 노인의 감성을 아바타로 표시하는 무선 이동 단말기는,

발신자 휴대폰과 수신자 휴대폰 사이에서 통화중인 상태에서 통화자의 감성을 휴대폰의 액정 화면상에 표시하는 무선 이동 단말기에 있어서,

노인의 감성 상태를 반영하는 소정의 신호를 입력하여 평가함으로써 쾌도와 긴장도로 구분되는 감성값을 구하여 감성값을 나타내는 감성 데이터를 출력하는 감성 입력부;

음성과 감성 데이터를 인코딩하여 실시간 감성 정보를 포함하는 음성 패킷 신호를 출력하는 인코더;

실시간 감성 정보를 포함하는 음성 패킷 신호를 상대방에게 무선으로 전송하 는 무선 송신부;

실시간 감성 정보를 포함한 음성 패킷 신호를 수신하는 무선 수신부;

수신된 음성 패킷 신호를 디코딩하여 음성과 감성 데이터를 출력하는 디코더;

감성 데이터를 기반으로 통화자의 쾌도와 긴장도를 구하고 구한 쾌도와 긴장도에 따라 구별되는 표정을 가지는 하나 이상의 아바타를 구성하는 감성 표시 제어부; 및

음성 통화중에 구성된 아바타를 상대방의 감성 상태로써 표시하는 LCD 디스플레이;를 포함하는 것을 특징으로 한다.

또한, 상기 감성 입력부는,

체온, 심박수, 피부 전기 저항 중에서 선택된 생체 신호를 기초로 객관적 감성값을 수치적 데이터로 입력하는 센서부;를 포함하는 것이 바람직하다.

또한, 상기 감성 입력부는,

쾌/불쾌축 및 긴장/이완축으로 구분된 이차원 평면상의 한 점을 그 순간의 감성으로 평가한 사용자의 주관적 감성 정보를 수치적 데이터로 입력하는 디지타이져부;를 포함하고,

상기 감성 표시 제어부는,

디지타이져를 사용하여 입력된 주관적 감성 정보와 생체신호를 기반으로 하여 입력된 객관적 감성 정보를 사용하여 통화자의 쾌도와 긴장도를 구하는 감성 데 이터 해독부;

구한 쾌도와 긴장도에 따라 구별되는 표정을 가지는 하나 이상의 아바타를 구성하는 아바타 구성부; 및

쾌/불쾌축 및 긴장/이완축으로 구분된 이차원 평면상의 한 점을 그 순간의 감성으로 평가한 이차원 표시를 구성하는 이차원 표시 구성부;를 포함하는 것이 바람직하다.

또한, 상기 기술적 과제를 이루기 위한 본 발명의 다른 측면에 따른 노인의 감성을 아바타로 표시하는 무선 이동 서비스 방법은,

무선 이동 단말기를 통하여 노인의 감성을 아바타로써 실시간으로 표시하는 서비스 방법에 있어서,

(a) 사용자가 감성 처리를 선택하였는지를 체크하는 단계;

(b) 감성 처리를 선택하였으면 감성 처리 프로그램이 존재하는지를 체크하는 단계;

(c) 감성 처리 프로그램이 존재하지 않는 것으로 체크되면 프로그램 다운로드하는 단계;

(d) 다운로드된 프로그램을 구동하는 단계;

(e) 노인의 감성 상태를 반영하는 소정의 신호를 입력하여 평가함으로써 쾌도와 긴장도로 구분되는 감성값을 구하여 감성값을 나타내는 감성 데이터를 출력하는 단계;

(f) 음성과 감성 데이터를 인코딩하여 실시간 감성 정보를 포함하는 음성 패 킷 신호를 출력하는 단계; 및

(g) 실시간 감성 정보를 포함하는 음성 패킷 신호를 상대방에게 무선으로 전송함으로써 감성 전송 음성 통화를 수행하는 단계;를 포함하는 것을 특징으로 한다.

또한, 상기 (c) 단계는,

(c-1) 무선 이동 단말기를 통하여 무선 인터넷 서비스 제공자의 서버에 접속하는 단계;

(c-2) 사용자의 선택에 따라 자신의 취향에 맞는 기본 아바타를 선택하는 단계; 및

(c-3) 선택된 기본 아바타와, 쾌도 및 긴장도를 반영할 수 있는 모양의 눈 이미지와 입 이미지를 포함한 부분 아바타, 및 감성 평가 처리를 위한 프로그램을 다운로드하는 단계;를 포함하는 것이 바람직하다.

또한, 상기 방법은,

(h) 실시간 감성 정보를 포함하는 음성 패킷 신호를 무선 수신하는 단계;

(i) 무선 수신된 음성 패킷 신호를 디코딩하여 음성과 감성 데이터를 구하는 단계;

(j) 감성 데이터를 해독하여 감성값을 추출하는 단계;

(k) 추출된 감성값을 기초로 아바타를 구성하는 단계; 및

(l) 음성 통화중에 구성된 아바타를 디스플레이하는 단계;를 더 포함하는 것이 바람직하다.

또한, 상기 (e) 단계는,

(e-1) 체온, 심박수, 피부 전기 저항 중에서 선택된 생체 신호를 감지하는 센서에 의하여 객관적 감성 정보를 얻는 단계; 및

(e-2) 쾌/불쾌 및 긴장/이완으로 구분된 이차원 평면상의 한 점을 그 순간의 자신의 감성으로 평가한 사용자의 주관적 감성 정보를 얻는 단계; 및

(e-3) 상기 (e-1) 단계에서 얻은 객관적 감성 정보와 상기 (e-2) 단계에서 얻은 주관적 감성 정보를 입력하여 평가함으로써 쾌도와 긴장도로 구분되는 감성값을 구하여 감성값을 나타내는 감성 데이터를 출력하는 단계;를 포함하는 것이 보다 바람직하다.

이하 첨부된 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세히 설명하기로 한다.

도 1에는 본 발명의 바람직한 실시예에 따른 노인의 감성을 아바타로 표시하는 무선 이동 단말기를 포함하는 시스템의 일예를 블록도로써 나타내었다. 도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 노인의 감성을 아바타로 표시하는 무선 이동 단말기(10)는 감성 입력부(102), 인코더(110), 무선 송신부(112) 및 안테나(114)를 구비한다. 감성 입력부(102)는 센서부(104), 디지타이저부(106), 및 감성 평가부(108)를 구비한다. 상기와 같은 본 발명의 실시예에 따른 무선 이동 단말기(10)는 기지국(14: Base Station; BS)에 연결되고, 기지국(14)은 인터넷(16)을 통하여 ISP(Internet Service Provider) 서버(18)와 접속된다.

도 2 및 도 3에 상기 시스템상에서 수행되는 본 발명의 바람직한 실시예에 따른 노인의 감성을 아바타로 표시하는 서비스 방법의 주요 단계들을 흐름도로써 나타내었다. 도 2 및 도 3은 이하에서 수시로 참조된다.

도 1에서는 발신자 휴대폰과 수신자 휴대폰 사이에서 통화중인 상태에서 통화자의 감성을 휴대폰의 액정 화면상에 표시하는 무선 이동 단말기에 관한 것이나 편의상 발신자 휴대폰과 수신자 휴대폰을 하나의 단말기로 표시하여 설명한다.

본 발명에 따른 무선 이동 단말기를 통하여 노인의 감성을 아바타로써 실시간으로 표시하는 서비스 방법은 휴대폰의 설정에서 미리 지정하여 선택적으로 사용하는 것이 바람직하다. 즉, 휴대폰 설정 단계(단계 202)에서 감성 처리를 온 또는 오프한다. 이러한 설정값은 휴대폰에 저장된다. 다음으로, 사용자가 휴대폰을 사용하여 통화 접속을 시도(단계 204)하면, 감성 입력부(102)는 감성 처리를 선택하였는지를 체크한다(단계 206). 만일, 단계(206)에서 감성 처리를 선택한 것으로 체크되면, 감성 처리 프로그램이 존재하는지를 체크(단계 210)한다.

만일, 단계(210)에서 감성 처리 프로그램이 존재하는 것으로 체크된 경우, 즉, 이미 해당 프로그램을 다운로드하여 휴대폰 내에 저장되어 있는 경우에는 바로 프로그램을 구동(단계 220)하며 그렇지 않은 경우에는 인터넷(16)을 통하여 ISP 서버(18)에 접속하여 프로그램을 다운로드(212)한다. 접속하는 과정이나 프로토콜은 본원 발명의 핵심을 흐뜨리지 않는 범위내에서 설명을 생략한다. 프로그램이 구동되면 감성 입력(단계 222), 감성 평가(단계 224), 인코딩(단계 230), 및 감성 전송 음성 통화(단계 240)이 순차적으로 이루어진다. 물론, 감성 처리를 선택하지 않은 경우에는 일반 음성 통화(단계 250)가 이루어진다.

상기 감성 입력부(102)의 감성 평가부(108)와, 상기 감성 표시 제어부(120)의 감성 데이터 해독부(122), 아바타 구성부(124), 및 이차원 표시 구성부(128)는 무선 기지국과 인터넷을 통하여 접속되어 지원하는 감성 처리를 위한 프로그램 및 복수 개의 기본 아바타를 제공하는 ISP 서버(18)로부터 다운로드되어 플래시 메모리(42)에 저장되고 제어부라고 칭할 수 있는 중앙처리장치(40: Central Processing Unit, CPU)에 의하여 실행됨으로써 상기 무선 이동 단말기(10)내에 구비되는 것이 보다 바람직하다.

단계(222) 내지 단계(240)을 상세히 설명한다. 감성 입력부(102)는 노인의 감성 상태를 반영하는 생체 신호 및 주관적 감성을 입력하여 평가함으로써 쾌도와 긴장도로 구분되는 감성값을 구하여 감성값을 나타내는 감성 데이터를 출력한다.

보다 상세하게 설명하면, 센서부(104)는 생체 신호를 객관적 감성 데이터로써 입력한다. 센서부(104)는 체온을 감지하는 센서, 심장의 박동수를 감지하는 심박수, 또는 피부 전기 저항을 감지하는 센서 중에서 선택될 수 있다. 이러한 센서부(104)는 생체 신호를 기초로 객관적 감성값을 수치적 데이터로 입력한다. 노인의 경우에는 보청기를 착용하는 경우가 많은데 이러한 경우에는 이어폰을 보청기로 사용하고 그 이어폰의 일부에 온도 센서를 부착하여 귓속의 온도를 측정하게 된다.

디지타이저부(106)는 쾌/불쾌축 및 긴장/이완축으로 구분된 이차원 평면상의 한 점을 그 순간의 감성으로 평가한 사용자의 주관적 감성 정보를 수치적 데이터로 입력한다. 즉, 사용자에 의하여 주관적 감성을 입력한다. 주관적 감성에 대해서는 이후에 설명된다.

다음으로, 감성 평가부(108)는 센서부(104)를 통하여 입력된 객관적 감성 데이터와 디지타이저부(106)를 통하여 입력된 주관적 감성 데이터를 평가함으로써 쾌도와 긴장도로 구분되는 감성값을 구하여 감성값을 나타내는 감성 데이터를 출력한다. 이와 같이 객관적 감성 평가 데이터와 주관적 감성 데이터를 평가하여 이차원 평면상에 실시간으로 사용자의 감성을 평가하는 실시간 종합 감성 평가 방법 및 그 시스템은, 본원인에 의하여 2002년 10월 21일자로 출원되어 2002년 10월 31일자로 공개된 대한민국특허공개 10-2002-082828호에 개시되어 있다. 상기 공개특허의 감성 평가 방법은 본 명세서에 참조로써 통합된다.

본원 발명의 무선 이동 단말기에 적용할 수 있는 감성 평가 알고리즘으로, 생체 신호의 평가는, 멤버쉽 함수를 사용하여 생체 신호 데이터를 가공하고 생체 신호별 감성 평가 결과 데이터들을 뎀스터-샤퍼(Dempster-Shafer) 증거합 법칙을 이용하여 통합하여 생체신호 결과 데이터를 구하는 것이 바람직하다.

쾌/불쾌와 긴장/이완을 반영할 수 있는 생체 신호들을 구분하여 멤버쉽 함수를 사용한 생체 신호별 감성 평가를 수행함으로써 감성 평가를 위한 인자를 추출한다. 다음으로, 생체 신호별 감성 평가 데이터들을 뎀스터-샤퍼 증거합 법칙을 이용하여 통합함으로써 생체 신호 결과 데이터를 구함에 있어 오류를 줄이고 신뢰성을 높인다.

또한, 이차원적 평면상에 디지타이져를 사용한 주관적 감성 평가 결과와 생체 신호 평가 결과를 각각 쾌/불쾌와 긴장/이완으로 구분하여 정해진 시간 간격마 다 동시에 처리하여 표시하는 것이 바람직하다. 주관적 감성 평가 결과와 생체 신호 평가는 소정의 가중 계수를 적용하여 주관적 감성과 생체 신호를 통한 객관적 감성을 상호 보완하여 보다 정확한 종합 감성 평가 결과를 하나의 이차원 평면상에 쾌/불쾌(X축) 및 긴장/이완(Y축) 정도를 정량화된 값으로 도출하면 생체 신호만을 사용한 경우 또는 디지타이져만을 사용한 경우에 비하여 신뢰성을 높일 수 있다.

멤버쉽 함수는 수학 분야에서 알려져 있는 함수로써 연속적인 데이터를 그루핑하여 이산적인 값을 생성하기 위하여 사용한다. 즉, 멤버쉽 함수를 사용하는 것이 생체 신호를 평가할 때 그 값들이 일정한 구간들로 나눠지지 않는 감성 평가에 있어서 멤버쉽 함수를 사용한 데이터 그루핑은 매우 효과적이다.

또한, 뎀스터-샤퍼 증거합 법칙 함수 역시 수학 분야에서 알려져 있는 함수로써, 확신의 정도를 구간으로 표현하는 함수이다. 생체 신호 데이터를 사용하여 감성을 표현할 때 그 값을 절대적으로 사용하여 쾌인지 불쾌인지 또는 긴장인지 이완인지가 명확히 드러나지 않는다. 그렇기 때문에, 어떻게 생체 신호를 통하여 인간의 복잡한 감성을 해석하여 정량적인 값으로 도출할 것인지가 문제가 된다.

뎀스터-샤퍼의 증거합 법칙 함수를 적용하는 것에 대하여 쾌/불쾌나 긴장/이완 정도를 관심 원소를 참조하여 믿음이 적극적으로 표현되지 않는 경우를 고려하여 의미가 없는 데이터로 처리하고 그렇지 않을 경우에는 일정한 이산적인 값으로 나타낸다. 즉, 뎀스터-샤퍼 증거합 법칙을 사용하는 것이 생체 신호의 값의 구간에 따른 신뢰 또는 불신을 고려하여 생체 신호별 평가 데이터를 통합함으로써 생체 신호들을 감성을 평가하는데 있어서 오류를 줄이고 정밀도를 높이기 위하여 매우 효 과적이다.

한편, 본원 발명에 따른 노인의 감성을 아바타로 표시하는 무선 이동 단말기의 감성 평가부(108)는 주관적 평가 데이터와 생체 신호 평가 결과를 가중 계수를 적용하여 동시에 이차원 평면상에 표시함으로써 자극에 대한 주관적 평가/생체 신호 평가를 모두 고려한다. 이로써, 주관적 감성 평가 데이터와 생체 신호 데이터를 결합함에 있어서 오류를 최소화할 수 있다. 이러한 정확한 결합에 의하여, 정확하지 않을 수 있는 주관적 감성 평가 결과와 감성을 잘 표현하지 못할 수 있는 생체 신호 데이터를 상호 보완하여 노인의 감성을 주관적인 측정과 객관적인 생체 신호 모두를 사용하면서도 더욱 정확한 노인의 감성을 평가할 수 있다.

다음의 절차로 감성 평가를 위한 방법이 프로그래밍된다.

1. 인간의 긴장도/이완도, 쾌도/불쾌도 평가를 위해, 먼저 소속 함수를 결정하기 위한 실험을 수행하였고 이 실험의 결과로부터 감성 판단을 위한 소속 함수 (membership function)를 결정.

즉, 감성 유발 요인이 개인마다 차이가 있다고 가정하고, 각 감성 영역에 해당하는 상상을 피험자마다 자유롭게 하게 함으로써 목적된 영역의 감성 변화를 유도하였고, 이를 주관적 평가와 생리 신호를 통해 객관적으로 감성을 변별할 수 있다는 사실을 선행 연구에서 본원인이 발견하였다. 이들 데이터 중에서 20대의(평균 23세) 성인 남/여 50명의 긴장도/이완도, 쾌도/불쾌도 평가 데이터를 긴장도/이완도, 쾌도/불쾌도 평가 소속 함수를 개발하는데 사용한다.

실험 과정은 다음과 같다. 먼저 피험자의 안정 상태의 생리신호 (심전도, 호 흡, 피부전도도, 뇌파)를 30초간 측정한다. 그리고 상상할 긴장, 이완, 쾌, 불쾌의 감성에 대한 예시문을 제시한 후 피험자가 편히 상상 할 수 있도록 유도한다. 30초간 피험자가 상상을 하는 동안 생리신호를 측정하고, 상상이 끝나면 자신이 상상한 내용에 대해 주관적 평가서를 작성하도록 하였으며, 주관적 평가가 끝나면 피험자가 어떤 상상을 하였는지 질문하여 녹음한 후, 휴식을 취하도록 한다. 최종적으로 안정에 비해 각 실험 상황으로 유발되는 각각의 생리 신호 변화를 관찰하기 위하여 아래 수학식 1을 이용하여 Normalized Sensitivity (이하 NS라 칭함)를 계산한다.

2. 1의 실험 결과를 이용하여 퍼지 이론을 적용하여 소속 함수를 결정

자세한 과정은 다음과 같다. 먼저, 측정된 생리 신호의 결과는 퍼지한 값이 아니고 Crisp한 값입니다. 이를 이용하여 노인의 감성을 평가하기 위해서는 먼저 측정된 Crisp한 결과 값을 퍼지 양으로 바꾸어 줄 수 있는 변환 장치가 필요하다. 즉, 측정된 생리 신호의 결과가 어떤 감성 영역에 속하게 될 가능성에 관한 함수가 존재해야 하는데 이를 소속 함수라고 정의한다.

본원 발명에서는 가로축 (x축)은 각 생리 신호의 NS를 나타내도록 하였고, 세로축 (y축)은 소속 함수 값을 나타내도록 정의한다. 또한 소속 함수의 값은 퍼지집합에 포함될 가능성을 나타내도록 한다. 예를 들어 소속 함수 값이란 감성 자극에 의한 생리 신호 변화량 ((자극 상황 - 안정 상황) / 안정상황)이 어떤 감성 영역에 속할 수 있는 가능성을 나타낸다.

모든 피험자의 생리 신호 데이터 베이스로부터 하나의 정규화 된 소속 함수를 구하기 위해서는 먼저 각 피험자들의 데이터의 관계를 나타낼 수 있도록 삼각형 함수로 곱한 후 정규화 시켜야 한다. 이때 분포함수를 이용하는 것이 가장 이상적이나 우선적으로 계산이 단순하고 일반적으로 사용되는 삼각형 함수를 선택한다. 아래 그림과 같이 삼각형 함수의 꼭지점의 x축의 위치는 계산하기 위한 특정점 (한 피험자의 생리 신호의 NS)의 위치와 일치시키고, 특정점이 다른 점 (다른 피험자의 생리 신호의 NS)과의 관계를 나타낼 수 있도록 수학식 2와 같이 계산한 후 정규화시킨다. 삼각형의 폭은 x축에 나타나는 최소값과 최대값의 차를 이용하였고 높이는 1로 한다. 본래 특정점의 y축의 값은 의미가 없는 값이나 특정점에 삼각형 함수를 곱한 후 weighting된 Y값을 얻게 된다.

다음의 그림은 각 피험자의 생리 신호의 NS을 구한 후 삼각형 함수를 곱하여 정규화 시킨 곡선이다.

여기서, 각각의 기호는 다음과 같다.

A, B, C, D, E: 각각의 피험자

Anor, Bnor, Cnor, Dnor, Eno: 정규화 된 각각의 피험자

o : 각 피험자의 생리 신호의 NS 값,

□: 삼각 함수를 곱한 후 정규화 된 각 피험자의 생리 신호의 NS 값

□ (Anor) = A*①번삼각형 + B*①번삼각형

□ (Bnor) = A*②번삼각형 + B*②번삼각형 + C*②번삼각형

□ (Cnor) = B*③번삼각형 + C*③번삼각형 + D*③번삼각형

다음은 위에 결정된 소속 함수의 판단율을 증가시키기 위하여 전문가 Rule과 결합한다. 즉, 상기 수학식 2로부터 1차적으로 결정된 소속 함수와 아래와 같은 열 개의 전문가 Rule를 Or로 결합하여 최종적인 소속 함수를 결정한다.

- 긴장을 하면 GSR이 증가한다.

- 긴장을 하면 R-R이 감소한다.

- 긴장을 하면 RSP가 증가한다.

- 이완을 하면 GSR이 감소한다.

- 이완을 하면 R-R이 증가한다.

- 이완을 하면 RSP가 감소한다.

- 쾌하면 Alpha가 증가한다.

- 쾌하면 Beta가 감소한다.

- 불쾌하면 Alpah가 감소한다.

- 불쾌하면 Beta가 증가한다.

위 열 개의 전문가 Rule은 지금까지 여러 감성 평가 연구에서 얻은 신뢰성 있는 전문가 지식 베이스이다. 퍼지 이론에서 판단율은 정확한 값을 판단하는데 주목적을 두는 것이 아니고 미 판단 요소를 최대한 판단에 반영하는데 주목적을 두는 것이므로 위와 같은 소속 함수 결정 과정은 당연한 것이다. 만일 GSR의 진폭이 확 실하게 증가하면 긴장하였다는 정확한 값을 산출할 수 있지만 아주 미미한 증가를 하였다면 어떻게 판단할지 애매 모호할 것이다. 그러나 위와 같이 소속 함수를 결정하고 나면 애매 모호한 부분이 정량화 된 숫자의 결과로 산출 될 수 있는 것이다.

다음으로, 실제 측정된 여러 생리 신호 결과들을 각각의 소속 함수에 대입하여 각각의 감성 결과 값을 산출하고, 이로부터 하나의 감성 평가 결과 (생리신호부터의 감성 평가 결과)를 도출하기 위해 Dempster-Shafer 결합 법칙을 이용하는 것이 가능하다.

소속함수는 퍼지한 요소이다. 그러므로 Crisp한 값이 산출되지 않고 모든 결과는 0부터 1 사이의 값으로 나타납니다. 만약 0은 False고 1은 True 라고 하면 0.5는 완전히 애매 모호한 퍼지한 값이다. 이러한 각 생리 신호의 결과로부터 얻은 이 값들을 결합하여 최종적인 노인의 감성을 추론하기 위해서서는 Dempster-Shafer 증거합 법칙을 사용하는 것이 가능하다. 그러나 이 결과 역시 애매 모호한 값이 산출될 것이다. 그러므로 신뢰성을 평가하기 위해서는 반복적인 실험으로 True값 설정위치를 결정해야 한다. 가령 0.7 이상 나오면 True라고 지정하는 것이다. 그래서 0.7 이상 나온 값을 True라고 결정하고 0.7 이하의 값을 False라고 가정한다면 실제 값인 True값과 False값과의 차를 이용해 신뢰성을 평가 할 수 있다. 즉, 0.3 이하는 False, 0.7 이상은 True, 그 사이 값은 Normal이라고 정의한다면 비교 실험 값을 False, True, Normal로 구분하여 비교할 수 있게 된다.

Dempster-Shafer 증거합 법칙은 불확실성을 나타내는 신뢰도에 의존한다. 어떤 가설에 신뢰도를 규정할 때, 주어진 증거에 의하여 어떤 가설에 대한 신뢰도로 0에서 1사이의 숫자를 사용한다. 이 숫자는 어떤 가설을 찬성하는 증거의 정도를 나타내는 것이다. Dempster-Shafer 이론에서는 모든 원인 또는 상태를 전체집합(H)으로 정의하고, 이 전체집합(H)의 부분집합(subset)에 대한 증거를 신뢰도 (또는 지지도) (bpa : Basic Probability Assignment)로 나타낸다. A를 부분집합이라고 한다면 m(A)는 A라는 부분집합에 주어진 신뢰도를 나타내게 된다. 이때 모든 부분집합에 대한 m값의 합은 1이 되고, 동일한 전체집합(H) 내에 있는 두 개의 신뢰함수에 대하여 Dempster-Shafer 증거합 규칙은 결합된 증거를 나타내는 새로운 신뢰함수를 만들어 내도록 한다. Rule1과 Rule2 각각의 bpa를 가정했을 때, Dempster의 결합이론에 의하면 새로운 bpa (Rule1

Rule2)는 각각의 m값이 결합된 효과를 나타냅니다. 이것은 아래 수학식 3과 같이 표현되며, 교집합 테이블에 의해 쉽게 계산된다.

위 식에서 B, C는 각 상태에 해당하며,

는 상태 B에 대한 첫 번째 룰에서의 지지도이다. A는 상태 B와 C가 공유하는

상태가 되며,

는 결합된 지지도가 된다.

즉, 생리 신호를 이용하여 노인의 감성을 판단하기 위한 기준 설정(소속 함수 사용)과 감성 평가 방법으로서는 Dempster-Shafer 결합 법칙을 사용하는 것이 가능하다. 감성 평가에 관련된 애매함을 수리적으로 취급하기 위해서는 퍼지 이론을 적용하여 임의의 감성 영역에 속하는 정도를 소속 함수로 정량화 함으로써 감성 평가를 가능하게 할 수 있다. 또한, 두 가지 이상의 생리 신호 측정 결과와 각 생리 신호의 소속 함수로부터 하나의 최종 결과(감성)를 유추하기 위해서 Dempster-Shafer 결합 법칙을 적용하여 생리 신호로부터 최종적인 감성을 추론한다.

생체 신호와 관련해서는 심전도 (Electrocardiogram: ECG) 신호로부터 평균 R-R 간격을 측정하고, 피부저항(Galvanic Skin Resistance : GSR)과 피부온도 (Skin Temperature : SKT)의 신호 진폭 변화를 측정함으로써 인간의 긴장/이완 요소를 산출하는 것이 바람직하며, 디지타이저 또는 뇌파신호 (Electroencephalogram: EEG)의 스펙트럼 분석을 통한 입력으로 쾌/불쾌 요소를 산출하는 것이 바람직하다.

이로써, 체온, 심박수, 피부 전기 저항 중에서 선택된 생체 신호를 감지하는 센서(104)에 의하여 객관적 감성 정보를 얻고, 디지타이저부(106)에 의하여 쾌/불쾌 및 긴장/이완으로 구분된 이차원 평면상의 한 점을 그 순간의 자신의 감성으로 평가한 사용자의 주관적 감성 정보를 얻으며, 감성평가부(108)는 상기 단계에서 얻은 객관적 감성 정보와 주관적 감성 정보를 입력하여 평가함으로써 쾌도와 긴장도로 구분되는 감성값을 구하여 감성값을 나타내는 감성 데이터를 출력한다.

다음으로, 인코더(110)는 음성과 감성 데이터를 인코딩하여 실시간 감성 정보를 포함하는 음성 패킷 신호를 출력한다. 무선 송신부(112)는 실시간 감성 정보 를 포함하는 음성 패킷 신호를 안테나(114) 및 지국(14)을 통하여 상대방에게 무선으로 전송한다.

도 3을 참조하여 상기 시스템상에서 수행되는 본 발명의 바람직한 실시예에 따른 노인의 감성을 아바타로 표시하는 서비스 방법의 수신 및 아바타 표시 과정을 설명한다.

먼저, 통화 접속 시도를 수신(단계 302)하고, 감성 전송 음성 통화인지를 식별(단계 310)하여, 감성 전송 음성 통화인 것으로 식별되면, 감성 표시 제어부(120)는 감성 처리 프로그램이 존재하는지를 체크(단계 312)하여 감성 처리 프로그램이 단말기(10)내에 존재하지 않는 것으로 체크되면 프로그램을 다운로드할 것인지에 대한 사용자의 선택을 받아들여(단계 320) 사용자가 프로그램을 다운로드하는 것으로 선택하면 인터넷(16)을 통하여 ISP 서버(18)로부터 감성 처리를 위한 프로그램을 다운로드(단계 322)하여 프로그램을 구동(단계 330)한다.

도 4에는 감성 처리 프로그램을 다운로드하고 호출하여 실행하는 과정의 일예를 설명하기 위한 도면을 나타내었다. 도 4를 참조하면, 단계(322)에서 다운로드된 프로그램(424)은 다른 게임 프로그램(422) 및 기타 멀티미디어 프로그램들(426)과 함께 플래시 메모리(42)에 저장된다. 단계(320)에서 사용자의 선택에 따라 CPU(40)는 다운로드된 감성 표시 프로그램(424)을 프로그램을 호출할 수 있다.

프로그램의 구동에 따라 무선 수신부(116)는 실시간 감성 정보를 포함한 음성 패킷 신호를 수신하고, 디코더(118)는 수신된 음성 패킷 신호를 디코딩(단계 340)하여 음성과 감성 데이터를 출력한다.

본 실시예에서, 상기 감성 표시 제어부는 감성 데이터 해독부(122), 아바타 구성부(124), 아바타 저장부(126), 및 이차원 표시 구성부(128)을 구비한다.

감성 데이터 해독부(122)는 디지타이져를 사용하여 입력된 주관적 감성 정보와 생체신호를 기반으로 하여 입력된 객관적 감성 정보를 사용하여 통화자의 쾌도와 긴장도를 포함하는 감성값을 추출한다(단계 342). 아바타 구성부(124)는 구한 쾌도와 긴장도에 따라 구별되는 표정을 가지는 하나 이상의 아바타를 구성 및/또는 이차원 평면상에 표시한다(단계 350). 무선 이동 단말기(10)내의 플래시 메모리(42) 형태로 구성될 수 있는 아바타 저장부(126)는 다운로드된 프로그램(424) 및/또는 아바타를 저장하고, 저장된 아바타를 불러들여 감성 평가 결과를 참조하여 아바타를 구성하는 것이 무선 통신의 부하와 사용자의 통신 요금을 고려할 때 보다 바람직하다. 플래시 메모리(42)에는 다운로드된 다른 게임 프로그램(422)와 기타 멀티미디어 프로그램(426)이 저장될 수 있다.

이로써, 감성 표시 제어부(120)는 감성 데이터를 기반으로 통화자의 쾌도와 긴장도를 구하고 구한 쾌도와 긴장도에 따라 구별되는 표정을 가지는 하나 이상의 아바타를 구성한다.

또한, 이차원 표시 구성부(128)는 쾌/불쾌축 및 긴장/이완축으로 구분된 이차원 평면상의 한 점을 그 순간의 감성으로 평가한 이차원 표시를 구성하고, LCD 디스플레이(130)는 음성 통화중에 구성된 아바타를 상대방의 감성 상태로써 표시한다.

도 5에는 본 발명의 바람직한 실시예에 따른 무선 이동 단말기의 본체 및 이 어폰에 센서가 장착되는 개념을 설명하기 위한 도면을 나타내었다. 도 5를 참조하면, 본 발명의 바람직한 실시예에 따른 무선 이동 단말기의 본체의 측면에는 생체 신호를 감지할 수 있는 센서(502, 504)를 장착할 수 있을 것이며, 필요에 따라서는 이어폰(506)에 센서(508)을 장착할 수도 있을 것이다. 특히, 이어폰(506)에 온도 센서를 장착한다면 비교적 외부 온도에 영향을 받지 않기 때문에 보다 정확한 생체 신호를 얻는 것이 가능할 것이다.

도 6을 참조하면, 본 발명의 바람직한 실시예에 따른 무선 이동 단말기가 개인휴대단말(602)이고 상기 개인 휴대 단말의 화면(606)상에서 쾌/불쾌축 및 긴장/이완축으로 구분된 이차원 평면상의 한 점을 그 순간의 사용자의 주관적 감성 정보로써 입력하는 디지타이져부를 구현하는 것도 바람직한 실시예라 할 것이다.

도 7에는 부분 아바타의 개념을 설명하기 위한 도면을 나타내었다. 도 7을 참조하면, 예를 들어, 쾌도(702)에 따라 다양한 부분 아바타(704)를 할당한 후 평가된 감성값의 쾌도가 어느 범위에 속하는지(706) 결정하여 기본 아바타에 쾌도에 해당하는 부분 아바타(704)를 적용하여 아바타를 구성한다. 이와 같이 부분 아바타를 적용하는 경우에는 시시각각 변화하는 감성 결과에 따라 매번 아바타를 바꾸지 않고도 감성을 나타내는 부분, 즉, 얼굴 표정만을 부분 아바타로써 바꾸어 표시하면 되므로 위에서 설명한 바와 같이 무선 전송률을 낮출 수 있을 뿐만 아니라 접속 요금도 낮출 수 있을 것이다. 즉, 감성의 변화에 따른 아바타 전체를 송수신 및 처리하는데는 많은 전송량 및 시스템 리소스를 필요로 하므로 초기에 기본 아바타를 다운로드하고, 쾌도 및 긴장도를 반영할 수 있는 모양의 눈 이미지와 입 이미지를 포함한 부분 아바타를 송신하여 기본 아바타에 눈 이미지와 입 이미지를 교체하여 표시하는 것이 보다 바람직할 것이다.

이상의 실시예는 본원 발명에 대한 이해를 돕기 위한 설명적인 것이며 첨부된 청구항들에 의하여 정의되는 본원 발명의 범위내에서 다양한 변형 및 수정이 가능하다. 따라서, 본 발명에 따른 노인의 감성을 아바타로 표시하는 무선 이동 단말기 및 그 무선 이동 단말기를 이용한 서비스 방법의 권리 범위는 상기 실시예에 한정되지 아니한다.

상술한 바와 같이 본 발명에 따르면 통화자의 목소리만이 아닌 통화자의 감성 상태를 아바타 및/또는 이차원 그래프 형태로 전달할 수 있는 노인의 감성을 아바타로 표시하는 무선 이동 단말기 및 그 무선 이동 단말기를 이용한 서비스 방법을 제공한다. 또한, 초기에 기본 아바타를 다운로드하고, 쾌도 및 긴장도를 반영할 수 있는 모양의 눈 이미지와 입 이미지를 포함한 부분 아바타를 송신하여 기본 아바타에 눈 이미지와 입 이미지를 교체하여 표시할 수 있도록 지원함으로써 무선 전송률을 낮출 수 있을 뿐만 아니라 접속 요금도 낮출 수 있도록 한다.

Claims (7)

1. 삭제
2. 삭제
3. 발신자 휴대폰과 수신자 휴대폰 사이에서 통화중인 상태에서 통화자의 감성을 휴대폰의 액정 화면상에 표시하는 무선 이동 단말기에 있어서,

   노인의 감성 상태를 반영하는 소정의 신호를 입력하여 평가함으로써 쾌도와 긴장도로 구분되는 감성값을 구하여 감성값을 나타내는 감성 데이터를 출력하는 감성 입력부;

   음성과 감성 데이터를 인코딩하여 실시간 감성 정보를 포함하는 음성 패킷 신호를 출력하는 인코더;

   실시간 감성 정보를 포함하는 음성 패킷 신호를 상대방에게 무선으로 전송하는 무선 송신부;

   실시간 감성 정보를 포함한 음성 패킷 신호를 수신하는 무선 수신부;

   수신된 음성 패킷 신호를 디코딩하여 음성과 감성 데이터를 출력하는 디코더;

   감성 데이터를 기반으로 통화자의 쾌도와 긴장도를 구하고 구한 쾌도와 긴장도에 따라 구별되는 표정을 가지는 하나 이상의 아바타를 구성하는 감성 표시 제어부; 및

   음성 통화중에 구성된 아바타를 상대방의 감성 상태로써 표시하는 LCD 디스플레이;를 포함하고,

   상기 감성 입력부는,

   체온, 심박수, 피부 전기 저항 중에서 선택된 생체 신호를 기초로 객관적 감성값을 수치적 데이터로 입력하는 센서부;와,

   쾌/불쾌축 및 긴장/이완축으로 구분된 이차원 평면상의 한 점을 그 순간의 감성으로 평가한 사용자의 주관적 감성 정보를 수치적 데이터로 입력하는 디지타이져부;를 포함하고,

   상기 감성 표시 제어부는,

   디지타이져를 사용하여 입력된 주관적 감성 정보와 생체신호를 기반으로 하여 입력된 객관적 감성 정보를 사용하여 통화자의 쾌도와 긴장도를 구하는 감성 데이터 해독부;

   구한 쾌도와 긴장도에 따라 구별되는 표정을 가지는 하나 이상의 아바타를 구성하는 아바타 구성부; 및

   쾌/불쾌축 및 긴장/이완축으로 구분된 이차원 평면상의 한 점을 그 순간의 감성으로 평가한 이차원 표시를 구성하는 이차원 표시 구성부;를 포함하는 것을 특징으로 하는 노인의 감성을 아바타로 표시하는 무선 이동 단말기.
4. 삭제
5. 삭제
6. 삭제
7. 삭제

Images