KR20060021544A - 이동통신단말기 사용자의 표정인식을 이용한 방송 선호도조사방법 - Google Patents

Abstract

이동통신단말기를 이용하여 방송 프로그램을 시청하는 시청자의 방송 선호도를 조사하는 방법으로서, 특히 이동통신단말기에 내장된 카메라를 통해 시청자의 이미지를 자동적으로 취득하고 분석함으로써, 시청자의 방송 선호도를 보다 정확하게 조사할 수 있고, 시청자의 방송 선호도를 조사하기 위하여 소요되는 시간 및 비용을 절감할 수 있는 효과가 있다.

이동통신단말기, MMS, 표정인식, 방송선호도, 조사

Description

이동통신단말기 사용자의 표정인식을 이용한 방송 선호도 조사방법 {BROADCASTING PREFERENCE RESEARCH METHOD USING A FACE RECOGNITION OF MOBILE COMMUNICATION TERMINAL USER}

도 1은 이동통신단말기를 이용하여 방송 프로그램을 시청하는 시청자의 모습을 이동통신단말기에 부착된 카메라를 통해 촬영하는 모습을 개략적으로 도시한 개략도이다.

도 2는 본 발명에 따른 표정인식을 이용한 방송 선호도 조사방법에서 사용되는 이동통신단말기의 구성을 개략적으로 도시한 구성도이다.

도 3은 본 발명의 일실시예에 따라 이동통신단말기를 통해 시청자의 표정인식을 이용하여 방송 선호도를 조사하기 위한 시스템을 개략적으로 도시한 개략도이다.

도 4는 내장카메라가 촬영한 시청자의 이미지와 상기 영상신호처리부를 통해 변형된 시청자의 이미지를 도시한 개략도이다.

도 5는 본 발명의 바람직한 일실시예에 따라 이동통신단말기에 저장되는 감정판별데이터를 도시한 표이다.

도 6은 감정상태판별모듈이 내장되지 않은 이동통신단말기를 사용하여 본 발명의 바람직한 일실시예에 따른 시청자의 방송 선호도 조사방법을 나타낸 흐름도이 다.

도 7은 감정상태판별모듈이 내장된 이동통신단말기를 사용하여 본 발명의 바람직한 일실시예에 따른 시청자의 방송 선호도 조사방법을 나타낸 흐름도이다.

<도면의 주요부분에 대한 부호의 설명>

10: 카메라

20: 영상신호처리부

30: 제어부

40: 방송통신모듈

50: 메모리부

60: 신호송수신부

100: 이동통신단말기

200: DMB 위성

300: DMB 방송센터

400: VOD 센터

500: 데이터베이스 서버

본 발명은 이동통신단말기를 이용하여 방송을 시청하는 시청자의 방송 선호도를 조사하는 방법에 관한 것으로서, 특히, 이동통신단말기에 내장된 카메라를 통 해 시청자의 얼굴영상정보를 취득하여 분석함으로써, 이동통신단말기 사용자의 방송 선호도를 조사하는 것이 가능한 방송 선호도 조사 방법에 관한 것이다.

최근, 정보통신기술이 발전함에 따라 이동통신단말기는 종래의 통신기기로서뿐만 아니라 방송재생매체로서 각광받고 있다. VOD(Video On Demand:주문형 비디오)서비스를 이용하여 이동통신단말기를 통해 영화, 뮤직비디오, 방송 등을 시청하는 시청자의 수가 날로 증가하고 있으며, 현재 상용화단계에 있는 DMB(Digital Multimedia Broadcasting)방송은 이동통신단말기가 방송재생매체로서 사용되는 것을 더욱 부채질할 것으로 예상된다.

이와 같이 이동통신단말기를 통한 멀티미디어 서비스가 확대되는 추세에 따라, 보다 많은 시청자의 기호에 부합하고 흥미를 유발할 수 있는 프로그램 또는 컨텐츠를 개발하기 위하여 프로그램에 대한 시청자의 성향 또는 선호도를 파악하는 것이 중요한 문제로 인식되고 있다. 특히, 시사토론과 같은 방송 프로그램에서는 특정 문제에 대한 국민의 여론을 보다 정확하게 파악하기를 원하며, 광고분야에서는 소비자의 즉각적인 반응을 확인하여 이를 다시 광고에 반영하는 피드백 작용이 매우 중요하다. 즉, 기존의 시청률 조사방식에 비해 시청자의 반응을 보다 빠르고 더 자세하게 파악할 수 있는 시청자의 방송 선호도 조사방법이 요구되고 있다.

종래에는 시청자의 방송 선호도 파악을 위하여 시청률 조사방법과 표본가구에 전화를 걸어 조회하는 전화 인터뷰, 표본 가구에 텔레비젼 방송을 시청한 사람과 시간을 매일 기록하여 일정 시간후 수집 집계하는 일기식 조사, 표본가구의 재생매체에 방송 채널을 자동으로 인식하는 기계를 부착하여 조사하는 세트미터(set meter)조사, 상기 세트미터에 핸드세트(hand set)를 구비하여 시청자가 자신의 코드를 입력하여 조사하는 피플 미터(people meter)조사가 이용되었다.

그러나, 상기와 같은 조사방법들은, 방송 시청중에 방송 선호도의 조사가 이루어지는 경우 시청자가 방송에 몰두할 수 없게 하여 방송 시청을 방해하며, 이에 따라 시청자에게 불쾌감을 유발하는 문제가 있다. 또한, 방송이 종료한 후에 시청자의 선호도를 조사하는 경우에는, 특정 시점에서 시청자의 감정을 파악하는 것이 어렵고, 시간이 경과함에 따라 불확실한 기억에 의존함으로써 방송 선호도 조사가 부정확하게 이루어질 가능성이 많으며, 조사원의 고용에 따른 인건비 및 자료 수집 및 처리를 위해 시간 및 비용이 많이 소요되고, 수집된 자료를 분석하여 조사하는 과정이 매우 복잡한 문제점이 있다.

따라서, 본 발명은 표정인식기술에 이동통신단말기의 화상전송기술을 접목시켜, 이동통신단말기를 이용하여 방송 프로그램을 시청하는 시청자의 표정을 이동통신단말기에 내장된 내장 카메라를 통해 정지영상이미지로 취득하여 분석함으로써, 시청자의 방송 선호도 조사가 자동으로 이루어지고, 기존의 방송 선호도 조사방법에 비해 보다 많은 정보를 수집할 수 있는 효과가 있음을 확인하고 본 발명을 완성하게 되었다.

상기의 문제점들을 해결하기 위하여 본 발명은, 이동통신단말기에 내장된 카메라를 이용하여 방송을 시청하는 시청자의 표정을 정지영상이미지로 수집하여 방송 선호도를 정확하게 파악하는 방송 선호도 조사방법을 제공하는 것을 목적으로 한다.

또한, 본 발명은 방송 선호도 조사가 자동적으로 이루어지는 방송 선호도 조사방법을 제공하는 것을 제 2 목적으로 한다.

본 발명의 기타 목적 및 장점들은 하기에 설명될 것이며, 이는 본 발명의 청구범위에 기재된 사항 및 그 실시예의 개시내용 뿐만 아니라, 이들로부터 용이하게 추고할 수 있는 범위 내의 수단 및 조합에 의해 보다 넓은 범위로 포섭될 것임을 첨언한다.

상기 기술적 과제를 달성하기 위하여, 본 발명은 이동통신단말기를 이용하여 방송 프로그램을 시청하는 시청자의 방송 선호도를 조사하는 방법에 있어서,

시청자가 이동통신단말기를 이용하여 위성 DMB 또는 VOD 프로그램을 시청하면, 상기 이동통신단말기에 내장된 카메라가 이동통신단말기의 전방을 촬영하여 상기 시청자의 이미지를 취득하는 이미지 취득단계와;

상기 취득된 시청자의 이미지에서 배경이미지를 제거하고 상기 시청자의 얼굴영상부분만을 추출하여 얼굴영상데이터를 형성하는 이미지 편집단계와;

상기 추출된 얼굴영상데이터로부터 상기 단말기에 저장된 표정인식기준데이터에 기초하여 표정인식이 가능한지 여부를 판단하는 인식가능여부 판단단계와;

상기 얼굴영상데이터가 표정인식이 가능하다고 판단된 경우, 상기 얼굴영상데이터, 상기 시청자 이미지의 취득시간 및 그 취득당시의 방송 프로그램명을 포함하는 시청자 정보를 상기 이동통신단말기에 저장하고, 이동통신망을 통해 데이터베 이스 서버에 전송하는 시청자 정보 전송단계와;

상기 데이터베이스 서버에 전송된 상기 시청자 정보를 이용하여 방송 선호도를 분석하는 분석단계를 포함하는 표정인식을 이용한 방송 선호도 조사방법을 제공한다.

상기 인식가능여부 판단단계는, 표정인식이 불가능한 것으로 판단될 경우 상기 이동통신단말기는 얼굴영상데이터를 삭제하는 것을 특징으로 한다.

상기 이미지 취득단계는, 이동통신단말기의 사용자가 프로그램을 시청하는 동안 일정 시간마다 주기적으로 이미지를 취득하는 것을 특징으로 한다.

그리고 상기 분석단계는:

상기 데이터베이스 서버가 N가지의 감정상태별로 기준표정자료를 기초로 상기 수신한 시청자 정보내의 상기 얼굴영상데이터에 대해 감정상태를 판별하는 감정상태 판별단계와;

상기 판별된 감정상태정보를 상기 방송 프로그램과 관련하여 데이터베이스 서버에 저장하는 감정상태정보 저장단계; 및

상기 저장된 데이터를 이용하여 방송 선호도를 산출하는 산출단계로 구성된 다.

또한 상기 이동통신단말기는 감정상태 판별모듈을 구비하는 경우,

상기 시청자 정보 전송단계는:

상기 얼굴영상데이터가 표정인식이 가능하다고 판단된 경우, N가지 감정상태로 분류된 기준 표정자료를 기초로 상기 얼굴영상데이터와 비교하여 상기 시청자에 대한 감정판별데이터를 형성하는 감정상태 판별단계와;

상기 시청자 감정판별데이터, 상기 시청자 이미지의 취득시간, 그 취득당시의 방송 프로그램명을 포함하는 시청자 정보를 상기 이동통신단말기에 저장하고 이동통신망을 통해 데이터베이스 서버에 전송하는 단계를 더 포함한다.

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 그리고 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 공지 구성에 대한 구체적인 설명 또는 당업자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

도 1은 본 발명의 바람직한 일실시예에 의해 시청자가 이동통신단말기(100)를 이용하여 방송 프로그램을 시청하는 동안, 이동통신단말기(100)에 부착된 카메라(10)를 통해 사진이 촬영되는 모습을 도시하고 있다.

시청자가 이동통신단말기(100)를 이용하여 방송 프로그램을 시청하기 위해서는 보통 이동통신단말기(100)와 시청자사이에 일정 거리 및 일정 각도를 유지하게 되며 이는 시청자가 방송 프로그램을 시청할 때 나타내는 표정을 이동통신단말기에 부착된 카메라로 촬영하여 취득하는 것을 용이하게 한다. 상기 카메라(10)는 이를 위해 이동통신단말기(100)의 디스플레이 화면 끝부분 또는 시청자의 얼굴을 촬영하는데 적합한 위치에 최적의 각도로 고정될 수 있다. 또한 상기 카메라(10)는 정확한 이미지를 얻기 위해 시청자에 입사되는 조명을 사용하거나 시청자의 얼굴방향을 향한 방향으로 조절될 수 있다.

도 2는 본 발명의 일실시예에 따른 표정인식을 이용한 방송선호도 조사방법 에 사용되는 이동통신단말기의 구성을 나타내는 블록도이다.

본 발명의 실시예에서 사용되는 방송선호도 조사방법을 위한 이동통신단말기(100)는 사용자의 이미지를 취득하기 위하여 상기 이동통신단말기(100)에 내장된 내장카메라(10), 영상신호처리부(20), 제어부(30), 방송통신모듈(40), 메모리부 및 신호송수신부(60)를 포함한다.

내장카메라(10)는 상기 이동통신단말기(100)의 방송통신모듈(40)과 연동하여, 상기 이동통신단말기(100)를 통해 VOD 또는 DMB 방송 프로그램이 실행되면 일정한 시간마다 이동통신단말기의 전방을 촬영하여 시청자의 이미지를 취득한다. 예를 들면, 상기 내장카메라(10)는 상기 이동통신단말기(100)를 통해 방송 프로그램이 실행되기 시작한 때부터 매 5초마다 상기 이동통신단말기(100)의 전방을 촬영할 수 있다. 상기 전방촬영주기는 상기 단말기 제조시에 내장 카메라(10)에 미리 설정되어 제조되거나, 상기 이동통신단말기의 사용자가 이동통신단말기(100)를 통해 임의로 설정할 수 있다.

상기 영상신호처리부(20)는 상기 내장카메라(10)를 통해 취득된 시청자의 이미지 신호에서 배경 이미지를 제거하고 얼굴영상부분만을 추출하여 얼굴영상데이터를 형성한 후, 이를 상기 제어부(30)에 출력한다. 도 4는 상기 내장카메라(10)가 촬영한 시청자의 이미지와 상기 영상신호처리부(20)를 통해 변형된 시청자의 이미지를 도시하고 있다. 이를 참고하면, 내장카메라(10)가 촬영한 시청자의 이미지에는 보통 시청자의 얼굴 뿐만 아니라 머리카락, 목, 어깨 등 표정인식과 관계없는 배경 이미지들이 포함되는 경우가 많다. 영상신호처리부(20)는 이러한 배경 이미 지들을 제거하여 시청자의 표정 인식과 관련된 최소한의 이미지만을 상기 제어부(30)에 출력한다. 한국공개특허 제 2003-0093464호 등은 상기와 같은 얼굴영상을 처리하는 방법을 제시하고 있다.

방송통신모듈(40)은 상기 이동통신단말기(100)를 통해 수신한 위성 DMB 방송 또는 VOD방송의 실행과 관련하여 제어부(10)에 내장카메라가 촬영을 개시 또는 종료하도록 지시할 수 있으며, 상기 이동통신단말기(100)의 카메라(10)가 상기 시청자의 이미지를 취득한 시간 및 그 취득당시의 방송 프로그래명을 상기 제어부(30)에 제공한다.

상기 신호송수신부(60)는 정지영상신호를 다중화/역다중화하고, 변복조하여 송수신하는 통신장치로서, 상기 메모리부(50)에 저장된 얼굴영상데이터, 수신한 상기 시청자 이미지 취득시간, 그 취득 당시의 방송 프로그램명을 포함하는 시청자 정보를 상기 이동통신망을 통해 이동통신회사측 데이터베이스 서버에 전송한다.

상기 메모리부(50)는 데이터 연산처리를 위한 데이터 메모리부 및 감정판별 프로그램, 기설정된 일정한 시간간격마다 이동통신단말기(100)의 전방을 촬영하도록 상기 카메라(10)를 제어하는 프로그램 등 본 발명에 따른 제어프로그램을 저장하기 위한 프로그램 메모리부를 포함할 뿐만 아니라, 얼굴영상데이터의 표정인식가능여부 판단의 기초가 되는 기준 데이터가 저장된다. 또한, 상기 메모리부(50)에는 얼굴영상데이터 또는 감정판별데이터와 함께, 상기 시청자 이미지 취득시간, 그 취득 당시의 방송 프로그램명을 포함하는 시청자정보가 저장된다.

제어부(30)는 상기 영상신호처리부(20), 상기 메모리부, 상기 신호송수신부 (60)를 제어한다. 또한 상기 제어부(30)는 상기 영상신호처리부(20)를 통해 입력된 얼굴영상데이터를 기준 데이터와 비교하여 표정인식이 가능한 지 여부를 판단한다. 즉, 얼굴영상데이터에 포함된 얼굴형상 및 얼굴색 등의 파라미터값을 기준 데이터와 비교하여, 조명과 같은 주위환경이나, 얼굴 방향 등이 영향에 의해 기준 데이터 이하의 범위에 속하면 표정인식이 불가능한 것으로 판단하고, 상기 영상신호처리부(20)부터 수신된 얼굴영상데이터를 삭제시킨다. 만약 표정인식이 가능하다고 판단되면, 영상신호처리부(20)로부터 수신된 얼굴영상데이터, 방송통신모듈(40)로부터 수신된 상기 시청자 이미지 취득시간 및 그 취득당시의 방송 프로그램명을 포함하는 시청자 정보를 메모리부(50)에 저장되도록 한다. 만약, 상기 이동통신단말기(100)에 감정판별모듈이 저장되어 있는 경우, 제어부(30)는 상기 메모리부(50)에 저장된 감정판별모듈에 의해 상기 얼굴영상데이터로부터 시청자의 감정을 판별하여 감정판별데이터를 형성하고, 얼굴영상데이터 대신 감정판별데이터를 상기 시청자 정보에 포함하도록 한다.

도 3은 본 발명의 일실시예에 따라 도 1 및 도 2에 나타난 이동통신단말기(100)를 통해 시청자의 표정인식을 이용하여 방송 선호도를 조사하기 위한 시스템 구성도이다.

상기 이동통신단말기(100)는 통상의 휴대전화단말기뿐만 아니라 카메라를 장착한 PDA, 노트북 PC 등에도 적용되며, 시청자가 VOD 서비스 또는 DMB 서비스를 이용할 수 있도록 VOD 및/또는 DMB와 관련된 통신모듈을 포함한다. 상기 이동통신단말기(100)는 이동통신단말기(100)를 이용하여 위성 DMB 프로그램 또는 VOD를 시청 하는 동안, 촬영된 얼굴영상데이터, 상기 시청자 이미지의 취득시간 및 그 취득당시의 방송 프로그램명을 포함하는 시청자 정보를 이동통신망을 통해 데이터베이스 서버에 전송한다.

위성방송센터는 DMB 위성을 통해 위성 DMB 서비스 가입자의 이동통신단말기(100)에 제공되는 오디오, 비디오, 데이터 등의 방송 컨텐츠를 제공하며, VOD센터는 무선망을 통해 VOD 서비스 가입자의 이동통신단말기(100)에 방송 컨텐츠를 제공한다.

데이터베이스 서버는 이동통신망을 통해 상기 DMB 또는 VOD 방송을 시청하는 시청자의 이동통신단말기(100)로부터 얼굴영상데이터, 상기 시청자 이미지 취득시간 및 그 취득당시의 방송 프로그램명을 포함하는 시청자 정보를 수신하여 데이터베이스로 저장하고 이를 분석하여 시청자의 방송 선호도를 조사한다. 상기 데이터베이스 서버에 저장된 감정판별모듈은 이동통신단말기(100) 내장된 감정판별모듈보다 더욱 세분된 감정상태에 대한 기준 표정자료를 기초로 감정상태를 파악할 수 있다.

상술한 바와 같이 구성되는 본 발명에 따른 표정인식을 이용한 방송 선호도 조사방법을 첨부한 도 6 및 도 7을 참조하여 살펴보기로 한다.

도 6은 감정상태판별모듈이 내장되지 않은 이동통신단말기(100)를 이용하여 방송선호도를 조사하는 방법을 흐름도로 나타내고 있다.

시청자가 이동통신단말기를 이용하여 위성 DMB 또는 VOD프로그램을 시청할 때, 상기 이동통신단말기의 방송통신모듈과 연동하여 상기 이동통신단말기의 내장 카메라는 이동통신단말기의 전방을 촬영하여 시청자의 이미지를 취득한다(S100). 상기 내장카메라가 상기 시청자를 촬영할 때, 상기 방송통신모듈은 시청자 이미지의 취득시간 및 그 취득당시의 방송프로그램명을 상기 제어부(30)에 전송한다.

상기 영상신호처리부는 상기 내장카메라를 통해 수신한 시청자의 이미지로부터 배경 이미지를 제거하고 시청자의 얼굴영상부분만을 추출하여 얼굴영상데이터를 형성한다(S110). 이 때, 얼굴 이미지만 추출하는 일련의 과정에 대한 기술이 국내외에서 상당히 많이 제안되어 있으며, 그 중 국내에서 제안되어 있는 논문으로는 『황선규, 이재호, 김형준, 김회율,"색상정보를 이용한 실시간 얼굴영역 트랙킹 방법", 정보처리학회지 26권, 2호, pp. 368-340,1999년』을 들 수 있다.

이후, 상기 제어부는 상기 영상신호처리부로부터 추출된 얼굴영상데이터와 상기 메모리부에 저장된 표정인식기준데이터를 비교하여, 상기 얼굴영상데이터가 표정인식이 가능한 지 여부를 판단한다(S120). 표정인식이 가능한지 여부는 예를 들면, 조명, 시청자의 응시방향 등과 같은 표정인식기준데이터와 상기 얼굴영상데이터를 비교하여 판단한다.

만약, 표정인식이 불가능한 것으로 판단되면, 상기 제어부는 얼굴영상데이터를 삭제하고, 다시 시청자의 이미지를 취득하기 위한 단계(S100)로 돌아간다. 표정인식이 가능한 것으로 판단되면, 상기 제어부는 상기 얼굴영상데이터와, 방송 통신 모듈(40)로부터 수신한 상기 이동통신단말기의 시청자 이미지 취득시간 및 그 취득당시의 방송 프로그램명이 포함된 시청자 정보를 형성하여 이동통신단말기의 메모리부에 저장한다(S130). 상기 이동통신단말기는 상기 시청자정보를 이동통신 망을 통해 데이터베이스 서버에 전송한다(S150). 바람직하게는, 상기 시청자정보의 전송은 시청자가 시청하는 방송 프로그램 단위 또는 시간단위별로 이루어질 수 있다.

상기 데이터베이스 서버는 상기 기로부터 수신한 시청자 정보를 데이터베이스로 저장하고, 상기 시청자정보로부터 얼굴영상데이터를 추출하여 조사하고자 하는 감정상태별로 분석하여 감정판별데이터를 형성한다. 도 5는 감정판별데이터에 관한 구체적인 예를 나타내고 있다. 예를 들면, "동물의 왕국"이라는 방송 프로그램을 시청하는 시청자의 표정을 12시 52분 3초에 촬영한 경우, 상기 감정판별데이터는 "동물의 왕국-12시 52분 3초-재미있음:4-슬픔:1-집중도:3"과 같은 정보가 생성된다. 감정상태의 분석을 위해, '재미있음','슬픔','집중도'와 같이 시청자의 방송선호도와 관련된 감정상태가 포함될 수 있으며, 시청자의 선호도를 보다 정확하게 조사하기 위하여 상기 감정상태별로 1단계부터 5단계까지 총 5단계로 구성되는 선호단계 중에서 적절한 단계를 부여하여 감정상태가 판별되도록 할 수 있다. 또한 보다 심도있는 조사를 위하여 분석대상이 되는 감정상태를 추가할 수 있다.

도 7은 감정상태판별모듈이 내장된 이동통신단말기(100)를 이용하여 방송 선호도를 조사하는 방법을 흐름도로 나타내고 있다.

시청자가 이동통신단말기(100)를 이용하여 위성 DMB 또는 VOD프로그램을 시청하면, 상기 이동통신단말기의 방송통신모듈과 연동하여 상기 이동통신단말기에 내장된 카메라가 이동통신단말기의 전방을 촬영하여 시청자의 이미지를 취득한다(S200). 상기 내장 카메라가 상기 시청자를 촬영할 때, 상기 통신모듈은 시청자 이미지 취득시간 및 그 취득당시의 방송프로그램명을 상기 제어부(30)에 전송한다.

상기 카메라가 시청자의 이미지를 취득하면, 상기 영상신호처리부가 시청자의 이미지로부터 배경 이미지를 제거하고 시청자의 얼굴영상부분만을 추출하여 얼굴영상데이터를 형성한다(S210).

상기 제어부는 상기 영상신호처리부로부터 추출된 얼굴영상데이터와 상기 메모리부에 저장된 표정인식기준데이터를 비교하여, 상기 얼굴영상데이터가 표정인식이 가능한지 여부를 판단한다(S120). 표정인식이 가능한지 여부는 예를 들면 조명, 시청자의 응시방향 등과 같은 표정인식기준데이터와 상기 얼굴영상데이터를 비교하여 판단한다.

만약 표정인식이 불가능한 것으로 판단되면, 상기 제어부는 얼굴영상데이터를 삭제하고(S240), 다시 시청자의 이미지를 취득하는 단계(S200)로 돌아간다. 표정인식이 가능한 것으로 판단되면, 상기 제어부는 상기 얼굴영상데이터와 상기 이동통신단말기의 시청자 이미지 취득시간 및 그 취득당시의 방송 프로그램명을 포함한 시청자 정보를 형성하여 이동통신단말기의 메모리부에 저장한다(S230).

만약 표정인식이 가능한 것으로 판단되면, 상기 이동통신단말기에 내장된 감정판별모듈은 상기 얼굴영상데이터로부터 시청자의 감정상태를 판별하여 감정판별데이터를 형성한다.

상기 제어부는 상기 감정판별모듈을 통해 형성된 감정판별데이터를 상기 이동통신단말기의 메모리부에 저장된 시청자 이미지 취측시간 및 그 취득당시의 방송 프로그램명과 관련하여 이동통신단말기의 메모리부에 저장한다(S250). 상기 이동 통신단말기는 상기 시청자정보를 이동통신망을 통해 데이터베이스 서버에 전송한다(S260).

상기 데이터베이스 서버는 수신한 시청자정보를 저장하고, 이를 이용하여 방송 선호도를 분석한다(S240). 보다 심도있는 조사를 위하여 상기 데이터베이스 서버의 분석대상이 되는 감정상태가 추가될 수 있다.

이상의 설명에서 본 발명은 특정의 실시예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업게에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

상술한 바와 같이, 본 발명에 따르면, 이동통신단말기를 통해 방송 프로그램을 시청하는 시청자의 방송 선호도를 정확하게 파악할 수 있도록 하며, 방송 선호도를 자동으로 조사함으로써 조사과정을 단순화하여 방송 선호도를 조사하는데 소요되는 시간 및 비용을 절감할 수 있는 효과를 갖는다.

본 발명의 다른 효과는, 이상에서 설명한 실시예 및 본 발명의 청구범위에 기재된 사항뿐만 아니라, 이들로부터 용이하게 추고할 수 있는 범위 내에서 발생될 수 있는 효과 및 산업발전에 기여하는 잠정적 장점의 가능성들에 의해 보다 넓은 범위로 포섭될 것임을 첨언한다.

Claims (5)

1. 이동통신단말기를 이용하여 방송 프로그램을 시청하는 시청자의 방송 선호도를 조사하는 방법에 있어서,

   시청자가 이동통신단말기를 이용하여 위성 DMB 또는 VOD 프로그램을 시청하면, 상기 이동통신단말기에 내장된 카메라가 이동통신단말기의 전방을 촬영하여 상기 시청자의 이미지를 취득하는 이미지 취득단계와;

   상기 취득된 시청자의 이미지에서 배경이미지를 제거하고 상기 시청자의 얼굴영상부분만을 추출하여 얼굴영상데이터를 형성하는 이미지 편집단계와;

   상기 추출된 얼굴영상데이터로부터 상기 단말기에 저장된 표정인식기준데이터에 기초하여 표정인식이 가능한지 여부를 판단하는 인식가능여부 판단단계와;

   상기 얼굴영상데이터가 표정인식이 가능하다고 판단될 경우, 상기 얼굴영상데이터, 상기 시청자 이미지의 취득시간 및 그 취득당시의 방송 프로그램명을 포함하는 시청자 정보를 상기 이동통신단말기에 저장하고, 이동통신망을 통해 데이터베이스 서버에 전송하는 시청자 정보 전송단계와;

   상기 데이터베이스 서버에 전송된 상기 시청자 정보를 이용하여 방송 선호도를 분석하는 분석단계를 포함하는, 표정인식을 이용한 방송 선호도 조사방법.
2. 제 1 항에 있어서,

   상기 분석단계는:

   상기 데이터베이스 서버가 N가지의 감정상태별로 분류된 기준표정자료를 기초로 상기 수신한 시청자 정보내의 상기 얼굴영상데이터에 대해 감정상태를 판별하는 감정상태 판별단계와;

   상기 판별된 감정상태정보를 상기 방송 프로그램과 관련하여 데이터베이스 서버에 저장하는 감정상태정보 저장단계; 및

   상기 저장된 데이터를 이용하여 방송 선호도를 산출하는 산출단계로 구성된 것을 특징으로 하는, 표정인식을 이용한 방송 선호도 조사방법.
3. 제 1 항에 있어서,

   상기 이동통신단말기는 감정상태 판별모듈을 가지고 구비하고,

   상기 시청자 정보 전송단계는:

   상기 얼굴영상데이터가 표정인식이 가능하다고 판단된 경우, N가지 감정상태별로 분류된 기준 표정 자료를 기초로 상기 얼굴영상데이터와 비교하여 상기 시청자에 대한 감정판별데이터를 형성하는 감정상태 판별단계와;

   상기 시청자 감정판별데이터, 상기 시청자 이미지의 취득시간, 그 취득당시의 방송 프로그램명을 포함하는 시청자 정보를 상기 이동통신단말기에 저장하고 이동통신망을 통해 데이터베이스 서버에 전송하는 단계를 포함하는, 표정인식을 이용한 방송 선호도 조사방법.
4. 제 1 항에 있어서,

   상기 인식가능여부 판단단계에서, 상기 표정인식이 불가능한 것으로 판단될 경우 상기 이동통신단말기는 얼굴영상데이터를 삭제하는 것을 특징으로 하는, 표정인식을 이용한 방송 선호도 조사방법.
5. 제 1 항 내지 제 4 항에 있어서,

   상기 이미지 취득단계는, 상기 이동통신단말기의 사용자가 방송 프로그램을 시청하는 동안 일정 시간마다 주기적으로 이미지를 취득하는 것을 특징으로 하는, 표정인식을 이용한 방송 선호도 조사방법.

Images