KR20060077988A

KR20060077988A - 멀티미디어 통신 시스템에서 컨텍스트 추출 및 이를 통한정보 제공 시스템 및 방법

Info

Publication number: KR20060077988A
Application number: KR1020040116648A
Authority: KR
Inventors: 김준환; 류중희; 문봉교; 정준영; 임한나
Original assignee: 삼성전자주식회사
Priority date: 2004-12-30
Filing date: 2004-12-30
Publication date: 2006-07-05
Also published as: JP2006190296A; US20060173859A1

Abstract

본 발명은 양자 또는 다자간 멀티미디어 통신 중 통신 내용에 해당하는 각종 미디어를 자동으로 인식하고 관련된 정보를 실시간으로 제공할 수 있는 멀티미디어 서비스를 제공하기 위한 시스템 및 그 방법에 관한 것으로서, 이러한 본 발명은 타 사용자 단말기로부터 수신되거나 사용자로부터 입력되는 멀티미디어 데이터에 대한 타입을 분류하는 과정과, 상기 분류된 멀티미디어 데이터에 상응하는 검출 방식을 통해 상기 멀티미디어 데이터의 컨텍스트를 검출하는 과정과, 상기 검출된 컨텍스트에 해당하는 관련/부가정보의 검색 요구조건을 검사하는 과정과, 상기 검색조건 판단결과 컨텍스트 관련/부가정보 검색 조건을 만족하는 경우 상기 컨텍스트에 해당하는 관련/부가정보의 검색을 통해 상기 검출된 컨텍스트에 대한 관련/부가정보를 제공받는 과정과, 상기 멀티미디어 데이터와 상기 멀티미디어 데이터에 대한 컨텍스트의 관련/부가정보를 함께 사용자에게 제공하는 과정을 포함함을 특징으로 한다.

멀티미디어 통신, 컨텍스트(context), 스마트 번역기(smart interpreter), 검색 서버, 음성 인식, 영상 인식, 자연어 처리

Description

멀티미디어 통신 시스템에서 컨텍스트 추출 및 이를 통한 정보 제공 시스템 및 방법{SYSTEM AND METHOD FOR INFORMATION PROVIDING SERVICE THROUGH RETRIEVING OF CONTEXT IN MULTIMEDIA COMMUNICATION SYSTEM}

도 1은 본 발명에 따른 멀티미디어 서비스를 제공하기 위한 시스템의 구성을 개략적으로 도시한 도면,

도 2는 본 발명에 따른 멀티미디어 서비스를 제공하기 위한 장치의 내부 블록 구성을 개략적으로 도시한 도면,

도 3은 본 발명에 따른 사용자 단말기의 내부 블록 구성을 개략적으로 도시한 도면,

도 4는 본 발명에 따른 멀티미디어 서비스 제공을 위한 전체적인 동작 과정을 개략적으로 도시한 도면,

도 5는 본 발명에 따른 멀티미디어 서비스 제공을 위한 입력데이터별 컨텍스트 추출 과정의 실시예를 도시한 도면,

도 6a 및 도 6b는 본 발명에 따른 멀티미디어 서비스 제공을 위한 입력데이터별 컨텍스트 추출 과정의 실시예를 도시한 도면,

도 7은 본 발명에 따른 멀티미디어 서비스 제공을 위한 추출된 컨텍스트에서 부가정보 필요여부에 따른 검색 수행 방법을 개략적으로 도시한 도면,

도 8은 본 발명에 따른 컨텍스트 분류별 검색 과정 및 검색 데이터의 송수신 과정을 개략적으로 도시한 도면,

도 9a 내지 도 9d는 본 발명에 따른 멀티미디어 서비스의 디스플레이 방법에 따른 실시예들을 도시한 도면.

본 발명은 무선 이동통신 시스템에서 멀티미디어 서비스 제공 시스템 및 방법에 관한 것으로서, 특히 무선 이동통신 시스템에서 사용자가 양자 또는 다수의 다른 사용자와 멀티미디어 통신 시, 그에 따른 다양한 부가정보를 제공할 수 있는 멀티미디어 서비스 제공 시스템 및 방법에 관한 것이다.

일반적으로 휴대폰 및 PDA(Personal Digital Assistants) 등과 같은 휴대용 단말기는 이동통신 서비스 지역 안을 임의로 이동하면서 기지국을 통해 일반전화 가입자 또는 다른 이동통신 가입자와 통화를 수행하는 기본적인 기능 이외에도, 개인 정보관리 및 컴퓨터와의 정보교류를 수행하는 등의 부가적 기능을 가진다. 근래에는 상기 휴대용 단말기에 화상이나 동영상의 송수신, 가상 3차원 음향 및 스테레오 사운드 구현, MP3 플레이어 기능, 사진 촬영이 가능한 카메라 내장 등 하루가 다르게 그 성능이 향상된 휴대용 단말기들이 등장하고 있다.

상기와 같이 하루가 다르게 선보이는 새로운 기능의 휴대용 단말기들은, 특히 정지 또는 동영상 등의 제어 기능, 인터넷 연동을 통한 정보 검색 및 데이터 송수신, 사진 촬영 및 촬영 영상 편집이 가능한 카메라 기능 등의 다양한 부가 기능들이 내장된 휴대용 단말기들이 대중화됨에 따라 이에 대한 서비스도 늘어나고 있는 추세에 있다.

또한, 상기와 같은 휴대용 단말기들과 더불어 사용자에게 여러 가지 편의를 위한 장치들이 다수 제공되고 있다. 예컨대, 사용자가 양자간 또는 다자간 통신 수행 중 상기 사용자에게 관련 정보를 제공하는 장치들이 제공되고 있다.

보다 구체적으로, 양자간 또는 다자간 통신 중 사용자에게 관련 정보를 제공하는 장치로는, 자동 통역기, 음성 인식기, 문자 부가정보 전송기 등이 주로 사용되고 있다. 예를 들면, 상기 자동 통역기의 경우는 화자가 구사하는 언어가 청자가 구사하는 언어로 통역되어 청자에게 전달하는 기능을 가진다. 상기 음성 인식기의 경우에는 화자가 구사하는 음성 언어가 문자 언어로 변환되어 청자의 단말기에 표시하는 기능을 가진다. 상기 문자 부가정보 전송기의 경우에는 사용자 단말기에서 전송된 문자를 분석하여 상기 문자에 맞는 정보를 검색하여 문자와 상기 정보를 동시에 전송하는 기능을 가진다.

한편, 사용자는 일상생활에 있어서, 상기와 같은 정보통신기기들을 통해 통신을 이용한 다양한 정보 수집, 정보 제공 및 적극적인 활용 욕구와 필요성은 통신기술의 비약적인 발달과 함께 점차 증대되고 있으며, 향후 3세대 및 4세대로 진보되어 가는 기술적 현실을 살펴볼 때 그 기대치는 더욱 높아지고 있다.

그러나, 상기와 같은 휴대용 단말기나 사용자 편의를 위한 정보 제공 단말기들은 다음과 같은 불편함과 이에 다른 문제점들을 가진다.

첫째, 매체의 종류가 한정되어 있다. 즉, 종래 기술에서 제공하는 매체의 종류는 상기 언급한 바와 같이 음성(자동 번역기, 음성 인식기) 또는 문자(문자 부가 전송기) 등으로 한정되어 있다.

둘째, 컨텍스트(context)의 종류가 한정되어 있다. 즉, 종래 기술에서 제공하는 컨텍스트의 종류는 키워드(문자 부가 전송기)에 한정되어 있다.

셋째, 검색 방식이 한정되어 있다. 즉, 종래 기술에서 제공하는 검색 방식은 번역 또는 키워드 검색에 한정되어 있다.

넷째, 디스플레이(display) 방법이 한정되어 있다. 즉, 종래 기술에서는 송신자가 송신한 음성은 들리지 않고, 통역된 음성만 들리거나(자동 번역기), 상기 송신자가 송신한 음성에 대응하여 인식된 문자만 표시되거나(음성 인식기), 부가정보가 원 문자와 같이 표시되는(문자 부가정보 전송기) 등 표시 방법이 한정되어 있다.

다섯째, 기존의 멀티미디어 통신에 있어서, 송신인이 전송하는 통신 내용 중 수신인이 이해하지 못한 부분이 있다면 다시 물어보거나 이해하지 못한 상태로 계속 통신을 진행할 수밖에 없는 문제점이 있었다.

여섯째, 상기한 바와 같은 사용자 편의를 위한 서비스를 제공받기 위한 장치들이 각각 별개로 이루어져 있으므로 인해 사용자는 각각의 서비스를 제공받기 위해서는 그에 해당하는 장치들을 각각 구입해야함에 따른 비용부담이 발생하며, 상 기 해당 기능별 다수개의 장치들을 휴대해야 함에 따른 불편함이 따른다.

상기에서 언급한 종래 기술에 따르면, 매체 종류, 컨텍스트 종류, 검색 방식 및 표시 방법 등의 한계로 인하여 실제 사용자에게 제공되는 정보는 원시정보에 한정된 부가정보만을 단순 제공하는 수준에 머물고 있다. 또한, 제공된 정보의 수준이 단순 정보 제시 및 나열 수준에 불과하여 제공 정보의 활용 측면에서도 한계가 존재한다.

따라서, 사용자에게 휴대용 단말기와 같은 하나의 장치를 이용하여, 양자 또는 다자간 통신 중 다양한 부가 서비스 및 멀티미디어 서비스를 제공할 수 있는 시스템의 구현 및 이를 위한 방법이 요구된다.

따라서 본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여 창안된 것으로서, 본 발명의 목적은, 이동통신 시스템에서 사용자에게 보다 편리한 서비스를 제공할 수 있는 멀티미디어 서비스 제공 시스템 및 그 방법을 제공함에 있다.

본 발명의 다른 목적은, 별도의 편집 작업 없이 실시간으로 멀티미디어 통신 중에 입력된 데이터들에 대한 확인 및 관련 부가정보를 제공할 수 있는 멀티미디어 서비스 제공 시스템 및 그 방법을 제공함에 있다.

본 발명의 또 다른 목적은, 이동통신 시스템에서 사용자가 각종 멀티미디어 서비스를 통해 입력받는 컨텍스트(context)를 자동으로 인식하고, 상기 인식된 컨텍스트에 관련된 정보를 해당 데이터베이스로부터 자동으로 검색하여 송수신 함으 로써, 사용자가 멀티미디어 서비스 통신시, 이에 대해 원활한 서비스 및 부가정보를 제공할 수 있는 시스템, 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은, 이동통신 시스템에서 사용자가 각종 멀티미디어 통신 중 입력되는 데이터들에 대한 컨텍스트를 자동으로 인식하고 추출할 수 있는 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은, 멀티미디어 통신 중 입력되는 데이터들에서 추출한 컨텍스트들에 대응하는 부가정보의 필요 여부를 판단하고, 그에 따른 검색 방법을 제공함에 있다.

본 발명의 또 다른 목적은, 외부 검색 서버에서 인터넷 프로토콜을 이용하여 보다 확장된 다양한 정보를 검색하고 검색된 데이터를 제공할 수 있는 시스템, 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은, 수신한 멀티미디어 데이터와 검색된 부가정보를 사용자에게 동시에 제공할 수 있는 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은, 사용자 단말기를 이용하여 사용자에게 멀티미디어 서비스 및 부가정보를 간편하게 제공할 수 있는 장치 및 방법을 제공함에 있다.

상기와 같은 목적들을 달성하기 위한 본 발명의 실시예에 따른 장치는; 양자 또는 다자간 멀티미디어 데이터 통신이 가능한 사용자 단말기 및 유무선 네트워크 망을 통한 웹 서버와 연동되어 상기 사용자 단말기 상호간 또는 웹 서버를 통한 멀티미디어 데이터를 사용자 단말기로 제공하는 시스템에 있어서, 상기 사용자 단말기 또는 웹 서버로부터 멀티미디어 데이터를 수신하고, 상기 사용자 단말기에서 요 청되는 멀티미디어 데이터에 상응하는 관련/부가정보를 상기 웹 서버로부터 수신하는 멀티미디어 데이터 수신부와, 상기 멀티미디어 데이터 수신부를 통해 수신된 멀티미디어 데이터의 컨텍스트(context)를 추출하는 컨텍스트 추출부와, 상기 컨텍스트 추출부에서 추출된 컨텍스트의 종류를 판별하고 분류하는 컨텍스트 분류부와, 상기 컨텍스트 추출부에서 추출 및 분류된 컨텍스트에 대한 관련/부가정보 검색 요구조건을 판단하고, 상기 검색 요구 조건에 대응하여 상기 추출 및 분류된 컨텍스트에 대한 관련/부가정보를 상기 웹 서버에서 검색하여 추출하는 검색 제어부와, 상기 검색 제어부를 통해 검색된 상기 컨텍스트 관련/부가정보를 상기 사용자 단말기의 인터페이스 방식에 상응하는 방식으로 변환하여 제공하는 관련정보 제공부를 포함함을 특징으로 한다.

상기와 같은 목적들을 달성하기 위한 본 발명의 실시예에 따른 장치는; 양자 또는 다자간 멀티미디어 데이터 서비스를 제공하는 통신 시스템에서 유무선 네트워크 망을 통한 웹 서버와 연동하여 멀티미디어 데이터 및 관련정보를 송수신하는 사용자 단말기에 있어서, 사용자로부터 문자, 숫자 및 텍스트 정보가 입력되는 입력 수단, 외부 영상을 획득하는 이미지 획득수단 및 사용자의 음성 및 외부 오디오 신호가 입력되는 음성 인식수단을 포함하는 입력부와, 타 사용자 단말기와 멀티미디어 데이터 통신을 통한 멀티미디어 데이터의 송수신 또는 상기 유무선 네트워크 인터페이스를 통해 상기 웹 서버와의 멀티미디어 데이터 및 컨텍스트 관련/부가정보를 송수신하는 멀티미디어 데이터 통신부와, 상기 멀티미디어 데이터 통신부를 통해 수신되는 상기 멀티미디어 데이터의 컨텍스트를 추출하여 분류하고, 상기 추출 된 컨텍스트의 종류를 판별하여 분류하고, 상기 추출 및 분류된 컨텍스트에 해당하는 컨텍스트 관련/부가정보를 검색하여 제공하는 스마트 번역부와, 타 사용자 단말기로부터 수신되는 멀티미디어 데이터 또는 상기 유무선 네트워크 망을 통해 수신되는 멀티미디어 데이터와 상기 수신되는 멀티미디어 데이터에 대한 컨텍스트의 관련/부가정보를 상기 멀티미디어 데이터와 함께 디스플레이하는 출력부를 포함함을 특징으로 한다.

상기와 같은 목적들을 달성하기 위한 본 발명의 실시예에 따른 장치는; 양자 또는 다자간 멀티미디어 데이터 통신이 가능한 사용자 단말기 및 유무선 네트워크 망을 통한 웹 서버와 연동되어 상기 사용자 단말기 상호간 또는 웹 서버를 통한 멀티미디어 데이터를 제공하는 시스템에 있어서, 타 사용자 단말기와 멀티미디어 데이터 통신을 통한 멀티미디어 데이터의 송수신 또는 상기 유무선 네트워크 인터페이스를 통해 멀티미디어 데이터 및 컨텍스트 관련/부가정보를 수신하고, 상기 수신하는 컨텍스트의 관련/부가정보를 상기 멀티미디어 데이터와 함께 표시하여 사용자에게 제공하는 사용자 단말기와, 사용자 단말기와 멀티미디어 데이터 통신을 통한 멀티미디어 데이터의 송수신 또는 상기 유무선 네트워크 인터페이스를 통해 멀티미디어 데이터 및 컨텍스트 관련/부가정보의 송수신 및 상기 멀티미디어 데이터의 컨텍스트를 추출하고, 상기 추출된 컨텍스트에 해당하는 컨텍스트 관련/부가정보를 검색하여 상기 사용자 단말기로 제공하는 스마트 번역기와, 상기 유무선 네트워크 인터페이스를 통해 상기 스마트 번역기로부터 요청되는 컨텍스트 관련/부가정보의 데이터베이스를 제공하는 검색 서버를 포함함을 특징으로 한다.

상기와 같은 목적들을 달성하기 위한 본 발명의 실시예에 따른 방법은; 양자 또는 다자간 멀티미디어 데이터 서비스를 제공하는 통신 시스템에서 유무선 네트워크 망을 통한 웹 서버와 연동하여 멀티미디어 데이터에 대한 부가정보를 제공하는 방법에 있어서, 타 사용자 단말기로부터 수신되거나 사용자로부터 입력되는 멀티미디어 데이터에 대한 타입을 분류하는 과정과, 상기 분류된 멀티미디어 데이터에 상응하는 검출 방식을 통해 상기 멀티미디어 데이터의 컨텍스트를 검출하는 과정과, 상기 검출된 컨텍스트에 해당하는 관련/부가정보의 검색 요구조건을 검사하는 과정과, 상기 검색조건 판단결과 컨텍스트 관련/부가정보 검색 조건을 만족하는 경우 상기 컨텍스트에 해당하는 관련/부가정보의 검색을 통해 상기 검출된 컨텍스트에 대한 관련/부가정보를 제공받는 과정과, 상기 멀티미디어 데이터와 상기 멀티미디어 데이터에 대한 컨텍스트의 관련/부가정보를 함께 사용자에게 제공하는 과정을 포함함을 특징으로 한다.

상기와 같은 목적들을 달성하기 위한 본 발명의 실시예에 따른 방법은; 양자 또는 다자간 멀티미디어 데이터 통신이 가능한 사용자 단말기 및 유무선 네트워크 망을 통한 웹 서버와 연동되어 상기 사용자 단말기 상호간 또는 웹 서버를 통한 멀티미디어 데이터를 제공하는 방법에 있어서, 타 사용자 단말기와 멀티미디어 데이터 통신을 통한 멀티미디어 데이터 수신 또는 사용자 입력에 의한 멀티미디어 데이터가 요청되면, 상기 멀티미디어 데이터를 스마트 번역기로 전송하는 과정과, 상기 사용자 단말기로부터 멀티미디어 데이터를 수신한 상기 스마트 번역기는 상기 멀티미디어에 대한 컨텍스트를 추출하고, 상기 추출된 컨텍스트에 해당하는 컨텍스트 관련/부가정보를 검색하여 상기 사용자 단말기로 제공하는 과정과, 상기 스마트 번역기로부터 멀티미디어 데이터에 대한 컨텍스트 관련/부가정보가 수신되면, 상기 수신하는 컨텍스트의 관련/부가정보를 상기 멀티미디어 데이터와 함께 디스플레이하는 과정을 포함함을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 그리고 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

한편, 제안하는 본 발명은 양자간 또는 다자간 멀티미디어 통신 중 통신 내용에 해당하는 각종 미디어, 즉 음성, 영상, 텍스트 등의 컨텍스트(context)를 자 동으로 인식하고 관련된 정보를 제공할 수 있는 멀티미디어 서비스 제공 시스템 및 그에 따른 장치 및 방법에 관한 것이다. 여기서, 상기 컨텍스트라 함은, 일반적으로 '문맥'이란 뜻을 가진 용어로서, 이하의 본 발명에서는 상기 컨텍스트를 소정의 의미를 가지는 '정보 객체'라는 보다 넓은 의미로 사용됨에 유의하여야 한다.

즉, 본 발명에서 언급되는 상기 컨텍스트는 음성이나 텍스트의 경우 특정 단어, 문장, 외국어 등을 가리키며, 동영상 또는 정지영상의 경우 특정 이미지, 인물, 상표, 풍경, 물체 등을 가리키며, 이외에도 기타 다양한 미디어 및 상기 예들이 복합적으로 작용하는 경우를 가리킨다.

또한, 본 발명에서 사용되는 멀티미디어(multimedia)는 상기한 바와 같이 음성, 영상, 텍스트 및 이들의 조합이나 기타 미디어(media)들의 일부 혹은 전체를 나타냄에 유의하여야 한다.

또한, 본 발명의 제안에 따른, '양자 또는 다자간 멀티미디어 통신 중 통신 내용에 해당하는 음성, 영상, 텍스트 등의 내용, 즉 상기 컨텍스트를 자동으로 인식하고, 이에 관련된 정보를 서버로부터 제공하는 장치'를 이하의 설명에서는 편의상 '스마트 번역기(Smart Interpreter)'라 명명한다.

그러면 이하에서는, 본 발명에서 제안하는 멀티미디어 서비스를 구현하기 위한 시스템과, 상기 서비스를 제공하기 위한 장치 및 그 방법에 대하여 첨부한 도면을 참조하여 바람직한 동작 실시예들을 살펴보기로 한다.

도 1은 본 발명에 따른 멀티미디어 서비스를 구현하기 위한 시스템의 구성을 개략적으로 도시한 도면이다.

상기 도 1을 참조하면, 본 발명의 멀티미디어 서비스 제공 시스템은, 외부로부터 입력되는 다양한 멀티미디어 데이터 및 부가정보의 송수신이 가능한 어플리케이션(application)을 포함하는 사용자 단말기(101)와, 유/무선 인터넷(internet)을 위한 WAP(Wireless Application Protocol) 게이트웨이(gateway)(103)와, 양자 또는 다자간 멀티미디어 통신에 따라 수신된 멀티미디어 데이터에서 컨텍스트를 인식 및 추출하고, 상기 추출된 컨텍스트에 관련된 정보를 후술하는 검색 서버(111)로의 요청하고, 상기 요청된 정보를 수신하는 스마트 번역기(105)와, 인터넷 서비스를 제공하기 위한 유/무선 인터넷 망(Internet Network)(107)과, 상기 인터넷 망을 통해 자사와 관련된 각종 데이터를 제공하는 기업 서버(109)와, 상기 기업 서버(109)로부터 검색된 데이터를 디코딩하여 분류별로 저장하고, 상기 저장된 데이터를 상기 인터넷 망(107)과 연동하여 상기 스마트 번역기(105)의 요청에 따라 제공하는 검색 서버(111)와, 상기 인터넷 망(107)을 통해 인터넷 통신을 수행하며, 상기 인터넷 통신을 통해 수신된 멀티미디어에 대한 부가정보의 요청 및 요청된 부가정보를 상기 검색 서버(111)로부터 수신하여 사용자에게 제공하는 클라이언트 시스템(client system)(115)으로 이루어진다.

상기 사용자 단말기(101)는 무선 인터넷 또는 컴퓨터 네트워크 접속이 가능하도록 무선 인터넷 브라우저(Internet Browser)를 탑재하고 있는 휴대용 단말기로서, 이동 전화기, PDA 단말기, 스마트 폰 등의 모든 정보통신기기 등이 될 수 있다. 상기 무선 인터넷 브라우저는 일예로 왑(WAP) 브라우저가 채용될 수 있으나, 본 발명이 이에 한정되는 것은 아니다. 또한, 상기 왑 브라우저는 현재 각 이동통 신사에서 이동전화 단말기에 기본적으로 탑재시키고 있는 공지의 무선 브라우저로 대체 가능하다.

바람직하게, 상기 사용자 단말기(101)는, 본 발명에 따른 시스템 구현에 따라, 멀티미디어 서비스 구현을 위해 상기 스마트 번역기(103)를 사용자 단말기 자체에 내장할 수도 있다. 이러한 구조에 대해서는 후술하므로 여기서는 그 상세한 설명은 생략하기로 한다.

상기 WAP 게이트웨이(103)는 통신사 시스템(미도시)과 연동하여 상기 사용자 단말기(101)에서 유선 인터넷 또는 무선 인터넷으로 멀티미디어 형식의 데이터를 송수신할 수 있는 인터페이스를 제공한다. 여기서, 상기 유선 인터넷 또는 무선 인터넷은 본 발명이 출원될 당시의 공지된 정보 통신 기술에 의해 구현된다. 하지만 본 발명의 기술적 사상은 유선 인터넷과 무선 인터넷의 구축과 운용에 있는 것은 아니며, 이와 관련된 기술적 구성은 본 발명이 속한 기술 분야에서 통상의 지식을 가진 자에게 공지되어 있으므로, 유무선 인터넷과 관련된 더 이상의 상세한 기술 설명은 이하 생략하기로 한다.

상기 스마트 번역기(105)는 상기 사용자 단말기(101)로부터 데이터 전송이 있으면, 상기 전송된 데이터, 즉 음성, 영상, 텍스트 등의 컨텍스트를 자동으로 인식 및 추출하고, 상기 컨텍스트에 대응하는 정보를 상기 검색 서버(111)와의 연동을 통해 제공받고, 상기 검색 서버(111)로부터 제공된 상기 컨텍스트에 대응하는 정보를 상기 사용자 단말기(101) 또는 클라이언트 시스템(115)으로 제공한다. 여기서, 상기 컨텍스트에 대응하는 정보, 즉 상기 컨텍스트와 관련된 정보는 인물, 기 업 언어, 마케팅, 일정, 기타 관련정보 등을 나타낸다. 상기 스마트 번역기(105)의 구성에 대해서는 후술되므로 여기서는 그 상세한 설명은 생략하기로 한다.

상기 인터넷 망(107)은 상기 스마트 번역기(105), 상기 기업 서버(109), 상기 검색 서버(111) 및 상기 클라이언트 시스템(115)과 연동하며, 상기 연동을 통해 상기 각 장치들의 유/무선 통신을 위한 인터페이스 및 원활한 인터넷 서비스를 제공한다.

상기 기업 서버(109)는 자사와 관련된 각종 데이터를 데이터베이스 형태로 저장하고 있으며, 상기 검색 서버(111)에서 상기 인터넷 망(107)을 통해 요청되는 관련 정보를 제공하거나, 상기 검색 서버(111)에서의 검색을 위한 데이터베이스를 제공한다.

상기 검색서버(111)는 상기 스마트 번역기(105)에서 요청되는 컨텍스트에 대한 관련 정보를 자체 데이터베이스부(113)와의 연동을 통해 검색하여 제공하거나, 상기 컨텍스트에 대응하는 기업서버(109)로부터 검색 요청을 통해 관련 정보를 수신하고, 상기 검색정보 또는 수신정보를 상기 스마트 번역기(105)로 제공한다. 이때, 상기 데이터베이스부(113)는 상기 스마트 번역기(105)에서 요청되는 컨텍스트와 관련한 정보, 상기 검색서버(111)를 통해 분류된 각종 분류별 정보를 데이터베이스화하여 저장하는 다수개의 DB들을 포함한다.

상기 데이터베이스부(113)는 상기 검색서버(111)에서 분류되어 출력되는 데이터가 특정 인물에 대한 데이터인 경우 상기 인물에 대응하는 다양한 정보를 데이터베이스화하여 수록하는 인물 DB, 상기 검색서버(111)에서 분류되어 출력되는 데 이터가 특정 기업에 대한 상표인 경우 상기 상표에 대한 정보와 상기 상표에 대응하는 기업에 대한 다양한 정보를 데이터베이스화하여 수록하는 기업 DB, 상기 검색서버(111)에서 분류되어 출력되는 데이터가 한자어인 경우 상기 한자어에 대응하는 다양한 정보를 수록하는 한자어 사전, 상기 검색서버(111)에서 분류되어 출력되는 데이터가 영어인 경우 상기 영어에 대응하는 한국어를 수록하는 영한사전 등을 포함할 수 있다.

상기 클라이언트 시스템(115)은, 인터넷 브라우저와 유/무선 인터넷에 접속할 수 있는 네트워크 인터페이스를 구비한 장치로서, 데스크톱 컴퓨터, 노트북 컴퓨터 및 기타 다른 사용자 단말기 등일 수 있다.

이상에서는 본 발명에 따른 멀티미디어 서비스를 제공하기 위한 시스템의 전제적인 구조에 대하여 살펴보았다. 그러면 이하에서는, 본 발명에 따른 멀티미디어 서비스 제공을 위한 상기 스마트 번역기에 대하여 보다 구체적으로 설명하기로 한다.

<스마트 번역기의 구성>

도 2는 본 발명에 따른 멀티미디어 서비스를 제공하기 위한 스마트 번역기의 구성을 도시한 도면이다.

상기 도 2를 참조하면, 본 발명의 멀티미디어 서비스 제공을 위한 상기 스마트 번역기는, 사용자 단말기(210) 또는 웹 서버(기업 서버, 검색 서버)로부터 인터넷 프로토콜(internet protocol)을 이용하여 멀티미디어 데이터를 수신하는 멀티미 디어 데이터 수신부(211)와, 상기 멀티미디어 데이터 수신부(221)에서 수신된 멀티미디어 데이터를 저장하는 멀티미디어 저장부(223)와, 상기 멀티미디어 저장부(223)에 저장된 멀티미디어 데이터로부터 컨텍스트(context)를 추출하는 컨텍스트 추출부(225)와, 상기 컨텍스트 추출부(225)에서 추출된 컨텍스트의 종류를 판별하고 분류하는 컨텍스트 분류부(227)와, 사용자로부터 입력되는 검색 조건에 대응하는 상황을 감지하는 검색조건 확인부(229)와, 상기 검색조건 확인부(229)에서 확인된 상황, 즉 상기 추출 및 분류된 컨텍스트에 대한 사용자의 관련 정보 검색 요구 조건을 판단하고, 상기 사용자의 검색 요구조건에 상응하게 상기 추출된 컨텍스트에 대한 관련정보의 검색 방식을 제어하기 위한 검색 제어부(231)와, 필요한 정보를 외부의 검색서버(270)에서 인터넷 프로토콜을 이용하여 검색하고, 상기 검색 데이터를 받아오는 검색관련 통신부(233)와, 상기 검색 제어부(231)를 통한 검색 데이터에 대한 정보, 즉 상기 검색 제어부(231)를 통해 검색된 컨텍스트 관련정보를 확인하여 상기 멀티미디어 데이터에 관련된 관련정보를 상기 사용자 단말기(210)로 제공하는 관련정보 제공부(235)를 포함함을 특징으로 한다. 바람직하게, 상기 스마트 번역기(220)는 상기 검색 결과 정보를, 사용자 또는 서비스 제공자의 설정에 따라 상기 사용자 단말기(210)로 제공하기 위한 데이터 전송부(240)를 더 포함함을 특징으로 한다.

상기에서와 같이, 본 발명에 따른 상기 스마트 번역기(220)는 사용자 단말기(210)의 내/외부에 포함되어 사용자로부터 입력된 데이터를 전달받아 해당 데이터의 컨텍스트를 추출하고 관련정보를 자체 데이터베이스 또는 네트워크를 통한 다양 한 DB를 통해서 검색 및 수신하여 이를 사용자 단말기(210)로 전달하는 역할을 한다. 여기서, 상기 데이터베이스는 컨텍스트와 관련된 인물, 기업, 언어, 마케팅, 일정, 기타 관련정보 중 적어도 어느 하나 이상이 필드화되어 구조적으로 기록 저장된다. 보다 구체적으로 특정 인물에 대한 약력, 이미지, 학력, 활동사항, 특기사항, 취미와 같은 상기 인물에 상응하는 관련/부가정보를 포함하는 인물 정보 필드, 특정 기업에 대한 CI(Corporate Identity), BI(Brand Identity), 주식정보, 임원정보, 제품정보, 로고와 같은 상기 기업에 상응하는 관련/부가정보를 포함하는 기업 정보 필드, 및 특정 한자어 또는 영어와 같은 텍스트에 상응하는 관련/부가정보를 제공하기 위한 전자사전을 포함하는 언어 정보 필드 등을 필드화되어 구조적으로 저장된다.

한편, 상기에서와 같이 본 발명에서 제안하는 스마트 번역기는 외부 인터넷 망 등을 통해 상기 사용자 단말기, 검색 서버 및 클라이언트 시스템 등과 연동하도록 별개의 시스템으로 구성되어 있음을 알 수 있다. 하지만 본 발명이 이에 한정되는 것은 아니므로, 상기 스마트 번역기는 상기 사용자 단말기, 검색 서버 또는 클라이언트 시스템 등에 포함될 수도 있음은 자명하다. 예컨대, 상기 스마트 번역기는 상기 사용자 단말기 또는 검색 서버의 내부에 어플리케이션 등을 통해 구현될 수도 있으며, 또한 상기한 기능 블록들이 원칩(one chip)화된 하드웨어로 구현될 수 있음은 물론이다.

그러면 이하, 상기 스마트 번역기가 상기 사용자 단말기의 내부에 형성된 경우의 실시예를 도 3을 참조하여 살펴보기로 한다.

도 3은 본 발명의 일실시예에 따른 멀티미디어 서비스 제공을 위한 스마트 번역기를 구비한 사용자 단말기의 내부 구성을 개략적으로 도시한 도면이다.

상기 도 3을 참조하면, 상기 본 발명의 실시예에 따른 사용자 단말기는 크게, 입력 수단, 처리 수단, 저장 수단, 출력 수단 및 통신 수단으로 구분된다. 상기 입력 수단은 마이크를 통해 입력되는 음성 데이터를 처리하는 오디오 처리부(307), 사용자로부터 문자 데이터를 입력받는 키입력부(309) 및 외부 소정 물체의 촬영을 통해 영상 데이터를 입력받는 카메라(313) 등을 포함한다. 즉, 상기 입력 수단은 상기와 같은 구성 장치들을 통해, 음성 데이터, 문자 데이터 및 영상 데이터 등의 멀티미디어 데이터를 입력받는 기능을 담당한다.

상기 처리 수단은, 상기 카메라(313)를 통해 입력되는 영상 데이터에 대하여 디지털 신호로 변환 처리하는 신호 처리부(315), 상기 신호 처리부(315)에서 디지털 처리된 입력 영상 데이터를 처리하는 영상 처리부(317), 상기 오디오 처리부(307) 등으로부터 전달되는 음성 데이터 또는 상기 키입력부(309)를 통해 사용자로부터 입력되는 문자 데이터 등의 처리를 담당하는 데이터 처리부(305), 상기 사용자 단말기내 블록들의 일련의 제어를 담당하는 제어부(301) 및 상기 입력 수단을 통해 입력되는 멀티미디어 데이터에서 컨텍스트를 인식 및 추출하고, 상기 추출된 컨텍스트에 상응하는 관련정보를 외부 웹 서버 요청 및 수신하여 사용자에게 제공하기 위한 일련의 제어 처리를 담당하는 스마트 번역부(321)를 포함한다. 즉, 상기 처리 수단은 상기 입력 수단으로부터 입력된 멀티미디어 데이터 예컨대, 상기 음성 데이터, 문자 데이터 및 영상 데이터 각각에 대응하는 일련의 처리를 담당한다.

상기 저장 수단은, 상기 입력 수단을 통해 입력된 상기 멀티미디어 데이터의 저장 및 외부 웹 서버로부터 전송되는 컨텍스트 관련정보 등을 저장하는 기능을 담당하며, 메모리(311) 등을 포함한다.

상기 출력 수단은, 상기 외부로부터 입력되는 멀티미디어 데이터에 대하여 사용자에게 제공하기 위한 화면을 구성하여 출력하는 디스플레이부(319) 및 상기 음성 데이터를 외부로 출력하는 오디오 처리부(307)를 포함한다. 즉, 상기 출력 수단은 상기 입력 수단을 통해 입력되는 멀티미디어 데이터 또는 상기 저장 수단에 저장된 멀티미디어 데이터에 관련된 음성 데이터를 출력한다.

상기 통신 수단은, 상기 멀티미디어 데이터를 외부 다른 사용자 등으로 무선 전송하거나 또는 외부 웹 서버와의 연동을 통한 컨텍스트 관련정보의 송수신 기능을 담당하며, RF(Radio Frequency) 처리부(303) 등을 포함한다.

상기한 바와 같은 각 구성 요소들에 대하여 보다 구체적으로 살펴보면, 상기 RF 처리부(303)는 휴대전화 통신, 데이터 통신 등과 관련한 일련의 통신을 수행한다. 상기 RF 처리부(303)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF 송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등을 포함한다. 상기 데이터처리부(305)는 상기 RF 처리부(303)를 통해 전송되는 신호에 대한 부호화 및 변조를 수행하는 수단, 상기 RF 처리부(303)를 통해 수신되는 신호에 대한 복조 및 복호화를 수행하는 수단 등을 구비할 수 있다.

상기 오디오 처리부(307)는 상기 데이터 처리부(305)에서 출력되는 수신 오디오 신호를 재생하거나 또는 마이크로부터 입력되는 음성 등의 오디오 신호를 상 기 데이터 처리부(305)에 전송하는 기능을 수행한다. 상기 키입력부(309)는 숫자 및 문자 정보를 입력하고 각종 기능들을 설정하기 위한 숫자, 문자 및/또는 기능 키들을 구비한다. 상기 기능키는 본 발명에서 제안하는 멀티미디어 서비스를 제공받기 위한 모드 설정키, 컨텍스트 종류에 따른 검색 조건을 입력하기 위한 검색 입력키 등을 포함할 수 있다.

상기 메모리(311)는 프로그램 메모리 및 데이터 메모리들로 구성될 수 있다. 상기 프로그램 메모리에는 사용자 단말기의 일반적인 동작을 제어하기 위한 프로그램 모듈들 및 본 발명의 실시예에 따라 멀티미디어 서비스를 이용하기 위한 어플리케이션을 포함하는 프로그램 모듈들을 저장할 수 있다. 또한 상기 데이터 메모리에는 상기 프로그램 모듈들을 수행하는 중에 발생되는 데이터들을 임시 저장하는 기능을 수행한다.

상기 제어부(301)는 사용자 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 또한 상기 제어부(301)는 상기 키입력부(309)로부터 모드 설정 변경 신호가 입력되면 그에 대응하는 모드 설정을 제어하며, 상기 입력되는 모드 설정 신호에 대응하여 생성되거나 관리되는 멀티미디어 데이터 등을 표시하도록 제어한다. 상기 제어부(301)는 본 발명의 실시예에 따라 상기 멀티미디어 데이터를 후술하는 디스플레이부(319)에 전송하는 경로를 제어한다.

상기 카메라(313)는 소정의 영상을 촬영하여 데이터 신호를 수신하고, 인코더(미도시)와의 연동을 통해 상기 수신되는 영상 데이터의 디지털 신호 변환을 수행한다. 상기 신호처리부(315)는 상기 카메라(313)로부터 출력되는 영상 신호를 이 미지 신호로 변환한다.

상기 영상처리부(317)는 상기 신호처리부(315)에서 출력되는 영상 신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행한다. 상기 영상처리부(315)는 상기 제어부(301)의 제어 하에 수신되는 영상 신호를 상기 디스플레이부(319)의 규격에 맞추어 전송하며, 또한 상기 영상 데이터를 압축 및 신장하는 기능을 수행한다.

상기 디스플레이부(319)는 상기 영상처리부(317)에서 출력되는 영상 데이터를 화면으로 표시한다. 또한, 멀티미디어 통신을 통해 수신한 멀티미디어 데이터와 이에 관련된 부가정보를 설정된 디스플레이 방식에 따라 사용자에게 제공한다.

상기 스마트 번역부(321)는 멀티미디어 통신에 따라 수신되는 멀티미디어 데이터에서 컨텍스트를 자동으로 인식 및 추출하고, 상기 추출된 컨텍스트에 관련된 정보를 검색하거나, 외부 검색 서버로의 요청을 수행하고, 검색 또는 수신된 정보를 상기 디스플레이부(319)를 통해 멀티미디어 데이터와 검색 결과를 동시에 제공할 수 있도록 제어한다. 바람직하게, 상기 스마트 번역부(321)는 소정의 컨텍스트들에 대한 결과 정보를 오버레이하는 프로그램 모듈, 상기 컨텍스트들에 대한 정보를 인식하는 프로그램 모듈, 상기 컨텍스트들에 대한 정보를 추출하기 위한 프로그램 모듈 및 상기 인식되는 정보의 변환 및 관리할 수 있는 프로그램 모듈 등을 포함하는 전용 어플리케이션(application)을 탑재할 수 있다. 또한 상기 전용 어플리케이션은 통신사 시스템(미도시)으로부터 상기 사용자 단말기의 펌웨어 업그레이드 등을 통해 제공받을 수 있도록 하는 것이 바람직하다. 하지만 본 발명이 이에 한정되는 것은 아니다.

여기서, 상기 통신사 시스템은 유무선 인터넷을 통하여 상기 사용자 단말기로 다양한 부가 서비스를 제공하는 이동통신 사업자의 시스템이 될 수 있으며, 자체 구비되는 데이터베이스와 연동하여 상기 사용자 단말기의 사용자 정보를 제공하며, 유선 인터넷 및 무선 인터넷과 연계되어 사용자 단말기의 전용 어플리케이션을 배포한다.

또한, 상기 스마트 번역부(321)는 바람직하게, 인터넷 프로토콜(internet protocol)을 이용하여 외부 웹 서버로부터 멀티미디어 데이터를 수신하는 멀티미디어 데이터 수신부, 상기 멀티미디어 데이터 수신부로부터 수신되는 멀티미디어 데이터의 컨텍스트(context)를 추출하는 컨텍스트 추출부, 상기 컨텍스트 추출부에서 추출된 컨텍스트의 종류를 판별하고 분류하는 컨텍스트 분류부, 상기 컨텍스트 분류부 또는 키입력부(309)를 통해 사용자로부터 입력되는 검색 조건에 대응하는 상황을 감지하는 검색조건 확인부, 상기 검색조건 확인부에서 확인된 상황에 대응하는 컨텍스트의 검색 방식을 제어하기 위한 검색 제어부, 상기 검색 제어부를 통해 검색된 컨텍스트 관련정보를 제공하는 관련정보 제공부를 포함하여 구성될 수 있다. 또한, 상기 검색조건 확인부와 검색 제어부는 별도의 구성을 가지나, 바람직하게, 상기 검색 제어부에서 상기 추출 및 분류된 컨텍스트에 대한 사용자의 관련정보 검색 요구조건을 판단하고, 상기 사용자의 검색 요구조건에 상응하게 상기 추출된 컨텍스트에 대한 관련정보를 검색하도록 구현할 수도 있음은 자명하다.

한편, 이상에서 살펴본 실시예에서는 설명의 편의상 상기 사용자 단말기를 이동통신기기 또는 핸드폰으로 한정되어 설명되었으나, 하지만 본 발명이 이에 한 정되는 것은 아니다. 예컨대, 본 발명의 실시예에 따른 사용자 단말기는 이동 전화기, PDA 단말기, 스마트 폰, DMB 폰, MP3 플레이어, 디지털 카메라 등의 모든 모바일 단말기, 정보통신기기 및 멀티미디어 기기와, 그에 대한 응용에도 적용될 수 있음은 자명할 것이다.

이상에서는 본 발명에서 제안하는 멀티미디어 서비스를 구현을 위한 스마트 번역기에 대한 구성을 살펴보았다. 그러면 이하에서는 본 발명의 멀티미디어 서비스를 제공하기 위한 상기 스마트 번역기의 바람직한 동작 실시예를 살펴보기로 한다.

<스마트 번역기의 동작>

도 4는 본 발명에 따른 멀티미디어 서비스 제공을 위한 스마트 번역기의 전체적인 동작 과정을 개략적으로 도시한 도면이다.

상기 도 4를 참조하면, 먼저 수신 대기중 멀티미디어 서비스를 위한 통신이 수행(401 단계)되면, 수신되는 멀티미디어 데이터 중 관련/부가정보 검색에 필요한 조건을 만족하는 컨텍스트가 존재하는지 확인(403 단계)한다. 이때, 상기 확인결과 관련/부가정보 검색에 필요한 조건을 만족하는 컨텍스트가 없다면, 상기 초기 대기 상태(401 단계)로 진행하여 기본적인 멀티미디어 통신을 계속 수행한다. 상기 수신한 멀티미디어 중 관련/부가정보 검색에 필요한 조건을 만족하는 컨텍스트가 있다면, 해당 컨텍스트 내용을 판별(405 단계)하고, 상기 판별된 컨텍스트에 대응하는 관련 검색서버로 상기 컨텍스트에 대한 관련/부가정보를 요청(407 단계)한다.

상기 검색 조건에 대응하는 컨텍스트에 대한 부가정보 요청 후, 관련 검색서버로부터 컨텍스트에 대한 부가정보가 수신(409)되면, 상기 수신된 부가정보를 상기 멀티미디어 상에 오버레이(overlay)하여 표시(411 단계)해 준다. 이때, 상기 부가정보의 표시는 상기 오버레이를 통한 표시도 가능하지만, 팝업(pop-up) 등을 이용한 표시도 가능함은 물론이다. 이러한 표시 방법에 대해서는 후술되므로, 여기서는 그 상세한 설명은 생략하기로 한다.

여기서, 이상에서와 같이 제안하는 본 발명의 실시예와 종래 기술과의 특징적인 차이점은, 원시 데이터에 해당하는 멀티미디어 데이터 통신의 진행 중에도 해당 컨텍스트를 추출하고 관련/부가정보를 검색 및 수신하여, 수신된 검색 데이터를 멀티미디어 데이터의 제공과 동시에 사용자 단말기의 디스플레이부로 함께 제공가능하다는 것이다. 이는 앞서 설명한 오버레이 방식, 화면분할 또는 팝업 방식 등으로 제공된다. 하지만 본 발명이 이에 한정되는 것은 아니므로, 경우에 따라서는 하나의 데이터를 중단하거나 임시 버퍼에 저장하고 다른 하나의 데이터만 제공하는 것도 가능함은 물론이다.

한편, 상기 컨텍스트에 대한 부가정보 요청에 대한 수신이 관련 검색서버로부터 발생되지 않을 경우, 시스템 또는 사용자 설정에 따른 횟수만큼 상기 요청을 반복수행하도록 하는 것이 바람직하다. 또한, 상기 관련 검색 서버로부터 요청에 대한 수신이 이루어지지 않을 경우, 상기 컨텍스트에 대한 정보가 없음으로 인지하고, 사용자에게 컨텍스트에 대한 정보가 없음을 시각 또는 청각 및 이를 혼용하여 알려주도록 하는 것이 바람직하다.

다음으로, 상기 컨텍스트에 대한 관련/부가정보 표시 후, 상기 컨텍스트에 대한 추가 정보 요청이 선택되었는지 판별(413 단계)하고, 추가되는 정보에 대해서는 상기 관련 검색서버로 추가정보를 재요청하고, 이후 상기 요청된 해당 정보의 수신을 통해 사용자에게 제공하여 준다(415 단계). 또한, 상기 해당 정보를 제공한 이후, 다음 추가 정보가 요청되는지 확인(417 단계)하여, 다른 추가 정보 요청이 선택되면 상기 과정을 반복 수행하고, 더 이상의 추가 정보 요청이 없으면 다음 단계로 진행한다.

이후, 상기 컨텍스트에 대한 부가정보에 대한 제공이 완료되면 상기 멀티미디어 데이터 통신의 완료 여부를 체크(419 단계)하고, 통신이 완료되지 않은 경우 상기 일련의 처리과정을 반복 수행하고, 통신이 완료된 경우는 상기 멀티미디어 데이터 서비스를 종료한다. 여기서, 상기 사용자가 추가 정보를 요청하면 해당 부가정보를 서버로부터 수신하여 표시하고, 이때 통신은 중단 없이 진행된다. 또한 상기 멀티미디어 데이터 서비스 종료시 사용자의 설정에 따라 기본적인 멀티미디어 데이터 통신은 지속적으로 진행할 수 있음은 물론이다.

이상에서는 본 발명에 제안하는 스마트 번역기의 전체저인 동작에 대하여 살펴보았다. 이하에서는 상기 스마트 번역기의 주요 특징적인 동작을 더욱 상세하게 살펴보기로 한다.

<컨텍스트 추출 동작>

도 5는 본 발명에 따른 멀티미디어 서비스 제공을 위한 입력 데이터별 컨텍 스트 추출 과정의 일실시예를 도시한 도면으로서, 상기 도 5는 본 발명의 일실시예에 따라 입력 데이터에서 음성 인식, 자연어 처리 및 영상 인식 등의 과정을 통해 컨텍스트를 추출하는 과정을 도시한 도면이다.

상기 도 5를 참조하면, 멀티미디어 데이터 통신에 따라 멀티미디어 데이터 가 수신되면, 상기 수신된 멀티미디어 데이터에 대한 분류를 판별(501 단계)한다. 예컨대, 상기 수신된 멀티미디어 데이터를 텍스트, 음성, 영상 및 다른 미디어 등의 분류에 따른 판별을 수행한다. 여기서, 상기 수신된 멀티미디어 데이터의 판별을 수행하기 위해서는, 상기 데이터의 앞부분에 데이터 형식과 관련된 타입 정보(type information)가 상기 멀티미디어 데이터의 헤더(Header)에 포함된다. 따라서, 상기 멀티미디어 데이터의 헤더(Header)를 참조하여 상기 멀티미디어 데이터의 타입(type)을 분류할 수 있으며, 이를 통해 상기 수신 멀티미디어 데이터의 형식을 판별하는 것이 가능하다. 예를 들어, MIME의 경우 헤더의 content-type을 참조하여 'content-type:text'인 경우 해당 멀티미디어가 텍스트임을 의미하고, 'content-type:video'인 경우 해당 멀티미디어가 동영상임을 의미하고, 'content-type:audio'인 경우 해당 멀티미디어가 음성임을 의미한다.

한편, 상기에서 판별된 멀티미디어가 텍스트(503 단계)로 판별되면, 상기 수신된 텍스트로부터 자연어 처리(511 단계) 과정을 통해 '키워드(keyword)'를 추출(513 단계)한다.

상기에서 판별된 멀티미디어가 음성(505 단계)으로 판별되면, 상기 수신된 음성으로부터 음성인식(507 단계) 과정을 통해 상기 음성을 텍스트로 변환(509 단 계)하고, 이후 상기 변환된 텍스트를 입력 받아, 이에 대한 자연어 처리(511 단계) 과정을 통해 '키워드'를 추출(513 단계)한다.

상기에서 판별된 멀티미디어가 영상(515 단계)으로 판별되면, 상기 수신된 영상으로부터 영상인식(517 단계) 과정을 통해 수신된 영상에서 특정 '물체'를 추출(519 단계)한다.

한편, 상기에서 판별된 멀티미디어가 이상에서 살펴본 미디어 외의 다른 미디어(521 단계)로 판별되면, 그에 해당하는 인식 수단(523 단계)을 통해 수신된 미디어에 대응하는 컨텍스트를 추출(525 단계)한다. 이때, 만약 음성과 영상이 함께 수신되는 경우에는, 사용자 설정에 따라 상기 음성과 영상을 따로 분리하여 처리하거나 또는 상기와 같이 동시 수신되는 데이터 각각에 대한 우선순위를 부여하여 미리 설정하고, 그 설정 방식에 따라 자동으로 순차적 처리를 수행할 수 있도록 하는 것이 바람직하다. 하지만 본 발명이 이에 한정되는 것은 아니며, 이는 본 발명의 일실시예에 불과할 뿐이므로, 다양한 변형 예들이 있을 수 있음은 자명하다.

이하, 상기에서 살펴본 바와 같은, 입력 데이터에 따른 컨텍스트 추출 과정에 대하여 일예를 통해 살펴보면 다음과 같다.

예컨대, 상기 수신된 멀티미디어에 대한 분류 판별결과 '시간 없으니까 거두절미하고 point만 말해주세요!'라는 음성 신호가 입력되면, 상기 '음성 인식' 과정을 통해 입력된 음성을 '시간 없으니까 거두절미하고 point만 말해주세요'라는 텍스트로 변환한다. 그런 다음, 상기 변환된 텍스트로부터 '자연어 처리' 과정을 통해 '시간', '거두절미', 'point' 등의 키워드를 추출하게 된다.

이상에서는 본 발명의 실시예에 따른 입력 데이터별 컨텍스트 추출을 위한 전반적인 과정에 대하여 살펴보았다. 그러면, 이하에서는 상기와 같은 컨텍스트를 추출하는 과정에 대하여 각 입력 데이터에 대한 컨텍스트 추출 과정을 보다 구체적으로 살펴보기로 한다.

본 발명에 따른 컨텍스트 추출 과정의 설명에 앞서, 특정 영상에서 물체를 검출하는 것은 화상 감시 및 패턴 인식 등 여러 분야의 기본이 되는 고전적인 관심 분야이며, 현재에도 많은 연구가 활발히 진행되고 있다. 특히, 영상 내에서 원하는 물체의 위치를 모르는 경우, 신경망 회로(neural network)를 이용한 기법 또는 템플릿(template)을 이용한 정합 기법 등이 주로 이용되고 있다.

여기서, 상기 신경망 회로는 뇌 등 중추신경계에 구성되어 있는 신경회로망의 정보 병렬처리의 원리ㅇ능력 등의 탐구, 수학적 해석을 하기 위해 만들어진 여러 모델의 총칭으로서, 공학적 시스템을 비롯하여 계산론적 신경과학, 인지심리학 등 분야의 설명 모델 등으로 응용되고 있다. 신경망 회로를 이용하여 얼굴을 추출하는 기법은 Henry A. Rowley, Shumeet Baluja, and Takeo Kanade, "Neural Network-Based Face Detection"(IEEE Transactions on Pattern Analysis and Machine Intelligence, volume 20, number 1, pages 23-38, January 1998) 등이 있다.

또한, 상기 템플릿이란 그래픽 프로그램에서 자주 사용하기 위해 미리 정해 놓은 그림이나 이미지의 일정한 패턴을 나타내는 것으로, 프로그래머가 직접 작성하거나 학습을 통해 습득한 물체의 템플릿을 미리 저장해놓고, 입력 영상과 비교하 여 정합이 되는 경우 입력 영상에서 물체의 위치를 구할 수 있다.

상기 템플릿을 이용한 정합 기법은 사용하는 특징(feature)에 따라 다양하게 제안되어 왔다. 즉, Ming-Hsuan Yang, "Detecting Faces in Images" (IEEE transactions on Pattern analysis and machine intelligence, vol. 24, no. 1, pp. 34-58, Jan, 2002.) 와 Paul Viola, "Robust Real-time Object Detection" (Technical Report Series, pp. 283-289, Feb, CRL 2001.) 등의 공지 기술을 이용하여 수신데이터에서 컨텍스트를 추출할 수 있다. 또한, 전역적 또는 국부적으로 밝기 변화가 심한 영상에서 물체 검출을 위한 기법으로 에지를 특징 정보로 이용하는 신기선, "다중의 거리영상을 이용한 형태 인식 기법" (추계종합학술대회 논문집 IV, vol. 23, no. 4, pp. 17-20, Nov, 2000.)와 주성분 분석법(PCA, Principal Component Analysis)나 FLD(Fisher's Linear Discriminant) 등의 선형 투영 기법을 특징 추출 기법으로 활용하는 기법 Yang, M, -H ; "Face recognition using kernel eigenfaces" (IEEE ICIP 2000, Vol, pp. 37-40)이 있다.

이외에도 컨텍스트 추출 기법은 다양한 공지 기술을 이용하는 것이 가능하며, 본 발명에서는 이러한 컨텍스트 추출을 통해 사용자에게 다양한 관련정보를 제공하고자 하는 것으로, 상기 컨텍스트 추출을 위한 더 구체적인 방안은 본 발명의 범위에서 벗어나는 것이므로 이하에서는 그 상세한 설명은 생략하기로 한다.

도 6a 및 도 6b는 본 발명에 따른 멀티미디어 데이터 서비스 제공을 위한 입력데이터별 컨텍스트 추출 과정을 도시한 도면으로서, 특히 입력 데이터가 영상인 경우, 상기 영상으로부터 영상 인식의 과정을 통해 컨텍스트를 추출하여 제공하는 과정의 실시예를 도시한 도면이다.

상기 도 6a 및 도 6b를 참조하면, 멀티미디어 수신 여부를 확인(601 단계)하여 멀티미디어가 수신되면, 상기 수신된 멀티미디어에 대한 판별을 수행(603 단계)한다. 이때, 상기 판별된 멀티미디어의 종류가 영상 데이터(605 단계)이면, 상기 입력된 영상 데이터에 대한 컨텍스트를 검출 및 추출(607 단계)한다. 즉, 상기 입력된 영상에서, 물체의 훈련 영상을 획득하여 물체의 영역 검출(detection) 및 추출(extraction)을 수행한다. 여기서, 상기 영상 데이터라 함은, 정지영상 및 동영상을 포함함은 자명하다.

한편, 상기 물체의 훈련 영상을 통해 얼굴 이미지가 검출(609 단계)되면, 인물 DB를 검색(613 단계)하여 상기 검출된 얼굴 이미지에 대응하는 부가정보의 존재 여부를 확인(615 단계)한다. 이때, 상기 검출된 얼굴 이미지에 대응하는 부가정보가 인물 DB에 존재하는 경우 상기 검색된 부가정보를 제공(615 단계)한다. 만약 상기 검출된 얼굴 이미지에 대한 정보가 존재하지 않으면, 상기 검출된 얼굴 이미지에 대한 관련 정보를 관련 검색 서버로 요청(617 단계)한다. 이후 상기 관련 검색 서버로부터 상기 검출된 얼굴 이미지에 대한 정보가 수신되면 상기 검출된 얼굴 이미지 및 상기 관련 부가정보를 데이터베이스화하여 인물 DB에 저장(619 단계)한다. 그런 다음, 상기 검출된 얼굴 이미지에 대한 부가정보를 제공(615 단계)한다.

상기 물체의 훈련 영상을 통해 상표 이미지가 검출(621 단계)되면, 기업 DB를 검색(623 단계)하여 상기 검출된 상표 이미지에 대응하는 부가정보의 존재 여부를 확인(625 단계)한다. 이때, 상기 검출된 상표 이미지에 대응하는 부가정보가 기 업 DB에 존재하는 경우 상기 검색된 부가정보를 사용자에게 제공(627 단계)한다. 만약 상기 검출된 상표 이미지에 대한 정보가 존재하지 않으면, 상기 검출된 상표 이미지에 대한 관련 정보를 관련 검색서버로 요청(629 단계)한다. 이후 상기 관련 검색서버로부터 상기 검출된 상표 이미지에 대한 정보가 수신되면 상기 검출된 상표 이미지 및 상기 관련 부가정보를 데이터베이스화하여 기업 DB에 저장(631 단계)한다. 그런 다음, 상기 검출된 상표 이미지에 대한 부가정보를 제공(627 단계)한다.

다음으로, 상기 물체의 훈련 영상을 통해 상기한 물체(얼굴 이미지, 상표 이미지) 외에 다른 물체가 검출(623 단계)되면, 상기 물체에 대응하는 DB를 검색(635 단계)하여 상기 검출된 물체에 대응하는 부가정보의 존재 여부를 확인(637 단계)한다. 이때, 상기 검출된 물체에 대응하는 부가정보가 해당 DB에 존재하는 경우 상기 검색된 부가정보를 제공(639 단계)한다. 만약 상기 검출된 물체에 대한 정보가 존재하지 않으면, 상기 검출된 물체에 대한 관련 정보를 관련 검색 서버로 요청(641 단계)한다. 이후 상기 관련 검색 서버로부터 상기 검출된 물체에 대한 정보가 수신되면 상기 검출된 물체 및 상기 관련 부가정보를 데이터베이스화하여 해당 DB에 저장(643 단계)한다. 그런 다음, 상기 검출된 물체에 대한 부가정보를 제공(639 단계)한다.

이상에서 살펴본 바와 같이, 본 발명에 따라 동영상 또는 정지영상과 같은 멀티미디어를 통해 특정 인물이 수신되면, 상기 수신된 인물에 대해서 얼굴이 나오는 부분을 추출하거나, 상기 멀티미디어를 통해 특정 상표가 수신되면, 상기 수신 된 상표에 대해서 상표가 나오는 부분을 추출한다. 또한, 상기 멀티미디어를 통해 특정 인물 및 상표가 동시에 수신되면, 상기 수신된 인물 및 상표에 대해서 얼굴이 나오는 부분과 상표가 나오는 부분을 각각 독립적으로 추출한다. 이와 같이 영상 인식을 통한 컨텍스트 추출은 상기에서 살펴본 바와 같이, 종래에 사용되는 신경망 회로(neural network) 기법 또는 템플릿 정합(template matching) 기법을 이용할 수 있다. 하지만, 본 발명이 이에 한정되는 것은 아니므로, 상기한 기법 이외에도 가능한 어떠한 수단이라도 모두 본 발명에 따른 실시예에 적용할 수 있음은 자명하다.

<부가정보 필요 여부 판단>

도 7은 본 발명에 따른 멀티미디어 서비스 제공을 위해 추출한 컨텍스트들 중에서 부가정보의 필요에 따라 검색의 수행 여부를 판단하는 과정을 개략적으로 도시한 도면이다.

상기 도 7을 참조하면, 먼저, 본 발명에 따라 추출한 컨텍스트에 대해서 검색 조건 검사, 즉 사용자의 직접 트리거링(triggering), 사용자가 미리 지정한 상황 및 서비스 제공자가 미리 지정한 상황 등을 거쳐서 검색 여부를 판단하게 된다.

상기 도 7에 도시한 바와 같이, 먼저, 컨텍스트가 추출(701 단계)되면, 상기 추출한 컨텍스트가 부가정보를 필요로 하는 컨텍스트인 경우(703 단계), 상기 추출 컨텍스트에 대한 검색 여부를 판단(705 단계)한다.

이때, 상기 검색 여부 판단은, 검색 조건을 검사하여 이루어지게 되는데, 첫 번째로, 사용자 직접 트리거링(triggering)에 의한 검색 조건인 경우(707 단계)이다. 이는 사용자에 의해 특정 버튼을 통해 외부 이펙트(effect)가 발생하거나, 상기 추출된 컨텍스트의 클릭에 의해 부가정보가 요청되는 경우로서, 상기 요청이 이루어지면 상기 사용자에 의해 선택된 컨텍스트 및 그에 대응하는 검색 방식을 수행(713 단계)한다.

두 번째로, 사용자가 미리 지정한 상황에 의한 검색 조건인 경우(709 단계)이다. 이는 사용자가 입력 장치 등을 통해 미연에 설정하는 상황에 부합하는지의 여부를 판단하는 경우로서, 상기 판단결과 상기 사용자에 의해 설정된 상황에 부합하는 경우, 상기 사용자에 의해 선택된 컨텍스트 및 그에 대응하는 검색 방식을 수행(713 단계)한다. 예를 들면, 사용자가 '네모난 얼굴형의 사람이 검출된 경우, 인적상항 표시', '중학 수준 이상의 한자어가 나타난 경우 주석 표시', '영어가 나타난 경우 해당 한국어 표시', '특정 업체의 상표가 나타난 경우 해당 기업 정보 표시' 등과 같은 경우에 조건 검색을 수행할 것을 미리 설정할 수 있으며, 상기 추출한 컨텍스트에서 상기 설정 조건에 해당하는 경우 그에 대응하는 검색 방식을 수행하게 된다.

세 번째로, 서비스 제공자가 미리 지정한 상황에 의한 검색 조건인 경우(711 단계)이다. 이는 서비스 제공자가 미연에 설정하는 상황에 부합하는지의 여부를 판단하는 경우로서, 상기 판단결과 상기 서비스 제공자에 의해 설정된 상황에 부합하는 경우, 상기 추출한 컨텍스트 및 그에 대응하는 검색 방식을 수행(713 단계)한다. 예를 들면, 서비스 제공자가 자사의 고객 기업의 상표가 검출되면 해당 기업의 정보를 사용자 단말기로 푸쉬(push)하도록 설정할 수 있으며, 상기 추출한 컨텍스트에서 상기 설정 조건에 해당하는 경우 그에 대응하는 검색 방식을 수행하게 된다.

한편, 이상에서는 추출한 컨텍스트에 대해 세 가지의 검색 조건에 따른 검사 과정을 간략하게 살펴보았다. 하지만 본 발명이 이에 한정되는 것은 아니므로, 상기한 검색 조건 외에 필요에 따라 상기의 검색 조건은 보다 다양할 수 있음은 물론이며, 이러한 검색 조건은 추가 또는 변형은 본 발명의 범주에 속함은 자명하다.

그러면 이하에서는, 상기에서 살펴본 바와 같은 컨텍스트 및 그에 대응하는 검색 방식에 대하여 도 8을 참조하여 보다 구체적으로 살펴보기로 한다.

<네트워크를 이용한 부가정보 검색 및 제공>

도 8은 본 발명에 따른 컨텍스트에 대한 검색 과정 및 검색 데이터의 송수신 과정을 개략적으로 도시한 도면으로서, 외부 검색서버에서 인터넷 프로토콜을 이용하여 검색하고, 검색 데이터를 수신하는 과정의 실시예를 도시한 도면이다.

상기 도 8을 참조하면, 추출한 컨텍스트와 상기 컨텍스트에 대한 검색 방법은, 먼저, 검색 관련 통신부(800)에서는 컨텍스트 분류 과정을 통해 각각의 컨텍스트를 분류(801 단계)하고, 상기 각각의 분류별 컨텍스트에 대응하는 적절한 검색 요청을 검색서버(850)로 전송한다.

예를 들어, 상기 컨텍스트 분류 과정을 통해 분류된 컨텍스트가 얼굴(803)인 경우, 상기 얼굴은 상기 검색서버(850)로 전송되고, 이를 수신한 상기 검색서버 (850)는 인물 DB(805)와의 연동을 통해, 상기 얼굴을 인덱스(index)로 하여 해당 인물을 검색하고, 이후 상기 검색된 인물 정보를 상기 검색 관련 통신부(800)로 송신한다. 그러면 상기 검색 관련 통신부(800)는 상기 검색서버(850)로부터 상기 얼굴(803)에 대응하는 인물 정보(807)를 수신하여 제공한다.

또한, 상기 분류된 컨텍스트가 한자어(809)인 경우, 상기 한자어는 상기 검색서버(850)로 전송되고, 이를 수신한 상기 검색서버(850)는 한자어 사전(811)과의 연동을 통해, 상기 한자어를 인덱스로 하여 해당 한자어를 검색하고, 이후 상기 한자어에 관련하여 검색된 주석을 상기 검색 관련 통신부(800)로 송신한다. 그러면 상기 검색 관련 통신부(800)는 상기 검색서버(850)로부터 상기 한자어(809)에 대응하는 주석(813)을 수신하여 제공한다.

또한, 상기 분류된 컨텍스트가 상표(815)인 경우, 상기 상표는 상기 검색서버(850)로 전송되고, 이를 수신한 상기 검색서버(850)는 기업 DB(817)와의 연동을 통해, 상기 상표를 인덱스로 하여 해당 기업을 검색하고, 이후 상기 검색된 기업 정보를 상기 검색 관련 통신부(800)로 송신한다. 그러면 상기 검색 관련 통신부(800)는 상기 검색서버(850)로부터 상기 상표(815)에 대응하는 기업정보(819)를 수신하여 제공한다.

또한, 상기 분류된 컨텍스트가 영어(821)인 경우, 상기 영어는 상기 검색 서버(850)로 전송되고, 이를 수신한 상기 검색 서버(850)는 영한사전(823)과의 연동을 통해, 상기 영어를 인덱스로 하여 해당 한국어를 검색하고, 이후 상기 검색된 한국어를 상기 검색 관련 통신부(800)로 송신한다. 그러면 상기 검색 관련 통신부 (800)는 상기 검색서버(850)로부터 상기 영어(832)에 대응하는 한국어(825)를 수신하여 제공한다.

이상에서는 컨텍스트 분류에 따른 검색 및 그에 따른 송수신 과정에 대하여 살펴보았다. 하지만 본 발명이 이러한 예에 한정되는 것은 아니므로, 다양한 분류에 따른 검색 방식 또한 다양함은 모두 본 발명의 범주에 속할 수 있다. 예컨대, 상기 분류된 컨텍스트가 영어인 경우에 있어서, 상기 영어는 영한 번역뿐만 아니라, 영역 번역으로 가능함은 물론이다. 예컨대, 상기 영어는 상기 검색 서버(850)로 전송되고, 이를 수신한 상기 검색서버(850)는 영영 사전과의 연동을 통해, 상기 영어를 인덱스로 하여 해당 설명을 검색하고, 이후 상기 검색된 설명을 상기 검색 관련 통신부(800)로 송신하면, 상기 검색 관련 통신부(800)는 상기 검색서버(850)로부터 상기 영어에 대응하는 설명을 수신하여 제공할 수 있다.

한편, 이상에서 살펴본 바와 같은 멀티미디어 데이터와 검색된 부가정보들은 화면 표시부 등을 통해 사용자에게 동시에 출력하여 제공할 수 있는데, 이하 상기 화면 표시부를 통한 표시 방법에 대하여 보다 상세하게 살펴보기로 한다.

<수신 데이터 및 부가정보 동시 제공방법>

도 9a 내지 도 9d는 본 발명에 따른 멀티미디어 서비스의 디스플레이 방법을 설명하기 위해 도시한 도면으로서, 특히 본 발명의 실시예에 따라 수신한 멀티미디어 데이터와 검색된 부가정보를 사용자에게 동시에 제공하는 방법을 개략적으로 도시한 도면이다.

상기 도 9a 내지 도 9d에 도시한 바와 같이, 본 발명에 따른 화면 표시부와의 연동을 통한 디스플레이 방법은, 서비스 제공자에 의한 설정 또는 사용자에 의한 설정 방식에 따라 다양하게 표시 할 수 있다. 예컨대, 수신한 멀티미디어 위에 검색된 부가정보를 오버레이(overlay)하여 표시(도 9a), 수신한 멀티미디어가 재생되는 동시에 검색된 부가정보를 팝업(pop-up) 창을 이용하여 표시(도 9b), 수신한 멀티미디어와 검색된 부가정보를 각각 분할된 윈도우(window)를 통해 표시(도 9c) 및 수신한 멀티미디어와 검색된 부가정보를 서로 다른 윈도우를 통해 다음 화면에 표시(도 9d) 할 수 있다. 하지만 본 발명이 이에 한정되는 것은 아니므로, 상기한 표시 방법 외에 가능한 합성 방식 및 이러한 표시 방법들의 조합에 의해 표시될 수 있음은 물론이다.

이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

이상 상술한 바와 같이 본 발명의 멀티미디어 통신 시스템에서 컨텍스트 추출 및 이를 통한 정보 제공 시스템 및 방법에 따르면, 사용자 단말기 내부 또는 외부의 서버를 통해 형성되는 스마트 번역기(Smart Interpreter)를 통해, 양자 혹은 다자간 멀티미디어 통신 중 통신 내용에 해당하는 각종 미디어들에 대하여 컨텍스 트를 자동으로 인식 및 추출하여 이와 관련된 정보를 서버로부터 실시간으로 제공받을 수 있는 이점을 가진다. 이를 통해 사용자에게 수신된 멀티미디어에 대한 다양한 부가정보 및 검색 서비스를 제공함에 다라 사용자들의 욕구를 충족시킬 수 있는 서비스를 통해 보다 많은 사용자들을 확보하는데 기여할 수 있는 이점을 가진다.

또한, 기존의 멀티미디어 통신에 있어서, 송신인이 전송하는 통신 내용 중 수신인이 이해하지 못한 부분이 있을 경우, 다시 물어보거나 이해하지 못한 상태로 계속 통신을 진행할 수밖에 없었으나, 본 발명을 통해 관련 정보를 서버로부터 실시간으로 제공받음으로서, 수신인의 이해 정도를 높일 수 있는 이점을 가진다.

또한, 멀티미디어 통신을 통해 수신된 멀티미디어 데이터에 대해 사용자의 별다른 조작 없이, 수신된 멀티미디어에 대한 다양한 정보 및 검색 서비스를 제공함에 따라 사용자의 욕구 충족뿐만 아니라, 사용자가 멀티미디어 대한 정보 확인을 위한 불편함 및 검색에 따른 불편함을 해소하여 사용자의 편의성을 증대시킬 수 있는 이점을 가진다.

또한, 사용자 단말기 내부 또는 외부의 서버를 통해 형성되는 스마트 번역기(Smart interpreter)를 통해, 종래의 한정된 번역/통역 형태뿐만 아니라 다양한 종류의 멀티미디어 데이터에 대해 다양한 종류의 부가정보를 다양한 종류의 검색 서버와의 연동을 통해 실시간으로 제공할 수 있는 이점을 가진다.

Claims

양자 또는 다자간 멀티미디어 데이터 통신이 가능한 사용자 단말기 및 유무선 네트워크 망을 통한 웹 서버와 연동되어 상기 사용자 단말기 상호간 또는 웹 서버를 통한 멀티미디어 데이터를 사용자 단말기로 제공하는 시스템에 있어서,

상기 사용자 단말기 또는 웹 서버로부터 멀티미디어 데이터를 수신하고, 상기 사용자 단말기에서 요청되는 멀티미디어 데이터에 상응하는 관련/부가정보를 상기 웹 서버로부터 수신하는 멀티미디어 데이터 수신부와,

상기 멀티미디어 데이터 수신부를 통해 수신된 멀티미디어 데이터의 컨텍스트(context)를 추출하는 컨텍스트 추출부와,

상기 컨텍스트 추출부에서 추출된 컨텍스트의 종류를 판별하고 분류하는 컨텍스트 분류부와,

상기 컨텍스트 추출부에서 추출 및 분류된 컨텍스트에 대한 관련/부가정보 검색 요구조건을 판단하고, 상기 검색 요구 조건에 대응하여 상기 추출 및 분류된 컨텍스트에 대한 관련/부가정보를 상기 웹 서버에서 검색하여 추출하는 검색 제어부와,

상기 검색 제어부를 통해 검색된 상기 컨텍스트 관련/부가정보를 상기 사용자 단말기의 인터페이스 방식에 상응하는 방식으로 변환하여 제공하는 관련정보 제공부를 포함함을 특징으로 하는 컨텍스트 추출 및 관련/부가정보 제공 시스템.
제1항에 있어서,

상기 시스템은 상기 컨텍스트 추출부에서 추출된 컨텍스트와 관련된 인물, 기업, 언어, 마케팅, 일정, 기타 관련정보 중 적어도 어느 하나 이상이 필드화되어 구조적으로 기록 저장되는 데이터베이스부를 더 포함하며,

상기 검색 제어부는 상기 검색 요구조건에 상응하게 상기 추출된 컨텍스트에 대한 관련/부가정보를 상기 데이터베이스부에서 검색하여 추출하는 것을 특징으로 하는 컨텍스트 추출 및 관련/부가정보 제공 시스템.
제2항에 있어서,

상기 시스템은 사용자 단말기 또는 웹 서버로부터 멀티미디어 데이터를 수신하여 해당 컨텍스트를 추출하고, 상기 컨텍스트의 관련/부가정보를 상기 데이터베이스부를 통해 검색하여 추출한 결과, 관련/부가정보가 존재하지 않는 경우,

상기 검색 제어부는 유무선 네트워크와의 연동을 통해 외부 웹 서버에 접속하여 상기 컨텍스트에 상응하는 관련/부가정보를 검색 및 추출하고, 해당 결과를 상기 웹 서버로부터 수신하여 상기 데이터베이스부에 저장 및 사용자 단말기로 제공하는 것을 특징으로 하는 컨텍스트 추출 및 관련/부가정보 제공 시스템.
제2항에 있어서, 상기 데이터베이스부는,

특정 인물에 대한 약력, 이미지, 학력, 활동사항, 특기사항, 취미와 같은 상기 인물에 상응하는 관련/부가정보를 포함하는 인물 정보 필드, 특정 기업에 대한 CI(Corporate Identity), BI(Brand Identity), 주식정보, 임원정보, 제품정보, 로고와 같은 상기 기업에 상응하는 관련/부가정보를 포함하는 기업 정보 필드, 및 특정 한자어 또는 영어와 같은 텍스트에 상응하는 관련/부가정보를 제공하기 위한 전자사전을 포함하는 언어 정보 필드 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 컨텍스트 추출 및 관련/부가정보 제공 시스템.
제1항에 있어서,

상기 컨텍스트 추출부는 상기 멀티미디어 데이터 수신부를 통해 수신되는 상기 멀티미디어 데이터의 헤더(Header)를 참조하여 상기 멀티미디어 데이터의 타입(type)을 분류하는 것을 특징으로 하는 컨텍스트 추출 및 관련/부가정보 제공 시스템.
제5항에 있어서,

상기 컨텍스트 추출부는 상기 분류된 멀티미디어 데이터의 타입이 텍스트인 경우 키워드 추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 컨텍스트 추 출 및 관련/부가정보 제공 시스템.
제5항에 있어서,

상기 컨텍스트 추출부는 상기 분류된 멀티미디어 데이터의 타입이 음성인 경우 상기 음성에 상응하는 텍스트의 변환 및 키워드 추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 컨텍스트 추출 및 관련/부가정보 제공 시스템.
제5항에 있어서,

상기 컨텍스트 추출부는 상기 분류된 멀티미디어 데이터의 타입이 영상인 경우 영상인식 및 물체추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 컨텍스트 추출 및 관련/부가정보 제공 시스템.
제1항에 있어서,

상기 관련정보 제공부를 통해서 제공되는 상기 컨텍스트 관련/부가정보는 멀티미디어 데이터와 함께 사용자 단말기의 표시부로 팝업(Pop-up) 또는 오버레이(overlay) 방식으로 동시에 제공되는 것을 특징으로 하는 컨텍스트 추출 및 관련/부가정보 제공 시스템.
양자 또는 다자간 멀티미디어 데이터 서비스를 제공하는 통신 시스템에서 유무선 네트워크 망을 통한 웹 서버와 연동하여 멀티미디어 데이터 및 관련정보를 송수신하는 사용자 단말기에 있어서,

사용자로부터 문자, 숫자 및 텍스트 정보가 입력되는 입력 수단, 외부 영상을 획득하는 이미지 획득수단 및 사용자의 음성 및 외부 오디오 신호가 입력되는 음성 인식수단을 포함하는 입력부와,

타 사용자 단말기와 멀티미디어 데이터 통신을 통한 멀티미디어 데이터의 송수신 또는 상기 유무선 네트워크 인터페이스를 통해 상기 웹 서버와의 멀티미디어 데이터 및 컨텍스트 관련/부가정보를 송수신하는 멀티미디어 데이터 통신부와,

상기 멀티미디어 데이터 통신부를 통해 수신되는 상기 멀티미디어 데이터의 컨텍스트를 추출하여 분류하고, 상기 추출된 컨텍스트의 종류를 판별하여 분류하고, 상기 추출 및 분류된 컨텍스트에 해당하는 컨텍스트 관련/부가정보를 검색하여 제공하는 스마트 번역부와,

타 사용자 단말기로부터 수신되는 멀티미디어 데이터 또는 상기 유무선 네트워크 망을 통해 수신되는 멀티미디어 데이터와 상기 수신되는 멀티미디어 데이터에 대한 컨텍스트의 관련/부가정보를 상기 멀티미디어 데이터와 함께 디스플레이하는 출력부를 포함함을 특징으로 하는 상기 장치.
제10항에 있어서, 상기 스마트 번역부는,

상기 입력부를 통해 입력되는 멀티미디어 데이터 또는 상기 멀티미디어 데이터 통신부를 통해 수신된 멀티미디어 데이터의 컨텍스트(context)를 추출하여 분류하는 컨텍스트 추출부와,

상기 멀티미디어 데이터에 대한 컨텍스트의 관련/부가정보가 필드화되어 구조적으로 기록 저장되는 데이터베이스부와,

상기 컨텍스트 추출부에서 추출 및 분류된 컨텍스트에 대한 관련/부가정보 검색 요구조건을 판단하고, 상기 검색 요구 조건에 대응하여 상기 추출 및 분류된 컨텍스트에 대한 관련/부가정보의 검색을 제어하는 검색 제어부와,

상기 검색 제어부를 통해 검색된 상기 컨텍스트 관련/부가정보를 상기 사용자 단말기의 인터페이스 방식에 상응하는 방식으로 변환하여 상기 출력부로 제공하는 관련정보 제공부를 포함함을 특징으로 상기 장치.
제11항에 있어서,

상기 검색 제어부는 사용자의 검색 요구 요구조건에 상응하게 상기 추출된 컨텍스트에 대한 관련/부가정보를 상기 데이터베이스부에서 검색하여 추출하는 것을 특징으로 하는 상기 장치.
제11항에 있어서,

상기 검색 제어부는 상기 데이터베이스부를 통해 검색하여 추출한 결과, 관련/부가정보가 존재하지 않는 경우, 멀티미디어 데이터 통신부와 연동하여 외부 웹 서버에서 상기 컨텍스트에 상응하는 관련/부가정보를 검색 및 추출하고, 해당 결과를 수신하여 상기 데이터베이스부에 저장 및 출력부로 제공하는 것을 특징으로 하는 상기 장치.
제11항에 있어서, 상기 데이터베이스부는,

특정 인물에 대한 약력, 이미지, 학력, 활동사항, 특기사항, 취미와 같은 상기 인물에 상응하는 관련/부가정보를 포함하는 인물 정보 필드, 특정 기업에 대한 CI(Corporate Identity), BI(Brand Identity), 주식정보, 임원정보, 제품정보, 로고와 같은 상기 기업에 상응하는 관련/부가정보를 포함하는 기업 정보 필드, 및 특정 한자어 또는 영어와 같은 텍스트에 상응하는 관련/부가정보를 제공하기 위한 전자사전을 포함하는 언어 정보 필드 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 상기 장치.
제11항에 있어서,

상기 컨텍스트 추출부는 입력부를 통해 입력되는 멀티미디어 데이터 또는 멀 티미디어 데이터 통신부를 통해 수신되는 멀티미디어 데이터의 헤더(Header)를 참조하여 상기 멀티미디어 데이터의 타입(type)을 분류하는 것을 특징으로 하는 상기 장치.
제15항에 있어서,

상기 컨텍스트 추출부는 상기 분류된 멀티미디어 데이터의 타입이 텍스트인 경우 키워드 추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 상기 장치.
제15항에 있어서,

상기 컨텍스트 추출부는 상기 분류된 멀티미디어 데이터의 타입이 음성인 경우 상기 음성에 상응하는 텍스트의 변환 및 키워드 추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 상기 장치.
제15항에 있어서,

상기 컨텍스트 추출부는 상기 분류된 멀티미디어 데이터의 타입이 영상인 경우 영상인식 및 물체추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 상기 장치.
제11항에 있어서,

상기 관련정보 제공부를 통해서 제공되는 상기 컨텍스트 관련/부가정보를 멀티미디어 데이터와 함께 출력부로 팝업(Pop-up) 또는 오버레이(overlay) 방식으로 동시에 제공하는 것을 특징으로 하는 상기 장치.
양자 또는 다자간 멀티미디어 데이터 통신이 가능한 사용자 단말기 및 유무선 네트워크 망을 통한 웹 서버와 연동되어 상기 사용자 단말기 상호간 또는 웹 서버를 통한 멀티미디어 데이터를 제공하는 시스템에 있어서,

타 사용자 단말기와 멀티미디어 데이터 통신을 통한 멀티미디어 데이터의 송수신 또는 상기 유무선 네트워크 인터페이스를 통해 멀티미디어 데이터 및 컨텍스트 관련/부가정보를 수신하고, 상기 수신하는 컨텍스트의 관련/부가정보를 상기 멀티미디어 데이터와 함께 표시하여 사용자에게 제공하는 사용자 단말기와,

사용자 단말기와 멀티미디어 데이터 통신을 통한 멀티미디어 데이터의 송수신 또는 상기 유무선 네트워크 인터페이스를 통해 멀티미디어 데이터 및 컨텍스트 관련/부가정보의 송수신 및 상기 멀티미디어 데이터의 컨텍스트를 추출하고, 상기 추출된 컨텍스트에 해당하는 컨텍스트 관련/부가정보를 검색하여 상기 사용자 단말기로 제공하는 스마트 번역기와,

상기 유무선 네트워크 인터페이스를 통해 상기 스마트 번역기로부터 요청되 는 컨텍스트 관련/부가정보의 데이터베이스를 제공하는 검색 서버를 포함함을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 시스템.
제20항에 있어서, 상기 사용자 단말기는,

사용자로부터 문자, 숫자 및 텍스트 정보가 입력되는 입력 수단, 외부 영상을 획득하는 이미지 획득수단 및 사용자의 음성 및 외부 오디오 신호가 입력되는 음성 인식수단을 포함하는 입력부와,

타 사용자 단말기와 멀티미디어 데이터 통신을 통한 멀티미디어 데이터의 송수신 또는 상기 유무선 네트워크 인터페이스를 통해 상기 웹 서버와의 멀티미디어 데이터 및 컨텍스트 관련/부가정보를 송수신하는 멀티미디어 데이터 통신부와,

상기 멀티미디어 데이터 통신부를 통해 수신되는 상기 멀티미디어 데이터의 컨텍스트를 추출하여 분류하고, 상기 추출된 컨텍스트의 종류를 판별하여 분류하고, 상기 추출 및 분류된 컨텍스트에 해당하는 컨텍스트 관련/부가정보를 검색하여 제공하는 스마트 번역부와,

타 사용자 단말기로부터 수신되는 멀티미디어 데이터 또는 상기 유무선 네트워크 망을 통해 수신되는 멀티미디어 데이터와 상기 수신되는 멀티미디어 데이터에 대한 컨텍스트의 관련/부가정보를 상기 멀티미디어 데이터와 함께 디스플레이하는 출력부를 포함함을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 시스템.
제20항에 있어서, 상기 스마트 번역기는,

상기 사용자 단말기 또는 웹 서버로부터 멀티미디어 데이터를 수신하고, 상기 사용자 단말기에서 요청되는 멀티미디어 데이터에 상응하는 관련/부가정보를 상기 웹 서버로부터 수신하는 멀티미디어 데이터 수신부와,

상기 멀티미디어 데이터 수신부를 통해 수신된 멀티미디어 데이터의 컨텍스트(context)를 추출하는 컨텍스트 추출부와,

상기 컨텍스트 추출부에서 추출된 컨텍스트의 종류를 판별하고 분류하는 컨텍스트 분류부와,

상기 컨텍스트 추출부에서 추출 및 분류된 컨텍스트에 대한 관련/부가정보 검색 요구조건을 판단하고, 상기 검색 요구 조건에 대응하여 상기 추출 및 분류된 컨텍스트에 대한 관련/부가정보를 상기 웹 서버에서 검색하여 추출하는 검색 제어부와,

상기 검색 제어부를 통해 검색된 상기 컨텍스트 관련/부가정보를 상기 사용자 단말기의 인터페이스 방식에 상응하는 방식으로 변환하여 제공하는 관련정보 제공부를 포함함을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 시스템.
제22항에 있어서,

상기 시스템은 상기 컨텍스트 추출부에서 추출된 컨텍스트와 관련된 인물, 기업, 언어, 마케팅, 일정, 기타 관련정보 중 적어도 어느 하나 이상이 필드화되어 구조적으로 기록 저장되는 데이터베이스부를 더 포함하며,

상기 검색 제어부는 사용자의 검색 요구 요구조건에 상응하게 상기 추출된 컨텍스트에 대한 관련/부가정보를 상기 데이터베이스부에서 검색하고, 상기 데이터베이스부에 관련/부가정보가 존재하지 않는 경우 검색 서버에서 상기 컨텍스트에 상응하는 관련/부가정보를 검색 및 추출하고, 해당 결과를 수신하여 상기 데이터베이스부에 저장하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 시스템.
제23항에 있어서, 상기 데이터베이스부는,

특정 인물에 대한 약력, 이미지, 학력, 활동사항, 특기사항, 취미와 같은 상기 인물에 상응하는 관련/부가정보를 포함하는 인물 정보 필드, 특정 기업에 대한 CI(Corporate Identity), BI(Brand Identity), 주식정보, 임원정보, 제품정보, 로고와 같은 상기 기업에 상응하는 관련/부가정보를 포함하는 기업 정보 필드, 및 특정 한자어 또는 영어와 같은 텍스트에 상응하는 관련/부가정보를 제공하기 위한 전자사전을 포함하는 언어 정보 필드 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 시스템.
제22항에 있어서,

상기 컨텍스트 추출부는 상기 멀티미디어 데이터의 헤더(Header)를 참조하여 멀티미디어 데이터의 타입(type)을 분류하고,

상기 분류된 멀티미디어 데이터가 텍스트인 경우 키워드 추출을 통하여 컨텍스트를 추출하고,

상기 분류된 멀티미디어 데이터가 음성인 경우 상기 음성에 상응하는 텍스트의 변환 및 키워드 추출을 통하여 컨텍스트를 추출하고,

상기 분류된 멀티미디어 데이터가 영상인 경우 영상인식 및 물체추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 시스템.
제20항에 있어서,

상기 사용자 단말기는 상기 스마트 번역기로부터 수신되는 컨텍스트 관련/부가정보를 멀티미디어 데이터와 함께 팝업(Pop-up) 또는 오버레이(overlay) 방식으로 동시에 표시하여 제공하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 시스템.
제20항에 있어서,

상기 시스템은, 유무선 네트워크 인터페이스를 통해 상기 멀티미디어 데이터에 대한 부가 정보를 요청하고, 상기 요청된 부가 정보를 상기 검색 서버로부터 수신하여 사용자 단말기로 제공하는 클라이언트 시스템을 더 포함함을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 시스템.
양자 또는 다자간 멀티미디어 데이터 서비스를 제공하는 통신 시스템에서 유무선 네트워크 망을 통한 웹 서버와 연동하여 멀티미디어 데이터에 대한 부가정보를 제공하는 방법에 있어서,

타 사용자 단말기로부터 수신되거나 사용자로부터 입력되는 멀티미디어 데이터에 대한 타입을 분류하는 과정과,

상기 분류된 멀티미디어 데이터에 상응하는 검출 방식을 통해 상기 멀티미디어 데이터의 컨텍스트를 검출하는 과정과,

상기 검출된 컨텍스트에 해당하는 관련/부가정보의 검색 요구조건을 검사하는 과정과,

상기 검색조건 판단결과 컨텍스트 관련/부가정보 검색 조건을 만족하는 경우 상기 컨텍스트에 해당하는 관련/부가정보의 검색을 통해 상기 검출된 컨텍스트에 대한 관련/부가정보를 제공받는 과정과,

상기 멀티미디어 데이터와 상기 멀티미디어 데이터에 대한 컨텍스트의 관련/ 부가정보를 함께 사용자에게 제공하는 과정을 포함함을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제28항에 있어서,

상기 멀티미디어 데이터의 타입 분류 과정은, 상기 멀티미디어 데이터의 헤더(Header) 정보를 참조하여 텍스트, 음성 및 영상 데이터로 분류하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제28항에 있어서,

상기 멀티미디어 데이터의 컨텍스트 검출은, 상기 분류된 멀티미디어 데이터의 타입이 텍스트인 경우 키워드 추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제30항에 있어서,

상기 키워드 추출은 텍스트 데이터를 자연어 처리하고, 설정된 키워드에 대응되는 자연어가 존재하는지 판단하여 키워드 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제28항에 있어서,

상기 멀티미디어 데이터의 컨텍스트 검출은, 상기 분류된 멀티미디어 데이터의 타입이 음성인 경우 상기 음성에 상응하는 텍스트의 키워드 추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제32항에 있어서,

상기 음성 추출은 상기 음성에 대하여 음성인식을 통해 상기 음성을 텍스트로 변환하고, 상기 변환된 텍스트를 자연어 처리하고, 설정된 키워드에 대응되는 자연어가 존재하는지 판단하여 키워드 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제28항에 있어서,

상기 멀티미디어 데이터의 컨텍스트 검출은, 상기 분류된 멀티미디어 데이터의 타입이 영상인 경우 영상인식 및 물체추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제34항에 있어서,

상기 영상인식 및 물체추출은 신경망 회로(neural network) 기법 또는 템플릿 정합(template matching) 기법을 이용하여 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제28항에 있어서,

상기 관련/부가정보의 검색 요구조건 검사는, 사용자 직접 트리거링(triggering)에 의한 요구조건, 사용자 요청에 의한 요구조건 및 서비스 제공자의 기 설정에 의한 요구조건 중 적어도 어느 하나 이상의 요구조건에 대응하는 검사를 수행함을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제36항에 있어서,

상기 사용자 직접 트리거링(triggering)에 의한 요구조건인 경우, 멀티미디어 데이터에서 사용자에 의해 선택되는 컨텍스트에 대한 검사를 수행하는 과정과,

상기 사용자 요청에 의한 요구조건인 경우, 사용자에 의해 미리 설정된 상황에 부합하는지의 여부를 판단하여, 상기 설정에 따른 컨텍스트에 대한 검사를 수행 하는 과정과,

상기 서비스 제공자의 기 설정에 의한 요구조건인 경우, 서비스 제공자에 의해 설정된 상황에 부합하는지의 여부를 판단하여, 상기 설정에 따른 컨텍스트에 대한 검사를 수행하는 과정을 포함함을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제28항에 있어서,

상기 관련/부가정보 검색은, 상기 검색 요구조건에 상응하게 상기 멀티미디어 데이터에 대하여 추출된 컨텍스트의 관련/부가정보를 데이터베이스부에서 검색하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제28항에 있어서,

상기 관련/부가정보 검색은, 상기 검새 요구조건에 상응하는 컨텍스트의 관련/부가정보가 데이터베이스부에 존재하지 않는 경우, 외부 웹 서버에 접속하여 상기 컨텍스트에 상응하는 관련/부가정보를 검색하고, 상기 검색 결과를 상기 웹 서버로부터 수신하여 데이터베이스부에 저장하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제28항에 있어서,

상기 관련/부가정보 검색은, 특정 인물에 대한 약력, 이미지, 학력, 활동사항, 특기사항, 취미와 같은 상기 인물에 상응하는 관련/부가정보 검색, 특정 기업에 대한 CI(Corporate Identity), BI(Brand Identity), 주식정보, 임원정보, 제품정보, 로고와 같은 상기 기업에 상응하는 관련/부가정보 검색 및 특정 한자어 또는 영어와 같은 텍스트에 상응하는 관련/부가정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제28항에 있어서,

상기 멀티미디어 데이터 및 상기 컨텍스트의 관련/부가정보 제공 과정은, 상기 멀티미디어 데이터와 함께 표시부로 팝업(Pop-up) 또는 오버레이(overlay) 방식으로 동시에 제공하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
양자 또는 다자간 멀티미디어 데이터 통신이 가능한 사용자 단말기 및 유무선 네트워크 망을 통한 웹 서버와 연동되어 상기 사용자 단말기 상호간 또는 웹 서버를 통한 멀티미디어 데이터를 제공하는 방법에 있어서,

타 사용자 단말기와 멀티미디어 데이터 통신을 통한 멀티미디어 데이터 수신 또는 사용자 입력에 의한 멀티미디어 데이터가 요청되면, 상기 멀티미디어 데이터를 스마트 번역기로 전송하는 과정과,

상기 사용자 단말기로부터 멀티미디어 데이터를 수신한 상기 스마트 번역기는 상기 멀티미디어에 대한 컨텍스트를 추출하고, 상기 추출된 컨텍스트에 해당하는 컨텍스트 관련/부가정보를 검색하여 상기 사용자 단말기로 제공하는 과정과,

상기 스마트 번역기로부터 멀티미디어 데이터에 대한 컨텍스트 관련/부가정보가 수신되면, 상기 수신하는 컨텍스트의 관련/부가정보를 상기 멀티미디어 데이터와 함께 디스플레이하는 과정을 포함함을 특징으로 하는 멀티미디어 데이터 의 컨텍스트 추출 및 부가정보 제공 방법.
제42항에 있어서, 상기 스마트 번역기는,

상기 사용자 단말기로부터 수신되는 멀티미디어 데이터에 대한 타입의 분류하는 과정과,

상기 분류된 멀티미디어 데이터가 텍스트인 경우 키워드 검출을 수행하고, 상기 분류된 멀티미디어 데이터가 음성인 경우 텍스트 변환 및 키워드 검출을 수행하고, 상기 분류된 멀티미디어 데이터가 영상인 경우 영상인식 및 물체추출을 통하여 컨텍스트를 검출하는 과정과,

상기 검출된 컨텍스트에 대해서 컨텍스트 관련/부가정보의 검색조건을 검사 하는 과정과,

상기 검색조건 판단결과 컨텍스트 관련/부가정보 검색 조건을 만족하는 경우 상기 컨텍스트에 해당하는 관련/부가정보의 검색을 통해 상기 검출된 컨텍스트에 대한 관련/부가정보를 제공받는 과정을 포함하고,

상기 컨텍스트 관련/부가정보는 상기 멀티미디어 데이터와 함께 상기 사용자 단말기로 제공함을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제43항에 있어서,

상기 멀티미디어 데이터의 타입 분류 과정은, 상기 멀티미디어 데이터의 헤더(Header) 정보를 참조하여 텍스트, 음성 및 영상 데이터로 분류하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제43항에 있어서,

상기 멀티미디어 데이터의 컨텍스트 검출은, 상기 분류된 멀티미디어 데이터의 타입이 텍스트인 경우 키워드 추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제45항에 있어서,

상기 키워드 추출은 텍스트 데이터를 자연어 처리하고, 설정된 키워드에 대응되는 자연어가 존재하는지 판단하여 키워드 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제43항에 있어서,

상기 멀티미디어 데이터의 컨텍스트 검출은, 상기 분류된 멀티미디어 데이터의 타입이 음성인 경우 상기 음성에 상응하는 텍스트의 키워드 추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제47항에 있어서,

상기 음성 추출은 상기 음성에 대하여 음성인식을 통해 상기 음성을 텍스트로 변환하고, 상기 변환된 텍스트를 자연어 처리하고, 설정된 키워드에 대응되는 자연어가 존재하는지 판단하여 키워드 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제43항에 있어서,

상기 멀티미디어 데이터의 컨텍스트 검출은, 상기 분류된 멀티미디어 데이터의 타입이 영상인 경우 영상인식 및 물체추출을 통하여 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제49항에 있어서,

상기 영상인식 및 물체추출은 신경망 회로(neural network) 기법 또는 템플릿 정합(template matching) 기법을 이용하여 컨텍스트를 추출하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제43항에 있어서,

상기 관련/부가정보의 검색 요구조건 검사는, 사용자 직접 트리거링(triggering)에 의한 요구조건, 사용자 요청에 의한 요구조건 및 서비스 제공자의 기 설정에 의한 요구조건 중 적어도 어느 하나 이상의 요구조건에 대응하는 검사를 수행함을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제51항에 있어서,

상기 사용자 직접 트리거링(triggering)에 의한 요구조건인 경우, 멀티미디어 데이터에서 사용자에 의해 선택되는 컨텍스트에 대한 검사를 수행하는 과정과,

상기 사용자 요청에 의한 요구조건인 경우, 사용자에 의해 미리 설정된 상황에 부합하는지의 여부를 판단하여, 상기 설정에 따른 컨텍스트에 대한 검사를 수행하는 과정과,

상기 서비스 제공자의 기 설정에 의한 요구조건인 경우, 서비스 제공자에 의해 설정된 상황에 부합하는지의 여부를 판단하여, 상기 설정에 따른 컨텍스트에 대한 검사를 수행하는 과정을 포함함을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제43항에 있어서,

상기 관련/부가정보 검색은, 상기 검색 요구조건에 상응하게 상기 멀티미디어 데이터에 대하여 추출된 컨텍스트의 관련/부가정보를 데이터베이스부에서 검색하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제43항에 있어서,

상기 관련/부가정보 검색은, 상기 검새 요구조건에 상응하는 컨텍스트의 관련/부가정보가 데이터베이스부에 존재하지 않는 경우, 외부 웹 서버에 접속하여 상기 컨텍스트에 상응하는 관련/부가정보를 검색하고, 상기 검색 결과를 상기 웹 서버로부터 수신하여 데이터베이스부에 저장하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제43항에 있어서,

상기 관련/부가정보 검색은, 특정 인물에 대한 약력, 이미지, 학력, 활동사항, 특기사항, 취미와 같은 상기 인물에 상응하는 관련/부가정보 검색, 특정 기업에 대한 CI(Corporate Identity), BI(Brand Identity), 주식정보, 임원정보, 제품정보, 로고와 같은 상기 기업에 상응하는 관련/부가정보 검색 및 특정 한자어 또는 영어와 같은 텍스트에 상응하는 관련/부가정보 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.
제43항에 있어서,

상기 멀티미디어 데이터 및 상기 컨텍스트의 관련/부가정보 제공 과정은, 상기 멀티미디어 데이터와 함께 표시부로 팝업(Pop-up) 또는 오버레이(overlay) 방식 으로 동시에 제공하는 것을 특징으로 하는 멀티미디어 데이터의 컨텍스트 추출 및 부가정보 제공 방법.