KR101896479B1 - 메모 등록을 위한 시스템, 방법 및 그에 대한 기록매체 - Google Patents

Abstract

본 발명은 메모 등록을 위한 시스템, 방법 및 그에 대한 기록매체에 관한 것으로서, 메모장에서 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청된 경우, 개인화 정보 제공장치에 상기 멀티미디어 데이터에 대한 관련정보를 요청 및 수신하여 상기 멀티미디어 데이터와 그 관련정보를 상기 메모장에 메모로 등록 및 표시하는 사용자 단말, 상기 사용자 단말로부터의 멀티미디어 데이터에 대한 관련정보 요청에 따라, 관련정보 데이터베이스를 검색하여 상기 멀티미디어 데이터에 대응되는 관련정보를 획득하고, 상기 획득된 관련정보를 상기 사용자 단말에 제공하는 개인화 정보 제공 장치를 포함한다.
본 발명의 목적은 영상, 음성 등의 멀티미디어 데이터뿐만 아니라 멀티미디어 데이터에 대한 관련정보를 메모 내용으로 등록할 수 있다.

Description

메모 등록을 위한 시스템, 방법 및 그에 대한 기록매체{System for inputting memo, method thereof, and recordable medium storing the method}

본 발명은 메모 등록을 위한 시스템, 방법 및 그에 대한 기록매체에 관한 것으로, 보다 상세하게는 메모장에서 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청된 경우, 개인화 정보 제공장치에 상기 멀티미디어 데이터에 대한 관련정보를 요청 및 수신하여 상기 멀티미디어 데이터와 그 관련정보를 상기 메모장에 메모로 등록 및 표시하는 메모 등록을 위한 시스템, 방법 및 그에 대한 기록매체에 관한 것이다.

종래의 정보 제공 서비스 또는 검색 서비스는 네이버, 구글 등과 같이 사용자가 입력한 키워드를 분석하여 키워드에 대응되는 정보를 공통된 데이터베이스를 검색하여 검색 결과를 제공한다.

이러한 정보 제공 서비스 또는 검색 서비스에서 사용하는 공통된 검색 데이터베이스는 하나의 서버에 저장된 데이터베이스 또는 다수의 서버에 저장된 데이터베이스를 클라우드 컴퓨팅 기술로 연결하여 제공한다.

공통된 검색 데이터베이스를 이용하여 정보를 검색하는 경우 일반화된 검색 결과를 보여줄 수 있는 장점이 있으나, 검색 데이터베이스가 방대해짐에 따라 검색 결과 또한 방대해지기 때문에 사용자는 원하는 결과를 찾기 위하여 많은 분량의 데이터를 다시 필터링 해야하는 문제가 있다.

최근 들어, 정보 제공 서비스 또는 검색 서비스 제공 시, 검색 결과를 카테고리별로 분류하여 제공하거나, 검색 결과의 특성(뉴스, 블로그 등 SNS 정보, 커머스 관련 정보 등)별로 분류하여 제공하는 등 사용자가 원하는 검색 결과를 빠르게 찾을 수 있도록 검색 결과를 재분류하여 제공하는 서비스가 늘어나고 있다.

또한, 종래의 정보 제공 서비스는 사용자의 사용 이력을 수집하고, 사용형태를 유형화하여 사용패턴에 따라 사용자의 의도를 학습함으로써 잠재적인 사용자 의도를 예측하는 방법을 사용하였다. 이러한 정보 제공 서비스는 사용자의 사용 이력을 수집 및 분석해야 하기 때문에 많은 시간이 소요되고, 사용자의 의도를 정확히 예측할 수 없다는 문제점이 있다.

또한, 정보 제공을 요청하기 위해 메모장에 메모를 입력함에 있어서, 문자만을 메모로 등록해야 하는 한계점이 있었다.

한국등록특허 제883657호(2009.02.06), 발명의 명칭: 음성 인식 기반의 음악 검색 방법 및 장치

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 영상, 음성 등의 멀티미디어 데이터뿐만 아니라 멀티미디어 데이터에 대한 관련정보를 메모 내용으로 등록할 수 있는 메모 등록을 위한 시스템, 방법 및 그에 대한 기록매체를 제공하는데 있다.

본 발명의 다른 목적은 멀티미디어 데이터와 연관된 관련정보를 함께 메모로 등록함으로써, 사용자의 멀티미디어 데이터 이해를 도울 수 있는 메모 등록을 위한 시스템, 방법 및 그에 대한 기록매체를 제공하는데 있다.

본 발명의 일 측면에 따르면, 메모장에서 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청된 경우, 개인화 정보 제공장치에 상기 멀티미디어 데이터에 대한 관련정보를 요청 및 수신하여 상기 멀티미디어 데이터와 그 관련정보를 상기 메모장에 메모로 등록 및 표시하는 사용자 단말, 상기 사용자 단말로부터의 멀티미디어 데이터에 대한 관련정보 요청에 따라, 관련정보 데이터베이스를 검색하여 상기 멀티미디어 데이터에 대응되는 관련정보를 획득하고, 상기 획득된 관련정보를 상기 사용자 단말에 제공하는 개인화 정보 제공 장치를 포함하는 메모 등록을 위한 시스템이 제공된다.

본 발명의 다른 측면에 따르면, 개인화 정보 제공 장치와의 통신을 위한 통신부, 표시부, 메모장에서 멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 선택받은 경우, 그 메모 입력 수단이 동작하도록 제어하는 메모 입력 수단 설정부, 상기 선택된 메모 입력 수단을 통해 멀티미디어 데이터를 입력 받는 입력부, 상기 입력된 멀티미디어 데이터의 메모 등록이 요청된 경우, 상기 개인화 정보 제공 장치에 상기 멀티미디어 데이터에 대한 관련정보를 요청 및 수신하고, 상기 관련정보를 상기 멀티미디어 데이터와 함께 상기 메모장에 메모로 등록 및 표시하는 메모 등록 처리부를 포함하는 사용자 단말이 제공된다.

상기 입력부는 문자, 숫자 및 텍스트 정보가 입력되는 키 입력 수단, 사용자의 음성 또는 오디오 신호가 입력되는 음성 인식 수단, 영상을 획득하는 영상 획득 수단 중 적어도 하나를 포함할 수 있다.

상기 메모 등록 처리부는 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출하고, 상기 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 상기 개인화 정보 제공 장치에 전송하여, 해당 관련정보를 수신한다.

또한, 상기 메모 등록 처리부는 상기 멀티미디어 데이터를 분석하여 타입을 분류하고, 상기 분류된 멀티미디어 데이터가 음성인 경우 음성 인식 및 텍스트 변환을 통해 컨텍스트를 추출하고, 상기 멀티미디어 데이터가 영상인 경우 영상 인식 및 객체 추출을 통해 컨텍스트를 추출한다.

상기 사용자 단말은 상기 메모장에 저장된 메모 내용 중 일부를 선택하여 인텐트로 등록하고 상기 등록된 인텐트의 선택을 종료하여 인텐트에서 삭제하는 인텐트 관리부, 상기 등록된 인텐트에 대한 개인화된 정보를 상기 개인화 정보 제공장치로부터 수신하여 상기 표시부를 통해 표시되도록 하는 개인화 정보 수신 처리부를 더 포함할 수 있다.

상기 인텐트 관리부는 Open API(Application Program Interface) 또는 플러그-인(Plug-in) 기술을 사용하여 다른 어플리케이션의 메모장 메모 내용을 호출할 수 있다.

본 발명의 또 다른 측면에 따르면, 사용자 단말과의 통신을 위한 통신부, 멀티미디어 데이터에 대한 관련정보가 저장된 관련정보 데이터베이스, 상기 사용자 단말로부터 멀티미디어 데이터에 대한 관련정보 요청 신호가 수신된 경우, 상기 관련정보 데이터베이스를 검색하여 상기 멀티미디어 데이터에 대한 관련정보를 검색하는 정보 검색부, 상기 검색된 관련정보를 상기 사용자 단말에 제공하는 정보 제공부를 포함하는 개인화 정보 제공 장치가 제공된다.

상기 정보 검색부는 상기 관련정보 요청 신호가 컨텍스트를 포함하는 경우, 상기 관련정보 데이터베이스를 검색하여 상기 컨텍스트에 대응하는 관련정보를 획득한다.

또한, 상기 정보 검색부는 상기 관련정보 요청 신호가 멀티미디어 데이터를 포함하는 경우, 상기 멀티미디어 데이터를 분석하여 타입을 분류하고, 상기 분류된 멀티미디어 데이터가 음성인 경우 음성 인식 및 텍스트 변환을 통해 컨텍스트를 추출하고, 영상인 경우 영상 인식 및 객체 추출을 통해 컨텍스트를 추출한 후, 상기 관련정보 데이터베이스를 검색하여 상기 컨텍스트에 대응하는 관련정보를 획득한다.

본 발명의 또 다른 측면에 따르면, 사용자 단말이 메모장에서 멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 선택받는 단계, 상기 사용자 단말이 상기 선택된 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청되면, 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출하고, 상기 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 개인화 정보 제공 장치로 전송하는 단계, 상기 개인화 정보 제공 장치가 구비된 관련정보 데이터베이스를 검색하여 상기 컨텍스트에 대응하는 관련정보를 획득하여 상기 사용자 단말로 전송하는 단계, 상기 사용자 단말이 상기 관련정보를 상기 멀티미디어 데이터와 함께 상기 메모장에 메모로 등록 및 표시하는 단계를 포함하는 메모 등록을 위한 방법이 제공된다.

본 발명의 또 다른 측면에 따르면, 사용자 단말이 메모장에서 멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 선택받는 단계, 상기 사용자 단말이 상기 선택된 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청되면, 상기 멀티미디어 데이터를 포함하는 관련정보 요청 신호를 개인화 정보 제공 장치로 전송하는 단계, 상기 개인화 정보 제공 장치가 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출하는 단계, 상기 개인화 정보 제공 장치가 구비된 관련정보 데이터베이스를 검색하여 상기 컨텍스트에 대응하는 관련정보를 획득하여 상기 사용자 단말로 전송하는 단계, 상기 사용자 단말이 상기 관련정보를 상기 멀티미디어 데이터와 함께 상기 메모장에 메모로 등록 및 표시하는 단계를 포함하는 메모 등록을 위한 방법이 제공된다.

본 발명의 또 다른 측면에 따르면, 사용자 단말이 멀티미디어 데이터를 메모로 등록하고 개인화된 정보를 제공하는 방법에 있어서, (a) 멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 선택 받는 단계, (b)상기 선택된 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청된 경우, 개인화 정보 제공장치에 상기 멀티미디어 데이터에 대한 관련정보를 요청하여 수신하는 단계, (c)상기 수신된 관련정보를 상기 멀티미디어 데이터와 함께 상기 메모장에 메모로 등록 및 표시하는 단계를 포함하는 메모 등록을 위한 방법이 제공된다.

상기 (b)단계는, 상기 멀티미디어 데이터의 메모 등록이 요청된 경우, 상기 멀티미디어 데이터를 분석하여 타입을 분류하는 단계, 상기 분류된 멀티미디어 데이터가 음성인 경우 음성 인식 및 텍스트 변환을 통해 컨텍스트를 추출하고, 상기 멀티미디어 데이터가 영상인 경우 영상 인식 및 객체 추출을 통해 컨텍스트를 추출하는 단계, 상기 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 상기 개인화 정보 제공 장치에 전송하여 관련정보를 수신하는 단계를 포함한다.

상기 메모등록 및 개인화된 정보 제공 방법은 상기 (c) 단계 이후, 상기 메모 내용 중 일부를 선택하여 인텐트로 등록하는 단계, 상기 개인화 정보 제공 장치로부터 상기 등록된 인텐트와 관련된 개인화 정보에 대한 메시지를 수신하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 측면에 따르면, 멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 선택 받는 단계, 상기 선택된 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청된 경우, 개인화 정보 제공장치에 상기 멀티미디어 데이터에 대한 관련정보를 요청하여 수신하는 단계, 상기 수신된 관련정보를 상기 멀티미디어 데이터와 함께 상기 메모장에 메모로 등록 및 표시하는 단계를 포함하는 메모 등록을 위한 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다.

본 발명의 또 다른 측면에 따르면, 개인화 정보 제공 장치가 멀티미디어 데이터를 메모로 등록하기 위한 방법에 있어서, 사용자 단말로부터의 관련정보 요청 신호가 수신된 경우, 상기 관련정보 요청 신호에 컨텍스트 또는 멀티미디어 데이터가 포함되어 있는지의 여부를 판단하는 단계, 상기 판단결과 컨텍스트가 포함된 경우 상기 컨텍스트에 대응하는 관련정보를 검색하고, 멀티미디어 데이터가 포함된 경우 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출하고, 상기 추출된 컨텍스트에 대응하는 관련정보를 검색하는 단계, 상기 검색된 관련정보를 상기 사용자 단말로 전송하는 단계를 포함하는 메모 등록을 위한 방법이 제공된다.

본 발명의 또 다른 측면에 따르면, 사용자 단말로부터의 관련정보 요청 신호가 수신된 경우, 상기 관련정보 요청 신호에 컨텍스트 또는 멀티미디어 데이터가 포함되어 있는지의 여부를 판단하는 단계, 상기 판단결과 컨텍스트가 포함된 경우 상기 컨텍스트에 대응하는 관련정보를 검색하고, 멀티미디어 데이터가 포함된 경우 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출하고, 상기 추출된 컨텍스트에 대응하는 관련정보를 검색하는 단계, 상기 검색된 관련정보를 상기 사용자 단말로 전송하는 단계를 포함하는 메모 등록을 위한 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체가 제공된다.

본 발명에 따르면, 영상, 음성 등의 멀티미디어 데이터뿐만 아니라 멀티미디어 데이터에 대한 관련정보를 메모로 동시에 관리할 수 있다.

또한, 멀티미디어 데이터와 연관된 관련정보를 함께 메모로 등록함으로써, 사용자의 멀티미디어 데이터 이해를 도울 수 있다.

또한, 사용자가 자유롭게 사용하는 메모장에 기록된 내용을 인텐트로 직접 등록할 수 있으므로 인텐트 등록이 용이하고, 등록된 인텐트에 대한 검색을 비동기적으로 실행하여 검색 결과 또는 갱신된 검색 결과를 저장해두고 사용자의 요청에 의해 검색 결과 또는 갱신된 검색 결과를 확인할 수 있으므로 사용자의 기억 보조자로 기능할 수 있는 효과가 있다.

도 1은 본 발명에 따른 메모 등록을 위한 시스템을 나타낸 도면.
도 2는 본 발명에 따른 개인화 정보 제공 장치의 구성을 개략적으로 나타낸 블록도.
도 3은 본 발명에 따른 사용자 단말의 구성을 개략적으로 나타낸 블록도.
도 4는 본 발명에 따른 멀티미디어 데이터를 메모로 등록하는 방법을 나타낸 도면.
도 5는 본 발명에 따른 멀티미디어 데이터에서 컨텍스트를 추출하는 방법을 나타낸 도면.
도 6은 본 발명에 따른 멀티미디어 데이터를 메모로 등록하는 방법을 나타낸 도면.
도 7 내지 도 9는 본 발명에 따른 멀티미디어 데이터의 메모 등록을 설명하기 위한 화면 예시도.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다. 첨부 도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 발명은 메모장에서 입력된 각종 미디어, 즉 음성, 영상, 텍스트 등의 컨텍스트(context)를 자동으로 인식하고 관련된 정보를 제공하여 멀티미디어 데이터와 함께 메모로 등록 및 표시하는 기술에 관한 것이다. 여기서, 컨텍스트라 함은, 일반적으로 '문맥'이란 뜻을 가진 용어로서, 이하의 본 발명에서는 컨텍스트를 소정의 의미를 가지는 '정보 객체'라는 보다 넓은 의미로 사용됨에 유의하여야 한다.

즉, 본 발명에서 언급되는 컨텍스트는 음성이나 텍스트의 경우 특정 단어, 문장, 외국어 등을 가리키며, 동영상 또는 정지영상의 경우 특정 이미지, 인물, 상표, 풍경, 물체 등을 가리키며, 이외에도 기타 다양한 미디어 및 상기 예들이 복합적으로 작용하는 경우를 가리킨다.

또한, 본 발명에서 사용되는 멀티미디어(multimedia)는 상기한 바와 같이 음성, 영상, 텍스트 및 이들의 조합이나 기타 미디어(media)들의 일부 혹은 전체를 나타냄에 유의하여야 한다.

도 1은 본 발명에 따른 메모 등록을 위한 시스템을 나타낸 도면이다.

도 1을 참조하면, 메모 등록을 위한 시스템은 적어도 하나의 사용자 단말(200), 개인화 정보 제공 장치(100)를 포함한다.

상기 사용자 단말(200)은 메모장을 제공하는 어플리케이션을 실행시켜, 상기 메모장에서 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청되면, 개인화 정보 제공장치에 상기 멀티미디어 데이터에 대한 관련정보를 요청 및 수신하여 상기 멀티미디어 데이터와 그 관련정보를 상기 메모장에 메모로 등록 및 표시한다. 여기서, 상기 관련정보는 해당 멀티미디어 데이터에 관련한 메타 정보, 상세한 설명 등을 모두 포함할 수 있다.

또한, 사용자 단말(200)은 메모장 기능과 인텐트 관리 기능이 지원되는 어플리케이션을 구동하여 개인화된 정보 제공 서비스를 제공받을 수 있고, 인텐트 관리 기능이 지원되는 어플리케이션을 실행시켜 메모장 기능만 제공되는 다른 어플리케이션의 메모장 메모 내용을 호출하고 호출된 메모 내용 중 일부 내용을 선택하여 인텐트로 등록할 수 있다.

여기서, 인텐트(Intent)는 사용자가 지원받고 싶은 정보에 대한 주제, 즉, 사용자가 알고 싶어하는 대상, 구매하고 싶은 대상, 관심있는 주제 등 머릿속에 떠오르는 단어, 구절, 문장 등을 의미한다. 예를 들어, 인텐트는 '피맛골 연가', '헤드윅', '노트북', '금발이 너무해' 등과 같이 사용자가 정보를 원하는 관심 주제에 대한 다양한 표현을 포함하며, 인텐트는 텍스트, 이미지, 음원, 동영상 파일, QR 코드 등의 다양한 형태로 등록될 수 있다.

상기와 같은 역할을 수행하는 사용자 단말(200)에 대한 상세한 설명은 도 3을 참조하기로 한다.

상기 개인화 정보 제공 장치(100)는 상기 사용자 단말(200)로부터의 멀티미디어 데이터에 대한 관련정보 요청에 따라, 관련정보 데이터베이스를 검색하여 상기 멀티미디어 데이터에 대응되는 관련정보를 획득하고, 상기 획득된 관련정보를 상기 사용자 단말(200)에 제공한다.

또한, 상기 개인화 정보 제공 장치(100)는 상기 사용자 단말(200)로부터 인텐트 등록이 요청된 경우, 해당 인텐트를 사용자별 인텐트 데이터베이스로 저장하고, 개인화된 검색 데이터베이스를 이용하여 인텐트에 대응되는 정보를 검색하고, 검색된 정보를 개인화 알고리즘을 이용하여 우선순위를 부여하고 상기 우선순위가 높은 개인화된 정보를 상기 사용자 단말(200)로 제공한다.

또한, 상기 개인화 정보제공장치(100)는 일반 검색 데이터베이스, 인텐트 데이터베이스 또는 검색 데이터베이스를 다수의 서버에 분산 저장할 수 있고 클라우드 컴퓨팅 기술을 기반으로 데이터를 다수의 서버(웹 서버)에서 분산하여 처리할 수 있다.

상기와 같은 역할을 수행하는 개인화 정보제공 장치(100)에 대한 상세한 설명은 도 2를 참조하기로 한다.

도 2는 본 발명에 따른 개인화 정보 제공 장치의 구성을 개략적으로 나타낸 블록도이다.

도 2를 참조하면, 개인화 정보제공장치(100)는 멀티미디어 데이터에 대한 관련정보가 저장된 관련정보 데이터베이스(195), 정보 검색부(130), 정보 제공부(140)를 포함한다.

상기 관련정보 데이터베이스(195)에는 컨텍스트와 관련된 도서, 음악, 인물, 기업, 언어, 마케팅, 일정, 기타 관련정보 중 적어도 어느 하나 이상이 필드화되어 구조적으로 기록 저장되어 있다. 보다 구체적으로 특정 도서에 대한 제목, 간략 내용, 저자 등과 같은 도서에 상응하는 관련정보를 포함하는 도서 정보 필드, 특정 음악에 대한 제목, 가사, 작곡자, 작사가 등과 같은 음악에 상응하는 관련정보를 포함하는 음악 정보 필드, 특정 인물에 대한 약력, 이미지, 학력, 활동사항, 특기사항, 취미와 같은 인물에 상응하는 관련정보를 포함하는 인물 정보 필드 등이 저장된다.

상기 정보 검색부(130)는 상기 사용자 단말로부터 멀티미디어 데이터에 대한 관련정보 요청 신호가 수신된 경우, 상기 관련정보 데이터베이스(195)를 검색하여 상기 멀티미디어 데이터에 대한 관련정보를 검색한다. 이때, 상기 정보 검색부(130)는 상기 관련정보 요청 신호를 분석하여 상기 관련정보 신호에 컨텍스트 또는 멀티미디어 데이터가 포함되어 있는지의 여부를 판단한다. 상기 판단결과 컨텍스트가 포함된 경우, 상기 정보 검색부(130)는 상기 관련정보 데이터베이스(195)를 검색하여 상기 컨텍스트에 대응하는 관련정보를 획득한다.

만약, 상기 관련정보 요청 신호에 멀티미디어 데이터가 포함되어 있으면, 상기 정보 검색부(130)는 상기 멀티미디어 데이터를 분석하여 타입을 분류하고, 상기 분류된 멀티미디어 데이터가 음성인 경우 음성 인식 및 텍스트 변환을 통해 컨텍스트를 추출하고, 영상인 경우 영상 인식 및 객체 추출을 통해 컨텍스트를 추출한 후, 상기 관련정보 데이터베이스(195)를 검색하여 상기 컨텍스트에 대응하는 관련정보를 획득한다.

즉, 상기 멀티미디어 데이터가 음성인 경우, 상기 정보 검색부(130)는 상기 관련정보 요청 신호에서 음성 데이터를 추출하고, 상기 음성 데이터를 텍스트로 변환한다. 그런 다음 상기 정보 검색부(130)는 상기 변환된 텍스트에 대한 자연어 처리과정을 수행하여 키워드를 추출한다. 상기 추출된 키워드가 컨텍스트일 수 있다.

또한, 상기 멀티미디어 데이터가 영상인 경우, 상기 정보 검색부(130)는 영상에서 특징벡터를 추출하고, 상기 특징 벡터를 이용한 영상 인식을 수행하여 상기 영상에서 특정 객체를 추출한다. 상기 추출된 객체가 컨텍스트일 수 있다.

상기 정보 제공부(140)는 상기 정보 검색부(130)에서 검색된 관련정보를 상기 사용자 단말에 제공한다.

상기와 같이 구성된 개인화 정보 제공 장치는 인텐트 관리부(110), 개인화 검색 데이터베이스 관리부(120), 메시지 생성부(150), 개인화 알고리즘 생성부(160), 인증부(170), 사용자별 인텐트 데이트베이스(180), 사용자별 개인화된 검색 데이터베이스(190) 중 적어도 하나를 더 포함하여 구성될 수 있다.

인텐트 관리부(110)는 인텐트 등록 또는 인텐트 삭제를 처리하여 사용자별 인텐트 데이터베이스(180)로 저장한다. 여기서, 인텐트(Intent)는 사용자가 지원받고 싶은 정보에 대한 주제, 즉, 사용자가 알고 싶어하는 대상, 구매하고 싶은 대상, 관심있는 주제 등 머릿속에 떠오르는 단어, 구절, 문장 등을 의미한다. 예를 들어, 인텐트는 '피맛골 연가', '헤드윅', '노트북', '금발이 너무해'와 같이 사용자가 정보를 원하는 관심 주제에 대한 다양한 표현을 포함하며, 인텐트는 텍스트, 이미지, 음원, 동영상 파일, QR 코드 등의 다양한 형태로 등록될 수 있다.

인텐트 관리부(110)는 사용자 단말로부터 인텐트 등록 또는 인텐트 삭제 요청을 수신하며, 인텐트 등록 또는 인텐트 삭제 요청이 수신되면 사용자별 인텐트 데이터베이스(180)를 업데이트할 수 있다.

따라서, 인텐트 관리부(110)는 사용자 단말로부터 새로운 인텐트의 등록 요청을 받거나, 등록된 인텐트의 삭제 요청을 받으면, 해당되는 인텐트 데이터베이스를 검색하여 새로운 인텐트를 저장 또는 삭제할 수 있다.

인텐트 관리부(110)는 사용자 단말 단위 또는 사용자 단위로 식별번호(ID)를 부여하여 인텐트 데이터베이스를 관리하며, 바람직하게는 사용자별로 식별번호를 부여하고 사용자가 소유한 다수의 단말로부터 등록 또는 삭제 요청된 인텐트를 관리할 수 있다.

개인화 검색 데이터베이스 관리부(120)는 사용자별 인텐트 데이터베이스(180)에 저장된 인텐트, 일반 검색 데이터베이스, 또는 다수의 통계 데이터를 이용하여 사용자별로 개인화된 검색 데이터베이스(190)를 생성하여 저장한다.

개인화 검색 데이터베이스 관리부(120)는 다수의 통계 데이터 또는 사용자와 관련된 데이터를 이용하여 일반 검색 데이터베이스를 확장하여 사용자별로 개인화된 검색 데이터베이스(190)를 생성할 수 있다.

구체적으로, 개인화된 검색 데이터베이스 및 일반 검색 데이터베이스가 카테고리별로 상하위 개념이 연결된 트리 형태인 경우, 개인화 검색 데이터베이스 관리부(120)는 일반 검색 데이터베이스를 기초로 사용자별 인텐트 데이터베이스(180)에 저장된 인텐트 또는 다수의 통계 데이터를 분석하여 일반 검색 데이터베이스의 연결되지 않은 상하위 개념을 연결하거나 또는 일반 검색 데이터베이스의 최하위 개념과 관련된 토픽 개념들을 추가로 연결하여 생성할 수 있다.

개인화 검색 데이터베이스 관리부(120)는 사용자별로 식별번호(ID)를 부여하여 개인화 검색 데이터베이스를 관리할 수 있다.

개인화 검색 데이터베이스 관리부(120)는 사용자별 인텐트 데이터베이스, 일반 검색 데이터베이스 또는 다수의 통계 데이터가 변경됨에 따라 사용자별 개인화된 검색 데이터베이스(190)를 재구성하여 저장할 수 있다.

일반 검색 데이터베이스, 인텐트 데이터베이스 또는 검색 데이터베이스는 클라우드 컴퓨팅 서비스를 이용하여 다수의 서버에 분산 저장될 수 있다.

정보 검색부(130)는 개인화된 검색 데이터베이스를 이용하여 인텐트 데이터베이스에 저장된 인텐트에 대응되는 정보를 검색한다. 이때, 인텐트 데이터베이스에 저장된 인텐트가 구절 또는 문장인 경우, 상기 정보 검색부(130)는 형태소 분석을 통해 유의미한 단어로 구분하고, 구분된 단어를 조합한 후 정보를 검색할 수 있다.

또한, 인텐트 데이터베이스에 저장된 인텐트가 음원, 이미지 또는 동영상인 경우, 상기 정보 검색부(130)는 대응되는 텍스트를 매칭시킨 후 대응되는 텍스트와 음원, 이미지 또는 동영상을 조합하여 정보를 검색할 수 있다.

정보 제공부(140)는 정보 검색부(130)에서 검색된 정보를 개인화 알고리즘을 이용하여 우선순위를 부여하고 우선순위가 높은 개인화된 정보를 추출한다.

개인화 알고리즘은 개인화 알고리즘 생성부(160)에서 생성되며, 사용자의 유형별 그룹에 따라 서로 다른 알고리즘이 적용될 수 있다.

메시지 생성부(150)는 정보 제공부(140)에서 추출된 개인화된 정보에 대한 메시지를 생성하여 사용자 단말기로 전송할 수 있다. 여기서, 생성된 메시지에는 개인화된 정보의 URL 링크 정보, 개인화된 정보의 목록, 또는 개인화된 정보의 일부 데이터가 포함될 수 있다.

개인화 알고리즘 생성부(160)는 개인화 정보 제공 서비스를 요청한 사용자가 수집에 동의한 사용자의 소셜 네트워크 관련 정보, 커머스 관련 정보, 인텐트 데이터베이스, 또는 인텐트 등록과 삭제에 대한 통계 데이터 중 적어도 하나를 포함하는 사용자와 관련된 정보를 이용하여 유형별 그룹을 분류하고, 분류된 사용자의 유형별 그룹에 따라 개인화 알고리즘을 생성한다. 여기서, 유형별 그룹은 연령대, 직업 유형, 성별, 성격 또는 취미 중 적어도 하나를 이용하여 미리 결정되며, 사용자 단말로부터 전송된 사용자와 관련된 정보를 이용하여 사용자의 연령대, 직업 유형, 성별, 성격 또는 취미 정보를 추출한 후 사용자의 유형별 그룹을 분류할 수 있다.

또한, 사용자의 유형별 그룹은 사용자와 관련된 정보가 업데이트됨에 따라 변경될 수 있다.

예를 들어, 취미 생활에만 관심이 있는 직장인(Field Work Man), 모든 정보에 관심이 있는 20대 학생(Eager Twenty), 정보에 무관심한 유형(Information Aloofness)으로 그룹을 유형화할 수 있다.

개인화 정보제공장치(100)는 인증부(170)를 더 포함할 수 있고, 인증부(170)는 인텐트 등록 또는 인텐트 삭제를 요청하는 사용자 단말과 연결되어 개인화 정보 제공 서비스에 가입되었는지 여부에 대한 인증 절차를 처리할 수 있다.

개인화 정보제공장치(100)는 개인화 정보 제공 서비스에 가입된 사용자들이 등록한 인텐트를 수집하여 사용자별 인텐트 데이터베이스(180)로 관리하고, 서비스 이용자들의 개인 정보를 수집하여 사용자별 개인화된 검색 데이터베이스(190)를 생성하므로 인증 절차가 요구될 수 있다.

도 3은 본 발명에 따른 사용자 단말의 구성을 개략적으로 나타낸 블록도이다.

도 3을 참조하면, 사용자 단말(200)은 개인화 정보 제공 장치와의 통신을 위한 통신부(210), 표시부(220), 메모장을 제공하는 어플리케이션이 저장된 저장부(230), 입력부(240), 메모 입력 수단 설정부(250), 메모 등록 처리부(260)를 포함한다.

상기 입력부(240)는 메모장에서 메모를 입력받는 메모 입력 수단의 역할을 수행한다. 상기 메모는 텍스트, 음성, 동영상, 영상, QR 코드 등의 다양한 형태로 입력될 수 있다.

따라서, 상기 입력부(240)는 사용자로부터 문자, 숫자 및 텍스트 정보를 입력받는 키 입력 수단(242), 마이크 등을 통해 사용자의 음성 또는 오디오 신호를 입력받는 음성 인식 수단(244), 소정 물체의 촬영을 통해 영상을 획득하는 영상 획득 수단(246) 등을 포함한다.

상기 입력부(240)는 상기와 같은 구성 장치들을 통해 음성, 문자, 영상 등의 멀티미디어 데이터를 입력 받는 기능을 수행한다.

상기 메모 입력 수단 설정부(250)는 메모장에서 멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 사용자로부터 선택 받은 경우, 그 메모 입력 수단이 동작하도록 제어한다. 즉, 메모장을 실행시킨 상태에서 사용자가 멀티미디어 데이터를 메모로 등록하기 위하여 메모 입력 수단을 선택하면, 상기 메모 입력 수단 설정부(250)는 상기 선택된 메모 입력 수단이 구동되도록 제어한다. 예를 들어, 상기 사용자가 카메라를 메모입력 수단으로 선택한 경우 카메라가 동작하도록 제어하고, 마이크를 메모 입력 수단으로 선택한 경우 마이크가 동작하도록 제어한다.

상기 메모 등록 처리부(260)는 상기 입력부(240)는 통해 입력된 멀티미디어 데이터의 메모 등록이 요청된 경우, 상기 개인화 정보 제공 장치에 상기 멀티미디어 데이터에 대한 관련정보를 요청 및 수신하고, 상기 관련정보를 상기 멀티미디어 데이터와 함께 상기 메모장에 등록 및 표시한다.

즉, 상기 메모 등록 처리부(260)는 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출하고, 상기 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 상기 개인화 정보 제공 장치에 전송하여, 해당 관련정보를 수신한다. 이때, 상기 메모 등록 처리부(260)는 상기 멀티미디어 데이터를 분석하여 타입을 분류하고, 상기 분류된 멀티미디어 데이터가 음성인 경우 음성 인식 및 텍스트 변환을 통해 컨텍스트를 추출하고, 상기 멀티미디어 데이터가 영상인 경우 영상 인식 및 객체 추출을 통해 컨텍스트를 추출한다. 다시 말하면, 상기 멀티미디어 데이터가 음성인 경우, 상기 메모 등록 처리부(260)는 입력되는 음성 데이터를 텍스트로 변환하고, 상기 변환된 텍스트에 대한 자연어 처리과정을 수행하여 키워드를 추출한다. 상기 추출된 키워드가 컨텍스트일 수 있다. 또한, 상기 멀티미디어 데이터가 영상인 경우, 상기 메모 등록 처리부(260)는 입력된 영상에서 특징벡터를 추출하고, 상기 특징 벡터를 이용한 영상 인식을 수행하여 상기 영상에서 특정 객체를 추출한다. 상기 추출된 객체가 컨텍스트일 수 있다.

상기 메모 등록 처리부(260)는 상기와 같이 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 상기 개인화 정보 제공 장치에 전송하여, 상기 개인화 정보제공 장치로부터 관련정보를 수신한다. 그러면, 상기 메모 등록 처리부(260)는 상기 수신된 관련정보를 해당 멀티미디어 데이터와 함께 메모장에 메모로 입력하여 표시부를 통해 표시되도록 한다.

또한, 상기 메모 등록 처리부(260)는 상기와 같이 컨텍스트를 추출하지 않고, 상기 입력된 멀티미디어 데이터를 그대로 상기 개인화 정보제공 장치로 전송하여 관련정보를 수신할 수도 있다. 이 경우에는 상기 개인화 정보 제공 장치가 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출해야 한다.

상기와 같이 구성된 사용자 단말(200)은 인텐트 관리부(270), 개인화 정보 수신 처리부(280)를 더 포함할 수 있다.

상기 인텐트 관리부(270)는 메모장에 기록된 메모 내용 중 일부를 선택하여 인텐트로 등록하고 등록된 인텐트의 선택을 종료하여 인텐트에서 삭제할 수 있다.

또한, 인텐트 관리부(270)는 Open API(Application Program Interface) 또는 플러그-인(Plug-in) 기술을 사용하여 다른 어플리케이션의 메모장 메모 내용을 호출할 수 있다. 즉, 사용자 단말기(200)에서 메모장 기능과 인텐트 관리 기능이 지원되는 어플리케이션을 구동하여 개인화된 정보 제공 서비스를 제공받을 수 있고, 인텐트 관리 기능이 지원되는 어플리케이션을 실행시켜 메모장 기능만 제공되는 다른 어플리케이션의 메모장 메모 내용을 호출하고 호출된 메모 내용 중 일부 내용을 선택하여 인텐트로 등록할 수 있다.

또한, 상기 인텐트 관리부(270)는 인텐트 등록 또는 상기 등록된 인텐트의 선택을 종료하여 인텐트에서 삭제된 경우, 상기 개인화 정보 제공 장치에 인텐트 등록 또는 인텐트 삭제를 요청한다.

상기 개인화 정보 수신 처리부(280)는 상기 인텐트 관리부(270)에서 등록된 인텐트와 관련된 개인화된 정보에 대한 메시지를 상기 통신부(210)를 통해 개인화 정보 제공장치로부터 수신하여 상기 표시부(220)를 통해 표시되도록 한다.

또한, 상기 개인화 정보 수신 처리부(280)는 개인화된 정보에 대한 메시지 전송 알림 정보, 상기 메시지에 포함된 개인화된 정보 또는 상기 개인화된 정보를 이용하여 다운로드 받은 정보를 상기 표시부(220)에 표시되도록 한다. 상기 메시지 전송 알림 정보는 사용자 단말(200)에서 다른 응용 프로그램이 구동되거나 통화 중인 경우에도 수신되어 단말기 화면에 수신 정보가 표시되거나 또는 단말기 화면 상단에 작은 아이콘 형태로 표시될 수 있다.

도 4는 본 발명에 따른 멀티미디어 데이터를 메모로 등록하는 방법을 나타낸 도면이다.

도 4를 참조하면, 사용자는 사용자 단말에 저장된 메모장을 제공하는 어플리케이션을 실행시켜 멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 선택한다(S402). 즉, 상기 사용자는 메모장을 실행시킨 후, 카메라, 마이크 등의 메모 입력 수단을 선택한다. 그러면, 상기 사용자 단말은 상기 선택된 메모 입력 수단이 동작하도록 제어한다.

상기 S402의 수행 후, 상기 사용자 단말이 상기 선택된 메모 입력 수단을 통해 멀티미디어 데이터를 입력 받은 후(S404), 상기 멀티미디어 데이터의 메모 등록이 요청되면(S406), 상기 사용자 단말은 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출하고(S408), 상기 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 개인화 정보 제공 장치로 전송한다(S410).

상기 사용자 단말인 멀티미디어 데이터를 분석하여 컨텍스트를 추출하는 방법에 대한 상세한 설명은 도 5를 참조하기로 한다.

그러면, 상기 개인화 정보 제공 장치는 구비된 관련정보 데이터베이스를 검색하여 상기 컨텍스트에 대응하는 관련정보를 획득하여(S412) 상기 사용자 단말로 전송한다(S414).

그러면, 상기 사용자 단말은 상기 관련정보를 상기 멀티미디어 데이터와 함께 상기 메모장에 메모로 등록 및 표시한다(S416).

사용자는 상기 메모장에 표시된 멀티미디어 데이터와 그 관련정보를 확인하고, 그 멀티미디어 데이터를 인텐트로 등록할 수 있다.

도 5는 본 발명에 따른 멀티미디어 데이터에서 컨텍스트를 추출하는 방법을 나타낸 도면이다.

멀티미디어 데이터에서 컨텍스트를 추출하는 주체는 사용자 단말 또는 개인화 정보 제공 장치일 수 있으나, 도 5에서는 사용자 단말이 컨텍스트를 추출하는 경우에 대해 설명하기로 한다.

도 5를 참조하면, 사용자 단말은 멀티미디어 데이터를 분석하여 타입을 분류한다(S502).

상기 분류된 멀티미디어 데이터가 음성이면(S504), 상기 사용자 단말은 음성 인식을 수행하여 음성 데이터를 추출하고(S506), 상기 음성 데이터를 텍스트로 변환한다(S508).

상기 사용자 단말은 상기 변환된 텍스트를 컨텍스트로 획득한다(S510).

만약, 상기 분류된 멀티미디어 데이터가 영상이면(S512), 상기 사용자 단말은 영상에서 특징벡터를 추출하고, 상기 특징 벡터를 이용한 영상 인식을 수행하여(S514) 상기 영상에서 특정 객체를 추출한다(S516). 상기 사용자 단말은 상기 추출된 객체를 컨텍스트로 획득한다(S518).

도 6은 본 발명에 따른 멀티미디어 데이터를 메모로 등록하는 방법을 나타낸 도면이다.

도 6을 참조하면, 사용자는 사용자 단말에 저장된 메모장을 제공하는 어플리케이션을 실행시켜 멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 선택한다(S602). 즉, 상기 사용자는 메모장을 실행시킨 후, 카메라, 마이크 등의 메모 입력 수단을 선택한다. 그러면, 상기 사용자 단말은 상기 선택된 메모 입력 수단이 동작하도록 제어한다.

상기 S602의 수행 후, 상기 사용자 단말이 상기 선택된 메모 입력 수단을 통해 멀티미디어 데이터를 입력 받은 후(S604), 상기 멀티미디어 데이터의 메모 등록이 요청되면(S606), 상기 사용자 단말은 상기 멀티미디어 데이터를 포함하는 관련정보요청 신호를 개인화 정보 제공 장치로 전송한다(S608).

그러면, 상기 개인화 정보 제공 장치는 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출하고(S610), 구비된 관련정보 데이터베이스를 검색하여 상기 컨텍스트에 대응하는 관련정보를 획득하여(S612) 상기 사용자 단말로 전송한다(S614).

그러면, 상기 사용자 단말은 상기 관련정보를 상기 멀티미디어 데이터와 함께 상기 메모장에 메모로 등록 및 표시한다(S616).

사용자는 상기 메모장에 표시된 멀티미디어 데이터와 그 관련정보를 확인하고, 그 멀티미디어 데이터를 인텐트로 등록할 수 있다.

사용자가 메모장에서 멀티미디어 데이터를 메모로 등록하는 방법에 대해 도 7 내지 도 9를 참조하여 설명하기로 한다.

도 7을 참조하면, 사용자가 (a)와 같이 메모장에서 메모 입력 수단으로 카메라를 선택하면, 사용자 단말은 카메라 모드로 동작한다. 사용자가 (b)와 같이 “지킬 박사와 하이드” 책을 촬영하여 메모 등록을 요청하면, 상기 사용자 단말은 개인화 정보 제공 장치로부터 “지킬 박사와 하이드”라는 책 제목을 관련정보를 수신하게 된다. 그러면, 상기 메모장에는 (c)와 같이 상기 촬영된 “책 영상”과 “지킬 박사와 하이드”라는 관련정보가 함께 메모로 등록 및 표시된다.

도 8을 참조하면, 사용자가 (a)와 같이 메모장에서 메모 입력 수단으로 마이크를 선택하면, 사용자 단말은 음성 인식 모드로 동작한다. 사용자가 (b)와 같이 “무사 백동수”를 마이크를 통해 입력하여 그 음성의 메모 등록을 요청하면, 상기 사용자 단말은 개인화 정보 제공 장치로부터 “무사 백동수는 야뇌 백동수라는 만화책으로 미리 내용을 볼수 있다”라는 관련정보를 수신하게 된다. 그러면, 상기 메모장에는 (c)와 같이 상기 입력된 “무사 백동수 음성”과 “무사 백동수는 야뇌 백동수라는 만화책으로 미리 내용을 볼수 있다”라는 관련정보가 함께 메모로 등록 및 표시된다.

도 9를 참조하면, 사용자가 (a)와 같이 메모장에서 메모 입력 수단으로 사운드(sound)를 선택하면, 사용자 단말은 음성 인식 모드로 동작한다. 사용자 단말이 외부로부터 입력되는 오디오 데이터의 메모 등록을 요청하면, 상기 사용자 단말은 개인화 정보 제공 장치로부터 “피맛골 연가 OST 아침은 오지 않으리”라는 관련정보를 수신하게 된다. 그러면, 상기 메모장에는 (c)와 같이 상기 입력된 “오디오 파일”과 “피맛골 연가 OST 아침은 오지 않으리”라는 관련정보가 함께 메모로 등록 및 표시된다.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명은 영상, 음성 등의 멀티미디어 데이터뿐만 아니라 멀티미디어 데이터에 대한 관련정보를 메모 내용으로 등록할 수 있는 메모 등록을 위한 시스템, 방법 및 그에 대한 기록매체에 적용될 수 있다.

100: 개인화 정보제공장치 110: 인텐트 관리부
120: 개인화 검색 데이터베이스 관리부 130: 정보 검색부
140: 정보 제공부 150: 메시지 생성부
160: 개인화 알고리즘 생성부 170: 인증부
180: 사용자별 인텐트 DB 190: 사용자별 개인화된 검색 DB
195: 관련정보 DB
200: 사용자 단말 210: 통신부
220: 표시부 230: 저장부
240: 입력부 250: 메모 입력 수단 설정부
260: 메모 등록 처리부 270: 인텐트 관리부
280: 개인화정보 수신 처리부

Claims (18)

1. ◈청구항 1은(는) 설정등록료 납부시 포기되었습니다.◈

   메모장에서 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청된 경우, 개인화 정보 제공장치에 상기 멀티미디어 데이터에 대한 관련정보를 요청 및 수신하여 상기 멀티미디어 데이터와 그 관련정보를 상기 메모장에 메모로 등록 및 표시하는 사용자 단말; 및
   상기 사용자 단말로부터의 멀티미디어 데이터에 대한 관련정보 요청에 따라, 관련정보 데이터베이스를 검색하여 상기 멀티미디어 데이터에 대응되는 관련정보를 획득하고, 상기 획득된 관련정보를 상기 사용자 단말에 제공하는 개인화 정보 제공 장치;
   를 포함하고,
   상기 관련정보 데이터베이스는
   일반 검색 데이터베이스와 다수의 통계 데이터를 기반으로 사용자에 대한 인텐트에 상응하게 개인화된 데이터베이스에 상응하고,
   상기 사용자 단말은
   상기 멀티미디어 데이터를 분석하여 분류된 타입을 기반으로 상기 멀티미디어 데이터에서 컨텍스트를 추출하고, 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 상기 개인화 정보 제공 장치로 전송하여 상기 관련정보를 수신하되, 상기 멀티미디어 데이터의 타입이 음성인 경우에 음성 인식 및 텍스트 변환을 통해 상기 컨텍스트를 추출하고, 상기 멀티미디어 데이터의 타입이 영상인 경우에 영상 인식 및 객체 추출을 통해 상기 컨텍스트를 추출하는 것을 특징으로 하는 메모 등록을 위한 시스템.
2. 개인화 정보 제공 장치와의 통신을 위한 통신부;
   표시부;
   메모장에서 멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 선택받은 경우, 그 메모 입력 수단이 동작하도록 제어하는 메모 입력 수단 설정부;
   상기 선택된 메모 입력 수단을 통해 멀티미디어 데이터를 입력 받는 입력부; 및
   상기 입력된 멀티미디어 데이터의 메모 등록이 요청된 경우, 상기 개인화 정보 제공 장치에 상기 멀티미디어 데이터에 대한 관련정보를 요청 및 수신하고, 상기 관련정보를 상기 멀티미디어 데이터와 함께 상기 메모장에 메모로 등록 및 표시하는 메모 등록 처리부;
   를 포함하고,
   상기 관련 정보는
   일반 검색 데이터베이스와 다수의 통계 데이터를 기반으로 사용자에 대한 인텐트에 상응하게 개인화된 데이터베이스를 기반으로 검색되고,
   상기 메모 등록 처리부는
   상기 멀티미디어 데이터를 분석하여 분류된 타입을 기반으로 멀티미디어 데이터에서 컨텍스트를 추출하고, 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 상기 개인화 정보 제공 장치로 전송하여 상기 관련정보를 수신하되, 상기 멀티미디어 데이터의 타입이 음성인 경우에 음성 인식 및 텍스트 변환을 통해 컨텍스트를 추출하고, 상기 멀티미디어 데이터의 타입이 영상인 경우에 영상 인식 및 객체 추출을 통해 컨텍스트를 추출하는 것을 특징으로 하는 사용자 단말.
3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈

   제2항에 있어서,
   상기 입력부는 문자, 숫자 및 텍스트 정보가 입력되는 키 입력 수단, 사용자의 음성 또는 오디오 신호가 입력되는 음성 인식 수단, 영상을 획득하는 영상 획득 수단 중 적어도 하나를 포함하는 것을 특징으로 하는 사용자 단말.
4. 삭제
5. 삭제
6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈

   제2항에 있어서,
   상기 메모장에 저장된 메모 내용 중 일부를 선택하여 인텐트로 등록하고 상기 등록된 인텐트의 선택을 종료하여 인텐트에서 삭제하는 인텐트 관리부; 및
   상기 등록된 인텐트에 대한 개인화된 정보를 상기 개인화 정보 제공장치로부터 수신하여 상기 표시부를 통해 표시되도록 하는 개인화 정보 수신 처리부를 더 포함하는 것을 특징으로 하는 사용자 단말.
7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈

   제6항에 있어서,
   상기 인텐트 관리부는 Open API(Application Program Interface) 또는 플러그-인(Plug-in) 기술을 사용하여 다른 어플리케이션의 메모장 메모 내용을 호출할 수 있는 것을 특징으로 하는 사용자 단말.
8. 사용자 단말과의 통신을 위한 통신부;
   멀티미디어 데이터에 대한 관련정보가 저장된 관련정보 데이터베이스;
   상기 사용자 단말로부터 멀티미디어 데이터에 대한 관련정보 요청 신호가 수신된 경우, 상기 관련정보 데이터베이스를 검색하여 상기 멀티미디어 데이터에 대한 관련정보를 검색하는 정보 검색부; 및
   상기 검색된 관련정보를 상기 사용자 단말에 제공하는 정보 제공부;
   를 포함하고,
   상기 관련정보 데이터베이스는
   일반 검색 데이터베이스와 다수의 통계 데이터를 기반으로 사용자에 대한 인텐트에 상응하게 개인화된 데이터베이스에 상응하고,
   상기 정보 검색부는
   상기 관련정보 요청 신호에 멀티미디어 데이터가 포함된 경우에 상기 멀티미디어 데이터를 분석하여 분류된 타입을 기반으로 상기 관련정보를 검색하기 위한 컨텍스트를 추출하되, 상기 멀티미디어 데이터의 타입이 음성인 경우에 음성 인식 및 텍스트 변환을 통해 상기 컨텍스트를 추출하고, 상기 멀티미디어 데이터의 타입이 영상인 경우에 영상 인식 및 객체 추출을 통해 상기 컨텍스트를 추출하는 것을 특징으로 하는 개인화 정보 제공 장치.
9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈

   제8항에 있어서,
   상기 정보 검색부는 상기 관련정보 요청 신호가 컨텍스트를 포함하는 경우, 상기 관련정보 데이터베이스를 검색하여 상기 컨텍스트에 대응하는 관련정보를 획득하는 것을 특징으로 하는 개인화 정보 제공 장치.
10. 삭제
11. ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈

    사용자 단말이 메모장에서 멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 선택받는 단계;
    상기 사용자 단말이 상기 선택된 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청되면, 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출하고, 상기 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 개인화 정보 제공 장치로 전송하는 단계;
    상기 개인화 정보 제공 장치가 구비된 관련정보 데이터베이스를 검색하여 상기 컨텍스트에 대응하는 관련정보를 획득하여 상기 사용자 단말로 전송하는 단계; 및
    상기 사용자 단말이 상기 관련정보를 상기 멀티미디어 데이터와 함께 상기 메모장에 메모로 등록 및 표시하는 단계;
    를 포함하고,
    상기 관련정보 데이터베이스는
    일반 검색 데이터베이스와 다수의 통계 데이터를 기반으로 사용자에 대한 인텐트에 상응하게 개인화된 데이터베이스에 상응하고,
    상기 컨텍스트는
    상기 멀티미디어 데이터의 타입을 기반으로 추출되되, 상기 멀티미디어 데이터의 타입이 음성인 경우에 음성 인식 및 텍스트 변환을 통해 추출되고, 상기 멀티미디어 데이터의 타입이 영상인 경우에 영상 인식 및 객체 추출을 통해 추출되는 것을 특징으로 하는 메모 등록을 위한 방법.
12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈

    사용자 단말이 메모장에서 멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 선택받는 단계;
    상기 사용자 단말이 상기 선택된 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청되면, 상기 멀티미디어 데이터를 포함하는 관련정보 요청 신호를 개인화 정보 제공 장치로 전송하는 단계;
    상기 개인화 정보 제공 장치가 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출하는 단계;
    상기 개인화 정보 제공 장치가 구비된 관련정보 데이터베이스를 검색하여 상기 컨텍스트에 대응하는 관련정보를 획득하여 상기 사용자 단말로 전송하는 단계; 및
    상기 사용자 단말이 상기 관련정보를 상기 멀티미디어 데이터와 함께 상기 메모장에 메모로 등록 및 표시하는 단계;
    를 포함하고,
    상기 관련정보 데이터베이스는
    일반 검색 데이터베이스와 다수의 통계 데이터를 기반으로 사용자에 대한 인텐트에 상응하게 개인화된 데이터베이스에 상응하고,
    상기 관련정보 요청 신호를 개인화 정보 제공 장치로 전송하는 단계는
    상기 사용자 단말이, 상기 멀티미디어 데이터를 분석하여 분류된 타입을 기반으로 컨텍스트를 추출하고, 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 상기 개인화 정보 제공 장치로 전송하여 상기 관련정보를 수신하되, 상기 멀티미디어 데이터의 타입이 음성인 경우에 음성 인식 및 텍스트 변환을 통해 상기 컨텍스트를 추출하고, 상기 멀티미디어 데이터의 타입이 영상인 경우에 영상 인식 및 객체 추출을 통해 상기 컨텍스트를 추출하는 것을 특징으로 하는 메모 등록을 위한 방법.
13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈

    사용자 단말이 멀티미디어 데이터를 메모로 등록하기 위한 방법에 있어서,
    (a) 멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 선택 받는 단계;
    (b)상기 선택된 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청된 경우, 개인화 정보 제공장치에 상기 멀티미디어 데이터에 대한 관련정보를 요청하여 수신하는 단계; 및
    (c)상기 수신된 관련정보를 상기 멀티미디어 데이터와 함께 메모장에 메모로 등록 및 표시하는 단계;
    를 포함하고,
    상기 관련정보는
    일반 검색 데이터베이스와 다수의 통계 데이터를 기반으로 사용자에 대한 인텐트에 상응하게 개인화된 데이터베이스를 기반으로 검색되고,
    상기 관련정보를 요청하여 수신하는 단계는
    상기 멀티미디어 데이터를 분석하여 분류된 타입을 기반으로 상기 관련정보를 검색하기 위한 컨텍스트를 추출하고, 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 상기 개인화 정보 제공 장치로 전송하여 상기 관련정보를 수신하되, 상기 멀티미디어 데이터의 타입이 음성인 경우에 음성 인식 및 텍스트 변환을 통해 상기 컨텍스트를 추출하고, 상기 멀티미디어 데이터의 타입이 영상인 경우에 영상 인식 및 객체 추출을 통해 상기 컨텍스트를 추출하는 것을 특징으로 하는 메모 등록을 위한 방법.
14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈

    제13항에 있어서,
    상기 (b)단계는,
    상기 멀티미디어 데이터의 메모 등록이 요청된 경우, 상기 멀티미디어 데이터를 분석하여 타입을 분류하는 단계;
    상기 분류된 멀티미디어 데이터가 음성인 경우 음성 인식 및 텍스트 변환을 통해 컨텍스트를 추출하고, 상기 멀티미디어 데이터가 영상인 경우 영상 인식 및 객체 추출을 통해 컨텍스트를 추출하는 단계; 및
    상기 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 상기 개인화 정보 제공 장치에 전송하여 관련정보를 수신하는 단계를 포함하는 것을 특징으로 하는 메모 등록을 위한 방법.
15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈

    제13항에 있어서,
    상기 (c) 단계 이후,
    메모 내용 중 일부를 선택하여 인텐트로 등록하는 단계; 및
    상기 개인화 정보 제공 장치로부터 상기 등록된 인텐트와 관련된 개인화 정보에 대한 메시지를 수신하는 단계를 더 포함하는 것을 특징으로 메모 등록을 위한 방법.
16. ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈

    멀티미디어 데이터의 메모 등록을 위한 메모 입력 수단을 선택 받는 단계;
    상기 선택된 메모 입력 수단을 통해 입력된 멀티미디어 데이터의 메모 등록이 요청된 경우, 개인화 정보 제공장치에 상기 멀티미디어 데이터에 대한 관련정보를 요청하여 수신하는 단계; 및
    상기 수신된 관련정보를 상기 멀티미디어 데이터와 함께 메모장에 메모로 등록 및 표시하는 단계를 포함하고,
    상기 관련정보는
    일반 검색 데이터베이스와 다수의 통계 데이터를 기반으로 사용자에 대한 인텐트에 상응하게 개인화된 데이터베이스를 기반으로 검색되고,
    상기 관련정보를 요청하여 수신하는 단계는
    상기 멀티미디어 데이터를 분석하여 분류된 타입을 기반으로 상기 관련정보를 검색하기 위한 컨텍스트를 추출하고, 추출된 컨텍스트를 포함하는 관련정보 요청 신호를 상기 개인화 정보 제공 장치로 전송하여 상기 관련정보를 수신하되, 상기 멀티미디어 데이터의 타입이 음성인 경우에 음성 인식 및 텍스트 변환을 통해 상기 컨텍스트를 추출하고, 상기 멀티미디어 데이터의 타입이 영상인 경우에 영상 인식 및 객체 추출을 통해 상기 컨텍스트를 추출하는 것을 특징으로 하는 메모 등록을 위한 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체
17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈

    개인화 정보 제공 장치가 사용자 단말이 멀티미디어 데이터를 메모로 등록하도록 하기 위한 방법에 있어서,
    상기 사용자 단말로부터의 관련정보 요청 신호가 수신된 경우, 상기 관련정보 요청 신호에 컨텍스트 또는 멀티미디어 데이터가 포함되어 있는지의 여부를 판단하는 단계;
    상기 판단결과 컨텍스트가 포함된 경우 상기 컨텍스트에 대응하는 관련정보를 검색하고, 멀티미디어 데이터가 포함된 경우 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출하고, 상기 추출된 컨텍스트에 대응하는 관련정보를 검색하는 단계; 및
    상기 검색된 관련정보를 상기 사용자 단말로 전송하는 단계;
    를 포함하고,
    상기 관련정보는
    일반 검색 데이터베이스와 다수의 통계 데이터를 기반으로 사용자에 대한 인텐트에 상응하게 개인화된 데이터베이스를 기반으로 검색되고,
    상기 컨텍스트는
    상기 멀티미디어 데이터의 타입을 기반으로 추출되되, 상기 멀티미디어 데이터의 타입이 음성인 경우에 음성 인식 및 텍스트 변환을 통해 추출되고, 상기 멀티미디어 데이터의 타입이 영상인 경우에 영상 인식 및 객체 추출을 통해 추출되는 것을 특징으로 하는 메모 등록을 위한 방법.
18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈

    사용자 단말로부터의 관련정보 요청 신호가 수신된 경우, 상기 관련정보 요청 신호에 컨텍스트 또는 멀티미디어 데이터가 포함되어 있는지의 여부를 판단하는 단계;
    상기 판단결과 컨텍스트가 포함된 경우 상기 컨텍스트에 대응하는 관련정보를 검색하고, 멀티미디어 데이터가 포함된 경우 상기 멀티미디어 데이터를 분석하여 컨텍스트를 추출하고, 상기 추출된 컨텍스트에 대응하는 관련정보를 검색하는 단계; 및
    상기 검색된 관련정보를 상기 사용자 단말로 전송하는 단계를 포함하고,
    상기 관련정보는
    일반 검색 데이터베이스와 다수의 통계 데이터를 기반으로 사용자에 대한 인텐트에 상응하게 개인화된 데이터베이스를 기반으로 검색되고,
    상기 컨텍스트는
    상기 멀티미디어 데이터의 타입을 기반으로 추출되되, 상기 멀티미디어 데이터의 타입이 음성인 경우에 음성 인식 및 텍스트 변환을 통해 추출되고, 상기 멀티미디어 데이터의 타입이 영상인 경우에 영상 인식 및 객체 추출을 통해 추출되는 것을 특징으로 하는 메모 등록을 위한 방법이 프로그램으로 기록되고 전자 장치에서 판독 가능한 기록매체

Images