KR20050085788A - 사용자가 제공한 정보를 메타 정보와 함께 체계화시키는방법 및 장치 - Google Patents

Abstract

본 발명은 모바일 단말기 장치에서 사용할 수 있는 사용자 제공 정보를 사용자 제공 정보의 검색을 가능하게 하는 메타 정보와 함께 체계화하는 방법 및, 그 방법을 수행할 수 있는 장치를 제공한다. 사용자 제공 정보는 모바일 단말기 장치에 대한 임의의 사용자 액션의 결과로서 얻어지고, 사용자 제공 정보와 결부되는 컨텍스트 정보가 얻어진다. 메타 정보는 컨텍스트 정보로부터 얻어지고 사용자제공 정보에 할당된다. 사용자 제공정보와 메타 정보는 정보 히스토리 기능을 구축하기 위해 히스토리 저장부에 저장된다. 검색 요청과 함께 주어진 요청 정보를 메타 정보와 매치시킴으로써 매치하는 메타 정보에 할당된 사용자 제공 정보를 선택하도록, 메타 정보가 상기 사용자 제공 정보 검색에 사용된다.

또, 사용자 제공 정보를 체계화하는 본 발명의 방법은 메타 정보를 얻기 위해 캘린더 정보를 이용한다. 캘린더 정보는 모바일 단말기 장치에 구축된 전자 캘린더로부터 얻어진다. 캘린더 정보는 메타 정보를 얻기 위해 사용자 제공 정보와 매치된다. 또, 사용자 제공 정보를 체계화하는 방법은 사용자 제공 오디오 정보를 체계화하는데에 적용된다. 사용자 제공 오디오 정보는 획득, 리코딩 및 저장된다. 리코딩 중에, 부가적 사용자 제공 정보 및, 기록 동작과 관련된 컨텍스트 정보가 얻어진다. 메타 정보는 부가적 사용자 제공 정보 및 컨텍스트 정보에 대한 정보를 포함한다. 또, 사용자 제공 정보 체계화 방법은 메타 정보를 사용자 제공 오디오 정보에 내장시킴으로써 사용자 제공 오디오 정보를 체계화하는데 적용된다. 이 내장은 복수의 코딩 심볼들을 나타내는 코드 베이스들의 집합을 토대로 이뤄지고, 코드 베이스들의 집합은 메타 정보를 복수의 코딩 심볼들로 매핑할 수 있게 하는데에도 사용된다. 사용자 제공 정보 및 매핑된 메타 정보는 매핑된 메타 정보를 사용자 제공 오디오 정보에 내장함으로써 결합된다.

Description

사용자가 제공한 정보를 메타 정보와 함께 체계화시키는 방법 및 장치 {Method and device for organizing user provided information with meta-information}

본 발명은 사용자가 제공한 정보를 메타 정보와 함께 체계화하는 방법 및 장치에 관한 것이다. 특히, 사용자가 제공한 정보는 사용자가 제공한 오디오 정보를 말한다. 메타 정보는 사용자가 제공한 정보와 결부하여 활용될 수 있는 컨텍스트 정보로부터 수신되어 그것과 논리적으로 연결된다. 본 발명은 어느 정도 연관되어 있는 다양한 타입과 종류들로 된 방대한 양의 데이터 처리를 점점 더 많이 감당하고 있는 모바일 단말기 장치 및 모바일 네트웍 장치 분야에서 특히 유용하다.

산업 국가들의 대중들 사이에서의 모바일 전자 장치들의 확산이 점점 더 급속히 증가하고 있으며, 이와 병행하여, 고전적 문서 기반 유틸리티와 비교해 이들 모바일 전자 장치들이 제공하는 이점들로 인해 그 모바일 전자 장치의 용도들에 대한 수용 역시 극적으로 증가하고 있다. 그 결과 전자 정보를 수집하고, 입수하고, 기록하고, 저장하고, 제공하며, 또 처리하는 모바일 전자 장치들의 능력은, 모바일 전자 장치들이 전자 캘린더, 전자적 퍼스널 어드레스 북, 및 전자적 전화 디렉토리, 및 어떤 종류 및/또는 포맷임을 막론한 디지탈화된(전자적) 정보를 포함하는 용도의 미래적 형태들처럼 "전통적인" 형태의 용도들 포함하는 범용 정보 처리 시스템으로서 이용되기 위해 더욱 더 많은 기능을 얻을 정도로 증대된 처리 및 저장 능력으로 발달하고 있다.

오늘날, 전자 정보 및 디지털화된 상용 멀티미디어 데이터의 입수는 주로 정보 제공 및 서비스 시스템들로부터 각각 전자 정보를 검색함에 기반하고 있다. 미래에는, 모바일 전자 장치들의 증대된 능력이, 사진/이미지, 영화, 디지털 오디오 정보와 같은 전자 정보를 입수하고 이들 데이터를 전자적 (디지털) 형식으로 저장할 수 있게 하는 모바일 전자 장치들의 구성 요소들을 통해, 가령 유서들을 디지털화하고 그 디지털 버전을 저장할 가능성 등에 따라, "자기 스스로의" 전자 정보 및 디지털 멀티미디어 데이터를 각각 생성할 능력들을 가질 수 있을 것이다.

오늘날의 전자 정보 시스템들로부터 알 수 있다시피, 정보 액세스 및 검색을 위한 증대된 가능성은, 이메일, 전자 저널, 팩스, 메모, 메시지 남기기 서비스, 웹 기반 정보 서비스 등과 같이 엄청난 양의 동시적 정보를 전달하는 용도를 포함하는 통상의 오피스 환경에서 경험할 수 있는 정보 과부하라는 문제를 수반한다. 전자 기반 정보를 부가적으로 입수하는 상술한 증대되는 능력이 정보 과부하라는 이 문제를 더 심화시킬 것이다.

전자 정보를 액세스하고, 관리하고, 검색하는 등의 사항은, 사용자 및 사용자의 생활에서의 이벤트들과 관련된 퍼스널 멀티미디어 정보가 현저한 특색이 되어 가고 있을 정도로, 고전적 데스크 탑 시스템들 (가령, 퍼스널 컴퓨터들)로부터 전자 모바일 전자 수첩, 퍼스널 디지털 보조기기(PDA), 모바일 통신 수행 단말기들 등과 같은 모바일 전자 장치들로 상당한 정도로 이동하고 있다. 퍼스널 멀티미디어 정보는 오디오 리코딩, 말소리 기록, 사진 촬영, 비디오 촬영, 임의의 정보 제공 서비스(문서/정보 서버)로부터의 전자 정보 검색, 임의의 전송 서비스, 전송 베어러 등을 통한 전자 정보 수신에 의해 획득되는 정보를 포함한다고 이해할 수 있다.

결국, 거대 량의 데이터를 수집할 가능성 및 기회는, 수집된 정보가 효율적이고, 의미 있고, 신뢰할 수 있으며 사용자 친화적인 방식으로서 특히 가격 효율을 보장하는 방식으로 사용자 수요를 만족시키며 활용될 때에만 유효한 것이 된다. 소정 정보의 검색은 주로, 관련 정보를 식별하는데 사용되는 인덱싱 및/또는 라벨링(labeling)이 주어진 저장 정보의 신뢰성 있고도 효율적인 체계화에 기초하고 또 좌우된다. 효율적이고, 의미 있으며, 신뢰성 있고, 사용자 친화적이 검색만이 정보 과부하를 극복하는 유일한 길일 수 있는데, 이는 그렇지 않을 때 방대한 량의 상용 정보가 헛된 정보의 혼란스런 모음으로 귀결될 것이기 때문이다.

도 1a는 본 발명의 일실시예에 따른 퍼스널 일지의 구조적 구성 및 상호 동작을 도시한 블록도이다.

도 1b는 본 발명의 일실시예에 따른 퍼스널 일지를 만들 수 있게 하는 구성요소들을 나타낸 블록도이다.

도 1c는 본 발명의 일실시예에 따른 퍼스널 일지와 협력하는 부가적 저장 장치를 포함하는 적절한 장치 환경을 나타낸 블록도이다.

도 2a는 본 발명의 실시예에 따라 도 1b에 나타낸 것과 같은 한 일지 요소에 로그된 정보를 동작 특히 설정하는 동작 시퀀스를 각각 묘사한 흐름도이다.

도 2b는 본 발명의 실시예에 따라 도1b에 나타낸 것과 같은 한 일지 요소로부터 정보를 동작 특히 검색하는 동작 시퀀스를 각각 묘사한 흐름도이다.

도 3a는 정보 입력을 위한 의미론적 필드 구조를 제공하는 개략적 캘린더 엔트리들을 도시한 것이다.

도 3b는 본 발명의 일실시예에 따라, 어떤 사건들에 대해 멤버십 등급을 결부시키는데 사용되는 멤버십 함수의 예를 나타낸 그래프이다.

도 3c는 본 발명의 일실시예에 따라, 하나 이상의 라벨/인덱스 정보를 생성하는 동작 시퀀스를 묘사한 흐름도이다.

도 3d는 본 발명의 일실시예에 따라, 도 3a에 묘사된 캘린더 엔트리들 및 서로 다른 개별 멀티미디어 데이터의 여러 시간 스탬프들에 해당하는 멤버십 함수 곡선의 예를 도시한 그래프이다.

도 3e는 도 3a에 도시된 캘린더 엔트리들에 따른 라벨/인덱스 정보를 포함하고 본 발명의 일실시예에 따라 얻어지는 개별 멀티미디어 데이터의 선택에 대한 컨텍스트 정보를 도시한 것이다.

도 4a는 본 발명의 일실시예에 따라 오디오 정보를 기록하고 오디오 정보의 임의의 타입으로 된 부가 정보와 결부시키는 동작 시퀀스를 도시한 흐름도이다.

도 4b는 본 발명의 일실시예에 따른 용도 시퀀스의 예를 도시한 시간에 따른 동작 시퀀스를 보인다.

도 4c는 본 발명의 일실시예에 따른, 도 4b에 나타낸 용도 시퀀스의 예에 대한 보기에서의 가능한 기재를 보인 것이다.

도 4d는 본 발명의 일실시예에 따른 프로토콜의 묘사/설명을 그래픽으로 나타낸 블록도이다.

도 4e는 본 발명의 일실시예에 따른 프로토콜/설명 정보의 텍스트 기반 묘사를 나타낸 테이블이다.

도 5a는 7개의 완전 옥타브들을 포함하는 오디오 리코딩/재생 시스템의 주파수 영역의 예를 도시한 그래프이다.

도 5b는 본 발명의 일실시예에 따른, 서로 다른 코딩 방법들을 나타낸 그래프 집합을 도시한다.

도 5c는 본 발명의 일실시예에 따라, 정보의 오디오 신호로의 삽입을 묘사한 블록도이다.

도 5d는 본 발명의 일실시예에 따라, 오디오 신호에 내장되는 정보의 복구를 나타낸 블록도이다.

본 발명의 목적은 사용자가 제공한 정보와 메타 정보를 관리하는 방법을 제공한다. 메타 정보는 사용자가 제공한 정보의 맥락에서 주어져 이용될 수 있는 정보로부터 추출된다. 메타 정보는 사용자가 제공한 정보의 검색에 이용된다. 관리동작은 관련 메타 정보를 이용하는 검색 시스템을 설정하기 위해 사용자가 제공한 정보를 체계화시킬 수 있다.

본 발명의 또 다른 목적은 사용자가 제공한 오디오 정보를 메타 정보와 함께 관리하는 방법을 제공하는 것으로, 이 방법에서 사용자가 제공한 오디오 정보는 사용자 제공 정보의 부분집합을 나타낸다. 메타 정보는 사용자 제공 오디오 정보로 동시적으로 제공된다.

본 발명의 목적들은 이 명세서의 독립 청구항들에 개시된, 사용자 제공 정보를 체계화하는 방법, 이 방법을 수행하도록 구성된 상응하는 장치, 컴퓨터 프로그램들 및 소프트웨어 툴을 가지고 달성된다.

본 발명의 제1양태에 따르면, 사용자 제공 정보를 메타 정보와 함께 체계화하는 방법이 제공된다. 메타 정보와 공동으로 체계화된 사용자 제공 정보는, 저장된 사용자 제공 정보를 의도적으로 검색할 수 있게 하는 정보 히스토리 기능의 설정을 가능하게 한다. 사용자 제공 정보는 모바일 단말기 장치에서 사용될 수 있고 프로세싱되기 위해 획득된다. 사용자 제공 정보는 생성, 수신되었거나 모바일 단말기 장치에 대고 수행되는 임의의 사용자 조작에 따라 발생하는 데이터라고 이해되어야 한다. 사용자 제공 정보는 사용자 입력 수단을 이용해 생성되거나, 모바일 단말기 장치에 의해 제공되는 임의의 데이터 통신 인터페이스를 통해 수신 또는 획득될 수 있다. 사용자 입력 수단이 키들의 배열, 키보드, 키패드 또는 어떤 다른 수동적 조작 가능 입력 요소 (조이스틱, 펜 등), 그뿐만 아니라 오디오 센서(마이크), 사진 및/또는 이미지 시퀀스들(비디오)을 찍을 수 있는 디지털카메라, 및 추가 센서 입력 일 수 있음도 역시 이해해야 할 것이다. 데이터 통신 인터페이스는 상대 장치와, 특히 트랜잭션 정보와 통신 정보가 포함된 임의의 타입의 전자 데이터를 수신, 전송, 또는 통신할 수 있는 인터페이스이다. 부가적으로, 컨텍스트 정보가 병행하여 얻어진다. 컨텍스트 정보는 사용자 제공 정보와 결부되어 있다. 컨텍스트 정보는 가령, 장치 어플리케이션 및/또는 현재 동작중이고 사용자 제공 정보가 최초에 연관되어 있는 장치 기능에 대한 정보, 위치 정보, 시간 정보 및 사용자 제공 정보와 나란히 활용되고 사용자 제공 정보와 (시기적으로 및/또는 논리적으로) 관련되는 임의의 추가 정보를 포함한다는 것을 알아야 한다.

사용자 제공 정보와 그 관련 컨텍스트 정보는 논리적이고/이거나 시간적인 관계에 따라 결합된다. 사용자 제공 정보와 그 관련 컨텍스트 정보의 결합은, 컨텍스트 정보로부터 메타 정보로서 사용할 개별 정보를 얻음으로써 수행된다. 사용자 제공 정보 및 사용되는 메타 정보는 히스토리 저장부에 저장된다.

메타 정보는 사용자 제공 정보에 대한 이전의 검색을 목적적 방식으로 할 수 있게 돕는다. 검색의 경우, 검색 요청은 요청 정보를 포함한다. 요청 정보가 메타 정보와 비교되고, 관련 사용자 제공 정보를 매치시키는 경우 그에 따라 히스토리 저장부로부터 검색된다. 컨텍스트 정보는 사용자 제공 정보의 메타 정보로서 사용될 수 있는 개별 정보들의 정보 풀(pool)을 나타낸다. 특히, 이런 유형의 메타 정보 제공은, 가령 비디오 시퀀스, 오디오 시퀀스, 이미지들 등과 같은 멀티미디어 정보 등의 사용자 제공 정보 자체가, 적합한 검색 정보가 정의되기 어렵다는 사실로 인해 검색을 회피하는 그러한 유형의 정보를 포함하는 경우에, 활용될 수 있다.

본 발명의 일실시예에 따르면, 메타 정보는 관련 컨텍스트 정보로부터 추출되고, 추출된 메타 정보는 사용자 제공 정보로 할당되어 히스토리 저장부 안에 저장된다. 메타 정보는 컨텍스트 정보에 포함되는 개별 정보 부분들을 구비하며, 상기 개별 정보 부분들은 사용자 제공 정보에 따라 달라지고 컨텍스트 정보의 조성에 따라 달리지는 미리 정의되고/되거나 사용자가 정의한 규칙(들)에 의해 추출된다.

본 발명의 일실시예에 따르면, 사용자 제공 정보는 모바일 단말기 장치의 입력 수단으로부터 입력 정보로서 수신된다. 또, 사용자 제공 정보는 모바일 단말기 장치의 임의의 데이터 통신 인터페이스로부터 통신 정보 및/또는 트랜잭션 정보로서 수신된다.

본 발명의 일실시예에 따르면, 라벨 정보 및/또는 인덱스 정보는 컨텍스트 정보로부터 추출된다. 라벨 정보 및/또는 인덱스 정보는 사용자 제공 정보에 할당되고, 이들과 결합된 상태로 저장되는데, 이는 저장된 사용자 제공 정보의 콘텐츠를 특정하는데 사용되는 그 할당된 라벨 정보 및/또는 인덱스 정보를 통해 그 저장된 사용자 제공 정보의 검색을 가능하게 하기 위한 것이다.

이와 비슷하게, 라벨 정보 및/또는 인덱스 정보는, 사용자 히스토리 기능에 의해 제공되는 사용자 제공 정보의 목적적 검색, 필터링 및/또는 소팅이 가능하도록, 요청 정보와 비교되는데 활용된다.

본 발명의 일실시예에 따르면, 레퍼런스 정보 또는 어드레스 정보가 각각 생성된다. 레퍼런스 정보는 사용자 제공 정보의 적어도 일부에 대해 생성된다. 레퍼런스 정보는 바람직하게는 검색을 허용하는 메타 정보와 함께 제1저장 영역에 저장되고, 반면에 레퍼런스 정보에 의해 참조되는 사용자 제공 정보의 일부는 제2저장 영역에 저장된다. 레퍼런스 정보는 사용자 제공 정보의 그 일부의 저장 위치를 명시하여 제2저장 영역으로부터 그 부분의 검색이 가능하게 한다.

본 발명의 제2양태에 따르면, 사용자 제공 정보와 메타 정보를 체계화하는 방법이 제공된다. 메타 정보는 모바일 단말기 장치에서 사용되는 사용자 제공 정보 검색을 가능하게 한다. 사용자 제공 정보와 함께 얻어진 컨텍스트 정보는 모바일 단말기 장치 안에 구현된 전자 캘린더 기능 (즉, 전자 캘린더 어플리케이션)에 의해 제공되는 캘린더 정보를 포함한다. 캘린더 정보 및 사용자 제공 정보는, 캘린더 정보로부터 메타 정보를 얻기 위해 매치되며, 매치한 캘린더 정보가 사용자 제공 정보에 할당되어 히스토리 저장부에 저장된다.

본 발명의 일실시예에 따르면, 시간의 순간, 시간의 주기 등 사용자 제공 정보와 관련된 제1시간 정보가 사용자 제공 정보에 따라 얻어진다. 예를 들어, 시간의 순간이란 사용자 제공 정보가 입력/수신되었던 시간 등을 말한다.

또, 캘린더 정보는 각각이 비슷하게 어떤 시간의 순간이나 시간의 주기와 관련되는 제2시간 정보와 연관된 복수의 캘린더 엔트리들을 포함한다. 제1정보와 각각의 제2정보가 비교되고 제1시간 정보와 제2시간 정보 중 하나가 매치하는 경우, 적어도 매치된 캘린더 엔트리에 구비된 정보의 일부가 메타 정보로서 이용되기 위해 추출된다.

특히, 사용자 제공 정보는 모바일 단말 장치를 가지고 조작할 수 있는 임의의 멀티미디어 정보라는 것을 알아야 한다. 즉, 예를 들어 모바일 단말기 장치에 플러깅되어 구현된 디지털 카메라로 찍은 비디오 시퀀스나, 역시 모바일 단말기 장치에 플러깅되어 구현된 디지털 녹음 장치에 이해 기록된 오디오 시퀀스 등의 정보를 말한다.

본 발명의 일실시예에 따르면, 멤버쉽 기능(cf. 퍼지 셋 이론)이 제2시간 정보에 할당되고 이 멤버쉽 기능으로부터 제1시간 정보에 따라 멤버쉽 등급이 얻어진다. 멤버쉽 등급은 검색의 안전성을 평가할 수 있게 하는 방식을 규정하는데 이용된다.

본 발명의 일실시예에 따르면, 제1시간 정보는 제1시간 주기를 정의한다. 사용자 제공 정보는 복수의 정보 파트들로 구획된다. 각 정보 파트는 미리 규정된 최대의 시간 주기다. 각각의 정보는 본 발명의 실시예에 따른 상술한 방법들 중 하나에 의해 따로따로 처리된다.

본 발명의 일실시예에 따르면, 제1시간 정보는 제1시간 주기를 규정하고 제2시간 정보는 제2시간 주기를 규정한다. 제1시간 주기가 제2시간 주기의 길이를 초과하면, 즉 제1시간 주기가 제2시간 주기를 오버랩하는 경우, 사용자 제공 정보는 적어도 두 개의 정보 섹션들로 분할되어, 사용자 제공 정보 섹션들 중 한 정보 섹션이 제1시간 주기의 서브-주기가 되는 시간 주기와 관련되고 제2시간 주기 안에 들어맞게 한다. 제2시간 주기 안에 들어맞는 그 한 정보 섹션은 본 발명의 일실시예에 따른 상술한 방법들 가운데 어느 하나에 의해 처리된다.

본 발명의 일실시예에 따르면, 제2시간 주기는 제2주기를 이전의 시간들 및 다음 시간들로 확장하는 소정의 미리 정의된 오버헤드 주기들을 포함한다.

본 발명의 일실시예에 따르면, 캘린더 정보 및, 캘린더 정보 안에 구비되는 각각의 캘린더 엔트리는 각각 의미론적(sementically) 구조로 되어 있다. 즉, 각각의 캘린더 엔트리에 구비된 정보는, 각각이 "누가", "어디서", "언제", "무엇을" 등과 같은 소정의 정보 컨텍스트와 관련된 여러 필드들로 구성되어, 그 캘린더 엔트리들로부터 신뢰성 있는 메타 정보를 얻도록 한다.

본 발명의 제3양태에 따르면, 사용자 제공 오디오 정보와 함께 메타 정보를 체계화하는 방법이 제공된다. 사용자 제공 오디오 정보는 사용자 제공 오디오 정보의 기록 중에 얻어진 부가적 사용자 제공 정보와 관련된 것으로, 제공된 오디오 정보의 기록과 관련된 컨텍스트 정보로 작성된다. 사용자 제공 오디오 정보는 사용자의 구술에 의해 모바일 단말기 장치로 입력된다. 사용자 제공 오디오 정보는 모바일 단말기 장치에 수신되고, 기록되며, 또한 저장된다. 사용자 제공 오디오 정보의 수신, 기록, 및 저장 도중에, 컨텍스트 정보가 수신된다. 컨텍스트 정보는 기록 프로세스를 통제하기 위해 사용자에 의해 조작 가능한 최소한의 사용자 입력 정보를 포함한다. 컨텍스트 정보가 로그되면, 메타 정보는 그 기록된 컨텍스트 정보에 기반하여 생성된다.

기록된 컨텍스트 정보는, 저장된 사용자 제공 오디오 정보를 선택하기 위해, 검색 요청과 함께 주어진 요청 정보를 그 기록된 컨텍스트 정보와 매치함으로써, 저장된 사용자 제공 오디오 정보의 검색에 이용되게 된다. 기록된 컨텍스트 정보는 사용자 제공 오디오 정보와 관련된 부가적 사용자 제공 정보 관련 부가 정보를 제공한다.

본 발명의 일실시에에 따르면, 사용자 제공 오디오 정보의 기록 중에 수신된 사용자 입력 정보는 오디오 리코딩 동작과 관련된 제어 신호들을 포함한다. 시작 신호를 수신하자 마자, 사용자 제공 오디오 정보의 기록 및 저장이 개시된다. 키워드 신호를 수신했을 때, 사용자 제공 오디오 신호의 수신, 기록 및 저장이 시작된다. 사용자 제공 오디오 키워드 정보에 의해 구비된 하나 이상의 키워드들은 기록 및 저장되는 사용자 제공 오디오 정보와 관련되며 저장된 사용자 제공 오디오 정보를 검색할 수 있게 한다. 첨부 신호 부가 정보를 수신했을 때, 특히, 모바일 단말기 장치에 의해 수신 또는 제공되는 멀티미디어 정보가 사용자 제공 오디오 정보와 관련된다. 잠깐 멈춤(pause) 신호를 수신했을 때, 사용자 제공 오디오 정보의 기록 및 저장이 일단 정지된다. 계속 신호를 수신했을 때, 앞에서 일시 정지된 사용자 제공 오디오 정보의 기록 및 저장이 재개된다. 멈춤(stop) 신호가 수신되면, 사용자 제공 오디오 정보의 기록 및 저장이 정지되고 기록 컨텍스트 정보가 생성된다.

본 발명의 실시예에 따르면, 컨텍스트 정보의 기록은 최소한, 사용자 제공 키워드 오디오 정보에 관한 정보, 사용자 제공 오디오 정보에 대한 시간 정보, 사용자 제공 키워드 오디오 정보, 기록 중에 수신되는 사용자 입력 정보, 및 기록되고 있는 사용자 제공 오디오 정보와 연관된 부가적 정보를 포함하는, 기록된 사용자 제공 오디오 정보에 대한 정보를 포함한다.

본 발명의 실시에에 따르면, 기록 컨텍스트 정보의 생성은, 확장형 마크업 언어(XML)과 같은 마크업 언어에 기반하고 있는 문서로서의 메타 정보가 되는 기록 컨텍스트 정보의 인코딩을 포함한다.

본 발명의 실시예에 따르면, 기록 컨텍스트 정보와 관련된 메타 정보가 디스플레이된다. 이 디스플레이는 그래픽 요소들을 기록 컨텍스트 정보에 포함되는 정보로 할당함으로써 수행된다. 하나의 전용 그래픽 요소가 기록 컨텍스트 정보에 포함된 각 종류의 정보 엔트리에 할당된다. 이 전용 그래픽 요소들은 기록 컨텍스트 정보의 콘텐츠와 그들 간의 상관에 대한 그래픽 묘사를 나타내어 사용자가 기록 컨텍스트 정보에 대해 명확한 개괄을 할 수 있도록 디스플레이된다.

본 발명의 제4양태에 따르면, 메타 정보를 사용자 제공 오디오 정보 안에 내장함으로써 사용자 제공 오디오 정보를 체계화하는 방법이 제공된다. 사용자 제공 오디오 정보는 모바일 단말기 장치로 공급된다. 코드 성분들의 집합이 정의된다. 코드 성분들의 집합은 복수의 코딩 심볼들을 나타낸다. 코드 성분들의 집합의 각 코드 성분는 적어도 하나의 소정 주파수를 규정한다. 메타 정보는 제공된 상기 코딩 심볼들로 매핑되고 이 매핑된 메타 정보가 직접적으로 사용자 제공 오디오 정보 안에 포함됨으로써 메타 정보가 내장된 결합형 사용자 제공 오디오 정보가 만들어진다.

본 발명의 실시예에 따르면, 상기 매핑된 메타 정보로부터 변조 신호가 얻어지고, 변조된 신호는 사용자 제공 오디오 정보와 변조 신호를 주파수 도메인 상에서 결함함으로써 얻어진다. 또, 상기 변조된 신호는 사용자 제공 오디오 정보와 신호들의 시간 도메인 안에서 결합되어, 코드 성분들의 집합에 의해 제공되는 코딩 심볼들로 코딩된 메타 정보를 내장한 사용자 제공 오디오 정보가 만들어진다.

본 발명의 실시예에 따르면, 코드 성분들의 집합이 총 주파수 영역 중 일부분이 되는 소정 주파수 서브 영역에서 정의된다. 코드 성분들 각각에서 미리 정의되는 상기 최소한 하나의 주파수가 총 적용 가능 주파수 영역 내 부가적 주파수 서브 영역들로 매핑된다. 예를 들어, 소정 주파수 서브 영역은 코드 성분들이 정의되는 한 옥타브가 될 수 있다. 코드 성분들에 대한 주파수 정의들은 총 적용 가능 주파수 영역 내에 있는 추가 옥타브들로 대응하여 매핑된다. 총 주파수 영역은 모바일 단말기 장치의 오디오 프로세싱 능력과 사용자 제공 오디오 정보를 참조한 적용성에 따라 각각 정의될 것이다.

본 발명의 실시예에 따르면, 신호들의 주파수 도메인 내에서 사용자 제공 오디오 정보와 변조 신호를 곱함으로써 변조된 신호가 얻어진다. 본 발명의 실시예에 따르면, 메타 정보를 내장한 사용자 제공 오디오 정보는, 신호들의 시간 도메인에서 상기 변조 신호와 상기 사용자 제공 오디오 정보를 가산함으로써 얻어진다.

본 발명의 제5양태에 따르면, 메타 정보를 내장한 사용자 제공 오디오 정보로부터 메타 정보를 추출하는 방법이 제공된다. 따라서, 상관 성분이 제공된다. 상관 성분은 메타 정보를 오디오 정보에 내장시키는데 사용되었던 코드 성분들에서 정의된 모든 주파수들을 포함한다. 상관 성분은, 메타 정보를 추출하기 위해, 그 메타 정보를 내장하는 사용자 제공 오디오 정보로 공급된다.

본 발명의 실시예에 따르면, 변조 신호는 상관 베이스로 얻어지고, 메타 정보를 내장한 사용자 오디오 정보로 적용되는데, 이 적용시 신호들의 주파수 도메인 상에서, 그 변조 신호와, 메타 정보를 내장한 사용자 제공 오디오 정보를 컨벌루션하여, 상관 신호를 얻는다. 크기 값들이 상관 신호로부터 추출된다. 각각의 크기 값은 코드 성분들로 된 집합에 있는 하나의 코드 성분에 대응한다. 크기 값들은 오디오 정보에 내장되는 메타 정보를 재구성하기 위해 산출된다.

본 발명의 실시예에 따르면, 상기 산출 단계는 비율 값들을 구하는 단계를 더 포함한다. 비율 값은 크기 값들의 각 쌍으로부터 산출된다. 비율 값들은 가령, 평균 비율 값에 대해 정규화함으로써 정규화된다. 정규화된 비율 값들의 산출이 오디오 정보에 내장된 메타 정보를 재구성할 수 있게 한다.

본 발명의 실시예에 따르면, 상관 신호는 변조 신호와 오디오 정보를 신호들의 주파수 도메인에서 컨벌루션함으로써 얻어진다. 변조 신호는 상관 성분에 대해 얻어진다. 상관 성분은 총 적용 가능 주파수 영역을 이루는 복수의 주파수 서브 영역들 중 하나인 소정 주파수 서브 영역 안에서 정의된다. 상관 성분은, 메타 정보의 코딩과 관련된 코드 성분들의 매핑과 유사하게 총 서브 영역으로 이뤄지는 주파수 서브 영역들 각각에 대해 매핑된다.

본 발명의 제6양태에 따르면, 정보 히스토리 기능에 의해 제공되는 사용자 제공 정보 검색 방법이 제공된다. 사용자 제공 정보는 본 발명의 실시예에 따른 모바일 단말기 장치의 사용자 제공 정보를 체계화하는 방법에 의해 검색되기 위해 체계화된다. 요청이 수신된다. 요청에는 소정 사용자 제공 정보를 검색하라고 지시하는 요청 정보가 포함되고, 요청 정보를 히스토리 저장부에 체계화된 사용자 제공 정보에 할당된 매타 정보(라벨 정보 및/또는 인덱스 정보)와 비교함으로써 사용자 제공 정보가 식별될 수 있다. 매치된 경우, 사용자 제공 정보가 그에 따라 검색되고, 검색된 사용자 제공 정보를 포함하는 응답이 리턴된다.

상기 요청은 그 검색된 사용자 입력 정보를 필터 및/또는 소팅하라고 더 명령할 수 있다. 필터링은 요청시 포함되는 필터링 정보에 따라 이뤄질 수 있고, 사용자 제공 정보에 할당되는 메타 정보(라벨 정보 및/또는 인덱스 정보)와 관련해 이뤄질 수 있다. 소팅은 요청시 포함된 소팅 정보에 따라 이뤄질 수 있고, 마찬가지로 메타 정보(라벨 정보 및/또는 인덱스 정보)와 관련하여 이뤄질 수 있다.

검색 요청 정보와 메타 정보의 매치 동작은 본 발명의 실시예에 따라 메타 정보를 내장한 사용자 제공 정보로부터 그 메타 정보를 추출하기 위해 앞에서 설명한 방법을 수행할 필요가 있다.

본 발명의 실시예에 따르면, 사용자 제공 정보의 검색은 검색될 사용자 제공 정보와 결부되는 참조 정보 또는 어드레스 정보를 검색하는 동작과 제2저장 영역으로부터 참조 정보 또는 어드레스 정보에 따른 사용자 제공 정보를 검색하는 동작을 포함한다. 참조 정보는 검색을 가능하게 하는 메타 정보와 연계하여 제1저장 영역에 저장될 수 있다.

본 발명의 실시예에 따르면, 정보 히스토리 기능에 의해 취급되는 사용자 제공 정보와 결부되는 멤버쉽 등급이 사용되어 히스토리 저장부에 저장된 사용자 제공 정보를 매치하는 신뢰성 있는 수단을 도출할 수 있다. 이 신뢰성 있는 수단은 가령, 매치된 사용자 제공 정보가 소정의/사용자가 정의한 멤버쉽 등급 문턱치 이하의 멤버십 등급과 결부될 때 그를 거부함으로써 매치된 사용자 제공 정보를 필터링하는 일을 할 수 있고, 혹은 매치된 사용자 제공 정보를 개별 멤버십 등급에 따른 순서로 소팅하는 일을 할 수 있다.

본 발명의 제7양태에 따르면, 사용자 제공 정보를 체계화하는 저장 기능을 제공하는 방법에 제공된다. 사용자 제공 정보는 본 발명의 임의의 실시예에 대해 위에서 설명한 방법들 가운데 어느 하나에 따라 메타 정보와 함께 체계화된다. 기본적으로, 그 방법은 앞에서 저장된 사용자 제공 정보를 저장하는 저장 기능과 검색하는 검색 기능의 제공과 관련된 것이다.

저장 기능의 제공은 사용자 제공 정보 또는 적어도 그 일부를 저장하라는 요청을 수신함으로써 수행된다. 따라서, 이 요청에는 저장될 사용자 제공 정보의 일부와 역시 저장될 참조 정보가 포함된다. 참조 정보는 이 참조 정보를 이용해 이전 검색을 가능하게 하는데 이용된다. 그에 따라, 요청에 포함되는 사용자 제공 정보의 일부와 참조 정보는 적절한 방식으로 저장된다.

검색 기능의 제공은 사용자 제공 정보의 적어도 일부를 검색하라는 요청을 수신함으로써 수행된다. 따라서, 이 요청에는 그 검색될 사용자 제공 정보의 일부를 (고유하게) 참조하는 참조 정보가 포함된다. 사용자 제공 정보 일부에 대한 검색은 그 사용자 제공 정보의 일부를 저장하는 도중에 저장되었던 참조 정보를 활용한다. 요청 응답은 사용자 제공 정보의 검색된 부분에 기초해 코딩되어 요청한 장치로 전송된다.

본 발명의 실시예에 따르면, 사용자 제공 오디오 정보를 매타 정보와 함께 체계화하고 검색하는 소프트웨어 툴이 제공된다. 이 소프트웨어 툴은 컴퓨터 프로그램 안에 구현되고/거나 실행될 때 본 발명의 실시예에 따라 위에서 설명한 임의의 방법의 동작들을 수행하는 프로그램 부분들을 포함한다.

본 발명의 실시예에 따르면, 사용자 제공 오디오 정보와 메타 정보를 체계화하고 검색하는 컴퓨터 프로그램이 제공된다. 이 컴퓨터 프로그램은 프로세싱 장치, 컴퓨터 또는 네트웍 장치 상에서 실행될 때 본 발명에 따른 상술한 임의의 방법의 동작들을 수행하는 로드 가능한 프로그램 코드 부분들을 포함한다.

본 발명의 실시예에 따르면, 프로세싱 장치, 컴퓨터 또는 네트웍 장치 상에서 실행될 때 본 발명에 따라 사용자 제공 정보를 메타 정보와 함께 체계화하고 검색하는 상술한 방법들을 수행하기 위해, 컴퓨터 판독 가능 매체 상에 저장되는 프로그램 코드 부분들을 포함하는 컴퓨터 프로그램 생성물이 제공된다.

본 발명의 실시예에 따르면, 컴퓨터 데이터 신호가 제공된다. 이 컴퓨터 데이터 신호는 캐리어 웨이브를 통해 실시되고 프로세서에 의해 실행될 때 본 발명이 실행할 임의의 실시예에 따라 사용자 제공 정보를 메타 정보와 함께 체계화하고 검색하기 위한 상술한 방법을 유발하는 프로그램 또는 프로그램 코드 부분들을 나타낸다.

본 발명의 제8양태에 따르면, 모바일 단말기 장치가 제공되는데, 이 장치는 본 발명의 실시예들에 따라 위에서 설명한 임의의 방법들 가운데 어느 하나에 의해 사용자 제공 정보와 메타 정보를 체계화할 수 있다. 이 모바일 단말기 장치는 사용자 제공 정보 및, 이 정보와 결부된 컨텍스트 정보를 획득(수신)하기 위한 요소를 포함한다. 또한, 상기 컨텍스트 정보로부터 얻어지는 메타 정보를 상기 사용자 제공 정보에 할당하는 요소 역시 포함한다. 저장을 위한 요소, 즉 저장 장치는 메타 정보와 사용자 제공 정보를 수신하여 저장한다.

사용자 제공 정보는 모바일 단말기 장치에 대해 수행되는 임의의 사용자 조작에 따라 발생하였거나 생성, 또는 수신되었던 데이터라고 인지되어야 한다. 사용자 제공 정보는 사용자 입력 수단을 이용해 생성될 수 있고 혹은 모바일 단말기 장치에 의해 제공되는 임의의 데이터 통신 인터페이스를 통해 수신 또는 획득될 수 있다. 사용자 입력 수단이 키들의 조합, 키보드, 키패드, 또는 어떤 다른 수동 조작 가능 입력 요소(조이스틱, 펜 등)일 수 있고, 그 뿐 아니라 오디오 센서(마이크), 사진 및/또는 이미지 시퀀스들(비디오)을 찍는 디지털 카메라, 및 다른 센서 입력과 같은 개량된 입력 수단일 수도 있음을 알아야 한다. 데이터 통신 인터페이스는 상대 장치와 어떤 타입으로 된 전자 데이터라도 수신, 전송 또는 통신할 수 있는 임의의 인터페이스이며, 특히 트랜잭션 정보 및/또는 통신 정보가 포함된다. 컨텍스트 정보는 사용자 제공 정보와 결부되어 있다. 컨텍스트 정보는 가령 장치 어플리케이션 및/또는 현재 동작중인 장치 기능에 대한 것이고 이 정보에 사용자 제공 정보가 원래 관련되어 있는 정보, 위치 정보, 시간 정보 및 사용자 제공 정보와 병행하여 사용되고 사용자 제공 정보와 (시간적으로 및/또는 논리적으로) 연관된 임의의 다른 정보를 포함한다.

본 발명의 제9양태에 따르면, 캘린더 정보로부터 얻어지는 메타 정보와 함께 사용자 제공 정보를 체계화할 수 있는 모바일 단말기 장치가 제공된다. 모바일 단말기 장치는 본 발명의 실시에들에 따른 상술한 방법들 중 어느 하나를 수행할 수 있다. 모바일 단말기 장치는 모바일 단말기 장치에 구현된 전자 캘린더 어플리케이션으로부터 캘린더 정보를 얻는 구성 요소를 포함한다. 매칭을 위한 구성 요소는 캘린더 정보와 사용자 제공 정보를 매치시킬 수 있게 하고, 매타 정보 획득 구성 요소는 매칭된 캘린더 정보로부터 메타 정보를 얻는 것을 가능하게 한다.

본 발명의 제10양태에 따르면, 사용자 제공 오디오 정보와 메타 정보를 체계화할 수 있는 모바일 단말기 장치가 제공된다. 모바일 단말기 장치는 본 발명의 실시예들에 따른 상술한 방법들 중 어느 하나를 수행할 수 있다. 모바일 단말기 장치는 사용자 제공 오디오 정보를 획득하고 사용자 제공 오디오 정보의 기록 및 저장과 병행하여 제공되는 부가적 사용자 제공 정보를 획득하기 위한 구성요소, 사용자 제공 오디오 정보를 기록하는 구성 요소, 및 사용자 제공 오디오 정보를 저장하는 저장요소를 포함한다. 또한, 컨텍스트 정보를 획득하는 구성 요소 역시 구비된다. 컨텍스트 정보는 사용자 제공 오디오 정보의 기록 및 저장 중에 사용자 액션의 결과로서 생성되는 사용자 입력 정보를 포함한다. 컨텍스트 정보는 로그되어, 획득되는 부가적 사용자 제공 정보와 로그되는 컨텍스트 정보에 대한 정보를 포함하는 메타 정보를 발생하는 구성 요소로 제공된다.

본 발명의 제11양태에 따르면, 메타 정보를 사용자 제공 오디오 정보에 내장시킴으로써 사용자 제공 오디오 정보를 메타 정보와 함께 체계화시킬 수 있는 모바일 단말기 장치가 제공된다. 모바일 단말기 장치는 본 발명의 실시예들에 따른 상술한 방법들 중 하나를 수행할 수 있다. 모바일 단말기 장치는 코드 성분들로 된 집합을 포함한다. 코드 성분들은 복수의 코딩 심볼들을 나타낸다. 상기 코드 성분 집합의 각 코드 성분은 적어도 한 주파수를 규정한다. 매핑 수단은 메타 정보를 상기 복수의 코딩 심볼들로 매핑하고, 내장된 메타 정보를 갖는 사용자 오디오 정보를 획득하는 수단은 상기 매핑된 메타 정보를 사용자 제공 오디오 정보로 삽입시킬 수 있다.

본 발명의 제12양태에 따르면, 메타 정보와 함께 주어지는 사용자 제공 정보를 체계화하기 위해 저장 기능을 제공할 수 있는 제공 장치가 주어진다. 저장 장치는 저장하라는 요청을 수신하고 검색하라는 요청을 수신하며 상기 검색 요청의 결과에 따른 응답을 전송하는 인터페이스 요소를 포함한다. 저장 요청은 청구범위 제1항 내지 제29항 중 어느 한 항에 따라, 메타 정보와 함께 사용자 제공 정보를 체계화하는 방법을 수행하는 모바일 단말기 장치로부터 전송되는 사용자 제공 정보의 적어도 일부를 저장하라는 요청이다. 이 요청은 사용자 저장 정보의 일부 및, 저장될 참조 정보를 포함한다. 검색 요청은 청구범위 제1항 내지 제29항 중 어느 한 항에 따라, 메타 정보와 함께 사용자 제공 정보를 체계화하는 방법을 수행하는 모바일 단말기 장치로부터 전송된 사용자 제공 정보의 적어도 일부를 검색하라는 요청이다. 이 요청은 요청된 사용자 제공 정보의 부분을 검색할 수 있게 하는 참조 정보를 포함한다.

저장 요소는 사용자 제공 정보와 참조 정보를 저장하여, 사용자 제공 정보가 상기 참조 정보와 관련해 검색될 수 있도록 할 수 있다. 검색 요소는, 안에 포함된 참조 정보에 따라 검색하라는 요청으로 요구되는 사용자 제공 정보의 일부를 검색할 수 있고, 응답 생성 요소는 그 검색된 사용자 제공 정보의 일부를 포함하는 응답을 준비하여 요청한 모바일 단말기 장치로 전송한다.

본 발명은 첨부된 도면을 참조하여 실시예들을 통해 보다 상세히 설명될 것이다.

도면에 보여진 같은 부분들, 사양들 및/또는 동작들은 같은 참조 번호들을 이용해 나타낼 것이다. 본 발명의 실시예들에 대한 이하의 설명은 각각이 본 발명의 전반적 개념의 한가지 소정 양태와 관련되는 독자적 섹션들로 구획되어 있다.

1. 퍼스널 일지(logbook)

전자 단말기 장치의 사용자들은 자신들의 선호 및 되풀이되는 수요에 기반해 개인적인 용도 패턴들을 만든다. 모바일 통신 단말기에 기반하는 예에 "최근 통화들"이라는 기능이 있는데, 여기서 전화 통화를 마친 소정 번호로 이뤄진 전화 번호들의 리스트가 사용자들에게 제공되고, 사용자들은 제공된 리스트 엔트리들 중 하나를 선택하기 위해 이 리스트들을 스크롤 할 수 있다. 전화 번호들의 리스트는 흔히 사용자들 자신에 의해 설정되고 편집된 퍼스널 전화 디렉토리와 결부된다. 사용자들은 새 통화를 시작할 때 이들 번호들 중 하나를 매우 빈번하게 선택하는 경향이 있다. 이 전화번호의 경우에 대한 생각이 마지막 통화한 번호들을 저장하고 이들을 미래에 다시 제공하도록 한 것이다.

이러한 개념은 다른 용도의 영역들에 대해서도 일반적이며 이하에서 "퍼스널 일지"로서 나타낼 것이다. 도 1a는 개념적 블록도를 통해 본 발명의 일실시예에 따른 퍼스널 일지의 구성 및 상호 동작을 나타낸다. 이 블록도는 세 가지 정보 스트림들의 예를 묘사하며, 이들의 정보는 검색되기 위해 로그, 결합, 분류, 표지화, 색인화 및 제공되는 퍼스널 로그북(200)으로 전해진다. 세 가지 정보 스트림의 예에는 사용자 입력 정보 스트림(101), 컨텍스트 정보 스트림(100), 및 트랜잭션/통신 세부 사항 정보 스트림(102)이 포함된다.

퍼스널 일지(200)의 기본적 입력 패러미터들과 속성들은 사용자 입력 정보, 가령 사용자 입력 정보를 처리함으로써 파생되고 사용가능하고 적절한 컨텍스트 정보와 연관되는 결과 정보이다. 통상적으로 사용자 입력은 PDA, 전자 수첩, 모바일 통신 단말기 장치 및 관련 저자 데이터 프로세싱 장치들과 같은 전자 장치에 의해 제공되는 입력 수단에 기초한다. 사용자 입력 소단은 사용자에 의해 조작되고 전자 장치는 입력 수단의 작동에 상응하는 사용자 입력 정보를 수신한다. 따라서, 로그되는데 적합한 하나 또는 여러 개의 사용자 입력들 또는 입력 시퀀스들은 다음의 입력 수단 예를 통해 발생된다:

- 키들, 키패드, 키보드: 키보드/키패드 입력, 여기서 개별 문자 입력들이 모여져서 어플리케이션 컨텍스트, 즉, 원하는 동작을 일으키기 위해 처리, 파싱 등이 되도록 키보드/키패드 입력이 전해지는 현재 동작중인 장치 어플리케이션이나 현재 실행되는 장치 기능과 관련된다. 예를 들어, 사용자 입력은, URL 어드레스 정보로서 파싱 및 해석될 WAP 브라우저로 공급될 스트링과 같이, 어플리케이션 컨텍스트로부터 그 제목이 알려진 형식 필드마다 완전한 텍스트 스트링을 나타내는 문자 시퀀스의 집합적 입력을 포함한다;

- 광학 펜: 펜 입력, 여기서 좌표 정보가 우선 텍스트 기반 정보에서 해석될 광 문자 인식을 위해 보내지거나, 자유로운 그래픽 입력, 스케치를 표현한다. 예를 들어, PDA들은 PDA 조작을 위해 사용자에게 펜 입력 기능을 제공한다;

- 오디오 검출기(마이크): 음성 입력, 여기서 음성 입력은 나중에 녹음 장치 등에서 재생되도록 음성 메모로서 기록되거나, 음성 입력이 이 음성 입력에 대응하는 텍스트 정보를 리턴시키는 음성 인식기로 보내진다. 이러한 음성 인식기는 음성 인식 기능을 가진 전자 장치에서 직접 구현되거나, 유무선 통신을 통해 액세스 가능한 네트워킹 음성 인식 서비스로서 실현될 수 있다;

- 디지털 이미지 수신기(CCD 카메라): 이미지/비디오 입력, 이미지들이나 이미지 시퀀스들(비디오)이 바로 저장되거나 이미지/비디오 입력으로부터 얻어져서 인식된 제스춰들을 나타내는 심볼들만이 저장된다;

- 센서들: 가속 센서 정보 등과 같은 부가적 센서 입력; 및

- 전자 장치의 입력 수신 수단으로부터 수신될 수 있고 그 기능 및/또는 어플리케이션들을 통제하는데 적합한 부가적 사용자 입력들. 예를 들어, 부가적인 알맞은 입력 수단이란 조이 스틱, 터치 패드 등과 같은 임의의 사용자 조작형 입력 수단도 될 수 있다.

당연히, 사용자 입력 정보 스트림(101)은 사용자 입력의 결과로서 수신되는 상술한 정보에 한정된다. 사용자 입력 정보 스트림(101)은, 역시 다른 상대 장치와 데이터 교환 기능을 제공하는 임의의 인터페이스를 통해 획득(수신)되는 임의의 정보를 포함하는 전자 장치에 대한 임의의 사용자 조작의 결과로서 획득(수신)되는 사용자 입력 정보라고 이해해야 한다.

컨텍스트 데이터/정보는 부가적 정보, 및 사용자 입력이 수행되거나 전자 장치가 현재 동작중인 현재의 동작 상태로부터 얻어지는 상황에 의해 표현된다. 컨텍스트 정보는 다음과 같은 것을 포함할 수 있다:

- (가능한 경우) 장치의 위치 정보, 위치 정보는 무선 액세스 네트웍(위치 서비스 실행 무선 액세스 네트웍)이나 위성 위치 시스템(GPS)으로부터 보내질 수 있다;

- 동작 시간 정보, 즉, 사용자 입력이 수신될 때의 시간 정보, 사용자 입력이 수신되는 도중의 시간의 지속 기간에 대한 정보, 사용자 입력이 시작/멈출 때의 시간에 대한 정보, 및 관련 시간 정보;

- 사용자 입력 도중에 입/출력 포커스를 가지며, 사용자 입력 및, 사용자 입력이 보내지는 동작중인 어플리케이션의 사양에 대한 세부 내용을 수신하는 동작중인 어플리케이션에 대한 정보;

- (가능한 경우) 온도, 습도/날씨 조건, 조광 조건 등과 같은 세부 상황;

- (가능한 경우) 사용자의 기분에 대한 정보; 및

- 전자 장치의 수단을 통해 얻어질 수 있고 컨텍스트 규정 패러미터들로서 적합한 모든 다른 정보. 특히, 캘린더 어플리케이션, 전화 디렉토리, 어드레스 북 어플리케이션 및 전용 정보를 구성하는데 사용될 관련 어플리케이션과 같이, 전자 장치상에서 동작되는 어플리케이션들과 관련하여 사용 가능한 정보.

트랜잭션/통신 세부 정보는 퍼스널 일지(200)로 제공될 세번째 정보 스트림(102)이다. 트랜잭션/통신 세부 정보는 다음과 같은 정보를 포함할 수 있다:

- 전화 번호, 발송자의 vCard, 발송자의 상태(cf. 컨텍스트 정보) 등과 같이 통신을 마친 메시지나 통화의 발신자에 대한 정보;

- 수취인, (은행) 계좌 정보, 주문 내역 및 가격과 같은 전자 상거래 트랜잭션(계약)에 대한 정보; 및

- 주문이 발주되고-주문이 승인되고/허용되고-배송이 시작되고-배송이 일시 정지되고(가령, 다운로드)-배송이 재개되고-배송이 종료되고-주문에 대해 청구되고-주문에 대한 비용이 정산되는 등의 주문의 라이프 사이클에 대한 정보와 같은 트랜잭션들의 정보 추적을 포함하는 계약에 관한 상태 정보;

트랜잭션/통신 세부 정보는 컨텍스트 정보의 일부라고 간주될 수 있다.

가능한 정보를 세 가지 서로 다른 정보 스트림들로 현재 분류한 것은 본 발명의 개념에 따른 일실시예로서 퍼스널 일지(200)에 의해 로그되는 정보에 있어서 가능하지만 반드시 필수적인 것은 아닌 분류에 대해 명확히 하기 위한 것이라고 이해할 수 있다. 전자 장치의 동작과 함께 나타나고 서로 다른 정보 스트림들로 로그될 수 있는 정보 스트림들의 분류는 어려울 수 있는데, 이는 소정 정보가 다른 정보 스트림들과도 동시에 연관될 수 있기 때문임을 알아야 한다. 여기 나타낸 개념 역시 하나나, 여러 개의 선택된, 또는 가능한 모든 정보를 포함하는 단일 정보 스트림으로도 행해질 수 있다. 또, 여기서 예로 든 정보 스트림들 중 하나에 할당된 이 단일 정보 부분들은 본 발명의 일실시예에 따른 단일 정보 부분들의 예를 나타낸다. 본 발명의 개념이 여기 언급된 정보의 단일 부분들에 국한된다고 생각하면 안된다.

이러한 정보 스트림들(100, 101, 및 102)을 통제하는 전자 장치는 퍼스널 일지(200)로 이 정보 스트림들을 제공한다. 개념상으로는, 본 발명의 일실시예에 따른 퍼스널 일지(200)의 업무는 세 가지 서로 다른 서브 업무들로 분리될 수 있다:

- 사용자 입력 정보, 컨텍스트 정보, 트랜잭션 정보, 및 가능한 부가 정보를 획득/수신 및 로그하는 업무, 및 로그된 정보를 저장하도록 처리하는 업무. 이 서브 업무는 부가적 사용자 동작을 요구하지 않고 자동으로 수행될 수 있다, 즉 상기 로그 동작은 백그라운드 동작일 수 있다. 획득/수신 및 로그된 정보는 획득/수신 및 로그될 정보의 종류를 규정하는 소정 및/또는 사용자 규정의 규칙에 의해 정해질 수 있다.

- 사용자 특정 기준이나 시스템 특정 기준에 따라 퍼스널 일지에서 정보를 보관 및 소팅하는 업무. 이 서브 업무 역시 백그라운드 동작일 수 있으며, 보관 및/또는 소팅 기준은 사용자에 의해 미리 정의될 수 있다.

- 퍼스널 일지(200)로부터의 정보 검색을 위해 적용될 어떤 필터링 및/또는 소팅 기준을 특정하고 검색된 정보를 제공(공급)하는 하나 이상의 검색 명령들에 의해 발생되는 정보 검색 업무. 하나 이상의 검색 명령들은 하나 이상의 어플리케이션들(300)로부터 일지(200)로 전송되고 일지(200)는 그 검색 정보를 다시 그들에게로 전송한다.

퍼스널 일지(200)의 동작은 다음과 같은 설명에 의해 간략하게 표현될 수 있다. 퍼스널 일지(200)는 자동으로 모든 사용자 입력, 어플리케이션 컨텍스트, 위치 컨텍스트 및 이들이 일어난 시간 컨텍스트와, 외부로부터의 모든 통신 관련 정보를 획득/수신한다. 이 정보는, 사용자에 의해 저장된 정보로의 검색 액세스를 돕기 위해 서로 다른 (미리 규정한/사용자가 규정한) 기준에 따라 소팅된다. 예를 들어, 사용자는 속행 동작들이 이 컨텍스트에 기반할 가능성이 가장 크기 때문에 자신으 입력/트랜잭션들을 추적할 수 있다.

상술한 퍼스널 일지(200)의 기능들에 비춰볼 때, 정보 과부하 딜레마와 관련한 이점을 알 수 있다. 정보 과부하 딜레마를 극복하기 위한 기술적 전제 조건들이, 문서부터 시작해서 오디오 리코딩을 통해 사용자 일상의 하루 전체의 비디오들과 같이, 사용자의 일상에서 부딪치는 모든 정보를 저장할 수 있는 일지를 통해 제공된다. 이러한 정보, 특히 멀티미디어 정보는 이 정보를 자동으로 혹은 적어도 반자동으로 체계화할 수 있는 퍼스널 일지(200)의 구현 없이는 소용이 없다. 그렇지 않고서는 사용자가 관련 콘텐츠에 집중하여 그것을 장래에 이용할 수 없다.

도 1b는 퍼스널 일지(200) 등의 일실시예를 통한 본 발명의 일실시예에 따른 도 1a에 도시된 퍼스널 일지(200)를 구성할 수 있게 하는 구성요소들을 나타낸 것이다. 퍼스널 일지(200)는 정보 수신 인터페이스 혹은 정보 획득 요소(201), 라벨/인덱스 요소(202), 참조 요소(203), 및 일지 저장부(210)를 통해 구현될 수 있다. 이들 요소들(201, 202, 203, 및 210)은 퍼스널 일지의 원리적 동작의 보기에서 상술한 제1 및 제2서브 업무들과 관련한 것이다. 도시된 일지 저장부(210)는 퍼스널 일지(200)와 연결될 수 있는 외부 일지 저장부(230), 및 저장 관리 요소(213)에 의해 각각 지원되어, 그곳으로의 정보를 평가하고 거기로부터의 정보를 검색할 수 있게 한다. 또, 일지 저장부(210)는 일지 관련 정보를 저장하는 저장 요소로서만 작동하는 외부 일지 저장부(230)로 완전 대체될 수도 있다.

또, 퍼스널 일지(200)는 일지 저장부(210), 및/또는 존재하여 저장에 사용될 때의 외부 일지 저장부(230)로부터 정보를 검색할 수 있게 하는 요소들을 포함한다. 요청 인터페이스(220)는 가령 사용자 입력의 결과로서 정보 검색 요청을 발생시킨 어플리케이션 등으로부터 하나 이상의 정보 요청을 수신할 수 있다. 이러한 요청에는 하나 이상의 검색, 소팅, 및/또는 필터링 기준에 의해 소정 정보를 검색하도록 명령하는 하나 이상의 명령들이 포함된다. 일지 액세스 요소(221)는 일지 저장부(210) 뿐 아니라 가능하게는 이용 가능한 외부 일지 저장부(230)로의 액세스를 담당한다. 정보 요청에 대응하여, 각각 일지 저장부(210) 및 외부 일지 저장부(230)로부터의 정보를 포함하는 응답이 일지 액세스 요소(221) 및 응답 인터페이스(222)와의 협력에 의해 생성되어, 각각 그 응답을 수신할 수 있는 하나 이상의 어플리케이션들로 전송되거나 정보 요청을 시작했던 어플리케이션으로 리턴된다.

도 1c는 본 발명의 일실시예에 따라, 퍼스널 일지와 협력하는 저장 솔루션들/저장 욧들 및 저장 장치들을 포함하는 적절한 장치 환경을 도시한다. 상술한 외부 일지 저장부(230)는 수많은 방식들로 구현될 수 있다. 도시된 장치 환경은 외부 일지 저장부(230)의 몇 가지 실시예들을 나타낼 수는 있으나 여기에 국한하는 것은 아니다. 장치 환경은, 각각이 본 발명에 따른 퍼스널 일지의 실시에와 관련하여 사용되는 저장 공간/용량을 제공하는, 본 발명의 일실시예에 따른 퍼스널 일지를 구현하는 전자 장치(10), 탈착 가능 저장 요소(11), 전자 장치(10)와 연결되는 외부 저장 장치(12), 로컬 외부 저장 솔루션(13), 및 네트웍 연결된 외부 저장 솔루션(17)을 포함한다.

탈착 가능 저장 요소(11)는 오늘날 모바일 전자 장치 제품에 활용되고 있는,플래쉬 메모리, 마그네틱 메모리, 페라이트 메모리 등에 기반한 임의의 메모리 카드들 (SD 카드, 멀티미디어 카드,... )의 형태나, 광 기록 매체(가령, CD-R, CD-RW, 임의의 DVD 규격에 따른 (한번/재)기록 DVD 매체), 마그네틱 기록 매체 등과 같은 한번 기록할 수 있거나 재기록이 가능한 임의의 저장 매체 형태로서 구현될 수 있다. 어떤 알려진 대량 저장 매체라도 사용에 적합하다. 마찬가지로, 이러한 대량 저장 기술이 유무선 접속을 통해 전자 장치(10)와 연결되는 외부 저장 장치로서 사용될 수 있다. 전용 저장 요소(11)나 전용 외부 저장 장치(12)에 대해 선택적으로, 데스크 탑 컴퓨터나 노트북과 같이 대량 저장 요소가 구축된 프로세싱 장치(13)가 상기 도시하여 설명된 외부 일지 저장부(230)와 협력하여 사용될 수 있다. 유무선 통신 접속이 상기 프로세싱 장치(13)와의 통신을 제공한다. 또, 유무선 통신 네트웍(15)을 통해 전자 장치(10)와 연결된 네트웍 연결된 저장 장치(17)가 외부 일지 저장부9230)로서 사용되는 전용 저장 공간을 제공할 수 있다.

유무선 접속 기술 가운데 하나가 전자 장치와 도시된 외부 장치들(12 및 13) 중 하나와의 전자 장치(10)의 통신을 실행하는데 이용될 수 있다. 예를 들어, 범용 시리얼 버스, 방화선 버스 또는 임의의 다른 시리얼 및 병렬 버스가 유선 접속으로 사용될 수 있고, 반면 블루투스, 무선 랜, 무선 로컬 루프, 적외선 통신 및 관련 무선 통신 규격들이 무선 통신(14)을 실현할 수 있다.

네트웍 연결된 저장 장치(17)와 관련해, 도시된 바와 같은 상기 네트웍 연결된 저장 솔루션은 인터넷(18), 광역망, 랜, 공공 지상 모바일 네트웍(16)(GSM, PCN, DCS, PCS, UMTS 등), 또는 이들의 조합을 통해 액세스될 수 있는 네트웍 연결된 저장 서비스에 의해 제공될 수 있다. 네트웍 연결된 저장 장치(17)는 제공된 저장 용량이 탈착 가능 저장 매체와 관련해 주어진 것과 같은 임의의 저장 용량 제한으로 인해 제한될 수 없고 제공된 저장 용량이 (네트웍 연결된 저장 장치(17)로의 통신 링크가 사용가능하다는 조건 하에서) 항상 활용 가능하다는 이점을 가진다.

퍼스널 일지(200) 및 퍼스널 일지(200)에 구비된 요소들의 동작에 대한 보다 상세한 설명이 퍼스널 일지(200)의 로그/유지 및 퍼스널 일지(200)로부터의 소정 로그된 정보 검색에 대한 이하의 동작 시퀀스들과 함께 설명될 것이다.

도 2a는 본 발명에 따른 도 1b에 도시된 것과 같은 일지 요소에 로그된 정보를 각각 동작 및 특히 설정하는 동작 시퀀스를 도시한 흐름도이다.

S100 단계에서, 퍼스널 일지(200)의 로그 동작이 시작된다.

S110, S120, 및 S130 단계에서는, 사용자 입력 정보, 컨텍스트 정보 및/또는 트랜잭션 정보/통신 세부 정보가 각각 획득 및 수신된다. 블록도에 도시한 퍼스널 일지(200) 및 특히 정보 수신 인터페이스(201)가 이 정보 셋을 수신한다. 퍼스널 일지(200)를 구축한 전자 장치의 현 동작 및/또는 동작 상태에 따라, 상술한 정보 또는 부가 정보의 일부가 로그하는데 사용될 수 있다. 퍼스널 일지(200)에 의해 로그될 이러한 종류의 정보는 미리 규정되거나 사용자가 정의하며, (미리, 사용자가) 정의한 로그 규칙에 따라 가능한 모든 정보가 로그된다.

S140 단계에서, 사용자 입력 정보, 컨텍스트 정보 및/또는 트랜잭션 정보/통신 세부 정보의 적어도 일부가 결합되어 정보 셋으로 된다. 이것은, 시간적으로 동시 수신된 정보, 논리적으로 관련 및/또는 결부된 정보 등이 관련이 있다고 간주되어 정보 셋(집합)으로 형성되어 하나의 정보 레코드로 된다는 의미이다. 각각 시간 정보를 고려하거나 동시 수신함으로써, 수신된 사용자 입력 정보가 수신된 컨텍스트 정보와 결부된다. 수신된 통신 세부 정보 및/또는 트랜잭션 정보는, 각각 시간 정보를 고려하거나 동시 수신함으로써 수신한 컨텍스트 정보와 결부된다. 또, 통신 세부 정보 및/또는 트랜잭션 정보는 어떤 시간 구간에서 수신될 수 있고, 논리적 관련성에 따라 연관될 수 있다.

S150 단계에서, 결과적 정보 레코드는 각각 표지가 붙여지고 색인 된다. 즉 각각 라벨 정보와 인덱스 정보와 함께 주어진다. 라벨 정보 및 인덱스 정보는 가령 정보 요청의 결과로서 순차적으로 정보 레코드나 정보 레코드의 일부를 검색하는데 사용된다. 라벨 및 인덱스 정보는 각각, 정보 레코드로부터 추출되고 유용하고도 효율적인 방식으로 표지 붙여지고 색인된 정보 레코드를 검색, 선택, 및/또는 평가할 수 있게 하는 개별 메타 정보의 집합일 수 있다. 라벨 및 인덱스 정보는 사용자 입력 정보, 컨텍스트 정보 및/또는 트랜잭션 정보/통신 세부 정보로부터 개별 정보를 이용함으로써 정보 레코드로부터 얻어진(추출된) 것들이다. 라벨 정보는 수신된 정보로부터 정보 레코드가 형성된 것과 관련한 소정 장치 동작을 나타낸다. 즉 라벨 정보는 정보가 수신된 데 따른, 그리고 수신된 정보가 관련되어 있는 장치 어플리케이션 또는 장치 동작을 나타내거나 명시한다.

예를 들어, 본 발명의 일실시예에 따른 퍼스널 일지(200)를 구축하고 있는 모바일 통신 실행 단말기 장치의 사용자에 의해 어떤 넘버가 다이얼링 된다. 사용자 입력 정보는 그 다이얼링한 전화 번호를 나타내는 번호 시퀀스이거나, 상응하는 전화 번호와 결부된 퍼스널 전화 디렉토리로부터의 이름 엔트리를 포함한다. 컨텍스트 정보로서, 전화 통화의 시작 및 종료 순간, 전화 통화의 지속 시간, 현재의 날짜, 현재의 지리적 위치 및 다른 가능한 컨텍스트 정보가 이러한 사용자 입력 정보와 결부된다. 따라서, 정보 레코드는 이러한 정보로부터 생성될 수 있고, 라벨 정보 "전화 번호" 또는 "전화 통화"가 이 정보 레코드에 할당될 것이다. 여기서 상기 라벨 정보는 여기서는 전화 통화 어플리케이션인, 현재 집중한 어플리케이션에 대한 정보를 제공하는 컨텍스트 정보로부터 추출될 수 있다. 또, 가능한 컨텍스트 정보의 일부가 인덱스 정보로서 사용될 수 있다. 연속적 검색 동작이, 로그된 모든 전화 통화들, 또는 소정 날짜나, 소정 시기 안이나, 소정 지리적 위치 등에서 로그된 모든 전화 통화들을 보내라고 명령하면, 인덱스 정보가 검색된 정보의 필터링이나 그와 비슷하게 검색된 정보의 소팅, 즉 시간/날짜나, 시기나 지리적 위치 등에 의한 소팅을 가능하게 하는 정보로서 작용하게 된다.

또 다른 예를 들면, 본 발명의 일실시예에 따른 퍼스널 일지(200)를 구축하고 있는 모바일 통신 실행 단말기 장치의 사용자가 전자 상거래 제공자의 서비스를 이용한 전자 지불을 통해 호텔비를 지불하기 위해 WAP(무선 어플리케이션 프로토콜) 브라우저를 사용하여 인터넷에 액세스한다. 퍼스널 일지는 WAP 브라우저 이용에 해당하는 사용자 입력 정보, 가령 다른 무엇보다 서비스 제공자의 URL(범 자원 로케이터) 및 호텔 주소 및 계좌 정보 등, 지불을 명하기 위해 사용자가 기재하는 양식의 사용자 입력 정보를 수신한다. 사용자 입력 정보는 상술한 WAP 브라우저의 사용 시작 및 종료 시간, 현재의 날짜, 현재의 지리적 위치, 및 사용자 입력 정보와 관련될 다른 가능한 컨텍스트 정보와 같은 컨텍스트 정보를 수반한다. 부가적으로, 트랜잭션 정보 역시 사용되어 일지에 의해 수신될 수 있다. 이때 트랜잭션 정보는 (고유) 트랜잭션 ID(식별 시퀀스) 및 어드레스, 계좌, 액수 등에 대한 개별 정보를 포함할 수 있다. 그 결과에 따른 정보 레코드는 "트랜잭션"이라고 표지가 붙여지고 선택된 개별 컨텍스트 정보 및/또는 개별 트랜잭션 정보와 함께 색인된다.

이와 달리, 수신된 정보가 결합되어 두 개의 정보 레코드가 될 수 있다. 두 레코드들 가운데 하나는 단지 WAP 브라우저 사용과 관련되고 다른 하나는 트랜잭션에 관련된 것일 수 있다. 두 정보 레코드들 모두 상술한 컨텍스트 정보와 결합된 채로 형성된다. 따라서, 제1정보 레코드는 "WAP 브라우저"라는 표지가 붙여지고, 제2정보 레코드는 "트랜잭션"이라는 표지가 붙여질 수 있다.

개시된 트랜잭션의 결과로서 추가 트랜잭션 정보가 수신될 수 있다. 이 트랜잭션 정보는 컨텍스트 정보와 공동으로 로그된다. 상술한 트랜잭션 ID는 모든 트랜잭션 정보 안에 구비될 것이고, 개시된 트랜잭션의 결과로서 수신되어, 그 트랜잭션 ID에 기반한 인덱스 정보의 생성이 사용자로 하여금, 심지어 트랜잭션 정보가 서로 다른 시간에 로그된 경우라도 하나의 동일한 트랜잭션 절차와 관련된 모든 트랜잭션 정보를 검색할 수 있도록 한다. 이와 달리, 서로 다른 시간대에 로그된 모든 트랜잭션 정보가 고유한 트랜잭션 ID에 의거한 논리적 관련성에 의해 하나의 정보 집합 안에 모여질 수도 있다.

S160 단계에서, 정보 레코드가 조회된다. 논리적 분리라는 관점에서, 퍼스널 일지(200)는 실제 정보 레코드들이 저장되어 있는 일지 저장부로부터 완전하게 분리될 수 있다. 이러한 분리의 경우, 퍼스널 일지(200)는 서로 다른 정보 레코드들의 경우들 간의 관계만을 저장하고 정보 레코드 검색을 할 수 있도록 실제 일지 저장부를 가리킨다. 정보 레코드의 참조는 외부 일지 저장부(230)와 같은 실제 일지 저장부로부터의 정보 레코드 검색에 적합한 링크 정보를 판단할 수 있게 한다. 보다 정확히 말하면, 링크 정보, 라벨 정보 및/또는 인덱스 정보는 퍼스널 일지(200) 자체에, 즉, 일지 ID 저장부(212)에 저장되어, 저장된 정보 레코드들의 유용한 검색, 필터링, 선택 및/또는 소팅을 가능하게 하는 반면, 일지(200)의 일지 ID 저장부(212)에 저장된 정보와 관련된 부가 정보는 실제 일지 저장부, 즉 외부 일지 저장부(230), 및 보다 엄밀하게 말해 퍼스널 일지(200)의 외부에 있는 일지 정보 저장부(232)로 비워진다.

실제로, 상기 제안된 퍼스널 일지 및 실제 일지 정보 저장부의 엄격한 분리는 신축적으로 이뤄져서, 오디오 및 비디오 클립과 같은 보다 큰 정보 부분들만이 외부 일지 저장부(320), 엄밀히 말해 외부 일지 정보 저장부(232)로 이동할 수 있고, 텍스트 정보와 같은 정보의 보다 작은 부분들은 퍼스널 일지(200), 일지 저장부(210), 보다 엄밀하게는 일지 정보 저장부(211) 안에 각각 그대로 남겨질 수 있다.

필요하다면, 퍼스널 일지(200)의 일지 저장부(210)에 저장되고, 퍼스널 일지(200)와 연결된 외부 일지 저장부(230)에 저장된 정보의 링크가, 전용 저장 영역, 즉 퍼스널 일지(200)에 포함된 일지 저장부(210)의 일지 ID 저장부(212) 및 외부 일지 저장부(230)의 상응하는 상대 일지 ID 저장부(231)에 저장되는 상술한 참조 정보에 의해 설정 및 구현될 수 있다. 저장 관리 요소(213)가 퍼스널 일지(200)에 내장된 일지 저장부(210) 및 외부 일지 저장부(230) 사이에서 교환된다.

정보 저장부로부터 정보 체계(퍼스널 일지)를 분리한다는 상기 제안한 개념은, 일지 정보 단독만으로도 사용자에게 유용한 한편 (메모리-집약적) 콘텐츠는 별도로 다뤄지게 한다는 것이다. 기본 정보를 로그하는 일은 적당한 메모리 예산으로 전자 장치들(단말들) 상에서 이미 구현될 수 있지만, 정보 분리 및 그 구성의 큰 이점들이 있다는 것이, 재기록형 광저장매체(재기록형 컴퓨터 디스크(CD), DVD 등), 마그네틱 저장 매체(하드 디스크 등), 영구 메모리 매체(플래쉬 메모리, 마그네틱 메모리, 페라이트 메모리 등), 통신 네트웍을 통해 전자 장치와 로컬 기반으로 연결되는 네트웍 기반 또는 인터넷 기반 저장 솔루션 등과 같은 대량 저장 용량을 가진 전자 장치들에서 자명한 사실이다.

예로서, 본 발명의 일실시예에 따른 퍼스널 일지를 구축한 모바일 통신 기능 프로세싱 장치(통신 어댑터 또는 모바일 통신 단말기 장치를 가진 PDA 또는 전자 수첩)의 사용자가 비디오 프레젠테이션(슬라이드 쇼, 사진들, 대용량 전자 문서)를 다운로드한다고 가정할 수 있다. 다운로드된 정보는 해당 컨텍스트 정보와 함께 퍼스널 일지에 의해 로그되며, 이는 완전 비디오 프레젠테이션(슬라이드 쇼, 사진들, 대용량 전자 문서)이 일지 저장부에 존재한다는 것을 의미한다. 특히, 모바일 프로세싱 장치는 이동성(크기, 무게) 및 사용성 때문에 공통적으로 제한된 저장 용량을 가지고 있다. 상기 정보를 외부적으로 연결된 높은 저장 용량을 가진 저장부로 비우는 것은 반드시 필요한 것이 될 수 있다.

S170 단계에서, 정보가 저장된다. 정보 레코드 및 라벨, 인덱스 및/또는 참조 정보의 저장이 퍼스널 일지(200)를 위해 선택된 상술한 저장 솔루션에 의해 수행된다. 라벨, 인덱스 및/또는 참조 정보, 및 정보 레코드는, 하나 이상의 검색 명령들에 매치하는 하나 이상의 정보 레코드들을 식별하기 위해 효율적인 방식으로 라벨 및 인덱스 정보를 액세스할 수 있게 하는 데이터베이스 안에 체계화된다.

정보량이 엄청날 수 있기 때문에, 특히 비디오 클립, 오디오 클립과 같이 확장적 데이터 저장 용량을 필요로 하는 멀티미디어 정보의 입장에서는, 데이터 보존 및 삭제에 대한 정책/규칙이 정립되어 있어야 한다.

선택된 저장 솔루션과는 별도로, 총 저장 용량은 항상 유한하여 어떤 정보를 남겨두고 어떤 정보를 버릴 것인지에 대한 정책/규칙이 필요로 된다. 디폴트로서, 하나의 라이프 타임이 모든 정보(레코드들)와 결부될 수 있는데, 이것은 실제적으로 가장 오래된 정보가 먼저 제거된다는 것을 의미한다. 시기적으로 만료된 정보의 삭제는, 만료 순간 또는 만료된 정보에 의해 점유되어 새 정보를 저장할 필요가 있는 저장 용량을 필요로 하는 순간에 자동으로 수행될 수 있다. 이와 달리, 만료되거나 더 오래된 정보가 일지 저장 용량을 비워주기 위해 상술한 외부 저장 솔루션과 유사하게 구현될 수 있는 아카이브(archive) 매체로 보내질 수 있다. 아카이브 매체는 문서 저장 목적을 위해 전자 장치 및 퍼스널 일지와 착탈 가능하게 연결되는 네트웍 기반 저장 솔루션 또는 제거가 가능한 저장 매체, 퍼스널 컨퓨터(PC)의 대량 저장부일 수 있다. 일지, 일지 저장부 및/또는 외부 일지 저장부 모두에 대해 동일한 정책/규칙이 적용될 수 있다.

S180 단계에서, 사용자 입력 정보, 컨텍스트 정보, 및/또는 트랜잭션/통신 세부 정보의 소정 집합 관련 정보를 로그하는 작업이 종료된다. 본 발명에 따른 하나의 가능한 실시예로서 제시된 동작 시퀀스로 구현되는 로그 동작은 퍼스널 일지를 구축하고 있는 전자 장치의 백그라운드 프로세스로서 수행될 수 있다. 로그될 정보 집합이 퍼스널 일지에 의해 수신되지 마자 상술한 로그 작업이 전자 장치 및 퍼스널 일지 각자에 의해 수행된다.

모아진 정보가 넓은 범위의 어플리케이션들과 함께 활용될 수 있다면 퍼스널 일지는 사용자에게 가장 매력적인 것이다. 상술한 로그 프로세스의 중요한 동작은 라벨/인덱스 동작(S150)인데, 유용한 표지 붙이기 및 색인 작업만이 일지 정보의 잠재력이 모아진 방대한 량의 정보를 효율적이고도 유용하게 관리할 수 있게 하기 때문이다.

도 2b는 본 발명의 실시예에 따라 도 1b에 도시된 것과 같은 일지 요소로부터 정보를 조작 및 특히 검색하기 위한 동작 시퀀스를 묘사한 흐름도이다.

S210 단계에서, 퍼스널 일지(200)로부터의 정보 검색을 위한 검색 동작이 시작된다.

S220 단계에서, 퍼스널 일지로부터의 정보 검색 요청이 수신된다. 상기 요청은 퍼스널 일지(200)의 상술한 요청 인터페이스(220)에 의해 수신될 수 있다.

S230 단계에서, 하나 또는 여러개의 정보 레코드들이 퍼스널 일지(200)로부터 검색된다. 요청에는 퍼스널 일지(200)로부터 검색될 정보의 종류를 명시하는 명령들이 포함된다. 명령은 이전에 저장된 정보 레코드들이 선택되는데 따른 소정 표시 또는 표시들의 조합을 명시한다. 예를 들어 도 2a에서 언급된 라벨 및/또는 인덱스 단계(S140)에서 볼 때, 명령들은 가령 일지 액세스 요소(221)에게 소정 라벨 정보, 소정 인덱스 정보, 및/또는 이들의 어떤 조합과 관련된 정보 레코드들을 검색하라고 명령하다.

S240 단계에서, 요청에 포함된 검색 명령과 매치하는 검색된 정보 레코드들은 상기 요청에 의해 구비된 부가적 명령들에 따라 더 소팅될 수 있다. 그에 따라 검색된 정보 레코드들의 소팅이 소정 표시나 표시들의 조합에 기반할 수 있다. 예를 들어 도 2a에 언급된 라벨 및/또는 인덱스 단계(S140)에서 볼 때, 명령들은 일지 액세스 요소(221)에게 명령하여 소정 관련 라벨 정보, 소정 관련 인덱스 정보 및/또는 이들 관련 정보의 조합에 따라 상기 검색된 정보 레코드들을 소팅하라고 명령한다.

S230 단계 및 S240 단계는 검색, 필터링, 및/또는 소팅이 복합적 동작으로 수행되는 복합적 단계이다.

S250 단계에서, 검색, 필터링, 및/또는 소팅된 정보 레코드들이 전자 장치 상에 실행되는 소정 어플리케이션으로 전송된다. 정해진 어플리케이션은 요청에 따라 코딩될 수 있다.

S260 단계에서, 퍼스널 일지(200)로부터 정보를 검색하라는 검색 명령이 종료된다.

S230 단계에서, 요청에 포함된 명령에 따른 정보 검색에는 대피 저장부로서 기능하는 외부 일지 저장부로부터의 정보 검색을 수반할 수 있다. 정보 요청에 따라 매치하는 정보 레코드들의 선택이 라벨 정보, 인덱스 정보 및/또는 링크(참조) 정보를 포함하는 일지 ID 저장부(212)와 관련해 수행될 수 있다. 실제 정보는 대피 저장부, 즉 해당 일지 ID 저장부(231) 및 검색될 정보를 포함하는 일지 정보 저장부(232)를 포함하는 외부 일지 저장부(230)로부터의 해당 링크(참조) 정보를 활용함으로써 검색된다.

예를 들어, 본 발명의 일실시예에 따른 퍼스널 일지를 구축하고 있는 모바일 통신 단말기 장치에서 볼 때, 최근에 걸었던 전화 번호들, 최근 수신한 전화 통화들 또는 최근 부재중 걸려 왔던 전화 통화들을 검색하라는 명령(동작 메뉴 항목)과 같은 고정된 장치 사양 또는 어플리케이션 사양의 사용자 선택을 통해 정보를 검색하라는 요청이 발생되어 퍼스널 일지로 보내질 수 있다. 최근 걸었던 전화 번호들, 최근 수신한 전화 통화들 또는 최근 부재중 걸려 왔던 전화 통화들에 대한 정보를 퍼스널 일지로부터 검색하라는 해당 요청의 발생은 소정 어플리케이션 기능을 선택하거나 모바일 통신 단말기 장치의 소정 전용 키를 작동시킴으로써 시작될 수 있다. 일지가 모든 사용자 입력 정보, 컨텍스트 정보 및 통신 세부 정보를 기록(로그)하기 때문에, 해당하는, 검색할 개개의 정보들은 퍼스널 일지에 존재하며 그에 따라 사용자에게 제공된다. 이와 마찬가지로, 마지막 트랜잭션등에 대한 히스토리 리스트가 사용자에 의해 요청되어 그에 따라 최종적으로 사용자에게 제공될 수 있다.

본 발명의 일실시예에 따른 퍼스널 일지를 구축하고 있는 전자 장치에서 볼 때, 요청에는, 사용자 입력 텍스트 스트링(가령, 이름, 어드레스 등)이 포함될 수 있고, 그에 따라 매치하는 텍스트 정보를 포함하는 정보 레코드들이 검색될 것이다. 이 예는 걸었던 전화 번호에 대한 정보 레코드, 캘린더 엔트리에 대한 정보 레코드, 퍼스널 전화 디렉토리 편집에 대한 정보 레코드, 및 입력된 텍스트 스트링을 포함하는 부가적 정보 레코드들과 같은 여러 개의 서로 다른 정보 레코드들을 포함하는 응답을 생성시킬 수 있다. 퍼스널 일지로부터 매치하는 정보 레코드들을 검색하기 위해, 입력된 텍스트 스트링은 정보 레코드들과 연관된 라벨 및/또는 인덱스 정보와 비교되거나, 정보 레코드들의 전체 정보 콘텐츠와 비교될 수 있다.

본 발명의 일실시예에 따른 퍼스널 일지를 구축하고 있는 전자 장치에서 볼 때, 요청에는 어플리케이션 컨텍스트와 결부된 정보가 포함될 수 있다. 예를 들어, 사용자는 사용자 전화 디렉토리 사이를 현재 스크롤하여 그가 추가 정보를 검색하고 싶어하는 이름을 찾아낸다. 사용자 명령에 따라, 퍼스널 일지로부터 정보를 검색하라는 요청이 생성되고, 이 요청에는 가령 퍼스널 전화 디렉토리에서 상기 찾아낸 엔트리의 지칭이 포함된다. 이에 따라, 퍼스널 일지는 그 안에 기록되고 저장되며 현 어플리케이션 컨텍스트로부터 추출한 상기 주어진 지칭과 매치하는 모든 정보를 제공한다. 소정 어플리케이션 컨텍스트에 따른 일지 정보 요청의 생성은 유사한 컨텍스트를 가진 다른 어플리케이션들 및/또는 장치 기능들에도 역시 적용될 수 있다.

요청의 결과로서, 검색되어 최종적으로 제공된 일지 정보는 소정의, 혹은 사용자가 정의한 방식으로 필터링 또는 소팅될 수 있다. 히스토리 리스트들은 보통 연대기적으로(뒤로) 소팅되고, 소정 수의 엔트리들로 제한된다(가령, 10개의 엔트리들). 이와 달리, 검색된 정보 레코드들의 소팅이 사용 빈도 정보에 기반할 수도 있는데, 이것은 낮은 사용 빈도를 가진 정보 레코드들은 정보 레코드들의 결과적 시퀀스의 마지막에 소팅되거나 필터링되어 배제된다는 것을 의미한다. 컨텍스트 정보가 효율적이고도 유용한 소팅 및 필터링을 가능하게 하는 방대한 수의 개별 정보를 제공하기 때문에 추가 소팅 및 필터링 절차들이 가능하게 된다.

퍼스널 일지는 상술한 저장 구조를 체계화하는 데이터베이스 기술에 기반할 수 있다. 게다가 라벨/인덱스 정보의 코딩은 장치 종속적 마크업 언어 코딩에 기반할 수 있다. 퍼스널 일지에 의해 관리되는 데이터의 적절한 코딩 기술은, 해당 문서 타입 설명(DTD) 및 관련 마크업 언어 표현과 함께 확장형 마크업 언어(XML) 또는 바이너리 인코딩된 XML에 따른 코딩 기술일 수 있다.일지 데이터의 콘텐츠 및 프레젠테이션/조직은 따로따로 구성되고 컨텐츠는, 범 자원 로케이터(URL), 범 자원 표시기(URI) 및 그에 비교할만한 자원 어드레싱 방식과 함께 제공되는 것과 같은 어드레스 정보(참조 정보)에 의해 조회될 수 있다.

다음 섹션들은 퍼스널 일지에 의해 수행되는 상이한 동작들과 관련되고 검색을 위해 제공될 기록할 소정 사용자 제공 정보에 대한 것이다. 첫 번째 상세 설명은 전자 캘린더 및 그 캘린더 엔트리들로부터 얻어진 정보와 함께 사용자 제공 정보를 라벨링 및/또는 인덱싱하는 것과 관련된 것이다. 두 번째 상세 설명은, 사용자 제공 오디오 정보와 함께 오디오 리코딩 중에 행해지는 사용자 액션으로부터 얻어지거나 오디오 리코딩 중의 사용자 액션들에 의해 제공되는 정보를 라벨링 및/또는 인덱싱하는 것에 대한 것이다. 세 번째 상세 설명은 임의 타입의 정보를 사용자 제공 오디오 정보 안에 내장시키는 방법에 대한 것이다. 특히, 이 방법은 오디오 클립 주변 또는 안의 내장 문자들(심볼들)에 대한 언어 인코딩 시스템 및 알파벳에 기반하는 새로운 타입의 마크업 언어 인코딩을 정의한다.

II. 멀티미디어 정보의 컨텍스트 라벨링

상술한 바와 같은 퍼스널 일지 및 공통적 정보 검색 시스템들, 특히 멀티미디어 정보(데이터) 검색 시스템들과 관련하여, 상기 시스템들은 신뢰성 있는 검색을 가능하게 하고 유용한 결과를 제공하기 위해 신뢰성 있는 속성들(여기서는 라벨 정보 및/또는 인덱스 정보라고 명명됨)을 활용해야 한다. 그러나, 비디오 또는 오디오 시퀀스들과 같은 멀티미디어 정보로부터 자동으로 추출될 수 있는 대부분의 속성들은 사용자 관점에서 컬러, 텍스춰 등과 같이 덜 중요하거나 사람, 물건 등과 같이 덜 신뢰할 수 있는 것일 수 있다.

기존의 멀티미디어 정보 검색 시스템들은 여러 단점들을 노출한다. 멀티미디어 정보의 수동적 라벨링의 경우, 높은 신뢰성을 얻을 수 있는데, 이 높은 신뢰성은 당연히 필요로 되고 바람직한 검색 결과들의 높은 정밀도를 특정해야 한다. 그러나, 수동적 라벨링은 상기 멀티미디어 정보 검색 시스템의 사용자(들)로 하여금 앞으로의 사용을 위해서도 포괄적이고 사용 가능한 유용한 라벨 정보를 포함하는 라벨링을 확실하게 유지하도록 압박한다. 또 그와는 달리, 멀티미디어 정보의 라벨링이, 필요하지 않을 수 있는 높은 데이터 프로세싱 능력을 필요로 하는 까다로운 프로세스인, 멀티 미디어 정보 안의 사람들에 대한 검출, 가령, 얼굴 인식, 또는 음성 인식 등의 자동 데이터 분석에 기반할 수도 있다. 그 외에, 시각적으로나 청각적으로 인식될 모든 사람들에 대해 양호한 비주얼 모델이나 청각적 패턴이 요구된다. 따라서, 어떤 모델/패턴 베이스에 속하지 않는 사람들은 인식될 수가 없다. 게다가, 특정 사람과 관련하여 연관되었다고 간주되는 멀티미디어 정보는 이 사람을 직접적으로 포함하는 정보 오브젝트들, 즉, 자동 인식을 말하는 경우 그의 얼굴, 목소리로 한정된다.

따라서, 본 발명은 특히 캘린더 데이터를 가진 멀티미디어 정보와 같은 정보를 라벨링하여 검색에 사용할 수 있는, 높은 신뢰성을 가지면서도 가격 효율적인 속성들을 발생시키는 방법에 관한 것이다. 본 발명의 개념은 정보를 라벨링/인덱싱하기 위해 캘린더 엔트리들을 활용한다. 이러한 종류의 라벨링/인덱싱은 그로부터 얻어진 컨텍스트 정보가 사용자 본인에 의해 수동적으로 주어졌기 때문에 신뢰할 수 있다고 전제되고, 사용자가 아는 것을 치는 일은 퍼스널 캘린더 안에서 사용자에 의해 이미 저장되어 있던 정보만을 목적으로 하기 때문에 이러한 수동의 컨텍스트 정보 입력의 이용은 가격 면에서 효율적이다.

라벨/인덱스 정보에 대한 이하의 설명은 주로 이미지, 사진, 유언 서류, 슬라이드 시퀀스, 비디오 시퀀스 등과 같이 공통적으로, 라벨링 및/또는 인덱싱하기 위한 신뢰성 있는 정보의 추출이 어렵거나 심지어는 불가능한 멀티미디어 정보에 대해 주어질 수 있다. 위에서 주어진 도입부는 그 설명이 비록 멀티미디어 정보를 말하고 있다고 해도 임의의 정보에 대해 적용될 수 있기 때문에 발명의 개념이 멀티미디어 정보에 한정되는 것은 아님을 알아야 한다.

전자 캘린더들이 사용자들에게 제공하는 이점들로 인해 전자 캘린더들의 사용이 널리 확산되고 있다. 전자 캘린더들은 전반적인 모양새에 어떤 부정적 영향을 주지 않으면서, 필요로 되고/거나 원하는 만큼 엔트리들의 편집, 수정, 삭제를 할 수 있게 한다. 캘린더 엔트리들은 시간 및/또는 날짜에 의해 유발되는 경고들을 정의할 수 있게 한다. 또, 캘린더 엔트리들은 서로 링크되고 내부적으로 링크되어 있어, 캘린더 엔트리에 포함되어 퍼스널 전화 디렉토리와 상호 링크되어 있는 연락 정보와 같은 정보가, 빠르고 용이하게 어떤 전화 디렉토리 엔트리를 선택하기 위해 다른 어플리케이션들로 보내지거나 그로부터 보내질 수 있다.

멀티미디어 정보를 라벨링/인덱싱하기 위해 캘린더 정보를 이용하는 것은 라벨링/인덱싱될 멀티미디어 정보와 관련된 컨텍스트 정보 뿐 아니라 캘린더 정보의 의미론적 구조와 관련한 소정의 선행 요건을 필요로 한다.

소정 이벤트와 연관된 전자 캘린더 안의 모든 엔트리들은 의미론적으로 구성되어야 한다. 캘린더 엔트리들에 대한 의미론적 구조의 일부로서 다음과 같은 필드들이 멀티미디어 정보의 라벨링에 유용하게 나타난다:

- "날짜": 이 필드는 이벤트가 발생하는 날짜를 포함할 것이다;

- "시간": 이 필드는 이벤트가 발생하는 시간의 때 또는 시간의 주기를 포함할 것이다;

- "누구": 이 필드는 전자 캘린더의 소유자 외에 이벤트 참가자들을 포함할 것이다;

- "어디": 이 필드는 이벤트가 발생한 위치에 대한 정보를 포함할 것이다;

- "메모": 이 필드는 임의의 자유로운 메모들을 포함할 것이다;

- "타입": 이 필드는 회의, 전화 통화, 전화 회의, 레저 활동 등과 같은 이벤트 타입에 대한 정보를 포함할 것이다;

- "중요도": 이 필드는 이벤트의 중요성에 대한 등급 정보를 포함할 것이다.

상기 캘린더 엔트리들의 의미론적 구조는 단지 예일 뿐이다. 본 발명의 개념은 기본적으로, 전자 캘린더 자체의 개념에 따라 특정하게 구축된 의미론적 구조로부터 독자적으로 사용 가능한 캘린더 엔트리들의 날짜 및 시간 정보를 필요로 한다. 캘린더 엔트리들의 의미론적 구조는 멀티미디어 정보의 라벨링/인덱싱과 관련된다. 최종적으로 멀티미디어 정보와 결부되는 라벨 및/또는 인덱스 정보가 캘린더 엔트리들로부터 추출되어, 제안된 의미론적 구조가 그 추출된 라벨 및/또는 인덱스 정보가 신뢰성 있고 합당하다는 것을 보장한다. 캘린더 엔트리들의 제안된 의미론적 구조는 본 발명의 개념의 범주를 벗어나지 않으면서 소정 조건으로 변경, 수정 또는 적응될 수 있다.

도 3a는 두 개념적 구조의 캘린더 엔트리 #i 및 #j를 도시한 것이다. 캘린더 엔트리들은 캘린더 엔트리들에 포함되는 정보를 신뢰성 있게 구축하기 위해 위에서 제안된 의미론적 필드들을 포함한다. 첫 번째 예인 캘린더 엔트리 #i는 북극(필드 "어디") 근처에서 산타클로스와 "빨간 코" 루돌프 사슴(필드 "누구)와 함께 2002년 12월 6일 금요일(필드 "날짜")에 오후 6시에서 시작하여 오후 7시에 끝나는(필드 "시간") 회의(필드 "타입")를 특정한다. 캘린더 엔트리 #i는 자유 텍스트 메모(필드 "메모")도 포함한다. 두 번째 예인 캘린더 엔트리 #j는 제인(필드 "누구)과 2002년 12월 6일 금요일(필드 "날짜")에 오후 7시 10분에 시작하여 오후 7시 25분에 끝나는(필드 "시간") 전화 회의(필드 "타입")를 특정한다. 캘린더 엔트리 #j는 자유 텍스트 메모(필드 "메모")도 포함한다.

캘린더 엔트리들인 #i 및 #j의 예에서 제안된 캘린더 엔트리들의 의미론적 구조가 매우 유용함을 알 수 있는데, 이는 그 의미론적 구조가, 캘린더 엔트리들로부터 추출되고 라벨링/인덱싱 멀티미디어 정보에 사용되어 그 정보에 기반해 검색이 이뤄지는 경우 높은 검색 정밀도를 보장하는 신뢰성 있는 정보를 나타내기 때문이다. 예를 들어 멀티미디어 정보가 "누가" 필드로부터 신뢰성 있게 추출될 수 있는 이름 정보를 가지고 라벨링 및/또는 인덱싱되거나, 멀티미디어 정보가 "어디" 필드로부터 신뢰성 있게 추출될 수 있는 장소 정보를 가지고 라벨링 및/또는 인덱싱될 수 있다.

라벨링/인덱싱에 사용될 의미론적 구조의 캘린더 엔트리들로부터 추출된 이러한 종류의 정보가 어떤 다른 캘린더 엔트리들의 구조로도 변경될 수 있음을 알아야 한다.

어떤 시점이나 시간의 주기나 라벨링/인덱싱될 멀티미디어 정보로 할당될 수 있어야 한다. 예를 들어 멀티미디어 정보의 개인적 모음이 제공되어 사용되는데, 이 모음은 사용자 생활의 개인적 기록을 반영한 것이다. 이 모음에는 연속 멀티미디어 기록, 자동 촬영된 멀티미디어 스냅 샷들이나 수동적으로 유발된 멀티미디어 스냅 샷들이 포함되고, 여기서 스냅 샷이란 이미지, 사진, 사진 시퀀스, 비디오 시퀀스, 유언 무서 등을 포함하는 임의의 타입의 멀티미디어 정보의 기록을 수행하기 위한 일반 용어로서 사용된다. 타임 스탬프들이 멀티미디어 정보의 개인적 모음의 각 엔트리들에 대해 첨부될 수 있으며, 여기서 타임 스탬프들은 기록이 수행된 순간이나 시기를 특정할 수 있다.

본 발명의 개념은 캘린더 엔트리들에 의해 제공된 시간 정보를 멀티미디어 정보와 연관된 시간 정보(타임 스탬프들)과 매치함으로써 캘린더 엔트리들과 멀티미디어 정보를 결부시킨다는 메인 아이디어에 기반하고 있다. 그로부터 얻어진 시간 정보의 매칭은, 하나 이상의 캘린더 엔트리들을 하나 이상의 멀티미디어 정보 시퀀스들과 결부시키고, 특히 매치된 하나 이상의 캘린더 엔트리들로부터 추출된 정보를 하나 이상의 멀티미디어 정보 시퀀스들의 라벨/인덱스 정보로서 할당할 수 있게 한다. 즉, 전자 캘린더는 소급하는 방식으로 멀티미디어 정보를 라벨링/인덱싱하는데 사용된다.

따라서, 멀티미디어 정보는 라벨 정보가 멀티미디어 정보에 명확하게 할당되는 특정 라벨 정보 뿐 아니라, 하나 이상의 매치된 캘린더 엔트리들로부터 추출할 수 있고 일반적 의미에서 연관된 정보를 가지고도 라벨링 된다.

이러한 종류의 라벨링에 있어서 보다 나은 정확도를 제공하기 위해, 소위 멤버십 등급(cf. 퍼지 셋 이론)의 어떤 할당이 알맞을 수 있다. 이때 멤버십 등급은 캘린더 엔트리에 의해 규정된 타임 프레임 안에서의 기록의 특정 시간 종속성에 좌우된다.

도 3b는 본 발명의 일실시예에 따른 소정 이벤트들에 멤버십 등급을 연관시키는데 사용되는 멤버십 함수의 예를 도시한 그래프이다. 횡축은 시간 값들을 포함하고, 종축은 멤버십 등급을 포함한다. 예를 들어, 스케줄 상의 회의는 "시작" 시간에 시작하여 "종료" 시간에 마쳐진다. "시작"과 "종료" 사이의 시간의 기간이 이 회의의 타임 프레임이다. "시작" 및 "종료" 시점 모두 도 3b에 도시된 그래프에 표시되어 있다.

두 개의 멤버십 함수들의 예가 이 타임 프레임에 할당된다. 제1멤버십 함수와 제2멤버십 함수는 모두 캘린더 엔트리의 타임프레임 시작 전에 최초의 분명한 시점에서 멤버십 기울기 값 0부터 증가하기 시작한다. 계속해서, 이 멤버십 함수들은 서로 다른 기울기를 가지고 소정의 서로 다른 시간 주기의 타임프레임 안에서 유효하게 되기 전에 최대 멤버십 등급 값 1까지 증가한다. 이어서, 이 멤버십 함수들은 서로 다른 기울기를 가지고 다시 감소되어 캘린더 엔트리의 타임프레임의 종료 후 두 번째의 분명한 시점에서 0이 된다.

타임프레임의 실제적 시작 전의 멤버십 함수의 증가와, 타임프레임의 실제적 종료 후의 멤버십 함수의 감소는, 멀티미디어 정보의 타임스탬프가 타임프레임 안에 있고 개개의 캘린더 엔트리의 타임프레임과 관련해 멤버십 함수의 초과 규정 영역에 의해 정의된 시간의 투영 기간에 속하는 경우, 멀티미디어 정보가 그 타임프레임이 속한 각각의 캘린더 엔트리와 결부되게 만든다. 이하에서 이를 명확히 하기 위해 예들이 주어진다.

단순하게 하기 위해, 제1 및 제2멤버십 함수들 모두의 증가 포인트(위에서 제1시점으로 표시됨)와 도달 포인트(위에서 제2시점으로 표시됨)는 동일하게 선택되고 멤버십 함수들은 섹션별 선형 커브들로서 정의된다. 멤버십 함수의 전체적인 모양과 함께 증가 및 도달 포인트는 그려진 예들에 국한되는 것이 아니며, 어떤 형태의 시작 및 종료 포인트들이라도 있을 수 있다. 구현된 확률분포는 멀티미디어 정보 및 전자 캘린더 둘 모두의 소유자가 되는 사용자의 습관에 기반할 수 있다. 그러나, 활용되는 분포는 오직 한번만 수동으로 조정되어야 된다. 그 후 그 조정된 분포는 과거에 기록되었고 앞으로 기록될 모든 멀티미디어 정보 및 캘린더 엔트리들에 대해 유효하다.

도 3c는 본 발명의 일실시예에 따른 멀티미디어 정보의 하나 이상의 라벨/인덱스 정보를 생성하는 동작 시퀀스를 도시한 것이다.

기본적으로, 개념적 아이디어는 도 3c에 도시된 동작들의 선택 동작들로 감축될 수 있다. 도달할 목표는 하나 이상의 캘린더 엔트리들과 그 하나 이상의 캘린더 엔트리들로부터 추출된 정보를 가지고 멀티미디어 정보를 라벨링 및/또는 인덱싱하는 것이다.

첫 번째 단계에서, 처리할 멀티미디어 정보와 관련된 타임스탬프가 정해진다. 타임스탬프는 사용 가능한 캘린더 엔트리들과 비교되며 그로부터 매치된 것들이 선택된다. 매치된 캘린더 엔트리들의 타임프레임들에 할당된 상기 멤버십 함수로부터 멤버십 등급들이 얻어지고, 이때 각각의 멤버십 등급은 각각의 매치된 캘린더 엔트리들과 관련되어 있다. 마지막으로 멀티미디어 정보가 하나 이상의 매치된 캘린더 엔트리들을 가지고 라벨링/인덱싱되고, 상기 하나 이상의 매치된 캘린더 엔트리들로부터 추출된 정보가 멀티미디어 정보를 라벨링/인덱싱하는데 사용된다.

이하의 동작 시퀀스에 대한 설명은 본 발명의 실시예에 따른 멀티미디어 정보 라벨링 방법에 대한 보다 상세한 설명에 대한 것이다.

S300 단계에서, 멀티미디어 정보를 라벨링하는 방법이 시작된다.

S310 단계에서, 멀티미디어 정보의 기록 이벤트와 관련된 어떤 시점이나 시기가 각각 얻어진다. S315 단계에서, 멀티미디어 정보와 관련된 시점 또는 시기는 멀티미디어 정보로부터 추출되거나, 멀티미디어 정보와 함께 제공되거나 멀티미디어 정보에 할당된 정보로부터 각각 검색될 수 있다.

S320 단계에서, 시점이나 시기가 멀티미디어 정보와 결부되어 있는지의 여부가 검출된다. 연관되었다고 판단된 시점의 경우, 동작 시퀀스는 S325 단계에서 계속되고, 반면 그와 다른 경우, 즉 관련되었다고 판단된 시기의 경우, 동작 시퀀스는 S355 단계에서 계속된다.

S325 단계에서, 사용 가능한 캘린더 엔트리들의 총수가 매치된 캘린더 엔트리들을 찾기 위해 서치된다. 즉, 얻어진 시점이 캘린더 엔트리들의 타임프레임들 및 확장된 타임프레임들과 각각 비교되고, 여기서 확장된 타임프레임은 캘린더 엔트리의 한 타임프레임에 할당되어 사용한 멤버십 함수가 0이 아닌 시기라고 정의된다. 캘린더 엔트리는 상기 시점이 각각 타임프레임과 확장된 타임프레임 안에 있는 경우 매치된다.

S330 단계에서, 각각의 매치된 캘린더 엔트리에 대해 다음과 같은 단계들(S335에서 S345)이 수행된다.

S335 단계에서, 멀티미디어 정보와 관련되었다고 판단된 시점에 따라 현재 선택된 매치하는 캘린더 엔트리의 타임프레임에 할당된 멤버십 함수로부터 멤버십 등급이 정해진다. 멤버십 등급은 현재 선택된 캘린더 엔트리가 어느 유형에서 어느 정도까지 멀티미디어 정보와 관련되는지에 대해 나타내는 신뢰도 값으로서 사용된다.

S340 단계에서, 멀티미디어 정보가 각각 라벨링 및 인덱싱된다. 라벨링/인덱싱은 현재 선택된 캘린더 엔트리로부터 사용가능한 정보, 즉 전체 캘린더 엔트리 자체 또는 캘린더 엔트리에 포함된 전체 정보, 캘린더 엔트리로부터 추출된 선택 정보 등에 기반하며, 여기서 그 추출된 정보는 캘린더 엔트리가 의미론적으로 구성된 정보(필드들)을 포함하는 경우에 사용될 수 있다.

S345의 단계에서, 모든 매치하는 캘린더 엔트리들이 처리되었는지의 여부가 판별된다. 지금까지 처리되지 않은 하나 이상의 나머지 캘린더 엔트리들이 존재하는 경우, 동작 시퀀스는 S330 단계로 돌아가고, 그렇지 않은 경우 동작 시퀀스는 S350 단계에서 계속된다.

S350 단계에서, 멀티미디어 정보를 라벨링하는 방법이 종료된다.

S355 단계에서, 매치하는 캘린더 엔트리들을 찾기 위해 사용 가능한 캘린더 엔트리들의 총수가 서치된다. 즉, 얻어진 시기가 캘린더 엔트리들의 타임프레임들 및 확장된 타임프레임들과 각각 비교되고, 여기서 확장된 타임프레임은 현재 사용된 멤버십 함수에 따른 타임프레임의 시작 및 종료시의 오버헤드에 부가되는 시기라고 정의된다. 캘린더 엔트리는 시기가 타임프레임 및 확장된 타임프레임과 오버랩되는 경우 매치하며, 매치하는 캘린더 엔트리들을 찾기 위해 사용 가능한 캘린더 엔트리들의 총수가 서치된다. 즉, 구해진 시점이 캘린더 엔트리들의 타임프레임들 및 확장된 타임프레임들과 각각 비교되고, 여기서 확장된 타임프레임은 캘린더 엔트리의 타임프레임에 할당된, 사용한 멤버십 함수가 0이 아닌 시기라고 정의된다. 캘린더 엔트리는, 그 시점이 타임프레임 및 확장된 타임프레임 안에 각각 있는 경우에 완전하게, 또는 적어도 부분적으로 매치한다.

S360 단계에서, 각각의 매치하는 캘린더 엔트리에 대해, 다음의 단계들(S365에서 S395)이 수행된다.

S365 단계에서, 멀티미디어 정보와 관련된다고 식별되는 시기가 현재 선택된 캘린더 엔트리의 타임프레임 및 확장된 타임프레임과 각각 부분적으로 매치하는지의 여부가 판별된다. 그 시기와 (뻗어있는) 타임프레임이 부분적으로 오버랩하는 경우, 동작 시퀀스는 S367 단계부터 시작한다. 그 시기와 (뻗어있는) 타임프레임의 주기가 완전히 오버랩하고 그 시기가 (뻗어있는) 타임프레임 안에 있는 각각의 경우, 동작 시퀀스는 S370 단계에서 재개된다.

S367 단계에서, 멀티미디어 정보는 해당 섹션의 시기들을 포함하는 멀티미디어 정보의 하나 이상의 섹션들로 분할된다. 해당하는 관련된 분할 시기를 가진 섹션 중 하나가 현재 선택된 캘린더 엔트리의 타임프레임 및 확장된 타임프레임과 각각 매치된다. 해당하는 관련된 분할 시기들을 가진 나머지 섹션들은 현재 선택된 캘린더 엔트리의 타임프레임 및 확장된 타임프레임과 매치하지도 오버랩되지도 않는다.

S370 단계에서, 멀티미디어 정보는 해당하는 구획의 시기를 가진 멀티미디어 정보의 하나 이상의 부분들로 구획된다. 가능하다면 그 구획된 시기는 실질적으로 동일한 시간 값, 가령 5 분을 가질 수 있다. 구획에 따라 멀티미디어 정보로부터 얻어진 마지막 부분의 구획 시기의 값은 원하는 시간 값과는 다를 수 있다. 시간의 구획된 주기들의 시간 값은 미리 정의되고/거나 사용자가 정의한 것일 수 있다.

S375 단계에서, 각 부분에 대해 다음과 같은 단계들(S365에서 S395)이 수행된다.

S380 단계에서, 구획된 시기에 따라 현재 선택된 매치하는 캘린더 엔트리의 타임프레임에 할당된 멤버십 함수로부터 멤버십 등급이 정해진다. 멤버십 등급은 현재 선택된 캘린더 엔트리가 상기 현재 선택된 멀티미디어 정보 부분과 임의의 면에서 어느 정도까지 관련되는지를 나타내는 신뢰도 값으로서 사용된다.

S385 단계에서, 멀티미디어 정보가 각각 라벨링 및 인덱싱된다. 라벨링/인덱싱은 현재 선택된 캘린더 엔트리로부터 사용가능한 정보, 즉 전체 캘린더 엔트리 자체 또는 캘린더 엔트리에 포함된 전체 정보, 캘린더 엔트리로부터 추출된 선택 정보 등에 기반하며, 여기서 그 추출된 정보는 캘린더 엔트리가 의미론적으로 구성된 정보(필드들)을 포함하는 경우에 사용될 수 있다.

멀티미디어 정보의 구획에 따라, 할당된 멤버십 등급의 값을 검색 신뢰도를 평가하는 정도로서 증가시키면서, 상기 구획된 멀티미디어 정보가 소정 시간의 주기 동안 섹션 단위로 라벨링 및 인덱싱된다. 구획을 나누는 것이 멀티미디어 정보에 적용되는 정밀한 신뢰도 값의 그리드를 설정할 수 있게 만든다.

S390 단계에서, 구획된 캘린더 엔트리들의 모든 부분들이 처리되었는지의 여부가 판단된다. 아직까지 처리되지 않은 하나 이상의 남은 부분들이 존재하는 경우, 동작 시퀀스는 S375 단계로 리턴하고, 반면 그렇지 않은 경우 동작 시퀀스는 S395 단계에서 재개된다.

S395 단계에서, 모든 매치하는 캘린더 엔트리들이 처리되었는지의 여부가 판단된다. 아직까지 처리되지 않은 하나 이상의 남은 캘린더 엔트리들이 존재하는 경우, 동작 시퀀스는 S360 단계로 리턴하고, 그렇지 않은 경우 동작 시퀀스는 S350 단계에서 재개된다.

S350 단계에서, 멀티미디어 정보를 라벨링하는 방법이 종료된다.

이하의 정보 검색은 결정되고 멀티미디어 정보와 연관된 타이핑된 라벨/인덱스 정보에 기반함이 바람직하지만, 자유로운 텍스트 검색 역시 가능하다.

도 3d는 본 발명의 일실시예에 따른 서로 다른 개별 멀티미디어 데이터의 여러 타임스탬프들 및, 도 3a에 도시된 캘린더 엔트리들에 대당하는 멤버십 함수 그래프들의 예를 나타낸 것이다. 도 3e는 도 3a에 도시되고 본 발명의 일실시에에 따라 얻어지는 캘린더 엔트리들에 따른 인덱스 정보를 포함하는 개개의 멀티미디어 데이터의 선택에 대한 컨텍스트 정보를 묘사한 것이다. 도 3d 및 도 3e는 동일한 멀티미디어 데이터와 관련되는 것으로 아래에서 설명될 것이다.

도 3d에 나타낸 그래프는 캘린더 엔트리 #i와 캘린더 엔트리 #j라는 예에 대한 멤버십 함수들을 포함하는 것으로 모두 시간 축에서 소정의 상이한 오버헤드 만큼 확장되어 있다. 앞에서 언급한 바와 같이 캘린더 엔트리 #i에서 정의된 시간의 주기는 오후 6시부터 오후 7시까지 확장되어 있고, 반면 상응하는 관련 확장 타임프레임은 오후 7:04에서 오후 7:25까지 확장되어 있다. 캘린더 엔트리 #i와 연관된 멤버십 함수와 캘린더 엔트리 #j와 연관된 멤버십 함수 모두 섹션화된 선형 멤버십 함수들이다. 멤버십 함수 #i는 각각 오후 5:58부터 오후 6:02까지 증가하고(멤버십 등급 0에서 멤버십 등급 1까지), 오후 6:46부터 오후 7:06까지 감소하고(멤버십 등급 1에서 멤버십 등급 0으로), 한편 그 사이의 시간은 일정하다(멤버십 등급 0). 멤버십 함수 #j는 각각 오후 7:04부터 오후 7:08까지 증가하고(멤버십 등급 0에서 멤버십 등급 1까지), 오후 7:20부터 오후 7:28까지 감소(멤버십 등급 1에서 멤버십 등급 0으로)하는 한편, 그 사이의 시간은 일정하다(멤버십 등급 1). 멤버십 함수 #i와 멤버십 함수 #j는 감소하는 주기와 관련해 그 모양에서 차이가 난다. 이 예에서, 멤버십 함수들의 모양은 타임프레임의 주기에 좌우될 수 있다.

부가적으로, 오디오 멀티미디어 데이터 #a, 오디오 멀티미디어 데이터 #b, 및 오디오 멀티미디어 데이터 #c를 기록한 시간 주기들과 관련된 시기들이 회색으로 칠한 수평 막대기들로서 개략적으로 나타낸 멤버십 함수들이다. 또, 이미지 멀티미디어 데이터 #a, 이미지 멀티미디어 데이터 #b를 촬상한 순간들과 관련된 시간의 순간들이 회색 점들의 멤버십 함수들로서 개략적으로 도시되어 있다. 오디오 멀티미디어 데이터 #a, 오디오 멀티미디어 데이터 #b, 및 오디오 멀티미디어 데이터 #c 각각의 정확한 시간의 주기들과, 이미지 멀티미디어 데이터 #a 및 이미지 멀티미디어 데이터 #b의 시간의 순간들을 도 3e에 도시된 각각의 컨텍스트 정보에서 알 수 있다.

오디오 멀티미디어 데이터 #a는 오후 6:14에서 오후 6:22까지 확장하는 시간의 주기 안에서 기록된다. 라벨 정보를 생성하는 상술한 방법에 따르면, 오디오 멀티미디어 데이터 #a의 시간의 주기는 캘린더 엔트리 #i의 (뻗어있는) 타임프레임과 매치하고, 오디오 멀티미디어 데이터 #a는 6분이라는 구획 시간 값에 따라 두 부분으로 구획된다. 첫 번째 부분은 오후 6:14부터 오후 6:20 확장되고 제2부분은 오후 6:20부터 오후 6:22까지 뻗어있는다. 제1 및 제2부분은 캘린더 엔트리 #i의 확장된 타임프레임 안에 있어서, 오디오 멀티미디어 데이터 #a의 두 부분들 모두가 캘린더 엔트리 #i(여기 도시된) 또는 캘린더 엔트리 #i로부터 얻어진 정보(미도시)를 가지고 라벨링/인덱싱된다. 두 부분들의 멤버십 등급 모두 μ=1.0으로 정해진다. 그 부분들(인덱스 1 및 2로 나타낸)은 이들 각각의 멤버십 등급에 따라, 그리고 자신들의 구획된 시간 주기에 맞춰 도 3d에 도시된 그래프에서 검은색 수평 막대기로서 더 묘사되어 있다.

오디오 멀티미디어 데이터 #b는 오후 6:46부터 오후 7:10까지 확장하는 시간의 주기 안에서 기록된다. 라벨 정보를 생성하는 상술한 방법에 따라, 오디오 멀티미디어 데이터 #b의 시간의 주기는 캘린더 엔트리 #i의 (뻗어있는) 타임프레임 및 캘린더 엔트리 #j의 (뻗어있는) 타임프레임과 매치한다. 따라서, 라벨링/인덱싱은 캘린더 엔트리 #i 및 캘린더 엔트리 #j 모두에 대해 수행된다.

제1섹션에서, 캘린더 엔트리 #i를 참조한 라벨링/인덱싱이 설명될 것이다. 오디오 멀티미디어 데이터 #b의 시간의 주기는 캘린더 엔트리 #i의 (뻗어있는) 타임프레임과 매치하지만 알맞지는 않으므로 오디오 멀티미디어 데이터 #b는 섹션화되어 오후 6:46부터 오후 7:06까지 뻗어있는 알맞은 오디오 멀티미디어 데이터 #b가 추가로 처리될 것이다. 알맞은 오디오 멀티미디어 데이터 #b 섹션은 6분이라는 구획 시간값에 따라 네 개의 부분들로 구획되어, 제1부분은 오후 6:46에서 오후 6:52까지 확장하고, 제2부분은 오후 6:52부터 오후 6:58까지 뻗어있고, 제2부분은 오후 6:58부터 오후 7:04까지 뻗어있고, 제4부분은 오후 7:04부터 오후 7:06까지 뻗어있다.

이 제1 내지 제4 부분들은 캘린더 엔트리 #i의 확장된 타임프레임 안에 존재하므로, 이들 오디오 멀티미디어 데이터 #b의 부분들이 캘린더 엔트리 #i(여기 도시됨) 또는 캘린더 엔트리 #i로부터 얻어진 정보(미도시)를 가지고 각각 라벨링/인덱싱된다. 제1부분의 멤버십 등급은 μ=0.85로 정해지고 이것은 이 시간 주기의 멤버십 함수의 모양과 관련해 제1부분에 대한 시간 주기 전체 걸쳐 얻어진 평균 멤버십 등급을 나타낸다. 마찬가지로, 제2부분의 멤버십 등급은 μ=0.55로 정해지고, 제3부분의 멤버십 등급은 μ=0.24라고 정해지며, 제4부분의 멤버십 등급은 μ=0.05라고, 각각 정해지다. 이 부분들(인덱스 1, 2, 3, 4로 나타냄)은 도 3d의 그래프에서 그들 각자의 멤버십 등급에 따라 각자의 구획된 시간 주기들에 맞춰 검정 색으로 칠해진 수평 막대기들로서 부가적으로 도시되고 있다.

제2섹션에서 캘린더 엔트리 #j를 참조해 라벨링/인덱싱하는 것에 대해 설명한다. 오디오 멀티미디어 데이터 #b의 시간 주기는 캘린더 엔트리 #j의 (뻗어있는) 타임프레임과 매치는 하지만 알맞지는 않으므로 오디오 멀티미디어 데이터 #b가 섹션화되고 오후 7:04부터 오후 7:10까지 뻗어있는 알맞은 오디오 멀티미디어 데이터 #b 섹션이 더 처리될 것이다. 알맞은 오디오 멀티미디어 데이터 #b 섹션은, 나머지 섹션의 시간 주기가 구획 시간 값과 일치하기 때문에 더 이상 구획되지 않는다.

그 섹션/부분이 캘린더 엔트리 #j의 확장된 타임프레임 안에 있으므로 오디오 멀티미디어 데이터 #b의 이 섹션/파트가 캘린더 엔트리 #j(여기 도시됨) 또는 캘린더 엔트리 #j로부터 얻어진 정보(미도시)를 가지고 각각 라벨링/인덱싱된다. 그 섹션/부분의 멤버십 등급은 μ=0.67이라고 정해진다. 그 부분(인덱스 5로 나타냄)은 도 3d에서 각자의 멤버십 등급에 따라, 그리고 시간의 주기에 맞춰 검은 색으로 칠해진 수평 막대기들로서 추가적으로 도시되고 있다.

소정 시간의 주기 내에서의 멤버십 등급은 멤버십 함수로부터 여러가지 방식으로 얻어질 수 있다. 상술한 방식은 그 소정 시간 주기 안에서의 멤버십 등급 값들의 평균화 프로세스에 관한 것이다. 이와 달리, 멤버십 등급이 그러한 소정 시간으 주기 안에 존재하는 최대 또는 최소 멤버십 등급을 각각 추출함으로써 얻어질 수도 있다. 또, 민감한 멤버십 등급들을 얻기 위해 수학적 방법 역시 가능하여 적용될 수 있다.

오디오 멀티미디어 데이터 #c는 오후 7:12부터 오후 7:28에 걸친 시간의 주기 안에서 기록된다. 라벨 정보를 생성하는 상술한 방법에 따르면, 오디오 멀티미디어 데이터 #c의 시간의 주기가 캘린더 엔트리 #j의 (뻗어있는) 타임프레임과 매치되므로, 오디오 멀티미디어 데이터 #c는 구획 시간 값에 따라 오후 7:12부터 오후 7:18에 걸친 제1부분, 오후 7:18에서 오후 7:24에 걸친 제2부분, 또한 오후 7:24부터 오후 7:28에 걸쳐있는 제3부분의 세 부분들로 구획된다. 제1, 제2부분, 그리고 제3부분은 캘린더 엔트리 #j의 확장된 타임프레임 안에 있으므로, 오디오 멀티미디어 데이터 #c의 그 세 부분들이 각각 캘린더 엔트리 #j(여기 도시됨)나 캘린더 엔트리 #j로부터 얻어진 정보(미도시)를 가지고 라벨링/인덱싱된다. 각각, 제1부분의 멤버십 등급은 μ=1.0이라고 정해지고, 제2부분의 멤버십 등급은 μ=0.92라고 정해지며, 제3부분의 멤버십 등급은 μ=0.25라고 정해진다. 이 부분들(인덱스 1, 2, 3으로 표시된)은 도 3d에 도시된 그래프에서 각자의 멤버십 등급에 따라 각자 구획된 시간 주기에 맞춰 검은 색으로 칠해진 수평 막대기들로서 추가적으로 도시되어 있다.

이미지 멀티미디어 데이터 #a 및 이미지 멀티미디어 데이터 #b가 오후 6:42 및 오후 18:43에서 취해지고, 이 시점들은 캘린더 엔트리 #i의 (확장된) 타임프레임 안에 있다. 라벨 정보를 생성하는 상술한 방법에 따라, 이미지 멀티미디어 데이터 #a 및 이미지 멀티미디어 데이터 #b가, 각각 캘린더 엔트리 #i(여기 도시됨)나, 캘린더 엔트리 #i로부터 얻어진 정보(미도시)를 가지고 라벨링/인덱싱된다. 이미지 멀티미디어 데이터 #a 및 이미지 멀티미디어 데이터 #b의 멤버십 등급은 μ=1.0이라고 정해진다. 이미지 멀티미디어 데이터 #a 및 이미지 멀티미디어 데이터 #b는 도 3d에 도시된 그래프에서 각자의 멤버십 등급에 따라 각자의 시점에 상응하여 검은 색의 점들로서 도시되고 있다.

멀티미디어 정보에 캘린더 엔트리 정보를 부속시키기 위해 실시된 상술한 방법은 타임스탬프 비교 동작에 기반하고 있다. 추가 컨텍스트 및 센서 정보가 멀티미디어 정보의 라벨링 동작시 포함될 수 있다. 멀티미디어 정보를 부속시키기 위한 한가지 가능한 관련 추가 정보가 지리적 위치의 형태, 또는 지도 위치 정보 형태로 된 위치 정보이다. GPS 장치들이나 위치 서비스를 수행하는 모바일 통신 단말기 장치와 같은 기존의 장치들은 그 장치들의 위치 정보 상의 데이터를 제공한다. 타임스탬프들에 기반하여, 위치/지리 정보 및 멀티미디어 정보 위치/지리 정보 모두 멀티미디어 정보에 부속될 수 있다.

GPS 수단들 등에 의해 제공되는 위치/지리 정보가 어떤 경우들에서는 충분하지 않을 수 있다; 반면 캘린더 엔트리 정보에 의해 제공되는 위치 정보의 해상도는 사용자 지시(거리 번호, 층 번호, 방 번호 등)에만 의존하고 있다. 두 유형의 정보, 즉 GPS 데이터 및 캘린더 엔트리의 일부로서의 위치 등과 같은 위치/지리 정보가 사용되는 경우, 보다 양호한 정확도를 가진 하나가 선택되어야 한다. 동시에, 다른 데이터는 그 사용된 위치/지리 정보를 평가하기 위해 이용될 수 있다. 가령 GPS 성분으로부터 얻어진 위치/지리 정보 역시 온전한 캘린더 엔트리를 평가하고/거나 그 캘린더 엔트리와 관련해 정해진 멤버십 등급에 도움이 되기 위해 사용될 수 있다.

퍼스널 캘린더 엔트리들을 이용한 퍼스널 멀티미디어 정보의 라벨링은 멀티미디어 정보의 라벨링/인덱싱 및 뒤이은 검색을 향한 매우 신뢰성있는 방법을 제공한다. 멀티미디어 정보의 콘텐츠 분석 방법과는 반대로, 이러한 진보한 방법은 보다 나은 리콜 및 보다 나은 정확도를 제공한다. 또, 검색 품질의 이득이, 사용자와 계산 비용 면에서 모두 필요로 되는 모든 종류의 노력들을 포함해서 거의 어떤 추가 비용도 없이 얻어지게 된다.

정보 검색에 사용될 메타 정보를 추출하는 본 발명의 방법은 방대한 량의 메타 정보를 임의의 사용자 제공 정보(멀티미디어 정보)와 결부시킨다. 각각의 캘린더 엔트리와 시간상에서 오버랩되는 각각의 사용자 제공 정보는 각 캘린더 엔트리에 포함되는 정보에 의해 주어지는 검색용 메타 정보와 같이 주어진다. 이것은, 가령 회의 멤버인 사람들에 대한 정보를 구비하는 이름 필드와 관련해서, 가령 기록된 구술, 이미지, 문서와 같이 다운로드된 정보 등의 사용자 제공 정보가 회의 멤버들의 각 이름과 결부되어, 회의 멤버들의 이름 중 하나에 의한 검색이 회의 도중 전자 장치 사용자에 의해 제공된 적이 있는 적어도 상기와 같은 정보 부분들을 포함하는 검색 결과들의 리스트를 발생시킬 수 있게 된다는 것을 의미한다.

또, 검색을 평가하는 수단으로서 기능하는 멤버십 등급 값을 얻기 위한 상기 방법이 자세히 설명될 것이다. 그 수단은 검색 결과들에 대한 신뢰성 있는 처리를 제공하기 위해 검색 결과들을 소팅 및/또는 필터링할 방대한 량의 검색 결과들의 측면에서 볼 때 유용하게 된다. 미리 규정되거나 사용자가 정의한 멤버십 등급 문턱치(threshold)가 정의되고, 각 검색 결과들마다 정의된 멤버십 등급 값들이, 검색 결과들의 수가 제한되어 있기 때문에 의도한 검색 결과를 찾는 것을 보다 용이하게 할 수 있는 상기 정의된 멤버십 등급 문턱치를 초과하는 경우에만 검색 명령에 따른 검색 결과들이 사용자에게 제공된다.

또, 멤버십 등급 값들은 가령 수치가 감소하는 시퀀스에서 여러 검색 결과들을 소팅하기 적합하다. 사용자는 가장 높은 멤버십 등급 값들을 가진 검색 결과들로 시작하는 관련 검색 결과들의 수동적 선택을 시작할 수 있다.

III. 컨텍스트 정보를 멀티미디어 정보와 결부시키는 동작

상술한 바와 같이 전자 캘린더 및 그 캘린더 엔트리들로부터 추출된 정보와 결부되는 멀티미디어 정보에서 볼 때, 다음의 실시예는 컨텍스트 정보를 오디오 (멀티미디어) 정보에 결부시키는 동작에 대해 초점을 맞출 것이다. 여기서, 컨텍스트 정보는 오디오 정보와 결부시키기 위해 사용자가 선택하거나 가리킨 임의의 정보라고 이해되어야 한다.

보다 구체적으로 말할 때, 사람의 생각을 나타내고 정형화시키며 관점을 교환하는 가장 자연스런 사람들 간의 방법이 이들을 언어로 나타내고 정형화하는 것이다. 일반적인 구술 머신들은 이러한 자연적인 사람들 간의 행동을 고려하지만, 통상적으로 구술 머신들은 단지 말/음성 신호를 기록할 수만 있게 하는 일종의 시리얼 동작 모드에 국한되어 있다. 상술한 현 멀티미디어 정보(데이터)의 단점들과 마찬가지로, 이와 필적하게도, 상기 오디오 정보 역시, 정보 검색 시스템들이 신뢰성 있는 검색을 가능하게 하고 그에 따른 유용한 결과들을 제공함에 있어, 오디오 정보의 콘텐츠에 대해 해석가능한 충분한 정보를 가질 수 없다는 문제를 경험한다. 또한, 사람들의 생각과 관점의 시리얼 오디오 리코딩이 실로 가장 자연스러운 프로세스이지만, 생각과 관점의 교환이라는 점에서만이 아니라 수반되는 컨텍스트 정보를 오디오 정보와 결부시킨다는 생각과 관점들과 관련해서도 이점을 가진다. 컨텍스트 정보는 임의의 센서 정보, 오디오 정보의 신뢰할 수 있는 라벨링/인덱싱을 가능하게 하는 임의의 정보, 이미지, 스케치, 비디오 시퀀스들 등과 같이 오디오 정보를 확대 또는 마무리하는 임의의 정보일 수 있다.

이하에서는 모든 유형의 추가 정보를 기록된 오디오 정보와 결부시킬 수 있게 하는 상술한 개선된 오디오 구술 장치에 대해 설명할 것이다.

도 4a는 본 발명의 일실시예에 따라 오디오 정보를 기록하고 어떤 타입의 추가 정보라도 기록된 오디오 정보와 결부시키는 동작 시퀀스를 도시한 것이다.

오디오 정보를 기록하는 동작 시퀀스는, 적어도, 오디오 신호를 감지하는 마이크, 아날로그 오디오 신호 또는 아날로그 오디오 신호들과 함께 제공되는 아날로그/디지털 컨버터에 의해 얻어진 디지털 오디오 정보를 기록하는 오디오 리코딩 수단, 아날로그 오디오 신호들 또는 디지털 오디오 정보를 수신 및 저장하기 적합한 기록 저장부, 및 특정 키들, 키패드 또는 키보드와 같이 기록 동작을 제어하기 위한 수단을 구비한 알맞은 기기 또는 장치에 의해 수행된다. 보다 상세하게는, 이 기기 또는 장치는 기록된 오디오 정보를 재생하는 스피커와 같은 오디오 재생기를 더 포함할 수 있다.

감지된 오디오 신호를 디지털화하는 경우, 오디오 리코딩 수단은 아날로그-디지털 컨버터의 디지털 오디오 정보를 압축하고 디지털-아날로그 컨버터로 제공되어 재생될, 압축된 디지털 오디오 정보를 압축해제하는 오디오 압축 수단을 더 포함할 수 있다. 기록 저장부는 디지털 정보를 저장 및 제공할 수 있는 임의의 저장 장치 및/또는 매체일 수 있다. 보통, 메모리, 마그네틱 디스크 저장부, 착탈 가능 저장 매체 장치들은 유무선 통신 네트웍을 통해 연결된 대량 저장 시스템들로서 디지털 정보를 저장하는데 사용된다.

임의의 타입으로 된 부가 정보를 기록된 오디오 정보, 특히 멀티미디어 정보와 결부시키는 측면에서 볼 때, 오디오 리코딩 기능을 구축한 상기 기기나 장치는 그 부가 정보를 생성, 검색, 처리 등을 할 수 있는 기능을 더 포함할 수 있다.

동작 시퀀스에 대한 이하의 설명에서, 이 동작 시퀀스는 모바일 단말기, 더 특정하면 오디오 리코딩 및 재생 기능을 포함하고 멀티미디어 정보와 같은 정보를 다룰 수 있는 모바일 통신 단말기에 의해 수행된다. 보다 상세하게는, 퍼스널 디지털 보조기(PDA)나 개량형 모바일 통신 장치는 임의의 멀티미디어 기능을 가진다.

S400 단계에서, 임의의 타입으로 된 부가 정보를 오디오 리코딩과 결부시키는 동작 시퀀스가 시작된다.

S410 단계에서, 사용자 입력이 대기되고 가령 사용자가 어떤 전용 키들을 작동시키는 것과 같은 사용자 입력에 의해 발생된 트리거 신호에 따라 해당 키 선택 신호가 수신되어 감정된다.

S420 단계에서, "시작" 키가 사용자에 의해 작동되었는지의 여부가 체크된다. "시작" 키가 작동된 경우, 동작 시퀀스는 S425 단계에서 계속되고, 그렇지 않으면 동작 시퀀스는 S430 단계로 간다.

S425 단계에서, 오디오 리코딩이 시작된다. 디지털 프로세싱 단말기에 따라, 감지된 오디오 신호들이 디지털 오디오 정보를 표현하는 오디오 (정보) 스트림으로 변환된다. 디지털 오디오 정보는 이 기술 분야의 임의의 오디오 압축 코덱을 적용함으로써 발생된 압축된 디지털 오디오 정보를 나타낼 수 있다. 오디오 신호들의 기록 중에 얻어지는 오디오 스트림은 가령 착탈 가능 마그네틱 또는 광 매체 저장부와 같은 대량 저장부나 메모리 등의 디지털 저장부에 계속해서 저장된다. 디지털 오디오 정보에 요구되는 저장 용량의 정도라는 관점에서, 그리고/또는 디지털 오디오 정보를 영구적으로 저장하라는 적법한 요구와 관련하여, 착탈 가능 마그네틱 또는 광 매체를 사용하는 저장부가 이 오디오 스트림을 저장하는데 추천될 수 있다.

상요자가 "시작" 키를 작동시켜 시작된 오디오 신호 기록은 오디오 신호 기록 전용 정지 또는 일시정치가 사용자에 의해 지시될 때까지 계속해서 수행될 것이다.

S430 단계에서, "키워드" 키가 사용자에 의해 작동되었는지의 여부가 체크된다. "키워드" 키가 작동되었으면, 동작 시퀀스는 S435에서 재개되고, 그렇지 않으면 동작 시퀀스는 S440 단계로 간다.

S435 단계에서, 키워드들이 기록된다. 키워드들의 기록은 오디오 신호 기록과 병행하여 수행될 수 있다. 즉, 오디오 신호 기록에서 패싱된 오디오 스트림이 두 개의 서로 다른 오디오 (정보) 스트림들로 분리되어, 하나는 상술한 오디오 (정보) 스트림으로 되고, 다른 하나는 오디오 키워드 (정보) 스트림이 되어, 이 두 오디오 스트림들을 따로따로, 가령 하나는 오디오 리코딩 기능을 가진 장치와 연결된 어떤 착탈 가능 저장 매체 상에 저장하고, 다른 하나는 오디오 리코딩 기능을 가진 장치의 메모리 안에 저장하는 것이 가능하게 된다.

이와 달리, 연속적 오디오 리코딩과 관련한 상술한 오디오 (정보) 스트림이 일시 정지되고, 감지된 오디오 신호들만이 상술한 오디오 (정보) 스트림과 별도로 저장되기 위한 오디오 키워드 (정보) 스트림으로 변환될 수 있다.

S440 단계에서, "첨부" 키가 사용자에 의해 작동되었는지의 여부가 체크된다. "첨부" 키가 작동되었으면 동작 시퀀스는 S445 단계로 가고, 그렇지 않으면 S450 단계로 간다.

S446 단계에서, 첨부는 사용자에게 임의의 타입으로 된 부가 정보를 현재 기록 중인 오디오 정보와 결부하라고 명령하는 것으로, 이때 오디오 신호 기록은 계속해서 수행되거나 잠시 중단될 수 있다. 특히, 사용자는 기록된 오디오 정보에 결부될 임의의 타입으로 된 임의의 부가 정보를 얻을 수 있다. 그러한 부가 정보의 획득은 사용자 장치에 의해 제공되는 임의의 절차에 따라 수행될 것이다. 예를 들어, 기록 장치는 이미지들이나 비디오 시퀀스를 촬영할 수 있게 하는 디지털 카메라를 구축할 수 있다. 이렇게 촬영된 이미지들 및/또는 비디오 시퀀스들은 이들의 지능적 콘텐츠와 관련해 오디오 정보를 확대시킨다. 마찬가지로, 기록된 오디오 정보와 결부될 정보가 유무선 통신 인터페이스를 통해 정보 서비스 개체로부터 획득되거나, 장치의 메모리나 그 장치와 연결된 저장 매체로부터 검색될 수 있다. 기록된 오디오 정보와 결부될 부가 정보를 얻기 위해 가능한 수단은 상술한 절차들에만 한정되지 않고 오디오 신호 기록 기능을 내장한 장치의 사양에 종속된다. 부가 정보를 얻는 것은 본 발명의 범위 밖에 있는 것이기 때문에 이 분야의 당업자들이 제공된 그 절차들의 리스트를 보충할 수 있을 것이다.

S450 단계에서, 사용자에 의해 "일시정지" 키가 작동되었는지의 여부가 체크된다. "일시정지" 키가 작동되었으면, 동작 시퀀스는 S455 단계로 가고, 그렇지 않은 경우 동작 시퀀스는 S460 단계로 간다.

S455 단계에서, 오디오 신호들의 기록이 일시 정지된다. 오디오 신호 기록은 사용자 명령에 따라 재개될 것이다.

S460 단계에서, "계속"("cont.") 키가 사용자에 의해 작동되었는지의 여부가 체크된다. "계속" 키가 작동되었으면, 동작 시퀀스는 S465 단계로 가고, 그렇지 않은 경우 동작 시퀀스는 S470 단계로 간다.

S465 단계에서, 오디오 신호들의 기록이 계속된다. 오디오 신호 기록의 계속은 오디오 신호 기록을 일시정지하라고 명령한 다음 그 오디오 신호 기록을 재개할 수 있도록 한다(S450 단계 및 S455 단계와 비교).

S470 단계에서, 사용자에 의해 "종료" 키가 작동되었는지의 여부가 체크된다. "종료" 키가 작동된 경우 동작 시퀀스는 S475 단계로 진행하고, 그렇지 않은 경우에는 어떤 추가 동작도 수행되지 않는다(미도시).

S475 단계에서, 오디오 신호 기록이 완전히 종료된다. 연속 오디오 스트림에서 나온 오디오 정보가 완성된다.

S480 단계에서, 오디오 신호 기록 중의 컨텍스트 정보는 결부된 오디오 컨텍스트 정보에 축적된다. 그 오디오 정보에 더하여, 사용자에 의해 오디오 신호 기록 중에 수행되었던 각각의 동작이 기록되어 그로부터 온전한 프로토콜/설명이 생성될 수 있게 된다. 특히, 오디오 신호 기록과 직접적으로 관련되는 컨텍스트 정보가 그 프로토콜 안에 포함된다. 말하자면 그 컨텍스트 정보는, 가령 오디오 리코딩, 키워드 기록 동작, 일시 정지/재개 동작의 시작/종료와 관련된 타임스탬프 정보, 오디오 (정보) 스트림에서 나온 오디오 정보를 어디서 검색할 것인지에 대한 어드레스 정보와 관련된 링크 정보, 키워드 오디오 (정보) 스트림에서 나온 오디오 정보 및/또는 오디오 정보 또는 오디오 리코딩 이벤트와 결부될 사용자가 지시한 임의의 타입으로 된 부가 정보가 된다. 그러나, 기록 장치의 식별자, 스피커의 식별자, 사용된 저장부의 식별자(가령, 저장 매체의 식별자), 기록 등의 장소와 관련된 위치/지리 정보와 같이, 그 이상의 컨텍스트 정보 역시 프로토콜/설명에 추가도리 수 있다.

상기 프로토콜/설명의 가능한 실현에 대해 도 4c를 참조해 설명할 것이다.

S490 단계에서, 임의의 타입으로 된 부가 정보를 오디오 리코딩에 결부시키는 방법이 완료된다.

오디오 신호 기록 동작은 상술한 동작/명령들의 지시를 위해 사용자가 작동할 수 있는 전용 키들을 통해 설명되었다. 오디오 신호 기록을 제어하기 위한 그러한 명령들은 사용자에 의해 선택될 오디오 신호 기록 기능들에 대응하는 항목들을 제공하는 텍스트형 또는 그래픽형 메뉴나 여러 할당 요소들을 가진 키들에 의해 생성될 수도 있다.

도 4b는 본 발명의 일실시예에 따른 사용 시퀀스의 예를 나타낸 시간에 따른 동작 시퀀스를 보인다.

최초의 단계에서, 사용자가 나중에 사용하거나 나중에 기억하기 위해, 정리한 것을 구술하는 오디오 신호 기록을 시작한다. 오디오 신호 기록을 시작하라는 사용자의 지시에 따라(사용자가 "시작" 키를 선택할 수 있다) 오디오 리코딩 기능을 가진 모바일 단말기는 수신한 오디오 스트림에 대해, 해당 저장 매체 인터페이스(드라이브, 인터페이스 등)을 통해 모바일 단말기와 연결된 착탈가능한 저장 매체(마그네틱 디스크, 광 디스크, 메모리 카드 등)로 기록하기 시작한다. 사용자에 의해 수동으로, 혹은 나중에 검색할 오디오 정보에 할당될 기록 수단에 의해 자동으로 명칭이 정의된다. 여기서, 최종 오디오 정보 "오디오 1"이라는 명칭과 함께 제공된다. 오디오 리코딩의 시작 시간(타임스탬프)이 가령 장치의 메모리에 저장되거나 오디오 신호 기록을 맡은 오디오 리코딩 수단에 할당된 메모리에 저장된다.

사용자가 모바일 단말기로 말(텍스트)을 구술하면 이것이 오디오 센서에 의해 감자되어 디지털 오디오 스트림으로 변환되고 저장된다.

사용자는 키워드들이 기록되어야 한다고 표현하고, 그에 따라 "키워드" 키를 누르고 있게 된다. 이러한 사용자 표시에 따라, 하나 이상의 키워드들의 오디오 신호 기록이 시작된다. 상술한 바와 같이, 키워드들에 대한 오디오 신호 기록은 이전에 구술된 오디오 정보에 대해 독립적으로 저장되며, 전에 시작된 오디오 리코딩 동작은 하나 이상의 키워드들의 기록 중에 지속되거나 잠시 정지된다. 키워드 기록의 시작시간이 저장된다.

"키워드" 키와 관련해 사용자가 그 키워드 기록이 완료되었음을 나타내면, 구술 기록이 재개된다. 키워드의 종료시간이 저장될 수 있다.

사용자는 이어서 전용 "일시 정지" 키를 선택함으로써 오디오 리코딩을 잠시 정지시키도록 지시한다. 오디오 신호의 기록이 그에 따라 일시 정지된다. 시작된 일시정지의 시작시간이 저장된다. 이제 사용자는 모바일 단말기에 의해 제공된 다른 기능이나 다른 어플리케이션들을 사용할 수 있다. 여기서, 사용자는 이미지 데이터 전송을 위해 모바일 단말기와 임의의 방식으로 연결되어 있거나 모바일 단말기 안에 내장된 디지털 카메라를 가지고 이미지를 촬영한다. 사용자는 가령 전용 "첨부" 키를 작동시켜 기록된 오디오 정보에 상기 이미지가 결부(첨부)되어야 한다고 표시한다. 가령 회의와 관련해서 볼 때, 구술을 부연하기 위해 스케치 보드로부터 그림을 얻을 수 있다. 얻어진 이미비가 저장되고(여기서는 메모리나 어떤 다른 가능한 저장 영역에), 수동이나 자동적으로 정의된 명칭(여기서는 "이미지 1")이 그 이미지에 할당되어 나중에 그 이미지를 검색할 수 있게 한다. 이미지를 오디오 정보에 첨부하는 시간이 저장된다.

이어서, 사용자는 "연속" 키를 작동하여 오디오 신호 기록을 재개한다. 재개 시간이 저장된다. 사용자는 정보 구술을 계속해서 수행한다.

마지막으로, 사용자 명령 또는 사용자의 "중지" 키 작동에 따라 각각 오디오 신호 기록이 종료된다. 오디오 리코딩의 종료시간이 저장된다.

오디오 신호 기록을 마치라는 사용자 지시 이후, 가능하면 모바일 단말기는 지금까지 비영구적 저장부에 저장된 정보를 영구적 저장부로 이동시킨다. 프로토콜/설명이 상술한 사용자 및 단말기 동작에 따라 생성된다. 얻어질 수 있는 해당 사양의 예가 도 4c에 도시되어 있다.

오디오 리코딩 기능을 가진 모바일 단말기가 전통적 컴퓨터로부터 알려져 있는 파일 시스템과 유사한 어떤 파일 시스템을 지원한다고 가정할 때, 오디오 리코딩 종료 이후 다음과 같은 파일들이 생성되었을 수 있다:

오디오 1,

키워드_오디오 1,

이미지 1, 및

설명 1;

"오디오 1"이라는 파일은 구술한 말의 디지털화된 오디오 정보를 포함하고, "키워드_오디오 1"이라는 파일은 구술된 키워드들에 대해 디지털화된 오디오 정보를 포함하며, "이미지 1"이라는 파일은 구술 중 얻은 그림(사진)을 포함하고, "설명 1"이라는 파일은 오디오 리코딩에 대한 설명/프로토콜을 포함한다. 파생된 파일들의 저장 장소들은 임의적이지만, 파일들이 사용자 요구에 따라 재생되도록 액세스 가능해야 한다."사양 1" 파일의 코딩 및 구조의 예가 도 4c에 도시된다.

도 4c는 본 발명의 일실시예에 따라, 그리고 도 4b에 나타낸 사용 시퀀스의 예의 관점에서 가능한 설명의 예를 도시한다. 오디오 리코딩의 설명/프로토콜은 확장형 마크업 언어(XML)로 코딩된 설명/프로토콜로서 코딩되어야 한다. 해당 문서 타입 설명(DTD)은 XML 코딩된 설명의 구조 및 구성 요소들을 정의하며 설명에 대한 고유 파싱을 보장한다.

도 4c에 도시된 "설명 1"이라는 파일의 예는, 적어도 기록된 오디오 정보 "오디오 1"이 저장되는 저장 매체/저장 장치에 대한 정보, 기록 장치에 대한 정보, 및 오디오 리코딩이 발생했거나 오디오 정보가 최종적으로 저장되었던 시간에 대한 정보를 포함하는 헤더 섹션(라인 1에서 3)을 구비한다. 헤더 섹션에는 사용자가 오디오 정보를 어떻게 구술했는지 등에 대한 식별 정보와 같은 부가 정보가 포함될 수 있다.

프로토콜 정보는 여기 라인 6에서 29까지 걸쳐 있는 바디(body) 섹션에서 코딩된다. 바디의 최초의 서브섹션에서 시작시간과 종료시간이 정의된다. 시작시간은 시간 1이라고 정의되고 종료시간은 시간 5라고 정의된다. 도 4b를 참조해 상세히 설명된 사용 동작에 따라, 이 시간 정보는 오디오 신호 기록의 시작 및 종료시에 저장된 것이다. 또, 기록된 오디오 정보에 대한 어드레스 정보가 코딩된다. 어드레스 정보는 디렉토리/파일 어드레스 정보와 같이, 사용되는 데이터 저장 시스템에 따라, 혹은 보다 일반적으로 범 자원 로케이터(URL)나 범 자원 표시기(URI)에 따라 코딩될 것이다. 이와 달리, 오디오 정보가 이 서브섹션 안에 직접적으로 삽입될 수도 있다.

바디의 다음 서브섹션은 키워드들과 관련한 정보를 포함한다. 여기서, 키 d들의 기록 관련 시점이 타임 2로서 코딩된다. 또, 키워드 오디오 정보에 대한 어드레싱 정보가 코딩된다.

바지의 그 다음 서브섹션에서 일시정지 동작이 코딩된다. 상술한 예에 따르면 일시정지는 시간 3의 시점에서 시작되었고 기록은 시간 4의 시점에서 재개되었다.

바디의 그 다음 서브섹션은 여기서 내장 오브젝트들로서 칭하는 결부된 정보에 관한 정보를 포함한다. 부가 정보가 기록된 오디오 정보와 결부되었던 시간 3의 시점이 이 서브섹션에서 코딩되고, 이 결부 정보에 대한 사용자 액세스를 허용하도록 그 정보(오브젝트)에 대한 어드레스 정보가 이 서브섹션에서 코딩된다.

바디의 그 다음 서브섹션들은 추가 컨텍스트 정보를 포함한다. 여기서, 주변 광센서, 가속 센서(들), 백그라운드 오디오 신호 및 백그라운드 오디오 신호 분석 결과들 등으로부터 얻어진 센서 정보와 같은 부가적 센서들과 관련한 위치/지리 정보 및 기타 정보가 코딩된다.

도 4c를 참조하는 상세한 XML 코딩된 설명/프로토콜은 오디오 신호 기록 중 컨텍스트 정보의 로깅(기록)을 수행하는 한 가능 수단이다. 컨텍스트 정보를 로깅하는 다른 가능 수단이 상술한 퍼스널 일지와 관련해 기술될 것이다.

퍼스널 일지의 세부 설명과 연계되어 사용되었던 표현법으로 변환되고 나서, 상기 기록된 오디오 정보와 오디오 신호 기록 동작에 대한 사용자 명령들이 사용자 입력 정보로서 로깅(기록)될 것이다. 녹음된 구술에 대한 정보 결부와 고나련한 부가 정보가 컨텍스트 정보로서 퍼스널 일지로 제공될 것이다. 이 경우 오디오 정보(사용자 입력 정보를 나타냄)의 라벨 및/또는 인덱싱은 도 4c에서 언급된 이하의 오디오 정보 설명/프로토콜에 비춰 설명되고 도 4d 및 도 4e에서 언급되는 이하의 그래픽 묘사와 관련해 설명되는 것과 같은 동일한 상호 종속 구조를 발생시킨다.

말/음성 인식 시스템/어플리케이션들은 점점 진보해가고 있고 가까운 미래에는 더 중요해질 것인데, 그것은 말/음성 입력에 의해 주어진 저보를 텍스트 기반 정보로 변환하는 기능이 시간을 절약시키기 때문이다. 말/음성 입력에 의해 제공된 정보로부터 얻어지는 순수한 텍스트 기반 정보 외에도, 어느 때에나 그 말 인식(변환)을 체크하기 위해 최초의 오디오 리코딩이 보존될 것이다. 그러한 말/음성 인식은, 리코딩된 오디오 정보에 대해 이용되고, 상기 인식은 기록 장치에서 이뤄지거나 통신 네트웍, 특히 모바일 기록 단말기의 경우 모바일 통신 네트웍을 통해 액세스 가능한 임의의 외부 개체에 의해 제공되는 음성 인식 서비스에 의해 이뤄진다. 말/음성 인식으로부터 도출된 최종 텍스트 기반 정보가 오디오 리코딩의 설명/프로토콜 정보 안에 직접 포함될 수 있고, 아니면 그 텍스트 기반 정보를 검색하기 위한 어드레스 정보가 포함될 수도 있다. 말/음성 인식은 구술 및/또는 키워드 구술에 대해 사용될 수 있다.

요청 정보에 따라 사용자로 하여금 소정 오디오 정보를 검색하도록 하는 검색 시스템은 오디오 리코딩에 이해 입력된 요청 정보를, 오디오 정보 구술 중에 기록되는 이전에 기록된 오디오 키워드들과 매치함으로써, 오디오 키워드 리코딩을 이용한다. 또, 말/음성 인식의 경우, 키워드들은 텍스트 기반 키워드들로서 사용될 수 있다. 이 경우, 검색 또한 검색 요청에 포함된 텍스트 정보의 텍스트 비교에 기반한다. 리코딩의 설명/프로토콜에 포함되는 부가 정보는, 상술한 바와 같이 오디오 리코딩을 라벨링/인덱싱하기 위해 그것을 사용함으로써 검색에 이용될 수 있다.

프로토콜/설명 정보는 정보 인식 및 검색을 지원하는 적응적 마인드-맵을 제공하기 위해, 로깅된 정보의 그래픽 묘사를 생성하는데 이용될 수 있다. 다음의 도 4d 및 도 4e는 모두 마인드-맵들의 예를 도시한 것으로, 여기서 도4d에 도시된 마인드-맵은 그래픽 사용자 인터페이스와 관련되고, 도 4e에 도시된 마인드-맵은 텍스트 기반 사용자 인터페이스와 관련된 것이다.

도 4d는 본 발명의 일실시예에 따른 프로토콜/설명에 대한 그림을 그래픽적으로 도시한 것이다. 이 그래픽 묘사는 오디오 정보와 함께 사용할 수 있는 정보의 추출만을 포함하고 있다. 그래픽 묘사는 (오디오) 클립 #002로 나타낸, 기록된 오디오 정보 오브젝트(402)의 제1그래픽 표현을 보인다. 또, 오디오 정보 오브젝트(402)의 그래픽 묘사는 기록 날짜/시간 및 기록 장소에 대한 정보를 포함한다. 복수의 추가 그래픽 표현들이, 묘사된 오디오 정보 오브젝트(402) 주위에 자리한다. 그래픽 표현들을 연결하는 라인들은 결부관계와 같은 상호 종속성을 나타낸다. 그래픽 표현들의 집합(403)은 키워드들, 키워드 오브젝트 #4, 키워드 오브젝트 #5, 및 키워드 오브젝트 #6에 관한 것이다. 키워드 오브젝트들 #4, #5, #6 각각의 그래픽 표현들을 오디오 정보 오브젝트(402)와 연결하는 링크 선들은 이들 키워드 오브젝트들 #4, #5, #6이 이 오디오 정보 오브젝트(402)에 속함을 나타낸다. 그래픽 표현들의 집합(404)이 더 묘사되고, 그래픽 표현들 각각은 연결 라인을 통해 오디오 정보 오브젝트(402)와 연결된다. 따라서, 연결 라인들은 이미지 오브젝트 #1, 이미지 오브젝트 #2, 및 텍스트 오브젝트 #1이 오디오 정보 오브젝트(402) 및 오디오 클립 #002과 각각 결부됨을 나타낸다.

마찬가지로, 그래픽 묘사는 (오디오) 클립 #001로 나타낸, 기록된 오디오 정보 오브젝트(400)의 제2그래픽 표현을 보이고, 이 오디오 정보 오브젝트(400)는 각각이 한 라인을 통해 오디오 정보 오브젝트(400)과 연결되는 그래픽 표현들(401)의 집합으로서 도시된 키워드 오브젝트들 #1, #2, 및 #3과 결부되어 있다.

그래픽 묘사는 마인드를 돕는데만 사용되는 것이 아니며, 그래픽 유저 인터페이스로서도 사용될 수 있다. 예를 들어, 사용자가 각자 표시된 정보를 검색하기 위해 그래픽 표현들 중 하나를 선택할 수 있다. 즉, 사용자가 키워드 오브젝트를 선택한 경우, 모바일 단말기는 기록된 디지털 오디오 시퀀스를 재생한다. 이와 비슷하게, 사용자가 오디오 클립 #002을 선택하는 경우, 해당 녹음이 재생되고, 사용자가 이미지 오브젝트들의 그래픽 표현들 중 하나를 선택하는 경우 이미지 보기 어플리케이션은 사용자에게 해당 이미지를 보이고, 사용자가 텍스트 오브젝트의 그래픽 표현을 선택한 경우, 텍스트 보기 어플리케이션이 해당 텍스트를 사용자에게 보인다.

도 4e는 본 발명의 일실시예에 따른 프로토콜/사양 정보의 텍스트 기반 묘사를 도시한 것이다. 텍스트 기반 묘사는 도 4d를 참조해 설명한 것과 동일한 특성들과 정보를 사용자에게 보이는 대체적 묘사이다.

기록된 오디오 정보 오브젝트들인 오디오 클립 #001 및 오디오 클립 #002에 대해 로깅된 속성들이 테이블 묘사로 제공된다. 테이블 묘사에는 클립 명칭, 기록 날짜 및 시간, 기록 장소, 및 결부된 정보의 어드레스 정보, 결부된 텍스트 오브젝트들, 결부된 키워드 오브젝트들 및 결부된 이미지 오브젝트들이 포함된다. 테이블 형태의 묘사는 사용자 명령에 의해 각자의 오디오 정보와 결부되었던 정보/오브젝트들에 대한 깔끔한 개관을 가능하게 한다.

마찬가지로, 묘사된 테이블 안에서 어드레스 정보 엔트리를 선택하면 정보(오브젝트) 타입에 따라 개개의 선택된 정보의 재생/표시가 이뤄진다.

IV. 정보를 오디오 데이터 시퀀스들 안에 워터마킹/내장하는 작업

신뢰성 있는 검색 및 민감한 검색 결과들과 관련한 상술한 방법들은 라벨/인덱스 정보를 포함하는 부가 정보를 필요로 한다. 즉, 수반하는 메타 정보를 통한 검색, 라벨링 및/또는 인덱싱이 기술되는 것과 관련된 단일 정보는 제한된 유용성을 가진다. 따라서, 적어도 제한된 정도의 메타 정보를 정보 (안)에, 보다 상세히는 오디오 정보 (안)에 직접적으로 내장 또는 부가하는 방법을 제공하는 것이 바람직하게 된다.

오디오 정보 시퀀스(안)에 정보를 부가 및/또는 내장하는 본 발명의 개념은 라벨 및/또는 인덱스 정보와 함께 오디오 정보를 완성하는 상술한 가능성 외에 여러가지 이점을 제공한다.

본 발명의 개념은 또 임의의 타입으로 된 정보를 오디오 시퀀스 안으로 내장하는 방법에 대한 것으로, 이것은 내장된 정보가 독자적으로 오디오 시퀀스의 컨버팅 및 트랜스코딩되지 못하게 한다. 즉, 오디오 시퀀스가 아날로그 인코딩된 오디오 시퀀스에서 디지털 인코딩된 오디오 시퀀스로 변환되거나 그 반대로 디지털 인코딩된 오디오 시퀀스에서 아날로그 인코딩된 오디오 시퀀스로 변환된다고 해도, 내장된 정보는 오디오 시퀀스 안에 보존된다. 또, 오디오 시퀀스가 임의의 오디오 압축 포맷을 구비하는 제1디지털 오디오 포맷으로 부호화된 오디오 시퀀스로부터 제2디지털 오디오 포맷으로 인코딩된 오디오 시퀀스로 트랜스코딩된다고 해도 그 내장 정보는 유지된다.

컨텍스트 정보, 메타 정보 등와 관련해 임의의 타입으로 된 정보를 오디오 시퀀스안에 내장한다는 것 외에도, 본 발명의 일실시예에 따라 정보를 내장하는 기능은 암호화되어 있을 수도 있는 인증 및/또는 워터마킹 정보를 내장하는데에 사용될 수도 있다.

정보를 오디오 정보 시퀀스들(안)에 부가 및/또는 내장한다는 본 발명의 개념은, 부가되거나 내장된 정보를 나타내는 문자들의 코딩을 가능하게 하는 옥타브 베이스의 코딩에 기반한다. 잘 알려져 있는 문자 인코딩이, 일련의 7 내지 8비트들을 하나의 문자/심볼에 고유하게 할당하여, 7 비트 또는 8 비트 길이로 된 비트 시퀀스들 각각을 하나의 문자/심볼들로 각각 고유하게 할당하는 코드 테이블들을 파생하는 아스키()(ASCII()) 인코딩이다. 코딩될 부가 또는 내장 정보에 따라, 관련되는 코딩 테이블들이 사용될 수 있도록 필요로 되는 문자/심볼들의 총 개수가 달라질 것이다. 이하에서, 길이 6 비트의 비트 시퀀스가 본 발명의 방법을 기술하는데 사용될 것이고, 여기서 이 비트 시퀀스는 64개의 서로 다른 문자/심볼들을 코딩할 수 있게 한다. 64개의 서로 다른 요소들을 포함하는 상기 코드 테이블은 코드 HTML(하이퍼텍스트 마크업 언어) 태그들, URL(범 자원 로케이터) 시퀀스들, URI(범 자원 지시기) 시퀀스들 등에 적합하고, 이들의 코딩을 위해, 숫자 0-9, 문자 A-Z(26 글자들), 및 약간의 특수 문자들 ()/:＼.#,@_ 로도 충분하다.

각각의 문자/심볼은 둘 이상의 체계 (옥타브) 이상 반복되는 톤들의 고유한 조합에 의해 코딩된다. 예를 들어, C, D, E,,F, G, A, 및 H 톤들을 포함하는 음악적 스케일과 관련해 상기 코딩은 다음과 같이 표현될 수 있다:

"1"={C, E, A};

"2"={D, E, H};

"3"={C, F, H};

....

여기서 세 개의 서로 다른 톤들이 한 코드를 이루는 각각의 톤 베이스마다 사용된다. 상술한 바와 같이 코드들은 오디오 시스템의 감지 범위, 즉 오디오 처리/리코딩에 사용되는 주파수 영역 안에 있는 모든 옥타브들에 걸쳐 반복된다.

도 5a는 여러 개의 완전 옥타브들을 포함하는 오디오 리코딩/재생 시스템의 주파수 영역를 도시한 것이다. 인덱스 n은 주파수 상에서 이어지는 일곱 옥타브들에 해당하는 1부터 7까지의 범위를 아우르는 옥타브들을 나열하기 위해 나타낸 주파수 영역의 인덱스이다. n=6인 옥타브 안에서 부호 b1, b2, b3로 표시된 세 주파수들은 세 개의 서로 다른 톤들을 이용하는 소정 문자/심볼의 특정 코드 베이스와 관련된 것이다. 모든 옥타브들에 걸친 상술한 반복에 맞춰, 각각의 다른 옥타브(1, 2, 3, 4, 5, 및 7) 안에 처음에 표시된 주파수들인 b1, b2, 및 b3와 관련된 상응하는 주파수들이 표시된다.

보다 일반적인 경우에 있어서, 어떤 주어진 문자 x에 대한 코드 베이스가 {b_j(x)}=(b₁(x), b₂(x), ...}로 표현될 수있는 소정 개수의 톤들로 된 독자적 시퀀스로 주어지고, 여기서 인덱스 j는 사용되는 톤들의 개수와 관련한 것으로 j=1, 2, ..., j_max이다.

코드 베이스를 생성하는 수많은 방법들이 존재한다. 본 발명에 따른 일실시예에서, 코드 베이스는 직교한다, 즉, 문자/심볼들의 코드 베이스들이 아무런 상관도 갖지 않는다. 본 발명의 다른 실시예에 따르면, 코드 베이스들은 부분적으로 오버랩, 즉 상관되는데, 이것은 오디오 신호들이 높은 노이즈를 견딜 수 있어야 한다는 사실을 고려한 것이다.

도 5c는 본 발명의 일실시예에 따라 정보를 내장하기 위해 오디오 신호 s_o(t)의 처리를 도시한 신호 흐름도이다.

오디오 신호 s_o(t)(530는 아무 내장 정보도 갖지 않은 최초의 오디오 신호라고 전제된다. 코드 {b_j(x)}=(b₁(x), b₂(x), ...}(540)(j=1, 2, ..., j_max)를 갖는 문자/심볼 x가 이 오디오 신호 s_o(t) (530)에 내장될 것이다. 이 두 오디오 신호 s_o(t)(530)와 코드 식 {b_j(x)}의 결합이 이 신호와 코드 식의 주파수 도메인에서 수행된다.

따라서, 오디오 신호 s_o(t)(530)는 주파수 도메인으로 변환되어 오디오 신호 s_o(t)(530)의 오디오 퓨리에 변환 A(ω)(535)으로 된다. 소정 수의 톤들에 기반하는 코드 {b_j(x)}는 주파수 도메인에서 직접 표시되어 코드 {b_j(x)}(540)에 상응하는 변조 신호 M_o(ω)(545)}가 되고 이것은 수학적으로 다음과 같이 표현될 수 있다:

여기서 인덱스 j는 문자/심볼 x의 코드에 사용되는 톤들(주파수들)에 대한 것이고, 인덱스 n은 주파수 섹션들(옥타브들)에 관한 것으로, 여기서 톤들(j=1, ..., j_max)은 도 5a에서 도시된 바와 같이 반복되고, K는 소정의 감쇠 팩터(K<1)이다. 상술한 바와 같이, 변조 신호 M_o(ω)(545)를 표현하는 소정의 수학적 정의는 이상적인 수학적 표현을 나타낸다. 실제로, 위에 표시되어 사용된 델타 함수는 가능하지 않으므로, 상기 델타 함수를 싱크(sinc) 함수, 가우수 함수 등과 같이 이 분야의 당업자에게 알려진 것과 같은 적합한 근사 함수로 대체해야 한다.

이들 두 신호들인 오디오 퓨리에 변환 A(ω)(535)과 변조 신호 M_o(ω)(545)는 주파수 도메인에서 결합된다. 본 발명의 실시예들에 따르면, 알맞은 변조 신호 M(ω)를 얻기 위해 (545)퓨리에 변환 A(ω)(535)과 변조 신호 M_o(ω)(545)가 각각 더해지거나 곱해질 수 있다.

도 5b는 본 발명의 실시예에 따라 퓨리에 변환 A(ω)(535)과 변조 신호 M_o(ω)(545)를 결합해서 나온 오디오 퓨리에 변환 A(ω)과 변조 신호들 M(ω)을 나타낸 그래프들을 보인 것이다.

첫번째 그래프는 주파수 도메인에서의 오리지널 오디오 신호 s_o(t), 즉 오디오 퓨리에 변환 A(ω)(535)을 나타내는 곡선(500)을 도시한 것이다. 또, 이 그래프의 주파수 축이 되는 가로축의 위와 아래의 표시들은 각각 코드의 톤들이 반복되고 코드의 톤들이 반복되는 주파수 섹션들(옥타브들)을 나타낸다. 여기서, 세 주파수 섹션들(옥타브들)이 도시되고, 베이스 코드는 두 개의 톤들로 된 집합 {b_j(x)}={b₁(x), b₂(x)}를 포함하고, 이 집합은 각각의 주파수 섹션(옥타브) 안에서 반복된다. 도 5a와 유사하게, 주파수 섹션들(옥타브들)은 가로축 아래의 표시로 묘사되고 한편 톤들은 가로축 위의 표시로 묘사된다.

두 번째 그래프는 오디오 퓨리에 변환 A(ω)과 변조 신호 M_o(ω)를 주파수 도메인에서 더한 것으로부터 얻어진 변조 신호 M(ω)를 나타낸 곡선을 나타낸 것이다. 세 번째 그래프는 오디오 퓨리에 변환 A(ω)과 변조 신호 M_o(ω)를 주파수 도메인에서 곱한 것으로부터 얻어진 변조 신호 M(ω)를 나타낸 곡선이다. 변조 신호M_o(ω)를 가지고 변조하기 위해 더하고 곱하여 발생된 차이를 나타내기 위해, 두 그래프들은 모두 점선으로 된 곡선들(515 및 525)로서 각각 표시된 최초의 오디오 퓨리에 변환 A(ω을 더 포함한다.

덧셈에 의한 변조나 곱셈에 의한 변조의 두 변조 연산들 모두 적절한 변조 신호 M(ω)를 도출하는데 적용될 수 있다. 본 발명의 일실시예에 따르면, 변조 신호 M(ω)를 얻는 것은, 도시된 것과 같이 변조 신호 M_o(ω)에 의해 야기된 주파수 곡선의 편차들이 보다 작아져서 이들 편차들에 따른 최종 오디오 신호에서의 최종 간섭이 사용자에 의해 덜 명확하게 들리게 된다. 감쇠 팩터 K는 오디오 신호에 내장된 코드가 나중에 디코딩될 수 있으면서 또한 간섭은 낮도록 미리 정해진다.

도 5b를 참조해 설명한 바와 같이, 그리고 도 5c에서 말한 본 발명의 실시예와 관련하여, 오리지널 신호 s₀(t)(530)의 퓨리에 변환(가령 퓨리에 변환기에 의해 수행됨)에 의해 얻어진 오디오 퓨리에 변환 A(ω)(535)과 변조 신호 M_o(ω)(545)가 곱해져서(550)(가령 곱셈 수단, 곱셈기에 의해) 변조된 신호 M(ω)를 발생한다. 오디오 퓨리에 변환 A(ω)과 변조 신호 M_o(ω)(545)의 곱셈은 점계측(point-wise) 방식으로 수행될 수 있다.

다음으로, 상기 변조된 신호 M(ω)가, 가령 역 퓨리에 변환기에 의해 수행될 수 있는 역 퓨리에 변환을 이용해 다시 시간 도메인 상의 변조된 오디오 신호 m(t)로 변환된다 주파수 도메인의 변조된 신호 M(ω)가 이산 신호인 경우, 시간 도메인으로의 변환을 위해 고속 퓨리에 변환이 적용될 수 있다.

마지막으로, 변조된 오디오 신호 m(t)가 오리지널 오디오 신호 s₀(t)와 결합된다. 오디오 신호 m(t)를 구하기 위해 상술한 프로세싱 동작들이 오리지널 오디오 신호 s₀(t)로 적용되었기 때문에, 오디오 신호 m(t)와 오리지널 오디오 신호 s₀(t)는 소정 주기 -Δt 만큼 시간 상에서 간격을 두게 된다. 시간 차 -Δt를 고려하지 않고, 변조된 오디오 신호 m(t)와 오리지널 오디오 신호 s₀(t)를 결합하는 것은 결합된 신호들에서의 간섭을 야기할 수 있다. 따라서, 오리지널 오디오 신호 s₀(t)가 지연되어, 변조된 오디오 신호 m(t)와 시간적으로 함께 나타나는 지연된 오리지널 오디오 신호 s₀(t)= s₀(t-Δt)를 발생시킬 수 있다. 결합된 최종 오디오 신호 s(t)(580)는 지연된 오리지널 오디오 신호 s₀(t)= s₀(t-Δt)와 변조된 오디오 신호 m(t)를 더함으로써 얻어진다(가령, 가산 수단, 가산기에 의해 수행됨).

상대적으로 느리게 변화되는 오리지널 오디오 신호 s(t) 및 그에 따라 상대적으로 느리게 변화하는 변조된 오디오 신호 m(t)의 경우, 이전의 프로세싱 동작들에 기인한 오디오 신호 m(t)의 시간 -Δt에서의 지연은 오디오 신호들의 변화와 비교해 -Δt 시간의 지연 성분이 필요하지 않을 정도로 작다.

본 발명의 일실시예에 따른 오디오 신호의 문자/심볼 x를 내장하는 것이 도 5c 및 도 5b와 관련해 자세히 설명되었다. 다음의 도 5d는 본 발명의 일실시예에 따라 오디오 신호로부터, 내장된 문자/심볼을 추출하는 것에 대한 것이다.

도 5d는 본 발명의 일실시예에 따라 오디오 신호에 내장되어 있는 정보의 복구를 나타낸 블록도이다.

모르는 문자/심볼과 모르는 문자/심볼 시퀀스의 디코딩은, 모르는 문자/심볼과 모르는 문자/심볼, 오디오 신호 s(t)에 코딩되었을 수 있는 문자/심볼들 x, y,...의 총 집합의 상관 베이스 {B_i} 및 코드 베이스{b_j(x)}, {b_j(y)},...를 내장하는 오디오 신호 s(t)의 입력을 필요로 한다. 여기 한정되는 것은 아니지만 간략화하기 위해, 문자/심볼 x에 해당하는 코드 베이스{b_j(x)}와 문자/심볼 y에 해당하는 코드 베이스 {b_j(y)}가 도 5d에 도시되어 있다. 오디오 신호 s(t)는 문자/심볼 χ를 내장했다고 추정된다.

오디오 신호 s(t)(600)는 주파수 도메인으로 변환되어 가령 퓨리에 변환을 통한 퓨리에 신호 Z(ω)(605)가 생성된다.

상관 베이스 {B_i}(610)는 주파수 도메인에서 직접적으로 정의될 수 있고 문자/심볼들을 코딩하는데 사용되는 모든 주파수들의 집합으로 표현된다. 상관 베이스 {B_i}(610)에 상응하는 변조 C(ω)(615)는 다음과 같이 수학적으로 표시될 수 있다:

여기서 인덱스 i는 상관 베이스 {B_i}(610)에 포함된 주파수들(톤들)과 관련된 것이고, 인덱스 n은 주파수 섹션들(옥타브들)과 관련된 것으로, 여기서 톤들(j=1,...,j_max)은 도 5a에 나타낸 것과 같이 반복된다.

문자/심볼들을 오디오 신호 s(t) 안에 내장하는데 사용되는 모든 주파수들을 정의하는 변조 C(ω)(615)는 어떤 식으로든, 코딩된 문자/심볼들과 관련이 없는 오디오 신호 s(t)로부터 모든 오디오 신호 정보를 제거할 수 있게 한다. 퓨리에 신호 Z(ω)(605)는 변조 C(ω)(615)와 컨벌루션되어 변조 C(ω)(615)와 상관 베이스 {B_i}(610)에 각각 포함된 주파수들에서 오디오 퓨리에 신호 Z(ω)(605)의 주파수 크기 신호들을 나타내는 컨벌루션 신호 Y(ω)를 생성한다. 컨벌루션은 컨벌루션 수단에 의해 수행된다. 모듈레이션 C(ω)(615) 및 상관 베이스 {B_i}에 각각 포함되지 않은 주파수들에서의 오디오 퓨리에 신호 Z(ω)(605)의 주파수 크기 신호들은 적어도 0에 근사된다.

이하의 동작에서, 전반적 컨벌루션 신호 Y(ω)가 소정 코드 베이스와 결부된 주파수들에서 산출된다. 이것은, 컨벌루션 신호 Y(ω)가 코드 베이스 {b_j(x)}(625)에 의해 정의된 주파수들과, 코드 베이스 {b_j(y)}(630)에 의해 정의된 주파수들 등등에서 산출됨을 의미한다. 이러한 산출은 크기 값들 M(x,n)(635), M(y,n)(640)...을 발생시키고, 이 값들 각각은 코드 베이스 {b_j(x)}에 할당되고, 코드 베이스 {b_j(y)} 등등에 할당되는 주파수들의 크기에 해당하는 산출값을 나타낸다.

크기 값들 M(x, n), M(y, n)이 각 코드 베이스로 정의된 주파수들에서 주파수 크기들을 더함으로써 얻어질 수 있다. 다음의 식은 코드 베이스 {b_j(x)}를 가진 문자/심볼의 예를 들어 크기 값을 수학적으로 나타낸 것이다:

여기서 인덱스 j는 코드 베이스 {b_j(x)}에 포함된 주파수들(톤들)에 대한 것이다. 크기 값들인 M(x, n), M(y, n),...의 계산은 컨벌루션 신호 Y(ω) 및 그에 이어서 코드 베이스들 {b_j(x)}, {b_j(y)}, ...의 주파수들을 수신하여 그 크기 값들 M(x, n), M(y, n)을 직렬로 생성하는 하나의 요약 수단 또는 요약자에 의해 수행되거나, 각각이 컨벌루션 신호 Y(ω) 및 코드 베이스들 {b_j(x)}, {b_j(y)}, ...중 하나에 상응하는 주파수들의 집합들 중에서 하나씩을 수신하여 그 크기값들 M(x, n), M(y, n)을 병렬로 생성하는 복수의 요약 수단 또는 요약자들에 의해 수행될 것이다.

크기 값들인 M(x, n), M(y, n),...의 최종 산출값은 서로를 비교함으로써 얻어진다. 각 크기값들 M(x, n), M(y, n),...을 서로 비교하는 것은 (x, y)와 같은 각 문자/심볼 쌍의 크기 값들의 몫으로서 정의될 수 있다. 비율 R(x,y,n)(645)는 다음의 식과 같이 수학적으로 표현될 수 있다:

여기서 인덱스 j는 각각 코드 베이스 {b_j(x)}와 코드 베이스 {b_j(y)}에 포함된 주파수들(톤들)에 대한 것이다. 여러 L 코드 베이스들 {b_j(z_p)}(p=1,...,L)의 경우, 비율 R(z_p, z_q, n)(p, q=1,...,L이고, p와 q는 같지 않음)의 수는 모두 L*(L-1)이 된다. 각각의 비율 R(x,y, n)(645)은 각자의 분할자나 분할 수단에 의해 산출되거나, 또는 그에 대체적인 것으로서 각 R(x,y,n)(645)이 하나의 분할자나 분할 수단에 의해 순차적으로 산출 및 생성될 수도 있다.

적절하거나 직교의 코드 베이스들의 경우, 모르는 문자/심볼 χ에 해당하는 비율 R(χ,x,n)은 그 모르는 문자/심볼 χ에 대응하지 않는 비율들 R(x,y,n)보다 훨씬 더 크다. 따라서, 모르는 문자/심볼 χ은 오디오 신호 s(t)로부터 추출 및 결정된다.

일반적으로, 비율들 R(x,y,n),...의 산출을 통한 모르는 문자/심볼 χ의 식별은 불확실할 수 있다. 이러한 경우, 비율들 R(x,y,n),...의 확률 산출이 보다 신뢰성있고 확실한 결과를 낳을 것이다. 그에 따라 일종의 최대 확률의 산출이 이용될 수 있다.

코드 베이스들의 주파수들은 소정 길이, 특히 약 0,1 초들의 일정한 시간을 갖는 주파수들로서 코딩될 수 있고, 여기서 서로 다른 코드 베이스들에 속하는 주파수들의 코딩은 소정 시간의 듀레이션, 특히 약 0, 05 초들과 같은 일정한 시간을 통해 분리된다. 일정한 시간의 주파수 신호들의 코딩과 일정한 시간의 분리는 특히 신호들의 디코딩을 쉽게 만든다. 또, 코딩된 정보는 간섭에 따른 코딩 정보의 내성을 증가시키기 위한 신호 처리 기술로부터 알려진 것과 같은 에러 정정 정보, 체크 오드 정보, 리던던시 정보에 의해 완전해질 수 있다.

도 5d에 도시된 실시예에서, 모든 비율들 R(x,y,n)의 평균값 <R>(650)이 얻어진다. 평균값 <R>은 비율들 R(x,y,n),...을 정규화시켜 상응하는 정규화된 비율들 F(x,y,n),...을 생성시킨다. 비율들 R(x,y,n),...의 정규화는 산출된 주파수 크기들이 오리지널 오디오 신호 s₀(t)의 크기 기여자들을 포함한다는 사실을 고려한다. 정규화는 비율들 R(x,y,n),...을 1 근처로 매핑(중심화)하며, 이것은 획득된 비율들 R(x,y,n)이나 정규화된 비율들 F(x,y,n),...의 산출을 훨씬 쉽게 만든다.

평균 값 <R>(650)은 복수의 개별 값들로부터 평균값을 산출하는 수단을 통해 얻어질 수 있다. 일반적으로, 수리적 평균, 기하학적 평균, 제곱 평균이 알려져 있는 평균 값들이다. 또 다른 평균, 특히 가중되거나 가중하는 평균 역시 정규화에 사용될 수 있다.

이하에서의 예들은, 정보를 오디오 시퀀스 안에 직접 내장하는 상술한 기능을 이용하는 본 발명의 실시예들을 나타낸다.

예: 태그들 및/또는 메타 정보를 오디오 시퀀스의 앞에 첨부하고/뒤에 첨부함.

오디오 시퀀스에 컨텍스트 정보를 추가하는 것은, 이 정보가 부가 정보의 처리를 요하지도 부가 정보의 사용 가능성을 확인하지도 않고도 오디오 시퀀스와 함께 당장 사용 가능하기 때문에 바람직한 것이 된다.

본 발명의 일실시예에 따라 임의의 타입으로 된 정보를 오디오 시퀀스 안에 내장하는 방법은, 이하에서 전첨(prepending)한다고 말하는 것과 같이 오디오 시퀀스의 시작시에 정보를 첨부하고, 이하에서 후첨(appending)한다고 말하는 것과 같이 오디오 시퀀스의 끝에 정보를 첨부하기 위해 이용될 수도 있다. 정보를 오디오 시퀀스에 전첨 및/또는 후첨하기 위해, 오디오 시퀀스 코딩 사일런스(silence)가 오리지널 오디오 시퀀스에 전첨 및/또는 후첨된다. 각자의 오디오 시퀀스 코딩 사일런스는, 정보를 오디오 시퀀스에 내장하기 위해 상술한 방법과 함께 설명된 것처럼 정보를 내장하는데 사용되어, 오디오 시퀀스에 전첨 및/또는 후첨된 오디오 신호들을 형성한다.

다음과 같이 구성된 오디오 시퀀스는 오리지널 오디오 시퀀스에 대해 정렬된 전첨 및/또는 후첨 정보를 보인다. 그러한 구조의 오디오 시퀀스는 다음과 같이 설정될 수 있다:

BEGIN_TAG 톤

전첨 정보를 코딩하기 위한 TAG 톤들

END_TAG 톤

BEGIN_CLIP 톤

(내장된 정보/태그가 있거나 없는) 오디오 시퀀스

END_CLIP 톤

BEGIN_TAG 톤

후첨 정보를 코딩하기 위한 TAG 톤들

END_TAG 톤

START_METADATA 톤

메타 정보를 코딩하기 위한 METADATA 톤들

END_METADATA 톤

자세하게는, 전첨 정보가, 소정 주파수 또는 소정 여러 주파수들을 가진 신호인 초기의 (BEGIN_TAG) 톤, 정보를 코딩하기 위한 하나 이상의 TAG 톤들, 및 또 소정 주파수 또는 소정 여러 주파수들을 가진 신호인 최종 (END_TAG) 톤에 의해 코딩된다. 초기의 하나 이상의 TAG 톤들은 오디오 시퀀스를 고유하게 식별할 수 있어야 하므로, 초기의 하나 이상의 TAG 톤들은 가령 (예를 들어 UTC 인코딩된) 오디오 시퀀스의 리코딩에 대한 정보, 리코딩에 사용되었던 단말기/장치에 대한 식별 정보(예를 들어 셀룰라 단말기의 IMEI 코드) 및 부가 식별 정보를 포함한다. 그러나, 한번에 오직 하나의 오디오 시퀀스 (음성 메시지/메일)만이 하나의 주어진 단말기/장치에서 리코딩될 수 있기 때문에, 고유한 식별을 위해 상술한 시간 및 식별 정보의 조합이 제공된다.

하나 이상의 TAG 톤들이 0에시 9까지의 코딩된 숫자들에 대해 사용될 수 있으며, 이들은 음악적 톤들로서의 간단한 실현수단을 가진다. 가령 2002년 1월 15일, UTC 9:45:17 시에 단말기 357149/19/415292/7에서 생성된 클립에 대한 TAG는, 다음과 같은 일련 번호로 코딩될 수 있다:2-0-0-2-0-1-1-5-0-9-4-5-1-7-3-5-7-1-4-0-1-9-4-1-5-2-9-2-7.

마찬가지로, 후첨 정보가 소정 주파수 또는 소정 여러 주파수들을 가진 신호인 초기의 (BEGIN_TAG) 톤, 정보를 코딩하기 위한 하나 이상의 TAG 톤들, 및 또 소정 주파수 또는 소정 여러 주파수들을 가진 신호인 최종 (END_TAG) 톤에 의해 다시 코딩된다.

또, 부가적 후첨 정보가 소정 주파수 또는 소정 여러 주파수들을 가진 신호인 초기의 (START_METADATA) 톤, 메타 정보를 코딩하기 위한 하나 이상의 METADATA 톤들, 그리고 다시 소정 주파수 또는 소정 여러 주파수들을 가진 신호인 최종 (END_METADATA) 톤에 의해 코딩된다. 메타 정보는, 어드레스 정보(링크 정보, URL 정보 등)와 같이, 오리지널 오디오 시퀀스와 결부되는 정보뿐만 아니라, 가령 하이퍼텍스트 마크업 언어(HTML), 무선 마크업 언어(WML), 확장형 마크업 언어(XML) 등과 같은 마크업 언어를 사용하여 스스로 코딩될 수 있는 콘텐츠 정보를 코딩하는데 사용될 수 있다.

상술한 톤 시스템은 가령 아스키 테이블이나 그것의 부분집합, 거기에 부가하여 위에서 보인 약간의 부가적 톤들에 대해 베이스를 생성하는데 사용될 수 있다. 본 발명의 일실시예에 따르면, METADATA 톤들은 아스키 문자/심볼 테이블에 해당하는 코드 베이스로서 직접 구현된다. 상술한 방법에 따른 신뢰성 있는 7 비트 또는 8 비트 코딩 구조를 생성할 수 있는 코드 베이스들이 있을 수 있다. 아스키 문자/심볼 테이블을 코딩하는 것에 대한 다른 대안적 코딩 구조에서는 해당 아스키 문자/심볼들의 세 비트 표현의 이용을 말한다. 예를 들어, "A"라는 글자는 일련 번호 065로 표현된다. 아스키 문자/심볼 테이블의 각 심볼을 고유의 세 비트 일련 번호와 결부시키는 해당 코딩 테이블의 일부가 이하의 테이블로 보여진다:

여기서 테이블의 각 문자/심볼은 결부된 열 번호와 행 번호를 포함하고, 각가의 열 번호와 각각의 행 번호는 각자의 세 디지트 일련 번호를 결정하도록 정리된다.

이러한 아스키 코딩을 사용함으로써, 가령 html 태그 "<HEAD>"의 아스키 표현은 060-072-069-065-068-062가 될 것이고, 0-6-0-0-7-2-0-6-9-0-6-5-0-6-8-0-6-2 톤들을 제공한다. 이러한 코딩은 많은 반복적 0들을 만들어내며, 다른 어떤 코딩 구조(가령, 아스키 테이블의 소문자들을 제거하는)는 단지 두 디지트만이 사용될 수 있게 할 수도 있다. 그러나, 이것은 표준화를 요한다. 순수 아스키 테이블 표현의 이점은 그것이 공통적으로 사용되고 표준화가 잘 되어 있다는 데 있다.

세 디지트로 부호화된 아스키 문자/심볼 테이블을 오디오 시퀀스에 내장하는데 필요한 숫자 0에서 9까지의 숫자를 인코딩하기 위한, 본 발명의 일실시예에 따른 해당 코드 베이스들은 각 숫자가 음악적 톤들인 C, D, E, F, G, A, 및 H를 나타내기 위한 기존의 사양에 기반하고 있는 두 개의 서로 다른 음악적 톤들을 포함하는 다음의 형태들을 가질 수 있다:

상기 제시된 코드 베이스들은, 모든 코드 베이스 쌍들이 최대한 하나의 공통된 톤을 가지고, 각 코드의 두 톤들이 상호 주파수 간섭을 감소시키는 적어도 두 주파수들로 대개 나눠지기 때문에, 바람직한 코드 베이스들을 나타낸다. 이러한 선택으로서, 코드들을 거의 서로 독자적(작은 상관성을 가진)으로 만들고 또 오리지널 오디오 신호 (재생/리코딩)의 글리치들이 강하게 영향을 주지 않을 정도로 서로로부터 충분히 분리되게 된다.

각각이 두 개의 음악적 톤들을 포함하는 코드 베이스들의 이점은, 코딩되는 넘버가 "C"와 "G"의 음악 톤을 포함하는 넘버 "7"이라고 추정함으로써 인식할 수 있게 된다. 또, 이 넘버가 오디오 시퀀스로부터 디코딩된다는 것을 가정해 보자. 크기 신호 M(x, n)는 다음과 같은 수학식으로 표현된다:

여기서 인덱스 i는 코드 베이스 {b_i(x)}에 포함된 주파수들(톤들)과 관련된 것이고, δ(i, a)는 i가 코딩 인덱스들 중 하나인 x일 때 1이고 그 외에는 0이며, K와 A(ω)는 넘버 "7"이 삽입되는 오리지널 오디오 신호의 기여자이다. 상술한 수학적 표현은 부분적 방식(portion-wise)으로 정의된 표현으로 나눠지거나,

다음과 같이 정리될 수 있다:

대충의 근사값으로서, 긴 시간에 걸쳐 다양한 A(nb_i)가 동일하여 시간 평균값 <A>로서 나타낼 수 있다고 가정할 때, 다음과 같은 식이 나올 수 있다:

심볼 '7'이 내장되는 경우, 감쇠 값 K가 상대적으로 작은 값인 K=0,2로서 미리 정의되고, 신호의 크기(진폭)가 7,4와 같다고 전제하고, 반면 다른 심볼들 중 하나('0'에서 '6', '8', '9')가 내장되는 경우 그 신호의 크기(진폭) 값은 7,0 부터 7, 2라고 하자. 시스템은 대략 5%의 신호 편차들로부터 크기(진폭) 값들을 구분할 수 있어야 한다.

예: 메타-정보

퍼스널 일지를 참조해 상세히 기술한 바와 같이, 메타 정보가 있는 사용자 제공 정보를 체계화하는 관점에서, 상기 메타 정보는 상기 오디오 정보 안에 직접 삽입될 수 있다. 직접적 삽입은 메타 정보가 항상 존재하고 퍼스널 일지의 맥락에서 설명한 것과 같은 임의의 검색 기능을 사용하지 않고도 검색가능하다는 것이다. 메타 정보는 어드레스 정보(링크 정보, URL 정보 등)와 같은 오리지널 오디오 시퀀스와 결부되는 정보 뿐만 아니라 가령 하이퍼텍스트 마크업 언어(HTML), 무선 마크업 언어(WML), 확장형 마크업 언어(XML) 등과 같은 마크업 언어를 사용하여 스스로 코딩될 수 있는 콘텐츠 정보 역시 코딩하는데 사용될 수 있다. 정보를 오디오 시퀀스 안에 삽입하는 방법은, 임의의 코딩 베이스를 제공함으로써 어떤 종류의 정보라도 코딩할 수 있게 한다. 위에서 주어진 언어 인코딩 체계 및 알파벳이 어떤 분명한 텍스트 정보라도 그 의미와 목적과 무관하게 코딩할 수 있게 한다. 여기 기술된 알파벳은 어떤 마크업 언어로 된 글자들을 오디오 클립 자체의 주변이나 그 안에 삽입하는데 사용될 수 있다; 특히, 마크업 코드들은 거기 기술된 METADATA 필드에 내장될 수 있다. 그러면 이 글자들은 상술한 방법에 의해 나중에 오디오 클립으로부터 검색될 수 있고 마크업 언어의 머신-판독가능 포맷으로 변환될 수 있다.

예: 오디오 시퀀스 워터마킹

워터마킹(watermarking)은 가령 전자 데이터의 기원 및 그 전자 데이터의 제공자 등에 대한 정보를, 그 정보의 존재와, 또한 그 정보를 전자 데이터가 처리된 경우에라도 그 전자 데이터로부터 디코딩할 수 있게 보장하는 방법으로 코딩하는데 사용되는 기술이다. 기본적으로, 워터마킹은 디지털 형태로 제공된 이미지들의 저작권 정보를 보호하기 위해 도입되었다. 이러한 기술은 디지털 오디오 정보에 제공되는 경우에도 해당된다.

가장 간단한 워터마크는 단순히 오디오 시퀀스의 상술한 TAG 정보이다. 매우 긴 시간, 가령 10분의 1초 이상에서 일정 시간의 톤이 이용되는데, 그렇게 하면 코드를 통계적으로 식별하기가 더 쉽기 때문이다. 더 복잡한 리던던시 및 에러 정정 방식들 역시 원하기만 하면 부가될 수 있다.

또, 본 발명의 일실시예에 따라 TAG 정보와 메타 정보를 내장함으로써 TAG 정보와 메타 정보를 오디오 시퀀스 안에 직접 삽입하는 것이 가능하다. 내장된 정보는 TAG 정보의 전첨/후첨을 대체하며, 그 전첨/후첨 정보를 코딩되는 정보로서 인식하지 않는 시스템들에서 오디오 복제를 방지할 수 있다.

예: 인증 워터마크

모든 타입의 정보를 오디오 시퀀스 안에 내장하는 상술한 방법은 숨겨진 인증 워터마크를 오디오 시퀀스 안에 내장하는데 사용될 수 있다. 인증 워터마크는 가령 어떤 법적 상태와 관련되어, 오디오 시퀀스들의 변형이 이뤄졌는지의 여부를 검증하게 할 수 있다. 인증 워터마크는 기존의 디지털 서명 알고리즘에 의존한다.

본 발명의 일실시예에서, 상술한 전첨 정보, 즉 TAG를 앞 부분에 첨부하는 것이 인증 워터마크의 베이스로서 사용될 수 있다. 전첨 정보는 가령, 퍼블릭 키 암호화와 같이 퍼블릭 키 및 사설(비밀) 키를 이용하는 강력한 비대칭 암호화 방법을 이용해 암호화되어 암호화된 ENCTAG이 된다. 암호화된 ENCTAG가 오리지널 오디오 시퀀스 안에 내장된다.

내장된 암호화한 ENCTAG의 인증은 해당 오디오 시퀀스의 수신기에 의해 검증될 수 있지만, 발송자(생성자) 만이 실제로 그 암호화되어 내장된 ENCTAG를 해독할 수 있다.

상술한 인증 워터마크를 내장하는 방법은 처리 혹은 교환될 수 없는 서명을 생성하도록 오리지널 오디오 신호로부터 일종의 첵섬(checksum)을 얻도록 함으로써 보다 안전한 인증 워터마크를 만듦으로써 진보할 수 있다. 오디오 퓨리에 변환 A(ω)이 가령 0.1초의 길이와 같은 일정한 길이의 여러 이산 세그먼트들로 나눠지고 그 주파수들은 8 개의 주파수 섹션들과 같은 소정 수의 주파수 섹션들로 이산화된다. 이산화된 크기 값들 A'(ω)은 오디오 퓨리에 변환 A(ω)과 오디오 퓨리에 변환 A(ω)의 평균 진폭 값 <A>, 즉 평균 크기로부터 구해진다. 오디오 퓨리에 변환 A(ω)의 실제 진폭 값이 평균 진폭 값 <A> 보다 적은 경우, 해당하는 이산화된 진폭 값 A'(ω)은 0으로 정해지고, 반면 오디오 퓨리에 변환 A(ω)의 실제 진폭 값이 평균 진폭 값 <A> 보다 큰 경우, 해당하는 이산화된 진폭 값 A'(ω)은 1과 같도록 설정된다.

그 결과 이산화된 진폭 값 A'(ω)은 한 비트 시퀀스로서 해석될 수 있는 "0"과 "1"로 된 시퀀스를 포함한다. 또, 이 시퀀스는 오디오 시퀀스의 총 시간에 대해 8 비트 값들의 시퀀스를 형성한다고 해석되는 8 개의 이산화된 진폭 값들의 부분들로 나눠질 수 있다. 위에서 언급한 바와 같이, 정보를 오디오 시퀀스 안에 내장하기 위해 8 비트 값들의 시퀀스, 특히 8 비트를 쓰는 아스키 코딩이 다뤄질 수 있다. 또, 8 비트 값들의 시퀀스는, 퍼블릭 키 암호화와 같은 비대칭 암호화 방법 등의 알려진 모든 기존의 암호화 방법을 사용해 암호화될 수 있다. 암호화된 시퀀스는 최종적으로 오디오 시퀀스 안에 내장되어 오디오 시퀀스의 수신기로 하여금 그 암호화된 시퀀스를 오디오 시퀀스로부터 분리하여 오디오 시퀀스의 인증을 검사하도록 할 수 있다.

암호화된 정보의 삽입은 숨겨질 수 있다. 본 발명의 일실시예에 따라, 오디오 시퀀스에 내장된 정보를 감추는 것은 사용자에게 고유하고 시간에 따라 변화하는 코드 베이스를 이용함으로써 성취될 수 있다. 또, 보통의 코드 베이스들이 사용되어 투명한 방식으로 부가 정보를 오디오 시퀀스로 내장시키게 할 수 있다.

내장된 정보의 추출과 관련해 도 5d를 참조하면, 내장된 정보를 가진 오디오 시퀀스로부터 M(x,n)을 산출하는 것은, 그 정보를 내장하는데 최초로 이용된 코드 베이스들(상관 베이스)의 주파수들이 알려지지 않은 경우에 거의 불가능하다. 코딩 밀도(코드 베이스의 각 신호의 시간의 듀레이션)에 따라, 진폭 상수 K, 즉, 각각 "보이지 않고" "들리지 않는" 삽입 정보를 발생하는 감쇠 상수 K에 대해 작은 값이 선택될 수 있다.

예: FAT 코딩

본 발명에 따른 일실시예의 진보한 구성이 프로세싱 장치들에서 파일 핸들링 및 관리 기술들로부터 알려진 파일 할당 테이블 기술과 유사한 파일 할당 테이블(FAT)을 설정하게 할 수 있다. 이러한 FAT는 식별 시퀀스, 관련 이름, 길이, 메모리 매체나 저장 장치 상의 위치 (시리얼 매체의 시작 시간 등) 등에 대한 정보를 포함한다. 그에 따라, 아스키 코딩을 주파수 기반 오디오 코딩에 매핑하는 상술한 기능이 그 정보의 코딩을 가능하게 한다.

내성 및 안전성을 이유로 들어, 오디오 FAT 정보가 변화할 때마다 오디오 시퀀스에 내장된 오디오 FAT 정보를 재작성하고 새 오디오 FAT 정보 코딩이 완료될 때까지 이전의 오디오 FAT 정보를 보존시킬 것이 권장된다.

오디오 시퀀스에 내장된 오디오 FAT 정보의 검색은 그로부터 상기 정보를 추출하기 위해 오디오 시퀀스의 완전한 프로세싱을 필요로 한다. 오디오 FAT 정보를 검색하기 위해 사용되는 가능한 프로세싱 기능에 상응하여, 오디오 시퀀스로부터 독자적으로 FAT 정보를 별도 저장(미러링, mirroring)하는 것이 프로세싱 기능들과 프로세싱 시간을 보존하는데 유리하도록 추출 프로세스는 시간 집약적일 수 있다. 파이널라이징 동작은 독자적으로 제공되고 있는(미러링된) FAT 정보와 오디오 시퀀스안에 내장되는 FAT 정보를 동일하게 할 수 있다. 파이널라이징 동작은 임의의 동기되지 않은 상황을 예방하기 위해 FAT 정보의 동기화가 유용한 어떤 이벤트나 소정 시간 주기 마다 동기 동작으로서 작용할 수도 있다.

오디오 FAT 정보는 가령 오디오 시퀀스의 어떤 시간의 순간을 나타내는 포인터에 의해 미리 정해지는, 오디오 시퀀스의 고정 위치에 저장될 수 있다. 또, 오디오 FAT 정보를 저장하는데 필요로 되는 지속 시간이 그 오디오 FAT 정보에 대해 영구히 그리고 명확하게 할당될 수 있다.

이 분야의 당업자에게는 기술이 진보함에 따라 본 발명의 개념이 보다 폭넓은 가짓수의 방법으로 구현될 수 있다는 것에 대해 의심의 여지가 없을 것이다. 따라서 본 발명과 그 실시예들은 위에서 개시된 예들에만 한정되지 않으며 청구범위 안에서 변형될 수 있다.

Claims (39)

1. 모바일 단말기 장치에서 사용할 수 있는 사용자 제공 정보와, 상기 사용자 제공 정보의 검색을 가능하게 하는 메타 정보를 함께 체계화하는 방법에 있어서,

   상기 모바일 단말기 장치 상에서의 어떤 사용자 조작의 결과로서 얻어지는 상기 사용자 제공 정보를 획득하는 단계;

   상기 사용자 제공 정보와 결부되는 컨텍스트 정보를 얻는 단계;

   상기 컨텍스트 정보로부터 구한 메타 정보를 상기 사용자 제공 정보에 할당하는 단계; 및

   정보 히스토리 기능을 설정하기 위해 히스토리 저장부 안에 상기 사용자 제공 정보 및 상기 메타 정보를 저장하는 단계를 포함하고,

   검색 요청과 함께 주어진 요청 정보를 상기 메타 정보와 매치시킴으로써 상기 매치하는 메타 정보에 할당된 사용자 제공 정보를 선택하도록, 상기 메타 정보가 상기 사용자 제공 정보 검색에 사용됨을 특징으로 하는 방법.
2. 제1항에 있어서, 상기 할당 단계는,

   상기 컨텍스트 정보로부터 메타 정보를 추출하는 단계; 및

   상기 메타 정보를 상기 사용자 제공 정보에 할당하는 단계를 포함함을 특징으로 하는 방법.
3. 제1항에 있어서, 상기 사용자 제공 정보를 획득하는 단계는,

   임의의 입력 수단의 사용자 조작을 통해 생성되는 사용자 입력 정보를 수신하는 단계; 및/또는

   임의의 통신 인터페이스를 통해 수신되는 트랜잭션 정보 및/또는 통신 정보를 수신하는 단계를 포함하고,

   상기 사용자 입력 정보 및/또는 트랜잭션 정보 및/또는 통신 정보가 상기 사용자 제공 정보를 나타냄을 특징으로 하는 방법.
4. 제1항에 있어서, 상기 메타 정보를 상기 사용자 제공 정보에 할당하는 단계는,

   상기 컨텍스트 정보로부터 라벨 정보 및/또는 인덱스 정보를 추출하는 단계;

   상기 라벨 정보 및/또는 인덱스 정보를 상기 사용자 제공 정보에 할당하는 단계; 및

   상기 라벨 정보 및/또는 인덱스 정보와 상기 사용자 제공 정보를 저장하는 단계를 포함하고,

   상기 라벨 정보 및/또는 인덱스 정보가 상기 사용자 입력 히스토리의 검색 기능을 구축하기 위한 상기 메타 정보로서 사용됨을 특징으로 하는 방법.
5. 제1항에 있어서, 상기 결부 단계는,

   상기 사용자 제공 정보의 적어도 일부에 대해 참조 정보를 생성하는 단계;

   제1저장 영역에 상기 참조 정보를 저장하는 단계; 및

   제2저장 영역에 상기 사용자 제공 정보의 상기 일부를 저장하는 단계를 포함하고,

   상기 참조 정보는 상기 제2저장 영역으로부터 상기 사용자 제공 정보의 일부를 검색할 수 있게 하는 어드레스 정보를 포함함을 특징으로 하는 방법.
6. 청구항 1에 따라, 캘린더 정보로부터 얻어진 메타 정보와 함께 사용자 제공 정보를 체계화하는 방법에 있어서,

   상기 모바일 장치에 구축된 전자 캘린더로부터, 컨텍스트 정보를 나타내는 상기 캘린더 정보를 얻는 단계;

   상기 캘린더 정보와 상기 사용자 제공 정보를 매치시키는 단계;

   상기 캘린더 정보로부터 메타 정보를 구하는 단계; 및

   상기 메타 정보를 상기 사용자 제공 정보에 할당하는 단계를 포함함을 특징으로 하는 방법.
7. 제6항에 있어서, 상기 캘린더 정보로부터 메타 정보를 구하는 단계는,

   상기 사용자 제공 정보에 따른 제1시간 정보를 얻는 단계;

   상기 캘린더 정보에 포함되고 각각 제2시간 정보를 구비한 복수의 캘린더 엔트리들을 얻는 단계;

   상기 제1시간 정보와 상기 각각의 제2시간 정보를 매치하는 단계;

   상기 복수의 캘린더 엔트리들 가운데 각각의 매치하는 캘린더 엔트리로부터 메타 정보를 구하는 단계; 및

   상기 정보 히스토리 기능을 구축하기 위해 상기 히스토리 저장부에 상기 사용자 제공 정보 및 상기 메타 정보를 저장하는 단계를 포함함을 특징으로 하는 방법.
8. 제7항에 있어서, 상기 각각의 매치하는 캘린더 엔트리로부터 메타 정보를 구하는 단계는,

   맴버십 함수를 상기 제2시간 정보에 할당하는 단계;

   상기 제1시간 정보에 따라 상기 멤버십 함수로부터 멤버십 등급 값을 도출하는 단계; 및

   상기 멤버십 등급 값을 상기 사용자 제공 정보에 할당하는 단계를 포함하고,

   상기 멤버십 등급 값은 검색의 신뢰성을 평가할 수 있게 하는 계량법을 정의한 것임을 특징으로 하는 방법.
9. 제7항에 있어서, 상기 제1시간 정보가 제1시간의 주기와 관련되는 경우,

   상기 사용자 제공 정보를, 각 부분이 미리 정의된 최대의 시간 주기와 관련되고 따로따로 매치하는 복수의 정보 부분으로 분할하는 단계를 포함함을 특징으로 하는 방법.
10. 제7항에 있어서, 상기 제1시간 정보가 제1시간의 주기와 관련되고, 상기 제2시간 정보가 제2시간의 주기와 관련되는 경우, 및 상기 제1시간의 주기가 상기 제2시간의 주기를 초과하는 경우,

    상기 사용자 제공 정보를 적어도 두 정보 섹션으로 나누는 단계를 포함하고, 상기 적어도 두 정보 섹션들 가운데 하나는 상기 제2시간 주기에 알맞고, 상기 하나의 알맞은 정보 섹션이 매치됨을 특징으로 하는 방법.
11. 제7항에 있어서, 상기 제2시간의 주기는 상기 제2시간의 주기의 시작부와 상기 제2시간의 주기의 종료부에 첨가되는 어떤 소정의 오버헤드 시간 주기들을 포함함을 특징으로 하는 방법.
12. 제7항에 있어서, 상기 캘린더 정보에 포함되는 상기 복수의 캘린더 엔트리들 각각은 의미론적 구조로 되어 있고,

    각각의 매치하는 캘린더 엔트리로부터 메타 정보를 구하는 단계는, 상기 의미론적 구조로 된 각각의 매치하는 캘린더 엔트리로부터 메타 정보를 획득하는 단계를 포함함을 특징으로 하는 방법.
13. 청구항 1에 따라, 사용자 제공 오디오 정보를 메타 정보와 함께 체계화하는 방법에 있어서,

    리코딩 및 저장된 상기 사용자 제공 오디오 정보 및 이와 나란하게 부가적 사용자 제공 정보를 포함하는 상기 사용자 제공 정보를 획득하는 단계;

    상기 모바일 단말 장치에 대한 사용자 액션의 결과로 생성된 사용자 입력 정보를 포함하는 상기 컨텍스트 정보를 상기 사용자 제공 오디오 정보와 나란하게 획득하는 단계; 및

    상기 부가적 사용자 제공 정보 및 상기 컨텍스트 정보에 대한 정보를 포함하는 메타 정보를 생성하는 단계를 포함함을 특징으로 하는 방법.
14. 제13항에 있어서, 상기 사용자 입력 정보는 상기 사용자 제공 오디오 정보의 상기 리코딩과 관련된 제어 신호들을 포함하고,

    시작 신호를 수신하면, 상기 사용자 제공 오디오 정보의 리코딩 및 저장을 개시하는 단계;

    키워드 신호를 수신하면, 상기 사용자 제공 오디오 정보와 관련된 키워드들을 포함하는 사용자 제공 오디오 키워드 정보의 리코딩을 시작하는 단계;

    첨부 신호를 수신하면, 부가 정보를 상기 사용자 제공 오디오 정보와 결부시키는 단계;

    일시 정지 신호를 수신하면, 상기 사용자 제공 오디오 정보의 리코딩 및 저장을 일시 정지하는 단계;

    계속 신호를 수신하면, 상기 리코딩 및 저장의 일시 정지에 이어서 상기 사용자 제공 오디오 정보의 상기 리코딩 및 저장을 재개하는 단계; 및

    중지 신호를 수신하면, 상기 사용자 제공 오디오 정보의 상기 리코딩 및 저장을 멈추고, 상기 리코딩 컨텍스트 정보를 생성하는 단계를 포함함을 특징으로 하는 방법.
15. 제13항에 있어서, 상기 리코딩 컨텍스트 정보는 적어도,

    상기 사용자 제공 오디오 정보에 대한 정보 및 시간 정보;

    상기 사용자 입력 정보에 대한 시간 정보; 및

    상기 사용자 제공 오디오 정보와 결부되는 상기 부가적 사용자 제공 정보에 대한 정보를 포함함을 특징으로 하는 방법.
16. 제13항에 있어서, 상기 컨텍스트 정보의 상기 생성 단계는,

    상기메타 정보를 마크업 언어에 따라 부호화된 문서로서 인코딩하는 단계를 포함함을 특징으로 하는 방법.
17. 제13항에 있어서, 그래픽 성분들을 상기 메타 정보에 포함된 각각의 정보 엔트리에 할당하고, 메타 정보의 콘텐츠를 나타내는 상기 그래픽 성분들을 예측하고 상기 메타 정보에 정의된 관계를 보임으로써, 상기 메타 정보가 디스플레이됨을 특징으로 하는 방법.
18. 메타 정보를 사용자 제공 오디오 정보 안에 내장시킴으로써 청구항 1에 따라 사용자 제공 오디오 정보를 메타 정보와 함께 체계화하는 방법에 있어서,

    복수의 코딩 심볼들을 나타내고 각각이 소정 개수의 소정 주파수들을 포함하는 코드 베이스들의 집합을 제공하는 단계;

    상기 메타 정보를 상기 복수의 코딩 심볼들로 매핑하는 단계; 및

    상기 매핑된 메타 정보를 상기 사용자 제공 오디오 정보 안에 내장시킴으로써 상기 사용자 제공 오디오 정보와 상기 매핑된 메타 정보를 결합하는 단계를 포함함을 특징으로 하는 방법.
19. 제18항에 있어서, 상기 결합 단계는,

    상기 매핑된 메타 정보로부터 변조 신호를 얻는 단계;

    상기 사용자 제공 오디오 정보와 상기 변조 신호를 주파수 도메인 상에서 결합함으로써 변조 신호를 얻는 단계; 및

    상기 변조된 신호를 상기 사용자 제공 오디오 정보와 시간 도메인 상에서 결합함으로써, 상기 메타 정보를 내장한 상기 사용자 제공 오디오 정보를 얻는 단계를 포함함을 특징으로 하는 방법.
20. 제18항에 있어서, 상기 코드 베이스들의 집합을 제공하는 단계는,

    복수의 주파수 영역들 가운데 한 주파수 영역인 제1주파수 영역 안에서 코드 베이스들의 집합을 제공하는 단계;

    상기 사용자 제공 오디오 정보에 적용될 수 있는 총 주파수 영역을 형성하는 복수의 주파수 영역들의 각 주파수 영역에 상기 코드 베이스들의 집합을 매핑하는 단계를 포함함을 특징으로 하는 방법.
21. 제19항에 있어서, 상기 변조된 신호를 획득하는 단계는,

    상기 사용자 제공 오디오 정보와 상기 변조 신호를 상기 주파수 도메인에서 곱함으로써 상기 변조된 신호를 획득하는 단계를 포함함을 특징으로 하는 방법.
22. 제19항에 있어서, 상기 메타 정보를 내장한 상기 사용자 제공 오디오 정보의 상기 획득 단계는,

    상기 변조 신호와 상기 오리지널 오디오 신호를 상기 시간 도메인에서 더함으로써, 상기 메타 정보를 내장한 상기 사용자 제공 오디오 정보를 획득하는 단계를 포함함을 특징으로 하는 방법.
23. 청구항 18항에 따라 상기 메타 정보를 내장한 오디오 정보로부터 메타 정보를 추출하는 방법에 있어서,

    상기 메타 정보를 코딩하는데 사용되는 복수의 코딩 심볼들을 나타내는 코드 베이스들의 집합 안에 포함되는 각 주파수를 구비한 상관 베이스를 제공하는 단계; 및

    상기 메타 정보를 추출하기 위해, 상기 메타 정보를 내장한 상기 오디오 정보로 상기 상관 베이스를 적용하는 단계를 포함하고,

    상기 추출된 메타 정보는 검색에 이용됨을 특징으로 하는 방법.
24. 제23항에 있어서, 상기 적용 단계는,

    상기 상관 베이스로부터 변조 신호를 구하는 단계;

    상기 변조 신호와, 상기 메타 정보를 내장한 상기 오디오 정보를 주파수 도메인 상에서 컨벌루션함으로써 상기 오디오 신호로부터 상관 신호를 구하는 단계;

    상기 상관 신호로부터, 상기 코드 베이스들의 집합의 각 코드 베이스에 상응하는 크기 신호 값들을 추출하는 단계; 및

    상기 오디오 정보로부터 상기 메타 정보를 회수하기 위해 상기 크기 신호 값들을 산출하는 단계를 포함함을 특징으로 하는 방법.
25. 제24항에 있어서, 상기 크기 신호들을 평가하는 단계는,

    상기 크기 신호 값들의 각 쌍의 크기 비율 값들을 구하는 단계;

    상기 크기 비율 값들을 정규화하는 단계; 및

    상기 오디오 정보로부터 상기 메타 정보를 추출하기 위해, 상기 크기 신호 값들의 상기 정규화된 크기 비율 값들을 산출하는 단계를 포함함을 특징으로 하는 방법.
26. 제24항에 있어서, 상기 상관 베이스는 제1주파수 범위 안에서 정의되며,

    상기 상관 신호를 획득하는 단계는,

    복수의 주파수 영역들 중 제1주파수 영역 안에 있는 상기 코드 베이스들의 집합의 모든 주파수들을 포함하는 상관 베이스를 제공하는 단계;

    상기 변조 신호를 얻기 위해 상기 오디오 정보에 적용될 수 있는 총 주파수 영역을 형성하는 상기 복수의 주파수 영역들의 각각의 주파수 영역으로 상기 상관 베이스를 매핑하는 단계; 및

    상기 변조 신호와 상기 오디오 정보를 상기 주파수 도메인에서 컨벌루션함으로써 상기 오디오 신호로부터 상기 상관 신호를 획득하는 단계를 포함함을 특징으로 하는 방법.
27. 제1항 내지 제26항 중 어느 한 항에 따라, 체계화된 사용자 제공 정보를 검색하는 방법에 있어서,

    어떤 사용자 제공 정보를 검색하라고 지시하기 위한 요청 정보를 구비하는 검색 요청을 수신하는 단계;

    상기 정보 히스토리 기능에 의해 제공되는 상기 사용자 제공 정보에 할당되는 상기 메타 정보와 상기 요청 정보를 비교하는 단계;

    매치하는 상기 메타 정보에 할당된 상기 사용자 제공 정보를 검색하는 단계;

    상기 검색된 사용자 제공 정보를 포함하는 응답을 생성하는 단계; 및

    상기 응답을 전송하는 단계를 포함함을 특징으로 하는 방법.
28. 제27항에 있어서, 상기 사용자 제공 정보를 검색하는 단계는,

    상기 검색될 사용자 제공 정보와 결부되고, 제2저장 영역에 저장되는 상기 사용자 제공 정보의 일부를 겨냥하는 어드레스 정보를 포함하는 참조 정보를 검색하는 단계; 및

    상기 제2저장 영역으로부터 상기 사용자 제공 정보의 일부를 검색하는 단계를 포함함을 특징으로 하는 방법.
29. 제27항에 있어서, 상기 사용자 제공 정보의 검색 단계는,

    캘린더 엔트리들로부터 얻어진 상기 멤버십 등급 값들을 토대로 검색된 상기 사용자 제공 정보를 평가하는 단계를 포함하고,

    상기 멤버십 등급 값은 검색의 신뢰성을 평가하게 할 수 있는 계측법을 정의한 것임을 특징으로 하는 방법.
30. 메타 정보와 함께 제공되는 사용자 제공 정보를 체계화하는 저장 기능을 제공하는 방법에 있어서,

    - 청구항 1 내지 29항 중 어느 한 항에 따라 메타 정보와 함께 사용자 제공 정보를 체계화하는 상기 방법을 수행하는 모바일 단말기 장치로부터, 사용자 제공 정보의 적어도 일부를 저장하라는, 저장할 상기 사용자 제공 정보의 일부 및 참조 정보를 포함하는 요청을 수신하는 동작; 상기 사용자 제공 정보의 상기 일부가 상기 참조 정보와 관련해 검색될 수 있도록 상기 사용자 제공 정보의 일부와 상기 참조 정보를 저장하는 동작을 통해, 저장을 위한 저장 기능을 제공하는 단계, 및

    - 청구항 1 내지 29항 중 어느 한 항에 따라 메타 정보와 함께 사용자 제공 정보를 체계화하는 방법을 수행하는 모바일 단말기 장치로부터, 사용자 제공 정보의 적어도 일부를 검색하라는, 상기 참조 정보를 포함하는 동작; 상기 참조 정보에 따라 상기 사용자 제공 정보의 상기 일부를 검색하는 동작; 상기 사용자 제공 정보의 상기 검색된 부분을 포함하는 응답을 생성하는 동작; 및 상기 모바일 단말기 장치로 상기 응답을 전송하는 동작을 통해, 검색을 위한 검색 기능을 제공하는 단계를 포함함을 특징으로 하는 방법.
31. 메타 정보와 함께 사용자 제공 정보를 체계화 및 검색하는 소프트웨어 툴에 있어서,

    프로세싱 장치, 네트워킹된 장치, 네트워킹된 서버, 단말기 장치 또는 통신 단말기 장치 상에서 실행되는 컴퓨터 프로그램 안에 구축되어 있을 때, 청구항 1항 내지 30항 중 어느 한 항의 동작들을 수행하는 프로그램 영역들을 포함함을 특징으로 하는 소프트웨어 툴.
32. 메타 정보와 함께 사용자 제공 정보를 체계화 및 검색하는 컴퓨터 프로그램 생성물에 있어서,

    프로세싱 장치, 네트워킹된 장치, 네트워킹된 서버, 단말기 장치 또는 통신 단말기 장치 상에서 상기 컴퓨터 프로그램 실행될 때, 청구항 1항 내지 30항 중 어느 한 항의 동작들을 수행하는 로드 가능한 프로그램 코드 섹션들을 포함함을 특징으로 하는 컴퓨터 프로그램 생성물.
33. 메타 정보와 함께 사용자 제공 정보를 체계화 및 검색하는 컴퓨터 프로그램 생성물에 있어서,

    상기 컴퓨터 프로그램 생성물이 프로세싱 장치, 네트워킹된 장치, 네트워킹된 서버, 단말기 장치 또는 통신 단말기 장치 상에서 실행될 때, 청구항 1항 내지 30항 중 어느 한 항의 방법을 수행하기 위해 컴퓨터 판독가능 매체 상에 저장된 프로그램 코드 섹션들을 포함함을 특징으로 하는 컴퓨터 프로그램 생성물.
34. 캐리어 웨이브로서 구현되고, 프로세스에 의해 실행시 청구항 1 내지 30항 중 어느 한 항의 방법이 수행되도록 하는 프로그램을 나타내는 컴퓨터 데이터 신호.
35. 메타 정보와 함께 사용자 제공 정보를 체계화할 수 있는 모바일 단말기 장치에 있어서,

    상기 모바일 단말기 장치에 대한 임의의 사용자 조작의 결과로서 얻어진 상기 사용자 제공 정보와, 상기 사용자 제공 정보와 결부되는 컨텍스트 정보를 획득하는 수단;

    - 상기 컨텍스트 정보로부터 얻어진 메타 정보를 할당하는 수단;

    - 상기 사용자 제공 정보 및 상기 메타 정보를 저장하는 수단을 포함하고,

    검색 요청과 함께 주어진 요청 정보를 상기 메타 정보와 매치시킴으로써 상기 매치하는 메타 정보에 할당된 사용자 제공 정보를 선택하도록, 상기 메타 정보가 상기 사용자 제공 정보 검색에 사용됨을 특징으로 하는 장치.
36. 청구항 35에 따라 캘린더 정보로부터 얻어진 메타 정보와 함께 사용자 제공 정보를 체계화할 수 있는 모바일 단말기 장치에 있어서,

    상기 모바일 단말기 장치에 구축된 전자 캘린더로부터, 컨텍스트 정보를 나타내는 상기 캘린더 정보를 구하는 수단;

    상기 캘린더 정보 및 상기 사용자 제공 정보를 매치하는 수단; 및

    상기 매치하는 캘린더 정보로부터 메타 정보를 얻는 수단을 포함함을 특징으로 하는 장치.
37. 청구항 35에 따라 메타 정보와 사용자 제공 오디오 정보를 체계화할 수 있는 모바일 단말기 장치에 있어서,

    상기 사용자 제공 오디오 정보 및 부가적 사용자 제공 정보를 얻는 수단;

    상기 사용자 제공 오디오 정보를 리코딩하는 수단;

    상기 사용자 제공 오디오 정보를 저장하는 저장 수단;

    상기 모바일 단말기 장치에 대한 사용자 조작의 결과로서 발생되는 사용자 입력 정보를 포함하는 컨텍스트 정보를 상기 사용자 제공 오디오 정보와 병행하여 획득하는 수단; 및

    상기 부가적 사용자 제공 정보와 상기 컨텍스트 정보에 대한 정보를 포함하는 메타 정보를 생성하는 수단을 구비함을 특징으로 하는 장치.
38. 메타 정보를 사용자 제공 오디오 정보에 내장시킴으로써, 청구항 35항에 따른 상기 메타 정보와 사용자 제공 오디오 정보를 체계화할 수 있는 모바일 단말기 장치에 있어서,

    복수의 코딩 심볼들을 나타내고, 각각이 미리 정의된 소정 수의 주파수들을 포함하는 코드 베이스들의 집합;

    상기 메타 정보를 상기 복수의 코딩 심볼들로 매핑하는 수단; 및

    상기 매핑된 메타 정보를 상기 사용자 제공 오디오 정보안에 내장함으로써 상기 메타 정보를 내장한 사용자 제공 오디오 정보를 얻는 수단을 포함함을 특징으로 하는 장치.
39. 메타 정보와 함께 제공되는 사용자 제공 정보를 체계화하기 위한 저장 용량을 제공할 수 있는 저장 장치에 있어서,

    청구항 1항 내지 29항 중 어느 한 항에 따른 메타 정보와 사용자 제공 정보를 체계화하는 방법을 수행하는 모바일 단말기 장치로부터 사용자 제공 정보의 적어도 일부를 저장하라는 요청이며 저장할 상기 사용자 제공 정보의 상기 일부 및 참조 정보를 포함하는 저장 요청을 수신하고, 청구항 1항 내지 29항 중 어느 한 항에 따른 메타 정보와 사용자 제공 정보를 체계화하는 방법을 수행하는 상기 모바일 단말기 장치로부터 사용자 제공 정보의 적어도 일부를 검색하라는 요청이며 참조 정보를 포함하는 검색 요청을 수신하고, 상기 검색 요청의 결과인 응답을 전송하라는 요청을 수신하는 인터페이스 수단;

    상기 사용자 제공 정보의 일부가 상기 참조 정보와 관련해 검색될 수 있도록 상기 사용자 제공 정보의 상기 일부와 상기 참조 정보를 저장하는 저장 수단;

    상기 참조 정보에 따라 상기 검색 요구로서 요구된 상기 사용자 제공 정보의 상기 일부를 검색하는 수단; 및

    상기 사용자 제공 정보의 상기 검색된 일부를 포함하는 응답을 생성하는 수단을 포함함을 특징으로 하는 장치.