KR101965136B1

KR101965136B1 - 이벤트 아카이빙 시스템 및 방법

Info

Publication number: KR101965136B1
Application number: KR1020187024832A
Authority: KR
Inventors: 패트릭 순-시옹
Original assignee: 난트 홀딩스 아이피, 엘엘씨
Priority date: 2012-05-24
Filing date: 2013-05-24
Publication date: 2019-04-03
Also published as: EP2856335A1; KR20160126098A; EP2856335A4; KR20150081411A; JP2017050021A; JP2019083053A; KR20180099939A; US10540319B2; EP2856335B1; US20190073369A1; US20210311906A1; JP2015521324A; EP3614277A1; KR102086888B1; KR102009629B1; US10133742B2; JP6896779B2; US20150142753A1; US11061855B2; KR20190035963A

Abstract

이벤트 정보를 탐색하는 방법이 표현된다. 기념물 오브젝트는 아카이빙 엔진에 의해 인식될 수 있다. 인식에 기초하여, 아카이빙 엔진은 기념물 오브젝트와 관련된 정보, 아마도 하나 이상의 인식할 수 있는 특징을 획득하고, 상기 정보를 사용하여 대응하는 태그를 갖는 타임라인과 연관된 이벤트를 검색한다. 다음으로 아카이빙 엔진은 이벤트 정보를 결과 세트로서 사용자에게 반환할 수 있다.

Description

이벤트 아카이빙 시스템 및 방법{EVENT ARCHIVING, SYSTEM AND METHODS}

본 발명의 분야는 정보 아카이빙 기술이다.

<우선권 주장>

본 출원은 2012년 5월 24일에 출원된 미국 가출원 61/651179에 대한 우선권을 주장한다. 이것과 여기에 논의되는 모든 다른 외적인 재료는 여기에 전체적으로 참고문헌으로 인용된다.

최근에 페이스북^®은 타임라인의 개념을 도입하였으며, 여기서 사용자 정보는 정보가 페이스북에 들어가는 시기에 따라서 또는 사용자가 타임라인에 정보를 링크하는 방법에 기초하여 정돈된다. 이러한 정보의 정돈은 사용자가 그들의 인생의 시간-관련 이벤트를 리뷰하도록 허용함으로써 사용자에게 유용할 수 있다. 불행하게도, 페이스북 타임라인에 저장되는 정보는 페이스북 없이는 접근할 수 없고 사용자에게 가용한 정보를 상기시킬 수 있는 메커니즘이 결여된다.

차후의 검색을 위하여 정보를 아카이빙하는 것을 지향하는 작업이 있어왔다. 예를 들면, 2003년 10월 27일에, "Method and System for Collaboration Recording"이라는 제목으로 출원된, Stephens 등에 의한 미국 특허출원 2004/0107270은 협업 세션이 아카이빙되는 시스템을 기술한다. 이러한 접근 방법은 통신 세션에서의 협업에 유용하다. 그러나, Stephens 시스템은 또한 메모리 큐를 개인 사용자에게 제공하지 못한다.

작업은 또한 인식할 수 있는 오브젝트를 향하여 진행되어 왔다. 예를 들면, 2001년 11월 5일에, "Image capture and identification system and process"라는 제목으로 출원된 7,016,532와, 2004년 5월 20일에 "Image capture and identification system and process"라는 제목으로 출원된 7,477,780와, 2005년 8월 15일에 "Use of image-derived information as search criteria for internet and other search engines"라는 제목으로 출원된 7,680,324와, 그리고 2005년 1월 26일에 "Data capture and identification system and process"라는 제목으로 출원된 7,565,008의 Boncyk 등의 미국 공유 특허는, 오브젝트를 인식하고 인식된 오브젝트에 기초하여 콘텐츠 정보를 반환하는 다양한 측면을 기술한다. 그러나, 이들 특허는 또한 개인의 타임라인에 흥미있는 이벤트를 결속시키는 통찰력을 제공하지 못한다.

이들 및 여기에 논의되는 모든 다른 외적인 재료는 여기에 전체적으로 참고문헌으로 인용된다. 인용되는 참고 문헌 내의 용어의 정의나 사용이 여기에 제공되는 용어의 정의와 일치하지 않거나 모순적이라면, 여기서 제공되는 해당 용어의 정의가 적용되며, 참조 문헌 내의 용어의 정의는 적용하지 않는다.

만일 맥락상 다르게 지시하지 않는다면, 여기서 시작하는 모든 범위는 그들의 끝점을 포함하는 것으로 해석되어야 하며, 오픈 엔드(open-ended) 범위는 상업적으로 실현가능한 값을 포함하는 것으로 해석되어야 한다. 유사하게, 모든 값의 목록은 맥락상 다르게 지시하지 않는 한 중간값을 포함하는 것으로 간주되어야 한다.

이상적으로 사람이나 기타 다른 엔티티들은 이벤트를 아카이빙할 수 있고 또한 이벤트를 회상하기 위하여 사용될 수 있는 기념물을 가질 수 있다. 따라서, 여전히 사용자에게 기억을 촉발하거나 회복시킬 수 있는 아카이빙 시스템에 대한 요구가 있다.

본 발명의 주제는 사람이 타임라인에 따라 그들의 인생에서 하나 이상의 이벤트를 추적하고 기념물을 통해 이벤트와 관련된 정보를 검색할 수 있는 장치, 시스템 및 방법을 제공한다. 본 발명의 기술의 일 측면은 이벤트 정보를 탐색(retrieve)하는 방법을 제공한다. 고려되는 방법은 사용자가 하나 이상의 인터페이스(예를 들면, 휴대폰, API, 브라우저, 소셜 네트워크, 검색 엔진 등)를 통해 이벤트 아카이빙 엔진에 접근하는 것을 허용한다. 아카이빙 엔진은, 아마도 네트워크를 통해, 이벤트 오브젝트를 수신하도록 구성되는 것이 좋으며, 이때 이벤트 오브젝트는 엔티티(예를 들면, 사람, 동물, 애완동물, 빌딩, 차량, 또는 기타 다른 아이템)의 인생에서의 사건을 표현하는 데이터를 포함한다. 예를 들면, 방법은 사용자의 휴대폰에 의해 캡처된 콘서트의 비디오를 수신하는 아카이빙 엔진을 포함할 수 있으며, 비디오는 이벤트 오브젝트로 생각될 수 있다. 아카이빙 엔진은 또한 이벤트 오브젝트를 엔티티와 연관된 타임라인에 결속시킬 수 있으며, 타임라인은 시간에 따라 정돈되는 복수의 이벤트 오브젝트를 표현한다. 방법의 또 따른 단계는 기념물 오브젝트와 결속되거나, 또는 연관되는 하나 이상의 이벤트 오브젝트를 선택하는 단계를 포함할 수 있다. 아카이빙 엔진은, 아마도 중간의 인덱싱 정보를 경유하여, 기념물(memento) 오브젝트의 하나 이상의 인식할수 있는 특징을 선택된 이벤트 오브젝트에 매핑함으로써 이벤트 오브젝트와 함께 기념물(memento) 오브젝트를 등록할 수 있다. 아카이빙 엔진은 상기 기념물 오브젝트의 디지털 표현으로부터 하나 이상의 도출된 특징을 도출하여 상기 도출된 특징을 선택된 이벤트의 검색의 기반으로 활용함으로써 상기 선택된 이벤트를 탐색할 수 있다.

본 발명의 주제의 다양한 목적, 특징, 양상 및 이점은, 유사한 번호는 유사한 컴포넌트를 표현하는 첨부하는 도면의 특징과 더불어, 다음의 바람직한 실시예의 상세한 설명으로부터 좀 더 명백해질 것이다.

도 1은 이벤트 아카이빙 에코시스템에 대한 개요도이다.
도 2는 타임라인, 기념물 및 이벤트 오브젝트 간의 링크를 보여준다.
도 3은 기념물에 기초하여 이벤트 정보를 검색하는 가능한 방법을 표현한다.

다음의 설명은 이벤트 아카이빙 시스템에 기초한 컴퓨터/서버에 대한 것이지만, 다양한 대안적인 구성도 역시 적합하다고 여겨지며 서버, 인터페이스, 시스템, 데이터베이스, 에이전트, 피어, 엔진, 컨트롤러, 또는 개별적으로나 통합하여 동작하는 기타 다른 유형의 컴퓨팅 장치를 포함하는 컴퓨팅 장치를 채용할 수 있다는 것이 주목되어야 한다. 이러한 용어들은 컴퓨팅 장치가 유형의, 비-일시적 컴퓨터 판독가능한 저장 매체(예를 들면, 하드 드라이브, 솔리드 상태 드라이브, RAM, 플래시, ROM 등)에 저장되는 소프트웨어 명령을 실행하도록 구성되는 프로세서를 포함하는 것을 표현한다고 간주된다는 것이 이해되어야 한다. 소프트웨어 명령은 개시되는 장치와 관련하여 이하 논의되는 역할, 책임이나, 기타 다른 기능성을 제공하는 컴퓨팅 장치를 구성하는 것이 바람직하다. 특히 바람직한 실시예에서, 다양한 서버, 시스템, 데이터베이스, 또는 인터페이스는, 아마도 HTTP, HTTPS, AES, 공개-개인 키 교환, 웹 서비스 APIs, 알려진 재무 트랜잭션 프로토콜, 또는 기타 다른 전자 정보 교환 방법에 기초하는, 표준 프로토콜이나 알고리즘을 사용하여 데이터를 교환한다. 데이터 교환은 바람직하게는 패킷 스위칭 네트워크, 인터넷, LAN, WAN, VPN, 또는 기타 다른 유형의 패킷 스위칭 네트워크를 통해 수행된다.

개시되는 기술은 아카이빙 엔진으로 송신되는 인식 신호에 기초하여 이벤트 정보를 탐색하는 것을 포함하여 많은 이로운 기술적인 효과를 제공한다는 것이 이해되어야 한다.

다음의 논의는 본 발명의 주제의 많은 실시예를 제공한다. 비록 각 실시예는 본 발명의 구성요소의 단일한 조합을 표현하지만, 본 발명의 주제는 개시되는 구성요소의 모든 가능한 조합을 포함하는 것이 고려된다. 따라서 만일 일 실시예가 구성요소 A, B 및 C를 포함하고 제2 실시예가 구성요소 B와 D를 포함한다면, 본 발명의 주제는 또한 A, B, C 또는 D의 다른 나머지 조합을 포함하는 것으로 간주된다.

여기서 사용될 때, 그리고 맥락상 다르게 지시하지 않는다면, 용어 "에 연결되는"은 (서로 연결된 두 개의 구성요소가 서로 접촉하는) 양방향 직접 연결과, (적어도 하나의 추가적인 구성요소가 두 개의 구성요소 사이에 위치하는) 간접 연결을 포함하는 것으로 의도된다. 따라서, 용어 "에 연결되는"과 "와 연결되는"은 동의어로 사용된다. 네트워크 맥락에서, 용어 "에 연결되는"과 "와 연결되는"은 또한 "와 통신으로 연결되는"을 의미하도록 완곡하게 사용된다.

도 1은 타임라인에 따라서 하나 이상의 이벤트 오브젝트(145A 부터 145B)를 저장하도록 구성되거나 프로그래밍되는 이벤트 아카이빙 엔진(130)을 포함하는 아카이빙 시스템(100)을 보여준다. 본 발명의 주제에 맞게 적합하게 적응될 수 있는 컴퓨팅 시스템의 예는 검색 엔진, 소셜 네트워킹 사이트, 온라인 커뮤니티, CRM 데이터베이스, 소스 제어 엔진, 포럼, 제품 리뷰 사이트, 온라인 게임 플랫폼, 멀티플레이어 온라인 게임, 또는 정보를 저장하는 기타 다른 컴퓨팅 시스템을 포함한다.

다음의 논의는 이벤트 아카이빙 엔진(130)이 네트워크(115)를 통해 이벤트-기념물 수수료 청구 서비스(for-fee serivce)로의 접근을 제공하는 것으로서 설명되는데, 이벤트 아카이빙 엔진(130)은 서비스로서의 플랫폼(Platform-as-a-Service, PaaS), 서비스로서의 인프라스트럭처(Infrastructure-as-a-Service, IaaS), 서비스로서의 소프트웨어(Software-as-a-Service, SaaS), 또는 기타 다른 유형의 플랫폼으로서 동작하는 하나 이상의 서버를 포함할 수 있다. 그러나, 이벤트 아카이빙 엔진(130)은 휴대폰, 개인용 컴퓨터, 태블릿, 또는 기타 다른 장치를 포함하는 기타 다른 컴퓨팅 장치를 나타낼 수 있다는 것이 이해되어야 한다. 따라서, 어떤 실시예에서, 사용자는 스마트폰에 어플을 설치하여, 어플이 휴대폰을 이벤트 아카이빙 엔진(130)으로서 동작하도록 프로그래밍하게 할 수 있다.

도시된 예에서, 장치(160A)의 사용자는 시간에 따른 사건을 표현하는 이벤트(110)의 데이터를 캡처한다. 예를 들면, 개인은 결혼이나 스포츠 이벤트에 참석하여 휴대폰의 카메라를 사용하여 결혼이나 스포츠 이벤트의 이미지나 기타 다른 콘텐츠를 캡처할 수 있다. 장치(160A)에 의해 캡처된 이벤트(110) 관련 콘텐츠는, 아마도 네트워크(115)(예를 들면, 네트워크 연결, 인터넷, LAN, WAN, VPN, PAN 등)를 통해, 이벤트 아카이빙 엔진(130)으로 제출될 수 있다. 도시된 예에서, 장치(160A)는 휴대폰으로 도시된다. 그러나, 다른 유형의 장치들이 태블릿, 컴퓨터, 보안 카메라, 또는 기타 다른 센서 장치를 포함하여 장치(160A)로서 동작할 수 있다. 또한, 이벤트(110)를 표현하는 콘텐츠는 이미지 데이터, 비디오 데이터, 오디오 데이터, 스피치 데이터, 모션 데이터, 가속 데이터, 온도 데이터, 텍스트 데이터, 바이오메트릭 데이터, 또는 기타 다른 유형의 양식 데이터를 포함하는 광범위한 스펙트럼의 데이터 양식을 포함한다. 이벤트 아카이빙 엔진(130)은 서비스 인터페이스(135)(예를 들면, 셀룰러 인터페이스, GUI, API, HTTP 서버, 등)를 통해 이벤트(110)에 관련된 콘텐츠를 수신하고, 이벤트 오브젝트들(145)로서 총칭되는, 하나 이상의 이벤트 오브젝트(145A-145B)를 구체화한다.

이벤트 아카이빙 엔진(130)은 사람의 일생 동안의 사건을 이벤트 오브젝트(145)로서 저장하며, 이벤트 오브젝트(145)는 사건이나 이벤트(110)를 표현하는 데이터를 포함한다. 각 이벤트 오브젝트(145)는 시스템 내의 다른 오브젝트에 비하여 구분되는 관리하기 쉬운 오브젝트가 고려될 수 있다. 예를 들면, 이벤트 오브젝트(145)는 앞에서 언급한 것처럼 추가적인 콘텐츠와 함께 캡처될 수 있는 이미지, 비디오, 또는 기타 다른 유형의 데이터로 고려될 수 있다. 이벤트 오브젝트(145)는 또한 이벤트나 사건의 성질을 서술하는 메타데이터(예를 들면, 속성, 성질, 특성 등)를 포함할 수 있다. 어떤 실시예에서, 사용자는 로컬 컴퓨팅 장치, 아마도 장치(160A)로부터 이미지를 선택할 수 있고, 또한 서비스 인터페이스(135)(예를 들면, FTP)를 통해 이벤트 아카이빙 엔진(130)으로 이미지 파일을 업로드할 수 있다. 사용자는 다음으로 이벤트 아카이빙 엔진(130)에게 명령하여 이미지 파일로부터 그리고 추가적으로 제공된 콘텐츠(예를 들면, 타임 스탬프, 코멘트 등)로부터 이벤트 오브젝트(145A)를 구체화하도록 할 수 있다. 메타데이터를 제공하는 것은 이벤트 아카이빙 엔진(130)이 이벤트 오브젝트(145)를 관리하거나, 분석하거나, 탐색하거나, 그렇지 않으면 조종하도록 허용한다. 이벤트 오브젝트(145)를 시간에 따라 관리하기 위하여, 이벤트 오브젝트(145)는 아카이빙 엔진이 이벤트 오브젝트(145)를 시간에 기초하여 정돈하여, 타임라인 오브젝트(155)에 의해 표현되는 타임라인을 구성하도록 허용하는 하나 이상의 타임 스탬프를 포함할 수 있다.

이벤트 오브젝트(145)는 광범위한 데이터 유형을 포함한다. 바람직한 이벤트 오브젝트는 미디어 오브젝트나 아마도 멀티미디어 오브젝트를 포함한다. 이벤트 오브젝트(145)에 통합될 수 있는 예제 데이터 유형은 오디오 데이터, 비디오 데이터, 이미지 데이터, 모션 데이터, 가속 데이터, 온도 데이터, 위치 데이터, 시간 데이터, 메타데이터, 식별 데이터, 선호 데이터, 게임 데이터, 센서 데이터, 보안 데이터, 또는 기타 다른 유형의 데이터를 포함한다.

이벤트 오브젝트(145)에 관하여 좀더 명확하게 하기 위하여, 이벤트 오브젝트(145)는 "회상될 수 있거나"나 "기억될 수 있는" 하나 이상의 이벤트나 사건의 표현으로 고려될 수 있다. 아카이빙되거나 탐색될 수 있는 예제 사건은 파티, 콘서트, 스포츠 이벤트, 뉴스 이벤트, 프로젝트 태스크, 사고, 또는 기타 다른 유형의 사건을 포함할 수 있다. 어떤 실시예에서, 이벤트 오브젝트(145)는 맥락적인 주변 데이터(예를 들면, 센서 데이터)에 기초하거나 또는 사용자-제공 데이터(예를 들면, 캘린더)에 기초하여 자동으로 분류될 수 있다.

이벤트 오브젝트(145)의 맥락적 자동 생성의 예로서, 사람이 결혼식에 참석하는 시나리오를 생각해보자. 이벤트 아카이빙 엔진(130)은 사람의 휴대폰으로부터 데이터 피드를 획득할 수 있으며, 이때 데이터 피드(feed)는 GPS 센서로부터의 지오-로케이션(geo-location) 데이터, 타임스탬프 데이터, 비디오 데이터, 사용자 ID(예를 들면, 전화 번호, IP 주소, 이메일 주소, 사용자 이름 등)나, 기타 다른 센서 피드 데이터를 포함한다. 이벤트 아카이빙 엔진(130)은 아마도 다른 소스로부터 얻을 수 있는 외부의 정보와 함께 데이터 피드를 수신한다. 예를 들면, 외부 정보는 "결혼식 참석" 형식의 텍스트를 갖는 개인의 캘린더 내의 기재를 포함할 수 있다. 데이터 피드와 외부 정보는 하나 이상의 이벤트 오브젝트(145)의 구체화를 자동으로 촉발할 수 있다. 대응하는 결혼 이벤트 오브젝트는 결혼 시간, 결혼식 장소, 그리고 해당 사건을 기념하는 하나 이상의 콘텐츠 부분을 포함할 수 있다. 따라서, 이벤트 아카이빙 엔진(130)은 사건 콘텐츠가 이벤트 오브젝트(145)로서 구체화되도록 유발하는 맥락적인 촉발 기준을 포함하는 메모리 내에 저장되는 하나 이상의 규칙 세트를 포함할 수 있다.

이벤트 오브젝트(145)는 이벤트 데이터베이스(140)에 저장될 수 있다. 이벤트 데이터베이스(140)는 장치(160A) 내에, 이벤트 아카이빙 엔진(130) 내에, 두 장치 외부에 수용되거나, 또는 네트워크(115)를 통해 원격 장소에 배치될 수 있다. 어떤 실시예에서, 이벤트 데이터베이스(140)는 검색 엔진, CRM 시스템이나 기타 다른 데이터 탐색 시스템의 일부일 수 있다.

이벤트 아카이빙 엔진(130)은 타임라인이 시간-정렬된 이벤트 오브젝트(145)를 포함하는 타임라인 오브젝트(155)로 표현되는 별도의 오브젝트로서 타임라인을 관리할 수도 있다. 따라서, 타임라인 오브젝트(155)는 사람의 일생 동안 발생하는 흥미있는 이벤트를 표현할 수 있다. 몇 가지 포인트가 이해되어야 한다. 첫째, 타임라인은 필요시 세그멘트화될 수 있다. 예제 세그먼트는 라이프 스테이지, 연, 월, 일, 또는 기타 다른 범위나 기준에 기초하여 타임라인을 세그먼트화하는 단계를 포함할 수 있다. 둘째, 타임라인은, 아마도 애완동물, 사람, 장소, 빌딩, 차량, 회사, 동물, 조직, 그룹, 가족, 학교, 연감, 또는 기타 다른 유형의 엔티티를 포함하는, 여느 엔티티와 연관될 수 있다. 셋째, 타임라인 오브젝트(155)는 그들 자신의 속성을 포함하며, 이들에 의해서 정돈되거나, 관리되거나, 분석되거나, 그렇지 않으면 조정될 수 있다. 예를 들면, 타임라인은 위치 정보나 사용자 식별 정보에 의해서 분간될 수 있다. 그러한 경우에, 이벤트 아카이빙 엔진(130)은 GPS 좌표와 관련되거나 또는 공간-시간 라인을 발생시킬 수 있는 모든 타임라인 오브젝트(155)의 인구통계학적 분석을 제공할 수 있으며, 여기서 타임라인은 타임스탬프 좌표만이 아니라 공간이나 위치 좌표에 의해 정돈된다.

이벤트 오브젝트(145)에 유사하게, 타임라인 오브젝트(155)는 타임라인 데이터베이스(150)에 저장되어, 여기서 타임라인 오브젝트(155)가 탐색될 수 있다. 이벤트 아카이빙 엔진(130)이 이벤트 오브젝트(145)를 프로세싱할 때, 이벤트 아카이빙 엔진(130)은 타임라인 데이터베이스(150)를 쿼리하여 하나 이상의 타임라인 속성(예를 들면, 사용자 ID, 지오-로케이션, 타임라인 유형 등)에 기초하여 원하는 타임라인 오브젝트(155)를 검색할 수 있다.

도시된 것처럼, 이벤트 오브젝트(145)는 하나 이상의 기념물 오브젝트(120)와 연관될 수 있으며, 이는 사용자에 의해 레버리지되어 이벤트 오브젝트(145)나 이벤트 오브젝트(145)에 연관된 정보를 탐색할 수 있다. 이벤트 아카이빙 엔진(130)은 하나 이상의 이벤트 오브젝트(145)를 선택하여 서로 다른 기술에 따라서 기념물 오브젝트(120)에 링크되거나 연관되도록 할 수 있다. 어떤 시나리오에서, 이벤트 오브젝트(145)는, 아마도 이벤트 오브젝트(145)가 타임라인상의 타임 스팬 내에 속하는 곳이나, 지오-로케이션 속성값에 기초하여, 임의로 선택된다. 다른 실시예에서, 이벤트 오브젝트(145)는 선호도, 사용자 선택, 투표, 랭킹, 또는 기타 다른 기법에 따라 선택될 수 있다.

기념물 오브젝트(120)는 2D 오브젝트(예를 들면, 이미지, 사진, 카드, 포스터 등), 3D 오브젝트(예를 들면, 물체, 손가락, 차량 등) 또는 4D 오브젝트(예를 들면, 움직이는 손가락, 시간이 변화하는 오브젝트, 다차원 관련성을 갖는 오브젝트 등)를 포함하는 광범위한 스펙트럼의 오브젝트를 포함할 수 있다. 바람직하게는 기념물 오브젝트(120)는 기념물 오브젝트(120)의 디지털 표현(123)에 기초하여 이벤트 아카이빙 엔진(130)에 의해 인식될 수 있다. 디지털 표현(123)은 이미지 데이터, 비디오 데이터, 오디오 데이터, 센서 데이터 또는 기타 다른 데이터 양식을 포함하는 다양한 형태의 디지털 데이터를 포함할 수 있다. 본 발명의 주제에 맞게 적응될 수 있는 오브젝트를 인식하도록 사용될 수 있는 예제 기술은 미국 특허 7,016,532, 7,477,780, 7,680,324, 및 7,565,008에 개시된 것을 포함한다.

이벤트 아카이빙 엔진(130)은 기념물 오브젝트(120)의 하나 이상의 인식가능한 특징(125) 세트를 선택된 이벤트 오브젝트(145)와 함께 등록한다. 도시된 예에서, 이벤트 오브젝트(145A)는 등록되고 추후에 이벤트 오브젝트(145B)로서 탐색된다. 장치(160A)와 동일한 장치일 수 있는, 장치(160B)는 기념물 오브젝트(120)인 결혼 반지의 이미지를 캡처한다. 디지털 표현(123)은 이미지를 포함하며, 이벤트 아카이빙 엔진(130)에 의해 아마도 데이터 유형에 따라 분석되어 일련의 특징(125)을 생성한다. 일련의 특징(125)은 이벤트 오브젝트(145A)에 대한 인덱싱 정보가 되어 타임라인 오브젝트(155) 내에 기념물 오브젝트(120)와 함께 등록된다. 추후 이벤트 아카이빙 엔진(130)이 일련의 특징(125)의 적어도 일부를 다시 만나게 되면, 이벤트 아카이빙 엔진(130)은 이벤트 오브젝트(145B)를 탐색하여 대응하는 "기억되는" 정보를 장치(160B)로 반환할 수 있다.

기념물 오브젝트(120)가 크리스마스 카드를 포함하는 다른 유즈케이스(usecase)를 고려해보자. 엔진(130)은 카드의 특징을 분석하여 인식할 수 있는 일련의 특징(125)(예를 들면, 크기, 모양, 차원, 컬러, SIFT 특징, 바코드, 인코딩된 데이터, 비-인코딩된 데이터, 설명, 폰트, 컬러 히스토그램, 또는 다른 속성)을 생성할 수 있다. 특징은, 예를 들면, 이전의 크리스마스에 대응하는 이벤트 오브젝트(145)와 함께 등록될 수 있다. 인식할 수 있는 일련의 특징(125)은 이벤트 오브젝트(145)에 대한 인덱싱 정보를 생성하도록 사용될 수 있다. 어떤 실시예에서, 인식할 수 있는 특징이나 값은 인덱스로서 사용되는 한편, 다른 실시예에서, 인식할 수 있는 특징은 기념물 오브젝트(120)를 유효한 기념물 오브젝트로서 인식하는 기초로서 사용된다. 유효한 기념물 오브젝트는 인덱싱 정보와 연관되어 타임라인 오브젝트(155) 내의 관련된 이벤트 오브젝트(145)에 접근할 수 있다.

이벤트 아카이빙 엔진(130)은 기념물 오브젝트(120)의 디지털 표현(123)을 분석함으로써 하나 이상의 이벤트 오브젝트(145)를 탐색하여 하나 이상의 일련의 특징(125)을 도출할 수 있다. 이전의 예에 계속해서, 크리스마스 카드를 받은 사람은 자신의 휴대폰(예를 들면, 장치 160B)으로 카드의 이미지를 볼 수 있다. 카드는 이전에 "활성화" 되어서 아카이빙 엔진(130)이 일련의 특징(125)을 통해 카드를 인식할 수 있는데, 특징은, 아마도 예측 신뢰도 내의, 기념물 카드 오브젝트의 하나 이상의 인식가능한 특징에 대응하는 도출된 특징을 포함할 수 있다. 아카이빙 엔진(130)은 일련의 특징(125)을 사용하거나, 또는 인식할 수 있는 기념물 오브젝트와 관련된 다른 정보를 사용하여, 대응하는 이벤트 오브젝트(145B)를 발견한다. 이벤트 오브젝트(145)는 출력 장치(160B)(예를 들면, 휴대폰, 브라우저, 키오스크, 어플라이언스, 텔레비전 등)에 표현될 수 있다.

일련의 특징(125)은 이벤트(110)보다는 오히려 기념물 오브젝트(120)의 디지털 표현(123)으로부터 도출된다는 것이 이해되어야 한다. 이러한 접근방법은 기념물 오브젝트(120)로부터 온 일련의 특징(125)을 이벤트 오브젝트(145A)와 함께 타임라인 오브젝트(155) 내에 등록하는 단계를 제공한다. 아카이빙 엔진(130)이 유사한 특징을 다시 만나게 되면, 이벤트 오브젝트(145B)에 의해 표현되는 등록된 이벤트 오브젝트를 탐색할 수 있다. 따라서, 기념물 오브젝트(120)는 이벤트(110)를 "기억하거나" 또는 "회상하는" 기초로서 제공된다.

본 발명의 주제에 맞게 적응될 수 있는 이벤트 오브젝트(145)를 검색하거나 표현하는 적합한 기술은 스트림밍되는 콘텐츠를 검색하거나 탐색하는 것을 허용하는 Verizon®Viewdini™를 포함한다(URL news.cnet.com/8301-1023_3-57439056-93/verizon-unveils-viewdini-video-service-for-mobile-devices/ 참조). 뷰디니(Viewdini)는 기념물 오브젝트(120)의 특징을 인식하여 이벤트 오브젝트(145)를 탐색하는 것을 허용하도록 증강될 수 있다. 뷰디니는 타임라인 정보를 일련의 가용한 스트리밍되는 이벤트로서 사용자에게 표현하도록 적응될 수 있다. 또한, 기념물 오브젝트(120)를 인식하면, 뷰디니는 타임라인상의 특정 이벤트 오브젝트(145)로 점프하여 사용자가 상대적으로 더 이전 시간이나 미래 시간으로 이동하면서 타임라인상에 그들의 참조 포인트를 옮기도록 허용하는 "시간 이동(time shifting)" 능력을 제공하도록 적응될 수 있다. 예를 들면, 시간 이동을 위하여, 사용자는 기념물 오브젝트(120)를 장치(160B)의 뷰 필드와 관련하여 다양한 위치나 방위(orientation)로 이동시킬 수 있다. 아마도 기념물 오브젝트(120)를 뷰 필드의 우측에 놓게되면 아카이빙 엔진(130)이 타임라인 오브젝트(155) 내의 이벤트 오브젝트(145)를 통해 고속 전진하도록 유발할 수 있다. 유사하게, 기념물 오브젝트(120)를 뷰 필드의 좌측 근처에 놓게되면 아카이빙 엔진(130)이 타임라인 오브젝트(155) 내의 이벤트 오브젝트(145)를 통해 되감기를 하도록 유발할 수 있다. 더욱이, 사용자는 이벤트 오브젝트(145) 내에 표현되는 콘텐츠에 기초하여 타임라인 오브젝트(155)로부터 다른 것으로 점프할 수 있다. 예를 들면, 만일 두 사람이 비디오 이벤트 오브젝트 내에 표현된다면, 인터페이스는 사용자가 비디오 내의 일부 또는 모든 사람들과 연관된 타임라인으로 점프하도록 허용할 수 있다.

아카이빙 엔진(130)은 많은 기술을 통해 이벤트 오브젝트(145)를 구체화하도록 사용되는 이벤트(110)에 관련된 콘텐츠를 획득하거나 또는 수신한다. 어떤 시나리오에서, 이벤트 콘텐츠는 캡처 장치(160A)로부터 아카이빙 엔진(130)으로 푸시될 수 있다. 대안으로, 아카이빙 엔진(130)은 캡처 장치(160A)로부터 이벤트 콘텐츠를 끌어올 수 있다. 또한, 아카이빙 엔진(130)은, 아마도 네트워크(115)를 통해, 정기적으로 또는 다른 유발 조건에 기초하여, 이벤트 콘텐츠를 자동으로 탐색할 수 있다. 이러한 접근 방법은, 적절한 인가가 부여된다면, 최소한의 사용자 인터랙션을 갖는 타임라인 오브젝트(155)의 자동 구축을 허용한다.

이벤트 오브젝트(145)는 하나 이상의 타임라인 오브젝트(155)에 결속될 수 있다는 것이 이해되어야 한다. 예를 들면, 생일 파티의 비디오는 몇몇 개인의 이미지를 포함할 수 있다. 아카이빙 엔진(130)은 비디오나 이벤트 콘텐츠 내의 개인이나 다른 오브젝트를 인식할 수 있으며, 사람들이 그들 자신의 타임라인을 갖는지 여부를 결정할 수 있다. 만일 그렇다면, 적절하게 인가된다면, 아카이빙 엔진(130)은 이벤트 오브젝트(145A)를 인식된 사람들의 타임라인에 결속시킬 수 있다.

비록 개시된 주제는 중앙 아카이빙 엔진과 관련하여 표현되었지만, 엔진의 다양한 역할이나 책임은 복수의 장치에 분배될 수 있다는 것이 이해되어야 한다. 예를 들면, 휴대폰은 인식 엔진으로서 작동하면서 기념물 오브젝트(120)로부터 일련의 특징(125)을 도출할 수 있다. 또한, 엔진(130)은 검색 엔진, 네트워크 인프라장비(예를 들면, 스위치, 라우터 등), 장치(160A나 160B), 소셜 네트워크 서비스, 클라우드 서비스, 셋톱 박스, 게임 장치, 또는 기타 다른 장치들을 포함하는 복수의 컴퓨팅 장치에 걸쳐 분산될 수 있다.

사람들이 콘서트나 기타 다른 이벤트에 참석하는 유즈케이스(use-case)를 고려해보자. 사용자는 그들의 스마트폰을 통해 콘서트와 연관된 데이터를 캡처한다. 캡처된 정보는 대화의 기록, 밴드의 비디오, 친구의 이미지나, 또는 기타 다른 이벤트 콘텐츠를 포함할 수 있다. 캡처된 데이터는 아카이빙 엔진(130)을 통해 이벤트 오브젝트(145)로 통합될 수 있다. 아카이빙 엔진(130)은, 아마도 타임 스탬프에 기초하여, 사용자의 타임라인에 이벤트 콘텐츠 데이터를 할당한다. 또한, 아카이빙 엔진(130)은, 만일 위치 데이터가 가용하다면, 이벤트 콘텐츠 데이터의 전부나 일부를 장소의 타임라인에 할당할 수 있다. 어떤 실시예에서, 사용자는 또한 그들의 콘서트 티켓의 이미지를 캡처하여 이벤트(110)에 대한 기념물 오브젝트(120)로서 티켓을 등록할 수 있다. 미래에, 사용자가 티켓을 다시 떠올릴 때는 언제나, 이들은 이벤트 정보(예를 들면, 대화, 비디오, 이미지 등)를 재빠르게 상기할 수 있다.

기념물 오브젝트는 아카이빙 엔진(130)과 연결되거나 아카이빙 엔진(130)을소유하거나 운영하는 기념물 서비스(예를 들면, 3D 프린터, CNC 머신, 제조자 웹사이트 등)에 의해 제작될 수 있다. 기념물 서비스는 이벤트 데이터를 사용하여 타임라인 오브젝트(155) 내의 이벤트 오브젝트(145)에 기초하여 기념물 오브젝트(120)를 구성하거나 제조할 수 있다. 예를 들면, 아마도 한 어린이의 생일을 위하여, "트레이딩 카드"가 제작되고, 각 카드는 해당 어린이의 그 전년도의 생활 동안의 이벤트에 대응하면서, "일년 리뷰"를 형성할 수 있다. 각 트레이딩 카드가 (예를 들면, 등록된 일련의 특징(125)에서 기념물 오브젝트(120)로) 활성화되어, 사람들이 카드의 이미지를 캡처하면 대응하는 이벤트 데이터를 획득하도록 허용할 수 있다. 카드는 대응하는 이벤트로부터 획득된 이미지를 포함할 수 있다. 다른 예는 기념품, 아마도 인형, 전투 인형, 장식물, 플레이트, 보석, 게임 토큰, 기타 다른 유형의 아이템의 제작을 포함할 수 있다. 어떤 실시예에서, 복수의 개인은 동일한 기념물 오브젝트(120), 예를 들면, 동일한 장식물을 수신할 수 있다. 이러한 경우에, 이벤트 오브젝트(145)나 타임라인 오브젝트(155)는 사용자 식별, 위치, 장치 식별이나 기타 다른 요인을 포함하는 시스템에 가용한 추가적인 정보에 기초하여 분간될 수 있다. 대안으로, 각 중복된 기념물 오브젝트는 동일한 이벤트 오브젝트를 단순히 지적할 수 있다.

도 2는 타임라인 오브젝트(255), 기념물 오브젝트(223), 이벤트 오브젝트(245)로 총칭되는 이벤트 오브젝트들(245A 내지 245N) 간의 관계를 보여준다. 타임라인 오브젝트(255)는 시간에 따라 정렬되고 엔티티(예를 들면, 사람, 차량, 빌딩, 위치 등)와 연관되는 이벤트를 표현한다. 타임라인 오브젝트(255)는 또한 타임라인 오브젝트(255)가 구체화되나, 움직이거나, 복제되거나, 분기하거나, 삭제되거나, 목록에 기재되거나, 그렇지 않으면 서술된 에코시스템 내의 별도의 관리될 수 있는 오브젝트일 수 있다. 또한, 타임라인 오브젝트(255)나 시스템 내의 기타 다른 오브젝트들은 비-휘발성 컴퓨터 판독가능한 매체에 저장될 수 있다.

타임라인 오브젝트(255)는 타임라인 오브젝트(255)의 관리를 돕는 다양한 특징을 포함할 수 있다. 어떤 더 많은 바람직한 실시예에서, 타임라인 오브젝트(255)는 타임라인 오브젝트(255)의 본성을 서술하는 하나 이상의 타임라인 속성을 포함할 수 있다. 예제 속성은 타임라인의 식별자, 소유자 ID(예를 들면, 사용자 이름, 키(key), 토큰 등), 타임라인 유형 식별자(예를 들면, 개인적 타임라인, 빌딩 타임라인, 위치 타임라인 등), 다른 타임라인으로의 포인터나 참조, 사용자 인구통계학, 이벤트 오브젝트 카운트, 시간 범위, 위치나 장소, 또는 기타 다른 속성들을 포함할 수 있다. 엔티티들이 타임라인 오브젝트(255)에 접근하거나 관리함에 따라, 엔티티는 타임라인 데이터베이스에 하나 이상의 쿼리를 제출함으로써 타임라인 오브젝트(255)를 탐색할 수 있는데, 쿼리는 타임라인 속성의 용어로 정의될 수 있다. 예를 들면, 일련의 지오-로케이션 좌표와 연관되고 또한 나이가 18세에서 34세 사이에 있는 남자들과 연관되는 모든 타임라인 오브젝트(255)가 탐색될 수 있다.

타임라인 오브젝트(255)는 기념물 오브젝트(223)에 관련되는 하나 이상의 일련의 인식할 수 있는 특징을 표현하는 인덱스 정보를 더 포함할 수 있다. 인덱스 정보는 인식 특징에 대한 함수로서 정의되는 다양한 허용 인식 기준을 포함할 수 있으며, 여기서 기준은 대응하는 이벤트 오브젝트에 접근하기 위하여 부합해야 하는 만족 조건이나 요구사항을 지시한다. 따라서 타임라인 오브젝트(255)는 이벤트 오브젝트(245)를 포인팅하는 일련의 인식 특징을 저장하는 미니 또는 마이크로 오브젝트 인식 데이터베이스로 간주될 수 있다. 도해되는 것처럼, 인덱싱 정보는 스케일 불변 특징(예를 들면, SIFT, Lowe 등의 미국 특허 6,711,293 참조), 코너 탐지 특징(예를 들면, FAST; URL www.edwardrosten.com/work/fast.html 참조), 비주얼 패턴 인식 특징(예를 들면, Evolution Robotics의 ViPR®, vSLAM, Karlsson의 미국 특허 7,015,831 참조, 등), 오디오 패턴 인식 특징, 광 특성 인식 특징, 또는 기타 다른 인식 특징들을 포함할 수 있다. 각 일련의 특징은 타임라인 내의 대응하는 이벤트 오브젝트(245)를 참조하는 하나 이상의 포인터를 더 포함할 수 있다. 또한, 인덱싱 정보는 아카이빙 엔진이 대응하는 이벤트 오브젝트를 탐색하도록 만족시킬수 있는 조건을 포함할 수 있다.

타임라인 오브젝트(255)는 이벤트가 시간에 따라 정렬되는 타임라인을 포함한다. 예시되는 쇼에서, 타임라인은 출생부터 사망까지의 개인의 타임라인을 표현하며, 여기에 어떤 이벤트는 이미 정의되어 있다. 타임라인 내의 이벤트는 타임라인 내의 실제의 데이터 구조로서 표현되거나, 또는 도시된 것처럼 이벤트 오브젝트(245)로서 외부에 저장될 수 있다. 이벤트 오브젝트(245)가 타임라인 오브젝트(255)의 외부에 있을 때, 타임라인은 이벤트 오브젝트(245)로 향하는 링크나 다른 포인터로 구성될 수 있다. 예를 들면, EO_LINK로 표현되는 포인터는 URLs, URIS, 네트워크 주소, 디지털 오브젝트 식별자(DOI), 이벤트 GUIDs, 인덱스 키, 또는 대응하는 이벤트 오브젝트(245)가 저장되는 위치로 귀결되는 기타 다른 주소를 포함할 수 있다.

어떤 실시예에서, 타임라인 오브젝트(255)는, 아마도 엔티티의 유형에 대응하는, 템플릿 타임라인에 기초하여 구체화될 수 있다. 그러한 시나리오에서, 타임라인은 연역적으로 생성되어 이벤트 오브젝트에 대한 플레이스홀더(placeholder)를 갖는 적절한 묘사(예를 들면, 초, 분, 시간, 일, 주, 달, 년 등)를 가질 수 있다. 타임라인 오브젝트(255)는 타임라인에 대한 하나의 가능한 구조를 표현한다는 것 또한 이해되어야 한다. 대안은 이벤트 오브젝트의 정렬된 링크 리스트를 생성하거나 이벤트 오브젝트(245)로 향하는 포인터의 정렬된 리스트를 생성하는 것을 포함한다.

이벤트 오브젝트(245A)는 이벤트 오브젝트에 대한 하나의 가능한 구조로서 표현된다. 이벤트 오브젝트(245A)는 대응하는 이벤트의 성질을 설명하는 이벤트 속성을 포함할 수 있다. 타임라인 속성과 유사하게, 이벤트 속성은 다양한 컴퓨티 장치가 이벤트 속성-기반의 쿼리를 사용하여 이벤트 오브젝트(245)를 검색하도록 허용한다. 예제 이벤트 속성은 이벤트 ID, 이벤트 오브젝트 ID, 소유자 ID, 이벤트 유형 ID, 관련된 타임라인 오브젝트로 향하는 포인터나 링크, 기타 다른 이벤트 오브젝트로 향하는 포인터, 타임스탬프, 위치 스탬프 또는 기타 다른 유형의 속성을 포함할 수 있다. 또한, 이벤트 오브젝트(245)는 이벤트 콘텐츠나 이벤트 콘텐츠로의 링크를 포함할 수 있다. 예를 들면, 이벤트 오브젝트(245A)는 실제 콘텐츠로 구체화될 수 있으며, 이미지 데이터, 오디오 데이터, 비디오 데이터, 외부 콘텐츠로의 링크, 또는 기타 다른 유형의 콘텐츠 데이터를 포함할 수 있다.

도 3은 엔티티가 이벤트 콘텐츠와 함께 기념물 오브젝트의 일련의 인식 특징을 등록할 수 있는 이벤트 정보를 탐색하는 방법(300)을 표현한다. 엔티티는 기념물 오브젝트를 이벤트 콘텐츠를 탐색하는 기초로서 사용할 수 있다. 기념물 오브젝트는 적어도 2차원(예를 들면, 그림자, 이미지, 사진, 그림 등), 3차원(예를 들면, 전투 인형, 얼굴, 반지, 이동 비디오 등), 4차원(예를 들면, 이동 전투 인형, 이동 차량 등), 또는 좀 더 다차원의 관련성을 포함할 수 있는 실-세계 물리적 오브젝트를 표현한다는 것이 이해되어야 한다.

단계(310)은 이벤트 아카이빙 엔진으로 동작하도록 컴퓨팅 장치를 구성하는 단계를 포함한다. 예제 컴퓨팅 시스템은 서버, 워크스테이션, 휴대폰, 키오스크, 어플라이언스, 차량, 검색 엔진, CRM 시스템, 또는 기타 다른 유형의 컴퓨팅 장치를 포함할 수 있다. 컴퓨팅 장치는 컴퓨팅 장치의 메모리 내에 하나 이상의 명령 세트를 설치함으로써 구성될 수 있으며, 여기서 명령은 컴퓨팅 장치의 프로세서가 방법(300)의 여러 단계를 실행하도록 유발한다. 예를 들면, 휴대폰은 휴대폰에 적절하게 구성된 어플을 설치함으로써 개인용 이벤트 아카이빙 엔진으로 동작하도록 구성될 수 있다. 다른 실시예에서, 사용자는 그들의 개인용 컴퓨팅 장치를 사용하여 이벤트 정보를 아카이빙하고 탐색하는 수수료 징수 서비스로서 동작하는 원격 서버와 계약할 수 있다. 또한 하나 이상의 컴퓨팅 장치는 아카이빙 엔진의 서비스로의 접근을 지원하는 다음의 인터페이스 중에 적어도 하나에 접근하도록 프로그래밍될 수 있으며, 여기에는 어플리케이션 프로그램 인터페이스, 검색 엔진 인터페이스, 소셜 네트워크 인터페이스, 메모리 접근 인터페이스, 휴대폰 인터페이스, 브라우저 인터페이스, 센서 인터페이스, 또는 엔진에 접근할 수 있는 기타 다른 인터페이스가 있다.

단계(320)는 시간에 따른 사건을 표현하는 이벤트 오브젝트를 수신하는 단계를 포함한다. 예제 이벤트는 파티, 콘서트, 스포츠 이벤트, 사고, 의료 비상, 가상 세계 내의 이벤트, 게임 이벤트, 또는 기타 다른 유형의 이벤트를 포함한다. 이벤트 오브젝트는 복수의 기술을 통해 획득될 수 있다. 어떤 실시예에서, 이벤트 오브젝트는 사건을 반영하는 이벤트 콘텐츠로부터 구체화될 수 있다. 다른 실시예에서, 이벤트 오브젝트는 이벤트 오브젝트의 데이터베이스로부터 탐색될 수 있다.

사람이 스포츠 이벤트를 "회상"하고자 하는 예를 생각해보자. 사람은 이벤트 아카이빙 엔진이 이벤트 오브젝트를 수신할 수 있는 복수의 선택을 갖는 것으로 표현될 수 있다. 앞에서 논의한 것처럼, 이벤트 오브젝트는 다양한 유형의 멀티-미디어 데이터를 갖는 미디어 오브젝트를 포함할 수 있다. 예제 멀티미디어 데이터는 오디오 데이터, 비디오 데이터, 이미지 데이터, 모션 데이터, 가속 데이터, 온도 데이터, 위치 데이터, 시간 데이터, 메타데이터, 식별 데이터, 선호 데이터, 게임 데이터, 보안 데이터, 또는 기타 다른 유형의 데이터를 포함한다. 단계(321)는 이벤트 오브젝트를 이벤트 아카이빙 엔진으로 푸시하는 단계를 포함할 수 있다. 예를 들면, 사람이 휴대폰을 통해 스포츠 이벤트로부터 이미지, 오디오 또는 기타 다른 데이터를 캡처할 때, 휴대폰은 이벤트 데이터를 이벤트 오브젝트로 패키징하여 이벤트 오브젝트를 그의 연관된 이벤트 콘텐트 데이터와 함께 이벤트 아카이빙 엔진으로 푸시할 수 있다. 대안으로, 단계(323)는 이벤트 아카이빙 엔진이 이벤트 오브젝트를 휴대폰이나 다른 컴퓨팅 장치로부터 끌어오는 단계를 포함할 수 있다. 단계(325)는 이벤트 오브젝트를 아마도 이벤트 데이터에 제출된 맥락적 쿼리에 기초하여 자동으로 수신하는 단계를 포함할 수 있다. 단계(327)에 제시되는 것처럼, 필요나 요구에 따라서, 이벤트 오브젝트는 네트워크를 통해 수신될 수 있다는 것이 이해되어야 한다.

단계(330)는 이벤트 오브젝트를 엔티티와 연관된 타임라인에 결속시키는 단계를 포함하며, 여기서 타임라인은 시간에 따라 정돈되는 복수의 이벤트 오브젝트를 포함한다. 엔티티는 사람, 동물, 회사, 조직, 그룹, 가족, 학교, 연감, 빌딩, 차량, 또는 기타 다른 유형의 엔티티를 포함할 수 있다. 이벤트 오브젝트는 아마도 사용자 인터페이스를 통해 타임라인에 자동으로 또는 수작업으로 결속될 수 있다. 각 타임라인은 생애, 라이프 스테이지, 연, 월, 주, 일, 시간, 기타 다른 시간적인 세그먼트에 기초하는 시간 구획을 포함할 수 있다. 한 개인의 태블릿 컴퓨터가, 아마도 일일 기반으로, 목격된 타임라인 오브젝트를 자동으로 구축하는 개인적인 목격자(예를 들면, 이벤트 아카이빙 엔진)로서 동작하는 시나리오를 고려해보자. 며칠, 몇 주, 몇 개월에 걸쳐서, 태블릿은 개인의 이벤트의 이미지를 캡처한다. 태블릿은 상기 이미지를 사용하여, 이벤트 오브젝트를 생성하고 이미지를 목격된 타임라인 오브젝트에 이벤트 오브젝트로서 결속함으로써 타임라인을 자동으로 구성할 수 있다. 이벤트 오브젝트가 도착함에 따라, 태블릿은 단계(335)에 제시되는 것처럼 타임라인 내의 이벤트 오브젝트들을 그들의 발생에 따라 배열할 수 있다. 따라서, 시간-정렬된, 또는 아마도 공간 정렬된, 이벤트의 리스트가 구축된다. 또한, 엔진은 이벤트 오브젝트의 이벤트 콘텐츠 데이터 내의 오브젝트의 인식에 기초하여 복수의 타임라인에 이벤트 오브젝트를 결속할 수 있다. 예로서, 이벤트 오브젝트는 몇몇 친구의 이미지나 사진을 포함할 수 있다. 인식 플랫폼으로 동작하는 이벤트 아카이빙 엔진은 각 친구의 얼굴을 인식하여, 각 인식된 친구의 타임라인으로 상기 이미지를 갖는 이벤트 오브젝트를 결속할 수 있다.

기념물을 갖는 이벤트 오브젝트를 등록하기 위한 준비에서, 단계(340)는 타임라인에 결속된 이벤트 오브젝트로부터 선택된 이벤트 오브젝트를 선택하는 단계를 포함할 수 있다. 선택된 이벤트 오브젝트는 선택 이전에 타임라인에 연역적으로 독립적일 수 있다는 것이 이해되어야 한다. 따라서, 단계(330)는 단계(340)의 선택 프로세스 이후에 발생할 수 있다. 이벤트 오브젝트는 다양한 기술을 통해 선택될 수 있다. 전형적으로 사용자는 이벤트 오브젝트가 이벤트 콘텐츠 데이터(예를 들면, 이미지, 오디오, 비디오, 온도, 바이오메트릭 등)에 기초하여 구체화되도록 할 것이다. 또한, 사용자나 기타 다른 엔티티는 단계(343)에서 제시하는 것처럼 이벤트 오브젝트를 검색할 수 있다. 예를 들면, 타임라인은 많은 연역적으로 결속되는 이벤트 오브젝트를 포함할 수 있다. 차후에, 사용자는 특정 타임 스탬프, 콘텐츠나 기타 다른 요구되는 속성을 갖는 타임라인 내의 이벤트 오브젝트를 검색할 수 있다.

선택된 이벤트 오브젝트는, 단계(341)에서 제시되는 것처럼, 제2의, 상이한 타임라인에 기초하여 선택될 수 있다는 것이 또한 고려되어야 한다. 두 개인이 별도의 분리된 타임라인을 가지며, 공통의 이벤트, 예를 들면, 의료 응급상황에 참여한다고 생각해보자. 두 개인은 그들 각각의 타임라인 내의 이벤트 오브젝트를 생성할 수 있다. 한 개인은 발생한 상처의 이미지에 기초하여 회상할 수 있는 이벤트를 생성하기를 원하고, 또한 두 개의 타임라인 간에 오버래핑되는 이벤트 오브젝트에 기초하여 이벤트를 선택하고자 할 수 있다. 이러한 접근 방법은 환자와 헬스케어 제공자 간에 공유되는 의료 타임라인을 구성할 때 이롭다고 생각될 수 있을 것이다.

어떤 타임라인은 이벤트와 연관된 실질적으로 유사한 타임스탬프를 갖는 많은 이벤트 오브젝트를 포함할 수 있다. 예를 들면, 생일 파티는 짧은 시간 스팬 내에 찍혀진 수백장의 사진을 포함할 수 있다. 이러한 상황에서, 단계(345)는 선택된 이벤트 오브젝트를 아마도 일련의 가용한 이벤트 오브젝트로부터 임의로 선택하는 단계를 포함할 수 있다. 추가로, 선택된 이벤트 오브젝트는 일련의 가용한 이벤트 오브젝트를 더 제한할 수 있는 추가적인 기준에 기초하여 선택될 수 있다. 아마도 선택된 이벤트 오브젝트는 단계(347)에서 제시되는 것처럼 타임라인 내의 특정 타임 스팬 내의 이벤트 오브젝트로로부터 선택된다. 생일의 예로 돌아가면, 사용자는 특정 흥미있는 서브-이벤트(예를 들면, 촛불을 불어서 끄기, 선물 열기 등) 근방의 타임 스팬을 명시할 수 있다. 타임 스팬은 관련된 시간(예를 들면, 어느 시점 근방의 플러스 마이너스)에 기초하거나 절대적 시간(예를 들면, 시작 시간부터 종료 시간까지)에 기초하여 정의될 수 있다.

단계(360)는 기념물 오브젝트와 관련된 일련의 인식할 수 있는 특징에 기초하여 선택된 이벤트 오브젝트와 함께 타임라인 내의 인덱싱된 정보를 등록하는 단계를 포함할 수 있다. 일련의 인식할 수 있는 특징은 하나 이상의 인덱스로 간주되고, 이를 이용하여 선택된 이벤트 오브젝트가 타임라인으로부터 탐색될 수 있다. 일련의 인식할 수 있는 특징은 하나 이상의 알고리즘을 기념물 오브젝트의 디지털 표현에 적응함으로써 도출될 수 있다. 디지털 표현 내의 이미지 데이터에 대하여, 예제 알고리즘은 SIFT, FAST, ViPR, BRISK, OCR, 또는 기타 다른 이미지 프로세싱 알고리즘을 포함할 수 있다. 비디오 데이터는 유사한 이미지 프로세싱 알고리즘, vSLAM, 비디오 콘텐츠 분석(Vijverberg 등에 의한 "Two novel motion-based algorithms for surveillance video analysis on embedded platforms prohibited" 참조, URL dx.doi.org/10.1117/12.851371 참조), 또는 기타 다른 비디오 프로세싱 알고리즘에 의해 프로세싱될 수 있다. 디지털 표현 내의 오디오 데이터로부터의 특징은 동적 타임 와핑(Dynamic Time Warping)을 사용하는 자동 스피치 인식(automatic speech recognition, ASR), 히든 마르코브 모델(Hidden Markov models), 신경망, 또는 기타 다른 알고리즘에 기초하여 추출될 수 있다. 일련의 인식할 수 있는 특징은 기념물 오브젝트의 디지털 표현의 다양한 양식에 맞는 특징을 포함할 수 있다. 일련의 인식할 수 있는 특징은 오디오 데이터 특성, 이미지 데이터 특성, 컬러, 형태, 관련성의 차원, 메이크(make), 모델, 인코딩된 데이터, 비-인코딩된 정보, 텍스처, 또는 디지털 표현으로부터 도출되는 기타 다른 정보를 포함할 수 있다. 따라서, 일련의 인식할 수 있는 특징은 벡터의 각 멤버가 상이한 양식(예를 들면, 이미지, 오디오, 비디오, 공간, 시간, 온도 등)을 표현하는 벡터로서 표현될 수 있다. 또한 벡터의 각 멤버는 관련 특징의 리스팅을 포함할 수 있다. 일련의 인식할 수 있는 특징은 성공적인 인식 "히트"를 결정하기 위하여, 해당 특징에 관련하여 충족되어야 하는 하나 이상의 기준을 더 포함할 수 있다. 예를 들면, 만일 이미지 데이터만이 기념물 오브젝트로 표현되도록 사용되고 일련의 특징은 오직 SIFT 특징만을 포함한다면, 인식 기준은, 기념물 오브젝트가 인식되어서 대응하는 이벤트 오브젝트의 탐색을 촉발하도록 하기 위하여, 특징의 적어도 75%가 표현되어야 한다고 요구할 수 있다. 인식 기준은 이벤트 아카이빙 엔진이나, 사용자나, 또는 다른 기술에 의해 자동으로 결정될 수 있다.

단계(365)는 일련의 인식할 수 있는 특징에 따라서 선택된 이벤트 오브젝트를 인덱싱하는 단계를 포함할 수 있다. 선택된 이벤트 오브젝트는 일련의 인식할 수 있는 특징의 하나 이상의 멤버를 인덱스로 사용하여 이벤트 데이터베이스 내에 선택된 이벤트 오브젝트를 저장함으로써 인덱싱될 수 있다. 추가로, 타임라인은 인덱스로서 일련의 인식할 수 있는 특징에 의해 갱신될 수 있으며, 타임라인 자신은, 적어도 어느 수준에서, 작은 인식 데이터베이스로서 동작하며, 유사한 인식할 수 있는 특징을 마주치면서 이벤트 아카이빙 엔진에 기초하여 이벤트 오브젝트를 탐색할 수 있다. 선택된 이벤트 오브젝트는 타임라인에 통합되거나, 또는 포인터나 링크(예를 들면, 네트워크 주소, GUIDs 등)를 통해 타임라인에 의해 참조될 수 있다.

단계(370)는 기념물 오브젝트의 디지털 표현으로부터 도출되는 적어도 하나의 도출된 표현으로부터 적어도 부분적으로 획득되는 인덱싱 정보를 통해 선택된 이벤트 오브젝트를 타임라인으로부터 탐색하는 단계를 포함하고, 상기 도출된 표현은 상기 일련의 인식할 수 있는 특징 내의 인식할 수 있는 특징에 대응한다. 예를 들면, 엔티티가 이벤트 오브젝트를 회상하거나 기억하기를 희망한 이후에, 그들은 해당 이벤트 오브젝트가 등록되었던 기념물 오브젝트의 새로운 디지털 표현을 캡처할 수 있다. 아카이빙 엔진은 하나 이상의 알고리즘(예를 들면, SIFT, BRISK, FAST, vSLAM 등)을 새로운 디지털 표현에 적용하여 하나 이상의 도출된 특징을 획득한다. 인식할 수 있는 특징과 유사하게, 도출된 특징은 오디오 데이터 특성, 이미지 데이터 특성, 컬러, 형태, 관련성의 차원, 메이크(make), 모델, 인코딩된 데이터, 비-인코딩된 정보, 속성, 텍스처, 위치, 시간, 또는 새로운 디지털 표현으로부터 도출될 수 있는 기타 다른 특징을 포함할 수 있다. 엔진은 다음으로 하나 이상의 도출된 특성을 사용하여 유사한 인식할 수 있는 특징에 기초하여 인덱싱된 등록된 이벤트 오브젝트를 위하여 타임라인을 쿼리한다. 어떤 실시예에서, 단계(375)에서 제시되는 것처럼, 타임라인은 이벤트 아카이빙 엔진을, 도출된 특징에 대응하는 등록된 인식할 수 있는 특징을 갖는 이벤트 오브젝트를 검색하는, 이벤트 검색 엔진으로서 구성하도록 고려될 수 있다. 따라서, 이벤트 아카이빙 엔진은 기념물에 기초하여 이벤트 오브젝트를 "회상" 또는 "기억"할 수 있다. 이벤트 오브젝트를 탐색하기 위해 사용되는 인덱싱 정보는 이벤트 오브젝트 자신의 콘텐츠보다는 오히려 기념물 오브젝트에 관련된다는 것이 이해되어야 한다.

단계(350)는 선택된 이벤트 오브젝트에 기초하여 기념물 오브젝트를 제작하는 단계를 선택적으로 포함할 수 있다. 어떤 실시예에서, 이벤트 아카이빙 엔진은 제시된 기념물 오브젝트에 대하여 하나 이상의 추천을 제안할 수 있다. 예를 들면, 이벤트 아카이빙 엔진이 이벤트 콘텐츠 데이터, 아마도 이미지 데이터를 수신할 때, 이벤트 아카이빙 엔진은 하나 이상의 이미지를 선택하여 실세계 오브젝트를 구성할 수 있다. 아마도 이미지 데이터는 사진, 열쇠 고리, 이미지, 카드, 작은 조각상, 장치, 이동 오브젝트(예를 들면, 전투 인형, 버블헤드 등), 또는 사용자에게 보낼 수 있는 기타 다른 물리적 아이템을 생성하도록 사용될 수 있다. 이러한 접근 방법은 엔티티가 기억을 강화하기 위하여 명시된 이벤트에 대하여 그들의 기념물을 맞추거나 개인화하도록 허용하기 때문에 이롭다고 여겨진다.

본 발명의 개념으로부터 벗어나지 않고도 이미 설명된 것들 이외의 많은 더 이상의 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 갖는 자에게 명백할 것이다. 본 발명의 주제는, 따라서, 첨부되는 청구범위의 영역 이외에는 한정되지 않는다. 또한, 본 명세서와 청구범위를 모두 해석함에 있어서, 모든 용어는 맥락상 일치하는 가능한 가장 넓은 방식으로 해석되어야 한다. 특히, 용어 "포함한다"와 "포함하는"은, 구성요소, 컴포넌트, 또는 단계를 비-배타적인 방식으로 참조하며, 참조되는 구성요소, 컴포넌트, 또는 단계는 명시적으로 참조되지 않는 다른 구성요소, 컴포넌트 또는 단계와 함께 표현하거나, 활용되거나, 또는 결합된다는 것을 지시하는 것으로 해석되어야 한다. 특정 청구 범위가 A,B,C... 및 N으로 구성되는 그룹으로부터 선택된 것 중의 적어도 하나를 참조할 때, 상기 텍스트는, A 더하기 N도 아니고, B 더하기 N 등이 아닌, 상기 그룹으로부터 오직 하나의 구성요소만이 필수적인 것으로 해석되어야 한다.

Claims

이벤트 정보를 탐색하는(retrieve) 컴퓨터에서 구현되는 방법에 있어서,
이벤트 아카이빙(archiving) 엔진으로 동작하도록 컴퓨팅 장치를 구성하는 단계;
상기 이벤트 아카이빙 엔진에 의해, 시간에 따른 사건(occurence in time)을 표현하는 이벤트 오브젝트를 수신하는 단계;
상기 이벤트 아카이빙 엔진에 의해, 엔티티와 연관되는 타임라인에 상기 이벤트 오브젝트를 결속시키는 단계로서, 상기 타임라인은 시간에 따라 정돈되는 복수의 이벤트 오브젝트들을 포함하는, 상기 결속시키는 단계;
상기 타임라인에 결속된 이벤트 오브젝트들로부터 선택된 이벤트 오브젝트를 선택하는 단계;
기념물(memento) 오브젝트에 관련된 일련의 인식할 수 있는 특징에 기초하여 인덱싱 정보를 생성하는 단계로서, 상기 일련의 인식할 수 있는 특징은 제1 시간 주기에서 얻은 상기 기념물 오브젝트의 제1 디지털 표현으로부터 도출가능한 정보 벡터를 포함하되, 상기 벡터의 각각의 멤버는 상이한 양식을 표현하고, (1) 해당 양식에 대한 하나 이상의 관련 특징의 리스팅 및 (2) 상기 하나 이상의 관련 특징에 대응하는 인식 임계(recognition threshold)를 포함하는 인식 기준들을 포함하는, 상기 생성하는 단계;
상기 이벤트 아카이빙 엔진에 의해, 상기 생성된 인덱싱 정보를 상기 선택된 이벤트 오브젝트와 함께 상기 타임라인에 등록하는 단계; 및
상기 일련의 인식할 수 있는 특징 중 최소량(minimum quantity)의 특징이, 제2 시간 주기에서 얻은 상기 기념물 오브젝트의 제2 디지털 표현으로부터 도출되는 특징에 해당하는 것을 요구하는 인식 기준이 충족되는 경우에, 상기 이벤트 아카이빙 엔진에 의해, 상기 인덱싱 정보를 통해 상기 선택된 이벤트 오브젝트를 상기 타임라인으로부터 탐색하는 단계를 포함하는 방법.
제1 항에 있어서,
상기 이벤트 아카이빙 엔진으로 동작하도록 상기 장치를 구성하는 단계는,
어플리케이션 프로그램 인터페이스, 검색 엔진 인터페이스, 소셜 네트워크 인터페이스, 휴대폰 인터페이스, 브라우저 인터페이스 및 센서 인터페이스 중의 적어도 하나에 접근하는 단계를 포함하는, 방법.
제1 항에 있어서, 상기 이벤트 오브젝트를 수신하는 단계는,
상기 이벤트 오브젝트를 푸시하는 단계, 상기 이벤트 오브젝트를 끌어오는 단계, 상기 이벤트 오브젝트를 자동으로 수신하는 단계, 및 상기 이벤트 오브젝트를 네트워크를 통해 수신하는 단계 중의 적어도 하나를 포함하는, 방법.
제1 항에 있어서,
상기 이벤트 오브젝트는 미디어 오브젝트를 포함하는, 방법.
제4 항에 있어서,
상기 이벤트 오브젝트는 멀티미디어 오브젝트를 포함하는, 방법.
제4 항에 있어서,
상기 이벤트 오브젝트는 오디오 데이터, 비디오 데이터, 이미지 데이터, 모션 데이터, 가속 데이터, 온도 데이터, 위치 데이터, 시간 데이터, 메타데이터, 식별 데이터, 선호 데이터, 게임 데이터, 및 보안 데이터 중의 적어도 하나의 유형의 데이터를 포함하는, 방법.
제1 항에 있어서,
상기 이벤트 오브젝트는 타임 스탬프를 포함하는, 방법.
제1 항에 있어서,
상기 엔티티는 사람, 동물, 회사, 조직, 그룹, 가족, 학교, 연감(yearbook), 빌딩, 및 차량 중의 적어도 하나를 포함하는, 방법.
제1 항에 있어서,
상기 이벤트 오브젝트는 파티, 콘서트, 스포츠 이벤트, 및 사고 중의 적어도 하나를 나타내는, 방법.
제1 항에 있어서,
상기 타임라인은 라이프 스테이지, 일생(life time), 년, 월, 주, 및 일 중의 적어도 하나를 포함하는, 방법.
제1 항에 있어서,
상기 선택된 이벤트 오브젝트를 선택하는 단계는 상기 이벤트 오브젝트를 검색하는 단계를 포함하는, 방법.
제1 항에 있어서,
상기 선택된 이벤트 오브젝트를 선택하는 단계는 상기 선택된 이벤트 오브젝트를 임의로 선택하는 단계를 포함하는, 방법.
제12 항에 있어서,
상기 선택된 이벤트 오브젝트를 선택하는 단계는 상기 타임라인상의 명시된 타임 스팬(time span) 내의 이벤트 오브젝트들로부터 상기 선택된 이벤트 오브젝트를 임의로 선택하는 단계를 포함하는, 방법.
제1 항에 있어서,
상기 일련의 인식할 수 있는 특징을 등록하는 단계는 상기 일련의 인식할 수 있는 특징에 따라 상기 선택된 이벤트 오브젝트를 인덱싱하는 단계를 포함하는, 방법.
제1 항에 있어서,
상기 선택된 이벤트 오브젝트를 탐색하는 단계는 상기 도출되는 특징에 해당하는 등록된 인식할 수 있는 특징들을 갖는 이벤트 오브젝트들을 검색하는 단계를 포함하는, 방법.
제1 항에 있어서, 상기 일련의 인식할 수 있는 특징은,
오디오 데이터 특성, 이미지 데이터 특성, 컬러, 형태, 관련성 차원, 메이크(make), 모델, 인코딩된 데이터, 비-인코딩된 정보, 속성 및 텍스처 중의 적어도 하나를 포함하는, 방법.
제1 항에 있어서, 상기 도출되는 특징 세트는, 오디오 데이터 특성, 이미지 데이터 특성, 컬러, 형태, 관련성 차원, 메이크(make), 모델, 인코딩된 데이터, 비-인코딩된 정보, 속성 및 텍스처 중의 적어도 하나를 포함하는, 방법.
제1 항에 있어서, 상기 기념물 오브젝트는 적어도 실질적으로 2 차원 오브젝트를 포함하는, 방법.
제18 항에 있어서, 상기 기념물 오브젝트는 적어도 3 차원 오브젝트를 포함하는, 방법.
제19 항에 있어서, 상기 기념물 오브젝트는 적어도 4 차원 오브젝트를 포함하는, 방법.
제1 항에 있어서, 상기 선택된 이벤트 오브젝트에 기초하여 상기 기념물 오브젝트를 제작하는 단계를 더 포함하는, 방법.
제1 항에 있어서, 상기 기념물 오브젝트는 이미지, 카드, 작은 조각상(figurine), 장치, 및 이동 오브젝트 중의 적어도 하나를 포함하는, 방법.
제1 항에 있어서, 상기 선택된 이벤트 오브젝트를 선택하는 단계는 제2의, 상이한 타임라인에 기초하여 상기 선택된 이벤트 오브젝트를 선택하는 단계를 포함하는, 방법.
제1 항에 있어서, 상기 타임라인에 상기 이벤트 오브젝트를 결속시키는 단계는 복수의 타임라인에 상기 이벤트 오브젝트를 결속시키는 단계를 포함하는, 방법.
제1 항에 있어서, 상기 이벤트 오브젝트를 결속시키는 단계는 상기 이벤트 오브젝트 내의 오브젝트들을 인식하는 단계를 포함하는, 방법.