KR20150098568A

KR20150098568A - 전자 장치에서 비정형 데이터에 기초한 에피소드 기억 식별 방법

Info

Publication number: KR20150098568A
Application number: KR1020150018268A
Authority: KR
Inventors: 샤스트리 로켄드라; 누칼라 로히니; 센굽타 소히니; 쿠마르 우다이; 아탈 카일라시; 밴살 니쉬유; 탠든 라잣; 카하키 카필
Original assignee: 삼성전자주식회사
Priority date: 2014-02-20
Filing date: 2015-02-05
Publication date: 2015-08-28
Also published as: KR102080149B1; WO2015126162A1; EP3108378A4; EP3108378A1; US20150235135A1

Abstract

전자 장치를 사용하여 사용자의 생활에서 에피소드 이벤트를 식별하기 위한 시스템 및 방법이 제공된다. 전자 장치에 존재하는 비정형 데이터를 갖는 다양한 데이터 소스는 사용자의 생활에서 에피소드 이벤트와 연관된 에피소드 요소를 추출하는 입력으로서 사용될 수 있다. 시간적 및 공간적 추론 추론은 사용자의 생활에서 발생하는 에피소드 이벤트를 식별하기 위해 비정형 데이터와 상기 추출된 에피소드 요소에 인가된다. 에피소드 이벤트는 전자 장치에 에피소드 기억으로서 저장된다.

Description

전자 장치에서 비정형 데이터에 기초한 에피소드 기억 식별 방법{METHOD FOR IDENTIFYING EPISODIC MEMORY BASED ON UNSTRUCTURED DATA IN ELECTRONIC DEVICE}

실시예들은 일반적으로 개인 단말기(Personal Assistants), 스마트 단말기(Smart Assistants) 및 콘텐츠 관리 시스템에 관한 것으로 보다 상세하게는, 사용자로부터 또는 다른 소스로부터 수신된 사용자에 대한 비정형 데이터(unstructured data)의 에피소드 요소들(episodic elements)을 추출하여 사용자의 에피소드 기억(episodic memory)을 구축하기 위한 방법 및 시스템에 관한 것이다.

에피소드 기억은 사람의 삶에서 특별한 특정 사건이나 상황을 풍부하게 색인된, 시공간적으로 정형화된 기억(spatio-temporally structured memory)을 말한다. 콘텐츠 관리 시스템은 사용자가 시간 및 장소, 앨범 이름, 의미 태그(semantic tags)함으로써 디지털 콘텐츠를 검색(retrieve)할 수 있게 한다. 그러나 사람들은 종종 절대적인 날짜 및 시간 측면이라기보다는 그 에피소드 기억의 측면에서 과거에 대 기억하고 소통한다. 사용자에게 보다 자연스러운 경험을 제공하기 위해, 시스템 및 방법은 사용자로 하여금 사용자의 에피소드 기억의 이벤트 및 상황의 관점에서 사용자가 검색하려는 디지털 콘텐츠를 지정할 수 있게 해야 한다.

본 발명의 실시예들의 주요 목적은 사용자에 대한 비정형 데이터를 사용하여 사용자의 기억에서 생활과 관련된 에피소드 이벤트들을 식별하기 위한 방법 및 시스템을 제공하는 데 있다.

본 발명의 실시예들의 다른 목적은 자연 언어 처리(Natural Language Processing: NLP) 엔진 및 시간적-공간적 추론(Temporal-Spatial Reasoning)을 이용하여 사용자의 삶에서 에피소드 사실들을 추출하는 데 있다.

본 발명의 실시예들의 다른 목적은 전자 장치에서 에피소드 이벤트로써 저장된 콘텐츠를 검색하는 데 있다.

따라서, 실시예들은 전자 장치를 이용하여 에피소드 이벤트들을 식별하는 방법을 제공한다. 이 방법은 사용자와 관련된 적어도 하나의 데이터 소스에서 비정형 데이터를 수신하는 과정, 및 적어도 하나의 파라미터에 기반하여 상기 비정형 데이터에서 적어도 하나의 에피소드 이벤트를 식별하는 과정을 포함하고, 상기 파라미터는 공간적 추론 및 시간적 추론 중 적어도 하나이다.

따라서, 실시예들은 에피소드 이벤트를 식별하는 전자 장치를 제공한다. 전자 장치는 사용자와 관련된 적어도 하나의 데이터 소스에서 비정형 데이터를 수신하고, 적어도 하나의 파라미터에 기반하여 상기 비정형 데이터로부터 적어도 하나의 에피소드 이벤트를 식별하도록 구성된 제어 모듈을 포함하고, 상기 파라미터는 공간적 추론 및 시간적 추론 중 적어도 하나이다.

따라서, 본 발명의 실시예들은 무선 통신을 위한 컴퓨터 프로그램 제품(computer program product)을 제공한다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능한 비 일시적 저장 매체(computer readable non-transitory storage medium)에 기록된 컴퓨터 실행 가능한 프로그램 코드를 포함한다. 컴퓨터 실행 가능한 프로그램 코드는 실행시 상기 프로그램 제품이 사용자와 관련된 적어도 하나의 데이터 소스에서 비정형 데이터를 수신하게 하고, 적어도 하나의 파라미터에 기반하여 상기 비정형 데이터에서 적어도 하나의 에피소드 이벤트를 식별하게 하며, 상기 파라미터는 공간적 추론과 시간적 추론 중 적어도 하나이다.

본 발명의 실시예들의 이들과 다른 측면들은 다음의 상세한 설명 및 첨부된 도면과 함께 고려하면 좀 더 잘 이해될 것이다. 또한, 이하의 설명은 바람직한 실시예들 및 수개의 구체적인 내용을 보여 주지만, 예시적인 것일 뿐 발명을 제한하는 것은 아님을 알 것이다. 본 발명의 범위에서 벗어나지 않는 범위에서 많은 변경 및 수정이 가능하며 본 발명의 실시예들은 그러한 모든 변경 사항들을 포함한다.

본 발명에 따라 제안된 시스템 및 방법은 특정 시간과 장소에 발생한 사용자의 과거의 개인적인 경험을 나타내는 비정형 데이터에서 에피소드 이벤트를 식별하고 시공간적 추론 엔진 등을 이용하여 전자 장치의 사용자가 제공한 이야기에 관련된 에피소드 이벤트에 대한 에피소드 요소를 추출할 수 있다. 또한, 스마트 기기를 활용하여 사용자에 의해 만들어진 과거의 이벤트들에 대해 말하는 것을 이해하고 사용자가 과거 특정 시간과 장소에서 발생한 개인적인 경험을 신속하게 기억하고 회상하는 데 도움을 제공하는 것을 돕는다.

본 발명은 첨부 도면들을 참조하여 설명되며, 동일한 참조 문자는 여러 도면들에서 대응하는 부분을 표시한다. 본 발명의 실시예들은 이하의 첨부된 도면들을 참조하는 이하의 설명으로부터 좀 더 잘 이해될 것이다.
도 1은 본 발명의 실시예들에 따른 전자 장치에서 에피소드 메모리를 생성하기 위한 시스템의 고레벨 개요(high level overview)를 도시하고;
도 2는 본 발명의 실시예들에 따른 에피소드 이벤트를 식별하기 위해 사용되는 전자 장치의 모듈들을 도시하고;
도 3은 본 발명의 실시예들에 따른 NLP 엔진에 대한 입력으로서 수신된 비정형 데이터를 예시적으로 도시한 것이고;
도 4는 본 발명의 실시예들에 따른 전자 장치를 이용하여 에피소드 이벤트를 식별하는 방법을 도시하는 흐름도이고;
도 5는 본 발명의 실시예들에 따른 에피소드 이벤트를 검색하는 방법을 도시하는 흐름도이고;
도 6A 및 도 6B는 본 발명의 실시예들에 따른 사용자 생활의 에피소드 이벤트 및 에피소드 기억을 식별하기 위한 전자 장치와의 사용자 대화를 예시적으로 도시한 것이고;
도 7은 본 발명의 실시예들에 따른 에피소드 메모리 관리 모듈에 저장된 복수의 에피소드 요소 및 복수의 이벤트를 예시적으로 도시한 것이고;
도 8은 본 발명의 실시예들에 따른 전자 장치로부터 콘텐츠를 검색하는 방법을 예시적으로 도시한 것이고;
도 9는 본 발명의 실시예들에 따른 전자 장치에서 사용자의 에피소드 이벤트를 식별하고 에피소드 기억을 생성하는 시스템 및 방법(들)을 구현하는 컴퓨팅 환경을 도시한다.

본 발명의 실시예들 및 다양한 특징과 유리한 자세한 내용은 아래의 설명에서 첨부된 도면에 도시된 비 한정적인 실시예들을 참조하여 보다 충분히 설명된다. 공지된 구성 요소 및 처리 기술에 대한 설명이 본 발명의 실시예들을 모호하게 하는 경우 그 설명은 생략한다. 또한, 일부 실시예들이 하나 이상의 다른 실시예들과 결합하여 새로운 실시예들을 형성할 수 있기 때문에 본 명세서에 기재된 다양한 실시예들은 반드시 상호 배타적일 필요는 없다. 본 명세서에서 사용되는 용어 "또는" 은 달리 명시하지 않는 한, 비배타적인 것을 말한다. 본 명세서에서 사용되는 예들은 본 명세서에서 실시될 수 있으며, 또한, 당업자가 본 명세서의 실시예를 실시할 수 있도록 하는 방식을 용이하게 이해하기 위한 것이다. 따라서, 본 발명의 실시예들은 실시예들의 범위를 한정하는 것으로 해석되어서는 안된다.

본 명세서에 개시된 실시예들은 전자 장치를 사용하여 에피소드 이벤트들을 식별하는 방법을 제공한다. 이 방법은 데이터 소스들로부터 사용자와 관련된 비정형 데이터를 이용하는 과정 및 적어도 하나의 파라미터에 기반하여 비정형 데이터에서 사용자의 기억을 나타내는 적어도 하나의 에피소드 이벤트를 식별하는 과정을 포함한다. 상기 파라미터는 시간적 추론 및 공간적 추론 중 적어도 하나이다.

본 명세서에 기재된 방법 및 시스템은 명시적으로 설명될 수 있는 사용자의 자전적인 에피소드 이벤트(예: 시간, 장소, 관련된 감정, 이름, 및 누가, 무엇을, 언제, 어디서, 왜 등 관련된 다른 컨텍스트 정보)를 나타내는 에피소드 기억을 간단하고 강력하게 생성한다. 기존의 시스템과는 달리, 제안된 시스템 및 방법은 비정형 데이터를 사용하여 사용자의 에피소드 이벤트를 식별하기 위해 사용될 수 있다. 예를 들어, 비정형 데이터는 사용자의 내레이션일 수 있다. 또는, 비정형 데이터는 사용자와 관련된 다양한 데이터 소스들로부터 추출될 수 있다. 이 방법 및 시스템은, 사용자에 의해 만들어진 과거의 기억(에피소드 이벤트)에 대해 말하는 것을 이해하고 사용자가 과거 특정 시간과 장소에서 발생한 개인적인 경험을 신속하게 기억하고 회상하는 데 도움을 제공하는 것을 돕기 위해, 스마트 기기에 의해 사용될 수 있다.

이제 도면들을 참조하면, 유사한 참조 문자들은 도면을 통해 해당 특징들을 일관되게 나타내고 특히, 도 1 내지 도 9를 통해 바람직한 실시예들이 도시된다.

도 1은 시스템(100)의 고레벨 개요를 도시한다. 실시예에서, 시스템(100)은 일반적으로 사용자가 사용하는 애플리케이션들을 갖는 전자 장치(102)를 포함한다. 전자 장치(102)는 일, 공부, 놀이와 사교 활동을 지원하는 등 사람들의 일상 생활에서 빼놓을 수 없는 개인 기기가 되고 있다. 다수의 멀티 모달 센서(multi-modal sensors) 및 전자 장치(102)의 풍부한 기능들은 사용자의 생활 경험에 대한 풍부한 정보를 캡처(예: 보고 듣는 것에 대해 사진과 비디오를 촬영하고, 작업과 활동을 캘린더, 일정(to-do list) 및 메모(notes) 등과 같은 어플리케이션들을 사용하여 구성하는 등)할 수 있다. 전자 장치(102)는 사용자의 개인 정보를 많이 포함하고 있기 때문에, 사용자의 분신 (사용자의 제2의 자기 또는 신뢰할 수 있는 친구)으로서 동작하기 시작한다. 사용자가 자신의 인생에서 이벤트 및 상황의 관점에서 기억을 상기하기 때문에, 전자 장치(102)는 에피소드 이벤트 및 저장된 에피소드 기억을 식별하도록 구성될 수 있다. 개인 정보는 사용자가 기억을 떠올리고 과거의 경험을 기억하는데 유용하다. 기억을 떠올리고 과거의 경험을 기억하기 위해, 전자 장치(100)는 에피소드 이벤트와 에피소드 기억을 식별하고, 저장하고, 검색하도록 구성될 수 있다. 전자 장치(102)를 통해 사용자의 삶에서 에피소드 이벤트들을 식별, 생성, 저장 및 검색하는 방법은 도 2, 도 3, 도 4 및 도 5를 참조하여 설명한다.

도 2는 본 명세서에 개시된 실시예들에 따른, 에피소드 이벤트들을 식별하기 위해 사용되는 전자 장치(102)의 다양한 모듈들(200)이다. 전자 장치(102)는 데이터 소스(202), 제어 모듈(204), 자연 언어 처리(NLP; natural language processing) 엔진(206), 시공간 추론 엔진(temporal-spatial inference engine; 208), 에피소드 기억 관리 모듈(210), 디스플레이 모듈(212) 및 통신 모듈(214)을 포함하도록 구성될 수 있다.

데이터 소스(202)는 전자 장치(102)의 사용자와 관련된 복수의 데이터를 포함하도록 구성될 수 있다. 데이터는 비정형 데이터와 정형 데이터를 포함할 수 있다. 전자 장치(102)에서 언어 처리와 시공간적 추론을 위해 사용되는 데이터 소스들은 예를 들어, 단, 한정되는 것은 아니며, 복수의 SMS(short messaging service) 메시지, 복수의 이메일, 복수의 일정 항목, 사용자의 음성 녹음, 콘텐트와 관련된 메타 데이터(meta data), 및 통신 세션 중에 추출된 에피소드 요소를 포함할 수 있다. 전자 장치(102)의 사용자와 관련된 비정형 데이터를 제공하는 다양한 데이터 소스는 도 3과 연관되어 설명된다. NLP 엔진(206)은 비정형 데이터로부터 에피소드 요소를 추출하기 위해 데이터 소스(202)를 사용한다.

제어 모듈(204)은, 시공간 추론 엔진(208)과 NLP 엔진(206)을 포함한 복수의 모듈들과 통신한다. 제어 모듈(204)는 과거의 특정 시간과 장소에서 개인적인 경험을 나타내는 비정형 데이터에서 에피소드 이벤트를 식별하도록 구성될 수 있다.

전자 장치(102)의 제어 모듈(204)은 적어도 하나의 파라미터에 기초하여, 비정형 데이터로부터 적어도 하나의 에피소드 이벤트를 식별하도록 구성될 수 있다. 본 명세서에서 파라미터는 인과 관계 추론(casual reasoning), 공간 추론(spatial reasoning) 및 시간적 추론(temperal reasoning)을 포함할 수 있지만, 이에 한정되지는 않는다. 시공간적 추론은 에피소드 이벤트에 관련된 시간, 위치 및 설명과 관련하여 누락되거나(missing) 암시된(implicit) 정보를 추론하기 위해 수행된다.

전자 장치(102)의 제어 모듈(204)은 NLP 엔진(206)을 사용하여, 상기 식별된 에피소드 이벤트와 관련된 에피소드 요소들을 추출하도록 구성될 수 있다. NLP엔진(206)은 음성 인식, 음성 합성, 자연 언어 이해(Natural Language Understanding: NLU) 등과 관련된 도구(tool)들을 포함한다. NLP 엔진(206)은 이러한 도구들을 사용하여 에피소드 요소들을 추출한다. 어떠한 실시예에서, 제어 모듈(204)은 컨텍스트 정보 및 인과 관계 및 관련한 추론(referential inference)을 사용하여, 상기 추출된 에피소드 요소들을 '식별 가능한 에피소드 이벤트들'로 구조화할 수 있다.

어떠한 실시예에서, 제어 모듈(204)은 시공간적 추론 엔진(208)을 사용하여, 지정한 텍스트/대화/사용자 발언에서 비정형 데이터 및 추출된 요소들로부터 누락되거나 암시적인 데이터를 추론하도록 구성될 수 있다. 시공간적 추론 엔진(208)은 상식적인 지식의 시공간적인 양상들의 추상적인 개념을 사용하여, 암시적이고 누락된 정보를 추론한다. 또한, 시공간적 추론 엔진(208)은 다양한 데이터 소스들(202)로부터 추출된 에피소드 요소들을 사용하여, 에피소드 이벤트에 관련된 시간, 위치 및 설명에 대한 암시적이고 누락된 정보를 추론할 수 있다.

어떠한 실시예에서, 시공간적 추론 엔진(208)은 지능형 동적 필터링, 컨텍스트 민감한 상황 인식, 지능형 감시, 동적 발견 및 전달, 온톨로지 데이터(ontology data) 맵핑 등과 같은 특징들을 사용함으로써, 사용자의 생활에 관한 정보를 추론할 수 있다.

어떠한 실시예에서, 제어 모듈(204)은 시공간적 추론 엔진(208)을 사용하여, 상기 식별된 에피소드 이벤트들와 현존하는 에피소드 이벤트들 간의 '적어도 하나의 에피소드 관계'를 식별하도록 구성될 수 있다. 본 명세서에서 에피소드 이벤트는 예를 들어, 단 이에 국한되는 것은 아니며, '전(before)', '후(after)', '동안(during)', '동일한 사람과(with the same person)', 및 '동일한 장소에서(at the same place)' 등을 포함할 수 있다. 에피소드 이벤트들은 의미 정보(semantic information; 즉, 새로운 카테고리, 새로운 상관관계 및 새로운 인과 관계 모델)의 학습을 유발할 수 있다. 예를 들어, 다른 장소에서 밤에 여러 번 강도를 만나는 것은 에피소드 학습의 결과로써 밤에 혼자 걷는 것에 대한 공포를 유발할 수 있다.

에피소드 기억 관리 모듈(210)은 사용자에 대해서 상기 추출된 에피소드 요소들, 상기 식별된 에피소드 이벤트들 및 상기 식별된 에피소드 관계(relation)들을 에피소드 메모리 구조에 저장하도록 구성될 수 있다. 에피소드 기억 관리 모듈(210)에 저장된 상기 에피소드 메모리 구조의 일례는 도 7을 참조하여 설명된다.

친구들과의 파티로 이어지는 졸업의 예를 생각해본다. 졸업 및 파티는 에피소드 관계를 형성할 수 있다.

어떠한 실시예에서, 에피소드 관계는 각각의 이벤트, 서로 이어지는 이벤트들, 동시에 발생하는 이벤트들, 및 일반인들을 갖는 이벤트들 등과 연관된 타임 스탬프들(timestamps)에 기초하여, 제어 모듈(204)에 의해 식별될 수 있다.

또한, 표시 모듈(212)은 사용자 질의(user query)에 기초하여, 검색된 에피소드 이벤트를 표시하도록 구성될 수 있다. 전자 장치(102)의 사용자에 의해 주어진 질의에 기초하여, 제어 모듈(204)은 에피소드 이벤트와 연관된 콘텐츠를 검색하여 전자 장치(02)의 화면 상에 표시하도록 구성될 수 있다. 통신 모듈(214)은 전자 장치(102)의 사용자의 지시에 기초하여, 전자 장치(102)의 에피소드 이벤트를 다른 사용자들과 공유하도록 구성될 수 있다.

에피소드 이벤트들의 식별과 에피소드 기억들의 생성은 사용자의 삶에서 현재 컨텍스트 및 주요 이벤트와 상황을 인식하고 있는 스마트 전자 장치, 스마트 홈, 및 스마트 카(smart car)에서 쉽게 구현될 수 있다.

도 2는 전자 장치(102)의 모듈(200)의 제한된 개요를 도시하지만 다른 실시예들이 이에 한정되는 것은 아님을 알 것이다. 모듈의 라벨 또는 이름은 단지 설명의 목적을 위해 사용되며, 본 발명의 범위를 한정하는 것은 아니다. 또한, 본 발명의 범위에서 벗어나지 않고 실시간으로 하나 이상의 모듈들의 기능을 결합할 수 있거나 또는 별도로 동일하거나 다른 모듈들에 의해 수행될 수 있다. 또한, 전자 장치는 사용자의 에피소드 기억을 식별하고 생성하기 위하여, 로컬 또는 원격으로 통신하는 다른 하드웨어 또는 소프트웨어 구성 요소들과 함께 다양한 다른 모듈들을 포함할 수 있다. 구성 요소는 예를 들어, 단 이에 국한되는 것은 아니며, 컨트롤러나 프로세서에서 실행되는 프로세스, 객체, 실행 가능한 프로세스, 스레드(thread), 프로그램 또는 컴퓨터일 수 있다. 예시적으로, 전자 장치에서 실행되고 있는 애플리케이션 및 전자 장치 자체 둘 다, 구성 요소일 수 있다.

도 3은 본 명세서에 개시된 실시예들에 따라, NLP 엔진(206)으로의 입력으로써 동작하는 비정형의 데이터 소스(202)의 일례를 도시한다. NLP 엔진(206)은 복수의 데이터 소스(202)로부터 데이터를 검색하도록 구성될 수 있다. 데이터 소스(202)는 전자 장치(102)에 존재하는 멀티미디어(302)를 포함한다. 멀티미디어 콘텐츠(302)와 연관된 날짜 및 위치와 같은 의미 데이터(semantic data)가 NLP 엔진(206)으로 입력되는 비정형 데이터로서 사용될 수 있다.

음성 입력(304)은 에피소드 이벤트들과 관련된 에피소드 요소들을 추출하기 위해 NLP 엔진(206)에 의해 사용될 수 있다. 음성 입력은 음성 기록, 마이크를 통해 전자 장치(102)로 제공되는 음성 입력, 전자 장치(102)에 구비된 통신 모듈을 사용하여 수행되는 음성 통화 등과 같은 데이터를 포함할 수 있다. NLP 엔진(206)은 음성 입력에서 적어도 하나의 에피소드 이벤트와 관련된 에피소드 요소를 추출하기 위해 사용될 수 있다. 추출된 에피소드 요소들은 상기 식별된 에피소드 이벤트들에 누락된 데이터를 추론하기 위하여 시공간적 추론 엔진(208)에 의해 사용될 수 있다. 예를 들어, NLP 엔진(206)은 전자 장치(102)의 음성 통화에서, 대학, 하키, 파티, 및 주 선수권 대회 등과 같은 에피소드 요소들을 추출할 수 있다. 시공간적 추론 엔진(208)은 상기 추출된 에피소드 요소들을 전자 장치(102)에 존재하는 콘텐트에 연관시킬 수 있다. 예를 들어, NLP 엔진(206)을 사용하여 추출된 에피소드 요소들은 사용자가 대학에 재학 중인 동안 만들어진 사진 앨범과 연관될 수 있다. 에피소드 이벤트가 식별되어, 전자 장치(102)에 존재하는 사진들에 태그(tag)된다. 식별된 에피소드 이벤트는 사용자가 "주 선수권 대회의 사진을 보여줘(Show me the pictures of the state championship)"와 같은 간단한 음성 입력에 의해 사진 앨범에 액세스 할 수 있게 한다. 제어 모듈(204)은 에피소드 이벤트(예: 주 선수권 대회)에 태그된 사진 앨범을 표시하기 위해 에피소드 기억 관리 모듈(210)에 액세스할 수 있다.

사용자와 연관된 복수의 텍스트 입력(306)은 예를 들어, 단 이에 국한되는 것은 아니며, 사용자에 의해 제공되는 SMS, 문서, 이메일, 댓글과, 사용자에 의해 작성된 블로그 등을 포함하며, NLP 엔진(206)에 대한 데이터 소스(202)로서 역할을 할 수 있다. NLP 엔진(206)은 에피소드 이벤트들을 식별하기 위하여, 전자 장치(100)에 존재하는 애플리케이션들로부터 다수의 시간 데이터와 다수의 장소 데이터를 사용할 수 있다. 예를 들어, 전자 장치(100)의 사용자가 어떠한 마을에서 개최되는 콘서트에 가기 위해 맵(map) 애플리케이션을 사용하는 경우, NLP 엔진(206)은 이러한 정보(즉, 맵 애플리케이션의 사용에 따라 획득된 정보)를, 에피소드 이벤트를 식별하기 위한 에피소드 요소들(예: 날짜, 콘서트 및 장소)을 추출하기 위한 정보로써 이용할 수 있다.

브라우저 기록(310), 하이퍼링크, 핀(pins) 등과 같이 전자 장치(102)의 사용자가 생성한 입력들이 사용자와 관련된 에피소드 요소들을 추출하기 위한 입력으로써 활용될 수 있다.

데이터 소스들(202)을 통해 추출된 사용자와 관련된 에피소드 요소들은 전자 장치(102)로 하여금 사용자로부터 분명한 정보를 수신하지 않고서도, 사용자의 생활 속에서 발생하는 에피소드 이벤트들 지속적으로 식별할 수 있도록 한다.

도 4는 본 발명의 실시예들에 따라, 전자 장치(102)를 사용하여 에피소드 이벤트들을 식별하는 방법(400)을 도시하는 흐름도이다. 방법(400)의 다양한 과정들은 각각의 블록들로 요약되어 있다. 이러한 블록들에서, 어떠한 과정은 전자 장치(102), 전자 장치(102)의 사용자 및 그 조합에 의해 수행된다. 본 명세서에 기재되는 방법(400)과 다른 설명은 제어 프로그램을 위한 기초를 제공한다. 제어 프로그램은 마이크로 컨트롤러, 마이크로 프로세서 또는 컴퓨터 판독 가능한 기억 매체를 이용하여 구현될 수 있다.

일 실시예에서, 과정(402)에서, 방법(400)은 전자 장치(102)의 사용자와 연관된 적어도 하나의 데이터 소스(202)로부터 비정형 데이터를 수신하는 과정을 포함한다. 전자 장치(102)는 연락처, 문서, 브라우저 선호사항, 북마크, 미디어 콘텐츠 등의 개인 데이터를 포함할 수 있지만, 예를 들어, 사용자가 전자 장치(102)와 처음 대화하는 경우, 사용자의 과거와 연관된 에피소드 이벤트 또는 전자 장치(1020에 현존하는 데이터와 연관된 에피소드 이벤트를 모를 수 있다. 이러한 문제를 해결하기 위해, 제어 모듈(204)은 사용자의 삶에서 중요한 이벤트에 대한 짧은 이야기를 제공하도록 사용자에게 요구하도록 구성될 수 있다. 사용자는 예를 들어 음성, 그래픽 사용자 인터페이스 (버튼 및 링크), 텍스트 입력 등과 같은, 전자 장치(102)에서 사용 가능한 입력 및 출력 메커니즘을 이용하여 전자 장치(102)에 정보를 제공할 수 있다. 어떠한 실시예에서, 에피소드 기억 관리 모듈(210)에 존재하는 콘텐트는 대안적으로, 다른 소스에 저장될 수 있다. 예를 들어, 사용자의 에피소드 기억들은 클라우드 스토리지(cloud storage)에 저장될 수 있다. 전자 장치(102)가 분실된 경우, 에피소드 기억은 은 다시 작성되는 대신에, 상기 다른 소스에서 다른 전자 장치로 전송될 수 있다.

과정(404)에서, 방법(400)은 사용자가 NLP 엔진(206)을 사용하여 비정형 데이터에서 적어도 하나의 에피소드 요소를 추출할 수 있는 과정을 포함한다. 어떠한 실시예에서, 사용자가 처음으로 전자 장치(102)와 대화(interaction)할 때, NLP 엔진(206)은 사용자의 내레이션에서 에피소드 요소를 추출하기 위해 사용될 수 있다. 예를 들어, 사용자가 제공하는 음성 기반의 내레이션은 NLP 엔진(206)에서 이용 가능한, 음성 인식, 음성 합성 및 NLU와 관련한 툴(tool)들을 이용하여 전자 장치에 의해 처리할 수 있다.

어떠한 실시예에서, 전자 장치(102)는 사용자에게 현존하는 디지털 콘텐트에 대한 정보를 제공하라고 요구할 수 있다. 예를 들어, 새로운 사진 앨범이 사진 보관함에 추가될 때, 제어 모듈(204)은 디지털 콘텐트에 대한 정보를 제공하라고 사용자에게 요구할 수 있다. 전자 장치(102)에서 출력되는 메시지(예: 비주얼 메시지 또는 오디오)는 디지털 콘텐트와 관련된 정보를 제공하라고 사용자에게 요청하는 것일 수 있다. 사용자가 제공하는 정보는 디지털 콘텐트에 메타 데이터로서 추가될 수 있다.

과정(406)에서, 방법(400)은 맥락 관련 정보(contextual information) 및 인과 관계의 추론들을 사용하여, 추출된 에피소드 요소를 식별 가능한 에피소드 이벤트들로 구조화시키는 과정을 포함한다. 각 에피소드 요소는 에피소드 이벤트들의 식별을 위하여, 컨텍스트 정보와 인과 관계의 추론들로부터 추론될 수 있다. 어떠한 실시예에서, 사용자의 과거에 발생한 에피소드 이벤트를 식별하기 위해, 방법(400)은 제어 모듈(204)로 하여금 공간적 추론과 시간적인 추론과 같은 파라미터들을 사용할 수 있게 한다. 시공간적 추론 엔진(208)은 추출된 에피소드 이벤트의 위치와 시간과 같은 의미 데이터를 추가할 수 있다. 어떠한 실시예에서, 에피소드 기억 관리 모듈(210)에서 사용 가능한 에피소드 요소들과 추출된 에피소드 요소들에 기초하여, 방법(400)은 시공간적 추론 엔진(208)으로 하여금, 상기 추출된 에피소드 요소들의 시간과 장소에 관하여 누락된 또는 암시적 정보를 추론할 수 있도록 허용한다. 어떠한 실시예에서, 시공간적 추론 엔진(208)은 적어도 하나의 이벤트에 관련된 에피소드 요소를 추론하도록 구성될 수 있다. 예를 들어, 사용자가 다음달에 10번째 고등학교 동창회에 참석하는 것에 대해 얘기하는 음성 통화 중인 경우, 시공간적 추론 엔진(208)은 사용자가 10년전에 고등학교를 졸업한 것으로 추론할 수 있다. "고등학교 졸업 년도"가 에피소드 요소로써 추론된다. 시공간적 추론 엔진(208)은 저장된 에피소드 이벤트, 다양한 이벤트로부터 생성된 에피소드 요소, 전자 장치(102)의 데이터 소스들(202)을 사용하여, 암시적 정보를 추론할 수 있다. 비정형 데이터의 시간적 및 공간적 추론의 예를 도 6A 및 6B와 연관하여 설명된다.

과정(408)에서, 방법(400)은 식별된 적어도 하나의 에피소드 이벤트와 전자 장치에 저장된 적어도 하나의 에피소드 이벤트 사이의 적어도 하나의 에피소드 관계를 식별하는 과정을 포함한다. 어떠한 실시예에서, 시공간적 추론 엔진(208)은, 사용자가 에피소드 이벤트들을 공유하는 경우, 한 사용자의 에피소드 기억을 다른 사용자의 에피소드 기억에 링크할 수 있다. 시공간적 추론 엔진(208)은 두 사용자의 에피소드 이벤트들이 몇 가지 공통 링크들을 가지고 있음을 추론할 수 있다.

방법(400)은 제어 모듈(204)로 하여금, 적어도 하나의 에피소드 관계를 식별하고, 상기 추출된 에피소드 요소, 상기 추론된 에피소드 요소, 상기 식별된 에피소드 이벤트 및 상기 식별된 에피소드 관계를 이용하여, 에피소드 기억을 구축하는 것을 가능하게 한다. 어떠한 실시예에서, 방법(400)은 제어 모듈(204)로 하여금, 서로 다른 에피소드 이벤트들 간의 에피소드 관계를 식별할 수 있게 한다.

과정(410)에서, 방법(400)은 상기 식별된 에피소드 이벤트들과, 상기 식별된 에피소드 관계들을 에피소드 기억 관리 모듈(210)에 저장하는 과정을 포함한다. 여기서, 에피소드 기억 관리 모듈(210)은 에피소드 기억의 콘텐츠(예: 에피소드 요소들, 에피소드 이벤트들, 에피소드 관계들)에 액세스하여 업데이트할 수 있도록 한 방법을 제공한다. 각 에피소드 이벤트는 시간, 위치, 및 설명 중 적어도 하나와 연관된다. 식별된 각각의 에피소드 이벤트는 에피소드 관계를 통해 다른 것에 연관되고, 에피소드 기억 관리 모듈(210)에 저장된다. 에피소드 요소, 에피소드 이벤트 및 에피소드 관계는 상호 링크되고 에피소드 기억 관리 모듈(210)에 저장된다. 에피소드 이벤트와 에피소드 요소들을 나타낸 일례가 도 7과 관련하여 설명된다.

또한, 이 방법 및 시스템은 사용자의 경험적 기억을 공유하고 따라서, 사용자는 자신의 인생에서 이벤트 및 상황을 참조하여 자연스럽게 누군가와 대화(interact)할 수 있다. 또한, 이 방법 및 시스템은 특정 날짜, 장소, 앨범 이름, 미리 정해진 태그 및 소스를 특정하도록 사용자에게 요구하지 않으면서, 사용자의 일상 생활 속에서의 이벤트 및 상황에 대한 참조를 사용하여 사용자가 디지털 콘텐트를 검색하는 것을 가능하게 한다.

방법(400)에서 다양한 동작들, 실시, 블록, 과정 등이 제시된 순서대로, 다른 순서로 또는 동시에 수행될 수 있다. 또한, 일부 실시예에서, 일부 동작, 실시, 블록, 과정 등이 본 발명의 범위에서 벗어나지 않는 범위에서 제거, 추가, 변경, 스킵(skip)될 수 있다.

도 5는 본 발명에 개시된 실시예들에 따라, 에피소드 이벤트를 검색하는 방법(500)을 도시하는 흐름도이다. 방법(500)의 다양한 과정들은 각각의 블록들로 요약되어 있다. 이러한 블록들에서, 어떠한 과정은 전자 장치(102), 전자 장치(102)의 사용자 및 그 조합에 의해 수행된다. 본 발명에 기재되는 방법(500) 및 다른 설명은 제어 프로그램의 기초를 제공한다. 제어 프로그램은 마이크로 컨트롤러, 마이크로 프로세서 또는 컴퓨터 판독 가능한 기억 매체를 이용하여 구현될 수 있다.

어떠한 실시예에서, 사용자는 사용자의 인생에서의 이벤트 및 상황(사용자 인생의 에피소드 기억들)에 대한 참조를 제공함으로써 콘텐트를 검색하도록 전자 장치(102)에 구두로(verbally) 지시할 수 있다. 과정(502)에서, 방법(500)은 전자 장치(102)의 사용자로부터 에피소드 이벤트와 관련된 정보를 포함하는 질의(query)를 수신하는 과정을 포함한다. 본 명세서에서 질의는 예를 들어, 단 이에 한정되는 것은 아니며, 사용자가 원하는 것으로써, 사진, 노래, 및 연락처 등과 같은 정보를 포함할 수 있다. 질의는 예를 들어 음성, 그래픽 사용자 인터페이스 (버튼 및 링크), 텍스트 입력 등과 같은 사용 가능한 입력 및 출력 메커니즘을 통해 수신될 수 있다.

과정(504)에서, 방법(500)은 NLP 엔진(206)을 사용하여, 사용자 질의로부터 에피소드 이벤트 및 에피소드 요소를 추출하는 과정을 포함한다. 수신된 질의는, 에피소드 요소를 추출하고 검색될 에피소드 이벤트를 식별하기 위하여, NLP 엔진(206)에 의해 분석된다. 음성 입력의 경우, NLP 엔진(206)은 질의 내의 요소들을 추출할 수 있다. 과정 (506)에서, 방법(500)은 추출된 에피소드 요소와 에피소드 이벤트에 기초하여, 에피소드 메모리 관리 모듈(210)에 저장된 에피소드 기억을 검색하는 과정을 포함한다. 에피소드 기억 관리 모듈(210)에 저장된 사용자의 에피소드 기억은 사용자가 지정한 질의를 추론하는 데 사용할 수 있다. 에피소드 요소, 및 질의로부터 추출된 에피소드 이벤트에 기초하여, 제어 모듈(204)은 에피소드 메모리 관리 모듈(210)에서 (에피소드 요소, 에피소드 이벤트 및 에피소드 관계를 포함하는) 에피소드 기억을 검색하여, 질의에 관련된 에피소드 요소 및 에피소드 이벤트를 식별한다. 전자 메모리 구조 (도 7에 도시된 바와 같은) 및 현존하는 검색 및 액세스 알고리즘은 상기 수신된 질의에 대한 결과를 찾기 위해 에피소드 메모리 관리 모듈(210)에 의해 사용될 수 있다.

과정(508)에서, 방법(500)은 질의에 대한 응답으로써 에피소드 메모리 관리 모듈(210)로부터 결과를 획득하는 과정을 포함한다. 사용자의 에피소드 기억은 질의에 대한 응답을 추론하는 데 사용될 수 있다. 추론된 결과(질의에 대한 응답)는 에피소드 이벤트에 관련된 정보를 식별한다. 상기 추론된 에피소드 요소들과 이벤트에 기초하여, 결과는 전자 장치(102)의 사용자에게 표시될 수 있다. 결과는 사용자가 질의를 통해 요청한 정보로써, 예를 들어, 단, 이에 국한되는 것은 아니며, 이미지, 문서, 채팅 기록, 이메일, 메시지, 오디오, 비디오 등을 포함할 수 있다.

어떠한 실시예에서, 제어 모듈(204)에 의해 식별된 수많은 콘텐츠가 존재하는 경우(예: 결과들의 수가 기 정해진 값을 초과할 경우), 방법(500)은 제어 모듈(204)로 하여금, 질의에서 보다 구체적인 요소를 획득하기 위해 사용자와 대화를 시작할 수 있게 한다. 에피소드 기억 관리 모듈(210)을 사용하여 콘텐트를 검색하는 과정을 나타낸 예시적인 도면은 도 8과 연관되어 설명된다.

방법(500)에서 다양한 동작, 실시, 블록, 과정 등이 제시된 순서대로, 다른 순서로 또는 동시에 실행되고 있다. 또한, 일부 실시예에서, 일부 동작, 실시, 블록, 과정 등이 본 발명의 범위에서 벗어나지 않는 범위에서 제거, 추가, 변경, 스킵될 수 있다.

도 6A 및 6B는 본 명세서에 개시된 실시예들에 따라, 사용자의 생활의 에피소드 이벤트 및 에피소드 기억을 식별하기 위해 전자 장치(102)와 사용자 대화의 예를 도시한다.

도 6A에서, 전자 장치(102)에 의해 수신된 이야기(604)는, "내 이름은 존 스미스이다. 나는 오마하 네브라스카에서 태어나 거기에서 내 어린 시절을 보냈다. 나는 링컨 고등학교를 다니고 1994년에 졸업했다. 축구를 했지만 어깨 부상 후 포기했다. 나는 경제학을 공부하고 싶어 프린스턴 대학에 갔다("My name is John Smith. I was born in Omaha Nebraska and spent my childhood there. I went to Lincoln High and graduated in 1994. I was into football, but gave up after a shoulder injury. I wanted to study Economics so I went to Princeton")"이다.

제어 모듈(204)은 NLP 엔진(206) 및 시공간적 추론 엔진(208)을 이용하여, 전자 장치(102)의 사용자가 제공한 이야기에 관련된 에피소드 이벤트에 관한 에피소드 요소들을 추출할 수 있다. 사용자에게서 수신된 샘플 이야기에서, 제어 모듈(204)은 사용자(존 스미스)가 1975년에서 1977년 사이에 오마하에서 태어났음을(즉, 존 스미스의 출생 년도), 고교 졸업 연도에 기반한 시간적 추론을 사용하여, 추출할 수 있다. 또한, 제어 모듈(204)은 고교 졸업 연도에 기반한 시간적 추론을 사용하여 사용자가 1975년에서 1994년 사이에 오마하에 살았음(즉, 존 스미스의 거주 장소와 그 곳에서의 거주 기간)을 추출할 수 있다. 또한, 제어 모듈(204)은 시간적 추론을 사용하여, 사용자가 1990년에서 1994년 사이에 LincolnHigh543 학교를 다녔음을 추출할 수 있다. 위와 같은 방법으로, 제어 모듈(204)은 시간적 추론을 사용하여 사용자로부터 수신된 비정형 데이터(사용자가 제공한 이야기)를 기반으로 사용자의 모든 에피소드 요소들을 추출할 수 있다.

존 스미스에 대해 NLP 엔진(306) 및 시공간 추론 엔진에 의해 추출된 에피소드 사실을 다음 표 1에 나타낸다.

에피소드 요소	추론 방법
1975~1977년 사이에 오마하에서 출생	시간적 추론
1975년 ~1994년 사이 오마하에서 거주	시간적 추론
1990년 ~1994년 사이 LincolnHigh543에 재학	시간적 추론
1990년, 1994년 축구 활동	시간적 추론
1990년~1994년 사이 어깨 부상	시간적 추론
1994년~1998년 프린스턴 대학 재학	시간적 추론
추론대학 전공 (경제학)

도 6B는 사용자 생활과 연관된 에피소드 이벤트를 식별하기 위해 사용될 수 있는 두 사용자들 간의 대화를 도시한다. 이 에피소드 이벤트는 두 사용자들 간의 공통된 에피소드 이벤트일 수 있다. 두 사람 사이의 대화에 기초하여, 앤드류, 고등학교, 음주, 금요일 밤 등과 같은 에피소드 요소들은 NLP 엔진(206)에 의해 식별될 수 있다. 시공간적 추론 엔진(208)은 앤드류가 사용자들과 함께 고등학생이었고, 대화의 두 사용자 모두 축구 팀의 일원이었던 등과 같이 다른 추가의 에피소드 요소들을 추론할 수 있다.

어떠한 실시예에서, 사용자는 사용자가 보는 중인 콘텐트에 관한 정보를 전자 장치(102)에 제공할 수 있다. 예를 들어, 사용자는 자신의 어린 시절을 다룬 비디오들을 만들고 싶어할 수 있다. 각 비디오에 대해, 사용자는 에피소드 요소 및 에피소드 이벤트를 추출하는 데 사용할 수 있는 이야기 설명을 제공할 수 있다.

설명된 실시예는 사용자 자신의 경험적 기억을 공유할 수 있게 한다. 사용자는 자신의 생활에서 이벤트 및 상황을 참조함으로써 자연스러운 방법으로 전자 장치(102)와 대화함으로써 이들의 기억을 공유할 수 있다.

도 7은 본 명세서에 개시된 실시예들에 따라, 에피소드 기억 관리 모듈 (210)에 저장된 에피소드 요소들 및 이벤트들을 도시하는 예이다. 도 7은 구조체와 같은 맵에서 상호 링크된 다수의 에피소드 요소들을 도시한다. 이러한 구조체는 '전', '후' 및 '사이' 등 시간 관계 측면에서 에피소드 이벤트를 조직(organize)한다. 데이터 소스들로부터 추출된 에피소드 요소들은 에피소드 요소들 사이의 에피소드 관계에 기초하여 서로 링크되어 에피소드 기억 관리 모듈 (210)에 저장된다. 각 링크는 에피소드 기억 구조에서 에피소드 요소 및 에피소드 이벤트 사이의 관계를 나타낸다. 또한, 상기 구조체는 이벤트 종류, 이벤트 참가자, 이벤트 장소 및 이벤트 테마에 따라 에피소드 이벤트를 조직한다. 추출된 에피소드 요소와 시공간 추론 엔진(208)으로부터의 추론에 기초하여, 제어 모듈 (204)은 사용자의 삶에서 에피소드 이벤트 및 에피소드 관계를 식별하도록 구성될 수 있다. 도 7의 원(710, 720)은 제어 모듈(204)에 의해 식별된 에피소드 이벤트를 도시한다.

친구 그룹이 중요한 프로젝트가 완료된 후 함께 간 피크닉 이벤트의 예를 고려해 본다. 사용자의 기억에서 피크닉 동안, 미스터 짐(Mr. Jim)이 나쁜 사고를 당해 입원하게 되었다. 미스터 짐, 다른 친구들의 이름, 완료된 프로젝트는 피크닉 이벤트의 에피소드 요소로써 작용할 수 있다. 짐(Jim)의 사고와 관련된 이벤트와 피크닉 이벤트는, 동시에 발생했기 때문에, 에피소드적인 관계에 있다. 따라서, 에피소드 관계는 사고 이벤트와 피크닉 이벤트 간에 형성될 수 있다. 사고 관련 요소는 피크닉 이벤트 중에 존재할 수 있다. 사용자의 기억에서 사고는 병원에서 친구의 방문, 물리 치료의 진행, 수술의 세부 사항과 같은 요소를 포함하는 사고 이벤트로써 저장할 수 있다.

도 8은 본 명세서에 개시된 실시예들에 따라, 전자 장치(102)에서 콘텐츠를 검색하는 방법의 일례를 도시한다. 도 8은 사용자가 요청한 콘텐츠를 검색하기 위한 사용자와 전자 장치(102) 사이의 대화(802)를 도시한다. 전자 장치(102)는 사용자가 그의 대학 시절의 사진을 요청하는 음성 질의를 마이크를 통해 사용자로부터 수신한다. (804)에서, 전자 장치(102)는 사용자의 질의에 기초하여 상당히 많은 결과들을 획득하고, 좀 더 구체적인 정보를 사용자에게 요청하기 위한 음성을 스피커를 통해 출력한다. (806)에서, 사용자가 "2학년 때 하와이로 여행갔을 때"라고 말한 경우, 제어 모듈(204)은 '여행'을 에피소드 이벤트로써 식별할 수 있다. (808)에서, 여행의 에피소드 요소들(하와이, 대학, 2학년)에 태그된 사진들은 전자 장치(102)의 스토리지에서 검색되어, 전자 장치(102)의 화면에 표시된다. 또는, 검색된 사진들에 각각 대응되는 비주얼 오브젝트들(예: 썸네일들)이 전자 장치(102)의 화면에 표시될 수도 있다.

여기에서 설명하는 실시예들은 전자 장치(102)의 사용자들이 특정 날짜, 장소, 앨범 이름, 미리 정해진 태그 및 소스를 지정할 필요 없이, 일상 생활 속에서 이벤트 및 상황에 대한 참조를 사용하여 콘텐츠를 검색하는 것을 허용한다.

에피소드 기억의 식별과 에피소드 기억을 갖춘 전자 장치(102)는 전자 장치(102)가 X-세대의 삶에서 중요한 부분이기 때문에, X 세대의 사용자가 사용할 수 있다. 베이비 붐 세대 또한 사용자가 특정 날짜와 장소를 기억할 필요가 없고 "보조 인지(assisted cognition)"의 형태를 제공하고 있기 때문에 에피소드 기억의 식별과 에피소드 기억을 갖는 전자 장치(102)를 사용할 수 있다.

도 9는 본 명세서에 개시된 실시예들에 따라, 전자 장치(102)에서 에피소드 이벤트를 식별하고, 에피소드 관계를 식별하고, 사용자의 에피소드 기억을 저장하는 방법을 구현하는 컴퓨팅 환경을 도시한다. 도시된 바와 같이, 컴퓨팅 환경(902)은 제어부(906) 및 산술 논리부 (ALU) (908)로 구비된 적어도 하나의 처리부(904), 메모리(910), 스토리지(912), 클럭 칩(914), 복수의 네트워킹 장치(916), 복수의 입출력(I/O) 장치(918)를 포함한다. 처리부(904)는 알고리즘의 명령어의 처리를 담당한다. 처리부(904)는 그 처리를 수행하기 위해 제어부(906)로부터 명령어를 수신한다. 또한, 명령어의 실행에 관여하는 모든 논리 연산과 산술 연산이 ALU(908)의 도움으로 계산된다.

전반적인 컴퓨팅 환경(902)은 여러 동종 또는 이종의 코어, 다른 종류의 복수의 CPU, 특별한 매체 및 다른 가속기들로 구성할 수 있다. 처리부(904)는 알고리즘의 명령어들의 처리를 담당한다. 처리부(904)는 그 작업을 수행하기 위해, 제어부(906)로부터 명령어를 수신한다. 또한, 명령어의 실행에 관여하는 논리 및 산술 연산은 ALU(908)의 도움으로 계산된다. 또한, 복수의 처리부들은 하나의 칩에 또는 복수의 칩에 배치될 수 있다.

구현에 필요한 명령어 및 코드를 포함하는 알고리즘은 메모리부(910) 또는 스토리지(912) 중 하나 또는 둘 다에 저장된다. 실행시, 명령어는 해당 메모리(910) 또는 스토리지(912)에서 페치(fetch)되어 처리부(904)에 의해 실행될 수 있다. 처리부(904)는 동작들을 동기화하고 클럭 칩(914)에 의해 생성된 타이밍 신호에 따라 명령어들을 실행한다. 본 명세서에 개시된 실시예들은 적어도 하나의 하드웨어 장치에서 작동하고 요소들을 제어하기 위해 네트워크 관리 기능을 수행하는 하나의 소프트웨어 프로그램을 통해서 실현될 수 있다.

도 2, 도 3 및 도 4에 도시된 요소들은 본 발명의 방법, 프로세스, 알고리즘, 또는 시스템과 관련하여 기술된 다양한 유닛, 블록, 모듈 또는 과정을 포함하고, 이것은 임의의 범용 프로세서 및 프로그래밍 언어, 애플리케이션, 임베디드 프로세스의 조합을 사용하여 구현될 수 있다.

특정 실시예들의 전술한 설명이 실시예의 일반적인 개념을 충분히 전달함으로써 타인으로 하여금 현재의 지식을 적용하여 일반적 개념에서 벗어남이 없이 그러한 특정 실시예들의 여러 애플리케이션들에의 수정 또는 적응을 용이하게 할 수 있으며, 그러므로, 그러한 적응 및 수정은 개시된 실시예들의 등가의 의미 및 범위 내에서 이해되어야 하며 또한 이해되도록 의도된 것이다. 본 명세서에서 사용되는 표현이나 용어는 설명의 목적이며 제한하려는 의도는 아님을 알 것이다. 따라서, 본 발명의 실시예들은 바람직한 실시예들에 대해 설명되었기 때문에 당업자는 본 명세서에 기재된 실시예들이 본 발명의 실시예들의 사상 및 범위 내에서 변경하여 실시할 수 있음을 알 것이다.

102: 전자 장치 202: 데이터 소스
206: NLP 엔진 204: 제어 모듈
208: 시공간 추론 엔진 210: 에피소드 기억 관리 모듈
212: 디스플레이 모듈 214: 통신 모듈
202: 데이터 소스 302: 멀티미디어
304: 음성 입력 306: 텍스트 입력
206: NLP 엔진 312: 시간 및 위치 데이터
310: 브라우저 기록 308: 하이퍼링크/핀 입력

Claims

전자 장치를 이용하여 에피소드 이벤트를 식별하는 방법에 있어서,
사용자와 관련된 적어도 하나의 데이터 소스에서 비정형 데이터(unstructured data)를 수신하는 과정; 및
적어도 하나의 파라미터에 기초하여, 상기 비정형 데이터에서 적어도 하나의 에피소드 이벤트를 식별하는 과정을 포함하고,
상기 파라미터는 인과 관계 추론(casual reasoning), 공간적 추론(spatial reasoning) 및 시간적 추론(temporal reasoning) 중 적어도 하나인 방법.
제 1 항에 있어서,
상기 적어도 하나의 에피소드 이벤트를 식별하는 과정은
자연 언어 처리(Natural Language Processing: NLP) 엔진을 사용하여 상기 비정형 데이터로부터 적어도 하나의 에피소드 요소(episodic element)를 추출하는 과정;
상기 추출된 적어도 하나의 에피소드 요소로부터 적어도 하나의 에피소드 요소를 추론(inferring)하여 적어도 하나의 상기 에피소드 이벤트를 식별하는 과정; 및
상기 식별된 에피소드 이벤트 및 상기 전자 장치에 저장된 적어도 하나의 에피소드 이벤트 간의 적어도 하나의 에피소드 관계를, 상기 인과 관계 추론, 상기 공간적 추론 및 상기 시간적 추론 중 적어도 하나를 이용하여, 식별하는 과정을 포함하는 방법.
제 1 항에 있어서,
상기 사용자로부터 에피소드 이벤트에 관련된 정보를 포함하는 질의(query)를 수신하는 과정;
상기 질의에 따라 에피소드 기억 관리 모듈(episode memory management module)을 검색하는 과정; 및
상기 질의에 대한 응답으로서 상기 에피소드 기억 관리 모듈로부터의 결과를 취득하는 과정을 더 포함하고,
상기 결과는 상기 에피소드 이벤트와 관련된 정보를 식별하는 방법.
제 1 항에 있어서, 상기 적어도 하나의 식별된 에피소드 이벤트를 다른 사용자들과 공유하는 과정을 더 포함하는 방법.
제 1 항에 있어서, 상기 식별된 에피소드 이벤트 각각이 결합되어 상기 에피소드 기억 관리 모듈에 저장되고, 상기 에피소드 이벤트 각각은 시간, 위치, 및 설명 중 적어도 하나와 연관되는 방법.
사용자와 관련된 데이터를 포함하도록 구성된 데이터 소스;
상기 데이터 소스에서 비정형 데이터를 수신하고, 적어도 하나의 파라미터에 기반하여 상기 비정형 데이터로부터 적어도 하나의 에피소드 이벤트를 식별하도록 구성된 제어 모듈; 및
상기 식별된 에피소드 이벤트를 저장하도록 구성된 에피소드 기억 관리 모듈을 포함하고;
상기 파라미터는 인과 추론, 공간적 추론 및 시간적 추론 중 적어도 하나인 전자 장치.
제 6 항에 있어서,
상기 제어 모듈은:
NLP 엔진을 사용하여 상기 비정형 데이터로부터 적어도 하나의 에피소드 이벤트를 추출하고;
적어도 하나의 상기 에피소드 이벤트를 식별하기 위해 상기 에피소드 요소 각각을 추론하며;
상기 식별된 에피소드 이벤트 및 상기 전자 장치에 저장된 적어도 하나의 에피소드 이벤트 간의 적어도 하나의 에피소드 관계를, 상기 인과 관계 추론, 상기 공간적 추론 및 상기 시간적 추론 중 적어도 하나를 이용하여 식별하도록 구성된, 전자 장치.
제 6 항에 있어서, 상기 제어 모듈은:
상기 사용자로부터 에피소드 이벤트에 관련된 정보를 포함하는 질의를 수신하고;
상기 질의에 따라 상기 에피소드 기억 관리 모듈을 검색하고;
상기 질의에 대한 응답으로서 상기 에피소드 기억 관리 모듈로부터의 결과를 취득하도록 구성되고;
상기 결과는 상기 에피소드 이벤트와 관련된 정보를 식별하는 전자 장치.
제 6 항에 있어서, 상기 제어 모듈은 적어도 하나의 식별된 에피소드 이벤트를 다른 사용자들과 공유하도록 구성되는 전자 장치.
제 6 항에 있어서, 상기 식별된 에피소드 이벤트 각각이 결합되어 상기 에피소드 기억 관리 모듈에 저장되고, 상기 에피소드 이벤트 각각은 시간, 위치, 및 설명 중 적어도 하나와 연관되는 전자 장치.
컴퓨터 판독 가능한 비 일시적 저장 매체(computer readable non-transitory storage medium)에 기록된 컴퓨터 실행 가능한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품(computer program product)에 있어서,
상기 컴퓨터 실행 가능한 프로그램 코드는 실행시,
사용자와 관련된 적어도 하나의 데이터 소스에서 비정형 데이터를 수신하게 하고;
적어도 하나의 파라미터에 기반하여 상기 비정형 데이터에서 적어도 하나의 에피소드 이벤트를 식별하게 하며;
상기 파라미터는 인과 추론, 공간적 추론, 및 시간적 추론 중 적어도 하나인 컴퓨터 프로그램 제품.
제 11 항에 있어서,
적어도 하나의 파라미터에 기반하는 상기 비정형 데이터로부터의 적어도 하나의 에피소드 이벤트의 식별은:
NLP 엔진을 사용하여 상기 비정형 데이터로부터 적어도 하나의 에피소드 이벤트를 추출하게 하고;
적어도 하나의 상기 에피소드 이벤트를 식별하기 위해 상기 에피소드 요소 각각을 추론하게 하며;
상기 식별된 에피소드 이벤트 및 상기 전자 장치에 저장된 적어도 하나의 에피소드 이벤트 간의 적어도 하나의 에피소드 관계를, 상기 인과 관계 추론, 상기 공간적 추론 및 상기 시간적 추론 중 적어도 하나를 이용하여 식별하게 하는 컴퓨터 프로그램 제품.
제 11 항에 있어서, 상기 컴퓨터 실행 가능한 프로그램 코드는 실행시,
상기 사용자로부터 에피소드 이벤트에 관련된 정보를 포함하는 질의를 수신하게 하고;
상기 질의에 따라 에피소드 기억 관리 모듈을 검색하게 하며;
상기 질의에 대한 응답으로서 상기 에피소드 기억 관리 모듈로부터의 결과를 취득하게 하며,
상기 결과는 상기 에피소드 이벤트와 관련된 정보를 식별하는 컴퓨터 프로그램 제품.
제 11 항에 있어서, 상기 컴퓨터 실행 가능한 프로그램 코드는 실행시, 상기 적어도 하나의 식별된 에피소드 이벤트를 다른 사용자들과 공유하게 하는 컴퓨터 프로그램 제품.
제 11 항에 있어서, 상기 식별된 에피소드 이벤트 각각이 결합되어 에피소드 기억 관리 모듈에 저장되고, 상기 에피소드 이벤트 각각은 시간, 위치, 및 설명 중 적어도 하나와 연관되는 컴퓨터 프로그램 제품.
전자 장치에서 콘텐트 표시 방법에 있어서,
음성 입력을 획득하는 과정;
상기 음성 입력에서 에피소드 이벤트를 식별하는 과정;
상기 음성 입력에서 상기 에피소드 이벤트와 연관된 적어도 하나의 에피소드 요소를 획득하는 과정;
상기 획득된 적어도 하나의 에피소드 요소에 대응하는 콘텐트를 저장 장치에서 검색하는 과정; 및
상기 검색된 콘텐트를 나타내는 비주얼 오브젝트를 표시하는 과정을 포함하는 콘텐트 표시 방법.
제 16 항에 있어서,
상기 검색된 콘텐트는,
이미지, 문서, 이메일, 메시지, 오디오 및 비디오 중 적어도 하나를 포함하는 콘텐트 표시 방법.
제 16 항에 있어서,
상기 음성 입력을 획득하는 과정은,
마이크 및 통신 모듈 중 적어도 하나로부터 음성 입력을 수신하는 과정을 포함하는 콘텐트 표시 방법.
제 16 항에 있어서,
재검색의 요청을 위한 음성을 출력하는 과정;
상기 음성 출력의 응답으로써 추가적인 음성 입력을 획득하는 과정; 및
상기 추가적인 음성 입력에서 적어도 하나의 추가적인 에피소드 요소를 획득하는 과정을 더 포함하는 콘텐트 표시 방법.
제 16 항에 있어서,
상기 적어도 하나의 에피소드 요소는 시간, 공간, 이름 또는 감정과 연관되는 콘텐트 표시 방법.