KR101475980B1 - 실시간 주석기 - Google Patents

Abstract

실시간으로 경험 데이터에 주석을 첨부하는 시스템들(및 대응 방법들)이 제공된다. 실시간 주석 첨부된 경험 데이터는 현실 세계 데이터 위에 가상 데이터를 오버레이할 수 있는 증강 현실 시스템들에 따라 이용될 수 있다. 시스템은 현실 세계 시나리오들 및 상황들과 관련 및/또는 결합되는 데이터를 식별할 수 있는 "스마트 태그들"을 이용한다.

Description

실시간 주석기{REAL-TIME ANNOTATOR}

"증강 현실"(AR)은 종종 현실 세계와 컴퓨터 생성 데이터의 결합을 기술하는 컴퓨터 연구 분야에 관련된다. 전통적으로, AR은 디지털 처리되고 컴퓨터 생성 그래픽의 추가로 "증강된" 비디오 이미지를 이용한다. AR의 전통적인 이용들은 게임 산업 주변에 주로 집중되어 왔다.

종종, 전통적인 AR 시스템들은 특수 설계된 반투명 안경들을 이용하였다. 이러한 안경들은 사용자가 현실 세계는 물론, 현실 세계 비전 위에 투영되는 컴퓨터 생성 이미지들을 볼 수 있게 한다. 이러한 시스템들은 현실 세계 비전과 가상 세계를 결합하려고 시도하였다. 또한, 이러한 시스템들은 삼차원 렌더링을 통해 실시간으로 상호작용하려고 시도하였다. 불행하게도, 전통적인 시스템들은 사용자들에게 현재 유효한 막대한 양의 정보를 이용하는 능력이 부족하다.

AR의 다른 일반적인 이용들은 오늘날의 프로 스포츠를 통해 볼 수 있다. 예를 들어, 경기장 또는 코트 위에 투영되는 가상 광고들은 현실 및 가상 세계들을 결합함으로써 달성될 수 있다. 예를 들어, 풋볼 경기장 위의 스크러미지 마커들의 제1 다운 또는 라인의 투영은 현실 세계와 컴퓨터 생성 그래픽을 결합한 또 하나의 예이다. 또 하나의 예는 하키 퍽 위에 자취 또는 "꼬리"가 투영되는 하키 게임에서 볼 수 있다. 이러한 자취는 하키 퍽의 위치는 물론, 방향 양자를 나타낼 수 있다. 이러한 스포츠 관련 예들은 전통적인 상호작용 AR은 아니지만, 사용자 경험을 향상시키기 위하여 현실 및 가상 컴퓨팅 세계들을 결합하는 제한된 능력을 기술한다.

다음은 본 발명의 일부 양태들의 기본적인 이해를 제공하기 위해 본 발명의 간단한 요약을 제공한다. 이 요약은 본 발명의 광범위한 개요는 아니다. 이것은 본 발명의 중요한/결정적인 요소들을 식별하거나, 본 발명의 범위를 기술하고자 하는 의도는 없다. 그의 유일한 목적은 나중에 제공되는 더 상세한 설명에 대한 준비로서 본 발명의 일부 개념들을 간단한 형태로 제공하는 것이다.

본 명세서에 개시되고 청구되는 본 발명은 그의 일 양태에서 실시간으로 경험 데이터에 주석을 첨부할 수 있는 시스템을 포함한다. 양태들에서, 주석이 첨부된 경험 데이터는 가상 데이터를 현실 세계 데이터 위에 오버레이할 수 있는 증강 현실 시스템들에 따라 이용될 수 있다. 이러한 실시간 주석들은 실시간으로 배치될 수 있고, 물리 세계 뷰(예를 들어, 디스플레이)를 통해 표시될 수 있다. 시스템은 현실 세계 시나리오들 및 상황들과 관련 및/또는 결합되는 데이터를 식별할 수 있는 "스마트 태그들"을 이용할 수 있다. 따라서, 스마트 태그가 첨부된 데이터는 현실 세계 시나리오 상에서, 예를 들어 실시간으로 주석이 첨부될 수 있다.

예시적인 시나리오에서, 주석 시스템은 기억 상기 정보를 제공하는 데 이용될 수 있다. 구체적인 예로서, 예전의 지인과의 우연한 만남시에, 지인과 관련된 정보를 사용자에게 (예를 들어, 시각적으로, 청각적으로, 기타 등등) 알리기 위해 데이터가 검색되고, (예를 들어, 주석들을 통해) 제공될 수 있다. 이때, 사용자에게 그가 지인을 어떻게 아는지, 좋아하는지/싫어하는지, 사교 관계, 직업 관계 등을 상기시키는 데 사용될 수 있는 지인과 관련된 정보를 찾기 위해 스마트 태그들이 이용될 수 있다.

본 발명은 사용자들이 사람들 또는 사물들과 같은 요소들과 접촉할 때 실시간 주석들을 설정하고 렌더링할 수 있다. 예를 들어, 이미지들(예를 들어, 얼굴 인식 패턴들)이 분석될 수 있고, 상황 인자들이 결정될 수 있으며, 나중에 주석들로서 이용되도록 데이터에 태그가 첨부될 수 있다. 개인의 매칭이 검출될 때, 비밀 방식으로, 예를 들어 안경 내의 렌즈 뷰어 내측에, 휴대용 장치(예를 들어, 스마트폰, 셀 전화) 상에 또는 소형 이어폰으로 사용자에게 실시간 주석이 제공될 수 있다.

또 다른 양태들에서, 본 발명은 더 폭넓은 관중 고려들을 포함하는 스포팅 이벤트들에 대한 "매쉬업들(mash-ups)"은 물론, 적합한 전망들을 제공하는 데 이용될 수 있다. 데이터, 이전의 기억, 과거의 연상을 증대시키고 위치 데이터베이스들을 갱신하기 위해 "스마트 태그들"을 이용할 수 있으면서, 소정의 작업들을 수행하는 방법을 상기시키기 위해 자동 레시피(recipe) 생성기들도 제공될 수 있다.

본 발명의 또 다른 양태에서, 사용자가 자동으로 수행되기를 원하는 액션을 예지하거나 추론하기 위해 확률 및/또는 통계 기반 분석을 이용하는 머신 학습 및 추론 메커니즘들이 제공된다.

상기 및 관련 목적들을 달성하기 위해, 본 발명의 소정의 예시적인 양태들이 아래의 설명 및 첨부 도면들과 관련하여 본 명세서에 설명된다. 그러나, 이러한 양태들은 본 발명의 원리들이 이용될 수 있는 다양한 방법 중 몇 개만을 나타내며, 본 발명은 모든 그러한 양태들 및 이들의 균등물들을 포함하는 것을 의도한다. 본 발명의 다른 이익들 및 새로운 특징들은 도면들과 함께 고려될 때 아래의 본 발명의 상세한 설명으로부터 명백해질 것이다.

도 1은 본 발명의 양태들에 따른 스마트 태그들을 설정하는 예시적인 시스템의 도면이다.
도 2는 본 발명의 일 양태에 따른 스마트 태그들의 설정을 용이하게 하는 절차들의 예시적인 흐름도이다.
도 3은 본 발명의 일 양태에 따른 예시적인 인터페이스 컴포넌트를 나타내는 도면이다.
도 4는 본 발명의 일 양태에 따른 생리 및 환경적 센서들을 이용하는 예시적인 인터페이스 컴포넌트를 나타내는 도면이다.
도 5는 본 발명의 일 양태에 따른 예시적인 분석 컴포넌트의 도면이다.
도 6은 본 발명의 양태들에 따른 예시적인 상황 데이터를 나타내는 도면이다.
도 7은 본 발명의 일 양태에 따른 실시간 주석 첨부를 용이하게 하는 예시적인 현실 주석 시스템의 도면이다.
도 8은 본 발명의 일 양태에 따른 기능을 자동화할 수 있는 머신 학습 및 추론 기반 컴포넌트를 포함하는 아키텍처의 도면이다.
도 9는 개시된 아키텍처를 실행할 수 있는 컴퓨터의 블록도이다.
도 10은 본 발명에 따른 예시적인 컴퓨팅 환경의 개략 블록도이다.

이하, 본 발명은 도면들을 참조하여 설명되며, 도면들 전반에서 통일한 참조 번호들은 동일한 요소들을 참조하는 데 사용된다. 아래의 설명에서는, 설명의 목적으로, 본 발명의 충분한 이해를 제공하기 위해, 다양한 특정 상세들이 설명된다. 그러나, 본 발명은 그러한 특정 상세들 없이도 실시될 수 있음은 명백할 수 있다. 다른 예들에서는, 본 발명의 설명을 용이하게 하기 위해 공지 구조들 및 장치들은 블록도 형태로 도시된다.

본 명세서에서 사용될 때, "컴포넌트" 및 "시스템"이라는 용어는 컴퓨터 관련 엔티티, 즉 하드웨어, 하드웨어와 소프트웨어의 결합, 소프트웨어 또는 실행중인 소프트웨어를 나타내는 것을 의도한다. 예를 들어, 컴포넌트는 프로세서 상에서 실행중인 프로세스, 프로세서, 개체, 실행가능 파일, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이에 제한되는 것은 아니다. 예를 들어, 서버 상에서 실행중인 애플리케이션 및 서버 양자는 컴포넌트일 수 있다. 하나 이상의 컴포넌트가 프로세스 및/또는 실행 스레드 내에 위치할 수 있으며, 하나의 컴포넌트가 하나의 컴퓨터 상에 국지화되고, 그리고/또는 둘 이상의 컴퓨터 사이에 분산될 수 있다.

본 명세서에서 사용될 때, "추론한다" 또는 "추론"이라는 용어는 일반적으로 이벤트들 및/또는 데이터를 통해 취득된 바와 같은 한 세트의 관찰들로부터 시스템, 환경 및/또는 사용자의 상태들을 추론하거나 추리하는 프로세스를 지칭한다. 추론은 특정 상황 또는 액션을 식별하는 데 사용되거나, 예를 들어 상태들에 대한 확률 분포를 생성할 수 있다. 추론은 확률적일 수 있는데, 즉 데이터 및 이벤트들의 고려에 기초하는 관심 있는 상태들에 대한 확률 분포의 계산일 수 있다. 또한, 추론은 한 세트의 이벤트들 및/또는 데이터로부터 상위 레벨 이벤트들을 구성하는 데 이용되는 기술들을 나타낼 수 있다. 그러한 추론은 이벤트들이 시간적으로 근접하게 상관되는지의 여부에 관계없이 그리고 이벤트들 및 데이터가 하나 또는 여러 개의 이벤트 및 데이터 소스로부터 나오는지에 관계없이 한 세트의 관찰된 이벤트들 및/또는 저장된 이벤트 데이터로부터 새로운 이벤트들 또는 액션들을 구성한다.

처음으로 도면들을 참조하면, 도 1은 현실 기반 요소들 상에서 나중에 주석이 첨부될 수 있는 데이터가 취득되는 것을 가능하게 하는 시스템(100)을 나타낸다. 동작에 있어서, 저장되고 인덱스된 데이터를 실시간 데이터 요소들에 연관시키기 위하여 "스마트 태그들"이 사용될 수 있다. 도 1에 도시된 바와 같이, 시스템(100)은 인터페이스 컴포넌트(104) 및 태그 생성기 컴포넌트(106)를 포함하는 주석 관리 시스템(102)을 포함한다. 본질적으로, 도 1은 시스템(100)이 경험의 요소들 1 내지 N(N은 정수)과 관련된 정보에 동적으로 태그를 첨부하고 이를 저장하는 데 사용될 수 있다는 것을 나타낸다. 1 내지 N 요소들은 개별적으로 또는 집합적으로 요소들(108)로서 참조될 수 있다는 것을 이해해야 한다.

본 명세서는 실시간 주석 시스템의 두 부분, 즉 태그 첨부 및 주석 첨부를 다룬다. 도 1은 현실 경험들의 주석 첨부를 위해 나중에 사용될 수 있는 정보의 태그 첨부 및 인덱싱을 용이하게 하는 컴포넌트들과 관련된 본 발명의 양태를 기술한다. 실시간으로 경험들에 주석을 첨부하기 위해 태그가 첨부된 정보의 이용을 용이하게 하는 다른 컴포넌트들은 이어지는 도면들을 참조하여 설명될 것이다. 본 명세서에서 특정 예들이 설명되지만, 이러한 예들은 본 발명의 특징들, 기능들 및 이익들에 전망을 추가하기 위해 제공된다. 따라서, 이러한 예들은 어떠한 방식으로도 본 발명을 한정하고자 하는 의도는 없다. 오히려, 본 발명의 특징들, 기능들 및 이익들의 무수한 예들이 존재하며, 이들 모두는 본 명세서 및 그에 첨부된 청구항들의 범위 내에서 고려되어야 한다는 것을 이해해야 한다.

인터페이스 컴포넌트(104)는 감지 메커니즘을 이용하여, 경험과 관련된 요소들(108)을 모니터링할 수 있다. 요소들(108)은 경험과 관련된 거의 모든 인자, 파라미터 또는 기준일 수 있다. 또한, 요소들은 상황 방식으로 요소들(108)과 관련되는 상황 인자들과 관련될 수 있다. 동작에 있어서, 인터페이스 컴포넌트(104)는 경험 내의 요소들과 관련된 데이터를 자동으로 취득하고 태그를 첨부할 수 있다.

태그 생성기 컴포넌트(106)는 수집된 데이터에 태그를 첨부하고, 이어서 로컬 및/또는 원격 저장 설비 내로의 저장을 용이하게 할 수 있다. 또한, 태그 생성기 컴포넌트(106)는 상황들을 포함할 수 있으며, 이러한 태그들은 데이터뿐만 아니라, 데이터와 연관된 사정 또는 상황 인자들(예를 들어, 시간, 위치, 상태, 무드 등)을 기술하므로 본 명세서에서 "스마트 태그들"로서 참조될 수 있다.

구체적인 예에서, 인터페이스 컴포넌트(104)는 사용자 액션 또는 예정 활동을 자동으로 검출할 수 있다. 이러한 정보는 현실 세계 경험과 관련하여 생성된 파일에 첨부될 수 있다. 예를 들어, 사용자가 그의 연간 소득세들에 대한 금융 정보의 통합을 준비하고 있고, 그렇게 하는 과정에서 특정 스프레드시트를 생성하는 것으로 가정한다. 이때, 인터페이스 컴포넌트(104)는 태그 생성기 컴포넌트(106)와 더불어, 서류의 내용(예를 들어, 손익 계산서, W2 설명서, 기부액)과 관련된 식별자들은 물론, 회계사 John Doe에 대해 준비된 소득세들의 준비, 연방, 주, 지방 등과 같은 상황 인자들을 서류에 첨부할 수 있다. 따라서, 세금 서류들을 준비하는 후속 액션이 검출되는 경우, 사용자는 적절한 서류들을 자동으로 제공받을 수 있거나, 대안으로 시각 또는 청각 큐(queue) 또는 주석을 통해 스프레드시트의 이름(또는 하이퍼텍스트)이 사용자에게 제공될 수 있다.

마찬가지로, 다른 예에서, 방문 장소, 후원 사업, 예정 활동은 물론, 다른 패턴들과 같은 인자들이 주석 관리 시스템(102)에 의해 자동으로 취득되고, 첨부되고, 저장될 수 있다. 따라서, 후술하는 바와 같이, 시스템은 능률적인 정보 수집, 결정, 학습, 기억 향상 등을 도울 수 있는 풍부한 현실 세계 경험을 확보하기 위해 (예를 들어, 주석들을 통해) 사용자에게 이러한 정보를 제공할 수 있다. 설명되는 예들은 실시간 데이터의 자동 태그 첨부와 관련되지만, 인터페이스 컴포넌트(104)는 또한 본 발명의 양태들에 따라 아이템들에 수동으로 태그가 첨부되는 것을 가능하게 한다는 것을 이해해야 한다.

다른 구체적인 예에서, 시스템은 스포팅 이벤트의 관객이 "판타지" 스포츠(예를 들어, 판타지 풋볼)에도 열광하고 관심 있는 것으로 결정할 수 있다. 이러한 예에서, 시스템은 수집된 정보에 기초하여 특정 판타지 리그의 판타지 로스터들(rosters)을 결정할 수 있다. 스포팅 이벤트를 지켜보는 동안, 시스템은 특정 플레이어들의 판타지-오너(owner) 및 현실 세계 경기장에서의 플레이어의 성능과 상관되는 그들 각각의 판타지-스코어를 본질적으로 나타내는 "매쉬업"을 제공할 수 있다. 이러한 매쉬업 정보는 플레이어들이 현실 세계 경기장에서 플레이할 때 플레이어들 위에 실시간으로 자동 투영될 수 있다.

도 2는 본 발명의 일 양태에 따른 데이터 요소들에 태그를 첨부함으로써 실시간으로 현실을 증강하는 예시적인 방법을 나타낸다. 이러한 예시적인 방법은 실시간으로 요소들을 모니터링하고 태그들을 생성하는 것과 연관된 절차들의 흐름도를 나타낸다. 동작에 있어서, 이 방법은 요소들이 실시간으로 모니터링되고 태그가 첨부되는 것을 가능하게 한 후에, 실시간 주석 첨부를 실행한다.

설명의 간략화를 위해, 예를 들어 흐름도의 형태로 본 명세서에 도시된 하나 이상의 방법이 일련의 단계들로서 도시되고 설명되지만, 본 발명은 단계들의 순서에 의해 한정되지 않음을 이해하고 알아야 하는데, 그 이유는 본 발명에 따라 일부 단계들은 상이한 순서로 그리고/또는 여기에 도시되고 설명된 것과 다른 단계들과 동시에 발생할 수 있기 때문이다. 예를 들어, 이 분야의 전문가들은 방법이 대안으로서 상태도에서와 같이 일련의 상호 관련된 상태들 또는 이벤트들로서 표현될 수 있다는 것을 이해하고 인식할 것이다. 더욱이, 본 발명에 따른 방법을 구현하기 위해 모든 도시된 단계들이 요구되지는 않을 수도 있다.

자동 태그 첨부 예에서, 202에서, 데이터 요소들이 실시간으로 모니터링된다. 전술한 바와 같이, 이러한 데이터 요소들은 실제 활동 데이터는 물론, 활동 데이터에 대응하는 다른 상황 인자들을 포함할 수 있다. 취득되거나 모니터링된 데이터 요소들은 204에서 분석된다. 예를 들어, 패턴 인식, 음성 인식, 내용 분석 등의 메커니즘들을 이용하여 요소들을 분석하여, 내용, 개체 등을 식별할 수 있다.

206에서, 취득된 요소들을 기술하는 태그들(예를 들어, "스마트 태그들")이 설정될 수 있다. 또한, 태그들은 후술하는 바와 같이 실시간 주석 첨부를 가능하게 하는 데이터 요소들의 연관을 용이하게 한다. 예를 들어, 실시간 주석 첨부 시나리오에서, 이러한 스마트 태그들에 의해 상황이 설정되고 데이터 요소들로 맵핑될 수 있다. 따라서, 예를 들어 매쉬업, 팝업, 오버레이 등에 의해 사용자에게 실시간 주석들이 제공될 수 있다.

태그들이 생성되면, 태그들은 208에서 인덱싱되고 저장될 수 있다. 예를 들어, 태그들은 로컬 저장소, 원격 저장소 또는 로컬 및 원격 저장소의 조합에 유지될 수 있다. 또한, 도 2에는 도시되지 않았지만, 예를 들어 인터넷을 통해 다른 보완 및/또는 설명 데이터가 검색되고, 데이터 요소들에 연관될 수 있다는 것을 이해해야 한다.

이제, 도 3을 참조하면, 본 발명의 일 양태에 따른 인터페이스 컴포넌트(104)의 예시적인 블록도가 도시되어 있다. 일반적으로, 예시적인 인터페이스 컴포넌트(104)는 정보 수집 컴포넌트(302) 및 쿼리 컴포넌트(304)를 포함할 수 있다. 본질적으로, 정보 수집 컴포넌트(302)는 정보의 자동 검색 또는 수동 집계 또는 수집을 가능하게 한다. 쿼리 컴포넌트(304)는 예를 들어 인터넷을 통해 외부 소스들에 의해 수집된 데이터를 보완하는 데 사용될 수 있다.

또한, 도 3에 도시된 바와 같이, 정보 수집 컴포넌트(302)는 요소 정보를 자동으로 검색, 액세스 또는 취득할 수 있다. 예컨대, 감지 메커니즘들을 이용하여, 요소들(108)과 관련된 상황 및 설명 인자들을 설정할 수 있다. 또한, 사용자(또는 사용자들의 그룹)는 나중에 주석 첨부에 사용될 수 있는 데이터를 수동으로 입력할 수 있다.

도 4는 정보 수집 컴포넌트(302)의 예시적인 블록도를 나타낸다. 본질적으로, 도 4는 정보 수집 컴포넌트(302)가 센서 컴포넌트(402) 및 분석 컴포넌트(404)를 포함할 수 있음을 나타낸다. 동작에 있어서, 이러한 서브 컴포넌트들(402, 404)은 정보의 집계(또는 수집), 및 데이터의 유형 및 특성들을 결정하기 위한 후속 분석을 용이하게 한다. 센서 컴포넌트(402)는 생리적 센서들(406)은 물론, 환경적 센서들(408)을 포함할 수 있다. 이러한 감지 메커니즘들은 상황 인자들을 설정하는 것은 물론, 데이터 요소들(108)을 수집하는 데 사용될 수 있다.

구체적인 예에서, 사용자가 풋볼 게임을 보고 있는 것으로 가정하면, 이때 정보 수집 컴포넌트(302)는 예를 들어 입력을 통해, 사용자가 2개의 특정 팀 사이의 풋볼 게임을 보고 있는 것으로 설정할 수 있다. 또한, 센서 컴포넌트들(402)은 경기장 위의 특정 플레이어들, 가까운 개인들 등을 설정하는 데 사용될 수 있다. 또한, 쿼리 컴포넌트(304)는 팀 로스터 정보, 판타지 로스터 정보, 통계 등에 액세스하는 데 사용될 수 있다. 따라서, 이러한 정보는 전술한 바와 같이 태그가 첨부되어 저장되거나, 대안으로서 실시간으로, 예를 들어 매쉬업의 형태로 렌더링될 수 있다.

다른 예에서, 시스템은 사용자가 기술적인 작업을 수행하고 있는 것으로, 예를 들어 오실로스코프를 교정하고 있는 것으로 설정할 수 있다. 따라서, 시스템은 액션들, 발생한 문제들, 문제 해결 절차들 등의 순서를 기록할 수 있다. 이러한 요소들은 후속 주석 첨부를 위해 태그가 첨부되어 저장될 수 있다. 또한, 시스템은 사용자의 기술 레벨, 이전 교정 작업 등을 기록할 수 있으며, 이러한 정보는 후속 사용자들에 대한 적절한 주석들을 결정하는 데 사용될 수 있다.

동작에 있어서, 다른 사용자가 동일(또는 유사한) 작업을 수행할 때, 시스템은 심리적 기준들을 모니터링하여, 주석들이 언제 필요한지를 결정할 수 있다. 예를 들어, 시스템은 사용자의 불만 레벨을 검출할 수 있다. 이어서, 사용자의 교정을 돕기 위해 주석들이 제공될 수 있다. 예를 들어, 화살표 또는 다른 비디오 큐를 제공하여, 사용자가 토글링할 스위치들, 조정할 노브들 등을 파악하는 것을 도울 수 있다. 이 예는 본 발명에 전망을 추가하기 위해 제공되었지만, 여기에 설명되는 스마트 태그 첨부 및 주석 첨부 기술들을 이용하는 무수한 예들이 존재한다는 것을 이해해야 한다. 이러한 추가 예들은 본 발명 및 첨부된 청구항들의 범위 내에 포함되어야 한다.

이제, 도 5를 참조하면, 예시적인 분석 컴포넌트(404)의 블록도가 도시되어 있다. 예시적인 컴포넌트(404)는 패턴 분석기 컴포넌트(502), 사운드 분석기 컴포넌트(504) 및 상황 분석기 컴포넌트(506)를 포함하며, 이들 서브 컴포넌트 각각은 수집된 정보와 연관된 인자들, 파라미터들 및 다른 기준들을 설정하는 데 사용될 수 있다. 도시된 바와 같이, 분석의 결과는 태그들의 설정을 용이하게 할 수 있다. 그러한 일 유형의 수집 정보는 상황 정보이다. 여기에 설명되는 바와 같이, 이러한 상황 정보는 지능적이고 포괄적인 주석 첨부를 가능하게 한다.

도 6은 본 발명에 따른 취득된 상황 데이터를 포함할 수 있는 데이터의 종류들의 샘플링을 나타낸다. 도 6에 도시된 양태에 따르면, 상황 데이터는 적어도 3개의 클래스, 즉 활동 상황(602), 사용자 상황(604) 및 환경 상황(604)으로 표현될 수 있다.

제한이 아니라 예로서, 활동 상황 데이터(602)는 사용자가 수행하고 있는 현재 활동을 포함할 수 있다. 이러한 활동 정보는 (예를 들어, 머신 학습 및 추론(MLR) 메커니즘들에 의해) 명시적으로 결정 및/또는 추론될 수 있다는 것을 이해해야 한다. 또한, 활동 상황 데이터(602)는 활동 내의 현재 상태(존재할 경우)를 포함할 수 있다. 더욱이, 활동 상황 데이터(602)는 사용자가 활동에 따라 상호작용할 수 있는 현재의 자원(예를 들어, 파일, 애플리케이션, 가제트, 이메일 등)을 포함할 수 있다.

일 양태에서, 사용자 상황 데이터(604)는 사용자가 활동 및/또는 애플리케이션과 관련하여 아는 지식의 주제들을 포함할 수 있다. 또한, 사용자 상황 데이터(604)는 사용자의 무드 또는 마음 상태(예를 들어, 행복, 불만, 혼란, 분노 등)의 추정을 포함할 수 있다. 사용자 상황(604)은 또한 사용자가 가장 최근에 현재 활동, 단계, 자원 등을 사용한 때에 관한 정보를 포함할 수 있다.

사용자의 마음 상태는 상이한 입력 양식들을 이용하여 추정될 수 있는데, 예를 들어 사용자는 의도 또는 느낌들을 표현할 수 있고, 시스템은 마우스 상의 압력 및 움직임, 구두 표현, 심리적 신호 등을 분석하여 마음 상태를 결정할 수 있다는 것을 이해하고 인식할 것이다.

도 6을 계속 참조하면, 환경 상황 데이터(606)는 환경(예를 들어, 바람, 조명, 분위기, 사운드, 온도 등), 사회적 환경(예를 들어, 사용자가 사업 회의 중인지, 또는 사용자가 친구와 저녁 식사 중인지), 사용자의 근처에 있는 다른 사람들, 장소/시스템/네트워크가 얼마나 안전한지에 대한 데이터, 날짜와 시간, 및 사용자의 위치의 물리적 조건들을 포함할 수 있다. 전술한 바와 같이, 도 6에 특정 데이터 유형들이 나타나지만, 추가 데이터 유형들이 상황 데이터 내에 포함될 수 있다는 것을 이해해야 한다. 또한, 이러한 추가 데이터는 명세서 및 그에 첨부된 청구항들의 범위 내에 포함되어야 한다는 것을 이해해야 한다.

도 1-6은 태그 첨부된 요소들(예를 들어, 상황을 포함하는 스마트 태그 첨부 요소들)을 설정하는 시스템들(및 방법들)에 관한 것이지만, 도 7은 실시간 주석 첨부를 가능하게 하는 요소들을 이용하는 시스템(700)의 블록도를 나타낸다. 일반적으로, 시스템(700)은 실시간으로 요소들(108)을 모니터링한 후에 주석 첨부된 버전의 요소들(예를 들어, 증대된 요소들(704))을 제공하는 현실 주석 시스템(702)을 나타낸다. 본질적으로, 시스템(700)은 주석들이 실시간으로 제공되는 것을 가능하게 하는데, 이는 사용자에게 현실의 더 풍부하고 더 포괄적인 렌더링을 효과적으로 제공한다.

예를 들어, 종종, 사람들 또는 장소들을 접하게 되고, 각각의 사람 또는 장소에 관한 임의의 관련 정보를 상기하는 것이 불가능한 것으로 생각된다. 때때로, 무례하게 보이지 않기 위하여, 사람들은 그 사람을 기억하는 것처럼 대화를 진행하지만, 누구와 얘기하고 있는지 또는 현재 대화가 어떤 상황인지를 알지 못한다. 더 자주, 유일한 선택은 현재의 대화 또는 데이터 교환을 중단하고, 기억을 더듬기를 요청하고, 만난 사람의 관계 및/또는 신분이 기억날 경우에 이전의 대화를 계속하는 것이다.

이러한 시나리오에서, 시스템(700)은 사용자들이 사람들 또는 사물들과 접촉할 때 사용자들에게 실시간 주석들을 제공할 수 있다. 예를 들어, 도 1-6과 관련하여 설명된 바와 같이, 이미지들이 저장되고, 얼굴 인식 패턴들이 결정되고, 태그가 첨부될 수 있다. 다른 분석들은 오디오 패턴들 또는 다른 센서들을 포함할 수 있다.

사람의 매칭이 검출될 때, 비밀 방식으로, 예를 들어 안경 내의 렌즈 뷰어의 내측에 또는 소형 이어폰으로 사용자에게 실시간 주석이 제공될 수 있다. 거의 모든 렌더링 메커니즘들이 본 발명 및 첨부된 청구항들의 범위 내에 포함되어야 한다. 구체적인 예에서, 개인이 쇼핑하러 나가서, 알지 못하는 누군가를 만나는 경우에, 그 사람이 누구와 얘기하고 있는지를 알고, 그 사람과의 이전 대화들이 무엇이었는지와 같은 다른 정보를 알게 하기 위해 실시간 주석이 제공될 수 있다. 이러한 정보는 스마트 태그들 또는 다른 적절한 인덱싱 또는 태그 첨부 메커니즘들에 의해 발견될 수 있다. 유사하게, 개인이 이전에 방문했던 장소를 방문하고자 하는 경우, 그 사람에게 과거의 경험들을 상기시키는 주석들이 제공될 수 있다.

도시된 바와 같이, 현실 주석 시스템(702)은 태그 식별자 컴포넌트(706), 검색 컴포넌트(708) 및 주석 컴포넌트(710)를 포함할 수 있다. 동작에 있어서, 태그 식별자 컴포넌트(706)는 현재 경험과 연관된 요소들(108)은 물론, 그와 연관된 상황을 분석할 수 있다. 따라서, 상황에 비추어 요소들(108)과 관련된 태그들이 식별될 수 있다.

검색 컴포넌트(708)는 저장소(로컬, 원격 또는 이들의 조합)에 액세스하여, 주석에 대한 정보를 검색, 액세스 또는 취득할 수 있다. 주석 컴포넌트(710)는 주석들을 실시간으로, 예를 들어 증대된 요소들(704)로서 렌더링하는 데 사용될 수 있다. 실제로, 본 발명은 개체들 및 경험들에 실시간으로 주석을 첨부하여, 포괄적이고 풍부한 데이터 제공을 통해 향상된 정보를 제공할 수 있다.

여기에 설명되는 바와 같이, 시스템(700)은 더 폭넓은 관중 고려들을 포함할 수 있는 기억 향상들(예컨대, 스포팅 이벤트들에 대한 매쉬업들) 및 적합한 전망들을 제공할 수 있다. 본 발명의 주석 첨부 기능들은 저장된 데이터, 이전 기억들, 과거의 관계들을 증대시키고 위치 데이터베이스들을 갱신하기 위해 "스마트 태그들"을 사용할 수 있으면서, 소정 작업들을 수행하는 방법의 상기를 돕는 자동 레시피 생성기들을 제공할 수 있다.

또 다른 양태들은 두뇌/머신 인터페이스 장치들로부터의 데이터의 현실 세계 흡수 및 저장을 포함한다. 이것은 꿈 기록 및 재생을 포함할 수 있다. 본 발명에 의해 제공되는 그러한 기억 향상들은 장소와 무관한(location-less) 전문 지식 및 원격 지능과 같은 양태들을 가능하게 할 수 있다. 주석 첨부 기능들의 응용들은 무한하다는 것을 이해해야 한다. 따라서, 이러한 무한한 양태들은 본 명세서 및 그에 첨부된 청구항들의 범위 내에 포함되어야 한다.

도 8은 본 발명에 따른 하나 이상의 특징에 대한 주석 첨부를 용이하게 하는 머신 학습 및 추론(MLR) 컴포넌트(802)를 사용하는 시스템(800)을 나타낸다. 본 발명(예를 들어, 주석들의 선택, 태그들의 생성 등)은 그의 다양한 양태들을 수행하기 위하여 다양한 MLR 기반 스킴들을 이용할 수 있다. 예를 들어, 현실 세계 데이터에 언제/어떻게 주석을 첨부할지를 결정하기 위한 프로세스가 자동 분류기 시스템 및 프로세스를 통해 용이해질 수 있다.

분류기는 입력 속성 벡터 x=(x1, x2, x3, x4, xn)를, 입력이 클래스에 속하는 신뢰도에 맵핑하는 함수, 즉 f(x)=confidence(class)이다. 그러한 분류는 확률 및/또는 통계 기반 분석(예를 들어, 분석 실익들 및 비용들로의 인수분해)을 이용하여, 사용자가 자동으로 수행되기를 원하는 액션을 예지하거나 추론할 수 있다.

지원 벡터 머신(SVM)은 이용될 수 있는 분류기의 일례이다. SVM은 가능한 입력들의 공간에서 초평면(hypersurface)을 발견함으로써 동작하며, 초평면은 비 트리거링 이벤트들로부터 트리거링 기준들을 분리하려고 시도한다. 직관적으로, 이것은 훈련 데이터와 흡사하지만 동일하지는 않은 테스트 데이터에 대해 분류를 정확하게 한다. 다른 유향(directed) 및 무향(undirected) 모델 분류 접근법들은 독립적인 상이한 패턴들이 사용될 수 있는 경우에, 예를 들어 나이브 베이스(naive Bayes), 베이시안 네트워크, 판정 트리, 신경망, 퍼지 이론 모델 및 확률 분류 모델을 포함한다. 본 명세서에서 사용되는 바와 같은 분류는 또한 우선 순위의 모델들을 개발하는 데 사용되는 통계 회귀를 포함한다.

본 명세서로부터 쉽게 이해되듯이, 본 발명은 (예를 들어, 범용 훈련 데이터를 통해) 명시적으로 훈련되는 것은 물론, (예를 들어, 사용자 거동 관찰, 외부 정보의 수신을 통해) 암시적으로 훈련되는 분류기들을 사용할 수 있다. 예를 들어, SVM들은 분류기 구성기 및 특징 선택 모듈 내의 학습 또는 훈련 단계를 통해 구성된다. 따라서, 분류기(들)는 언제 주석을 첨부할지, 어떻게 주석을 첨부할지, 정보에 무엇을 주석으로 첨부할지, 주석을 어떻게 렌더링할지, 어떤 정보를 수집할지, 어떤 정보에 태그를 첨부할지, 정보에 어떻게 태그를 첨부할지 등을 포함하지만 이에 제한되지 않는 다수의 기능을 자동으로 학습하고 수행하는 데 사용될 수 있다.

이제, 도 9를 참조하면, 개시된 아키텍처를 실행할 수 있는 컴퓨터의 블록도가 도시되어 있다. 본 발명의 다양한 양태들에 대한 추가적인 상황을 제공하기 위하여, 도 9 및 다음 설명들은 본 발명의 다양한 양태들이 구현될 수 있는 적절한 컴퓨팅 환경(900)의 간단하고 일반적인 설명을 제공하는 것을 의도한다. 본 발명은 위에서 하나 이상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어들의 일반적 상황에서 설명되었지만, 이 분야의 전문가들은 본 발명이 다른 프로그램 모듈들과 연계하여 그리고/또는 하드웨어와 소프트웨어의 결합으로서 구현될 수도 있다는 것을 인식할 것이다.

일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조 등을 포함한다. 더욱이, 이 분야의 전문가들은 본 발명의 방법들이 단일 프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터는 물론, 퍼스널 컴퓨터, 핸드-헬드 컴퓨팅 장치, 마이크로프로세서 기반 또는 프로그램가능한 가전제품 등을 포함하는 다른 컴퓨터 시스템 구성들을 이용하여 실시될 수 있음을 알 것이며, 이들 구성들 각각은 하나 이상의 관련 장치에 유효하게 결합될 수 있다.

본 발명의 예시된 양태들은 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 소정 태스크가 수행되는 분산 컴퓨팅 환경에서도 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 둘다에 위치할 수 있다.

컴퓨터는 통상적으로 각종 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 둘다를 포함한다. 예로서, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만 이에 제한되는 것은 아니다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체 둘다를 포함할 수 있다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만 이에 제한되는 것은 아니다.

통신 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터를 구현하고 모든 정보 전달 매체를 포함한다. "피변조 데이터 신호"라는 용어는, 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함하지만 이에 제한되는 것은 아니다. 상술된 매체들의 모든 조합이 또한 컴퓨터 판독가능 매체의 영역 안에 포함되는 것으로 한다.

도 9를 다시 참조하면, 본 발명의 다양한 양태들을 구현하는 예시적인 환경(900)은 컴퓨터(902)를 포함하며, 컴퓨터(902)는 처리 장치(904), 시스템 메모리(906), 및 시스템 버스(908)를 포함한다. 시스템 버스(908)는 시스템 메모리(906)를 포함하지만 이에 제한되지 않는 시스템 컴포넌트들을 처리 장치(904)에 연결시킨다. 처리 장치(904)는 임의의 다양한 상용 프로세서일 수 있다. 이중 마이크로프로세서들 및 다른 멀티프로세서 아키텍처들도 처리 장치(904)로서 사용될 수 있다.

시스템 버스(908)는 (메모리 제어기가 있거나 없는) 메모리 버스, 주변 장치 버스, 및 각종 상용 버스 아키텍처 중 임의의 것을 이용하는 로컬 버스에 더 상호접속될 수 있는 몇몇 유형의 버스 구조 중 어느 것이라도 될 수 있다. 시스템 메모리(906)는 판독 전용 메모리(ROM)(910) 및 랜덤 액세스 메모리(RAM)(912)를 포함한다. 기본 입/출력 시스템(BIOS)이 ROM, EPROM, EEPROM과 같은 비휘발성 메모리(910)에 저장되며, BIOS는 시동 중과 같은 때에 컴퓨터(902) 내의 요소들 간의 정보 전달을 돕는 기본 루틴들을 포함한다. RAM(912)은 또한 데이터를 캐시하기 위한 정적 RAM과 같은 고속 RAM을 포함할 수 있다.

컴퓨터(902)는 내장 하드 디스크 드라이브(HDD)(914)(예를 들어, EIDE, SATA)(내부 하드 디스크 드라이브(914)는 적절한 새시(도시 생략) 내에서의 외부 사용을 위해 구성될 수도 있다), (예를 들어, 이동식 디스켓(918)에 기록을 하거나 그로부터 판독을 하는) 자기 플로피 디스크 드라이브(FDD)(916), 및 (예를 들어, CD-ROM 디스크(922)를 판독하거나, DVD와 같은 다른 고용량 광 매체에 기록을 하거나 그로부터 판독을 하는) 광 디스크 드라이브(920)를 더 포함한다. 하드 디스크 드라이브(914), 자기 디스크 드라이브(916) 및 광 디스크 드라이브(920)는 하드 디스크 드라이브 인터페이스(924), 자기 디스크 드라이브 인터페이스(926) 및 광 드라이브 인터페이스(928)에 의해 각각 시스템 버스(908)에 접속될 수 있다. 외부 드라이브 구현들을 위한 인터페이스(924)는 USB(universal serial bus) 및 IEEE 1394 인터페이스 기술들 중 적어도 하나 또는 양자를 포함한다. 다른 외부 드라이브 접속 기술들도 본 발명의 고려 내에 있다.

드라이브들 및 이들의 관련된 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 실행가능 명령어 등의 비휘발성 저장을 제공한다. 컴퓨터(902)에 대해, 드라이브들 및 매체들은 적절한 데이터 포맷의 임의 데이터의 저장을 제공한다. 위의 컴퓨터 판독가능 매체의 설명은 HDD, 이동식 자기 디스켓, 및 CD 또는 DVD와 같은 이동식 광 매체를 참조하지만, 이 분야의 기술자들은 짚 드라이브, 자기 카세트, 플래시 메모리 카드, 카트리지 등과 같이 컴퓨터에 의해 판독가능한 기타 유형의 매체도 예시적인 운영 환경에서 사용될 수 있으며, 또한 임의의 그러한 매체들은 본 발명의 방법들을 수행하기 위한 컴퓨터 실행가능 명령어를 포함할 수 있다는 것을 알아야 한다.

운영 체제(930), 하나 이상의 애플리케이션 프로그램(932), 기타 프로그램 모듈(934) 및 프로그램 데이터(936)를 포함하는 다수의 프로그램 모듈이 드라이브들 및 RAM(912)에 저장될 수 있다. 운영 체제, 애플리케이션, 모듈 및/또는 데이터의 전부 또는 일부도 RAM(912) 내에 캐시될 수 있다. 본 발명은 다양한 상용 운영 체제들 또는 운영 체제들의 조합들을 이용하여 구현될 수 있다는 것을 인식한다.

사용자는 하나 이상의 유선/무선 입력 장치, 예를 들어 키보드(938) 및 마우스(940)와 같은 포인팅 장치를 통해 명령 및 정보를 컴퓨터(902)에 입력할 수 있다. 다른 입력 장치(도시 생략)로는 마이크, IR 원격 제어, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린 등을 포함할 수 있다. 이들 및 기타 입력 장치는 종종 시스템 버스(908)에 결합된 입력 장치 인터페이스(942)를 통해 처리 장치(904)에 접속되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스 등과 같은 다른 인터페이스를 통해 접속될 수 있다.

모니터(944) 또는 다른 유형의 디스플레이 장치도 비디오 어댑터(946) 등의 인터페이스를 통해 시스템 버스(908)에 접속된다. 모니터(944) 외에, 컴퓨터는 통상적으로 스피커, 프린터 등의 기타 주변 출력 장치(도시 생략)를 포함한다.

컴퓨터(902)는 원격 컴퓨터(들)(948)와 같은 하나 이상의 원격 컴퓨터로의 유선 및/또는 무선 통신을 통한 논리적 접속을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(들)(948)는 워크스테이션, 서버 컴퓨터, 라우터, 퍼스널 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서 기반 오락 기구, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있고, 간략화를 위해 메모리/저장 장치(950)만이 도시되지만, 통상적으로는 컴퓨터(902)와 관련하여 상술된 구성요소들의 대부분 또는 그 전부를 포함한다. 도시된 논리적 접속으로는 LAN(952) 및/또는 더 큰 네트워크들, 예를 들어 WAN(954)에 대한 유선/무선 접속을 포함한다. 그러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일반적이고, 인트라넷과 같은 전사적 컴퓨터 네트워크(enterprise-wide computer network)를 용이하게 하며, 이들 모두는 글로벌 통신 네트워크, 예를 들어 인터넷에 접속될 수 있다.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터(902)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(956)를 통해 LAN(952)에 접속된다. 어댑터(956)는 무선 어댑터(956)와의 통신을 위해 배치된 무선 액세스 포인트를 또한 포함할 수 있는 LAN(952)에 대한 유선 또는 무선 통신을 용이하게 할 수 있다.

WAN 네트워킹 환경에서 사용될 때, 컴퓨터(902)는 모뎀(958)을 포함할 수 있거나, WAN(954) 상의 통신 서버에 접속되거나, WAN(954)을 통해, 예를 들어 인터넷을 통해 통신들을 설정하기 위한 다른 수단을 구비한다. 내장형 또는 외장형 및 유선 또는 무선 장치일 수 있는 모뎀(958)은 직렬 포트 인터페이스(942)를 통해 시스템 버스(908)에 접속된다. 네트워크화된 환경에서, 컴퓨터(902) 또는 그의 일부와 관련하여 기술된 프로그램 모듈은 원격 메모리/저장 장치(950)에 저장될 수 있다. 도시된 네트워크 접속은 예시적이며 이 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단들이 사용될 수 있다는 것을 이해할 것이다.

컴퓨터(902)는 무선 통신 내에 유효하게 배치되는 임의의 무선 장치들 또는 엔티티들, 예를 들어 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, 개인용 휴대 단말기, 통신 위성, 무선 검출 가능한 태그와 연관된 임의의 장비 또는 장소(예컨대, 키오스크, 뉴스 스탠드, 휴게실) 및 전화와 통신할 수 있다. 이것은 적어도 Wi-Fi 및 블루투스(상표명) 무선 기술들을 포함한다. 따라서, 통신은 통상의 네트워크에서와 같은 사전 정의된 구조 또는 단순히, 적어도 2개의 장치 사이의 ad hoc 통신일 수 있다.

Wi-Fi(Wireless Fidelity)는 가정의 소파, 호텔 객실의 침대 또는 회사의 회의실로부터의 인터넷에 대한 무선 접속을 가능하게 한다. Wi-Fi는 장치들, 예를 들어 컴퓨터들이 실내외에서, 기지국의 범위 내의 어느 곳에서나 데이터를 송수신하는 것을 가능하게 하는, 셀 전화에서 사용되는 것과 유사한 무선 기술이다. Wi-Fi 네트워크들은 IEEE 802.11(a, b, g 등)이라고 하는 무선 기술들을 이용하여, 안전하고, 신뢰성 있고, 빠른 무선 접속을 제공한다. Wi-Fi 네트워크는 컴퓨터들을 서로, 인터넷에, 그리고 (IEEE 802.3 또는 이더넷을 사용하는) 유선 네트워크들에 접속하는 데 사용될 수 있다. Wi-Fi 네트워크들은 허가되지 않은 2.4 및 5GHz 무선 대역들에서, 예를 들어 11Mbps(802.11a) 또는 54Mbps(802.11b) 데이터 레이트로, 또는 양 대역들(이중 대역)을 포함하는 제품들과 함께 동작하며, 따라서 이 네트워크들은 많은 사무실에서 사용되는 기본적인 10BaseT 유선 이더넷 네트워크들과 유사한 현실 세계 성능을 제공할 수 있다.

이제, 도 10을 참조하면, 본 발명에 따른 예시적인 컴퓨팅 환경(1000)의 개략 블록도가 도시되어 있다. 시스템(1000)은 하나 이상의 클라이언트(1002)를 포함한다. 클라이언트(들)(1002)는 하드웨어 및/또는 소프트웨어(예를 들어, 스레드, 프로세스, 컴퓨팅 장치)일 수 있다. 클라이언트(들)(1002)는 예를 들어 본 발명을 이용함으로써 쿠키(들) 및/또는 관련 상황 정보를 하우징할 수 있다.

시스템(1000)은 또한 하나 이상의 서버(1004)를 포함한다. 서버(들)(1004)는 또한 하드웨어 및/또는 소프트웨어(예를 들어, 스레드, 프로세스, 컴퓨팅 장치)일 수 있다. 서버들(1004)은 예를 들어 본 발명을 이용함으로써 변환들을 수행하기 위한 스레드들을 하우징할 수 있다. 클라이언트(1002)와 서버(1004) 사이의 하나의 가능한 통신은 둘 이상의 컴퓨터 프로세스 사이에 전송되도록 적응되는 데이터 패킷의 형태일 수 있다. 데이터 패킷은 예를 들어 쿠키들 및/또는 관련 상황 정보를 포함할 수 있다. 시스템(1000)은 클라이언트(들)(1002)와 서버(들)(1004) 사이의 통신을 용이하게 하는 데 사용될 수 있는 통신 프레임워크(1006)(예를 들어, 인터넷과 같은 글로벌 통신 네트워크)를 포함한다.

통신들은 유선(광섬유를 포함함) 및/또는 무선 기술을 통해 용이해질 수 있다. 클라이언트(들)(1002)는 클라이언트(들)(1002)에 국한되는 정보(예를 들어, 쿠키(들) 및 관련 상황 정보)를 저장하는 데 사용될 수 있는 하나 이상의 클라이언트 데이터 저장소(1008)에 유효하게 접속된다. 마찬가지로, 서버(들)(1004)는 서버들(1004)에 국한되는 정보를 저장하는 데 사용될 수 있는 하나 이상의 데이터 저장소(1010)에 유효하게 접속된다.

위에 설명된 것들은 본 발명의 예들을 포함한다. 물론, 본 발명을 설명하기 위한 목적으로 컴포넌트들 또는 방법들의 모든 구상 가능한 조합을 설명하는 것은 가능하지 않지만, 이 분야의 기술자는 본 발명의 많은 추가 조합들 및 교환들이 가능하다는 것을 인식할 수 있다. 따라서, 본 발명은 첨부된 청구항들의 사상 및 범위 내에 속하는 모든 그러한 변경들, 수정들 및 변형들을 포함하는 것을 의도한다. 또한, "구비한다"라는 용어가 상세한 설명 또는 청구항들에서 사용되는 한도에서, 그러한 용어는 청구항에 전이어로서 사용될 때 "포함하는"이라는 용어가 해석되는 것과 유사한 방식으로 포괄적인 것을 의도한다.

Claims (20)

1. 처리 장치;
   상기 처리 장치에 결합된 메모리;
   상기 메모리에 유지되고, 상기 처리 장치 상에서 실행되어 경험에 관련된 상황 인자들(contextual factors) 및 파라미터들을 모니터링하는 인터페이스 컴포넌트;
   적어도 상기 경험과 연관된 사용자의 마음 상태에 기초하여 상기 파라미터들 및 상기 상황 인자들을 설정하여, 상기 파라미터들 및 상기 상황 인자들에 대한 태그의 설정을 용이하게 하는 상황 분석기 컴포넌트;
   상기 사용자의 마음 상태의 검출에 기초하여 상기 파라미터들에 태그를 적용하는 태그 생성기- 상기 태그는 상기 경험과 연관된 상기 사용자의 마음 상태와 연관된 상기 상황 인자들을 기술하는 스마트 태그를 포함함 -;
   상기 경험과 연관된 상기 사용자의 마음 상태에 관련된 복수의 태그를 실시간 요소들에 연관시키는 태그 식별자 컴포넌트- 상기 복수의 태그는 상기 스마트 태그를 포함함 -;
   상기 사용자의 마음 상태에 관련된 태그 첨부 데이터(tagged data)에 액세스하는 검색 컴포넌트; 및
   상기 경험과 연관된 상기 사용자의 마음 상태에 기초하여 사용자를 돕기 위한 기억 상기 정보(memory recall information)를 제공하도록 상기 경험에 실시간으로 상기 액세스된 데이터를 주석으로 첨부하는 주석 컴포넌트
   를 포함하되,
   상기 스마트 태그는 안경 내의 렌즈 뷰어 및 소형 이어폰 중 적어도 하나의 내측에 실시간 주석을 제공하는, 시스템.
2. 제1항에 있어서,
   상기 태그 식별자 컴포넌트는 얼굴 인식, 패턴 인식, 음성 인식, 오디오 분석 및 텍스트 분석 중 적어도 하나를 이용하여 상기 복수의 태그를 설정하는 시스템.
3. 제1항에 있어서,
   상기 주석 컴포넌트는 상기 주석이 첨부된 경험을 시각 장치 및 오디오 장치 중 적어도 하나를 통해 렌더링하는 시스템.
4. 제1항에 있어서,
   상황 인자들을 고려하여 복수의 사용자 경험과 관련된 데이터에 태그를 첨부하는 주석 시스템을 더 포함하는 시스템.
5. 제4항에 있어서,
   상기 인터페이스 컴포넌트는 또한 요소들과 관련된 상기 데이터를 수신하는 시스템.
6. 제5항에 있어서,
   감지 메커니즘을 통해 상기 요소들과 관련된 데이터를 수집하는 정보 수집 컴포넌트를 더 포함하는 시스템.
7. 제6항에 있어서,
   상기 감지 메커니즘은 생리적 센서 및 환경적 센서 중 적어도 하나인 시스템.
8. 제6항에 있어서,
   상기 수집된 데이터를 네트워크 기반 소스로부터의 데이터로 보완하기 위해 쿼리를 이용하는 쿼리 컴포넌트를 더 포함하는 시스템.
9. 제6항에 있어서,
   상기 수집된 데이터와 관련된 기준들을 결정하는 분석 컴포넌트를 더 포함하되, 상기 태그 생성기 컴포넌트는 상기 기준들의 서브세트에 기초하여 상기 태그들을 생성하는
   시스템.
10. 제9항에 있어서,
    개인 신분 및 개체의 신분 중 적어도 하나를 식별하는 패턴 분석기 컴포넌트를 더 포함하되, 상기 태그 생성기 컴포넌트는 상기 기준들의 서브세트에 기초하여 상기 태그들을 생성하는
    시스템.
11. 제9항에 있어서,
    개인 신분 및 개체의 신분 중 적어도 하나를 식별하는 사운드 분석기 컴포넌트를 더 포함하되, 상기 태그 생성기 컴포넌트는 상기 기준들의 서브세트에 기초하여 상기 태그들을 생성하는
    시스템.
12. 제9항에 있어서,
    상기 상황 분석기 컴포넌트는 또한 활동 상황 및 환경 상황 중 적어도 하나를 더 포함하는 상황을 설정하고,
    상기 태그 생성기 컴포넌트는 상기 상황의 서브세트에 기초하여 상기 태그들을 생성하는
    시스템.
13. 제1항에 있어서,
    사용자가 자동으로 수행되기를 원하는 액션을 추론하는 확률 기반 분석 및 통계 기반 분석 중 적어도 하나를 이용하는 머신 학습 및 추론 컴포넌트를 더 포함하는 시스템.
14. 컴퓨터의 처리 장치에 의해, 경험의 요소를 모니터링하는 단계- 상기 요소는 활동 데이터를 포함함 -;
    상기 처리 장치에 의해, 상기 경험의 요소에 관련된 사용자 동작을 실시간으로 자동으로 검출하는 단계;
    콘텐츠를 식별함으로써 상기 경험의 상기 요소를 분석하는 단계;
    상기 분석에 기초하여, 실시간으로 상기 경험의 상기 요소를 기술하는 복수의 태그를 생성하는 단계;
    상기 분석을 이용하여 상기 복수의 태그를 식별하는 단계;
    상기 태그들의 서브세트에 의해 식별된 상기 활동 데이터를 실시간으로 상기 요소에 주석으로 첨부하는 단계- 상기 태그들의 서브세트는 지인(acquaintance), 상기 지인과의 사교 관계, 및 상기 지인을 좋아하는지 또는 싫어하는지에 대한 정보를 포함함 -; 및
    상기 태그들의 서브세트에 의해 식별된 상기 활동 데이터를 갖는 상기 요소의 실시간 주석을 매쉬업, 팝업 또는 오버레이를 통해 사용자에게 제공하는 단계- 상기 오버레이는 상기 경험 위에 가상 데이터를 실시간으로 오버레이하는 것을 포함함 -,
    를 포함하는 컴퓨터 구현 방법.
15. 제14항에 있어서,
    상기 분석하는 단계는 패턴을 분석하는 단계, 사운드를 분석하는 단계 및 상기 요소의 상황을 분석하는 단계 중 적어도 하나를 포함하는 컴퓨터 구현 방법.
16. 제14항에 있어서,
    네트워크 기반 소스로부터 상기 태그들의 서브세트에 의해 식별된 상기 활동 데이터를 검색하는 단계를 더 포함하는 컴퓨터 구현 방법.
17. 제14항에 있어서,
    요소들의 상이한 세트를 모니터링하는 단계;
    상기 요소들의 상이한 세트의 서브세트와 관련된 데이터를 식별하는 단계; 및
    상황을 고려하여 콘텐츠에 기초하여 상기 데이터에 태그를 첨부하는 단계
    를 더 포함하는 컴퓨터 구현 방법.
18. 처리 장치;
    상기 처리 장치에 결합된 메모리;
    상기 메모리 상에 유지되고, 상기 처리 장치 상에서 실행되어 자동 분류기 시스템에 의해 실시간 데이터에 주석을 첨부하는 시점을 결정하는 주석 컴포넌트;
    사용자의 경험들을 모니터링하기 위한 인터페이스 컴포넌트;
    상기 경험들의 서브세트의 요소들을 분석하기 위한 패턴 분석기 컴포넌트;
    상기 경험들에 응답하여 사용자의 마음 상태에 기초하여 상기 요소들을 설정하는 상황 분석기 컴포넌트; 및
    상기 분석 및 상기 사용자의 마음 상태에 기초하여 상기 요소들과 연관된 태그들을 생성하기 위한 태그 생성기 컴포넌트
    를 포함하되,
    상기 태그 생성기 컴포넌트는 상기 요소들과 관련된 데이터를 상기 태그들의 함수로서 인덱싱하는 것을 더 포함하고,
    상기 태그 생성기 컴포넌트는 상기 인덱싱된 데이터를 저장하는 것을 더 포함하고,
    상기 패턴 분석기 컴포넌트는 상기 사용자의 마음 상태에 기초하여 상기 인덱싱된 데이터에 상기 실시간 데이터를 주석으로 첨부하며,
    상기 주석 컴포넌트는 안경 내의 렌즈 뷰어 및 소형 이어폰 중 적어도 하나를 통해 상기 실시간 주석을 제공하는,
    시스템.
19. 제18항에 있어서,
    상기 주석 컴포넌트는 상기 인덱싱된 데이터에 기초하여 실시간으로 상이한 사용자의 경험에 주석을 첨부하는 것을 더 포함하는, 시스템.
20. 제19항에 있어서,
    상기 인터페이스 컴포넌트는 상기 상이한 사용자의 경험들을 모니터링하는 것을 더 포함하고,
    상기 패턴 분석기 컴포넌트는 상기 경험들을 분석하는 것을 더 포함하며,
    상기 분석은 상기 인덱싱된 데이터를 찾거나 검색하는 데 이용되는,
    시스템.

Images