KR101780034B1 - 증강 현실 표본 생성 - Google Patents

증강 현실 표본 생성 Download PDF

Info

Publication number
KR101780034B1
KR101780034B1 KR1020157007902A KR20157007902A KR101780034B1 KR 101780034 B1 KR101780034 B1 KR 101780034B1 KR 1020157007902 A KR1020157007902 A KR 1020157007902A KR 20157007902 A KR20157007902 A KR 20157007902A KR 101780034 B1 KR101780034 B1 KR 101780034B1
Authority
KR
South Korea
Prior art keywords
cluster
enhancement
data
clusters
augmented reality
Prior art date
Application number
KR1020157007902A
Other languages
English (en)
Other versions
KR20150046313A (ko
Inventor
마크 말라무드
로이스 레비엔
Original Assignee
엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 filed Critical 엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Publication of KR20150046313A publication Critical patent/KR20150046313A/ko
Application granted granted Critical
Publication of KR101780034B1 publication Critical patent/KR101780034B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/355—Class or cluster creation or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Human Computer Interaction (AREA)

Abstract

증강 현실 환경에서 하나 이상의 동작적인 표본으로 증강을 자동적으로 클러스터링하고 렌더링하기 위한 기술이 일반적으로 설명된다. 일부 예시에서, 사용자의 전후 상황에 기초하여, 증강이 검색되고, 분석되고 클러스터로 그룹화된다. 표본은 그룹화된 증강의 개념적인 표현으로서 클러스터를 렌더링하는 데에 사용될 수 있다. 표본의 렌더링 형식은 그룹화된 증강, 사용자의 전후 상황 또는 다른 표본의 형식으로부터 도출될 수 있다. 증강을 클러스터로 그룹화하고 사용자에게 표본으로서 이러한 클러스터를 렌더링하기 위한 기법은 사용자에게 부과되는 인지의 그리고 지각의 로드를 줄이면서도 전후 상황에서 또는 사용자가 결정한 축을 따라 증강 현실 환경의 풍부함과 의미를 향상시킬 수 있다.

Description

증강 현실 표본 생성 {GENERATING AUGMENTED REALITY EXEMPLARS}
증강 현실(Augmented reality; AR)은 최종 사용자에게 실시간으로 디스플레이하기 위한 실제 비디오 및 이미지에 섞이는 컴퓨터 그래픽 물체를 포함하는, 실세계와 컴퓨터 생성 데이터를 결합하는 것에 집중한다. 스마트폰과 같은 개인용 전자 장치의 확산 및 인터넷 및 다른 네트워크를 통한 데이터 네트워크와 서비스로의 접근 가능성은 증가하는 수의 AR 가전제품으로의 접근 및 사용을 가능하게 했다.
AR 가전제품 및 서비스가 점점 더 많은 인기를 얻음에 따라, 임의의 주어진 전후 상황(context)에서 이용 가능한 증강의 수가 치솟고 있다. 이러한 증강은 시각적, 청각적 및 촉각적일 수 있고, 일부 증강은 다른 양태를 낳을 수 있다. 증강이 특정 장소 및 시간, 특정 물체 또는 물체의 집합에 대한 것이든, 사람 또는 사람의 집합에 관한 것이든, 증강의 수는 그를 처리할 수 있는 사용자의 능력을 능가할 수 있다.
사용자는 많은 수의 증강이 증강 현실 장치 상에서 디스플레이되는 경우 압도될 수 있으며, 요구되는 증강을 의미 있게 그리고 쉽게 검토하는 사용자의 능력을 지체시킨다. 예컨대, 뉴욕의 타임 스퀘어를 통과하여 걷고 있는 사용자는 비즈니스, 국가 기관, 사회적 그룹 및 최종 사용자(예컨대, 가상 빌보드, 레스토랑 리뷰, 비즈니스 벽보, 삽화, 이동 방향, 메시지, 그래피티 등)으로부터 수만 개의 증강에 의해 포격될 수 있다. 유사하게, 도시 공원을 통과하여 걷고 있는 사용자는 잔디밭 위의 공간을 밀어 헤치고 나아가는 수천 개의 증강 현실 아바타를 볼 수 있다. 다른 예시에서, 모비 딕의 사본을 넘기며 훑어보는 사용자는 그 책을 읽은 수천 명의 사람들로부터의 주석이 휘갈겨 쓰여진 페이지를 읽는 것은 불가능할 것이다.
다양한 실시예에서, 증강을 증강의 집합을 나타내는 하나 이상의 사용 가능한 "표본(exemplar)" 또는 클러스터로 클러스터링하고 렌더링하기 위한 시스템, 방법 및 컴퓨터 판독가능 매체가 개시된다.
일 실시예에서, 증강 현실 시스템은 사용자 또는 사용자의 장치와 연관된 전후 상황을 수신할 수 있다. 전후 상황은 사용자의 위치, 시각, 사용자의 개인적인 선호, 사용자가 가입한 증강 현실 서비스, 사용자가 가리키고 있거나 선택한 이미지 또는 물체와 같은 사용자의 환경에 관한 물리적인 가상의 정보를 포함할 수 있다. 시스템은 사용자가 가입한 서비스 또는 사용자의 장치와 연관될 수 있다.
다양한 실시예에서, 증강 시스템은 전후 상황에 기초하여 증강을 결정하고 검색할 수 있다. 나아가, 증강 시스템은 자동적으로 검색된 증강을 클러스터로 그룹화하고, 각각의 클러스터에 대한 렌더링 형식을 결정하고, 이전에 렌더링된 증강으로부터 그룹화된 증강을 제거하고, 사용자에게 표본으로 클러스터를 렌더링할 수 있다.
실시예에서, 증강을 클러스터로 그룹화하고 렌더링 형식을 결정하는 것은 증강 및 전후 상황에 기초할 수 있다. 예컨대, 시스템은 증강 및 전후 상황을 분석하고 개념적인 클러스터링 알고리즘을 결정할 수 있다. 개념적인 클러스터링 알고리즘은 증강을 클러스터로 그룹화하고 클러스터를 그룹화된 증강의 속성을 기술하는 컨셉과 연관시킬 수 있다. 클러스터의 렌더링 형식은 연관된 컨셉으로부터 도출될 수 있다. 추가적인 실시예에서, 렌더링 형식은 그룹화된 증강의 외형, 행동 및 상호대화와 같은 클러스터의 몇몇 양상을 나타낼 수 있다. 이와 같이, 클러스터가 표본으로 사용자에게 렌더링되는 경우, 표본은 그룹화된 증강의 서술적이고, 풍부하고, 유익하고 의미 있는 개념적인 요약을 제공할 수 있다.
예컨대, 도시 공원으로 몰려가는 수천의 증강 현실 아바타 - 아바타는 지구를 둘러싼 국가로부터의 사용자를 나타냄 - 를 디스플레이하는 대신, 아바타는 단지 열 개의 표본 아바타로 그룹화될 수 있다. 각각의 표본 아바타는 상이한 국가의 국기로 옷을 입을 수 있고 나타난 국가로부터의 아바타의 더 큰 세트를 "대표"할 수 있다. 그러므로, 수천 개의 아바타로 압도되는 것 보다, 사용자는 열 개의 표본 아바타를 볼 수 있고 표본 아바타 중 하나와 통신하도록 결정할 수 있다.
인가의 많은 수를 표본의 더 작은 세트로 클러스터링하는 것은 사용자에 대한 감각의 그리고 인지의 로드를 줄이면서 전후 상황적으로 또는 사용자가 결정한 축을 따라 증강 현실 환경의 풍부함과 의미는 유지한다.
이상의 요약은 단순히 예시적인 것으로서 어떠한 방식으로든 제한적으로 의도된 것이 아니다. 이하의 상세한 설명과 도면을 참조함으로써, 상기 설명된 예시적인 양태, 실시예, 그리고 특징에 더하여, 추가적인 양태, 실시예, 그리고 특징 또한 명확해질 것이다.
본 개시의 전술한 특징 및 다른 특징은 첨부 도면과 결합하여, 다음의 설명 및 첨부된 청구범위로부터 더욱 충분히 명백해질 것이다. 이들 도면은 본 개시에 따른 단지 몇 개의 예시를 묘사할 뿐이고, 따라서, 본 개시의 범위를 제한하는 것으로 고려되어서는 안 될 것임을 이해하면서, 본 개시는 첨부 도면의 사용을 통해 더 구체적이고 상세하게 설명될 것이다.
도 1은 본 개시의 다양한 실시예가 구현될 수 있는 예시적인 컴퓨팅 장치를 도시하는 블록도를 도시하고,
도 2는 본 개시의 다양한 실시예가 구현될 수 있는 예시적인 네트워크 환경을 도시하고,
도 3은 증강 현실 시스템의 예시화된 실시예를 도시하고,
도 4는 예시적인 증강 현실 디스플레이를 도시하고,
도 5는 컴퓨팅 장치 상에 디스플레이되는 예시적인 증강을 도시하고,
도 6은 증강의 클러스터로의 예시적인 그룹화를 도시하고,
도 7은 표본의 예시적인 렌더링 형식을 도시하고,
도 8은 증강이 클러스터링되고 결과적인 표본이 렌더링되기 전과 후의 증강 현실의 뷰의 예시를 도시하고,
도 9는 증강을 그룹화하고 결과적인 표본을 렌더링하기 위한 예시적인 동작적인 순서를 도시한다.
이하의 상세한 설명에서 본 개시의 일부를 이루는 첨부된 도면이 참조된다. 문맥에서 달리 지시하고 있지 않은 한, 통상적으로, 도면에서 유사한 부호는 유사한 컴포넌트를 나타낸다. 상세한 설명, 도면, 그리고 청구범위에 설명되는 예시적인 실시예는 제한적으로 여겨지지 않는다. 본 개시에서 제시되는 대상의 범위 또는 사상에서 벗어나지 않으면서도 다른 실시예가 이용되거나, 다른 변경이 이루어질 수 있다. 여기에서 일반적으로 설명되고, 도면에 도시되는 본 개시의 양태는 다양한 다른 구성으로 배열, 대체, 조합 및 설계될 수 있음과 이 모두가 여기에서 명시적으로 고려됨이 기꺼이 이해될 것이다.
본 개시는, 그 중에서도, 증강 현실에 관련된 방법, 장치, 시스템, 기기 및 컴퓨터 프로그램 제품에 관련된다. 표본으로 지칭되는 클러스터로 다수의 증강을 자동적으로 그룹화하고 서술적인 형식에서 표본을 렌더링하는 것을 포함하여, 증강 현실 데이터를 처리하기 위한 시스템을 위한 기술이 일반적으로 설명된다.
도 1은 본 개시의 다양한 실시예가 구현될 수 있는 예시적인 컴퓨팅 장치를 도시하는 블록도(100)를 도시한다. 매우 기본적인 구성(102)에서, 컴퓨팅 장치(100)는 전형적으로 하나 이상의 프로세서(104) 및 시스템 메모리(106)을 포함한다. 메모리 버스(108)는 프로세서(104) 및 시스템 메모리(106) 간의 통신을 위해 사용될 수 있다.
요구되는 구성에 따라, 프로세서(104)는 마이크로프로세서(μP), 마이크로컨트롤러(μC), 디지털 신호 프로세서(DSP) 또는 그 임의의 조합을 포함하는 임의의 유형일 수 있지만, 이에 한정되는 것은 아니다. 프로세서(104)는 레벨 1 캐시(110) 및 레벨 2 캐시(112)와 같은 하나 이상의 레벨의 캐싱, 프로세서 코어(114) 및 레지스터(116)를 포함할 수 있다. 예시적인 프로세서 코어(114)는 ALU(arithmetic logic unit), FPU(floating point unit), DSP 코어(digital signal processing core), 또는 그 임의의 조합을 포함할 수 있다. 예시적인 메모리 컨트롤러(118)는 또한 프로세서(104)와 사용될 수 있거나, 또는 몇몇 구현예에서, 메모리 컨트롤러(118)는 프로세서(104)의 내부 부품일 수 있다.
요구되는 구성에 따라, 시스템 메모리(106)는 (RAM과 같은) 휘발성 메모리, (ROM, 플래시 메모리 등과 같은) 비휘발성 메모리, 또는 그 임의의 조합을 포함할 수 있지만, 이에 한정되지 않는 임의의 유형일 수 있다. 시스템 메모리(106)는 운영 체제(120), 하나 이상의 애플리케이션(122), 및 프로그램 데이터(124)를 포함할 수 있다. 애플리케이션(122)은 도 3-9에 기술되는 동작에 관해 기술되는 것을 포함하는 여기에서 기술되는 기능을 수행하도록 배열된 증강 현실 프로세스(126)을 포함할 수 있다. 프로그램 데이터(124)는 여기에서 기술되는 바와 같이 증강 현실 그룹화 및 렌더링 기법과의 동작을 위해 이용할 수 있는 증강 데이터(128)를 포함할 수 있다. 일부 실시예에서, 애플리케이션(122)은 개념적인 형식을 사용하여 표본으로 이후 렌더링되는 클러스터로 증강이 그룹화될 수 있도록 운영체제(120) 상의 프로그램 데이터(124)와 동작하도록 배열될 수 있다. 이러한 기술된 기본 구성(102)은 파선 내의 컴포넌트에 의해 도 1에 도시된다.
컴퓨팅 장치(100)는 추가적인 특징 또는 기능, 및 기본 구성(102)과 임의의 요구되는 장치와 인터페이스 간 통신을 용이하게 하기 위한 추가적인 인터페이스를 가질 수 있다. 예를 들면, 버스/인터페이스 컨트롤러(130)는 저장 인터페이스 버스(134)를 통한 기본 구성(102)과 하나 이상의 데이터 저장 장치(132) 간의 통신을 용이하게 하는데 사용될 수 있다. 데이터 저장 장치(132)는 분리형 저장 장치(136), 비분리형 저장 장치(138), 또는 그들의 조합일 수 있다. 분리형 저장 장치 및 비분리형 저장 장치의 예로는, 몇 가지 말하자면, 플렉서블 디스크 드라이브 및 하드 디스크 드라이브(HDD)와 같은 자기 디스크 장치, 컴팩트 디스크(CD) 드라이브 또는 디지털 다기능 디스크(DVD) 드라이브와 같은 광 디스크 드라이브, 고체 상태 드라이브(solid state drive; SSD), 및 테이프 드라이브가 포함된다. 예시적인 컴퓨터 저장 매체는, 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성의, 분리형 및 비분리형 매체를 포함할 수 있다.
시스템 메모리(106), 분리형 저장 장치(136) 및 비분리형 저장 장치(138)는 모두 컴퓨터 저장 매체의 예이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 다른 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하는데 사용될 수 있고 컴퓨팅 장치(100)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 한정되는 것은 아니다. 그러한 임의의 컴퓨터 저장 매체는 장치(100)의 일부일 수 있다.
컴퓨팅 장치(100)는 버스/인터페이스 컨트롤러(130)를 통한 다양한 인터페이스 장치(예를 들면, 출력 장치(142), 주변 인터페이스(144) 및 통신 장치(146))로부터 기본 구성(102)으로의 통신을 용이하게 하기 위한 인터페이스 버스(140)도 포함할 수 있다. 예시적인 출력 장치(142)는 그래픽 처리 유닛(148) 및 오디오 처리 유닛(150)을 포함하며, 이는 하나 이상의 A/V 포트(152)를 통해 디스플레이 또는 스피커와 같은 다양한 외부 장치로 통신하도록 구성될 수 있다. 예시적인 주변 인터페이스(144)는 직렬 인터페이스 컨트롤러(154) 또는 병렬 인터페이스 컨트롤러(156)를 포함하며, 이는 하나 이상의 I/O 포트(158)를 통해 입력 장치(예를 들면, 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등) 또는 다른 주변 장치(예를 들면, 프린터, 스캐너 등)와 같은 외부 장치와 통신하도록 구성될 수 있다. 예시적인 통신 장치(146)는 네트워크 컨트롤러(160)를 포함하며, 이는 하나 이상의 통신 포트(164)를 통해 네트워크 통신 상에서의 하나 이상의 다른 컴퓨팅 장치(162)와의 통신을 용이하게 하도록 배치될 수 있다.
네트워크 통신 링크는 통신 매체의 일 예시일 수 있다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파 또는 다른 전송 메커니즘 같은 변조된 데이터 신호 내의 다른 데이터에 의해 구현될 수 있고, 임의의 정보 전달 매체를 포함할 수 있다. "변조된 데이터 신호"는 신호 내에 정보를 인코딩하기 위한 방식으로 설정되거나 변경된 특성 중 하나 이상을 갖는 신호일 수 있다. 제한적인지 않은 예로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체, 및 음파, 무선 주파수(RF), 마이크로웨이브, 적외선(IR) 및 다른 무선 매체와 같은 무선 매체를 포함할 수 있다. 여기서 사용되는 컴퓨터 판독가능 매체라는 용어는 저장 매체를 포함할 수 있다.
컴퓨팅 장치(100)는, 휴대 전화, PDA(personal data assistant), 개인용 미디어 플레이어 장치, 무선 웹-워치(web-watch) 장치, 개인용 헤드셋 장치, 특수 용도 장치, 또는 위 기능 중 임의의 것을 포함하는 하이브리드 장치 같은 소형 폼 팩터(small-form factor)의 휴대용(또는 모바일) 전자 장치의 일부로서 구현될 수 있다. 컴퓨팅 장치(100)는 또한 랩톱 컴퓨터 및 랩톱이 아닌 컴퓨터 구성을 모두 포함하는 개인용 컴퓨터로서 구현될 수 있다.
도 2는 본 개시의 다양한 실시예가 구현될 수 있는 예시적인 네트워크 환경을 도시한다. 특히, 도 2는 각각이 여기에서 기술된 바와 같이 증강 현실 애플리케이션을 제공하도록 적응될 수 있는 컴퓨팅 장치(210)로 구성되는 예시적인 컴퓨팅 배열(200)을 도시한다. 컴퓨팅 장치(210)는 예컨대, 각각이 사용자에게 증강 현실 데이터를 처리하고 디스플레이하도록 적응될 수 있는, 데스크탑 컴퓨터(210a), 랩탑 컴퓨터(210b), 폰(210c), 태블릿 컴퓨팅 장치(210d), PDA(personal digital assistant)(210e) 및 모바일 폰(210f) 중 임의의 것을 포함할 수 있다.
장치(210) 각각은 통신 네트워크(250)을 사용하여 통신하도록 적응될 수 있다. 통신 네트워크(250)는 컴퓨팅 장치(210)에 의해 액세스되는 임의의 서버(220)와 컴퓨팅 장치(210) 간의 통신하기에 적절한 네트워크의 임의의 유형일 수 있다. 통신 네트워크(250)는 상이한 기술을 사용할 수 있는 분리된 네트워크의 조합을 포함할 수 있다. 예컨대, 통신 네트워크(250)는 LAN(local area network), WAN(wide area network), 셀룰러 네트워크 또는 그의 조합을 포함할 수 있다. 통신 네트워크(250)는 무선, 유선 또는 그의 조합을 포함할 수 있다. 예시적인 실시예에서, 통신 네트워크(250)는 인터넷 및 인터넷과 통신하도록 적응된 임의의 네트워크를 추가적으로 포함할 수 있다. 통신 네트워크(250)는 컴퓨팅 장치(210) 및 서버(220) 사이에서 비디오, 오디오 및 다른 데이터를 통신하도록 적응되는 무선 전화 통신 네트워크를 포함할 수 있다.
실시예에서, 증강 데이터는 컴퓨팅 장치(210)의 임의의 것과 같은, 증강 현실 장치에 의해 처리될 수 있다. 증강 현실 장치는 서버(220)와 같은, 컴퓨팅 장치 상에서 호스팅되는 증강 서비스 또는 분석 엔진에 결합될 수 있다.
예시적인 시나리오에서, 증강현실 장치(210)는 예컨대 증강 현실 애플리케이션을 활성화하도록 사용자에 의해 지시될 수 있다. 증강 현실 장치(210)는 사용자의 위치, 시각, 사용자의 개인적인 선호도, 사용자가 가입한 증강 현실 서비스, 사용자가 가리키거나 선택한 이미지 또는 물체와 같은, 사용자의 물리적인 가상의 환경과 연관된 정보를 포함할 수 있는, 사용자의 전후 상황을 결정하거나 그와 연관될 수 있다.
증강 현실 장치(210)는 통신 네트워크(250)를 통해 서버(220)와 통신할 수 있다. 서버(220)는, 증강 데이터의 저장소를 포함할 수 있고 증강 서비스를 제공하도록 적응될 수 있다. 예컨대, 서버(220)는 증강의 실시간 클러스터링 및 렌더링을 수행하도록 적응되는 클러스터링 및 렌더링 모델 및 알고리즘의 라이브러리를 포함할 수 있다. 증강 현실 장치(210)는 서버(220)로 사용자의 전후 상황에 기초하여 증강을 결정하고 수신하라고 질의할 수 있다. 하나의 시나리오에서, 서버(220)는 수신된 증강을 사용자에게 렌더링할 수 있는 증강 현실 장치(210)로 증강 및 대응하는 렌더링 형식을 전송할 수 있다. 대안적인 시나리오에서, 서버(220)는 증강을 렌더링할 수 있고 렌더링된 증강을 증강 현실 장치(210)로 전송할 수 있다.
또 다른 시나리오에서, 증강 데이터는 증강 현실 장치(210) 상에 저장될 수 있다. 이와 같이, 증강 데이터를 그룹화하고 렌더링하는 것은 증강 현실 장치(210) 상에서 국지적으로 처리될 수 있으며, 증강 현실 데이터가 서버(220)로 질의될 필요를 없앤다. 추가적인 시나리오에서, 증강 현실 장치(210)는 증강 데이터 및 서비스를 교환하도록 다른 컴퓨팅 장치(210)와 통신할 수 있다. 예컨대, 태블릿(210d)은 사용자에게 인터페이스를 제공하고 데스크탑(210a)으로 사용자의 전후 상황을 제공하도록 적응될 수 있다. 다음에는, 데스크탑(210a)은 인터넷 태블릿(210d)을 통해 사용자에게 증강 서비스를 제공하도록 적응될 수 있다.
도 3은 증강 현실 시스템(300)의 예시화된 실시예를 도시한다. 장면(310)은 증강 현실 장치(210)에 의해 보여질 수 있고 캡처될 수 있다. 예컨대, 증강 현실 장치(210)는 이미지 또는 비디오 캡처 장치를 통합할 수 있다. 대안적으로 또는 추가적으로, 증강 현실 장치(210)는 사용자의 전후 상황에 기초하여 장면(310)의 이미지를 검색하도록 적응될 수 있다. 이미지는 증강 현실 장치(210) 상에서 국지적으로 또는 도 2에 도시된 바와 같이 증강 현실 장치(210)와 통신하여 다른 장치(210) 또는 서버(220) 상에서 외부에서 저장되는 데이터로부터 복구될 수 있다. 장면(310)은 장면 좌표(X, Y, Z)의 세트와 연관될 수 있다. 장면(310) 및/또는 사용자의 전후 상황의 이미지에 기초하여, 증강(320)은 결정 및 복구(315)될 수 있다. 증강(320)은 장면(310) 및 장면(310)과 연관된 물체 또는 사람의 가상 표현을 포함할 수 있다. 예컨대, 증강(320)은 장면(310)에 관련된 다른 이미지, 메타데이터, 정보 또는 설명을 포함할 수 있다. 증강(320)은 좌표(X, Y, Z)의 세트와 또한 연관될 수 있다. 장면(310)의 이미지는 장면(310)의 가상 이미지를 생성하도록 증강(320)과 결합(325)될 수 있다. 가상 이미지는 사용자에게 렌더링 및 디스플레이(330)될 수 있다. 가상 이미지의 생성은 증강 현실 장치(210)에 외부적이거나 외부적인 표준 컴퓨터 그래픽 시스템과 함께 수행될 수 있다. 그래픽 시스템은 연관된 좌표(X, Y, Z)에 기초하여 장면(310)의 이미지 및 증강(320)을 정렬할 수 있다. 나아가, 그래픽 시스템은 가상 이미지가 올바르게 렌더링될 수 있도록 장면(310)의 이미지에 대한 실세계 정보를 사용할 수 있다. 증강(320)의 결정(315), 가상 이미지를 생성하기 위한 이미지 및 증강(320)의 결합(325) 및 정렬 및 가상 이미지의 렌더링(330)은 증강 현실 장치(210) 상에서 국지적으로, 다른 장치(210) 상에서 외부적으로 또는 증강 현실 장치(210)와 통신하여 서버(220) 상에서 성취될 수 있거나, 증강 현실 장치(210), 다른 장치(210) 및 서버(220) 사이에서 분배될 수 있다.
도 4는 예시적인 증강 현실 디스플레이를 도시한다. 도 3의 장면(310)의 증강은 도 2의 증강 현실 장치(210) 상에서 디스플레이될 수 있다. 증강은 예컨대, 장면에 포함된 물체의 제목(410) 및 물체에 대한 텍스트 설명(420)을 포함할 수 있다. 증강은 실제 이미지 및 증강이 단일의 가상 이미지에서 조합되고 사용자에게 나타날 수 있도록 이미지와 결합되거나 씌어질 수 있다.
도 5는 컴퓨팅 장치 상에 디스플레이되는 예시적인 증강을 도시한다. 특히, 도 5는 도 2의 증강 현실 장치(210) 상에 디스플레이되는 가상 이미지(510)를 도시한다. 가상 이미지(510)는 장면의 물체 또는 유적을 묘사하는 증강(520a-d)와 결합되는, 파리의 파노라마 뷰 또는 그의 일부와 같은, 장면의 이미지를 포함할 수 있다. 증강(520a-d)은 물체에 대해 관광객에 의해 생성된 설명된 제목 및 코멘트를 포함할 수 있다. 코멘트는 1부터 5까지의 별점 스케일 및 피드백 텍스트 필드의 형식에서의 평가를 포함할 수 있다. 예컨대, 사용자(530)는 증강(520a-d)에 포함된 물체에 대한 추가적인 정보를 검색하도록 증강 현실 장치(210)를 흔들거나, 증강(520a-520d)을 마우스 오버하거나, 한번 클릭하거나, 두 번 탭하거나, 모션 오버할 수 있다. 추가적인 정보는 증강 현실 장치(210)에 국지적이거나 외부적으로 저장된 데이터로부터 검색될 수 있다. 예컨대, 추가적인 정보는 관광객에 의해 찍힌 이미지, 가까운 인기 장소의 리스트, 메뉴, 가격, 광고가 함께 있는 식당의 리스트를 포함할 수 있다.
증강 현실이 평범한 세계에서, 이러한 증가하는 감각의 그리고 인지의 데이터를 조직화하는 방법을 갖는 것은 유용할 것 이다. 증강 현실 애플리케이션 및 서비스가 점점 더 인기 있어짐에 따라, 임의의 주어진 전후 상황에서 이용 가능한 증강의 수는 치솟을 것이다. 이러한 증강은 시각적이고, 청각적이고, 촉각적일 수 있고, 일부 증강은 양태를 낳을 것이다. 증강이 특정 장소 및 시간, 특정 물체 또는 물체의 집합에 대한 것이든, 사람 또는 사람의 집합에 관한 것이든, 증강의 수는 그를 처리할 수 있는 사용자의 능력을 능가할 수 있다.
"너무 많은 증강"의 문제점에 대한 하나의 해법은 최종 사용자가 선택적으로 그 증강들을 가리거나 보게 하는 것을 허용한다. 그러한 기법은 "필터링"이라고 통상 지칭된다. 예컨대, 최종 사용자는 장면에 씌어진 모든 광고를 시야로부터 제거하고 모비 딕의 사본에 대한 교수 노트만을 보거나 또는 백조의 호수의 공연 동안 모든 오디오 코멘터리를 끄도록 필터를 설정할 수 있다. 그러나, 필터링 기법은 최종 사용자가 그 또는 그녀가 가지고 싶은 어떤 특정 증강이 언제 이용 가능하지 사전에 알 것을 요구할 수 있다. 도 6-9는 사용자에 대한 감각의 그리고 인지의 로드를 줄이면서 전후 상황적으로 또는 사용자가 결정한 축을 따라 증강 현실 환경의 풍부함과 의미는 유지할 수 있는 필터링에 대안적이거나 추가적인 기법의 실시예를 나타낸다. 이러한 기법은 여기에서 그룹화된 증강을 나타내는 개념적인 형식에 기초하여 클러스터로의 증강의 자동적인 그룹화 및 클러스터의 렌더링을 포함할 수 있다.
도 6은 증강의 클러스터로의 예시적인 그룹화를 도시한다. 증강을 클러스터로 그룹화하는 것의 예시화된 예시는 증강 현실 장치(210)를 사용하면서 뉴욕의 센트럴 파크와 같은 공원을 통과하여 걷는 사용자(610)를 포함한다. 증강 현실 장치(210)는 증강과 결합되거나 씌어진 공원의 지도와 같은, 가상 이미지(650)를 렌더링 또는 디스플레이할 수 있다. 사용자(610)는 증강 현실 장치(210)로 하여금 증강 현실 공원을 이러한 예시에서 나타내는 가상 이미지(650) 주위를 돌아다니도록 할 수 있다. 실제 사람과 연관된 가상 이미지(650)에 다수의 실제 방문객 증강(620a-m)이 있을 수 있다. 예컨대, 실제 사람은 공원을 통과하여 또한 걸을 수 있고 아바타의 형식에서 증강을 가질 수 있다. 추가적으로 가상의 사람과 연관된 가상 이미지(650)에 많은 수의 가상의 방문자 증강(630a-m)이 있을 수 있다. 예컨대, 아바타 형식에서 증강을 갖는 전세계로부터 사람들이 사용자(610)와 동일한 시간에 가상으로 공원을 또한 방문할 수 있다. 추가적으로, 가상 이미지(650)는 그의 많은 다른 증강 및 유형을 포함할 수 있으며, 명확성을 위해 도 6에 나타내지 않는다.
사용자(610)가 많은 수의 증강(620-630)으로 압도되는 것을 피하기 위해, 증강(620-630) 중 일부 또는 전부는 클러스터로 그룹화될 수 있고 클러스터는 표본(622, 632, 640)으로 렌더링될 수 있다.
예시에서, 증강(620-630)은 증강 현실 장치(210) 상에 처음에 디스플레이될 수 있다. 증강 현실 장치(210)는 국지적으로 또는 다른 컴퓨팅 장치를 통해, 실제 방문객 증강(620)을 실제 방문객 클러스터로, 가상 방문객 증강(630)을 가상 방문객 클러스터로 그룹화할 수 있다. 다음으로, 두 개의 생성된 클러스터는 더 높은 레이어 방문객 클러스터로 그룹화될 수 있다. 증강 현실 장치(210)는 실제 방문객 표본(622), 가상 방문객 표본(632) 및 방문객 표본(640)으로 생성된 클러스터를 디스플레이할 수 있다. 나아가, 증강 현실 장치(210)는 처음에 디스플레이된 가상 현실 출력, 즉 이미 디스플레이된 모든 실제 방문객 증강(620) 및 가상 방문객 증강(630)을 포함하는 출력으로부터 그룹화된 증강을 제거할 수 있고, 표본(622, 632, 640)을 따라 그룹화되지 않은 증강을 디스플레이할 수 있다.
이와 같이, 증강(620-630)은 가상 이미지(650)에서 결합된 간략화된 증강 현실 표현에서 자동으로 그룹화되고 사용자(610)에게 제시될 수 있다. 사용자는 다음으로 표본(622, 632, 640)에 액세스하고, 그와 통신하고 확장할 수 있다. 클러스터링은 멀티 레이어될 수 있고 계층적 구조와 함께 클러스터의 클래스를 포함할 수 있다. 이러한 예시에서, 방문객 클러스터는 실제 방문객 클러스터 및 가상 방문객 클러스터를 포함할 수 있다. 다음으로, 실제 방문객 클러스터는 실제 방문객 증강(620a-m) 및 가상 방문객 클러스터를 그룹화할 수 있고 가상 방문객 증강(630a-n)을 그룹화할 수 있다. 명확성을 위해, 도 6은 오직 두 개의 클러스터링 레이어(즉, 제1 레이어로서 방문객 클러스터, 제2 레이어로서 실제 및 가상 방문객 클러스터)를 도시하고 있다. 그러나, 실시예는 예시화된 레이어에 제한되지 않는다. 추가적이거나 다른 클러스터링 레이어 및 서브 레이어가 증강, 사용자의 전후 상황 및 다른 인자들에 기초하여 정의될 수 있다.
증강을 클러스터로 그룹화하는 것은 주어진 사용자의 전후 상황에서 이용 가능한 증강의 속성을 분석하는 것, 분석된 속성에 기초하여 가능한 계층적인 카테고리 구조와 함께 클러스터의 하나 이상의 클래스를 생성하는 것, 각각의 클래스를 컨셉 설명과 함께 연관시키는 것 및 적절한 클래스 내부의 클러스터로 증강을 그룹화하도록 컨셉 설명을 사용하는 것을 포함할 수 있다.
실시예에서, 클러스터링 알고리즘은 거기에서 클러스터를 생성하고 증강을 그룹화하도록 사용될 수 있다. 예시적인 클러스터링 알고리즘은, COBWEB 및 ITERATE와 같은, 개념적인 클러스터링 알고리즘을 포함할 수 있다. 개념적인 클러스터링 알고리즘은 컨셉 설명과 클래스와 연관된 계층적인 카테고리 구조를 생성하도록 적응될 수 있는 데이터의 관리되지 않은 분류를 위한 머신 러닝 패러다임을 포함할 수 있다. 예컨대, 개념적인 클러스터링 알고리즘은 증강에 내재적이거나 그에 의해 내보여지는 속성 및 사용자 전후 상황과 같은, 알고리즘에 이용 가능한 다른 정보를 고려하여, 컨셉, 클래스 및 클러스터를 생성할 수 있다. 다른 클러스터링 알고리즘은 SQL SERVER 2008과 함께 이용 가능한 MICROSOFT CLUSTERING ALGORITHM 및 BIRCH(Balanced Iterative Reducing and Clustering) 알고리즘을 포함할 수 있다.
실시예에서, 클러스터링 알고리즘은 라이브러리에 저장될 수 있다. 사용자의 전후 상황과 증강에 기초하여, 하나 이상의 클러스터링 알고리즘은 라이브러리로부터 검색될 수 있고 증강에 적용될 수 있다. 예컨대, 라이브러리는 사회적 상태(예컨대, 미혼, 기혼, 이혼, 연애 중 등), 성별, 나이, 활동(예컨대, 휴가 중, 미팅 중 등), 직업, 취미, 위치, 사용 언어, 개인적인 메시지, 친구 등가 같은 증강 속성에 기초하여 아바타 유사 증강을 그룹화하도록 적응되는 아바타 클러스터링 알고리즘을 포함할 수 있다. 라이브러리는 아바타와 연관된 사람의 이미지에서 발견되는 공통적인 얼굴의 특징을 분석함으로써 아바타를 그룹화할 수 있는 얼굴 식별 클러스터링 알고리즘을 또한 포함할 수 있다. 얼굴 식별 클러스터링 알고리즘은 분석된 공통적인 얼굴 특징의 설명을 더 생성할 수 있다. 또한, 라이브러리는 그들의 위치, 위치로의 사용자의 거리, 시각, 가까운 인기 장소, 평점, 추천, 다른 사용자로부터의 피드백, 사실, 메뉴, 가격, 활동, 요리법, 요구되는 의상 등을 분석함으로써 현장(venue)을 나타내는 증강을 그룹화하기 위한 제3 개념적인 클러스터링 알고리즘을 포함할 수 있다. 저장된 알고리즘은 분류될 수 있다. 예컨대, 아바타 및 얼굴 인식 알고리즘은 아바타를 그룹화하는데 적용할 수 있는 바와 같이 분류될 수 있는 한편, 현장 클러스터링 알고리즘은 활동을 그룹화하는데 적용할 수 있는 바와 같이 분류될 수 있다. 알고리즘은 예시화된 개념적인 클러스터링 알고리즘에 제한되는 것은 아니다. 추가적인 알고리즘 및 분류가 정의되고 라이브러리에 저장될 수 있다.
증강 및 사용자의 전후 상황은 증강에 적용될 수 있는 클러스터링 알고리즘의 적절한 카테고리를 결정하도록 사용될 수 있다. 라이브러리는 탐색될 수 있고 적절한 클러스터링 알고리즘이 검색될 수 있다. 예컨대, 증강이 아바타를 나타내고 사용자의 전후 상황이 프랑스어를 말할 수 있고 수염을 가진 사람과 대화하는 것에 흥미를 느끼는 것을 나타낸다면, 결정된 카테고리는 아바타 그룹화 알고리즘을 포함할 수 있다. 이와 같이, 라이브러리는 카테고리 내부의 알고리즘에 대해 탐색될 수 있고, 아바타 및 얼굴 인식 클러스터링 알고리즘이 검색될 수 있다. 다른 클러스터링 알고리즘은 검색될 필요가 없다.
검색된 클러스터링 알고리즘은 증강의 속성을 분석하는 데에 적용될 수 있다. 분석은 사용자의 전후 상황으로부터의 기준에 속성을 비교하는 것을 포함할 수 있다. 속성, 사용자의 전후 상황 및 비교에 기초하여, 클러스터링 알고리즘은 계층적 구조와 함께 클러스터의 클래스를 생성할 수 있고 생성된 클래스와 연관되는 컨셉 설명을 생성할 수 있다. 컨셉 설명은 증강을 적절한 클래스 내부의 클러스터로 그룹화하는 데에 사용될 수 있다. 그룹화는 증강의 속성과 생성된 클러스터와 연관되는 클래스의 컨셉 설명 사이의 비교에 기초하여 생성된 클러스터로 증강을 추가하는 것을 포함할 수 있다. 아바타 예시를 계속하자면, 아바타 클러스터링 알고리즘은 클러스터의 두 개의 클래스를 생성하는 데에 적용될 수 있다. 대응하는 컨셉 설명은 프랑스어를 사용할 수 있는 아바타와 다른 언어만 사용할 수 있는 아바타일 수 있다. 얼굴 인식 클러스터링 알고리즘은 프랑스어를 사용하는 아바타의 클래스 내부에서 클러스터의 두 개의 다른 클래스를 생성하도록 적용될 수 있다. 추가적인 컨셉 설명은 프랑스어를 사용하고 수염을 가진 아바타 및 프랑스어를 사용하지만 수염은 없는 아바타일 수 있다. 이와 같이, 컨셉 설명과 연관된 클러스터 클래스의 계층적 구조가 생성될 수 있다. 이러한 예시에서, 제1 계층은 언어 스킬에 기초하여 아바타를 그룹화하는 클래스를 포함할 수 있고, 제2 계층은 얼굴 헤어 특징에 기초하여 아바타를 그룹화하는 클래스를 포함할 수 있다. 그러므로, 세 개의 클러스터 전체, 즉, 프랑스어를 사용하지 못하는 아바타를 위한 하나, 프랑스어를 사용할 수 있지만 수염이 없는 아바타를 위한 하나, 그리고 프랑스어를 사용할 수 있고 수염이 있는 아바타를 위한 하나가 생성될 수 있다. 증강은 증강 속성과 컨셉 설명 사이에서, 언어 스킬 및 얼굴 헤어 특징과 같은, 매칭에 기초하여 클러스터로 그룹화될 수 있다.
컨셉 설명은 여기에서 후술되는 바와 같이, 렌더링 형식을 생성하도록 더 사용될 수 있다. 예컨대, 언어 스킬 컨셉 설명은 프랑스 국기를 잡고 있는 아바타로 클러스터를 렌더링하는데 사용될 수 있는 한편, 얼굴 헤어 컨셉 설명은 렌더링된 아바타에게 수염을 추가하도록 사용될 수 있다.
도 7은 표본의 예시적인 렌더링 형식을 도시한다. 증강 데이터는 증강 및 증강의 클래스를 포함할 수 있다. 증강 데이터는 표본으로 렌더링될 수 있다. 도 2의 장치(210) 중 임의의 것과 같은 증강 현실 장치는 증강 데이터를 렌더링하는 데에 사용될 수 있다. 실시예에서, 증강현실 장치는 그래픽 데이터를 처리하고 렌더링하는 데에 적응되는 그래픽 처리 유닛 또는 컴퓨팅 시스템을 포함할 수 있다. 다른 실시예에서, 도 2의 서버(220)와 같은, 외부 컴퓨팅 장치가 증강 데이터를 수신, 처리 및 렌더링할수 있고, 사용자(730)에게 디스플레이하기 위하여 증강 현실 장치로 렌더링된 데이터를 전송할 수 있다. 또 다른 실시예에서, 외부 장치는 다음에 수신된 정보에 기초하여 증강 데이터를 렌더링할 수 있는 증강 현실 장치로 렌더링 명령어, 형식 또는 정보를 발송할 수 있다.
표본은 클러스터를 렌더링하는 데에 사용되는 컨셉 표현일 수 있다. 컨셉 표현은 클러스터와 연관되는 컨셉 설명의, 시각적, 청각적 및 촉각적 표현과 같은 감각적인 표현을 포함할 수 있다. 컨셉 설명은 클러스터로 그룹화된 증강의 속성을 반영할 수 있다. 추가적으로, 표본은 증강 데이터의 속성에 응답하여 애드 혹으로 생성될 수 있고 그러한 데이터의 표현 규칙 및 의미론(semantics)을 포함할 수 있다. 나아가, 각각의 표본은 다른 표본에 관련되어 표현될 수 있다. 이와 같이, 표본은 클러스터의 속성 및 컨텐츠의 지각적인 요약을 제공할 수 있다. 즉, 표본은 지적이고 우회적인 방법을 통해 증강의 과잉을 다루어, 본래 증강의 풍부함과 의미는 유지하면서 사용자의 감각의 그리고 인지의 과부하를 줄여주는 수단을 제공할 수 있다.
예컨대, 빌보드, 식당 및 아바타를 포함하는 증강 현실 거리 장면에서, 표본의 세 개의 다른 클래스, 즉 가상 빌보드를 위한 클래스, 식당 리뷰를 위한 클래스 및 아바타를 위한 클래스가 생성될 수 있다. 클래스 각각은 표현에 대한 자신만의 규칙을 제공할 수 있다. 가상 빌보드 클래스를 고려해보면, 빌보드는 비즈니스 관련 클러스터(예컨대, 가까운 스포츠 제품 매장에서의 세일에 대한 광고) 및 공공 서비스 클러스터(예컨대, 높은 범죄율 영역 경고)로 그룹화될 수 있다. 각각의 표본은 클러스터의 단지 별개의 특징(예컨대, 외형, 행동 및 상호대화)뿐만 아니라, 동일한 클래스 내부의 다른 클러스터와 공유되는 공통의 특징을 또한 나타낼 수 있다. 이와 같이, 비즈니스 관련 클러스터는 빌보드의 3D 모델을 포함하는 표본으로 렌더링될 수 있고, 이는 가상 빌보드의 클래스 내부의 클래스와 공통적인 특징일 수 있다. 추가적으로, 표본은 3D 모델에 걸쳐 "세일 중" 사인을 포함할 수 있고, 이는 비즈니스 관련 클러스터의 별개의 특징일 수 있다.
클러스터를 렌더링하는 것은 렌더링기(renderer)를 결정하는 것 또는 클러스터에 대한 형식을 렌더링하는 것 및 결정된 형식에 기초하여 표본으로서 클러스터를 렌더링하는 것을 포함할 수 있다. 유사한 렌더링 기법은 표본으로 증강을 렌더링하는 데에 또한 사용될 수 있다. 전술된 바와 같이, 표본은 사용자에게 자신의 컨텐츠의 개념적인 표현을 제공하는 2D 또는 3D 물체를 포함할 수 있다. 예컨대, 증강이 아바타와 연관되는 경우, 표본은 증강의 속성을 나타내도록 커스텀화된 3D 아바타를 포함할 수 있다. 이와 같이, 증강은 중년의 비즈니스 맨을 나타내는 경우, 물체는 회식 머리칼을 가지고 수트를 입고 브리프케이스를 들고 있는 남성 아바타를 포함할 수 있다. 유사하게, 공원을 방문한 아바타의 형태에서 증강이 아바타 국적에 기초하여 클러스터로 그룹화된 경우, 대응하는 표본은 다른 국가의 국기를 잡고 있는 아바타일 수 있다. 나아가 증강의 속성은 다른 클러스터 계층적 레이어에서 반영될 수 있다. 예컨대, 공원 방문객의 탑 레벨 클러스터는 국가에 의해 그룹화된 공원 방문객의 더 낮은 레벨 클러스터를 포함할 수 있다. 탑 레벨 클러스터는 지구본의 다음 공원 벤치에 앉아 있는 아바타로 렌더링될 수 있는 한편, 더 낮은 레벨 클러스터는 다른 국가의 국기를 들고 있는 아바타로 렌더링될 수 있다.
렌더링기 또는 클러스터를 위한 렌더링 형식을 결정하는 것은 최종 사용자로부터의 입력 없이 성취될 수 있다. 형식은 증강 데이터, 클러스터, 다른 클러스터 및 사용자의 전후 상황에 기초하여 자동적으로 결정될 수 있다.
실시예에서, 형식은 클러스터의 클래스의 컨셉 설명으로부터 유도될 수 있다. 예컨대, 공원으로의 방문객의 증강은 아바타로서 나타날 수 있다. 증강은 아바타의 활동에 기초하여 멀티 티어 클러스터 계층(multi-tier cluster hierarchy)에서 그룹화될 수 있다. 제1 티어 클러스터는 아바타 사이의 국제적인 야구 게임의 컨셉과 연관될 수 있다. 제2 티어 클러스터는 다른 국가로부터의 야구 팀의 컨셉과 연관될 수 있다. 제3 티어 클러스터는 현역 및 대리 야구 선수의 컨셉과 연관될 수 있다. 컨셉 설명의 양상은 형식을 결정하는 데에 사용될 수 있다. 이와 같이, 제1 티어 클러스터는 야구 모자를 쓰고 트로피를 잡고 있는 아바타로 렌더링될 수 있다. 제2 티어는 국가 유니폼을 입고 있는 아바타에 의해 나타날 수 있다. 제3 티어는 배트를 잡고 있거나 벤치에 앉아 있는 아바타로 디스플레이될 수 있다.
추가적인 실시예에서, 유사한 개념적인 분석이 그룹화된 증강의 공통적인 속성에 기초하여 클러스터 컨셉을 유도하도록 그룹화된 증강에 적용될 수 있다. 공통적인 속성은 공유된 특징의 특정 범위를 포함할 수 있다. 형식은 클러스터 컨셉으로부터 유도될 수 있고 클러스터 또는 그룹화된 증강의, 행동, 외형 및 상호대화과 같은, 몇몇 양상을 나타내도록 적응될 수 있다. 예컨대, 클러스터 그룹 증강이 다른 국가로부터 온 공원의 방문객을 나타내는 경우, 클러스터 컨셉은 국제적인 아바타일 수 있다. 이와 같이, 독일에서 온 방문객을 그룹화한 클러스터는 독일 국기를 잡고 있는 아바타로 형식화될 수 있다. 추가적으로, 그룹화된 증강(예컨대, 독일 방문객)의 분석은 대부분의 증강이 거기에서 물체의 사진을 찍으려고 공원을 방문했다는 것을 나타낼 수 있다. 이러한 분석에 기초하여, 클러스터의 형식(예컨대, 독일 국기를 잡고 있는 아바타)은 카메라를 결합하도록 더 적응될 수 있다.
유사하게, 클러스터의 형식은 다른 클러스터의 형식에 상대적으로 결정될 수 있다. 복수의 클러스터는 어느 정도 분석될 수 있다. 예컨대, 클러스터 특징의 비율(예컨대, 증강의 수, 데이터의 바이트 크기 등)은 상대적인 클러스터 크기를 도출하도록 계산될 수 있다. 상대적인 클러스터 크기는 비교된 클러스터의 형식을 업데이트하도록 사용될 수 있다. 이전 예시에서, 미국 방문객의 클러스터가 미국 국기를 잡고 있는 아바타로 렌더링되는 경우, USA 및 독일 클러스터가 비교될 수 있다. 비교는 미국 클러스터가 독일 클러스터보다 두 배 많은 수의 방문객을 가지고 있는 것을 나타낼 수 있다. 이와 같이, 미국 국기를 잡고 있는 아바타는 독일 국기를 잡고 있는 아바타보다 두 배 큰 크기로 그래픽 사용자 인터페이스 상에서 디스플레이될 수 있다.
추가적인 예시에서, 형식은 사용자의 전후 상황을 또한 고려함으로써 정제될 수 있다. 사용자의 전후 상황은 검색될 수 있고 형식에 적용될 수 있는 속성을 결정하도록 분석될 수 있다. 예컨대, 국기를 잡고 있는 아바타는 다른 국가에서 온 공원 방문객의 클러스터를 나타낼 수 있다. 아바타는 사용자의 전후 상황의 일부 또는 모든 양상을 반영하도록 더 업데이트될 수 있다. 사용자의 전후 상황을 분석하는 경우, 친구 목록이 검색될 수 있다. 이와 같이, 목록에서의 친구와 연관되는 증강을 포함하는 클러스터가 업데이트될 수 있다. 업데이트는 아바타에게 "친구가 여기 있음"의 말을 추가하는 것을 포함할 수 있다.
도 7을 참조하여, 클러스터의 형식을 표본으로 렌더링하는 것은 인자 및 목적의 넓은 범위에 기초하여 조정될 수 있다. 실시예에서, 표본의 외형은 속성의 붕괴된 클래스의 집합을 제공하도록 조정될 수 있다. 외형은 거기에서 그룹화된 증강 데이터 또는 클러스터에 의해 나타나는 표정, 소리 및 기분을 포함할 수 있다. 예컨대, 증강이 아바타로 나타나는 실시예에서, 형식은 클러스터로 그룹화된 아바타의 수를 나타내도록 표본의 높이를 사용할 수 있다. 나아가, 형식은 국적을 나타내도록 표본의 옷 및 액세서리를 사용할 수 있다. 공원의 방문객의 예시를 고려하면, 프랑스 방문객의 적은 수를 나타내는 프랑스인 클러스터(710)는 키가 작고 베레모를 쓰고 바게트를 들고 있는 것으로 나타나도록 형식화될 수 있는 한편, 미국인 업무 관리자의 많은 수를 나타내는 미국인 클러스터(720)는 키가 크고 마르고 수트를 입은 것으로 나타나도록 형식화될 수 있다.
증강 데이터는 속성의 집합된 클래스에 응답하여 행동을 또한 나타낼 수 있다. 행동은 형식을 도출하도록 분석될 수 있다. 예컨대, 클러스터의 미국인 아바타의 대부분이 매우 활동적이라면(예컨대, 공원을 돌아다님), 미국인 클러스터(722)는 조깅하고 있는 아바타를 나타내도록 업데이트 또는 형식화될 수 있다. 유사하게 프랑스인 아바타의 대부분이 공원에서 쉬고 있다면(예컨대, 대화 중임), 미국인 클러스터(712)는 공원 벤치에 앉아있는 사람과 같은 더 앉은 자세를 나타내도록 업데이트 또는 형식화될 수 있다.
속성의 집합된 클래스에 응답하여, 증강 데이터는 증강, 클러스터 및/또는 사용자(730) 사이의 상호대화 또는 상호작용을 더 나타낼 수 있다. 상호작용은 형식을 유도하거나 정제하도록 분석될 수 있다. 예컨대, 사용자(730)는 영어를 유창하게 할 수 있고 프랑스어를 배우는데 열정적일 수 있다. 사용자(730)와 미국인 클러스터(722) 사이의 상호작용은 미국인 클러스터(722)에 포함된 미국인 아바타 모두와 영어로 텍스트 메시지를 교환하는 것을 포함할 수 있다. 사용자(730)와 프랑스인 클러스터(712)에 포함된 프랑스인 아바타 사이의 상호작용은 번역 애플리케이션 또는 프로그램을 시작하고 사용자(730)와 프랑스인 아바타 사이에서 교환되는 텍스트 메시지를 번역하는 것을 포함할 수 있다.
실시예에서, 사용자는 클러스터에 액세스하고 확장할 수 있으며 거기에서 그룹화된 하나 이상의 증강과 상호작용할 수 있다. 예컨대, 체스 게임을 하는 것에 흥미를 갖는 사용자는 동일한 흥미를 갖는 아바타를 나타내는 클러스터에 액세스할 수 있고, 아바타 중 하나를 선택할 수 있고, 선택된 아바타와 체스 게임을 시작할 수 있다. 추가적인 실시예에서, 사용자는 클러스터 또는 클러스터의 클래스와 상호작용할 수 있다. 그러한 실시예에서, 클러스터에 포함된 그룹화된 증강으로부터 수신된 상호작용은 가공되지 않은 형식에서 사용자에게 제시될 수 있거나 여기에서 기술된 클러스터링 및 렌더링 기법에 따라 렌더링될 수 있다. 예컨대, 사용자는 그의 요리 실력을 향상시키는 것에 흥미가 있을 수 있고 전세계에서 온 요리사를 나타내는 클러스터와 상호작용할 수 있다. 사용자는 클러스터에게 요리법을 요구할 수 있고 요리사의 일부가 요청을 다시 응답할 수 있다. 응답은 수신된 순서에 따라 사용자에게 나타날 수 있다. 추가적으로 또는 대안적으로 응답은 사용자에게 알려진 요리, 특별한 다이어트 요리법 및 식당에서 제공되는 요리법의 클러스터를 나타내는 표본으로 그룹화되고 렌더링될 수 있다.
렌더링 형식의 결정은 사용자로부터의 입력에 독립적일 수 있고 대신 증강 데이터에 기초할 수 있다. 형식은 사용자의 전후 상황으로부터 도출된 속성을 또한 이용할 수 있다. 즉, 표본은 자동적으로 도출될 수 있으므로 사용자는 증강 또는 클러스터의 형식을 구체화하지 않아도 된다.
도 8은 증강이 클러스터링되고 결과적인 표본이 렌더링되기 전과 후의 증강 현실의 뷰의 예시를 도시한다. 실시예에서, 인터넷에 연결된 구글 안드로이드 폰, 마이크로소프트 윈도우 폰 또는 애플 아이폰과 같은, 스마트폰은 여기에서 기술된 증강 현실 표본을 위한 애플리케이션을 실행할 수 있다. 예컨대 사용자(850)는 점심 시간에, 먹기 위한 무언가를 요리하고 있는, 워싱턴 D.C.의 분주한 거리의 모퉁이에 서 있을 수 있고, 식당에 둘러싸여 있지만 어느 것을 선택해야 할지 모른다. 사용자(850)는 스마트폰(820)에서 식당 찾기 애플리케이션을 시작할 수 있고 스마트폰(820)을 사용하여 거리를 위 아래로 움직여볼 수 있다. 스마트폰(820)의 스크린에서, 사용자(850)는 거리의 증강 현실 버전(800)을 수신하여 볼 수 있다. 먼저, 사용자(850)는 전체 스크린에서 많은 수, 어쩌면 수천 개의 식당 리뷰 주석(802A-N)를 볼 수 있다. 주석(802)은 각각의 식당에 대한 다른 사람들의 평점 및 코멘트를 포함할 수 있다. 많은 수의 주석(802A-N) 및 그들의 중첩되는 제시는 사용자가 식당을 보고 많은 평점 및 코멘트를 읽는 것조차 방해할 수 있다.
다행히도, 사용자(850)는 스마트폰(820) 상에서 증강 현실 애플리케이션을 실행할 수 있고, 몇 초안에, 모든 주석(802A-N)이 표본(812A-M)으로 함께 클러스링되는 것이 시작될 수 있다. 표본(812A-M)의 전체 수 "M"은 주석(802A-N)의 전체 수 "N"보다 실질적으로 적을 수 있다. 나아가, 표본(812)의 제시는 주석(802)의 제시보다 더욱 간단할 수 있다. 식당 리뷰에 대한 표본(812)은 색깔 코딩으로 1부터 5까지의 단순한 별점과 같이 보일 수 있다. 이와 같이, 거리 풍경은 즉시 이해하기에 더 쉬울 수 있다. 표본의 이러한 유형을 사용하여, 식당은 그들 위를 떠다니는 검정 색의 평점을 가질 수 있다. 증강 현실 표본 애플리케이션은 사용자(850)에게 가장 가까운 식당에 대해 5개의 최대 별점을 갖는 표본(812A)을 디스플레이할 수 있다. 그러나, 검정 색의 별은 다른 가까운 식당 중 일부 위에서 렌더링되는 검정 색 별만큼 검지 않을 수 있다. 사실, 표본(812A)의 별은 약간 연한 색으로 디스플레이될 수 있다.
색의 음영은 함께 클러스터링되는 증강의 수를 반영하여 표본(812A)을 생성할 수 있다. 즉, 더 어둡게 디스플레이되는 별은 식당을 평가한 더 많은 사람의 수를 나타낼 수 있다. 이와 같이, 연한 색을 갖는 표본(812A)은 다섯 개의 별을 갖는 가장 가까운 식당이 많은 사람들이 평가하지 않았을 수 있음을 나타낼 수 있다. 사용자(850)는 다섯 개의 별점이라 하더라도, 너무 적은 리뷰로 인하여 평점을 믿어야 한다고 생각하지 않을 수 있다.
나아가, 색은 사용자(850)에게 추가적인 인지의 정보를 제공할 수 있다. 예컨대, 검정 색의 별은 사용자(850)가 모르는 사람들에 의해 평가될 수 있는 한편, 밝은 색의 별은 사용자(850)의 친구에 의해 평가될 수 있다. 식당 예시를 계속하여, 증강 현실 표본 애플리케이션은 가까운 다른 식당의 일부 위에 밝은 색의 별을, 가장 가까운 식당에 대하여 모두 검정 색인 별을 디스플레이할 수 있다. 이러한 더 화려한 색의 별은 사용자(850)의 친구로부터의 평점을 나타낼 수 있다. 그러므로, 사용자(850)는 다섯 개 별점의 식당을 제치고 가장 화려한 색의 별점을 갖는 장소를 찾도록 스마폰(820)을 돌릴 수 있다. 증강 현실 표본 애플리케이션은 거리를 가로질러 위치한 밝은 초록의 다섯 개의 별점 식당을 사용자(850)에게 디스플레이할 수 있다. 사용자(850)는 위치한 식당을 그의 많은 친구들이 긍정적으로 즐겼음을 인식하고 스마트폰을 주머니에 넣어 점심을 위해 길을 빠르게 건너기로 결심할 수 있다.
도 9는 동작(900, 902, 904, 906, 908, 910, 912, 914, 916 및 918)증강을 그룹화하고 결과적인 표본을 렌더링하기 위한 예시적인 동작적인 순서를 도시한다. 동작(900)은, 증강 현실 애플리케이션 또는 서비스가 도 2의 장치(210)의 임의의 것과 같은, 증강 현실 장치에서 활성화될 수 있는, 동작적인 순서에서 시작한다. 동작(900)에 동작(902)이 뒤따를 수 있다. 동작(902)(사용자의 전후 상황을 수신)은 사용자의 전후 상황을 수신하는 것을 예시한다. 사용자의 전후 상황은 사용자의 물리적인 가상의 환경에 대한 정보를 포함할 수 있다. 동작(902)에 동작(904)이 뒤따를 수 있다. 동작(904)(증강을 검색)은 수신된 사용자의 전후 상황에 기초하여 증강을 결정하는 것을 예시한다. 증강 현실 장치는 증강의 저장소에 액세스하거나 연결할 수 있고 적절한 증강을 검색하도록 사용자의 전후 상황을 사용할 수 있다. 증강 현실 장치는 사용자에 이러한 증강을 렌더링하거나 하지 않을 수 있고 검색된 증강 중 일부 또는 모두를 포함하는 클러스터 및 표본을 생성하도록 진행할 수 있다. 동작(904)에 동작(906)이 뒤따를 수 있다.
동작(906)(검색된 증강을 분석)은 검색된 증강을 분석하는 것을 예시한다. 수신된 사용자의 전후 상황 검색된 증강 및 다른 인자에 기초하여, 하나 이상의 개념적인 클러스터링 알고리즘이 라이브러리로부터 검색될 수 있고 검색된 증강 중 일부 또는 모두에 적용될 수 있다. 동작(906)은 동작(908)에 뒤따를 수 있다. 동작(908)(클러스터의 하나 이상의 클래스를 생성)은 클러스터의 하나 이상의 클래스를 생성하는 것을 예시한다. 클러스터의 클래스는 증강의 분석된 속성에 기초하여 계층적 카테고리 구조를 포함할 수 있다. 동작(908)에 동작(910)이 뒤따를 수 있다. 동작(910)(컨셉 설명과 클러스터를 연관시킴)은 개념 설명과 각각의 클래스를 연관시키는 것을 예시한다. 개념 설명은 분석된 속성으로부터 도출될 수 있다. 동작(910)에 동작(912)이 뒤따를 수 있다. 동작(912)(분석된 증강을 클러스터로 그룹화함)은 적절한 클래스 내의 클러스터로 분석된 증강을 그룹화하는 것을 예시한다. 그룹화는 개념 설명에 기초할 수 있다. 동작(912)에 동작(914)이 뒤따를 수 있다.
동작(914)(이전에 렌더링된 증강으로부터 그룹화된 증강을 제거)은 이전에 렌더링된 증강으로부터 그룹화된 증강을 제거하는 것을 예시한다. 동작(914)은 동작(904) 하의 이용 가능한 증강이 사용자에게 처음으로 렌더링되는지에 의존할 수 있고 선택적일 수 있다. 동작(914)에 동작(916)이 뒤따를 수 있다. 동작(916)(클러스터에 대한 렌더링 형식을 결정)은 생성된 클러스터에 대한 렌더링 형식을 결정하는 것을 예시한다. 각각의 클러스터에 대해, 동작(916)은 연관된 개념 설명, 그룹화된 증강의 속성, 사용자의 전후 상황 또는 다른 클러스터의 형식에 기초하여 렌더링기 또는 형식을 결정할 수 있다. 동작(916)은 사용자로부터의 입력에 독립적일 수 있다. 동작(916)에 동작(918)이 뒤따를 수 있다. 동작(918)(표본으로서 클러스터를 렌더링)은 표본으로서 클러스터를 렌더링하는 것을 예시한다. 렌더링은 결정된 형식에 기초할 수 있고 클러스터의 개념적인 표현을 포함할 수 있다.
여기에서 개시되는 이러한 그리고 다른 프로세스 및 방법에 대하여, 당업자는 프로세스 및 방법에서 수행되는 기능이 다른 순서에서 구현될 수 있음을 이해할 것이다. 나아가, 개략화된 단계 및 동작은 단지 예시로 제공된 것이며, 개시된 실시예의 정수에서 벗어나지 않으면서, 단계 및 동작의 일부는 선택적일 수 있거나, 더 적은 단계 및 동작으로 조합될 수 있거나 추가적인 단계 및 동작으로 확장될 수 있다.
본 개시는 다양한 태양의 예시로서 의도된 본 출원에 기술된 특정 예시들에 제한되지 않을 것이다. 당업자에게 명백할 바와 같이, 많은 수정과 변형이 그 사상과 범위를 벗어나지 않으면서 이루어질 수 있다. 여기에 열거된 것들에 더하여, 본 개시의 범위 안에서 기능적으로 균등한 방법과 장치가 위의 설명으로부터 당업자에게 명백할 것이다. 그러한 수정과 변형은 첨부된 청구항의 범위에 들어가도록 의도된 것이다. 본 개시는 첨부된 청구항의 용어에 의해서만, 그러한 청구항에 부여된 균등물의 전 범위와 함께, 제한될 것이다. 본 개시가 물론 다양할 수 있는 특정 방법, 시약, 합성 구성 또는 생물학적 시스템에 제한되지 않는 것으로 이해될 것이다. 또한, 여기에서 사용된 용어는 단지 특정 예시들을 기술하기 위한 목적이고, 제한하는 것으로 의도되지 않음이 이해될 것이다.
예시적인 실시예에서, 여기에서 기술된 동작, 프로세스 등 임의의 것은 컴퓨터 판독가능 매체 상에 저장된 컴퓨터 판독가능 명령어로 구현될 수 있다. 컴퓨터 판독가능 명령어는 모바일 유닛의 프로세서, 네트워크 요소 및/또는 임의의 다른 컴퓨팅 장치에 의해 실행될 수 있다.
시스템 양상들의 하드웨어와 소프트웨어 구현 사이에는 구별이 거의 없다. 하드웨어 또는 소프트웨어의 사용은 일반적으로 (그러나 어떤 맥락에서 하드웨어 및 소프트웨어 사이의 선택이 중요하게 될 수 있다는 점에서 항상 그런 것은 아니지만) 비용 대비 효율의 트레이드오프(tradeoff)를 나타내는 설계상 선택(design choice)이다. 여기에서 기술된 프로세스 및/또는 시스템 및/또는 다른 기술들이 영향 받을 수 있는 다양한 수단(vehicles)(예를 들어, 하드웨어, 소프트웨어 및/또는 펌웨어)이 있으며, 선호되는 수단은 프로세스 및/또는 시스템 및/또는 다른 기술이 사용되는 맥락(context)에 따라 변경될 것이다.
전술한 상세한 설명은 블록도, 흐름도, 및/또는 예시의 사용을 통해 장치 및/또는 프로세스의 다양한 실시예를 설명하였다. 그러한 블록도, 흐름도, 및/또는 예시가 하나 이상의 기능 및/또는 동작을 포함하는 한, 당업자라면 그러한 블록도, 흐름도, 또는 예시 내의 각각의 기능 및/또는 동작은 하드웨어, 소프트웨어, 펌웨어, 또는 실질적으로 그들 임의의 조합의 넓은 범위에 의해 개별적으로 및/또는 집합적으로 구현될 수 있다는 것이 이해될 것이다. 일 실시예에서, 여기에서 기술된 대상의 몇몇 부분은 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor) 또는 다른 집적의 형태를 통해 구현될 수 있다. 그러나, 당업자라면, 여기에서 기술된 실시예의 일부 양상이, 하나 이상의 컴퓨터 상에 실행되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템 상에 실행되는 하나 이상의 프로그램), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램(예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램), 펌웨어 또는 실질적으로 그들의 조합으로서, 전체적으로 또는 부분적으로 균등하게 집적 회로에 구현될 수 있다는 알 수 있으며, 소프트웨어 및/또는 펌웨어를 위한 코드의 작성 및/또는 회로의 설계는 본 개시에 비추어 당업자에게 자명할 것이다. 또한, 당업자라면, 여기에서 기술된 대상의 수단(mechanism)들이 다양한 형태의 프로그램 제품으로 분포될 수 있음을 이해할 것이며, 여기에서 기술된 대상의 예시는, 분배를 실제로 수행하는데 사용되는 신호 베어링 매체(signal bearing medium)의 특정 유형과 무관하게 적용됨을 이해할 것이다. 신호 베어링 매체의 예시는, 플로피 디스크, 하드 디스크 드라이브(HDD), CD(Compact Disc), DVD(Digital Versatile Disk), 디지털 테이프, 컴퓨터 메모리 등과 같은 판독가능 유형의 매체를 포함할 수 있으나, 이에 제한되지는 않는다.
당업자라면, 여기서 설명된 형식으로 장치 및/또는 프로세스를 기술하고, 이후, 공학 실무를 사용하여 그러한 기술된 장치 및/또는 프로세스을 데이터 처리 시스템에 통합한다는 것은 당해 분야에서는 일반적이란 것을 인식할 것이다. 즉, 여기서 기술된 장치 및/또는 프로세스의 적어도 일부는 합당한 실험 량을 통해 데이터 처리 시스템에 통합될 수 있다. 당업자라면, 전형적인 데이터 처리 시스템은 일반적으로 시스템 유닛 하우징, 비디오 디스플레이 장치, 휘발성 및 비휘발성 메모리 같은 메모리, 마이크로프로세서 및 디지털 신호 프로세서와 같은 프로세서, 운영 체제, 드라이버, 그래픽 사용자 인터페이스 및 애플리케이션 프로그램과 같은 컴퓨터 엔티티(computational entities), 터치 패드 또는 스크린 같은 하나 이상의 상호작용 장치, 및/또는 피드백 루프 및 제어 모터(예를 들면, 위치 및/또는 속도를 감지하기 위한 피드백; 컴포넌트 및/또는 양(quantities)을 이동하고 및/또는 조정하기 위한 제어 모터)를 포함하는 제어 시스템 중 하나 이상을 일반적으로 포함한다는 것을 인식할 것이다. 전형적인 데이터 처리 시스템은 데이터 컴퓨팅/통신 및/또는 네트워크 컴퓨팅/통신 시스템에서 전형적으로 발견되는 바와 같은 임의의 적절한 상업적으로 이용 가능한 컴포넌트를 이용하여 구현될 수 있다.
여기에서 기술된 대상은 때때로 상이한 다른 컴포넌트 내에 포함되거나 접속된 상이한 컴포넌트를 도시한다. 도시된 그러한 아키텍처는 단순히 예시적인 것이고, 사실상 동일한 기능을 달성하는 다른 많은 아키텍처가 구현될 수 있다는 것이 이해되어야 한다. 개념적으로, 동일한 기능을 달성하기 위한 컴포넌트의 임의의 배치는 원하는 기능이 달성되도록 유효하게 "연관"된다. 이에 따라, 특정 기능을 달성하기 위해 여기서 결합된 임의의 두 개의 컴포넌트는, 아키텍처 또는 중간 컴포넌트와는 무관하게, 원하는 기능이 달성되도록 서로 "연관"된 것으로 볼 수 있다. 마찬가지로, 연관된 임의의 두 개의 컴포넌트는 또한 원하는 기능을 달성하기 위해 서로 "동작적으로 접속"되거나 또는 "동작적으로 연결"되는 것으로 간주될 수 있고, 그와 같이 연관될 수 있는 임의의 두 개의 컴포넌트는 또한 원하는 기능을 달성하기 위해 서로 "동작적으로 연결가능"한 것으로 볼 수 있다. 동작적으로 연결가능하다는 것의 특정예는 물리적으로 양립가능(mateable)하고 및/또는 물리적으로 인터액팅하는 컴포넌트 및/또는 무선으로 인터액팅이 가능하고 및/또는 무선으로 인터액팅하는 컴포넌트 및/또는 논리적으로 인터액팅하고 및/또는 논리적으로 인터액팅이 가능한 컴포넌트를 포함하지만, 이에 한정되는 것은 아니다.
여기에서 실질적으로 임의의 복수 및/또는 단수의 용어의 사용에 대하여, 당업자는 맥락 및/또는 응용에 적절하도록, 복수를 단수로 및/또는 단수를 복수로 해석할 수 있다. 다양한 단수/복수의 치환은 명확성을 위해 여기에서 명시적으로 기재될 수 있다.
당업자라면, 일반적으로 본 개시에 사용되며 특히 첨부된 청구범위(예를 들어, 첨부된 청구범위)에 사용된 용어들이 일반적으로 "개방적(open)" 용어(예를 들어, 용어 "포함하는"은 "포함하지만 이에 제한되지 않는"으로, 용어 "갖는"는 "적어도 갖는"으로, 용어 "포함하다"는 "포함하지만 이에 한정되지 않는" 등으로 해석되어야 함)로 의도되었음을 이해할 것이다. 또한, 당업자라면, 도입된 청구항의 기재사항의 특정 수가 의도된 경우, 그러한 의도가 청구항에 명시적으로 기재될 것이며, 그러한 기재사항이 없는 경우, 그러한 의도가 없음을 또한 이해할 것이다. 예를 들어, 이해를 돕기 위해, 이하의 첨부 청구범위는 "적어도 하나" 및 "하나 이상" 등의 도입 구절의 사용을 포함하여 청구항 기재사항을 도입할 수 있다. 그러나, 그러한 구절의 사용이, 부정관사 "하나"("a" 또는 "an")에 의한 청구항 기재사항의 도입이, 그러한 하나의 기재사항을 포함하는 예시들로, 그러한 도입된 청구항 기재사항을 포함하는 특정 청구항을 제한함을 암시하는 것으로 해석되어서는 안되며, 동일한 청구항이 도입 구절인 "하나 이상" 또는 "적어도 하나" 및 "하나"("a" 또는 "an")과 같은 부정관사(예를 들어, "하나"는 "적어도 하나" 또는 "하나 이상"을 의미하는 것으로 전형적으로 해석되어야 함)를 포함하는 경우에도 마찬가지로 해석되어야 한다. 이는 청구항 기재사항을 도입하기 위해 사용된 정관사의 경우에도 적용된다. 또한, 도입된 청구항 기재사항의 특정 수가 명시적으로 기재되는 경우에도, 당업자라면 그러한 기재가 전형적으로 적어도 기재된 수(예를 들어, 다른 수식어가 없는 "두 개의 기재사항"을 단순히 기재한 것은, 전형적으로 적어도 두 개의 기재사항 또는 두 개 이상의 기재사항을 의미함)를 의미하도록 해석되어야 함을 이해할 것이다. 또한, "A, B 및 C 등 중의 적어도 하나"와 유사한 규칙이 사용된 경우에는, 일반적으로 그러한 해석은 당업자가 그 규칙을 이해할 것이라는 전제가 의도된 것이다(예를 들어, "A, B 및 C 중의 적어도 하나를 갖는 시스템"은, A만을 갖거나, B만을 갖거나, C만을 갖거나, A 및 B를 함께 갖거나, A 및 C를 함께 갖거나, B 및 C를 함께 갖거나, A, B, 및 C를 함께 갖는 시스템 등을 포함하지만 이에 제한되지 않음). "A, B 또는 C 등 중의 적어도 하나"와 유사한 규칙이 사용된 경우에는, 일반적으로 그러한 해석은 당업자가 그 규칙을 이해할 것이라는 전제가 의도된 것이다(예를 들어, "A, B 또는 C 중의 적어도 하나를 갖는 시스템"은, A만을 갖거나, B만을 갖거나, C만을 갖거나, A 및 B를 함께 갖거나, A 및 C를 함께 갖거나, B 및 C를 함께 갖거나, A, B, 및 C를 함께 갖는 시스템 등을 포함하지만 이에 제한되지 않음). 또한 당업자라면, 실질적으로 임의의 이접 접속어(disjunctive word) 및/또는 두 개 이상의 대안적인 용어들을 나타내는 구절은, 그것이 상세한 설명, 청구범위 또는 도면에 있는 지와 상관없이, 그 용어들 중의 하나, 그 용어들 중의 어느 하나, 또는 그 용어들 두 개 모두를 포함하는 가능성을 고려했음을 이해할 것이다. 예를 들어, "A 또는 B"라는 구절은 "A" 또는 "B" 또는 "A 및 B"의 가능성을 포함하는 것으로 이해될 것이다.
추가적으로, 개시의 특징 또는 양태가 마쿠시(Markush) 그룹으로 기술되는 경우, 개시는 마쿠시 그룹의 임의의 개별 요소 또는 요소들의 하위 그룹 역시 포함하고 있다는 것을 당업자는 인식할 것이다.
당업자에게 이해될 것과 같이, 임의의 그리고 모든 목적에서든, 기술 내용을 제공하는 것 등에 있어서, 여기에 개시되어 있는 모든 범위는 임의의 그리고 모든 가능한 하위범위와 그러한 하위범위의 조합을 또한 포함한다. 임의의 열거된 범위는 적어도 1/2, 1/3, 1/4, 1/5, 1/10 등으로 나누어지는 동일한 범위를 충분히 설명하고 실시가능하게 하는 것으로서 쉽게 인식될 수 있다. 제한하지 않는 예시로서, 여기서 논의되는 각각의 범위는 하위 1/3, 중앙 1/3, 상위 1/3 등으로 나누어질 수 있다. 또한, "까지", "적어도", "보다 많은", "보다 적은" 등과 같은 언어는 기재된 수를 포함하며, 전술한 하위범위로 후속적으로 나누어질 수 있는 범위를 지칭함이 당업자에게 이해되어야 한다. 마지막으로, 범위는 각각의 개별 요소를 포함함이 이해되어야 한다. 따라서, 예를 들어, 1-3개의 셀을 갖는 그룹은 1, 2 또는 3개의 셀을 갖는 그룹들을 의미한다. 유사하게, 1-5개의 셀을 갖는 그룹은 1, 2, 3, 4 또는 5개의 셀을 갖는 그룹을 의미한다.
다양한 양상 및 예시들이 여기에서 개시되었지만, 다른 양상 및 예시들이 당업자에게 명확할 것이다. 본 개시에 기재된 다양한 양상 및 예시는 예시의 목적으로 제시된 것이고, 제한하려고 의도된 것이 아니며, 진정한 범위와 사상은 이하 청구범위에 의해 나타낸다.

Claims (27)

  1. 증강된 데이터를 디스플레이하기 위한 시스템으로서,
    프로세서; 및
    상기 프로세서에 통신 가능하게 결합된 메모리
    를 포함하고,
    상기 메모리는 상기 프로세서에 의한 실행에 응답하여, 상기 시스템으로 하여금, 적어도,
    사용자 장치와 연관된 전후 상황(context)에 기초하여 증강 데이터를 결정하는 것 - 상기 증강 데이터는 복수의 증강(augmentation)을 포함하고, 복수의 물리적 현장(venue) 중 하나와 연관된 상기 복수의 증강 각각은 특정 물리적 현장을 포함함 - ;
    클러스터를 생성하고 상기 생성된 클러스터로 상기 증강 데이터를 그룹화하는 것 - 각각의 클러스터는 상기 복수의 물리적 현장 중 하나를 나타냄 - ; 및
    상기 생성된 클러스터를 위한 렌더링 형식을 결정하는 것을 하게 하는 프로세서 명령어를 저장하고,
    상기 렌더링 형식은 상기 생성된 클러스터의 개념적인 표현(conceptual representation)을 나타내고, 클러스터의 개념적인 표현은 상기 클러스터로 그룹화된 증강의 조합을 나타내고 상기 클러스터 내 각각의 증강과 상이하며, 그리고 상기 특정 물리적 현장과 연관된 상기 클러스터 중 특정 클러스터를 위한 렌더링 형식은 상기 특정 클러스터로 그룹화된 증강의 조합에 기초하고 상기 특정 물리적 현장과 연관되어 나타나도록 구성되는 것인, 시스템.
  2. 제1항에 있어서,
    상기 메모리는, 상기 프로세서에 의한 실행에 응답하여, 상기 시스템으로 하여금, 이전에 전송된 증강 데이터의 일부를 제거하여 상기 이전에 전송된 증강 데이터의 서브세트를 정의하고, 상기 서브세트, 상기 서브세트를 위한 렌더링 형식, 상기 생성된 클러스터 및 상기 생성된 클러스터를 위한 상기 렌더링 형식을 전송하는 것을 하게 하는 프로세서 명령어를 더 저장하는 것인, 시스템.
  3. 제1항에 있어서,
    상기 증강 데이터를 결정하는 것은, 저장소로부터 증강 데이터를 검색하는 것을 포함하고, 상기 전후 상황은 상기 사용자 장치와 연관된 물리적인 가상 환경에 대한 정보를 포함하는 것인, 시스템.
  4. 제1항에 있어서,
    상기 클러스터를 생성하는 것은,
    상기 증강 데이터의 속성을 분석하는 것;
    상기 분석된 속성에 기초하여 클러스터의 클래스를 생성하는 것;
    상기 생성된 클래스를 설명(descriptions)과 연관시키는 것; 및
    상기 설명에 기초하여 상기 클래스 내의 상기 클러스터로 상기 증강 데이터를 그룹화하는 것을 포함하는 것인, 시스템.
  5. 제4항에 있어서,
    상기 증강 데이터의 속성을 분석하는 것은 알고리즘의 라이브러리로부터 하나 이상의 클러스터링 알고리즘을 결정하는 것 및 상기 증강 데이터로 상기 하나 이상의 클러스터링 알고리즘을 적용시켜 상기 속성을 도출하고 상기 클래스와 연관될 상기 설명을 생성하는 것을 포함하고, 상기 하나 이상의 클러스터링 알고리즘을 결정하는 것은 상기 전후 상황 및 상기 증강 데이터에 기초하는 것인, 시스템.
  6. 제1항에 있어서,
    상기 생성된 클러스터를 위한 렌더링 형식을 결정하는 것은 상기 그룹화된 증강 데이터에 기초하여 상기 클러스터를 위해 결정된 속성을 도출하는 것 및 상기 도출된 속성을 사용하여 상기 생성된 클러스터의 상기 개념적인 표현(conceptual representations)을 생성하는 것을 포함하는 것인, 시스템.
  7. 제6항에 있어서,
    상기 생성된 클러스터의 상기 개념적인 표현은 상기 클러스터에 의해 나타나는 상기 속성의 시각적, 청각적 및 촉각적 표현을 포함하는 것인, 시스템.
  8. 제6항에 있어서,
    상기 속성을 도출하는 것은 상기 그룹화된 증강 데이터를 분석하여 상기 그룹화된 증강 데이터의 외형, 행동 및 상호대화(interactivity) 속성을 결정하는 것을 포함하는 것인, 시스템.
  9. 제8항에 있어서,
    상기 외형 속성은 상기 증강 데이터에 공통적인 표정(look), 소리 및 기분 특성을 포함하는 것인, 시스템.
  10. 제8항에 있어서,
    상기 행동 속성은 상기 증강 데이터에 공통적인 행동을 포함하는 것인, 시스템.
  11. 제8항에 있어서,
    상기 상호대화 속성은 상기 증강 데이터에 공통적인 활동을 포함하는 것인, 시스템.
  12. 컴퓨팅 장치 상의 증강 현실 데이터를 렌더링하기 위한 방법으로서,
    상기 컴퓨팅 장치에 의해, 증강 현실 서비스로 상기 컴퓨팅 장치의 전후 상황을 발송하는 단계;
    상기 증강 현실 서비스로부터 증강 현실 데이터의 하나 이상의 그룹화를 포함하는 클러스터를 나타내는 데이터를 수신하는 단계 - 상기 데이터는 상기 전후 상황에 기초하여 생성되고 상기 클러스터를 위한 형식을 포함하며, 상기 형식은 상기 클러스터에서 그룹화된 증강 현실 데이터를 나타내고, 그리고 상기 형식 각각은 가상 이미지의 아바타의 형태에서 각각의 대응하는 클러스터에 의해 나타나는 그룹화된 증강 현실 데이터의 시각적 속성을 나타내는 감각 표현을 포함함 - ; 및
    상기 수신된 데이터에 기초하여 상기 클러스터를 렌더링하는 단계
    를 포함하는 방법.
  13. 제12항에서,
    상기 컴퓨팅 장치에 의해, 상기 수신된 클러스터로부터 제외된 추가적인 증강 현실 데이터를 수신하는 단계; 및
    상기 수신된 클러스터 및 상기 추가적인 증강 현실 데이터를 렌더링하는 단계
    를 더 포함하는 방법.
  14. 제12항에 있어서,
    상기 클러스터는 상기 발송된 전후 상황 및 상기 증강 현실 데이터에 기초하여 복수의 클러스터링 알고리즘을 결정하고 상기 복수의 클러스터링 알고리즘은 상기 증강 현실 데이터에 적용함으로써 생성되는 것인, 방법.
  15. 삭제
  16. 제14항에 있어서,
    상기 감각 표현은 상기 생성된 클러스터에 의해 나타나는 상기 속성의 시각적, 청각적 및 촉각적 표현을 포함하는 것인, 방법.
  17. 제14항에 있어서,
    상기 생성된 클러스터에 의해 나타나는 상기 속성은 상기 생성된 클러스터로 그룹화된 상기 하나 이상의 증강 현실 데이터의 외형, 행동 및 상호대화로부터 도출되는 것인, 방법.
  18. 비일시적 컴퓨터 판독가능 저장 매체로서, 하나 이상의 프로세서에 의한 실행에 응답하여, 상기 하나 이상의 프로세서로 하여금,
    사용자 장치의 전후 상황의 식별에 응답하여 증강(augmentations)을 결정하는 것 - 물리적 현장 중 하나와 연관된 상기 증강 각각은 특정 물리적 현장을 포함함 - ;
    상기 증강을 클러스터로 그룹화하는 것 - 각각의 클러스터는 상기 물리적 현장 중 하나를 나타냄 - ;
    상기 클러스터에 대한 정보를 도출하는 것 - 상기 정보는 상기 클러스터로 그룹화된 상기 증강을 반영하는 상기 클러스터의 개념적인 표현을 나타내고, 상기 정보는 상기 클러스터로 그룹화된 상기 증강의 개념적인 설명을 포함하며, 상기 개념적인 설명은 상기 클러스터로 그룹화된 상기 증강의 속성에 기초함 -; 및
    상기 정보에 기초하여 상기 클러스터를 렌더링하는 것 - 상기 정보에 기초하여 상기 클러스터를 렌더링하는 것은 특정 클러스터로 그룹화된 증강의 조합에 기초하여 상기 특정 물리적 현장과 연관된 상기 클러스터 중 상기 특정 클러스터를 렌더링하는 것을 포함함 -
    을 수행하거나 수행하게 하는 명령어를 저장하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  19. 제18항에 있어서,
    상기 증강을 클러스터로 그룹화하는 것은,
    적어도 상기 증강에 기초하여 클러스터링 알고리즘을 결정하는 것;
    상기 클러스터링 알고리즘을 상기 증강에 적용시켜 상기 증강의 속성을 분석하는 것;
    상기 분석된 속성에 기초하여 계층적인 카테고리 구조로 클러스터의 클래스를 생성하는 것;
    각각의 생성된 클러스터의 클래스에 상기 분석된 속성에 기초하여 컨셉 설명을 태그(tag)하는 것; 및
    상기 컨셉 설명을 사용하여 상기 클래스 내의 상기 클러스터로 상기 증강을 소팅(sort)하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  20. 제18항에 있어서,
    상기 클러스터에 대한 정보를 도출하는 것은 상기 클러스터의 속성을 도출하는 것을 포함하고, 상기 도출된 속성은 상기 클러스터로 그룹화된 상기 증강의 적어도 행동, 외형 및 상호대화를 나타내고, 상기 개념적인 표현은 상기 도출된 속성에 따라 상기 클러스터를 렌더링하기 위한 시각적, 청각적 및 촉각적 정보를 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  21. 제1항에 있어서,
    상기 렌더링 형식은 주어진 클러스터에서 그룹화된 증강 데이터의 간략화된 표현을 포함하는 것인, 시스템.
  22. 제1항에 있어서,
    상기 메모리는, 상기 프로세서에 의한 실행에 응답하여, 상기 시스템으로 하여금, 가상 이미지를 생성하도록 장면의 이미지와 표본(exemplar)으로 상기 렌더링 형식을 결합하는 것을 하게 하는 프로세서 명령어를 더 저장하고, 상기 증강의 속성은 상기 가상 이미지에서 아바타를 포함하는 증강의 시각적 속성인 것인, 시스템.
  23. 제22항에 있어서,
    이미지 캡처 장치를 더 포함하고,
    상기 메모리는, 상기 프로세서에 의한 실행에 응답하여, 상기 이미지 캡처 장치로 하여금, 상기 장면의 상기 이미지를 디스플레이하기 위한 데이터를 캡처하는 것을 하게 하는 프로세서 명령어를 더 저장하는 것인, 시스템.
  24. 제22항에 있어서,
    상기 장면은 좌표의 제1 세트와 연관되고, 상기 렌더링 형식은 좌표의 제2 세트와 연관되며,
    상기 메모리는, 상기 프로세서에 의한 실행에 응답하여, 상기 시스템으로 하여금, 상기 렌더링 형식을 상기 좌표의 제1 세트 및 상기 좌표의 제2 세트에 기초하여 상기 장면의 상기 이미지와 정렬하는 것을 하게 하는 프로세서 명령어를 더 저장하는 것인, 시스템.
  25. 제12항에 있어서,
    상기 렌더링된 형식 중 각각의 것은 각각의 클러스터로 그룹화된 상기 증강 현실 데이터의 간략화된 표현을 포함하는 것인, 방법.
  26. 제18항에 있어서,
    상기 렌더링된 클러스터는 주어진 클러스터에서 상기 증강의 간략화된 표현을 포함하는 것인, 비일시적 컴퓨터 판독가능 저장 매체.
  27. 제18항에 있어서,
    상기 증강의 속성은 가상 이미지에서 아바타를 포함하는 증강의 시각적 속성인 것인, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020157007902A 2012-08-27 2012-08-27 증강 현실 표본 생성 KR101780034B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/052505 WO2014035367A1 (en) 2012-08-27 2012-08-27 Generating augmented reality exemplars

Publications (2)

Publication Number Publication Date
KR20150046313A KR20150046313A (ko) 2015-04-29
KR101780034B1 true KR101780034B1 (ko) 2017-09-19

Family

ID=50184012

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157007902A KR101780034B1 (ko) 2012-08-27 2012-08-27 증강 현실 표본 생성

Country Status (5)

Country Link
US (2) US9607436B2 (ko)
EP (1) EP2888876A4 (ko)
JP (1) JP5980432B2 (ko)
KR (1) KR101780034B1 (ko)
WO (1) WO2014035367A1 (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180035243A (ko) 2012-08-24 2018-04-05 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 가상 현실 어플리케이션
EP2891068A4 (en) * 2012-08-31 2016-01-20 Hewlett Packard Development Co ACTIVE REGIONS OF AN IMAGE COMPRISING ACCESSIBLE LINKS
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US9092818B2 (en) 2013-01-31 2015-07-28 Wal-Mart Stores, Inc. Method and system for answering a query from a consumer in a retail store
CN103886198B (zh) * 2014-03-17 2016-12-07 腾讯科技（深圳）有限公司 一种数据处理的方法、终端、服务器及系统
US20150317057A1 (en) * 2014-05-02 2015-11-05 Electronics And Telecommunications Research Institute Navigation apparatus for providing social network service (sns) service based on augmented reality, metadata processor, and metadata processing method in augmented reality navigation system
US20150356068A1 (en) * 2014-06-06 2015-12-10 Microsoft Technology Licensing, Llc Augmented data view
US9277180B2 (en) * 2014-06-30 2016-03-01 International Business Machines Corporation Dynamic facial feature substitution for video conferencing
US9204098B1 (en) 2014-06-30 2015-12-01 International Business Machines Corporation Dynamic character substitution for web conferencing based on sentiment
BR112017006492A8 (pt) * 2014-09-29 2022-11-16 Aurasma Ltd Campanha de direcionamento em realidade aumentada
US20160112479A1 (en) * 2014-10-16 2016-04-21 Wipro Limited System and method for distributed augmented reality
US10565560B2 (en) * 2014-11-12 2020-02-18 Successfactors, Inc. Alternative people charting for organizational charts
US10042832B1 (en) * 2015-01-16 2018-08-07 Google Llc Systems and methods for stacking marginal annotations
JP6344311B2 (ja) * 2015-05-26 2018-06-20 ソニー株式会社 表示装置、情報処理システム及び制御方法
US10169917B2 (en) 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
US10235808B2 (en) 2015-08-20 2019-03-19 Microsoft Technology Licensing, Llc Communication system
US9779327B2 (en) * 2015-08-21 2017-10-03 International Business Machines Corporation Cognitive traits avatar for similarity matching
US10762132B2 (en) * 2015-10-29 2020-09-01 Pixured, Inc. System for referring to and/or embedding posts, videos or digital media within another post, video, digital data or digital media within 2D, 3D, 360 degree or spherical applications whereby to reach convergence or grouping
US10154191B2 (en) 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
US10762429B2 (en) * 2016-05-18 2020-09-01 Microsoft Technology Licensing, Llc Emotional/cognitive state presentation
US9762851B1 (en) * 2016-05-31 2017-09-12 Microsoft Technology Licensing, Llc Shared experience with contextual augmentation
KR101870407B1 (ko) * 2016-06-21 2018-06-28 한양대학교 에리카산학협력단 소셜 네트워크 서비스를 이용한 증강현실 제공 시스템
KR101865875B1 (ko) * 2016-06-21 2018-07-11 한양대학교 에리카산학협력단 소셜 네트워크 서비스를 이용한 증강현실 제공 방법
US10002454B2 (en) 2016-09-16 2018-06-19 International Business Machines Corporation Reactive overlays of multiple representations using augmented reality
JP6808419B2 (ja) * 2016-09-26 2021-01-06 キヤノン株式会社 画像処理システム及びその制御方法
EP3559785B1 (en) 2016-12-21 2021-02-03 PCMS Holdings, Inc. Systems and methods for selecting spheres of relevance for presenting augmented reality information
WO2018152109A1 (en) * 2017-02-20 2018-08-23 Pcms Holdings, Inc. Dynamically presenting augmented reality information for reducing peak cognitive demand
US10379606B2 (en) * 2017-03-30 2019-08-13 Microsoft Technology Licensing, Llc Hologram anchor prioritization
US20180300916A1 (en) * 2017-04-14 2018-10-18 Facebook, Inc. Prompting creation of a networking system communication with augmented reality elements in a camera viewfinder display
US10621417B2 (en) * 2017-04-16 2020-04-14 Facebook, Inc. Systems and methods for generating content
US10373390B2 (en) * 2017-11-17 2019-08-06 Metatellus Oü Augmented reality based social platform
US10846532B2 (en) * 2018-02-27 2020-11-24 Motorola Solutions, Inc. Method and apparatus for identifying individuals using an augmented-reality application
US20200380486A1 (en) 2018-03-20 2020-12-03 Rocky Jerome Wright Augmented reality and messaging
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US11030811B2 (en) 2018-10-15 2021-06-08 Orbit Technology Corporation Augmented reality enabled layout system and method
GB201817061D0 (en) 2018-10-19 2018-12-05 Sintef Tto As Manufacturing assistance system
US11321411B1 (en) * 2018-12-28 2022-05-03 Meta Platforms, Inc. Systems and methods for providing content
US11048391B2 (en) * 2019-01-03 2021-06-29 International Business Machines Corporation Method, system and computer program for copy and paste operations
US11024089B2 (en) 2019-05-31 2021-06-01 Wormhole Labs, Inc. Machine learning curated virtualized personal space
US11886767B2 (en) 2022-06-17 2024-01-30 T-Mobile Usa, Inc. Enable interaction between a user and an agent of a 5G wireless telecommunication network using augmented reality glasses

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030009469A1 (en) * 2001-03-09 2003-01-09 Microsoft Corporation Managing media objects in a database
US20120102050A1 (en) * 2009-07-01 2012-04-26 Simon James Button Systems And Methods For Determining Information And Knowledge Relevancy, Relevent Knowledge Discovery And Interactions, And Knowledge Creation

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037936A (en) 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
US5874966A (en) 1995-10-30 1999-02-23 International Business Machines Corporation Customizable graphical user interface that automatically identifies major objects in a user-selected digitized color image and permits data to be associated with the major objects
US5835094A (en) 1996-12-31 1998-11-10 Compaq Computer Corporation Three-dimensional computer environment
US6252597B1 (en) 1997-02-14 2001-06-26 Netscape Communications Corporation Scalable user interface for graphically representing hierarchical data
US7073129B1 (en) 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US8341553B2 (en) 2000-02-17 2012-12-25 George William Reed Selection interface systems and methods
JP3871904B2 (ja) 2001-06-07 2007-01-24 日立ソフトウエアエンジニアリング株式会社 樹状図表示方法
US7653212B2 (en) 2006-05-19 2010-01-26 Universal Electronics Inc. System and method for using image data in connection with configuring a universal controlling device
WO2004003705A2 (en) 2002-06-27 2004-01-08 Small World Productions, Inc. System and method for locating and notifying a user of a person, place or thing having attributes matching the user's stated prefernces
US20050039133A1 (en) 2003-08-11 2005-02-17 Trevor Wells Controlling a presentation of digital content
US7313574B2 (en) 2003-10-02 2007-12-25 Nokia Corporation Method for clustering and querying media items
US7565139B2 (en) 2004-02-20 2009-07-21 Google Inc. Image-based search engine for mobile phones with camera
US20050289158A1 (en) 2004-06-25 2005-12-29 Jochen Weiss Identifier attributes for product data stored in an electronic database
EP1810182A4 (en) 2004-08-31 2010-07-07 Kumar Gopalakrishnan METHOD AND SYSTEM FOR PROVIDING INFORMATION SERVICES RELEVANT TO VISUAL IMAGE
US8370769B2 (en) 2005-06-10 2013-02-05 T-Mobile Usa, Inc. Variable path management of user contacts
US7728869B2 (en) 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
US20070050468A1 (en) 2005-08-09 2007-03-01 Comverse, Ltd. Reality context menu (RCM)
US7836065B2 (en) 2005-11-01 2010-11-16 Sap Ag Searching multiple repositories in a digital information system
US7725077B2 (en) 2006-03-24 2010-05-25 The Invention Science Fund 1, Llc Wireless device with an aggregate user interface for controlling other devices
US7913192B2 (en) 2006-03-31 2011-03-22 Research In Motion Limited Methods and apparatus for retrieving and displaying map-related data for visually displayed maps of mobile communication devices
JP5029874B2 (ja) * 2006-12-28 2012-09-19 富士通株式会社 情報処理装置、情報処理方法、情報処理プログラム
US7752207B2 (en) 2007-05-01 2010-07-06 Oracle International Corporation Crawlable applications
US8290513B2 (en) 2007-06-28 2012-10-16 Apple Inc. Location-based services
US8281240B2 (en) * 2007-08-23 2012-10-02 International Business Machines Corporation Avatar aggregation in a virtual universe
US8180396B2 (en) 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
US8264505B2 (en) * 2007-12-28 2012-09-11 Microsoft Corporation Augmented reality and filtering
US8762285B2 (en) * 2008-01-06 2014-06-24 Yahoo! Inc. System and method for message clustering
US9503562B2 (en) 2008-03-19 2016-11-22 Universal Electronics Inc. System and method for appliance control via a personal communication or entertainment device
US20090262084A1 (en) 2008-04-18 2009-10-22 Shuttle Inc. Display control system providing synchronous video information
US9870130B2 (en) 2008-05-13 2018-01-16 Apple Inc. Pushing a user interface to a remote device
US9311115B2 (en) 2008-05-13 2016-04-12 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
US8711176B2 (en) 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US8260320B2 (en) 2008-11-13 2012-09-04 Apple Inc. Location specific content
US9342231B2 (en) 2008-12-29 2016-05-17 Apple Inc. Remote control of a presentation
US7870496B1 (en) 2009-01-29 2011-01-11 Jahanzeb Ahmed Sherwani System using touchscreen user interface of a mobile device to remotely control a host computer
US20130124311A1 (en) 2009-03-23 2013-05-16 Sujai Sivanandan System and Method for Dynamic Integration of Advertisements in a Virtual Environment
WO2010134319A1 (ja) 2009-05-18 2010-11-25 Yanase Takatoshi 知識ベースシステム、論理演算方法、プログラム、及び記録媒体
US8352465B1 (en) * 2009-09-03 2013-01-08 Google Inc. Grouping of image search results
KR101595762B1 (ko) 2009-11-10 2016-02-22 삼성전자주식회사 휴대 단말기의 원격 제어 방법 및 이를 위한 시스템
US8850342B2 (en) * 2009-12-02 2014-09-30 International Business Machines Corporation Splitting avatars in a virtual world
KR101657565B1 (ko) 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
KR20110118421A (ko) 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
US20110161875A1 (en) 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
US8725706B2 (en) 2010-03-26 2014-05-13 Nokia Corporation Method and apparatus for multi-item searching
US8990702B2 (en) 2010-09-30 2015-03-24 Yahoo! Inc. System and method for controlling a networked display
US9021354B2 (en) 2010-04-09 2015-04-28 Apple Inc. Context sensitive remote device
US9361729B2 (en) 2010-06-17 2016-06-07 Microsoft Technology Licensing, Llc Techniques to present location information for social networks using augmented reality
US20110316845A1 (en) 2010-06-25 2011-12-29 Palo Alto Research Center Incorporated Spatial association between virtual and augmented reality
KR101329882B1 (ko) 2010-08-12 2013-11-15 주식회사 팬택 Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법
US20120075433A1 (en) 2010-09-07 2012-03-29 Qualcomm Incorporated Efficient information presentation for augmented reality
US9710554B2 (en) * 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
US20120212405A1 (en) 2010-10-07 2012-08-23 Benjamin Zeis Newhouse System and method for presenting virtual and augmented reality scenes to a user
JP5257437B2 (ja) 2010-10-20 2013-08-07 コニカミノルタビジネステクノロジーズ株式会社 携帯端末及び処理装置の操作方法
KR101357260B1 (ko) * 2010-10-22 2014-02-03 주식회사 팬택 증강 현실 사용자 인터페이스 제공 장치 및 방법
US8698843B2 (en) 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US8952983B2 (en) * 2010-11-04 2015-02-10 Nokia Corporation Method and apparatus for annotating point of interest information
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US8913085B2 (en) * 2010-12-22 2014-12-16 Intel Corporation Object mapping techniques for mobile augmented reality applications
US20120173979A1 (en) 2010-12-31 2012-07-05 Openpeak Inc. Remote control system and method with enhanced user interface
US20120182205A1 (en) 2011-01-18 2012-07-19 Schlumberger Technology Corporation Context driven heads-up display for efficient window interaction
US8929591B2 (en) 2011-03-08 2015-01-06 Bank Of America Corporation Providing information associated with an identified representation of an object
KR101829063B1 (ko) * 2011-04-29 2018-02-14 삼성전자주식회사 지도서비스에서 마커 표시방법
US9727132B2 (en) 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
TWI452527B (zh) 2011-07-06 2014-09-11 Univ Nat Chiao Tung 基於擴增實境與雲端計算之應用程式執行方法與系統
US9058331B2 (en) * 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
KR101343609B1 (ko) 2011-08-24 2014-02-07 주식회사 팬택 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법
JP5987299B2 (ja) 2011-11-16 2016-09-07 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US20130155108A1 (en) 2011-12-15 2013-06-20 Mitchell Williams Augmented Reality User Interaction Methods, Computing Devices, And Articles Of Manufacture
US10001918B2 (en) 2012-11-21 2018-06-19 Algotec Systems Ltd. Method and system for providing a specialized computer input device
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030009469A1 (en) * 2001-03-09 2003-01-09 Microsoft Corporation Managing media objects in a database
US20120102050A1 (en) * 2009-07-01 2012-04-26 Simon James Button Systems And Methods For Determining Information And Knowledge Relevancy, Relevent Knowledge Discovery And Interactions, And Knowledge Creation

Also Published As

Publication number Publication date
US20170263055A1 (en) 2017-09-14
JP2015534154A (ja) 2015-11-26
JP5980432B2 (ja) 2016-08-31
US20140204119A1 (en) 2014-07-24
WO2014035367A1 (en) 2014-03-06
EP2888876A1 (en) 2015-07-01
KR20150046313A (ko) 2015-04-29
US9607436B2 (en) 2017-03-28
EP2888876A4 (en) 2016-04-20

Similar Documents

Publication Publication Date Title
KR101780034B1 (ko) 증강 현실 표본 생성
US11715473B2 (en) Intuitive computing methods and systems
US10666784B2 (en) Intuitive computing methods and systems
JP5843207B2 (ja) 直観的コンピューティング方法及びシステム
KR101796008B1 (ko) 센서-기반 모바일 검색, 관련 방법들 및 시스템들
US11386625B2 (en) 3D graphic interaction based on scan
KR20210021138A (ko) 이미지 변경자들의 선택적 식별 및 순서화
KR102637042B1 (ko) 콘텐츠 아이템들의 재표출을 위한 메시징 시스템
US20220101033A1 (en) Visual matching with a messaging application
KR20230133404A (ko) 메시징 애플리케이션에서의 증강 현실 콘텐츠의 디스플레이
US20230091214A1 (en) Augmented reality items based on scan
US20220375137A1 (en) Presenting shortcuts based on a scan operation within a messaging system
KR20230025917A (ko) 여행과 연관된 증강 현실 기반 음성 번역
US20240073166A1 (en) Combining individual functions into shortcuts within a messaging system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant