KR20140038932A

KR20140038932A - 3차원 어플리케이션의 피처에서의 사용자 관심을 결정하기 위한 뷰 의존적인 기술들

Info

Publication number: KR20140038932A
Application number: KR1020137019393A
Authority: KR
Inventors: 포-펭 폴 양; 브라이언 에드몬드 브레윙톤; 찰스 차핀; 제임스 안토니 구게모스; 데일 호킨스; 마크 림버; 미하이 무두레; 브리세 스토우트; 신유 탕
Original assignee: 구글 인코포레이티드
Priority date: 2010-12-23
Filing date: 2011-12-20
Publication date: 2014-03-31
Also published as: JP2014507703A; CN103384881A; EP2656233A2; WO2012088086A3; EP2656233A4; US20120162225A1; WO2012088086A2; KR101876481B1; DE202011110877U1; JP5878555B2

Abstract

일반적으로, 본 발명의 양상들은 사용자 관심들을 판별하고 그리고 3D 모델과의 사용자 상호작용에 기초하여 관련 정보를 제공하는 것에 관련된다. 좀더 상세하게는, 사용자가 객체의 3D 모델(310, 410, 510, 610, 710)과 상호작용할 때, 예를 들면, 맵(320) 상에서 혹은 모델들(136)의 데이터베이스로부터, 객체에 대한 사용자의 뷰(view)는 상호작용의 위치(620, 720)(혹은 사용자가 객체 상에 클릭한 위치)와 함께 서버(110)로 전송될 수 있다. 이에 응답하여, 상기 뷰 및 클릭의 위치에 기초하여, 서버는 관련 컨텐츠(140)를 식별하고 그리고 이를 사용자 디바이스(160)로 전송한다.

Description

3차원 어플리케이션의 피처에서의 사용자 관심을 결정하기 위한 뷰 의존적인 기술들{VIEW DEPENDENT TECHNIQUES TO DETERMINE USER INTEREST IN A FEATURE IN A 3D APPLICATION}

관련 출원들의 상호-참조

본 출원은 2010년 12월 23일자로 출원된 미국특허출원(출원번호 12/977,316)의 계속출원으로서, 상기 미국출원은 본 발명에 대한 참조로서 본 명세서에 통합된다.

인터넷-기반의 다양한 서비스들은 사용자가 가령, 빌딩, 스테디움, 도로, 및 다른 지형적 피처들(topographical feature) 등과 같은 다양한 객체들의 3-차원(3D) 모델들을 포함하는 맵(map)을 보고 그리고 상기 맵과 상호작용(interact)하는 것을 허용한다. 예를 들어, 사용자는 소정 위치의 맵에 대한 서비스를 질의(query)할 수 있다. 이에 응답하여, 서버는 다양한 3차원 피처들을 갖는 맵을 수신할 수 있다. 사용자는 더 많은 정보를 획득하기 위하여 혹은 모델과 상호작용하기 위하여 3D 모델을 선택할 수 있는바 가령, 마우스 혹은 포인트로 클릭, 그랩(grabbing) 혹은 호버링(hovering)하거나 또는 손으로 집음(pinching)으로써 3D 모델을 선택할 수 있다.

일부 서비스들은 사용자가 빌딩, 스테디움, 배, 차량(vehicle), 호수, 나무 등등의 내부 혹은 외부와 같은 다양한 객체들의 3차원 모델을 업로드하거나 공유하는 것을 허용한다. 이러한 객체들은 제목, 설명 데이터, 사용자 리뷰, 관심 지점(point of interest : POI), 비즈니스 목록(business listing) 등과 같은 다양한 유형의 정보에 관련될 수 있다. 가령, 빌딩들과 같은 많은 객체들 및 모델들 그 자체는, 지오로케이트(geolocate)되거나 혹은 가령, 주소 혹은 지오로케이션 좌표들(geolocation coordinates)과 같은 지리적 위치에 관련될 수 있다. 예를 들어, 고층건물(sky scraper)에 대한 모델은 고층 건물들, 특정 도시의 건물들 등과 같은 하나 이상의 카테고리에 관련될 수 있다. 이에 관하여, 사용자는 모델들에 대한 데이터베이스를 검색할 수 있는바, 예를 들면, 관련된 제목, 지리적 위치, 설명, 객체 유형, 컬렉션(collection), 물리적 특징 등등에 기초하여 검색할 수 있다.

이들 3차원 어플리케이션들은 3D 객체들의 매우 상세한 기하학적(geometrical) 표현들을 포함할 수도 있지만, 이들은 객체 내의 특정 피처에 관한 세부 정보를 보유하지 못할 수도 있다. 사용자가 객체와 상호작용하는 때, 상기 서비스는 오직 상기 객체를 전체로서만 취급할 수도 있으며 그리고 매우 일반적으로 반응할 수도 있다. 달리 말하면, 상기 객체 상의 서로 다른 포인트들에서 상호작용을 할지라도 동일한 결과만이 얻어질 것인바 즉, 동일한 추가 정보가 도시되거나 혹은 사용자는 동일한 웹 페이지에 링크될 것이다. 이러한 점은, 사용자 경험(user experience)을 덜 사로잡을 것이며 그리고 돈벌 기회(monetization opportunity)를 잃게할 것이다.

일반적으로, 본 발명의 양상들은 사용자 관심들을 판별하고 그리고 3D 모델과의 사용자 상호작용에 기초하여 관련 정보를 제공하는 것에 관련된다. 좀더 상세하게는, 사용자가 객체의 3D 모델과 상호작용할 때(예를 들면, 맵 상에서 혹은 모델들의 데이터베이스로부터), 객체에 대한 사용자의 뷰(view)는 상호작용의 위치(혹은 사용자가 객체 상에 클릭한 위치)와 함께 서버로 전송될 수 있다. 이에 응답하여, 상기 뷰 및 클릭의 위치에 기초하여, 서버는 관련 컨텐츠를 식별하고 그리고 이를 사용자에게 전송한다.

본 발명의 일 양상은 사용자에게 디스플레이하도록 컨텐츠를 제공하기 위한, 컴퓨터로 구현되는 방법을 제공한다. 상기 방법은, 지오로케이션 정보(geolocation information)와 치수 정보(dimensional information)에 관련된 객체의 3D 모델을 식별하는 단계, 사용자 행위(user action) 및 사용자 행위의 3D 모델 상의 위치를 식별하는 정보를 클라이언트 디바이스로부터 수신하는 단계, 사용자 행위의 3D 모델 상의 위치, 지오로케이션 정보 및 치수 정보에 기초하여 지리적 위치(geographic location)를 프로세서에 의해서 판별하는 단계, 지리적 위치에 기초하여 컨텐츠를 식별하는 단계, 및 사용자에게 제공하기 위하여 컨텐츠를 클라이언트 디바이스로 전송하는 단계를 포함한다.

일실시예에서, 상기 객체는 빌딩이다. 다른 실시예에서, 사용자 행위를 식별하는 상기 정보는 상기 3D 모델 상의 클릭(click)이다. 다른 실시예에서, 상기 지리적 위치는 상기 3D 모델 혹은 상기 객체의 섹션(section)이며, 상기 컨텐츠는 상기 섹션에 기초하여 식별된다. 다른 실시예에서, 상기 컨텐츠는 광고이다. 다른 실시예에서, 사용자 행위의 위치를 식별하는 상기 정보는, 사용자 행위 당시의 3D 모델의 방위(orientation)를 포함한다. 다른 실시예에서, 상기 지오로케이션 정보는 포지션 좌표들(position coordinates)을 포함하며, 상기 치수 정보는 상기 객체의 높이, 폭, 및 깊이 정보 중 하나 이상을 포함한다. 다른 실시예에서, 상기 방법은 또한, 사용자 행위를 식별하는 상기 정보를 수신하는 것에 응답하여, 사용자 입력에 대한 요청을 전송하는 단계, 상기 사용자 입력을 수신하는 단계, 및 수신된 다른 입력과 함께 상기 사용자 입력을 상기 프로세서에 의해서 액세스될 수 있는 메모리에 저장하는 단계를 포함한다. 다른 실시예에서, 상기 수신된 다른 입력에 기초하여 상기 컨텐츠가 식별된다. 다른 실시예에서, 상기 방법은 또한, 상기 저장된 사용자 입력 및 수신된 다른 입력을 이용하여 상기 3D 모델 혹은 상기 객체를 2개 이상의 섹션들로 분할하는 단계, 및 사용자 행위 및 상기 사용자 행위의 3D 모델 상의 위치를 식별하는 수신된 상기 정보에 기초하여 상기 2개 이상의 섹션들 중 한 섹션을 식별하는 단계를 포함하며, 상기 컨텐츠를 식별하는 것은 상기 식별된 섹션에 또한 기초한다.

본 발명의 다른 양상은 컴퓨터를 제공한다. 컴퓨터는 프로세서와 상기 프로세서에 의해서 액세스될 수 있는 메모리를 포함한다. 프로세서는 지오로케이션 정보와 치수 정보에 관련된 객체의 3D 모델을 식별하고; 사용자 행위 및 상기 사용자 행위의 3D 모델 상의 위치를 식별하는 정보를 클라이언트 디바이스로부터 수신하고; 상기 사용자 행위의 상기 3D 모델 상의 위치, 상기 지오로케이션 정보 및 상기 치수 정보에 기초하여 지리적 위치를 판별하고; 상기 지리적 위치에 기초하여 컨텐츠를 식별하고; 그리고 사용자에게 제공하기 위하여 상기 컨텐츠를 상기 클라이언트 디바이스로 전송하도록 동작한다.

일실시예에서, 상기 객체는 빌딩이다. 다른 실시예에서, 사용자 행위를 식별하는 상기 정보는 상기 3D 모델 상의 클릭(click)이다. 다른 실시예에서, 상기 지리적 위치는 상기 3D 모델 혹은 상기 객체의 섹션(section)이며, 상기 컨텐츠는 상기 섹션에 기초하여 식별된다. 다른 실시예에서, 상기 컨텐츠는 광고이다. 다른 실시예에서, 사용자 행위의 위치를 식별하는 상기 정보는, 사용자 행위 당시의 3D 모델의 방위를 포함한다. 다른 실시예에서, 상기 지오로케이션 정보는 포지션 좌표들을 포함하며, 상기 치수 정보는 상기 객체의 높이, 폭, 및 깊이 정보 중 하나 이상을 포함한다. 다른 실시예에서, 상기 프로세서는 또한, 사용자 행위를 식별하는 상기 정보를 수신하는 것에 응답하여, 사용자 입력에 대한 요청을 전송하고; 상기 사용자 입력을 수신하고; 그리고 수신된 다른 입력과 함께 상기 사용자 입력을 상기 프로세서에 의해서 액세스될 수 있는 메모리에 저장하도록 동작한다. 다른 실시예에서, 상기 수신된 다른 입력에 기초하여 상기 컨텐츠가 식별된다. 다른 실시예에서, 상기 프로세서는 또한, 상기 저장된 사용자 입력 및 수신된 다른 입력을 이용하여 상기 3D 모델 혹은 상기 객체를 2개 이상의 섹션들로 분할하고; 그리고 사용자 행위 및 상기 사용자 행위의 3D 모델 상의 위치를 식별하는 수신된 상기 정보에 기초하여 상기 2개 이상의 섹션들 중 한 섹션을 식별하도록 동작하며, 상기 컨텐츠는 상기 식별된 섹션에 기초하여 식별된다.

도1은 본 발명의 일 양상에 따른 시스템의 기능적 다이어그램이다.
도2는 도1의 시스템의 다이어그램이다.
도3은 본 발명의 일 양상에 따른 예시적인 스크린 숏(screen shot)이다.
도4는 본 발명의 일 양상에 따른 다른 예시적인 스크린 숏이다.
도5는 본 발명의 일 양상에 따른 또 다른 예시적인 스크린 숏이다.
도6은 본 발명의 일 양상에 따른 예시적인 3D 모델이다.
도7은 본 발명의 일 양상에 따른 다른 예시적인 3D 모델이다.
도8은 본 발명의 일 양상에 따른 예시적인 순서도이다.

일실시예에서, 사용자들과 3D 모델과의 상호작용에 기초하여 컨텐츠가 사용자들에게 제공될 수 있다. 사용자가 특정 3D 모델과 상호작용하기 위하여 클라이언트 디바이스를 이용하는 경우, 사용자가 상기 특정 모델과 어떻게 상호작용했는지에 관한 정보, 예를 들면, 3D 모델 상의 클릭 및 3D 모델에 대한 뷰 포인트(view point)(예컨대, 카메라 각도, 방향 및 위치 등등)와 같은 액션의 위치는, 사용자의 허락과 함께 서버 컴퓨터로 전송될 수 있다. 서버는 정보 데이터베이스 혹은 다른 저장 시스템에 대한 액세스를 가질 수 있는데, 상기 데이터베이스 혹은 저장 시스템은 3D 모델들을 지리적 위치들에 상관시키고 그리고 이들 지리적 위치들을 다양한 유형의 컨텐츠(광고, 이미지, 웹 페이지 기타 등등)에 상관시킨다. 예를 들어, 지리적 위치는, 사용자 액션의 위치, 3D 모델에 관련된 지오로케이션 및 치수 정보(dimensional information), 뿐만 아니라 뷰 포인트에 기초하여 판별될 수 있다. 컨텐츠는 판별된 지리적 위치에 기초하여 식별될 수 있다. 이후 컨텐츠는 사용자에게 디스플레이되기 위하여 클라이언트 디바이스로 전송된다.

도1-2에 도시된 바와 같이, 본 발명의 일 양상에 따른 시스템(100)은 프로세서(120), 메모리(130) 및 범용 컴퓨터에 일반적으로 존재하는 다른 구성요소들을 갖는 컴퓨터(110)를 포함한다.

메모리(130)는 명령들(instructions)(132)과 데이터(134)를 포함하여 프로세서(120)에 의해서 액세스가능한 정보를 저장하는데 이는 프로세서(120)에 의해서 실행되거나 또는 다른 방법으로 이용될 수 있다. 메모리(130)는 프로세서에 의해서 액세스될 수 있는 정보를 저장할 수 있는 임의 유형의 메모리가 될 수 있는데, 컴퓨터 판독가능한 매체 혹은 하드-드라이브, 메모리 카드, 플래시 드라이브, ROM, RAM, DVD, 혹은 다른 광학 디스크 등과 같은 전자 디바이스의 도움으로 판독될 수 있는 데이터를 저장하는 다른 매체를 포함하며, 뿐만 아니라 기입-가능 혹은 판독-전용인 다른 메모리들을 포함한다. 이와 관련하여, 메모리는 단기(short term) 저장장치(혹은 일시적인 저장장치) 뿐만 아니라 장기(long term) 저장장치(혹은 영속적인 저장장치)를 포함한다. 본 발명의 양상들에 따른 시스템들 및 방법들은 전술한 것들의 서로 다른 조합들을 포함할 수 있는데 따라서 상기 명령들과 데이터의 다른 부분들이 다른 유형의 매체에 저장될 수도 있다.

명령들(132)은 프로세서에 의해서 직접적으로 실행될 수 있는 명령들(가령, 머신 코드) 혹은 간접적으로 실행될 수 있는 명령들(가령, 스크립트)의 임의의 세트가 될 수도 있다. 예를 들어, 명령들은 컴퓨터 코드로서 컴퓨터 판독가능한 매체에 저장될 수 있다. 이와 관련하여, "명령들(instructions)" 과 "프로그램" 이라는 용어는 본 명세서에서 상호호환적으로 이용될 수도 있다. 명령들은 프로세서에 의한 직접 프로세싱을 위한 객체 코드 형식(object code format)으로 저장될 수도 있으며 혹은 요청에 따라 해석되거나 혹은 미리 컴파일되는 독립적인 소스 코드 모듈들의 스크립트들 혹은 컬렉션들(collections)을 포함하는 임의의 다른 컴퓨터 언어로 저장될 수도 있다. 명령들의 함수들(functions), 메소드들(methods) 및 루틴들(routines)은 다음에 좀더 상세히 설명될 것이다.

데이터(134)는 명령(132)에 따라 프로세서(120)에 의하여 검색, 저장 혹은 수정될 수 있다. 예를 들면, 비록 임의의 특정한 데이터 스트럭처만으로 아키텍처가 한정되지는 않지만, 데이터는 컴퓨터 레지스터에 저장될 수 있으며, 혹은 복수의 서로 다른 필드들 및 레코드들, XML 문서들 또는 플랫 파일들(flat files)을 갖는 테이블로서 관련 데이터베이스에 저장될 수도 있다. 또한, 데이터는 임의의 컴퓨터 판독가능한 포맷으로 포맷될 수도 있다. 단지, 또 다른 일례로서, 이미지 데이터는 그래픽을 그리기 위한 컴퓨터 명령들 뿐만 아니라 픽셀들의 그리드들로 구성된 비트맵들로 저장될 수 있는데 이는 압축 혹은 압축해제, 무손실 혹은 손실, 및 비트맵 혹은 벡터-기반으로 압축 혹은 압축해제되는 포맷들에 따라 저장될 수 있다. 상기 데이터는 가령, 개수들(numbers), 서술 텍스트, 독점 코드들(proprietary code), 동일 메모리 혹은 다른 메모리들(다른 네트워크 위치들을 포함하여)의 다른 영역들에 저장된 데이터에 대한 참조들, 혹은 관련 데이터를 계산하기 위하여 함수에 의해 이용되는 정보 등과 같은 관련 정보를 식별하기에 충분한 임의의 정보를 포함할 수 있다.

프로세서(120)는 가령, 인텔 혹은 Advanced Micro Devices (AMD)의 프로세서들과 같은 임의의 통상적인 프로세서가 될 수 있다. 대안적으로, 프로세서는 ASIC와 같은 전용 컨트롤러가 될 수도 있다. 비록, 도1에서 프로세서와 메모리는 동일한 블록 내에 있는 것으로 기능적으로 예시되어 있지만, 해당 기술분야의 당업자라면, 상기 프로세서와 메모리가, 동일한 물리적인 하우징 내에 수납될 수도 혹은 수납되지 않을 수도 있는 다수의 프로세서들 및 메모리들을 실제로 포함할 수 있다는 점을 능히 이해할 것이다. 예를 들어, 메모리는 데이터 센터의 서버 팜(server farm)에 위치하는 하드 드라이브 혹은 다른 저장 매체가 될 수도 있다. 따라서, 프로세서, 컴퓨터, 혹은 메모리라는 언급은, 병렬로 동작할 수도 혹은 동작하지 않을 수도 있는 프로세서들, 컴퓨터들, 혹은 메모리들의 집합에 대한 언급을 포함하는 것으로 이해되어야 한다.

컴퓨터(110)는 네트워크(150)의 일 노드에 위치할 수 있으며 그리고 네트워크의 다른 노드들로부터 데이터를 직접 혹은 간접적으로 수신할 수도 있다. 예를 들어, 컴퓨터(110)는 네트워크(150)를 통해 클라이언트 디바이스들(160, 170)로부터 데이터를 수신할 수 있는 웹 서버를 포함할 수 있는바, 따라서 서버(110)는 네트워크(150)를 이용하여 사용자의 클라이언트 디바이스(170)의 디스플레이(165) 상에 정보를 전송 및 디스플레이한다. 서버(110)는 또한 정보를 수신, 프로세싱 및 클라이언트 디바이스로 송신하기 위해서 네트워크의 다른 노드들과 정보를 교환하는 복수의 컴퓨터들을 포함한다. 이 경우, 클라이언트 디바이스들은 서버(110)를 포함하는 임의의 컴퓨터들이 아니라 통상적으로 네트워크의 다른 노드들에 여전히 존재할 것이다.

네트워크(150), 및 서버(110)와 클라이언트 디바이스들 사이의 중간 노드들은 다양한 구성들을 포함할 수 있으며 다양한 프로토콜들을 이용할 수 있는데, 이러한 프로토콜들은 인터넷, 월드와이드 웹, 인트라넷, 가상 사설 네트워크(virtual 퍅셔미 ), 로컬 이더넷 네트워크, 하나 이상의 회사들이 소유한 통신 프로토콜들을 이용하는 사설 네트워크, 셀룰러 및 무선 네트워크(예컨대, WiFi), 인스턴트 메시징, HTTP 와 SMTP, 그리고 이들의 다양한 조합들을 포함한다. 비록, 오직 몇개의 컴퓨터만이 도1-2에 도시되어 있지만, 전형적인 시스템은 훨씬 더 많은 개수의 연결된 컴퓨터들을 포함할 수 있음을 유의해야 한다.

각각의 클라이언트 디바이스는 서버(110)와 유사하게, 전술한 바와 같은 프로세서, 메모리 및 명령들을 포함할 수 있다. 각각의 클라이언트 디바이스(160 혹은 170)는 개인(191-192)이 사용하도록 의도된 퍼스널 컴퓨터가 될 수도 있으며, 그리고 가령, 중앙 처리 장치(CPU)(162), 데이터(163)와 명령들(164)을 저장하는 메모리(예컨대, RAM 및 내부 하드 드라이브), 전자 디스플레이(165)(예컨대, 스크린을 갖는 모니터, 터치 스크린, 프로젝터, 텔레비전, 컴퓨터 프린터 혹은 정보를 디스플레이할 수 있는 임의의 다른 전자 디바이스), 최종 사용자 입력(166)(예컨대, 마우스, 키보드, 터치-스크린 혹은 마이크로폰) 등과 같은, 퍼스널 컴퓨터와 관련하여 통상적으로 이용되는 모든 구성요소들을 가질 수 있다. 클라이언트 디바이스는 또한, 카메라(167), 포지션 컴포넌트(168), 가속도계(accelerometer), 스피커, 네트워크 인터페이스 디바이스, 배터리 전원(169) 혹은 다른 파워 소스, 및 이들 구성요소들을 다른 구성요소들에 연결하는데 이용되는 모든 요소들을 포함할 수 있다.

비록, 클라이언트 디바이스(160 혹은 170) 각각은 풀-사이즈의 퍼스널 컴퓨터를 포함하지만, 대안적으로 이들은 포지션 컴포넌트(168)로부터 도출된 위치 정보를 포함하는 데이터를 가령, 인터넷과 같은 네트워크를 통해 서버와 무선으로 교환할 수 있는 모바일 디바이스를 포함할 수도 있다. 단지 일례로서, 클라이언트 디바이스(160)는 인터넷을 통해 정보를 획득할 수 있는 무선통신가능한 PDA 혹은 휴대폰이 될 수도 있다. 사용자는 소형 키보드, 키보드 혹은 터치 스크린을 이용하여 정보를 입력할 수 있다.

서버는 또한 다양한 객체들의 3D 모델들의 데이터베이스(136)에 액세스할 수 있다. 이들 3D 객체들은 모델의 창작자(혹은 업로드하는 사용자) 혹은 시스템의 다른 사용자들에 의해 제공되는 데이터에 관련될 수 있다. 각각의 모델에 대하여, 상기 데이터는, 하나 이상의 카데고리들, 지리적 위치들, 설명들, 사용자 리뷰들 등등을 포함할 수 있다. 상기 모델들은 사용자-지정된 컬렉션(user-designated collections)에 관련될 수 있다. 예를 들어, 사용자가 신규 모델을 데이터베이스에 업로드하는 경우, 사용자는 그 모델을 가령, "미드-센트리 모던(mid-century modern)" 혹은 "내가 좋아하는 것(stuff I like)" 등과 같은 하나 이상의 컬렉션들의 일부로 지정할 수도 있는바, 이는 동일한 컬렉션에 또한 관련된 다른 모델들과 상기 신규 모델을 관련시킨다. 이러한 정보는 데이터베이스를 인덱스화하고 검색하는데 이용될 수 있다.

또한, 서버는 맵 정보(138)에 액세스할 수 있다. 맵 정보는 빌딩들의 지리적 위치, 수로, POI, 도로의 형상 및 고도, 차선(lane line), 교차로 그리고 다른 피처들을 식별할 수 있는 매우 상세한 지도들을 포함할 수 있다. POI는 예를 들면, 비즈니스(가령, 소매점 위치, 주유소, 호텔, 슈퍼마켓, 식당 등등), 학교, 연방 정부 혹은 주 정부 건물들, 공원, 기념물 등을 포함할 수 있다. 일부 사례에서, 맵 정보는 예를 들면, 고도(혹은 높이), 폭, 길이, 기타 등등을 포함하는 객체의 치수 등과 같은, 피처들 그 자체에 관한 정보를 또한 포함할 수 있다. 이들 피처들 중 많은 것들이 3D 모델들과 관련될 수 있으며 따라서 상기 맵 정보는 다양한 위치들의 2D 혹은 3D 맵들을 디스플레이하는데 이용될 수도 있다.

본 발명에 따른 시스템 및 방법은, 가령, 위도/경도 포지션, 거리 주소, 거리 교차로(street intersections), 맵의 가장자리들에 대한 x-y 좌표(가령, 사용자가 맵을 클릭했을 때의 픽셀 위치), 빌딩들과 랜드마크들의 이름, 그리고 지리적 위치들을 식별할 수 있는 다른 기준 시스템에서의 다른 정보(예컨대, 측량도(survey map) 상의 로트 번호들과 블록 번호들) 등과 같이 서로 다른 방식으로 표현된 위치들을 프로세싱할 수 있다. 또한, 위치 맵은 전술한 것(foregoing)의 범위를 정의할 수 있다. 또한, 본 발명의 시스템들과 방법들은 하나의 기준 시스템에서 다른 하나의 기준 시스템으로 위치들을 변환할 수 있다. 예를 들어, 클라이언트(160)는 하나의 기준 시스템에 따라 식별된 위치(예컨대, "1600 Amphitheatre Parkway, Mountain View, CA" 등과 같은 거리 주소)를 다른 하나의 기준 시스템에 따라 식별된 위치(가령, 37.423021°, -122.083939 와 같은 위도/경도 좌표)로 변환하도록 지오코더에 액세스할 수도 있다. 이와 관련하여, 하나의 기준 시스템으로 표현된 위치들(가령, 거리 주소들)을 교환 혹은 프로세싱하는 것은, 다른 기준 시스템들에서도 또한 수신 혹은 프로세싱될 수 있다는 점을 유의해야 한다.

서버는 또한 지오로케이트된 컨텐츠 데이터베이스(140)에 액세스할 수 있다. 데이터베이스(140)의 컨텐츠는 지오로케이트된 광고물들, 비즈니스 목록들, 쿠폰들, 비디오들, 및 웹 페이지들을 포함할 수 있다. 예를 들어, 광고물 혹은 쿠폰은 특정한 지리적 포인트들 혹은 영역들과 관련될 수 있다. 몇몇 일례들에서, 지리적 영역 혹은 포인트는 오피스 빌딩의 3층 혹은 레스토랑의 출입문 등과 같은 객체에 관한 위치에 관련될 수 있다.

본 발명의 양상들에 따른 다양한 동작들이 이제 설명될 것이다. 다음의 동작들은 아래에 설명된 정확한 순서대로 수행될 필요는 없다는 점이 이해되어야만 한다. 이와 달리, 다양한 단계들이 다른 순서대로 혹은 동시에 처리될 수도 있으며, 그리고 단계들은 생략될 수도 있으며 및/또는 추가될 수도 있다.

사용자는 클라이언트 디바이스를 통하여 3D 모델에 액세스할 수 있다. 예를 들어, 사용자의 클라이언트 디바이스는 3D 맵에 대한 요청을 서버로 전송할 수 있다. 상기 요청은 특정 위치를 식별할 수 있다. 이에 응답하여, 서버는 하나 이상의 3D 객체들을 포함하는 적절한 맵 정보를 식별할 수 있다. 도3에 도시된 바와 같이, 사용자는 사용자의 클라이언트 디바이스 상의 디스플레이의 검색 박스(610)에 검색어를 입력할 수 있다. 이에 응답하여, 서버는 사용자의 클라이언트 디바이스 상에 디스플레이되도록 3D 맵 정보(320)와 검색 결과(330)를 제공할 수 있다. 3D 맵 정보는 도로(360) 및 교차로(340) 등과 같은 일부 피처들의 2D 표현들을 포함할 수 있으며, 뿐만 아니라 빌딩들(350) 등과 같은 다른 피처들의 3D 표현들도 포함할 수 있다. 사용자는 상기 맵에 표현된 객체들과 상호작용할 수 있다. 예를 들면, 도4에 도시된 바와 같이, 사용자는 빌딩(410) 위로 및/또는 빌딩(410)을 클릭하도록 마우스 아이콘(405)을 조작할 수 있으며 그리고 3D 모델의 뷰(view)를 구비한 팝업(420)을 수신할 수 있다. 사용자는 또한 마우스(405)를 이용하여 모델을 클릭함으로써 모델(410)을 선택할 수 있다. 이에 응답하여, 도5에 도시된 바와 같은 3D 모델(510) 및 다양한 다른 정보에 대한 디스플레이가 사용자에게 제공될 수 있다.

다른 일례에서는, 맵 정보를 요청하는 대신에, 사용자는 3D 모델들의 데이터베이스에 액세스할 수 있다. 사용자는 예를 들어, 위치 혹은 속성에 기초하여 데이터베이스에 질의(query)할 수 있으며, 그리고 검색 결과들의 리스트를 수신할 수 있다. 사용자는 객체에 대한 더 많은 정보를 보기 위하여 특정 검색 결과를 선택할 수도 있다. 예를 들면, 도5에 도시된 바와 같이, 모델(510)에 대한 디스플레이, 뿐만 아니라 모델에 대한 설명(520), 모델이 속한 컬렉션(530) 그리고 유사한 피처들을 공유하는 관련 모델들(540) 등과 같은 다른 정보가 사용자에게 제공될 수 있다. 사용자는 또한, 전술한 바와 같이 3D 모델과 상호작용할 수 있다.

전술한 바와 같이, 객체에 대한 뷰(view)를 변화시키도록 줌인(zoom in) 혹은 줌아웃(zoom out)함으로써, 객체를 클릭함으로써, 객체 상에 호버링(hovering)함으로써, 기타 등등에 의해서 사용자는 모델과 상호작용할 수 있다. 이러한 상호작용은 도3 및 도4에 도시된 바와 같이 맵 레벨에서 수행될 수도 있으며 혹은 도5에 도시된 바와 같이 개별 모델 기반으로 수행될 수도 있다. 설명의 간결함 및 용이성을 위하여, 아래에 설명된 도6 및 도7의 일례들은 하나의 3D 모델에 대하여 서술된다. 하지만, 이러한 모델은 도3 및 도4에 도시된 바와 같이 맵에 통합될 수 있음을 유의해야 한다.

사용자가 모델과 상호작용하게 되면, 소정의 정보가 서버로 전송될 수도 있다. 예를 들어, 사용자가 객체 상에 클릭하는 때, 상기 클릭 이벤트와 카메라 뷰포인트 정보(camera viewpoint information)(혹은 객체에 대한 사용자 뷰의 각도)가 캡처될 수 있으며 그리고 서버로 전송될 수 있다.

서버는 클릭 위치를 객체 상에 투영할 수 있는바, 이는 그것의 지오로케이션을 식별하기 위한 것이다. 예를 들면, 객체의 3D 모델을 보면서 사용자는 상기 모델 상에 클릭할 수 있다. 서버는 3D 모델의 뷰의 방위(orientation)를 수신하며, 그리고 모델 내의 객체 상에 클릭의 위치를 투영한다. 객체 그 자체(예를 들면, 물리적인 빌딩)는 위도 및 경도 쌍에 관련될 수 있으며 뿐만 아니라 여러 치수 정보(높이, 폭, 및 길이)에 관련될 수 있다. 이러한 정보를 이용하여, 서버는 클릭 위치의 위도, 경도, 및 고도(altitude)를 추정할 수 있다. 도6에 도시된 바와 같이, 사용자는 포인트(620)에서 모델(610)을 클릭할 수 있다(특정한 뷰포인트 605 에서). 다음을 유의해야 하는바, 상기 뷰포인트는 특정한 줌 레벨, 방위, 및 유사한 정보에 관련될 수 있다. 서버는 상기 클릭 및 모델의 뷰포인트를 수신하고 그리고 모델 상의 클릭에 대한 실제 위치를 판별한다.

다음으로, 서버는 맵 정보 내의 상기 객체에 관련된 지리적 위치 정보 및 치수 정보를 활용하여, 상기 클릭(더 정확히 말하면 상기 투영된 포인트)의 실제의 지리적 위치를 판별한다. 예를 들어, 서버는 객체의 위치(630)에서의 위도 및 경도 좌표를 이용할 수도 있으며 뿐만 아니라 높이, 폭, 및 깊이 정보(640)를 이용하여, 상기 클릭(더 정확히 말하면 포인트 620)의 지리적 위치를 판별한다.

다른 일례에서, 상기 모델은 도7에 도시된 바와 같이, 여러 섹션들로 분할될 수도 있다. 이러한 일례에서, 모델은 3개의 섹션들 1 ~ 3으로 분할된다. 사용자가 영역(area)을 클릭하는 경우, 서버는 클릭을 행한 때의 클릭의 위치 및 3D의 뷰포인트를 식별하는 정보를 수신한다. 위도, 경도 및 고도를 계산하는 대신에, 서버는 상기 섹션들 중 어떤 섹션이 클릭을 수신했는가에 기초하여 클릭의 지오로케이션을 결정할 수 있다. 예를 들어, 만일 사용자가 모델(710)의 창문(720)을 클릭한다면, 서버는 클릭이 섹션 1 내에 있다고 해석할 수 있다. 이와 유사하게, 사용자가 차양(awning)(730)을 클릭한다면, 서버는 상기 클릭이 섹션 3 내에 있다고 해석할 수 있다. 대안적으로, 서버는 도6과 관련하여 설명된 바와 같이 클릭의 위도, 경도, 및 고도를 계산할 수도 있으며 그리고 상기 클릭이 도7에 대하여 설명된 바와 같이 3D 모델의 기결정된 섹션들 중 어느 한 섹션에 속하는지를 결정할 수 있다. 예를 들어, 사용자는 그라운드 레벨(ground level)로부터 샌프란시스코 페리 터미널의 시계탑을 클릭할 수 있다. 시계탑 상에 상기 클릭을 투영하는 것은, 기준 포인트 혹은 사용자가 관심있어 하는 시계탑 상의 특정 위치를 확인(identify)할 수 있다.

서버가 클릭 위치의 지오로케이션를 식별하면, 서버는 컨텐츠 데이터베이스에서 클릭 포인트를 검색할 수 있는데, 이는 상기 포인트에 관련된 정보를 알아내기 위한 것이다. 다음으로 서버는 클릭 이벤트의 지점(site)에 대한 타겟된 정보를 생성할 수 있다. 예를 들어, 사용자는 도6 혹은 도7의 예시적인 빌딩(610 혹은 710)과 상호작용할 수 있다. 만일, 사용자가 빌딩의 꼭대기, 즉 섹션 1을 클릭한다면, 서버는 옥상 정원(rooftop garden)을 관광하는데 사용할 수 있는 할인 쿠폰을 보내줄 수 있다. 만일, 사용자가 빌딩의 기저부(base) 즉, 섹션 3을 클릭한다면, 서버는 상기 빌딩의 역사에 관한 정보를 디스플레이할 수도 있다. 만일, 사용자가 빌딩의 가운데 부분(middle) 즉, 섹션 2를 클릭한다면, 서버는 상기 클릭이 몇층에 대응하는지를 식별할 수 있으며 그리고 그 층에 있는 시설물(establishment)에 대한 비즈니스 목록(business listing)을 보내줄 수도 있다.

시계탑 대한 일례로 되돌아가서, 만일 서버가 시계탑에 대한 흥미로운 정보 또는 페리 터미널 혹은 주변 지역들에 대한 정보에 액세스한다면, 서버는 이러한 정보를 사용자의 클라이언트 디바이스에 제공할 수 있다. 다른 일례로서, 만일 사용자가 스키 리프트의 모델의 기저부(base)를 클릭한다면, 서버는 리프트 티켓 정보를 제공할 수 있으며 그리고 쿠폰을 제안할 수도 있다. 만일, 사용자가 산 꼭대기에서 동일한 모델을 클릭한다면, 서버는 스키 레슨에 대한 광고물, 코코아(hot chocolate) 혹은 다른 것들에 대한 할인들(discounts)을 제공할 수 있다. 만일, 사용자가 멀리 있는 아름다운 풍경을 클릭한다면, 서버는 유사한 풍경을 가진 리조트들을 검색할 수도 있으며 그리고 그 결과를 여행지 추천으로서 사용자에게 제공할 수 있다.

또 다른 일례에서, 사용자는 샌프란시스코의 Legion of Honor 박물관에 있는 조각상 "생각하는 사람(Thinker)" 을 클릭할 수도 있다. 서버는 사용자가 "생각하는 사람(Thinker)"에 관심이 있다고 인식할 수 있으며 그리고 동일한 장소에서 혹은 다른 장소들에서 "생각하는 사람(Thinker)"을 포함하고 있는 유사한 이미지들을 검색할 수 있다. 몇몇 일례들에서, 상기 클릭은 수익(revenue)을 만들어 내는데 이용될 수도 있다. 예를 들어, 서버는 모델들로의 링크 또는 "생각하는 사람"에 대한 선명한 잉크 프린트물을 제공할 수 있으며 그리고 수수료(commission)를 수금할 수 있다. 이와 유사하게, 서버는 "생각하는 사람"의 미니 조각상 판매(mini Thinker sculpture sales)에 대한 광고 혹은 온라인 소셜 페르소나를 위한 가상의 "생각하는 사람"(virtual Thinker)을 제공할 수도 있다. 다른 일례로서, 서버는 가령, 로댕(Rodin)이 만든 조각상에 대한 역사, 상기 박물관(the Legion)이 생각하는 사람의 소정 복제물을 어떻게 획득하였는지 기타 등등과 같은, 조각상에 대한 유용한 정보를 검색하여 사용자에게 제공할 수 있다. 또 다른 일례로서, 만일 사용자가 소정 영역 내의 객체들에 대한 다수의 3D 모델들을 조사한다면, 서버는 2 이상의 위치들을 고려하는 컨텐츠를 제공할 수도 있다. 예를 들어, 만일 사용자가 샌프란시스코에 있는 금문교와 알카트라즈 감옥(Alcatraz)에 대한 다른 모델들을 답사한다면, 서버는 샌프란시스코 주변의 서로 다른 인기있는 관광지(hotspot)에 대한 자동 투어(automated tour)를 제공할 수도 있다.

도8의 예시적인 순서도(800)에 도시된 바와 같이, 블록 810에서 서버는 지오로케이션 정보에 관련된 객체에 대한 3D 모델을 식별한다. 전술한 바와 같이, 이러한 식별은, 이전에 3D 모델을 사용자에게 제공하였던 서버에 기초할 수도 있다. 대안적으로는, 클라이언트 디바이스로부터 수신된 정보에 기초하여 3D 모델이 식별될 수도 있다(예를 들면, 블록 820에서 클라이언트 디바이스로부터 수신된 정보의 일부로서). 블록 820에 도시된 바와 같이, 서버는 3D 모델에 관련된 사용자 행위(user action)를 식별하는 정보를 클라이언트 디바이스로부터 수신한다. 수신된 정보는 또한, 사용자 행위 당시의, 3D 모델 상의 사용자 행위의 위치와 3D 모델의 뷰포인트(가령, 카메라 앵글, 방위, 및 포지션)를 식별한다. 블록 830에서 서버는 뷰포인트 뿐만 아니라 3D 모델에 관련된 사용자 행위의 위치, 지오로케이션 및 치수 정보에 기초하여 지리적 위치를 결정한다. 다음으로, 서버는 결정된 지리적 위치에 기초하여 컨텐츠를 식별한다. 이후 서버는 사용자에게 디스플레이하기 위하여 컨텐츠를 클라이언트 디바이스로 전송한다.

비록, 전술한 일례들에서는 사용자 상호작용이 "클릭"으로서 식별되고 있지만, 다른 유형의 행위들도 식별될 수 있으며, 이들 행위들의 위치들이 서버로 전송되고 그리고 컨텐츠를 식별하는데 이용될 수 있다는 점을 유의해야 한다. 예를 들면, 도4에 도시된 바와 같은 팝업을 읽는 것과 같이, 사용자가 소정의 연장된 기간 동안 객체 위에서 호버링한다면, 객체 상의 호버링의 위치가 서버로 전송될 수 있으며, 컨텐츠를 식별하는데 이용될 수 있다.

사용자 상호작용의 지리적 및 물리적 위치에 기초하여, 서버는 또한 모델에서의 사용자 관심 및 모델의 지리적 위치를 식별할 수 있다. 예를 들어, 서버는 클릭의 횟수 혹은 특정 각도를 보는데 소요된 시간량에 기초하여, 특정한 3D 모델의 각각의 영역에 대하여 사용자가 행한 상호작용의 양(amount)을 판별할 수 있다. 서버는 클릭 및 뷰 정보를 저장하며 그리고 객체에 대한 사용자의 관심이 일시적인 것인지(fleeting) 혹은 지속적인 것인지(sustain)를 식별하기 위하여 그리고 관련 컨텐츠를 식별하기 위하여 상기 사용자 정보를 이용할 수 있다. 예를 들어, 사용자들이 연장된 시간 기간 동안 모델 위에서 호버링(예컨대, 마우스 아이콘으로)하고 있음을 나타내는 정보를 서버가 수신한다면, 혹은 빈번한 클릭들을 서버가 수신한다면, 서버는 상기 행위에 관련된 지리적 영역 및/또는 모델(들)에 사용자들이 정말로(actually) 관심이 있다라고 결정할 수 있다. 서버는 이러한 피드백을 이용할 수 있으며 그리고 상기 영역 내의 모델 혹은 모델들에 대한 좀더 상세한 구분(more fine grained division)을 수행할 수 있다. 또한, 서버는 모델의 지리적 영역에서 좀더 상세한 이미지 분석을 수행하도록 자동화될 수도 있다. 사용자들이 컨텐츠를 생성하는(예를 들면, 3D 모델을 업로드함으로써) 일부 실시예들에서, 서버는 가령, "당신은 이것을 좋아합니까 ?" 혹은 "이것이 왜 흥미롭습니까 ?" 등과 같은 피드백을 상기 모델을 보는 다른 사용자들로부터 요청할 수도 있다.

바람직하게는, 사용자의 행위들에 관한 임의의 데이터에 대하여 프라이버시 보호가 제공될 수도 있는데, 이는 예컨대, 개인의 신원을 알 수 있는 정보의 익명화(anonymization of personally identifiable information), 데이터의 취합(aggregation), 민감한 정보의 필터링, 암호화, 사적인 속성들(personal attributes)을 제거하기 위한 민감한 데이터의 해싱(hashing) 혹은 필터링, 정보의 저장에 대한 시간 제한, 데이터 사용 혹은 공유에 대한 제한 등을 포함한다. 바람직하게는, 개별 사용자 데이터가 유출되지 않도록 데이터가 익명화되며 그리고 취합된다.

청구항들에 의해서 정의된 본 발명의 범위를 벗어남이 없이도, 앞서 설명된 피처들의 이들 및 다른 변형예들 및 조합들이 이용될 수 있기 때문에, 예시적인 실시예들에 대한 전술한 설명들은 청구항들에 의해서 정의된 본 발명을 제한하고자 의도된 것이 아니라, 단지 일례로서 간주되어야만 한다. 또한, 다음을 유의해야 하는바, 본 발명의 실시예들을 제공하는 것("~ 와 같은(such as)" , "예컨대(e.g.)" , "포함하는" 기타 등등으로 표현된 어구들 뿐만 아니라)은, 특정한 일례들만으로 본 발명을 제한하는 것으로 해석되지 않아야 하며, 오히려 상기 일례들은 본 발명의 가능한 많은 양상들 중 단지 일부만을 예시하도록 의도된 것이다.

산업상 이용가능성

본 발명은 사용자와 3D 모델들과의 상호작용에 기초하여 관련 정보를 제공하는데 이용될 수 있다.

Claims

사용자에게 디스플레이되도록 컨텐츠를 제공하기 위한, 컴퓨터로 구현되는 방법으로서 상기 방법은,
지오로케이션 정보(geolocation information)와 치수 정보(dimensional information)에 관련된 객체의 3D 모델을 식별하는 단계와;
사용자 행위(user action) 및 상기 사용자 행위의 3D 모델 상의 위치를 식별하는 정보를 클라이언트 디바이스로부터 수신하는 단계와
상기 사용자 행위의 상기 3D 모델 상의 위치, 상기 지오로케이션 정보 및 상기 치수 정보에 기초하여 지리적 위치(geographic location)를 프로세서에 의해서 판별하는 단계와;
상기 지리적 위치에 기초하여 컨텐츠를 식별하는 단계와; 그리고
사용자에게 제공하기 위하여 상기 컨텐츠를 상기 클라이언트 디바이스로 전송하는 단계
를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 객체는 빌딩인 것을 특징으로 하는 방법.
제1항에 있어서,
사용자 행위를 식별하는 상기 정보는 상기 3D 모델 상의 클릭(click)인 것을 특징으로 하는 방법.
제1항에 있어서,
상기 지리적 위치는 상기 3D 모델 혹은 상기 객체의 섹션(section)이며, 상기 컨텐츠는 상기 섹션에 기초하여 식별되는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 컨텐츠는 광고인 것을 특징으로 하는 방법.
제1항에 있어서,
사용자 행위의 위치를 식별하는 상기 정보는, 사용자 행위 당시의 3D 모델의 방위(orientation)를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 지오로케이션 정보는 포지션 좌표들(position coordinates)을 포함하며, 상기 치수 정보는 상기 객체의 높이, 폭, 및 깊이 정보 중 하나 이상을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
사용자 행위를 식별하는 상기 정보를 수신하는 것에 응답하여, 사용자 입력에 대한 요청을 전송하는 단계와;
상기 사용자 입력을 수신하는 단계와; 그리고
수신된 다른 입력과 함께 상기 사용자 입력을 상기 프로세서에 의해서 액세스될 수 있는 메모리에 저장하는 단계
를 더 포함하는 것을 특징으로 하는 방법.
제8항에 있어서,
상기 수신된 다른 입력에 기초하여 상기 컨텐츠가 식별되는 것을 특징으로 하는 방법.
제8항에 있어서,
상기 저장된 사용자 입력 및 수신된 다른 입력을 이용하여 상기 3D 모델 혹은 상기 객체를 2개 이상의 섹션들로 분할하는 단계와; 그리고
사용자 행위 및 상기 사용자 행위의 3D 모델 상의 위치를 식별하는 수신된 상기 정보에 기초하여 상기 2개 이상의 섹션들 중 한 섹션을 식별하는 단계
를 더 포함하며,
상기 컨텐츠를 식별하는 것은 상기 식별된 섹션에 또한 기초하는 것을 특징으로 하는 방법.
컴퓨터로서,
프로세서와; 그리고
상기 프로세서에 의해서 액세스될 수 있는 메모리를 포함하며,
상기 프로세서는,
지오로케이션 정보와 치수 정보에 관련된 객체의 3D 모델을 식별하고;
사용자 행위 및 상기 사용자 행위의 3D 모델 상의 위치를 식별하는 정보를 클라이언트 디바이스로부터 수신하고;
상기 사용자 행위의 상기 3D 모델 상의 위치, 상기 지오로케이션 정보 및 상기 치수 정보에 기초하여 지리적 위치를 판별하고;
상기 지리적 위치에 기초하여 컨텐츠를 식별하고; 그리고
사용자에게 제공하기 위하여 상기 컨텐츠를 상기 클라이언트 디바이스로 전송하도록 된 것을 특징으로 하는 컴퓨터.
제11항에 있어서,
상기 객체는 빌딩인 것을 특징으로 하는 컴퓨터.
제11항에 있어서,
사용자 행위를 식별하는 상기 정보는 상기 3D 모델 상의 클릭(click)인 것을 특징으로 하는 컴퓨터.
제11항에 있어서,
상기 지리적 위치는 상기 3D 모델 혹은 상기 객체의 섹션(section)이며, 상기 컨텐츠는 상기 섹션에 기초하여 식별되는 것을 특징으로 하는 컴퓨터.
제11항에 있어서,
상기 컨텐츠는 광고인 것을 특징으로 하는 컴퓨터.
제11항에 있어서,
사용자 행위의 위치를 식별하는 상기 정보는, 사용자 행위 당시의 3D 모델의 방위를 포함하는 것을 특징으로 하는 컴퓨터.
제11항에 있어서,
상기 지오로케이션 정보는 포지션 좌표들을 포함하며, 상기 치수 정보는 상기 객체의 높이, 폭, 및 깊이 정보 중 하나 이상을 포함하는 것을 특징으로 하는 컴퓨터.
제11항에 있어서,
상기 프로세서는 또한,
사용자 행위를 식별하는 상기 정보를 수신하는 것에 응답하여, 사용자 입력에 대한 요청을 전송하고;
상기 사용자 입력을 수신하고; 그리고
수신된 다른 입력과 함께 상기 사용자 입력을 상기 프로세서에 의해서 액세스될 수 있는 메모리에 저장하도록 된 것을 특징으로 하는 컴퓨터.
제18항에 있어서,
상기 수신된 다른 입력에 기초하여 상기 컨텐츠가 식별되는 것을 특징으로 하는 컴퓨터.
제18항에 있어서,
상기 프로세서는 또한,
상기 저장된 사용자 입력 및 수신된 다른 입력을 이용하여 상기 3D 모델 혹은 상기 객체를 2개 이상의 섹션들로 분할하고; 그리고
사용자 행위 및 상기 사용자 행위의 3D 모델 상의 위치를 식별하는 수신된 상기 정보에 기초하여 상기 2개 이상의 섹션들 중 한 섹션을 식별하도록 되며,
상기 컨텐츠는 상기 식별된 섹션에 기초하여 식별되는 것을 특징으로 하는 컴퓨터.