KR102038856B1 - 환경을 생성하고 환경내 위치기반 경험을 공유하는 시스템 및 방법 - Google Patents

Abstract

환경을 생성하고 환경에 기초하여 체험을 공유하는 시스템은, 관심 지점 부근에서 사용되는 카메라를 갖는 복수의 모바일 장치를 포함하여, 관심 지점 부근에서 랜덤으로 크라우드소싱된 이미지 및 관련 메타데이터를 캡처하고, 각 이미지에 대한 메타데이터는 모바일 장치의 위치와 카메라의 방위를 포함한다. 바람직하게, 이미지는 깊이 카메라 정보를 포함한다. 무선 네트워크는 모바일 장치와 통신하여, 이미지와 메타데이터를 수용하고, 영역에 대한 3D 모델 또는 포인트 클라우드를 구축하여 저장한다. 사용자는 이러한 체험 플랫폼에 접속하여, 사용자가 선택한 위치와 방위로 3D 모델을 시청하고, 예를 들어 소셜네트워크로 체험하도록 참여할 수 있다.

Description

환경을 생성하고 환경내 위치기반 경험을 공유하는 시스템 및 방법{SYSTEM AND METHOD FOR CREATING AN ENVIRONMENT AND FOR SHARING A LOCATION BASED EXPERIENCE IN AN ENVIRONMENT}

본 발명은 가상 모델 및 이미지를 포함하는 실내 및 실외환경을 생성하는 시스템 및 방법, 및 이렇게 생성된 환경을 사용하는 방법 및 시스템에 관한 것이다. 바람직하게, 환경은 부분적으로 크라우드소스 이미지(crowd sourced images) 및 메타데이터를 이용하여 생성되고, 그 환경은 소셜미디어 애플리케이션에 적용된다.

마이크로소프트, 구글 및 노키아(Navteq)에서는, 차량이 거리를 지나가면서 건물과 환경에 대한 이미지를 캡처하도록, 차량이 전세계의 주요 도시를 지나가도록 하는 방법을 사용해왔다. 일부 경우, 레이저 레이더 이미지(예를 들어, 광검출 및 레인징(Light Detection and Ranging, "LIDAR")을 통해 차량으로부터 유효범위의 데이터를 캡처하여, 건물과 거리의 위치와 구조, 예를 들면 건물의 높이에 대한 데이터를 캡처한다. 이동하는 차량을 통해 캡처한 이미지는, 사용자가 맵 서비스(대부분의 경우 위성 이미지와 함께)를 통해 접근할 수 있는 사진이나 영상을 포함한다. 예를 들어, 구글의 스트리트 뷰(Street View)는, 구글맵 및 구글어스를 통해 접근할 수 있고, 주요 거리를 따라가는 차량으로 통해 촬영한 파노라마 이미지도 구할 수 있다. 마이그로소포트의 빙 맵(Bing Maps)도 비슷한데, 예를 들어 미국특허공보 2011/0173565 및 국제특허공보 WO 2012/002811를 참고할 수 있다. 어스마인(Earthmine)도 비슷하지만, 마스 컬렉션 시스템(Mars collection system)을 사용한다. 노키아는 비슷하게 작동하는 "저니 뷰(Journey View)"라고 부르는 자신의 버전을 갖고 있다. 이러한 이미지는 매우 유용하지만, 주요 도로를 따라 이동하는 지정된 차량으로만 국한된다. 다른 접근방법으로서, 항공기로부터 캡처하는 광학 및 LIDAR 데이터를 사용할 수 있다.

사진 공유 사이트가 부각되고 있는데, 이 사이트에서는 웹기반의 사진 저장소(Photobucket)를 통해 인증된 사용자와 함께 이벤트 사진을 공유할 수 있다. 예를 들어, Flickr, Photobucket, Picasa, Shutterfly, Beamr 및 Snapfish가 있다. 또한, 페이스북(Facebook) 및 구글+(Google+)와 같은 소셜 네트워크를 통해, 다수의 그룹의 사람들이 이벤트 사진을 포스팅하여 친구들과 사진을 공유할 수 있다. 이러한 사진 저장소와 소셜 네트워크는 친구들과 이벤트를 공유하는 점에서는 매우 유용하지만, 현실성 및 상호작용에 있어서 제한이 있다. 나아가, 다수의 소셜 네트워크는 사진 저장소의 역할을 하고, 종래의 사진 저장소는 소셜 네트워크가 되어버려서, 이들을 구별하는 것이 모호해졌다. 또한, 사진을 개선하는 사이트도 널리 알려져 있다. 예를 들면, Instagram, Camera+ 및 Pinterest가 있다.

정확하고, 특징을 잘 나타내고 현상태를 반영할 수 있도록 환경을 생성하고 환경을 업데이트할 수 있는 정확한 방법 및 시스템에 대한 수요가 있다. 예를 들어, 미국특허공보 2011/0313779는 사용자의 피드백을 수집함으로써 관심사를 업데이트하는 한 가지 접근방법을 제시하고 있다. 또한 공원, 실내의 장소, 나아가 대도시의 주요 거리와 같은 다수의 환경은 단순하게 얻을 수 있는 것이 아니다. 또한, 이벤트 후에 포스팅되는 이벤트 사진 뿐만 아니라 장소 기반의 경험을 공유할 수 있다면 더욱 개선된 사항이 될 것이다.

관련된 특허와 특허출원에서, 장소에 기반한 경험에 대하여 여러가지 개선사항을 기술하고 있는데, 예를 들면, 미국특허 7,855,638 및 7,518,501, 미국특허공보 2011/0282799, 2007/0018880, 2012/0007885 및 2008/0259096 ("관련 특허"라고 부름)가 있다. 여기에서 인용하는 모든 참조문헌은 법에 의해 허용되는 최대 한도로 본 문서에 통합되며, 이러한 참조문헌이 선행기술로서 인정하는 것은 아니라는 점에 유의해야한다.

앞서 설명한 문제들은 본 발명에 따른 환경 및 체험을 생성하여 공유하는 시스템과 방법에 의해 해결할 수 있다.

포괄적으로, 환경을 생성하여 공유하는 시스템은 관심 지점 부근의 랜덤 이미지와 관련 메타데이터를 캡처하도록 관심 지점 부근에서 이용되는 카메라를 구비하는 복수의 모바일 장치를 포함하며, 각각의 이미지에 대한 메타데이터는 장치의 위치와 카메라의 방위를 포함한다. 무선 네트워크는 모바일 장치와 통신하여 이미지와 메타데이터를 수용한다. 이미지 처리 서버는 네트워크에 연결되어 이미지와 메타데이터를 수신하고, 이미지 처리 서버는 이미지를 처리하여 이미지 내의 여러 목표물의 위치를 결정하고 관심 지점 부근의 영역에 대하여 3D 모델을 구축한다. 바람직하게, 체험 플랫폼은 이미지 처리 서버에 연결되어 3D 목표물을 저장한다. 복수의 사용자가 체험 플랫폼에 연결되어, 사용자가 선택한 위치와 방위에서 관심 지점을 볼 수 있다.

바람직한 형태로서, 체험 플랫폼은 관심 지점 부근의 위치와 관련된 복수의 이미지를 포함한다. 다른 형태로서, 체험 플랫폼에 연결된 사용자는 사용자가 선택한 위치와 방위와 관련된 이미지를 볼 수 있다. 또 다른 형태로서, 처리 서버는 복수의 이미지를 결합하여 파노라마를 형성한다. 바람직하게, 체험 플랫폼에 연결된 사용자는 사용자가 선택한 위치와 방위와 관련된 파노라마를 볼 수 있다.

포괄적으로, 위치 기반 체험으로 사용 환경을 생성하는 시스템은, 복수의 공급자(contributor)가 갖고 있는 복수의 모바일 장치를 포함하며, 각각 카메라를 구비하여 관심 지점 부근의 랜덤 이미지 및 관련 메타데이터를 캡처하고, 각 이미지에 대한 메타데이터는 모바일 장치의 위치와 카메라의 방위를 포함한다. 시스템은 모바일 장치와 통신하는 무선 네트워크를 포함하여 이미지와 메타데이터를 획득한다. 이미지 처리 서버가 네트워크에 연결되어 이미지와 메타데이터를 수신하고, 서버는 이미지를 처리하여, 이미지 내의 여러 목표물의 위치를 결정하고 관심 지점 부근의 영역에 대하여 3D 모델을 구축한다. 바람직하게, 서버는 이미지를 처리하여, 관심 지점 부근의 복수의 위치에 관련된 파노라마를 생성한다.

한 형태로서, 본 발명은 복수의 이미지와 관련 메타데이터를 캡처되어 있는 위치 기반 체험 내에서 컨텐츠를 공유하는 방법을 포함한다. 이미지와 메타데이터는 관심 지점 부근의 영역에 대하여 3D 모델을 구축하도록 처리된다. 이러한 방법은 네트워크에 연결된 체험 플랫폼에서 이미지와 3D 모델을 공유하는 것을 포함한다. 3D 모델과 이미지에 접속하기 위해, 체험 플랫폼은 네트워크를 사용하여 접속된다. 사용자는 3D 모델 내에서 위치와 방위를 선택하고, 선택한 위치와 방위로 관심 지점을 보게 된다.

또 다른 형태로서, 체험을 공유하거나 이벤트를 보는 것은, 마케팅 요소와 같이 컨텍스트에 기초하는 광고를 부가하거나 바꾸는 것과 관련되어 있다. 다른 형태로서, 제품 이미지를 삽입시켜 보이게 할 수 있다. 다른 케이스로서, 시청자가 시청할 수 있는 장치로터 모은 시청자 개인의 정보에 의해 광고의 컨텍스트 또는 제품의 위치를 결정할 수 있다. 다른 형태로서, 이벤트의 특성, 체험 또는 이벤트에 관련된 소셜 네트워크에 기초하여, 광고를 부가하거나 변경할 수도 있다.

도 1a는 본 명세서에서 하나의 예로서 사용된 플라자의 사시도이고, 도 1b는 도 1a의 플라자의 평면도이다;
도 2는 바람직한 실시예에 따른 모바일 장치의 정면입면도이다;
도 3은 본 발명에 따른 네트워크 시스템의 기능다이어그램이다;
도 4는 기능성 객체를 나타내는 도 2의 기능 모바일 장치의 정면입면도이다;
도 5는 도 2 및 도 4의 장치의 배면도이다;
도 6은 도 2, 도 4 및 도 5의 장치의 기능적 하드웨어 다이어그램이다;
도 7은 제1 실시예를 나타내는 도 2의 장치의 정면입면도이다;
도 8은 제2 실시예를 나타내는 도 2의 장치의 정면입면도이다;
도 9는 제3 실시예를 나타내는 도 2의 장치의 정면입면도이다;
도 10은 본 발명의 또 다른 모바일 장치의 사시도이다;
도 11a는 저해상도 와이어 프레임으로, 도시의 일부를 상공에서 바라본 사시도이다;
도 11b는 개선된 해상도로, 도시의 동일한 부분을 상공에서 바라본 사시도이다;
도 11c는 상세한 해상도로, 도시의 동일한 부분을 상공에서 바라본 사시도이다;
도 11d는 정밀하고 사진과 같은 해상도로, 도시의 동일한 부분을 상공에서 바라본 사시도이다;
도 12는 촬영 이미지에 대한 EXIF 메타데이터의 표이다;
도 13a 및 도 13b는 사진측량법(Photogrammetry)의 기본 이론을 나타내는 다이어그램이다;
도 14는 이미지 정렬 및 등록을 개략적으로 나타내는 도면이다;
도 15는 목표물을 세가지 상이한 시점으로 바라보는 것을 개략적으로 나타내는 도면이다;
도 16a는 종래의 카메라를 나타내는 도면이다;
도 16b는 플렌옵틱(plenoptic) 카메라의 구조를 나타내는 도면이다;
도 17은 에워싸는 환경을 갖는 공간의 사시도이다;
도 18은 또 다른 실시예로서, 다른 공간, 특히 혼인식이 열리는 교회에 대한 사시도이다.

I. 개요

예를 들어서, 도 1a의 플라자 이미지와 같이, 출발점으로서 3D 모델 또는 "가상 모델"을 사용할 수 있다. 다수의 사용자(또는 복수의 사진을 촬영하는 한명의 사용자)가 도 1b에서 A 내지 E로 표시된 여러 위치에서 도 3에 도시된 스마트폰(10)과 같은 모바일 장치를 사용하여 플라자를 촬영할 수 있다. 각각의 이미지 A 내지 E는 이미지 뿐만 아니라, EXIF 데이터, 시간, 위치 및 방위와 같은 이미지에 연관된 메타데이터도 포함한다. 이 예에서, 이미지와 메타데이터를 획득하는 경우, 이미지와 메타데이터는 이미지 처리 서버(211)(도 3)에 연결된 통신 네트워크(205)(예를 들어, 셀 네트워크)에 업로드된다. 일부 실시예의 경우에는, 모바일 장치도 도 2에 도시된 하나 이상의 깊이 카메라(depth camera)를 포함한다.

이미지 처리 서버(211)는 네트워크(205)와 폰(10)의 GPS 정보를 사용하여 메타데이터를 처리함으로써 이미지 A 내지 E의 근원지점에 대하여 매우 정확한 위치를 얻는다. 이미지 매칭 및 등록 기술을 이용하여, 이미지는 모자이크 및 파노라마를 형성하고 플라자의 3D 모델을 더욱 개선하도록, 함께 결합된다. 플라자의 3D 모델을 더욱 정밀하게 개선함에 있어서, 이미지 인식 기술을 통해 이미지에서 사람을 삭제하여, 혼란스럽거나 사생활 문제를 일으키지 않고, 플라자의 3D 모델을 매우 정확하게 형성하는데 집중할 수 있다. 이렇게 얻은 환경은 플라자의 정확한 3D 모델이 되며, 이는 사용자가 선택한 위치를 기준으로 사용자가 선택한 방향으로 플라자의 모든 위치에서 바라 볼 수 있도록 재생할 수 있는 모델이다. 또한, 플라자 내의 여러 장소는, 이미지, 모자이크 또는 위치와 관련하여 결합된 이미지의 파노라마를 갖고 있고, 근처의 장소와 관련된 이미지로부터 생성될 수 있다.

예를 들어, 어떤 이벤트가 있을 때 플라자에서 멀리 떨어져 있는 사용자는, 체험 플랫폼(207)에 접속하여 거의 실시간으로 플라자를 들여다 봄으로써 이벤트에 참가할 수 있다. 이벤트 참가자 전원 또는 선택된 일부의 참가자가, 이미지에 들어갈 수 있고, 심지어는 이벤트의 참가자라는 것을 나타내도록 아바타를 이용할 수도 있다. 따라서, 멀리 떨어져 있는 사용자는, 이벤트가 진행되는 동안 플라자의 사진 뷰 또는 플라자의 가상현실 뷰를 선택하여, 이벤트를 관람할 수가 있다.

다른 예로서, 이벤트에 대하여 앞서 설명한 플라자는 이벤트에 대하여 뉴스거리가 될 수 있다. 멀리있는 사용자 또는 뉴스 기관은 체험 이벤트를 통해 접속한 이벤트에 대한 히스토리 이미지를 사용하여 이벤트를 재연할 수 있다.

또 다른 예로서, 플라자에서 벌어지는 이벤트에 실제로 참가한 사용자는, 증강현실(augmented reality) 및/또는 객체관련 컨텐츠를 이용하여, 체험 플랫폼(207)에 접속한 후 이벤트 참가자를 식별함으로써 참여할 수 있다.

II. 용어의 설명

본 명세서에서, "이미지"라는 용어는 카메라(예를 들어, 스틸 카메라, 디지털 카메라, 비디오 카메라, 카메라 폰 등등) 또는 기타의 다른 촬영장치로 촬영한 하나 또는 일련의 이미지를 나타낸다. 이미지에는 이미지를 캡처할 때 EXIF, 시간, 장소, 틸트각도, 촬영장치(예를 들어 카메라)의 방위와 같은 메타데이터가 결합된다. 깊이 카메라 정보와 오디오도 이미지 또는 이미지의 일부분으로 고려될 수 있다.

본 명세서에서, "관심지점"(point of interest)이라는 용어는, 이미지에서 사용자가 특정한 공간상의 특정 지점을 나타낸다. 예를 들어, 이미지 내의 관심지점은 전망대 또는 타워의 지붕, 안테나 또는 빌딩의 창문, 공원의 회전목마 등등이 될 수 있다. "관심지점"은 고정된 물체로만 국한되는 것이 아니고, 움직이는 물체도 포함할 수 있다.

위치를 정하는데 가장 널리 사용되는 기술은 GPS이다. 본 명세서에서, GPS -종종 GNSS로도 알려짐- 는 U.S. Navistar, GLONASS, Galileo, EGNOS, WAAS, MSAS, BeiDou 네비게이션 위성 시스템(중국), QZSS 등등과 같은 위성을 포함하여, 현재와 미래의 위치결정(positioning) 시스템 모두를 포함하는 것으로 이해할 수 있다. 위치의 정확도, 특히 참가자의 위치의 정확도는, 종종 차이(differential) 기술이라고 부르는 종래의 기술을 사용하여 향상시킬 수 있는데, 예를 들면 WAAS(광대역), LAAS(근거리), 캐리어-페이스 보강(Carrier-Phase Enhancement; CPGPS), 위성기반오차보정시스템(Space Based Augmentation Systems; SBAS); 광대역 GPS 보강(Wide Area GPS Enhancement; WAGE), 또는 상대 키네마틱 위치결정(Relative Kinematic Positioning; RKP)이 있다. 차이를 보정하는 것이 없어도, GPS 정확도를 향상시킬 수 있는 개선방법이 다수 있는데, 예를 들면 위성 수의 증가, 다중 주파수(L₁, L₂, L₅), 모델링 및 AGPS 향상, 소프트웨어 수신기 및 지상국(ground statation)의 개선과 같은 방법이 있다. 물론, 위치와 관련된 정확도는 애플리케이션이 요구하는 조건에 의해 달라진다. 바람직한 실시예로서 골프를 예로 들면, GPS의 지원을 받는 WAAS에 의해 5미터 이하의 정확도가 제공되면 충분히 만족스럽다. 본 발명에 따른 모델을 구축하는 경우, 시간 및 차이 보정을 사용하는 후처리, AGPS 및 WAAS에 의하면, 미터단위 이하의(submeter) 위치 정확도를 얻을 수 있다. 또한, "체험"(experiences)을 실내에서 유지할 수 있으며, 본 명세서에서 설명하는 동일한 메시지 개선 기술이 사용될 수 있다. 이러한 실내 위치결정 시스템은, AGPS, IMEO, Wi-Fi(Skyhook), WIFISLAM, Cell ID, 의사위성(pseudolites), 리피터(repeaters), 모든 유형의 전자기 신호에서의 RSS (예를 들어, TV) 및 기타의 알려진 것 또는 개량된 것들을 포함한다.

"위치정보를 갖는"(geo-referenced)라는 용어는 특정 위치 또는 물체에 고정된 메시지를 의미한다. 따라서, 메시지가 장소에, 예를 들어 골프장의 펜스에 고정될 수 있고, 또는 움직이는 참가자, 예를 들어 움직이는 골프카트나 골프 플레이어에 고정될 수 있다. 물체에 대하여, 일반적으로 GPS와 같은 위치결정기술을 이용하여 위치정보를 제공할 수 있지만, 머신비전(machine vision, 영상장치)를 이용하여 위치정보를 제공할 수도 있다. 머신비전을 사용하는 경우(즉, 물체 인식), 애플리케이션은 "마커없이" 사용되거나, "지표(fiducials)"라고도 부르는 "마커"(marker)를 사용할 수도 있다. 마커에 기초한 증강현실(augmented reality)은 종종 높은 콘트라스트를 갖는 사각형 마커를 사용한다. 이 경우, 사각형의 네 개의 모서리지점은 사각형 마커를 사용하는 머신비전에 의해 탐지되고, 이 정보를 이용하여 3차원 카메라 정보를 연산한다. 탐지할 수 있는 다른 소스를 사용할 수도 있는데, 예를 들면 임베디드 LED 또는 특수코팅 또는 QR 코드가 있다. AR을 쉽게 탐지되는 마커에 적용하는 것은 바람직한데, 왜냐하면 실시간으로 실행하는 경우에도 인식하고 추적하는 것이 비교적 정확하기 때문이다. 따라서, 백그라운드 환경에서 AR 메시지를 정확하게 등록하는 것이 중요한 애플리케이션에서, 마커에 기초한 시스템은 여러가지 이점을 갖는다.

"마커 없는" 시스템에서, AR은 지표(fiducial) 대신 일반적인 내츄럴 이미지를 사용한다. 보통, 마커 없는 AR은 특징 포인트 매칭 방법을 사용한다. 특징 포인트 매칭이라는 것은 두 개의 다른 이미지에서 동일한 특징 포인트를 찾아서 연결시키는 작업을 지칭한다. 특징 인식을 위한 한 가지 방법을 Photsyth와 관련하여 논의하기로 한다. 평면(plane)을 추출하는 방법은, 동시위치결정 및 맵빌딩(Simultaneous Localization and Map-building)(SLAM)/병렬트래킹 및 맵핑(Parallel Tracking And Mapping)(PTAM) 알고리즘을 사용하여 카메라의 3차원 위치정보와 특징점의 3차원 위치정보를 실시간으로 추적하고, 평면을 사용하여 AR를 제공하는 것을 제안하고 있다. 그러나, SLAM/PTAM 알고리즘은 특징점을 검색하기 위해 이미지를 획득하고, 카메라의 3차원 위치와 특징점의 3차원 위치를 연산하고, 이러한 정보에 기초하여 AR을 제공하기 때문에, 상당한 연산이 필요하다. 하이브리드 시스템을 또한 사용할 수 있는데, 이 경우 미리 인식한 기호 또는 브랜드에 대한 위치정보를 갖고, 머신비전이 AR 메시지를 대신한다.

본 출원에서, "소셜 네트워크"(social network)라는 용어는 멤버들(사람들, 비즈니스 및 기타 단체들) 및 멤브들의 하위 집단 사이의 관계를 추적하고 연결시키는 것을 지칭한다. 연결관계와 멤버십은 고정될 수도 있고 변할수도 있으며, 멤버십은 소셜 네트워크 내의 다양한 하위그룹을 포함할 수도 있다. 예를 들어, 개인의 소셜 네트워크는 예술에 관심을 갖는 멤버들의 하위 그룹을 포함할 수 있으며, 그 사람은 조각공원에 가는 외부활동을 예술에 관심이 있는 하위그룹하고만 공유할 수 있다. 또한, 소셜 네트워크는 변할 수 있다. 예를 들어, 소셜 네트워크는 9월 22일에 "Nasher Sculpture Garden"(내셔 조각공원)에 대해 준비될 수 있고, 누구든지 관심이 있다면 9월 22일자 내셔 조각공원 소셜 네트워크에 참여할 수 있다. 또는, 해당 이벤트의 특정 범주 내에 있는 사람들 모두가 참여할 수도 있다. 소셜 네트워크에서 멤버십에 관련된 대안(permutation)은 여러가지가 있으며, 결코 제한하려는 것은 아니다.

소셜 네트워크는, 사용자들을 참여하게 하여 코멘트를 남기고 소셜 그래프(social graph)와 다른 사용자들 및 대중과 통신하는 수단으로서 컨텐츠를 생성하도록 묶음으로써, 인터렉티브 웹(interactive web)을 추적하여 실현할 수 있게 한다. 본 발명에 있어서, 이렇게 공유하고 소셜 네트워크에 대한 참여는, 참가자가 생성한 컨텐츠와 구경하는 사람이 생성한 컨텐츠 뿐만 아니라 함께 생성한 컨텐츠를 포함한다. 예를 들어, 생성된 컨텐츠는 상호작용할 수 있도록 되어, 참여자가 만든 이벤트에, 구경하던 사람이 컨텐츠를 추가할 수 있다. FLIKR 및 Photobucket와 같은 사진 저장소와 소셜 네트워크 사이의 경계가 모호하게 되었고, 이러한 두 용어는 종종 서로 바꾸어 사용되기도 한다.

종래의 소셜 네트워크에 대한 예는, LinkedIn.com 또는 Facebook.com, Google Plus, Twitter(Tweetdeck 포함), Rockmelt와 같은 소셜 브라우저 및 HTML5 브라우저와 통합된 소셜 인터랙션을 지원하기 위한 다양한 소셜 유틸리티를 포함한다. www.Wikipedia.org/wiki/ list_of_social_networking_sites에 있는 웹사이트에서는 현재 사용되고 있는 수 백개의 소셜 네트워크를 열거하고 있다. 데이트 사이트(Dating sites), 리스트서브(Listservs) 및 인터레스트 그룹도 또한 소셜 네트워크의 역할을 할 수 있다. 인터레스트 그룹 또는 소셜 네트워크의 하위그룹은, Google+ "circles" 또는 Facebook "groups"와 같은 이벤트에 참가하도록 멤버를 초청하는데 매우 유용하다. 개인이 사적 소셜 네트워크를 구축할 수 있다. 종래의 일반적인 소셜 네트워크 웹사이트에 의하면, 멤버들은 친구에 관련된 정보나 소셜 네트워크 내의 다른 연결관계를 보다 효율적으로 주고 받을 수 있다. 소셜 네트워크는 일반적으로 소셜 네트워크 내에서 멤버들 사이의 연결관계 및 멤버와 개연성을 갖는 컨텐츠에 대한 링크를 유지하는 시스템을 포함하고 있다. 소셜 네트워크는 또한 정보를 수집하고 유지할 수 있고, 그 정보는 소셜 네트워크 내에서 멤버들의 활동을 추적하는 것처럼 능동적이다. 본 발명의 방법 및 시스템은 소셜 네트워크의 멤버에 대하여 소셜 네트워크 내에서 공유되는 멤버들 활동에 관한 능동적인 이벤트에 관한 것이다. 이러한 정보는 지리적 위치, 회사, 직업 유형, 나이, 음악적 기호, 관심사 및 기타 여러가지 특성과 같이 정적인 정보일 수 있다.

본 출원에서, 이벤트 장소 또는 "체험" 장소는 실제로 보는 전망 또는 뷰(view)일 수도 있고, 아니면 사진 배경 환경(photo background environment), 가상의 환경, 또는 이들을 혼합한 것으로서 종종 "혼합 현실"(mixed reality)라고도 부르는 것으로 묘사될 수도 있다. 본 발명의 환경을 이해하는 일반적인 방법은, 인공적인 현실 또는 "증강현실"(augmented reality) 이미지의 레이어로서, 이벤트 장소의 배경이 덮여 있는 것이다. 당업자가 이해하고 있는 이벤트 장소 배경을 생성하는 방법은 다양하다. 예를 들어, "가상" 환경이라고 알려진, 다수의 렌더링 엔진을 통해서 인공 배경 환경을 생성할 수 있다. 예를 들어, 인공 3D 렌더링으로 실제 환경의 디지털 이미지를 조합시키는 노키아(Navteq 자회사를 통해서)의 Journey View를 참고할 수 있다. "가상" 환경 또는 3D 모델은, 도 A-11D에서 볼 수 있듯이, 여러가지 다른 레벨의 해상도를 갖고 있다. 실제 환경은 도 10의 유리를 통해 볼 수 있는 배경일 수 있지만, 디지털 이미지, 파노라마 또는 3D 모델을 이용하여 생성될 수도 있다. 이러한 디지털 이미지를, "거리 뷰" 또는 사진, 비디오, 파노라마 또는 다른 유형의 저장된 이미지와 같이, 저장할 수도 있고 사용을 위해 검색할 수도 있다. 또는, 다수의 모바일 장치는 배경 환경으로 사용할 수 있는 디지털 이미지를 캡처하는 카메라를 갖고 있다. 이러한 카메라-소스 디지털 이미지는 사용자, 친구, 소셜 네트워크 그룹, 크라우드 소스 또는 제공되는 서비스로부터 얻을 수 있다. 배경으로 실제 환경을 사용하는 것이 일반적이기 때문에, 증강현실은 종종 가상 현실 그래픽(물체)을 실제 디지털 이미지에 삽입하여 실제 물체와 가상 물체가 혼합된 이미지(즉, "혼합 현실")를 생성하는 기술을 지칭한다. 증강현실은 종종, 가상 그래픽을 사용하는 보충 정보를 실제 세상에서 획득한 이미지 위에 제공하거나 레이어로 까는 것을 특징으로 한다. 실제 및 가상 현실의 여러 레이어를 혼합할 수 있다. 이러한 애플리케이션의 경우, 물체의 위치 또는 다른 레이어와의 "등록"(registration)이 중요하다. 즉, 위치결정 시스템에 기초하는 서로에 대한 물체 또는 레이어의 위치는, 애플리케이션을 지원할 수 있도록 충분히 가까워야만 한다. 여기에서 사용되는, "인공 현실"("AR")은 종종 "가상", "혼합" 또는 "증가" 현실이라는 용어와 상호 교환하여 사용될 수 있고, 배경 환경이 실제일 수도 있고 가상일 수도 있다는 것을 이해하여야 한다.

본 출원에서는, "플랫폼"(platform) 및 "서버"(server)라는 용어를 상호 바꾸어가면서 사용하고, 서버에 있는 애플리케이션과 데이터를 포함하여 서버와 관련된 여러 기능을 설명한다. 이러한 기능적인 설명은, 모든 기능이 동일한 서버, 다중 서버 또는 원격 서버 및 흩어져 있는 서버에 있다는 것을 의미하는 것은 아니고, 심지어 기술분야에서 널리 알려진 클라이언트와 서버 사이에서 공유되는 기능도 마찬가지이다.

본 출원에서는 이미지를 논함에 있어서 다중 이미지를 획득하는 것에 대해 목표, 방위, 시간 등등이 조정되지 않았다는 것을 나타낼 때, "무작위"(random)라는 용어를 사용한다. 획득한 무작위 이미지의 한 가지 카테고리는 "크라우드소싱"(crowdsourcing)에 의한다.

III. 모바일 장치

구체적으로, 도 4는 스마트폰과 같은 모바일 장치(10)의 정면도이며, 이는 본 발명의 특징을 나타내기 위해 논의되는 장치(1)에 있어서 바람직한 폼팩터(form factor)가 된다. 예를 들어, 모바일 장치)(10)는 휴대용 컴퓨터, 태블릿 컴퓨터, 개인 디지털 보조장치, 고글 또는 안경, 컨택트 렌트, 휴대폰, 손목장착형 컴퓨터, GPS와 라디오를 갖는 카메라, 라디오가 있는 GPS, 네트워크 장치, 카메라, 스마트폰, EGPRS(enhanced general packet radio service) 모바일 폰, 네트워크 기지국, 미디어 플레이어, 네비게이션 장치, 이메일 장치, 게임 콘솔 또는 기타의 전자장치, 또는 이러한 데이터처리 장치 중 둘 이상을 혼합한 장치, 또는 기타의 데이터처리장치일 수 있다.

모바일 장치(10)는 터치식 그래픽 디스플레이(102)를 포함하고 있다. 터치식 디스플레이(102)는 액정(LCD) 기술, 발광 폴리머 디스플레이(LPD) 또는 기타의 다른 디스플레이 기술을 이용할 수 있다. 터치식 디스플레이(102)는 촉각을 감지하거나 사용자와의 접촉에 반응할 수 있다.

터치식 그래픽 디스플레이(102)는 멀티-터치식 디스플레이를 포함할 수 있다. 멀티-터치식 디스플레이(102)는 예를 들어 각각의 터치 포인트의 압력, 정도 및/또는 위치에 관한 데이터를 처리하는 것을 포함하여 동시에 여러개의 터치 포인트를 처리할 수 있다. 이러한 처리방식에 의해, 여러 손가락을 사용하는 동작 및 상호작용을 수월하게 할 수 있고, 동시에 누르는 것도 가능하며, 기타의 다른 작업도 수월하게 할 수 있다. 다른 터치식 디스플레이 기술로서, 예를 들면, 스타일러스 펜이나 다른 포인팅 장치를 사용하여 접촉을 할 수 있는 디스플레이도 사용할 수 있다. 다중-터치식 디스플레이 기술에 대한 예로서, 미국특허 제6,323,846호; 제6,570,557호; 제6,677,932호; 및 미국특허공보 제2002/0015024호가 있는데, 참조를 위해 이들 각각은 본 문서에 통합될 수 있다. 터치 스크린(102)과 터치 스크린 콘트롤러는 여러개의 터치 감지 기술을 사용하여 접촉과 이동 또는 중단을 감지할 수 있고, 터치 스크린(102)에 대한 하나 이상의 접촉 지점을 측정하기 위해서, 예를 들어 용량성, 저항성, 적외선 및 표면 음향파 기술 뿐만 아니라 다른 근접센서 어레이 또는 다른 소자를 포함할 수 있는데, 이러한 기술로 한정되는 것은 아니다.

모바일 장치(10)는 터치식 디스플레이(102) 상에 하나 이상의 그래픽 사용자 인터페이스를 디스플레이하여, 사용자가 여러가지 시스템 객체에 대하여 액세스할 수 있고 또한 사용자에게 정보를 전달할 수 있다. 그래픽 사용자 인터페이스는 하나 이상의 디스플레이 객체(104, 106, 108, 110)를 포함할 수 있다. 디스플레이 객체(104, 106, 108, 110)는 각각 시스템 객체를 그래픽으로 표현한 것일 수 있다. 일부 시스템 객체는, 장치 기능, 애플리케이션, 윈도우, 파일, 경고, 이벤트 또는 기타의 식별할 수 있는 시스템 객체를 포함한다.

모바일 장치(10)는, 전화 객체로 표시된 전화장치; 이메일 객체로 표시된 이메일 장치; 웹 객체로 표시된 네트워크 데이터 통신 장치; 와이파이 기지국 장치(도시 안됨); 및 미디어 플레이어 객체로 표시된 미디어 처리 장치;와 같이 다중 장치 기능들을 구현할 수 있다. 편의상, 장치의 객체, 예를 들어, 전화 객체, 이메일 객체, 웹 객체 및 미디어 플레이어 객체는, 메뉴 바(118)에 디스플레이될 수 있다.

도 4에 도시된 그래픽 사용자 인터페이스처럼 장치 기능은 각각 탑-레벨 그래픽 사용자 인터페이스로부터 액세스 할 수 있다. 예를 들어, 104, 106, 108, 110과 같은 객체 중 하나를 터치하면, 대응하는 기능이 시작될 수 있다. 이 실시예에서, 객체(106)는 본 발명에 따른 인공 현실 애플리케이션을 나타낸다. 객체(110)에 의해 하나 이상의 깊이 카메라의 기능을 실행할 수 있다.

특정 장치의 기능이 시작되면, 모바일 장치(10)의 그래픽 사용자 인터페이스는 바뀌거나, 확대되거나, 다른 사용자 인터페이스 또는 인터페이스 요소로 대체되어, 대응하는 장치 기능에 연관된 특정 기능에 사용자가 쉽게 액세스할 수 있게 된다. 예를 들어, 사용자가 전화 객체를 터치하면, 터치식 디스플레이(102)의 그래픽 사용자 인터페이스는 여러가지 전화 기능에 관련된 디스플레이 객체를 제공한다; 마찬가지로 이메일 객체를 터치하면, 그래픽 사용자 인터페이스는 여러가지 이메일 기능에 관련된 디스플레이 객체를 제공한다; 웹 객체를 터치하면, 그래픽 사용자 인터페이스는 여러가지 웹-서핑 기능에 관련된 디스플레이 객체를 제공한다; 또한 미디어 플레이어 객체를 터치하면, 그래픽 사용자 인터페이스는 여러가지 미디어 처리 기능에 관련된 디스플레이 객체를 제공한다.

도 4의 탑-레벨 그래픽 사용자 인터페이스 환경은, 모바일 장치(10)의 하부 근처에 있는 버튼(120)을 누름으로써 복원될 수 있다. 각각의 대응하는 장치의 기능은, 터치식 디스플레이(102)에 디스플레이되는 "홈"(home) 디스플레이 객체를 가질 수 있고, 도 4의 그래픽 사용자 인터페이스 환경은 "홈" 디스플레이 객체를 누르거나 리셋 버튼(120)을 누름으로써 복원될 수 있다.

탑-레벨 그래픽 사용자 인터페이스가 도 1에 도시되어 있고, 단문 메시지 서비스(SMS) 객체, 캘린더 객체, 사진 객체, 카메라 객체(108), 계산기 객체, 주식 객체, 날씨 객체, 지도 객체, 노트 객체, 시계 객체, 주소북 객체, 설정 객체 뿐만 아니라 AR 객체(106)와 깊이 카메라 객체(110)와 같은 부가적인 디스플레이 객체를 포함할 수 있다. 예를 들어 SMS 디스플레이 객체를 터치하면, SMS 메시지 환경과 이를 지원하는 기능이 시작된다. 마찬가지로, 디스플레이 객체를 각각 선택함으로써, 대응하는 객체의 환경과 기능이 시작될 수 있다.

모바일 장치(10)는 하나 이상의 입력/출력(I/O) 장치 및/또는 센서 장치를 포함할 수 있다. 예를 들어, 스피커(122)와 마이크(124)를 포함시켜, 전화 및 보이스 메일 기능과 같은 음성으로 실행하는 기능을 수행하게 할 수 있다. 일부 실시예의 경우, 스피커폰 기능과 같은 핸즈-프리 보이스 기능을 실행하도록 스피커(122)를 포함시킬 수 있다. 헤드폰 및/또는 마이크를 사용할 수 있도록 오디오 잭도 포함시킬 수 있다.

근접 센서(도시 안됨)을 포함시켜서, 사용자의 귀 가까이에 모바일 장치(10)가 있다는 것을 탐지하여 이에 대한 응답으로, 원하지 않았던 기능이 실행되는 것을 방지하도록 터치식 디스플레이(102)를 해제할 수 있다. 일부 실시예의 경우, 모바일 장치(10)가 사용자의 귀 가까이에 있는 경우, 전력을 더 절약할 수 있도록 터치식 디스플레이(102)를 끌 수 있다.

다른 센서도 사용할 수 있다. 예를 들면, 주변 광 센서(도시 안됨)을 이용하여, 터치식 디스플레이(102)의 밝기를 조절할 수 있다. 가속도계(도 6)를 사용하여, 화살표로 표시된 것처럼 모바일 장치의 움직임을 탐지할 수도 있다. 따라서, 디스플레이 객체 및/또는 미디어를 탐지된 방위에 따라, 예를 들어 세로모드(portrait) 또는 가로모드(landscape)로 제공할 수 있다.

모바일 장치(10)는, 범지구위치확인시스템(GPS) 또는 다른 위치확인 시스템(예를 들어, 셀 ID(Cell ID), 와이파이 액세스 포인트를 사용하는 시스템, 텔레비전 신호, 셀룰러 그리드, 유니폼 리소스 로케이터(URLs))가 제공하는 것처럼, 위치 결정 성능을 지원하는 회로 및 센서를 포함할 수 있다. 위치결정 시스템(positioning system)(예를 들어, GPS 수신기, 도 6)은 모바일 장치(10)에 통합될 수 있고, 아니면 위치-기반 서비스에 접속할 수 있도록 하는 인터페이스(예를 들어, 포트 장치(132))를 통해서 모바일 장치(10)에 연결되는 별도의 장치로서 제공될 수 있다.

모바일 장치(10)는 또한 하나 이상의 전방 카메라 렌즈 및 센서(140)와 깊이 카메라(142)를 포함할 수 있다. 바람직한 실시예에서, 후방 카메라 렌즈 및 센서(141)가 도 5에 도시된 것처럼 모바일 장치(10)의 뒷면에 설치되어 있다. 종래의 RGB 카메라(140, 141)는 정지 이미지 및/또는 비디오를 캡처할 수 있다. 카메라 서스시스템 및 광학 센서(140, 141)는 예를 들어 전하결합소자(CCD) 또는 상보성 금속산화물 반도체(CMOS) 광학 센서를 포함할 수 있고, 사진과 비디오 클립을 기록하는 것처럼 카메라 기능을 용이하게 하는데 사용될 수 있다. 카메라 콘트롤부(줌, 팬, 캡처 및 저장)를 버튼(134-136)에 통합시킬 수 있다(도 4). 일부 실시예의 경우, 카메라는 다른 유형의 카메라일 수 있다. 예를 들어, 카메라(140, 141)는 종래의 RGB 카메라일 수 있고, 반면 카메라(142, 143)는 플렌옵틱 카메라(plenoptic camera)와 같은 레인지(거리계) 카메라(range camera)를 포함할 수 있다. 비슷하게, 다른 센서를 장치(10)에 포함시킬 수 있다. 예를 들어, 센서(146, 148)는 다른 유형의 레인지 카메라, 예를 들면 조명기(146)와 촬영기(148)를 갖는 LIDAR 또는 TOF(time of flight) 카메라일 수 있다. 또는, 일부 실시예에서, 센서는 센서(146)가 IR 방출기(emitter)이고, 센서(148)가 프라임센스(Primesense)로부터 구입할 수 있는 Capri 1.25와 같은 깊이 카메라의 기능을 하는 IR 수신기(receptor)인 구조적인 광 시스템(structured light system)의 일부일 수 있다.

바람직한 모바일 장치(10)는 GPS 위치결정 시스템을 포함한다. 이러한 구조에서, 또 다른 위치결정 시스템이 모바일 장치(10)에 연결된 별도의 장치에 의해 제공될 수 있고, 또는 모바일 장치에 내장될 수 있다. 이러한 위치결정 시스템은 장치의 지리적 위치를 측정하기 위해, GPS, 셀룰러 그리드(cellular grid), URL's, IMEO, 의사위성(pseudolites), 리피터(repeaters), 와이파이(Wi-Fi) 또는 다른 기타의 기술을 포함하는 위치결정 기술을 이용할 수 있다. 위치결정 시스템은, 예를 들어 매사추세스주 보스턴의 SkyHook Wireless의 또는 캘리포니아주 마운틴뷰의 Rosum Corporation의 와이파이 RSS 시스템(Wi-Fi RSS system)과 같은 위치결정서비스가 제공하는 서비스를 이용할 수 있다. 다른 실시예에서, 위치결정 시스템은, 알고 있는 위치(예를 들어 GPS로 측정한 위치)에서 시작하는 비천측 위치 추측법(dead reckoning) 기술을 이용하여 가속도계와 컴파스에 의해 제공될 수 있다. 이러한 실시예에서, 사용자는 알고 있는 위치(예를 들어, 랜드마크나 교차점)에서 모바일 장치의 존재를 마킹함으로써 위치결정 시스템을 종종 리셋할 수 있다. 또 다른 실시예에서, 사용자는 모바일 장치에 대한 한 세트의 위치 좌표(예를 들어, 위도와 경도)를 입력할 수 있다. 예를 들어, 위치 좌표는 타이핑을 통해 폰에 입력될 수 있고(예를 들어 가상 키보드를 사용하여), 아니면 지도 상의 한 지점을 터치함으로써 선택될 수 있다. 위치 좌표는 또한 다른 장치(예를 들어 자동차 네비게이션 시스템)와 동기화하거나 연결함으로써 다른 장치로부터 획득할 수도 있다. 다른 실시예에서, 위치결정 시스템은, 현재 위치를 제공하도록 무선 신호 강도와 알려진 무선 신호 소스(Wi-Fi, TV, FM)의 하나 이상의 위치를 이용하여 제공될 수 있다. 무선 신호 소스는 액세스 포인트 및/또는 셀룰러 타워를 포함할 수 있다. 모바일 장치(10)의 현재 위치를 측정하는 다른 기술을 사용할 수 있으며, 다른 구조의 위치결정 시스템도 있을 수 있다.

모바일 장치(10)는 또한 802.11b/g/n 통신 장치와 같은 하나 이상의 무선 통신 서브시스템 및/또는 근거리 통신 뿐만 아니라 블루투스 통신 장치를 포함할 수도 있다. 다른 통신 프로토콜로서, 다른 802.x 통신 프로토콜(예를 들어, WiMax, Wi-Fi), 코드분할다중접속(CDMA), 모바일 통신용 글로벌 시스템(GSM), 개선 데이터 GSM 환경(EDGE), 3G(예를 들어, EV-DO, UMTS, HSDPA) 등등을 포함하는 통신 프로토콜이 지원될 수 있다. 도 6에 도시된 것처럼, 가속도계, 디지털 컴파스 및 자이로스코프와 같은 센서를 추가로 장치(10)에 결합시킬 수 있다. 바람직한 장치로서 거리 측정기도 포함시킬 수 있다. 또한, 주변 센서, 장치 및 서브시스템을 주변 인터페이스(132)에 결합시켜, 여러가지 복합적인 기능을 구현할 수 있다. 예를 들어, 모니터 센서, 광 센서 및/또는 근접 센서를 주변 인터페이스(132)에 결합시켜, 도 4 및 도 6과 관련하여 설명하는 방위, 광 및 근접 기능을 효율적으로 실행할 수 있다. GPS 수신기, 온도 센서, 생체인식 센서, RFID, 깊이 카메라 또는 다른 센서 장치와 같은 다른 센서도 주변 인터페이스(132)에 연결시켜, 관련 기능을 구현할 수 있다. 바람직하게, 본 발명은, 가능한 한 많은 센서를 사용하여, 이미지와 관련된 메타데이터를 수집할 수 있다. 메타데이터의 양과 질은, 결과를 좋게 할 뿐만 아니라 이미지 처리 시간을 줄일 수 있다.

포트 장치(132)는 예를 들어 범용시리얼버스(USB) 포트, 도킹 포트(docking port), 또는 다른 어떤 유선 포트 접속부이다. 포트 장치(132)는 예를 들어, 통신 장치(10), 개인용 컴퓨터, 프린터, 또는 데이터를 송수신할 수 있는 다른 처리장치와 같은 연산장치에 유선으로 연결되도록 하는데 사용될 수 있다. 일부 실시예에서, 포트 장치(132)에 의해, 모바일 장치(10)는 하나 이상의 프로토콜을 이용하여 호스트 장치와 동기화될 수 있다.

입출력 및 작동 버튼은 도면부호 134 내지 136으로 표시되어 있고, 터치 스크린(102)에 더하여 또는 터치 스크린 대신에 장치(10)의 작동을 제어한다. 모바일 장치(10)는 하나 이상의 데이터 프로세서, 이미지 프로세서 및/또는 중앙처리장치 및 주변 인터페이스에 대하여 메모리 인터페이스를 포함할 수 있다(도 6). 메모리 인터페이스, 하나 이상의 프로세서 및/또는 주변 인터페이스는 별개의 소자이거나, 하나 이상의 집적회로에 통합될 수 있다. 모바일 장치(10)의 여러가지 소자들은 하나 이상의 통신 버스 또는 신호 라인에 의해 연결될 수 있다.

바람직하게, 모바일 장치는 CPU에 연결된 그래픽 처리장치(GPU)를 포함한다(도 6). 부분적으로 CUDA의 이용가능성 때문에 Nvidia GeForce GPU가 선호되지만, OpenGL과 호환되는 GPU라면 어느 것이든 적합하다. Kronos로부터 구입할 수 있는 툴(tool)에 의해 3D 모델을 신속하게 개발할 수 있다. 물론, 비용이 허락한다면, 4 개의 CPU 코어와, 60개의 GPU 코어 및 LTE 모뎀을 갖는 NVIDIA Tegra 4i와 같은 고성능 단일칩(SOC; system on chip)이 좋은 선택이 될 것이다.

I/O 서브시스템은 터치 스크린 콘트롤러 및/또는 다른 입력 콘트롤러를 포함할 수 있다. 터치스크린 콘트롤러는 터치 스크린(102)에 연결될 수 있다. 다른 입력 콘트롤러는, 하나 이상의 버튼, 록커 스위치(rocker switch), 썸-휠(thumb-wheel), 적외선 포트, USB 포트 및/또는 스타일러스 펜과 같은 포인터 장치와 같은 다른 입력/콘트롤 장치(132 내지 136)에 연결될 수 있다. 하나 이상의 버튼(132 내지 136)은 스피커(122) 및/또는 마이크(124)의 볼륨 조절용 업/다운 버튼을 포함할 수 있고, 또는 카메라(140, 141)의 작동을 제어할 수 있다. 또한, 버튼(132 내지 136)은 이미지 캡처 위치와 함께 이벤트의 이미지를 "캡처"하고 공유하는데 사용될 수 있다. 마지막으로, "소프트키"(softkeys)를 사용하여, 특정 애플리케이션(예를 들어, AR 애플리케이션(106))을 제어하기 위해 디스플레이(102)에 표시되는 콘트롤과 같이, 기능을 제어할 수 있다.

한 실시예에서, 제1의 시간동안 버튼(136)을 누르면, 터치 스크린(102)의 잠금을 해제할 수 있고; 제1의 시간 보다 더 긴 제2의 시간동안 버튼을 누르면 모바일 장치(10)의 전원을 켜거나 끌수 있다. 사용자는 하나 이상의 버튼의 기능을 커스터마이징할 수도 있다. 예를 들어, 터치 스크린(102)은 가상의 또는 소프트 버튼 및/또는 키보드를 구현하는데 이용될 수도 있다.

일부 실시예에서, 모바일 장치(10)는 MP3, AAC, 및 MPEG 파일과 같은 미리 녹음된 음성 및/또는 비디오 파일을 제공할 수 있다. 일부 실시예의 경우, 모바일 장치(10)는 아이팟(iPod)과 같이 MP3 플레이어의 기능을 포함할 수 있다. 모바일 장치(10)는 따라서 아이팟과 호환되는 36-핀 커넥터를 포함할 수 있다. 다른 입력/출력 및 제어 장치도 사용될 수 있다.

메모리 인터페이스는 메모리에 결합될 수 있다. 메모리는 고속 랜덤 액세스 메모리 및/또는 비휘발성 메모리를 포함할 수 있고, 예를 들어 하나 이상의 자기 디스크 저장장치, 하나 이상의 광 저장장치 및/또는 플래시 메모리(예를 들어, NAND, NOR)와 같은 것이 있다. 메모리는 Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS와 같은 운영시스템 또는 VxWorks와 같은 임베디드 운영시스템을 저장할 수 있다. 운영 시스템은 기본적인 시스템 서비스를 다루는 명령어와 하드웨어에 종속하는 업무를 다루는 명령어를 포함할 수 있다. 일부 실시예에서, 운영 시스템은 모바일 장치(10)에서 날짜와 시간(예를 들어 시계)을 유지하는 것을 포함하여, 시간을 유지하는 업무를 다룬다. 일부 실시예의 경우, 운영 시스템은 커널(예를 들어, UNIX kernel)일 수 있다.

메모리는 또한 통신 명령어를 저장하여, 하나 이상의 부가 장치, 하나 이상의 컴퓨터 및/또는 하나 이상의 서버와의 통신을 수월하게 할 수 있다. 메모리는 그래픽 사용자 인터페이스 명령어를 포함하여, 그래픽 사용자 인터페이스 프로세싱을 용이하게 처리할 수 있고; 센서 프로세싱 명령어를 포함하여 센서-관련 프로세싱 및 기능을 용이하게 처리하며; 전화 명령어를 포함하여 전화-관련 프로세스 및 기능을 용이하게 처리하고; 전자 메시지 명령어를 포함하여 전자-메시지 관련 프로세스 및 기능을 용이하게 처리하고; 웹 브라우징 명령어를 포함하여 웹 브라우징-관련 프로세스 및 기능을 용이하게 처리하고; 미디어 프로세싱 명령어를 포함하여 미디어 프로세싱-관련 프로세스 및 기능을 용이하게 처리하고; GPS/네비게이션 명령어를 포함하여 GPS 및 네비게이션-관련 프로세스 및 기능을 용이하게 처리하고; 카메라 명령어를 포함하여 카메라-관련 프로세스 및 기능을 용이하게 처리하고; 다른 소프트웨어 명령어를 포함하여 관련된 프로세스 및 기능을 용이하게 처리하고; 및/또는 진단 명령어를 포함하여 진단 프로세스 및 기능을 용이하게 처리할 수 있다. 메모리는 또한 데이터를 저장할 수 있고, 데이터는 코스 데이터(coarse data), 위치(관심 지점), 개인 프로파일, 문서, 이미지, 비디오 파일, 오디오 파일 및 기타 데이터를 포함하되 이에 한정되지는 않는다. 정보는 구조화 데이터 베이스(structured database) 또는 관계형 데이터베이스(relative database)와 같이 공지의 방법을 통해서 저장된 후 액세스될 수 있다.

도 10의 휴대용 장치(220)는 안경 구조 또는 고글로 이루어진 또 다른 실시예이며, GPS와 패치 안테나(232), 마이크로프로세서 및 GPU(234), 카메라(222) 및 라디오(236)를 포함하고 있다. 방향 패드(224)(directional pad)와 같은 제어부가 사이드 프레임(반대편은 도시 안됨)에 있다. 제어 패드(224)에 부가적으로 또는 이를 대신하여, 프로세서(234)에 의해 작동하는 마이크 및 음성 명령이 사용될 수 있고, 또는 제스처 명령(gestural command)이 사용될 수 있다. 배터리는 격실(242)에 저장되어 있다. 디스플레이는 도면부호 244로 표시된 부분에 있는 투명한 LCD이다. 바람직하게, 센서(246, 248)는 본 명세서에서 기술하는 TOF 카메라, 구조화 광 카메라(structured light camera), 또는 LIDAR와 같은 깊이 카메라(depth camera)와 연관되어 있다. 또는, 양 센서는 플렌옵틱 카메라(plenoptic camera)를 포함한다. 비슷한 장치로서, 매사추세츠주 웨스트우드의 MicroOptical Corp.가 제조한 MyVue headset(예를 들어 미국특허 제6,879,443호 참고), 뉴욕주 로체스터의 Vuzix Corporation로부터 구할수 있는 Vuzix Wrap 920 AR, 1200 VR, Smart Glasses M 100 및 Tac-Eye LT이 있다. 남부 캘리포니아의 Occulus VR로부터 구할 수 있는 Occulus Rift head mounted display (HMD)를 이용하면, 보다 몰입할 수 있는 경험을 할 수 있다. 이러한 몰입형(immersive) 가상 현실 HMD는 특정 애플리케이션에 있어서 매우 유리하며, "안경" 또는 "고글"이라는 용어를 본 발명에서 사용할 때에는, 이러한 몰입형 HMD를 포함하는 것을 의미한다.

도 10의 실시예와 같은 착용 안경을 사용하면, 증강 현실 메시지 및 정보를 통합시킬 수 있다는 점에서 유리한 데, 예를 들어 관심 지점(point of interest)을 실제 배경 위에 오버레이식으로 겹치게 할 수 있다. 물론, 증강 현실은 하나 이상의 카메라(140, 141, 142, 143, 146, 148)를 사용하여 도 4 내지 도 9의 휴대용 장치(10)와 함께 사용될 수 있다. 골프를 예로 들면, 안경(220)을 쓰고 있는 골퍼는, AR 메시지 및 코스 정보를 볼 수 있고, 선택적으로는 특정 메시지와 이 메시지에 관련된 부가적인 정보(예를 들어, 레이업 영역, 클럽 선택시 사용되는 바람, 다음번 최적의 클럽 선택, 동반자 라운드 상태, 등등)를 하이라이트할 수 있다. 예를 들어, 미국특허 제7,002,551호; 제6,919,867호; 제7,046,214호; 제6,945,869호; 제6,903,752호; 제6,317,127호(본 문서에 참고로 통합됨) 참고.

도 10의 실시예와 같이 착용할 수 있는 안경을 사용하면 얻을 수 있는 또 다른 이점은, 제스처 인터페이스(gestural interface)를 사용하여 안경(220) 또는 제한된 스마트폰(tethered smartphone)을 쉽게 제어할 수 있다는 것이다. 즉, 안경(220)에 있는 버튼이나 키 또는 음성 명령을 사용하는 것에 부가적으로 또는 이를 대체하는 것으로서, 몸동작(제스처)을 사용하여 안경(220)을 작동하는 것을 제어할 수 있다. 이러한 제스처는 애플리케이션에 기초하여 카메라 또는 센서를 통해 인식될 수 있다. 깊이 카메라(Kinect 또는 Claris)는 제스처 인터페이스에서 사용하기에 매우 적합하다는 것이 증명되었다. 그러나, 간단한 제스처를 인식하는 경우에는, RGB 카메라(222)와 같은 종래의 카메라도 사용할 수 있다(참고, 캘리포니아주 마운틴 뷰의 Flutter). 또한, 미국특허출원 제US20100083190호; 제US20020118880호; 제US20100153457호; 제US20100199232호; 및 미국특허 제 7,095,401호 참고.

모바일 장치(10, 220)과 같은 모바일 장치에서 사용할 수 있는 카메라로서, 여러가지 유형의 "레인지"(range) 카메라 또는 "깊이"(depth) 카메라가 있다. 일반적으로, 깊이 카메라는 다음과 같은 유형의 카메라를 사용한다:

·스테레오 삼각측량(Stereo triangulation)

·광 삼각측량의 시트(Sheet of light triangulation)

·구조광(Structured light)

·비행시간(Time-of-flight)

·간섭(Interferometry)

·코드화된 개구(Coded Aperture)

본 출원에서, 깊이 카메라 또는 레인지 카메라는 종종 이러한 유형의 카메라를 통틀어 지칭한다.

본 발명의 특정 실시예가 여러가지 유형의 깊이 카메라를 사용하지만, 본 문서에서 논의하는 실시예에 있어서는 삼각측량(스테레오) 카메라, 구조광 카메라 및 비행시간 카메라를 사용하는 것이 바람직하다. 도 15에 도시되어 있듯이, 종래의 카메라의 경우, 지점 A, B 및 C에서 사진사가 목표물(200)을 촬영하고 있다. 메타데이터(EXIF, 도 12)는 각 지점 A, B 및 C에서의 방위와 심도(depth of field)를 제공한다. 즉, 도 1b에서 지점 A, B 및 C로부터 목표물까지의 벡터와 관련된 방위와 심도를 제공한다. 심도는, 선예도(sharp)가 적합한 것처럼 보이는, 즉 초점이 맞는 거리의 범위를 나타낸다. 심도는, 무엇보다도, 카메라의 종류, 조리개(aperture) 초점거리에 따라 달라진다. "선예도" 또는 "초점"은 소정의 영역(range)으로서, 종종 착란원(circle of confusion)이라고도 부른다. 적절한 선예도를 갖는 착란원은, 표준 8x10 인치의 프린트로 확대되었을 때 그리고 약 1피트의 표준 시거리에서 보았을 때, 눈치채지 못할 정도의 것으로 대략 정의할 수 있다. 디지털 이미징의 경우, 이미지는 블러 반경(blur radius)이 픽셀 사이즈 p보다 작을 때 초점이 맞는 것으로 간주된다.

도 15를 보면, 메타데이터는 목표물(200)의 위치를 결정하는데 큰 도움이 되며, 이 예에서, 지점 A, B 및 C의 위치 데이터는 GPS 데이터로부터 구할 수 있다. 그러나, 목표물(200)에 대하여 더 많은 지점과 이미지를 얻을 수록, 목표물의 위치는 작은 "영역"(area)으로 수렴한다. 도 15에서, 지점 A로부터 목표물(200)까지 벡터(210)를 따라, 이미지를 구한다. 불확실한 영역은 원호(216)로 표시된다. 도면에서 벡터(212, 214)를 따라 지점 B와 C로부터 이미지를 얻는 경우, 목표물의 위치는 도면부호 200으로 표시된 작은 영역으로 수렴하게 된다.

스테레오 삼각측량의 경우, 본 발명은 도 15에 도시된 여러 지점 A, B 및 C에서 상이한 카메라를 사용하는 것을 고려하고 있다. 또는, 서로 오프셋된 2개의 센서를 갖는 하나의 카메라, 예를 들면 캐나다의 B.C. 리치몬드의 Point Grey Research Inc.로부터 구할 수 있는 BumbleBee2와 같은 카메라를 사용해서, 한 지점으로부터 목표물까지의 심도, 즉 지점 A로부터 목표물(200)까지의 심도를 얻을 수 있다. 미국특허 제6915008호; 제7692684호; 및 제7167576호를 참고.

깊이 이미징 기술로서 구조광은 마이크로소프트의 키넥트(Kinect) 게임 시스템(또한 Asus XtionPro도 참고)이 도입되면서 큰 인기를 얻게 되었다. 구조광 이미징 시스템은, 공지의 빛의 패턴을 카메라로 바라보는 3D 장면에 투영한다. 투영된 빛의 패턴을 일그러지게 하면(distortion), 투영된 빛의 패턴에 의해 이미지화된 3D 구조를 연산할 수 있다. 일반적으로, 이미징 시스템은 근적외선(Near-Infrared light)으로 공지의 패턴(Speckles)을 투영한다. CMOS IR 카메라는 장면(scene)을 관측한다. 프로젝터와 카메라 사이에서 조정(calibration)하는 것도 알려져 있다. 산광기(diffuser) 및 IR 광의 회절소자(diffractive element)에 의해 투영이 생성된다. 깊이는 가상 이미지(패턴)와 관측된 패턴 사이의 각 스페클(speckle)의 삼각측량에 의해 연산된다. 물론, LCD, LCOS 또는 DLP 프로젝터에 의해 투영되는 MEMS 레이저 또는 적외선 패턴과 같이, 여러가지 다양한 이미터와 검출기가 똑같이 적합하다. Primesense에서 Kinect용 구조광 시스템을 제조하고 있고, 그 작동과정에 대해서는 국제특허공보 WO 2007/043036 및 미국특허 제7,433,024호; 제8,050,461호; 및 제8,350,847호를 보면 상세하게 알 수 있다. 미국특허공보 제2012/0140109호; 제2012/0042150호; 제2009/0096783호; 제2011/0052006호 및 제2011/0211754호 참고. 또한, 미국특허공보 제2012/0056982호; 제2008/0079802호; 제2012/0307075호; 및 미국특허 제8,279,334호; 제6,903,745호; 및 제8,044,996호 참고(참고로 본 문서에 포함). 구조광을 사용하는 스캐너는 캘리포니아주 마운틴뷰의 Matterport로부터 구할 수 있다.

현재의 키넥트(Kinect) 시스템은 적외선 프로젝터, 적외선 카메라(검출기) 및 RGB 카메라를 이용한다. 현재의 키넥트 시스템은 640x480 픽셀의 깊이 해상도, 1600x1200 픽셀의 RGB 해상도, 60FPS에서의 이미지, 0.8m~3.5m의 작동 범위(Operation range), 3mm @2m 거리의 공간 x/y 해상도, 1cm @2m 거리의 깊이 z 해상도를 갖고 있다. 이 시스템을 통해서, 마커없는 사람 추적(markerless human tracking), 제스처 인식, 얼굴 인식 및 동작 추적을 할 수 있다. 조정 단계(calibration stage) 중에 신체의 중심에 대한 국부적인 측지 극값(geodesic extrema)에서 다수의 관심 지점을 추출함으로써, 시스템은 분류기(claaifier)를 깊이 이미지 경로로 향하게 하고, 몇몇의 개인의 신체적 지표(예를 들어, 머리,손, 발)를 분류한다.

새로운 키넥트 시스템은 60미터의 접근 거리에서 동일한 해상도를 얻을 수 있고, 더 많은 사람과 더 많은 신체적 지표를 수용할 수 있다. 알려진 바에 따르면, 새로운 키넥트 시스템은, 수평으로 70도 그리고 수직으로 60도의 시계를 갖고, 24비트 RGB 컬러에서 16비트 YUV까지 변하는 920x1080 카메라를 갖고 있다. 비디오는 30 fps로 스트리밍을 할 것이다. 또한, 깊이 해상도는 320x240에서 512x424로 개선되고, 현재의 gen Kinect와 달리 IR 스트림을 이용함으로써 본 장치는 빛이 제한된 환경에서도 더 잘 볼 수 있도록 할 것이다. 또한, USB 3.0을 포함시킴으로써 레이턴시(latency)도 감소될 것이다. 나아가, Primesense는 최근, 모바일 장치에 통합될 수 있는 저렴하면서도 소형으로 된 센서 시스템으로서, 임베디드 3D 센서 Capri 1.25를 내 놓았다. 예를 들어, 도 5에서, 일부 애플리케이션의 센서(146, 148)는 구조광 시스템에 대하여 이미터/수신기를 구성한다.

비행시간(TOF) 카메라는 LIDAR의 클래스이며, 적어도 조명장치(illumination unit), 렌즈 및 이미지 센서를 포함한다. 조명장치는 보통 IR 이미터를 사용하고, 이미지 센서는 빛이 조명장치로부터 물체까지 갔다가 돌아오는 시간을 측정한다. 렌즈는 반사된 빛을 수집하여 이미지 센서에 투영한다(그리고 원치 않는 스펙트럼이나 배경의 빛을 필터링함). 예를 들어, 도 5에서, 일부 실시예로서, 센서(146)는 조명센서를 포함하고, 센서(148)는 이미지 센서이다. 또는, 센서(146, 148)는, 다른 스펙트럼으로 간섭성(coherent) 광 또는 비간섭성(incoherent) 광을 사용하여, 스캔된 또는 스캐너없는 LIDAR 시스템의 일부로서 작동할 수 있다. 이러한 TOF 카메라는 PMDVision (Camcube 또는 Camboard), Mesa Imaging, Fotonic (C-40, C-70) 또는 ifm으로부터 구할 수 있다. 이미지 처리 소프트웨어는 독일 에를랑엔(Erlangen)의 Metrilus, GmbH에서 구할 수 있다.

플렌옵틱 카메라는 도 5의 센서(140 내지 148) 또는 도 10의 센서(222, 246, 248)로서 사용될 수 있다. 플렌옵틱 카메라는 플렌옵틱 기능을 시험(sample)하며, 또한 라이트 필드 카메라(Light Field cameras)라고 알려져 있고, 때로는 계산 사진학(computational photography)과 연관된다. 플렌옵틱 카메라는 Lytos, Adobe, Raytrix 및 Pelican Imaging과 같이 여러 공급원을 통해서 구할 수 있다. 예를 들어, 미국특허 제8,279,325호; 제8,289,440호; 제8,305,456호; 및 제8,265,478호 및 미국특허공보 제2008/0187305호; 제2012/0012748호; 제2011/0669189호 및 www.lytro.com/science_inside를 참고(이들 모두 본 문서에 참고로 통합됨).

일반적으로, 플렌옵틱 카메라는 마이크로렌즈 배열구조를 스퀘어 조리개(square aperture)와 종래의 이미지 센서(CCD 또는 CMOS)와 결합시켜, 동시에 다중 앵글로부터 이미지를 캡처한다. 약간 다른 각도로 얻은 캡처된 이미지는 똑같은 장면이 수 백가지 또는 수 천가지 버전으로 보이는데, 이 이미지는 빛의 영역(light field)에서 광선을 얻어내도록 처리된다. 이후에, 빛의 영역은 원하는 초점을 갖는 이미지를 재생하는데 또는 3D 포인트 클라우드(point cloud)로서 사용된다. 소프트웨어 엔진은 매우 복잡하지만, 많은 카메라들은 GPU를 포함하여 이렇게 복잡한 디지털 프로세싱을 처리할 수 있다.

이상적으로, 플렌옵틱 카메라는 종래의 카메라와 거의 같은 가격이지만, 초점 조립체를 제거함으로써 크기가 더 작다. 초점은 디지털 프로세싱으로 결정될 수 있고, 심도도 그렇다. 주요 이미지가 마이크로렌즈 배열의 전방에 형성되면, 카메라는 케플러 모드(Keplerian mode)에서 작동하고, 이미지는 마이크로렌즈 배열의 뒤에 형성되고, 카메라는 갈릴레이 모드(Galilean mode)로 작동한다. T. Georgieu et al, Depth of Field in Plenoptic Cameras, Eurograhics, 2009를 참고할 수 있다.

일반적인 사진촬영에 있어서, 광선(430)은 광학소자(432)를 통과하고, 도 16a에서 볼 수 있듯이 센서(434)에 의해 캡처된다. 기본적으로, 센서(434) 상의 픽셀(436)은 모든 광선(430)에 의해 조명되고, 그 광선의 강도를 합한 것을 기록한다. 각각의 광선에 대한 정보는 손실된다. 라이트 필드(Light Field) 사진촬영("플렌옵틱"이라고도 칭함)에 있어서, 모든 광선(빛(radiance))에 대한 정보를 캡처하여 도 16b에 도시된 것처럼 기록한다. 빛을 캡처함으로써, "연산적으로"(computationally) 사진을 촬영할 수 있다. 도 16b에서, 물체(410)는 렌즈 시스템(412)에 의해 이미지화된다. 가상의 이미지(414)가 연산 평면(416)에 나타나고, 이미지가 주요 센서(420) 위에 결합된다. 마이크로렌즈 배열(418)은 복수의 센서를 구비하고 있고, 각각의 센서는 다른 위치에서 가상의 이미지를 바라보는 작은 카메라처럼 작동한다. 일부 플렌옵틱 카메라에서, 그 배열구조는 20,000 개의 마이크로렌즈가 될 수 있고, 심지어는 상이한 초점거리를 갖는 마이크로렌즈를 구비하여 더 깊은 심도를 제공할 수도 있다. 반도체 기술이 발전하면서, 배열구조는 상당히 커질수 있고-현재 60 MP 센서를 이용할 수 있음-, 무어의 법칙을 적용할 수 있을 거 같은데, 이는 장면에 대하여 더 풍부한 정보를 캡처하기 위해 상당히 큰 센서 배열구조를 달성할 수 있다. 이미지를 처리하는 연산능력(예를 들어, GPU)은 동일한 속도(rate)에서 증가하고 있고, 따라서 실시간으로 렌더링을 할 수 있다.

연산 사진 촬영에 있어서, 광학 소자는 각각의 광선에 연산적으로 적용되고, 연산적으로 렌더링된 장면(scene)에 적용된다. 플렌옵틱 카메라는 장면의 광선 정보를 캡처하는데 사용된다. 플렌옵틱 카메라는 캘리포니아주 팔로 알토의 Pelican Imaging, Adobe 및 Lyto로부터 구할 수 있다. 이러한 플렌옵틱 카메라에서, 마이크로렌즈를 사용하여 카메라 배열을 생성하고, 플렌옵틱 기능을 샘플화한다. 일반적으로, 사진은 예를 들어 NVIDIA(GeForce 580)와 같은 GPU에 의해 렌더링되고, CUDA 또는 Open GL Shader Language를 사용하여 프로그램된다.

다르게 표현하면, 라이트필드 카메라는 마이크로렌즈 배열을, 플렌옵틱 카메라를 생성하도록 보통 GPU에서 돌아가는 소프트웨어 엔진과 결합시킨다. 본질적으로, 마이크로렌즈 배열(418)은 스퀘어 조리개 및 일반적인 이미지 센서(420)(CCD 또는 CMOS)와 함께 사용되어, 동시에 여러 각도에서 물체(410)의 뷰(view)를 캡처한다. 약간 다른 각도로 얻은 캡처된 이미지는 똑같은 장면이 수 백가지 또는 수 천가지 버전으로 보이는데, 이 이미지는 빛의 영역(light field)에서 광선을 얻어내도록 처리된다. 이후에, 빛의 영역은 원하는 초점을 갖는 이미지를 재생하는데 또는 3D 포인트 클라우드(point cloud)로서 사용된다.

따라서, 소정의 실시예에서는, 플렌옵틱 카메라 및 연산 사진촬영을 사용하는 것이 바람직한 것이라고 생각할 수 있다. 종래의 일반적인 카메라로 어떤 한 장면의 깊이 정보를 정확하게 연산하기 위해서는, 두 개의 이미지를 비교해야만 하고 대응하는 포인트들을 매칭시켜야만 한다. 그 후에, 본 문서에서 설명하는 삼각측량에 의해 깊이를 추출한다. 플렌옵틱 카메라와 연산 사진촬영을 사용함으로써, 마이크로렌즈의 배열구조를 통해서, 일정량의 스테레오가 카메라 내로 구축된다. 즉, 한 장면 내의 여러가지 다른 지점에 대하여 심도를 연산할 수 있다.

IV. 네트워크 작동 환경

예를 들어, 도 3에서, 시스템(100)의 통신 네트워크(205)는 하나 이상의 네트워크를 포함하며, 예를 들면 데이터 네트워크(도시 안됨), 무선 네트워크(도시 안됨), 전화통신 네트워크(도시 안됨) 또는 이들을 조합한 네트워크가 될 수 있다. 데이터 네트워크는 근거리 통신 네트워크(LAN), 대도시 네트워크(MAN), 광대역 네트워크(WAN), 공중 데이터 네트워크(예를 들어, 인터넷), 또는 기타의 다른 적절한 패킷-교환 네트워크, 예를 들어 사설 케이블 또는 광섬유 네트워크와 같은 상업적 사설 패킷-교환 네트워크(commercially owned, proprietary packet-switched network)일 수 있다. 또한, 무선 네트워크는 예를 들어, 셀룰러 네트워크(cellular network)일 수 있고, 여러가지 다양한 기술을 이용할 수 있는데, 이러한 기술로는 EDGE(enhanced data rates for global evolution), GPRS(general packet radio service ), GSM(global system for mobile communications), IMS(Internet protocol multimedia subsystem), UMTS(universal mobile telecommunications system) 등등이 있고, 뿐만 아니라 기타의 적절한 무선 매체, 예를 들어 WiMAX(worldwide interoperability for microwave access), LTE(Long Term Evolution) 네트워크, CDMA(code division multiple access), WCDMA(wideband code division multiple access), WiFi(wireless fidelity), 위성, MANET(mobile ad-hoc network) 등등이 있다.

예를 들어, 스마트폰(10), 태블릿(12), 안경(220) 및 경험 컨텐츠 플랫폼(207)와 같은 모바일 장치는 서로 통신을 하며, 잘 알려진 프로토콜, 새로운 또는 현재 개발중인 프로토콜을 이용하여 통신 네트워크(205)의 다른 소자와 통신을 한다. 이와 관련하여, 프로토콜은, 통신 링크를 통해 전송되는 정보에 기초하여 통신 네트워크(205) 내의 네트워크 노드(node)가 서로 어떻게 상호작용을 하는지를 정의하는 일련의 규칙을 포함한다. 다양한 유형의 물리적 신호를 생성하고 수신하는 것에서부터, 신호를 전송하는 링크를 선택하는 것까지, 신호가 나타내는 정보의 포맷까지, 그리고 컴퓨터 시스템에서 실행되는 소프트웨어 애플리케이션 중 어느 것이 정보를 송신하고 수신하는지를 식별하는 것까지, 프로토콜은 각 노드 내에서 상이한 작동 레이어에서 효과적이다. 네트워크 상에서 정보를 교환하기 위한 개념적으로 상이한 프로토콜 층들은, Open Systems Interconnection (OSI) Reference Model에 설명되어 있다.

한 실시예에서, 장치(10)에 상주하는 애플리케이션과 컨텐츠 플랫폼(207) 상의 애플리케이션은, 클라이언트-서버 모델에 따라 서로 작용하여, 장치(10)의 애플리케이션은 필요시 컨텐츠 플랫폼(207)으로부터 체험(experience) 및/또는 컨텐츠 데이터를 요청한다. 클라이언트-서버 모델에 따라, 클라이언트 프로세스는 서버 프로세스에 대한 요청을 포함하는 메시지를 전송하고, 서버 프로세스는 서비스를 제공함으로써(예를 들어, 맵(map) 정보를 제공) 응답한다. 서버 프로세스는 또한 클라이언트 프로세스에 대한 응답으로 메시지를 되돌려보낸다. 종종 클라이언트 프로세스와 서버 프로세스는, 호스트(host)라 부르는 다른 컴퓨터 장치에서 실행되고, 네트워크 통신을 위해 하나 이상의 프로토콜을 이용하여 네트워크를 통해 통신을 한다. "서버"(server)라는 용어는 일반적으로 서비스를 제공하는 프로세스 또는 프로세스가 작동하는 호스트 컴퓨터를 나타내는데 사용된다. 마찬가지로, "클라이언트"(client)라는 용어는 일반적으로 요청을 생성하는 프로세스, 또는 프로세스가 작동하는 호스트 컴퓨터를 지칭하는데 사용된다. 본 명세서에서 사용되는 용어로서, "클라이언트"와 "서버"는 명확하게 그렇지 않다라고 표현하지 않는 한 호스트 컴퓨터 보다는 프로세스를 나타낸다. 또한, 서버가 수행하는 프로세스는, 신뢰성(reliablity), 확장성(scalability), 중복성(redundancy) 등등의 이유로, 다중 호스트(종종 티어(tiers)라고 부름)에서 다중 프로세스로서 구동되는 것으로 분류될 수 있다.

한 실시예에서, 크라우드소스 랜덤 이미지와 메타데이터를 사용하여, 데이터베이스에 저장된 이미지를 업데이트할 수 있다. 예를 들어, 도 3에서, 모바일 장치(10, 220)에서 새로 얻은 이미지는 데이터베이스(212) 내의 대응하는 이미지와 매칭될 수 있다. 새로 얻은 이미지의 시간(메타데이터, 도 12)을 데이터베이스에 대한 마지막 업데이트와 비교함으로써, 데이터베이스 이미지가 업데이트되어야할지 여부를 결정할 수 있다. 즉, 실제 세상의 이미지는 변하므로, 데이터베이스에 저장된 이미지는 변한다. 예를 들어, 레스토랑의 외관이 변한 경우, 새로 획득한 레스토랑의 이미지는 그 변화를 반영하여 데이터베이스를 업데이트할 것이다. 도 3에서, 이미지 데이터베이스(212)는 새로 얻은 이미지를 통합하도록 변경된다. 물론 데이터베이스(212, 214)는 도시된 것처럼 분리될 수 있고, 아니면 하나의 파일 저장 시스템에 포함될 수도 있고, 아니면 알려진 어떤 다른 저장 방법을 사용할 수도 있다.

한 실시예에서, 위치 모듈은 삼각측량 시스템을 통해서, 즉 GPS(25), 지원 GPS(A-GPS) A-GPS, Cell of Origin, 무선 랜 삼각측량, 또는 기타의 위치 추정(extrapolation) 기술에 의해서, 사용자의 위치를 결정한다. 표준 GPS 및 A-GPS 시스템은 위성을 사용하여, 장치(10)의 위치(예를 들어, 위도, 경도 및 고도)를 정확히 집어낼 수 있다. Cell of Origin 시스템을 사용하여, 셀룰러 장치(10)가 동기화된 셀룰러 타워를 측정할 수 있다. 이 정보는, 장치(10)의 위치를 개략적으로 제공하는데, 그 이유는 셀룰러 타워가 지리적으로 맵핑될 수 있는 독특한 셀룰러 식별자(cell-ID)를 가질 수 있기 때문이다. 또한, 위치 모듈은 장치(10)의 위치를 탐지하기 위해 여러기술을 복합적으로 사용할 수 있다. 바람직한 실시예로서, 지원 모드에서(미국특허 제7,904,096호; 제7,468,694호; 및 미국특허공보 제2009/0096667호 참고) 셀 네트워크를 사용하여, GPS 좌표를 처리함으로써, 장치(10)의 위치에 대하여 더욱 구체적인 정보를 제공할 수 있다. 한편, 여러 실시예에서, 클라우드 기초 GPS 위치 방법의 경우, 정확도를 높이고 소요되는 전력을 줄일 수 있다는 점에서 바람직하다는 것이 입증되었다. 참고, 미국특허공보 제2012/0100895호; 및 제2012/0151055호. 바람직하게, 도 3의 이미지 처리 서버(211)는 이미지의 시간을 이용하여, 네트워크 차분 기법(network differential techniques)을 통해서 AGPS 위치를 후처리(post process)한다. 앞서 기술하였듯이, 장치(10)의 애플리케이션 및/또는 컨텐츠 플랫폼(207) 또는 이미지 처리 서버(211)에 의해, 사용하기 위한 위치좌표를 결정함에 있어서 위치 모듈을 사용할 수 있다. 도 15와 관련하여 설명한 것처럼, 정확도가 증가됨으로써, 목표물의 위치를 결정함에 있어서 발생하는 에러를 줄일 수 있고, 연산하는데 드는 노력과 시간도 줄일 수 있다.

V. 데이터 획득, 조절(conditioning) 및 사용

유용한 이미지와 데이터를 가능한 한 많이 획득해서 위치의 모델을 구축하고 업데이트하는 것이 목적이다. 모델은 3D 가상 모델과 이미지를 포함한다. 당업자는 사진측량기술에 대한 기본적인 이해를 갖고 있다고 가정하지만, 도 13a 및 도 13b에서는 기초개념을 설명하고 있고, 도 16a와 비교할 수 있다. 도 13a에 도시된 것처럼, 도 3의 모바일 장치(10)의 CCD 또는 CMOS 배열과 같은 이미지 센서를 사용한다. 모바일 장치(10)의 카메라(140, 141)의 초점 거리 및 렌즈의 특성을 알면, 해결하는데 도움이 된다. 모바일 장치(10)는 3.85 mm의 초점 거리, 2.97의 고정 조리개 및 2.8의 F값을 갖고 있다. 도 12는 Casio QV-4000과 연관된 다른 카메라의 일반적인 EXIF 포맷을 나타낸다. 모바일 장치(10)의 카메라(140)를 사용하는 사용자가 이미지를 획득하면, 도 13a에서 볼 수 있듯이, "원점"(point of origin)이 명확하지 않지만, 도시된 벡터 또는 광선을 따라가고 있다. 모바일 장치(10)의 방위에 의해, 벡터 또는 광선의 방위를 추측할 수 있다. 장치(10, 220)의 방위는 예를 들어, 디지털 컴파스, 자이로스코프 및 가속도계(도 6)를 사용하여 측정할 수 있다. 여러가지의 위치에 관한 기술이 알려져 있다. 예를 들어, 미국특허공보 제2011/0137561호; 제2011/0141141호; 및 제2010/0208057호를 참고. ('057 공보가 이미지에 기초하여 카메라의 위치와 방위-"포즈"(pose)-를 결정하는 것과 더 관련이 있지만, 카메라 위치와 방위를 알고 있는 경우에는 이러한 기술을 역으로 사용하는 것도 유용하다.)

도 13b에서 볼 수 있듯이, 다른 위치에서 다른 이미지를 촬영하여 두 광선의 교차점을 찾으면(즉 스테레오), 목표물의 독특한 3D 위치를 측정할 수 있다. 본 발명의 바람직한 실시예는, 사용자가 여러 목표물의 이미지를 무작위로 촬영하는 사진측량기술을 이용한다. 즉, 여러명의 사용자가 여러 위치에서 목표물의 이미지를 여러장 촬영한다. 이미지를 촬영할 때 카메라의 위치를 알고 그 방위를 아는 것이, 목표물의 위치를 결정함에 있어서 중요한 단계가 된다. 여러 이미지에서 목표물을 정렬시키면, 본 명세서에서 설명하는 것처럼 목표물을 식별할 수 있게 된다. 예를 들어 미국특허 제7,499,079호 참고.

이미지를 정렬하고 정합(stitching)시키는 것은 당업자에게 널리 알려진 사항이다. 대부분의 기술은 픽셀-픽셀 유사도(pixel to pixel similarities) 또는 특징에 기초한 매칭(feature based matching)을 사용한다. 예를 들어, 미국특허 제7,499,079호 미국특허공보 제2011/0187746호; 제2012/478569호; 및 제2011/0173565호 참고. 예를 들어, 마이크로소프트에서는, "포토싱크"(photosynch) 환경에서 시차(parallax), 렌즈의 왜곡(distortion), 장면의 동작 및 노출의 차이가 있는 경우에도, 오버래핑 이미지를 조합할 수 있는 알고리즘을 개발해왔다. 또한, 마이크로소프트는 디지털 사진을 분석하여 촬영된 물체의 포인트 메쉬(point mesh)와 3D 모델을 생성하는 포토싱크 엔진을 개발하여 사용해오고 있다. 예를 들어, 미국특허공보 제2010/0257252호; 제2011/0286660호; 제2011/0312374호; 제2011/0119587호; 제2011/0310125호; 및 제2011/0310125호 참고. 또한, 미국특허 제7,734,116호; 제8,046,691호; 제7,992,104호; 및 제7,991,283호 및 미국특허공보 제2009/0021576호 참고.

본 발명의 바람직한 실시예에서, 포토싱크 엔진을 사용한다. 물론, 이미지를 정렬하고 정합함에 있어서, 다른 방법을 사용하는 다른 실시예가 있을 수 있다. 포토싱크 프로세스의 첫번째 단계는, 관심지점 근처의 영역과 같이 관심 영역에서 촬영한 이미지를 분석하는 것이다. 이러한 분석은, SIFT(scale-invariant feature transform)에 기초하여 특징점을 검출하여 매칭시키는 알고리즘을 사용하는 것이다. 미국특허 제6,711,293호에 설명된 the D. Lowe SIFT method을 참고. SIFT를 이용하여, 특징점을 한 세트의 트레이닝 이미지(training images)로부터 추출해서 저장한다. 특징점을 추출하는 방법의 핵심은, 이미지를, 이미지의 이동(translation), 스케일링(scaling) 및 회전(rotation)에 대하여 불변인(invariant) 그리고 조명의 변화 및 국부적으로 기하학적 형태가 왜곡되는 것에도 불변인 특징점의 벡터로 변환시키는 것이다. 이러한 특징점 매칭을 사용하면, 이미지를 조합하여 파노라마 또는 여러장의 파노라마를 형성할 수 있다. 당업자들에게는, SIFT를 변형시킨 기술도 알려져 있다: RIFT(rotation-invariant generalization); G-RIFT (Generalized RIFT); "SURF"(Speeded Up Robust Features), PCA- SIFT 및 GLOH.

SIFT(또는 알려진 다른 방법)를 사용하여 특징점을 찾아서 매칭시키는 단계는, 연산적인 측면에서 매우 집중적(intensive)으로 이루어진다. 일반적으로, 이러한 특징점을 찾는 것은 본 명세서에서 설명하는 사진측량기술을 사용한다. 본 발명의 경우, 카메라의 위치와 방위를 매우 정확하게 제공하고 각각의 카메라와 관련된 메타데이터를 사용하여 3D 포인트 클라우드(예를 들어, 모델)를 구축함으로써, 연산하는 것을 줄일 수 있다.

3D 모델을 사용하는 단계는, 마이크로소프트사의 포토신스 뷰어(Photosynth viewer)를 클라이언트 컴퓨터로 다운로드하는 것에서부터 시작된다. 이러한 뷰어(viewer)에 대한 기본적인 사항은, Seadragon(마이크로소프트가 획득함)에 의해 시작된 DeepZoom 기술로부터 유래한다. 미국특허 제7,133,054호 및 제7,254,271호 및 미국특허공보 제2007/0104378호; 제2007/0047102호; 제2006/0267982호; 제2008/0050024호; 및 제2007/0047101호 참고. 이러한 뷰어 기술을 통해서 사용자는 사용자가 선택한 모든 위치와 방위로부터 이미지를 볼 수 있고, 또한 이미지를 줌인(zoom in) 또는 줌아웃(zoom out)하거나 회전(pan)시킬 수 있다.

VI. 작동 및 사용에 대한 일반적인 개관

도 1a는 플라자(300)의 사시도이고, 도 1b는 플라자(300)의 평면도이다. 예를 들어, 플라자(300)에서 도 1b의 위치 A 내지 E에서 다른 시간에 서로 다른 사용자들이 복수의 이미지를 촬영할 수 있다. 획득된 데이터는 이미지 데이터(가능한 경우에는 깊이 카메라 데이터와 오디오를 포함)와 각 이미지에 연관된 메타데이터를 포함한다. 도 12는 이미지와 연관된 공통 EXIF 메타데이터를 나타내는 반면, 본 발명은, 예를 들면 다중 센서로 얻을 수 있는, 장치와 연관된 추가적인 메타데이터를 고려하는데, 도 5, 도 6 및 도 10 참고할 수 있다. 바람직한 실시예에서, EXIF 데이터에 부가하여 가능한 한 많은 정보를 수집할 수 있는데, 도 6에 도시된 센서로부터 얻는 데이터를 포함할 수 있다. 바람직하게, 장치(10) 내의 카메라의 제조사와 모델명도 알 수 있고, 이로부터 초점거리, 렌즈 및 조리개도 알 수 있다. 나아가, 바람직한 형태로서, 위치정보는 비지원 GPS 측위(unassisted GPS)가 아니고, 수평 및 수직으로 정확도를 높일 수 있는 셀 네트워크를 통해 획득한 지원 GPS 측위(assisted GPS)이다. 이미지를 획득한 시간과 대략적인 위치를 알면, 대략적인 위치에 차분 보정(differential corrections) 및 후처리(post processing)를 적용하여, 이미지의 위치를 보다 정확히 제공할 수 있다. 미국특허 제5,323,322호; 제7,711,480호; 및 제7,982,667호 참고.

예를 들어 장치(10, 12, 220)를 사용하여 위치 A 내지 E에서 사용자가 획득한 데이터는 도 3에 도시된 이미지 프로세싱 서버(211)에 의해 수집된다. 바람직하게, 데이터는 통계상의 이상치(statistical outlier)를 제거함으로써 조정된다. 특징 인식 알고리즘(feature recognition algorithm)을 사용하여, 목표물을 식별하고 앞서 논의한 사진측량법(photogrammetry)을 사용하여 위치를 결정한다. 이미지를 획득한 위치(및 방위)를 보다 정확히 알 수 있으면, 목표물의 위치를 보다 정확하게 측정할 수 있다. 또한, 최소 제곱법(least square)과 같은 수렴 알고리즘을 적용하여, 여러가지의 랜덤 이미지로부터, 목표물의 위치를 점진적으로 보다 정확하게 측정할 수 있다.

바람직한 실시예에서, R.I. Harley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 2000에 기재된, 카메라 모델 및 지상검증자료 등록(ground truth registration)을 사용한다. A. Mastin, J. Kepner, J. Fisher in Automatic Registration of LIDAR and Optimal Images of Urban Scenes, IEEE 2009에 기재된 OpenGL의 3D 포인트 클라우드를 렌더링하는 알고리즘도 있다. 또한, L. Liu, I. Stamos, G. Yu, G. Wolberg, and S. Zokai. Multiview Geometry For Texture Mapping 2d Images onto 3d Rang Data. CVPR'06, Proceedings of the 2006 IEEE Computer Society Conference, pp. 2293-2300도 참고할 수 있다. 바람직한 형태로서, 이미지의 LIDAR 데이터는 상호 정보를 평가함으로써 광학 이미지와 함께 등록되며, 상호 정보는 다음과 같다: 예를 들어 광학 이미지 내의 휘도의 LIDAR 고도(elevation) 사이의 상호 고도 정보; 광학 이미지 내의 LIDAR 포인트 클라우드 및 휘도의 값(pdet)의 검출 가능성; 및 광학 휘도, LIDAR 고도 및 LIDAR pdet 값 사이의 결합 엔트로피(jont entropy). 총 결과는, LIDAR 포인트 클라우드 상에 추정되는 메쉬 위에 등록된 광학 이미지를 텍스처 매핑함으로써, 3D 모델을 생성하는 것이다. 본 문서에서 논의 되는 것으로서, LIDAR 대신에 또는 LIDAR에 부가하여, 유용한 정보를 제공하기위해 특정 실시예의 경우, 예를 들어 플렌옵틱 카메라, TOF 카메라 또는 구조적인 광 센서(structured light sensor)와 같은 다른 유형의 깊이 카메라를 사용할 수 있다.

3D 메쉬 모델 내의 각 지점에 대해, 그 지점의 정확한 위치를 알고, 한 지점에서 획득한 또는 그 근방에서 획득한 이미지를 이용할 수 있다. 물론, 이용할 수 있는 이미지의 수는, 데이터베이스의 용량에 따라 달라지며, 유명한 여행 장소의 경우 데이터의 이용가능성은 문제가 아니다. 이미지 추론/페더링(image inference/feathering) 기술을 이용하여(미국특허 제7,499,079호 참고), 풍부한 데이터 세트에 기초하여 거의 모든 지점에 대하여 이미지를 외삽(extrapolate) 방식으로 추론할 수 있다. 각각의 지점에 대하여, 바람직하게는, 파노라마 이미지를 서로 붙여서 해당 지점에 대하여 이용할 수 있다. 이러한 파노라마는, 선택된 고정 지점으로부터 환경의 3D 표현 또는 모델을 구성한다. 맵과 3D 모델을 생성하기 위해 여러가지 기술들이 알려져 있는데, 예를 들면 포인트 메쉬 모델이 있다. 예를 들어, 미국특허 제8,031,933호; 미국특허공보 제2008/0147730호; 및 제2011/0199479호를 참고. 또한, 이미지를 획득한 후 서로 붙여서 한 영역에 대하여 3D 모델을 생성할 수 있는데, 이는 영역을 횡단하여 그 영역을 스캔하여, 스캔된 물체를 시각적으로 반영하는 형상과 색채를 캡처함으로써 이루어진다. 이러한 스캐닝 시스템은 캘리포니아주의 마운틴뷰의 Matterport로부터 구할 수 있으며, 이 시스템은 종래의 일반적인 이미지와 스캐너 주위의 영역을 360도로 회전하면서 획득한 구조화된 광 데이터를 모두 포함한다. 영역의 3D 모델은, 일련의 파노라마를 생성하는 다수의 지점으로부터 영역을 스캔함으로써 생성될 수 있다. 각각의 파노라마는, 3D 깊이 정보(깊이 카메라로부터 얻은) 및 관련된 메타데이터와 함께 모자이크를 형성하도록 붙여진 이미지로 이루어진 3D 모델이다. 즉, 관심있는 지점 부근의 영역을 횡단하여, 여러 지점에 대하여 이미지를 스캔하고 수집함으로써, 관심 지점 부근의 영역에 대하여 정확도가 높은 3D 모델을 생성할 수 있다.

위치가 등록된 3D 모델이 알려져 있는데, 가장 흔한 것은 디지털 서피스 모델(Digital Surface Models)이며, 이 모델은 지형 위에 표면 물체의 적어도 일부를 갖는 지형(예를 들어 빌딩, 거리 등등)을 나타낸다. 종종 해당 기술분야의 당업자들은 디지털 고도 모델(DEM's; Digital Elevation Models)이라고 부르며, 이 모델은 디지털 표면 모델과 디지털 지형 모델로 이루어진 부분집합을 갖고 있다. 도 11은 다양한 레벨로 상세히 표시된 물체를 갖는 지표면을 나타내며, 도시 환경에서 있을 수 있는 플라자(300)의 위치등록정보를 나타낸다. LIDAR는 종종 지표면의 위치등록과 관련하여 물체를 캡처하는데 사용된다. http://www.blomasa.com의 BLOM3D를 참고.

도 11a는 도시 환경의 와이어 프레임 블럭 모델로서, 3D 빌딩이 평행사변형 블럭으로 표현되어 있고, 지붕 또는 다른 구조물에 대한 정보는 없다. 이것은 가장 간단한 데이터 모델이다.

도 11b는 상공에서 바라본 모델(Rooftop model)로서, 지붕 구조 및 건물 위에 있는 다른 구조물을 부가한 모델이다. 이는 훨씬 더 상세하며 정확한 모델로서, 컬러를 포함할 수도 있다.

도 11c는 라이브러리 텍스처 모델(Library Texture Model)로서, 도 11b의 루프탑 모델(Rooftop model)에 라이브러리 텍스처가 부가된 것이다. 따라서, 실제와 보다 흡사하게 다가갈 수 있으며, 포토-리얼리스틱 모델(photo-realistic model)보다 데이터의 크기도 더 적고, 따라서 데이터의 크기에 제약이 있는 온-보드(on-board) 또는 네이게이션 애플리케이션에 대해 이상적이다.

도 11d는 포토-리얼리스틱 텍스처 모델로서, 도 11b의 루프탑 모델에 빌딩 텍스처를 부가한 모델이다. 텍스처는 이미지, 메타데이터 및 LIDAR 정보로부터 추출된다.

도 11의 3D 모델 중 어느 하나의 위에, 보다 더 상세히 추가 정보를 레이어로서 올릴 수 있다. 더 구체적이면 구체적일 수록(즉, 정확도가 더 높을 수록), 모델은 사진에 더 가깝게 된다. 즉, 3D 가상 모델은 관찰자에게 더 현실적으로 된다. 물론, 더 큰 데이터 세트를 다루어야하고 조정해야만 한다는 점에서 타협점을 찾아야한다. 각각의 모델은 본 발명의 시스템과 방법의 견지에서 그 애플리케이션을 갖고 있다. 본 명세서에서 "3D 모델"을 언급할 때 모델의 세부내역에 대한 레벨에 대하여 어떤 제한을 가하는 것은 아니다.

도 14는 이미지를 정렬하고 붙이는 작업을 개략적으로 나타내는 도면으로서, 모자이크(400)는 이미지(402, 404, 406)를 사용한 결과이다. 도 1b 및 도 14를 비교할 때, 이미지(402, 404, 406)는 각각 위치 A, B 및 D로부터 촬영한 이미지이다. 각 이미지(402, 404, 406)에 대한 시선(즉, 카메라 위치로부터의 벡터 또는 광선 방향)은 데카르트 좌표계(Cartesian coordinate system) 또는 오일러 좌표계와 같은 좌표계에서 사용되며 기술되어 있다. 이미지의 오버랩 영역은, 이미지들이 서로 교차하는 곳에서의 체적(volume)을 형성하며, 이는 카메라의 위치와 방위(즉, 카메라가 취하는 자세) 및 이미지의 기하학적 구조의 정확도에 따라 달라진다. 그러나, 특징을 인식하기 위한 서치 공간은, 예를 들어 앞서 설명한 포토신스(photosynth) 기술을 적용하기 위해, 체적 내에 있다. 각각의 이미지(402, 404, 406)가 기여하는 것을 이용하여 모자이크(400)를 형성한다. 이러한 모자이크 기여 기술은 알려져 있는데, 예를 들면 미국특허 제7,499,079호가 있다. 경계부위에 대하여 페더링(feathering) 처리를 하여, 블러링 효과를 제거하고 픽셀 사이에서 부드러운 전환이 일어나도록 한다. 복수의 모자이크를 구성하여 정렬시킴으로써 파노라마를 형성할 수 있다.

일단 3D 모델이 생성되면, 생성된 환경을 공유하고 체험할 수 있는 방법이 다양하게 있다. 도 17은 시각 체험 시스템의 한 형태, 즉 한 명 이상의 사용자(510)를 수용하는 방(500)에서 방 안 전체가 또는 일부분이 투영되는 체험을 할 수 있는 것을 나타내고 있다. 미국특허공보 제2012/0223885호를 참고. 도 17에 도시된 실시예에서, 프로젝션 디스플레이 장치(502)는 방(500)에 이미지(504)를 투영하도록 구성되어 있다. 바람직하게, 프로젝션 디스플레이 장치(502)는 방의 벽에 이미지(504)를 투영할 수 있는 와이드-앵글 RGB 프로젝터와 같은 하나 이상의 프로젝터를 포함하고 있다. 도 17에서, 디스플레이 장치(502)는 이차 정보를 투영하며, LCD 디스플레이와 같은 주요 디스플레이(506)는 주요 정보를 표시한다. 그러나, 디스플레이(502) 또는 디스플레이(506)는 다른 장치 없이 작동하여 모든 이미지를 표시할 수 있다는 것을 이해해야 한다. 또한, 장치(502, 506)의 위치는 달라질 수 있다; 예를 들면, 프로젝션 장치(502)는 주요 디스플레이(506)에 인접하여 놓여 있을 수 있다. 주요 디스플레이(104)와 도 17에 도시된 프로젝션 디스플레이 장치(502)는 2D 디스플레이 장치를 포함하는 반면, 적절한 3D 디스플레이를 이용할 수도 있다.

다른 실시예에서, 사용자(102)는 안경(220)을 사용하여 생성된 3D 환경을 체험할 수 있다(도 10). 일부 형태의 경우, 안경(220)은 주요 디스플레이(506)와 프로젝션 디스플레이(502)에서 적절한 교번-프레임(alternate-frame) 이미지 시퀀싱과 동기화되어 작동하도록 구성된 액티브 셔터 안경을 포함할 수 있다.

선택적으로, 방(500)에는 하나 이상의 깊이 카메라와 일반 카메라를 포함하는 하나 이상의 카메라 시스템(508)이 장착될 수 있다. 도 17에서, 깊이 카메라(508)는 방(500)에 대하여 3차원 깊이 정보를 생성한다. 앞서 논의한 것처럼, 일부 실시예에서, 깊이 카메라(500)는 비행시간(time-of-flight) 카메라로서 구성되어, 발산되고 반사된 빛의 펄스에 대하여 발사(launch) 및 캡처(capture) 시간의 차이를 연산함으로써 공간 거리의 정보를 결정할 수 있다. 다른 예로서, 일부 실시예의 경우, 깊이 카메라(508)는 MEMS 레이저에 의해 방사된 빛의 패턴 또는 LCD, LCOS 또는 DLP 프로젝터에 의해 투사된 적외선 패턴과 같이 반사된 구조화된 광을 수집하도록 구성된 3차원 스캐너를 포함할 수 있다. 일부 실시예에서, 빛의 펄스 또는 구조화된 광은 카메라 시스템(508)의 적절한 광원에 의해 방사될 수 있다는 것을 이해할 수 있다. 카메라 시스템(508)에서 Kinect 시스템과 같은 깊이 카메라를 사용하면 시스템에 제스처(몸동작) 입력이 가능하다는 것은 쉽게 이해할 수 있다. 나아가, 카메라 시스템(508)에서 일반 카메라와 깊이 카메라를 사용하면, 방(500)에서의 활동을 실시간으로 캡처할 수 있고, 즉 방(500)에서 사용자(510)의 활동에 대한 3D 모델을 생성할 수 있다.

도 18은 결혼식을 할 수 있는 결혼식 교회(600)의 구조로 이루어진 또 다른 방을 나타낸다. 도 18의 실시예에서, 결혼식 교회(600) 내에서 일어나는 이벤트의 3D 모델을 구축하고 이미지를 캡처하는 것을 강조하고 있다. 결혼식 교회(600)에서, 카메라 시스템(602)을 사용하면, 결혼식 교회(600)에서의 활동을 실시간으로 캡처할 수 있는데, 즉 결혼식 교회(600)에서 사용자의 활동을 3D 모델로 생성할 수 있다. 카메라 시스템(602)은 복수의 깊이 카메라와 일반 카메라를 포함하고, 또한 결혼식과 관련된 소리를 캡처하도록 마이크도 포함할 수 있다. 결혼식과 관련된 소리를 더욱 완벽하게 캡처하도록 방과 이벤트의 음향에 기초하여 마이크를 추가로(도시 안됨) 설치할 수도 있다.

바람직한 형태로서, 깊이 카메라와 일반 카메라를 모두 갖는 복합 스캐닝 시스템으로, 이벤트에 앞서 결혼식 교회(600)를 스캔하였다. 교회(600)에 대해 생성된 3D 모델의 정확도를 높이도록, 교회(600) 내의 다수의 장소를 스캔한다. 획득된 스캔물은 예를 들어 도 3의 이미지 처리 서버(211)에 의해 처리되고, 체험 플랫폼(207)에 의해 나중에 접근하도록 데이터베이스에 저장된다.

이벤트 중에, 즉 결혼식이 열리는 동안, 카메라 시스템(602)은 이벤트의 이미지(및 소리)를 추가로 캡처한다. 또한, 하나 이상의 결혼식 손님은 모바일 장치(10, 12, 220)를 가지고, 이베트의 이미지오 kthfl를 캡처한 후 네트워크(205)(도 3)에 정보를 무선으로 전송한다. 이벤트 중에 실시간으로 캡처된 정보는 서버(211)(도 3)에서 처리되어 데이터베이스(212, 214)를 업데이트한다. 따라서, 결혼식 교회(600)에서 멀리 떨어져 있는 관람자가 체험 플랫폼(207)에 접근할 수 있다. 실시간이든 역사적으로든 여러가지 방법으로, 원격 사용자가 이벤트(결혼식)을 체험할 수 있다는 것을 알 수 있다. 도 3을 통해 알 수 있듯이, 원격 관람자는 이벤트를 관람하기 위해 모바일 장치(10, 12, 220)를 사용할 수 있다. 또한, 원격 관람자는 이벤트를 관람하기 위해 도 17의 방(500)에 있을 수 있다.

VII. 사용예

시스템 및 방법의 동작을 여러 관점으로 설명함에 있어서 몇몇의 예가 매우 유용하다. 동일한 관심 지역에서 실시되어도 시간과 공간에 따라 랜덤 이미지 및 관련된 메타데이터가 달라질 수 있다는 것을 이해해야한다. 예를 들어, 플라자(300)를 관심 지점으로 할 수 있는데, 플라자의 3D 모델에 대한 세부사항은 모르거나 오래된 것일 수 있다. 나아가, 본 발명의 방법 및 시스템은 GPS를 쉽게 이용할 수 있는 실외지역에서 유용할 수 있지만, 위치를 결정하는 것이 다소 어려운 실내에서도 비슷한 방법과 시스템을 적용할 수 있고, 다만 실내 위치지정 시스템 및 깊이 카메라가 GPS 정보를 대신하거나 증가시킬 수 있다. 또한, 관심 지점의 일반적인 영역과 연관된 데이터를 수집하는 것에 더하여, 데이터를 획득시간과 구분함으로써, 이벤트를 다시 생성하고 참가할 수 있다.

1. 크라우드소싱 이미지: 라이브 뉴스 이벤트

도 7에서 간단한 예를 볼 수 있다. 도 7에서, 모바일 장치(10, 12, 220)를 가진 관람자가 특정시간에 플라자(300)(플라자(300)는 도 1a 및 도 1b에서도 볼 수 있다)에서 시위자(312, 314)의 이미지를 촬영하였다. 다중 랜덤 이미지(무작위 시간에서 무작위 목표물에 대해 무작위 사용자 및/또는 무작위 위치 및/또는 무작위 방위)를 사용하여, 데모(즉, 이벤트)를 캡처한 후 도 3의 네트워크(205)를 통해서 이미지 처리 서버(211)에 무선으로 전송할 수 있다. 이미지는 이벤트(여기에서는 시위)의 3D 모델을 생성하거나 향상시키도록 처리되어 접속용 데이터베이스에 저장된다. 3D 모델은 시위 중에 리플레이로서 뉴스 기관에서 사용할 수 있다. 또한, 원격 사용자는 컨텐츠 체험 플랫폼(207)에 대하여 요청함으로써 플라자(300) 또는 그 부근의 어떤 곳에서든 해당 시위를 볼 수 있다. 간단한 경우로서, 시위가 일어나는 시간에 정지화면 및 동영상을 조합할 수 있고, 체험 플랫폼(207)에서 접속할 수도 있다.

예를 들어, 시위를 기록하는 관람자는 깊이 카메라 정보를 포함하고, 체험 플랫폼도 플라자(300) 및 시위자(312, 314)의 3D 모델을 포함할 수 있다. 이로써, 원격 사용자는 시위를 플라자(300) 내의 특정 관람 위치를 선택하여, 그 위치에서 시위를 볼 수 있다. 직접 관람하는 다수의 관람자가 이미지를 캡처하는 경우, 3D 모델의 정확도는 더 높아질 수 있다.

쓰나미를 일으켜 해안도시를 강타하는 해상 지진과 같은 보다 복잡한 예를 고려해 보자. 파도의 벽이 해안에 도달하면, 도시 전체를 홍수로 파괴시키는 연쇄작용이 일어난다.

케이블 뉴스 네트워크는 영향을 받는 시청자에게 경고를 보내어, 다운로드한 카메라 폰 애플리케이션(108, 112)(도 4)을 사용하여 스마트폰/장치(10, 12) 또는 고글(220)로부터 캡처한 이미지를 전용 클라우드-기반 서버(211)에 업로드하게 한다. 또한, 깊이 카메라를 포함하여 도시 전역에 미리 설치된 카메라로부터 얻은 정확도가 높은 이미지와, 항공 이미지도 서버(211)에 업로드된다.

도시 전역에서 카메라가 장착된 스마트폰(10) 및 고글(220)을 갖고 있는 만명 이상의 영향을 받는 시민은, 이미지(사진 및 소리가 있는 동영상, 깊이 정보 및 관련 메타데이터)를 캡처하여, (이미지 제공자와 소셜 미디어를 통해 직접적으로 또는 간접적으로) 클라우드-기반 서버(211)에 업로드 한다. 업로드된 컨텐츠의 범위는 도시 구조물(예를 들어 빌당) 내의 외부 이미지 및 내부 이미지를 모두 포함한다. 업로드된 컨텐츠는 또한 트위터 포스팅과 같이 관련된 위치와 시간이 특정된 특정 소셜 미디어 컨텐츠를 포함할 수 있다.

뉴스 기관은 이벤트의 크라우드-소스 컨텐츠를 사용하여 쓰나미 충격의 파노라마/3D 렌더링(panoramic/3D rendering)을 거의 실시간으로, 게다가 관심 지점(예를 들어, 해변)에서 시간이 경과된 쓰나미 충격의 렌더링도 함께, 디스플레이한다. 애플리케이션(106)을 사용하여, 체험 플랫폼(207)에서 서비스이용자/사용자는 이미지와 소리 및 3D 모델을 이용할 수 있다. 애플리케이션(106)을 통해서, 도시 전체(이용할 수 있는 이미지)의 많은 부분들을 볼 수 있고 각각의 사용자가 원하는 시점과 장소에서 가상으로 항해할 수 있다. 사용자는 도시의 3D 모델을 조종할 수 있을 뿐만 아니라, 모델 내에서 다수의 사용자가 선택한 위치로부터 얻은 파노라마 이미지에 접근할 수 있다. 나아가, 홈 유저는 인텔리전트 TV를 사용하여 3D 모델에 접근할 수 있고, 나아가 모바일 장치(10, 12, 220)를 텔레비전 또는 모니터 피드를 증대시키기 위한 "제2 스크린" 요소로서 사용할 수도 있다.

또한, 사용자는 모바일 장치(10, 12, 220)와 같은 모바일 장치를 사용하여 바라보는 특정 위치에 관하여, 개선된 증강현실을 볼 수도 있다. 예를 들어, 홍수의 현재 물의 깊이, 고조면 및 해당 영역에 대한 파워의 이용가능성의 상태.

이러한 재해에 대한 크라우드-소스 가상 렌더링은 뉴스를 리포트함에 있어서 뿐만 아니라 대응 효과를 관리함에 있어서 필수적인 도구이다. 이는 또한 예를 들어 스마트 폰(10, 12) 또는 고글(220)과 같이 이용가능한 모바일 네트워크 디스플레이 장치를 사용하여, 나중에 다시 겪을 수 있는 생생한 역사를 제공한다.

환경을 생생하게 렌더링하는 것은 뉴스 기관(청중의 크기/광고 수익)과 대응조직(효율적인 리소스의 전개, 생명 및 자산의 보호) 모두에 대하여 실질적으로 경제적인 가치를 갖고 있기 때문에, 이미지 뱅크에 기여하는 것은 종종 그 컨텐츠를 공유하는 것에 대하여 보상된다. 도시의 재해의 3D 환경에 접근하는 것의 경험 측정치(소비된 시간, 조망, 조치된 행위, 공유, 관련된 상거래 등등)는, 애플리케이션에 의해 추적되고, 경험의 최적화 및 관련된 상업적 활동을 알려주도록 분석하는데 사용된다.

2. 증강현실 개선을 적용하기 위해 렌더링된 환경: 소매 환경 - 식료품점

매일 아침 Acme 식료품점에서, 판매 매니저인 밥(Bob)씨와 그의 팀원들은 매장 전체를 돌면서 스마트폰(10) 및/또는 고글(220)을 사용하여 판매 상품을 촬영한다. 매장에는 매 분마다 이미지를 캡처해서 업로드하는 고정 카메라(예를 들어 카메라 시스템(602), 도 18)도 있다. 모바일 장치는 직접 이미지를 인식하거나 판매 제품 근처에 있는 QR 코드 또는 바코드를 사용하여 상품을 인식한다.

밥씨와 그의 팀은 이미지를 처리 서버(211)에 업로드하고, 처리 서버는 이미지를 처리하고 조합하여, 인터넷/GPS가 가능한 장치에서 볼 수 있도록 가게를 업데이트된 3D 형태의 렌더링으로 만든다. 이 예에서, 이미지를 업로드하면, 구글 맵(Google Maps) 또는 빙 맵(Bing maps)과 같은 대중적인 제3자 지도서비스가 업데이트되어, 이미지들이 최신 이미지로 된다. 또한, 이미지에 의해, 가게 내의 제품의 위치와 재고목록이 업데이트된다.

고객이 가게에 들어오면(또는 원한다면 원격으로), 통로를 걸어가면서 각각의 상품에 대하여 새로 업데이트된 증강현실 메시지와 관련된 프로모션 메시지(가격, 특징, 레시피, 성분 정보)를 볼 수 있다. 입지를 굳히거나 분석할 목적으로, 가게에서(가게 내에서 또는 원격으로) 쇼핑하는 사람(이동, 소비 시간, AR 언터랙션, 구매 등등)의 행위 데이터가 캡처되고 서버에 업로드된다.

가게의 렌더링을 체험하는 구매자는 핸드폰의 카메라 뷰파인더를 사용하는 것에 의존하지 않는다. 그 보다는, 인도어 위치결정 기술(본 문서에서 논의됨)을 이용하여 가게의 위치가 결정되고 선택항목에 대한 현재 이미지로 업데이트된다.

증강현실 메시지를 보기 위해서 불편하게 핸드폰의 카메라를 목표물에 갖다 댈 필요없이, 3D 가게 환경의 "여러 레벨의 세부사항"(levels of detail) 및 다중 시점을 표시할 수 있고, 핸드폰 카메라의 조준선에 상관없이 고객의 스마트폰(10)(또는 태블릿(12) 또는 안경(220)) 상에서 조정할 수 있다.

사용자는 증강 현실의 개선된 사항을 경험하기 위해 자신의 얼굴 앞에 카메라 폰(10)을 고정할 필요가 없다.

3. 거울/라이브 이벤트를 다른 위치로 복제: 슈퍼볼

최근 캘리포니아주 파사데나(Pasadena)의 로즈 볼(Rose Bowl)에서 슈퍼볼이 75,000 명의 팬 앞에서 열리고 있다. 로즈 볼은 예를 들어 구글 스트리트 뷰와 같이 이미 지도에 기록되어 있고, 여기서 이미지, 메타데이터 및 깊이 카메라 정보를 획득하고 저장할 수 있다. 즉, 정확도가 높은 로즈 볼의 3D 모델이 미리 생성되어, 처리된 후 데이터베이스(212, 214)에 저장되어 있는 바, 체험 플랫폼(207)을 통해서 접근할 수 있다. 매우 사실적인 경기장과, 필드 및 참가자의 이미지가 이미지 데이터베이스(212)에 업로드되어 있다.

경기장은, 2초마다 이미지를 캡처하여 자동으로 이미지 저장소(216)에 업로드하고 중앙처리 서버(211)에 전송되도록 프로그램되어 있는 5,000개의 무선 카메라(예를 들어, 도 18의 카메라 시스템)를 통해 개량되었다.

비슷하게, 모든 선수의 헬멧에는, 경량의 착용 카메라가 설치되어 있고, 이 카메라에는 일반 카메라와 깊이 카메라 및 마이크가 결합되어 있으며, 매초마다 이미지를 캡처한다. 심판의 모자에는 비슷한 카메라가 장착되어 있다. 각각의 선수와 코치도, 증강현실 메시지를 전달하는데 도움이 되도록 이미지 태크 또는 마커를 갖고 있다. 크기(렌즈는 아님), 무게 및 전력 요구사항을 고려하면, 플렌옵틱 카메라가 유리한 경우도 있다.

마지막으로, 게임에 참여하는 다수의 팬들은, 이미 착용식 카메라, 예를 들어 고글(220)(도 10)을 소지하고 있는데, 이 카메라는 팬들이 바라보는 시점에서 주기적으로 예를 들어 5초마다 자동으로 이미지를 캡처하여 업로드 한다. 고글(220)에 있는 촬영 및 소리 센서는, 어떤 것이든 사용할 수 있다. 이미지는 도 3의 네트워크를 통해서 무선으로 연속적으로 업로드되어 처리된다.

이러한 크라우드-소스 이미지와 소리를 모두 고속으로 처리함으로써, 경기를 복제하는 거의 사실과 같은 가상의 3D 모델을 생성할 수 있고, 여러가지 새로운 방식으로 경험할 수 있다:

● 거울처럼 투영되어, 다른 그룹의 관중이 보도록 다른 경기장/구장 내에 들어간 것처럼 라이브 또는 라이브에 가까운 3D 이미지 및 합성 오디오

○ 개선된 증강현실 체험

● 미니어처 거울로 투영되어, 가정용 시청 "테이블" 또는 회의실 공간 내에 들어간 것처럼 라이브 또는 라이브에 가까운 3D 이미지 및 합성 오디오

○ 개선된 증강현실 체험

● 네트워크 접속 모바일 장치(스마트폰(10), 태블릿(12), 고글(220) 또는 TV)에서, 관람자는 공간(위에서 바라보는, 모든 목표물 또는 방위로 모든 선수의 시점, 모든 좌석) 내에서 선택한 거의 모든 시점으로 체험할 수 있는, 새로운 방식으로 3D를 시청할 수 있다.

○ 개선된 증강현실 체험

○ 개선된 소셜 미디어 체험

■ "50야드 라인 시트"(50 Yard Line Seats)는 다른 곳에 살고 있는 친구들이, 가상으로 모두 함께 앉아서 인터넷이 가능한 TV, 컴퓨터 또는 태블릿 컴퓨터에서 게임을 3D 가상 라이브 렌더링으로 할 수 있도록 하는 개념이다. 이러한 체험은, Google+의 "Huddle"에서 볼 수 있는 그룹 비디오 컨퍼런싱 기술을 포함하며, 이는 친구들이 모두 동일한 시점으로 게임을 볼 때 서로 교감을 할 있도록 하는 것이다. 예를 들어, 친구들은 도 3의 소셜 네트워크에 접속하여 가상 환경에서 서로 소통을 할 수 있다.

한 실시예로서, 게임의 크라우드-소스 이미지와 오디오 환경을 텔레비전을 넘어서 도 17에 도시된 시청하기 위한 방(500)의 벽과 표면으로 확장함으로써, 게임을 시청할 때 보다 둘러싸여 있는 느낌을 체험할 수 있다. 방(500)을 사용하면 둘러싸여 있는 환경을 생성하여, 경기에 직접 참여하는 경우에 보고 들을 수 있는 것과 비슷하게 만들고, 따라서 "참여" 이벤드에 대해 최상의 "맨 케이브"(man cave)를 생성할 수 있다.

4. 라이브 맵: 애팔레치안 트레일

밥(Bob)씨는 도 8의 애팔레치안 트레일(Appalachian Trail)로 떠나는 하이킹을 계획하고 있다. 이전에 다녀온 하이커들에 의한 플랫폼(207)의 크라우드-소스 이미지와 모델에 접속하는 애플리케이션을 사용하면, 대부분의 트레일에 대한 3D 모델을 이용하여, 밥씨는 네트워크 장치에서 미리 볼 수가 있다. 나아가, 여러 장소에 대하여, 파노라마와 같이 전부터 있던 이미지와 3D 모델도 이용할 수 있다.

밥씨는 3D로 렌더링된 트레일 환경을 여러가지 시점과, 장소와 계절(가을, 겨울, 봄, 여름)로 볼 수 있다. 또한, 렌더링은, "그래피티"(graffiti"라고 부르는, 먼저 다녀온 트레일 하이커들의 조언과 메시지를 포함하는 트레일에 대한 증강현실 유형의 메시지를 통해 보다 개선될 수 있다. 이 예에서, 밥씨는 환경을 생성하는데 사용되는 이미지를 최근 5년간으로만 필터링하고, "그래피티"를 자신의 소셜네트워크에 있는 하이킹 클럽의 멤버들만 볼 수 있도록 제한할 수 있다.

밥씨는 애플리케이션을 사용하여 자신이 원하는 코스를 차트로 만들 수 있다.

밥씨는 트레일을 혼자 걸을 계획이지만, 이 여정에 아버지인 존(John)씨가 "가상"으로 참여하기를 바란다. 밥씨는 소셜 미디어 서버를 이용하여, 아버지와 친구들을 초대함으로써 가상으로 참여할 수 있게 한다. 존씨는 참여하라는 밥씨의 초청을 수락하고, 이로써 밥씨에 대한 통지와 이벤트가 캘린더에 생성된다.

하이킹하는 날에, 밥씨는 GPS 기능을 갖는 스마트폰(10) 또는 고글(220)을 가지고 간다. 밥씨는 도 4의 애플리케이션(108, 110)과 같은 애펄레치안 트레일 애플리케이션을 켠다.

애플리케이션(108, 110)을 작동시키면, 밥씨가 하이킹을 시작했고 존씨(및 밥씨의 초청을 수락했던 다른 친구들)가 가상으로 참여할 수 있다는 것을 알리는 신호를 전송하게 된다.

존씨는 애플리케이션에 접속한 후 자신의 아이패드(12) 또는 고글(220)을 사용하여 밥씨의 하이킹에 참여할 수 있고, 이를 알리는 신호가 밥씨의 스마트폰(10)에 전송된다.

존씨의 화면에서, 존씨는 여러개의 사진과 같은 환경의 3D 렌더링 옵션을 볼 수 있고, 도 8에서와 같은 트레일을 따라 밥씨가 움직이고 있는 것을 볼 수 있다. 예를 들어, 존씨는 밥씨의 뒤를 따라가거나, 평면도에서 지도위의 점처럼 위에서 보거나, 트레일에서 앞에서 뛰거나, 뒤를 돌아볼 수 있다. 사실, 가상의 시청자의 모든 활동 데이터가 캡처되어 서버에 업로드되어, 3D 트레일 환경의 디자인, 사용법 및 제정(monetization)을 최적화하는 분석기능을 제공할 수 있다.

아버지인 존씨가 원격으로 시청할 때, 밥씨는 자신의 스마트폰(10)이나 고글(220)에서 동일한 3D 트레일 렌더링을 볼 수 있다. 가상의 환경은 다음과 같이 개선된 다수의 증강현실을 포함하고 있다:

● 트레일 경로

● 다른 하이커의 조언/메시지 (텍스트 및 오디오)

● 역사정보에 접속

● 트레일의 역사적인 이미지

● 따라오는 사람들의 소셜 미디어 메시지

● 시간, 속도 및 거리에 대한 성과를 측정

● 트레일에 있는 다른 사람의 위치와 프로필

밥씨는 자신의 핸드폰의 스크린에서 이러한 정보/렌더링을 볼 수 있고, 트레일 렌더링 또는 AR 정보에 접속하기 위해 핸드폰의 카메라 렌즈를 사용할 필요가 없다.

밥씨가 트레일을 따라 걸어갈 때, 밥을 따라가고 있는 아버지인 존씨 및 친구들과 Google+ Huddle과 같은 소셜 미디어 컨퍼런스 기능을 사용하여 대화를 할 수 있다. 장비가 갖추어진 시청할 수 있는 방에서 원격 시청자들은, 환경 디스플레이를 사용하여 트레일의 크라우스-소스 이미지를 인터넷이 가능한 텔레비전 또는 장치의 스크린을 넘어서 시청하는 방의 벽과 표면까지 확장함으로써, 더욱 둘러싸여 있는 느낌으로 트레일을 관람하는 경험을 할 수 있다.

밥씨가 이미지 라이브러리 내에서 강건(robust)하지 않은 트레일의 영역에 들어가면, 스마트폰(10) 또는 고글(220)에서 이미지를 캡처하여 처리 서버(211)로 업로드하라고 요구하는 경고신호를 애플리케이션으로부터 자신의 스마트폰을 통해 받는다. 각각의 이미지는 3D 환경을 생성함에 있어서 중요한 정보(시간/날짜, GPS 위치, 방위, 카메라렌즈 정보, 픽셀 세팅, 등등)를 포함할 것이다.

이러한 경고신호에 의해, 트레일 이미지 라이브러리는 강건해지고 체험 플랫폼(207) 상에서 최신 상태로 유지된다.

5. 여자들의 저녁식사: 4D 소셜 경험으로 원격 체험공유(4번째는 시간)

제인(Jane)은 다음달에 결혼할 예정이고, 처녀파티(bachelorette party)를 하도록 가장 친한 미혼 친구들이 자주가는 술집인 도 9의 The X Bar에 그녀를 데리고 간다.

제인은 다가오는 파티에 대해서 페이스북 페이지에 포스팅을 해왔으며, 동네 친구들중 몇몇은 원격으로 함께 할수 있는지를 물어본다.

제인은 온라인으로 접속하여 소셜 네트워크 상에서 Watch Me 이벤트를 생성하여 페이스북 페이지에 링크를 올린다.

제인은 이벤트 장소로 The X Bar를 결정한다. 많은 다른 유명한 장소와 같이, The X Bar에는, 시설 내부에서 오디오, 이미지 및 움직이는 활동을 계속 캡처하도록, 오디오 마이크, 일반 카메라 및 일반 카메라와 구조화된 광 카메라(Kinect 또는 Claris) 및 마이크를 갖고 있는 하나 이상의 카메라 시스템(150)과 같은 무선 깊이 카메라가 설치되어 있다. 또한, X Bar는 미리 스캔되어 있고, 기존의 3D 모델이 데이터베이스테 저장되어 있다(예를 들어, 도 3). 카메라 시스템은 서버(211)와 같은 클라우드 서버에 이미지와 오디오를 실시간으로 업로드한다. The X Bar는 이러한 이미지와, 오디오 및 움직이는 활동을, Watch Me와 같은 애플리케이션에서 이용할 수 있도록 만들어, 그 시설에서 소셜 버즈(social buzz)를 구동하는 컨텐츠를 생성하는 것을 돕는다. 즉, 원격 사용자가 체험 플랫폼(207)을 통해서 이미지와 3D 모델에 실시간으로 접속할 수 있다. The X Bar 내부의 기존의 이미지들은 이전에 업로드되어 있어서, The X Bar의 환경은 플랫폼(207)을 통해서 매우 상세하게 알려져 있으며 이용할 수 있다. 또한, 참석한 여자 친구들이 갖고 있는 모바일 장치(10, 220)로부터 획득한 실시간 이미지 및 오디오가 서버(211)에 업로드되어 제인의 이벤트에 대해 사용될 수 있다. 나아가, 도 17의 프로젝터(502)와 같은 The X Bar에는 프로젝션 장치가 설치되어 있어서, 한정된 인원의 원격 참자가가 방 안의 선택된 테이블 또는 영역에 시각적으로 존재하도록 할 수 있다.

제인의 친구들 중 몇몇은 소셜 미디어에 참여하여, 처녀 파티를 원격으로 공유한다. 원격으로 참여하는 제인의 친구들 중 한명인 베티(Betty)는 이벤트에 시각적으로 존재하도록/투영되도록 선택을 한다. 베티는 멀리 떨어져 있는 장소에 있는데, 이 장소는 도 17의 방(500)과 같이, 원격 체험으로서 둘러싸여 있는 느낌을 갖도록 참여하는데 최적화된 장소이다. 크라우드-소스 이미지와 오디오를 확장함으로써, 기존의 3D 모델 위에 레이어로서 형성되는 카메라 시스템(150)의 이미지와 오디오는, The X Bar의 환경을 생성한다. 베티는 도 17의 시스템을 통해서, 이벤트의 체험을 인터넷이 가능한 텔레비전 또는 모바일 장치를 넘어서 하나 이상의 디스플레이를 사용하는 시청하기 위한 방(500)의 벽과 표면으로 확장시킬 수 있다.

즉, 베티의 이미지와 움직임은 도 17의 카메라 시스템(508)에 의해 캡처된다. 베티의 이미지와 움직임(예를 들어, 홀로그램)은 X Bar에서 도 9의 프로젝터를 사용하여 미리 정해진 곳(예를 들어 벽 또는 테이블 시트)에 투영되고, 따라서 제인의 이벤트에서 실제로 참여한 사람들이 베티의 가상적인 모습을 즐길 수도 있게 된다.

또한, 베티는 자신의 투영된 모습에 가상의 물건(예를 들어 보석 및 패션 악세사리)을 추가할 수도 있고, 소정의 효과(예를 들어, 태닝한 모습, 날씬한 모습 및 치아 미백)를 부가할 수도 있다.

처녀 피타가 열리는 밤에, 제인과 실제로 참여한 친구들은 모두 카메라가 장착된 스마트폰(10) 또는 고글(220)을 이용하여, 애플리케이션(108, 110)과 같은 Watch Me 애플리케이션에 로그인한다. 밤 8시부터 11시까지, 스마트폰(10) 또는 고글(220)을 사용하여 파티 행사의 이미지와 오디오를 캡처하여 무선으로 도 3의 네트워크에 전송한다.

서버(211)는 연결된 모든 이미지 및 오디오 소스에 의해, 그날 저녁에 캡처된 모든 이미지/오디오를 조합하고 결합한다; The X Bar의 실시간 이미지 공급을 통해 제공된 이미지와 함께 각각의 스마트폰 또는 고글 카메라. 이러한 데이터는, 체험 플랫폼(207)에서 이용할 수 있는 The X Bar의 기존의 상세한 3D 모델 위에, 레이어로 형성된다.

각각의 크라우드-소스 이미지는 상세한 메타데이터(시간, GPS, 위치, 카메라각도, 렌즈, 픽셀 등등)를 갖고 잇고, 애플리케이션은 메타데이터를 사용해서, 4D 형태의 파티 체험을 결합시킨다. 이는 증강현실 메시지 또는 이미지 및/또는 오디오의 층을 추가함으로써 향상될 수 있다. 또한, 모바일 장치의 적어도 일부는 깊이 카메라를 포함하여, 이벤트의 모델링을 개선할 수 있다.

일련의 사진을 모아서 사용할 수 있는데, 이 사진은 특정 위치에서 볼 수 있는 사진이거나, 사용자가 선택한 위치(예를 들어, 제인의 시점)에서 볼 수 있는 사진 또는 바람직하게는 사용자가 선택한 위치에서의 3D 파노라마가 될 수 있다.

수(Sue)는 제인의 또 다른 친구로서, 이벤트를 원격으로 보기로 선택을 하였다. 매 15분마다, 수는 Watch Me 애플리케이션이 생성하는 신호로서 또 다른 집합(aggregation) 시퀀스(sequence)를 볼 수 있도록 준비되었다는 신호를 받는다.

아이패드(12)에서, 수는 선택한 시점에서 임의의 방위로 그리고 제인의 위치로부터 시퀀스를 보기로 결정한다. 수는 또한 시점을 "위에서 보는 시점"(평면도 시점)으로 또는 선택한 위치로부터 제인이 있는 위치를 향해 바라보는 시점으로 변경하기로 한다.

시퀀스를 본 후에, 수는 제인에게 "나도 거기 있었으면 좋겠어"라는 메시지를 보낸다. 또한, 수는 Watch Me 애플리케이션을 사용하여, 테이블에 술을 한잔씩 보낸다.

파티 다음날, 제인은 Watch Me 애플리케이션을 사용하여, 모든 네트워크와 공유하도록, 처녀 파티가 열린 저녁에 대하여 사진같이 묘사된 4D 환경에 연결된 링크를 페이스북 페이지에 올린다. 네트워크의 멤버들은, The X Bar 내의 선택한 위치에서 이벤트를 볼 수 있다(그리고 오디오를 청취할 수 있다).

6. 모바일 소셜 게임

밥과 그의 친구들 중 세명은 워싱턴 D.C.를 방문하여, "DC-Spy City"라고 부르는 새로운 도시-특정 모바일 "소셜" 멀티플레이어 게임을 하는 것에 관심이 있다. 인터넷이 가능한 모바일 폰(10), 태블릿(2) 또는 고글(220)을 이용해서 이 게임을 할 수 있고, 그 목적은 도시의 실제 풍경을 무대로 다른 플레이어와 보물을 (실제로 및 가상으로) 찾아서 포획하는 것이다.

각 플레이어의 실시간 GPS 위치와 워싱턴 D.C.의 크라우드-소스 이미지를 이용하여, 실시간으로 사진같은 3D 게임 환경이 각각의 플레이어에게 렌더링된다. 게임 플레이어와, 지역 및 원격 게임 관람자는 각각, 인터넷 연결 장치를 사용하여 게임 참가자 중 특정인을 관람할 수 있도록, 여러 시점(위에서 보는 시점, 후방 시점, 등등) 중에서 하나를 선택한다.

또한, 이러한 환경에 게임 플레이 정보 및 소통을 증진시키기 위해, 메시지를 추가할 수 있다.

7. 가상 전시회

빌(Bill)은 전자산업분야의 주요 전시회인 CES에 참가하고 싶지만, 회사의 예산으로 감당하기가 어렵다. CES 이벤트 기획자가 추정하는 바에 따르면, 빌과 같은 사람이 2,000명 정도 더 있고, 이러한 이벤트에 가상으로 참가하는 것에 관심을 갖고 있다고 한다.

이를 실행하기 위해, 고정 카메라를 이벤트 홀의 도처에 그리고 각각의 전시 부스와 프리젠테이션 공간에 전략적으로 설치하였다. 도 18의 시스템(602)과 같은 카메라 시스템을 사용하여 이미지와 오디오를 캡처하고, 이러한 이미지와 오디오를 사용하여 사진과 같은 라이브 3D 환경을 생성하여, 이 환경을 통해 멀리 있는 원격 참가자들도 가상으로 걸어다니면서 전시회에 참가할 수가 있다.

이벤트는 또한 가상의 참가자들을 전시회 안으로 통합시키는 것을 돕는 동반 증강현실 애플리케이션(companion augmented reality application)을 생성하였고, 이로써 실제 이벤트 참가자, 발표자, 부스 내의 물체 및 출품자들과 관계를 맺을 수 있게 되었다. 나아가, 각각의 출품자들은, 부스의 대표자들이 인터넷 기반의 비디오 컨퍼런스 모바일 장치를 구비하도록 하여, 대표자들이 부스에 찾아오는 가상의 참가자들과 직접 의사소통을 하고 파일 및 문서를 공유하도록 하였다. 가상의 전시회 환경으로부터 가상의 전시회 내에서 원격 참가자들의 행동 데이터(이동 경로, 방문한 부스, 소비한 시간, 다운로드한 파일, 주문 장소)가 캡처되고 서버를 통해 공유된다.

빌은 도 17의 방(500)과 같은 공간에 자신이 들어가 있도록 함으로써 원격으로 이벤트와 소통할 수 있다. 그러나, 빌은 도 3의 체험 플랫폼(207)에 접속하여 데스크탑 컴퓨터에 참여할 수도 있다. 자신의 컴퓨터에서, 빌은 3D 모델의 컨벤션 홀을 가상으로 걸어다니면서 인공현실을 통해 사람들과 물건들과 만날 수 있다.

8.결혼식장

이동 거리와 비용을 생각하면, 친구들과 가족에게 있어서 결혼식에 참여하는 것은 종종 어려운일이 된다. 이러한 문제에 접근하기 위해, 도 18의 결혼식 교회(600)에는, 식장 도처에 있는 라이트 필드 카메라(플렌옵틱)의 정밀한 사운드 이미지와 함께, Kinect와 같은 깊이 카메라를 포함하여 여러 대의 고정 카메라 시스템(602)이 설치되어 있어서, 라이브/근거리 원격, 3차원으로 보고 체험하며 캡처하는 것을 최적화할 수 있다.

윌(Will)과 케이트(Kate)는 런던에서 해외 결혼식을 올리는 데, 절친한 친구들 대부분이 결혼식에 참여는 못하지만 원격으로라도 적극적으로 참여하길 원한다.

이벤트에 앞서서, 원격으로 시청하고자 하는 사람들은 각각 결혼식 교회의 웹사이트에 등록을 하고, 애플리케이션을 인터넷이 가능한 디스플레이 장치에 다운로드하여, 결혼식 이벤트에 대한 관심과 참여를 관리한다. 또한, 애플리케이션에는, 초청/회답요청(rsvp) 참가자 정보가 포함되어 있어서, 실제로 참여하는 사람과 가상으로 참여하는 사람들 모두에 대한 기록을 프로필 정보(예를 들어, 커플과의 관계, 선물, 축하인사)와 함께 얻을 수 있다.

윌은 동생인 해리(Harry)에게 들러리를 서달라고 요청했다. 해리는 현재 군복무 문제로 해외에 머무르고 있기 때문에, 원격으로 투영되어 체험하는 방식으로 들러리 역할을 할 것이다.

예식이 진행되는 동안, 윌은 멀리 떨어져 있는 장소에 있는데, 이 장소는 원격 체험방식으로 둘러싸여 있는 듯이 참가하는데 최적화되어 있는 곳이며, 이는 결혼식 교회의 크라우드-소스 이미지, 오디오 및 이동 환경을, 인터넷이 가능한 텔레비전 또는 디스플레이 장치를 넘어서, 도 17의 방(500)과 같은 환경 디스플레이를 사용하여 시청할 수 있는 방의 벽과 표면으로 확장시킴으로써 이루어진다. 즉, 예식이 진행되는 동안, 카메라 시스템(508)이 네트워크 시스템(100)에 전송하기 위해 윌의 움직임과 이미지 및 오디오를 캡처하는 동안, 윌은 프로젝터(502, 506)를 통해서 이벤트를 볼 수 있다.

즉, 윌의 이미지와 움직임은 캡처되어, 도 18의 결혼식 교회(600) 내의 미리 정해진 장소(예를 들어, 성찬대 근처)에 투영(예를 들어, 홀로그램)되기 때문에, 결혼식에 실제로(및 원격으로) 참여한 사람들은 윌의 가상의 모습을 볼 수 있다.

결혼식 날, 이벤트를 볼 수 있도록 준비되면, 애플리케이션은 원격 참가자들에게 이를 알린다. 원격 참가자들은 각각, 여러가지 시점으로 그리고 결혼식 교회의 내부 및 외부에 있는 여러 장소에서 결혼식을 지켜볼 수 있다. 결혼식을 보는 시점은, 고정되어 있을 수도 있고(3열/2번째 시트 또는 목사의 어깨위), 움직일 수도 있고(신부가 통로를 따라 걸을 때 신부의 뒤에서 보는 시점), 아니면 신랑 또는 신부의 위치에서 바라보는 것이 될 수도 있다.

예식이 끝난 후에도, 행복한 커플은 4D 형태(4=시간)의 결혼식의 체험에 접속하여, 원할때 언제든지 결혼식 교회 안팎에서 여러가지 시점으로 "다시 체험"(re-experience)할 수 있고, 심지어는 소셜 네트워크의 멤버들과 함께할 수도 있다.

Claims (23)

1. 환경을 생성하여 공유하는 시스템으로서,
   하나 이상의 장치로부터 이미지와 거리 메타데이터를 포함한 메타데이터를 수신하는 네트워크로서, 상기 하나 이상의 장치는 각각 관심 지점 부근에서 이미지 및 관련 메타데이터를 캡처하기 위해 관심 지점 부근에서 사용되는 깊이 카메라를 구비하고 있고, 각각의 이미지에 대한 메타데이터는 장치의 위치, 카메라의 방위 및 깊이 카메라와 상기 관심 지점 부근의 하나 이상의 목표물 사이의 거리를 포함하는, 네트워크;
   상기 이미지와 거리 메타데이터를 포함한 메타데이터를 수신하는 네트워크에 연결된 이미지 처리 서버로서, 상기 이미지 및 거리 메타데이터에 적어도 부분적으로 기초하여, 관심 지점 부근의 하나 이상의 목표물의 3D 모델을 구성하도록 이미지와 거리 메타데이터를 포함한 메타데이터를 처리하는, 이미지 처리 서버; 및
   하나 이상의 목표물의 3D 모델을 저장하도록 상기 이미지 처리 서버에 연결된 체험 플랫폼으로서, 사용자가 선택한 관심 지점 부근의 위치와 선택된 위치에서 사용자가 선택한 방위에서 관심 지점을 보고, 하나 이상의 목표물의 3D 모델을 볼 수 있도록, 체험 플랫폼에 접속할 수 있는, 체험 플랫폼;을 포함하는 시스템.
2. 제1항에 있어서,
   상기 네트워크는 무선 액세스를 포함하고, 상기 장치의 일부는 모바일 장치이며, 랜덤 이미지와 거리 메타데이터를 포함한 메타데이터는 상기 모바일 장치의 사용자로부터 크라우드소싱(crowdsource)되는 것을 특징으로 하는 시스템.
3. 제1항에 있어서,
   상기 체험 플랫폼은 관심 지점 부근의 위치와 연관된 복수의 이미지를 포함하고, 상기 체험 플랫폼에 연결된 사용자는 사용자가 선택한 위치 및 방위와 연관된 이미지를 볼 수 있는 것을 특징으로 하는 시스템.
4. 제1항에 있어서,
   상기 처리 서버는 복수의 이미지를 결합하여 파노라마를 형성하도록 동작하는 것을 특징으로 하는 시스템.
5. 제4항에 있어서,
   상기 체험 플랫폼에 연결된 사용자는 사용자가 선택한 위치 및 방위와 연관된 파노라마를 볼 수 있는 것을 특징으로 하는 시스템.
6. 제2항에 있어서,
   상기 이미지는 컨텍스트에 기초하는 광고를 포함하는 것을 특징으로 하는 시스템.
7. 위치기반 체험용 환경을 생성하는 방법으로서,
   복수의 크라우드소스 공급자가 갖고 있는 복수의 모바일 장치에 의해, 관심 지점 부근의 랜덤 이미지 및 관련 메타데이터를 캡처하는 단계로서, 각각의 모바일 장치는 깊이 카메라를 구비하고, 각 이미지에 대한 메타데이터는 모바일 장치의 위치, 카메라의 방위, 및 깊이 카메라와 상기 관심 지점 부근의 하나 이상의 목표물 사이의 거리를 포함하는, 캡처하는 단계;
   상기 모바일 장치로부터 획득한 이미지와 메타데이터를 무선 네트워크로 전송하는 단계;
   상기 네트워크에 연결된 이미지 처리 서버에서 상기 이미지와 메타데이터를 수신하는 단계; 및
   이미지 내의 하나 이상의 목표물의 위치를 결정하여 관심 지점 부근의 목표물의 3D 모델을 깊이 카메라와 상기 관심 지점 부근의 하나 이상의 목표물 사이의 거리를 사용해 구축하도록 이미지를 처리하는 단계로서, 사용자는 사용자가 선택한 관심 지점 부근의 위치에서 3D 모델을 볼 수 있는, 이미지를 처리하는 단계;를 포함하는 방법.
8. 제7항에 있어서,
   상기 깊이 카메라는, TOF 카메라, 구조화된 광 센서 또는 플렌옵틱 카메라를 포함하는 것을 특징으로 하는 방법.
9. 제7항에 있어서,
   상기 이미지를 처리하는 단계는 목표물에 대한 기존의 3D 모델을 이용하면서, 캡처된 이미지 및 메타데이터를 사용하여 상기 기존의 3D 모델을 개선하는 것을 특징으로 하는 방법.
10. 제7항에 있어서,
    상기 이미지는 사용자들의 조정 없이, 복수의 크라우드소스 공급자로부터 크라우딩소싱되는 것을 특징으로 하는 방법.
11. 위치기반 체험에서 컨텐츠를 공유하는 방법으로서,
    관심 지점 부근의 복수의 이미지 및 깊이 카메라와 이미지 내 목표물 사이의 거리를 포함하는 거리 메타데이터를 포함하는 관련 메타데이터를 캡처하는 단계;
    상기 관심 지점 부근의 하나 이상의 목표물의 3D 모델을 구축하도록 캡처된 상기 이미지, 거리 및 메타데이터를 처리하는 단계;
    네트워크에 연결된 체험 플랫폼에 3D 모델을 저장하는 단계;
    상기 이미지 및 3D 모델에 접속하도록 상기 네트워크를 이용하여 상기 체험 플랫폼에 접속하는 단계;
    상기 관심 지점 부근의 위치와 방위를 선택하는 단계; 및
    선택된 위치와 방위를 이용하여 상기 3D 모델을 보는 단계;를 포함하는 것을 특징으로 하는 방법.
12. 제11항에 있어서,
    상기 3D 모델과 컨텍스트에 기초한 광고를 보는 단계를 포함하는 것을 특징으로 하는 방법.
13. 제11항에 있어서,
    상기 보는 단계 이전에 상기 체험 플랫폼에 저장된 이미지에서 제3자를 제거하고, 상기 체험 플랫폼에 저장된 이미지에 소셜 네트워크의 멤버를 포함시키는 단계를 포함하는 것을 특징으로 하는 방법.
14. 제11항에 있어서,
    상기 이미지는, 사용자들의 획득 시간이나 목표물에 대한 조정 없이, 모바일 장치를 구비한 사용자로부터 크라우드소싱에 의해 캡처되는 것을 특징으로 하는 방법.
15. 제11항에 있어서,
    상기 깊이 카메라는 TOF 카메라, 구조화된 광 센서 또는 플렌옵틱 카메라를 포함하는 것을 특징으로 하는 방법.
16. 제11항에 있어서,
    상기 처리하는 단계는, 목표물에 대한 기존의 3D 모델을 수신하고, 상기 캡처된 이미지 및 거리 메타데이터를 사용하여 기존의 3D 모델을 개선하는 것을 특징으로 하는 방법.
17. 제11항에 있어서,
    상기 보는 단계는, 고글을 착용하여 관심지점을 보는 단계를 포함하고, 목표물의 적어도 일부는 인공 현실에 의해 개선된 것을 특징으로 하는 방법.
18. 제11항에 있어서,
    상기 보는 단계는, 선택된 위치에서 멀리 떨어져 있는 사용자를 포함하는 것을 특징으로 하는 방법.
19. 제18항에 있어서,
    상기 멀리 떨어져 있는 사용자는 모바일 장치에서 상기 목표물의 모델을 보는 것을 특징으로 하는 방법.
20. 제19항에 있어서,
    상기 멀리 떨어져 있는 사용자는 그 사용자의 환경에 투영된 목표물의 모델을 보는 것을 특징으로 하는 방법.
21. 제14항에 있어서,
    획득한 이미지 및/또는 획득 시간에 기초하여 사용자의 관심을 결정하도록 상기 이미지 및 메타데이터를 분석하는 단계를 포함하는 것을 특징으로 하는 방법.
22. 삭제
23. 삭제

Images