KR20160086868A

KR20160086868A - 서라운드 뷰들에서의 레이어들 및 객체들의 분석 및 조작

Info

Publication number: KR20160086868A
Application number: KR1020167015276A
Authority: KR
Inventors: 스테판 요한네스 조셉 홀저; 스테펜 데이비드 밀러; 라두 보그단 루수
Original assignee: 파이유션, 인크.
Priority date: 2013-11-12
Filing date: 2014-11-12
Publication date: 2016-07-20
Also published as: CN105849781B; GB2534821B8; US10026219B2; US20150130800A1; US9836873B2; US20180068485A1; US20150134651A1; DE112014005165T5; US20150130799A1; US20150138190A1; US20190156559A1; WO2015073570A3; GB201609577D0; CN105849781A; WO2015073570A2; US10521954B2; US20180330537A1; GB2534821A; US20150339846A1; GB2534821B

Abstract

본 발명의 다양한 실시예는 일반적으로 이미지 및 비디오를 분석하고 조작하기 위한 시스템 및 방법에 관한 것이다. 특정의 실시예들에 따르면, 디바이스 상에 제시하기 위한 본원에서 서라운드 뷰라고 지칭되는 표현을 생성하기 위해, 다수의 이미지와 비디오 사이의 공간적 관계가 위치 정보 데이터와 함께 분석된다. 서라운드 뷰에 포함된 객체는 대응하는 축들을 따라 디바이스를 조작하는 것에 의해 축들을 따라 조작될 수 있다. 특정의 실시예들에서, 서라운드 뷰가 레이어들로 분리될 수 있다. 서라운드 뷰의 대화식 및 몰입적 뷰잉 경험을 향상시키기 위해 이 레이어들 중 하나 이상에 효과들이 적용될 수 있다.

Description

서라운드 뷰들에서의 레이어들 및 객체들의 분석 및 조작{ANALYSIS AND MANIPULATION OF OBJECTS AND LAYERS IN SURROUND VIEWS}

관련 출원들에 대한 상호 참조

본 출원은, 2013년 11월 12일자로 출원되었으며 발명의 명칭이 "서라운드 뷰들을 제공하기 위한 시스템 및 방법(Systems and Methods For Providing Surround Views)"인 Holzer 등에 의한 미국 가특허 출원 제61/903,359호(대리인 문서 번호 FYSNP001P)에 대해 35 U.S.C. §119 하에서 우선권을 주장하며, 이 가특허 출원은 모든 목적들을 위해 그 전체가 참조로 본원에 포함된다.

기술분야

본 개시내용은, 멀티뷰 대화식 디지털 미디어 표현(multi-view interactive digital media representation)을 제공하는 것을 포함하는, 서라운드 뷰들에서의 레이어들에 관한 것이다.

최신의 컴퓨팅 플랫폼 및 기술이 카메라 센서를 기본 취득 입력 스트림(native acquisition input stream)으로서 포함하는 모바일 및 웨어러블 디바이스 쪽으로 시프트함에 따라, 순간을 보다 종래의 2차원(2D) 플랫 이미지(flat image) 및 비디오와 상이한 형태로 디지털적으로 레코딩하고 보존하려는 요망이 보다 명백하게 되었다. 종래의 디지털 미디어 포맷은 전형적으로 그의 뷰어를 수동적 경험으로 제한시킨다. 예를 들면, 2D 플랫 이미지가 하나의 각도로부터 뷰잉될 수 있고, 줌인 및 줌아웃으로 제한된다. 그에 따라, 2D 플랫 이미지와 같은 종래의 디지털 미디어 포맷이 추억 및 행사를 높은 충실도로 재현하는데 도움이 되는 것이 쉽지 않다.

현재 예측(KPCB "Internet Trends 2012" 프레젠테이션"을 참조)은 온라인에 디지털적으로 포착되고 있는 시각적 데이터의 양이 수년마다 배로 될 것임을 나타내고 있다. 이 시각적 데이터의 양이 증가함에 따라, 현재 이용가능한 것보다 훨씬 더 포괄적인 검색 및 인덱싱 메커니즘이 필요하다. 안타깝게도, 2D 이미지도 2D 비디오도 이 목적을 위해 설계되어 있지 않다. 그에 따라, 사용자가 시각적 데이터를 뷰잉하고 인덱싱할 수 있게 하는 것은 물론, 시각적 데이터를 질의하고 그로부터 의미있는 결과를 신속하게 수신할 수 있게 하는 개선된 메커니즘이 바람직하다.

본 발명의 다양한 실시예는 일반적으로 이미지 및 비디오를 분석하고 조작하는 시스템 및 방법에 관한 것이다. 특정의 실시예에 따르면, 디바이스 상에 제시하기 위한 본원에서 서라운드 뷰라고 지칭되는 표현을 생성하기 위해, 다수의 이미지와 비디오 사이의 공간적 관계가 위치 정보 데이터와 함께 분석된다. 디바이스를 축을 따라 조작하는 것에 의해 서라운드 뷰에 포함된 객체가 대응하는 축을 따라 조작될 수 있다. 특정의 실시예에서, 서라운드 뷰가 레이어들로 분리될 수 있다. 서라운드 뷰의 대화식 및 몰입적 뷰잉 경험을 향상시키기 위해 이 레이어들 중 하나 이상에 효과가 적용될 수 있다.

본 개시내용은 본 발명의 특정의 실시예들을 나타내는 첨부 도면들과 함께 취해진 다음의 설명을 참조하여 최상으로 이해될 수 있다.
도 1은 서라운드 뷰 취득 시스템의 일 예를 나타낸다.
도 2는 서라운드 뷰를 발생시키기 위한 프로세스 흐름의 일 예를 나타낸다.
도 3은 몰입적 경험을 생성하기 위해 3차원(3D) 모델로 융합될 수 있는 다수의 카메라 뷰의 일 예를 나타낸다.
도 4a는 서라운드 뷰에서의 콘텐츠와 콘텍스트의 분리의 일 예를 나타낸다.
도 4b는 서라운드 뷰에서의 레이어링의 일 예를 나타낸다.
도 4c는 서라운드 뷰에서의 레이어를 수정하기 위한 프로세스의 일 예를 나타낸다.
도 5a 및 도 5b는 오목 뷰(concave view) 및 볼록 뷰(convex views)의 예를 각각 나타내며, 여기서 양 뷰는 후방 카메라 포착 스타일을 이용한다.
도 6a 내지 도 6e는 서라운드 뷰에 대한 다양한 포착 모드의 예를 나타낸다.
도 7a는 서라운드 뷰를 발생시키는데 이용될 수 있는 데이터를 레코딩하기 위한 프로세스의 일 예를 나타낸다.
도 7b는 동적 파노라마 포착 프로세스의 일 예를 나타낸다.
도 7c는 포착 디바이스가 회전 축을 통하여 회전되는 동적 파노라마 포착 프로세스의 일 예를 나타낸다.
도 7d는 동적 콘텐츠를 갖는 동적 파노라마의 일 예를 나타낸다.
도 7e는 3D 효과를 갖는 동적 파노라마를 포착하는 것의 일 예를 나타낸다.
도 7f는 시차 효과를 갖는 동적 파노라마의 일 예를 나타낸다.
도 7g는 객체 파노라마 포착 프로세스의 일 예를 나타낸다.
도 7h는 객체 파노라마가 투영되어 있는 배경 파노라마의 일 예를 나타낸다.
도 7i는 객체 파노라마를 구성하는 다수의 객체의 일 예를 나타낸다.
도 7j는 사용자 내비게이션(user navigation)에 기초하여 객체 파노라마의 시야 각도(viewing angle)를 변화시키는 것의 일 예를 나타낸다.
도 7k는 셀피 파노라마 포착 프로세스(selfie panorama capture process)의 일 예를 나타낸다.
도 7l은 셀피 파노라마가 투영되어 있는 배경 파노라마의 일 예를 나타낸다.
도 7m은 사용자 내비게이션에 기초한 파노라마들의 확장 뷰(extended views)의 일 예를 나타낸다.
도 8은 3차원 콘텐츠가 2차원 파노라마 콘텍스트와 블렌딩되어 있는 서라운드 뷰의 일 예를 나타낸다.
도 9는 시공간 서라운드 뷰가 독립적인 관찰자들에 의해 동시에 레코딩되는 것의 일 예를 나타낸다.
도 10은 복합 서라운드 뷰(complex surround-view)를 보다 작은 선형 부분들로 분리하는 것의 일 예를 나타낸다.
도 11은 다수의 서라운드 뷰를 다중 서라운드 뷰(multi-surround view)로 결합시키는 것의 일 예를 나타낸다.
도 12는 보다 정확한 서라운드 뷰를 제공하기 위해 관심 객체의 부가 뷰에 대해 사용자를 프롬프트하기 위한 프로세스의 일 예를 나타낸다.
도 13a 및 도 13b는 검색될 객체의 부가 뷰에 대해 사용자를 프롬프트하는 일 예를 나타낸다.
도 14는 서라운드 뷰를 내비게이팅하기 위한 프로세스의 일 예를 나타낸다.
도 15는 서라운드 뷰의 스와이프 기반 내비게이션의 일 예를 나타낸다.
도 16a는 모바일 디바이스 및 브라우저 상에 나타나는 바와 같은 서라운드 뷰에 대한 공유 서비스의 예를 나타낸다.
도 16b는 모바일 디바이스 상에서의 서라운드 뷰 관련 통지의 예를 나타낸다.
도 17a는 객체 세그먼트화를 제공하기 위한 프로세스의 일 예를 나타낸다.
도 17b는 상이한 각도로부터 뷰잉되는 세그먼트화된 객체의 일 예를 나타낸다.
도 18은 서라운드 뷰 발생을 위해 이용될 수 있는 다양한 데이터 소스 및 서라운드 뷰와 함께 이용될 수 있는 다양한 응용 분야의 일 예를 나타낸다.
도 19는 객체의 시각적 검색을 제공하기 위한 프로세스의 일 예를 나타내며, 여기서 검색 질의는 객체의 서라운드 뷰를 포함하고, 검색된 데이터는 3차원 모델을 포함한다.
도 20은 객체의 시각적 검색을 제공하기 위한 프로세스의 일 예를 나타내며, 여기서 검색 질의는 객체의 서라운드 뷰를 포함하고, 검색된 데이터는 2차원 이미지를 포함한다.
도 21은 시각적 검색 프로세스의 일 예를 나타낸다.
도 22는 객체의 시각적 검색을 제공하기 위한 프로세스의 일 예를 나타내며, 여기서 검색 질의는 객체의 2차원 뷰를 포함하고, 검색된 데이터는 서라운드 뷰(들)를 포함한다.
도 23은 본 발명의 다양한 실시예에서 이용될 수 있는 컴퓨터 시스템의 특정의 예를 나타낸다.

본 발명을 수행하기 위해 발명자에 의해 생각되는 최상의 모드를 포함하는 본 발명의 일부 특정 예가 이제부터 상세히 참조될 것이다. 이 특정 실시예의 예가 첨부 도면에 예시되어 있다. 본 개시내용이 이 특정 실시예와 관련하여 기술되어 있지만, 본 발명을 기술된 실시예로 제한하는 것으로 의도되어 있지 않다는 것을 잘 알 것이다. 이와 반대로, 첨부된 청구항들에 의해 한정되는 본 발명의 사상 및 범주 내에 포함될 수 있는 대안, 수정 및 등가물을 포함하는 것으로 의도되어 있다.

이하의 설명에서, 본 발명의 완전한 이해를 제공하기 위해 많은 구체적인 상세가 기재되어 있다. 본 발명의 특정의 실시예가 이 구체적인 상세의 일부 또는 전부 없이 구현될 수 있다. 다른 경우에서, 본 발명을 불필요하게 불명료하게 하지 않기 위해 널리 공지된 프로세스 동작이 상세히 기술되어 있지 않다.

본 발명의 다양한 양태는 일반적으로, 데이터에서의 중복성을 제거하고 대화식이고 몰입적인 능동적 뷰잉 경험을 사용자에게 제공하는 단일의 표현인 서라운드 뷰를 생성하기 위해, 다수의 이미지와 비디오 사이의 공간적 관계를 위치 정보 데이터와 함께 분석하는 시스템 및 방법에 관한 것이다. 다양한 실시예에 따르면, 사용자에게 스크린 상에 디스플레이되는 시각적 정보의 시점을 제어할 수 있게 한다는 콘텍스트에서 능동적(active)이라고 기술된다. 특정의 예시적인 실시예에서, 서라운드 뷰 데이터 구조(및 연관된 알고리즘)가 시각적 검색을 수반하는 응용 분야(이들로 제한되지 않음)에 대해서는 기본적으로 내장되어 있다.

본 발명의 다양한 실시예에 따르면, 서라운드 뷰는 멀티뷰 대화식 디지털 미디어 표현이다. 도 1을 참조하면, 서라운드 뷰 취득 시스템(100)의 일 예가 도시되어 있다. 본 예시적인 실시예에서, 서라운드 뷰 취득 시스템(100)이 서라운드 뷰를 발생시키는데 이용될 수 있는 흐름 시퀀스로 도시되어 있다. 다양한 실시예에 따르면, 서라운드 뷰를 발생시키는데 이용되는 데이터는 각종의 소스로부터 온 것일 수 있다. 상세하게는, 2차원(2D) 이미지(104)(이들로 제한되지 않음)와 같은 데이터가 서라운드 뷰를 발생시키는데 이용될 수 있다. 이 2D 이미지는, 응용 분야에 따라, 다수의 이미지 시퀀스, 비디오 데이터 등과 같은 컬러 이미지 데이터 스트림, 또는 이미지에 대한 다양한 포맷 중 임의의 포맷으로 된 다수의 이미지를 포함할 수 있다. 서라운드 뷰를 발생시키는데 이용될 수 있는 다른 데이터 소스는 위치 정보(106)를 포함한다. 이 위치 정보(106)는 가속도계, 자이로스코프, 자력계, GPS, WiFi, IMU(Inertial Measurement Unit, 관성 측정 유닛) 같은 시스템, 기타 등등의 소스로부터 획득될 수 있다. 서라운드 뷰를 발생시키는데 이용될 수 있는 또 다른 데이터 소스는 깊이 이미지(108)를 포함할 수 있다. 이 깊이 이미지는 깊이, 3D, 또는 차이(disparity) 이미지 데이터 스트림 등을 포함할 수 있고, 스테레오 카메라(stereo camera), TOF(time-of-flight) 카메라, 3차원 카메라 등(이들로 제한되지 않음)과 같은 디바이스에 의해 포착될 수 있다.

본 예시적인 실시예에서, 데이터가 이어서 센서 융합 블록(110)에서 서로 융합될 수 있다. 일부 실시예에서, 서라운드 뷰가, 어떠한 깊이 이미지(108)도 제공되지 않고, 2D 이미지(104)와 위치 정보(106) 둘 다를 포함하는 데이터의 조합에 의해 발생될 수 있다. 다른 실시예에서, 깊이 이미지(108) 및 위치 정보(106)가 센서 융합 블록(110)에서 함께 이용될 수 있다. 응용 분야 및 이용가능 데이터에 따라, 이미지 데이터의 다양한 조합이 위치 정보(106)와 함께 이용될 수 있다.

본 예시적인 실시예에서, 센서 융합 블록(110)에서 서로 융합된 데이터는 이어서 콘텐츠 모델링(112) 및 콘텍스트 모델링(114)을 위해 이용된다. 도 4와 관련하여 보다 상세히 기술되는 바와 같이, 이미지에서 특징이 되는 주제가 콘텐츠와 콘텍스트로 분리될 수 있다. 콘텐츠는 관심 객체로서 묘사될 수 있고, 콘텍스트는 관심 객체를 둘러싸고 있는 풍경으로서 묘사될 수 있다. 다양한 실시예에 따르면, 콘텐츠가 관심 객체를 나타내는 3차원 모델일 수 있지만, 도 4와 관련하여 이하에서 보다 상세히 기술되는 바와 같이, 일부 실시예에서, 콘텐츠가 2차원 이미지일 수 있다. 게다가, 일부 실시예에서, 콘텍스트는 관심 객체를 둘러싸고 있는 풍경을 나타내는 2차원 모델일 수 있다. 많은 예에서, 콘텍스트가 관심 객체를 둘러싸고 있는 풍경의 2차원 뷰를 제공할 수 있지만, 일부 실시예에서, 콘텍스트가 또한 3차원 모습을 포함할 수 있다. 예를 들면, "플랫(flat)" 이미지가 실린더의 표면 상에 나타나도록, 콘텍스트가 원통형 "캔버스"를 따라 "플랫" 이미지로서 묘사될 수 있다. 그에 부가하여, 일부 객체가 주변 풍경에서 3차원 객체로서 식별될 때와 같이, 일부 예는 3차원 콘텍스트 모델을 포함할 수 있다. 다양한 실시예에 따르면, 콘텐츠 모델링(112) 및 콘텍스트 모델링(114)에 의해 제공되는 모델이, 도 3과 관련하여 보다 상세히 기술되는 바와 같이, 이미지와 위치 정보 데이터를 결합하는 것에 의해 발생될 수 있다.

다양한 실시예에 따르면, 서라운드 뷰의 콘텍스트 및 콘텐츠가 지정된 관심 객체에 기초하여 결정될 수 있다. 일부 예에서, 관심 객체가 이미지 및 위치 정보 데이터의 처리에 기초하여 자동으로 선택된다. 예를 들면, 일련의 이미지에서 우세 객체가 검출되면, 이 객체가 콘텐츠로서 선택될 수 있다. 다른 예에서, 도 1에 도시된 바와 같이, 사용자 지정 타겟(102)이 선택될 수 있다. 그렇지만, 유의할 점은, 서라운드 뷰가 일부 응용 분야에서 사용자 지정 타겟 없이 발생될 수 있다는 것이다.

본 예시적인 실시예에서, 향상 알고리즘(들) 블록(116)에서 하나 이상의 향상 알고리즘이 적용될 수 있다. 특정의 예시적인 실시예에서, 이용되는 포착 모드의 유형에 상관없이, 서라운드 뷰 데이터의 포착 동안 다양한 알고리즘이 이용될 수 있다. 이 알고리즘이 사용자 경험을 향상시키기 위해 이용될 수 있다. 예를 들면, 자동 프레임 선택, 안정화, 뷰 보간, 필터, 및/또는 압축이 서라운드 뷰 데이터의 포착 동안 이용될 수 있다. 일부 예에서, 이미지 데이터의 취득 후에 이 향상 알고리즘이 이미지 데이터에 적용될 수 있다. 다른 예에서, 서라운드 뷰 데이터의 포착 동안 이 향상 알고리즘이 이미지 데이터에 적용될 수 있다.

특정의 예시적인 실시예에 따르면, 보다 즐거운 서라운드 뷰를 생성하기 위해 자동 프레임 선택이 이용될 수 있다. 구체적으로는, 프레임들 사이의 전환이 보다 매끄럽거나 보다 균등하도록 프레임이 자동으로 선택된다. 이 자동 프레임 선택은 일부 응용 분야에서의 블러 검출 및 과다 노출 검출은 물론, 프레임이 보다 균등하게 분포되도록 보다 균일한 샘플링 자세(sampling pose)들을 포함할 수 있다.

일부 예시적인 실시예에서, 비디오에 대해 이용되는 것과 유사한 방식으로 서라운드 뷰에 대해 안정화가 이용될 수 있다. 상세하게는, 보다 매끄러운 전환, 콘텐츠에 대한 개선된/향상된 포커스 등과 같은 개선을 가져오기 위해 서라운드 뷰에서의 키프레임이 안정화될 수 있다. 그렇지만, 비디오와 달리, IMU 정보, 깊이 정보, 컴퓨터 비전(computer vision) 기법, 안정화될 구역의 직접 선택, 얼굴 검출 등을 이용하는 것과 같은, 서라운드 뷰에 대한 많은 부가의 안정화 소스가 있다.

예를 들면, IMU 정보가 안정화에 아주 도움이 될 수 있다. 상세하게는, IMU 정보가 이미지 포착 동안 발생할 수 있는 카메라 떨림의 추정치(그렇지만, 때때로 대략적인 또는 잡음이 많은 추정치)를 제공한다. 이 추정치는 이러한 카메라 떨림의 효과를 제거하고, 소거하며 그리고/또는 감소시키는데 이용될 수 있다.

일부 예에서, 깊이 정보(이용가능한 경우)가 서라운드 뷰에 대한 안정화를 제공하는데 이용될 수 있다. 서라운드 뷰 내의 관심 지점이 2차원보다는 3차원이기 때문에, 이 관심 지점이 보다 제약되고, 검색 공간이 감소됨에 따라 이 지점의 추적/매칭(tracking/matching)이 단순화된다. 게다가, 관심 지점에 대한 기술자(descriptor)가 색상 및 깊이 정보 둘 다를 이용할 수 있고, 따라서 보다 판별력이 있게 될 수 있다. 그에 부가하여, 자동 또는 반자동 콘텐츠 선택이 깊이 정보를 제공하는데 보다 용이할 수 있다. 예를 들면, 사용자가 이미지의 특정의 픽셀을 선택할 때, 이 선택이 그 픽셀과 맞닿아 있는 표면 전체를 채우도록 확장될 수 있다. 게다가, 콘텐츠가 또한 깊이에 기초한 전경/배경 구별을 이용하여 자동으로 선택될 수 있다. 다양한 예에서, 콘텍스트가 변할 때에도 콘텐츠가 비교적 안정적인/보이는 채로 있을 수 있다.

다양한 예에 따르면, 컴퓨터 비전 기법이 또한 서라운드 뷰에 대한 안정화를 제공하는데 이용될 수 있다. 예를 들면, 중요 지점(keypoint)이 검출되고 추적될 수 있다. 그렇지만, 시차를 갖는 동적 장면 또는 정적 장면과 같은 특정 장면에서, 모든 것을 안정화시킬 수 있는 간단한 워프(warp)가 존재하지 않는다. 그 결과, 장면의 특정 모습이 안정화에 대해 보다 많은 주목을 받고 장면의 다른 모습이 보다 적은 주목을 받는 트레이드오프가 있다. 서라운드 뷰가 종종 특정의 관심 객체에 중점을 두고 있기 때문에, 일부 예에서, 관심 객체가 최대로 안정화되도록 서라운드 뷰가 콘텐츠 가중될 수 있다.

서라운드 뷰에서 안정화를 개선시키는 다른 방식은 스크린의 영역의 직접 선택을 포함한다. 예를 들면, 사용자가 스크린의 영역에 집중하기 위해 태핑(tap)하고, 이어서 볼록 서라운드 뷰를 레코딩하는 경우, 태핑된 구역이 최대로 안정화될 수 있다. 이것은 안정화 알고리즘이 특정의 구역 또는 관심 객체에 집중될 수 있게 한다.

일부 예에서, 안정화를 제공하기 위해 얼굴 검출이 이용될 수 있다. 예를 들면, 전방 카메라로 레코딩할 때, 종종 사용자가 장면에서의 관심 객체일 가능성이 있다. 이와 같이, 그 영역에 관한 안정화를 가중하기 위해 얼굴 검출이 이용될 수 있다. 얼굴 검출이 충분히 정확할 때, 일반적인 중요 지점을 이용하기보다는, 얼굴 특징(눈, 코, 입 등) 자체가 안정화시킬 구역으로서 이용될 수 있다.

다양한 예에 따르면, 뷰 보간이 뷰잉 경험을 개선시키기 위해 이용될 수 있다. 상세하게는, 안정화된 프레임들 사이의 갑작스런 "점프"를 피하기 위해, 합성 중간 뷰가 동작 중에(on the fly) 렌더링될 수 있다. 이것은, 앞서 기술된 바와 같이는 물론 보다 조밀한 픽셀간 매칭(pixel-to-pixel match)에 의해, 콘텐츠 가중된 중요 지점 트랙 및 IMU 정보에 의해 통보될 수 있다. 깊이 정보가 이용가능하면, 매칭하지 않는 픽셀로부터 기인하는 아티팩트가 보다 적게 일어날 수 있고, 그로써 프로세스를 간략화시킨다. 앞서 기술된 바와 같이, 일부 실시예에서, 서라운드 뷰의 포착 동안 뷰 보간이 적용될 수 있다. 다른 실시예에서, 서라운드 뷰 발생 동안 뷰 보간이 적용될 수 있다.

일부 예에서, 뷰잉 경험을 향상시키기 위해 서라운드 뷰의 포착 또는 발생 동안 필터가 또한 이용될 수 있다. 많은 인기 있는 사진 공유 서비스가 정적 2차원 이미지에 적용될 수 있는 심미적 필터를 제공하는 것과 같이, 심미적 필터가 이와 유사하게 서라운드 이미지에도 적용될 수 있다. 그렇지만, 서라운드 뷰 표현이 2차원 이미지보다 더 표현력이 있고, 3차원 정보가 서라운드 뷰에서 이용가능하기 때문에, 이 필터가 2차원 사진에서 분명하지 않은 효과를 포함하도록 확장될 수 있다. 예를 들면, 서라운드 뷰에서, 모션 블러가 배경(즉, 콘텍스트)에 추가될 수 있는 반면, 콘텐츠는 선명한 채로 있다. 다른 예에서, 그림자 효과(drop-shadow)가 서라운드 뷰에서의 관심 객체에 추가될 수 있다.

다양한 예에서, 압축이 또한 향상 알고리즘(116)으로서 이용될 수 있다. 상세하게는, 압축은 데이터 업로드 및 다운로드 비용을 감소시킴으로써 사용자 경험을 향상시키기 위해 이용될 수 있다. 서라운드 뷰가 공간 정보를 이용하기 때문에, 서라운드 뷰의 원하는 품질을 유지하면서, 전형적인 비디오보다 서라운드 뷰에 대해 훨씬 더 적은 데이터가 송신될 수 있다. 구체적으로는, IMU, 중요 지점 트랙, 및 사용자 입력은, 앞서 기술된 뷰 보간과 결합되어, 모두가 서라운드 뷰의 업로드 또는 다운로드 동안 디바이스로 그리고 그로부터 전송되어야만 하는 데이터의 양을 감소시킬 수 있다. 예를 들면, 관심 객체가 제대로 식별될 수 있는 경우, 콘텐츠 및 콘텍스트에 대해 가변 압축 스타일이 선택될 수 있다. 이 가변 압축 스타일은, 일부 예에서, 배경 정보(즉, 콘텍스트)에 대한 저품질 해상도 및 전경 정보(즉, 콘텐츠)에 대한 고품질 해상도를 포함할 수 있다. 이러한 예에서, 콘텐츠에 대한 원하는 품질 레벨을 유지하면서 콘텍스트 품질의 일부를 희생시키는 것에 의해, 전송되는 데이터의 양이 감소될 수 있다.

본 실시예에서, 임의의 향상 알고리즘이 적용된 후에 서라운드 뷰(118)가 발생된다. 서라운드 뷰는 멀티뷰 대화식 디지털 미디어 표현을 제공할 수 있다. 다양한 예에서, 서라운드 뷰는 콘텐츠의 3차원 모델 및 콘텍스트의 2차원 모델을 포함할 수 있다. 그렇지만, 일부 예에서, 콘텍스트는, 콘텍스트가 순전히 2차원이지는 않도록, 원통형 또는 다른 형상의 표면과 같은, 표면을 따라 투영되는 풍경 또는 배경의 "플랫" 뷰를 나타낼 수 있다. 또 다른 예에서, 콘텍스트는 3차원 모습을 포함할 수 있다.

다양한 실시예에 따르면, 서라운드 뷰는 종래의 2차원 이미지 또는 비디오보다 수많은 장점을 제공한다. 이 장점들 중 일부는 움직이는 풍경, 움직이는 취득 디바이스, 또는 둘 다에 대처할 수 있다는 것; 장면의 일부를 3차원으로 모델링할 수 있다는 것; 불필요한 중복 정보를 제거하고 출력 데이터 세트의 메모리 풋프린트(memory footprint)를 감소시킬 수 있다는 것; 콘텐츠와 콘텍스트를 구별할 수 있는 것; 사용자 경험의 개선을 위해 콘텐츠와 콘텍스트 간의 차이를 이용할 수 있다는 것; 메모리 풋프린트의 개선을 위해 콘텐츠와 콘텍스트 간의 차이를 이용할 수 있다는 것(일 예는 콘텐츠의 고품질 압축과 콘텍스트의 저품질 압축일 것이다); 서라운드 뷰가 고도의 효율성 및 정확성으로 인덱싱될 수 있게 하는 특별한 특징 기술자를 서라운드 뷰와 연관시킬 수 있다는 것; 및 사용자가 서라운드 뷰와 상호작용하여 그의 시점을 변경할 수 있다는 것을 포함한다. 특정의 예시적인 실시예에서, 앞서 기술된 특성이 서라운드 뷰 표현에 기본적으로 포함될 수 있고, 다양한 응용 분야에서 이용하기 위한 능력을 제공할 수 있다. 예를 들면, 전자 상거래, 시각적 검색, 3D 프린팅, 파일 공유, 사용자 상호작용, 및 엔터테인먼트와 같은 다양한 분야를 향상시키기 위해 서라운드 뷰가 이용될 수 있다.

다양한 예시적인 실시예에 따르면, 서라운드 뷰(118)가 발생되면, 부가 이미지 데이터의 취득에 대한 사용자 피드백(120)이 제공될 수 있다. 상세하게는, 서라운드 뷰가 콘텐츠 또는 콘텍스트의 보다 정확한 모델을 제공하기 위해 부가 뷰를 필요로 하는 것으로 결정되면, 부가 뷰를 제공하도록 사용자가 프롬프트될 수 있다. 이 부가 뷰가 서라운드 뷰 취득 시스템(100)에 의해 수신되면, 이 부가 뷰가 시스템(100)에 의해 처리되고 서라운드 뷰에 포함될 수 있다.

도 2를 참조하면, 서라운드 뷰를 발생시키기 위한 프로세스 흐름도(200)의 일 예가 도시되어 있다. 본 예에서, 202에서, 복수의 이미지가 획득된다. 다양한 실시예에 따르면, 복수의 이미지는 2차원(2D) 이미지 또는 데이터 스트림을 포함할 수 있다. 이 2D 이미지는 서라운드 뷰를 발생시키는데 이용될 수 있는 위치 정보를 포함할 수 있다. 일부 실시예에서, 복수의 이미지는, 도 1과 관련하여 앞서 역시 기술된 바와 같이, 깊이 이미지(108)를 포함할 수 있다. 다양한 예에서, 깊이 이미지는 또한 위치 정보를 포함할 수 있다.

다양한 실시예에 따르면, 202에서 획득되는 복수의 이미지는 각종의 소스 및 특성을 포함할 수 있다. 예를 들면, 복수의 이미지는 복수의 사용자로부터 획득될 수 있다. 이 이미지는, 콘서트 등에서 획득된 2D 이미지 또는 비디오와 같은, 인터넷으로부터 동일한 이벤트의 상이한 사용자로부터 수집된 이미지의 모음일 수 있다. 일부 예에서, 복수의 이미지는 상이한 시간 정보를 갖는 이미지를 포함할 수 있다. 상세하게는, 동일한 관심 객체의 이미지가 상이한 때에 촬영될 수 있다. 예를 들면, 특정의 조각상의 다수의 이미지가 상이한 시각, 상이한 계절 등에 획득될 수 있다. 다른 예에서, 복수의 이미지는 움직이는 객체를 나타낼 수 있다. 예를 들면, 이미지는, 도로를 따라 진행하는 차량 또는 하늘을 가로질러 진행하는 비행기와 같은, 풍경을 가로질러 움직이는 관심 객체를 포함할 수 있다. 다른 경우들에서, 이미지는, 사람이 춤추는 것, 달리는 것, 빙빙 도는 것 등과 같은, 역시 움직이는 관심 객체를 포함할 수 있다.

본 예시적인 실시예에서, 204에서, 복수의 이미지가 콘텐츠 모델 및 콘텍스트 모델로 융합된다. 다양한 실시예에 따르면, 이미지에서 특징이 되는 주제가 콘텐츠와 콘텍스트로 분리될 수 있다. 콘텐츠는 관심 객체로서 묘사될 수 있고, 콘텍스트는 관심 객체를 둘러싸고 있는 풍경으로서 묘사될 수 있다. 다양한 실시예에 따르면, 콘텐츠는 관심 객체를 묘사하는 3차원 모델일 수 있고, 일부 실시예에서, 콘텐츠는 2차원 이미지일 수 있다.

본 예시적인 실시예에 따르면, 206에서, 하나 이상의 향상 알고리즘이 콘텐츠 모델 및 콘텍스트 모델에 적용될 수 있다. 이 알고리즘이 사용자 경험을 향상시키기 위해 이용될 수 있다. 예를 들면, 자동 프레임 선택, 안정화, 뷰 보간, 필터, 및/또는 압축과 같은 향상 알고리즘이 이용될 수 있다. 일부 예에서, 이미지의 포착 동안 이 향상 알고리즘이 이미지 데이터에 적용될 수 있다. 다른 예에서, 이미지 데이터의 취득 후에 이 향상 알고리즘이 이미지 데이터에 적용될 수 있다.

본 실시예에서, 208에서, 콘텐츠 모델 및 콘텍스트 모델로부터 서라운드 뷰가 발생된다. 서라운드 뷰는 멀티뷰 대화식 디지털 미디어 표현을 제공할 수 있다. 다양한 예에서, 서라운드 뷰는 콘텐츠의 3차원 모델 및 콘텍스트의 2차원 모델을 포함할 수 있다. 다양한 실시예에 따르면, 포착 모드 및 이미지의 시점에 따라, 서라운드 뷰 모델이 특정 특성을 포함할 수 있다. 예를 들면, 상이한 스타일의 서라운드 뷰의 일부 예는 국소 오목 서라운드 뷰, 국소 볼록 서라운드 뷰, 및 국소 편평 서라운드 뷰를 포함한다. 그렇지만, 유의할 점은, 응용 분야에 따라, 서라운드 뷰가 뷰와 특성의 조합을 포함할 수 있다는 것이다.

도 3을 참조하면, 몰입적 경험을 생성하기 위해 3차원(3D) 모델로 서로 융합될 수 있는 다수의 카메라 뷰의 일 예가 도시되어 있다. 다양한 실시예에 따르면, 서라운드 뷰를 제공하기 위해 다수의 이미지가 다수의 시점으로부터 포착되고 서로 융합될 수 있다. 본 예시적인 실시예에서, 3 개의 카메라(312, 314, 및 316)가 관심 객체(308)에 근접하여, 각각, 위치(322, 324, 및 326)에 배치된다. 풍경이 객체(310)와 같은 관심 객체(308)를 둘러싸고 있을 수 있다. 그 각자의 카메라(312, 314, 및 316)로부터의 뷰(302, 304, 및 306)는 중첩하는 주제를 포함한다. 구체적으로는, 각각의 뷰(302, 304, 및 306)는 관심 객체(308) 및 객체를 둘러싸고 있는 풍경(310)의 다양한 가시도를 포함한다. 예를 들면, 뷰(302)는 객체를 둘러싸고 있는 풍경(310)의 일부인 원통의 전방에 있는 관심 객체(308)의 뷰를 포함한다. 뷰(306)는 관심 객체(308)를 원통의 한쪽 측면에 보여주고, 뷰(304)는 원통의 어떠한 뷰도 없이 관심 객체를 보여준다.

본 예시적인 실시예에서, 다양한 뷰(302, 304, 및 316)는, 그의 연관된 위치(322, 324, 및 326)와 함께, 각각, 서라운드 뷰를 생성하는데 이용될 수 있는 관심 객체(308) 및 주변 콘텍스트에 관한 풍부한 정보 소스를 제공한다. 예를 들면, 함께 분석될 때, 다양한 뷰(302, 304, 및 326)는 관심 객체의 상이한 측면 및 관심 객체와 풍경 사이의 관계에 관한 정보를 제공한다. 다양한 실시예에 따르면, 이 정보는 관심 객체(308)를 콘텐츠로 그리고 풍경을 콘텍스트로서 파싱하는데 이용될 수 있다. 게다가, 또한 도 1 및 도 2와 관련하여 앞서 기술된 바와 같이, 서라운드 뷰를 뷰잉할 때 몰입적이고 대화식 경험을 생성하기 위해 다양한 알고리즘이 이 시점에 의해 생성된 이미지에 적용될 수 있다.

도 4a는 서라운드 뷰에서의 콘텐츠와 콘텍스트의 분리의 일 예를 나타낸 것이다. 본 발명의 다양한 실시예에 따르면, 서라운드 뷰는 장면(400)의 멀티뷰 대화식 디지털 미디어 표현이다. 도 4a를 참조하면, 장면(400)에 위치된 사용자(402)가 도시되어 있다. 사용자(402)는 조각상과 같은 관심 객체의 이미지를 포착하고 있다. 사용자에 의해 포착되는 이미지는 서라운드 뷰를 발생시키는데 이용될 수 있는 디지털 시각적 데이터를 구성한다.

본 개시내용의 다양한 실시예에 따르면, 서라운드 뷰에 포함된 디지털 시각적 데이터는, 의미적으로 및/또는 실제적으로, 콘텐츠(404)와 콘텍스트(406)로 분리될 수 있다. 특정의 실시예에 따르면, 콘텐츠(404)는 관심의 객체(들), 사람(들), 또는 장면(들)을 포함할 수 있는 반면, 콘텍스트(406)는 콘텐츠(404)를 둘러싸고 있는 장면의 나머지 요소를 나타낸다. 일부 예에서, 서라운드 뷰는 콘텐츠(404)를 3차원 데이터로서 그리고 콘텍스트(406)를 2차원 파노라마 배경으로서 나타낼 수 있다. 다른 예에서, 서라운드 뷰는 콘텐츠(404) 및 콘텍스트(406) 둘 다를 2차원 파노라마 장면으로서 나타낼 수 있다. 또 다른 예에서, 콘텐츠(404) 및 콘텍스트(406)는 3차원 성분 또는 모습을 포함할 수 있다. 특정의 실시예에서, 서라운드 뷰가 콘텐츠(404) 및 콘텍스트(406)를 묘사하는 방식은 이미지들을 취득하는데 이용되는 포착 모드에 의존한다.

객체, 사람, 또는 객체 또는 사람의 일부의 레코딩 - 여기서 객체, 사람, 또는 그의 일부만이 눈에 보임 -, 큰 편평한 구역의 레코딩, 그리고 장면의 레코딩 - 여기서 포착된 데이터가 무한대에 있는 것처럼 보임(즉, 카메라 가까이에 있는 피사체가 없음) -(이들로 제한되지 않음)와 같은 일부 예에서, 콘텐츠(404) 및 콘텍스트(406)가 동일할 수 있다. 이 예에서, 생성된 서라운드 뷰는 파노라마와 같은 다른 유형의 디지털 미디어와 유사한 일부 특성을 가질 수 있다. 그렇지만, 다양한 실시예에 따르면, 서라운드 뷰는 서라운드 뷰를 이 기존의 유형의 디지털 미디어와 구별해주는 부가 특징을 포함한다. 예를 들면, 서라운드 뷰는 움직이는 데이터(moving data)를 나타낼 수 있다. 그에 부가하여, 서라운드 뷰가 특정 원통(cylindrical), 구면(spherical) 또는 병진(translational) 이동으로 제한되지 않는다. 카메라 또는 다른 포착 디바이스로 이미지 데이터를 포착하기 위해 다양한 모션이 이용될 수 있다. 게다가, 스티칭된 파노라마(stitched panorama)와 달리, 서라운드 뷰는 동일한 객체의 상이한 측면을 디스플레이할 수 있다.

일부 응용 분야에서, 서라운드 뷰가 콘텐츠와 콘텍스트로 분리될 수 있지만, 다른 응용 분야에서, 서라운드 뷰가 또한 레이어들로 분리될 수 있다. 도 4b를 참조하면, 서라운드 뷰에서의 레이어링의 일 예가 도시되어 있다. 이 예에서, 레이어링된 서라운드 뷰(410)가 상이한 레이어(418, 420, 및 422)로 세그먼트화된다. 각각의 레이어(418, 420, 및 422)는 객체(또는 일단의 객체들), 사람들, 동적 장면 요소, 배경 등을 포함할 수 있다. 게다가, 이 레이어(418, 420, 및 422) 각각은 깊이를 할당받을 수 있다.

다양한 실시예에 따르면, 상이한 레이어(418, 420, 및 422)가 상이한 방식으로 디스플레이될 수 있다. 예를 들면, 상이한 필터(예컨대, 그레이 스케일 필터, 블러링 등)가 일부 레이어에는 적용될 수 있지만, 다른 레이어에는 적용되지 않을 수 있다. 다른 예에서, 사용자가 서라운드 뷰를 가로질러 스와이프할 때, 보다 나은 3차원 효과가 제공되도록, 상이한 레이어가 서로에 대해 상이한 속도로 움직일 수 있다. 이와 유사하게, 사용자가 시차 방향을 따라 스와이프할 때, 보다 나은 3차원 효과를 제공하기 위해 레이어가 상이하게 변위될 수 있다. 그에 부가하여, 원하지 않는 객체 등이 서라운드 뷰로부터 제거될 수 있도록, 서라운드 뷰를 디스플레이할 때 하나 이상의 레이어가 생략될 수 있다.

본 예에서, 사용자(412)는 포착 디바이스(414)를 잡고 있는 것으로 도시되어 있다. 사용자(412)는 포착 모션(416)을 따라 포착 디바이스(414)를 움직인다. 포착되는 이미지가 서라운드 뷰를 발생시키는데 이용될 때, 레이어(418, 420, 및 422)가 깊이에 기초하여 분리된다. 이 레이어는 이어서, 응용 분야에 따라, 서라운드 뷰에서 상이한 방식으로 처리되거나 뷰잉될 수 있다.

도 4c를 참조하면, 서라운드 뷰에 수정된 레이어를 갖는 서라운드 뷰를 발생시키기 위한 프로세스(430)의 일 예가 도시되어 있다. 상세하게는, 432에서, 제1 레이어 및 제2 레이어를 가지는 제1 서라운드 뷰가 획득된다. 도 4b와 관련하여 앞서 기술된 바와 같이, 서라운드 뷰가 상이한 레이어들로 분할될 수 있다. 본 예에서, 제1 레이어는 제1 깊이를 포함하고 제2 레이어는 제2 깊이를 포함한다. 다음에, 434에서, 제1 레이어가 선택된다. 다양한 예에 따르면, 제1 레이어를 선택하는 것은 제1 깊이 내의 데이터를 선택하는 것을 포함한다. 보다 구체적으로는, 제1 깊이 내의 데이터를 선택하는 것은 제1 깊이 내에 위치된 시각적 데이터를 선택하는 것을 포함한다. 다양한 실시예에 따르면, 제1 레이어는 객체, 사람, 동적 장면 요소, 배경 등과 같은 특징을 포함할 수 있다. 일부 예에서, 제1 레이어의 선택은 사용자 입력 없이 자동으로 수행된다. 다른 예에서, 제1 레이어의 선택은 사용자에 의해 안내되는 상호작용을 이용하여 반자동으로 수행된다.

제1 레이어가 선택된 후에, 436에서, 수정된 제1 레이어를 생성하기 위해 제1 서라운드 뷰 내의 제1 레이어에 효과가 적용된다. 일 예에서, 적용되는 효과는 블러링 필터, 그레이 스케일 필터 등과 같은 필터일 수 있다. 다른 예에서, 적용되는 효과는 제1 레이어를, 제2 속도로 움직이는 제2 레이어에 대해, 제1 속도로 움직이는 것을 포함할 수 있다. 제1 속도가 제2 속도와 상이할 때, 일부 경우에 3차원 효과들이 개선될 수 있다. 일부 응용 분야에서, 시차 효과가 발생할 수 있고, 그로써 3차원 효과를 생성한다.

다음에, 438에서, 수정된 제1 레이어 및 제2 레이어를 포함하는 제2 서라운드 뷰가 발생된다. 앞서 기술된 바와 같이, 제1 레이어에 하나 이상의 효과를 적용하는 것은, 일부 응용 분야에서, 서라운드 뷰의 3차원 효과를 개선시킬 수 있다. 이러한 응용 분야에서, 제2 서라운드 뷰는, 제1 서라운드 뷰와 비교할 때, 개선된 3차원 효과를 가질 수 있다. 상이한 예에서 다른 효과가 적용될 수 있고, 제2 서라운드 뷰를 생성하기 위해 제1 서라운드 뷰의 다양한 모습을 강조(emphasize)하거나 덜 강조(deemphasize)할 수 있다. 그에 부가하여, 일부 응용 분야에서, 제2 서라운드 뷰에서 하나의 레이어가 생략될 수 있다. 구체적으로는, 제1 서라운드 뷰가 제3 레이어를 포함할 때, 제2 서라운드 뷰는 이 제3 레이어를 생략한다. 일 예에서, 이 제3 레이어는 발생된 제2 서라운드 뷰에서 "편집 제거(edit out)"될 객체 또는 사람을 포함할 수 있을 것이다. 다른 예에서, 이 제3 레이어는 배경 또는 배경 요소를 포함할 수 있을 것이고, 발생된 제2 서라운드 뷰는 배경 또는 배경 요소를 포함하지 않을 것이다. 물론, 임의의 객체 또는 특징이, 응용 분야에 따라, 이 생략된 제3 레이어에 위치될 수 있다.

도 5a 및 도 5b는, 각각, 오목 뷰 및 볼록 뷰의 예를 나타낸 것으로서, 여기서 양 뷰는 후방 카메라 포착 스타일을 이용한다. 상세하게는, 카메라 폰(camera phone)이 이용되는 경우, 이 뷰는, 사용자로부터 멀어지는 쪽으로 향해 있는, 전화기의 후방에 있는 카메라를 이용한다. 특정의 실시예에서, 오목 뷰 및 볼록 뷰는 서라운드 뷰에서 어떻게 콘텐츠 및 콘텍스트가 지정되는지에 영향을 미칠 수 있다.

도 5a를 참조하면, 사용자가 수직 축(508)을 따라 서 있는 오목 뷰(500)의 일 예가 도시되어 있다. 이 예에서, 사용자는, 카메라 위치(502)가 이미지 포착 동안 축(508)을 떠나지 않도록, 카메라를 들고 있다. 그렇지만, 사용자가 축(508)을 중심으로 회전할 때, 카메라는 사용자 주위의 장면의 파노라마 뷰를 포착하여, 오목 뷰를 형성한다. 이 실시예에서, 관심 객체(504) 및 먼 풍경(506) 모두가, 이미지들이 포착되는 방식으로 인해, 유사하게 뷰잉된다. 이 예에서, 오목 뷰 내의 모든 객체가 무한대에 있는 것처럼 보이며, 따라서 이 뷰에 따르면 콘텐츠가 콘텍스트와 같다.

도 5b를 참조하면, 관심 객체(524)의 이미지를 포착할 때 사용자가 위치를 변경하는 볼록 뷰(520)의 일 예가 도시되어 있다. 이 예에서, 사용자는 관심 객체(524) 주위에서 움직이면서, 카메라 위치(528, 530, 및 532)로부터 관심 객체의 상이한 측면의 사진을 촬영한다. 획득되는 이미지들 각각은 관심 객체의 뷰, 및 먼 풍경(526)의 배경을 포함한다. 본 예에서, 관심 객체(524)는 콘텐츠를 나타내고, 먼 풍경(526)은 이 볼록 뷰에서의 콘텍스트를 나타낸다.

도 6a 내지 도 6e는 서라운드 뷰에 대한 다양한 포착 모드의 예를 나타낸 것이다. 다양한 모션이 서라운드 뷰를 포착하기 위해 이용될 수 있고 임의의 특정 유형의 모션으로 제약되지 않지만, 서라운드 뷰와 관련하여 기술되는 특정의 특징 또는 뷰를 포착하기 위해 3 가지 일반 유형의 모션이 이용될 수 있다. 이 3 가지 유형의 모션은, 각각, 국소 오목 서라운드 뷰, 국소 볼록 서라운드 뷰, 및 국소 편평 서라운드 뷰를 생성할 수 있다. 일부 예에서, 서라운드 뷰는 동일한 서라운드 뷰 내에 다양한 유형의 모션을 포함할 수 있다.

도 6a를 참조하면, 후방 오목 서라운드 뷰가 포착되는 것의 일 예가 도시되어 있다. 다양한 실시예에 따르면, 국소 오목 서라운드 뷰는 카메라 또는 다른 포착 디바이스의 시야 각도가 발산하는 서라운드 뷰이다. 하나의 차원에서, 이것은 구면 360 파노라마(순수 회전(pure rotation))를 포착하는데 필요한 모션과 유사할 수 있지만, 이 모션이 뷰가 바깥쪽으로 향해 있는 임의의 곡선 스위핑(sweeping) 모션으로 일반화될 수 있다. 본 예에서, 경험은 정지해 있는 뷰어가 (어쩌면 동적인) 콘텍스트를 쳐다보는 경험이다.

본 예시적인 실시예에서, 사용자(602)는 사용자(602)로부터 멀어지는, 세계(600) 쪽으로의 이미지들을 포착하기 위해 후방 카메라(606)를 이용하고 있다. 다양한 예에 기술된 바와 같이, 후방 카메라는 사용자로부터 멀어지는 쪽으로 향해 있는 카메라(스마트폰의 배면 상의 카메라 등)를 갖는 디바이스를 지칭한다. 이 카메라는, 뷰(604a, 604b, 및 604c)가 포착 구역(609)의 다양한 부분을 포착하도록, 오목 모션(608)으로 움직인다.

도 6b를 참조하면, 후방 볼록 서라운드 뷰가 포착되는 것의 일 예가 도시되어 있다. 다양한 실시예에 따르면, 국소 볼록 서라운드 뷰는 시야 각도들이 단일의 관심 객체 쪽으로 수렴하는 서라운드 뷰이다. 일부 예에서, 국소 볼록 서라운드 뷰는, 뷰어가 동일한 객체의 다수의 측면을 볼 수 있도록, 한 점을 중심으로 궤도를 도는 경험을 제공할 수 있다. "관심 객체"일 수 있는 이 객체는 서라운드 뷰로부터 세그먼트화되어 콘텐츠로 될 수 있고, 임의의 주변 데이터는 세그먼트화되어 콘텍스트로 될 수 있다. 이전의 기술은 미디어 공유 풍경(media-sharing landscape)에서 이 유형의 시야 각도를 인식하지 못했다.

본 예시적인 실시예에서, 사용자(602)는 사용자(602)로부터 멀어지는, 세계(600) 쪽으로의 이미지를 포착하기 위해 후방 카메라(614)를 이용하고 있다. 이 카메라는, 뷰(612a, 612b, 및 612c)가 포착 구역(611)의 다양한 부분을 포착하도록, 볼록 모션(610)으로 움직인다. 앞서 기술된 바와 같이, 일부 예에서, 세계(600)는 관심 객체를 포함할 수 있고, 볼록 모션(610)은 이 객체 주위에서 궤도를 돌 수 있다. 뷰(612a, 612b, 및 612c)는, 이 예에서, 이 객체의 상이한 측면의 뷰를 포함할 수 있다.

도 6c를 참조하면, 전방 오목 서라운드 뷰가 포착되는 것의 일 예가 도시되어 있다. 다양한 예에 기술된 바와 같이, 전방 카메라는 사용자 쪽으로 향해 있는 카메라(스마트폰의 전면 상의 카메라 등)를 갖는 디바이스를 지칭한다. 예를 들면, 전방 카메라는 흔히 "셀피"(즉, 사용자의 자기 촬영 사진)를 촬영하는데 이용된다.

본 예시적인 실시예에서, 카메라(620)가 사용자(602) 쪽으로 향해 있다. 카메라는, 뷰(618a, 618b, 및 618c)가 각도 의미에서 서로로부터 발산하도록, 오목 모션(606)을 따라간다. 포착 구역(617)은 주변에 사용자를 포함하는 오목 형상을 따라간다.

도 6d를 참조하면, 전방 볼록 서라운드 뷰가 포착되는 것의 일 예가 도시되어 있다. 본 예시적인 실시예에서, 카메라(626)가 사용자(602) 쪽으로 향해 있다. 카메라는, 뷰(624a, 624b, 및 624c)가 사용자(602) 쪽으로 수렴하도록, 볼록 모션(622)을 따라간다. 포착 구역(617)은 사용자(602)를 둘러싸는 오목 형상을 따라간다.

도 6e를 참조하면, 후방 플랫 뷰가 포착되는 것의 일 예가 도시되어 있다. 특정의 예시적인 실시예에서, 국소 편평 서라운드 뷰는 카메라의 회전이 그의 병진 이동에 비해 작은 서라운드 뷰이다. 국소 편평 서라운드 뷰에서, 시야 각도가 대체로 평행한 채로 있고, 시차 효과가 우세하다. 이 유형의 서라운드 뷰에서, "관심 객체"가 또한 있을 수 있지만, 상이한 뷰에서 그의 위치가 고정된 채로 있지 않다. 이전의 기술은 또한 미디어 공유 풍경에서 이 유형의 시야 각도를 인식하지 못했다.

본 예시적인 실시예에서, 카메라(632)는 세계(600) 쪽으로, 사용자(602)로부터 멀어지는 쪽을 향하고 있다. 이 카메라는, 포착 구역(629)이 일반적으로 선을 따라가도록, 일반적으로 선형인 모션(628)을 따라간다. 뷰(630a, 630b, 및 630c)는 일반적으로 평행인 시선을 갖는다. 다수의 뷰에서 뷰잉되는 객체가 각각의 뷰에서 상이한 또는 시프트된 배경 풍경을 갖는 것처럼 보일 수 있다. 그에 부가하여, 상이한 뷰에서 객체의 약간 상이한 측면이 보일 수 있다. 시차 효과를 이용하여, 임의의 하나의 정적 이미지보다 더 많은 정보를 제공하는 서라운드 뷰에 객체의 위치 및 특성에 관한 정보가 발생될 수 있다.

앞서 기술된 바와 같이, 서라운드 뷰에 대한 이미지를 포착하기 위해 다양한 모드가 이용될 수 있다. 국소 오목, 국소 볼록, 및 국소 선형 모션을 비롯한 이 모드가 별개의 이미지의 포착 동안 또는 장면의 연속적인 레코딩 동안 이용될 수 있다. 이러한 레코딩은 단일의 세션 동안 일련의 이미지를 포착할 수 있다.

본 발명의 다양한 실시예에 따르면, 수많은 방식으로 취득된 데이터로부터 서라운드 뷰가 발생될 수 있다. 도 7a는 서라운드 뷰를 발생시키는데 이용될 수 있는 데이터를 레코딩하기 위한 프로세스의 일 예를 나타낸 것이다. 이 예에서, 공간을 가로질러 카메라를 움직이는 것에 의해 데이터가 취득된다. 상세하게는, 사용자가 레코딩을 시작하기 위해 포착 디바이스(700) 상의 레코딩 버튼(702)을 태핑한다. 포착 디바이스의 이동(716)이 일반적으로 왼쪽 방향을 따라갈 때, 객체(714)는, 객체의 이동(716)으로 나타낸 바와 같이, 스크린을 가로질러 일반적으로 오른쪽 모션으로 움직인다. 구체적으로는, 사용자가 뷰(708)에서 레코딩 버튼(702)을 누르고, 이어서 뷰(710)에서 포착 디바이스를 왼쪽으로 움직인다. 포착 디바이스가 왼쪽으로 움직일 때, 뷰(710)와 뷰(712) 사이에서 객체(714)가 오른쪽으로 움직이는 것처럼 보인다. 일부 예에서, 사용자가 레코딩을 끝낼 때, 레코딩 버튼(702)이 또다시 태핑될 수 있다. 다른 예에서, 사용자는 레코딩 동안 레코딩 버튼을 길게 태핑(tap and hold)하고 레코딩을 종료할 때 해제(release)할 수 있다. 본 실시예에서, 레코딩은 서라운드 뷰를 발생시키는데 이용될 수 있는 일련의 이미지를 포착한다.

다양한 실시예에 따르면, 포착 프로세스에서 이용되는 이동의 유형에 따라, 서라운드 뷰에서 상이한 유형의 파노라마가 포착될 수 있다. 상세하게는, 포착된 데이터에 기초하여, 동적 파노라마, 객체 파노라마, 및 셀피 파노라마가 발생될 수 있다. 일부 실시예에서, 포착된 데이터는 도 7a와 관련하여 기술된 바와 같이 레코딩될 수 있다.

도 7b 내지 도 7f는 서라운드 뷰를 이용해 생성될 수 있는 동적 파노라마에 관련된 예를 나타낸 것이다. 도 7b를 특히 참조하면, 동적 파노라마 포착 프로세스(720)의 일 예가 도시되어 있다. 본 예에서, 사용자(722)는 포착 모션(726)을 따라 포착 디바이스(724)를 움직인다. 이 포착 모션(726)은 포착 디바이스(724)를 회전시키는 것, 흔드는 것(waving), 병진 이동시키는 것(translating) 등을 포함할 수 있다. 이 포착 프로세스 동안, 장면(728)의 파노라마가 발생되고, 장면 내의 동적 콘텐츠가 유지된다. 예를 들면, 움직이는 객체가 파노라마 내에 동적 콘텐츠로서 보존된다.

도 7c를 참조하면, 포착 디바이스(732)가 회전 축(734)을 통하여 회전되는 동적 파노라마 포착 프로세스(730)의 특정 예가 도시되어 있다. 상세하게는, 포착 디바이스(732)가 회전 축(734)을 따라 있는 그의 중심을 중심으로 회전된다. 이 순수 회전은 장면(736)의 파노라마를 포착한다. 다양한 예에 따르면, 이 유형의 파노라마는 특정의 시점에서 장면 내의 엔티티를 포착하는 "플랫" 장면("flat" scene)을 제공할 수 있다. 이 "플랫" 장면은 2차원 이미지일 수 있거나, 원통, 표면 등에 투영되는 이미지일 수 있다.

도 7d를 참조하면, 동적 콘텐츠(744)를 갖는 동적 파노라마(740)의 일 예가 도시되어 있다. 파노라마가 포착되면, 도 7b 및 7c와 관련하여 앞서 기술된 바와 같이, 동적 파노라마(740)가 사용자에 의해 내비게이팅될 수 있다. 본 예에서, 사용자가 동적 파노라마(740)를 내비게이팅할 때 동적 콘텐츠(744)에 애니메이션 효과가 주어진다. 예를 들면, 사용자가 장면(742)을 가로질러 스와이프할 때, 동적 콘텐츠(744)가 장면(742)에 대해 움직이는 것으로 보일 수 있다.

도 7e를 참조하면, 3D 효과를 갖는 동적 파노라마를 포착하는 것의 일 예가 도시되어 있다. 본 예에서, 포착 디바이스가 (도 7c에서와 같이) 정확히 그의 카메라 중심 주위에서 회전되지 않는 경우, 사용자가 동적 콘텐츠를 내비게이팅하는 동안 파노라마의 상이한 부분을 상이한 속도로 움직이는 것에 의해 3D 효과가 획득될 수 있다. 포착 디바이스가 (도 7c에서와 같이) 그의 카메라 중심 주위에서 회전되지 않으면 보통의 파노라마 포착 프로세스에서 근방의 사람 또는 객체(750)가 아티팩트를 야기할 것이지만, 동적 파노라마를 내비게이팅/그를 가로질러 스와이프할 때 객체(750)를 상이한 속도로 움직이는 것에 의해 사용자에게 3D 인상을 생성하기 위해 이 "불완전"이 이용될 수 있다. 상세하게는, 도시된 포착 디바이스(745)는 먼 장면(746) 및 근방의 사람/객체(750)를 포착하는 포착 모션(748)을 이용한다. 다양한 실시예에 따르면, 근방의 사람/객체(750)의 이동은 서라운드 뷰 내의 3D 모션으로서 포착될 수 있는 반면, 먼 풍경(746)은 사용자가 서라운드 뷰를 내비게이팅할 때 정적인 것처럼 보인다.

도 7f를 참조하면, 시차 효과를 갖는 동적 파노라마(750)의 일 예가 도시되어 있다. 파노라마 방향(752)에 수직으로 스와이프할 때 시차 효과를 적용함으로써 3차원 효과가 제공될 수 있다. 상세하게는, 파노라마 방향에 수직으로 시차 방향(754)을 따라 스와이프할 때, 근방의 객체는 시차 방향(754)을 따라 변위되는 반면, 멀리 있는 장면은 정지해 있거나 근방의 객체보다 적게 움직인다.

도 7g 내지 도 7j는 서라운드 뷰를 이용해 생성될 수 있는 객체 파노라마에 관련된 예를 나타낸 것이다. 도 7g를 참조하면, 객체 파노라마 포착 프로세스의 일 예가 도시되어 있다. 상세하게는, 포착 디바이스(766)가 객체(762) 주위에서 포착 모션(760)을 따라 움직인다. 포착 디바이스(766)의 특정의 일 예는 스마트폰이다. 포착 디바이스(766)는, 객체(762)의 다양한 뷰 및 각도가 포착될 때, 배경(764)의 파노라마 뷰도 포착한다. 결과적인 서라운드 뷰는 객체(762)의 파노라마 뷰를 포함한다.

일부 실시예에서, 객체 파노라마를 배경 파노라마 상에 투영함으로써 서라운드 뷰가 생성될 수 있고, 그의 일 예가 도 7h에 도시되어 있다. 상세하게는, 배경 파노라마(770)를 이용하고 전경 객체 파노라마(772)를 배경 파노라마(770) 상에 투영하여, 이 종류의 파노라마(768)가 만들어진다. 일부 예에서, 객체 파노라마는, 도 17a 및 도 17b와 관련하여 보다 상세히 기술되는 바와 같이, 서라운드 뷰로부터 가져온 세그먼트화된 콘텐츠일 수 있다.

다양한 실시예에 따르면, 다수의 객체가 객체 파노라마를 이루고 있을 수 있다. 도 7i를 참조하면, 객체 파노라마를 이루고 있는 일군의 객체(780)에 대한 포착 프로세스의 일 예가 도시되어 있다. 도시된 바와 같이, 포착 디바이스(776)가 단일의 객체 또는 포착 디바이스로부터 유사한 거리에 위치된 일군의 객체(780)일 수 있는 전경 객체 주위에서 움직일 수 있다. 객체의 다양한 뷰 및 각도가 포착되도록, 포착 디바이스(776)가 객체 또는 일군의 객체(780) 주위에서 포착 모션(778)을 따라 움직일 수 있다. 결과적인 서라운드 뷰는, 먼 배경(782)을 콘텍스트로서 갖는, 일군의 객체(780)의 객체 파노라마를 포함할 수 있다.

다양한 예에 따르면, 객체 파노라마는 사용자가 객체를 내비게이팅할 수 있게 한다. 도 7j를 참조하면, 사용자 내비게이션에 기초하여 객체 파노라마의 시야 각도를 변화시키는 것의 일 예가 도시되어 있다. 이 예에서, 서라운드 뷰 파노라마(784)의 3 개의 뷰가 도시되어 있다. 서라운드 뷰 파노라마에서, 전경 객체(786)가 배경 파노라마(788) 전방에 보여진다. 사용자가 서라운드 뷰를 스와이프하거나 다른 방식으로 그와 상호작용함으로써 파노라마를 내비게이팅할 때, 객체의 위치, 객체의 시야 각도, 또는 둘 다가 변경될 수 있다. 본 예에서, 사용자가 주 파노라마 축의 방향으로 스와이프할 수 있다. 이 내비게이션은 이 뷰에서 전경 객체(786)를 회전시킬 수 있다. 일부 예에서, 전경 객체 파노라마가 회전하거나 다른 방식으로 움직일 때, 먼 배경 파노라마(788)는 변하지 않을 수 있다.

다양한 실시예에 따르면, 객체 파노라마가 또한 시차 효과를 포함할 수 있다. 주 파노라마 축의 방향에 수직으로 스와이프/내비게이팅할 때 이 시차 효과가 보여질 수 있다. 도 7f와 유사하게, 파노라마 방향에 수직으로 스와이프할 때 3차원 효과가 제공될 수 있다. 상세하게는, 파노라마 방향에 수직으로 시차 방향을 따라 스와이프할 때, 근방의 객체는 시차 방향을 따라 변위되는 반면, 멀리 있는 장면은 정지해 있거나 근방의 객체보다 적게 움직인다.

이전의 예가 객체 파노라마에서의 정적 콘텐츠 및 배경 콘텍스트에 관련되어 있지만, 전경 객체 및 배경 콘텍스트 중 어느 하나 또는 둘 다에 대한 동적 콘텐츠가 객체 파노라마에 통합될 수 있다. 예를 들면, 동적 콘텐츠가 도 7d와 관련하여 기술된 것과 유사한 방식으로 나타내어질 수 있다. 이와 유사하게, 동적 콘텍스트가 또한 객체 파노라마에 포함될 수 있다.

서라운드 뷰에 포함될 수 있는 다른 유형의 파노라마는 셀피 파노라마이다. 일부 예에서, 셀피 파노라마는, 도 17a 및 도 17b와 관련하여 보다 상세히 기술되는 바와 같이, 서라운드 뷰로부터 가져온 세그먼트화된 콘텐츠일 수 있다. 도 7k 및 도 7l은 서라운드 뷰를 이용해 생성될 수 있는 셀피 파노라마에 관련된 예를 나타낸 것이다. 도 7k를 참조하면, 셀피 파노라마 포착 프로세스(790)의 일 예가 도시되어 있다. 상세하게는, 사용자(794)는 사용자(794)의 이미지를 포착하면서 포착 모션(796)을 따라 포착 디바이스(792)를 움직인다. 일부 예에서, 포착 디바이스(792)는, 스마트폰에 포함된 것과 같은, 전방 카메라를 이용할 수 있다. 다른 예에서, 디지털 카메라 또는 다른 이미지 레코딩 디바이스가 이용될 수 있다. 이 이미지를 이용해 셀피 파노라마가 생성되고, 배경(798)은 콘텍스트를 제공한다.

도 7l을 참조하면, 셀피 파노라마가 투영되어 있는 배경 파노라마의 일 예가 도시되어 있다. 본 예에서, 셀피 파노라마(721)가 투영되어 있는 배경 파노라마(725)로부터 서라운드 뷰 파노라마(723)가 만들어진다. 다양한 예에 따르면, 셀피 파노라마는, 도 7i와 관련하여 기술된 객체 또는 일군의 객체와 유사하게, 단일의 사람 또는 다수의 사람을 포함할 수 있다. 본 예에서, 셀피 파노라마는 동적 콘텐츠를 포함할 수 있다. 예를 들면, 포착 디바이스가 움직이거나 사용자가 포착 디바이스를 움직이면서 가만히 있을 때 사용자가 포착 디바이스를 바라볼 수 있다. 셀피 파노라마(721)가 레코딩되는 동안 사용자의 이동이 포착될 수 있다. 이 동적 요소가 파노라마에 매핑될 것이고, 결과적인 셀피 파노라마(721)와 상호작용하면서 디스플레이될 수 있다. 예를 들면, 사용자의 눈 깜박거림이 레코딩되고 포착될 수 있다. 셀피 파노라마의 내비게이션이 도 7j와 관련하여 기술된 것과 유사한 방식으로 행해질 수 있다. 상세하게는, 셀피 파노라마(721)에서의 사람(들)의 위치 및 시점이 사용자가 주 파노라마 축의 방향에서 스와이프/내비게이팅하는 것에 의해 변경될 수 있다. 다양한 실시예에 따르면, 셀피 파노라마(721)가 또한 시차 효과를 포함할 수 있다. 주 파노라마 축의 방향에 수직으로 스와이프/내비게이팅할 때 이 시차 효과가 보여질 수 있다. 그에 부가하여, 도 7f와 유사하게, 파노라마 방향에 수직으로 스와이프할 때 3차원 효과가 제공될 수 있다. 상세하게는, 파노라마 방향에 수직으로 시차 방향을 따라 스와이프할 때, 근방의 객체는 시차 방향을 따라 변위되는 반면, 멀리 있는 장면은 정지해 있거나 근방의 객체보다 적게 움직인다.

앞서 기술된 바와 같이, 서라운드 뷰를 이용해 다양한 유형의 파노라마가 생성될 수 있다. 그에 부가하여, 서라운드 뷰가 상이한 방식으로 뷰잉되고 내비게이팅될 수 있다. 도 7m을 참조하면, 사용자 내비게이션에 기초하여 제공되는 파노라마의 확장 뷰의 일 예가 도시되어 있다. 본 예에서, 가능한 뷰(727)는 전체 파노라마 뷰(729), 레코딩 뷰(731), 및 확장 뷰(733)를 포함한다. 전체 파노라마 뷰(729)는 서라운드 뷰 내의 정보의 전체 뷰를 포함한다. 레코딩 뷰(731)는 이미지 및/또는 레코딩에서 포착된 시각적 데이터를 포함한다. 확장 뷰(733)는 레코딩 뷰(731)에서의 한 시점 동안 보이는 것보다는 많지만 전체 파노라마 뷰(729)보다는 적은 것을 보여준다. 확장 뷰(733)에서 보이는 파노라마(729)의 일부분은 사용자 내비게이션에 의해 정의된다. 확장 뷰(733)가 셀피 또는 객체 파노라마에 대해 특히 흥미로운데, 그 이유는 확장 뷰가 파노라마에서의 객체/사람을 따라가고 레코딩 동안 카메라에 대해 보이는 것보다 더 큰 뷰를 보여주기 때문이다. 본질적으로, 서라운드 뷰의 내비게이션 동안 확장 뷰(733)에서 보다 많은 콘텍스트가 사용자에게 제공된다.

다양한 실시예에 따르면, 일련의 이미지가 포착되면, 이 이미지가 서라운드 뷰를 발생시키는데 이용될 수 있다. 도 8을 참조하면, 3차원 콘텐츠가 2차원 파노라마 콘텍스트와 블렌딩되어 있는 서라운드 뷰의 일 예가 도시되어 있다. 본 예시적인 실시예에서, 포착 디바이스가 관심 객체(즉, 의자에 앉아 있는 사람) 주위에서 움직이도록, 포착 디바이스의 이동(820)이 국소 볼록 모션을 따라간다. 관심 객체는 콘텐츠(808)로서 묘사되고, 주변 풍경(즉, 방)은 콘텍스트(810)로서 묘사된다. 본 실시예에서, 포착 디바이스의 이동(820)이 콘텐츠(808) 주위에서 왼쪽으로 움직일 때, 포착 디바이스에 대한 콘텐츠 회전 방향(812)은 오른쪽으로의 반시계 방향이다. 뷰(802, 804, 및 806)는 방에 대한 의자에 앉아 있는 사람의 회전의 진행 상황을 보여준다.

다양한 실시예에 따르면, 서라운드 뷰를 발생시키는데 이용되는 일련의 이미지가 사용자가 장면, 관심 객체 등을 레코딩하는 것에 의해 포착될 수 있다. 그에 부가하여, 일부 예에서, 다수의 사용자가 서라운드 뷰를 발생시키는데 이용되는 일련의 이미지를 취득하는데 기여할 수 있다. 도 9를 참조하면, 시공간 서라운드 뷰가 독립적인 관찰자들에 의해 동시에 레코딩되는 것의 일 예가 도시되어 있다.

본 예시적인 실시예에서, 카메라(904, 906, 908, 910, 912, 및 914)가 상이한 위치에 배치되어 있다. 일부 예에서, 이 카메라(904, 906, 908, 910, 912, 및 914)는 독립적인 관찰자와 연관되어 있을 수 있다. 예를 들면, 독립적인 관찰자는 콘서트, 쇼, 이벤트 등에서의 청중 구성원일 수 있다. 다른 예에서, 카메라(904, 906, 908, 910, 912, 및 914)가 삼각대, 스탠드 등에 위치되어 있을 수 있다. 본 실시예에서, 카메라(904, 906, 908, 910, 912, 및 914)는, 각각, 관심 객체(900)의 뷰(904a, 906a, 908a, 910a, 912a, 및 914a)를 포착하는데 이용되고, 세계(902)는 배경 풍경을 제공한다. 일부 예에서, 카메라(904, 906, 908, 910, 912, 및 914)에 의해 포착된 이미지가 집계되고 단일의 서라운드 뷰에서 함께 이용된다. 카메라들(904, 906, 908, 910, 912, 및 914) 각각은 관심 객체(900)에 대한 상이한 시점을 제공하고, 따라서 이 상이한 위치로부터의 이미지를 집계하는 것은 관심 객체(900)의 상이한 시야 각도에 관한 정보를 제공한다. 그에 부가하여, 카메라(904, 906, 908, 910, 912, 및 914)는 어떤 기간에 걸쳐 그 각자의 위치로부터의 일련의 이미지를 제공하고, 따라서 이 일련의 이미지로부터 발생되는 서라운드 뷰는 시간 정보를 포함할 수 있고 또한 시간에 따른 이동을 나타낼 수 있다.

다양한 실시예와 관련하여 앞서 기술된 바와 같이, 서라운드 뷰가 각종의 포착 모드와 연관될 수 있다. 그에 부가하여, 서라운드 뷰가 동일한 서라운드 뷰에 상이한 포착 모드 또는 상이한 포착 모션을 포함할 수 있다. 그에 따라, 일부 예에서, 서라운드 뷰가 보다 작은 부분들로 분리될 수 있다. 도 10을 참조하면, 복합 서라운드 뷰를 보다 작은 선형 부분들로 분리하는 것의 일 예가 도시되어 있다. 본 예에서, 복합 서라운드 뷰(1000)는 카메라(1010)의 2 개의 별개의 선형 모션(1022 및 1024)을 포함하는 L자 스위핑 모션을 따르는 포착 구역(1026)을 포함한다. 이 별개의 선형 모션과 연관된 서라운드 뷰는 선형 서라운드 뷰(1002)와 선형 서라운드 뷰(1004)로 분해될 수 있다. 유의할 점은, 일부 실시예에서, 선형 모션(1022 및 1024)이 순차적으로 그리고 연속적으로 포착될 수 있지만, 다른 실시예에서, 이 선형 모션(1022 및 1024)이 또한 별개의 세션에서 포착될 수 있다는 것이다.

본 예시적인 실시예에서, 선형 서라운드 뷰(1002)와 선형 서라운드 뷰(1004)가 독립적으로 처리되고, 사용자에 대한 연속적인 경험을 제공하기 위해 전환(1006)에 의해 결합될 수 있다. 이러한 방식으로 모션을 보다 작은 선형 성분들로 분해하는 것은 다양한 장점을 제공할 수 있다. 예를 들면, 이 보다 작은 선형 성분을 개별적인 로드가능 부분으로 분해하는 것은 대역폭을 위해 데이터를 압축하는데 도움을 줄 수 있다. 이와 유사하게, 비선형 서라운드 뷰가 또한 개별 성분들로 분리될 수 있다. 일부 예에서, 서라운드 뷰가 국소 포착 모션에 기초하여 분해될 수 있다. 예를 들어, 복합 모션이 국소 볼록 부분과 선형 부분으로 분해될 수 있다. 다른 예에서, 복합 모션이 별개의 국소 볼록 부분들로 분해될 수 있다. 임의의 수의 모션들이 복합 서라운드 뷰(1000)에 포함될 수 있다는 것과, 복합 서라운드 뷰(1000)가, 응용 분야에 따라, 임의의 수의 별개의 부분들로 분해될 수 있다는 것을 잘 알 것이다.

비록, 일부 응용 분야에서는, 복합 서라운드 뷰를 분리하는 것이 바람직하지만, 다른 응용 분야에서는, 다수의 서라운드 뷰를 결합시키는 것이 바람직하다. 도 11을 참조하면, 다중 서라운드 뷰(1100)로 결합되는 다수의 서라운드 뷰를 포함하는 그래프의 일 예가 도시되어 있다. 이 예에서, 직사각형은 다양한 서라운드 뷰(1102, 1104, 1106, 1108, 1110, 1112, 1114, 및 1116)를 나타내고, 각각의 직사각형의 길이는 각각의 서라운드 뷰의 우세 모션(dominant motion)을 나타낸다. 서라운드 뷰들 사이의 라인은 그들 사이의 가능한 전환(1118, 1120, 1122, 1124, 1126, 1128, 1130, 및 1132)을 나타낸다.

일부 예에서, 서라운드 뷰는 장면을 아주 효율적인 방식으로 공간적으로도 시간적으로도 분할하는 방식을 제공할 수 있다. 아주 큰 규모의 장면에 대해, 다중 서라운드 뷰(1100) 데이터가 이용될 수 있다. 상세하게는, 다중 서라운드 뷰(1100)는 공간 그래프(spatial graph)에서 서로 연결되는 서라운드 뷰의 집합체를 포함할 수 있다. 개개의 서라운드 뷰가 단일의 사용자와 같은 단일의 소스에 의해 또는 다수의 사용자와 같은 다수의 소스에 의해 수집될 수 있다. 그에 부가하여, 개개의 서라운드 뷰가 순차적으로, 병렬로, 또는 상이한 때에 전혀 상관되지 않게 포착될 수 있다. 그렇지만, 개개의 서라운드 뷰를 연결시키기 위해, 콘텐츠, 콘텍스트, 또는 위치, 또는 이 특징들의 조합의 소정의 중복이 있어야만 한다. 그에 따라, 임의의 2 개의 서라운드 뷰가 다중 서라운드 뷰(1100)의 일부분을 제공하기 위해 콘텐츠, 콘텍스트, 및/또는 위치의 얼마간의 중복을 가질 필요가 있을 것이다. 개개의 서라운드 뷰가 이 중복을 통해 서로 링크되고 하나로 스티칭되어 다중 서라운드 뷰(1100)를 형성할 수 있다. 다양한 예에 따르면, 전방, 후방, 또는 전후방 카메라 중 어느 하나를 갖는 포착 디바이스들의 임의의 조합이 이용될 수 있다.

일부 실시예에서, 다중 서라운드 뷰(1100)가 환경 전체를 보다 충분히 포착하도록 일반화될 수 있다. "사진 여행"이 사진들을 모아서 개별적인 공간적으로 이웃하는 성분들의 그래프로 만드는 것과 같이, 다수의 서라운드 뷰가 전체 장면 그래프로 결합될 수 있다. 일부 예에서, 이것은 이미지 매칭/추적, 깊이 매칭/추적, IMU, 사용자 입력, 및/또는 GPS(이들로 제한되지 않음)로부터 획득된 정보를 이용하여 달성될 수 있다. 이러한 그래프 또는 다중 서라운드 뷰 내에서, 사용자는 레코딩된 모션의 종료점에서 또는 그래프에서 다른 서라운드 뷰와의 중복이 있는 곳에서마다 상이한 서라운드 뷰들 간에 전환할 수 있다. "사진 여행"보다 다중 서라운드 뷰의 하나의 장점은 사용자가 서라운드 뷰를 원하는 대로 내비게이팅할 수 있고 훨씬 더 많은 시각적 정보가 서라운드 뷰에 저장될 수 있다는 것이다. 이와 달리, 종래의 "사진 여행"은 전형적으로 자동으로 또는 사용자가 컴퓨터 마우스 또는 키스트로크를 이용해 파노라마를 패닝(pan)할 수 있게 하는 것에 의해 뷰어에게 보여질 수 있는 제한된 뷰를 갖는다.

다양한 실시예에 따르면, 서라운드 뷰가 일단의 이미지로부터 발생된다. 이 이미지는, 응용 분야에 따라, 서라운드 뷰를 생성하려고 의도하고 있는 사용자에 의해 포착되거나 저장소로부터 검색될 수 있다. 서라운드 뷰가 특정 가시도와 관련하여 제한되거나 한정되지 않기 때문에, 서라운드 뷰는 객체 또는 장면의 상이한 뷰에 관해 상당히 더 많은 시각적 정보를 제공할 수 있다. 보다 구체적으로는, 단일의 시점이 3차원 객체를 적절히 나타내는데 모호할 수 있지만, 객체의 다수의 뷰는 보다 구체적이고 상세한 정보를 제공할 수 있다. 이 다수의 뷰는 시각적 검색 질의가 보다 정확한 검색 결과를 산출할 수 있게 하기에 충분한 정보를 제공할 수 있다. 서라운드 뷰가 객체의 많은 측면으로부터의 뷰를 제공하기 때문에, 검색에 적절한 독특한 뷰가 서라운드 뷰로부터 선택되거나 독특한 뷰가 이용가능하지 않은 경우 사용자로부터 요청될 수 있다. 예를 들면, 포착되거나 다른 방식으로 제공되는 데이터가 충분히 높은 확실성으로 관심 객체 또는 장면의 인식 또는 발생을 가능하게 하기에 충분하지 않은 경우, 포착 시스템은 포착 디바이스를 계속 움직이거나 부가 이미지 데이터를 제공하도록 사용자를 안내할 수 있다. 특정의 실시예에서, 서라운드 뷰가 보다 정확한 모델을 생성하기 위해 부가 뷰를 필요로 하는 것으로 결정되면, 사용자는 부가 이미지를 제공하도록 프롬프트될 수 있다.

도 12를 참조하면, 보다 정확한 서라운드 뷰를 제공하기 위해 부가 이미지에 대해 사용자를 프롬프트하기 위한 프로세스(1200)의 일 예가 도시되어 있다. 본 예에서, 1202에서, 이미지가 포착 디바이스 또는 저장소로부터 수신된다. 다음에, 1204에서, 제공되는 이미지가 관심 객체의 인식을 가능하게 하기에 충분한지의 결정이 행해진다. 이미지가 관심 객체의 인식을 가능하게 하기에 충분하지 않으면, 1206에서, 상이한 시야 각도로부터의 부가 이미지(들)를 제공하도록 사용자에 대한 프롬프트가 주어진다. 일부 예에서, 상이한 시야 각도로부터의 하나 이상의 부가 이미지를 제공하도록 사용자를 프롬프트하는 것은 하나 이상의 특정의 시야 각도를 암시하는 것을 포함한다. 사용자가 적극적으로 이미지를 포착하고 있다면, 일부 경우에 독특한 시야 각도가 검출될 때 사용자가 프롬프트될 수 있다. 다양한 실시예에 따르면, 하나 이상의 특정의 시야 각도를 제공하라는 암시가 이미 수신된 이미지와 연관된 위치에 기초하여 결정될 수 있다. 그에 부가하여, 상이한 시야 각도로부터의 하나 이상의 부가 이미지를 제공하도록 사용자를 프롬프트하는 것은, 응용 분야에 따라, 국소 오목 서라운드 뷰, 국소 볼록 서라운드 뷰, 또는 국소 편평 서라운드 뷰와 같은 특정의 포착 모드의 이용을 암시하는 것을 포함할 수 있다.

다음에, 1208에서, 본 시스템은 사용자로부터 이 부가 이미지(들)를 수신한다. 부가 이미지가 수신되면, 이미지가 관심 객체의 인식을 가능하게 하기에 충분한지의 결정이 또다시 행해진다. 이 프로세스는 이미지가 관심 객체의 인식을 가능하게 하기에 충분하다는 결정이 행해질 때까지 계속된다. 일부 실시예에서, 이 프로세스는 이 시점에서 종료될 수 있고, 서라운드 뷰가 발생될 수 있다.

임의로, 이미지가 관심 객체의 인식을 가능하게 하기에 충분하다는 결정이 행해지면, 1210에서, 이미지가 관심 객체를 유사하지만 매칭하지 않는 항목과 구별하기에 충분한지의 결정이 행해질 수 있다. 이 결정은 시각적 검색을 이용할 때 특히 도움이 될 수 있으며, 그 예는 도 19 내지 도 22와 관련하여 이하에서 보다 상세히 기술된다. 상세하게는, 관심 객체가 부가 뷰를 필요로 하는 특정의 각도로부터 보일 수 있는 독특한 특징을 가질 수 있다. 예를 들면, 전방 각도로부터의 사진만이 촬영되는 경우 사람의 인물 사진이 그 사람의 헤어스타일을 충분히 보여주지 않을 수 있다. 사람이 머리가 짧은지 단지 뒤로 넘긴 헤어스타일을 갖는지를 결정하기 위해 사람의 뒷쪽의 부가 사진이 제공될 필요가 있을 수 있다. 다른 예에서, 스커트가 한쪽 측면이 무지이면 스커트를 입고 있는 사람의 사진은 당연히 부가의 것을 프롬프트할 수 있고, 부가 뷰는 소매 또는 뒷쪽 등에 무늬 또는 다른 표지를 보여줄 것이다.

일부 예에서, 이미지가 관심 객체를 유사하지만 매칭하지 않는 항목과 구별하기에 충분하지 않다고 결정하는 것은 매칭하는 검색 결과의 수가 미리 결정된 임계치를 초과한다고 결정하는 것을 포함한다. 상세하게는, 많은 수의 검색 결과가 발견되면, 검색 기준을 좁히기 위해 부가 뷰가 필요할 수 있다고 결정될 수 있다. 예를 들면, 머그잔의 검색이 많은 수(20 개 초과 등)의 매칭을 산출하는 경우, 검색 결과를 줄이기 위해 머그잔의 부가 뷰가 필요할 수 있다.

1210에서, 이미지가 관심 객체를 유사하지만 매칭하지 않는 항목과 구별하기에 충분하지 않다면, 1212에서, 상이한 시야 각도로부터의 부가 이미지(들)를 제공하도록 사용자에 대한 프롬프트가 주어진다. 일부 예에서, 상이한 시야 각도로부터의 하나 이상의 부가 이미지를 제공하도록 사용자를 프롬프트하는 것은 하나 이상의 특정의 시야 각도를 암시하는 것을 포함한다. 사용자가 적극적으로 이미지를 포착하고 있다면, 일부 경우에 독특한 시야 각도가 검출될 때 사용자가 프롬프트될 수 있다. 다양한 실시예에 따르면, 하나 이상의 특정의 시야 각도를 제공하라는 암시가 이미 수신된 이미지와 연관된 위치에 기초하여 결정될 수 있다. 그에 부가하여, 상이한 시야 각도로부터의 하나 이상의 부가 이미지를 제공하도록 사용자를 프롬프트하는 것은, 응용 분야에 따라, 국소 오목 서라운드 뷰, 국소 볼록 서라운드 뷰, 또는 국소 편평 서라운드 뷰와 같은 특정의 포착 모드의 이용을 암시하는 것을 포함할 수 있다.

다음에, 1214에서, 본 시스템은 사용자로부터 이 부가 이미지(들)를 수신한다. 부가 이미지가 수신되면, 이미지가 관심 객체를 유사하지만 매칭하지 않는 항목과 구별하기에 충분한지의 결정이 또다시 행해진다. 이 프로세스는 이미지가 관심 객체를 유사하지만 매칭하지 않는 항목과 구별하기에 충분하다는 결정이 행해질 때까지 계속된다. 다음에, 프로세스가 종료되고 이미지로부터 서라운드 뷰가 발생될 수 있다.

도 13a 및 도 13b를 참조하면, 보다 정확한 서라운드 뷰를 생성하기 위해 사용자에게 부가 이미지를 요청하는 프롬프트의 예가 도시되어 있다. 상세하게는, 검색 스크린을 갖는 디바이스(1300)가 도시되어 있다. 도 13a에서, 시각적 검색 질의(1302)의 일 예가 제공된다. 이 시각적 검색 질의(1302)는 백색 머그잔의 이미지를 포함한다. 결과(1306)는 백색 배경을 갖는 다양한 머그잔을 포함한다. 특정의 실시예에서, 많은 양의 검색 결과가 발견되면, 검색 질의를 위한 부가 이미지 데이터를 사용자에 요청하기 위해 프롬프트(1304)가 제공될 수 있다.

도 13b에서, 도 13a에서의 프롬프트(1304)에 응답하여 다른 시각적 검색 질의(1310)의 일 예가 제공된다. 이 시각적 검색 질의(1310)는 객체의 상이한 시점을 제공하고 머그잔의 그래픽에 관한 보다 구체적인 정보를 제공한다. 이 시각적 검색 질의(1310)는 보다 타겟팅되고 정확한 새로운 결과(1312)를 산출한다. 일부 예에서, 검색이 완료되었다는 것을 사용자에게 통지하기 위해 부가 프롬프트(1308)가 제공될 수 있다.

서라운드 뷰가 발생되면, 특정의 실시예에서, 서라운드 뷰가 다양한 응용 분야에서 이용될 수 있다. 서라운드 뷰에 대한 하나의 응용 분야는 사용자가 서라운드 뷰를 내비게이팅하거나 그와 다른 방식으로 상호작용할 수 있게 하는 것을 포함한다. 다양한 실시예에 따르면, 사용자가 서라운드 뷰와 상호작용할 때 서라운드 뷰는 장면에 물리적으로 존재하는 느낌을 시뮬레이트하도록 설계된다. 이 경험은 카메라의 시야 각도뿐만 아니라 뷰잉되고 있는 서라운드 뷰의 유형에도 의존한다. 서라운드 뷰가 전반적으로 특정의 고정된 기하학적 형태를 가질 필요는 없지만, 특정의 실시예에서, 오목, 볼록, 및 플랫 서라운드 뷰와 같은 상이한 유형의 기하학적 형태가 서라운드 뷰의 국소 세그먼트 상에 표현될 수 있다.

특정의 예시적인 실시예에서, 내비게이션 모드가 서라운드 뷰에 표현된 기하학적 형태의 유형에 의해 통보된다. 예를 들면, 오목 서라운드 뷰의 경우, 디바이스(스마트폰, 기타 등등)를 회전시키는 행위는 주변 경관을 바라보고 있는 정지해 있는 관찰자를 회전시키는 행위와 흡사할 수 있다. 일부 응용 분야에서, 스크린을 한 방향으로 스와이프하는 것은 뷰가 반대 방향으로 회전되게 할 수 있다. 이 효과는 사용자를 빈 원통 안에 서 있게 하고 사용자 주위에서 회전하도록 원통의 벽을 미는 것과 유사하다. 볼록 서라운드 뷰를 갖는 다른 예에서, 디바이스를 회전시키는 것은, 관심 객체가 중심에 있는 채로 있도록, 디바이스가 기울어져 있는 방향으로 뷰가 궤도를 돌게 할 수 있다. 일부 응용 분야에서, 스크린을 한 방향으로 스와이프하는 것은 시야 각도가 동일한 방향으로 회전되게 한다: 이것은 관심 객체를 그의 축을 중심으로 회전시키거나 사용자가 객체 주위에서 회전하게 하는 느낌을 생성한다. 플랫 뷰를 갖는 일부 예에서, 디바이스를 회전시키거나 움직이는 것은 뷰가 디바이스의 이동 방향으로 병진 이동하게 할 수 있다. 그에 부가하여, 스크린을 한 방향으로 스와이프하는 것은, 전경 객체를 그 쪽으로 미는 것처럼, 뷰가 반대 방향으로 병진 이동하게 할 수 있다.

일부 예에서, 사용자는 개개의 서라운드 뷰가 하나씩 로드될 수 있고 필요할 때(예컨대, 추가 서라운드 뷰가 현재 서라운드 뷰와 인접/중복하고 그리고/또는 사용자가 추가 서라운드 뷰 쪽으로 내비게이팅할 때) 추가 서라운드 뷰가 로드될 수 있는 다중 서라운드 뷰 또는 서라운드 뷰의 그래프를 내비게이팅할 수 있을 것이다. 사용자가 서라운드 뷰에서 2 개 이상의 서라운드 뷰가 중복하는 지점에 도달하면, 사용자는 그 중복하는 서라운드 뷰들 중 어느 것을 따라갈지를 선택할 수 있다. 일부 경우에, 어느 서라운드 뷰를 따라갈지의 선택은 사용자가 디바이스를 스와이프하거나 움직이는 방향에 기초할 수 있다.

도 14를 참조하면, 서라운드 뷰를 내비게이팅하기 위한 프로세스(1400)의 일 예가 도시되어 있다. 본 예에서, 1402에서, 서라운드 뷰에서 관심 객체를 뷰잉하기 위한 요청이 사용자로부터 수신된다. 다양한 실시예에 따르면, 요청은 또한, 풍경 또는 파노라마 뷰를 뷰잉할 때와 같이, 특정의 관심 객체를 갖지 않는 서라운드 뷰를 뷰잉하기 위한 일반 요청일 수 있다. 다음에, 1404에서, 객체의 3차원 모델이 액세스된다. 이 3차원 모델은 저장된 서라운드 뷰의 전부 또는 일부분을 포함할 수 있다. 예를 들면, 일부 응용 분야에서, 3차원 모델은 세그먼트화된 콘텐츠 뷰일 수 있다. 1406에서, 제1 시점으로부터의 초기 이미지가 이어서 출력 디바이스로 송신된다. 이 제1 시점은 출력 디바이스 상에서 서라운드 뷰를 뷰잉하기 위한 시작점으로서 역할한다.

본 실시예에서, 제2 시점으로부터 관심 객체를 뷰잉하기 위한 사용자 액션이 이어서 수신된다. 이 사용자 액션은, 응용 분야에 따라, 입력 디바이스를 움직이는 것(예컨대, 기울이는 것, 병진 이동시키는 것, 회전시키는 것 등), 스크린을 스와이프하는 것 등을 포함할 수 있다. 예를 들면, 사용자 액션은 국소 오목 서라운드 뷰, 국소 볼록 서라운드 뷰, 또는 국소 편평 서라운드 뷰 등과 연관된 모션에 대응할 수 있다. 다양한 실시예에 따르면, 디바이스를 축을 중심으로 회전시키는 것에 의해 객체 뷰가 동일한 축을 중심으로 회전될 수 있다. 예를 들어, 디바이스를 수직 축을 중심으로 회전시키는 것에 의해 객체 뷰가 수직 축을 따라 회전될 수 있다. 1410에서, 사용자 액션의 특성에 기초하여, 3차원 모델이 처리된다. 예를 들면, 입력 디바이스의 이동이 검출될 수 있고, 관심 객체의 대응하는 시점이 발견될 수 있다. 응용 분야에 따라, 입력 디바이스 및 출력 디바이스 둘 다가 모바일 디바이스 등에 포함될 수 있다. 일부 예에서, 요청된 이미지는 서라운드 뷰의 발생 이전에 포착된 이미지에 대응한다. 다른 예에서, 요청된 이미지는 3차원 모델에 기초하여(예컨대, 보간 등에 의해) 발생된다. 1412에서, 이 시점으로부터의 이미지가 출력 디바이스로 송신될 수 있다. 일부 실시예에서, 선택된 이미지가,, 선택된 이미지의 정확도에 관한 확실성의 정도와 함께, 출력 디바이스에 제공될 수 있다. 예를 들면, 특정의 시점으로부터의 이미지를 발생시키기 위해 보간 알고리즘이 이용될 때, 일부 응용 분야에서, 확실성의 정도가 변할 수 있고 사용자에게 제공될 수 있다. 다른 예에서, 요청된 이미지를 제공하기에 불충분한 정보가 서라운드 뷰에 있는지를 나타내는 메시지가 출력 디바이스에 제공될 수 있다.

일부 실시예에서, 1406에서의 초기 이미지와 1412에서의 요청된 이미지 사이의 중간 이미지가 송신될 수 있다. 상세하게는, 이 중간 이미지는 초기 이미지와 연관된 제1 시점과 요청된 이미지와 연관된 제2 시점 사이에 위치된 시점에 대응할 수 있다. 게다가, 이 중간 이미지가 사용자 액션의 특성에 기초하여 선택될 수 있다. 예를 들면, 중간 이미지가 관심 객체의 시각적 내비게이션을 제공하도록, 중간 이미지는 사용자 액션과 연관된 입력 디바이스의 이동 경로를 따를 수 있다.

도 15를 참조하면, 서라운드 뷰의 스와이프 기반 내비게이션의 일 예가 도시되어 있다. 본 예에서, 사용자가 서라운드 뷰를 내비게이팅할 때의 디바이스(1500)의 3 개의 뷰가 도시되어 있다. 상세하게는, 입력(1510)은 디바이스(1500)의 스크린 상에서의 사용자에 의한 스와이프이다. 사용자가 우측에서 좌측으로 스와이프할 때, 관심 객체가 스와이프의 방향(1508)에 대해 움직인다. 구체적으로는, 이미지(1506, 1504, 및 1502)의 진행 상황으로 도시된 바와 같이, 입력(1510)은 사용자가 관심 객체(즉, 선글라스를 착용한 남자) 주위에서 회전할 수 있게 한다.

본 예에서, 디바이스 스크린 상에서의 스와이프는 가상 뷰의 회전에 대응할 수 있다. 그렇지만, 다른 예시적인 실시예에서, 다른 입력 모드가 이용될 수 있다. 예를 들면, 서라운드 뷰가 또한, 디바이스를 다양한 방향으로 기울이고 서라운드 뷰에서의 내비게이션을 안내하기 위해 디바이스 배향 방향을 이용하는 것에 의해, 내비게이팅될 수 있다. 다른 예에서, 내비게이션이 또한 사용자에 의한 스크린의 이동에 기초할 수 있다. 그에 따라, 스와이프 모션은, 뷰어가 디바이스를 관심 객체 쪽으로 지향시키고 있는 것처럼, 사용자가 서라운드 뷰를 둘러볼 수 있게 할 수 있다. 또 다른 예에서, 웹 브라우저에서 서라운드 뷰와의 상호작용을 제공하기 위해 웹 사이트가 이용될 수 있다. 이 예에서, 스와이프 및/또는 모션 센서가 이용가능하지 않을 수 있고, 마우스 또는 다른 커서 또는 입력 디바이스와의 상호작용으로 대체될 수 있다.

다양한 실시예에 따르면, 서라운드 뷰는 또한 내비게이션 동안 뷰잉될 수 있는 태깅(tagging)을 포함할 수 있다. 태깅은 서라운드 뷰 내의 객체, 사람, 제품, 또는 다른 항목에 대한 식별을 제공할 수 있다. 상세하게는, 서라운드 뷰에서의 태깅은 제품을 사용자/고객에게 제시하고 그 요소 또는 항목을 프로모션하는 아주 강력한 도구이다. 일 예에서, 태그 위치가 여전히 유효한 채로 있으면서 항목을 상이한 각도로부터 뷰잉될 수 있도록, 태그(1512)는 태깅되는 항목의 위치를 따라갈 수 있다. 태그(1512)는, 이름(예컨대, 사용자 이름, 제품 이름 등), 설명, 웹 사이트/인터넷 상점(webshop)에 대한 링크, 가격 정보, 태깅된 객체를 구매하기 위한 직접 옵션(direct option), 유사한 객체의 목록 등과 같은, 상이한 유형의 데이터를 저장할 수 있다. 일부 예에서, 사용자가 서라운드 뷰에서 항목을 선택할 때 태그가 보이게 될 수 있다. 다른 예에서, 태그가 자동으로 디스플레이될 수 있다. 그에 부가하여, 일부 응용 분야에서, 태그(1512)를 선택하는 것에 의해 부가 정보가 액세스될 수 있다. 예를 들면, 사용자가 태그를 선택할 때, 설명, 링크 등과 같은 부가 정보가 스크린 상에 디스플레이될 수 있다.

일부 실시예에서, 사용자가 서라운드 뷰의 하나의 시점에서의 지점 또는 영역을 선택하는 것에 의해 태그(1512)를 생성할 수 있다. 이 지점 또는 영역이 이어서 다른 시점으로 자동으로 전파된다. 대안적으로, 얼굴 검출, 객체 검출, 포커스를 받고 있는 객체(object in focus), 전경으로서 식별되는 객체 등과 같은 상이한 정보에 기초하여 애플리케이션에 의해 태그 위치가 사용자에게 자동으로 암시될 수 있다. 일부 예에서, 객체 검출은 기지의 객체 또는 객체 유형/클래스의 데이터베이스로부터 행해질 수 있다.

본 예에서, 태그(1512)는 서라운드 뷰에서 셔츠를 식별해준다. 물론, 이름, 상표 등과 같은 임의의 텍스트 또는 제목이 포함될 수 있다. 이 태그(1512)는, 태그가 선택된 임의의 뷰에서의 동일한 위치 또는 지점과 연관되도록, 서라운드 뷰에서의 특정의 위치에 매핑될 수 있다. 앞서 기술된 바와 같이, 일부 실시예에서, 태그(1512)는 태그를 태핑하거나 다른 방식으로 선택하는 것에 의해 액세스될 수 있는 부가 정보를 포함할 수 있다. 도 15에 태깅이 도시되어 있지만, 유의할 점은, 일부 예에서, 서라운드 뷰가 태깅을 포함하지 않을 수 있다는 것이다.

다양한 실시예에 따르면, 서라운드 뷰가 다양한 방식으로 저장되고 액세스될 수 있다. 그에 부가하여, 많은 응용 분야에서 서라운드 뷰가 이용될 수 있다. 도 16a를 참조하면, 모바일 디바이스(1602) 및 브라우저(1604) 상에서의 서라운드 뷰에 대한 공유 서비스의 예가 도시되어 있다. 모바일 디바이스(1602) 및 브라우저(1604)가 대안적인 썸네일 디스플레이(1600)로서 도시되어 있는데, 그 이유는, 응용 분야에 따라, 서라운드 뷰가 어느 한 인터페이스에 의해 액세스될 수 있기 때문이다. 다양한 실시예에 따르면, 일단의 서라운드 뷰가, 갤러리, 피드, 및/또는 웹 사이트(이들로 제한되지 않음)를 비롯한, 상이한 방식으로 사용자에게 제시될 수 있다. 예를 들면, 썸네일들의 모음을 사용자에게 제시하기 위해 갤러리가 이용될 수 있다. 이 썸네일은 사용자에 의해 또는 자동으로 서라운드 뷰로부터 선택될 수 있다. 일부 예에서, 썸네일의 크기는, 구조에 기초하는 자동으로 선택된 크기 및 썸네일이 포함하는 콘텐츠의 크기; 그리고/또는 서라운드 뷰의 인기도(이들로 제한되지 않음)와 같은, 특성에 기초하여 변할 수 있다. 다른 예에서, 대화식 썸네일을 이용하여 서라운드 뷰를 제시하기 위해 피드가 이용될 수 있다.

본 예에서, 모바일 디바이스(1602)로부터의 서라운드 뷰 썸네일은 썸네일(1604) 및 제목/라벨/설명(1604)을 포함한다. 썸네일(1604)은 서라운드 뷰로부터의 이미지를 포함할 수 있다. 제목/라벨/설명(1604)은 제목, 파일 이름, 콘텐츠의 설명, 라벨, 태그 등과 같은 서라운드 뷰에 관한 정보를 포함할 수 있다.

게다가, 본 예에서, 브라우저(1604)로부터의 서라운드 뷰 썸네일은 썸네일(1606), 제목/라벨/설명(1608), 및 통지(1610)를 포함한다. 썸네일(1606)은 서라운드 뷰로부터의 이미지를 포함할 수 있다. 제목/라벨/설명(1608)은 제목, 파일 이름, 콘텐츠의 설명, 라벨, 태그 등과 같은 서라운드 뷰에 관한 정보를 포함할 수 있다. 그에 부가하여, 통지(1610)는 서라운드 뷰에 대한 의견, 매칭하는 콘텐츠에 관한 업데이트, 암시된 콘텐츠 등과 같은 정보를 포함할 수 있다. 모바일 버전에 도시되어 있지 않지만, 통지가 또한 포함될 수 있지만, 일부 실시예에서, 레이아웃 및 공간 고려사항을 위해 생략될 수 있다. 일부 예에서, 통지가 모바일 디바이스 상에서 서라운드 뷰 애플리케이션의 일부로서 제공될 수 있다.

도 16b를 참조하면, 모바일 디바이스 상에서의 서라운드 뷰 관련 통지의 예가 도시되어 있다. 상세하게는, 통지에 대한 상이한 포맷을 포함하는 디바이스(1622)에 대한 대안적인 통지 스크린(1620)이 도시되어 있다. 일부 예에서, 사용자는 사용자의 선호 사항에 따라 이 스크린들 간에 내비게이팅할 수 있다.

본 예에서, 스크린(1624)은 최근의 서라운드 뷰로부터의 콘텐츠에 기초한 사용자에 대한 추천을 포함하는 통지(1626)를 포함한다. 상세하게는, 애플리케이션이 사용자가 조각상을 좋아한다는 것을 발견한 것에 기초하여, 추천은 그리스로의 여행에 관한 것이다. 일부 예에서, 이 발견은 사용자의 저장된 또는 최근에 브라우징된 서라운드 뷰에서 발견된 콘텐츠로부터 추론될 수 있다.

본 예에서, 스크린(1628)은 사용자가 저장, 브라우징 등을 한 서라운드 뷰로부터의 콘텐츠에 기초한 통지(1630)를 포함한다. 예를 들면, 하나의 통지는 서라운드 뷰 모델에서 제공된 바와 같은 사용자의 신발과 유사한, 근방의 소매점에서 입수가능한 신발에 대한 추천이다. 추천은 또한 소매점까지의 지도에 대한 링크를 포함한다. 이 추천은 사용자가 저장한 신발의 서라운드 뷰에 기초할 수 있다. 다른 통지는 공통 관심사/취미를 공유하는 다른 사용자에 연결하라는 추천이다. 이 예에서, 추천은 사용자의 검출된 모자에 대한 관심에 기초한다. 이 추천이, 일부 응용 분야에서, "푸시" 통지로서 자동으로 제공될 수 있다. 추천의 콘텐츠는 사용자의 서라운드 뷰 또는 브라우징 이력에 기초할 수 있고, 도 19 내지 도 22와 관련하여 기술된 것과 같은, 시각적 검색 알고리즘이 일부 예에서 이용될 수 있다.

본 예에서, 스크린(1630)은 다른 형태의 통지(1632)를 보여주고 있다. 상이한 애플리케이션에 대한 다양한 아이콘이 스크린(1630) 상에 나타내어진다. 서라운드 뷰 애플리케이션에 대한 아이콘은 얼마나 많은 통지가 사용자를 기다리고 있는지를 보여주는 아이콘 내에 삽입된 통지(1632)를 포함한다. 다양한 실시예에 따르면, 사용자가 아이콘을 선택할 때, 통지가 디스플레이될 수 있고 그리고/또는 애플리케이션이 기동될 수 있다.

본 개시내용의 다양한 실시예에 따르면, 정적 또는 동적 장면으로부터 객체를 세그먼트화 또는 분리하기 위해 서라운드 뷰가 이용될 수 있다. 서라운드 뷰가 이미지 데이터로부터 도출된 독특한 3D 모델링 특성 및 정보를 포함하기 때문에, 서라운드 뷰는 세그먼트화를 위한 독자적인 기회를 제공한다. 일부 예에서, 관심 객체를 서라운드 뷰 콘텐츠로서 취급하고 장면의 나머지를 콘텍스트로서 표현함으로써, 객체가 세그먼트화되고 별개의 엔티티로서 취급될 수 있다. 그에 부가하여, 일부 경우에, 세그먼트화 프로세스를 개량하기 위해 서라운드 뷰 콘텍스트가 이용될 수 있다. 다양한 실시예에서, 콘텐츠가 자동으로 또는 사용자에 의해 안내되는 상호작용을 이용하여 반자동으로 선택될 수 있다. 서라운드 뷰 객체 세그먼트화에 대한 하나의 중요한 용도는 전자 상거래에서의 제품 진열장의 콘텍스트에서 이루어지며, 그의 예가 도 17b에 도시되어 있다. 그에 부가하여, 시각적 검색 응용 분야의 콘텍스트에서, 대규모 데이터베이스에 대해 동작할 수 있는 인공 지능 검색 알고리즘을 훈련시키는데 적합한 객체 모델을 발생시키기 위해 서라운드 뷰 기반 객체 세그먼트화가 이용될 수 있다.

도 17을 참조하면, 객체 세그먼트화를 제공하기 위한 프로세스(1700)의 일 예가 도시되어 있다. 1702에서, 객체의 제1 서라운드 뷰가 획득된다. 다음에, 1704에서, 제1 서라운드 뷰로부터 콘텐츠가 선택된다. 일부 예에서, 콘텐츠가 사용자 입력 없이 자동으로 선택된다. 다른 예에서, 콘텐츠가 사용자에 의해 안내되는 상호작용을 이용하여 반자동으로 선택된다. 1706에서, 콘텐츠가 이어서 제1 서라운드 뷰로부터 세그먼트화된다. 일부 예에서, 다수의 카메라 시점들로부터의 이미지들을 비롯한, 제1 서라운드 뷰에서 제공되는 정보에 기초하여 콘텐츠의 모델을 3차원으로 재구성하는 것에 의해 콘텐츠가 세그먼트화된다. 특정의 예시적인 실시예에서, 반복적 최적화 알고리즘(그래픽 모델 등)에 기초하여 세그먼트화 알고리즘을 선택하고 초기화하는 메커니즘이 서라운드 뷰에서 이용가능한 다수의 카메라 시점으로부터 관심 객체 또는 그의 일부를 3차원으로 재구성하는 것에 의해 효율적으로 이용될 수 있다. 이 프로세스가 다수의 프레임에 걸쳐 반복되고, 세그먼트화가 원하는 품질 출력에 도달할 때까지 최적화될 수 있다. 그에 부가하여, 콘텐츠를 세그먼트화하는 것은 콘텐츠의 파라미터를 결정하기 위해 콘텍스트를 이용하는 것을 포함할 수 있다.

본 예에서, 콘텐츠가 제1 서라운드 뷰로부터 세그먼트화되면, 콘텐츠 또는 객체를 둘러싸고 있는 풍경을 갖지 않는 객체를 포함하는 제2 서라운드 뷰가 발생된다. 1708에서, 이 제2 서라운드 뷰가 제공된다. 일부 예에서, 제2 서라운드 뷰가 이어서 데이터베이스에 저장될 수 있다. 다양한 응용 분야에서 이 제2 서라운드 뷰가 이용될 수 있다. 예를 들면, 세그먼트화된 콘텐츠는 전자 상거래에서 이용하기 위한 제품을 포함한다. 도 17b에 예시된 바와 같이, 세그먼트화된 콘텐츠는 다양한 시점으로부터 제품을 보여주기 위해 이용될 수 있다. 다른 응용 분야는 제2 서라운드 뷰를 인공 지능 훈련을 위한 객체 모델로서 이용하는 것을 포함한다. 또 다른 응용 분야에서, 3D 프린팅에서 제2 서라운드 뷰가 이용될 수 있다. 이 응용 분야에서, 제2 서라운드 뷰로부터의 데이터가 3D 프린터로 보내진다.

본 예가 제1 서라운드 뷰로부터 콘텐츠를 세그먼트화하는 것을 기술하지만, 유의할 점은, 다른 예에서, 콘텍스트가 또한 세그먼트화될 수 있다는 것이다. 예를 들면, 일부 응용 분야에서, 배경 풍경이 세그먼트화되고 제2 서라운드 뷰로서 제시될 수 있다. 상세하게는, 콘텍스트가 제1 서라운드 뷰로부터 선택될 수 있고, 콘텍스트가 독특한 대화식 모델로 분리되도록, 콘텍스트가 제1 서라운드 뷰로부터 세그먼트화될 수 있다. 결과적인 서라운드 뷰는 그러면 객체를 둘러싸고 있는 풍경을 포함하지만, 객체 자체를 배제할 것이다. 다양한 응용 분야에서, 세그먼트화된 콘텍스트 모델이 또한 이용될 수 있다. 예를 들면, 결과적인 서라운드 뷰로부터의 데이터가 3D 프린터로 송신될 수 있다. 일부 예에서, 이것이 편평한 또는 곡면 표면 상에 파노라마 배경으로서 인쇄될 수 있을 것이다. 콘텍스트 모델이 또한 인쇄되면, 서라운드 뷰의 3차원 "사진" 또는 모델을 생성하기 위해 관심 객체가 파노라마 배경의 전방에 위치될 수 있다. 다른 응용 분야에서, 세그먼트화된 콘텍스트가 상이한 관심 객체에 대한 배경으로서 이용될 수 있다. 대안적으로, 세그먼트화된 콘텐츠가 새로운 세그먼트화된 콘텍스트에 위치될 수 있다. 이 예에서, 대안적인 콘텐츠 또는 콘텍스트를 제공하는 것은 관심 객체가 새로운 배경 등에 위치될 수 있게 한다. 예를 들면, 사람의 서라운드 뷰가 다양한 배경 콘텍스트에 위치되어, 하나의 서라운드 뷰에서는 해변에 서 있고 다른 서라운드 뷰에서는 눈에 서 있는 사람을 보여줄 수 있을 것이다.

도 17b를 참조하면, 상이한 각도로부터 뷰잉되는 세그먼트화된 객체의 일 예가 도시되어 있다. 상세하게는, 운동화에 대한 회전 뷰(1720)가 도시되어 있다. 객체 뷰(1722, 1724, 1726, 1728, 및 1730)는 다양한 각도 또는 시점으로부터의 운동화를 보여준다. 도시된 바와 같이, 객체 자체가 어떠한 배경 또는 콘텍스트도 없이 보여지고 있다. 다양한 실시예에 따르면, 세그먼트화된 객체의 이 상이한 뷰가 서라운드 뷰 콘텐츠로부터 자동으로 획득될 수 있다. 이 유형의 회전 뷰의 하나의 응용 분야는 전자 상거래에서 상이한 각도로부터의 제품 뷰를 보여주는 것이다. 다양한 실시예에 따르면, 다른 응용 분야는 시각적 검색에서일 수 있다.

다양한 실시예에 따르면, 서라운드 뷰가 다양한 소스로부터 획득된 데이터로부터 발생될 수 있고, 수많은 응용 분야에서 이용될 수 있다. 도 18을 참조하면, 서라운드 뷰 발생을 위해 이용될 수 있는 다양한 데이터 소스 및 서라운드 뷰와 함께 이용될 수 있는 다양한 응용 분야의 일 예를 나타낸 블록도가 도시되어 있다. 본 예에서, 서라운드 뷰 발생 및 응용 분야(1800)는 인터넷 갤러리(1802), 리포지토리(1804), 및 사용자(1806)와 같은 이미지 데이터(1808)에 대한 소스를 포함한다. 상세하게는, 리포지토리는 데이터베이스, 하드 드라이브, 저장 디바이스 등을 포함할 수 있다. 그에 부가하여, 사용자(1806)는, 스마트폰 등에서의 이미지 포착 동안과 같은 때에, 사용자로부터 직접 획득된 이미지 및 정보를 포함할 수 있다. 데이터 소스의 이 특정의 예가 나타내어져 있지만, 데이터가 다른 소스로부터도 획득될 수 있다. 특정의 실시예에서, 서라운드 뷰(1810)를 발생시키기 위해 이 정보가 이미지 데이터(1808)로서 수집될 수 있다.

본 예에서, 서라운드 뷰(1810)가 다양한 응용 분야에서 이용될 수 있다. 도시된 바와 같이, 전자 상거래(1812), 시각적 검색(1814), 3D 프린팅(1816), 파일 공유(1818), 사용자 상호작용(1820), 및 엔터테인먼트(1822)와 같은 응용 분야에서, 서라운드 뷰가 이용될 수 있다. 물론, 이 목록은 예시적인 것에 불과하고, 서라운드 뷰가 또한 명시적으로 언급되지 않은 다른 응용 분야에서 이용될 수 있다.

세그먼트화와 관련하여 앞서 기술된 바와 같이, 전자 상거래(1812)에서 서라운드 뷰가 이용될 수 있다. 예를 들면, 쇼핑객이 다양한 각도로부터 제품을 뷰잉할 수 있게 하기 위해 서라운드 뷰가 이용될 수 있다. 일부 응용 분야들에서, 쇼핑객은 심지어 크기 분류(sizing), 치수, 및 맞는지(fit)를 결정하기 위해 서라운드 뷰를 이용할 수 있다. 상세하게는, 쇼핑객은 자기 모델(self-model)을 제공하고 제품이 모델에 맞는지를 서라운드 뷰로부터 결정할 수 있다. 도 19 내지 도 22와 관련하여 이하에서 보다 상세히 기술되는 바와 같이, 서라운드 뷰가 또한 시각적 검색(1814)에서 이용될 수 있다. 시각적 검색 응용 분야의 일부가 또한, 사용자가 시각적 검색 질의와 매칭하는 특정의 제품을 찾으려고 시도할 때와 같이, 전자 상거래에 관한 것일 수 있다.

세그먼트화의 다른 응용 분야는 3차원 프린팅(3D 프린팅)(1816)을 포함한다. 3차원 프린팅은 다음 10년간 세계 경제를 개선시킬 파괴적인 미래 기술들 중 하나로서 최근에 확인되었다. 다양한 실시예에 따르면, 서라운드 뷰로부터 콘텐츠가 3D 프린팅될 수 있다. 그에 부가하여, 서라운드 뷰에서의 파노라마 배경 콘텍스트가 또한 프린팅될 수 있다. 일부 예에서, 프린팅된 배경 콘텍스트는 추억을 3D 프린팅된 포맷으로 보존하고자 하는 사용자를 위해 최종적인 3D 프린팅된 제품을 보완할 수 있다. 예를 들면, 콘텍스트가 3D 콘텐츠 뒤에 있는 편평한 평면으로서 또는 임의의 다른 기하학적 형상(구형, 원통형, U자형 등)으로서 프린팅될 수 있을 것이다.

도 16a와 관련하여 앞서 기술된 바와 같이, 서라운드 뷰가 사용자 액세스를 위한 썸네일 뷰와 함께 저장될 수 있다. 일부 예에서, 이 유형의 응용 분야는 사용자들 사이의 파일 공유(1818)를 위해 이용될 수 있다. 예를 들면, 사이트는 사용자가 현재의 사진 공유 사이트와 유사한 방식으로 서라운드 뷰를 공유하기 위한 인프라를 포함할 수 있다. 일부 응용 분야에서, 파일 공유(1818)가 또한 사용자들 사이에서 직접 구현될 수 있다.

또한 도 14 및 도 15와 관련하여 앞서 기술된 바와 같이, 사용자 상호작용은 서라운드 뷰의 다른 응용 분야이다. 상세하게는, 사용자가 그 자신의 즐거움 또는 엔터테인먼트를 위해 서라운드 뷰를 내비게이팅할 수 있다. 이 개념을 엔터테인먼트(1822)로 확장하여, 서라운드 뷰가 수많은 방식으로 이용될 수 있다. 예를 들면, 서라운드 뷰가 광고, 비디오 등에서 이용될 수 있다.

이전에 기술된 바와 같이, 서라운드 뷰의 하나의 응용 분야는 시각적 검색이다. 도 19, 도 20 및 도 22는 서라운드 뷰를 이용하는 시각적 검색의 예를 나타낸 것이다. 다양한 실시예에 따르면, 서라운드 뷰를 이용하는 것은 현재까지의 임의의 다른 디지털 미디어 표현보다 검색 결과에서 훨씬 더 높은 판별력을 제공할 수 있다. 상세하게는, 서라운드 뷰에서 콘텐츠와 콘텍스트를 분리할 수 있는 것은 시각적 검색에서 이용될 수 있는 중요한 양태이다.

2D 이미지와 같은 기존의 디지털 미디어 포맷은, 기본적으로 이용가능한 충분한 판별 정보를 갖지 않는다는 점에서, 인덱싱에 적합하지 않다. 그 결과, 그들로부터 이러한 정보를 추출하는 알고리즘 및 메커니즘의 연구에 수십억 달러가 소비된다. 이 결과, 얼굴 인식과 같은 일부 문제들에 대해서는 만족스러운 결과가 얻어졌지만, 일반적으로 단일의 이미지로부터 3D 형상을 알아내는 문제가 기존의 기술에서는 제대로 해결되지 않는다. 거짓 양성 및 음성의 레벨이 이미지 또는 2D 비디오의 시퀀스를 이용하는 것에 의해 감소될 수 있지만, 이전에 이용가능한 3D 공간 재구성 방법이 여전히 부적절하다.

다양한 실시예에 따르면, 서라운드 뷰를 발생시키는데 이용되는 위치 기반 정보와 같은 부가 데이터 소스가 시각적 인식 및 검색의 능력을 개선시키는 귀중한 정보를 제공한다. 특정의 예시적인 실시예에서, 서라운드 뷰의 2 가지 성분(콘텍스트 및 콘텐츠) 둘 다가 시각적 인식 프로세스에서 상당히 기여한다. 특정의 예시적인 실시예에서, 콘텐츠가 제공하는 3차원 정보의 이용가능성은 질의 객체 또는 장면의 일부를 인식하기 위해 평가되어야만 하는 가설의 수를 상당히 감소시킬 수 있다. 다양한 실시예에 따르면, 콘텐츠의 3차원 정보는 카테고리화(즉, 객체가 속하는 일반 카테고리를 알아내는 것)에 도움을 줄 수 있고, 2차원 텍스처 정보는 객체의 특정 인스턴스에 관한 보다 많은 것을 나타낼 수 있다. 많은 경우들에서, 서라운드 뷰에서의 콘텍스트 정보는 또한, 질의 객체가 위치해 있는 장면의 유형을 설명하는 것에 의해, 질의 객체를 카테고리화하는데 도움을 줄 수 있다.

객체의 특정 인스턴스를 찾아내는데 이용될 수 있는 정보를 제공하는 것에 부가하여, 서라운드 뷰는 또한 "어떤 다른 객체가 형상 및 모습이 유사합니까?"와 같은 질문에 대답하는데 기본적으로 적합하다. 웹 검색 질의에 응답하여 제공되는 상위 N 개의 최상의 매칭과 유사하게, 다양한 예에서, "가장 가까운 매칭"을 나타내기 위해 서라운드 뷰가 객체 카테고리화 및 인식 알고리즘과 함께 이용될 수 있다.

서라운드 뷰를 이용하는 시각적 검색이 다양한 방식으로 사용 및/또는 구현될 수 있다. 일 예에서, 서라운드 뷰를 이용하는 시각적 검색이 로봇에 대한 객체 인식에서 이용될 수 있다. 다른 예에서, 서라운드 뷰를 이용하는 시각적 검색이 소셜 미디어 큐레이션(social media curation)에서 이용될 수 있다. 상세하게는, 다양한 소셜 네트워크로 포스팅되는 서라운드 뷰 데이터를 분석하고 객체 및 장면의 일부를 인식하는 것에 의해, 보다 나은 #hashtags 인덱스가 자동으로 발생될 수 있다. 이 유형의 정보를 발생시키는 것에 의해, 피드가 큐레이션될 수 있고, 검색 경험이 향상될 수 있다.

서라운드 뷰를 이용하는 시각적 검색이 이용될 수 있는 다른 예는 "검색 및 쇼핑(Search and Shop)"이라고 지칭될 수 있는 쇼핑 콘텍스트에서 이루어진다. 상세하게는, 이 시각적 검색은 형상 및 모습이 유사하지만 근방의 다른 점포에서 상이한 가격으로 판매될 수 있는 항목의 인식을 가능하게 할 수 있다. 예를 들어, 도 21을 참조하면, 시각적 검색 질의는 구매가능한 유사한 제품을 산출할 수 있다.

서라운드 뷰를 이용하는 시각적 검색이 이용될 수 있는 또 다른 예는 "검색 및 맞는지 보기(Search and Fit)"라고 지칭될 수 있는 쇼핑 콘텍스트에서 이루어진다. 다양한 실시예에 따르면, 서라운드 뷰 콘텐츠가 3차원이기 때문에, 정확한 측정치가 추출될 수 있고, 서라운드 뷰에 표현된 특정의 객체가 특정 콘텍스트에 맞는지(예컨대, 신발이 발에 맞는지, 램프가 방에 어울리는지 등)를 결정하기 위해 이 정보가 이용될 수 있다.

다른 경우에, 서라운드 뷰를 이용하는 시각적 검색이 또한 보다 나은 마케팅 추천 엔진을 제공하기 위해 이용될 수 있다. 예를 들어, 다양한 사용자에 의해 발생된 서라운드 뷰에 나오는 객체의 유형을 분석하는 것에 의해, "사람들이 일상 생활에서 어떤 유형의 제품을 실제로 이용합니까"와 같은 질문이 자연스럽고 사적이며 비방해적 방식으로 대답될 수 있다. 이 유형의 정보를 수집하는 것은 개선된 추천 엔진을 용이하게 하고, 원하지 않는 스팸 또는 마케팅 광고를 감소시키고 그리고/또는 중단시킬 수 있으며, 그로써 대부분의 사용자의 삶의 질을 향상시킬 수 있다. 도 16b는 본 발명의 다양한 실시예에 따른, 추천이 제공될 수 있는 일 구현을 나타낸 것이다.

도 19를 참조하면, 객체의 시각적 검색을 제공하기 위한 프로세스(1900)의 일 예가 도시되어 있고, 여기서 검색 질의는 객체의 서라운드 뷰를 포함하고, 검색된 데이터는 3차원 모델을 포함한다. 1902에서, 제1 서라운드 뷰를 포함하는 시각적 검색 질의가 수신된다. 1904에서, 이 제1 서라운드 뷰가 이어서 저장된 서라운드 뷰와 비교된다. 일부 실시예에서, 이 비교는 제1 서라운드 뷰 내의 객체에 대한 제1 측정 정보를 추출하는 것 및 이를 하나 이상의 저장된 서라운드 뷰로부터 추출된 제2 측정 정보와 비교하는 것을 포함할 수 있다. 예를 들면, 이 유형의 측정 정보는 의복, 신발, 또는 액세서리와 같은 항목을 검색하기 위해 이용될 수 있다.

다음에, 1906에서, 임의의 저장된 서라운드 뷰가 제1 서라운드 뷰에 대응하는지의 결정이 행해진다. 일부 예에서, 이 결정은 저장된 서라운드 뷰 중 임의의 것에서의 주제가 제1 서라운드 뷰 내의 객체와 형상이 유사한지에 기초한다. 다른 예에서, 이 결정은 저장된 서라운드 뷰에서의 주제 중 임의의 것이 제1 서라운드 뷰 내의 객체와 모습이 유사한지에 기초한다. 또 다른 예에서, 이 결정은 저장된 서라운드 뷰에서의 임의의 주제가 제1 서라운드 뷰에 포함된 유사한 텍스처를 포함하는지에 기초한다. 일부 경우에, 이 결정은 저장된 서라운드 뷰와 연관된 콘텍스트 중 임의의 것이 제1 서라운드 뷰의 콘텍스트와 매칭하는지에 기초한다. 다른 예에서, 이 결정은 저장된 서라운드 뷰와 연관된 측정 정보가 치수상으로 제1 서라운드 뷰와 연관된 객체와 맞는지에 기초한다. 물론, 이 기초들 중 임의의 것이 서로와 관련하여 이용될 수 있다.

이 결정이 행해지면, 1908에서, 매칭하는 결과의 순위 부여된 목록이 발생된다. 일부 실시예에서, 매칭하는 결과의 순위 부여된 목록을 발생시키는 것은 저장된 서라운드 뷰 중 임의의 것이 치수상으로 제1 측정 정보와 연관된 객체와 얼마나 가깝게 맞는지를 나타내는 것을 포함한다. 다양한 실시예에 따르면, 이 순위 부여된 목록은 매칭하는 결과의 썸네일을 디스플레이하는 것을 포함할 수 있다. 일부 예에서, 소매점에 대한 링크가 썸네일과 함께 포함될 수 있다. 그에 부가하여, 일부 응용 분야에서, 이름, 상표, 가격, 소스 등과 같은 매칭하는 결과에 관한 정보가 포함될 수 있다.

이전의 예가 서라운드 뷰를 저장된 서라운드 뷰 또는 3차원 모델을 검색할 시각적 검색 질의로서 이용하는 것을 포함하지만, 현재의 인프라는 여전히 2차원 이미지의 엄청난 저장소를 포함한다. 예를 들면, 인터넷은 용이하게 액세스가능한 수많은 2차원 이미지에의 액세스를 제공한다. 그에 따라, 매칭에 대하여 저장된 2차원 이미지를 검색하기 위해 서라운드 뷰를 이용하는 것은 현재의 2차원 인프라에서 서라운드 뷰의 유용한 응용 분야를 제공할 수 있다.

도 20을 참조하면, 객체의 시각적 검색을 제공하기 위한 프로세스(2000)의 일 예가 도시되어 있고, 여기서 검색 질의는 객체의 서라운드 뷰를 포함하고, 검색된 데이터는 2차원 이미지를 포함한다. 2002에서, 제1 서라운드 뷰를 포함하는 시각적 검색 질의가 수신된다. 다음에, 2004에서, 서라운드 뷰로부터 객체 뷰(들)가 선택된다. 상세하게는, 서라운드 뷰로부터 하나 이상의 2차원 이미지가 선택된다. 이 객체 뷰(들)가 저장된 2차원 이미지와 비교될 것이기 때문에, 다수의 뷰를 선택하는 것은 매칭을 찾아낼 가능성을 증가시킬 수 있다. 게다가, 서라운드 뷰로부터 하나 이상의 객체 뷰를 선택하는 것은 객체의 독특한 특성의 인식을 제공하는 객체 뷰를 선택하는 것을 포함할 수 있다.

본 예에서, 2006에서, 객체 뷰(들)가 이어서 저장된 이미지와 비교된다. 일부 실시예에서, 저장된 이미지들 중 하나 이상이 저장된 서라운드 뷰로부터 추출될 수 있다. 일부 예에서, 이 저장된 서라운드 뷰는 데이터베이스로부터 검색될 수 있다. 다양한 예에서, 하나 이상의 객체 뷰를 저장된 이미지와 비교하는 것은 서라운드 뷰 내의 객체의 형상을 저장된 이미지와 비교하는 것을 포함한다. 다른 예에서, 하나 이상의 객체 뷰를 저장된 이미지와 비교하는 것은 서라운드 뷰 내의 객체의 모습을 저장된 이미지와 비교하는 것을 포함한다. 게다가, 하나 이상의 객체 뷰를 저장된 이미지와 비교하는 것은 서라운드 뷰 내의 객체의 텍스처를 저장된 이미지와 비교하는 것을 포함할 수 있다. 일부 실시예에서, 하나 이상의 객체 뷰를 저장된 이미지와 비교하는 것은 서라운드 뷰 내의 객체의 콘텍스트를 저장된 이미지와 비교하는 것을 포함한다. 물론, 이 비교 기준들 중 임의의 것이 서로와 관련하여 이용될 수 있다.

다음에, 2008에서, 임의의 저장된 이미지가 객체 뷰(들)에 대응하는지의 결정이 행해진다. 이 결정이 행해지면, 2010에서, 매칭하는 결과의 순위 부여된 목록이 발생된다. 다양한 실시예에 따르면, 이 순위 부여된 목록은 매칭하는 결과의 썸네일을 디스플레이하는 것을 포함할 수 있다. 일부 예에서, 소매점에 대한 링크가 썸네일과 함께 포함될 수 있다. 그에 부가하여, 일부 응용 분야에서, 이름, 상표, 가격, 소스 등과 같은 매칭하는 결과에 관한 정보가 포함될 수 있다.

도 21을 참조하면, 시각적 검색 프로세스(2100)의 일 예가 도시되어 있다. 본 예에서, 2102에서, 이미지가 획득된다. 이 이미지는 사용자에 의해 포착되거나 저장된 파일로부터 풀링될 수 있다. 다음에, 다양한 실시예에 따르면, 이미지에 기초하여 서라운드 뷰가 발생된다. 이 서라운드 뷰는 이어서 2104에서 제출되는 시각적 검색 질의로서 이용된다. 이 예에서, "데이터베이스 내의 어떤 다른 객체가 질의 객체와 비슷합니까?"와 같은 질문에 대답하기 위해 서라운드 뷰가 이용될 수 있다. 예시된 바와 같이, 서라운드 뷰는, 그의 보다 나은 의미적 정보 능력으로 인해, 시각적 검색 패러다임을 "질의와 비슷한 다른 이미지"를 찾아내는 것으로부터 "질의와 비슷한 다른 객체"를 찾아내는 것으로 시프트하는데 도움을 줄 수 있다. 도 19 및 도 20과 관련하여 앞서 기술된 바와 같이, 서라운드 뷰가 이어서 저장된 서라운드 뷰 또는 이미지와 비교될 수 있고, 2106에서, 매칭하는 결과의 목록이 제공될 수 있다.

시각적 검색의 이전 예가 서라운드 뷰를 검색 질의로서 이용하는 것을 포함하지만, 일부 실시예에서, 2차원 이미지에 대한 검색 질의를 제공하는 것이 또한 유용할 수 있다. 도 22를 참조하면, 객체의 시각적 검색을 제공하기 위한 프로세스(2200)의 일 예가 도시되어 있고, 여기서 검색 질의는 객체의 2차원 뷰를 포함하고, 검색된 데이터는 서라운드 뷰(들)를 포함한다. 2202에서, 검색될 객체의 2차원 뷰를 포함하는 시각적 검색 질의가 수신된다. 일부 예에서, 2차원 뷰는 객체 서라운드 뷰로부터 획득되고, 여기서 객체 서라운드 뷰는 객체의 3차원 모델을 포함한다. 다음에, 2204에서, 2차원 뷰가 서라운드 뷰와 비교된다. 일부 예에서, 2차원 뷰가 서라운드 뷰 내의 하나 이상의 콘텐츠 뷰와 비교될 수 있다. 상세하게는, 2차원 뷰가 상이한 시야 각도로부터의 서라운드 뷰로부터 추출된 하나 이상의 2차원 이미지와 비교될 수 있다. 다양한 예에 따르면, 서라운드 뷰로부터 추출된 2차원 이미지는 콘텐츠의 독특한 특성의 인식을 제공하는 시야 각도에 대응한다. 다른 예에서, 2차원 뷰를 하나 이상의 서라운드 뷰와 비교하는 것은 2차원 뷰를 하나 이상의 콘텐츠 모델과 비교하는 것을 포함한다. 이미지 또는 모델(객체의 형상, 모습, 텍스처, 및 콘텍스트 등)을 비교하기 위해 다양한 기준이 이용될 수 있다. 물론, 이 비교 기준들 중 임의의 것이 서로와 관련하여 이용될 수 있다.

도 23을 참조하면, 본 발명의 특정 예를 구현하는데 이용될 수 있는 컴퓨터 시스템의 특정의 예가 도시되어 있다. 예를 들면, 컴퓨터 시스템(2300)은 앞서 기술된 다양한 실시예에 따라 서라운드 뷰를 제공하기 위해 이용될 수 있다. 특정의 예시적인 실시예에 따르면, 본 발명의 특정의 실시예를 구현하는데 적당한 시스템(2300)은 프로세서(2301), 메모리(2303), 인터페이스(2311), 및 버스(2315)(예컨대, PCI 버스)를 포함한다. 인터페이스(2311)는 별개의 입력 및 출력 인터페이스를 포함할 수 있거나, 양 동작을 지원하는 통합된 인터페이스일 수 있다. 적절한 소프트웨어 또는 펌웨어의 제어 하에서 동작할 때, 프로세서(2301)는 최적화와 같은 작업을 맡고 있다. 다양한 특별히 구성된 디바이스가 또한 프로세서(2301) 대신에 또는 프로세서(2301)에 부가하여 이용될 수 있다. 전체적 구현이 또한 커스텀 하드웨어(custom hardware)로 행해질 수 있다. 인터페이스(2311)는 전형적으로 네트워크를 통해 데이터 패킷 또는 데이터 세그먼트를 송신 및 수신하도록 구성되어 있다. 디바이스가 지원하는 인터페이스의 특정의 예는 이더넷 인터페이스, 프레임 릴레이 인터페이스, 케이블 인터페이스, DSL 인터페이스, 토큰링 인터페이스 등을 포함한다.

그에 부가하여, 고속 이더넷 인터페이스, 기가비트 이더넷 인터페이스, ATM 인터페이스, HSSI 인터페이스, POS 인터페이스, FDDI 인터페이스 등과 같은 다양한 초고속 인터페이스가 제공될 수 있다. 일반적으로, 이 인터페이스는 적절한 매체를 이용한 통신에 적절한 포트를 포함할 수 있다. 일부 경우들에서, 인터페이스는 또한 독립적인 프로세서 그리고, 일부 경우에, 휘발성 RAM을 포함할 수 있다. 독립적인 프로세서는 패킷 교환, 매체 제어 및 관리와 같은 통신 집중적인 작업을 제어할 수 있다.

특정의 예시적인 실시예에 따르면, 시스템(2300)은 데이터 및 프로그램 명령어를 저장하기 위해 그리고 로컬측 캐시를 유지하기 위해 메모리(2303)를 이용한다. 프로그램 명령어는, 예를 들어, 운영 체제 및/또는 하나 이상의 애플리케이션의 동작을 제어할 수 있다. 메모리 또는 메모리들은 또한 수신된 메타데이터를 저장하고 요청된 메타데이터를 일괄 처리하도록 구성될 수 있다.

이러한 정보 및 프로그램 명령어가 본원에 기술되는 시스템/방법을 구현하는데 이용될 수 있기 때문에, 본 발명은 본원에 기술되는 다양한 동작을 수행하기 위한 프로그램 명령어, 상태 정보 등을 포함하는 유형적 머신 판독가능 매체에 관한 것이다. 머신 판독가능 매체의 예는 하드 디스크, 플로피 디스크, 자기 테이프, CD-ROM 디스크 및 DVD와 같은 광 매체; 광 디스크와 같은 광자기 매체, 그리고 프로그램 명령어를 저장하고 수행하도록 특별히 구성되는 하드웨어 디바이스(판독 전용 메모리 디바이스(read-only memory device)(ROM) 및 프로그램가능 판독 전용 메모리 디바이스(programmable read-only memory device)(PROM) 등)를 포함한다. 프로그램 명령어의 예는 컴파일러에 의해 생성되는 것과 같은 머신 코드(machine code) 및 인터프리터를 이용하여 컴퓨터에 의해 실행될 수 있는 고수준 코드를 포함하는 파일 둘 다를 포함한다.

구성요소 및 프로세스 중 다수가 이상에서 편의상 단수로 앞서 기술되어 있지만, 본 기술 분야의 통상의 기술자라면 본 개시내용의 기법을 실시하기 위해 다수의 구성요소 및 반복 프로세스가 또한 이용될 수 있다는 것을 잘 알 것이다.

본 개시내용이 그의 특정 실시예를 참조하여 상세히 도시되고 기술되어 있지만, 본 기술 분야의 통상의 기술자라면 본 발명의 사상 또는 범주를 벗어나지 않고 개시된 실시예의 형태 및 상세의 변경이 행해질 수 있다는 것을 잘 알 것이다. 따라서, 본 발명이 본 발명의 진정한 사상 및 범주 내에 속하는 모든 변형 및 등가물을 포함하도록 해석되어야 하는 것으로 의도되어 있다.

Claims

방법으로서,
객체의 제1 서라운드 뷰(surround view)를 획득하는 단계 - 상기 제1 서라운드 뷰는 상기 객체의 멀티뷰 대화식 디지털 미디어 표현(multi-view interactive digital media representation)에 대응하고, 상기 제1 서라운드 뷰는 제1 레이어 및 제2 레이어를 포함하고, 상기 제1 레이어는 제1 깊이를 포함하고, 상기 제2 레이어는 제2 깊이를 포함함 -;
상기 제1 서라운드 뷰로부터 상기 제1 레이어를 선택하는 단계 - 상기 제1 레이어를 선택하는 단계는 상기 제1 깊이 내의 데이터를 선택하는 단계를 포함함 -;
상기 제1 서라운드 뷰 내의 상기 제1 레이어에 효과를 적용하여, 수정된 제1 레이어를 생성하는 단계; 및
상기 수정된 제1 레이어 및 상기 제2 레이어를 포함하는 제2 서라운드 뷰를 발생시키는 단계
를 포함하는 방법.
제1항에 있어서,
상기 제1 서라운드 뷰는 제3 레이어를 더 포함하고, 상기 제3 레이어는 제3 깊이를 포함하는 방법.
제2항에 있어서,
상기 제2 서라운드 뷰는 상기 수정된 제1 레이어, 상기 제2 레이어 및 상기 제3 레이어를 이용하여 발생되는 방법.
제1항에 있어서,
상기 제1 레이어는 객체를 포함하는 방법.
제4항에 있어서,
상기 객체는 사람인 방법.
제1항에 있어서,
상기 제1 레이어는 동적 장면 요소들(dynamic scene elements)을 포함하는 방법.
제1항에 있어서,
상기 효과는 블러링 필터(blurring filter)인 방법.
제7항에 있어서,
상기 효과는 그레이 스케일 필터(gray scale filter)인 방법.
제1항에 있어서,
상기 효과는 제1 속도로 상기 제1 레이어를 움직이는 것을 포함하고, 상기 제2 레이어는 제2 속도로 움직이고, 상기 제1 속도는 상기 제2 속도와는 상이한 방법.
제1항에 있어서,
상기 제1 서라운드 뷰는 제3 레이어를 포함하고, 상기 제2 서라운드 뷰는 상기 제3 레이어를 생략하는 방법.
제1항에 있어서,
상기 제1 레이어를 선택하는 단계는 사용자 입력 없이 자동으로 수행되는 방법.
제1항에 있어서,
상기 객체는 디바이스 상의 디스플레이이고, 상기 객체의 시야 각도(viewing angle)는 상기 디바이스를 기울이고 회전시키는 것에 의해 조작되는 방법.
제12항에 있어서,
상기 객체의 시야 각도는, 상기 객체의 동일한 축에 대응하는 축을 따라 상기 디바이스를 회전시키는 것에 의해 조작되는 방법.
제1항에 있어서,
상기 객체는 디바이스 상의 디스플레이이고, 상기 객체의 시야 각도는 상기 디스플레이 위에서 스와이프하는 것에 의해 조작되는 방법.
컴퓨터 판독가능 매체로서,
객체의 제1 서라운드 뷰를 획득하기 위한 컴퓨터 코드 - 상기 제1 서라운드 뷰는 상기 객체의 멀티뷰 대화식 디지털 미디어 표현에 대응하고, 상기 제1 서라운드 뷰는 제1 레이어 및 제2 레이어를 포함하고, 상기 제1 레이어는 제1 깊이를 포함하고, 상기 제2 레이어는 제2 깊이를 포함함 -;
상기 제1 서라운드 뷰로부터 상기 제1 레이어를 선택하기 위한 컴퓨터 코드 - 상기 제1 레이어를 선택하는 것은 상기 제1 깊이 내의 데이터를 선택하는 것을 포함함 -;
상기 제1 서라운드 뷰 내의 상기 제1 레이어에 효과를 적용하여, 수정된 제1 레이어를 생성하기 위한 컴퓨터 코드; 및
상기 수정된 제1 레이어 및 상기 제2 레이어를 포함하는 제2 서라운드 뷰를 발생시키기 위한 컴퓨터 코드
를 포함하는 컴퓨터 판독가능 매체.
제15항에 있어서,
상기 제1 서라운드 뷰는 제3 레이어를 더 포함하고, 상기 제3 레이어는 제3 깊이를 포함하는 컴퓨터 판독가능 매체.
제16항에 있어서,
상기 제2 서라운드 뷰는 상기 수정된 제1 레이어, 상기 제2 레이어 및 상기 제3 레이어를 이용하여 발생되는 컴퓨터 판독가능 매체.
제15항에 있어서,
상기 제1 레이어는 객체를 포함하는 컴퓨터 판독가능 매체.
제15항에 있어서,
상기 제1 레이어는 동적 장면 요소들을 포함하는 컴퓨터 판독가능 매체.
시스템으로서,
객체의 제1 서라운드 뷰를 획득하는 수단 - 상기 제1 서라운드 뷰는 상기 객체의 멀티뷰 대화식 디지털 미디어 표현에 대응하고, 상기 제1 서라운드 뷰는 제1 레이어 및 제2 레이어를 포함하고, 상기 제1 레이어는 제1 깊이를 포함하고, 상기 제2 레이어는 제2 깊이를 포함함 -;
상기 제1 서라운드 뷰로부터 상기 제1 레이어를 선택하는 수단 - 상기 제1 레이어를 선택하는 것은 상기 제1 깊이 내의 데이터를 선택하는 것을 포함함 -;
상기 제1 서라운드 뷰 내의 상기 제1 레이어에 효과를 적용하여, 수정된 제1 레이어를 생성하는 수단; 및
상기 수정된 제1 레이어 및 상기 제2 레이어를 포함하는 제2 서라운드 뷰를 발생시키는 수단
을 포함하는 시스템.