KR20180019067A - 소셜 스트리트 뷰 생성을 위한 시스템, 장치 및 방법 - Google Patents
소셜 스트리트 뷰 생성을 위한 시스템, 장치 및 방법 Download PDFInfo
- Publication number
- KR20180019067A KR20180019067A KR1020177030199A KR20177030199A KR20180019067A KR 20180019067 A KR20180019067 A KR 20180019067A KR 1020177030199 A KR1020177030199 A KR 1020177030199A KR 20177030199 A KR20177030199 A KR 20177030199A KR 20180019067 A KR20180019067 A KR 20180019067A
- Authority
- KR
- South Korea
- Prior art keywords
- multimedia components
- image data
- real
- rendering
- world
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000009877 rendering Methods 0.000 claims abstract description 51
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 2
- 230000001052 transient effect Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Architecture (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
멀티미디어 성분들이 내재된 현실-세계 장소들의 렌더링 생성 시스템, 장치 및 방법에 제공된다. 예시적인 방법은 현실-세계 장소의 이미지 데이터를 수신하고, 상기 현실-세계 장소의 지리학적 좌표 그리고/또는 상기 이미지 데이터가 획득된 뷰 지점을 식별하고, 상기 지리학적 좌표 그리고/또는 상기 뷰 지점에 근거하여 상기 현실-세계 장소에 관련된 멀티미디어 성분들을 획득하고, 그리고 상기 멀티미디어 성분들이 내재된 상기 이미지 데이터의 렌더링을 생성함을 포함한다.
Description
본 발명은 소셜 스트리트 뷰 생성에 대한 것으로서, 더 상세하게는 다양한 소스로부터 멀티미디어 성분들을 수집하고, 조직화하고, 포맷하고, 멀티미디어 성분들을 포함하는 현실 세계 장소의 렌더링을 생성하는 시스템, 장치 및 방법에 대한 것이다.
우선권 주장: 본 출원은 2015년 3월 20일 출원된 Ruofei Du와 Amitabh Varshney에 의한 발명의 명칭 "SYSTEM AND METHOD FOR SOCIAL STREET VIEW"이고 출원 번호 62/135,941호인 임시 특허 출원을 우선권 주장하며, 동 출원의 모든 내용은 본 명세서에 참조하는 것에 의해 포함된다.
정부 지원: 본 발명은 국립 과학 재단에 의해 지원된 CNS1429404 하에 정부 지원으로 만들어졌다. 정부는 본 발명에 대해 일정 권리를 지닌다.
소셜 미디어는 사람들이 정보를 공유하는 방식의 아주 흔한 것이 되었다. 수백만 사람은 매일 사진, 비디오, 텍스트 오디오 메시지 같은 소셜 미디어 콘텐츠를 공유하거나 본다. 하지만, 대부분의 소셜 미디어 플랫폼은 일반적으로 선형적인 방식으로 그 같은 소셜 미디어 콘텐츠를 볼 수 있게 한다. 즉, 사진들은 하나씩 순차로 볼 수 있다. 어떤 소셜 미디어 플랫폼은 소셜 미디어 콘텐츠를 2차원 레이아웃으로 조직화할 수 있으나, 조직화는 종종 임의로 된다.
사용자에게 소셜 미디어 콘텐츠가 디스플레이되고 경험되는 향상된 방식이 요구된다.
본 발명에 따르면 내재된 멀티미디어 성분들을 갖는 현실 세계 장소들의 렌더링을 생성하는 방법이 제공된다.
본 발명의 일 측면에서, 상기 현실 세계 장소들의 렌더링 생성 방법은 현실-세계 장소의 이미지 데이터를 수신하고, 상기 이미지 데이터가 획득된 뷰 지점 그리고/또는 상기 현실-세계 장소의 지리학적 좌표를 식별하고, 상기 지리학적 좌표 그리고/또는 상기 뷰 지점에 근거하여 상기 현실-세계 장소에 관련된 멀티미디어 성분들을 획득하고, 그리고 상기 멀티미디어 성분들을 내재하면서 상기 이미지 데이터의 렌더링을 생성함을 포함한다.
본 발명의 다른 측면에서, 상기 방법은 상기 멀티미디어 성분들이 내재된 상기 이미지 데이터의 렌더링을 디스플레이함을 더 포함한다.
본 발명의 또 다른 측면에서, 상기 멀티미디어 성분들은 장소-태그 되고, 상기 멀티미디어 성분들은 장소-태그 정보에 근거하여 획득된다.
본 발명의 또 다른 측면에서, 상기 멀티미디어 성분들은 사진을 포함한다.
본 발명의 또 다른 측면에서, 상기 멀티미디어 성분들은 비디오를 포함한다.
본 발명의 또 다른 측면에서, 상기 멀티미디어 성분들은 텍스트 메시지, 제스처, 그라피티 또는 오디오 메시지를 포함한다.
본 발명의 또 다른 측면에서, 상기 멀티미디어 성분들은 텍스트 메시지, 제스처, 그라피티 또는 오디오 메시지로부터의 정감(sentiment)을 포함한다.
본 발명의 또 다른 측면에서, 상기 멀티미디어 성분들은 상기 이미지 데이터와 융합(fuse)하는 방식으로 상기 이미지 데이터에 내재된다.
본 발명의 또 다른 측면에서, 상기 멀티미디어 성분들과 상기 이미지 데이터의 융합은 상기 이미지 데이터에 근거하여 상기 현실-세계 장소의 기하학을 결정하고, 그리고 상기 멀티미디어 성분들을 상기 결정된 현실-세계 장소의 기하학과 정렬함을 포함한다.
본 발명의 또 다른 측면에서, 상기 멀티미디어 성분들을 상기 결정된 현실-세계 장소의 기하학과 정렬함은 상기 이미지 데이터의 빌딩들의 측면들에 상기 멀티미디어 성분들을 디스플레이함을 포함한다.
본 발명의 또 다른 측면에서, 상기 멀티미디어 성분들을 상기 결정된 현실-세계 장소의 기하학과 정렬함은 상기 멀티미디어 성분들을 상기 이미지 데이터의 가상 게시판에 디스플레이함을 포함한다.
본 발명의 또 다른 측면에서, 상기 이미지 데이터는 상기 현실-세계 장소의 정지 이미지를 포함한다.
본 발명의 또 다른 측면에서, 상기 이미지 데이터는 상기 현실-세계 장소의 비디오 이미지를 포함한다.
본 발명의 또 다른 측면에서, 내재된 상기 멀티미디어 성분들을 갖는 상기 이미지 데이터의 렌더링을 디스플레이함은 가상 현실 혹은 증강 현실 디스플레이를 사용하여 렌더링을 디스플레이함을 포함한다.
본 발명의 또 다른 측면에서, 상기 멀티미디어 성분들은 소셜 미디어 플랫폼에서 수신된다.
본 발명의 또 다른 측면에서, 상기 방법은 사용자-정의 파라미터들에 근거하여 상기 획득된 멀티미디어 성분들을 필터링함을 더 포함한다.
본 발명의 또 다른 측면에서, 상기 사용자-정의 파라미터들은 날짜, 시간, 계절, 사람, 사람 집단, 소셜 미디어 프로파일, 키워드, 상기 현실-세계 장소로부터 거리, 또는 상기 멀티미디어 성분들의 데이터 유형을 포함한다.
본 발명에 따르면 내재된 멀티미디어 성분들을 갖는 현실-세계 장소들의 렌더링을 생성하기 위한 시스템이 제공된다. 본 발명의 일 측면에서, 상기 시스템은 프로세서와 명령어들을 저장하는 메모리를 포함하는 연산장치와 디스플레이 장치를 포함하며, 상기 연산장치는 상기 명령어들이 적어도 하나의 프로세서에 의해 실행될 때 현실-세계 장소의 이미지 데이터를 수신하고, 상기 이미지 데이터가 획득된 뷰 지점 그리고/또는 상기 현실-세계 장소의 지리학적 좌표를 식별하고, 상기 지리학적 좌표 그리고/또는 상기 뷰 지점에 근거하여 상기 현실-세계 장소에 관련된 멀티미디어 성분들을 획득하고, 내재된 상기 멀티미디어 성분들을 갖는 상기 이미지 데이터의 렌더링을 생성하고, 그리고 내재된 상기 멀티미디어 성분들을 갖는 상기 이미지 데이터의 렌더링을 전송하며, 상기 디스플레이 장치는 내재된 상기 멀티미디어 성분들을 갖는 상기 이미지 데이터의 렌더링을 수신하고 디스플레이한다.
본 발명의 다른 측면에서, 상기 디스플레이 장치는 가상 현실 혹은 증강 현실 디스플레이 장치이다.
본 발명에 따르면, 비-일시적인 컴퓨터 판독가능한, 명령어들을 저장하는 저장 매체가 제공되며, 명령어들이 적어도 하나의 프로세서에 의해 실행될 때, 컴퓨터는 현실-세계 장소의 이미지 데이터를 수신하고, 상기 이미지 데이터가 획득된 뷰 지점 그리고/또는 상기 현실-세계 장소의 지리학적 좌표를 식별하고, 상기 지리학적 좌표 그리고/또는 상기 뷰 지점에 근거하여 상기 현실-세계 장소에 관련된 멀티미디어 성분들을 획득하고, 내재된 상기 멀티미디어 성분들을 갖는 상기 이미지 데이터의 렌더링을 생성하고, 그리고 내재된 상기 멀티미디어 성분들을 갖는 상기 이미지 데이터의 렌더링을 전송한다.
전술한 본 발명의 측면들 및 실시예들은 본 발명의 범위를 벗어남 없이 조합될 수 있다.
전술한 이점들 및 다른 이점들은 첨부된 도면들을 참조하여 본 발명의 여러 실시예들로부터 더 명확해질 것이다.
도 1은 본 발명의 일 실시예에 따른 내재된 멀티미디어 성분들을 갖는 현실-세계 장소들의 렌더링의 생성 및 응시(viewing)를 위한 시스템의 간략한 다이어그램이다.
도 2는 도 2의 시스템의 일부를 구성하는 연산장치의 일 예에 대한 간략 박스 다이어그램이다.
도 3은 본 발명의 일 실시예에 따른 내재된 멀티미디어 성분들을 가지는 현실-세계 장소들의 렌더링의 생성 및 응시 방법의 일 예에 대한 흐름도이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 내재된 멀티미디어 성분들을 갖는 현실-세계 장소의 예시적인 렌더링이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 내재된 멀티미디어 성분들을 갖는 현실-세계 장소의 또 다른 예시적인 렌더링이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 내재된 멀티미디어 성분들을 갖는 현실-세계 장소의 또 다른 예시적인 렌더링이다.
도 7은 본 발명의 일 실시예에 따른 내재된 다른 멀티미디어 성분들을 갖는 현실-세계 장소의 또 다른 예시적인 렌더링이다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 내재된 다양한 멀티미디어 성분들을 갖는 현실-세계 장소의 또 다른 예시적인 렌더링이다.
도 1은 본 발명의 일 실시예에 따른 내재된 멀티미디어 성분들을 갖는 현실-세계 장소들의 렌더링의 생성 및 응시(viewing)를 위한 시스템의 간략한 다이어그램이다.
도 2는 도 2의 시스템의 일부를 구성하는 연산장치의 일 예에 대한 간략 박스 다이어그램이다.
도 3은 본 발명의 일 실시예에 따른 내재된 멀티미디어 성분들을 가지는 현실-세계 장소들의 렌더링의 생성 및 응시 방법의 일 예에 대한 흐름도이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 내재된 멀티미디어 성분들을 갖는 현실-세계 장소의 예시적인 렌더링이다.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 내재된 멀티미디어 성분들을 갖는 현실-세계 장소의 또 다른 예시적인 렌더링이다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 내재된 멀티미디어 성분들을 갖는 현실-세계 장소의 또 다른 예시적인 렌더링이다.
도 7은 본 발명의 일 실시예에 따른 내재된 다른 멀티미디어 성분들을 갖는 현실-세계 장소의 또 다른 예시적인 렌더링이다.
도 8a 및 도 8b는 본 발명의 일 실시예에 따른 내재된 다양한 멀티미디어 성분들을 갖는 현실-세계 장소의 또 다른 예시적인 렌더링이다.
식별항목 "과제해결수단", "발명을 실시하기 위한 구체적인 내용", "청구범위" 및 첨부된 도면들에서 본 발명의 특정 특징들(방법의 단계 혹은 행위를 포함)을 참고한다. 본 명세서에서 발명에 관련된 개시 사항은 어떤 구성의 부분들, 특징들, 또는 측면들의 조합을 포함한다. 예를 들어, 특정 특징이 본 발명의 특정 측면 혹은 실시예에서 또는 특정 청구항에 개시된 경우, 당해 특징은 또한 가능하다면 본 발명의 다른 특정 측면 혹은 실시예와 조합으로 그리고/또는 본 발명의 다른 특정 측면 혹은 실시예에 사용될 수 있다.
용어 "포함" 및 그 어법적 변형은, 다른 구성(component), 요소(ingredient), 단계(step), 행위(act) 등이 존재함을 의미한다. 예를 들어 구성 A, B, 및 C를 '포함'한다는 것은 구성 A, B, 및 C로 구성될 수 있거나(구성 A, B, 및 C만을 포함하고), 구성 A, B, 및 C뿐만 아니라 하나 이상의 추가 구성, 성분(element), 특징, 요소, 단계, 행위 등을 포함할 수 있다는 것을 의미한다.
둘 이상의 정의된 단계 또는 행위를 포함하는 방법에 있어, 그 정의된 단계들 혹은 행위들은 임의의 순서로 혹은 순차로 (문맥상 달리 명시한 경우 제외) 수행될 수 있고, 그 방법은 정의된 단계들 혹은 행위들 중 하나 이전에, 정의된 단계들 혹은 행위들 사이에, 또는 정의된 모든 단계들 혹은 행위들 이후에 (문맥상 달리 명시한 경우 제외), 하나 이상의 단계 혹은 행위를 포함할 수 있다.
본 명세서에서, 범위가 "(첫 번째 수) 내지 (두 번째 수)" 또는 "(첫 번째 수) (두 번째 수)"로 주어질 때, 이는 그 범위에서 하한은 첫 번째 수이고 상한은 두 번째 수임을 의미한다. 예를 들어 25 내지 100nm는 하한이 25nm이고 상한이 100nm인 범위를 의미한다.
본 발명은 실감적인(immersive), 상황-인식(context-aware), 그리고 위치-인식 디스플레이에서 쇼설 미디어 콘텐츠의 가시화(visualization)에 관한 것이다. 간단히 말해, 그림(picture), 도안(drawing), 사진(photograph), 회화문자(pictograph), 비디오, 텍스트 메시지, 코멘트, 오디오 메시지 등(이하 전체를 "멀티미디어 성분"(multimedia elements)이라 칭함) 과 같은 소셜 미디어 콘텐츠가 분석되어 특정 현실-세계 장소(real-world location)와의 관련성이 결정될 수 있다. 렌더링(rendering)이 이어서 생성될 수 있으며 멀티미디어 성분들이 현실-세계 장소의 이미지 데이터에 내재된다(embedded). 사용자는 렌더링을 볼 수 있고 그에 따라 실감적인, 상황-인식, 그리고 위치-인식 디스플레이에서 멀티미디어 성분들을 경험한다.
도면들을 참조하면, 도 1은 내재된 멀티미디어 성분들을 갖는 현실-세계 장소들의 렌더링 생성을 위한 예시적인 시스템(100)을 도시한다. 시스템(100)은 디스플레이를 포함하여 사용자 장치(10), 그리고 네트워크(50)를 통해 서버(30)에 연결된 연산장치(20)를 포함할 수 있다.
사용자 장치(10)는 이미지를 디스플레이할 수 있는 다양한 사용자 장치일 수 있다. 일 실시예에서, 사용자 장치(10)는 컴퓨터(10a), 텔레비전 또는 이미지 프로젝션 시스템(10b), 태블릿(10c), 가상 현실 혹은 증강 현실 장치(10d), 그리고 스마트폰(10e), 그리고/또는 통상의 기술자에게 이미지를 디스플레이할 수 있는 것으로 알려진 다른 장치일 수 있다. 가상 현실 혹은 증강 현실 장치(10d)는 하나 이상의 데스크톱 모니터, 모바일 폰, 태블릿, 헤드-마운트 디스플레이 그리고/또는 타일 디스플레이(tiled display)를 포함할 수 있다.
연산장치(20)는 컴퓨터, 서버, 프로세서, 또는 다른 멀티플 또는 그 조합일 수 있으며, 이미지 데이터와 멀티미디어 성분들을 수신, 분석, 처리하고, 멀티미디어 성분들이 내재된 현실-세계 장소의 렌더링을 포함하는 이미지를 생성한다. 사용자 장치(10)와는 별개의 것으로 설명되고 도 1에 도시되었지만, 연산장치(20)와 사용자 장치(10)는 하나의 장치로 구성되어 연산장치(20)와 사용자 장치(10) 둘 모두의 기능을 수행할 수 있다. 또는, 연산장치(20)는 사용자 장치(10)에서 떨어져 위치하는 원격 서버일 수 있고, 사용자 장치(10)에 의해 단순히 디스플레이되도록 완전히 생성된 렌더링을 사용자 장치(10)로 전송할 수 있다.
서버(30)는 멀티미디어 성분들을 저장하기 위해 소셜 미디어 플랫폼에 의해 사용되는 임의의 서버 혹은 서버 어레이일 수 있다. 예를 들어, 서버(30)는, 소셜 네트워크 상에서 사용자 프로파일과 연관된 멀티미디어 성분들을 저장하기 위한, 소셜 네트워크에 의해 사용되는 서버 예를 들어 FACEBOOK®, TWITTER®, INSTAGRAM®, 등일 수 있다. 비슷하게, 서버(30)는 공중이 사용할 수 있도록 서버에 저장된 멀티미디어 성분들을 만드는 미디어 조직, 다른 멀티미디어 콘텐츠 서비스제공자(aggregator), 또는 개인 웹사이트에 의해 사용되는 서버일 수 있다.
네트워크(50)는 연산장치(20)를 서버(30)에 연결하는 임의의 네트워크 또는 네트워크들의 집합일 수 있다. 일 실시예에서, 사용자 장치(10)는 또한 네트워크(50)를 통해서 연산장치(20) 그리고/또는 서버(30)에 연결될 수 있다. 네트워크(50)는 유선 그리고/또는 무선 네트워크들로 구성된 LAN, WAN, 무선 모바일 네트워크, BLUETOOTH® 네트워크, 그리고/또는 인터넷을 포함할 수 있다.
이제, 도 2를 참조하면, 연산장치(20)의 단순화된 블록 다이어그램이 도시되어 있다. 연산장치(20)는 메모리(21), 프로세서(24), 디스플레이(26), 네트워크 인터페이스(25), 입력 장치(27), 그리고/또는 출력 모듈(28)을 포함할 수 있다. 메모리(21)는 애플리케이션(23) 그리고/또는 데이터베이스(22)를 저장할 수 있다. 데이터베이스(22)는 이미지 데이터 그리고/또는 멀티미디어 성분들을 저장할 수 있다. 애플리케이션(23)은, 프로세서(24)에 의해 실행될 때, 디스플레이(26)가 사용자 인터페이스(23a)를 제공하도록 한다.
메모리(21)는, 프로세서(24)에 의해 실행될 수 있고 연산장치(20)의 작동을 제어하는 데이터 그리고/또는 소프트웨어를 저장하기 위한, 임의의 비-일시적인 컴퓨터 판독 가능한 저장 매체를 포함할 수 있다. 일 실시예에서, 메모리(21)는 하나 이상의 고체-상태 저장(storage) 장치 예를 들어 플래쉬 메모리 칩을 포함할 수 있다. 대안으로 또는 그에 더해서, 메모리(21)는 저장 제어기(미도시) 및 통신 버스(미도시)를 통해서 프로세서(24)에 연결된 하나 이상의 대량 저장 장치를 포함할 수 있다. 여기에서 컴퓨터 판독 가능한 저장 매체의 설명이 비록 고체-상태 저장 장치를 언급하였지만, 컴퓨터 판독 가능한 저장 매체는 프로세서(24)에 의해 액세스 될 수 있는 임의의 매체일 수 있다. 즉, 컴퓨터 판독 가능한 저장 매체는, 컴퓨터 판독 가능한 명령어들, 데이터 구조들, 프로그램 모듈들 또는 다른 데이터들 같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현된, 비-일시적인, 휘발성 그리고 비휘발성, 제거 가능한 그리고 제거 불가능한 매체일 수 있다. 예를 들어, 컴퓨터 판독 가능한 저장 매체는 RAM, ROM, EPROM, EEPROM, 플래쉬 메모리 또는 다른 고체 상태 메모리, CD-ROM, DVD, Blu-Ray 또는 다른 광학 저장 매체, 자기 카세트, 자기 테이프, 자기 디스크 저장 매체 또는 다른 자기 저장 장치, 또는 원하는 정보를 저장하는데 사용될 수 있고 연산장치(20)에 의해 액세스 될 수 있는 임의의 다른 매체를 포함할 수 있다.
프로세서(24)는 하나의 프로세서 혹은 프로세서들의 집합일 수 있다. 일 실시예에서, 프로세서(24)는 연산장치(20)를 제어하는 중앙처리장치(CPU)일 수 있다. 또 다른 실시예에서, 프로세서(24)는 그래픽 처리를 수행하는 전용 그래픽 처리 장치(GPU)일 수 있다. 네트워크 인터페이스(25)는 네트워크(50) 같은 네트워크를 연결할 수 있다. 입력 장치(27)는 예를 들어 마우스, 키보드, 발 페달, 터치 스크린 그리고/또는 음성 인터페이스와 같이, 사용자가 연산장치(20)와 상호작용 할 수 있는 임의의 장치일 수 있다. 출력 모듈(28)은 임의의 연결 포트 또는 버스, 예를 들어, 병렬 포트, 직렬 포트, 범용 직렬 버스(USB), 또는 알려진 다른 비슷한 연결장치를 포함할 수 있다.
도 3은 내재된 멀티미디어 성분들을 갖는 현실-세계 장소들의 렌더링을 생성하는 예시적인 방법을 보여주는 흐름도이다. 전술한 바와 같이, 사용자 장치(10) 및 연산장치(20)는 각각 개별 장치이거나 양 장치의 기능을 수행하는 하나의 장치일 수 있다. 명확성을 위해서, 아래 설명되는 실시예들에서는 사용자 장치(10)와 연산장치(20)가 별개의 장치인 것을 예로 설명한다. 하지만, 아래 실시예들은 제한하는 것은 아니며 통상의 기술자는 하나의, 통합된 장치에 의해 아래 설명된 동일한 또는 비슷한 기능을 수행할 수 있음을 인식할 것이다.
단계 302에서, 연산장치(20)는 현실-세계 장소의 이미지 데이터를 수신할 수 있다. 이미지 데이터는 이미지 데이터가 저장된 서버로부터 수신될 수 있고 그리고/또는 이미지 데이터를 획득한 이미지 획득 장치(capturing device)로부터 직접 수신될 수 있다. 실시예들에서, 현실-세계 장소의 이미지 데이터는 GOOGLE®, STREET VIEW® 이미지 데이터 그리고/또는 MICROSOFT®, BING®, STREETSIDE® 이미지 데이터일 수 있다. 다른 실시예들에서, 현실-세계 장소의 이미지 데이터는 사용자에 의해서 예를 들어 사용자 장치(10)에 의해서 획득될 수 있다. 이미지 데이터는 현실-세계 장소의 정지 이미지(still image), 예를 들어 파노라마 사진들 그리고/또는 디지털로 융합 또는 "엮어진"(stitched-together) 사진들을 포함할 수 있다. 예를 들어 이미지 데이터는 현실-세계 장소의 모노스코프, 스테레오스코프 그리고/또는 멀티스코프 이미지들 그리고/또는 360도 파노라마 비디오를 포함하는 비디오들을 포함할 수 있다. 이미지 데이터는 또한 현실-세계 장소의 생 이미지(live image)를 포함할 수 있다.
다음, 단계 304에서, 연산장치(20)는 현실-세계 장소의 지리학적 좌표(geographic coordinates)를 식별한다. 지리학적 좌표는 이미지 데이터와 연관된 메타데이터 예를 들어 장소-태그(geo-tag)에 근거하여 식별될 수 있다. 지리학적 좌표는 또한 이미지 데이터를 분석하고 이미지 데이터에 근거한 지리학적 위치를 결정함으로써 식별될 수 있다.
단계 304 이후에 또는 단계 304와 동시에, 연산장치(20)는 단계 306에서 이미지 데이터가 획득된 뷰 지점(point of view)을 식별한다. 뷰 지점은 이미지 데이터와 연관된 메타데이터에 근거하여 식별될 수 있다. 뷰 지점은 또한 이미지 데이터를 분석하고 이미지 데이터에 근거하여 뷰 지점을 결정함으로써 식별될 수 있다.
다음 단계 308에서, 연산장치(20)는 현실-세계 장소와 관련된 멀티미디어 성분들을 획득한다. 멀티미디어 성분들은 전술한 바와 같이 서버(30)에서 얻을 수 있다. 멀티미디어 성분들의 현실-세계 장소에 대한 관련성(relevancy)은 단계 304에서 식별된 지리학적 좌표에 근거하여 그리고/또는 단계 306에서 식별된 뷰 지점에 근거하여 결정될 수 있다. 멀티미디어 성분들은 전술한 소셜 미디어 콘텐츠 예를 들어 그림, 도한, 그라피티(graffiti), 제스처(gesture), 사진(2D 사진, 3D 사진, 스테레오스코프 사진, 그리고/또는 파노라마 사진 포함), 비디오, 컴퓨터-생성 가장 현실 또는 증강 현신 렌더링, 오디오 레코딩, 오디오 메시지, 텍스트 메시지(TWEETS®, 블로그 포스트, 인스턴트 메시지, 텍스트 메모 등) 그리고/또는 이같은 형태의 미디어에서 유래한 정감(sentiment)) 예를 들어 텍스트, 이모티콘, 인상(facial expression) 등을 포함할 수 있다.
단계 310에서, 연산장치(20)는 사용자 정의(user defined) 파라미터들에 근거하여, 획득한 멀티미디어 성분들을 필터링 한다. 예를 들어 사용자는 단지 가족들, 특정 사람 혹은 특정 사람의 그룹 또는 특정 공인만이 포함되도록 할 수 있으며, 필터 파라미터가 사용자 선호에 근거하여 정의될 수 있다. 필터는 키워드에 근거하여 정의될 수 있다. 다른 실시예들에서, 파라미터들은 특정 날에 또는 특정 계절 또는 다른 범위의 날짜에서 하루의 특정 시간대에, 현실-세계 장소에서 특정 거리 내에서 생성이 된 성분들로 멀티미디어 성분들을 한정할 수 있다. 파라미터들은 또한 예를 들어 FACEBOOK®에 포스트 된 멀티미디어 성분들만이 사용될 수 있도록 멀티미디어 성분들의 출처를 제한할 수 있다. 또한, 파라미터들은 멀티미디어 성분들의 유형을 제한할 수 있으며 예를 들어 멀티미디어 성분들을 사진들로만 제한할 수 있다.
단계들 304-310 모두를 수행한 후에 또는 수행함과 동시에, 연산장치(20)는 단계 312에서 이미지 데이터에서 현실-세계 장소의 기하학(geometry)을 결정한다. 예를 들어, 이미지 데이터에 표현된(depicted) 현실-세계 장소가 도 4b에 도시된 바와 같이 도시 환경일 경우, 연산장치(20)는 이미지 데이터에 빌딩들이 있음을 결정할 수 있고 그 같은 빌딩들의 기하학을 결정할 수 있다. 다양한 이미지 처리 알고리즘이 사용되어 현실-세계 장소의 기하학을 결정할 수 있다.
다음 단계 314에서, 연산장치(20)는 멀티미디어 성분들을 현실-세계 장소의 기하학과 정렬(align)하여 멀티미디어 성분들이 내재된 이미지 데이터의 렌더링을 생성한다. 예를 들어, 연산장치(20)는 이미지들을 빌딩들의 측면들 또는 이미지 데이터의 다른 물체들과 정렬할(맞출) 수 있다. 다른 실시예들에서, 연산장치(20)는 이미지 데이터에 가상 게시판(billboard)을 생성하고 예를 들어 TWEETS® 같은 텍스트 정보를 가상 게시판과 정렬할 수 있다. 멀티미디어 성분들을 현실-세계 장소의 기하학과 정렬함은 무엇보다도 최대 프아송 샘플링을 포함하여 다양한 이미지 처리 알고리즘을 사용하여 수행될 수 있고, 시야 혼란(visual clutter)을 줄이는 방식으로 깊이 및 법선 지도(depth and normal map), 도로 방향(road orientation), 이미지 돌출성(image saliency) 등에 더 기반을 둘 수 있다.
또 다른 실시예들에서, 멀티미디어 성분들은 임의의 현실-세계 특징(feature)에 관해 제시될 수 있으며 예를 들어 도로의 측면, 게시판, 버스-정류장, 교통 신호 그리고/또는 임의의 다른 풍경 특징에 정렬될 수 있다. 다른 실시예들에서, 멀티미디어 성분들은 사용자의 뷰 지점에 대해 중천(mid-air)에 부유하는 것으로 보일 수 있고 풍경의 어떠한 기하학적 특징에 정렬되지(배치되지) 않을 수 있다.
다음, 연산장치(20)는 멀티미디어 성분들이 내재된, 생성된 이미지 데이터의 렌더링을 사용자 장치(10)에 전송할 수 있다. 사용자 장치(10)는 이어서 단계 316에서, 멀티미디어 성분들이 내재된, 이미지 데이터의 렌더링을 디스플레이 한다.
전술한 바와 같이, 사용자 장치(10)는 가상 현실 또는 증강 현실 장치(10d)일 수 있으며 이는 멀티미디어 성분들이 내재된 현실-세계 장소의 렌더링을 디스플레이 하는데 사용될 수 있다. 이 같은 실시예들에서, 완전히 실감적이고, 3-차원의, 현실-세계 장소의 렌더링이 사용자 주위의 360도 회전으로 멀티미디어 성분들이 내재된 채로 사용자에게 디스플레이될 수 있다. 가상 그리고/또는 증강 현실 실시예들에 사용될 수 있는 다양한 특징들 중 하나는 현실-세계 환경의 렌더링 그리고/또는 거기에 내재된 멀티미디어 성분들을 보기 위해서 그리고/또는 상호작용하기 위해서 사용자에 의한 다양한 행위 그리고/또는 제스처의 수행이다. 예를 들어, 멀티미디어 성분들은, 도 8을 참조하여 아래에서 설명되는 바와 같이, 사용자가 암호를 입력하거나 말함으로써 그리고/또는 특정 행위 그리고/또는 제스처를 수행함으로써 잠금이 또는 접근제한이 되거나 잠금이 해제될 수 있다. 이 같은 실시예에서, 사용자는 특정 현실-세계 장소를 볼 필요가 있고, 제스처에 의해 보호된 소셜 미디어 콘텐츠의 잠금이 해제되도록 멀티미디어 성분에 의해 표시된 대로 행위 그리고/또는 제스처를 수행할 수 있다.
또 다른 실시예에서, 사용자는 사용자 장치(10)를 사용하여 사용자가 있는 현실-세계 장소의 생 이미지를 캡처할 수 있고, 캡처한 생 이미지를 전술한 방법의 단계 302에서 수신한 이미지 데이터로 사용하여, 연산장치(20)가 생 이미지를 사용하고 그 같은 생 이미지에 멀티미디어 성분들을 내재하여 현실-세계 장소의 렌더링을 생성할 수 있게 한다.
도 4a 및 도 4b를 참조하면, 멀티미디어 성분들이 내재된, 현실-세계 장소의 렌더링에 대한 예가 도시되어 있다. 도 4a에서, 도시 세팅의 이미지 데이터(40)가 도시되어 있는데, 멀티미디어 성분들(415)이 이 경우 빌딩의 둘레 혹은 내측에서 찍은 사진들이 이미지 데이터에 내재되어 있고 빌딩의 외측에 보인다. 비슷하게, 도 4b에서는, 또 다른 도시 세팅의 이미지 데이터(410)가 도시되어 있으며, 이미지 데이터에 멀티미디어 성분들(415)이 내재되어 있고 빌딩의 외측에 보인다. 멀티미디어 성분들(415)은, 렌더링에서 시야 혼란을 감소하도록, 예를 들어 최대 프아송 샘플링에 의해 배열된다.
도 5a 및 도 5b에, 멀티미디어 성분들이 내재된, 현실-세계 장소들의 렌더링의 또 다른 예시들이 도시되어 있다. 도 5a에서는, 해안 도로의 이미지 데이터(510)가 도시되어 있는데, 멀티미디어 성분(515)이 이 경우 도로 옆에서 찍은 사진이 내재되어 있으며 사진을 찍은 지리학적 위치에 보인다. 비슷하게, 도 5b에서, 또 다른 해안 도로의 이미지 데이터(510)가 도시되어 있는데, 멀티미디어 성분(515)이 이 경우 도로 옆에서 찍은 사진이 그리고 지도 영역이 내재되어 있으며, 시야 혼란을 줄이기 위해서 이미지 데이터의 상단 우측 코너에 지도가 보이도록 배열된다.
본 발명의 시스템, 장치 그리고 방법은 또한 도 6a 및 도 6b에 도시된 바와 같이 빌딩 안에 사용될 수 있다. 도 6a는 멀티미디어 성분들(615)이 내재된, 현실-세계 장소의 렌더링의 일 예를 도시한다. 본 실시예의 경우, 무대(stage)의 이미지 데이터(610)가 도시되어 있고 멀티미디어 성분들(615)이 이 경우 무대 위에서 또는 근처에서 찍은 사진이 내재되어 있고, 시야 혼란을 줄이고 이미지의 초점을 방해하지 않는 방식으로 배열되어 있으며 즉 무대의 허리 부분에 배열된다. 도 6b에서, 경기장 안의 이미지 데이터(610)가 도시되어 있고 멀티미디어 성분들(615)이 이 경우 경기장 안에서 찍은 사진이 내재되어 있다.
도 7은 도시 환경의 렌더링의 또 다른 예를 도시한다. 여기서, 빌딩 외측의 이미지 데이터(710)가 도시되어 있고 멀티미디어 성분들이 내재되어 있다. 본 실시예에서, 멀티미디어 성분들 예를 들어 오디오 레코딩(720), 텍스트 메시지(725), 비디오(735), 그리고 그라피티(735)가 이미지 데이터(710)에 내재된 것이 도시되어 있다.
도 8a 및 도 8b는 본 발명의 또 다른 실시예를 도시한다. 도 8a는 길(trail)을 따라 멀티미디어 성분들(815)이 보이는 도시 풍경의 이미지 데이터(810)를 도시한다. 특정 멀티미디어 성분은 전술한 바와 같이 제스처(840)로 도시된 멀티미디어 성분에 대한 잠금 해제를 위해 요구되는 제스처가 사용자에 의해 수행하면서 잠겨질 수 있다. 사용자가 요구되는 제스처를 수행한 후에, 도 8b에 도시된 바와 같이 멀티미디어 성분은 잠금 해제되고 텍스트 메시지(845)가 디스플레이될 수 있다.
비록 본 발명이 몇몇 선호되는 버전을 참조하여 상세히 설명되었지만, 다른 버전도 가능하다. 따라서, 첨부된 특허청구범위의 범위 및 정신은 바람직한 버전으로 제한되어서는 안 된다.
청구항에서 특정 기능을 수행하는 "수단" 혹은 특정 기능을 수행하는 "단계"임을 명시하지 않은 구성은 35 U.S.C. ∬112(f)에 명시된 "수단" 또는 "단계" 절로 해석되어서는 안 된다. 특히, 청구항에서 "단계"의 사용이 35 U.S.C. ∬112(f) 규정의 적용을 의도한 것은 아니다.
Claims (20)
- 내재된 멀티미디어 성분들을 갖는 현실-세계 장소들의 렌더링을 생성하는 방법으로, 상기 방법은:
현실-세계 장소의 이미지 데이터를 수신하고;
상기 현실-세계 장소의 지리학적 좌표 그리고/또는 상기 이미지 데이터가 획득된 뷰 지점을 식별하고;
상기 지리학적 좌표 그리고/또는 상기 뷰 지점에 근거하여 상기 현실-세계 장소에 관련된 멀티미디어 성분들을 획득하고; 그리고
상기 멀티미디어 성분들이 내재된 상기 이미지 데이터의 렌더링을 생성함을 포함하는 방법. - 청구항 1에 있어서,
상기 방법은 상기 멀티미디어 성분들이 내재된 상기 이미지 데이터의 렌더링을 디스플레이함을 더 포함하는 방법. - 청구항 1에 있어서,
상기 멀티미디어 성분들은 장소-태그 되고, 상기 멀티미디어 성분들은 상기 멀티미디어 성분들의 장소-태그 정보에 근거하여 획득되는 방법. - 청구항 1에 있어서,
상기 멀티미디어 성분들은 사진들을 포함하는 방법. - 청구항 1에 있어서,
상기 멀티미디어 성분들은 비디오들을 포함하는 방법. - 청구항 1에 있어서,
상기 멀티미디어 성분들은 텍스트 메시지들, 제스처들, 그라피티 또는 오디오 메시지들을 포함하는 방법. - 청구항 1에 있어서,
상기 멀티미디어 성분들은 텍스트 메시지들, 제스처들, 그라피티 또는 오디오 메시지들로부터의 정감들(sentiments)을 포함하는 방법. - 청구항 1에 있어서,
상기 멀티미디어 성분들은 상기 멀티미디어 성분들과 상기 이미지 데이터를 융합하는 방식으로 상기 이미지 데이터에 내재되는 방법. - 청구항 8에 있어서,
상기 멀티미디어 성분들과 상기 이미지 데이터의 융합은:
상기 이미지 데이터에 근거하여 상기 현실-세계 장소의 기하학을 결정하고; 그리고
상기 멀티미디어 성분들을 상기 결정된 현실-세계 장소의 기하학과 정렬함을 포함하는 방법. - 청구항 9에 있어서,
상기 멀티미디어 성분들을 상기 결정된 현실-세계 장소의 기하학과 정렬함은 상기 이미지 데이터의 빌딩들의 측면들에 상기 멀티미디어 성분들을 디스플레이함을 포함하는 방법. - 청구항 9에 있어서,
상기 멀티미디어 성분들을 상기 결정된 현실-세계 장소의 기하학과 정렬함은 상기 멀티미디어 성분들을 상기 이미지 데이터의 가상 게시판에 디스플레이함을 포함하는 방법. - 청구항 1에 있어서,
상기 이미지 데이터는 상기 현실-세계 장소의 정지 이미지들을 포함하는 방법. - 청구항 1에 있어서,
상기 이미지 데이터는 상기 현실-세계 장소의 비디오 이미지들을 포함하는 방법. - 청구항 1에 있어서,
상기 멀티미디어 성분들이 내재된 상기 이미지 데이터의 렌더링을 디스플레이함은 가상 현실 혹은 증강 현실 디스플레이를 사용하여 렌더링을 디스플레이함을 포함하는 방법. - 청구항 1에 있어서,
상기 멀티미디어 성분들은 소셜 미디어 플랫폼들에서 수신되는 방법. - 청구항 1에 있어서,
상기 방법은 사용자-정의 파라미터들에 근거하여 상기 획득된 멀티미디어 성분들을 필터링함을 더 포함하는 방법. - 청구항 16에 있어서,
상기 사용자-정의 파라미터들은 날짜, 시간, 계절, 사람, 사람 집단, 소셜 미디어 프로파일, 키워드, 상기 현실-세계 장소로부터 거리, 또는 상기 멀티미디어 성분들의 데이터 유형을 포함하는 방법. - 내장된 멀티미디어 성분들을 갖는 현실-세계 장소들의 렌더링을 생성하는 시스템으로서, 상기 시스템은:
프로세서와 명령어들을 저장하는 메모리를 포함하는 연산장치; 그리고
디스플레이 장치를 포함하며,
상기 메모리가 적어도 하나의 프로세서에 의해 실행될 때 상기 연산장치는:
현실-세계 장소의 이미지 데이터를 수신하고:
상기 이미지 데이터가 획득된 뷰 지점 그리고/또는 상기 현실-세계 장소의 지리학적 좌표를 식별하고;
상기 지리학적 좌표 그리고/또는 상기 뷰 지점에 근거하여 상기 현실-세계 장소에 관련된 멀티미디어 성분들을 획득하고;
상기 내재된 상기 멀티미디어 성분들을 갖는 상기 이미지 데이터의 렌더링을 생성하고; 그리고
상기 멀티미디어 성분들이 내재된 상기 이미지 데이터의 렌더링을 전송하며,
상기 디스플레이 장치는 상기 멀티미디어 성분들이 내재된 상기 이미지 데이터의 렌더링을 수신하고; 그리고
상기 멀티미디어 성분들이 내재된 상기 이미지 데이터의 렌더링을 디스플레이하는 시스템. - 청구항 18에 있어서,
상기 디스플레이 장치는 가상 현실 또는 증강 현실 디스플레이 장치인 시스템. - 명령어들을 저장하는, 비-일시적인 컴퓨터 판독가능한 저장 매체로서,
적어도 하나의 프로세서에 의해 실행될 때, 컴퓨터는 현실-세계 장소의 이미지 데이터를 수신하고, 상기 이미지 데이터가 획득된 뷰 지점 그리고/또는 상기 현실-세계 장소의 지리학적 좌표를 식별하고, 상기 지리학적 좌표 그리고/또는 상기 뷰 지점에 근거하여 상기 현실-세계 장소에 관련된 멀티미디어 성분들을 획득하고, 상기 멀티미디어 성분들이 내재된 상기 이미지 데이터의 렌더링을 생성하고, 그리고 상기 멀티미디어 성분들이 내재된 상기 이미지 데이터의 렌더링을 전송하는 비-일시적 컴퓨터-판독가능한 저장 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562135941P | 2015-03-20 | 2015-03-20 | |
| US62/135,941 | 2015-03-20 | ||
| PCT/US2016/023429 WO2016154121A1 (en) | 2015-03-20 | 2016-03-21 | Systems, devices, and methods for generating a social street view |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180019067A true KR20180019067A (ko) | 2018-02-23 |
Family
ID=55697491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177030199A KR20180019067A (ko) | 2015-03-20 | 2016-03-21 | 소셜 스트리트 뷰 생성을 위한 시스템, 장치 및 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10380726B2 (ko) |
| KR (1) | KR20180019067A (ko) |
| WO (1) | WO2016154121A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170337745A1 (en) | 2016-05-23 | 2017-11-23 | tagSpace Pty Ltd | Fine-grain placement and viewing of virtual objects in wide-area augmented reality environments |
| US10403044B2 (en) | 2016-07-26 | 2019-09-03 | tagSpace Pty Ltd | Telelocation: location sharing for users in augmented and virtual reality environments |
| US10831334B2 (en) | 2016-08-26 | 2020-11-10 | tagSpace Pty Ltd | Teleportation links for mixed reality environments |
| US20180160194A1 (en) * | 2016-12-01 | 2018-06-07 | Google Inc. | Methods, systems, and media for enhancing two-dimensional video content items with spherical video content |
| US10368047B2 (en) * | 2017-02-15 | 2019-07-30 | Adone Inc. | Six-degree of freedom video playback of a single monoscopic 360-degree video |
| US10545996B2 (en) * | 2017-04-19 | 2020-01-28 | Microsoft Technology Licensing, Llc | Impression tagging system for locations |
| US10818093B2 (en) | 2018-05-25 | 2020-10-27 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
| US10984600B2 (en) | 2018-05-25 | 2021-04-20 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
| GB2588838B (en) * | 2020-07-07 | 2022-04-20 | Rhizomenet Pty Ltd | Augmented reality messaging system |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100066750A1 (en) * | 2008-09-16 | 2010-03-18 | Motorola, Inc. | Mobile virtual and augmented reality system |
| CN102109430B (zh) * | 2009-12-25 | 2013-11-06 | 深圳迈瑞生物医疗电子股份有限公司 | 有核红细胞模拟粒子，血液质控物及其制备方法和用途 |
| KR20120095247A (ko) * | 2011-02-18 | 2012-08-28 | 삼성전자주식회사 | 모바일 디바이스 및 그 정보 표시 방법 |
| US20130097197A1 (en) | 2011-10-14 | 2013-04-18 | Nokia Corporation | Method and apparatus for presenting search results in an active user interface element |
| US9361283B2 (en) * | 2011-11-30 | 2016-06-07 | Google Inc. | Method and system for projecting text onto surfaces in geographic imagery |
| EP2817785B1 (en) * | 2012-02-23 | 2019-05-15 | Charles D. Huston | System and method for creating an environment and for sharing a location based experience in an environment |
| US9135754B2 (en) | 2012-05-07 | 2015-09-15 | Honda Motor Co., Ltd. | Method to generate virtual display surfaces from video imagery of road based scenery |
| US20150206349A1 (en) * | 2012-08-22 | 2015-07-23 | Goldrun Corporation | Augmented reality virtual content platform apparatuses, methods and systems |
| US20140059447A1 (en) | 2012-08-22 | 2014-02-27 | Veysel Berk | Method and System for Mobile Walls |
| US20150062114A1 (en) * | 2012-10-23 | 2015-03-05 | Andrew Ofstad | Displaying textual information related to geolocated images |
| EP3108455B1 (en) * | 2014-02-18 | 2017-12-20 | Sony Mobile Communications Inc. | Transparency determination for overlaying images on an electronic display |
| WO2016005799A1 (en) * | 2014-07-11 | 2016-01-14 | Yellow Pages Group Limited | Social networking system and method |
-
2016
- 2016-03-21 KR KR1020177030199A patent/KR20180019067A/ko not_active Application Discontinuation
- 2016-03-21 US US15/559,955 patent/US10380726B2/en not_active Expired - Fee Related
- 2016-03-21 WO PCT/US2016/023429 patent/WO2016154121A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016154121A1 (en) | 2016-09-29 |
| US20180075591A1 (en) | 2018-03-15 |
| US10380726B2 (en) | 2019-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10380726B2 (en) | Systems, devices, and methods for generating a social street view | |
| US8332424B2 (en) | Method and apparatus for enabling virtual tags | |
| US20130077833A1 (en) | Searching with face recognition and social networking profiles | |
| US20140317511A1 (en) | Systems and Methods for Generating Photographic Tours of Geographic Locations | |
| KR20160112898A (ko) | 증강현실 기반 동적 서비스 제공 방법 및 장치 | |
| CN112868224B (zh) | 捕获和编辑动态深度图像的方法、装置和存储介质 | |
| CN107430498B (zh) | 扩展照片的视场 | |
| US20150062287A1 (en) | Integrating video with panorama | |
| Du et al. | Social street view: blending immersive street views with geo-tagged social media. | |
| KR101304454B1 (ko) | 3d 갤러리 생성 장치 및 방법 | |
| CN115867882A (zh) | 用于图像的基于出行的增强现实内容 | |
| Kim et al. | Development of mobile AR tour application for the national palace museum of Korea | |
| WO2018000620A1 (zh) | 一种数据展示方法及装置、虚拟现实设备与播放控制器 | |
| WO2013123789A1 (zh) | 图像处理方法和图像处理设备 | |
| CN105138763A (zh) | 一种增强现实中实景与现实信息叠加的方法 | |
| KR102161437B1 (ko) | 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법 | |
| CN104133845A (zh) | 一种多媒体信息展示的方法与设备 | |
| US20140104312A1 (en) | Creation and Sharing of Digital Postcards Associated with Locations | |
| JP2017108356A (ja) | 画像管理システム、画像管理方法、プログラム | |
| US20140351064A1 (en) | Directional Filmstrip Display in Street View | |
| US9471695B1 (en) | Semantic image navigation experiences | |
| Raposo et al. | Revisiting the city, augmented with digital technologies: the SeeARch tool | |
| KR20170025732A (ko) | 여행 기록을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 | |
| WO2018000610A1 (zh) | 一种基于图像类型判断的自动播放方法和电子设备 | |
| KR102464437B1 (ko) | 기가 픽셀 미디어 객체 감상 및 거래를 제공하는 메타버스 기반 크로스 플랫폼 서비스 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |