KR102469263B1 - 구면 비디오 편집 - Google Patents

구면 비디오 편집 Download PDF

Info

Publication number
KR102469263B1
KR102469263B1 KR1020217038607A KR20217038607A KR102469263B1 KR 102469263 B1 KR102469263 B1 KR 102469263B1 KR 1020217038607 A KR1020217038607 A KR 1020217038607A KR 20217038607 A KR20217038607 A KR 20217038607A KR 102469263 B1 KR102469263 B1 KR 102469263B1
Authority
KR
South Korea
Prior art keywords
motion
path
detecting
spherical
video
Prior art date
Application number
KR1020217038607A
Other languages
English (en)
Other versions
KR20210149206A (ko
Inventor
저스틴 후앙
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20210149206A publication Critical patent/KR20210149206A/ko
Application granted granted Critical
Publication of KR102469263B1 publication Critical patent/KR102469263B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/16—Spatio-temporal transformations, e.g. video cubism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

시스템들 및 방법들은 구면 비디오 데이터의 편집을 제공한다. 일 예에서, 컴퓨팅 디바이스는 내장 구면 비디오 캡처링 시스템에 의해, 또는 또 다른 디바이스로부터 비디오 데이터를 획득하는 것에 의해 그런 것처럼, 구면 비디오(또는 컴퓨팅 디바이스의 디스플레이 스크린과 연관된 각도 시야각보다 더 큰 각도 시야각과 연관된 비디오)를 수신할 수 있다. 컴퓨팅 디바이스는 구면 비디오 데이터를 디스플레이할 수 있다. 구면 비디오 데이터가 디스플레이되는 동안, 컴퓨팅 디바이스는 뷰포트의 위치를 구면 비디오 안으로 변경하기 위해 물체(예를 들어, 컴퓨팅 디바이스, 사용자, 구면 비디오 데이터에서 표현되는 실제 또는 가상 물체 등)의 움직임을 추적할 수 있다. 컴퓨팅 디바이스는 뷰포트의 새로운 위치들로부터 새로운 비디오를 생성할 수 있다.

Description

구면 비디오 편집{SPHERICAL VIDEO EDITING}
[우선권]
본 출원은 2017년 12월 15일에 출원된 미국 특허 출원 일련 번호 제15/844,089호의 우선권의 이익을 주장하며, 이 출원의 우선권의 이익은 이로써 청구되고, 이 출원의 내용은 그 전체가 본 명세서에 참조로 포함된다.
본 개시내용은 일반적으로 비디오 편집 분야에 관한 것으로, 특히 구면 비디오 편집(spherical video editing)에 관한 것이다.
구면 비디오(때때로, 가상 현실(VR) 비디오, 몰입형 비디오, 180도 또는 360도 비디오 등이라고 지칭됨)는 사용자들이 디지털을 즐기는 데에 점점 더 인기있는 방식이 되고 있다. 이러한 비디오들은 사용자들이 좌측 및 우측으로 패닝(pan)하고, 줌 인 및 줌 아웃하고, 비디오 데이터에 의해 표현되는 가상 환경에서의 몰입을 시뮬레이션하기 위해 현재 관점에서 새로운 관점으로 회전하도록 허용한다. 구면 비디오들은 장면의 상이한 관점들을 캡처하고 또한 HMD들(head-mounted displays) 및 다른 컴퓨팅 디바이스들(예를 들어, 데스크톱들, 랩톱들, 태블릿들, 스마트폰들 등) 내에 제시되는 다중 카메라를 이용하여 전형적으로 만들어진다.
본 개시내용은 도면들을 참조하여 다양한 실시예들을 설명할 것이다.
도 1은 실시예에 따른 구면 비디오 데이터를 생성하기 위한 작업 흐름의 예를 도시한다.
도 2a 및 도 2b는 실시예에 따른 콘텐츠 공유 네트워크를 위한 클라이언트 애플리케이션을 위한 그래픽 사용자 인터페이스들의 예들을 도시한다.
도 3a 내지 도 3d는 실시예에 따른, 구면 비디오 데이터 안으로 뷰포트를 제어하기 위한 움직임 데이터를 결정하기 위한 접근법의 예를 도시한다.
도 4a 내지 도 4g는 실시예에 따른 구면 비디오 데이터를 편집하기 위한 접근법의 예를 도시한다.
도 5a 내지 도 5f는 실시예에 따른, 비디오 안으로 뷰포트를 제어하기 위한 입력 움직임 데이터에 기초하여 구면 비디오 데이터로부터 편집된 비디오를 표현하기 위한 접근법들의 예들을 도시한다.
도 6은 실시예에 따라 비디오 안으로 뷰포트를 제어하기 위한 입력 움직임 데이터에 기초하여 구면 비디오 데이터를 편집하기 위한 프로세스의 예를 도시한다.
도 7은 실시예에 따른 네트워크 환경의 예를 도시한다.
도 8은 실시예에 따른 콘텐츠 관리 시스템의 예를 도시한다.
도 9는 실시예에 따른 콘텐츠 관리 시스템에 대한 데이터 모델의 예를 도시한다.
도 10은 실시예에 따른 메시지에 대한 데이터 구조의 예를 도시한다.
도 11은 실시예에 따른 시간 제한 콘텐츠에 대한 데이터 흐름의 예를 도시한다.
도 12는 실시예에 따른 소프트웨어 아키텍처의 예를 도시한다.
도 13은 실시예에 따른 컴퓨팅 시스템의 예를 도시한다.
구면 비디오가 사용자들이 그들의 경험들을 더 많이 공유하기 위한 점점 더 인기있는 매체가 되고 있지만, 비디오를 재생할 수 있는 모든 컴퓨팅 디바이스들이 구면 비디오를 디스플레이할 수는 없는데(또는 구면 비디오 제작자에 의해 의도된 방식으로 그것을 디스플레이할 수는 없는데), 그 이유는 구면 비디오를 제시하는 것은 종종 종래의 비디오에 비해 훨씬 더 많은 양의 컴퓨팅 자원들을 요구하기 때문이다. 일부 경우들에서, 구면 비디오들을 재생하는 것은 처리(CPU 및/또는 그래픽) 및 네트워크 레이턴시 때문에 열악한 사용자 경험을 제공할 수 있다. 사용자는 특히 이동 컴퓨팅 디바이스들의 일반적으로 제한된 컴퓨팅 자원(예를 들어, 데스크톱, 랩톱 등에 대해) 때문에, 이들 디바이스상에서 구면 비디오를 재생하고 이들을 공유하는데 주저할 수 있다. 구면 비디오들의 또 다른 잠재적인 단점은 구면 비디오 카메라(때때로 전방향 카메라, 360도 카메라, VR 카메라 등이라고 지칭됨), 리그(rig), 또는 다른 구면 비디오 캡처링 시스템을 이용하여 관심 대상인 물체를 직접 추적하는 것에 관해 공을 덜 들이는 비디오 제작자들의 경향인데, 그 이유는 구면 비디오 캡처링 시스템의 증가된 각도 시야각(angular field of view)이 종래의 비디오 카메라들보다는 이 점에서 더 관대하게 만들기 때문이다. 또한, 제작자들은 자신들이 후처리에서 구면 비디오들을 편집할 수 있다고 당연히 가정하지만 종래의 구면 비디오 편집 도구들을 통해 편집하는 것은 종종 많은 양의 시간 및 노력을 요구한다. 이 요인은 또한, 캐주얼 비디오 편집들을 행하는 데 관심 있거나, 또는 구면 비디오 콘텐츠를 단지 일시적으로 공유하기를 원하는 경우에 사용자를 단념시킬 수 있다.
본 개시내용의 다양한 실시예들에 따른 시스템들 및 방법들은 구면 비디오 데이터를 편집하기 위한 종래의 접근법들에서 경험하는 전술한 결점들 및 다른 결점들 중 하나 이상을 극복할 수 있다. 실시예에서, 컴퓨팅 디바이스는 컴퓨팅 디바이스의 디스플레이 스크린의 각도 시야각보다 더 큰 각도 시야각(예를 들어, 120°, 180°, 270°, 360° 등)과 연관된 구면 비디오 데이터 또는 비디오 데이터를 수신할 수 있다. 예를 들어, 컴퓨팅 디바이스는 다중 시점으로부터 동일한 장면의 복수의 비디오를 캡처할 수 있거나, 또는 컴퓨팅 디바이스는, 예를 들어, 인터넷을 통해 비디오 데이터를 다운로드하거나 구면 비디오 캡처링 시스템으로부터 비디오 데이터를 전송함으로써 또 다른 컴퓨팅 디바이스로부터 구면 비디오 데이터를 수신할 수 있다.
컴퓨팅 디바이스가 구면 비디오 데이터를 재생할 때, 컴퓨팅 디바이스는 입력 움직임 데이터에 기초하여 구면 비디오를 편집하거나 기록하는 것과 연관된 입력을 수신할 수 있다. 예를 들어, 컴퓨팅 디바이스는 편집/기록을 개시하기 위해 그리고 편집/기록을 계속하기 위한 접촉을 유지하기 위해 사용자가 누를 수 있는 가상 버튼을 포함하는 콘텐츠 공유 네트워크를 위한 클라이언트 애플리케이션을 포함할 수 있다. 또 다른 예로서, 컴퓨팅 디바이스는 편집/녹화를 개시하기 위한 제1 제스처(예를 들어, 물리적 또는 가상 버튼의 작동, 음성 명령, 손 제스처, 눈 제스처, 머리 제스처 등) 및 편집/녹화를 일시중지하거나 중단하기 위한 제2 제스처를 수신할 수 있다.
컴퓨팅 디바이스는 뷰포트의 위치를 구면 비디오 데이터 안으로 변경하기 위해 물체의 움직임을 추적할 수 있다. 컴퓨팅 디바이스는 위치의 변경들을 사용하여 편집된 비디오의 프레임들을 중심에 둘 수 있다. 추적된 물체는 컴퓨팅 디바이스 자체, 컴퓨팅의 사용자의 일부(예를 들어, 눈, 머리 등), 또는 컴퓨팅 디바이스가 장착되는 다른 물체(예를 들어, 드론, 차량 등)를 포함할 수 있다. 컴퓨팅 디바이스는 움직이는 물체를 추적하기 위해 움직임 및 위치 센서들, 카메라들, 다른 센서들 또는 디바이스들, 또는 이들 컴포넌트들의 조합을 사용할 수 있다. 일부 실시예들에서, 추적된 물체는 또한 구면 비디오 데이터에 표현된 물체(실제 또는 가상)를 포함할 수 있다.
컴퓨팅 디바이스는 뷰포트의 새로운 위치들 및 그 위치들에 대응하는 구면 비디오 데이터의 픽셀들의 적어도 일부분을 사용하여 편집된 비디오를 생성할 수 있다. 새로운 위치들은 편집된 비디오 - 구면 비디오 데이터를 업데이트하기 위한 회전, 병진, 및/또는 변환 정보; 원래의 구면 비디오 데이터로부터 추출하기 위한 표면 또는 볼륨 - 의 재생 시에 디스플레이되는 구면 비디오 데이터의 영역들의 무게중심(centroid)들에 매핑될 수 있다. 일부 실시예들에서, 편집된 비디오의 프레임들은 컴퓨팅 디바이스의 디스플레이 스크린상에 디스플레이가능한 것으로 제한될 수 있다. 다른 실시예들에서, 편집된 비디오의 프레임들은 디스플레이 스크린의 각도 시야각보다 크지만 적어도 하나의 차원을 따라 360°보다 작은 각도 시야각(예를 들어, 120°, 180°등)(예를 들어, 수평, 수직, 대각선 등)과 연관된 구면 비디오 데이터의 크롭된(cropped) 프레임들을 포함할 수 있다. 또 다른 실시예들에서, 컴퓨팅 디바이스 또는 콘텐츠 서버는 수신자 컴퓨팅 디바이스들의 컴퓨팅 자원들(예를 들어, 처리, 메모리, 스토리지, 네트워크 대역폭, 전력 등)의 가용성에 좌우되어 편집된 비디오의 포맷을 결정할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스 또는 콘텐츠 서버는, 예를 들어 편집된 비디오의 비디오 해상도(예를 들어, 균일한 비디오 해상도, 또는 가변 비디오 해상도들의 영역들), 편집된 비디오의 fps(frames per second)의 레이트 등을 수정함으로써 그런 것처럼, 배포를 위한 편집된 비디오의 크기를 감소시키기 위해 다른 전략들을 추가적으로 또는 대안적으로 사용할 수 있다.
도 1은 구면 비디오 데이터를 생성하기 위한 작업 흐름(100)의 예를 도시한다. 본 명세서에서 논의되는 임의의 방법, 프로세스, 또는 흐름에 대해, 달리 언급되지 않는 한, 다양한 실시예들의 범위 내에서, 추가적이거나, 더 적거나, 또는 대안적인 수행 단계들 또는 유사하거나 대안적인 순서들로 또는 병렬로 발생하는 스테이지들이 있을 수 있다. 작업 흐름(100)은 4개의 주요 스테이지, 데이터 캡처 스테이지(120)(예를 들어, 오디오 데이터, 비디오 데이터, 정지 이미지 데이터 등), 스티칭(stitching) 스테이지(140), 후처리 스테이지(160), 및 프레젠테이션 스테이지(180)를 포함한다. 데이터 캡처 스테이지(120)에서, 구면 비디오 제작자들은 동일한 장면의 다중 관점의 비디오 데이터를 동시에 캡처하기 위해 서로에 대해 알려진 오프셋들에 위치되고 및/또는 상이한 초점 거리들 또는 각도 시야각(예를 들어, 어안, 광각 등)을 갖는 렌즈들을 포함하는 다중 카메라를 사용할 수 있다. 다중 카메라는 360도 디지털 카메라(122)(예를 들어, SAMSUNG GEAR® 360, RICOH® THETA, 360FLY® 등), 360도 카메라 드론(124)(예를 들어, DRONEVOLT® Janus VR 360, QUEEN B ROBOTICS EXO360 DRONETM, 360 DESIGNS FLYING EYETM 등), 스마트 차량(126)(예를 들어, TESLA®, WAYMO®, UBER® 등), 스마트폰(128)(예를 들어, APPLE IPHONE®, SAMSUNG GALAXY®, HUAWEI MATE® 등), 웨어러블 디바이스(130)(예를 들어, 헤드 장착형 디바이스, 스마트 글래스들, 이어폰들 등), 또는 다른 디바이스들과 같은 단일 디바이스의 일부일 수 있다. 별개의 구별되는 카메라들은 또한 마운트 또는 리그(132)(예를 들어, FREEDOM360TM, 360RIZE®, VARAVONTM, 등)를 사용하여 결합될 수 있다. 마운트들 또는 리그들은 인형들, 드론들, 차량들, 사용자들의 헤드들 또는 다른 신체 부분들, 및 다른 물체들에 핸드헬드되거나 또는 결합될 수 있다.
구면 비디오 캡처링 시스템의 다중 카메라는 변하는 각도 시야각을 가질 수 있다. 단일 카메라의 각도 시야각 α는 렌즈의 초점 길이 f 및 카메라의 센서의 크기 d에 의존한다:
Figure 112021136345807-pat00001
각도 시야각은 수평으로, 수직으로, 또는 대각선으로 측정될 수 있지만, 달리 명시되지 않는 한 본 명세서에서 수평 및 수직 각도 시야각 모두로서 본 명세서에서 지칭될 것이다. 어안 렌즈는 대략 180°이상인 각도 시야각을 가질 수 있고, 광각 렌즈는 대략 60°내지 120°의 각도 시야각을 가질 수 있고(비록 일부 광각 렌즈는 120°보다 큰 각도 시야각을 가질 수 있기는 하지만), 표준 렌즈는 대략 30°와 60°사이의 각도 시야각을 가질 수 있고, 긴 초점 렌즈는 대략 35°이하의 각도 시야각을 가질 수 있다. 구면 비디오 캡처링 시스템을 위한 구성의 예는 정면을 향하는 제1 카메라 및 배면을 향하는 제2 카메라를 갖는 어안 렌즈들을 갖는 카메라들의 쌍을 포함할 수 있다. 어안 렌즈들은 180°보다 큰 각도 시야각(예를 들어, 210°)을 가질 수 있고, 따라서 스티칭 스테이지(140) 동안의 개선된 출력을 위해 카메라들에 의해 캡처된 이미지 데이터에서 중첩이 있다. 또 다른 예는 입방체 형상으로 구성된 광각 또는 표준 렌즈들을 갖는 6개의 카메라를 포함하는 시스템이다. 다른 구면 비디오 캡처링 시스템들은 더 적거나 더 많은 수의 카메라들을 포함할 수 있고 및/또는 상이한 구성들로 배열될 수 있다.
스티칭 스테이지(140)에서, 각각의 카메라로부터의 비디오 데이터는 구면 비디오 캡처링 시스템의 단일 카메라의 것보다 더 클 수 있는 각도 시야각과 연관된 단일 비디오를 생성하기 위해 함께 스티칭된다. 일부 구면 비디오 카메라들은 카메라들에 내장된 스티칭 기능을 갖는다. 다른 사용자들은 미가공 비디오 데이터로부터 구면 비디오들을 스티칭하는 것을 선호할 수 있거나, 또는 이 내장 기능성을 갖는 시스템을 결여할 수 있다. 이러한 경우들에서, 이러한 사용자들은 각각의 카메라로부터의 장면을 구면 비디오 데이터가 되도록 조합하기 위해 스티칭 소프트웨어를 실행할 것이다. 이러한 소프트웨어의 예들은, 무엇보다도 Kolor®(GoPro®의 자회사)로부터의 Autopano® Video; ORAH®(이전에는 VIDEOSTITCH®)로부터의 VIDEOSTITCH®; 및 STEREOSTITCHTM(DERMANDARTM S.A.L. of Jounieh, Lebanon의 자회사)으로부터의 StereoStitch 를 포함한다. 비디오 스티칭 소프트웨어는 종종 각각의 카메라로부터의 장면이 동일한 포맷(예를 들어, MP4 또는 MOV) 및 동일한 fps에 있을 것을 요구하지만, 일부 스티칭 소프트웨어는 상이한 포맷들 및 fps들에서 장면을 처리할 수 있다. 소프트웨어는 또한 각각의 카메라로부터의 장면의 동기화(142)를 요구할 수 있다. 스티칭 소프트웨어는 캡처 시작에서 기록된 오디오 또는 모션 신호를 이용하여 수동 동기화 또는 자동 동기화를 위한 옵션들을 제공할 수 있다. 스티칭 소프트웨어는 또한 사용자들이 비디오들의 타임라인으로부터 트림(trim)하고, 또한 구면 비디오 데이터를 생성하기 위해 각각의 카메라로부터의 장면을 스티칭(146)하기 전에 캘리브레이션(144)을 위해 특정 프레임들을 선택하는 것을 허용할 수 있다.
후처리 단계 160에서, 구면 비디오 제작자들은 무엇보다도 ADOBE® SYSTEMS INCORPORATED로부터의 Adobe Premiere® 및/또는 After Effects®; CYBERLINK POWERDIRECTOR®; 및 APPLE®, Inc.로부터의 FINAL CUT®과 같은 소프트웨어를 이용하여 구면 비디오 데이터를 편집할 수 있다. 이 구면 비디오 편집 소프트웨어는 사용자가, 방사상 왜곡들, 노출 차이들, 비녜트 인화 등에 대한 보정과 같은 구면 비디오 데이터에 대한 보정(162)을 하는 것을 도울 수 있다. 일부 경우들에서, 이러한 보정들은 또한 스티칭 스테이지(140)의 출력을 개선하기 위해 전처리 동안 행해질 수 있다. 비디오 편집 소프트웨어의 특징들에 좌우되어, 사용자들은 또한, 비디오와 나란히 있는 오디오 편집과 같이, 특정 효과들(164)을 추가, 수정, 또는 삭제할 수 있고; 비디오의 타임라인을 추가하거나 또는 다른 방식으로 재배열하고; 가상 물체들 또는 다른 특수 효과들을 추가하고; 타이틀들, 자막들, 및 다른 텍스트를 추가하고; 등등을 할 수 있다. 편집들은 메타데이터 및/또는 비디오 데이터에 대한 변경들을 수반할 수 있다. 예를 들어, 잘 알려진 타입의 컷 또는 천이는 클로즈업(close-up)이며, 이는 원거리로부터 시작하고 관심 대상의 물체로 천천히 줌할 수 있다. 비디오 편집 소프트웨어는 이러한 효과를 생성하기 위해 프레임들의 세트에 걸쳐 픽셀들을 조작함으로써 이러한 타입의 천이를 삽입할 수 있다. 대안적으로 또는 추가적으로, 비디오 편집 소프트웨어는 메타데이터를 변경하여 동일하거나 유사한 효과를 생성할 수 있다.
효과들(164)이 추가(또는 수정, 제거 등)된 후에, 구면 비디오 제작자들은 프레젠테이션을 위한 적절한 포맷으로의 구면 비디오 데이터의 엑스포트(166)를 위해 비디오 편집 소프트웨어를 사용할 수 있다. 이것은, 방위각 투영, 원뿔형 투영, 또는 원통형 투영 등과 같이 구면 포인트 데이터로서 원래 캡처된 비디오 데이터를 특정 투영상으로 매핑하는 것을 수반할 수 있다. 구면 비디오 데이터를 투영하기 위한 다른 접근법들은, 많은 다른 가능성들 중에서도, 큐브 매핑 또는 다른 다면체 매핑, 포물면 매핑, 정현파 매핑, HEALPix(Hierarchical Equal Area Isolatitude Pixelization)를 포함한다.
방위 투영은 바로 평면상으로 구를 투영한다. 방위각 투영의 변형들은 동일 면적 방위각 투영 -이것은 적도를 따라 왜곡되지 않지만 왜곡이 극들을 향해서는 상당히 증가하는 투영임 -; 등거리 방위각 투영 - 모든 포인트들이 중심점으로부터 비례적으로 보정된 거리들에 있는 투영임 -; 모든 투영 라인들(예를 들어, 구의 위도들 및 자오선들)이 투영 평면에 직교하는 정사 투영; 및 투영 포인트를 제외한 전체 구의 투영인 스테레오 투영을 포함한다.
원뿔 투영은 원뿔상으로 구를 투영하고, 이어서 평면상으로 원뿔을 펼친다. 원뿔 투영의 변형들은 동일 면적 원뿔 투영 - 이것은 표준 평행들 사이에서 왜곡이 최소이지만 스케일 및 형상이 보존되지 않도록 2개의 표준 평행을 이용하는 투영임 -; 및 등거리 원뿔 투영 - 이것은 자오선들을 따르는 거리들이 비례적으로 정확하고 거리들이 또한 프로젝터에 의해 선택된 2개의 표준 평행을 따라 정확하게 되도록 2개의 표준 평행을 이용하는 등거리 원뿔 투영임 - 을 포함한다.
원통 투영은 구를 원통상으로 투영하고, 이어서 평면상으로 실린더를 펼친다. 원통 투영의 변형들은 등거리 원통 투영(때때로 등장방형 투영 또는 지도 투영이라고 지칭됨) - 이것은 자오선들을 일정 간격의 수직 직선들에 그리고 위도들을 일정 간격의 수평 직선들에 매핑하는 투영임 -; 및 메르카토르 투영(Mercator projection) - 이것은 작은 물체들의 각도들 및 형상들을 보존하기 위해 임의의 포인트 주위의 모든 방향들에서 선형 스케일이 동일하지만, 물체들의 크기를 왜곡시키는 투영인데, 이 크기는 적도로부터 극들로 위도가 커질수록 증가한다.
큐브 매핑에서, 장면은 각각이 장면의 상부, 하부, 좌측, 우측, 전방, 및 후방의 직교 90°뷰를 나타내는 큐브의 6개의 면상으로 투영된다. 큐브 매핑의 변형은 큐브의 각각의 면이 더 균일한 픽셀 커버리지를 갖는 등각 큐브 매핑(equi-angular cube mapping)이다. 이것은 시청자가 보고 있는 각각의 방향에 대한 디스플레이 픽셀 밀도에 대한 비디오 픽셀 밀도의 비율(예를 들어, 픽셀 밀도 비율(PDR))의 새터레이션 맵(saturation map)들을 플로팅(plot)하고, 모든 샘플링된 뷰 방향마다에 대해 해당 비율이 가능한 한 1에 가깝게 되도록 디스플레이할 픽셀들의 최적 수를 결정함으로써 달성될 수 있다. 다른 다면체 기반 매핑들은 상이한 다면체들(예를 들어, 피라미드, 사각형 피라미드, 삼각형 프리즘, 직사각형 프리즘, 12면체 등)을 사용할 수 있다.
일 예로서, 구면 비디오 데이터는 이러한 관계들을 사용하여 등장방형 프레임들상으로 투영될 수 있다:
Figure 112021136345807-pat00002
Figure 112021136345807-pat00003
Figure 112021136345807-pat00004
여기서 r은 원점으로부터 구상의 지점까지의 거리(예를 들어, 구의 반경)이고, φ는 극각(polar angle)이고(예를 들어, 각도 r은 양의 z-축과 각을 이룬다), θ는 방위각(예를 들어, r의 x-y 평면으로의 투영과 양의 x-축 사이의 각도)이다. 이러한 동일 관계들이 등장방형 프레임 데이터를 구면 포인트 데이터에 되돌려 투영하기 위해 사용될 수 있다:
Figure 112021136345807-pat00005
Figure 112021136345807-pat00006
Figure 112021136345807-pat00007
여기서 r은 구의 반경이고, θ는 극각이고, φ는 방위각이고, (x, y, z)는 데카르트 공간에서의 포인트이다. 구면 비디오 데이터를 다른 표면들 또는 볼륨들(등장방형 프레임 외에)상으로 투영하기 위한 다른 접근법들도 다양한 실시예들에서 사용될 수 있다.
투영 표면을 선택하는 것에 더하여, 엑스포트(166) 동안의 또 다른 고려사항은 비디오 해상도이다. 구면 비디오 프레임은 종래의 직사각형 디스플레이 스크린 상에 디스플레이하기 위해 의도된 비디오 프레임의 픽셀들의 수의 대략 4배를 포함한다. 예를 들어, 표 1은 수평 축 및 수직 축을 따른 비디오 프레임 해상도들, 대략적으로 등가의 종래 비디오 표준(16:9 비율로 직사각형 프레임들로서 인코딩됨), 및 대략 90°각도 시야각을 제공하는 구면 비디오 플레이어(예를 들어, 헤드-마운트 디바이스)를 이용하여 구면 비디오 프레임을 디스플레이하는데 이용가능한 2:1 종횡비를 가정하여 수평 축을 따른 대략적인 픽셀 수의 예들을 제공한다. 표 1에 도시된 바와 같이, 구면 비디오 플레이어를 통해 보여지는 HD 또는 1080p 해상도에서의 구면 비디오 프레임은 종래의 비디오 표준에서 대략 4K 비디오 프레임만큼의 많은 픽셀을 사용할 수 있고, 4K 해상도에서의 구면 비디오 프레임은 종래의 비디오 표준에서 대략 16K 비디오 프레임만큼의 많은 픽셀을 사용할 수 있다.
[표 1]
비디오 프레임 해상도들
Figure 112021136345807-pat00008
엑스포트(166) 동안의 관련된 고려사항은 구면 비디오를 모노스코픽(monoscopic) 또는 입체(stereoscopic) 포맷으로 저장할지의 여부이다. 입체 비디오를 인코딩하기 위한 전형적인 접근법들은 메타데이터에서 비디오를 입체로서 식별하고, 서로의 위에 또는 서로의 곁에 좌측 및 우측 프레임들을 배치하고 메타데이터에서 프레임 배열을 식별하는 것이다. 이것은 각각의 비디오 프레임의 해상도를 절반으로 할 수 있다. 입체 비디오를 구현하기 위한 다른 접근법들은 단일 프레임을 병진, 회전, 또는 다른 방식으로 변환하여 좌측 프레임 및/또는 우측 프레임을 생성하기 위해 단일 비디오 프레임 및 메타데이터를 사용할 수 있다.
엑스포트(166)는 또한 구면 비디오 및 비디오, 오디오, 및 정지 이미지 코딩 포맷들 및 콘텐츠를 인코딩하기 위한 코덱들을 캡슐화하기 위한 디지털 미디어 컨테이너를 선택하는 것을 포함할 수 있다. 디지털 미디어 컨테이너들의 예들은, 무엇보다도, MICROSOFT®Inc.로부터의 AVI(Audio Video Interleave) 또는 ASF(Advanced Systems Format); Apple®Inc.로부터의 Quicktime(MOV); ISO/IEC JTC 1 Moving Picture Experts Group(MPEG)으로부터의 MPEG-4(MP4); XIPH.ORGTM으로부터의 Ogg(OGG); 및 MATROSKA.ORGTM로부터의 Matroska(MKV)MKV(Mapisa)를 포함한다.
디지털 미디어 코딩 포맷들/코덱들의 예들은, 무엇보다도, Advanced Audio Coding(AAC), MPEG-x Audio(예를 들어, MPEG-1 Audio, MPEG-2 Audio, MPEG Layer III Audio (MP3), MPEG-4 Audio, 등) 또는 MPEG로부터의 MPEG-x Part 2; ALLIANCE FOR OPEN MEDIATM으로부터의 AOMedia Video 1(AV1); APPLE®Inc.로부터의 Apple Lossless Audio Codec (ALAC) 또는 Audio Interchange File Format(AIFF); XIPH.ORG로부터의 Free Lossless Audio Codec (FLAC), Opus, Theora, 또는 Vorbis; Joint Video Team of the ITU-T Video Coding Experts Group (VCEG) 및 MPEG로부터의 H.26x(예를 들어, H.264 또는 MPEG-4 Part 10, Advanced Video Coding(MPEG-4 AVC), H.265 또는 High Efficiency Video Coding (HEVC), 등); GOOGLE®, Inc.로부터의 VPx(예를 들어, VP8, VP9, 등); 및 MICROSOFT® Inc.로부터의 Windows Audio File Format(WAV), Windows Media Video(WMV), 또는 Windows Media Audio (WMA)를 포함한다.
후처리 단계 160 후에, 구면 비디오 데이터는 프레젠테이션 스테이지(180) 동안 재생을 위해 배포될 수 있다. 예를 들어, 수신자는 셀룰러, 위성, 또는 Wi-Fi 접속을 사용하는 광역 네트워크(WAN)(예를 들어, 인터넷); 근거리 네트워크(LAN)(유선 또는 무선) 또는 다른 로컬 무선 통신 교환(예를 들어, BLUETOOTH®, 근거리 통신(NFC), 적외선(IR), 초음파 등); 또는 다른 물리적 교환(예를 들어, USB(universal serial bus) 플래시 드라이브 또는 다른 디스크 또는 드라이브)을 통해 구면 비디오 데이터를 수신할 수 있다. 사용자들은 헤드-마운트 디스플레이(HMD)(182), 컴퓨팅 디바이스(184)(예를 들어, 서버, 워크스테이션, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트폰, 웨어러블 디바이스(예를 들어, 스마트 시계, 스마트 안경 등) 등), 또는 전용 미디어 재생 디바이스(186)(예를 들어, 디지털 텔레비전, 셋톱 박스, DVD 플레이어, DVR, 비디오 게임 콘솔, e-리더, 휴대용 미디어 플레이어 등)와 같은 다양한 타입의 디바이스들을 활용하여 구면 비디오 콘텐츠를 보고 그와 상호작용할 수 있다. 재생 디바이스들은 구면 비디오 재생 소프트웨어 및 구면 비디오 데이터, 비디오 데이터를 디스플레이하기 위한 하나 이상의 디스플레이 스크린(예를 들어, 랩톱, 태블릿, 스마트폰, 웨어러블 디바이스 등 또는 주변 기기 내에 통합됨), 오디오 데이터를 방출하기 위한 스피커들(통합 또는 주변 기기), 및 구면 비디오 데이터의 관점들을 변경하기 위한 입력 디바이스들(통합 또는 주변 장치)(예를 들어, 물리적 방향 버튼들, 터치 스크린, 포인팅 디바이스(예를 들어, 마우스, 트랙볼, 포인팅 스틱, 스타일러스, 터치패드 등), 모션 센서들(예를 들어, 가속도계, 자이로스코프 등), 위치 센서들(예를 들어, 자력계들 등), 광학 센서들(예를 들어, 전하-결합 디바이스(CCD), 상보성 금속-산화물-반도체(CMOS) 센서, 적외선 센서 등), 마이크로폰들, 및 기타 센서들 및 디바이스들)을 실행하기 위한 충분한 처리, 메모리, 스토리지, 네트워크, 전력 및 다른 자원들을 가질 것이다.
도 2a 및 도 2b는 컴퓨팅 디바이스(202)상에서 실행되고 터치스크린(204)상에 디스플레이되는 (예를 들어, 텍스트, 이미지, 오디오, 비디오, 애플리케이션 등) 편집 및 배포 애플리케이션의 제각기의 그래픽 사용자 인터페이스(200 및 250)의 예를 도시한다. 그래픽 사용자 인터페이스(200 및 250)는 콘텐츠 공유 네트워크에 대한 클라이언트 애플리케이션을 위한 사용자 인터페이스들의 세트의 일례일 뿐이고, 다른 실시예들은 더 적거나 더 많은 요소들을 포함할 수 있다. 예를 들어, 다른 실시예들은 그래픽 요소들(예를 들어, 음성 사용자 인터페이스) 없이 사용자 인터페이스들을 활용할 수 있다. 클라이언트 애플리케이션의 예들은 SNAP®Inc.로부터의 SNAPCHAT® 또는 SPECTACLESTM을 포함한다. 그러나, 본 개시내용은 콘텐츠(예를 들어, 텍스트, 오디오, 비디오 또는 다른 데이터)를 생성 및 편집하고 소셜 미디어 및 소셜 네트워킹과 같은 콘텐츠 공유 네트워크의 다른 사용자들과 콘텐츠; 사진, 비디오, 및 다른 공유; 웹 로깅(블로깅); 뉴스 애그리게이터들; 콘텐츠 관리 시스템 플랫폼들; 및 그와 유사한 것을 공유하기 위한 임의의 애플리케이션에 일반적으로 적용가능하다.
이 예에서, 클라이언트 애플리케이션은 컴퓨팅 디바이스(202)가 구면 비디오 데이터를 캡처하거나 또는 컴퓨팅 디바이스(202)가 또 다른 전자 디바이스로부터 구면 비디오 데이터를 수신하고 및 콘텐츠 공유 네트워크 클라이언트 애플리케이션, 전자 통신 클라이언트 애플리케이션(예를 들어, 이메일 클라이언트, 단문 메시지 서비스(SMS) 텍스트 메시지 클라이언트, 인스턴트 메신저 등), 웹 브라우저/웹 애플리케이션, 파일 매니저 또는 다른 운영 체제 유틸리티, 데이터베이스, 또는 다른 적절한 애플리케이션 내에 구면 비디오 데이터를 제시하는 것에 응답하여 그래픽 사용자 인터페이스(200)를 제시할 수 있다. 그래픽 사용자 인터페이스(200)는 구면 비디오 데이터, 구면 비디오 데이터의 일부분, 또는 구면 비디오 데이터의 편집된 버전을 로컬 스토리지, 원격 스토리지, 및/또는 다른 컴퓨팅 디바이스들에 송신하기 위한 인터페이스와 연관될 수 있는 비디오 아이콘(206)을 포함한다.
그래픽 사용자 인터페이스(200)는 또한, 텍스트 도구 아이콘(208), 드로잉 도구 아이콘(210), 가상 물체 편집기 아이콘(212), 가위 도구 아이콘(214), 클립 도구 아이콘(216), 타이머 아이콘(218), 사운드 도구 아이콘(220), 저장 도구 아이콘(222), 추가 도구 아이콘(222), 및 이탈 아이콘(224)과 같은, 클라이언트 애플리케이션의 특정 기능 또는 특징과 연관될 수 있는 다양한 아이콘을 포함한다. 컴퓨팅 디바이스(202)가 물리적 포인터 또는 가상 포인터로부터의 클릭으로부터 터치 또는 탭을 수신하는 것과 같은 텍스트 도구 아이콘(208)의 선택은, 컴퓨팅 디바이스(202)로 하여금, 텍스트를 추가, 제거, 편집, 포맷(예를 들어, 굵게, 밑줄치기, 이탤릭체, 등등), 컬러화, 및/또는 크기조정하고 및/또는 다른 텍스트 효과들을 비디오에 적용하기 위해 텍스트 편집 인터페이스를 디스플레이하게 야기할 수 있다. 드로잉 도구 아이콘(210)의 선택을 수신한 것에 응답하여, 컴퓨팅 디바이스(202)는 비디오에서 드로잉하고; 비디오에서 드로잉들을 추가, 제거, 및 편집하고; 및/또는 다른 이미지 효과들을 비디오에 적용하기 위해 상이한 컬러들 및 브러시 사이즈들을 선택하기 위한 드로잉 에디터 인터페이스를 제시할 수 있다.
가위 도구 아이콘(214)은 "스티커" 또는 컴퓨팅 디바이스(202)가 비디오에 통합할 수 있는 가상 물체를 생성하기 위한 절단, 복사, 및 붙여넣기 인터페이스와 연관될 수 있다. 일부 실시예들에서, 가위 도구 아이콘(214)은 또한 비디오에서 지정된 물체를 삭제하기 위한 "매직 소거기(Magic Eraser)", 상이한 컬러들로 지정된 물체를 페인팅하기 위한 "틴트 브러시(Tint Brush)", 및 비디오에서 배경을 추가, 제거, 및/또는 편집하기 위한 "백드롭(Backdrop)"과 같은 특징과 연관될 수 있다. 클립 도구 아이콘(216)은 웹사이트들(예를 들어, URL들), 검색 쿼리들, 및 비디오에서의 유사한 콘텐츠를 부착하기 위한 인터페이스와 연관될 수 있다. 타이머 아이콘(218)은 비디오가 다른 사용자들에게 얼마나 오래 액세스될 수 있는지를 설정하기 위한 인터페이스와 연관될 수 있다. 사운드 도구 아이콘(220)의 선택은 컴퓨팅 디바이스(202)가 오디오를 턴 온/오프하고 및/또는 오디오의 볼륨을 조정하기 위한 인터페이스를 제시하는 결과를 낳을 수 있다. 저장 도구 아이콘(222)은 비디오를 사진들, 이미지들, 및 다른 콘텐츠의 개인 또는 사설 리포지토리(예를 들어,SNAPCHAT® 애플리케이션에서는 "메모리들"로서 지칭됨)에 저장하기 위한 인터페이스와 연관될 수 있다. 추가 도구 아이콘(224)은 사진들, 이미지들, 및 다른 콘텐츠(예를 들어, SNAPCHAT® 애플리케이션에서 "스토리들"로서 지칭됨)의 공유 리포지토리에 비디오를 추가하기 위한 인터페이스와 연관될 수 있다. 이탈 아이콘(226)의 선택은 컴퓨팅 디바이스(202)로 하여금 비디오 편집 모드에서 빠져나가고 클라이언트 애플리케이션에 내비게이팅된 최종 사용자 인터페이스를 제시하게 야기할 수 있다.
도 2b는 그래픽 사용자 인터페이스(250)를 도시하며, 이 컴퓨팅 디바이스(202)는 클라이언트 애플리케이션이 비디오 편집 모드에 진입할 시에 디스플레이할 수 있다. 그래픽 사용자 인터페이스(250)는 재생되거나 편집되는 현재 비디오가 구면 비디오 데이터를 포함하는 것을 나타내기 위해 360°아이콘(252)을 포함할 수 있다. 그래픽 사용자 인터페이스(250)는 또한 2개의 요소, 즉 기록 버튼(256) 및 스크러버(scrubber)(258)를 포함하는 그래픽 사용자 인터페이스 요소(254)를 포함한다. 기록 버튼(256)은 클라이언트 애플리케이션이 애플리케이션에 의해 현재 제시되고 있는 구면 비디오 데이터의 사본을 기록하고 있다는 것을 나타낼 수 있다. 예를 들어, 사용자는 클라이언트 애플리케이션으로 하여금 그래픽 사용자 인터페이스 요소(254)를 디스플레이하도록 야기하기 위해 지정된 시간 기간(예를 들어, 1초, 2초 등) 동안 기록 버튼(256)에 대응하는 영역에서 터치스크린(204)을 누를 수 있다. 일부 실시예들에서, 클라이언트 애플리케이션은, 비디오의 해당 부분이 기록되는 것을 보장하기 위해 잠재적 기록 입력을 초기에 수신할 시에 지정된 시간 기간 동안 비디오 데이터를 버퍼링하고, 클라이언트 애플리케이션이 기록 입력의 수신을 중단한 경우(예를 들어, 사용자는 터치스크린(204)에서 그의 손가락을 들어올림) 또는 다른 경우에는 편집 또는 기록을 일시중지 또는 중단하는 것과 연관된 입력을 수신하는 경우(예를 들어, 컴퓨팅 디바이스(202)에 대한 더블 탭) 지정된 시간 기간 후에 버퍼링된 비디오 데이터를 폐기할 수 있다. 이러한 방식으로, 클라이언트 애플리케이션은 거짓 양성 기록 입력들을 무시할 수 있다. 또한, 지정된 시간 기간은 최소 기록 길이로서 동작할 수 있다.
다른 실시예들에서, 사용자는 그래픽 사용자 인터페이스 요소(254)에 대응하는 일반적인 영역(예를 들어, 타이머 아이콘(218) 아래 및 비디오 아이콘(206) 위 및 다른 하단 정렬된 아이콘들)에서의 터치스크린(204) 및/또는 아이콘 또는 다른 사용자 인터페이스 요소와 연관되지 않은 터치스크린(204)의 다른 부분들(예를 들어, 360°아이콘(252) 아래, 타이머 아이콘(218) 및 다른 우측 정렬된 아이콘들의 좌측으로, 및 비디오 아이콘(206) 및 다른 하단 정렬된 아이콘들 위)을 누를 수 있다. 일부 실시예들에서, 클라이언트 애플리케이션이 기록 입력을 수신하고 또한 기록 버튼(256)이 클라이언트 애플리케이션이 기록하고 있는 것을 나타내기 위해 불투명(또는 제2 컬러)해질 때까지는, 클라이언트 애플리케이션이 비디오 편집 모드에 있지만 기록 버튼(256)이 반투명(또는 제1 컬러)일 때 그래픽 사용자 인터페이스 요소(254)는 항상 디스플레이될 수 있다.
스크러버(258)는 구면 비디오 데이터의 총 길이에 대해 경과된 구면 비디오 데이터의 시간량을 나타낼 수 있다. 예를 들어, 스크러버(258)는 이 예에서 링의 상부로부터 시작하고 반투명(또는 제1 컬러)인 반시계 방향으로 이동하는 240°원호, 및 링의 상부로부터 시작하고 불투명(또는 제2 컬러)인 시계 방향으로 이동하는 120°원호로서 예시된다. 링의 상부가 구면 비디오의 시작을 나타내고 전방향 진행이 반투명에서 불투명으로(또는 제1 컬러에서 제2 컬러로) 바뀌는 링에 의해 표현되는 경우, 스크러버(258)는 구면 비디오 데이터의 약 1/3이 경과하였음을 나타낸다. 진행을 표시하는 것에 더하여, 사용자는 좌측 스와이프 또는 시계 방향 스와이프를 수행하여 구면 비디오 데이터를 전진시키고 우측 또는 반시계방향 스와이프를 수행하여 구면 비디오를 역전진시키기 위해 스크러버(258)를 사용할 수 있다. 사용자는 터치스크린(204)과의 접촉을 유지하고 또한 동일한 접촉 포인트를 이용하거나 또는 제2 접촉 포인트를 이용하여 (예를 들어, 터치스크린이 멀티 터치를 지원하는 경우) 스와이프를 수행함으로써 구면 비디오를 포워딩 또는 되감기하면서 기록을 계속할 수 있다.
도 2b의 예에서, 컴퓨팅 디바이스(202)는 터치스크린(204) 내의 등장방형 프레임(260)의 일부분을 디스플레이한다. 등장방형 프레임(260)은 터치스크린(204) 내에 디스플레이되지 않지만 장면의 현재 관점으로부터 장면의 상이한 관점으로 움직임을 인도함으로써 액세스가능한 장면의 다른 부분들(파선으로 표시됨)을 포함한다. 클라이언트 애플리케이션은, 키보드 입력 컴포넌트들(예를 들어, 물리적 키보드의 방향 키들, 가상 키보드를 포함하는 터치 스크린, 사진 광학 키보드 등), 포인터 기반 입력 컴포넌트들(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 또는 다른 포인팅 기구들), 움직임 센서들(예를 들어, 가속도계들, 중력 센서들, 자이로스코프들, 회전 벡터 센서들 등), 위치 센서들(예를 들어, 오리엔테이션 센서들, 자력계들 등), 촉각 입력 컴포넌트들(예를 들어, 물리적 버튼, 터치 또는 터치 제스처들의 로케이션 및/또는 힘을 제공하는 터치 스크린 등), 오디오 입력 컴포넌트들(예를 들어, 음성 명령들을 제공하기 위한 마이크로폰), 고주파 입력 컴포넌트들(예를 들어, 초음파, 소나, 레이더 송수신기 등), 광 입력 컴포넌트들(예를 들어, 사용자의 눈, 입술, 혀, 머리, 손가락, 손, 팔, 발, 다리, 몸 등의 움직임에 기초하여 제스처를 검출하기 위한 CCD 또는 CMOS 카메라들, 적외선 카메라들, 라이다 시스템들 및 다른 레이저 시스템들, LED 송수신기들, 등); 및 입력 컴포넌트들의 이러한 타입들의 조합들과 같은 다양한 입력 메커니즘들을 이용하여 움직임 데이터를 검출할 수 있다.
일부 실시예들에서, 움직임 입력 데이터는 또한, 많은 다른 가능성 중에서도, 구면 비디오 데이터에서 표현된 움직이는 물체를 추적하기 위한 선택; 구면 비디오 데이터를 내비게이팅하기 위한 경로, 패턴, 또는 다른 움직임 데이터의 선택; 또는 영숫자 텍스트(예를 들어, 맵 방향들, 좌표들의 리스트 등)와 같은, 디스플레이 스크린상에 디스플레이되는 콘텐츠에 기초할 수 있다.
도 3a 내지 도 3d는 컴퓨팅 디바이스(302)의 디스플레이 스크린상에 디스플레이하기 위해 구면 비디오 데이터 안으로 뷰포트를 제어하기 위한 움직임 데이터를 결정하기 위한 접근법의 예를 도시한다. 컴퓨팅 디바이스(302)는 구면 비디오 데이터의 각도 시야각보다 작은 각도 시야각과 연관될 수 있다. 이 예에서, 컴퓨팅 디바이스(302)는 3개의 수직 축(x-, y-, 및 z-축)을 따른 병진 이동, 및 3개의 수직 축에 대한 회전을 포함하는 약 6 자유도를 이동시킬 수 있다. 특히, 도 3a는 컴퓨팅 디바이스(302)가 이동할 수 있는 예(320)에서, 사용자에게 대체로 등거리인 4개의 코너에서, 좌측에서 우측으로 그리고 우측에서 좌측으로(예를 들어, 제각기 x축을 따라 x+를 향해 그리고 x+로부터 멀어짐), 전방에서 후방으로 및 후방에서 전방으로(예를 들어, 제각기 y축을 따라 y+를 향해 그리고 y+로부터 멀어짐), 그리고 위에서 아래로 및 아래에서 위로(예를 들어, 제각기 z축을 따라 z+를 향해 그리고 z+로부터 멀어짐)의 이동을 보여준다. 도 3b는 예(340)에서 컴퓨팅 디바이스(302)가 (예를 들어, 디바이스의 하부 코너들이 상부 코너들보다 사용자에 더 가까이 있도록 전방으로 기울어지고 및 디바이스의 상부 코너들이 하부 코너들보다 사용자에 더 가까이 있도록 후방으로 기울어지고; x축을 중심으로 회전하도록) 롤링(roll)할 수 있다는 것을 보여준다. 도 3c는 예(360)에서 컴퓨팅 디바이스(302)가 (예를 들어, 상부 좌측 코너가 최고 높이 코너이도록 반시계 방향으로 기울어지고 상부 우측 코너가 최고 높이 코너이도록 시계 방향으로 기울어지고; y축을 중심으로 회전하도록) 피칭(pitch)할 수 있다는 것을 보여준다. 도 3d는 예(380)에서 컴퓨팅 디바이스(302)가 (예를 들어, 디바이스의 좌측 코너들이 우측 코너들보다 사용자에 더 가깝게 되도록 우측으로 비틀어지고 우측 코너들이 좌측 코너들보다 사용자에게 더 가깝게 되도록 좌측으로 비틀어지고; z축을 중심으로 회전하도록) 요잉(yaw)할 수 있다는 것을 보여준다. 각각의 유형의 움직임(예를 들어, 도 3a에 도시된 병진 운동들 또는 도 3b 내지 도 3d에 도시된 회전 운동들 중 하나)은 3차원 공간을 나타내는 구(sphere)를 정의하기 위해 다른 유형들의 움직임 중 하나 이상과 결합될 수 있고, 디바이스는 하나의 자세(예를 들어, 위치 및 오리엔테이션)로부터 다음의 것으로 이동할 수 있다.
일부 실시예들에서, 컴퓨팅 디바이스(302)는 디바이스의 움직임을 검출하기 위해 하나 이상의 움직임 및/또는 위치 센서(예를 들어, 가속도계들, 자이로스코프들, 자력계들 등), 광학 입력 컴포넌트들(예를 들어, CCD 카메라, CMOS 카메라, 적외선 카메라 등), 및/또는 다른 입력 컴포넌트들(도시되지 않음)을 포함할 수 있다. 디바이스 움직임 및 위치를 결정하기 위해 이들 센서들을 사용하기 위한 예들은 ANDROIDTM 플랫폼에 대한 Sensors or Project TangoTM API(application programming interface)들 또는 ARCore(Augmented Reality Core) SDK(software development kit), APPLE®,Inc.로부터의 IOS® 플랫폼을 위한 ARKit(Augmented Reality Kit) 프레임워크들, 또는 다양한 MICROSOFT WINDOWS® 플랫폼들에 대한 Sensors or Mixed Reality API들을 포함한다. 이러한 API들 및 프레임워크들은, 컴퓨팅 디바이스의 움직임 및 위치 센서 데이터와 디바이스의 물리적 주위의 이미지 데이터를 조합하여 시간 경과에 따른 디바이스의 자세를 결정하는, VIO(visual-inertial odometry)를 사용한다. 예를 들어, 이러한 API들 또는 프레임워크들 중 하나를 구현하는 컴퓨팅 디바이스는 컴퓨터 비전을 이용하여 장면에 표현된 물체들 또는 특징들을 인식하고, 비디오 프레임들에 걸쳐 그러한 물체들 및 특징들의 위치들에서의 차이들을 추적하고, 및 하나의 움직임 추적 기법만을 사용하는 것이 아니라 더 정확한 자세 데이터에 도달하기 위해 움직임 및 위치 감지 데이터에 의해 차이들을 비교할 수 있다. 디바이스의 자세는 통상적으로 2개의 좌표 프레임 사이의 회전 및 병진으로서 반환된다. 좌표 프레임들은 좌표계를 반드시 공유하는 것은 아니지만, API들 및 프레임워크들은 다중의 좌표계(예를 들어, 데카르트(Cartesian)(오른손잡이 또는 왼손잡이)), 극, 원통형, 세계, 카메라, 투영, KHRONOS GROUP®, Inc로부터의 OpenGL, UNITY TECHNOLOGIESTM으로부터의 UNITY® 소프트웨어, EPIC GAMES®로부터의 UNREAL ENGINE® 등을 지원할 수 있다.
도 4a 내지 도 4g는 컴퓨팅 디바이스((402)를 이용하여 구면 비디오 데이터를 편집하기 위한 접근법의 예를 도시한다. 이 예에서, 컴퓨팅 디바이스(402)는 터치스크린(404a)상에 구면 비디오 데이터를 디스플레이하고, 그 콘텐츠는 뷰포트(404b)에 표현된다. 구면 비디오 데이터는, 이러한 예들에서, 뷰포트의 제어가 3 자유도로 제한되도록 깊이 정보가 없는 모노스코픽 포맷으로 인코딩된다. 다른 실시예들에서, 구면 비디오 데이터는 입체 비디오 데이터, 3차원(3D) 가상 현실 환경 데이터 또는 다른 컴퓨터 생성 데이터, 차세대 비디오 해상도 데이터, 및 뷰포트(404b)가 6 자유도에 따라 그 주변으로 이동할 수 있도록 깊이를 전달 또는 외삽하기 위한 다른 정보를 포함할 수 있다.
사용자는 예를 들어, 비디오 아이콘(206)을 선택함으로써, 구면 비디오 데이터의 재생을 개시할 수 있다. 이러한 예들에서, 클라이언트 애플리케이션은 움직임 센서들, 위치 센서들, 광학 센서들, 및 다른 센서들 또는 컴포넌트들에 의해 검출된 디바이스의 움직임과 같은, 컴퓨팅 디바이스(402)에 의해 처리된 입력 움직임 데이터에 기초하여 편집들을 지원할 수 있다. 여기서, 뷰포트 제어는, 뷰포트의 위치를 터치스크린(404a)상에 디스플레이되는 구면 비디오 데이터 안으로 변경하기 위해 클라이언트 애플리케이션이 디바이스의 회전들(예를 들어, 롤링, 피칭, 및 요잉)을 검출하게 구성될 수 있도록 3 자유도로 제한된다. 다른 실시예들은 데카르트 공간, 구형 공간, 원통형 공간, 또는 구면 비디오 데이터 안으로 뷰포트의 위치를 제어하기 위한 다른 적합한 좌표계에서 병진들을 사용할 수 있다. 사용자는, 예를 들어 도 2a의 기록 버튼(256)을 누르거나, 기록 버튼(256)을 태핑하거나, 기록을 시작하도록 음성 명령을 발하거나, 또는 또 다른 적합한 입력을 제공함으로써, 편집 모드 또는 기록 모드를 개시할 수 있다. 사용자는, 기록 버튼(256)을 해제하거나, 기록 버튼(256)을 다시 태핑하거나, 기록을 중단하도록 음성 명령을 발하거나, 또는 또 다른 적합한 입력을 제공함으로써, 편집 및 기록을 중단할 수 있다. 컴퓨팅 디바이스(402)는 뷰포트(404b)의 위치를 변경하기 위해 그 움직임을 검출할 수 있고, 뷰포트 내에 디스플레이된 디바이스의 자세 데이터 및/또는 콘텐츠가 기록될 수 있다.
예를 들어, 도 4a는 사용자의 응시가 터치스크린(404a)에 실질적으로 직교할 수 있어서, 디바이스의 4개의 코너가 사용자에게 실질적으로 등거리에 있고 뷰포트(404b)는 x들에 의해 마킹된 사용자에 더 가까운 것으로 보이는 부분들 및 +들에 의해 마킹된 사용자로부터 더 먼 부분들을 갖는 직사각형 터널의 전체 뷰를 포함하도록 하는 컴퓨팅 디바이스(402)의 초기 자세의 예(410)를 도시한다. 도 4b는, 사용자가 초기 자세로부터 컴퓨팅 디바이스(402)를 전방으로 기울여서(예를 들어, 컴퓨팅 디바이스(402)를 수평선에 대해 시계 방향으로 회전시킴), 디바이스의 하부 코너들이 상부 코너들보다 사용자에게 더 가깝게 되고, 뷰포트(404b)가 터널의 하부에 중심을 둔 뷰를 디스플레이하도록 하는 예(420)를 도시한다. 도 4c는, 사용자가 초기 자세로부터 후방으로 컴퓨팅 디바이스를 기울여서(예를 들어, 컴퓨팅 디바이스(402)를 수평선에 대해 반시계 방향으로 회전시킴) 디바이스의 상부 코너들이 하부 코너들보다 사용자에게 더 가깝게 되고, 뷰포트(404b)가 터널의 상부에 중심을 둔 뷰를 포함하도록 하는 예(430)을 도시한다.
도 4d는, 사용자가 초기 자세로부터 상향으로 컴퓨팅 디바이스(402)의 우측을 회전시켜(예를 들어, 터널로의 축을 따른 반시계 방향으로 컴퓨팅 디바이스(402)를 회전시킴) 상단 우측 코너가 가장 높은 코너이고, 뷰포트(404b)가 터널의 기울어진 뷰(예를 들어, 수평선에 대해 상향 경사진)를 디스플레이하는 예(440)를 도시한다. 도 4e는, 사용자가 초기 자세로부터 하향으로 컴퓨팅 디바이스(402)의 좌측을 회전시켜(예를 들어, 터널로의 축을 따른 시계 방향으로 컴퓨팅 디바이스(402)를 회전시킴) 상단 좌측 코너가 가장 높은 코너이고, 뷰포트(404b)가 터널의 기울어진 뷰(예를 들어, 수평선에 대해 하향 경사진)를 포함하는 예(450)를 도시한다.
도 4f는, 사용자가 초기 자세로부터 우측으로 컴퓨팅 디바이스(402)를 비틀어서(예를 들어, 수평선에 수직하고 터치스크린(404a)과 평면을 이루는 축을 중심으로 반시계 방향으로 컴퓨팅 디바이스(402)를 회전시킴), 좌측 코너들이 우측 코너들보다 사용자에게 더 가깝게 되고, 뷰포트(402b)가 터널의 좌측에 중심을 둔 뷰를 디스플레이하도록 하는 예(460)를 도시한다. 도 4g는, 사용자가 초기 자세로부터 좌측으로 컴퓨팅 디바이스(402)를 비틀어서(예를 들어, 수평선에 수직하고 터치스크린(404a)과 평면을 이루는 축을 중심으로 시계 방향으로 컴퓨팅 디바이스(402)를 회전시킴), 디바이스의 우측 코너들이 좌측 코너들보다 사용자에게 더 가깝게 되고, 뷰포트(404b)가 터널의 우측에 중심을 둔 뷰를 디스플레이하도록 하는 예(470)를 도시한다.
이러한 예들이 사용자가 컴퓨팅 디바이스(402)를 기울이고, 회전시키고, 또는 비트는 것을 설명하지만, 사용자의 머리의 움직임 또는 사용자의 응시의 방향의 변화들과 같은 다른 움직임들이 또한 다른 실시예들에서 사용될 수 있다. 예를 들어, 사용자가 자신의 머리 또는 그의 응시 방향을 좌측 방향으로 돌리는 것은 뷰포트(404b)가 도 4f의 예(460)와 유사한 관점(예를 들어, 터널의 좌측에 중심을 둔 뷰)을 보여주는 결과를 낳을 수 있고, 자신의 머리 또는 그의 응시 방향을 우측 방향으로 돌리는 것은 뷰포트(404b)가 도 4의 예(470)와 유사한 관점(예를 들어, 터널의 우측에 중심을 둔 뷰)을 보여주는 결과를 낳을 수 있다. 또 다른 예로서, 마우스에 의한 상향 드래그 제스처 또는 상향 스와이프 터치 제스처는 뷰포트(404b)가 도 4b의 예(420)와 유사한 관점(예를 들어, 터널의 하부에 중심을 둔 뷰)을 보여주는 결과를 낳을 수 있고, 반대로, 마우스에 의한 하향 드래그 제스처 또는 하향 스와이프 터치 제스처는 뷰포트(404b)가 도 4c의 예(430)와 유사한 관점(예를 들어, 터널의 상부에 중심을 둔 뷰)을 보여주는 결과를 낳을 수 있다.
일부 실시예들은, 움직임 센서들, 위치 센서들, 및 구면 비디오 데이터를 내비게이팅하기 위한 카메라들에 부가하여 또는 이것들에 대안적으로, 음성 또는 다른 오디오 명령들, 물리적 또는 가상 키들 또는 버튼들, 영숫자 텍스트(예를 들어, 맵 방향, GPS 좌표 등), 및 그와 유사한 것을 사용할 수 있다. 예를 들어, 뷰를 터널 내로 축을 중심으로 반시계방향으로 회전시키기 위한 오디오 명령 또는 물리적 또는 가상 키 또는 버튼의 선택은 뷰포트(404b)가 도 4d의 예(440)에서와 유사한 관점(예를 들어, 터널의 비스듬한(aslant) 뷰)을 디스플레이하는 결과를 낳을 수 있고, 뷰를 터널 내로 축을 중심으로 시계 방향으로 회전시키는 명령은 뷰포트(404b)가 도 4e의 예(450)에서와 유사한 관점(예를 들어, 터널의 비뚤어진(askew) 뷰)을 보여주는 결과를 낳을 수 있다.
일부 실시예들은 뷰포트(404b)에 도시된 관점을 변경하기 위해 터치스크린(404a)상에 디스플레이된 콘텐츠를 사용할 수 있다. 예를 들어, 구면 비디오 데이터는 관심 대상 물체의 표현을 포함할 수 있고, 클라이언트 애플리케이션은 구면 비디오 데이터의 프레임들에 걸쳐 관심 대상 물체의 추적을 지원할 수 있다. 또 다른 예로서, 클라이언트 애플리케이션은 사용자가 뷰포트를 구면 비디오 데이터 내로 내비게이팅하기 위한 경로, 패턴, 또는 다른 움직임을 선택하게 할 수 있다. 또 다른 예로서, 클라이언트 애플리케이션은 편집된 비디오 안으로 뷰포트를 제어하기 위해 영숫자 텍스트(예를 들어, 맵 방향, 좌표 세트 등)를 수신할 수 있다.
도 5a 내지 도 5f는 비디오 안으로 뷰포트를 제어하기 위해 입력 움직임 데이터에 기초하여 구면 비디오 데이터로부터 편집된 비디오를 표현하기 위한 접근법들의 예들을 도시한다. 도 5a는 구면 비디오 데이터의 프레임, 프레임(512), 및 구상의 포인트들인 포인트들(516 및 518)의 개념적 표현의 예(510)를 도시한다. 이 예에서, 포인트(516)는 컴퓨팅 디바이스(예를 들어, 컴퓨팅 디바이스(402))가 프레임(512)의 일부를 디스플레이하기 위해 사용하는 뷰포트의 원래의 무게중심(도 4a 내지 도 4g의 뷰포트(404b))에 대응할 수 있다. 예를 들어, 프레임(512)은 360°구면 비디오 프레임인 한편, 컴퓨팅 디바이스는 360°미만의 각도 시야각과 연관된 디스플레이 스크린을 가질 수 있다. 포인트(512)는 상대적 값(예를 들어, 원점에 비해, 이전 프레임의 무게중심에 비해) 또는 절대적 값(예를 들어, 극 좌표, 구면 좌표, 데카르트 좌표, GPS 좌표 등)일 수 있다. 포인트(512)는 묵시적 값(예를 들어, 디폴트 값 또는 프레임(512)에 대해 정의되지 않은 경우 이전 프레임의 무게중심의 값) 또는 명시적 값(예를 들어, 메타데이터에서 프레임(512)에 대해 정의됨)일 수 있다. 일부 실시예들에서, 포인트(512)는 특정 메타데이터로부터 도출될 수 있다(예를 들어, 프레임(512)에 대한 메타데이터는 프레임(512)의 일부를 뷰포트에 매핑하는 좌표의 세트를 정의할 수 있고, 메타데이터는 프레임(512)이 장방형 프레임상에 투영되는 경우 프레임(512)의 길이 및 폭을 포함할 수 있음 등).
포인트(518)는 편집 모드 동안 입력 움직임 데이터에 기초하여 프레임(512)에 대한 뷰포트의 새로운 무게중심에 대응할 수 있다. 예를 들어, 사용자가 재생 동안 구면 비디오 데이터의 사본을 기록하고 있고 그의 디바이스를 회전시켜 장면의 상이한 부분이 뷰포트를 통해 보여지도록 야기하는 경우, 구면 비디오 데이터의 사본의 재생 동안의 움직임을 재생성하기 위한 프레임(512)의 회전, 병진, 및/또는 변환의 양은 포인트(518)에 의해 표현될 수 있다. 이 예에서, 프레임(512)의 픽셀들 중 어느 것도 복사된 프레임을 생성하도록 수정되지 않지만, (무게 중심이 이전에 정의되지 않은 경우) 메타데이터가 주입되거나 또는 편집되어 편집된/복사된 비디오의 재생 동안 프레임(512)의 사본 중 어느 부분에 집중되는지를 표시할 수 있다.
논의된 바와 같이, 구면 비디오 데이터의 재생은 상당한 양의 자원(예를 들어, 처리, 메모리, 스토리지, 네트워크, 전력, 및 다른 컴퓨팅 자원들)을 소비할 수 있다. 이는 컴퓨팅 디바이스들의 성능에 악영향을 미칠 수 있고, 특히 데스크톱들 및 서버들에 비해 더 적은 컴퓨팅 자원들을 가질 수 있는 휴대용 컴퓨팅 디바이스들에 대해 그러하다. 일부 실시예들에서, 구면 비디오 프레임들에 대한 변경들은 뷰포트 내에 디스플레이되지 않은 프레임들의 적어도 일부분들을 트리밍하는 것을 또한 포함할 수 있다. 예를 들어, 도 5b는 등장방형 프레임(522)상에 투영되는 구면 비디오 데이터의 프레임의 예(520)를 도시한다. 이 예에서, 프레임(522)의 일부분, 크롭(crop)된 프레임(524)(예를 들어, 백색 부분)은 편집 모드 동안 컴퓨팅 디바이스에 의해 디스플레이되는 프레임(522)의 일부분이다. 크롭된 프레임(524)은 편집된 사본의 새로운 프레임으로서 저장되는 반면, 프레임(522)의 나머지 부분(예를 들어, 회색 부분)은 잘라내어진다. 실시예에서, 클라이언트 애플리케이션은 새로운 프레임에 대한 비디오 데이터에 대한 그래픽 버퍼의 콘텐츠를 검색할 수 있다. 다른 실시예들에서, 클라이언트 애플리케이션은 메모리 또는 스토리지로부터 새로운 프레임에 대한 비디오 데이터를 검색할 수 있다.
예(520)는 등장방형 프레임상에 투영된 구면 비디오 데이터의 프레임을 예시하지만, 다른 실시예들은 구면 좌표계에서의 프레임들을 보존할 수 있다. 예를 들어, 도 5c는 플레이트(534)가 구면 비디오 프레임(532)으로부터 크롭되는 예(530)를 도시한다. 또 다른 실시예들은 다른 유형의 투영들 또는 매핑들(예를 들어, 원통형 투영, 큐브 매핑 등)을 사용할 수 있다. 도 5a 및 도 5c - 도 5f는 구면 비디오 프레임들(532, 542, 552, 및 562)을 개념적 목적들을 위한 구로서 묘사하지만, 이들 프레임들은 임의의 적절한 표면 또는 볼륨상으로 투영될 수 있거나 또는 전혀 투영되지 않을 수 있다. 일부 실시예들은 또한 유사한 기술들을 사용하여 입체 구면 비디오 편집을 지원하지만, 각각의 비디오 프레임에 대해 좌측 프레임 및 우측 프레임을 고려한다.
또한, 모든 실시예들이 편집 동안 구면 비디오 데이터를 디스플레이된 부분 아래로 크롭하지는 않는다. 일부 실시예들에서, 편집된 사본 내의 프레임들의 크기를 감소시키지만 재생 동안 적어도 일부 상호작용성을 계속 지원하기 위해 일부 디스플레이되지 않은 부분들을 보존하도록 다른 크롭 전략들이 사용될 수 있다. 도 5d는 반구(544)가 구면 비디오 프레임(542)으로부터 크롭되는 예(540)를 도시한다. 편집된 사본의 재생 시에, 뷰포트의 뷰는 무게중심(546)상에 중심을 둘 수 있고 또한 깊이 정보가 없는 구면 비디오 데이터에 대해 무게중심으로부터 90°까지의 움직임의 3 자유도, 및 깊이 정보를 갖는 구면 비디오 데이터에 대해 무게중심으로부터 90°까지의 움직임의 6 자유도를 허용할 수 있다. 도 5e는 밴드(554)가 구면 비디오 프레임(552)으로부터 크롭되는 예(550)를 도시한다. 편집된 사본의 재생 시에, 뷰포트의 뷰는 무게중심(556)상에 중심을 둘 수 있고 또한 (θ는 대략 90°이고, 디스플레이 스크린의 각도 시야각은 대략 90°라고 가정하여) 극들을 통해 뻗어나가는 축에 대한 움직임의 1 자유도를 허용할 수 있다. 즉, 컴퓨팅 디바이스는 구면 비디오 데이터 안으로 뷰포트의 위치를 변경하기 위해 좌측 및 우측 비틀림들을 검출할 수 있지만, 전방, 후방, 좌측, 및 우측 기울어짐들을 무시할 수 있다. 도 5f는 반 반구(semi hemisphere)(564)가 구면 비디오 프레임(562)으로부터 크롭되는 예(560)를 도시한다. 편집된 사본의 재생 시에, 뷰포트의 뷰는 무게중심(566)상에 중심을 둘 수 있고 또한 (θ가 대략 90°이고 디스플레이 스크린의 각도 시야각이 대략 90°인 것으로 가정하여) 적도에 대한 움직임의 1 자유도를 허용할 수 있다. 즉, 컴퓨팅 디바이스는 구면 비디오 데이터 안으로 뷰포트의 위치를 변경하기 위해 전방 및 후방 기울어짐을 검출할 수 있지만 좌측 및 우측 기울어짐들 및 비틀림들을 무시할 수 있다.
도 6은 구면 비디오 안으로 뷰포트를 제어하는 움직임 데이터에 기초하여 구면 비디오를 편집하기 위한 프로세스의 예인 프로세스(600)를 도시한다. 컴퓨팅 디바이스(예를 들어, 도 13의 컴퓨팅 디바이스(1300)), 특히 컴퓨팅 디바이스상에서 실행되는 애플리케이션(예를 들어, 도 12의 클라이언트 애플리케이션(1234))은 프로세스(600)를 수행할 수 있다. 프로세스(600)는 컴퓨팅 디바이스가 디바이스상에서의 재생을 위해 구면 비디오 데이터를 수신하는 단계 602에서 시작할 수 있다. 컴퓨팅 디바이스는 내장 구면 비디오 캡처링 시스템으로부터 또는 또 다른 디바이스로부터(예를 들어, 이메일 또는 다른 전자 통신에 대한 첨부로서, 인터넷으로부터의 다운로드로서, 로컬 무선 통신 채널(예를 들어, Wi-Fi, BLUETOOTH®, NFC(near field communication)을 통한 송신으로서, 등), USB 플래시 드라이브 또는 다른 디스크 또는 드라이브 등으로부터) 구면 비디오 데이터를 수신할 수 있다.
단계 604에서, 컴퓨팅 디바이스는 비디오의 fps(예를 들어, 24 fps, 48 fps, 60 fps 등)에 기초하여 프레임 단위로 구면 비디오 데이터를 디스플레이할 수 있다. 구면 비디오 데이터는 컴퓨팅 디바이스의 디스플레이 스크린/터치스크린/헤드 장착 디스플레이(예를 들어, 디스플레이 요소)와 연관된 각도 시야각(예를 들어, 60°, 90°, 120°, 기타 등등)보다 큰 각도 시야각(예를 들어, 180°, 270°, 360°)과 연관될 수 있어서, 디스플레이 요소가 특정 위치(예를 들어, 원점, 구의 주 자오선과 적도의 교점, 뷰포트의 무게중심, 기타 등등)에서 구면 비디오 데이터 안으로의 뷰포트로서 동작하도록 한다. 구면 비디오 데이터는 다양한 유형의 표면들 및 볼륨들(예를 들어, 등장방형 프레임, 원통형 프레임, 큐브 맵 등)에 투영되거나 매핑될 수 있다. 구면 비디오 데이터는 균일한 해상도(예를 들어, 프레임 전체에 걸쳐 동일한 해상도) 또는 포비티드(foveated) 해상도(예를 들어, 다른 영역들보다 높은 해상도인 하나 이상의 영역을 갖는 프레임에 걸쳐 변하는 것) 또는 다른 변화하는 해상도를 포함하는 다양한 해상도들(예를 들어, 1920x1080, 2560x1440, 3840x2160 등)을 포함할 수 있다. 구면 비디오 데이터는 모노스코픽 또는 입체적일 수 있다.
구면 비디오 데이터가 디스플레이됨에 따라, 컴퓨팅 디바이스는 그것이 구면 비디오 편집/재기록 모드에 있는지를 결정할 수 있는 단계 606으로 진행할 수 있다. 예를 들어, 디바이스는 그것이 구면 비디오 데이터의 편집과 연관된 제1 입력을 수신한 때와 그것이 구면 비디오 데이터의 편집/기록의 중지와 연관된 제2 입력을 수신했을 때 사이의 지속기간 내에 그것이 편집/재기록 모드에 있는 것을 결정할 수 있다. 일부 실시예들에서, 제1 입력은 컴퓨팅 디바이스의 터치스크린의 영역(예를 들어, 도 2b의 기록 버튼(256)); 360°아이콘(252) 아래의, 타이머 아이콘(218) 및 다른 우측 정렬된 아이콘들의 좌측으로의 터치스크린(204)의 영역, 및 비디오 아이콘(2067) 및 다른 하단 정렬된 아이콘들의 위; 등)과의 연속적인 접촉을 포함할 수 있고; 및 제2 입력은 터치스크린(204)의 해당 영역과의 접촉을 중단하는 것을 포함할 수 있다. 다른 실시예들에서, 컴퓨팅 디바이스는 편집/기록을 개시하기 위한 다양한 다른 유형의 입력들(예를 들어, 하나 이상의 물리적 또는 가상 키들 또는 버튼들의 액추에이션, 음성 명령들, 터치 제스처들, 손 제스처들, 눈 제스처들, 머리 제스처들, 몸 제스처들, 디바이스 움직임 제스처 등), 및 편집/재기록을 일시중지 또는 중단하기 위한 동일하거나 유사한 입력들을 검출할 수 있다. 어떤 편집/재기록 입력도 수신되지 않는 경우, 클라이언트 애플리케이션은 구면 비디오 데이터가 임의의 더 많은 프레임들을 포함하는지를 결정하기 위해 단계 614로 계속된다.
편집/재기록 모드 동안, 컴퓨팅 디바이스는 컴퓨팅 디바이스가 뷰포트의 위치를 제어하기 위해 물체의 움직임을 추적하는 단계 608로 계속될 수 있다. 예를 들어, 도 4b에 도시된 바와 같이 디바이스의 전방 회전은 뷰포트를 하향으로 이동시킬 수 있고, 도 4c에 도시된 바와 같이 후방 회전은 뷰포트를 위쪽으로 이동시킬 수 있고, 도 4f에 도시된 바와 같이 우측으로의 디바이스의 회전은 뷰포트를 좌측으로 이동시킬 수 있고, 도 4g에 도시된 바와 같이 우측으로의 회전은 뷰포트를 우측으로 이동시킬 수 있고, 도 4d에 도시된 바와 같이 디바이스를 좌측으로 비트는 것은 뷰포트를 대각선으로 그리고 상향으로 경사 이동시킬 수 있고, 도 4e에 도시된 바와 같이 우측으로 비트는 것은 뷰포트를 대각선으로 그리고 하향으로 경사 이동시킬 수 있다. 또한, 편집/재기록된 비디오 데이터와 연관된 각도 시야각이 디스플레이의 각도 시야각 이하인 경우, 뷰포트는 편집/재기록된 비디오 데이터의 전체 프레임을 구성할 수 있다. 반면, 편집/재기록된 비디오와 연관된 각도 시야각이 디스플레이와 연관된 각도 시야각보다 크면, 편집/재기록된 비디오의 각각의 프레임은 뷰포트의 새로운 위치에 중심을 둘 수 있다.
일부 실시예들에서, 추적된 물체는 컴퓨팅 디바이스 자체일 수 있다. 컴퓨팅 디바이스는 디바이스 움직임 및 위치를 결정하기 위해 VIO(visual-inertial odometry) 기술들 또는 움직임/위치/오리엔테이션 센서들(예를 들어, 가속도계들, 자이로스코프들, 자력계들 등) 및 광학 센서들(예를 들어, CCD 또는 CMOS 카메라들, 적외선 송수신기들 등)의 조합을 사용하여 그의 움직임을 검출할 수 있다. 디바이스가 그 자신의 움직임(또는 그 환경에 대한 움직임)을 추적함에 따라, 구면 비디오 데이터 안으로의 뷰포트의 위치는 움직임에 응답하여 변경될 수 있다. 예를 들어, 컴퓨팅 디바이스가 도 4b 및 도 4c에 도시된 바와 같이 수평선을 중심으로 한 회전을 검출하는 경우, 구면 비디오 데이터 안으로의 뷰포트는 제각기 예들 420 및 430과 유사하게 변경될 수 있다. 유사하게, 도 4d 및 도 4e에 도시된 바와 같이 디바이스의 평면에 직교하는 축을 중심으로 한 회전들은 제각기 뷰포트의 위치를 예들 440 및 450의 위치로 변경할 수 있고, 도 4f 및 도 4g에 도시된 바와 같이, 디바이스에 대해 평면을 이루고 수평선에 수직인 축을 중심으로 한 회전들은 제각기 뷰포트의 위치를 예들 460 및 470의 위치로 변경할 수 있다.
다른 실시예들에서, 추적된 물체는 눈, 입술, 혀, 머리, 손가락, 손, 팔, 발, 다리, 몸체, 및/또는 컴퓨팅 디바이스가 장착되거나 통합되는 사용자 또는 다른 물체의 다른 부분(예를 들어, 드론, 스마트 자동차 등)일 수 있다. VIO(visual-inertial odometry) 외에도, 많은 가능성들 중에서도, 용량성 감지, 유도성 감지, 자력 감지, 레이더, 라이다, 음파, 또는 초음파 감지와 같이 물체를 추적하기 위해 다양한 다른 기술들이 또한 사용될 수 있다. 추적된 물체는 특정 실시예들에서 반드시 물리적 물체가 되는 것은 아니다. 예를 들어, 추적된 물체는 또한 구면 비디오 데이터(실제 또는 가상)에 표현된 물체를 포함할 수 있고, 광학 흐름(예를 들어, 덴스 광학 흐름(dense optical flow), 듀얼 총 변동(Dual total variation)(TV)(제각기 L1 놈), 파네백 광학 흐름(Farneback optical flow), 스파스 광학 흐름(sparse optical flow) 등), 칼만 필터링, 부스팅(예를 들어, AdaBoost), 신경 네트워크들 네트워크들(예를 들어, GOTURN), 커널링된 상관 필터들(KCF), 메디안 흐름(median flow), 다중 인스턴스 학습(MIL), 추적, 학습, 및 검출(TLD), 또는 다른 적절한 물체 추적 알고리즘과 같이 물체들을 추적하기 위한 컴퓨터 비전 기술들을 이용하여 추적될 수 있다.
프로세스(600)는 클라이언트 애플리케이션이 추적된 물체의 움직임에 기초하여 구면 비디오 데이터 안으로의 뷰포트의 새로운 위치를 계산할 수 있는 단계 610으로 계속될 수 있다. 일부 실시예들에서, 움직임 데이터는 구면 비디오 안으로의 뷰포트의 새로운 위치를 표현하는 프레임 대 무게중심의 매핑(예를 들어, 극 좌표, 원통 좌표, 등장방형 좌표, GPS 좌표 등)으로서 저장될 수 있다. 움직임 데이터는 정의된 좌표계에 기초한 절대값들 또는 선행 비디오 프레임에 대한 무게중심에 의존하는 상대값들을 포함할 수 있다. 다른 실시예들에서, 움직임 데이터는 뷰포트를 새로운 위치로 다시 중심을 두기 위한 회전, 병진, 및/또는 변환 정보를 포함할 수 있다. 움직임 데이터는 (구면 비디오 데이터에서 정의되지 않은 경우) 편집된 비디오 안으로 메타데이터로서 주입될 수 있거나, 또는 클라이언트 애플리케이션은 편집된 비디오에 대한 구면 비디오 데이터의 메타데이터를 업데이트할 수 있다. 또 다른 실시예들에서, 움직임 데이터는 편집된 사본의 대응하는 프레임에 대한 원래의 구면 비디오 프레임으로부터 추출하기 위한 표면 또는 볼륨을 정의할 수 있다.
도 5d 내지 도 5f와 관련하여 논의된 바와 같이, 편집된 사본에 대해 추출된 구면 비디오 프레임은 컴퓨팅 디바이스의 디스플레이 스크린의 각도 시야각으로 반드시 제한되는 것은 아니며, 그것의 크기를 줄이지만 일부의 상호작용성 또는 "몰입성(immersiveness)"을 보존하기 위해 구면 비디오의 부분들을 절단하거나 크롭하는 다른 차원들의 표면들 또는 볼륨들을 또한 포함할 수 있다. 일부 실시예들에서, 클라이언트 애플리케이션 또는 그것이 통신하는 서버는 편집된 비디오를 다른 사용자들의 컴퓨팅 디바이스들에 배포하기 위한 동적 송신 스킴을 시행할 수 있다. 예를 들어, 클라이언트 애플리케이션 또는 서버는 구면 비디오 데이터 편집기가 뷰포트를 구면 비디오 안으로 다시 향하게 하는 방법에 대응하는 움직임 데이터를 수신할 수 있다. 클라이언트 애플리케이션 또는 서버는 다른 사용자의 컴퓨팅 자원(예를 들어, 처리, 메모리, 스토리지, 네트워크 대역폭, 전원 등)의 정도 및 이용가능성을 결정할 수 있고, 이들 사용자의 컴퓨팅 디바이스들에 가장 적합한 편집된 비디오의 버전을 스트리밍하거나 송신할 수 있다. 다른 사용자의 컴퓨팅 디바이스가 충분한 자원을 갖는 경우, 클라이언트 애플리케이션 또는 서버는 구면 비디오 데이터(예를 들어, 최초 구면 비디오 프레임을 회전/병진/왜곡하여 편집기에 의해 정의된 새로운 프레임을 생성하는 방법을 나타내는 메타데이터를 가지며 풀 해상도로 360°비디오)의 전체 편집된 버전을 배포할 수 있다. 네트워크 대역폭이 낮거나 또는 다른 사용자의 컴퓨팅 디바이스가 구면 비디오 데이터의 전체 편집된 버전을 재생하기 위한 자원들이 다른 식으로 결여되는 경우, 클라이언트 애플리케이션은 편집된 비디오의 크롭된 버전, 더 낮은 해상도 버전, 더 낮은 fps 속도를 갖는 버전, 포비티드 버전, 이들 접근법들의 조합, 또는 다른 더 작은 버전을 송신할 수 있다. 송신측 사용자 및 수신측 사용자는 편집 및/또는 배포 동안 버전을 또한 구성할 수 있다.
단계 612에서, 클라이언트 애플리케이션은 구면 비디오 데이터가 임의의 더 많은 프레임들을 포함하는지를 평가할 수 있다. 추가 프레임들이 존재하는 경우, 프로세스(600)는 단계들 604-612를 반복할 수 있다. 어떤 추가 프레임들도 없는 경우, 프로세스(600)는 종료될 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스는 또한, 편집된 비디오를, 사용자의 친구들 및 다른 연락처들과 연관된 디바이스들과 같은 하나 이상의 다른 컴퓨팅 디바이스에 송신할 수 있다. 일부 실시예들에서, 컴퓨팅 디바이스는 최초 구면 비디오 데이터를 다른 컴퓨팅 디바이스들에 송신하고, 뷰포트의 위치들을 구면 비디오 데이터 안으로 변경하기 위한 메타데이터(예를 들어, 프레임 대 무게중심 매핑; 좌표들; 회전, 병진, 및/또는 변환 정보 등)을 송신할 수 있다. 이는 다른 컴퓨팅 디바이스들이 편집된 비디오뿐만 아니라 최초 구면 비디오 데이터를 디스플레이하는 것을 가능하게 할 수 있다.
도 7은 본 개시내용의 다양한 실시예들이 전개될 수 있는 시스템의 예, 네트워크 환경(700)을 도시한다. 본 명세서에서 논의되는 임의의 시스템 또는 시스템 요소에 대해, 달리 언급되지 않는 한, 다양한 실시예들의 범위 내에서, 유사하거나 대안적인 순서들로, 또는 병렬로 배열되는 추가적인, 더 적은, 또는 대안적인 컴포넌트들이 있을 수 있다. 네트워크 환경(700)이 클라이언트-서버 아키텍처이지만, 다른 실시예들은 피어-투-피어 또는 분산형 네트워크 환경들과 같은 다른 네트워크 아키텍처들을 활용할 수 있다.
이 예에서, 네트워크 환경(700)은 콘텐츠 관리 시스템(702)을 포함한다. 콘텐츠 관리 시스템(702)은 인터페이스 계층(704), 애플리케이션 로직 계층(706), 및 데이터 계층(708)을 포함하는 3계층 아키텍처에 기초할 수 있다. 네트워크 환경(700)의 각각의 모듈 또는 컴포넌트는 실행가능 소프트웨어 명령어들의 세트 및 명령어들을 실행하기 위한 대응하는 하드웨어(예를 들어, 메모리 및 프로세서)를 나타낼 수 있다. 불필요한 세부 사항으로 본 개시 내용의 발명 대상을 모호하게 하는 것을 회피하기 위해, 발명 대상의 이해를 전달하는 것과 관련이 없을 수 있는 다양한 기능 모듈들 및 컴포넌트들이 생략되었다. 물론, 본 명세서에서 구체적으로 설명되지 않은 추가 기능을 용이하게 하기 위해 추가 기능 모듈들 및 컴포넌트들이 콘텐츠 관리 시스템(702)과 함께 사용될 수 있다. 또한, 네트워크 환경(700)에 도시된 다양한 기능 모듈들 및 컴포넌트들은 단일 서버상에 상주할 수 있거나, 또는 여러 서버들에 걸쳐 다양한 배열들로 분산될 수 있다. 더욱이, 콘텐츠 관리 시스템(702)이 3계층 아키텍처를 갖지만, 본 개시내용의 발명 대상은 전혀 이러한 아키텍처로만 제한되지 않는다.
인터페이스 계층(704)은, 클라이언트 애플리케이션들(도시되지 않음)을 실행하는 클라이언트 디바이스들(720) 및 제3자 애플리케이션들(724)을 실행하는 제3자 서버들(722)과 같은, 다양한 클라이언트 컴퓨팅 디바이스들 및 서버들로부터 요청들을 수신할 수 있는, 인터페이스 모듈들(710)(예를 들어, 웹 인터페이스, 모바일 애플리케이션(앱) 인터페이스, REST(restful state transfer) 애플리케이션 프로그래밍 인터페이스(API) 또는 다른 API 등)을 포함한다. 수신된 요청에 응답하여, 인터페이스 모듈들(710)은 광역 네트워크(WAN)(726)(예를 들어, 인터넷)를 통해 요청 디바이스들에 적절한 응답들을 전달한다. 예를 들어, 인터페이스 모듈들(710)은 HTTP 요청들, 또는 다른 API(Application Programming Interface) 요청들과 같은 요청들을 수신할 수 있다.
클라이언트 디바이스들(720)은 매우 다양한 모바일 컴퓨팅 디바이스들 및 모바일 특정적 운영 체제들(예를 들어, APPLE®Inc.로부터의 iOS 플랫폼, GOOGLE®,Inc.로부터의 ANDROIDTM 플랫폼, MICROSOFT®Inc.로부터의 WINDOWS PHONE® 플랫폼 등) 중 임의의 것을 포함하는 특정 플랫폼에 대해 개발된 웹 브라우저들 또는 앱들을 실행할 수 있다, . 클라이언트 디바이스(720)는 정보를 사용자에게 제시하고 WAN(726)을 통해 통신하여 콘텐츠 관리 시스템(702)과 정보를 교환하는 기능을 제공할 수 있다.
일부 실시예들에서, 클라이언트 디바이스들(720)은, 일부 실시예들과 일치하여, 사용자들이 비디오 메시지들 또는 텍스트 메시지들을 포함하는 미디어 콘텐츠를 포함하는 일시적 메시지들을 교환하는 것을 허용하는 SNAPCHAT®와 같은 클라이언트 애플리케이션을 포함할 수 있다. 이 예에서, 클라이언트 애플리케이션은 본 명세서에 설명된 실시예들의 양태들을 통합할 수 있다. 일시적 메시지들은 시청 시간 또는 시청 완료와 같은 삭제 트리거 이벤트에 후속하여 삭제될 수 있다. 이러한 실시예들에서, 디바이스는, 일시적 메시지의 양태들을 생성, 송신, 수신 또는 디스플레이하는 것 중 임의의 정황 내에서 본 명세서에서 설명된 다양한 컴포넌트들을 이용할 수 있다.
클라이언트 디바이스들(720)은 각각이 콘텐츠 관리 시스템(702)에 액세스하기 위해 적어도 디스플레이 및 WAN(726)과의 통신 기능을 포함할 수 있다. 클라이언트 디바이스들(720)은 원격 디바이스들, 워크스테이션들, 컴퓨터들, 범용 컴퓨터들, 인터넷 기기들, 핸드헬드 디바이스들, 무선 디바이스들, 휴대용 디바이스들, 웨어러블 컴퓨터들, 셀룰러 또는 모바일 폰들, PDA들(personal digital assistants), 스마트폰들, 태블릿들, 울트라북들, 넷북들, 랩톱들, 데스크톱들, 멀티-프로세서 시스템들, 마이크로프로세서-기반 또는 프로그래머블 소비자 가전, 게임 콘솔들, 셋톱 박스들, 네트워크 PC들, 미니-컴퓨터들 등을 포함할 수 있다.
데이터 계층(708)은 정보 저장 리포지토리 또는 데이터베이스(718)에의 액세스를 용이하게 할 수 있는 데이터베이스 서버들(716)을 포함한다. 데이터베이스들(718)은 멤버 프로파일 데이터, 소셜 그래프 데이터(예를 들어, 콘텐츠 관리 시스템(702)의 멤버들 사이의 관계들), 및 다른 사용자 데이터 및 다양한 해상도들에서의 구면 비디오 데이터와 같은 콘텐츠 데이터 등과 같은 데이터를 저장하는 스토리지 디바이스들일 수 있다.
애플리케이션 로직 계층(706)은 본 명세서에서 논의되는 다양한 비디오 특징들을 지원하기 위한 비디오 모듈들(714), 및 인터페이스 모듈들(710)과 연계하여 데이터 계층(708)에서의 다양한 데이터 소스들 또는 데이터 서비스들로부터 검색된 데이터로 다양한 사용자 인터페이스들을 생성할 수 있는 애플리케이션 로직 모듈들(712)을 포함한다. 개별 애플리케이션 로직 모듈들(712)은 콘텐츠 관리 시스템(702)의 다양한 애플리케이션들, 서비스들, 및 특징들과 연관된 기능을 구현하기 위해 사용될 수 있다. 예를 들어, 클라이언트 애플리케이션은 하나 이상의 애플리케이션 로직 모듈(712)을 사용하여 구현될 수 있다. 클라이언트 애플리케이션은 클라이언트 디바이스들(720)의 사용자들이 텍스트 및 사진들 및 비디오와 같은 미디어 콘텐츠를 포함하는 메시지들을 송신 및 수신하기 위한 메시징 메커니즘을 제공할 수 있다. 클라이언트 디바이스들(720)은 지정된 시간기간(예를 들어, 제한되거나 또는 제한되지 않음) 동안 클라이언트 애플리케이션으로부터의 메시지를 액세스하고 볼 수 있다. 실시예에서, 특정 메시지는, 특정 메시지가 처음 액세스될 때 시작하는 (예를 들어, 메시지 송신자에 의해 지정된) 미리 정의된 지속기간 동안 메시지 수신자에게 액세스될 수 있다. 미리 정의된 지속기간이 경과한 후에, 메시지는 삭제되고 더 이상 메시지 수신자에게 액세스될 수 없다. 물론, 다른 애플리케이션 및 서비스들은 그들 자신의 애플리케이션 로직 모듈(712)에서 별개로 구체화될 수 있다.
도 8은 클라이언트 애플리케이션(802)(예를 들어, 도 8의 클라이언트 디바이스(820)상에서 실행되는 것) 및 애플리케이션 서버(804)(예를 들어, 애플리케이션 로직 계층(806)의 구현)를 포함하는 콘텐츠 관리 시스템(800)의 예를 도시한다. 이 예에서, 콘텐츠 관리 시스템(800)의 동작은 일시적 타이머 인터페이스(806), 컬렉션 관리 인터페이스(808), 및 주석 인터페이스(810)를 통해 클라이언트 애플리케이션(802)과 애플리케이션 서버(804) 사이의 다양한 상호작용을 포괄한다.
일시적 타이머 인터페이스(806)는 클라이언트 애플리케이션(802) 및 서버 애플리케이션(804)에 의해 허용되는 콘텐츠에의 일시적 액세스를 집행하는 것을 담당하는 콘텐츠 관리 시스템(800)의 서브시스템일 수 있다. 이를 위해, 일시적 타이머 인터페이스(1014)는, 콘텐츠와 연관된 지속기간 및 디스플레이 파라미터들, 또는 콘텐츠의 컬렉션(예를 들어, 메시지들, 비디오들, SNAPCHAT® 스토리 등)에 기초하여, 클라이언트 애플리케이션(802)을 통해 콘텐츠에의 액세스를 선택적으로 디스플레이하고 인에이블하는 다수의 타이머를 통합할 수 있다. 일시적 타이머 인터페이스(806)의 동작에 관한 추가 상세 사항들이 아래에 제공된다.
컬렉션 관리 인터페이스(808)는 미디어의 컬렉션들(예를 들어, 텍스트, 이미지, 비디오, 오디오, 애플리케이션 등의 컬렉션)을 관리하는 것을 담당하는 콘텐츠 관리 시스템(800)의 서브시스템일 수 있다. 일부 실시예들에서, 콘텐츠의 컬렉션(예를 들어, 텍스트, 이미지, 비디오, 오디오, 애플리케이션 등을 포함하는 메시지들)은 "이벤트 갤러리" 또는 "이벤트 스토리"로 조직화될 수 있다. 이러한 컬렉션은, 콘텐츠가 관련된 이벤트의 지속기간과 같은, 지정된 시간기간 동안 이용가능하게 될 수 있다. 예를 들어, 음악 콘서트와 관련된 콘텐츠는 해당 음악 콘서트의 지속기간 동안 "스토리"로서 이용가능하게 될 수 있다. 컬렉션 관리 인터페이스(808)는 또한 특정 컬렉션의 존재를 클라이언트 애플리케이션(802)의 사용자 인터페이스에 통지하는 것을 공표하는 것을 담당할 수 있다.
이 예에서, 컬렉션 관리 인터페이스(808)는 컬렉션 관리자가 콘텐츠의 특정 컬렉션을 관리하고 큐레이션할 수 있게 하는 큐레이션 인터페이스(812)를 포함한다. 예를 들어, 큐레이션 인터페이스(812)는 이벤트 조직자가 특정 이벤트에 관련된 콘텐츠의 컬렉션을 큐레이션하는 것을 가능하게 할 수 있다(예를 들어, 적합하지 않은 콘텐츠 또는 중복 메시지들을 삭제함). 또한, 컬렉션 관리 인터페이스(808)는 머신 비전(또는 이미지 인식 기술) 및 콘텐츠 규칙을 채택하여 콘텐츠 수집을 자동으로 큐레이션할 수 있다. 특정 실시예들에서, 사용자 생성 콘텐츠를 컬렉션에 포함시키는 것에 대한 보상이 사용자에게 지불될 수 있다. 그러한 경우들에서, 큐레이션 인터페이스(812)는 그들의 콘텐츠를 사용하기 위해 이러한 사용자들에게 자동으로 지불할 수 있다.
주석 인터페이스(810)는 사용자가 콘텐츠를 주석화하거나 다른 방식으로 수정 또는 편집할 수 있게 하는 다양한 기능들을 제공하는 콘텐츠 관리 시스템(800)의 서브시스템일 수 있다. 예를 들어, 주석 인터페이스(810)는 콘텐츠 관리 시스템(800)에 의해 처리된 메시지 또는 다른 콘텐츠에 대한 미디어 오버레이의 생성 및 공표와 관련된 기능을 제공할 수 있다. 주석 인터페이스(810)는 클라이언트 디바이스의 지리 위치에 기초하여 클라이언트 애플리케이션(802)에 미디어 오버레이(예를 들어, SNAPCHAT® 필터)를 공급할 수 있다. 또 다른 예로서, 주석 인터페이스(810)는 클라이언트 디바이스의 사용자의 소셜 네트워크 정보와 같은 다른 정보에 기초하여 미디어 오버레이를 클라이언트 애플리케이션(802)에 공급할 수 있다. 미디어 오버레이는 오디오 및 시각적 콘텐츠 및 시각적 효과를 포함할 수 있다. 오디오 및 시각적 콘텐츠의 예들은 픽처들, 텍스트들, 로고들, 애니메이션들, 및 사운드 효과들을 포함한다. 시각적 효과의 예는 컬러 오버레잉을 포함한다. 오디오 및 시각적 콘텐츠 또는 시각적 효과는 클라이언트 디바이스에 있는 미디어 콘텐츠 항목(예를 들어, 사진)에 적용될 수 있다. 예를 들어, 미디어 오버레이는 클라이언트 디바이스에 의해 촬상되어 생성되는 사진의 상단 상에 오버레이될 수 있는 텍스트를 포함한다. 또 다른 예에서, 미디어 오버레이는, 위치 식별 오버레이(예를 들어, Venice beach), 라이브 이벤트의 이름, 또는 상인 이름 오버레이(예를 들어, Beach Coffee House)를 포함할 수 있다. 또 다른 예에서, 주석 인터페이스(810)는 클라이언트 디바이스의 지리 위치에서 상인의 이름을 포함하는 미디어 오버레이를 식별하기 위해 클라이언트 디바이스의 지리 위치를 사용할 수 있다. 미디어 오버레이는 상인과 연관된 다른 표시를 포함할 수 있다. 미디어 오버레이들은 데이터베이스(예를 들어, 도 7의 데이터베이스(718))에 저장되고 데이터베이스 서버(예를 들어, 데이터베이스 서버(716))를 통해 액세스될 수 있다.
실시예에서, 주석 인터페이스(810)는 사용자들이 지도상의 지리 위치를 선택하고, 선택된 지리 위치와 연관된 콘텐츠를 업로드할 수 있게 하는 사용자 기반 공표 플랫폼을 제공할 수 있다. 사용자는 또한 특정 미디어 오버레이가 다른 사용자들에게 제공되어야 하는 상황들을 지정할 수 있다. 주석 인터페이스(810)는 업로드된 콘텐츠를 포함하는 미디어 오버레이를 생성할 수 있고 업로드된 콘텐츠를 선택된 지리위치와 연관시킬 수 있다.
또 다른 실시예에서, 주석 인터페이스(810)는 상인들이 입찰 프로세스를 통해 지리위치와 연관된 특정 미디어 오버레이를 선택할 수 있게 하는 상인 기반 공표 플랫폼을 제공할 수 있다. 예를 들어, 주석 인터페이스(810)는 최고가 입찰 상인의 미디어 오버레이를 미리 정의된 시간량 동안 대응하는 지리위치와 연관시킬 수 있다.
도 9는 콘텐츠 관리 시스템(900)과 같은 콘텐츠 관리 시스템에 대한 데이터 모델(900)의 예를 도시한다. 데이터 모델(900)의 콘텐츠가 다수의 테이블을 포함하는 것으로 도시되어 있지만, 데이터는 객체 데이터베이스, 비관계형 또는 "NoSQL(not only SQL) 데이터베이스, 고 분산형 파일 시스템(예를 들어, HDFS(HADOOP® distributed filed system), 등등과 같은 다른 유형의 데이터 구조들에 저장될 수 있다는 것을 잘 알 것이다.
데이터 모델(900)은 메시지 테이블(914) 내에 저장된 메시지 데이터를 포함한다. 엔티티 테이블(902)은 엔티티 그래프들(904)을 포함하는 엔티티 데이터를 저장한다. 엔티티 테이블(902) 내에 레코드들이 유지되는 엔티티들은 개인들, 회사 엔티티들, 조직들, 물체들, 장소들, 이벤트들 등을 포함할 수 있다. 유형에 관계없이, 콘텐츠 관리 시스템(900)이 데이터를 저장하는 것에 관한 임의의 엔티티는 인식된 엔티티일 수 있다. 각각의 엔티티는 고유 식별자뿐만 아니라 엔티티 유형 식별자(도시되지 않음)를 구비한다.
엔티티 그래프들(904)은 엔티티들 간의 관계성들 및 연관성들에 관한 정보를 저장한다. 이러한 관계성들은 사회적, 전문적(예를 들어, 흔한 회사 또는 조직에서의 작업), 관심 기반, 활동 기반, 또는 다른 특성들에 기초할 수 있다.
데이터 모델(900)은 또한 주석 데이터를, 주석 테이블(912)에, 예시적인 필터들의 형태로 저장한다. 데이터가 주석 테이블(912) 내에 저장되는 필터들은 (데이터가 비디오 테이블(910)에 저장되는) 비디오들 및/또는 (데이터가 이미지 테이블(908)에 저장되는) 이미지들과 연관되고 그에 적용된다. 한 예에서, 필터들은, 수신 사용자로의 프레젠테이션 동안 이미지 또는 비디오상에 오버레이되어 디스플레이되는 오버레이들이다. 필터들은 송신측 사용자가 메시지를 작성하고 있을 때 클라이언트 애플리케이션(902)에 의해 송신측 사용자에게 제시되는 필터들의 갤러리로부터의 사용자 선택 필터들을 포함하여 다양한 유형의 것일 수 있다. 다른 유형의 필터들은, 지리적 위치에 기초하여 송신측 사용자에게 제시될 수 있는 지리위치 필터들(지리필터라고도 알려짐)을 포함한다. 예를 들어, 이웃 또는 특수 위치에 특정적인 지리위치 필터들은, 클라이언트 디바이스의 GPS 유닛에 의해 결정된 지리위치 정보에 기초하여, 도 8의 클라이언트 애플리케이션(802)에 의해 사용자 인터페이스 내에 제시될 수 있다. 또 다른 유형의 필터는, 메시지 생성 프로세스 동안 클라이언트 디바이스에 의해 수집된 다른 입력들 또는 정보에 기초하여 클라이언트 애플리케이션(802)에 의해 송신측 사용자에게 선택적으로 제시될 수 있는 데이터 필터이다. 데이터 필터들의 예는, 특정 위치에서의 현재 온도, 송신측 사용자가 이동하고 있는 현재 속도, 클라이언트 디바이스에 대한 배터리 수명, 현재 시간, 또는 클라이언트 디바이스에 의해 캡처 또는 수신된 다른 데이터를 포함한다.
이미지 테이블(908) 내에 저장될 수 있는 다른 주석 데이터는 "렌즈" 데이터를 포함할 수 있다. "렌즈"는 이미지 또는 비디오에 추가될 수 있는 실시간 특수 효과 및 사운드일 수 있다.
앞서 논의한 바와 같이, 비디오 테이블(910)은, 일 실시예에서, 레코드들이 메시지 테이블(914) 내에 유지되는 메시지들과 연관되는 비디오 데이터를 저장한다. 유사하게, 이미지 테이블(908)은 메시지 데이터가 엔티티 테이블(902)에 저장되는 메시지들과 연관된 이미지 데이터를 저장한다. 엔티티 테이블(902)은 주석 테이블(912)로부터의 다양한 주석들을 이미지 테이블(908) 및 비디오 테이블(910)에 저장된 다양한 이미지들 및 비디오들과 연관시킬 수 있다.
스토리 테이블(906)은 메시지들 및 연관된 이미지, 비디오, 또는 오디오 데이터의 컬렉션들에 관한 데이터를 저장하며, 이들은 컬렉션(예를 들어, SNAPCHAT® 스토리 또는 갤러리)에 모아진다. 특정한 컬렉션의 생성은 특정한 사용자(예를 들어, 레코드가 엔티티 테이블(902)에 유지되는 각각의 사용자)에 의해 개시될 수 있다. 사용자는 해당 사용자에 의해 생성되고 송신/브로드캐스트된 콘텐츠의 컬렉션의 형태로 "개인 스토리"를 생성할 수 있다. 이를 위해, 클라이언트 애플리케이션(902)의 사용자 인터페이스는, 송신측 사용자가 자신의 개인 스토리에 특정 콘텐츠를 추가하는 것을 가능하게 하기 위해 사용자 선택가능한 아이콘을 포함할 수 있다.
컬렉션은 또한, 수동으로, 자동으로, 또는 수동 및 자동 기술의 조합을 이용하여 생성된 다중 사용자로부터의 콘텐츠의 모음인 "라이브 스토리"를 구성할 수 있다. 예를 들어, "라이브 스토리"는 다양한 위치들 및 이벤트들로부터의 사용자 제출 콘텐츠의 큐레이션된 스트림을 구성할 수 있다. 일부 실시예들에서, 그 클라이언트 디바이스들이 위치 서비스들이 인에이블되게 하고 또한 특정한 시간에 공통 위치 이벤트에 있는 사용자들은, 특정한 라이브 스토리에 콘텐츠를 기여하기 위해, 클라이언트 애플리케이션(802)의 사용자 인터페이스를 통해, 옵션을 제시받을 수 있다. 라이브 스토리는 그의 위치에 기초하여 클라이언트 애플리케이션(802)에 의해 사용자에게 식별될 수 있다. 최종 결과는 커뮤니티 관점에서 말한 "라이브 스토리"이다.
추가적인 유형의 콘텐츠 컬렉션은 위치 스토리(location story)라고 알려져 있는데, 이것은 그 클라이언트 디바이스가 특정한 지리적 위치(예를 들어, 단과대학 또는 대학 캠퍼스) 내에 위치되는 사용자가 특정한 컬렉션에 기여하게 할 수 있다. 일부 실시예들에서, 위치 스토리에의 기여는 최종 사용자가 특정 조직 또는 다른 엔티티에 속한다는(예를 들어, 대학 캠퍼스의 학생이라는) 것을 검증하기 위해 제2 정도의 인증을 요구할 수 있다.
도 10은 제1 클라이언트 애플리케이션(예를 들어, 도 8의 클라이언트 애플리케이션(802))이 제2 클라이언트 애플리케이션 또는 서버 애플리케이션(예를 들어, 콘텐츠 관리 시스템(702))으로의 통신을 위해 발생할 수 있는 메시지(1000)의 데이터 구조의 예를 도시한다. 메시지(1000)의 콘텐츠는 도 9의 데이터 모델(900) 내에 저장된 메시지 테이블(914)을 채우기 위해 사용될 수 있고 클라이언트 애플리케이션(802)에 의해 액세스될 수 있다. 유사하게, 메시지(1000)의 콘텐츠는 클라이언트 디바이스 또는 애플리케이션 서버의 "인-트랜시트(in-transit)" 또는 "인-플라이트(in-flight)" 데이터로서 메모리에 저장될 수 있다. 메시지(1000)는 다음의 컴포넌트들을 포함하는 것으로 도시되어 있다:
·메시지 식별자(1002): 메시지(1000)를 식별하는 고유 식별자;
·메시지 텍스트 페이로드(1004): 클라이언트 디바이스의 사용자 인터페이스를 통해 사용자에 의해 생성될 그리고 메시지(1000)에 포함되는 텍스트;
·메시지 이미지 페이로드(1006): 클라이언트 디바이스의 카메라 컴포넌트에 의해 캡처되거나 또는 클라이언트 디바이스의 메모리로부터 검색되고 그리고 메시지(1000)에 포함되는 이미지 데이터;
·메시지 비디오 페이로드(1008): 카메라 컴포넌트에 의해 캡처되거나 또는 클라이언트 디바이스의 메모리 컴포넌트로부터 검색되고 그리고 메시지(1000)에 포함되는 비디오 데이터;
·메시지 오디오 페이로드(1010): 마이크로폰에 의해 캡처되거나 또는 클라이언트 디바이스의 메모리 컴포넌트로부터 검색되고 그리고 메시지(1000)에 포함되는 오디오 데이터;
·메시지 주석들(1012): 메시지(1000)의 메시지 이미지 페이로드(1006), 메시지 비디오 페이로드(1008), 또는 메시지 오디오 페이로드(1010)에 적용될 주석들을 나타내는 주석 데이터(예를 들어, 필터들, 스티커들, 또는 다른 향상들);
·메시지 지속기간(1014): 초 단위로, 메시지의 콘텐츠(예를 들어, 메시지 이미지 페이로드(1006), 메시지 비디오 페이로드(1008), 메시지 오디오 페이로드(1010))가 클라이언트 애플리케이션(1002)을 통해 사용자에게 제시되거나 액세스될 수 있게 하는 시간량을 나타내는 파라미터;
·메시지 지리위치(1016): 메시지의 콘텐츠 페이로드와 연관된 지리위치 데이터(예를 들어, 위도 및 경도 좌표들). 다중의 메시지 지리위치 파라미터 값들이 페이로드에 포함될 수 있고, 이들 파라미터 값들 각각은 콘텐츠(예를 들어, 메시지 이미지 페이로드(1006) 내의 특정 이미지, 또는 메시지 비디오 페이로드(1008) 내의 특정 비디오)에 포함된 콘텐츠 아이템들에 관련하여 연관된다.
·메시지 스토리 식별자(1018): 메시지(1000)의 메시지 이미지 페이로드(1006)에서의 특정 콘텐츠 아이템이 연관되어 있는 하나 이상의 콘텐츠 컬렉션(예를 들어, "스토리들")을 식별하는 식별자 값들. 예를 들어, 메시지 이미지 페이로드(1006) 내의 다중 이미지는 각각이 식별자 값들을 이용하여 다중 콘텐츠 컬렉션들과 연관될 수 있다;
·메시지 태그(1020): 각각의 메시지(1000)는 다중 태그로 태깅될 수 있고, 그 각각은 메시지 페이로드에 포함된 콘텐츠의 주제를 나타낸다. 예를 들어, 메시지 이미지 페이로드(1006)에 포함된 특정 이미지가 동물(예를 들어, 사자)을 묘사하는 경우, 관련 동물을 나타내는 태그 값이 메시지 태그(1020) 내에 포함될 수 있다. 태그 값들은, 사용자 입력에 기초하여 수동으로 생성될 수 있거나, 또는 예를 들어, 이미지 인식을 이용하여 자동으로 생성될 수 있다.
·메시지 송신자 식별자(1022): 메시지(1000)가 생성되었고 그로부터 메시지(1000)가 송신되었던 클라이언트 디바이스의 사용자를 나타내는 식별자(예를 들어, 메시징 시스템 식별자, 이메일 주소 또는 디바이스 식별자);
·메시지 수신자 식별자(1024): 메시지(1000)가 어드레싱되는 클라이언트 디바이스의 사용자를 나타내는 식별자(예를 들어, 메시징 시스템 식별자, 이메일 주소 또는 디바이스 식별자).
메시지(1000)의 다양한 컴포넌트들의 값들 또는 데이터는 값들 또는 데이터가 그 내에 저장되는 테이블들에서의 위치들에 대한 포인터들일 수 있다. 예를 들어, 메시지 이미지 페이로드(1006)에서의 이미지 값은 이미지 테이블(908) 내의 위치에 대한 포인터(또는 그의 주소)일 수 있다. 유사하게, 메시지 비디오 페이로드(1008) 내의 값들은 비디오 테이블(910) 내에 저장된 데이터를 가리킬 수 있고, 메시지 주석들(912) 내에 저장된 값들은 주석 테이블(912)에 저장된 데이터를 가리킬 수 있고, 메시지 스토리 식별자(1018) 내에 저장된 값들은 스토리 테이블(906)에 저장된 데이터를 가리킬 수 있고, 메시지 송신자 식별자(1022) 및 메시지 수신자 식별자(1024) 내에 저장된 값들은 엔티티 테이블(902) 내에 저장된 사용자 레코드들을 가리킬 수 있다.
도 11은 콘텐츠(예를 들어, 일시적 메시지(1102), 및 연관된 데이터 페이로드) 및/또는 콘텐츠 컬렉션(예를 들어, 일시적 스토리(1104))에 대한 액세스가 콘텐츠 관리 시스템(예를 들어, 도 7의 콘텐츠 관리 시스템(702))에 의해 시간 제한될 수 있는(예를 들어, 일시적으로 되는) 데이터 흐름(1100)의 예를 도시한다.
이 예에서, 일시적 메시지(1102)는 메시지 지속기간 파라미터(1106)와 연관되는 것으로 도시되는데, 그 값은 일시적 메시지(1102)가 클라이언트 애플리케이션(예를 들어, 도 8의 클라이언트 애플리케이션(802))에 의해 일시적 메시지(1102)의 수신측 사용자에게 디스플레이될 시간량을 결정한다. 클라이언트 애플리케이션(802)이 SNAPCHAT® 애플리케이션 클라이언트인 일 실시예에서, 일시적 메시지(1102)는 최대 10초 동안(이것은 더 짧은 지속기간 동안 송신측 사용자에 의해 맞춤화 가능할 수 있음) 수신측 사용자에 의해 보일 수 있다.
메시지 지속기간 파라미터(1106) 및 메시지 수신자 식별자(1124)는 메시지 타이머(1112)에 대한 입력들일 수 있으며, 이것은 일시적 메시지(1102)가 메시지 수신자 식별자(1124)에 의해 식별된 특정 수신측 사용자에게 보여지는 시간량을 결정하는 것을 담당할 수 있다. 예를 들어, 일시적 메시지(1102)는 메시지 지속기간 파라미터(1106)의 값에 의해 결정된 시간 기간 동안에만 관련 수신측 사용자에게 보여질 수 있다. 메시지 타이머(1112)는 일시적 타이머 인터페이스(1114)(예를 들어, 일시적 타이머 인터페이스(1106)의 구현의 예)에 출력을 제공할 수 있는데, 이것은 수신측 사용자에게 콘텐츠(예를 들어, 일시적 메시지(1102))의 디스플레이의 전체 타이밍을 책임지고 있을 수 있다.
일시적 메시지(1102)가 일시적 스토리(1104)(예를 들어, 개인 SNAPCHAT® 스토리, 이벤트 스토리, 콘텐츠 갤러리, 또는 다른 콘텐츠 컬렉션 내에 포함되는 것으로 도 11에 도시되어 있다. 일시적 스토리(1104)는 스토리 지속기간(1108)과 연관될 수 있고, 그 값은 일시적 스토리(1104)가 제시되고 콘텐츠 관리 시스템(702)의 사용자들에게 액세스가능한 시간 지속기간을 확립할 수 있다. 실시예에서, 스토리 지속기간 파라미터(1108)는 음악 콘서트의 지속기간일 수 있고, 일시적 스토리(1104)는 해당 콘서트에 관한 콘텐츠의 컬렉션일 수 있다. 대안적으로, 사용자(소유 사용자 또는 큐레이터)는 일시적 스토리(1104)의 셋업 및 생성을 수행할 때 스토리 지속기간 파라미터(1108)에 대한 값을 지정할 수 있다.
일부 실시예들에서, 일시적 스토리(1104) 내의 각각의 일시적 메시지(1102)는 스토리 참여 파라미터(1110)와 연관될 수 있으며, 그 값은 일시적 메시지(1102)가 일시적 스토리(1104)의 맥락 내에서 액세스가능할 시간의 지속기간을 제시할 수 있다. 예를 들어, 특정 일시적 스토리는 "만료"되고, 일시적 스토리(1104) 자체가 스토리 지속기간 파라미터(1108)의 관점에서 만료하기 전에 일시적 스토리(1104)의 맥락 내에서 액세스 불가능할 수 있다. 스토리 지속기간 파라미터(1108), 스토리 참여 파라미터(1110), 및 메시지 수신자 식별자(1124)는 각각이 스토리 타이머(1116)에 입력을 제공할 수 있으며, 이것은 일시적 스토리(1104)의 특정 일시적 메시지가 특정 수신측 사용자에게 디스플레이될 것이고, 만약 그렇다면, 얼마나 오랫동안 그럴지를 제어할 수 있다. 일부 실시예들에서, 일시적 스토리(1104)는 또한 메시지 수신자 식별자(1124)를 통해 수신측 사용자의 아이덴티티와 연관될 수 있다.
일부 실시예들에서, 스토리 타이머(1116)는 일시적 스토리(1104)뿐만 아니라 일시적 스토리(1104)에 포함된 일시적 메시지(1102)의 전체 수명을 제어할 수 있다. 실시예에서, 일시적 스토리(1104) 내의 각각의 일시적 메시지(1102)는 스토리 지속기간 파라미터(1108)에 의해 지정된 시간 기간 동안 시청가능하고 액세스가능한 채로 남아있을 수 있다. 또 다른 실시예에서, 일시적 메시지(1102)는, 스토리 참여 파라미터(1110)에 기초하여, 일시적 스토리(1104)의 맥락 내에서 만료될 수 있다. 일부 실시예들에서, 메시지 지속기간 파라미터(1106)는 일시적 스토리(1104)의 맥락 내에서도 특정 일시적 메시지가 수신측 사용자에게 디스플레이되는 지속 시간을 여전히 결정할 수 있다. 예를 들어, 메시지 지속기간 파라미터(1106)는, 수신측 사용자가 일시적 스토리(1104)의 문맥 내부 또는 외부에서 일시적 메시지를 보고 있는지에 관계없이, 특정 일시적 메시지가 수신측 사용자에게 디스플레이되는 시간의 지속기간을 제시할 수 있다.
일시적 타이머 인터페이스(1114)는 일시적 메시지(1102)가 스토리 참여 파라미터(1110)를 초과했다는 결정에 기초하여 일시적 스토리(1104)로부터 일시적 메시지(1102)를 제거할 수 있다. 예를 들어, 송신측 사용자가 포스팅으로부터 24 시간의 스토리 참여 파라미터를 확립했을 때, 일시적 타이머 인터페이스(1114)는 지정된 24 시간 후에 일시적 스토리(1104)로부터 일시적 메시지(1102)를 제거할 것이다. 일시적 타이머 인터페이스(1114)는 또한, 일시적 스토리(1104) 내의 각각의 일시적 메시지(1102)에 대한 스토리 참여 파라미터(1110)가 만료될 때 또는 일시적 스토리(1104) 자체가 스토리 지속기간 파라미터(1108)의 관점에서 만료될 때 일시적 스토리(1104)를 제거할 수 있다.
실시예에서, 일시적 메시지 스토리(1104)의 작성자는 무한한 스토리 지속기간 파라미터를 지정할 수 있다. 이 경우, 일시적 스토리(1104) 내의 마지막으로 남아있는 일시적 메시지에 대한 스토리 참여 파라미터(1110)의 만료는 일시적 스토리(1104) 자체가 만료하는 때를 확립할 것이다. 실시예에서, 새로운 일시적 메시지가 일시적 스토리(1104)에 추가되고, 새로운 스토리 참여 파라미터는 일시적 스토리(1104)의 수명을 스토리 참여 파라미터(1110)의 값과 동일하도록 효과적으로 연장한다.
일부 실시예들에서, 일시적 타이머 인터페이스(1114)가 일시적 스토리(1104)가 만료되었다(예를 들어, 더 이상 액세스가능하지 않다)고 결정한 것에 응답하여, 일시적 타이머 인터페이스(1114)는 도 7의 콘텐츠 관리 시스템(702)(및 예를 들어, 구체적으로, 관련된 일시적 메시지 스토리와 연관된 표시(예를 들어, 아이콘)가 클라이언트 애플리케이션(802)의 사용자 인터페이스 내에 더 이상 디스플레이되지 않도록 야기하기 위해 도 8의 클라이언트 애플리케이션(802))과 통신할 수 있다. 유사하게, 일시적 타이머 인터페이스(1114)가 일시적 메시지(1102)에 대한 메시지 지속기간 파라미터(1106)가 만료되었다고 결정하는 경우, 일시적 타이머 인터페이스(1114)는 클라이언트 애플리케이션(802)으로 하여금 일시적 메시지(1102)와 연관된 표시(예를 들어, 아이콘 또는 텍스트 식별)를 더 이상 디스플레이하지 않게 야기할 수 있다.
도 12는 본 명세서에 설명된 다양한 하드웨어 아키텍처들과 연계하여 사용될 수 있는 소프트웨어 아키텍처(1200)의 예를 도시한다. 도 12는 본 개시내용의 다양한 실시예들을 구현하기 위한 소프트웨어 아키텍처의 일 예일 뿐이고, 다른 실시예들은 본 명세서에 설명된 기능성을 제공하기 위해 다른 아키텍처들을 활용할 수 있다. 소프트웨어 아키텍처(1200)는 프로세서들(1304), 메모리/스토리지(1306), 및 I/O 컴포넌트들(1318)을 포함하는 도 13의 컴퓨팅 시스템(1300)과 같은 하드웨어상에서 실행될 수 있다. 하드웨어 계층(1250)은 도 13의 컴퓨팅 시스템(1300)과 같은 컴퓨팅 시스템을 나타낼 수 있다. 하드웨어 계층(1250)은 연관된 실행가능 명령어(1254A)를 갖는 하나 이상의 처리 유닛(1252)을 포함할 수 있다. 실행가능 명령어들(1254A)은 도 1, 도 2a 및 도 2b, 도 3a-3d, 도 4a-4g, 도 5a-5f, 및 도 6의 방법, 모듈, 및 기타 등등의 구현을 포함하여, 소프트웨어 아키텍처(1200)의 실행가능 명령어들을 나타낼 수 있다. 하드웨어 계층(1250)은 또한 실행가능한 명령어들(1254 B)을 또한 갖는 메모리 및/또는 스토리지 모듈들(1256)을 포함할 수 있다. 하드웨어 계층(1250)은 또한 컴퓨팅 시스템(1300)의 일부로서 예시된 다른 하드웨어와 같은 임의의 다른 하드웨어를 나타낼 수 있는 다른 하드웨어(1258)를 포함할 수 있다.
도 12의 예에서, 소프트웨어 아키텍처(1200)는 각각의 계층이 특정 기능을 제공하는 계층들의 스택으로서 개념화될 수 있다. 예를 들어, 소프트웨어 아키텍처(1200)는 운영 체제(1220), 라이브러리들(1216), 프레임워크들/미들웨어(1214), 애플리케이션들(1212), 및 프레젠테이션 계층(1210)과 같은 계층들을 포함할 수 있다. 동작적으로, 애플리케이션들(1212) 및/또는 계층들 내의 다른 컴포넌트들은 소프트웨어 스택을 통해 API 호출들(1204)을 인보크하고 응답, 리턴된 값들 등을 메시지들(1208)로서 수신할 수 있다. 예시된 계층들은 본질적으로 대표적인 것이며 모든 소프트웨어 아키텍처가 모든 계층을 갖는 것은 아니다. 예를 들어, 일부 모바일 또는 특수 목적 운영 체제들은 프레임워크들/미들웨어 계층(1214)을 제공하지 않을 수 있는 반면, 다른 것들은 이러한 계층을 제공할 수 있다. 다른 소프트웨어 아키텍처는 추가의 또는 상이한 계층을 포함할 수 있다.
운영 체제(1220)는 하드웨어 자원들을 관리하고 공통 서비스들을 제공할 수 있다. 이 예에서, 운영 체제(1220)는 커널(1218), 서비스들(1222), 및 드라이버들(1224)을 포함한다. 커널(1218)은 하드웨어와 다른 소프트웨어 계층들 사이의 추상화 계층으로서 동작할 수 있다. 예를 들어, 커널(1218)은, 메모리 관리, 프로세서 관리(예를 들어, 스케쥴링), 컴포넌트 관리, 네트워킹, 보안 설정 등을 담당할 수 있다. 서비스들(1222)은 다른 소프트웨어 계층들을 위해 다른 공통 서비스들을 제공할 수 있다. 드라이버들(1224)은 기저 하드웨어(underlying hardware)를 제어하거나 그와 인터페이싱하는 것을 담당할 수 있다. 예를 들어, 드라이버들(1224)은, 하드웨어 구성에 의존하여, 디스플레이 드라이버, 카메라 드라이버, BLUETOOTH 드라이버, 플래시 메모리 드라이버, 직렬 통신 드라이버(예를 들어, USB(Universal Serial Bus) 드라이버), WI-FI 드라이버, 오디오 드라이버, 전력 관리 드라이버 등을 포함할 수 있다.
라이브러리들(1216)은 애플리케이션들(1212) 및/또는 다른 컴포넌트들 및/또는 계층들에 의해 활용될 수 있는 공통 인프라스트럭처를 제공할 수 있다. 라이브러리들(1216)은 전형적으로 다른 소프트웨어 모듈들이 기저 운영 체제 기능성(예를 들어, 커널(1218), 서비스들(1222), 및/또는 드라이버들(1224))과 직접 인터페이싱하는 것보다 더 용이한 방식으로 작업들을 수행할 수 있게 하는 기능성을 제공한다. 라이브러리들(1216)은 메모리 할당 기능, 문자열 조작 기능, 수학 기능 등과 같은 기능들을 제공할 수 있는 시스템 라이브러리들(1242)(예를 들어, C 표준 라이브러리)을 포함할 수 있다. 또한, 라이브러리들(1216)은 미디어 라이브러리들(예를 들어, MPEG4, H.264, MP3, AAC, AMR, JPG, PNG와 같은 다양한 미디어 포맷의 프레젠테이션 및 조작을 지원하는 라이브러리들), 그래픽 라이브러리들(예를 들어, 디스플레이상에 2D 및 3D 그래픽을 렌더링하기 위해 사용될 수 있는 OpenGL 프레임워크), 데이터베이스 라이브러리들(예를 들어, 다양한 관계형 데이터베이스 기능들을 제공할 수 있는 SQLite), 웹 라이브러리들(예를 들어, 웹 브라우징 기능성을 제공할 수 있는 WebKit) 등과 같은 API 라이브러리들(1244)을 포함할 수 있다. 라이브러리들(1216)은 또한 많은 다른 API들을 애플리케이션들(1212) 및 다른 소프트웨어 컴포넌트들/모듈들에 제공하기 위한 매우 다양한 다른 라이브러리들(1246)을 포함할 수 있다.
프레임워크들(1214)(때때로 미들웨어라고도 지칭함)은 애플리케이션들(1212) 및/또는 다른 소프트웨어 컴포넌트들/모듈들에 의해 이용될 수 있는 상위 레벨 공통 인프라스트럭처를 제공할 수 있다. 예를 들어, 프레임워크들(1214)은 다양한 GUI(graphic user interface) 기능들, 고-레벨 자원 관리, 고-레벨 위치 서비스 등을 제공할 수 있다. 프레임워크들(1214)은 애플리케이션들(1212) 및/또는 다른 소프트웨어 컴포넌트들/모듈들에 의해 이용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 수 있으며, 그 중 일부는 특정한 운영 체제 또는 플랫폼에 특유할 수 있다.
애플리케이션들(1212)은 콘텐츠 공유 네트워크 클라이언트 애플리케이션(1234), 내장 애플리케이션들(1236), 및/또는 제3자 애플리케이션들(1238)을 포함한다. 대표적인 내장 애플리케이션들(1236)의 예들은 연락처 애플리케이션, 브라우저 애플리케이션, 북 리더 애플리케이션, 로케이션 애플리케이션, 미디어 애플리케이션, 메시징 애플리케이션, 및/또는 게임 애플리케이션을 포함한다. 제3자 애플리케이션들(1238)은 임의의 내장 애플리케이션들(1236)뿐만 아니라 광범위한 구색의 다른 애플리케이션들을 포함할 수 있다. 실시예에서, 제3자 애플리케이션(1238)(예를 들어, 특정 플랫폼의 벤더 이외의 엔티티에 의해 ANDROIDTM 또는 IOS® 소프트웨어 개발 키트(SDK)를 사용하여 개발된 애플리케이션)은 IOS®, ANDROIDTM, WINDOWS PHONE®, 또는 다른 모바일 운영 체제들과 같은 모바일 운영 체제상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션(1238)은 본 명세서에서 설명되는 기능성을 용이하게 하기 위해 운영 체제(1220)에 의해 제공되는 API 호출들(1204)을 인보크할 수 있다.
애플리케이션들(1212)은 시스템의 사용자들과 상호작용하기 위해 사용자 인터페이스들을 생성하도록 내장 운영 체제 기능들(예를 들어, 커널(1218), 서비스들(1222), 및/또는 드라이버들(1224)), 라이브러리들(예를 들어, 시스템 라이브러리들(1242), API 라이브러리들(1244), 및 다른 라이브러리들(1246)), 또는 프레임워크들/미들웨어(1214)를 이용할 수 있다. 대안적으로 또는 추가적으로, 사용자와의 상호작용은 프레젠테이션 계층(1210)을 통해 발생할 수 있다. 이들 시스템들에서, 애플리케이션/모듈 "로직"은 사용자와 상호작용하는 애플리케이션/모듈의 양태들로부터 분리될 수 있다.
일부 소프트웨어 아키텍처는 가상 머신들을 이용한다. 도 12의 예에서, 이것은 가상 머신(1206)에 의해 예시된다. 가상 머신은 애플리케이션들/모듈들이 그들이 물리적 컴퓨팅 디바이스(예를 들어, 도 13의 컴퓨팅 시스템(1300))상에서 실행하고 있는 것처럼 실행할 수 있는 소프트웨어 환경을 생성한다. 가상 머신(1206)은 호스트 운영 체제(예를 들어, 운영 체제(1220))에 의해 호스팅될 수 있다. 호스트 운영 체제는 전형적으로 가상 머신(1206)의 동작뿐만 아니라 호스트 운영 체제(예를 들어, 운영 체제(1220))와의 인터페이스를 관리할 수 있는 가상 머신 모니터(1260)를 갖는다. 소프트웨어 아키텍처는 가상 머신(1206) 내에서 실행되고, 운영 체제(1234), 라이브러리들(1232), 프레임워크들/미들웨어(1230), 애플리케이션들(1228), 및/또는 프레젠테이션 계층(1226)을 포함할 수 있다. 가상 머신(1206) 내에서 실행되는 이러한 계층들은 전술한 대응하는 계층들과 유사하게 또는 상이하게 동작할 수 있다.
도 13은 본 개시내용의 다양한 실시예들이 구현될 수 있는 컴퓨팅 디바이스, 컴퓨팅 시스템(1300)의 예를 도시한다. 이 예에서, 컴퓨팅 시스템(1300)은 컴퓨터 판독가능 매체(예를 들어, 컴퓨터 판독가능 저장 매체)로부터 명령어들(1310)을 판독할 수 있고, 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행할 수 있다. 명령어들(1310)은 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 컴퓨팅 시스템(1300)으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하게 야기하기 위한 다른 실행가능 코드를 포함할 수 있다. 예를 들어, 명령어들(1310)은 컴퓨팅 시스템(1300)으로 하여금 도 6의 프로세스(600)를 실행하게 야기할 수 있다. 추가적으로 또는 대안적으로, 명령어들(1310)은 도 1의 작업 흐름(100), 도 2a 및 도 2b의 그래픽 사용자 인터페이스들(200 및 250), 도 3a 내지 도 3d의 움직임 데이터를 결정하기 위한 접근법; 도 4a 내지 도 4g의 구면 비디오 데이터를 편집하기 위한 접근법; 도 5a 내지 도 5f의 구면 비디오 데이터로부터 편집된 비디오를 표현하기 위한 접근법; 도 7의 애플리케이션 로직 모듈들(712) 또는 비디오 모듈들(714); 도 12의 클라이언트 애플리케이션(1234) 등을 구현할 수 있다. 명령어들(1310)은 컴퓨팅 시스템(1300)과 같은 일반적인 비프로그래밍된 컴퓨터를 본 명세서에 설명된 기능들을 수행하도록 프로그래밍된 특정 컴퓨터로 변환할 수 있다.
일부 실시예들에서, 컴퓨팅 시스템(1300)은 독립형 디바이스로서 동작할 수 있거나, 다른 디바이스들에 결합(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 컴퓨팅 시스템(1300)은 서버-클라이언트 네트워크 환경에서 서버 또는 클라이언트 디바이스의 능력으로, 또는 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 디바이스로서 동작할 수 있다. 컴퓨팅 시스템(1300)은 스위치, 제어기, 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스(STB), 개인 휴대 정보 단말기(PDA), 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트폰, 모바일 디바이스, 웨어러블 디바이스(예를 들어, 스마트 시계), 스마트 홈 디바이스(예를 들어, 스마트 가전기기), 다른 스마트 디바이스들, 웹 가전기기, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 컴퓨팅 시스템(1300)에 의해 취해질 액션들을 지정하는 명령어들(1310)을 순차적으로 또는 다른 방식으로 실행할 수 있는 임의의 전자 디바이스를 포함할 수 있다. 또한, 이 예에서 단일 디바이스가 예시되어 있지만, 용어 "디바이스"는 또한 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하기 위해 개별적으로 또는 공동으로 명령어들(1310)을 실행하는 디바이스들의 컬렉션을 포함하는 것으로 간주되어야 한다.
컴퓨팅 시스템(1300)은 버스(1302)를 통해 그런 것처럼 서로 통신하도록 구성될 수 있는 프로세서들(1304), 메모리/스토리지(1306), 및 I/O 컴포넌트들(1318)을 포함할 수 있다. 일부 실시예들에서, 프로세서들(1304)(예를 들어, 중앙 처리 유닛(central processing unit)(CPU), 축소 명령어 세트 컴퓨팅(reduced instruction set computing)(RISC) 프로세서, 복합 명령어 세트 컴퓨팅(complex instruction set computing)(CISC) 프로세서, 그래픽 처리 유닛(graphics processing unit)(GPU), 디지털 신호 프로세서(digital signal processor)(DSP), 주문형 집적 회로(application specific integrated circuit)(ASIC), 무선 주파수 집적 회로(radio frequency integrated circuit)(RFIC), 또 다른 프로세서, 또는 이들의 임의의 적절한 조합)은 명령어들(1310)의 일부 또는 전부를 실행하기 위한 프로세서(1308) 및 프로세서(1312)를 포함할 수 있다. "프로세서"라는 용어는 명령어들을 동시에 실행할 수 있는 2개 이상의 독립적 프로세서(때때로 "코어들"이라고 지칭됨)를 포함할 수 있는 다중 코어 프로세서(multi-core processor)를 포함하는 것으로 의도되어 있다. 도 13은 다중 프로세서(1304)를 보여주지만, 컴퓨팅 시스템(1300)은 단일 코어를 갖는 단일 프로세서, 다중 코어를 갖는 단일 프로세서(예를 들어, 다중-코어 프로세서), 단일 코어를 갖는 다중 프로세서, 다중 코어를 갖는 다중 프로세서, 또는 이들의 임의의 조합을 포함할 수 있다.
메모리/스토리지(1306)는 메모리(1314)(예를 들어, 주 메모리 또는 다른 메모리 스토리지) 및 임의의 스토리지(1316)(예를 들어, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 디바이스(SSD))는 버스(1302)를 통해 그런 것처럼 프로세서들(1304)에 액세스가능할 수 있다. 스토리지(1316) 및 메모리(1314)는 본 명세서에 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구체화할 수 있는 명령어들(1310)을 저장한다. 스토리지(1316)는 또한 본 개시내용에서 논의된 구면 비디오 데이터, 편집된 비디오, 및 다른 데이터를 포함하는 비디오 데이터(1350)를 저장할 수 있다. 명령어들(1310)은 또한 컴퓨팅 시스템(1300)에 의한 그것의 실행 동안, 메모리(1314) 내에, 스토리지(1316) 내에, 프로세서들(1304) 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적절한 조합 내에, 완전히 또는 부분적으로 상주할 수 있다. 따라서, 메모리(1314), 스토리지(1316), 및 프로세서들(1304)의 메모리는 컴퓨터 판독가능 매체의 예들이다.
본 명세서에서 사용되는 바와 같이, "컴퓨터 판독가능 매체"는 명령어들 및 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 물체를 의미하고, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리, 광학 매체, 자기 매체, 캐시 메모리, 다른 유형의 스토리지(예를 들어, EEPROM(Erasable Programmable Read-Only Memory)) 및/또는 이들의 임의의 적절한 조합을 포함할 수 있다. "컴퓨터 판독가능 매체"라는 용어는 명령어들(1310)을 저장할 수 있는 단일 매체 또는 다중 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 또는 연관된 캐시들 및 서버들)를 포함할 수 있다. "컴퓨터 판독가능 매체"라는 용어는 컴퓨터(예를 들어, 컴퓨팅 시스템(1300))에 의한 실행을 위한 명령어들(예를 들어, 명령어들(1310))을 저장할 수 있는 임의의 매체 또는 다중 매체의 조합을 또한 포함할 수 있으며, 따라서 명령어들은 컴퓨터의 하나 이상의 프로세서(예를 들어, 프로세서들(1304))에 의해 실행될 때 컴퓨터로 하여금 본 명세서에서 설명된 방법론들 중 임의의 하나 이상을 수행하게 야기한다. 따라서, "머신 판독가능 매체"는 단일 저장 장치 또는 디바이스뿐만 아니라, 다중 저장 장치 또는 디바이스를 포함하는 "클라우드 기반" 저장 시스템 또는 저장 네트워크를 지칭한다. "머신 판독가능 매체(machine-readable medium)"라는 용어가 그 자체로는 신호들을 배제한다.
I/O 컴포넌트들(1318)은 입력을 수신하고, 출력을 제공하며, 출력을 생성하고, 정보를 송신하며, 정보를 교환하고, 측정들을 포착하는 등을 위한 매우 다양한 컴포넌트들을 포함할 수 있다. 특정한 디바이스에 포함된 특정한 I/O 컴포넌트들은 디바이스의 유형에 의존할 것이다. 예를 들어, 모바일 폰들과 같은 휴대용 디바이스들은 터치스크린 또는 다른 그러한 입력 메커니즘들을 포함할 가능성이 있는 반면, 헤드리스 서버는 터치 센서를 포함하지 않을 가능성이 클 것이다. 일부 실시예들에서, I/O 컴포넌트들(1318)은 출력 컴포넌트들(1326) 및 입력 컴포넌트들(1328)을 포함할 수 있다. 출력 컴포넌트들(1326)은 비주얼 컴포넌트들(예를 들어, PDP(plasma display panel), LED(light emitting diode) 디스플레이, LCD(liquid crystal display), 프로젝터, 또는 CRT(cathode ray tube)와 같은 디스플레이), 음향 컴포넌트들(예컨대, 스피커들), 햅틱 컴포넌트들(예를 들어, 진동 모터, 저항 메커니즘들), 다른 신호 생성기들 등을 포함할 수 있다. 입력 컴포넌트들(1318)은 영숫자 입력 컴포넌트들(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치스크린, 포토-옵티컬 키보드(photo-optical keyboard), 또는 다른 영숫자 입력 컴포넌트들), 포인트 기반 입력 컴포넌트들(예컨대, 마우스, 터치패드, 트랙볼, 조이스틱, 움직임 센서, 또는 다른 포인팅 기구), 촉각 입력 컴포넌트들(예를 들어, 물리적 버튼, 터치들 또는 터치 제스처들의 위치 및/또는 힘을 제공하는 터치스크린, 또는 다른 촉각 입력 컴포넌트들), 오디오 입력 컴포넌트들(예를 들어, 마이크로폰) 등을 포함할 수 있다.
일부 실시예들에서, I/O 컴포넌트들(1318)은 또한 바이오메트릭 컴포넌트들(1330), 움직임 컴포넌트들(1334), 위치 컴포넌트들(1336), 또는 환경 컴포넌트들(1338), 또는 다수의 다른 컴포넌트들 중에서도 포함할 수 있다. 예를 들어, 바이오메트릭 컴포넌트들(1330)은 표현들(예를 들어, 손 표현(hand expression)들, 얼굴 표현(facial expression)들, 음성 표현(vocal expression)들, 보디 제스처(body gesture)들, 또는 눈 추적)을 검출하는, 생체신호(biosignal)들(예를 들어, 혈압, 심박수, 체온, 발한(perspiration), 또는 뇌파)을 측정하는, 사람을 식별하는(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파 기반 식별(electroencephalogram-based identification)), 및 기타의 것을 행하는 컴포넌트들을 포함할 수 있다. 모션 컴포넌트들(1334)은 가속도 센서 컴포넌트들(예를 들어, 가속도계), 중력 센서 컴포넌트들, 회전 센서 컴포넌트들(예컨대, 자이로스코프) 및 등등의 것을 포함할 수 있다. 위치 컴포넌트들(1336)은 로케이션 센서 컴포넌트들(예를 들어, GPS(Global Position System) 수신기 컴포넌트), 고도 센서 컴포넌트들(예를 들어, 그로부터 고도가 도출될 수 있는 공기 압력을 검출하는 고도계들 또는 기압계들), 오리엔테이션 센서 컴포넌트들(예를 들어, 자력계들), 및 그와 같은 것을 포함할 수 있다. 환경 컴포넌트들(1338)은 조명 센서 컴포넌트들(예를 들어, 광도계), 온도 센서 컴포넌트들(예를 들어, 주변 온도를 검출하는 하나 이상의 온도계), 습도 센서 컴포넌트들, 압력 센서 컴포넌트들(예를 들어, 기압계), 음향 센서 컴포넌트들(예를 들어, 배경 잡음을 검출하는 하나 이상의 마이크로폰), 근접 센서 컴포넌트들(예를 들어, 인근 물체들을 검출하는 적외선 센서들), 가스 센서들(예를 들어, 안전을 위해 유해 가스들의 농도들을 검출하거나 또는 대기 중 오염 물질들을 측정하는 가스 검출 센서들), 또는 주변의 물리적 환경에 대응하는 표시들, 측정들 또는 신호들을 제공할 수 있는 다른 컴포넌트들을 포함할 수 있다.
통신은 매우 다양한 기술들을 사용하여 구현될 수 있다. I/O 컴포넌트들(1318)은 컴퓨팅 시스템(1300)을 제각기 결합(1324) 및 결합(1322)을 통해 WAN(1332) 또는 디바이스들(1320)에 결합하도록 동작가능한 통신 컴포넌트들(1340)을 포함할 수 있다. 예를 들어, 통신 컴포넌트들(1340)은 WAN(1332)과 인터페이스하기 위한 네트워크 인터페이스 컴포넌트 또는 다른 적합한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 컴포넌트들(1340)은 유선 통신 컴포넌트들, 무선 통신 컴포넌트들, 셀룰러 통신 컴포넌트들, 근거리장 통신(NFC) 컴포넌트들, 블루투스 컴포넌트들(예를 들어, 블루투스 저 에너지), Wi-Fi 컴포넌트들, 및 다른 모달리티들을 통한 통신을 제공하는 다른 통신 컴포넌트들을 포함할 수 있다. 디바이스들(1320)은 또 다른 컴퓨팅 디바이스 또는 다양한 주변 디바이스(예를 들어, USB를 통해 결합된 주변 디바이스) 중 임의의 것일 수 있다.
또한, 통신 컴포넌트들(1340)은 식별자들을 검출할 수 있거나 또는 식별자들을 검출하도록 동작가능한 컴포넌트들을 포함할 수 있다. 예를 들어, 통신 컴포넌트들(1340)은 RFID(Radio Frequency Identification) 태그 판독기 컴포넌트들, NFC 스마트 태그 검출 컴포넌트들, 광학 판독기 컴포넌트들(예를 들어, UPC(Universal Product Code) 바코드와 같은 1차원 바코드들, QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra Code, UCC RSS-2D 바코드와 같은 다차원 바코드, 및 다른 광학 코드들을 검출하는 광학 센서), 또는 음향 검출 컴포넌트들(예를 들어, 태깅된 오디오 신호(tagged audio signal)들을 식별하는 마이크로폰들)을 포함할 수 있다. 또한, 인터넷 프로토콜(IP) 지오로케이션을 통한 로케이션, Wi-Fi 신호 삼각측량을 통한 로케이션, 특정 로케이션을 표시할 수 있는 NFC 비컨 신호를 검출하는 것을 통한 로케이션, 및 그와 유사한 것과 같은 다양한 정보가 통신 컴포넌트들(1340)을 통해 도출될 수 있다.
다양한 실시예들에서, WAN(1332)의 하나 이상의 부분은 애드 혹(ad hoc) 네트워크, 인트라넷(intranet), 익스트라넷(extranet), 가상 사설 네트워크(virtual private network)(VPN), 로컬 영역 네트워크(local area network)(LAN), 무선 LAN(wireless LAN)(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 도시 지역 네트워크(MAN), 인터넷, 인터넷의 부분, 공중 교환 전화 네트워크(public switched telephone network)(PSTN)의 부분, 기존 전화 서비스(plain old telephone service)(POTS) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, Wi-Fi 네트워크, 또 다른 유형의 네트워크, 또는 2개 이상의 이러한 네트워크의 조합일 수 있다. 예를 들어, WAN(1332) 또는 WAN(1332)의 부분은 무선 또는 셀룰러 네트워크를 포함할 수 있고, 커플링(1324)은 CDMA(Code Division Multiple Access) 접속, GSM(Global System for Mobile communications) 접속, 또는 다른 유형의 셀룰러 또는 무선 커플링일 수 있다. 이 예에서, 커플링(1324)은 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 3G를 포함하는 3GPP(third Generation Partnership Project), 4G(fourth generation) 무선 네트워크, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준, 다양한 표준화 기구(standard setting organization)들에 의해 정의된 다른 표준들, 다른 장거리(long range) 프로토콜들, 또는 다른 데이터 전송 기술과 같은, 다양한 유형의 데이터 전송 기술 중 임의의 것을 구현할 수 있다.
명령어들(1310)은 네트워크 인터페이스 디바이스(예를 들어, 통신 컴포넌트들(1340)에 포함된 네트워크 인터페이스 컴포넌트)를 통해 전송 매체를 사용하여, 그리고 몇몇 공지된 전송 프로토콜들(예를 들어, HTTP) 중 임의의 하나를 이용하여 WAN(1332)을 통해 송신 또는 수신될 수 있다. 유사하게, 명령어들(1310)은 디바이스들(1320)에의 커플링(1322)(예를 들어, 피어-투-피어 커플링)을 통해 전송 매체를 사용하여 송신 또는 수신될 수 있다. "전송 매체" 라는 용어는 컴퓨팅 시스템(1300)에 의한 실행을 위해 명령어들(1310)을 저장, 인코딩, 또는 운반할 수 있는 임의의 무형 매체를 포함하고, 디지털 또는 아날로그 통신 신호들 또는 이러한 소프트웨어의 통신을 용이하게 하기 위한 다른 무형 매체를 포함한다.
본 명세서 전체에 걸쳐, 복수 인스턴스(plural instance)는 단일 인스턴스로서 기술된 컴포넌트들, 동작들, 또는 구조들을 구현할 수 있다. 하나 이상의 방법의 개별 동작들이 별개의 동작들로서 예시되고 설명되지만, 개별 동작들 중 하나 이상은 동시에 수행될 수 있다. 예시적인 구성에서 별개의 컴포넌트들로서 제시된 구조 및 기능은 조합된 구조 또는 컴포넌트로서 구현될 수 있다. 유사하게, 단일 컴포넌트로 제시된 구조 및 기능은 별개의 컴포넌트들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가 및 개선은 본 명세서의 주제의 범위 내에 있다.
본 명세서에 예시된 실시예들은 본 기술분야의 통상의 기술자가 개시된 교시를 실시할 수 있도록 충분히 상세하게 설명되었다. 이로부터 다른 실시예들이 사용되고 도출될 수 있어서, 구조적 및 논리적 치환들 및 변경들이 본 개시내용의 범위로부터 벗어나지 않고서 만들어질 수 있다. 따라서, 본 상세한 설명은 제한적인 의미로 간주되어서는 안되며, 다양한 실시예들의 범위는 첨부된 청구항들과 이러한 청구항들에 부여되는 균등물의 전체 범위에 의해서만 정의된다.
본 명세서에서 사용되는 바와 같이, "또는(or)"이라는 용어는 포함적 또는 배타적 의미로 해석될 수 있다. 더욱이, 복수의 인스턴스가 단일 인스턴스로서 본 명세서에서 설명된 자원들, 동작들, 또는 구조들을 위해 제공될 수 있다. 추가적으로, 다양한 자원들, 동작들, 모듈들, 엔진들, 및 데이터 스토어들 사이의 경계들은 다소 임의적이고, 특정 동작들은 특정 예시적인 구성들의 맥락에서 예시된다. 기능의 다른 할당들이 구상되고 본 개시내용의 다양한 실시예의 범위 내에 있을 것이다. 일반적으로, 예시적인 구성들에서의 별개의 지원들로서 제시된 구조 및 기능은 조합된 구조 또는 자원으로서 구현될 수 있다. 유사하게, 단일 자원으로서 제시된 구조 및 기능은 별개의 자원들로서 구현될 수 있다. 이들 및 다른 변형, 수정, 추가, 및 개선은 첨부된 청구항들에 의해 표현되는 본 개시내용의 실시예들의 범위 내에 있다. 따라서, 본 명세서 및 도면들은 한정적인 의미가 아니라 예시적인 의미로 간주되어야 한다.

Claims (20)

  1. 방법으로서,
    하나 이상의 프로세서에 의해, 구면 프레임들의 시퀀스에 액세스하는 단계;
    상기 하나 이상의 프로세서에 의해, 편집 입력으로 표시되는 모션의 경로를 검출하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 모션의 경로에 기초하여 상기 구면 프레임들의 부분들을 결정하는 단계 - 각각의 부분은 상기 편집 입력으로 표시되는 상기 모션의 경로를 따르는 상이한 위치에 기초하는 상기 구면 프레임들의 시퀀스 중의 상이한 구면 프레임임 -; 및
    상기 하나 이상의 프로세서에 의해, 상기 모션의 경로에 기초하여 결정된 상기 부분들을 포함하는 비디오를 생성하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 모션의 경로를 검출하는 단계는 상기 모션의 경로의 적어도 일부를 따르는 디바이스 움직임을 나타내는 모션 센서 데이터를 캡처하는 단계를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 모션의 경로를 검출하는 단계는 상기 모션의 경로의 적어도 일부를 따르는 디바이스 움직임을 나타내는 위치 센서 데이터를 캡처하는 단계를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 모션의 경로를 검출하는 단계는 상기 모션의 경로의 적어도 일부를 따르는 디바이스 움직임을 나타내는 광학 센서 데이터를 캡처하는 단계를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 모션의 경로를 검출하는 단계는 디바이스의 편집 모드의 유지에 대응하는 제어 요소의 활성화 동안 상기 모션의 경로를 검출하는 단계를 포함하고, 상기 제어 요소의 활성화는 상기 모션의 경로가 편집 입력임을 나타내는, 방법.
  6. 제1항에 있어서,
    상기 모션의 경로를 검출하는 단계는 디바이스의 편집 모드에 들어가는 것에 대응하는 제어 요소의 활성화에 응답하여 상기 모션의 경로를 검출하는 단계를 포함하고, 상기 제어 요소의 활성화는 상기 모션의 경로가 편집 입력임을 나타내는, 방법.
  7. 제1항에 있어서,
    상기 구면 프레임들의 시퀀스는 구면 비디오에 포함되고;
    상기 모션의 경로를 검출하는 단계는 상기 모션의 경로의 편집 입력으로서의 표시에 응답하는, 방법.
  8. 제7항에 있어서,
    상기 모션의 경로를 검출하는 단계는 상기 구면 비디오에 묘사된 물체의 움직임을 추적하는 단계를 포함하고, 상기 모션의 경로는 상기 구면 비디오에 묘사된 상기 물체의 추적된 움직임에 의해 정의되는, 방법.
  9. 제1항에 있어서,
    상기 모션의 경로를 검출하는 단계는 디바이스의 센서에 의해 검출된 물체의 움직임을 추적하는 단계를 포함하고, 상기 모션의 경로는 상기 디바이스의 센서에 의해 검출된 상기 물체의 추적된 움직임에 의해 정의되는, 방법.
  10. 제1항에 있어서,
    상기 모션의 경로를 검출하는 단계는 디바이스의 사용자의 눈의 움직임을 추적하는 단계를 포함하고, 상기 눈은 상기 디바이스의 센서에 의해 검출되고, 상기 모션의 경로는 상기 사용자의 눈의 추적된 움직임에 의해 정의되는, 방법.
  11. 제1항에 있어서,
    상기 모션의 경로를 검출하는 단계는 디바이스의 사용자의 머리의 움직임을 추적하는 단계를 포함하고, 상기 머리는 상기 디바이스의 센서에 의해 검출되고, 상기 모션의 경로는 상기 사용자의 머리의 추적된 움직임에 의해 정의되는, 방법.
  12. 명령어들을 포함하는 비일시적 머신 판독가능 저장 매체로서,
    상기 명령어들은, 머신의 하나 이상의 프로세서에 의해 실행될 때, 상기 머신으로 하여금:
    구면 프레임들의 시퀀스에 액세스하는 동작;
    편집 입력으로 표시되는 모션의 경로를 검출하는 동작;
    상기 모션의 경로에 기초하여 상기 구면 프레임들의 부분들을 결정하는 동작 - 각각의 부분은 상기 편집 입력으로 표시되는 상기 모션의 경로를 따르는 상이한 위치에 기초하는 상기 구면 프레임들의 시퀀스 중의 상이한 구면 프레임임 -; 및
    상기 모션의 경로에 기초하여 결정된 상기 부분들을 포함하는 비디오를 생성하는 동작을 포함하는 동작들을 수행하게 하는, 비일시적 머신 판독가능 저장 매체.
  13. 제12항에 있어서,
    상기 모션의 경로를 검출하는 동작은 디바이스의 편집 모드의 유지에 대응하는 제어 요소의 활성화 동안 상기 모션의 경로를 검출하는 동작을 포함하고, 상기 제어 요소의 활성화는 상기 모션의 경로가 편집 입력임을 나타내는, 비일시적 머신 판독가능 저장 매체.
  14. 제12항에 있어서,
    상기 모션의 경로를 검출하는 동작은 디바이스의 편집 모드에 들어가는 것에 대응하는 제어 요소의 활성화에 응답하여 상기 모션의 경로를 검출하는 동작을 포함하고, 상기 제어 요소의 활성화는 상기 모션의 경로가 편집 입력임을 나타내는, 비일시적 머신 판독가능 저장 매체.
  15. 제12항에 있어서,
    상기 구면 프레임들의 시퀀스는 구면 비디오에 포함되고;
    상기 모션의 경로를 검출하는 동작은 상기 모션의 경로의 편집 입력으로서의 표시에 응답하는, 비일시적 머신 판독가능 저장 매체.
  16. 제15항에 있어서,
    상기 모션의 경로를 검출하는 동작은 상기 구면 비디오에 묘사된 물체의 움직임을 추적하는 동작을 포함하고, 상기 모션의 경로는 상기 구면 비디오에 묘사된 상기 물체의 추적된 움직임에 의해 정의되는, 비일시적 머신 판독가능 저장 매체.
  17. 시스템으로서,
    하나 이상의 프로세서; 및
    명령어들을 저장하는 메모리를 포함하고, 상기 명령어들은 상기 하나 이상의 프로세서 중 적어도 하나의 프로세서에 의해 실행될 때, 상기 시스템으로 하여금,
    구면 프레임들의 시퀀스에 액세스하는 동작;
    편집 입력으로 표시되는 모션의 경로를 검출하는 동작;
    상기 모션의 경로에 기초하여 상기 구면 프레임들의 부분들을 결정하는 동작 - 각각의 부분은 상기 편집 입력으로 표시되는 상기 모션의 경로를 따르는 상이한 위치에 기초하는 상기 구면 프레임들의 시퀀스 중의 상이한 구면 프레임임 -; 및
    상기 모션의 경로에 기초하여 결정된 상기 부분들을 포함하는 비디오를 생성하는 동작을 포함하는 동작들을 수행하게 하는, 시스템.
  18. 제17항에 있어서,
    상기 모션의 경로를 검출하는 동작은 디바이스의 편집 모드의 유지에 대응하는 제어 요소의 활성화 동안 상기 모션의 경로를 검출하는 동작을 포함하고, 상기 제어 요소의 활성화는 상기 모션의 경로가 편집 입력임을 나타내는, 시스템.
  19. 제17항에 있어서,
    상기 모션의 경로를 검출하는 동작은 디바이스의 편집 모드에 들어가는 것에 대응하는 제어 요소의 활성화에 응답하여 상기 모션의 경로를 검출하는 동작을 포함하고, 상기 제어 요소의 활성화는 상기 모션의 경로가 편집 입력임을 나타내는, 시스템.
  20. 제17항에 있어서,
    상기 구면 프레임들의 시퀀스는 구면 비디오에 포함되고;
    상기 모션의 경로를 검출하는 동작은 상기 모션의 경로의 편집 입력으로서의 표시에 응답하는, 시스템.
KR1020217038607A 2017-12-15 2018-12-14 구면 비디오 편집 KR102469263B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/844,089 2017-12-15
US15/844,089 US10217488B1 (en) 2017-12-15 2017-12-15 Spherical video editing
KR1020207009804A KR102332950B1 (ko) 2017-12-15 2018-12-14 구면 비디오 편집
PCT/US2018/065750 WO2019118877A1 (en) 2017-12-15 2018-12-14 Spherical video editing

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207009804A Division KR102332950B1 (ko) 2017-12-15 2018-12-14 구면 비디오 편집

Publications (2)

Publication Number Publication Date
KR20210149206A KR20210149206A (ko) 2021-12-08
KR102469263B1 true KR102469263B1 (ko) 2022-11-22

Family

ID=65410761

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020207009804A KR102332950B1 (ko) 2017-12-15 2018-12-14 구면 비디오 편집
KR1020197026639A KR102100744B1 (ko) 2017-12-15 2018-12-14 구면 비디오 편집
KR1020217038607A KR102469263B1 (ko) 2017-12-15 2018-12-14 구면 비디오 편집

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020207009804A KR102332950B1 (ko) 2017-12-15 2018-12-14 구면 비디오 편집
KR1020197026639A KR102100744B1 (ko) 2017-12-15 2018-12-14 구면 비디오 편집

Country Status (4)

Country Link
US (5) US10217488B1 (ko)
KR (3) KR102332950B1 (ko)
CN (1) CN110495166B (ko)
WO (1) WO2019118877A1 (ko)

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2023812T3 (pl) * 2006-05-19 2017-07-31 The Queen's Medical Center Układ śledzenia ruchu dla adaptacyjnego obrazowania w czasie rzeczywistym i spektroskopii
US10509466B1 (en) 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US10283162B2 (en) 2014-02-05 2019-05-07 Avatar Merger Sub II, LLC Method for triggering events in a video
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US10775996B2 (en) 2014-11-26 2020-09-15 Snap Inc. Hybridization of voice notes and calling
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
KR102163528B1 (ko) 2015-03-18 2020-10-08 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
US9668217B1 (en) 2015-05-14 2017-05-30 Snap Inc. Systems and methods for wearable initiated handshaking
US10503264B1 (en) 2015-06-16 2019-12-10 Snap Inc. Radial gesture navigation
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
US10055895B2 (en) 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
US10474353B2 (en) 2016-05-31 2019-11-12 Snap Inc. Application control using a gesture based trigger
US10768639B1 (en) 2016-06-30 2020-09-08 Snap Inc. Motion and image-based control system
US10102423B2 (en) 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
US10609036B1 (en) 2016-10-10 2020-03-31 Snap Inc. Social media post subscribe requests for buffer user accounts
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
US11272160B2 (en) * 2017-06-15 2022-03-08 Lenovo (Singapore) Pte. Ltd. Tracking a point of interest in a panoramic video
US10579869B1 (en) 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US11323398B1 (en) 2017-07-31 2022-05-03 Snap Inc. Systems, devices, and methods for progressive attachments
JP2019036914A (ja) * 2017-08-21 2019-03-07 ウエストユニティス株式会社 連携表示システム
US10591730B2 (en) 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
US11531357B1 (en) 2017-10-05 2022-12-20 Snap Inc. Spatial vector-based drone control
US11847426B2 (en) 2017-11-08 2023-12-19 Snap Inc. Computer vision based sign language interpreter
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
US10567321B2 (en) 2018-01-02 2020-02-18 Snap Inc. Generating interactive messages with asynchronous media content
US10523606B2 (en) 2018-01-02 2019-12-31 Snap Inc. Generating interactive messages with asynchronous media content
US11063889B2 (en) 2018-06-08 2021-07-13 Snap Inc. Generating interactive messages with entity assets
US10890653B2 (en) * 2018-08-22 2021-01-12 Google Llc Radar-based gesture enhancement for voice interfaces
US10770035B2 (en) 2018-08-22 2020-09-08 Google Llc Smartphone-based radar system for facilitating awareness of user presence and orientation
US10698603B2 (en) 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
US10788880B2 (en) 2018-10-22 2020-09-29 Google Llc Smartphone-based radar system for determining user intention in a lower-power mode
US10761611B2 (en) 2018-11-13 2020-09-01 Google Llc Radar-image shaper for radar-based applications
US11099862B1 (en) * 2018-11-30 2021-08-24 Snap Inc. Interface to configure media content
US11323684B2 (en) * 2018-11-30 2022-05-03 Ricoh Company, Ltd. Apparatus, system, and method of processing image data to be relayed
US10796482B2 (en) 2018-12-05 2020-10-06 Snap Inc. 3D hand shape and pose estimation
US11012390B1 (en) 2019-03-28 2021-05-18 Snap Inc. Media content response in a messaging system
US11019011B1 (en) 2019-03-29 2021-05-25 Snap Inc. Messaging system with discard user interface
US11036368B1 (en) 2019-03-29 2021-06-15 Snap Inc. Messaging system with message transmission user interface
KR102094397B1 (ko) * 2019-04-19 2020-03-27 (주)코어센스 유니티 프로젝트 내 모션센서 장비를 통한 애니메이션 익스포트 시스템
US11106342B1 (en) 2019-06-03 2021-08-31 Snap Inc. User interfaces to facilitate multiple modes of electronic communication
US11151794B1 (en) 2019-06-28 2021-10-19 Snap Inc. Messaging system with augmented reality messages
US10997693B2 (en) * 2019-07-03 2021-05-04 Gopro, Inc. Apparatus and methods for non-uniform processing of image data
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
CN114175630A (zh) * 2019-07-28 2022-03-11 谷歌有限责任公司 利用注视点网格渲染沉浸式视频内容的方法、系统和介质
US11905675B2 (en) * 2019-08-05 2024-02-20 Topcon Positioning Systems, Inc. Vision-based blade positioning
US11282547B1 (en) * 2019-08-30 2022-03-22 Gopro, Inc. Interface for framing videos
US11336832B1 (en) * 2019-08-30 2022-05-17 Gopro, Inc. Systems and methods for horizon leveling videos
CN114391160A (zh) 2019-09-09 2022-04-22 斯纳普公司 根据立体相机的手部姿势估计
US11792472B2 (en) * 2019-09-18 2023-10-17 Wayne Fueling Systems Llc Schedule-based uninterrupted buffering and streaming
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
US11935288B2 (en) 2019-12-01 2024-03-19 Pointivo Inc. Systems and methods for generating of 3D information on a user display from processing of sensor data for objects, components or features of interest in a scene and user navigation thereon
US11216663B1 (en) * 2020-12-01 2022-01-04 Pointivo, Inc. Systems and methods for generating of 3D information on a user display from processing of sensor data for objects, components or features of interest in a scene and user navigation thereon
US11064118B1 (en) * 2019-12-18 2021-07-13 Gopro, Inc. Systems and methods for dynamic stabilization adjustment
WO2021134183A1 (zh) * 2019-12-30 2021-07-08 深圳市大疆创新科技有限公司 图像处理方法、装置、可移动平台、摄像装置及存储介质
US11062498B1 (en) 2019-12-30 2021-07-13 Snap Inc. Animated pull-to-refresh
US11488358B2 (en) 2020-02-05 2022-11-01 Snap Inc. Augmented reality session creation using skeleton tracking
US11265274B1 (en) 2020-02-28 2022-03-01 Snap Inc. Access and routing of interactive messages
US11409368B2 (en) 2020-03-26 2022-08-09 Snap Inc. Navigating through augmented reality content
US11675494B2 (en) 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface
US11960651B2 (en) 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
US11455078B1 (en) 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
US11538231B2 (en) * 2020-04-06 2022-12-27 Nvidia Corporation Projecting images captured using fisheye lenses for feature detection in autonomous machine applications
WO2021237619A1 (zh) * 2020-05-28 2021-12-02 深圳市大疆创新科技有限公司 视频文件编辑方法、设备、系统及计算机可读存储介质
KR20230029968A (ko) 2020-06-30 2023-03-03 스냅 인코포레이티드 실시간 가상 효과들을 위한 골격 추적
CN111887834B (zh) * 2020-07-15 2021-11-02 西安电子科技大学 基于多示例学习和进化优化的逐搏心率检测方法
US11200918B1 (en) * 2020-07-29 2021-12-14 Gopro, Inc. Video framing based on device orientation
US11832015B2 (en) 2020-08-13 2023-11-28 Snap Inc. User interface for pose driven virtual effects
US11417004B2 (en) * 2020-08-24 2022-08-16 Vmware, Inc. Variable transforms for three-dimensional engines
US11360733B2 (en) 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
US11671559B2 (en) 2020-09-30 2023-06-06 Snap Inc. Real time video editing
CN112203110B (zh) * 2020-12-03 2021-04-06 首望体验科技文化有限公司 适配于720胶囊型屏幕的直播方法、装置及相关产品
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
WO2022146729A1 (en) 2020-12-29 2022-07-07 Snap Inc. Body ui for augmented reality components
EP4272059A1 (en) 2020-12-31 2023-11-08 Snap Inc. Electronic communication interface with haptic feedback response
CN116685941A (zh) 2020-12-31 2023-09-01 斯纳普公司 具有触觉反馈增强的媒体内容项
CN112804511B (zh) * 2021-01-04 2022-04-01 烽火通信科技股份有限公司 一种动态渲染全景视频的方法和装置
US11978283B2 (en) 2021-03-16 2024-05-07 Snap Inc. Mirroring device with a hands-free mode
US11734959B2 (en) 2021-03-16 2023-08-22 Snap Inc. Activating hands-free mode on mirroring device
US11798201B2 (en) 2021-03-16 2023-10-24 Snap Inc. Mirroring device with whole-body outfits
US11908243B2 (en) 2021-03-16 2024-02-20 Snap Inc. Menu hierarchy navigation on electronic mirroring devices
US11809633B2 (en) 2021-03-16 2023-11-07 Snap Inc. Mirroring device with pointing based navigation
USD998637S1 (en) 2021-03-16 2023-09-12 Snap Inc. Display screen or portion thereof with a graphical user interface
EP4064691A1 (en) * 2021-03-23 2022-09-28 Ricoh Company, Ltd. Communication management device, image communication system, communication management method, and carrier means
US11928306B2 (en) 2021-05-19 2024-03-12 Snap Inc. Touchpad navigation for augmented reality display device
US11880542B2 (en) 2021-05-19 2024-01-23 Snap Inc. Touchpad input for augmented reality display device
US11647294B2 (en) * 2021-05-25 2023-05-09 Shanghai Bilibili Technology Co., Ltd. Panoramic video data process
US11818414B2 (en) * 2021-08-06 2023-11-14 Sony Group Corporation Telepresence through OTA VR broadcast streams
US11670059B2 (en) 2021-09-01 2023-06-06 Snap Inc. Controlling interactive fashion based on body gestures
CN114125556B (zh) * 2021-11-12 2024-03-26 深圳麦风科技有限公司 视频数据的处理方法、终端和存储介质
US11960784B2 (en) 2021-12-07 2024-04-16 Snap Inc. Shared augmented reality unboxing experience
CN114155356A (zh) * 2021-12-07 2022-03-08 大连工业大学 基于Unity的全空间分布光度计虚拟现实仿真方法
US11748958B2 (en) 2021-12-07 2023-09-05 Snap Inc. Augmented reality unboxing experience
US11861801B2 (en) 2021-12-30 2024-01-02 Snap Inc. Enhanced reading with AR glasses
US11579747B1 (en) 2022-03-14 2023-02-14 Snap Inc. 3D user interface depth forgiveness
US11949527B2 (en) 2022-04-25 2024-04-02 Snap Inc. Shared augmented reality experience in video chat
US11960653B2 (en) 2022-05-10 2024-04-16 Snap Inc. Controlling augmented reality effects through multi-modal human interaction
US11948266B1 (en) 2022-09-09 2024-04-02 Snap Inc. Virtual object manipulation with gestures in a messaging system
US11797099B1 (en) 2022-09-19 2023-10-24 Snap Inc. Visual and audio wake commands
US11747912B1 (en) 2022-09-22 2023-09-05 Snap Inc. Steerable camera for AR hand tracking

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017037962A1 (ja) * 2015-08-28 2017-03-09 株式会社タカラトミー 頭部装着型ディスプレイを備えた情報処理装置

Family Cites Families (174)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5758257A (en) 1994-11-29 1998-05-26 Herz; Frederick System and method for scheduling broadcast of and access to video programs and other data using customer profiles
US5978773A (en) 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
EP0814611B1 (de) 1996-06-17 2002-08-28 Siemens Aktiengesellschaft Kommunikationssystem und Verfahren zur Aufnahme und Verwaltung digitaler Bilder
JP3783331B2 (ja) 1997-05-14 2006-06-07 ブラザー工業株式会社 メール送信システム、メール受信システムおよび記録媒体
US6158044A (en) 1997-05-21 2000-12-05 Epropose, Inc. Proposal based architecture system
IL128576A (en) 1997-06-17 2004-03-28 Purdue Pharma Lp A self-destructing document and an e-mail system
FI973945A (fi) 1997-10-13 1999-04-14 Nokia Telecommunications Oy Lyhytsanomia välittävä tiedonsiirtojärjestelmä
US6484196B1 (en) 1998-03-20 2002-11-19 Advanced Web Solutions Internet messaging system and method for use in computer networks
US7173651B1 (en) 1998-06-02 2007-02-06 Knowles Andrew T Apparatus and system for prompt digital photo delivery and archival
US6205432B1 (en) 1998-06-05 2001-03-20 Creative Internet Concepts, Llc Background advertising system
US6324569B1 (en) 1998-09-23 2001-11-27 John W. L. Ogilvie Self-removing email verified or designated as such by a message distributor for the convenience of a recipient
US6711608B1 (en) 1998-09-23 2004-03-23 John W. L. Ogilvie Method for including a self-removing code in a self-removing message
US6757713B1 (en) 1998-09-23 2004-06-29 John W. L. Ogilvie Method for including a self-removing indicator in a self-removing message
US6701347B1 (en) 1998-09-23 2004-03-02 John W. L. Ogilvie Method for including a self-removing code in a self-removing email message that contains an advertisement
US6167435A (en) 1998-10-30 2000-12-26 Netcreations, Inc. Double opt-in™ method and system for verifying subscriptions to information distribution services
US7240199B2 (en) 2000-12-06 2007-07-03 Rpost International Limited System and method for verifying delivery and integrity of electronic messages
US7149893B1 (en) 1999-09-07 2006-12-12 Poofaway.Com, Inc. System and method for enabling the originator of an electronic mail message to preset an expiration time, date, and/or event, and to control processing or handling by a recipient
US7124164B1 (en) 2001-04-17 2006-10-17 Chemtob Helen J Method and apparatus for providing group interaction via communications networks
US20010056574A1 (en) * 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
US6505123B1 (en) 2000-07-24 2003-01-07 Weatherbank, Inc. Interactive weather advisory system
US6754621B1 (en) 2000-10-06 2004-06-22 Andrew Cunningham Asynchronous hypertext messaging system and method
JP2002132647A (ja) 2000-10-19 2002-05-10 Kizna Corp 電子掲示板及び電子掲示板システム
US7243163B1 (en) 2001-08-07 2007-07-10 Good Technology, Inc. System and method for full wireless synchronization of a data processing apparatus with a messaging system
JP4440503B2 (ja) 2001-09-20 2010-03-24 富士通株式会社 情報一覧作成装置及びそのプログラム
US20100098702A1 (en) 2008-09-16 2010-04-22 Longgui Wang Method of treating androgen independent prostate cancer
US7356564B2 (en) 2002-01-09 2008-04-08 At&T Delaware Intellectual Property, Inc. Method, system, and apparatus for providing self-destructing electronic mail messages
US20030217106A1 (en) 2002-03-25 2003-11-20 Eytan Adar System and method for profiling clients within a system for harvesting community knowledge
US7278168B1 (en) 2002-11-27 2007-10-02 Adobe Systems Incorporated Dynamic enabling of functionality in electronic document readers
US7411493B2 (en) 2003-03-01 2008-08-12 User-Centric Ip, L.P. User-centric event reporting
US6978147B2 (en) 2003-03-19 2005-12-20 Motorola, Inc. Wireless messaging device with selectable scroll display and message pre-fetch
GB0308991D0 (en) 2003-04-17 2003-05-28 Psion Digital Ltd A data access replication or communication system comprising a distributed software application
US7703140B2 (en) 2003-09-30 2010-04-20 Guardian Data Storage, Llc Method and system for securing digital assets using process-driven security policies
US7191221B2 (en) 2003-10-30 2007-03-13 International Business Machines Corporation Method for managing electronic mail receipts using audio-visual notification enhancements
US7535890B2 (en) 2003-12-18 2009-05-19 Ayalogic, Inc. System and method for instant VoIP messaging
WO2005062217A1 (ja) 2003-12-19 2005-07-07 Fujitsu Limited プレゼンス情報管理方法、及び、サーバ
US7478402B2 (en) 2004-02-12 2009-01-13 Microsoft Corporation Configurable message pipelines
US7904510B2 (en) 2004-02-23 2011-03-08 Microsoft Corporation Systems and methods for managing discussion threads based on ratings
US7912904B2 (en) 2004-03-31 2011-03-22 Google Inc. Email system with conversation-centric user interface
US7607096B2 (en) 2004-05-01 2009-10-20 Microsoft Corporation System and method for a user interface directed to discovering and publishing presence information on a network
US7593740B2 (en) 2004-05-12 2009-09-22 Google, Inc. Location-based social software for mobile devices
WO2006005814A1 (fr) 2004-05-27 2006-01-19 France Telecom Procede et installation de transmission d’un message a duree de validite predeterminee a destination d’un terminal d’abonne
US7519670B2 (en) 2004-08-12 2009-04-14 International Business Machines Corporation Method for disappearing ink for text messaging
US8745132B2 (en) 2004-09-10 2014-06-03 Silver State Intellectual Technologies, Inc. System and method for audio and video portable publishing system
US7496347B2 (en) 2004-11-12 2009-02-24 Velocita Wireless Llc Method and apparatus for providing secure wireless communication
US8396456B2 (en) 2005-06-28 2013-03-12 Avaya Integrated Cabinet Solutions Inc. Visual voicemail management
US8266219B2 (en) 2005-07-20 2012-09-11 Research In Motion Limited Method and system for instant messaging conversation security
US7610345B2 (en) 2005-07-28 2009-10-27 Vaporstream Incorporated Reduced traceability electronic message system and method
CN1794708A (zh) 2005-07-29 2006-06-28 华为技术有限公司 呈现业务系统及发布呈现信息的方法
US8332475B2 (en) 2005-08-22 2012-12-11 Triplay Communications Ltd. Messaging system and method
US7949107B2 (en) 2005-08-24 2011-05-24 International Business Machines Corporation Method, system, and computer program product for providing privacy measures in instant messaging systems
US20070073823A1 (en) 2005-09-29 2007-03-29 International Business Machines Corporation Method and apparatus to secure and retrieve instant messages
US8284663B2 (en) 2005-10-14 2012-10-09 Turbine, Inc. Selectively ordered protocol for unreliable channels
ITMI20052290A1 (it) 2005-11-30 2007-06-01 Pasqua Roberto Della Servizio di messaggistica istantanea con interfaccia utente minimizzata
US7856360B2 (en) 2006-01-30 2010-12-21 Hoozware, Inc. System for providing a service to venues where people aggregate
EP2024811A4 (en) 2006-02-10 2010-11-10 Strands Inc SYSTEMS AND METHOD FOR PRIORIZING FILES OF MOBILE MEDIA PLAYERS
US8112478B2 (en) 2006-03-13 2012-02-07 Oracle International Corporation Email and discussion forum system
US8255473B2 (en) 2006-04-04 2012-08-28 International Business Machines Corporation Caching message fragments during real-time messaging conversations
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US7971156B2 (en) 2007-01-12 2011-06-28 International Business Machines Corporation Controlling resource access based on user gesturing in a 3D captured image stream of the user
USRE47534E1 (en) 2007-04-23 2019-07-23 Ramot At Tel Aviv University Ltd. System, method and a computer readable medium for providing an output image
US20080270938A1 (en) 2007-04-29 2008-10-30 Elizabeth Marie Carlson System for self-registering visitor information with geographic specificity and searchable fields
US8170957B2 (en) 2007-08-08 2012-05-01 Sinart Points Technology, Inc. System and method for managing digital interactions
US8909714B2 (en) 2007-08-21 2014-12-09 Microsoft Corporation Electronic mail delay adaptation
US8244593B2 (en) 2007-11-20 2012-08-14 Pure Verticals, Inc. Method and system for monetizing content
KR101387527B1 (ko) 2007-12-06 2014-04-23 엘지전자 주식회사 단말기 및 그 메뉴 아이콘 디스플레이 방법
US8214443B2 (en) 2008-03-05 2012-07-03 Aol Inc. Electronic mail forwarding service
KR20100126850A (ko) 2008-03-28 2010-12-02 셀트러스트 코포레이션 보안형 단문 메시징 서비스 및 멀티미디어 메시징 서비스를 위한 시스템 및 방법
US20100082427A1 (en) 2008-09-30 2010-04-01 Yahoo! Inc. System and Method for Context Enhanced Ad Creation
US8719238B2 (en) 2009-01-22 2014-05-06 Sunstein Kann Murphy & Timbers LLP Office-based notification messaging system
US8214446B1 (en) 2009-06-04 2012-07-03 Imdb.Com, Inc. Segmenting access to electronic message boards
US8479080B1 (en) 2009-07-12 2013-07-02 Apple Inc. Adaptive over-provisioning in memory systems
KR101051389B1 (ko) * 2009-08-31 2011-07-22 주식회사 이미지넥스트 적응적 배경 기반의 객체 검출 및 추적 장치 및 방법
US20110099507A1 (en) 2009-10-28 2011-04-28 Google Inc. Displaying a collection of interactive elements that trigger actions directed to an item
CN102118419B (zh) 2009-12-30 2014-07-16 华为技术有限公司 一种图片信息的传输方法、装置和通信系统
WO2011101784A1 (en) 2010-02-16 2011-08-25 Tigertext Inc. A messaging system apparatuses circuits and methods of operation thereof
US20110213845A1 (en) 2010-02-26 2011-09-01 Research In Motion Limited Automatic deletion of electronic messages
US8433755B2 (en) 2010-04-07 2013-04-30 Apple Inc. Dynamic designation of a central distributor in a multi-participant conference
WO2011133824A1 (en) 2010-04-21 2011-10-27 Michael Jerry Saylor Multimodal interactive voice response system
US20110320373A1 (en) 2010-06-25 2011-12-29 Microsoft Corporation Product conversations among social groups
WO2012000107A1 (en) 2010-07-01 2012-01-05 Absolute Software Corporation Automatic creation and modification of dynamic geofences
US8233887B2 (en) 2010-07-28 2012-07-31 Sprint Communications Company L.P. Covert message redaction and recovery in a wireless communication device
US8457668B2 (en) 2011-01-18 2013-06-04 Claremont Speede Mobile sender initiated SMS message deletion method and system
US20120209921A1 (en) 2011-02-10 2012-08-16 International Business Machines Corporation Instant Message Management Method and Apparatus
US9331972B2 (en) 2011-03-31 2016-05-03 Loment, Inc. Automatic expiration of messages communicated to an end user communication device
US10509466B1 (en) 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
WO2013008251A2 (en) 2011-07-08 2013-01-17 Hughes Systique India Private Limited Method and system for social networking in a restricted connectivity environment
US20130071093A1 (en) 2011-09-16 2013-03-21 William Turner Hanks Maintaining viewer activity information of a recorded program for program deletion decisions
CA2861391A1 (en) * 2012-01-18 2013-07-25 Logos Technologies Llc Method, device, and system for computing a spherical projection image based on two-dimensional images
US20130194301A1 (en) 2012-01-30 2013-08-01 Burn Note, Inc. System and method for securely transmiting sensitive information
US20130201328A1 (en) * 2012-02-08 2013-08-08 Hing Ping Michael CHUNG Multimedia processing as a service
US9560006B2 (en) 2012-07-26 2017-01-31 Google Inc. Method and apparatus for expiring messages in electronic communications
US20150199082A1 (en) 2012-11-13 2015-07-16 Google Inc. Displaying actionable items in an overscroll area
US20140201527A1 (en) 2013-01-17 2014-07-17 Zohar KRIVOROT Systems and methods for secure and private delivery of content
GB2509953B (en) * 2013-01-18 2015-05-20 Canon Kk Method of displaying a region of interest in a video stream
US9264463B2 (en) 2013-03-15 2016-02-16 Facebook, Inc. Method and system of managing ephemeral post in a social networking system
US9736218B2 (en) 2013-04-24 2017-08-15 Blackberry Limited Device, system and method for processing character data
CN103279187B (zh) * 2013-05-09 2018-05-04 西安电子科技大学 一种用于构建多场景虚拟全景空间的方法及智能终端
US9742713B2 (en) 2013-05-30 2017-08-22 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US10439972B1 (en) 2013-05-30 2019-10-08 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US9705831B2 (en) 2013-05-30 2017-07-11 Snap Inc. Apparatus and method for maintaining a message thread with opt-in permanence for entries
US8914752B1 (en) 2013-08-22 2014-12-16 Snapchat, Inc. Apparatus and method for accelerated display of ephemeral messages
CN203405772U (zh) * 2013-09-09 2014-01-22 北京诺亦腾科技有限公司 一种基于运动捕捉的浸入式虚拟现实系统
US9083770B1 (en) 2013-11-26 2015-07-14 Snapchat, Inc. Method and system for integrating real time communication features in applications
CA2863124A1 (en) 2014-01-03 2015-07-03 Investel Capital Corporation User content sharing system and method with automated external content integration
US9628950B1 (en) 2014-01-12 2017-04-18 Investment Asset Holdings Llc Location-based messaging
US10283162B2 (en) 2014-02-05 2019-05-07 Avatar Merger Sub II, LLC Method for triggering events in a video
US20150227601A1 (en) 2014-02-13 2015-08-13 Actifio, Inc. Virtual data backup
US8909725B1 (en) 2014-03-07 2014-12-09 Snapchat, Inc. Content delivery network for ephemeral objects
US9479909B2 (en) 2014-03-20 2016-10-25 Tigertext, Inc. Method of sending messages to devices not configured to receive them
US9276886B1 (en) 2014-05-09 2016-03-01 Snapchat, Inc. Apparatus and method for dynamically configuring application component tiles
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9537811B2 (en) 2014-10-02 2017-01-03 Snap Inc. Ephemeral gallery of ephemeral messages
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
CN107111828B (zh) 2014-10-24 2021-05-25 斯纳普公司 消息的优先级排序
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US11783898B2 (en) 2014-09-18 2023-10-10 Jonker Llc Ephemeral storage elements, circuits, and systems
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US11216869B2 (en) 2014-09-23 2022-01-04 Snap Inc. User interface to augment an image using geolocation
US10284508B1 (en) 2014-10-02 2019-05-07 Snap Inc. Ephemeral gallery of ephemeral messages with opt-in permanence
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US9854219B2 (en) 2014-12-19 2017-12-26 Snap Inc. Gallery of videos set to an audio time line
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
US9111164B1 (en) 2015-01-19 2015-08-18 Snapchat, Inc. Custom functional patterns for optical barcodes
US10127714B1 (en) * 2015-01-27 2018-11-13 Google Llc Spherical three-dimensional video rendering for virtual reality
US9294425B1 (en) 2015-02-06 2016-03-22 Snapchat, Inc. Storage and processing of ephemeral messages
US9148424B1 (en) 2015-03-13 2015-09-29 Snapchat, Inc. Systems and methods for IP-based intrusion detection
KR102163528B1 (ko) 2015-03-18 2020-10-08 스냅 인코포레이티드 지오-펜스 인가 프로비저닝
US9482882B1 (en) 2015-04-15 2016-11-01 Snapchat, Inc. Eyewear having selectively exposable feature
US9482883B1 (en) 2015-04-15 2016-11-01 Snapchat, Inc. Eyewear having linkage assembly between a temple and a frame
US9881094B2 (en) 2015-05-05 2018-01-30 Snap Inc. Systems and methods for automated local story generation and curation
KR20180004218A (ko) 2015-05-06 2018-01-10 스냅 인코포레이티드 단기 그룹 채팅을 위한 시스템 및 방법
US10503264B1 (en) 2015-06-16 2019-12-10 Snap Inc. Radial gesture navigation
US9652896B1 (en) 2015-10-30 2017-05-16 Snap Inc. Image based tracking in augmented reality systems
US20170161382A1 (en) 2015-12-08 2017-06-08 Snapchat, Inc. System to correlate video data and contextual data
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
WO2017116952A1 (en) * 2015-12-29 2017-07-06 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
US10055895B2 (en) 2016-01-29 2018-08-21 Snap Inc. Local augmented reality persistent sticker objects
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US11900418B2 (en) 2016-04-04 2024-02-13 Snap Inc. Mutable geo-fencing system
US10686899B2 (en) 2016-04-06 2020-06-16 Snap Inc. Messaging achievement pictograph display system
CN109155861B (zh) * 2016-05-24 2021-05-25 诺基亚技术有限公司 用于编码媒体内容的方法和装置以及计算机可读存储介质
US10360721B2 (en) * 2016-05-26 2019-07-23 Mediatek Inc. Method and apparatus for signaling region of interests
EP3761645A1 (en) * 2016-05-26 2021-01-06 Vid Scale, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
CN106095235B (zh) * 2016-06-07 2018-05-08 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
US9681265B1 (en) 2016-06-28 2017-06-13 Snap Inc. System to track engagement of media items
US10102423B2 (en) 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
US10768639B1 (en) 2016-06-30 2020-09-08 Snap Inc. Motion and image-based control system
JP6093473B1 (ja) * 2016-08-19 2017-03-08 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US20180103197A1 (en) * 2016-10-06 2018-04-12 Gopro, Inc. Automatic Generation of Video Using Location-Based Metadata Generated from Wireless Beacons
US10652553B2 (en) * 2016-12-07 2020-05-12 Qualcomm Incorporated Systems and methods of signaling of regions of interest
US10368047B2 (en) * 2017-02-15 2019-07-30 Adone Inc. Six-degree of freedom video playback of a single monoscopic 360-degree video
CN107124589A (zh) * 2017-05-24 2017-09-01 武汉大学 基于Cardboard的360度沉浸式远程视频监控系统及方法
US10579869B1 (en) 2017-07-18 2020-03-03 Snap Inc. Virtual object machine learning
US10591730B2 (en) 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear
US10217488B1 (en) 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
US10962809B1 (en) 2018-01-10 2021-03-30 Snap Inc. Eyewear device with finger activated touch sensor
US11092998B1 (en) 2018-01-12 2021-08-17 Snap Inc. Eyewear device with fingerprint sensor for user input
US10687039B1 (en) * 2018-05-16 2020-06-16 Gopro, Inc. Systems and methods for identifying viewing directions for video content
US11227626B1 (en) 2018-05-21 2022-01-18 Snap Inc. Audio response messages
KR20210058969A (ko) 2018-09-28 2021-05-24 스냅 인코포레이티드 웨어러블 또는 모바일 디바이스에서 제스처, 착용, 활동 또는 휴대 검출을 위한 신경 네트워크 시스템
US10796482B2 (en) 2018-12-05 2020-10-06 Snap Inc. 3D hand shape and pose estimation
US11012390B1 (en) 2019-03-28 2021-05-18 Snap Inc. Media content response in a messaging system
US11036368B1 (en) 2019-03-29 2021-06-15 Snap Inc. Messaging system with message transmission user interface
US11106342B1 (en) 2019-06-03 2021-08-31 Snap Inc. User interfaces to facilitate multiple modes of electronic communication
US11307747B2 (en) 2019-07-11 2022-04-19 Snap Inc. Edge gesture interface with smart interactions
CN114391160A (zh) 2019-09-09 2022-04-22 斯纳普公司 根据立体相机的手部姿势估计
US11169600B1 (en) 2019-12-06 2021-11-09 Snap Inc. Virtual object display interface between a wearable device and a mobile device
US11087728B1 (en) 2019-12-21 2021-08-10 Snap Inc. Computer vision and mapping for audio applications
US11062498B1 (en) 2019-12-30 2021-07-13 Snap Inc. Animated pull-to-refresh
US11488358B2 (en) 2020-02-05 2022-11-01 Snap Inc. Augmented reality session creation using skeleton tracking
US11675494B2 (en) 2020-03-26 2023-06-13 Snap Inc. Combining first user interface content into second user interface
US11409368B2 (en) 2020-03-26 2022-08-09 Snap Inc. Navigating through augmented reality content
US11960651B2 (en) 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017037962A1 (ja) * 2015-08-28 2017-03-09 株式会社タカラトミー 頭部装着型ディスプレイを備えた情報処理装置

Also Published As

Publication number Publication date
US20210264949A1 (en) 2021-08-26
CN112256127A (zh) 2021-01-22
US20220301593A1 (en) 2022-09-22
US20190189160A1 (en) 2019-06-20
KR102100744B1 (ko) 2020-05-15
KR102332950B1 (ko) 2021-12-01
US20200194033A1 (en) 2020-06-18
CN110495166A (zh) 2019-11-22
CN110495166B (zh) 2020-11-10
KR20210149206A (ko) 2021-12-08
US11037601B2 (en) 2021-06-15
KR20190108181A (ko) 2019-09-23
KR20200038561A (ko) 2020-04-13
US10217488B1 (en) 2019-02-26
WO2019118877A1 (en) 2019-06-20
US10614855B2 (en) 2020-04-07
US11380362B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
KR102469263B1 (ko) 구면 비디오 편집
KR102653793B1 (ko) 비디오 클립 객체 추적
US20240028132A1 (en) Mirroring device with pointing based navigation
CN116671121A (zh) 用于多视频片段捕获的ar内容
US20220197393A1 (en) Gesture control on an eyewear device
KR20230121919A (ko) 증강 현실 콘텐츠를 생성하기 위한 응시 방향의 결정
KR20230127311A (ko) 안경류 디바이스 상에서의 증강 현실 콘텐츠의 기록
KR20230127326A (ko) 증강 현실 콘텐츠에서의 디스플레이 스크린들의 검출및 난독화
KR20230119005A (ko) 안경류 디바이스 상의 제스처 제어
CN116685938A (zh) 眼镜设备上的3d绘制
KR20230116938A (ko) 안경류 디바이스 상의 미디어 콘텐츠 플레이어
US11782577B2 (en) Media content player on an eyewear device
CN116685941A (zh) 具有触觉反馈增强的媒体内容项
CN116670635A (zh) 具有触觉反馈的实时视频通信界面
US20230043683A1 (en) Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry
CN112256127B (zh) 球形视频编辑
KR20230160926A (ko) 사용자-정의 맥락 공간들
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230326095A1 (en) Overlaying displayed digital content with regional transparency and regional lossless compression transmitted over a communication network via processing circuitry
US20240098213A1 (en) Modifying digital content transmitted to devices in real time via processing circuitry
WO2024039885A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant