KR20220031894A - 데이터 스트림을 동기화하기 위한 시스템 및 방법 - Google Patents

데이터 스트림을 동기화하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20220031894A
KR20220031894A KR1020227000926A KR20227000926A KR20220031894A KR 20220031894 A KR20220031894 A KR 20220031894A KR 1020227000926 A KR1020227000926 A KR 1020227000926A KR 20227000926 A KR20227000926 A KR 20227000926A KR 20220031894 A KR20220031894 A KR 20220031894A
Authority
KR
South Korea
Prior art keywords
data stream
data
vantage
network
video
Prior art date
Application number
KR1020227000926A
Other languages
English (en)
Inventor
앤드류 에니우마이드
Original Assignee
햅패닝 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 햅패닝 엘티디 filed Critical 햅패닝 엘티디
Publication of KR20220031894A publication Critical patent/KR20220031894A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/632—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing using a connection between clients on a wide area network, e.g. setting up a peer-to-peer communication via Internet for retrieving video segments from the hard-disk of other client devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

데이터 스트림 동기화를 위한 시스템 및 방법으로서, 시청자가 실시간 및/또는 후향적으로 다수 개의 이벤트 밴티지 포인트 간에 시청 및/또는 전환할 수 있는, 시스템 및 방법.

Description

데이터 스트림을 동기화하기 위한 시스템 및 방법
본 발명은 데이터 스트림 동기화를 위한 시스템 및 방법으로서, 시청자가 실시간 및/또는 후향적으로 다수 개의 이벤트 밴티지 포인트 간에 시청 및/또는 전환할 수 있는, 시스템 및 방법에 관한 것이다.
콘서트, 강연, 스포츠 경기와 같은 많은 이벤트는 다수 명의 사용자에 의하여 비디오로 캡처된다. 이벤트 영상은 이벤트 중 내지 이후에 자신의 영상을 공유하는 공식 소스 및/또는 개인으로부터 구할 수 있다. 비디오 캡처가 점점 유명해지면서, 더 많은 사용자들이 라이브 이벤트를 녹화하고 자신의 비디오를 다른 사람과 공유하여 보게 된다. 단, 시청자는 단일 뷰 필드 또는 밴티지 포인트만을 제공하는 Youtube™와 같은 비디오 공유 사이트에 업로드된 비디오 세그먼트만을 볼 수 있다.
멀티-밴티지 포인트 시스템을 사용하면 사용자는 다수 개의 비디오 스트림을 순차적으로 보거나 선택적으로 다수의 사전 결정된 밴티지 포인트를 제공할 수 있으나, 프리포맷된 뷰에서만 가능하다. 또한, 사용자 비디오는 품질이 극히 가변적일 수 있으며 시청하기 전에 품질을 평가할 신뢰 가능한 방법이 없다.
본 발명의 목적을 데이터 스트림 동기화를 위한 시스템 및 컴퓨터 구현 방법을 제공하여 시청자가 실시간 또는 후향적으로 다수 개의 이벤트 밴티지 포인트 간에 시청 및 전환할 수 있도록 하는 것이다.
본 발명은 멀티미디어 데이터 ‘피드’ 또는 스트림 동기화를 위한 방법과 시스템을 제공하고 멀티-밴티지 멀티미디어 데이터 스트림 및 미디어 포맷(ViiVid ®)을 제공한다.
다수 개의 데이터 스트림은 네트워크를 거친 다수 개의 장치로부터 수신할 수 있으며 사용자가 다수 개의 밴티지 포인트로부터의 멀티미디어 데이터(이미지, 오디오 및 비디오)를 볼 수 있도록 동기화할 수 있다. 일부 실시 예에서, 사용자는 멀티-뷰 인터페이스에서 한 번에 다수 개의 데이터 스트림을 보거나, 밴티지 포인트 사이에서 선택하는 이벤트를 보거나, 밴티지 포인트가 스트림의 파라미터에 따라 동적으로 변하는 이벤트를 볼 수 있다.
상기 데이터 스트림은 비콘(beacon) 신호를 전송 및 검출하여(예: 일정한 간격으로 스캐닝하여) 사전 결정된 범위 내에서 다른 장치를 식별하는 모바일 및 정적 녹화 장치의 네트워크에 의하여 생성된다. 오디오/비디오 출력, 시간 서명, 로케이션 및 위치(장치 방향 및 헤딩/페이싱(콤파스 방향))를 포함할 수 있는 상기 데이터 스트림은 네트워크 내의 피어로 방송될 수 있다. 동시에, 다른 피어 네트워크로부터의 데이터 스트림도 실시간으로 수신 및 처리할 수 있다.
상기 데이터 스트림은 시간별 및 로케이션 기반 데이터별로 동기화되며 사용자는 동기화 방식으로 실시간 및/또는 후향적으로 밴티지 포인트 간에 특정 방향에서 상호적으로 볼 수 있다. 일부 실시 예에서, 마커를 오버레이하여(예: AR에 렌더링, 또는 동기화된 데이터 스트림에 내장) 현재 뷰 필드 내에서 사용 가능한 다른 밴티지 포인트의 상대적 로케이션 및 위치(거리, 고도 및/또는 방향)를 표시하고, 엣지 마커는 현재 프레임 밖에 있는 다른 밴티지의 상대적 위치를 표시할 수 있다.
일부 실시 예에서, 실시간 클라이트측 처리 및 데이터 전송을 통해 모바일 또는 웹기반 클라이언트를 통한 무선 밴티지 포인트 검색이 가능하다. 서버측 데이터 스트림 업로드 및 처리를 통해 네트워크 외부의 라이브 스트리밍과 웹 및/또는 모바일 클라이언트를 통한 후향적 밴티지 포인트 검색이 가능하다. 또한, 중앙 집중식 웹 클라이어트는 관련 표적 플랫폼에 동일한 상호작용식 비디오 검색 기능을 제공하는 제3자 웹사이트 및/또는 애플리케이션에 내장될 수 있다.
일부 실시 예에서, 증강 현실(AR)을 사용하여 재생 중에 잠재적으로 움직이는 다른 밴티지의 상대적 로케이션과 위치(거리, 고도 및/또는 방향)를 플로팅/렌더링할 수 있다.
일부 실시 예에서, 사용자 제어 수단, 스와이프 또는 모션 제스처를 사용하여 뷰어에 대한 이동 방향을 결정하거나 일측 밴티지에서 다른 밴티지로 검색함으로써 사용자는 다른 비디오 피드의 카메라 출력(자체적으로 360°와 같은 2차원 내지 3차원이 될 수 있음)을 볼 수 있다. 사용자는 컨트롤러 뷰의 마커를 선택하거나(예: 상호작용식 맵 뷰 또는 캐러셀) 원하는 방향으로 카메라 뷰를 제스처링하여 일측 밴티지 포인트에서 다른 것으로 미리보기 또는 전환할 수 있다.
본 발명은 다음과 같은 다수의 혜택을 입증한다.
몰입감: 사용자는 보는 시각을 제어할 수 있을 뿐만 아니라 보여지는 공간과 상대적인 거리를 더 잘 감상할 수 있다. 완전 AR/VR 호환성, 직관적 컨트롤 및 동적 상호작용을 통해 사용자 경험이 더욱 개선된다.
효율성: 네트워킹된 시스템은 데이터 중복 제거, 중복 체크를 수행하고 불필요한 처리를 줄임으로써 네트워킹된 시스템의 효율은 전체적으로 상당히 증가한다.
접근성: 누구나 사전 결정된 밴티지 포인트 로케이션 및 헤딩 없이 밴티지를 라이브 또는 후향적으로 녹화 및 검색할 수 있다(통상적으로 사용 가능한 장비 또는 고품질 전문가용 방송 리그, HD 및 360° 카메라를 사용하여). 클라우드 컴퓨팅 방식은 고급 처리 기술을 의미하며 사용 가능한 인터넷 연결만 있다면 모든 곳에서 콘텐츠를 배포할 수 있다.
유연성: 사용자는 다른 스트림(밴티지)을 보면서 동시에 자신의 시각으로 녹화할 수 있다. 사용자는 상기 기술을 사용하여 인터넷 연결 여부에 상관 없이, 언제 어디서나 대체 밴티지를 볼 수 있다.
정확도 상기 시스템/방법은 GPS보다 더 높은 정도의 로케이션 정확도로 녹화 중 이동하는 밴티지 포인트를 처리할 수 있다. 상기 처리 방식은 장치 기반 시간 동기화 단독으로는 할 수 없는 더 높은 타이밍 동기화 정확도를 제공한다.
확장성 및 회복력: 분산형 녹화 네트워크를 통해 시스템은 더 많은 밴티지 라이브를 사용할 수 있으며 피어 연결 관리가 하드웨어 제한과 상관없이 피드 성능을 최적화하므로 네트워크의 단일 실패 포인트가 없어진다. 사용자는 후향적 병합을 사용하여 플랫폼 외부에서 가져온 밴티지를 포함하여 더 많은 밴티지를 추가 및 동기화할 수 있다.
진실성: 피어 검증 네트워크에서 다수 개의 뷰포인트를 사용하여 ViiVids 서버는 시청자가 마음대로 동기화된 밴티지 중 하나를 검색하고 증거 진술을 통해 다양한 계정을 입증함으로써 이벤트의 진실성을 구축할 수 있다.
미디어 형식: ViiVids는 플랫폼 미디어 플레이어를 통해 온라인 내지 오프라인에서, 후향적으로 재생될 수 있는 완전한 내보내기 가능 미디어 형식이며, 자체적으로 내장된 플러그인 및/또는 API 도구를 포함할 수 있다. 시간 및 공간이 연관된 충분한 데이터가 존재할 경우, ViiVids는 선천적으로 병합되어 특정 이벤트의 밴티지 개수를 증가시킬 수 있다.
더욱이, 본원의 시스템과 방법은 처리 대상인 각각의 특정 데이터를 효과적으로 작동한다. 상기 데이터 처리는 실시간으로 실제적으로 수행할 수 있으며 피어 장치는 데이터를 교환하면서 상기 데이터 스트림을 녹화하여 파라미터를 설정하고 상기 데이터 스트림을 용이하게 동기화할 수 있다. 일부 실시 예에서, 저성능 장치는 로컬 처리를 높은 사양의 장치로 오프로딩하여 다른 녹화 장치가 되거나, 서버 장치를 포함할 수 있다. 본 데이터 교환은 데이터 처리를 시프팅하여 전반적인 효율성을 향상시키고, 지연 시간을 줄이고, 실시간 공유 및 통합을 가능하게 하여 멀티-밴티지 데이터 스트림을 생성함으로써 최종 사용자에게 더 높은 몰입 경험을 제공한다.
본 발명은 하기에 설명되고, ‘대표 기능’으로 나열되고, 청구된 범위와 같이, 방법, 장치, 컴퓨터 판독가능 미디어, 컴퓨터 판독가능 파일 및 미디어 형식을 제공한다.
본원에 개시된 내용을 더 쉽게 이해하도록, 첨부 도면을 참조하여, 예시로서만, 바람직한 실시 예를 기술한다.
그림 1은 녹화 기기에 의해 캡처되는 이벤트의 조감도를 도시하는 블록 다이어그램이며;
그림 2는 녹화 기기에 의해 캡처되는 이벤트의 조감도 및 서버와 뷰어 장치에서 교환되는 데이터를 도시하는 다른 블록 다이어그램이며;
그림 3a 및 3b는 a) 다양한 밴티지 포인트 1~4에서 녹화 기기에 의해 캡처되는 이벤트의 조감도를 도시하고 b) 밴티지 포인트 1~4에서 카메라 뷰를 표시하는 블록 다이어그램이며;
그림 4 및 5는 광범위한 레코팅 및 콘텐츠 전달 네트워크(CDN)에서 다양한 장치를 도시하는 블록 다이어그램이며;
그림 6은 이벤트 식별자(eventIDs) 및 네트워크 피어의 관리를 도시하는 플로우 차트이며;
그림 7은 생산후 처리 흐름을 도시하는 플로우 차트이며; 및
그림 8은 다양한 광폭 시스템 구성 요소 간의 데이터 흐름을 도시하는 플로우 차트이다.
용어집
하트비트　- 하드웨어 또는 소프트웨어에 의해 생성된 주기적 신호로 정상 작동을 표시하거나 컴퓨터 시스템 부분을 동기화한다.　
핸드세이크 - 두 개의 장치가 먼저 접촉할 때 발생하는 초기 통신 시퀀스.
미디어 아티팩트 - 비디오 파일, 오디오 파일 트랙, 이미지 파일 등과 같은 디지털 미디어 파일.
타임라인 아티팩트 - 녹화를 하면서 해당 활동을 상세히 기술하는 순차적 이벤트 데이터를 포함하는 디지털 파일(하기의 타임라인 및 타임라인 매니저에서 추가적으로 설명됨).
그림 1은 본 개시의 제1 단순 실시 예를 도시한다. 본 시스템(100)은 대상(50)의 제1 뷰 필드(FOV)를 구비하는 제1 밴티지 포인트에 있는 제1 녹화 기기(10)를 포함하며, 제1 라이브 비디오 데이터 스트림(11)을 녹화한다. 상기 제1 밴티지 포인트에는 3D 공간의 로케이션 및 위치(방향 및 헤딩)가 있다. 상기 제1 녹화 기기(10)는 네트워크에서 제1 생성 데이터 스트림(11)을 광고하며, 상기 네트워크는 Bluetooth®, Wi-Fi® 및/또는 셀룰러 네트워크를 포함할 수 있다. 제2 밴티지 포인트의 제2 녹화 기기(20)는 객체(50)의 제2 뷰 필드를 포함하며 라이브 비디오 데이터 스트림(12)을 녹화한다. 제2 밴티지 포인트는 제2 로케이션 및 위치를 갖는다. 상기 제2 녹화 기기(20)는 네트워크에서 제2 생성 데이터 스트림(12)을 광고한다. 상기 제2 녹화 기기(20)는 광고하는 제1 스트림을 보고 네트워크를 통해 제1 장치(10)와 데이터를 교환하여 스트림 동기화를 위하여 네트워크의 데이터 스트림 상태를 유지한다.
일부 실시 예에서, 상기 데이터 스트림은 데이터 교환에 의해 뷰어 장치에 전달함으로써 네트워크에 걸쳐 동기화되며, 상기 뷰어 장치는 녹화 장치(10, 20) 또는 제3자 장치 중 하나일 수 있다. 일부 실시 예에서, 상기 녹화 기기 또는 서버는 다른 장치에 전달하기 위하여 스트림을 통합하며(다중 조작), 하기의 그림 2 설명에서 자세히 논의된다.
상기 데이터 스트림은 다음과 같은 다양한 데이터 스트림 파라미터를 갖는다.
·사용자 파라미터 사용자 식별자, 사용자 프로필 데이터, 사용자 셀룰러 데이터 한계 및 사용자 선호도 등
·장치 파라미터 장치 식별자(MAC 주소, UUID), OS 정보, 장치 성능 특성(예: 프로세서, 메모리, 스토리지 및 네트워크 성능 사양), 장치 프로세서, 메모리 및 스토리지 이용, 장치 온도, 장치 배터리 레벨, 공간 내의 장치 로케이션, 장치 위치(방향(가로/세로 등) 및 헤딩/페이싱(콤파스 방향)) 포함), 네트워크 피어, 능동적 카메라 정보 등; 및
·레코딩/미디어 파라미터 스트림 식별자, 이벤트 식별자, 이미지 데이터, 오디오 데이터, 객체 데이터, 피어 메시지/명령, 비트레이트, 해상도, 파일 형식, 보조 릴레이 데이터, 시작 시간, 뷰 필드 및 메타데이터 등
o 보조 릴레이 데이터는 일련의 다른 피어를 통해, 일측 피어에서 다른 측 피어 장치로 릴레이되는 데이터를 지칭한다. 기본적으로, 이러한 데이터 유형을 수신하는 장치는 네트워크 라우터로 사용되며 OSPF(개방형 최단경로) 또는 유사한 IGP (내부 게이트웨이 프로토콜)와 같은 라우팅 프로토콜을 사용하여 원하는 목적지로 해당 데이터를 릴레이한다. 일부 실시 예에서는 OSPF를 사용하여 더 효율적인 데이터 전송을 제공하며 지연 및 전력 소비를 줄인다.
바람직하게는 데이터는 실시간으로 장치 간에 교환되어 네트워크에 걸쳐 스트림 및/또는 장치의 현재 상태를 유지한다. 일부 실시 예에서, 봉주르 프로토콜을 사용할 수 있다. 바람직하게는, 상기 장치는 현재 연결된 네트워크 및 사용 가능하지만 필수적으로 ‘연결되지’ 않은 네트워크를 포함하여 주변 네트워크를 스캔하여 다른 장치에 의해 광고되는 다른 스트림을 식별한다. 바람직하게는, 다른 장치 또는 스트림의 스캐닝 또는 폴링(polling)은 일정한 간격 내지 연속적으로 수행되며, 이러한 장치와 스트림은 네트워크 풀에 추가된다.
일부 실시 예에서, 상기 방법은 제1 및/또는 제2 장치에 대해 동기화된 제1 및 제2 데이터 스트림을 표시/렌더링하는 단계를 더 포함하며, 현재 녹화되는 뷰를 보충한다. 일부 실시 예에서, 상기 방법은 사용자에게 제1 및/또는 제2 데이터 스트림을 전송하는 단계를 더 포함하고, 바람직하게는, 사용자가 선택할 수 있는 데이터 스트림을 표시하는 단계, 및/또는 장치의 데이터 스트림을 표시/렌더링하는 단계를 포함한다.
바람직하게는, 상기 데이터 교환은 스트림 식별자를 할당 및 교환하여 해당 스트림 또는 밴티지를 고유하게 식별하는 단계를 포함한다. 상기 식별자는 비디오 시작 시간, 장치 ID(예: UUID), 장치 로케이션 및/또는 장치 위치를 기반으로 할당될 수 있다. 바람직하게는, 구성 요소는 데이트타임(밀리세컨드에 대해)을 포함하고 쉽게 복제할 수 없으므로 고유한 장치 ID를 사용한다. 바람직하게는, 상기 식별자는 initialEventID 및 masterEventID을 포함하고 상기 방법은 초기 및 마스터 EventID를 비교 및 업데이트하는 단계를 포함한다. 이 프로세스는 하기의 그림 6을 참조하여 상세하게 논의될 것이다.
또한, 상기 데이터 교환은 P2P 핸드세이크, 네트워크 타임 프로토콜(NTP) 데이터, 타이밍 하트비트 및 데이터 스트리밍 파라미터를 전송 및/또는 수신하여 스트림을, 바람직하게는 실시간으로, 동기화하는 단계를 포함할 수 있다. 일부 실시 예에서, 상기 데이터 교환은 연속적이지만 다른 실시 예에서는 차등 교환 방법을 채택하며 효율성을 위해 변화가 발생할 때에만 정보를 전송/수신한다.
도 2는 도 1의 시스템에 구축된 본 개시의 제2 실시 예를 도시한다. 본 실시 예에서는, 컴퓨팅 노드 내지 서버(30)가 시스템(100)을 위한 중앙 통신 허브로 제공되며, 네트워크의 부하를 줄이고 데이터의 중앙 스토리지를 제공한다. 또한, 상기 서버(30)는 서버측 처리를 수행하여 데이터 스트림 내지 사용자 장치의 파라미터를 최적화함으로써 다음 단계를 포함하여 시스템을, 바람직하게는 실시간으로, 최적화한다.
· 연결 속도 및/또는 레이턴시(latency)에 따라 수신 및/또는 다른 장치로 송신하는 데이터 스트림의 비트레이트를 조정하는 단계;
· 다른 장치로 전달하기 위해 데이터 스트림을 트랜스코딩하는 단계;
· 이를테면, 데이터 스트림 파라미터, 이벤트에 대한 근접성 및/또는 사용자 피드백을 기반으로 데이터 스트림에 가중치를 부여하거나 순위를 매기는 단계;
· 이를테면, 데이터베이스를, 바람직하게는 실시간으로, 사용하여 데이터 스트림의 가용성, 파라미터 및/또는 상태(예: 타이밍, 데이터 스트림의 로케이션 및 위치, 데이터 스트림이 여전히 라이브인지 여부)를 추적하는 단계;
· 스톡이나 사전 기록된 영상, 또는 외부 소스의 라이브 영상과 같은 다른 리소스의 추가 데이터와 데이터 스트림을 결합하는 단계; 및/또는
· 라이브 스트림을 저장하는 단계 및/또는 기록을 마친 후 스트림을 완료하는 단계.
다른 실시 예에서, 상기 프로세싱의 일부 또는 전부는 로컬 장치에서 수행되거나 피어 장치와 네트워크 컴퓨팅 노드 또는 서버의 조합에 걸쳐 배포될 수 있다. 그림 4 및 5는 광범위한 레코팅 및 콘텐츠 전달 네트워크(CDN)에서 사용될 수 있는 다양한 장치를 도시한다.
바람직하게는, 상기 시스템(100)은 사용자 장치(10, 20)(및 기타 해당하는 장치), 서버(30)(존재하는 경우)를 포함하여 장치의 전체 네트워크를 모니터링하고, 데이터 스트림 파라미터, 특히 셀룰러 데이터 한계, 장치 성능 특성 및 사용률, 장치 온도와 장치 배터리 레벨과 같은 사용자 및 장치 파라미터에 따라 프로세싱을 배포한다. 바람직하게는, 상기 네트워크 모니터링은 일정한 간격으로, 이를테면, 1~10초마다, 30초마다 또는 1~5분마다 수행되지만, 더 바람직하게는 실시간으로 작동한다. 상기 네트워크 모니터링은 시스템이 상태가 허용하는 충분한 용량 및 네트워크 능력과 가장 효율적인 프로세서를 구비한 장치를 사용할 수 있으며, 이를테면, 배터리 레벨, 프로세서/메모리/스토리지 이용률 및 작동 온도 파라미터가 사전 정의된 한계 내에 있는 가장 강력한 상태에 놓인 장치 프로세서를 사용하고, 데이터 처리 단계를 전달하여 최적의 상태를 유지하므로 효율성을 극대화한다. 특별한 장치에서 이를테면, 배터리 레벨이 낮거나 한도가 있는 데이터 플랜이 한도에 도달할 경우, 해당 트랜스코딩 또는 셀룰러 데이터 전달 작업은 적절하게 동적으로 재할당될 수 있다. 이러한 방식을 통해 네트워크 시스템이 추가적으로 개선되어 하나의 컴퓨터 시스템으로 더 효율적이고 효과적으로 작동하고 전력 소비를 줄인다.
또한, 상기 서버(30)은 하기에 자세히 논의되는 바와 같이 추가적인 오디오 및/또는 비주얼 프로세싱을 수행한다.
그림 2의 실시 예에서는 또한, 상기 데이터 스트림의 수신 및 표시를 위하여 시청자 장치(40)가 제공되었다. 시청자 장치는 이를테면, 모바일 전화기, 컴퓨터 또는 VR 헤드셋의 형태가 될 수 있다. 바람직한 실시 예에서, 상기 시청자 장치(40)는 데이터 스트림을 수신하고 사용자에게 표시한다. 또한, 상기 시청자 장치(40)가 레코딩 장치인 경우, 스트림은 시청자 장치, 또는 P2P를 통한 네트워크의 다른 장치, 또는 서버(30)와 같은 단일 장치와 로컬에서 동기화 및 통합될 수 있다.
바람직하게는, 상기 스트림의 사용 가능한 밴티지 포인트가 사용자에게 표시되고 사용자가 선택할 수 있다. 상기 밴티지 포인트는 화면 또는 AR 맵에 매핑될 수 있으며 제어 수단을 통하거나, 사용자로부터 제스처 입력을 수신한 다음 처리하여 밴티지 포인트 간에 검색을 수행할 수 있다. 바람직하게는, 밴티지 포인트 간의 전환이 애니매이션으로 표현된다.
상기 실시 예의 시나리오에서, 제1 레코딩 장치(10)는 initialEventID를 할당하고, 제2 레코딩 장치의 광고 스트림(12)을 탐지하며, 양방향 연결을 수립하는 것과 같은 P2P(peer-to-peer) 핸드세이크를 수행한다.
상기 핸드세이크의 일환으로, 제2 장치(20)는 제1 장치(10)의 initialEventID를 자신의 masterEventID 및 앵커로 채택하며, 제1 장치(10)는 제2 장치(20)을 시블링 및 앵커로 인식한다.
상기 실시 예에서, 제2 장치(20)는 제1 장치(10)의 비전 필드 내에 물리적으로 위치하며 제1 장치(10)의 카메라 뷰에 AR 마커로 나타난다. 제2 장치(20)의 비전 필드 외부에 있는 제1 장치(10)는 제2 장치(20)의 카메라 뷰 주변부에서 엣지 마커로 표시된다.
제2 장치(20)는 사용자 입력을 수신하여 제1 장치(10)의 밴티지 포인트를 검색하므로 제1 장치(10)의 스트림(11)은 네트워크를 통해 수신되고, 제2 장치(20)의 카메라 뷰, 이를테면, 상단에 오버레이된 미니어처 뷰에 제시된 제2 장치(20)의 자체 카메라 뷰에 표시된다. 이제 제2 장치(2)는 제1 장치(10)의 관점을 볼 수 있다.
제1 장치(10)가 사용자 입력을 수신하여 제2 장치(20)의 관점을 미리볼 수 있는 경우, 위와 유사하게도, 제2 장치(20)의 데이터 스트림(12) 미니어처 뷰는 제1 장치(10)의 카메라 뷰에 오버레이될 수 있다.
제1 장치(10)가 레코딩을 종료하고, 제1 스트림(11)을 마친 다음 제2 장치(20)에 대한 연결을 끊은 경우, 제2 장치(20)는 제1 스트림(11)의 종료를 탐지하고 자신의 베이스 카메라 뷰로 자동으로 이동한다. 제1 스트림(11)에 더 가까이 정렬된 다른 밴티지를 사용할 수 있으며, 시청 경험에 대한 최소 중단으로 간주될 경우, 제2 장치(20)는 제1 스트림(11)의 종료 후 자신의 베이스 카메라 뷰 대신에 해당하는 밴티지 포인트로 이동할 수 있다. 이러한 처리 단계 후, 제1 장치(10)는 프로덕션 후 처리를 위해 연관된 타임라인 아티팩트와 함께 네트워크(예: 서버(30) 또는 공유 스토리지)에 최대한 빨리 로컬에서 생성된 비디오 캡처를 자동으로 로드한다. 이 단계에서 동일한 레코딩 네트워크에 다른 장치가 연결되는 경우, P2P 핸드세이크로 인하여, 제2 장치(20)는 제1 장치(10)의 initialEventID를 masterEventID로 채택한다.
제2 장치(20)는 레코딩을 마치고 스트림(12)을 종료한다. 그런 다음 제2 장치(20)는 프로덕션 후 처리를 위하여 연관된 타임라인 아티팩트와 함께 로컬에서 생성된 비디오 캡처를 네트워크에 자동으로 업로드한다.
시청자 장치(40)의 사용자는 이벤트를 보고자 하며, 따라서 호환 가능한 플레이어에 미디어를 스트리밍하고 제1 장치(10)의 사전 기록된 관점에서 이벤트를 시청한다. 재생 과정 중, 제2 장치(20)의 밴티지 포인트에 대한 마커가 비디오 프레임에 표시되고 현재 비전 필드(제1 장치(10)의 것)와 관련된 제2 장치(20)의 밴티지 포인트를 나타낸다.
제2 장치(20)의 밴티지가 대상에 더 가깝다고 인지한 시청자 장치(40)의 사용자는 제2 장치(20)의 뷰로 전환하기로 결정했으며, 따라서 사용자 제어 수단을 사용하여 전환을 개시한다. 시청자 장치(40)의 사용자는 제2 장치(20)의 위치로 이동하여 제2 장치(20)의 관점에서 나머지 이벤트를 시청한다. 이제 제2 장치(20)의 비전 필드 외부에 있는 제1 장치(10)는 시청자 장치(40)가 보고 있는 현재 화면의 주변부에서 엣지 마커로 표시된다.
곧 바로, 상기 엣지 마크는 사라지며 제1 장치(10)의 화면이 종료되었음을 암시한다. 그후 바로 화면이 종료된다.
일부 실시 예에서, 상기 장치는 각각 네트워크에 연결된 다른 스트림을 탐지하고(예: MAC 주소, UUID 등에 의하여), 데이터 스트림 파라미터, 각 스트림의 로케이션 및/또는 위치 변화와 관련된 데이터를 모니터링, 전송 및/또는 수신한다. 따라서, 상기 장치는 실시간으로 다른 스트림에 대해 반응, 이를테면, 중복을 검출할 수 있다. 제1 모바일 장치가 고정형 레코딩 장치 근처에 있으며 양측 장치가 네트워크에 데이터 스트림을 기록 및 업로딩할 경우, 상기 스트림을 비교한 다음 스트림 업로드를 조정할 수 있다. 예를 들어, 두 개의 스트림 뷰 필드가 중복되면, 이 사실을 탐지하고 저품질 또는 저대역폭 스트림에 대해 차등 업로딩을 사용할 수 있다. 데이터 스트림이 완전히 중첩되면 관련 업로드가 완전히 사용 중단될 수 있다. 중첩 스트림이 업로드되지 않으며 차등 업로드를 사용하므로 이러한 실시간 데이터 스트림 분석은 전력 효율을 높인다. 단, 장치 간에 로케이션 및/또는 위치 데이터를 교환한 다음 장치가 이동하여 새로운 뷰 필드를 제공하기 시작하면 이 상황이 식별되고 업로드가 계속될 수 있다.
통합 데이터 스트림
일부 실시 예에서, 상기 방법은 데이터 스트림을 통합 데이터 스트림으로, 바람직하게는 실시간으로, 동기화 및 결합하는 단계를 포함한다.
하나의 형태에서, 상기 통합 데이터 스트림은 시간 및 로케이션 기반 데이터에 의해 동기화된 다수 개의 오디오 및/또는 비주얼 피드를 포함하여 멀티-밴티지-포인트 미디어 포맷을 포함하며, 사용자가 실시간 및/또는 후향적으로 밴티지 포인트 간에 쌍방향으로 볼 수 있다. 상기 미디어 포맷은 사용자가 밴티지 포인트를 선택할 수 있는 비디오로 전달되거나, 마커를 오버레이시켜 현재 카메라 샷의 비전 필드 내에 사용 가능한 다른 밴티지 포인트의 상대적 위치를 표시하고, 엣지 마커는 현재 프레임 밖에 있는 다른 밴티지의 상대적 위치를 표시할 수 있는 VR 또는 AR 시스템의 일부로 전달될 수 있다.
일부 실시 예에서, 상기 통합 데이터 스트림은 다수 개의 다른 밴티지 포인트로부터 이벤트의 일차 및 이차 대체 비디오 화면을 구비하는 멀티-밴티지-포인트 비디오를 포함하며, 상기 비디오의 적어도 일부에 대해 상기 밴티지 포인트는 사용자가 선택 가능하다. 상기 비디오가 단일 '마스터 타임라인'을 보유하는 것으로 간주되는 경우, 사용자는 상기 타임라인의 다양한 포인트에서 다른 밴티지 포인트의 대체 레코딩 장치로부터의 일차 및 이차(기타 등등) 화면; 및/또는 멀티-뷰 설정을 통해 동시에 다수 개의 밴티지 포인트로부터의 뷰 화면 사이에서 선택할 수 있다. 상기 일차 및 이차 화면 사이의 선택은 상기 이차 피드에 대해 상기 일차 비디오 피드를 대체하며, 그 반대도 가능하다. 다른 실시 예에서, 상기 비디오 화면은 데이터 스트림 또는 사용자의 파라미터에 따라 동적으로 변화하며, 이를테면, 피드를 스트리밍하는 사용자의 인원수, 그러한 사용자의 인구통계적 요소, 피드의 가중치 또는 순위, 및/또는 사용자의 선호도에 따라 변화한다.
일부 실시 예에서, 상기 통합 데이터 스트림은 이미지로부터 스티칭된 비디오 프레임 내지 다수 개의 밴티지 포인트로부터의 비디오 프레임 및/또는 다수 개의 다른 밴티지 포인트로부터 스티칭된 오디오를 포함하는 멀티-밴티지-포인트 비디오를 포함한다. 예를 들어, 두 개의 밴티지 포인트는 알려진 각도, 이를테면 대상으로부터 30°, 및 5m 간격에서 오프셋될 수 있다. 이러한 스트림의 뷰 필드는 프레임별로 결합되어 광각 뷰 필드를 포함하는 단일 통합 스트림을 형성할 수 있다. 데이터 스트림에 이상징후 또는 장애가 있을 경우 추가 이미지 또는 비디오 영상으로 대체하거나 결합할 수 있다. 마찬가지로, 상기 레코딩 장치가 모노 오디오만 기록할 경우, 오디오 스트림을 결합하여 스테레오 오디오 트랙을 제공할 수 있다. 그 대신에, 상기 데이터 스트림이 중복되었는지 분석하고 중첩 데이터를 제거하거나 고품질 오디오 데이터로 대체할 수 있다.
일부 실시 예에서, 상기 통합 데이터 스트림에 대해 추가 비주얼 또는 오디오 프로세싱을 수행할 수 있다. 상기 방법은 중복 오디오 콘텐츠의 데이터 스트림을 분석하고 통합 데이터 스트림을 편집하여 통합 데이터 스트림에 대한 단일 오디오 트랙을 제공하고, 이를테면, 품질별로 스트림의 순위를 매기거나(비트레이트, 선명도, 상대적 위치 - 예: 이벤트와 가깝거나 먼 거리), 최고 품질의 단일 스트림에 가중치를 부여 및 선택하거나, 스트림을 병합하여 통합 스트림을 구축하거나 - 예: 좌우측 모노 오디오 스트림을 병합하여 스테레오 스트림을 제공하는 단계; 내지 다수 개의 위치별 소스를 병합하여 서라운드 스트림 등을 제공하는 단계를 포함할 수 있다. 일부 실시 예에서, 3D 오디오 콘텐츠는 상기 스트림으로부터 도출되며, 바람직하게는, 밴티지의 방향 및/또는 360° 파노라마 구현에서 시청자의 방향 전환을 고려하여, 이를테면, 벡터 미적분학을 사용하여 도출된다.
또한, 이상치 처리를 수행할 수 있으며, 이를테면, 하나의 소스에 배경 노이즈가 발생하면, 다른 스트림을 분석하여 선명한 마스터 오디오 트랙을 확립함으로써 노이즈를 검출하고 제거할 수 있다. 마찬가지로, 다른 피드를 분석 및 결합함으로써 시각적 처리를 수행하여 렌즈의 먼지와 같은 시각적 이상징후 또는 뷰 필드의 방해 요소를 제거할 수 있다. 높은 비율의 참가자들이 공연을 녹화하는 콘서트와 같은 상황에서 특정한 장애 문제가 발생한다. 이때 공연을 녹화하기 전에 각 사용자의 화면이 다른 사용자에게 표시된다. 본 발명은 데이터 피드를 동기화 및 통합하여 이러한 문제를 해결하고 다른 뷰 필드를 제공하는 다른 스트림을 사용하여 방해 요소를 제거하거나, 충분한 정보를 제공하여 데이터 스트림을 수정함으로써 방해 요소를 조정/교정 후 제거하여 레코딩 품질을 향상시킨다.
추가적인 실시 예에서, 비주얼 및/또는 오디오 데이터를 조정하여 다른 환경 또는 밴티지 포인트로부터의 비주얼 및/또는 오디오 효과를 재현함으로써 다른 환경 또는 밴티지 포인트를 시뮬레이션하기 위해 추가 프로세싱을 수행할 수 있다.
이제 본 시스템의 일부 양태를 더 상세하게 설명한다.
레코딩 장치
상기 실시 예들은 오디오/비주얼 데이터를 캡처하고 네트워크를 통해 릴레이할 수 있는 모든 장치 및/또는 시스템을 활용한다. 중요하게는, 여기에 모바일 폰, 태블릿, 웹캠 및 웨어러블 장치, 나아가 더 전통적인 방송 시스템, 보안 카메라, HD 카메라, 360° 파노라마 카메라, 방향성/전방향성 오디오 픽업 기기와 같은 스마트 장치가 포함된다.
바람직하게는, 밴티지 레코딩이 시작되면, 상기 레코딩 장치는 자체 확립된 무선 네트워크에서 사용 가능한 밴티지 포인트로서 자체적으로 광고하면서 현재 방송 중인 다른 밴티지 포인트가 있는지 주변 영역을 동시에 검색한다. 주변 영역의 한계는 사전 결정되거나(예: 일련의 반경, 영역 또는 로케이션 내에서), 동적으로 조정하여 개별 장치가 현재 로케이션에서 무선 신호를 안정적으로 수신 및 전송할 수 있는 3D 범위(볼륨)를 정의할 수 있다. CDN(콘텐츠 전달 네트워크) 기반 스트리밍을 허용하도록 서버측 연결을 시도할 수도 있다. 또한, 로컬 미디어 및 타임라인 아티팩트가 생성되고 캡처 시간 중에 추가된다. 상기 아티팩트는 휘발성 메모리와 디스크에 전체 또는 일부가 존재하거나, 디스크에 주기적으로 플러싱되는 버퍼를 구비한 휘발성 메모리에 단독으로 기록될 수 있다. 일부 실시 예에서, 상기 미디어 아티팩트의 메모리 어레이는 로컬 디스크에 걸쳐 단편화되고 나중에 프로세싱 중 재구성될 수 있다. 로컬 미디어 아티팩트가 생성되고 추가적인 프로세싱 및 트랜스코딩을 위하여 최적의 품질로 저장된다. 일부 실시 예에서, 초기 라이브 데이터 스트림(대역폭 제한으로 인해 저품질 스트림으로 트랜스코딩된)은 로컬 장치에 저장된 고품질 버전에 의해 대체되거나 보완될 수 있다.
실시간 데이터 전송 및 처리
일부 실시 예에서는 분산형 P2P 네트워크와 셀룰러 및 Wi-Fi® 기반 네트워크를 사용하여(바람직하게는 연속적으로) 레코딩 장치 간에 시간 기반 메시지 스트림을 송신 및 수신한다.
상기 타임라인 메시지는, P2P 핸드세이크, 타이밍 하트비트, 로케이션(경도/위도/고도), 위치(방향, 헤딩), 상태, 이벤트_ID, 이미지 데이터 등을 하나 이상 포함할 수 있으며, 이는 장치가 업데이트되는, 업데이트 될 때 주변 영역의 다른 밴티지 상태를 정확하게 파악함을 의미한다. 하트비트 메시지는 일정한 간격으로, 바람직하게는 초 단위로, 전송될 수 있다. 바람직하게는, 상기 데이터는 밴티지 포인트 마커를 렌더링하기 위하여 실시간으로 실질적으로 분석된다. GPS 삼각 측량이 정확도를 높이므로 로케이션 정확도가 개선되며 이는 최근 5G + GPS + WiFi® 기술을 통한 게인에서 이미 얻어지는 결과이다. 후향적 ViiVid® 시청을 위하여 POI 로케이션 정확도를 추가적으로 개선하는 문제는 하기에 설명된 서버측 프로세싱 후 단계에서 해결된다.
표 1은 레코딩 중 서비스될 수 있는 일부 데이터 피드를 상세히 설명한다.
유형 설명 시기 구성 요소 방법
장치의 화면 레코딩 또는 재생 장치에 제공된 증강 현실 보기. 항상; 메인 콘텐츠 보기 또는 미니(사전) 보기에서 제시됨. 비디오: AR AR 디스플레이
서버에 스트리밍되는 데이터 라이브 트랜스코딩, 캐싱 및 릴레이를 위하여 CDN을 통해 백엔드 서버로 향하는 오디오/비주얼 스트리밍 장치가 밴티지를 기록하고 '4/5G 데이터 사용'이 허용될 때. 비디오: 원시/AR오디오: 최고품질 실현 가능
타임라인 액션 메시지		 RTMP, Web RTC, DASH와 같은 데이터 스트리밍 프로토콜. 더 안전하거나 빠른 전송을 위하여 코덱 및 압축 알고리즘을 사용할 수 있다.
P2P 다이렉트 장치 자체 또는 로컬 허브를 통해 전파된 로컬 네트워크를 거치는 P2P(peer-to-peer) 오디오/비주얼 스트리밍 장치가 레코딩을 진행할 때. 비디오: AR타임라인 액션 메시지
메시지/명령 		Wi-Fi/Direct Wi-Fi/Bluetooth. 더 안전하거나 빠른 전송을 위하여 코덱 및 압축 알고리즘을 사용할 수 있다.
P2P 스냅샷 장치 자체 또는 로컬 허브를 통해 전파된 로컬 네트워크를 거쳐 스트리밍되는 P2P(peer-to-peer) 스틸 이미지 장치가 기록하고 사용자가 트리거할 때 주기적으로 전송. 로컬 피어에 주기적으로 전송되는 정적 이미지. Wi-Fi/Direct Wi-Fi/Bluetooth. 더 안전하거나 빠른 전송을 위하여 코덱 및 압축 알고리즘을 사용할 수 있다.
로컬 비디오 파일 로컬 파일(예: mp4, jpeg, mp3 등)에 기록된 다음 후향적으로 다른 피드와 추가적으로 처리 및 병합하기 위해 백엔드 서버에 업로드되는 콘텐츠. 전송 후 무결성을 검증하기 위하여 해싱 알고리즘(예: md5sum)을 사용할 수 있다. 장치가 기록할 때 추가됨. 비디오: 원시 최고품질스틸: 이미지 파일
오디오: 최고품질 실현 가능		 로컬 파일(예: MP4)에 기록되거나, 휘발성 메모리 버퍼에 저장되고, 애셋 기록기가 종료되면 압축된 다음, 인터넷을 통해 서버로 최대한 빨리 전송됨.
로컬 타임라인 파일 타임라인 파일에 기록된 다음 후향적으로 다른 피드와 처리 및 병합을 위하여 서버로 전송되는 이벤트. 전송 후 무결성을 검증하기 위하여 해싱 알고리즘(예: md5sum)을 사용할 수 있다. 장치가 기록할 때 추가됨. 타임라인 액션 메시지 로컬 파일(txt)에 기록되거나, 휘발성 메모리 버퍼에 저장된 다음, 인터넷을 통해 서버로 최대한 빨리 전송됨.
실시간 밴티지 패닝
사용자는 자신의 관점을 캡처하면 호환가능 장치에서 다른 밴티지를 동시에 볼 수 있다. 서버를 통하거나, Wi-Fi Direct, WiFi® 및/또는 Bluetooth®와 같은 로컬 네트워크 프로토콜을 통해 피어로부터 직접 라이브 비디오 스트림을 채널링하여 실시간 밴티지 패닝 및 미리보기를 달성할 수 있다. 사용자는 사용자 장치가 레코딩 네트워크 내에 있는 경우, 인터넷 연결 없이 대체 밴티지를 라이브로 패닝할 수 있다. 반대로, 인터넷 연결을 보유한 사용자는 라이브 트랜스코딩 기능을 제공하는 콘텐츠 전달 네트워크(CDN)를 통해 언제 어디서나 대체 밴티지를 패닝할 수 있다. 상기 방법은 시청 장치에 따라 다른 비트레이트 및 해상도로 렌더링하여 시청 경험을 개선한다.
전송 비트레이트는 연결 레이턴시 및 전송 방법(셀룰러, 위성, 파이버, Wi-Fi®, Bluetooth®, Direct Wi-Fi 등)에 따라 피더별 연결 기반으로 증가시키거나 감소시킬 수 있다. 상기 시스템/방법은 데이터 스트림과 장치를 더 신뢰할 수 있거나 빠르게 촉진하고, 리소스를 재할당하여 더 효율적인 시스템을 제공할 수 있다. 예를 들어, 제1 장치가 고해상도 스트림을 캡처했지만 상기 장치가 클라우드에 업로드하기 위한 셀룰러 데이터 업링크를 지원할 수 없는 경우, 상기 데이터 스트림은 Wi-Fi®를 통해 P2P 네트워크에서 대체 셀룰러 네트워크의 다른 장치에 일부 또는 전부가 재분산된 다음 업로드 데이터 전송을 공유할 수 있다.
바람직하게는, 상기 네트워크는 다음과 같이 일부 블록체인 원칙을 따를 수 있다.
i) 상기 네트워크의 각 장치는 완전한 이벤트 정보에 대한 액세스 권한이 있으며, 어떠한 단일 장치도 데이터를 제어할 수 없으며, 각 장치는 제3자 파트너 없이도, 그의 파트너와 직접적으로 이벤트 및/또는 데이터스트림 파라미터를 검증할 수 있다.
ii) P2P 전송 - 커뮤니케이션은 하나의 중앙 서버 대신에 피어들 간에 직접 발생한다. 모든 장치는 특정 또는 모든 다른 장치에 정보를 저장 및 공유한다. 분산형 장치 연결성으로 인하여, 상기 방식은 레코딩 네트워크의 단일 포인트 실패가 없으며, 피어 연결 비트레이트 관리는 하드웨어 및/또는 네트워크 한계와 상관없이 피드의 성능을 최적화한다. 또한, 상기 비디오 스트림은 타임라인 액션 메시지에 의해 수반되어 클라이언트에 의해 수신될 때 어떤 메시지를 사용하여 증강 현실 관심 영역을 렌더링할지 결정할 수 있다. 그럼에도 불구하고, 백업 및/또는 추가 기능을 제공하도록 서버를 제공할 수도 있다.
iii) 데이터 무결성 - 상기 레코딩 장치의 상호운용성은 단일 이벤트와 관련하여 종종 다수 개의 확증 계정이 있음을 의미한다. 예를 들어, 범죄 용의자는 해당 시간의 정보 교환이 알리바이(alibi) 역할을 하므로 다수 개의 독립된 데이터 소스를 사용하여 특정 시간에 특정 영역에서 존재했음을 입증할 수 있다.
일부 실시 예에서, 상기 시스템은 게이미피게이션 엔진을 포함하여 가장 인기 있는 밴티지, 최상의 비주얼/오디오 선명도, 조명, 초점 등을 생산하는 사용자에게 보상을 줄 수 있다. 일부 실시 예에서, 상기 게이미피게이션 엔진을 통해 사용자는 특정 밴티지 또는 전체 ViiVid®에 대한 공유, 댓글 달기, 찬성 투표 및/또는 반대 투표를 할 수 있다.
이벤트 및 eventID 관리
그림 6은 EventID 의 관리 및 네트워크에 추가되었을 때 피어와 식별자를 처리하는 방법을 도시하는 플로우 차트이다.
바람직하게는, 개별 밴티지(또는 비디오, 오디오, 그림)는 초기 이벤트와 2개의 주니어 이벤트 컬렉션(시블링 및 앵커)에 대한 참조를 유지하면서 마스터 이벤트로 알려진 통합 엔티티에 “소유되는” 관계(다수가 하나로)를 유지한다. 초기 이벤트 식별자는 밴티지가 레코딩을 시작하면 initialEventID 파라미터에 생성 및 저장된다. 모든 이벤트 식별자는 비디오의 시작 시간 및 프로듀서의 고유한 사용자 식별자 또는 장치 ID(UUID), 이를테면 20180328040351_5C33F2C5-C496-4786-8F83-ACC4CD79C640와 같은 ID의 조합으로 구성된다.
일부 실시 예에서, 기록되는 밴티지(또는 AV 콘텐츠)를 고유하게 참조하는 initialEventID는 레코딩 기간 중 변경할 수 없다. 또한, 초기 식별자는 레코딩이 시작되면 masterEventID로 시작되지만 상기 마스터는 이미 시작된 마스터 이벤트가 현재 마스터 이전에 주변 영역에서 감지되면 대체할 수 있다.
일부 실시 예에서, 레코딩하면서 주변 영역에서 피어가 탐지되면, initialEventID 및 masterEventID 파라미터가 교환되고 기존 이벤트 식별자와 비교된다. 그 결과, 매번 새로운 피어 연결이 구성되며, 일련의 초기 및 마스터 이벤트 식별자가 방송되고 비교 프로세싱을 위해 상호간에 수신된다. 피어의 initialEventID를 처리할 때, 먼저 체크가 생성되어 피어의 initialEventID가 siblingEventID 및 anchorEventID로 각각 불리는 시블링 및 앵커 컬렉션으로 분류되었는지 결정한다. 컬렉션 중 하나에 존재하지 않을 경우, 피어의 initialEventID가 양측 컬렉션에 존재하도록 추가된다. 상기 방식으로, 밴티지의 앵커 컬렉션은 레코딩 중 주변 영역에서 만나는 다른 모든 밴티지의 기록을 유지하므로 밴티지는 재생 중 패닝될 수 있다.
그런 다음, 피어의 마스터 이벤트 식별자는 이전 것을 포함하는 기존 masterEventID와 비교하고 masterEventID를 지배적 이벤트 식별자로 추정한다. initialEventID와 유사하게, 하위(나중의 것) masterEventID는, 이전에 포함되지 않았을 때, 앵커 컬렉션이 아닌 siblingEventID 컬렉션으로 추가된다. 이전 마스터 이벤트 식별자 채택을 도입함으로써, masterEventID는 전체 멀티 관점 viiVid를 위한 주요 통합 엔티티로 유지되며, 하위 이벤트와 관련된 데이터는 삭제되지 않지만 다른 시블링에 보관된다. 장치가 레코딩 중에 새로운 지배적 마스터 이벤트를 인지한 경우, 추가적인 다운스트림 업데이트가 새로운 마스터 이벤트 식별자를 포함하여 다른 모든 연결된 피어로 전송되어 비교된다.
타임라인 및 타임라인 메시지
일부 실시 예에서는 또한, 각 비디오 레코딩을 포함하여 레코딩이 계속되면서 메시지 기반 타임라인이 생성되고 추가된다. 상기 타임라인에 기록된 다양한 메시지 유형이 있으며, 모든 관련 장치 활동과 레코딩 중 주변 영역에서 발생한 관련 데이터의 적시 기록을 유지한다. 상기 메시지 유형은 플래그에 의해 식별되는 타임라인 데이터 스트림 파라미터이며 다음을 하나 이상 포함한다.
· START(시작) - 정보와 관련된 다른 상태 중 로케이션 및 헤딩 데이터를 포함한 로케이션과 함께 각 타임라인을 여는 파라미터;
· EVENT_ID_UPDATED(이벤트 ID 업데이트) - 새로운 지배적 masterEventID를 수신할 때마다 타임라인에 기록되는 파라미터;
· STATUS(상태) - 로케이션, 헤딩 상태와 더불어 기본 피어 관련 데이터, eventID 할당을 보고하는 파라미터;
· END(종료) - 정지를 기록할 때 밴티지의 종료 상태를 보고하는 파라미터;
· CHECKSUM_GENERATED(검사 합계 생성) - 완료된 미디어 아티팩트로부터 생성된 검증 해시 문자열을 보고하는 파라미터;
· LOCATION_CHANGE(로케이션 변경) - 관련된 모든 로케이션 변경이 기록되는 파라미터;
· ORIENTATION_CHANGE(방향 변경) - 가로/세로 및 앞/뒤 카메라 토글링을 포함하여 방향 변경을 보고하는 파라미터;
· HEADING_CHANGE(헤딩 변경) - 헤딩 변경을 보고하는 파라미터;
· CAMERA_STATUS(카메라 상태) - 사용 중인 카메라 상태를 보고하는 파라미터이며, 상기 상태는 다수 개의 카메라/렌즈를 사용하는 경우 어떤 카메라 또는 렌즈를 사용하는지, 카메라 규격(예: 센서 유형, 크기), 및 조리개, 셔터 속도, ISO 등과 같은 카메라 설정을 포함할 수 있다.
· CAMERA_TOGGLE(카메라 토글) - 다수 개의 카메라를 갖는 장치에 대한 카메라 토글의 성질을 보고하는 파라미터(예: 스마트 폰의 기본 후방 카메라에서 사용자측 카메라로 전환);
· SNAPSHOT_CAPTURED(스냅샷 캡처) - 사진이 촬영될 때마다 기록되는 파라미터;
· LIVE_MESSAGE_SENT(라이브 메시지 전송) - 사용자 생성 메시지가 밴티지 레코더에 의해 전송되었음을 표시하는 파라미터. 주변 영역의 애니메이션 AR 플레어에 대한 메시지 스레드에 있는 텍스트로부터의 메시지를 포함할 수 있음;
· LIVE_MESSAGE_RECEIVED(라이브 메시지 수신) - 메시지가 레코딩 네트워크 또는 라이브 시청자에 의해 감지된 경우 기록되는 파라미터;
· RETRO_MESSAGE(재귀 메시지) - 온디맨드 뷰어가 ViiVid® 재생의 특정 포인트에서 스레드에 추가했을 때 상대적 타임 스탬프가 기록되는 파라미터;
· PEER_LOCATION_CHANGE(피터 로케이션 변경) - 피어가 피어의 이니셜 이벤트 식별자에 의해 로케이션을 변경할 때마다 기록되는 파라미터;
· PEER_ORIENTATION_CHANGE(피어 방향 변경) - 가로/세로 및 앞/뒤 카메라 토글링을 포함하여 피어의 방향 변경을 보고하는 파라미터;
· PEER_HEADING_CHANGE(피어 헤딩 변경) - 피어의 헤딩 변경을 보고하는 파라미터;
· PEER_SNAPSHOT_TAKEN(피어 스냅샵 촬영) - 연결된 피어가 사진을 촬영할 때마다 기록되는 파라미터;
· PEER_STATUS_RECEIVED(피어 상태 수신) - 연결된 피어로부터 주기적 상태 메시지를 수신한 경우 기록되는 파라미터;
· PEER_CHECKSUM_RECEIVED(피어 검사 합계 수신) - 미디어 아티팩트에 해당하는 연결된 피어로부터 검증 해시 문자열을 수신한 경우 기록되는 파라미터;
· PEER_CAMERA_STATUS(피어 카메라 상태) - 피어의 카메라 상태를 보고하는 파라미터(CAMERA_STATUS(카메라 상태) 참조);
· PEER_CAMERA_TOGGLE(피어 카메라 토글) - 연결된 피어의 장치에 대한 카메라 토글 액션의 성질을 보고하는 파라미터;
· PEER_ADD(피어 추가) - 새로운 피어를 감지하고 앵커/시블링 목록에 추가했을 때 기록되는 파라미터;
· PEER_REMOVE(피어 제거) - 피어가 레코딩을 완료하거나 피어와의 연결이 끊어졌을 때 보고하는 파라미터.
캡처된 이벤트 식별자와 관련하여, 상기 타임라인은 후향적 시청자를 위해 밴티지를 결합하고, 동기화하며, 렌더링하는 방법을 결정하는 데 있어 핵심 역할을 한다. 상기 타임라인 데이터는 타임라인 아티팩트 파일에 보관되고, 및/또는 메모리 버퍼 내에 보관된다.
그래픽 사용자 인터페이스
사용자 인터페이스는 사용자 제어 수단으로 토글 가능 증강 현실 오버레이를 구비한 카메라 뷰를 포함할 수 있다. 또한, 로컬 영역을 상세하게 설명하는 접이식 맵 뷰 및 다른 밴티지를 미리보기하는 접이식 캐러셀을 특징으로 할 수 있다. 상기 카메라 뷰의 증강 현실 오버레이는 현재 및 사용 가능한 밴티지 포인트 사이의 방향 및 상대적 거리를 표시한다. 상기 맵 뷰는 POI 및 기타 사용 가능한 밴티지 포인트에 대한 증강 현실 로케이션 마커를 포함한 로컬 영역의 표현을 제공한다. 사용자 제스처 또는 사용자 제어 수단을 사용하여 밴티지 간에 검색하거나 POI와 상호 작용함으로써 미리보기, 메시징 또는 정보 요청을 포함하여 다른 액션을 수행할 수 있다. 일부 실시 예에서, 사용자는 그리드와 같은 방식, 화면 속 화면(picture-in-picture) 인터페이스 또는 멀티 스크린 설정을 통해 한번에 다수 개의 밴티지를 볼 수 있다.
AR 렌더링
바람직하게는, 장치로부터 수신한 데이터는 밴티지 포인트 AR 마커의 렌더링을 위해 실시간으로 분석되고, 디스플레이 화면에 비전 필드와 관련된 POI와 방향, 거리 및 고도를 표시한다. 상기 마커는 다양한 3D 형상의 형태를 갖고, 강조 표시할 POI 유형(예: 프렌즈 로케이션, 360°, 파노라마 밴티지, 랜드마크, 로컬 시설, 식당 구역 등)을 표시할 수 있다. POI가 비디오 프레임(또는 도출된 가시적 3D 프러스텀) 경계의 외부에 있다면, 주변 마커 또는 방향 아이콘이 상대적 위치(거리, 방위각 및 고도)를 표시할 수 있다.
이를 통해 사용자는 시청하는 공간 및 밴티지 포인트 간의 상대적 위치를 더 잘 감상하면서 더 직관적인 시청 및 레코딩 경험을 얻을 수 있다.ViiVid®를 시청하거나 기록하면서 가상 플레어를 증강 현실 랜디션으로 촬영하여 다른 시청자의 관심을 시청 영역의 위치로 끌 수 있다. 상기 플레어는 텍스트, 이미지, 캡처된 스틸 및/또는 미니 애니메이션과 같은 다양한 형태를 가질 수 있으며, 나아가, 제3자 회사 또는 사용자에 의해 마케팅 공간으로 사용되어 화면 내 객체/POI/사람에게 태그를 부착할 수 있다. 일부 실시 예에서, 상기 태그는 소셜 네트워크 애플리케이션, SMS, 이메일 등 커뮤니케이션 매체를 통해 소셜 네트워크의 친구들이나 팔로어와 실시간 또는 후향적으로 공유할 수 있다.
관심 포인트(POI) 검색
본 기술은 사용자에게 최고의 몰입감을 제공하도록 설계되었으며 다양한 각도에서 단순히 시청하는 것 대신에 이벤트에 실제로 참가하는 것 같은 느낌을 줄 수 있다. 그 결과, VR 헤드셋, 와치, 글래스, 글로브, 센서, 헤드폰 등을 포함하여 웨어러블 기술을 사용하여 가상 현실(VR) 경험을 위해 조정되고 최적화될 수도 있다. 다른 비 VR 실시 예는 사용자 상호작용식 제어 수단을 갖춘 개인 컴퓨터, 휴대용 장치, 텔레비전, 스마트 기기 및 기타 멀티미디어 장치를 포함할 수 있다.
방향 제스처 또는 기타 사용자 제어 수단에 대응하여, 일부 실시 예는 밴티지를 전환할 때 애니메이션을 구현하여 공간 내에서 움직이는 인상을 줄 수 있다(예: 줌, 페이드, 3D 모델링 등). 360°가 아닌 파노라마 카메라 피드의 헤딩과 방향을 고려하여, 사용자 내비게이션은 시청자가 보고 싶은 장소가 아닌 보고 싶은 대상을 기반으로 결정될 수 있으며, 이를테면, 게임을 가까이에서 보고 싶은 사용자는 원하는 대상에서 더 가까움에도 불구하고 후방을 바라보기 때문에 셀카 비디오를 촬영하고 있는 앞줄 밴티지 포인트로의 전환을 원하지 않을 것이다.
일부 실시 예에서, 방향성 사용자 제스처의 가속, 시작/마침 위치 및 경로는, 제스처를 반영하여 조정된 애니메이션 전환을 통하여, 전환의 속도와 가속, 나아가 이동하는 거리 및/또는 방향을 결정할 수 있다. 또한, 사용자 장치의 3차원 사운드 및 햅틱 피드백(체성 감각 통신)을 사용하여 하이엔드 외골격 및 전신 슈트와 더불어 웨어러블, 컨트롤러, 및 공중 햅틱을 통해 ViiVid를 볼 때 사용자의 감각적 경험을 향상시킬 수 있다.
접이식 맵 뷰 및 밴티지 캐러셀은 모두 사용자에게 주변 영역과 영역 내의 POI에 대한 감각을 제공한다. 또한, 두 개 모두는 내비게이션 컨트롤러로 사용되어 기록된 관점을 전환하지 않으면서, 사용자가 다른 POI와 상호 작용하도록(미리보기, 보기, 쿼리 등) 허용한다.
동작 가능한 미니-뷰는 다른 VP로 전환할 때 사용자의 현재 관점을 제공하거나 미리보기 시 미리보기한 관점을 렌더링한다.
시청자가 결정한 내비게이션 시퀀싱은 프로그램 방식(AI를 사용하고 최상 또는 가장 유명한 밴티지 탐색) 또는 프로듀서와 같은 제3자에 의해 결정/제안할 수 있다. 검색 가능한 위치는 사전 결정되지 않지만 타임라인 정보를 분석하면서 실시간(레코딩 영역에 들어가고 존재하는 밴티지라고 하더라도)으로 계산될 수 있다.
레코딩 정지
바람직하게는, 레코딩을 마칠 때, 모든 연결은 끊기며 장치는 주변 영역에서 서비스 광고를 종료한다. initialEventID 및 masterEventID는 널(null)로 초기화되면서 시블링 및 앵커 컬렉션이 비워진다. 마지막으로, 로컬 미디어 및 타임라인 아티팩트가 압축된 다음 고정 위치로 암호화되며 최대한 빨리 암호화된 전송을 통해 추가 서버측 처리, 병합 및 재분산을 위해 업로드된다.
신뢰 및 비신뢰 아티팩트
사용자 생성 콘텐츠의 상호 운용성 및 진실성을 향상시키기 위하여, 신뢰/비신뢰 아티팩트의 개념을 도입하여 최종 사용자는 자신이 소비하는 콘텐츠가 레코딩 시간 이후 조작되지 않았음을 더 많이 신뢰할 수 있다. 일부 실시 예에서, 콘텐츠는 ‘신뢰’, ‘표준’, 및 ‘비신뢰’로 분류될 수 있다. 다른 실시 예에서는 추가적인 카테고리 또는 품질 등급/평점 시스템(예: 1~5점*으로 평가)을 사용할 수 있다. '비신뢰' 밴티지도 광범위한 ViiVid® 내에 포함될 수 있지만, 시청자는 밴티지의 다른 카테고리/등급 간에 구별하고, 일부 실시 예에서, 상기 파라미터를 기반으로, 전반적인 경험에 따라 하나 이상의 밴티지 카테고리를 필터링할 수 있다.
일부 실시 예에서, 레코딩 종료 후 로컬 미디어 및 타임라인 아티팩트에 대해 검사 합계가 생성된 다음 서버 및 로컬 클라이언트 모두에 의해 등록된다. 일부 실시 예에서, 피어 장치는 또한 다른 피어 장치의 검사 합계를 등록하고 P2P 네트워크 레지스터를 생성하여 해당 밴티지는 다른 피어 장치에 의해 '검증'될 수 있다. 상기 검사 합계는 프로덕션 후 단계에서 사용되어 서버에 도달하는 결과적 밴티지가 수정되지 않았음을 보장하고 추가 레이어의 보안 및 상호운용성을 추가한다.
'신뢰' 아티팩트는 i) 검증된 검사 합계를 가지고 있으며, ii) 검증된 제공자, 이를테면, 이벤트의 공식 레코딩 장치(예: MAC 주소, 일련번호, 로케이션 및/또는 위치 및/또는 데이터 스트림 파라미터에 의해 식별 가능한 장치), 또는 고품질 화면을 제공하는 것을 알려진 피어 장치(예: 고사양 카메라와 같은 특징을 지닌 고평점 사용자 또는 장치)가 제공한다는 두 가지 검증 요소를 충족하는 화면을 포함할 수 있다.
'비신뢰' 아티팩트는 저평점 사용자, 비검증 소스가 제공하거나, 불일치 검사 합계 또는 비검증/상충하는/누락된 데이터(예: 메타데이터 또는 데이터 스트림 파라미터)와 같은 데이터 이상징후가 있는 화면을 포함할 수 있다. 예를 들어, 밴티지가 레코딩 시 또는 후속적으로 다른 밴티지의 네트워크 내에서 검증할 수 없는 경우(예: 동기화할 수 없음), 콘텐츠는 '비신뢰'로 간주될 수 있다. 동기화에 성공했다고 해도(일치하는 검사 합계를 갖기 때문에 '검증됨'), ViiVid®에 수동으로 추가된 밴티지는 레코딩 시 다른 피어 장치에 의해 생성된 타임라인 아티팩트에서 자체적으로 동기화/등록되지 않을 경우, 비신뢰로 간주될 수 있다.
‘표준’ 아티팩트는 검증된 검사 합계를 갖지만 표준 사용자에 의해 제공된 화면이나, 더 일반적으로는, 신뢰/비신뢰 카테고리에 해당하지 않는 화면을 포함할 수 있다.
서버 또는 레코딩 장치는 라이브 스트림으로부터 서버에 의해 컴파일된 저품질 미디어 아티팩트의 미디어 아티팩트 형태인지 여부에 상관없이, 밴티지의 신뢰 버전을 유지할 수 있다.
서버측 처리
서버측 처리의 목적은 개별 비디오, 오디오, 스틸 및 타임라인 아티팩트를 반복적으로 소비할 수 있는 하나의 멀티-밴티지 비디오로 컴파일하는 것이다. 그 결과, 비디오 타임 서명 단독으로는 다른 네트워크 타임 프로토콜(NTP) 타임 소스 및 NTP 계층에 따라 왜곡될 수 있으므로, 바람직하게는, 시스템은 피드에 걸쳐 P2P 하트비트, 비주얼/오디오 큐 및 다수의 로케이션과 위치 업데이트를 처리하여 더 높은 정확도를 제공한다. 상기에 설명한 타임라인 및 이벤트 식별 관리 알고리즘을 사용하여, 존재할 수 있는 다른 앵커링된 콘텐츠에 대하여, 시간 및 공간 내에서, 콘텐츠는 자체적으로 맥락화될 수 있다. 바람직하게는, 상기 밴티지 타임라인은 병합 및 중복 제거를 거쳐 ViiVid®에 대한 하나의 마스터 타임라인을 형성하며, 주변 영역에 공유된 활동 기록을 제공하여 개별 타임라인을 보충한다.
그림 7은 프로덕션 후 처리 흐름을 상세하게 도시하며 다음 약어를 사용한다. AI - 인공 지능, AV - 오디오/비주얼, CMS - 콘텐츠 관리 시스템, DB - 데이터베이스, LTS - 장기 스토리지.
각 미디어 아티팩트는 디코딩된 다음, 비디오의 오디오 트랙을 분리하고 다른 앵커 비디오의 트랙과 정렬하여 시작 시간 및 모든 앵커의 트랙 간의 타임 오프셋을 결정함으로써 처리된다. 상기 방식은 장치 기반 시간 동기화(NTP) 단독으로는 불가능한 더 높은 타이밍 동기화 정확도를 제공한다. 일부 실시 예에서, 시각적 객체 인식 프로세싱을 사용하여 미디어 화면에 걸쳐 시각적 타이밍 큐를 생성할 수 있다. 그런 다음, 이러한 큐를 사용하여 타이밍 오프셋을 계산하여, 특히, 오디오 데이터가 누락, 불분명 또는 비신뢰될 때 계산함으로써 미디어 아티팩트를 동기화할 수 있다. 그후, 상기 타이밍 정보를 통해 더 정확한 밴티지 시작 시간을 위해 마스터 타임라인을 조정하여 상기 마스터가 가장 진실된 단일 소스를 보유하도록 할 수 있다.
비디오와 마찬가지로, 캡처된 스틸 이미지 및 오디오와 같은 다른 미디어 형식도 ViiVid®로 위빙할 수 있다. 상기 방식의 실시 예는 저품질 비디오 밴티지를 위하여 향상된 오디오 오버레이로 사용되는 이벤트 중심 방향성 마이크로부터의 출력, 또는 캡처되거나 캐러셀을 특히 포함하는 위치에 있는 임시 AR 마커로서 화면의 특정 포인트가 특징인 이미지를 포함할 수 있다.
또한, 이미지 및 오디오 마스터링을 포함하는 다른 프로덕션 후 기술을 이 단계에서 수행할 수 있다. 상기 오디오는 등화, 압축, 제한, 레벨 조정, 노이즈 감소 및 기타 복구 및/또는 개선 프로세스를 사용하여 처리할 수 있으며, 상기 비주얼 마스터링 기술은 컬러 수정, 모션 안정화, 오디오-비주얼 정렬, 광각 왜곡 수정 및 기타 필요한 마스터링 기술을 포함할 수 있다.
또한, 자동 및/또는 권장 밴티지 전환 시퀀스는 프로덕션 후 프로세싱의 일환으로 인공지능을 사용하여 결정할 수 있다. 상기 방법의 실시 예는, 시청자가 최소한의 왜곡을 경험하도록 밴티지 종료 시 전환할 밴티지 포인트를 결정할 수 있다.
또한, 더 정교한 비주얼 프로세싱(시각적 객체 인식 알고리즘, 시간적 배럴렉스 방법 및 몇 가지 기하학적 방법)을 수행하여 공유된 뷰 필드 내 다수 개의 관심 영역(POI) 간에 삼각 측량을 통해 밴티지 포인트 간의 거리(상대적 위치)를 더 잘 계산할 수 있다. 상기 방법은 밴티지 포인트 로케이션 및 동작을 구성할 때 더 높은 정확도를 제공한다. 예를 들어, 밴티지 A는 무대의 리드 싱어로부터 'x' 미터 떨어져 있으며 눈에 띄는 적색 모자를 쓰고 있는 다른 콘서트 참가자 뒤에서 'y' 미터 떨어져 있다. 상기 정보를 사용하여 밴티지 A의 앵커인 밴티지 B는 동일한 관심 포인트에 대한 거리를 계산하고 밴티지 A의 위치를 삼각 측량하여 밴티지 A의 거리를 더 잘 계산할 수 있다. 상기 비주얼 프로세싱의 결과로서 관련 로케이션 변경은 또한 마스터 타임라인에 반영된다.
일부 실시 예에서, 내장형 GPS 센서 및 모바일 네트워크/Wi-Fi®/Bluetooth® 삼각 측량 등과 같은 지오로케이션 및 삼각 측량법을 사용할 수 있다. 5G 기술이 대두됨에 따라, 대역폭이 넓어지고, 레이턴시가 감소되어 추가적인 신뢰성을 제공할 것이다. 추가적인 실시 예에서, 장치 탐지를 사용할 수 있다. 일부 장치는 레이저 초점 또는 깊이 인식 기능을 갖춘 카메라를 구비하고 상기 장치를 사용하여 장치 및 환경에 대한 상대적 거리를 더 정확하게 측정할 수 있다. 또한, 피어 장치는 내장형 카메라를 사용하여 서로 탐지할 수 있으며, 다수의 장치는 전방 및 후방 카메라가 달려 있어 상기 카메라를 사용하여 추가적인 환경 사진을 촬영하고 분석하여 네트워크의 다른 장치 및 상대적 위치를 식별할 수 있다.
일부 실시 예에서, ViiVid® 내의 개별 오디오 트랙을 식별 및 분리하여 음악 검색, 사용자 제어 레벨링 및/또는 더 많은 사용자 인사이트가 가능하도록 추가 처리할 수 있다. 예를 들어, 시청자는 주변 노이즈 볼륨을 줄이고, 시청하고 있는 ViiVid®에서 촬영되는 밴드의 악기 볼륨을 높이고자 할 수 있다. 또한, 오디오 인식 기술을 채택하여 사용자 관심을 결정하여 청취하고 있는 음악을 구매할 수 있는 곳을 알려주거나 유사한 콘텐츠를 사용하도록 제안할 수 있다.
일부 실시 예에서, 객체 인식 알고리즘을 사용하여 사물 객체에 자동으로 태그를 지정하여 구매를 제안하는 데 사용할 수 있으며(사용자의 선호도에 따라), 심지어 관련 물품 공급자의 링크를 제공할 수도 있다. 나아가, 사용자는 구매를 위해 객체에 태그를 지정하거나 관련 물품을 위시 리스트에 추가할 수도 있다.
또한, 상기 처리 방법을 통해, 사용자는 오디오 및 비주얼 큐를 사용하여 나머지 ViiVid®와 병합하기 위하여 후향적으로 앵커링되지 않은 다른 밴티지(예: 비디오, 이미지 오디오 추출물 등)를 추천할 수 있다. 동일한 오디오 분리, 객체 인식 및 시간적 배럴렉스 알고리즘을 상기 밴티지에서 실행하여 동기화를 시도하고 다른 밴티지와 관련된 시간 및 공간 내에서 맥락화할 수 있다.
상기 처리 방식은 컴퓨팅 노드, 스토리지(장기 스토리지, LTS 포함), 콘텐츠 관리 시스템(CMS), 정형 및 비정형 데이터베이스(DB), 엔드 노드 캐싱을 구비한 콘텐츠 전달 네트워크(CDN), 웹 컨테이너와 같은 클라우드 기반 리소스를 활용하여 달성할 수 있다. 그 결과, 인코딩, 트랜스코딩, 멀티플렉싱 및 후처리는 화면을 렌더링할 수 있는 클라이언트에 콘텐츠 서비스를 제공하기 전에 서버측에서 자동으로 수행될 수 있다.
그런 다음, 완전하게 내보내기가 가능한 ViiVid® 미디어 아티팩트를 생성하고 호환가능 플레이어에서 온라인 또는 오프라인으로 후향적으로 재생할 수 있다. 상기 미디어 형식은 사용 가능한 모든 미디어 피드 또는 사용자 소비를 위해 선택한 밴티지 서브세트를 포함할 수 있다.
그림 7은 AV 및 타임라인 아티팩트를 ViiVid® 미디어 형식으로 자동 처리 및 병합하는 데 사용되는 프로덕션 후 워크플로우의 예제를 도시한다.
그림 8은 라이브 레코딩 밴티지 패닝 단계에서 서버측 프로세싱을 거쳐 후향적 재생으로 마무리되는 단계와 관련된 주요 액터 및 프로세스를 상세히 설명하는 엔드투엔드 워크플로우의 예제를 도시한다.
후향적 ViiVid® 패닝
사전 기록 또는 컴파일된 ViiVid는 웹, 모바일 및 로컬 클라이언트(플레이어 애플리케이션)를 통해 온라인 혹은 오프라인에서 소비될 수 있다. 상기 플레이어는 내장가능형 미디어 플레이어, 웹 기반 html 플러그인, 애플리케이션 프로그래밍 인터페이스(API), 크로스 플랫폼 모바일 클라이언트 등을 포함할 수 있다.
일부 실시 예에서, ViiVid®를 다시 재생할 때, 관련 타임라인(및/또는 마스터 타임라인)이 소비되는 밴티지와 함께 효과적으로 재생된다. 바람직하게는, 호환가능 플레이어는 화면을 캡처했을 때 레코딩 네트워크에 관련되는 다수 개의 변수를 저장한다. 이러한 변수는,
· 현재 로케이션;
· 현재 위치;
· 앵커의 세부적인 컬렉션을 포함하며, 각 앵커는,
o 오프셋(상기 앵커 밴티지가 현재 레코딩과 관련하여 시직할 때);
o 상기 앵커의 로케이션;
o 상기 앵커의 위치;
o 앵커의 컬렉션을 포함한다.
일부 다른 액티비티와 더불어, 상기 변수는 재생 중 (AR/VR) POI 마커를 렌더링할 시기와 장소, 사용자가 방향성 검색 제스처를 수행할 때 전환하는 밴티지를 애니메이션화하는 방법을 특히 결정한다. ViiVid®을 시청할 때, 사용 가능한 모든 밴티지는 해당 밴티지의 앵커 및 그의 오프셋에 의하여 결정되며, 처음 시작되는 비디오에 따라 음수 또는 양수가 될 수 있다.
레코딩이 재생되면서, 상기 타임라인 이벤트는 순차적으로 타임라인으로부터 읽혀지고, 어떤 경우 다운스트림 렌더링 변경을 호출하는 그러한 같은 변수를 변경하여 해석되고, 그 결과, 데이터 스트림의 표시/렌더링은 특정 타임라인 변수, 이를테면 시스템 또는 사용자 선호도에 따라 달라질 수 있다. 타임라인으로부터 LOCATION_CHANGE, ORIENTATION_CHANGE 또는 HEADING_CHANGE 플래그를 읽을 때, 레더링된 모든 POI의 상대적 위치는 적절하게 조정된다. 마찬가지로, PEER_LOCATION_CHANGE, PEER_ORIENTATION_CHANGE 또는 PEER_HEADING_CHANGE 플래그를 읽을 때, 문제의 피어는 조정된 해당 POI 마커의 후향적 위치를 갖는다.
또한, ORIENTATION_CHANGE 플래그는 예각 방향 전환과 더불어 재생 중 세로 및 가로 모드 간을 토글할 때 플레이어에게 알림을 전달한다. SNAPHOT 플래그는 주변 영역에서 사진을 촬영한 다음 재생을 통해 다시 재생될 때 플레이어에게 알림을 전달한다.
바람직하게는, 밴티지 전환이 수행되고, 현재 비디오가 정지 또는 페이드 아웃되고, 새 비디오가 다시 시작될 때, 오프셋의 합계 및 이전 비디오의 정지 위치에 의하여 계산된 동일한 상대적 위치로 페이드인 된다. 상기 방식으로, 밴티지를 내비게이션할 경우에도 연속적인 오디오 시스템을 달성할 수 있다. 더욱이, 이러한 내비게이션 과정 중, 변수값은 시청 위치에 걸쳐 최선의 이동 방법을 결정하여 한번의 부드러운 전환을 통해 위치 및 헤딩이 변경되기 때문에 물리적 이동의 효과를 시뮬레이션한다. 동기화 프로세스의 일부는 상기와 같은 다양한 타임라인 플래그를 분석하고 타임라인을 기반으로, 이를테면 시스템 또는 사용자 선호도에 따라 특정한 밴티지의 우선 순위를 정하는 단계를 포함할 수 있다.
일부 실시 예에서, 호환가능 플레이어는 앵커링된 전체 또는 일부 밴티지를 배경에서 동시에 재생할 수 있으며, 사용자가 해당 밴티지로 전환하거나, 미리보기하면 요청한 앵커를 전경으로 배치할 수 있다. 상기 방식에서, 상기 플레이어는 앵커링된 원하는 밴티지가 준비되었으며, 서버 또는 높은 레이턴시 메모리 모듈의 응답을 기다리지 않고 사용자가 요청하는 바로 그 인스턴스의 대기(낮은 레이턴시 RAM)를 보장함으로써 전환 성능을 개선할 수 있다.
ViiVid® 재생의 네트워크 및 프로세싱 효율성을 개선하기 위하여, 상기 배경 밴티지는 또한, 전경으로 호출될 때까지, 이를테면 서버측 트랜스코딩과 같은 낮은 비트레이트 및/또는 해상도에서 재생될 수 있다.
후향적 ViiVid® 편집
일부 실시 예에서, ViiVid® 편집기를 사용하여 사용자는 선호하는 밴티지 내비게이션 시퀀스를 선택하거나, 하나의 ViiVid® 또는 비디오 컴필레이션 아티팩트에서 밴티지 서브세트를 분리할 수 있다. 또한, 상기 편집기는 비디오 편집 애플리케이션과 유사하게, 밴티지 편집 기능을 제공할 수 있다. 상기 편집기를 사용하여 결과적 아티팩트를 내보내고, 소비하며, 공유할 수 있지만 초기 검사 합계가 실패하기 때문에 ‘비신뢰’로 간주될 수 있다(적어도 처음에는).
일부 실시 예에서, 시간은 필수적이 아니지만 로케이션과 관련되는 밴티지는 함께 병합되어 밴티지가 캡처된 영역의 4차원 ViiVid ® 가상 투어(3D 공간 x 시간)를 만들 수 있다.
사용 사례
상기 기술의 실제 응용할 많은 분야가 있으며, 360° 및/또는 기존의 비디오 레코딩 장치의 조합으로 이벤트를 캡처한다. 일부 사용 사례는 다음과 같다.
· 자신의 결혼식과 관련하여 모든 사용자가 캡처한 및/또는 전문가가 촬영한 비디오 영상을 결합하여, 다양한 밴티지를 가로지르면서 첫 댄스 또는 신부 입장의 감동을 느끼고 싶은 신혼 커플;
· 참가자가 물리적으로 위치한 곳과 다른 관점에서 경기를 보고 싶은 스포츠 이벤트;
· 가상 현실 헤드셋을 사용하여 물리적으로 참가할 수 없는 사람에게 라이브 음악 이벤트의 가상 티켓을 판매하길 원하는 콘서트 프로모터;
· 조사의 일환으로 이벤트의 모든 화면을 결합하는 보안 업체의 증거 시스템.
상기 사양 및 청구 내용에서 사용되는 용어 "포함" 및 "포함하는" 및 그의 변화는 명시된 특징, 단계 또는 구성 요소를 포함한다. 상기 용어는 다른 특징, 단계 또는 구성 요소를 배제하는 것으로 해석되지 아니한다.
상기 설명, 청구 및 수반된 도면에 개시된 다양한 특징 중 하나는 분리될 수 있으며 본원에 개시된 다른 특징과 선택적으로 결합되어 다양한 방식으로 본 발명을 구현할 수 있다.
본 발명의 특정한 실시 예가 설명되었음에도 불구하고, 첨부된 청구범위는 상기 실시 예로 유일하게 제한되지 아니한다. 청구범위는 문자 그대로 유의하게 해석되어야 하며, 및/또는 동일한 범위를 포함해야 한다.
본 개시의 대표적인 기능
1. 데이터 스트림 동기화를 위한 컴퓨터 구현 방법으로서,
제1 장치를 사용하여 오디오 및/또는 비디오를 포함하는 제1 데이터 스트림을 발생시키는 단계;
네트워크에서 상기 제1 데이터 스트림을 광고하는 단계;
상기 네트워크를 통해 오디오 및/또는 비디오를 포함하는 제2 데이터 스트림을 수신하는 단계; 및
상기 데이터 스트림의 동기화를 위해 상기 네트워크에 걸쳐 상기 데이터 스트림의 상태를 유지하는 단계를 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
2. 데이터 스트림 동기화를 위한 컴퓨터 구현 방법으로서,
오디오 및/또는 비디오를 포함하는 제1 데이터 스트림을 발생시키는 단계;
네트워크에서 상기 제1 데이터 스트림을 광고하는 단계;
오디오 및/또는 비디오를 포함하는 제2 데이터 스트림을 발생 또는 수신하는 단계;
상기 네트워크에서 상기 제2 데이터 스트림을 광고하는 단계; 및
상기 데이터 스트림의 동기화를 위해 상기 네트워크에 걸쳐 상기 데이터 스트림의 상태를 유지하는 단계를 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
3. 제1항 내지 제2항에 있어서,
상기 제1 및/또는 상기 제2 데이터 스트림에 대한 이벤트 타임라인을 전송 또는 수신하는 단계; 및/또는
상기 데이터 스트림의 동기화를 위해 상기 네트워크에 걸쳐 상기 제2 데이터 스트림의 상태를 수신하는 단계; 및/또는
상기 데이터 스트림을 동기화하는 단계; 및/또는
상기 제1 및 제2 데이터 스트림을 통합 데이터 스트림으로 결합하는 단계를 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
4. 선행 청구항 중 어느 하나의 항에 있어서, 상기 네트워크는 Wi-Fi®, Bluetooth® 및/또는 셀룰러 네트워크 기술을 포함하는 것을 특징으로 하는 방법.
5. 선행 청구항 중 어느 하나의 항에 있어서,
오디오 및/또는 비디오를 구비하는 상기 제1 데이터 스트림은 제1 식별자를 포함하고 이벤트의 제1 밴티지 포인트를 구비하는 제1 장치에 의해 생성되며;
오디오 및/또는 비디오를 구비하는 상기 제2 데이터 스트림은 제2 식별자를 포함하고 이벤트의 제2 밴티지 포인트를 구비하는 제2 장치에 의해 생성되며; 및
상기 네트워크는 P2P 네트워크를 포함하는 것을 특징으로 하는 방법.
6. 선행 청구항 중 어느 하나의 항에 있어서, 상기 네트워크에 대한 데이터 스트림 상태를 유지하는 단계는,
상기 제1 및/또는 상기 제2 데이터 스트림에 대한 이벤트 타임라인을 전송 및/또는 수신 및/또는 분석하는 단계; 및/또는
상기 장치 및/또는 서버 사이의 데이터를 전송 및/또는 수신하는 단계를 포함하며, 상기 데이터는, P2P 핸드세이크, NTP 데이터, 타이밍 하트비트 및 데이터스트림 파라미터; 및/또는
하나 이상의 데이터 스트림에 대한 변화와 관련된 데이터를 모니터링, 전송 및/또는 수신하는 상기 또는 각각의 장치; 및/또는
상기 네트워크에서 광고되는 다른 데이터 스트림을 검출하는 상기 또는 각각의 장치를 하나 이상 포함하는 것을 특징으로 하는 방법.
7. 선행 청구항 중 어느 하나의 항에 있어서,
상기 방법은 비디오, 시작 시간, 장치 ID 및/또는 장치 로케이션을 기반으로 식별자를 할당하는 단계를 추가로 포함하며, 바람직하게는,
상기 식별자는 initialEventID 및 masterEventID를 포함하며 상기 방법은 상기 네트워크에 대한 장치 중에서 상기 initialEventID 및/또는 상기 masterEventID를 비교하고 업데이트하는 단계를 포함하며; 및/또는
상기 또는 각 식별자는 하나 이상의 메타데이터, 시간, 장치 ID, 장치 로케이션 및 장치 위치 데이터를 포함하는 것을 특징으로 하는 방법.
8. 선행 청구항 중 어느 하나의 항에 있어서, 상기 방법은,
실시간으로 상기 데이터 스트림을 실질적으로 동기화 및/또는 결합하는 단계; 및/또는
사전 정의된 범위 내에서 해당 시간, 로케이션 및/또는 위치를 기반으로 상기 데이터 스트림을 동기화하는 단계; 및/또는
연결 속도 및/또는 레이턴시(latency)에 따라 데이터 스트림의 비트레이트를 조정하는 단계; 및/또는
상기 데이터 스트림의 파라미터를, 바람직하게는 실시간으로, 추적하는 단계; 및/또는
상기 데이터 스트림의 파라미터를 기반으로 상기 데이터 스트림의 순위를 매기는 단계를 추가로 포함하는 방법.
9. 선행 청구항 중 어느 하나의 항에 있어서,
중복 오디오 콘텐츠의 데이터 스트림을 분석하고 상기 통합 데이터 스트림을 편집하여 상기 통합 데이터 스트림에 대한 단일 오디오 추적을 제공하는 단계; 및/또는
상기 데이터 스트림을 분석 및 편집하여 상기 통합 데이터 스트림에 대한 뷰의 통합 필드를 제공하는 단계; 및/또는
데이터 스트림을 병합하여 상기 통합 데이터 스트림을 제공하는 단계를 추가로 포함하는 방법.
10. 선행 청구항 중 어느 하나의 항에 있어서,
상기 제1 및/또는 상기 제2 장치 및/또는 제3 장치에서 상기 제1 및 상기 제2 데이터 스트림 모두를 표시 또는 렌더링하는 단계; 및/또는
상기 제1 및/또는 상기 제2 데이터 스트림을 사용자에게 전송하고 상기 사용자에게 사용 가능한 데이터 스트림을 표시하는 단계; 및/또는
맵에 사용 가능한 데이터 스트림의 밴티지 포인트를, 바람직하게는 실시간으로, 매핑하는 단계; 및/또는
상기 데이터 스트림을 사용자에게 표시하고 사용 가능한 데이터 스트림의 밴티지 포인트 사이를 검색하기 위한 제어 수단을 제공하는 단계, 바람직하게는 밴티지 포인트 사이를 애니메이션 방식으로 전환하는 단계를 추가로 포함하며; 및/또는
밴티지 포인트 사이를 검색하는 사용자의 입력 제스처를 수신 및 처리하는 단계를 추가로 포함하는 방법.
11. 제1항 내지 제2항에 있어서,
오디오 및/또는 비디오를 구비하는 상기 제1 데이터 스트림은 제1 식별자를 포함하고 이벤트의 제1 밴티지 포인트를 구비하는 제1 장치에 의해 생성되며;
오디오 및/또는 비디오를 구비하는 상기 제2 데이터 스트림은 제2 식별자를 포함하고 이벤트의 제2 밴티지 포인트를 구비하는 제2 장치에 의해 생성되며;
상기 네트워크는 P2P 네트워크를 포함하며; 및
상기 데이터 스트림의 상태를 유지하며,
상기 장치 및/또는 서버 사이에서 데이터를 전송 및/또는 수신하는 단계를 포함하고, 상기 데이터는 상기 장치의 로케이션 및/또는 위치를 포함하여 P2P 핸드세이크 및 상기 데이터 스트림의 파라미터를 포함하는 것을 특징으로 하는 방법; 상기 방법은,
해당하는 시간 및 로케이션 데이터를 기반으로, 바람직하게는 실시간으로, 상기 데이터 스트림을 동기화하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
12. 제11항에 있어서,
상기 제1 및 상기 제2 데이터 스트림에 대한 이벤트 타임라인을 전송 및/또는 수신하며, 상기 이벤트 라인은 시간 및 로케이션 데이터를 포함하는 단계;
실시간으로 상기 데이터 스트림을 실질적으로 동기화하는 단계;
상기 제1 및/또는 상기 제2 장치 및/또는 제3 장치에서 상기 제1 및 상기 제2 데이터 스트림 모두를 표시하는 단계;
상기 사용자에게 사용 가능한 데이터 스트림을 디스플레이에 표시하는 단계; 및
사용 가능한 데이터 스트림 간에 검색하기 위한 사용자 입력을 수신 및 처리하는 단계를 포함하는 방법.
13. 컴퓨팅 노드 또는 서버로서,
오디오 및/또는 비디오를 포함하는 제1 데이터 스트림을 수신하는 단계;
네트워크에서 상기 제1 데이터 스트림을 광고하는 단계;
오디오 및/또는 비디오를 포함하는 제2 데이터 스트림을 수신하는 단계;
상기 네트워크에서 상기 제2 데이터 스트림을 광고하는 단계; 및
상기 네트워크에서 상기 데이터 스트림의 상태를 유지하는 단계를 포함하는 방법.
14. 제13항의 서버에 있어서,
상기 데이터 스트림을 동기화하는 단계; 및/또는
상기 데이터 스트림을 통합 데이터 스트림으로 결합하는 단계를 추가로 포함하도록 구성되는 서버.
15. 선행 청구항 중 어느 하나의 항에 있어서,
실시간으로 상기 데이터 스트림의 광고가 실질적으로 발생하는 단계; 및/또는
실시간으로 상기 네트워크에서 상기 데이터 스트림의 상태가 실질적으로 유지되는 단계를 포함하는 방법 내지 서버.
16. 제3항의 방법, 제14항의 서버, 내지 그에 따른 청구항 중 어느 하나의 항에 있어서,
상기 데이터 스트림의 파라미터를 분석하고, 상기 데이터 스트림 파라미터를 기반으로 상기 네트워크에서 상기 장치에 데이터 처리 작업을 할당하는 단계; 및/또는
상기 네트워크를 통해 가장 짧은 경로를 결정한 다음 상기 경로를 통해 데이터를 전송하는 단계, 바람직하게는 개방형 최단경로(Open Shortest Path First, OSPF) 프로토콜을 사용하여 전송하는 단계를 추가로 포함하는 방법 내지 서버.
17. 제3항의 방법, 제14항의 서버, 내지 그에 따른 청구항 중 어느 하나의 항에 있어서, 상기 데이터 스트림은 다수 개의 다른 밴티지 포인트로부터 이벤트의 적어도 일차 및 이차 대체 비디오 화면을 구비하는 멀티-밴티지-포인트 비디오를 포함하며, 상기 비디오의 적어도 일부에 대해 상기 밴티지 포인트는 사용자가 선택 가능한 단계를 포함하는 방법 내지 서버.
18. 제3항의 방법, 제14항의 서버, 내지 그에 따른 청구항 중 어느 하나의 항에 있어서, 상기 통합 데이터 스트림은,
이미지로부터 스티칭된 비디오 프레임 내지 다수 개의 밴티지 포인트로부터의 비디오 프레임; 및/또는
다수 개의 다른 밴티지 포인트로부터 스티칭된 오디오를 포함하는 멀티-밴티지-포인트 비디오를 포함하는 것을 특징으로 하는 방법 내지 서버.
19. 제3항의 방법, 제14항의 서버, 내지 그에 따른 청구항 중 어느 하나의 항에 있어서, 상기 통합 데이터 스트림에 대해 사용 가능한 밴티지 포인트는,
상기 데이터 스트림의 파라미터에 따라 동적으로 변화하는 단계 및/또는
상기 데이터 스트림의 가용성을 기반으로 실질적으로 실시간 결정되는 단계를 포함하는 방법 내지 서버.
20. 선행 청구항 중 어느 하나의 항에 있어서,
가시적 처리를 수행하여 비전 필드의 이상징후 또는 장애를 제거하는 단계; 및/또는
가시적 처리를 수행하여 객체 인식 및/또는 상기 비전 필드의 관심 포인트를 사용하여 밴티지 포인트의 상대적 위치를 계산하고, 데이터 스트림 사이의 타이밍 오프셋을 계산하고, 및/또는 대체 밴티지 포인트를 시뮬레이션하는 단계; 및/또는
오디오 처리를 수행하여 오디오 데이터를 통합하고, 데이터 스트림 사이의 타이밍 오프셋을 계산하고, 배경 노이즈를 제거하고, 및/또는 대체 밴티지 포인트를 시뮬레이션 하는 단계; 및/또는
상기 통합 데이터 스트림을 컴퓨터가 읽을 수 있는 미디어 형식으로 내보내는 단계를 포함하도록 추가로 구성되는 방법 내지 서버.
21. 선행 청구항 중 어느 하나의 항에 있어서,
하나 이상의 시작 시간 레코딩, 오디오 또는 비디오 데이터 파라미터, 데이터 스트림 비트 레이트, 뷰 필드, 로케이션 및 위치에 따라 상기 데이터 스트림을 가중하는 단계; 및/또는
최종 사용자 장치로 전달하기 위하여 상기 데이터 스트림을 트랜스코딩하는 단계: 및/또는
데이터 스트림의 데이터베이스를 유지하고 다른 데이터와 상기 데이터 스트림을 통합하고, 바람직하게는 외부 소스의 사전 녹화된 이미지/비디오/오디오 영상 및/또는 라이브 레코딩을 통합하는 단계; 및/또는
상기 제1, 제2 및/또는 통합 데이터 스트림, 및 현재 및 사용 가능한 밴티지 뷰포인트 및/또는 추가 관심 포인트 사이의 방향 및/또는 상대적 거리를 표시하는 그래픽 오버레이를 포함하는 증강 또는 가상 현실 뷰어를 생성하거나 렌더링하는 단계를 추가로 포함하는 방법 내지 서버.
22. 선행 청구항 중 어느 하나의 항의 방법을 수행하도록 구성되는 장치 또는 장치의 네트워크.
23. 컴퓨터-판독가능 매체로서, 실행할 때,
제1항 내지 제11항 중 어느 하나의 항, 또는 그에 따른 청구항 중 어느 하나의 항의 방법을 수행하고, 및/또는
제3항 내지 제14항 중 어느 하나의 항, 또는 그에 따른 청구항 중 어느 하나의 항의 통합 데이터 스트림을 표시하거나 렌더링하는 명령을 포함하는 것을 특징으로 하는 컴퓨터-판독가능 매체.
24. 제3항 내지 제14항 중 어느 하나의 항, 또는 그에 따른 청구항 중 어느 하나의 항의 통합 데이터 스트림을 제공하는 것을 특징으로 하는 컴퓨터-판독가능 파일 형식.
25. 비디오를 포함하는 매체 형식으로서, 상기 비디오의 밴티지 포인트를 사용자가 선택 가능한 매체 형식.

Claims (26)

  1. 데이터 스트림 동기화를 위한 컴퓨터 구현 방법으로서,
    이벤트의 제1 밴티지 포인트로부터의 오디오 및/또는 비디오를 포함하는 제1 데이터 스트림을 발생시키거나 수신하는 단계;
    네트워크를 통하여, 상기 이벤트의 제2 밴티지 포인트로부터의 오디오 및/또는 비디오를 포함하는 제2 데이터 스트림을 발생시키거나 수신하는 단계;
    상기 데이터 스트림 동기화를 위하여 상기 네트워크를 통해 상기 데이터 스트림의 상태를 유지하는 단계로서, 각 데이터 스트림에 대한 시작 및 종료 시간을 표시하는 각 데이터 스트림에 대한 시작(START) 및 종료(END) 데이터 스트림 파라미터를 기록하는 단계를 포함하는, 상기 네트워크를 통해 상기 데이터 스트림의 상태를 유지하는 단계;
    상기 데이터 스트림을 동기화하는 단계; 및
    상기 데이터 스트림에 대한 마스터 이벤트 타임라인을 생성하고, 상기 마스터 이벤트 타임라인은 각 데이터 스트림에 대한 시작 및 종료 타이밍을 포함하여 사용자가 사용 가능한 데이터 스트림을 선택할 수 있는 단계를 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    제1 장치를 사용하여, 이벤트의 제1 밴티지 포인트로부터의 오디오 및/또는 비디오를 포함하는 제1 데이터 스트림을 발생시키는 단계;
    네트워크에서 상기 제1 데이터 스트림을 광고하는 단계;
    상기 네트워크를 통해, 상기 이벤트의 제2 밴티지 포인트로부터의 오디오 및/또는 비디오를 포함하는 제2 데이터 스트림을 발생시키거나 수신하는 단계;
    상기 데이터 스트림 동기화를 위하여 상기 네트워크를 통해 상기 데이터 스트림의 상태를 유지하는 단계로서, 각 데이터 스트림에 대한 시작 및 종료 시간을 표시하는 각 데이터 스트림에 대한 시작(START) 및 종료(END) 데이터 스트림 파라미터를 기록하는 단계를 포함하는, 상기 네트워크를 통해 상기 데이터 스트림의 상태를 유지하는 단계;
    상기 데이터 스트림을 동기화하는 단계; 및
    상기 데이터 스트림에 대한 마스터 이벤트 타임라인을 생성하고, 상기 마스터 이벤트 타임라인은 각 데이터 스트림에 대한 시작 및 종료 타이밍을 포함하여 사용자가 사용 가능한 데이터 스트림을 선택할 수 있는 단계를 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  3. 제1항 내지 제2항에 있어서,
    각 데이터 스트림에 대한 상기 시작(START) 및 종료(END) 데이터 스트림 파라미터를 기반으로 사용자가 선택하도록 사용 가능한 데이터 스트림을 표시하는 단계;
    사용 가능한 데이터 스트림을 선택하기 위한 사용자 입력을 수신 및 처리하는 단계; 및
    선택한 데이터 스트림을 사용자에게 전송, 표시 또는 렌더링하는 단계를 추가로 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  4. 제1항 내지 제3항 중 어느 하나의 항에 있어서,
    상기 제1 및 제2 데이터 스트림을 통합 데이터 스트림으로 결합하는 단계를 추가로 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  5. 제1항 내지 제4항 중 어느 하나의 항에 있어서, 상기 네트워크를 통한 상기 데이터 스트림의 상태를 유지하는 단계는 각 데이터 스트림에 대한 위치 및/또는 위치 데이터 스트림 파라미터를 기록하는 단계를 추가로 포함하고,
    상기 데이터 스트림 동기화를 위한 컴퓨터 구현 방법은 상기 위치 및/또는 위치 데이터 스트림 파라미터를 기반으로 상기 데이터 스트림을 동기화하는 단계를 추가로 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  6. 제1항 내지 제5항 중 어느 하나의 항에 있어서, 다른 밴티지로 원하는 이동 방향을 표시하는 사용자 입력을 수신 및 처리하는 단계; 및
    해당하는 데이터 스트림을 상기 사용자에게 전송, 표시 또는 렌더링하는 단계를 추가로 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  7. 제1항 내지 제6항 중 어느 하나의 항에 있어서,
    오디오 및/또는 비디오를 포함하는 상기 제1 데이터 스트림은 제1 식별자를 가지고 이벤트의 제1 밴티지 포인트를 가지는 제1 장치에 의해 생성되며;
    오디오 및/또는 비디오를 포함하는 상기 제2 데이터 스트림은 제2 식별자를 가지고 이벤트의 제2 밴티지 포인트를 가지는 제2 장치에 의해 생성되며; 및
    상기 네트워크는 P2P 네트워크를 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  8. 제1항 내지 제7항 중 어느 하나의 항에 있어서, 상기 네트워크를 통해 데이터 스트림 상태를 유지하는 단계는,
    상기 제1 및/또는 상기 제2 데이터 스트림에 대한 이벤트 타임라인을 전송 및/또는 수신하는 단계; 및/또는
    상기 장치 및/또는 서버 사이의 데이터를 전송 및/또는 수신하는 단계를 포함하며, 상기 데이터는, P2P 핸드세이크, NTP 데이터, 타이밍 하트비트 및 데이터스트림 파라미터; 및/또는
    하나 이상의 데이터 스트림에 대한 변화와 관련된 데이터를 모니터링, 전송 및/또는 수신하는 상기 장치 또는 각각의 장치; 및/또는
    상기 네트워크에서 광고되는 다른 데이터 스트림을 검출하는 상기 또는 각각의 장치를 하나 이상 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  9. 제1항 내지 제8항 중 어느 하나의 항에 있어서,
    비디오, 시작 시간, 장치 ID 및/또는 장치 로케이션을 기반으로 식별자를 할당하는 단계를 추가로 포함하고,
    바람직하게는,
    상기 식별자는 initialEventID 및 masterEventID를 포함하며 상기 데이터 스트림 동기화를 위한 컴퓨터 구현 방법이 상기 네트워크 상의 장치 중에서 상기 initialEventID 및/또는 상기 masterEventID를 비교하고 업데이트하는 단계를 포함하는 것; 및
    상기 식별자 또는 각 식별자가 하나 이상의 메타데이터, 시간, 장치 ID, 장치 로케이션 및 장치 위치 데이터를 포함하는 것 중 적어도 하나인, 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  10. 제1항 내지 제9항 중 어느 하나의 항에 있어서,
    실시간으로 상기 데이터 스트림을 실질적으로 동기화 및/또는 결합하는 단계;
    사전 정의된 범위 내에서 해당 시간, 로케이션 및/또는 위치를 기반으로 상기 데이터 스트림을 동기화하는 단계;
    연결 속도 및/또는 레이턴시(latency)에 따라 데이터 스트림의 비트레이트를 조정하는 단계;
    상기 데이터 스트림의 파라미터를, 바람직하게는 실시간으로, 추적하는 단계; 및
    상기 데이터 스트림의 파라미터를 기반으로 상기 데이터 스트림의 순위를 매기는 단계 중 적어도 하나를 추가로 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  11. 제1항 내지 제10항 중 어느 하나의 항에 있어서,
    중복 오디오 콘텐츠의 데이터 스트림을 분석하고 상기 통합 데이터 스트림을 편집하여 상기 통합 데이터 스트림에 대한 단일 오디오 추적을 제공하는 단계; 및/또는
    상기 데이터 스트림을 분석 및 편집하여 상기 통합 데이터 스트림에 대한 뷰의 통합 필드를 제공하는 단계; 및/또는
    데이터 스트림을 병합하여 상기 통합 데이터 스트림을 제공하는 단계를 추가로 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  12. 제1항 내지 제11항 중 어느 하나의 항에 있어서,
    상기 제1 장치 및/또는 상기 제2 장치 및/또는 제3 장치에서 상기 제1 및 상기 제2 데이터 스트림 모두를 표시 또는 렌더링하는 단계;
    맵에 사용 가능한 데이터 스트림의 밴티지 포인트를, 바람직하게는 실시간으로, 매핑하는 단계;
    사용 가능한 데이터 스트림의 밴티지 포인트 사이를 검색하기 위한 제어를 제공하는 단계 - 상기 제어를 제공하는 단계는 바람직하게는 밴티지 포인트 사이를 애니메이션 방식으로 전환하는 단계를 추가로 포함함 -; 및
    밴티지 포인트 사이를 검색하는 사용자의 입력 제스처를 수신 및 처리하는 단계 중 적어도 하나를 추가로 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  13. 제6항에 있어서, 상기 데이터 스트림의 상태를 유지하는 단계는,
    상기 장치 및/또는 서버 사이에서 데이터를 전송 및/또는 수신하는 단계를 포함하고, 상기 데이터는 상기 장치의 로케이션 및/또는 위치를 포함하여 P2P 핸드세이크 및 상기 데이터 스트림의 파라미터를 포함하고, 상기 데이터 스트림 동기화를 위한 컴퓨터 구현 방법은,
    해당하는 시간 및 로케이션 데이터를 기반으로, 실질적으로 실시간으로, 상기 데이터 스트림을 동기화하는 단계를 추가로 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  14. 제13항에 있어서,
    상기 제1 및 상기 제2 데이터 스트림에 대한 이벤트 타임라인을 전송 및/또는 수신하는 단계 - 상기 이벤트 타임라인은 시간 및 로케이션 데이터를 포함함 -; 및
    상기 제1 및/또는 상기 제2 장치 및/또는 제3 장치에서 상기 제1 및 상기 제2 데이터 스트림 모두를 표시하는 단계를 포함하는 데이터 스트림 동기화를 위한 컴퓨터 구현 방법.
  15. 컴퓨팅 노드, 장치 또는 서버로서,
    이벤트의 제1 밴티지 포인트로부터의 오디오 및/또는 비디오를 포함하는 제1 데이터 스트림을 발생시키거나 수신하고;
    네트워크를 통해, 상기 이벤트의 제2 밴티지 포인트로부터의 오디오 및/또는 비디오를 포함하는 제2 데이터 스트림을 발생시키거나 수신하고;
    상기 네트워크를 통해 상기 데이터 스트림의 상태를 유지함에 있어서, 각 데이터 스트림에 대한 시작 및 종료 시간을 표시하는 각 데이터 스트림에 대한 시작(START) 및 종료(END) 데이터 스트림 파라미터를 기록하는 것을 포함하여, 상기 네트워크를 통해 상기 데이터 스트림의 상태를 유지하고;
    상기 데이터 스트림을 동기화하며; 및
    상기 데이터 스트림에 대한 마스터 이벤트 타임라인을 생성하고, 상기 마스터 이벤트 타임라인은 각 데이터 스트림에 대한 시작 및 종료 타이밍을 포함하여 사용자가 사용 가능한 데이터 스트림을 선택할 수 있는 컴퓨팅 노드, 장치 또는 서버.
  16. 제15항에 있어서, 상기 서버는, 상기 데이터 스트림을 통합 데이터 스트림으로 더 결합하는 서버.
  17. 제1항 내지 제16항 중 어느 하나의 항에 있어서,
    실시간으로 상기 데이터 스트림의 광고가 실질적으로 발생하고; 및/또는
    실질적으로 실시간으로 상기 네트워크에서 상기 데이터 스트림의 상태가 유지되는 방법 내지 서버.
  18. 제1항 내지 제17항 중 어느 하나의 항에 있어서,
    상기 데이터 스트림의 파라미터를 분석하고, 상기 데이터 스트림 파라미터를 기반으로 상기 네트워크에서 상기 장치에 데이터 처리 작업을 할당하는 단계; 및/또는
    상기 네트워크를 통해 가장 짧은 경로를 결정한 다음 상기 경로를 통해 데이터를 전송하는 단계, 바람직하게는 개방형 최단경로(Open Shortest Path First, OSPF) 프로토콜을 사용하여 전송하는 단계를 추가로 포함하는 방법 내지 서버.
  19. 제4항의 방법, 제16항의 서버, 내지 그에 따른 청구항 중 어느 하나의 항에 있어서, 상기 데이터 스트림은 복수 개의 다른 밴티지 포인트로부터 이벤트의 적어도 일차 및 이차 대체 비디오 화면을 포함하는 멀티-밴티지-포인트 비디오를 포함하며, 상기 비디오의 적어도 일부에 대해 상기 밴티지 포인트는 사용자가 선택 가능한, 방법 내지 서버.
  20. 제4항의 방법, 제16항의 서버, 내지 그에 따른 청구항 중 어느 하나의 항에 있어서, 상기 통합 데이터 스트림은,
    이미지로부터 스티칭된 비디오 프레임 내지 복수 개의 밴티지 포인트로부터의 비디오 프레임; 및/또는
    복수 개의 다른 밴티지 포인트로부터 스티칭된 오디오를 포함하는 멀티-밴티지-포인트 비디오를 포함하는, 방법 내지 서버.
  21. 제4항의 방법, 제16항의 서버, 내지 그에 따른 청구항 중 어느 하나의 항에 있어서, 상기 통합 데이터 스트림에 대해 사용 가능한 밴티지 포인트는,
    상기 데이터 스트림의 파라미터에 따라 동적으로 변화하고; 및/또는
    상기 데이터 스트림의 가용성을 기반으로 실질적으로 실시간 결정되는, 방법 내지 서버.
  22. 제1항 내지 제21항 중 어느 하나의 항에 있어서,
    가시적 처리를 수행하여 비전 필드의 이상징후 또는 장애를 제거하고; 및/또는
    가시적 처리를 수행하여 객체 인식 및/또는 상기 비전 필드의 관심 포인트를 사용하여 밴티지 포인트의 상대적 위치를 계산하고, 데이터 스트림 사이의 타이밍 오프셋을 계산하고, 및/또는 대체 밴티지 포인트를 시뮬레이션하고; 및/또는
    오디오 처리를 수행하여 오디오 데이터를 통합하고, 데이터 스트림 사이의 타이밍 오프셋을 계산하고, 배경 노이즈를 제거하고, 및/또는 대체 밴티지 포인트를 시뮬레이션 하고; 및/또는
    상기 통합 데이터 스트림을 컴퓨터가 읽을 수 있는 미디어 형식으로 내보내는, 방법 내지 서버.
  23. 제1항 내지 제22항 중 어느 하나의 항에 있어서,
    하나 이상의 시작 시간 레코딩, 오디오 또는 비디오 데이터 파라미터, 데이터 스트림 비트 레이트, 뷰 필드, 로케이션 및 위치에 따라 상기 데이터 스트림을 가중하는 단계; 및/또는
    최종 사용자 장치로 전달하기 위하여 상기 데이터 스트림을 트랜스코딩하는 단계: 및/또는
    데이터 스트림의 데이터베이스를 유지하고 상기 데이터 스트림을 다른 데이터, 바람직하게는 외부 소스의 사전 녹화된 이미지/비디오/오디오 영상 및/또는 라이브 레코딩과 통합하는 단계; 및/또는
    상기 제1, 제2 및/또는 통합 데이터 스트림, 및 현재 및 사용 가능한 밴티지 뷰포인트 및/또는 추가 관심 포인트 사이의 방향 및/또는 상대적 거리를 표시하는 그래픽 오버레이를 포함하는 증강 또는 가상 현실 뷰어를 생성하거나 렌더링하는 단계를 추가로 포함하는 방법 내지 서버.
  24. 제1항 내지 제23항 중 어느 하나의 항에 있어서,
    상기 제1, 제2 및 추가 데이터 스트림의 검사 합계를 생성하는 단계;
    상기 검사 합계를 검증하는 단계; 및
    상기 검증을 기반으로 상기 데이터 스트림을 분류하는 단계를 추가로 포함하는 방법 내지 서버.
  25. 제1항 내지 제14항 중 어느 하나의 항에 있어서, 또는 그에 따른 청구항 중 어느 하나의 항에 있어서, 상기 방법을 수행하도록 구성되는 장치 또는 장치의 네트워크.
  26. 컴퓨터-판독가능 기록 매체로서, 실행할 때 제1항 내지 제14항 중 어느 하나의 항,
    또는 그에 따른 청구항 중 어느 하나의 항의 방법을 수행하는 명령을 포함하는 것을 특징으로 하는 컴퓨터-판독가능 기록 매체.
KR1020227000926A 2019-06-14 2020-06-11 데이터 스트림을 동기화하기 위한 시스템 및 방법 KR20220031894A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1908567.9A GB2585183B (en) 2019-06-14 2019-06-14 Synchronising data streams
GB1908567.9 2019-06-14
PCT/GB2020/051404 WO2020249948A1 (en) 2019-06-14 2020-06-11 Systems and methods for synchronising data streams

Publications (1)

Publication Number Publication Date
KR20220031894A true KR20220031894A (ko) 2022-03-14

Family

ID=67432309

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227000926A KR20220031894A (ko) 2019-06-14 2020-06-11 데이터 스트림을 동기화하기 위한 시스템 및 방법

Country Status (7)

Country Link
US (1) US20220256231A1 (ko)
EP (1) EP3984240A1 (ko)
JP (1) JP2022536182A (ko)
KR (1) KR20220031894A (ko)
CA (1) CA3142323A1 (ko)
GB (1) GB2585183B (ko)
WO (1) WO2020249948A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023105927A1 (de) 2022-03-15 2023-09-21 Hl Mando Corporation Bremsenantriebsvorrichtung

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11838450B2 (en) * 2020-02-26 2023-12-05 Dish Network L.L.C. Devices, systems and processes for facilitating watch parties
EP4309370A1 (en) * 2021-03-19 2024-01-24 Telefonaktiebolaget LM Ericsson (publ) Handover of capturing of a media stream
US11758245B2 (en) 2021-07-15 2023-09-12 Dish Network L.L.C. Interactive media events
US20230138816A1 (en) * 2021-11-01 2023-05-04 Binh Minh Nguyen System and method to reach consensus in a multi-chain iot environment
US11849171B2 (en) 2021-12-07 2023-12-19 Dish Network L.L.C. Deepfake content watch parties

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040034601A1 (en) * 2002-08-16 2004-02-19 Erwin Kreuzer System and method for content distribution and reselling
US8554784B2 (en) * 2007-08-31 2013-10-08 Nokia Corporation Discovering peer-to-peer content using metadata streams
US8254755B2 (en) * 2009-08-27 2012-08-28 Seiko Epson Corporation Method and apparatus for displaying 3D multi-viewpoint camera video over a network
US9344606B2 (en) * 2012-01-24 2016-05-17 Radical Switchcam Llc System and method for compiling and playing a multi-channel video
US20130271655A1 (en) * 2012-04-12 2013-10-17 Google Inc. System, apparatus and method to facilitate live video streaming
US10186299B2 (en) * 2013-07-10 2019-01-22 Htc Corporation Method and electronic device for generating multiple point of view video
US10754511B2 (en) * 2013-11-20 2020-08-25 Google Llc Multi-view audio and video interactive playback
US10341745B2 (en) * 2014-07-30 2019-07-02 Comcast Cable Communications, Llc Methods and systems for providing content

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023105927A1 (de) 2022-03-15 2023-09-21 Hl Mando Corporation Bremsenantriebsvorrichtung

Also Published As

Publication number Publication date
EP3984240A1 (en) 2022-04-20
GB2585183A (en) 2021-01-06
JP2022536182A (ja) 2022-08-12
GB2585183B (en) 2021-09-08
US20220256231A1 (en) 2022-08-11
GB201908567D0 (en) 2019-07-31
WO2020249948A1 (en) 2020-12-17
CA3142323A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
US11381739B2 (en) Panoramic virtual reality framework providing a dynamic user experience
US20220256231A1 (en) Systems and methods for synchronizing data streams
US10375424B2 (en) Point of view multimedia platform
JP6654134B2 (ja) マルチビューオーディオおよびビデオインタラクティブプレイバック
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
US11825142B2 (en) Systems and methods for multimedia swarms
US8898567B2 (en) Method and apparatus for generating a virtual interactive workspace
US20170110155A1 (en) Automatic Generation of Video and Directional Audio From Spherical Content
EP3542532A1 (en) Live interactive video streaming using one or more camera devices
US9942533B2 (en) Method and apparatus for generating multi-channel video
US20130259447A1 (en) Method and apparatus for user directed video editing
US20130259446A1 (en) Method and apparatus for user directed video editing
EP2816564B1 (en) Method and apparatus for smart video rendering
US10542328B2 (en) Systems and methods for providing content
US11688079B2 (en) Digital representation of multi-sensor data stream
US11924397B2 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
Niamut et al. Towards a format-agnostic approach for production, delivery and rendering of immersive media
Burke Browsing an augmented reality with named data networking
KR101843025B1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
US11166080B2 (en) Systems and methods for presenting content
US20190200088A1 (en) Systems and methods for presenting content
WO2014037604A1 (en) Multisource media remixing
Bassbouss Concepts and models for creating distributed multimedia applications and content in a multiscreen environment
KR20180133571A (ko) 실시간 가족행사기반 및 컨텐츠 기반 공유시스템