KR20080064966A - 다 시점 비디오 배달 - Google Patents

다 시점 비디오 배달 Download PDF

Info

Publication number
KR20080064966A
KR20080064966A KR1020087010558A KR20087010558A KR20080064966A KR 20080064966 A KR20080064966 A KR 20080064966A KR 1020087010558 A KR1020087010558 A KR 1020087010558A KR 20087010558 A KR20087010558 A KR 20087010558A KR 20080064966 A KR20080064966 A KR 20080064966A
Authority
KR
South Korea
Prior art keywords
video stream
view
frames
video
view video
Prior art date
Application number
KR1020087010558A
Other languages
English (en)
Inventor
후아 카이
지안-구앙 로우
지앙 리
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20080064966A publication Critical patent/KR20080064966A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Abstract

본 예시는 다 시점 효과를 갖춘 비디오를 배달하는 시스템을 제공한다. 각각 특정 시점과 연관된 단일 시점 비디오 스트림이 서버에 의해 제공된다. 클라이언트는 단일 시점 비디오 스트림 중 임의의 것을 선택하여 수신할 수 있다. 서버는 단일 시점 비디오 스트림 내의 프레임으로부터 다 시점 비디오 스트림을 생성하도록 더 구성될 수 있다. 다 시점 비디오 스트림은 시각 효과를 포함할 수 있고 클라이언트에 제공되어 사용자에게 향상된 경험을 제공할 수 있다. 시각 효과는 순간 고정(frozen moment) 및 시점 스위핑(view sweeping)을 포함할 수 있다.
다 시점 비디오 스트림, 단일 시점 비디오 스트림, 캡처, 순간 고정 효과, 시점 스위핑 효과

Description

다 시점 비디오 배달{MULTI-VIEW VIDEO DELIVERY}
전통적인 단일 시점 비디오 스트림은 일반적으로 하나의 비디오 카메라를 사용하여 캡처되고 데이터 스트림으로 인코딩된 프레임을 포함하며, 저장되거나 실시간으로 배달될 수 있다. 복수의 카메라가 사용되어, 예컨대 대상에 대한 서로 다른 방향의 시점과 같은, 서로 다른 시점에서 비디오 데이터를 캡처할 수 있다. 서로 다른 카메라로부터 얻은 비디오 데이터는 다양한 시점에서 촬영된 비디오 스트림을 제공하도록 편집되어서 사용자에게 향상된 경험을 제공할 수 있다. 그러나, 이 향상된 비디오는 방대하고 난이도가 높은 편집을 필요로 하고 비디오를 실시간으로 배달하는 것이 불가능하다. 나아가, 사용자는 근본적으로 수신된 비디오의 시점을 제어할 수 없다.
이하에서 독자의 기초적인 이해를 위하여 제공된 본 발명에 대한 간략화된 설명을 기술한다. 이 간단한 설명은 본 발명의 광범위한 개관이 아니며, 본 발명의 기본적/핵심적인 요소를 파악하거나 본 발명의 권리 범위를 정의하고자 하는 것이 아니다. 이 간단한 설명은 단지 이후에 기술될 더욱 상세한 설명의 서문으로서 여기에 개시된 몇몇 개념들을 간략화된 형태로 기술하고자 하는 것이다.
본 예시는 다 시점 효과를 갖춘 비디오를 배달하는 시스템을 제공한다. 각각 특정 시점과 연관된 단일 시점 비디오 스트림이 서버에 의해 제공된다. 클라이언트는 단일 시점 비디오 스트림 중 임의의 것을 선택하여 수신할 수 있다. 서버는 단일 시점 비디오 스트림 내의 프레임으로부터 다 시점 비디오 스트림을 생성하도록 더 구성될 수 있다. 다 시점 비디오 스트림은 시각 효과를 포함할 수 있고 클라이언트에 제공되어 사용자에게 향상된 경험을 제공할 수 있다. 시각 효과는 순간 고정(frozen moment) 및 시점 스위핑(view sweeping)을 포함할 수 있다.
다수의 부수적인 특징은 첨부된 도면과 관련되어 설명된 이하의 실시예를 참조하면 더 쉽게 이해할 수 있을 것이다.
본 발명은 첨부된 도면을 참조하여 이하의 실시예를 읽으면 더 잘 이해할 수 있을 것이다.
도 1은 예시적인 다 시점 비디오 배달 시스템을 도시하는 도면.
도 2는 도 1에 도시된 비디오 서버의 예시적인 구성 요소를 도시하는 도면.
도 3은 비디오 배달 시스템에 의하여 생성된 예시적인 단일 시점 비디오 스트림을 도시하는 도면.
도 4는 순간 고정 효과와 연관된 다 시점 비디오 스트림의 일 예를 도시하는 도면.
도 5는 시점 스위핑 효과와 연관된 다 시점 비디오 스트림의 일 예를 도시하는 도면.
도 6은 다 시점 비디오를 시청하기 위한 예시적인 사용자 인터페이스를 도시 하는 도면.
도 7은 예시적인 순간 고정 다 시점 비디오 스트림의 프레임을 도시하는 도면.
도 8은 예시적인 시점 스위핑 다 시점 비디오 스트림의 프레임을 도시하는 도면.
도 9는 다 시점 비디오 스트림을 배달하기 위한 예시적인 프로세스를 도시하는 도면.
도 10은 다 시점 효과를 갖춘 비디오 스트림을 생성하기 위한 예시적인 프로세스를 도시하는 도면.
도 11은 기술된 시스템 및 방법을 구현하기 위한 예시적인 컴퓨터 장치를 도시하는 도면.
첨부된 도면에서 동일한 도면 부호는 동일한 부분을 나타내는데 사용된다.
첨부된 도면과 관련되어 이하에 제공되는 실시예는 본 발명의 예시를 기술하고자 하는 것이지 본 발명이 구현되거나 이용될 수 있는 유일한 형태를 표현하고자 하는 것이 아니다. 이 기술은 예시의 기능 및 예시를 구성하고 운영하기 위한 단계의 시퀀스를 서술한다. 그러나, 다른 예시에 의해서도 동일하거나 동등한 기능 및 시퀀스를 얻을 수 있다.
본 예시는 여기서 서로 다른 방향의 시점으로부터 비디오를 캡처하고 제공하기 위한 배달 시스템으로 구현되어 있지만, 기술된 시스템은 예시로서 제공된 것이 고 이에 한정되지 않는다. 본 예시가 복수의 비디오 스트림의 프레임으로부터 생성된 비디오를 배달할 수 있는 갖가지 서로 다른 유형의 비디오 배달 시스템에서의 애플리케이션으로서 적합함을 당업자는 이해할 것이다.
도 1은 다 시점 비디오 배달 시스템(100)의 일 예를 도시한다. 도 1에 도시된 바와 같이, 시스템(100)은 비디오 데이터를 캡처하도록 구성된 복수의 캡처 장치(111-116)를 포함한다. 이 예시에서, 각각의 캡처 장치는 다른 캡처 장치와 연관된 시점의 방향과는 다른 특정 방향의 시점으로부터 대상(105)을 포착하도록 구성된다. 따라서, 도 1의 예시적인 구현 내에서, 캡처 장치(111-116)는 한 점으로 모이는 시점에서 캡처하도록 구성된다. 다른 구현은 예컨대, 평행 시점, 방사 시점(divergent view) 등의 다른 시점을 제공할 수 있다. 캡처 장치(111-116)는 위치 및/또는 방향을 변경하도록 구성될 수 있다. 예를 들어, 캡처 장치(111-116)는 제어 장치에 의해 내려진 명령에 응답하여 대상(105)에 대한 시점 방향(view direction)을 변경하도록 구성될 수 있다.
제어 장치(123-125)는 비디오 캡처를 위하여 캡처 장치(111-116)를 제어하도록 구성된다. 예를 들어, 제어 장치(123-125)는 캡처 장치(111-116)의 시점 방향을 제어하도록 구성될 수 있다. 제어 장치(123-125)는 또한 캡처 장치(111-116)에 의해 생성된 비디오 데이터를 처리하도록 구성될 수 있다. 한 예시적인 구현에서, 제어 장치(123-125)는 캡처 장치(111-116)로부터 얻은 비디오 데이터를 비디오 서버(132)와 같은 또 다른 장치에 디지털 비디오 신호로서 전송 가능한 비디오 스트림으로 인코딩하도록 구성될 수 있다.
비디오 서버(132)는 클라이언트(153-156)에 비디오 스트림을 제공하도록 구성된다. 비디오 서버(132)에 의해 제공된 비디오 스트림은 단일 시점 비디오 스트림 또는 다 시점 비디오 스트림일 수 있다. 단일 시점 비디오 스트림은 특정 캡처 장치와 연관된 단일 시점 방향의 비디오 프레임을 포함한다. 다 시점 비디오 스트림은 여러 시점 방향으로부터의 비디오 프레임을 포함한다. 일반적으로, 다 시점 비디오 스트림의 프레임은 복수의 캡처 장치에 의해 캡처된 비디오 데이터를 포함한다. 단일 시점 비디오 스트림은 캡처 장치(111-116), 제어 장치(123-125) 및 비디오 서버(132) 중 하나 이상에 의해 인코딩될 수 있다. 일 구현에서, 제어 장치(123-125)에 의해 단일 시점 비디오 스트림이 인코딩되는데, 이 제어 장치가 클라이언트(153-156)로의 배달을 위해 비디오 서버(132)에 스트림을 제공한다. 비디오 서버(132)는 단일 시점 및 다 시점 스트림을 실시간으로 또는 주문식으로 클라이언트에 제공하도록 구성된다. 비디오 서버(132)는 클라이언트(123-125)가 어느 비디오 스트림을 수신할지를 선택하는 것이 가능하도록 구성될 수 있다.
도 1에 도시된 예시적인 다 시점 비디오 배달 시스템(100)의 구성 요소는 예시적인 목적으로 도시되어 있다. 실제 구현에서, 더 많거나 적은 또는 다른 구성 요소가 사용되어 실질적으로 동일한 기능성을 얻을 수 있다. 도시된 구성 요소는 유선, 무선, 직접 연결, 네트워크 등과 같은 임의의 유형의 연결을 통하여 연결될 수 있다.
도 2는 도 1에 도시된 비디오 서버의 예시적인 구성 요소를 도시한다. 도 2에 도시된 바와 같이 비디오 서버(132)는 캡처 장치 핸들러(226), 다 시점 비디오 인코더(227) 및 클라이언트 상호 작용 핸들러(228)를 포함할 수 있다. 캡처 장치 핸들러(226)는 캡처 장치(111-116)로부터 비디오 데이터를 수신하도록 구성된다. 비디오 데이터는 비디오 스트림으로 인코딩될 수 있고 제어 장치(123-125)에 의해 제공될 수 있다. 캡처 장치 핸들러(226)는 제어 장치(123-125)를 통하여 캡처 장치(111-116)의 다양한 동작 파라미터를 제어하도록 구성될 수 있다. 이 동작 파라미터는 위치, 방향, 포커스, 구경, 프레임 속도, 해상도 등을 포함할 수 있다. 캡처 장치 핸들러(226)는 또한 캡처 장치(111-116)에 의해 제공된 단일 시점 비디오 스트림에 대한 정보를 판정하도록 구성될 수 있다. 예를 들어, 이 정보는 각각의 비디오 스트림과 연관된 시점 방향, 스트림 내의 프레임 상호 간의 타이밍, 각각의 비디오 스트림과 연관된 캡처 장치의 동작 파라미터 등을 포함할 수 있다.
다 시점 비디오 인코더(227)는 다 시점 비디오 스트림을 생성하도록 구성된다. 특히, 다 시점 비디오 스트림은 캡처 장치(111-116)에 의해 제공된 단일 시점 비디오 스트림 내의 프레임으로부터 생성된다. 단일 시점 비디오 스트림 내의 프레임은 다 시점 비디오 스트림 내에 포함될 수 있는 시각 효과의 유형에 기초하여 선택된다. 다 시점 비디오 스트림에 대한 두 가지 예시적인 유형의 시각 효과가 도 4 및 도 5와 관련되어 설명될 것이다. 비디오 서버(107)는 제어 장치(123-125)에 의해 인코딩되고 압축된 단일 시점 비디오 스트림을 수신할 수 있다.
다 시점 비디오 인코더(227) 및 그에 부속된 모듈은 단일 시점 비디오 스트림을 디코딩하여, 다 시점 비디오 스트림을 인코딩하는데 사용될 수 있는 프레임을 획득하도록 구성된다. 예를 들어, 단일 시점 비디오 스트림으로부터 선택된 프레 임이 예상된 프레임(predicted frame: P-frame) 또는 양방향 프레임(bi-direction frame: B-frame)이라면, 다 시점 비디오 인코더(227) 및 그에 부속된 모듈은 프레임의 전체 데이터를 획득하고 다 시점 비디오 스트림을 인코딩하는데 그 프레임을 사용하도록 구성될 수 있다. 다 시점 비디오 인코더(227)는 요청에 응답하여 다 시점 비디오 스트림을 생성하도록 또는 연속적으로 스트림을 생성하고 그 스트림을 즉각적인 액세스를 위해 버퍼에 저장하도록 구성될 수 있다. 일 구현에서, 다 시점 비디오 스트림은 사전 정의된 재생 시간(predetermined duration)을 포함하는 스냅샷 또는 비디오 클립으로서 작성된다.
클라이언트 상호 작용 핸들러(228)는 클라이언트(153-156)에 데이터를 송신하고 수신하도록 구성된다. 특히, 클라이언트 상호 작용 핸들러(228)는 클라이언트(153-156)가 시청할 비디오 스트림을 제공한다. 클라이언트 상호 작용 핸들러(228)는 또한 비디오 스트림에 대한 클라이언트(153-156)의 선택을 수신하도록 구성된다. 예를 들어, 클라이언트(153-156)는 특정 시점 방향에 대한 비디오를 수신할 것을 요청할 수 있다. 클라이언트 상호 작용 핸들러(228)는 그 요청에 기초하여 어느 단일 시점 비디오 스트림을 전송할지를 결정하도록 구성된다. 클라이언트(153-156)는 또한 다 시점 비디오 스트림을 수신할 것을 요청할 수 있다. 이에 응답하여, 클라이언트 상호 작용 핸들러(228)는 다 시점 비디오 인코더(227)와 상호 작용하여 요청된 다 시점 비디오 스트림을 생성하고 그 스트림을 클라이언트에 제공할 수 있다. 스트림이 이미 생성되어 있고 이용 가능하다면, 클라이언트 상호 작용 핸들러(228)는 또한 버퍼로부터 다 시점 비디오 스트림을 제공할 수도 있다.
도 3은 비디오 배달 시스템에 의하여 생성된 예시적인 단일 시점 비디오 스트림들(301-304)을 도시한다. 단일 시점 스트림들(301-304)은 네 개의 서로 다른 시점 방향에 해당한다. 각 단일 시점 스트림(301-304)은 도 3에서 시간적으로 동기되어 배열되어 있는 복수의 프레임을 포함한다. 각 프레임은 fn(i) 로 라벨이 붙여지는데, 여기서 n은 시점 방향을 나타내고 i는 시간 인덱스를 나타낸다.
단일 시점 비디오 스트림(301-304)은 통상적으로 비디오 서버에 의해 클라이언트에 제공된다. 대역 폭 제한 때문에, 비디오 서버가 주어진 시간에 오직 하나의 단일 시점 비디오 스트림만을 클라이언트에 제공할 수 있을 수도 있다. 비디오 서버는 클라이언트가 어느 비디오 스트림을 수신할지 선택하는 것을 가능하게 할 수 있다. 예를 들어, 클라이언트는 제1 시점 방향과 연관된 단일 시점 비디오 스트림(301)을 수신하는 중일 수 있고, 지시선(315)으로 표시된 바와 같이 제2 시점 방향으로 전환할 것을 선택할 수 있다. 이에 응하여, 비디오 서버는 단일 시점 비디오 스트림(302)을 클라이언트에 제공할 수 있다. 이후에, 클라이언트는 지시선(316)으로 표시된 바와 같이 제4 시점 방향으로 전환할 것을 선택할 수 있고 비디오 스트림(304)이 제공될 수 있다.
도 4는 순간 고정 효과와 연관된 다 시점 비디오 스트림의 일 예를 도시한다. 순간 고정 효과를 갖춘 비디오 스트림에서, 시간은 고정되고 시점 방향은 주어진 지점에 대하여 회전한다. 도 4에 도시된 예시에 대하여, 순간 고정 효과를 갖춘 다 시점 비디오 스트림(401)은 프레임 f1(3), f2(3), f3(3) 및 f4(3)를 포함한 다. 따라서, 비디오 서버는 시간 적으로 동일한 순간에 해당하는 서로 다른 단일 시점 스트림으로부터 얻은 프레임을 갖는 다 시점 비디오 스트림(401)을 생성한다. 도 4에 도시된 바와 같이 프레임은 식별되며 새로운 비디오 스트림(401)으로 인코딩된다. 비디오 서버는 비디오 스트림(301-304)을 디코딩하여 프레임 f1(3), f2(3), f3(3) 및 f4(3)에 대한 전체 데이터를 획득하여야한다.
도 5는 시점 스위핑 효과와 연관된 다 시점 비디오 스트림의 일 예를 도시한다. 시점 스위핑 효과를 갖춘 비디오 스트림에서, 시간이 흐름에 따라 비디오는 인접한 시점 방향을 거치면서 스윕(sweep)한다. 따라서, 시점 스위핑 기능을 갖춘 비디오 스트림에서는 서로 다른 방향의 시점에서 진행중인 사건을 시청하는 것이 가능하다. 도 5에 도시된 예시에서, 다 시점 비디오 스트림(501)은 프레임 f1(1), f2(2), f3(3) 및 f4(4)를 포함한다. 따라서, 비디오 서버는 진행 중인 시간 인덱스에 해당하는 서로 다른 스트림으로부터 나온 프레임을 갖는 다 시점 비디오 스트림(401)을 생성한다.
(위에서 기술한 효과와 같은) 다 시점 비디오를 통신 채널을 통해 단말 사용자에게 제공할 때, 대역 폭 제한이 어려운 문제가 될 수 있다. 다 시점 비디오 클립은 상당한 양의 데이터를 포함하며 전체 다 시점 비디오를 단말 사용자에게 배달하기에 통신 대역 폭이 충분하지 않을 수 있다. 예시적인 구현에서, 다 시점 비디오 스트림을 구성하고 배달하는데 비디오 서버가 사용된다. 서버 측에서, 단일 시 점 비디오 스트림 및 다 시점 비디오 스트림이 준비된다. Vn(1 <= n <= N)로 표시되는, 전통적인 단일 시점 비디오 스트림은:
Vn = {fn(1), fn(2), fn(3), ...}
으로 표현되는데, 여기서 fn(i)는 n번째 시점 방향의 i번째 프레임을 표시한다. 각 Vn은 움직임 보상 비디오 인코더(motion-compensated video encoder)에 의해 독립적으로 (즉, IPPP 포맷으로, 여기서 I는 I 프레임을 나타내고 P는 P 프레임을 나타냄) 압축될 수 있다.
다 시점 비디오 스트림은, 각각 순간 고정 효과 및 시점 스위핑 효과를 제공하는 순간 고정 스트림 F 및 시점 스위핑 스트림 S와 같은, 시각적 효과를 갖춘 비디오 스트림을 포함할 수 있다. 각 스트림은 다수의 스냅샷을 포함할 수 있는데:
F = {F(1), F(2), F(3), ... }
S = {S(1), S(2), S(3), ... }
여기서 각 스냅샷은 서로 다른 시점 방향에서 얻은 N 개의 프레임을 포함한다.
F(i) = {f1(i), f2(i), ..., fN(i)}
S(i) = {f1(i), f2(i+1), ..., fN(i+N-1)}
Vn에서 F 및 S의 해당 프레임이 이미 압축되어 있어도, F(i) 및 S(i)를 형성하는데 프레임을 직접 사용하지 못할 수 있다. 예를 들어, Vn은 일시적 예상 방식으로(in temporally predictive manner) 인코딩될 수 있고, 따라서 일정한 P 프레 임을 디코딩하는데 최근의 I 프레임까지의 종속 프레임(dependent frame)이 필요할 수 있다. 또한, 이런 모든 프레임이 다른 프레임에 의존하지 않는 I 프레임으로 인코딩된다고 하여도, 압축 효율이 매우 낮을 수 있다. 이런 문제를 해결하기 위하여, 비디오 서버는 프레임을 다 시점 비디오 스트림으로 재인코딩할 수 있다.
F(i) 또는 S(i)의 프레임들은 동일 사건을 다른 시점 방향에서 캡처한 것이기 때문에, 프레임들은 서로 높은 상관 관계를 가진다. 장면 상관 관계를 활용하기 위하여, 동일한 스냅샷의 프레임들이 재인코딩된다. 한 예시적인 구현에서, 전통적인 움직임 보상 비디오 인코딩이 사용된다. 예를 들어, 제1 프레임(f1(i))은 I 프레임으로 인코딩될 수 있고, 후속적인 N-1 개의 프레임들은 i-1번째 프레임으로부터 예상된 P 프레임으로 인코딩될 수 있다. 이 구현에서는 장면 상관 관계를 사용함에 따라 더 높은 코딩 효율을 얻을 수 있다. 또한, 각 스냅샷이 상이한 스냅샷의 다른 프레임으로부터 예상되지 않고 개별적으로 인코딩되기 때문에, 각 스냅샷은 다른 스냅샷에 대한 정보 없이 독립적으로 디코딩될 수 있다. 이 구현에서 스냅샷 처리가 간단해지고 디코딩 대기 시간이 감소 된다. 나아가, 스냅샷을 인코딩하는데 전통적인 압축 알고리즘(예를 들어, MPEG과 같은 움직임 보상 비디오 압축 알고리즘)이 사용된다면, 디코더는 비트 스트림을 어떤 종류의 효과를 제공하는지에 상관없이 동일한 포맷의 단일 비디오 스트림으로 취급할 수 있다. 이런 특징은 셋탑 박스와 같은 다수의 단말 장치 내의 디코더와 호환 가능하다는 장점이 있다.
단일 시점 비디오가 사전 캡처된다면, 다 시점 스냅샷은 오프라인으로 처리될 수 있다. 반면에 단일 시점 비디오가 실시간으로 캡처된다면, 아마도 스냅샷의 일부분만이 처리될 수 있을 것이다. 이는 스냅샷 F(i) 및 S(i)를 재인코딩하는데 연산이 필요하고, 현재 단계에서 서버의 연산 리소스가 제한되어 있어서 비디오 서버가 모든 스냅샷을 처리하는 것이 어렵기 때문이다. 그러나, 하드웨어 성능이 향상됨에 따라, 이런 제한은 자연히 사라질 것이다. 나아가, 사용자가 모든 스냅샷에 관심이 있는 것이 아니기 때문에, 모든 다 시점 스냅샷을 스트림 F 또는 S에 포함시킬 필요가 없을 수도 있다. 상기의 이유 때문에, 스냅샷은 서브 샘플링될 수 있다. 한 예시적인 구현에서, 스냅샷은, 예컨대 15 프레임 같은 사전 정의된 간격으로 생성될 수 있다. 따라서, 서브 샘플링된 F 또는 S는 다음과 같다.
F = { ..., F(i-15), F(i), F(i+15), ... }
S = { ..., S(i-15), S(i), S(i+15), ... }
스트림을 구성한 후에, 스트림 Vn, F 및 S는 쌍방향 배달(interactive delivery)에 사용될 수 있다. 일 예에서, 네트워크 지연 시간을 보상하기 위하여, 비디오 서버는 서브 샘플링된 F 및 S를 일정 길이의 시간만큼 버퍼링할 수 있다. 어떤 사용자가 비디오 서버에 가입하면, 다 시점 비디오 서비스가 제공될 수 있다. 일반적으로, 처음에 사용자는 N 개의 시점 방향 중 가장 선호되는 기본 시점 방향을 보게될 것이다. 그리고 나서 사용자는 클라이언트 재생기를 제어함으로써 다른 시점 방향으로 전환하거나, 순간 고정 효과 또는 시점 스위핑 효과를 즐길 수 있 다.
시점 전환 명령이 수신되면, 서버는 새로운 시점 방향의 다음 I 프레임이 도달할 때까지 현재 시점 방향의 비디오 스트림을 전송하는 것을 계속한다. I 프레임의 도달 후에, 비디오 서버는 그 I 프레임에서부터 시작하는 새로운 시점 방향의 비디오 스트림을 전송할 수 있다. 순간 고정 또는 시점 스위핑 명령이 수신되면, 서버는 버퍼링된 F 또는 S 스트림으로부터 적절한 스냅샷 F(i) 또는 S(i)를 선정한다. 예를 들어, 명령 생성 시간에 근접한 타임 스탬프를 갖는 스냅샷이 적절한 스냅샷일 수 있다. 선정된 스냅샷은 즉시 전송될 수 있다. 스냅샷을 전송한 후에, 서버는 일반적으로 현재 시점 방향의 비디오 스트림을 전송할 수 있다.
도 6은 다 시점 비디오를 시청하기 위한 예시적인 사용자 인터페이스(600)를 도시한다. 사용자 인터페이스(600)는 비디오 서버와 상호 작용하는 클라이언트 상의 애플리케이션에 의하여 제공될 수 있다. 도 6에 도시된 바와 같이, 사용자 인터페이스(600)는 비디오 서버에 의해 제공된 비디오 스트림을 표시하는 디스플레이 영역(602)을 포함한다. 사용자 인터페이스(600)는 또한 비디오 스트림의 재생을 제어하기 위한 트리거(603)를 포함한다. 시점 방향 선택기(606)는 사용자가 비디오의 시점 방향을 선택하는 것을 가능하게 해준다. 특히, 애플리케이션은 선택된 시점 방향에 해당하는 비디오 스트림을 요청하고 디스플레이하도록 구성된다. 효과 선택기(607)는 사용자가 다 시점 비디오를 수신할 것을 선택할 수 있게 해준다. 애플리케이션은, 예컨대 순간 고정 효과 및 시점 스위핑 효과와 같은 선택된 효과에 해당하는 비디오 스트림을 요청하고 디스플레이하도록 구성된다.
도 7은 예시적인 순간 고정 다 시점 비디오 스트림의 프레임(700)을 도시한다. 도 7에 도시된 바와 같이 프레임들은 시간적으로 특정한 순간에 연관되고 서로 다른 시점 방향에서의 이미지를 포함한다.
도 8은 예시적인 시점 스위핑 다 시점 비디오 스트림의 프레임(800)을 도시한다. 도 8에 도시된 바와 같이 프레임들은 서로 다른 시점 방향에서의 이미지를 포함하고 시간적으로 진행되는 서로 다른 순간에 해당한다.
도 9는 다 시점 비디오 스트림을 배달하는 예시적인 프로세스를 도시한다. 프로세스(900)는 비디오 서버에 의해 구현되어 다 시점 효과를 갖춘 비디오 스트림을 클라이언트에 제공할 수 있다. 블록(902)에서, 서로 다른 시점 방향에 대한 단일 시점 비디오 스트림이 식별된다. 블록(904)에서, 단일 시점 비디오 스트림이 시간적으로 동기된다. 블록(906)에서, 다 시점 효과와 연관된 프레임을 갖춘 새로운 비디오 스트림이 생성된다. 이 프레임은 각 단일 시점 비디오 스트림으로부터 선택된다. 다 시점 비디오 스트림을 생성하는 예시적인 프로세스는 도 10과 관련되어 설명될 것이다. 블록(908)에서, 선택된 프레임을 포함하는 새로운 비디오 스트림이 제공된다.
도 10은 다 시점 효과를 갖춘 비디오 스트림을 생성하는 예시적인 프로세스(1000)를 도시한다. 블록(1002)에서 다 시점 비디오에 대한 선택이 수신된다. 비교 판단 블록(1004)에서, 순간 고정 효과 또는 시점 스위핑 효과가 선택되었는지에 대한 판단이 내려진다. 만일 순간 고정 효과가 선택되었으면, 순간 고정할 시간을 식별하는 블록(1006)에서 프로세스(1000)가 속행될 것이다. 블록(1008)에서, 각각의 비디오 스트림 내에서 식별된 시간에 연관된 프레임이 선정된다. 블록(1010)에서, 프레임은 시점 방향 순서에 따라 배열된다. 그리고 나서 프로세스는 블록(1012)으로 이동한다.
비교 판단 블록(1004)으로 되돌아가서, 시점 스위핑 효과가 선택된 경우에, 프로세스(1000)는 개시 시간을 식별하는 블록(1022)으로 이동한다. 블록(1024)에서, 제1 시점 방향에 해당하고 비디오 스트림 내의 개시 시간에 해당하는 프레임이 선정된다. 블록(1026)에서, 비디오 스트림 내의 다른 프레임은 시간 추이 및 시점 방향의 순서에 따라 선정된다. 블록(1012)에서, 선정된 프레임은 새로운 비디오 스트림으로 인코딩된다.
도 11은 기술된 시스템 및 방법을 구현하기 위한 예시적인 컴퓨터 장치(1100)를 도시한다. 가장 기본적인 구성에서, 컴퓨팅 장치(1100)는 통상적으로 적어도 하나의 중앙 처리 장치(CPU; 1105) 및 메모리(1110)를 포함한다.
컴퓨팅 장치의 정확한 구성 및 유형에 따라서, 메모리(1110)는 (RAM과 같이) 휘발성이거나, (ROM, 플래시 메모리 등과 같이) 비휘발성이거나 또는 이 둘의 조합일 수 있다. 또한, 컴퓨팅 장치(1100)는 부가적인 특징/기능을 가질 수 있다. 예를 들어, 컴퓨팅 장치(1100)는 복수의 CPU를 포함할 수 있다. 기술된 방법은 컴퓨팅 장치(1100) 내의 임의의 처리 장치에 의해 임의의 방식으로 실행될 수 있다. 예를 들어, 기술된 프로세스는 복수의 CPU에 의해 병렬로 실행될 수 있다.
컴퓨팅 장치(1100)는 또한, 자기 또는 광 디스크 또는 테이프를 포함하지만 이에 한정되지 않는, 부가적인 (착탈식 및/또는 비착탈식) 저장 장치를 포함할 수 있다. 이런 부가적인 저장 장치는 도 11에서 저장 장치(1115)로 도시되어 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체를 포함한다. 메모리(1110) 및 저장 장치(1115)는 모두 컴퓨터 저장 매체의 예시이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하는데 사용될 수 있고 컴퓨팅 장치(1100)에 의해 액세스될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다. 이런 컴퓨터 저장 매체는 어느 것이든지 컴퓨팅 장치(1100)의 일부분일 수 있다.
컴퓨팅 장치(1100)는 또한 다른 장치와 통신하는 것을 가능하게 하는 통신 장치(들)를 포함할 수 있다. 통신 장치(들)(1140)는 통신 매체의 일 예이다. 통신 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 변조된 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터 등을 구현하고 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"라는 용어는, 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 예로서, 통신 매체는 유선 네트워크 또는 직접 배선된 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함하지만 이에 한정되지는 않는다. 여기서 사용되는 컴퓨터 판독가능 매체라는 용어는 컴퓨터 저장 매체 및 통신 매체 양쪽 모두를 포함한다. 기술된 방법은 데이터, 컴퓨터 실행가능 명령어 등과 같은 임의의 형태의 컴퓨터 판독가능 매체로 인코딩될 수 있다.
컴퓨팅 장치(1100)는 또한 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등과 같은 입력 장치(들)(1135)를 포함할 수 있다. 디스플레이, 스피커, 프린터 등과 같은 출력 장치(들)(1130) 또한 포함될 수 있다. 이들 장치들은 모두 해당 기술 분야에서 잘 알려져 있으므로 길게 설명할 필요는 없다.
당업자는 프로그램 명령어를 저장하는데 사용되는 저장 장치가 네트워크를 통해 분산될 수 있음을 깨달을 것이다. 예를 들어 원격 컴퓨터에는 소프트웨어로서 기술된 프로세스의 일 예가 저장될 수 있다. 로컬 또는 단말 컴퓨터는 원격 컴퓨터를 액세스하고 소프트웨어의 일부분 또는 전부를 다운로드하여 프로그램을 실행할 수 있다. 대안적으로 로컬 컴퓨터는 소프트웨어의 일부분을 필요에 따라 다운로드할 수 있다. 즉, 어떤 소프트웨어 명령어는 로컬 단말에서 실행하고 어떤 것은 원격 컴퓨터(또는 컴퓨터 네트워크)에서 실행함으로써 분산적으로 처리할 수 있다. 또한 당업자에게 알려진 전통적인 기법을 이용함으로써 소프트웨어 명령어의 일부분 또는 전부는 DSP, 프로그램 가능 논리 배열(programmable logic array) 등과 같은 전용 회로에 의해 실행될 수 있음을 당업자는 깨달을 것이다.

Claims (20)

  1. 장치에 의해 실행가능한 명령어들로 인코딩된 하나 이상의 장치 판독가능 매체로서,
    상기 명령어들은,
    비디오 스트림들을 식별하는 단계 - 각 비디오 스트림은 서로 다른 시점 방향(view direction)과 연관됨 - ;
    상기 식별된 비디오 스트림들 각각에서 다 시점 효과와 연관된 프레임들을 선정(determine)하는 단계; 및
    상기 선정된 프레임들로 새로운 비디오 스트림을 생성하는 단계
    를 수행하기 위한 것인, 하나 이상의 장치 판독가능 매체.
  2. 제1항에 있어서,
    상기 명령어들은,
    순간 고정 효과(frozen moment effect)와 연관된 시간을 식별하는 단계;
    상기 식별된 각 비디오 스트림 각각에서 상기 식별된 시간과 연관된 프레임들을 선정하는 단계; 및
    상기 식별된 비디오 스트림들과 연관된 시점 방향들의 순서(sequence)에 따라 상기 프레임들을 배열하는 단계; 및
    상기 배열된 프레임들을 인코딩하여 상기 새로운 비디오 스트림을 생성하는 단계
    를 더 수행하기 위한 것인, 하나 이상의 장치 판독가능 매체.
  3. 제1항에 있어서,
    상기 명령어들은,
    시점 스위핑 효과(view sweeping effect)와 연관된 개시 시간을 식별하는 단계;
    상기 개시 시간에 해당하는 프레임을 선정하는 단계 - 상기 프레임은 제1 시점 방향에 해당하는 비디오 스트림 내에 있음 -;
    다른 식별된 비디오 스트림들 내의 다른 프레임들을 시간 추이 및 상기 시점 방향들의 순서에 따라 선정하는 단계; 및
    상기 선정된 프레임들을 인코딩하여 상기 새로운 비디오 스트림을 생성하는 단계
    를 더 수행하기 위한 것인, 하나 이상의 장치 판독가능 매체.
  4. 제1항에 있어서,
    상기 다 시점 비디오 스트림은 스냅샷 또는 비디오 클립 중 적어도 하나로서 생성되는, 하나 이상의 장치 판독가능 매체.
  5. 제1항에 있어서,
    상기 명령어들은,
    상기 식별된 비디오 스트림들 중 적어도 하나를 클라이언트에 제공하는 단계; 및
    다 시점 효과를 갖춘 비디오를 수신하려는 요청에 응답하여, 상기 적어도 하나의 식별된 비디오 스트림 대신 상기 새로운 비디오 스트림을 클라이언트에 제공하고, 상기 새로운 비디오 스트림이 상기 클라이언트에 제공되었을 때 상기 적어도 하나의 식별된 비디오 스트림의 제공을 계속하는 단계
    를 더 수행하기 위한 것인, 하나 이상의 장치 판독가능 매체.
  6. 제1항에 있어서,
    상기 명령어들은,
    상기 클라이언트로의 상기 새로운 비디오 스트림을 서브 샘플링하는 단계;
    상기 새로운 비디오 스트림을 버퍼링하는 단계; 및
    상기 새로운 비디오 스트림을 상기 클라이언트에 실시간으로 제공하는 단계
    를 더 수행하기 위한 것인, 하나 이상의 장치 판독가능 매체.
  7. 제1항에 있어서,
    상기 명령어들은,
    상기 식별된 비디오 스트림들을 디코딩하여 상기 선정된 프레임들과 연관된 데이터를 획득하는 단계; 및
    상기 프레임들을 상기 새로운 비디오 스트림으로 재인코딩하는 단계
    를 더 수행하기 위한 것인, 하나 이상의 장치 판독가능 매체.
  8. 비디오 스트림을 제공하기 위한 시스템으로서,
    비디오 데이터를 생성하도록 구성된 캡처 장치들 - 각각의 캡처 장치는 특정 시점 방향과 연관됨 - ; 및
    클라이언트들에 단일 시점 비디오 스트림들을 제공하도록 구성된 서버를 포함하고,
    상기 단일 시점 비디오 스트림들은 상기 캡처 장치들에 의해 생성된 상기 비디오 데이터를 포함하고, 또한 상기 서버는 각각의 단일 시점 비디오 스트림 내의 다 시점 효과와 연관된 프레임들을 식별하고 상기 프레임들을 새로운 비디오 스트림으로 인코딩하도록 구성된, 시스템.
  9. 제8항에 있어서,
    상기 서버는 다 시점 효과를 갖춘 비디오를 수신하려는 요청에 응답하여 상기 클라이언트들 중 적어도 하나에 상기 새로운 비디오 스트림을 제공하고 상기 다 시점 효과를 갖춘 상기 새로운 비디오 스트림이 전송된 후에 상기 적어도 하나의 클라이언트에 단일 시점 비디오 스트림을 제공하는 것을 계속하도록 더 구성된, 시스템.
  10. 제8항에 있어서,
    상기 새로운 비디오 스트림은 순간 고정 효과 또는 시점 스위핑 효과 중 적어도 하나를 포함하는, 시스템.
  11. 제8항에 있어서,
    상기 서버는 상기 다 시점 효과를 갖춘 상기 새로운 비디오 스트림을 연속적으로 생성하고 버퍼링하며 상기 클라이언트들 중 적어도 하나로부터의 요청에 응답하여 상기 버퍼로부터 상기 새로운 비디오 스트림을 실시간으로 제공하도록 더 구성된, 시스템.
  12. 제8항에 있어서,
    상기 새로운 비디오 스트림은 스냅샷 또는 비디오 클립 중 적어도 하나인, 시스템.
  13. 제8항에 있어서,
    상기 캡처 장치들과 상호 작용하도록 구성된 제어 장치들을 더 포함하고, 또한 상기 제어 장치들 각각은 상기 캡처 장치들 중 적어도 하나에 의해 생성된 비디오 데이터를 처리하도록 구성되며, 상기 제어 장치들은 상기 비디오 데이터를 상기 단일 시점 비디오 스트림들로 인코딩하고 상기 서버에 상기 단일 시점 비디오 스트림들을 제공하도록 더 구성된, 시스템.
  14. 제13항에 있어서,
    상기 제어 장치들은 위치, 방향, 포커스, 구경(aperture), 프레임 속도 및 해상도 중 적어도 하나를 포함하는 동작 파라미터를 제어하도록 더 구성된, 시스템.
  15. 제8항에 있어서,
    상기 제어 장치들은 상기 서버로부터의 요청에 응답하여 상기 캡처 장치들에 상기 동작 파라미터에 대한 값을 지정하도록 더 구성된, 시스템.
  16. 단일 시점 비디오 스트림들을 획득하기 위한 수단 - 각각의 단일 시점 비디오 스트림은 서로 다른 시점 방향에 해당함 - ;
    상기 단일 시점 비디오 스트림들 내의 프레임들로부터 다 시점 비디오 스트림을 생성하기 위한 수단 - 상기 프레임들은 다 시점 효과에 해당함 - ; 및
    클라이언트로부터의 요청에 응답하여 상기 다 시점 비디오 스트림 및 상기 단일 시점 비디오 스트림들 중 적어도 하나를 쌍방향 식으로(interactively) 배달하기 위한 수단
    을 포함하는 장치.
  17. 제16항에 있어서,
    상기 다 시점 비디오 스트림을 서브 샘플링하기 위한 수단; 및
    상기 단일 시점 비디오 스트림들 및 상기 다 시점 비디오 스트림을 상기 클라이언트의 선택에 기초하여 상기 클라이언트에 실시간으로 배달하기 위한 수단
    을 더 포함하는 장치.
  18. 제16항에 있어서,
    상기 프레임들을 상기 다 시점 비디오 스트림으로 재인코딩하기 위한 수단을 더 포함하는 장치.
  19. 제16항에 있어서,
    상기 단일 시점 비디오 스트림들로부터 순간 고정 효과를 위한 프레임들을 선택하기 위한 수단을 더 포함하는 장치.
  20. 제16항에 있어서,
    상기 단일 시점 비디오 스트림들로부터 시점 스위핑 효과를 위한 프레임들을 선택하기 위한 수단을 더 포함하는, 장치.
KR1020087010558A 2005-11-04 2006-11-01 다 시점 비디오 배달 KR20080064966A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/267,768 2005-11-04
US11/267,768 US20070103558A1 (en) 2005-11-04 2005-11-04 Multi-view video delivery

Publications (1)

Publication Number Publication Date
KR20080064966A true KR20080064966A (ko) 2008-07-10

Family

ID=38003337

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087010558A KR20080064966A (ko) 2005-11-04 2006-11-01 다 시점 비디오 배달

Country Status (5)

Country Link
US (1) US20070103558A1 (ko)
EP (1) EP1949681A4 (ko)
KR (1) KR20080064966A (ko)
CN (1) CN101300840A (ko)
WO (1) WO2007056048A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210098729A (ko) * 2020-02-03 2021-08-11 주식회사 엘지유플러스 복수의 시점들에 대한 동영상 출력 방법 및 장치

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101139454B1 (ko) * 2006-07-14 2012-04-30 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
KR101366092B1 (ko) * 2006-10-13 2014-02-21 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US20080178232A1 (en) * 2007-01-18 2008-07-24 Verizon Data Services Inc. Method and apparatus for providing user control of video views
US8599253B2 (en) * 2007-04-03 2013-12-03 Hewlett-Packard Development Company, L.P. Providing photographic images of live events to spectators
US8548261B2 (en) 2007-04-11 2013-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
WO2008143747A2 (en) * 2007-05-16 2008-11-27 Thomson Licensing Methods and apparatus for the use of slice groups in decoding multi-view video coding (mvc) information
US20100079585A1 (en) * 2008-09-29 2010-04-01 Disney Enterprises, Inc. Interactive theater with audience participation
EP2332337A4 (en) * 2008-10-07 2014-01-01 Ericsson Telefon Ab L M MEDIA CONTAINER FILE
US8767081B2 (en) * 2009-02-23 2014-07-01 Microsoft Corporation Sharing video data associated with the same event
US8179427B2 (en) 2009-03-06 2012-05-15 Disney Enterprises, Inc. Optical filter devices and methods for passing one of two orthogonally polarized images
CN101600099B (zh) * 2009-04-09 2010-12-01 上海交通大学 多视角视频码流的实时传输同步控制方法
CN101540652B (zh) * 2009-04-09 2011-11-16 上海交通大学 多视角视频码流的终端异构自匹配传输方法
CN101998116A (zh) * 2009-08-31 2011-03-30 中国移动通信集团公司 一种多视角视频业务的实现方法、系统和设备
WO2011085812A1 (en) * 2010-01-14 2011-07-21 Telefonaktiebolaget L M Ericsson (Publ) Provision of a freeze-and-view-around effect at the user device
CN102014280A (zh) * 2010-12-22 2011-04-13 Tcl集团股份有限公司 一种多视点视频节目传输方法及系统
CN102595111A (zh) * 2011-01-11 2012-07-18 中兴通讯股份有限公司 一种多视角编码码流的传输方法、装置和系统
WO2012145317A1 (en) * 2011-04-18 2012-10-26 Eyesee360, Inc. Apparatus and method for panoramic video imaging with mobile computing devices
KR101784316B1 (ko) * 2011-05-31 2017-10-12 삼성전자주식회사 멀티 앵글 방송 서비스 제공 방법 및 이를 적용한 디스플레이 장치, 모바일 기기
JP2012257021A (ja) * 2011-06-08 2012-12-27 Sony Corp 表示制御装置および方法、プログラム、並びに記録媒体
US20130167016A1 (en) * 2011-12-21 2013-06-27 The Boeing Company Panoptic Visualization Document Layout
US9577974B1 (en) * 2012-02-14 2017-02-21 Intellectual Ventures Fund 79 Llc Methods, devices, and mediums associated with manipulating social data from streaming services
US8787726B2 (en) 2012-02-26 2014-07-22 Antonio Rossi Streaming video navigation systems and methods
EP2637416A1 (en) * 2012-03-06 2013-09-11 Alcatel Lucent A system and method for optimized streaming of variable multi-viewpoint media
TW201349848A (zh) * 2012-05-22 2013-12-01 Chunghwa Telecom Co Ltd 多視角互動電視之影音串流方法
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US20180227501A1 (en) * 2013-11-05 2018-08-09 LiveStage, Inc. Multiple vantage point viewing platform and user interface
KR20150072231A (ko) * 2013-12-19 2015-06-29 한국전자통신연구원 멀티 앵글 뷰 서비스 제공 장치 및 방법
DE202014010773U1 (de) 2014-03-05 2016-08-11 Dirk Blanke Transportable Bildaufnahmeeinrichtung zum Erzeugen einer Bildserie für eine Multi-Perspektiven-Ansicht
TWI505113B (zh) * 2014-03-18 2015-10-21 Vivotek Inc 監視系統及其影像搜尋方法
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US9667885B2 (en) * 2014-12-12 2017-05-30 Futurewei Technologies, Inc. Systems and methods to achieve interactive special effects
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US9554160B2 (en) * 2015-05-18 2017-01-24 Zepp Labs, Inc. Multi-angle video editing based on cloud video sharing
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
DE102017009149A1 (de) * 2016-11-04 2018-05-09 Avago Technologies General Ip (Singapore) Pte. Ltd. Aufzeichnung und Wiedergabe von 360-Grad-Videos mit Objektverfolgung
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10616551B2 (en) 2017-01-27 2020-04-07 OrbViu Inc. Method and system for constructing view from multiple video streams
CN108513096B (zh) * 2017-02-27 2021-09-14 中国移动通信有限公司研究院 信息传输方法、代理服务器、终端设备以及内容服务器
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
EP3621309A4 (en) * 2017-06-29 2020-12-02 4DReplay Korea, Inc. MULTI-CHANNEL IMAGE TRANSMISSION SYSTEM, ASSOCIATED CONTROL PROCESS AND MULTI-CHANNEL IMAGE READING METHOD AND APPARATUS
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
KR102362513B1 (ko) * 2017-12-04 2022-02-14 주식회사 케이티 타임 슬라이스 영상을 생성하는 서버, 방법 및 사용자 단말
CN108184126A (zh) * 2017-12-27 2018-06-19 生迪智慧科技有限公司 快照图像的视频编码及解码方法、编码器及解码器
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
JP7418101B2 (ja) * 2019-07-26 2024-01-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN114697690A (zh) * 2020-12-30 2022-07-01 光阵三维科技有限公司 由组合传送的多个串流取出特定串流播放的系统及方法
CN113382267B (zh) * 2021-05-10 2023-08-08 北京奇艺世纪科技有限公司 视角切换方法、装置、终端及存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7079176B1 (en) * 1991-11-25 2006-07-18 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US6445738B1 (en) * 1996-04-25 2002-09-03 Opentv, Inc. System and method for creating trick play video streams from a compressed normal play video bitstream
CN1224258C (zh) 1997-09-04 2005-10-19 赛德娜专利服务有限责任公司 通过计算机网络对包含图象校正的图象访问与控制的装置
US6301428B1 (en) * 1997-12-09 2001-10-09 Lsi Logic Corporation Compressed video editor with transition buffer matcher
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
US6385771B1 (en) * 1998-04-27 2002-05-07 Diva Systems Corporation Generating constant timecast information sub-streams using variable timecast information streams
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US7339993B1 (en) * 1999-10-01 2008-03-04 Vidiator Enterprises Inc. Methods for transforming streaming video data
WO2001072052A2 (en) * 2000-03-24 2001-09-27 Reality Commerce Corporation Method and apparatus for parallel multi-viewpoint video capturing and compression
US20020089587A1 (en) * 2000-05-18 2002-07-11 Imove Inc. Intelligent buffering and reporting in a multiple camera data streaming video system
WO2002007440A2 (en) * 2000-07-15 2002-01-24 Filippo Costanzo Audio-video data switching and viewing system
EP1307867B1 (en) * 2000-07-26 2010-06-23 Smiths Detection Inc. Methods and systems for networked camera control
US20020190991A1 (en) * 2001-05-16 2002-12-19 Daniel Efran 3-D instant replay system and method
US20050005308A1 (en) * 2002-01-29 2005-01-06 Gotuit Video, Inc. Methods and apparatus for recording and replaying sports broadcasts
JP4409792B2 (ja) * 2001-06-22 2010-02-03 ソニー株式会社 データ伝送装置および方法、記録媒体並びにプログラム
US20030039471A1 (en) * 2001-08-21 2003-02-27 Hashimoto Roy T. Switching compressed video streams
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
KR100475060B1 (ko) 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
EP1557038A4 (en) * 2002-10-30 2009-05-13 Nds Ltd INTERACTIVE DIFFUSION SYSTEM
US20040263626A1 (en) * 2003-04-11 2004-12-30 Piccionelli Gregory A. On-line video production with selectable camera angles
WO2005022795A2 (en) * 2003-08-29 2005-03-10 Rgb Networks, Inc. Advanced, self-balancing video multiplexer system
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
US7444664B2 (en) * 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
DE602005007361D1 (de) * 2004-08-17 2008-07-17 Koninkl Philips Electronics Nv Ansichtsmoduserkennung
EP1804232A4 (en) * 2004-10-20 2012-03-28 Fujitsu Ten Ltd DISPLAY DEVICE, PICTURE QUALITY SETTING METHOD FOR DISPLAY DEVICE, IMAGE QUALITY ADJUSTMENT DEVICE AND CONTRAST ADJUSTING DEVICE
US8614732B2 (en) * 2005-08-24 2013-12-24 Cisco Technology, Inc. System and method for performing distributed multipoint video conferencing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210098729A (ko) * 2020-02-03 2021-08-11 주식회사 엘지유플러스 복수의 시점들에 대한 동영상 출력 방법 및 장치

Also Published As

Publication number Publication date
EP1949681A4 (en) 2010-04-28
WO2007056048A1 (en) 2007-05-18
US20070103558A1 (en) 2007-05-10
CN101300840A (zh) 2008-11-05
EP1949681A1 (en) 2008-07-30

Similar Documents

Publication Publication Date Title
KR20080064966A (ko) 다 시점 비디오 배달
US10123070B2 (en) Method and system for central utilization of remotely generated large media data streams despite network bandwidth limitations
TWI596933B (zh) 用於快速切換的編碼解碼器技術
JP5770345B2 (ja) ビデオデータをストリーミングするためのビデオ切替え
JP7249946B2 (ja) ライブビデオ放送の制作用のメディアコンテンツのキャプチャを制御するシステム及び方法
JP5029062B2 (ja) 多視点動画像伝送システム
US9848212B2 (en) Multi-view video streaming with fast and smooth view switch
US20090300692A1 (en) Systems and methods for video streaming and display
JP2013537763A (ja) ネットワークストリーミングされるビデオデータについての属性をシグナリングすること
WO2020228482A1 (zh) 视频处理方法、装置及系统
US20140294080A1 (en) Image processing device, image processing method, and computer program
JP2003158731A (ja) 映像配信システムとカメラ端末及び受信端末
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
KR20170070111A (ko) 비디오 출력 데이터 스트림을 생성하기 위한 장치, 비디오 소스, 비디오 시스템 및 비디오 출력 데이터 스트림 및 비디오 소스 데이터 스트림을 생성하기 위한 방법
JP6541932B2 (ja) 画像データを表示するためのビデオシステム及び方法及びコンピュータプログラムならびに符号化装置
JP2007158778A (ja) トリック再生用コンテンツ作成方法および装置、トリック再生用圧縮動画データ送出方法および装置、およびトリック再生用コンテンツ作成用プログラム
Cheung et al. Bandwidth-efficient interactive multiview live video streaming using redundant frame structures
Xiu et al. Optimizing frame structure for interactive multiview video streaming with viewsynthesis
JP7463614B2 (ja) ビューポート変化に基づくデュアルストリーム動的ｇｏｐアクセス
JP2008270939A (ja) 動画像配信システム並びにサーバー装置及びクライアント装置
KR20230103789A (ko) 다채널 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템
JP5359724B2 (ja) ストリーミング配信システム、サーバ装置、ストリーミング配信方法及びプログラム
KR101336820B1 (ko) 다채널 트릭 모드에 특화된 복호화 장치 및 방법
KR101521890B1 (ko) 다시점 비디오 스트리밍 시스템 및 그 제공방법
KR101609798B1 (ko) 동영상 판독 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid