KR101350915B1 - Multi-view video steaming system and providing method thereof - Google Patents
Multi-view video steaming system and providing method thereof Download PDFInfo
- Publication number
- KR101350915B1 KR101350915B1 KR1020130074146A KR20130074146A KR101350915B1 KR 101350915 B1 KR101350915 B1 KR 101350915B1 KR 1020130074146 A KR1020130074146 A KR 1020130074146A KR 20130074146 A KR20130074146 A KR 20130074146A KR 101350915 B1 KR101350915 B1 KR 101350915B1
- Authority
- KR
- South Korea
- Prior art keywords
- bulk
- stream
- view video
- video streaming
- individual
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
본 발명은 다시점 비디오 스트리밍 시스템 및 그 제공방법에 관한 것이다. 보다 상세하게는 본 발명은 다시점 비디오를 스트리밍하는데 필요한 대역폭을 줄이면서도 시점(view point) 이동 시에 화면의 끊김을 방지할 수 있는 다시점 비디오 스트리밍 시스템 및 그 제공방법에 관한 것이다.
The present invention relates to a multi-view video streaming system and a method for providing the same. More particularly, the present invention relates to a multi-view video streaming system and a method of providing the multi-view video streaming system capable of preventing screen breakage at the time of moving a view point while reducing bandwidth required for streaming multi-view video.
디지털 시대가 도래함에 따라 다양한 멀티미디어 기술들이 급속히 발전하고 있으며, 이를 바탕으로 한 디지털 콘텐츠 시장도 해마다 그 규모가 괄목할 정도로 성장하고 있다. 이러한 흐름과 함께 디지털 영상 분야에서는 실감미디어에 대한 관심이 높아지고 있다. 최근에는 이러한 실감미디어의 하나로 다시점 비디오(multi-view video)에 대한 연구가 활발히 진행되고 있다.With the advent of the digital age, various multimedia technologies are rapidly evolving, and the digital contents market based on this is growing year by year. Along with this trend, interest in realistic media is increasing in digital image field. In recent years, multi-view video has been actively studied as one of such realistic media.
통상적인 다시점 비디오 시스템에서는 다시점 카메라를 이용하여 하나의 장면에 대한 여러 시점의 비디오를 촬영하고, 촬영된 영상의 효과적인 전송을 위하여 다시점 비디오 부호화를 수행한다. 수신단에서는 전송된 압축 비트 스트림(bit stream)에서 다시점 영상을 다시 복호하고, 복호된 다시점 영상을 이용하여 시청자의 요구에 따라 다양한 응용 서비스를 제공한다.In a conventional multi-view video system, multi-view video of one scene is captured using a multi-view camera, and multi-view video encoding is performed for effective transmission of the captured image. At the receiving end, the multi-view video is decoded again in the transmitted bit stream, and various application services are provided according to the viewer's request using the decoded multi-view video.
도 1은 이러한 종래의 다시점 비디오 스트리밍 시스템을 설명하기 위한 도면이다. 도 1에 도시된 바와 같이, 종래의 다시점 비디오 스트리밍 시스템에서는 다수의 카메라(10)에 의해 촬영된 개별 시점 영상이 다시점 영상 부호화부(20)에 의해 부호화/다중화되어 다시점 비디오 파일(31)이 생성되며, 다시점 비디오 스트리밍 서버(30)는 생성된 다시점 비디오 파일(31)을 사용자 단말(40)으로 스트리밍할 수 있다. 한편, 사용자 단말(40)에 포함되어 있는 다시점 영상 복호화부(41)는 스트리밍되는 다시점 동영상 스트림을 역다중화/복호화하여 개별 시점 비디오 스트림으로 분리할 수 있으며, 시점 선택부(42)는 사용자가 원하는 시점의 비디오 스트림을 선택하여 선택된 개별 시점 비디오 스트림을 디스플레이 장치(50)에 출력할 수 있다.FIG. 1 is a diagram for explaining such a conventional multi-view video streaming system. 1, in the conventional multi-view video streaming system, the individual view images captured by the plurality of
이와 같이 다수의 카메라(10)에서 획득한 모든 시점의 영상을 사용자에게 제공할 경우, 사용자가 원하는 시점의 영상과 함께 사용자가 원하지 않는 영상도 전송되기 때문에 제한적인 대역폭을 가지고 있는 전송 환경 하에서는 다시점 비디오 스트리밍이 제공되기 어려우며, 초기 버퍼링 시간이 매우 길어지고 전송되는 데이터 대비 사용되는 콘텐츠의 사용 효율이 매우 낮다는 문제점이 있다.
When an image of all viewpoints acquired by the plurality of
본 발명은 상기 종래 기술의 제문제를 해결하고자 안출된 발명으로써, 본 발명은 다시점 동영상에 포함된 각 개별 시점 비디오를 모두 스트리밍하는 것이 아니라, 그 중 일부만을 스트리밍하여 스트리밍에 필요한 대역폭을 줄을 수 있으면서도 시점 전환 시에 끊김 현상을 방지할 수 있는 다시점 비디오 스트리밍 시스템 및 그 방법을 제공하는 것이다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the prior art, and it is an object of the present invention to reduce the bandwidth required for streaming by streaming only a part of each individual viewpoint video included in multi- Point video streaming system and a method thereof, which can prevent a break-up phenomenon at the time of switching of viewpoint.
본 발명의 일 측면에 따르면, (a) 다시점 비디오 스트리밍 시스템이, 다시점 비디오(multi-view video)를 구성하며 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 복수의 벌크 데이터에 분할하여 저장하고, 벌크 데이터 단위로 스트리밍하는 다시점 비디오 스트리밍 서버로부터 상기 복수의 벌크 데이터 중 제1 벌크 데이터에 상응하는 제1 벌크 스트림을 수신하는 단계-여기서, 하나의 벌크 데이터는 복수의 서로 인접한 개별 시점 비디오를 포함함- 및 (b) 상기 다시점 비디오 스트리밍 시스템이, 상기 제1 벌크 스트림에 포함된 제1 개별 시점 비디오 스트림을 사용자 단말에 디스플레이하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법이 제공된다.According to an aspect of the present invention, (a) a multi-view video streaming system configures a multi-view video and stores a plurality of individual view videos captured at different points of view in a plurality of bulk data. And receiving a first bulk stream corresponding to a first bulk data of the plurality of bulk data from a multi-view video streaming server that streams in bulk data units, wherein one bulk data is a plurality of adjacent individual viewpoint video. And (b) the multiview video streaming system displaying the first individual view video stream included in the first bulk stream on a user terminal. .
일 실시예에서, 상기 다시점 비디오 스트리밍 시스템 제공방법은, (c) 상기 다시점 비디오 스트리밍 시스템이, 상기 제1개별 시점 비디오 스트림을 디스플레이하는 중에 시점이동명령을 인식하는 단계, (d) 상기 다시점 비디오 스트리밍 시스템이, 상기 시점이동명령에 응답하여, 상기 제1 개별 시점 비디오 스트림과 인접한 제2 개별 시점 비디오 스트림을 상기 사용자 단말에 디스플레이하는 단계, (e) 상기 다시점 비디오 스트리밍 시스템이, 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번에 기초하여 상기 제1 벌크 스트림과 인접한 제2 벌크 스트림의 요청 여부를 판단하는 단계 및 (f) 상기 다시점 비디오 스트리밍 시스템이, 상기 제2벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 다시점 비디오 스트리밍 서버로 상기 제2벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버로부터 상기 제2 벌크 스트림을 더 수신하는 단계를 더 포함할 수 있다.In one embodiment, the multi-view video streaming system providing method, (c) the multi-view video streaming system, the step of recognizing the view movement command while displaying the first individual view video stream, (d) the back The point video streaming system, in response to the view movement command, displaying a second individual view video stream adjacent to the first individual view video stream to the user terminal, (e) the multiview video streaming system: Determining whether to request a second bulk stream adjacent to the first bulk stream based on the sequence number of the individual view video stream being displayed on the user terminal; and (f) the multiview video streaming system selects the second bulk stream. If it is determined that the request should be made, the second multi-view video streaming server The step of further receiving the second bulk stream to request a greater stream from the multi-view video streaming server may further include.
일 실시예에서, 상기 다시점 비디오 스트리밍 서버에 저장된 상기 복수의 벌크 데이터 각각은 MVC(Multi-View Coding)에 의해 부호화된 복수의 개별 시점 비디오를 포함하며, 상기 다시점 비디오 스트리밍 시스템 제공방법은, 상기 다시점 비디오 스트리밍 시스템이, 상기 제1벌크 스트림을 수신한 경우, 상기 제1벌크 스트림에 포함된 복수의 개별 시점 비디오 스트림을 복호화하는 단계 및 상기 다시점 비디오 스트리밍 시스템이, 상기 제2벌크 스트림을 수신한 경우, 상기 제2벌크 스트림에 포함된 복수의 개별 시점 비디오 스트림을 복호화하는 단계를 더 포함할 수 있다In one embodiment, each of the plurality of bulk data stored in the multi-view video streaming server includes a plurality of individual view video coded by MVC (Multi-View Coding), the multi-view video streaming system providing method, When the multiview video streaming system receives the first bulk stream, decoding the plurality of individual view video streams included in the first bulk stream, and the multiview video streaming system includes the second bulk stream. And receiving the plurality of individual view video streams included in the second bulk stream.
일 실시예에서, 상기 (c) 단계는, 상기 사용자 단말에 구비된 터치 스크린 상에서 이루어지는 객체의 움직임을 감지하는 단계 및 상기 객체의 움직임이 감지되면 상기 시점이동명령이 입력된 것으로 판단하는 단계를 포함할 수 있다.In an embodiment, the step (c) may include detecting a movement of an object on the touch screen of the user terminal and determining that the viewpoint movement command is input when the movement of the object is detected. can do.
일 실시예에서, 상기 다시점 비디오 스트리밍 시스템 제공방법은, 상기 객체의 움직임 속도를 판단하는 단계를 더 포함하며, 상기 (e) 단계는, 상기 다시점 비디오 스트리밍 시스템이, 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번이 소정의 한계 범위에 속하는 경우 상기 제2 벌크 스트림을 요청해야 하는 것으로 판단하는 단계를 포함하되, 상기 한계 범위는 상기 객체의 움직임 속도에 기초하여 결정될 수 있다.In one embodiment, the multi-view video streaming system providing method further comprises the step of determining the movement speed of the object, step (e), the multi-view video streaming system is being displayed on the user terminal And determining that the second bulk stream should be requested when the sequence number of the individual view video streams falls within a predetermined limit range, and the limit range may be determined based on the movement speed of the object.
일 실시예에서, 상기 다시점 비디오 스트리밍 시스템 제공방법은, 상기 다시점 비디오 스트리밍 시스템이, 상기 객체의 움직임 속도에 기초하여 상기 제2 벌크 스트림과 인접한 적어도 하나의 추가 벌크 스트림의 요청 여부를 판단하는 단계 및 상기 다시점 비디오 스트리밍 시스템이, 상기 추가 벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 다시점 비디오 스트리밍 서버로 상기 추가 벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버로부터 상기 추가 벌크 스트림을 더 수신하는 단계를 포함하되, 요청되는 추가 벌크 스트림의 개수는 상기 객체의 움직임 속도에 기초하여 결정될 수 있다.In one embodiment, the multi-view video streaming system providing method, the multi-view video streaming system determines whether to request at least one additional bulk stream adjacent to the second bulk stream based on the movement speed of the object. And if the multiview video streaming system determines that the additional bulk stream should be requested, request the additional bulk stream to the multiview video streaming server to further receive the additional bulk stream from the multiview video streaming server. The number of additional bulk streams requested may be determined based on a movement speed of the object.
일 실시예에서, 상기 시점이동명령이 제1방향으로의 시점이동명령인 경우, 상기 제2 개별 시점 비디오 스트림은 상기 제1개별 시점 비디오 스트림과 상기 제1방향으로 인접하며, 상기 제2벌크 스트림은 상기 제1벌크 스트림과 상기 제1방향으로 인접하며, 상기 시점이동명령이 상기 제1방향과 반대 방향인 제2방향으로의 시점이동명령인 경우, 상기 제2 개별 시점 비디오 스트림은 상기 제1개별 시점 비디오 스트림과 상기 제2방향으로 인접하며, 상기 제2벌크 스트림은 상기 제1벌크 스트림과 상기 제2방향으로 인접할 수 있다.In an embodiment, when the view shift command is a view shift command in a first direction, the second individual view video stream is adjacent to the first individual view video stream in the first direction and the second bulk stream. Is adjacent to the first bulk stream in the first direction, and when the view shift command is a view shift command in a second direction opposite to the first direction, the second individual view video stream may include the first stream. An individual view video stream may be adjacent to the second direction, and the second bulk stream may be adjacent to the first bulk stream in the second direction.
일 실시예에서, 상기 각각의 벌크 데이터는 시각(time) 순으로 나열된 일련의 벌크 영상을 포함하며, 상기 벌크 영상은, 상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상이 1차원 또는 2차원으로 연결된 형태의 영상일 수 있다.In one embodiment, each of the bulk data includes a series of bulk images arranged in chronological order, wherein the bulk image includes the bulk image among images included in a plurality of individual viewpoint videos included in the bulk data. The image corresponding to the time corresponding to the image may be an image of a form connected in one or two dimensions.
일 실시예에서, 상기 벌크 영상은, 상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상의 가로 사이즈가 세로 사이즈보다 큰 경우, 상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상이 세로로 연결된 형태의 영상이며, 상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상의 세로 사이즈가 가로 사이즈보다 큰 경우, 상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상이 세로로 연결된 형태의 영상일 수 있다.The bulk image may include the bulk data when the horizontal size of an image corresponding to the time corresponding to the bulk image among the images included in the plurality of individual view videos included in the bulk data is larger than the vertical size. An image corresponding to a time corresponding to the bulk image among the images included in the plurality of individual view videos included in the image is vertically connected, and the image included in the plurality of individual view videos included in the bulk data. When the vertical size of the image corresponding to the time corresponding to the bulk image is larger than the horizontal size, the image corresponding to the time corresponding to the bulk image among the images included in the plurality of individual view videos included in the bulk data is vertically displayed. It may be an image of a connected form.
일 실시예에서, 상기 각각의 벌크 데이터는 시각 순으로 나열된 일련의 벌크 영상을 포함하며, 상기 벌크 영상은, 상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상이 일정한 개수씩 분할된 분할영상이 순서대로 나열된 형태의 영상일 수 있다.In one embodiment, each of the bulk data includes a series of bulk images arranged in chronological order, wherein the bulk images correspond to the bulk images of the images included in the plurality of individual view videos included in the bulk data. The divided images obtained by dividing the image corresponding to the time by a certain number may be images of a sequence.
일 실시예에서, 상기 다시점 비디오 스트리밍 시스템이, 수신한 벌크 스트림에 포함된 모든 개별 시점 비디오 스트림을 상기 다시점 비디오 스트리밍 시스템이 구비한 캐쉬 메모리에 저장하는 단계를 더 포함할 수 있다.In an embodiment, the multi-view video streaming system may further include storing all individual view video streams included in the received bulk stream in a cache memory included in the multi-view video streaming system.
본 발명의 다른 일 측면에 따르면, 다시점 비디오 스트리밍 시스템이, 다시점 비디오를 구성하며 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 복수의 벌크 데이터에 분할하여 저장하는 단계-여기서, 하나의 벌크 데이터는 복수의 서로 인접한 개별 시점 비디오를 포함함- 및 상기 다시점 비디오 스트리밍 시스템이, 상기 복수의 벌크 데이터 중 제1 벌크 데이터에 상응하는 제1 벌크 스트림을 사용자 단말로 스트리밍하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법이 제공된다.According to another aspect of the present invention, the multi-view video streaming system, constituting a multi-view video and stores a plurality of individual viewpoint video shot at different viewpoints divided into a plurality of bulk data, where one bulk The data comprises a plurality of mutually contiguous discrete viewpoint videos; and wherein the multi-view video streaming system includes streaming a first bulk stream corresponding to a first bulk data of the plurality of bulk data to a user terminal; A method for providing a point video streaming system is provided.
일 실시예에서, 상기 다시점 비디오 스트리밍 시스템 제공방법은, 상기 다시점 비디오 스트리밍 시스템이, 상기 제1벌크 스트림을 스트리밍하는 중에 시점이동명령을 수신하는 단계, 상기 다시점 비디오 스트리밍 시스템이, 상기 시점이동명령에 응답하여, 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번을 판단하는 단계, 상기 다시점 비디오 스트리밍 시스템이, 판단된 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번에 기초하여 상기 제1 벌크 스트림과 인접한 제2 벌크 스트림의 전송 여부를 판단하는 단계 및 상기 다시점 비디오 스트리밍 시스템이, 상기 제2벌크 스트림을 전송해야 하는 것으로 판단한 경우, 상기 사용자 단말로 상기 제2 벌크 스트림을 더 스트리밍하는 단계를 더 포함할 수 있다.In one embodiment, the multi-view video streaming system providing method, the multi-view video streaming system, receiving a view movement command while streaming the first bulk stream, the multi-view video streaming system, the view In response to a movement command, determining the order of the individual view video streams being displayed on the user terminal, wherein the multi-view video streaming system is configured to determine the order of the individual view video streams being displayed on the determined user terminal. Determining whether to transmit the second bulk stream adjacent to the first bulk stream; and if the multi-view video streaming system determines that the second bulk stream should be transmitted, further streaming the second bulk stream to the user terminal. It may further comprise the step.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.According to another aspect of the present invention, there is provided a computer-readable recording medium on which a program for performing the above-described method is recorded.
본 발명의 다른 일 측면에 따르면, 다시점 비디오 스트리밍 시스템으로서, 프로세서 및 상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 다시점 비디오 스트리밍 시스템이 상술한 방법을 수행하도록 하는 다시점 비디오 스트리밍 시스템이 제공된다.According to another aspect of the present invention there is provided a multi-view video streaming system comprising a processor and a memory for storing a computer program executed by the processor, wherein the computer program, when executed by the processor, A multi-view video streaming system is provided for allowing a video streaming system to perform the method described above.
본 발명의 다른 일 측면에 따르면, 다시점 비디오 스트리밍 시스템으로서, 다시점 비디오를 구성하며 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 복수의 벌크 데이터에 분할하여 저장하고 벌크 데이터 단위로 스트리밍하는 다시점 비디오 스트리밍 서버로부터 상기 복수의 벌크 데이터 중 제1 벌크 데이터에 상응하는 제1 벌크 스트림을 수신하는 통신모듈-여기서, 하나의 벌크 데이터는 복수의 서로 인접한 개별 시점 비디오를 포함함- 및 상기 제1 벌크 스트림에 포함된 제1 개별 시점 비디오 스트림을 사용자 단말에 디스플레이하는 디스플레이모듈을 포함하는 다시점 비디오 스트리밍 시스템이 제공된다.According to another aspect of the present invention, as a multi-view video streaming system, a multi-view video constituting a multi-view video is divided into a plurality of pieces of bulk data stored in a plurality of pieces of bulk data and stored again in the bulk data unit A communication module for receiving a first bulk stream corresponding to first bulk data of the plurality of bulk data from a point video streaming server, wherein one bulk data includes a plurality of adjacent individual viewpoint video; and the first A multiview video streaming system is provided that includes a display module for displaying a first individual view video stream included in a bulk stream to a user terminal.
일 실시예에서, 상기 다시점 비디오 스트리밍 시스템은, 상기 제1개별 시점 비디오 스트림을 디스플레이하는 중에 시점이동명령을 인식하는 인식모듈 및 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번에 기초하여 상기 제1 벌크 스트림과 인접한 제2 벌크 스트림의 요청 여부를 판단하는 제어모듈을 더 포함하되, 상기 디스플레이모듈은, 상기 시점이동명령에 응답하여, 상기 제1 개별 시점 비디오 스트림과 인접한 제2 개별 시점 비디오 스트림을 상기 사용자 단말에 디스플레이하고, 상기 통신모듈은, 상기 제어모듈이 상기 제2벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 다시점 비디오 스트리밍 서버로 상기 제2벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버로부터 상기 제2 벌크 스트림을 더 수신할 수 있다.In one embodiment, the multi-view video streaming system, based on the sequence of the recognition module for recognizing the view movement command during the display of the first individual view video stream and the individual view video stream being displayed on the user terminal. And a control module for determining whether to request a second bulk stream adjacent to one bulk stream, wherein the display module is configured to, in response to the view movement command, a second individual view video stream adjacent to the first individual view video stream. And display the multi-view video stream by requesting the second bulk stream to the multi-view video streaming server when it is determined that the control module should request the second bulk stream. Can further receive the second bulk stream from a server The.
일 실시예에서, 상기 다시점 비디오 스트리밍 서버에 저장된 상기 복수의 벌크 데이터 각각은 MVC에 의해 부호화된 복수의 개별 시점 비디오를 포함하며, 상기 다시점 비디오 스트리밍 시스템은, 상기 제1벌크 스트림을 수신한 경우, 상기 제1벌크 스트림에 포함된 복수의 개별 시점 비디오 스트림을 복호화하고, 상기 제2벌크 스트림을 수신한 경우, 상기 제2벌크 스트림에 포함된 복수의 개별 시점 비디오 스트림을 복호화하는 복호화모듈을 더 포함할 수 있다.In one embodiment, each of the plurality of bulk data stored in the multiview video streaming server includes a plurality of individual view video encoded by MVC, and the multiview video streaming system receives the first bulk stream. The decoding module may decode a plurality of individual view video streams included in the first bulk stream and, when receiving the second bulk stream, decode a plurality of individual view video streams included in the second bulk stream. It may further include.
일 실시예에서, 상기 인식모듈은, 상기 사용자 단말에 구비된 터치 스크린 상에서 이루어지는 객체의 움직임을 감지하고, 상기 객체의 움직임이 감지되면 상기 시점이동명령이 입력된 것으로 판단할 수 있다.In one embodiment, the recognition module may detect the movement of the object on the touch screen provided in the user terminal, and determine that the viewpoint movement command is input when the movement of the object is detected.
일 실시예에서, 상기 인식모듈은, 상기 객체의 움직임 속도를 더 판단하고, 상기 제어모듈은, 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번이 소정의 한계 범위에 속하는 경우 상기 제2 벌크 스트림을 요청해야 하는 것으로 판단하되, 상기 한계 범위는 상기 객체의 움직임 속도에 기초하여 결정될 수 있다.In one embodiment, the recognition module further determines a movement speed of the object, and the control module is further configured to control the second bulk stream when the sequence number of the individual view video stream being displayed on the user terminal falls within a predetermined limit range. It is determined that the need to request, but the limit range may be determined based on the movement speed of the object.
일 실시예에서, 상기 제어모듈은, 상기 객체의 움직임 속도에 기초하여 상기 제2 벌크 스트림과 인접한 적어도 하나의 추가 벌크 스트림의 요청 여부를 더 판단하고, 상기 통신모듈은, 상기 제어모듈이 상기 추가 벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 다시점 비디오 스트리밍 서버로 상기 추가 벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버로부터 상기 추가 벌크 스트림을 더 수신하되, 요청되는 추가 벌크 스트림의 개수는 상기 객체의 움직임 속도에 기초하여 결정될 수 있다.In an embodiment, the control module may further determine whether to request at least one additional bulk stream adjacent to the second bulk stream based on a movement speed of the object, and wherein the communication module is further configured to include the control module. If it is determined that the bulk stream should be requested, the additional bulk stream is requested to the multiview video streaming server to further receive the additional bulk stream from the multiview video streaming server, and the number of additional bulk streams requested is determined by the object. It can be determined based on the speed of movement of.
일 실시예에서, 상기 각각의 벌크 데이터는 시각(time) 순으로 나열된 일련의 벌크 영상을 포함하며, 상기 벌크 영상은, 상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상이 1차원 또는 2차원으로 연결된 형태의 영상일 수 있다.In one embodiment, each of the bulk data includes a series of bulk images arranged in chronological order, wherein the bulk image includes the bulk image among images included in a plurality of individual viewpoint videos included in the bulk data. The image corresponding to the time corresponding to the image may be an image of a form connected in one or two dimensions.
일 실시예에서, 상기 각각의 벌크 데이터는 시각 순으로 나열된 일련의 벌크 영상을 포함하며, 상기 벌크 영상은, 상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상이 일정한 개수씩 분할된 분할영상이 순서대로 나열된 형태의 영상일 수 있다.In one embodiment, each of the bulk data includes a series of bulk images arranged in chronological order, wherein the bulk images correspond to the bulk images of the images included in the plurality of individual view videos included in the bulk data. The divided images obtained by dividing the image corresponding to the time by a certain number may be images of a sequence.
일 실시예에서, 다시점 비디오 스트리밍 시스템 제공방법은, 상기 다시점 비디오 스트리밍 시스템이, 수신한 벌크 스트림에 포함된 모든 개별 시점 비디오 스트림을 상기 다시점 비디오 스트리밍 시스템이 구비한 캐쉬 메모리에 저장하는 단계를 더 포함할 수 있다.In one embodiment, a method of providing a multiview video streaming system includes storing, by the multiview video streaming system, all individual view video streams included in a received bulk stream in a cache memory provided by the multiview video streaming system. It may further include.
본 발명의 다른 일 측면에 따르면, 다시점 비디오를 구성하며 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 복수의 벌크 데이터에 분할하여 저장하는 저장모듈-여기서, 하나의 벌크 데이터는 복수의 서로 인접한 개별 시점 비디오를 포함함- 및 상기 복수의 벌크 데이터 중 제1 벌크 데이터에 상응하는 제1 벌크 스트림을 사용자 단말로 스트리밍하는 스트리밍모듈을 포함하는 다시점 비디오 스트리밍 시스템이 제공된다.According to another aspect of the present invention, a storage module for constituting a multi-view video and storing a plurality of individual viewpoint videos captured at different viewpoints into a plurality of bulk data, wherein one bulk data is a plurality of adjacent ones. A multi-view video streaming system is provided that includes an individual view video and a streaming module for streaming a first bulk stream corresponding to a first bulk data of the plurality of bulk data to a user terminal.
일 실시예에서, 상기 다시점 비디오 스트리밍 시스템은, 상기 제1벌크 스트림을 스트리밍하는 중에 시점이동명령을 수신하는 명령수신모듈 및 상기 시점이동명령에 응답하여 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번을 판단하고, 판단한 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번에 기초하여 상기 제1 벌크 스트림과 인접한 제2 벌크 스트림의 전송 여부를 판단하는 제어모듈을 더 포함하되, 상기 스트리밍모듈은, 상기 제어모듈이 상기 제2벌크 스트림을 전송해야 하는 것으로 판단한 경우, 상기 사용자 단말로 상기 제2 벌크 스트림을 더 스트리밍할 수 있다.In one embodiment, the multi-view video streaming system, the command receiving module for receiving a view-movement command while streaming the first bulk stream and the individual view-point video stream being displayed on the user terminal in response to the view-movement command. The control module may further include determining a sequence number and determining whether to transmit the second bulk stream adjacent to the first bulk stream based on the determined sequence number of the individual view video stream being displayed on the user terminal. If the control module determines that the second bulk stream should be transmitted, the second bulk stream may be further streamed to the user terminal.
본 발명의 다른 일 측면에 따르면, 다시점 비디오 스트리밍 시스템이, 다시점 비디오를 구성하며 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 복수의 벌크 데이터에 분할하여 저장하고 벌크 데이터 단위로 스트리밍하는 다시점 비디오 스트리밍 서버로부터 상기 복수의 벌크 데이터 중 제1 벌크 데이터에 상응하는 제1 벌크 스트림을 수신하는 단계-여기서, 하나의 벌크 데이터는 복수의 서로 인접한 개별 시점 비디오를 포함함-, 상기 다시점 비디오 스트리밍 시스템이, 상기 제1 벌크 스트림에 포함된 제1 개별 시점 비디오 스트림을 사용자 단말에 디스플레이하는 단계, 상기 다시점 비디오 스트리밍 시스템이, 상기 제1개별 시점 비디오 스트림을 디스플레이하는 중에 제1방향으로의 시점이동명령을 인식하는 단계, 상기 다시점 비디오 스트리밍 시스템이, 상기 제1방향으로의 시점이동명령에 응답하여, 상기 제1 개별 시점 비디오 스트림과 상기 제1방향으로 인접한 제2 개별 시점 비디오 스트림을 상기 사용자 단말에 디스플레하는 단계, 상기 다시점 비디오 스트리밍 시스템이, 상기 제1방향으로의 시점이동명령에 응답하여, 상기 제2 개별 시점 비디오 스트림의 순번에 기초하여 상기 제1 벌크 스트림과 상기 제1방향으로 인접한 제2 벌크 스트림의 요청 여부를 판단하는 단계 및 상기 다시점 비디오 스트리밍 시스템이, 상기 제2벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 다시점 비디오 스트리밍 서버로 상기 제2벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버로부터 상기 제2 벌크 스트림을 더 수신하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법이 제공된다.According to another aspect of the present invention, a multi-view video streaming system, a multi-view video constituting a multi-view video and stored in a plurality of bulk data by storing a plurality of individual viewpoint video shot at different views and streams in bulk data unit Receiving a first bulk stream corresponding to a first bulk data of the plurality of bulk data from a point video streaming server, wherein one bulk data includes a plurality of mutually contiguous individual viewpoint video; Displaying, by the streaming system, a first individual view video stream included in the first bulk stream on a user terminal; while the multiview video streaming system displays the first individual view video stream in a first direction. Recognizing a view movement instruction, the multiview video stream In response to the view movement command in the first direction, a dimming system displaying the first individual view video stream and a second individual view video stream adjacent to the first direction to the user terminal; The streaming system determines whether to request the second bulk stream adjacent to the first bulk stream in the first direction based on the sequence number of the second individual view video stream in response to the view movement command in the first direction. And when the multi-view video streaming system determines that the second bulk stream should be requested, requesting the second bulk stream to the multi-view video streaming server to transmit the second bulk stream from the multi-view video streaming server. A multi-view video streaming system providing method comprising the step of further receiving a stream is provided. It is.
일 실시예에서, 상기 다시점 비디오 스트리밍 시스템 제공방법은, 상기 다시점 비디오 스트리밍 시스템이, 상기 제1개별 시점 비디오 스트림을 디스플레이하는 중에 상기 제1방향과 반대 방향인 제2방향으로의 시점이동명령을 인식하는 단계, 상기 다시점 비디오 스트리밍 시스템이, 상기 제2방향으로의 시점이동명령에 응답하여, 상기 제1 개별 시점 비디오 스트림과 상기 제2방향으로 인접한 제3 개별 시점 비디오 스트림을 상기 사용자 단말에 디스플레하는 단계, 상기 다시점 비디오 스트리밍 시스템이, 상기 제2방향으로의 시점이동명령에 응답하여, 상기 제2 개별 시점 비디오 스트림의 순번에 기초하여 상기 제1 벌크 스트림과 상기 제2방향으로 인접한 제3 벌크 스트림의 요청 여부를 판단하는 단계 및 상기 다시점 비디오 스트리밍 시스템이, 상기 제3벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 다시점 비디오 스트리밍 서버로 상기 제3벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버로부터 상기 제3 벌크 스트림을 더 수신하는 단계를 포함할 수 있다.
In one embodiment, the multi-view video streaming system providing method, the multi-view video streaming system, while displaying the first individual view video stream command to move the view in a second direction opposite to the first direction And recognizing, by the multi-view video streaming system, in response to the view movement command in the second direction, the user terminal receives a third individual view video stream adjacent to the first individual view video stream in the second direction. Displaying in the multi-view video streaming system adjacent to the first bulk stream in the second direction based on the order of the second individual view video stream in response to the view-shift command in the second direction. Determining whether a third bulk stream is requested and wherein the multi-view video streaming system is configured to: 3 when it is determined that it is necessary to request a bulk stream, it is possible to request the third bulk stream back to the multi-view video streaming server, comprising the step of further receiving said third bulk stream again from the multi-view video streaming server.
본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템은 다시점 비디오에 포함된 모든 개별 시점 비디오 스트림을 수신하는 것이 아니라 그 중 일부만을 벌크 스트림 단위로 수신하므로 스트리밍에 필요한 대역폭을 현저히 줄일 수 있는 효과가 있다.The multi-view video streaming system according to an embodiment of the present invention does not receive all the individual viewpoint video streams included in the multi-view video but only a part of the individual viewpoint video streams in bulk stream units, thereby reducing the bandwidth required for streaming .
또한 현재 디스플레이 중인 개별 시점 비디오 스트림을 포함하는 벌크 스트림 뿐만 아니라 이와 인접 벌크 스트림을 미리 수신함으로써 시점 이동 시 끊김 현상을 방지할 수 있는 효과가 있다.In addition, by receiving not only the bulk stream including the individual view video stream currently being displayed, but also the adjacent bulk stream in advance, there is an effect of preventing a drop in the viewpoint movement.
또한, 시점이동명령이 입력되는 속도가 느린 경우 경우에는 인접 벌크 스트림을 보다 늦게 수신하여 전송되는 벌크 스트림이 차지하는 대역폭을 효율적으로 이용할 수 있으며, 시점이동명령이 입력되는 속도가 빠른 경우 경우에는 인접 벌크 스트림을 보다 일찍 수신하여 시점이 전환될 때 발생할 수 있는 끊김을 방지할 수 있다.
In addition, when the view shift command is input slowly, the adjacent bulk stream is received later and the bandwidth occupied by the transmitted bulk stream can be efficiently used. Receive streams earlier to avoid dropouts that can occur when timing is switched.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 종래의 다시점 비디오 스트리밍 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템을 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 서버에서 다시점 비디오를 벌크 데이터 단위로 스트리밍 하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템에서 벌크 스트림으로부터 개별 시점 비디오를 분리하여 사용자 단말에 제공하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템이 인식할 수 있는 시점이동명령의 일 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템이 벌크 스트림을 수신하는 예를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템 제공방법을 나타내는 흐름도이다.
도 8은 본 발명의 다른 일 실시예에 따른 다시점 비디오 스트리밍 시스템을 나타내는 블록도이다.
도 9는 본 발명의 다른 일 실시예에 따른 다시점 비디오 스트리밍 시스템 제공방법을 나타내는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템에서 수신하는 벌크 데이터의 일 예를 설명하기 위한 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS A brief description of each drawing is provided to more fully understand the drawings recited in the description of the invention.
1 is a view for explaining a conventional multi-view video streaming system.
2 is a block diagram illustrating a multi-view video streaming system in accordance with an embodiment of the present invention.
3 is a diagram for describing a method of streaming a multiview video in bulk data units in a multiview video streaming server according to an embodiment of the present invention.
FIG. 4 is a diagram for describing a method of separating individual view videos from a bulk stream and providing them to a user terminal in a multiview video streaming system according to an embodiment of the present invention.
5 is a view for explaining an example of a view movement command that can be recognized by a multi-view video streaming system according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating an example in which a multi-view video streaming system receives a bulk stream according to an embodiment of the present invention.
7 is a flowchart illustrating a method of providing a multiview video streaming system according to an embodiment of the present invention.
8 is a block diagram illustrating a multiview video streaming system according to another embodiment of the present invention.
9 is a flowchart illustrating a method of providing a multiview video streaming system according to another embodiment of the present invention.
10 is a diagram for explaining an example of bulk data received in a multiview video streaming system according to an embodiment of the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of features, numbers, steps, operations, components, parts, or combinations thereof.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.Also, in this specification, when any one element 'transmits' data to another element, the element may transmit the data directly to the other element, or may be transmitted through at least one other element And may transmit the data to the other component. Conversely, when one element 'directly transmits' data to another element, it means that the data is transmitted to the other element without passing through another element in the element.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, the present invention will be described in detail with reference to the embodiments of the present invention with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.
도 2는 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템을 나타내는 블록도이다.2 is a block diagram illustrating a multi-view video streaming system in accordance with an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템 제공방법을 구현하기 위하여, 다시점 비디오 스트리밍 시스템(100)이 구비될 수 있다. Referring to FIG. 2, in order to implement a method of providing a multiview video streaming system according to an embodiment of the present invention, a multiview
도 2에 따른 실시예에서, 상기 다시점 비디오 스트리밍 시스템(100)은 네트워크를 통하여 소정의 다시점 비디오 스트리밍 서버(300)로부터 다시점 비디오 스트림의 일부(후술할 적어도 하나의 벌크 스트림)를 수신하고, 개별 시점 비디오 스트림을 분리하여 사용자 단말(200)에 디스플레이 할 수 있다.In the embodiment according to FIG. 2, the multi-view
한편, 상기 다시점 비디오 스트리밍 서버(300)는 다시점 비디오를 소정의 저장공간(예를 들면, DB(400))에 저장하고, 상기 다시점 비디오 스트리밍 시스템(100)으로 스트리밍할 수 있다.The multi-view
상기 다시점 비디오는 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오로 구성될 수 있다. 개별 시점 비디오는 하나의 카메라가 특정 시점에서 촬영한 영상을 의미할 수 있으며, 서로 인접한 두 개의 개별 시점 비디오는 서로 인접한 두 카메라에 의해 각각 촬영된 개별 시점 비디오를 의미할 수 있다.The multi-view video may be composed of a plurality of individual view video captured at different viewpoints. The individual viewpoint video may mean an image photographed by one camera at a specific viewpoint, and two separate viewpoint video adjacent to each other may mean individual viewpoint videos photographed by two cameras adjacent to each other.
상기 다시점 비디오 스트리밍 서버(300) 또는 상기 DB(400)는 다시점 비디오를 복수의 벌크 데이터로 분할하여 저장할 수 있다. 하나의 벌크 데이터는 복수의 개별 시점 비디오를 포함할 수 있으며, 하나의 벌크 데이터에 저장된 복수의 개별 시점 비디오는 서로 인접할 수 있다. 따라서, 하나의 벌크 데이터에 저장된 복수의 개별 시점 비디오는 순차적으로 배열된 복수의 카메라에 의해 촬영된 영상일 수 있다. 실시예에 따라, 각각의 벌크 데이터에 저장되는 개별 시점 비디오의 개수는 모두 동일할 수도 있고, 서로 상이할 수도 있다.The multi-view
본 발명에서, 하나의 벌크 데이터는 HDD(Hard Disk Drive)에 저장된 단일의 파일의 형태일 수도 있으며, 실시예에 따라, 벌크 데이터는 클라우드에 분산 저장된 데이터 그룹 혹은 버퍼 메모리(예를 들면, RAM)에 저장된 데이터를 의미할 수도 있다. 이하에서는 편의를 위하여, 벌크 데이터가 벌크 파일로 구현된 예를 설명하지만 벌크 데이터가 다른 형태로 구현되는 경우에도 마찬가지로 적용될 수 있음은 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다.In the present invention, one bulk data may be in the form of a single file stored in a hard disk drive (HDD), and according to an embodiment, the bulk data is a data group or buffer memory (eg, RAM) distributed and stored in the cloud. It may mean data stored in. Hereinafter, an example in which bulk data is implemented as a bulk file is described for convenience, but it is to be understood that the present invention can be applied to a case where bulk data is implemented in another form as well, There will be.
예를 들어, 다시점 비디오가 N개의 카메라에 의해 서로 다른 시점에서 촬영된 N개의 개별 시점 비디오 v1 내지 vN(vi는 i번째 카메라(1<=i<=N)에 의해 촬영된 비디오임)으로 구성되며, 상기 다시점 비디오가 M개의 벌크 파일 F1 내지 FM에 분할 저장되고, 벌크 파일 Fj(1<=j<=M)에 포함되어 있는 개별 시점 비디오의 개수가 |Fj|라고 하자.For example, N individual viewpoint videos v 1 to v N (v i is video captured by the i th camera (1 <= i <= N), in which multiview video was captured at different points in time by N cameras. The multi-view video is divided into M bulk files F 1 to F M , and the number of individual view videos included in the bulk file F j (1 <= j <= M) is | F. Let's say j |
한편, 라고 하면, 벌크 파일 F1은 개별 시점 비디오 v(1, 1), v(1, 2),… v(1, |F1|)를 포함할 수 있으며, 벌크 파일 Fi는 개별 시점 비디오 v(i, 1), v(i, 2),… v(i, |Fi|)를 포함할 수 있다.Meanwhile, Suppose, bulk file F 1 is an individual view video v (1, 1), v (1, 2),... v (1, | F 1 |), and the bulk file F i is the individual view video v (i, 1), v (i, 2),... v (i, | F i |).
일 실시예에서, 상기 다시점 비디오 스트리밍 시스템(100)은 상기 다시점 비디오를 구성하는 복수의 개별 시점 비디오를 순차적으로 나열하고 소정의 개수씩 분할하여 상기 복수의 벌크 파일을 생성할 수 있거나, 소정의 다시점 영상 부호화 장치(미도시)에 의해 이와 같은 방식으로 생성된 상기 복수의 파일을 저장할 수 있다.In one embodiment, the multi-view
일 실시예에서, 복수의 벌크 파일 각각은 MVC(Multi-View Coding)에 의해 부호화 복수의 개별 시점 비디오를 포함할 수 있으며, 여기서 MVC라고 함은 다수의 개별 시점 비디오를 하나의 데이터로 부호화하기 위한 일체의 코딩 방식을 포함할 수 있으며, 구현 예에 따라, H.264 등의 다양한 표준 기술이 이용될 수 있다. 또한, 상기 벌크 파일 각각은 MPEG-2 TS 등 다채널 컨테이너에 다시점을 다중화(muxing)한 영상으로 구현될 수도 있다.In one embodiment, each of the plurality of bulk files may include a plurality of encoded individual view video by MVC (Multi-View Coding), wherein the MVC refers to a plurality of individual view video Any coding scheme may be included, and various standard techniques such as H.264 may be used, depending on the implementation. In addition, each of the bulk files may be implemented as an image obtained by muxing multiple points into a multi-channel container such as an MPEG-2 TS.
한편, 상기 다시점 비디오 스트리밍 서버(300)는 상기 다시점 비디오를 벌크 파일 단위로 스트리밍할 수 있다.Meanwhile, the multiview
도 3은 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 서버(300)에서 다시점 비디오를 벌크에 분할 저장하고, 벌크 파일 단위로 스트리밍 하는 방법을 설명하기 위한 도면이다. 도 3은 다시점 비디오가 총 36개의 카메라에서 촬영된 36개의 개별 시점 비디오로 구성되며, 6개의 벌크 파일에 분할 저장되는 예를 도시하고 있다. 또한, 설명의 편의를 위하여, 도 3의 예시에서는 각각의 분할 파일은 모두 동일한 개수(6개)의 개별 시점 비디오를 포함하는 것으로 한다.FIG. 3 is a diagram for describing a method of dividing and storing a multiview video in bulk and streaming in bulk file units in the multiview
도 3을 참조하면, 다시점 동영상은 카메라 1내지 카메라 36이 서로 다른 시점에서 촬영한 개별 시점 비디오(제1시점 비디오(v1) 내지 제36시점 비디오(v36))로 구성될 수 있으며, 동영상 부호화부는 상기 36개의 개별 시점 비디오를 순차적으로 6개씩 분할하여 복호화하고, 6개의 분할 파일(제1벌크 파일 내지 제6벌크 파일)을 생성할 수 있다. 따라서, 도 3에 도시된 바와 같이, 제1벌크 파일은 v1 내지 v6를 복호화한 파일일 수 있으며, 제2벌크 파일은 v7내지 v12를 복호화한 파일일 수 있으며, …, 제6벌크 파일은 v31 내지 v36을 복호화한 파일일 수 있다.Referring to FIG. 3, the multi-view video may be composed of individual viewpoint videos (first view video v 1 to 36 view video v 36 ) captured by
한편, 상기 다시점 비디오 스트리밍 서버(300)는 혹은 상기 DB(400)에 6개의 벌크 파일로 분할된 상기 다시점 비디오를 저장할 수 있으며, 상기 다시점 비디오를 벌크 파일 단위로 스트리밍할 수 있다. 즉, 상기 다시점 비디오 스트리밍 서버(300)는 사용자 단말(200)에 디스플레이 되고 있는 개별 시점 비디오를 포함하는 벌크 파일에 상응하는 비트 스트림(즉, 벌크 스트림)을 상기 다시점 비디오 스트리밍 시스템(100)으로 스트리밍할 수 있다. 또한, 경우에 따라서는 상기 벌크 파일과 인접한 인접 벌크 파일에 상응하는 인접 벌크 스트림을 더 스트리밍할 수도 있으며, 이에 대하여는 후술하기로 한다.The multi-view
한편, 두 벌크 파일(혹은 벌크 스트림)이 서로 인접한다고 함은, 하나의 벌크 파일(혹은 벌크 스트림)의 마지막 순번의 개별 시점 비디오(혹은 개별 시점 비디오 스트림)과 다른 하나의 벌크 파일(혹은 벌크 스트림)의 첫 번째 순번의 개별 시점 비디오(혹은 개별 시점 비디오 스트림)이 서로 인접함을 의미할 수 있다.On the other hand, the fact that two bulk files (or bulk streams) are adjacent to each other means that the individual view video (or individual view video stream) of the last sequence of one bulk file (or bulk stream) (Or an individual viewpoint video stream) of the first sequential number of the first viewpoint video stream (or the first viewpoint video stream of the first viewpoint video stream) are adjacent to each other.
다시 도 2를 참조하면, 상기 다시점 비디오 스트리밍 시스템(100)은 상기 다시점 비디오 스트리밍 서버(300)로부터 수신하는 벌크 스트림을 복호화하여 상기 벌크 스트림에 포함되어 있는 복수의 개별 시점 비디오 스트림을 분리하고, 그 중 어느 하나의 개별 시점 비디오 스트림을 사용자 단말(200)에 디스플레이 할 수 있다.Referring back to FIG. 2, the multiview
한편, 본 발명의 다른 일 실시예에 따르면, 상기 각각의 벌크 파일은 시각(time) 순으로 나열된 일련의 벌크 영상을 포함하며, 상기 벌크 영상은 상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시간에 해당하는 영상이 1차원 또는 2차원으로 연결된 형태의 영상일 수 있다. 예를 들어, 상기 벌크 파일이 제1개별 시점 비디오 내지 제m개별 시점 비디오를 포함하고 있으며, 각 개별 시점 비디오는 t1, t2, t3, …, tn-1, tn 시각의 영상(t1 < t2 < t3, …, tn-1 < tn)으로 구성되어 있다고 하면, 상기 벌크 파일은 각각의 시각 t1, t2, t3, …, tn-1, tn에 상응하는 벌크 영상으로 구성될 수 있으며, 예를 들어 특정 시각 ti(1<=i<=N)에 상응하는 벌크 영상은 제1개별 시점 비디오의 ti 시각의 영상, 제2 개별 시점 비디오의 ti시각의 영상, …, 제m개별 시점 비디오의 ti시각의 영상이 연결된 영상일 수 있다. 이 경우 실시예에 따라, 하나의 벌크 영상에 포함된 각 개별 시점 비디오의 특정 시각의 영상은 1차원(예를 들면, 가로 혹은 세로 방향)으로 연결되거나 2차원(예를 들면, 가로 및 세로 방향)으로 연결될 수 있다. 특히, 각 개별 시점 비디오의 영상의 가로 사이즈가 세로 사이즈보다 큰 경우에는 세로로 연결될 수 있으며, 반대로 세로 사이즈가 큰 경우에는 가로로 연결될 수 있다. 이 경우, 벌크 영상은 정사각형에 보다 가까운 형태가 되므로 상기 벌크 영상의 인코딩 효율이 높아질 수 있는 장점이 있다. 한편, 하나의 벌크 영상에 포함된 각 개별 시점 비디오의 영상 사이에는 소정의 구분자(예를 들어, 공백, 소정의 색깔 또는 소정의 패턴을 가지는 구분 영역 등)가 더 배치될 수도 있다. 따라서, 일반적인 비디오 플레이어에서 상기 벌크 스트림을 플레이하는 경우, 여러 개의 분할 영상이 합쳐진 형태의 하나의 영상이 출력될 수 있을 것이다. 한편, 본 실시예에서, 상기 다시점 비디오 스트리밍 서버(300)는 각 벌크 파일에 포함될 모든 개별 시점 비디오에서 각 시각 별 영상을 추출하고 하나로 합쳐 벌크 영상을 생성하고, 생성된 일련의 벌크 영상을 다시점 비디오 인코딩 방식이 아닌 통상적인 비디오 인코딩 방식에 의해 인코딩하여 벌크 파일을 생성할 수 있으며, 상기 다시점 비디오 스트리밍 시스템(100)은 하나의 벌크 영상에서 사용자 단말(200)에 디스플레이될 시점의 영상에 상응하는 부분만을 잘라내어(crop) 사용자 단말(200)에 디스플레이 할 수 있다.Meanwhile, according to another embodiment of the present invention, each of the bulk files includes a series of bulk images arranged in chronological order, and the bulk images are included in a plurality of individual viewpoint videos included in the bulk data. The image corresponding to the time corresponding to the bulk image may be one or two-dimensional images. For example, the bulk file includes a first individual view video to an mth individual view video, and each individual view video includes t 1 , t 2 , t 3 ,. , t n-1 , and t n time images (t 1 <t 2 <t 3 ,..., t n-1 <t n ), the bulk file includes the respective time t 1 , t 2 , t 3 ,.. , T n-1, may consist of the bulk image corresponding to t n, for example, a bulk image corresponding to a certain time t i (1 <= i < = N) are first of t i each time a video time The video of the second individual viewpoint video at t i time, the video of the second individual viewpoint video, , And the image at time t i of the m- th individual viewpoint video may be connected. In this case, according to the embodiment, an image at a specific time of each individual view video included in one bulk image may be connected in one dimension (for example, in the horizontal or vertical direction) or two-dimensional (for example, ). In particular, when the horizontal size of the video of each individual view video is larger than the vertical size, the video can be vertically connected. On the contrary, when the vertical size is large, the video can be connected horizontally. In this case, since the bulk image has a shape closer to the square, the encoding efficiency of the bulk image can be enhanced. Meanwhile, a predetermined delimiter (for example, a blank, a predetermined color, or a segmented region having a predetermined pattern) may be further disposed between the images of each individual view video included in one bulk image. Therefore, when the bulk stream is played in a general video player, one image in which a plurality of divided images are combined may be output. Meanwhile, in the present embodiment, the multi-view
한편, 본 발명의 또 다른 실시예에서는, 앞서 설명한 실시예에서와 마찬가지로 하나의 벌크 파일을 일련의 벌크 영상으로 구성하기는 하지만, 특정 시각의 벌크 영상에 포함될 각 개별 시점 비디오의 상기 특정 시각의 영상을 일정한 크기의 R 개의 분할 영상으로 나누고, 나누어진 분할 영상을 차례로 나열하여 상기 특정 시각의 벌크 영상을 구성할 수 있다. 특히, 각 개별 시점 비디오의 상기 특정 시각의 영상의 가로 사이즈가 세로 사이즈보다 큰 경우에는 상기 특정 시각의 영상들을 가로로 잘라 세로로 나열할 수 있으며, 반대로 세로 사이즈가 큰 경우에는 세로로 잘라 가로로 나열할 수 있다. 이 경우, 벌크 영상은 정사각형에 보다 가까운 형태가 되므로 상기 벌크 영상의 인코딩 효율이 높아질 수 있다.Meanwhile, in another embodiment of the present invention, although one bulk file is composed of a series of bulk images as in the above-described embodiment, the image of the specific view of each individual view video to be included in the bulk image of the specific view H may be divided into R divided images having a constant size, and the divided divided images may be sequentially arranged to form a bulk image of the specific time point. In particular, when the horizontal size of the image of the specific time point of each individual view video is larger than the vertical size, the images of the specific time point may be horizontally cut and arranged vertically. Can be listed. In this case, since the bulk image is closer to the square, encoding efficiency of the bulk image may be increased.
도 10을 참조하여, 본 실시예에 대하여 보다 상세하게 설명하면, 상기 벌크 파일이 제1개별 시점 비디오 내지 제m개별 시점 비디오를 포함하고 있으며, 각 개별 시점 비디오는 t1, t2, t3, …, tn-1, tn 시각의 영상(t1 < t2 < t3, …, tn-1 < tn)으로 구성되어 있다고 하면, 상기 벌크 파일은 각각의 시각 t1, t2, t3, …, tn-1, tn에 상응하는 벌크 영상으로 구성될 수 있다. 한편, 각 개별 시점 비디오를 구성하는 각 영상이 모두 R개로 분할되는 경우, 특정 시각 ti(1<=i<=N)에서의 벌크 영상(A)은 도 10에 도시된 바와 같이 구성될 수 있다. Referring to FIG. 10, the bulk file includes a first individual view video to an mth individual view video, and each individual view video includes t 1 , t 2 , and t 3. ,… , t n-1 , and t n time images (t 1 <t 2 <t 3 ,..., t n-1 <t n ), the bulk file includes the respective time t 1 , t 2 , t 3 ,.. , t n-1 , t n . On the other hand, when each image constituting each individual view video is divided into R pieces, the bulk image A at a specific time t i (1 <= i <= N) may be configured as shown in FIG. 10. have.
한편, 상기 사용자 단말(200)은 컴퓨터, 랩탑, 데스크탑, 타블렛 PC, PDA(Personal Digital Assistant), 워크스테이션(Workstation)을 포함할 수 있으며, 휴대 전화, 위성 전화, 무선 전화, SIP(Session Initiation Protocol), WLL(Wireless Local Loop) 스테이션, 스마트폰, 기타 무선 접속 기능을 갖는 핸드헬드 장치를 포함하는 무선 컴퓨팅 장치 또는 다른 무선 모뎀에 연결된 프로세싱 장치일 수도 있다.Meanwhile, the
상기 다시점 비디오 스트리밍 시스템(100)은, 도 2에 도시된 바와 같이, 상기 사용자 단말(200)과 물리적으로 분리되어 구현될 수 있으며, 이 경우 상기 다시점 비디오 스트리밍 시스템(100)와 상기 사용자 단말(200)은 HDMI, USB, WIFI 등 다양한 유/무선 연결 방식을 통해 연결될 수 있다. 또한, 구현 예에 따라서는, 상기 다시점 비디오 스트리밍 시스템(100)은 상기 사용자 단말(200)에 포함되어 구현될 수 있음은 물론이다.As shown in FIG. 2, the multiview
상기 다시점 비디오 스트리밍 시스템(100)은 통신모듈(110), 복호화모듈(120), 디스플레이모듈(130), 인식모듈(140) 및 제어모듈(150)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 다시점 비디오 스트리밍 시스템(100) 은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다.The multi-view
상기 다시점 비디오 스트리밍 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 다시점 비디오 스트리밍 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 다시점 비디오 스트리밍 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 통신모듈(110), 복호화모듈(120), 디스플레이모듈(130), 인식모듈(140) 및/또는 제어모듈(150)은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 통신모듈(110), 복호화모듈(120), 디스플레이모듈(130), 인식모듈(140) 또는 제어모듈(150) 등 개별적인 모듈 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 개별 모듈들이 수행하는 기능을 실현할 수도 있다.The multi-view
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.In this specification, a module may mean a functional and structural combination of hardware for carrying out the technical idea of the present invention and software for driving the hardware. For example, the module may mean a logical unit of a predetermined code and a hardware resource for executing the predetermined code, and it does not necessarily mean a physically connected code or a kind of hardware. Can be easily deduced to the average expert in the field of < / RTI >
상기 제어모듈(150)은 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템(100)에 포함된 다른 구성들(예컨대, 통신모듈(110), 복호화모듈(120), 디스플레이모듈(130) 및/또는 인식모듈(140) 등)의 기능 및/또는 리소스를 제어할 수 있다.The
상기 통신모듈(110)은 상기 다시점 비디오 스트리밍 서버(300)로부터 소정의 다시점 비디오를 구성하는 복수의 벌크 파일 중 일부의 벌크 파일 각각에 상응하는 벌크 스트림을 수신할 수 있다. 특히, 상기 통신모듈(110)은 상기 복수의 벌크 파일 중 사용자 단말(200)에 디스플레이되고 있는 개별 시점 비디오를 포함하는 벌크 파일에 상응하는 벌크 스트림을 수신할 수 있으며, 경우에 따라서는 후술할 제어모듈(150)의 제어에 의해 상기 벌크 파일과 인접한 인접 벌크 파일에 상응하는 인접 벌크 스트림을 더 수신할 수 있다.The
상기 다시점 비디오 스트리밍 서버(300)에 저장된 복수의 벌크 파일 각각은 MVC에 의해 부호화된 복수의 개별 시점 비디오를 포함할 수 있는데, 이 경우, 상기 복호화모듈(120)은 상기 통신모듈(110)에 의해 수신되는 벌크 스트림에 포함된 복수의 개별 시점 비디오 스트림을 복호화할 수 있다.Each of the plurality of bulk files stored in the multi-view
한편, 상기 디스플레이모듈(130)은 상기 통신모듈(110)이 수신한 벌크 스트림에 포함되어 있는 복수의 개별 시점 비디오 스트림 중 어느 하나를 상기 사용자 단말(200)에 디스플레이할 수 있다.The
도 4는 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템(100)에서 벌크 스트림으로부터 개별 시점 비디오를 분리하여 사용자 단말(200)에 제공하는 방법을 설명하기 위한 도면이다. 도 4의 예시에서는 도 3에 도시된 6개의 벌크 스트림 중 제2벌크 스트림을 수신하며, 사용자 단말(200)로 상기 제2 벌크 스트림에 포함되어 있는 개별 시점 비디오 스트림 중 제9시점 비디오 스트림을 디스플레이 하는 것을 도시한다.FIG. 4 is a diagram for describing a method of separating individual view videos from a bulk stream and providing them to the
도 4를 참조하면, 상기 통신모듈(110)이 상기 다시점 비디오 스트리밍 시스템(100)로부터 제2 벌크 스트림을 수신하면, 상기 복호화모듈(120)은는 상기 제2벌크 스트림을 복호화/역다중화하여 제7시점 비디오 스트림 내지 제12시점 비디오 스트림을 분리할 수 있다. 분리된 개별 시점 비디오 스트림은 각각 버퍼에 저장될 수 있다. 그러면, 상기 디스플레이모듈(130)은 각각의 버퍼에 저장된 비트 스트림으로부터 사용자 단말(200)에 디스플레이될 수 있는 각 개별의 영상을 생성하고, 그 중 제9시점 비디오 스트림에 상응하는 영상을 상기 사용자 단말(200)에 출력할 수 있다.Referring to FIG. 4, when the
이와 같이, 본 발명의 기술적 사상에 따르면, 상기 다시점 비디오 스트리밍 시스템(100)은 다시점 비디오에 포함된 모든 개별 시점 비디오 스트림을 수신하는 것이 아니라 그 중 일부만을 벌크 스트림 단위로 수신할 수 있다. 따라서, 본 발명의 기술적 사상에 따른 다시점 비디오 스트리밍 시스템(100)은 다시점 비디오에 포함된 모든 개별 시점 비디오 스트림을 수신하는 종래의 방법에 비하여 스트리밍에 필요한 대역폭을 현저히 줄일 수 있는 효과가 있다.As described above, according to the spirit of the present invention, the multi-view
한편, 상기 인식모듈(140)은 소정의 제1개별 시점 비디오 스트림이 상기 사용자 단말(200)에 디스플레이되는 중에 시점이동명령을 인식할 수 있다. 시점이동명령은 상기 사용자 단말(200) 또는 상기 다시점 비디오 스트리밍 시스템(100)이 구비하고 있는 소정의 입력장치(미도시)를 통해 입력될 수 있다.The
상기 입력장치는 키보드, 키패드, 터치 패드, 터치 스트린 등 다양할 수 있으며, 상기 시점이동명령은 시점 이동 방향에 대한 정보를 포함할 수 있다. 이동 가능한 시점은 수직 양방향, 수평 양방향, 대각선 양방향 등 다양할 수 있다.The input device may vary from a keyboard, a keypad, a touch pad, a touch screen, and the like. The viewpoint movement command may include information about a viewpoint movement direction. The movable point of time may be vertical, bi-directional, horizontal bi-directional, diagonal bi-directional, and the like.
도 5는 터치 스크린을 통하여 시점이동명령이 입력되는 예를 도시한 도면이다.FIG. 5 is a diagram for one example of inputting a viewpoint moving command through a touch screen.
도 5에 도시된 바와 같이, 상기 사용자 단말(200)에 구비된 터치 스크린(210) 상에서 손가락이나 스타일러스 팬 등의 객체의 움직임이 있는 경우, 상기 인식모듈(140)은 객체의 움직임을 감지하고, 상기 객체의 움직임이 감지되면 시점이동명령이 입력된 것으로 판단할 수 있다. 예를 들어, 상기 인식모듈(140)은 객체가 좌로 움직이는 경우에는 우측 시점으로의 시점이동명령이 입력된 것으로 인식할 수 있으며, 객체가 우측으로 움직이는 경우 좌측 시점으로의 시점이동명령이 입력된 것으로 인식할 수 있다. 이와 반대로, 객체가 움직이는 방향으로의 시점이동명령으로 인식하는 실시예도 있을 수 있다.As shown in FIG. 5, when there is a movement of an object such as a finger or a stylus fan on the
상기 인식모듈(140)이 시점이동명령을 인식하는 경우, 상기 디스플레이모듈(130)은 상기 시점이동명령에 응답하여, 상기 사용자 단말(200) 디스플레이 중인 상기 제1 개별 시점 비디오 스트림 대신 상기 제1 개별 시점 비디오 스트림과 인접한 제2 개별 시점 비디오 스트림을 상기 사용자 단말에 디스플레이함으로써 상기 시점이동명령을 수행할 수 있다. 이때, 상기 시점이동명령이 제1방향으로의 시점이동명령인 경우 상기 제2 개별 시점 비디오 스트림은 상기 제1개별 시점 비디오 스트림과 상기 제1방향으로 인접하며, 상기 시점이동명령이 상기 제1방향과 반대 방향인 제2방향으로의 시점이동명령인 경우 상기 제2 개별 시점 비디오 스트림은 상기 제1개별 시점 비디오 스트림과 상기 제2방향으로 인접할 수 있다.When the
상기 제어모듈(150)은 상기 사용자 단말(200)에 디스플레이 중인 개별 시점 비디오 스트림의 순번에 기초하여 상기 디스플레이 중인 개별 시점 비디오 스트림을 포함하는 벌크 스트림(제1 벌크 스트림)과 인접한 벌크 스트림(제2 벌크 스트림)의 요청 여부를 판단할 수 있으며, 상기 제어모듈(150)이 상기 제2벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 통신모듈(110)은 상기 다시점 비디오 스트리밍 서버(300)로 상기 제2벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버(300)로부터 상기 제2 벌크 스트림을 더 수신할 수 있다.The
일 실시예에서, 상기 제어모듈(150)은 상기 사용자 단말(200)에 디스플레이 중인 개별 시점 비디오 스트림의 순번이 소정의 한계 범위에 속하는 경우 상기 제2 벌크 스트림을 요청해야 하는 것으로 판단할 수 있다. 여기서, 개별 시점 비디오 스트림의 순번은 상기 개별 시점 비디오 스트림을 포함하는 제1 벌크 스트림 내에서의 순번일 수도 있으며, 전체 다시점 비디오 내에서의 순번일 수도 있다.In one embodiment, the
이를 위하여, 상기 제어모듈(150)은 상기 통신모듈(110)을 통해 상기 다시점 비디오 스트리밍 서버(300)로부터 스트리밍될 다시점 비디오를 구성하는 벌크 스트림의 개수나 각 벌크 스트림에 포함된 개별 시점 비디오 스트림의 개수 및/또는 상기 다시점 비디오를 구성하는 개별 시점 비디오 스트림의 총 개수에 대한 정보를 획득할 수 있다.To this end, the
상기 한계 범위는 상기 제1 벌크 스트림 내의 가장 작은 순번으로부터 일정 범위인 제1측 한계 범위(예를 들면, 좌측 한계 범위) 및 상기 제1 벌크 스트림 내의 가장 높은 순번으로부터 일정 범위인 제2측 한계 범위(예를 들면, 우측 한계 범위)를 포함할 수 있으며, 이 경우, 상기 제어모듈(150)은 상기 사용자 단말(200)에 디스플레이 중인 개별 시점 비디오 스트림의 순번이 제1측 한계 범위(예를 들면, 좌측 한계 범위) 이내인 경우 제1방향(예를 들면, 좌측 방향)으로 인접한 벌크 스트림을 더 수신해야 하는 것을 판단할 수 있으며, 상기 사용자 단말(200)에 디스플레이 중인 개별 시점 비디오 스트림의 순번이 제2측 한계 범위(예를 들면, 우측 한계 범위) 이내인 경우 제1방향과 반대 방향인 제2방향(예를 들면, 우측 방향)으로 인접한 벌크 스트림을 더 수신해야 하는 것을 판단할 수 있다.The limit range is a first side limit range (e.g., left limit range) that is a range from the smallest sequence in the first bulk stream and a second side limit range that is a range from the highest sequence in the first bulk stream. For example, the right limit range may be included. In this case, the
도 6은 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템(100)이 벌크 스트림을 수신하는 예를 설명하기 위한 도면이다. 도 6은 좌측 한계 범위가 가장 낮은 순번(즉, 1)으로부터 두 개(즉, 1, 2)이며, 우측 한계 범위는 가장 높은 순번(즉, 6)으로부터 두 개(즉, 5, 6)로 설정되어 있는 경우를 도시하고 있다. 또한, 도 6(a) 내지 도 6(h)는 우측 방향 시점이동명령이 계속 입력되는 경우를 시간 순으로 도시하고 있다. 한편, 도 6에서 굵은 화살표는 사용자 단말에 디스플레이 되는 개별 시점 비디오 스트림을 나타내며, 가는 화살표는 스트리밍 되짐난 디스플레이되지는 않는 개별 시점 비디오 스트림을 나타낸다. 또한, 하나의 점선 상자는 하나의 벌크 스트림을 나타낸다.6 is a diagram for explaining an example in which a multi-view
먼저 도 6(a)에 도시된 바와 같이, 상기 다시점 비디오 스트리밍 시스템(100)은 벌크 스트림 Fi에 포함되어 있는 개별 시점 비디오 스트림 중 v(i, 3)을 사용자 단말(200)에 디스플레이하고 있는 경우, v(i, 3)의 F1내에서의 순번은 3으로서 한계 범위 밖이므로 상기 제어모듈(150)은 인접 벌크 스트림을 더 수신할 필요가 없다고 판단할 수 있다. 따라서, 6(a)에서는 상기 다시점 비디오 스트리밍 시스템(100)은 벌크 스트림 Fi만을 수신할 수 있다.First, as shown in FIG. 6 (a), the multi-view
도 6(a)와 같은 상황에서 우측 방향 시점이동명령이 입력되는 경우, 도 6(b)에 도시된 바와 같이, 상기 다시점 비디오 스트리밍 시스템(100)은 시점을 이동하여 개별 시점 스트림 v(i, 4)를 상기 사용자 단말(200)에 디스플레이하며, v(i, 4)의 Fi 내에서의 순번은 4로서 한계 범위 밖이므로 상기 제어모듈(150)은 인접 벌크 스트림을 더 수신할 필요가 없다고 판단할 수 있다. 따라서, 6(b)에서도 상기 다시점 비디오 스트리밍 시스템(100)은 벌크 스트림 Fi만을 수신할 수 있다.When a rightward view movement command is input in the situation as shown in FIG. 6 (a), as shown in FIG. 6 (b), the multiview
도 6(b)와 같은 상황에서 다시 우측 방향 시점이동명령이 입력되는 경우, 도 6(c)에 도시된 바와 같이, 상기 다시점 비디오 스트리밍 시스템(100)은 시점을 이동하여 개별 시점 스트림 v(i, 5)를 상기 사용자 단말(200)에 디스플레이하며, v(i, 5)의 Fi 내에서의 순번은 5로서 우측 한계 범위 이내이므로 상기 제어모듈(150)은 인접 벌크 스트림을 더 수신하여야 하는 것으로 판단할 수 있다. 따라서, 6(c)에서 상기 다시점 비디오 스트리밍 시스템(100)은 벌크 스트림 Fi 뿐만 아니라 이와 우측으로 인접한 벌크 스트림 Fi+1을 더 수신할 수 있다.When the rightward view movement command is input again in the situation as shown in FIG. 6 (b), as shown in FIG. 6 (c), the multiview
도 6(c)와 같은 상황에서 다시 우측 방향 시점이동명령이 입력되는 경우, 도 6(d)에 도시된 바와 같이, 상기 다시점 비디오 스트리밍 시스템(100)은 시점을 이동하여 개별 시점 스트림 v(i, 6)를 상기 사용자 단말(200)에 디스플레이하며, v(i, 5)의 Fi내에서의 순번은 6로서 우측 한계 범위 이내이므로 상기 제어모듈(150)은 우측으로 인접 벌크 스트림을 더 수신하여야 하는 것으로 판단할 수 있다. 따라서, 6(d)에서도 상기 다시점 비디오 스트리밍 시스템(100)은 벌크 스트림 Fi 및 벌크 스트림 Fi+1을 수신할 수 있다.When the rightward view-movement command is input again in the situation as shown in FIG. 6C, as shown in FIG. 6D, the multi-view
한편, 도 6(d)와 같은 상황에서 다시 우측 방향 시점이동명령이 입력되는 경우, 도 6(e)에 도시된 바와 같이, 상기 다시점 비디오 스트리밍 시스템(100)은 시점을 이동하기 위하여 벌크 스트림 Fi+1의 첫 번째 개별 시점 비디오 스트림 v(i+1, 1)을 사용자 단말(200)에 디스플레이 할 수 있다. 만약, 도 6(d)에서 벌크 스트림 Fi+1을 더 수신하지 않고 벌크 스트림 Fi만을 수신하고 있었다면, 우측 방향 시점이동명령이 입력된 이후에 벌크 스트림 Fi+1을 수신하게 될 것이므로 네트워크 지연 또는 버퍼링 등으로 인하여 끊김 현상이 발생할 수 있다. 하지만 본 발명의 일 실시예에 따르면, 그 이전부터 인접 벌크 스트림 Fi+1을 더 수신하고 있으므로 끊김 현상이 발생하지 않을 수 있는 효과가 있다.On the other hand, when the rightward view movement command is input again in the situation as shown in FIG. 6 (d), as shown in FIG. 6 (e), the multiview
한편, 사용자 단말(200)에 디스플레이 중인 스트림 v(i+1, 1)의 Fi+1 내에서의 순번은 1로서 좌측 한계 범위 이내이므로 상기 제어모듈(150)은 좌측으로 인접 벌크 스트림을 더 수신하여야 하는 것으로 판단할 수 있다. 따라서, 6(d)에서는 상기 다시점 비디오 스트리밍 시스템(100)은 벌크 스트림 Fi+1 뿐만 아니라 이와 좌측으로 인접한 벌크 스트림 Fi을 더 수신하여, 좌측 방향 시점이동명령이 입력될 것을 대비할 수 있다.On the other hand, since the sequence number within F i + 1 of stream v (i + 1, 1) being displayed on the
도 6(e)와 같은 상황에서 다시 우측 방향 시점이동명령이 입력되는 경우, 도 6(f)에 도시된 바와 같이, 상기 다시점 비디오 스트리밍 시스템(100)은 시점을 이동하여 개별 시점 스트림 v(i+1, 2)를 상기 사용자 단말(200)에 디스플레이하며, v(i+1, 2)의 F1내에서의 순번은 2로서 좌측 한계 범위 이내이므로 상기 제어모듈(150)은 인접 벌크 스트림을 더 수신하여야 하는 것으로 판단할 수 있다. 따라서, 6(f)에서 상기 다시점 비디오 스트리밍 시스템(100)은 벌크 스트림 Fi+1 뿐만 아니라 이와 우측으로 인접한 벌크 스트림 Fi+1을 더 수신할 수 있다.When the rightward view-movement command is input again in the situation as shown in FIG. 6 (e), as shown in FIG. 6 (f), the multiview
도 6(f)와 같은 상황에서 다시 우측 방향 시점이동명령이 입력되는 경우, 도 6(g)에 도시된 바와 같이, 상기 다시점 비디오 스트리밍 시스템(100)은 시점을 이동하여 개별 시점 스트림 v(i+1, 3)을 상기 사용자 단말(200)에 디스플레이하며, v(i+3, 3)의 Fi+1 내에서의 순번은 3으로서 한계 범위 밖이므로 상기 제어모듈(150)은 인접 벌크 스트림을 더 수신할 필요가 없다고 판단할 수 있다. 따라서, 6(g)에서 상기 다시점 비디오 스트리밍 시스템(100)은 벌크 스트림 Fi+1만을 수신할 수 있다.When the rightward view-movement command is input again in the situation as shown in FIG. 6 (f), as shown in FIG. 6 (g), the multiview
이후, 우측 방향 시점이동명령이 계속 입력되어, 도 6(h)에 도시된 바와 같이, 상기 다시점 비디오 스트리밍 시스템(100)이 개별 시점 스트림 v(i+1, 5)를 상기 사용자 단말(200)에 디스플레이하게 되는 경우, v(i+1, 5)의 Fi+1내에서의 순번은 5로서 우측 한계 범위 이내이므로 상기 제어모듈(150)은 우측으로 인접 벌크 스트림을 더 수신하여야 하는 것으로 판단할 수 있다. 따라서, 6(h)에서 상기 다시점 비디오 스트리밍 시스템(100)은 벌크 스트림 Fi+1 뿐만 아니라 이와 우측으로 인접한 벌크 스트림 Fi+2를 더 수신할 수 있다.Subsequently, a rightward view movement command is continuously input, and as shown in FIG. 6 (h), the multiview
한편, 상기 한계 범위는 상술한 예에서와 같이 미리 결정된 수치 범위일 수도 있지만, 실시예에 따라서는 상기 사용자 단말(200)에 구비된 터치 스크린 상의 객체의 움직임 속도, 이를테면, 접촉점의 이동 속도에 기초하여 결정되는 수치 범위일 수 있다. 이를 위하여, 상기 인식모듈(140)은 상기 객체의 움직임 속도를 더 판단할 수 있다. 일부 실시예에서, 속도는 여러 시간 구간(예를 들면, 디스플레이의 프레임 레이트의 역수) 동안 결정된 값의 시간 평균일 수 있다. 바람직하게는 상기 한계 범위는 상기 객체의 움직임 속도가 빠를수록 더 넓은 범위로 결정될 수 있다. 디스플레이 중인 개별 시점 비디오 스트림이 포함된 벌크 스트림에서 그와 인접한 벌크 스트림으로 넘어가는 기간이 짧아지기 때문이다. 즉, 시점이동명령을 입력하는 객체의 움직임이 느린 경우에는 한계 범위를 좁게 결정하여 벌크 스트림을 전송하기 위한 대역폭을 효율적으로 이용할 수 있으며, 객체의 움직임이 빠른 경우에는 한계 범위를 넓게 결정하여 시점이 인접 벌크 스트림으로 전환될 때 발생할 수 있는 끊김을 방지할 수 있다.On the other hand, the limit range may be a predetermined numerical range as in the above-described example, but according to an embodiment, based on the movement speed of the object on the touch screen provided in the
마찬가지 이유에서, 상기 제어모듈(150)은 상기 객체의 움직임 속도에 기초하여 상기 제2 벌크 스트림과 인접한 적어도 하나의 추가 벌크 스트림의 요청 여부를 더 판단할 수 있으며, 상기 통신모듈(110)은 상기 제어모듈(150)이 상기 추가 벌크 스트림을 요청해야 하는 것으로 판단한 경우 상기 다시점 비디오 스트리밍 서버로 상기 추가 벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버로부터 상기 추가 벌크 스트림을 더 수신할 수 있다. 이 경우, 요청되는 추가 벌크 스트림의 개수는 상기 객체의 움직임 속도에 기초하여 결정될 수 있다. 바람직하게는 객체의 움직임 속도가 빠를수록 추가적으로 수신하여야 하는 추가 벌크 스트림의 개수는 크게 설정될 수 있다.For the same reason, the
한편, 실시예에 따라 상기 한계 범위 및/또는 추가 벌크 스트림의 개수는 상기 객체의 움직임 속도에만 영향을 받는 것이 아닐 수 있으며, 상기 객체의 움직임 속도 외에도 벌크 스트림 내에 포함된 개별 시점 비디오 스트림의 개수나 벌크 스트림의 개수 등 다양한 팩터가 더 고려되어 결정될 수 있다.According to an embodiment, the limit range and / or the number of additional bulk streams may not be influenced only by the movement speed of the object, and in addition to the movement speed of the object, the number of individual view video streams included in the bulk stream or Various factors such as the number of bulk streams may be further considered and determined.
한편, 일 실시예에서, 상기 제어모듈(150)은 상기 통신모듈(110)이 수신한 벌크 스트림에 포함된 모든 개별 시점 비디오 스트림을 상기 다시점 비디오 스트리밍 시스템이 구비한 캐쉬 메모리에 저장할 수 있다. 이후, 상기 제어모듈(150)은 시점이동명령이 있는 경우, 이동된 시점에 상응하는 개별 시점 비디오가 상기 캐쉬 메모리에 저장되어 있는지 여부를 판단하고, 판단 결과 저장되어 있는 경우에는 상기 다시점 비디오 스트리밍 서버로부터 벌크 스트림을 요청하는 대신 캐쉬 메모리에 저장된 개별 시점 비디오가 상기 사용자 단말(200)에 디스플레이되도록 제어할 수 있다.Meanwhile, in one embodiment, the
도 7은 도 2에 도시된 본 발명의 일 실시예에 따른 다시점 비디오 스트리밍 시스템(100)이 동작하는 방법을 도시한 흐름도이다. 상기 다시점 비디오 스트리밍 시스템(100)은 도 7에 도시된 방법을 계속적으로 수행할 수 있다.7 is a flowchart illustrating a method of operating a multi-view
도 7을 참조하면, 상기 다시점 비디오 스트리밍 시스템(100)은 다시점 비디오를 구성하며 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 복수의 벌크 파일에 분할하여 저장하고, 벌크 파일 단위로 스트리밍하는 다시점 비디오 스트리밍 서버(300)로부터 상기 복수의 벌크 파일 중 제1 벌크 파일에 상응하는 제1 벌크 스트림을 수신할 수 있다(S100).Referring to FIG. 7, the multi-view
또한, 상기 다시점 비디오 스트리밍 시스템(100)은 수신한 상기 제1벌크 스트림에 포함된 복수의 개별 시점 비디오 스트림을 복호화하고(S110), 제1 개별 시점 비디오 스트림을 사용자 단말(200)에 디스플레이할 수 있다(S120).In addition, the multi-view
한편, 상기 다시점 비디오 스트리밍 시스템(100)은 상기 사용자 단말(200)에 디스플레이 중인 개별 시점 비디오 스트림(즉, 제1개별 시점 비디오 스트림)의 순번에 기초하여 상기 제1 벌크 스트림과 인접한 제2 벌크 스트림의 요청 여부를 판단할 수 있다(S130).On the other hand, the multi-view
만약 상기 제2벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 다시점 비디오 스트리밍 시스템(100)은 상기 다시점 비디오 스트리밍 서버(300)로 상기 제2벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버(300)로부터 상기 제2 벌크 스트림을 더 수신하고 이를 복호화 할 수 있다(S140, S150).If it is determined that the second bulk stream should be requested, the multi-view
한편, 상기 다시점 비디오 스트리밍 시스템(100)은 시점이동명령을 인식할 수 있다(S160).On the other hand, the multi-view
시점이동명령을 인식한 경우, 상기 다시점 비디오 스트리밍 시스템(100)은 상기 제1개별 시점 비디오 스트림과 인접한 제2개별시점 비디오 스트림을 디스플레이할 수 있으며(S170), 상기 사용자 단말(200)에 디스플레이 중인 개별 시점 비디오 스트림(즉, 제2개별 시점 비디오 스트림)의 순번에 기초하여 상기 제1 벌크 스트림과 인접한 제2 벌크 스트림의 요청 여부를 판단할 수 있다(S180).If the view movement command is recognized, the multi-view
만약 상기 제2벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 다시점 비디오 스트리밍 시스템(100)은 상기 다시점 비디오 스트리밍 서버(300)로 상기 제2벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버(300)로부터 상기 제2 벌크 스트림을 더 수신하고 이를 복호화 할 수 있다(S190, S200).If it is determined that the second bulk stream should be requested, the multi-view
한편, 본 발명의 다른 일 실시예에 따르면, 상기 다시점 비디오 스트리밍 시스템(100)은 사용자 단말(200)로 다시점 비디오를 스트리밍하도록 구현될 수 있는데, 도 8은 이와 같은 실시예에 따른 다시점 비디오 스트리밍 시스템을 나타내는 블록도이다.On the other hand, according to another embodiment of the present invention, the multi-view
도 8을 참조하면, 상기 다시점 비디오 스트리밍 시스템(100)은 저장모듈(160), 스트리밍모듈(170), 명령수신모듈(180) 및 제어모듈(190)을 포함할 수 있다. 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 다시점 비디오 스트리밍 시스템(100) 은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 도 8을 설명함에 있어 앞서 설명한 내용과 동일하거나 용이하게 도출될 수 있는 내용에 대해서는 상세한 설명은 생략하기로 한다.Referring to FIG. 8, the multiview
상기 저장모듈(160)은 다시점 비디오를 구성하며 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 복수의 벌크 파일에 분할하여 소정의 DB(400)에 저장할 수 있다.The
상기 스트리밍모듈(170)은 상기 복수의 벌크 파일 중 제1 벌크 파일에 상응하는 제1 벌크 스트림을 사용자 단말(200)로 스트리밍할 수 있다. 이때, 상기 제1 벌크 스트림은 상기 사용자 단말(200)에 디스플레이되는 개별 시점 비디오 스트림을 포함할 수 있다.The
한편, 상기 사용자 단말(200)은 사용자가 시점 이동을 지시한 경우, 상기 다시점 비디오 스트리밍 시스템(100)으로 시점이동명령을 전송할 수 있다. 그러면, 상기 명령수신모듈(180)은 상기 제1벌크 스트림을 사용자 단말(200)에 스트리밍하는 중에 상기 사용자 단말(200)로부터 시점이동명령을 수신할 수 있다.Meanwhile, when the user instructs the viewpoint movement, the
상기 제어모듈(190)은 상기 사용자 단말(200)에 디스플레이 중인 개별 시점 비디오 스트림의 순번을 판단할 수 있다. 일 실시예에서, 상기 제어모듈(190)은 사용자 단말(200)로 스트리밍되는 벌크 스트림의 순번 및 상기 사용자 단말(200)에서 디스플레이 중인 개별 벌크 스트림의 순번을 모니터링하고 있을 수 있으며, 상기 시점이동명령이 수신되는 경우 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번을 갱신할 수 있다. 예를 들어, 상기 제어모듈(190)은 상기 시점이동명령이 좌측 방향 시점이동명령인 경우 상기 사용자 단말(200)에 디스플레이 중인 개별 시점 비디오 스트림의 순번을 하나 감소하고, 상기 시점이동명령이 좌측 방향 시점이동명령인 경우 상기 사용자 단말(200)에 디스플레이 중인 개별 시점 비디오 스트림의 순번을 하나 증가시킬 수 있다.The
또한, 상기 제어모듈(150)은 판단한 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번에 기초하여 상기 제1 벌크 스트림과 인접한 제2 벌크 스트림의 전송 여부를 판단할 수 있다.In addition, the
만약, 상기 제어모듈(190)이 상기 제2벌크 스트림을 전송해야 하는 것으로 판단한 경우, 상기 스트리밍모듈(170)은 상기 사용자 단말(200)로 상기 제2 벌크 스트림을 더 스트리밍할 수 있다.If it is determined that the
도 9는 도 8에 도시된 다시점 비디오 스트리밍 시스템(100)의 동작방법을 나타내는 흐름도이다. 상기 다시점 비디오 스트리밍 시스템(100)은 도 9에 도시된 방법을 계속적으로 수행할 수 있다.9 is a flowchart illustrating a method of operating the multi-view
도 9를 참조하면, 다시점 비디오 스트리밍 시스템(100)은 다시점 비디오를 구성하며 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 복수의 벌크 파일에 분할하여 저장할 수 있다(S210).Referring to FIG. 9, the multi-view
또한, 상기 다시점 비디오 스트리밍 시스템(100)은 상기 복수의 벌크 파일 중 제1 벌크 파일에 상응하는 제1 벌크 스트림을 사용자 단말로 스트리밍할 수 있다(S220).In addition, the multi-view
상기 다시점 비디오 스트리밍 시스템(100)이 상기 제1벌크 스트림을 스트리밍하는 중에 시점이동명령을 수신하는 경우, 상기 시점이동명령에 응답하여 상기 사용자 단말(200)에 디스플레이 중인 개별 시점 비디오 스트림의 순번을 판단할 수 있다(S230).When the multi-view
한편, 상기 다시점 비디오 스트리밍 시스템(100)은 판단된 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번에 기초하여 상기 제1 벌크 스트림과 인접한 제2 벌크 스트림의 전송 여부를 판단할 수 있으며(S240), 상기 제2벌크 스트림을 전송해야 하는 것으로 판단한 경우, 상기 사용자 단말(200)로 상기 제2 벌크 스트림을 더 스트리밍할 수 있다(S250).Meanwhile, the multi-view
한편, 구현 예에 따라서, 상기 다시점 비디오 스트리밍 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다. 여기서, 상기 프로그램은, 프로세서에 의해 실행되는 경우, 본 실시예에 따른 다시점 비디오 스트리밍 시스템(100)으로 하여금, 상술한 다시점 비디오 스트리밍 시스템 제공방법을 수행하도록 할 수 있다.In some implementations, the multi-view
한편, 본 발명의 실시예에 따른 다시점 비디오 스트리밍 시스템 제공방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, a method of providing a multi-view video streaming system according to an exemplary embodiment of the present invention may be implemented as a computer-readable program command and stored in a computer-readable recording medium. And the target program may also be stored in a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.Program instructions to be recorded on a recording medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of software.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Examples of the computer-readable recording medium include magnetic media such as a hard disk, a floppy disk and a magnetic tape, optical media such as CD-ROM and DVD, a floptical disk, And hardware devices that are specially configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like. In addition, the above-described medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, and the like. The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Examples of program instructions include machine language code such as those produced by a compiler, as well as devices for processing information electronically using an interpreter or the like, for example, a high-level language code that can be executed by a computer.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present invention is intended for illustration, and it will be understood by those skilled in the art that the present invention may be easily modified in other specific forms without changing the technical spirit or essential features of the present invention. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It is intended that the present invention covers the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents. .
Claims (23)
(b) 상기 다시점 비디오 스트리밍 시스템이, 상기 제1 벌크 스트림에 포함된 상기 제1 개별 시점 비디오 스트림을 상기 사용자 단말에 디스플레이하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법.
(a) The multi-view video streaming system configures a multi-view video, divides and stores a plurality of individual view videos captured at different viewpoints into a plurality of bulk data, and stores the bulk data. Receiving a first bulk stream corresponding to a first bulk data of the plurality of bulk data from a multi-view video streaming server streaming in units, wherein one bulk data includes a plurality of adjacent individual viewpoint video, The first bulk stream includes a first individual view video stream that the multiview video streaming system displays on a user terminal; And
(b) the multi-view video streaming system displaying the first individual view video stream included in the first bulk stream on the user terminal.
(c) 상기 다시점 비디오 스트리밍 시스템이, 상기 제1개별 시점 비디오 스트림을 디스플레이하는 중에 시점이동명령을 인식하는 단계;
(d) 상기 다시점 비디오 스트리밍 시스템이, 상기 시점이동명령에 응답하여, 상기 제1 개별 시점 비디오 스트림과 인접한 제2 개별 시점 비디오 스트림을 상기 사용자 단말에 디스플레이하는 단계;
(e) 상기 다시점 비디오 스트리밍 시스템이, 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번에 기초하여 상기 제1 벌크 스트림과 인접한 제2 벌크 스트림의 요청 여부를 판단하는 단계; 및
(f) 상기 다시점 비디오 스트리밍 시스템이, 상기 제2벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 다시점 비디오 스트리밍 서버로 상기 제2벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버로부터 상기 제2 벌크 스트림을 더 수신하는 단계를 더 포함하는 다시점 비디오 스트리밍 시스템 제공방법.
The method of claim 1, wherein the multi-view video streaming system is provided.
(c) recognizing, by the multiview video streaming system, a view movement command while displaying the first individual view video stream;
(d) displaying, by the multiview video streaming system, a second individual view video stream adjacent to the first individual view video stream to the user terminal in response to the view shift command;
(e) determining, by the multiview video streaming system, whether to request a second bulk stream adjacent to the first bulk stream based on the sequence number of the individual view video stream being displayed on the user terminal; And
(f) if the multi-view video streaming system determines that the second bulk stream should be requested, requesting the second bulk stream to the multi-view video streaming server to request the second bulk stream from the multi-view video streaming server. A multi-view video streaming system providing method further comprising the step of receiving a stream.
상기 다시점 비디오 스트리밍 서버에 저장된 상기 복수의 벌크 데이터 각각은 MVC(Multi-View Coding)에 의해 부호화된 복수의 개별 시점 비디오를 포함하며,
상기 다시점 비디오 스트리밍 시스템 제공방법은,
상기 다시점 비디오 스트리밍 시스템이, 상기 제1벌크 스트림을 수신한 경우, 상기 제1벌크 스트림에 포함된 복수의 개별 시점 비디오 스트림을 복호화하는 단계; 및
상기 다시점 비디오 스트리밍 시스템이, 상기 제2벌크 스트림을 수신한 경우, 상기 제2벌크 스트림에 포함된 복수의 개별 시점 비디오 스트림을 복호화하는 단계를 더 포함하는 다시점 비디오 스트리밍 시스템 제공방법.
3. The method of claim 2,
Each of the plurality of bulk data stored in the multiview video streaming server includes a plurality of individual view videos encoded by multi-view coding (MVC),
A method for providing a multi-view video streaming system,
Decoding, by the multiview video streaming system, a plurality of individual view video streams included in the first bulk stream when the first bulk stream is received; And
And if the multiview video streaming system receives the second bulk stream, decoding the plurality of individual view video streams included in the second bulk stream.
상기 (c) 단계는,
상기 사용자 단말에 구비된 터치 스크린 상에서 이루어지는 객체의 움직임을 감지하는 단계; 및
상기 객체의 움직임이 감지되면 상기 시점이동명령이 입력된 것으로 판단하는 단계를 포함하는 다시점 비디오 스트리밍 시스템 제공방법.
3. The method of claim 2,
The step (c)
Detecting a movement of an object on a touch screen provided in the user terminal; And
And determining that the viewpoint movement command is input when the movement of the object is detected.
상기 다시점 비디오 스트리밍 시스템 제공방법은,
상기 객체의 움직임 속도를 판단하는 단계를 더 포함하며,
상기 (e) 단계는,
상기 다시점 비디오 스트리밍 시스템이, 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번이 소정의 한계 범위에 속하는 경우 상기 제2 벌크 스트림을 요청해야 하는 것으로 판단하는 단계를 포함하되,
상기 한계 범위는 상기 객체의 움직임 속도에 기초하여 결정되는 다시점 비디오 스트리밍 시스템 제공방법.
5. The method of claim 4,
A method for providing a multi-view video streaming system,
Determining the movement speed of the object;
The step (e)
And determining, by the multi-view video streaming system, if the sequence number of the individual view video stream being displayed on the user terminal falls within a predetermined limit range, the second bulk stream should be requested.
And the limit range is determined based on a movement speed of the object.
상기 다시점 비디오 스트리밍 시스템 제공방법은,
상기 다시점 비디오 스트리밍 시스템이, 상기 객체의 움직임 속도에 기초하여 상기 제2 벌크 스트림과 인접한 적어도 하나의 추가 벌크 스트림의 요청 여부를 판단하는 단계; 및
상기 다시점 비디오 스트리밍 시스템이, 상기 추가 벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 다시점 비디오 스트리밍 서버로 상기 추가 벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버로부터 상기 추가 벌크 스트림을 더 수신하는 단계를 포함하되,
요청되는 추가 벌크 스트림의 개수는 상기 객체의 움직임 속도에 기초하여 결정되는 다시점 비디오 스트리밍 시스템 제공방법.
The method of claim 5,
A method for providing a multi-view video streaming system,
Determining, by the multi-view video streaming system, whether to request at least one additional bulk stream adjacent to the second bulk stream based on a movement speed of the object; And
If the multi-view video streaming system determines that the additional bulk stream should be requested, requesting the additional bulk stream to the multi-view video streaming server to further receive the additional bulk stream from the multi-view video streaming server. Including but not limited to:
The number of additional bulk streams requested is determined based on the movement speed of the object.
상기 시점이동명령이 제1방향으로의 시점이동명령인 경우, 상기 제2 개별 시점 비디오 스트림은 상기 제1개별 시점 비디오 스트림과 상기 제1방향으로 인접하며, 상기 제2벌크 스트림은 상기 제1벌크 스트림과 상기 제1방향으로 인접하며,
상기 시점이동명령이 상기 제1방향과 반대 방향인 제2방향으로의 시점이동명령인 경우, 상기 제2 개별 시점 비디오 스트림은 상기 제1개별 시점 비디오 스트림과 상기 제2방향으로 인접하며, 상기 제2벌크 스트림은 상기 제1벌크 스트림과 상기 제2방향으로 인접하는 다시점 비디오 스트리밍 시스템 제공방법.
3. The method of claim 2,
When the view shift command is a view shift command in a first direction, the second individual view video stream is adjacent to the first individual view video stream in the first direction, and the second bulk stream is the first bulk. Adjacent to the stream in the first direction,
The second individual view video stream is adjacent to the first individual view video stream in the second direction when the view shift command is a view shift command in a second direction opposite to the first direction. And a two bulk stream are adjacent to the first bulk stream in the second direction.
상기 각각의 벌크 데이터는 시각(time) 순으로 나열된 일련의 벌크 영상을 포함하며,
상기 벌크 영상은,
상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상이 1차원 또는 2차원으로 연결된 형태의 영상인 다시점 비디오 스트리밍 시스템 제공방법.
The method of claim 1,
Each of the bulk data includes a series of bulk images arranged in chronological order,
In the bulk image,
And a video corresponding to a time corresponding to the bulk video among the images included in the plurality of individual view videos included in the bulk data.
상기 벌크 영상은,
상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상의 가로 사이즈가 세로 사이즈보다 큰 경우, 상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상이 세로로 연결된 형태의 영상이며,
상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상의 세로 사이즈가 가로 사이즈보다 큰 경우, 상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상이 가로로 연결된 형태의 영상인 다시점 비디오 스트리밍 시스템 제공방법.
9. The method of claim 8,
In the bulk image,
When the horizontal size of the image corresponding to the time corresponding to the bulk image is greater than the vertical size among the images included in the plurality of individual view videos included in the bulk data, the image is included in the plurality of individual view videos included in the bulk data. The image corresponding to the time corresponding to the bulk image among the image is a vertically connected image,
When the vertical size of an image corresponding to the time corresponding to the bulk image among the images included in the plurality of individual view videos included in the bulk data is larger than the horizontal size, the image is included in the plurality of individual view videos included in the bulk data. Method of providing a multi-view video streaming system is a video of the image corresponding to the time corresponding to the bulk image of the image is connected horizontally.
상기 각각의 벌크 데이터는 시각 순으로 나열된 일련의 벌크 영상을 포함하며,
상기 벌크 영상은,
상기 벌크 데이터에 포함된 복수의 개별 시점 비디오에 포함된 영상 중 상기 벌크 영상에 상응하는 시각에 해당하는 영상이 일정한 개수씩 분할된 분할영상이 순서대로 나열된 형태의 영상인 다시점 비디오 스트리밍 시스템 제공방법.
The method of claim 1,
Each of the bulk data includes a series of bulk images arranged in chronological order,
In the bulk image,
Method for providing a multi-view video streaming system in which the divided images in which the image corresponding to the time corresponding to the bulk image is divided into a predetermined number among the images included in the plurality of individual view videos included in the bulk data are sequentially arranged .
상기 다시점 비디오 스트리밍 시스템이, 수신한 벌크 스트림에 포함된 모든 개별 시점 비디오 스트림을 상기 다시점 비디오 스트리밍 시스템이 구비한 캐쉬 메모리에 저장하는 단계를 더 포함하는 다시점 비디오 스트리밍 시스템 제공방법.
The method of claim 1,
And storing, by the multiview video streaming system, all individual view video streams included in the received bulk stream in a cache memory included in the multiview video streaming system.
상기 다시점 비디오 스트리밍 시스템이, 분할된 상기 복수의 벌크 데이터 중 제1 벌크 데이터에 상응하는 제1 벌크 스트림을 사용자 단말로 스트리밍하는 단계-여기서, 상기 제1벌크 스트림은 상기 사용자 단말이 디스플레이할 개별 시점 비디오 스트림을 포함함-를 포함하는 다시점 비디오 스트리밍 시스템 제공방법.
The multi-view video streaming system is configured to divide and store a plurality of individual viewpoint video images captured at different viewpoints in a plurality of bulk data, wherein the bulk data is a plurality of adjacent individual viewpoint video. Comprising; And
The multi-view video streaming system streaming a first bulk stream corresponding to a first bulk data of the divided plurality of bulk data to a user terminal, wherein the first bulk stream is an individual to be displayed by the user terminal. A method for providing a multi-view video streaming system comprising a viewpoint video stream.
상기 다시점 비디오 스트리밍 시스템이, 상기 제1벌크 스트림을 스트리밍하는 중에 시점이동명령을 수신하는 단계;
상기 다시점 비디오 스트리밍 시스템이, 상기 시점이동명령에 응답하여, 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번을 판단하는 단계;
상기 다시점 비디오 스트리밍 시스템이, 판단된 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번에 기초하여 상기 제1 벌크 스트림과 인접한 제2 벌크 스트림의 전송 여부를 판단하는 단계; 및
상기 다시점 비디오 스트리밍 시스템이, 상기 제2벌크 스트림을 전송해야 하는 것으로 판단한 경우, 상기 사용자 단말로 상기 제2 벌크 스트림을 더 스트리밍하는 단계를 더 포함하는 다시점 비디오 스트리밍 시스템 제공방법.
The method of claim 12, wherein the multi-view video streaming system is provided.
The multi-view video streaming system comprising: receiving a viewpoint movement command while streaming the first bulk stream;
Determining, by the multi-view video streaming system, the sequence number of the individual view video stream being displayed on the user terminal in response to the view movement command;
Determining, by the multi-view video streaming system, whether to transmit a second bulk stream adjacent to the first bulk stream based on the determined order of the individual view video streams being displayed on the user terminal; And
Further comprising streaming the second bulk stream to the user terminal if the multi-view video streaming system determines that the second bulk stream should be transmitted.
A computer-readable recording medium having recorded thereon a program for performing the method according to any one of claims 1 to 13.
프로세서; 및
상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며,
상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 다시점 비디오 스트리밍 시스템이 제1항 내지 제13항 중 어느 한 항에 기재된 방법을 수행하도록 하는 다시점 비디오 스트리밍 시스템.
A multi-view video streaming system,
A processor; And
A memory for storing a computer program executed by the processor,
14. The multi-view video streaming system, when executed by the processor, causes the multi-view video streaming system to perform the method of any one of claims 1 to 13.
다시점 비디오를 구성하며 서로 다른 시점에서 촬영된 복수의 개별 시점 비디오를 복수의 벌크 데이터에 분할하여 저장하고 벌크 데이터 단위로 스트리밍하는 다시점 비디오 스트리밍 서버로부터 상기 복수의 벌크 데이터 중 제1 벌크 데이터에 상응하는 제1 벌크 스트림을 수신하는 통신모듈-여기서, 하나의 벌크 데이터는 복수의 서로 인접한 개별 시점 비디오를 포함하며, 상기 제1벌크 스트림은 상기 다시점 비디오 스트리밍 시스템이 사용자 단말에 디스플레이할 제1개별 시점 비디오 스트림을 포함함-; 및
상기 제1 벌크 스트림에 포함된 상기 제1 개별 시점 비디오 스트림을 상기 사용자 단말에 디스플레이하는 디스플레이모듈을 포함하는 다시점 비디오 스트리밍 시스템.
A multi-view video streaming system,
A multi-view video streaming server constituting a multi-view video and dividing and storing a plurality of individual view videos photographed at different points of time into a plurality of bulk data and streaming the data in bulk data units to a first bulk data of the plurality of bulk data. A communication module for receiving a corresponding first bulk stream, wherein one bulk data includes a plurality of adjacent individual viewpoint video, wherein the first bulk stream is a first that the multiview video streaming system displays on a user terminal; Including an individual view video stream; And
And a display module configured to display the first individual view video stream included in the first bulk stream on the user terminal.
상기 제1개별 시점 비디오 스트림을 디스플레이하는 중에 시점이동명령을 인식하는 인식모듈; 및
상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번에 기초하여 상기 제1 벌크 스트림과 인접한 제2 벌크 스트림의 요청 여부를 판단하는 제어모듈을 더 포함하되,
상기 디스플레이모듈은,
상기 시점이동명령에 응답하여, 상기 제1 개별 시점 비디오 스트림과 인접한 제2 개별 시점 비디오 스트림을 상기 사용자 단말에 디스플레이하고,
상기 통신모듈은,
상기 제어모듈이 상기 제2벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 다시점 비디오 스트리밍 서버로 상기 제2벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버로부터 상기 제2 벌크 스트림을 더 수신하는 다시점 비디오 스트리밍 시스템.
17. The method of claim 16,
A recognition module for recognizing a view movement command while displaying the first individual view video stream; And
The control module may further include determining whether to request the second bulk stream adjacent to the first bulk stream based on the sequence number of the individual view video stream being displayed on the user terminal.
The display module,
In response to the view movement command, display a second individual view video stream adjacent to the first individual view video stream to the user terminal,
The communication module includes:
When the control module determines that the second bulk stream needs to be requested, the control module requests the second bulk stream to the multiview video streaming server to further receive the second bulk stream from the multiview video streaming server. Video streaming system.
상기 다시점 비디오 스트리밍 서버에 저장된 상기 복수의 벌크 데이터 각각은 MVC에 의해 부호화된 복수의 개별 시점 비디오를 포함하며,
상기 다시점 비디오 스트리밍 시스템은,
상기 제1벌크 스트림을 수신한 경우, 상기 제1벌크 스트림에 포함된 복수의 개별 시점 비디오 스트림을 복호화하고,
상기 제2벌크 스트림을 수신한 경우, 상기 제2벌크 스트림에 포함된 복수의 개별 시점 비디오 스트림을 복호화하는 복호화모듈을 더 포함하는 다시점 비디오 스트리밍 시스템.
18. The method of claim 17,
Each of the plurality of bulk data stored in the multi-view video streaming server includes a plurality of individual view videos encoded by MVC,
The multi-view video streaming system comprises:
When receiving the first bulk stream, decode a plurality of individual view video streams included in the first bulk stream,
And a decoding module for decoding the plurality of individual view video streams included in the second bulk stream when the second bulk stream is received.
상기 인식모듈은,
상기 사용자 단말에 구비된 터치 스크린 상에서 이루어지는 객체의 움직임을 감지하고, 상기 객체의 움직임이 감지되면 상기 시점이동명령이 입력된 것으로 판단하는 다시점 비디오 스트리밍 시스템.
18. The method of claim 17,
The recognition module,
A multi-view video streaming system for detecting the movement of the object on the touch screen provided in the user terminal, and determines that the viewpoint movement command is input when the movement of the object is detected.
상기 인식모듈은,
상기 객체의 움직임 속도를 더 판단하고,
상기 제어모듈은,
상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번이 소정의 한계 범위에 속하는 경우 상기 제2 벌크 스트림을 요청해야 하는 것으로 판단하되,
상기 한계 범위는 상기 객체의 움직임 속도에 기초하여 결정되는 다시점 비디오 스트리밍 시스템.
20. The method of claim 19,
The recognition module,
Further determine the movement speed of the object,
The control module includes:
If the sequence number of the individual view video stream being displayed on the user terminal falls within a predetermined limit range, it is determined that the second bulk stream should be requested.
And the limit range is determined based on the speed of movement of the object.
상기 제어모듈은,
상기 객체의 움직임 속도에 기초하여 상기 제2 벌크 스트림과 인접한 적어도 하나의 추가 벌크 스트림의 요청 여부를 더 판단하고,
상기 통신모듈은,
상기 제어모듈이 상기 추가 벌크 스트림을 요청해야 하는 것으로 판단한 경우, 상기 다시점 비디오 스트리밍 서버로 상기 추가 벌크 스트림을 요청하여 상기 다시점 비디오 스트리밍 서버로부터 상기 추가 벌크 스트림을 더 수신하되,
요청되는 추가 벌크 스트림의 개수는 상기 객체의 움직임 속도에 기초하여 결정되는 다시점 비디오 스트리밍 시스템.
21. The method of claim 20,
The control module includes:
Further determining whether to request at least one additional bulk stream adjacent to the second bulk stream based on a movement speed of the object,
The communication module includes:
When the control module determines that the additional bulk stream needs to be requested, the additional bulk stream is requested to the multiview video streaming server to further receive the additional bulk stream from the multiview video streaming server.
The number of additional bulk streams requested is determined based on the speed of movement of the object.
분할된 상기 복수의 벌크 데이터 중 제1 벌크 데이터에 상응하는 제1 벌크 스트림을 사용자 단말로 스트리밍하는 스트리밍모듈-여기서, 상기 제1벌크 스트림은 상기 사용자 단말이 디스플레이할 개별 시점 비디오 스트림을 포함함-을 포함하는 다시점 비디오 스트리밍 시스템.
A storage module constituting a multi-view video and dividing and storing a plurality of individual viewpoint videos photographed at different viewpoints into a plurality of bulk data, wherein one bulk data includes a plurality of adjacent viewpoint images; And
A streaming module for streaming a first bulk stream corresponding to first bulk data among the plurality of divided bulk data to a user terminal, wherein the first bulk stream includes an individual view video stream to be displayed by the user terminal. Multiview video streaming system comprising a.
상기 제1벌크 스트림을 스트리밍하는 중에 시점이동명령을 수신하는 명령수신모듈; 및
상기 시점이동명령에 응답하여 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번을 판단하고, 판단한 상기 사용자 단말에 디스플레이 중인 개별 시점 비디오 스트림의 순번에 기초하여 상기 제1 벌크 스트림과 인접한 제2 벌크 스트림의 전송 여부를 판단하는 제어모듈을 더 포함하되,
상기 스트리밍모듈은,
상기 제어모듈이 상기 제2벌크 스트림을 전송해야 하는 것으로 판단한 경우, 상기 사용자 단말로 상기 제2 벌크 스트림을 더 스트리밍하는 다시점 비디오 스트리밍 시스템.The system of claim 22, wherein the multi-view video streaming system comprises:
A command receiving module for receiving a move-to-start command during streaming of the first bulk stream; And
In response to the view movement command, the sequence number of the individual view video streams displayed on the user terminal is determined, and the second bulk stream adjacent to the first bulk stream is based on the determined sequence number of the individual view video streams displayed on the user terminal. Further comprising a control module for determining whether the transmission of,
The streaming module,
And if the control module determines that the second bulk stream is to be transmitted, further streaming the second bulk stream to the user terminal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130074146A KR101350915B1 (en) | 2013-06-27 | 2013-06-27 | Multi-view video steaming system and providing method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130074146A KR101350915B1 (en) | 2013-06-27 | 2013-06-27 | Multi-view video steaming system and providing method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101350915B1 true KR101350915B1 (en) | 2014-02-18 |
Family
ID=50269363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130074146A KR101350915B1 (en) | 2013-06-27 | 2013-06-27 | Multi-view video steaming system and providing method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101350915B1 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101521890B1 (en) * | 2014-03-28 | 2015-05-22 | 주식회사 넥스트이온 | Multi-view video steaming system and providing method thereof |
KR20150116422A (en) * | 2015-05-11 | 2015-10-15 | 네이버 주식회사 | Service method and system for providing multi-track video contents |
KR101560727B1 (en) * | 2014-04-07 | 2015-10-15 | 네이버 주식회사 | Service method and system for providing multi-track video contents |
KR101722681B1 (en) * | 2014-12-15 | 2017-04-05 | 주식회사 투아이즈테크 | Apparatus, method for processing video |
KR101759297B1 (en) * | 2015-12-15 | 2017-07-19 | 주식회사 투아이즈테크 | Apparatus, method for processing video |
JP2017532918A (en) * | 2014-08-18 | 2017-11-02 | ホー ジョング、グワン | 360 degree spatial image reproduction method and system |
KR101804364B1 (en) * | 2014-12-30 | 2017-12-04 | 한국전자통신연구원 | Super Multi-View image system and Driving Method Thereof |
KR101875514B1 (en) * | 2017-01-23 | 2018-07-09 | 서울대학교산학협력단 | Streaming method based on video watching history and apparatus thereof |
US11997366B2 (en) | 2021-12-21 | 2024-05-28 | Electronics And Telecommunications Research Institute | Method and apparatus for processing adaptive multi-view streaming |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012094990A (en) * | 2010-10-25 | 2012-05-17 | Duse Technologies Co Ltd | Image display system associating with view point |
-
2013
- 2013-06-27 KR KR1020130074146A patent/KR101350915B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012094990A (en) * | 2010-10-25 | 2012-05-17 | Duse Technologies Co Ltd | Image display system associating with view point |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101521890B1 (en) * | 2014-03-28 | 2015-05-22 | 주식회사 넥스트이온 | Multi-view video steaming system and providing method thereof |
KR101560727B1 (en) * | 2014-04-07 | 2015-10-15 | 네이버 주식회사 | Service method and system for providing multi-track video contents |
US10999610B2 (en) | 2014-04-07 | 2021-05-04 | Naver Corporation | Service method and system for providing multi-track video contents |
JP2017532918A (en) * | 2014-08-18 | 2017-11-02 | ホー ジョング、グワン | 360 degree spatial image reproduction method and system |
KR101722681B1 (en) * | 2014-12-15 | 2017-04-05 | 주식회사 투아이즈테크 | Apparatus, method for processing video |
KR101804364B1 (en) * | 2014-12-30 | 2017-12-04 | 한국전자통신연구원 | Super Multi-View image system and Driving Method Thereof |
KR20150116422A (en) * | 2015-05-11 | 2015-10-15 | 네이버 주식회사 | Service method and system for providing multi-track video contents |
KR101601969B1 (en) * | 2015-05-11 | 2016-03-09 | 네이버 주식회사 | Service method and system for providing multi-track video contents |
KR101759297B1 (en) * | 2015-12-15 | 2017-07-19 | 주식회사 투아이즈테크 | Apparatus, method for processing video |
KR101875514B1 (en) * | 2017-01-23 | 2018-07-09 | 서울대학교산학협력단 | Streaming method based on video watching history and apparatus thereof |
US11997366B2 (en) | 2021-12-21 | 2024-05-28 | Electronics And Telecommunications Research Institute | Method and apparatus for processing adaptive multi-view streaming |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101350915B1 (en) | Multi-view video steaming system and providing method thereof | |
CN109104610B (en) | Real-time screen sharing | |
US20150208103A1 (en) | System and Method for Enabling User Control of Live Video Stream(s) | |
Petrangeli et al. | Improving virtual reality streaming using HTTP/2 | |
WO2018010662A1 (en) | Video file transcoding method and device, and storage medium | |
JP6672327B2 (en) | Method and apparatus for reducing spherical video bandwidth to a user headset | |
US10999583B2 (en) | Scalability of multi-directional video streaming | |
US11523144B2 (en) | Communication apparatus, communication method, and computer-readable storage medium | |
KR20190121867A (en) | Method and apparatus for packaging and streaming virtual reality media content | |
CN110582012B (en) | Video switching method, video processing device and storage medium | |
KR102133207B1 (en) | Communication apparatus, communication control method, and communication system | |
US9544619B2 (en) | Multi-view video streaming system and providing method thereof | |
CN114363649B (en) | Video processing method, device, equipment and storage medium | |
CN104918123A (en) | Method and system for playback of motion video | |
Chen et al. | Optimized viewport‐adaptive 360‐degree video streaming | |
US10015395B2 (en) | Communication system, communication apparatus, communication method and program | |
KR101399951B1 (en) | Multi-view video steaming system and providing method thereof | |
CN110741648A (en) | Transmission system for multi-channel portrait and control method thereof, multi-channel portrait playing method and device thereof | |
WO2017160404A1 (en) | User input based adaptive streaming | |
EP4084481A1 (en) | Transmission device and receiving device | |
US20190342628A1 (en) | Communication device and method | |
KR101521890B1 (en) | Multi-view video steaming system and providing method thereof | |
US10025550B2 (en) | Fast keyboard for screen mirroring | |
CN110636336A (en) | Transmitting apparatus and method, receiving apparatus and method, and computer-readable storage medium | |
US20230308625A1 (en) | Bitstream structure for immersive teleconferencing and telepresence for remote terminals |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
A302 | Request for accelerated examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170106 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180108 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190107 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20200107 Year of fee payment: 7 |