WO2016027977A1 - 360도 공간영상 재생방법 및 그 시스템 - Google Patents

360도 공간영상 재생방법 및 그 시스템 Download PDF

Info

Publication number
WO2016027977A1
WO2016027977A1 PCT/KR2015/006531 KR2015006531W WO2016027977A1 WO 2016027977 A1 WO2016027977 A1 WO 2016027977A1 KR 2015006531 W KR2015006531 W KR 2015006531W WO 2016027977 A1 WO2016027977 A1 WO 2016027977A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
terminal
server
adjacent
transmitting
Prior art date
Application number
PCT/KR2015/006531
Other languages
English (en)
French (fr)
Inventor
정관호
Original Assignee
정관호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정관호 filed Critical 정관호
Priority to CN201580044332.2A priority Critical patent/CN106576190B/zh
Priority to US15/505,035 priority patent/US10205969B2/en
Priority to JP2017529962A priority patent/JP2017532918A/ja
Publication of WO2016027977A1 publication Critical patent/WO2016027977A1/ko
Priority to PH12017500301A priority patent/PH12017500301A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Definitions

  • the present invention relates to a spatial image playback method and system for loading two or more videos into a terminal to show a video of various angles, and more particularly, to drag a video of a desired angle by loading a video being played and an adjacent video together.
  • the present invention relates to a spatial image reproducing method and a system configured to freely view a desired portion of a selected video in real time through up, down, left, and right movement, zoom in, zoom out, and the like.
  • Conventional video special effects techniques include time slice technique and 360 degree panoramic image technique.
  • the time-slice technique is to install a plurality of photo cameras at various angles around the subject at various angles, shoot them at the same time, and then use a computer to connect the pictures so that the still motions of the subject appear as if they were taken with a movie camera. It's a technique of shooting a movie with a still camera, but the subject does not move still. It is a kind of animation using pictures, but still images are depicted in three dimensions. If you take a picture of a smoker using this technique, you can make a camera move around the person without breaking the screen while the person and the smoke that the person emits are stopped in the air and do not move.
  • one frame of video can be described in three dimensions in one shot.
  • the image gives a sense of time and space.
  • 20 to 50 still cameras are installed in a circle or a straight line at equal intervals from the subject, and at the same time, press the shutter to take a picture, and then connect and edit them. This displays a still motion on the screen where the subject stops like a mannequin.
  • time-slice technique is a connection of a still image at various angles, there is a limit to playing a moving video at various angles.
  • a user user cannot selectively watch a video in a specific direction.
  • the 360-degree panoramic imaging technique refers to an image processing technology that allows a user to rotate a space around a fixed image by rotating the camera 360 degrees in a fixed place and then rotate the surrounding space by using a mouse or a touch screen. It can be said that the technology is applied to the road view of the portal site. This goes beyond the monotonous and one-sided spatial information of the existing image, and can be directly manipulated by the user to provide fun and satisfaction to the user. Combined with Web technology, it can structure and show multi-spatial information through copper wire. In addition, by providing information about the surrounding space three-dimensionally, it is an imaging technology that can satisfy the desire of users who want to examine every corner of the target space directly.
  • the 360-degree panoramic image technique also has a problem in that the moving video cannot be reproduced in real time at a desired angle in the same manner as the time slice technique, and in particular, there is a problem of severe image distortion.
  • Patent publication No. 10-2011-0103692 relating to a panorama image playback method also shows that there is a limit to the application of the video. That is, there is a problem of showing only a stationary subject stretched around 360 degrees with one camera.
  • the present invention plays a video, selects and plays a video of an angle desired by the user while watching a video, and moves a desired portion of the selected video up and down, left and right, zoom in and zoom out.
  • the purpose of this study is to obtain a video playback method and system that can enjoy active, more realistic video.
  • the present invention provides a 360-degree spatial image playback method.
  • the server waits for a video selection signal from the terminal.
  • the waiting step may include a DB building step in which the server constructs a layer DB (Data Base) in which two or more videos generated by two or more video photographing means are stored.
  • DB Data Base
  • the server transmits the selected video to the terminal according to the video selection signal, and the terminal proceeds to the playback step of playing the selected video.
  • the server may include transmitting one or more adjacent videos adjacent to the selected video to the terminal.
  • the angle changing step may include transmitting, by the server, one or more adjacent videos adjacent to the video of the different angle to the terminal.
  • the present invention provides a 360 degree spatial image playback system.
  • the terminal is installed with an application program for playing the video and select the video of the desired angle; Server for transmitting and receiving data through the wired and wireless network with the terminal; And a layer DB provided in the server and storing the moving image.
  • the 360 degree spatial image reproducing system is provided.
  • the server selects a video according to a video selection signal or an angle change signal transmitted from the terminal, selects one or more adjacent videos together with the video, and transmits the video selection module to the terminal. It may include an application program providing module for providing an application program for playing and selecting a video of a desired angle and a data transmission module for transmitting and receiving various data to the terminal.
  • the server may further include a video collecting module configured to collect videos captured by a plurality of video capturing means installed in the vicinity of a subject and store them in the layer DB.
  • a video collecting module configured to collect videos captured by a plurality of video capturing means installed in the vicinity of a subject and store them in the layer DB.
  • the existing time slice technique or panorama technique can overcome the problem that the video can not be represented from various angles.
  • the time slice technique can express only a still image, and can overcome the problem that bidirectional manipulation is impossible.
  • the panorama technique can express only a still image, and overcome the problem of severe image distortion.
  • FIG. 1 is a flowchart for implementing a 360 degree spatial image of the present invention.
  • FIG. 2 is a layout diagram illustrating a concept of acquiring a video by arranging 20 cameras at a predetermined interval around a subject.
  • FIG. 3 is a conceptual diagram illustrating loading of a selected video and its adjacent video by streaming according to a video selection signal according to the present invention.
  • FIG. 4 is a conceptual diagram illustrating loading of a selected video and its adjacent video by streaming according to an angle change selection signal of the present invention.
  • FIG. 5 is another conceptual diagram illustrating loading of a selected video and its adjacent video by streaming according to an angle change selection signal of the present invention.
  • FIG. 6 is another conceptual diagram illustrating loading of a selected video and its adjacent video by streaming according to an angle change selection signal of the present invention.
  • FIG. 7 is an overall configuration diagram showing a 360-degree spatial image playback system of the present invention.
  • Figure 8 illustrates a smartphone as a representative terminal that can be used in the present invention.
  • FIG. 9 is a photograph in which 20 moving picture photographing means are arranged at regular intervals to actually implement the present invention.
  • FIG. 1 is a flowchart for implementing a 360 degree spatial image of the present invention.
  • the server 20 performs a waiting step for waiting for a video selection signal from the terminal 10 (S15).
  • the standby step is a DB construction step in which the server 20 builds a layer DB (30) storing two or more videos generated by two or more video recording means (CAM 1, CAM 2, CAM 20) ( S10) may be included.
  • the video selection signal is a signal transmitted from the terminal 10 to the server 20 through a user's button manipulation or screen touch manipulation through an application program pre-installed in the terminal 10.
  • a layer has 20 layers when it is taken by 20 video photographing means, and each video taken by multiple cameras becomes one layer.
  • the layer DB 30 may be constructed as follows.
  • the video capture means to align the focus and axis of the video recording means. Obviously, the more video recording means arranged therein, the more accurate the video can be realized.
  • FIG. 2 is a layout diagram illustrating a concept of acquiring a video by arranging 20 cameras at a predetermined interval around a subject.
  • the diameter is set to 7M
  • 20 cameras and 7M diameter can be changed according to the efficiency of the space.
  • the camera may be installed in the vertical air of the subject (not shown).
  • the video and audio signals are processed through post-processing such as color matching, chroma keying, and equalized sync operation editing for each video by nonlinear editing program. Synchronize
  • the nonlinear editing program is a commercial program that uploads and edits a photographed video to a computer, and refers to a tool that can be converted into various codecs and processed. It is called a nonlinear editing program corresponding to a conventional linear editing program because it can move the front, back, top, and bottom of the material and edit the desired part.
  • color matching means that when a plurality of video recording means to shoot in different directions, the color of the picture may be different, at this time to adjust the color so that the heterogeneity is not felt in the color by correcting the difference of the picture. This is also done using the nonlinear editing program.
  • chroma keying is a method of synthesizing an image, taking a picture in front of a single background of a specific color, and then removing the color and synthesizing it on a desired picture.
  • the background color is mainly green or blue.
  • a video in which the video signal and the audio signal are synchronized is built in the layer DB 30.
  • the synchronized video and audio signals are separated for each layer, and the obtained video is compressed and multiplexed and coded according to various video playback requirements to construct various interactive contents in the layer DB 30. do.
  • the coding operation preferably uses a C # programming language and a Unity3D image processing engine under the Android operating system.
  • the server 20 transmits the video selected according to the video selection signal to the terminal 10 and the terminal 10 proceeds to the playback step of playing the selected video (S25).
  • the server 20 may include transmitting one or more adjacent videos adjacent to the selected video to the terminal 10 (S20).
  • the selected video is played until completion (S26).
  • FIG. 3 is a conceptual diagram illustrating loading of a selected video and its adjacent video by streaming according to the video selection signal according to the present invention.
  • 3 is a video obtained by a total of 20 video recording means around the subject is prepared. Long horizontal bars indicate layers. In this embodiment, the length of the video is set to 10 minutes (10:00).
  • the server 20 transmits a corresponding video to the terminal 10, and the neighboring camera is located around the first camera.
  • the moving images acquired by the cameras CAM 2, CAM 3, CAM 4, CAM 5, and CAM 17, CAM 18, CAM 19, and CAM 20 are transmitted to the terminal 10. Therefore, a total of nine videos are transmitted.
  • the number of videos to be transmitted can be freely adjusted, but the larger the number, the greater the amount of data to be transmitted at the same time.
  • the remaining eight videos, except for the video of the first camera are images streamed into a preliminary area for promptly coping with the angle change request of the user.
  • since the videos of the sixth to sixteenth cameras do not need to be downloaded from the server 20 at once, data transmission efficiency can be improved.
  • the present invention since it is practically difficult to implement a switch to the angle of 180 degrees in the opposite direction in the video currently being played and it is not necessary, only the adjacent video is sequentially transmitted. Therefore, while the user does not watch the video of the camera CAM 10 of FIG. 2, the unnecessary video of the camera 10 and its adjacent video do not need to be transmitted together with the video currently being played and the video adjacent thereto.
  • the server 20 may transmit a different angle video selected according to the angle change signal and one or more adjacent videos adjacent thereto to the terminal 10 (S20).
  • FIG. 4 is a conceptual diagram illustrating loading of a selected video and its adjacent video by streaming according to an angle change selection signal of the present invention.
  • the server 20 when the server 20 receives an angle change signal from the terminal 10, the server 20 transmits a corresponding video and its adjacent video to the terminal 10. That is, the arrow shown in FIG. 3 represents an angle (angle) change time point through the terminal 10.
  • the first camera CAM 1 passes through the video of the second camera. ) Is playing (red).
  • Adjacent videos CAM 1, CAM 2, CAM 3 and CAM 5, CAM 6, and CAM 7) adjacent to the video of camera 4 are being streamed (yellow).
  • all 20 videos are in sync (grey) to the current playback time.
  • the dashed arrow indicates the angle that will change according to the needs of users in the future. If the angle change occurs with the CAM 9 camera, it is obvious that the video of the ninth camera and its adjacent videos are streamed as described above.
  • FIG. 5 is another conceptual diagram illustrating loading of a selected video and its adjacent video by streaming according to an angle change selection signal of the present invention.
  • the video of the 9th camera is currently being played according to the angle change, and 8 adjacent videos are streamed.
  • Figure 6 shows that after converting from the first camera to the 20 camera after the angle change selection signal of the present invention to move again to the first camera, then to the camera 10 and then converted to the second camera, Finally, after 2 cameras are selected, adjacent videos of 19 cameras, 20 cameras, and 1 to 5 cameras are streamed.
  • the present invention provides a 360 degree spatial image playback system.
  • FIG. 7 is an overall configuration diagram showing a 360-degree spatial image playback system of the present invention.
  • a terminal 10 having an application program installed thereon for enabling video playback and selecting a video at a desired angle;
  • a server 20 for transmitting and receiving data to and from the terminal 10 and a wired / wireless network 40;
  • a layer DB 30 provided in the server 20 and storing the moving image.
  • the terminal 10 may be installed as an application program as a device such as a smart phone, a general PC, or the like.
  • FIG. 8 illustrates a smartphone as an exemplary terminal 10 that can be used in the present invention.
  • the video is switched to the video selected by the system of the present invention and played according to the selection signal.
  • the system of the present invention preferably provides zoom in and zoom out functions of the selected part.
  • the server 20 searches for the video according to the video selection signal or the angle change signal transmitted from the terminal 10 and selects one or more adjacent videos together with the video and transmits the video to the terminal 10.
  • Selecting module 21 the application program providing module 23 is installed in the terminal 10 to provide an application for playing the video and select the video of the desired angle and a variety of data to and from the terminal 10 It may include a data transmission module 25.
  • a video collection module 27 for collecting a video captured by a plurality of video recording means (CAM 1, CAM2, CAM 20) installed in the vicinity of the subject and stored in the layer DB (30) ) May be further included.
  • the video collection module 27 is preferably embedded in a commercial program such as a non-linear editing program to be able to perform post-production or synchronization.
  • FIG. 9 is a photograph in which 20 moving picture photographing means are arranged at regular intervals to actually implement the present invention.
  • the diameter is set to 7M, the camera 20 and the diameter 7M has been described above that can be changed according to the efficiency of the space.
  • embodiments according to the present invention may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include a program instruction data file data structure or the like alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disk floppy disks and magnetic tape, optical recording media such as CD-ROMs, and magnetic disks such as floppy disks (Floppy) disks, such as DVDs. optical media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • program instructions include machine code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 두개 이상의 동영상을 단말기에 로딩하여 다양한 각도의 동영상을 보여주는 공간영상 재생방법 및 그 시스템에 관한 것으로, 특히 재생중인 동영상 및 이와 인접하는 동영상을 함께 로딩하여 원하는 각도의 동영상을 드래그(drag)하여 선택하고,선택된 동영상의 원하는 부분을 상하좌우이동 및 줌인(zoom in), 줌 아웃(zoom out) 등을 통하여 자유롭게 실시간으로 볼 수 있도록 구성된 공간영상 재생방법 및 그 시스템에 관한 것이다.

Description

360도 공간영상 재생방법 및 그 시스템
본 발명은 두개 이상의 동영상을 단말기에 로딩하여 다양한 각도의 동영상을 보여주는 공간영상 재생방법 및 그 시스템에 관한 것으로, 특히 재생중인 동영상 및 이와 인접하는 동영상을 함께 로딩하여 원하는 각도의 동영상을 드래그(drag)하여 선택하고,선택된 동영상의 원하는 부분을 상하좌우이동 및 줌인(zoom in), 줌 아웃(zoom out) 등을 통하여 자유롭게 실시간으로 볼 수 있도록 구성된 공간영상 재생방법 및 그 시스템에 관한 것이다.
종래의 동영상 특수효과 기법 중에는 타임슬라이스(time slice) 기법과 360도 파노라마 영상기법 등이 있었다.
먼저 타임슬라이스 기법이란, 피사체를 향하여 다양한 각도로 복수의 사진 카메라를 주변에 일정 간격 설치하고, 순간적으로 동시에 촬영한 후 컴퓨터를 이용해 사진을 연결하여 피사체의 정지된 동작을 마치 무비 카메라로 찍은 듯이 보이게 하는 영상 기법을 말하는데, 스틸 카메라로 무비를 찍는 기법이지만 피사체는 정지한 채 움직이지 않는다. 일종의 사진을 이용한 애니메이션인데 다만 정지된 피사체가 입체적으로 묘사된다. 만약 이 기법을 이용해 담배 피우는 사람을 찍는다면 인물은 물론 인물이 내뿜는 연기도 허공에서 멈춘 채 움직이지 않는 가운데 화면이 끊기지 않고 인물 주위를 한 바퀴 도는 카메라 움직임을 만들 수 있다.
다시 말해 영상의 1프레임을 한 쇼트 안에서 입체적으로 묘사할 수 있는 것이다. 따라서 영상은 시간과 공간을 초월한 느낌을 준다. 통상 20 내지 50대의 스틸카메라를 피사체로부터 동일한 간격으로 원형 또는 일직선으로 설치하고, 동시에 셔터를 눌러 사진을 찍은 뒤 이를 연결해서 편집한다. 이렇게 하면 피사체가 마네킹처럼 멈춰지는 정지 동작이 화면에 나타난다.
따라서 타임슬라이스 기법은 정지영상을 다양한 각도로 이어 붙인 것이므로 움직이는 동영상을 다양한 각도로 재생하는데에는 한계가 있었고, 특히 사용자(유저)가 감상하고자 하는 특정 방향의 동영상을 선택적으로 볼 수 없는 문제가 있었다.
한편 360도 파노라마 영상기법이란, 고정된 장소에서 카메라를 360도 돌려가며 촬영한 후, 연속된 이미지를 사용자가 마우스나 터치스크린 조작을 통하여 주변 공간을 돌려 볼 수 있는 이미지 처리 기술을 말하는데, 현재 상용화된 포털 사이트의 로드뷰 등에 적용된 기술이라 할 수 있다. 이는 기존 이미지가 가진 단조롭고 일방적인 공간정보를 넘어, 사용자가 직접 조작할 수 있어 재미와 만족감을 사용자에게 제공한다. 웹 기술과 결합하여 동선을 통한 다중공간 정보를 구조화하여 보여줄 수 있다. 또한 주변 공간에 대한 정보를 입체적으로 제공함으로써 대상공간을 직접 구석구석 살펴보고 싶어하는 사용자들의 욕구를 가장 최대한 충족시켜줄 수 있는 영상기술이다.
그러나 360도 파노라마 영상기법 또한 상기 타임슬라이스 기법과 마찬가지로 움직이는 동영상을 사용자가 원하는 각도로 실시간으로 전환하여 재생할 수 없는 문제점이 있었고, 특히 영상왜곡이 심하다는 문제가 있었다. 파노라마 영상 재생 방법에 관한 특허 공개번호 10-2011-0103692호에서도 동영상 적용에 한계가 있음을 보여준다. 즉 한 대의 카메라로 360도의 주변에 펼쳐진 정지된 피사체만을 보여주는 문제점이 있다.
본 발명은 상기의 문제점을 해결하기 위해 동영상을 재생하고, 동영상 감상 중에 사용자가 원하는 각도의 동영상을 선택재생하고, 선택된 동영상의 원하는 부분을 상하좌우이동 및 줌인(zoom in), 줌 아웃(zoom out)을구현하여능동적이고, 보다 현실감 있는 영상을 감상할 수 있는 동영상 재생방법 및 시스템을 얻고자 하는 것을 목적으로 한다.
상기 기술적 과제를 달성하기 위해 본 발명에서는 360도 공간영상 재생방법이 제공된다.
먼저 서버가 단말기로부터 동영상 선택신호를 기다리는 대기단계를 진행한다. 상기 대기단계는 상기 서버가 두개 이상의 동영상 촬영수단에 의해 생성된 두개 이상의 동영상이 저장된 레이어(layer) DB(Data Base)를 구축하는 DB구축단계를 포함할 수 있다.
다음으로, 서버가 상기 동영상 선택신호에 따라 선택된 동영상을 상기 단말기로 전송하고 단말기가 상기 선택된 동영상을 재생하는 재생단계를 진행한다. 이 때 상기 서버가 상기 선택된 동영상에 인접하는 하나 이상의 인접동영상을 단말기로 전송하는 단계를 포함할 수 있다.
다음으로, 상기 단말기의 앵글 변화 신호에 따라 다른 각도의 동영상으로 전환하는 앵글변화단계를 진행한다.
또한 상기 앵글변화단계는 상기 서버가 상기 다른 각도의 동영상에 인접하는 하나 이상의 인접동영상을 단말기로 전송하는 단계를 포함할 수 있다.
한편 상기 기술적 과제를 달성하기 위해 본 발명에서는 360도 공간영상 재생 시스템이 제공된다.
즉, 동영상 재생과 원하는 각도의 동영상을 선택할 수 있도록 하는 응용프로그램이 설치되는 단말기; 상기 단말기와 유무선 네트워크를 통해 데이터를 송수신하는 서버; 및, 상기 서버에 구비되고 동영상을 저장하는 레이어 DB;를 포함하는 것을 특징으로 하는 360도 공간영상 재생시스템이 제공된다.
여기서, 상기 서버는 상기 단말기로부터 전송된 동영상 선택신호 또는 앵글 변화 신호에 따라 해당 동영상을 검색하고 상기 해당 동영상과 함께 인접동영상을 하나 이상 선별하여 단말기로 전송하는 동영상 선택모듈, 상기 단말기에 설치되어 동영상 재생과 원하는 각도의 동영상을 선택할 수 있도록 하는 응용프로그램을 제공하는 응용프로그램 제공 모듈 및 각종 데이터를 상기 단말기에 송수신하는 데이터 전송모듈을 포함할 수 있다.
또한 상기 서버는, 피사체의 주변에 설치된 복수 개의 동영상 촬영수단에 의해 촬영된 동영상을 수집하여 상기 레이어 DB에 저장하는 동영상 수집모듈을 더 포함할 수 있다.
본 발명의 360도 공간영상 제공방법 및 시스템에 의하면, 사용자의 요구에 따라 다양한 각도의 동영상을 제공함으로써 기존의 타임슬라이스 기법이나 파노라마 기법이 동영상을 다양한 각도에서 표현할 수 없는 문제점을 극복할 수 있다.
즉 타임슬라이스 기법이 정지영상만을 표현할 수 있고, 쌍방향 조작이 불가능한 문제점을 극복할 수 있다. 또한 파노라마 기법이 정지영상만을 표현할 수 있고, 영상왜곡이 심한 문제점을 극복할 수 있다.
나아가 본 발명에 의하면, 적은 데이터 전송량으로 다양한 각도의 동영상을 실시간으로 제공할 수 있는 유리한 효과가 있다.
도 1은 본 발명의 360도 공간영상을 구현하기 위한 흐름도이다.
도 2는 피사체를 중심으로 카메라 20대를 일정간격으로 배치하여 동영상을 획득하는 개념을 나타내는 배치도이다.
도 3는 본 발명에 있어서, 동영상 선택신호에 따라 선택된 동영상과 그 인접동영상을 스트리밍으로 로딩하는 것을 설명하는 개념도이다.
도 4은 본 발명의 앵글 변화 선택신호에 따라 선택된 동영상과 그 인접동영상을 스트리밍으로 로딩하는 것을 설명하는 개념도이다.
도 5는 본 발명의 앵글 변화 선택신호에 따라 선택된 동영상과 그 인접동영상을 스트리밍으로 로딩하는 것을 설명하는 또 다른 개념도이다.
도 6은 본 발명의 앵글 변화 선택신호에 따라 선택된 동영상과 그 인접동영상을 스트리밍으로 로딩하는 것을 설명하는 또 다른 개념도이다.
도7은 본 발명의 360도 공간영상 재생 시스템을 나타내는 전체 구성도이다.
도8은 본 발명에서 사용될 수 있는 대표적인 단말기로서 스마트폰을 예시하고 있다.
도 9는 본 발명을 실제로 구현하기 위해 동영상 촬영수단 20대를 일정간격으로 배치한 사진이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
이하에서는 본 발명의 360도 공간영상 재생방법을 도 1을 참조하여 설명한다. 도 1은 본 발명의 360도 공간영상을 구현하기 위한 흐름도이다.
먼저 서버(20)가 단말기(10)로부터 동영상 선택신호를 기다리는 대기단계를 진행한다(S15). 상기 대기단계는 상기 서버(20)가 두개 이상의 동영상 촬영수단(CAM 1, CAM 2, , CAM 20)에 의해 생성된 두개 이상의 동영상이 저장된 레이어(layer) DB(30)를 구축하는 DB구축단계(S10)를 포함할 수 있다.
여기서 동영상 선택신호는 상기 단말기(10)에 기설치된 응용프로그램을 통하여 사용자의 버튼 조작 또는 화면 터치 조작 등을 통해 단말기(10)로부터 서버(20)로 전송되는 신호이다.
여기서 레이어(layer)는 20대의 동영상 촬영수단으로 찍었을 경우 20개의 레이어를 가지는데, 다수 카메라에서 찍은 동영상 각각이 하나의 레이어가 된다.
한편 상기 레이어 DB(30)는 다음과 같이 구축될 수 있다.
즉 피사체를 중심으로 360도로 일정간격 배치된 동영상 촬영수단과 피사체 간의 거리를 측정하여, 상기 동영상 촬영수단의 포커스 및 축을 정렬하여 동영상을 촬영한다. 배치된 동영상 촬영수단이 많을수록 더 정밀한 각도의 동영상을 구현할 수 있음은 자명하다.
도 2는 피사체를 중심으로 카메라 20대를 일정간격으로 배치하여 동영상을 획득하는 개념을 나타내는 배치도이다. 본 실시예에서는 지름을 7M로 설정하였으며, 카메라20대와 지름 7M는 공간의 효율에 따라 변경될수 있다. 또한, 바람직하게는 피사체의 수직 상공에도 카메라가 설치될 수 있다(미도시).
이렇게 촬영된 동영상은 각각의 영상데이터와 음성데이터를 비선형 편집 프로그램에 의해 칼라 매칭, 크로마키잉(chroma keying), 각각의 영상에 대한 동일화된 싱크작업 편집 등의 후반 작업을 거쳐서 영상신호와 음성신호를 동기화시킨다.
여기서 비선형 편집 프로그램이란, 촬영된 동영상을 컴퓨터로 업로드하여 편집하는 상용 프로그램으로서, 다양한 코덱(Codec)으로 변환하여 가공할 수 있는 도구(tool)를 말한다. 소재의 앞, 뒤, 위, 아래 구분없이옮겨다니며 원하는 부분을 편집할 수 있기 때문에 종래의 선형 편집 프로그램에 대응하여 비선형 편집 프로그램이라고 부른다.
한편 칼라매칭이란, 여러 대의 동영상 촬영수단이 서로 다른 방향으로 촬영하는 경우, 각기 그림의 색깔이 달라질 수 있는데, 이때 그림의 차이를 보정하여 색감에서 이질감이 느껴지지 않도록 칼라를 조정하는 것을 말한다. 이 또한 상기 비선형 편집 프로그램을 이용하여 수행된다.
한편 크로마키잉이란, 영상 합성 방식의 하나로서 특정한 색의 단일 배경 앞에서 촬영한 후 그 색을 제거하여, 원하는 그림 위에 합성하는 방법을 말하며, 배경색을 주로 녹색이나 청색을 사용한다.
상기와 같은 후반 작업을 거쳐서 영상신호와 음성신호를 동기화시킨 동영상을 레이어 DB(30)에 구축한다. 바람직하게는 동기화된 영상신호 및 음성신호를 각 레이어별로 분리하여, 획득한 영상을 압축 및 다중화하고 다양한 동영상 재생 요구사양에 맞추어 코딩작업을 실시함으로써 다양한 쌍방향성 콘텐츠를 상기 레이어 DB(30)에 구축한다. 상기 코딩작업은 C# 프로그래밍 언어와 안드로이드 운영체제하의 Unity3D 영상 처리 엔진을 이용하는 것이 바람직하다.
다음으로, 서버(20)가 상기 동영상 선택신호에 따라 선택된 동영상을 상기 단말기(10)로 전송하고 단말기(10)가 상기 선택된 동영상을 재생하는 재생단계를 진행한다(S25). 이때 상기 서버(20)가 상기 선택된 동영상에 인접하는 하나 이상의 인접동영상을 단말기(10)로 전송하는 단계를 포함할 수 있다(S20). 한편 후술하는 앵글 변화 신호가 없는 경우에는 상기 선택된 동영상을 완료시까지 재생한다(S26).
도 3은 본 발명에 있어서, 동영상 선택신호에 따라 선택된 동영상과 그 인접동영상을 스트리밍으로 로딩하는 것을 설명하는 개념도이다.
도 3은 피사체의 주변으로 총 20대의 동영상 촬영수단으로 획득된 동영상이 준비되어 있다. 가로방향의 긴 막대 표시는 레이어를 의미한다. 본 실시예에서는 동영상의 길이를 10분(10:00)으로 설정하였다.
도 3를 참조할 때, 만약 단말기(10)로부터 1번 카메라(CAM 1)의 동영상이 선택되면 서버(20)가 이에 상응하는 동영상을 단말기(10)로 전송하고, 1번 카메라를 중심으로 인접하는 카메라(CAM 2, CAM 3, CAM 4, CAM 5 및 CAM 17, CAM 18, CAM 19, CAM 20)가 획득한 동영상을 단말기(10)에 전송한다. 따라서 총 9개의 동영상이 전송된다. 전송되는 동영상의 개수는 자유롭게 조정될 수 있으나, 개수가 많아질수록 동시에 전송해야 할 데이터량이 많아질 것이다. 결과적으로 상기 1번 카메라의 동영상을 제외한 나머지 8개의 동영상은 사용자의 앵글 변화 요구에 즉각적으로 대처하기 위한 예비적 영역으로 스트리밍된 영상들이 된다. 이로써 6번 카메라 내지 16번 카메라의 동영상을 한꺼번에 서버(20)로부터 다운로딩하지 않아도 되므로 데이터전송의 효율화를 꾀할 수 있다.
또한 본 발명에 의하면 현재 재생되고 있는 동영상에서 180도 반대방향의 각도로 곧바로 전환하도록 구현하는 것이 현실적으로 곤란하고 또한 그럴 필요성도 적기 때문에 순차적으로 인접하는 동영상만을 전송한다. 따라서 사용자가 도 2의 10번 카메라(CAM 10)의 동영상을 감상하지 않는 동안에는 불필요한 10번 카메라의 동영상 및 그 인접동영상을 현재 재생중인 동영상 및 그 인접동영상들과 함께 한꺼번에 전송하지 않아도 되는 것이다.
다음으로, 상기 단말기(10)에서 사용자의 조작에 따라 앵글 변화 신호가 발생하면 이에 따라 다른 각도의 동영상으로 전환하는 앵글변화단계를 진행한다(S30).
또한 상기 앵글변화단계는 서버(20)가 상기 앵글 변화 신호에 따라 선택된 다른 각도의 동영상 및 이에 인접하는 하나 이상의 인접동영상을 단말기(10)로 전송하는 단계(S20)를 진행할 수 있다.
도 4는 본 발명의 앵글 변화 선택신호에 따라 선택된 동영상과 그 인접동영상을 스트리밍으로 로딩하는 것을 설명하는 개념도이다.
도3에서 설명한 것과 유사하게, 단말기(10)로부터 앵글 변화 신호를 서버(20)가 수신하면, 서버(20)가 이에 상응하는 동영상과 그 인접동영상을 단말기(10)로 전송한다. 즉 도 3에 도시된 화살표는 단말기(10)를 통해 앵글(각도) 변화 시점을 나타내는데, 도 3을 보면 초기 1번 카메라(CAM 1)에서 2번 카메라의 동영상을 거쳐 현재 4번 카메라(CAM 4)의 동영상이 재생중에 있다(붉은 색). 그리고 4번 카메라의 동영상에 인접하는 인접동영상들(CAM 1, CAM 2, CAM 3 및 CAM 5, CAM 6, CAM 7)이 스트리밍되고 있다(노란색). 한편 모든 20개의 동영상은 현재 재생 시점으로 동기화된 상태에 있다(회색). 파선으로 된 화살표는 향후 사용자의 요구에 따라 변화될 각도를 의미한다. 만약 9번 카메라(CAM 9)로 각도 변화가 생기면 상술한 대로 9번 카메라의 동영상 및 그 인접동영상들이 스트리밍될 것은 자명하다.
도 5는 본 발명의 앵글 변화 선택신호에 따라 선택된 동영상과 그 인접동영상을 스트리밍으로 로딩하는 것을 설명하는 또 다른 개념도이다.
도 4에서 설명한 원리와 동일하게, 각도 변화에 따라 현재 9번 카메라의 동영상이 재생되고 있고, 그 인접동영상 8개가 스트리밍되는 것을 보여준다.
도 6은 본 발명의 앵글 변화 선택신호에 따라 1번 카메라에서 20번 카메라까지 변환한후 다시 1번 카메라로 옮겨간 다음, 10번 카메라까지 변환하고 그 후 2번 카메라까지 변환되는 것을 보여주고, 최종적으로 2번 카메라가 선택된후 19번 카메라, 20번 및 1번 카메라 내지 5번 카메라의 인접 동영상이 스트리밍되는 것을 보여준다.
한편 상기 기술적 과제를 달성하기 위해 본 발명에서는 360도 공간영상 재생 시스템이 제공된다.
도 7은 본 발명의 360도 공간영상 재생 시스템을 나타내는 전체 구성도이다.
도7에 도시된 바와 같이, 본 발명에서는 동영상 재생과 원하는 각도의 동영상을 선택할 수 있도록 하는 응용프로그램이 설치되는 단말기(10); 상기 단말기(10)와 유무선 네트워크(40)를 통해 데이터를 송수신하는 서버(20); 및, 상기 서버(20)에 구비되고 동영상을 저장하는 레이어 DB(30);를 포함하는 것을 특징으로 하는 360도 공간영상 재생시스템이 제공된다.
상기 단말기(10)는 터치 방식의 스마트폰, 일반 PC 등의 기기로서 응용프로그램 설치 가능하다.
도 8은 본 발명에서 사용될 수 있는 대표적인 단말기(10)로서 스마트폰을 예시하고 있다. 도8에 도시된 바와 같이, 동영상의 좌(left), 우(right)를 이동 선택하면, 선택 신호에 따라 본 발명의 시스템에 의해 선택된 동영상으로 전환되어 플레이 되는 것을 보여준다. 나아가,본 발명의 시스템은 선택된 특정 부분의 줌 인(zoom in), 줌 아웃(zoom out) 기능까지 제공하는 것이 바람직하다.
여기서, 상기 서버(20)는 상기 단말기(10)로부터 전송된 동영상 선택신호 또는 앵글 변화 신호에 따라 해당 동영상을 검색하고 상기 해당 동영상과 함께 인접동영상을 하나 이상 선별하여 단말기(10)로 전송하는 동영상 선택모듈(21), 상기 단말기(10)에 설치되어 동영상 재생과 원하는 각도의 동영상을 선택할 수 있도록 하는 응용프로그램을 제공하는 응용프로그램 제공 모듈(23) 및 각종 데이터를 상기 단말기(10)에 송수신하는 데이터 전송모듈(25)을 포함할 수 있다.
또한 상기 서버(20)는, 피사체의 주변에 설치된 복수 개의 동영상 촬영수단(CAM 1, CAM2, , CAM 20)에 의해 촬영된 동영상을 수집하여 상기 레이어 DB(30)에 저장하는 동영상 수집모듈(27)을 더 포함할 수 있다. 상기 동영상 수집모듈(27)은 비선형 편집 프로그램과 같은 상용 프로그램이 내장되어 후반작업이나 동기화를 시킬 수 있도록 하는 것이 바람직하다.
도 9는 본 발명을 실제로 구현하기 위해 동영상 촬영수단 20대를 일정간격으로 배치한 사진이다. 본 실시예에서는 지름을 7M로 설정하였으며, 카메라20대와 지름 7M는 공간의 효율에 따라 변경될수 있음은 이미 상술하였다.
한편, 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어데이터 파일데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는 하드 디스크플로피 디스크 및 자기 테이프와 같은 자기 매체 CD-ROM, DVD와 같은 광기록매체플롭티컬(플로피) 디스크(floptical(Floppy) disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며 그 역도 마찬가지이다.
상기에서 설명한 바와 같이 본 발명의 과제와 동일한 범위 내에서 다양한 설계 변경을 시도할 수도 있을 것이나, 이러한 설계변경으로 인해 본 발명에서 전혀 예상치 못한 새로운 효과가 나타나지 않는 한, 본 발명의 권리범위를 벗어나지 못할 것이다.

Claims (7)

  1. 서버가 단말기로부터 동영상 선택신호를 기다리는 대기단계;
    서버가 상기 동영상 선택신호에 따라 선택된 동영상을 상기 단말기로 전송하고 단말기가 상기 선택된 동영상을 재생하는 재생단계;
    상기 단말기의 앵글 변화 신호에 따라 다른 각도의 동영상으로 전환하는 앵글변화단계;를 포함하는 것을 특징으로 하는 360도 공간영상 재생방법.
  2. 청구항 1에 있어서,
    상기 대기단계는,
    상기 서버가 두 개 이상의 동영상 촬영수단에 의해 생성된 두 개 이상의 동영상이 저장된 레이어(layer) DB를 구축하는 DB구축단계;를 포함하는 것을 특징으로 하는 360도 공간영상 재생방법.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 재생단계는,
    상기 서버가 상기 선택된 동영상에 인접하는 하나 이상의 인접동영상을 단말기로 전송하는 단계;를 포함하는 것을 특징으로 하는 360도 공간영상 재생방법.
  4. 청구항 1 또는 청구항 2에 있어서,
    상기 앵글변화단계는,
    상기 서버가 상기 다른 각도의 동영상에 인접하는 하나 이상의 인접동영상을 단말기로 전송하는 단계;를 포함하는 것을 특징으로 하는 360도 공간영상 재생방법.
  5. 동영상 재생과 원하는 각도의 동영상을 선택할 수 있도록 하는 응용프로그램이 설치되는 단말기;
    상기 단말기와 유무선 네트워크를 통해 데이터를 송수신하는 서버; 및,
    상기 서버에 구비되고 동영상을 저장하는 레이어 DB;를 포함하는 것을 특징으로 하는 360도 공간영상 재생시스템.
  6. 청구항 5에 있어서,
    상기 서버는,
    상기 단말기로부터 전송된 동영상 선택신호 또는 앵글 변화 신호에 따라 해당 동영상을 검색하고 상기 해당 동영상과 함께 인접동영상을 하나 이상 선별하여 단말기로 전송하는 동영상 선택모듈;
    상기 단말기에 설치되어 동영상 재생과 원하는 각도의 동영상을 선택할 수 있도록 하는 응용프로그램을 제공하는 응용프로그램 제공 모듈; 및
    각종 데이터를 상기 단말기에 송수신하는 데이터 전송모듈;을 포함하는 것을 특징으로 하는 360도 공간영상 재생시스템.
  7. 청구항 5 또는 청구항 6에 있어서,
    상기 서버는,
    피사체의 주변에 설치된 복수 개의 동영상 촬영수단에 의해 촬영된 동영상을 수집하여 상기 레이어 DB에 저장하는 동영상 수집모듈을 더 포함하는 것을 특징으로 하는 360도 공간영상 재생시스템.
PCT/KR2015/006531 2014-08-18 2015-06-26 360도 공간영상 재생방법 및 그 시스템 WO2016027977A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201580044332.2A CN106576190B (zh) 2014-08-18 2015-06-26 360度空间图像播放方法及系统
US15/505,035 US10205969B2 (en) 2014-08-18 2015-06-26 360 degree space image reproduction method and system therefor
JP2017529962A JP2017532918A (ja) 2014-08-18 2015-06-26 ３６０度空間映像再生方法及びそのシステム
PH12017500301A PH12017500301A1 (en) 2014-08-18 2017-02-17 360 degree space image reproduction method and system therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0106807 2014-08-18
KR1020140106807A KR101530826B1 (ko) 2014-08-18 2014-08-18 360도 공간영상 재생방법 및 그 시스템

Publications (1)

Publication Number Publication Date
WO2016027977A1 true WO2016027977A1 (ko) 2016-02-25

Family

ID=53519600

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/006531 WO2016027977A1 (ko) 2014-08-18 2015-06-26 360도 공간영상 재생방법 및 그 시스템

Country Status (6)

Country Link
US (1) US10205969B2 (ko)
JP (1) JP2017532918A (ko)
KR (1) KR101530826B1 (ko)
CN (1) CN106576190B (ko)
PH (1) PH12017500301A1 (ko)
WO (1) WO2016027977A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074872A1 (en) * 2016-10-19 2018-04-26 Samsung Electronics Co., Ltd. Electronic device and computer-readable recording medium for displaying images
WO2019139250A1 (en) * 2018-01-15 2019-07-18 Samsung Electronics Co., Ltd. Method and apparatus for playing a 360-degree video
JP2020524450A (ja) * 2017-06-29 2020-08-13 ４ディーリプレー コリア，インコーポレイテッド 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200153A1 (ko) * 2016-05-16 2017-11-23 한국과학기술원 ３６０도 영상 재생 시 사용자 단말 기울기 정보를 이용하여 재생 영역을 보정하는 방법 및 시스템
US10622023B2 (en) * 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
US10623662B2 (en) 2016-07-01 2020-04-14 Snap Inc. Processing and formatting video for interactive presentation
KR102525575B1 (ko) * 2016-08-12 2023-04-25 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
KR102522565B1 (ko) 2016-08-31 2023-04-17 삼성전자주식회사 영상 표시 장치 및 그 동작 방법
US10475483B2 (en) 2017-05-16 2019-11-12 Snap Inc. Method and system for recording and playing video using orientation of device
JP6571859B1 (ja) * 2018-12-26 2019-09-04 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法及び映像配信プログラム
CN109801347B (zh) * 2019-01-25 2022-10-25 北京字节跳动网络技术有限公司 一种可编辑图像模板的生成方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060041060A (ko) * 2004-11-08 2006-05-11 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
JP2009095032A (ja) * 1996-10-31 2009-04-30 Sensormatic Electron Corp インテリジェントビデオ情報管理システム
WO2010146947A1 (ja) * 2009-06-18 2010-12-23 カヤバ工業株式会社 レベリングバルブ
KR20120115015A (ko) * 2011-04-08 2012-10-17 엘지전자 주식회사 이동 단말기 및 3ｄ 멀티 앵글 뷰 제어방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191261A (ja) * 1996-12-20 1998-07-21 Nippon Telegr & Teleph Corp <Ntt> 多視点映像再生方法
JPH10322680A (ja) * 1997-05-16 1998-12-04 Nippon Telegr & Teleph Corp <Ntt> 連鎖型多視点映像再生方法
JP2004186824A (ja) * 2002-11-29 2004-07-02 Jikei Univ School Of Medicine 時空間多重画像装置および方法
CN100432836C (zh) * 2006-05-19 2008-11-12 李鹏 实现二维全景真实成像的方法
CN100547484C (zh) * 2007-04-04 2009-10-07 乔楠 一种环幕摄像系统
US8270767B2 (en) * 2008-04-16 2012-09-18 Johnson Controls Technology Company Systems and methods for providing immersive displays of video camera information from a plurality of cameras
DK2445224T3 (en) * 2009-06-17 2017-08-21 Panasonic Ip Man Co Ltd INFORMATION RECORDING MEDIUM FOR 3D VIDEO RENDERING AND REPLACEMENT DEVICE
JP2011135253A (ja) * 2009-12-24 2011-07-07 Fujitsu Ten Ltd 画像処理装置、画像処理システム、および、画像処理方法
KR101139287B1 (ko) 2010-03-15 2012-04-26 한국과학기술연구원 사용자의 움직임을 반영한 파노라마 영상 재생 장치 및 파노라마 영상 재생 방법
JP2012094990A (ja) * 2010-10-25 2012-05-17 Duse Technologies Co Ltd 視点連動画像表示システム
JP5096628B1 (ja) * 2011-09-29 2012-12-12 徹平 江里口 動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システム
KR101473254B1 (ko) * 2011-10-12 2014-12-17 주식회사 케이티 멀티 앵글 영상을 복수의 단말로 제공하는 방법 및 장치
US20130129304A1 (en) * 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
US20130141526A1 (en) * 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
KR20130077246A (ko) * 2011-12-29 2013-07-09 주식회사 카몬 스마트디바이스 상에서 파노라마 동영상 재생시 ｃｐｕ에 의한 과도 처리 경감방법 및 과도 처리 경감시스템
TW201349848A (zh) * 2012-05-22 2013-12-01 Chunghwa Telecom Co Ltd 多視角互動電視之影音串流方法
KR101350915B1 (ko) * 2013-06-27 2014-02-18 주식회사 넥스트이온 다시점 비디오 스트리밍 시스템 및 그 제공방법
US20150373075A1 (en) * 2014-06-23 2015-12-24 Radia Perlman Multiple network transport sessions to provide context adaptive video streaming

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009095032A (ja) * 1996-10-31 2009-04-30 Sensormatic Electron Corp インテリジェントビデオ情報管理システム
KR20060041060A (ko) * 2004-11-08 2006-05-11 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
WO2010146947A1 (ja) * 2009-06-18 2010-12-23 カヤバ工業株式会社 レベリングバルブ
KR20120115015A (ko) * 2011-04-08 2012-10-17 엘지전자 주식회사 이동 단말기 및 3ｄ 멀티 앵글 뷰 제어방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018074872A1 (en) * 2016-10-19 2018-04-26 Samsung Electronics Co., Ltd. Electronic device and computer-readable recording medium for displaying images
US10594924B2 (en) 2016-10-19 2020-03-17 Samsung Electronics Co., Ltd. Electronic device and computer-readable recording medium for displaying images
JP2020524450A (ja) * 2017-06-29 2020-08-13 ４ディーリプレー コリア，インコーポレイテッド 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
EP3621309A4 (en) * 2017-06-29 2020-12-02 4DReplay Korea, Inc. MULTI-CHANNEL IMAGE TRANSMISSION SYSTEM, ASSOCIATED CONTROL PROCESS AND MULTI-CHANNEL IMAGE READING METHOD AND APPARATUS
WO2019139250A1 (en) * 2018-01-15 2019-07-18 Samsung Electronics Co., Ltd. Method and apparatus for playing a 360-degree video
US11336963B2 (en) 2018-01-15 2022-05-17 Samsung Electronics Co., Ltd. Method and apparatus for playing a 360-degree video

Also Published As

Publication number Publication date
PH12017500301B1 (en) 2017-06-28
CN106576190B (zh) 2020-05-01
US20170272785A1 (en) 2017-09-21
KR101530826B1 (ko) 2015-06-24
US10205969B2 (en) 2019-02-12
PH12017500301A1 (en) 2017-06-28
JP2017532918A (ja) 2017-11-02
CN106576190A (zh) 2017-04-19

Similar Documents

Publication Publication Date Title
WO2016027977A1 (ko) 360도 공간영상 재생방법 및 그 시스템
CN102077575B (zh) 通过多图像捕获进行的变焦
KR20160021706A (ko) 360도 공간영상 재생방법 및 그 시스템
CN103051830B (zh) 一种对所拍目标多角度实时转播的系统和方法
CN108282598A (zh) 一种软件导播系统及方法
CN105721752B (zh) 摄像装置和摄像方法
CN113115110B (zh) 视频合成方法、装置、存储介质与电子设备
CN106060526A (zh) 一种基于双摄像头的直播方法及装置
CN101729788A (zh) 摄像装置、摄像区域显示方法和摄像区域显示程序
WO2016126044A1 (ko) 게임 플레이 동영상에 광고 컨텐츠를 추가 적용하여 제공하는 서비스 방법
CN107734244A (zh) 全景影片播放方法及播放装置
CN1848917B (zh) 在取景器中具有画中画的摄像机系统
WO2018124794A1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
US10616724B2 (en) Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device
KR101410493B1 (ko) 스포츠 동영상 제공 시스템
WO2019004498A1 (ko) 다채널 영상 생성 방법, 다채널 영상 재생 방법 및 다채널 영상 재생 프로그램
WO2018155910A1 (ko) 중계 방송을 지원하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
Svanberg The EDCF guide to digital cinema production
RU136663U1 (ru) Система дистанционного просмотра театрального представления или подобного зрелища
WO2022062970A1 (zh) 图像获取装置以及图像获取系统
WO2015034123A1 (ko) 여러 대의 액션캠 영상을 재생하기 위한 버퍼관리 방법 및 그에 따른 재생장치
JP2008236708A (ja) バーチャル撮影スタジオの媒体制作装置
WO2019117346A1 (en) Transmission system for multi-channel image and method of controlling the same
WO2023128491A1 (ko) 다채널 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15833422

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017529962

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15505035

Country of ref document: US

Ref document number: 12017500301

Country of ref document: PH

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15833422

Country of ref document: EP

Kind code of ref document: A1