KR20130024357A - Real-time panorama streaming system for high resolution panorama videos and/or images - Google Patents

Real-time panorama streaming system for high resolution panorama videos and/or images Download PDF

Info

Publication number
KR20130024357A
KR20130024357A KR1020110087760A KR20110087760A KR20130024357A KR 20130024357 A KR20130024357 A KR 20130024357A KR 1020110087760 A KR1020110087760 A KR 1020110087760A KR 20110087760 A KR20110087760 A KR 20110087760A KR 20130024357 A KR20130024357 A KR 20130024357A
Authority
KR
South Korea
Prior art keywords
client terminal
image
server
panoramic
user
Prior art date
Application number
KR1020110087760A
Other languages
Korean (ko)
Other versions
KR101282955B1 (en
Inventor
서동만
고희동
김수현
박호건
윤선범
이근영
조영태
유재욱
방한민
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020110087760A priority Critical patent/KR101282955B1/en
Publication of KR20130024357A publication Critical patent/KR20130024357A/en
Application granted granted Critical
Publication of KR101282955B1 publication Critical patent/KR101282955B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25816—Management of client data involving client authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PURPOSE: A system for streaming a high definition panoramic image in real time and a method thereof are provided to supply a second thumbnail image of high definition when slice information of a specific area in a first thumbnail image is requested, thereby efficiently supplying the panoramic image to a client terminal under a limited bandwidth. CONSTITUTION: A server receives a panoramic image by using a panorama camera unit(600). The server transmits the panoramic image by encoding the panoramic image to a first thumbnail image corresponding to a specification of each accessed client terminal(610). The server transmits a specific area by encoding the same with low definition or high definition of a second thumbnail image corresponding to an image information request of the specific area of the first thumbnail image(620,630). [Reference numerals] (600) Receiving panorama moving images; (610) Encoding and transmitting a first thumbnail image; (620) Receiving the image information request of a feature area; (630) Encoding and transmitting a second thumbnail image; (AA) Start; (BB) End

Description

실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법{Real-time Panorama Streaming System for High Resolution Panorama Videos and/or Images}Real-time Panorama Streaming System for High Resolution Panorama Videos and / or Images}

본 발명은 파노라마 영상을 실시간으로 클라이언트 단말에 스트리밍하는 파노라마 영상 스트리밍 시스템 및 방법에 관한 것이다.The present invention relates to a panoramic image streaming system and method for streaming a panoramic image to a client terminal in real time.

기존 방송에서는 하나의 채널을 통해 시청자에게 방송 정보를 제공하며, 야구와 같은 스포츠 경기를 중계하는 경우에 다수의 카메라를 경기장에 배치하고 여러 각도에서 선수들의 플레이 상황을 시청자에게 제공할 수 있도록 시스템이 구축되지만, 시청자들에게 제공되는 화면은 제작된 여러 화면 중 방송사에 의해 선택되어지는 하나의 화면 뿐이고, 시청자에게는 시청하고자 하는 화면에 대한 선택권이 주어지지 않았다.Existing broadcasting provides broadcasting information to viewers through a single channel, and when relaying a sports game such as baseball, a system is provided so that a plurality of cameras can be placed in a stadium and players can be viewed from various angles. Although it is constructed, the screen provided to the viewers is only one screen selected by the broadcaster among the various screens produced, and the viewer is not given a choice about the screen to be viewed.

이러한 문제점을 보완하기 위하여 IPTV(Internet Protocol Television) 등에서 멀티 앵글(Multi Angle) 방송 서비스, 즉 경기장 및 녹화장 내의 여러 곳에 설치된 다수의 카메라로 촬영된 여러 각도의 영상을 서로 다른 채널을 통해 전송하고, 사용자는 필요시 채널을 변경함으로써 자신이 원하는 영상을 시청할 수 있는 방송 서비스를 제공하고 있다.In order to solve this problem, multi-angle broadcasting service such as IPTV (Internet Protocol Television), that is, various angles of images recorded by multiple cameras installed in various places in the stadium and recording venues are transmitted through different channels, and Provides a broadcast service that allows users to watch a desired video by changing a channel if necessary.

이와 같은 멀티 앵글 방송 서비스를 제공하기 위해서는 앵글 개수 만큼의 채널(방송 대역)이 필요하기 때문에 방송 대역이 한정된 조건에서는 멀티 앵글 방송 서비스를 제공하기 어렵다. 따라서, HD 급의 화질의 고해상도 파노라마 영상을 효율적으로 다수의 사용자들에게 제공하기에는 한계가 있었다.In order to provide such a multi-angle broadcast service, as many channels as the number of angles (broadcast bands) are required, it is difficult to provide a multi-angle broadcast service under a limited broadcast band. Therefore, there is a limit to efficiently providing a high resolution panorama image of HD quality to a large number of users.

또한, 파노라마 영상의 시청자가 관람 영역 확대 또는 축소하거나, 특정 관람 영역을 선택하는 등의 양방향 방송 인터페이스가 부족하였다. In addition, there was a lack of a two-way broadcast interface in which a viewer of a panoramic image enlarges or reduces a viewing area or selects a specific viewing area.

한국공개특허 제10-2008-0096006호 “파노라마 영상 생성 장치, 방법 및 상기 방법을 프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체”의 경우에도 단순히 파노라마 영상 생성 장치로부터 획득한 파노라마 영상을 실시간으로 처리하여 실시간으로 전송하는 것만 개시하고 있을 뿐, HD 급의 고해상도 파노라마 영상의 효율적인 전송 방법에 대해서는 개시하고 않고 있다.Korean Patent Laid-Open Publication No. 10-2008-0096006 "Panorama image generating apparatus, method and computer-readable recording medium recorded by programming said method" also in real time simply panoramic image obtained from the panoramic image generating apparatus in real time It only discloses processing and transmitting in real time, and does not disclose an efficient transmission method of high-definition panoramic video of HD class.

한국공개특허 제10-2008-0096006호Korean Patent Publication No. 10-2008-0096006

본 발명은 이와 같은 종래 기술의 문제점을 해결하기 위한 것으로서, 높은 네트워크 대역폭을 요구하는 고해상도 파노라마 영상을 효율적으로 전송할 수 있는 파노라마 영상 스트리밍 시스템 및 방법을 제공하는 것을 목적으로 한다.The present invention is to solve the problems of the prior art, and an object of the present invention is to provide a panoramic image streaming system and method that can efficiently transmit a high resolution panoramic image requiring a high network bandwidth.

또한, 본 발명은 파노라마 영상을 시청하는 다수의 클라이언트 단말에서 사용자가 관람 영역을 확대, 축소 또는 이동하는 효율적인 인터페이스를 제공하며, 다수의 단말기 사이의 동기화 재생 및 관람 시점의 공유 등의 인터페이스를 통해 효율적인 양방향 방송 인터페이스를 제공하는 것을 목적으로 한다. In addition, the present invention provides an efficient interface for the user to enlarge, reduce or move the viewing area in a plurality of client terminals for viewing the panoramic image, and through the interface such as synchronized playback and sharing of viewing time between the plurality of terminals It is an object to provide a two-way broadcast interface.

이를 위해 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템은 파노라마 영상을 획득하는 파노라마 카메라와, 상기 파노라마 카메라로부터 수신된 파노라마 영상을 디코딩 및 인코딩하는 서버와, 상기 서버가 디코딩 및 인코딩한 파노라마 영상을 수신하여 재생하는 하나 이상의 클라이언트 단말을 포함하되, 상기 서버는 상기 파노라마 카메라로부터 수신된 파노라마 영상을 상기 각각의 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 제1 썸네일 영상으로 인코딩하여 상기 각각의 클라이언트 단말에 전송하고, 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 따라 상기 클라이언트 단말이 상기 제1 썸네일 영상 중 특정 영역의 슬라이스 영상 정보를 요청하면, 상기 요청된 특정 영역의 슬라이스 영상 정보를 상기 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 제2 썸네일 영상으로 인코딩하여 상기 클라이언트 단말에 전송할 수 있다.To this end, a panoramic image streaming system according to an embodiment of the present invention includes a panoramic camera for obtaining a panoramic image, a server for decoding and encoding a panoramic image received from the panoramic camera, and a panoramic image decoded and encoded by the server. And one or more client terminals for receiving and reproducing, wherein the server encodes the panoramic image received from the panoramic camera into a first thumbnail image corresponding to the resolution of each client terminal and composed of several slice images. If the client terminal requests slice image information of a specific region of the first thumbnail image according to any one command of a user's screen enlargement, reduction, and movement, the slice image information of the requested specific region is transmitted. It corresponds to the resolution of the client terminal, and may transmit to the client terminal using the encoding of the second thumbnail image is composed of multiple slice images.

이때, 상기 서버는 상기 각각의 클라이언트 단말에 상기 제1 썸네일 영상을 기본적으로 항상 전송하며, 상기 요청된 특정 영역의 상기 제2 썸네일 영상을 각각 독립적인 채널로 상기 각각의 클라이언트 단말에 실시간 스트리밍 함으로써 데이터 전송 효율을 최적화할 수 있다.In this case, the server basically always transmits the first thumbnail image to each of the client terminals, and the second thumbnail image of the requested specific region is streamed in real time to each of the client terminals in independent channels. The transmission efficiency can be optimized.

또한, 상기 서버는 상기 파노라마 카메라부로부터 수신된 파노라마 영상을 디코딩하는 디코딩 모듈과, 상기 디코딩 모듈에서 디코딩된 파노라마 영상을 인코딩하는 인코딩 모듈과, 상기 인코딩 모듈에서 인코딩된 파노라마 영상을 상기 클라이언트에 전송하는 스트리밍 모듈을 포함할 수 있다.The server may further include a decoding module for decoding the panoramic image received from the panoramic camera unit, an encoding module for encoding the panoramic image decoded by the decoding module, and transmitting the panoramic image encoded in the encoding module to the client. It may include a streaming module.

또한, 상기 서버는 상기 클라이언트 단말의 접속을 제어하는 접속 제어 모듈과, 상기 클라이언트 단말의 해상도에 따라서 파노라마 영상의 크기를 조절하는 스케일링 모듈과, 상기 클라이언트 단말에 제공될 썸네일 영상의 슬라이스의 분할 정도를 조절하는 분할 모듈을 더 포함할 수 있다.The server may further include a connection control module that controls the access of the client terminal, a scaling module that adjusts the size of the panoramic image according to the resolution of the client terminal, and a degree of slice of the thumbnail image to be provided to the client terminal. It may further include a splitting module to adjust.

이때, 상기 접속 제어 모듈은 상기 클라이언트 단말의 인증 및 사용자 정보를 관리하는 클라이언트 정보 관리 모듈과, 상기 클라이언트 단말에서 요청되는 영상 정보를 기초로 사용자 관심 영역을 추출 및 저장하는 사용자 관심 영역 관리 모듈과, 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 의한 상기 클라이언트 단말의 영상 정보 요청에 따라 파노라마 영상의 시점을 이동시키는 시점 이동 모듈을 더 포함하고, 상기 서버는 상기 클라이언트 단말의 요청에 따라 파노라마 영상의 시점을 이동시켜 상기 클라이언트 단말에 전송하거나, 상기 사용자 관심 영역 관리 모듈에 저장된 사용자 관심 영역 정보를 기초로 사용자 관심 영역이 파노라마 영상을 상기 클라이언트 단말에 제공할 수 있다.In this case, the access control module includes a client information management module for managing authentication and user information of the client terminal, a user interest region management module for extracting and storing a user interest region based on image information requested from the client terminal; The apparatus may further include a viewpoint moving module for moving the viewpoint of the panoramic image according to the request of the image information of the client terminal by any one of a user's screen enlargement, reduction, and movement. The viewpoint of the image may be moved and transmitted to the client terminal, or the user region of interest may provide the panoramic image to the client terminal based on the user region of interest information stored in the user region of interest management module.

또한, 상기 스트리밍 모듈은 파노라마 영상의 재생 시점을 동일하게 하여 동기화된 영상을 생성하는 동기화 모듈을 더 포함하고, 상기 서버는 상기 클라이언트 단말의 동기화 요청에 따라 상기 동기화 모듈에서 생성된 동기화된 영상을 상기 각각의 클라이언트 단말에 전송할 수 있다.The streaming module may further include a synchronization module configured to generate synchronized images by equally reproducing the panoramic image, and the server may generate the synchronized image generated by the synchronization module according to a synchronization request from the client terminal. Can transmit to each client terminal.

또한, 상기 서버는 상기 클라이언트 단말의 요청에 따라 상기 클라이언트 단말 중 어느 하나의 재생 화면을 다른 어느 하나의 클라이언트 단말에 전송할 수 있다.The server may transmit the playback screen of any one of the client terminals to any other client terminal according to a request of the client terminal.

또한, 상기 클라이언트 단말은 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령을 입력 받는 입력부를 포함할 수 있으며, 상기 입력부는 버튼, 터치 패드, 터치 스크린 중 하나일 수 있다. In addition, the client terminal may include an input unit for receiving any one command of screen expansion, reduction, and movement of the user, and the input unit may be one of a button, a touch pad, and a touch screen.

또한, 상기 터치 스크린은 파노라마 영상이 재생되는 디스플레이부의 역할을 동시에 수행하고, 사용자가 상기 터치 스크린을 드래그하거나 멀티 터치하는 동작을 화면 확대, 축소 및 이동 중 어느 하나의 명령으로 인식할 수 있다.The touch screen may simultaneously perform a role of a display unit for playing a panorama image, and recognize a user dragging or multi-touching the touch screen with any one command of screen enlargement, reduction, and movement.

또한, 상기 클라이언트 단말은 상기 클라이언트 단말의 기울임 정도를 감지하는 기울기 센서를 포함하고, 사용자가 상기 클라이언트 단말을 좌우 또는 상하로 기울일 때의 기울임 정도를 상기 기울기 센서로 감지하고, 상기 감지된 기울임 정도를 시점 변경 명령으로 인식할 수 있다.In addition, the client terminal includes a tilt sensor for detecting the degree of inclination of the client terminal, and detects the degree of inclination when the user tilts the client terminal to the left or right or up and down with the inclination sensor, and detects the detected degree of inclination It can be recognized as a viewpoint change command.

또한, 상기 클라이언트 단말은 사용자와 상기 클라이언트 단말과의 거리를 감지하는 거리 감지부를 더 포함하고, 상기 감지된 거리가 줄어들면 화면 확대 명령으로 인식하고, 상기 감지된 거리가 멀어지면 화면 축소 명령으로 인식할 수 있다.The client terminal may further include a distance detector configured to detect a distance between the user and the client terminal. When the detected distance is reduced, the client terminal is recognized as a screen magnification command. When the detected distance is far, the client terminal is recognized as a screen reduction command. can do.

또한, 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 방법은 서버가 하나 이상의 파노라마 카메라로부터 파노라마 영상을 수신하는 단계와, 상기 서버가 상기 수신된 파노라마 영상을 상기 각각의 클라이언트 단말의 해상도에 대응되며 여러 슬라이드 영상으로 구성되는 제1 썸네일 영상으로 인코딩하여 상기 각각의 클라이언트 단말에 전송하는 단계와, 상기 서버가 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 따라 상기 클라이언트 단말로부터 상기 제1 썸네일 영상 중 특정 영역의 슬라이스 영상 정보를 요청 받는 단계와, 상기 서버가 상기 요청된 특정 영역의 슬라이스 정보를 상기 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 제2 썸네일 영상으로 인코딩하여 상기 클라이언트 단말에 제공하는 단계를 포함할 수 있다.In addition, the panoramic image streaming method according to an embodiment of the present invention, the server receiving a panoramic image from at least one panoramic camera, the server corresponding to the resolution of each of the client terminal and the received panoramic image Encoding the first thumbnail image composed of a slide image and transmitting the encoded first thumbnail image to each of the client terminals, and the server outputs the first thumbnail image from the client terminal according to any one command of enlargement, reduction, and movement of the user's screen. Receiving slice image information of a specific region from the server, and the server encodes the slice information of the requested specific region into a second thumbnail image corresponding to the resolution of the client terminal and composed of several slice images to the client terminal. Providing steps It may include.

또한, 상기 서버가 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 의한 상기 클라이언트 단말의 영상 정보 요청에 따라 파노라마 영상의 시점을 이동시키는 단계를 더 포함할 수 있다.The method may further include moving, by the server, the viewpoint of the panoramic image according to the request for the image information of the client terminal by any one of a user's command to enlarge, reduce or move the screen.

또한, 상기 서버가 상기 클라이언트 단말에서 요청되는 영상 정보를 기초로 사용자 관심 영역을 추출 및 저장하는 단계 및 상기 서버가 상기 클라이언트 단말의 요청에 따라 상기 저장된 사용자 관심 영역의 파노라마 영상을 상기 클라이언트 단말에 전송하는 단계를 더 포함할 수 있다.In addition, the server extracts and stores the user region of interest based on the image information requested from the client terminal, and the server transmits a panoramic image of the stored user region of interest to the client terminal at the request of the client terminal It may further comprise the step.

또한, 상기 서버가 파노라마 영상의 재생 시점을 동일하게 하여 동기화된 영상을 생성하는 단계 및 상기 서버가 상기 클라이언트 단말의 요청에 따라 상기 생성된 동기화된 영상을 상기 각각의 클라이언트 단말에 전송하는 단계를 더 포함할 수 있다. The method may further include generating, by the server, a synchronized image by the same playback time of the panoramic image, and transmitting, by the server, the generated synchronized image to each client terminal at the request of the client terminal. It may include.

또한, 상기 서버가 상기 클라이언트 단말의 요청에 따라 상기 클라이언트 단말 중 어느 하나의 재생 화면을 다른 어느 하나의 상기 클라이언트 단말에 전송하는 단계를 더 포함할 수 있다.The server may further include transmitting a playback screen of any one of the client terminals to any other client terminal at the request of the client terminal.

본 발명에 따른 파노라마 영상 스트리밍 시스템은 파노라마 영상을 각각의 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 저해상도의 제1 썸네일 영상을 기본적으로 제공하며, 사용자의 조작에 따라 제1 썸네일 영상의 특정 영역의 슬라이스 정보가 요청되면, 요청된 특정 영역에 대응되는 고해상도의 제2 썸네일 영상을 제공함으로서 고해상도의 파노라마 영상을 한정된 대역폭 하에서 클라이언트 단말에 효율적으로 제공할 수 있게 된다.The panoramic image streaming system according to the present invention basically provides a low resolution first thumbnail image composed of several slice images corresponding to the resolution of each client terminal, and specifying the first thumbnail image according to a user's operation. When the slice information of the region is requested, the second thumbnail image having a high resolution corresponding to the requested specific region can be efficiently provided to the client terminal under a limited bandwidth.

또한, 다수의 클라이언트 단말의 관람 시점을 동기화하거나, 재생 시점을 동기화함으로써 다수의 사용자들이 함께 방송 컨텐츠를 공유할 수 있는 환경을 제공한다.In addition, by synchronizing the viewing time of the plurality of client terminals, or by synchronizing the playback time to provide an environment in which a plurality of users can share the broadcast content together.

도 1은 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템의 개략적인 구조도이다.
도 2는 도 1의 서버(200)의 세부 구성도이다.
도 3은 도 1의 파노라마 카메라(100)가 획득한 파노라마 샘플 영상이다.
도 4는 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템의 파노라마 영상 전송 방법을 개략적으로 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템에서 사용자가 관람 영역을 확대하는 경우의 동작을 설명하는 도면이다.
도 6은 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 방법을 개략적으로 나타내는 순서도이다.1 is a schematic structural diagram of a panoramic video streaming system according to an embodiment of the present invention.
FIG. 2 is a detailed configuration diagram of the server 200 of FIG. 1.
3 is a panoramic sample image obtained by the panoramic camera 100 of FIG. 1.
4 is a diagram schematically illustrating a panoramic image transmission method of a panoramic image streaming system according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating an operation when a user enlarges a viewing area in a panoramic image streaming system according to an embodiment of the present invention.
6 is a flowchart schematically illustrating a panorama video streaming method according to an embodiment of the present invention.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 파노라마 영상 스트리밍 시스템 및 방법의 가능한 일실시예에 불과하며, 본 발명의 기술적 사상은 위 내용에 한정되지 아니한다.
Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. However, the accompanying drawings and the following description are only possible embodiments of the panoramic video streaming system and method according to the present invention, and the technical idea of the present invention is not limited to the above.

도 1은 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템의 개략적인 구조도이다.1 is a schematic structural diagram of a panoramic video streaming system according to an embodiment of the present invention.

도 1을 참조하면 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템은 파노라마 카메라(100)와, 서버(200)와, 클라이언트 단말(300)을 포함하여 구성된다.Referring to FIG. 1, a panoramic video streaming system according to an exemplary embodiment of the present invention includes a panoramic camera 100, a server 200, and a client terminal 300.

파노라마 카메라(100)는 멀티 앵글 방송 서비스를 위하여 다수의 장소에 설치되어 파노라마 영상을 획득하는 역할을 한다. 파노라마 카메라(100)는 360도 촬영 가능한 카메라일 수 있으며, 파노라마 카메라(100)의 사양에 따라 각 렌즈의 영상 또는 전체 영상을 파노라마 카메라(100) 자체의 하드웨어 인코더를 통하여 인코딩을 수행할 수 있다. 음성은 별도로 구성되는 마이크 또는 파노라마 카메라(100)에 장착된 마이크를 이용하여 획득할 수 있다.The panoramic camera 100 is installed at a plurality of places for the multi-angle broadcasting service and acquires a panoramic image. The panoramic camera 100 may be a camera capable of capturing 360 degrees, and may encode an image or an entire image of each lens through a hardware encoder of the panoramic camera 100 according to the specification of the panoramic camera 100. The voice may be obtained by using a microphone that is separately configured or a microphone that is mounted on the panoramic camera 100.

파노라마 카메라(100)는 획득한 파노라마 영상(이미지 또는 동영상)을 USB, IEEE1394, 이더넷(Ethernet), 광케이블 등의 네트워크를 이용하여 서버(200)로 전송한다. 서버(200)는 파노라마 카메라(100)로부터 수신된 파노라마 영상을 디코딩 및 인코딩하여 다수의 클라이언트 단말(300)에 전송하는 역할을 한다. 자세한 구성 및 동작에 대해서는 도 2를 참조하여 후술한다.The panoramic camera 100 transmits the obtained panoramic image (image or video) to the server 200 using a network such as USB, IEEE1394, Ethernet, and optical cable. The server 200 decodes and encodes a panoramic image received from the panoramic camera 100, and transmits the decoded panoramic image to the plurality of client terminals 300. Detailed configuration and operation will be described later with reference to FIG. 2.

클라이언트 단말(300)은 서버(200)로부터 인코딩된 파노라마 동영상을 수신하여 사용자에게 파노라마 영상을 제공하는 역할을 한다. 클라이언트 단말은 서버(200)와 유선 또는 무선 네트워크를 통하여 연결되는 것이면 그 대상에 제한이 없다. 예를 들어 도 1에 도시된 바와 같이 클라이언트 단말(300)은 PC(301), 노트북(302), 태블릿 PC(302), 스마트폰(304), 스마트 TV(305) 등이 해당될 수 있다.
The client terminal 300 receives a panoramic video encoded from the server 200 and serves to provide a panoramic video to a user. If the client terminal is connected to the server 200 through a wired or wireless network, there is no limitation on the object. For example, as shown in FIG. 1, the client terminal 300 may correspond to a PC 301, a notebook 302, a tablet PC 302, a smartphone 304, a smart TV 305, and the like.

도 2는 도 1의 서버(200)의 세부 구성도이다. FIG. 2 is a detailed configuration diagram of the server 200 of FIG. 1.

도2를 참조하면, 본 발명의 파노라마 영상 스트리밍 시스템의 서버(200)는 디코딩 모듈(201)과 인코딩 모듈(220)와, 스트리밍 모듈(230)과, 접속 제어 모듈(240)을 포함하여 구성된다.Referring to FIG. 2, the server 200 of the panoramic video streaming system of the present invention includes a decoding module 201, an encoding module 220, a streaming module 230, and a connection control module 240. .

디코딩 모듈(210)은 파노라마 카메라(100)로부터 수신한 파노라마 영상을 디코딩하는 역할을 한다.The decoding module 210 decodes the panoramic image received from the panoramic camera 100.

인코딩 모듈(220)은 디코딩 모듈(210)에서 디코딩된 파노라마 영상을 서버(200)에 접속한 클라이언트 단말(300)의 요청 사양에 맞게 인코딩하는 역할을 한다.The encoding module 220 encodes the panoramic image decoded by the decoding module 210 according to a request specification of the client terminal 300 connected to the server 200.

도 2에 도시되지는 않았지만, 인코딩 모듈(220)은 스케일링 모듈과 분할 모듈을 더 포함할 수 있다. 스케일링 모듈은 서버(200)에 접속한 클라이언트 단말(300)의 해상도에 따라 전송할 파노라마 영상의 크기를 조절하는 역할을 하며, 분할 모듈은 서버(200)에 접속한 클라이언트 단말(300)에 제공될 썸네일 영상의 슬라이스의 분할 정도를 조절하는 역할을 한다. 본 발명에서 기술되는 ‘썸네일 영상’의 의미에 대해서는 도 3 내지 도 6과 관련하여 후술하기로 한다.Although not shown in FIG. 2, the encoding module 220 may further include a scaling module and a partitioning module. The scaling module adjusts the size of the panoramic image to be transmitted according to the resolution of the client terminal 300 connected to the server 200, and the splitting module provides thumbnails to be provided to the client terminal 300 connected to the server 200. It controls the degree of division of the slice of the image. The meaning of the "thumbnail image" described in the present invention will be described later with reference to FIGS. 3 to 6.

스트리밍 모듈(230)은 인코딩 모듈(220)에서 인코딩된 파노라마 영상을 클라이언트 단말(300)에 전송하는 역할을 한다. 스트리밍 모듈(230)은 네크워크 트래픽을 제어하는 QoS(Quality of Service) 모듈(231)과, 각 클라이언트 단말기(300)에 재생되는 화면의 재생 시점(Playback time)을 동기화하는 동기화 모듈(232)을 포함한다. 또한, 도 2에 도시되지는 않았지만, 스트리밍 모듈(230)은 서버(200)와 각 클라이언트 단말(300)의 접속 네트워크 환경에 따라 RTP, HTTP, P2P 멀티캐스트 등을 지원하기 위한 네트워크 접속 모듈을 포함할 수 있다.The streaming module 230 transmits the panoramic image encoded by the encoding module 220 to the client terminal 300. The streaming module 230 includes a Quality of Service (QoS) module 231 for controlling network traffic, and a synchronization module 232 for synchronizing a playback time of a screen played on each client terminal 300. do. In addition, although not shown in FIG. 2, the streaming module 230 includes a network connection module for supporting RTP, HTTP, P2P multicast, etc. according to a connection network environment of the server 200 and each client terminal 300. can do.

접속 제어 모듈(240)은 서버(200)에 접속하는 각 클라이언트 단말(300)의 접속을 제어하는 역할을 하며, 클라이언트 정보 관리 모듈(241)과, 사용자 관심 영역 관리 모듈(242)과, 시점 이동 모듈(243)을 포함하여 구성된다.The access control module 240 controls the connection of each client terminal 300 accessing the server 200, and the client information management module 241, the user region of interest management module 242, and the viewpoint movement. Module 243 is configured.

클라이언트 정보 관리 모듈(241)은 서버(200)에 접속하는 각각의 클라이언트 단말(300)의 인증 정보 및 사용자 정보를 데이터 베이스화하여 미리 구축하고 있으며, 사용자의 요청에 따라 클라이언트 단말(300)이 서버(200)에 접속을 하거나, 접속 후 특정 영상 정보를 요청하여 채널 변경을 요청하는 경우 그 접속 요청을 승인하거나 거절한다.The client information management module 241 constructs in advance a database of authentication information and user information of each client terminal 300 connected to the server 200, and the client terminal 300 stores the server ( 200, or when requesting to change the channel by requesting specific video information after access, approve or reject the access request.

이때, 클라이언트 단말(300)의 접속 요청 신호에는 각 클라이언트 단말(300)의 디스플레이부의 해상도 정보가 포함되어 있으며, 서버(200)는 각 클라이언트 단말(300)의 해상도에 맞는 크기로 인코딩하여 기본 썸네일 영상을 전송하게 된다. 자세한 동작은 후술한다.In this case, the connection request signal of the client terminal 300 includes the resolution information of the display unit of each client terminal 300, the server 200 is encoded to a size suitable for the resolution of each client terminal 300, the basic thumbnail image Will be sent. Detailed operation will be described later.

사용자 관심 영역 관리 모듈(242)은 각각의 클라이언트 단말(300)에서 요청되는 영상 정보를 기초로 사용자 관심 영역을 추출 및 저장하는 역할을 한다. 즉, 다수의 클라이언트 단말(300)이 서버(200)에 접속한 후 서버(200)에 요청하는 영상 정보를 분석하여 많이 요청되는 영상 정보를 미리 설정된 기준에 의해 추출 및 저장하여, 추후 클라이언트 단말(300)이 사용자 관심 영역의 영상 정보를 요청하는 경우 이 저장된 정보를 이용하여 서버(200)는 사용자 관심 영역을 전송할 수 있게 된다. The user ROI management module 242 extracts and stores a user ROI based on image information requested by each client terminal 300. That is, after the plurality of client terminals 300 access the server 200, the plurality of client terminals 300 analyze the image information requested by the server 200, extract and store much requested image information according to preset criteria, and later store the client terminal ( When 300 requests image information of the user's ROI, the server 200 may transmit the user's ROI using the stored information.

시점 이동 모듈(243)은 서버(200)에 접속한 각각의 클라이언트 단말(300)의 사용자가 재생되는 화면의 확대, 축소 및 이동 중 어느 하나의 명령에 의한 클라이언트 단말(300)의 영상 정보 요청에 따라 파노라마 영상의 시점을 이동시키는 역할을 수행한다. The viewpoint moving module 243 may request a video information request from the client terminal 300 by any one of an enlargement, reduction, and movement of a screen on which the user of each client terminal 300 connected to the server 200 is played. As a result, the view of the panoramic image is moved.

이하 도 3 내지 도 5를 참조하여, 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템의 파노라마 영상 전송 방법을 상세히 설명한다.
3 to 5, a panorama image transmission method of a panorama image streaming system according to an embodiment of the present invention will be described in detail.

도 3은 도 1의 파노라마 카메라(100)가 획득한 파노라마 샘플 영상이다.3 is a panoramic sample image obtained by the panoramic camera 100 of FIG. 1.

도 3의 파노라마 샘플 영상(1)은 예를 들어 5400 × 2700 의 크기를 가질 수 있다. 영상의 픽셀 사이즈가 위의 해상도와 같기 때문에 한 장의 영상을 인코딩하는데 드는 용량은 약 1.6 Mbyte이다. 따라서, 이와 같은 고해상도의 파노라마 영상을 어떻게 줄여서 각 클라이언트 단말(300)에 보내는가가 가장 큰 이슈이다.The panoramic sample image 1 of FIG. 3 may have a size of, for example, 5400 × 2700. Since the pixel size of the image is the same as the above resolution, the capacity for encoding one image is about 1.6 Mbytes. Therefore, the biggest issue is how to reduce the high resolution panoramic image and send it to each client terminal 300.

본 발명에 따른 파노라마 영상 스트리밍 시스템은 각 클라이언트 단말(300)에 맞는 저해상도 썸네일 영상을 기본적으로 전송하되, 사용자의 화면 확대, 축소 또는 이동 등의 명령에 의해 특정 영역이 요청되는 경우 해당 영역의 고해상도 썸네일 영상을 전송하는 방법을 사용한다.
The panorama image streaming system according to the present invention basically transmits a low resolution thumbnail image suitable for each client terminal 300, but when a specific region is requested by a command such as a user's screen enlargement, reduction or movement, a high resolution thumbnail of the corresponding region Use the method of video transmission.

도 4는 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템의 파노라마 영상 전송 방법을 개략적으로 도시한 도면이다.4 is a diagram schematically illustrating a panoramic image transmission method of a panoramic image streaming system according to an embodiment of the present invention.

도 4에서 볼 수 있듯이 파노라마 카메라(100)로부터 획득한 파노라마 샘플 영상(1)은 서버(200)로 전송되고, 서버(200)는 서버(200)에 접속한 각 클라이언트 단말(300)의 사양에 맞게 파노라마 영상을 디코딩 및 인코딩하여 전송하게 된다.As shown in FIG. 4, the panoramic sample image 1 obtained from the panoramic camera 100 is transmitted to the server 200, and the server 200 is connected to the specification of each client terminal 300 connected to the server 200. Decode, encode, and transmit the panoramic image accordingly.

각 클라이언트 단말(300)의 사양에 따라 해당 클라이언트 단말(300)의 디스플레이부에서 볼 수 있는 영상의 화질은 정해져 있기 때문에 그 보다 큰 영상, 즉 해상도가 더 높은 영상을 보낼 필요가 없다. 따라서, 본 발명은 각 클라이언트 단말(300)의 사양에 맞게 사용자가 최대로 볼 수 있는 크기의 영상을 인코딩하여 전송 및 재생하며, 사용자의 화면 확대, 축소 또는 이동 명령에 따라 해당 영역을 작은 단위로 나누어 놓은 슬라이스(slice) 영상을 전송하는 방법을 사용한다.Since the image quality of the image viewed on the display unit of the client terminal 300 is determined according to the specification of each client terminal 300, it is not necessary to send a larger image, that is, a higher resolution image. Accordingly, the present invention encodes and transmits and plays an image of the maximum size that the user can see according to the specification of each client terminal 300, and the corresponding area in small units according to the user's screen enlargement, reduction, or movement command. A method of transmitting divided slice images is used.

도 4에 도시된 인코딩된 파노라마 영상(10, 20, 30)은 각각 다른 크기 및 해상도를 가지는 썸네일 영상을 나타낸다. 본 발명에서 ‘썸네일 영상’이라 함은 다수의 슬라이스 영상의 조합으로 구성된 특정 영역의 파노라마 영상을 의미한다. ‘썸네일 영상’의 크기 및 슬라이스 분할 정보는 앞에서 기술한 스케일링 모듈 및 분할 모듈을 이용하여 제어된다.The encoded panoramic images 10, 20, and 30 illustrated in FIG. 4 represent thumbnail images having different sizes and resolutions, respectively. In the present invention, the term "thumbnail image" means a panorama image of a specific region composed of a combination of a plurality of slice images. The size and slice segmentation information of the "thumbnail image" are controlled using the above-described scaling module and segmentation module.

도 4의 제1 썸네일 영상(10)은 저해상도의 썸네일 영상이며, 제2 썸네일 영상(20)은 중해상도의 썸네일 영상이며, 제3 썸네일 영상(30)은 고해상도의 썸네일 영상을 각각 나타낸다. 도 4에서 볼 수 있듯이 제1 썸네일 영상(10), 제2 썸네일 영상(20) 및 제3 썸네일 영상(30) 순으로 더 고해상도 영상이며 슬라이스 분할 정도가 더 촘촘한 것을 알 수 있다. 즉, 고해상도 썸네일 영상일수록 더 많은 수의 슬라이스 영상으로 구성된다.The first thumbnail image 10 of FIG. 4 is a low resolution thumbnail image, the second thumbnail image 20 is a medium resolution thumbnail image, and the third thumbnail image 30 represents a high resolution thumbnail image, respectively. As shown in FIG. 4, it can be seen that the first thumbnail image 10, the second thumbnail image 20, and the third thumbnail image 30 are higher resolution images and the degree of slice division is more dense. That is, a higher resolution thumbnail image is composed of a larger number of slice images.

하지만, 앞에서 언급한 바와 같이 각 클라이언트 단말(300)의 최대 지원 해상도는 정해져 있기 때문에 필요 이상의 해상도로 파노라마 영상을 인코딩하여 전송하는 것은 대역폭이 제한되어 있는 네트워크 환경에서 매우 비효율적이다.However, as mentioned above, since the maximum supported resolution of each client terminal 300 is determined, encoding and transmitting a panoramic image with a resolution higher than necessary is very inefficient in a network environment where bandwidth is limited.

따라서, 클라이언트 단말(300)의 최대 지원 해상도에 맞는 썸네일 영상을 기본적으로 전송하고, 추후 사용자가 화면을 확대하여 특정 영역의 고화질 영상을 요청하는 경우에 한하여 고해상도 파노라마 영상을 전송하는 방법을 사용하면 대역폭을 효과적으로 이용할 수 있게 된다.
Therefore, if a method of transmitting a high resolution panoramic image is basically transmitted only when a thumbnail image corresponding to the maximum supported resolution of the client terminal 300 is requested and a user requests a high quality image of a specific area by enlarging the screen later, Can be used effectively.

도 5는 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템에서 사용자가 관람 영역을 확대하는 경우의 동작을 설명하는 도면이다.FIG. 5 is a diagram illustrating an operation when a user enlarges a viewing area in a panoramic image streaming system according to an embodiment of the present invention.

도 5의 좌측에 도시된 바와 같이 서버(200)는 접속한 클라이언트 단말(304a, 305a)의 해상도에 맞게 저해상도의 제1 썸네일 영상(10)을 기본적으로 인코딩하여 전송한다. 사용자는 클라이언트 단말(304a, 305a)의 디스플레이부를 터치하는 등의 동작으로 제1 영역(15)을 선택하면, 서버(200)는 제1 영역(15)을 클라이언트 단말(304a, 305a)의 디스플레이부에 전송하기 위하여 해상도가 더 높은 중해상도의 제2 썸네일 영상(20)을 인코딩하여 요청된 영역인 제2 영역(25)을 클라이언트 단말(304a, 305a)에 전송한다. 이때, 사용자는 유사한 동작으로 제2 영역(25)의 제3 영역(35)을 선택하면, 서버(200)는 제2 영역(25)을 클라이언트 단말(304a, 305a)의 디스플레이부에 전송하기 위하여 해상도가 더 높은 고해상도의 제3 썸네일 영상(30)을 인코딩하여 요청된 영역인 제3 영역(35)을 클라이언트 단말(304a, 305a)에 전송한다. As shown in the left side of FIG. 5, the server 200 basically encodes and transmits the low resolution first thumbnail image 10 in accordance with the resolution of the accessed client terminals 304a and 305a. When the user selects the first region 15 by touching the display units of the client terminals 304a and 305a, the server 200 displays the first region 15 in the display units of the client terminals 304a and 305a. In order to transmit to the second resolution image 20 having a higher resolution, the second thumbnail image 20 is encoded and transmitted to the client terminals 304a and 305a. In this case, when the user selects the third region 35 of the second region 25 in a similar operation, the server 200 transmits the second region 25 to the display unit of the client terminals 304a and 305a. The third thumbnail image 30 having a higher resolution is encoded and transmitted to the client terminals 304a and 305a, which is the requested region.

본 발명의 파노라마 영상 스트리밍 시스템은 이와 같은 방법으로 기본적으로 클라이언트 단말(300)의 디스플레이부 사양에 맞는 저해상도의 전체 화면 썸네일 영상을 전송하되, 사용자가 화면을 확대 또는 축소 또는 이동하는 경우 그 요청된 특정 영역에 대해서만 고해상도의 썸네일 영상을 전송함으로써 데이터 전송 효율을 극대화시킬 수 있다. The panoramic video streaming system of the present invention basically transmits a low-resolution full screen thumbnail image that conforms to the display unit specification of the client terminal 300, but when the user enlarges or reduces or moves the screen, the requested specific information is transmitted. Data transmission efficiency can be maximized by transmitting high-resolution thumbnail images only for the region.

이하 도 6을 참조하여, 본 발명의 스트리밍 방법을 상세히 설명한다.
Hereinafter, the streaming method of the present invention will be described in detail with reference to FIG. 6.

도 6은 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 방법을 개략적으로 나타내는 순서도이다.6 is a flowchart schematically illustrating a panorama video streaming method according to an embodiment of the present invention.

본 발명에 따른 파노라마 영상 스트리밍 방법에 의하면, 먼저 파노라마 카메라부(100)를 이용하여 파노라마 영상을 수신한다(600). According to the panorama image streaming method according to the present invention, the panorama image is first received using the panorama camera unit 100 (600).

서버(200)는 서버에(200)에 접속한 각각의 클라이언트 단말(300)의 사양을 분석하고, 각 사양에 맞는 제1 썸네일 영상으로 인코딩하여 전송한다(610).The server 200 analyzes the specifications of each client terminal 300 connected to the server 200, encodes and transmits the first thumbnail image suitable for each specification (610).

이때, 사용자의 화면 조작에 의해서 제1 썸네일 영상의 특정 영역의 영상 정보 요청을 수신하고(620), 서버(200)는 그 요청된 영역에 대한 저해상도 또는 고해상도의 제2 썸네일 영상으로 인코딩하여 전송한다(630).At this time, the image information request of a specific region of the first thumbnail image is received by the user's screen manipulation (620), and the server 200 encodes and transmits the second thumbnail image of the low resolution or high resolution of the requested region. (630).

상기와 같은 단계를 더 구체적으로 살펴보면 다음과 같다.Looking at the above steps in more detail as follows.

파노라마 카메라(100)는 360도 촬영 가능한 카메라 등으로 구성되어 파노라마 영상을 수집하고, 카메라의 기능에 따라 각 렌즈의 영상 또는 전체 영상을 자체 하드웨어 인코더를 통하여 인코딩하여 서버(200)로 전송한다.The panoramic camera 100 includes a camera capable of capturing 360 degrees, collects a panoramic image, and encodes the image or the entire image of each lens through its hardware encoder and transmits the image to the server 200 according to the function of the camera.

서버(200)는 파노라마 카메라(100)로부터 수신한 영상을 디코딩 모듈(210)을 이용하여 디코딩하고, 디코딩된 영상을 밝은 영역과 어두운 영역에 대한 실시간 보정 작업을 수행한다.The server 200 decodes the image received from the panoramic camera 100 using the decoding module 210 and performs real-time correction on the bright and dark areas of the decoded image.

서버(200)의 인코딩 모듈(200)은 상기 보정된 영상을 서버(200)에 접속한 각각의 클라이언트 단말(300)의 지원 해상도별로 해상도를 조정한다. 즉, 스케일링 모듈 및 분할 모듈은 각각의 클라이언트 단말(300)의 지원 해상도에 맞게 파노라마 영상의 해상도 및 슬라이스 영상의 분할 비율을 조정한다. 이때, 각 클라이언트 단말(300)의 사양에 맞게 실시간 인코딩 하는 것은 서버(200)의 장치에 따라 하드웨어 또는 소프트웨어를 이용할 수 있으며, 압축 코덱은 H.264, MPEG4, JPEG 등을 사용할 수 있다.The encoding module 200 of the server 200 adjusts the resolution for each of the supported resolutions of each client terminal 300 accessing the corrected image to the server 200. That is, the scaling module and the segmentation module adjust the resolution of the panoramic image and the segmentation ratio of the slice image according to the supported resolution of each client terminal 300. In this case, the real-time encoding according to the specification of each client terminal 300 may use hardware or software according to the device of the server 200, and the compression codec may use H.264, MPEG4, JPEG, and the like.

다음, 서버(200)의 스트리밍 모듈(230)은 인코딩된 영상을 각 레벨별, 슬라이스 별로 별도의 채널을 통하여 각각의 클라이언트 단말(300)에 실시간 스트리밍한다. 이때, 서버(200)는 클라이언트 단말(300)이 요청한 전체 영상 정보를 가장 낮은 해상도의 썸네일 영상으로 기본적으로 제공한다. 이때, 각 채널은 독립적으로 제공되며, 클라이언트 단말(300) 측에서 자유롭게 접속 및 접속 해제를 할 수 있도록 하는 인터페이스를 제공한다. Next, the streaming module 230 of the server 200 streams the encoded video to each client terminal 300 through a separate channel for each level and slice. At this time, the server 200 basically provides the entire image information requested by the client terminal 300 as a thumbnail image of the lowest resolution. At this time, each channel is provided independently, and provides an interface that allows the client terminal 300 side to freely connect and disconnect.

클라이언트 단말(300)의 측면에서의 동작을 설명하면 다음과 같다.The operation of the side of the client terminal 300 is described as follows.

각각의 클라이언트 단말(300)은 사용자의 요청에 따라 파노라마 스트리밍 프로그램을 구동하거나, 채널을 변경한다. 이때, 클라이언트 단말(300)은 서버(200)에 접속을 요청하게 되며, 접속 요청 시 클라이언트 단말(300)의 네트워크 상황과 화면 해상도 등의 정보를 함께 제공한다.Each client terminal 300 drives a panorama streaming program or changes a channel according to a user's request. In this case, the client terminal 300 requests a connection to the server 200, and provides information such as network status and screen resolution of the client terminal 300 when the connection request is made.

서버(200)로부터 접속 요청이 승인되어, 서버(200)에 접속하게 되면, 클라이언트 단말(300)은 사용자가 선택한 영상을 요청한다. 이때, 서버(200)는 클라이언트 단말(300)의 사양에 맞는 적정 해상도의 기본 썸네일 영상을 전송하며, 클라이언트 단말(300)은 저해상도 썸네일 동영상 스트리밍을 시작한다.When the access request is approved from the server 200 and accesses the server 200, the client terminal 300 requests an image selected by the user. At this time, the server 200 transmits a basic thumbnail image having a proper resolution that meets the specifications of the client terminal 300, and the client terminal 300 starts streaming a low resolution thumbnail video.

클라이언트 단말(300)은 최대 재상 가능한 해상도에 맞추어 원형의 구 모양을 모델링하고, 모델링한 구 모형의 내부에 수신 영상을 확대하여 매핑시키고, 파노라마 영상의 왜곡을 완화하는 매핑 기술을 활용하여 구의 중앙에서 기본 시점과 영역을 추출하여 디스플레이부를 통하여 사용자에게 영상을 제공한다.The client terminal 300 models a circular sphere shape according to the maximum reproducible resolution, enlarges and maps the received image inside the modeled sphere model, and utilizes a mapping technique that mitigates the distortion of the panoramic image. The basic view point and area are extracted to provide an image to the user through the display unit.

이때, 사용자는 디스플레이부가 터치 스크린으로 이루어지는 경우, 터치 등의 동작을 통하여 화면의 상하좌우 이동을 하거나, 확대 또는 축소 요청을 할 수 있으며, 사용자의 요청에 따라 구 내부의 화면 영역을 재 추출하여 영상을 제공한다. In this case, when the display unit is formed of a touch screen, the user may move up, down, left, or right of the screen, or request to enlarge or reduce the screen through an operation such as a touch. To provide.

만약, 해당 화면의 확대 요청에 따라 보다 높은 해상도의 영상이 필요한 경우 보다 높은 레벨의 영상을 서버(200)에 요청한다. 고화질의 화면이 필요한 경우에는, 해당 영역에 해당하는 슬라이스 영상 부분만 수신하여 구의 해당 영역에 매핑하게 된다.If a higher resolution image is required according to the request for enlargement of the corresponding screen, the server 200 requests a higher level image. When a high quality screen is required, only the slice image part corresponding to the corresponding area is received and mapped to the corresponding area of the sphere.

이와 같은 방법으로 사용자의 요청에 따라 스트리밍 채널의 접속 및 접속 해제 및 스트리밍 영상 레벨을 조절한다. 사용자가 접속 종료를 요청하면 서버(200) 측에 접속 종료 요청을 하고, 서버(200)의 승인에 따라 서버(200)와의 접속이 종료된 후에 구동 프로그램을 종료시킨다.In this way, the access and disconnection of the streaming channel and the streaming video level are adjusted according to the user's request. When the user requests the termination of the connection, the server 200 requests a connection termination and terminates the driving program after the connection with the server 200 is terminated according to the approval of the server 200.

이때, 사용자가 클라이언트 단말(300)을 이용하여 재생 화면의 상화좌우 이동 또는 화면을 확대 또는 축소하는 인터페이스 방법은 다음과 같다.At this time, the user interface using the client terminal 300 to move the image left and right or enlarge or reduce the screen is as follows.

클라이언트 단말(300)의 디스플레이부가 터치 스크린으로 이루어지는 경우, 재생 화면의 상하좌우의 각 변의 일정 영역을 나누고, 중앙 부분을 다시 좌우로 구분시킬 수 있다. 사용자가 구분된 각 변을 터치하는 경우 상하좌우로 이동시키는 명령으로 인식할 수 있으며, 중앙 부분의 좌측은 확대, 우측은 축소 명령으로 인식할 수 있다.When the display unit of the client terminal 300 is a touch screen, the predetermined area of each side of the top, bottom, left, and right sides of the playback screen may be divided, and the center portion may be divided into the left and right again. When the user touches each of the divided sides, the user may recognize the command to move up, down, left, and right, and the left side of the center portion may be recognized as the zoom in command, and the right side may be recognized as the zoom out command.

또한, 단순한 터치 동작을 이용하여 드래그 방향 및 멀티 터치를 이용하여 제어할 수도 있다. 즉, 사용자가 터치 스크린을 터치하여 드래그 하는 경우, 드래그 방향으로 화면을 이동 이동시키는 명령으로 인식하고, 두 손가락으로 터치한 후 두 손가락 사이가 가까워지면 축소 명령으로, 멀어지면 확대 명령으로 인식할 수 있다.In addition, it is possible to control using a drag direction and multi-touch using a simple touch operation. In other words, when the user touches and drags the touch screen, the user recognizes the command as a command for moving the screen in the dragging direction, touches with two fingers, and recognizes as a zoom out command when the two fingers are near, and as a zoom command when the user moves away from the screen. have.

또한, 별도의 이동 버튼이 구비되는 경우 상하좌우 이동 버튼 및 확대/축소 버튼을 누르는 경우 해당 명령으로 인식할 수 있다.In addition, when a separate move button is provided, the up, down, left, and right move buttons and the zoom button may be recognized as a corresponding command.

또한, 별도의 키보드가 구비되는 경우, 방향키로 이동 명령을 인식하고, +키를 누르면 확대 명령으로 , -키를 누르면 축소 명령으로 인식할 수 있다.In addition, when a separate keyboard is provided, a movement command may be recognized by a direction key, pressing the + key may be recognized as an enlargement command, and pressing the − key may be recognized as a reduction command.

또한, 별도의 마우스가 구비되는 경우, 마우스를 이용하여 이동 명령 시 화면 명령으로 인식하며, 마우스를 휠의 동작을 화면의 확대/축소 명령으로 인식할 수 있다.In addition, when a separate mouse is provided, the mouse may be recognized as a screen command at the time of a moving command, and the mouse may be recognized as a zooming / reducing command of the screen.

또한, 클라이언트 단말(300)은 클라이언트 단말(300)의 기울임 정도를 감지하는 기울기 센서(미도시)를 포함할 수 있으며, 사용자가 클라이언트 단말(300)을 좌우 또는 상하로 기울일 때의 기울임 정도를 기울기 센서로 감지하고, 감지된 기울임 정도를 시점 변경 명령으로 인식할 수 있다.In addition, the client terminal 300 may include an inclination sensor (not shown) that detects the degree of inclination of the client terminal 300, and the inclination degree of the user terminal when the user inclines the client terminal 300 left, right, or up and down. It can be detected by the sensor, and the detected tilt can be recognized as a viewpoint change command.

또한, 클라이언트 단말(300)은 사용자와 클라이언트 단말과의 거리를 감지하는 거리 감지부(미도시)를 포함하고, 감지된 거리가 줄어들면 화면 확대 명령으로 인식하고, 감지된 거리가 멀어지면 화면 축소 명령으로 인식할 수 있다.In addition, the client terminal 300 includes a distance detecting unit (not shown) for detecting a distance between the user and the client terminal, and if the detected distance is reduced, the client terminal 300 recognizes a screen enlargement command, and if the detected distance is far, the screen is reduced. It can be recognized as a command.

100 : 파노라마 카메라 200 : 서버
201 : 인코딩 모듈 220 : 디코딩 모듈
230 : 스트리밍 모듈 240 : 접속 제어 모듈
300 : 클라이언트 단말 100: panoramic camera 200: server
201: encoding module 220: decoding module
230: streaming module 240: access control module
300: client terminal

Claims (18)

파노라마 영상을 획득하는 파노라마 카메라;
상기 파노라마 카메라로부터 수신된 파노라마 영상을 디코딩 및 인코딩하는 서버; 및
상기 서버가 디코딩 및 인코딩한 파노라마 영상을 수신하여 재생하는 하나 이상의 클라이언트 단말을 포함하되,
상기 서버는 상기 파노라마 카메라로부터 수신된 파노라마 영상을 상기 각각의 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 제1 썸네일 영상으로 인코딩하여 상기 각각의 클라이언트 단말에 전송하고, 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 따라 상기 클라이언트 단말이 상기 제1 썸네일 영상 중 특정 영역의 슬라이스 영상 정보를 요청하면, 상기 요청된 특정 영역의 슬라이스 영상 정보를 상기 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 제2 썸네일 영상으로 인코딩하여 상기 클라이언트 단말에 제공하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.A panoramic camera for acquiring a panoramic image;
A server for decoding and encoding the panoramic image received from the panoramic camera; And
At least one client terminal for receiving and playing the panorama image decoded and encoded by the server,
The server encodes the panoramic image received from the panoramic camera into a first thumbnail image corresponding to the resolution of each client terminal and consists of several slice images, and transmits the first thumbnail image to each client terminal, and enlarges and reduces the screen of the user. And when the client terminal requests slice image information of a specific region of the first thumbnail image according to any one of commands, moving the slice image information of the requested specific region corresponding to the resolution of the client terminal and multiple slice images. The panoramic image streaming system, characterized in that for encoding to the second thumbnail image consisting of the client terminal. 제1항에 있어서,
상기 서버는 상기 각각의 클라이언트 단말에 상기 제1 썸네일 영상을 기본적으로 항상 전송하며, 상기 요청된 특정 영역의 상기 제2 썸네일 영상을 각각 독립적인 채널로 상기 각각의 클라이언트 단말에 실시간 스트리밍 함으로써 데이터 전송 효율을 최적화하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템. The method of claim 1,
The server basically always transmits the first thumbnail image to each of the client terminals, and real-time streaming of the second thumbnail image of the requested specific region to each of the client terminals in an independent channel, thereby transmitting data efficiently. Panorama video streaming system, characterized in that for optimizing. 제1항에 있어서,
상기 서버는,
상기 파노라마 카메라부로부터 수신된 파노라마 영상을 디코딩하는 디코딩 모듈;
상기 디코딩 모듈에서 디코딩된 파노라마 영상을 인코딩하는 인코딩 모듈; 및
상기 인코딩 모듈에서 인코딩된 파노라마 영상을 상기 클라이언트에 전송하는 스트리밍 모듈을 포함하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.The method of claim 1,
The server,
A decoding module for decoding the panoramic image received from the panoramic camera unit;
An encoding module for encoding the panoramic image decoded by the decoding module; And
And a streaming module for transmitting the panorama image encoded by the encoding module to the client. 제3항에 있어서,
상기 서버는,
상기 클라이언트 단말의 접속을 제어하는 접속 제어 모듈;
상기 클라이언트 단말의 해상도에 따라 파노라마 영상의 크기를 조절하는 스케일링 모듈; 및
상기 클라이언트 단말에 제공될 썸네일 영상의 슬라이스의 분할 정도를 조절하는 분할 모듈을 더 포함하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.The method of claim 3,
The server,
A connection control module controlling a connection of the client terminal;
A scaling module for adjusting the size of the panoramic image according to the resolution of the client terminal; And
And a segmentation module for adjusting a segmentation degree of a slice of a thumbnail image to be provided to the client terminal. 제4항에 있어서,
상기 접속 제어 모듈은,
상기 클라이언트 단말의 인증 및 사용자 정보를 관리하는 클라이언트 정보 관리 모듈;
상기 클라이언트 단말에서 요청되는 영상 정보를 기초로 사용자 관심 영역을 추출 및 저장하는 상기 사용자 관심 영역 관리 모듈; 및
사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 의한 상기 클라이언트 단말의 영상 정보 요청에 따라 파노라마 영상의 시점을 이동시키는 시점 이동 모듈을 더 포함하고,
상기 서버는 상기 클라이언트 단말의 요청에 따라 파노라마 영상의 시점을 이동시켜 상기 클라이언트 단말에 전송하거나, 상기 사용자 관심 영역 관리 모듈에 저장된 사용자 관심 영역 정보를 기초로 사용자 관심 영역이 파노라마 영상을 상기 클라이언트 단말에 제공하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.5. The method of claim 4,
The connection control module,
A client information management module managing authentication and user information of the client terminal;
The user region of interest management module configured to extract and store a user region of interest based on the image information requested by the client terminal; And
The apparatus may further include a viewpoint movement module for moving the viewpoint of the panoramic image according to the request of the image information of the client terminal by any one of a user's screen enlargement, reduction, and movement.
The server may move the viewpoint of the panoramic image to the client terminal according to a request of the client terminal, or transmit the panoramic image to the client terminal based on the user region information stored in the user region management module. Panorama video streaming system, characterized in that provided. 제4항에 있어서,
상기 스트리밍 모듈은 파노라마 영상의 재생 시점을 동일하게 하여 동기화된 영상을 생성하는 동기화 모듈을 더 포함하고,
상기 서버는 상기 클라이언트 단말의 동기화 요청에 따라 상기 동기화 모듈에서 생성된 동기화된 영상을 상기 각각의 클라이언트 단말에 전송하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.5. The method of claim 4,
The streaming module further includes a synchronization module for generating a synchronized image by the same playback time of the panorama image,
And the server transmits the synchronized image generated by the synchronization module to each of the client terminals according to the synchronization request of the client terminal. 제4항에 있어서,
상기 서버는 상기 클라이언트 단말의 요청에 따라 상기 클라이언트 단말 중 어느 하나의 재생 화면을 다른 어느 하나의 상기 클라이언트 단말에 전송하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.5. The method of claim 4,
And the server transmits a playback screen of one of the client terminals to one of the other client terminals according to a request of the client terminal. 제1항에 있어서,
상기 클라이언트 단말은 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령을 입력 받는 입력부를 포함하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.The method of claim 1,
The client terminal includes an input unit for receiving any one command of screen expansion, reduction and movement of the user. 제8항에 있어서,
상기 입력부는 버튼, 키보드, 터치 패드, 터치 스크린 중 하나인 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.9. The method of claim 8,
The input unit is a panoramic image streaming system, characterized in that one of the buttons, keyboard, touch pad, touch screen. 제9항에 있어서,
상기 터치 스크린은 파노라마 영상이 재생되는 디스플레이부의 역할을 동시에 수행하고,
사용자가 상기 터치 스크린을 드래그하거나 멀티 터치하는 동작을 화면 확대, 축소 및 이동 중 어느 하나의 명령으로 인식하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.10. The method of claim 9,
The touch screen simultaneously performs the role of a display unit for playing the panorama image,
And a user dragging or multi-touching the touch screen using one of the following commands: screen enlargement, reduction, and movement. 제9항에 있어서,
상기 터치 스크린은 파노라마 영상이 재생되는 디스플레이부의 역할을 동시에 수행하고,
사용자가 상기 터치 스크린을 드래그하거나 멀티 터치하는 동작을 화면 확대, 축소 및 이동 중 어느 하나의 명령으로 인식하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.10. The method of claim 9,
The touch screen simultaneously performs the role of a display unit for playing the panorama image,
And a user dragging or multi-touching the touch screen using one of the following commands: screen enlargement, reduction, and movement. 제1항에 있어서,
상기 클라이언트 단말은 상기 클라이언트 단말의 기울임 정도를 감지하는 기울기 센서를 포함하고,
사용자가 상기 클라이언트 단말을 좌우 또는 상하로 기울일 때의 기울임 정도를 상기 기울기 센서로 감지하고, 상기 감지된 기울임 정도를 시점 변경 명령으로 인식하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.The method of claim 1,
The client terminal includes a tilt sensor for detecting the degree of inclination of the client terminal,
And a tilt sensor when the user tilts the client terminal left, right, or up and down with the tilt sensor, and recognizes the detected tilt as a viewpoint change command. 제1항에 있어서,
상기 클라이언트 단말은 사용자와 상기 클라이언트 단말과의 거리를 감지하는 거리 감지부를 더 포함하고,
상기 감지된 거리가 줄어들면 화면 확대 명령으로 인식하고, 상기 감지된 거리가 멀어지면 화면 축소 명령으로 인식하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.The method of claim 1,
The client terminal further includes a distance detecting unit for detecting a distance between a user and the client terminal,
And a screen zoom-in command if the detected distance is reduced, and a screen zoom-out command if the detected distance is far away. 서버가 하나 이상의 파노라마 카메라로부터 파노라마 영상을 수신하는 단계;
사기 서버가 상기 수신된 파노라마 영상을 상기 각각의 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 제1 썸네일 영상으로 인코딩하여 상기 각각의 클라이언트 단말에 전송하는 단계;
상기 서버가 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 따라 상기 클라이언트 단말로부터 상기 제1 썸네일 영상 중 특정 영역의 슬라이스 영상 정보를 요청 받는 단계; 및
상기 서버가 상기 요청된 특정 영역의 슬라이스 영상 정보를 상기 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 제2 썸네일 영상으로 인코딩하여 상기 클라이언트 단말에 제공하는 단계를 포함하는 파노라마 영상 스트리밍 방법.A server receiving a panoramic image from at least one panoramic camera;
A fraud server encoding the received panoramic image as a first thumbnail image corresponding to the resolution of each client terminal and consisting of several slice images, and transmitting the encoded panoramic image to each client terminal;
Receiving, by the server, slice image information of a specific region of the first thumbnail image from the client terminal according to any one command of screen enlargement, reduction, and movement of a user; And
And encoding, by the server, the slice image information of the requested specific region as a second thumbnail image corresponding to the resolution of the client terminal and configured as a second thumbnail image composed of several slice images, to the client terminal. 제14항에 있어서,
상기 서버가 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 의한 상기 클라이언트 단말의 영상 정보 요청에 따라 파노라마 영상의 시점을 이동시키는 단계를 더 포함하는 것을 특징으로 하는 파노라마 영상 스트리밍 방법.15. The method of claim 14,
The server further comprises the step of moving the viewpoint of the panoramic image in response to the request of the image information of the client terminal by any one of the user screen enlargement, reduction and movement of the screen. 제14항에 있어서,
상기 서버가 상기 클라이언트 단말에서 요청되는 영상 정보를 기초로 사용자 관심 영역을 추출 및 저장하는 단계; 및
상기 서버가 상기 클라이언트 단말의 요청에 따라 상기 저장된 사용자 관심 영역의 파노라마 영상을 상기 클라이언트 단말에 전송하는 단계 더 포함하는 것을 특징으로 하는 파노라마 영상 스트리밍 방법.15. The method of claim 14,
Extracting and storing a user ROI based on image information requested by the server from the server; And
And transmitting, by the server, the panoramic image of the stored user ROI to the client terminal at the request of the client terminal. 제14항에 있어서,
상기 서버가 파노라마 영상의 재생 시점을 동일하게 하여 동기화된 영상을 생성하는 단계; 및
상기 서버가 상기 클라이언트 단말의 요청에 따라 상기 생성된 동기화된 영성을 상기 각각의 클라이언트 단말에 전송하는 단계를 더 포함하는 것을 특징으로 하는 파노라마 영상 스트리밍 방법.15. The method of claim 14,
Generating, by the server, a synchronized image by synchronizing a reproduction time of the panoramic image; And
And transmitting, by the server, the generated synchronized spirituality to each of the client terminals in response to a request of the client terminal. 제14항에 있어서,
상기 서버는 상기 클라이언트 단말의 요청에 따라 상기 클라이언트 단말 중 어느 하나의 재생 화면을 다른 어느 하나의 상기 클라이언트 단말에 전송하는 것을 특징으로 하는 파노라마 영상 스트리밍 방법.15. The method of claim 14,
And the server transmits a playback screen of one of the client terminals to one of the other client terminals according to a request of the client terminal.
KR1020110087760A 2011-08-31 2011-08-31 Real-time Panorama Streaming System for High Resolution Panorama Videos and/or Images KR101282955B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110087760A KR101282955B1 (en) 2011-08-31 2011-08-31 Real-time Panorama Streaming System for High Resolution Panorama Videos and/or Images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110087760A KR101282955B1 (en) 2011-08-31 2011-08-31 Real-time Panorama Streaming System for High Resolution Panorama Videos and/or Images

Publications (2)

Publication Number Publication Date
KR20130024357A true KR20130024357A (en) 2013-03-08
KR101282955B1 KR101282955B1 (en) 2013-07-17

Family

ID=48176440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110087760A KR101282955B1 (en) 2011-08-31 2011-08-31 Real-time Panorama Streaming System for High Resolution Panorama Videos and/or Images

Country Status (1)

Country Link
KR (1) KR101282955B1 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101440131B1 (en) * 2013-04-19 2014-09-12 주식회사 에스원 Qos Image Processing System to control Multi-CCTV by Using Mobile Client Terminal and Qos Image Processing Method thereof
KR101528863B1 (en) * 2013-09-10 2015-06-16 (주)포스트미디어 Method of synchronizing tiled image in a streaming service providing system of panoramic image
US9582168B2 (en) 2013-05-21 2017-02-28 Samsung Electronics Co., Ltd. Apparatus, method and computer readable recording medium for displaying thumbnail image of panoramic photo
WO2018021696A1 (en) * 2016-07-28 2018-02-01 Samsung Electronics Co., Ltd. Image display apparatus and method of displaying image
KR20180020027A (en) * 2016-08-17 2018-02-27 에스케이텔레콤 주식회사 Method and Apparatus for Providing Additional Information
KR20180032089A (en) * 2016-09-21 2018-03-29 삼성전자주식회사 Electronic device for displaying image and method for controlling thereof
WO2018070638A1 (en) * 2016-10-11 2018-04-19 Samsung Electronics Co., Ltd. Display apparatus and method for generating capture image
WO2018117533A1 (en) * 2016-12-19 2018-06-28 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
KR20180081128A (en) * 2016-03-22 2018-07-13 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 Video coding method, apparatus, device and storage medium
US10848837B2 (en) 2017-04-03 2020-11-24 Electronics And Telecommunications Research Institute Device and method for processing high-definition 360-degree VR image
US10931980B2 (en) 2016-07-19 2021-02-23 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3223524A1 (en) 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US10565916B2 (en) 2016-09-09 2020-02-18 Kt Corporation Providing streaming of virtual reality contents

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2411852A1 (en) * 2000-06-09 2001-12-13 Imove, Inc. Streaming panoramic video
KR100405060B1 (en) * 2000-08-24 2003-11-07 휴먼드림 주식회사 Enlarged Digital Image Providing Method and Apparatus Using Data Communication Networks
KR101520689B1 (en) * 2008-10-22 2015-05-21 엘지전자 주식회사 a mobile telecommunication device and a method of scrolling a screen using the same
KR20100136649A (en) * 2009-06-19 2010-12-29 삼성전자주식회사 Method for embodying user interface using a proximity sensor in potable terminal and apparatus thereof

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101440131B1 (en) * 2013-04-19 2014-09-12 주식회사 에스원 Qos Image Processing System to control Multi-CCTV by Using Mobile Client Terminal and Qos Image Processing Method thereof
US9582168B2 (en) 2013-05-21 2017-02-28 Samsung Electronics Co., Ltd. Apparatus, method and computer readable recording medium for displaying thumbnail image of panoramic photo
KR101528863B1 (en) * 2013-09-10 2015-06-16 (주)포스트미디어 Method of synchronizing tiled image in a streaming service providing system of panoramic image
KR20180081128A (en) * 2016-03-22 2018-07-13 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 Video coding method, apparatus, device and storage medium
US10951818B2 (en) 2016-03-22 2021-03-16 Tencent Technology (Shenzhen) Company Limited Video encoding method and apparatus, device, and storage medium
US10931980B2 (en) 2016-07-19 2021-02-23 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service
US10349046B2 (en) 2016-07-28 2019-07-09 Samsung Electronics Co., Ltd. Image display apparatus and method of displaying image for displaying 360-degree image on plurality of screens, each screen representing a different angle of the 360-degree image
WO2018021696A1 (en) * 2016-07-28 2018-02-01 Samsung Electronics Co., Ltd. Image display apparatus and method of displaying image
KR20180020027A (en) * 2016-08-17 2018-02-27 에스케이텔레콤 주식회사 Method and Apparatus for Providing Additional Information
KR20180032089A (en) * 2016-09-21 2018-03-29 삼성전자주식회사 Electronic device for displaying image and method for controlling thereof
WO2018070638A1 (en) * 2016-10-11 2018-04-19 Samsung Electronics Co., Ltd. Display apparatus and method for generating capture image
US10440266B2 (en) 2016-10-11 2019-10-08 Samsung Electronics Co., Ltd. Display apparatus and method for generating capture image
WO2018117533A1 (en) * 2016-12-19 2018-06-28 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
US10848837B2 (en) 2017-04-03 2020-11-24 Electronics And Telecommunications Research Institute Device and method for processing high-definition 360-degree VR image

Also Published As

Publication number Publication date
KR101282955B1 (en) 2013-07-17

Similar Documents

Publication Publication Date Title
KR101282955B1 (en) Real-time Panorama Streaming System for High Resolution Panorama Videos and/or Images
KR102294098B1 (en) Apparatus and method for providing and displaying content
Gaddam et al. Tiling in interactive panoramic video: Approaches and evaluation
KR102545195B1 (en) Method and apparatus for delivering and playbacking content in virtual reality system
US20160277772A1 (en) Reduced bit rate immersive video
US10623816B2 (en) Method and apparatus for extracting video from high resolution video
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
US20130135179A1 (en) Control method and device thereof
KR101528863B1 (en) Method of synchronizing tiled image in a streaming service providing system of panoramic image
KR20150006771A (en) Method and device for rendering selected portions of video in high resolution
US10601889B1 (en) Broadcasting panoramic videos from one server to multiple endpoints
US9930416B1 (en) Playback device that requests and receives a user tailored video stream using content of a primary stream and an enhanced stream
US20150350565A1 (en) Techniques for magnifying a high resolution image
KR20120133006A (en) System and method for providing a service to streaming IPTV panorama image
TW201720170A (en) Methods and systems for client interpretation and presentation of zoom-coded content
US20150281744A1 (en) Viewing system and method
US11120615B2 (en) Dynamic rendering of low frequency objects in a virtual reality system
JP2020524450A (en) Transmission system for multi-channel video, control method thereof, multi-channel video reproduction method and device thereof
KR102152627B1 (en) Method and apparatus for displaying contents related in mirroring picture
WO2018004936A1 (en) Apparatus and method for providing and displaying content
Reznik User-adaptive mobile video streaming using MPEG-DASH
JP5594842B2 (en) Video distribution device
US11153613B2 (en) Remote-controlled media studio
KR101295002B1 (en) Panoramic Video Interface Providing System and Method using SNS Information
Seo et al. Immersive panorama TV service system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee