KR101282955B1 - 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법 - Google Patents

실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법 Download PDF

Info

Publication number
KR101282955B1
KR101282955B1 KR1020110087760A KR20110087760A KR101282955B1 KR 101282955 B1 KR101282955 B1 KR 101282955B1 KR 1020110087760 A KR1020110087760 A KR 1020110087760A KR 20110087760 A KR20110087760 A KR 20110087760A KR 101282955 B1 KR101282955 B1 KR 101282955B1
Authority
KR
South Korea
Prior art keywords
client terminal
image
server
panoramic
user
Prior art date
Application number
KR1020110087760A
Other languages
English (en)
Other versions
KR20130024357A (ko
Inventor
서동만
고희동
김수현
박호건
윤선범
이근영
조영태
유재욱
방한민
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020110087760A priority Critical patent/KR101282955B1/ko
Publication of KR20130024357A publication Critical patent/KR20130024357A/ko
Application granted granted Critical
Publication of KR101282955B1 publication Critical patent/KR101282955B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25816—Management of client data involving client authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 높은 네트워크 대역폭을 요구하는 고해상도 파노라마 영상을 효율적으로 전송할 수 있는 파노라마 영상 스트리밍 시스템 및 방법에 관한 것이다. 이를 위해 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템은 파노라마 영상을 획득하는 카메라와, 파노라마 카메라로부터 수신된 파노라마 영상을 디코딩 및 인코딩하는 서버와, 서버가 디코딩 및 인코딩한 파노라마 영상을 수신하여 재생하는 하나 이상의 클라이언트 단말을 포함하되, 서버는 파노라마 카메라로부터 수신된 파노라마 영상을 각각의 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 제1 썸네일 영상으로 인코딩하여 각각의 클라이언트 단말에 전송하고, 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 따라 클라이언트 단말이 제1 썸네일 영상 중 특정 영역의 슬라이스 영상 정보를 요청하면, 요청된 특정 영역의 슬라이스 영상 정보를 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 제2 썸네일 영상으로 인코딩하여 클라이언트 단말에 제공한다.

Description

실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법{Real-time Panorama Streaming System for High Resolution Panorama Videos and/or Images}
본 발명은 파노라마 영상을 실시간으로 클라이언트 단말에 스트리밍하는 파노라마 영상 스트리밍 시스템 및 방법에 관한 것이다.
기존 방송에서는 하나의 채널을 통해 시청자에게 방송 정보를 제공하며, 야구와 같은 스포츠 경기를 중계하는 경우에 다수의 카메라를 경기장에 배치하고 여러 각도에서 선수들의 플레이 상황을 시청자에게 제공할 수 있도록 시스템이 구축되지만, 시청자들에게 제공되는 화면은 제작된 여러 화면 중 방송사에 의해 선택되어지는 하나의 화면 뿐이고, 시청자에게는 시청하고자 하는 화면에 대한 선택권이 주어지지 않았다.
이러한 문제점을 보완하기 위하여 IPTV(Internet Protocol Television) 등에서 멀티 앵글(Multi Angle) 방송 서비스, 즉 경기장 및 녹화장 내의 여러 곳에 설치된 다수의 카메라로 촬영된 여러 각도의 영상을 서로 다른 채널을 통해 전송하고, 사용자는 필요시 채널을 변경함으로써 자신이 원하는 영상을 시청할 수 있는 방송 서비스를 제공하고 있다.
이와 같은 멀티 앵글 방송 서비스를 제공하기 위해서는 앵글 개수 만큼의 채널(방송 대역)이 필요하기 때문에 방송 대역이 한정된 조건에서는 멀티 앵글 방송 서비스를 제공하기 어렵다. 따라서, HD 급의 화질의 고해상도 파노라마 영상을 효율적으로 다수의 사용자들에게 제공하기에는 한계가 있었다.
또한, 파노라마 영상의 시청자가 관람 영역 확대 또는 축소하거나, 특정 관람 영역을 선택하는 등의 양방향 방송 인터페이스가 부족하였다.
한국공개특허 제10-2008-0096006호 “파노라마 영상 생성 장치, 방법 및 상기 방법을 프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체”의 경우에도 단순히 파노라마 영상 생성 장치로부터 획득한 파노라마 영상을 실시간으로 처리하여 실시간으로 전송하는 것만 개시하고 있을 뿐, HD 급의 고해상도 파노라마 영상의 효율적인 전송 방법에 대해서는 개시하고 않고 있다.
한국공개특허 제10-2008-0096006호
본 발명은 이와 같은 종래 기술의 문제점을 해결하기 위한 것으로서, 높은 네트워크 대역폭을 요구하는 고해상도 파노라마 영상을 효율적으로 전송할 수 있는 파노라마 영상 스트리밍 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 파노라마 영상을 시청하는 다수의 클라이언트 단말에서 사용자가 관람 영역을 확대, 축소 또는 이동하는 효율적인 인터페이스를 제공하며, 다수의 단말기 사이의 동기화 재생 및 관람 시점의 공유 등의 인터페이스를 통해 효율적인 양방향 방송 인터페이스를 제공하는 것을 목적으로 한다.
이를 위해 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템은 파노라마 영상을 획득하는 파노라마 카메라와, 상기 파노라마 카메라로부터 수신된 파노라마 영상을 디코딩 및 인코딩하는 서버와, 상기 서버가 디코딩 및 인코딩한 파노라마 영상을 수신하여 재생하는 하나 이상의 클라이언트 단말을 포함하되, 상기 서버는 상기 파노라마 카메라로부터 수신된 파노라마 영상을 상기 각각의 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 제1 썸네일 영상으로 인코딩하여 상기 각각의 클라이언트 단말에 전송하고, 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 따라 상기 클라이언트 단말이 상기 제1 썸네일 영상 중 특정 영역의 슬라이스 영상 정보를 요청하면, 상기 요청된 특정 영역의 슬라이스 영상 정보를 상기 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 제2 썸네일 영상으로 인코딩하여 상기 클라이언트 단말에 전송할 수 있다.
이때, 상기 서버는 상기 각각의 클라이언트 단말에 상기 제1 썸네일 영상을 기본적으로 항상 전송하며, 상기 요청된 특정 영역의 상기 제2 썸네일 영상을 각각 독립적인 채널로 상기 각각의 클라이언트 단말에 실시간 스트리밍 함으로써 데이터 전송 효율을 최적화할 수 있다.
또한, 상기 서버는 상기 파노라마 카메라부로부터 수신된 파노라마 영상을 디코딩하는 디코딩 모듈과, 상기 디코딩 모듈에서 디코딩된 파노라마 영상을 인코딩하는 인코딩 모듈과, 상기 인코딩 모듈에서 인코딩된 파노라마 영상을 상기 클라이언트에 전송하는 스트리밍 모듈을 포함할 수 있다.
또한, 상기 서버는 상기 클라이언트 단말의 접속을 제어하는 접속 제어 모듈과, 상기 클라이언트 단말의 해상도에 따라서 파노라마 영상의 크기를 조절하는 스케일링 모듈과, 상기 클라이언트 단말에 제공될 썸네일 영상의 슬라이스의 분할 정도를 조절하는 분할 모듈을 더 포함할 수 있다.
이때, 상기 접속 제어 모듈은 상기 클라이언트 단말의 인증 및 사용자 정보를 관리하는 클라이언트 정보 관리 모듈과, 상기 클라이언트 단말에서 요청되는 영상 정보를 기초로 사용자 관심 영역을 추출 및 저장하는 사용자 관심 영역 관리 모듈과, 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 의한 상기 클라이언트 단말의 영상 정보 요청에 따라 파노라마 영상의 시점을 이동시키는 시점 이동 모듈을 더 포함하고, 상기 서버는 상기 클라이언트 단말의 요청에 따라 파노라마 영상의 시점을 이동시켜 상기 클라이언트 단말에 전송하거나, 상기 사용자 관심 영역 관리 모듈에 저장된 사용자 관심 영역 정보를 기초로 사용자 관심 영역이 파노라마 영상을 상기 클라이언트 단말에 제공할 수 있다.
또한, 상기 스트리밍 모듈은 파노라마 영상의 재생 시점을 동일하게 하여 동기화된 영상을 생성하는 동기화 모듈을 더 포함하고, 상기 서버는 상기 클라이언트 단말의 동기화 요청에 따라 상기 동기화 모듈에서 생성된 동기화된 영상을 상기 각각의 클라이언트 단말에 전송할 수 있다.
또한, 상기 서버는 상기 클라이언트 단말의 요청에 따라 상기 클라이언트 단말 중 어느 하나의 재생 화면을 다른 어느 하나의 클라이언트 단말에 전송할 수 있다.
또한, 상기 클라이언트 단말은 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령을 입력 받는 입력부를 포함할 수 있으며, 상기 입력부는 버튼, 터치 패드, 터치 스크린 중 하나일 수 있다.
또한, 상기 터치 스크린은 파노라마 영상이 재생되는 디스플레이부의 역할을 동시에 수행하고, 사용자가 상기 터치 스크린을 드래그하거나 멀티 터치하는 동작을 화면 확대, 축소 및 이동 중 어느 하나의 명령으로 인식할 수 있다.
또한, 상기 클라이언트 단말은 상기 클라이언트 단말의 기울임 정도를 감지하는 기울기 센서를 포함하고, 사용자가 상기 클라이언트 단말을 좌우 또는 상하로 기울일 때의 기울임 정도를 상기 기울기 센서로 감지하고, 상기 감지된 기울임 정도를 시점 변경 명령으로 인식할 수 있다.
또한, 상기 클라이언트 단말은 사용자와 상기 클라이언트 단말과의 거리를 감지하는 거리 감지부를 더 포함하고, 상기 감지된 거리가 줄어들면 화면 확대 명령으로 인식하고, 상기 감지된 거리가 멀어지면 화면 축소 명령으로 인식할 수 있다.
또한, 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 방법은 서버가 하나 이상의 파노라마 카메라로부터 파노라마 영상을 수신하는 단계와, 상기 서버가 상기 수신된 파노라마 영상을 상기 각각의 클라이언트 단말의 해상도에 대응되며 여러 슬라이드 영상으로 구성되는 제1 썸네일 영상으로 인코딩하여 상기 각각의 클라이언트 단말에 전송하는 단계와, 상기 서버가 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 따라 상기 클라이언트 단말로부터 상기 제1 썸네일 영상 중 특정 영역의 슬라이스 영상 정보를 요청 받는 단계와, 상기 서버가 상기 요청된 특정 영역의 슬라이스 정보를 상기 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 제2 썸네일 영상으로 인코딩하여 상기 클라이언트 단말에 제공하는 단계를 포함할 수 있다.
또한, 상기 서버가 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 의한 상기 클라이언트 단말의 영상 정보 요청에 따라 파노라마 영상의 시점을 이동시키는 단계를 더 포함할 수 있다.
또한, 상기 서버가 상기 클라이언트 단말에서 요청되는 영상 정보를 기초로 사용자 관심 영역을 추출 및 저장하는 단계 및 상기 서버가 상기 클라이언트 단말의 요청에 따라 상기 저장된 사용자 관심 영역의 파노라마 영상을 상기 클라이언트 단말에 전송하는 단계를 더 포함할 수 있다.
또한, 상기 서버가 파노라마 영상의 재생 시점을 동일하게 하여 동기화된 영상을 생성하는 단계 및 상기 서버가 상기 클라이언트 단말의 요청에 따라 상기 생성된 동기화된 영상을 상기 각각의 클라이언트 단말에 전송하는 단계를 더 포함할 수 있다.
또한, 상기 서버가 상기 클라이언트 단말의 요청에 따라 상기 클라이언트 단말 중 어느 하나의 재생 화면을 다른 어느 하나의 상기 클라이언트 단말에 전송하는 단계를 더 포함할 수 있다.
본 발명에 따른 파노라마 영상 스트리밍 시스템은 파노라마 영상을 각각의 클라이언트 단말의 해상도에 대응되며 여러 슬라이스 영상으로 구성되는 저해상도의 제1 썸네일 영상을 기본적으로 제공하며, 사용자의 조작에 따라 제1 썸네일 영상의 특정 영역의 슬라이스 정보가 요청되면, 요청된 특정 영역에 대응되는 고해상도의 제2 썸네일 영상을 제공함으로서 고해상도의 파노라마 영상을 한정된 대역폭 하에서 클라이언트 단말에 효율적으로 제공할 수 있게 된다.
또한, 다수의 클라이언트 단말의 관람 시점을 동기화하거나, 재생 시점을 동기화함으로써 다수의 사용자들이 함께 방송 컨텐츠를 공유할 수 있는 환경을 제공한다.
도 1은 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템의 개략적인 구조도이다.
도 2는 도 1의 서버(200)의 세부 구성도이다.
도 3은 도 1의 파노라마 카메라(100)가 획득한 파노라마 샘플 영상이다.
도 4는 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템의 파노라마 영상 전송 방법을 개략적으로 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템에서 사용자가 관람 영역을 확대하는 경우의 동작을 설명하는 도면이다.
도 6은 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 방법을 개략적으로 나타내는 순서도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 파노라마 영상 스트리밍 시스템 및 방법의 가능한 일실시예에 불과하며, 본 발명의 기술적 사상은 위 내용에 한정되지 아니한다.
도 1은 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템의 개략적인 구조도이다.
도 1을 참조하면 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템은 파노라마 카메라(100)와, 서버(200)와, 클라이언트 단말(300)을 포함하여 구성된다.
파노라마 카메라(100)는 멀티 앵글 방송 서비스를 위하여 다수의 장소에 설치되어 파노라마 영상을 획득하는 역할을 한다. 파노라마 카메라(100)는 360도 촬영 가능한 카메라일 수 있으며, 파노라마 카메라(100)의 사양에 따라 각 렌즈의 영상 또는 전체 영상을 파노라마 카메라(100) 자체의 하드웨어 인코더를 통하여 인코딩을 수행할 수 있다. 음성은 별도로 구성되는 마이크 또는 파노라마 카메라(100)에 장착된 마이크를 이용하여 획득할 수 있다.
파노라마 카메라(100)는 획득한 파노라마 영상(이미지 또는 동영상)을 USB, IEEE1394, 이더넷(Ethernet), 광케이블 등의 네트워크를 이용하여 서버(200)로 전송한다. 서버(200)는 파노라마 카메라(100)로부터 수신된 파노라마 영상을 디코딩 및 인코딩하여 다수의 클라이언트 단말(300)에 전송하는 역할을 한다. 자세한 구성 및 동작에 대해서는 도 2를 참조하여 후술한다.
클라이언트 단말(300)은 서버(200)로부터 인코딩된 파노라마 동영상을 수신하여 사용자에게 파노라마 영상을 제공하는 역할을 한다. 클라이언트 단말은 서버(200)와 유선 또는 무선 네트워크를 통하여 연결되는 것이면 그 대상에 제한이 없다. 예를 들어 도 1에 도시된 바와 같이 클라이언트 단말(300)은 PC(301), 노트북(302), 태블릿 PC(302), 스마트폰(304), 스마트 TV(305) 등이 해당될 수 있다.
도 2는 도 1의 서버(200)의 세부 구성도이다.
도2를 참조하면, 본 발명의 파노라마 영상 스트리밍 시스템의 서버(200)는 디코딩 모듈(201)과 인코딩 모듈(220)와, 스트리밍 모듈(230)과, 접속 제어 모듈(240)을 포함하여 구성된다.
디코딩 모듈(210)은 파노라마 카메라(100)로부터 수신한 파노라마 영상을 디코딩하는 역할을 한다.
인코딩 모듈(220)은 디코딩 모듈(210)에서 디코딩된 파노라마 영상을 서버(200)에 접속한 클라이언트 단말(300)의 요청 사양에 맞게 인코딩하는 역할을 한다.
도 2에 도시되지는 않았지만, 인코딩 모듈(220)은 스케일링 모듈과 분할 모듈을 더 포함할 수 있다. 스케일링 모듈은 서버(200)에 접속한 클라이언트 단말(300)의 해상도에 따라 전송할 파노라마 영상의 크기를 조절하는 역할을 하며, 분할 모듈은 서버(200)에 접속한 클라이언트 단말(300)에 제공될 썸네일 영상의 슬라이스의 분할 정도를 조절하는 역할을 한다. 본 발명에서 기술되는 ‘썸네일 영상’의 의미에 대해서는 도 3 내지 도 6과 관련하여 후술하기로 한다.
스트리밍 모듈(230)은 인코딩 모듈(220)에서 인코딩된 파노라마 영상을 클라이언트 단말(300)에 전송하는 역할을 한다. 스트리밍 모듈(230)은 네크워크 트래픽을 제어하는 QoS(Quality of Service) 모듈(231)과, 각 클라이언트 단말기(300)에 재생되는 화면의 재생 시점(Playback time)을 동기화하는 동기화 모듈(232)을 포함한다. 또한, 도 2에 도시되지는 않았지만, 스트리밍 모듈(230)은 서버(200)와 각 클라이언트 단말(300)의 접속 네트워크 환경에 따라 RTP, HTTP, P2P 멀티캐스트 등을 지원하기 위한 네트워크 접속 모듈을 포함할 수 있다.
접속 제어 모듈(240)은 서버(200)에 접속하는 각 클라이언트 단말(300)의 접속을 제어하는 역할을 하며, 클라이언트 정보 관리 모듈(241)과, 사용자 관심 영역 관리 모듈(242)과, 시점 이동 모듈(243)을 포함하여 구성된다.
클라이언트 정보 관리 모듈(241)은 서버(200)에 접속하는 각각의 클라이언트 단말(300)의 인증 정보 및 사용자 정보를 데이터 베이스화하여 미리 구축하고 있으며, 사용자의 요청에 따라 클라이언트 단말(300)이 서버(200)에 접속을 하거나, 접속 후 특정 영상 정보를 요청하여 채널 변경을 요청하는 경우 그 접속 요청을 승인하거나 거절한다.
이때, 클라이언트 단말(300)의 접속 요청 신호에는 각 클라이언트 단말(300)의 디스플레이부의 해상도 정보가 포함되어 있으며, 서버(200)는 각 클라이언트 단말(300)의 해상도에 맞는 크기로 인코딩하여 기본 썸네일 영상을 전송하게 된다. 자세한 동작은 후술한다.
사용자 관심 영역 관리 모듈(242)은 각각의 클라이언트 단말(300)에서 요청되는 영상 정보를 기초로 사용자 관심 영역을 추출 및 저장하는 역할을 한다. 즉, 다수의 클라이언트 단말(300)이 서버(200)에 접속한 후 서버(200)에 요청하는 영상 정보를 분석하여 많이 요청되는 영상 정보를 미리 설정된 기준에 의해 추출 및 저장하여, 추후 클라이언트 단말(300)이 사용자 관심 영역의 영상 정보를 요청하는 경우 이 저장된 정보를 이용하여 서버(200)는 사용자 관심 영역을 전송할 수 있게 된다.
시점 이동 모듈(243)은 서버(200)에 접속한 각각의 클라이언트 단말(300)의 사용자가 재생되는 화면의 확대, 축소 및 이동 중 어느 하나의 명령에 의한 클라이언트 단말(300)의 영상 정보 요청에 따라 파노라마 영상의 시점을 이동시키는 역할을 수행한다.
이하 도 3 내지 도 5를 참조하여, 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템의 파노라마 영상 전송 방법을 상세히 설명한다.
도 3은 도 1의 파노라마 카메라(100)가 획득한 파노라마 샘플 영상이다.
도 3의 파노라마 샘플 영상(1)은 예를 들어 5400 × 2700 의 크기를 가질 수 있다. 영상의 픽셀 사이즈가 위의 해상도와 같기 때문에 한 장의 영상을 인코딩하는데 드는 용량은 약 1.6 Mbyte이다. 따라서, 이와 같은 고해상도의 파노라마 영상을 어떻게 줄여서 각 클라이언트 단말(300)에 보내는가가 가장 큰 이슈이다.
본 발명에 따른 파노라마 영상 스트리밍 시스템은 각 클라이언트 단말(300)에 맞는 저해상도 썸네일 영상을 기본적으로 전송하되, 사용자의 화면 확대, 축소 또는 이동 등의 명령에 의해 특정 영역이 요청되는 경우 해당 영역의 고해상도 썸네일 영상을 전송하는 방법을 사용한다.
도 4는 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템의 파노라마 영상 전송 방법을 개략적으로 도시한 도면이다.
도 4에서 볼 수 있듯이 파노라마 카메라(100)로부터 획득한 파노라마 샘플 영상(1)은 서버(200)로 전송되고, 서버(200)는 서버(200)에 접속한 각 클라이언트 단말(300)의 사양에 맞게 파노라마 영상을 디코딩 및 인코딩하여 전송하게 된다.
각 클라이언트 단말(300)의 사양에 따라 해당 클라이언트 단말(300)의 디스플레이부에서 볼 수 있는 영상의 화질은 정해져 있기 때문에 그 보다 큰 영상, 즉 해상도가 더 높은 영상을 보낼 필요가 없다. 따라서, 본 발명은 각 클라이언트 단말(300)의 사양에 맞게 사용자가 최대로 볼 수 있는 크기의 영상을 인코딩하여 전송 및 재생하며, 사용자의 화면 확대, 축소 또는 이동 명령에 따라 해당 영역을 작은 단위로 나누어 놓은 슬라이스(slice) 영상을 전송하는 방법을 사용한다.
도 4에 도시된 인코딩된 파노라마 영상(10, 20, 30)은 각각 다른 크기 및 해상도를 가지는 썸네일 영상을 나타낸다. 본 발명에서 ‘썸네일 영상’이라 함은 다수의 슬라이스 영상의 조합으로 구성된 특정 영역의 파노라마 영상을 의미한다. ‘썸네일 영상’의 크기 및 슬라이스 분할 정보는 앞에서 기술한 스케일링 모듈 및 분할 모듈을 이용하여 제어된다.
도 4의 제1 썸네일 영상(10)은 저해상도의 썸네일 영상이며, 제2 썸네일 영상(20)은 중해상도의 썸네일 영상이며, 제3 썸네일 영상(30)은 고해상도의 썸네일 영상을 각각 나타낸다. 도 4에서 볼 수 있듯이 제1 썸네일 영상(10), 제2 썸네일 영상(20) 및 제3 썸네일 영상(30) 순으로 더 고해상도 영상이며 슬라이스 분할 정도가 더 촘촘한 것을 알 수 있다. 즉, 고해상도 썸네일 영상일수록 더 많은 수의 슬라이스 영상으로 구성된다.
하지만, 앞에서 언급한 바와 같이 각 클라이언트 단말(300)의 최대 지원 해상도는 정해져 있기 때문에 필요 이상의 해상도로 파노라마 영상을 인코딩하여 전송하는 것은 대역폭이 제한되어 있는 네트워크 환경에서 매우 비효율적이다.
따라서, 클라이언트 단말(300)의 최대 지원 해상도에 맞는 썸네일 영상을 기본적으로 전송하고, 추후 사용자가 화면을 확대하여 특정 영역의 고화질 영상을 요청하는 경우에 한하여 고해상도 파노라마 영상을 전송하는 방법을 사용하면 대역폭을 효과적으로 이용할 수 있게 된다.
도 5는 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 시스템에서 사용자가 관람 영역을 확대하는 경우의 동작을 설명하는 도면이다.
도 5의 좌측에 도시된 바와 같이 서버(200)는 접속한 클라이언트 단말(304a, 305a)의 해상도에 맞게 저해상도의 제1 썸네일 영상(10)을 기본적으로 인코딩하여 전송한다. 사용자는 클라이언트 단말(304a, 305a)의 디스플레이부를 터치하는 등의 동작으로 제1 영역(15)을 선택하면, 서버(200)는 제1 영역(15)을 클라이언트 단말(304a, 305a)의 디스플레이부에 전송하기 위하여 해상도가 더 높은 중해상도의 제2 썸네일 영상(20)을 인코딩하여 요청된 영역인 제2 영역(25)을 클라이언트 단말(304a, 305a)에 전송한다. 이때, 사용자는 유사한 동작으로 제2 영역(25)의 제3 영역(35)을 선택하면, 서버(200)는 제2 영역(25)을 클라이언트 단말(304a, 305a)의 디스플레이부에 전송하기 위하여 해상도가 더 높은 고해상도의 제3 썸네일 영상(30)을 인코딩하여 요청된 영역인 제3 영역(35)을 클라이언트 단말(304a, 305a)에 전송한다.
본 발명의 파노라마 영상 스트리밍 시스템은 이와 같은 방법으로 기본적으로 클라이언트 단말(300)의 디스플레이부 사양에 맞는 저해상도의 전체 화면 썸네일 영상을 전송하되, 사용자가 화면을 확대 또는 축소 또는 이동하는 경우 그 요청된 특정 영역에 대해서만 고해상도의 썸네일 영상을 전송함으로써 데이터 전송 효율을 극대화시킬 수 있다.
이하 도 6을 참조하여, 본 발명의 스트리밍 방법을 상세히 설명한다.
도 6은 본 발명의 일실시예에 따른 파노라마 영상 스트리밍 방법을 개략적으로 나타내는 순서도이다.
본 발명에 따른 파노라마 영상 스트리밍 방법에 의하면, 먼저 파노라마 카메라부(100)를 이용하여 파노라마 영상을 수신한다(600).
서버(200)는 서버에(200)에 접속한 각각의 클라이언트 단말(300)의 사양을 분석하고, 각 사양에 맞는 제1 썸네일 영상으로 인코딩하여 전송한다(610).
이때, 사용자의 화면 조작에 의해서 제1 썸네일 영상의 특정 영역의 영상 정보 요청을 수신하고(620), 서버(200)는 그 요청된 영역에 대한 저해상도 또는 고해상도의 제2 썸네일 영상으로 인코딩하여 전송한다(630).
상기와 같은 단계를 더 구체적으로 살펴보면 다음과 같다.
파노라마 카메라(100)는 360도 촬영 가능한 카메라 등으로 구성되어 파노라마 영상을 수집하고, 카메라의 기능에 따라 각 렌즈의 영상 또는 전체 영상을 자체 하드웨어 인코더를 통하여 인코딩하여 서버(200)로 전송한다.
서버(200)는 파노라마 카메라(100)로부터 수신한 영상을 디코딩 모듈(210)을 이용하여 디코딩하고, 디코딩된 영상을 밝은 영역과 어두운 영역에 대한 실시간 보정 작업을 수행한다.
서버(200)의 인코딩 모듈(200)은 상기 보정된 영상을 서버(200)에 접속한 각각의 클라이언트 단말(300)의 지원 해상도별로 해상도를 조정한다. 즉, 스케일링 모듈 및 분할 모듈은 각각의 클라이언트 단말(300)의 지원 해상도에 맞게 파노라마 영상의 해상도 및 슬라이스 영상의 분할 비율을 조정한다. 이때, 각 클라이언트 단말(300)의 사양에 맞게 실시간 인코딩 하는 것은 서버(200)의 장치에 따라 하드웨어 또는 소프트웨어를 이용할 수 있으며, 압축 코덱은 H.264, MPEG4, JPEG 등을 사용할 수 있다.
다음, 서버(200)의 스트리밍 모듈(230)은 인코딩된 영상을 각 레벨별, 슬라이스 별로 별도의 채널을 통하여 각각의 클라이언트 단말(300)에 실시간 스트리밍한다. 이때, 서버(200)는 클라이언트 단말(300)이 요청한 전체 영상 정보를 가장 낮은 해상도의 썸네일 영상으로 기본적으로 제공한다. 이때, 각 채널은 독립적으로 제공되며, 클라이언트 단말(300) 측에서 자유롭게 접속 및 접속 해제를 할 수 있도록 하는 인터페이스를 제공한다.
클라이언트 단말(300)의 측면에서의 동작을 설명하면 다음과 같다.
각각의 클라이언트 단말(300)은 사용자의 요청에 따라 파노라마 스트리밍 프로그램을 구동하거나, 채널을 변경한다. 이때, 클라이언트 단말(300)은 서버(200)에 접속을 요청하게 되며, 접속 요청 시 클라이언트 단말(300)의 네트워크 상황과 화면 해상도 등의 정보를 함께 제공한다.
서버(200)로부터 접속 요청이 승인되어, 서버(200)에 접속하게 되면, 클라이언트 단말(300)은 사용자가 선택한 영상을 요청한다. 이때, 서버(200)는 클라이언트 단말(300)의 사양에 맞는 적정 해상도의 기본 썸네일 영상을 전송하며, 클라이언트 단말(300)은 저해상도 썸네일 동영상 스트리밍을 시작한다.
클라이언트 단말(300)은 최대 재상 가능한 해상도에 맞추어 원형의 구 모양을 모델링하고, 모델링한 구 모형의 내부에 수신 영상을 확대하여 매핑시키고, 파노라마 영상의 왜곡을 완화하는 매핑 기술을 활용하여 구의 중앙에서 기본 시점과 영역을 추출하여 디스플레이부를 통하여 사용자에게 영상을 제공한다.
이때, 사용자는 디스플레이부가 터치 스크린으로 이루어지는 경우, 터치 등의 동작을 통하여 화면의 상하좌우 이동을 하거나, 확대 또는 축소 요청을 할 수 있으며, 사용자의 요청에 따라 구 내부의 화면 영역을 재 추출하여 영상을 제공한다.
만약, 해당 화면의 확대 요청에 따라 보다 높은 해상도의 영상이 필요한 경우 보다 높은 레벨의 영상을 서버(200)에 요청한다. 고화질의 화면이 필요한 경우에는, 해당 영역에 해당하는 슬라이스 영상 부분만 수신하여 구의 해당 영역에 매핑하게 된다.
이와 같은 방법으로 사용자의 요청에 따라 스트리밍 채널의 접속 및 접속 해제 및 스트리밍 영상 레벨을 조절한다. 사용자가 접속 종료를 요청하면 서버(200) 측에 접속 종료 요청을 하고, 서버(200)의 승인에 따라 서버(200)와의 접속이 종료된 후에 구동 프로그램을 종료시킨다.
이때, 사용자가 클라이언트 단말(300)을 이용하여 재생 화면의 상화좌우 이동 또는 화면을 확대 또는 축소하는 인터페이스 방법은 다음과 같다.
클라이언트 단말(300)의 디스플레이부가 터치 스크린으로 이루어지는 경우, 재생 화면의 상하좌우의 각 변의 일정 영역을 나누고, 중앙 부분을 다시 좌우로 구분시킬 수 있다. 사용자가 구분된 각 변을 터치하는 경우 상하좌우로 이동시키는 명령으로 인식할 수 있으며, 중앙 부분의 좌측은 확대, 우측은 축소 명령으로 인식할 수 있다.
또한, 단순한 터치 동작을 이용하여 드래그 방향 및 멀티 터치를 이용하여 제어할 수도 있다. 즉, 사용자가 터치 스크린을 터치하여 드래그 하는 경우, 드래그 방향으로 화면을 이동 이동시키는 명령으로 인식하고, 두 손가락으로 터치한 후 두 손가락 사이가 가까워지면 축소 명령으로, 멀어지면 확대 명령으로 인식할 수 있다.
또한, 별도의 이동 버튼이 구비되는 경우 상하좌우 이동 버튼 및 확대/축소 버튼을 누르는 경우 해당 명령으로 인식할 수 있다.
또한, 별도의 키보드가 구비되는 경우, 방향키로 이동 명령을 인식하고, +키를 누르면 확대 명령으로 , -키를 누르면 축소 명령으로 인식할 수 있다.
또한, 별도의 마우스가 구비되는 경우, 마우스를 이용하여 이동 명령 시 화면 명령으로 인식하며, 마우스를 휠의 동작을 화면의 확대/축소 명령으로 인식할 수 있다.
또한, 클라이언트 단말(300)은 클라이언트 단말(300)의 기울임 정도를 감지하는 기울기 센서(미도시)를 포함할 수 있으며, 사용자가 클라이언트 단말(300)을 좌우 또는 상하로 기울일 때의 기울임 정도를 기울기 센서로 감지하고, 감지된 기울임 정도를 시점 변경 명령으로 인식할 수 있다.
또한, 클라이언트 단말(300)은 사용자와 클라이언트 단말과의 거리를 감지하는 거리 감지부(미도시)를 포함하고, 감지된 거리가 줄어들면 화면 확대 명령으로 인식하고, 감지된 거리가 멀어지면 화면 축소 명령으로 인식할 수 있다.
100 : 파노라마 카메라 200 : 서버
201 : 인코딩 모듈 220 : 디코딩 모듈
230 : 스트리밍 모듈 240 : 접속 제어 모듈
300 : 클라이언트 단말

Claims (18)

  1. 파노라마 영상을 획득하는 파노라마 카메라;
    상기 파노라마 카메라로부터 수신된 파노라마 영상을 디코딩 및 인코딩하는 서버; 및
    상기 서버가 디코딩 및 인코딩한 파노라마 영상을 수신하여 재생하는 하나 이상의 클라이언트 단말을 포함하되,
    상기 서버는 상기 파노라마 카메라로부터 수신된 파노라마 영상을 각각의 클라이언트 단말의 해상도에 대응되며 복수의 슬라이스 영상으로 구성되는 제1 썸네일 영상으로 인코딩하여 상기 각각의 클라이언트 단말에 전송하고, 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 따라 상기 클라이언트 단말이 상기 제1 썸네일 영상 중 특정 영역의 슬라이스 영상 정보를 요청하면, 상기 요청된 특정 영역의 슬라이스 영상 정보를 상기 클라이언트 단말의 해상도에 대응되며 복수의 슬라이스 영상으로 구성되는 제2 썸네일 영상으로 인코딩하여 상기 클라이언트 단말에 제공하는 것을 특징으로 하고,
    상기 서버는,
    상기 파노라마 카메라로부터 수신된 파노라마 영상을 디코딩하는 디코딩 모듈;
    상기 디코딩 모듈에서 디코딩된 파노라마 영상을 인코딩하는 인코딩 모듈; 및
    상기 인코딩 모듈에서 인코딩된 파노라마 영상을 상기 클라이언트 단말에 전송하는 스트리밍 모듈을 포함하며,
    상기 스트리밍 모듈은 파노라마 영상의 재생 시점을 동일하게 하여 동기화된 영상을 생성하는 동기화 모듈을 더 포함하고,
    상기 서버는 상기 클라이언트 단말의 동기화 요청에 따라 상기 동기화 모듈에서 생성된 동기화된 영상을 상기 각각의 클라이언트 단말에 전송하는 것을 특징으로 하는, 파노라마 영상 스트리밍 시스템.
  2. 제1항에 있어서,
    상기 서버는 상기 각각의 클라이언트 단말에 상기 제1 썸네일 영상을 기본적으로 항상 전송하며, 상기 요청된 특정 영역의 상기 제2 썸네일 영상을 각각 독립적인 채널로 상기 각각의 클라이언트 단말에 실시간 스트리밍 함으로써 데이터 전송 효율을 최적화하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 서버는,
    상기 클라이언트 단말의 접속을 제어하는 접속 제어 모듈;
    상기 클라이언트 단말의 해상도에 따라 파노라마 영상의 크기를 조절하는 스케일링 모듈; 및
    상기 클라이언트 단말에 제공될 썸네일 영상의 슬라이스의 분할 정도를 조절하는 분할 모듈을 더 포함하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.
  5. 제4항에 있어서,
    상기 접속 제어 모듈은,
    상기 클라이언트 단말의 인증 및 사용자 정보를 관리하는 클라이언트 정보 관리 모듈;
    상기 클라이언트 단말에서 요청되는 영상 정보를 기초로 사용자 관심 영역을 추출 및 저장하는 상기 사용자 관심 영역 관리 모듈; 및
    사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 의한 상기 클라이언트 단말의 영상 정보 요청에 따라 파노라마 영상의 시점을 이동시키는 시점 이동 모듈을 더 포함하고,
    상기 서버는 상기 클라이언트 단말의 요청에 따라 파노라마 영상의 시점을 이동시켜 상기 클라이언트 단말에 전송하거나, 상기 사용자 관심 영역 관리 모듈에 저장된 사용자 관심 영역 정보를 기초로 사용자 관심 영역이 파노라마 영상을 상기 클라이언트 단말에 제공하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.
  6. 삭제
  7. 파노라마 영상을 획득하는 파노라마 카메라;
    상기 파노라마 카메라로부터 수신된 파노라마 영상을 디코딩 및 인코딩하는 서버; 및
    상기 서버가 디코딩 및 인코딩한 파노라마 영상을 수신하여 재생하는 하나 이상의 클라이언트 단말을 포함하되,
    상기 서버는 상기 파노라마 카메라로부터 수신된 파노라마 영상을 각각의 클라이언트 단말의 해상도에 대응되며 복수의 슬라이스 영상으로 구성되는 제1 썸네일 영상으로 인코딩하여 상기 각각의 클라이언트 단말에 전송하고, 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 따라 상기 클라이언트 단말이 상기 제1 썸네일 영상 중 특정 영역의 슬라이스 영상 정보를 요청하면, 상기 요청된 특정 영역의 슬라이스 영상 정보를 상기 클라이언트 단말의 해상도에 대응되며 복수의 슬라이스 영상으로 구성되는 제2 썸네일 영상으로 인코딩하여 상기 클라이언트 단말에 제공하는 것을 특징으로 하고,
    상기 서버는 상기 클라이언트 단말의 요청에 따라 상기 클라이언트 단말 중 어느 하나의 재생 화면을 다른 어느 하나의 상기 클라이언트 단말에 전송하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.
  8. 제1항에 있어서,
    상기 클라이언트 단말은 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령을 입력 받는 입력부를 포함하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.
  9. 제8항에 있어서,
    상기 입력부는 버튼, 키보드, 터치 패드, 터치 스크린 중 하나인 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.
  10. 제9항에 있어서,
    상기 터치 스크린은 파노라마 영상이 재생되는 디스플레이부의 역할을 동시에 수행하고,
    사용자가 상기 터치 스크린을 드래그하거나 멀티 터치하는 동작을 화면 확대, 축소 및 이동 중 어느 하나의 명령으로 인식하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.
  11. 제9항에 있어서,
    상기 터치 스크린은 파노라마 영상이 재생되는 디스플레이부의 역할을 동시에 수행하고,
    사용자가 상기 터치 스크린을 드래그하거나 멀티 터치하는 동작을 화면 확대, 축소 및 이동 중 어느 하나의 명령으로 인식하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.
  12. 제1항에 있어서,
    상기 클라이언트 단말은 상기 클라이언트 단말의 기울임 정도를 감지하는 기울기 센서를 포함하고,
    사용자가 상기 클라이언트 단말을 좌우 또는 상하로 기울일 때의 기울임 정도를 상기 기울기 센서로 감지하고, 상기 감지된 기울임 정도를 시점 변경 명령으로 인식하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.
  13. 제1항에 있어서,
    상기 클라이언트 단말은 사용자와 상기 클라이언트 단말과의 거리를 감지하는 거리 감지부를 더 포함하고,
    상기 감지된 거리가 줄어들면 화면 확대 명령으로 인식하고, 상기 감지된 거리가 멀어지면 화면 축소 명령으로 인식하는 것을 특징으로 하는 파노라마 영상 스트리밍 시스템.
  14. 서버가 하나 이상의 파노라마 카메라로부터 파노라마 영상을 수신하는 단계;
    사기 서버가 상기 수신된 파노라마 영상을 각각의 클라이언트 단말의 해상도에 대응되며 복수의 슬라이스 영상으로 구성되는 제1 썸네일 영상으로 인코딩하여 상기 각각의 클라이언트 단말에 전송하는 단계;
    상기 서버가 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 따라 상기 클라이언트 단말로부터 상기 제1 썸네일 영상 중 특정 영역의 슬라이스 영상 정보를 요청 받는 단계; 및
    상기 서버가 상기 요청된 특정 영역의 슬라이스 영상 정보를 상기 클라이언트 단말의 해상도에 대응되며 복수의 슬라이스 영상으로 구성되는 제2 썸네일 영상으로 인코딩하여 상기 클라이언트 단말에 제공하는 단계를 포함하되,
    상기 서버가 파노라마 영상의 재생 시점을 동일하게 하여 동기화된 영상을 생성하는 단계; 및
    상기 서버가 상기 클라이언트 단말의 요청에 따라 상기 생성된 동기화된 영상을 상기 각각의 클라이언트 단말에 전송하는 단계를 더 포함하는 것을 특징으로 하는 파노라마 영상 스트리밍 방법.
  15. 제14항에 있어서,
    상기 서버가 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 의한 상기 클라이언트 단말의 영상 정보 요청에 따라 파노라마 영상의 시점을 이동시키는 단계를 더 포함하는 것을 특징으로 하는 파노라마 영상 스트리밍 방법.
  16. 제14항에 있어서,
    상기 서버가 상기 클라이언트 단말에서 요청되는 영상 정보를 기초로 사용자 관심 영역을 추출 및 저장하는 단계; 및
    상기 서버가 상기 클라이언트 단말의 요청에 따라 상기 저장된 사용자 관심 영역의 파노라마 영상을 상기 클라이언트 단말에 전송하는 단계 더 포함하는 것을 특징으로 하는 파노라마 영상 스트리밍 방법.
  17. 삭제
  18. 서버가 하나 이상의 파노라마 카메라로부터 파노라마 영상을 수신하는 단계;
    사기 서버가 상기 수신된 파노라마 영상을 각각의 클라이언트 단말의 해상도에 대응되며 복수의 슬라이스 영상으로 구성되는 제1 썸네일 영상으로 인코딩하여 상기 각각의 클라이언트 단말에 전송하는 단계;
    상기 서버가 사용자의 화면 확대, 축소 및 이동 중 어느 하나의 명령에 따라 상기 클라이언트 단말로부터 상기 제1 썸네일 영상 중 특정 영역의 슬라이스 영상 정보를 요청 받는 단계; 및
    상기 서버가 상기 요청된 특정 영역의 슬라이스 영상 정보를 상기 클라이언트 단말의 해상도에 대응되며 복수의 슬라이스 영상으로 구성되는 제2 썸네일 영상으로 인코딩하여 상기 클라이언트 단말에 제공하는 단계를 포함하되,
    상기 서버는 상기 클라이언트 단말의 요청에 따라 상기 클라이언트 단말 중 어느 하나의 재생 화면을 다른 어느 하나의 상기 클라이언트 단말에 전송하는 것을 특징으로 하는 파노라마 영상 스트리밍 방법.
KR1020110087760A 2011-08-31 2011-08-31 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법 KR101282955B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110087760A KR101282955B1 (ko) 2011-08-31 2011-08-31 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110087760A KR101282955B1 (ko) 2011-08-31 2011-08-31 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130024357A KR20130024357A (ko) 2013-03-08
KR101282955B1 true KR101282955B1 (ko) 2013-07-17

Family

ID=48176440

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110087760A KR101282955B1 (ko) 2011-08-31 2011-08-31 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101282955B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565916B2 (en) 2016-09-09 2020-02-18 Kt Corporation Providing streaming of virtual reality contents
US10958950B2 (en) 2016-03-22 2021-03-23 Interdigital Vc Holdings, Inc. Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101440131B1 (ko) * 2013-04-19 2014-09-12 주식회사 에스원 모바일 클라이언트 단말기에서 다채널 CCTV 관제를 위한 Qos 영상처리 시스템 및 Qos 영상 처리 방법
KR102067620B1 (ko) 2013-05-21 2020-01-17 삼성전자주식회사 파노라마 사진의 썸네일 이미지 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR101528863B1 (ko) * 2013-09-10 2015-06-16 (주)포스트미디어 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
CN105791882B (zh) 2016-03-22 2018-09-18 腾讯科技（深圳）有限公司 视频编码方法及装置
US10931980B2 (en) 2016-07-19 2021-02-23 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service
KR102542515B1 (ko) 2016-07-28 2023-06-12 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
KR102542507B1 (ko) * 2016-08-17 2023-06-09 에스케이텔레콤 주식회사 컨텐츠 부가 정보 제공 방법 및 이를 위한 장치
KR102499139B1 (ko) * 2016-09-21 2023-02-13 삼성전자주식회사 이미지를 표시하는 전자 장치 및 그 제어 방법
KR102630681B1 (ko) 2016-10-11 2024-01-30 삼성전자주식회사 디스플레이 장치 및 캡처 이미지 생성 방법
KR20180071012A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
KR20180112708A (ko) 2017-04-03 2018-10-12 한국전자통신연구원 고화질 360도 vr 영상 처리 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020007945A (ko) * 2000-08-24 2002-01-29 양윤원 데이터 통신망을 통한 디지털 확대 이미지 제공방법,디지털 확대 이미지 제공장치
JP2003536319A (ja) * 2000-06-09 2003-12-02 アイムーヴ インコーポレイテッド パノラマビデオのストリーミング方法及びシステム
KR20100044527A (ko) * 2008-10-22 2010-04-30 엘지전자 주식회사 이동 단말기 및 이를 이용한 화면 스크롤 방법
KR20100136649A (ko) * 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003536319A (ja) * 2000-06-09 2003-12-02 アイムーヴ インコーポレイテッド パノラマビデオのストリーミング方法及びシステム
KR20020007945A (ko) * 2000-08-24 2002-01-29 양윤원 데이터 통신망을 통한 디지털 확대 이미지 제공방법,디지털 확대 이미지 제공장치
KR20100044527A (ko) * 2008-10-22 2010-04-30 엘지전자 주식회사 이동 단말기 및 이를 이용한 화면 스크롤 방법
KR20100136649A (ko) * 2009-06-19 2010-12-29 삼성전자주식회사 휴대단말기의 근접 센서를 이용한 사용자 인터페이스 구현 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958950B2 (en) 2016-03-22 2021-03-23 Interdigital Vc Holdings, Inc. Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US10565916B2 (en) 2016-09-09 2020-02-18 Kt Corporation Providing streaming of virtual reality contents

Also Published As

Publication number Publication date
KR20130024357A (ko) 2013-03-08

Similar Documents

Publication Publication Date Title
KR101282955B1 (ko) 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법
JP7029562B2 (ja) コンテンツを提供及び表示するための装置及び方法
Gaddam et al. Tiling in interactive panoramic video: Approaches and evaluation
US10623816B2 (en) Method and apparatus for extracting video from high resolution video
US20160277772A1 (en) Reduced bit rate immersive video
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
KR20180029344A (ko) 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
US20130135179A1 (en) Control method and device thereof
KR101528863B1 (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
KR20150006771A (ko) 비디오의 선택된 부분들을 고해상도로 렌더링하는 방법 및 장치
US10601889B1 (en) Broadcasting panoramic videos from one server to multiple endpoints
US9930416B1 (en) Playback device that requests and receives a user tailored video stream using content of a primary stream and an enhanced stream
US11120615B2 (en) Dynamic rendering of low frequency objects in a virtual reality system
US20150350565A1 (en) Techniques for magnifying a high resolution image
KR20120133006A (ko) Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템
TW201720170A (zh) 用戶變焦編碼內容解譯及表達方法及系統
JP2013255210A (ja) 映像表示方法、映像表示装置および映像表示プログラム
WO2018004936A1 (en) Apparatus and method for providing and displaying content
Reznik User-adaptive mobile video streaming using MPEG-DASH
JP5594842B2 (ja) 映像配信装置
US11153613B2 (en) Remote-controlled media studio
KR102166054B1 (ko) 네트워크로부터 전송되는 스트리밍 영상을 재생하는 방법 및 장치
KR101295002B1 (ko) Ｓｎｓ 정보를 이용한 파노라마 영상 인터페이스 제공 시스템 및 방법
Seo et al. Immersive panorama TV service system
KR102637147B1 (ko) 세로 모드 스트리밍 방법, 및 이동형 세로 모드 스트리밍 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee