KR20120133006A - Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템 - Google Patents

Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템 Download PDF

Info

Publication number
KR20120133006A
KR20120133006A KR1020110051455A KR20110051455A KR20120133006A KR 20120133006 A KR20120133006 A KR 20120133006A KR 1020110051455 A KR1020110051455 A KR 1020110051455A KR 20110051455 A KR20110051455 A KR 20110051455A KR 20120133006 A KR20120133006 A KR 20120133006A
Authority
KR
South Korea
Prior art keywords
image
tile
server
time zone
panorama
Prior art date
Application number
KR1020110051455A
Other languages
English (en)
Inventor
임상민
Original Assignee
(주)포스트미디어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)포스트미디어 filed Critical (주)포스트미디어
Priority to KR1020110051455A priority Critical patent/KR20120133006A/ko
Publication of KR20120133006A publication Critical patent/KR20120133006A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26241—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the time of distribution, e.g. the best time of the day for inserting an advertisement or airing a children program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법에 관한 것으로, 더욱 상세하게는 IPTV(Internet Protocol Television)에서 파노라마 영상의 스트리밍 서비스를 제공하는 방법에 있어서, 카메라의 의해 촬영된 파노라마 영상이 파일형태로 서버에 입력되는 파노라마 영상 입력 단계와, 서버에 입력된 파일형태의 파노라마 영상이 촬영된 시간대별로 분류되는 파노라마 영상 시간대별 분류 단계와, 촬영된 시간대별로 분류된 각각의 파노라마 영상을 타일링하여 블록 단위로 분리하는 타일 영상 생성 단계와, 각각의 타일 영상이 압축되어 서버에 저장되는 타일 영상 저장 단계 및 서버에 압축 저장된 타일 영상이 HTTP(Hyper Text Transfer Protocol)를 통해 적어도 하나 이상의 클라이언트 단말기에 제공되는 타일 영상 제공 단계를 포함하는 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법에 관한 것이다.
본 발명에 따르면, 클라이언트에게 넓은 시각영역을 제공하기 위한 파노라마 영상을 타일이라는 영상 단위로 잘라 타일 영상단위로 전송하는 효율적인 스트리밍 시스템을 구성함으로써, 서버는 파노라마 영상 전체를 압축하여 클라이언트에게 전송하는 것이 아니라 카메라를 통해 입력으로 들어오는 파노라마 영상에서 일정 크기의 시각영역만큼을 클라이언트에게 전송함은 물론, 제공되는 영역에서 다중 클라이언트에게 자신이 보고자 하는 타일 영역을 자유롭게 접근이 가능하며 또한 동기화를 제공하는 효과가 있다.
또한, 본 발명은 타일 단위의 영상 전송을 통해 서버의 전송부담을 감소시켜 가상현실에서의 원격회의 등의 멀티미디어 스트리밍 서비스, 사이버 관광 시스템(Cyber Tour System) 및 특정상품 홍보 등에 그 적용이 가능한 효과가 있다.

Description

ＩＰＴＶ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템{System and method for providing a service to streaming IPTV panorama image}
본 발명은 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법에 관한 것으로서, 특히 파노라마 비디오 스트리밍을 위한 효율적인 데이터 전송 기법에 관한 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템에 관한 것이다.
일반적으로 종래의 카메라로 촬영된 파노라마 영상을 제공하는 서비스는 정적 방식인 스틸(Stil) 사진과 동적 방법인 동영상으로 구분되어 서비스된다.
그러나 고해상도로 영상을 표현하기 위해서는 제공되는 파일의 용량이 고용량화돼야하는데, 이렇게 고용량의 파일을 전송하게 되면 네트워크의 대역폭이 커지게 되고, 동시에 전송 서버에 부담을 가중시키는 문제점이 있다.
따라서, 동영상의 용량은 감소시키면서 네트워크의 대역폭을 원활하게 하며, 스틸만큼의 고해상도 화질과 비슷한 영상을 제공하는 타일링 기법을 이용한 스트리밍 서비스를 제안한다.
상술한 문제점을 해결하기 위해 안출된 본 발명의 과제는, 네트워크 속도가 느린 경우 클라이언트에서 영상 재생이 지연되는 기존의 문제점을 해결하기 위해 제안된 방식으로 MPEG 영상을 타일 단위의 전송기법과 클라이언트 요청에 따른 서버에서의 효율적인 타일 단위 전송기법을 제공함으로써, 요청된 실시간 상호 작용 가능한 시스템에서 필요한 영상만을 전송할 수 있는 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템을 제공하는 데 있다.
상기 과제를 달성하기 위해 안출된 본 발명은, IPTV(Internet Protocol Television)에서 파노라마 영상의 스트리밍 서비스를 제공하는 방법에 있어서, 카메라의 의해 촬영된 파노라마 영상이 파일형태로 서버에 입력되는 파노라마 영상 입력 단계, 상기 서버에 입력된 상기 파일형태의 파노라마 영상이 촬영된 시간대별로 분류되는 파노라마 영상 시간대별 분류 단계, 상기 촬영된 시간대별로 분류된 각각의 파노라마 영상을 타일링하여 블록 단위로 분리하는 타일 영상 생성 단계, 상기 각각의 타일 영상이 압축되어 상기 서버에 저장되는 타일 영상 저장 단계 및 상기 서버에 압축 저장된 상기 타일 영상이 HTTP(Hyper Text Transfer Protocol)를 통해 적어도 하나 이상의 클라이언트 단말기에 제공되는 타일 영상 제공 단계를 포함한다.
상기 서버와 상기 클라이언트 단말기는 스트리밍(streaming) 서비스를 통해 상기 타일 영상이 제공되는 것을 특징으로 한다.
상기 타일 영상 제공단계는 상기 클라이언트 단말기에 의해 특정 시간대와, 상기 특정 시간대 내의 특정 화면 영역(Viewing point of view)이 촬영된 파노라마 영상의 제공이 요청되면, 상기 서버에 저장된 상기 각각의 타일 영상 중 상기 클라이언트 단말기에 의해 요청된 상기 특정 시간대와 상기 특정 시간대 내의 특정 화면 영역(Viewing point of view)의 영상이 상기 클라이언트 단말기에 제공되는 것을 특징으로 한다.
상기 서버에서 상기 클라이언트 단말기로 상기 특정 시간대와 상기 특정 시간대 내의 특정 화면 영역(Viewing point of view) 영상의 제공은, 상기 특정 시간대의 저 해상도 전체화면 영상과, 상기 특정 화면 영역(Viewing point of view)의 타일 영상이 각각 분리되는 단계와, 상기 저 해상도의 전체화면 영상이 상기 클라이언트 단말기에 배경화면으로 배치되어 디스플레이되는 단계와, 상기 클라이언트 단말기에 배경화면으로 디스플레이된 상기 저 해상도의 전체화면 영상에 상기 타일 영상이 합성되는 단계 및 상기 합성 영상이 파노라마 영상으로 상기 클라이언트 단말기에 디스플레이되는 것을 가능하게 상기 합성 영상이 구(sphere)에 텍스처 매핑(texture mapping) 되는 단계를 포함하는 것을 특징으로 한다.
IPTV(Internet Protocol Television)에서 파노라마 영상의 스트리밍 서비스를 제공하는 시스템에 있어서, 파노라마 형태로 영상이 촬영되는 카메라, 상기 카메라에 의해 촬영된 파노라마 영상이 파일형태로 입력되는 영상 입력부와, 상기 영상 입력부를 통해 입력된 상기 파노라마 영상이 촬영된 시간대별로 각각 분류되는 제1영상 변환부와, 상기 제1영상 변환부에서 촬영된 시간대별로 분류된 각각의 파노라마 영상이 타일링하여 블록 단위로 분리하는 타일 영상을 생성하는 제2영상 변환부와, 상기 제2영상 변환부에서 생성된 타일 영상이 압축 저장되는 저장부와, 상기 저장부에 압축 저장된 상기 타일 영상을 HTTP(Hyper Text Transfer Protocol)를 통해 적어도 하나 이상의 하기 클라이언트 단말기에 제공하는 영상 제공부를 구비하는 서버 및 상기 서버에서 제공하는 상기 타일 영상을 제공받는 클라이언트 단말기를 포함한다.
본 발명은 클라이언트에게 넓은 시각영역을 제공하기 위한 파노라마 영상을 타일이라는 영상 단위로 잘라 타일 영상단위로 전송하는 효율적인 스트리밍 시스템을 구성함으로써, 서버는 파노라마 영상 전체를 압축하여 클라이언트에게 전송하는 것이 아니라 카메라를 통해 입력으로 들어오는 파노라마 영상에서 일정 크기의 시각영역만큼을 클라이언트에게 전송함은 물론, 제공되는 영역에서 다중 클라이언트에게 자신이 보고자 하는 타일 영역을 자유롭게 접근이 가능하며 또한 동기화를 제공하는 효과가 있다.
또한, 본 발명은 타일 단위의 영상 전송을 통해 서버의 전송부담을 감소시켜 가상현실에서의 원격회의 등의 멀티미디어 스트리밍 서비스, 사이버 관광 시스템(Cyber Tour System) 및 특정상품 홍보 등에 그 적용이 가능한 효과가 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어서 해석되어서는 아니 된다.
도 1 및 도 2는 본 발명의 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법을 나타낸 순서도,
도 3은 본 발명의 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법에서 기존 영상과 타일 영상을 나타낸 개략적인 개념도,
도 4는 본 발명의 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법에서 타일 영상과 전체 영상의 레이어별 구성을 나타낸 개략적인 개념도,
도 5는 본 발명의 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법에서 네트워크 속도에 따라 클라이언트 단말기에서 재생되는 평균 비트율을 나타낸 개략적인 개념도,
도 6은 본 발명의 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법에서 파노라마 영상이 스트리밍 서비스되는 과정을 나타낸 개략적인 개념도,
도 7은 본 발명의 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 시스템을 나타낸 구성도이다.
이하, 본 발명에 따른 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템의 바람직한 실시예에 대해 상세하게 설명한다.
도 1 및 도 2는 본 발명의 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법을 나타낸 개략적인 순서도 이다. 도 1 및 도 2를 참조하면, 본 발명에 바람직한 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법은, 먼저 카메라의 의해 촬영된 파노라마 영상이 파일형태로 서버에 입력(단계S100)된다.
그 다음, 상기 서버에 입력된 상기 파일형태의 파노라마 영상이 촬영된 시간대별로 분류(단계S200)된다.
그 다음, 상기 촬영된 시간대별로 분류된 각각의 파노라마 영상을 타일링하여 블록 단위로 분리(단계S300)한다.
그 다음, 상기 각각의 타일 영상이 압축되어 상기 서버에 저장(단계S400)된다.
그 다음, 상기 서버에 압축 저장된 상기 타일 영상이 HTTP(Hyper Text Transfer Protocol)를 통해 적어도 하나 이상의 클라이언트 단말기에 제공(단계S500)된다.
이때, 상기 서버와 상기 클라이언트 단말기는 스트리밍(streaming) 서비스를 통해 상기 타일 영상이 제공된다.
여기서, 스트리밍 서비스(Streaming Service)는 무선 인터넷 멀티미디어 파일 포맷 규격으로, 동영상 등을 포함한 멀티미디어 데이터의 생성, 전송 및 저장 등에 관한 요소 기술을 기술한 것으로, 비디오를 위한 MPEG-4와 H.263의 저장 방식과 AAC(Advanced Audio Coding) 오디오, AMR(Adaptive Multi-Rate), EVRC(Enhanced Variable Rate Coder) 및 13k QCELP 및 SMV(Selectable Mode Vocoder) 등의 음성 미디어 저장 방식을 기술하고 있다.
한편, 상기 타일 영상 제공단계는 상기 클라이언트 단말기에 의해 특정 시간대와, 상기 특정 시간대 내의 특정 화면 영역(Viewing point of view)이 촬영된 파노라마 영상의 제공이 요청되면, 상기 서버에 저장된 상기 각각의 타일 영상 중 상기 클라이언트 단말기에 의해 요청된 상기 특정 시간대와 상기 특정 시간대 내의 특정 화면 영역(Viewing point of view)의 영상이 상기 클라이언트 단말기에 제공된다.
그리고, 상기 서버에서 상기 클라이언트 단말기로 상기 특정 시간대와 상기 특정 시간대 내의 특정 화면 영역(Viewing point of view) 영상의 제공은, 상기 특정 시간대의 저 해상도 전체화면 영상과, 상기 특정 화면 영역(Viewing point of view)의 타일 영상이 각각 분리되고, 상기 저 해상도의 전체화면 영상이 상기 클라이언트 단말기에 배경화면으로 배치되어 디스플레이되고, 상기 클라이언트 단말기에 배경화면으로 디스플레이된 상기 저 해상도의 전체화면 영상에 상기 타일 영상이 합성된 후, 상기 합성 영상이 파노라마 영상으로 상기 클라이언트 단말기에 디스플레이되는 것을 가능하게 상기 합성 영상이 구(sphere)에 텍스처 매핑(texture mapping) 된다.
본 발명은 다중 클라이언트에게 제한된 시각영역을 제공하고 영역안에서 일정 영역의 영상을 재생 가능한 시스템으로, 이는 클라이언트에게 영상을 전송할 때 재생되는 시각 영역만큼 그 영상을 압축 전송함으로써 미세한 시점이동까지 컨트롤이 가능하다는 장점이 있다.
도 2를 참조하면, 먼저 스트리밍 데이터 수신에 있어서, 촬영된 파노라마 이미지를 서버에서 클라이언트로 계속하여 획득되는 타일링 된 파노라마 이미지를 시간축으로 정합한 후 수신하여 생성한다.
그리고, 해상도 낮은 전체 화면의 영상 수신에 있어서는 영상 레이어 하단 쪽에 보이는 영상으로 네트워크 속도에 따라 출력되는 타일의 해상도가 다르게 보인다.
그리고, 뷰잉 시점(Viewing point of view)의 타일 영상에 있어서, 네트워크 속도에 따라 영상 중앙에 보이는 타일 영상을 구성한다. 이때, 네트워크 속도가 좋은 경우는 최대 32개 타일 영상으로 구성되며, 속도가 느린 경우는 최소 4개 타일 영상으로 구성된다.
그리고, 해상도 낮은 전체 영상을 배경에 배치하는데 있어서는, 네트워크 속도에 따라 중앙에 위치하는 타일 영상의 수가 다르므로, 전체 영상을 구성하기 위해 중앙을 타일 영상으로 구성하고 여백으로 남은 외각 부분의 영상을 구성하기 위해 전체 영상을 배경에 배치한다.
그리고, 타일 영상 복사에 있어서, 사용자에게 보이는 영상을 구성하기 위해 구(sphere)에 매핑(mapping)하기 전 해상도 낮은 전체 화면 위에 뷰잉 시점(Viewing point of view)의 타일 영상을 합성한다.
마지막으로, 구(sphere)에 텍스처 매핑(texture mapping)에 있어서, 클라이언트에서 사용자에게 보이는 파노라마 영상을 만들기 위해 복사한 해상도 낮은 전체 화면과 뷰잉 시점(Viewing point of view)의 타일 영상을 구(sphere)에 싼다.
이와 같이 제안한 시스템은 클라이언트 단말기로부터 전체 파노라마 영상 중 일정 영역의 영상만을 요청하는 신호가 서버에 입력된다면, 서버에서는 일정 영역의 영상을 클라이언트 단말기로 전송한다.
또한, 클라이언트 단말기에는 시점 이동 기능을 제공하게 되는데, 각 클라이언트 단말기는 자신이 원하는 부분의 타일 영상을 서버로부터 전송받다가 새로운 영역의 영상 보기를 원한다면, 시각 영역이 바뀌었다는 정보를 서버에 전송한다.
그러면, 상기 서버 내의 타일링 된 시각 영역을 클라이언트 단말기가 요청하는 영역의 영상을 전송하게 되는 것이다.
즉, 본 발명은 다중 클라이언트에게 제한된 시각영역을 제공하고 영역 안에서 시점 이동이 가능한 시스템으로, 이는 클라이언트에게 영상을 전송할 때 재생되는 시각 영역만큼 그 영상을 전송함으로써 미세한 시점이동까지 컨트롤이 가능한 장점이 있다.
이때, 도 3에서와 같이 타일 영상이란 타일이란 영상을 작은 단위로 분리한 영상을 의미하는데, 타일링을 하는 목적은 네트워크 속도에 따라 영상 재생시 지연되는 시간을 최소화하기 위해 이용된다.
그래서 타일링의 장점은 클라이언트에서 영상 재생시 속도를 빠르게 하기 위한 목적으로 사용된다.
본 발명은 서버의 압축 부담을 줄이기 위해 파노라마 영상 전체를 압축하여 클라이언트에게 전송하는 것이 아니라, 파노라마 영상 중에서 제한된 일정 크기의 영역만큼을 타일링하여 클라이언트에게 제공하는 것이다.
또한, 클라이언트에게 시점이동 기능을 제공하여 클라이언트는 자신이 원하는 뷰어를 자유롭게 접근할 수 있다.
전체 파노라마 영상을 타일 영상이라는 작은 영상 단위로 잘라 압축한다. 즉, 클라이언트는 서버에게 자신이 원하는 영상을 요청하고 서버는 클라이언트의 요청에 따라 타일 영상을 전송하는 서버와 클라이언트 사이에 상호작용이 가능한 양방향 스트리밍 시스템이다.
이와 같이 본 발명은 파노라마 영상을 타일 단위로 압축하고 서버 클라이언트 간 상호작용 가능한 시스템으로써, 적용가능 분야는 가상현실에서의 멀티미디어 스트리밍 서비스, 사이버 관광시스템, 지역기반의 광고 등에 적용 가능한 파노라마 영상의 스트리밍 방법을 제공한다.
도 4는 본 발명의 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법에서 타일 영상과 전체 영상의 레이어별 구성을 나타낸 개략적인 개념도 이다. 도 4를 참조하면, 타일 영상과 전체 영상을 레이어 별로 구성한 것인데, layer 1과 layer 2는 기존영상 크기를 축소한 영상이며 layer n은 기존영상 또는 전체영상을 의미하는데 총 32개 타일 영상으로 구성된다.
도 5는 본 발명의 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법에서 네트워크 속도에 따라 클라이언트 단말기에서 재생되는 평균 비트율을 나타낸 개략적인 개념도 이다. 도 5를 참조하면, 능동적 적응형 파노라마는 상술한 레이어 설명에서와 같이 네트워크 속도에 따라 여러 레이어의 타일 영상이 존재하는데, 속도를 체크 하여 그중 해당하는 레이어의 타일 영상 크기를 받는다.
그리고 마지막 레이어의 타일 영상을 바탕으로 사용하며 네트워크 속도가 빠른 경우는 이 타일 영상을 원본으로 사용한다.
도 6은 본 발명의 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법에서 파노라마 영상이 스트리밍 서비스되는 과정을 나타낸 개략적인 개념도 이다. 도 6을 참조하면, 능동적 적응형 파노라마의 상세한 설명을 위해 타일 영상과 전체 영상을 합성하여 구에 매핑한 파노라마 영상을 사용자에게 스트리밍 서비스되는 과정을 설명한 것이다.
도 7은 본 발명의 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 시스템을 나타낸 구성도이다. 도 7을 참조하면, 본 발명에 바람직한 실시예에 의한 IPTV 파노라마 영상의 스트리밍 서비스 제공 시스템은 카메라(100), 서버(200) 및 클라이언트 단말기(300)를 포함하는 구성요소로 이루어지며 이를 상세히 설명하면 다음과 같다.
상기 카메라(100)는 영상을 파노라마 형태로 촬영한다.
상기 서버(200)는 영상 입력부(210), 제1영상 변환부(220), 제2영상 변환부(230), 저장부(240) 및 영상 제공부(250)를 구비한다.
상기 영상 입력부(210)는 상기 카메라(100)에 의해 촬영된 파노라마 영상이 파일형태로 입력된다.
상기 제1영상 변환부(220)는 상기 영상 입력부(210)를 통해 입력된 상기 파노라마 영상이 촬영된 시간대별로 각각 분류된다.
상기 제2영상 변환부(230)는 상기 제1영상 변환부(220)에서 촬영된 시간대별로 분류된 각각의 파노라마 영상이 타일링하여 블록 단위로 분리하는 타일 영상을 생성한다.
상기 저장부(240)는 상기 제2영상 변환부(230)에서 생성된 타일 영상이 압축 저장된다.
상기 영상 제공부(250)는 저장부(240)에 압축 저장된 상기 타일 영상을 HTTP(Hyper Text Transfer Protocol)를 통해 적어도 하나 이상의 클라이언트 단말기(300)에 제공한다.
상기 클라이언트 단말기(300)는 상기 서버(200)에서 제공하는 상기 타일 영상을 제공받는다.
이때, 상기 서버와 상기 클라이언트 단말기는 스트리밍(streaming) 서비스를 통해 상기 타일 영상이 제공된다.
그리고, 참고로 IPTV(Internet Protocol Television)는 전파가 아닌 인터넷 서비스망을 통해 방송 프로그램을 비롯한 멀티미디어 콘텐츠를 제공하는 서비스이다.
인터넷망을 이용한다는 점에서 PC를 통해 동영상을 제공하는 기존의 인터넷방송과 유사하다.
또한, 기존 TV와 같이 편성표에 따른 실시간 라이브 방송을 볼 수도 있지만, 인터넷방송처럼 VOD(주문형 비디오)를 즐길 수 있을 뿐 아니라 인터넷에 기반을 둔 다양한 양방향 데이터 서비스가 제공된다.
본 발명에서 제안하는 시스템은 IPTV에서 파노라마 영상을 제공하는 스트리밍 시스템으로, 파노라마 영상을 획득할 수 있는 카메라를 사용하며, 서버는 카메라에 의해 촬영된 영상을 타일링하여 저장한다.
즉, 본 발명에서 제안하는 파노라마 영상의 스트리밍은 카메라로부터 촬영된 파노라마 영상을 생성하고 이를 서비스 해주는 서버와 압축된 파노라마 영상을 풀어 재생하는 클라이언트 단말기로 구성된다.
이때, 서버는 카메라에 의해 촬영된 파노라마 영상 전체를 타일 형태의 영상을 클라이언트가 요청하여 재생되는 시각 영역의 영상만을 선택하여 이를 전송하도록 설계되어 있다.
본 발명은 다중 클라이언트에게 제한된 시각영역을 제공하고 영역안에서 일정 영역의 영상을 재생 가능한 시스템으로, 이는 클라이언트에게 영상을 전송할 때 재생되는 시각 영역만큼 그 영상을 압축 전송함으로써 미세한 시점이동까지 컨트롤할 수 있다는 장점이 있다.
이상에서는 본 발명을 바람직한 실시예에 의거하여 설명하였으나, 본 발명의 기술적 사상은 이에 한정되지 아니하고 청구항에 기재된 범위 내에서 변형이나 변경 실시가 가능함은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명백한 것이며, 그러한 변형이나 변경은 첨부된 특허청구범위에 속한다 할 것이다.
100: 카메라 200: 서버
210: 영상 입력부 220: 제1영상 변환부
230: 제2영상 변환부 240: 저장부
250: 영상 제공부 300: 클라이언트 단말기

Claims (5)

  1. IPTV(Internet Protocol Television)에서 파노라마 영상의 스트리밍 서비스를 제공하는 방법에 있어서,
    a) 카메라의 의해 촬영된 파노라마 영상이 파일형태로 서버에 입력되는 파노라마 영상 입력 단계;
    b) 상기 서버에 입력된 상기 파일형태의 파노라마 영상이 촬영된 시간대별로 분류되는 파노라마 영상 시간대별 분류 단계;
    c) 상기 촬영된 시간대별로 분류된 각각의 파노라마 영상을 타일링하여 블록 단위로 분리하는 타일 영상 생성 단계;
    d) 상기 각각의 타일 영상이 압축되어 상기 서버에 저장되는 타일 영상 저장 단계; 및
    e) 상기 서버에 압축 저장된 상기 타일 영상이 HTTP(Hyper Text Transfer Protocol)를 통해 적어도 하나 이상의 클라이언트 단말기에 제공되는 타일 영상 제공 단계를 포함하는 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 서버와 상기 클라이언트 단말기는 스트리밍(streaming) 서비스를 통해 상기 타일 영상이 제공되는 것을 특징으로 하는 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법.
  3. 제1항에 있어서,
    상기 타일 영상 제공단계는,
    상기 클라이언트 단말기에 의해 특정 시간대와, 상기 특정 시간대 내의 특정 화면 영역(Viewing point of view)이 촬영된 파노라마 영상의 제공이 요청되면,
    상기 서버에 저장된 상기 각각의 타일 영상 중 상기 클라이언트 단말기에 의해 요청된 상기 특정 시간대와 상기 특정 시간대 내의 특정 화면 영역(Viewing point of view)의 영상이 상기 클라이언트 단말기에 제공되는 것을 특징으로 하는 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법.
  4. 제3항에 있어서,
    상기 서버에서 상기 클라이언트 단말기로 상기 특정 시간대와 상기 특정 시간대 내의 특정 화면 영역(Viewing point of view) 영상의 제공은,
    상기 특정 시간대의 저 해상도 전체화면 영상과, 상기 특정 화면 영역(Viewing point of view)의 타일 영상이 각각 분리되는 단계;
    상기 저 해상도의 전체화면 영상이 상기 클라이언트 단말기에 배경화면으로 배치되어 디스플레이되는 단계;
    상기 클라이언트 단말기에 배경화면으로 디스플레이된 상기 저 해상도의 전체화면 영상에 상기 타일 영상이 합성되는 단계; 및
    상기 합성 영상이 파노라마 영상으로 상기 클라이언트 단말기에 디스플레이되는 것을 가능하게 상기 합성 영상이 구(sphere)에 텍스처 매핑(texture mapping) 되는 단계를 포함하는 것을 특징으로 하는 IPTV 파노라마 영상의 스트리밍 서비스 제공 방법.
  5. IPTV(Internet Protocol Television)에서 파노라마 영상의 스트리밍 서비스를 제공하는 시스템에 있어서,
    파노라마 형태로 영상이 촬영되는 카메라;
    상기 카메라에 의해 촬영된 파노라마 영상이 파일형태로 입력되는 영상 입력부와, 상기 영상 입력부를 통해 입력된 상기 파노라마 영상이 촬영된 시간대별로 각각 분류되는 제1영상 변환부와, 상기 제1영상 변환부에서 촬영된 시간대별로 분류된 각각의 파노라마 영상이 타일링하여 블록 단위로 분리하는 타일 영상을 생성하는 제2영상 변환부와, 상기 제2영상 변환부에서 생성된 타일 영상이 압축 저장되는 저장부와, 상기 저장부에 압축 저장된 상기 타일 영상을 HTTP(Hyper Text Transfer Protocol)를 통해 적어도 하나 이상의 하기 클라이언트 단말기에 제공하는 영상 제공부를 구비하는 서버; 및
    상기 서버에서 제공하는 상기 타일 영상을 제공받는 클라이언트 단말기를 포함하는 IPTV 파노라마 영상의 스트리밍 서비스 제공 시스템.
KR1020110051455A 2011-05-30 2011-05-30 Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템 KR20120133006A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110051455A KR20120133006A (ko) 2011-05-30 2011-05-30 Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110051455A KR20120133006A (ko) 2011-05-30 2011-05-30 Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템

Publications (1)

Publication Number Publication Date
KR20120133006A true KR20120133006A (ko) 2012-12-10

Family

ID=47516446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110051455A KR20120133006A (ko) 2011-05-30 2011-05-30 Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템

Country Status (1)

Country Link
KR (1) KR20120133006A (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101528863B1 (ko) * 2013-09-10 2015-06-16 (주)포스트미디어 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
KR20160045994A (ko) * 2014-10-17 2016-04-28 주식회사 케이티 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템
CN105631809A (zh) * 2015-12-31 2016-06-01 北京理工大学 一种非均匀分辨率球面全景图生成方法
KR20170006588A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 셋톱 박스에서 고화질 파노라마를 제공하는 방법, 디바이스 및 시스템
WO2017138776A1 (ko) * 2016-02-12 2017-08-17 삼성전자 주식회사 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
EP3095030A4 (en) * 2014-01-15 2017-10-18 Avigilon Corporation Streaming multiple encodings encoded using different encoding parameters
US10482672B2 (en) 2017-02-15 2019-11-19 Samsung Electronics Co., Ltd. Electronic device and method for transmitting and receiving image data in electronic device
WO2019235904A1 (ko) * 2018-06-08 2019-12-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
CN115379244A (zh) * 2016-05-16 2022-11-22 谷歌有限责任公司 360度视频回放空间增强自适应比特率直播流送方法和装置
US12034984B2 (en) 2023-02-17 2024-07-09 Google Llc Method and apparatus for a virtual online video channel

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101528863B1 (ko) * 2013-09-10 2015-06-16 (주)포스트미디어 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
US11228764B2 (en) 2014-01-15 2022-01-18 Avigilon Corporation Streaming multiple encodings encoded using different encoding parameters
US10567765B2 (en) 2014-01-15 2020-02-18 Avigilon Corporation Streaming multiple encodings with virtual stream identifiers
EP3095030A4 (en) * 2014-01-15 2017-10-18 Avigilon Corporation Streaming multiple encodings encoded using different encoding parameters
KR20160045994A (ko) * 2014-10-17 2016-04-28 주식회사 케이티 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템
KR20170006588A (ko) * 2015-07-08 2017-01-18 주식회사 케이티 셋톱 박스에서 고화질 파노라마를 제공하는 방법, 디바이스 및 시스템
US10129606B2 (en) 2015-07-08 2018-11-13 Kt Corporation Facilitating high-definition panoramic videos
CN105631809B (zh) * 2015-12-31 2018-11-06 北京理工大学 一种非均匀分辨率球面全景图生成方法
CN105631809A (zh) * 2015-12-31 2016-06-01 北京理工大学 一种非均匀分辨率球面全景图生成方法
CN108605090A (zh) * 2016-02-12 2018-09-28 三星电子株式会社 用于支持通信系统中的vr内容显示的方法
WO2017138776A1 (ko) * 2016-02-12 2017-08-17 삼성전자 주식회사 통신 시스템에서 vr 컨텐트 디스플레이를 지원하는 기법
US10609412B2 (en) 2016-02-12 2020-03-31 Samsung Electronics Co., Ltd. Method for supporting VR content display in communication system
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
US10880535B2 (en) 2016-02-17 2020-12-29 Lg Electronics Inc. Method for transmitting 360 video, method for receiving 360 video, apparatus for transmitting 360 video, and apparatus for receiving 360 video
CN115379244B (zh) * 2016-05-16 2024-01-30 谷歌有限责任公司 360度视频回放空间增强自适应比特率直播流送方法和装置
CN115379244A (zh) * 2016-05-16 2022-11-22 谷歌有限责任公司 360度视频回放空间增强自适应比特率直播流送方法和装置
US10482672B2 (en) 2017-02-15 2019-11-19 Samsung Electronics Co., Ltd. Electronic device and method for transmitting and receiving image data in electronic device
US11012657B2 (en) 2018-06-08 2021-05-18 Lg Electronics Inc. Method for processing overlay in 360-degree video system and apparatus for the same
WO2019235904A1 (ko) * 2018-06-08 2019-12-12 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US12034984B2 (en) 2023-02-17 2024-07-09 Google Llc Method and apparatus for a virtual online video channel

Similar Documents

Publication Publication Date Title
KR20120133006A (ko) Ｉｐｔｖ 파노라마 영상의 스트리밍 서비스 제공 방법 및 그 서비스 제공 시스템
US11330311B2 (en) Transmission device, transmission method, receiving device, and receiving method for rendering a multi-image-arrangement distribution service
US11711588B2 (en) Video delivery
Gaddam et al. Tiling in interactive panoramic video: Approaches and evaluation
EP2517121B1 (en) Audio splitting with codec-enforced frame sizes
CN103843301B (zh) 经译码多媒体数据的网络串流期间的表示之间的切换
KR101528863B1 (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
EP3679717A1 (en) Personalized content streams using aligned encoded content segments
KR101282955B1 (ko) 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법
CN103916699A (zh) 用于使用mvc产生360度视频记录的系统及方法
WO1998006045A1 (en) Method and system for encoding movies, panoramas and large images for on-line interactive viewing and gazing
US10931930B2 (en) Methods and apparatus for immersive media content overlays
JP7035088B2 (ja) 魚眼ビデオデータのための高レベルシグナリング
KR20150072231A (ko) 멀티 앵글 뷰 서비스 제공 장치 및 방법
KR101861929B1 (ko) 관심 영역을 고려한 가상 현실 서비스 제공
JP2019083555A (ja) 情報処理装置、コンテンツ要求方法およびコンピュータプログラム
Angelides et al. The handbook of MPEG applications: standards in practice
WO2018142946A1 (ja) 情報処理装置および方法
KR102090070B1 (ko) 스트리밍 서버, 클라이언트 단말 및 이를 이용한 av 라이브 스트리밍 시스템
JP5941000B2 (ja) 映像配信装置及び映像配信方法
EP3398346A1 (en) Video streams
JP6632550B2 (ja) タイムピリオドにまたがってオブジェクトを識別する方法および対応デバイス
US20200014740A1 (en) Tile stream selection for mobile bandwith optimization
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
CN115174942A (zh) 一种自由视角切换方法及交互式自由视角播放系统

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application