KR102166054B1 - 네트워크로부터 전송되는 스트리밍 영상을 재생하는 방법 및 장치 - Google Patents

네트워크로부터 전송되는 스트리밍 영상을 재생하는 방법 및 장치 Download PDF

Info

Publication number
KR102166054B1
KR102166054B1 KR1020190033134A KR20190033134A KR102166054B1 KR 102166054 B1 KR102166054 B1 KR 102166054B1 KR 1020190033134 A KR1020190033134 A KR 1020190033134A KR 20190033134 A KR20190033134 A KR 20190033134A KR 102166054 B1 KR102166054 B1 KR 102166054B1
Authority
KR
South Korea
Prior art keywords
image
quality
streaming
video
information
Prior art date
Application number
KR1020190033134A
Other languages
English (en)
Other versions
KR20200112518A (ko
Inventor
이영기
박용현
배주한
임정연
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020190033134A priority Critical patent/KR102166054B1/ko
Publication of KR20200112518A publication Critical patent/KR20200112518A/ko
Application granted granted Critical
Publication of KR102166054B1 publication Critical patent/KR102166054B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 실시예는, 네트워크로부터 전송되는 스트리밍 영상(Streaming Video)을 재생하는 장치에 있어서, 상기 네트워크에 연결된 스트리밍 서버가 제공 가능한 영상에 대한 정보를 획득하는 영상정보 획득부; 디스플레이 중인 영상에 대한 줌 배율을 획득하고 상기 줌 배율이 기설정 크기에 도달하는 경우 상기 줌 배율에 해당하는 화질선택 명령을 생성하고 상기 정보에 기초하여 상기 화질선택 명령에 상응하도록 상기 디스플레이 중인 영상의 화질과 다른 화질의 영상을 상기 스트리밍 서버에게 요청하는 영상요청부; 상기 스트리밍 서버로부터 상기 요청에 대응하는 상기 다른 화질의 영상을 수신하는 영상수신부; 및 상기 다른 화질의 영상을 복호화하여 재생하는 영상재생부를 포함하는 스트리밍 영상 재생 장치를 제공한다.

Description

네트워크로부터 전송되는 스트리밍 영상을 재생하는 방법 및 장치{Method and Apparatus for Displaying Streaming Video Transmitted from Network}
본 실시예는 네트워크로부터 전송되는 스트리밍 영상을 재생하는 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
온라인으로 중계되는 스포츠 경기를 사용자가 단말기를 이용하여 시청하는 경우, 단말기의 화면 크기는 제한적인 데 비해 전체 경기장의 크기는 매우 크기 때문에 하나의 중계 화면에 전체 경기장의 모습을 모두 담는 경우에는 단말기 상에서 경기장의 자세한 모습, 예컨대 선수들의 동작, 표정 등을 화면 상으로는 자세히 볼 수 없는 것이 일반적이다.
만일, 경기장 내 특정 선수 또는 특정 위치의 모습을 단말기로 자세히 식별 가능하도록 해당 위치가 확대되어 단말기 화면으로 중계되는 경우에, 사용자가 동일 시점에 경기장 내 다른 위치에서 경기 중인 선수의 모습을 확인하고자 하는 경우에 해당 단말기 화면으로는 확인할 수 없다.
예컨대, A 선수의 경기장면이 고화질로 확대되어 단말기 화면으로 중계된 후에 단말기 사용자가 A 선수의 주요장면이 중계된 시점과 동일한 시점의 B 선수의 경기장면을 시청하려면 A 선수의 주요장면이 중계된 시점과 동일한 시점의 B 선수의 경기장면이 고화질로 확대되어 촬영된 중계영상을 단말기로 별도로 송출해줘야 해당 시점의 B 선수의 경기장면에 대한 시청이 가능하다.
따라서, 한정된 화면 크기를 갖는 단말기 상에서 고화질 영상 시청에 따르는 위와 같은 문제점을 해소하기 위하여, 시청자가 선택한 디스플레이 위치 또는 대상의 장면을 고화질로 확대하여 시청할 수 있는 방법이 필요하다.
본 실시예는 네트워크로부터 전송되는 스트리밍 영상을 재생함에 있어서 사용자가 원하는 영상의 위치와 화질을 선택하여 제공하는 것을 목적으로 한다.
본 발명의 실시예에 의하면, 네트워크로부터 전송되는 스트리밍 영상(Streaming Video)을 재생하는 장치에 있어서, 상기 네트워크에 연결된 스트리밍 서버가 제공 가능한 영상에 대한 정보를 획득하는 영상정보 획득부; 디스플레이 중인 영상에 대한 줌 배율을 획득하고 상기 줌 배율이 기설정 크기에 도달하는 경우 상기 줌 배율에 해당하는 화질선택 명령을 생성하고 상기 정보에 기초하여 상기 화질선택 명령에 상응하도록 상기 디스플레이 중인 영상의 화질과 다른 화질의 영상을 상기 스트리밍 서버에게 요청하는 영상요청부; 상기 스트리밍 서버로부터 상기 요청에 대응하는 상기 다른 화질의 영상을 수신하는 영상수신부; 및 상기 다른 화질의 영상을 복호화하여 재생하는 영상재생부를 포함하는 스트리밍 영상 재생 장치를 제공한다.
본 발명의 다른 실시예에 의하면, 네트워크로부터 전송되는 스트리밍 영상(Streaming Video)을 재생하는 방법에 있어서, 상기 네트워크에 연결된 스트리밍 서버가 제공 가능한 영상에 대한 정보를 획득하는 영상정보 획득과정; 디스플레이 중인 영상에 대한 줌 배율을 획득하고 상기 줌 배율이 기설정 크기에 도달하는 경우 상기 줌 배율에 해당하는 화질선택 명령을 생성하는 과정; 상기 정보에 기초하여 상기 화질선택 명령에 상응하도록 상기 디스플레이 중인 영상의 화질과 다른 화질의 영상을 상기 스트리밍 서버에게 요청하는 영상 요청과정; 상기 스트리밍 서버로부터 상기 요청에 대응하는 상기 다른 화질의 영상을 수신하는 영상 수신과정; 및 상기 다른 화질의 영상을 복호화하여 재생하는 영상 재생과정을 포함하는 스트리밍 영상 재생 방법을 제공한다.
본 발명의 또다른 실시예에 의하면, 데이터 처리 기기에, 네트워크에 연결된 스트리밍 서버가 제공 가능한 영상에 대한 정보를 획득하는 영상정보 획득과정; 디스플레이 중인 영상에 대한 줌 배율을 획득하고 상기 줌 배율이 기설정 크기에 도달하는 경우 상기 줌 배율에 해당하는 화질선택 명령을 생성하는 과정; 상기 정보에 기초하여 상기 화질선택 명령에 상응하도록 상기 디스플레이 중인 영상의 화질과 다른 화질의 영상을 상기 스트리밍 서버에게 요청하는 영상 요청과정; 상기 스트리밍 서버로부터 상기 요청에 대응하는 상기 다른 화질의 영상을 수신하는 영상 수신과정; 및 상기 다른 화질의 영상을 복호화하여 재생하는 영상 재생과정을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명은, 온라인으로 방송되는 특정 촬영대상의 영상에 대하여 촬영대상 전체를 한 화면에 시청하면서도, 시청자의 선택에 의해 시청자가 원하는 시간 또는 촬영대상 내 원하는 위치의 주요장면으로 자유롭게 이동하며 시청 가능하게 함으로써 종래의 온라인 방송과 차별화된 서비스와 고객경험을 제공하는 효과가 있다.
도 1은 본 실시예에 따른 스트리밍영상 서비스 시스템의 전체 구성도를 도시한 도면이다.
도 2는 HEVC 타일 구조로 부호화된 영상을 예시한 도면이다.
도 3은 고화질 부호화 영상 및 저화질 부호화 영상을 각각 예시한 도면이다.
도 4는 본 실시예에 따른 스트리밍 서버를 도시한 도면이다.
도 5는 본 실시예에 따른 스트리밍영상 재생장치의 전체 구성도를 도시한 도면이다.
도 6은 영상스트림 생성부에서 생성되는 부호화 영상 세그먼트의 예를 도시한 도면이다.
도 7은 스트리밍 영상의 전체 재생 크기와 디스플레이 장치에서 재생 가능한 크기에 따라 복호화되는 스트리밍 영상의 영역을 도시한 도면이다.
도 8의 (a)는 사용자가 터치스크린을 이용하여 디스플레이 위치를 재설정하기 전의 상태를 나타낸 도면이고, 도 8의 (b)는 터치스크린을 이용하여 디스플레이 위치가 재설정된 후의 디스플레이 위치를 도시한 도면이다.
도 9는 사용자가 터치스크린을 이용하여 서비스 화질을 확대하고자 하는 경우의 서비스 화질의 변화를 예시한 도면이다.
도 10은 어느 한 단말장치에서 스트리밍 서비스 대상으로 선택된 부호화 영상의 화질의 변화에 따라 해당 단말장치로 전송되는 영상 세그먼트가 달라지는 예를 도시한 도면이다.
도 11은 본 실시예에 따른 스트리밍 영상 재생 방법을 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 실시예에 따른 스트리밍영상 서비스 시스템의 전체 구성도를 도시한 도면이다.
도 1에 도시한 바와 같이 스트리밍 영상 서비스 시스템(100)은 복수의 카메라(101, 102, 103), 음향수신부(120), 영상 스티칭부(Image Stitching Unit)(130), 영상스트림 생성부(140), 스트리밍 서버(150), 네트워크(160) 및 단말장치(170)를 포함한다.
본 실시예에서, 영상 스트리밍 서비스의 대상이 스포츠 경기인 것으로 예를 들어 설명하나, 이에 한정되지 않고 다양한 대상을 촬영하여 영상 스트리밍 서비스를 제공하는 것에 적용 가능하다.
복수의 카메라(101, 102, 103)는 중계현장, 예컨대 스포츠 경기장에서 각각 고화질의 영상을 생성한다. 복수의 카메라(101, 102, 103)는 스포츠 경기장의 예컨대 좌측, 중앙 및 우측 영상을 촬영하여 좌측 고화질 영상, 중앙 고화질 영상 및 우측 고화질 영상을 생성한다.
음향수신부(120)는 스포츠 경기 중계 과정에서 발생하는 음향을 수신한다. 여기서 수신되는 음향신호는 경기장에서 발생하는 관중의 소리, 음원도구의 음향, 선수들의 음성 및 중계방송 아나운서의 음성 등일 수 있다.
영상 스티칭부(130)는 복수의 카메라(101, 102, 103) 각각에서 촬영된 고화질 영상을 전달받아 서로 동기화하고 하나의 고화질 영상으로 합성하여 스티칭된(Stitched) 영상을 생성한다. 또한, 영상 스티칭부(130)는 스티칭된 영상과 그에 대응하는 음향신호를 동기화한다.
한편, 본 실시예에서, 촬영된 영상과 그에 대응하는 음향신호를 동기화하는 시점은 스티칭된 영상을 생성한 후인 것으로 한정되지는 않으며, 이하에서 설명하는 스티칭된 영상에 대한 부호화 영상의 생성 시 등 다양한 시점에서 동기화가 가능하다. 또한, 본 실시예는 영상의 화질 변환에 따른 영상 스트리밍 서비스 방법에 관한 것이 핵심이므로 이하에서 음향신호에 대한 추가의 설명은 생략한다.
영상스트림 생성부(140)는 스티칭된 영상을 수신하여 서로 다른 복수개의 비트레이트(bit rate)로 부호화하여 각각 서로 다른 비트레이트를 갖는 복수개의 부호화 영상을 생성한다. 여기서 영상스트림 생성부(140)는 HEVC(High Efficiency Video Codec)를 이용하여 부호화 가능하나 본 발명이 이에 한정되지는 않는다.
만일, 영상 스티칭부(130)에서 스티칭된 영상이 고화질 영상인 경우, 영상스트림 생성부(140)가 생성하는 복수개의 부호화 영상은 각각 고화질로 부호화된 영상, 저화질로 부호화된 영상, 표준화질로 부호화된 영상일 수 있다.
여기서, 고화질로 부호화된 영상은 영상 스티칭부(130)에서 스티칭된 고화질 영상이 부호화된 것이고, 표준화질로 부호화된 영상은 고화질로 부호화된 영상보다 더 낮은 해상도로 다운 스케일링(down-scaling)되어 부호화된 영상이고, 저화질로 부호화된 영상은 표준화질로 부호화된 영상보다 더 낮은 해상도로 다운 스케일링되어 부호화된 영상을 의미한다. 예컨대, 고화질로 부호화된 영상은 4K(4096×2160) 해상도의 부호화영상을 의미하고, 표준화질로 부호화된 영상은 2048×1080 해상도의 부호화영상을 의미하고, 저화질로 부호화된 영상은 1280×720 해상도의 부호화영상을 의미한다.
영상스트림 생성부(140)는 복수개의 부호화 영상 각각에 대해 타일(tile) 구조로 분할된 형태로 부호화하도록 구현 가능하다.
여기서, 타일은 데이터 처리 단위를 의미하는데, 최대 부호화 단위인 코딩 트리 블록(CTB: Coding Tree Block)들의 집합으로서, 타일 내에는 가로 m개 및 세로 n개의 코딩트리 블록이 존재한다. 여기서, m 및 n은 서로 같을 수도 있고 서로 다를 수도 있다.
도 2는 HEVC 타일 구조로 부호화된 영상을 예시한 도면이다.
영상스트림 생성부(140)는 도 2의 (a)에 도시한 바와 같이 하나의 부호화 영상을 가로(열) 3개, 세로(행) 1개의 타일을 갖는 형태가 되도록 구현하거나 도 2의 (b)에 도시한 바와 같이 가로 3개, 세로 2개의 타일을 갖는 형태가 되도록 구현할 수 있다. 본 실시예는, 부호화 영상을 생성함에 있어서, 도 2의 (a)의 3×1 타일 구조 및 도 2의 (b)의 3×2 타일 구조에 한정되지 않고 다양한 형태의 타일 구조로 생성 가능하다.
부호화 영상 내의 타일 구조와 관련된 정보들은 비디오 파라미터 셋(VPS: Video Parameter Set), 시퀀스 파라미터 셋(SPS: Sequence Parameter Set), 픽처 파라미터 셋(PPS: Picture Parameter Set) 또는 이들의 확장 데이터 등 다양한 형태의 헤더 정보에 포함되어 단말장치(170)에게 전송될 수 있다.
또한, 헤더정보는, 각 타일이 다른 타일의 참조 영상을 참조하지 않고 예측 부호화됨을 나타내는 정보를 포함할 수 있다.
예컨대, PPS 헤더에, 예컨대 타일 간 루프 필터링 적용 여부를 나타내는 플래그로서 loop_filter_across_tiles_enabled_flag라는 플래그가 포함될 수 있다.
loop_filter_across_tiles_enabled_flag는 해당 픽처에서 타일 경계를 가로지르는 인-루프(in-loop) 필터가 적용될 수 있는지 여부를 나타낸다. 인-루프 필터는 복원된 픽처에 적용하는 필터로서, 부호화 영상의 출력을 위하여 사용되며, 디블록킹(deblocking) 필터 및 SAO(Sample Adaptive Offset) 필터가 인-루프 필터에 포함된다.
예를 들어, loop_filter_across_tiles_enabled_flag 플래그 값이 1일 경우, 해당 PPS를 참조하는 픽처들에 대해 타일 경계를 가로지르는 인-루프 필터링이 수행됨을 나타내고, 이 플래그 값이 0일 경우에는, 해당 PPS를 참조하는 픽처들에 대해 타일 경계를 가로지르는 인-루프 필터링이 허용되지 않음을 나타낸다.
또한, 타일 단위의 부호화 시에 하나의 타일 내의 코딩 트리 블록을 인터 예측(inter-prediction)하기 위하여 참조 픽처(reference picture)를 참조하는 경우, 부호화하고자 하는 자기 자신의 타일 위치와 같은 위치의 참조 픽처 내 타일 데이터 이외의 다른 타일의 데이터의 참조를 배제하여 부호화할 수도 있고, 참조 픽처 내에서 자기 자신의 타일 위치와 다른 타일의 데이터를 참조하는 것을 배제하지 않고 부호화할 수도 있다.
예컨대, 도 2의 (a)와 같은 타일 구조를 갖는 부호화 영상에서, 타일2 내의 코딩 트리 블록을 인터예측하는 경우, 참조 픽처 내에서 타일2 위치와 같은 위치의 타일에 존재하는 데이터만 참조하도록 구현하거나, 타일2 위치와 다른 위치의 타일인 타일1 또는 타일3의 위치에 존재하는 데이터도 참조 가능하도록 구현할 수 있다.
본 실시예에서, 별도의 설명이 없는 한 영상스트림 생성부(140)가 복수개의 부호화 영상으로서 고화질, 표준화질 및 저화질의 3 단계의 화질 영상을 각각 부호화하는 것을 예로 들어 설명하나 본 발명이 이에 한정되지는 않으며, 고화질 및 저화질의 2 단계 화질 영상의 부호화 등 다양한 해상도의 화질 단계를 갖는 영상으로 부호화하는 것이 가능하다.
도 3은 고화질 부호화 영상 및 저화질 부호화 영상을 각각 예시한 도면이다.
도 3에 도시한 바와 같이, 스트리밍 영상 서비스 시스템(100)이 2단계 화질 서비스를 제공하는 것으로 구현된 경우, 영상스트림 생성부(140)는 스티칭된 고화질 영상(301)을 이용하여 복수개의 부호화 영상으로서 고화질 부호화 영상(302), 저화질 부호화 영상(303)을 각각 생성한다.
스트리밍 서버(150)는 네트워크(160)에 연결된 단말장치(170)로부터 서비스 요청 메시지를 수신하고 서비스 요청 메시지에 포함된 단말장치(170)의 서비스화질에 따라 복수개의 부호화 영상 중 하나를 네트워크(160)를 이용하여 단말장치(170)에게 스트리밍 영상으로서 전송한다. 또한, 스트리밍 서버(150)는 스트리밍 영상과 함께 헤더(header) 정보도 단말장치(170)에게 전송한다.
스트리밍 서버(150)가 복수개의 부호화 영상 중 하나를 단말장치(170)에게 스트리밍전송하는 방식으로는 대표적으로 DASH(Dynamic Adaptive Streaming over HTTP)를 사용할 수 있다. 이하, 본 실시예에서 DASH를 사용하여 부호화 영상을 스트리밍하는 것으로 설명하나, 본 발명은 이에 한정되지 않고 다양한 방법을 사용할 수 있다.
도 4는 본 실시예에 따른 스트리밍 서버를 도시한 도면이다.
본 실시예에 따른 스트리밍 서버(150)는 접근정보 생성부(410), 화질정보 수신부(420) 및 영상송출부(430)를 포함한다.
접근정보 생성부(410)는 네트워크(160)에 연결된 단말장치(170)로부터 서비스 요청 메시지를 수신하고 수신된 서비스 요청 메시지에 기초하여 복수개의 부호화 영상에 대한 접근 정보를 생성하여 단말장치(170)에게 전송한다.
접근정보 생성부(410)는 단말장치(170)로부터 서비스 요청 메시지를 수신한 경우, 복수개의 부호화 영상에 대한 접근 정보로서 멀티미디어 프리젠테이션 디스크립션(Multimedia Presentation Description: MPD)을 정의하여 단말장치(170)에게 전송한다.
멀티미디어 프리젠테이션 디스크립션 정보는 제공 가능한 부호화 영상의 화질 정보 및 해당 부호화 영상의 URL 주소 등의 영상 프로파일 정보를 포함한다.
단말장치(170)는 스트리밍 서버(150)로부터 전달받은 멀티미디어 프리젠테이션 디스크립션을 기반으로 네트워크 환경, 단말장치 사양 및 사용자의 화질 선택 정보 등에 따라 부호화 영상에 대한 적응적 스트리밍(adaptive streaming)을 제공받을 수 있다.
화질정보 수신부(420)는 단말장치(170)로부터 전송된 화질 선택정보 정보를 획득한다.
단말장치(170)가 스트리밍 서버(150)로부터 영상 스트리밍 서비스를 제공받기 위하여 스트리밍 서버(150)에 접속된 경우에, 단말장치(170)는 네트워크 환경, 단말장치 사양 및 사용자의 화질 선택 정보 등에 따라 선택된 서비스 화질의 부호화 영상을 요청하는 메시지를 화질정보 수신부(420)에게 전송한다.
영상송출부(430)는 단말장치(170)로부터 요청받은 서비스 화질의 부호화 영상을 네트워크(160)를 경유하여 단말장치(170)에게 전송한다.
도 5는 본 실시예에 따른 스트리밍영상 재생장치를 도시한 도면이다.
도 5의 본 실시예에 따른 스트리밍영상 재생장치(500)는 도 1의 단말장치(170)를 구현한 예이다.
본 실시예에 따른 스트리밍영상 재생장치(500)는 서비스 요청부(510), 영상정보 획득부(520), 영상요청부(530), 영상수신부(540), 헤더정보 수신부(550), 영상재생부(560), 사용자 인터페이스(570), 디스플레이 위치설정부(580) 및 화질설정부(590)를 포함한다. 여기서, 도 5에 도시된 스트리밍영상 재생장치(500)의 구성요소는 모두가 필수 구성요소는 아니며 일부 구성요소는 생략되어 구현되거나 도시되지 않은 다른 구성요소를 추가하여 구현될 수도 있다.
스트리밍영상 재생장치(500)가 영상 스트리밍 서비스를 제공받기 위하여 스트리밍 서버(150)에 연결된 경우, 서비스 요청부(510)는 네트워크 환경, 단말장치 사양에 따라 서비스 가능 화질을 결정하고 결정된 서비스 가능 화질 정보를 포함하는 서비스 요청 메시지를 스트리밍 서버(150)에게 전송한다.
서비스 요청부(510)가 서비스 요청 메시지를 스트리밍 서버(150)에게 전송한 경우, 스트리밍 서버(150)는 서비스 요청 메시지에 포함된 서비스 가능 화질 정보에 대응하여 스트리밍 영상으로서 제공 가능 화질을 갖는 부호화 영상에 대한 접근 정보를 스트리밍영상 재생장치(500)에게 전송한다.
영상정보 획득부(520)는 스트리밍 서버(150)로부터 제공 가능 화질의 부호화 영상에 대한 접근 정보를 획득한다.
여기서, 부호화 영상에 대한 접근 정보는 스트리밍 서비스 가능한 화질을 갖는 복수개의 부호화 영상의 세그먼트에 대한 정보를 포함하며, 스트리밍 서버(150)는 부호화 영상에 대한 접근 정보로서 멀티미디어 프리젠테이션 디스크립션을 정의하여 스트리밍영상 재생장치(500)에게 전송한다.
멀티미디어 프리젠테이션 디스크립션 정보는 서비스 제공 가능 부호화 영상 세그먼트에 대한 화질 정보 및 부호화 영상 세그먼트의 URL(Uniform Resource Locator) 주소 등의 정보를 포함한다.
도 6은 영상스트림 생성부에서 생성되는 부호화 영상 세그먼트의 예를 도시한 도면이다.
도 6에 도시한 바와 같이 각 화질의 부호화 영상은 영상 세그먼트 단위로 나뉘며, 하나의 영상 세그먼트는 일정 시간 단위 동안 생성된 하나 이상의 부호화 영상 픽처를 의미한다. 예컨대, 하나의 영상 세그먼트는, 2초 동안 생성된 부호화 영상 픽처들의 집합 또는 기설정 개수의 부호화 영상 픽처의 집합 등 실시예에 따라 다양하게 정의될 수 있다.
영상요청부(530)는 서비스 대상 화질 정보에 해당하는 화질의 영상을 요청하는 영상요청 메시지를 스트리밍 서버(150)에게 요청한다.
여기서, 서비스 대상 화질 정보는, 스트리밍영상 재생장치(500)가 스트리밍 서버(150)에 최초 접속된 경우에는 네트워크 환경 및 스트리밍영상 재생장치(500)의 디스플레이 사양에 따라 결정되거나, 기설정 화질, 예컨대, 서비스 가능 화질 중에서 최저 화질에 해당하는 저화질로서 결정될 수도 있다.
스트리밍 서비스가 제공되는 도중에 사용자의 선택에 의하여 서비스 대상 화질이 변화되는 경우에 대해서는 후술한다.
영상수신부(540)는 영상요청부(530)가 요청한 서비스 화질의 스트리밍 영상을 스트리밍 서버(150)로부터 수신한다.
헤더정보 수신부(550)는 스트리밍 영상과 함께 전송되는 헤더 정보를 수신한다.
헤더 정보에는 스트리밍 영상의 각 픽처가 부호화됨에 있어서 타일 단위로 영역이 나뉘어 부호화되는지 여부를 나타내는 정보를 포함하는데, 예컨대, PPS에 포함되는 tiles_enabled_flag 플래그가 이에 해당한다. 예를 들어, tiles_enabled_flag 플래그 값이 1이면 각 픽처가 타일 단위로 영역이 나뉘어 부호화됨을 나타내고, tiles_enabled_flag 플래그 값이 0이면 각 픽처가 타일 단위로 영역이 나뉘지 않고 부호화됨을 나타낸다.
전술하였듯이, 헤더정보는, 스트리밍 영상의 타일 구조에 대한 정보를 포함할 수 있다. 또한, 헤더정보는, 각 타일이 다른 위치의 타일의 참조 영상을 참조하지 않고 예측 부호화됨을 나타내는 부호화정보를 포함할 수 있다. 전술하였듯이, PPS 헤더에, 타일 간 루프 필터링 적용 여부를 나타내는 플래그로서 loop_filter_across_tiles_enabled_flag라는 플래그가 포함될 수 있다.
영상재생부(560)는 헤더 정보에 포함된 tiles_enabled_flag 플래그 및 부호화 영상 내의 타일 구조와 관련된 정보에 따라 부호화 영상을 타일 단위로 분할하여 복호화하며, loop_filter_across_tiles_enabled_flag 플래그 값에 따라 타일 경계를 가로지르는 인-루프 필터링을 선택적으로 수행한다.
예를 들어, loop_filter_across_tiles_enabled_flag 플래그 값이 1일 경우, 해당 PPS를 참조하는 픽처들에 대해 타일 경계를 가로지르는 인-루프 필터링이 수행될 수 있음을 나타내고, 이 플래그 값이 0일 경우에는, 해당 PPS를 참조하는 픽처들에 대해 타일 경계를 가로지르는 인-루프 필터링이 허용되지 않음을 나타낸다.
영상재생부(560)는 헤더정보 수신부(550)가 수신한 헤더 정보를 참조하여 영상수신부(540)가 수신한 스트리밍 영상을 복호화하여 디스플레이 장치(미도시)에 디스플레이한다.
영상재생부(560)는 헤더 정보에 포함된 tiles_enabled_flag 플래그 및 부호화 영상 내의 타일 구조와 관련된 정보에 따라 스트리밍 영상을 타일 단위로 분할하여 복호화한다. 예를 들어, tiles_enabled_flag 플래그 값이 1이면 영상재생부(560)는 스트리밍 영상을 타일 단위로 분할하여 복호화하며, tiles_enabled_flag 플래그 값이 0이면, 영상재생부(560)는 스트리밍 영상을 타일 단위로 분할하지 않고 복호화한다.
영상재생부(560)는, 수신된 스트리밍 영상의 전체 재생 크기와 스트리밍영상 재생장치(500)의 디스플레이 장치에서 재생 가능한 크기를 비교한 결과에 따라, 스트리밍 영상 내의 일부 부호화 영역에 해당하는 비트스트림을 제외한 나머지 영역의 비트스트림을 복호화하여 재생한다.
도 7은 스트리밍 영상의 전체 재생 크기와 디스플레이 장치에서 재생 가능한 크기에 따라 복호화되는 스트리밍 영상의 영역을 도시한 도면이다.
도 7의 (a)에 도시한 바와 같이 스트리밍 영상을 구성하는 타일1, 타일2 및 타일3의 전체 재생 크기가 스트리밍영상 재생장치(500)의 디스플레이 장치(710)에서 재생 가능한 크기와 같거나 작은 경우에, 스트리밍 영상을 구성하는 전체 타일1, 타일2 및 타일3이 복호화되어 디스플레이 장치(710)에 디스플레이된다.
도 7의 (b)은 스트리밍 영상을 구성하는 타일1, 타일2 및 타일3의 전체 재생 크기(720)가 디스플레이 장치(710)에서 재생 가능한 크기보다 큰 경우를 예시한 도면이다.
도 7의 (b)의 경우에, 영상재생부(560)는, 디스플레이 장치(710)에 디스플레이되지 않는 타일1에 해당하는 영역의 스트리밍 영상은 복호화하지 않는다. 반면에, 영상재생부(560)는, 디스플레이 장치(710)에 디스플레이되는 영역에 해당하는 타일2 및 타일3에 해당하는 영역의 스트리밍 영상을 복호화하여 디스플레이 장치(710)에 디스플레이한다.
사용자 인터페이스(570)는 스트리밍 서비스의 시작과 종료, 서비스 화질의 설정 및 디스플레이 위치 설정 등을 포함하는 기능을 수행하기 위한 장치이다.
사용자 인터페이스(570)는 일반적으로 터치스크린으로 구현되나, 실시예에 따라서 마우스 혹은 스트리밍영상 재생장치(500)에 장착된 버튼 등 다른 수단으로 구현될 수도 있다.
본 실시예에서는 사용자 인터페이스(570)로서 터치스크린이 사용되는 경우를 예로 들어 설명한다.
터치스크린은 영상재생부(560)가 스트리밍 영상을 복호화하여 재생하기 위한 디스플레이 장치로서의 기능과, 내부에 터치 입력 감지 기능을 내장한 사용자 인터페이스(570)로서의 기능을 함께 갖는다.
이하, 터치스크린을 이용한 디스플레이 위치 설정방법 및 서비스 화질의 설정 방법에 대하여 설명한다.
도 8의 (a)는 사용자가 터치스크린을 이용하여 디스플레이 위치를 재설정하기 전의 상태를 나타낸 도면이고, 도 8의 (b)는 터치스크린을 이용하여 디스플레이 위치가 재설정된 후의 디스플레이 위치를 도시한 도면이다.
도 8의 (a)는, 스트리밍 영상 내에서 터치스크린(810)에 디스플레이되는 영역이 타일2와 타일3에 걸쳐서 존재하는 경우, 영상재생부(560)가 스트리밍 영상 중 디스플레이되는 위치에 해당하는 타일2와 타일3을 복호화하는 경우를 예시한 도면이다. 이 경우, 터치스크린(810) 상에는 복호화된 타일2와 타일3의 영역에 해당하는 영상 중에서 디스플레이 가능한 영역만 디스플레이된다.
터치스크린(810)은 영상재생부(560)가 스트리밍 영상을 복호화하여 디스플레이하는 장치로서의 기능을 하며, 터치스크린(810) 내부에 터치 입력 감지 기능을 내장하여 사용자가 터치 스크린(810) 상에 손가락(830)을 터치하여 스트리밍 영상의 디스플레이 위치 변경 등을 가능하게 한다.
사용자가 손가락(830)을 이용하여 터치스크린(810)의 표면을 터치하는 경우, 터치스크린(810)은 사용자 손가락(830)의 터치를 감지한다.
터치스크린(810)은 사용자 손가락(830)에 의한 제1 터치와, 제 1터치에 이은 드래그를 감지하는 경우 디스플레이 위치설정부(580)에게 제1 터치에 이은 드래그 거리에 대한 정보를 전송한다.
디스플레이 위치설정부(580)는 제1 터치에 이은 드래그 거리에 대한 정보를 터치스크린(810)으로부터 수신하여 새로운 디스플레이 위치를 설정한다.
한편, 터치 스크린(810) 상의 터치 및 이어지는 드래그 거리를 결정하는 것은 당업자에게 자명한 사항이므로 더 이상의 상세한 설명은 생략한다.
도 8의 (a)에 도시한 바와 같이, 고화질 스트리밍 영상이 디스플레이되는 중인 터치스크린(810)의 표면을 사용자 손가락(830)으로 터치하여 오른쪽 방향으로 드래그하는 경우, 디스플레이 화면은 터치스크린(810) 화면 상에서 오른쪽으로 이동되고, 터치스크린(810)은, 도 8의 (b)에 도시한 바와 같이, 고화질 스트리밍 영상 기준으로 상대적으로 왼쪽으로 이동된 상태가 된다.
사용자 손가락(830)에 의한 터치스크린(810)의 표면 터치 및 드래그에 의해 고화질 스트리밍 영상 내에서 터치스크린(810)의 디스플레이 영역이 도 8의 제1 위치에서 도 8의 제2 위치로 변한 경우, 디스플레이 위치설정부(580)는 고화질 스트리밍 영상에 대한 디스플레이 위치를 재설정하여 재설정된 디스플레이 위치에 대한 정보를 영상재생부(560)로 전송한다.
영상재생부(560)는 재설정된 디스플레이 위치에 대한 정보에 따라 스트리밍 영상을 복호화하여 재생한다.
도 8의 (b)에서, 전체 스트리밍 영상 영역(820) 중에서 터치스크린(810)에 디스플레이되는 영역이 타일1과 타일2에 걸쳐서 존재하므로, 영상재생부(560)는 스트리밍 영상 내에서 디스플레이되는 위치에 해당하는 타일1과 타일2를 복호화하며, 디스플레이되지 않는 위치에 해당하는 타일3의 경우는 복호화하지 않도록 구현될 수 있다. 또한, 영상재생부(560)는 복호화된 타일1와 타일2의 영역에 해당하는 영상 중에서 디스플레이 가능한 영역만 터치스크린(810) 상에 디스플레이한다.
이와 같이, 디스플레이 위치설정부(580)의 디스플레이 위치 재설정에 따라, 영상재생부(560)는 스트리밍 영상 내에서 복호화가 제외되는 일부 부호화 영역과 복호화가 수행되는 그 나머지 영역을 결정한다.
한편, 영상수신부(540)는 영상요청부(530)가 요청한 서비스 화질의 스트리밍 영상을 스트리밍 서버(150)로부터 수신한 경우, 디스플레이 대상에서 제외되는 일부 부호화 영역(즉, 디스플레이 대상에서 제외되는 타일 영역)에 해당하는 비트스트림과 디스플레이 대상의 부호화 영역(즉, 디스플레이 대상인 타일 영역)에 해당하는 그 나머지 비트스트림을 분할하고, 디스플레이 대상에서 제외되는 일부 부호화 영역에 해당하는 비트스트림은 영상재생부(560)로 전달하지 않고 나머지 디스플레이 대상 비트스트림만 선택하여 영상재생부(560)에게 전달하도록 구현될 수도 있다.
이와 같이 영상수신부(540)가 구현되는 경우, 수신된 스트리밍 영상의 전체 재생 크기와 스트리밍영상 재생장치(500)의 디스플레이 장치에서 재생 가능한 크기를 비교하는 기능을 영상수신부(540)에서 수행한다. 이 경우, 디스플레이 위치설정부(580)는 고화질 스트리밍 영상에 대한 디스플레이 위치를 재설정하여 재설정된 디스플레이 위치에 대한 정보를 영상수신부(540)로 전송한다.
도 9는 사용자가 터치스크린을 이용하여 서비스 화질을 확대하고자 하는 경우의 서비스 화질의 변화를 예시한 도면이다.
도 9는 터치스크린(810)이 터치스크린의 핀치 줌 기능을 이용한 영상 줌배율 변화 및 이에 따른 화질 변화비율을 감지하는 것을 도시한 것이다.
도 9에서, 표준화질의 스트리밍 영상이 재생되는 도중에 터치스크린(910)이 사용자 손가락(930)의 터치에 의한 제1 터치 및 제2 터치를 감지하고, 제1 터치와 제2 터치의 드래그된 위치를 감지하는 경우, 터치스크린(910)은 화질설정부(590)에게 제1 터치 및 제2 터치 지점에 대한 정보와, 제1 터치와 제2 터치의 드래그된 위치에 대한 정보를 전송한다.
화질설정부(590)는 제1 터치 및 제2 터치 지점에 대한 정보와, 제1 터치와 제2 터치의 드래그된 위치에 대한 정보를 수신하여 줌 배율을 결정하고 이를 바탕으로 서비스 화질을 선택한다. 여기서, 줌 배율은 디스플레이되는 화면을 확대하는 비율(줌인 비율) 또는 화면을 축소하는 비율(줌아웃 비율)을 의미한다.
이와 같이 핀치 줌 기능을 이용하여 터치 스크린 상의 터치 및 드래그 거리를 이용하여 줌 배율을 결정하는 것은 당업자에게 자명한 사항이므로 더 이상의 상세한 설명은 생략한다.
영상재생부(560)는 화질설정부(590)에서 결정된 줌 배율이 일정 크기에 도달하기 전까지는 현재 디스플레이 중인 영상의 재생을 지속한다, 다만 디스플레이가 지속되는 영상의 화질은 그대로 유지한 채 화면의 크기만 확대하여 디스플레이한다.
화질설정부(590)는 줌 배율이 일정 크기에 도달하는 경우 해당 줌 배율을 화질 확대비 또는 화질 축소비로서 결정한다. 예컨대, 줌 배율이 1보다 큰 경우 해당 줌 배율은 화질 확대비가 되고 줌 배율이 1보다 작은 경우 해당 줌 배율은 화질 축소비가 된다.
화질설정부(590)에 의해서 결정된 화질 확대비가 임계값 이상이거나 현재 서비스 중인 영상의 화질보다 한 단계 높은 차상위 화질로 확대되는 것을 의미하는 화질 확대비로서 기설정된 일정 범위의 값을 갖는 경우, 영상요청부(530)는 더 높은 해상도의 스트리밍 영상을 스트리밍 서버(150)에게 요청하는 영상 요청 메시지를 전송한다.
예를 들어, 스트리밍 서버(150)가 제공 가능한 영상이 저화질 영상, 표준화질 영상 및 고화질 영상의 3가지이고, 이 3가지 영상의 화질 해상도 비율이 [저화질 해상도:표준화질 해상도:고화질 해상도 = 1:2:4]인 경우를 가정하여 설명한다.
이 경우, 영상재생부(560)가 저화질의 스트리밍 영상을 복호화하여 디스플레이하는 도중에 사용자의 터치스크린(910)에 대한 터치 결과에 따라 화질설정부(590)에 의해 산출된 화질 확대비가, 예컨대 제1 임계값인 1.5 이상이면 2배의 해상도 화질을 갖는 영상에 해당하는 표준화질 영상 서비스를 요청하는 표준화질 영상 요청 메시지가 영상요청부(530)에 의해 스트리밍 서버(150)에게 전송된다.
또한, 실시예에 따라서는, 화질 확대비가 1.5와 3 사이의 값을 갖는 경우, 차상위 해상도 화질을 갖는 영상에 해당하는 표준화질 영상의 서비스를 요청하는 표준화질 영상 요청 메시지가 영상요청부(530)에 의해 스트리밍 서버(150)에게 전송되도록 구현될 수도 있다.
또한, 화질설정부(590)는 결정된 화질 축소비(즉, 줌 배율이 1보다 작은 경우)가 임계값 이하이거나 현재 서비스 중인 영상의 화질보다 한 단계 낮은 차하위 화질로 축소되는 것을 의미하는 화질 축소비로서 기설정된 일정 범위의 값을 갖는 경우, 영상요청부(530)는 더 낮은 해상도의 화질 스트리밍 영상을 스트리밍 서버(150)에게 요청하는 영상 요청 메시지를 전송한다.
예컨대, 영상재생부(560)가 고화질의 스트리밍 영상을 복호화하여 디스플레이하는 도중에 사용자의 터치스크린(910)에 대한 터치 결과에 따라 화질설정부(590)에 의해 산출된 화질 축소비가, 제2 임계값인 0.7 이하이면 1/2 배의 해상도 화질을 갖는 표준화질 영상 서비스를 요청하는 메시지가 영상요청부(530)에 의해 스트리밍 서버(150)에게 전송된다.
또한, 실시예에 따라서는, 화질 축소비가 0.35와 0.7 사이의 값을 갖는 경우, 차하위 해상도(1/2 해상도) 화질을 갖는 표준화질 영상의 서비스를 요청하는 표준화질 영상 요청 메시지가 영상요청부(530)에 의해 스트리밍 서버(150)에게 전송되도록 구현될 수도 있다.
한편, 화질설정부(590)는 화질 확대비 또는 화질 축소비를 산출하지 않고 기수신된 프로파일에 의해 서비스 화질이 결정될 수도 있다. 예를 들어, 사용자가 마우스를 이용하여 디스플레이 화면 상의 특정지점을 더블 클릭하거나 터치스크린 상의 특정 지점을 2회연속 터치하는 경우에 현재 서비스 중인 영상의 화질보다 한 단계 높은 차상위 화질로서 서비스 화질이 결정되도록 구현될 수 있다. 여기서, 한 단계 높은 차상위 화질은 멀티미디어 프리젠테이션 디스크립션 정보로서 수신된 영상 프로파일 정보에 의해 정의될 수 있다.
스트리밍 서버(150)는 영상요청부(530)로부터 수신한 고화질 영상 요청 메시지에 따라서 고화질 스트리밍 영상을 스트리밍영상 재생장치(500)에게 전송한다.
영상수신부(540)가 고화질 스트리밍 영상을 스트리밍영상 재생장치(500)로부터 수신하는 경우, 수신된 고화질 스트리밍 영상을 복호화하여 터치스크린(910) 상에 디스플레이한다. 이때, 터치스크린(910) 상에 디스플레이되는 영역은 수신된 전체 고화질 영상 영역(920) 중에 일부 영역(910_1)에 해당하며, 디스플레이되는 일부 영역(910_1)의 스트리밍 영상 내의 위치는 제1 터치 및 제2 터치에 이어지는 드래그가 종료된 후 드래그된 위치에 따라 결정된다.
이와 같이, 화질설정부(590)는, 화질 확대비에 따라 서비스 화질을 결정함에 있어서 스트리밍 서버(150)가 제공 가능한 영상 화질의 종류에 대한 정보를 참조한다. 즉, 화질설정부(590)는, 제공 가능한 부호화 영상의 화질 정보 및 해당 부호화 영상의 URL 주소 등의 정보를 포함하는 멀티미디어 프리젠테이션 디스크립션 정보에 나열된 화질 정보 중 어느 하나에 해당하는 화질정보를 선택한다.
전술하였듯이, 영상요청부(530)는 화질설정부(590)가 결정한 서비스 화질에 해당하는 스트리밍 영상의 제공을 스트리밍 서버(150)에게 요청한다.
스트리밍 서버(150)는 영상요청부(530)로부터 수신한 영상 요청 메시지에 따라 해당 화질의 스트리밍 영상을 스트리밍영상 재생장치(500)에게 전송한다. 예컨대, 스트리밍 서버(150)는 영상요청부(530)로부터 고화질 영상 요청 메시지를 수신한 경우에는 고화질 스트리밍 영상을 스트리밍영상 재생장치(500)에게 전송한다.
영상수신부(540)가 고화질 스트리밍 영상을 스트리밍영상 재생장치(500)로부터 수신하는 경우, 영상재생부(560)는 수신된 고화질 스트리밍 영상을 복호화하여 터치스크린(910) 상에 디스플레이한다. 이때, 고화질의 스트리밍 영상 내에서 터치스크린(910) 상에 디스플레이되는 영역은 수신된 전체 고화질 영상(920) 중 일부 영역(910_1)에 해당한다.
도 10은 어느 한 단말장치에서 스트리밍 서비스 대상으로 선택된 부호화 영상의 화질의 변화에 따라 해당 단말장치로 전송되는 영상 세그먼트가 달라지는 예를 도시한 도면이다.
도 10은, 4개의 저화질의 스트리밍 영상을 디스플레이한 후에 사용자가 터치스크린을 이용하여 화질 확대를 순차적으로 설정하여 3개의 표준화질 부호화 영상 세그먼트 및 3개의 고화질 부호화 영상 세그먼트를 디스플레이한 후에, 사용자가 터치스크린을 이용하여 표준화질로 화질 축소를 설정한 경우 2개의 표준화질 부호화 영상 세그먼트의 디스플레이가 순차적으로 이루어진 경우에 대한 예시이다.
도 11은 본 실시예에 따른 스트리밍 영상 재생 방법을 도시한 도면이다.
이하, 도 1 내지 도 11을 함께 참조하면서 본 실시예에 따른 스트리밍 영상 재생 방법을 설명한다.
본 실시예에 따른 스트리밍 영상 재생을 수행하기 위하여, 영상요청부(530)는 선택된 화질정보에 대응하는 화질의 영상을 스트리밍 서버(150)에게 요청한다(S1110). S1110 단계 이전에 영상정보 획득부(520)에 의해서 네트워크에 연결된 스트리밍 서버(150)가 제공 가능한 영상에 대한 정보를 스트리밍 서버(150)로부터 획득하는 과정과, 영상요청부(530)에 의한 사용자의 화질선택 명령을 수신하는 과정이 추가될 수 있다.
여기서, 서비스 대상 화질 정보는, 스트리밍영상 재생장치(500)가 스트리밍 서버(150)에 최초 접속된 경우에는 네트워크 환경 및 스트리밍영상 재생장치(500)의 디스플레이 사양에 따라 결정되거나, 기설정 화질, 예컨대, 서비스 가능 최저 화질에 해당하는 최저 화질로서 결정될 수도 있다.
영상수신부(540)는 영상요청부(530)가 요청한 서비스 화질에 해당하는 화질의 스트리밍 영상을 스트리밍 서버(150)로부터 수신하며, 헤더정보 수신부(550)는 스트리밍 영상의 복호화에 필요한 헤더정보를 수신한다(S1120).
영상재생부(560)는, 수신된 스트리밍 영상에 속하는 전체 타일이 재생 가능한지 여부를 확인한다(S1130). 즉, 영상재생부(560)는, 수신된 스트리밍 영상에 해당하는 전체 재생 크기와 스트리밍영상 재생장치(500)의 터치스크린(910)에서 재생 가능한 크기를 비교한 결과에 따라 수신된 스트리밍 영상 내 전체 타일이 재생 가능한지 여부를 확인한다.
영상재생부(560)는, 수신된 스트리밍 영상 내 일부 타일이 재생 가능하지 않은 것으로 확인된 경우, 수신된 스트리밍 영상 중에서 일부 부호화 영역에 해당하는 비트스트림은 복호화 대상에서 제외한다(S1140). 수신된 스트리밍 영상이 타일 구조로 부호화된 경우, 터치스크린(910)에서 재생되지 않는 타일은 복호화 대상에서 제외하며 나머지 타일만 복호화 대상으로 설정한다.
예컨대, 영상재생부(560)는, 스트리밍 영상에 해당하는 전체 재생 크기보다 스트리밍영상 재생장치(500)에서 재생 가능한 크기가 작은 경우, 스트리밍 영상의 영역을 복호화 대상 영역과 비복호화 대상 영역으로 분류한다.
또한, 영상재생부(560)는, 재생 중인 제1 화질의 영상보다 더 높은 해상도를 갖는 제2 화질의 영상을 스트리밍 서버(150)로부터 수신하는 경우, 제2 화질의 영상의 해상도 크기에 따라 제2 화질에 해당하는 스트리밍 영상의 서브 영역 중에서 일부 서브 영역에 해당하는 비트스트림을 복호화 대상에서 제외한다. 즉, 도 8에 도시한 바와 같이 표준화질의 스트리밍 영상 전체를 터치스크린(910) 상에서 디스플레이하다가 고화질의 영상이 수신된 경우 디스플레이되는 영상의 위치에 대응되지 않는 타일1 영역은 복호화 대상에서 제외한다.
또한, 영상재생부(560)는, 스트리밍 영상의 서브 영역이 각각 타일 단위로 복호화되는 경우, 복호화 대상에서 제외되는 일부 서브 영역에 해당하는 타일의 참조 영상을 참조대상에서 제외한다.
영상재생부(560)는, 헤더정보 수신부(550)에서 수신한 헤더정보를 기반으로 복호화 대상 비트스트림을 복호화한다(S1150). 예컨대, 수신된 스트리밍 영상 내 전체 타일이 터치스크린(910)에서 재생 가능한 것으로 확인된 경우에는 전체 스트리밍 영상을 복호화하며, 수신된 스트리밍 영상 내 일부 타일이 터치스크린(910)에서 재생 가능하지 않은 것으로 확인된 경우 재생 가능하지 않은 타일을 제외한 나머지 타일 영역에 해당하는 비트스트림을 복호화한다.
영상재생부(560)는, 재생가능한 타일 영역에 대한 복호화를 수행한 후에 터치스크린(910)에서 재생 가능한 영역의 화면을 터치스크린(910)에 출력한다(S1160).
소정 화질의 스트리밍 영상이 터치스크린(910)에 재생되는 도중에, 화질설정부(590)는 터치스크린(910)에 대한 복수의 사용자 손가락(930)의 터치 및 드래그 입력 거리에 대한 정보를 터치스크린(910)으로부터 수신하여 서비스화질이 변경되었는지 여부를 확인한다(S1170).
화질설정부(590)는 제1 터치 및 제2 터치 지점의 위치에 대한 정보와, 제1 터치와 제2 터치에 이은 드래그 거리에 대한 정보를 수신하여 화질 확대비를 계산하며, 그 계산 결과에 따라 서비스 화질이 변경된다. 예를 들어, 획득된 화질 확대비가 화질 확대비가 임계값 이상이면, 영상요청부(530)는 더 높은 해상도의 고화질 스트리밍 영상을 스트리밍 서버(150)에게 요청하는 고화질 영상 요청 메시지를 전송한다(S1180).
만일, 화질설정부(590)에서 획득된 화질 확대비가 임계값 이하이면, 디스플레이 위치설정부(580)는, 스트리밍 영상에 대한 터치스크린(910) 상의 디스플레이 위치가 변경되었는지 확인한다(S1190).
디스플레이 위치설정부(580)는 터치스크린(810)으로부터 터치스크린(810)에 대한 1 터치와, 제 1터치에 이은 드래그 길이를 수신한 결과에 따라 새로운 디스플레이 위치를 설정한다.
만일, 디스플레이 위치설정부(580)가 복호화 영상에 대한 디스플레이 위치 변경을 탐지하여 새로운 디스플레이 위치를 설정한 경우, S1120 단계로 진행하여 새로운 스트리밍 영상을 수신하고, 새로 수신된 스트리밍 영상에 속하는 전체 타일이 재생 가능한지 여부를 확인하는 단계를 반복한다(S1130).
만일, 디스플레이 위치설정부(580)가 복호화 영상에 대한 디스플레이 위치 변경을 탐지하지 않은 경우에는, 영상수신부(540)는 현재 서비스 중인 화질의 스트리밍 영상을 계속 수신하고(S1192), 영상재생부(560)는, 전체 스트리밍 영상에 해당하는 영역 중에서 복호화 대상으로 설정된 비트스트림을 복호화하는 단계로 진행한다(S1150).
도 11의 본 실시예에 도시한 스트리밍 영상 재생 방법은, 영상요청부(530), 영상수신부(540), 헤더정보 수신부(550), 영상재생부(560), 디스플레이 위치설정부(580), 화질설정부(590) 및 터치스크린(910)에 대한 설명으로 전술하였으므로 더 이상의 상세한 설명은 생략한다.
한편, 도 11에 기재된 본 실시예에 따른 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 도 11에 기재된 본 실시예에 따른 방법은 모바일 웹이나 단말기에 설치되는 앱 프로그램(application program) 등 프로그램의 형태로 구현될 수도 있다. 참고로, 본 실시예에 따른 방법이 앱 프로그램으로 구현되는 경우, 단말기의 운영체제가 단말기의 사용자 인터페이스를 이용한 화질선택 명령을 수신하고 단말기의 운영체제가 이 화질선택 명령을 앱 프로그램에게 전달하도록 구현할 수 있다.
이상의 설명에서, 스트리밍 서버(150)로부터 해당 화질의 영상에 포함되는 비트스트림이 모두 전송되는 것으로 가정하여 설명하였으나, 실시예에 따라서는, 스트리밍영상 재생장치(500)에서 재생되지 않는 영역은 스트리밍 서버(150)가 스트리밍영상 재생장치(500)에게 전송하는 비트스트림에서 제외되도록 구현될 수도 있다.
스트리밍 서버(150)가 스트리밍영상 재생장치(500)에서 재생되지 않는 영역에 해당하는 비트스트림을 전송 대상에서 제외하기 위해서는, 스트리밍 서버(150)로부터 전송 제외 대상에 해당하는 정보를 미리 전달받는다.
이때, 디스플레이 위치설정부(580)는 사용자의 터치스크린 터치에 의하여 결정된 새로운 디스플레이 위치에 대한 정보를 영상요청부(530)에 전송하고, 영상요청부(530)는 수신된 디스플레이 위치에 대한 정보를 서비스 대상 화질의 영상을 요청하는 영상 요청 메시지를 전송할 때 함께 스트리밍 서버(150)에게 전송하도록 구현된다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 스트리밍영상 서비스 시스템
101, 102, 103: 복수의 카메라 120: 음향수신부
130: 영상 스티칭부 140: 영상스트림 생성부
150: 스트리밍 서버 160: 네트워크
170: 단말장치 301: 스티칭된 고화질 영상
302: 고화질 부호화 영상 303: 저화질 부호화 영상
410: 접근정보 생성부 420: 화질정보 수신부
430: 영상송출부
500: 스트리밍영상 재생장치
510: 서비스 요청부 520: 영상정보 획득부
530: 영상요청부 540: 영상수신부
550: 헤더정보 수신부 560: 영상재생부
570: 사용자 인터페이스 580: 디스플레이 위치설정부
590: 화질설정부

Claims (14)

  1. 네트워크로부터 전송되는 스트리밍 영상(Streaming Video)을 재생하는 스트리밍 영상 재생 장치에 있어서,
    상기 네트워크에 연결된 스트리밍 서버가 제공 가능한 영상에 대한 정보를 획득하는 영상정보 획득부;
    디스플레이 중인 영상에 대한 줌 배율을 획득하고 상기 줌 배율에 해당하는 화질선택 명령을 생성하고 상기 정보에 기초하여 상기 화질선택 명령에 상응하도록 상기 디스플레이 중인 영상의 화질과 다른 화질의 영상을 상기 스트리밍 서버에게 요청하는 영상요청부;
    상기 스트리밍 서버로부터 상기 요청에 대응하는 상기 다른 화질의 영상을 수신하는 영상수신부;
    사용자 인터페이스에 의한 디스플레이 위치설정 상태를 감지하여 상기 다른 화질의 영상에 대한 디스플레이 위치를 재설정하는 디스플레이 위치설정부; 및
    상기 다른 화질의 영상 내에서 복호화 대상이 아닌 일부 부호화 영역을 제외한 나머지 영역의 비트스트림을 복호화하여 재생하는 영상재생부
    를 포함하되,
    상기 영상재생부는,
    상기 스트리밍 영상 재생 장치의 디스플레이 장치에서 재생 가능한 크기가 상기 다른 화질의 영상의 전체 크기보다 작은지 여부, 및 상기 재설정된 디스플레이 위치에 기초하여 상기 일부 부호화 영역 및 상기 나머지 영역을 결정하는 스트리밍 영상 재생 장치.
  2. 제1항에 있어서,
    상기 영상정보 획득부는, 상기 스트리밍 서버가 제공 가능한 영상 화질의 종류에 대한 정보를 상기 영상에 대한 정보로서 상기 스트리밍 서버로부터 획득하는 것을 특징으로 하는 스트리밍 영상 재생 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    제1 화질의 스트리밍 영상이 재생되는 도중에, 상기 영상요청부가 상기 제1 화질보다 더 높은 해상도를 갖는 제2 화질의 선택을 의미하는 화질선택 명령을 수신하여 상기 제2 화질의 스트리밍 영상을 상기 스트리밍 서버에게 요청하는 경우,
    상기 영상수신부는, 상기 스트리밍 서버로부터 상기 제2 화질의 스트리밍 영상을 수신하고 상기 제2 화질의 스트리밍 영상의 크기에 따라 상기 제2 화질의 스트리밍 영상 중에서 일부 부호화 영역에 해당하는 비트스트림을 복호화 대상에서 제외할지 여부를 판단하는 것을 특징으로 하는 스트리밍 영상 재생 장치.
  7. 제1항에 있어서,
    상기 다른 화질의 영상이 타일 단위로 디스플레이 영역이 나뉘어 부호화됨을 나타내는 헤더정보를 수신하는 헤더정보 수신부를 더 포함하는 것을 특징으로 하는 스트리밍 영상 재생 장치.
  8. 제7항에 있어서,
    상기 헤더정보는, 각 타일이 다른 타일의 영상을 참조하지 않고 부호화되었는지 여부를 나타내는 부호화정보를 포함하는 것을 특징으로 하는 스트리밍 영상 재생 장치.
  9. 제1항에 있어서,
    상기 영상재생부는, 상기 줌 배율이 일정 크기에 도달하기 전까지는 상기 디스플레이 중인 영상의 재생을 지속하는 것을 특징으로 하는 스트리밍 영상 재생 장치.
  10. 네트워크로부터 전송되는 스트리밍 영상(Streaming Video)을 스트리밍 영상 재생 장치에서 재생하는 방법에 있어서,
    상기 네트워크에 연결된 스트리밍 서버가 제공 가능한 영상에 대한 정보를 획득하는 영상정보 획득과정;
    디스플레이 중인 영상에 대한 줌 배율을 획득하고 상기 줌 배율에 해당하는 화질선택 명령을 생성하는 과정;
    상기 정보에 기초하여 상기 화질선택 명령에 상응하도록 상기 디스플레이 중인 영상의 화질과 다른 화질의 영상을 상기 스트리밍 서버에게 요청하는 영상 요청과정;
    상기 스트리밍 서버로부터 상기 요청에 대응하는 상기 다른 화질의 영상을 수신하는 영상 수신과정;
    사용자 인터페이스에 의한 디스플레이 위치설정 상태를 감지하여 상기 다른 화질의 영상에 대한 디스플레이 위치를 재설정하는 과정; 및
    상기 다른 화질의 영상 내에서 복호화 대상이 아닌 일부 부호화 영역을 제외한 나머지 영역의 비트스트림을 복호화하여 재생하는 영상 재생과정
    을 포함하되,
    상기 영상 재생과정에서,
    상기 스트리밍 영상 재생 장치의 디스플레이 장치에서 재생 가능한 크기가 상기 다른 화질의 영상의 전체 크기보다 작은지 여부, 및 상기 재설정된 디스플레이 위치에 기초하여 상기 일부 부호화 영역 및 상기 나머지 영역을 결정하는 스트리밍 영상 재생 방법.
  11. 제10항에 있어서,
    상기 영상 재생과정에서는,
    상기 다른 화질의 영상에 해당하는 전체 크기보다 상기 디스플레이 장치에서 재생 가능한 크기가 작은 경우, 상기 다른 화질의 영상의 영역을 상기 일부 부호화 영역과 상기 나머지 영역으로 분류하는 것을 특징으로 하는 스트리밍 영상 재생 방법.
  12. 제10항에 있어서,
    상기 영상 재생과정에서는,
    재생 중인 제1 화질의 영상보다 더 높은 해상도를 갖는 제2 화질의 영상을 상기 스트리밍 서버로부터 수신하는 경우, 상기 제2 화질의 영상의 해상도 크기에 따라 상기 제2 화질에 해당하는 스트리밍 영상의 서브 영역 중에서 일부 서브 영역에 해당하는 비트스트림을 복호화 대상에서 제외하는 것을 특징으로 하는 스트리밍 영상 재생 방법.
  13. 제12항에 있어서,
    상기 영상 재생과정에서는,
    상기 제2 화질에 해당하는 스트리밍 영상의 서브 영역이 각각 타일 단위로 복호화되는 경우, 상기 일부 서브 영역에 해당하는 타일의 참조 영상은 참조대상에서 제외되는 것을 특징으로 하는 스트리밍 영상 재생 방법.
  14. 데이터 처리 기기에,
    네트워크로부터 전송되는 스트리밍 영상을 스트리밍 영상 재생 장치에서 재생하기 위하여,
    상기 네트워크에 연결된 스트리밍 서버가 제공 가능한 영상에 대한 정보를 획득하는 영상정보 획득과정;
    디스플레이 중인 영상에 대한 줌 배율을 획득하고 상기 줌 배율에 해당하는 화질선택 명령을 생성하는 과정;
    상기 정보에 기초하여 상기 화질선택 명령에 상응하도록 상기 디스플레이 중인 영상의 화질과 다른 화질의 영상을 상기 스트리밍 서버에게 요청하는 영상 요청과정;
    상기 스트리밍 서버로부터 상기 요청에 대응하는 상기 다른 화질의 영상을 수신하는 영상 수신과정;
    사용자 인터페이스에 의한 디스플레이 위치설정 상태를 감지하여 상기 다른 화질의 영상에 대한 디스플레이 위치를 재설정하는 과정; 및
    상기 다른 화질의 영상 내에서 복호화 대상이 아닌 일부 부호화 영역을 제외한 나머지 영역의 비트스트림을 복호화하여 재생하는 영상 재생과정
    을 실현시키되,
    상기 영상 재생과정에서,
    상기 스트리밍 영상 재생 장치의 디스플레이 장치에서 재생 가능한 크기가 상기 다른 화질의 영상의 전체 크기보다 작은지 여부, 및 상기 재설정된 디스플레이 위치에 기초하여 상기 일부 부호화 영역 및 상기 나머지 영역을 결정하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020190033134A 2019-03-22 2019-03-22 네트워크로부터 전송되는 스트리밍 영상을 재생하는 방법 및 장치 KR102166054B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190033134A KR102166054B1 (ko) 2019-03-22 2019-03-22 네트워크로부터 전송되는 스트리밍 영상을 재생하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190033134A KR102166054B1 (ko) 2019-03-22 2019-03-22 네트워크로부터 전송되는 스트리밍 영상을 재생하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200112518A KR20200112518A (ko) 2020-10-05
KR102166054B1 true KR102166054B1 (ko) 2020-10-15

Family

ID=72809116

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190033134A KR102166054B1 (ko) 2019-03-22 2019-03-22 네트워크로부터 전송되는 스트리밍 영상을 재생하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102166054B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102571349B1 (ko) * 2021-12-16 2023-08-29 주식회사 랩241 동영상의 복수의 선택 영역 확대 시스템 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012075030A (ja) * 2010-09-29 2012-04-12 Kddi Corp 映像配信サーバおよび映像再生端末
WO2018049321A1 (en) * 2016-09-12 2018-03-15 Vid Scale, Inc. Method and systems for displaying a portion of a video stream with partial zoom ratios

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012075030A (ja) * 2010-09-29 2012-04-12 Kddi Corp 映像配信サーバおよび映像再生端末
WO2018049321A1 (en) * 2016-09-12 2018-03-15 Vid Scale, Inc. Method and systems for displaying a portion of a video stream with partial zoom ratios

Also Published As

Publication number Publication date
KR20200112518A (ko) 2020-10-05

Similar Documents

Publication Publication Date Title
JP6562992B2 (ja) デジタルビデオストリーミングにおけるトリック再生
US11330310B2 (en) Encoding device and method, reproduction device and method, and program
JP6316538B2 (ja) コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム
US8495697B1 (en) Techniques to provide an enhanced video replay
US10623816B2 (en) Method and apparatus for extracting video from high resolution video
KR101602879B1 (ko) 멀티 디스플레이 시스템을 위한 미디어 처리 방법 및 장치
WO2014024475A1 (ja) 映像提供方法、送信装置および受信装置
US11539983B2 (en) Virtual reality video transmission method, client device and server
EP2816564B1 (en) Method and apparatus for smart video rendering
KR101905638B1 (ko) 동영상 재생 장치 및 방법
JP6024002B2 (ja) 動画配信システム
KR102166054B1 (ko) 네트워크로부터 전송되는 스트리밍 영상을 재생하는 방법 및 장치
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
WO2019187434A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6987567B2 (ja) 配信装置、受信装置及びプログラム
JP5594842B2 (ja) 映像配信装置
KR102499900B1 (ko) 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법
JP6970143B2 (ja) 配信サーバ、配信方法及びプログラム
KR102124194B1 (ko) 영상분석을 위한 다채널 영상 전송 시스템 및 이의 제어 방법
Niamut et al. Immersive live event experiences-interactive UHDTV on mobile devices
JP6473469B2 (ja) 映像配信システム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right