KR102156234B1 - 제작 의도 기반 적응형 스트리밍 서비스 장치 및 방법 - Google Patents

제작 의도 기반 적응형 스트리밍 서비스 장치 및 방법 Download PDF

Info

Publication number
KR102156234B1
KR102156234B1 KR1020160110441A KR20160110441A KR102156234B1 KR 102156234 B1 KR102156234 B1 KR 102156234B1 KR 1020160110441 A KR1020160110441 A KR 1020160110441A KR 20160110441 A KR20160110441 A KR 20160110441A KR 102156234 B1 KR102156234 B1 KR 102156234B1
Authority
KR
South Korea
Prior art keywords
content
streaming service
area
image data
auxiliary
Prior art date
Application number
KR1020160110441A
Other languages
English (en)
Other versions
KR20180025367A (ko
Inventor
박우출
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020160110441A priority Critical patent/KR102156234B1/ko
Priority to PCT/KR2016/009649 priority patent/WO2018043771A1/ko
Publication of KR20180025367A publication Critical patent/KR20180025367A/ko
Application granted granted Critical
Publication of KR102156234B1 publication Critical patent/KR102156234B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25816—Management of client data involving client authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 스트리밍 서비스 장치 및 방법에 관한 것으로서, 더욱 상세하게는 스트리밍 서비스를 제공하기 위한 실행화면을 분할하고, 분할한 영역 중 콘텐츠의 내용상 중요한 영역만을 고품질로 제공하도록 하기 위한 장치 및 방법에 관한 것이다.

Description

제작 의도 기반 적응형 스트리밍 서비스 장치 및 방법 {APPARATUS AND METHOD FOR ADAPTIVE STREAMING SERVICE BASED ON INTENSION OF PRODUCER}
본 발명은 스트리밍 서비스 장치 및 방법에 관한 것으로서, 보다 상세하게는 콘텐츠 제작자의 의도를 고려하여 영상에서 주요 영역과 보조 영역을 구분하고 보조 영역에 대해 인코딩 품질을 저하시켜 스트리밍 서비스를 원활히 제공하도록 하는 방법 및 상기 방법을 수행하는 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
컴퓨터 네트워크의 기술이 발전함에 따라, 스트리밍 서비스가 등장하였다. 스트리밍 애플리케이션(Application)의 동작은 서버에서 수행하고, 그 결과 화면만을 인코딩(Encoding)하여 생성한 데이터를 단말기로 송신하고, 단말기는 수신한 데이터를 디코딩(Decoding)하여 디스플레이하는 서비스이다.
한편, 스트리밍 기술과는 별개로, VR(Virtual Reality) 관련 기술 및 VR 기기의 일종인 HMD(Head Mounted Display) 관련 기술이 개발되고 있다. HMD란 사용자가 안경처럼 머리에 착용하여 멀티미디어 콘텐츠를 제공하는 기기이다. 이러한 HMD는 VR 기술과 결합되어, 사용자의 주변 360도의 영상을 디스플레이할 수 있으며, 차기 유망 산업으로 주목받고 있다.
이러한 VR 기기에 클라우드 스트리밍 서비스를 결합하여, 서버에서 실행된 결과 화면을 VR 기기에 제공할 수 있다. 그러나 VR 기기는 고사양의 컴퓨팅 자원을 요구하며, 한정된 자원을 고려할 때 사용자가 만족할 정도의 고품질 서비스를 제공하기 어려운 상황이다.
한국등록특허 제10-0573983호 (명칭: 3차원 가상현실 콘텐츠 구현 시스템 및 구현 방법, 공고일 2006.04.26.)
상술한 문제점을 해결하기 위하여 본 발명은, VR 기기에 디스플레이할 영상 중 상대적으로 중요한 부분을 다른 부분보다 고품질로 제공할 수 있도록 함을 목적으로 한다.
보다 구체적으로, 콘텐츠(contents) 또는 애플리케이션을 실행한 결과 화면을 일정 기준에 따라 주요 영역과 보조 영역으로 분할하여, 보조 영역은 주요 영역보다 낮은 품질로 인코딩하여 영상 데이터를 생성하고, 생성한 영상 데이터를 클라이언트 장치로 전송하도록 하는 스트리밍 서비스 장치 및 방법을 제공함을 목적으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 스트리밍 서비스 방법은, 특정 콘텐츠를 실행하는 단계; 상기 특정 콘텐츠의 실행화면을 콘텐츠의 내용을 기준으로 분할하는 단계; 상기 분할된 실행화면 별로 인코딩 품질을 설정하는 단계; 상기 실행화면을 상기 설정된 인코딩 품질에 따라 인코딩하여 영상 데이터를 생성하는 단계; 상기 영상 데이터를 클라이언트 장치로 전송하는 단계; 를 포함하여 제공될 수 있다.
더하여, 본 발명의 실시 예에 따른 스트리밍 서비스 장치는, 클라이언트 장치에 인코딩한 영상 데이터를 송신하는 통신 모듈; 특정 콘텐츠를 실행하고, 상기 특정 콘텐츠의 실행화면을 콘텐츠의 내용을 기준으로 분할하여, 분할된 실행 화면 중 인코딩 품질을 낮출 영역을 설정하여 각 영상 데이터를 인코딩하는 제어 모듈; 을 포함하여 구성될 수 있다.
본 발명에 따르면, 제작자의 의도를 고려하여 주요 영역에 대한 고품질 영상 서비스를 제공할 수 있으며, 한정된 네트워크 자원을 보다 효율적으로 사용할 수 있다.
즉, 스트리밍 서비스의 품질 저하를 방지하면서 네트워크 트래픽을 감소시킴과 동시에, 데이터의 송수신 속도를 보다 빠르게 할 수 있다.
도 1은 본 발명의 실시 예에 따른 스트리밍 서비스 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 스트리밍 서비스 방법을 나타낸 메시지 흐름도이다.
도 3은 본 발명의 실시 예에 따른 클라이언트 장치를 개략적으로 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 클라이언트 장치의 동작을 나타낸 흐름도이다.
도 5는 본 발명의 실시 예에 따른 스트리밍 서비스 장치를 개략적으로 도시한 블록도이다.
도 6은 본 발명의 실시 예에 따른 스트리밍 서비스 장치의 동작을 나타낸 흐름도이다.
먼저, 본 발명의 실시 예에 따른 스트리밍 시스템의 구성에 대하여 설명하도록 한다.
도 1은 본 발명의 실시 예에 따른 스트리밍 서비스 시스템을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 스트리밍 서비스 시스템은, 클라이언트 장치(100)와 스트리밍 서비스 장치(200)로 구성될 수 있으며, 상기 두 장치(100, 200)는 통신망(300)을 통해 연결되어 있을 수 있다.
본 발명의 실시 예에 따른 클라이언트 장치(100)는 공지의 사용자 장치로서, 스트리밍 서비스 장치(200)와 스트리밍 서비스와 관련된 영상 데이터를 송수신할 수 있다. 보다 구체적으로, 클라이언트 장치(100)는 스트리밍 서비스 장치(200)에서 실행된 콘텐츠를 기반으로 생성 및 인코딩된 영상 데이터를 수신하고, 상기 인코딩된 영상 데이터를 디코딩하여 클라이언트 장치에 포함된 디스플레이부를 통해 출력할 수 있다.
또한, 클라이언트 장치(100)에 포함된 디스플레이부는 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 장치일 수 있다. HMD는 사용자에게 360도 영상을 디스플레이할 수 있다. 따라서, 클라이언트 장치(100)가 스트리밍 서비스 장치(200)와 송수신하는 영상 데이터는 스트리밍 서비스 장치(200)에서 360도 화면 상에 실행된 실행화면의 영상 데이터일 수 있다. 또는, 360도 화면 상에 실행된 실행화면을 주요 영역과 보조 영역으로 분할하여 생성된 복수의 영상 데이터일 수 있다.
또한, 클라이언트 장치(100)는 홍채 인식 센서를 더 포함할 수 있으며, 이를 통해 스트리밍 서비스 장치(200)에 접속 및 서비스를 이용하고자 할 때 인증 수단으로 이용할 수 있다.
스트리밍 서비스 장치(200)는 본 발명의 실시 예에 따라 하나 이상의 클라이언트 장치에 스트리밍 서비스를 제공하기 위한 장치이다.
스트리밍 서비스에는 TV 프로그램이나 영화 기타 온라인 영상 컨텐츠를 제공하는 영상 제공 서비스가 포함될 수 있다. 또한 스트리밍 기술을 이용한 온라인 게임 서비스가 포함될 수도 있다. 이외에도 서비스를 제공하기 위해 보조적으로 제공되는 EPG(Electronic Program Guide)가 포함될 수도 있다.
스트리밍 서비스 장치(200)는 하나 이상의 클라이언트 장치(100)에 서비스를 제공하기 위한 서버 장치의 역할을 하며, 스트리밍 서비스 장치(200) 내에서, 클라이언트 장치(100)에 제공하고자 하는 서비스와 관련된 콘텐츠를 실행시키고, 그 콘텐츠를 실행시켜 생성된 실행화면을 영상 데이터로 인코딩할 수 있다. 본 발명에서 의미하는 영상 데이터는 콘텐츠의 실행화면을 일정 프레임의 비디오 데이터로 구성한 것뿐만 아니라, 애니매이션 또는 정지 화면의 제공을 위한 이미지 데이터의 집합을 포함할 수 있다. 이러한 영상 데이터는, 스트리밍 서비스 장치(200)에 의해, 실행화면을 콘텐츠의 내용에 따라 분할하여 생성된 주요 영역 또는 보조 영역의 영상 데이터일일 수 있다.
스트리밍 서비스 장치(200)는 콘텐츠의 내용에 따라 콘텐츠의 실행화면을 주요 영역과 보조 영역으로 분할한다. 주요 영역과 보조 영역은 콘텐츠 제작자의 의도를 고려하여 설정한다.
주요 영역은 콘텐츠를 구성하는 부분 중 콘텐츠의 내용을 파악하기 위하여 필수적인 부분에 해당한다. 예를 들어, 만약 콘텐츠가 영화나 TV 드라마인 경우에는, 현재 대사를 말하고 있는 인물이나, 초점이 맞추어져 있는 인물 또는 사물이 될 수 있다. 콘텐츠가 스트리밍 게임인 경우에는 사용자의 캐릭터, 사용자가 선택한 객체, 게임을 진행하기 위한 목표물이 주요 영역이 될 수 있다.
보조 영역은 콘텐츠를 구성하는 부분 중 주요 영역에 비하여 내용상 중요도가 낮은 부분에 해당한다. 예를 들어, 콘텐츠가 영화나 TV 드라마인 경우에는, 극의 흐름과 관련 없는 보조 인물, 단순 배경이 될 수 있다.
스트리밍 서비스 장치(200)는 이와 같이 콘텐츠의 내용에 따라 콘텐츠의 실행화면을 주요 영역과 보조 영역으로 나누고, 주요 영역과 보조 영역에 대하여 각각 인코딩 품질을 설정할 수 있다.
이 때, 보조 영역의 영상 데이터는 주요 영역보다 낮은 품질로 인코딩할 수 있다.
스트리밍 서비스 장치(200)는, 콘텐츠의 실행화면을 주요 영역과 보조 영역으로 이분하는 것뿐만 아니라, 주요도를 단계별로 나누고 주요도의 단계에 따라 인코딩 품질을 단계별로 설정하는 것도 가능하다.
이러한 클라이언트 장치(100)와 스트리밍 서비스 장치(200)는 통신망(300)을 통해 서로 연결될 수 있다. 통신망(300)은 일반적으로 이용되는 인터넷망일 수 있다.
도 2는 본 발명의 실시 예에 따른 스트리밍 서비스 방법을 나타낸 메시지 흐름도이다.
도 2를 참조하면, 먼저, 스트리밍 서비스 장치(200)는 클라이언트 장치(100)로부터 서비스 요청을 수신한다(S200)
이후, 스트리밍 서비스 장치(200)는 클라이언트 장치(100)로부터 요청받은 콘텐츠를 실행한다(S202).
콘텐츠가 실행되면, 스트리밍 서비스 장치(200)는 콘텐츠를 실행하여 생성된 실행화면을 분할한다(S204). 이 때, 스트리밍 서비스 장치(200)는 실행화면을 콘텐츠의 내용을 기준으로 분할할 수 있다. 영상 중 분할할 위치, 크기, 모양 역시 콘텐츠의 내용을 기준으로 설정된다. 콘텐츠의 내용에 따라 그 실행화면은 주요 영역과 보조 영역으로 구별된다. 콘텐츠의 주요 영역과 보조 영역은 콘텐츠 제작자 또는 스트리밍 서비스 장치(200)의 관리자에 의해 임의로 설정될 수 있다. 콘텐츠가 영화나 TV 드라마인 경우에는 화면 인식 기술을 이용하여 배우의 얼굴이나 클로즈업된 사물을 인식하여 해당 부분을 주요 영역으로 설정하는 것도 가능하다. 콘텐츠가 게임인 경우에는 게임 데이터를 참조하여 주요 영역과 보조 영역을 분할할 수 있다.
스트리밍 서비스 장치(200)는 분할된 각 영역에 대하여 인코딩 품질을 설정한다(S206). 스트리밍 서비스 장치(200)는 분할된 영역 중 주요 영역에 대하여 보조 영역보다 인코딩 품질을 높게 설정할 수 있다. 또는, 주요 영역에 대한 인코딩 품질은 콘텐츠 자체에 설정된 품질과 동일하게 설정하면서 보조 영역에 대한 인코딩 품질을 주요 영역에 대한 인코딩 품질보다 낮게 설정할 수 있다.
여기서 인코딩 품질을 결정하는 요소는 영상의 해상도, 비트율(Bit Rate), 초당 프레임이 될 수 있다.
스트리밍 서비스 장치(200)는 설정된 인코딩 품질에 따라 실행화면의 각 영역을 인코딩하고(S208), 인코딩한 영상 데이터를 클라이언트 장치(100)로 전송한다(S210).
클라이언트 장치(100)는 수신한 인코딩된 영상 데이터를 디코딩하고, 디스플레이부를 통해 디코딩된 영상을 출력한다(S212)
이상으로, 본 발명의 실시 예에 따른 스트리밍 서비스 방법에 있어서, 클라이언트 장치(100)와 스트리밍 서비스 장치(200) 사이에서 발생하는 메시지 흐름에 대하여 설명하였다.
이하에서는, 본 발명의 실시 예에 따른 각 장치의 구조 및 동작에 대하여 설명하도록 한다.
도 3은 본 발명의 실시 예에 따른 클라이언트 장치(100)의 구조를 개략적으로 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 실시 예에 따른 클라이언트 장치(100)는 통신부(110), 저장부(120), 제어부(130), 디스플레이부(140)를 포함하여 구성될 수 있다.
통신부(110)는 통신망(300)과 연결되어 스트리밍 서비스 장치(200)와 본 발명의 실시를 위한 데이터를 송수신하기 위한 구성이다. 통신부(110)는 스트리밍 서비스 장치(200)로부터 인코딩된 영상 데이터를 수신한다.
저장부(120)는 컴퓨터 판독 가능한 기록 매체로서 클라이언트 장치(100)가 본 발명을 실시하기 위해 필요한 응용 프로그램을 저장한다. 더하여, 스트리밍 서비스 장치(200)로부터 수신한 인코딩된 영상 데이터 및 상기 인코딩된 영상 데이터를 디코딩한 영상 데이터를 저장할 수 있다.
또한, 저장부(120)는 스트리밍 서비스 제공 시 사용자를 인증하기 위한 인증 정보를 더 포함할 수 있다. 상기 인증 정보는 아이디(ID)와 비밀번호의 형식일 수 있으며, 또는 사용자가 인증을 위해 등록한 생체 정보일 수도 있다.
제어부(130)는 프로세서와 운영체제, 그리고 본 발명의 실시를 위한 응용 프로그램을 동작시키기 위한 프로세서(Processor)에 해당한다. 제어부(130)는 저장부(120)에 저장된 프로그램을 실행시키고, 통신부(110)를 통해 수집한 정보를 실행된 응용 프로그램에 적용시켜 본 발명의 실시가 이루어질 수 있도록 한다.
더하여, 제어부(130)는 통신부(110)를 제어하여 스트리밍 서비스 장치(200)와 통신망(300)을 통해 서비스에 필요한 데이터를 송수신하는 과정을 제어할 수 있다.
또한, 제어부(130)는 스트리밍 서비스 장치(200)로부터 수신한 인코딩된 영상 데이터를 디코딩하기 위한 구성을 더 포함할 수 있다. 제어부(130)는 인코딩된 영상 데이터를 디코딩하고, 디스플레이부(140)가 디코딩된 영상 데이터를 출력하도록 제어할 수 있다.
디스플레이부(140)는 본 발명의 실시 예에 따라 스트리밍 서비스 장치(200)에 의해 제공된 화면을 사용자에게 출력하기 위한 구성이다. 디스플레이부는 터치스크린, LCD(Liquid Crystal Display)일 수 있으며, HMD 형태의 디스플레이 장치일 수 있다.
디스플레이부(140)가 HMD 장치인 경우, 안경 형태 또는 기타 머리에 착용 가능한 형태의 장치가 될 수 있으며, 360도 영상을 디스플레이할 수 있다.
미도시 되었으나, 본 발명의 실시 예에 따른 클라이언트 장치(100)는 지문 인식 센서나 홍채 인식 센서 등 생체 인식 센서를 더 포함할 수 있으며, 사용자 별로 스트리밍 서비스에 접속하여 서비스를 이용하거나, 결제 과정을 진행하기 위한 인증 정보로 활용될 수 있다.
또한, 미도시 되었으나, 본 발명의 실시 예에 따른 클라이언트 장치(100)는 키보드, 마우스, 터치패드와 같은 입력부를 더 포함할 수 있다.
이상으로, 본 발명의 실시 예에 따른 클라이언트 장치(100)의 구조에 관하여 설명하였다.
이하에서, 본 발명의 실시 예에 따른 클라이언트 장치(100)의 동작에 관하여 설명한다.
도 4는, 본 발명의 실시 예에 따른 클라이언트 장치(100)의 동작을 나타낸 흐름도이다.
도 4를 참조하면, 먼저, 클라이언트 장치(100)는 스트리밍 서비스 장치(200)에 접속하여 특정 콘텐츠를 요청한다(S400).
이후, 클라이언트 장치(100)는 스트리밍 서비스 장치(200)에서 일련의 과정을 거쳐 인코딩된 영상 데이터를 수신한다(S402).
클라이언트 장치(100)는 수신한 영상 데이터를 디코딩하여 디스플레이부(140)를 통해 출력한다(S404). 이 때, 영상 데이터는 주요 영역과 보조 영역으로 구분되어 있으며, 주요 영역이 보조 영역보다 고품질의 영상으로 출력된다. 여기서 고품질의 영상이란 영상의 해상도, 비트율 또는 초당 프레임이 상대적으로 높은 것을 의미한다.
이상으로, 본 발명의 실시 예에 따른 클라이언트 장치(100)의 동작에 관하여 설명하였다.
이하에서, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 구조 및 동작에 대하여 설명하도록 한다.
도 5는 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 구조를 개략적으로 도시한 블록도이다.
도 5를 참조하면, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)는, 통신 모듈(100), 저장 모듈(200), 제어 모듈(200)을 포함하여 구성될 수 있다.
통신 모듈(210)은 통신망과 연결되어 클라이언트 장치(100)와 데이터를 송수신하기 위한 구성이다. 통신 모듈(210)은 클라이언트 장치(100)로부터 스트리밍 서비스 요청을 수신하고, 인코딩된 영상 데이터를 클라이언트 장치(100)로 전송한다.
저장 모듈(220)은 스트리밍 서비스와 관련된 데이터를 저장하기 위한 구성이다. 스트리밍 서비스 관련 데이터에는 스트리밍 서비스 장치(200)를 서버로써 동작시키기 위한 운영 체제 및 응용 프로그램이 포함될 수 있다.
저장 모듈(220)에 저장된 응용 프로그램은 사용자에게 제공할 콘텐츠 및 유저 인터페이스(User Interface, UI)와 관련된 응용 프로그램일 수 있다.
더하여, 저장 모듈(220) 스트리밍 서비스 장치(200)에서 특정한 콘텐츠를 실행하여 실행된 실행화면을 기반으로 생성된 영상 데이터 및 분할된 실행화면을 기반으로 생성된 영상 데이터가 저장되어 있을 수 있다. 저장된 영상 데이터는 각 콘텐츠 별로 주요 영역과 보조 영역이 구분되어 있을 수 있으며, 설정된 영역에 따라 설정된 품질대로 인코딩된 영상 데이터가 저장되어 있을 수 있다.
제어 모듈(230)은 스트리밍 서비스 장치(200)의 운영 체제 및 각 구성을 구동시키는 프로세서가 될 수 있다. 본 발명의 실시 예에 따른 제어 모듈(230)은 클라이언트 장치(100)로부터 스트리밍 서비스의 실행 요청을 받아 클라이언트 장치(100)에 스트리밍 서비스를 제공한다. 앞서 설명한 바와 같이, 스트리밍 서비스에는 TV나 VOD(Video On Demand)를 포함한 각종 영상 제공 서비스가 포함될 수 있으며, 스트리밍 기반의 게임 서비스가 포함될 수도 있다.
제어 모듈(230)은 스트리밍 서비스의 제공에 있어서, 한정된 자원 하에서 보다 효율적으로 스트리밍 서비스를 제공하기 위해, 콘텐츠의 실행화면 전체 중 콘텐츠 내용을 고려할 때 보다 주요한 영역을 다른 영역보다 고품질로 제공하기 위한 동작을 수행한다.
보다 구체적으로, 제어 모듈(230)은, 특정 콘텐츠를 실행하고, 실행된 화면을 콘텐츠 내용에 따라 분할한다.
이때, 제어 모듈(230)은, 콘텐츠의 실행화면을 주요 영역과 보조 영역으로 분할할 수 있다.
제어 모듈(230)은 분할된 실행화면 별로 인코딩 품질을 설정하고, 설정된 품질에 따라 영상 데이터를 인코딩하여 클라이언트 장치(100)로 전송한다.
이때, 제어 모듈(230)은, 분할된 실행화면 중 보조 영역에 대한 인코딩 품질을 주요 영역에 대한 인코딩 품질보다 낮게 설정할 수 있다.
미도시 되었으나, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)는 하나 이상의 입력 또는 출력 모듈을 포함할 수 있다.
이상으로, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 구조에 대하여 설명하였다.
이하에서, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 동작에 대하여 설명한다.
도 6은, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)의 동작을 나타낸 흐름도이다.
도 6을 참조하면, 먼저, 본 발명의 실시 예에 따른 스트리밍 서비스 장치(200)는 특정 클라이언트 장치(100)로부터 스트리밍 서비스 실행 요청을 받아, 특정 콘텐츠를 실행한다(S600). 이 때, 스트리밍 서비스 장치(200)는 클라이언트 장치(100)로부터 사용자 인증 정보를 수신하여 사용자 인증을 수행할 수 있다.
이후, 스트리밍 서비스 장치(200)는 상기 특정 콘텐츠의 실행에 따라 생성된 실행화면을, 콘텐츠의 내용에 따라 분할한다(S602). 이 때, 콘텐츠의 실행화면은 콘텐츠의 내용에 따라 주요 영역과 보조 영역으로 분할될 수 있다.
스트리밍 서비스 장치(200)는, 분할한 영역의 종류에 따라 인코딩 품질을 설정한다(S604). 이 때, 주요 영역으로 설정된 부분이 보조 영역으로 설정된 부분에 비하여 상대적으로 고품질로 인코딩되도록 설정한다. 보다 구체적으로, 보조 영역으로 설정된 부분의 인코딩 품질을 콘텐츠에 기본적을 설정된 것보다 낮은 품질로 설정할 수 있다.
스트리밍 서비스 장치(200)는, 설정된 인코딩 품질에 따라 실행화면을 인코딩하여 영상 데이터를 생성하고(S606), 생성된 영상 데이터를 클라이언트 장치(100)로 전송한다(S608).
본 발명은 본 발명이 속하는 분야의 통상의 지식을 가진 자에 의하여 다양한 수정 및 변형이 가능하며, 본 발명에 따른 시스템은 컴퓨터로 판독 가능한 기록 매체에 컴퓨터가 판독 가능한 프로그램으로 구현될 수 있다. 더하여, 이런 프로그램은 네트워크로 연결된 컴퓨터 시스템에 분산되어 저장되어 있을 수 있다.
본 발명은 스트리밍 서비스 장치 및 방법에 관한 것으로서, 더욱 상세하게는 콘텐츠의 실행화면을 콘텐츠의 내용에 따라 분할하고, 내용상 중요한 부분을 그렇지 않은 부분보다 상대적으로 고품질로 인코딩하여 스트리밍 서비스를 제공하기 위한 장치 및 방법에 관한 것이다.
본 발명의 스트리밍 서비스 장치를 통해 한정된 네트워크 자원 하에서 네트워크 트래픽을 감소시키면서 사용자 경험은 상대적으로 높게 유지하여 보다 효율적으로 사용자가 만족할 만한 품질의 스트리밍 서비스를 제공할 수 있다.
따라서, 본 발명에 따른 스트리밍 서비스 장치 및 방법을 통해 산업 발전에 이바지 할 수 있고, 더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.
100: 클라이언트 장치
200: 스트리밍 서비스 장치

Claims (8)

  1. 스트리밍 서비스 장치에 의한 스트리밍 서비스 방법에 있어서,
    특정 콘텐츠를 실행하는 단계;
    상기 특정 콘텐츠의 실행화면을 콘텐츠를 구성하는 부분 중 콘텐츠의 내용을 파악하기 위하여 필수적인 부분에 해당하는 주요 영역과 콘텐츠를 구성하는 부분 중 상기 주요 영역에 비하여 내용상 중요도가 낮은 부분에 해당하는 보조 영역으로 분할하는 단계;
    상기 보조 영역으로 분할된 영역에 대하여 상기 주요 영역으로 분할된 영역보다 인코딩 품질을 낮게 설정하는 단계;
    상기 실행화면을 상기 설정된 인코딩 품질에 따라 인코딩하여 영상 데이터를 생성하는 단계;
    상기 영상 데이터를 클라이언트 장치로 전송하는 단계;를 포함하되,
    상기 주요 영역은 콘텐츠가 영화 또는 TV 드라마인 경우 현재 대사를 말하고 있는 인물, 초점이 맞춰져 있는 인물 또는 사물 중 적어도 하나를 포함하고, 콘텐츠가 스트리밍 게임인 경우 사용자의 캐릭터, 사용자가 선택한 객체, 게임을 진행하기 위한 목표물 중 적어도 하나를 포함하며,
    상기 보조 영역은 보조 인물, 배경 중 적어도 하나를 포함하는 것을 특징으로 하는 스트리밍 서비스 방법.
  2. 제1항에 있어서,
    상기 영상 데이터는,
    360도 영상을 인코딩한 영상 데이터인 것을 특징으로 하는 스트리밍 서비스 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    사용자가 상기 스트리밍 서비스를 제공받을 수 있는 자인지 인증하기 위한 사용자 인증 단계;
    를 더 포함하는 것을 특징으로 하는 스트리밍 서비스 방법.
  6. 클라이언트 장치에 인코딩한 영상 데이터를 송신하는 통신 모듈;
    특정 콘텐츠를 실행하고, 상기 특정 콘텐츠의 실행화면을 콘텐츠를 구성하는 부분 중 콘텐츠의 내용을 파악하기 위하여 필수적인 부분에 해당하는 주요 영역과 콘텐츠를 구성하는 부분 중 상기 주요 영역에 비하여 내용상 중요도가 낮은 부분에 해당하는 보조 영역으로 분할하며, 상기 보조 영역으로 분할된 영역에 대하여 상기 주요 영역으로 분할된 영역보다 인코딩 품질을 낮게 설정하여 각 영상 데이터를 인코딩하는 제어 모듈;을 포함하되,
    상기 주요 영역은 콘텐츠가 영화 또는 TV 드라마인 경우 현재 대사를 말하고 있는 인물, 초점이 맞춰져 있는 인물 또는 사물 중 적어도 하나를 포함하고, 콘텐츠가 스트리밍 게임인 경우 사용자의 캐릭터, 사용자가 선택한 객체, 게임을 진행하기 위한 목표물 중 적어도 하나를 포함하며,
    상기 보조 영역은 보조 인물, 배경 중 적어도 하나를 포함하는 것을 특징으로 하는 스트리밍 서비스 장치.
  7. 삭제
  8. 삭제
KR1020160110441A 2016-08-30 2016-08-30 제작 의도 기반 적응형 스트리밍 서비스 장치 및 방법 KR102156234B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160110441A KR102156234B1 (ko) 2016-08-30 2016-08-30 제작 의도 기반 적응형 스트리밍 서비스 장치 및 방법
PCT/KR2016/009649 WO2018043771A1 (ko) 2016-08-30 2016-08-30 제작 의도 기반 적응형 스트리밍 서비스 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160110441A KR102156234B1 (ko) 2016-08-30 2016-08-30 제작 의도 기반 적응형 스트리밍 서비스 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180025367A KR20180025367A (ko) 2018-03-09
KR102156234B1 true KR102156234B1 (ko) 2020-09-16

Family

ID=61301083

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160110441A KR102156234B1 (ko) 2016-08-30 2016-08-30 제작 의도 기반 적응형 스트리밍 서비스 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102156234B1 (ko)
WO (1) WO2018043771A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100996241B1 (ko) * 2009-05-18 2010-11-23 (주)필링크 동영상 분할 장치 및 그에 따른 동영상 분할 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341188A (ja) * 2003-05-15 2004-12-02 Nec Plasma Display Corp マルチスクリーン表示装置
KR100573983B1 (ko) 2005-08-19 2006-04-26 (주)큐텔소프트 3차원 가상현실 콘텐츠 구현 시스템 및 구현 방법
KR101420638B1 (ko) * 2012-12-14 2014-07-17 에스케이플래닛 주식회사 스트리밍 서비스에서 콘텐츠 제공을 위한 장치 및 이를 위한 방법
KR101372358B1 (ko) * 2013-09-24 2014-03-12 주식회사 다누시스 영상 데이터 출력 시스템
KR20150093507A (ko) * 2014-02-07 2015-08-18 광운대학교 산학협력단 시거리 기반 적응적 비디오 스트리밍 서비스 제공 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100996241B1 (ko) * 2009-05-18 2010-11-23 (주)필링크 동영상 분할 장치 및 그에 따른 동영상 분할 방법

Also Published As

Publication number Publication date
KR20180025367A (ko) 2018-03-09
WO2018043771A1 (ko) 2018-03-08

Similar Documents

Publication Publication Date Title
CN110597774B (zh) 一种文件分享方法、系统、装置、计算设备及终端设备
US9979770B2 (en) Method of requesting a social media link authorization based on a social media content item
WO2022087920A1 (zh) 视频播放方法、装置、终端及存储介质
US8928810B2 (en) System for combining video data streams into a composite video data stream
US11451838B2 (en) Method for adaptive streaming of media
US20140250460A1 (en) Virtual desktop services
US11153633B2 (en) Generating and presenting directional bullet screen
US8876601B2 (en) Method and apparatus for providing a multi-screen based multi-dimension game service
US8892633B2 (en) Apparatus and method for transmitting and receiving a user interface in a communication system
KR20130009745A (ko) 인터넷 상에서 컨텐츠를 공개하기 위한 시스템 및 방법
US20190362053A1 (en) Media distribution network, associated program products, and methods of using the same
US10638135B1 (en) Confidence-based encoding
WO2019240780A1 (en) Systems and methods for seamlessly outputting embedded media from a digital page on nearby devices most suitable for access
KR102156234B1 (ko) 제작 의도 기반 적응형 스트리밍 서비스 장치 및 방법
JP2014075737A (ja) 画像処理装置、画像処理方法及び画像処理システム
Xie et al. Perceptually optimized quality adaptation of viewport-dependent omnidirectional video streaming
US11330340B2 (en) Information processing apparatus, information processing method, and information processing program
US11973994B2 (en) Media processing method
KR20180025366A (ko) 사용자 의도 기반의 인터렉티브 분할 영상 스트리밍 서비스 장치 및 방법
US11870830B1 (en) Embedded streaming content management
US20210308570A1 (en) Method and apparatus for game streaming
US11880376B2 (en) Reweighting network for subsidiary features in a prediction network
JP7419529B2 (ja) 遠隔端末のための没入型テレカンファレンス及びテレプレゼンスのインタラクティブオーバーレイ処理
KR101404771B1 (ko) 식별코드를 이용한 실시간 동영상 이어보기 서비스 제공방법 및 이를 위한 동영상 제공장치
JP6707621B1 (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant