KR20170120972A - 네트워크 상에서 실시간 멀티미디어 서비스의 품질을 제어하는 방법 및 이를 위한 장치 - Google Patents

Abstract

본 발명은 네트워크 중간에서 실시간 멀티미디어 서비스 품질 제어 방법 및 이를 위한 장치에 관한 것으로서, 단말장치가 컨텐츠 제공 장치로부터 스트리밍 방식으로 현재 서비스 환경에 부합하는 컨텐츠의 패킷을 수신하여 재생하면서, 단말장치의 연산 능력과 단말장치와 컨텐츠 제공 장치 간의 네트워크 전송 능력을 측정하여, 상기 측정결과에 따라 컨텐츠 제공 장치로 보조 정보 생성, FEC 패킷 생성, 필터링 등의 다양한 동작을 요청하여 상기 요청에 따른 다양한 동작을 수행함으로써, 사용자에게 서비스 환경의 변화에 따른 일시적인 끊김 현상이 없이 컨텐츠를 제공할 수 있다.

Description

네트워크 상에서 실시간 멀티미디어 서비스의 품질을 제어하는 방법 및 이를 위한 장치{Method and Apparatus for Controlling User's QoE in Real-time Multimedia Service}

본 발명은 네트워크 상에서 서비스 품질을 제어하는 방법 및 이를 위한 장치에 관한 것으로서, 더욱 상세하게는 네트워크 중간에서 실시간 스트리밍 서비스를 기반으로 보조 정보를 만들거나 FEC 패킷 생성, 또는 필터링 등 다양한 동작을 수행함으로써, 컨텐츠의 해상도 및 품질을 효율적으로 변경할 수 있으며, 컨텐츠를 끊김 없이 제공하기 위한 방법 및 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

실시간 멀티미디어 서비스란, 멀티미디어 데이터의 전송 방식 중 하나로, 음성 및 영상의 컨텐츠를 재생 또는 소비하는 방식을 말한다. 이러한 실시간 멀티미디어 서비스는 서비스의 형태에 따라 대화형 서비스, 인터랙티브 서비스, 스트리밍 서비스로 나눌 수 있고, 이 중 스트리밍 서비스는 대용량의 멀티미디어 데이터를 전부 다운로드 하지 않고, 현재 재생하려고 하는 일부 데이터만 수신되면 즉시 실시간으로 재생이 가능하다.

이러한 스트리밍 서비스로 인하여, 생중계, 생방송과 같은 라이브 방송 서비스에서는 기존의 다운로드 형태에 비해 실시간성을 더욱 보장할 수 있게 되었다.

그런데, 컨텐츠를 소비하는 소비자들은 스트리밍 서비스에서도 컨텐츠를 다운로드 받아, VoD 형태로 재생하는 경우와 같이 고화질의 컨텐츠를 끊김 없이 안정되게 제공받기를 원하지만, 고화질의 컨텐츠를 끊김 없이 제공받기 위해서는 고화질의 컨텐츠를 전송하기 위한 네트워크의 가용 비트율이 충분해야 하며, 가용 비트율이 충분하지 못한 경우, 고화질의 컨텐츠를 끊김 없이 제공하는데 한계가 발생한다.

이는 상기와 같이 충분하지 못한 가용 비트율 또는 혼잡으로 인하여 전송 패킷이 손실되고 결과적으로 서비스 컨텐츠의 열화를 초래하게 된다.

또한, 네트워크의 가용 비트율이 고화질의 컨텐츠를 전송하기에는 낮으나 저화질의 컨텐츠를 전송하기에는 높은 경우, 혹은 네트워크의 상황에 따라 가용 비트율의 변동이 심한 경우, 컨텐츠 제공 장치는 안정적인 서비스 제공을 위해 저화질의 컨텐츠를 사용자에게 전송하게 되며, 이는 가용 비트율을 전부 사용하지 못하여 대역폭의 낭비를 초래하게 된다.

그 외에도 컨텐츠를 소비하는 소비자들과 컨텐츠 제공 장치를 연결해주는 통신 네트워크가 끊겨 안정적으로 서비스를 제공할 수 없는 경우, 또는 특정 서비스가 발생하는 트래픽이 급격히 많아져서 컨텐츠 제공 장치의 로드율이 증가하고 부하율이 높아짐으로써 속도가 저하되는 경우 등이 있다.

따라서, 이런 다양한 문제점들을 네트워크 중간에서 적응적으로 대응하여 사용자의 QoE를 향상 시킬 수 있는 방법들이 요구되고 있는 실정이다.

한국공개특허 제10-2016-0005663호 (명칭: 저지연 서비스를 위한 MMT 장치 및 방법, 공개일: 2016.01.15)

본 발명은 상술한 요구를 만족시키기 위하여 제안된 것으로서, 보조 정보의 선별적 추가 전송, 우선 순위에 따른 기본 패킷 제어를 이용하여 네트워크의 가용 비트율을 최대한 사용하거나 서비스 도중 연결이 실패한 경우, 다중 경로를 이용하여 안정적인 서비스를 제공하는 기능, 또는 특정 서비스의 트래픽이 급격히 많아져 서버의 로드율 및 부하율이 높아져 속도가 저하되는 경우, 서버 분산 처리 즉, 로드 밸런싱을 통해 효율을 높이는 기능 등의 다양한 방법을 이용하여 서비스 품질을 향상시킬 수 있는 사용자 QoE 증가 방법 및 장치를 제공하고자 한다.

특히, 단말장치가 단말장치의 연산능력과 단말장치와 컨텐츠 제공 장치 간의 네트워크 전송 능력에 따라 컨텐츠의 해상도를 증가시키기 위한 보조 정보의 전송을 요청하고, 상기 요청에 따라 제공된 보조 정보를 이용하여 현재 서비스 중인 컨텐츠의 해상도를 향상시키며, 컨텐츠 수신에 있어서 끊김 없으면서, 사용자에게 고 해상도의 컨텐츠를 제공할 수 있는 컨텐츠 해상도 증가 방법 및 장치를 제공하고자 한다.

또한, 본 발명에서 명명하고 있는 컨텐츠 제공 장치는 기본 패킷으로 구성된 컨텐츠를 최초로 보유하고 있는 메인 서버뿐만 아니라 네트워크 중간에 존재하는 하나의 엔터티일 수 있다. 이 엔터티는 MMT MANE가 될 수 있으며, 클라우드, CDN 등이 될 수 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 네트워크 상에서 실시간 멀티미디어 서비스의 품질을 제어 방법은 컨텐츠 제공 장치로부터 스트리밍 방식으로 컨텐츠를 수신하여 재생하는 단말장치에서의 멀티미디어 서비스 품질 제어 방법에 있어서, 상기 컨텐츠 제공 장치로부터 스트리밍 방식으로 상기 컨텐츠의 기본 패킷을 수신하는 단계, 상기 컨텐츠 제공 장치로부터 컨텐츠를 수신하여 재생하는 스트리밍 서비스 환경에서의 패킷 처리 능력을 측정하는 단계, 상기 측정된 패킷 처리 능력이 기 설정된 조건을 만족하면, 상기 컨텐츠 제공장치에 서비스 품질을 제어하기 위한 요청 상세 정보를 포함하는 피드백 메시지를 전송하는 단계, 상기 요청 상세 정보에 따라, 상기 컨텐츠 제공 장치로부터 변경된 기본 패킷을 수신하거나 상기 기본 패킷과 함께 보조 정보를 수신하는 단계 및 상기 수신된 변경 기본 패킷 또는 기본 패킷과 보조 정보를 기반으로 상기 컨텐츠를 재생하는 단계를 포함할 수 있다.

이때, 상기 요청 상세 정보는 상기 컨텐츠의 해상도를 증가시키거나 상기 컨텐츠의 시점(視)을 늘리기 위한 보조 정보 전송 요청, 멀티미디어 컨텐츠의 일정 데이터 영역을 제외하고 전송할 것을 요청하는 일정 데이터 비 전송 요청, 컨텐츠를 구성하는 하나 이상의 프레임 타입 중 적어도 어느 하나의 프레임 타입을 필터링 하여 전송할 것을 요청하는 필터링 요청, 기 수행중인 특정 기능을 정지하도록 요청하는 기능 정지 요청 및 비트 오류를 수정하기 위한 오류 검출 패킷 전송 요청 중 적어도 하나를 포함할 수 있고, 상기 재생하는 단계는 상기 요청 상세 정보에 따라 보조 정보가 수신되면, 상기 기본 패킷에 상기 보조 정보를 결합하여, 상기 컨텐츠의 해상도를 증가시키거나 상기 컨텐츠의 시점을 늘려 재생할 수 있으며, 상기 전송하는 단계는 상기 측정된 패킷 처리 능력을 고려하여, 공간적 해상도 증가를 위한 제1 보조 정보 및 시간적 해상도 증가를 위한 제2 보조 정보 중 적어도 하나의 보조 정보에 대한 전송을 요청하는 요청 상세 정보를 포함하는 피드백 메시지를 전송할 수 있다.

또한, 상기 재생하는 단계는 상기 제1 보조 정보를 수신하면, 상기 제1 보조 정보를 이용한 보간법(interpolation)을 통해 상기 컨텐츠의 공간적 해상도를 증가시켜 재생하는 단계 및 상기 제2 보조 정보를 수신하면, 상기 컨텐츠의 기본 패킷과 제2 보조 정보를 시간적으로 결합하여, 상기 컨텐츠의 시간적 해상도를 증가시켜 재생하는 단계를 포함할 수 있고, 상기 측정된 패킷 처리 능력이 기 설정된 조건을 만족하지 않으면, 상기 수신한 기본 패킷을 기반으로 컨텐츠를 재생하는 단계를 더 포함할 수 있으며, 상기 피드백 메시지는 패킷 ID, 요청 수행 여부 정보 및 요청 수행 시작 시간 정보 중 적어도 하나를 더 포함할 수 있다.

또한, 상기 패킷은 패킷의 페이로드에 포함되는 최소 디코딩 단위인 적어도 하나의 MFU(Media Fragment Unit) 또는 상기 적어도 하나의 MFU를 포함하여 이루어지는 적어도 하나의 MPU(Media Processing Unit)로 구성되는 MMT(MPEG Media Transport) 패킷일 수 있고, 상기 재생하는 단계 이후에, 상기 측정된 패킷 처리 능력이 기 설정된 조건을 만족하지 않으면, 상기 요청 상세 정보에 따른 패킷 전송 중단을 요청하는 단계를 더 포함할 수 있으며, 상기 패킷 처리 능력은 상기 단말장치의 연산능력 및 상기 단말장치와 컨텐츠 제공 장치 간의 네트워크 전송 능력 중 적어도 하나를 포함할 수 있다.

또한, 상기 요청하는 단계는 상기 측정된 연산능력과 기본 패킷을 처리하는데 필요한 연산능력의 차이가 상기 보조 정보를 처리하는데 필요한 연산능력보다 큰 경우인 제1 조건 및 상기 측정된 네트워크 전송 능력과 기본 컨텐츠를 전송하는데 필요한 네트워크 전송 능력의 차이가 상기 보조 정보를 전송하는데 필요한 네트워크 전송 능력보다 큰 경우인 제2 조건 중 적어도 하나의 조건을 만족하는 경우, 상기 보조 정보 전송을 요청할 수 있다.

한편, 상술한 실시간 멀티미디어 서비스 품질 제어 방법은 상술한 바와 같은 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체로 제공될 수 있고, 상술한 바와 같은 방법을 실행시키도록 구현되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 제공될 수도 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 단말장치는 스트리밍 서비스를 통해 컨텐츠를 수신하여 재생하면서, 상기 컨텐츠의 서비스 품질을 제어하는 단말장치에 있어서, 통신망과 연동되어 컨텐츠 재생 장치와 패킷을 송수신하는 통신 모듈 및 상기 컨텐츠 제공 장치로부터 스트리밍 방식으로 상기 컨텐츠의 기본 패킷을 상기 통신모듈을 통해 수신하고, 상기 컨텐츠 제공 장치로부터 컨텐츠를 수신하여 재생하는 스트리밍 서비스 환경에서의 패킷 처리 능력을 측정하여, 상기 패킷 처리 능력이 기 설정된 조건을 만족하면, 상기 컨텐츠 제공 장치에 서비스 품질을 제어하기 위한 요청 상세 정보를 포함하는 피드백 메시지를 전송하여, 상기 요청 상세 정보에 따른 컨텐츠의 패킷이 수신되면, 상기 요청 상세 정보를 기반으로 상기 컨텐츠를 재생하도록 제어하는 제어모듈을 포함할 수 있다.

본 발명에 따르면, 단말장치가 컨텐츠 제공 장치로부터 스트리밍 방식으로 현재 서비스 환경에 부합하는 컨텐츠의 패킷을 수신하여 재생하면서, 단말장치의 연산 능력과 단말장치와 컨텐츠 제공 장치 간의 네트워크 전송 능력을 측정하여, 상기 측정결과에 따라 컨텐츠 제공 장치로 보조 정보 생성, FEC 패킷 생성, 필터링 등의 다양한 동작을 요청하여 상기 요청에 따른 다양한 동작을 수행함으로써, 사용자에게 서비스 환경의 변화에 따른 일시적인 끊김 현상이 없이 컨텐츠를 제공할 수 있다.

아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.

도1은 본 발명의 실시 예에 따른 실시간 멀티미디어 서비스 제어 방법을 구현하는 시스템의 구성을 설명하기 위한 도면이다.
도2는 본 발명의 실시 예에 따른 MMT 패킷 구조를 설명하기 위한 도면이다.
도3은 본 발명에 따른 단말장치의 주요 구성을 나타내는 블록도이다.
도4 내지 6은 본 발명의 실시 예에 따른 단말장치의 동작과정을 설명하기 위한 흐름도이다.
도7은 본 발명에 따른 컨텐츠 제공 장치의 주요 구성을 나타내는 블록도이다.
도8은 본 발명의 실시 예에 따른 컨텐츠 제공 장치의 동작과정을 설명하기 위한 흐름도이다.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "부", "기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

상술한 용어들 이외에, 이하의 설명에서 사용되는 특정 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.

이하의 설명 및 특허청구범위에서 본 발명에 따른 패킷 전송 방법을 구현하기 위한 기술적인 배경은 MMT(MPEG Media Transport) 인 것을 가정하여 설명하도록 한다.

즉, 본 발명의 실시 예에서 설명되는 컨텐츠 제공 장치(300)는 MMTP(MPEG Media Transport Protocol)의 MANE(MMT Aware Network Entity)가 될 수 있고, 본 발명의 실시 예에서 설명되는 패킷은 MMT 패킷이 될 수 있다.

한편, 이러한 MMT 패킷의 구조에 대한 상세한 설명은 후술하도록 한다.

그러나, 이는 본 발명의 이해를 돕기 위한, 편의상 예시일 뿐, 본 발명이 반드시 MMT 기술에만 한정되어 적용되는 것은 아니다.

그러면 이제, 본 발명의 실시 예에 따른 실시간 멀티미디어 서비스 품질 제어 방법에 대하여 도면을 참조하여 상세하게 설명하도록 한다.

도1은 본 발명의 실시 예에 따른 스트리밍 서비스, 즉, 실시간 멀티미디어 서비스에서 서비스 품질을 제어하기 위한 시스템의 구성을 나타내는 도면이다.

도1을 참조하면, 본 발명의 실시 예에 따른 실시간 멀티미디어 서비스에서 서비스 품질을 제어하기 위한 시스템은 단말장치(200) 및 컨텐츠 제공 장치(300)를 포함하여 구성될 수 있으며, 상기 단말장치(200)와 컨텐츠 제공 장치(300)는 통신망(100)을 통해서 연동된다.

그러면 도1을 참조하여 각 구성요소에 대해 개략적으로 설명하도록 한다.

먼저, 통신망(100)은 단말장치(200)와 컨텐츠 제공 서버(300)간 데이터 송수신을 위해 데이터를 전달하는 역할을 하며, 시스템 구현 방식에 따라 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식을 이용할 수도 있고, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), LTE-A (Long Term Evolution Advanced) 등의 무선 통신 방식을 이용할 수도 있으며, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.

단말장치(200)는 사용자의 조작에 따라 통신망(100)을 통해 컨텐츠 제공 장치(300)와 각종 데이터를 송수신할 수 있는 사용자의 장치를 의미한다.

이러한 단말장치(200)는 통신망(100)을 통하여 음성 또는 데이터 통신을 수행할 수 있으며, 데이터의 송수신 및 처리를 위한 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비할 수 있다. 또한, 이러한 본 발명의 단말장치(200)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 단말장치(200)는 스마트 폰(smart phone), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 Player 등의 이동 단말기는 물론, 스마트 TV(Smart TV), 노트북 컴퓨터(Laptop Computer), 데스크탑 컴퓨터 등과 같은 고정 단말기가 사용될 수도 있으며, 본 발명에 따른 데이터를 송수신 할 수 있는 장치라면, 그 어떠한 장치도 본 발명의 실시 예에 따른 단말장치(200)로 이용될 수 있다.

한편, 본 발명에 따른 단말장치(200)는 사용자의 입력에 따라 컨텐츠 제공 장치(300)로 컨텐츠 전송 요청을 하여, 컨텐츠 제공 장치(300)로부터 스트리밍 방식으로 컨텐츠를 수신할 수 있다.

이 때, 컨텐츠는 패킷 단위로 수신할 수 있으며, 패킷은 MMT 패킷일 수 있다.

한편, 단말장치(200)는 사용자의 입력에 따라 컨텐츠 제공 장치(300)로부터 사용자가 요청한 컨텐츠 데이터의 패킷을 수신할 수 있다.

이때, 단말장치(200)의 연산 능력 또는 단말장치(200)와 컨텐츠 제공 장치(300)간의 네트워크 전송 능력 등 컨텐츠 제공 장치(300)로부터 컨텐츠를 수신하여 재생하는 스트리밍 서비스 환경에서 사용자가 체감하는 서비스 품질, 즉, QoE를 증가시키기 위하여, 컨텐츠 제공 장치(300)로부터 수신하는 패킷을 조정해야 할 필요성이 있다.

한 가지 대표적인 예시로서, 패킷 처리 능력이 고해상도의 컨텐츠를 그대로 전송 받기 어려운 경우, 즉, 고해상도의 컨텐츠를 전송 받으려면 일시적인 끊김 현상이 다수 발생하는 경우에는 컨텐츠 제공 장치(300)로부터 저해상도의 컨텐츠를 수신하여, 사용자에게 컨텐츠를 끊김 없이 제공할 수 있도록 하는데, 저해상도의 컨텐츠를 전송하는 중에 다시 네트워크 전송 능력 또는 단말장치(200)의 연산 능력 등의 패킷 처리 능력이 좋아져, 고해상도의 컨텐츠를 전송하는 경우, 일시적인 끊김 현상이 발생하게 되고, 끊김 현상을 발생하지 않기 위해 저해상도의 컨텐츠를 지속하여 전송하는 경우, 네트워크 전송 능력의 낭비가 발생함과 함께, 사용자는 고해상도의 컨텐츠를 수신하지 못하여, 사용자의 QoE(Quality of Experience)가 하락하는 문제점이 발생한다.

이에 대해 좀 더 구체적으로 설명하면, HD 급 해상도를 가지는 컨텐츠를 전송하기는 어려운 환경에서 컨텐츠 제공 장치(300)는 단말장치(200)로 SD급 해상도를 가지는 컨텐츠를 전송하는데, 다시 컨텐츠 전송 환경이 호전된 경우, HD급 컨텐츠를 전송하면, 일시적인 끊김 현상이 발생하게 되며, SD급 해상도를 가지는 컨텐츠를 계속 전송하면 네트워크 전송 능력의 낭비와 함께, 사용자는 HD급 컨텐츠를 제공받을 수 없는 문제점이 발생하는 것이다.

이러한 문제점을 해결하기 위하여, 본 발명의 단말장치(200)는 단말장치(200)의 연산능력과 네트워크 전송 능력 중 적어도 하나를 포함하는 패킷 처리 능력을 측정하여, 상기 측정된 결과가 기 설정된 조건을 만족하면, 컨텐츠 제공 장치(300)에 서비스 품질을 제어하기 위한 요청 상세 정보를 포함하는 피드백 메시지를 전송하여, 서비스 품질을 제어한다.

상술한 예시에 있어서는, 컨텐츠 제공 장치(300)에 보조 정보 전송을 요청하여, 상기 요청에 따른 보조 정보를 수신하면, 상기 보조 정보를 이용하여 컨텐츠 해상도를 증가시킬 수 있는 것이다.

즉, SD급 컨텐츠를 수신하여 사용자에게 제공하던 단말장치(200)가 전송환경이 호전되었음을 인지하면, 컨텐츠 제공 장치(300)에 보조 정보 전송을 요청하여 수신하고, 상기 보조 정보를 이용하여 SD급 컨텐츠를 HD급 컨텐츠로 해상도를 증가시키는 것이다.

이러한 방법을 통하여, 단말장치(200)는 기존에 수신하던 SD급 해상도의 컨텐츠를 지속하여 받아, HD급 컨텐츠로 교체하여 수신하는 경우 발생하는 끊김 현상을 해결하면서도 사용자에게 HD급 컨텐츠를 제공할 수 있도록 하여, 해당 컨텐츠에 대한 사용자의 QoE를 높일 수 있다.

만약, 측정된 결과가 기 설정된 조건을 만족하지 않으면, 보조 정보 전송을 요청 등의 요청 상세 정보가 포함된 피드백 메시지 내의 정보를 통해 요청을 중단하여, 저해상도의 컨텐츠(상술한 예에서는 SD급 해상도의 컨텐츠)를 사용자에게 제공한다.

이러한 단말장치(200)의 컨텐츠 해상도 증가를 위한 구체적인 방안은 상세히 후술하도록 한다.

한편, 상기 단말장치(200)의 연산 능력과 단말장치(200)와 컨텐츠 제공 장치(300) 간의 네트워크 전송 능력 중 적어도 하나를 포함하는 패킷 처리 능력은 컨텐츠 제공 장치(300)로부터 컨텐츠를 수신하여 재생하는 스트리밍 서비스 환경에서의 패킷 처리 능력을 의미할 수 있다.

즉, 단말장치(200)가 컨텐츠를 요청하여, 해당 컨텐츠를 패킷 단위 수신하여 사용자에게 제공하기까지의 전 과정에 있어서의 패킷 처리 능력을 의미하는 것이며, 이러한 패킷 처리 능력에는 대표적으로 단말장치(200)의 연산 능력과 단말장치(200)와 컨텐츠 제공 장치(300) 간의 네트워크 전송 능력이 포함될 수 있는 것이다.

마지막으로 컨텐츠 제공 장치(300)는 컨텐츠 제공 장치(300)에 저장되어 있거나, 외부 장치(미도시)로부터 수신한 동영상 등의 컨텐츠 데이터를 통신망(100)을 통해서 단말장치(200)로 전송하기 위한 장치이다.

본 발명에서 컨텐츠 제공 장치(300)는 단말장치(200)가 보조 정보 전송 요청 등의 요청 상세 정보를 포함하는 피드백 메시지를 전송하면, 상기 요청 상세 정보에 따른 컨텐츠의 패킷(일 예로, 상세 요청 정보에 따른 보조 정보)를 생성하여, 단말장치(200)에 전송한다.

이에 대한 상세한 설명 또한 후술하도록 한다.

한편, 컨텐츠 제공 장치(300)는 단말장치(200)에 패킷 단위로 컨텐츠 데이터를 전송하게 되는데, 본 발명의 실시 예에서 상기 패킷은 상술한 바와 같이 MMT 패킷일 수 있다.

따라서, 본 발명의 실시 예에 대하여 구체적으로 설명하기에 앞서, 상기 컨텐츠 제공 장치(300)가 단말장치(200)에 전송하는 MMT 패킷의 구조에 대해서 도2를 참조하여 설명하도록 한다.

도2를 참조하면, MMT 패키지(10)는 MMT 기능 영역에서 정의하는 데이터 모델 중 논리적으로 구조화된 가장 큰 MMT 개체(entity)로서 영화 한편과 같은 하나의 독립적인 컨텐츠를 의미한다. 동영상 등의 스트리밍 컨텐츠 제공 서비스를 제공하는 컨텐츠 제공 장치(300)는 이러한 MMT 패키지를 생성하여 단말장치(200)로 제공할 수 있는데, MMT 패키지(10)는 여러 개체들의 모음으로 구성되는 논리적으로 구조화된 컬렉션이 될 수 있다. 이러한 MMT 패키지(10)는 하나 이상의 애셋(20), 프리젠테이션 정보(11), 트랜스포트 특성(13) 및 설명적인(descriptive) 정보, 예컨대, 패키지 정보를 포함할 수 있다.

이 중, 프리젠테이션 정보(Presentation Information, 11)은 복수의 애셋(20)들 사이의 관계(relationship), 즉 공간적 및 시간적 관계에 대한 정보를 포함하며, 하나의 컨텐츠(content)가 복수개의 MMT 패키지로 이루어질 경우 복수의 MMT 패키지간의 관계(relationship)를 나타내기 위한 정보를 더 포함할 수 있다. 이러한 프리젠테이션 정보(11)는 하이퍼텍스트 마크업 언어(HTML)와 구성 정보(Composition Information) 도큐먼트들의 조합이 프리젠테이션 정보(11)의 예라 할 수 있다.

트랜스포트 특성(ADC; Asset Delivery Characteristics, 13)은 애셋(20)의 전달을 위한 QoS(Quality of Service) 요구 및 통계를 나타낸다. 복수의 애셋(20)은 하나의 트랜스포트 특성(13)에 관련될 수 있다. 이때의 트랜스포트 특성(전송 특성)(13)은 애셋(20)의 효과적인 전달을 위해 패키지를 캡슐화하는 개체에 의해 MMT 페이로드 및 MMT 프로토콜의 파라미터를 설정하는데 사용될 수 있다. 또한 트랜스포트 특성(13)은 MMT 애셋(20) 또는 MMT 패킷의 전달 조건(delivery condition)을 결정하기 위해 필요한 전달 특성 정보를 포함할 수 있으며, 예를 들어 트래픽 기술 파라미터(traffic description parameter) 및 QoS 기술자(QoS descriptor)를 포함할 수 있다. 이러한 전달 특성 정보는 통신망 환경에 무관한 파라미터 형태로 표현될 수 있다.

애셋(20)은 타임드 또는 넌 타임드 성질을 가진 오디오, 비디오 또는 웹페이지 데이터와 같은 부호화된 미디어 데이터를 캡슐화하는 패키지의 요소를 의미하는 것으로 가장 큰 논리적 데이터 단위를 의미한다. 이러한 애셋(20)은 동일한 전달 특성으로 데이터를 포함하는 데이터 개체를 의미한다. 예컨대, MMT 패키지(10)는 MMT 기능 영역에서 정의하는 데이터 모델 중 가장 큰 개체(entity)로서 영화 한편과 같은 하나의 독립적인 컨텐츠를 의미한다면, 애셋(20)은 오디오 데이터, 비디오 데이터, 스크립트 데이터와 같은 MMT 패키지(10)를 구성하는 데이터 단위를 의미한다. 이러한 애셋(20)은 동일한 애셋 ID를 공유하는 MPU들을 논리적으로 그룹화하게 된다.

아울러, 본 발명의 MMT 패킷은 실질적으로는 MMT 패킷 헤더와 MMT 페이로드를 포함하여 구성될 수 있다.

그러면 이제 본격적으로 본 발명에 따라 실시간 멀티미디어 서비스 품질을 제어하기 위한 방법 및 이에 따른 장치의 구성에 대하여 도3 내지 도8을 통해 살펴보도록 한다.

이하, 본 발명의 실시 예에 따른 단말장치(200)의 구성 및 동작과정에 대하여 살펴보도록 한다.

도3 내지 도6은 본 발명에 따른 단말장치(200)의 구성 및 동작과정을 설명하기 위한 도면으로, 구체적으로 도3은 단말장치(200)의 구성을 나타낸 블록도이고, 도4는 단말장치(200)가 실시간 멀티미디어 서비스의 서비스 품질을 제어하는 방법을 설명하기 위한 흐름도이며, 도5는 단말장치(200)가 컨텐츠 제공 장치(300)로 전송하는 보조 정보 전송 요청 메시지 구문의 실시 예를 설명하기 위한 도면이다.

또한, 도6은 단말장치(200)가 컨텐츠의 해상도 증가를 위한 보조 정보 생성을 요청하는 실시 예를 설명하기 위한 흐름도이다.

도3을 살펴보면, 단말장치(200)는 통신모듈(210), 저장모듈(230) 및 제어모듈(250)을 포함할 수 있다.

통신모듈(210)은 통신망(100)을 통해 컨텐츠 제공 장치(300)와 데이터를 송수신하기 위한 것으로서, 통신모듈(210)을 통해 사용자의 입력에 따른 컨텐츠 제공을 요청하고, 상기 요청에 따른 컨텐츠를 수신할 수 있으며, 아울러, 보조 정보 전송 요청 메시지를 전송하고, 이에 따른 보조 정보를 수신할 수 있다.

저장모듈(230)은 통신모듈(210)을 통해 수신한 컨텐츠 또는 보조 정보를 저장할 수 있다.

한편, 도3에는 구체적으로 도시하지 않았으나, 상기 저장모듈(230)은 상기 수신한 컨텐츠 또는 보조 정보 등의 패킷을 일정 시간 동안 임시로 저장하는 버퍼(미도시)를 포함할 수 있다.

제어모듈(250)은 본 발명에 따른 단말장치(200)의 동작과정 전반을 제어하는 장치이다.

상기의 제어모듈(250)에 의해 제어되는 단말장치(200)의 동작과정 전반을 도4를 통해 살펴보면, 단말장치(200)는 현재의 서비스 환경에서 사용자에게 제공할 수 있는 컨텐츠에 대한 패킷(이하, '기본 패킷'이라 한다)을 컨텐츠 제공 장치(300)로부터 지속하여 수신하면서(S0), 해당 스트리밍 서비스 환경에서의 패킷 처리 능력을 측정한다(S1).

즉, 상기 기본 패킷은 고정된 해상도의 패킷일 수도 있고, 서비스 개시 전 적응적으로 설정된 해상도의 패킷일 수도 있다.

그리고 상기 측정된 패킷 처리 능력이 기 설정된 조건을 만족하는 지를 판단하여(S3), 상기 설정된 조건을 만족하면, 요청 상세 정보가 포함된 피드백 메시지를 컨텐츠 제공 장치(300)에 전송하고(S5), 이에 따라 변경된 기본 패킷을 수신하거나, 기본 패킷과 함께 보조 정보를 더 컨텐츠 제공 장치(300)로부터 수신할 수 있으며(S7), 이렇게 상기 요청 상세 정보를 기반으로 수신된 패킷들을 기반으로 컨텐츠를 재생한다(S9).

한편, 상기 기 설정된 조건이란, 서비스 환경에서의 패킷 처리 능력이 일정 수준 이상인지를 판단하는 것으로서, 단말장치(200)의 연산 능력 또는 네트워크 전송 능력(예를 들어, 네트워크 리소스) 등이 될 수 있으며, 상기 조건의 일 실시 예로는 상기 단말장치(200)의 현재 연산 능력과 단말장치(200)가 기본 패킷을 수신하여 처리하는데 필요한 연산 능력의 차가 변경된 기본 패킷 또는 기본 패킷과 보조 정보를 함께 처리하는데 필요한 연산 능력보다 큰 지를 판단하여, 기 설정된 조건의 만족 여부를 판단할 수 있고, 다른 실시 예로는 현재 네트워크 전송 능력과 기본 패킷을 전송하는데 필요한 네트워크 전송 능력의 차가 변경된 기본 패킷을 전송하거나 기본 패킷과 보조 정보를 함께 처리하는데 필요한 네트워크 전송 능력보다 큰 지를 판단하여 기 설정된 조건의 만족 여부를 판단할 수 있다.

물론, 상기의 두 가지 실시 예, 즉, 단말장치(200)의 연산 능력과 네트워크 전송 능력에 관한 실시 예를 모두 만족하여야 기 설정된 조건을 만족하는 것으로 판단할 수도 있다.

단말장치(200)가 요청한 컨텐츠의 수신이 완료되면(S11), 해당 동작은 종료되겠지만, 컨텐츠 수신이 완료되지 않으면, 다시 S1 단계로 돌아가 상기 과정을 반복한다.

한편, S1 단계에서 측정한 패킷 처리 능력이 기 설정된 조건을 만족하지 않게 되는 경우, 상기 피드백 메시지를 전송하지 않으며, 현재 서비스 환경에서 사용자에게 제공할 수 있는 컨텐츠 패킷, 즉 기본 패킷을 그대로 수신하여 재생하게 된다.

한편, 서비스 품질을 제어하기 위해 단말장치(200)에서 컨텐츠 제공 장치(300)에 전송하는 피드백 메시지에는 요청 상세 정보를 포함할 수 있고, 이러한 요청 상세 정보는 서비스 품질을 제어하기 위한 단말장치(200)의 요청 사항이 포함되는데, 이에 대하여 도5를 통해 상세하게 설명하도록 한다.

도5를 참조하면, 상기의 피드백 메시지는 VNF_Request_Message로 명명될 수 있고, 이러한 VNF_Request_Message는 MMT CLI(Cross Layer Interface) 내에 포함될 수 있다.

한편, 이러한 피드백 메시지에 대한 구문(Syntax)는 16비트로 이루어진 message_id 정보와 8비트로 이루어진 version 정보를 포함할 수 있는데, 상기 message_id와 version 정보는 MMT CLI 내에 포함된 NAM Feedback message와 동일할 수 있다.

패킷 ID(packet_id) 정보는 전송되는 패킷이 어떤 패킷인지 구별하는 식별자로서, MMTP(MMT Protocol)에서 16비트의 packet_id나 7비트의 flow_label을 사용하여 표현될 수 있다.

요청 상세 정보(VNF_number)는 단말장치(200)가 컨텐츠 제공 장치(300)에 요청하는 내용에 대한 상세 정보를 포함하는 필드로써, 7비트로 이루어질 수 있다.

상기 요청 상세 정보가 포함할 수 있는 상세 정보에 대한 예를 들면, 값이 '001'인 경우, 공간적 해상도 증가를 위한 보조 정보(이하, '제1 보조 정보')의 전송을 요청하는 것일 수 있다.

이 때, 상기 '001'의 값이 기록된 요청 상세 정보가 담긴 요청 메시지를 수신한 컨텐츠 제공 장치(300)는 상기 제1 보조 정보 전송 요청에 맞춰 영상 컨텐츠의 경계 부분에 대한 정보를 포함하는 제1 보조 정보를 생성하고, 상기 제1 보조 정보를 수신한 단말장치(200)는 원본 SD 영상 컨텐츠를 보간법을 이용하여 HD 영상을 사용자에게 제공할 수 있다.

또한, 요청 상세 정보 값이 '010'인 경우, 시간적 해상도 증진을 위한 보조 정보(제2 보조 정보)의 전송을 요청하는 값일 수 있다.

이러한 '010'값의 요청 상세 정보가 포함된 요청 메시지를 수신한 컨텐츠 제공 장치(300)는 상기 제2 보조 정보 전송 요청에 맞춰 영상 컨텐츠의 움직임 벡터 및 블록의 크기, 비율에 대한 정보를 포함하는 제2 보조 정보를 생성하고, 상기 제2 보조 정보를 수신한 단말장치(200)는 제2 보조 정보와 원본 영상 컨텐츠의 패킷을 결합하여 증가된 해상도를 가지는 컨텐츠를 사용자에게 제공할 수 있다.

만약, 요청 상세 정보 값이 '011'이면, 해당 밀터미디어 서비스의 일정 데이터 영역을 제외하고 전송하도록 요청할 수 있다.

예를 들어, 동영상 멀티미디어 서비스 제공을 위한 동영상 컨텐츠는 영상 데이터 부분, 음성 데이터 부분, 자막 부분 등으로 구분될 수 있는데, 자막 부분을 제외하고 전송하도록 요청하거나, 음성 데이터 부분을 제외하고 전송하도록 요청할 수 있는 것이다.

한편, 상기 값이 '100'이면, 컨텐츠의 패킷 중 B 프레임을 필터링하여 I 프레임과 P프레임을 전송해 줄 것을 요청할 수 있으며, '101'이면, 컨텐츠의 패킷 중 P 프레임을 필터링하여, I 프레임과 B프레임을 전송해 줄 것을 요청할 수 있다.

즉, 멀티미디어 컨텐츠 패킷을 구성하는 프레임은 하나 이상의 프레임 타입으로 구분 될 수 있고, 이중 특정 프레임 타입을 필터링하고 나머지 프레임 타입만을 전송해 줄 것을 요청할 수 있는 것이다.

하지만, 상술한 요청 상세 정보의 값 및 각각의 값에 따른 요청 정보는 경우에 따라 다르게 설정될 수 있다.

구체적으로 이미 수행중인 특정 기능을 정지하도록 요청하는 상세 정보가 포함될 수 있고, 비트 오류를 수정하기 위한 FEC(Forward Error Correction) 요청을 위한 오류 검출 패킷 전송 요청이 될 수 있다.

이를테면, 일반적으로 컨텐츠 패킷 사이에 비트 오류 검출을 위한 FEC 패킷을 삽입하여, 상기 FEC 패킷을 통해 비트 오류를 검출하게 되는데, 패킷 처리 능력이 일정치 이하이면, 상기 FEC 패킷을 삽입하지 않고, 즉, FEC 패킷을 제외한 순수한 컨텐츠 패킷 만을 수신하여, 컨텐츠를 제공함으로써, 단말 장치의 부하를 줄이려고 할 수 있다.

이때, 패킷 처리 능력을 지속하여 측정하고, 측정된 결과가 기 설정된 조건을 만족한다면, 즉, 패킷 처리 능력이 호전된다면, 다시 FEC 패킷을 전송해 줄 것을 요청할 수 있는 것이다.

또 다른 예로는 시점(視)을 늘리기 위한 보조 정보(이하, '제3 보조 정보')을 전송할 것을 요청하는 값을 추가적으로 설정할 수 있다.

즉, 2D 화면으로 제공되던 컨텐츠를 3D 화면으로 제공하기 위한 보조 정보를 전송할 것을 요청할 수 있는 것이다.

요청 수행 여부 정보(VNF_mode)는 단말장치(200)가 요청 상세 정보에 따른 요청을 수행할 것인지, 상기 요청 수행을 중단할 것인지를 나타내는 필드 값으로서, 1비트로 이루어질 수 있다.

즉, 상기의 값이 1이라면, 요청 상세 정보에 따른 요청을 수행하는 것이 되고, 상기의 값이 0이라면, 상기 요청 수행을 중단할 것을 요청하는 것이 될 수 있다.

한편, 상기 요청 상세 정보의 설정된 값에 의하여, 상기 요청의 수행 및 중단 여부를 알 수 있다면, 요청 수행 여부 정보 필드는 필요 없을 것이다.

요청 수행 시작 시간 정보(VNF_start_time)는 상기 요청 메시지가 포함하는 요청 행위의 시작시간을 나타낼 수 있고, MMT에서는 절대 시간 단위를 이용할 수 있다.

본 발명에 따른 단말장치(200)에 의한 멀티미디어 서비스 품질 제어 방법을 구체적인 이해를 돕기 위해, 도6을 참조하여, 컨텐츠 제공 장치(300)에 보조 정보 전송을 요청하여, 컨텐츠의 해상도를 조정하는 실시 예에 대하여 살펴보면, 단말장치(200)는 저해상도의 컨텐츠에 대한 패킷(이하, '기본 패킷'이라 함)을 컨텐츠 제공 장치(300)로부터 지속하여 수신하면서, 단말장치(200)의 연산능력(

) 및 단말장치(200)와 컨텐츠 제공 장치(300) 간의 네트워크 전송 능력(

)을 포함하는 패킷 처리 능력을 측정한다(S101).

이후, 단말장치(200)는 측정된 패킷 처리 능력, 즉, 측정된 연산 능력과 네트워크 전송 능력이 기 설정된 조건을 만족하는지를 판단하는데, 구체적으로 상기 조건에 대한 실시 예를 살펴보면, 상기 측정된 연산 능력과 현재 단말장치(200)가 수신하고 있는 기본 패킷, 즉, 저해상도의 컨텐츠를 처리하는데 필요한 연산능력(

)의 차이가 컨텐츠 제공 장치(300)로부터 수신할 보조 정보를 처리하는 데 필요한 연산능력(

)보다 큰지, 즉,

-

>

인지를 판단하고(이하, 제1 조건, S103), 측정된 네트워크 전송 능력과 기본 패킷으로 이루어진 컨텐츠, 즉, 저해상도의 컨텐츠를 전송하는데 필요한 네트워크 전송 능력(

)의 차이가 컨텐츠 재생 장치(300)가 보조 정보를 전송하는데 필요한 네트워크 전송 능력(

)보다 큰 지, 즉,

-

>

인지를 판단하여(이하, 제2 조건, S105), 상기 설정된 조건을 만족하지 않으면 보조 정보 전송을 요청하기 않고, 저해상도의 컨텐츠만을 지속하여 수신하여 재생하고, 상기 두 조건 중 적어도 하나의 조건을 만족하면, 컨텐츠 제공 장치(300)에 보조 정보 전송을 요청한다(S107).

이때, 단말장치(200)는 측정된 네트워크 전송 능력 및 연산능력을 고려하여, 공간적 해상도 증가를 위한 제1 보조 정보와 시간적 해상도 증가를 위한 제2 보조 정보 중 적어도 하나의 보조 정보에 대한 전송을 요청할 수 있다.

즉, 단말장치(200)는 측정된 네트워크 전송 능력 및 연산능력 등의 패킷 처리 능력을 고려하여, 시간적으로 컨텐츠의 해상도를 증가(예를 들면, 30fps에서 60fps로 증가)시키기 위해, 컨텐츠의 움직임 벡터에 관한 정보를 포함하는 보조 정보를 전송해줄 것을 컨텐츠 제공 장치(300)에 요청하거나, 공간적으로 컨텐츠의 해상도를 증가(예를 들면, SD급 영상을 HD급 영상으로 증가)시키기 위해, 영상의 경계 부분에 대한 정보를 포함하는 보조 정보를 전송해줄 것을 컨텐츠 제공 장치(300)에 요청할 수 있다.

또한, 상기의 요청하는 보조 정보는 시점(視)을 늘리는 보조 정보(이하, 제3 보조 정보)일 수도 있다.

즉, 현재 컨텐츠 제공 장치(300)로부터 제공 받는 컨텐츠가 양안식 컨텐츠라면, 2개의 시점(視)을 더 늘려, 4개의 시점(視)으로 상기 컨텐츠를 제공하기 위한 제3 보조 정보를 전송해줄 것을 요청할 수 있다.

그 이후, 컨텐츠 제공 장치(300)로부터 보조 정보를 수신하면(S109), 상기 수신한 보조 정보를 이용하여, 단말장치(200)가 현재 수신하는 컨텐츠의 해상도를 증가시켜 사용자에게 제공하는데(S111), 수신한 보조 정보가 제1 보조 정보라면, 제1 보조 정보를 이용한 보간법(interpolation)을 통해 상기 컨텐츠의 공간적 해상도를 증가시키고, 수신한 보조 정보가 제2 보조 정보라면, 상기 수신 중인 컨텐츠의 패킷과 제2 보조 정보를 시간적으로 결합하여 새로운 패킷을 생성함으로써, 컨텐츠의 시간적 해상도를 증가시킬 수 있다.

이후, 사용자가 요청한 컨텐츠의 수신이 완료되거나, 사용자가 컨텐츠 전송 중단 요청을 입력한 경우, 즉, 컨텐츠 재생을 중단한 경우에는 상기 과정을 종료하고, 사용자의 컨텐츠 전송 중단 요청없이 컨텐츠 수신이 완료되지 않은 경우에는 S101 단계로 돌아가 전 과정을 반복하는데(S113), 상기의 과정을 반복하는 중에 S103 또는 S105 단계의 조건을 만족하지 않는 상태가 되면, 단말장치(200)는 보조 정보 전송을 중단할 것을 컨텐츠 제공 장치(300)에 요청한다(S115).

한편, 본 발명에 따른 단말장치(200)는 도3에 도시하지는 않았으나, 사용자의 요청을 입력 받기 위한 입력모듈(미도시), 컨텐츠 전송 장치(300)로부터 수신한 컨텐츠 또는 보조 정보를 이용하여 해상도를 증가시킨 컨텐츠 등을 재생하는 출력모듈(미도시)을 포함할 수 있다.

이상, 본 발명의 실시 예에 따른 단말장치(200)의 구성 및 동작과정에 대하여 살펴보았다.

이하, 본 발명의 실시 예에 따른 컨텐츠 제공 장치(300)의 구성 및 동작 과정에 대하여 살펴보도록 한다.

도7은 컨텐츠 제공 장치(300)의 구성을 나타낸 블록도이고, 도8은 컨텐츠 제공 장치(300)의 동작과정을 나타낸 흐름도이다.

도7을 보면, 컨텐츠 제공 장치(300)는 통신모듈(310), 저장모듈(330) 및 제어모듈(350)을 포함할 수 있다.

통신모듈(310)은 통신망(100)을 통해 단말장치(200)와 데이터를 송수신하기 위한 것으로서, 단말장치(200)로부터 보조 정보 전송 요청 메시지 및 컨텐츠 전송 요청을 수신하고, 상기 요청에 따라 단말장치(200)에 보조 정보 및 컨텐츠를 전송할 수 있다.

저장모듈(330)은 통신모듈(310)을 통해 단말장치(200)에 전송할 다양한 컨텐츠의 데이터를 저장할 수 있다.

제어모듈(350)은 본 발명에 따른 컨텐츠 제공 장치(300)의 동작과정 전반을 제어하는 장치로서, 보조 정보 생성 모듈(351)을 포함할 수 있으며, 상기 보조 정보 생성 모듈(351)은 단말장치(200)가 피드백 메시지를 통해 보조 정보 생성을 요청을 하는 경우, 상기 요청에 따라 보조 정보를 생성한다.

상기 제어 모듈(350)은 상기 통신모듈(310)을 통해 단말장치(200)로부터 피드백 메시지를 수신하면, 상기 피드백 메시지에 포함된 요청 상세 정보를 확인하고, 상기 요청 상세 정보에 따라서 컨텐츠 패킷 또는 프레임의 구성을 수정하거나, 보조 정보 등과 같이 새로운 패킷을 생성하여 단말장치(200)로 전송하도록 제어할 수 있다.

또한, 단말장치(200)로부터 요청 상세 정보를 통해 요청을 중단할 것을 다시 요청하면, 이에 따라 보조 정보 생성을 중단 하거나 요청 상세 정보에 따라 수정하였던 컨텐츠 패킷 또는 프레임의 구성을 원래대로 되돌려서, 단말장치(200)로 전송하도록 제어할 수 있다.

이러한 컨텐츠 제공 장치(300)의 동작과정에 대한 이해를 돕기 위하여, 컨텐츠 해상도를 조정하기 위해 보조 정보를 생성하여 단말장치(200)로 전송하는 실시 예에 대하여 도7을 통해 구체적으로 설명하면, 컨텐츠 제공 장치(300)는 단말장치(200)에 기본 패킷, 즉, 낮은 해상도를 가지는 컨텐츠를 전송하는 중에 단말장치(200)로부터 보조 정보 전송 요청을 수신하고(S201), 보조 정보 전송 요청에 따른 보조 정보를 생성한다(S203).

이때, 상기 보조 정보 전송 요청 메시지의 값에 따라 공간적 해상도를 증가를 위한 제1 보조 정보, 시간적 해상도 증가를 위한 제2 보조 정보 및 컨텐츠의 시점을 늘리기 위한 제3 보조 정보 중 적어도 하나를 생성할 수 있고, 제1 보조 정보를 생성하는 경우, 현재 전송 중인 컨텐츠, 즉, 기본 컨텐츠 내의 경계의 위치, 경계의 성질 등, 경계 부분에 대한 정보를 포함하여 생성할 수 있고, 제2 보조 정보를 생성하는 경우, 현재 전송 중인 컨텐츠, 즉, 기본 컨텐츠 내의 움직임 벡터 정보를 포함하는 움직임 정보 및 블록의 크기 및 비율 정보를 포함하여 생성할 수 있다.

단말장치(200)의 요청에 따른 보조 정보를 생성한 컨텐츠 제공 장치(300)는 생성된 보조 정보를 단말장치(200)로 전송한다(S205).

이후, 사용자가 요청한 컨텐츠의 전송이 완료되면(S207), 상기 과정을 종료하게 되고, 컨텐츠의 전송이 완료되지 않으면 다시 S201 단계로 돌아가 전 과정을 반복하게 되는데, 만약, 단말장치(200)로부터 보조 정보 전송 중단 요청을 수신하면(S209), 보조 정보 전송을 중단하고(S211), 현재 전송 중인 컨텐츠를 단말장치(200)로 전송하게 되며, 이러한 과정 중에서 다시 단말장치(200)로부터 보조 정보 전송 요청을 수신하면, 다시 S201단계로 돌아가 상술한 과정을 반복한다.

이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다.

또한, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 통상의 기술자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

본 발명은 실시간 멀티미디어 서비스 품질 제어 방법 및 이를 위한 장치에 관한 것으로서, 더욱 상세하게는 실시간 스트리밍 서비스를 기반으로 보조 정보를 만들거나 FEC 패킷 생성, 또는 필터링 등 다양한 동작을 수행함으로써, 컨텐츠의 해상도 및 품질을 효율적으로 변경할 수 있으며, 컨텐츠를 끊김 없이 제공하기 위한 방법 및 장치에 관한 것이다.

본 발명에 따르면, 단말장치가 컨텐츠 제공 장치로부터 스트리밍 방식으로 현재 서비스 환경에 부합하는 컨텐츠의 패킷을 수신하여 재생하면서, 단말장치의 연산 능력과 단말장치와 컨텐츠 제공 장치 간의 네트워크 전송 능력을 측정하여, 상기 측정결과에 따라 컨텐츠 제공 장치로 보조 정보 생성, FEC 패킷 생성, 필터링 등의 다양한 동작을 요청하여 상기 요청에 따른 다양한 동작을 수행함으로써, 사용자에게 서비스 환경의 변화에 따른 일시적인 끊김 현상이 없이 컨텐츠를 제공할 수 있다.

따라서, 상기의 실시간 멀티미디어 서비스 품질 제어 방법을 통해 스트리밍 서비스 산업 발전에 이바지 할 수 있고, 더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.

100: 통신망 200: 단말장치 300: 컨텐츠 제공 장치
210: 단말장치의 통신모듈 230: 단말장치의 저장모듈
250: 단말장치의 제어모듈 310: 컨텐츠 제공 장치의 통신모듈
330: 컨텐츠 제공 장치의 저장모듈
350: 컨텐츠 제공 장치의 제어모듈
351: 보조 정보 생성 모듈

Claims (14)

1. 컨텐츠 제공 장치로부터 스트리밍 방식으로 컨텐츠를 수신하여 재생하는 단말장치에서의 멀티미디어 서비스 품질 제어 방법에 있어서,
   상기 컨텐츠 제공 장치로부터 스트리밍 방식으로 상기 컨텐츠의 기본 패킷을 수신하는 단계;
   상기 컨텐츠 제공 장치로부터 컨텐츠를 수신하여 재생하는 스트리밍 서비스 환경에서의 패킷 처리 능력을 측정하는 단계;
   상기 측정된 패킷 처리 능력이 기 설정된 조건을 만족하면, 상기 컨텐츠 제공장치에 서비스 품질을 제어하기 위한 요청 상세 정보를 포함하는 피드백 메시지를 전송하는 단계;
   상기 요청 상세 정보에 따라, 상기 컨텐츠 제공 장치로부터 변경된 기본 패킷을 수신하거나 상기 기본 패킷과 함께 보조 정보를 수신하는 단계; 및
   상기 수신된 변경 기본 패킷 또는 기본 패킷과 보조 정보를 기반으로 상기 컨텐츠를 재생하는 단계;
   를 포함하는 실시간 멀티미디어 서비스 품질 제어 방법.
2. 제1항에 있어서, 상기 요청 상세 정보는
   상기 컨텐츠의 해상도를 증가시키거나 상기 컨텐츠의 시점(視)을 늘리기 위한 보조 정보 전송 요청, 멀티미디어 컨텐츠의 일정 데이터 영역을 제외하고 전송할 것을 요청하는 일정 데이터 비 전송 요청, 컨텐츠를 구성하는 하나 이상의 프레임 타입 중 적어도 어느 하나의 프레임 타입을 필터링 하여 전송할 것을 요청하는 필터링 요청, 기 수행중인 특정 기능을 정지하도록 요청하는 기능 정지 요청 및 비트 오류를 수정하기 위한 오류 검출 패킷 전송 요청 중 적어도 하나를 포함하는 것을 특징으로 하는 실시간 멀티미디어 서비스 품질 제어 방법.
3. 제2항에 있어서, 상기 재생하는 단계는
   상기 요청 상세 정보에 따라 보조 정보가 수신되면, 상기 기본 패킷에 상기 보조 정보를 결합하여, 상기 컨텐츠의 해상도를 증가시키거나 상기 컨텐츠의 시점을 늘려 재생하는 것을 특징으로 하는 실시간 멀티미디어 서비스 품질 제어 방법.
4. 제3항에 있어서, 상기 전송하는 단계는
   상기 측정된 패킷 처리 능력을 고려하여, 공간적 해상도 증가를 위한 제1 보조 정보 및 시간적 해상도 증가를 위한 제2 보조 정보 중 적어도 하나의 보조 정보에 대한 전송을 요청하는 요청 상세 정보를 포함하는 피드백 메시지를 전송하는 것을 특징으로 하는 실시간 멀티미디어 서비스 품질 제어 방법.
5. 제4항에 있어서, 상기 재생하는 단계는
   상기 제1 보조 정보를 수신하면, 상기 제1 보조 정보를 이용한 보간법(interpolation)을 통해 상기 컨텐츠의 공간적 해상도를 증가시켜 재생하는 단계; 및
   상기 제2 보조 정보를 수신하면, 상기 컨텐츠의 기본 패킷과 제2 보조 정보를 시간적으로 결합하여, 상기 컨텐츠의 시간적 해상도를 증가시켜 재생하는 단계;
   를 포함하는 실시간 멀티미디어 서비스 품질 제어 방법.
6. 제1항에 있어서,
   상기 측정된 패킷 처리 능력이 기 설정된 조건을 만족하지 않으면, 상기 수신한 기본 패킷을 기반으로 컨텐츠를 재생하는 단계;
   를 더 포함하는 실시간 멀티미디어 서비스 품질 제어 방법.
7. 제1항에 있어서, 상기 피드백 메시지는
   패킷 ID, 요청 수행 여부 정보 및 요청 수행 시작 시간 정보 중 적어도 하나를 더 포함하는 것을 특징으로 하는 실시간 멀티미디어 서비스 품질 제어 방법.
8. 제1항에 있어서, 상기 패킷은
   패킷의 페이로드에 포함되는 최소 디코딩 단위인 적어도 하나의 MFU(Media Fragment Unit) 또는 상기 적어도 하나의 MFU를 포함하여 이루어지는 적어도 하나의 MPU(Media Processing Unit)로 구성되는 MMT(MPEG Media Transport) 패킷인 것을 특징으로 하는 실시간 멀티미디어 서비스 품질 제어 방법.
9. 제1항에 있어서, 상기 재생하는 단계 이후에,
   상기 측정된 패킷 처리 능력이 기 설정된 조건을 만족하지 않으면, 상기 요청 상세 정보에 따른 패킷 전송 중단을 요청하는 단계;
   를 더 포함하는 실시간 멀티미디어 서비스 품질 제어 방법.
10. 제1항에 있어서, 상기 패킷 처리 능력은
    상기 단말장치의 연산능력 및 상기 단말장치와 컨텐츠 제공 장치 간의 네트워크 전송 능력 중 적어도 하나를 포함하는 것을 특징으로 하는 실시간 멀티미디어 서비스 품질 제어 방법.
11. 제10항에 있어서, 상기 요청하는 단계는
    상기 측정된 연산능력과 기본 패킷을 처리하는데 필요한 연산능력의 차이가 상기 보조 정보를 처리하는데 필요한 연산능력보다 큰 경우인 제1 조건 및 상기 측정된 네트워크 전송 능력과 기본 컨텐츠를 전송하는데 필요한 네트워크 전송 능력의 차이가 상기 보조 정보를 전송하는데 필요한 네트워크 전송 능력보다 큰 경우인 제2 조건 중 적어도 하나의 조건을 만족하는 경우, 상기 보조 정보 전송을 요청하는 것을 특징으로 하는 실시간 멀티미디어 서비스 품질 제어 방법.
12. 제1항 내지 제11항 중 어느 하나의 항에 기재된 방법을 실행시키는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.
13. 제1항 내지 제11항 중 어느 하나의 항에 기재된 방법을 실행시키도록 구현되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
14. 스트리밍 서비스를 통해 컨텐츠를 수신하여 재생하면서, 상기 컨텐츠의 서비스 품질을 제어하는 단말장치에 있어서,
    통신망과 연동되어 컨텐츠 재생 장치와 패킷을 송수신하는 통신 모듈; 및
    상기 컨텐츠 제공 장치로부터 스트리밍 방식으로 상기 컨텐츠의 기본 패킷을 상기 통신모듈을 통해 수신하고, 상기 컨텐츠 제공 장치로부터 컨텐츠를 수신하여 재생하는 스트리밍 서비스 환경에서의 패킷 처리 능력을 측정하여, 상기 패킷 처리 능력이 기 설정된 조건을 만족하면, 상기 컨텐츠 제공 장치에 서비스 품질을 제어하기 위한 요청 상세 정보를 포함하는 피드백 메시지를 전송하여, 상기 요청 상세 정보에 따른 컨텐츠의 패킷이 수신되면, 상기 요청 상세 정보를 기반으로 상기 컨텐츠를 재생하도록 제어하는 제어모듈;
    을 포함하는 단말장치.
    

Images