KR102281217B1 - 인코딩 방법 및 디코딩 방법, 그리고 이를 위한 장치 - Google Patents

Abstract

본 발명은 영상 인코딩 및 디코딩 방법에 관한 것으로, 더욱 상세하게는 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경에서, 스트리밍 서버가 고지연이 허용되는 영상 프레임을 인코딩하여 상기 고지연 채널을 통해 단말로 전송하고, 저지연이 허용되는 시그널 데이터 및 상기 시그널 데이터에 상기 영상 프레임을 동기화하기 위해 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널을 통해 상기 단말로 전송하고, 단말은 스트리밍 서버로부터 수신되는 정보를 고지연 채널 및 저지연 채널을 통해 각각 수신하여 디코딩함으로써, 시그널 데이터와 상기 시그널 데이터이 동기화되어 출력되는 영상 프레임 간의 지연을 최소화할 수 있게 된다.

Description

인코딩 방법 및 디코딩 방법, 그리고 이를 위한 장치{METHOD FOR ENCODING AND DECODING, AND APPARATUS FOR THE SAME}

본 발명은 영상 인코딩 및 디코딩 방법에 관한 것으로, 더욱 상세하게는 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경에서, 스트리밍 서버가 고지연이 허용되는 영상 프레임을 인코딩하여 상기 고지연 채널을 통해 단말로 전송하고, 저지연이 허용되는 시그널 데이터 및 상기 시그널 데이터에 상기 영상 프레임을 동기화하기 위해 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널을 통해 상기 단말로 전송하고, 단말은 스트리밍 서버로부터 수신되는 정보를 고지연 채널 및 저지연 채널을 통해 각각 수신하여 디코딩함으로써, 시그널 데이터와 상기 시그널 데이터이 동기화되어 출력되는 영상 프레임 간의 지연을 최소화할 수 있는 인코딩 방법 및 디코딩 방법, 그리고 이를 위한 장치에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

일반적으로 사람은 감각의 종류에 따라 지연(delay)에 따른 민감도가 다르다. 예를 들어, 비디오 컨텐츠의 경우 수십 ms 정도의 지연을 허용할 수 있으나, 촉각(haptic) 신호는 수 ms 정도의 매우 적은 지연을 허용하게 된다.

또한, 서버 송신단에서의 지연(encode delay), 전송 시의 지연(network delay), 단말 수신단에서의 지연(decode delay) 등과 같이 다양한 상황에서 지연이 발생하게 되나, 현재까지의 지연을 고려한 영상 인코딩 및 디코딩 방법은 단순히 어느 한 측에서 영상 프레임의 지연만을 고려하여 처리함으로써, 컨텐츠가 영상 프레임과 시그널로 구성되는 경우를 고려하여 지연 처리가 불가능하다는 문제점이 있다.

따라서, 사용자가 영상 프레임과 상기 영상 프레임에 대응하여 발생되는 다양한 시그널이 동시에 포함된 컨텐츠를 이용하고자 할 경우, 영상 정보와 시그널 정보 간의 서로 다른 지연이 발생될 수 있으며, 이에 따라 사용자는 신속한 상황 판단과 즉각적인 반응이 어렵다는 문제점이 있다.

또한, 무인 항공기, 화상 통화, 화상 회의와 같이 영상 정보와 함께 다양한 시그널 정보로 구성되는 다양한 서비스가 등장함에 따라 영상 프레임에서의 지연을 시그널에서의 지연에 근접하도록 최소화할 수 있는 기술의 개발이 필요하다.

한국공개특허 제2011-0119229호, 2011년 11월 2일 공개 (명칭: 고화질 미디어 방송을 위한 피투피 라이브 스트리밍 시스템 및 방법)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로서, 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경에서, 스트리밍 서버가 고지연이 허용되는 영상 프레임을 인코딩하여 상기 고지연 채널을 통해 단말로 전송하고, 저지연이 허용되는 시그널 데이터 및 상기 시그널 데이터에 상기 영상 프레임을 동기화하기 위해 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널을 통해 상기 단말로 전송하고, 단말은 스트리밍 서버로부터 수신되는 정보를 고지연 채널 및 저지연 채널을 통해 각각 수신하여 디코딩함으로써, 시그널 데이터와 상기 시그널 데이터이 동기화되어 출력되는 영상 프레임 간의 지연을 최소화할 수 있는 인코딩 방법 및 디코딩 방법, 그리고 이를 위한 장치를 제공하는 데 목적이 있다.

그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경의 스트리밍 서버에서의 인코딩 방법은 영상 프레임과 상기 영상 프레임에 대한 시그널 데이터를 포함하는 영상 컨텐츠에서 상기 영상 프레임을 인코딩하여 상기 고지연 채널을 통해 단말로 전송하고, 상기 시그널 데이터 및 상기 시그널 데이터에 상기 영상 프레임을 동기화하기 위해 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널을 통해 상기 단말로 전송할 수 있다.

이때, 상기 영상 프레임을 인코딩 시 장면(scene) 변화가 감지되면, 상기 영상 프레임을 저해상도로 변환하여 인코딩한 후 상기 저지연 채널을 통해 상기 단말로 전송할 수 있다.

또한, 상기 영상 프레임을 저해상도로 변환하는 것이 불가할 경우, 상기 영상 프레임에서의 장면 변화가 감지되었음을 안내하는 시그널 데이터를 상기 저지연 채널을 통해 상기 단말로 전송할 수 있다.

이때, 상기 예측 정보는 현재 프레임과 이전 프레임을 이용하여 상기 현재 프레임의 다음 프레임에 대한 예측 정보일 수 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경의 단말에서의 디코딩 방법은 상기 단말이 스트리밍 서버로부터 인코딩된 영상 프레임을 상기 고지연 채널을 통해 수신하고, 시그널 데이터 및 상기 시그널 데이터에 상기 영상 프레임을 동기화하기 위해 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널을 통해 수신하는 단계; 및 상기 단말이 상기 수신된 상기 영상 프레임을 디코딩한 후 상기 시그널 데이터에 상기 영상 프레임을 동기화하여 출력하는 단계;를 포함하여 이뤄질 수 있다.

이때, 상기 동기화하여 출력하는 단계는 상기 시그널 데이터의 타임 스탬프(time stamp)와 상기 영상 프레임의 타임 스탬프를 확인한 후 상기 타임 스탬프에 따라 동기화하여 출력할 수 있다.

또한, 상기 영상 프레임을 디코딩 시 프레임 단위로 디코딩을 수행하며, 장면 변화가 감지되는 경우, 저해상도로 변환하여 디코딩을 수행할 수 있다.

또한, 상기 출력하는 단계는 상기 단말이 상기 수신된 상기 영상 프레임을 상기 예측 정보를 고려하여 디코딩한 후 상기 시그널 데이터에 동기화하여 출력할 수 있다.

추가로 본 발명은 상술한 바와 같은 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.

또한, 본 발명은 상술한 바와 같은 방법을 실행시키도록 구현되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경에서의 스트리밍 서버에 있어서, 상기 스트리밍 서버는 상기 고지연 채널과 연결되는 고지연 채널 송신 모듈 및 상기 저지연 채널과 연결되는 저지연 채널 송신 모듈을 포함하는 송신부; 영상 프레임과 상기 영상 프레임에 대한 시그널 데이터를 포함하는 영상 컨텐츠 중 상기 영상 프레임을 인코딩하여 상기 고지연 채널을 통해 단말로 전송하도록 제어하는 인코딩부; 및 상기 시그널 데이터를 상기 저지연 채널을 통해 상기 단말로 전송하도록 제어하는 시그널 처리부;를 포함하되, 상기 인코딩부는 상기 시그널 데이터에 상기 영상 프레임이 동기화되도록 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널을 통해 상기 단말로 전송하도록 제어할 수 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경에서의 스트리밍 서버에 있어서, 상기 스트리밍 서버는 상기 고지연 채널과 연결되는 고지연 채널 송신 모듈 및 상기 저지연 채널과 연결되는 저지연 채널 송신 모듈을 포함하는 송신부; 영상 프레임과 상기 영상 프레임에 대한 시그널 데이터를 포함하는 영상 컨텐츠 중 상기 영상 프레임을 예측하고, 예측된 영상 프레임을 인코딩하여 상기 고지연 채널을 통해 단말로 전송하도록 제어하는 인코딩부; 및 상기 시그널 데이터를 상기 저지연 채널을 통해 상기 단말로 전송하도록 제어하는 시그널 처리부;를 포함하여 구성될 수 있다.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경에서의 단말에 있어서, 상기 단말은 상기 고지연 채널과 연결되는 고지연 채널 수신 모듈 및 상기 저지연 채널과 연결되는 저지연 채널 수신 모듈을 포함하는 수신부; 상기 고지연 채널 수신 모듈을 통해 수신된 영상 프레임을 디코딩하는 디코딩부; 및 상기 저지연 채널 수신 모듈을 통해 수신되는 시그널 데이터 및 상기 영상 프레임에 대한 예측 정보를 수신하여, 상기 시그널 데이터에 상기 영상 프레임이 동기화되어 출력되도록 제어하는 단말 시그널 처리부;를 포함하여 이뤄질 수 있다.

본 발명의 인코딩 방법 및 디코딩 방법, 그리고 이를 위한 장치에 의하면, 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경에서, 스트리밍 서버가 고지연이 허용되는 영상 프레임을 인코딩하여 상기 고지연 채널을 통해 단말로 전송하고, 저지연이 허용되는 시그널 데이터 및 상기 시그널 데이터에 상기 영상 프레임을 동기화하기 위해 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널을 통해 상기 단말로 전송함으로써, 송신단에서의 지연을 최소화할 수 있게 된다.

또한, 본 발명의 단말은 스트리밍 서버로부터 수신되는 정보를 이용하여 디코딩 시, 저지연 채널을 통해 수신되는 시그널에 동기화하여 고지연 채널을 통해 수신되는 영상 프레임을 디코딩함으로써, 발생 가능한 지연을 수신단에서 최소화할 수 있어 보다 용이한 스트리밍 서비스 이용이 가능하게 된다.

또한, 영상과 촉각 시그널과의 지연 차이를 최소화할 수 있어 촉각 서비스, 네트워크 게임 서비스 등 지연에 민감한 서비스의 사용자 만족도를 향상시킬 수 있게 된다.

아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.

도 1은 본 발명의 실시 예에 따른 스트리밍 시스템의 주요 구성을 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 스트리밍 서버의 주요 구성을 도시한 블록도이다.
도 3은 본 발명 스트리밍 서버에서의 인코딩부를 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 단말의 주요 구성을 도시한 블록도이다.
도 5는 본 발명 단말의 디코딩부를 도시한 블록도이다.
도 6은 본 발명의 실시 예에 따른 영상 인코딩 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시 예에 따른 영상 디코딩 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 실시 예에 따른 프레임 예측을 설명하기 위한 예시도이다.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.

이하의 설명 및 특허 청구 범위에서, "네트워크" 또는 "통신망"은 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. 컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스코드와 같은 이진, 중간 포맷 명령어일 수 있다.

아울러, 본 발명은 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 페이저(pager) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서 실시될 수 있다.

본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다.

본 발명의 실시 예를 설명하기에 앞서, 본 발명은 MPEG MMT(MPEG Media Transport) 프로토콜을 따라 구현될 수 있다. 그러나, 이는 설명의 편의를 위한 예시일 뿐, 본 발명이 반드시 MMT 기술에만 적용되는 것은 아니다.

이하, 본 발명의 실시 예에 따른 시스템의 주요 구조에 대해 먼저 설명하도록 한다.

도 1은 본 발명의 실시 예에 따른 스트리밍 시스템의 주요 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명의 스트리밍 시스템은 단말(100) 및 스트리밍 서버(200)를 포함하여 구성될 수 있으며, 단말(100) 및 스트리밍 서버(200) 간의 정보의 송수신을 지원하는 통신망(300)을 포함하여 구성될 수 있다.

단말(100)은 사용자의 요청에 따라 통신망을 경유하여 각종 데이터를 송수신할 수 있는 사용자의 장치를 의미한다. 이러한 단말(100)은 음성 또는 데이터 통신을 수행할 수 있으며, 통신망(300)을 거쳐 스트리밍 서버(200)로 스트리밍 서비스를 요청하여 요청한 스트리밍 서비스를 제공받을 수 있다. 이때, 본 발명의 단말(100)은 스트리밍 서버(200)로부터 인코딩된 데이터를 수신할 수 있으며, 이를 디코딩하여 재생하는 과정을 수행할 수 있다. 아울러, 본 발명의 단말(100)은 스트리밍 서버(200)로부터 MMT 프로토콜에 따라 구성된 영상 컨텐츠를 스트리밍 방식으로 수신하되, 상기 영상 컨텐츠에 포함된 시그널 데이터와 상기 시그널 데이터에 동기화되어 재생될 수 있는 영상 프레임을 각각 독립된 경로를 통해 수신할 수 있으며, 이를 동기화하여 재생하는 과정을 지원할 수 있다.

이를 위해 본 발명의 단말(100)은 먼저 사용자로부터 특정 컨텐츠에 대한 스트르밍 서비스 요청을 확인한다. 상기 특정 컨텐츠에 대한 스트리밍 서비스 요청은 사용자로부터 브라우저 등을 통해 특정 컨텐츠를 요청(request)하는 URL(Uniform Resource Locator) 등의 입력으로 이루어질 수 있다. 이후, 단말(100)은 DNS(Domain Name Server) 등의 네임서버에 액세스하여 해당 컨텐츠에 대한 스트리밍 서비스를 제공하는 스트리밍 서버(200)의 주소 정보(IP address)를 획득한다. 그리고 나서, 단말(100)은 스트리밍 서버(200)로부터 스크리밍 방식으로 컨텐츠를 수신하여 이용할 수 있다. 본 발명의 단말(10)은 MPEG 미디어 트랜스포트, 즉 MMT 패킷 형태의 영상 컨텐츠를 요청할 수 있으며, MMT 패킷 형태의 영상 컨텐츠를 수신하여 재생할 수 있다. 아울러, MMT 패킷은 스트리밍 형태로 순차적으로 수신되며 단말(100)은 스트리밍 형태로 순차적으로 수신되는 영상 컨텐츠인 MMT 패킷을 재생하여 처리할 수 있다.

상술한 과정을 수행하기 위해 본 발명의 단말(100)은 정보의 송수신을 위한 브라우저, 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비할 수 있다.

스트리밍 서버(200)는 단말(100)로 다양한 컨텐츠, 예컨대, 사진, 비디오, 오디오, 어플리케이션 등과 같은 다양한 컨텐츠를 스트리밍 방식으로 제공하기 위한 것으로, 컨텐츠 제공자(CP; Contents Provider)로부터 적어도 하나의 컨텐츠를 제공받아 관리하며, 통신망(300)을 통해 다수의 단말(100)로 스트리밍 서비스를 제공할 수 있다. 특히, 본 발명의 스트리밍 서버(200)는 MMT 패킷 구성이 가능하며, 단말(100)의 요청에 따라 MMT 패킷을 단말(100)로 전송하는 역할을 수행하게 된다. 다시 말해 컨텐츠 제공 서버(300)가 제공하는 컨텐츠가 일반적인 패킷 형태로 구성되는 경우, 스트리밍 서버(200)가 상기 컨텐츠 제공 서버(300)가 제공하는 패킷을 MMT 패킷으로 변환 처리한 후 변환 처리된 MMT 패킷을 단말(100)로 스트리밍 방식으로 제공할 수 있게 된다.

특히, 본 발명의 실시 예에 따른 스트리밍 서버(200)는 영상 컨텐츠를 영상 프레임과 시그널 데이터로 분리한 후 각각 독립된 경로를 통해 단말(100)로 전송할 수 있다.

즉, 본 발명의 스트리밍 서버(200)는 고지연 채널(320) 및 저지연 채널(310)을 포함하는 통신망(300) 환경에서, 영상 컨텐츠를 영상 프레임과 시그널 데이터로 분리한 후, 고지연이 허용되는 영상 프레임을 인코딩하여 상기 고지연 채널(320)을 통해 단말(100)로 전송하고, 저지연이 허용되는 시그널 데이터 및 상기 시그널 데이터에 상기 영상 프레임을 동기화하기 위해 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널(310)을 통해 상기 단말(100)로 전송하게 된다.

또한, 본 발명의 스트리밍 서버(200)는 영상 프레임을 예측하고, 예측된 영상 프레임을 인코딩하여 상기 고지연 채널(320)을 통해 직접 단말(100)로 전송할 수 있다.

보다 구체적인 본 발명의 실시 예에 따른 영상 인코딩 및 디코딩 방법에 대해서는 후술하도록 하며, 본 발명의 실시 예에 따른 단말(100) 및 스트리밍 서버(200)에 탑재되는 프로세서는 본 발명에 따른 방법을 실행하기 위한 프로그램 명령을 처리할 수 있다. 일 구현 예에서, 이 프로세서는 싱글 쓰레드(Single-threaded) 프로세서일 수 있으며, 다른 구현 예에서 본 프로세서는 멀티 쓰레드(Multithreaded) 프로세서일 수 있다. 나아가 본 프로세서는 메모리 혹은 저장 장치 상에 저장된 명령을 처리하는 것이 가능하다.

아울러, 본 명세서 기술하는 스트리밍(Streaming) 서비스는 오디오 혹은 동영상 등의 컨텐츠를 스트리밍 방식으로 제공하는 것을 의미한다. 여기서 스트리밍 방식은 파일의 전송과 재생이 함께 이루어져 대기시간을 줄이고 수신측의 저장 용량에도 제약받지 않는 기술이다. 이러한 스트리밍은 저장된 컨텐츠를 사용자의 요청에 따라서 제공하는 VOD 스트리밍과, 정해진 시간에 컨텐츠 데이터를 브로드캐스팅하는 라이브 스트리밍으로 구분될 수 있다. 본 명세서에서 기술하는 스트리밍 서비스는 바람직하게는 라이브 스트리밍 서비스가 될 수 있으나, 반드시 상기 구조에 한정되는 것은 아니다.

상술한 과정을 지원하는 통신망(300)은 인터넷 망과 같은 IP 기반의 유선 통신망뿐만 아니라, LTE(Long term evolution) 망, WCDMA 망과 같은 이동통신망, Wi-Fi망과 같은 다양한 종류의 무선망, 및 이들의 조합으로 이루어질 수 있으며, 이러한 통신망(300)은 도면에는 도시하지 않았으나, 접속망(미도시), 백본망(미도시) 및 인터넷망(미도시)을 포함하여 구성될 수 있다.

여기서, 접속망(미도시)은 유선 또는 무선의 다양한 통신 방식으로 단말(100)과 데이터를 송수신할 수 있는 가입자망을 의미하는 것으로서, 예를 들어, BS(Base Station), BTS(Base Transceiver Station), NodeB, eNodeB 등과 같은 다수의 기지국과, BSC(Base Station Controller), RNC(Radio Network Controller)와 같은 기지국 제어기로 구현될 수 있다.

또 다른 방식으로는, 상기 기지국에 일체로 구현되어 있던 디지털 신호 처리부와 무선 신호 처리부를 각각 디지털 유니트(Digital Unit, 이하 DU라 함과 무선 유니트(Radio Unit, 이하 RU라 함)으로 구분하여, 다수의 영역에 각각 다수의 RU(미도시)를 설치하고, 다수의 RU(미도시)를 집중화된 DU(미도시)와 연결하여 구성할 수도 있다.

백본망(미도시)은 다수의 접속망(미도시)을 연결하고, 호 처리, 이동성 제어, 트래픽 제어 및 스위칭 등을 수행할 수 있는 사업자의 기간망을 의미하는 것으로, 코어망(Core Network)으로 불릴 수 있다. 이러한 백본망(미도시)은 서킷 교환(circuit switching) 또는 패킷 교환(packet switching)을 수행하며, 사업자 망 내에서의 패킷 흐름을 관리 및 제어한다. 또한, 백본망(미도시)은 주파수간 이동성을 관리하고, 접속망(미도시) 및 백본망(미도시) 내의 트래픽, 또는 다른 네트워크, 예컨대 인터넷망(미도시)과의 연동을 위한 역할을 수행할 수도 있다. 본 발명의 백본망(미도시)은 패킷 코어 장치(EPC: Evolved Packet Core)와 다수의 스위칭 장치를 포함하여 구성될 수 있다.

더하여, 본 발명의 스트리밍 서버(200)는 백본망(미도시)에 위치할 수 있다. 이때의 스트리밍 서버(200)는 백본망(미도시)을 관리하는 사업자의 스트리밍 서버(200)가 될 수 있으나, 이에 한정되는 것은 아니다. 또한 스트리밍 서버(200)는 후술하는 인터넷망(미도시)을 통해 연결될 수도 있다.

인터넷망(미도시)은 TCP/IP 프로토콜에 따라서 정보가 교환되는 통상의 공개된 통신망, 즉 공용망을 의미하는 것으로, 스트리밍 서버(200)로 컨텐츠를 제공하는 컨텐츠 제공자(미도시)와의 연결을 지원할 수 있다.

아울러, 본 발명의 통신망(300)은 지연 정도에 따라 저지연 채널(310)과 고지연 채널(320)로 구분될 수 있다.

고지연 채널(HDC; High Delay Channel, 320)은 지연이 높은 대신에 가용 비트율이 높으며, 저지연 채널(LDC; Low Delay Channel, 310)은 지연이 적은 대신에 가용 비트율이 매우 낮은 통신 환경이다. 이러한 통신 환경을 이용하여 본 발명은 매우 적은 지연을 가져야 하는 촉각 신호와 같은 저지연이 허용되는 시그널 데이터는 저지연 채널을 통해 전송하고, 높은 비트율이 필요하여 고지연이 허용되는 영상 프레임은 고지연 채널을 통해 전송함으로써 두 신호 간의 지연을 완화시킬 수 있게 된다.

이상으로 본 발명의 통신망 구조에 대해 간략히 설명하였으며, 본 발명의 통신망은 하드웨어, 소프트웨어 등의 컴퓨팅 자원을 저장하고, 클라이언트가 필요로 하는 컴퓨팅 자원을 해당 단말기로 제공할 수 있는 클라우드 컴퓨팅망을 포함할 수 있다. 여기서, 클라우드 컴퓨팅이란 인터넷 상의 서버에 있는 계산자원(computation resource)을 이용하여 정보를 가공할 수 있도록 하는 컴퓨터 환경 접속망을 의미한다. 본 발명의 통신망은 LAN(Local Area Network), WAN(Wide Area Network) 등의 폐쇄형 네트워크, 인터넷(Internet)과 같은 개방형 네트워크뿐만 아니라, CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), GSM(Global System for Mobile Communications), 최근 주목 받고 있는 LTE(Long Term Evolution), EPC(Evolved Packet Core) 등의 네트워크와 향후 구현될 차세대 네트워크 및 클라우드 컴퓨팅 네트워크를 모두 포함하는 개념이다.

이하, 본 발명의 실시 예에 따른 스트리밍 서버(200)의 주요 구성 및 동작 방법에 대해 설명하도록 한다.

도 2는 본 발명의 실시 예에 따른 스트리밍 서버의 주요 구성을 도시한 블록도이며, 도 3은 본 발명 스트리밍 서버에서의 인코딩부를 도시한 블록도이다.

도 1 및 도 2를 참조하면, 본 발명의 스트리밍 서버(200)는 영상 컨텐츠를 스트림 단위로 단말(100)로 전송하기 위해 프레임을 생성하는 캡처부(210), 캡처부(210)에 의해 캡처된 영상 프레임을 인코딩하는 인코딩부(220), 캡처부(210)에 의해 전달되는 시그널을 처리하는 시그널 처리부(230)와 그리고 인코딩부(220)를 통해 인코딩된 영상 프레임을 고지연 채널을 통해 단말(100)로 전송하고, 시그널 처리부(230)를 통해 처리된 시그널을 저지연 채널을 통해 단말(100)로 전송하기 위한 송신부(240)를 포함하여 구성될 수 있다.

본 발명의 영상 프레임을 인코딩하는 인코딩부(220)는 영상 프레임을 인코딩 시 MMT(MPEG Media Transport) 프로토콜에 따라 인코딩하여 복수의 미디어 프로세싱 유닛(MPU)으로 구성되는 MMT 패킷을 생성할 수 있으며, MMT 패킷이 복수의 애셋으로 구성되는 경우, 복수의 애셋을 타임 정보에 동기화하여 재생하여 출력할 수도 있다.

아울러, 본 발명의 인코딩부(220)는 인코딩된 영상 프레임을 송신부(240)의 고지연 채널 송신 모듈(240a)을 통해 단말(100)로 전송하게 된다. 특히, 본 발명의 인코딩부(220)는 영상 프레임을 인코딩 시, 이전 프레임이 존재하는 경우 현재 프레임과 이전 프레임을 이용하여 현재 프레임의 다음 프레임을 예측할 수 있다. 그리고 본 발명의 인코딩부(220)는 상기 현재 프레임의 다음 프레임에 대한 예측 정보를 상기 저지연 채널 송신 모듈(240b)로 전달할 수 있다. 또한 본 발명의 인코딩부(220)는 씬 변화가 감지되면, 보다 신속한 영상 프레임 전송을 위해 해당 프레임을 보다 낮은 해상도로 변환하여 인코딩을 수행한 후 고지연 채널 송신 모듈(240a)이 아닌 저지연 채널 송신 모듈(240b)을 통해 단말(100)로 전달할 수 있게 된다.

이러한 본 발명의 인코딩부(220)는 도 3에 도시된 바와 같이 씬 변화 감지 모듈(221) 및 인코딩 모듈(222)을 포함하여 구성될 수 있다.

씬 변화 감지 모듈(221)은 다음 프레임에서의 씬(scene) 변화를 감지한다. 씬 변화를 감지하는 구성은 다양한 공지된 구성을 채용할 수 있다. 예컨대, 다중 칼라 히스토그램의 차 벡터를 구하고, 차 벡터가 칼라 히스토그램 차 조건을 만족하는 가에 따라 장면 변화를 검출할 수 있다. 또한, 프레임에서의 에지를 검출하고, 검출된 에지를 이용하여 장면 변화를 감지할 수도 있다. 이 외에도 다양한 방식으로 장면 변화를 검출할 수 있으며, 본 발명의 씬 변화 감지 모듈(221)은 다음 프레임에서 장면의 변화가 감지된 것으로 판단되면, 인코딩 모듈(222)로 안내하는 역할을 수행한다.

본 발명의 인코딩 모듈(222)은 영상 프레임을 기 설정된 방식에 따라 인코딩하는 역할을 수행한다. 특히, 본 발명의 인코딩 모듈(222)은 영상 프레임 단위로 인코딩을 수행할 수 있다. 여기서 영상 프레임은 본 발명이 MMT 프로토콜을 따르는 경우 미디어 프로세싱 유닛(Media Processing Unit; MPU), 미디어 프래그먼트 유닛(Media Fragment Unit; MFU)이 될 수 있다.

특히, 본 발명의 인코딩 모듈(222)은 시그널 데이터에 영상 프레임이 동기화되도록 영상 프레임에 대한 예측 정보를 생성하고 예측 정보는 저지연 채널 송신 모듈을 통해 전달되도록 제어할 수 있다.

또한, 본 발명의 인코딩 모듈(222)은 씬 변화 감지 모듈(221)에 의해 장면 변화가 검출된 것으로 확인되면, 현재 인코딩 모듈(222)에서의 인코딩 해상도보다 낮은 해상도로 낮춰 인코딩을 수행할 수 있다. 그리고 본 발명의 인코딩 모듈(222)은 장면 변화가 검출되어 낮은 해상도로 인코딩된 영상 프레임에 대해서는 고지연 채널을 통해 단말(100)로 전송하는 것이 아니라, 저지연 채널을 통해 단말(100)로 전송하게 된다. 즉, 급격하게 화면이 변화되는 경우, 일부 손실되는 패킷이 존재하더라도 사용자는 이를 쉽게 느끼지 못한다. 그러나 지연이 발생된다면 사용자는 이를 쉽게 인지할 수 있으므로, 일부 패킷을 손실하더라도 보다 신속하게 단말(100)로 인코딩된 영상 프레임을 전송하는 것이 본 발명의 목적이므로, 인코딩 모듈(222)은 보다 낮은 해상도로 현재 영상 프레임을 인코딩한 후 이를 저지연 채널을 통해 단말(100)로 전송할 수 있다.

이때, 본 발명의 인코딩 모듈(222)은 매크로 블록 단위로 인코딩을 수행하여 해상도를 낮출 수 있게 되며, 여기서의 매크로 블록 크기는 가변적으로 설정될 수 있다.

반면, 본 발명의 인코딩 모듈(222)은 낮은 해상도로 현재 영상 프레임을 인코딩하는 것이 어려울 경우, 촉각 신호, 알람, 텍스트 등 다양한 방식으로 사용자가 장면 전환을 인지할 수 있도록 안내하는 역할을 수행할 수 있다. 아울러, 본 발명의 인코딩 모듈(222)은 다양한 방식으로 사용자에게 장면 전환을 안내하기 위한 정보를 고지연 채널이 아닌 저지연 채널을 통해 단말(100)로 전송할 수 있게 된다.

또한, 본 발명의 인코딩 모듈(222)은 영상 프레임을 예측하고, 예측된 영상 프레임을 인코딩하여 상기 고지연 채널(320)을 통해 직접 단말(100)로 전송할 수 있다.

다시 도 2를 참조하면, 본 발명의 시그널 처리부(230)은 영상 컨텐츠에 포함된 영상 프레임을 제외한 나머지 시그널 데이터들을 생성하고, 저지연이 허용되는 시그널 데이터를 상기 저지연 채널을 통해 단말(100)로 전달되는 과정을 제어할 수 있다. 예컨대 영상 컨텐츠가 촉각 시그널을 포함하는 경우, 시그널 처리부(230)는 캡처부(210)를 통해 촉각 시그널 데이터를 전달받을 수 있으며, 인코딩부(220)를 통해 인코딩되는 영상 프레임이 상기 촉각 시그널 데이터에 동기화되도록 정해진 패킷 타입으로 생성하는 역할을 수행할 수 있다. 예를 들어, 본 발명의 시그널 처리부(230)는 상기 촉각 시그널을 MMT 프로토콜을 따라는 시그널링 패킷으로 생성할 수 있게 된다.

또한 본 발명의 시그널 처리부(230)는 인코딩부(220)로부터 장면 전환 인지를 위한 안내 요청이 전달되면, 상기 인코딩부(220)의 요청에 따라 저지연 채널을 통해 사용자에게 알람, 텍스트 등의 방식으로 장면 전환을 인지할 수 있는 시그널을 전송할 수 있으며, 이를 위한 해당 시그널을 MMT 패킷 타입으로 생성 처리하는 과정을 지원할 수 있다.

송신부(240)는 고지연 채널 송신 모듈(240a) 및 저지연 채널 송신 모듈(240b)을 포함하여 구성될 수 있다.

고지연 채널 송신 모듈(240a)은 인코딩부(220)로부터 전달되는 영상 프레임을 고지연 채널을 통해 단말(100)로 전달하는 역할을 수행하며, 저지연 채널 송신 모듈(240b)은 시그널 처리부(230) 또는 인코딩부(220)를 통해 전달되는 데이터를 저지연 채널을 통해 단말(100)로 전달하는 역할을 수행한다.

여기서, 고지연 채널(HDC; High Delay Channel)은 지연이 높은 대신에 가용 비트율이 높으며, 저지연 채널(LDC; Low Delay Channel)은 지연이 적은 대신에 가용 비트율이 매우 낮은 통신 환경이다. 이러한 통신 환경을 이용하여 매우 적은 지연이 허용되는 촉각 시그널과 같은 시그널 데이터는 저지연 채널을 통해 전송하고, 높은 비트율이 필요하여 고지연이 허용될 수 있는 영상 프레임은 예측을 통해 고지연 채널을 통해 전송함으로써 두 신호 간의 동기화가 가능하게 된다.

이상으로 본 발명의 실시 예에 따른 스트리밍 서버(200)의 주요 구성 및 동작 방법에 대해 설명하였다. 그러나 도 2 및 도 3에 도시된 구성요소가 모두 필수 구성요소인 것은 아니며, 도시된 구성요소보다 많은 구성 요소에 의해 스트리밍 서버(200)가 구현될 수 있다. 예를 들어, 인코딩된 영상 프레임을 MMT 캡슐화기(MMT encapsulator)에 의해 MMT가 지원하는 소정의 포맷으로 캡슐화된 후 MMT 패킷을 구성하여 생성하는 MMT 패킷 생성부, 사용자의 요청에 따른 처리를 수행하는 제어 처리부, 인코딩에 필요한 다양한 정보를 저장하는 메모리부 등 다양한 구성 요소에 의해 본 발명의 스트리밍 서버(200)가 구현될 수 있다.

아울러, 본 발명의 실시 예에 따른 스트리밍 서버(200)는 하드웨어적으로는 통상적인 웹서버(Web Server) 또는 네트워크 서버와 동일한 구성을 하고 있다. 그러나, 소프트웨어적으로는 C, C++, Java, Visual Basic, Visual C 등과 같은 언어를 통하여 구현되는 프로그램 모듈(Module)을 포함한다.

한편, 본 발명의 각 장치에 탑재되는 메모리는 그 장치 내에서 정보를 저장한다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛 일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛 일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

아울러, 본 발명의 실시 예에서 사용되는 '~모듈'이라는 용어는 소프트웨어 구성요소를 의미하며, '~모듈'은 어떤 역할들을 수행한다. 일 예로서 '~모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 또한, 구성요소들과 '~모듈'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~모듈'들로 결합되거나 추가적인 구성요소들과 '~모듈'들로 더 분리될 수 있다.

비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.

이하, 본 발명의 실시 예에 따른 단말(100)의 주요 구성 및 동작 방법에 대해 설명하도록 한다.

도 4는 본 발명의 실시 예에 따른 단말의 주요 구성을 도시한 블록도이며, 도 5는 본 발명 단말의 디코딩부를 도시한 블록도이다.

먼저, 도 4를 참조하면 본 발명의 단말(100)은 수신부(110), 디코딩부(120), 단말 시그널 처리부(130), 동기화부(140) 및 출력부(150)를 포함하여 구성될 수 있다.

먼저, 수신부(110)는 고지연 채널 수신 모듈(110a) 및 저지연 채널 수신 모듈(110b)을 포함하며, 고지연 채널 수신 모듈(110b)은 고지연 채널을 통해 전달되는 영상 프레임을 수신한다. 그리고 저지연 채널 수신 모듈(110b)은 저지연 채널을 통해 전달되는 영상 프레임을 제외한 다양한 시그널들을 수신할 수 있다.

디코딩부(120)는 고지연 채널 수신 모듈(110a)과 연결되어 고지연 채널 수신 모듈(110a)로부터 인코딩된 영상 프레임이 전달되면 이를 디코딩하는 역할을 수행한다.

이때, 본 발명의 디코딩부(120)는 프레임 예측 모듈(121), 단말 씬 변화 감지 모듈(122) 및 디코딩 모듈(123)을 포함하여 구성될 수 있다. 프레임 예측 모듈(121)은 고지연 채널 수신 모듈(110a)을 통해 순차적으로 전달되는 영상 프레임을 이용하여 다음 프레임을 예측하는 역할을 수행할 수 있다. 즉 종래의 FRUC(Frame-Rate Up-Conversion) 기능은 n+1 번째 프레임과 n-1 번째 프레임을 이용하여 n 번째 프레임을 생성하는 것을 의미하는 데, 본 발명은 이러한 FRUC 기능을 이용하여 과거의 수신한 프레임 데이터를 이용하여 앞으로의 프레임, 다시 말해 현재 프레임과 이전 프레임을 이용하여 다음 프레임을 예측할 수 있게 된다. 이때, 본 발명의 단말(100)은 프레임 예측 모듈(121)을 이용하여 다음 프레임을 예측할 수 있으며, 이러한 과정을 통해 수신측에서의 지연 발생 없이 보다 신속하게 디코딩을 수행할 수 있다.

아울러, 단말 씬 변화 감지 모듈(122)은 고지연 채널 수신 모듈(110a)로부터 스트림 단위로 전달되는 영상 프레임을 감지하여, 장면 변화를 검출하고 이를 단말 시그널 처리부(130)로 안내하는 역할을 수행할 수도 있다.

디코딩 모듈(123)은 고지연 채널 수신 모듈(110a)로부터 전달되는 인코딩된 프레임을 디코딩하여 동기화부(140)로 전달하게 된다. 이때 본 발명의 디코딩 모듈(123)은 단말 시그널 처리부(130)로부터 전달되는 예측 정보를 이용하여 현재 프레임을 디코딩할 수 있으며, 이때의 예측 정보는 수신부(110)의 저지연 채널 수신 모듈(110b)을 통해 수신되게 된다.

반면, 디코딩 모듈(123)은 고지연 채널 수신 모듈(110a)로부터 예측된 영상 프레임을 이용하여 인코딩된 프레임이 전달받아 디코딩한 후 이를 동기화부(140)로 전달할 수도 있다.

다시 도 4를 참조하면, 단말 시그널 처리부(130)는 저지연 채널 수신 모듈(110b)을 거쳐 전달되는 영상 프레임 이외의 시그널 데이터에 대한 각종 처리를 수행한다. 특히 본 발명의 단말 시그널 처리부(130)는 저지연 채널 수신 모듈(110b)을 통해 시그널 데이터 및 상기 영상 프레임에 대한 예측 정보를 수신한다. 그리고 단말 시그널 처리부(130)는 상기 시그널 데이터에 상기 영상 프레임이 동기화되어 출력되도록 제어를 수행하게 된다. 즉, 시그널 데이터는 동기화부(140)로 전달하고, 상기 예측 정보는 디코딩부(120)로 전달하여 예측 정보를 고려한 디코딩이 이뤄지도록 제어할 수 있다. 또한, 본 발명의 단말 시그널 처리부(130)는 장면 변화를 알리는 시그널이 수신되면 이를 처리하기 위한 과정을 수행할 수 있다.

그리고 동기화부(140)는 디코딩부(120) 및 단말 시그널 처리부(130)로부터 전달되는 정보를 동기화하여 출력부(150)로 전달하는 역할을 수행한다. 특히 본 발명의 동기화부(140)는 상기 시그널 데이터의 타임 스탬프(time stamp)와 상기 영상 프레임의 타임 스탬프를 확인한 후 상기 타임 스탬프에 따라 동기화하여 출력부(150)로 전달할 수 있다. 예를 들어, 본 발명의 영상 프레임이 MMT 패킷 형태로 전달되는 경우, 영상 프레임의 정보를 담고 있는 MMT 패킷의 타임 스탬프와 그 외 정보를 담고 있는 MMT 패킷의 타임 스탬프를 비교하여 재생을 위한 동기화 과정을 수행한 후 출력부(150)를 통해 출력할 수 있게 된다.

출력부(150)는 동기화부(140)를 거쳐 동기화된 영상 컨텐츠를 출력하는 역할을 수행할 수 있다.

이상으로 본 발명의 실시 예에 따른 단말(100)의 주요 구성 및 동작 방법에 대해 설명하였다. 그러나 도 4 및 도 5에 도시된 구성요소가 모두 필수 구성요소인 것은 아니며, 도시된 구성요소보다 많은 구성 요소에 의해 단말(100)이 구현될 수 있다. 예를 들어, 사용자의 입력을 처리하기 위한 입력부, 본 발명의 단말 구현에 필요한 각종 정보를 저장하고 관리하기 위한 저장부 등 다양한 구성 요소에 의해 본 발명의 단말(100)이 구현될 수 있다.

이러한 명세서에서 기술되는 단말(100)은 사용자 장치(User Equipment), 이동국(Mobile Station, MS), 이동 단말(Mobile Terminal, MT), 가입자국(Subscriber Station, SS), 휴대 가입자국(Portable Subscriber Station, PSS), 접근 단말(Access Terminal, AT) 등을 지칭할 수도 있고, 이동 단말, 가입자국, 휴대 가입자국 등의 전부 또는 일부의 기능을 포함할 수도 있다. 또한, 단말(100)은 그 구현 형태에 따라 스마트 폰(smart phone), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player)와 같은 이동 단말기는 물론, 스마트 TV(Smart TV), 데스크탑 컴퓨터 등과 같은 고정 단말기가 사용될 수도 있다.

이러한 본 발명의 단말(100)은 디지털 기기의 컨버전스(convergence) 추세에 따라 휴대 기기의 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 유닛들과 동등한 수준의 유닛이 본 발명에 따른 단말(100)로 사용될 수도 있으며, 스트리밍 서버(200)로부터 전달되는 영상 프레임을 인코딩하고 처리할 수 있는 장치라면 그 어떠한 장치도 본 발명의 단말(100)로 적용 가능하다.

이하, 본 발명의 실시 예에 따른 영상 인코딩 및 디코딩 방법에 대해 설명하도록 한다.

먼저, 본 발명의 실시 예에 영상 인코딩 방법에 대해 설명하도록 한다.

도 6은 본 발명의 실시 예에 따른 영상 인코딩 방법을 설명하기 위한 흐름도이다.

도 1 및 도 6을 참조하면, 스트리밍 서버(200)는 컨텐츠 제공자로부터 전달되는 영상 컨텐츠를 스트림 단위로 캡처링하여 영상 프레임을 생성한다(S101). 이때 영상 프레임 이외의 별도의 시그널 데이터, 예컨대 촉각 시그널 데이터가 존재하는 경우 이를 분리할 수 있다.

그리고 스트리밍 서버(200)는 이전 프레임이 존재하지 않을 경우 현재 프레임을 인코딩한다. 그리고 영상 컨텐츠를 요청한 단말(100)로 인코딩한 영상 프레임을 전달하게 되는 데, 본 발명의 스트리밍 서버(200)는 가용 비트율이 높은 고지연 채널(HDC; High Delay Channel)을 통해 단말(100)로 전송할 수 있다. 한편, 영상 프레임에서 분리된 각종 시그널 데이터를 저지연 채널(LDC; Low Delay Channel)을 통해 단말(100)로 전송될 수 있다(S113). 즉, 본 발명은 이러한 구성을 통해 매우 적은 지연을 가져야 하는 촉각 신호는 저지연 채널을 통해 전송하고, 높은 비트율이 필요한 영상 프레임은 다음 프레임을 예측하여 고지연 채널을 통해 전송함으로써 두 신호 간의 동기화가 가능하게 된다.

한편, 본 발명의 스트리밍 서버(200)는 이전 프레임이 존재하는 경우, 현재 프레임 및 이전 프레임을 이용하여 다음 프레임을 예측한다(S103). 그리고 스트리밍 서버(200)는 상기 영상 프레임에 대한 예측 정보를 저지연 채널을 통해 단말(100)로 전송할 수 있다. 그리고 본 발명의 스트리밍 서버(200)는 씬 변화 여부를 감지하여 다음 프레임의 씬 변화가 감지되는 경우(S105), 보다 신속한 영상 프레임 전송을 위해 해당 프레임을 보다 낮은 해상도로 인코딩을 수행한 후 고지연 채널이 아닌 저지연 채널을 통해 단말(100)로 전달하게 된다.

S105 단계에서 씬(scene) 변화를 감지하는 구성은 다양한 공지된 구성을 채용할 수 있다. 예컨대, 다중 칼라 히스토그램의 차 벡터를 구하고, 차 벡터가 칼라 히스토그램 차 조건을 만족하는 가에 따라 장면 변화를 검출할 수 있다. 또한, 프레임에서의 에지를 검출하고, 검출된 에지를 이용하여 장면 변화를 감지할 수도 있다. 이 외에도 다양한 방식으로 장면 변화를 검출하게 된다.

이후에, 씬 변화가 없는 것으로 판단되면 프레임 단위로 인코딩할 수 있으며(S107), 씬 변화가 존재하는 경우 보다 신속한 디코딩을 위해 저해상도로 인코딩을 수행할 수 있다(S111). 이후, 프레임 단위로 인코딩된 데이터는 고지연 채널을 통해 전송되며(S109) 저해상도로 인코딩된 데이터는 저지연 채널을 통해 단말(100)로 전송될 수 있다(S113).

즉, 급격하게 화면이 변화되는 경우, 일부 손실되는 패킷이 존재하더라도 사용자는 이를 쉽게 느끼지 못한다. 그러나 지연이 발생된다면 사용자는 손실 패킷을 이를 쉽게 인지하게 되므로, 저해상도로 현재 영상 프레임을 인코딩하여 저지연 채널을 통해 단말(100)로 전송함으로써 보다 신속한 영상 프레임의 제공이 가능하게 된다.

한편, 본 발명의 스트리밍 서버(200)는 S111 단계에서 낮은 해상도로 현재 영상 프레임을 인코딩하는 것이 어려울 경우, 촉각 신호, 알람, 텍스트 등 다양한 방식으로 사용자가 장면 전환을 인지할 수 있도록 안내하는 역할을 수행할 수 있다. 즉, 본 발명의 스트리밍 서버(200)는 이를 위한 다양한 안내 시그널을 단말(100)로 전송할 수 있으며, 안내 시그널 또한 저지연 채널을 통해 단말(100)로 전송할 수 있게 된다.

또한, 본 발명의 스트리밍 서버(200)는 S103 단계 이후에, 직접 예측된 정보를 이용하여 예측된 영상 프레임을 인코딩한 후 고지연 채널을 통해 단말(100)로 전송할 수도 있다. 이를 수신한 단말(100)은 수신되는 정보를 디코딩한 후 시그널 데이터에 영상 프레임을 동기화시켜 재생하는 과정을 수행할 수 있게 된다.

아울러, 본 발명의 스트리밍 서버(200)는 단말(100)로부터 스트리밍 서비스 요청을 수신하거나 단말(100)의 요청과 관련된 다양한 정보를 수신하고 처리할 수 있으며, 허가된 사용자에게만 서비스를 제공하는 경우, 단말(100)의 사용자를 인증하는 과정을 더 수행할 수도 있다.

또한, 본 발명의 스트리밍 서버(200)가 단말(100)로 전달하는 정보는 MMT 패킷 형태로 전송될 수 있다.

이하, 본 발명의 실시 예에 영상 디코딩 방법에 대해 설명하도록 한다.

도 7은 본 발명의 실시 예에 따른 영상 디코딩 방법을 설명하기 위한 흐름도이며, 도 8은 본 발명의 실시 예에 따른 프레임 예측을 설명하기 위한 예시도이다.

먼저, 도 1 및 도 7을 참조하면, 본 발명의 실시 예에 따른 영상 디코딩 방법은 단말(100)이 고지연 채널을 통해 전달되는 영상 프레임을 수신하고(S201), 영상 프레임 이외의 각종 시그널 데이터를 저지연 채널을 통해 수신할 수 있다(S203). 이때 본 발명의 단말(100)은 상기 영상 프레임에 대한 예측 정보가 수신되는 경우, 예측 정보는 상기 저지연 채널을 통해 수신할 수 있게 된다.

여기서 수신되는 정보는 MMT 패킷 형태로 수신될 수 있으며, 영상 컨텐츠를 하나의 애셋이라 할 경우, 영상 데이터를 포함하는 미디어 프로세싱 유닛(MPU; Media Processing Unit)와, 영상 데이터에 동기화되어 재생되는 각종 시그널, 예컨대 촉각 시그널을 포함하는 MPU의 형태로 수신할 수 있다.

그리고 본 발명의 단말(100)은 고지연 채널을 통해 영상 프레임을 순차적으로 수신하고 수신된 영상 프레임을 디코딩하여 재생하는 과정을 지원할 수 있다.

이때, 본 발명의 단말(100)은 이전 프레임이 존재하는 경우, 현재 프레임과 이전 프레임을 이용하여 다음 프레임을 예측하고(S205), 이를 통해 씬 변화를 감지할 수 있다(S207). 그리고 씬 변화가 감지되면 저해상도로 디코딩하여(S209) 디코딩과 동시에 디스플레이를 즉각적으로 실시할 수 있으며, 이러한 과정을 통해 사용자의 체감 지연을 보다 더 줄일 수 있게 된다.

즉, 도 8에 도시된 바와 같이, 본 발명의 단말(100)은 이전 프레임(n-1)과 현재 프레임(n)을 이용하여 다음 프레임(n+1)을 예측할 수 있으며, 이때 장면이 변화된 것으로 감지되면 스트리밍 서버(200)에 의해 저해상도로 인코딩된 상태이므로, 저해상도로 디코딩을 수행할 수 있으며, 전체 프레임을 구성하는 데이터가 모두 존재하지 않더라도 해당 프레임을 재생할 수 있어 보다 신속하게 컨텐츠 재생이 가능하게 된다.

반면 S203 단계에서 스트리밍 서버(200)로부터 저지연 채널을 통해 다음 프레임에 대한 예측 정보를 수신할 수도 있으며, 수신된 예측 정보를 이용하여 씬 변화 등을 감지할 수도 있다(S207). 그리고, 단말(100)은 수신된 예측 정보를 이용하여 디코딩을 수행할 수 있으며(S211), 이러한 과정을 통해 네트워크 수신 중에 발생 가능한 지연을 수신단에서 최소화할 수 있게 된다.

반면 S207 단계에서 그렇지 않을 경우 인코딩 시의 단위와 동일하게 프레임 단위로 디코딩을 수행하게 된다(S211).

그리고 S203 단계에서 저지연 채널을 통해 수신된 시그널과 디코딩된 프레임을 동기화하는 과정을 수행할 수 있다(S213). 그리고 동기화된 컨텐츠를 출력하게 된다(S215).

이상으로 본 발명의 실시 예에 따른 영상 인코딩 및 디코딩 방법에 대해 설명하였다.

상술한 바와 같은 본 발명의 인코딩 방법 및 디코딩 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 본 발명의 일 실시 예에 따른 인코딩 방법 및 디코딩 방법을 구현하기 위한 기록매체에 기록되는 프로그램은 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경의 스트리밍 서버에서의 인코딩 방법에 있어서, 상기 스트리밍 서버가 고지연이 허용되는 영상 프레임을 인코딩하여 상기 고지연 채널을 통해 단말로 전송하고, 저지연이 허용되는 시그널 데이터 및 상기 시그널 데이터에 상기 영상 프레임을 동기화하기 위해 상기 영상 프레임에 대한 예측 정보를 상기 저지연채널을 통해 상기 단말로 전송하거나,

고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경의 단말에서의 디코딩 방법에 있어서, 상기 단말이 스트리밍 서버로부터 인코딩된 영상 프레임을 상기 고지연 채널을 통해 수신하고, 시그널 데이터 및 상기 시그널 데이터에 상기 영상 프레임을 동기화하기 위해 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널을 통해 수신하는 단계 및 상기 단말이 상기 수신된 상기 영상 프레임을 디코딩한 후 상기 시그널 데이터에 상기 영상 프레임을 동기화하여 출력하는 단계 등을 실행할 수 있다.

이러한, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.

아울러, 상술한 바와 같은 컴퓨터가 읽을 수 있는 기록매체에 기록된 컴퓨터 프로그램은 상술한 바와 같은 기능을 수행하는 명령어를 포함하며 기록매체를 통해 배포되고 유통되어 특정 장치, 특정 컴퓨터에 읽히어 설치되고 실행됨으로써 전술한 기능들을 실행할 수 있다.

여기서, 컴퓨터가 기록매체에 기록된 프로그램을 읽어 들여 프로그램으로 구현된 기능들을 실행시키기 위하여, 전술한 컴퓨터 프로그램은 컴퓨터의 프로세서(CPU)가 컴퓨터의 장치 인터페이스(Interface)를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 프로그램 명령어에 대한 코드(Code)를 포함할 수 있다.

이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다. 또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다. 또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.

본 발명은 영상 인코딩 및 디코딩 방법에 관한 것으로, 더욱 상세하게는 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경에서, 스트리밍 서버가 고지연이 허용되는 영상 프레임을 인코딩하여 상기 고지연 채널을 통해 단말로 전송하고, 저지연이 허용되는 시그널 데이터 및 상기 시그널 데이터에 상기 영상 프레임을 동기화하기 위해 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널을 통해 상기 단말로 전송하고, 단말은 스트리밍 서버로부터 수신되는 정보를 고지연 채널 및 저지연 채널을 통해 각각 수신하여 디코딩함으로써, 시그널 데이터와 상기 시그널 데이터이 동기화되어 출력되는 영상 프레임 간의 지연을 최소화할 수 있는 인코딩 방법 및 디코딩 방법, 그리고 이를 위한 장치에 관한 것이다.

본 발명에 의하면, 송신단 및 수신단에서의 지연을 최소화함으로써, 영상과 촉각 시그널과의 지연 차이를 최소화할 수 있어 촉각 서비스, 네트워크 게임 서비스 등 지연에 민감한 서비스의 사용자 만족도를 향상시킬 수 있게 된다.

이를 통해 본 발명은 서비스 산업의 발전에 이바지할 수 있으며, 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.

100: 단말 110: 수신부
120: 디코딩부 130: 단말 시그널 처리부
140: 동기화부 150: 출력부
200: 스트리밍 서버 210: 캡처부
220: 인코딩부 230: 시그널 처리부
240: 송신부 310: 저지연 채널
320: 고지연 채널

Claims (13)

1. 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경의 스트리밍 서버에서의 인코딩 방법에 있어서,
   상기 스트리밍 서버가
   영상 프레임과 상기 영상 프레임에 대한 시그널 데이터를 포함하는 영상 컨텐츠에서 상기 영상 프레임을 인코딩하여 상기 고지연 채널을 통해 단말로 전송하고,
   상기 시그널 데이터 및 상기 시그널 데이터에 상기 영상 프레임을 동기화하기 위해 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널을 통해 상기 단말로 전송하되,
   상기 영상 프레임을 인코딩 시
   장면(scene) 변화가 감지되면, 상기 영상 프레임을 저해상도로 변환하여 인코딩한 후 상기 저지연 채널을 통해 상기 단말로 전송하는 것을 특징으로 하는 인코딩 방법.
2. 삭제
3. 제1항에 있어서,
   상기 영상 프레임을 저해상도로 변환하는 것이 불가할 경우,
   상기 영상 프레임에서의 장면 변화가 감지되었음을 안내하는 시그널 데이터를 상기 저지연 채널을 통해 상기 단말로 전송하는 것을 특징으로 하는 인코딩 방법.
4. 제1항에 있어서,
   상기 예측 정보는
   현재 프레임과 이전 프레임을 이용하여 상기 현재 프레임의 다음 프레임에 대한 예측 정보인 것을 특징으로 하는 인코딩 방법.
5. 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경의 단말에서의 디코딩 방법에 있어서,
   상기 단말이
   스트리밍 서버로부터 인코딩된 영상 프레임을 상기 고지연 채널을 통해 수신하고, 시그널 데이터 및 상기 시그널 데이터에 상기 영상 프레임을 동기화하기 위해 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널을 통해 수신하는 단계; 및
   상기 단말이 상기 수신된 상기 영상 프레임을 디코딩한 후 상기 시그널 데이터에 상기 영상 프레임을 동기화하여 출력하는 단계; 를 포함하고,
   상기 영상 프레임을 디코딩 시
   프레임 단위로 디코딩을 수행하며, 장면 변화가 감지되는 경우, 저해상도로 변환하여 디코딩을 수행하는 것을 특징으로 하는 디코딩 방법.
6. 제5항에 있어서,
   상기 동기화하여 출력하는 단계는
   상기 시그널 데이터의 타임 스탬프(time stamp)와 상기 영상 프레임의 타임 스탬프를 확인한 후 상기 타임 스탬프에 따라 동기화하여 출력하는 것을 특징으로 하는 디코딩 방법.
7. 삭제
8. 제5항에 있어서,
   상기 출력하는 단계는
   상기 단말이 상기 수신된 상기 영상 프레임을 상기 예측 정보를 고려하여 디코딩한 후 상기 시그널 데이터에 동기화하여 출력하는 것을 특징으로 하는 디코딩 방법.
9. 제1항, 제3항 내지 제6항, 제8항 중 어느 하나의 항에 기재된 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
10. 제1항, 제3항 내지 제6항, 제8항 중 어느 하나의 항에 기재된 방법을 실행시키도록 구현되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
11. 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경에서의 스트리밍 서버에 있어서,
    상기 스트리밍 서버는
    상기 고지연 채널과 연결되는 고지연 채널 송신 모듈 및 상기 저지연 채널과 연결되는 저지연 채널 송신 모듈을 포함하는 송신부;
    영상 프레임과 상기 영상 프레임에 대한 시그널 데이터를 포함하는 영상 컨텐츠 중 상기 영상 프레임을 인코딩하여 상기 고지연 채널을 통해 단말로 전송하도록 제어하는 인코딩부; 및
    상기 시그널 데이터를 상기 저지연 채널을 통해 상기 단말로 전송하도록 제어하는 시그널 처리부;
    를 포함하되,
    상기 인코딩부는
    상기 시그널 데이터에 상기 영상 프레임이 동기화되도록 상기 영상 프레임에 대한 예측 정보를 상기 저지연 채널을 통해 상기 단말로 전송하되, 상기 영상 프레임을 인코딩 시 장면(scene) 변화가 감지되면, 상기 영상 프레임을 저해상도로 변환하여 인코딩한 후 상기 저지연 채널을 통해 상기 단말로 전송하도록 제어하는 것을 특징으로 하는 스트리밍 서버.
12. 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경에서의 스트리밍 서버에 있어서,
    상기 스트리밍 서버는
    상기 고지연 채널과 연결되는 고지연 채널 송신 모듈 및 상기 저지연 채널과 연결되는 저지연 채널 송신 모듈을 포함하는 송신부;
    영상 프레임과 상기 영상 프레임에 대한 시그널 데이터를 포함하는 영상 컨텐츠 중 상기 영상 프레임을 예측하고, 예측된 영상 프레임을 인코딩하여 상기 고지연 채널을 통해 단말로 전송하도록 제어하는 인코딩부; 및
    상기 시그널 데이터를 상기 저지연 채널을 통해 상기 단말로 전송하도록 제어하는 시그널 처리부;를 포함하고,
    상기 인코딩부는,
    상기 영상 프레임을 인코딩 시 장면(scene) 변화가 감지되면, 상기 영상 프레임을 저해상도로 변환하여 인코딩한 후 상기 고지연 채널을 통해 상기 단말로 전송하는 것을 특징으로 하는 스트리밍 서버.
13. 고지연 채널(HDC; High Delay Channel) 및 저지연 채널(LDC; Low Delay Channel)을 포함하는 환경에서의 단말에 있어서,
    상기 단말은
    상기 고지연 채널과 연결되는 고지연 채널 수신 모듈 및 상기 저지연 채널과 연결되는 저지연 채널 수신 모듈을 포함하는 수신부;
    상기 고지연 채널 수신 모듈을 통해 수신된 영상 프레임을 디코딩하는 디코딩부; 및
    상기 저지연 채널 수신 모듈을 통해 수신되는 시그널 데이터 및 상기 영상 프레임에 대한 예측 정보를 수신하여, 상기 시그널 데이터에 상기 영상 프레임이 동기화되어 출력되도록 제어하는 단말 시그널 처리부;를 포함하고,
    상기 디코딩부는,
    상기 영상 프레임을 디코딩 시
    프레임 단위로 디코딩을 수행하며, 장면 변화가 감지되는 경우, 저해상도로 변환하여 디코딩을 수행하는 것을 특징으로 하는 단말.

Images