KR101584111B1 - 클라우드 컴퓨팅을 이용한 멀티미디어 서비스 품질 향상 방법 및 이를 위한 기기 - Google Patents

Abstract

본 발명의 일 실시예에 따르면, 네트워크를 통해 복수의 미디어를 단말기(Mobile Station)로부터 각각 원본 미디어(Original Media, OM)을 수신하는 미디어 수신부; 상기 미디어 수신부에서 수신한 원본 미디어들을 토대로 부가 가치가 향상된 미디어를 합성하는 미디어 개선부; 및 상기 부가 가치가 향상된 미디어를 미디어를 소비하는 단말기에 송신하는 미디어 송신부를 포함하는 네트워크를 이용한 중앙 연산 장치를 제공한다.

Description

클라우드 컴퓨팅을 이용한 멀티미디어 서비스 품질 향상 방법 및 이를 위한 기기{A Method And Apparatus For Enhancing Quality Of Multimedia Service By Using Cloud Computing}

본 발명은 클라우드 컴퓨팅을 이용한 멀티미디어 서비스 품질 향상 방법과 이를 이용하는 장치에 관한 것으로, 구체적으로는 계산 자원이 풍부한 개체(entity)를 이용하여 망 중간에서 멀티미디어 콘텐츠의 가치를 향상시키며, 이로써 계산 자원이 제한적인 단말기의 기능을 향상시키는 장치 및 방법에 관한 것이다.

정보 통신 산업의 지속적인 발달은 휴대용 단말기의 디스플레이 성능 향상을 가져왔다. 디스플레이 성능의 지속적인 발달로 인하여, 휴대용 단말기는 HD(High Definition)미디어를 제공하는 디스플레이를 구비하고 있으며, 특히, 최근 휴대용 단말기는 FHD(Full High Definition) 또는 UHD(Ultra High Definition) 미디어를 제공하는 디스플레이를 구비하기에 이르렀다.

하지만, 휴대용 단말기가 구비하고 있는 카메라는 디스플레이의 성능 발달 속도를 따라가지 못하고 있으며, 휴대용 단말기의 카메라를 통해 획득한 미디어는 휴대용 단말기의 부호화 및/또는 복호화 성능 한계로 인해 미디어 품질의 한계가 존재한다.

휴대용 단말기의 카메라를 통해 획득한 미디어의 품질 향상을 위해서, 휴대용 단말기의 부호화 및/또는 복호화 성능을 향상할 필요성이 있으나, 휴대용 단말기의 한정된 계산 자원으로 인하여 휴대용 단말기의 카메라를 통해 획득한 미디어의 품질 향상에는 어려움이 있다.

본 발명은 계산 자원이 풍부한 개체를 이용하여 망 중간에서 멀티미디어 데이터의 가치를 향상시키는 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명은 또한, 네트워크를 이용하여, 계산 자원이 제한적인 단말기의 기능을 향상시키는 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명은 또한, 계산 자원이 풍부한 개체(entity)를 이용하여 계산 자원이 제한적인 단말기의 기능을 향상시키는 장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명은 또한, 계산 자원이 풍부한 개체를 이용하여 계산 자원이 제한적인 단말기의 기능을 향상시키는 알고리즘, 프로토콜 및/또는 표준을 제공하는 것을 목적으로 한다.

본 발명의 일 실시예에 따르면, 네트워크를 통해 단수 또는 복수의 휴대용 단말기(Mobile Station, MS)로부터 각각 원본 미디어(Original Media, OM)을 수신하는 미디어 수신부, 상기 미디어 수신부에서 수신한 단수 또는 복수의 원본 미디어를 토대로 화질이 개선된 미디어(Enhanced Media, EM)로 개선하는 미디어 개선부, 및 상기 화질이 개선된 미디어를 휴대용 단말기에게 송신하는 송신부를 포함하는 네트워크를 이용한 중앙 연산 장치를 제공한다.

이때, 상기 화질이 개선된 미디어는 시간적, 공간적, 화질적 정보를 포함하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 장치를 제공한다.

이때, 상기 수신한 원본 미디어 및 상기 화질이 개선된 미디어의 속성에 대한 정보를 저장하는 메타 데이터 저장부를 포함하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 장치를 제공한다.

이때, 상기 미디어 개선부는 FRUC(Frame Rate Up-Conversion) 또는 해상도 향상 알고리즘을 이용하여, 화질이 개선된 미디어로 변환하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 장치를 제공한다.

이때, 상기 미디어 개선부는 복수의 미디어를 이용하여, 파노라마 미디어를 생성하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 장치를 제공한다.

이때, 상기 미디어 개선부는 화질이 개선된 미디어를 생성하는 대신에, 미디어 개선을 위한 보조 정보(Enhancement Information, EnI)를 생성하고, 상기 송신부는 상기 화질이 개선된 미디어를 송신하는 대신에, 미디어 개선을 위한 보조 정보 및 원본 미디어를 휴대용 단말기에 송신하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 장치를 제공한다.

이때, 상기 미디어 개선부는 미디어 개선을 위한 보조 정보(Enhancement Information, EnI)를 더 생성하고, 휴대용 단말기가 개선된 미디어만을 수신하는 경우, 상기 송신부는 휴대용 단말기에게 개선된 미디어를 송신하고, 휴대용 단말기가 원본 미디어 및 미디어 개선을 위한 보조 정보를 수신하는 경우, 상기 송신부는 휴대용 단말기에게 원본 미디어 및 미디어 개선을 위한 보조 정보를 송신하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 장치를 제공한다.

이때, 상기 송신부는 복수의 휴대용 단말기에게 동시에 개선을 미디어를 송신하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 장치를 제공한다.

이때, 상기 네트워크를 이용한 중앙 연산 장치는 미디어 인지 네트워크 엘리먼트(Media Aware Network Element, MANE)인 것을 특징으로 하는 장치를 제공한다.

본 발명의 다른 실시예에 따르면, 네트워크를 통해 복수의 휴대용 단말기(Mobile Station)로부터 각각 원본 미디어(Original Media, OM)을 수신하는 단계, 수신한 상기 원본 미디어들을 토대로 개선된 미디어(Enhanced Media, EM)을 합성하는 단계, 및 상기 개선된 미디어를 휴대용 단말기에 송신하는 단계를 포함하는 네트워크를 이용한 중앙 연산 방법을 제공한다.

이때, 상기 개선된 미디어는 시간적, 공간적, 화질적 정보를 포함하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 방법을 제공한다.

이때, 상기 수신한 원본 미디어 및 상기 개선된 미디어의 속성에 대한 정보를 저장하는 단계를 더 포함하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 방법을 제공한다.

이때, 상기 미디어를 개선하는 단계는 FRUC(Frame Rate Up-Conversion) 또는 해상도 향상 알고리즘을 이용하여, 개선된 미디어를 합성하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 방법을 제공한다.

이때, 상기 미디어를 합성하는 단계는 복수의 미디어를 이용하여, 파노라마 미디어를 생성하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 방법을 제공한다.

이때, 상기 미디어를 합성하는 단계는 상기 개선된 미디어를 합성하는 대신에, 미디어 개선을 위한 보조 정보(Enhancement Information, EnI)를 생성하고, 상기 미디어를 송신하는 단계는 상기 개선된 미디어를 송신하는 대신에, 미디어 개선을 위한 보조 정보 및 원본 미디어를 휴대용 단말기에게 송신하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 방법을 제공한다.

이때, 상기 미디어를 합성하는 단계는 미디어 개선을 위한 보조 정보(Enhancement Information, EnI)를 더 생성하고, 휴대용 단말기가 개선된 미디어만을 수신하는 경우, 상기 미디어를 송신하는 단계는 휴대용 단말기에게 개선된 미디어를 송신하고, 휴대용 단말기가 원본 미디어 및 미디어 개선을 위한 보조 정보를 수신하는 경우, 상기 미디어를 송신하는 단계는 휴대용 단말기에게 원본 미디어 및 미디어 개선을 위한 보조 정보를 송신하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 방법을 제공한다.

이때, 상기 미디어를 송신하는 단계는 복수의 휴대용 단말기에게 동시에 개선된 미디어를 송신하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 방법을 제공한다.

본 발명은 네트워크를 이용하여 멀티미디어 콘텐츠의 가치를 높이는 작업을 수행하여 계산 자원이 제한적인 단말기의 기능을 향상시키는 이점이 있다.

본 발명은 계산자원이 풍부한 개체(entity)를 이용하여 계산 자원이 제한적인 단말기의 기능을 향상시키는 이점이 있다.

본 발명은 계산 자원이 풍부한 개체를 이용하여 멀티미디어 데이터의 품질 및 유용성을 망 중간에서 향상시키는 이점이 있다.

본 발명은 또한, 계산 자원이 풍부한 개체를 이용하여 계산 자원이 제한적인 단말기의 기능을 향상시키는 알고리즘, 프로토콜, 표준을 제공하는 이점이 있다.

도 1은 본 발명에 따른 계산 자원이 풍부한 외부의 장치를 통해, 미디어 성능을 향상하는 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 VIVA-MANE의 기능 및 동작을 개략적으로 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 네트워크를 이용한 중앙 연산 장치(20)의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 미디어 개선부(202a)의 구조를 개략적으로 나타내는 개념도이다.
도 5는 본 발명의 다른 일 실시예에 따른 미디어 개선부(202b)의 구조를 개략적으로 나타내는 개념도이다.
도 6은 본 발명의 일 실시예에 따른 미디어 개선부의 파노라마 미디어 합성 구조를 개략적으로 나타내는 개념도이다.
도 7은 본 발명의 일 실시예에 따른 싱크(Sink) MS(30)의 파노라마 미디어 합성 구조를 개략적으로 나타낸 개념도이다.
도 8은 본 발명의 일 실시예에 따른 네트워크를 이용한 중앙 연산 방법의 순서도이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 본 발명에 따라서 미디어 성능을 향상하는 시스템을 개략적으로 도시한 도면이다.

도 1에 따르면, 본 발명의 시스템은 소스(Source) MS(Mobile Station)(10), 네트워크를 이용한 중앙 연산 장치(20), 싱크(Sink) MS(30)을 포함할 수 있다.

도 1의 시스템에서는 단말(소스 MS 및/또는 싱크 MS 등)이 아닌 네트워크 상의 계산 자원 및/또는 네트워크와 연계된 계산 자원을 활용하여 미디어를 처리할 수 있다. 소스(Source) MS(10)는 단말기일 수 있다. 이때, 단말기는 이동성이 높은 휴대용 단말기를 포함할 수 있으며, 스마트폰, 태블릿 PC 등을 의미할 수 있다. 상술한 바와 같이 단말기는 미디어 복호화 이후, 디스플레이 되기 전 단계에서 동미디어 품질을 높이는 처리를 할 수 있다. 한 예로 프레임율이 60Hz인 동미디어에 FRUC(Frame Rate Up-Conversion)을 실시하여, 프레임율이 120Hz인 동미디어로 만들 수 있다.

또한, 소스(Source) MS(10)는 미디어를 획득하여, 네트워크를 이용한 중앙 연산 장치에게 미디어 데이터 및 미디어 데이터의 개선을 요청할 수 있다.

네트워크를 이용한 중앙 연산 장치(20)는 소스(Source) MS(10)로부터 데이터를 수신해서 수신한 데이터에 대한 연산을 망 중간에서 수행하는 개체(entity)일 수 있다. 중앙 연산 장치(20)는 망 중간에서 네트워크의 계산 자원 및/또는 네트워크와 연계된 단말의 계산 자원을 활용하여 연산을 수행하고, 향상된 성능을 가지는 미디어 데이터를 생성할 수 있다.

네트워크를 이용한 중앙 연산 장치(20)는 네트워크 상에서(on the network) 저장 공간(storage), 계산 자원(computing resources), 대역폭(bandwidth)을 제공할 수 있다. 네트워크를 이용한 중앙 연산 장치(20)는 높은 연산 처리 능력을 통해 단말기의 제한된 대역폭과 계산 자원 및 저장 공간을 보완할 수 있다. 즉, 네트워크를 이용한 중앙 연산 장치(20)는 멀티미디어 콘텐츠의 가치를 높이는 작업을 할 수 있다.

이때, 네트워크를 이용한 중앙 연산 장치(20)는 복수의 소스(Source) MS(10)로부터 데이터를 수신할 수 있다. 또한, 네트워크를 이용한 중앙 연산 장치(20)는 단수의 소스(Source) MS(10)로부터 데이터를 수신할 수도 있다.

네트워크를 이용한 중앙 연산 장치(20)는 MANE(Media Aware Network Element)일 수 있다. MANE는 네트워크 상에서 데이터 패킷을 처리하는 기능과 데이터 패킷에 대한 연산을 통해 새로운 미디어를 생성하는 기능을 모두 수행할 수 있다. 예컨대 MANE는 다양한 전송 방식 하에서 동작할 수 있다. 구체적으로, MMT(MPEG Media Transport, MPEG-H의 Part 1)에서 사용될 수도 있다.

MANE는 네트워크 상에서 전송되는 비디오 패킷을 처리할 수도 있다. 예컨대 비디오 패킷의 중요도를 구분하여 네트워크 상에서 중요도에 따라 패킷을 처리할 수도 있다. 구체적으로, 네트워크 상에서 혼잡(congestion)이 발생한 경우, MANE는 패킷의 중요도에 따라 중요성이 낮은 패킷부터 버리는 기능을 할 수 있다.

MANE는 특정한 프로세스를 위해 자원을 예약해 둘 수도 있다. . 또한, MANE는 서로 다른 자원을 병합하여 새로운 미디어 패키지를 만들 수 있다. 미디어를 처리하는 경우에, MANE는 H.264, SVC, H.265 또는 SHVC 등의 다양한 코딩 방식 하에서 동작할 수 있다.

이하, 본 발명에서는 미디어의 품질을 네트워크 상에서 향상시키는 방법을 설명의 편의를 위해, VIVA(VIdeo Value Addition)라고 부르기로 한다. 본 발명은 VIVA의 여러 가지 용도를 제시하고, VIVA를 실제적으로 활용하기 위해 필요한 프로토콜, 알고리즘, 및 도구 등을 포함할 수 있다.

상술한 바와 같이, 네트워크를 이용한 중앙 연산 장치(20)는 네트워크 상에서 미디어의 품질을 향상시킬 수 있다. 이처럼, 네트워크 상에서 미디어의 품질을 향상시키는 중앙 연산 장치를 설명의 편의를 위해, VIVA(VIdeo Value Addition in Media Aware Network Entity)-MANE라고 지칭 할 수 있다.

싱크(Sink) MS(30)는 네트워크를 이용한 중앙 연산 장치(20)로부터 데이터를 수신할 수 있다.

싱크(Sink) MS(30)는 상기 소스(Source) MS(10)와 동일한 MS일 수 있으며, 싱크(Sink) MS(30)는 상기 소스(Source) MS(10)와 상이한 MS일 수도 있다. 따라서, MS(10, 30)는 네트워크를 이용한 중앙 연산 장치에게 데이터를 전송 할 수 있다. 이때, MS(10, 30)는 전송된 데이터의 연산을 네트워크를 이용한 중앙 연산 장치(20) 의뢰할 수도 있다. 또한, MS(10, 30)는 네트워크를 이용한 중앙 연산 장치로부터 성능이 향상된 데이터를 수신할 수 있다.

클라우드는 각 단말기로부터 데이터를 송/수신하여, 정보분석 및 처리, 저장, 관리, 유통 등의 작업을 수행하는 제3의 공간이라고 정의할 수 있으며, 클라우드는 상기 각 단말기와는 구별되는 개념이다.

따라서, 네트워크를 이용한 중앙 연산 장치(20)는 상술한 바와 같이 외부로부터 데이터를 전송받아 데이터의 분석, 처리, 저장 관리 등을 하므로 클라우드에 해당된다고 볼 수 있으며, MANE 또한 상술한 바와 같이 데이터의 분석 등의 작업을 하므로 클라우드에서 수행할 수 있다.

또한, 네트워크를 이용한 중앙 연산 장치(20)의 미디어 개선부(202)는 미디어 수신부(201)를 통해 소스 MS(10)로부터 데이터를 수신하여, 데이터에 대한 연산 작업을 수행하므로, 미디어 개선부(202)는 클라우드에서 수행할 수 있다.

클라우드 컴퓨팅은 개인이 가진 단말기를 통해서는 데이터의 입/출력 작업 및 데이터의 간단한 연산만 이루어지고, 정보분석 및 처리, 저장, 관리, 유통 등의 작업은 클라우드에서 이루어지는 시스템 형태라고 할 수 있다.

따라서, 네트워크를 이용한 중앙 연산 장치(20)가 소스 MS(10)로부터 데이터를 수신하여, 수신한 데이터에 대한 연산 작업을 수행하므로, 네트워크를 이용한 중앙 연산 장치(20) 및 소스 MS(10)의 조합은 클라우드 컴퓨팅을 수행한다고 볼 수 있다. 아울러, 상술한 바와 같이 네트워크를 이용한 중앙 연산 장치(20) 및 싱크 MS(30)의 조합과, 네트워크를 이용한 중앙 연산 장치(20), 소스 MS(10) 및 싱크 MS(30)의 조합 또한 클라우드 컴퓨팅을 수행한다고 볼 수 있다.

이하, 도 1을 참조하여, 상술한 시스템의 각 개체들이 유기적으로 동작하는 관계를 서술하도록 한다.

소스 MS(10)는 계산 자원이 제한적일 수 있다. 제한적인 계산 자원이라는 소스 MS(10)의 단점은 계산 자원이 풍부한 외부의 장치를 통해 극복 할 수 있다. 이때, 계산 자원이 풍부한 외부의 장치는 네트워크를 이용한 중앙 연산 장치(20)일 수 있다. 상술한 바와 같이 네트워크를 이용한 중앙 연산 장치(20)는 망 중간에서 풍부한 저장 공간(storage), 풍부한 계산 자원(computing resources), 풍부한 대역폭(bandwidth)를 제공할 수 있다. 네트워크를 이용한 중앙 연산 장치(20)가 이용하는 저장 공간, 계산 자원 등은 소스 MS(10)의 저장 공간, 계산 자원 등을 포함할 수도 있다.

소스 MS(10)는 이동성이 높은 모바일 기기이며, 모바일 기기의 제한된 대역폭과 계산 자원, 저장 공간은 네트워크를 이용한 중앙 연산 장치를 통해 보완될 수 있다.

따라서, 소스 MS(10)가 많은 계산량이 요구되는 작업을 할 경우, 계산 자원이 풍부한 외부의 장치를 이용해 효과적인 연산 작업을 수행할 수 있다. 이때, 계산 자원이 풍부한 외부의 장치는 각 휴대용 단말기로부터 콘텐츠를 수신할 수 있으며, 이하 서술할 방식을 통하여 콘텐츠의 성능을 향상시키는 작업을 할 수 있다.

구체적으로, 소스 MS(10)는 동미디어 복호화(Decoding)를 수행한 후 동미디어를 디스플레이(Display) 하기 전에 동미디어 품질을 높이는 작업을 수행할 수 있다. 이때, 소스 MS(10)는 프레임율(frame rate)이 60Hz인 동미디어에 대해 FRUC(Frame Rate Up-Conversion)를 실시하여, 프레임율이 60Hz인 동미디어를 프레임율이 120Hz인 동미디어로 만들 수 있다.

소스 MS(10)가 프레임율을 향상시키는데 필요한 계산량은 동미디어를 디코딩 하는데 필요한 계산량보다 현저히 많다. 따라서, 단말기가 프레임율을 향상시키는 과정을 수행하는 대신, 계산 자원이 충분한 외부의 장치에서 프레임율을 향상시키는 과정을 수행할 경우, 효율적인 계산을 이룰 수 있다.

예를 들어, 소스 MS(10) 가 TV라면, TV 자체의 계산량을 감소시켜서, 미디어가 TV를 통해 디스플레이 될 때 전력소모를 줄일 수 있다.

마찬가지로, 소스 MS(10)가 휴대용 단말기일 경우, 네트워크를 이용한 중앙 연산 장치(20)를 통해 연산이 수행된다면, 휴대용 단말기 자체에서 계산을 수행하지 않으므로, 계산을 수행함에 따라 발생하는 휴대용 단말기의 전력 소모를 줄일 수 있다.

상술한 바와 같이, 네트워크를 이용한 중앙 연산 장치의 동작에 기반해서 미디어 향상 알고리즘을 이용할 경우, 계산량이 많은 부분은 계산 자원이 풍부한 장치에서 연산을 담당하고, 계산량이 적은 부분은 단말기에서 연산을 진행하도록 할 수 있다.

이때, 복잡한 계산을 하는 개체(entity)는 네트워크를 이용한 중앙 연산 장치(20)를 의미할 수 있다. 상술한 바와 같이 네트워크를 이용한 중앙 연산 장치(20)는 MANE(Media Aware Network Entity)일 수 있다.

또한, 중앙 연산 장치(20)는 외부로부터의 요청에 의해, 혹은 미리 정해진 설정에 따라서 연산을 수행할 수 있다. 복잡한 계산을 의뢰하는 개체(entity)는 MS(Mobile Station)일 수 있다.

네트워크를 이용한 중앙 연상 장치(20)에서 싱크 MS(30)로 미디어 품질을 향상시키기 위해 보조적인 정보가 전달될 수 있다. 이때, 미디어를 향상시키기 위한 보조적인 정보를 본 명세서에서는 설명의 편의를 위해 EnI(Enhancement Information)라고 할 수 있다. 원래 품질의 미디어는 OM(Original Media)이며, 화질이 향상된 미디어를 EM(Enhanced Media)이라고 부를 수 있다. 이때, EM은 부가 가치가 향상된 미디어를 의미할 수도 있다.

도 2는 본 발명의 일 실시예에 따른 VIVA-MANE의 기능을 개략적으로 설명하는 블록도이다.

도 2에 따르면, VIVA-MANE는 VIVA-MANE 알고리즘, VIVA-MANE 프로토콜, VIVA-MANE 표준으로 나눌 수 있다.

VIVA-MANE에 대한 알고리즘은 MANE 알고리즘과 MS 알고리즘으로 나눌 수 있다.

MANE 알고리즘은 원본 미디어(OM)에서 개선된 미디어(EM)을 만들기 위한 알고리즘이다. MANE 알고리즘에 기반하여, 네트워크를 이용한 중앙 연산 장치는 싱크(Sink) MS(30)에게 원본 멀티미디어(OM) 개선을 위한 보조 정보(EnI)를 전송하거나, 개선된 멀티미디어(EM)를 전송할 수 있다. 이때, 정보들은 압축된 형태로 전송될 수도 있다.

싱크(Sink) MS(30)에 원본 멀티미디어(OM)의 개선을 위한 보조 정보를 전송하거나, 개선된 멀티미디어(EM)를 전송할 경우, MANE 알고리즘은 미디어의 품질이 망 중간에서 향상되었는지 지시하는 정보를 시그널링 할 수 있다.

이때, 시그널링은 미디어 데이터 패킷에 포함되는 헤더 시그널링과 따로 제어(control) 데이터로서 전송되는 인-밴드(in-band) 시그널링을 포함할 수 있다.

헤더 시그널링은 미디어 데이터 패킷의 전단에 위치하여, 전송되는 미디어 데이터에 대한 정보를 지시하는 비트스트림일 수 있다. 이때, 헤더 시그널링은 패킷의 전단 대신 패킷의 후단에 삽입될 수도 있으며, 패킷의 중단에 삽입될 수도 있다. 이때, 헤더 시그널링을 통해 전송되는 정보의 종류(원본 미디어의 정보, 개선을 위한 보조 정보, 개선된 미디어의 구별을 위한 정보)와 전송되는 정보의 중요도가 지시될 수 있다.

인-밴드(In-band) 시그널링은 미디어 데이터를 전송하는 전송로를 통해, 미디어 데이터의 제어(control) 정보를 미디어 데이터 패킷과는 별도로 전송하는 비트스트림일 수 있다. 이때, 인-밴드(In-band) 시그널링은 디코딩 방법에 대한 정보를 포함할 수 있다. 또한, 인-밴드 시그널링을 통해 개선된 미디어를 재생하는 방법에 관한 정보가 전송될 수도 있다.

VIVA-MANE에 대한 프로토콜은 압축된 EnI 및 압축된 EnI에 대응되는 원본 미디어와의 관련성을 규정할 수 있다.

이때, VIVA-MANE에 대한 프로토콜은 VIVA-MANE 서비스를 요청하는 절차를 위한 아웃-밴드 시그널링(out-band signaling), 개선된 미디어를 미디어 패키지에 포함시키는 포맷(VIVA 포맷) 및 개선된 미디어를 포함하는 미디어 소비 방법을 포함할 수 있다.

아웃-밴드 시그널링(out-band signaling)은 미디어 데이터의 전송 통로와는 별개의 통로를 통해, 네트워크를 이용한 중앙 연산 장치(20)와 MS가 미디어 데이터에 대한 제어 정보를 전달한다. 이때, 아웃-밴드 시그널링(out-band signaling)은 싱크(Sink) MS(30)가 네트워크를 이용한 중앙 연산 장치(20)에게 VIVA-MANE 서비스를 요청하는 명령어와 이때 필요한 인자들을 규정할 수 있다. 이때, 아웃-밴드 시그널링에 대한 응답 메시지는 MANE에서 규정될 수 있다.

VIVA 포맷은 기존의 미디어 포맷에 개선된 미디어를 더 포함하기 위한 포맷을 규정한다.

미디어 소비 방법은 싱크(Sink) MS(30)가 개선된 미디어를 수신한 경우, 개선된 미디어를 싱크 MS(30)에서 재생하는 방법을 의미한다. 이때, 미디어 소비 방법을 통한 미디어 재생을 위해 개선된 미디어를 하나의 미디어로 지칭하는 지시자, 개선된 미디어의 시공간적 위치를 규정하는 메타데이터 등이 필요할 수 있다. 이 정보들은 개선된 미디어 정보와 함께 수신될 수 있다.

또한, 미디어 소비 방법은 싱크 MS(30)가 네트워크를 통한 중앙 연산 장치(20)를 통해 개선된 미디어를 수신한 경우, 싱크 MS(30)에서 개선된 미디어를 소비하기 위해 필요한 동작을 포함할 수 있다.

VIVA-MANE 표준은 VIVA-System, VIVA-Video, VIVA-Audio로 구분된다.

VIVA-System은 VIVA-MANE 프로토콜의 규정 방법을 의미한다. VIVA-System은 순방향 오류 정정(Forward Error Correction, FEC)나 디지털 권리 관리(Digital Right Management, DRM) 등 기존의 미디어 데이터에 패킷 손실 강인성의 향상이나, 보안 등급의 향상도 포함할 수 있다. 이때, VIVA-Video가 없는 VIVA-System도 존재할 수 있다.

VIVA-Video는 싱크 MS(30)에서 비디오 영상의 개선된 미디어(EM)을 디코딩하는 방법을 의미한다. 이때, VIVA-Video는 상술한 VIVA-MANE 표준의 미디어 소비 방법을 통해 개선된 미디어를 디코딩할 수 있다.

VIVA-Audio는 싱크 MS(30)에서 향상된 오디오 데이터에 대한 디코딩 방법을 규정하는 것을 의미한다. 이때, VIVA-Audio는 복수의 소스 MS(10)를 통해, 향상된 오디오 데이터를 싱크 MS(30)에서 이용하는 방법을 포함할 수 있다.

VIVA-Audio 서비스는 1:n (n은 서비스를 이용하는 개체의 수) 방식으로 제공될 수도 있고, m:n (m은 서비스를 제공하는 개체의 수) 방식으로 제공될 수도 있다.

1:n 서비스 방식의 일 예로, 5.1ch에서 스테레오(stereo) 입체 음향 개선을 하는 서비스를 포함할 수 있다.

또한, 복수의 소스 MS(10)를 통해, 향상된 오디오 데이터를 복수의 싱크 MS(30)에서 이용하는 방법, 즉 m:n 서비스 방식의 예로서, 네트워크 오케스트라 서비스(networked orchestra service)를 포함할 수 있다. 네트워크 오케스트라 서비스는 네트워크 밴드 서비스(networked band service)를 의미할 수도 있다.

구체적으로, 네트워크 오케스트라(Networked orchestra)는 여러 곳에서 따로따로 연주된 복수의 음원들을 하나의 음원으로 합치는 과정을 말한다. 이때, 네트워크 오케스트라는 부분 일시적 조율(temporal synchronization)과 전체적인 음정 조율 방법을 포함할 수 있다.

도 3은 본 발명의 일 실시예에 따른 네트워크를 이용한 중앙 연산 장치(20)의 블록도이다.

도 3을 참조하면, 네트워크를 이용한 중앙 연산 장치(20)는 미디어 수신부(201), 미디어 개선부(202), 송신부(203), 메타데이터 저장부(204)를 포함할 수 있다.

미디어 수신부(201)는 소스(Source) MS(10)로부터 원본 미디어를 수신한다. 이때, 미디어 수신부(201)는 소스(Source) MS(10)로부터 원본 미디어와 함께, 원본 미디어를 재생하거나 원본 미디어의 품질을 향상시키기 위한 정보(예컨대, 원본 미디어 처리에 관한 요청 및/또는 메타데이터 등)를 함께 수신할 수도 있다.

이때, 미디어 수신부(201)는 복수의 소스(Source) MS(10)로부터 원본 미디어를 수신할 수 있으며, 단수의 소스(Source) MS(10)로부터 원본 미디어를 수신할 수도 있다. 소스(Source) MS(10)가 수신한 미디어는 H.264에 기반을 둔 미디어일 수 있으며, H.265에 기반을 둔 미디어일 수도 있다.

미디어 수신부(201)는 수신한 미디어를 미디어 개선부(202)에 전송할 수 있다. 또한, 미디어 수신부(201)는 수신한 미디어의 메타 데이터를 메타 데이터 저장부(204)에 전송할 수 있다.

미디어 개선부(202)는 미디어 수신부(201)로부터 원본 미디어를 전송 받는다. 이때, 미디어 개선부(202)는 미디어 수신부(201)을 통해 복수의 소스(Source) MS(10)에서 각각 생성한 원본 미디어를 전송 받을 수도 있다.

네트워크를 이용한 중앙 연산 장치(20)에 기반한 미디어 개선부(202)는 원본 미디어로부터 부가 가치가 향상된 미디어를 합성할 수 있다. 이때, 미디어 개선부(202)는 FRUC를 이용하여, 원본 미디어로부터 부가 가치가 향상된 미디어를 합성할 수 있다.

미디어 개선부(202)는 원본 미디어로부터 부가 가치가 향상된 미디어를 합성할 때, 계산이 많이 필요한 부분에 대한 연산을 수행할 수도 있다. 이 경우, 계산이 많이 필요하지 않은 부분에 대한 연산은 미디어를 재생할 MS에서 수행될 수도 있다.

부가 가치가 향상된 미디어는 개선된 미디어를 포함할 수 있다. 또한, 부가 가치가 향상된 미디어는 향상된 음향을 포함할 수 있으며, 미디어 정보에 위치 정보를 포함할 수도 있다.

구체적으로, 프레임율이 60Hz인 원본 동영상이 네트워크를 이용한 중앙 연산 장치(20)의 미디어 수신부(201)에 입력 되면, 미디어 수신부(201)는 원본 미디어를 미디어 개선부(202)로 전송한다. 이때, 미디어 개선부(202)는 프레임율이 120Hz인 개선된 동영상을 만들기 위하여, 미디어 개선을 위한 보조 정보(EnI)를 만들 수 있다. 또한, 미디어 개선부(202)는 원본 미디어 정보와 함께 미디어 개선을 위한 보조 정보(EnI)를 송신부(203)을 통해 싱크(Sink) MS(30)에게 전송할 수 있다. 이때, 미디어 개선부(202)는 상술한 과정을 통해 손떨림 방지(stabilization) 서비스를 싱크(Sink) MS에 제공할 수도 있다.

미디어 개선부(202)는 미디어 수신부(201)가 원본 미디어와 원본 미디어에 대한 부가 정보를 수신한 경우, 스케일러블 비디오 코딩(scalable video coding)에 기반하여 개선된 미디어를 합성 할 수도 있다. 이에 관한, 구체적인 내용은 하기 도 4에서 서술하도록 한다.

또한, 미디어 개선부(202)는 미디어 수신부(201)가 원본 미디어만을 수신한 경우에도, 원본 미디어로부터 부가 가치가 향상된 미디어를 생성할 수 있다. 이때, 부가 가치가 향상된 미디어는 원본 미디어(OM)과 개선을 위한 부가 정보(EnI)를 포함할 수 있으며, 상술한 바와 같이 개선된 미디어를 포함할 수도 있다.

따라서, 미디어 개선부(202)는 원본 미디어(OM), 개선을 위한 부가 정보(EnI) 및 부가 가치가 향상된 미디어를 모두 생성할 수도 있다. 상술한 부가 가치가 향상된 미디어에 대한 구체적인 내용은 아래 도 5에서 서술하도록 한다.

마지막으로, 미디어 개선부(202)는 미디어 수신부(201)가 복수의 MS로부터 원본 미디어를 수신한 경우, 수신한 복수의 원본 미디어를 종합하여 부가 가치가 향상된 새로운 콘텐츠를 만들 수 있다.

구체적으로, 복수의 MS에서 촬영한 원본 영상을 종합하여 하나의 파노라마 영상을 만들 수 있다. 이때, 매우 많은 계산량이 필요한 여러 개의 영상을 붙여서(stitch) 자연스러운 파노라마 영상을 만드는 과정은 미디어 개선부(202)에서 수행하여, 효율적인 파노라마 미디어 제작을 할 수 있다. 이에 대한 구체적인 내용은 아래 도 6 및 도 7에서 서술한다.

송신부(203)는 미디어 개선부(202)에서 생성한 부가 가치가 향상된 미디어를 싱크(Sink) MS(30)에게 송신할 수 있다. 이때, 미디어 개선부(202)가 개선된 미디어 대신 개선을 위한 부가 정보(EnI)를 생성한 경우, 송신부(203)는 원본 미디어(OM)및 개선을 위한 부가 정보(EnI)를 싱크(Sink) MS(30)에 송신할 수 있다. 또한, 미디어 개선부(202)가 개선된 미디어와 개선을 위한 부가 정보를 모두 생성한 경우, 송신부(203)는 원본 미디어, 개선된 미디어, 개선을 위한 부가 정보 모두를 싱크(Sink) MS에 송신 할 수 있다.

메타데이터 저장부(204)는 미디어를 합성하는데 이용되는 정보들을 저장할 수 있다.

메타데이터 저장부(204)는 미디어 수신부(201) 및 미디어 개선부(203)을 통해 BIFS(Binary Format for Scenes) 및/또는 CI를 이용한 시간적 및/또는 공간적 위치를 저장할 수 있다. 이때, 메타데이터 저장부(204)는 시간적 및/또는 공간적 위치에 대한 여러 미디어 합성을 할 수 있다.

또한, 미디어에 대한 메타데이터(meta-data)를 저장할 경우, 메타 데이터 저장부는 부가 가치 향상을 위한 메타 데이터를 멀티미디어 데이터의 내용에 관한 표현 규격(예컨대, MPEG-7 등)을 통해 저장할 수 있다. 마찬가지로, 메타 데이터 저장부(204)는 미디어 데이터의 관리에 관한 규격(예컨대, MPEG-21 등)을 통해 콘텐츠를 생산, 처리, 유통, 소비하는 가치 사슬(value chain)을 저장할 수 있다. 구체적인 내용은 아래 서술할 도 4 내지 도 7과 같다.

도 1에서 설명한 시스템과 도 3에서 설명한 중앙 연산 장치를 고려하면, 도 1에서 상술한 MANE는 네트워크를 이용한 중앙 연산 장치(20), 소스 MS(10) 및 싱크 MS(30)의 조합일 수 있다. 또한, MANE는 도 1 및 도 3에서 설명한 네트워크를 이용한 중앙 연산 장치(20)을 의미할 수 있다. 아울러, MANE는 네트워크를 이용한 중앙 연산 장치(20)의 미디어 개선부(202)를 의미할 수도 있다.

예를 들면, MANE는 미디어 개선부(202) 및 미디어 수신부(201)를 포함할 수 있다. 또 다른 예로서, MANE는 미디어 개선부(202), 미디어 수신부(201) 및 송신부(203)를 포함할 수도 있다.

다시 말하면, MANE는 도 1의 네트워크를 이용한 중앙 연산 장치(20)에 위치할 수 있다. 또한, MANE는 네트워크를 이용한 중앙 연산 장치(20) 및 소스 MS(10)에 위치하며, 이들이 조합된 개체(entity)일 수 있다. MANE는 네트워크를 이용한 중앙 연산 장치(20) 및 싱크 MS(30)에 위치할 수도 있으며, 이들이 조합된 개체일 수도 있다. 마찬가지로, MANE는 네트워크를 이용한 중앙 연산 장치(20)의 미디어 개선부(202)에 위치할 수도 있으며, 이들이 조합된 개체일 수도 있다.

도 4는 본 발명의 일 실시예에 따른 미디어 개선부(202a)의 구조를 개략적으로 나타내는 개념도이다.

도 4에 따르면, 미디어 수신부(201)가 복수의 MS로부터 각각 원본 미디어를 수신할 경우, 원본 미디어만으로 개선을 위한 보조 정보(EnI)을 생성할 수 있다. 이때, 미디어 개선부(202a)는 복수 계층을 이용한 스케일러블 비디오 코딩 구조를 적용하여 송신부를 통해 싱크(Sink) MS(30)에게 원본 미디어 및 개선을 위한 보조 정보(EnI)를 전송 할 수 있다.

미디어 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체 별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.

스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’혹은 ‘스케일러블 비디오 코딩’이라 함)은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적(spatial), 시간적(temporal), 화질적(혹은 품질적, quality) 관점에서 다양한 스케일러빌리티를 제공할 수 있다.

스케일러블 비디오 코딩은 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 미디어 디코딩 방법을 이용하여 미디어 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 디코딩 정보 및 일반적인 미디어 디코딩 방법을 함께 사용하여 미디어 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.

여기서, 계층(layer)은 공간(spatial, 예를 들어, 미디어 크기), 시간(temporal, 예를 들어, 디코딩 순서, 미디어 출력 순서, 프레임 레이트), 화질, 복잡도 등을 기준으로 구분되는 미디어 및 비트스트림(bitstream)의 집합을 의미한다.

본 명세서에서 기본 계층(Base layer)은 베이스 레이어라고 지칭할 수도 있고, 하위 계층(lower layer)이라 지칭할 수도 있다. 향상 계층(Enhancement layer)은 인핸스먼트 레이어 혹은 상위 계층(higher layer)이라 지칭할 수도 있다. 또한, 향상 계층은 부가 계층이라고 지칭할 수도 있다. 하위 계층은 특정 계층 보다 낮은 스케일러빌러티를 지원하는 계층을 의미할 수 있으며, 상위 계층은 특정 계층 보다 높은 스케일러빌러티를 지원하는 계층을 의미할 수 있다. 그리고, 특정 계층이 부호화 혹은 복호화 시에 참조하는 계층은 참조 계층이라 지칭할 수 있다.

도 4를 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 또는, 향상 계층은 4K-UHD (ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다.

상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다. 예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 향상계층 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다.

스케일러블 비디오 코딩 방법은 상기 도 4의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적 스케일러빌리티를 제공할 수 있다.

본 명세서에서 스케일러블 비디오 코딩은 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.

미디어 개선부(202a)가 상술한 스케일러블 비디오 코딩을 따를 경우, 원본 미디어는 기저 계층(Base layer) 또는 하위 계층(lower layer)라고 할 수 있으며, 개선된 미디어(EM)은 인핸스먼트 레이어(Enhancement layer)또는 상위 계층(higher layer)이라 지칭할 수도 있다.

미디어 개선부(202a)는 도 2에서 설명한 MANE 알고리즘을 사용할 수 있으며, MANE 알고리즘은 엣지(edge)를 향상(enhancing)하는 알고리즘을 포함할 수 있다. 이때, 엣지(Edge)는 하나의 픽셀(pixel)이거나, 픽셀의 집합(group of pixels)일 수 있다. 또한, 엣지(Edge)의 특성은 엣지(edge)의 방향과 엣지의 강도로 표현될 수 있다.

구체적으로, MANE 알고리즘은 간단한 보간법, 일실시예로 선형 보간법(linear interpolation)을 이용하여, 원본 미디어에서 개선된 미디어로 해상도를 변경한 후, 엣지(edge)를 향상(enhancing)한다. 이때, 엣지의 향상(Enhancing)은 엣지 검출(edge detection)과 엣지 프로세싱(edge processing)을 통해 이루어질 수 있다. 엣지 프로세싱을 통해, 에지에서의 노이즈 효과를 줄이고 원본에 가깝게 미디어를 복원할 수 있다.

본 발명에서는 엣지의 위치를 검출(detection) 및/또는 엣지(edge)의 특성을 구분하는 계산 과정은 미디어 개선부(202a)에서 이루어지며, 엣지 프로세싱(edge processing)은 MS에서 수행 될 수 있다. 이때, 엣지 프로세싱(edge processing) 계산량은 엣지의 위치를 검출 및/또는 엣지의 특성을 구분하는 계산량보다 낮아야 된다.

미디어 개선부(202a)는 보간법(interpolation) 종류, 엣지(edge)의 위치, 엣지(edge)별 프로세싱(processing)방법을 해당 데이터의 특성에 맞는 알고리즘으로 압축하여 송신부(203)에 전송하며, 송신부(203)는 보간법(interpolation) 종류, 엣지(edge)의 위치, 엣지(edge)별 프로세싱(processing) 방법을 싱크(Sink) MS(30)에 전송할 수 있다.

또한, 미디어 개선부(202a)가 스케일러블 비디오 코딩 방법을 따를 경우, 패킷 헤더 시그널링(packet header signaling)으로 스케일러블 비디오 코딩 방법의 NAL(Network Abstraction Layer) 헤더 표준을 사용하여 각각의 계층과 디코딩 방법을 구분할 수 있으며, 마찬가지로 인-밴드 시그널링(in-band signaling)으로 픽처 파라미터 세트(Picture Parameter Set, PPS)와 시퀀스 파라미터 세트(Sequence Parameter Set, SPS)에 필요한 정보를 추가할 수 있다.

원본 미디어 및 개선을 위한 보조 정보(EnI)가 싱크(Sink) MS(30)에 전송된 경우, MS 알고리즘은 일단 원본 미디어를 디코딩하고, 개선을 위한 보조 정보(EnI)를 이용하여 개선된 미디어를 만들어 낸다. 이때, SHVC를 통해 원본 미디어 및 개선을 위한 보조 정보(EnI)가 압축되었을 경우, MS 알고리즘은 스케일러블 비디오 코딩 방식으로 원본 미디어 및 개선을 위한 보조 정보를 디코딩한다.

만약, 개선을 위한 보조 정보(EnI)가 상술한 방법과 다른 방식으로 인코딩된 경우, 원본 미디어를 디코딩한 후에, 개선을 위한 보조 정보(EnI)를 디코딩하고, 정해진 방법에 따라 엣지 프로세싱(edge processing)을 시행하여 개선된 미디어를 복원한다. 즉, 이미 설정된 보간 방법으로 고해상도 미디어를 만든 이후에 엣지(edge) 위치 및 엣지의 특성 정보에 따라, 엣지 프로세싱(edge processing)을 실시할 수 있다.

도 2에서 설명한 VIVA-MANE 프로토콜은 도 4의 미디어 개선부(202a)에서 사용될 수 있다.

싱크(Sink) MS는 네트워크를 이용한 중앙 연산 장치(20)에서 VIVA 처리를 할 수 있도록 VIVA-MANE 프로토콜의 아웃-밴드 시그널링(out-band signaling) 통해 VIVA 처리 요청을 네트워크를 이용한 중앙 연산장치에게 전달할 수 있다. 이때, 아웃-밴드 시그널링은 기존 HD 스트리밍(stream)을 위한 가상 논리 채널과 개선을 위한 보조 정보(EnI) 스트리밍(stream)을 위한 가상 논리 채널을 지정할 수 있다.

예를 들어, HD 데이터가 네트워크를 이용한 중앙 연산 장치(20)에 저장되어 있는 경우, 싱크(Sink) MS는 HD 데이터를 UHD로 향상시켜서 스트리밍(streaming) 받기 위한 정보를 네트워크를 이용한 중앙 연산 장치(20)에 전송할 수 있다. 이때, 싱크(Sink) MS가 HD 데이터를 UHD로 향상시켜서 스트리밍(streaming) 받기 위한 정보는 enhance_send(title, HD, UHD)일 수 있으며, HD는 원본 미디어(OM), UHD는 개선된 미디어(EM)을 의미할 수 있다.

VIVA-MANE 프로토콜의 VIVA 포맷은 원본 미디어(OM) 및 개선을 위한 보조 정보(EnI)가 메타 데이터 저장부(204)에 저장되는데 사용될 수 있다.

구체적으로, 네트워크를 이용한 중앙 연산 장치(20)는 VIVA-MANE의 VIVA 포맷을 이용해서 메타데이터 저장부(204)에 보조 정보(EnI)를 위한 지시자 및 원본 미디어(OM)스트림과 보조 정보의 연관성을 포함하는 데이터를 저장할 수 있다.

이때, VIVA-MANE의 VIVA 포맷은 메타데이터 저장부(204)에 1. 원본 미디어(OM) 스트림과 보조 정보(EnI) 스트림(stream)을 이용하여, 개선된 미디어(EM)을 만드는 방법을 지시하는 지시자와 2. 싱크(Sink) MS(30)에서 개선된 미디어(EM)을 만드는데 필요한 계산량 및 메모리 용량을 지시하는 정보, 3. 개선을 위한 보조 정보(EnI) 스트림(stream)을 전송하기 위해 필요한 대역폭에 대한 정보를 저장하는데 사용될 수 있다.

도 5는 본 발명의 다른 일 실시예에 따른 미디어 개선부(202b)의 구조를 개략적으로 나타내는 개념도이다.

도 5에 따르면, 미디어 개선부(202b)는 미디어 수신부(201)가 복수의 소스(Source) MS(10)로부터 각각 원본 동영상을 수신할 경우, 원본 미디어만으로 개선된 미디어를 생성할 수 있다. 구체적으로, 미디어 개선부(202b)는 원본 동영상(OM)을 복수의 소스(Source) MS(10)로부터 각각 수신한 후, 원본 동영상들의 움직임 정보, 원본 미디어들 간의 차이 등을 이용하여, 개선된 동영상을 합성할 수 있다.

이때, 도 2의 VIVA-MANE 알고리즘은 도 5의 미디어 개선부(202a)에서 사용될 수 있다. 이때, VIVA-MANE 알고리즘은 MANE 알고리즘을 포함하며, 이하, MANE 알고리즘 및 MS 알고리즘에 대한 구체적인 동작을 서술한다.

MANE 알고리즘에서는 엣지(edge)를 향상(enhancing)하는 알고리즘을 포함할 수 있으며, 구체적인 MANE 알고리즘의 동작은 도 2 및 도 4에서 상술한 바와 같다.

구체적으로, 미디어 개선부(202b)는 도 4에서 상술한 MANE 알고리즘의 보간법 종류, 엣지(edge)의 위치, 엣지(edge)별 프로세싱(processing) 방법에 관한 정보를 소스 MS로부터 수신한 데이터의 특성에 맞는 MANE 알고리즘으로 압축하여 송신부(203)에 전송하며, 송신부(203)는 미디어 개선부로부터 수신한 사용된 보간법 종류, 엣지(edge)의 위치, 엣지(edge)별 프로세싱(processing) 방법에 관한 정보를 싱크(Sink) MS(30)에 전송할 수 있다.

싱크(Sink) MS(30)가 원본 미디어(OM)없이 개선된 미디어(EM)만 소비할 경우, 네트워크를 이용한 중앙 연산 장치(20)는 도 4에서 상술한 SHVC 개념을 사용하지 않고, 개선된 미디어만을 싱크(Sink) MS(30)에 전송할 수 있다. 이때, 미디어 개선부(202b)는 개선된 미디어를 압축할 수 있으며, 미디어 개선부(202b)는 송신부(203)를 통해 압축된 개선된 미디어를 Sink MS(30)에 전송할 수 있다. 즉, 미디어 개선부(202b)는 새로 만들어진 개선된 미디어를 송신부(30)를 통해 단일 계층 비디오 부호화(single layer video encoding)를 통해 싱크(Sink) MS에 전송할 수 있다.

MS 알고리즘은 도 4에서 상술한 바와 같다. 구체적으로, 개선된 미디어(EM) 또는 개선된 미디어(EM)을 압축한 데이터가 싱크(Sink) MS(30)에 전송된 경우, 싱크 MS(30)는 MS 알고리즘을 이용하여 단일 계층 비디오 디코딩 방식으로 압축된 데이터를 디코딩한다. 이때, MS 알고리즘은 미디어의 종류에 따라, H.263, H.264, H.265 등을 이용하여 압축된 데이터를 디코딩할 수 있다.

도 2에서 상술한 VIVA-MANE 프로토콜은 도 5의 미디어 개선부에 적용될 수 있다.

싱크(Sink) MS는 네트워크를 이용한 중앙 연산 장치에게 VIVA-MANE 알고리즘의 아웃밴드 시그널링(out-band signaling)요청을 할 수 있다.

이때, 도 5에 따른 아웃밴드 시그널링은 기존 HD 스트리밍(stream)을 위한 가상 논리 채널과 개선을 위한 보조 정보(EnI) 스트리밍(stream)을 위한 가상 논리 채널을 지정할 수 있다.

VIVA-MANE의 VIVA 포맷은 네트워크를 이용한 중앙 연산 장치(20)에서 개선된 미디어(EM)을 메타 데이터 저장부(204)에 저장되는데 이용될 수 있다. 이때, 개선된 미디어를 메타 데이터 저장부에 저장하는데 사용된 VIVA 포맷은 메타 데이터를 저장하기 위한 기존의 파일 포맷을 이용할 수도 있다.

이때, VIVA 포맷은 원본 미디어(OM) 스트림에 대한 정보와 개선된 미디어(EM)에 대한 스트림 정보를 포함할 수 있다.

구체적으로, VIVA 포맷은 1. 원본 미디어(OM) 스트림과 개선된 미디어(EM), 2. 싱크(Sink) MS(30)에서 개선된 미디어(EM)을 수신하는데 필요한 계산량 및 메모리 용량에 관한 정보, 3. 개선된 미디어스트림(stream)을 전송하기 위해 필요한 대역폭에 관한 정보를 포함할 수 있다.

도 6은 본 발명의 일 실시예에 따른 미디어 개선부(202c)의 파노라마 영상 합성 구조를 개략적으로 나타내는 개념도이다. 이때, 미디어 개선부(202c)는 도 4에서 설명한 미디어 개선부(202a) 또는 도 5에서 설명한 미디어 개선부(202b)일 수 있다.

도 6에 따르면 미디어 개선부(202c)는 복수의 소스(Source) MS(10)로부터 수신한 원본 비디오를 합성하여, 하나의 파노라마 비디오를 만들 수 있다.

구체적으로, 미디어 개선부(202c)는 복수의 소스(Source) MS(10)로부터 수신한 원본 비디오를 통해 하나의 파노마라 비디오를 만들 수 있다. 미디어 개선부(202c)는 각각의 소스(Source) MS(10)로부터 수신한 원본 비디오를 통해 파노라마 비디오를 합성할 수 있다. 이때, 미디어 개선부(202c)는 송신부(203)를 통해 파노라마 비디오의 수신을 원하는 싱크(Sink) MS(30)에게 개선된 파노라마 비디오를 제공할 수 있다.

이때, 파노라마 비디오를 수신하는 싱크(Sink) MS(30)는 원본 미디어를 만든 소스(Source) MS(10)와 동일할 수 있다. 또한, 파노라마 비디오를 수신하는 싱크(Sink) MS(30)는 원본 비디오를 만든 소스(Source) MS(10)와 동일하지 않을 수도 있다.

본 발명의 일 실시 예로, 축구장에 있는 복수의 관중들이 비디오를 찍어 원본 비디오를 네트워크를 이용한 중앙 연산 장치(20)에 올리고, 네트워크를 이용한 중앙 연산 장치(20)에서 원본 비디오(OM)을 합성하여 파노라마 비디오 또는 입체 비디오를 만들 수 있다. 이때, 네트워크를 이용한 중앙 연산 장치(20)는 파노라마 비디오 또는 입체 비디오 등을 원본 비디오를 찍은 소스(Source) MS(10)과 원본 비디오를 찍지 않은 싱크(Sink) MS(30)모두에게 전송할 수 있다.

본 발명의 또 다른 실시예로, 미디어 개선부(202c)는 분대 전투시 각 분대원의 카메라에서 획득한 원본 비디오로부터 파노라마 비디오를 합성하여, 송신부(203)를 통해 각각의 분대원에게 파노라마 비디오를 제공할 수 있다. 이때, 미디어 개선부(202c)는 각각의 분대원에게 파노라마 비디오를 제공할 때, 적의 위치에 대한 정보, 효과적인 공격 방법 등의 부가적인 정보를 더 제공할 수 있다. 이로써, 비디오 개선부(202c)는 계산자원이 많이 필요한 원본 비디오로부터 상황 인식정보를 분대원에게 제공할 수 있다. 이때, 미디어 수신부(201)를 통해 원본 비디오를 미디어 개선부(202c)에게 제공하는 분대원을 소스(Source) MS(10)라고 볼 수 있으며, 송신부(203)를 통해 미디어 개선부(202c)로부터 파노라마 비디오 및/또는 부가적인 정보를 수신하는 분대원을 싱크(Sink) MS(30)라고 볼 수 있다.

파노라마 비디오를 합성하는 미디어 개선부(202c)의 알고리즘은 VIVA-MANE 알고리즘일 수 있다. 이때, VIVA-MANE 알고리즘은 상술한 바와 같이 MANE 알고리즘과 MS알고리즘으로 나누어진다.

MANE 알고리즘은 원본 비디오를 접착(stitching)하기 위해, 각 원본 비디오를 변형하는 인자에 대한 계산 알고리즘을 포함할 수 있다. 원본 비디오의 접착은 비디오(video) 특성 검출(detection)과 원본 비디오 합치기 과정으로 분리할 수 있다. 이때, 비디오 특성 검출은 1. 각 원본 비디오의 방향, 2. 초점위치 및 3. 상대적인 조리개의 측정을 통한 보정 인자의 계산으로 구분될 수 있다.

비디오 특성을 검출하는 과정은 네트워크를 이용한 중앙 연산 장치(20)의 미디어 개선부(202c)에서 이루어 지며, 이때, 미디어 개선부(202c)는 송신부(203)를 통해 각각의 원본 비디오에 대한 3차원적 방향, 조리개의 열림, 초점위치, 보존하여 접합하는 경계선의 위치, 콘트라스트, 시간적인 차이 등을 싱크(Sink) MS(30)에 전송할 수 있다.

싱크(Sink) MS(30)는 송신부(203)를 통해 미디어 개선부(203c)로부터 수신한 정보들을 토대로 파노라마 비디오를 복원할 수 있으며, 구체적인 내용은 하기 도 7과 같다.

도 7은 본 발명의 일 실시예에 따른 싱크(Sink) MS(30)의 파노라마 비디오 합성 구조를 개략적으로 나타낸 개념도이다.

도 7에 따르면, 싱크(Sink) MS(30)는 원본 비디오들을 접착(stitching)한 비디오에 대해 디코딩(decoding)한 후, 개선을 위한 보조 정보(EnI)를 이용하여, 개선된 파노라마 비디오를 생성할 수 있다.

이때, 상술한 MS에서 파노라마 비디오를 생성하는 과정은 비디오 디코딩(video decoding)이후의 후처리(post processing)에 해당한다.

싱크(Sink) MS는 개선을 위한 보조 정보(EnI)를 통해 전송된 각 비디오 데이터의 3차원적 방향, 조리개의 열림 및 콘트라스트, 초점위치, 보존하여 접합하는 경계선의 위치 정보를 디코딩하여, 싱크(Sink) MS는 EnI에 기반하여 파노라마 비디오의 보정을 시행한다.

본 발명의 일 실시예에 따르면, 싱크(Sink) MS(30)가 원본 비디오(OM)없이 파노라마 비디오만 소비할 경우, 미디어 개선부(202c)는 송싱부(203)를 통해 파노라마 비디오 자체를 인코딩(encoding)해서 싱크(Sink) MS(30)에게 전송할 수 있다. 즉, 싱크(Sink) MS(30)는 수신한 파노라마 비디오를 H.264, H.265 등을 이용하여 디코딩할 수 있다.

도 2의 VIVA-MANE 프로토콜은 도 7에서 적용될 수 있다.

싱크(Sink) MS는 VIVA-MANE 프로토콜의 아웃-밴드 시그널링(out-band signaling)을 통해 네트워크를 이용한 중앙 연산 장치(20)에서 미디어 품질 향상 처리를 할 수 있도록 요청할 수 있다.

이때, 원본 미디어 데이터가 네트워크를 이용한 중앙 연산 장치에 저장되어 있는 경우, 싱크(Sink) MS(30)가 파노라마 미디어를 수신하려면, 싱크(Sink) MS는 stitch_send(title1, title2, title3, panorama)를 네트워크를 이용한 중앙 연산 장치(20)에 전송한다. 여기서, stitch_send(title1, title2, title3, panorama)는 title1의 비디오, title2의 비디오, title3의 비디오를 이용하여 파노라마 비디오를 합성할 것을 요청하는 명령어(또는 API)를 의미한다. 이때, stitch_send(title1, title2, title3, panorama)는 원본 비디오들을 전송하기 위한 가상 논리 채널들과 미디어 개선을 위한 보조 정보(EnI)를 위한 가상 논리 채널을 지정할 수 있다.

메타데이터 저장부(204)는 원본 미디어와 미디어 개선을 위한 보조 정보(EnI)를 VIVA-MANE 프로토콜의 VIVA 포맷을 이용하여 메타데이터 저장부(204)에 저장할 수 있다. 이때, 이때, 메타데이터 저장부(204)는 VIVA-MANE의 VIVA 포맷을 이용하여 미디어 개선을 위한 보조 정보(EnI)를 위한 지시자와 원본 미디어(OM) 스트림의 연관성을 저장할 수 있다.

이때, 메타데이터 저장부(204)는 VIVA-MANE의 VIVA 포맷을 이용하여 1. 개선된 미디어(EM)을 만드는 방법을 지시하는 지시자와 2. 싱크(Sink) MS(30)에서 개선된 미디어(EM)을 만드는데 필요한 계산량 및/또는 메모리 용량에 관한 정보, 3. 개선을 위한 보조 정보(EnI) 스트림(stream)을 전송하기 위해 필요한 대역폭에 관한 정보을 저장할 수 있다.

도 8은 본 발명의 일 실시예에 따른 네트워크를 이용한 중앙 연산 방법의 순서도이다.

도 8에 따르면, 네트워크를 이용한 중앙 연산 장치는 네트워크를 통해 복수의 MS(Mobile Station)로부터 각각 원본 미디어(Original Media, OM)들을 수신한다(S700).

이때, 원본 미디어는 소스(Source) MS(10)로부터 수신할 수 있으며, 소스(Source) MS(10)는 단수 또는 복수일 수 있다. 구체적인 원본 미디어의 수신 방법은 도 3 내지 도 7에서 상술한 바와 같다.

네트워크를 이용한 중앙 연산 장치는 수신한 상기 원본 미디어들을 토대로 개선된 미디어(Enhanced Media, EM)을 합성할 수 있다(S710).

이때, 네트워크를 이용한 중앙 연산 방법은 FRUC(Frame Rate Up-Conversion)를 이용하여, 원본 미디어로부터 개선된 미디어를 합성할 수 있으며, 네트워크를 이용한 중앙 연산 방법은 원본 미디어로부터 개선된 미디어를 합성할 때, 계산이 많이 필요한 부분에 대한 연산을 수행할 수 있다. 구체적인 미디어 합성 방법은 도 3 내지 도 7에서 상술한 바와 같다.

네트워크를 이용한 중앙 연산 장치는 상기 개선된 미디어를 MS에 송신할 수 있다(S720).

이때, 네트워크를 이용한 중앙 연산 방법은 상술한 단계를 통해 생성한 개선된 미디어를 싱크(Sink) MS(30)에게 송신할 수 있다. 이때, 네트워크를 이용한 중앙 연산 방법이 개선된 미디어 대신 개선을 위한 부가 정보(EnI)를 생성한 경우, 네트워크를 통한 중앙 연산 방법은 원본 미디어(OM) 및 개선을 위한 부가 정보(EnI)를 싱크(Sink) MS(30)에 송신할 수 있다. 또한, 네트워크를 이용한 중앙 연산 방법이 개선된 미디어와 개선을 위한 부가 정보를 모두 생성한 경우, 네트워크를 이용한 중앙 연산 방법은 원본 미디어, 개선된 미디어, 개선을 위한 부가 정보 모두를 싱크(Sink) MS(30)에 송신 할 수 있다. 구체적인 송신 방법은 도 3 내지 도 7에서 상술한 바와 같다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (17)

1. 네트워크를 통해 단수 또는 복수의 휴대용 단말기(Mobile Station, MS)로부터 각각 원본 미디어(Original Media, OM)을 수신하는 미디어 수신부;
   개선된 미디어(Enhanced Media, EM)를 생성하는데 요구되는 계산 복잡도와 상기 개선된 미디어를 생성하는데 추가되는 데이터 전송량을 산출하고, 상기 산출된 계산 복잡도와 데이터 전송량에 기초하여 제1 타입의 미디어 또는 제2 타입의 미디어 중 어느 하나를 선택적으로 생성하는 미디어 개선부; 여기서, 상기 제1 타입의 미디어는 상기 원본 미디어와 상기 원본 미디어의 개선을 위한 부가 미디어 정보를 포함하고, 상기 제2 타입의 미디어는 상기 개선된 미디어를 포함하며, 상기 개선된 미디어는 상기 원본 미디어와 상기 원본 미디어의 개선을 위한 부가 미디어 정보를 이용하여 생성됨, 및
   미디어를 소비하는 단말기에게 상기 생성된 제1 타입의 미디어 또는 제2 타입의 미디어를 송신하는 송신부를 포함하는 네트워크를 이용한 중앙 연산 장치.
2. 제1항에 있어서,
   상기 원본 미디어의 개선을 위한 부가 미디어 정보는 시간적, 공간적, 화질적 정보를 포함하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 장치.
3. 제1항에 있어서,
   상기 수신한 원본 미디어 및 상기 개선된 미디어의 속성에 대한 정보를 저장하는 메타데이터 저장부를 더 포함하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 장치.
4. 제1항에 있어서,
   상기 미디어 개선부는 FRUC(Frame Rate Up-Conversion)를 이용하여, 상기 개선된 미디어를 합성하는데 이용되는 상기 원본 미디어의 개선을 위한 부가 미디어 정보를 추출하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 장치.
5. 제1항에 있어서,
   상기 미디어 개선부는 상기 복수의 단말기로부터 수신된 복수의 미디어를 합성하여 하나의 파노라마 미디어를 생성하는데 이용되는 상기 원본 미디어의 개선을 위한 부가 미디어 정보를 추출하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 장치.
6. 삭제
7. 삭제
8. 제1항에 있어서,
   상기 송신부는 상기 제1 타입의 미디어 또는 상기 제2 타입의 미디어를 압축하여 상기 미디어를 소비하는 복수의 단말기에게 동시에 개선된 미디어를 송신하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 장치.
9. 제1항에 있어서,
   상기 네트워크를 이용한 중앙 연산 장치는 미디어 인지 네트워크 엘리먼트(Media Aware Network Element, MANE)인 것을 특징으로 하는 장치.
   
10. 네트워크를 통해 미디어를 소비하는 복수의 단말기(Mobile Station)로부터 각각 원본 미디어(Original Media, OM)을 수신하는 단계;
    개선된 미디어(Enhanced Media, EM)를 생성하는데 요구되는 계산 복잡도와 상기 개선된 미디어를 생성하는데 추가되는 데이터 전송량을 산출하는 단계;
    상기 산출된 계산 복잡도와 데이터 전송량에 기초하여 제1 타입의 미디어 또는 제2 타입의 미디어 중 어느 하나를 선택적으로 생성하는 단계; 여기서, 상기 제1 타입의 미디어는 상기 원본 미디어와 상기 원본 미디어의 개선을 위한 부가 미디어 정보를 포함하고, 상기 제2 타입의 미디어는 상기 개선된 미디어를 포함하며, 상기 개선된 미디어는 상기 원본 미디어와 상기 원본 미디어의 개선을 위한 부가 미디어 정보를 이용하여 생성됨, 및
    미디어를 소비하는 단말기에 상기 생성된 제1 타입의 미디어 또는 상기 제2 타입의 미디어를 송신하는 단계를 포함하는 네트워크를 이용한 중앙 연산 방법.
11. 제10항에 있어서,
    상기 원본 미디어의 개선을 위한 부가 미디어 정보는 시간적, 공간적, 화질적 정보를 포함하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 방법.
12. 제10항에 있어서,
    상기 수신한 원본 미디어 및 상기 개선된 미디어의 속성에 대한 정보를 저장하는 단계를 더 포함하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 방법.
    
13. 제10항에 있어서,
    상기 생성하는 단계는 FRUC(Frame Rate Up-Conversion)를 이용하여, 상기 개선된 미디어를 합성하는데 이용되는 상기 원본 미디어의 개선을 위한 부가 미디어 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 방법.
14. 제10항에 있어서,
    상기 생성하는 단계는 상기 복수의 단말기로부터 수신된 복수의 미디어를 합성하여 하나의 파노라마 미디어를 생성하는데 이용되는 상기 원본 미디어의 개선을 위한 부가 미디어 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 방법.
15. 삭제
16. 삭제
17. 제10항에 있어서,
    상기 송신하는 단계는 상기 제1 타입의 미디어 또는 상기 제2 타입의 미디어를 압축하여 상기 미디어를 소비하는 복수의 단말기에게 동시에 송신하는 것을 특징으로 하는 네트워크를 이용한 중앙 연산 방법.

Images