KR20100060186A - 대역폭 감소를 적용한 ｍｐｅｇ―４ 미디어 전송시의 암호화 기법 - Google Patents

Abstract

미디어의 전송시 네트워크의 상황에 따라 통신망의 과부하가 발생할 수 있으며, 이를 줄이기 위해서 필터링, 부하 분산기법, 막힘 제어 기법, 프레임 드로핑 등의 많은 연구가 진행되고 있다. 이들 중 효과적인 방법은 동영상의 비트율을 조절하기 위해 특정 비디오 프레임을 제거함으로써 대역폭의 감소를 가능하게 하는 프레임 드로핑(Frame dropping)이다. 프레임 드로핑은 프레임 간의 종속성이 가장 적은 B 프레임을 먼저 제거하고 종속성의 관계에 따라 I, P 프레임 순서대로 제거한다.

본 발명에서는 MPEG-4 미디어의 전송에 프레임 드로핑을 적용 하였으며 이때 암호화를 통하여 저작권을 보호할 수 있는 방법을 제안한다. 이를 위하여 서버에 저장되어있는 프레임 드로핑이 이미 적용된 파일을 클라이언트에게 전송하는 방법과 서버에 저장되어있는 미디어 파일을 클라이언트에게 전송시 실시간으로 프레임 드로핑하는 두 가지 방법을 설계 구현 하였다. MPEG-4 데이터의 암호화에는 3가지 방법을 제안한다: I-VOP내의 매크로 블록(Macro block) 암호화, P-VOP내의 매크로 블록과 모션벡터 암호화(Motion Vector), I-VOP내의 매크로블록과 P-VOP내의 모션벡터 암호화. MPEG-4 미디어의 전송시, 최적의 방법을 선택하기 위해 드로핑, 암호화, 복호화 및 영상의 품질을 비교하였으며 드로핑 후에도 원래의 영상과 큰 차이가 없다. 암호화와 복호화에서는 I-VOP와 P-VOP를 모두 암호화 하였을 때가 가장 성능이 좋다.

MPEG(Moving Picture Experts Group)-4, 프레임 드로핑(Frame dropping), 암호화(Encryption)

Description

대역폭 감소를 적용한 ＭＰＥＧ―４ 미디어 전송시의 암호화 기법 {Encryption Technique for MPEG-4 Media Transmission applying Frame Dropping}

오늘날 유비쿼터스 환경에서 인터넷 및 무선 통신이 발달함에 따라 사용자가 서비스에 대한 요구가 다양해지고 서비스의 품질에 대한 요구 또한 높아지고 있다. 이러한 클라이언트의 요구를 만족시키기 위한 디지털 콘텐츠 배포를 위해 오늘날 고품질의 서비스가 제공되고 있다. 특히, 멀티미디어 서비스의 등장으로 인해 화상 전송과 같은 넓은 대역폭을 요구하는 서비스와 방송 시스템과 같은 실시간 서비스가 제공되고 있다. 이러한 서비스들 중 MPEG-4를 이용한 스트리밍 서비스(Streaming Service)는 유무선 모두에 적합한 솔루션 중 하나이다. MPEG(Moving Picture Experts Group)에서 개발한 MPEG-4는 기존의 영상, 오디오 신호의 압축 부호화와 더불어 정지영상, 컴퓨터 그래픽스, 분석 합성 계의 음성 부호화, MIDI 등에 의한 합성 오디오 및 텍스트를 포함하는 종합 멀티미디어 부호화 규격으로 구성되어 있다.

품질이 높은 스트리밍 서비스의 제공을 위해서는, 네트워크 상황에 따라 발생할 수 있는 통신망의 과부하를 줄여서 끊김 없는 서비스가 제공 되어야 한다. 통신망의 과부하를 줄이기 위해서 필터링, 부하 분산기법, 혼잡제어 알고리즘 등의 많은 연구가 있었다. 하지만, 미디어를 하나의 서버에 저장하는 중앙집중식 환경이 아닌 여러 개의 서버에 분산 저장하여 통신망의 과부하를 막는 부하 분산기법은 대규모의 저장 공간이 필요하게 된다. 혼잡제어 알고리즘 중 TCP 혼잡 제어 방식은 끊김 없는 멀티미디어 스트리밍 서비스에 적합하지 않으므로 UDP 상에서 작동하는 TFRC(TCP Friendly Rate Control)기법을 사용한다. 하지만, TFRC는 전송률이 일정할 때 적합하기 때문에, 스트리밍서비스와 같이 트래픽의 예측을 하기 힘든 경우에는 많은 패킷 손실이 발생 할 수 있다.

본 발명은 상기한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 이루고자 하는 기술적 과제는 프레임간의 종속성이 가장 낮은 B프레임을 네트워크 상황에 따라 드로핑 시켜서 미디어의 대역폭을 조절할 수 있는 프레임 드로핑(Frame Dropping) 방법의 설계와 이러한 프레임 드로핑을 이용한 스트리밍 서비스의 제공을 위해서 미디어를 보호할 수 있는 암호화 방법이다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 프레임 드로핑 방법에서 서버의 미리 드로핑 되어있는 파일의 전송(드로핑-1)은 서버에 MP4 파일을 미리 드로핑 시켜 놓고 클라이언트 요청 시 저장되어있는 파일을 변경 없이 전송 하는 방법이다. 서버에 드로핑 된 파일을 저장해 놓기 위해 프레임 드로핑을 수행할 때 단순하게 B 프레임만을 삭제하는 것으로 접근하기는 어렵다. 각 atom들은 프레임에 대한 정보를 저장하고 있기 때문에 각 프레임과 atom들은 서로 유기적으로 연결되어있다. 하나의 프레임을 수정하면 연결된 atom의 정보들 또한 모두 수정되어야 한다. 이를 위해 본 발명에서는 처음에 B 프레임을 드로핑 하고 난 후 각 atom의 정보를 수정하고 필요 없어진 프레임 데이터를 삭제 하였다. atom의 정보를 수정하기 위해 MPEG 미디어 스트림의 atom 데이터에 접근하였다. 이 때에 수정되어야 하는 atom은 Stsz, Stco, Mdat, Stts atom 이다. Stsz는 샘플의 크기, Stco는 청크의 시작 위치, Mdat 는 프레임의 데이터를 가지고 있고, Stts는 프레임의 재생시간 정보를 가지고 있다. 따라서, 프레임 드로핑은 아래와 (그림 3)과 같이 B 프레임 드로핑, Stsz atom 정보 수정, Stco atom 정보 수정, Mdat atom 정보수정, 그리고 Stts atom 정보 수정 순으로 진행 된다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 전송 시에 실시간으로 드로핑 하여 전송하는 (드로핑-2) 방법은 서버에 드로핑 되지 않은 기존의 파일을 저장하고 있다가 클라이언트의 요청 시 B 프레임을 실시간으로 드로핑 시켜서 전송하는 방법이다. 이 방법은 서버에 드로핑 된 파일을 저장 시켜 놓은 후 전송하는 방법과 달리 헤더정보 변경이 불필요하다. Mdat의 데이터 필드에서 각 프레임을 분류해내고 프레임이 드로핑 하고자 하는 B프레임일 경우에 제외 시켜서 전송을 하게 된다. 클라이언트 측에서는 B프레임이 재생되어야 할 시점에서 클라이언트에게미리 전송된 I와 P프레임을 재생시키는 방법이다.

상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 프레임 드로핑 시의 암호화 방안은 드로핑이 완료된 MPEG-4의 미디어 파일을 암호화 하여 파일의 크기가 작고 암호화된 파일을 가지고 빠르고 안전한 DRM 솔루션이다. MPEG-4 포맷(format)과 헤더구조를 분석하고, I-VOP, P-VOP를 추출 하여 암호화 하고자 하는 프레임의 매크로 블록과(MB) 모션벡터(MV)를 DES를 이용하여 암호화 한다. 각 VOP는 하나의 Video_start_code를 가지고 있다. Video_start_code의 값은 16진수로 00, 01, B6 이고, vop_coding_type은 I-VOP, P-VOP, B-VOP 타입(type)을 식별한다. 암호화는 아래와 같은 3가지 방법을 적용한다.

첫째, I-VOP 내의 매크로 블록(MB) 암호화(암호화-1).

둘째, P-VOP 내의 매크로 블록과 모션벡터 암호화(암호화-2).

셋째, I-VOP의 내의 매크로블록과 P-VOP내의 모션 벡터 동시 암호화(암호화-3).

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다

상기한 바와 같은 본 발명의 대역폭 감소를 적용한 MPEG-4 미디어 전송시의 암호화 기법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

첫째, 프레임간의 종속성이 가장 낮은 B프레임을 네트워크 상황에 따라 드로핑 시켜 미디어의 대역폭을 조절해 통신망의 과부하를 줄일 수 있다.

둘째, 본 발명의 암호화 알고리즘으로 스트리밍 서비스로 제공되는 미디어를 보호 할 수 있다.

셋째, MPEG-4 미디어의 전송에 프레임 드로핑을 적용 하고 이때 암호화를 통하여 저작권을 보호할 수 있다.

이하, 본 발명의 실시예들에 의하여 대역폭 감소를 적용한 MPEG-4 미디어 전송시의 암호화 기법 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 먼저 대역폭의 감소상황을 지원하는 MPEG-4 프레임 드로핑(Frame Dropping)의 구현에 대하여 설명을 한다.

도 1은 본 발명의 일 실시예에 따른 서버의 미리 드로핑 되어 있는 파일을 전송 하는 방법인 B프레임 드로핑을 보여주는 도면 이다.

본 발명에서는 대역폭의 감소상황을 지원하는 MPEG-4 프레임 드로핑(Frame Dropping)을 구현하고 여기에 암호화 방안을 적용하였다. 프레임 드로핑은 I-VOP (Intra-coded), P-VOP (Predictive-coded), B-VOP (Bidirectional Predictive - coded) 프레임 중에 중요도가 떨어지고 다른 프레임에 비해 의존도가 떨어지는 B-프레임을 제거하여 최상의 품질을 유지하고 비트율을 낮춘다. 도면 1은 프레임 드로핑의 전반적인 구조를 나타낸다.

본 발명에서는 MPEG-4파일을 전송 전에 드로핑 하여 서버에 저장해 놓고 클라이언트 요청 시 드로핑 되어있는 파일을 전송하는 방법과 서버에 드로핑 되지 않은 기존의 파일을 저장하고 있다가 클라이언트에게 파일을 전송 시 실시간으로 드로핑 하여 전송하는 두 가지 방법을 구현하였다.

첫째, 서버의 미리 드로핑 되어있는 파일을 전송 하는 방법 (드로핑-1).

둘째, 서버의 원본 파일을 전송 시에 실시간으로 드로핑 해서 전송 하는 방법 (드로핑-2).

(드로핑-1)의 방법은 파일 포맷의 수정이 불가피한 방법이다. MP4 파일 포맷은 애플컴퓨터(apple computer)의 퀵타임 파일 포맷(QuickTime file format)을 기반으로 개발되었고 ISO 미디어 파일 포맷(part12)에 채용되었다. Part12로부터 MPEG-4용의 파일 포맷으로서 파생한 것이 MP4 파일 포맷이다. MP4 파일은 데이터를 저장하고 있는 데이터 부분과 데이터의 저장 정보 및 기술 디스크립션 정보를 담고 있는 메타데이터 부분으로 나누어진다.

도 2는 MP4 파일 포맷(File format) 구조를 나타내는 도면 이다.

가장 상위에는 실제 데이터들의 집합인 청크들을 포함하는 Mdat Atom이 존재하고, 그 밑으로 다수의 여러 종류 Atom을 포함하는 MOOV Atom이 존재한다. MOOV Atom 하위의 Atom 들은 실제 데이터에 대한 세부 기술정보를 가지고 있어서 서로 유기적으로 연결되어있다.

도 3은 프레임 드로핑의 과정을 보여주며 B 프레임 드로핑, Stsz atom 정보 수정, Stco atom 정보 수정, Mdat atom 정보 수정, 그리고 Stts atom 정보 수정 순으로 진행 되는 블록도이다.

본 발명의 실시예에 따른 서버의 미리 드로핑 되어있는 파일의 전송(드로핑-1)은 서버에 MP4 파일을 미리 드로핑 시켜 놓고 클라이언트 요청 시 저장되어있는 파일을 변경 없이 전송 하는 방법이다. 서버에 드로핑 된 파일을 저장해 놓기 위해 프 레임 드로핑을 수행할 때 단순하게 B 프레임만을 삭제하는 것으로 접근하기는 어렵다. 각 atom들은 프레임에 대한 정보를 저장하고 있기 때문에 각 프레임과 atom들은 서로 유기적으로 연결되어있다. 하나의 프레임을 수정하면 연결된 atom의 정보들 또한 모두 수정되어야 한다. 이를 위해 본 발명에서는 처음에 B 프레임을 드로핑 하고 난 후 각 atom의 정보를 수정하고 필요 없어진 프레임 데이터를 삭제 하였다. atom의 정보를 수정하기 위해 MPEG 미디어 스트림의 atom 데이터에 접근하였다. 이 때에 수정되어야 하는 atom은 Stsz, Stco, Mdat, Stts atom 이다. Stsz는 샘플의 크기, Stco는 청크의 시작 위치, Mdat 는 프레임의 데이터를 가지고 있고, Stts는 프레임의 재생시간 정보를 가지고 있다. 따라서, 프레임 드로핑은 아래와 (그림 3)과 같이 B 프레임 드로핑, Stsz atom 정보 수정, Stco atom 정보 수정, Mdat atom 정보수정, 그리고 Stts atom 정보 수정 순으로 진행 되었다.

도 4는 Mdat atom정보에서 B프레임을 드로핑 하기 위한 절차를 보여주는 세부 순서도 이다.

본 발명의 실시예에 따른 B 프레임 드로핑은 MPEG-4 비디오 표준을 따라 각 VOP는 서로 다른 Video_start_code를 가지기 때문에 비디오 데이터에서 각 프레임을 분류해낼 수 있다. 실제 데이터가 저장되어있는 Mdat의 데이터 필드에서 각 프레임을 분류해내고 프레임이 드로핑 하고자 하는 B 프레임일 경우 프레임을 삭제시키고, I와 P 프레임인 경우에는 삭제시키지 않은 상태로 보존시킨다. 각 프레임에 접근하기 위해서는 프레임의 시작위치가 필요하고 프레임의 시작위치 정보는 Stco와 Stsc atom을 가지고 알 수 있다. 각 프레임을 이동시키기 위해서는 프레임의 크기도 알 아야 하는데 프레임의 크기는 Stsz에 저장 되어있는 샘플의 크기를 통해 얻을 수 있다. Mdat atom정보에서 B프레임을 드로핑 하기 위한 절차는 도 4와 같다.

처음 실제 데이터가 저장되어있는 Mdat atom에 접근하여, 프레임의 정보를 추출한다. 추출된 프레임 정보로 프레임이 B프레임인지 확인 한 후에, B프레임이라면 해당 프레임의 인덱스를 저장하고 다음 프레임의 정보를 추출한다. 프레임이 마지막 프레임이 아니라면 다시 어떤 프레임인지 확인하여 B프레임이라면, 바로 다음 프레임으로 이동하고 I 또는 P프레임이라면 저장된 인덱스의 위치로 해당 프레임을 이동시켜서 B프레임을 삭제 시킨다. 그리고 처음으로 돌아가서 마지막 프레임까지 똑같은 작업을 반복한다.

B 프레임을 드로핑 시키고 I와 P프레임을 해당 위치로 이동시킨다고 하여도 도 14 a와 도14 b의 두 번째 그림과 같은 문제점을 발생시키게 된다. 따라서 프레임과 관련된 atom정보를 수정해주어 문제점을 해결해야 한다.

본 발명의 실시예에 따른 Stsz Atom 정보 수정은 단순히 B프레임만을 삭제하고, I와 P프레임만을 남겨 놓을 경우 잘못된 정보를 재생시키는 이유는 새롭게 복사되어 이동된 I와 P프레임의 크기는 이전의 드로핑 된 B프레임의 크기와 같을 수 없지만 Stszatom에서는 이전의 B프레임 샘플 크기를 저장하고 있기 때문이다. 이러한 문제를 해결하기 위해서, Stsz atom의 정보를 수정하여 새로운 프레임의 크기를 정확하게 나타내도록 하여야 한다. 도 14 a와 도14 b의 세 번째 그림은 프레임 드로핑 알고리즘을 적용시킨 후에 Stsz의 atom정보를 수정시켜준 결과이다. 하지만, Stsz atom을 수정하여도 문제가 계속 발생함을 보여준다.

본 발명의 실시예에 따른 Stco Atom 정보 수정은 Stsz atom정보를 수정한 후에도 문제가 발생하는 이유는 미디어 데이터 스트림 안의 청크의 위치 정보를 가지고 있는 Stco atom을 수정해 주지 않아서 발생하는 것이다. 샘플의 크기가 변하여 청크의 크기가 변하게 되면 다음 청크의 시작위치도 변하게 된다. 따라서, Stsz atom의 정보가 수정됨에 따라 Stco atom의 정보도 반드시 수정되어야 한다. 도 14 a와 도14 b의 마지막 그림은 Stco atom 정보를 수정한 결과 영상이다.

도 5는 본 발명의 일 실시예에 따른 Mdat에서 마지막 프레임 데이터를 삭제하여 Mdat정보를 수정하는 방법을 보여주는 블록도이다.

도 14 a와 도14 b에서 보는 바와 같이 Stco 정보를 변경하고 난 후에 동영상을 재생시켜보면 원래의 미디어와 같은 깨끗한 화면이 재생됨을 알 수 있다. 하지만, 미디어의 마지막 장면이 재생된 이후에도 미디어가 계속 재생되는 문제점이 발생한다. 이는 프레임 드로핑을 적용하기 전의 I, B, P프레임이 남아 있기 때문이다. 이 문제의 해결을 위해서 Mdat에서 마지막 프레임 데이터 이후의 데이터는 모두 삭제해야 한다. 도 5는 Mdat에서 마지막 프레임 데이터를 삭제하여 Mdat 정보를 수정하는 방법을 나타낸다.

도 6은 본 발명의 일 실시예에 따른 B프레임을 삭제후 I와 P프레임의 재생시간 정보를 수정하는 과정을 나타내는 도면 이다.

B프레임을 드로핑 시키고 나면 삭제 시킨 만큼의 재생시간이 줄어들게 된다. 실제 실험에서 1시간 2분의 재생시간을 가진 미디어를 사용하였지만, 드로핑 알고리즘을 적용시킨 이후의 미디어는 12분 30초 만에 재생이 되는 것을 볼 수 있었다. 하지 만, 클라이언트가 미디어에 접속해서 재생 시킬 경우에는 원래의 영상과 같은 속도로 재생이 되어야 하므로, 기존의 미디어와 동일한 재생시간을 갖기 위해서 프레임의 재생시간 정보를 가지고 있는 Stts atom의 정보를 수정함으로써 삭제된 만큼의 프레임 재생시간을 보상 시켰다. 본 발명의 실험에서는 연속적으로 삭제되는 B프레임의 재생시간을 합쳐서 삭제되기 바로 이전의 I 또는 P프레임의 재생시간에 더해주어 I 또는 P프레임이 삭제된 B프레임의 시간 동안에도 재생되게 구현 하였다. 도 6은 B프레임을 삭제 후 I 와 P프레임의 재생시간 정보를 수정하는 과정을 나타낸다.

본 발명의 실시예에 따른 전송 시에 실시간으로 드로핑 하여 전송 (드로핑-2)은 서버에 드로핑 되지 않은 기존의 파일을 저장하고 있다가 클라이언트의 요청 시 B 프레임을 실시간으로 드로핑 시켜서 전송하는 방법이다. 이 방법은 서버에 드로핑 된 파일을 저장 시켜 놓은 후 전송하는 방법과 달리 헤더정보 변경이 불필요하다. Mdat의 데이터 필드에서 각 프레임을 분류해내고 프레임이 드로핑 하고자 하는 B프레임일 경우에 제외 시켜서 전송을 하게 된다. 클라이언트 측에서는 B프레임이 재생되어야 할 시점에서 클라이언트에게 미리 전송된 I와 P프레임을 재생시키는 방법이다.

도 7은 드로핑이 완료된 MPEG-4의 미디어 파일을 암호화 하여 파일의 크기가 작고 암호화된 파일을 가지고 빠르고 안전한 DRM 솔루션 구조도이다.

드로핑이 완료된 MPEG-4의 미디어 파일을 암호화 하여 파일의 크기가 작고 암호화된 파일을 가지고 빠르고 안전한 DRM 솔루션을 설계하고 구현하였다. 도 7은 DRM 구조를 나타낸다.

MPEG-4 포맷(format)과 헤더구조를 분석하고, I-VOP, P-VOP를 추출 하여 암호화 하고자 하는 프레임의 매크로 블록과(MB) 모션벡터(MV)를 DES를 이용하여 암호화 한다.

각 VOP는 하나의 Video_start_code를 가지고 있다. Video_start_code의 값은 16진수로 00, 01, B6 이고, vop_coding_type은 I-VOP, P-VOP, B-VOP 타입(type)을 식별한다.

암호화는 아래와 같은 3가지 방법을 적용하였다.

첫째, I-VOP 내의 매크로 블록(MB) 암호화(암호화-1)

둘째, P-VOP 내의 매크로 블록과 모션벡터 암호화(암호화-2)

셋째, I-VOP의 내의 매크로블록과 P-VOP내의 모션 벡터 동시 암호화(암호화-3)

본 발명의 실시예에 따른 I-VOP내의 매크로 블록 암호화(암호화-1)은 I-VOP를 데이터에서 추출하고 난 후, DES알고리즘을 적용해서 비디오를 암호화 할 수 있다. DES 알고리즘은 위에서 언급하였듯이 입력으로 64비트 데이터를 가지고, 암호화된 64비트 데이터를 출력하므로 입출력 데이터의 크기에는 변화를 주지 않는다. 다른 암호화를 사용하게 되면 오프셋이 바뀌고, 크기와 구조에 변화가 생기기 때문에 스트림 암호화를 위해서는 DES와 같은 대칭형 암호화 알고리즘을 사용해야 하고, 파일 크기가 변하지 않도록 하기 위해서 DES 입력 값으로 64배수를 적용해야 하며, DES 함수의 덧붙임이 일어나는 것을 방지한다. 도 15 a와 도 15 b에서 첫 번째 영상은 암호화하기 전의 원본 영상이고 두 번째 영상은 I-VOP의 매크로 블록을 암호화 한 결 과이다.

본 발명의 실시예에 따른 P-VOP내의 매크로 블록과 모션벡터 암호화(암호화-2)는 MPEG-4 파일 구조와 헤더구조를 분석해서 P-VOP를 추출하고 난 후 P-VOP내의 매크로 블록(MB)과 모션벡터(MV)들을 I-VOP매크로블록을 암호화 한 것처럼 DES를 사용하여 암호화 할 수 있다. 도 15 a와 도 15 b의 세 번째 영상은 P-VOP내의 매크로 블록과 모션벡터를 암호화 한 결과를 보여준다.

본 발명의 실시예에 따른 I-VOP내의 매크로블록과 P-VOP내의 모션벡터 암호화(암호화-3) 는 매크로 블록들이 많은 코딩 정보들을 가지고 있기 때문에 I-VOP 매크로 블록 암호화와 P-VOP내의 매크로블록 암호화 와 모션벡터 암호화는 모두 완전히 만족할 만한 결과를 보여주지 않는다. 이 문제를 해결하기 위해서 I-VOP 내의 매크로 블록들과, P-VOP내의 모션벡터를 모두 다 암호화하는 방법을 사용할 수 있다. 도 15 a와 도 15 b의 마지막 영상은 그 결과를 나타내준다. 이것이 3가지 방법 중 가장 좋은 암호화 방법이라는 것을 보여준다. 하지만 암호화를 위해 처리해야 하는 데이터의 양이 위의 2가지에 비해서 많다는 단점이 있다.

도 8은 본 발명의 일 실시예에 따른 실험에 사용된 영화 파일의 특성에 대한 도면이다.

본 발명에서는 MPEG-4 데이터를 위한 두 가지의 드로핑 방법과 세 가지의 암호화 방법을 제안하였다. 실험에 사용된 데이터 파일은 영화 2편(PrettyWomen.mp4, Gone with the wind.mp4)과 MPEG4 샘플 영상 7편(Akiyo.mp4, Foreman.mp4, Hall_monitor.mp4, Coastguard.mp4, Container.mp4, New, Stefan.mp4)을 사용을 사 용하였으며, 이 데이터 파일의 특성은 도 8과 도 9에 기술하였다. 암호화와 드로핑 실험을 위한 프로그램은 Windows XP환경에서 모두 C언어로 구현하였으며, 동영상의 재생 실험은 MPEG4IP 라는 재생 프로그램을 수정하여 사용하였다. 실험에사용된 데이터 파일은 YUV Sequence File을 FFMPEG를 이용하여 MPEG4표준 영상으로 변환시켜 사용하였다.

도 9는 본 발명의 일 실시예에 따른 실험에 사용된 MPEG4 샘플 영상의 특성에 대한 도면이다.

도 10은 본 발명의 일 실시예에 따른 드로핑 실험 후 생성되는 영상의 크기 변화를 보여주는 도면이다.

본 발명의 실시예에 따른 드로핑에 대한 실험결과는 본 발명에서 제안한 2가지의 드로핑 방법 중 (드로핑-1)의 장점은 파일의 크기를 줄여서 서버에 보관하기 때문에 서버를 최적화 시킬 수 있다는 것이고, (드로핑-2)는 파일의 헤더구조 및 원본 데이터 손상 없이 서버에 보관 할 수 있다는 것이 장점이다. (드로핑-1)은 드로핑 시킨 파일의 크기가 크게 작아짐을 볼 수 있다. 도 10은 실험 후 생성되는 영상의 크기 변화를 보여준다. 기존의 크기보다 약 60%의 크기의 영상 크기를 얻을 수 있다.

도 11은 본 발명의 일 실시예에 따른 atom 수정에 걸리는 평균 및 전체 시간에 대한 도면이다.

B 프레임을 드로핑 시키고 미디어 스트림 atom의 정보를 변경 하여 얻은 영상은 기존의 영상과 차이가 없음을 보여주었으며, 각 atom을 변경하는데 걸리는 시간 또한 무시 할 수 있을 정도로 작음을 볼 수 있다. 도 11은 atom 수정에 걸리는 시간을 나타낸다.

도 12는 본 발명의 일 실시예에 따른 I와 P프레임을 다시 재생시키는데 걸리는 시간을 측정한 실시간 프레임 드로핑 시간 측정 결과에 대한 도면이다.

(드로핑-2)는 atom정보를 수정하지 않고 이미 전송된 I와 P 프레임을 B 프레임 대신 재생 시키는 방법이므로 I와 P프레임을 다시 재생 시키는 시간만이 소요된다. 도 12는 I와 P프레임을 다시 재생 시키는데 걸리는 시간을 나타내고 있다.

두 가지 방법 모두 파일의 크기를 줄여서 전송하기 때문에 통신망의 과부하를 줄일 수 있었고, 성능상의 별 다른 차이를 보이지 않았다.

도 13은 본 발명의 일 실시예에 따른 각 암호화 방법의 속도 측정에 대한 도면이다.

본 연구에서는 MPEG-4 데이터를 위한 3가지 암호화 방법을 제안 하였는데 그 중 방법이 가장 뛰어난 암호화는 I-VOP 내의 매크로 블록과 P-VOP 내의 모션벡터를 모두 암호화 한 것이었다. 그러나 암호화 과정에서 처리해야 하는 데이터의 양이 크다는 단점을 가지고 있다. 이러한 단점을 극복하고 속도를 향상시키기 위해서 I-VOP의 빈도수를 조정하여 암호화에 사용되는 데이터의 양을 조절할 수도 있다. 하지만, 일반적으로 I-VOP의 매크로 블록들만 암호화 하는 작업에 필요한 데이터의 양은 크지가 않다. VOP를 암호화 하는 시간은 다음 수식과 같다. E(t) = DES(t) + M(t), 이 수식에서 E(t)는 VOP의 암호화 작업을 처리하는 시간이고, DES(t)가 암호화 작업을 처리하는 시간이며, M(t)는 전처리 시간이다. 비록 I-VOP 내의 매크로블록 암 호화와P-VOP내의 모션벡터를 함께 암호화 한 것이 I-VOP 암호화 보다 암호화 및 복호화 작업에 배 정도의 시간소요를 요구하지만, 일반적인 MPEG 클라이언트는 복호화, 디코딩, 렌더링 작업 모두를 메모리나 스왑영역의 전처리 버퍼에서 처리한 후 재생하기 때문에 실제 재생 시간 자체에는 큰 영향을 주지 않는다. 도 13은 암호화의 각 방법에 따라 드로핑 된 데이터 파일을 암호화 시킨 결과이다.

도 14는 본 발명의 일 실시예에 따른 프레임 드로핑 알고리즘을 적용 시킨 결과를 나타내며 위에서 아래의 순서대로 원본영상, B프레임을 적용시켰을 때의 영상, Stsz atom 정보 수정 후의 영상, Stco atom 정보 수정후의 영상을 나타내는 도면이다.

도 15는 본 발명의 일 실시예에 따른 I-VOP 내의 매크로 블록들과, P-VOP내의 모션벡터를 모두 다 암호화하는 방법을 사용한 영상의 결과를 나타내는 도면이다. 위에서 아래의 순서로 마지막 영상은 그 결과를 나타내준다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

상기한 바와 같은 본 발명의 대역폭 감소를 적용한 MPEG-4 미디어 전송시의 암호화 기법에 따르면 다음과 같은 산업상 이용가능성이 하나 혹은 그 이상 있다.

첫째, 프레임간의 종속성이 가장 낮은 B프레임을 네트워크 상황에 따라 드로핑 시켜서 미디어의 대역폭을 조절해 통신망의 과부하를 줄일 수 있다.

둘째, 통신망의 과부하를 줄여 끊김없는 서비스를 제공할 수 있으므로 품질 높은 스트리밍 서비스를 제공할 수 있다.

셋째, MPEG-4 미디어의 전송에 프레임 드로핑을 적용 하고 이때 암호화를 통하여 저작권을 보호할 수 있다.

도 1은 본 발명의 일 실시예에 따른 서버의 미리 드로핑 되어 있는 파일을 전송 하는 방법인 B프레임 드로핑을 보여주는 도면 이다.

도 2는 MP4 파일 포맷(File format) 구조를 나타내는 도면 이다.

도 3은 프레임 드로핑의 과정을 보여주며 B 프레임 드로핑, Stsz atom 정보 수정, Stco atom 정보 수정, Mdat atom 정보 수정, 그리고 Stts atom 정보 수정 순으로 진행 되는 블록도이다.

도 4는 Mdat atom정보에서 B프레임을 드로핑 하기 위한 절차를 보여주는 세부 순서도 이다.

도 5는 본 발명의 일 실시예에 따른 Mdat에서 마지막 프레임 데이터를 삭제하여 Mdat정보를 수정하는 방법을 보여주는 블록도이다.

도 6은 본 발명의 일 실시예에 따른 B프레임을 삭제후 I와 P프레임의 재생시간 정보를 수정하는 과정을 나타내는 도면 이다.

도 7은 드로핑이 완료된 MPEG-4의 미디어 파일을 암호화 하여 파일의 크기가 작고 암호화된 파일을 가지고 빠르고 안전한 DRM 솔루션 구조도이다.

도 8은 본 발명의 일 실시예에 따른 실험에 사용된 영화 파일의 특성에 대한 도면이다.

도 9는 본 발명의 일 실시예에 따른 실험에 사용된 MPEG4 샘플 영상의 특성에 대한 도면이다.

도 10은 본 발명의 일 실시예에 따른 드로핑 실험 후 생성되는 영상의 크기 변화를 보여주는 도면이다.

도 11은 본 발명의 일 실시예에 따른 atom 수정에 걸리는 평균 및 전체 시간에 대한 도면이다.

도 12는 본 발명의 일 실시예에 따른 I와 P프레임을 다시 재생시키는데 걸리는 시간을 측정한 실시간 프레임 드로핑 시간 측정 결과에 대한 도면이다.

도 13은 본 발명의 일 실시예에 따른 각 암호화 방법의 속도 측정에 대한 도면이다.

도 14는 본 발명의 일 실시예에 따른 프레임 드로핑 알고리즘을 적용 시킨 결과를 나타내며 위에서 아래의 순서대로 원본영상, B프레임을 적용시켰을 때의 영상, Stsz atom 정보 수정 후의 영상, Stco atom 정보 수정후의 영상을 나타내는 도면이다.

도 15는 본 발명의 일 실시예에 따른 I-VOP 내의 매크로 블록들과, P-VOP내의 모션벡터를 모두 다 암호화하는 방법을 사용한 영상의 결과를 나타내는 도면이다. 위에서 아래의 순서로 마지막 영상은 그 결과를 나타내준다.

Claims (10)

1. B 프레임을 드로핑 하고 난 후 각 atom의 정보를 수정하고 필요 없어진 프레임 데이터를 삭제 하는 서버의 미리 드로핑 되어있는 파일을 전송 하는 방법 (드로핑-1).
2. 제 1 항에 있어서,

   Stsz Atom 정보 수정 방법.
3. 제 1 항에 있어서,

   Stco Atom 정보 수정 방법.
4. 제 1 항에 있어서,

   Mdat Drop 방법.
5. 제 1 항에 있어서,

   Stts Atom 정보 변경 방법.
6. 서버의 원본 파일을 전송 시에 실시간으로 드로핑 해서 전송 하는 방법 (드로핑-2).
7. 드로핑이 완료된 MPEG-4의 미디어 파일을 암호화하는 프레임드로핑 시의 암호화 방법
8. 제 7 항에 있어서,

   I-VOP 내의 매크로 블록(MB) 암호화 방법 (암호화-1).
9. 제 7 항에 있어서,

   P-VOP 내의 매크로 블록과 모션벡터 암호화 방법 (암호화-2).
10. 제 7 항에 있어서,

    I-VOP의 내의 매크로블록과 P-VOP내의 모션 벡터 동시 암호화 방법 (암호화-3).

Images