KR101852859B1 - 랜덤액세서블 p-프레임에 기초한 동영상 랜덤액세스 처리 방법 - Google Patents

Abstract

본 발명은 일반적으로 I-프레임과 P-프레임을 구비하는 동영상에 대하여 I-프레임 뿐만 아니라 P-프레임에도 랜덤액세스가 가능하도록 동영상 데이터를 처리하는 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 동영상 데이터 패킷의 헤더 영역 또는 메타정보 파일 등과 같은 별도 채널을 통해 제공하는 랜덤액세스 참조프레임을 통해 P-프레임을 랜덤액세스 가능하게 구성함으로써 I-프레임에 의존하는 종래기술의 동영상 랜덤액세스 처리 방식의 한계를 극복하고 동영상에 대해 랜덤액세스를 효과적으로 구현할 수 있는 기술에 관한 것이다. 본 발명에 따르면 작은 데이터 사이즈를 갖는 랜덤액세스 참조프레임을 추가하여 인터프레임(예: P-프레임, B-프레임)을 랜덤액세스 가능하게 구현함으로써 종래기술에 비해 I-프레임을 적게 포함시킬 수 있게 되어 동영상 데이터의 압축률을 향상시킬 수 있는 장점이 있다.

Description

랜덤액세서블 P-프레임에 기초한 동영상 랜덤액세스 처리 방법 {Method of providing random access for moving picture based on random accessable P-frame}

본 발명은 일반적으로 I-프레임과 P-프레임을 구비하는 동영상에 대하여 I-프레임 뿐만 아니라 P-프레임에도 랜덤액세스가 가능하도록 동영상 데이터를 처리하는 기술에 관한 것이다.

더욱 상세하게는, 본 발명은 동영상 데이터 패킷의 헤더 영역 또는 메타정보 파일 등과 같은 별도 채널을 통해 제공하는 랜덤액세스 참조프레임을 통해 P-프레임을 랜덤액세스 가능하게 구성함으로써 I-프레임에 의존하는 종래기술의 동영상 랜덤액세스 처리 방식의 한계를 극복하고 동영상에 대해 랜덤액세스를 효과적으로 구현할 수 있는 기술에 관한 것이다.

디지털 영상 데이터(동영상)은 초당 발생하는 데이터의 양이 지나치게 많기 때문에 현실적으로 대역폭이 제한된 통신수단을 통해 동영상을 전송하기 위해서는 MPEG, H.264 등의 동영상 압축 기술로 인코딩하여 데이터 양을 감소시키는 과정을 먼저 거치는 것이 일반적이다.

동영상 압축 과정에서는 하나의 프레임 내에서 공간적 중복성(spatial redundancy)을 제거하는 과정이 이루어지는데, 이러한 방식으로 압축된 프레임을 일반적으로 I-프레임(Intra Frame)이라고 부른다. 즉, I-프레임은 하나의 프레임 데이터를 개별적으로 압축 인코딩한 것이며, 디코딩도 하나의 I-프레임 단독으로 이루어질 수 있다.

또한, 여러 프레임들 간의 시간적 중복성(temporal redundancy)을 제거하는 과정이 추가로 이루어질 수도 있는데, 이러한 방식으로 압축된 프레임을 인터프레임(Inter Frame)이라고 부른다. 인터프레임으로는 P-프레임(Predictive Frame)과 B-프레임(Bidirectional Predictive Frame)이 있다. P-프레임은 앞의 P-프레임과 비교하여 공통 부분은 버리고 차이나는 부분만 모아서 압축한 것이고, B-프레임은 앞뒤의 프레임들과 비교하여 역시 공통 부분은 버리고 차이나는 부분만 모아서 압축한 것이다.

이러한 인터프레임은 단독으로는 디코딩이 불가능하다. P-프레임은 선행하는 I-프레임 및 그 이후에 존재하는 일련의 선행 P-프레임들이 있어야 디코딩할 수 있고, I-프레임은 선행하는 I-프레임 및 그 이후에 존재하는 일련의 선행 및 후행 프레임들이 모두 있어야 디코딩 가능하다. 한편, P-프레임과 I-프레임은 I-프레임에 비해 프레임 하나의 데이터 사이즈가 1/20 내지 1/100 정도로 훨씬 적기 때문에 P-프레임과 I-프레임을 다수 사용함으로써 전체적인 동영상 데이터의 사이즈를 줄일 수 있게 된다.

[도 1]은 일반적인 동영상의 프레임 구성을 개념적으로 나타내는 도면이다. 디지털 방송용 동영상은 I-프레임, B-프레임, P-프레임을 모두 구비하고 있으나 본 발명은 P-프레임을 랜덤액세스 가능하게 만들겠다는 아이디어에 기초하였기에 B-프레임은 생략하였다. 따라서, 본 발명은 I-프레임, B-프레임, P-프레임을 모두 구비하는 동영상에 적용될 수도 있고, 혹은 I-프레임과 P-프레임만 구비하는 동영상에 적용될 수도 있다.

[도 1]을 참조하면 동영상은 일련의 프레임으로 이루어져 있는데, 가끔씩 I-프레임(110, 120)이 나오고 대부분은 P-프레임(111, 112, ...)이다. 이때, I-프레임은 단독 디코딩이 가능한 프레임으로서 랜덤액세스가 필요한 시점마다 배치되었다. 예를 들어, 매 초마다 랜덤액세스가 가능하도록 동영상을 만들기 위해서는 30 FPS (Frame-Per-Second) 동영상의 경우라면 프레임 30장당 1장씩의 I-프레임(110, 120)이 존재해야 한다.

[도 1]의 (a)에서와 같이 동영상에서는 I-프레임(110, 120)에서 랜덤액세스(random access)가 가능하다. 예를 들어 I-프레임(120)을 디코딩하려면 단순히 I-프레임(120)의 데이터만 디코딩하면 된다.

반면, [도 1]의 (b)에서와 같이 P-프레임(111, 112, ...)에서는 랜덤액세스가 곤란하다. 예를 들어, P-프레임(117)을 디코딩하기 위해서는 이에 선행하는 최근접 I-프레임(110) 및 그 이후에 존재하는 모든 선행 P-프레임들(111 ~ 116)을 순서대로 모두 디코딩해야만 한다. 이처럼 P-프레임은 동영상의 프레임 시퀀스 중에서 놓여지는 위치에 따라서 선행 P-프레임들의 갯수가 상이하기 때문에 디코딩 시간이 제각각으로 나타나고 응답시간을 전혀 보장할 수가 없기 때문에 랜덤액세스가 불가능하게 된다.

반면, 프레임 하나당 데이터 사이즈를 살펴보면, I-프레임의 사이즈는 P-프레임에 비하여 최대 20배까지 더 크다. 네트워크 대역폭이나 하드디스크 저장공간의 효율성 측면에서 동영상에서는 데이터 압축률이 매우 중요하다. 그로 인해, 대부분의 프레임을 P-프레임으로 구성하고 랜덤액세스를 지원하기 위해 대략 30초 내지 1분 간격마다 I-프레임을 넣는다.

일반적인 분야에서는 종래와 같이 구성하더라도 별다른 문제 없이 사용할 수 있다. 데이터 압축률과 램덤액세스의 필요성을 적절하게 조화시킨 것으로 받아들여지고 있는 것이다.

하지만, 특수한 분야, 예컨대 보안관제 시스템에서는 종래기술의 방식은 다소 불만족스러운 결과로 나타난다. CCTV 카메라는 그 촬영 영상의 속성상 대부분의 시간에는 프레임 간의 변화가 거의 없기 때문에 P-프레임의 데이터 사이즈가 매우 작으며, 그로 인해 B-프레임과 I-프레임의 크기 차이가 굉장히 두드러진다. 따라서, I-프레임의 빈도를 낮추고 대부분의 프레임을 P-프레임으로 채운다면 스토리지 공간을 엄청나게 줄일 수 있다.

반면, 보안관제 시스템의 속성상 특정 지점을 선택하여 랜덤액세스를 해야하는 요구도 매우 중요하다. 관제요원이 급박하게 특정 시점을 봐야하는데, 그 특정 시점의 이미지는 나오지 않고 그 25초전 이미지와 그 35초후 이미지만 화면에서 확인할 수 있다고 하면 상당히 큰 문제가 될 것이다. 따라서, 급박하게 특정 화면을 확인해야 하는 보안관제의 특수성을 감안한다면 I-프레임의 빈도를 오히려 더 높여야 하는 것이다.

결국, 보안관제 시스템과 같은 특수한 분야에서는 동영상 데이터 처리에 있어서 많은 어려움이 있다. 다수의 CCTV 카메라로부터 전달되는 동영상 데이터가 워낙 엄청나기 때문에 스토리지 공간을 감안한다면 I-프레임의 빈도를 낮추고 대부분을 P-프레임으로 채우고 싶지만 그렇게 하면 랜덤액세스 성능이 너무 떨어져서 정작 긴박한 순간에 제 역할을 하지 못하게 되는 문제점이 있다. 반면, 랜덤액세스 성능을 높이기 위해 I-프레임의 빈도를 높이면 스토리지 공간을 대폭 확충해야만 하는 문제점이 있다.

이로 인하여 종래의 보안관제 시스템에서는 나름대로 적절하다고 생각되는 시간(예: 0.5초 또는 1초) 간격으로 I-프레임이 나타나도록 I-프레임 빈도를 조정하고 있다. 일반적으로는 랜덤액세스 성능을 중요하게 고려하여 시간 간격을 설정한 것이며, 그에 따라 스토리지 공간에 있어 부담이 크다. 특히, 이러한 부담은 CCTV 카메라를 더욱 늘려야 할 뿐만 아니라 CCTV 카메라를 고화질 제품으로 설치해야 한다는 사회적 요구가 높아짐에 따라 점점더 커질 전망이어서 이를 해결할 수 있는 기술이 요망된다.

본 발명의 목적은 일반적으로 I-프레임과 P-프레임을 구비하는 동영상에 대하여 I-프레임 뿐만 아니라 P-프레임에도 랜덤액세스가 가능하도록 동영상 데이터를 처리하는 기술을 제공하는 것이다.

특히, 본 발명의 목적은 동영상 데이터 패킷의 헤더 영역 또는 메타정보 파일 등과 같은 별도 채널을 통해 제공하는 랜덤액세스 참조프레임을 통해 P-프레임을 랜덤액세스 가능하게 구성함으로써 I-프레임에 의존하는 종래기술의 동영상 랜덤액세스 처리 방식의 한계를 극복하고 동영상에 대해 랜덤액세스를 효과적으로 구현할 수 있는 기술을 제공하는 것이다.

상기의 목적을 달성하기 위하여 제시되는 본 발명에 따른 동영상 랜덤액세스 처리 방법은 일련의 프레임 데이터(#0 ~ #8)를 포함하여 구성되는 동영상에 대해 랜덤액세스를 제공하기 위하여 동영상 인코더(video encoder)가 수행하는 방법으로서, 일련의 프레임 데이터 중에서 특정의 프레임 데이터를 인트라프레임 인코딩하여 하나이상의 I-프레임(210)을 생성하고 나머지 프레임 데이터를 각각 직전의 프레임 데이터를 참조하면서 인터프레임 인코딩하여 일련의 P-프레임(211 ~ 218)을 생성하는 제 1 단계; 동영상에서 랜덤액세서블 P-프레임으로 설정될 대상인 특정의 P프레임(217)을 식별하는 제 2 단계; 랜덤액세서블 P-프레임(217)에 대한 선행 최근접 I-프레임(210)을 식별하는 제 3 단계; 랜덤액세서블 P-프레임(217)으로부터 미리 설정한 스텝 이내의 프레임 데이터를 레퍼런스 프레임 데이터로 식별하는 제 4 단계; 선행 최근접 I-프레임(210)의 프레임 데이터를 참조하면서 레퍼런스 프레임 데이터를 인터프레임 인코딩하여 랜덤액세서블 P-프레임(217)을 위한 랜덤액세스 참조프레임(300)을 생성하는 제 5 단계;를 포함하여 구성된다.

이때, 본 발명에 따른 동영상 랜덤액세스 처리 방법은, 랜덤액세스 참조프레임(300)을 I-프레임(210) 및 일련의 P-프레임(211 ~ 218)을 전송하는 동영상 데이터 패킷의 헤더 영역에 속하는 사용자 정의 영역에 삽입하여 전송하는 제 6 단계;를 더 포함하여 구성될 수 있다. 또한, 제 4 단계에서 레퍼런스 프레임 데이터는 랜덤액세서블 P-프레임(217)의 프레임 데이터(#7)로 설정되는 것이 바람직하다.

또한, 본 발명에 따른 동영상 랜덤액세스 처리 방법은 하나이상의 I-프레임(210)과 일련의 P-프레임(211 ~ 218)을 포함하여 구성되는 동영상에 대해 랜덤액세스를 제공하기 위하여 동영상 디코더(video decoder)가 수행하는 방법으로서, 일련의 P-프레임(211 ~ 218) 중의 미리 설정된 랜덤액세서블 P-프레임(217)에 대한 랜덤액세스를 식별하는 제 1 단계; 동영상으로부터 랜덤액세서블 P-프레임(217)을 위한 랜덤액세스 참조프레임(300)을 획득하는 제 2 단계; 랜덤액세서블 P-프레임(217)에 대한 선행 최근접 I-프레임(210)을 식별하는 제 3 단계; 선행 최근접 I-프레임(210)에 대해 인트라프레임 디코딩을 수행하여 프레임 데이터(#0)를 획득하는 제 4 단계; 랜덤액세스 참조프레임(300)에 대해 선행 최근접 I-프레임(210)의 프레임 데이터(#0)를 참조하여 인터프레임 디코딩을 수행하여 레퍼런스 프레임 데이터를 획득하는 제 5 단계; 레퍼런스 프레임 데이터로부터 랜덤액세서블 P-프레임(217)에 대한 화면 이미지를 획득하는 제 6 단계;를 포함하여 구성될 수 있다.

이때, 제 2 단계는 동영상에 대한 데이터 패킷의 헤더 영역에 속하는 사용자 정의 영역으로부터 랜덤액세서블 P-프레임(217)을 위한 랜덤액세스 참조프레임(300)을 획득하는 단계를 포함하여 구성될 수 있다. 또한, 제 6 단계는 레퍼런스 프레임 데이터를 재생하여 랜덤액세서블 P-프레임(217)에 대한 화면 이미지를 획득하는 단계를 포함하여 구성될 수 있다.

한편, 본 발명에 따른 컴퓨터로 판독가능한 비휘발성 기록매체는 컴퓨터에 이상과 같은 랜덤액세서블 P-프레임에 기초한 동영상 랜덤액세스 처리 방법을 실행시키기 위한 프로그램을 기록한 것이다.

본 발명에 따르면 작은 데이터 사이즈를 갖는 랜덤액세스 참조프레임을 추가하여 인터프레임(예: P-프레임, B-프레임)을 랜덤액세스 가능하게 구현함으로써 종래기술에 비해 I-프레임을 적게 포함시킬 수 있게 되어 동영상 데이터의 압축률을 향상시킬 수 있는 장점이 있다.

[도 1]은 일반적인 동영상의 프레임 구성을 개념적으로 나타내는 도면.
[도 2]는 본 발명에 따른 동영상의 프레임 구성 및 이를 이용한 동영상 랜덤액세스 처리 기술을 개념적으로 나타내는 도면.
[도 3]은 본 발명에서 랜덤액세스 참조프레임의 생성 과정의 일 실시예를 개념적으로 나타내는 도면.
[도 4]는 본 발명에서 랜덤액세스 참조프레임의 생성 과정의 다른 실시예를 개념적으로 나타내는 도면.
[도 5]는 본 발명에서 랜덤액세서블 P-프레임을 생성하는 프로세스를 나타내는 순서도.
[도 6]은 본 발명에서 랜덤액세서블 P-프레임을 이용하여 랜덤액세스를 구현하는 프로세스를 나타내는 순서도.

이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.

[도 2]는 본 발명에 따른 동영상의 프레임 구성 및 이를 이용한 동영상 랜덤액세스 처리 기술을 개념적으로 나타내는 도면이다.

[도 1]과 [도 2]를 비교하여 살펴보면, 본 발명에서는 랜덤액세스 참조프레임(300)이 마련되어 있으며 이를 이용하여 P-프레임(217)에 대해 랜덤액세스가 가능하게 되었다는 점에 특징이 있다. 본 발명에 따라 랜덤액세스가 가능하게 된 특정의 P-프레임(217)을 본 명세서에서는 '랜덤액세서블 P-프레임(random accessable P-frame)'이라고 부른다.

이때, 랜덤액세스가 가능하게 된 P-프레임(217) 자체는 바람직하게는 다른 P-프레임들(예: 211 ~ 216, 218)과 마찬가지로 특별한 기법이 적용되지 않은 평범한 P-프레임이다. 따라서, [도 2]의 다른 P-프레임들(예: 211 ~ 216, 218)을 디코딩할 수 있는 통상의 동영상 디코더 소프트웨어라면 P-프레임(217)도 정상적으로 디코딩할 수 있게 된다.

본 발명에서는 동영상을 인코딩할 때, P-프레임(217)을 랜덤액세스 가능하도록 하기 위해 랜덤액세스 참조프레임(300)을 생성하여 동영상 데이터와 함께 제공한다. 마찬가지로, 동영상을 디코딩할 때, P-프레임(217)을 랜덤액세스해야 하는 상황이 되면, 종래기술에서와 같이 선행하는 일련의 P-프레임들(211 ~ 216)을 모두 디코딩할 필요 없이, 단순히 랜덤액세스 참조프레임(300)을 활용하여 P-프레임(217)을 즉시 디코딩한다.

이때, 랜덤액세스 참조프레임(300)의 데이터는 동영상 데이터에 섞여서 제공되는 것이 아니라 별도 채널을 통해 제공되는 것이 바람직한데, 이는 본 발명이 적용되지 않은 동영상 디코딩 소프트웨어도 본 발명에 따라 생성된 동영상 데이터를 정상적으로 디코딩할 수 있도록 하기 위함이다. 랜덤액세스 참조프레임(300)의 데이터는 동영상 데이터 패킷의 헤더 영역 중에서 사용자 정의 영역(user defined field)에 저장하여 전달하는 것이 바람직하다. 또는, 메타정보 파일 등의 형태로 전달할 수도 있다.

본 발명에서 랜덤액세스 참조프레임(300)은 랜덤액세스를 제공하려고 하는 특정의 P-프레임(217), 즉 랜덤액세서블 P-프레임(217)에 대한 선행 최근접 I-프레임(210)과 랜덤액세서블 P-프레임(217)의 프레임 데이터로부터 생성한다. [도 3]은 본 발명에서 랜덤액세스 참조프레임(300)을 생성하는 일 실시예를 개념적으로 나타내는 도면이다.

[도 3]을 참조하면, I-프레임(210)은 프레임 데이터 #0 단독에 대해 인트라프레임 인코딩하여 생성된다. 일반적으로 I-프레임을 생성하기 위해 사용되는 프레임 데이터를 키 프레임(key frame)이라고 부르는데, [도 3]에서는 프레임 데이터 #0이 키 프레임에 해당된다.

또한, P-프레임들(211 ~ 218)은 나머지 프레임 데이터 각각을 직전의 프레임 데이터를 참조하면서 인터프레임 인코딩함으로써 생성된다. 예를 들면, P-프레임(217)은 자신의 프레임 데이터 #7에 대해 직전의 프레임 데이터 #6과의 차이(differential 또는 delta)를 구한 후에 그 차이를 인코딩하여 생성한다. 한편, 본 명세서에서는 인트라프레임 인코딩과 인터프레임 인코딩을 수행하는 구체적인 기술, 예컨대 허프만 코딩(Huffman coding)이나 모션벡터(motion vector) 등에 관한 구체적인 설명은 생략한다.

본 실시예에서는 P-프레임(217)을 랜덤액세스 가능하도록 만들기 위해 랜덤액세스 참조프레임(300)을 생성한다. 이를 위한 랜덤액세스 참조프레임(300)은 프레임 데이터 #7을 프레임 데이터 #0을 참조하면서 일반적인 P-프레임을 생성할 때와 마찬가지로 인터프레임 인코딩하여 생성한다. 개념적으로는 프레임 데이터 #7에 대해 프레임 데이터 #0과의 차이를 구한 후, 그 차이를 인코딩함으로써 랜덤액세스 참조프레임(300)을 얻는다.

[도 2]와 같이 동영상 데이터를 구성하면 원래부터 랜덤액세스 가능한 I-프레임(210) 뿐만 아니라 종래에는 랜덤액세스가 불가능하였던 P-프레임(217)에 대해서도 랜덤액세스가 가능해진다.

P-프레임(217)에 대하여 랜덤액세스 요구가 들어오면 종래기술에서와 같이 그와 관련된 일련의 P-프레임들(211 ~ 217)을 순차적으로 모두 디코딩할 필요 없이 단지 선행 최근접 I-프레임(210)과 랜덤액세스 참조프레임(300)을 디코딩함으로써 P-프레임(217)에 대한 이미지를 그 즉시 얻을 수 있다. 즉, 먼저 선행 최근접 I-프레임(210)에 대해 인트라프레임 디코딩을 수행한 후에 랜덤액세스 참조프레임(300)에 대해 I-프레임(210)을 참조하는 인터프레임 디코딩을 수행하면 프레임 데이터 #7을 얻을 수 있다. 프레임 데이터 #7을 재생하면 P-프레임(217)에 대한 화면 이미지를 표시할 수 있다.

동영상의 프레임 시퀀스 중에서 랜덤액세서블 P-프레임이 어디에 위치하든지 항상 2단계의 디코딩, 즉 인트라프레임 디코딩 한번과 인터프레임 디코딩 한번만 수행하면 되므로 일정한 응답시간을 보장할 수 있고, 그에 따라 해당 P-프레임에 대해 랜덤액세스가 가능해지는 것이다.

본 발명에 따르면 I-프레임을 배치하지 않고 P-프레임(217)과 랜덤액세스 참조프레임(300)의 조합으로도 동영상의 특정 지점에 대해 랜덤액세스를 제공할 수 있다. 랜덤액세스 참조프레임(300)은 형식적으로는 P-프레임의 형태를 가지고 있기 때문에 랜덤액세스 참조프레임(300)의 데이터 사이즈는 일반적인 P-프레임 하나 정도의 크기를 가지게 된다. P-프레임은 I-프레임에 비해 데이터 사이즈가 1/20 정도에 불과하다는 점을 감안하면 랜덤액세스를 위해 I-프레임 하나를 배치하는 종래기술에 비해 P-프레임 1개와 랜덤액세스 참조프레임 1개를 두는 본 발명이 스토리지 용량 면에 훨씬 유리하다.

일정 수준 이상의 랜덤액세스 성능을 제공하기 위해 종래기술에서는 0.5초 단위로 I-프레임을 배치하였으나 본 발명에 따르면 이처럼 빈번하게 I-프레임을 배치할 필요가 없다. 본 발명에서는 예컨대 1분이나 심지어 30분 단위로 I-프레임을 배치하면서 0.5초 단위로 랜덤액세스 참조프레임(300)을 배치하는 것으로도 유사한 랜덤액세스 성능을 제공할 수 있다. 게다가 랜덤액세스 성능을 예컨대 0.1초 단위로 향상시키려면 종래기술에서는 I-프레임의 빈도를 5배 증가시켜야 하기 때문에 스토리지의 부담이 컸던 반면, 본 발명에서는 대략 P-프레임 정도의 데이터 사이즈를 갖는 랜덤액세스 참조프레임(300)의 빈도만 5배 증가시키면 되기 때문에 스토리지 부담도 경미하다.

[도 4]는 본 발명에서 랜덤액세스 참조프레임(300)을 생성하는 다른 실시예를 개념적으로 나타내는 도면이다.

[도 3]과 [도 4]를 비교하면, [도 4]에서는 프레임 데이터 #6을 프레임 데이터 #0을 참조하면서 일반적인 P-프레임을 생성할 때와 마찬가지로 인터프레임 인코딩하여 랜덤액세스 참조프레임(300')을 생성한다. 반면, [도 3]의 실시예에서는 프레임 데이터 #7을 프레임 데이터 #0을 참조하면서 인터프레임 인코딩하여 랜덤액세스 참조프레임(300)을 생성하였다.

[도 4]에서와 같이 랜덤액세스 참조프레임(300')을 생성하여 제공하는 경우에는 랜덤액세서블 P-프레임(217)을 디코딩하는 과정이 [도 3]의 실시예에서와는 약간 달라져야 한다.

즉, P-프레임(217)에 대하여 랜덤액세스 요구가 들어오면 먼저 선행 최근접 I-프레임(210)에 대해 인트라프레임 디코딩을 수행한 후에 랜덤액세스 참조프레임(300)에 대해 선행 최근접 I-프레임(210)을 참조하는 인터프레임 디코딩을 수행하여 프레임 데이터 #6을 얻을 수 있다. 다시, P-프레임(217)에 대하여 P-프레임(216), 즉 프레임 데이터 #6을 참조하는 인터프레임 디코딩을 수행하면 프레임 데이터 #7을 얻을 수 있다. 프레임 데이터 #7을 재생하면 P-프레임(217)에 대한 화면 이미지를 표시할 수 있다.

[도 4]의 실시예에 따르면 동영상의 프레임 시퀀스에서 랜덤액세서블 P-프레임이 어디에 위치하든지 항상 3단계의 디코딩, 즉 인트라프레임 디코딩 한번과 인터프레임 디코딩 두번만 수행하면 랜덤액세서블 P-프레임을 디코딩하여 화면에 표시할 수 있다. 이처럼 일정한 응답시간을 보장할 수 있기 때문에 해당 P-프레임에 대해 랜덤액세스가 가능해지는 것이다.

이처럼 본 발명에서 랜덤액세스 참조프레임(300)은 랜덤액세스 기능을 제공하려고 하는 특정의 P-프레임, 즉 랜덤액세서블 P-프레임(217)에 대한 선행 최근접 I-프레임 및 랜덤액세서블 P-프레임으로부터 미리 설정한 이격스텝(n)에 해당하는 프레임 데이터로부터 인터프레임 인코딩하여 생성한다. [도 3]의 실시예는 이격스텝(n)의 값이 1로 설정된 경우이고 [도 4]의 실시예는 이격스텝(n)의 값이 2로 설정된 경우이다.

[도 5]는 본 발명에서 랜덤액세서블 P-프레임을 생성하는 프로세스를 나타내는 순서도이다. 동영상 데이터는 일반적으로 비압축된 상태인 일련의 프레임 데이터 #0 ~ #8로 이루어지는데, [도 5]는 동영상 인코더가 이들 프레임 데이터를 압축하여 I-프레임과 P-프레임의 시퀀스를 생성하면서 랜덤액세스를 제공하기 위하여 수행하는 과정에 관한 것이다.

단계 (S110) : 먼저, 동영상 인코더는 일련의 프레임 데이터 #0 ~ #8에 대하여 특정의 프레임 데이터 #0을 내부적으로 인트라프레임 인코딩하여 하나이상의 I-프레임(210)을 생성한다.

그리고 나서, 나머지 프레임 데이터 #1 ~ #8에 대해서는 각각 직전의 프레임 데이터를 참조하면서 인터프레임 인코딩하여 일련의 P-프레임(211 ~ 218)을 생성한다. 예를 들어, 프레임 데이터 #2는 직전의 프레임 데이터 #1을 참조하면서 인터프레임 인코딩하여 P-프레임(212)를 생성한다.

이러한 과정을 통하여 동영상 인코더는 일반적으로 비압축된 상태인 일련의 프레임 데이터 #0 ~ #8로부터 동영상 압축 상태인 I-프레임과 P-프레임의 시퀀스(210 ~ 218)를 생성한다.

단계 (S120) : 동영상 인코더는 동영상에서 랜덤액세서블 P-프레임으로 설정될 대상인 특정의 P-프레임(217)을 식별한다. 즉, 동영상을 구성하는 일련의 프레임 데이터 #0 ~ #8 중에서 랜덤액세스가 가능하도록 설정하려고 하는 P-프레임을 설정한다. 예를 들어 30 FPS의 동영상에서 0.3초마다 랜덤액세스가 가능하도록 하려면 9개의 프레임 단위로 랜덤액세서블 P-프레임이 설정된다. 앞서 살펴보았던 [도 2] 내지 [도 4]에서는 P-프레임(217)이 선택되어 랜덤액세서블 P-프레임으로 설정되었다.

단계 (S130 ~ S150) : [도 1]을 참조하여 전술한 바와 같이 P-프레임(217)은 종래기술에서는 랜덤액세스가 불가능하였다. 그에 따라, 본 발명에 따른 동영상 인코더는 랜덤액세서블 P-프레임으로 설정된 P-프레임(217)에 대해 랜덤액세스가 가능하도록 하기 위해 본 발명에 따라 특별히 구성된 랜덤액세스 참조프레임(300)을 생성하여 동영상에 포함시킨다.

먼저, 랜덤액세서블 P-프레임(217)에 대한 선행 최근접 I-프레임(210)을 식별한다. 이 선행 최근접 I-프레임(210)은 종래기술에서도 P-프레임(217)을 디코딩하기 위해 참조해야만 했던 I-프레임이다.

다음으로, 동영상 인코더는 랜덤액세서블 P-프레임(217)으로부터 미리 설정한 스텝 이내의 프레임 데이터를 레퍼런스 프레임 데이터로 식별한다. [도 3]의 실시예에서는 레퍼런스 프레임 데이터가 랜덤액세서블 P-프레임(217)의 프레임 데이터 #7로 설정되었으며, 이러한 구성이 나중에 랜덤액세스를 구현할 때에 가장 신속하게 처리할 수 있어 바람직하다. 또한, [도 4]의 실시예에서는 레퍼런스 프레임 데이터가 랜덤액세서블 P-프레임(217)의 바로 전 P-프레임(216)에 대한 프레임 데이터 #6로 설정되었다. 이렇게 구성하더라도 처리속도가 다소 늦어질 뿐 랜덤액세스가 불가능한 것은 아니다.

다음으로, 동영상 인코더는 최근접 I-프레임(210)의 프레임 데이터 #0을 참조하면서 레퍼런스 프레임 데이터(예: #7)를 인터프레임 인코딩함으로써 랜덤액세서블 P-프레임(217)을 위한 랜덤액세스 참조프레임(300)을 생성한다. 바람직하게는 일반적인 P-프레임을 생성할 때와 마찬가지 방식의 인터프레임 인코딩 기술이 채택된다.

단계 (S160) : 동영상 인코더는 이상과 같이 생성된 랜덤액세스 참조프레임(300)을 I-프레임(210) 및 일련의 P-프레임(211 ~ 218)과 같은 동영상 데이터와 섞이지 않도록 별도 채널을 통해 제공한다. 이는 본 발명이 적용되지 않은 동영상 디코딩 소프트웨어도 본 발명에 따라 생성된 동영상 데이터를 정상적으로 디코딩할 수 있도록 하기 위함이다. 랜덤액세스 참조프레임(300)의 데이터는 동영상 데이터 패킷의 헤더 영역 중에서 사용자 정의 영역(user defined field)에 저장하여 전달하는 것이 바람직하다. 또는, 메타정보 파일 등의 형태로 전달할 수도 있다.

[도 6]은 본 발명에서 랜덤액세서블 P-프레임을 이용하여 랜덤액세스를 구현하는 프로세스를 나타내는 순서도이다. [도 6]은 [도 5]를 참조하여 앞서 설명한 바에 따라 동영상 인코더가 생성한 동영상이 제공되었을 때 동영상 디코더가 이를 처리하여 랜덤액세스를 구현하는 과정이다. 즉, I-프레임(210)과 P-프레임(211 ~ 218)의 시퀀스로 이루어지는 동영상을 동영상 디코더가 처리하여 랜덤액세스를 제공하는 과정에 관한 것이다.

단계 (S210) : 먼저, 동영상 디코더는 일련의 P-프레임(211 ~ 218) 중의 미리 설정된 랜덤액세서블 P-프레임(217)에 대한 랜덤액세스를 식별한다. 바람직하게는 동영상 디코더 소프트웨어의 사용자 인터페이스(UI) 화면에서 사용자가 마우스 클릭 등의 조작을 통해 특정 지점에 대한 화면 재생을 요구하였고, 그에 따라 동영상 디코더가 요구 지점에 배치된 랜덤액세서블 P-프레임(217)을 랜덤액세스 해야하는 상황에 대응된다.

단계 (S220) : 동영상 디코더는 동영상으로부터 랜덤액세서블 P-프레임(217)을 위한 랜덤액세스 참조프레임(300)을 획득한다. 동영상 인코더가 랜덤액세서블 P-프레임(217)을 위한 랜덤액세스 참조프레임(300)을 생성하여 별도 채널, 바람직하게는 동영상에 대한 데이터 패킷의 헤더 영역에 속하는 사용자 정의 영역을 통해 제공하였기에, 동영상 디코더는 동영상으로부터 해당 랜덤액세스 참조프레임(300)을 획득할 수 있다.

단계 (S230, S240) : 동영상 디코더는 랜덤액세서블 P-프레임(217)에 대한 선행 최근접 I-프레임(210)을 식별하고, 인트라프레임 디코딩을 수행하여 프레임 데이터 #0을 획득한다.

단계 (S250) : 그리고 나서, 동영상 디코더는 랜덤액세스 참조프레임(300)에 대해 선행 최근접 I-프레임(210)의 프레임 데이터 #0을 참조하면서 인터프레임 디코딩을 수행하여 레퍼런스 프레임 데이터(예: #7)를 획득하는데, 이는 [도 5]에서 단계 (S150)에서 기술하였던 인터프레임 인코딩 과정을 원래대로 되돌리는 데이터 처리 과정에 해당한다.

단계 (S260) : 동영상 디코더는 레퍼런스 프레임 데이터(예: #7)로부터 랜덤액세서블 P-프레임(217)에 대한 화면 이미지를 획득한다.

[도 3]의 실시예에서는 단계 (S250)에서 획득되는 레퍼런스 프레임 데이터가 랜덤액세서블 P-프레임(217)의 프레임 데이터 #7이다. 따라서 [도 3]의 실시예에서는 단계 (S260)은 단계 (S250)에서 획득된 레퍼런스 프레임 데이터 #7을 재생하여 랜덤액세서블 P-프레임(217)에 대한 화면 이미지를 획득하는 과정으로 구성된다.

또한, [도 4]의 실시예에서는 단계 (S250)에서 획득되는 레퍼런스 프레임 데이터가 랜덤액세서블 P-프레임(217)의 바로 전 P-프레임(216)에 대한 프레임 데이터 #6이다. 따라서 [도 4]의 실시예에서는 단계 (S260)은 랜덤액세서블 P-프레임(217)에 대해 단계 (S250)에서 획득된 레퍼런스 프레임 데이터 #6을 참조하는 인터프레임 디코딩을 수행하여 프레임 데이터 #7을 얻은 후, 프레임 데이터 #7을 재생하여 랜덤액세서블 P-프레임(217)에 대한 화면 이미지를 획득하는 과정으로 구성된다.

한편, 본 발명은 컴퓨터가 읽을 수 있는 비휘발성 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현되는 것이 가능하다. 이러한 비휘발성 기록매체는 컴퓨터가 읽을 수 있는 데이터를 저장하는 모든 종류의 스토리지 장치를 포함하는데 예컨대 하드디스크, SSD, CD-ROM, NAS, 자기테이프, 웹디스크, 클라우드 디스크 등이 있고 네트워크로 연결된 다수의 스토리지 장치에 코드가 분산 저장되고 실행되는 형태로 구현될 수도 있다.

Claims (7)

1. 일련의 프레임 데이터(#0 ~ #8)를 포함하여 구성되는 동영상에 대해 랜덤액세스를 제공하기 위하여 동영상 인코더가 수행하는 방법으로서,
   상기 일련의 프레임 데이터 중에서 특정의 프레임 데이터(#0)를 인트라프레임 인코딩하여 하나이상의 I-프레임(210)을 생성하고 나머지 프레임 데이터를 각각 직전의 프레임 데이터를 참조하면서 인터프레임 인코딩하여 일련의 P-프레임(211 ~ 218)을 생성하는 제 1 단계;
   상기 동영상에서 랜덤액세서블 P-프레임으로 설정될 대상인 특정의 P-프레임(217)을 식별하는 제 2 단계;
   상기 랜덤액세서블 P-프레임(217)에 대한 선행 최근접 I-프레임(210)을 식별하는 제 3 단계;
   상기 랜덤액세서블 P-프레임(217)으로부터 미리 설정한 스텝 이내의 프레임 데이터를 레퍼런스 프레임 데이터로 식별하는 제 4 단계;
   상기 선행 최근접 I-프레임(210)의 프레임 데이터를 참조하면서 상기 레퍼런스 프레임 데이터를 인터프레임 인코딩하여 상기 랜덤액세서블 P-프레임(217)을 위한 랜덤액세스 참조프레임(300)을 생성하는 제 5 단계;
   상기 랜덤액세스 참조프레임(300)을 상기 I-프레임(210) 및 상기 일련의 P-프레임(211 ~ 218)을 전송하는 동영상 데이터 패킷의 헤더 영역에 속하는 사용자 정의 영역에 삽입하여 전송하는 제 6 단계;
   를 포함하여 구성되는 랜덤액세서블 P-프레임에 기초한 동영상 랜덤액세스 처리 방법.
   
2. 청구항 1에 있어서,
   상기 제 4 단계에서 상기 레퍼런스 프레임 데이터는 상기 랜덤액세서블 P-프레임(217)에 대한 직전 프레임의 프레임 데이터(#6)로 설정되는 것을 특징으로 하는 랜덤액세서블 P-프레임에 기초한 동영상 랜덤액세스 처리 방법.
   
3. 청구항 1에 있어서,
   상기 제 4 단계에서 상기 레퍼런스 프레임 데이터는 상기 랜덤액세서블 P-프레임(217)의 프레임 데이터(#7)로 설정되는 것을 특징으로 하는 랜덤액세서블 P-프레임에 기초한 동영상 랜덤액세스 처리 방법.
   
4. 하나이상의 I-프레임(210)과 일련의 P-프레임(211 ~ 218)을 포함하여 구성되는 동영상에 대해 랜덤액세스를 제공하기 위하여 동영상 디코더가 수행하는 방법으로서,
   상기 일련의 P-프레임(211 ~ 218) 중의 미리 설정된 랜덤액세서블 P-프레임(217)에 대한 랜덤액세스를 식별하는 제 1 단계;
   상기 동영상에 대한 데이터 패킷의 헤더 영역에 속하는 사용자 정의 영역으로부터 상기 랜덤액세서블 P-프레임(217)을 위한 랜덤액세스 참조프레임(300)을 획득하는 제 2 단계;
   상기 랜덤액세서블 P-프레임(217)에 대한 선행 최근접 I-프레임(210)을 식별하는 제 3 단계;
   상기 선행 최근접 I-프레임(210)에 대해 인트라프레임 디코딩을 수행하여 프레임 데이터(#0)를 획득하는 제 4 단계;
   상기 랜덤액세스 참조프레임(300)에 대해 상기 선행 최근접 I-프레임(210)의 프레임 데이터(#0)를 참조하면서 인터프레임 디코딩을 수행하여 레퍼런스 프레임 데이터를 획득하는 제 5 단계;
   상기 레퍼런스 프레임 데이터에 기초하여 상기 랜덤액세서블 P-프레임(217)에 대한 화면 이미지를 획득하는 제 6 단계;
   를 포함하여 구성되는 랜덤액세서블 P-프레임에 기초한 동영상 랜덤액세스 처리 방법.
   
5. 청구항 4에 있어서,
   상기 제 6 단계는,
   상기 랜덤액세서블 P-프레임(217)에 대해 상기 레퍼런스 프레임 데이터를 참조하면서 인터프레임 디코딩을 수행하여 프레임 데이터(#7)를 획득하는 단계;
   상기 프레임 데이터(#7)를 재생하여 상기 랜덤액세서블 P-프레임(217)에 대한 화면 이미지를 획득하는 단계;
   를 포함하여 구성되는 것을 특징으로 하는 랜덤액세서블 P-프레임에 기초한 동영상 랜덤액세스 처리 방법.
   
6. 청구항 4에 있어서,
   상기 제 6 단계는 상기 레퍼런스 프레임 데이터를 재생하여 상기 랜덤액세서블 P-프레임(217)에 대한 화면 이미지를 획득하는 단계를 포함하여 구성되는 것을 특징으로 하는 랜덤액세서블 P-프레임에 기초한 동영상 랜덤액세스 처리 방법.
   
7. 컴퓨터에 청구항 1 내지 6 중 어느 하나의 항에 따른 랜덤액세서블 P-프레임에 기초한 동영상 랜덤액세스 처리 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 비휘발성 기록매체.

Images