KR100557858B1

KR100557858B1 - 엠펙 동영상에서의 주요 정지 영상 추출 장치 및 방법

Info

Publication number: KR100557858B1
Application number: KR1020030067176A
Authority: KR
Inventors: 정동석; 김태희
Original assignee: 학교법인 인하학원
Priority date: 2003-09-27
Filing date: 2003-09-27
Publication date: 2006-03-10
Also published as: WO2005032132A1; US20070036518A1; KR20050031013A; US7747130B2

Abstract

본 발명은 엠펙 동영상에서의 주요 정지 영상 추출 장치 및 방법에 관한 것으로, 동영상의 인트라 프렘임 간의 거리를 계산하여 비디오 곡선을 추출하는 비디오 곡선 생성부; 상기 비디오 곡선을 소정 개수로 분할하는 비디오 곡선 분할부; 상기 분할된 비디오 곡선의 소정 지점에 해당하는 비디오 영상을 주요 정지 영상으로 선택하는 적어도 하나 이상의 정지 영상 생성부; 및 상기 선택된 정지 영상을 보여주는 비디오 출력부를 포함한다. 따라서, 본 발명은 동영상을 사용자에게 고속으로 주요 정지 영상으로 요약하여 제공할 수 있다.

정지 영상, 인트라 프레임, 비디오 곡선

Description

엠펙 동영상에서의 주요 정지 영상 추출 장치 및 방법{Apparatus and method for extracting the representative still images from MPEG video}

도 1은 본 발명의 실시 예에 따른 엠펙 동영상에서의 주요 정지 영상 추출 장치의 구성도.

도 2는 도 1에 도시된 비디오 곡선 생성부의 상세도.

도 3a는 본 발명의 실시 예에 따른 비디오 곡선의 분할의 예를 도시한 도.

도 3b는 본 발명의 실시 예에 따른 비디오 곡선의 근사 직선, 근사 접점을 나타낸 도.

도 4는 본 발명의 실시 예에 따라 출력한 정지 영상의 예를 나타내는 도.

도 5는 본 발명의 실시 예에 따른 엠펙 동영상에서의 주요 정지 영상 추출 방법의 흐름도.

본 발명은 엠펙 동영상의 주요 정지 영상 추출 장치 및 방법에 관한 것으로, 특히 엠펙 1 또는 엠펙 2 동영상으로부터 주요 정지 영상을 추출하여 사용자에게 고속으로 제공할 수 있는 엠펙 동영상에서의 주요 정지 영상 추출 장치 및 방법에 관한 것이다.

최근의 발달된 디지털 기술로 인해 이전보다 고품질의 동영상이나 음악 등의 멀티미디어 데이터를 보다 쉽고 빠르게 생성할 수 있게 되었다. 이러한 멀티미디어 데이터들은 일반적으로 그 저장 용량과 재생 시의 길이가 상당히 큰 특징을 갖는다. 그래서 이러한 데이터를 효율적으로 저장, 검색, 열람하기 위해서는 많은 기술이 필요하게 되었고 이와 관련한 많은 연구와 노력이 이뤄져 오고 있다. 그 결과로 엠펙 1, 2와 같은 압축 국제표준을 통해 그 용량을 상당히 줄일 수 있게 되었고, 효율적으로 멀티미디어 데이터를 열람 및 검색할 수 있게 하는 엠펙 7과 같은 연구가 진행되고 있다.

특히 긴 재생 시간의 동영상을 빠르게 열람할 수 있게 하는 기술을 ‘비디오 초록(Video Abstract)'이라고 하는데, 정지 영상들로 구성된 경우를 '비디오 요약(Video Summary)'이라고 하고, 동영상 및 관련 오디오 정보를 포함한 유형의 동영상 초록을 ‘비디오 스키밍(Video Skimming)'이라고 한다.

비디오 요약은 정지 영상만을 사용하므로 비디오 스키밍에 비해 상당히 빠르게 생성이 가능하다는 특징이 있다. 반면에 비디오 스키밍은 음성, 문자 등의 정보를 같이 이용하여 사용자에게 보다 자연스러운 화면을 제공할 수 있다는 특징을 갖는다.

비디오 요약은 영상의 내용을 아주 잘 표현하는 대표적인 주요 정지 영상들의 집합으로 볼 수 있으며 결국 주요 정지 영상을 어떻게 선정하느냐에 따라 그 방법이 다시 세분된다.

주요 정지 영상을 일정 시간 간격마다 추출하는 방법은 일반적으로 주요 정지 영상들이 시간적으로 균일한 간격으로 분포하지는 않으므로 주요 정지 영상을 놓치기 쉬운 단점이 있다.

동영상의 각 샷(Shot) 마다 하나의 정지 영상을 추출하는 방법은 주요 정지 장면의 개수와 그 시간적 분포가 샷의 개수와 시간적 분포에 의해 결정되는 단점이 있다. 즉, 샷에 따라서 지나치게 많은 정지 영상이 선택될 수도 있고 또는 지나치게 적게 선택될 수도 있다.
이와 같이 동영상에서 여러 특징 값을 추출하고 이 특징 공간상에서 비선형적으로 주요 정지 영상을 추출하는 종래의 방법은 계산 시간이 길거나 동영상의 내용 변화의 양에 따라 계산 속도가 불균일한 특징이 있다.

상기한 바와 같이 종래의 기술들은 사용자에게 고속으로 비디오 요약을 발생시켜주기에는 처리 시간이 길거나 처리 시간의 예측이 어려운 문제점을 가지고 있다.

따라서 본 발명이 이루고자 하는 기술적 과제는 엠펙 동영상으로부터 비디오 요약의 생성을 위한 주요 정지 영상의 추출시 사용자가 원하는 화면 개수 만큼의 주요 정지 영상을 고속으로 그리고 예측 가능한 속도로 제공할 수 있도록 하는 엠펙 동영상에서의 주요 정지 영상 추출 장치 및 방법을 제공하는데 있다.

상기 기술적 과제를 달성하기 위하여 본 발명에 의한 엠펙 동영상에서의 주요 정지 영상 추출 장치는, 입력되는 동영상의 전체 인트라 프레임에 대하여 이웃하는 두 프레임간 거리를 계산하여 이들의 누적형 곡선인 비디오 곡선을 생성하는 비디오 곡선 생성부; 상기 생성된 비디오 곡선을 원하는 수(n : n은 자연수)로 분할하기 위한 사용자 요구사항 입력부; 상기 사용자 요구사항 입력부로부터의 입력에 따라 상기 비디오 곡선을 소정 개수로 분할하는 비디오 곡선 분할부; 상기 분할된 비디오 곡선의 n(n은 자연수)차 근사 접점에 해당하는 비디오 영상을 n번째 정지 영상으로 선택하되, 상기 추출된 비디오 곡선에 대한 n개의 근사 직선을 구하고 구해진 근사 직선과 거리가 가장 먼 비디오 곡선상의 지점을 해당 근사 접점으로 추출하여 이 근사 접점에 해당하는 비디오 영상을 주요 정지 영상으로 선택하는 정지 영상 생성부; 및 상기 정지 영상 생성부에서 선택된 정지 영상을 출력하는 비디오 출력부;를 포함하는 것을 특징으로 한다.
상기 기술적 과제를 달성하기 위하여 본 발명에 의한 엠펙 동영상에서의 주요 정지 영상 추출 방법은, 입력되는 동영상의 전체 인트라 프레임에 대하여 이웃하는 두 프레임간 거리를 계산하여 이들의 누적형 곡선인 비디오 곡선을 생성하는 단계; 상기 생성된 비디오 곡선을 소정 개수로 분할하는 단계; 상기 분할된 비디오 곡선의 n(n은 자연수)차 근사 접점에 해당하는 비디오 영상을 n번째 정지 영상으로 선택하되, 상기 추출된 비디오 곡선에 대한 n개의 근사 직선을 구하고 구해진 근사 직선과 거리가 가장 먼 비디오 곡선상의 지점을 해당 근사 접점으로 추출하여 이 근사 접점에 해당하는 비디오 영상을 주요 정지 영상으로 선택하는 단계; 및 상기 선택된 주요 정지 영상 중 전부 또는 일부를 출력하는 단계;를 포함하는 것을 특징으로 한다.

삭제

도 1은 본 발명의 실시예에 따른 엠펙 동영상에서의 주요 정지 영상 추출 장치의 구성도이다.

상기 도 1을 참조하여 본 발명의 실시예를 살펴보면 다음과 같다.

본 발명의 주요 정지 영상 추출 장치는 엠펙 1 또는 엠펙 2 동영상으로부터 비디오 곡선을 구하는 비디오 곡선 생성부(100), 비디오 곡선을 n(n은 자연수)개로 분할하는 비디오 곡선 분할부(200), 분할된 비디오 곡선의 n차 근사 접점에 해당하는 비디오 장면을 n번째 정지 영상으로 선택하는 정지 영상 생성부(300), 선택된 n개의 정지 영상을 보여주는 비디오 출력부(400)를 포함한다.

비디오 곡선 생성부(비디오 곡선 추출 장치)(100)는 엠펙 1 또는 엠펙 2 동영상으로부터 동영상 비디오 곡선을 추출한다.

비디오 곡선 분할부(200)는 비디오 곡선이 추출되고 나면 사용자 요구사항 입력부(210)를 통해 사용자로부터 원하는 주요 정지 영상의 개수를 입력 받아 그 개수 만큼 비디오 곡선을 분할한다.

정지 영상 생성부(300)는 분할된 비디오 곡선의 n차 근사 접점에 해당하는 장면을 주요 정지 영상으로 선택한다. 주요 정지 영상의 개수는 n개 이내의 임의의 개수가 될 수 있다.

비디오 출력부(400)는 정지 영상 생성부에서 선택된 정지 영상들을 사용자 에게 보여준다.

도 2는 도 1에 도시된 비디오 곡선 생성부(100)의 상세도이다.

도 2를 참조하면, 비디오 곡선 생성부(비디오 곡선 추출 장치)(100)는 인트라 프레임 선택부(110), Y픽춰 선택부(120), 누적 DC히스토그램 생성부(130), 프레임 거리 생성부(140), 프레임 거리 누적 히스토그램 생성부(150)를 포함한다.

인트라 프레임 선택부(110)는 입력되는 엠펙 동영상에서 엠펙 동영상의 인트라 프레임(intra frame) 들만을 선택한다.

Y픽춰 선택부(120)는 선택된 인트라 프레임에서 Y 픽춰의 이산여현변환(DCT; Discrete Cosine Transform) 계수들 중 DC(Direct Current) 계수만을 선택한다.

누적 DC히스토그램 생성부(130)는 선택된 직류 계수에 대한 누적 히스토그램을 추출한다. 누적 DC 히스토그램 생성부(130)에서 DC 히스토그램은 영상에서 각 화소의 DC 값의 돗수 분포를 의미한다. n 번째 돗수 값(즉, DC 히스토그램 값)을 H_DC(n)라고 할때 누적 DC 히스토그램 cH_DC(n)은 H_DC(n-1)과 H_DC(n)의 값으로 결정된다.

프레임 거리 생성부(140)는 이 누적 히스토그램과 인접한 누적 히스토그램 간의 최대 거리를 계산하여 인접한 두 프레임 간 거리로 결정한다. 프레임 거리 생성부(140)에서 프레임 거리란 이웃하는 정지 화면 각각의 누적 DC 히스토그램들을 cH_DC(n-1), cH_DC(n) 라고 할때 두 히스토그램 간의 각 돗수별 Y 축 값의 차이를 계산하여 가장 차이가 큰 값을 의미한다.

프레임 거리 누적 히스토그램 생성부(150)는 선택된 전체 인트라 프레임들에 대하여 상기 각부(120-140)를 통해 각각의 프레임 간 거리가 계산되면 이로부터 누적형 곡선을 구한다. 이 곡선을 ‘비디오 곡선’이라 한다. 프레임 거리 누적 히스토그램 생성부(150)에서 프레임 거리 누적 히스토그램은 계산된 프레임 거리 값을 누적 DC 히스토그램 생성부(130)에서와 같은 방법으로 누적 시켜 얻어진다.

도 3a는 본 발명의 실시예에 따른 비디오 곡선의 분할의 예를 도시한 도이다.

도 3a를 참조하면, 상기한 비디오 곡선의 X 축은 동영상의 시간 축에 대응하고 Y 축은 누적된 프레임간 거리에 대응된다.

비디오 곡선에서 곡선 상의 각 지점에서의 기울기는 프레임 간 내용의 변화량에 비례하는 특성을 갖는다. 즉 기울기가 큰 곡선 구간은 동영상의 화면에서 시각적으로 변화가 심한 경우를 나타낸다. 또한 기울기가 작은 구간은 동영상의 화면에서 시각적 변화가 매우 작은 경우를 나타낸다.

비디오 곡선 분할부(200)에서는 상기와 같은 방법으로 구한 비디오 곡선에 대하여 n(n은 자연수)개로 분할한다. 또한 사용자로부터 원하는 주요 정지 영상의 개수 n을 입력받아 n개의 구간으로 분할할 수 있다.

분할 시에 분할된 각 구간에 대해서 비디오 곡선 상의 두 끝점을 이은 직선을 ‘근사 직선’이라 한다. 그리고‘비디오 곡선을 n개의 부분으로 분할하는 것’은 ‘n개의 근사 직선으로 비디오 곡선을 근사한다고 가정한다. 분할 방법은 근사접점을 구하는 것과 밀접한 관련이 있으므로 하기에서 근사 접점과 함께 설명한다.

도 3b는 본 발명의 실시예에 따른 비디오 곡선의 근사직선, 근사접점을 도시한 도면이다.

하기의 설명에 있어서, 곡선의 시작점과 종료점을 연결한 직선을 1차 근사 직선이라 한다. 도 3b에서 1차 근사직선은 좌측 최 하단의 곡선 시작점과 우측 최상단의 곡선 지점을 연결한 직선이 된다. 1차 근사 직선과 가장 거리가 먼 곡선 상의 지점을 1차 근사 접점이라 한다. 이러한 1차 근사 접점에 해당하는 비디오 장면을 ‘1번째 주요 정지 영상’이라 한다. 2차 근사 직선은 1차 근사 접점을 기준으로 양쪽 두 직선이 되며 따라서 2차 근사 직선은 두 개가 된다. 그리고 비디오 곡선은 2개로 분할된다. 2차 근사 접점은 두 2차 근사 직선과 곡선과의 거리가 가장 긴 지점이 된다. 이러한 2차 근사 접점에 해당하는 비디오 장면을 ‘2번째 주요 정지 영상’이라 한다. 도 3b에서 2차 근사 직선과 2차 근사 접점(d2), 3차 근사 직선과 3차 근사 접점(d3)의 예를 보이고 있다.

이러한 방식으로 비디오 곡선을 n개로 분할하며, n차 근사 직선, n차 근사 접점, n번째 주요 정지 영상을 구한다.

사용자가 원하는 주요 정지 영상의 수만큼 각 근사직선과 동영상의 비디오 곡선의 Y축 값과의 차이의 최대값을 상기와 같은 방법으로 찾아 최종적으로 n 개의 주요 정지 영상을 찾는다.

본 발명의 실시예에 따른 비디오 곡선은 기울기가 항상 '0’보다 큰 상승곡선이다. 상승 곡선의 경우 근사 직선과의 거리를 Y 축 값의 차이로 간단히 계산할 수 있다.

또한 본 발명은 근사 직선과 비디오 곡선과의 거리를 구하기 위해 스캔해야 하는 경로가 곡선의 기울기 변화 정도에는 상관없고, 동영상의 재생시간, 즉 인트라 프레임의 개수에만 비례하는 특성을 갖는다. 즉, 스캔이 거듭되더라도 스캔 경로는 항상 일정하게 유지되어 n개의 직선으로 근사될 때까지 스캔하게 되는 전체 스캔 경로는 비디오 곡선의 기울기 변화와 무관하고 n과 X 축의 길이에만 비례하여 선형적으로 증가한다.

비디오 출력부(300)에서는 상기와 같은 과정으로 구한 정지 영상을 출력한 다.

도 4는 본 발명의 실시예에 따라 출력한 정지 영상의 예를 나타내는 도이다.

도 5는 본 발명의 실시예에 따른 비디오 정지 영상 추출 방법의 흐름도이다

도 5를 참조하면, 동영상에서 비디오 정지 영상을 추출하는 방법은 510단계에서 엠펙 동영상에서 인트라 프레임을 선택한다. 520단계에서 상기 선택된 인트라 프레임에서 Y 픽춰의 이산여현변환 계수들 중 직류 계수만을 선택한다. 530단계에서 상기 직류 계수에 대한 누적 히스토그램을 추출한다. 540단계에서 인접한 2개의 상기 누적 히스토그램 간의 최대 거리를 계산하여 이를 2개의 인트라 프레임간 거리로 결정한다. 550단계에서 상기 프레임간 거리를 계산하여 비디오 곡선(누적형 곡선)을 구한다. 560단계에서 상기 비디오 곡선을 n(n은 자연수)개로 분할한다. 570단계에서 상기 분할된 비디오 곡선의 n(n은 자연수)차 근사 접점에 해당하는 비디오 장면을 n번째 정지 영상으로 선택한다. 580단계에서 상기 선택된 n개의 정지 영상을 보여준다. 정지 영상중 필요에 따라 n개 전부 또는 일부를 선택하여 보여 줄 수 있다.

위에서 510단계에서 550단계까지는 동영상에서 비디오 곡선 추출 방법의 단계가 된다.

이상에서 기술한 바와 같이, 본 발명에 따르면 동영상, 바람직하게는 엠펙 1또는 엠펙 2 동영상으로부터 사용자에게 고속으로 비디오 요약을 생성, 제공할 수 있다.

또 사용자가 원하는 분량만큼의 주요 정지 영상을 제공할 수 있다.

또한 처리시간이 동영상의 내용 변화에 무관하고 비디오의 재생 시간과 사용자가 원하는 정지 영상의 개수에만 비례하므로 비디오 요약에 걸리는 대기 시간의 예측이 가능하다.

Claims

입력되는 동영상의 전체 인트라 프레임에 대하여 이웃하는 두 프레임간 거리를 계산하여 이들의 누적형 곡선인 비디오 곡선을 생성하는 비디오 곡선 생성부;

상기 생성된 비디오 곡선을 원하는 수(n : n은 자연수)로 분할하기 위한 사용자 요구사항 입력부;

상기 사용자 요구사항 입력부로부터의 입력에 따라 상기 비디오 곡선을 소정 개수로 분할하는 비디오 곡선 분할부;

상기 분할된 비디오 곡선의 n(n은 자연수)차 근사 접점에 해당하는 비디오 영상을 n번째 정지 영상으로 선택하되, 상기 추출된 비디오 곡선에 대한 n개의 근사 직선을 구하고 구해진 근사 직선과 거리가 가장 먼 비디오 곡선상의 지점을 해당 근사 접점으로 추출하여 이 근사 접점에 해당하는 비디오 영상을 주요 정지 영상으로 선택하는 정지 영상 생성부; 및

상기 정지 영상 생성부에서 선택된 정지 영상을 출력하는 비디오 출력부;를 포함하는 것을 특징으로 하는 엠펙 동영상에서의 주요 정지 영상 추출 장치.
삭제
제 1 항에 있어서, 상기 비디오 곡선 생성부는

입력되는 동영상의 인트라 프레임을 선택하는 인트라 프레임 선택부;

상기 선택된 인트라 프레임에서 각각 Y픽춰의 이산여현변환 계수들 중 직류 계수만을 선택하는 적어도 하나 이상의 Y픽춰 선택부;

상기 직류 계수에 대한 누적 히스토그램을 추출하는 적어도 하나 이상의 누적 DC 히스토그램 생성부;

인접하는 인트라 프레임에 대한 누적 히스토그램 간의 최대 거리를 계산하여 이를 이웃하는 두 프레임간 거리로 결정하는 적어도 하나 이상의 프레임 거리 생성부; 및

상기 선택된 전체 인트라 프레임에 대하여 상기 Y픽춰 선택부, 누적 DC 히스토그램 생성부 및 프레임 거리 생성부를 통해 각각의 이웃하는 프레임 간 거리가 계산되면 이로부터 누적형 곡선인 상기 비디오 곡선을 구하는 프레임 거리 누적 히스토그램 생성부를 포함하는 것을 특징으로 하는 엠펙 동영상에서의 주요 정지 영상 추출 장치.
입력되는 동영상의 전체 인트라 프레임에 대하여 이웃하는 두 프레임간 거리를 계산하여 이들의 누적형 곡선인 비디오 곡선을 생성하는 단계;

상기 생성된 비디오 곡선을 소정 개수로 분할하는 단계;

상기 분할된 비디오 곡선의 n(n은 자연수)차 근사 접점에 해당하는 비디오 영상을 n번째 정지 영상으로 선택하되, 상기 추출된 비디오 곡선에 대한 n개의 근사 직선을 구하고 구해진 근사 직선과 거리가 가장 먼 비디오 곡선상의 지점을 해당 근사 접점으로 추출하여 이 근사 접점에 해당하는 비디오 영상을 주요 정지 영상으로 선택하는 단계; 및

상기 선택된 주요 정지 영상 중 전부 또는 일부를 출력하는 단계;를 포함하는 것을 특징으로 하는 엠펙 동영상에서의 주요 정지 영상 추출 방법.
제 4 항에 있어서, 상기 비디오 곡선을 생성하는 단계는

입력되는 동영상의 인트라 프레임을 선택하는 단계;

상기 선택된 인트라 프레임에서 Y픽춰의 이산여현변환 계수들 중 직류 계수만을 선택하는 단계;

상기 직류 계수에 대한 누적 히스토그램을 추출하는 단계;

인접하는 인트라 프레임에 대한 누적 히스토그램 간의 최대 거리를 계산하여 이를 이웃하는 두 프레임 간의 거리로 결정하는 단계; 및

상기 선택된 전체 인트라 프레임에 대하여 각각의 이웃하는 두 프레임간 거리가 계산되면 이들의 누적형 곡선인 상기 비디오 곡선을 구하는 단계를 포함함을 특징으로 하는 엠펙 동영상에서의 주요 정지 영상 추출 방법.