KR100303727B1 - 동영상의적응적디스플레이속도자동조절장치와방법 - Google Patents

Abstract

본 발명은 동영상의 적응적 디스플레이 속도 자동조절에 관한 것이다.

종래에 동영상의 재생속도를 빠르게(Fast) 또는 느리게(Slow) 등으로 변속재생시키면 가변 불가능한 고정된 속도로 빠른 속도 또는 느린속도로 재생하므로 다음과 같은 문제가 있다. 빠르게 재생시킬 때는 장면전환이 느린 영상의 경우 빠른 속도로 재생하여도 장면전환이 지루하게 진행하여 재생의 목적(장면장면의 동적인 시청)이 희석되고, 반대로 장면전환이 빠른 영상의 경우 장면전환이 기대했던 빠르기에 비해 너무빨리 진행하여 탐색을 어렵게 한다. 느리게 재생시킬때는 움직임이 빠른 영상의 경우 느린속도로 재생하여도 장면전환이 고속진행하여 느린재생의 목적(장면장면의 세밀한 시청)이 희석되고, 반대로 정지영상과 같이 움직임이 거의없는 영상의 경우에는 움직임이 없는 지루한 진행을 오랬동안 지켜봐야 한다.

본 발명은 가변속 구간내에서의 영상 변화율에 따라 가변속 정도를 적응적으로 달리하는 동영상의 적응적 속도 자동조절 장치와 방법으로서, 빠르게의 경우는 컷과 컷 사이의 프레임수에 따라서 재생속도를 그 빠르게 실행구간내에서 달리하고, 느리게의 경우는 차영상을 검출하여 영상의 움직임 변화율에 따라서 재생속도를 느리게 실행구간내에서 달리함으로써, 영상의 동적 특성에 따라서 그 변속재생구간내에서의 속도가 인간의 시각특성에 적합하게 적응적으로 변하도록 하였다.

Description

동영상의 적응적 디스플레이 속도 자동조절 장치와 방법{ADAPTIVE DISPLAY SPEED CONTROL SYSTEM}

본 발명은 디지털 압축된 데이터가 저장된 수단으로부터 이를 재생하여 디스플레이할 때 그 동영상의 동적 특성에 따라 적응적으로 디스플레이 속도를 자동조절하는 장치와 그 방법에 관한 것으로서, 특히 동영상의 재생 변속모드(Fast/Slow)의 변속 구간내에서 변속 진행중의 영상 변화율에 따라 가변속 정도를 적응적(Adaptive)으로 달리하는 동영상의 적응적 디스플레이 속도 자동조절 장치와 방법에 관한 것이다.

종래에 동영상의 변속모드에서는 그 변속 속도가 변속진행중의 전구간에 걸쳐서 일정한 같은 속도로 고정되어 있다.

그러나 이러한 가변속 기술로는 바르게(Fast) 또는 느리게(Slow) 재생을 수행할 경우에 시청자의 시각적 특성을 만족하지 못한다.

예를 들어 빠르게재생의 경우 시간에 따른 화면의 변화가 심한장면에서는 사용자가 그 장면을 인식하기 어려울 정도로 화면이 전환되고, 화면의 변화가 느린장면에서는 오히려 빠르게 디스플레이되는 느낌을 갖지 못하게 된다.

또한, 느리게재생의 경우에는 시간에 따른 화면의 변화가 심한장면에서는 사용자가 그 장면을 느리게 인식하기를 원하였음에도 불구하고 빠르게 지나가는 경우가 많고, 반대로 화면의 변화가 느린 장면에서는 더욱 느리게 화면이 전환되므로 지루한 느낌을 갖게된다.

그런데, 통상 빠르게 보기가 고속탐색을 목적으로 수행된다면 느리게 보기는 특정 모션을 보다 세밀하게 살펴보기 위한 목적으로 수행되므로, 실제로 사용자의 시감각적인 관점에서 고려해볼 때, 모션의 변화가 심한 곳에서는 다소 느리게 장면이 전환되기를 기대할 것이고, 모션의 변화가 느린 곳에서는 다소 빠르게 장면이 전환되기를 기대할 것이다.

그러나, 종래의 고정 불변적인 변속재생(Fast/Slow)에서는 이러한 사용자의 요구에 부응할 수 없다.

즉, 종래에 동영상의 재생속도를 빠르게(Fast) 또는 느리게(Slow) 등으로 변속재생시키면 가변 불가능한 고정된 속도로 빠른 속도 또는 느린속도로 재생하므로 다음과 같은 문제가 있다.

빠르게 재생시킬 때는 장면전환이 느린 영상의 경우 빠른속도로 재생하여도 장면전환이 지루하게 진행하여 재생의 목적(장면장면의 동적인 시청)이 희석되고, 반대로 장면전환이 빠른 영상의 경우 장면전환이 기대했던 빠르기에 비해 너무빨리진행하여 탐색을 어렵게 한다. 느리게 재생시킬때는 움직임이 빠른 영상의 경우 느린 속도로 재생하여도 장면전환이 고속진행하여 느린재생의 목적(장면정면의 세밀한 시청)이 희석되고, 반대로 정지영상과 같이 움직임이 거의없는 영상의 경우에는 움직임이 없는 지루한 진행을 오랬동안 지켜봐야 한다.

본 발명은 가변속 구간내에서의 영상 변화율에 따라 가변속 정도를 적응적으로 달리하는 동영상의 적응적 속도 자동조절 장치와 방법으로서, 빠르게의 경우는 컷과 컷 사이의 프레임수에 따라서 재생속도를 그 빠르게 실행구간내에서 달리하고, 느리게의 경우는 차영상을 검출하여 영상의 움직임 변화율에 따라서 재생속도를 그 느리게 실행구간내에서 달리함으로써, 영상의 동적 특성에 따라서 그 변속재생구간내에서의 속도가 인간의 시각특성에 적합하게 적응적으로 변하도록 한 동영상의 적응적 속도 자동조절 장치와 방법을 제공한다.

도1은 본 발명의 동영상 자동 속도조절 장치의 블록도

도2는 본 발명의 동영상 자동 속도조절 방법의 플로우차트

도1은 본 발명의 일실시예로서 동영상의 적응적 속도 자동조절 장치의 블록구성도이고, 도2는 동영상의 적응적 속도 자동조절 방법의 일실시예의 플로우차트이다.

도1에 도시한 바와같이 본 발명의 동영상의 적응적 속도 자동조절장치는, 디지털 동영상 파일(101)에서 변속구간중의 변속재생속도 제어를 위한 동영상 변화정도를 검출하는 속도조절정보 검출모듈(102)로서; 동영상에서 컷을 추출하고 컷과 컷사이의 프레임수를 계산하는 컷검출모듈(102a)과, 동영상에서 프레임 사이의 차분영상을 구하여 저장하는 차영상 검출모듈(102b)을 가지며, 상기 컷검출모듈(102a) 및 차영상 검출모듈(102b)의 검출정보를 포함하는 변속용 동영상 데이터를 저장하는 제 1저장모듈(103) 및 정속용 동영상 데이터를 저장하는 제2저장모듈(104)과; 상기 컷 사이의 프레임수와 프레임 사이의 차분영상으로부터 영상의 변화정도를 판단하여 변속구간중의 디스플레이속도를 순시적으로 가감제어하는 디스플레이모듈(105);을 포함하여 이루어짐을 특징으로 한다.

상기의 컷검출모듈(102a)에서는 장면전환의 판정을 위한 컷의 검출, 검출된 컷의 인덱싱, 컷과 컷 사이의 거리(프레임수)정보를 추출하여 저장한다.

상기의 차영상 검출모듈(102b)에서는 각 프레임마다 다음 프레임간의 차영상을 검출하여, 모션(영상 움직임)의 변화율 정도를 저장한다.

상기의 디스플레이모듈(105)에서는 빠르게 보기를 원할 경우 상기 추출된 컷과 컷 사이의 거리(프레임수)를 통해서 속도를 조절할 수 있는 컷 사이 거리와 속도와의 관계 알고리즘을 갖고, 느리게 보기를 원할 경우 상기 검출된 모션 변화율과 속도와의 관계 알고리즘을 가진다.

도2는 상기한 본 발명의 동영상의 적응적 속도 자동조절 방법의 수순을 나타낸다.

단계(201)는 도1에서 동영상파일(101)을 읽어들이는 단계이다.

단계(202)는 도1에서 컷검출모듈(102a)의 실행단계이며, 단계(203)는 도1에서 차영상 검출모듈(102b)의 실행단계이다.

컷검출과 차영상 검출은 동시에 이루어지며, 검출된 정보들은 동영상 파일과함께 저장되는데, 이 것은 도에서 제1저장모듈(103) 및 제2저장모듈(104)에 대응한다.

먼저, 컷검출단계(202)부터 설명하면 다음과 같다.

동영상의 장면(Sense)과 장면 사이를 구분짓는 요소로서 영상에서의 장소, 배경 등이 바뀌는 것처럼 화면이 급격하게 바뀔 때 정의되는 컷(Cut)을 검출하고, 검출된 컷이 인덱싱, 연속된 컷과 컷 사이의프레임수(거리정보)를 계산하여 그 정보를 동영상파일과 함계 저장한다(단계 204).

컷을 검출하고 또 컷 사이의 프레임수를 구하는 방법(알고리즘)은 이미 알려진 것을 사용해도 무방하다.

예를들면, 먼저, 컷에 해당하는 프레임을 구하는데 이 것은 연속된 두 프레임 사이의 칼라 히스토그램의 차이가 임계치 이상일 때 이 장면을 컷으로 간주하는 것이다.

다음에, 컷과 컷 사이의 거리 즉, 연속하는 두 컷 사이의 거리정보(프레임수)는 상기 검출된 두 컷사이에 들어오는 프레임수로 나타낸다.

이와같이 추출된 컷 정보(컷의 위치)와 컷 사이의 거리정보(프레임수)를 연속된 프레임으로 구성된 원래의 동영상 파일(101)와 함께 제2저장모듈(104)에 저장한다

제2저장모듈(104)은 제1저장모듈(103)과 같은 메모리를 사용하여 메모리 영역을 적절하게 분배함으로써 실현할 수 있다.

다음에 차영상 검출단계(203)를 설명한다.

차영상의크기는 인접한 혹은 차영상을 구하고자 하는, 시간적으로 앞뒤에 높인 두 개의 프레임 사이에 큰 모션이 존재하거 또는 화면 자체가 변할 경우에 커지게 되므로, 차영상의크기는 n번재 프레임과 n+1번째 프레임의 각각의 대응하는 픽셀값을 감산하여 구하면 된다.

이와같이 구해진 차영상의 크기정보를 연속된 프레임으로 구성된 원래의 동영상 파일(101)와 함께 제2저장모듈(104)에 저장한다.

단계(204)는 컷검출과 차영상 검출의 결과를 원래의 동영사파일과 함께 저장하는 것을 보여준다.

이와같이 저장된 컷검출 정보와 차영상 검출정보를 이용해서 사용자 요구에 의한 빠르게 보기 도는 느리게 보기의 실행시에 적응적 변속 제어를 수행하게 되며, 그 과정은 도2에서 단계(205) 내지 단계(210)의 수순으로 수행되고, 이 것은 도1의 디스플레이모듈(105)에 의해서 이루어진다.

사용자가 빠르게 보기를 원할 경우에는 건너뛰는 프레임수(Skip 프레임수)를 조절하여 빠르게 구간안에서의 속도를 적응적으로 조절하고, 느리게 보기를 원할 경우에는 프레임주기를 변경하여 느리게 구간안에서의 속도를 적응적으로 조절하는데, 빠르게 보기의 경우부터 설명한다.

본 발명에서 빠르게 보기를 원할 경우에는 화면의 변화율이 클 경우 빠르게 보기의 구간안에서 원래의 빠르게 보기 속도보다 상대적으로 느리게 디스플레이 하고, 그 반대일 경우에는 원래의 빠르게 보기 속도보다 상대적으로 빠르게 디스플레이함으로써 사용자가 느끼는 변화율이 비교적 일정하게 유지되도록 한다.

이렇게 빠르게 속도를 그 구간안에서 적응적으로 가변속 제어함으로써 사용자는 동영상의 변속구간에 관계없이 빠르게 변속의 전구간에 걸쳐서 비슷한 인식수준으로 속도를 조절하여 동영상을 인식(탐색)할 수 있다.

이 것으 종래에 동영상 빠르게 보기에서 건너뛰는 프레임수가 고정되어 있기 때문에 중요한 프레임이 많이 포함된 구간에서도 고속 진행하여 세밀하게 탐색해 볼 수 없는 제약을 해소한다.

종래에는 빠르게 디스플레이시에 원래의 프레임들을 일정한 간격(예를 들면 5개 프레임 정도)으로 건너뛰어 디스플레이하고 있다.

본 발명에서는 이러한 종래와 같은 빠르게(또는 느리게) 보기를 보통 빠르게(또는 느리게)로 정하고, 본 발명과 같이 적응적 가변속이나 보통 빠르게(또는 느리게)를 사용자가 선택적으로 실행시키는 실시예도 제공할 수 있다.

상기한 바와같이 빠르게 보기 구간안에서의 적응적 가변속 제어를 위해서, 단계(205)에서와 같이 사용자가 빠르게 보기를 원할 경우 디스플레이모듈(105)은 빠르게 디스플레이 단계(206)를 다음과 같은 디스플레이 제어를 실행함으로써 적응적 가변속이 이루어진다.

즉, 다음과 같은 식의 알고리즘으로 건너뛰는 프레임수를 조절한다.

Skip_k = integer[{Dist(k)/(a Dist(k)+b)}] ‥‥‥ A

if (Disk(k)<b) then Skip-k=1 ‥‥‥ B

여기서, Skip_k 는 k번째 컷으로부터 k+1번째 컷 까지의 프레임에 대해서 적용할 건너뛸 프레임수, Dist(k)는 연속하는 두 컷 사이의 거리정보(총 프레임수), α는 Disk(k)의 크기에 따른 자동속도조절의 정도를 결정하기 위해서 주어지는 상수, b는 하나의 컷과 컷 사이를 디스플레이 하는데 필요한 최소한의 시간을 정의하기 위해 주어지는 상수, integer는 산출된 값을 정수화 한다는 의미이다.

컷과 컷 사이가 매우 ??아서 최소 디스플레이 시간(b)보다 짧을 경우 상기의 수학식 B에 따라 정상속도로 디스플레이하여 그 구간의 정보를 잃지 않게 한다. Disk(k)값과 a와 b값은 미리 정해지므로 위와같이 건너뛸 프레임수 조절을 수행하면 컷 사이의 거리가 클 때 즉, Disk(k)가 클 때에는 건너뛸 프레임수(Skip_k)가 증가하여 빠르게 구간안에서 상대적으로 더 빠르게 디스플레이되고, Dist(k)가 작을 때(컷과 컷 사이의 거리가 작을때)에는 건너뛸 프레임수(Skip_k)가 감소하여 빠르게 구간안에서 상대적으로 더 느리게 디스플레이 된다.

또, 전체속도조절계수(b)와 상대속도조절계수(a)를 적절하게 지정함으로써 건너뛰는 프레임수(Skip_k)가 컷과 컷아시의 거리와 함께 고려되어 속도의 자동조절 정도를 변경시킬 수 있는 데, a가 0일 경우 모든 컷과 컷 사이의 구간들은 그 길이에 관계없이 모두 일정한 b시간동안 디스플레이되고, b가 0일 경우 모든 컷과 컷 사이의 구간들은 보통 빠르기보다 1/a 배 만큼 빠르게 디스플레이되어 일반적인 "빠르게 디스플레이" 방식이 된다.

한편, 본 발명에서 느리게 보기를 원할 경우에는 동영상의 움직임이 클 경우 느리게 보기의 구간안에서 원래의 느리게 보기 속도보다 상대적으로 느리게 디스플레이 하고, 그 반대일 경우에는 원래의 느리게 보기 속도보다 상대적으로 빠르게디스플레이함으로써 사용자가 느끼는 변화율이 비교적 일정하게 유지되도록 한다.

이렇게 느리게 속도를 그 구간안에서 적응적으로 가변속 제어함으로써 사용자는 동영상의 변속구간에 관계없이 느리게 변속의 전구간에 걸쳐서 비슷한 인식수준으로 속도를 조절하여 동영상을 인식(세밀한 탐색)할 수 있다.

이 것은 종래에 동영상 느리게 보기에서 프레임주기(한 프레임이 화면에 디스플레이되는 시간 Torig)가 고정되어 있기 때문에 중요한 프레임이 많이 포함되지 않은 구간에서도 저속 진행하여 지루한 탐색이 일어나는 제약을 해소한다.

종래에는 느리게 디스플레이시에 원래의 프레임주기보다 크게 프레임주기를 지정함으로써 느리게 디스플레이하고 있다.

본 발명에서는 이러한 종래와 같은 느리게 보기를 보통 느리게로 정하고, 본 발명과 같이 적응적 가변속이나 보통 느리게를 사용자가 선택적으로 실행시키는 실시예도 제공할 수 있음은 상기 빠르게 보기에서 설명한 바와 같다.

상기한 바와같이 느리게 보기 구간안에서의 적응적 가변속 제어를 위해서, 단계(207)에서와 같이 사용자가 느리게 보기를 원할 경우 디스플레이모듈(105)은 느리게 디스플레이 단계(208)를 다음과 같은 디스플레이 제어를 실행함으로써 적응적 가변속이 이루어진다.

T´(n) = Torgi(n)*mDiff(n)*β 이고, T´(n)<Tmin 이면 T´(n)=Tmin [여기서, T´(n)은 n번째 프레임의 변경된 프레임 주기이고, Torig는 원래의 프레임 주기이며(NTSC의 경우 1/30초), mDiff(n)은 n번째 프레임에서 인접 프레임과의 차영상의크기, Tmin은 기기 의존적인 최소한의 프레임 주기이고, β는 자동속도조절의정도를 결정하는 속도조절계수이다]의 알고리즘으로 프레임주기를 변경시킴으로써 느리게 보기 구간안에서 적응적 가변속이 이루어진다.

Torig(n), Tmin, β값은 미리 정해지므로 위와같이 프레임주기(T´(n)) 조절을 수행하면 차영상의크기(mDiff(n))가 클 때 프레임 주기(T´(n))가 커져서 느리게 구간안에서 상대적으로 더 느리게 디스플레이되고, 차영상의 크기(mDiff(n))가 작을 때 프레임 주기(T´(n))가 작아져서 느리게 구간안에서 상대적으로 더 빠르게 디스플레이된다.

또, 속도조절계수(β)를 적절하게 지정함으로써 프레임주기가 차영상의 크기와 함께 고려되어 속도의 자동조절 정도를 변경시킬 수 있다.

위와같이 변속 구간안에서의 적응적 디스플레이 속도 자동조절은 단계(209)에서 정지요구가 있을 때까지 수행하고, 정지요구가 있으면 단계(210)에서 변속 디스플레이를 중지하고 단계(201)로 리턴한다.

본 발명의 동영상의 적응적 속도 자동조절 장치와 방법에 의하면 동영상을 빠르게 또는 느리게 디스플레이하는 경우 인간의 시감각적 특성을 고려하여 가변속 구간안에서의 변속정도를 적절하게 자동조절할 수 있다.

예를 들어, 고속탐색의 경우 장면의 변화가 거의 없는 곳은 보다 빠르게 지나칠 수 있고, 장면의 변화가 많은 곳에서는 보다 느린 모션으로 탐색할 수 있게 한다.

예를 들어, 저속탐색의 경우 동영상 움직임이 거의 없는 곳은 보다 빠르게지나칠 수 있고, 동영상 움직임이 많은 곳은 보다 느리게 진행하여 세밀한 탐색을 가능하게 한다.

이와같이 변속구간안에서 그 변속 속도보다 상대적으로 느리거나 빠르게 디스플레이를 수행하면 스포츠중계와 같이 보다 역동적인 움직임이 많은 영상의 세밀한 탐색이 가능하고, 음악회 등과 같이 정적인 움직임이 많은 영상은 고속으로 지나치면서 탐색할 수 있다.

또한, 기존의 보통 빠르게나 보통 느리게의 수행과 본 발명의 적응적 가변속 제어를 선택적으로 수행하여 사용자의 탐색목적에 적합한 변속재생을 가능하게 하며, 자동속도조절계수의 설정으로 그 변속의 정도를 정할 수 있는 특징도 가진다.

Claims (7)

1. 동영상에서 컷을 추출하고 컷과 컷사이의 프레임수를 계산하는 컷검출모듈과, 동영상에서 프레임 사이의 차분영상을 구하여 저장하는 차영상 검출모듈로 이루어져 디스플레이된 동영상의 변화정도를 검출하는 수단과,

   상기 컷검출모듈 및 차영상 검출모듈의 검출정보를 포함하는 변속용 동영상 데이터를 저장하는 제1저장모듈 및 정속용 동영상 데이터를 저장하는 제2저장모듈로 이루어진 저장수단과,

   상기 검출수단에 의해서 검출된 동영상의 변화정도로부터 변속 디스플레이 구간안에서 그 구간에 대하여 설정되는 디스플레이 속도보다 상대적으로 다른 속도로 동영상을 디스플레이하는 수단을 포함하여 이루어짐을 특징으로 하는 동영상의 적응적 디스플레이 속도 자동조절 장치.
2. 제 1 항에 있어서, 동영상의 연속된 컷과 컷 사이의 프레임수로부터 동영상의 변화율을 검출하고, 이 검출된 컷과 컷 사이의 프레임수를 기준으로 건너뛰는 프레임수를 변경시켜서 빠르게 보기를 수행함을 특징으로 하는 동영상의 적응적 디스플레이 속도 자동조절 장치.
3. 제 2 항에 있어서, 건너뛰는 프레임수는;

   Skip_k = integer[{Disk(k)/(a Disk(k)+b)}], (Skip_k 는 k번째 컷으로부터k+1번째 컷 까지의 프레임에 대해서 적용할 건너뛸 프레임수, Disk(k)는 연속하는 두 컷 사이의 거리정보(총 프레임수), a는 Disk(k)의 크기에 따른 자동속도조절의 정도를 결정하기 위해서 주어지는 상수, b는 하나의 컷과 컷 사이를 디스플레이하는데 필요한 최소한의 시간을 정의하기 위해 주어지는 상수, integer는 산출된 값을 정수화 한다)의 계산으로 건너뛰는 프레임수를 조절하는 것을 특징으로 하는 동영상의 적응적 디스플레이 속도 자동조절 장치.
4. 제 1 항에 있어서, 동영상의 인접한 프레임 사이의 차영상으로부터 동영상의 변화율을 검출하고, 이 검출된 차영상을 이용하여 프레임 주기를 변경시켜셔서 느리게 보기를 수행함을 특징으로 하는 동영상의적응적 디스플레이 속도 자동조절 장치.
5. 제 4 항에 있어서, 변경되는 프레임주기는;

   T´(n) = Torgi(n)*mDiff(n)*β 이고, T´(n)<Tmin 이면 T´(n)=Tmin, (여기서, T´(n)은 n번째 프레임의 변경된 프레임 주기이고, Torig는 원래의 프레임 주기이며(NTSC의 경우 1/30초), mDiff(n)은 n번째 프레임에서 인접 프레임과의 차영상의 크기, Tmin은 기기 의존적인 최소한의 프레임 주기이고, β는 자동속도조절의 정도를 결정하는 속도조절계수)의 계산으로 프레임 주기를 조절하는 것을 특징으로 하는 동영상의 적응적 디스플레이 속도 자동조절 장치.
6. 디지털 압축 데이터가 저장된 수단으로부터 동영상파일을 읽어들이는 단계와, 상기 동영상의 컷을 검출하고 이 검출된 두 컷 사이의 프레임수를 추출하여 상기 동영상의 연속된 두 프레임 사이의 차영상을 구하는 단계와, 상기 컷 사이의 프레임수 및 차영상정보를 원래의 동영상파일과 함께 저장하는 단계와, 상기저장된 컷 사이의 프레임수를 기준으로 건너뛰는 프레임수를 조절하여 빠르게 디스플레이를 수행하는 단계와, 상기 저장된 차영상의 크기를 기준으로 프레임 주기를 조절하여 느리게 디스플레이를 수행하는 단계로 제어함을 특징으로 하는 동영상의 적응적 디스플레이 속도 자동조절 방법.
7. 제 6 항에 있어서, 상기 동영상 파일의 변속 디스플레이모드와, 상기 동영상 파일의 변속구간내에서의 자동속도조절모드를 선택적으로 수행함을 특징으로 하는 동영상의 적응적 디스플레이 속도 자동조절 방법.