KR20030082794A

KR20030082794A - 비디오 부호화기의 장면전환 검출 방법 및 장치

Info

Publication number: KR20030082794A
Application number: KR1020020021283A
Authority: KR
Inventors: 구헌모
Original assignee: 엘지전자 주식회사
Priority date: 2002-04-18
Filing date: 2002-04-18
Publication date: 2003-10-23

Abstract

본 발명은 디지털 동영상 부호화시 움직임 추정을 이용하여 영상의 장면 전환을 검출하는 기술에 관한 것이다. 이러한 본 발명은 입력 영상을 소정 비율로 서브 샘플링하여 프레임 메모리에 저장한 후, 그 서브 샘플링된 영상으로부터 움직임 벡터와 움직임 추정 에러값을 검출하는 제1과정과; 상기 움직임 추정 에러값을 입력받아, 한 프레임 내의 모든 블록들의 움직임 추정 에러값을 더한 후 그 합이 기 설정된 임계값 이상인 경우 장면전환이 발생된 것으로 판단하여 장면전환 검출신호를 출력하는 제2과정에 의해 달성된다.

Description

비디오 부호화기의 장면전환 검출 방법 및 장치{METHOD AND APPARATUS FOR SHOT CONVERSION DETECTION OF VIDEO ENCODER}

본 발명은 디지털 동영상 부호화시 움직임 추정을 이용하여 영상의 장면 전환을 검출하는 기술에 관한 것으로, 특히 MPEG이나 H.26x 등에서 비디오 부호화시 실행해야 하는 움직임 추정 정보를 그대로 이용하고, 계층적 움직임 추정에서의 상위 계층의 움직임 추정 결과를 이용하여 장면 전환을 검출할 수 있도록 한 비디오 부호화기의 장면전환 검출 방법 및 장치에 관한 것이다.

근래들어, 정보 통신 기술이 급속히 발전함에 따라 문자, 영상, 그래픽, 오디오, 비디오 등과 같은 멀티미디어 정보를 송신 또는 수신하거나 저장하는 기술의 중요성이 점차 증대되고 있다. 그 중에서 비디오 시퀀스를 그 내용과 시간에 따라 장면(shot)으로 구분하기 위해 비디오 시퀀스의 시간적 불연속점을 찾아내는 영상의 화면전환 검출기술이 절실히 요구되고 있는 실정에 있다. 여기서, 장면이란 시간적으로 연속성이 있는 하나 이상의 프레임을 말한다. 화면전환 검출기술은 비디오 색인, 검색, 편집 이외도 비디오 부호화시에 많이 사용되는 기술이다. 비디오 부호화에서 장면 전환을 정확하게 검출함으로써 장면 전환 시점에 있는 영상들의 화질을 향상시킬 수 있게 되고, 전환된 장면에 대해 비트 할당과 부호화 파라미터 값들을 적절히 바꿔줌으로써 부호화 효율을 향상시킬 수 있다.

도 1은 일반적인 화면전환 검출장치의 블록도를 나타낸 것이다. 디지털 비디오 입력신호가 프레임 메모리(11)를 통해 비디오 부호기(13)로 전달되어 부호화 처리된다. 이때, 장면전환 검출기(12)는 상기 프레임 메모리(11)로부터 입력된 현재 프레임의 영상신호 F(n)과 이전 프레임의 영상신호 F(n-1)을 비교하여 장면전환 여부를 판단한 후 그에 따른 장면전환 검출정보를 상기 비디오 부호기(13)에 출력한다. 이에 따라, 상기 비디오 부호기(13)는 입력되는 비디오신호를 부호화 처리할 때 상기 장면전환 검출정보를 함께 처리하여 비트 스트림 형태로 출력하게 된다.

종래의 장면전환 검출 기술에 있어서는 영상 프레임간 평균 절대차와 차분치를 이용하거나, 두 프레임간 같은 위치에 있는 블록들의 평균값의 차를 구한 후 그 차가 임계치 이상인 블록들의 개수를 근거로 장면전환을 검출하게 되어 있었다.

또 다른 종래의 장면전환 검출 기술에 있어서는 움직임 추정을 이용하여 현재 프레임과 이전 프레임 사이에 블록 매칭을 실행한 후 각 블록들의 에러값을 근거로 장면전환을 검출하게 되어 있었다.

또 다른 종래의 장면전환 검출 기술에 있어서는 두 프레임간의 활성도(activity)를 비교하여 그 차이가 일정치 이상인 경우 장면 전환이 발생한 것으로 판단하게 되어 있었다.

그러나, 이와 같은 종래의 장면전환 검출기술 중 영상 프레임간 평균 절대차와 차분치를 이용하거나 두 프레임간 같은 위치에 있는 블록들의 평균값의 차를 이용하는 기술은, 비디오 부호화시 평균과 차이 값을 계산하는 것과 프레임 메모리를 한번 더 읽어야 하는 부가적인 기능을 필요로 하는 문제점이 있었다.

또한, 현재 프레임과 이전 프레임 사이에 블록 매칭을 실행한 후 각 블록들의 에러값을 근거로 장면 전환을 검출하는 기술은, 현재 프레임을 부호화하기 전에 장면 전환을 검출하기 위해 움직임 추정을 해야 하기 때문에 움직임 추정을 위한 복잡한 계산과정을 한번 더 수행해야 하는 문제점이 있고 프레임 메모리의 접근 부담을 가중시키는 문제점이 있었다.

또한, 두 프레임간의 활성도 이용하여 장면 전환을 검출하는 기술 또한 현재 프레임을 부호화하기 전에 부가적으로 활성도를 계산해야 하는 문제점이 있었다.

상기 각 종래 기술의 공통적인 문제점은 실시간으로 비디오 신호를 부호화할 때 장면전환 검출을 위한 부가적인 계산에 의해 시간적으로 부호화 지연이 발생된다는 것이다.

따라서, 본 발명의 목적은 MPEG이나 H.26x 등에서 비디오 부호화시 실행해야 하는 움직임 추정 정보를 그대로 이용하고, 계층적 움직임 추정에서의 상위 계층의 움직임 추정 결과를 이용하여 장면 변환을 검출하는 비디오 부호화기의 장면전환 검출 방법 및 장치를 제공함에 있다.

도 1은 종래 기술에 의한 비디오 부호화기의 화면전환 검출 장치의 블록도.

도 2는 본 발명이 적용되는 계층적 움직임 추정을 이용한 비디오 부호화기의 블록도.

도 3은 본 발명에 의한 장면전환 검출장치의 일실시 예시도.

도 4는 본 발명에 의한 영상의 장면전환 검출 장치의 다른 실시 예시도.

도 5는 본 발명에 의한 영상의 장면전환 검출 방법의 처리과정을 나타낸 신호 흐름도.

도 6은 본 발명에 의한 또 다른 영상의 장면전환 검출 방법의 처리과정을 나타낸 신호 흐름도.

***도면의 주요 부분에 대한 부호의 설명***

21 : 프레임 메모리22 : 서브샘플 움직임 추정부

22A,23A : 장면전환 검출기23 : 부호화 모드 결정부

24 : 정수/반화소 움직임 추정부

본 발명의 제1특징에 따르면, 서브 샘플링 영상에서 움직임 추정 후의 한 프레임 내의 모든 블록들의 에러값을 더하여 그 값이 임계값 이상이면 장면전환이 발생되었다고 판단하는 것이다.

본 발명의 제2특징에 따르면, 서브 샘플링된 영상을 대상으로 부호화 모드를 결정하는 경우, 블록의 부호화 모드가 결정된 후 인트라 블록으로 결정되는 블록의 개수가 한 프레임 내에서 몇 개인지 조사하여 임계치 이상이면 장면전환이 발생되었다고 판단하는 것이다.

본 발명에 의한 비디오 부호화기의 장면전환 검출 방법은, 입력 영상을 소정 비율로 서브 샘플링하여 프레임 메모리에 저장하는 제1과정과; 상기 서브 샘플링된 영상으로부터 움직임 벡터와 움직임 추정 에러값을 검출하는 제2과정과; 한 프레임 내의 모든 블록들의 움직임 추정 에러값을 더한 후 그 합이 기 설정된 임계값 이상인 경우 장면전환이 발생된 것으로 판단하여 장면전환 검출신호를 출력하는 제3과정으로 이루어진다.

본 발명에 의한 또 다른 장면전환 검출 방법은, 입력 영상을 소정 비율로 서브 샘플링하여 프레임 메모리에 저장하는 제1과정과; 상기 서브 샘플링된 영상으로부터 움직임 벡터와 움직임 추정 에러값을 검출하는 제3과정과; 상기 움직임 추정 에러값들의 크기를 근거로 하여, 부호화될 블록을 DCT만 사용하는 인트라 블록으로 부호화할 것인지 움직임 벡터를 사용하는 인터 블록으로 부호화할 것인지를 결정하여 그에 따른 부호화 모드신호를 출력하는 제3과정과; 상기 부호화 모드신호를 근거로 인트라 블록으로 결정되는 블록의 개수가 한 프레임 내에서 몇 개인지 조사하여 임계치 이상이면 장면전환이 발생되었다고 판단하는 제4과정으로 이루어진다.

도 2는 본 발명이 적용되는 계층적 움직임 추정을 이용한 비디오 부호화기의 블록도이고, 도 3은 본 발명에 의한 장면전환 검출 장치의 일실시예를 보인 블록도로서 이에 도시한 바와 같이, 입력 영상을 소정 비율로 서브 샘플링하여 저장하기 위한 프레임 메모리(21)와; 상기 프레임 메모리(21)에 저장된 서브 샘플링된 영상으로부터 움직임 벡터와 움직임 추정 에러값을 검출하는 서브샘플 움직임추정부(22)와; 상기 서브샘플 움직임 추정부(22)에서 출력되는 움직임 추정 에러값을 입력받아, 한 프레임 내의 모든 블록들의 움직임 추정 에러값을 더한 후 그 합이 기 설정된 임계값 이상인 경우 장면전환이 발생된 것으로 판단하여 장면전환 검출신호를 출력하는 장면전환 검출기(22A)와; 상기 서브샘플 움직임 추정부(22)로부터 입력되는 움직임 벡터와 움직임 추정 에러값을 근거로 영상의 움직임을 추정하는 정수/반화소 움직임 추정부(24)로 구성하였다.

도 4는 본 발명에 의한 장면전환 검출 장치의 다른 실시예를 보인 블록도로서 이에 도시한 바와 같이, 프레임 메모리(21)에 저장된 서브 샘플링된 영상으로부터 움직임 벡터와 움직임 추정 에러값을 검출하는 서브샘플 움직임 추정부(22)와; 상기 움직임 추정 에러값들의 크기를 근거로 하여, 부호화될 블록을 DCT만 사용하는 인트라 블록으로 부호화할 것인지 움직임 벡터를 사용하는 인터 블록으로 부호화할 것인지를 결정하여 그에 따른 부호화 모드신호를 출력하는 부호화 모드 결정부(23)와; 상기 부호화 모드신호를 근거로 인트라 블록으로 결정되는 블록의 개수가 한 프레임 내에서 몇 개인지 조사하여 임계치 이상이면 장면전환이 발생되었다고 판단하는 장면전환 검출기(23A)와; 상기 서브샘플 움직임 추정부(22)로부터 입력되는 움직임 벡터와 움직임 추정 에러값을 근거로 영상의 움직임을 추정하는 정수/반화소 움직임 추정부(24)로 구성한 것으로, 이와 같이 구성한 본 발명의 작용을 첨부한 도 5 및 도 6을 참조하여 상세히 설명하면 다음과 같다.

본 발명에서는 계층적 움직임 검출을 수행하는 과정에서 부호화되는 블록(1616 픽셀)의 부호화 모드를 결정하기 위해 출력하는 서브 샘플링(sub-sampling)된 움직임 추정 결과를 사용하여 장면전환 검출을 수행한다. 계층적 움직임 추정을 이용하는 비디오 부호화기를 도 2에 나타내었다. 입력 영상을 2:1, 4:1, 8:1 등으로 서브 샘플링하여 프레임 메모리(21)에 저장한 후, 그 서브 샘플링된 영상으로부터 움직임 벡터를 검출한다.

상기와 같이 검출된 움직임 벡터와 움직임 추정 에러값은 도 3에서와 같이, 정수/반화소(Integer/Half-pel) 움직임 추정부(24)로 전달된다.

그런데, 상기 서브 샘플링된 영상을 대상으로 블록의 부호화 모드를 결정하는 경우에는 도 4에서와 같이, 부호화 모드 결정부(23)는 서브샘플 움직임 추정부(22)와 정수/반화소 움직임 추정부(24)의 사이에 위치하게 된다. 상기 부호화 모드 결정부(23)는 움직임 추정 에러값들의 크기를 근거로 하여, 부호화될 블록을 DCT만 사용하는 인트라(intra) 블록으로 부호화할 것인지 움직임 벡터를 사용하는 인터(inter) 블록으로 부호화할 것인지를 결정하는 부분이다.

상기 도 3은 본 발명에 의한 장면전환 검출장치의 일실시 예를 나타낸 것이다. 여기서, 장면전환 검출기(22A)는 서브 샘플링된 움직임 추정의 에러값을 근거로 장면전환을 검출하게 되는데, 이 검출과정을 도 5를 참조하여 상세히 설명하면 다음과 같다.

먼저, 서브 샘플링된 움직임 추정 에러값을 "error"로 정의하고, 한 프레임 내의 모든 블록의 에러의 합을 "Sum"이라고 정의한다. 또한 한 프레임 내의 마지막 블록인지 검사하는 부분을 "End of Frame"이라고 정의한다. 그리고, 장면 전환이 발생하였는지 검사하기 위해 상기 Sum과 비교하는 임계치를 "Thres"라고 정의한다.

입력값인 서브 샘플링된 에러값(error)들을 한 프레임 내의 마지막 블록이 입력될 때까지 더한 후, 그 합(sum)이 임계치(Thres) 이상이면 장면 전환이 일어 났다는 것을 나타내는 장면전환 신호를 발생하게 된다. 그러나, 상기 합(sum)이 임계치(Thres) 이하이면 장면 전환이 일어나지 않은 것이므로 이 때에는 장면전환 검출신호를 발생하지 않는다. 참고로, 상기 장면전환 검출기(22A)는 덧셈기와 비교기를 이용하여 간단하게 구현할 수 있다.

한편, 도 4는 장면전환 검출기의 제2실시예를 나타낸 것이다. 여기서, 장면전환 검출기(23A)는 부호화 모드 결정부(23)에서 결정된 부호화 모드신호를 입력받는다. 부호화 모드로는 부호화될 블록을 DCT만 사용하는 인트라 모드와 움직임 벡터를 사용하는 인터 모드가 있다. 이 제2실시예의 처리 과정을 도 6을 참조하여 상세히 설명하면 다음과 같다.

먼저, 입력되는 부호화 모드신호가 인트라블록 모드의 신호인지 검사하는 부분을 "Intra block mode"라 정의하고, 한 프레임 내에서 인트라 모드로 결정된 블록의 총 개수를 "Nblk"라고 정의한다. 그리고, 한 프레임 내에서 마지막 블록인지를 검사하는 부분을 "End of Frame"이라고 정의하고, 장면 전환 검출을 위해 Nblk와 비교하는 임계치를 "Nth"라고 정의한다.

장면전화 검출기(23A)는 상기 부호화 모드 결정부(23)로부터 부호화 모드신호가 입력될 때마다 인트라블록인지 확인하여 인트라블록으로 판명될 때마다 Nblk를 1씩 증가시킨다. 한 프레임의 마지막 블록에 대한 부호화 모드신호가 입력되었을 때, 한 프레임 내의 인트라 블록의 총 개수인 Nblk를 임계치 Nth와 비교하여 그Nblk가 Nth보다 큰 것으로 판명되면 장면 전환이 발생되었음을 알리기 위한 장면전환 검출신호를 발생시킨다. 그러나, 상기의 비교 결과 Nblk가 Nth보다 작은 것으로 판명되면 장면전환이 발생되지 않은 것이므로 장면전환 검출신호를 발생하지 않는다. 참고로, 상기 장면전환 검출기(23A)는 덧셈기와 비교기를 이용하여 간단하게 구현할 수 있다.

그리고, 계층적 움직임 추정을 사용하지 않는 비디오 부호화에 대해서는, 상기 일실시 예의 입력으로 상기 서브 샘플링된 움직임 추정 에러값 대신 정수/반화소 움직임 추정부(24)에서의 움직임 추정에 의해 발생하는 움직임 추정 에러값을 사용하여 구현할 수 있다. 이와 같은 시스템의 경우 도 4에서 부호화 모드 결정부(23)는 정수/반화소 움직임 추정부(24)의 후단에 접속되므로 제2실시예의 경우 그대로 그 부호화 모드 결정부(23)에서 출력되는 부호화 모드신호를 이용하여 장면전환 여부를 판단하여 그에 따른 장면전환 검출신호를 출력할 수 있게 된다.

상기와 같은 과정을 통해 발생되는 장면전환 검출신호는 브이엘씨(VLC)(29)에서 영상신호가 부호화 처리될 때 스트림 내의 일측에 삽입되어 전송된다. 따라서, 복호기측에서는 그 장면전환 검출신호를 근거로 장면전환 여부를 판단하여 적절히 대응할 수 있게 된다.

이상에서 상세히 설명한 바와 같이 본 발명은 장면 전환 검출을 위해 비디오 부호화 시 발생하는 움직임 추정 에러값이나 블록 부호화 모드신호를 이용하기 때문에 부가적인 계산을 필요로 하지 않고, 메모리 접속(access)에 대한 부담 없이장면 전환을 검출할 수 있는 효과가 있다.

또한, MPEG, H.26x 등과 같이 비디오 부호화시 부호화율을 향상시키기 위해 움직임 추정을 계층적으로 수행하는 부호화기에 적용하여 간단한 덧셈기와 비교기만으로 장면 전환을 검출할 수 있는 효과가 있다.

또한, 비디오 부호화 과정에서 장면 전환을 정확하게 검출하므로 장면 전환 시점에 있는 영상들의 화질을 향상시킬 수 있고, 전환된 장면에 대해 비트 할당 정도 또는 부호와 파라미터 값들을 적절히 조정하여 부호화 효율을 향상시킬 수 있는 효과가 있다.

Claims

입력 영상을 소정 비율로 서브 샘플링하여 프레임 메모리에 저장한 후, 그 서브 샘플링된 영상으로부터 움직임 벡터와 움직임 추정 에러값을 검출하는 제1과정과; 상기 움직임 추정 에러값을 입력받아, 한 프레임 내의 모든 블록들의 움직임 추정 에러값을 더한 후 그 합이 기 설정된 임계값 이상인 경우 장면전환이 발생된 것으로 판단하여 장면전환 검출신호를 출력하는 제2과정을 포함하여 이루어지는 것을 특징으로 하는 비디오 부호화기의 장면전환 검출 방법.
제1항에 있어서, 영상신호를 부호화 처리하여 송출할 때 상기 장면전환 검출신호를 스트림 내의 일측에 삽입하여 전송하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 비디오 부호화기의 장면전환 검출 방법.
제1항에 있어서, 제2과정은 상기 에러값들을 한 프레임 내의 마지막 블록이 입력될 때까지 누적하는 제1단계와; 상기 누적값이 기 설정된 임계치와 비교하여 그 임계치 이상으로 판명되면 장면전환 신호를 발생하는 제2단계를 포함하여 이루어지는 것을 특징으로 하는 비디오 부호화기의 장면전환 검출 방법.
입력 영상을 소정 비율로 서브 샘플링하여 프레임 메모리에 저장한 후, 그 서브 샘플링된 영상으로부터 움직임 벡터와 움직임 추정 에러값을 검출하는 제1과정과; 상기 움직임 추정 에러값들의 크기를 근거로 하여, 부호화될 블록을 DCT만 사용하는 인트라 블록으로 부호화할 것인지 움직임 벡터를 사용하는 인터 블록으로 부호화할 것인지를 결정하여 그에 따른 부호화 모드신호를 출력하는 제2과정과; 상기 부호화 모드신호를 근거로 인트라 블록으로 결정되는 블록의 개수가 한 프레임 내에서 임계치 이상으로 판명되면 장면전환이 발생되었다고 판단하는 제3과정을 포함하여 이루어지는 것을 특징으로 하는 비디오 부호화기의 장면전환 검출 방법.
제4항에 있어서, 영상신호를 부호화 처리하여 송출할 때 상기 장면전환 검출신호를 스트림 내의 일측에 삽입하여 전송하는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 비디오 부호화기의 장면전환 검출 방법.
제4항에 있어서, 제3과정은 부호화 모드신호가 입력될 때마다 인트라블록인지 확인하여 인트라블록을 누적하는 제1단계와; 한 프레임의 마지막 블록에 대한 부호화 모드신호가 입력되었을 때, 상기 누적값을 기 설정된 임계치와 비교하여 그 임계치보다 큰 것으로 판명되면 장면전환 검출신호를 발생하는 제2단계를 포함하여 이루어지는 것을 특징으로 하는 비디오 부호화기의 장면전환 검출 방법.
입력 영상을 소정 비율로 서브 샘플링하여 저장하기 위한 프레임 메모리(21)와; 상기 서브 샘플링된 영상으로부터 움직임 벡터와 움직임 추정 에러값을 검출하는 서브샘플 움직임 추정부(22)와; 상기 움직임 추정 에러값을 입력받아, 한 프레임 내의 모든 블록들의 움직임 추정 에러값을 더한 후 그 합이 기 설정된 임계값 이상일 때 장면전환 검출신호를 출력하는 장면전환 검출기(22A)를 포함하여 구성한 것을 특징으로 하는 비디오 부호화기의 장면전환 검출 장치.
제7항에 있어서, 장면전환 검출기(22A)는 한 프레임 내의 모든 블록들의 움직임 추정 에러값을 누적하기 위한 덧셈기와; 상기 누적된 값을 기 설정된 값과 비교하기 위한 비교기를 포함하여 구성된 것을 특징으로 하는 비디오 부호화기의 장면전환 검출 장치.
프레임 메모리(21)에 저장된 서브 샘플링된 영상으로부터 움직임 벡터와 움직임 추정 에러값을 검출하는 서브샘플 움직임 추정부(22)와; 상기 움직임 추정 에러값들의 크기를 근거로 하여, 부호화될 블록을 DCT만 사용하는 인트라 블록으로 부호화할 것인지 움직임 벡터를 사용하는 인터 블록으로 부호화할 것인지를 결정하여 그에 따른 부호화 모드신호를 출력하는 부호화 모드 결정부(23)와; 상기 부호화 모드신호를 근거로 인트라 블록으로 결정되는 블록의 개수가 한 프레임 내에서 몇 개인지 조사하여 임계치 이상일 때 장면전환 검출신호를 출력하는 장면전환 검출기(23A)를 포함하여 구성한 것을 특징으로 하는 비디오 부호화기의 장면전환 검출 장치.