KR100437801B1

KR100437801B1 - 장면 전환 검출 장치 및 방법

Info

Publication number: KR100437801B1
Application number: KR10-2002-0031388A
Authority: KR
Inventors: 서종열
Original assignee: 엘지전자 주식회사
Priority date: 2002-06-04
Filing date: 2002-06-04
Publication date: 2004-06-30
Also published as: KR20030094469A

Abstract

비균등 화소 구간 분할에 의한 I 픽쳐의 히스토그램 분석과 조명 보상을 이용한 비디오의 장면 전환 검출 장치 및 그 방법에 관한 것으로서, 특히 디지털 비디오의 DC 계수에 대한 히스토그램 생성시 인간의 시각적 특성을 고려한 비균등 화소 구간 분할에 의하여 빈을 설정하며 이를 이용하여 얻어진 히스토그램 데이터를 근거로 프레임간 오차를 계산하고, 조명 조건 변화에 의한 장면 전환 검출 오류를 방지하기 위하여 가중치를 이용한 최소 자승법을 적용하여 조명의 변화, 또는 입력 영상의 밝기 변화에도 영향을 받지 않고 안정적으로 장면 전환을 검출할 수 있다.

Description

장면 전환 검출 장치 및 방법{Apparatus and method for detecting scene conversion}

본 발명은 비균등 화소 구간 분할에 의한 I 픽쳐의 히스토그램 분석과 조명 보상을 통해 비디오의 장면 전환을 검출하는 장치 및 그 방법에 관한 것이다.

일반적으로 디지털 TV의 부가적인 기능인 개인용 비디오 녹화기(Personal video recorder ; PVR) 또는, 기타 디지털 비디오 검색 시스템등에서 장면 전환에 근거한 각종 트릭 플레이(trick play), 비디오의 비선형 검색(nonlinear browsing), 비디오 인덱스(video index), 및 키 프레임(key frame) 생성 등의 기능을 제공하기 위해서는 필수적으로 장면 전환을 검출하여야 한다.

이러한 장면 전환을 검출하는 방식 중의 하나가 히스토그램을 이용한 방식이 있다.

상기 히스토그램(histogram)은 입력 영상의 화소값(즉, 그레이 레벨)의 분포를 나타내는 것이다. 이때, 영상의 각 화소값의 일정 범위를 대표하는 값을 빈(bin)이라 할 때, 각 빈에는 그에 해당하는 화소값을 갖는 화소의 개수만큼의 빈도수가 존재한다. 상기 각각의 화소들에 대한 빈은 테이블 혹은 미리 정해둔 공식 등에 의해 계산된다.

도 1은 I 픽쳐의 히스토그램을 이용한 종래의 장면 전환 검출 장치의 일실시예를 보인 구성 블록도로서, 입력되는 두개의 I 픽쳐의 DC 히스토그램을 추출한 다음 각 빈의 빈도수의 차이를 비교하는 방식(bin-to-bin difference)을 사용하여 두개의 I 픽쳐 사이에 장면 전환이 발생하였는지 여부를 판단한다. 이때, 하드웨어의 복잡도를 줄이기 위해 I 픽쳐를 전부 복호화(decode)하지 않고 DC 값만을 사용한다. 즉, DC 계수 디코더(101)는 입력되는 I 픽쳐로부터 DC 값만을 파싱하여 히스토그램 추출기(102)로 출력한다.

상기 DC 값만을 사용하게 될 경우 AC 계수를 복호화하기 위한 가변 복호화 테이블이 필요하지 않으며 결과적으로 MPEG 비디오 데이터 중 단순히 I 픽쳐의 DC 계수만을 파싱(parsing)하면 되므로 최소한의 하드웨어를 사용하여 원 영상의 1/64 크기에 해당하는 데이터를 얻을 수 있는 장점이 있다.

상기 히스토그램 추출기(102)는 입력되는 I 픽쳐의 DC 값으로부터 히스토그램을 추출하여 버퍼(103)로 출력한다.

이때, 상기 버퍼(103)에는 I 픽쳐의 DC 계수를 이용하여 계산된 히스토그램을 저장하는데 사용되는 두 개의 내부 버퍼(103a,103b)가 존재하며, 그 크기는 히스토그램의 빈 수에 비례한다. 상기 제 1, 제 2 버퍼(13a,103b) 각각에는 비교할 I 픽쳐의 DC 히스토그램이 저장되어 있다.

상기 제 1, 제 2 버퍼(103a,103b)에 저장된 두 I 픽쳐의 히스토그램은 장면 전환 판단기(104)로 입력되고, 상기 장면 전환 판단기(104)는 입력되는 두 I 픽쳐의 히스토그램을 비교하여 오차(E)를 구한다. 이때, 두 히스토그램의 비교를 위해 도 1에서는 각각의 빈의 빈도수를 비교하여 누적하는 방식으로 다음의 수학식 1과 같이 구한다.

여기서, 상기과는 상기 각각의 버퍼(103a,103b)에 저장된 히스토그램 데이터로, 영상 f₁과 f₂의 i번째 빈에 속하는 화소 수, 즉 각 영상에서 i번째 빈으로 매핑되는 화소의 개수이다. 다시 말해서, 그레이 레벨값이 i번째 빈으로 매핑되는 화소의 개수이다.

그리고, 상기 장면 전환 판단기(104)는 상기 수학식 1에서 구한 오차(E)와 미리 설정한 기준값을 비교하여 장면 전환 발생 여부를 최종 판단한다. 즉, 상기 오차(E)가 미리 설정한 기준치 이상일 경우에 두 영상 사이에 장면 전환이 발생한 것으로 판단하며 두 번째 영상 f₂가 장면 전환점으로 결정된다.

그러나, 종래의 장면 전환 검출 방식은 히스토그램의 빈을 균일 양자화 개념에 기반하여 구성함으로써, 다음과 같은 문제점이 발생한다.

즉, 각 화소값을 양자화하여 히스토그램 빈으로 매핑하는 함수를 선형적으로 구성함으로써, 결과적으로 각 빈에 해당하는 영상의 화소값의 범위를 균일한 크기로 나누며 이것은 화소값에 대하여 비선형적으로 반응하는 인간의 시각적 특성을 고려하지 않은 방식이다. 실제로 인간의 눈은 화소값이 같은 크기로 변화했다고 하더라도 화소값의 크기에 따라 그 차이를 다르게 인식한다. 예를 들어 화소값이 30에서 50으로 변한 것과 120에서 140으로 변한 것을 다르게 인식한다는 것이다. 그 이유는 인간의 시각 특성은 화소값의 절대 차이가 아닌 화소값의 로그 함수의 차이에 비례하여 반응하기 때문이다.

또한, 종래의 방식은 두 영상간의 차이를 계산할 때 조명 조건의 변화에 의한 화소값의 변화를 고려하지 않으므로 광원의 이동, 플래쉬, 또는 기타 광학적 요인 등에 의한 밝기의 순간적인 변화에 취약하다. 일반적으로 같은 장면을 다른 조명 조건에서 촬영할 경우 히스토그램 분포가 달라진다. 종래의 방식은 이러한 점을 고려하지 않으므로 실제 장면 전환이 발생하지 않았으나 영상의 전체적인 휘도 변화에 의한 차이를 장면 전환으로 판단(false alarm)하는 문제점이 있다. 따라서 종래의 장면 전환 검출 기술은 이러한 조명 조건 변화가 발생하는 경우에 대해서 정확한 장면 전환점을 검출할 수 없는 문제점을 갖는다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 입력되는 DC 계수를 그에 상응하는 히스토그램 빈으로 변환하는 양자화 과정에 있어서 영상의 화소값을 비균일하게 분할하여 장면 전환 검출에 이용하는 장면 전환 검출 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 순간적인 조명 조건의 변화에 의하여 동일한 장면에 대한 순간적인 휘도 신호의 변화를 장면 전환으로 판단하는 오류를 방지하는 안정적인 장면 전환 검출 장치 및 방법을 제공함에 있다.

도 1은 종래의 장면 전환 검출 장치의 구성 블록도

도 2는 본 발명에 따른 장면 전환 검출 장치의 구성 블록도

도 3은 본 발명에 의한 장면 전환 검출 장치에서 영상의 휘도 신호와 히스토그램 빈(bin)의 매핑을 정의하는 테이블

도 4a,4b는 도 2의 특징점 추출기의 일실시예를 보인 동작 흐름도

도 5는 본 발명에 따른 장면 전환 검출 장치를 이용한 히스토그램 및 누적 히스토그램 추출 결과의 일 예를 보인 도면

도 6은 도 2의 장면 전환 판단기의 일 실시예를 보인 동작 흐름도

도면의 주요부분에 대한 부호의 설명

201 : DC 계수 디코더 202 : 히스토그램 추출기

203 : 히스토그램 버퍼 204 : 특징점 추출기

205 : 특징점 버퍼부 206 : 장면 전환 및 조명 변화 판단부

상기와 같은 목적을 달성하기 위한 본 발명에 따른 장면 전환 검출 장치 및 방법은 입력되는 I 픽쳐의 DC 계수를 그에 상응하는 히스토그램 빈으로 변환하는 양자화 과정에 있어서 인간의 시각적 특성을 근거로 한 비선형 함수를 사용하여 영상의 화소값을 비균일하게 분할한 후 입력 영상의 화소값과 히스토그램 빈을 매핑하는 것을 특징으로 하고 있다.

본 발명에 따른 장면 전환 검출 장치 및 방법은 히스토그램의 분포를 분석하여 특정 빈에 해당하는 화소값에 대하여 빈도수에 따른 가중치를 부여한 후 최소 자승법을 적용하여 모델 이격도를 구함에 의해 최종적으로 입력 영상의 히스토그램 오차가 조명 조건의 변화에 의한 것인지 또는 실제적인 장면 전환에 의한 것인지 여부를 판단하는 것을 특징으로 한다.

이를 위한 본 발명에 따른 장면 전환 검출 장치는 입력되는 I 픽쳐로부터 DC 계수만을 파싱하여 출력하는 DC 계수 디코더와, 상기 파싱된 DC 계수를 히스토그램 빈으로 양자화시 DC 계수에 해당하는 화소값들을 비균등 분할하여 해당 히스토그램 빈으로 매핑함에 의해 해당 DC 영상의 히스토그램을 추출하고 저장하는 히스토그램 추출부와, 특징점을 추출하기 위한 빈 구간을 적어도 한 개 이상의 구간으로 나누고, 각 구간 내의 히스토그램에서 특정 분포에 해당하는 빈값을 추출하고 추출된 빈 값에 해당하는 화소값을 특징점으로 출력하는 과정을 모든 구간에 대해 반복 수행하는 특징점 추출기와, 상기 특징점 추출기에서 출력되는 모든 구간의 특징점들을 저장하는 제 1, 제 2 특징점 버퍼로 구성되며, 상기 제 1, 제 2 특징점 버퍼에는 두 I 픽쳐의 특징점들이 각각 저장되는 특징점 버퍼부와, 상기 제 1, 제 2 특징점 버퍼에서 출력되는 두 I 픽쳐의 특징점을 비교하여 장면 전환이라고 판단되면 다시 조명 변화를 체크하여 최종 장면 전환 여부를 판단하는 장면 전환 및 조명 변화 판단부를 포함하여 구성되는 것을 특징으로 한다.

상기 히스토그램 추출기는 입력 화소값과 히스토그램 빈 값을 비균등하게 매핑하기 위한 화소 대 빈 매핑 테이블을 정의하며, 이때 화소 대 빈 매핑 테이블은제 1 화소값보다 작거나 제 2 화소값보다 큰 화소값은 고정된 히스토그램 빈 값으로 매핑하고, 상기 제 1 화소값과 제 2 화소값 사이에 있는 입력 화소값에 대해서는 비균등하게 히스토그램 빈 값으로 매핑하도록 정의하는 것을 특징으로 한다.

상기 특징점 추출기는 특징점을 추출하기 위한 빈 구간을 적어도 한 개 이상의 구간으로 나눌 때 상기 특징점 추출기에 누적되는 입력 영상의 누적 히스토그램을 참조하여 적응적으로 분할하는 것을 특징으로 한다.

상기 특징점 추출기는 해당 빈 구간에서 가장 큰 빈도수를 갖는 빈을 검출하고, 상기 빈에 해당하는 화소값을 특징점으로 하여 출력하고, 조명 변화 판단을 위해 상기 빈에 해당하는 빈도수도 함께 출력하는 것을 특징으로 한다.

상기 특징점 추출기는 상기 가장 큰 빈도수를 갖는 빈에 해당하는 화소값 범위의 중간값을 선택하여 특징점으로 출력하는 것을 특징으로 한다.

상기 장면 전환 및 조명 변환 판단부는 두 픽쳐간의 프레임 오차를 비교하여 장면 전환으로 판별되면 두 영상 사이에 선형적인 조건 변화가 존재하도록 하기 위한 두 파라메터 α와 β를 상기 특징점 추출기에서 추출한 특징점에 가중치를 부여한 후 최소 자승법을 적용하여 구하고, 상기 α와 β를 적용하여 모델 이격도를 구한 후 상기 모델 이격도를 기 설정된 임계값과 비교하여 최종 장면 전환 여부를 판단하는 것을 특징으로 한다.

상기 가중치는 상기 특징점들의 빈 값에 해당하는 빈도수에 비례하여 부여되는 것을 특징으로 한다.

본 발명에 따른 장면 전환 검출 방법은, 입력되는 I 픽쳐로부터 DC 계수만을파싱하는 단계와, 상기 파싱된 DC 계수를 히스토그램 빈으로 양자화시 DC 계수에 해당하는 화소값들을 비균등 분할하여 해당 히스토그램 빈으로 매핑함에 의해 해당 DC 영상의 히스토그램을 추출하고 저장하는 단계와, 특징점을 추출하기 위한 빈 구간을 적어도 한 개 이상의 구간으로 나누고, 각 구간 내의 히스토그램에서 특정 분포에 해당하는 빈값을 추출하고 추출된 빈 값에 해당하는 화소값을 특징점으로 출력하는 과정을 모든 구간에 대해 반복 수행하는 단계와, 상기 단계에서 출력되는 모든 구간의 특징점들을 저장하는 단계와, 상기 단계에서 저장된 두 I 픽쳐의 특징점들을 비교하여 장면 전환이라고 판단되면 다시 조명 변화를 체크하여 최종 장면 전환 여부를 판단하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

도 2는 본 발명에 따른 장면 전환 검출 장치의 구성 블록도로서, I 픽쳐의 DC 계수를 파싱하기 위한 DC 계수 디코더(201), 상기 DC 디코더(201)에서 출력되는 DC 값으로부터 각 프레임의 히스토그램을 추출하기 위한 히스토그램 추출기(202), 추출된 현재 I 픽쳐의 DC 값의 히스토그램을 저장하기 위한 히스토그램 버퍼(203), 특정 분포 값에 해당하는 화소의 리스트를 특징점으로 정의하여 이를 추출하기 위한 특징점 추출기(204), 상기 특징점 추출기(204)에서 출력되는 특징점 리스트를 저장하기 위한 특징점 버퍼부(205), 및 상기 특징점 버퍼부(205)에서 출력되는 두 장의 I 픽쳐의 특징점을 비교하여 조명 보상 수행 및 장면 전환 판단을 수행하는 장면 전환 및 조명 변화 판단부(206)로 구성된다. 상기 특징점 버퍼부(205)는 하나의 I 픽쳐에 대한 특징점 리스트를 저장하는 제 1 특징점 버퍼(205a)와 이웃하는 다른 I 픽쳐에 대한 특징점 리스트를 저장하는 제 2 특징점 버퍼(205b)로 구성된다.

이와 같이 구성된 본 발명에서는 MPEG 비디오 데이터 중에서 I 픽쳐만을 사용하여 장면 전환을 검출하므로, 도 2의 DC 계수 디코더(201)는 I 픽쳐의 DC 계수만을 복호화할 수 있도록 간단하게 구성된다. 따라서, MPEG 비디오를 복호화할 때 필요한 가변 복호화기(variable-length decoder ; VLD) 등을 생략할 수 있으므로 하드웨어적인 부담을 줄일 수 있다.

그리고, 상기 DC 계수는 단순히 하위 3비트를 생략하여 화소값으로 변환 가능하므로, 이하에서 설명하는 화소값이란 DC 계수를 8로 나눈 값 또는 DC 계수의 하위 3비트를 생략하여 얻어진 값으로 정의한다. 또한 전체적인 I 픽쳐와 구분하기 위하여 이하에서는 I 픽쳐의 DC 계수를 이용하여 얻어진 축소된 영상을 DC 영상이라고 부른다.

상기 DC 계수 디코더(201)에서 파싱된 I 픽쳐의 DC 계수는 히스토그램 추출기(202)로 출력된다. 상기 히스토그램 추출기(202)는 두 장의 I 픽쳐 사이에 장면 전환을 판단하는 기준으로 이용하기 위해 입력되는 I 픽쳐의 DC 영상으로부터 히스토그램을 추출한다. 이때, 상기 히스토그램 추출기(202)는 인간의 시각적 특성을 근거로 한 비선형 함수를 사용하여 입력 영상의 화소값과 히스토그램 빈을 매핑한다.

즉, 먼저I를 영상의 밝기라고 정의하고,는 현재의 밝기를 기준으로 인간이 인식할 수 있는 최소한의 밝기 변화라고 정의한다. 그러면,는 웨버 비율(Weber ratio)로 정의되며, 이 값은 상수를 유지한다는 것이 실험적으로 증명되었다. 이때,는 logI를 미분한 것과 동일하므로 웨버 비율이 상수라는 것은 logI의 차이가 상수라는 것과 동일하다. 따라서, 이론적으로 인간의 눈은 영상 신호의 밝기의 로그의 차이에 비례하여 영상 신호의 밝기의 차이를 인식한다.

본 발명에서는 이러한 웨버 비율 특성을 고려하여 종래의 균등한 양자화를 사용하지 않고 비균등하게 입력 화소값과 히스토그램 빈을 매핑한다.

또한, 웨버 비율은 특정 밝기 영역에서는 다른 값을 갖게 된다. 즉, 너무 어둡거나 밝은 부분에서는 이러한 웨버의 법칙이 적용되지 않으며, 결과적으로 이 영역에 대해서는 더 큰 값의 웨버 비율이 발생한다. 따라서, 본 발명에서도 이러한 점을 고려하여 화소 대 빈 매핑 (pixel-to-bin mapping) 테이블을 정의한다.

통상, MPEG으로 부호화된 디지털 비디오의 Y 신호는 16에서 235 사이의 레벨을 갖는다. 그러므로, 본 발명에서는 16 ~ 30, 226 ~ 235의 범위에 속한 화소값에 대해서는 웨버의 법칙이 적용되지 않는 것으로 결정한다. 반면 31 ~ 225 사이의 크기를 갖는 Y 신호에 대해서는 웨버의 법칙을 적용하여 즉, 비선형 함수를 사용하여이 구간을 30개의 빈으로 양자화 한다.

도 3은 본 발명에 의한 장면 전환 검출 장치에서 사용하는 화소값과 히스토그램 빈의 매핑을 정의하는 테이블을 나타낸 것으로서, 화소값과 히스토그램 빈의 매핑이 비균일하게 이루어진다. 예를 들어, 히스토그램에서 20이라는 빈이 갖는 빈도수(bin index)는 해당 DC 영상의 화소 값중에서 108∼115 사이의 값을 갖는 화소의 개수와 동일하다. 즉, 히스토그램 추출기(202)에서는 도 3의 매핑 테이블을 사용하여 입력되는 DC 영상의 화소값을 그에 해당되는 빈으로 매핑하며, 동시에 그 빈에 해당하는 빈도수가 저장된 히스토그램 버퍼(203)를 갱신한다. 이 과정은 DC 영상의 모든 화소값을 읽을 때까지 반복되며 DC 영상의 모든 화소를 다 읽으면 히스토그램 추출기(202)는 히스토그램을 출력하며 이는 해당되는 I 픽쳐의 히스토그램 특성을 반영한다. 상기 히스토그램 추출기(202)에서 출력된 히스토그램 데이터는 히스토그램 버퍼(203)에 저장된다. 상기 히스토그램 버퍼(203)의 크기는 32x2 바이트의 크기로 설정하는 것을 실시예로 한다.

또한, 본 발명에서는 두 영상간의 오차 함수로 히스토그램의 각 빈의 빈도수의 차이를 비교하는 방법(bin-to-bin difference)을 사용하지 않고 특징점을 비교하는 방식을 사용한다. 여기서, 특징점이란 히스토그램에서 특정 분포에 해당하는 빈 값을 의미하며 두 영상간의 오차를 측정하는 기준 이외에도 조명 변화 보상에서도 유용하게 사용된다. 이를 위해, 상기 히스토그램 버퍼(203)의 출력은 특징점 추출기(204)로 입력된다.

도 4a,4b는 본 발명에 따른 장면 전환 검출 장치의 특징점 추출기의 일 실시예를 보인 흐름도이다.

먼저, 초기화 단계(401)에서는 임시 버퍼TC=0, 특징점을 추출하기 위한 빈(bin) 구간 경계값U_Bound=0.2*Total_Pixels, 각 영역에서 가장 큰 빈도를 갖는 빈 값Feature_Bin=0, 변수MAX_NUM=0으로 초기화한다.

그리고 나서, 히스토그램 버퍼(203)로부터 i 번째 빈에 해당하는 히스토그램 값H(i)를 입력받아(단계 402), 변수MAX_NUM보다 큰지를 비교한다(단계 403). 만일 크다면 이때의 i값을Feature_Bin값으로 놓고(Feature_Bin=i), 변수MAX_NUM값을 상기 히스토그램 값H(i)으로 갱신한다(MAX_NUM=H(i))(단계 404).

만일, 입력되는 히스토그램 값H(i)이 변수MAX_NUM보다 크지 않거나, 상기 단계 404가 수행되고 나면, 단계 405로 진행하여 입력되는 히스토그램 값H(i)을 임시 버퍼에 누적하고(TC=TC+H(i)), i 값을 1 증가시킨다(단계 405).

그리고 나서, 상기 임시 버퍼TC에 누적된 값이U_Bound보다 큰지를 비교한다(단계 406). 만일 크지 않다면 해당 영역에서의 특징점 추출을 계속 수행하기 위하여 단계 402로 리턴하고, 크다면 해당 영역에서의 특징점 추출이 완료되었으므로 이때의Feature_Bin값과 상기Feature_Bin값에 해당하는 빈도수MAX_NUM를 출력한다(단계 407). 여기서, 특징점은 상기Feature_Bin에 해당하는 화소값의 범위의 중간 값으로 하며, 이렇게 선택된 특징점은 특징점 버퍼부(205)로 출력된다.

그리고, i=32인지를 확인한다(단계 408). 만일, 32라면 해당 DC 영상에 대한 특징점 추출이 완료되었으므로 프로그램을 종료하고, 32가 아니라면 다음 영역을 설정하고, 그 영역에서의 특징점을 추출하기 위하여U_Bound=U_Bound+0.2*Total_Pixels로 갱신하고,Feature_Bin값에 해당하는 빈도수MAX_NUM를 0으로 초기화한 후 단계 402로 리턴한다(단계 409).

상기된 과정에 의해 특징점 버퍼부(205)의 제 1, 제 2 특징점 버퍼(205a,205b)에는 이웃하는 두 개의 I 픽쳐의 특징점들과Feature_Bin값에 해당하는 빈도수가 저장된다.

상기된 과정을 정리하면 다음과 같다.

즉, 상기 특징점 추출기(204)는 히스토그램 버퍼(203)로부터 i 번째 빈에 해당하는 히스토그램 값H(i)를 입력받아 2바이트 크기를 갖는 임시 버퍼TC에 누적한다. 상기 임시 버퍼TC에 저장되는 누적 히스토그램은 특징점을 추출하기 위한 빈(bin) 구간을 설정하기 위한 것이다. 이때, 입력 영상마다 그 밝기 분포 특성이 다르므로 빈 구간을 일괄적으로 나누지 않고 누적 히스토그램을 참고하여 영상의 특성을 고려한 적응적인 방법으로 분할한다. 즉, 임시 버퍼TC에 저장된 누적 히스토그램이 DC 영상의 전체 화소수의 20%, 40%, 60%, 80%가 되는 누적값(도 4에서U_Bound로 표기)을 갖는 빈을 빈 구간 경계로 설정하면 5개의 영역이 발생하며 결과적으로 5개의 특징점을 추출할 수 있다. 도 4에서Feature_Bin은 각 영역에서 가장 큰 빈도를 갖는 빈을 의미하며 특징점은 이에 해당하는 화소값을 의미한다. 이 때, 특징점은Feature_Bin에 해당하는 화소값의 범위의 중간 값을 선택한다.

도 5는 본 발명에 의한 장면 전환 검출 장치를 이용한 히스토그램 및 누적 히스토그램 추출 결과의 일 예를 나타낸 것으로서, DC 영상의 크기는 40x25이며, 누적 히스토그램의 빈도수가 각각 200, 400, 600, 800을 넘어서는 빈 값이 특징점을 추출하기 위한 빈 구간 영역의 경계가 된다. 결과적으로 도 5에 나타난 히스토그램 데이터를 이용하여 도 4에 의해 정의된 특징점 추출 과정을 적용하면 8, 13, 19, 23번 빈 인덱스가 특징점을 설정하는 영역의 경계가 되며,Feature_Bin은 4, 12, 16, 21, 24번 빈 인덱스가 된다. 그리고, 특징점은 4,12,16,21,24번 빈 인덱스에 해당하는 화소값(즉, 도 4의 Y 신호)의 범위의 중간 값 즉, {38, 66, 86, 120, 146}의 값이 출력된다. 이 때, 4, 12, 16, 21, 24번 빈에 해당하는 빈도수 {55, 48, 45, 65, 66}은 추후 설명할 조명 보상 단계에서 가중치로 쓰인다.

상기 제 1, 제 2 특징점 버퍼(205a,205b)에 저장된 특징점들은 장면 전환 검출을 위해 장면 전환 및 조명 변화 판단부(206)로 출력된다.

상기 장면 전환 및 조명 변화 판단부(206)는 두 장의 I 픽쳐에 대하여 추출한 특징점을 각각와라고 할 때, 두 영상 사이에 장면 전환이 발생하였는지 여부를 판단하기 위하여 하기의 수학식 2와 같이 오차E를 계산한다.

그리고, 오차 E가 구해지면 상기 장면 전환 및 조명 변화 판단부(206)는 프레임 오차E가 미리 설정한 상수값 τ보다 클 경우 장면 전환이 발생한 것으로 판단한다. 실제 MPEG 비디오 스트림에 대하여 실험을 수행한 결과를 토대로 본 발명에서는 장면 전환 발생 여부를 판단하는 기준이 되는 상수값 τ를 35로 설정한다.

이때, 프레임 오차E가 미리 설정한 상수값 τ보다 클 경우, 실제로 장면 전환이 발생한 것인지 아니면, 조명 조건의 변화에 의한 것인지를 판단하기 위하여 도 6의 흐름도가 수행된다.

도 6은 프레임 오차 E가 τ보다 클 경우 이것이 실제 장면 전환에 의한 것인지 아니면, 조명 조건의 변화에 의한 오류인지 여부를 검증하기 위해 두 DC 영상에 대하여 조명 변화 오차를 다시 비교한다.

즉, 프레임 오차 E가 τ보다 큰지를 비교하여(단계 601), 크지 않다고 판별되면 장면 전환이 아니라고 판단하고(단계 602), 크다고 판별되면 조명 변화를 체크한다(단계 603).

먼저, 조명 조건 변화에 대한 모델을 수학식 3과 같이 가정한다.

즉, 두 프레임 I₁(x,y)과 I₂(x,y) 사이에 α와 β의 두 파라메터로 정의된 선형적인 조명 조건 변화가 존재한다고 가정한다. 따라서, 조명 조건 변화가 발생할 경우, 두 영상 사이의 히스토그램 변화는 α와 β의 두 파라메터로 모델링이 가능한 변화를 보이므로 두 영상에 대한 히스토그램 데이터만 있으면 조명 변화에 대한 오차를 비교할 수 있다.

이때, 두 영상이 같은 장면에 속하는 경우 즉, 오차가 단순한 조명 변화에 기인한 경우에는 두 개의 파라메터로 정의된 모델식에 의한 일관된 히스토그램 변화를 보이지만 다른 장면에 속하는 경우에는 상기 수학식 3의 모델식과는 전혀 다른 랜덤한 형태를 보인다.

따라서, 상기 추출된 특징점 리스트로부터 α와 β값을 계산한 후 모델식과의 이격도를 구함으로써 조명 조건의 변화 발생 여부를 판단할 수 있다.

이때, 상기 수학식 3을 특징점 리스트에 대하여 가중치를 고려하여 다시 정리하면 하기의 수학식 4와 같다.

이때, 가중치w(i)는 각i번째 빈이 파라메터의 계산에 기여하는 정도를 정량적으로 나타내는 값으로, 앞서 설명한 바와 같이i번째 빈의 빈도수인 히스토그램(=MAX_NUM)에 비례하여 그 값을 부여한다. 즉, 상기 도 4에서 구한 특징점들의 빈 값에 해당하는 빈도수MAX_NUM에 비례하여 가중치가 부여된다. 예를 들어, 도 4와 같이 특징점을 추출하기 위한 빈 구간을 5개로 나누었다면, 다섯 개의 빈도수에 부여되는 가중치의 합은 1을 넘지 않도록 한다().

상기 수학식 5를 행렬식으로 변환하여 일련의 간단한 수학적 유도 과정을 거치면 하기의 수학식 5와 같이 최소 자승법으로 α와 β의 값을 계산할 수 있다.

상기 수학식 5에 의하여 파라메터 (α,β)가 결정되면 상기 수학식 4를 적용하여 조명 조건 변화를 체크한다. 즉, 상기 파라메터 (α,β)를 수학식 4에 적용하여 모델식에 의한 L₂(i)를 구한 후, 실제 L₂(i)와 비교하여 조명 변화를 체크한다. 이는 가중치가 부여된 DC 영상의 히스토그램 데이터를 이용하여 다시 프레임 오차를 구하는데 이 오차는 실제로 발생한 오차가 조명 변화에 의한 것인지를 판단하는 것으로 조명 변화 모델에 대한 이격도의 개념을 갖는다.

즉, 상기 수학식 5에서 구한 (α,β)를 적용한 모델 이격도 D 계산은 수학식 6과 같다.

여기서,는 수학식 5에서 특징점들에 가중치를 부여하고 최소 자승법을 적용하여 구한 (α,β)를 상기 수학식 4에서 적용하여 구한 모델식에 의한 L₂값이다. 즉, 상기 수학식 6에서 구한 모델 이격도는 모델식에 의한 특징점과 실제 특징점과의 차 값이다.

상기 수학식 6에서 구한 모델 이격도를 기 설정된 값과 비교하여 최종 장면 전환을 판단한다(단계 604).

이때, 상기 수학식 6을 이용하여 계산된 모델 이격도 D가 낮은 값을 가질수록 두 영상간의 오차는 조명 변화에 의한 것임을 의미한다. 본 발명에서는 실제MPEG 비디오 데이터를 이용한 실험 결과를 근거로 D가 0.15 이하일 경우, 두 영상 사이의 오차는 장면 전환이 아닌 조명 조건 변화에 의하여 모델링된다는 의미를 가지므로 결과적으로 두 프레임 사이에 장면 전환이 발생하지 않은 것으로 판단한다(단계 602). 만일, 이격도 D가 0.15를 초과할 경우, 두 영상간의 오차는 조명 변화에 의한 것이 아니며 결과적으로 두 프레임 사이에 장면 전환이 발생한 것으로 판단한다(단계 605).

한편, 상기 수학식 5를 이용하여 구한 파라메터 (α,β)를 상기 수학식 3에 적용하면 조명 변화 보상을 수행할 수 있다. 이렇게 조명 보상된 데이터는 디스플레이를 위해 출력하거나, 조명 변화 판단을 위해 출력할 수도 있다. 이때, 두 영상에 직접 조명 보상을 수행하면 그만큼의 메모리가 필요하므로 본 발명에서는 상기된 방법으로 정확하게 조명 변화가 보상된 데이터를 획득한다.

이러한 본 발명의 장면 전환 검출 장치는 디지털 TV에 장착된 개인용 비디오 녹화기 또는 비디오 검색 시스템 등에서 비디오의 장면 분할, 비디오의 구간별 탐색, 기타 장면 구간을 이용한 각종 트릭 플레이 및 비디오 인덱스 생성 등에서 요구되는 정확한 장면 전환의 발생 위치를 안정적으로 검출할 수 있다.

이상에서와 같이 본 발명에 따른 장면 전환 검출 장치 및 방법에 의하면, 비디오에서 두 장의 I 픽쳐를 연속적으로 입력받아 각 I 픽쳐의 DC 영상을 이용하여 두 영상 사이에 장면 전환이 발생하였는지 여부를 정확하게 검출하는 효과가 있다.

또한, 두 영상을 비교하는 기준이 되는 히스토그램 데이터를 추출하는데 있어서 비선형 함수를 사용하여 입력 영상의 화소값과 히스토그램 빈을 매핑함으로써, 화소값에 대하여 비선형적으로 반응하는 인간의 시각적 특성을 고려하고 있다.

또한, 실제 동일한 장면에서 발생할 수 있는 조명 조건의 변화, 즉 카메라의 플래쉬, 광원의 변화, 또는 기타 광학적인 요인 등에 의해 발생할 수 있는 장면 전환 검출 과정에서의 오류를 방지할 수 있는 효과가 있다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.

따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.

Claims

입력되는 I 픽쳐로부터 DC 계수만을 파싱하여 출력하는 DC 계수 디코더;

상기 파싱된 DC 계수를 히스토그램 빈으로 양자화시 DC 계수에 해당하는 화소값들을 비균등 분할하여 해당 히스토그램 빈으로 매핑함에 의해 해당 DC 영상의 히스토그램을 추출하고 저장하는 히스토그램 추출부;

특징점을 추출하기 위한 빈 구간을 적어도 한 개 이상의 구간으로 나누고, 각 구간 내의 히스토그램에서 특정 분포에 해당하는 빈값을 추출하고 추출된 빈 값에 해당하는 화소값을 특징점으로 출력하는 과정을 모든 구간에 대해 반복 수행하는 특징점 추출기;

상기 특징점 추출기에서 출력되는 모든 구간의 특징점들을 저장하는 제 1, 제 2 특징점 버퍼로 구성되며, 상기 제 1, 제 2 특징점 버퍼에는 두 I 픽쳐의 특징점들이 각각 저장되는 특징점 버퍼부; 그리고

상기 제 1, 제 2 특징점 버퍼에서 출력되는 두 I 픽쳐의 특징점을 비교하여 장면 전환이라고 판단되면 다시 조명 변화를 체크하여 최종 장면 전환 여부를 판단하는 장면 전환 및 조명 변화 판단부를 포함하여 구성되는 것을 특징으로 하는 장면 전환 검출 장치.
제 1 항에 있어서, 상기 히스토그램 추출기는

입력 화소값과 히스토그램 빈 값을 비균등하게 매핑하기 위한 화소 대 빈 매핑 테이블을 정의하며, 이때 화소 대 빈 매핑 테이블은 제 1 화소값보다 작거나 제 2 화소값보다 큰 화소값은 고정된 히스토그램 빈 값으로 매핑하고, 상기 제 1 화소값과 제 2 화소값 사이에 있는 입력 화소값에 대해서는 비균등하게 히스토그램 빈 값으로 매핑하도록 정의하는 것을 특징으로 하는 장면 전환 검출 장치.
제 1 항에 있어서, 상기 특징점 추출기는

특징점을 추출하기 위한 빈 구간을 적어도 한 개 이상의 구간으로 나눌 때 상기 특징점 추출기에 누적되는 입력 영상의 누적 히스토그램을 참조하여 적응적으로 분할하는 것을 특징으로 하는 장면 전환 검출 장치.
제 3 항에 있어서, 상기 특징점 추출기는

누적 히스토그램이 DC 영상의 전체 화소수의 2n(n은 자연수)×10%가 되는 누적 히스토그램 값을 갖는 빈을 빈 구간 경계로 설정하는 것을 특징으로 하는 장면 전환 검출 장치.
제 1 항에 있어서, 상기 특징점 추출기는

해당 빈 구간에서 가장 큰 빈도수를 갖는 빈을 검출하고, 상기 빈에 해당하는 화소값 범위의 중간값을 특징점으로 하여 출력하고, 조명 변화 판단을 위해 상기 빈에 해당하는 빈도수도 함께 출력하는 것을 특징으로 하는 장면 전환 검출 장치.
제 1 항에 있어서, 상기 장면 전환 및 조명 변환 판단부는

두 장의 I 픽쳐에 대하여 추출한 특징점을 각각 L₁(k), L₂(k)라 할 때, 하기의 식을 적용하여 프레임 오차(E)를 계산하고 기 설정된 임계값과 비교하는 것을 특징으로 하는 장면 전환 검출 장치.
제 6 항에 있어서, 상기 장면 전환 및 조명 변환 판단부는

상기 프레임 오차(E)가 기 설정된 임계값보다 크다고 판별되면, 두 영상 사이에 선형적인 조건 변화가 존재하도록 하기 위한 두 파라메터 α와 β를 상기 특징점 추출기에서 추출한 특징점에 가중치를 부여한 후 최소 자승법을 적용하여 구하고, 이때 상기 가중치는 해당 특징점의 빈값에 해당하는 빈도수에 비례하며, 상기 구해진 α와 β를 하기 식에 적용하여 모델 이격도 D를 구한 후 상기 모델 이격도 D를 기 설정된 임계값과 비교하여 최종 장면 전환 여부를 판단하는 것을 특징으로 하는 장면 전환 검출 장치.
제 7 항에 있어서, 상기 두 파라메터 α와 β는 하기의 행렬식을 적용하여구하는 것을 특징으로 하는 장면 전환 검출 장치.
(a) 입력되는 I 픽쳐로부터 DC 계수만을 파싱하는 단계;

(b) 상기 파싱된 DC 계수를 히스토그램 빈으로 양자화시 DC 계수에 해당하는 화소값들을 비균등 분할하여 해당 히스토그램 빈으로 매핑함에 의해 해당 DC 영상의 히스토그램을 추출하고 저장하는 단계;

(c) 특징점을 추출하기 위한 빈 구간을 적어도 한 개 이상의 구간으로 나누고, 각 구간 내의 히스토그램에서 특정 분포에 해당하는 빈값을 추출하고 추출된 빈 값에 해당하는 화소값을 특징점으로 출력하는 과정을 모든 구간에 대해 반복 수행하는 단계;

(d) 상기 (c) 단계에서 출력되는 모든 구간의 특징점들을 저장하는 단계; 그리고

(e) 상기 (c) 단계에서 저장된 두 I 픽쳐의 특징점들을 비교하여 장면 전환이라고 판단되면 다시 조명 변화를 체크하여 최종 장면 전환 여부를 판단하는 단계를 포함하여 이루어지는 것을 특징으로 하는 장면 전환 검출 방법.
제 9 항에 있어서, 상기 (b) 단계는

입력 화소값과 히스토그램 빈 값을 비균등하게 매핑하기 위한 화소 대 빈 매핑 테이블을 정의하며, 이때 화소 대 빈 매핑 테이블은 제 1 화소값보다 작거나 제 2 화소값보다 큰 화소값은 고정된 히스토그램 빈 값으로 매핑하고, 상기 제 1 화소값과 제 2 화소값 사이에 있는 입력 화소값에 대해서는 비균등하게 히스토그램 빈 값으로 매핑하도록 정의하는 것을 특징으로 하는 장면 전환 검출 방법.
제 9 항에 있어서, 상기 (c) 단계는

특징점을 추출하기 위한 빈 구간을 적어도 한 개 이상의 구간으로 나눌 때 입력 영상의 누적 히스토그램을 참조하여 적응적으로 분할하는 것을 특징으로 하는 장면 전환 검출 방법.
제 11 항에 있어서, 상기 (c) 단계는

누적 히스토그램이 DC 영상의 전체 화소수의 2n(n은 자연수)×10%가 되는 누적 히스토그램 값을 갖는 빈을 빈 구간 경계로 설정하는 것을 특징으로 하는 장면 전환 검출 방법.
제 9 항에 있어서, 상기 (c) 단계는

해당 빈 구간에서 가장 큰 빈도수를 갖는 빈을 검출하고, 상기 빈에 해당하는 화소값 범위의 중간값을 특징점으로 하여 출력하고, 조명 변화 판단을 위해 상기 빈에 해당하는 빈도수도 함께 출력하는 것을 특징으로 하는 장면 전환 검출 방법.
제 9 항에 있어서, 상기 (e) 단계는

두 장의 I 픽쳐에 대하여 추출한 특징점을 각각 L₁(k), L₂(k)라 할 때, 하기의 식을 적용하여 프레임 오차(E)를 계산하고 기 설정된 임계값과 비교하여 크다면 장면 전환으로 판단하는 것을 특징으로 하는 장면 전환 검출 방법.
제 14 항에 있어서, 상기 (c) 단계는

상기 (e) 단계에서 장면 전환으로 판단되면, 두 영상 사이에 선형적인 조건 변화가 존재하도록 하기 위한 두 파라메터 α와 β를 상기 (c) 단계에서 추출한 특징점에 가중치를 부여한 후 최소 자승법을 적용하여 구하고, 이때 상기 가중치는 해당 특징점의 빈값에 해당하는 빈도수에 비례하며, 상기 구해진 α와 β를 하기 식에 적용하여 모델 이격도 D를 구한 후 상기 모델 이격도 D를 기 설정된 임계값과 비교하여 최종 장면 전환 여부를 판단하는 것을 특징으로 하는 장면 전환 검출 방법.
제 15 항에 있어서, 상기 두 파라메터 α와 β는 하기의 행렬식을 적용하여 구하는 것을 특징으로 하는 장면 전환 검출 방법.