KR101308845B1

KR101308845B1 - 비디오 카메라로부터의 비디오 이미지 개선 방법

Info

Publication number: KR101308845B1
Application number: KR1020097019863A
Authority: KR
Inventors: 치엔민 후앙; 파르진 아그다시
Original assignee: 펠코, 인코포레이티드
Priority date: 2007-03-26
Filing date: 2008-03-26
Publication date: 2013-09-13
Also published as: EP2126627A4; KR20100014543A; BRPI0809627A2; US8269844B2; CN101681084B; US20100214425A1; EP2126627B1; WO2008118987A1; ES2525701T3; CN101681084A; BRPI0809627B1; EP2126627A1

Abstract

카메라 진동 영향 제거에 의한 비디오 이미지 개선 방법은 참조 프레임(reference frame)을 획득하는 단계, 인커밍 프레임(incoming frame)을 수신하는 단계, 인커밍 프레임을 위한 프레임 이동 벡터(frame traslation vector)를 결정하는 단계, 재정렬 프레임(realigned frame) 을 생성하기 위하여 인커밍 프레임을 이동하는 단계, 재정렬 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링(low pass filtering)을 수행하는 단계, 참조 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하는 단계, 필터링된 참조 프레임의 픽셀과 필터링된 재정렬 프레임의 픽셀 간의 절대차를 결정하는 단계, 절대차가 미리 결정된 임계치보다 작으면 출력 프레임을 생성하기 위하여 재정렬 프레임의 픽셀에 대해 시간영역에서 로우 패스 필터링을 수행하는 단계, 및 절대차가 미리 결정된 임계치보다 크면 출력 프레임으로서 재정렬 프레임을 공급하는 단계를 포함하여 구성된다.

비디오카메라, 흔들림, 비디오 이미지, 개선

Description

비디오 카메라로부터의 비디오 이미지 개선 방법{Method of Improving the Video Images from a Video Camera}

본 발명은 일반적으로 감시시스템에 관한 것으로, 특히 카메라 진동의 영향을 제거함으로써 비디오 카메라로부터의 비디오 이미지(video image)를 개선하기 위한 장치 및 방법에 관한 것이다.

카메라가 고정 플랫폼에 장착되고 큰 확대로 줌인 되는 때에, 카메라에 의해 생성되는 이미지는 가끔 카메라의 흔들림에 기인하여 열악하다. 큰 확대도 일수록, 흔들림은 더욱 현저해지고 사진 품질은 더욱 저하된다. 흔들림의 원인은, 카메라 장치에서 보는 사용자에게 현저하지는 않을지라도, 카메라가 부착된 플랫폼이나 물체가 실제로 흔들리는 것에 기인한다. 적용 및 환경에 따라, 흔들림의 양은 현저할 수 있으며 카메라에 의해 생성되는 비디오에 난처한 결과를 제공할 수 있다. 따라서, 안전 산업(security industry)에서는 흔들림을 제거하여 비디오 카메라로부터의 비디오 이미지를 개선하기 위한 방법 및 장치가 오랫동안 요구되어 왔다.

본 발명에 따르면, 참조 프레임(reference frame)을 획득하는 단계, 인커밍 프레임(incoming frame)을 수신하는 단계, 인커밍 프레임을 위한 프레임 이동 벡터(frame traslation vector)를 결정하는 단계, 재정렬 프레임(realigned frame) 을 생성하기 위하여 인커밍 프레임을 이동하는 단계, 재정렬 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링(low pass filtering)을 수행하는 단계, 참조 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하는 단계, 필터링된 참조 프레임의 픽셀과 필터링된 재정렬 프레임의 픽셀 간의 절대차를 결정하는 단계, 절대차가 미리 결정된 임계치보다 작으면 출력 프레임을 생성하기 위하여 재정렬 프레임의 픽셀에 대해 시간영역에서 로우 패스 필터링을 수행하는 단계, 및 절대차가 미리 결정된 임계치보다 크면 출력 프레임으로서 재정렬 프레임을 공급하는 단계를 포함하는 카메라 진동 영향 제거에 의한 비디오 이미지 개선 방법을 제공한다.

본 발명의 다른 측면에 따르면, 비디오 이미지를 포함하는 복수의 프레임을 저장하기 위한 메모리; 및 메모리에 연결되고 복수의 프레임으로부터 참조 프레임을 획득하고, 상기 메모리로부터 인커밍 프레임을 수신하고, 인커밍 프레임을 위한 프레임 이동 벡터를 결정하고, 재정렬 프레임을 생성하기 위하여 인커밍 프레임을 이동하고, 재정렬 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하고, 참조 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하고, 필터링된 참조 프레임의 픽셀과 필터링된 재정렬 프레임의 픽셀 간의 절대차를 결정하고, 절대차가 미리 결정된 임계치보다 작으면 출력 프레임을 생성하기 위하여 재정렬 프레임의 픽셀에 대해 시간영역에서 로우 패스 필터링을 수행하고, 절대차가 미리 결정된 임계치보다 크면 출력 프레임으로서 재정렬 프레임을 공급하도록 프로그램되는 프로세서를 포함하는 카메라 진동 영향 제거에 의한 비디오 이미지 개선 장치를 제공한다.

본 발명의 또 다른 측면에 의하면, 비디오 이미지는 제1 및 제2 필드를 갖는 인터레이스드 비디오 이미지(interlaced video image)이고, 방법은 참조 프레임을 제1 및 제2 필드로 분리하고 수신된 인커밍 프레임을 제1 및 제2 필드로 분리하는 단계를 더 포함하며, 프레임 이동 벡터를 결정하는 단계는 제1 필드 및 제2 필드를 위한 이동 벡터를 결정하는 단계를 포함하고, 재정렬 프레임을 생성하기 위하여 인커밍 프레임을 이동하는 단계는 재정렬 제1 및 제2 필드를 생성하기 위하여 제1 및 제2 필드를 이동하는 단계를 포함하며, 재정렬 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하는 단계는 재정렬 제1 및 제2 필드의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하는 단계를 포함하고, 참조 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하는 단계는 참조 프레임의 제1 및 제2 필드의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하는 단계를 포함하고, 필터링된 참조 프레임의 픽셀과 필터링된 재정렬 프레임의 픽셀 간의 절대차를 결정하는 단계는 필터링된 참조 프레임의 제1 필드의 픽셀과 필터링된 재정렬 제1 필드의 픽셀 간의 절대차를 결정하고 필터링된 참조 프레임의 제2 필드의 픽셀과 필터링된 재정렬 제2 필드의 픽셀 간의 절대차를 결정하는 단계를 포함하고, 절대차가 미리 결정된 임계치보다 작으면 출력 프레임을 생성하기 위하여 재정렬 프레임의 픽셀에 대해 시간영역에서 로우 패스 필터링을 수행하고 절대차가 미리 결정된 임계치보다 크면 출력 프레임으로서 재정렬 프레임을 공급하는 단계는 절대차가 미리 결정된 임계치보다 작으면 출력 제1 필드를 생성하기 위하여 재정렬 제1 필드의 픽셀에 대해 시간영역에서 로우 패스 필터링을 수행하고, 절대차가 미리 결정된 임계치보다 크면 출력 제2 필드를 생성하기 위하여 재정렬 제2 필드의 픽셀에 대해 시간영역에서 로우 패스 필터링을 수행하고 절대차가 미리 결정된 임계치보다 크면 출력 프레임으로서 재정렬 제1 및 제2 필드를 공급하는 단계를 포함하는 상술한 바와 같은 방법을 제공한다.

본 발명의 다른 측면에 의하면, 컴퓨터에 의해 실행하는 때에 컴퓨터가 본 발명의 방법을 실행하게 하는 명령을 포함하는 컴퓨터로 판독 가능한 매체를 제공한다.

본 발명의 다른 이점 및 응용은 후술하는 발명의 바람직한 실시예의 설명에 의하여 명백해 질 것이다.

도 1은 본 발명을 이용한 비디오 감시 시스템의 블록도 이다.

도 2는 도 1에 보인 비디오 감시 시스템의 전형적인 비디오 소스의 블록도 이다.

도 3은 도 1에 보인 비디오 감시 시스템의 전형적인 워크스테이션의 블록도 이다.

도 4는 본 발명의 일 실시예의 논리 흐름을 보인 블록도 이다.

도 5는 인터레이스드 비디오(interlaced video)를 위한 본 발명 일 실시예의 논리 흐름을 보인 블록도 이다.

도 1을 참조하면, 비디오 감시 시스템(10)은 폐쇄 네트워크, 근거리 네트워크(local area network), 또는 인터넷 같은 광역 네트워크(wide area network)일 수 있는 네트워크(12)를 구비한다. 예컨대, 비디오 카메라, 디지털 비디오 레코더 또는 서버일 수 있는 복수의 비디오 소스(14, 16, 18, 20)는 MPEG 비디오 스트림과 같은 실시간 비디오 스트림을 공급하기 위하여 네트워크(12)에 연결된다. 예컨대, 감시 시스템(10)의 제어 점(control point), 개인 컴퓨터 또는 랩톱 컴퓨터를 이용하여 감시 시스템(10)에 접속한 사용자일 수 있는 워크스테이션(22)은 네트워크(12)에 연결된다. 소스(14, 16, 18, 20)는 네트워크(12)를 통해 워크스테이션(22)에 MPEG 비디오 스트림을 공급한다.

전형적인 비디오 소스를 블록도 형태로 도 2에 나타내었다. 카메라(24)는 그의 출력을 인코더(26)에 공급하며, 인코더(26)는 프로세서와 메모리를 포함한다. 인코더(26)는 네트워크(12)로 전송하기 위하여 모뎀(28)에 MPEG 비디오 스트림을 공급한다. 비록 카메라(24), 인코더(26) 및 모뎀(28)을 분리된 장치로서 나타내었지만, 그들의 기능은 도시된 바와 같이 3개의 분리된 장치보다는 단일 장치나 2개의 장치로 제공될 수 있음을 알 수 있을 것이다.

도 3을 참조하면, 본 발명의 전형적인 워크스테이션을 블록도 형태로 나타내었다. 워크스테이션(22)은 입력 버퍼(32), ROM(34), RAM(36), 디스플레이(38), 디스크 드라이브(40) 및 사용자 입력장치(42)에 연결된 프로세서(30)를 구비한다. 프로세서(30)는 중앙 처리 유닛 또는 디지털 신호 처리기이거나 이들 모두일 수 있 다. 사용자 입력장치(42)는 키보드, 마우스, 콘트롤러, 또는 다른 적당한 입력장치일 수 있다. 프로세서(30)는 사용자 입력장치(42)로부터의 사용자 입력에 응답하여, ROM(34)이나 디스크 드라이브(40)에 저장된 알고리즘 및 프로그램을 실행하고 디스플레이(38)에 출력신호를 제공한다. 모뎀(44)은 네트워크(12)에 연결되고 도 1의 소스(14, 16, 18, 20)로부터 MPEG 비디오 스트림을 수신한다. 모뎀(44)은 입력버퍼(32)에 MPEG 비디오 스트림을 공급한다. 비디오 스트림 데이터는 본 발명의 방법에 따라 디스크 드라이브(40)의 파티션(partition)에 저장될 수 있다. 예를 들어, USB 또는 파이어와이어(firewire) 포트일 수 있는 입력포트(45)는 입력 버퍼(32)에 비디오 스트림을 공급할 수 있다. 다르게는, 프로세서(30)는 그 자신의 입력 버퍼를 구비하거나 입력 버퍼로 사용될 수 있는 RAM(36)의 일부를 구비할 수 있다.

본 발명을 실행하기 위한 흔들림 방지 소프트웨어 모듈(anti-shaking software module)은 비디오 감시 시스템(10)의 여러 위치에서 사용될 수 있다. 예를 들어 흔들림 방지 모듈은 소스(14, 16, 18, 20)의 하나에 위치할 수 있는데, 예컨대, 비디오 카메라, 비디오 카메라에 연결된 인코더, 디지털 비디오 레코더 또는 서버일 수 있는 소스(14, 16, 18, 20)의 하나에 위치할 수 있다. 또한, 흔들림 방지 모듈은 워크스테이션(22)의 ROM(34), RAM(36) 또는 디스크 드라이브(40)에 저장될 수 있다. 인코더(26)는 알고리즘을 그의 메모리에 저장할 수 있고, 카메라(12)로부터의 이미지를 네트워크(12)로의 전송을 위하여 MPEG-4 같은 비디오 스트림으로 압축하기 이전에 흔들림 영향 제거를 위해 카메라(24)에 의해 생성된 비디오 이 미지를 분석하기 위하여 그의 프로세서를 사용할 수 있다. 명백하게, 흔들림 방지 모듈은 적어도 네트워크(12)에 연결된 장비의 일부에 저장되고 사용될 수 있다. 상술한 각각의 소스는 프로세서 및 메모리를 포함하고 흔들림 방지 소프트웨어 모듈을 실행할 수 있다. 단일 프로세서나 병렬 구동 및/또는 비 병렬 구동 다중 프로세서, 또는 컴퓨터 간에 정보를 송신 또는 수신하기 위해 네트워크를 통해 함께 연결된 2개 또는 그 이상의 컴퓨터는 흔들림 방지 모듈을 실행할 수 있다.

흔들림 방지 소프트웨어 모듈은 컴퓨터 판독 가능 매체에 저장될 수 있으며, 컴퓨터에 의해 접근 가능한 데이터 저장을 위해 사용되는 어떤 저장 장치에도 적용된다. 컴퓨터 판독 가능 매체의 예는 자기 하드디스크, 플로피 디스크, CD-ROM이나 DVD 같은 광학 디스크, 자기 테이프, 메모리 칩, 및 이 메일 송수신이나 네트워크 접근에 사용되는 것과 같은 컴퓨터 판독 가능 전자 데이터를 운반함에 사용되는 반송파를 포함한다.

먼저 시스템은 단일 프레임이나 몇몇 연속 프레임의 평균일 수 있는 참조 프레임을 포착할 것이다. 참조 프레임은 장면(scene)에 들어온 주차된 차량, 그림자 등등과 같은 저속 장면 변화를 반영하기 위하여 주기적으로 갱신될 수 있다. 한 방법은 알고리즘을 재시작하고 주기적으로 새로운 참조 프레임을 전개하는 것이다. 그러나, 참조 프레임을 계속하여 재전개하고 오리지널 참조 프레임과 가장 최근 프레임의 백분율을 결합하는 것 또한 가능하다. 이렇게 하여, 참조 프레임은 점진적으로 변경 장면을 따라가고 그 자체가 자동으로 갱신된다.

인커밍 프레임을 위한 프레임 이동 벡터는 블록매칭 또는 상관검색, 알고리 즘을 이용하여 할 수 있다. 참조 프레임으로부터의 블록과 인커밍 프레임의 검색 윈도우는 주워지는 것으로 가정한다. 인커밍 프레임의 검색 윈도우는 참조 프레임 내 참조 블록(reference block)의 동일 좌표의 주변 영역에 있다. 참조 블록은 참조 블록과 가장 유사한 블록을 찾기 위하여 검색 윈도우의 각 블록과 비교된다. 이동 벡터는 참조 블록의 좌표 및 인커밍 프레임에서 얻어진 최상의 매칭 블록의 좌표 간의 차이이다. 많은 상이한 유사 측정은 두 블록이 얼마나 유사한지를 측정함에 사용될 수 있다. 일반적으로, L1 및 L2 놈(norm)은 다음의 방정식과 같이 표현되고 사용된다.

여기서

u(i,j): 참조 블록의 픽셀들

v(i,j): 인커밍 프레임의 블록에서의 픽셀

W: 검색 윈도우에서의 좌표의 세트

B: 블록에서의 픽셀 세트

(x,y): 이동 벡터

알고리즘은 극소 블록차를 갖는 이동 벡터를 찾아낸다. 이런 접근법은 소모적인 검색이라고 일컫는다. 참조 프레임의 중앙 영역은 새로운 프레임의 중앙부와 비교되고 방정식으로 유사하게 표시된다. 새로운 프레임은 1개의 픽셀이나 1개의 픽셀보다 작게(서브 픽셀) 이동하며 비교는 반복된다. 새로운 프레임은 흡사한 짝이 발견될 때까지 확장 나선형 검색에서 다시 이동한다. 이것은 새로운 프레임이 이동한 양이다. 다르게는, 인커밍 프레임의 참조 블록과 검색 윈도우는 교환될 수 있으며, 즉 인커밍 프레임으로부터의 블록은 참조 프레임의 가장 유사한 블록을 찾는데 사용될 수 있다. L2 놈(norm)이 사용되면, 공간 주파수 영역에서 동일한 결과를 얻게 된다는 사실을 유념해야 한다.

정확한 이동 벡터를 찾기 위해서는, 큰 블록이 사용되어야 한다. 블록이 커질수록, 부정확한 이동의 발견 가능성이 저하되지만, 요구되는 계산량이 증가된다. 딜레마를 제거하기 위한 한가지 방법은 전체 이미지 사이즈에 가깝게 커버하는 감소된 블록을 사용하는 것이다. 예를 들어, 전체 이미지 크기가 240×360이면. 수평 및 수직 방향 양쪽에서 본래의 3/4 블록, 즉 180×270이 사용될 수 있다. 이것은 중앙 영역이다. 180×270 크기의 블록은 양쪽 방향에서 4개의 요소에 의해 감축된다. 그때 실제 블록 크기는 단지 45×67이지만, 이미지 영역의 3/4을 나타낸다. 본 발명의 흔들림 방지 알고리즘은 최상의 성능을 획득하기 위하여 검색 범위를 적응적으로 변경한다. 적응 검색 알고리즘은 다음과 같이 표현된다.

x-방향 및 y-방향 검색 범위를 각각 [sx0, sx1] 및[sy0, sy1]이라고 한다.

x 및 y를 각각 x-방향 및 y-방향 이동의 값이라고 한다.

min_x 및 max_x를 각각 x-방향에서 최소 및 최대 이동이라고 한다.

min_y 및 max_y를 각각 y-방향에서 최소 및 최대 이동이라고 한다.

1. 최초에, 주어진 [sx0, sx1] 및 [sy0, sy1],

counter=0 및 min_x=max_x=min_y=max_y=0이라고 한다.

2. 각 프레임에 있어서, 흔들림 방지 알고리즘을 진행한다.

min_x=Min(x, min_x);

max_x=Max(x, max_x);

min_y=Min(y, min_y);

max_y=Max(y, max_y);

counter=counter+1;

if(counter=N)

then

sx0=min_x-1;

sx1=max_x+1;

sy0=min_y-1;

sy1=max_y+1;

counter=0;

min_x=max_x=min_y=max_y=0;

상기 표현한 바와 같이, 경계에서 약간의 정보가 유실될 것이다. 검색 범위와 정보의 유실 모두를 감소시키기 위하여 전처리(preprocessing)가 사용될 수 있다. 전처리는 전체 흔들림 방지 방법과 일치하지만, 단기간의 이동 벡터 영역을 기 록하고 이동 벡터의 평균치를 계산한다. 평균 벡터와 매우 흡사한 이동 벡터를 갖는 미래의 입력 프레임은 참조 프레임을 대체하기 위하여 사용된다. 참조 프레임의 대체는 너무 자주 이루어질 수 없으며, 만약 그렇지 않으면 다른 흔들림을 생성할 것이다.

이동 벡터(x,y)가 인커밍 이미지를 위해 구해졌을 때, 프레임 이동은 인커밍 프레임의 각 픽셀을 좌표(i,j)로부터 좌표(i-x,j-y)로 이동시킬 것이다. 프레임 크기가 N×M 픽셀이라고 하면, 좌표(0,0)로부터 좌표(N-1,M-1)로 이동시킬 것이다. 만일 x 또는 y 어느 쪽도 0이 아니면, 경계 정보의 x행 및 y열은 유실될 것이다. 유실경계 열 및 행은 각각 가장 가까운 열 및 행에 의하여 확장되거나 0으로 메워질 수 있다. 재정렬 프레임이 출력 프레임으로서 이용되면, 시간 영역에서 많은 불연속성을 갖게 될 것이다. 이러한 불연속성은 사람 눈에 매우 성가시며 2가지 이유에 기인한다. 첫째로, 이동 벡터의 해상도가 허용된 계산 능력의 실제 문제로 인해 한정되기 때문이다. 예를 들어, 1/2 픽셀 해상도가 1 픽셀 해상도보다 좋지만 복잡성을 증가시킨다. 두 번째로, 프레임의 각 픽셀에 대한 이동량이, 백그라운드(background)로서 동일 벡터에 의해 기술될 수 없는 프레임 내에서의 물체 이동과 이미지 왜곡으로 인해, 반드시 동일하지 않기 때문이다.

로우 패스 시간 필터링은 상술한 불연속성에 기인한 산물을 두드러지게 감소시킨다. 그러나, 로우 패스 시간 필터링이 프레임 내의 모든 픽셀에 적용되면, 장면(scene)에 이동 물체가 있을 때 프레임을 선명치 않게 할 것이다. 그 문제점을 감소시키기 위하여, 재정렬 프레임이 참조 프레임과 픽셀 대 픽셀로 비교된다. 만 일 차이가 미리 설정된 임계치 이상이면, 픽셀에 로우 패스 필터링을 적용하지 않는다. 적응 시간 로우 패스 필터는 수학적으로 다음과 같이 표현된다.

1. p(i,j)를 얻기 위하여 참조 프레임의 u(i,j)에 대해 공간영역에서 로우 패스 필터링 한다.

2. q(i,j)를 얻기 위하여 재정렬 프레임의 s(i,j)에 대해 공간영역에서 로우 패스 필터링 한다.

3. 만일 ｜p(i,j)-q(i,j)｜＞ε(임계치) 이면, 시간영역에서 로우 패스 필터 s(i,j)를 수행하지 않고 s(i,j)에 의하여 u(i,j)를 직접 갱신한다.

4. 만일 ｜p(i,j)-q(i,j)｜＜ε(임계치) 이면, 시간영역에서 로우 패스 필터 s(i,j)를 수행하고 필터링된 픽셀값에 의하여 u(i,j)를 갱신한다.

위에서 논한 바와 같이, 동일 프레임의 각 픽셀에 대한 이동량은 동일하지 않다. 시간 로우 패스 필터링은 상이한 이동에 기인한 산물을 감소시킬 수 있으나, 얼마간의 고주파 성분이 제거된다. 다른 접근법으로서 픽셀 기반 이동 검색 알고리즘이 사용된다. 이 알고리즘에서, 각 픽셀의 이동은 동일 블록 매칭 알고리즘의 사용에 의해 찾을 수 있다. 그러나, 이러한 접근법은 상당한 CPU 전력을 요하고 간단한 응용을 위해서 너무 복잡하다. v(i,j)를 입력 프레임의 픽셀이라 하고 u(i,j)를 참조 프레임의 픽셀이라고 하면,

1. 참조 프레임의 모든 u(i,j)에 대하여, 좌표(i,j)를 중심으로 하는 참조 프레임으로부터 (2n+1)×(2m+1) 픽셀의 블록을 취하고, 이동 벡터를 찾기 위하여 입력 프레임에서 블록 매칭 검색을 한다.

2. 단계 1에서 찾아진 픽셀 이동 벡터의 평균을 계산한다.

3. 좌표(i,j)의 픽셀에 대하여, 평균 이동 벡터 측으로의 그 픽셀 이동 벡터의 거리를 계산한다. 만일 그것이 임계치를 초과하면,

참조 픽셀 u(i,j)을 인커밍 픽셀 v(i,j)로 대체하고;

그렇지 않으면

a. 공간영역에서 이동 벡터를 로우 패스 필터링하고

b. 입력 프레임으로부터 픽셀을 얻기 위하여 필터링된 벡터를 사용하고, 그 픽셀에 대하여 시간 영역에서 로우 패스 필터링하고,

c. 참조 픽셀을 대체하기 위하여 필터링된 픽셀을 사용한다.

가중함수가 블록 매칭 알고리즘에 사용될 수 있다. 가중치는 블록의 픽셀 위치에 좌우된다. 픽셀이 중앙에 가까울수록 적용되는 가중함수가 커진다. 참조 및 입력 프레임 모두는 가장 가까운 픽셀 값으로 메워짐으로써 확장된다. 왼쪽 및 오른쪽 경계 모두는 n 행에 의하여 확장되고, 위쪽 및 아래쪽 경계 모두는 m 열에 의하여 확장된다.

흔들림 방지 알고리즘을 사용하는 경우에 비디오는 카메라가 천천히 이동하는 때에 갑작스러운 움직임(jerky)을 보이게 됨을 확인하였다. 갑작스러운 움직임을 유발하는 이유는 다음과 같이 설명할 수 있다. 카메라 이동의 맨 처음에, 흔들림 방지 알고리즘은 양호한 매치를 찾을 수 있다. 입력 프레임은 비디오가 정지되어 보이도록 재정렬될 것이다. 이동 영역이 검색 범위를 초과하고 알고리즘이 양호 한 매치를 찾을 수 없을 때, 참조 프레임은 새로운 입력 프레임으로 리프레시(refresh) 될 것이다. 비디오는 갑자기 멀리 이동하게 될 것이다. 알고리즘은 참조 프레임의 리프레시 이후에 양호한 매치를 찾게 될 것이며 비디오는 다시 정지 상태로 될 것이다. 이동이 검색 거리를 초과하는 때, 갑작스러운 점프가 다시 발생된다. 이러한 현상은 비디오가 갑작스럽게 움직이고 성가시게 보이는 것으로 반복될 것이다. 한 해법은 카메라 이동을 흔들림 방지 알고리즘과 연결하는 것이다. 카메라가 이동할 때, 그것은 흔들림 방지 처리를 중지한다.

두번째 접근법은 어떤 최종 주기의 움직임 이동을 적분하기 위하여 적분기를 사용하는 것이다. 카메라가 어떤 방향으로 일정하게 이동할 때, 적분기 출력의 크기는 일정 값에 근접하고 그 값은 이동 속도에 관련된다. 속도가 높아질수록, 크기는 더 커진다. 카메라가 정지 상태일 때, 흔들림을 생성하는 카메라 이동은, 즉 일정한 부(negative)의 위치로부터 일정한 정(positive)의 위치까지의, 어떤 범위 내에 있을 것이다. 그러므로, 그 크기는 0에 가까울 것이다. 따라서 이동은 흔들림을 생성하고 실제 카메라 이동은 구분될 수 있다.

적분기가 가동되고 카메라가 정지 상태일 때, 비디오는 때때로 점프됨을 보이게 될 것이다. 참조 프레임이 항시 흔들림 범위의 중앙에 위치되지 않고 흔들림이 주기적이기 때문에, 적분기의 출력 크기가 축적되게 될 것이다. 최악의 경우는 주요 흔들림 주파수가 프레임(또는 필드) 주파수의 배수에 근접할 때이다. 이러한 문제는 임계치 증가, 적분 주기 감소, 흔들림 범위의 중앙으로의 참조 프레임의 점진적인 이동, 또는 적분기 가동 정지에 의하여 제거될 수 있다.

도 4는 적응적인 시간 로우 패스 필터링 기법을 이용하는 본 발명의 일 실시예의 논리 흐름을 보인 블록도 이다. 참조 프레임은 상기에서 논한 것처럼 획득되며 프레임 버퍼(102)에 저장된다. 입력 프레임, 즉, 분석될 인커밍 프레임은, 프레임 버퍼(102)로부터 참조 프레임과 함께 블록(104)에 공급된다. 블록(104)에서, 프레임 이동 벡터가 예를 들어, 블록 매칭에 의해 결정되고 입력 프레임의 프레임 이동이 실행되는 블록(106)에 공급된다. 재정렬 프레임이 프레임 버퍼(102)로부터 참조 프레임과 함께 블록(108)에 공급되며 본 발명의 적응 시간 로우 패스 필터링이 상술한 바와 같이 진동 영향을 제거하여 적당한 출력 프레임을 생성하고 프레임 버퍼를 갱신하기 위하여 실행된다.

순차적인 비디오에 적용하는 도 4에 도시된 본 발명의 흔들림 방지 방법은 인터레이스드 비디오(interlaced video)에도 적용될 수 있다. 비디오 감시 시스템은 일반적으로 비디오 대역폭을 절약하면서 매끄러운 화상을 제공하기 위하여 인터레이싱 방법의 화상 표시를 한다. 인터레이스드 디스플레이에서, 디스플레이는 각 프레임의 짝수 번 라인으로 이루어진 짝수 필드와, 각 프레임의 홀수 번 라인으로 이루어진 홀수 필드 간의 그리기를 번갈아 한다. 인터레이스드 프레임은 짝수 및 홀수 필드로 이루어지며 동영상을 구성하는 하나의 정지 이미지에 관련된다. 유사하게, 이러한 인터레이스드 시스템에서 사용되는 감시 카메라는 각 프레임으로부터 1/2라인, 즉, 한번에 하나의 필드만을 포착한다. 각 프레임의 필드의 쌍은 잔상에 기인하여 완전한 프레임의 외형을 주는 동일시간에 인지된다. 각 인터레이스드 비디오 프레임은 2개의 필드를 가지고, 각 필드는 상이한 시간에 포착된다. 불안정 카메라의 경우, 프레임에서 포착된 2개의 필드는 상이한 이동을 갖게 될 것이다. 그러므로, 각 필드는 개별적으로 처리될 필요가 있다. 그러나, 각 필드에 대해서 찾은 이동 벡터는 빠른 검색 알고리즘에 기인하여 최상이 아닐 것이다. 이런 이유 때문에, 2개의 필드 간에 미스 매치(mismatch)를 가져오고 미스 매치는 비디오의 질을 나쁘게 한다. 가장 간단한 해법은 하나의 필드를 버리는 것이지만, 용인할 수 없는 수준까지 비디오 해상도를 감소시키게 될 것이다. 본 발명의 방법은, 필드 2는 개념적으로 필드 1의 각 라인 쌍 간의 라인이므로, 필드 1로부터 필드 2에 대한 참조를 삽입한다. 본 발명을 실행하기 위한 두 가지의 삽입 알고리즘은 다음과 같이 나타내어진다.

필드 삽입 알고리즘 1:

열 i에 대하여, i=1부터 H/2-1까지

열 i의 픽셀 j에 대하여, j=1 부터 W까지

f2[i][j]=(f1[i][j]+f1[i+1][j])/2;

여기서 H와 W는 각기 프레임의 높이와 폭이고, f1은 필드 1의 픽셀이고, f2는 필드 2를 위한 삽입 픽셀이다.

필드 삽입 알고리즘 2:

열 i에 대하여, i=1부터 H/2-1까지

열 i의 픽셀 j에 대하여, j=2 부터 W-1까지

f2[i][j]=Median(f1[i][j-1], f1[i][j], f1[i][j+1],

f1[i+1][j-1], f1[i+1][j], f1[i+1][j+1]);

여기서 Median은 6개 픽셀 값 중에서 2개의 메디안(median)을 찾고 2개 메디안의 평균값을 삽입값으로서 사용한다. 알고리즘 2는 많은 시간이 걸리고, 단순화된 접근법은 다음과 같이 열거된다.

dif = |f1[i][j]-f1[i+1][j]|

if(dif<20)

f2[i][j]=(f1[i][j]+f1[i+1][j])/2

else

f2[i][j]=Median(f1[i][j-1], f1[i][j], f1[i][j+1],

f1[i+1][j-1], f1[i+1][j], f1[i+1][j+1]);

그러나, 대부분의 이웃 픽셀이 매우 유사하기 때문에, 평균값은 삽입으로서 사용될 수 있으므로, 계산 복잡성은 상당히 감소된다. 예를 들어, 필드 1로부터의 라인 1 및 라인 3의 라인 평균이 필드 2의 라인 2를 위한 삽입값을 얻기 위해 사용될 수 있으며, 필드 1로부터의 라인 3 및 라인 5의 라인 평균이 필드 2의 라인 4를 위한 삽입값을 얻기 위해 사용될 수 있다.

도 5는 인터레이스드 비디오 시스템에서 사용하기 위한 본 발명의 실시예의 논리 흐름을 보인 블록도이다. 참조 프레임은 상술한 바와 같이 얻어지고 프레임 버퍼(202)에 저장된다. 프레임 버퍼(202)로부터의 참조 프레임은, 블록(218)에서 필드 1 및 필드 2를 위한 2개 필드로 분리된다. 입력 프레임, 즉, 분석될 인커밍 인터레이스드 비디오 프레임은, 블록(204)에 공급되어서 필드 1 및 필드 2의 2개 필드로 분리된다. 필드 1은 블록(218)로부터의 필드 1 참조와 함께 블록(206)에 공급된다. 블록(206)에서, 순차적인 비디오의 전체 프레임에 관련하여 미리 논의한 바와 같이 동일한 기술을 이용하여, 필드 1을 위한 필드 이동 벡터가 결정된다. 입력 프레임으로부터의 필드 1과 필드 1을 위한 필드 이동 벡터는 블록(210)에 공급되어서 필드 이동이 수행된다. 이동된 필드 1은 참조 필드 1과 함께 상술한 바와 같이 적응 시간 로우 패스 필터링 기법이 수행되는 블록(214)에 공급된다. 블록(214)으로부터의 출력은 프레임 버퍼(202)에 저장된 참조 프레임을 갱신하기 위하여 블록(222)에 공급되며, 또한 블록(220)에 공급되어서 상술한 바와 같이 필드 1로부터 필드 2를 위한 삽입값이 계산된다. 필드 2를 위한 삽입값과 블록(204)으로부터의 필드 2는 필드 2를 위한 필드 이동 벡터의 결정을 위하여 블록(208)에 공급된다. 블록(208)으로부터의 필드 이동 벡터와 블록(204)으로부터의 필드 2는 재정렬 필드 2를 생성하기 위하여 블록(212)에 공급된다. 재정렬 필드 2는 필드 2를 위한 삽입값과 함께 블록(216)에 공급되며 본 발명의 적응 시간 로우 패스 필터링이 수행된다. 블록(216)으로부터의 출력은 필드 1과 진동 영향을 제거한 필드를 포함하는 출력 인터레이스드 프레임을 생성하기 위하여 블록(216)으로부터의 출력이 블록(214)으로부터의 출력과 병합되는 블록(222)에 공급된다. 블록(222)의 출력은 참조 프레임을 갱신하기 위하여 프레임 버퍼(202)에 공급된다.

가우시안 혼합 모델 참조(Gaussian mixture model reference)를 진화시킨 다른 방법은 픽셀을 위한 후보 모노그램 비디오 레벨과, 현재 저장 레벨의 정의된 변화 범위에서 발생한 픽셀을 위한 비디오 횟수를 나타내는 카운터를 포함하는 각 블 록 픽셀마다 3개 또는 그 이상의 메모리 블록을 사용하는 픽셀 배열을 생성하는 것이다.

매번, 각 픽셀 처리를 위해 제공되는 새로운 프레임은 이전 평균 픽셀의 변화 범위 내에 있는지를 보기 위하여 검사된다. 만일 긍정이면, 카운터는 정(positive)으로 증가하고 픽셀값은 이전 평균 픽셀값을 이용하여 평균화된다. 만일 픽셀값이 상이하면(변화 범위 바깥쪽이면), 그의 새로운 값은 그 픽셀을 위해 제2 메모리에 위치하고 그의 카운터는 1만큼 증가된다.

다음의 프레임에 대하여, 비디오는 허용된 변화 내에서 메모리의 제1 또는 제2 평균 비디오와 매치되며 새로운 비디오는 이전 비디오를 이용하여 평균화되며 그의 카운터는 증가된다. 만일 비디오가 그들의 허용된 변화 범위 내에서 제1 또는 제2 저장값과 매치되지 않으면 주워진 픽셀을 위한 제3 메모리에 위치하며 그의 카운터는 증가된다.

만일 픽셀이 비디오 증폭치를 포함하면, 이전 3개 메모리 위치와 상이하고, 가장 낮은 카운트를 갖는 위치는 새로운 비디오 값으로 대체되고 카운터는 1로 리세트된다. 최종 결과는 각 1개에 대해 3개 선택을 갖는 픽셀의 배열이다. 백그라운드 프레임은 가장 높은 메모리 카운트를 갖는 모든 개별 픽셀들의 조합이 된다.

이 접근법의 이점은 후보 백그라운드와 상당히 상이하거나 픽셀들이 버려지거나 제3의 저장소에 위치하고 현재 진행중인 평균 처리에 포함되지 않는다는 것이다.

발명의 범위를 벗어나지 않고서 본 발명의 변화 및 변경을 할 수 있음을 알 수 있을 것이다. 또한, 본 발명의 범위는 여기 공개된 특정 실시예에 국한되는 것으로 해석하여서는 아니 될 것이며, 앞의 공개에 비추어볼 때 청구범위에 따라서만 해석되어야 함을 알 수 있을 것이다.

Claims

참조 프레임(reference frame)을 획득하는 단계;

인커밍 프레임(incoming frame)을 수신하는 단계;

상기 인커밍 프레임을 위한 프레임 이동 벡터(frame traslation vector)를 결정하는 단계;

재정렬 프레임(realigned frame) 을 생성하기 위하여 상기 인커밍 프레임을 이동하는 단계;

상기 재정렬 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링(low pass filtering)을 수행하는 단계;

상기 참조 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하는 단계;

상기 참조 프레임의 필터링된 픽셀과 상기 재정렬 프레임의 필터링된 픽셀 간의 절대차를 결정하는 단계;

상기 절대차가 미리 결정된 임계치보다 작으면 출력 프레임을 생성하기 위하여 상기 재정렬 프레임의 픽셀에 대해 시간영역에서 로우 패스 필터링을 수행하는 단계; 및

상기 절대차가 상기 미리 결정된 임계치보다 크면 출력 프레임으로서 상기 재정렬 프레임을 공급하는 단계를 포함하는 것을 특징으로 하는 카메라 진동 영향 제거에 의한 비디오 이미지 개선 방법.
제1항에 있어서,

상기 절대차가 상기 미리 결정된 임계치보다 작으면 시간 영역에서 로우 패스 필터링한 후 상기 재정렬 프레임으로부터 픽셀값과, 상기 참조 프레임의 픽셀값의 합으로부터 평균 픽셀값을 계산함에 의하여, 상기 참조 프레임의 픽셀을 갱신하는 단계를 더 포함하는 것을 특징으로 하는 카메라 진동 영향 제거에 의한 비디오 이미지 개선 방법.
제2항에 있어서,

상기 절대차가 상기 미리 결정된 임계치보다 크면 상기 재정렬 프레임의 픽셀로 상기 참조 프레임의 픽셀을 갱신하는 단계를 더 포함하는 것을 특징으로 하는 카메라 진동 영향 제거에 의한 비디오 이미지 개선 방법.
제1항에 있어서,

상기 절대차가 상기 미리 결정된 임계치보다 크면 상기 재정렬 프레임의 픽셀로 상기 참조 프레임의 픽셀을 갱신하는 단계를 더 포함하는 것을 특징으로 하는 카메라 진동 영향 제거에 의한 비디오 이미지 개선 방법.
제1항에 있어서,

상기 비디오 이미지는 제1 및 제2 필드를 갖는 인터레이스드 비디오 이미지(interlaced video image)이고,

상기 방법은 상기 참조 프레임을 상기 제1 및 제2 필드로 분리하고 상기 수신된 인커밍 프레임을 제1 및 제2 필드로 분리하는 단계를 더 포함하며,

프레임 이동 벡터를 결정하는 상기 단계는 상기 제1 필드 및 제2 필드를 위한 이동 벡터를 결정하는 단계를 포함하고,

상기 재정렬 프레임을 생성하기 위하여 상기 인커밍 프레임을 이동하는 상기 단계는 재정렬된 제1 및 제2 필드를 생성하기 위하여 상기 제1 및 제2 필드를 이동하는 단계를 포함하며,

상기 재정렬 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하는 상기 단계는 상기 재정렬된 제1 및 제2 필드의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하는 단계를 포함하고,

상기 참조 프레임의 픽셀에 대해 상기 공간영역에서 로우 패스 필터링을 수행하는 상기 단계는 상기 참조 프레임의 상기 제1 및 제2 필드의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하는 단계를 포함하고,

상기 참조 프레임의 필터링된 픽셀과 상기 재정렬 프레임의 필터링된 픽셀 간의 절대차를 결정하는 상기 단계는 상기 참조 프레임의 제1 필드의 필터링된 픽셀과 상기 재정렬된 제1 필드의 필터링된 픽셀 간의 절대차를 결정하고 상기 참조 프레임의 제2 필드의 필터링된 픽셀과 상기 재정렬된 제2 필드의 필터링된 픽셀 간의 절대차를 결정하는 단계를 포함하고,

상기 절대차가 상기 미리 결정된 임계치보다 작으면 상기 출력 프레임을 생성하기 위하여 상기 재정렬 프레임의 픽셀에 대해 시간영역에서 로우 패스 필터링을 수행하고 상기 절대차가 상기 미리 결정된 임계치보다 크면 상기 출력 프레임으로서 상기 재정렬 프레임을 공급하는 상기 단계는 상기 절대차가 상기 미리 결정된 임계치보다 작으면 출력된 제1 필드를 생성하기 위하여 상기 재정렬된 제1 필드의 픽셀에 대해 시간영역에서 로우 패스 필터링을 수행하고, 상기 절대차가 상기 미리 결정된 임계치보다 크면 출력된 제2 필드를 생성하기 위하여 상기 재정렬된 제2 필드의 픽셀에 대해 시간영역에서 로우 패스 필터링을 수행하고 상기 절대차가 상기 미리 결정된 임계치보다 크면 상기 출력 프레임으로서 상기 재정렬된 제1 및 제2 필드를 공급하는 단계를 포함하는 것을 특징으로 하는 카메라 진동 영향 제거에 의한 비디오 이미지 개선 방법.
제5항에 있어서,

상기 제2 필드를 위한 이동 벡터를 결정하는 상기 단계는 상기 제1 필드를 삽입함에 의하여 상기 제2 필드를 위한 참조 필드를 결정하는 단계를 포함하는 것을 특징으로 하는 카메라 진동 영향 제거에 의한 비디오 이미지 개선 방법.
비디오 이미지를 포함하는 복수의 프레임을 저장하기 위한 메모리; 및 메모리에 연결되고 복수의 프레임으로부터 참조 프레임을 획득하고, 상기 메모리로부터 인커밍 프레임을 수신하고, 상기 인커밍 프레임을 위한 프레임 이동 벡터를 결정하고, 재정렬 프레임을 생성하기 위하여 상기 인커밍 프레임을 이동하고, 상기 재정렬 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하고, 상기 참조 프레임의 픽셀에 대해 공간영역에서 로우 패스 필터링을 수행하고, 상기 참조 프레임의 필터링된 픽셀과 상기 재정렬 프레임의 필터링된 픽셀 간의 절대차를 결정하고, 상기 절대차가 미리 결정된 임계치보다 작으면 출력 프레임을 생성하기 위하여 상기 재정렬 프레임의 픽셀에 대해 시간영역에서 로우 패스 필터링을 수행하고, 상기 절대차가 상기 미리 결정된 임계치보다 크면 상기 출력 프레임으로서 상기 재정렬 프레임을 공급하도록 프로그램되는 프로세서를 포함하는 것을 특징으로 하는 카메라 진동 영향 제거에 의한 비디오 이미지 개선 장치.
제7항에 있어서,

상기 프로세서는 상기 절대차가 상기 미리 결정된 임계치보다 작으면 시간 영역에서 로우 패스 필터링한 후에, 상기 재정렬 프레임으로부터 픽셀값과, 상기 참조 프레임의 픽셀값의 합으로부터 평균 픽셀값을 계산함에 의해, 상기 참조 프레임의 픽셀을 갱신하도록 더 프로그램되는 것을 특징으로 하는 카메라 진동 영향 제거에 의한 비디오 이미지 개선 장치.
제8항에 있어서,

상기 프로세서는 상기 절대차가 상기 미리 결정된 임계치보다 크면 상기 재정렬 프레임의 픽셀로 상기 참조 프레임의 픽셀을 갱신하도록 더 프로그램되는 것을 특징으로 하는 카메라 진동 영향 제거에 의한 비디오 이미지 개선 장치.
제7항에 있어서,

상기 프로세서는 상기 절대차가 상기 미리 결정된 임계치보다 크면 상기 재정렬 프레임의 픽셀로 상기 참조 프레임의 픽셀을 갱신하도록 더 프로그램되는 것을 특징으로 하는 카메라 진동 영향 제거에 의한 비디오 이미지 개선 장치.
컴퓨터에 의해 실행하는 때에, 컴퓨터가 제1항의 방법을 실행하게 하는 명령을 포함하는 것을 특징으로 하는 컴퓨터로 판독 가능한 매체.
제11항에 있어서,

컴퓨터에 의해 실행될 때에, 상기 절대차가 상기 미리 결정된 임계치보다 작으면 시간 영역에서 로우 패스 필터링한 후에, 상기 재정렬 프레임으로부터 픽셀값과, 상기 참조 프레임의 픽셀값의 합으로부터 평균 픽셀값을 계산함에 의하여, 상기 참조 프레임의 픽셀을 갱신하게 하는 명령을 더 포함하는 것을 특징으로 하는 컴퓨터로 판독 가능한 매체.
제11항에 있어서,

상기 절대차가 상기 미리 결정된 임계치보다 크면 상기 재정렬 프레임의 픽셀로 상기 참조 프레임의 픽셀을 갱신하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터로 판독 가능한 매체.