KR101268758B1

KR101268758B1 - 영상의 강도 보정을 제공하는 회로를 구비한 집적회로 및 강도 보정을 제공하는 방법

Info

Publication number: KR101268758B1
Application number: KR1020117021258A
Authority: KR
Inventors: 저스틴 쥐. 델바; 모하메드 에스. 사예드
Original assignee: 자일링크스 인코포레이티드
Priority date: 2009-02-12
Filing date: 2010-01-07
Publication date: 2013-05-29
Also published as: JP2012517765A; EP2396764A1; KR20110126144A; WO2010093484A1; US8077219B2; US20100201883A1; CN102317970A; JP5236085B2; CN102317970B; EP2396764B1

Abstract

영상에 대한 강도 보정을 제공하는 방법이 개시된다. 이 방법은 영상 프레임의 일부를 평가하는 단계(602)와; 프레임의 현재 블록과 이전 프레임의 대응 블록의 강도 차를 결정하는 단계(604)와; 제1 파라미터 집합과 일치하는 경우 국소 강도 보정으로 프레임의 모든 블록을 보정하는 단계(607)와; 제1 파라미터 집합과 일치하지 않는 경우 프레임의 현재 블록을 포괄적 강도 보정과 국소 강도 보정 둘 다에 의해 보정하는 단계(608, 614)를 포함한다. 영상에 대한 강도 보정을 제공하는 회로를 구비한 집적회로(202)가 또한 개시된다.

Description

영상의 강도 보정을 제공하는 회로를 구비한 집적회로 및 강도 보정을 제공하는 방법{AN INTEGRATED CIRCUIT HAVING A CIRCUIT FOR AND METHOD OF PROVIDING INTENSITY CORRECTION FOR A VIDEO}

본 발명은 일반적으로 집적회로에 관한 것이고, 특히 영상의 강도 보정(intensity correction)을 제공하는 방법에 관한 것이다.

영상 감시 시장은 카메라 기술의 개선 및 가격 저하에 힘입어서 최근 수년간 수요의 증가를 보여왔다. 디지털 기록 장치의 개선된 능력 및 영상 분석이 가능한 새로운 컴퓨팅 플랫폼이 또한 수요의 증가에 기여하여 왔다. 영상 감시 시스템의 응용은 침입에 대한 보안으로부터, 공지의 밀폐 환경 또는 항공 감시 응용에서와 같은 공지되지 않은 동적 환경 모두에서의 활동을 감시하고 추적하는 것까지의 범위에 이른다. 또한, 더 나은 영상 해상도의 필요성은 영상 감시를 위한 고선명도(HD)율을 이용함에 있어서 관심을 유발하였다.

집적회로는 감시 설비를 비롯한 임의의 전자 장치의 통합 부품이다. 각종 집적회로는 가끔 함께 사용되어 영상 감시 네트워크와 같은 전자 장치의 동작을 가능하게 한다. 집적회로가 전형적으로 특수 용도로 설계되지만, 어떤 집적회로는 구성가능 로직(configurable logic)을 가질 수 있다. 예를 들면, 특수 용도 집적회로(ASIC)는 그 일부가 구성가능 로직을 포함할 수 있다. 구성가능 로직을 가진 다른 유형의 집적회로는 프로그래머블 논리 장치(PLD)이다. 프로그래머블 논리 장치는 사용자가 프로그램할 수 있는 형식으로 설계되어 사용자가 그들의 선택에 맞춰서 논리 설계를 구현할 수 있다. 프로그래머블 논리 장치의 한가지 유형은 복합 프로그래머블 논리 장치(CPLD)이다. CPLD는 함께 접속될 뿐만 아니라 상호접속 스위치 매트릭스에 의해 입력/출력(I/O) 리소스에 접속되는 2-레벨 AND/OR 구조를 가진 2개 이상의 "기능 블록"을 구비한다. 다른 유형의 프로그래머블 논리 장치는 필드 프로그래머블 게이트 어레이(FPGA)이다. 전형적인 FPGA에 있어서, 구성가능 논리 블록(CLB)의 어레이는 프로그래머블 입력/출력 블록(IOB)에 결합된다. CLB와 IOB는 프로그래머블 라우팅 리소스의 계층구조(hierarchy)에 의해 상호접속된다. 상기 2가지 유형의 프로그래머블 논리 장치에 있어서, 장치의 기능은 해당 목적으로 장치에 제공된 구성 비트스트림의 구성 데이터 비트에 의해 제어된다.

모든 전자 시스템과 마찬가지로, 시스템의 품질을 향상시키고 시스템의 가격을 저하시키고자 하는 욕구가 항상 있다. 영상 데이터 포착 시스템이 임의 유형의 집직회로와 함께 사용될 수 있지만, 영상 품질 및 처리할 데이터 양은 고객 수요를 맞추도록 시스템을 구현하는데 있어서 중요한 문제점이다.

영상의 프레임에 대한 강도 보정을 제공하는 방법의 실시예가 개시된다. 이 방법은 영상 프레임의 일부를 평가하는 단계와; 프레임의 현재 블록과 이전 프레임의 대응 블록의 강도 차를 결정하는 단계와; 제1 파라미터 집합과 일치하는 경우 국소(local) 강도 보정으로 프레임의 모든 블록을 보정하는 단계와; 제1 파라미터 집합과 일치하지 않는 경우 프레임의 현재 블록을 포괄적(global) 강도 보정과 국소 강도 보정 둘 다에 의해 보정하는 단계를 포함한다. 제1 파라미터 집합과 일치하는 경우 국소 강도 보정으로 프레임의 모든 블록을 보정하는 단계는 프레임의 현재 블록과 이전 프레임의 대응 블록의 강도 차가 미리 정해진 임계치를 초과하고 포괄적 이득 계수(gain factor)가 미리 정해진 범위 밖에 있는지 여부를 결정하는 단계를 포함할 수 있다. 프레임의 현재 블록을 포괄적 강도 보정과 국소 강도 보정으로 보정하는 단계는 프레임의 현재 블록을 포괄적 이득 계수를 이용하여 보정하는 단계와; 프레임의 현재 블록을 포괄적 이득 계수를 이용하여 보정한 후 프레임의 현재 블록과 이전 프레임의 대응 블록의 강도 차를 결정하는 단계와; 프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정하는 단계를 포함한다.

이 실시예에 있어서, 프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정하는 단계는 프레임의 현재 블록을 포괄적 이득 계수를 이용하여 보정한 후 프레임의 현재 블록과 이전 프레임의 대응 블록 간의 강도 차가 미리 정해진 제2 임계치를 초과하는지 여부를 결정하는 단계를 포함할 수 있다. 프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정하는 단계는 포괄적 이득 계수가 미리 정해진 범위 밖에 있는지 여부를 결정하는 단계를 포함할 수 있다. 이 방법의 실시예는 2개의 이전 블록이 왜곡되었는지 여부를 결정하는 단계와 2개의 이전 블록이 왜곡되지 않았으면 왜곡된 블록의 수로 국소 강도 카운터를 갱신하는 단계를 또한 포함할 수 있다. 더 나아가, 이 방법의 실시예는 현재 프레임 내에서 2개의 이전 블록이 왜곡된 경우 이전 블록을 보정하는 단계를 또한 포함할 수 있다.

다른 실시예에 따르면, 영상의 프레임에 대한 강도 보정을 제공하는 방법은 영상 프레임의 일부를 평가하는 단계와; 프레임의 현재 블록과 이전 프레임의 대응 블록 간의 강도 차를 결정하는 단계와; 프레임의 보정된 현재 블록과 이전 프레임의 대응 블록의 강도 차가 미리 정해진 임계치 미만이거나 포괄적 이득 계수가 미리 정해진 범위 내에 있는 경우 프레임의 현재 블록을 포괄적 이득 계수를 이용하여 보정하는 단계와; 프레임의 현재 블록을 포괄적 이득 계수를 이용하여 보정한 후 프레임의 현재 블록과 이전 프레임의 대응 블록의 강도 차를 결정하는 단계와; 프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정하는 단계를 포함한다. 국소 강도 보정은 프레임의 현재 블록과 이전 프레임의 대응 블록의 강도 차가 미리 정해진 제2 임계치를 초과하고 포괄적 이득 계수가 미리 정해진 범위 밖에 있으면 프레임의 각 블록에 대하여 블록 단위로 수행될 수 있다.

이 방법의 실시예는 포괄적 이득 계수를 추정하는 단계와 프레임의 현재 블록과 이전 프레임의 대응 블록의 강도 차를 결정하기 전에 포괄적 이득 계수를 이용하여 프레임의 일부를 보정하는 단계를 또한 포함할 수 있다. 이 실시예에서, 프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정하는 단계는 프레임의 현재 블록을 포괄적 이득 계수를 이용하여 보정한 후 프레임의 현재 블록과 이전 프레임의 대응 블록의 강도 차를 미리 정해진 제2 임계치와 비교하는 단계와, 포괄적 이득 계수가 미리 정해진 범위 밖에 있는지 여부를 결정하는 단계를 포함할 수 있다. 이 방법의 실시예는 프레임의 현재 블록을 포괄적 이득 계수를 이용하여 보정한 후 프레임의 현재 블록과 이전 프레임의 대응 블록의 강도 차가 미리 정해진 제2 임계치를 초과하는지 여부를 결정하는 단계와, 포괄적 이득 계수가 미리 정해진 범위 내에 있는지 여부를 결정하는 단계를 또한 포함할 수 있다. 이 실시예는 2개의 이전 블록이 왜곡되었는지 여부를 결정하는 단계와 2개의 이전 블록이 왜곡되지 않았으면 왜곡된 블록의 수로 국소 강도 카운터를 갱신하는 단계를 또한 포함할 수 있다. 더 나아가, 이 실시예는 현재 프레임 내에서 2개의 이전 블록이 왜곡된 경우 이전 블록을 보정하는 단계를 또한 포함할 수 있다.

영상의 프레임에 대해 강도 보정을 제공하는 회로를 구비한 집적회로의 실시예가 또한 개시된다. 집적회로는 영상과 관련된 데이터의 프레임을 수신하도록 결합된 버퍼와; 버퍼에 결합되어 있고 영상 프레임의 일부를 분석하며 프레임의 보정된 부분과 이전 프레임의 대응 부분의 강도 차가 미리 정해진 임계치보다 크고 포괄적 이득 계수가 미리 정해진 범위 밖에 있는 경우 프레임의 모든 블록을 국소 강도 보정에 의해 보정하는 프로세서와; 프로세서에 결합되어 있고 프로세서에 의해 발생된 프레임에 대한 보정된 강도 계수를 수신하는 메모리를 포함한다.

이 실시예에서, 현재 프레임의 보정된 부분과 이전 프레임의 대응 부분은 현재 프레임의 상위 5행과 이전 프레임의 상위 5행을 포함할 수 있다. 프로세서는 프레임의 현재 블록과 이전 프레임의 대응 블록의 강도 차가 미리 정해진 임계치 미만이고 포괄적 이득 계수가 미리 정해진 범위 내에 있는 경우, (1) 프레임의 현재 블록을 포괄적 이득 계수를 이용하여 보정하고; (2) 프레임의 현재 블록을 포괄적 이득 계수를 이용하여 보정한 후 프레임의 현재 블록과 이전 프레임의 대응 블록의 강도 차를 결정하며; (3) 프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정함으로써 프레임의 현재 블록을 보정할 수 있다. 프로세서는 프레임의 현재 블록을 포괄적 이득 계수를 이용하여 보정한 후 프레임의 현재 블록과 이전 프레임의 대응 블록의 강도 차가 미리 정해진 제2 임계치를 초과하는지 여부를 결정함으로써 프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정할 수 있다. 프로세서는 포괄적 이득 계수가 미리 정해진 범위 밖에 있는지 여부를 결정함으로써 프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정할 수 있다. 프로세서는 또한 2개의 이전 블록이 왜곡되었는지 여부를 결정하고, 2개의 이전 블록이 왜곡되지 않았으면 왜곡된 블록의 수로 국소 강도 카운터를 갱신하고, 현재 프레임 내에서 2개의 이전 블록이 왜곡되었으면 이전 블록을 보정할 수 있다.

본 발명에서 포괄적 강도 보정 및 국소 강도 보정의 선택은 프로세서 집약적인 국소 강도 보정의 양을 최소화하여 영상 이미지를 처리할 때 데이터 처리 필요조건을 최소화하도록 수행되게 하는 효과를 제공한다.

도 1은 본 발명의 실시예에 따른 감시 시스템의 블록도이다.
도 2는 본 발명의 실시예에 따라서 영상 이미지의 픽셀에 대한 파라미터를 수신하는 메모리에 결합된 집적회로의 블록도이다.
도 3은 본 발명의 실시예에 따라서 프레임의 이미지 강도를 보정하기 위한 포맷을 선택하는 회로의 블록도이다.
도 4는 본 발명의 실시예에 따른 포괄적 강도 보정을 보인 블록도이다.
도 5는 본 발명의 실시예에 따라서 프레임의 강도 값 갱신을 보여주는 블록도이다.
도 6은 본 발명의 실시예에 따라서 영상 이미지의 강도 보정을 제공하는 방법으로 보인 흐름도이다.
도 7은 본 발명의 실시에에 따라서 포괄적 및 국소 강도 보정을 제공하는 회로의 블록도이다.
도 8은 본 발명의 실시예에 따라서 도 1~7의 회로를 구현하기 위한 프로그래머블 논리 장치의 블록도이다.
도 9는 본 발명의 실시예에 따라서 도 8의 회로의 구성가능 논리 요소의 블록도이다.

먼저, 도 1을 참조하면, 본 발명의 실시예에 따른 감시 시스템의 블록도가 도시되어 있다. 도 1에 도시된 바와 같이, 감시 시스템(100)은 제어 컴퓨터(102)에 결합된 복수 개의 유사한 구조의 카메라 시스템(101)을 구비한다. 각 카메라 시스템(101)은 카메라(103)를 포함하는데, 이 카메라(103)는 공동으로 이용할 수 있고 고선명 텔레비전(HDTV) 표준과 같은 미리 규정된 표준에 따라서 영상 이미지를 발생할 수 있다. 카메라는 프로그래머블 로직 및 프로세서(108)를 구비한 집적회로(106)를 포함할 수 있는 카메라 시스템의 데이터 처리 블록(104)에 결합된다. 뒤에서 자세히 설명하는 것처럼, 프로세서는 프로그래머블 로직을 구비한 집적회로에 통합될 수 있다.

이미지 조절 블록(110)은 카메라와 인터페이스 접속하여 비 비월주사(de-interlacing)(만일 필요하면), 입력 데이터 전송률의 업/다운 변환(만일 필요하면), 및 이미지 안정화 및 프레임간 정렬을 위한 포괄적 움직임 보상을 수행한다. 대안적으로, 카메라는 이미지 조절 블록의 특징(feature)들을 제공할 수 있다. 강도 보정 블록(112)은 환경 및 카메라의 자기 조정(self-adjustment) 기능에 의해 야기된 변화를 조명하도록 자기 조정되고, 프레임들 사이에서 매끄러운 강도 전이(intensity transition)를 유지한다. 배경 추정 블록(114)은 클러스터 및 움직이는 물체의 존재하에 배경을 결정하고, 움직이는 물체를 검출하기 위해 깨끗한 전경 세분화를 가능하게 한다. 이것에 대해서는 뒤에서 자세히 설명한다. 배경 추정 블록(114)은 배경의 추정치를 발생한다. 그림자 제거 블록(116)은 그림자가 전경으로서 검출되는 것을 방지하고, 물체 추적 블록(118)은 검출된 물체의 이동이 프레임들 사이에서 추적될 수 있게 한다. 즉, 추적되는 물체는 시간에 따라서 물체와 관련된 픽셀의 변화에 의해 식별될 수 있고, 변화는 움직이는 물체로서 한정하기 위한 소정의 기준에 부합한다. 물체 추적 정보를 발생하기 위해, 배경 및 물체와 관련된 임의의 그림자는 제거된다. 인코더(120)는 네트워크 채널에 보내지기 전에 영상 스트림을 압축한다. 제어 컴퓨터는 그 다음에 비압축 영상 신호와 함께 물체 추적 정보를 이용함으로써 장시간에 걸쳐 개선된 분해능으로 관심대상 물체를 더 쉽게 식별할 수 있다.

물체 추적 정보와 같은 낮은 대역폭의 분류 정보는 분류 블록(122)에서 발생되어 메타데이터와 함께 메타데이터 버퍼(124)에 저장될 수 있다. 메타데이터는 예를 들면 영상을 취득한 날짜 및 카메라 설정의 세부, 예컨대 렌즈, 촛점 길이, 조리개(aperture), 셔터 타이밍 및 화이트 밸런스 등을 포함할 수 있다. 프로세서(108)는 또한 엔포서(enforcer)(128)에 응답하여 카메라 제어 기능(126)을 제공할 수 있다. 네트워크 인터페이스(130)는 암호화 영상 데이터, 메타데이터 및 카메라 제어 정보를 네트워크 통신 링크(129)에 제공한다. 제어 컴퓨터(102)는 네트워크 통신 링크(129)에 결합되어서 각 카메라 시스템(101)의 네트워크 인터페이스(130)로부터 데이터를 수신한다. 제어 컴퓨터는 하나 이상의 카메라 시스템에 대한 이미지를 디스플레이하기 위한 모니터를 구비한 임의 유형의 범용 컴퓨터일 수 있다. 통신 링크(129)는 전기통신 네트워크와 같은 임의 유형의 유선 또는 무선 통신망, 또는 근거리 통신망(LAN) 또는 광역 통신망(WAN)과 같은 데이터 네트워크의 일부일 수 있다. 낮은 대역폭 기능은 집적회로 외부의 프로세서에 속할 수 있고, 상기 집적회로는 예를 들면 프로그래머블 로직을 구비한 집적회로, 또는 내장형(imbedded) 프로세서 코어를 구비한 FPGA와 같이 프로그래머블 로직을 구비한 집적회로의 내장형 프로세서 코어일 수 있다. 비록 데이터 처리 블록(104)이 카메라와 분리되어 도시되어 있지만, 임의의 부품 또는 데이터 처리 블록의 전체가 카메라에 통합될 수 있다. 유사하게, 비록 제어 컴퓨터(102)가 카메라 시스템과 분리되어 도시되어 있지만, 제어 컴퓨터는 하나 이상의 카메라 시스템에 통합될 수 있다.

감시 시스템의 카메라 시스템에 데이터 처리 블록(104)을 사용함으로써, 저가의 감시 시스템이 구현된다. 그러나, 유익한 물체 추적 정보를 제공하기 위해, 강도 보정, 배경 추정 및 그림자 제거가 수행되어야 한다. 각 카메라에 대해 강도 보정 및 배경 추정과 같은 높은 처리 대역폭 기능을 구현함으로써, 처리 집약성 기능이 제어 컴퓨터와 떨어져서 구현되어 물체 추적을 제공할 수 있고, 이때 영상 이미지 및 물체 추적 정보를 나타내는 압축 데이터가 제어 컴퓨터에 제공된다.

이제 도 2를 참조하면, 본 발명의 실시예에 따라서 영상 이미지의 픽셀에 대한 파라미터를 수신하는 메모리에 결합된 집적회로의 블록도가 도시되어 있다. 집적회로(202)는 강도 보정 블록과 배경 추정 및 감산 블록을 제공하는 하드웨어 가속기를 포함한다. 특히, 집적회로(202)는 집적회로(202)에서 발생한 데이터를 저장하는 오프칩 메모리(204)에 결합될 수 있다. 픽셀 버퍼(206)는 이미지 조절 회로(110)와 같은 이미지 조절 회로의 출력을 수신하도록 결합된다. 픽셀 버퍼의 출력은 포괄적 및 국소 강도 보정 블록(208)에 결합된다. 포괄적 및 국소 강도 보정 블록(208)의 출력 또는 야간 콘트라스트 강화 블록(210)에 의해 처리된 데이터는 멀티플렉서(211)에 의해 선택되고 적응성 배경 추정 및 감산 블록(212)에 결합된다. 뒤에서 자세히 설명하는 것처럼, 도 2의 회로는 프레임을 저장할 필요없이 HD 시퀀스에서 영상 세분화(video segmentation)를 수행하고, 그에 따라서 외부 메모리 대역폭과 관련하여 효율적인 회로를 제공한다. 회로는 집적회로에서의 공간(real-estate)과 관련하여 규모가 또한 작고, 감시 시장에서 폭넓게 사용될 수 있다.

인간 눈의 수용체(receptor)는 400nm 내지 700nm의 파장을 가진 빛만을 탐지할 수 있다. 이 수용체는 콘(cone)이라고 부르며, 적색광에 대한 하나의 유형, 녹색광에 대한 하나의 유형 및 청색광에 대한 하나의 유형을 포함한 3개의 다른 유형으로 되어 있다. 단일 파장의 빛이 관측되면, 상기 3개의 수용체의 상대 응답에 의해 우리는 우리가 빛의 색이라고 부르는 것을 인식할 수 있다. 이 현상은 단지 3개의 다른 파장으로부터의 빛의 각종 비율을 함께 단순히 가산함으로써 색의 범위를 발생할 수 있기 때문에 극히 유용하다. 부가적 색 조화(additive color matching)라고 알려져 있는 처리는 컬러 텔레비전 시스템에서 사용되고, 이때 디스플레이될 결과적인 이미지는 디스플레이될 화소 즉 픽셀의 어레이로 분할된다.

일반적으로, 각 픽셀은 소정 비율의 적색, 녹색 또는 청색을 디스플레이한다. 적색, 청색 및 녹색의 이미지 표시는 일반적으로 RBG라고 부른다. 그러나, 이러한 RBG 색 성분의 전송 또는 저장은 상당한 대역폭을 필요로 하고, 집적회로는 고선명 텔레비전(HDTV) 이미지에서의 다량의 데이터와 같은 데이터를 처리하는데 있어서 더 어려운 시간을 가질 수 있다. 따라서, 디스플레이될 이미지의 대역폭을 줄이기 위해 휘도 및 색차 부호화가 가끔 사용된다. 예를 들면, YUV 포맷은 밝기와 관련된 휘도 성분(루마(Luma)라고도 알려져 있음)을 표시하는 Y 부분과, 색과 관련된 색도 성분(크로마 1 및 크로마 2라고도 알려져 있음)을 표시하는 U 및 V 부분을 포함한다. 대역폭을 줄이는 것 외에, YUV 포맷은 표준 RBG 포맷보다 더 밀접하게 인간의 색 인식을 모델링한다. YUV420은 매 4개의 루마(Y) 바이트에 대해 2개의 크로마 바이트가 있음(Cr과 Cb가 교대로)을 의미한다. YUV 포맷에 의해 제공되는 감소된 대역폭을 갖는 경우에도, HDTV 포맷은 상당한 데이터 필요조건을 갖는다. HDTV 프레임은 1920×1080 픽셀을 가질 수 있고 전통적인 표준 선명도 TV의 대역폭의 6배를 사용할 수 있다. 따라서, 배경 이미지로서 저장된 데이터량의 임의의 감소는 유익할 것이다.

도 2에 도시된 바와 같이, 포괄적 및 국소 강도 보정과 적응성 배경 추정 및 감소는 이미지의 배경 부분과 관련된 파라미터를 발생하도록 구현된다. 영상은 프레임이라고도 알려져 있는 이미지 시퀀스를 포함한다. 프레임간 차에 기반을 둔 배경 추정 알고리즘은 변화하는 배경 장면을 다룰 때에 에러를 일으키기 쉽다. 픽셀의 임시 메디안(median) 필터링을 수행하는 방법은 실질적인 프레임 버퍼링을 필요로 하고, 따라서 고도의 동적 장면에 대해 매력없게 만든다. 픽셀의 온라인 임시 평균(temporal mean)의 취득에 기반하는 적응성 배경 방법이 더 적은 프레임 버퍼링을 필요로 하지만, 픽셀은 실제 장면에서 시간에 따라 하나 이상의 평균을 가질 수 있고, 이때 각 평균은 픽셀의 다른 배경 모드를 대표한다. 이러한 픽셀은 다중 양식(multi-modal)이고 온라인 평균화 방식에서 단일 통계 표시를 사용할 때처럼 적절히 특징화되지 않는다. 다중 양식 배경 이미지 시퀀스를 모델링하기 위해 정상 분포의 혼합물을 사용하는 적응성 방법이 사용될 수 있다. 각 픽셀에 대하여, 그 배경 혼합물에 있어서 각 정상 분포는 픽셀의 특수 강도 또는 색을 관측하는 확률에 대응한다. 이것은 배경 클러스터가 픽셀 보기(pixel's view)에서 나타나는 하나 이상의 표면에 의해 발생되는 장면과 일치한다. 각 표면은 표면 강도 또는 색과 동일한 평균 및 표면 텍스쳐, 조명 변동 또는 카메라 노이즈에 기인하는 변화를 가진 정규 분포에 의해 표시된다. 도 3의 회로에 따르면, 감소된 데이터 전송 필요조건은 포괄적 강도 보정 및 국소 강도 보정을 둘 다 사용하는 강도 보정을 이용함으로써 또한 달성될 수 있다. 즉, 국소 강도 보정은 처리 집약성이기 때문에, 이하에서 설명하는 포괄적 및 국소 강도 보정을 제공하는 방법은 픽셀에 대한 강도 값의 갱신 필요조건을 또한 감소시키고, 그에 따라서 데이터를 전송하는데 필요한 대역폭을 감소시킬 수 있다.

도 3은 본 발명의 실시예에 따라서 프레임의 이미지 강도를 보정하는 포맷을 선택하기 위한 회로의 블록도이다. 특히, 포괄적 강도 보정 블록(302) 및 국소 강도 보정 블록(304)은 입력 신호를 수신하고 픽셀

및

에 대한 수정된 강도 값을 각각 발생하도록 결합된다. 제어 유닛(306)은 수정 강도 값(

)으로서 발생되는 보정 값을 선택하도록 멀티플렉서(308)를 제어하기 위해 사용될 수 있다. 뒤에서 자세히 설명하는 바와 같이, 포괄적 강도 보정 및 국소 강도 보정의 선택은 프로세서 집약적인 국소 강도 보정의 양을 최소화하여 영상 이미지를 처리할 때 데이터 처리 필요조건을 최소화하도록 수행될 수 있다.

영상 감시 시스템은 일반적으로 조명 조건이 충분히 제어되는 통제가 잘 된 환경에서 잘 동작한다. 영상 감시 및 움직이는 물체 탐지 및 추적에서 사용되는 대부분의 알고리즘은 일정한 이미지 강도를 가정하기 때문에, 조명 환경의 변화는 상기 알고리즘의 수행에 영향을 줄 수 있다. 이미지 강도의 변화는 포괄적 강도 변화 및 국소 강도 변화로 분류될 수 있다. 포괄적 강도 변화는 전체 프레임에 고르게 영향을 주는 균형잡힌 변화이다. 예를 들면, 포괄적 강도 변화는 조명의 스위치 온 또는 오프에 기인하는 조도 변화, 또는 태양 앞에서 움직이는 구름에 의한 조도 변화에 의해 야기될 수 있다. 또한, 카메라는 기술들의 조합을 이용하여 그 디지타이저 동적 범위로 반사광을 최적으로 맵하고, 이미지 강도를 변화시킬 수 있다. 일반적으로 사용되는 기술은 시야 내의 조명의 양에 따라서 노출을 설정하기 위해 사용되는 자동 이득 제어(AGC), 모든 색의 강도를 보정하기 위해 "진백(true white)"에 대한 카메라 기준을 적응시키는 자동 화이트 밸런싱, 및 렌즈를 통해 들어오는 광량(즉, 노출)을 조절하기 위해 사용되는 자동 아이리스(iris) 제어가 있다. 어두운 물체와 밝은 물체를 동시에 가진 장면에서, AGC는 레벨을 평균화하려고 할 때 너무 밝게 하거나 너무 어둡게 함으로써 과잉/과소 보상할 수 있다. 대안적으로, 국소 강도 변화는 프레임의 많은 영역에서 프레임의 나머지보다 더 많은 영향을 주는 불균형 변화를 야기할 수 있고, 카메라 플래시와 같이 갑자기 짧은 시간 동안 발생할 수 있다.

이미지 강도는 다음과 같이 모델링될 수 있다.

여기에서, I(t)는 현재 이미지 강도이고, I_r(t)는 기준 이미지 강도이며, a(t)는 겉보기(apparent) 이득 계수이고, N_total(t)는 제로 평균(zero-mean)을 가진 총 잡음이다. 포괄적 강도 변화는 수학식 1에 나타낸 것처럼 겉보기 이득 계수를 이용하여 보정될 수 있다.

여기에서 Y(t)는 관측된 이미지 강도이고

는 보정된 이미지 강도이다. 2가지의 고려사항은 기준 이미지 I_r(t)를 어떻게 선택하고 a(t)를 어떻게 계산할 것인지이다.

시퀀스의 제1 프레임은 기준 이미지로서 사용될 수 있다. 시퀀스의 제1 프레임을 기준 프레임으로서 사용하는 것은 장면이 변화하면 잘 작용하지 않을 수 있기 때문에, 기준 이미지를 주기적으로 새롭게 할 필요가 있을 수 있다. 예를 들면, 기준 이미지는 수 개의 프레임마다 기준 이미지를 선택함으로써 또는 기준 이미지로서 이전 프레임을 사용함으로써 새롭게 될 수 있다. 어느 경우이든 기준 이미지는 보정되지 않은 이미지 또는 이전에 보정된 이미지일 수 있다. 보정되지 않은 이미지는 만일 선택된 기준 이미지가 왜곡되어 있으면 왜곡된 출력을 유도할 수 있고, 이전에 보정된 이미지는 보정 에러를 전파할 수 있다.

수학식 2의 a(t)를 계산하는 4개의 수학식은 다음과 같다.

평균의 지수(quotient of average), 메디안의 지수, 지수의 평균 및 지수의 메디안은 수학식 3~6에서 a(t)를 계산하기 위해 각각 사용된다. Y_s(t) 및

은 각각 현재 프레임의 관측 강도 및 이전 프레임의 보정 강도이고, |S|는 픽셀 집합(S) 내의 픽셀의 수이고 M은 수들의 집합의 메디안을 나타낸다.

국소 강도 보정은 이미지 강도 변화의 더욱 진보된 모델을 필요로 한다. 하기의 수학식은 진보된 모델을 제공한다.

여기에서 x와 y는 이산 공간 좌표이고 t는 프레임 번호이다. Y(x,y,t) 및 I(x,y,t)는 각각 관측 이미지 강도 및 최초 이미지 강도이다. α(x,y,t) 및 β(x,y,t)는 각각 승산 및 가산 강도 변화 파라미터이다.

만일 α(x,y,t) 및 β(x,y,t)가 공간적으로 매끄러우면, 이들은 국소적으로 일정하다고 가정할 수 있다.

따라서, 각 영역에 대하여:

좋은 근사식을 위하여, 하기의 수학식은 정지 영역에 대하여 참이다.

따라서 이미지는 하기와 같이 보정될 수 있다.

움직임이 있는 영역에 대하여 더 복잡한 조작이 필요하지만, 이미지 강도 보정은 일반적으로 움직임이 없을 때 프레임의 일부를 이용하여 수행된다.

도 4는 본 발명의 실시예에 따른 포괄적 강도 보정(GIC)을 나타낸 블록도이다. GIC 블록은 2개의 스테이지, 즉 도 4에 도시한 보정 스테이지와 도 5에 도시한 갱신 스테이지를 갖는다. 보정 스테이지는 겉보기 이득 계수 방법을 이용하여 행하여지고, 그 다음에 a(t) 값이 수학식 6과 같은 지수의 메디안 방정식을 이용하여 계산될 수 있다. 기준 이미지 및 현재 이미지에 대한 전체 프레임을 저장하는 것을 피하기 위해, 현재 이미지와 기준 이미지의 상위 몇 개의 행만을 이용하여 겉보기 이득 계수(a(t))를 찾아내고, 이 이득 계수를 이용하여 전체 현재 프레임(Y(t))을 보정한다. 일 실시예에 따르면, 상위 몇 개의 행을 사용하는 것은 프레임의 상위 부분이 배경의 대부분이기 때문에 a(t)를 찾는데 충분하다. 또한 a(t)를 찾기 위해 수학식 6의 지수의 메디안 방정식을 이용하는 것은 아웃라이어(outlier) 제거없이 좋은 결과를 가져온다. 따라서, 프레임의 상위 부분에 움직이는 물체가 있는 경우에도 a(t)를 찾기 위한 지수의 메디안 방정식이 충분하고, 프레임의 상위 부분만이 a(t)를 찾기 위해 여전히 사용될 수 있다. 따라서, 전형적으로 상위 5행이 a(t)를 계산하기 위해 사용될 수 있다.

성능을 개선하고 강도 보정을 더 강하게 하기 위해, 기준 이미지는 버퍼(402~406)에 각각 저장된 3개의 이전 이미지(I'(t-1), I'(t-2), I'(t-3)) 중의 메디안을 취함으로써 형성된다. 그 다음에 메디안(I'_r(t))이 발생되어 버퍼(408)에 저장된다. Q의 M 블록(410)은 입력 신호의 메디안 값(I'_r(t))과 현재 강도 값(Y(t))을 수신한다. 갱신된 강도 값(

)은 수학식 4에 따라서 발생되고, 이때 이들 프레임의 상위 5행만이 사용되어 전술한 것처럼 필요로 하는 메모리 사이즈를 감소시킨다. 이들 프레임들은 각각 보정된 프레임이거나 보정되지 않은 이전 프레임일 수 있다. 이러한 선택은 갱신 스테이지에서 발생한다. 하나 이상의 이전 프레임에 따라서 및 보정되거나 보정되지 않은 프레임 모두를 갖지 않음으로써 강도 보정의 성능 및 강인함(robustness)을 개선하는데 도움을 준다.

이제 도 5를 참조하면, 본 발명의 실시예에 따라서 프레임의 강도 값을 갱신하는 것을 보여주는 블록도가 도시되어 있다. 보정 스테이지 이후에, 기준 이미지가 갱신된다. 버퍼(502)에 저장된 현재 프레임의 상위 5행의 평균과 버퍼(504)에 저장된 보정 프레임의 상위 5행의 평균 사이의 절대 차(absolute difference)가 하기 수학식으로 표시한 것처럼 임계치(Th1)와 비교된다.

결정 블록 506에서 절대 차가 임계치(Th1)보다 더 크다고 판정되면, 이전 값들이 버퍼(510, 512)에 저장된 후에 보정 프레임이 버퍼(508)의 기준 스택에 삽입된다. 즉, 차의 절대치가 임계치보다 더 크면, 최초 이미지(Y(t))가 왜곡되었고 기준 이미지 부분으로서 사용되어서는 안된다. 반면에, 차의 절대치가 임계치(Th1)보다 작으면, 임의의 보정 에러의 전파를 피하기 위해 보정 이미지(

)보다는 기준 스택에서 최초 이미지(Y(t))를 사용하는 것이 더 낫다. Th1의 값은 사용자에 의해 선택될 수 있고 카메라 이동 속도에 비례하며, 이때 카메라 속도가 빠를수록 Th1의 값이 더 커진다.

이제 도 6을 참조하면, 본 발명의 실시예에 따라서 영상 이미지의 강도 보정을 제공하는 방법의 흐름도가 도시되어 있다. 포괄적 강도 보정과 국소 강도 보정은 현재 프레임과 이전 프레임의 비교에 따라서 수행된다. GIC 블록은 이전 프레임으로부터 학습된 지식을 이용하여 현재 프레임을 보정한다. 통계적 정지 영역(statistically stationary area; SSA)이 각 프레임을 완전히 특징지우기 위해 사용된다. 대부분의 영상에 대하여, SSA는 프레임의 좌측, 우측 및 상부 경계를 구성하는 스트립으로 구성된 카메라에 의해 포착된 영역이다. 이동이 있는 프레임 부분은 일반적으로 프레임의 중심을 차지하고 SSA의 외측에 있다. 따라서, SSA 내의 데이터는 움직이는 물체의 부분을 포함할 가능성이 적고, 움직이는 물체의 발생은 임시적이고 뒤에서 자세히 설명하는 것처럼 효과적으로 취급된다. 포괄적 강도 보정 블록(302)과 같은 GIC 블록은 SSA처럼 현재 프레임의 최초 5행을 사용하는데, 이것은 프레임들 간의 배경 이미지의 특징을 결정하기 위해 충분하다. GIC 블록은 겉보기 이득 계수(a(t))를 추정하고, 그 이득 계수를 이용하여 현재 프레임의 최초 5행을 보정한다(단계 602). 포괄적 이득 계수를 추정하고 그 이득 계수를 이용하여 최초 5행을 보정하는 회로는 도 4 및 도 5에서 설명하였다. 보정 프레임과 이전 프레임의 최초 5행의 평균 강도 간의 절대 차는 단계 604에서 결정되고, 하기 수학식으로 표시한 것처럼 절대치(Th2)와 비교된다.

Th2의 값은 사용자가 결정한다. 작은 Th2 값을 이용하면 작은 국소 강도 변화를 보정하기 위해 국소 강도 보정이 더 자주 사용되고, 큰 Th2 값을 사용하면 큰 국소 강도 변화가 있을 때만 국소 강도 보정이 동작하게 한다.

만일 절대 차가 Th2보다 더 크고 겉보기 이득 계수가 미리 정해진 범위 밖에 있으면(즉, a(t)>1.1 또는 a(t)<0.9), GIC 블록에 의해 보정되지 않은 국소 강도 변화가 있는 것이다. 그러면 최초 프레임이 단계 607에서 국소 강도 블록(304)과 같은 LIC 블록을 이용하여 보정되고, 여기에서 현재 프레임의 모든 블록들이 보정될 것이다. 즉, 국소 강도 변화가 있는 프레임은 8×8 픽셀 사이즈를 가진 블록들과 같이 작은 정사각형 블록으로 분할된다. 보정 파라미터 α_m,n(t) 및 β_m,n(t)가 각 블록에 대하여 추정되고, 여기에서 α_m,n(t) 및 β_m,n(t) 값은 이미지 강도를 보정하기 위해 사용된다. 일 실시예에 따르면, 움직임이 통합된 영역을 다루기 위해 진보된 조작이 사용되지 않는다. 국소 강도 보정은 강도 보정 처리의 계산 비용을 감소시키기 위해 모든 프레임에 적용되지 않는 것이 바람직하다. 국소 강도 보정은 프레임에서 흐려지는 아티팩트(blurring artifact)를 도입할 수 있기 때문에, 국소 강도 보정은 이것이 필요하지 않는 한 사용하지 않는 것이 좋다. 비록 일부 흐려지는 아티팩트는 움직임이 있는 영역에서 통지될 수 있지만, 흐려지는 아티팩트는 적응성 배경 추정 및 감산 블록을 비롯해서, 도 2에 도시한 포괄적 및 국소 강도 보정 블록 이후의 블록들의 효율을 감퇴시키지 않는다.

만일 절대 차가 Th2보다 작거나 겉보기 이득 계수가 미리 정해진 범위 내에 있으면(0.9<a(t)<1.1), 프레임은 작은 블록들로 분할된다(예를 들면, 8×8 픽셀). 즉, 프레임은 블록들의 행으로 분할되고 각 블록은 겉보기 이득 계수(a(t)) 및 아마도 국소 강도 보정을 이용하여 보정된다. 각 블록을 보정하기 위한 결정은 블록 단위로 수행된다. 각 블록은 단계 608에서 겉보기 이득 계수(a(t))로 보정되고, 프레임의 보정된 블록 및 이전 프레임의 대응 블록의 평균 강도 사이의 절대 차는 단계 610에서 결정된다. 절대 차는 그 다음에 단계 612에서 제2 임계치(예를 들면, 10×Th2)와 비교된다. 현재 블록의 평균 강도가 이전 프레임의 대응 블록보다 훨씬 더 크고 겉보기 이득 계수가 미리 정해진 범위 밖에 있으면(즉, a(t)>1.1 또는 a(t)<0.9), 현재 블록은 단계 614에서 국소 강도 보정으로 보정된다.

현재 블록의 평균 강도가 이전 프레임의 대응 블록보다 훨씬 더 크거나 겉보기 이득 계수가 미리 정해진 범위 밖(즉, a(t)>1.1 또는 a(t)<0.9)에 있다고 판정되지 않으면, 단계 616에서 현재 블록의 평균 강도가 이전 프레임의 대응 블록보다 훨씬 더 크고 겉보기 이득 계수가 미리 정해진 범위 내(즉, 0.9<a(t)<1.1)에 있는지 판정된다. 만일 그렇다면, 단계 618에서 2개의 이전 블록이 왜곡되었는지가 판정된다. 만일 2개의 이전 블록이 왜곡되지 않았으면, 단계 620에서 국소 강도 카운터가 왜곡 블록의 수로 갱신된다. 만일 2개의 이전 블록이 왜곡되었으면, 단계 622에서 현재 프레임의 이전 블록이 국소 강도 보정으로 보정된다. 그 다음에 단계 624에서 블록들의 현재 행의 끝에 도달하였는지가 판정된다. 만일 도달하였으면, 단계 626에서 현재 프레임의 현재 블록이 국소 강도 보정으로 보정된다. 그 다음에 단계 628에서 현재 프레임의 끝에 도달하였는지가 판정된다. 즉, 이전 블록 및 이후 블록이 왜곡된 경우 각 블록이 보정되기 때문에, 이전 블록이 왜곡된 경우 행의 최종 블록이 보정된다. 만일 현재 프레임의 끝이 아니면, 단계 630에서 다음 블록이 처리될 필요가 있는지가 판정되고, 단계 608에서 다음 블록이 겉보기 이득 계수(a(t))로 보정된다. 만일 프레임의 끝에 도달하였으면, 단계 632에서 영상의 최종 프레임에 도달하였는지가 판정된다. 만일 영상의 추가적인 프레임이 처리되어야 하면, 다음 프레임에 대하여 프로세서가 단계 602에서 다시 시작한다.

이제 도 7을 참조하면, 본 발명의 실시예에 따라서 포괄적 강도 보정 및 국소 강도 보정을 제공하는 회로의 블록도가 도시되어 있다. 포괄적 및 국소 강도 보정 블록(208)에 대한 입력은 라스터 주사 순서의 RGB 프레임이다. RGB 프레임은 YUV 포맷으로 변환되고 색 성분은 4:2:0 포맷으로 다운 샘플링되어 라인 버퍼 1과 3에서 8행의 픽셀을 저장하기 위한 메모리를 절약한다. 모든 강도 보정 단계가 휘도 성분만을 처리하지만, 색 성분은 이미지를 이후 단계에서 필요로 하는 RGB 포맷으로 다시 변환하기 위해 저장되어야 한다. 포괄적 및 국소 강도 보정 블록(208)은 입력, 출력 및 기준 픽셀을 저장하기 위해 3개의 라인 버퍼를 사용한다. 포괄적 및 국소 강도 보정 블록(208)은 현재 프레임으로부터의 블록들의 현재 행과 국소 강도 보정을 위해 필요한 기준 프레임(즉, 이전 프레임)으로부터의 블록들의 대응 행의 평균 및 표준 편차를 저장하기 위한 2개의 로컬 메모리를 구비한다. 추가적으로, 외부 메모리를 사용하여 포괄적 강도 보정을 위한 3개의 이전 프레임(휘도만)의 상위 5행 및 국소 강도 보정을 위한 기준 프레임의 8×8 블록의 평균 및 표준 편차를 저장한다.

특히, 포괄적 및 국소 강도 보정 회로(208)는 RBG 이미지를 수신하고 이미지를 RGB/YUV 변환기(702)에서 YUV 이미지로 변환하도록 결합되고, 그 출력은 멀티플렉서(704) 및 라인 버퍼(706)에 결합된다. 멀티플렉서(704) 및 라인 버퍼(706)의 출력은 복수의 제산기(divider) 회로를 구비한 산술 논리 블록(708)에 결합된다. 멀티플렉서(704)는 RGB/YUV 변환기(702)의 출력 또는 라인 버퍼(706)의 출력을 선택하고, 그 출력은 라인 버퍼(716)를 통해 기준 5행을 역시 수신하는 제산기(710)에 결합된다. 즉, 메디안 값 회로(714)는 3개의 이전 프레임(402, 404, 406)의 상위 5행의 메디안 값을 라인 버퍼(716)에 의해 제산기 회로(710)에 결합한다. 산술 블록의 출력은 라인 버퍼(718)에 결합되고, 그 출력은 YUV/RGB 변환기(720)에 결합된다. 멀티플렉서(722)는 라인 버퍼(706) 또는 라인 버퍼(718)의 출력을 수신하여 외부 메모리에 소정의 값을 제공하도록 결합된다.

산술 논리 블록(730)은 산술 논리 블록(708)의 출력 및 라인 버퍼(718)의 출력을 수신하도록 또한 결합된다. 뒤에서 자세히 설명하는 것처럼, 제산기 및 누산기를 구비한 산술 블록은 위에서 설명한 각종 계산을 수행하기 위해 사용될 수 있다. 산술 논리 블록(730)은 제1 누산기(732)를 포함하고, 제1 표준 편차 회로(734)는 현재 행의 블록들의 평균 값(E[]) 및 표준 편차 값(σ[])을 저장하는 블록(735)에 결합된다. 유사하게, 제2 누산기(736) 및 제2 표준 편차 회로(738)는 멀티플렉서(742, 744)에 의해 기준 행의 블록들의 평균 값(E[]) 및 표준 편차 값(σ[])을 저장하는 블록(746)에 결합된다. 블록(746)의 출력은 감산기(752)에 출력을 제공하는 승산기(750)에 결합되고, 감산기(752)는 라인 버퍼(706)의 출력을 또한 수신하는 감산기(754)에 결합된다. 승산기(750)는 제산기 블록(708)의 출력을 수신하고, 블록 735와 746의 출력 및 감산기(754)의 출력은 제산기(708)에 결합된다. 마지막으로, 블록 735의 출력과 블록 746의 출력 중 어느 하나가 멀티플렉서(756)에 의해 선택되고 그 출력이 오프칩 메모리(204)에 결합될 수 있다.

동작은 영상 시퀀스의 최초 3 프레임의 상위 5행이 외부 메모리에 저장되는 초기화 처리를 포함한다. 3 프레임의 상기 5행의 메디안이 추정되고 라인 버퍼(716)에 저장된다. 그 다음에 3 프레임의 상위 5행의 평균 강도가 계산된다. 제3 프레임은 8×8 블록으로 분할되고, 블록들의 평균 및 표준 편차가 계산되어 외부 메모리에 저장된다. 각각의 새로운 프레임에 대하여, 1 기준 행의 블록들의 평균 및 표준 편차가 외부 메모리로부터 판독되어 라인 버퍼(716)에 저장된다. 그 다음에 라인 버퍼 1 내의 8행(즉, 8×8 블록의 1행)의 새로운 프레임 픽셀이 판독된다. 제산기 중의 하나는 수학식 4에서 위에서 설명한 것처럼

을 계산하기 위해 사용된다. MofQ는 이전 단계에서 계산된 지수의 메디안을 추정함으로써 찾아진다. MofQ 값(a_MofQ)으로 현재 프레임의 상위 5행을 보정하고 그 결과를 라인 버퍼(718)에 저장하기 위해 5개의 제산기가 사용된다. 보정된 프레임의 상위 5행의 평균 강도가 그 다음에 계산된다. 8×8 블록의 현재 행의 평균 및 표준 편차가 또한 산술 논리 블록(730)을 이용하여 계산된다. 제어 유닛(740)은 각각의 8×8 블록에 대한 결정을 행하고, 이때 각 블록은 포괄적 겉보기 이득 계수 및/또는 국소 강도 보정 파라미터로 보정될 것이다.

이제 도 8을 참조하면, 본 발명의 실시예에 따라서 도 1~7의 회로를 구현하기 위한 프로그래머블 논리 장치의 블록도가 도시되어 있다. 도 8의 장치는 멀티 기가비트 송수신기(MGT(801)), 구성가능 논리 블록(CLB(802)), 랜덤 액세스 메모리 블록(BRAM(803)), 입력/출력 블록(IOB(804)), 구성 및 클럭킹 로직(CONFIG/CLOCKS (805)), 디지털 신호 처리 블록(DSP(806)), 특수 입력/출력 블록(I/O(807))(예를 들면, 구성 포트 및 클럭 포트), 및 디지털 클럭 관리자, 아날로그-디지털 변환기, 시스템 감시 로직 등과 같은 기타의 프로그래머블 로직(808)을 포함한 다수의 다른 프로그래머블 타일을 구비한 FPGA 아키텍쳐(800)를 포함한다. 일부 FPGA는 전용 프로세서 블록(PROC(810))을 또한 포함한다. 도 7의 각종 메모리는 BRAM, 또는 CLE의 분산 메모리에서 구현될 수 있다. 산술 논리 블록은 DSP 블록에서 구현될 수 있고, 제어 유닛(740)은 전용 프로세서 블록에서 구현될 수 있다.

일부 FPGA에 있어서, 각 프로그래머블 타일은 각 인접 타일의 대응하는 상호접속 요소에 대하여 표준화 접속을 가진 프로그래머블 상호접속 요소(INT(811))를 구비한다. 그러므로, 함께 취해진 프로그래머블 상호접속 요소는 예시된 FPGA에 대한 프로그래머블 상호접속 구조를 구현한다. 프로그래머블 상호접속 요소(INT(811))는 도 8의 상부에 포함된 예로 나타낸 바와 같이 동일 타일 내의 프로그래머블 논리 요소에 대한 접속들을 또한 구비한다.

예를 들면, CLB(802)는 사용자 로직 및 단일 프로그래머블 상호접속 요소(INT(811))를 구현하도록 프로그램될 수 있는 구성가능 논리 요소(CLE(812))를 구비할 수 있다. BRAM(803)은 하나 이상의 프로그래머블 상호접속 요소 외에 BRAM 논리 요소(BRL(813))를 구비할 수 있다. BRAM은 구성 논리 블록의 분산형 RAM과 별도로 전용 메모리를 포함한다. 전형적으로, 타일에 내포된 상호접속 요소의 수는 타일의 높이에 의존한다. 도시된 실시예에 있어서, BRAM 타일은 4개의 CLB와 같은 높이를 갖지만, 다른 갯수(예를 들면, 5개)가 또한 사용될 수 있다. DSP 타일(806)은 적당한 수의 프로그래머블 상호접속 요소 외에도 DSP 논리 요소(DSPL(814))를 포함할 수 있다. IOB(804)는 예를 들면 1 인스턴스의 프로그래머블 상호접속 요소(INT(811)) 외에도 2 인스턴스의 입력/출력 논리 요소(IOL(815)를 포함할 수 있다. 장치의 접속 위치는 그 목적으로 장치에 제공된 구성 비트스트림의 구성 데이터 비트에 의해 제어된다. 뒤에서 자세히 설명하는 것처럼, 프로그래머블 상호접속은, 구성 비트스트림의 비트들에 응답해서, 상호접속 라인을 포함한 접속들을 이용하여 각종 신호를 프로그래머블 로직 내에서 구현되는 회로들, 또는 BRAM 또는 프로세서와 같은 다른 회로들에 결합할 수 있게 한다.

도시된 실시예에 있어서, 다이의 중앙(도 8에 음영을 넣어 표시함) 부근의 원주형 영역은 구성, 클럭 및 기타의 제어 로직을 위해 사용된다. 상기 원주형 영역으로부터 연장하는 수평 영역(809)은 FPGA의 폭을 가로질러서 클럭 및 구성 신호를 배분하기 위해 사용된다. 도 8에 도시한 아키텍쳐를 이용하는 일부 FPGA는 FPGA의 대부분을 형성하는 규칙적인 원주형 구조를 분열시키는 추가의 논리 블록을 포함한다. 추가의 논리 블록은 프로그램가능 블록 및/또는 전용 로직일 수 있다. 예를 들면, 도 8에 도시한 프로세서 블록(PROC)(810)은 CLB 및 BRAM의 수 개의 컬럼에 걸쳐진다.

도 8은 단지 예시적인 FPGA 아키텍쳐를 보여주고 있는 것임에 주목한다. 컬럼 내의 논리 블록의 수, 컬럼들의 상대적인 폭, 컬럼의 수 및 순서, 컬럼에 포함된 논리 블록의 유형, 논리 블록의 상대적 크기, 및 도 8의 상부에 표시된 상호접속/로직 구현예들은 순전히 예시적인 것이다. 예를 들면, 실제 FPGA에 있어서, CLB가 나타나는 곳은 어디든지 사용자 로직의 효율적인 구현을 촉진하기 위하여 전형적으로 하나 이상의 인접 CLB 컬럼이 포함된다. 본 발명의 회로 및 방법은 도 8의 PLD에서 또는 프로그래머블 로직을 구비한 임의 유형의 집적회로를 포함한 임의의 다른 적당한 장치에서 구현될 수 있다. 사실 FPGA의 사용을 최대화하는 응용 분야는 카메라 레벨에서 수행되는 영상 분석 분야이다. 도 1은 함께 네트워크를 구성하는 FPGA를 포함한 링크 카메라 시스템의 예를 보인 것이다. FPGA는 영상 분석을 수행하고 그들 각각의 카메라를 제어할 수 있다. FPGA는 고선명도(HD)율로 영상 이미지를 발생하는 것을 비롯해서 영상 감시를 위한 데이터 전송률을 지원하는데 필요한 대역폭의 증가에서 발생하는 도전(challenge)을 태클하는데 완전하게 적합된다.

이제 도 9를 참조하면, 본 발명의 실시예에 따라서 도 8의 장치의 구성가능 논리 요소의 블록도가 도시되어 있다. 특히, 도 9는 도 8의 구성 논리 블록(802)의 구성가능 논리 요소를 간단한 형태로 도시한 것이다. 도 9의 실시예에 있어서, 슬라이스 M(901)은 4개의 룩업 테이블(LUTM)(901A~901D)을 포함하고, 각 룩업 테이블은 6개의 LUT 데이터 입력 단자(A1~A6, B1~B6, C1~C6, D1~D6)에 의해 구동되며 2개의 LUT 출력 신호(O5, O6)를 제공한다. LUT(901A~901D)로부터의 O6 출력 단자는 슬라이스 출력 단자(A~D)를 각각 구동한다. LUT 데이터 입력 신호는 입력 멀티플렉서를 통하여 FPGA 상호접속 구조에 의해 공급되고, LUT 출력 신호는 상호접속 구조에 또한 공급된다. 슬라이스 M은 또한 출력 단자(AMUX-DMUX)를 구동하는 출력 선택 멀티플렉서(911A~911D); 메모리 요소(902A~902D)의 데이터 입력 단자를 구동하는 멀티플렉서(912A~912D); 결합 멀티플렉서(916, 918, 919); 바운스 멀티플렉서 회로(922~923); 인버터(905) 및 멀티플렉서(906)에 의해 표시되는 회로(이들은 함께 입력 클럭 경로에서 선택적 반전을 제공한다); 및 멀티플렉서(914A~914D, 915A~915D, 920~921) 및 배타적 OR 게이트(913A~913D)로 이루어진 캐리 로직을 포함한다. 상기 요소들은 모두 도 9에 도시한 것처럼 함께 결합된다. 도 9에 도시된 각 멀티플렉서에 대한 선택 입력은 표시하지 않았지만, 선택 입력은 구성 메모리 셀에 의해 제어된다. 즉, 구성 메모리 셀에 저장되어 있는 구성 비트스트림의 구성 비트는 멀티플렉서의 선택 입력에 결합되어 멀티플렉스에 대한 정확한 입력을 선택한다. 이 구성 메모리 셀은 잘 알려져 있으므로 명확성을 위해 도 9 및 기타의 선택된 도면에서 생략되었다.

도시된 실시예에 있어서, 각 메모리 요소(902A~902D)는 동기 또는 비동기 플립플롭 또는 래치로서 기능하도록 프로그램될 수 있다. 동기 기능과 비동기 기능 간의 선택은 동기/비동기 선택 회로(903)를 프로그램함으로써 슬라이스의 4개의 메모리 요소 모두에 대하여 행하여진다. S/R(세트/리세트) 입력 신호가 세트 기능을 제공하도록 메모리 요소가 프로그램된 때, REV 입력 단자는 리세트 기능을 제공한다. S/R 입력 신호가 리세트 기능을 제공하도록 메모리 요소가 프로그램된 때, REV 입력 단자는 세트 기능을 제공한다. 메모리 요소(902A~902D)는 예를 들면 전체 클럭 네트워크 또는 상호접속 구조에 의해 제공되는 클럭 신호(CK)에 의해 클럭된다. 이러한 프로그래머블 메모리 요소는 FPGA 설계 기술에서 잘 알려져 있다. 각각의 메모리 요소(902A~902D)는 등록된 출력 신호(AQ~DQ)를 상호접속 구조에 제공한다. 각각의 LUT(901A~901D)가 2개의 출력 신호(O5, O6)를 제공하기 때문에, LUT는 5개의 공유 입력 신호(IN1~IN5)를 가진 2개의 5-입력 LUT로서, 또는 입력 신호(IN1~IN6)를 가진 하나의 6-입력 LUT로서 기능하도록 구성될 수 있다.

도 9의 실시예에 있어서, 각 LUTM(901A~901D)은 수 개의 모드 중 임의의 모드로 기능할 수 있다. 룩업 테이블 모드에 있을 때, 각 LUT는 입력 멀티플렉서를 통해 FPGA 상호접속 구조에 의해 공급되는 6개의 데이터 입력 신호(IN1~IN6)를 갖는다. 64 데이터 값 중 하나는 신호 IN1~IN6의 값들에 기초하여 구성 메모리 셀로부터 프로그램적으로 선택된다. RAM 모드에 있을 때, 각각의 LUT는 공유 어드레싱을 가진 단일 64-비트 RAM 또는 2개의 32-비트 RAM으로서 기능한다. RAM 기록 데이터는 입력 단자(DI1)를 통해(LUT 901A~901C에 대해서는 멀티플렉서 917A~917C를 통해) 64-비트 RAM에 공급되고, 또는 입력 단자(DI1, DI2)를 통해 2개의 32-비트 RAM에 공급된다. LUT RAM에서의 RAM 기록 동작은 멀티플렉서(906)로부터의 클럭 신호(CK) 및 멀티플렉서(907)로부터의 기록 인에이블 신호(WEN)에 의해 제어되고, 상기 멀티플렉서(907)는 클럭 인에이블 신호(CE) 또는 기록 인에이블 신호(WE)를 선택적으로 통과시킬 수 있다. 시프트 레지스터 모드에 있어서, 각 LUT는 2개의 16-비트 시프트 레지스터로서 기능하고, 상기 2개의 16-비트 시프트 레지스터는 직렬로 결합하여 단일의 32-비트 시프트 레지스터를 구성한다. 시프트 인(shift-in) 신호는 입력 단자 DI1 및 DI2 중 어느 하나 또는 둘 다에 의해 제공된다. 16-비트 및 32-비트 시프트 아웃 신호는 LUT 출력 단자를 통해 제공될 수 있고, 32-비트 시프트 아웃 신호는 LUT 출력 단자 MC31을 통해 직접 제공될 수도 있다. LUT(901A)의 32-비트 시프트 아웃 신호(MC31)는 또한 출력 선택 멀티플렉서(911D) 및 CLE 출력 단자(DMUX)를 통해 시프트 레지스터 사슬의 일반 상호접속 구조에 제공될 수 있다. 본 발명의 프로그램가능 로직을 구비한 장치 및 방법은 도 8 및 도 9의 장치에 따라서 또는 프로그램가능 로직을 구비한 임의 유형의 집적회로를 포함한 임의의 장치에서 구현될 수 있다.

회로는 자일링스사(Xilinx, Inc.)의 버텍스(Virtex) 4 FPGA와 같은 프로그래머블 논리 장치에서 효과적으로 구현될 수 있다. 리소스는 1920×1080의 프레임 사이즈 및 30 프레임/초의 프레임률로 추정될 수 있다. 추정된 리소스는 10 블록 RAM을 각각 사용하는 라인 버퍼(706, 718)를 포함한다. 라인 버퍼(716)는 5 블록 RAM을 사용하고, 평균 및 표준 편차 값을 저장하는 메모리(735, 746)와 같은 2개의 메모리에 대해서는 1 블록 RAM을 사용하고 최대 26 블록 RAM까지 추가한다. 3개의 이전 이미지의 상위 5행에 대한 외부 메모리 사이즈 및 대역폭과 이전 이미지의 8×8 블록의 평균 및 표준 편차는 외부 메모리에 저장되고 각각의 새로운 이미지로 갱신된다. 따라서, 필요한 외부 메모리 사이즈는 약 1920×5×3×8 비트 + ((1920×1080)/(8×8))×32 비트 = 1,267,200 비트 ≒ 1.3 메가비트이다. 각각의 새로운 이미지에 대하여, 외부 메모리 내의 데이터는 판독 및 갱신된다. 가장 오래된 이전 이미지의 상위 5행은 최초의 현재 이미지 또는 위에서 설명한 보정된 이미지로부터의 새로운 상위 5행으로 덮어쓰기 된다. 따라서, 초당 판독되는 총 데이터는 약 (1920×5×3×8 비트 + ((1920×1080)/(8×8))×32 비트)×30 = 38,016,000 비트/초이다. 초당 기록되는 총 데이터는 약 (1920×5×1×8 비트 + ((1920×1080)/(8×8))×32 비트)×30 = 33,408,000 비트/초이다. 마지막으로, 총 외부 메모리 대역폭은 71,424,000≒72 메바비트/초이다.

지금까지 영상 이미지에 대한 강도 보정을 제공하는 새로운 신규 집적회로 및 방법에 대하여 설명하였다. 이 기술에 숙련된 사람이라면 여기에서 설명한 본 발명을 통합한 많은 대안예 및 등가물이 존재할 수 있다는 것을 알 것이다. 따라서, 본 발명은 전술한 실시예로 제한되는 것이 아니고 첨부된 청구범위에 의해서만 제한된다.

102: 제어 컴퓨터 103: 카메라
108: 프로세서 110: 이미지 조절
112: 강도 보정 114: 배경 추정
116: 그림자 제거 118: 물체 추적
120: 인코더 122: 분류
124: 메타데이터 126: 카메라 제어
128: 엔포서 130: 네트워크 인터페이스

Claims

영상(video)의 프레임에 대한 강도 보정을 제공하는 방법에 있어서,
포괄적 강도 보정을 위해 사용되는 겉보기(apparent) 이득 계수를 확립하도록 영상 프레임의 일부를 평가하는 단계와;
프레임의 현재 블록과 이전 프레임의 대응 블록 간의 강도 차를 결정하는 단계와;
프레임의 현재 블록과 이전 프레임의 대응 블록 간의 강도 차가 제1 파라미터 집합과 일치하는 경우, 국소 강도 보정으로 프레임의 각 블록을 보정하는 단계와;
프레임의 현재 블록과 이전 프레임의 대응 블록 간의 강도 차가 제1 파라미터 집합과 일치하지 않는 경우, 프레임의 현재 블록을 포괄적 강도 보정을 위한 겉보기 이득 계수 및 국소 강도 보정을 이용하여 보정하는 단계를 포함한 강도 보정 방법.
제1항에 있어서, 상기 강도 차가 상기 제1 파라미터 집합과 일치하는 경우, 국소 강도 보정으로 프레임의 각 블록을 보정하는 단계는 프레임의 현재 블록과 이전 프레임의 대응 블록 간의 강도 차가 미리 정해진 임계치를 초과하고 겉보기 이득 계수가 미리 정해진 범위 밖에 있는지 여부를 결정하는 단계를 포함하는 것인 강도 보정 방법.
제1항에 있어서, 프레임의 현재 블록을 포괄적 강도 보정을 위한 겉보기 이득 계수 및 국소 강도 보정을 이용하여 보정하는 단계는,
프레임의 현재 블록을 겉보기 이득 계수를 이용하여 보정하는 단계와;
프레임의 현재 블록을 겉보기 이득 계수를 이용하여 보정한 후 프레임의 현재 블록과 이전 프레임의 대응 블록 간의 강도 차를 결정하는 단계와;
프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정하는 단계를 포함한 것인 강도 보정 방법.
제3항에 있어서, 프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정하는 단계는 프레임의 현재 블록을 겉보기 이득 계수를 이용하여 보정한 후 프레임의 현재 블록과 이전 프레임의 대응 블록 간의 강도 차가 미리 정해진 제2 임계치를 초과하는지 여부를 결정하는 단계를 포함한 것인 강도 보정 방법.
제4항에 있어서, 프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정하는 단계는 겉보기 이득 계수가 미리 정해진 범위 밖에 있는지 여부를 결정하는 단계를 포함한 것인 강도 보정 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 2개의 이전 블록이 왜곡되었는지 여부를 결정하는 단계와, 2개의 이전 블록이 왜곡되지 않았으면 왜곡된 블록의 수로 국소 강도 카운터를 갱신하는 단계를 더 포함한 강도 보정 방법.
제6항에 있어서, 현재 프레임 내에서 2개의 이전 블록이 왜곡된 경우 이전 블록을 보정하는 단계를 더 포함한 강도 보정 방법.
영상의 프레임에 대해 강도 보정을 제공하는 회로를 구비한 집적회로에 있어서,
영상과 관련된 데이터의 프레임을 수신하도록 결합된 버퍼와;
버퍼에 결합되어 있고 영상 프레임의 일부를 분석하며 현재 프레임의 보정된 부분과 이전 프레임의 대응 부분 간의 강도 차가 미리 정해진 임계치보다 크고 겉보기 이득 계수가 미리 정해진 범위 밖에 있는 경우 프레임의 각 블록을 국소 강도 보정에 의해 보정하는 프로세서와;
프로세서에 결합되어 있고 프로세서에 의해 발생된 프레임에 대한 보정된 강도 계수를 수신하는 메모리를 포함한 집적회로.
제8항에 있어서, 현재 프레임의 보정된 부분과 이전 프레임의 대응 부분은 현재 프레임의 상위 5행과 이전 프레임의 상위 5행을 포함한 것인 집적회로.
제8항 또는 제9항에 있어서, 상기 프로세서는 프레임의 현재 블록과 이전 프레임의 대응 블록 간의 강도 차가 미리 정해진 임계치 미만이거나 겉보기 이득 계수가 미리 정해진 범위 내에 있는 경우,
프레임의 현재 블록을 겉보기 이득 계수를 이용하여 보정하고;
프레임의 현재 블록을 겉보기 이득 계수를 이용하여 보정한 후 프레임의 현재 블록과 이전 프레임의 대응 블록 간의 강도 차를 결정하며;
프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정함으로써 프레임의 현재 블록을 보정하는 것인 집적회로.
제10항에 있어서, 상기 프로세서는 프레임의 현재 블록을 겉보기 이득 계수를 이용하여 보정한 후 프레임의 현재 블록과 이전 프레임의 대응 블록 간의 강도 차가 미리 정해진 제2 임계치를 초과하는지 여부를 결정함으로써 프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정하는 것인 집적회로.
제11항에 있어서, 상기 프로세서는 겉보기 이득 계수가 미리 정해진 범위 내에 있는지 여부를 결정함으로써 프레임의 현재 블록을 국소 강도 보정을 이용하여 보정해야 하는지 여부를 결정하는 것인 집적회로.
제8항 또는 제9항에 있어서, 상기 프로세서는 2개의 이전 블록이 왜곡되었는지 여부를 결정하고, 2개의 이전 블록이 왜곡되지 않았으면 왜곡된 블록의 수로 국소 강도 카운터를 갱신하고, 현재 프레임 내에서 2개의 이전 블록이 왜곡되었으면 이전 블록을 보정하는 것인 집적회로.