KR20080076740A - 이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시시스템 - Google Patents

이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시시스템 Download PDF

Info

Publication number
KR20080076740A
KR20080076740A KR1020080010196A KR20080010196A KR20080076740A KR 20080076740 A KR20080076740 A KR 20080076740A KR 1020080010196 A KR1020080010196 A KR 1020080010196A KR 20080010196 A KR20080010196 A KR 20080010196A KR 20080076740 A KR20080076740 A KR 20080076740A
Authority
KR
South Korea
Prior art keywords
movement
control
detection
image sensor
image
Prior art date
Application number
KR1020080010196A
Other languages
English (en)
Other versions
KR101486996B1 (ko
Inventor
코이치로 세오
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20080076740A publication Critical patent/KR20080076740A/ko
Application granted granted Critical
Publication of KR101486996B1 publication Critical patent/KR101486996B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/1961Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시 시스템이 제공되어 있다. 이동 검출 장치는 영상 센서에서 출력되는 영상 신호로부터 얻어지는 휘도차이 정보(brightness difference information)와, 이동 검출의 검출 파라미터를 비교하여 이동의 유무의 판단 처리를 실시하는 처리부와, 영상 센서를 포함하는 촬상 장치의 특성 제어에 의해서 결정되는 제어 정보를 이용하여 검출 파라미터를 제어하는 제어부를 구비한다.
Figure P1020080010196
영상 센서, 이동 검출 장치, 촬상 장치, 촬상 방법, 휘도 정보

Description

이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시 시스템{Motion detecting device, motion detecting method, imaging device, and monitoring system}
본 출원은 2007년 2월 15일 일본 특허청에 제출된 일본특허 출원번호 2007-34443호의 우선권을 주장하며, 그 전체 내용은 참조로서 여기에 포함되어 있다.
본 발명은, 이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시 시스템에 관한 것이다. 특히, 영상 신호로부터 피사체의 이동을 검출하는 이동 검출 장치, 이동 검출 방법, 이동 검출 장치를 가지는 촬상 장치 및 촬상 장치를 이용한 감시 시스템에 관한 것이다.
이동 검출 장치, 구체적으로는, 영상 신호로부터 피사체의 이동을 검출하는 이동 검출 장치는, 감시 시스템에 있어서의 수상한 사람의 감시와 DVR(Digital Video Recording)의 트리거로서 이용되고 있다. 예를 들면, 감시 시스템은 감시자의 부하를 감소시키고 효율적인 기록(필요한 장면만을 기록)하는 것을 목적으로 하고, 감시 카메라로부터 출력된 영상을 해석(이 경우는, 화면내의 이동 검출)하여, 감시자에게 경고를 내거나 기록 장치에 기록하는 제어를 한다.
이동 검출 장치의 이동 검출 방식으로서는, 일반적으로, 프레임간 차이 방식과 배경 차이 방식이 알려져 있다. 프레임간 차이 방식은, 영상 센서로부터 출력되는 영상 신호와 한 개의 프레임만큼 지연된 영상 신호와의 프레임간의 휘도차이가 측정되고, 휘도차이가 미리 설정된 검출 임계치(threshold value)와 비교되어 이동의 유무를 검출하는 수법이다. 배경 차이 방식은, 영상 센서로부터 출력되는 영상 신호로부터 연산에 배경 화상이 작성되고, 입력되는 영상 신호와 배경 화상(배경 모델)와의 휘도차이가 측정되며, 휘도차이가 미리 설정된 검출 임계치와 비교되어 이동의 유무를 검출하는 수법이다.
이러한 검출 방식을 이용하는 이동 검출 장치는 일반적으로 촬상 영역을 N×M의 블록으로 분할하고, 그 평균치를 취하고, 해상도를 떨어뜨리므로 연산을 감소시킨다. 또, 배경 화상은, 다음 식(1)에 의해 작성될 수 있다.
B(m, n, t)=(1-α) B(m.n, t-1)+αI(m, n, t)......(1)
여기서,α는 0≤α≤1의 시정수이며, B(m, n, t)는 시간 t에 있어서의 좌표(m, n)의 배경 화상이며, I(m, n, t)는 시간 t에 있어서의 좌표(m, n)의 입력 화상이다.
통상의 카메라 시스템에서는, 촬상 영역내의 휘도 레벨을 알기 위해서 휘도 신호가 적분되며, 적분된 휘도치가 제어 목표치에 가까워지도록 조리개(F치), 셔터 속도, AGC(Automatic Gain Control:자동 이득 제어) 이득이 제어되며, 노출을 자동적으로 결정하는 AE(Auto Exposure;자동 노출) 제어가 실행된다.
이러한 AE 제어가 실행되는 감시 카메라가 감시용 카메라로 이용되는 감시 시스템에 있어서, 이동 검출시에 상기 식(1)의 연산을 실시했을 경우, 피사체의 실제의 이동에 의한 휘도 변화와 AE 제어 의해서 발생하는 휘도 변화가 분리(또는, 추측하)되지 않으므로, AE 제어 기인에 의해서 발생하는 휘도 변화도, 피사체의 이동으로서 검출되어, 오류 경보(false alarm)가 발생된다. 이러한 오류 경보는, 감시자의 노력을 증대시키거나 혹은 이동이 없더라도 녹화가 되도록 하므로, 효율적인 녹화의 방해로 연결된다.
피사체의 실제의 이동에 의한 휘도 변화와 AE 제어에 의해서 발생하는 휘도 변화를 분리하려면, 이동 검출의 임계치가 미리 크게 설정되는 방법이 생각된다. 그러나, 미리 임계치가 크게 설정되는 방법이 채택했을 경우에, 검출의 감도가 저하된다는 단점이 있다.
그러므로, 종래의 기술에서는, 실제의 이동시에 엣지(edge)가 존재하는 개념에 근거하여, 감시 카메라로부터 출력되는 영상 신호와 한 개의 프레임만큼 지연된 영상 신호로부터 피사체의 엣지 부분을 검출하는 엣지 검출 회로가 이용되어 엣지 검출 회로의 검출 결과에 근거하여 이동 검출의 검출 정도를 높이도록 하고 있었다(예를 들면, 일본 미심사 특허 출원 공개 번호 2001-8228호 참조, 이후에는, “특허 문헌 1“이라고 한다.)
그렇지만, 상기 특허 문헌 1의 종래 기술에서는, 엣지 검출 회로(edge detection circuit)와 같은 특별한 회로를 준비할 필요가 있으며, 엣지 검출 회로 를 구성하려면 프레임 메모리등이 필요하게 되므로, 회로 규모가 커지는 동시에, 비용이 비싸진다는 문제가 있다.
그러므로, 간단한 회로 구성으로 피사체의 실제의 이동에 의한 휘도 변화와 AE 제어에 의해서 발생하는 휘도 변화를 분리하여 피사체의 이동을 확실히 검출할 수 있는 이동 검출 장치, 이동 검출 방법, 이동 검출 장치를 가지는 촬상 장치 및 촬상 장치를 이용한 감시 시스템을 제공하는 것이 바람직하다.
본 발명의 한 실시예에 따르면, 영상 센서에서 출력되는 영상 신호로부터 얻어지는 휘도차이 정보와, 이동 검출의 검출 파라미터를 비교하여 이동의 유무의 판단 처리를 실시하는 처리부와, 영상 센서를 포함하는 촬상 장치의 특성 제어에 의해서 결정되는 제어 정보를 이용하여 검출 파라미터를 제어하는 제어부를 구비하는 이동 검출 장치가 제공된다. 이동 검출 장치는, 이동 검출 장치를 가지는 촬상 장치에 이용된다. 또, 촬상 장치는, 감시 시스템에서 감시 카메라로서 이용된다.
이동 검출 장치, 이동 검출 장치를 가지는 촬상 장치 및 촬상 장치를 이용한 감시 시스템에서는, 피사체의 이동 검출하기 위한 정보로서 휘도차이 정보만이 아니라, 촬상 장치의 특성 제어에 의해서 결정되는 제어 정보도 이용된다. 그러므로, 촬상 장치의 특성 제어에 의해 촬상 영역내의 휘도가 변화하는 일이 있더라도, 제어 정보를 이용하여 검출 파라미터를 제어하여, 휘도 변화가 피사체의 실제의 이동에 의한 것인지, 또는 특성 제어에 의한 것인지를 판단하면서 이동 검출을 실시할 수 있다.
본 발명의 한 실시예에 의하면, 엣지 검출 장치와 같은 특별한 회로를 이용하지 않아도, 간단한 회로 구성에 의해, 촬상 영역내의 휘도 변화가 피사체의 실제의 이동에 의한 것인지 또는 특성 제어에 의한 것인지를 판단하면서 이동 검출을 실시할 수 있다. 그러므로, 피사체의 실제의 이동에 의해 휘도 변화가 발생되지 않는다는 사실에도 불구하고, 피사체의 이동에 의해 휘도 변화가 발생된다고 판단되는 오류 검출을 제거할 수 있다.
이하, 본 발명의 실시의 형태에 대해 도면을 참조하여 상세하게 설명한다.
《제 1의 실시예》
본 발명의 제 1의 실시예와 관련되는 촬상 장치에 대해 설명한다. 여기에서, 촬상 장치란, CCD이미지 센서나 CMOS 이미지 센서 등의 영상 센서, 영상 센서의 촬상면(수광면)상에 피사체의 영상 광(Image light)을 결상시키는(focusing) 광학계 및 영상 센서의 출력 신호를 처리하는 신호 처리 회로를 포함한다. 촬상 장치는 휴대 전화 등의 전자기기에 탑재되어서 이용되는 카메라 모듈이나, 카메라 모듈을 탑재한 디지털 카메라나 비디오 카메라 등의 카메라 시스템을 말하는 것이다.
[촬상 장치]
도 1은, 본 발명의 제 1의 실시예와 관련되는 촬상 장치의 구성의 일례를 나 타내는 시스템 구성도이다. 도 1에서는, 피사체(도시하지 않음)로부터의 입사빛(영상 광 : image light)은, 렌즈(11)를 포함한 광학계에 의해서 예를 들면 CCD 이미지 센서(12)와 같은 고체 영상 센서의 촬상면(수광면)상에 결상된다.
고체 영상 센서는 CCD 이미지 센서(12)에 한정되는 것이 아니고, 다른 전하 전송형 고체 영상 센서와 CMOS 이미지 센서로 대표되는 X-Y 어드레스형(address type) 고체 영상 센서가 될 수 있다.
타이밍 생성기(TG)(13)에서 발생되는 각종의 타이밍 신호에 의한 구동에 따라, CCD 이미지 센서(12)는, 각 화소내에서 광전 변환된 신호 전하를 수직 전송부로 판독하는 구동, 수직 전송부 및 수평 전송부의 전송 구동, 신호 전하를 전기 신호로 변환하는 동작과 같이, 피사체를 촬상하고 그 촬상 신호를 출력하는 동작을 실시한다.
CCD 이미지 센서(12)로부터 출력되는 촬상 신호는, 아날로그 프론트 엔드부(AFE)(14)에서 CDS(Correlated Double Sampling;상관 이중 샘플링), AGC(Automatic Gain Control;자동 이득 제어) 등의 처리를 거치게 되며, 카메라 신호 처리 회로 (15)에 공급된다.
카메라 신호 처리 회로(15)는, A/D변환 회로(151), 크로마(chroma : C) 신호 처리 회로(152), D/A변환 회로(153), 휘도(Y) 신호 처리 회로(154), 증폭 회로(155), D/A변환 회로(156) 및 휘도 검파부(157)를 포함한다.
A/D변환 회로(151)는 CCD 이미지 센서(12)로부터 아날로그 프론트 엔드부(1 4)를 통해 입력되는 아날로그 신호를 디지털 신호로 변환하고, 크로마 신호 처리 회로(152) 및 휘도 신호 처리 회로(154)에 공급한다.
크로마 신호 처리 회로(152)는, R(빨강), G(초록), B(파랑)의 3원색 신호를 소정의 연산식에 의해 연산 처리를 하여 색 차이 신호 Cr(R-Y), Cb(B-Y)를 생성한다. 색 차이 신호는, D/A변환 회로(153)에서 아날로그 신호로 변환되어 출력된다.
휘도 신호 처리 회로(154)는, R, G, B의 3원색 신호를 소정의 비율로 가산하는 것에 의해서 휘도 신호를 생성한다. 휘도 신호는, 증폭 회로(155)에서 YGain의 인자만큼 증배된 후에, D/A변환 회로(156)에서 아날로그 신호로 변환되어 출력된다.
휘도 검출부(155)는, 촬상 영역의의 휘도 레벨을 알기 위해서, 어느 일정기간, 예를 들면 1필드 기간(또는, 1 프레임 기간)에 있어서의 CCD 이미지 센서(12)의 취급 영역의 휘도 신호를 적분(검출)하고, 그 적분 결과(적분된 휘도치)를 마이크로 컴퓨터(16)로 전달한다.
마이크로 컴퓨터(16)는 각 필드(또는, 프레임)마다 휘도 검출부(157)로부터 적분된 휘도치를 수신하고, 적분된 휘도치가 제어 목표치(AE 기준치)에 가까워지도록 장치를 제어하는 AE 제어를 시작하여, 시스템 전체의 제어를 실시한다.
AE 제어에 있어서의 제어 대상의 대표적인 장치는, 렌즈(11)의 조리개, 아날로그 프론트 엔드부(14)에 있어서의 AGC 이득, CCD 이미지 센서(12)의 전자 셔터 동작시의 셔터 속도를 포함하고 있지만, 이것에 한정되는 것은 아니다. AE 제어의 상세한 것에 대하여는 후술한다.
ROM(17)은 마이크로 컴퓨터(16)에 의한 제어에 따라 시스템 전체를 제어하기 위한 프로그램을 저장한다. RAM(18)은 마이크로 컴퓨터(16)가 ROM(17)에 저장된 프로그램에 근거하고여 제어를 실시할 때에 이용되는 각종의 데이터, 즉 각종의 처리의 결과로서 얻어지는 데이터 등을 일시적으로 저장한다.
이동 검출 장치(20)는 본 발명과 관련되는 이동 검출 장치이다. 이동 검출 장치(20)는 영상 신호(예를 들면, 휘도 데이터)와 마이크로 컴퓨터(16)에 의한 제어에 따라 촬상 장치의 특성 제어에 의해서 결정되는 제어 정보, 예를 들면 AE 제어에 의해 얻어지는 AE 정보에 근거하여 피사체의 이동을 검출한다. 이동 검출 장치(20)의 구체적인 구성 및 동작의 상세한 것에 대하여는 후술한다.
(AE 제어)
일반적인 AE 제어의 제어 절차는 도 2에, AE 제어에 있어서의 신호의 절차는 도 3에 도시되어 있다. AE 제어는, 전술한 것처럼, 마이크로 컴퓨터(16)에 의한 제어에 따라 실행된다.
도 2의 플로차트에서는, 먼저, AE 제어를 위한 초기화 처리를 실시한다(스텝 : S11). 그 다음에, 필드(FLD)마다 실행하는 초기화 처리를 실시한다(스텝 : S 12). 그 다음에, 제어 대상의 장치의 스케일 리미터를 작성하고, AE 스케일에 장치 스케일을 할당한다(스텝 : S13).
다음에, 휘도 검출부(157)에서 검출된 적분 휘도치(Xf)를 이용하여 각 화소 의 휘도 적분 평균치를 산출하고(스텝 : S14), 그 다음에, AE 기준치(AE 제어의 목표치)(Xref)에 대한 제어 에러량 E(xf)를 구한다(스텝 : S15). 에러량 E(xf)는, 다음 식(2)에 표시된 바와 같이, 적분 휘도치(Xf)와 AE 기준치(Xref)와의 함수로 나타내진다.
E(xf)=2nlog2 (Xf2/Xref2 )........(2)
다음에, 다음 식(3)에 의해 AE 스케일(Sn)을 산출한다(스텝 : S16).
Sn=(1-α) Sn-1+αE(xf)....... (3) 여기서,α는 전술한 식(1)에 있어서의 시정수(time constant)이며, 0≤α≤1이다. 즉, AE 기준치로부터의 편차, 즉, 제어 에러량 E(xf)에 시정수(α)만큼 증배한 경우, AE 스케일(Sn)을 산출할 수 있다.
다음에, AE 제어의 동작 상태를 산출한다(스텝 : S17). 그 다음에, AE 스케일(Sn)에 할당된 장치 스케일로부터, 각 제어 대상 장치의 제어량, 예를 들면 조리개, AGC 이득, 셔터 속도를 산출한다(스텝 : S18). 그 다음에, 각 장치 스케일로부터 각 장치의 제어량을 구한다(스텝 : S19). 상술한 스텝(S12~S19)의 처리는 스텝(S20)에서 AE 제어가 “오프”를 판단할 때까지 반복적으로 실행된다.
도 4는 AE 스케일과 제어 대상 장치의 제어량과의 관계를 나타낸다. 도 4에서, 각 선의 변화점은 미리 설정해 둔다. 또, AE 스케일치의 하나의 값에는, 한 개의 제어 대상 장치가 할당되도록 설정이 이루어진다.
이러한 AE 제어를 실행하는 촬상 장치에서는, 촬상 영역내에 이동이 없음에도 불구하고, AE 제어에 의해 촬상 영역내의 휘도가 변화하는 경우가 있다. 이 때, 휘도차이 정보만을 이용하여 이동 검출을 실시하면, 전술한 것처럼, 피사체의 실제의 이동에 의한 휘도 변화가 발생되지 않더라도, 피사체의 이동에 의해 휘도 변화가 발생되는 오류 검출이 발생한다.
[이동 검출 장치]
본 발명의 한 실시예에 따르는 이동 검출 장치(20)는 휘도차이 정보만이 아니라 마이크로 컴퓨터(16)에 의한 제어에 따라 촬상 장치의 특성 제어에 의해서 결정되는 제어 정보도 이용하여 피사체의 이동 검출을 실시하는 것을 특징으로 하고 있다. 좀 더 구체적으로는, 이동 검출의 검출 파라미터, 예를 들면 검출 임계치가 상기 제어에 의해서 결정되는 제어 정보에 따라 제어가 동적으로 제어된다.
마이크로 컴퓨터(16)의 제어에 의해서 결정되는 제어 정보로서, 예를 들면, 휘도가 제어되는 AE 제어로 얻을 수 있는 AE정보가 이용된다. 그러나, 제어 정보는 AE 정보에 한정되는 것이 아니고, 색을 제어하는 AWB(오토 화이트 밸런스) 제어로 얻을 수 있는 AWB 정보, AF(오토 포커스)제어로 얻을 수 있는 AF 정보 등을 이용하는 것도 가능하다.
상술한 것처럼, 휘도차이 정보만이 아니라, 촬상 장치의 특성 제어에 의해서 결정되는 제어 정보를 이용하여 이동 검출의 검출 파라미터가 피사체의 이동 검출을 위한 정보로서 동적으로 제어된다. 그 결과, 엣지 검출 장치와 같이 특별한 회로를 이용하지 않아도, 간단한 회로 구성으로, 촬상 장치의 특성 제어에 의해 촬상 영역내의 휘도가 변화되는 일이 있더라도, 휘도 변화가 피사체의 실제의 이동에 의한 것인지, 촬상 장치의 특성 제어에 의한 것인지를 판별하면서 이동 검출을 실시할 수 있다. 그러므로, 피사체의 실제의 이동에 의해 휘도 변화가 발생되지 않는 사실에도 불구하고, 피사체의 이동에 의한 휘도 변화가 검출되는 오류 검출을 제거할 수 있다.
일례로서, 실내에서의 이동 검출을 위한 촬영을 예로 들자. 예를 들면, 창의 블라인드를 열 때, 블라인드에 이동이 발생하므로, 그 블라인드의 이동이 검출된다. 열려진 블라인드를 통해 외광이 실내에 들어가는 것에 의해서 화면 전체의 휘도 레벨에 변화가 생긴다. 이 때, AE 제어를 하는 것에 의해서 촬상 영역 전체에서 휘도 변화가 발생한다.
이와 같이, 촬상 장치의 AE 제어와 같은 특성 제어에 기인하는 휘도 변화가 촬상 영역 전체에 발생했을 때에, 단지 휘도차이 정보만을 이용하여 이동 검출을 실시하는 종래의 수법에서는 오류 검출이 발생할 수 있다. 이러한 오류 검출은 블라인드의 이동뿐만이 아니라, AE 제어 기인하는 휘도 변화를 촬상 영역내의 이동으로 검출함으로써 오류 검출이 발생하는 경우가 있다. 이에 대해서, 본 발명의 수법에서는, 촬상 장치의 특성 제어 정보를 이용하여 이동 검출의 검출 임계치가 동적으로 제어된다. 그러므로, 휘도 변화가 피사체의 실제의 이동에 의한 것인지, 특성 제어에 기인하는 것인지를 판별하면서 이동 검출이 실시된다. 그 결과, 특성 제어에 기인하는 휘도 변화에 대한 오류 검출을 회피할 수 있다.
이어서, 본 발명과 관련되는 이동 검출 장치(20)의 구체적인 실시예에 대해서, 도 5 및 도 6을 이용하여 설명한다. 이하에서는, 마이크로 컴퓨터(16)의 제어에 의해서 결정되는 제어 정보로서, 예를 들면, 휘도를 제어하는 AE 제어로 얻을 수 있는 AE정보를 이용하는 경우가 설명된다. 그러나, 제어 정보는 AE 정보에 한정되는 것이 아니고, 색을 제어하는 AWB(auto white balance : 오토 화이트 밸런스) 제어로 얻을 수 있는 AWB 정보를 이용하는 것도 가능하다.
(제 1의 실시예)
도 5는, 프레임간 차이 방식에 적용된 제 1의 실시예와 관련되는 이동 검출 장치(20A)를 나타내는 블럭도이다.
제 1의 실시예와 관련되는 이동 검출 장치(20A)는, 프레임 메모리(201) 및 임계치 차이 처리부(202)를 포함한다. 이동 검출 장치(20A)는 임계치 차이 처리부(202)에서, 입력 영상 신호와 프레임 메모리(201)내의 한 프레임만큼 지연된 입력 영상 신호간의 프레임간의 휘도차이를 얻고, 휘도차이를 미리 설정한 검출 임계치와 비교하여, 이동의 유무를 검출한다.
게다가, 제 1의 실시예와 관련되는 이동 검출 장치(20A)는, AE 정보를 입력으로 하는 제어부(203)를 가지며, 제어부(203)에 의한 제어에 따라, 임계치 차이 처리부(202)의 이동 검출의 검출 파라미터, 예를 들면 검출 임계치를 AE 정보에 따라 동적으로 변경한다.
상기 구성의 제 1의 실시예와 관련되는 이동 검출 장치(20A)에서는, AE 제어의 처리에 의해서 얻을 수 있는 제어 에러량 E(xf), 즉 AE 제어의 목표치와의 편차(deviation)가 큰 경우에, 지금부터 입력되는 화소의 값이 장치의 제어에 의해서 크게 변한다는 것을 의미하고 있다. 도 7에 도시된 바와 같이, 제어 에러량 E(xf)를 가로축, 이동 검출의 검출 임계치를 세로축으로 하는 테이블을 미리 설정해 둔다. 도 7에 도시된 바와 같이, 증가하는 함수의 테이블에 의해 설정이 이루어지는 경우에 더욱 좋은 결과가 발생한다고 본 출원의 발명자는 확신한다.
이와 같이, 피사체의 이동 검출을 위한 정보로서, 휘도차이 정보만이 아니고, 특성 제어, 예를 들면 AE 제어에 의해서 결정되는 AE정보도 이용함으로써 AE 정보에 따라 이동 검출의 검출 파라미터가 동적으로 제어된다. 그러므로, 촬상 영역내의 휘도가 AE 제어에 의해 변화되더라도, 휘도 변화가 피사체의 실제의 이동에 의한 것인지, AE 제어에 기인하는 것인지를 판별하면서 이동 검출을 실시할 수 있다. 그 결과, 피사체의 실제의 이동에 의해 휘도 변화가 발생되지 않더라도, 피사체의 이동에 의해 휘도 변화가 발생된다는 오류 검출을 제거할 수 있다.
(제 2의 실시예)
도 6은, 배경 차이 방식에 적용된 제 2의 실시예와 관련되는 이동 검출 장치(20B)를 나타내는 블럭도이다.
제 2의 실시예와 관련되는 이동 검출 장치(20B)는, 배경 모델 작성기(211), 프레임 메모리(212) 및 임계치 차이 처리부(213)를 가진다. 이동 검출 장치(20B)는 배경 모델 작성기(211)에서 상기 식(1)의 연산에 의해 입력 영상 신호로부터 배경 화상을 작성하며, 임계치 차이 처리부(213)에서 입력 영상 신호와 프레임 메모리(212)내의 한 프레임 지연된 배경 모델과의 휘도차이를 측정한다. 휘도차이는 미리 설정된 검출 임계치와 비교되어, 이동의 유무를 검출한다.
게다가, 제 2의 실시예와 관련되는 이동 검출 장치(20B)는, AE 정보를 입력으로 하는 제어부(214)를 가진다. 이동 검출 장치(20B)는 제어부(214)의 제어에 따라 이동 검출의 검출 파라미터, 예를 들면 임계치 차이 처리부(213)의 검출임계치와 식(1)에 있어서의 시정수(α)를 AE 정보를 이용하여 동적으로 변경한다. 시정수(α)는 배경 모델(배경 화상)을 구축하기 위한 학습 계수이다.
여기서, 식(1)에 대해 생각한다. 식(1)은 시간(t)에 있어서의 배경 모델 B(m, n, t)를 나타내고 있다. 그 표현은 시정수(α)의 값이 크면 클수록 이 때의 입력 화상 I(m, n, t)의 가중치가 더욱 커지게 되며, 시정수(α)의 값이 0에 가까워지면 가까워질수록 과거의 화상 (m, n, t-1)을 더욱 신용하게 된다는 것을 의미한다.
따라서, AE 제어가 실행되지 않고, 촬상 영역 전체가 같은 휘도치일 때는, 배경 모델을 작성하는데 있어서 시정수(α)의 값이 가능한 한 작으면 안정된 조건이 설정된다. 한편, AE 제어가 실행되고 촬상 영역내의 휘도치가 변화되더라도 과거의 정보를 계속 유지하는 배경 모델을 작성하는데 있어서는 바람직하지 않다.
이러한 관점으로부터, 제 2의 실시예와 관련되는 이동 검출 장치(20B)에서는, 도 8에 도시된 바와 같이, 제어 에러량 E(xf)를 가로축, 모델 갱신의 시정수(α)를 세로축으로 하는 테이블을 미리 설정해 둔다. 제 1의 실시예와 관련되는 이동 검출 장치(20A)의 경우와 같이, AE 제어의 처리에 의해서 얻을 수 있는 제어 에러량 E(xf)가 큰 경우에는, 도 7에 도시된 바와 같이, 미리 설정한 테이블에서 얻을 수 있는 검출 임계치로 휘도치가 설정되며 그리고, 도 8에 도시된 바와 같이, 설정된 시정수는 미리 설정된 테이블에서 얻을 수 있는 시정수(α)로 변경된다.
좀 더 구체적으로는, AE 제어에 의한 휘도 변화가 커지면, 배경 모델 작성에적용된 과거 화상 B(m, n, t-1)의 기여도가 감소되도록 시정수(α)가 제어된다. 이것은, 신용할 수 없는 과거의 정보는 버려지게 된다는 것을 의미한다. 그 결과, 정확한 배경 모델을 작성할 수 있다.
이와 같이, 피사체의 이동 검출을 위한 정보로서, 휘도 차이 정보만이 아니고, 특성 제어, 예를 들면 AE 제어에 의해서 결정되는 AE정보도 이용되어 이동 검출의 검출 파라미터, 예를 들면 배경 모델을 구축하기 위한 학습 계수(시정수(α))를 AE 정보에 따라 동적으로 제어하게 된다. 그러므로, AE 제어에 기인하는 촬상 영역내의 휘도가 변화되더라도, 매우 정확한 배경 모델을 작성할 수 있는 것이 가능하다. 휘도 변화가 피사체의 실제의 이동에 의한 것인지, AE 제어에 의한 것인지를 판별하면서 이동 검출을 실시할 수 있다. 그 결과, 피사체의 실제의 이동에 의해 휘도 변화가 발생되지 않더라도, 피사체의 이동에 의해 휘도 변화가 발생된다는 오류 검출을 제거할 수 있다.
제 2의 실시예에서는, AE 정보를 이용하여 이동 검출의 검출 임계치와 배경 모델 작성의 시정수(α)의 양쪽 모두가 동적으로 제어되지만, 이들중 적어도 한 개를 제어하도록 구성할 수 있다. 특히, 시정수(α)만을 제어하는 구성을 채택하는 경우, 배경 모델 작성시에 매우 정확한 시정수(α)를 가지는 배경 모델이 작성된다. 그러므로, AE 제어에 의해 촬상 영역내의 휘도가 변화될 때에 이동 검출의 검출 정밀도를 향상시킬 수 있다. 그러나, 검출 임계치와 시정수(α)의 양쪽 모두를 제어하는 구성이 채용되면, 이동 검출의 검출 정밀도는 보다 확실히 향상될 수 있다.
(촬영 환경에 있어서의 조도의 변화에 수반하는 문제점)
밤낮을 통해 촬영하면서 이동 검출을 실시하는 경우, 야간과 다른 경우에 촬상 영역내의 신호 레벨이 전체적으로 작아졌을 때에, 때때로 이동 검출을 실시할 수 없게 된다. 9a와 도 9b는 비교예를 나타내고 잇는 도면으로서, 도 9a는 정상적인 시간에서 충분한 조도가 제공되는 상태를 나타내며 도 9b는 저조도(low illuminance)상태를 도시하고 있다.
도 9a(1)와 도 9b(1)는 각각 실내의 조명이 온(휘도 레벨:큼)/오프(휘도 레벨:작음)때의 장면예를, 도 9a(2)와 도 9b(2)는 각각 모델이 움직였을 때의 예를 나타내며, 도 9a(3)와 도 9b(3)는 각각 도 9a(2)와 도 9b(2)의 모델이 움직였을 때에 파선 라인으로 표시된 휘도 차이예를 각각 나타내고 있다.
정상적인 시간에서 도 9a의 조도 상태에서는, 충분한 휘도 레벨에 이르고 있으므로, 동체 영역과 정지 영역간에는 충분한 휘도 차이가 있다. 반대로, 도 9b의 저조도 상태에 있을 때에는, 동체 영역과 정지 영역과의 사이에는 휘도 차이가 발생되지 않는다.
도 10에, 각각의 장면에 있어서 이동 검출을 실시할 때에 최적의 검출 임계치의 예를 나타내고 있다. 도 9a의 장면에서의 최적 임계치가 도 9b의 장면에 적용되면, 동체의 이동을 검출할 수 없다. 이것은, 이동 검출 장치를 이용한 감시 시스템에서는 에러 경보를 발생시킨다. 도9b에 있어서의 최적 임계치가 도 9a의 장면에 적용되면, 정지 영역도 역시 이동으로서 검출된다. 이것은 이동 검출 장치를 이용한 감시 시스템에서는 에러 경보를 발생시킨다.
이러한 촬영 환경에 있어서의 조도의 변화에 대해서는, 시각 정보로부터 촬 영 환경의 조도를 추측하고, 이 추측한 조도에 따라 이동 검출의 검출 임계치를 제어하는 방법이 생각된다. 이 방법은, 예를 들면, 시각에 따라 규칙적으로 조명이 설정되는 실내를 감시하는 경우에는 일정한 효과를 발휘하지만, 옥외의 감시에 있어서는, 시각과 조도는 항상 일정하지 않게 된다. 예를 들면, 지구의 공전과 지축의 기울기로 인해, 일조 시간은 날마다 변화하게 된다. 그러므로, 에러 경보 및 오보를 발생하는 일이 있다.
(제 3의 실시예)
제 3의 실시예의 특징은 마이크로 컴퓨터(16)에 의한 제어에 따라 촬상 장치의 특성 제어에 의해서 결정되는 AE 제어 정보와 같은 제어 정보를 이용하여 이동 검출의 검출 임계치가 제어되어, 촬영 환경에 있어서의 조도의 변화에 수반하는 문제점를 해결하는 것을 특징으로 하고 있다.
AE 정보를 이용하여 이동 검출의 검출 임계치가 제어된다는 점에서, 제 3의 실시예의 검출 장치는 구성상, 예를 들면 도 5의 제 1의 실시예와 관련되는 이동 검출 장치(20A)와 같지만, 제어부(203)의 구체적인 제어에 있어서는 이동 검출 장치(20A)와는 다르다.
전술한 것처럼, AE 제어에서는, 도 2의 스텝(S15)의 처리에서, AE 기준치로부터의 편차에 의해 제어 대상으로 하는 장치와 그 제어량이 결정된다. 상기 편차는 제어 에러량 E(xf)에 시정수(α)를 증배함으로써 산출된다. 도 11은 AE 스케일(Sn)과, 제어 대상 장치 및 장치 제어량과의 대응 테이블을 나타내고 있다.
좀 더 구체적으로는, 촬상 영역내의 휘도 레벨(각 화소당 휘도 적분치)이 목 표치(AE 기준치)보다 클(밝을) 때에는, 조리개가 닫히게 되어(포커스 되어), 셔터 속도를 증가시키게 되므로, 수광하는 광량이 감소되도록 제어된다. 반대로, 촬상 영역내의 휘도 레벨이 목표치보다 작을(어두울) 때에는, 조리개가 열려지게 되어 셔터 속도를 시키게되므로 수광하는 광량이 증가되도록 제어된다.
셔터 속도가 무제한적으로 감소되면, 광량을 이론상 늘릴 수 있다. 그러나, 비디오 카메라의 경우 포맷에 영향을 받는 셔터 속도에 제한이 있다. 예를 들면, NTSC 방식의 경우에는, 셔터 속도가 1/30[초]이며, PAL 방식의 경우에는 1/25[초]이다.
이 제한을 초과하는 경우(도 11에서 AE 스케일<AES_1의 상태), 셔터 속도는 하한치로 고정되어, AGC 이득을 증가시키므로 휘도 레벨의 향상을 도모한다. 다만, 이 경우 S/N가 저하하여, 화질이 떨어진다는 단점이 있다. 결과적으로, AGC 이득은 마지막으로 제어되는 것이 일반적이다.
이와 같이, AGC 이득이 증가하면, S/N이 감소된다. 그러므로, 화질에 미치는 영향을 고려하면 AGC의 이득량에는 미리 상한치가 제공된다. 도 11에서는, AE 스케일<AES_0의 경우가 도시되어 있다.
이러한 경우에서, 촬상 영역의 휘도 레벨은 목표치에 대해서는 작다. 그러나, 상한치를 이미 초과하고 있다면, 더 이상의 휘도는 개선되지 않는다. 도 9b의 촬상 영역내에 도시된 상태는 AGC 이득치가 최대치 AGC_MAX에 부가된 상태이다.
이것을 이용하면, AGC 이득치로부터 촬상 영역의 전체 신호량을 추측할 수 있다. 도 12에 도시된 바와 같이, AGC 이득량(AGC 이득의 제어량)을 가로축에, 이동 검출의 임계치를 세로축으로 하는 테이블이 미리 설정된다. 테이블을 참조하면서 AGC 이득치에 따라 이동 검출의 검출 임계치가 동적으로 제어된다.
이와 같이, 촬상 장치의 특성 제어 정보, 예를 들면 AE 정보로부터 얻을 수 있는 AGC 이득치에 따라 이동 검출의 검출 임계치가 동적으로 제어되며, 검출 임계치는 촬영 환경에 있어서 조도에 대응하는 최적치로 설정된다. 그러므로, 야간이나 조명이 없어진 실내와 같은 저조도의 촬영 환경에 있어서, 촬상 영역내의 신호 레벨이 전체적으로 작아졌을 때에도, 이동 검출의 검출 감도가 향상되므로, 안정된 검출 동작을 실시할 수 있다.
(제어예)
여기서, 제 1의 실시예 또는 제 2의 실시예와 관련되는 검출 임계치와 제 3의 실시예와 관련되는 검출 임계치를 병용하는 경우에는, 두 개의 제어를 배타적으로 실행하는 것이 좋다. 그 제어예에 대해서, 도 13의 플로차트를 이용하여 설명한다.
먼저, AE가 안정 상태에 있는지 아닌지, 즉 AE가 컨버젼스(convergence) 상태에 있는지 아닌지를 판단한다(스텝 : S21). AE가 컨버젼스 상태에 있는지 아닌지를 판정하는 처리는 후술한다. AE가 안정 상태가 아닐 때에, 즉 AE 제어에 의해 촬상 영역내에 휘도 변화가 발생할 때에는, 도 2의 스텝(S15)에서 얻어진 제어 에러량 E(xf)에 따라 이동 검출의 검출 임계치가 제어된다(스텝 : S22). 그 다음에, 제어 에러량 E(xf)에 따라 배경 모델 갱신의 시정수(α)가 제어된다(스텝 : S23).
여기에서는, 제 2의 실시예와 관련되는 이동 검출 장치(20B)에 있어서의 검출 임계치와 시정수(α)의 제어가 절차를 설명하기 위한 보기로서 이용된다. 제 1의 실시예와 관련되는 이동 검출 장치(20A)에 있어서의 검출 임계치를 제어하는 경우에는, 도 13의 스텝(S23)의 처리가 생략될 수 있다.
한편, 스텝(S21)에서는, AE가 안정 상태에 있다고 판정했을 때에는, 촬상 영역 전체의 휘도치가 안정되어 있어 촬상 영역내에 휘도의 변화가 없는 경우이다. 이 경우에는, 도 2의 스텝(S15)에서 산출한 AE스케일(Sn)로부터, 도 11의 테이블에 근거하여 AGC 이득치가 얻어지며, AGC 이득치에 따라, 이동 검출의 검출 임계치가 제어된다. 좀 더 구체적으로는, AGC 이득치로부터 도 12의 테이블에 근거하여 이동 검출의 검출 임계치가 수정된다(스텝 : S24).
(컨버젼스 판정 알고리즘)
도 14는, AE가 컨버젼스 상태에 있는지 아닌지를 판정하는 알고리즘을 나타내는 플로차트이다.
먼저, AE 제어의 처리에 의해서 얻을 수 있는 제어 에러량 E(xf)가 임계치( Th_Err)보다 큰지 아닌지, 즉 AE 제어에 의한 휘도 변화가 산출되는지 아닌지를 판단한다(스텝 : S31). 제어 에러량 E(xf)가 임계치(Th_Err)보다 큰 경우에는, AGC 이득치가 최대치 AGC_MAX에 부가되어 있는지를 판단한다(스텝 : S32). 스텝 (S32)에서의 판단은, 도 11의 AE 스케일<AES_0의 판단과 대응한다.
휘도 변화가 발생되는지에 대한 판정결과로서, 스텝(S32)의 판단에서 AGC 이 득치=AGC_MAX이면 AE_STS=0, AGC 이득치<AGC_MAX이면 AE_STS=1, 스텝 (S31)의 판단에서, E(xf)≤Th_Err이면 AE_STS=0이 도 13의 이동 검출의 알고리즘으로 전달된다. 여기서, AE_STS=0은, AE가 컨버지되고(converged), 촬상 영역내에 휘도 변화가 없다는 것을 나타내며, AE_STS=1은, AE가 동작중이며, 촬상 영역내에 휘도 변화가 있다는 것을 나타내고 있다.
도 13의 이동 검출의 알고리즘에서, 스텝(S21)의 판단 처리에서는, 도 14의 컨버젼스 판정 알고리즘으로부터 AE_STS=1을 수신하였을 때에는, AE가 안정 상태에 있지 않다고 판정되고, AE정보에 따라 임계치와 시정수(α)의 제어가 실행된다. AE_STS=0이 수신되면, AE가 안정 상태에 있다고 판정되고, AGC 이득치에 따라 검출 임계치의 제어가 실행된다.
[감시 시스템]
도 15는, 제 1의 실시예와 관련되는 이동 검출 장치(20)를 가지는 촬상 장치를 감시 카메라로 이용하는 감시 시스템의 구성예를 나타내는 시스템 구성도이다.도 15에 도시한 바와 같이, 감시 시스템은, 제 1의 실시예와 관련되는 이동 검출 장치(20)를 가지는 촬상 장치(30)와 기록 제어장치(41)를 가지는 영상 기록 장치 (40)에 의해 구성되어 있다.
기록 제어장치(41)는, 촬상 장치 (30)내에 설치된 이동 검출 장치(20)로부터 이동 정보가 제공되면, 이동 정보를 트리거로 이용하여 감시자에게 이동 경고 신호가 발생되도록 제어한다. 장치(41)는 촬상 장치(30)내의 카메라 신호 처리 회로(도 1의 카메라 신호 처리 회로(15)에 대응함)에서 출력되는 영상 신호를 기록 매체(42)에 기록하는 제어를 실시한다.
이와 같이, 수상한 사람 등의 감시를 실시하는 감시 시스템에서는, 특히 제 1의 실시예와 관련되는 이동 검출 장치(20)를 포함하는 촬상 장치(30)가 감시 카메라로 이용되는 경우, 이동 검출 장치(20)가 제 1의 실시예 또는 제 2의 실시예와 관련되는 이동 검출 장치가 되면, 촬상 영역상에 촬상 장치의 특성 제어에 기인하는 휘도 변화가 있더라도, 휘도 변화가 피사체의 실제의 이동에 의한 것인지, AE 제어에 기인하는 것인지를 판별하면서 이동 검출을 실시할 수 있다. 그러므로, 오류 검출을 제거할 수 있고, 그에 의해 에러 경고를 제거할 수 있다.
이동 검출 장치(20)로서 제 3의 실시예와 관련되는 이동 검출 장치를 이용했을 경우에는, 야간이나 조명이 꺼져버린 실내등의 저조도의 촬영 환경에 있어서, 촬상 영역내의 신호 레벨이 전체적으로 작아졌을 때에도, 이동 검출의 검출 감도가 향상되므로, 안정된 검출 동작을 실시할 수 있고, 에러 경보를 제거할 수 있다.
<<제 2의 실시예>>
감시 시스템이, 이동 검출 장치를 촬상 장치측이 아니고, 영상 기록 장치 측에 내장하도록 구성된 경우(종래형), 영상을 해석하기 위한 정보, 즉 촬상 영역내의 이동을 검출하기 위한 정보를 분석하기 위한 정보가 되며, 촬상 장치로부터 출력되는 영상 신호만이 존재한다. 그러므로, 촬상 장치가 가지는 전자 줌 기능에 의해서 확대 처리를 실시했을 경우, 영상 기록 장치내의 이동 검출 장치는 촬상 장치로부터 출력되는 확대된 영상 영역(표시 영역)내의 이동만을 검출한다.
좀 더 구체적으로는, 도 16에서, 영역(51)을 확대하여 표시 또는 기록이 실 행되는 것을 생각하면, 영역(51)내에 존재하는 동체(52)의 이동에 대해서는 검출할 수 있지만, 영상 센서에는 촬상되고 있으나 확대된 표시 영역(54)에는 투영되지 않은 동체(53)의 이동을 검출할 수 없다.
이러한 점을 고려하면, 확대 처리를 했을 경우에도, 영상 센서에 의해 촬상 영역 전체에 대해서 이동 검출을 실행할 수 있는 촬상 장치는 본 발명의 제 2의 실시예와 관련되는 촬상 장치가 된다.
도 17은, 본 발명의 제 2의 실시예와 관련되는 촬상 장치의 구성의 일례를 나타내는 시스템 구성도이다. 이 도면에서는, 도 1과 동일한 부분에는 동일 부호가 지정되어 있다. 여기에서, 카메라 신호 처리 회로에 대해서는, 도면의 간략화를 위해서, 도 1의 크로마 신호 처리 회로(152)가 생략되었으며, 휘도 신호 처리 회로(154)의 일부의 구성만이 도시되었다.
본 실시 형태와 관련되는 촬상 장치는, 화상 촬상 영역내에서, CCD 이미지 센서(12)로 촬상한 화상의 일부에 대해 전자적으로 확대 처리하는 전자 줌 기능을 갖추고 있다. 전자 줌 기능은 다음과 같이 얻어진다. 휘도 신호 처리 회로(154)에서는, 전자 줌 제어부(1541)에 의한 제어에 따라, 입력되는 영상 신호를 메모리 제어기(1542)를 통해 프레임 메모리(1543)에 저장한다. 그리고, 이 상태에서, 프레임 메모리(1543)로부터 임의의 영역이 절단되고, 보간 처리(interpolation)가 실시된다. 이 때에, 줌 위치 또는 줌 배율에 대한 정보는 이용자에 의해서 마이크로 컴퓨터(16)로 제공되고, 마이크로 컴퓨터(16)로부터 전자 줌 제어부(1541)로 제공된다.
이와 같이, 전자 줌 기능을 가지는 촬상 장치의 실시예는 촬상 장치내에 이동 검출 장치(20)를 내장하고, 이동 검출 장치(20)의 전단에 선택기(60)를 제공하는 구성을 가지도록 되어 있다. 이동 검출 장치(20)로서, 전술한 제 1 및 제 3의 실시예에 따르는 이동 검출 장치를 이용할 수 있지만, 이동 검출 장치(20)는 이것에 한정되는 것은 아니다.
선택기(60)는 전자 줌 제어부(1541)에 입력되는 영상 신호와 전자 줌 제어부 (1541)로부터 출력되는 영상 신호를 입력한다. 게다가, 마이크로 컴퓨터(16)의 제어에 따라 영상 신호들중 한 신호를 선택하고 그것을 이동 검출 장치(20)로 공급한다.
여기서, 전자 줌 제어부(1541)가 확대 처리를 실시하지 않을 때에는, 전자 줌 제어부(1541)의 입력 신호와 출력 신호는 기본적으로 같은 영상 신호이다. 한편, 전자 줌 제어부(1541)가 확대 처리를 실시할 때에는, 전자 줌 제어부(1541)의 입력 신호는 확대전의 영상 신호, 즉 CCD 이미지 센서(12)로 촬상한 촬상 영역의 영상 신호이며, 전자 줌 제어부(1541)의 출력 신호는 확대 처리 후의 영상 신호이다.
마이크로 컴퓨터(16)는 자동적으로 혹은 이용자에 의한 지시에 따라 선택기(60)를 제어하므로 선택기(60)는 전자 줌 제어부(1541)가 확대 처리를 실시할 때에는 전자 줌 제어부(1541)에 입력되는 영상 신호 또는 전자 줌 제어부(1541)가 확대 처리를 실시하지 않을 때에는 전자 줌 제어부(1541)로부터 출력되는 영상 신호중에서 한 개의 영상 신호를 선택하고, 선택된 영상 신호를 이동 검출 장치(20)에 공급하게 된다.
상술한 것처럼, 전자 줌 기능을 가지는 촬상 장치가 전자 줌 제어부(1541)에 의한 확대 처리를 실시할 때는, 전자 줌 제어부(1541)로부터 출력되는 영상 신호가 이동 검출 장치(20)에 입력되므로, 이동 검출 장치(20)는 확대된 영상 신호에 근거하여 이동 검출을 실시할 수 있다. 그러므로, 도 16에서는, 확대된 표시 영역(54)에는 투영되지 않은 비표시 영역의 동체(53)의 이동에 대해서도 검출할 수 있다.
이에 의해, 도 15에 도시된 감시 시스템에서는, 본 실시예와 관련되는 촬상 장치가 감시 카메라(촬상 장치(30))로 이용되는 경우에, 전자 줌 기능에 의해서 확대된 영상 신호를 모니터에 비추어 확대된 화상을 감시하고 있을 때에, 촬상 장치의 이동 검출 장치에 의해서 모니터에 표시되어 있지 않은 영역의 이동도 검출되며, 이동이 있었을 때에는 감시자에 대해서 경고가 전달될 수 있다. 그러므로, 감시자의 부하를 경감시키고, 보다 확실한 감시를 실시할 수 있다.
본 발명의 첨부된 청구항과 그와 동등한 것들의 범위내에서 여러 가지 수정과 결합, 소결합 및 변경들이 설계요구 및 다른 인자에 따라 이루어질 수 있다는 것을 당업자들이 알 수 있음은 물론이다.
도 1은, 본 발명의 제 1의 실시예와 관련되는 촬상 장치의 구성의 일례를 나타내는 시스템 구성도이다.
도 2는, 일반적인 AE 제어의 제어 플로우를 나타내는 플로차트이다.
도 3은, 일반적인 AE 제어에 있어서의 신호의 흐름을 나타내는 도면이다.
도 4는, AE스케일과 제어 대상 장치의 제어량과의 관계를 나타내는 도면이다.
도 5는, 제 1의 실시예와 관련되는 이동 검출 장치를 나타내는 블럭도이다.
도 6은, 제 2의 실시예와 관련되는 이동 검출 장치(20A)를 나타내는 블럭도이다.
도 7은, 제어 에러량과 검출 임계치를 나타내는 도면이다.
도 8은, 제어 에러량과 모델 갱신 시정수의 테이블을 나타내는 도면이다.
도 9a와 도 9b는, 통상의 충분한 조도 상태에 있는 상태(A)와 저조도 상태에 있는 상태(B)의 비교예를 나타내는 도면이다.
도 10은 통상의 조도 상태(A)와 저조도 상태(B)의 각각의 장면에 있어 동적 검출을 실시할 때에 최적인 검출 임계치의 예를 나타내는 도면이다.
도 11은, AE스케일(Sn)과 제어 대상 장치 및 장치 제어량과의 대응 테이블을 나타내는 도면이다.
도 12는, AGC 이득량과 검출 임계치의 테이블을 나타내는 도면이다.
도 13은, 제 2의 실시예와 관련되는 검출 임계치의 제어와 제 3의 실시예와 관련되는 검출 임계치의 제어를 병용하는 경우의 제어 보기의 순서를 나타내는 플로차트이다.
도 14는, AE가 컨버젼스 상태에 있는지 아닌지를 판정하는 알고리즘을 나타내는 플로차트이다.
도 15는, 제 1의 실시예와 관련되는 이동 검출 장치(20)를 가지는 촬상 장치를 감시 카메라로서 이용하는 감시 시스템의 구성예를 나타내는 시스템 구성도이다.
도 16은, 촬상 영역과 이동 검출 가능 영역의 관계를 설명하는 도면이다.
도 17은, 본 발명의 제 2의 실시예와 관련되는 촬상 장치의 구성의 일례를 나타내는 시스템 구성도이다.

Claims (12)

  1. 이동 검출 장치에 있어서,
    영상 센서에서 출력되는 영상 신호로부터 얻어지는 휘도차이 정보와, 이동 검출의 검출 파라미터를 비교하여 이동의 유무의 판단 처리를 실시하는 처리부와,
    상기 영상 센서를 포함하는 촬상 장치의 특성 제어에 의해서 결정되는 제어 정보를 이용하여 상기 검출 파라미터를 제어하는 제어부를 구비하는 것을 특징으로 하는 이동 검출 장치.
  2. 제 1항에 있어서,
    상기 제어 정보는, 상기 영상 센서에 의해 촬상되는 촬상 영역내의 휘도 레벨에 따라 상기 촬상 장치의 노출을 제어하는 자동 노출 제어에 의해서 결정되는 것을 특징으로 하는 이동 검출 장치.
  3. 제 1항에 있어서,
    상기 제어 정보는, 상기 영상 센서에 의해 촬상되는 촬상 영역내의 휘도 레벨에 따라 상기 영상 신호의 이득을 제어하는 자동 이득 제어에 의해서 결정되는 것을 특징으로 하는 이동 검출 장치.
  4. 제 1항에 있어서,
    상기 제어부는, 상기 영상 신호와, 한 프레임만큼 지연된 영상 신호와의 프레임간의 휘도차이를 구하고, 상기 휘도차이를 상기 이동 검출의 검출 임계치와 비교하는 처리를 실시하며,
    상기 제어부는, 상기 제어 정보를 이용하여 상기 검출 임계치를 제어하는 것을 특징으로 하는 이동 검출 장치.
  5. 제 1항에 있어서,
    상기 제어부는 상기 영상 신호로부터 연산에 의해 배경 화상을 작성하고, 영상 신호와 상기 배경 화상과의 휘도차이를 구하고, 상기 휘도차이를 상기 이동 검출의 검출 임계치와 비교하는 처리를 실시하고,
    상기 제어부는 상기 제어 정보를 이용하여 상기 검출 임계치 및 상기 배경 화상을 구축하기 위한 학습 계수중 적어도 한 개를 제어하는 것을 특징으로 하는 이동 검출 장치.
  6. 이동 검출 방법에 있어서,
    영상 센서에서 출력되는 영상 신호로부터 얻어지는 휘도차이 정보와, 이동 검출의 검출 파라미터를 비교하여 이동의 유무의 판단 처리를 실시하는 스텝과,
    상기 영상 센서를 포함하는 촬상 장치 특성 제어에 의해서 결정되는 제어 정보를 이용하여 상기 검출 파라미터를 제어하는 스텝을 구비하는 것을 특징으로 하는 이동 검출 방법.
  7. 제 6항에 있어서,
    상기 촬상 장치의 특성 제어가 안정 상태에 있는지 아닌지를 판단하는 판단 스텝을 추가로 구비하며,
    상기 제어 스텝에서는,
    상기 판단 스텝이 안정 상태에 있지 않다고 판단되었을 때에는, 상기 영상 센서에 의해 촬상된 촬상 영역내의 휘도 레벨에 따라 상기 촬상 장치의 노출을 제어하는 자동 노출 제어에 의해서 결정되는 제어 정보를 이용하여 검출 파라미터가 제어되며,
    상기 판단 스텝이 안정 상태에 있다고 판단되었을 때에는, 상기 영상 센서에 의해 촬상된 촬상 영역내의 휘도 레벨에 따라 상기 영상 신호의 이득을 제어하는 자동 이득 제어에 의해서 결정되는 제어 정보를 이용하여 상기 검출 파라미터가 재어되는 것을 특징으로 하는 이동 검출 방법.
  8. 촬상 장치에 있어서,
    영상 센서와,
    상기 영상 센서에서 출력되는 영상 신호에 근거하여 피사체의 이동의 유무를 검출하는 이동 검출 장치를 구비하며,
    상기 이동 검출 장치는,
    상기 영상 센서에서 출력되는 영상 신호로부터 얻어지는 휘도차이 정보와, 이동 검출의 검출 파라미터를 비교하여 이동의 유무의 판단 처리를 실시하는 처리부와,
    상기 영상 센서를 포함하는 촬상 장치의 특성 제어에 의해서 결정되는 제어 정보를 이용하여 상기 검출 파라미터를 제어하는 제어부를 구비하는 것을 특징으로 하는 촬상 장치.
  9. 감시 시스템에 있어서,
    영상 센서와,
    상기 영상 센서에서 출력되는 영상 신호에 근거하여 피사체의 이동의 유무의 검출하는 이동 검출 장치로서, 상기 이동 검출 장치로부터 출력되는 이동 정보를 이용하여 상기 영상 센서에 의해 촬상된 촬상 영역내의 상기 피사체의 이동을 감시하는 상기 이동 검출 장치를 구비하며,
    상기 이동 검출 장치는,
    상기 영상 센서에서 출력되는 영상 신호로부터 얻어지는 휘도차이 정보와, 이동 검출의 검출 파라미터를 비교하여 이동의 유무의 판단 처리를 실시하는 처리부와,
    상기 영상 센서를 포함하는 촬상 장치의 특성 제어에 의해서 결정되는 제어 정보를 이용하여 상기 검출 파라미터를 제어하는 제어부를 구비하는 것을 특징으로 하는 감시 시스템.
  10. 촬상 장치에 있어서,
    영상 센서와,
    상기 영상 센서에서 출력되는 영상 신호에 대해서 한 개의 화상의 일부를 확대하는 처리를 실시하는 확대 처리부와,
    상기 확대 처리부에 입력되기 전에 상기 영상 신호에 근거하여 피사체의 이동의 유무를 검출하는 이동 검출 장치를 구비하는 것을 특징으로 하는 촬상 장치.
  11. 영상 센서와, 상기 영상 센서에서 출력되는 영상 신호에 대해서 한 개의 화상의 일부를 확대하는 처리를 실시하는 확대 처리부를 구비하는 촬상 장치내의 이동 검출 방법에 있어서,
    상기 확대 처리부에 입력되기 전에 영상 신호에 근거하여 피사체의 이동의 유무를 검출하는 스텝을 구비하는 것을 특징으로 하는 이동 검출 방법.
  12. 감시 시스템에 있어서,
    영상 센서와,
    상기 영상 센서에서 출력되는 영상 신호에 근거하여 피사체의 이동의 유무의 검출하는 이동 검출 장치로서, 상기 이동 검출 장치로부터 출력되는 이동 정보를 이용하여 상기 영상 센서에 의해 촬상된 촬상 영역내의 상기 피사체의 이동을 감시하는 이동 검출 장치를 구비하며,
    상기 이동 검출 장치는 상기 확대 처리부에 입력되기 전에 상기 영상 신호에 근거하여 피사체의 이동의 유무를 검출하는 것을 특징으로 하는 감시 시스템.
KR20080010196A 2007-02-15 2008-01-31 이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시시스템 KR101486996B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2007-00034443 2007-02-15
JP2007034443A JP4311457B2 (ja) 2007-02-15 2007-02-15 動き検出装置、動き検出方法、撮像装置および監視システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020140009632A Division KR101450200B1 (ko) 2007-02-15 2014-01-27 이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시 시스템

Publications (2)

Publication Number Publication Date
KR20080076740A true KR20080076740A (ko) 2008-08-20
KR101486996B1 KR101486996B1 (ko) 2015-01-27

Family

ID=39706696

Family Applications (2)

Application Number Title Priority Date Filing Date
KR20080010196A KR101486996B1 (ko) 2007-02-15 2008-01-31 이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시시스템
KR1020140009632A KR101450200B1 (ko) 2007-02-15 2014-01-27 이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020140009632A KR101450200B1 (ko) 2007-02-15 2014-01-27 이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시 시스템

Country Status (5)

Country Link
US (1) US8345919B2 (ko)
JP (1) JP4311457B2 (ko)
KR (2) KR101486996B1 (ko)
CN (1) CN101247471B (ko)
TW (1) TWI369127B (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2131589B1 (en) * 2007-03-28 2018-10-24 Fujitsu Limited Image processing device, image processing method, and image processing program
JP5499039B2 (ja) * 2008-09-22 2014-05-21 フリーダム サイエンティフィック インコーポレイテッド 対象物を撮像するためのシステムおよび方法
US8764292B2 (en) 2008-11-20 2014-07-01 Performance Seed Article for holding product and methods
JP5355381B2 (ja) * 2009-12-28 2013-11-27 キヤノン株式会社 撮像装置及びその合焦制御方法
CN101854547B (zh) * 2010-05-25 2013-05-08 无锡中星微电子有限公司 视频采集传输系统中运动帧及前景检测的方法及装置
TWI471521B (zh) * 2010-07-23 2015-02-01 Pixart Imaging Inc 位移估測方法及使用該方法之位移偵測裝置
CN102404495B (zh) * 2010-09-10 2014-03-12 华晶科技股份有限公司 数字相机的拍摄参数的调整方法
CN102457724B (zh) * 2010-10-22 2014-03-12 Tcl集团股份有限公司 一种图像运动检测系统及方法
JP2013152207A (ja) * 2011-12-31 2013-08-08 Shibaura Mechatronics Corp 検査装置及び検査方法
WO2014115817A1 (ja) * 2013-01-23 2014-07-31 株式会社東芝 動作情報処理装置
JP5804138B1 (ja) * 2014-05-21 2015-11-04 カシオ計算機株式会社 検出装置、検出方法及びプログラム
US10302424B2 (en) * 2014-05-29 2019-05-28 Northwestern University Motion contrast depth scanning
KR102252778B1 (ko) * 2014-10-20 2021-05-17 현대중공업지주 주식회사 물체의 위치 측정 시스템 및 방법
US9508156B1 (en) * 2014-12-23 2016-11-29 Ambarella, Inc. Level-based motion detection in a sequence of pictures
US10021396B1 (en) 2014-12-30 2018-07-10 Ambarella, Inc. Motion detection based on observing several pictures
CN106303191B (zh) * 2015-05-25 2019-04-26 深圳市福斯康姆智能科技有限公司 镜头聚焦方法及装置
JP2015222600A (ja) * 2015-08-20 2015-12-10 カシオ計算機株式会社 検出装置、検出方法及びプログラム
CN105407281A (zh) * 2015-11-13 2016-03-16 努比亚技术有限公司 一种基于场景的拍照装置、方法
TWI569212B (zh) * 2015-12-10 2017-02-01 財團法人工業技術研究院 影像辨識方法
KR101759138B1 (ko) * 2015-12-10 2017-07-18 현대자동차주식회사 차량의 후방 카메라를 이용한 테일 게이트 제어 장치 및 방법
EP3529788B1 (en) 2016-10-24 2020-07-22 Signify Holding B.V. Presence detection system and method
CN106851050B (zh) * 2017-03-13 2020-04-24 Oppo广东移动通信有限公司 运动检测方法和装置、移动设备
JP6815926B2 (ja) * 2017-04-27 2021-01-20 キヤノン株式会社 撮像装置、撮像システム、移動体、チップ
CN107404419B (zh) * 2017-08-01 2020-09-01 南京华苏科技有限公司 基于图片或视频的网络覆盖性能测试防假测方法及装置
JP6934386B2 (ja) * 2017-10-03 2021-09-15 日本放送協会 動体追尾装置及びそのプログラム
CN112883906B (zh) * 2021-03-15 2021-09-28 珠海安联锐视科技股份有限公司 一种基于目标检测的人员状态分析方法
CN117956291A (zh) * 2022-10-31 2024-04-30 华为技术有限公司 亮度变化检测装置及方法、电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165012A (ja) 1992-11-18 1994-06-10 Canon Inc 撮像装置
JP3809661B2 (ja) * 1995-12-28 2006-08-16 ソニー株式会社 動き検出装置および動き検出方法
JPH09219854A (ja) * 1996-02-14 1997-08-19 Matsushita Electric Ind Co Ltd 撮像記録装置
US6760061B1 (en) * 1997-04-14 2004-07-06 Nestor Traffic Systems, Inc. Traffic sensor
JP3745089B2 (ja) * 1997-07-15 2006-02-15 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
JP3340976B2 (ja) 1999-06-21 2002-11-05 松下電器産業株式会社 動き検出回路とノイズ低減装置
US7280696B2 (en) * 2002-05-20 2007-10-09 Simmonds Precision Products, Inc. Video detection/verification system
US7535515B2 (en) * 2003-12-23 2009-05-19 Ravi Ananthapur Bacche Motion detection in video signals
JP2005210594A (ja) * 2004-01-26 2005-08-04 Victor Co Of Japan Ltd 映像抽出装置及び放送システム

Also Published As

Publication number Publication date
US20080199051A1 (en) 2008-08-21
TWI369127B (en) 2012-07-21
US8345919B2 (en) 2013-01-01
JP2008199442A (ja) 2008-08-28
KR20140022446A (ko) 2014-02-24
JP4311457B2 (ja) 2009-08-12
TW200847769A (en) 2008-12-01
CN101247471A (zh) 2008-08-20
KR101486996B1 (ko) 2015-01-27
KR101450200B1 (ko) 2014-10-13
CN101247471B (zh) 2012-05-30

Similar Documents

Publication Publication Date Title
KR101450200B1 (ko) 이동 검출 장치, 이동 검출 방법, 촬상 장치 및 감시 시스템
US8199203B2 (en) Imaging apparatus and imaging method with face detection based on scene recognition results
US7969481B2 (en) Camera performing photographing in accordance with photographing mode depending on object scene
JP2009177472A (ja) 画像処理方法、画像処理装置及び撮像装置
JP4919637B2 (ja) 撮像装置及び撮像方法
JP2592985B2 (ja) 撮像装置
JP2012222469A (ja) 撮像装置及びその制御方法
JP2017063245A (ja) 撮像装置
KR101716818B1 (ko) 초저조도용 cctv 카메라 시스템
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP2010028180A (ja) ビデオカメラ
JP2009017427A (ja) 撮像装置
KR20110040249A (ko) 불꽃놀이를 인식하는 디지털 영상 처리 장치, 그 동작 방법 및 판독 가능 저장 매체
JP2006325132A (ja) テレビドアホン装置及びテレビドアホン装置の逆光補正方法
JPH08205021A (ja) 画像入力装置
JP2006333052A (ja) 露出調整装置
JP2003324748A (ja) テレビジョンカメラ
JP3100815B2 (ja) カメラのホワイトバランス制御方法
JP2005091456A (ja) デジタルカメラ
KR101427651B1 (ko) 디지털 영상 처리 장치에서 얼굴인식 처리속도 조정 장치및 방법
JP2006033577A (ja) 監視カメラ
JPH11127380A (ja) 撮像装置
KR101420442B1 (ko) 카메라의 백라이트 자동 조절장치 및 방법
JPH05219431A (ja) ビデオカメラ用露出制御装置
JP2001028760A (ja) カメラのホワイトバランス制御方法及び露出制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee