KR20050011698A - 물체 추미 방법 및 물체 추미 장치 - Google Patents

물체 추미 방법 및 물체 추미 장치 Download PDF

Info

Publication number
KR20050011698A
KR20050011698A KR1020040056643A KR20040056643A KR20050011698A KR 20050011698 A KR20050011698 A KR 20050011698A KR 1020040056643 A KR1020040056643 A KR 1020040056643A KR 20040056643 A KR20040056643 A KR 20040056643A KR 20050011698 A KR20050011698 A KR 20050011698A
Authority
KR
South Korea
Prior art keywords
image
imaging device
imaging
camera
view
Prior art date
Application number
KR1020040056643A
Other languages
English (en)
Other versions
KR100606485B1 (ko
Inventor
이토와타루
후지이미유키
Original Assignee
가부시키가이샤 히다치 고쿠사이 덴키
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 히다치 고쿠사이 덴키 filed Critical 가부시키가이샤 히다치 고쿠사이 덴키
Publication of KR20050011698A publication Critical patent/KR20050011698A/ko
Application granted granted Critical
Publication of KR100606485B1 publication Critical patent/KR100606485B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19652—Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/781—Details

Abstract

본 발명은 촬상장치(201a, 도 1)와, 상기 촬상장치로부터 얻어지는 영상신호를 처리하는 신호처리부(202, 도 1) 및 상기 신호처리부의 처리결과를 표시하는 표시부(205, 도 1)로 이루어지는 물체 추미 장치이다. 촬상장치로부터 얻어지는 영상신호 에 의거하여 감시대상영역 내의 침입물체를 검출하고(102), 침입물체의 움직임에 따라 상기 촬상장치를 제어하여 상기 침입물체를 추미 할(104, 106a, 106b)때, 촬상장치의 시야범위의 위치를 연산하고(105b), 연산된 촬상장치의 시야범위의 위치가 상기 감시대상영역 내에 위치하는 촬상금지영역을 포함하지 않도록 상기 촬상장치의 팬, 틸트 및 촬상렌즈를 제어한다(105c, 108).

Description

물체 추미 방법 및 물체 추미 장치{OBJECT TRACKING METHOD AND OBJECT TRACKING APPARATUS}
본 발명은, 물체 추미 방법 및 물체 추미 장치에 관한 것으로, 특히 물체를 자동적으로 검출하여 물체의 움직임에 따라 촬상장치의 촬상범위(시야범위)를 제어하는 물체 추미 방법 및 물체 추미 장치에 관한 것이다.
TV(텔레비전) 카메라 등의 촬상장치를 사용한 원격 모니터방식의 감시시스템은, 종래부터 널리 사용되고 있으나, 그 대부분은 감시원이 모니터에 표시되는 화상을 보면서 감시를 행하는, 이른바 유인 감시방식의 감시시스템이다. 이 유인 감시방식의 감시시스템에서는 감시원이 항시 모니터에 표시되는 영상을 보고 있어, 감시대상영역 내에 들어오는 인간이나 자동차 등의 침입물체를 실시간으로 식별할 필요가 있어, 감시원에게 큰 부담이 된다. 인간의 집중력에는 한계가 있기 때문에, 유인 감시방식의 감시시스템에서는 침입물체를 못보고 놓치는 것의 발생을 무시할 수 없고, 신뢰성의 면에서 문제가 있었다. 또 감시 카메라의 보급에 따라 감시원 한 사람이 수많은 TV 카메라의 영상을 복수의 모니터로 감시하는 경우도 많아지고 있다. 이와 같이 복수의 TV 카메라로 동시에 침입물체를 포착한 경우에도 감시원은 침입물체를 못보고 놓치는 것이 발생할 가능성이 있다. 따라서 이와 같은 사람에 의한 감시가 아니라, TV 카메라로 촬상된 화상으로부터 화상처리에 의하여침입물체를 자동적으로 검출하여, 침입물체의 움직임에 따라 TV 카메라 시야방향 및 화면각(angle of view)을 자동적으로 조절하여, 소정의 통지나 경보를 행하는 자동추미방식의 감시시스템이, 최근 강하게 요구되어 오고 있다.
이와 같은 시스템의 실현에는, 소정의 감시방식을 사용하여 침입물체를 화상신호로부터 검출하고, 침입물체의 움직임을 검출하는 기능이 필요하게 된다. 이와 같은 침입물체검출을 행하는 감시방법의 일례로 차분법이라 불리우는 방법(예를 들면, U.S. Pat. No. 6088468참조)이 있고, 종래부터 널리 사용되고 있다. 차분법이란, TV 카메라로부터 얻어진 입력화상과 미리 작성된 기준배경화상, 즉 침입물체가 촬영되어 있지 않은 화상을 비교하여, 예를 들면 화소마다 휘도값의 차분을 구하여 그 차분값이 큰 영역을 물체로서 검출하는 것이다.
또, 침입물체의 이동량 검출을 행하는 감시방식의 일례로 템플릿 매칭법이라불리우는 방법(예를 들면, 「컴퓨터화상처리입문」149페이지 내지 153페이지, 1985년, 종합연구소출판(주) 발행. 참조)이 있고, 차분법과 마찬가지로 종래부터 널리 사용되고 있다. 템플릿 매칭법이란, 차분법 등에 의하여 검출된 침입물체의 화상을 템플릿으로서 등록하고, 차례로 입력되는 화상 중에서 템플릿 화상과 가장 유사한 위치를 검출한다. 통상, 템플릿 매칭을 사용하여 대상물체를 추적하는 경우, 대상물체의 자세의 변화에 따르기 위하여 매칭처리에 의하여 검출된 대상물체의 위치의 화상을 새롭게 템플릿으로서 차례로 갱신한다.
또한, 감시 카메라로 촬영하고 싶지 않은 영역을 설정하고, 감시 카메라의 방향을 제어하여 감시 카메라로 촬영하고 싶지 않은 영역을 촬영하지 않는 카메라제어시스템(예를 들면 일본국 특개평9-93573호 공보 참조.)이 있다.
또한 360도의 팬회전 및 90도를 초과하는 틸트회전이 가능한 감시 카메라와 그 제어기능을 구비하여 감시 카메라가 화상에 비치는 사생활 영역을 마스킹하는 데이터를 유지하고, 이 데이터에 따라, 화상의 일부를 마스킹하도록 구성한 감시 카메라장치가 일본국 특개2001-69494호 공보에 개시되어 있다. 그러나 이 종래기술의 감시 카메라장치에는 침입물체를 추미하는 기능은 없다.
상기한 감시시스템에서는 TV 카메라에 감시대상이 아닌 민가 등이 비치거나, 감시영역 내의 중요시설이 오랜 시간 사각(死角)이 되어 침입물체를 못보고 놓칠 가능성이 높아진다는 문제가 있다.
본 발명의 목적은, 감시영역 내의 물체를 검출하여 추미하도록 한 물체 추미 방법 및 물체 추미 장치를 제공하는 것에 있다.
본 발명의 다른 목적은, 감시영역이 부분적으로 감시대상범위 이외의 영역 또는 반드시 감시해야 할 중요 영역과 같은 특정한 영역을 포함하는 경우에도 그와 같은 특정한 영역을 고려한 물체의 추미가 가능한 물체 추미 방법 및 물체 추미 장치를 제공하는 것이다.
도 1은 본 발명의 일 실시예를 설명하기 위한 플로우차트,
도 2는 본 발명의 일 실시예의 개략 구성을 설명하는 블록도,
도 3은 본 발명에 사용되는 차분법의 기본원리를 설명하기 위한 도,
도 4는 본 발명에 사용되는 템플릿 매칭법의 기본원리를 설명하기 위한 도,
도 5는 본 발명의 TV 카메라의 제어를 설명하기 위한 도,
도 6은 본 발명의 TV 카메라에 의한 팬방향의 촬상범위를 설명하기 위한 도,
도 7은 본 발명의 TV 카메라에 의한 틸트방향의 촬상범위를 설명하기 위한 도,
도 8은 본 발명의 TV 카메라의 촬상범위와 감시맵의 관계를 나타내는 설명도,
도 9는 본 발명의 TV 카메라의 촬상범위와 촬영금지장소의 제어동작을 설명하기 위한 도,
도 10은 본 발명의 다른 실시예를 설명하기 위한 플로우차트도,
도 11은 본 발명의 또 다른 실시예를 설명하기 위한 플로우차트도,
도 12는 본 발명의 또 다른 실시예를 설명하기 위한 플로우차트도,
도 13은 본 발명의 TV 카메라의 촬영금지장소에 있어서의 다른 제어동작을 설명하기 위한 도면이다.
본 발명의 일 측면에 의한 촬상방향 및 줌의 적어도 한쪽을 제어 가능하게 구성된 촬상장치로 물체를 추미하는 추미 방법은,
상기 촬상장치로부터의 화상을 1 프레임 도입하는 단계와,
상기 화상으로부터 물체의 현재위치를 검출하는 단계와,
상기 촬상장치의 현재 또는 예측 시야범위를 산출하는 단계와,
상기 산출한 현재 또는 예측 시야범위가 촬상금지영역을 포함하는지의 여부를 판정하는 단계와,
포함하지 않을 때, 상기 물체의 검출정보에 의거하여 상기 촬상장치의 촬상방향 및 줌의 적어도 한쪽을 제어하는 단계와,
상기 촬상장치로 상기 현재 또는 예측 시야범위를 촬상하여 경보/추미정보를 표시하는 단계로 이루어진다.
일 실시예에 있어서, 상기 산출한 현재 또는 예측 시야범위가 촬상금지영역을 포함하는 경우, 상기 촬상장치의 동작을 정지한다.
일 실시예에 있어서, 상기 추미 방법은 또한 상기 산출한 현재의 시야범위가 촬상금지영역을 포함하는 경우, 상기 촬상장치의 동작을 소정시간 반대방향으로 동작시킨 후, 정지하는 단계를 가진다.
일 실시예에 있어서, 상기 추미 방법은 또한 상기 촬상된 현재 또는 예측 시야범위의 화상이 상기 촬상금지영역을 포함하는 경우, 상기 촬상된 화상 내에 포함되는 상기 촬상금지영역의 부분을 마스크하는 단계를 가진다.
일 실시예에 있어서, 상기 촬상장치의 촬상방향은 팬모터 및 틸트모터로 제어된다.
일 실시예에 있어서, 상기 촬상장치의 상기 예측 시야범위의 산출은, 상기 물체의 상기 현재위치와 상기 화상 내의 소정위치와의 위치관계에 의거하여 촬상장치의 이동량을 산출하는 단계와, 상기 이동량을 포함하는 상기 촬상장치의 제어량에 의거하여 상기 예측 시야범위를 산출하는 단계를 포함한다.
본 발명의 다른 측면에 의한 침입물체 추미 장치는,
촬상장치와,
상기 촬상장치에 결합되어, 상기 촬상장치의 시야범위의 위치(방향)를 바꾸기 위한 구동기구부와;
상기 촬상장치로부터의 화상신호를 처리하는 화상신호처리부와;
상기 화상신호처리부로부터의 제어신호에 의해 상기 구동기구부를 제어하는 제어부와,
상기 신호처리부는,
상기 촬상장치로부터의 화상을 1 프레임 도입하여 그 도입한 화상으로부터 물체의 현재위치를 검출하는 수단과,
상기 촬상장치의 현재 또는 예측 시야범위를 산출하는 수단과,
상기 산출한 현재 또는 예측 시야범위가 촬상금지영역을 포함하는지의 여부를 판정하는 수단과,
상기 판정하는 수단에 응답하여, 상기 산출한 현재 또는 예측 시야범위가 촬상금지영역을 포함하지 않을 때, 상기 침입물체의 검출정보에 의거하여 상기 촬상장치의 촬상방향 및 줌의 적어도 한쪽을 제어하기 위한 상기 제어신호를 생성하는 수단을 포함하여 이루어진다.
본 발명의 실시예를 도면에 언급하여 설명한다. 동일한 부재에는 동일한 참조부호를 붙인다.
본 발명의 일 실시예를 도 1, 도 2를 사용하여 설명한다. 먼저 도 2는 본 발명을 실시하기 위한 시스템 구성을 나타내는 블럭도이다. 도 2에 있어서, 201은 촬상장치이고, 카메라(201a), 줌 렌즈(촬상렌즈)(201b), 카메라 운대(카메라의 구동기구부)(201c)로 구성되어 있다. 202는 신호처리장치이고, 화상입력부(202a), 운대제어부(202b), 렌즈제어부(202c), 조작입력부(202d), 화상메모리(202e), MPU(Micro Processing Unit)(202f), 워크메모리(202g), 외부 입출력부(202h), 화상출력부(202i), 경보출력부(202j) 및 데이터 버스(202k)로 구성되어 있다. 203은 조작부이고, 조이스틱(203a), 제 1 버튼(203b), 제 2 버튼(203c)으로 구성되어 있다. 204는 외부 기억장치, 205는 화상모니터, 206은 경보장치, 예를 들면 경고등이다. TV 카메라(201a)의 출력은, 화상입력부(202a)를 거쳐 데이터 버스(202k)에 접속되고, 줌 렌즈(201b)의 제어부는 렌즈제어부(202c)를 거쳐 데이터 버스(202k)에 접속되어 있다.
TV 카메라(201a)를 탑재하는 카메라 운대(201c)는, 운대제어부(202b)를 거쳐 데이터 버스(202k)에 접속된다. 조작부(203)의 출력은, 조작입력부(202d)를 거쳐 데이터 버스(202k)에 접속되어 있다. 또 외부 기억장치(204)는, 외부 입출력부(202h)를 거쳐 데이터 버스(202k)에 접속되어 감시용 화상모니터(205)는, 화상출력부(202i)를 거쳐 데이터 버스(202k)에 접속되고, 경고장치(206)는, 경보출력부(202i)를 거쳐 데이터 버스(202k)에 접속되어 있다. MPU(202f)와 워크 메모리(202g)는 그대로 데이터 버스(202k)에 접속되어 있다.
TV 카메라(201a)는 감시대상영역을 그 시야 내에 포착하고, 감시대상영역을 촬상하여 영상신호를 출력하고, 침입물체를 촬상하는 기능을 가지고 있다. 이 목적을 위하여 TV 카메라(201a)는 카메라 운대(201c)에 탑재하여 TV 카메라(201a)를 팬, 틸트방향으로 자유롭게 선회할 수 있도록 구성되고, 또한 줌 렌즈(201b)를 구비하여 영상을 확대하는 기능도 가지고 있다. 촬상된 영상신호는, 화상입력부(202a)로부터 데이터 버스(202k)를 거쳐 화상메모리(202e)에 축적된다. 외부 기억장치(204)는 프로그램이나 데이터 등을 기억하는 작용을 하고, 프로그램이나 데이터 등이 필요에 따라 외부 입출력부(202h)를 거쳐 워크 메모리(202g)에 판독되고, 또 반대로 워크 메모리(202g)로부터 외부 기억장치(204)에 보존된다.
MPU(202f)는, 신호처리장치(202)의 동작시에 외부 기억장치(204)에 보존된 프로그램을 워크 메모리(202g)에 판독하여 필요한 신호처리를 실행한다. 즉, 워크 메모리(202g) 내에서 화상메모리(202e)에 축적된 화상의 해석을 행한다. 그리고 이 처리결과에 따라 MPU(202f)는, 카메라 운대(201c), 줌 렌즈(201b)를 제어하여 TV 카메라(201a)의 촬상시야를 바꿈과 동시에, 침입물체를 추적한다. 또 필요에 따라 감시모니터(205)에 침입물체검출결과를 표시하고, 경고장치(206)를 구동하여 경고하는 작용을 한다.
다음에, 상기 시스템구성을 사용한 본 발명의 동작을 도 1에 의하여 설명한다. 먼저, 초기화 처리단계(101)는, 본 발명의 물체 추미 방법을 실행하기 위하여 조작부(203)를 사용하여 외부기기나, 각 부의 변수, 화상메모리 등의 초기화를 행한다. 다음에, 단계 102로 진행한다. 단계 102는, 차분법을 사용한 물체인식처리를 실행하는 공정이다.
여기서, 차분법을 사용한 물체인식처리에 대하여 도 3을 사용하여 설명한다. 제 1 화상입력단계(102a)에서는, TV 카메라(201a)로부터 예를 들면 가로방향 320화소, 높이방향 240화소의 입력화상(301)을 얻는다. 차분처리단계(102b)에서는, 제 1의 화상입력단계(102a)에서 얻은 입력화상(301)과 미리 작성하여 화상메모리(202e)에 기록하여 둔 침입물체가 비춰져 있지 않은 기준배경화상(302)과의 사이에서 MPU (202f)의 감산기(306)(도 3에 나타낸다)에 있어서 각 화소마다의 휘도값의 차분값을 계산한다. 2치화처리단계(102c)에서는, 차분처리단계(102b)에서 얻어진 차분화상(303)의 화소값(차분값)을, 예를 들면 1화소의 화소값을 8 비트로 계산하여 이것을 256계조로 표시하고, 소정의 한계값(Th)(예를 들면, Th = 20) 미만의 화소값을 "0", 한계값(Th) 이상의 화소의 화소값을 "255"로 하여 2치화 화상(304)을 얻는다. 또한, 한계값(Th)은, 상기 실시예에서는 20으로 설정하였으나, 20에 한정되는 것이 아니라, 침입물체의 검출조건, 입력화상의 상태 등에 의해 실험적으로 정해진다.
라벨링처리단계(102d)에서는, 2치화처리단계(102c)에서 얻어진 2치화 화상(304) 중의 화소값 "255"이 되는 화소의 덩어리를 검출하고, 각각에 번호를 붙여 구별할 수 있도록 한다. 침입물체존재판정단계(102e)에서는, 라벨링처리단계(102d)에서 번호가 붙여진 화소값 "255"이 되는 화소의 덩어리가 소정의 조건(예를 들면 크기가 가로방향 20화소 이상, 높이방향 50화소 이상)이면, 감시대상영역 내에 침입물체가 존재한다고 판정한다.
이에 의하여 입력화상(301)에 비친 인간형의 물체(309)는, 감산기(306)에 의해 차분이 생긴 영역(310)으로서 계산되기 때문에, 인간형의 물체(310)가 남고, 배경부분은 표시되지 않는다. 따라서 2치화기(307)(도 3에 나타낸다)에 의하여 화상(311)으로서 검출된다. 이상이 차분처리에 의한 침입물체검출처리(102)의 처리의 개요이다.
만약, 침입물체존재판정단계(102e)에서 침입물체가 존재한다고 판정된 경우, 경보·검출정보표시단계(103)로 진행한다. 경보·검출정보표시단계(103)에서는 예를 들면 침입물체를 발견한 것을 나타내는 경보를 감시원에게 전달하기 위하여, 화상 출력부(202i)를 거쳐 감시모니터(205)에 침입물체의 정보(위치, 인원수 등)를 표시하고, 경보출력부(202j)를 거쳐 경고장치(206)로 경보를 울리는 등이 행하여진다. 침입물체가 존재하지 않는다고 판정된 경우, 다시 화상입력단계(102a)로 되돌아가, 침입물체검출을 위한 차분법을 반복한다.
다음에 침입물체존재판정단계(102e)에서 침입물체가 존재한다고 판정된 경우, 템플릿 매칭법에 의한 침입물체 추미단계(104)로 진행한다. 여기서, 템플릿 매칭법에 의한 침입물체 추미단계(104)에 대하여 도 3 및 도 4를 사용하여 설명한다. 템플릿등록단계(104a)에서는, 라벨링처리단계(102d)에서 번호가 붙여진 화소값 "255"이 되는 화소 덩어리의 외접 직사각형(312)(도 3에 나타낸다)에 의거하여 입력화상(301) 중의 침입물체의 화상을 추출기(308)(도 3에 나타낸다)로 추출하여 템플릿화상(305)을 얻는다. 이 템플릿 화상(305) 중에는, 침입물체(309)의 템플릿(313)이 포함되어 있고, 이것이 템플릿 매칭법에 의한 침입물체 추미처리의 초기템플릿으로서 등록된다.
다음에, 제 2 화상입력단계(104b)에서는, 제 1 화상입력단계(102a)와 마찬가지로 TV 카메라(201a)로부터, 예를 들면 가로방향 320화소, 높이방향 240화소의 입력화상을 얻는다. 템플릿 매칭단계(104c)에서는, 제 2 화상입력단계(104b)에서 얻은 입력화상 중에서 템플릿(313)과 가장 일치도가 높은 화상을 검출한다. 통상, 템플릿과 입력화상 전체를 비교하면 계산처리시간이 걸리기 때문에, 템플릿에 대하여 소정의 범위, 예를 들면 템플릿(313)에 대하여 상하방향에서 20 화소씩, 좌우방향에서 50 화소씩 넓힌 영역을 탐색영역으로 하고, 탐색영역 내에서 템플릿(313)과 가장 일치도가 높은 화상을 검출한다. 일치도로서는, 예를 들면 정규화 상관값 [r(Δx, Δy)]을 적용할 수 있으며, 수학식 1로 나타낸다.
여기에
또, f(x, y)는, 입력화상을 표시하고, g(x, y)는, 템플릿 화상을 나타낸다. (x0, y0)은, 템플릿(313)(도 4에서는 401a)의 좌측 윗모서리(upper left corner)의좌표를 나타낸다. 화상(401)의 좌표축은, 화상(401)의 좌측 윗모서리를 원점((0, 0)으로 한다. D는, 템플릿(313)(401a)의 크기, 즉 2치화 화상(304)에서 검출된 침입물체의 외접 직사각형(312)의 크기이고, 예를 들면 가로방향 20 화소, 세로방향 50 화소를 나타낸다. 정규화 상관값[r(Δx, Δy)]은, -1 ≤ r(Δx, Δy) ≤ 1의 값을 취하고, 입력화상과 템플릿이 완전히 일치한 경우는, "1"이 된다. 템플릿 매칭은, Δx, Δy를 탐색범위 내에서 주사, 즉 상기한 경우, -50 ≤ Δx ≤ 50, -20 ≤ Δy ≤ 20으로 변화시킨 경우 에, 정규화 상관값[r(Δx, Δy)]이 가장 커지는 위치(Δx, Δy)를 검출하는 처리이다.
다음에, 일치도 판정단계(104d)에서는, 일치도[r(Δx, Δy)]를 판정하고, 수학식 1에서 나타내는 정규화 상관값을 사용한 경우, 예를 들면 0.7 이상이면 일치도가 높다고 판정하고, 템플릿 갱신단계(104e)로 진행한다. 0.7 미만이면 제 1 화상입력단계(102a)로 되돌아가, 지금까지의 처리를 반복한다. 일치도가 크다는 것은, 제 2 입력화상 중에서 템플릿(313)과 닮은 화상이 있는, 즉 감시대상영역 내에 침입물체가 존재하고, 그 위치가 템플릿의 위치에 상대하여 (Δx, Δy)에 있는 것을 의미한다. 그 경우는, 계속해서 침입물체의 이동량을 검출한다. 일치도가 작다는 것은, 입력화상 중에서 템플릿(313)과 닮은 화상이 없는, 즉 감시대상영역 내에 침입물체가 존재하지 않는 것을 의미하며, 그 경우는, 제 1 화상입력단계로 되돌아가, 지금까지의 처리를 반복한다. 또한 정규화 상관값을 0.7로서 설명하였으나, 이것에 한정되는 것이 아니라, 실험적으로 설정되는 것은 물론이다.
다음에 템플릿 갱신단계(104e)에서는, 새롭게 구해진 침입물체의 위치에 의거하여 제 2 화상입력단계(104b)에서 얻어진 입력화상으로부터 침입물체의 화상을 추출하여 새로운 템플릿화상으로 한다. 이와 같이 템플릿을 차례로 갱신함으로써, 템플릿에는 최신의 침입물체의 화상이 기록되어, 침입물체가 이동 또는 자세변화를 일으킨 경우에도 안정되게 침입물체의 이동량을 검출할 수 있기 때문에, 침입물체의 추적을 용이하게 행할 수 있다.
여기서, 침입물체 이동량 검출처리를 도 3 및 도 4를 사용하여 더욱 상세하게 설명한다.
도 3에 이어서, 입력화상(301) 중에 존재하는 침입물체(309)는, 라벨링처리단계(102d)에 의하여 2치화 화상 내의 화소값 "255"의 덩어리로서 검출된다. 이 침입물체(311)의 외접 직사각형(312)에 의거하여 추출기(308)로 추출되어 템플릿 화상(305)이 얻어진다. 템플릿 화상(305) 중에는, 침입물체(309)의 템플릿(313)이 포함되어 있고, 이것이 템플릿 매칭법에 의한 침입물체 추적처리의 초기 템플릿이 된다.
다음에 초기 템플릿(313)에 의거하여 템플릿 매칭이 실행된다. 도 4는 템플릿 매칭법에 의한 침입물체 추적처리를 실행하여 침입물체를 추적하는 처리의 흐름을 나타낸다. 401은 템플릿 화상, 401a은 템플릿을 나타낸다. 여기서 괄호 내에 기재한 기호 305, 313은 각각 도 3에서 나타낸 템플릿 화상(305), 템플릿(313)과 동일한 것이다. 도 4에 있어서는 템플릿 화상(401)을 취득한 시각을 tO이라 표시한다. 이하 마찬가지로 소정의 시간간격(예를 들면 100ms)으로 차례로 입력하는 입력화상(402, 404, 406, …)의 취득시각을 입력순으로 각각 tO + 1, tO + 2, tO +3, …으로 한다. 화상(401)은, 시각(tO)에 있어서의 템플릿 화상을 표시하고 있고, 화상(401a)은, 시각(tO)에 있어서의 템플릿을 표시하고 있다. 또 화상(402)은, 시각(tO + 1)에 있어서의 입력화상, 화상(402)에 있어서 직사각형 영역(402b)은, 시각(tO)에 있어서의 침입물체의 위치[템플릿(401a)의 위치]를 표시하고, 직사각형 영역(402c)은, 템플릿 매칭의 대상이 되는 영역(탐색영역)을 나타낸다.
여기서, 템플릿 매칭처리(409)[템플릿 매칭단계(104c)]를 실행하면, 템플릿 매칭의 탐색영역(402c) 중에서 템플릿(401a)에 가장 일치하는 화상(402a)에서 일치도가 가장 커져, 침입물체는 시각(tO + 1)에 있어서 화상(402a)의 위치에 존재하고 있음을 알 수 있다. 즉, 침입물체는 화살표(402d)만큼 [이동량(Δx, Δy)만큼] 이동한 것을 알 수 있다.
다음에, 템플릿 갱신처리(410)[템플릿 갱신단계(104e)]에 있어서, 템플릿(401a)에 가장 일치한 화상(402a)을 시각(tO + 1)에 있어서의 새로운 템플릿으로서 갱신한다. 즉, 입력화상(402)으로부터 침입물체의 위치(402a)를 추출하여 이것을 템플릿 화상(403)으로 하고, 침입물체의 화상(402a)을 시각(tO + 1)에 있어서의 새로운 템플릿(403a)으로서 갱신한다. 이 처리를 TV 카메라로부터 차례로 입력되는 입력화상에 대하여 차례로 실행하면, 시각(tO + 2)에 있어서의 입력화상(404) 중에 템플릿(403a)의 위치(404b)에 의거하여 상기와 마찬가지로 탐색영역(404c)을 설정하고, 시각(tO + 1)에 있어서의 템플릿 화상(403) 중의 템플릿(403a)을 사용하여 템플릿 매칭처리(409)에 의하여 침입물체의 위치(404a)를 검출한다. 그 결과, 침입물체는 화살표(404d)와 같이 이동한 것을 알 수 있다.또한 템플릿 갱신처리(410)에 의해 시각 (tO + 2)에 있어서의 템플릿 화상(405) 및 침입물체의 템플릿(405a)을 갱신한다.
또한, 시각(tO + 3)에 있어서의 입력화상(406) 중에 템플릿(405a)의 위치(406b)에 의거하여 탐색영역(406c)을 설정하고, 시각(tO + 2)에 있어서의 템플릿 화상(405) 중의 템플릿(405a)을 사용하여 템플릿 매칭처리(409)에 의하여 침입물체의 위치(406a)를 검출한다. 결과로서, 침입물체는 화살표(406d)와 같이 이동한 것을 알 수 있다. 또한 템플릿 갱신처리(410)에 의하여 시각(tO + 3)에 있어서의 템플릿 화상(407) 및 침입물체의 템플릿(407a)을 갱신한다. 시각(tO + 4)에 있어서의 입력화상(408) 중에 템플릿(407a)의 위치(408b)에 의거하여 탐색영역(408c)을 설정하고, 시각 (tO + 3)에 있어서의 템플릿 화상(407) 중의 템플릿(407a)을 사용하여 템플릿 매칭처리(409)에 의하여 침입물체의 위치(408a)를 검출한다. 결과로서 침입물체는, 화살표(408d)와 같이 이동한 것을 알 수 있다. 즉, 템플릿 매칭을 차례로 실행함으로써, 침입물체를 추적할 수 있다.
다음의 시야범위판정단계(105)의 설명 전에, 이하에 본 실시예에서 해결하고자 하는 문제를 다시 설명한다.
최근, 감시 카메라의 보급에 따라 일반주민의 사생활이 위협받는다는 문제가 발생하고 있다. 상기한 템플릿 매칭법을 사용한 물체 추미 방법은, 침입물체의 이동 에 따라 카메라 운대(201c)를 자동적으로 제어하여 침입물체를 TV 카메라(201a)의 시야 내에 포착되도록 동작하기 때문에, 전혀 제한없이 실시되면, 그 TV 카메라(201a)의 시야 내에는 만약 감시대상이 아닌 민가나 사생활이 문제가 되는장소 등이 있으면 그것들도 비춰질 것이다. 한편, 감시대상이 아닌 민가나 사생활이 문제가 되는 장소를 제외한 장소는, 침입물체의 움직임에 따라 카메라 운대(201c)를 제어하여 침입물체를 확실하게 추미할 필요가 있다. 그 때문에 본 발명에서는 카메라의 시야범위의 제어를 행하여 감시대상이 아닌 민가나 사생활이 문제가 되는 장소는, 촬영하지 않으나, 그 장소 이외는 침입물체의 움직임에 따라 침입물체를 확실하게 추미할 수 있게 구성되어 있다. 이하, 이것에 대하여 상세하게 설명한다.
템플릿 매칭법에 의한 침입물체 추미단계(104)에서 침입물체가 검출되면, 상기한 템플릿의 움직임에 따라 카메라 운대(201c)가 카메라 운대 제어단계(106)에서 제어되어 물체를 추미하나, 여기서 감시대상이 아닌 민가나 사생활이 문제가 되는 장소를 시야범위에 도입하는 것을 저지하기 위하여 시야범위판정단계(105)를 실행한다. 여기서 시야범위판정단계(105)를 설명하기 전에 침입물체의 움직임에 따라 침입물체를 확실하게 추미할 수 있게 한 카메라 운대(201c)의 카메라 운대/줌 제어량 산출단계(106a)와 카메라 운대/줌 제어단계(106b)에 대하여 도 5를 사용하여 설명한다.
도 5에 있어서, 템플릿 화상(501) 중에 템플릿(502)으로 표시되는 위치에 침입물체(505)가 검출되었다고 한다. 이 경우, 침입물체(505)의 중심위치를 템플릿의 중심위치(503)라 하면, 템플릿 화상(501)의 중심(504)으로부터 템플릿의 중심위치(503)까지의 변위(dx, dy)가 산출된다.
여기서 템플릿(502)의 중심위치(503)가 템플릿 화상(501)(입력화상에상당함)의 중심위치(504)보다 소정량(S)[침입물체가 화상의 중심부근에 존재하는 경우는, 카메라 운대(201c)를 제어할 필요가 없기 때문에 소정량(S)에 의하여 카메라 운대제어를 개시하는 위치를 지정할 수 있다. 예를 들면 S = 50 화소)]이상 좌측(dx < -S)이면 카메라 운대(201c)를 좌측으로 팬시키고, 우측(dx > S)이면 우측으로 팬시킨다. 또 템플릿(502)의 중심위치(503)가 입력화상의 중심(504)보다 상측(dy < -S)이면 카메라 운대(201c)를 위로 틸트시키고, 하측(dy > S)이면 아래로 틸트시킨다. 또한 갱신된 템플릿의 크기, 즉 검출된 침입물체의 화상 상의 크기에 따라서는 TV 카메라(201a)의 주밍(zooming)을 바꾸기 위하여 촬상렌즈(201b)의 초점길이의 변경량도 취득하여도 좋다. 일례로서, 템플릿의 높이가 소정의 값 이하인 경우는 촬상렌즈(201b)를 줌업하고, 소정의 값보다 클 때는 줌아웃한다. 소정의 값으로서는, 예를 들면 400 화소(입력화상의 크기를 가로방향 640 화소, 높이방향 480 화소로 한 경우)라는 값을 사용할 수 있다. 이 경우, 예를 들면 현재의 템플릿의 높이가 300 화소, 워크 메모리(202g)에 기록한 현재의 촬상렌즈(201b)의 초점길이가 f = 30mm이었다고 하면, 템플릿의 높이를 400 화소로 하기 위해서는, 촬상렌즈(201b)의 초점길이를 f = 30 * 400/300 = 40mm 로 하면 좋다. 따라서, MPU(202f)는, 렌즈제어부(202c)를 거쳐 촬상렌즈(201b)의 초점길이를 40mm로 제어한다. 이와 같이 함으로써, 침입물체를 TV 카메라(201a)의 시야 내에 적절한 크기로 포착할 수 있다. 또한 주밍의 설정의 변경은 이것에 한정되지 않고, 임의의 기준, 임의의 방법으로 실시할 수 있는 것은 물론이다. 예를 들면 템플릿의 높이가 미리 설정한 범위 밖에 있을 때에만 주밍을 바꾸도록 하여도 좋다. 또 줌업으로서, 초점길이를 예를 들면 1.0mm 길게 한다는 처리를 행하여, 줌아웃으로 하여 초점길이를 1.0mm 짧게 한다는 간이적인 처리로도 촬상렌즈(201b)를 제어할 수 있다. 짧게 한다는 간이적인 처리로도 촬상렌즈(201b)를 제어할 수 있다. 침입물체를 추적하는 처리를 차례로 반복하여 실행되기 때문에, 이와 같이 간이적인 처리로도 초점길이의 제어가 충분하지 않은 경우는, 다음의 처리프레임에서도 마찬가지로 제어가 행하여진다. 따라서, 침입물체를 추적하는 처리를 반복함으로써, 촬상렌즈(201b)의 초점길이는 적절한 값으로 제어되어, 템플릿의 높이를 소정의 크기에 맞출 수 있다. 여기서 초점길이의 변화량 1.0mm 라는 것은 경험적으로 산출되는 것으로서, 이 값이 크면, 템플릿의 높이를 소정의 크기에 신속하게 맞출 수 있으나, 적절한 값 부근에서는 초점길이의 진동현상이 발생할 가능성이 있다(over damping). 또 초점길이의 변화량이 작으면, 템플릿의 높이가 소정의 크기에 맞춰지기까지 시간이 걸리는 경우가 있다(under damping). 여기서 초점길이의 변경량은 예를 들면 미리 워크 메모리(202g)상에 기억시켜 둔다. 또한 주밍은 촬상렌즈(201b)의 초점길이를 바꿈으로써 실현하는 외에, TV 카메라(201a)로부터 얻어진 입력화상을 전자적으로 확대함으로써 실현하여도 좋다.
구체적으로는, 카메라 운대/줌 제어량 산출단계(106a)에서 변위(dx, dy)의 산출과 팬 및 틸트의 제어량(카메라 운대의 이동량)과 줌량[촬상렌즈(201b)의 초점길이]을 산출하고, 카메라 운대/줌 제어단계(106b)에 있어서, 산출한 제어량에 의거하여 카메라 운대와 촬상렌즈의 제어를 실행한다. 또한 dx 및 dy의 절대값에 의하여 팬, 틸트모터의 제어속도를 변화시키도록 하여도 좋다(dx 또는 dy의 절대값이클 수록 제어속도를 크게 한다).
또, 본 실시예에서는 카메라 운대의 제어를 수반한 침입물체의 추적을 "추미"라 부르고 있다. 이와 같이 함으로써 침입물체를 TV 카메라(201a)의 시야 내에 포착하면서 카메라 운대(201c)를 자동적으로 제어하여 침입물체를 추미할 수 있다.
다음에, 시야범위판정단계(105)에 대하여 설명한다. 먼저, 시야정보취득단계 (105a)에서는, 운대 제어부(202b)를 거쳐 카메라 운대(201c)의 현재의 방향[카메라 운대 정면을 원점으로 하여, 팬각(θP), 틸트각(θT)]을 취득하고, 렌즈 제어부(202c)를 거쳐 촬상렌즈(201b)의 현재의 초점길이(f)를 취득한다.
시야범위산출단계(105b)에서는, 시야정보취득단계(105a)에서 취득한 카메라 운대(201c)의 현재의 방향 (θP, θT), 촬상렌즈(201b)의 현재의 초점길이(f)에 따라 촬상범위의 위치를 산출한다. 여기서, 촬상범위의 위치의 산출방법을 도 6 및 도 7을 사용하여 설명한다. 간단을 위하여 감시대상영역은, 평면이고, 지면의 요철이 없는 것으로 한다. 도 6은 TV 카메라(601)를 좌표원점으로 하고, 그 바로 위에서 본 평면도이다. 이것을 사용하여 TV 카메라(601)의 화면각(θH)(카메라 가로방향의 시야각)은, 수학식 2로 구할 수 있다.
여기서, w는 TV 카메라(601)의 촬상소자, 예를 들면 CCD(Charge Coupled Device)소자의 가로 폭이며, 예를 들면 1/3 인치(소자크기 4.8 mm × 3.6 mm)의 촬상 소자를 사용한 경우, w = 4.8 mm 이다. 또 1/3 인치의 촬상소자를 사용하여 촬상렌즈의 초점길이를 f = 8.0 mm라 한 경우, TV 카메라(601)의 화면각은, θH= 33.4°가된다. 즉, TV 카메라(601)의 시야는 가로방향 33.4°의 범위를 가진다. 그런데 TV 카메라(601)는, 감시영역에 비하여 높은 위치에 설치되는 경우가 대부분이며, 카메라 운대(201c)의 현재의 방향(θT)에 따라 TV 카메라(601) 바로 밑 영역은 촬상할 수 없는 영역이 있다. 이 영역은, TV 카메라(601)로부터 시선방향(LN)의 범위에 나타난다(영역 602로 표시된다). 그것 이상의 영역(603)(LF- LN으로 나타내는 영역)은, TV 카메라(601)의 시야에 반드시 들어 간다.
이 거리(LN및 LF)를 도 7에서 설명한다. 도 7은, TV 카메라의 시선방향을 가로축으로 하여 TV 카메라(701)[TV 카메라(601)와 동일]를 옆에서 본 도면으로, 수학식 2의 경우와 마찬가지로 TV 카메라(701)의 화면각(θV)(카메라 세로방향의 시야각)은, 수학식 3으로 구할 수 있다.
여기서, h는 TV 카메라(701)의 촬상소자, 예를 들면 CCD 소자의 세로 폭이고, 예를 들면 1/3 인치의 촬상소자를 사용한 경우, h = 3.6 mm 이다. 상기한조건과 마찬가지로 1/3 인치의 촬상소자를 사용하여 촬상렌즈의 초점길이를 f = 8.0 mm라 한 경우, TV 카메라(701)의 화면각은 θV= 25.4°가 된다. 즉, TV 카메라(701)의 시야는 세로방향 25.4°의 범위를 가진다. 여기서, TV 카메라(701)의 설치높이를 H 라 하면, LN, LF는 수학식 4로 구할 수 있다.
이상의 결과, TV 카메라(601)(701)로 촬상할 수 있는 범위는, 도 6에서 나타내는 영역(603)과 도 7에서 나타내는 영역(702)이 된다. 상기한 조건과 마찬가지로 1/3 인치의 촬상소자를 사용하여 촬상렌즈의 초점길이를 f = 8.0 mm, 카메라 운대(201c)의 현재의 방향(θT= 30°), TV 카메라(701)의 설치높이를 H = 5.0 m라 한 경우, LN= 5.42 m, LF= 16.1 m 가 된다.
다음에, 촬상금지영역외 판정단계(105c)은, 상기 시야범위산출단계(105b)에 의해 산출된 TV 카메라(201a)의 시야범위[도 6 및 도 7에서 나타내는 사선영역(603)및 (702)]가 감시대상범위 이외의 영역(촬상금지영역)을 포함하지 않은 경우, 카메라 운대제어량 산출단계(106a)로 진행하고, 촬상금지영역을 포함하는 경우는 카메라 운대 정지처리단계(108)로 진행한다.
여기서 촬상금지영역외 판정단계(105c)의 판정처리에 대하여, 도 8 및 도 9를 사용하여 설명한다. 도 8은 예를 들면 감시맵(801)이라 불리우는 것으로, 감시영역 내의 구조물 정보를, 지도정보(또는 벡터정보) 등의 수단에 의해 표현한 것이다. 이 감시맵(801)에는 TV 카메라(802), 시야범위(803), 중요감시 포인트(804), 촬상금지영역(805)을 겹쳐서 표시하고 있다. 또한 이 감시맵(801)의 지도정보는, 예를 들면 x, y 좌표축에서 (x, y)좌표로 변환하여 감시시스템의 화상메모리(202e)에 메모리 테이블로서 기억되어 있다[또는 외부 기억장치(204)에 기억할 수도 있다). 촬상금지영역(805)은 예를 들면 감시대상영역에 인접하는 민가나 사생활 보호의 대상이 되는 장소이고, 이 영역(805)은 TV 카메라(802)로는 촬상하면 안되는 영역이다. 단, 게이트(806)의 직전까지는 감시대상영역이다.
한편, TV 카메라(802)의 시야범위(803)의 위치는, 시야범위산출단계(105b)에서 설명한 바와 같이 수학식 2 내지 수학식 4에 의해 연산되기 때문에, 그 결과에 의거하여 시야범위(803)의 위치를 감시맵(801)의 (x, y)좌표로 변환한다. 즉, 도 8에 나타내는 시야범위(803)(사선으로 나타내는 범위)의 각 위치를 x, y 좌표로 변환한다. 예를 들면 시야범위(803)의 각 정점(P1, P2, P3 및 P4)은, P1 = (x1, y1), P2 = (x2, y2), P3 = (x3, y3) 및 P4 = (x4, y4)로 하여, 수학식 5에 의해 구할 수 있다.
여기서, θP는, TV 카메라(802)의 팬각이나, 여기서는 x축과 TV 카메라(802)의 광축이 이루는 각을 나타낸다. 마찬가지로 시야범위(803)의 각 x, y 위치좌표를 계산하면, TV 카메라(802)의 시야범위(803)의 위치를 x, y 좌표계로 변환할 수 있다. 또한 이 시야범위(803)의 위치좌표는, TV 카메라(802)의 팬, 틸트 및 줌에 의하여 변화되는 것은 물론이다.
다음에 상기한 TV 카메라(802)의 시야범위(803)가 촬상금지영역(805)을 촬상하지 않도록 제어하는 방법에 대하여, 도 9를 사용하여 설명한다. 도 9에 있어서 901은 화상메모리(202e)에 기억되어 있는 감시맵(801)이고, 예를 들면 x, y 좌표위치에서 기억되어 있다. 902는 촬상금지영역을 나타내고 있다. 903은 TV 카메라(904)(802와 동일한 것) 및 TV 카메라(904)의 시야범위(905)의 위치를 연산에 의하여 구한 메모리상의 화상[이하 시야범위 화상(903)이라 부른다)으로서, 상기 감시맵(901)과 마찬가지로 x, y 좌표위치에서 기억하고 있는 형태를 모식적으로 표현한 것이다. 또한 TV 카메라(904)의 렌즈의 위치를 x, y 좌표계의 원점(0,0)으로 한다. 다음에 감시맵(901)과 시야범위 화상(903)을 화상메모리(202e)로부터 판독하여, MPU (292f)에서 연산처리(AND 처리)(903)를 행한다. 즉, 촬상금지영역(902)과 시야범위(905)의 AND 처리를 감시맵(901)의 전 화면에 대하여 화소마다 행하면, 906으로 나타내는 처리결과의 화상이 얻어진다. 결과적으로 TV 카메라의 시야범위(905)에 촬상금지영역(902)이 포함되면 촬상금지영역부분(907)으로서 표시된다. 즉, 이 촬상금지영역부분(907)이 검출된다는 것은, 시야범위(905)에 촬상금지영역이 비치는 것을 의미한다. 이 경우, MPU(202f)는, 운대 제어부(202b)를 거쳐 카메라 운대(201c)의 팬, 틸트모터의 동작을 정지한다[카메라 운대 정지처리단계(108)]. 마찬가지로, 단계 108에서는 촬상렌즈(201b)의 제어를 정지한다. 이와 같이 함으로써 시야범위(905)에 촬상금지영역(902)이 포함되는 것을 억제하는 것이 가능하게 되고, 따라서 TV 카메라(904)의 팬, 틸트 및 줌를 제어하여 시야범위(905)가 촬상금지영역(902)을 포함하지 않도록 제어하는 것이 가능하게 된다.
이와 같이, 카메라 운대 정지처리단계(108)에서는 TV 카메라(201a)의 시야범위가 감시대상범위 이외의 영역[촬상금지영역부분(907)]을 포함하는 경우에 카메라운대(201c)의 팬, 틸트모터의 동작을 정지시키는 처리를 행하나, 이것에 더하여 시야범위(905)에 비친 촬상금지영역부분(907)의 화상에 대해서는 마스크처리를 하여 비치지 않게 하는 마스크처리를 포함하도록 하여도 좋다.
이상의 설명에서는, 촬상금지영역부분(907)이 검출된 경우에, 카메라 운대(201c)의 팬 틸트모터의 동작을 정지하도록 하였으나, 대체로서 촬상금지영역부분(907)이 검출된 경우에, 카메라 운대(201c)의 팬 틸트모터를 역방향으로 제어하여 소정시간(예를 들면 1 제어 사이클분, 예를 들면 100 mS) 경과후에 팬 틸트모터를 정지하도록 하여도 좋다. 여기서 팬 틸트모터를 역방향으로 제어한다란, 예를 들면 앞 프레임의 카메라 운대제어단계(106b)에 있어서 카메라 운대(201c)를 우측 상방향으로 제어하고 있는 경우, 그 반대의 방향 즉, 좌측 하방향으로 제어한다. 이와 같이 함으로써, 확실하게 시야범위(905)에 촬상금지영역을 포함하지 않게 할 수 있다. 또한 촬상금지영역부분(907)이 검출된 경우에, 카메라 운대정지처리단계(108)에서 카메라 운대의 정지처리에 더하여 촬상금지영역부분(907)이 검출되었기 때문에 카메라 운대의 제어를 정지한 취지의 메시지를 모니터(205)상에 표시시키는 처리를 하도록 하여도 좋다.
또 다른 대체로서, 촬상금지영역부분(907)이 검출된 경우에, 카메라 운대(201c) 및 촬상렌즈(줌)(201b)를 제어하여 촬상금지영역부분이 검출되지 않도록 할 수 있다. 이 방법을 도 13에 언급하여 설명한다.
이 방법에서는, 예를 들면 팬각, 틸트각, 촬상렌즈의 초점길이를 각각 θP0,θT0, fO 라 한 경우,
θP= θP0+ lΔθP
θT= θT0+ mΔθT
f = fO + nΔf
로서, 수학식 2, 수학식 3, 수학식 4, 수학식 5를 적용하여 시야범위(803)의 각 정점(P1, P2, P3 및 P4)을 구하여, 시야범위(905)가 촬상금지영역부분(902)과 겹치는지의 여부를 판정한다. 여기서 ΔθP, ΔθT, Δf는 팬각, 틸트각, 줌 렌즈의 초점길이의 최소의 증분량이고, 예를 들면 각각 ΔθP= 1°,ΔθT= 0.5°,Δf = 1 mm 이고, 시야범위(905)에 촬상금지영역부분이 비치지 않게 하기 위해서는, -10 ≤ 1 ≤ 10, -10 ≤ m ≤ 10, -10 ≤ n ≤ 10의 범위에서 변화시키고, 시야범위(905)가 촬상금지영역부분(907)과 겹치지 않는 l, m, n의 편성을 찾아 낸다. 이때의 θP, θT, f 에 따라 카메라 운대(201c)와 줌 렌즈(201b)를 제어하면 시야범위(905)에 촬상금지영역부분(907)을 포함하지 않게 할 수 있다. 이상의 처리는 MPU(202f)가 행한다. 또한 이 방법을 간략화한 방법으로서, 촬상금지영역부분(907)이 검출된 경우에 줌 렌즈(201b)의 초점길이를 소정거리만큼 길게 하여, 시야범위를 좁게 하도록 하야도 좋다.
카메라 운대제어단계(106b)에 계속하여, 경보/추적정보표시단계(107)가 실행된다. 단계 107의 처리내용은 상기한 단계 103과 동일하기 때문에, 설명은 생략한다.
경보/추미정보표시단계(107)는, 촬상금지영역외 판정단계(105c)에서의 판정 NO의 경우에도 카메라 운대 정지처리단계(108)의 처리에 계속해서 실시된다.
상기 실시예의 감시시스템에 의하면, 도 5를 사용하여 상세하게 설명한 바와 같이 침입물체가 검출된 경우, 침입물체를 템플릿 매칭법에 의한 침입물체 추미단계(104)에서 추적하여, 템플릿의 움직임에 따라 카메라 운대(201c)를 제어함으로써 침입물체를 추미할 수 있다. 따라서 이 물체 추미 방법을 사용하면, 도 8에 나타내는 TV 카메라(802)의 시야범위(803)의 위치는 예를 들면 게이트(804)로부터 침입한 물체가 게이트(806)로 이동하면 이 이동물체에 따라 시야범위(803)의 위치는 이동하나 이동물체가 게이트(806)에 들어 가기 직전까지 시야범위(803)의 위치를 이동할 수 있다. 그러나 촬상금지영역(805)은, 시야범위(803)에는 포함되지 않도록 카메라의 팬, 틸트, 줌를 제어하여 시야범위(803)의 위치의 이동을 제한할 수 있기 때문에, 매우 정확한 물체 추미 방법을 실현할 수 있다. 또한 도 5에 나타내는 템플릿 화상(501)은 직사각형인 데 대하여 시야범위(803)는 사다리꼴의 형상을 하고 있으나, 이것은 도 8이 TV 카메라(802)의 시야를 바로 위에서 감시맵(801)에 투영하고 있기 때문이고, 템플릿 화상(5011), 시야범위(803)의 일부를 추출하여 작성되는 것이기 때문에, 특별히 문제가 되는 일은 없다.
또한, 상기한 실시예에서는 시야범위(803)에 촬상금지영역(805)이 부분적으로 들어가는 경우, TV 카메라(904)의 팬, 틸트 및 줌를 제어하여 시야범위(905)의 위치를 촬상금지영역(902)을 포함하지 않도록 제어하는 것이나 TV 카메라(904)의시야범위(803)와 촬상금지영역(902)과 겹치는 면적은, 촬상금지영역(902)의 성격에도 의존하여 적절하게 감시시스템의 설치시에 실험적으로 정해진다. 또 상기한 바와 같이 침입물체 감시를 위해 시야범위(803)와 촬상금지영역(902)이 일부 겹치는 경우, 예를 들면 주지의 마스크처리에 의하여 시야범위(803)와 촬상금지영역(902)이 겹치는 부분을 마스크하여 촬상금지영역의 정보를 TV 카메라에 촬영되지 않도록 하는 것도 용이하게 실시할 수 있다.
다음에 본 발명의 다른 실시예에 의한 물체 추미 방법을 도 10의 플로우차트에 언급하여 설명한다. 도 1의 실시예에서는 카메라 운대 제어량 산출단계(106a)는 시야범위판정단계(105) 뒤에 배치되어 있으나, 도 10의 플로우차트에 있어서는 침입물체 추미단계(104)와 시야범위판정단계(105)의 사이에 배치되어 있다.
도 10에 있어서, 카메라 운대/줌 제어량 산출단계(106a)는 템플릿 갱신단계(104e)에서 산출된 침입물체의 위치에 의거하여 카메라 운대(201c) 팬 및 틸트량 및 촬상렌즈(201b)의 줌량이 산출된다. 산출방법은 도 5에 관련되어 이미 설명한 바와 같다. 시야정보취득단계(105a)에서는, 현재의 팬각(θP), 틸트각(θT)을 취득하고, 다시 렌즈제어부(202c)를 거쳐 촬상렌즈(201b)의 현재의 초점길이(f)를 취득한다. 시야범위산출단계(105b1)에서는 시야정보취득단계(105a)에서 취득한 카메라 운대(201c)의 현재의 방향(θP, θT)과, 단계 106a에서 산출한 팬 및 틸트량을 고려하여 카메라 운대 제어후의 카메라 운대(201c)의 방향을 예측하여 그 예측결과인 팬각(θp1), 틸트각(θt1)을 산출한다. 또 시야정보취득단계(105a)에서 취득한 촬상렌즈(201b)의 현재의 초점길이(f)와, 단계 106a에서 산출한 촬상렌즈(201b)의 줌량을 고려하여 촬상렌즈제어후의 촬상렌즈(201b)의 초점길이를 예측하여 그 예측결과인 초점길이(f1)를 산출한다. 그리고 이 산출한 방향(θp1, θt1)과 촬상렌즈(201b)의 초점길이(f)에 의거하여 촬상범위의 위치를 산출한다. 산출된 촬상범위의 위치는 예측위치이다. 따라서 촬상금지영역외 판정단계(105c)에서는, 예측한 카메라 운대와 줌 제어후의 시야범위 내에 촬상금지영역이 포함되는지의 여부가 판정된다. 카메라 운대/줌 제어단계(106b)에서는, 만약 예측한 카메라 운대와 줌 제어후의 시야범위 내에 촬상금지영역이 포함되지 않은 경우는, 카메라 운대/줌 제어량 산출단계(106a)에서 산출한 제어량에 의거하여 카메라 운대(201c)와 촬상렌즈(201b)를 제어한다.
본 실시예에 의하면, 예측한 시야범위가 촬상금지영역을 포함하는지의 여부를 실제로 시야범위를 갱신하기 전에 알 수 있기 때문에, 더욱 정확한 촬상금지영역 촬상의 회피가 가능해지고, 또한 신속한 침입물체의 추미를 기대할 수 있다. 본 실시예는 카메라 운대/줌 제어량 산출단계(106a)를 템플릿 갱신단계(104e)와 시야정보취득단계(105a) 사이로 옮긴 점과, 시야범위산출단계(105b)를 시야범위산출단계(105b1)로 한 한 점이 도 1과 다른 이외는, 도 1의 플로우차트와 동일하기 때문에 더 이상의 설명은 생략한다.
이상 설명한 바와 같이 본 발명에서는 TV 카메라는 침입물체를 추적하도록 팬방향, 틸트방향 및 렌즈의 줌이 제어되나, 촬영금지장소를 포함하게 되면, TV 카메라의 시야범위의 위치는, 촬영금지장소를 포함하지 않도록 그 위치가 제어되기때문에, 침입물체를 확실하게 추적할 수 있고, 또한 촬영금지장소를 촬영하지 않는다는 매우 뛰어난 TV 카메라의 시야범위 제어를 실현할 수 있는 것이다.
도 11에 언급하여 본 발명의 또 다른 실시예의 침입물체 추미 방법을 설명한다. 상기한 실시예에서는 TV 카메라의 시야범위 내에 촬상금지영역을 비추지 않도록 하는 것이나, 감시맵 내에 감시의 중요 영역을 설치하고, 이 중요 영역이 반드시 시야범위 내에 비치도록 설정할 수도 있다. 이와 같이 하면, 검출한 침입물체를 중요 영역이 비치는 범위에서 추미를 실행하여 침입물체에 더하여 중요 영역도 촬상할 수 있게 된다. 도 11은 이와 같은 중요감시영역을 반드시 감시할 수 있는 침입물체 추미 방법의 실시예의 플로우차트를 나타낸다. 도 1에 있어서의 촬상금지영역외 판정단계 (105c)가 도 11의 플로우차트에서는 중요 영역 내 판정단계(105c1)로 치환되어 있는 것 이외는, 도 11의 플로우차트는 도 1의 그것과 동일하다. 즉, 도 1의 플로우차트에서는 TV 카메라(201a)의 시야범위에 촬상금지영역이 포함되어 있으면 촬상금지영역외 판정단계(105c)에서 처리가 NO로 분기하여 카메라 운대(201c)를 정지한다. 한편, 본 실시예에서는 TV 카메라(201a)의 시야범위에 중요 영역이 포함되지 않은 경우, 중요 영역 내 판정단계(105c1)에서 처리가 NO로 분기하여 카메라 운대 정지처리단계(108)로 진행된다. 카메라 운대 정지처리단계(108)에서는 카메라 운대(201c)를 정지하는 처리를 행한다. 또한 카메라 운대 정지처리단계(108)에서는 카메라 운대(201c)를 정지하도록 하였으나, 대체로서 카메라 운대(201c)의 팬 틸트 모터를 역방향으로 제어하고, 소정시간 경과후에 팬 틸트 모터를 정지하도록 하여 TV 카메라(201a)의 방향을 중요 영역 내로 되돌리도록하여도 좋다. 또 TV 카메라(201a)의 시야범위에 중요 영역이 포함되지 않은 경우에, 카메라 운대 정지처리단계(108)에서는, 카메라 운대의 정지처리에 더하여, 중요 영역이 포함되지 않게 되었기 때문에, 카메라 운대의 제어를 정지하였다라는 취지의 메시지를 모니터(205)상에 표시시키는 처리를 하도록 하여도 좋다.
또한 도 1에서 설명한 처리와, 도 11에서 설명한 처리를 조합시켜 TV 카메라의 시야범위 내에 촬상금지영역을 비추지 않게 하고, 또한 중요 영역이 반드시 시야범위 내에 비치도록 줌 렌즈(201b), 카메라 운대(201c)를 제어하는 것도 가능하다.
도 12에 언급하여 본 발명의 또 다른 실시예의 침입물체 추미 방법을 설명한다.
상기한 실시예는 모두 침입물체의 자동추미용으로 되어 있었으나, 본 발명은 자동추미에 한정되지 않고, 수동으로 침입물체를 추미하는 경우에도 적용할 수 있다.
도 12의 플로우차트는 침입물체의 자동추미에 더하여, 감시원에 의한 수동추미시에도 촬상금지영역의 촬상을 회피할 수 있는 침입물체 추미 방법을 나타낸다.
도 12에 있어서, 초기화처리(101)에 계속해서 감시원이 자동추미인지 수동추미인지를 선택한다(단계 110). 자동추미가 선택되면 도 1에서 설명한 자동추미가 실시된다. 수동추미가 선택되면 TV 카메라(201a)로부터 예를 들면 가로방향 320 화소, 높이방향 240 화소의 입력화상을 얻는다(단계 111). MPU(202f)는 조작원에 의한 TV 카메라(201a)의 감시조작의 유무를 조사하고 있다(단계 112). TV카메라(201a)의 조작(촬상방향의 제어)은 조작부(203)에 의하여 행한다. 조작원은 조작부(203)에 의하여 TV 카메라(201a)의 줌을 수동으로 행할 수도 있다. TV 카메라(201a)의 감시조작이 검출되면 조작입력부(202d)를 거쳐 조작입력정보를 취득하고(단계 113), 처리는 자동추미에 있어서의 시야범위판정단계(105)와 동일한 시야범위판정단계(105')로 옮겨간다. 시야정보취득단계(105a')에서는 운대 제어부(202b)를 거쳐 카메라 운대(201c)의 현재의 방향[카메라 운대 정면을 원점으로 하여, 팬각(θP), 틸트각(θT)]을 취득하고, 렌즈제어부(202c)를 거쳐 촬상렌즈(201b)의 현재의 초점길이(f)를 취득한다.
시야범위산출단계(105b')에서는 시야정보취득단계(105a')에서 취득한 카메라 운대(201c)의 방향(θP, θT), 촬상렌즈(201b)의 현재의 초점길이(f)에 의거하여 촬상범위의 위치를 산출한다. 촬상범위의 위치의 산출방법은 이미 설명한 바와 같기 때문에 설명은 생략한다.
다음에 촬상금지영역외 판정단계(105c')는, 시야범위산출단계(105b')에 의하여 산출된 TV 카메라(201a)의 시야범위가 감시대상범위 이외의 영역(촬상금지영역)을 포함하지 않는 경우 카메라 운대/줌 제어단계(106b')로 진행하고, 촬상금지영역을 포함하는 경우는 카메라 운대 정지처리단계(108')로 진행한다.
카메라 운대/줌 제어단계(106b')에서는 조작입력취득단계(113)에서 취득한 조작입력정보에 의거하여 감시원에게 지정된 방향으로 TV 카메라(201a)를 움직이고, 계속되는 입력화상표시단계(114)에서는, TV 카메라(201a)가 촬상한 화상을 감시모니터(205)상에 표시한다. 조작입력취득단계(113)에서 취득한 조작입력정보에 줌의 변경량의 정보가 포함되어 있는 경우에는, 카메라 운대/줌 제어단계(106b')에서는 촬상렌즈(201c)의 줌의 제어도 실행한다.
한편, 시야범위산출단계(105b')에 의하여 산출된 TV 카메라(201a)의 시야범위가 감시대상범위 이외의 영역(촬상금지영역)을 포함하는 경우는, 카메라 운대 정지처리단계(108')에서 카메라 운대를 정지시킨다. 아울러 카메라 운대를 역방향으로 제어하거나, 감시모니터(205)상에 TV 카메라(201a)의 시야범위에 촬상금지영역이 포함되었기 때문에 TV 카메라(201a)를 정지시켰다는 취지의 메시지를 표시하도록 하여도 좋다.
또한 단계 105', 105a', 105b', 105c', 106', 108'의 상세는 각각 이미 설명한 단계 105, 105a, 105b, 105c, 106, 108와 동일하기 때문에 자세한 설명은 필요없을 것이다. 또 감시원에 의한 수동추미시에도 도 11에서 설명한 내용과 마찬가지로 중요 영역이 반드시 시야범위 내에 비치도록 제어할 수 있음은 물론이다. 또, 이상의 설명에서는 감시원은 신호처리장치(202)에 접속된 조작부(203)에 의해 TV 카메라(201a)의 조작을 행하는 경우에 대하여 설명하였으나, 감시원은 예를 들면 신호처리장치(202)와 LAN 이나 인터넷 등의 외부 네트워크를 거쳐 접속되는 원격지의 PC(퍼스널컴퓨터)에 의해 TV 카메라(201a)를 조작하는 것도 가능하다.
이상의 설명에서는 물체검출방법으로서 차분법, 물체이동량 검출방법으로서 템플릿 매칭법을 들어 설명하였으나, 물체검출, 물체이동량 검출을 실현할 수 있는 것이면 이들 이외의 방법에서도 사용 가능한 것은 물론이다.
이상, 본 발명에 대하여 상세하게 설명하였으나, 본 발명은 여기에 기재된 물체 추미 방법 및 물체 추미 장치에 한정되는 것이 아니라, 상기 이외에 물체 추미 방법 및 물체 추미 장치에 널리 적응할 수 있는 것은 물론이다.
종래의 물체 추미 방법 및 물체 추미 장치에서는 TV 카메라에 감시대상이 아닌 민가나 사생활이 문제가 되는 장소 등이 비치거나, 감시영역 내의 중요시설이 사각이 되어 버린다는 문제가 있었다. 본 발명에 의하면, 침입물체를 추미하면서 TV 카메라에 감시대상이 아닌 민가나 사생활이 문제가 되는 장소 등이 비치지 않도록 카메라 운대의 이동범위를 제한하거나, 또 감시영역 내의 중요시설을 반드시 TV 카메라의 시야에 비추면서 침입물체를 추미할 수 있다.
상기 실시예에 의하면 일반주민의 사생활를 위협하거나, 사생활이 문제가 되는 장소 등을 촬영하지 않고, 감시영역 내의 중요시설을 비추면서 물체를 추미할 수있어 영상감시장치의 적용범위를 크게 넓힐 수 있는 물체 추미 방법 및 물체 추미 장치를 제공할 수 있다.

Claims (14)

  1. 촬상방향 및 줌의 적어도 한쪽을 제어 가능하게 구성된 촬상장치로 물체를 추미하는 추미 방법에 있어서,
    상기 촬상장치로부터의 화상에 의거하여 물체를 검출하는 단계와,
    상기 촬상장치의 현재 또는 예측 시야범위를 산출하는 단계와,
    상기 산출한 현재 또는 예측 시야범위가 촬상금지영역을 포함하는지의 여부를 판정하는 단계와,
    상기 산출한 현재 또는 예측 시야범위가 촬상금지영역을 포함하지 않을 때, 상기 물체의 검출정보에 의거하여 상기 촬상장치의 촬상방향 및 줌의 적어도 한쪽을 제어하여 상기 물체를 추미하는 단계로 이루어지는 것을 특징으로 하는 물체 추미 방법.
  2. 제 1항에 있어서,
    상기 산출한 현재 또는 예측 시야범위가 촬상금지영역을 포함하는 경우, 상기촬상장치의 동작을 정지하는 단계를 더 가지는 것을 특징으로 하는 물체 추미 방법.
  3. 제 1항에 있어서,
    상기 산출한 현재의 시야범위가 촬상금지영역을 포함하는 경우, 상기 촬상장치의 동작을 소정시간 역방향으로 동작시킨 후 정지하는 단계를 더 가지는 것을 특징으로 하는 물체 추미 방법.
  4. 제 1항에 있어서,
    상기 촬상된 현재 또는 예측 시야범위의 화상이 상기 촬상금지영역을 포함하는 경우, 상기 촬상된 화상 내에 포함되는 상기 촬상금지영역의 부분을 마스크하는 단계를 더 가지는 것을 특징으로 하는 물체 추미 방법.
  5. 제 2항에 있어서,
    상기 촬상금지영역이 검출되었기 때문에 촬상장치의 동작을 정지하였다는 취지의 메시지를 표시하는 단계를 더 가지는 것을 특징으로 하는 물체 추미 방법.
  6. 제 1항에 있어서,
    상기 촬상장치의 상기 예측 시야범위를 산출하는 단계는, 상기 물체의 현재위치와 상기 화상 내의 소정위치와의 위치관계에 의거하여 촬상장치의 이동량을 산출하는 단계와, 상기 이동량을 포함하는 상기 촬상장치의 제어량에 의거하여 상기 예측 시야범위를 산출하는 단계를 포함하는 것을 특징으로 하는 물체 추미 방법.
  7. 제 1항에 있어서,
    상기 산출한 현재 또는 예측 시야범위가 촬상금지영역을 포함하는 경우, 상기 촬상금지영역을 포함하지 않는 시야범위를 산출하고, 산출한 시야범위에 의거하여 상기 촬상장치의 촬상방향 및 줌의 적어도 한쪽을 제어하는 단계를 더 가지는 것을 특징으로 하는 물체 추미 방법.
  8. 제 1항에 있어서,
    상기 산출한 현재 또는 예측 시야범위가 촬상금지영역을 포함하는 경우, 상기 촬상장치의 초점길이를 소정량 길게 하는 단계를 더 가지는 것을 특징으로 하는 물체 추미 방법.
  9. 촬상방향 및 줌의 적어도 한쪽을 제어 가능하게 구성된 촬상장치로 물체를 추미하는 추미 방법에 있어서,
    상기 촬상장치부터의 화상에 의거하여 물체를 검출하는 단계와,
    상기 촬상장치의 현재 또는 예측 시야범위를 산출하는 단계와,
    상기 산출한 현재 또는 예측 시야범위가 중요 영역을 포함하는지의 여부를 판정하는 단계와,
    상기 산출한 현재 또는 예측 시야범위가 중요 영역을 포함할 때, 상기 물체의 검출정보에 의거하여 상기 촬상장치의 촬상방향 및 줌의 적어도 한쪽을 제어하여 상기 물체를 추미하는 단계로 이루어지는 것을 특징으로 하는 물체 추미 방법.
  10. 제 9항에 있어서,
    상기 산출한 현재 또는 예측 시야범위가 중요 영역을 포함하지 않을 때, 상기 촬상장치를 상기 중요 영역의 쪽으로 되돌리는 단계를 더 가지는 것을 특징으로 하는 물체 추미 방법.
  11. 물체 추미 장치에 있어서,
    촬상장치와,
    상기 촬상장치에 결합되고, 상기 촬상장치의 시야범위의 위치를 바꾸기 위한 구동기구부와,
    상기 촬상장치로부터의 화상신호를 처리하는 화상신호처리부와,
    상기 화상신호처리부로부터의 제어신호에 의하여 상기 구동기구부를 제어하는 제어부를 가지고,
    상기 신호처리부는,
    상기 촬상장치로부터의 화상에 의거하여 물체를 검출하는 수단과,
    상기 촬상장치의 현재 또는 예측 시야범위를 산출하는 수단과,
    상기 산출한 현재 또는 예측 시야범위가 촬상금지영역을 포함하는지의 여부를 판정하는 수단과,
    상기 판정하는 수단에 응답하여 상기 산출한 현재 또는 예측 시야범위가 촬상금지영역을 포함하지 않을 때, 상기 물체의 검출정보에 의거하여 상기 촬상장치의 촬상방향 및 줌의 적어도 한쪽을 제어하기 위한 상기 제어신호를 생성하는 수단을 포함하는 것을 특징으로 하는 물체 추미 장치.
  12. 제 11항에 있어서,
    상기 구동기구는, 상기 촬상장치의 줌 제어장치와, 상기 촬상장치의 촬상방향을 제어하는 운대 제어장치를 포함하는 것을 특징으로 하는 물체 추미 장치.
  13. 물체 추미 장치에 있어서,
    촬상장치와,
    상기 촬상장치에 결합되고, 상기 촬상장치의 시야범위의 위치를 바꾸기 위한 구동기구부와,
    상기 촬상장치로부터의 화상신호를 처리하는 화상신호처리부와,
    상기 화상신호처리부로부터의 제어신호에 의하여 상기 구동기구부를 제어하는 제어부를 가지고,
    상기 신호처리부는,
    상기 촬상장치로부터의 화상에 의거하여 물체를 검출하는 수단과,
    상기 촬상장치의 현재 또는 예측 시야범위를 산출하는 수단과,
    상기 산출한 현재 또는 예측 시야범위가 중요 영역을 포함하는지의 여부를 판정하는 수단과,
    상기 판정하는 수단에 응답하여 상기 산출한 현재 또는 예측 시야범위가 상기 중요 영역을 포함할 때, 상기 물체의 검출정보에 의거하여 상기 촬상장치의 촬상방향 및 줌의 적어도 한쪽을 제어하기 위한 상기 제어신호를 생성하는 수단을 포함하는 것을 특징으로 하는 물체 추미 장치.
  14. 제 13항에 있어서,
    상기 구동기구는, 상기 촬상장치의 줌 제어장치와, 상기 촬상장치의 촬상방향을 제어하는 운대 제어장치를 포함하는 것을 특징으로 하는 물체 추미 장치.
KR1020040056643A 2003-07-22 2004-07-21 물체 추미 방법 및 물체 추미 장치 KR100606485B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00199640 2003-07-22
JP2003199640 2003-07-22

Publications (2)

Publication Number Publication Date
KR20050011698A true KR20050011698A (ko) 2005-01-29
KR100606485B1 KR100606485B1 (ko) 2006-08-01

Family

ID=32923702

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040056643A KR100606485B1 (ko) 2003-07-22 2004-07-21 물체 추미 방법 및 물체 추미 장치

Country Status (3)

Country Link
US (1) US7596240B2 (ko)
KR (1) KR100606485B1 (ko)
GB (2) GB2411229B (ko)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6952224B2 (en) 2001-03-30 2005-10-04 Intel Corporation Object trackability via parametric camera tuning
KR100601933B1 (ko) * 2003-11-18 2006-07-14 삼성전자주식회사 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템
US7956890B2 (en) * 2004-09-17 2011-06-07 Proximex Corporation Adaptive multi-modal integrated biometric identification detection and surveillance systems
US7245215B2 (en) * 2005-02-10 2007-07-17 Pinc Solutions Position-tracking device for position-tracking system
US7321305B2 (en) * 2005-07-05 2008-01-22 Pinc Solutions Systems and methods for determining a location of an object
US7236091B2 (en) * 2005-02-10 2007-06-26 Pinc Solutions Position-tracking system
NZ564851A (en) * 2005-06-20 2009-11-27 Lextar Pty Ltd Directional surveillance camera with ring of directional detectors
JP4533284B2 (ja) * 2005-08-30 2010-09-01 キヤノン株式会社 追尾撮像装置及びその追尾制御方法、並びに制御プログラム
JP4318724B2 (ja) 2007-02-14 2009-08-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
US8154578B2 (en) * 2007-05-31 2012-04-10 Eastman Kodak Company Multi-camera residential communication system
US8587658B2 (en) * 2007-06-08 2013-11-19 Nikon Corporation Imaging device, image display device, and program with intruding object detection
WO2009001530A1 (ja) * 2007-06-22 2008-12-31 Panasonic Corporation カメラ装置、および、撮影方法
JP5247076B2 (ja) * 2007-07-09 2013-07-24 株式会社ニコン 画像追尾装置、焦点調節装置および撮像装置
DE102008007199A1 (de) * 2008-02-01 2009-08-06 Robert Bosch Gmbh Maskierungsmodul für ein Videoüberwachungssystem, Verfahren zur Maskierung von selektierten Objekten sowie Computerprogramm
JP5121508B2 (ja) * 2008-03-03 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5264582B2 (ja) * 2008-04-04 2013-08-14 キヤノン株式会社 監視装置、監視方法、プログラム、及び記憶媒体
DE102008018436B4 (de) * 2008-04-11 2022-01-13 Hänel & Co. Lagerregal mit automatischer Lagerortbuchung
US8311275B1 (en) * 2008-06-10 2012-11-13 Mindmancer AB Selective viewing of a scene
JP5398341B2 (ja) * 2009-05-11 2014-01-29 キヤノン株式会社 物体認識装置及び物体認識方法
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
CN105586433A (zh) 2009-10-26 2016-05-18 雅培制药有限公司 用于测定非小细胞肺癌预后的诊断方法
US9291625B2 (en) 2009-10-26 2016-03-22 Abbott Laboratories Diagnostic methods for determining prognosis of non-small cell lung cancer
KR101184460B1 (ko) * 2010-02-05 2012-09-19 연세대학교 산학협력단 마우스 포인터 제어 장치 및 방법
US9135514B2 (en) * 2010-05-21 2015-09-15 Qualcomm Incorporated Real time tracking/detection of multiple targets
JP5938631B2 (ja) * 2011-12-19 2016-06-22 パナソニックＩｐマネジメント株式会社 物体検出装置及び物体検出方法
DE102012200573A1 (de) * 2012-01-17 2013-07-18 Robert Bosch Gmbh Verfahren und Einrichtung zum Bestimmen und Einstellen eines durch eine Videokamera zu überwachenden Bereichs
JP5687657B2 (ja) * 2012-05-25 2015-03-18 株式会社東芝 物体検出装置、物体検出方法及び物体検出プログラム
RU2533445C2 (ru) * 2012-10-02 2014-11-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Автоматическое распознавание и съемка объекта
US8891870B2 (en) * 2012-11-09 2014-11-18 Ge Aviation Systems Llc Substance subtraction in a scene based on hyperspectral characteristics
JP2014102685A (ja) * 2012-11-20 2014-06-05 Sony Corp 情報処理装置、情報処理方法及びプログラム
EP2803812B1 (en) 2013-05-17 2018-11-21 Sandvik Intellectual Property AB Drill rod gripping apparatus
JP2014241505A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 撮影装置および撮影方法、テンプレート生成装置およびテンプレート生成方法、並びにプログラム
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9213903B1 (en) 2014-07-07 2015-12-15 Google Inc. Method and system for cluster-based video monitoring and event categorization
US9420331B2 (en) 2014-07-07 2016-08-16 Google Inc. Method and system for categorizing detected motion events
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US9639954B2 (en) * 2014-10-27 2017-05-02 Playsigh Interactive Ltd. Object extraction from video images
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
JP6574645B2 (ja) 2015-08-28 2019-09-11 キヤノン株式会社 撮像装置を制御する制御装置、撮像装置の制御方法、及びプログラム
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
CN106372650B (zh) * 2016-08-19 2019-03-19 南通大学 一种基于运动预测的压缩跟踪方法
US20180091730A1 (en) * 2016-09-21 2018-03-29 Ring Inc. Security devices configured for capturing recognizable facial images
KR102366779B1 (ko) * 2017-02-13 2022-02-24 한국전자통신연구원 다수 객체 추적 시스템 및 이의 객체 추적 방법
US11238281B1 (en) * 2017-02-27 2022-02-01 Amazon Technologies, Inc. Light source detection in field of view
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
CN107566743B (zh) * 2017-10-30 2019-10-11 珠海市一微半导体有限公司 移动机器人的视频监控方法
EP3640903B1 (en) * 2018-10-18 2023-12-27 IDEMIA Identity & Security Germany AG Signal dependent video surveillance
US11725950B2 (en) * 2020-10-24 2023-08-15 International Business Machines Corporation Substitute autonomous vehicle data
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US11700448B1 (en) * 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene
US11922697B1 (en) * 2022-05-02 2024-03-05 Ambarella International Lp Dynamically adjusting activation sensor parameters on security cameras using computer vision

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1254628A (en) * 1985-04-19 1989-05-23 Akira Iihoshi Device for displying travel path of motor vehicle
US5202661A (en) * 1991-04-18 1993-04-13 The United States Of America As Represented By The Secretary Of The Navy Method and system for fusing data from fixed and mobile security sensors
JP3942652B2 (ja) * 1994-12-05 2007-07-11 株式会社日立製作所 カメラシステム
US6088468A (en) 1995-05-17 2000-07-11 Hitachi Denshi Kabushiki Kaisha Method and apparatus for sensing object located within visual field of imaging device
JP3287382B2 (ja) 1995-07-13 2002-06-04 キヤノン株式会社 カメラ制御システム及び方法
JPH0950585A (ja) * 1995-08-07 1997-02-18 Hitachi Ltd 侵入者監視装置
US5943442A (en) * 1996-06-12 1999-08-24 Nippon Telegraph And Telephone Corporation Method of image processing using parametric template matching
EP0878965A3 (en) * 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
JP4302801B2 (ja) * 1998-10-12 2009-07-29 株式会社日立国際電気 物体追跡方法及び物体追跡装置
JP3722653B2 (ja) 1999-08-31 2005-11-30 松下電器産業株式会社 監視カメラ装置及び監視カメラの表示方法
AU2001240100A1 (en) * 2000-03-10 2001-09-24 Sensormatic Electronics Corporation Method and apparatus for video surveillance with defined zones
JP2001337776A (ja) * 2000-05-26 2001-12-07 Matsushita Electric Ind Co Ltd キーボード装置
US7082209B2 (en) * 2000-08-31 2006-07-25 Hitachi Kokusai Electric, Inc. Object detecting method and object detecting apparatus and intruding object monitoring apparatus employing the object detecting method
US7161615B2 (en) * 2001-11-30 2007-01-09 Pelco System and method for tracking objects and obscuring fields of view under video surveillance
DE602004015173D1 (de) * 2003-01-21 2008-09-04 Canon Kk Bildaufnahmegerät und Bildaufnahmesystem

Also Published As

Publication number Publication date
GB0509414D0 (en) 2005-06-15
GB0416233D0 (en) 2004-08-25
US7596240B2 (en) 2009-09-29
KR100606485B1 (ko) 2006-08-01
US20050018879A1 (en) 2005-01-27
GB2404247B (en) 2005-07-20
GB2404247A (en) 2005-01-26
GB2411229B (en) 2006-04-12
GB2411229A (en) 2005-08-24

Similar Documents

Publication Publication Date Title
KR100606485B1 (ko) 물체 추미 방법 및 물체 추미 장치
JP4699040B2 (ja) 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
US7113616B2 (en) Object tracking method and apparatus using template matching
US8170277B2 (en) Automatic tracking apparatus and automatic tracking method
JP4451122B2 (ja) ビデオ追跡システム及び方法
US7806604B2 (en) Face detection and tracking in a wide field of view
JP5688456B2 (ja) 熱画像座標を用いた保安用カメラ追跡監視システム及び方法
KR100432870B1 (ko) 침입물체 감시방법 및 침입물체 감시시스템
US20020008758A1 (en) Method and apparatus for video surveillance with defined zones
JP2006523043A (ja) 監視を行なう方法及びシステム
JP2006245795A (ja) 動体追跡装置及び動体追跡表示装置
KR102282470B1 (ko) 카메라 장치 및 이를 이용한 객체 추적 방법
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
JP4444746B2 (ja) 物体追尾方法及び物体追尾装置
KR100623835B1 (ko) 물체 검출 방법 및 물체 검출 장치
KR101834882B1 (ko) 광학영상카메라와 열영상카메라가 일체형으로 구성되어 객체를 감지하는 카메라 장치
JPH05334572A (ja) 室内監視装置
KR101033237B1 (ko) 360도 초광역 영상에 의한 영역감시, 방범 및 주정차단속 다기능 시스템 및 단속방법
JP2009301175A (ja) 監視方法
JPH0793558A (ja) 画像監視装置
JP3828096B2 (ja) 物体追跡装置
KR101619953B1 (ko) 감시카메라용 자동 다중 추적 영상처리방법
JP2008219452A (ja) カメラ監視装置
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
JP2000224457A (ja) 監視システムおよびその制御方法およびそのプログラムを記憶した記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130705

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140716

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150618

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee