KR101237155B1 - 이동 물체 검출 장치 및 방법과 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 - Google Patents

이동 물체 검출 장치 및 방법과 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101237155B1
KR101237155B1 KR20060023901A KR20060023901A KR101237155B1 KR 101237155 B1 KR101237155 B1 KR 101237155B1 KR 20060023901 A KR20060023901 A KR 20060023901A KR 20060023901 A KR20060023901 A KR 20060023901A KR 101237155 B1 KR101237155 B1 KR 101237155B1
Authority
KR
South Korea
Prior art keywords
motion vector
past
integrated value
moving object
vector
Prior art date
Application number
KR20060023901A
Other languages
English (en)
Other versions
KR20060100257A (ko
Inventor
다께시 기시다
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20060100257A publication Critical patent/KR20060100257A/ko
Application granted granted Critical
Publication of KR101237155B1 publication Critical patent/KR101237155B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F7/00—Accessories for wings not provided for in other groups of this subclass
    • E05F7/04—Arrangements affording protection against rattling
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B7/00—Special arrangements or measures in connection with doors or windows
    • E06B7/16—Sealing arrangements on wings or parts co-operating with the wings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • E—FIXED CONSTRUCTIONS
    • E06—DOORS, WINDOWS, SHUTTERS, OR ROLLER BLINDS IN GENERAL; LADDERS
    • E06B—FIXED OR MOVABLE CLOSURES FOR OPENINGS IN BUILDINGS, VEHICLES, FENCES OR LIKE ENCLOSURES IN GENERAL, e.g. DOORS, WINDOWS, BLINDS, GATES
    • E06B3/00—Window sashes, door leaves, or like elements for closing wall or like openings; Layout of fixed or moving closures, e.g. windows in wall or like openings; Features of rigidly-mounted outer frames relating to the mounting of wing frames
    • E06B3/32—Arrangements of wings characterised by the manner of movement; Arrangements of movable wings in openings; Features of wings or frames relating solely to the manner of movement of the wing
    • E06B3/34—Arrangements of wings characterised by the manner of movement; Arrangements of movable wings in openings; Features of wings or frames relating solely to the manner of movement of the wing with only one kind of movement
    • E06B3/42—Sliding wings; Details of frames with respect to guiding
    • E06B3/46—Horizontally-sliding wings
    • E06B3/4609—Horizontally-sliding wings for windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은, 이동 물체를 정밀도 좋게 검출할 수 있는 이동 물체 검출 장치를 제안하는 것을 목적으로 하는 것으로, 입력 화상으로부터 움직임 벡터를 산출하는 움직임 벡터 산출 수단과, 과거의 움직임 벡터를 축적하는 과거 벡터 축적 수단과, 현재의 움직임 벡터를 포함하는 움직임 벡터군으로부터 현재의 순간적인 난잡도를 산출하고, 과거 벡터 축적 수단으로부터 판독한 과거의 움직임 벡터를 포함하는 움직임 벡터군에 기초하여 과거의 정상적인 난잡도를 산출하고, 현재의 순간적인 난잡도와 과거의 정상적인 난잡도에 기초하여, 현재의 정상적인 난잡도를 산출하는 난잡도 산출 수단과, 각 움직임 벡터에 대하여, 순간적인 난잡도가 제1 임계값 이상이고, 정상적인 난잡도가 제2 임계값 이상일 때, 움직임 벡터를 제거하는 난잡 벡터 제거 수단과, 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수를, 각각 직전의 제거되지 않은 움직임 벡터의 위치와 대응하여 축적하는 적산값 축적 수단과, 적산값 축적 수단에 축적된 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수를 판독하는 적산값 판독 수단, 적산값 축적 수단에 축적된 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수와 현재의 제거되지 않은 움직임 벡터의 크기 및 위치를 이용하여 갱신하도록 하고, 새로운 움직임 벡터의 적산값 및 적산 횟수를 각각 산출하는 적산값 갱신 수단과, 움직임 벡터마다의 적산값의 크기가 제3 임계값 이상이고, 적산값 갱신 수단에 의해 산출된 움직임 벡터마다의 적산 횟수가 제4 임계값 이상인 경우에, 각 움직임 벡터에 대하여, 해당 움직임 벡터가 이동 물체의 것인지의 여부를 판정하는 이동 물체 검출 수단을 포함한다.
움직임 벡터 제거부, 상관 연산 블록, 배경 모델 차분 산출부, 배경 모델 갱신부, 난잡도 산출부, 평균 휘도 산출부, 화상 축소부, 난잡 벡터 제거부

Description

이동 물체 검출 장치 및 방법과 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체{MOVING OBJECT DETECTION APPARATUS, METHOD AND PROGRAM}
도 1은 제1 실시예에 따른 이동 물체 검출 장치의 구성을 도시하는 블록도.
도 2는 상관 연산 블록의 배치예를 도시하는 개념도.
도 3은 상관 연산의 일례의 설명에 사용하는 개념도.
도 4는 상관맵을 도시하는 개념도.
도 5는 움직임 벡터 제거부의 구성을 도시하는 블록도.
도 6은 난잡도 산출 처리 수순을 도시하는 플로우차트.
도 7은 제1 움직임 벡터 제거 판정 처리 수순을 도시하는 플로우차트.
도 8은 공간적 및 시간적으로 인접하는 움직임 벡터로 이루어지는 벡터군의 설명에 사용하는 개념도.
도 9는 공간적 및 시간적으로 균일성이 높은 움직임 벡터군의 설명에 사용하는 개념도.
도 10은 이동 물체에 기인하는 움직임 벡터의 순간적인 난잡도 및 정상적인 난잡도를 나타내는 그래프.
도 11은 공간적 및 시간적으로 균일성이 낮은 움직임 벡터군의 설명에 사용하는 개념도.
도 12는 배경 변동에 기인하는 움직임 벡터의 순간적인 난잡도 및 정상적인 난잡도를 나타내는 그래프.
도 13은 배경 변동을 숨기도록 이동 물체가 통과하는 경우에 있어서의 움직임 벡터의 순간적인 난잡도 및 정상적인 난잡도를 나타내는 그래프.
도 14는 움직임 벡터 적산부의 구성을 도시하는 블록도.
도 15는 이동 물체 검출 처리 수순을 도시하는 플로우차트.
도 16은 인물이나 차량에 의한 움직임 벡터의 적산의 설명에 사용하는 개념도.
도 17은 진동적인 배경 변동에 의한 움직임 벡터의 적산의 설명에 사용하는 개념도.
도 18은 단시간의 랜덤한 움직임에 의한 움직임 벡터의 적산의 설명에 사용하는 개념도.
도 19는 순간적인 조명 변동에 의한 움직임 벡터의 적산의 설명에 사용하는 개념도.
도 20은 본 실시예에 의한 이동 물체와 배경 변동의 중첩의 설명에 사용하는 개념도.
도 21은 움직임 벡터 제거부에 의한 난잡도가 높은 움직임 벡터의 제거의 설명에 사용하는 개념도.
도 22는 제1 실시예에 따른 움직임 벡터의 시간 경과의 설명에 사용하는 개념도.
도 23은 제1 실시예에 따른 움직임 벡터의 시간 경과의 설명에 사용하는 개념도.
도 24는 제1 실시예에 따른 움직임 벡터의 시간 경과의 설명에 사용하는 개념도.
도 25는 본 실시예에 따른 연속해서 두 사람의 인물이 화면 내에 나타난 경우의 추적 처리의 설명에 사용하는 개념도.
도 26은 제2 실시예에 따른 이동 물체 검출 장치의 구성을 도시하는 블록도.
도 27은 제2 실시예에 따른 움직임 벡터 제거부의 구성을 도시하는 블록도.
도 28은 제2 움직임 벡터 제거 판정 처리 수순을 도시하는 플로우차트.
도 29는 작은 이동 물체와 배경 변동의 중첩의 설명에 사용하는 개념도.
도 30은 배경 차분 정보에 기초하는 2치화의 설명에 사용하는 개념도.
도 31은 움직임 벡터 제거부에 의한 난잡도가 높은 움직임 벡터의 제거의 설명에 사용하는 개념도.
도 32는 제3 실시예에 따른 이동 물체 검출 장치의 구성을 도시하는 블록도.
도 33은 제1 계층의 화상 데이터 및 제2 계층의 화상 데이터의 처리의 설명에 사용하는 개념도.
도 34는 제3 실시예에 따른 이동 물체 검출 장치의 동작 타이밍의 설명에 사용하는 개념도.
도 35는 제3 실시예에 따른 움직임 벡터의 산출의 설명에 사용하는 개념도.
도 36은 주행 중인 자동차에 있어서의 움직임 벡터의 산출의 설명에 사용하 는 개념도.
도 37은 큰 배경의 근방을 작은 인물이 이동하는 경우에 있어서의 움직임 벡터의 산출의 설명에 사용하는 개념도.
도 38은 다른 실시예에 따른 상관 연산 블록의 배치의 설명에 사용하는 개념도.
도 39는 종래의 이동 물체 검출 장치의 구성을 도시하는 블록도.
도 40은 종래의 이동 물체 검출 장치에 있어서의 이동 물체의 검출 방법의 설명에 사용하는 개념도.
도 41은 종래의 이동 물체 검출 장치의 구성을 도시하는 블록도.
도 42는 화상 변화 추출부의 구성을 도시하는 블록도.
도 43은 종래의 이동 물체 검출 장치에 있어서의 이동 물체의 검출 방법의 설명에 사용하는 개념도.
도 44는 이동 물체와 배경 변동의 중첩의 설명에 사용하는 개념도.
도 45는 이동 물체와 배경 변동의 중첩의 설명에 사용하는 개념도.
도 46은 종래의 이동 물체 검출 장치에 있어서의 연속해서 두 사람의 인물이 화면 내에 나타난 경우의 추적 처리의 설명에 사용하는 개념도.
도 47은 종래의 이동 물체 검출 장치에 있어서의 연속해서 두 사람의 인물이 화면 내에 나타난 경우의 추적 처리의 설명에 사용하는 개념도.
<도면의 주요 부분에 대한 부호의 설명>
40, 70, 90, 100 : 이동 물체 검출 장치
42 : 상관 연산 블록 배치부, 제1 상관 연산 블록 배치부
43 : 과거 화상 축적부, 제1 과거 화상 축적부
44 : 상관 연산 실행부, 제1 상관 연산 실행부
45, 71 : 움직임 벡터 제거부
46,101 : 움직임 벡터 적산부
47 : 이동 물체 검출부
50 : 과거 벡터 축적부
51 : 난잡도 산출부
52, 81 : 난잡 벡터 제거부
60 : 과거 벡터 축적부
61 : 적산 제어부
62 : 적산값 갱신부
63 : 적산값 축적부
64 : 과거 적산값 축적부
65, 110 : 과거 적산값 판독부
80 : 배경 모델 차분 산출부
82 : 평균 휘도 산출부
83 : 배경 모델 갱신부
84 : 배경 모델 축적부
85 : 배경 모델 차분부
91 : 제2 상관 연산부
92 : 움직임 벡터 통합부
93 : 화상 축소부
94 : 제2 상관 연산 블록 배치부
95 : 제2 과거 화상 축적부
96 : 제2 상관 연산 실행부
BG : 배경
HU, HU1, HU2 :인물
BR10, BR20 : 상관 연산 블록
En : 순간적인 난잡도
E'n : 정상적인 난잡도
Vn : 움직임 벡터
Wn : 움직임 벡터군
TH_E1 : 제1 임계값
TH_E2 : 제2 임계값
TH_ACC : 제3 임계값
TH_CNT : 제4 임계값
TH_DEV : 제5 임계값
RT1 : 난잡도 산출 처리 수순
RT2 : 제1 움직임 벡터 제거 판정 처리 수순
RT3 : 이동 물체 검출 처리 수순
RT4 : 제2 움직임 벡터 제거 판정 처리 수순.
[특허 문헌 1] 일본 특개 2000-322581 공보
[특허 문헌 2] 일본 특개 2003-169319 공보
[비특허 문헌 1] 모리타 토시히코 저, 「국소 상관 연산에 의한 움직임의 검지와 추적」, 전자 정보 학회 논문지, D-11, Vol.J 84-D-11, No.2, pp.299-309, 2001년 2월
본 발명은, 이동 물체 검출 장치 및 방법에 관한 것으로, 예를 들면 영상 감시 시스템에 채용되는 이동 물체 검출 장치에 적용하기에 적합한 것이다.
최근, 방범 관리상의 이유로 인해 빌딩이나 창고 등에 있어서, 이동 물체 검출 장치가 탑재된 영상 감시 시스템이 널리 채용되고 있다. 이 이동 물체 검출 장치는, 감시 카메라로부터 출력되는 화상 신호를 처리함으로써, 해당 화상 신호에 기초하는 화상 내의 이동 물체를 검출할 수 있도록 이루어진 것이다.
이 경우, 이러한 이동 물체 검출 장치를 구축할 때에는, 수면 상의 파도(wave)에 의한 광의 난반사나 바람에 의해 흔들리는 초목 등의 자연계에 존재하는 외란, 또 강풍으로 심하게 가로 길게 뻗치는 깃발이나 야간에 있어서의 헤드 라이 트의 난반사, 조명의 온 또는 오프에 의한 급격한 조명 변동 등의 인공물에 의한 외란에 영향을 받지 않고, 화상 내에 존재하는 이동 물체를 정확하게 검지할 수 있는 고안이 필요하게 된다.
따라서, 종래, 이러한 요구에 응답하기 위해, 감시 카메라로부터 공급되는 화상 신호에 기초하는 화상 내의 움직임이 있는 화상 영역을 검출함과 함께 이 화상 영역의 움직임을 규정 시간 추적하고, 추적한 움직임이 이동 물체의 것인지의 여부를 판단하도록 하여 이동 물체를 검출하는 이동 물체 검출 장치가 제안되어 있다(예를 들면 특허 문헌 1 및 비특허 문헌 1 참조).
또한, 이동 물체 검출 장치로서, 이 이외에도, 감시 카메라로부터 공급되는 화상 신호에 기초하는 화상의 변화를 추출하여 그 변화가 발생한 영역을 변화 영역으로서 설정하고, 설정한 변화 영역 내에 복수의 상관 연산 블록을 배치하여 상관 연산 블록마다 상관 연산을 행하고, 해당 상관 연산의 결과에 기초하여 이동 물체를 검출할 수 있도록 이루어진 것도 제안되어 있다(예를 들면 특허 문헌 2 참조).
여기서, 도 39는, 이러한 비특허 문헌 1에 있어서 개시된 종래의 이동체 검출 장치(1)의 구성을 도시하는 것이다.
이 이동 물체 검출 장치(1)에 있어서는, 감시 카메라 등으로부터 공급되는 화상 데이터(D1)를 화상 입력부(2)를 통하여 검지 블록 설정부(3)에 입력하고, 해당 화상 데이터(D1)에 기초하는 화상을 검지 블록 설정부(3)에 있어서 도 40의 (A)와 같이 복수의 검지 블록(영역)(BR1)(도 40의 (A)에 있어서 점선으로 둘러싸인 부분)으로 분할한 후에, 이들 각 검지 블록(BR1)의 화상 데이터를 검지 블록 데이터 (D2)로서 상관 연산 블록 배치부(4)에 순차적으로 송출한다.
이 경우에, 최초의 분할 방법은 고정이고, 따라서 각 검지 블록(BR1)의 초기 위치 및 크기는 항상 일정하게 된다. 단, 위치에 대해서는 후술하는 바와 같이 검지 블록(BR1)이 추적 상태로 천이된 경우에, 후단의 공간적 움직임 균일성 판정부(9)로부터 공급되는 그 검지 블록(BR1)의 움직임 벡터에 기초하는 대표 움직임 벡터의 벡터 정보(D8)에 기초하여 해당 검지 블록(BR1)이 도 40의 (B))와 같이 순차적으로 이동된다.
상관 연산 블록 배치부(4)는, 검지 블록 설정부(3)로부터 공급되는 각 검지 블록 데이터(D2)에 대하여, 각 검지 블록(BR1)을 각각 또 복수의 상관 연산 블록(BR2)으로 분할하는 처리를 행하고, 이들 각 상관 연산 블록(BR2)(도 40의 (A)에 있어서 괘선으로 둘러싸인 부분)의 화상 데이터를 상관 연산 블록 데이터(D3)로서 상관 연산 실행부(6)에 송출한다. 따라서, 전단의 검지 블록 설정부(3)에 의한 처리에 의해서 검지 블록(BR1)의 위치가 이동한 경우에는, 해당 검지 블록(BR1)에 포함되는 각 상관 연산 블록(BR2)의 위치도 그것에 맞추어 이동하게 된다.
한편, 화상 입력부(2)를 통하여 입력한 화상 데이터(D1)는, 과거 화상 축적부(5)에도 공급되어, 이 과거 화상 축적부(5)에 있어서 순차적으로 축적된다. 그리고, 이 과거 화상 축적부(5)에 축적된 화상 데이터(D1)는, 이 후 상관 연산 블록 배치부(4)로부터 상관 연산 블록 데이터(D3)가 상관 연산 실행부(6)에 공급되는 타이밍에서, 1 프레임 전의 화상의 그 상관 연산 블록(BR2)과 동일한 위치 및 동일한 크기의 화상 부분의 화상 데이터(D1)가 절취되어 지연 화상 데이터(D4)로서 상관 연산 실행부(6)에 판독된다.
상관 연산 실행부(6)는, 상관 연산 블록 배치부(4)로부터 공급되는 상관 연산 블록 데이터(D3)와, 과거 화상 축적부(5)로부터 판독된 지연 화상 데이터(D4)에 기초하여, 상관 연산 블록(BR2)마다 현재의 화상과 과거의 화상의 상관 연산을 행하고, 해당 연산 결과에 기초하여 각 상관 연산 블록(BR2)의 상관값 맵을 생성한다. 그리고 상관 연산 실행부(6)는, 상관값 맵의 원점으로부터 는최소값을 부여하는 점을 향하는 벡터를 그 상관 연산 블록(BR2)의 움직임 벡터로 한다.
이 때 상관값 맵의 최소값이 명확한 마이너스의 피크를 형성하고 있는 경우에는 움직임 벡터의 신뢰도가 높고, 그렇지 않은 경우에는 신뢰도가 낮다고 판단할 수 있다. 그래서 상관 연산 실행부(6)는, 움직임 벡터의 크기가 「0」이 아니고, 또한 상관값 맵의 최소값이 명확한 마이너스의 피크를 형성하고 있는 경우에는 그 상관 연산 블록(BR2)에 「움직임이 있다」고 판정하고, 그렇지 않은 경우에는 「움직임이 없다」고 판정하여, 판정 결과를 상관 연산 결과 정보(D5)로서 초기 검지부(7)에 송출한다.
초기 검지부(7)는, 공급되는 상관 연산 결과 정보(D5)에 기초하여, 검지 블록(BR1)마다 「움직임이 있다」고 판정된 상관 연산 블록(BR2)의 수를 카운트하고, 그 수가 규정 개수 이상 있었을 때에는 그 검지 블록(BR1)에 대하여 「움직임이 있다」고 판정하고, 판정 결과를 초기 검지 판정 정보(D6)로서 공간적 움직임 벡터 통합부(8)에 송출한다. 또한, 「움직임이 있다」고 판정된 검지 블록(BR1)은, 이 후 추적 상태(도 40의 (B))로 천이하게 된다.
공간적 움직임 벡터 통합부(8)는, 초기 검지 판정 정보(D6)에 기초하여, 「움직임이 있다」고 판정된 각 검지 블록(BR1)에 대하여, 검지 블록(BR1) 내의 모든 상관 연산 블록(BR2)의 상관값 맵을 누적하고, 누적 결과를 공간적 움직임 벡터 통합 정보(D7)로서 공간적 움직임 균일성 판정부(9)에 송출한다.
공간적 움직임 균일성 판정부(9)는, 공급되는 공간적 움직임 벡터 통합 정보(D7)에 기초하여, 초기 검지부(7)에 의해 「움직임이 있다」고 판정된 각 검지 블록(BR1)에 대하여, 각각 누적된 상관값 맵의 원점으로부터 최소값을 부여하는 점을 향하는 벡터를 움직임 벡터(도 40의 (A)에 있어서의 화살표)로서 구하고, 또 그 움직임 벡터의 크기가 「0」이 아니고, 또한 누적된 상관값 맵의 최소값이 명확한 마이너스의 피크를 형성하고 있는 경우에는 해당 움직임 벡터를 그 검지 블록(BR1)의 대표적인 움직임 벡터(이하, 이것을 대표 움직임 벡터라고 부른다)로 한다.
그리고 공간적 움직임 균일성 판정부(9)는, 이와 같이 해서 얻어진 대표 움직임 벡터의 벡터 정보(D8)를 검지 블록 설정부(3)에 송출한다. 이 결과, 검지 블록 설정부(3)는, 이 벡터 정보(D8)에 기초하여, 초기 검지부(3)에 의해서 「움직임이 있다」고 판정된 각 검지 블록(BR1)을 추적 상태로 천이시키고, 이들 검지 블록(BR1)을, 도 40의 (B)와 같이, 벡터 정보(D8)에 기초하여 얻어지는 대표 움직임 벡터의 방향으로 그 크기만큼 순차적으로 이동시킨다. 이에 의해 「움직임이 있다」고 판정된 각 검지 블록(BR1)에 대하여 「움직임」을 검출하는 것이 가능하게 된다. 그리고 이러한 「움직임이 있는」 검지 블록의 추적 처리가 규정된 추적 기간이 경과할 때까지 반복된다.
또한, 공간적 움직임 균일성 판정부(9)는, 추적 상태에 있는 각 검지 블록(BR1)내에 있어서 각각 공간적으로 누적된 상관값 맵의 맵 정보(D9)를 시간적 움직임 벡터 통합부(10)에 송출한다.
이 때, 시간적 움직임 벡터 통합부(10)는, 공급되는 맵 정보(D9)에 기초하여, 공간적으로 누적된 각 검지 블록(BR1)에 대한 상관값 맵을 규정된 추적 기간이 종료할 때까지의 동안, 시간적으로 누적한다. 이 결과, 이러한 추적 기간이 종료했을 때에, 각 검지 블록(BR1)에 대한 공간적 및 시간적으로 누적된 상관값 맵이 생성된다. 그리고, 시간적 움직임 벡터 통합부(10)는, 이와 같이 해서 얻어진 추적 정보에 있는 각 검지 블록(BR1)에 대한 공간적 및 시간적으로 누적된 상관값 맵의 맵 정보(D10)를 시간적 움직임 균일성 판정부(11)에 송출한다.
시간적 움직임 균일성 판정부(11)는, 공급되는 맵 정보(D10)에 기초하여, 추적 기간이 종료하여 공간적 및 시간적인 누적이 완료한 상관값 맵에 기초하여, 해당 상관값 맵의 원점으로부터 최소값을 부여하는 점을 향하는 벡터를 움직임 벡터로 하고, 또 해당 움직임 벡터의 크기가 「0」이 아니고, 또한 상관값 맵의 최소값이 명확한 마이너스의 피크를 형성하고 있는 경우에 대응하는 검지 블록(BR1)에 「움직임이 있다」고 판정한다.
이것은, 상술한 바와 같이 인물이나 차량 등의 이동 물체는 짧은 시간동안 보면 일정 방향으로 움직이기 때문에, 「움직임」의 검출 대상이 이러한 이동체인 경우에는, 공간적 및 시간적으로 누적된 상관값 맵에 있어서 매회 대략 동일한 위치에 최소값의 마이너스의 피크가 발생하는 데 대하여, 자연계에 존재하는 나무들 이나 파도 등의 흔들림에 대표되는 배경 변동은 진동적으로 움직이기 때문에, 「움직임」의 검출 대상이 이러한 나무들이나 파동 등인 경우에는, 공간적으로 누적된 상관값 맵에 있어서 매회 서로 다른 위치에 최소값의 마이너스의 피크가 발생하기 때문이다.
이와 같이 해서 이 이동 물체 검출 장치(1)에 있어서는, 입력한 화상 데이터(D1)에 기초하는 화상 내의 움직임이 있는 물체의 해당 「움직임 」에 기초하여, 인물이나 차량 등의 이동 물체를 정밀도 좋게 검출할 수 있도록 이루어져 있다.
그런데, 이러한 이동 물체 검출 장치(1)에 의하면, 1개의 검지 블록(BR1) 내에 복수의 이동 물체나 배경 변동이 존재하고, 각각의 움직이는 방향이 서로 다른 경우에는 서로 움직임 벡터를 상쇄시키게 되어, 이동 물체의 검출에 실패한다는 문제가 있다.
따라서, 이러한 문제를 해결하기 위해 제안된 것이 특허 문헌 2에 있어서 개시된 이동 물체 검출 방법이다. 실제상, 도 39와의 대응 부분에 동일 부호를 붙여서 나타내는 도 41은, 이러한 이동 물체 검출 방법을 적용한 특허 문헌 2에 개시된 종래의 이동 물체 검출 장치(20)를 나타내는 것이고, 검지 블록 설정부(3)(도 39) 및 초기 검지부(7)(도 39) 대신에 화상 변화 추출부(21)가 설치되는 점을 제외하고 도 39에 대하여 상술한 이동 물체 검출 장치(1)와 거의 마찬가지로 구성된다.
이 경우, 화상 변화 추출부(21)에 있어서는, 도 42에 도시하는 바와 같이 화상 입력부(2)로부터 공급되는 화상 데이터(D1)에 기초하는 화상으로부터 배경 화상을 제거하는 배경 차분부(30)와, 배경 화상을 갱신하는 배경 갱신부(31)와, 배경 차분부(30)에 의해서 배경 화상이 제거된 화상에 변화 영역을 설정하는 변화 영역 추출부(32)로 구성된다.
그리고 배경 차분부(30)는, 화상 데이터(D1)에 기초하는 화상과, 배경 갱신부(31)로부터 공급되는 해당 배경 갱신부(31)에 유지되어 있는 배경 화상 데이터(D20)에 기초하는 화상과의 차분을 구하고, 화상 데이터(D1)에 기초하는 화상으로부터 배경 화상 데이터에 기초하는 화상을 제외하고, 변화가 확인되는 부분을 추출한 추출 화상 데이터(D21)를 배경 갱신부(31) 및 변화 영역 추출부(32)에 송출한다.
배경 갱신부(31)는, 예를 들면 화상 데이터(D1)에 기초하는 소정 수의 화상의 평균 화상을 구한다. 그리고, 이와 같이 요청된 평균 화상에 있어서는, 움직임이 있는 부분의 윤곽 등이 어긋나 중첩되어, 해당 부분의 외관이 불명료하게 된다. 이렇게 하여 배경 갱신부(31)는, 이와 같이 해서 얻어진 평균 화상 중으로부터 외관이 불명료한 물체를 제거한 것을, 적절하게 갱신하면서 배경 화상 데이터(D21)로서 유지한다.
변화 영역 추출부(32)는, 배경 차분부(30)에 의해서 배경 화상이 제거된 화상 내의 변화가 있는 부분에 대하여 도 43의 (A)와 같이 변화 영역(도 43의 (A))에 있어서 점선으로 둘러싸인 부분)(AR)을 설정하고, 그 결과를 변화 영역 설정 정보(D11)로서 상관 연산 블록 배치부(22)에 송출한다.
상관 연산 블록 배치부(22)는, 화상 변화 추출부(21)로부터 공급되는 각 변화 영역(AR)에 대하여, 각 변화 영역(AR)을 각각 복수의 상관 연산 블록(BR2)(도 43의 (A))으로 분할하는 처리를 행하고, 이들 각 상관 연산 블록(BR2)의 화상 데이터를 상관 연산 블록 데이터(D12)로서 상관 연산 실행부(23)에 송출한다. 따라서, 전단의 화상 변화 추출부(21)에 의한 처리에 의해서 변화 영역(AR)의 위치가 이동한 경우에는, 해당 변화 영역(AR) 내에 설정되는 각 상관 연산 블록(BR2)의 위치도 그것에 맞추어 이동하게 된다.
상관 연산 실행부(23)는, 상관 연산 블록 배치부(22)로부터 공급되는 상관 연산 블록 데이터(D12)와, 과거 화상 축적부(5)로부터 판독한 지연 화상 데이터(D4)에 기초하여, 상관 연산 블록(BR2)마다 현재의 화상과 과거의 화상의 상관 연산을 행하고, 해당 연산 결과에 기초하여 각 상관 연산 블록(BR2)의 상관값 맵을 생성한다. 그리고 상관 연산 실행부(23)는, 상관값 맵의 원점으로부터 최소값을 부여하는 점을 향하는 벡터를 그 상관 연산 블록(BR2)의 움직임 벡터로 한다.
또한 상관 연산 실행부(23)는, 각 상관 연산 블록(BR2)에 대하여, 움직임 벡터의 크기가 「0」이 아니고, 또한 상관값 맵의 최소값이 명확한 마이너스의 피크를 형성하고 있는 경우에는 그 상관 연산 블록(BR2)에 「움직임이 있다」고 판정하고, 그렇지 않은 경우에는 「움직임이 없다」고 판정하여, 판정 결과를 상관 연산 결과 정보(D13)로서 공간적 움직임 벡터 통합부(24)에 송출한다.
공간적 움직임 벡터 통합부(24)는, 상관 연산 결과 정보(D13)에 기초하여, 각 변화 영역(AR)에 대하여, 해당 변화 영역(AR) 내의 모든 상관 연산 블록(BR2)의 상관값 맵을 누적하고, 누적 결과를 공간적 움직임 벡터 통합 정보(D14)로서 공간적 움직임 균일성 판정부(25)에 송출한다.
공간적 움직임 균일성 판정부(25)는, 공급되는 공간적 움직임 벡터 통합 정보(D14)에 기초하여, 각 변화 영역(AR)에 대하여, 각각 누적된 상관값 맵의 원점으로부터 최소값을 부여하는 점을 향하는 벡터를 움직임 벡터(도 43의 (A)에 있어서의 화살표)로서 구하고, 또 그 움직임 벡터의 크기가 「0」이 아니고, 또한 누적된 상관값 맵의 최소값이 명확한 마이너스의 피크를 형성하고 있는 경우에는 해당 움직임 벡터를 그 변화 영역(AR)의 대표적인 움직임 벡터(이하, 이것을 대표 움직임 벡터라고 부른다)로 한다.
그리고 공간적 움직임 균일성 판정부(25)는, 이와 같이 해서 얻어진 대표 움직임 벡터의 벡터 정보(D15)를 상관 연산 블록 배치부(22)에 송출한다. 이 결과, 상관 연산 블록 배치부(22)는, 이 벡터 정보(D15)에 기초하여, 각 변화 영역(AR)을 추적 상태로 천이시키고, 해당 이동 영역(AR)에 대한 상관 연산 블록 데이터를 상관 연산 실행부(23)에 송출하게 된다. 이에 의해 각 변화 영역(AR)에 대하여 「움직임」을 검출하는 것이 가능하게 된다. 그리고, 이러한 추적 처리가 규정된 추적 기간이 경과할 때까지 반복된다.
또한, 공간적 움직임 균일성 판정부(25)는, 추적 상태에 있는 각 변화 영역(AR)내에 있어서 각각 공간적으로 누적된 상관값 맵의 맵 정보(D9)를 시간적 움직임 벡터 통합부(10)에 송출한다.
이 결과, 이 후 상술한 이동 물체 검출 장치(1)의 경우와 마찬가지로 하여, 시간적 움직임 벡터 통합부(10)에 있어서, 이동 물체인 변화 영역(AR)에 대한 상관값 맵을 규정된 추적 시간분만큼 공간적 및 시간적으로 누적시킨 상관값 맵이 생성 되고, 또 시간적 움직임 균일성 판정부(11)에 있어서, 「움직임이 있는」 변화 영역(AR)이 검출된다.
이와 같이 해서 이 이동 물체 검출 장치(20)에 있어서는, 입력한 화상 데이터(D1)에 기초하는 화상 내의 움직임이 있는 물체의 해당 「움직임」에 기초하여, 인물이나 차량 등의 이동 물체를 정밀도 좋게 검출할 수 있도록 이루어져 있다.
그런데, 상술한 바와 같이 종래의 이동 물체 검출 장치(1, 20)는, 모두 처음에 움직임을 검출하는 대상으로 되는 영역을 규정하고, 그 영역을 일정 시간추적하면서 「움직임」의 공간적 및 시간적인 균일성을 평가함으로써 이동 물체인지의 여부의 판정을 행하도록 이루어져 있다.
그러나, 이러한 방법에 의하면, 항상 이동 물체만을 포함하는 영역 설정이 가능하다고는 할 수 없는 문제가 있다.
예를 들면, 이동 물체 검출 장치(1)의 경우, 도 44에 도시하는 바와 같이, 도로 옆에 세워진 광고 선전용의 깃발과 같은 움직임이 있는 배경(BG)의 앞을 인물(HU)가 통과할 때에, 동일한 검지 블록(BR1) 내에 인물(HU)에 있어서의 움직임 벡터와 배경(BG)의 배경 변동에 있어서의 움직임 벡터의 양쪽이 포함되게 된다. 그리고 이 경우, 인물(HU)의 움직임과 배경 변동은 상관이 없기 때문에, 상관값 맵을 검지 블록(BR1) 내에서 공간적으로 통합해도, 명확한 피크가 나타나지 않아, 그 검지 블록(BR1)에 「움직임이 있다」고는 판정되지 않는다. 또한 「움직임이 있다」고 판정된 경우에도, 인물(HU)의 움직임이 대표 움직임 벡터에 정확하게 반영되지 않아, 그 인물(HU)의 추적이나 검출이 실패하는 경우가 있다.
한편, 이동 물체 검출 장치(20)의 경우에는, 미리 배경 차분에 의해서 변화 영역(AR)(도 43)을 설정하기 때문에, 이동하는 인물(HU)과 움직임이 있는 배경(BG)이 근접해서 존재하는 경우에도 인물(HU)만을 정확하게 검출하는 것이 가능하지만, 도 45에 도시하는 바와 같이 화면 상에서 움직임이 있는 배경(BG)과 인물(HU)이 중첩되는 경우에는, 역시 1개의 변화 영역(AR) 내에 인물(HU)에 있어서의 움직임 벡터와 배경(BG)의 배경 변동에 있어서의 움직임 벡터의 양쪽이 포함되어 버리게 된다. 그리고 이러한 조건 하에서는, 이동 물체 검출 장치(1)의 경우와 마찬가지로, 인물(HU)의 추적 및 검출에 실패하는 경우가 있다.
또한, 이동 물체 검출 장치(20)의 경우에는, 배경 차분의 검출 감도를 낮게 설정함으로써, 배경(BG)의 배경 변동을 변화 영역(AR)으로서 검출할 수 없도록 하는 것이 가능하지만, 이러한 설정 하에서는, 인물(HU)의 움직임과 배경 변동의 휘도 레벨이 가까운 레벨인 경우에는, 인물(HU)의 움직임이 변화 영역(AR)으로서 검출되지 않게 되기 때문에, 배경 차분의 검출 감도를 조정하였다고 해도, 이동 물체 검출 장치(1)의 경우와 마찬가지로, 인물(HU)의 추적 및 검출에 실패하는 경우가 있다.
또한, 이들 이동 물체 검출 장치(1, 20)가 적용되는 영상 감시 시스템의 경우, 감시 카메라가 충분한 조명이 얻어지지 않는 환경에 설치되는 경우도 많다. 그리고, 이러한 환경 하에서는 감시 카메라로부터 입력되는 화상 신호에 기초하는 화상의 SN비가 나빠서, 피사체의 콘트라스트에 대하여 랜덤 노이즈가 무시할 수 없 는 크기로 된다. 이 경우에 있어서, 랜덤 노이즈는 화면 전체에 발생하여, 시간과 함께 변동하기 때문에, 상술한 배경 변동 및 이동 물체가 중첩되는 경우와 마찬가지의 문제가 발생하게 된다.
한편, 종래 제안되어 있는 이동 물체 검출 장치(1, 20)는, 모두 처음에 설정한 영역(검지 블록(BR1) 또는 변화 영역(AR))을 추적에 수반하여 이동시키는 것에 기인하여, 해당 영역이 이동한 후의 부분에 상관 연산 블록(BR2)이 배치되지 않아, 그 영역에 새롭게 나타난 이동 물체를 검출할 수 없다고 하는 문제가 있다.
즉, 이동 물체 검출 장치(1)에서는, 도 46에 도시하는 바와 같이, 화면 내에 나타난 첫 번째의 인물(HU1)을 검지 블록(BR1)을 이동시키면서 추적하고 있는 기간 내에(도 46의 (A)), 해당 첫 번째의 인물(HU1)을 뒤따르도록 하여 두 번째의 인물(HU2)이 화면 내에 나타난 경우, 첫 번째의 인물(HU1)을 추적하고 있는 검지 블록(BR1)이 최초로 있었던 장소에는 이미 상관 연산 블록이 배치되어 있지 않기 때문에, 두 번째의 인물(HU2)을 검출할 수 없다(도 46의 (B)).
또한, 이동 물체 검출 장치(20)에서는, 예를 들면 도 47에 도시하는 바와 같이, 첫 번째의 인물(HU1)이 화면 내에 나타나 변화 영역(AR)이 설정되고, 상관 연산 블록(BR2)을 이동시키면서 첫 번째의 인물(HU1)을 추적하고 있는 기간에(도 47의 (A)), 해당 첫 번째의 인물(HU1)을 뒤따르도록 하여 두 번째의 인물(HU2)이 화면 내에 나타나고, 그 후 이들 첫 번째 및 두 번째의 쌍방의 인물(HU1, HU2)을 포함하도록 변화 영역(AR')이 설정된 경우(도 47의 (B)), 두 번째의 인물(HU2) 상에는 상관 연산 블록(BR2)이 배치되지 않아, 그 움직임이 검출되지 않는다. 이것은, 이동 물체 검출 장치(20)에서는, 추적 기간 중에 변화 영역(AR)의 형상이 변화해도 상관 연산 블록(BR2)의 변화 영역(AR) 내에서의 상대적인 배치를 변경할 수 없는 것에 의한다.
또, 추적에 수반하여 상관 연산 블록(BR2)의 위치를 이동시키는 것은, 상관 연산 블록(BR2)의 위치를 시간적으로, 게다가 영역마다 독립해서 변화시킨다고 하는 것을 의미하고, 이것은 화상 처리의 처리 내용 및 장치 구성을 번잡화시키는 문제가 있다.
이와 같이, 상술한 이동 물체 검출 장치(1, 20)의 어떠한 경우에도, 「움직임」의 균일성을 평가하기 전에 처음에 움직임을 검출하는 대상으로 되는 영역(검지 블록(BR1) 또는 변화 영역(AR))을 설정하는 것이나 상관 연산 블록(BR2)을 이동시키는 것에 기인하여, 정밀도 좋게 이동 물체의 추적 및 검출을 행할 수 없는 등의 여러 가지의 문제가 있었다.
본 발명은 이상의 점을 고려하여 이루어진 것으로, 이동 물체를 정밀도 좋게 검출할 수 있는 이동 물체 검출 장치 및 방법과 프로그램을 제안하려고 하는 것이다.
이러한 과제를 해결하기 위해 본 발명에서는, 입력 화상으로부터 움직임 벡터를 산출하는 움직임 벡터 산출 수단과, 과거의 움직임 벡터를 축적하는 과거 벡터 축적 수단과, 현재의 움직임 벡터를 포함하는 움직임 벡터군으로부터 현재의 순간적인 난잡도를 산출하고, 과거 벡터 축적 수단으로부터 판독한 과거의 움직임 벡터를 포함하는 움직임 벡터군에 기초하여 과거의 정상적인 난잡도를 산출하고, 현재의 순간적인 난잡도와 과거의 정상적인 난잡도에 기초하여, 현재의 정상적인 난잡도를 산출하는 난잡도 산출 수단과, 각 움직임 벡터에 대하여, 순간적인 난잡도가 제1 임계값 이상이고, 정상적인 난잡도가 제2 임계값 이상일 때, 움직임 벡터를 제거하는 난잡 벡터 제거 수단과, 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수를, 각각 직전의 제거되지 않은 움직임 벡터의 위치와 대응하여 축적하는 적산값 축적 수단과, 적산값 축적 수단에 축적된 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수를 판독하는 적산값 판독 수단, 적산값 축적 수단에 축적된 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수와 현재의 제거되지 않은 움직임 벡터의 크기 및 위치를 이용하여 갱신하도록 하여, 새로운 움직임 벡터의 적산값 및 적산 횟수를 각각 산출하는 적산값 갱신 수단과, 움직임 벡터마다의 적산값의 크기가 제3 임계값 이상이고, 적산값 갱신 수단에 의해 산출된 움직임 벡터마다의 적산 횟수가 제4 임계값 이상인 경우에, 각 움직임 벡터에 대하여, 해당 움직임 벡터가 이동 물체의 것인 것으로 판정하는 이동 물체 검출 수단을 포함한다.
따라서, 이동 물체에 기인하는 움직임 벡터를 제거하지 않고, 배경 변동에 기인하는 움직임 벡터를 제거하도록 하고 있기 때문에, 이동 물체에 기인하는 움직임 벡터와 배경 변동에 기인하는 움직임 벡터와의 양쪽이 포함되는 경우에도, 배경 변동에 기인하는 움직임 벡터를 이동 물체에 기인하는 움직임 벡터로서 오인식하는 것을 미연에 또한 유효하게 방지할 수 있다.
삭제
삭제
또한, 이동 물체 검출 장치에 대하여, 프로그램에 의해서, 입력 화상으로부터 움직임 벡터를 산출하는 움직임 벡터 산출 스텝과, 과거 벡터 축적 수단에 대하여, 과거의 움직임 벡터를 축적하는 과거 벡터 축적 스텝과, 현재의 움직임 벡터를 포함하는 움직임 벡터군으로부터 현재의 순간적인 난잡도를 산출하고, 과거 벡터 축적 수단으로부터 판독한 과거의 움직임 벡터를 포함하는 움직임 벡터군에 기초하여 과거의 정상적인 난잡도를 산출하고, 현재의 순간적인 난잡도와 과거의 정상적인 난잡도에 기초하여, 현재의 정상적인 난잡도를 산출하는 난잡도 산출 스텝과, 각 움직임 벡터에 대하여, 순간적인 난잡도가 제1 임계값 이상이고, 정상적인 난잡도가 제2 임계값 이상일 때, 움직임 벡터를 제거하는 난잡 벡터 제거 스텝과, 적산값 축적 수단에 대하여, 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수를, 각각 직전의 제거되지 않은 움직임 벡터의 위치와 대응하여 축적하는 적산값 축적 스텝과, 적산값 축적 수단에 축적된 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수를 판독하는 적산값 판독 스텝과, 적산값 축적 수단에 축적된 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수와 현재의 제거되지 않은 움직임 벡터의 크기 및 위치를 이용하여 갱신하도록 하여, 새로운 움직임 벡터의 적산값 및 적산 횟수를 각각 산출하는 적산값 갱신 스텝과, 움직임 벡터마다의 적산값의 크기가 제3 임계값 이상이고, 적산값 갱신 스텝에서 산출된 움직임 벡터마다의 적산 횟수가 제4 임계값 이상인 경우에, 각 움직임 벡터에 대하여, 해당 움직임 벡터가 이동 물체의 것인 것으로 판정하는 이동 물체 검출 스텝을 실행시키도록 하였다.
따라서, 이동 물체에 기인하는 움직임 벡터를 제거하지 않고, 배경 변동에 기인하는 움직임 벡터를 제거하도록 하고 있기 때문에, 이동 물체에 기인하는 움직임 벡터와 배경 변동에 기인하는 움직임 벡터의 양쪽이 포함되는 경우에도, 배경 변동에 기인하는 움직임 벡터를 이동 물체에 기인하는 움직임 벡터로서 오인식하는 것을 미연에 또한 유효하게 방지할 수 있다.
<실시예>
이하 도면에 대하여, 본 발명의 일 실시예를 상세하게 설명한다.
(1) 제1 실시예
(1-1) 제1 실시예에 따른 이동 물체 검출 장치의 구성
도 1에 있어서, 40은 전체로서 영상 감시 시스템 등의 감시 시스템에 적용되는 제1 실시예에 따른 이동 물체 검출 장치를 나타내고, 도시하지 않은 감시 카메라로부터 공급되는 화상 정보를 화상 입력부(41)를 통하여 화상 데이터(D30)로서 상관 연산 블록 배치부(42) 및 과거 화상 축적부(43)에 입력한다.
상관 연산 블록 배치부(42)는, 도 2에 도시하는 바와 같이 공급되는 화상 데이터(D30)에 기초하는 화상(PT)의 전체 영역 또는 화상(PT) 상에 있어서의 이동 물체의 검출을 의도하는 영역에 상관 연산 블록(BR10)(도 2에 있어서의 괘선으로 둘러싸인 부분)을 배치한다. 이 상관 연산 블록(BR10)의 사이즈에 대해서는, m×m 화소로 하고, 해당 상관 연산 블록(BR10)을 배치하는 배치 간격에 대해서는, 세로 방향에 T 화소, 가로 방향에 T 화소로 한다. 덧붙여서 말하면, 본 실시예에 있어서의 이동 물체 검출 장치(40)에 있어서는, m과 T가 동일한 길이로 선정되어 있기 때문에, 도 2와 같이 상관 연산 블록(BR10)이 간극없이 배치되어 있다.
그리고 상관 연산 블록 배치부(42)는, 이들 상관 연산 블록(BR10)의 데이터를 상관 연산 블록 데이터(D31)로서 순차적으로 상관 연산 실행부(44)에 송출한다. 이 경우에, 상관 연산 블록 배치부(42)는, 배치되는 개개의 상관 연산 블록(BR10)의 위치, 크기 및 배치 간격을 프레임마다 변화시키지 않고, 항상 화상(PT) 내의 일정한 위치에 일정한 크기로 배치한다.
과거 화상 축적부(43)는, 예를 들면 프레임 메모리로 구성되고, 화상 입력부(41)로부터 공급되는 화상 데이터(D30)를 축적한다. 그리고, 이 과거 화상 축적부 (43)에 축적된 화상 데이터(D30)는, 이 후 상관 연산 블록 배치부(42)로부터 상관 연산 블록 데이터(D31)가 상관 연산 실행부(44)에 공급되는 것과 동일한 타이밍에서, 1 프레임 전의 화상의 그 상관 연산 블록(BR10)과 동일한 위치 및 동일한 크기의 화상 부분의 화상 데이터(D30)가 절취되어 지연 화상 데이터(D32)로서 상관 연산 실행부(44)에 판독된다.
상관 연산 실행부(44)는, 상관 연산 블록 배치부(42)로부터 공급되는 상관 연산 블록 데이터(D31)와, 과거 화상 축적부(43)로부터 판독한 지연 화상 데이터(D32)에 기초하여 상관 연산 처리를 실행함으로써, 상관 연산 블록(BR10)마다 움직임 벡터를 산출한다.
이 상관 연산 처리는, 도 3에 도시하는 바와 같이, 그 때 대상으로 하고 있는 프레임 n 내의 상관 연산을 행하려고 하고 있는 국소 화상인 상관 연산 블록(BR10)(이하, 이것을 참조 블록(BR11)이라고 부른다)의 화상 부분과, 이것보다도 1 프레임 전의 프레임 n-1에 있어서의 참조 블록(BR11)과 동일한 크기의 상관 연산 블록(이하, 이것을 후보 블록(BR12)이라고 부른다)의 화상 부분 사이의 상관 연산을, 후보 블록(BR12)의 위치를 변경하면서 반복하는 것으로서, 상관이 최대로 되는 후보 블록(BR12)의 위치로부터, 양 프레임 화상 사이에서의 물체의 움직임 벡터를 구할 수 있다.
이 경우의 상관 연산은, 다음 수학식
Figure 112006018086698-pat00001
에 의해 주어진다. 이 수학식 1에 있어서, In은 프레임 n의 화상, In-1은 프레임 n-1의 화상이고, 상관 연산 블록(BR10)의 사이즈를 m×m 화소, 움직임 벡터의 탐색 범위 SAR(도 3)를 수평 방향 및 수직 방향 모두 -p+p 화소로 하고 있다.
이 식에 기초하는 상관 연산의 결과, 도 4에 도시하는 바와 같은 이차원의 상관맵 D(h, v)가 얻어진다. 또한, 본 실시예에 있어서는, 프레임 n에 참조 블록(BR11), 1개 전의 프레임 n-1에 후보 블록(BR12)을 설정하고 있기 때문에, D(h, v)가 최소로 되는 위치(h, v)에 대하여, 움직임 벡터 Vn은, 다음 수학식
Figure 112006018086698-pat00002
로 된다. 그리고 상관 연산 실행부(44)는, 이와 같이 해서 산출한 프레임 n의 각 상관 연산 블록(BR10)의 움직임 벡터 Vn을 움직임 벡터 정보(D33)로서 움직임 벡터 제거부(45)에 송출한다.
이 때, 상관 연산 실행부(44)에서는, 각 상관 연산 블록(BR10) 내의 화상의 콘트라스트가 현저하게 낮은 경우에는, 신뢰성이 있는 움직임 벡터 Vn을 산출할 수 없기 때문에, 해당 상관 연산 블록(BR10)에 있어서의 움직임 벡터 Vn을 제로 벡터로 치환하는, 즉, 다음 수학식
Figure 112006018086698-pat00003
로 한다.
움직임 벡터 제거부(45)는, 도 5에 도시하는 바와 같이, 개개의 상관 연산 블록(BR10)에 대하여, 움직임 벡터 정보(D33)에 기초하여 얻어지는 과거의 움직임 벡터를 과거 벡터 정보(D40)로서 축적하는 과거 벡터 축적부(50)와, 개개의 상관 연산 블록(BR10)마다, 움직임 벡터의 공간적 및 시간적인 난잡도를 산출하는 난잡도 산출부(51)와, 난잡도가 소정의 임계값보다 큰 경우에, 해당 움직임 벡터를 제거하는 난잡 벡터 제거부(52)로 구성되어 있다.
이 경우, 난잡도 산출부(51)는, 도 6에 도시하는 바와 같이, 과거 벡터 축적부(50)로부터 판독한 과거 벡터 정보(D40)에 있어서의 과거의 움직임 벡터와, 상관 연산 실행부(44)로부터 공급되는 움직임 벡터 정보(D33)에 기초하는 현재의 움직임 벡터에 기초하여, 개개의 상관 연산 블록(BR10)마다, 움직임 벡터의 난잡도를 산출한다.
즉 난잡도 산출부(51)는, 상관 연산 실행부(44)로부터 1개의 상관 연산 블록(BR10)분의 데이터가 공급되고, 이것과 동기하여 과거 벡터 축적부(50)로부터 1개의 상관 연산 블록(BR10)분의 데이터를 판독할 때마다, 도 6에 도시하는 난잡도 산 출 처리 수순 RT1을 스텝 SP0에 있어서 개시하고, 계속되는 스텝 SP1에 있어서, 난잡도를 산출하는 대상으로 되는 움직임 벡터에 대하여, 해당 움직임 벡터 Vn(X, Y)와 시간적 및 공간적으로 인접하는 움직임 벡터로 이루어지는 움직임 벡터군 Wn(X, Y)을, 다음 수학식
Figure 112006018086698-pat00004
과 같이 생성한다. 이 수학식 4에 있어서,(X, Y)는 움직임 벡터의 위치, n은 프레임, T는 상관 연산 블록(BR10)의 배치 간격으로서 나타낸다.
계속해서 난잡도 산출부(51)는, 스텝 SP2로 진행하여, 움직임 벡터 Vn(X, Y)에 대한 공간적인 난잡도를 나타내는 순간적인 난잡도 En(X, Y)를, 다음 수학식
Figure 112006018086698-pat00005
과 같이 산출한다. 여기서, Ln(X, Y)은, 움직임 벡터군 Wn(X, Y)에 포함되는 각각의 움직임 벡터의 크기의 절대값을 나타내는 노옴을 평균한 값이고, Sn(X, Y)는, 움직임 벡터군 Wn(X, Y)에 포함되는 각각의 움직임 벡터에 있어서의 X 성분, Y 성분 각각의 평균 편차를 가산한 값이다. 단, Ln(X, Y)은 소정의 상수보다도 큰 값으로 한다.
계속해서 난잡도 산출부(51)는, 스텝 SP3으로 진행하여, 움직임 벡터 Vn(X, Y)에 대한 정상적인 난잡도 E'n(X, Y)을, 다음 수학식
Figure 112006018086698-pat00006
와 같이 산출한다. 단, a는 0.001~0.01 정도로 선정되어 있다. 이와 같이 난잡도 산출부(51)에서는, 과거의 프레임 n-1에 있어서의 정상적인 난잡도 E'n -1(X, Y)과 현재의 프레임 n에 있어서의 순간적인 난잡도 En(X, Y)를 가중(weighting) 가산함으로써, 정상적인 난잡도 E'n(X, Y)를 산출한다. 계속해서 난잡도 산출부(51)는, 이 후 스텝 SP4로 진행하여, 이 난잡도 산출 처리 수순 RT1을 종료한다.
그리고 난잡도 산출 수단(51)은, 이와 같이 해서 산출한 각 상관 연산 블록(BR10)의 움직임 벡터 Vn(X, Y)에 있어서의 순간적인 난잡도 En(X, Y) 및 정상적인 난잡도 E'n(X, Y)를 난잡도 정보(D41)로서 난잡 벡터 제거부(52)에 송출한다.
난잡 벡터 제거부(52)는, 난잡도 산출 수단(51)으로부터 공급되는 난잡도 정보(D41)에 있어서의 움직임 벡터 Vn(X, Y)의 순간적인 난잡도 En(X, Y)와 정상적인 난잡도 E'n(X, Y)에 기초하여, 개개의 상관 연산 블록(BR10)마다, 움직임 벡터를 제거할지의 여부를 판정한다.
즉 난잡 벡터 제거부(52)는, 상관 연산 실행부(44) 및 난잡도 산출부(51)로부터 동기하여 1개의 상관 연산 블록(BR10)분의 데이터가 공급될 때마다, 도 7에 도시하는 제1 움직임 벡터 제거 판정 처리 수순 RT2를 스텝 SP10에 있어서 개시하고, 계속되는 스텝 SP11에 있어서, 움직임 벡터 Vn(X, Y)에 대하여, 순간적인 난잡도 En(X, Y)가 해당 순간적인 난잡도에 대하여 미리 설정된 임계값이 제1 임계값 TH_E1이라고 하면, 다음 수학식
Figure 112006018086698-pat00007
를 충족시키는지의 여부를 판단한다. 그리고 난잡 벡터 제거부(52)는, 이 스텝 SP11에 있어서 긍정 결과를 얻으면, 이것은 순간적인 난잡도 En(X, Y)가 제1 임계값 TH_E1 이하인 것을 나타내고 있고, 이 후 스텝 SP13으로 진행하여, 움직임 벡터 Vn(X, Y)와 공간적으로 인접하는 모든 움직임 벡터를 제거하지 않는다고 판정하고, 이 후 스텝 SP15로 진행하여 이 움직임 벡터 제거 판정 처리 수순 RT2를 종료한다.
이에 대하여, 난잡 벡터 제거부(52)는, 스텝 SP11에 있어서 긍정 결과를 얻으면, 이것은 순간적인 난잡도 En(X, Y)가 제1 임계값 TH_E1보다도 큰 것을 나타내고 있고, 이 후 스텝 SP12로 진행하여, 움직임 벡터 Vn(X, Y)에 대하여, 정상적인 난잡도 E'n(X, Y)가 해당 정상적인 난잡도에 대하여 미리 설정된 임계값이 제2 임계값 TH_E2라고 하면, 다음 수학식
Figure 112006018086698-pat00008
를 충족시키는지의 여부를 판단한다. 그리고 난잡 벡터 제거부(52)는, 이 스텝 SP12에 있어서 부정 결과를 얻으면, 이것은 정상적인 난잡도 E'n(X, Y)가 제2 임계값 TH_E2보다 작은 것을 나타내고 있고, 이 후 스텝 SP13으로 진행하여, 움직임 벡터 Vn(X, Y)를 제거하지 않는다고 판정하고, 이 후 스텝 SP15로 진행하여 이 움직임 벡터 제거 판정 처리 수순 RT2를 종료한다.
이에 대하여 난잡 벡터 제거부(52)는, 스텝 SP12에 있어서 부정 결과를 얻으면, 이것은 정상적인 난잡도 E'n(X, Y)가 제2 임계값 TH_E2 이상인 것을 나타내고 있고, 이 후 스텝 SP14로 진행하여, 움직임 벡터 Vn(X, Y)를 제거한다고 판정한다. 이 때 난잡 벡터 제거부(52)는, 제거 대상의 움직임 벡터 Vn(X, Y)를 상술한 수학식 3을 이용하여 제로 벡터로 치환하고, 이 후 스텝 SP15로 진행하여 이 제1 움직임 벡터 제거 판정 처리 수순 RT2를 종료한다.
실제상, 도 8은, 프레임 n에 있어서의 움직임 벡터 Vn(X, Y)와 시간적 및 공간적으로 인접하는 움직임 벡터로 이루어지는 벡터군 Wn(X, Y)(도 8의 해칭(hatching) 부분)를 도시하고 있다.
이 때, 도 9에 도시하는 바와 같이, 움직임 벡터 Vn(X, Y)가 인물이나 차량 등의 이동 물체에 기인하는 움직임 벡터인 경우에는, 공간적 및 시간적으로 인접하는 움직임 벡터군 Wn(X, Y)에 있어서의 각각의 움직임 벡터의 방향이 거의 동일한 방향을 향하고 있다. 이것은, 해당 움직임 벡터군 Wn(X, Y)의 균일성이 높은 것을 나타내고 있고, 이러한 움직임 벡터군 Wn(X, Y)에 대해서는, 도 10의 (A)에 도시하는 바와 같이 순간적인 난잡도 En(X, Y)가 작아진다.
그리고, 도 10의 (A)에 있어서의 둥근 점선으로 둘러싸인 부분에 도시하는 바와 같이, 어떠한 원인으로 순간적인 난잡도 En(X, Y)가 커졌다고 해도, 그 상태가 화면 상의 동일한 위치에서 긴 시간 계속되는 일은 없고, 도 10의 (B)에 있어서의 대응하는 둥근 점선으로 둘러싸인 부분에 도시하는 바와 같이, 정상적인 난잡도 E'n(X, Y)가 커지는 일은 없다. 즉, 이동 물체에 기인하는 움직임 벡터인 경우에는, 순간적인 난잡도 En(X, Y)가 제1 임계값 TH_E1보다 커졌다고 해도, 정상적인 난잡도 E'n(X, Y)가 커지는 일은 없다.
따라서, 난잡 벡터 제거부(52)에서는, 이러한 이동 물체에 기인하는 움직임 벡터를 제거하지 않고, 프레임 n의 각 상관 연산 블록(BR10)의 움직임 벡터 Vn(X,Y)를 비 제거 벡터 정보(D34)로서 움직임 벡터 적산부(46)에 송출한다.
한편, 도 11에 도시하는 바와 같이, 움직임 벡터 Vn(X, Y)가 수면 상의 파도에 의한 광의 난반사, 강풍으로 심하게 가로 길게 뻗치는 깃발 등의 배경 변동에 기인하는 움직임 벡터인 경우에는, 공간적 및 시간적으로 인접하는 움직임 벡터군 Wn(X, Y)에 있어서의 각각의 움직임 벡터의 방향이 다른 방향을 향하고 있다. 이것은, 해당 움직임 벡터군 Wn(X, Y)의 균일성이 낮은 것을 나타내고 있고, 이러한 움직임 벡터군 Wn(X, Y)에 대해서는, 도 12의 (A)에 도시하는 바와 같이 순간적인 난잡도 En(X, Y)가 커진다.
그리고, 배경 변동에 기인하는 움직임 벡터인 경우에는, 움직임 벡터 Vn(X, Y)가 어느 정도의 기간 거의 공간적으로 동일한 위치에 계속해서 발생하기 때문에, 도 12의 (B)에 도시하는 바와 같이 정상적인 난잡도 E'n(X, Y)에 대해서도 커진다. 즉, 배경 변동에 기인하는 움직임 벡터인 경우에는, 순간적인 난잡도 En(X, Y)가 커지고, 또한 정상적인 난잡도 E'n(X, Y)가 커진다.
따라서, 난잡 벡터 제거부(52)는, 이러한 배경 변동에 기인하는 움직임 벡터를 제거하고, 움직임 벡터 적산부(46)에 송출하지 않도록 이루어져 있다.
한편, 배경 변동을 숨기도록 이동 물체가 통과하는 경우에는, 도 13의 (B)에 도시하는 바와 같이 정상적인 난잡도 E'n(X, Y)가 커져 있지만, 도 13의 (A)에 도시하는 바와 같이 순간적인 난잡도 En(X, Y)는, 이동 물체에 기인하는 움직임 벡터에 기초하여 산출되기 때문에, 이동 물체가 배경 변동에 중첩되어 배경 변동을 숨김과 동시에 작아짐과 함께, 이동 물체가 배경 변동을 숨기고 있는 동안에는 작은 채로 로 되는 한편, 이동 물체가 통과하여 배경 변동이 나타나면 재차 커진다.
따라서, 난잡 벡터 제거부(52)는, 배경 변동을 숨기도록 이동 물체가 통과하는 경우에도, 순간적인 난잡도 En(X, Y)가 작아지기 때문에, 이러한 이동 물체에 기인하는 움직임 벡터를 제거하지 않고, 프레임 n의 각 상관 연산 블록(BR10)의 움직임 벡터 Vn(X, Y)를 비 제거 벡터 정보(D34)로서 움직임 벡터 적산부(46)에 송출한다.
이와 같이 해서 난잡 벡터 제거부(52)에 있어서는, 이동 물체에 기인하는 움직임 벡터를 제거하지 않고, 움직임 벡터군 Wn(X, Y)의 난잡도가 높은 배경 변동에 기인하는 움직임 벡터를 제거함으로써, 배경 변동에 기인하는 움직임 벡터가 이동 물체에 기인하는 움직임 벡터로서 오인식되는 것을 미연에 또한 유효하게 방지할 수 있도록 이루어져 있다.
움직임 벡터 적산부(46)는, 도 14에 도시하는 바와 같이 개개의 상관 연산 블록(BR10)마다 비 제거 벡터 정보(D34)에 기초하여 얻어지는 과거의 움직임 벡터를 비 제거 과거 벡터 정보(D50)로서 축적하는 과거 벡터 축적부(60)와, 개개의 상관 연산 블록(BR10)마다 움직임 벡터의 적산값 및 적산 횟수를 갱신할지 또는 리세트할지를 판정하는 적산 제어부(61)와, 움직임 벡터의 적산값 및 적산 횟수를 갱신하는 적산값 갱신부(62)와, 갱신된 움직임 벡터의 적산값 및 적산 횟수를 축적하는 적산값 축적부(63)와, 갱신된 움직임 벡터의 적산값 및 적산 횟수를 과거의 움직임 벡터의 적산값 및 적산 횟수를 나타내는 과거 벡터 적산 정보(D51)로서 축적하는 과거 적산값 축적부(64)와, 과거의 움직임 벡터의 적산값 및 적산 횟수를 판독하는 과거 적산값 판독부(65)로 구성되어 있다.
이 경우, 적산 제어부(61)는, 과거 벡터 축적부(60)로부터 판독한 비 제거 과거 벡터 정보(D50)에 기초하는 과거의 벡터와, 움직임 벡터 제거부(45)로부터 공급되는 비 제거 벡터 정보(D34)에 기초하여 인식되는 현재의 움직임 벡터를 이용하여 적산을 계속할지 또는 리세트할지를 제어한다.
여기서 적산 제어부(61)는, 예를 들면 어떤 상관 연산 블록(BR10)에 대하여, 규정 프레임 수(예를 들면 0.5〔s〕분의 프레임 수) 이상 연속하여 움직임 벡터가 제로인 경우에는, 그 상관 연산 블록(BR10)에 있어서 움직임이 없는 것으로 판정하고, 적산값 갱신부(62)에 대하여 움직임 벡터의 적산값 및 적산 횟수를 리세트해야 한다는 취지의 지시를 적산 제어 정보(D52)로서 부여한다.
이에 대하여 적산 제어부(61)는, 이 이외인 경우에는, 대응하는 상관 연산 블록(BR10)에 있어서 움직임이 있다고 판정하고, 적산값 갱신부(62)에 대하여 움직임 벡터의 적산값 및 적산 횟수를 갱신하는 지시를 적산 제어 정보(D52)로서 부여한다.
적산값 갱신부(62)는, 리세트 판정부(53)로부터 공급되는 적산 제어 정보(D51)에 따라서, 과거 적산값 축적부(64)로부터 과거 적산값 판독부(65)를 통하여 판독된 각 상관 연산 블록(BR10)에 대한 과거 벡터 적산 정보(D51)를 각각 갱신한다.
실제상, 적산값 갱신부(62)는, 적산 제어부(61)로부터 리세트의 지시를 나타 내는 적산 제어 정보(D52)를 받은 경우에는, 다음 수학식
Figure 112006018086698-pat00009
Figure 112006018086698-pat00010
과 같이, 과거 적산값 축적부(64)에 축적된 과거 벡터 적산 정보(D51), 즉 그 때 대상으로 하고 있는 상관 연산 블록(BR10)의 움직임 벡터의 그때까지의 적산값 및 적산 횟수를 리세트한다. 또한, 이 수학식 9 및 수학식 10에 있어서, (X, Y)는 대응하는 상관 연산 블록(BR10)의 위치 좌표, ACCn은 프레임 n에 있어서의 그 상관 연산 블록(BR10)의 움직임 벡터의 그때까지의 적산값, CNTn은 그 프레임 n까지의 움직임 벡터의 적산 횟수를 나타낸다.
이에 대하여 적산값 갱신부(62)는, 적산 제어부(61)로부터 예를 들면 갱신의 지시를 나타내는 적산 제어 정보(D52)를 받은 경우, 다음 수학식
Figure 112006018086698-pat00011
Figure 112006018086698-pat00012
과 같이 하여, 과거 적산값 축적부(64)에 축적된 과거 벡터 적산 정보(D51), 즉 그 때 대상으로 하고 있는 상관 연산 블록(BR10)에 대한 그때까지의 움직임 벡터의 적산값 및 적산 횟수를 갱신한다. 또한, 움직임 벡터 Vn은 비 제거 벡터 정보(D33)에 기초하여 얻어지는 프레임 n에 있어서의 그 상관 연산 블록(BR10)의 움직임 벡터를 나타내고, Vn(x, y)는 다음 수학식
Figure 112006018086698-pat00013
를 충족시킨다.
이와 같이 해서 적산값 갱신부(62)는, 적산 제어부(61)로부터 공급되는 적산 제어 정보(D52)에 따라서, 과거 적산값 축적부(64)로부터 과거 적산값 판독부(65)를 통하여 판독된 각 상관 연산 블록(BR10)에 대한 과거 벡터 적산 정보(D51)를 각각 갱신(리세트도 포함한다)하고, 이 결과 얻어진 갱신된 움직임 벡터의 적산값 및 적산 횟수를 갱신 벡터 적산 정보(D35)로서, 이동 물체 검출부(47) 및 적산값 축적부(63)에 송출한다.
이 때 적산값 축적부(63)는, 적산값 갱신부(62)로부터 공급되는 갱신 벡터 적산 정보(D35)를 순차적으로 축적하고, 어떤 프레임에서의 모든 상관 연산 블록(BR10)의 적산값 및 적산 횟수의 갱신이 종료했을 때에, 개개의 상관 연산 블록(BR10)마다의 갱신 벡터 적산 정보(D35)를 과거 벡터 적산 정보(D51)로서 통합하여 과거 적산값 축적부(64)에 전송한다.
과거 적산값 판독부(65)는, 과거 적산값 축적부(64)에 축적된 과거 벡터 적 산 정보(D51), 즉 그 때 대상으로 하고 있는 상관 연산 블록(BR10)에 대한 그때까지의 움직임 벡터의 적산값 ACCn -1(α, β) 및 적산 횟수 CNTn - 1(α, β)를 판독하여, 적산값 갱신부(62)에 송출한다. 또한, (α, β)는, 적산값 및 적산 횟수의 갱신원으로 되는 상관 연산 블록(BR10)의 위치이다.
이 때, 과거 적산값 판독부(65)는, 갱신하는 대상인 상관 연산 블록(BR10)에 있어서의 현재의 움직임 벡터를 상술한 수학식 13을 이용하여 산출했을 때에, 위치(X-h, Y-v) 또는 그 근방에 위치하는 복수의 상관 연산 블록(BR10) 중에서, 프레임 n-1에 있어서의 움직임 벡터가, 현재의 움직임 벡터, 즉 프레임 n에 있어서의 Vn(X, Y)와 가장 잘 일치하는 상관 연산 블록(BR10)을 갱신원의 상관 연산 블록(BR10)으로서 선택한다.
즉 과거 적산값 판독부(65)는, 이동 물체가 갑자기 방향을 변경하지 않을 것이라는 것을 전제로 하여, 이러한 상관 연산 블록(BR10)의 위치(X, Y)로부터 움직임 벡터만큼 공간적으로 떨어진 위치(X-h, Y-v)의 근방에 존재하는 복수의 상관 연산 블록(BR10)에 주목하여, 과거 벡터 축적부(60)에 축적되어 있는 이들 상관 연산 블록(BR10)의 1개 전의 프레임 n-1에 있어서의 움직임 벡터와, 위치(X, Y)의 프레임 n에 있어서의 움직임 벡터의 차분을 연산한다.
그리고 과거 적산값 판독부(65)는, 이 연산 결과에 기초하여, 차분의 노옴이 최소로 되는 상관 연산 블록(BR10)을 과거의 움직임 벡터의 적산값 및 적산 횟수를 인계할 상대로 선정하고, 선정한 상관 연산 블록(BR10)에 대응하는 과거의 움직임 벡터의 적산값 및 적산 횟수를 과거 적산값 축적부(64)로부터 판독하여, 적산값 갱신부(62)에 송출한다.
이에 의해 적산값 갱신부(62)에서는, 각 상관 연산 블록(BR10)에 대하여, 리세트하지 않는 경우에는, 그 때 대상으로 하는 상관 연산 블록(BR10)의 위치로부터 그 프레임 n에 있어서 산출된 움직임 벡터와 역방향으로 해당 움직임 벡터의 크기만큼 공간적으로 떨어진 위치에 있는 위상 연산 블록(BR10)의 움직임 벡터의 그때까지의 적산값 및 적산 횟수를 인계하도록, 대상으로 하는 위상 연산 블록(BR10)의 움직임 벡터의 적산값 및 적산 횟수를 갱신한다. 그리고, 이러한 처리에 의해, 각 움직임 벡터를 개개로 또한 시간적으로 적산하여, 움직임 벡터마다의 적산값 및 적산 횟수를 순차적으로 구할 수 있다. 이 결과, 상관 연산 블록(BR10)을 이동시키는 일없이, 이동 물체의 움직임을 따라서 움직임 벡터의 적산값 및 적산 횟수라고 하는 특징량을 이동시키면서 순차적으로 갱신하는 것이 가능하게 된다.
이동 물체 검출부(47)는, 개개의 상관 연산 블록(BR10)에 대하여, 움직임 벡터 적산부(46)로부터 공급되는 비 제거 벡터 적산 정보(D34)에 기초하여 얻어지는 움직임 벡터의 시간적인 적산값 및 적산 횟수를 이용하여, 도 15에 도시하는 제1 이동 물체 검출 처리 수순 RT3에 따라서, 화상 입력부(41)(도 1)를 통하여 입력한 화상 데이터(D20)(도 1)에 기초하는 화상 내에 존재하는 이동 물체를 검출한다.
즉, 이동 물체 검출부(47)는, 움직임 벡터 적산부(46)로부터 개개의 상관 연산 블록(BR10)이 공급될 때마다 이 이동 물체 검출 처리 수순 RT3을 스텝 SP20에 있어서 개시하고, 계속되는 스텝 SP21에 있어서, 움직임 벡터의 적산값의 노옴이 해당 적산값의 노옴에 대하여 미리 설정된 임계값이 제3 임계값 TH_ACC라고 하면, 다음 수학식,
Figure 112006018086698-pat00014
를 충족시키는지의 여부를 판단한다. 그리고 이동 물체 검출부(47)는, 이 스텝 SP21에 있어서 부정 결과를 얻으면, 이것은 움직임 벡터의 적산값의 노옴이 제3 임계값 TH_ACC보다 작은 것을 나타내고 있고, 이 후 스텝 SP23으로 진행하여 그 상관 연산 블록(BR10)에는 이동 물체가 없다고 판정하고, 이 후 스텝 SP25로 진행하여 이 이동 물체 검출 처리 수순 RT3을 종료한다.
이에 대하여 이동 물체 검출부(47)는, 스텝 SP21에 있어서 긍정 결과를 얻으면, 이것은 움직임 벡터의 적산값의 노옴이 제3 임계값 TH_ACC 이상인 것을 나타내고 있고, 이 후 스텝 SP22로 진행하여 움직임 벡터의 적산 횟수가 해당 적산 횟수에 대하여 미리 설정된 임계값이 제4 임계값 TH_CNT라고 하면, 다음 수학식
Figure 112006018086698-pat00015
를 충족시키는지의 여부를 판단한다. 그리고 이동 물체 검출부(47)는, 이 스텝 SP22에 있어서 부정 결과를 얻으면, 이것은 움직임 벡터의 적산 횟수가 제4 임계값 TH_CNT보다 작은 것을 나타내고 있고, 이 후 스텝 SP23으로 진행하여 그 상관 연산 블록(BR10)에는 이동 물체가 없다고 판정하고, 이 후 스텝 SP25로 진행하여 이 이 동 물체 검출 처리 수순 RT3을 종료한다.
이에 대하여 이동 물체 검출부(47)는, 스텝 SP22에 있어서 긍정 결과를 얻으면, 이것은 움직임 벡터의 적산 횟수가 제4 임계값 TH_CNT보다 이상인 것을 나타내고 있고, 이 후 스텝 SP24로 진행하여, 그 상관 연산 블록(BR10)에는 이동 물체가 있다고 판정하고, 이 후 스텝 SP25로 진행하여 이 이동 물체 검출 처리 수순 RT3을 종료한다.
이와 같이 해서 이동 물체 검출부(47)는, 움직임 벡터 적산부(46)에 의해 산출된 움직임 벡터 각각에 대한 적산 횟수 및 적산값에 기초하여 그 움직임 벡터가 이동 물체의 것인지의 여부를 판정하고, 이에 의해 화상 내의 이동 물체를 검출한다.
이와 같이 이동 물체 검출 장치(40)에서는, 움직임 벡터 제거부(45)에 의해 난잡도가 높은 움직임 벡터, 즉 배경 변동에 기인하는 움직임 벡터를 제거하고, 움직임 벡터 적산부(46) 및 이동 물체 검출부(47)에 있어서, 움직임 벡터 제거부(45)에 있어서 구별할 수 없었던 배경 변동에 기인하는 움직임 벡터와 이동 물체에 기인하는 움직임 벡터를 구별하고, 이에 의해 이동 물체를 검출하는 것이다.
이 때 이동 물체 검출 장치(40)에 있어서는, 움직임 벡터 제거부(45)에 있어서 제거되지 않은 움직임 벡터에 대하여, 개별로 또한 시간적으로 적산하여 그 적산값 및 적산 횟수를 산출하도록 하고 있기 때문에, 움직임 벡터 적산부(46) 및 이동 물체 검출부(47)에 있어서의 계산량을 각별히 저감할 수 있다.
여기서, 도 16은, 인물이나 차량 등의 이동 물체에 의한 움직임 벡터의 적산 결과를 나타내는 것이다. 이 도 16에 있어서, 1개의 화살표는 어떤 프레임에서의 움직임 벡터를 나타낸다(이하의 도 16 내지 도 19에 있어서도 마찬가지). 인물이나 차량이 이동하는 경우, 크기와 방향이 거의 일정한 움직임 벡터가 어느 정도의 시간 계속하여 발생한다. 따라서, 이 경우에는, 이동 물체 검출부(47)에 있어서 이러한 이동 물체 검출 처리 수순 RT3에 따른 처리에 의해 이동 물체라고 판정되게 된다.
이에 대하여, 도 17은, 바람에 의한 나무들의 흔들림에 대표되는 진동적인 배경 변동에 의한 움직임 벡터의 적산을 도시하는 것이다. 이 도 17로부터도 명확한 바와 같이, 움직임이 진동적인 경우, 움직임 벡터의 적산값의 노옴이 커지지 않기 때문에, 즉 움직임 벡터의 적산값의 노옴이 제3 임계값 TH_ACC를 초과하지 않기 때문에, 이동 물체 검출부(47)에 있어서 이동 물체로서 검출되지 않도록 이루어져 있다.
또한 도 18은, 야간에 있어서의 헤드 라이트의 난반사에 의한 움직임 벡터 등, 단시간의 랜덤한 움직임 벡터의 적산을 나타내고 있다. 이 경우도 움직임 벡터의 적산값의 노옴이 커지지 않기 때문에, 즉 움직임 벡터의 적산값의 노옴이 제3 임계값 TH_ACC를 초과하지 않기 때문, 이동 물체 검출부(47)에 있어서 이동 물체로서 검출되지 않도록 이루어져 있다.
한편, 도 19는, 조명의 온/오프 등, 급격한 조명 변동에 의한 움직임 벡터의 적산을 나타내고 있다. 급격한 조명 변동이 발생하면, 이동 물체가 존재하지 않음에도 불구하고, 잘못해서 큰 움직임 벡터가 검출되어, 적산값의 노옴이 제3 임계값 TH_ACC를 초과하는 경우가 있다. 그러나, 이 경우에는, 움직임 벡터가 발생하는 것은 극히 단시간(수 프레임)에 한정되며, 움직임 벡터의 적산 횟수가 제4 임계값 TH_CNT를 초과하지 않기 때문에, 이동 물체 검출부(47)에 있어서 이동 물체로서 검출되지 않도록 이루어져 있다.
따라서, 난잡도가 높은 움직임 벡터를 미리 제거함으로써, 강풍으로 심하게 가로 길게 뻗치는 깃발이나 충분한 조명이 얻어지지 않는 환경하에 감시 카메라가 설치된 경우의 랜덤 노이즈에 의한 영향을 배제한 후에, 바람으로 흔들리는 나무들이나 야간에 있어서의 헤드 라이트의 난반사, 조명의 온/오프 등 이동 물체에 의한 것이 아닌 움직임에 의한 영향을, 개개의 움직임 벡터의 적산값 및 적산 횟수를 조합해서 판정함으로써, 화상 내의 이동 물체를 더욱 확실하게 검출할 수 있다는 것을 알 수 있다.
다음으로, 도 20에 도시하는 바와 같이 도로 옆에 세워진 깃발이 강풍으로 심하게 가로 길게 뻗치는 것 같은 움직임이 있는 배경(BG)의 앞을 인물(HU)이 통과하는 경우에 대해 설명한다.
도 20은, 도로 옆에 세워진 깃발이 강풍으로 심하게 가로 길게 뻗치는 것 같은 움직임이 있는 배경(BG)의 앞을 인물(HU)이 통과하는 장면으로서, 화면 전체에 상관 연산 블록(BR10)이 배치되어 있고, 인물(HU)에 있어서의 움직임 벡터와 배경(BG)의 배경 변동에 있어서의 움직임 벡터의 양쪽이 포함되어 있다. 이 때, 도 20에서는, 상관 연산 실행부(44)에 의해 산출된 움직임 벡터 중, 제로 벡터가 아닌 움직임 벡터가 전부 표시되어 있다.
도 21은, 도 20으로부터 움직임 벡터 제거부(45)에 의해 난잡도가 높은 움직임 벡터를 제거한 결과를 도시하고 있고, 배경(BG)의 배경 변동에 있어서의 움직임 벡터는, 순간적인 난잡도와 정상적인 난잡도의 쌍방이 높기 때문에, 그 대부분이 제거된다.
한편, 인물(HU)에 있어서의 움직임 벡터는, 해당 인물(HU)이 침입해 올 때까지는 배경(BG)의 배경 변동에 있어서의 움직임 벡터가 발생하고 있었기 때문에 정상적인 난잡도가 제2 임계값 TH_E2 이상으로 되어 있지만, 인물(HU)이 침입에 수반하는 해당 인물(HU)의 이동에 기인하는 움직임 벡터로부터 산출되는 순간적인 난잡도가 제1 임계값 TH_E1보다 작아진다. 따라서, 인물(HU)에 있어서의 움직임 벡터는, 움직임 벡터 제거부(45)에 의해 제거되는 일없이, 벡터 적산부(46)에 송출된다.
이와 같이 본 실시예에 의한 이동 물체 검출 장치(40)에서는, 개개의 상관 연산 블록(BR10)에 대하여 순간적인 난잡도와 정상적인 난잡도를 평가하기 때문에, 배경 변동과 이동 물체가 중첩되는 경우에도 이동 물체의 검출이 가능하게 된다.
도 22 내지 도 24는, 개개의 상관 연산 블록(BR10)에 대하여, 움직임 벡터의 적산값이 적산되는 과정을 도시한 것이다. 도 22 내지 24에 있어서의 (A)는, 시각 t1, t2, t3에 있어서의 움직임 벡터를 나타내고, 도 22 내지 24에 있어서의 (B)는, 시각 t1, t2, t3(t1<t2<t3)을 통한 움직임 벡터의 적산값을 나타낸다.
이 경우, 시각 t1, t2, t3(t1<t2<t3)을 통하여 인물(HU)은, 한 방향으로 계속해서 움직이기 때문에, 시각의 경과와 함께 움직임 벡터의 적산값이 증대해 가는 데 대하여, 배경 변동은, 순간적인 난잡도가 낮아져 제거되지 않고 남겨진 움직임 벡터로서, 움직임 벡터가 주기적 또는 랜덤하게 방향이 변화한다.
이 결과, 인물(HU) 상의 상관 연산 블록(BR10)에 있어서는, 움직임 벡터가 적산되어, 이윽고 적산값의 노옴과 적산 횟수의 쌍방이 임계값을 초과하여, 이동 물체로서 검출된다. 또한 배경 변동 상의 상관 연산 블록(BR10)에 있어서는, 움직임 벡터가 적산되기 때문에, 적산 횟수가 임계값을 초과하였다고 해도 적산값의 노옴이 제3 임계값 TH_ACC를 초과하지 않기 때문에, 이동 물체로서 인식되지 않는다.
이와 같이 본 실시예에 의한 이동 물체 검출 장치(40)에서는, 개개의 상관 연산 블록(BR10)에 대하여 적산값의 노옴과 적산 횟수를 평가하기 때문에, 배경 변동과 이동 물체가 중첩되는 경우에도 이동 물체의 검출이 가능하게 된다.
또한 이 이동 물체 검출 장치(40)에서는, 이동 물체의 추적시에, 상관 연산 블록(BR10)을 이동시키는 일없이, 항상 화면 전체 또는 이동 물체의 검출을 의도하는 영역 전체에 상관 연산 블록(BR10)을 고정적으로 배치하도록 하고 있기 때문에, 예를 들면 도 17과 같이 첫 번째의 인물(HU1)이 화면 내에 나타나고, 그 후 이것에 이어서 두 번째의 인물(HU2)이 화면 내에 나타난 경우에 있어서도, 이 두 번째의 인물(HU2)을 이동 물체로서 확실하게 검출할 수 있다.
(1-2) 동작 및 효과
이상의 구성에 있어서, 이 이동 물체 검출 장치(40)에서는, 입력하는 화상 데이터(D1)에 기초하여 검출되는 각각의 움직임 벡터로부터 순간적인 난잡도 En(X, Y)가 제1 임계값 TH_E1 이상이고, 또한 정상적인 난잡도 E'n(X, Y)가 제2 임계값 TH_E2 이상인 움직임 벡터를 제거하고, 제거되지 않은 움직임 벡터에 대하여, 개별로 또한 시간적으로 적산해서 그 적산값 및 적산 횟수를 산출하여, 각각의 움직임 벡터의 적산값 및 적산 횟수에 기초하여 이동 물체를 검출한다.
따라서, 이동 물체에 기인하는 움직임 벡터를 제거하지 않고, 배경 변동에 기인하는 움직임 벡터를 제거하도록 하고 있기 때문에, 이동 물체에 기인하는 움직임 벡터와 배경 변동에 기인하는 움직임 벡터의 양쪽이 포함되는 경우에도, 배경 변동에 기인하는 움직임 벡터를 이동 물체에 기인하는 움직임 벡터로서 오인식하는 것을 미연에 또한 유효하게 방지할 수 있다.
또한, 이 이동 물체 검출 장치(40)에서는, 종래와 같이 최초로 검출의 대상으로 하는 영역을 규정하지 않고, 항상 개개의 상관 연산 블록(BR10)에 대하여 독립적으로 움직임을 해석하기 때문에, 배경 변동과 이동 물체가 중첩되는 경우나, 충분한 조명이 얻어지지 않는 환경에 감시 카메라가 설치된 경우에 있어서도, 이동 물체를 확실하게 검출할 수 있다.
또, 이 이동 물체 검출 장치(40)에서는, 항상 화면 전체 또는 이동 물체의 검출을 의도하는 영역 전체에 상관 연산 블록(BR10)을 고정적으로 배치하도록 하고 있기 때문에, 복수의 이동 물체가 계속해서 화면 내에 나타난 경우에 있어서도, 이들의 이동 물체를 각각 확실하게 검출할 수 있다. 또, 상관 연산 블록(BR10)을 고정적으로 배치하는 분, 이러한 검출 처리를 간이하게 행할 수 있고, 이 결과, 장치 구성을 간이화할 수도 있다.
이상의 구성에 따르면, 입력하는 화상 데이터(D1)에 기초하여 검출되는 각각의 움직임 벡터로부터 순간적인 난잡도 En(X, Y)가 제1 임계값 TH_E1 이상 이고, 또한 정상적인 난잡도 E'n(X, Y)가 제2 임계값 TH_E2 이상인 움직임 벡터를 제거함으로써, 이동 물체에 기인하는 움직임 벡터와 배경 변동에 기인하는 움직임 벡터의 양쪽이 포함되는 경우에도, 배경 변동에 기인하는 움직임 벡터를 이동 물체에 기인하는 움직임 벡터로서 오인식하는 것을 미연에 또한 유효하게 방지할 수 있고, 이렇게 하여 이동 물체를 정밀도 좋게 검출할 수 있는 이동 물체 검출 장치를 실현할 수 있다.
(2) 제2 실시예
(2-1) 제2 실시예에 따른 이동 물체 검출 장치의 구성
도 1과의 대응 부분에 동일 부호를 붙여서 도시하는 도 26은, 제2 실시예에 따른 이동 물체 검출 장치(70)를 나타내고, 상관 연산 블록 배치부(42)로부터 상관 연산 블록 데이터(D31)를 움직임 벡터 제거부(71)에 송출함과 함께, 해당 움직임 벡터 제거부(71)에 있어서의 구성이 다른 점을 제외하고 제1 실시예에 따른 이동 물체 검출 장치(40)(도 1)와 마찬가지로 구성되어 있다.
이 경우, 움직임 벡터 제거부(71)는, 도 5와의 대응 부분에 동일 부호를 붙인 도 27에 도시하는 바와 같이, 배경 모델 차분 산출부(80)가 새롭게 설치되는 점과, 난잡 벡터 제거부(81)에 있어서의 움직임 벡터의 제거 방법이 다른 점을 제외 하고 제1 실시예에 따른 움직임 벡터 제거부(45)(도 1)와 마찬가지의 구성을 갖는다.
그리고 이 제2 실시예의 경우, 배경 모델 차분 산출부(80)는, 평균 휘도 산출부(82)와, 배경 모델 축적부(83)와, 배경 모델 갱신부(84)와, 배경 모델 차분부(85)로 구성되어 있다.
이 경우, 배경 모델 차분 산출부(80)의 평균 휘도 산출부(82)는, 상관 연산 블록 배치부(42)로부터 공급되는 상관 연산 블록 데이터(D31)에 대하여, 개개의 상관 연산 블록(BR10)마다 해당 상관 연산 블록(BR10) 내의 평균 휘도 레벨을 산출하고, 이 결과 얻어진 상관 연산 블록(BR10)마다의 평균 휘도 레벨을 평균 휘도 정보(D70)로서 배경 모델 갱신부(83) 및 배경 모델 차분부(85)에 송출한다.
여기서, 배경 모델 축적부(84)에는, 개개의 상관 연산 블록(BR10)마다, 평균 휘도 레벨의 분포를 나타내는 파라미터가 배경 모델로서 축적되어 있다. 즉 배경 모델 축적부(83)에는, 배경 모델로서, 평균 휘도 산출부(82)가 산출하는 상관 연산 블록(BR10)마다의 평균 휘도를 Mn(X, Y)라고 하면, 평균 휘도 Mn(X, Y)의 시간적인 평균값 M'n(X, Y)와 시간적인 오차의 크기 Bn(X, Y)가 축적되어 있다.
그리고 배경 모델 갱신부(84)는, 평균 휘도 산출부(82)로부터 공급되는 평균 휘도 정보(D70)에 있어서의 평균 휘도 레벨에 기초하여, 배경 모델 축적부(83)에 축적된 배경 모델을, 매 프레임, 상관 연산 블록(BR10)마다, 다음 수학식
Figure 112006018086698-pat00016
과 같이 하여 갱신한다. 여기서, a는 0.001~0.01 정도로 선정되어 있고, (X, Y)는 상관 연산 블록(BR10)의 위치를 나타내고 있다.
이와 같이 배경 모델 갱신부(84)에서는, 과거의 프레임 n-1에 있어서의 평균 휘도 Mn -1(X, Y)의 시간적인 평균값 M'n - 1(X, Y)와, 현재의 프레임 n에 있어서의 평균 휘도 Mn(X, Y)를 가중 가산함으로써, 평균 휘도의 시간적인 평균값 M'n(X, Y)를 갱신한다. 또한, 배경 모델 갱신부(84)에서는, 과거의 프레임 n-1에 있어서의 평균 휘도 Mn -1(X, Y)의 시간적인 오차의 크기 Bn - 1(X, Y)와, 현재의 프레임 n에 있어서의 평균 휘도 Mn(X, Y)와 평균 휘도의 시간적인 평균값 M'n((X, Y)의 차분을 가중 가산함으로써, 평균 휘도 Mn -1(X, Y)의 시간적인 오차의 크기 Bn(X, Y)를 갱신한다.
배경 모델 차분부(85)는, 평균 휘도 산출부(82)로부터 공급되는 평균 휘도 정보(D70)에 있어서의 현재의 프레임의 평균 휘도 레벨과, 배경 모델 축적부(84)로부터 배경 모델 정보(D71)로서 판독한 배경 모델의 편차를 편차 DEVn(X, Y)라고 하면, 다음 수학식
Figure 112006018086698-pat00017
와 같이 산출한다. 단, Bn(X, Y)는, 어떤 상수보다 큰 값으로 한다. 그리고 배경 차분부(85)는, 이와 같이 해서 산출한 프레임 n의 각 상관 연산 블록(BR10)에 있어서의 평균 휘도 레벨과 배경 모델의 편차를 배경 차분 정보(D72)로서 난잡 벡터 제거부(81)에 송출한다.
난잡 벡터 제거부(81)는, 배경 차분부(85)로부터 공급되는 배경 차분 정보(D72)에 있어서의 평균 휘도 레벨과 배경 모델의 편차 DEVn(X, Y)와, 난잡도 산출 수단(51)으로부터 공급되는 난잡도 정보(D41)에 있어서의 움직임 벡터의 순간적인 난잡도 En(X, Y) 및 정상적인 난잡도 E'n(X, Y)에 기초하여, 개개의 상관 연산 블록(BR10)마다, 움직임 벡터를 제거할지의 여부를 판정한다.
즉, 난잡 벡터 제거부(81)는, 상관 연산 실행부(44), 난잡도 산출부(51) 및 배경 모델 차분부(85)로부터 동기하여 1개의 상관 연산 블록(BR10)분의 데이터가 공급될 때마다, 도 28에 도시하는 제2 움직임 벡터 제거 판정 처리 수순 RT4를 스텝 SP30에 있어서 개시하고, 계속되는 스텝 SP31에 있어서, 움직임 벡터 Vn(X, Y)에 대하여, 순간적인 난잡도 En(X, Y)가 해당 순간적인 난잡도에 대하여 미리 설정된 임계값이 제1 임계값 TH_E1이라고 하면, 다음 수학식
Figure 112006018086698-pat00018
을 충족시키는지의 여부를 판단한다. 그리고 난잡 벡터 제거부(81)는, 이 스텝 SP31에 있어서 긍정 결과를 얻으면, 이것은 순간적인 난잡도 En(X, Y)가 제1 임계값 TH_E1 이하인 것을 나타내고 있고, 이 후 스텝 SP33으로 진행하여, 움직임 벡터 Vn(X, Y)와 공간적으로 인접하는 모든 움직임 벡터를 제거하지 않는다고 판정하고, 이 후 스텝 SP35로 진행하여 이 제2 움직임 벡터 제거 판정 처리 수순 RT4를 종료한다.
이에 대하여 난잡 벡터 제거부(81)는, 스텝 SP31에 있어서 긍정 결과를 얻으면, 이것은 순간적인 난잡도 En(X, Y)가 제1 임계값 TH_E1보다도 큰 것을 나타내고 있고, 이 후 스텝 SP32로 진행하여, 움직임 벡터 Vn(X, Y)에 대하여, 정상적인 난잡도 E'n(X, Y)가 해당 정상적인 난잡도에 대하여 미리 설정된 임계값이 제2 임계값 TH_E2라고 하고, 평균 휘도 레벨과 배경 모델의 편차 DEVn(X, Y)에 대하여, 해당 평균 휘도 레벨과 배경 모델의 편차에 대하여 미리 설정된 임계값이 제5 임계값 TH_DEV라고 하면, 다음 수학식
Figure 112011018774733-pat00019
및
Figure 112006018086698-pat00020
를 충족시키는지의 여부를 판단한다. 그리고 난잡 벡터 제거부(81)는, 이 스텝 SP32에 있어서 부정 결과를 얻으면, 이것은 정상적인 난잡도 E'n(X, Y)가 제2 임계값 TH_E2보다 작거나, 또는 평균 휘도 레벨과 배경 모델의 편차가 제5 임계값 TH_DEV 이상인 것을 나타내고 있고, 이 후 스텝 SP33로 진행하여, 움직임 벡터 Vn(X, Y)를 제거하지 않는다고 판정하고, 이 후 스텝 SP35로 진행하여 이 제2 움직임 벡터 제거 판정 처리 수순 RT4를 종료한다.
이에 대하여 난잡 벡터 제거부(81)는, 스텝 SP32에 있어서 부정 결과를 얻으면, 이것은 정상적인 난잡도 E'n(X, Y)가 제2 임계값 TH_E2 이상이고, 또한 평균 휘도 레벨과 배경 모델의 편차가 제5 임계값 TH_DEV보다 작은 것을 나타내고 있고, 이 후 스텝 SP34로 진행하여, 움직임 벡터 Vn(X, Y)를 제거한다고 판정한다. 이 때, 난잡 벡터 제거부(81)는, 제거 대상의 움직임 벡터 Vn(X, Y)를 상술한 수학식 3을 이용하여 제로 벡터로 치환하고, 이 후 스텝 SP35로 진행하여 이 제2 움직임 벡터 제거 판정 처리 수순 RT4를 종료한다.
실제상, 본 실시예에 의한 이동 물체 검출 장치(70)에서는, 정상적으로 움직임 벡터의 난잡도가 높은 배경 변동의 앞을 작은 이동 물체가 통과하는 경우에도 이동 물체의 검출이 가능하게 된다.
도 29의 (A) 및 (B)는, 수면 상의 파도와 같이 랜덤한 움직임을 계속하는 배경(BG)의 앞을 인물(HU)이 통과하는 장면으로서, 화면 상에서의 인물의 크기가 작고, 인물(HU) 상에 배치되는 상관 연산 블록(BR10)이 2개 정도밖에 없는 것으로 한다. 이 때, 도 29에서는, 인물(HU) 상의 움직임 벡터 Vn(X, Y)에 대하여 시간적 및 공간적으로 인접하는 움직임 벡터군 Wn(X, Y)에는, 배경(BG)에 있어서의 파도에 기인하는 난잡도가 높은 움직임 벡터가 많이 포함된다. 따라서, 난잡도 산출부(51)에 의해 산출된 움직임 벡터 Vn(X, Y)의 순간적인 난잡도 En(X, Y)가 커진다. 또한, 인물(HU)이 침입해 올 때까지는 배경(BG)의 배경 변동에 있어서의 움직임 벡터가 발생하여 있기 때문에, 정상적인 난잡도 E'n(X, Y)에 대해서도 커진다.
여기서, 도 30의 (A) 및 (B)는, 배경 차분부(85)로부터 공급되는 배경 차분 정보(D72)를 제5 임계값 TH_DEV로 2치화한 것이다. 즉, 도 30은, 평균 휘도 레벨과 배경 모델의 편차가 제5 임계값 TH_DEV 이상인 상관 연산 블록(BR10)을 백색 블록(WB)으로서 나타내고, 평균 휘도 레벨과 배경 모델의 편차가 제5 임계값 TH_DEV보다 작은 상관 연산 블록(BR10)을 해칭 블록(NB)으로서 나타내고 있다.
이 경우, 어떤 상관 연산 블록(BR10)에 대하여, 이동 물체가 존재하고 있는 시간에 비하여 배경(BG)이 노출되고 있는 시간 쪽이 충분히 길 것이라는 것을 전제로 하여, 배경 모델 축적부(83)에는, 배경 변동의 휘도 분포를 나타내는 평균 휘도 Mn(X, Y)의 시간적인 평균값 M'n(X, Y)와 시간적인 오차의 크기 Bn(X, Y)가 축적되 어 있다.
그리고, 이동 물체에 대해서는, 일반적으로 배경 변동에 있어서의 휘도 분포와는 다른 평균 휘도로 되기 때문에, 이동 물체가 존재하는 상관 연산 블록(BR10)에 있어서는, 평균 휘도 레벨과 배경 모델의 편차가 커진다. 즉, 배경 모델 차분부(85)에 의해 산출된 평균 휘도 레벨과 배경 모델의 편차가 제5 임계값 TH_DEV 이상으로 되기 때문에, 제거 대상의 움직임 벡터로서 판정되지 않는다.
한편, 이동 물체가 존재하지 않는 상관 연산 블록(BR10)에 있어서는, 평균 휘도 레벨과 배경 모델의 편차가 작아진다. 즉, 배경 모델 차분부(85)에 의해 산출된 평균 휘도 레벨과 배경 모델의 편차가 제5 임계값 TH_DEV보다 작아지기 때문에, 제거 대상의 움직임 벡터로서 판정된다.
그리고, 도 31의 (A) 및 (B)는, 도 30으로부터 움직임 벡터 제거부(71)에 의해서 순간적인 난잡도 En(X, Y)가 제1 임계값 TH_E1 이상이고, 또한 정상적인 난잡도 E'n(X, Y)가 제2 임계값 TH_E2 이상이고, 평균 휘도 레벨과 배경 모델의 편차 DEVn(X, Y)가 제5 임계값 TH_DEV보다 작은 움직임 벡터를 제거한 결과를 나타내고 있고, 배경(BG)의 배경 변동에 있어서의 움직임 벡터는, 움직임 벡터 제거부(71)에 의해서 그 대부분이 제거되게 된다.
(2-2) 동작 및 효과
이상의 구성에 있어서, 이 이동 물체 검출 장치(70)에서는, 입력하는 화상 데이터(D1)에 기초하여 검출되는 각각의 움직임 벡터로부터 순간적인 난잡도 En(X, Y)가 제1 임계값 TH_E1 이상이고, 또한 정상적인 난잡도 E'n(X, Y)가 제2 임계값 TH_E2 이상이고, 평균 휘도 레벨과 배경 모델의 편차 DEVn(X, Y)가 제5 임계값 TH_DEV보다 작은 움직임 벡터를 제거한다.
따라서, 배경 변동의 앞을 작은 이동 물체가 통과하는 경우에 있어서, 순간적인 난잡도 En(X, Y)가 제1 임계값 TH_E1 이상으로 되고, 또한 정상적인 난잡도 E'n(X, Y)가 제2 임계값 TH_E2 이상으로 될 때에도, 이 경우, 평균 휘도와 배경 모델의 편차 DEVn(X, Y)가 제5 임계값 TH_DEV 이상으로 되기 때문에, 작은 이동 물체에 기인하는 움직임 벡터를 제거하지 않고, 확실하게 이동 물체를 검출할 수 있다.
이상의 구성에 따르면, 입력하는 화상 데이터(D1)에 기초하여 검출되는 각각의 움직임 벡터로부터 순간적인 난잡도 En(X, Y)가 제1 임계값 TH_E1 이상이고, 또한 정상적인 난잡도 E'n(X, Y)가 제2 임계값 TH_E2 이상이고, 평균 휘도 레벨과 배경 모델의 편차 DEVn(X, Y)가 제5 임계값 TH_DEV보다 작은 움직임 벡터를 제거함으로써, 배경 변동의 앞을 작은 이동 물체가 통과하는 경우에 있어서, 순간적인 난잡도 En(X, Y)가 제1 임계값 TH_E1 이상으로 되고, 또한 정상적인 난잡도 E'n(X, Y)가 제2 임계값 TH_E2 이상으로 될 때에도, 이 경우, 평균 휘도와 배경 모델의 편차 DEVn(X, Y)가 제5 임계값 TH_DEV 이상으로 되기 때문에, 작은 이동 물체에 기인하는 움직임 벡터를 제거하지 않고, 확실하게 이동 물체를 검출할 수 있고, 이렇게 하여 이동 물체를 정밀도 좋게 검출할 수 있는 이동 물체 검출 장치를 실현할 수 있다.
(3) 제3 실시예
(3-1) 제3 실시예에 따른 이동 물체 검출 장치의 구성
도 26과의 대응 부분에 동일 부호를 붙여서 나타내는 도 32는, 제3 실시예에 따른 이동 물체 검출 장치(90)를 나타내고, 제2 상관 연산부(91) 및 움직임 벡터 통합부(92)가 새롭게 설치되어 있는 점을 제외하고 제2 실시예에 따른 이동 물체 검출 장치(70)(도 26)와 마찬가지로 구성되어 있다.
그리고, 이 제3 실시예에 있어서의 이동 물체 검출 장치(90)에서는, 화상 입력부(41)로부터 공급되는 화상 데이터(D30)를 제1 계층의 화상 데이터(D30)로 하고, 해당 제1 계층의 화상 데이터(D30)의 처리를 실시하는 상관 연산 블록 배치부(42), 과거 화상 축적부(43) 및 상관 연산 실행부(44)를 각각 제1 상관 연산 블록 배치부(42), 제1 과거 화상 축적부(43) 및 제1 상관 연산 실행부(44)로 한다.
이 경우, 제2 상관 연산부(91)는, 화상 축소부(93)와, 제2 상관 연산 블록 배치부(94)와, 제2 과거 화상 축적부(95)와, 제2 상관 연산 실행부(96)로 구성되어 있고, 화상 축소부(93)는, 도 33의 (A)에 도시하는 바와 같이 화상 입력부(41)로부터 공급되는 제1 계층의 화상 데이터(D30)에 기초하는 제1 계층의 화상을 1/2의 해상도의 화상으로 축소하고, 이 결과 얻어지는 축소 화상을 나타내는 제2 계층의 화상 데이터(D80)를 제2 상관 연산 블록 배치부(94) 및 제2 과거 화상 축적부(95)에 송출한다.
제2 상관 연산 블록 배치부(94)는, 도 32와 같이 화상 축소부(93)로부터 공 급되는 제2 계층의 화상 데이터(D80)에 기초하는 제2 계층의 화상에 대하여, 제1 상관 연산 블록 배치부(42)와 마찬가지로 m×m 화소의 연산 블록(BR20)을 배치 간격 T로 배치하고, 해당 상관 연산 블록(BR20)의 데이터를 제2 계층의 상관 연산 블록 데이터(D81)로서 순차적으로 제2 상관 연산 실행부(96)에 송출한다. 또한, 제2 계층의 과거 화상 축적부(95)에서는, 제1 과거 화상 축적부(43)와 마찬가지로 제2 지연 화상 데이터(D82)가 제2 상관 연산 실행부(96)에 판독된다.
제2 상관 연산 실행부(96)는, 제2 상관 연산 블록 배치부(94)로부터 공급되는 제2 상관 연산 블록 데이터(D81)와, 제2 과거 화상 축적부(95)로부터 판독한 제2 계층의 지연 화상 데이터(D82)에 기초하여 제1 상관 연산 실행부(44)와 마찬가지의 처리를 실시하고, 이 결과 얻어지는 프레임 n의 각 상관 연산 블록(BR20)의 움직임 벡터 V2n을 제2 계층의 움직임 벡터 정보(D83)로서 움직임 벡터 통합부(92)에 송출한다.
여기서, 이동 물체 검출 장치(90)에 있어서의 제1 과거 화상 축적부(43), 제2 과거 화상 축적부(95), 제1 상관 연산 실행부(44), 제2 상관 연산 실행부(96) 및 움직임 벡터 통합부(92)의 동작 타이밍을 도 34에 도시한다. 이 이동 물체 검출 장치(90)에 있어서는, 2 프레임 주기로 동작하기 위해, 프레임 n-1과 프레임 n에 대하여 동작을 설명한다.
이 경우, 화상 입력부(41)로부터 프레임 n-1의 제1 계층의 화상 데이터(D30)가 입력되는 기간에 있어서, 제2 과거 화상 축적부(95)에서는, 화상 축소부(93)로 부터 공급되는 프레임 n-1의 제2 계층의 화상 데이터(D80)가 축적된다.
또한, 화상 입력부(41)로부터 프레임 n의 제1 계층의 화상 데이터(D30)가 입력되는 기간에 있어서, 제1 과거 화상 축적부(43)에서는, 프레임 n의 제1 계층의 화상 데이터(D30)가 축적됨과 함께, 프레임 n-2의 제1 계층의 지연 화상 데이터(D32)가 판독된다.
그리고, 제1 상관 연산 실행부(44)에서는, 프레임 n의 제1 계층의 화상 데이터(D30)와 프레임 n-2의 제1 계층의 지연 화상 데이터(D32) 사이에서 상관 연산을 실시함으로써(도 33의 (B)), 제1 계층의 움직임 벡터 정보(D33)를 산출한다.
한편, 제2 과거 화상 축적부(95)에서는, 프레임 n-1의 제2 계층의 화상 데이터(D80)가 판독된다. 또한, 제2 상관 연산 실행부(96)에서는, 화상 축소부(93)로부터 공급되는 프레임 n의 제2 계층의 화상 데이터(D80)와 프레임 n-1의 제2 계층의 화상 데이터(D80) 사이에서 상관 연산을 실시, 즉 제1 계층의 화상의 1/2의 시간 간격으로 상관 연산을 실시함으로써(도 33의 (c)), 제2 계층의 움직임 벡터 정보(D83)를 산출한다.
그리고 움직임 벡터 통합부(92)에서는, 제1 계층의 상관 연산 실행부(44)로부터 공급되는 제1 계층의 움직임 벡터 정보(D33)와, 제2 상관 연산 실행부(96)로부터 공급되는 제2 계층의 움직임 벡터 정보(D83)에 기초하여 제1 계층의 움직임 벡터 V1n(X, Y)와 제2 계층의 움직임 벡터 V2n(X, Y)를 통합하고, 통합한 후의 움직임 벡터 Vn(X, Y)를 통합 벡터 정보(D84)로서 움직임 벡터 제거부(71)에 송출한다.
이 경우, 도 35의 (A) 및 (B)는, 제1 계층의 움직임 벡터 V1n(X, Y)와 제2 계층의 움직임 벡터 V2n(X, Y)의 공간적인 위치 관계를 나타낸 것이다. 이 때, 제2 계층의 화상 데이터(D80)에 기초하는 제2 계층의 화상은, 제1 계층의 화상 데이터(D30)에 기초하는 제1 계층의 화상을 1/2배로 축소하여 생성하고 있는 것, 및 제1 계층의 상관 연산 블록(BR10)과 제2 계층의 상관 연산 블록(BR20)이 동일한 사이즈 및 배치 간격인 것에 의해, 어떤 1개의 제2 계층의 상관 연산 블록(BR20)의 화상 상에 있어서의 동일한 위치에는, 4개의 제1 계층의 상관 연산 블록(BR10)이 배치되게 된다. 즉, 어떤 1개의 제2 계층의 움직임 벡터 V2n(X+T/2, Y+T/2)는, 제1 계층의 움직임 벡터 V1n(X, Y), V1n(X+T, Y), V1n(X, Y+T) 및 V1n(X+T, Y+T)와 화상 상의 동일한 위치의 움직임을 나타내고 있는 것으로서 대응시킬 수 있다.
따라서, 움직임 벡터 통합부(92)는, 개개의 제1 계층의 상관 연산 블록(BR10)마다, 제1 상관 연산 실행부(44)로부터 공급되는 제1 계층의 움직임 벡터와, 제2 상관 연산 실행부(96)로부터 공급되는 제1 계층의 움직임 벡터와 동일 위치의 제2 계층의 움직임 벡터 중 어느 한쪽을, 다음 수학식
Figure 112006018086698-pat00021
와 같이 선택한다. 여기서, Vn(X, Y)는 통합 후의 움직임 벡터, MAX(X, Y)는 제1 계층의 움직임 벡터 V1n, 제2 계층의 움직임 벡터 V2n 중 노옴이 큰 쪽을 선택하는 함수, V2'n(X+T/2, Y+T/2)는, V2n(X+T/2, Y+T/2)를 제1 계층의 움직임 벡터로 변환한 것이다.
여기서, 제2 계층의 움직임 벡터는, 제1 계층의 화상의 1/2의 해상도의 화상을 이용하고, 또 제1 계층의 화상의 1/2의 시간 간격으로 상관 연산이 실시되고 있기 때문에(도 33), 해당 제2 계층의 움직임 벡터를 4배함으로써 제1 계층의 움직임 벡터로 환산할 수 있다. 즉,
Figure 112006018086698-pat00022
와 같이 하여 제1 계층의 움직임 벡터로 환산할 수 있도록 이루어져 있다.
이와 같이 해서 움직임 벡터 통합부(92)에서는, 제1 계층의 움직임 벡터 V1n(X, Y)와 제2 계층의 움직임 벡터 V2n(X, Y)를 통합하여, 도 35의 (c)에 도시하 는 통합 후의 움직임 벡터 Vn(X, Y)를 제1 계층과 동일한 공간 해상도를 갖는 통합 벡터 정보(D84)로서 움직임 벡터 제거부(71)에 송출한다.
이와 같이 본 실시예에 의한 이동 물체 검출 장치(90)에서는, 제1 계층의 화상의 1/2의 해상도의 화상을 이용하고, 또한 제1 계층의 화상의 1/2의 시간 간격으로 상관 연산을 실시하여, 제2 계층의 움직임 벡터를 산출하기 때문에, 상관 연산의 계산량을 억제하면서 보다 넓은 범위의 움직임 벡터를 산출할 수 있다.
즉, 본 실시예에 의한 이동 물체 검출 장치(90)에서는, 이동 속도가 큰 이동 물체의 검출이 가능하게 된다. 이 때, 일반적으로 산출 가능한 움직임 벡터의 범위는, 상관 연산의 탐색 범위에서 결정되고, 탐색 범위를 넓게 할수록 계산량이 증대한다. 그러나, 본 실시예에 의한 이동 물체 검출 장치(90)에 있어서, 예를 들면 제1 계층의 상관 연산 블록(BR10)에서 7 화소, 제2 계층의 상관 연산 블록(BR20)에서 ±8 화소의 탐색 범위에 대하여 상관 연산을 실시하는 경우에는, 제1 계층의 상관 연산 블록(BR10)에서만 수평 수직 모두 ±8 화소의 탐색 범위에 대하여 상관 연산을 실시하는 경우에 비하여, 상관 연산의 계산량은 거의 동일하지만, 통합 후의 움직임 벡터의 산출 범위가 4배 커진다.
또한, 본 실시예에 의한 이동 물체 검출 장치(90)에서는, 제1 계층의 움직임 벡터가 구해지지 않은 경우에도 제2 계층의 움직임 벡터로 대용함으로써 이동 물체의 검출을 할 수 있다.
도 36은, 주행 중인 자동차 상에 4개의 제1 계층의 상관 연산 블록(BR10) 및 1개의 제2 계층의 상관 연산 블록(BR20)이 배치되어 있는 장면이다. 이 때, 도 14에서는, 제2 계층의 상관 연산 블록(BR20)과, 4개 중 3개의 제1 계층의 상관 연산 블록(BR10)에서는, 움직임 벡터가 산출되어 있지만, 남은 1개의 제1 계층의 상관 연산 블록(BR10)에 대해서는, 움직임 벡터가 산출되지 않는다.
이것은, 해당 남은 1개의 제1 계층의 상관 연산 블록(BR10)은, 자동차의 창 상에 배치되어 있기 때문에, 해당 상관 연산 블록(BR10) 내부의 화상의 콘트라스트가 매우 낮아, 신뢰성이 있는 움직임 벡터가 구해지지 않기 때문에, 제1 상관 연산 실행부(44)에 있어서 움직임 벡터가 제로 벡터로 되기 때문이다.
이 때 움직임 벡터 통합부(92)에서는, 제1 계층의 움직임 벡터와 제2 계층의 움직임 벡터 중 노옴이 큰 쪽을 선택하기 때문에, 해당 남은 1개의 상관 연산 블록(BR10)에, 제2 계층의 움직임 벡터를 선택할 수 있다.
또, 본 실시예에 의한 이동 물체 검출 장치(90)에서는, 콘트라스트가 큰 배경의 근방을 콘트라스트가 작은 인물이 이동하고 있는 경우에도 확실하게 이동 물체를 검출할 수 있다.
도 37은, 콘트라스트가 큰 배경(BG)의 근방을 콘트라스트가 작은 인물(HU)이 이동하고 있고, 제2 계층의 상관 연산 블록(BR20)이 배경(BG)과 인물(HU)의 양쪽을 포함하도록 배치되어 있다. 이 경우, 제2 계층의 상관 연산 블록(BR20)에 있어서는, 콘트라스트가 큰 배경(BG)의 영향이 지배적으로 되어, 인물(HU)이 이동하고 있더라도 제2 계층의 움직임 벡터가 제로 벡터로 된다.
그러나, 제1 계층의 상관 연산 블록(BR10) 중 인물(HU) 상에 배치된 상관 연 산 블록(BR10)에 있어서는, 인물(HU)의 움직임을 반영한 움직임 벡터가 산출된다. 그리고 움직임 벡터 통합부(92)에서는, 제1 계층의 움직임 벡터와 제2 계층의 움직임 벡터 중 노옴이 큰 쪽을 선택하기 때문에, 이 경우에는, 제1 계층의 상관 연산 블록(BR10)에, 인물(HU)의 움직임을 반영한 제1 계층의 움직임 벡터를 선택할 수 있다.
(3-2) 동작 및 효과
이상의 구성에 있어서, 이 이동 물체 검출 장치(90)에서는, 입력하는 화상 데이터(D1)에 기초하여 검출되는 제1 계층의 움직임 벡터와, 제1 계층의 화상의 1/2의 해상도의 화상을 이용하고, 또한 제1 계층의 화상의 1/2의 시간 간격으로 상관 연산이 실시된 제2 계층의 움직임 벡터 중, 움직임 벡터의 노옴이 큰 쪽을 선택한다.
따라서, 상관 연산의 계산량을 억제하면서, 이동 속도가 큰 물체와, 면적이 작은 물체 또는 이동 속도가 작은 물체를 쌍방 모두 검출할 수 있음과 함께, 콘트라스트가 큰 배경의 근방을 이동하는 콘트라스트가 작은 이동 물체를 확실하게 검출할 수 있다
이상의 구성에 따르면, 입력하는 화상 데이터(D1)에 기초하여 검출되는 제1 계층의 움직임 벡터와, 제1 계층의 화상의 1/2의 해상도의 화상을 이용하고, 또한 제1 계층의 화상의 1/2의 시간 간격으로 상관 연산이 실시된 제2 계층의 움직임 벡터 중, 움직임 벡터의 노옴이 큰 쪽을 선택함으로써, 상관 연산의 계산량을 억제하면서, 이동 속도가 큰 물체와, 면적이 작은 물체 또는 이동 속도가 작은 물체를 쌍 방 모두 검출할 수 있음과 함께, 콘트라스트가 큰 배경의 근방을 이동하는 콘트라스트가 작은 이동 물체를 확실하게 검출할 수 있고, 이렇게 하여 이동 물체를 정밀도 좋게 검출할 수 있는 이동 물체 검출 장치를 실현할 수 있다.
(4) 제4 실시예
(4-1) 제4 실시예에 따른 이동 물체 검출 장치의 구성
도 1은, 제4 실시예에 있어서의 이동 물체 검출 장치(100)를 나타내고, 상술한 제1 실시예에 있어서의 이동 물체 검출 장치(40)라는 것은, 움직임 벡터 적산부(101)에 있어서의 구성이 다른 점을 제외하고 제1 실시예에 따른 이동 물체 검출 장치(40)(도 1)와 마찬가지로 구성되어 있다.
그리고 이 움직임 벡터 적산부(101)는, 도 14에 도시하는 바와 같이 과거 적산값 판독부(110)에 있어서의 과거의 움직임 벡터 적산값의 판독 방법이 다른 점을 제외하고 제1 실시예에 따른 움직임 벡터 적산부(46)(도 1)와 마찬가지의 구성을 갖는다.
이 경우, 과거 적산값 판독부(110)는, 과거 적산값 축적부(64)에 축적된 과거 벡터 적산 정보(D51), 즉 그 때 대상으로 하고 있는 상관 연산 블록(BR10)에 대한 그때까지의 움직임 벡터의 적산값 ACCn -1(α, β) 및 적산 횟수 CNTn - 1(α, β)를 판독하여, 적산값 갱신부(62)에 송출한다. 또한, (α, β)는, 적산값 및 적산 횟수의 갱신원으로 되는 상관 연산 블록(BR10)의 위치이다.
이 때, 갱신할 대상인 상관 연산 블록(BR10)에 있어서의 현재의 움직임 벡터 를 Vn(X, Y)라고 하면, 다음 수학식
Figure 112006018086698-pat00023
와 같이, Vn(X,Y)의 x성분이 -h, y 성분이 -v로 된다. 그리고, 과거 적산값 판독부(110)는, 위치(X-h, Y-v) 또는 그 근방에 위치하는 복수의 상관 연산 블록(BR10) 중에서, 프레임 n-1까지의 움직임 벡터의 적산값이, 현재의 움직임 벡터, 즉 프레임 n에 있어서의 Vn(X, Y)와 가장 상관이 높은 상관 연산 블록(BR10)을 갱신원의 상관 연산 블록(BR10)으로서 선택한다.
즉, 과거 적산값 판독부(110)는, 이동 물체가 갑자기 방향을 변경하지 않을 것이라는 것을 전제로 하여, 이러한 상관 연산 블록(BR10)의 위치(X, Y)로부터 움직임 벡터만큼 공간적으로 떨어진 위치(X-h, Y-v)의 근방에 존재하는 복수의 상관 연산 블록(BR10)에 주목하여, 과거 적산값 축적부(64)에 축적되어 있는 이들 상관 연산 블록(BR10)의 1개 전의 프레임 n-1에 있어서의 움직임 벡터의 적산값과, 위치(x, y)의 프레임 n에 있어서의 움직임 벡터의 내적을 연산하고, 내적이 최대로 되는 상관 연산 블록(BR10)을 갱신원의 상관 연산 블록(BR10)으로서 선택한다.
이와 같이 프레임 n-1에 있어서의 움직임 벡터의 적산값과, 위치(x, y)의 프레임 n에 있어서의 움직임 벡터의 내적을 연산하고, 움직임의 시간적인 균일성을 나타내는 지표로서 이용함으로써, 이동 물체가 일정 방향으로 운동하고 있는 경우에는, 움직임 벡터의 적산값의 갱신을 한층더 안정적으로 계속할 수 있다.
한편, 이동 물체가 방향 전환했을 때에는, 갱신원의 상관 연산 블록이 정확하게 선택되지 않는 경우가 있지만, 이동 물체가 화면에 출현하기 시작하고 나서 검출될 때까지, 또는 이동 물체가 움직이기 시작하고 나서 검출되기까지의 단시간 동안에, 움직임 벡터의 적산값 및 적산 횟수가 정확하게 인계되는 것에 주안을 두는 경우에는, 이동 물체가 방향 전환하는 것은 고려할 필요가 없기 때문에, 프레임 n-1에 있어서의 움직임 벡터의 적산값과, 위치(x, y)의 프레임 n에 있어서의 움직임 벡터의 내적을 연산하는 것이 한층더 유효하다.
(4-2) 동작 및 효과
이상의 구성에 있어서, 이 이동 물체 검출 장치(100)에서는, 움직임 벡터 적산부(101)에 있어서, 과거 적산값 축적부(64)에 축적되어 있는 이들 상관 연산 블록(BR10)의 1개 전의 프레임 n-1에 있어서의 움직임 벡터의 적산값과, 위치(x, y)의 프레임 n에 있어서의 움직임 벡터의 내적을 연산하고, 내적이 최대로 되는 상관 연산 블록(BR10)을 갱신원의 상관 연산 블록(BR10)으로서 선택한다.
따라서, 프레임 n-1에 있어서의 움직임 벡터와, 위치(X, Y)의 프레임 n에 있어서의 움직임 벡터의 차분을 연산하는 경우에 비하여 움직임 벡터의 적산값의 갱신을 한층더 안정적으로 계속할 수 있음과 함께, 프레임 n-1에 있어서의 움직임 벡터의 적산값을 이용하도록 했기 때문에, 움직임 벡터의 적산값의 갱신을 한층더 정밀도 좋게 계속할 수 있다.
이상의 구성에 따르면, 움직임 벡터 적산부(101)에 있어서, 과거 적산값 축적부(64)에 축적되어 있는 이들 상관 연산 블록(BR10)의 1개 전의 프레임 n-1에 있 어서의 움직임 벡터의 적산값과, 위치(x, y)의 프레임 n에 있어서의 움직임 벡터의 내적을 연산하고, 내적이 최대로 되는 상관 연산 블록(BR10)을 갱신원의 상관 연산 블록(BR10)으로서 선택함으로써, 움직임 벡터의 적산값의 갱신을 정밀도 좋게 계속할 수 있음과 함께, 프레임 n-1에 있어서의 움직임 벡터와, 위치(X, Y)의 프레임 n에 있어서의 움직임 벡터의 차분을 연산하는 경우에 비하여 움직임 벡터의 적산값의 갱신을 한층더 안정적으로 계속할 수 있고, 이렇게 하여 이동 물체를 정밀도 좋게 검출할 수 있는 이동 물체 검출 장치를 실현할 수 있다.
(5) 다른 실시예
또, 상술한 실시예에 있어서는, 본 발명을, 영상 감시 시스템 등의 감시 시스템에 적용되는 이동 물체 검출 장치(40, 70, 90, 100)에 적용하도록 한 경우에 대해 설명했지만, 본 발명은 이것에 한정되지 않고, 이 이외에 여러 가지의 시스템에 있어서의 이동 물체의 검출 장치로서 널리 적용할 수 있다.
또한, 상술한 실시예에 있어서는, m×m 화소의 상관 연산 블록(BR10)을 배치 간격 T와 동일한 길이(m=T)로 선정했기 때문에, 도 2와 같이 간극없이 배치하도록 한 경우에 대해 설명했지만, 본 발명은 이것에 한정되지 않고, 도 38과 같이 상관 연산 블록에 비하여 배치 간격을 크게 하여(m<T), 간극을 두고 배치하도록 해도 되고, 나아가서는 상관 연산 블록에 비하여 배치 간격을 작게 하여(m>T), 상관 연산 블록(BR10)의 일부가 서로 중첩되게 배치하도록 해도 된다. 단, 배치되는 개개의 상관 연산 블록(BR10)의 위치는, 시간에 따라서 변화하지 않고, 항상 일정하게 할 필요가 있다. 또한, 배치되는 개개의 상관 연산 블록(BR10)의 크기에 대해서는, 일정하게 할 필요는 없다.
또, 상술한 실시예에 있어서는, 도 2에 대하여 상술한 바와 같이, 상관 연산 블록(BR10)을 m×m 화소의 정방형 형상으로 설정하도록 한 경우에 대해 설명했지만, 본 발명은 이것에 한정되지 않고, 상관 연산 블록(BR10)의 형상으로서는, 이 이외에 여러 가지의 형상을 널리 적용할 수 있다.
또, 상술한 실시예에 있어서는, 현재의 입력 화상에 기초하는 소정의 파라미터와, 입력 화상에 기초하는 상기 파라미터의 분포를 나타내는 분포 파라미터의 차분을 산출하는 차분 수단으로서, 현재의 입력 화상에 있어서의 휘도 레벨과, 입력 화상의 휘도 레벨의 시간적인 평균값의 편차를 상기 차분으로서 산출한 경우에 대해 설명했지만, 본 발명은 이것에 한정되지 않고, 이 이외에 여러 가지의 분포 파라미터에 적용할 수 있다.
또, 상술한 실시예에 있어서는, 상관 연산 블록 배치부(42)로부터 공급되는 상관 연산 블록 데이터(D31)에 대하여, 개개의 상관 연산 블록(BR10)마다 해당 상관 연산 블록(BR10) 내의 평균 휘도 레벨을 산출하고, 이 결과 얻어진 상관 연산 블록(BR10)마다의 평균 휘도 레벨을 평균 휘도 정보(D70)로서 배경 모델 갱신부(83) 및 배경 모델 차분부(85)에 송출한 경우에 대해 설명했지만, 본 발명은 이것에 한정되지 않고, 상관 연산 블록(BR10) 내의 소정의 위치의 휘도 레벨을 상관 연산 블록(BR10)의 휘도 레벨로서 산출하도록 해도 되고, 또한 상관 연산 블록(BR10) 내의 휘도 레벨 그대로라도 되고, 이 이외에 여러 가지의 휘도 레벨로 적용할 수 있다.
또, 상술한 실시예에 있어서는, 과거의 움직임 벡터 및 현재의 움직임 벡터로서, 프레임 n-1에 있어서의 움직임 벡터 및 프레임 n에 있어서의 움직임 벡터를 채용한 경우에 대해 설명했지만, 본 발명은 이것에 한정되지 않고, 과거의 움직임 벡터로서 예를 들면 프레임 n-3에 있어서의 움직임 벡터나 프레임 n-5에 있어서의 움직임 벡터와 같이 프레임 n-1에 있어서의 움직임 벡터보다 전의 움직임 벡터를 채용하도록 해도 된다. 그것에 수반하여, 과거의 적산값, 과거의 적산 횟수에 대해서도 동일하게 변경해도 된다. 즉, 시스템 전체의 동작 주기(상관 연산 실행부에 입력하는 화상의 프레임 간격, 계층이 복수 있는 경우에는 최대 해상도의 계층의 프레임 간격)를 임의로 선택하는 것이 가능하게 된다. 즉, 실시예 1, 2, 4의 동작 주기는 1 프레임 주기, 실시예 3에 대해서는 2 프레임 주기로 된다.
또, 상술한 실시예에 있어서는, 순간적인 난잡도 En(X, Y)의 산출 시에 있어서의 Sn(X, Y)가, 움직임 벡터군 Wn(X, Y)에 포함되는 각각의 움직임 벡터에 있어서의 X 성분, Y 성분 각각의 평균 편차를 가산한 값인 경우에 대해 설명했지만, 본 발명은 이것에 한정되지 않고, 예를 들면 움직임 벡터군 Wn(X, Y)의 각각의 움직임 벡터의 분산 공분산 행렬 등, 이 이외에 여러 가지의 오차의 정도를 나타내는 지표를 이용하도록 해도 된다.
또, 상술한 실시예에 있어서는, 제4 실시예에 있어서의 움직임 벡터 적산부(101)의 과거 적산값 판독부(110)를 제1 실시예에 있어서의 이동 물체 검출 장치(40)에 적용한 경우에 대해 설명했지만, 본 발명은 이것에 한정되지 않고, 예를 들 면 제2 실시예에 있어서의 이동 물체 검출 장치(70)에 적용하도록 해도 되고, 또한 제3 실시예에 있어서의 이동 물체 검출 장치(90)에 적용하도록 해도 되고, 이 이외에 여러 가지의 이동 물체 검출 장치에 적용할 수 있다.
또, 상술한 실시예에 있어서는, 일련의 처리를 각각의 기능을 갖는 하드웨어에 의해 실행시킨 경우에 대해 설명했지만, 본 발명은 이것에 한정되지 않고, 소프트웨어에 의해 실행시키도록 해도 된다. 이 때, 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이 전용의 하드웨어에 짜 넣어져 있는 컴퓨터에 대하여, 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능하게 되고, 예를 들면 범용의 퍼스널 컴퓨터 등에 예를 들면 기록 매체로부터 인스톨된다. 그리고, 이 기록 매체는, 예를 들면, 광 디스크, 광자기 디스크, 반도체 메모리, 자기 디스크 등의 여러 가지의 기록 매체를 포함하는 것은 물론이다. 또한, 예를 들면 범용의 퍼스널 컴퓨터 등에 예를 들면 인터넷 등의 네트워크를 통하여 다운로드함으로써, 각종 프로그램을 인스톨하도록 해도 된다.
<산업 상의 이용 가능성>
본 발명은, 영상 감시 시스템 등의 감시 시스템 외에, 화상 내의 이동 물체를 검출하고, 해당 검출 결과에 기초하여 여러 가지의 처리를 실행하는 각종 시스템에 적용할 수 있다.
본 발명에 따르면, 입력 화상으로부터 움직임 벡터를 산출하는 움직임 벡터 산출 수단과, 움직임 벡터 산출 수단에 의해 산출된 각 움직임 벡터로부터 난잡도 가 높은 움직임 벡터를 제거하는 움직임 벡터 제거 수단과, 움직임 벡터 제거 수단에 의해 제거되지 않은 각 움직임 벡터를 개별로 또한 시간적으로 적산하고, 움직임 벡터마다의 적산값 및 적산 횟수를 각각 산출하는 움직임 벡터 적산 수단과, 움직임 벡터 적산 수단에 의해 산출된 움직임 벡터마다의 적산값 및 적산 횟수에 기초하여, 각 움직임 벡터에 대하여, 해당 움직임 벡터가 이동 물체인지의 여부를 판정하는 이동 물체 검출 수단을 설치하도록 한 것에 의해, 이동 물체에 기인하는 움직임 벡터를 제거하지 않고, 배경 변동에 기인하는 움직임 벡터를 제거하도록 하고 있기 때문에, 이동 물체에 기인하는 움직임 벡터와 배경 변동에 기인하는 움직임 벡터의 양쪽이 포함되는 경우에도, 배경 변동에 기인하는 움직임 벡터를 이동 물체에 기인하는 움직임 벡터로서 오인식하는 것을 미연에 또한 유효하게 방지할 수가 있고, 이렇게 하여 이동 물체를 정밀도 좋게 검출할 수 있는 이동 물체 검출 장치를 실현할 수 있다.
또한 본 발명에 따르면, 입력 화상으로부터 움직임 벡터를 산출하는 움직임 벡터 산출 스텝과, 움직임 벡터 산출 스텝에 있어서 산출한 각 움직임 벡터로부터 난잡도가 높은 움직임 벡터를 제거하는 움직임 벡터 제거 스텝과, 움직임 벡터 제거 스텝에 있어서 제거하지 않은 각 움직임 벡터를 개별로 또한 시간적으로 적산하고, 움직임 벡터마다의 적산값 및 적산 횟수를 각각 산출하는 움직임 벡터 적산 스텝과, 움직임 벡터 적산 스텝에 있어서 산출한 움직임 벡터마다의 적산값 및 적산 횟수에 기초하여, 각 움직임 벡터에 대하여, 해당 움직임 벡터가 이동 물체의 것인지의 여부를 판정하는 이동 물체 검출 스텝을 설치하도록 한 것에 의해, 이동 물체 에 기인하는 움직임 벡터를 제거하지 않고, 배경 변동에 기인하는 움직임 벡터를 제거하도록 하고 있기 때문에, 이동 물체에 기인하는 움직임 벡터와 배경 변동에 기인하는 움직임 벡터의 양쪽이 포함되는 경우에도, 배경 변동에 기인하는 움직임 벡터를 이동 물체에 기인하는 움직임 벡터로서 오인식하는 것을 미연에 또한 유효하게 방지할 수 있고, 이렇게 하여 이동 물체를 정밀도 좋게 검출할 수 있는 이동 물체 검출 방법을 실현할 수 있다.
또, 본 발명에 따르면, 이동 물체 검출 장치에 대하여, 프로그램에 의해서, 입력 화상으로부터 움직임 벡터를 산출하는 움직임 벡터 산출 스텝과, 움직임 벡터 산출 스텝에 있어서 산출한 각 움직임 벡터로부터 난잡도가 높은 움직임 벡터를 제거하는 움직임 벡터 제거 스텝과, 움직임 벡터 제거 스텝에 있어서 제거하지 않은 각 움직임 벡터를 개별로 또한 시간적으로 적산하고, 움직임 벡터마다의 적산값 및 적산 횟수를 각각 산출하는 움직임 벡터 적산 스텝과, 움직임 벡터 적산 스텝에 있어서 산출한 움직임 벡터마다의 적산값 및 적산 횟수에 기초하여, 각 움직임 벡터에 대하여, 해당 움직임 벡터가 이동 물체의 것인지의 여부를 판정하는 이동 물체 검출 스텝을 실행시키도록 한 것에 의해, 이동 물체에 기인하는 움직임 벡터를 제거하지 않고, 배경 변동에 기인하는 움직임 벡터를 제거하도록 하고 있기 때문에, 이동 물체에 기인하는 움직임 벡터와 배경 변동에 기인하는 움직임 벡터의 양쪽이 포함되는 경우에도, 배경 변동에 기인하는 움직임 벡터를 이동 물체에 기인하는 움직임 벡터로서 오인식하는 것을 미연에 또한 유효하게 방지할 수 있고, 이렇게 하여 이동 물체를 정밀도 좋게 검출할 수 있는 프로그램을 실현할 수 있다.

Claims (15)

  1. 이동 물체 검출 장치로서,
    입력 화상으로부터 움직임 벡터를 산출하는 움직임 벡터 산출 수단과,
    과거의 움직임 벡터를 축적하는 과거 벡터 축적 수단과,
    현재의 움직임 벡터를 포함하는 움직임 벡터군으로부터 현재의 순간적인 난잡도를 산출하고, 상기 과거 벡터 축적 수단으로부터 판독한 상기 과거의 움직임 벡터를 포함하는 움직임 벡터군에 기초하여 과거의 정상적인 난잡도를 산출하고, 상기 현재의 순간적인 난잡도와 상기 과거의 정상적인 난잡도에 기초하여, 현재의 정상적인 난잡도를 산출하는 난잡도 산출 수단과,
    각 상기 움직임 벡터에 대하여, 상기 순간적인 난잡도가 제1 임계값 이상이고, 상기 정상적인 난잡도가 제2 임계값 이상일 때, 상기 움직임 벡터를 제거하는 난잡 벡터 제거 수단과,
    과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수를, 각각 직전의 제거되지 않은 움직임 벡터의 위치와 대응하여 축적하는 적산값 축적 수단과,
    상기 적산값 축적 수단에 축적된 상기 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수를 판독하는 적산값 판독 수단,
    상기 적산값 축적 수단에 축적된 상기 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수와 현재의 제거되지 않은 움직임 벡터의 크기 및 위치를 이용하여 갱신하도록 하여, 새로운 움직임 벡터의 적산값 및 적산 횟수를 각각 산출하는 적산값 갱신 수단과,
    움직임 벡터마다의 상기 적산값의 크기가 제3 임계값 이상이고, 상기 적산값 갱신 수단에 의해 산출된 상기 움직임 벡터마다의 상기 적산 횟수가 제4 임계값 이상인 경우에, 각 상기 움직임 벡터에 대하여, 해당 움직임 벡터가 이동 물체의 것인 것으로 판정하는 이동 물체 검출 수단
    을 포함하는, 이동 물체 검출 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 이동 물체 검출 장치는, 현재의 상기 입력 화상에 기초하는 소정의 파라미터와, 상기 입력 화상에 기초하는 상기 파라미터의 분포를 나타내는 분포 파라미터의 차분을 산출하는 차분 수단을 포함하고,
    상기 난잡 벡터 제거 수단은, 각 상기 움직임 벡터에 대하여, 상기 순간적인 난잡도 및 상기 정상적인 난잡도와 상기 차분 수단에 의해 산출된 상기 차분에 기초하여 상기 이동 물체에 기인하지 않는다고 판정되는 상기 움직임 벡터를 제거하는, 이동 물체 검출 장치.
  5. 제4항에 있어서,
    상기 난잡 벡터 제거 수단은, 상기 순간적인 난잡도 및 상기 정상적인 난잡도의 쌍방이 소정의 임계값 이상이고, 상기 차분 수단에 의해 산출된 상기 차분이 소정의 임계값보다 작을 때 상기 움직임 벡터를 제거하는, 이동 물체 검출 장치.
  6. 제4항에 있어서,
    상기 파라미터는 현재의 상기 입력 화상에서의 휘도 레벨이고,
    상기 분포 파라미터는 상기 입력 화상의 휘도 레벨의 시간적인 평균값 및 시간적인 변동의 크기이고,
    상기 차분 수단은 현재의 상기 입력 화상에서의 상기 휘도 레벨과, 상기 입력 화상의 휘도 레벨의 시간적인 평균값과의 편차를 상기 차분으로 하는, 이동 물체 검출 장치.
  7. 제1항에 있어서,
    상기 움직임 벡터 산출 수단은,
    소정의 화상 해상도의 상기 입력 화상을 소정의 프레임 간격으로 상관 연산하는 제1 상관 연산 실행 수단과,
    상기 화상 해상도보다 저해상도의 제2 화상을 제1 프레임 간격과 다른 프레임 간격으로 상관 연산하는 제2 상관 연산 실행 수단과,
    상기 입력 화상의 동일 시간 및 동일 위치에 산출되는 상기 제1 상관 연산 실행 수단에 의해 산출된 제1 움직임 벡터 및 상기 제2 상관 연산 실행 수단에 의해 산출된 제2 움직임 벡터 중, 상기 움직임 벡터의 크기가 최대인 상기 제1 움직임 벡터 또는 상기 제2 움직임 벡터를 선택함으로써, 움직임 벡터를 통합하는 움직임 벡터 통합 수단을 포함하고,
    상기 난잡 벡터 제거 수단은, 상기 움직임 벡터 통합 수단에 의해 통합된 각 통합 움직임 벡터에 대하여, 상기 순간적인 난잡도가 상기 제1 임계값 이상이고, 상기 정상적인 난잡도가 제2 임계값 이상일 때, 상기 각 통합 움직임 벡터를 제거하는, 이동 물체 검출 장치.
  8. 삭제
  9. 제1항에 있어서,
    상기 움직임 벡터 산출 수단은,
    상기 입력 화상에 복수의 영역을 배치하는 영역 배치 수단과,
    과거의 상기 입력 화상을 축적하는 과거 화상 축적 수단과,
    상기 영역 배치 수단에 의해 배치된 상기 영역마다, 상기 과거 화상 축적 수단으로부터 판독한 과거의 상기 입력 화상과 현재의 상기 입력 화상과의 사이에서 상관 연산을 실행하도록 하여 상기 움직임 벡터를 연산하는 상관 연산 수단을 포함하고,
    상기 영역 배치 수단은, 각 상기 영역을 항상 일정 위치가 되도록 각각 배치하는, 이동 물체 검출 장치.
  10. 제9항에 있어서,
    상기 적산값 판독 수단은,
    상기 현재의 움직임 벡터의 위치로부터 해당 움직임 벡터와 역방향으로, 또한 해당 움직임 벡터의 크기만큼 공간적으로 떨어진 위치, 또는 그 근방의 위치와 대응된 과거의 각 상기 움직임 벡터의 상기 적산값 및 상기 적산 횟수로부터 하나의 상기 움직임 벡터의 상기 적산값 및 상기 적산 횟수를 선택하는, 이동 물체 검출 장치.
  11. 제10항에 있어서,
    상기 적산값 판독 수단은, 과거의 각 상기 움직임 벡터와 현재의 상기 움직임 벡터의 차분이 최소로 되는 과거의 상기 움직임 벡터의 상기 적산값 및 상기 적산 횟수를 선택하는, 이동 물체 검출 장치.
  12. 제10항에 있어서,
    상기 적산값 판독 수단은, 과거의 각 상기 움직임 벡터의 상기 적산값과 현재의 상기 움직임 벡터의 내적이 최대로 되는 과거의 상기 움직임 벡터의 상기 적산값 및 상기 적산 횟수를 선택하는, 이동 물체 검출 장치.
  13. 제10항에 있어서,
    상기 적산값 갱신 수단은, 과거의 상기 움직임 벡터를 축적하는 과거 벡터 축적 수단을 포함하고,
    상기 적산값 축적 수단에 축적된 과거의 각 상기 움직임 벡터의 상기 적산값 및 상기 적산 횟수 중, 상기 과거 벡터 축적 수단에 축적된 과거의 상기 움직임 벡터와, 상기 움직임 벡터 산출 수단에 의해 산출된 현재의 상기 움직임 벡터에 기초하여 상기 이동 물체에 기인하지 않는다고 판정되는 상기 위치와 대응된 상기 움직임 벡터의 상기 적산값 및 상기 적산 횟수를 리세트하는, 이동 물체 검출 장치.
  14. 이동 물체 검출 방법으로서,
    입력 화상으로부터 움직임 벡터를 산출하는 움직임 벡터 산출 스텝과,
    과거 벡터 축적 수단에 대하여, 과거의 움직임 벡터를 축적하는 과거 벡터 축적 스텝과,
    현재의 움직임 벡터를 포함하는 움직임 벡터군으로부터 현재의 순간적인 난잡도를 산출하고, 상기 과거 벡터 축적 수단으로부터 판독한 상기 과거의 움직임 벡터를 포함하는 움직임 벡터군에 기초하여 과거의 정상적인 난잡도를 산출하고, 상기 현재의 순간적인 난잡도와 상기 과거의 정상적인 난잡도에 기초하여, 현재의 정상적인 난잡도를 산출하는 난잡도 산출 스텝과,
    각 상기 움직임 벡터에 대하여, 상기 순간적인 난잡도가 제1 임계값 이상이고, 상기 정상적인 난잡도가 제2 임계값 이상일 때, 상기 움직임 벡터를 제거하는 난잡 벡터 제거 스텝과,
    적산값 축적 수단에 대하여, 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수를, 각각 직전의 제거되지 않은 움직임 벡터의 위치와 대응하여 축적하는 적산값 축적 스텝과,
    상기 적산값 축적 수단에 축적된 상기 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수를 판독하는 적산값 판독 스텝과,
    상기 적산값 축적 수단에 축적된 상기 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수와 현재의 제거되지 않은 움직임 벡터의 크기 및 위치를 이용하여 갱신하도록 하여, 새로운 움직임 벡터의 적산값 및 적산 횟수를 각각 산출하는 적산값 갱신 스텝과,
    상기 움직임 벡터마다의 상기 적산값의 크기가 제3 임계값 이상이고, 상기 적산값 갱신 스텝에서 산출된 상기 움직임 벡터마다의 상기 적산 횟수가 제4 임계값 이상인 경우에, 각 상기 움직임 벡터에 대하여, 해당 움직임 벡터가 이동 물체의 것인 것으로 판정하는 이동 물체 검출 스텝
    을 포함하는, 이동 물체 검출 방법.
  15. 이동 물체 검출 장치에 대하여,
    입력 화상으로부터 움직임 벡터를 산출하는 움직임 벡터 산출 스텝과,
    과거 벡터 축적 수단에 대하여, 과거의 움직임 벡터를 축적하는 과거 벡터 축적 스텝과,
    현재의 움직임 벡터를 포함하는 움직임 벡터군으로부터 현재의 순간적인 난잡도를 산출하고, 상기 과거 벡터 축적 수단으로부터 판독한 상기 과거의 움직임 벡터를 포함하는 움직임 벡터군에 기초하여 과거의 정상적인 난잡도를 산출하고, 상기 현재의 순간적인 난잡도와 상기 과거의 정상적인 난잡도에 기초하여, 현재의 정상적인 난잡도를 산출하는 난잡도 산출 스텝과,
    각 상기 움직임 벡터에 대하여, 상기 순간적인 난잡도가 제1 임계값 이상이고, 상기 정상적인 난잡도가 제2 임계값 이상일 때, 상기 움직임 벡터를 제거하는 난잡 벡터 제거 스텝과,
    적산값 축적 수단에 대하여, 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수를, 각각 직전의 제거되지 않은 움직임 벡터의 위치와 대응하여 축적하는 적산값 축적 스텝과,
    상기 적산값 축적 수단에 축적된 상기 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수를 판독하는 적산값 판독 스텝과,
    상기 적산값 축적 수단에 축적된 상기 과거의 각 제거되지 않은 움직임 벡터의 적산값 및 적산 횟수와 현재의 제거되지 않은 움직임 벡터의 크기 및 위치를 이용하여 갱신하도록 하고, 새로운 움직임 벡터의 적산값 및 적산 횟수를 각각 산출하는 적산값 갱신 스텝과,
    상기 움직임 벡터마다의 상기 적산값의 크기가 제3 임계값 이상이고, 상기 적산값 갱신 스텝에서 산출된 상기 움직임 벡터마다의 상기 적산 횟수가 제4 임계값 이상인 경우에, 각 상기 움직임 벡터에 대하여, 해당 움직임 벡터가 이동 물체의 것인 것으로 판정하는 이동 물체 검출 스텝
    을 실행시키는 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.
KR20060023901A 2005-03-16 2006-03-15 이동 물체 검출 장치 및 방법과 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체 KR101237155B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005075482A JP4623368B2 (ja) 2005-03-16 2005-03-16 移動物体検出装置、移動物体検出方法及びプログラム
JPJP-P-2005-00075482 2005-03-16

Publications (2)

Publication Number Publication Date
KR20060100257A KR20060100257A (ko) 2006-09-20
KR101237155B1 true KR101237155B1 (ko) 2013-02-25

Family

ID=36576031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20060023901A KR101237155B1 (ko) 2005-03-16 2006-03-15 이동 물체 검출 장치 및 방법과 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체

Country Status (5)

Country Link
US (1) US7969470B2 (ko)
EP (1) EP1703466B8 (ko)
JP (1) JP4623368B2 (ko)
KR (1) KR101237155B1 (ko)
CN (1) CN100562104C (ko)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4662142B2 (ja) * 2004-08-13 2011-03-30 ソニー株式会社 移動物体検出装置及び方法
GB2418312A (en) 2004-09-18 2006-03-22 Hewlett Packard Development Co Wide area tracking system
GB2418311A (en) * 2004-09-18 2006-03-22 Hewlett Packard Development Co Method of refining a plurality of tracks
JP4816321B2 (ja) * 2006-08-14 2011-11-16 ソニー株式会社 認証装置及び認証方法並びにプログラム
JP4558696B2 (ja) * 2006-09-25 2010-10-06 パナソニック株式会社 動物体自動追尾装置
US20080166052A1 (en) * 2007-01-10 2008-07-10 Toshinobu Hatano Face condition determining device and imaging device
US20080310677A1 (en) * 2007-06-18 2008-12-18 Weismuller Thomas P Object detection system and method incorporating background clutter removal
JP4751871B2 (ja) * 2007-11-07 2011-08-17 日本電信電話株式会社 撮像対象検出装置および方法
JP4508257B2 (ja) * 2008-03-19 2010-07-21 ソニー株式会社 構図判定装置、構図判定方法、プログラム
TWI381717B (zh) * 2008-03-31 2013-01-01 Univ Nat Taiwan 數位視訊動態目標物體分割處理方法及系統
JP5456022B2 (ja) * 2008-04-14 2014-03-26 ジーブイビービー ホールディングス エス．エイ．アール．エル． オブジェクトを自動的に追跡する技術
US10645346B2 (en) 2013-01-18 2020-05-05 Careview Communications, Inc. Patient video monitoring systems and methods having detection algorithm recovery from changes in illumination
JP5074322B2 (ja) * 2008-08-05 2012-11-14 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
US20100091859A1 (en) * 2008-10-09 2010-04-15 Shao-Yi Chien Motion compensation apparatus and a motion compensation method
JP5284048B2 (ja) * 2008-11-12 2013-09-11 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
FR2938943B1 (fr) * 2008-11-21 2010-11-12 Thales Sa Systeme multiprocesseur.
EP2227012A1 (en) 2009-03-05 2010-09-08 Sony Corporation Method and system for providing reliable motion vectors
JP5272886B2 (ja) * 2009-05-14 2013-08-28 ソニー株式会社 動体検出装置と動体検出方法およびコンピュータ・プログラム
TWI390970B (zh) * 2009-07-22 2013-03-21 Altek Corp Use motion detection to adjust the digital camera's shooting settings
JP5644097B2 (ja) 2009-12-08 2014-12-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5409342B2 (ja) * 2009-12-25 2014-02-05 キヤノン株式会社 撮像装置及びその制御方法
TWI475882B (zh) * 2009-12-30 2015-03-01 Altek Corp Motion detection method using the adjusted digital camera of the shooting conditions
US20110205359A1 (en) * 2010-02-19 2011-08-25 Panasonic Corporation Video surveillance system
JP2011192141A (ja) * 2010-03-16 2011-09-29 Sony Corp 動体検出装置と動体検出方法およびプログラム
JP2011210179A (ja) * 2010-03-30 2011-10-20 Sony Corp 移動物体検出装置及び方法、並びにプログラム
TW201219955A (en) * 2010-11-08 2012-05-16 Hon Hai Prec Ind Co Ltd Image capturing device and method for adjusting a focusing position of an image capturing device
TWI491244B (zh) * 2010-11-23 2015-07-01 Mstar Semiconductor Inc 調整物件三維深度的方法與裝置、以及偵測物件三維深度的方法與裝置
JP4855556B1 (ja) * 2011-03-22 2012-01-18 株式会社モルフォ 動体検出装置、動体検出方法、動体検出プログラム、動体追跡装置、動体追跡方法及び動体追跡プログラム
JP5776769B2 (ja) 2011-05-24 2015-09-09 富士通株式会社 物体接近検知装置、物体接近検知方法、及びプログラム
WO2013021767A1 (ja) * 2011-08-10 2013-02-14 富士フイルム株式会社 動体検出装置及び方法
CN104011684B (zh) * 2011-12-22 2018-01-26 英特尔公司 具有内嵌中断服务功能的中断返回指令
TWI471814B (zh) * 2012-07-18 2015-02-01 Pixart Imaging Inc 降低背景干擾的手勢判斷方法及其裝置
KR101975206B1 (ko) * 2012-11-23 2019-05-07 삼성전자주식회사 시간상 연속하는 물체의 움직임들에 대응하는 이미지 데이터들을 프로세싱하는 방법 및 장치
KR101783990B1 (ko) * 2012-12-21 2017-10-10 한화테크윈 주식회사 디지털 영상 처리 장치 및 영상의 대표 움직임 예측 방법
US10373470B2 (en) 2013-04-29 2019-08-06 Intelliview Technologies, Inc. Object detection
EP2992365B1 (en) * 2013-04-29 2018-04-04 Intelliview Technologies Inc. Object detection
DE102013013065A1 (de) * 2013-08-06 2015-02-12 Daimler Ag Verfahren zum Bestimmen eines Geschwindigkeitsvektors für ein Gestenerkennungssystem in einem Kraftwagen und Vorrichtung zum Durchführen des Verfahrens
KR102150705B1 (ko) * 2014-01-22 2020-09-01 한화테크윈 주식회사 영상 처리 장치 및 방법
CA2847707C (en) 2014-03-28 2021-03-30 Intelliview Technologies Inc. Leak detection
KR101472077B1 (ko) * 2014-04-01 2014-12-16 주식회사 베스트디지탈 누적된 객체 특징을 기반으로 하는 감시 시스템 및 방법
JP6049024B2 (ja) * 2014-08-11 2016-12-21 株式会社チャオ 画像伝送装置、画像伝送方法および画像伝送プログラム
JP6222703B2 (ja) * 2014-12-05 2017-11-01 株式会社チャオ ヒートマップ画像生成装置、ヒートマップ画像生成方法およびヒートマップ画像生成プログラム
US10943357B2 (en) 2014-08-19 2021-03-09 Intelliview Technologies Inc. Video based indoor leak detection
KR102474837B1 (ko) * 2015-09-14 2022-12-07 주식회사 한화 전경 추출 방법 및 장치
JP6283008B2 (ja) * 2015-10-13 2018-02-21 セコム株式会社 追跡装置
ITUB20159613A1 (it) * 2015-12-14 2017-06-14 St Microelectronics Srl Procedimento e sistema di clustering, apparecchiatura e prodotto informatico corrispondenti
US10317519B2 (en) * 2016-04-15 2019-06-11 Huawei Technologies Co., Ltd. Systems and methods for environment sensing using radar
CN106033615B (zh) * 2016-05-16 2017-09-15 北京旷视科技有限公司 目标对象运动方向检测方法和装置
US10755419B2 (en) * 2017-01-30 2020-08-25 Nec Corporation Moving object detection apparatus, moving object detection method and program
US10410371B2 (en) 2017-12-21 2019-09-10 The Boeing Company Cluttered background removal from imagery for object detection
WO2019239479A1 (ja) * 2018-06-12 2019-12-19 オリンパス株式会社 画像処理装置および画像処理方法
WO2021117148A1 (ja) * 2019-12-10 2021-06-17 株式会社ソシオネクスト 画像処理装置、画像処理方法及びプログラム
JP7458138B2 (ja) * 2019-12-27 2024-03-29 株式会社アダコテック 情報処理システム、情報処理装置、端末装置、情報処理方法及びプログラム
CN111541844B (zh) * 2020-04-22 2021-12-17 浙江大华技术股份有限公司 云台控制摄像机的物距预测方法、装置及存储设备
CN117238090B (zh) * 2023-11-10 2024-01-23 成都侠易科技有限公司 救生设备移位监测方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3779494B2 (ja) * 1998-06-03 2006-05-31 松下電器産業株式会社 動き検出装置及び記録媒体
JP4343325B2 (ja) 1999-05-14 2009-10-14 富士通株式会社 移動物体検知装置
US6809758B1 (en) * 1999-12-29 2004-10-26 Eastman Kodak Company Automated stabilization method for digital image sequences
JP2002077898A (ja) * 2000-08-23 2002-03-15 Hitachi Ltd 移動物体検出システム
JP2003169319A (ja) 2001-11-30 2003-06-13 Mitsubishi Electric Corp 映像監視装置
US7880769B2 (en) * 2004-02-13 2011-02-01 Qualcomm Incorporated Adaptive image stabilization

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Jin-Sung Lee et al,"Moving target tracking algorithm based on the confidence measure of motion vectors", Proc. 2001 Inter. conference on Image processing. Oct. 7-10, 2001. *
Vetro A et al,"Object-based coding for long-term archive of surveillance video", Proc. of the 2003 Inter. conference of Multimedia and Expo: 6-9, July 2003. *

Also Published As

Publication number Publication date
US7969470B2 (en) 2011-06-28
JP4623368B2 (ja) 2011-02-02
CN1856098A (zh) 2006-11-01
KR20060100257A (ko) 2006-09-20
EP1703466B1 (en) 2013-11-06
EP1703466B8 (en) 2014-01-08
EP1703466A3 (en) 2012-02-22
CN100562104C (zh) 2009-11-18
US20060244866A1 (en) 2006-11-02
EP1703466A2 (en) 2006-09-20
JP2006260049A (ja) 2006-09-28

Similar Documents

Publication Publication Date Title
KR101237155B1 (ko) 이동 물체 검출 장치 및 방법과 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
KR101582479B1 (ko) 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법
KR100377067B1 (ko) 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치
JP4878644B2 (ja) 移動物体ノイズ除去処理装置及び移動物体ノイズ除去処理プログラム
US8300924B2 (en) Tracker component for behavioral recognition system
JP4776587B2 (ja) 画像処理装置，運転支援装置
CN111246091B (zh) 一种动态自动曝光控制方法和装置及电子设备
JP2006079594A (ja) 移動物体検出装置及び方法
WO2014084218A1 (ja) 対象物検知装置
KR20150084939A (ko) 비디오 감시 시스템들에 대한 이미지 안정화 기술들
JPWO2012127815A1 (ja) 移動体検出装置および移動体検出方法
CN104700430A (zh) 机载显示器的运动检测方法
US20140015984A1 (en) Detecting and responding to an out-of-focus camera in a video analytics system
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
US10789682B2 (en) Apparatus, system, and method for enhancing an image
WO2010113417A1 (ja) 移動物体追跡装置、移動物体追跡方法および移動物体追跡プログラム
JP2021515482A (ja) 光学センサの内蔵試験のためのシステムおよび方法
CN113450385B (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质
JP3763279B2 (ja) 物体抽出システム、物体抽出方法および物体抽出プログラム
JP4236154B2 (ja) 電力線の揺れ解析用画像における気象性ノイズの除去方法および装置およびプログラム
KR101468861B1 (ko) 영상으로부터 전경탐지 속도 향상을 위한 능동적 집중 샘플링 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
CN117975315B (zh) 一种基于无人机影像的库区地质灾害差分识别方法
Huber et al. Bio-inspired'surprise'for real-time change detection in visual imagery
EP4060983A1 (en) A method for accumulating events using an event-based vision sensor and overlapping time windows
JP2011028371A (ja) 移動体検知装置および移動体検知方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee