KR20030013092A - 이동물체 자동 추적장치 및 방법 - Google Patents

이동물체 자동 추적장치 및 방법 Download PDF

Info

Publication number
KR20030013092A
KR20030013092A KR1020010047410A KR20010047410A KR20030013092A KR 20030013092 A KR20030013092 A KR 20030013092A KR 1020010047410 A KR1020010047410 A KR 1020010047410A KR 20010047410 A KR20010047410 A KR 20010047410A KR 20030013092 A KR20030013092 A KR 20030013092A
Authority
KR
South Korea
Prior art keywords
moving object
tracking
image
tracking window
unit
Prior art date
Application number
KR1020010047410A
Other languages
English (en)
Other versions
KR100792283B1 (ko
Inventor
조재수
이이즈카 히로시
카즈히로 다나까
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020010047410A priority Critical patent/KR100792283B1/ko
Priority to JP2002229202A priority patent/JP3667306B2/ja
Priority to US10/212,142 priority patent/US6993158B2/en
Priority to DE60237063T priority patent/DE60237063D1/de
Priority to CNB021425612A priority patent/CN1198451C/zh
Priority to EP02255507A priority patent/EP1283499B1/en
Publication of KR20030013092A publication Critical patent/KR20030013092A/ko
Application granted granted Critical
Publication of KR100792283B1 publication Critical patent/KR100792283B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 입력영상을 신호처리하여 이동물체를 자동으로 추적할 수 있는 장치 및 방법에 관한 것이다. 본 장치는 감시영역에 대하여 촬영된 영상을 이진화된 디스터번스영상으로 변환한 후, 임의의 크기를 가진 초기추적창을 통한 무빙윈도우 개념을 이용하여 추적창 내의 움직임이 있는 픽셀수를 계산하고, 픽셀수가 최대인 위치에 초기추적창을 위치시키며, 이동물체를 포함하도록 추적창의 크기를 조정한다. 그리고 이동물체에 대한 정보 및 추적창에 대한 정보를 획득한 후, 이전 획득된 정보를 토대로 후속프레임에서 이동물체가 이동될 지점을 예측하고, 그 예측지점에 크기 조정된 추적창을 위치시킨다. 이후, 추적창 내에서 후속프레임을 통한 실제 이동물체의 움직임 정보를 계산하여 추적결과에 따라 계속적으로 이동물체에 대한 추적을 수행하거나 이동물체에 대한 정보를 다시 획득하도록 한다. 여기서 영상신호처리를 통한 이동물체 자동 추적 수행중 촬영방향 이동 및 추적창의 크기와 이동물체의 크기의 비를 통한 줌 인/아웃 등과 같은 촬영제어동작은 영상신호처리와 시분할적으로 수행되도록 한다. 이에 따라 입력영상에 대한 신호처리속도가 향상되며, 감시영역 내의 이동물체에 대한 감시기능을 개선할 수 있게 된다.

Description

이동물체 자동 추적장치 및 방법{Device and method for auto tracking moving object }
본 발명은 이동물체 자동 추적장치 및 방법에 관한 것으로서, 특히 입력영상의 신호처리를 통해 이동물체를 자동으로 감지하고, 감시영역을 벗어나기까지 계속해서 추적할 수 있는 이동물체 자동 추적장치 및 방법에 관한 것이다.
입력된 영상정보에서 움직이는 물체를 자동으로 감지하고, 추적할 수 있도록 설계된 이동물체 추적 시스템이 국내외적으로 다양하게 제안되어 왔다.
다음은 영상정보를 통하여 이동물체를 추적하는 대표적인 방법들이다.
1. 두 프레임간의 차신호를 이용한 추적기법
2. 코릴레이션(Correlation : Block Matching Algorithm)을 이용한 추적기법
3. 디스터번스 맵(Disturbance Map)을 이용한 추적기법
4. 칼라 분포를 이용한 추적기법
5. 광류(Optical flow)를 이용한 추적기법
위의 추적기법들은 입력영상으로부터 이동물체를 추출하는데 각각 그 장단점을 가지고 있으나, 개개의 실험결과를 분석하였을 때, 속도나 정확성면에서 많은 문제점들이 노출되어 상용화에는 다소 어려움이 따르고 있었다.
최근 위와 같은 이동물체 추적기법을 복합적으로 적용하여 상용화에 근접한 다중이동물체 추적 감시 시스템이 대한민국 공개특허(출원번호: 10-2000-22818)에 개시되었다.
개시된 다중이동물체 추적 감시 시스템은 크게 광역감시장치와 지역감시장치로 구성된다. 광역감시장치는 고정된 카메라가 넓은 영역을 감시하여 감시범위 내에 있는 모든 움직이는 물체를 등록 및 추적하고, 등록된 이동물체들 가운데 추적하고자 하는 이동물체에 대해 지역감시장치에 추적 명령을 전달하여 지역감시장치로 하여금 이동물체가 감시영역을 벗어날 때까지 추적하도록 하고 있다.
도 1은 종래 다중이동물체 추적 감시 시스템의 지역감시장치를 나타낸 블록도이다.
지역감시장치(100)는 카메라(10), 카메라(10)로부터 전달된 영상을 입력받는 영상입력부(20), 입력영상의 잡음성분을 제거하기 위한 영상보정부(30), 보정된 영상신호에서 디스터번스 맵을 이용하여 이동물체의 움직임을 검출하는 움직임검출부(40), 영상신호에서 이동물체를 분리하기 위한 움직임물체추출부(50), 추출된 물체의 위치 및 속도 정보를 이용하여 움직임 물체를 추적하는 움직임물체추적부(60), 그리고 카메라(10)의 이동에 따른 입력영상의 보정을 수행하는 카메라이동보정부(70)로 구성된다.
위와 같은 구성을 갖는 지역감시장치(100)의 동작을 도 2의 순서도를 참조하여 설명하면 다음과 같다.
먼저, 카메라(10)를 통해 촬영된 영상이 영상입력부(20)에 입력되면(S1), 입력된 영상신호에 대해 영상보정부(30)에서 잡음성분을 제거하기 위한 필터링을 수행하고(S2), 카메라이동보정부(70)에서 카메라(10)의 움직임에 대한 보정을 수행한다(S3). 그 다음 움직임검출부(40)에서 보정된 영상신호에 대하여 디스터반스 맵 알고리즘을 통해 물체의 움직임을 검출한다(S4). 움직임물체추출부(50)에서는 실제 움직임이 있는 물체를 배경으로부터 분리하기 위해 디스터번스 맵을 통해 추출된 움직임 영역에서 영상분할 및 병합을 이용하여 실제 이동물체를 추출한다(S5). 그 다음 움직임물체추출부(50)에서는 추출된 이동물체의 위치 및 속도정보를 칼만필터(Kalman Filter)를 이용한 예측 알고리즘에 적용하여 물체의 다음위치를 예측하고 추적한다(S6). 그리고 추적중인 물체가 정지하여 움직임이 없어지거나 여러물체가 교차하여 정확한 추적이 어렵게 되면, 블록정합법을 이용하여 물체를 추적한다(S7). 이렇게 물체의 이동이 검출되면 이동물체의 움직임에 따라 카메라를 이동시킨다(S8). 이후, 상기 과정을 반복하여 움직이는 물체를 계속적으로 추적하게 된다.
위의 종래 다중이동물체 추적 감시 시스템은 다양한 알고리즘이 이용되고 있는데, 대표적인 알고리즘으로는 움직이는 물체를 자동으로 획득 또는 추출하기 위한 디스터번스 맵 알고리즘과 추적을 위한 블록정합 알고리즘을 사용하고 있다.
그러나 상기와 같은 종래의 이동물체 추적장치에 있어서는, 이동물체의 추출을 위한 디스터번스 맵 알고리즘이 카메라가 정지해 있을 경우에는 추출성능이 우수하지만, 카메라가 움직이는 경우에는 그에 따른 영상보정이 필수적으로 요구되어 그에 따른 카메라 보정 알고리즘을 이용하고 있는데, 이는 그만큼 시스템에서 처리할 데이터 량이 증가하게 되어 처리속도에 부담이 되며 또한 정확한 영상보정이 이루어질 수 없는 이유로 영상보정 오차가 이동물체에 대한 추적오차가 되는 단점을 가지고 있다.
또한, 종래기술에 이용되는 블록정합 알고리즘은 물체가 이동하면서 크기, 모양, 밝기 등이 변할 경우 그 추적성능이 저하되어 블록의 크기가 커질수록 처리속도가 떨어지는 문제점과 추적오차가 매 프레임 축적되어 결국에는 움직이는 물체가 블록정합하는 기준블록에서 벗어나게 되는 문제점을 가지게 된다.
본 발명의 목적은 상기와 같은 문제점을 해결하기 위하여 고정된 카메라를 이용한 이동물체 추적에 가장 좋은 성능을 가지고 있는 디스터번스 맵 알고리즘의 장점을 그대로 이용하면서, 카메라 이동에 따른 보정과정이 필요 없는 새로운 추적방법을 제공하며, 이동물체에 대한 정보를 얻기 위해서 최소한의 영상처리만 함으로서 처리속도를 개선하고, 이동물체의 이동 및 환경변화에 따른 적절한 대응으로 추적성능을 향상시킬 수 있는 이동물체 자동 추적장치 및 방법을 제공하는 데 있다.
도 1은 종래 이동물체 추적장치의 블록도,
도 2는 도 1의 동작을 설명하는 순서도,
도 3은 본 발명에 따른 이동물체 추적장치의 블록도,
도 4는 도 3에 보인 이진화디스터번스영상생성부의 세부 블록도,
도 5는 본 발명에 따른 이동물체 추적방법을 설명하는 순서도,
도 6은 무빙윈도우의 개념을 설명하기 위한 개념도,
도 7은 이동물체획득과정을 나타낸 도면,
도 8은 이동물체자동추적과정을 나타낸 도면,
도 9는 영상신호처리와 카메라제어 동작에 대한 타이밍도,
도 10은 도 9의 또 다른 실시예를 나타낸 타이밍도,
도 11은 전체영상에서 카메라 팬/틸트 제어가 필요한 영역과 필요하지 않은 영역을 나타낸 도면, 그리고
도 12는 전체영상에서 추적창의 크기에 따라서 카메라의 줌 인/아웃 제어가 필요한 영역과 필요하지 않은 영역을 나타낸 도면이다.
*도면의 주요부분에 대한 부호의 설명*
110 : 촬영부 120 : 전처리부
121 : A/D 변환기 122 : 해상도조정부
123 : 필터 130 : 이진화디스터번스영상생성부
132 : 리커시브필터 134 : 헤드라이트방지부
134-1, 134-2 : 비교기 134-3 : 오어게이트
140 : 이동물체획득부 141 : 추적창조정부
142 : MDF계산부 150 : 이동물체자동추적부
160 : 추적상태판단부 170 : 촬영제어부
상기의 목적을 달성하기 위한 본 발명의 이동물체 추적장치는 감시영역을 촬영하는 촬영부; 상기 촬영부를 통해 획득한 입력영상으로부터 이진화된 디스터번스 영상을 생성하는 이진화디스터번스 영상생성부; 상기 이진화된 디스터번스 영상으로부터 미리 설정된 크기의 초기추적창을 통한 무빙윈도우를 이용하여 이동물체에 대한 정보를 획득하고, 상기 이진화된 디스터번스 영상 내에서 이동물체를 포함하도록 상기 초기추적창의 크기를 조정하는 이동물체획득부; 상기 이동물체의 중심에 대한 현재 획득정보와 이전 획득정보를 토대로 후속프레임에서의 상기 이동물체의 중심이 이동될 지점을 예측하고, 상기 이동물체의 중심 이동 예측지점에 상기 추적창의 중심을 위치 이동시키며, 상기 추적창 내에서 후속프레임을 통한 상기 이동물체의 실제 중심과 추적창의 크기정보를 획득하는 이동물체자동추적부; 및 상기 후속프레임을 통한 상기 이동물체의 실제 획득정보와 상기 이동물체에 대한 예측정보를 비교하고 오차범위에 따라 추적상태의 결과를 판단하는 추적상태 판단부;를 포함한다.
또한, 상기 이동물체 추적장치는 상기 촬영부로부터 입력된 영상에 대하여 신호처리속도를 향상시키고, 잡음을 제거하기 위하여 입력영상전처리부를 더 포함한다.
또한, 상기 이동물체 추적장치는 상기 입력영상 전체영역에 대하여 상기 추적창의 중심이 설정된 범위 이외에 위치하면 상기 이동물체 이동 예측방향으로 상기 촬영부의 촬영방향을 제어하고, 이동물체의 크기 정보를 이용하여 자동적으로줌 인/아웃하는 촬영제어부를 더 포함한다. 이때, 상기 촬영부의 제어와 입력영상에 대한 신호처리는 시분할적으로 분리되어 수행되도록 한다.
상기의 목적을 달성하기 위한 본 발명의 이동물체 자동 추적방법은 감시영역을 촬영하는 단계; 촬영을 통해 획득한 입력영상으로부터 이진화된 디스터번스 영상을 생성하는 단계; 상기 이진화된 디스터번스 영상으로부터 미리 설정된 크기의 초기추적창을 통한 무빙윈도우를 이용하여 이동물체에 대한 정보를 획득하는 단계; 상기 이진화된 디스터번스 영상 내에서 이동물체를 포함하도록 상기 초기추적창의 크기를 조정하는 단계; 상기 이동물체의 중심에 대한 현재 획득정보와 이전 획득정보를 토대로 후속프레임에서의 상기 이동물체의 중심이 이동될 지점을 예측하는 단계; 상기 이동물체의 중심 이동 예측지점에 상기 추적창의 중심을 위치시키는 단계; 상기 후속프레임의 상기 추적창 내에서 상기 이동물체의 실제 중심과 추적창의 크기정보를 획득하는 단계; 및 상기 후속프레임을 통한 상기 이동물체의 실제 획득정보와 상기 이동물체에 대한 예측정보를 비교하고 오차범위에 따라 추적상태의 결과를 판단하는 단계를 포함한다.
또한, 상기 이동물체 자동 추적방법은 상기 촬영을 통해 입력된 영상에 대하여 신호처리속도를 향상시키고, 잡음을 제거하기 위하여 입력영상을 전처리하는 단계를 더 포함한다.
또한, 상기 이동물체 추적방법은 상기 입력영상 전체영역에 대하여 검출된 이동물체의 중심이 설정된 범위 내에 위치하면 촬영 제어를 수행하지 않고, 움직이는 물체의 중심이 설정된 범위를 벗어나면 촬영 제어가 수행되도록 하는 기능을 포함한다. 이때, 촬영 제어와 입력영상의 신호처리는 서로 시분할적으로 분리되어 수행되도록 한다.
이상과 같은 이동물체 자동 추적장치 및 방법은 이동물체 자동 추적시 최소한의 영상크기만을 처리하여 처리속도를 향상시킬 수 있게 되며, 추적을 위하여 촬영방향 이동시 촬영방향제어와 영상신호처리가 서로 시분할적으로 분리되어 수행되므로 카메라 움직임에 대한 영상보정이 요구되지 않아 데이터 처리에 대한 부담을 줄일 수 있고, 디스터번스 맵 알고리즘의 장점을 그대로 이용할 수 있으므로 추적의 정확성을 높일 수 있다.
이하 첨부한 도면을 참조하여 본 발명을 상세하게 설명한다.
도 3은 본 발명에 따른 이동물체 추적장치의 블록도이다.
이동물체 추적장치(200)는 촬영부(110), 입력영상전처리부(120), 이진화디스터번스영상생성부(130), 이동물체획득부(140), 이동물체자동추적부(150), 추적상태 판단부(160) 및 촬영제어부(170)를 구비한다.
촬영부(110)는 감시영역을 촬영하여 아날로그 영상신호를 출력한다.
입력영상전처리부(120)는 전체 입력영상에서 원하는 정보(움직이는 물체의 중심값 및 크기)를 최단시간에 얻기 위하여 입력된 아날로그 영상신호에 대하여 디지털신호로 변환하는 A/D 컨버터(121)와, 입력영상의 해상도를 조정하는 해상도조정부(122)와, 해상도가 조정된 입력영상에서 각종 잡음을 제거하기 위해 필터링을 수행하는 필터(123)를 구비한다.
이진화디스터번스영상생성부(130)는 전처리된 입력영상에서 배경과 이동물체의 분리를 수행하기 위하여 디스터번스 맵 알고리즘을 통해 입력영상을 이진화 영상으로 변환한다.
도 4는 이진화디스터번스생성부에 대한 상세 블록도이다.
이진화디스터번스생성부(130)는 입력영상과 이전까지의 입력 영상의 평균영상을 통해 디스터번스 필드를 얻는 리커시브필터(132) 및 리커시브필터(132)를 통해 획득한 디스터번스 필드의 절대값과 제 1 임계값(디스터번스 임계값(threshold))을 비교한 결과에 따라 각 픽셀에 대하여 이진화된 디스터번스 영상을 출력하는 영상분할부(136)를 구비한다. 또한, 이진화디스터번스영상생성부(130)는 자동차 등의 헤드라이트(headlight)와 같은 환경변화요소에 의해 이동물체 영역이 오판될 수 있는 것을 방지하기 위하여 각 픽셀의 이진값 결정에 영향을 미치는 헤드라이트방지부(134)를 더 구비한다.
헤드라이트 방지부(134)는 입력영상과 현재프레임의 디스터번스 필드를 각각 제 2 임계값과 비교하는 제 1(134-1) 및 제 2 비교기(134-2)와, 제 1 및 제 2 비교기(134-1)(134-2)의 출력값을 OR연산하는 OR게이트(134-3)를 구비한다.
이동물체획득부(140)는 처음 추적을 시작할 때 또는 추적을 실패한 후 다시 이동물체를 획득할 경우에 추적창을 이용하여 이동물체에 대한 중심값 및 크기 정보를 획득한다. 즉, 이동물체 획득시 미리 설정된 크기를 갖는 초기추적창을 통한 무빙윈도우 개념을 이용하여 설정된 범위 내의 각 픽셀에 대한 MDF(Motion Disturbance Function)를 전체 입력영상에서 병렬적으로 계산하는 MDF계산부(142)와, MDF가 가장 큰 지점을 찾은 후 그 지점을 중심으로 실제 추적창 내에서의 이동물체 중심과 이동물체의 크기를 계산하여 추적창의 크기를 조정하는 추적창조정부(141)를 포함한다. 여기서 MDF계산부(142)는 초기추적창 내의 초기좌표로부터 최종좌표까지의 이진값을 합산하여 중심좌표에 해당하는 픽셀의 MDF(Moving Disturbance Function) 값으로 결정한다. 이렇게 이동물체획득부(140)에서 획득된 이동물체의 중심정보는 궁극적으로 촬영부(110)의 팬/틸트를 제어하는 데 이용되고, 추적창의 크기정보는 촬영부(110)의 줌 인/아웃 제어에 이용된다.
이동물체자동추적부(150)는 이동물체획득부(140)에서 이동물체의 중심에 대한 현재 획득정보와 이전 획득정보를 토대로 후속프레임에서의 이동물체의 중심이 이동될 지점을 예측하고, 이동물체의 중심 이동 예측지점에 크기 조정된 추적창의 중심을 위치 이동시키며, 위치 이동된 추적창 내에서 후속프레임의 실제 이동물체의 중심과 추적창의 크기정보를 획득한다. 즉, 후속프레임에서는 크기 조정된 추적창 내의 이진화된 디스터번스 영상신호만을 처리하게 되므로 전체영상에 대해 영상신호처리 할 필요가 없게 된다.
추적상태판단부(160)는 후속프레임을 통한 이동물체의 실제 획득정보와 이동물체에 대한 예측정보를 비교하고 오차범위에 따라 추적상태의 결과를 판단한다. 또한, 추적창 내의 이진화된 디스터번스 화소수를 검사함으로써 추적상태를 판단할 수도 있다. 여기서 추적상태의 오차범위가 설정치 이내이면 계속적으로 이동물체 자동추적부(150)를 통해 추적창의 영역만 신호처리하면서 이동물체를 추적하며, 설정치 이상이면 이동물체획득부(140)를 통해 입력영상 전체에 대하여 이동물체에 대한 정보를 재획득하게 되고, 다시 자동 추적하는 과정을 반복하게 된다.
촬영제어부(170)는 입력영상 전체영역에 대하여 추적창의 중심이 설정된 범위 이외에 위치하면 상기 이동물체 이동 예측방향으로 촬영부(110)의 촬영방향을 제어한다. 또한, 예측지점에 위치한 추적창의 크기에 대하여 후속프레임에서 획득한 이동물체의 크기가 일정비율로 유지되도록 줌 인/아웃 제어가 수행되도록 촬영부(110)를 제어한다. 여기서 촬영제어부(170)의 팬/틸트, 줌 인/아웃 및 촬영방향 제어와 같은 촬영제어와 입력영상에 대한 신호처리는 서로 시분할적으로 수행되도록 한다.
이하 도 5의 순서도를 참조하여 본 발명에 따른 이동물체 추적방법을 설명한다.
먼저, 촬영부(110)에서 감시영역을 촬영하여 획득한 입력영상에 대하여 전처리를 수행한다(S20). 전처리과정(20)은 신호처리속도를 향상시킬 수 있도록 해상도를 조정하고(S21), 해상도 조정된 입력영상에서 잡음을 제거하기 위하여 필터링을 수행한다(S22). 그리고 전처리된 입력영상을 디스터번스 맵 알고리즘을 통해 이진화된 디스터번스 영상으로 변환한다(S30).
디스터번스 맵 알고리즘은 현재 입력영상(It)과 배경영상(이전까지 입력된 영상의 평균영상(At-1))의 차를 이용해 디스터번스 필드(ㅿt)를 생성하고, 이것을 이용하여 물체의 움직임 영역을 검출한다. 이를 위하여 이전 프레임까지(At-1)의 평균에 시간가중치(historical weight)를 두어 배경영상(At)을 생성한다. 다음은 현재입력영상에 대하여 각각 디스터번스 영상과 배경영상을 구하는 식이다.
{ At: 현재프레임의 배경영상 또는 평균영상
ㅿt: 디스터번스 영상
At-1: 이전프레임까지의 배경영상 또는 평균영상
It: 현재 입력 영상
K : 이득 (Gain)
Lim: 리미터 }
위 [수학식 1]의 디스터번스 영상을 통해서 나온 신호를 임계값 1 및 임계값 2를 이용하여 영상분할한다. 즉 물체가 움직이는 영역에서는 '1'값을 가지며, 움직임이 없는 영역에서는 '0'값을 갖도록 영상분할하게 되는 것이다.
여기서 이진화된 디스터번스 영상의 화면 출력 형태는 움직임이 발생한 부분에 대해서는 백색으로 표시되며, 배경 영역은 흑색으로 표시된다. 한편, 본 발명에서는 자동차 등의 헤드라이트에 의해 움직임영역이 오판되는 것을 방지할 수 있도록 헤드라이트방지부(136)의 출력결과가 각 픽셀에 대한 이진값을 결정하는 변수로동작한다. 이를 통해 이동물체의 오인식을 줄일 수 있게 된다.
위와 같이 입력영상이 이진화된 디스터번스 영상으로 변환되면 이동물체획득부(140)에서는 이진화된 디스터번스 영상으로부터 미리 설정된 크기의 초기추적창을 통해 이동물체의 중심 및 크기 정보를 획득한다(S40). 즉, 전체영상의 이동물체가 존재하는 부분에서 이동물체의 중심값 및 이동물체 추적창의 크기정보를 획득한다. 이러한 이동물체에 대한 정보를 획득하기 위하여 이진화된 디스터번스 영상에서 무빙윈도우 개념을 이용하여 각 픽셀에 대한 MDF(Motion Disturbance Function)를 계산한다.(S42)
도 6은 무빙윈도우(moving window)의 개념을 나타낸다.
무빙윈도우는 입력영상의 각 픽셀을 탐색하기 위하여 각 픽셀을 중심좌표로 하는 소정크기의 창들을 말한다. 그리고 무빙윈도우 내의 각 픽셀들이 갖는 이진값을 합산하여 중심좌표에 위치한 픽셀의 특정 값, 즉 MDF 값으로 결정하게 된다.
본 발명에 적용된 무빙윈도우는 초기 임의의 추적창 크기를 가지며, 전체 픽셀수 미만의 수가 생성된다. 이렇게 생성된 무빙윈도우는 각 픽셀에 대하여 위 초기추적창 내의 초기좌표부터 최종좌표까지의 이진값을 합산하여 중심좌표에 위치한 픽셀의 MDF 값으로 결정한다. 한편, 실시간 처리를 위하여 각 픽셀에 대한 MDF 탐색은 병렬로 처리한다(S42).
무빙윈도우를 통한 각 픽셀에 대한 MDF 값을 구하는 식은 다음과 같다.
{ MDF : Motion Disturbance Function
p, q : 전체영상에서 임의의 픽셀에 대한 좌표
x, y : 무빙윈도우 내의 임의의 픽셀에 대한 좌표
MW : 무빙윈도우
M1xc, M1yc: 전체영상의 초기좌표를 포함하는 무빙윈도우 내의 중심좌표
Mnxc, Mnyc: 전체영상의 최종좌표를 포함하는 무빙윈도우 내의 중심좌표
B(Binary) : 이진화된 디스터번스 영상 }
도 7은 이동물체에 대한 정보 획득과정을 도시한 것이다.
먼저, 이진화된 디스터번스 영상(a)에 대해서 다수의 초기추적창(b)을 통해 각 픽셀의 MDF를 계산한다(c). 이렇게 해서 이동물체에 대한 MDF 필드를 검출하고(d), 그 MDF 값이 최대인 지점이 제 3 임계값(검출 쓰레졸드) 이상이면, 그 최대지점에 초기추적창의 중심이 위치되도록 한다(e). 그리고 이동물체가 포함되도록 초기추적창의 크기를 조정한 후, 크기 조정된 추적창 내에서 이동물체의 중심좌표 및 추적창의 크기를 계산한다(e). 만일 MDF가 이동물체 획득 임계값보다 적으면 이동물체는 존재하지 않는 것으로 판단한다(S43). 추적창 내에서 이동물체의 중심좌표를 구하는 식은 다음과 같다.
{ xe, ye: 추적창 내에서 이동물체 중심좌표
TW: 추적창
x, y : 추적창 내의 임의의 좌표
B : 이진화된 디스터번스 영상
pL, qL: 전체영상에서 MDF가 최대인 지점의 좌표 }
이처럼 추적창 내에서 실제 이동물체의 중심값을 계산하여 이동물체의 크기를 계산할 수 있다. 또한, 이동물체의 크기가 추적창 내에서 일정 점유율을 갖도록추적창의 크기를 조정할 수 있다. 다음은 추적창의 크기를 조정하기 위한 이동물체의 점유율을 구하는 식이다.
한편, 위와 같이 이동물체가 검출되어 추적창의 크기가 조정되면, 이동물체의 이동 위치를 예측하여 자동으로 이동물체를 추적한다(S50). 즉, 이동물체의 중심에 대한 현재 획득정보와 이전까지의 이동물체 중심에 대한 획득정보를 토대로 후속프레임에서의 이동물체의 중심이 이동될 지점을 예측하고(S51), 그 예측지점에 크기 조정된 추적창의 중심을 위치시킨다(S52). 도 8은 이전의 정보를 이용하여 후속프레임의 이동물체 이동 예측지점으로 추적창이 재설정 되는 모습을 보이고 있다. 이후, 추적창 내에서 후속프레임을 통한 이동물체의 실제 중심과 추적창의 크기정보를 획득한다(S53). 이렇게 후속프레임을 통한 실제 이동물체에 대한 정보가 획득되면 이동물체에 대한 예측정보와 비교하고 오차범위에 따라 추적상태의 결과를 판단한다(S60). 여기서 추적상태의 오차범위가 설정치 이내이면 계속적으로 이동물체자동추적부(150)를 통해 추적창의 영역만 신호처리하면서 이동물체를 추적하며, 만일 추적상태의 오차범위가 설정치 이상이면 이동물체획득부(140)를 통해 입력영상 전체에 대하여 이동물체에 대한 정보를 재획득하도록 한다. 여기서 추적창 내의 화소수가 임계치 이하이면 마찬가지로 이동물체에 대한 정보를 재획득하도록한다.
한편, 추적상태의 오차범위가 설정치 이내인 경우에는 이동물체에 대한 추적이 양호하다고 판단하여 촬영부(110)의 이동 및 줌 인/아웃 그리고 팬/틸트를 제어한다(S70). 이때, 촬영부(110)의 이동은 입력영상 전체영역에 대하여 추적창의 중심이 설정된 범위 이외에 위치하면 이동물체 이동 예측방향으로 촬영부의 촬영방향을 이동시키게 된다. 또한, 도 11과 같이 입력영상 전체영역(B)에 대하여 추적창이 중심부의 소정영역(A) 내에 위치하는 경우에는 팬/틸트가 수행되지 않도록 제어한다. 그리고 줌 인/아웃 제어는 추적창 내의 후속프레임에서 획득한 이동물체의 실제 크기에 따라 추적창과 이동물체의 크기가 일정비율로 유지되도록 자동으로 줌 인/아웃 한다. 이때, 도 12와 같이 입력영상에서 이동물체가 위치하는 영역에 따라 줌 인/아웃 제어를 수행 또는 미수행되도록 할 수 있다. 이를 통해 과다한 팬/틸트 제어 및 줌 인/아웃 제어에 의해 불필요한 영상 흔들림을 방지할 수 있고, 전체적인 추적 시스템의 안정성을 높일 수 있다.
그리고 위와 같은 촬영부(110)의 제어와 입력영상에 대한 신호처리는 도 9에 보인 바와 같이 서로 시분할적으로 수행되도록 한다. 이를 통해 카메라 이동에 따른 영상보정의 수행이 필요치 않게 된다. 도 10은 촬영부(110) 제어와 영상신호처리에 대한 또 다른 실시예로서, 이동물체에 대한 초기 정보 획득을 위해 초기 영상신호처리시간을 충분하게 제공하고 있다.
결과적으로, 본 발명의 이동물체 자동 추적장치 및 방법은 추적창을 통한 최소한의 영상크기만을 처리하게 된다.
또한, 카메라 이동 및 줌 인/아웃 그리고 팬/틸트와 같은 카메라 제어와 영상신호처리를 시분할적으로 분할하여 수행함으로서 카메라의 움직임에 대한 영상보정 과정을 생략할 수 있게 된다.
또한, 헤드라이트방지부를 통해 자동차의 헤드라이트 등에 의해 움직임영역이 오판되는 것을 방지할 수 있게 된다.
또한, 이동물체의 중심값을 통한 정확한 팬/틸트 제어가 가능하며, 이동물체의 크기와 추적창의 크기를 통해 이동물체를 자동으로 줌 인/아웃 할 수 있게 된다. 이러한 줌 인/아웃 기능은 주차장 등의 번호판 확인 등에 유용하게 이용될 수 있다.
이상과 같은 본 발명에 따른 이동물체 자동 추적장치 및 방법은 이동물체의 추적에 있어서, 추적창을 통해 최소한의 영상을 처리함으로서, 영상신호의 처리속도를 향상시킬 수 있으며, 다른 물체의 간섭 영향을 최소화 할 수 있다.
또한, 카메라 이동에 따른 영상보정을 생략할 수 있으므로, 이동물체 추적에 따른 복잡한 영상신호처리과정을 단순화시킬 수 있다.
또한, 배경영상에서 헤드라이트 및 기타 환경변화에 따라 이동물체가 오인식되는 것을 방지할 수 있다.
또한, 이동물체에 대하여 정확한 팬/틸트 및 줌 인/아웃이 이루어지므로 감시영역의 감시결과 확인시 물체를 명확하게 인식할 수 있다.

Claims (25)

  1. 감시영역을 촬영하는 촬영부;
    상기 촬영부를 통해 획득한 입력영상으로부터 이진화된 디스터번스 영상을 생성하는 이진화디스터번스영상생성부;
    상기 이진화된 디스터번스 영상으로부터 미리 설정된 크기의 초기추적창을 통한 무빙윈도우를 이용하여 이동물체에 대한 정보를 획득하고, 상기 이진화된 디스터번스 영상 내에서 이동물체를 포함하도록 상기 초기추적창의 크기를 조정하는 이동물체획득부;
    상기 이동물체의 중심에 대한 현재 획득정보와 이전 획득정보를 토대로 후속프레임에서의 상기 이동물체의 중심이 이동될 지점을 예측하고, 상기 이동물체의 중심 이동 예측지점에 상기 추적창의 중심을 위치 이동시키며, 상기 후속프레임의 상기 추적창 내에서 상기 이동물체의 실제 중심과 추적창의 크기정보를 획득하는 이동물체자동추적부; 및
    상기 후속프레임을 통한 상기 이동물체의 실제 획득정보와 상기 이동물체에 대한 예측정보를 비교하고 오차범위에 따라 추적상태의 결과를 판단하는 추적상태 판단부;를 포함하는 것을 특징으로 하는 이동물체 자동 추적장치.
  2. 제 1항에 있어서,
    상기 촬영을 통해 입력된 영상에 대하여 신호처리속도를 향상시키고, 잡음을 제거하기 위하여 전처리하는 입력영상전처리부;를 더 포함하는 것을 특징으로 하는이동물체 자동 추적장치.
  3. 제 2항에 있어서,
    상기 입력영상전처리부는,
    상기 입력영상의 해상도를 다운시키는 해상도조정부; 및
    상기 해상도 저감된 입력영상에서 잡음을 제거하는 필터;를 포함하는 것을 특징으로 하는 이동물체 자동 추적장치.
  4. 제 1항에 있어서,
    상기 이진화디스터번스영상생성부는,
    상기 입력영상과 이전 프레임들의 평균영상의 차를 통하여 디스터번스 필드를 생성하는 디스터번스필드생성부;
    상기 입력영상과 상기 평균영상을 각각 제 2 임계값과 비교하고, 그 비교결과를 논리연산하는 헤드라이트방지부; 및
    상기 디스터번스 필드 각 픽셀의 절대값을 제 1 임계값으로 비교한 결과와 상기 논리연산된 결과 값에 따라 각 픽셀의 이진값을 결정하는 영상분할부;를 포함하는 것을 특징으로 하는 이동물체 자동 추적장치.
  5. 제 1항에 있어서,
    상기 이동물체획득부는,
    상기 이진화된 디스터번스 영상에서 초기추적창 내의 초기좌표로부터 최종좌표까지의 이진값을 합산하여 중심좌표에 해당하는 픽셀에 대한 MDF(Moving Disturbance Function) 값을 계산하는 MDF계산부; 및
    상기 계산된 MDF가 가장 큰 픽셀을 중심으로 실제 이동물체의 중심좌표 계산 및 이동물체의 크기를 계산하여 추적창의 크기를 조정하는 추적창 조정부;를 포함하는 것을 특징으로 하는 이동물체 자동 추적장치.
  6. 제 5항에 있어서,
    상기 MDF계산부에서는, 전체 영상처리시간을 줄이기 위하여 상기 각 픽셀에 대한 MDF를 병렬로 계산하는 것을 특징으로 하는 이동물체 자동 추적장치.
  7. 제 5항에 있어서,
    상기 추적창조정부에서는, 상기 입력영상에 대하여 MDF가 최대값인 픽셀의 좌표를 중심으로 상기 이동물체가 포함되도록 추적창을 조정하는 것을 특징으로 하는 이동물체 자동 추적장치.
  8. 제 7항에 있어서,
    상기 추적창조정부에서는, 상기 MDF계산부에서 계산된 최대 MDF 값이 제 3 임계값보다 적은 경우에는 이동물체가 존재하지 않는 것으로 판단하여 상기 추적창 조정을 수행하지 않는 것을 특징으로 하는 이동물체 자동 추적장치.
  9. 제 7항에 있어서,
    상기 추적창조정부에서는, 현재 추적창의 크기와 상기 이동물체의 추적창 내 크기의 비를 이용하여 추적창의 크기를 조절하는 것을 특징으로 하는 이동물체 자동 추적장치.
  10. 제 1항에 있어서,
    상기 추적상태판단부에서는, 상기 예측된 이동물체 중심값과 측정된 중심값의 오차범위가 설정치 이상이거나 추적창 내의 이진디스터번스 픽셀수가 임계값보다 작으면 추적 실패로 판단하여 상기 이동물체획득부를 통해 전체영상으로부터 이동물체에 대한 정보를 재획득하도록 하는 것을 특징으로 하는 이동물체 자동 추적장치.
  11. 제 1항에 있어서,
    상기 이동물체획득부를 통해 획득한 이동물체의 중심과 이동물체의 크기가 촬영부 제어와 줌 인/아웃 제어를 필요로 하지 않는 미리 설정된 범위 내에 위치한경우에는 상기 촬영부를 고정된 위치에서 계속 촬영되도록 하고, 상기 설정된 범위 외에 있으면 촬영방향 이동 및 줌 인/아웃이 수행되도록 상기 촬영부를 제어하는 촬영제어부를 더 포함하는 것을 특징으로 하는 이동물체 자동 추적장치.
  12. 제 11항에 있어서,
    상기 촬영제어부에서는, 상기 예측지점에 위치한 추적창의 크기에 대하여 후속프레임에서 획득한 이동물체의 실제 크기가 일정비율로 유지되도록 상기 촬영부의 줌 인/아웃 제어를 수행하는 것을 특징으로 하는 이동물체 자동 추적장치.
  13. 제 11항 또는 제 12항에 있어서,
    상기 촬영부에 대한 상기 촬영제어부의 동작 제어와 상기 입력영상에 대한 신호처리는 시분할적으로 수행되는 것을 특징으로 하는 이동물체 자동 추적장치.
  14. 감시영역을 촬영하는 단계;
    촬영을 통해 획득한 입력영상으로부터 이진화된 디스터번스 영상을 생성하는 단계;
    상기 이진화된 디스터번스 영상으로부터 미리 설정된 크기의 초기추적창을 통한 무빙윈도우를 이용하여 이동물체에 대한 정보를 획득하는 단계;
    상기 이진화된 디스터번스 영상 내에서 이동물체를 포함하도록 상기 초기추적창의 크기를 조정하는 단계;
    상기 이동물체의 중심에 대한 현재 획득정보와 이전 획득정보를 토대로 후속프레임에서의 상기 이동물체 중심이 이동될 지점을 예측하는 단계;
    상기 이동물체의 중심 이동 예측지점에 상기 추적창의 중심을 위치시키는 단계;
    상기 추적창 내에서 상기 후속프레임을 통한 상기 이동물체의 실제 중심과 추적창의 크기정보를 획득하는 단계; 및
    상기 후속프레임을 통한 상기 이동물체의 실제 획득정보와 상기 이동물체에 대한 예측정보를 비교하고 오차범위에 따라 추적상태의 결과를 판단하는 단계를 포함하는 것을 특징으로 하는 이동물체 자동 추적방법.
  15. 제 14항에 있어서,
    상기 촬영을 통해 입력된 영상에 대하여 신호처리속도를 향상시키고, 잡음을 제거하기 위하여 상기 입력영상을 전처리하는 단계;를 더 포함하는 것을 특징으로 하는 이동물체 추적방법.
  16. 제 15항에 있어서,
    상기 입력영상의 전처리 단계는,
    상기 입력영상의 해상도를 다운시키는 단계; 및
    상기 해상도 다운된 입력영상에서 잡음을 제거하기 위하여 필터링하는 단계;를 포함하는 것을 특징으로 하는 이동물체 자동 추적방법.
  17. 제 14항에 있어서,
    상기 이진화된 디스터번스 영상 생성단계는,
    상기 입력영상과 이전 프레임들의 평균영상의 차를 통하여 디스터번스 필드를 생성하는 단계;
    상기 입력영상과 상기 평균영상을 각각 제 2 임계값과 비교하고, 그 비교결과를 논리연산하는 단계; 및
    상기 디스터번스 필드 각 픽셀의 절대값을 제 1 임계값으로 비교한 결과와 상기 논리연산된 결과 값에 따라 각 픽셀의 이진값을 결정하는 영상분할단계;를 포함하는 것을 특징으로 하는 이동물체 자동 추적방법.
  18. 제 14항에 있어서,
    상기 이동물체획득단계는,
    상기 이진화된 디스터번스 영상에서 각 픽셀에 대하여 중심좌표로 인식하도록 상기 초기추적창을 위치시키는 단계;
    상기 초기추적창 영역 내의 초기좌표부터 최종좌표까지 합산하여 상기 초기추적창의 중심좌표에 해당하는 픽셀에 대한 MDF(Moving Disturbance Function) 값을 계산하는 단계; 및
    상기 이진화된 디스터번스 영상에서 MDF가 최대값인 픽셀의 좌표를 중심으로 상기 이동물체가 포함되도록 추적창의 크기를 조정하는 단계;를 포함하는 것을 특징으로 하는 이동물체 자동 추적방법.
  19. 제 18항에 있어서,
    상기 MDF계산단계에서 상기 각 픽셀에 대하여 MDF를 병렬적으로 계산하는 것을 특징으로 하는 이동물체 자동 추적방법.
  20. 제 18항에 있어서,
    상기 이동물체획득단계에서 상기 최대 MDF 값이 제 3 임계값보다 적은 경우에는 이동물체가 존재하지 않는 것으로 판단하는 것을 특징으로 하는 이동물체 자동 추적방법.
  21. 제 14항에 있어서,
    상기 추적결과 판단단계에서 상기 오차범위를 판단한 결과 오차범위가 설정치 이상이면 후속프레임에 대하여 이동물체획득단계가 수행되도록 하는 것을 특징으로 하는 이동물체 자동 추적방법.
  22. 제 14항에 있어서,
    상기 입력영상 전체영역에 대하여 상기 추적창의 중심이 설정된 범위 이외에 위치하면 상기 이동물체 이동 예측방향으로 촬영방향을 이동시키는 단계;를 더 포함하는 것을 특징으로 하는 이동물체 자동 추적방법.
  23. 제 14항에 있어서,
    상기 예측지점에 위치한 추적창의 크기에 대하여 후속프레임에서 획득한 이동물체의 실제 크기가 일정비율을 유지하도록 줌 인/아웃하는 단계;가 더 포함된것을 특징으로 하는 이동물체 자동 추적방법.
  24. 제 22항 또는 제 23항에 있어서,
    상기 촬영제어와 입력영상에 대한 신호처리는 시분할적으로 수행되는 것을 특징으로 하는 이동물체 자동 추적방법.
  25. 제 22항 내지 제 24항에 있어서,
    상기 입력영상 전체영역에 대하여 상기 추적창이 소정영역 내에 위치하는 경우에는 촬영제어가 수행되지 않도록 하는 것을 특징으로 하는 이동물체 자동 추적방법.
KR1020010047410A 2001-08-07 2001-08-07 이동물체 자동 추적장치 및 방법 KR100792283B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020010047410A KR100792283B1 (ko) 2001-08-07 2001-08-07 이동물체 자동 추적장치 및 방법
JP2002229202A JP3667306B2 (ja) 2001-08-07 2002-08-06 移動物体自動追跡装置及び方法
US10/212,142 US6993158B2 (en) 2001-08-07 2002-08-06 Device for and method of automatically tracking a moving object
DE60237063T DE60237063D1 (de) 2001-08-07 2002-08-07 Gerät und Verfahren zum Verfolgen eines sich bewegenden Objekts
CNB021425612A CN1198451C (zh) 2001-08-07 2002-08-07 自动跟踪移动目标的设备和方法
EP02255507A EP1283499B1 (en) 2001-08-07 2002-08-07 Moving object tracking apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010047410A KR100792283B1 (ko) 2001-08-07 2001-08-07 이동물체 자동 추적장치 및 방법

Publications (2)

Publication Number Publication Date
KR20030013092A true KR20030013092A (ko) 2003-02-14
KR100792283B1 KR100792283B1 (ko) 2008-01-07

Family

ID=19712925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010047410A KR100792283B1 (ko) 2001-08-07 2001-08-07 이동물체 자동 추적장치 및 방법

Country Status (6)

Country Link
US (1) US6993158B2 (ko)
EP (1) EP1283499B1 (ko)
JP (1) JP3667306B2 (ko)
KR (1) KR100792283B1 (ko)
CN (1) CN1198451C (ko)
DE (1) DE60237063D1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100837435B1 (ko) * 2006-10-25 2008-06-12 삼성전자주식회사 촬영장치 및 이의 대상 추적제어방법
KR20080057500A (ko) * 2006-12-20 2008-06-25 재단법인 포항산업과학연구원 사람 움직임 추적 시스템 및 그 방법
KR101221449B1 (ko) * 2009-03-27 2013-01-11 한국전자통신연구원 카메라간 영상 보정 장치 및 방법
KR101257455B1 (ko) * 2008-04-21 2013-04-23 재단법인서울대학교산학협력재단 감시 물체 추적 방법 및 그 감시 시스템
KR20140055353A (ko) * 2012-10-31 2014-05-09 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
CN108171724A (zh) * 2017-12-29 2018-06-15 重庆锐纳达自动化技术有限公司 一种实现视觉跟随运动的方法
KR102037703B1 (ko) * 2018-05-14 2019-10-29 주식회사 하나비전테크 링거수액 이물질 비전검사 장치 및 그 방법
KR20190130523A (ko) * 2019-09-03 2019-11-22 주식회사 하나비전테크 링거수액 이물질 비전검사 장치 및 그 방법
CN115598025A (zh) * 2022-12-13 2023-01-13 四川亿欣新材料有限公司（Cn） 图像处理方法及使用该方法的碳酸钙粉质检系统
CN117714884A (zh) * 2023-08-31 2024-03-15 荣耀终端有限公司 目标追踪方法和电子设备

Families Citing this family (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100426174B1 (ko) * 2001-10-29 2004-04-06 삼성전자주식회사 영상압축 알고리즘을 이용한 카메라 제어방법
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
US7899245B2 (en) * 2002-12-30 2011-03-01 Lockheed Martin Corporation Morphological based segmenter
US7810128B2 (en) * 2003-02-14 2010-10-05 Sony Corporation Information management system and method, center processing apparatus and method, program and recording medium used therewith, and information processing apparatus and method, and program and recording medium used therewith
US8004565B2 (en) * 2003-06-19 2011-08-23 Nvidia Corporation System and method for using motion vectors for object tracking
KR100676232B1 (ko) * 2003-09-05 2007-01-30 가부시키가이샤 히다치 고쿠사이 덴키 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
WO2005036371A2 (en) * 2003-10-09 2005-04-21 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision
TWI225622B (en) * 2003-10-24 2004-12-21 Sunplus Technology Co Ltd Method for detecting the sub-pixel motion for optic navigation device
CN101393642B (zh) * 2004-01-06 2011-05-18 索尼株式会社 图像处理设备和方法
US7742077B2 (en) * 2004-02-19 2010-06-22 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7298867B2 (en) * 2004-02-20 2007-11-20 Lockheed Martin Corporation Component association tracker system and method
CN1327710C (zh) * 2004-04-21 2007-07-18 张兆宏 主动式监视系统及监视方法
US9210312B2 (en) * 2004-06-02 2015-12-08 Bosch Security Systems, Inc. Virtual mask for use in autotracking video camera images
US20060155576A1 (en) * 2004-06-14 2006-07-13 Ryan Marshall Deluz Configurable particle system representation for biofeedback applications
WO2007044044A2 (en) * 2004-12-21 2007-04-19 Sarnoff Corporation Method and apparatus for tracking objects over a wide area using a network of stereo sensors
US7245215B2 (en) * 2005-02-10 2007-07-17 Pinc Solutions Position-tracking device for position-tracking system
US7321305B2 (en) * 2005-07-05 2008-01-22 Pinc Solutions Systems and methods for determining a location of an object
US7236091B2 (en) * 2005-02-10 2007-06-26 Pinc Solutions Position-tracking system
JP4540705B2 (ja) * 2005-02-17 2010-09-08 富士通株式会社 画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラム
US8705614B2 (en) * 2005-04-04 2014-04-22 Broadcom Corporation Motion estimation using camera tracking movements
EP2479990A3 (en) * 2005-06-23 2013-01-23 Israel Aerospace Industries Ltd. A system and method for tracking moving objects
RU2419225C2 (ru) * 2005-08-12 2011-05-20 Эл Джи Электроникс Инк. Способ передачи объекта права при управлении цифровыми правами
CN100496122C (zh) * 2005-11-03 2009-06-03 中国科学院自动化研究所 利用单个摄像机进行主从视频跟踪的方法
CN100435555C (zh) * 2005-11-17 2008-11-19 中国科学院半导体研究所 高速目标跟踪方法及其电路系统
US8442318B2 (en) * 2006-02-13 2013-05-14 Snell Limited Method and apparatus for modifying a moving image sequence
CN100362531C (zh) * 2006-02-23 2008-01-16 上海交通大学 结合时域差分和空域分级的运动人像实时自动跟踪方法
US7428336B2 (en) * 2006-03-06 2008-09-23 Marvell International Ltd. Efficient detection of constant regions of an image
EP1998567B1 (en) * 2006-03-15 2016-04-27 Omron Corporation Tracking device, tracking method, tracking device control program, and computer-readable recording medium
US20080030458A1 (en) * 2006-08-07 2008-02-07 Rene Helbing Inertial input apparatus and method with optical motion state detection
JP5044321B2 (ja) * 2006-09-13 2012-10-10 株式会社リコー 撮像装置および被写体検出方法
JP4558696B2 (ja) * 2006-09-25 2010-10-06 パナソニック株式会社 動物体自動追尾装置
TW200828991A (en) * 2006-10-24 2008-07-01 Sony Corp Imaging device and reproduction control device
US7840031B2 (en) * 2007-01-12 2010-11-23 International Business Machines Corporation Tracking a range of body movement based on 3D captured image streams of a user
JP4807284B2 (ja) * 2007-03-07 2011-11-02 カシオ計算機株式会社 カメラ装置、カメラ装置制御プログラム及びカメラ装置制御方法
JP5080333B2 (ja) * 2007-04-06 2012-11-21 本田技研工業株式会社 自律移動体のための物体認識装置
FR2916562B1 (fr) * 2007-05-22 2010-10-08 Commissariat Energie Atomique Procede de detection d'un objet en mouvement dans un flux d'images
US20090062002A1 (en) * 2007-08-30 2009-03-05 Bay Tek Games, Inc. Apparatus And Method of Detecting And Tracking Objects In Amusement Games
US20090094188A1 (en) * 2007-10-03 2009-04-09 Edward Covannon Facilitating identification of an object recorded in digital content records
KR101041366B1 (ko) * 2007-11-02 2011-06-14 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
KR101023946B1 (ko) * 2007-11-02 2011-03-28 주식회사 코아로직 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
FR2923339B1 (fr) * 2007-11-05 2009-12-11 Commissariat Energie Atomique Procede de lecture d'une matrice bidimensielle de pixels et dispositif pour la mise en oeuvre d'un tel procede
TWI394088B (zh) * 2007-12-26 2013-04-21 Altek Corp The adjustment method of the size of the selection of the image object
GB2471036B (en) * 2008-03-03 2012-08-22 Videoiq Inc Object matching for tracking, indexing, and search
AU2009236675A1 (en) * 2008-04-14 2009-10-22 Gvbb Holdings S.A.R.L. Technique for automatically tracking an object
CN101753829B (zh) * 2008-12-09 2012-10-03 财团法人资讯工业策进会 接手视讯监控方法与系统以及计算机装置
JP2010147925A (ja) * 2008-12-19 2010-07-01 Sanyo Electric Co Ltd 撮像装置
US8611590B2 (en) 2008-12-23 2013-12-17 Canon Kabushiki Kaisha Video object fragmentation detection and management
JP4760918B2 (ja) 2009-01-23 2011-08-31 カシオ計算機株式会社 撮像装置、被写体追従方法、及びプログラム
JP5322799B2 (ja) * 2009-06-18 2013-10-23 オリンパスイメージング株式会社 撮像装置及び撮像方法
JP5683851B2 (ja) * 2009-08-20 2015-03-11 株式会社ザクティ 撮像装置及び画像処理装置
US8294768B2 (en) * 2009-11-23 2012-10-23 Hon Hai Precision Industry Co., Ltd. System and method for motion detection
DE102010030616A1 (de) * 2010-06-28 2011-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen eines Störobjekts in einem Kamerabild
JP5643552B2 (ja) 2010-06-28 2014-12-17 キヤノン株式会社 撮像装置
US20130167075A1 (en) * 2010-06-30 2013-06-27 Adobe Systems Incorporated Managing Display Areas
US9661232B2 (en) * 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
TW201219955A (en) * 2010-11-08 2012-05-16 Hon Hai Prec Ind Co Ltd Image capturing device and method for adjusting a focusing position of an image capturing device
CN102469247A (zh) * 2010-11-09 2012-05-23 鸿富锦精密工业（深圳）有限公司 摄像装置及其动态对焦方法
JP5756322B2 (ja) * 2011-04-08 2015-07-29 任天堂株式会社 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム
US10007330B2 (en) * 2011-06-21 2018-06-26 Microsoft Technology Licensing, Llc Region of interest segmentation
KR101272631B1 (ko) * 2011-06-24 2013-06-10 (주)비앤에스미디어 이동물체 감지장치 및 방법
US9031948B1 (en) 2011-07-06 2015-05-12 Shawn B. Smith Vehicle prediction and association tool based on license plate recognition
KR101268102B1 (ko) * 2011-07-21 2013-05-29 인하대학교 산학협력단 비디오 감시 시스템 및 방법
US8768009B1 (en) 2011-07-26 2014-07-01 Shawn B. Smith Locating persons of interest based on license plate recognition information
EP2742685A1 (en) 2011-08-10 2014-06-18 Yitzchak Kempinski A method for optimizing size and position of a search window of a tracking system
EP2557391A1 (de) 2011-08-12 2013-02-13 Leica Geosystems AG Messgerät zur Bestimmung der räumlichen Lage eines Messhilfsinstruments
WO2013052863A1 (en) * 2011-10-05 2013-04-11 Radio Systems Corporation Image-based animal control systems and methods
US10154651B2 (en) 2011-12-05 2018-12-18 Radio Systems Corporation Integrated dog tracking and stimulus delivery system
US11470814B2 (en) 2011-12-05 2022-10-18 Radio Systems Corporation Piezoelectric detection coupling of a bark collar
US11553692B2 (en) 2011-12-05 2023-01-17 Radio Systems Corporation Piezoelectric detection coupling of a bark collar
US10674709B2 (en) 2011-12-05 2020-06-09 Radio Systems Corporation Piezoelectric detection coupling of a bark collar
CN103260132B (zh) * 2012-02-17 2016-08-03 中国科学院计算技术研究所 无线传感器网络的移动多播路由方法
JP2013192154A (ja) * 2012-03-15 2013-09-26 Omron Corp 監視装置、信頼度算出プログラム、および信頼度算出方法
IL219639A (en) 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote object tracking
US9239965B2 (en) * 2012-06-12 2016-01-19 Electronics And Telecommunications Research Institute Method and system of tracking object
TWI584647B (zh) * 2012-07-12 2017-05-21 Chi Lin Hong A method and apparatus for preventing defocusing
US10212396B2 (en) 2013-01-15 2019-02-19 Israel Aerospace Industries Ltd Remote tracking of objects
IL224273B (en) 2013-01-17 2018-05-31 Cohen Yossi Delay compensation during remote sensor control
US10228447B2 (en) 2013-03-15 2019-03-12 Radio Systems Corporation Integrated apparatus and method to combine a wireless fence collar with GPS tracking capability
TWI514327B (zh) * 2013-06-26 2015-12-21 Univ Nat Taiwan Science Tech 目標偵測與追蹤方法及系統
CN103366174B (zh) * 2013-07-05 2017-02-08 深圳泰山体育科技股份有限公司 图像信息获取的方法及系统
US9454827B2 (en) * 2013-08-27 2016-09-27 Qualcomm Incorporated Systems, devices and methods for tracking objects on a display
CN103838258B (zh) * 2014-02-26 2016-05-25 上海微小卫星工程中心 一种应用于天基空间目标的自动跟踪方法及系统
CN103886605A (zh) * 2014-03-31 2014-06-25 江南大学 一种基于曲率中心的预测与跟踪移动物体的方法
JP6402469B2 (ja) * 2014-04-04 2018-10-10 富士電機株式会社 安全制御装置および安全制御システム
CN103957360B (zh) * 2014-05-20 2017-06-20 合肥君达高科信息技术有限公司 一种具有高速粒子跟踪拍摄功能的控制方法及其装置
US10645908B2 (en) 2015-06-16 2020-05-12 Radio Systems Corporation Systems and methods for providing a sound masking environment
US10045512B2 (en) 2015-06-16 2018-08-14 Radio Systems Corporation Systems and methods for monitoring a subject in a premise
US10231440B2 (en) 2015-06-16 2019-03-19 Radio Systems Corporation RF beacon proximity determination enhancement
CN106327517B (zh) * 2015-06-30 2019-05-28 芋头科技（杭州）有限公司 一种目标跟踪装置及目标跟踪方法
CN105141843B (zh) * 2015-09-01 2018-10-09 湖南欧斐网络科技有限公司 基于摄像装置拍摄目标图像的标尺定位方法和设备
CN105243674B (zh) * 2015-09-16 2018-09-11 阔地教育科技有限公司 一种防止运动目标误检装置及方法
US9781350B2 (en) 2015-09-28 2017-10-03 Qualcomm Incorporated Systems and methods for performing automatic zoom
JP6526589B2 (ja) * 2016-03-14 2019-06-05 株式会社東芝 画像処理デバイス及び画像処理プログラム
KR101906847B1 (ko) * 2016-06-29 2018-10-12 주식회사 크리에이츠 공 이미지 촬영을 위한 관심 영역을 결정하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10268220B2 (en) 2016-07-14 2019-04-23 Radio Systems Corporation Apparatus, systems and methods for generating voltage excitation waveforms
JP6932487B2 (ja) * 2016-07-29 2021-09-08 キヤノン株式会社 移動体監視装置
CN106780550B (zh) * 2016-09-13 2020-03-31 纳恩博（北京）科技有限公司 一种目标跟踪方法及电子设备
TWI588759B (zh) * 2016-12-07 2017-06-21 英業達股份有限公司 物件追蹤方法
TWI648985B (zh) * 2017-01-25 2019-01-21 和碩聯合科技股份有限公司 視訊成像方法及其電子裝置
GB2573249B (en) 2017-02-27 2022-05-04 Radio Systems Corp Threshold barrier system
JP6791034B2 (ja) * 2017-06-16 2020-11-25 株式会社Ｊｖｃケンウッド 表示システム、映像処理装置、画素ずらし表示装置、映像処理方法、表示方法、及びプログラム
CN109697394B (zh) * 2017-10-24 2021-12-28 京东方科技集团股份有限公司 手势检测方法和手势检测设备
US11394196B2 (en) 2017-11-10 2022-07-19 Radio Systems Corporation Interactive application to protect pet containment systems from external surge damage
CN107920229A (zh) * 2017-11-14 2018-04-17 国网黑龙江省电力有限公司信息通信公司 机房监控记录生成系统及方法
US10986813B2 (en) 2017-12-12 2021-04-27 Radio Systems Corporation Method and apparatus for applying, monitoring, and adjusting a stimulus to a pet
US10842128B2 (en) 2017-12-12 2020-11-24 Radio Systems Corporation Method and apparatus for applying, monitoring, and adjusting a stimulus to a pet
US11372077B2 (en) 2017-12-15 2022-06-28 Radio Systems Corporation Location based wireless pet containment system using single base unit
US10514439B2 (en) 2017-12-15 2019-12-24 Radio Systems Corporation Location based wireless pet containment system using single base unit
CN108875683B (zh) * 2018-06-30 2022-05-13 北京宙心科技有限公司 一种机器人视觉跟踪方法及其系统
CN112752535B (zh) * 2018-09-26 2024-04-05 富士胶片株式会社 医用图像处理装置和内窥镜系统以及医用图像处理装置的工作方法
CN111476065A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 目标跟踪方法、装置、计算机设备及存储介质
US11238889B2 (en) 2019-07-25 2022-02-01 Radio Systems Corporation Systems and methods for remote multi-directional bark deterrence
US11490597B2 (en) 2020-07-04 2022-11-08 Radio Systems Corporation Systems, methods, and apparatus for establishing keep out zones within wireless containment regions
CN112446901B (zh) * 2020-11-20 2024-08-16 浙江大华技术股份有限公司 目标跟踪方法、装置、设备及计算机存储介质
CN114245016B (zh) * 2021-12-21 2024-10-18 睿魔智能科技（深圳）有限公司 视频拍摄的控制方法和系统、计算机设备及存储介质
US20230230379A1 (en) * 2022-01-19 2023-07-20 Target Brands, Inc. Safety compliance system and method
CN117615255B (zh) * 2024-01-19 2024-04-19 深圳市浩瀚卓越科技有限公司 基于云台的拍摄追踪方法、装置、设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2656700B1 (fr) * 1989-12-28 1992-08-07 Aerospatiale Procede de restitution du mouvement d'un mobile par observation d'un symbole forme sur ce dernier et dispositifs pour la mise en óoeuvre du procede.
JP3093346B2 (ja) * 1991-08-16 2000-10-03 株式会社東芝 運動物体検出装置
US5259040A (en) * 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor
JPH08249450A (ja) * 1995-03-14 1996-09-27 Fujitsu Ltd 画像追跡装置
JP3672994B2 (ja) * 1996-01-11 2005-07-20 株式会社日本自動車部品総合研究所 白線検出装置
US6079862A (en) * 1996-02-22 2000-06-27 Matsushita Electric Works, Ltd. Automatic tracking lighting equipment, lighting controller and tracking apparatus
US5867584A (en) * 1996-02-22 1999-02-02 Nec Corporation Video object tracking method for interactive multimedia applications
JP2950267B2 (ja) 1996-12-24 1999-09-20 日本電気株式会社 背景画像生成方法および背景画像生成装置
JP2001060265A (ja) * 1999-08-24 2001-03-06 Sony Corp 画像処理装置および方法、並びに媒体
JP3644668B2 (ja) * 1999-09-03 2005-05-11 三菱電機株式会社 画像監視装置
KR100364582B1 (ko) * 2000-04-28 2002-12-16 주식회사 네트웍코리아 다중 이동물체 추적/감시 시스템
US6445832B1 (en) * 2000-10-10 2002-09-03 Lockheed Martin Corporation Balanced template tracker for tracking an object image sequence

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100837435B1 (ko) * 2006-10-25 2008-06-12 삼성전자주식회사 촬영장치 및 이의 대상 추적제어방법
US8050455B2 (en) 2006-10-25 2011-11-01 Samsung Techwin Co., Ltd. Photographing apparatus and method for controlling target tracking
KR20080057500A (ko) * 2006-12-20 2008-06-25 재단법인 포항산업과학연구원 사람 움직임 추적 시스템 및 그 방법
KR101257455B1 (ko) * 2008-04-21 2013-04-23 재단법인서울대학교산학협력재단 감시 물체 추적 방법 및 그 감시 시스템
KR101221449B1 (ko) * 2009-03-27 2013-01-11 한국전자통신연구원 카메라간 영상 보정 장치 및 방법
US8405717B2 (en) 2009-03-27 2013-03-26 Electronics And Telecommunications Research Institute Apparatus and method for calibrating images between cameras
KR20140055353A (ko) * 2012-10-31 2014-05-09 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
CN108171724A (zh) * 2017-12-29 2018-06-15 重庆锐纳达自动化技术有限公司 一种实现视觉跟随运动的方法
KR102037703B1 (ko) * 2018-05-14 2019-10-29 주식회사 하나비전테크 링거수액 이물질 비전검사 장치 및 그 방법
KR20190130523A (ko) * 2019-09-03 2019-11-22 주식회사 하나비전테크 링거수액 이물질 비전검사 장치 및 그 방법
CN115598025A (zh) * 2022-12-13 2023-01-13 四川亿欣新材料有限公司（Cn） 图像处理方法及使用该方法的碳酸钙粉质检系统
CN115598025B (zh) * 2022-12-13 2023-03-10 四川亿欣新材料有限公司 图像处理方法及使用该方法的碳酸钙粉质检系统
CN117714884A (zh) * 2023-08-31 2024-03-15 荣耀终端有限公司 目标追踪方法和电子设备

Also Published As

Publication number Publication date
JP3667306B2 (ja) 2005-07-06
EP1283499B1 (en) 2010-07-21
US6993158B2 (en) 2006-01-31
CN1198451C (zh) 2005-04-20
DE60237063D1 (de) 2010-09-02
KR100792283B1 (ko) 2008-01-07
EP1283499A1 (en) 2003-02-12
CN1402551A (zh) 2003-03-12
US20030035051A1 (en) 2003-02-20
JP2003141545A (ja) 2003-05-16

Similar Documents

Publication Publication Date Title
KR100792283B1 (ko) 이동물체 자동 추적장치 및 방법
CA2680646C (en) Moving object noise elimination processing device and moving object noise elimination processing program
US20210110188A1 (en) Stereo imaging device
US6819778B2 (en) Method and system for tracking a fast moving object
US8000498B2 (en) Moving object detection apparatus and method
US20040141633A1 (en) Intruding object detection device using background difference method
JP2000011133A (ja) 移動物体検出装置及びその方法
US5442397A (en) Image sensing apparatus
US6122319A (en) Motion compensating apparatus using gradient pattern matching and method thereof
JP4848097B2 (ja) 移動体の監視方法および装置
CN105430277A (zh) 自动聚焦控制方法和装置
JPH08251474A (ja) 動きベクトル検出装置，動きベクトル検出方法，画像ぶれ補正装置，画像追尾装置及び撮像装置
JP2002216125A (ja) 画像修正装置及びその方法
US10963997B2 (en) Method for reducing intensity variations in a video image stream depicting a scene
JP4668863B2 (ja) 撮像装置
JP4628851B2 (ja) 物体検出方法および物体検出装置
JP2021111929A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP4586548B2 (ja) 物体検出装置および物体検出方法
KR20160043484A (ko) 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치
KR100615672B1 (ko) Ｘｙ축 투영그래프를 이용한 화재 감시시스템 및 이를이용한 화재 감시방법과 화재 감시방법이 구현된 컴퓨터판독가능 기록매체
US11157755B2 (en) Image processing apparatus
JP2663451B2 (ja) 自動合焦装置
EP2271101A1 (en) Imaging position determination method and imaging position determination device
KR102051324B1 (ko) 서라운드 뷰 모니터링 시스템
CN107959767B (zh) 一种以电视跟踪结果为导向的调焦调光方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131129

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141128

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee